CN113781278B - 基于特征识别的事件提示方法、装置、设备及存储介质 - Google Patents

基于特征识别的事件提示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113781278B
CN113781278B CN202111061835.4A CN202111061835A CN113781278B CN 113781278 B CN113781278 B CN 113781278B CN 202111061835 A CN202111061835 A CN 202111061835A CN 113781278 B CN113781278 B CN 113781278B
Authority
CN
China
Prior art keywords
data
passenger
target
feature
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111061835.4A
Other languages
English (en)
Other versions
CN113781278A (zh
Inventor
常俊生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xizang Liansa Intelligent Technology Co ltd
Original Assignee
Xizang Liansa Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xizang Liansa Intelligent Technology Co ltd filed Critical Xizang Liansa Intelligent Technology Co ltd
Priority to CN202111061835.4A priority Critical patent/CN113781278B/zh
Publication of CN113781278A publication Critical patent/CN113781278A/zh
Application granted granted Critical
Publication of CN113781278B publication Critical patent/CN113781278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及人工智能技术领域，提供了一种基于特征识别的事件提示方法、装置、设备及存储介质，其中方法包括：在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据；对所述采集数据进行特征提取，得到所述乘客的目标状态特征；基于所述目标状态特征确定所述乘客是否发生预设危险事件；若确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。采用本申请，能够在确定乘客发生预设危险事件之后上报给联系设备，有利于提高事件的处理效率。

Description

基于特征识别的事件提示方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，主要涉及了一种基于特征识别的事件提示方法、装置、设备及存储介质。
背景技术
网约车采用先进的互联网技术，在乘客和司机之间完成高效的出行撮合，使乘客乘车更便利，使私家车资源得到充分利用。目前，一些主流的网约车软件通过新增紧急联系人、行程录音保护、一键报警、行车记录设备等方案进行乘车人或司机人身保护。然而，紧急联系人和一键报警需要用户去操作，行程录音和行车记录设备在事后才会进行处理，缺乏时效性。因此，如何在乘车的过程中进行危险事件的提醒是本领域技术人员待解决的问题。
发明内容
本申请实施例提供了一种基于特征识别的事件提示方法、装置、设备及存储介质，能够在确定乘客发生预设危险事件之后上报给联系设备，以使联系设备对应的联系对象能够及时采取措施来应对发生的事件，有利于提高事件的处理效率。
第一方面，本申请实施例提供一种基于特征识别的事件提示方法，其中：
在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据；
对所述采集数据进行特征提取，得到所述乘客的目标状态特征；
基于所述目标状态特征确定所述乘客是否发生预设危险事件；
若确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
第二方面，本申请实施例提供一种基于特征识别的事件提示装置，其中：
获取单元，用于在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据；
处理单元，用于对所述采集数据进行特征提取，得到所述乘客的目标状态特征；基于所述目标状态特征确定所述乘客是否发生预设危险事件；
通知单元，用于若所述处理单元确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
第三方面，本申请实施例提供一种计算机设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行以实现如第一方面中所描述的部分或全部步骤。
实施本申请实施例，将具有如下有益效果：
采用了上述的基于特征识别的事件提示方法、装置、设备及存储介质之后，在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据。然后对采集数据进行特征提取得到乘客的目标状态特征，再基于目标状态特征确定乘客是否发生预设危险事件，可提高确定发生预设危险事件的准确率。若是，则向乘客对应的联系设备发送预设危险事件对应的提示信息。如此，能够在确定乘客发生预设危险事件之后上报给联系设备，以使联系设备对应的联系对象能够及时采取措施来应对发生的事件，便于提高事件的处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例提供的一种基于特征识别的事件提示方法的流程示意图；
图2为本申请实施例提供的一种基于特征识别的事件提示装置的结构示意图；
图3为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例可应用于网约车的监控系统，还可应用于其他监控系统。例如，家居监控、医院监控、学校监控、商场监控、监狱监控、公司监控等场景，在此不做限定。以下以网约车的监控系统进行举例描述。
该监控系统包括拾取器、处理设备和联系设备。本申请对于拾取器的类型和数量不做限定，拾取器可包括图像拾取器(例如，摄像头)、语音拾取器(例如，麦克风)、心率拾取器、脑电波拾取器、血糖拾取器、血氧拾取器、温度拾取器、运动拾取器等。拾取器可用于采集数据，例如，图像拾取器采集的图像数据或视频数据、语音拾取器采集的语音数据、心率拾取器采集的心率数据、脑电波拾取器采集的脑电波数据、血糖拾取器采集的血糖数据、血氧拾取器采集的血氧饱和度数据、温度拾取器采集的温度数据、运动拾取器采集的运动数据等，在此不做限定。
需要说明的是，采集数据是乘客授权拾取器的采集权限之后采集的数据。也就是说，当拾取器不允许采集乘客的数据时，不会进行数据采集操作。例如，当乘客授权给图像拾取器和心率拾取器时，而未授权给语音拾取器、脑电波拾取器和血氧拾取器时，则采集数据包括图像数据或视频数据，以及心率数据，而不包括语音数据、脑电波数据和血氧数据。且采集数据的采集频率可按照乘客对拾取器的设置参数进行确定。例如，当乘客可以对图像拾取器的采集时间参数设置为实时采集，即不间断采集该图像拾取器的采集范围内的图像或视频。又例如，对非心脏病人的心率拾取器的采集时间参数设置为间隔一小时，或者，对心脏病人的心率拾取器的采集时间参数设置为每分钟一次等。
在本申请实施例中，采集数据主要用于采集乘客的数据，则至少采集一个乘客的采集数据。若采集到多个乘客的数据，则可以分别获取每一乘客的目标状态特征，还可以综合分析所有乘客的目标状态特征。
需要说明的是，本申请实施例中所涉及的采集数据可能包含司机的数据。在一种可能的示例中，对采集数据进行特征提取，得到司机的状态特征；基于所述司机的状态特征确定所述司机是否发生预设危险事件；若确定所述司机发生所述预设危险事件，则向所述司机对应的联系设备发送所述预设危险事件对应的提示信息。
在本申请实施例中，预设危险事件可以包括行驶路线危险事件和司机涉及非法事件等，在此不做限定。其中，行驶路线危险事件可以包括网约车的行驶路线为危险地带，或者该行驶路线为偏离规划路线的行驶事件。危险地带可以包括信号差、能见度低、人少、易出交通事故的地区，或者可以为预先定义的事故多发地带。偏离规划路线的行驶事件可以为网约车的行驶路线多次偏离规划路线，或偏离规划路线的距离大于一个阈值等。例如，偏离超过5km，偏离次数为3次。
司机涉及非法事件可以包括司机酒驾、司机勒索乘客(或用户)、司机绑架乘客、司机强奸乘客等非法的事件。司机发生的预设危险事件可以包括司机被绑架等。可以理解，若乘客在乘坐网约车时发生预设危险事件，则表示乘客的安全受到一定的威胁，可通过联系乘客的紧急联系人、网约车平台、报警平台等联系对象，以提高乘客的安全性。
在本申请实施例中，处理设备可用于处理采集数据，得到处理结果，例如，确定乘客发生预设危险事件。处理设备还可用于将处理结果发送给联系设备，或者基于处理结果控制拾取器进行数据采集等，在此不做限定。处理设备和联系设备可以包括个人计算机(personal computer，PC)、笔记本电脑、手机、一体机、掌上电脑、平板电脑(pad)、服务器、智能音箱、智能电视播放终端、车载终端或便捷式设备等用户使用的计算机设备，还可以为网约车平台对应的服务器，或报警平台对应的服务器等，在此不做限定。
服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请对于处理设备、拾取器以及联系设备之间的连接关系不做限定，拾取器和处理设备可以是单独的两个设备，两者之间可通过无线连接。例如，处理设备为网约车平台对应的服务器，拾取器为乘客的手机中的图像拾取器，该手机可通过无线网络与网约车平台对应的服务器连接，并将图像拾取器的采集数据通过无线网络发送给网约车平台对应的服务器。拾取器或者可以为处理设备的一部分，例如，当处理设备为乘客的手机，拾取器为该手机上的摄像头和麦克风，摄像头和麦克风可通过有线与手机的处理器连接。
处理设备和联系设备可以是单独的两个设备，两者之间可通过无线连接。例如，处理设备可以为乘客的手机，联系设备可以为该乘客对应的紧急联系人的手机。处理设备可以为乘客的手机，联系设备可以为网约车平台对应的服务器。或者处理设备可以为乘客的手机，联系设备可以为报警平台对应的服务器。或者处理设备为网约车平台对应的服务器，联系设备可以为报警平台对应的服务器。
需要说明的是，处理设备和联系设备之间的无线连接可通过网约车平台对应的应用程序实现，或者可通过乘客的计算机设备中的监控应用程序实现。本申请可通过上述的应用程序设置监控所使用的拾取器的类型和使用场景。例如，根据电量是否充足，或者根据乘客的位置和时间是否安全等，设置开启全部的拾取器还是部分的拾取器，开启哪些拾取器等。
本申请实施例提出的一种基于特征识别的事件提示方法，该方法可以由基于特征识别的事件提示装置执行，其中该装置可由软件和/或硬件实现，可应用于上述的处理设备。能够在确定乘客发生预设危险事件之后上报给联系设备，以使联系设备对应的联系对象能够及时采取措施来应对发生的事件，便于提高事件的处理效率。
请参照图1，图1是本申请提出一种基于特征识别的事件提示方法的流程示意图。以该方法应用在处理设备为例进行举例说明，如图1所示，包括以下步骤S101-S104，其中：
S101：在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据。
在本申请实施例中，出行订单是指乘客通过网约车平台对应的应用程序，提交的出行请求而生成的订单。出行订单包括乘客的起点位置和终点位置，还可包括接单的网约车的司机的相关信息，例如，姓名、驾龄、评分等。
出行订单的生效期间是指网约车从起点位置接到了乘客，且未到达终点位置的时间。该生效期间可以基于司机在网约车对应的设备(例如，手机)中输入的上车确认信息和下车确认信息进行确定。司机输入的上车确认信息可以为上车的确认按钮，或者乘客的身份信息，例如，手机号码后四位等。司机输入的下车确认信息可以为下车或到达的确认按钮。
在一种可能的示例中，在生成出行订单之后，获取所述出行订单对应的乘客的第一位置和所述出行订单对应的网约车的第二位置；若所述第一位置和所述第二位置之间的距离小于预设距离，则确定所述出行订单生效；或者，在所述出行订单生效之后，获取所述出行订单对应的乘客的第三位置和所述出行订单对应的网约车的第四位置；若所述第三位置和所述第四位置之间的距离大于或等于所述预设距离，则确定所述出行订单失效。
在本申请实施例中，生成出行订单是指用户的出行请求被网约车的司机接单后生成的订单信息。第一位置和第三位置均为乘客的实时位置，也就是说，出行订单的发送端的位置。第二位置和第四位置均为网约车的实时位置，也就是说，出行订单的接收端的位置。第一位置和第三位置可以通过乘客的计算机设备的定位模块进行获取，第二位置和第四位置可以通过网约车平台中网约车对应的设备的定位模块上传的定位信息进行获取。
上述的定位模块可以包括全球定位系统(Global Positioning System，GPS)的定位芯片、网络定位服务(Network Location Provider，NLP)的定位模块等能直接定位的模块，还可以包括借助其他技术，例如，移动数据网络、无线保真(Wireless-Fidelity，Wi-Fi)网络或蓝牙(Bluetooth)网络等间接定位的模块，在此不做限定。
本申请对于预设距离不作限定，预设距离可以为一个较小的数值，例如，5米。可以理解，当乘客的第一位置和网约车的第二位置之间的距离小于预设距离时，表示乘客位于网约车的承载范围内。而在确定出行订单生效之后，当乘客的第三位置和网约车的第四位置之间的距离大于或等于预设距离时，表示乘客从网约车中下车。通过乘客和网约车之间的距离和预设距离之间的大小关系确定出行订单是否生效(或失效)，无需乘客或司机手动确认，可提高操作的便利性。且可避免司机提前确认，减少司机和乘客之间的纠纷。
本申请对于拾取器的类型和数量不做限定，该拾取器的数量可以为2个或多个(大于或等于3个)。拾取器可以为乘客或司机的电子设备(例如，手机)中的拾取器，或网约车内安装的拾取器，例如，乘客的座位前方安装的摄像头。可选的，拾取器包括图像拾取器和心率拾取器。采集数据如前所述，可包括至少一个乘客的数据。当拾取器为图像拾取器和心率拾取器时，采集数据可包括乘客的视频数据和心率数据。
本申请对于采集数据的数据类型和数量不做限定，该采集数据的数量可以为2个或多个。采集数据可以是不同类型的拾取器采集的数据，也可以是同一个拾取器采集的至少两个数据。处理设备可获取所有的拾取器当前采集的数据，或者获取所有乘客的数据，还可获取按照预先设置的拾取器的采集频率接收的采集数据等，在此不做限定。
S102：对所述采集数据进行特征提取，得到所述乘客的目标状态特征。
在本申请实施例中，目标状态特征可包括心率数据对应的目标心率特征、图像数据或视频数据对应的目标表情特征、语音数据对应的目标声音特征、脑电波数据对应的目标脑电波特征、血糖数据对应的目标血糖特征、血氧数据对应的目标血氧特征、温度数据对应的目标温度特征、动作数据对应的目标动作特征等。以上每一种状态特征均用于描述乘客的目标状态数据的具体数值或变化规律。需要说明的是，目标表情特征可以为微表情特征，从而可提高表情特征分类的精细度，便于提高确定发生预设危险事件的准确率。
人处于危险环境中，心率变化的频率非常明显。表情多为严肃、担忧、畏惧等。可能会出现失语或语无伦次的情况发生，或者存在呼叫的声音。还可能会出现奇怪或异常的运动。血糖数据、血氧饱和度数据、温度数据等描述身体状态的数据可能会存在异常。因此，可预先获取不同的预设危险事件对应的数据，对其进行特征提取得到各种预设危险事件对应的预设状态特征。在获取到采集数据之后，可提取该采集数据的状态特征，与预设危险事件对应的预设状态特征进行匹配，从而确定乘客是否发生预设危险事件。
基于此，在本申请实施例中，可预先存储预设危险事件和预设状态特征之间的映射关系，从而可将采集数据的目标状态特征与预设状态特征进行匹配，得到乘客是否发生预设危险事件。上述的映射关系还可存储于区块链网络上创建一个区块中。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。可见，通过区块链分布式存储数据，在保证数据安全性的同时，可实现信息在不同平台之间的数据共享。
在提取采集数据中目标状态特征之前，可对采集数据进行预处理，便于提高提取状态特征的准确率。例如，在采集数据为图像数据或视频数据时，预处理可包括裁剪、缩放、滤波、去噪、直方图均衡和灰度均衡、归一化处理等。
本申请对于提取目标状态特征的方法不做限定，可通过用于不同的采集数据的类型对应的识别模型进行特征提取。例如，图像数据和视频数据对应的识别模型可以基于卷积神经网络CNN，心率数据对应的识别模型可以基于递归神经网络(Recurrent NeutralNetwork，RNN)的一种。RNNs也叫递归神经网络序列，它是一种根据时间序列或字符序列(具体依据应用场景)进行自我调用的神经网络。
本申请对于识别模型的训练方法不做限定，可基于正向传播得到的误差函数，通过反向传播进行权值调整等。识别模型对应的训练集可以包括不同预设危险事件、不同年龄段、不同性别、不同区域、不同性格等类别的用户的数据，从而可提高特征提取的精确度，便于提高危险事件监控的准确率。
在一种可能的示例中，步骤S102包括以下步骤A1～A3，其中：
A1：对所述采集数据进行划分，得到至少两个局部数据。
在本申请实施例中，每一种采集数据可采用不同的划分方法，得到不同类型的局部数据。例如，视频数据可基于ffmpeg技术对视频数据进行划分，或者按照采样数据的采样频率对视频数据进行划分，得到多个帧图像等。又例如，图像数据可基于脸部区域进行区域划分，得到多个区域图像。又例如，心率数据可进行离散化处理，得到多个离散心率数据等。可以理解，基于采集数据的数据类型对采集数据进行划分，可提高划分采集数据的准确率和处理采集数据的效率。
A2：基于所述采集数据的数据类型对应的特征识别算法对所述局部数据进行特征识别，得到局部状态特征。
在本申请实施例中，每一种局部数据可采用采集数据的数据类型对应的特征识别算法进行特征识别，局部状态特征通常为局部数据的表面特征。例如，心率数据采用心率特征识别算法进行特征识别，得到心率特征；图像数据或视频数据采用表情特征识别算法进行特征识别，得到表情特征；语音数据采用声纹识别算法进行特征识别，得到声音特征等。
以下采集数据为视频数据进行举例说明特征识别的方法。其中，局部数据包括视频数据的帧图像，局部状态特征为局部表情特征。在一种可能的示例中，步骤A2可以包括以下步骤A21～A23，其中：
A21：对所述帧图像进行人脸识别，得到所述乘客的人脸图像。
在视频数据划分为帧图像之后，可采用方向梯度直方图(Histogram of OrientedGradient，HOG)、局部二值模式(Local Binary Pattern，LBP)、Gabor小波、类哈尔(Haar-like)等特征提取算法提取人脸特征(点)(或称为人脸关键点)，对于具体的特征提取算法不作限定。当识别出帧图像中的人脸特征之后，可根据乘客的人脸特征选取包含乘客的人脸的帧图像，作为乘客的人脸图像。若网约车内存在多个乘客，可以获取每一乘客的人脸图像。每一人脸图像包括乘客的身份信息，还可包括人脸图像的时间信息或用于描述时间先后顺序的序号。序号越小，表示该人脸图像的采集时间越早。
A22：对所述人脸图像进行区域划分，得到至少两个区域图像。
在本申请实施例中，对人脸图像进行区域划分是指按照脸部区域对人脸图像进行划分，得到的区域图像可以包括眉毛区域图像、眼睛区域图像、面部区域图像、鼻子区域图像和嘴巴区域图像等。
在一种可能的示例中，确定所述人脸图像的角度；基于所述角度和所述人脸特征点的位置对所述人脸图像进行区域划分，得到至少两个区域图像。
其中，人脸角度可以描述为人脸偏离身体正面的角度，可以先确定在视频数据中乘客的身体对应的直线和人脸对应的中线之间的夹角，将该夹角作为人脸角度。身体对应的直线可以为左右手臂和肩膀对应的矩形框进行确定，还可以为两腿之间的间隔进行确定等，在此不做限定。人脸对应的中线可以为鼻梁和眉骨所确定的三角形进行确定，还可以为鼻梁和唇峰对应的线条进行确定等，在此不做限定。
可以理解，基于人脸图像的角度和人脸特征点的位置对人脸区域进行区域划分，可提高划分区域图像的准确率，有利于提高识别表情特征的准确率。
A23：对所述区域图像进行表情特征识别，得到所述局部表情特征。
在本申请实施例中，表情可包括高兴、难过、畏惧、伤心等，在此不做限定。表情特征识别可以基于区域图像的人脸特征进行确定。以畏惧表情进行举例，可以基于不同区域的预设畏惧表情图像和乘客的区域图像进行对比，得到乘客的畏惧表情概率，再基于人脸图像中各个区域图像的畏惧表情概率和每一区域图像的权值进行加权，得到人脸图像为畏惧表情的概率值。
其中，畏惧表情概率是指乘客为畏惧表情的概率。每一区域图像的权值可以基于区域能够体现或隐藏表情进行确定，例如，面部区域图像更容易体现表情，鼻子区域图像难以体现表情，则面部区域图像的权值大于鼻子区域图像的权值。又例如，眼睛更难隐藏表情，嘴巴容易被控制隐藏表情，则眼睛区域图像的权值大于嘴巴区域图像的权值。
每一区域图像的权值或者可以基于该区域图像中包含的特征点的数量和该区域图像对应的区域的总特征点数之间的比值进行确定等，在此不做限定。可以理解，该比值越大，表示该区域图像采集的人脸特征越饱和，给该区域图像设置更大的权值，有利于提高识别的准确率。
在步骤A21～A23中，先对视频数据中的每一帧图像进行人脸识别，得到乘客的人脸图像。再对人脸图像进行区域划分，得到至少两个区域图像。然后，对区域图像进行表情特征识别，得到局部表情特征，从而可提高乘客的表情识别的准确率。
A3：对所述局部状态特征进行递归处理，得到所述乘客的目标状态特征。
在本申请实施例中，递归处理可以基于预先定义的递归处理的局部状态特征的数量进行分组，得到局部状态特征组。再分别对局部状态特征组进行学习，得到第一状态特征。再分别与前一组的第一状态特征进行学习得到的第二状态特征进行学习，最后得到乘客的目标状态特征。其中，局部状态特征组中局部状态特征的数量可以基于采样周期进行确定。
例如，假设局部状态特征组中局部状态特征的数量为2，局部状态特征的总数为5，则局部状态特征组依次记为h1、h2、h3和h4，局部状态特征对应的局部数据按照时间序号记为t1、t2、t3、t4和t5。h1包括t1和t2对应的局部状态特征，h2包括t2和t3对应的局部状态特征，h3包括t3和t4对应的局部状态特征，h4包括t4和t5对应的局部状态特征。如此，h1、h2、h3和h4先分别进行学习，分别得到h1、h2、h3和h4的第一状态特征。再由h2的第一状态特征和h1的第一状态特征进行学习，得到第一个第二状态特征。再由h3的第一状态特征和第一个第二状态特征进行学习，得到第二个第二状态特征。再由h4的第一状态特征和第二个第二状态特征进行学习，得到第三个第二状态特征。h4为最后一个局部状态特征组，则将第三个第二状态特征作为乘客的目标状态特征。可以理解，对局部状态特征进行递归处理，综合分析了每个局部状态特征组的状态特征，相比特征识别得到的局部状态特征，提高了获取乘客的目标状态特征的准确率。
S103：基于所述目标状态特征确定所述乘客是否发生预设危险事件。
预设危险事件的事件类型可参照前述，在此不再赘述。在本申请实施例中，若确定乘客发生预设危险事件，则执行步骤S104。否则，继续获取拾取器采集的采集数据，直至出行订单失效(即结束网约车服务，或者说乘客从网约车中下车)。
若如前所述，本申请预先存储了预设危险事件和预设状态特征之间的映射关系，从而可将采集数据的目标状态特征与预设状态特征进行匹配，得到乘客是否发生预设危险事件。或者，在一种可能的示例中，所述目标状态特征包括目标表情特征和目标心率特征，该目标表情特征可以在执行步骤A23之后，通过执行步骤A3得到。步骤S103包括以下步骤B1～B3，其中：
B1：基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征。
在本申请实施例中，参考情绪特征为将目标心率特征输入至预设情绪识别模型，可得到乘客的情绪特征。预设情绪识别模型是预先训练得到的情绪识别模型。可以理解，基于预设情绪识别模型确定目标心率特征对应的参考情绪特征，可提高获取情绪特征的准确率。
在一种可能的示例中，预设情绪识别模型可基于双向长短期记忆网络条件随机场算法得到。长短期记忆网络(Long-Short Term Memory，LSTM)是RNN的一种。条件随机场(Conditional random field，CRF)是条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，也就是说CRF的特点是假设输出随机变量构成马尔可夫随机场。基于双向长短期记忆网络条件随机场算法(Bi-LSTM-CRF)算法构造的预设情绪识别模型，可提高获取参考情绪特征的准确率。
在一种可能的示例中，步骤B1之前，还包括以下步骤B11和B12，其中：
B11：获取所述乘客的用户数据和所述出行订单对应的网约车环境数据。
在本申请实施例中，乘客的用户数据包括乘客的年龄、性别、消费金额，用车习惯等信息。其中，用车习惯包括常用的起始位置、终点位置、用车车型、乘车人数、乘车时段等。出行订单对应的网约车环境数据包括出行订单的起点位置和终点位置、行驶路线、司机的信息等。网约车环境数据还可包括网约车内的环境数据，例如，网约车的品牌、允许乘坐的人数等信息，或者车内的声音数据、物品摆放情况、空气质量等。
在一种可能的示例中，步骤B11可以包括以下步骤B111～B114，其中：
B111：基于所述视频数据获取所述乘客的环境声音特征和目标声音特征。
在本申请实施例中，目标声音特征是乘客的声音特征，环境声音特征是指乘客所处的场景中的声音特征。环境声音特征可以包括司机踩刹车和换挡等动作的声音特征，或者可以包括网约车的声音特征，例如，播放器的声音特征、空调的声音特征等。或者可以包括风声、雨声、其他车辆按喇叭或广播等环境中的声音特征等，在此不做限定。
环境声音特征和目标声音特征可以基于语音识别技术和声纹识别技术进行获取。语音识别技术是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。声纹识别技术，是把声信号转换成电信号，再用计算机进行识别以得到声纹特征。如此，可通过语音识别技术从视频数据中获取语音数据，再通过声纹识别技术从语音数据中获取乘客的环境声音特征和目标声音特征。
B112：基于所述视频图像获取所述乘客的穿着特征。
在本申请实施例中，乘客的穿着特征是指乘客的衣物和配饰(例如，眼镜、项链、耳环、皮带等)的特征。乘客的穿着特征可以基于人脸识别技术从视频图像中获取乘客的目标图像，可以包括之前的人脸图像的图像。再识别目标图像中乘客所穿着的衣物的颜色、版型、长度、品牌等属性，以及配饰的形状、颜色、尺寸大小、品牌等属性，从而获取乘客的穿着特征。可以理解，不同职业、不同年龄、不同性格的人穿着特征略有不同，基于视频图像获取的乘客的穿着特征，可以确定该乘客的一些数据。
B113：基于所述环境声音特征确定所述出行订单对应的网约车环境数据。
B114：基于所述目标声音特征和所述穿着特征确定所述乘客的用户数据。
可以理解，环境声音特征可体现环境的特征，基于环境声音特征可以确定出行订单对应的网约车环境数据。乘客的目标声音特征和穿着特征可体现乘客的性格和状态，从而可基于目标声音特征和穿着特征确定乘客的用户数据。
B12：获取与所述用户数据和所述网约车环境数据对应的预设情绪识别模型。
在本申请实施例中，可以预先基于不同的网约车环境数据和用户数据，对预设情绪识别模型进行训练，并得到各种网约车环境数据和用户数据对应的预设网络参数。然后，在训练完成之后，可获取与当前的网约车环境数据和用户数据对应的预设网络参数，以得到网约车环境数据和用户数据对应的预设情绪识别模型。可以理解，基于乘客的用户数据和出行订单对应的网约车环境数据对应的预设情绪识别模型确定目标心率特征对应的参考情绪特征，有利于提高情绪识别的准确率。
B2：基于所述目标表情特征和所述参考情绪特征获取所述乘客的畏惧情绪概率。
在本申请实施例中，目标表情特征和参考情绪特征可以包括情绪特征向量，即包括各种情绪(例如，开心、悲伤、害怕、难过、畏惧、惊喜、困顿等)发生的概率。本申请可采用Softmax分类器或支持向量机(support vector machines，SVM)分类器对情绪特征向量进行分类。可以理解，对目标表情特征和参考情绪特征对应的情绪特征向量进行分类，可得到乘客的畏惧情绪概率。
B3：若所述畏惧情绪概率大于预设阈值，则确定所述乘客发生预设危险事件。
本申请对于预设阈值不作限定，可以理解，若乘客的畏惧情绪概率大于预设阈值，则表示乘客处于危险的环境中，可确定乘客发生预设危险事件。
在步骤B1～B3中，基于目标表情特征和目标心率特征对应的参考情绪特征获取乘客的畏惧情绪概率。并在畏惧情绪概率大于预设阈值的情况下，确定乘客发生预设危险事件。也就是说，从乘客的畏惧情绪考虑是否发生预设危险事件，可提高确定乘客发生预设危险事件的准确率。
需要说明的是，本申请实施例以目标状态特征中的目标表情特征和目标心率特征进行举例说明如何确定乘客是否发生预设危险事件，除了目标表情特征和目标心率特征之外的状态特征(例如，目标声音特征、目标脑电波特征、目标血糖特征、目标血氧特征、目标温度特征和目标动作特征等)，可参照步骤B1的方法获取对应的参考情绪特征，再与目标表情特征一起获取乘客的畏惧情绪概率。并在畏惧情绪概率大于预设阈值的情况下，确定乘客发生预设危险事件。
S104：向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
本申请对于联系设备和提示信息不做限定，联系设备可以为乘客预先指定的联系人对应的电子设备，或者可以为报警平台对应的服务器或医疗平台对应的服务器等。需要说明的是，联系设备的数量可以为一个或多个，例如，乘客的亲属的电子设备、报警平台的服务器和医疗平台的服务器等，从而从不同方面对乘客进行保护。提示信息可以包括预设危险事件对应的文字信息，还可包括预设危险事件对应的图像或视频等。
在一种可能的示例中，在步骤S104包括之前还包括以下步骤C1和步骤C2，其中：
C1：确定所述预设危险事件对应的危险值。
在本申请实施例中，危险值用于描述乘客的危险程度，可以基于预设危险事件的事件类型进行确定，还可以基于目标状态特征进行确定。其中，事件类型可以为行驶路线危险事件和司机涉及非法事件，或者进一步为具体的非法事件和危险地带的类型等。在一种可能的示例中，步骤C1可以包括：基于所述预设危险事件对应的事件类型，以及所述目标表情特征和所述参考情绪特征确定所述预设危险事件的危险值。
可以理解，不同事件类型的危险值不同，例如，行驶路线危险事件的危险值小于司机涉及非法事件的危险值。乘客的情绪特征中表示为畏惧情绪的概率越大，表示乘客遭遇的预设危险事件的危险值越大。在该示例中，基于预设危险事件对应的事件类型和乘客的目标表情特征和参考情绪特征确定预设危险事件的危险值，可提高确定危险值的准确率。
C2：基于所述危险值确定联系设备，以及所述预设危险事件对应的提示信息。
在本申请实施例中，可将联系设备按照危险值或危险值对应的危险等级进行关联。危险值越大，联系设备对应的用户的保护能力越强。例如，危险值较小时，联系设备为乘客的亲属的电子设备；危险值较大时，联系设备为报警平台对应的服务器。如此，可基于危险值确定本次发送提示信息的联系设备，可提高乘客的安全性。
在本申请实施例中，可预先基于危险值定义不同的预设危险事件的提示信息。危险值越大，提示信息的提示效果越好。例如，危险值较小时，采用短信形式的提示信息进行提示；危险值较大时，采用电话形式的提示信息进行提示，以提高通知的及时性。又例如，危险值较小时，提示信息单次发送；危险值较大时，提示信息可多次发送，以提高通知的效果。
在执行步骤C2之后，步骤S104可以包括：向所述联系设备发送所述提示信息。如此，基于预设危险事件对应的危险值确定联系设备以及预设危险事件对应的提示信息，再向联系设备发送提示信息，可提高提示效果。
在图1所示的方法中，在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据。然后对采集数据进行特征提取得到乘客的目标状态特征，再基于目标状态特征确定乘客是否发生预设危险事件，可提高确定发生预设危险事件的准确率。若是，则向乘客对应的联系设备发送预设危险事件对应的提示信息。如此，能够在确定乘客发生预设危险事件之后上报给联系设备，以使联系设备对应的联系对象能够及时采取措施来应对发生的事件，便于提高事件的处理效率。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
与图1所示的实施例一致，请参照图2，图2是本申请提出的一种基于特征识别的事件提示装置的结构示意图，如图2所示，事件提示装置200包括：
获取单元201，用于在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据；
处理单元202，用于对所述采集数据进行特征提取，得到所述乘客的目标状态特征；基于所述目标状态特征确定所述乘客是否发生预设危险事件；
通知单元203，用于若所述处理单元确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
在一个可能的示例中，所述处理单元202具体用于对所述采集数据进行划分，得到至少两个局部数据；基于所述采集数据的数据类型对应的特征识别算法对所述局部数据进行特征识别，得到局部状态特征；对所述局部状态特征进行递归处理，得到所述乘客的目标状态特征。
在一个可能的示例中，所述采集数据包括视频数据，所述局部数据包括所述视频数据的帧图像，所述局部状态特征包括局部表情特征，所述目标状态特征包括目标表情特征，所述处理单元202具体用于对所述帧图像进行人脸识别，得到所述乘客的人脸图像；对所述人脸图像进行区域划分，得到至少两个区域图像；对所述区域图像进行表情特征识别，得到所述局部表情特征。
在一个可能的示例中，所述目标状态特征包括目标表情特征和目标心率特征，所述处理单元202具体用于基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征；基于所述目标表情特征和所述参考情绪特征获取所述乘客的畏惧情绪概率；若所述畏惧情绪概率大于预设阈值，则确定所述乘客发生预设危险事件。
在一个可能的示例中，所述获取单元201还用于获取所述乘客的用户数据和所述出行订单对应的网约车环境数据；获取与所述用户数据和所述网约车环境数据对应的预设情绪识别模型。
在一个可能的示例中，所述处理单元202具体用于基于所述视频数据获取所述乘客的环境声音特征和目标声音特征；基于所述视频图像获取所述乘客的穿着特征；基于所述环境声音特征确定所述出行订单对应的网约车环境数据；基于所述目标声音特征和所述穿着特征确定所述乘客的用户数据。
在一个可能的示例中，所述处理单元202还用于确定所述预设危险事件对应的危险值；基于所述危险值确定联系设备，以及所述预设危险事件对应的提示信息；所述通知单元203具体用于向所述联系设备发送所述提示信息。
该事件提示装置200中各个单元执行详细过程可以参见前述方法实施例中的执行步骤，此处不在赘述。
与图1的实施例一致，请参照图3，图3是本申请实施例提供的一种计算机设备的结构示意图。如图3所示，该计算机设备300包括处理器310、存储器320、通信接口330以及一个或多个程序340。处理器310、存储器320和通信接口330之间通过总线350互相连接。图2所示的通知单元203所实现的相关功能可通过通信接口330来实现，图2所示的获取单元201和处理单元202所实现的相关功能可通过处理器310来实现。
上述一个或多个程序340被存储在上述存储器320中，并且被配置由上述处理器310执行，上述程序340包括用于执行以下步骤的指令：
在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据；
对所述采集数据进行特征提取，得到所述乘客的目标状态特征；
基于所述目标状态特征确定所述乘客是否发生预设危险事件；
若确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
在一个可能的示例中，在所述对所述采集数据进行特征提取，得到所述乘客的目标状态特征方面，所述程序340具体用于执行以下步骤的指令：
对所述采集数据进行划分，得到至少两个局部数据；
基于所述采集数据的数据类型对应的特征识别算法对所述局部数据进行特征识别，得到局部状态特征；
对所述局部状态特征进行递归处理，得到所述乘客的目标状态特征。
在一个可能的示例中，所述采集数据包括视频数据，所述局部数据包括所述视频数据的帧图像，所述局部状态特征包括局部表情特征，所述目标状态特征包括目标表情特征，在所述基于所述采集数据的数据类型对所述采集数据进行特征识别，得到局部状态特征方面，所述程序340具体用于执行以下步骤的指令：
对所述帧图像进行人脸识别，得到所述乘客的人脸图像；
对所述人脸图像进行区域划分，得到至少两个区域图像；
对所述区域图像进行表情特征识别，得到所述局部表情特征。
在一个可能的示例中，所述目标状态特征包括目标表情特征和目标心率特征，在所述基于所述目标状态特征确定所述乘客是否发生预设危险事件方面，所述程序340具体用于执行以下步骤的指令：
基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征；
基于所述目标表情特征和所述参考情绪特征获取所述乘客的畏惧情绪概率；
若所述畏惧情绪概率大于预设阈值，则确定所述乘客发生预设危险事件。
在一个可能的示例中，在所述基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征之前，所述程序340还用于执行以下步骤的指令：
获取所述乘客的用户数据和所述出行订单对应的网约车环境数据；
获取与所述用户数据和所述网约车环境数据对应的预设情绪识别模型。
在一个可能的示例中，在所述获取所述乘客的用户数据和所述出行订单对应的网约车环境数据方面，所述程序340具体用于执行以下步骤的指令：
基于所述视频数据获取所述乘客的环境声音特征和目标声音特征；
基于所述视频图像获取所述乘客的穿着特征；
基于所述环境声音特征确定所述出行订单对应的网约车环境数据；
基于所述目标声音特征和所述穿着特征确定所述乘客的用户数据。
在一个可能的示例中，在所述向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息之前，所述程序340还用于执行以下步骤的指令：
确定所述预设危险事件对应的危险值；
基于所述危险值确定联系设备，以及所述预设危险事件对应的提示信息；
在所述向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息方面，所述程序340具体用于执行以下步骤的指令：
向所述联系设备发送所述提示信息。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，该计算机程序使得计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤，计算机包括拾取器、处理设备和联系设备。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，计算机包括拾取器、处理设备和联系设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模式并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如至少一个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少一个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模式的形式实现。
集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于特征识别的事件提示方法，其特征在于，包括：
在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据；
对所述采集数据进行特征提取，得到所述乘客的目标状态特征，包括：对所述采集数据进行划分，得到至少两个局部数据；基于所述采集数据的数据类型对应的特征识别算法对所述局部数据进行特征识别，得到局部状态特征；对所述局部状态特征进行递归处理，得到所述乘客的目标状态特征；所述递归处理包括：基于预先定义的递归处理的局部状态特征的数量进行分组，得到局部状态特征组，再分别对局部状态特征组进行学习，得到第一状态特征；再分别与前一组的第一状态特征进行学习得到的第二状态特征，最后基于第二状态特征得到乘客的目标状态特征；所述局部状态特征组中局部状态特征的数量基于采样周期进行确定；
基于所述目标状态特征确定所述乘客是否发生预设危险事件；所述目标状态特征包括目标表情特征和目标心率特征，所述基于所述目标状态特征确定所述乘客是否发生预设危险事件，包括：基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征；基于所述目标表情特征和所述参考情绪特征获取所述乘客的畏惧情绪概率；若所述畏惧情绪概率大于预设阈值，则确定所述乘客发生预设危险事件；
若确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
2.根据权利要求1所述的方法，其特征在于，所述局部数据包括所述视频数据的帧图像，所述局部状态特征包括局部表情特征，所述目标状态特征包括目标表情特征，所述基于所述数据类型对所述局部数据进行特征识别，得到局部状态特征，包括：
对所述帧图像进行人脸识别，得到所述乘客的人脸图像；
对所述人脸图像进行区域划分，得到至少两个区域图像；
对所述区域图像进行表情特征识别，得到所述局部表情特征。
3.根据权利要求1所述的方法，其特征在于，在所述基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征之前，所述方法还包括：
获取所述乘客的用户数据和所述出行订单对应的网约车环境数据；
获取与所述用户数据和所述网约车环境数据对应的预设情绪识别模型。
4.根据权利要求3所述的方法，其特征在于，所述获取所述乘客的用户数据和所述出行订单对应的网约车环境数据，包括：
基于所述视频数据获取所述乘客的环境声音特征和目标声音特征；
基于所述视频图像获取所述乘客的穿着特征；
基于所述环境声音特征确定所述出行订单对应的网约车环境数据；
基于所述目标声音特征和所述穿着特征确定所述乘客的用户数据。
5.根据权利要求1中任一项所述的方法，其特征在于，在所述向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息之前，所述方法还包括：
确定所述预设危险事件对应的危险值；
基于所述危险值确定联系设备，以及所述预设危险事件对应的提示信息；
所述向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息，包括：
向所述联系设备发送所述提示信息。
6.一种基于特征识别的事件提示装置，其特征在于，包括：
获取单元，用于在乘客的出行订单的生效期间，获取至少两个拾取器中每一拾取器的采集数据，所述采集数据包括所述乘客的视频数据和心率数据；
处理单元，用于对所述采集数据进行特征提取，得到所述乘客的目标状态特征，包括：对所述采集数据进行划分，得到至少两个局部数据；基于所述采集数据的数据类型对应的特征识别算法对所述局部数据进行特征识别，得到局部状态特征；对所述局部状态特征进行递归处理，得到所述乘客的目标状态特征；所述递归处理包括：基于预先定义的递归处理的局部状态特征的数量进行分组，得到局部状态特征组，再分别对局部状态特征组进行学习，得到第一状态特征；再分别与前一组的第一状态特征进行学习得到的第二状态特征，最后基于第二状态特征得到乘客的目标状态特征；所述局部状态特征组中局部状态特征的数量基于采样周期进行确定；基于所述目标状态特征确定所述乘客是否发生预设危险事件；所述目标状态特征包括目标表情特征和目标心率特征，所述基于所述目标状态特征确定所述乘客是否发生预设危险事件，包括：基于预设情绪识别模型确定所述目标心率特征对应的参考情绪特征；基于所述目标表情特征和所述参考情绪特征获取所述乘客的畏惧情绪概率；若所述畏惧情绪概率大于预设阈值，则确定所述乘客发生预设危险事件；
通知单元，用于若所述处理单元确定所述乘客发生所述预设危险事件，则向所述乘客对应的联系设备发送所述预设危险事件对应的提示信息。
7.一种计算机设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-5中任一项方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使得计算机执行以实现权利要求1-5中任一项所述的方法。
CN202111061835.4A 2021-09-10 2021-09-10 基于特征识别的事件提示方法、装置、设备及存储介质 Active CN113781278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111061835.4A CN113781278B (zh) 2021-09-10 2021-09-10 基于特征识别的事件提示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111061835.4A CN113781278B (zh) 2021-09-10 2021-09-10 基于特征识别的事件提示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781278A CN113781278A (zh) 2021-12-10
CN113781278B true CN113781278B (zh) 2024-08-16

Family

ID=78842378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111061835.4A Active CN113781278B (zh) 2021-09-10 2021-09-10 基于特征识别的事件提示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113781278B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409207A (zh) * 2018-09-10 2019-03-01 百度在线网络技术（北京）有限公司 无人车内乘客状态的识别方法、装置、设备及存储介质
CN113096808A (zh) * 2021-04-23 2021-07-09 深圳壹账通智能科技有限公司 事件提示方法、装置、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100279A1 (en) * 2017-11-23 2019-05-31 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for estimating arrival time
CN109410519A (zh) * 2018-10-25 2019-03-01 衢州学院 一种基于大数据的车辆人员安全监控方法及系统
KR102546441B1 (ko) * 2018-11-07 2023-06-26 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN110766182A (zh) * 2018-12-12 2020-02-07 北京嘀嘀无限科技发展有限公司 针对乘客的安全保护
CN110782625A (zh) * 2018-12-17 2020-02-11 北京嘀嘀无限科技发展有限公司 乘车安全报警方法、装置、电子设备及存储介质
CN109859085A (zh) * 2018-12-25 2019-06-07 深圳市天彦通信股份有限公司 安全预警方法及相关产品
CN110070889A (zh) * 2019-03-15 2019-07-30 深圳壹账通智能科技有限公司 车辆监控方法、装置及存储介质、服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409207A (zh) * 2018-09-10 2019-03-01 百度在线网络技术（北京）有限公司 无人车内乘客状态的识别方法、装置、设备及存储介质
CN113096808A (zh) * 2021-04-23 2021-07-09 深圳壹账通智能科技有限公司 事件提示方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113781278A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US12032730B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
Chan et al. A comprehensive review of driver behavior analysis utilizing smartphones
CN105632049B (zh) 一种基于可穿戴设备的预警方法和装置
Kashevnik et al. Cloud-based driver monitoring system using a smartphone
US10922566B2 (en) Cognitive state evaluation for vehicle navigation
CN109726771B (zh) 异常驾驶检测模型建立方法、装置及存储介质
US10931772B2 (en) Method and apparatus for pushing information
US10922567B2 (en) Cognitive state based vehicle manipulation using near-infrared image processing
CN110001652B (zh) 驾驶员状态的监测方法、装置及终端设备
CN113474787A (zh) 驾驶员的认知状态的检测
KR20170107373A (ko) 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법
Rajamohana et al. Driver drowsiness detection system using hybrid approach of convolutional neural network and bidirectional long short term memory (CNN_BILSTM)
CN110728218A (zh) 危险驾驶行为的预警方法、装置、电子设备及存储介质
CN107909023B (zh) 运动参数的识别方法、装置、终端及存储介质
US11600082B1 (en) Image analysis technologies for assessing safety of vehicle operation
CN113516828B (zh) 溺水监测方法、装置、设备与计算机可读存储介质
Lindow et al. Driver behavior monitoring based on smartphone sensor data and machine learning methods
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Panwar et al. DDNet-A deep learning approach to detect driver distraction and drowsiness
Alam et al. Active vision-based attention monitoring system for non-distracted driving
CN115249481A (zh) 基于情绪识别的催收方法和系统、计算机设备、存储介质
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
CN113781278B (zh) 基于特征识别的事件提示方法、装置、设备及存储介质
Adireddi et al. Detection of eye blink using svm classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240718

Address after: Room 3605, Floor 5, Building 3, Micro World, No. 23, Century Avenue, Liuwu New District, Lhasa, Xizang Autonomous Region, 851414

Applicant after: Xizang Liansa Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 200135 floor 15, No. 1333, Lujiazui Ring Road, pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: Weikun (Shanghai) Technology Service Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant