CN112820072A - 危险驾驶预警方法、装置、计算机设备及存储介质 - Google Patents

危险驾驶预警方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112820072A
CN112820072A CN202011584251.0A CN202011584251A CN112820072A CN 112820072 A CN112820072 A CN 112820072A CN 202011584251 A CN202011584251 A CN 202011584251A CN 112820072 A CN112820072 A CN 112820072A
Authority
CN
China
Prior art keywords
expression
face image
preset
micro
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011584251.0A
Other languages
English (en)
Inventor
熊玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202011584251.0A priority Critical patent/CN112820072A/zh
Publication of CN112820072A publication Critical patent/CN112820072A/zh
Priority to PCT/CN2021/125225 priority patent/WO2022142614A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及微表情识别技术领域，揭露了一种危险驾驶预警方法、装置、计算机设备及存储介质。该方法将车辆行驶过程中实时获取的人脸图像按照获取顺序关联记录为人脸图像序列；检测人脸图像序列中的人脸图像是否发生微表情变化，在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；将目标表情特征输入至预设表情编码系统中确定目标表情类别；若目标表情类别属于预设危险表情类别，则通过多轮对话装置获取驾驶员的对话信息；根据对话信息中的声纹特征与预设疲劳度量表确定驾驶员是否存在疲劳驾驶；在确定驾驶员存在疲劳驾驶时，根据声纹特征以及目标表情类别触发危险驾驶语音提示。本发明提高了危险驾驶预警的准确性。

Description

危险驾驶预警方法、装置、计算机设备及存储介质
技术领域
本发明涉及微表情识别技术领域，尤其涉及一种危险驾驶预警方法、装置、计算机设备及存储介质。
背景技术
目前，随着人们生活水平的提高，道路上的车流量年年攀升，交通事故的数量也随之增加。其中，危险驾驶行为是导致交通事故的主要原因之一，因此对危险驾驶行为进行提前预警是非常重要的。
现有的危险驾驶预警系统，通过安装在汽车上的硬件设备来检测驾驶员的驾驶行为，并在出现驾驶违规操作时对驾驶员发出告警，例如通过检测汽车速度进行判断。但是该方法存在危险驾驶预警准确率较低的问题，并且突然发出警报更容易造成驾驶员的慌乱，导致事故发生的可能性增加。
发明内容
本发明实施例提供一危险驾驶预警方法、装置、计算机设备及存储介质以解决危险驾驶预警准确率较低的问题。
一种危险驾驶预警方法，包括：
在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；所述目标表情特征是指所有第二人脸图像中与第一人脸图像差异最大的表情特征；第一人脸图像是指微表情变化之前的首个第一微表情类型的人脸图像；第二人脸图像是指所述人脸图像序列中与第一人脸图像连续的后端序列段中的人脸图像，所述后端序列段中的所有第二人脸图像均为第二微表情类型；
将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取驾驶员的对话信息；
提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述样本表情触发危险驾驶语音提示。
一种危险驾驶预警装置，包括：
人脸图像序列记录模块，用于在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
表情特征获取模块，用于检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；
表情类别确定模块，用于将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
对话信息获取模块，用于若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取所述驾驶员的对话信息；
声纹特征匹配模块，用于提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
语音提示模块，用于在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述危险驾驶预警方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述危险驾驶预警方法。
上述危险驾驶预警方法、装置、计算机设备及存储介质，该方法通过在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；所述目标表情特征是指所有第二人脸图像中与第一人脸图像差异最大的表情特征；第一人脸图像是指微表情变化之前的首个第一微表情类型的人脸图像；第二人脸图像是指所述人脸图像序列中与第一人脸图像连续的后端序列段中的人脸图像，所述后端序列段中的所有第二人脸图像均为第二微表情类型；将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；若所述目标表情类别属于预设危险表情类别，则启动多轮对话装置，与所述驾驶员进行对话，并获取驾驶员的对话信息；提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中危险驾驶预警方法的一应用环境示意图；
图2是本发明一实施例中危险驾驶预警方法的一流程图；
图3是本发明一实施例中危险驾驶预警方法中步骤S10的一流程图；
图4是本发明一实施例中危险驾驶预警方法中步骤S20的一流程图；
图5是本发明一实施例中危险驾驶预警方法中步骤S20的另一流程图；
图6是本发明一实施例中危险驾驶预警方法中步骤S30的一流程图；
图7是本发明一实施例中危险驾驶预警装置的一原理框图；
图8是本发明一实施例中危险驾驶预警装置中人脸图像序列记录模块的一原理框图；
图9是本发明一实施例中危险驾驶预警装置中表情特征获取模块的一原理框图；
图10是本发明一实施例中危险驾驶预警装置中表情特征获取模块的另一原理框图；
图11是本发明一实施例中危险驾驶预警装置中表情类别确定模块的一原理框图；
图12是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的危险驾驶预警方法，该危险驾驶预警方法可应用如图1所示的应用环境中。具体地，该危险驾驶预警方法应用在危险驾驶预警系统中，该危险驾驶预警系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于危险驾驶预警准确率较低的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种危险驾驶预警方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S10：在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
可以理解地，人脸图像序列指的是在一段时间内获取到的人脸图像的集合，且人脸图像的排序与获取时间顺序关联，进而形成按照获取时间顺序排列的多帧人脸图像序列。
在一实施例中，如图3所示，步骤S10中，包括：
S101：在车辆行驶过程中，通过预设拍摄设备拍摄预设范围内的图像；
可以理解地，在车辆行驶过程中，可以通过安装在车辆的拍摄设备进行拍摄获取驾驶员的人脸图像，示例性地，该拍摄设备可以为摄像机、手机等具有拍摄存储功能的设备。预设范围可以根据不同的车辆的驾驶员座位进行调整，该预设范围用于限定驾驶员的座位范围，也即在该预设范围内检测到驾驶员的人脸图像，表征驾驶员在驾驶过程中没有进行如弯腰，转头等动作。
S102：在所述预设拍摄设备拍摄到驾驶员的人脸图像时，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
可以理解地，在通过预设拍摄设备拍摄到包含驾驶员的人脸图像时，表征驾驶员正在正常驾驶，此时不用触发危险驾驶提示，进而可以根据获取的人脸图像按照获取顺序关联记录为人脸图像序列。
S103：在所述预设拍摄设备在预设范围内未拍摄到驾驶员的人脸图像时，触发危险驾驶提示，并在重新拍摄到包含驾驶员的人脸图像时，停止危险驾驶提示。
可以理解地，在预设拍摄设备未拍摄到包含驾驶员的人脸图像时，表征驾驶员当前可能不在正常驾驶，示例性地，如驾驶员弯腰捡东西，此时在预设范围内拍摄不到驾驶员的人脸图像，亦或者驾驶员低头玩手机时，也不能拍摄到驾驶员的人脸图像，则立刻触发危险驾驶提示，亦或者在车辆具有自动驾驶模式时，会自动切换至自动驾驶模式，并在重新拍摄到驾驶员的人脸图像时，停止危险驾驶提示。此时，可以将之前拍摄到驾驶员的人脸图像删除，因此暂时驾驶员不会发生其它如疲劳驾驶的情况；也可以保留之前拍摄到驾驶员的人脸图像，以与后续拍摄的人脸图像进行比对。
S20：检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；
其中，所述目标表情特征是指所有第二人脸图像中与第一人脸图像差异最大的表情特征；可以理解地，发生微表情变化的过程是通过一帧一帧图像进行判别的，而为了更准确地确定微表情的表情类别，则需要获取与第一人脸图像具有最大差异的表情特征，示例性地，假设第一人脸图像是平静的表情，在驾驶员驾驶过程中可能由于疲劳驾驶导致其对应的人脸图像向疲劳表情变化，进而在表情变化差异最大的时候，该第二人脸图像的表情特征可以包含眉毛下垂(平静表情时眉毛可能为齐平状态)、双眼紧闭(该双眼闭合程度可以通过上眼皮与下眼皮之间的距离进行确定，平静表情时双眼中上眼皮与下眼皮之间的距离较大)，进而眉毛下垂以及双眼紧闭即为微表情变化之后的人脸图像的目标表情特征。第一人脸图像是指微表情变化之前的首个第一微表情类型的人脸图像；第二人脸图像是指所述人脸图像序列中与第一人脸图像连续的后端序列段中的人脸图像，所述后端序列段中的所有第二人脸图像均为第二微表情类型；
可以理解地，为了通过人脸图像对危险驾驶行为进行判断，因此需要针对相邻两帧人脸图像之间是否发生微表情变化进行判定，在相邻两帧人脸图像之间微表情发生变化，表征此时驾驶员的情绪或者状态发生变化，进而可以获取微表情变化之后的人脸图像的目标表情特征。
可以理解地，所述后端序列段指的是人脸图像序列中的一段序列，在该段序列中微表情类型暂未发生改变，也即在后端序列段中的所有第二人脸图像均为第二微表情类型。
在一实施例中，如图4所示，步骤S20中，也即所述检测所述人脸图像序列中的人脸图像是否发生微表情变化，包括：
S201：将所述人脸图像序列中第一帧人脸图像记录为初始人脸图像，并对所述初始人脸图像进行像素标注，得到与所述初始人脸图像对应的初始特征标注；
S202：将所述人脸图像序列中与所述初始人脸图像对应的下一帧人脸图像记录为对比人脸图像，并对所述对比人脸图像进行像素标注，得到与所述对比人脸图像对应的对比特征标注；
可以理解地，对于一个人脸图像而言，每一种微表情对应的人脸图像是不一样的，如眉毛的位置不同(如眉毛齐平或者眉毛上挑)等，因此在将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列之后，将所述人脸图像序列中第一帧人脸图像记录为初始人脸图像，并对所述初始人脸图像进行像素标注，也即标注人脸图像中各个部位(如眉毛，眼睛，嘴巴等)的位置信息，以确定与所述初始人脸图像对应的第一特征标注。
同理，对初始人脸图像进行像素标注完成之后，将所述人脸图像序列中与所述初始人脸图像对应的下一帧人脸图像记录为对比人脸图像，并对所述对比人脸图像进行像素标注，得到与所述对比人脸图像对应的对比特征标注。
S203：将所述初始特征标注与所述对比特征标注进行像素特征比较，确定所述初始特征标注与所述对比特征标注之间的标注差异值；
可以理解地，在对所述初始人脸图像进行像素标注，得到与所述初始人脸图像对应的初始特征标注，以及对所述对比人脸图像进行像素标注，得到与所述对比人脸图像对应的对比特征标注之后，将所述初始特征标注与所述对比特征标注进行像素特征比较，如眉毛之间的位置，眼睛睁开的程度等进行比较，比如将初始特征标注中眉毛位置与对比特征标注中眉毛位置进行比较，确定眉毛位置差值，又比如将初始特征标注中眼睛睁开的程度(如记录上眼皮与下眼皮之间的距离)，与比对特征标注中眼睛睁开的程度进行比较，确定眼睛睁开程度差值，进而根据上述各个部位信息的特征差值确定所述初始特征标注与所述对比特征标注之间的标注差异值。
S204：将所述标注差异值与预设差异阈值进行比较；
S205：在所述标注差异值大于或等于预设差异阈值时，提示所述人脸图像序列中的人脸图像发生微表情变化，并将所述初始人脸图像记录为所述第一人脸图像，将所述对比人脸图像以及排序在对比人脸图像之后的人脸图像关联记录为所述第二人脸图像。
其中，预设差异阈值可以根据实际需求进行判定，例如，在驾驶员是年龄比较大的人员时，考虑到其反应没有那么快，则该预设差异阈值可以设置小一点，如20％、30％等。
可以理解地，将所述标注差异值与预设差异阈值进行比较之后，在标注差异值大于或等于预设差异阈值时，表征对比人脸图像中的微表情与初始人脸图像中的微表情发生较大的改变，此时需要注意可能发生危险驾驶的情况。可以理解地，驾驶员在初期驾驶时，微表情较为平静且处于一种精神集中的状态，在驾驶时间过长的情况下，驾驶员的微表情可能会发生变化，因此本实施例中，初始人脸图像与对比人脸图像之间的标注差异值大于或等于预设差异阈值时，可能驾驶员出现了微表情的变化，且该微表情可能是疲劳微表情类型中的一种。
在将所述标注差异值与预设差异阈值进行比较之后，若标注差异值小于预设差异阈值，则表征对比人脸图像中的微表情与初始人脸图像中的微表情之间没有较大的改变，进而可以继续比较人脸图像序列中其它人脸图像，如将对比人脸图像的后一帧的人脸图像与对比人脸图像进行比对。
进一步地，如图5所示，步骤S20中，也即获取微表情变化之后的人脸图像的目标表情特征，包括：
S206：对所述第一人脸图像进行像素标注，得到与所述第一人脸图像对应的第一特征标注；
具体地，在检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化之后，对微表情变化之前的首个第一微表情类型的第一人脸图像进行像素标注，也即对第一人脸图像中各个部位(如眉毛，眼睛，嘴巴等)的位置信息，进而得到与第一人脸图像对应的第一特征标注。
S207：对所有所述第二人脸图像进行像素标注，得到与各所述第二人脸图像对应的第二特征标注；
具体地，在检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化之后，对第二微表情类型的第二人脸图像进行像素标注，也即对第二人脸图像中各个部位(如眉毛，眼睛，嘴巴等)的位置信息，可以理解地，为了更好地区分第一人脸图像与第二人脸图像之间的区别，因此第一人脸图像的第一特征标注中具有的标注部位，第二人脸图像的第二特征标注也具有相应标注部位，进而得到与各第二人脸图像对应的第二特征标注。
S208：将所述第一特征标注与各所述第二特征标注进行比对，确定所述第一特征标注与各所述第二特征标注之间的标注差异值；
S209：将最大的所述标注差异值对应第二特征标注记录为所述目标表情特征。
具体地，在对所述第一人脸图像进行像素标注，得到与所述第一人脸图像对应的第一特征标注，以及对所有所述第二人脸图像进行像素标注，得到与各所述第二人脸图像对应的第二特征标注之后，将第一特征标注与各第二特征标注进行比对，确定第一特征标注与各第二特征标注之间的标注差异值，并将最大的标注差异值对应的第二特征标注记录为目标表情特征。可以理解地，在本实施例中，将最大的标注差异值对应的第二特征标注记录为目标表情特征是因为，可能在此之前的第二特征标注无法更准确判断驾驶员当前状态，进而在将最大的所述标注差异值对应第二特征标注记录为所述目标表情特征之后，可以提高危险驾驶预警的准确率。
S30：将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
其中，预设表情编码系统中存储与各类微表情下的具体表情的编码系统。
具体地，在检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征之后，将目标表情特征输入至预设表情编码系统中，以在预设表情编码系统中确定与目标表情特征对应的目标表情类别。
在一实施例中，步骤S30之前，还包括：
S01：获取对预设人脸图像进行区域划分之后得到的多个肌肉运动单元，一个所述肌肉运动单元关联一个表情编码；
可以理解地，预设人脸图像可以为面无表情的人脸图像，示例性地，该预设人脸图像中，眉毛、嘴巴或者眼睛均处于齐平状态，也即眉毛未上扬，眼睛未闭合等。进一步地，对预设人脸图像进行区域划分指的是根据人脸图像中各可能存在明显变化的部位进行划分，得到多个肌肉运动单元，示例性地，该肌肉运动单元可以为嘴巴、眼睛、额头肌肉等，一个肌肉运动单元由人脸中一块肌肉或者多块肌肉组成。表情编码用于表征肌肉运动单元的分类，示例性地，嘴巴肌肉运动单元关联一个表情编码为A；眼睛肌肉运动单元关联一个表情编码为B等。
S02：获取预设表情图像集；所述预设表情图像集中包含至少一张微表情样本图像；一个微表情样本图像关联一个表情标签；
其中，为了提高预设表情编码系统中数据的准确性，预设表情图像集中的微表情样本图像尽量多的选取驾驶场景下的图像，以更好的反应驾驶场景下的各种微表情对应的图像特征。表情标签指示微表情样本图像中的具体微表情含义，示例性地，微表情样本图像中的微表情为不开心，对应的表情标签可以为伤心表情标签，可以理解地，一个微表情类别下存在多种不同的微表情，也即同一种微表情类别，其对应的微表情的肌肉运动单元运动方式可能是不同的。
S03：对所述微表情样本图像进行像素标注得到与该微表情样本图像对应的样本图像特征之后，确定与所述样本图像特征对应的所有表情运动单元；
其中，表情运动单元指的是微表情样本图像与预设人脸图像之间存在不同的肌肉运动单元，可以理解地，微表情样本图像关联一个表情标签，每一个微表情之间的肌肉运动单元的具体信息均存在不同(如眉毛的位置不同，嘴巴的弧度不同等)，因此对所述微表情样本图像进行像素标注得到与该微表情样本图像对应的样本图像特征之后，对样本图像特征与预设人脸图像对应的预设图像特征(该预设图像特征可以对预设人脸图像进行像素标注之后得到)进行比较，将样本图像特征与预设图像特征之间不同的特征对应的肌肉运动单元记录为表情运动单元。
S04：将各所述表情运动单元归类至与其匹配的所述肌肉运动单元中，并根据与其匹配的肌肉运动单元关联的表情编码为每一个表情运动单元设置一个表情子编码，并将所述表情子编码与所述表情编码关联；
具体地，对所述微表情样本图像进行像素标注得到与该微表情样本图像对应的样本图像特征之后，确定与所述样本图像特征对应的所有表情运动单元；将各表情运动单元归类至与其匹配的肌肉运动单元中，示例性地，表情运动单元为眉毛上扬，则将该表情运动单元归类至眉毛肌肉运动单元。在将各所述表情运动单元归类至与其匹配的所述肌肉运动单元中，根据与其匹配的肌肉运动单元关联的表情编码为每一个表情运动单元设置一个表情子编码，并将所述表情子编码与所述表情编码关联；示例性地，假设眉毛肌肉运动单元表情编码为A，则眉毛上扬表情子编码可以为A1。
S05：将与同一个微表情样本图像对应的表情标签、表情子编码以及表情编码关联记录为所述微表情样本图像的编码组合；
S06：根据各所述微表情样本图像的编码组合构建预设表情编码系统。
具体地，在将各所述表情运动单元归类至与其匹配的所述肌肉运动单元中，并根据与其匹配的肌肉运动单元关联的表情编码为每一个表情运动单元设置一个表情子编码，并将所述表情子编码与所述表情编码关联之后，将与同一个微表情样本图像对应的表情标签、表情子编码以及表情编码关联记录为所述微表情样本图像的编码组合，示例性地，可以将表情标签、表情子编码以及表情编码关联记录为表情三元组，进而形成微表情样本图像的编码组合，以根据各所述微表情样本图像的编码组合构建预设表情编码系统。
在一实施例中，如图6所示，步骤S30中，也即所述将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别，包括：
S301：获取第一特征标注对应的各第一运动单元，以及与所述目标表情特征对应的各第二运动单元；所述第一特征标注是通过对所述第一人脸图像进行像素标注得到；
S302：将与所述第一运动单元不同的所述第二运动单元记录为待匹配运动单元；
可以理解地，第一运动单元与第一特征标注中对第一人脸图像标注的部位相关，第二运动单元与目标表情特征中对第二人脸图像标注的部位相关。
示例性地，假设第一特征标注为第一人脸图像中眉毛的位置以及嘴巴位置，则与该第一特征标注中包括眉毛运动单元以及嘴巴运动单元；同理，在上述说明中已经指出目标表情特征对应的第二特征标注与第一特征标注具有相同的标注部位，因此目标表情特征中也包括眉毛运动单元以及嘴巴运动单元。而第一特征标注的眉毛运动单元可能为眉毛齐平，而目标表情特征的眉毛运动单元可能为眉毛上扬，因此第一运动单元中眉毛运动单元即为眉毛齐平运动单元，而第二运动单元中眉毛运动单元即为眉毛上扬运动单元。
进一步地，在获取所述第一特征标注对应的各第一运动单元，以及与所述目标表情特征对应的各第二运动单元之后，将与所述第一运动单元不同的所述第二运动单元记录为待匹配运动单元，也即如上述说明中第一运动单元中眉毛运动单元即为眉毛齐平运动单元，而第二运动单元中眉毛运动单元即为眉毛上扬运动单元，则第一运动单元与第二运动单元中不同的运动单元即为眉毛运动单元。
进一步地，还可以通过确定第一特征标注与目标表情特征之间存在不同之处的表情特征，进而将与该不同之处的表情特征对应的肌肉运动单元记录为待匹配运动单元。
S303：确定与所述待匹配运动单元匹配的肌肉运动单元，并自预设表情编码系统中获取与其匹配的肌肉运动单元对应的表情编码；
具体地，在将与所述第一运动单元不同的所述第二运动单元记录为待匹配运动单元之后，确定与待匹配运动单元匹配的肌肉运动单元，并获取与该肌肉运动单元对应的表情编码。示例性地，假设待匹配运动单元为眉毛运动单元，则自预设表情编码系统中获取与眉毛运动单元对应的表情编码。
S304：自所述表情编码中，确定与所述待匹配运动单元对应的表情子编码；
进一步地，在确定与所述待匹配运动单元匹配的肌肉运动单元，并自预设表情编码系统中获取与其匹配的肌肉运动单元对应的表情编码之后，确定与待匹配运动单元对应的表情子编码，示例性地，假设该待匹配运动单元为眉毛运动单元中的眉毛上扬运动单元，则自眉毛表情编码中，确定与眉毛上扬对应的表情子编码。
S305：根据确定的所述表情编码以及所述表情子编码，确定与所述目标表情特征对应的目标表情类别。
可以理解地，在确定与待匹配运动单元对应的表情编码以及表情子编码之后，由于在预设表情编码系统中存储由与同一个微表情样本图像对应的表情标签、表情子编码以及表情编码关联记录为所述微表情样本图像的编码组合，进而根据该表情编码以及表情子编码确定与目标表情特征对应的目标表情类别。进一步地，一个微表情可能是由多个不同的表情子编码构成的，进而根据各待匹配肌肉运动单元对应的表情编码以及表情子编码，即可确定目标表情类别。
示例性地，假设疲劳表情类别中，对应的各个部位的信息为，眉毛下垂，双眼紧闭等，则在对应的表情编码为眉毛运动单元对应的表情编码，以及眼睛运动单元对应的表情编码，对应的表情子编码包括眉毛下垂对应的表情子编码，以及双眼紧闭对应的表情子编码，进而根据上述的表情编码以及表情子编码，确定与目标表情特征对应的目标表情类别即为疲劳表情类别。
S40：若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取驾驶员的对话信息；
其中，预设危险表情类别可以为疲劳表情类别。多轮对话装置可以设置在车辆上的智能语音系统中，该多轮对话装置通过TTS播报技术，与驾驶员进行对话沟通，提高驾驶员的精神。
具体地，在将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别之后，确定目标表情类别是否为预设危险表情类别，以在目标表情类别属于预设危险表情类别时，启动多轮对话装置，并通过多轮对话装置询问驾驶员当前状态，亦或者向驾驶员播报一些有趣的消息，进而与驾驶员进行对话，并获取驾驶员的对话信息。
S50：提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
可以理解地，预设疲劳量表是通过多轮对话装置预先对驾驶员各种状态下的声音进行学习之后，根据对话中的声音特性生成的，示例性地，预先通过对驾驶员进行场景模拟测试，如提取驾驶员正常驾驶时的声纹特征，并对该声纹特征进行编码且打上正常驾驶声纹的标签，又比如提取驾驶员初期疲劳时的声纹特征，并对该声纹特征进行编码且打上初始疲劳声纹的标签，进而根据各个不同驾驶时期的声纹特征以及对应的标签，构建预设疲劳量表。
可以理解地，预设疲劳量表中存在各个疲劳量对应的等级，以及与该等级对应的样本声纹特征，进而在提取对话信息中驾驶员的声纹特征之后，可以根据该声纹特征与样本声纹特征进行匹配，如对声纹特征以及样本声纹特征进行电平调整和对齐，并通过IRS滤波模拟声纹特征以及样本声纹特征的频率特性，以在对声纹特征以及样本声纹特征的频率特性进行补偿之后，通过不对称处理算法确定声纹特征和样本声纹特征之间的相似度，进而选取最高相似度的样本声纹特征作为对声纹特征判断的依据，从而自预设疲劳量度表中确定与该相似度最高的样本声纹特征对应的疲劳度等级，从而确定驾驶员当前的疲劳度，以对驾驶员是否存在疲劳驾驶现象进行判定。
S60：在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
可以理解地，在确定驾驶员存在疲劳驾驶时，可以根据声纹特征亦或者目标表情类别确定当前驾驶员的疲劳程度(如轻度疲劳，重度疲劳等)，如根据声纹特征与预设疲劳度量表确定驾驶员存在疲劳驾驶时，可以根据与该声纹特征对应的疲劳等级确定驾驶员当前的疲劳程度，亦或者在根据目标表情特征确定目标表情类别时，由于不同疲劳程度对应的微表情的表情特征也是不同的，进而在确定目标表情类别时可以得到具体的疲劳程度表情(如根据上眼皮与下眼皮之间的距离范围限定不同的疲劳程度)，进而在确定所述驾驶员存在疲劳驾驶时，可以根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示，示例性地，在根据所述声纹特征以及所述目标表情类别确定驾驶员当前为轻度疲劳驾驶时，可以与驾驶员进行持续语音聊天，亦或者播报轻松诙谐的脱口秀节目等危险驾驶语音提示；若为重度疲劳驾驶时，可以通过较大分贝的语音提示广播，并在驾驶员驾驶自动汽车时切换至自动驾驶状态。
进一步地，可以根据司机每次开车的疲劳频率(如经常疲劳，一般疲劳)，通常在某个时间段疲劳(例晚上10点到12点)，调整疲劳提醒策略，例如经常疲劳的司机可进行提前提醒，在司机还没产生疲劳时就自动进行语音提醒(经常疲劳的比一般疲劳的提醒频率更高)；或在司机容易疲劳的时间(晚上10点)播放提醒信息或音乐等，进而可以通过不断与驾驶员进行交互，可以防止驾驶员陷入深度睡眠，降低事故发生率。
在本发明中，采用智能表情技术以及语音分析能够更加敏感准确地捕捉到司机的疲惫状态，一旦发现该情况，就采用多轮对话技术，进行提醒，提高了危险驾驶预警的准确性，并且在发现人脸图像存在疲劳驾驶时，不是立即进行提示，缓解了立即触发预警提示带来的突发性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种危险驾驶预警装置，该危险驾驶预警装置与上述实施例中危险驾驶预警方法一一对应。如图7所示，该危险驾驶预警装置包括人脸图像序列记录模块10、表情特征获取模块20、表情类别确定模块30、对话信息获取模块40、声纹特征匹配模块50和语音提示模块60。各功能模块详细说明如下：
人脸图像序列记录模块10，用于在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
表情特征获取模块20，用于检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；
表情类别确定模块30，用于将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
对话信息获取模块40，用于若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取所述驾驶员的对话信息；
声纹特征匹配模块50，用于提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
语音提示模块60，用于在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
优选地，如图8所示，人脸图像序列记录模块10包括如下单元：
图像拍摄单元101，用于在车辆行驶过程中，通过预设拍摄设备拍摄预设范围内的图像；
人脸图像序列记录单元102，用于在所述预设拍摄设备拍摄到驾驶员的人脸图像时，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
危险提示单元103，用于在所述预设拍摄设备在预设范围内未拍摄到驾驶员的人脸图像时，触发危险驾驶提示，并在重新拍摄到包含驾驶员的人脸图像时，停止危险驾驶提示。
优选地，如图9所示，表情特征获取模块20包括：
第一像素标注单元201，用于将所述人脸图像序列中第一帧人脸图像记录为初始人脸图像，并对所述初始人脸图像进行像素标注，得到与所述初始人脸图像对应的初始特征标注；
第二像素标注单元202，用于将所述人脸图像序列中与所述初始人脸图像对应的下一帧人脸图像记录为对比人脸图像，并对所述对比人脸图像进行像素标注，得到与所述对比人脸图像对应的对比特征标注；
标注差异值确定单元203，用于将所述初始特征标注与所述对比特征标注进行像素特征比较，确定所述初始特征标注与所述对比特征标注之间的标注差异值；
差异比较单元204，用于将所述标注差异值与预设差异阈值进行比较；
第二人脸图像记录单元205，用于在所述标注差异值大于或等于预设差异阈值时，提示所述人脸图像序列中的人脸图像发生微表情变化，并将所述初始人脸图像记录为所述第一人脸图像，将所述对比人脸图像以及排序在对比人脸图像之后的人脸图像关联记录为所述第二人脸图像。
优选地，如图10所示，表情特征获取模块20还包括：
第三像素标注单元206，用于对所述第一人脸图像进行像素标注，得到与所述第一人脸图像对应的第一特征标注；
第四像素标注单元207，用于对所有所述第二人脸图像进行像素标注，得到与各所述第二人脸图像对应的第二特征标注；
特征标注比对单元208，用于将所述第一特征标注与各所述第二特征标注进行比对，确定所述第一特征标注与各所述第二特征标注之间的标注差异值；
目标表情特征确定单元209，用于将最大的所述标注差异值对应第二特征标注记录为所述目标表情特征。
优选地，危险驾驶预警装置还包括：
肌肉运动单元获取模块01，用于获取对预设人脸图像进行区域划分之后得到的多个肌肉运动单元，一个所述肌肉运动单元关联一个表情编码；
表情图像集获取模块02，用于获取预设表情图像集；所述预设表情图像集中包含至少一张微表情样本图像；一个微表情样本图像关联一个表情标签；
表情运动单元确定模块03，用于对所述微表情样本图像进行像素标注得到与该微表情样本图像对应的样本图像特征之后，确定与所述样本图像特征对应的所有表情运动单元；
表情子编码设置模块04，用于将各所述表情运动单元归类至与其匹配的所述肌肉运动单元中，并根据与其匹配的肌肉运动单元关联的表情编码为每一个表情运动单元设置一个表情子编码，并将所述表情子编码与所述表情编码关联；
编码组合记录模块05，用于将与同一个微表情样本图像对应的表情标签、表情子编码以及表情编码关联记录为所述微表情样本图像的编码组合；
表情编码系统构建模块06，用于根据各所述微表情样本图像的编码组合构建预设表情编码系统。
优选地，如图11所示，表情类别确定模块30包括：
运动单元获取单元301，用于获取第一特征标注对应的各第一运动单元，以及与所述目标表情特征对应的各第二运动单元；所述第一特征标注是通过对所述第一人脸图像进行像素标注得到；
待匹配运动单元记录单元302，用于将与所述第一运动单元不同的所述第二运动单元记录为待匹配运动单元；
表情编码获取单元303，用于确定与所述待匹配运动单元匹配的肌肉运动单元，并自预设表情编码系统中获取与其匹配的肌肉运动单元的表情编码；
表情子编码获取单元304，用于自所述表情编码中，确定与所述待匹配运动单元对应的表情子编码；
目标表情类别确定单元305，用于根据确定的所述表情编码以及所述表情子编码，确定与所述目标表情特征对应的目标表情类别。
关于危险驾驶预警装置的具体限定可以参见上文中对于危险驾驶预警方法的限定，在此不再赘述。上述危险驾驶预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中危险驾驶预警方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种危险驾驶预警方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中危险驾驶预警方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中危险驾驶预警方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种危险驾驶预警方法，其特征在于，包括：
在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；
将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取驾驶员的对话信息；
提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
2.如权利要求1所述的危险驾驶预警方法，其特征在于，所述在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列，包括：
在车辆行驶过程中，通过预设拍摄设备拍摄预设范围内的图像；
在所述预设拍摄设备拍摄到驾驶员的人脸图像时，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
在所述预设拍摄设备在预设范围内未拍摄到驾驶员的人脸图像时，触发危险驾驶提示，并在重新拍摄到包含驾驶员的人脸图像时，停止危险驾驶提示。
3.如权利要求1所述的危险驾驶预警方法，其特征在于，所述检测所述人脸图像序列中的人脸图像是否发生微表情变化，包括：
将所述人脸图像序列中第一帧人脸图像记录为初始人脸图像，并对所述初始人脸图像进行像素标注，得到与所述初始人脸图像对应的初始特征标注；
将所述人脸图像序列中与所述初始人脸图像对应的下一帧人脸图像记录为对比人脸图像，并对所述对比人脸图像进行像素标注，得到与所述对比人脸图像对应的对比特征标注；
将所述初始特征标注与所述对比特征标注进行像素特征比较，确定所述初始特征标注与所述对比特征标注之间的标注差异值；
将所述标注差异值与预设差异阈值进行比较；
在所述标注差异值大于或等于预设差异阈值时，提示所述人脸图像序列中的人脸图像发生微表情变化，并将所述初始人脸图像记录为第一人脸图像，将所述对比人脸图像以及排序在对比人脸图像之后的人脸图像关联记录为第二人脸图像。
4.如权利要求1所述的危险驾驶预警方法，其特征在于，所述目标表情特征是指所有第二人脸图像中与第一人脸图像差异最大的表情特征；第一人脸图像是指微表情变化之前的首个第一微表情类型的人脸图像；第二人脸图像是指所述人脸图像序列中与第一人脸图像连续的后端序列段中的人脸图像，所述后端序列段中的所有第二人脸图像均为第二微表情类型；所述获取微表情变化之后的人脸图像的目标表情特征，包括：
对所述第一人脸图像进行像素标注，得到与所述第一人脸图像对应的第一特征标注；
对所有所述第二人脸图像进行像素标注，得到与各所述第二人脸图像对应的第二特征标注；
将所述第一特征标注与各所述第二特征标注进行比对，确定所述第一特征标注与各所述第二特征标注之间的标注差异值；
将最大的所述标注差异值对应第二特征标注记录为所述目标表情特征。
5.如权利要求1所述的危险驾驶预警方法，其特征在于，所述将所述目标表情特征输入至预设表情编码系统中之前，还包括：
获取对预设人脸图像进行区域划分之后得到的多个肌肉运动单元，一个所述肌肉运动单元关联一个表情编码；
获取预设表情图像集；所述预设表情图像集中包含至少一张微表情样本图像；一个微表情样本图像关联一个表情标签；
对所述微表情样本图像进行像素标注得到与该微表情样本图像对应的样本图像特征之后，确定与所述样本图像特征对应的所有表情运动单元；
将各所述表情运动单元归类至与其匹配的所述肌肉运动单元中，并根据与其匹配的肌肉运动单元关联的表情编码为每一个表情运动单元设置一个表情子编码，并将所述表情子编码与所述表情编码关联；
将与同一个微表情样本图像对应的表情标签、表情子编码以及表情编码关联记录为所述微表情样本图像的编码组合；
根据各所述微表情样本图像的编码组合构建预设表情编码系统。
6.如权利要求5所述的危险驾驶预警方法，其特征在于，所述将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别，包括：
获取第一特征标注对应的各第一运动单元，以及与所述目标表情特征对应的各第二运动单元；所述第一特征标注是通过对第一人脸图像进行像素标注得到；
将与所述第一运动单元不同的所述第二运动单元记录为待匹配运动单元；
确定与所述待匹配运动单元匹配的肌肉运动单元，并自预设表情编码系统中获取与其匹配的肌肉运动单元的表情编码；
自所述表情编码中，确定与所述待匹配运动单元对应的表情子编码；
根据确定的所述表情编码以及所述表情子编码，确定与所述目标表情特征对应的目标表情类别。
7.一种危险驾驶预警装置，其特征在于，包括：
人脸图像序列记录模块，用于在车辆行驶过程中实时获取驾驶员的人脸图像，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
表情特征获取模块，用于检测所述人脸图像序列中的人脸图像是否发生微表情变化，并在检测到人脸图像发生微表情变化时，获取微表情变化之后的人脸图像的目标表情特征；
表情类别确定模块，用于将所述目标表情特征输入至预设表情编码系统中，确定与所述目标表情特征对应的目标表情类别；
对话信息获取模块，用于若所述目标表情类别属于预设危险表情类别，则通过多轮对话装置与所述驾驶员进行对话，并获取所述驾驶员的对话信息；
声纹特征匹配模块，用于提取所述对话信息中所述驾驶员的声纹特征，根据所述声纹特征与预设疲劳度量表确定所述驾驶员是否存在疲劳驾驶；
语音提示模块，用于在确定所述驾驶员存在疲劳驾驶时，根据所述声纹特征以及所述目标表情类别触发危险驾驶语音提示。
8.如权利要求7所述的危险驾驶预警装置，其特征在于，所述人脸图像序列记录模块，包括：
图像拍摄单元，用于在车辆行驶过程中，通过预设拍摄设备拍摄预设范围内的图像；
人脸图像序列记录单元，用于在所述预设拍摄设备拍摄到驾驶员的人脸图像时，将获取的所述人脸图像按照获取顺序关联记录为人脸图像序列；
危险提示单元，用于在所述预设拍摄设备在预设范围内未拍摄到驾驶员的人脸图像时，触发危险驾驶提示，并在重新拍摄到包含驾驶员的人脸图像时，停止危险驾驶提示。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述危险驾驶预警方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述危险驾驶预警方法。
CN202011584251.0A 2020-12-28 2020-12-28 危险驾驶预警方法、装置、计算机设备及存储介质 Pending CN112820072A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011584251.0A CN112820072A (zh) 2020-12-28 2020-12-28 危险驾驶预警方法、装置、计算机设备及存储介质
PCT/CN2021/125225 WO2022142614A1 (zh) 2020-12-28 2021-10-21 危险驾驶预警方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011584251.0A CN112820072A (zh) 2020-12-28 2020-12-28 危险驾驶预警方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112820072A true CN112820072A (zh) 2021-05-18

Family

ID=75854947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011584251.0A Pending CN112820072A (zh) 2020-12-28 2020-12-28 危险驾驶预警方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112820072A (zh)
WO (1) WO2022142614A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276827A (zh) * 2021-05-26 2021-08-20 朱芮叶 电动汽车能源回收系统控制方法、系统以及汽车
CN113887406A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 基于人脸识别的预警方法、装置、电子设备及介质
CN114022944A (zh) * 2022-01-05 2022-02-08 北京国信网联科技有限公司 一种智能监控系统
WO2022142614A1 (zh) * 2020-12-28 2022-07-07 深圳壹账通智能科技有限公司 危险驾驶预警方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359545B (zh) * 2022-10-19 2023-01-24 深圳海星智驾科技有限公司 一种工作人员疲劳检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824059A (zh) * 2014-02-28 2014-05-28 东南大学 一种基于视频图像序列的人脸表情识别方法
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
CN109766461A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于微表情的照片管理方法、装置、计算机设备及介质
CN109795319A (zh) * 2019-01-15 2019-05-24 威马智慧出行科技（上海）有限公司 检测和干预驾驶员疲劳驾驶的方法、装置和系统
US20200242343A1 (en) * 2018-12-11 2020-07-30 Ge Aviation Systems Limited Method of assessing a pilot emotional state
WO2020253349A1 (zh) * 2019-06-19 2020-12-24 深圳壹账通智能科技有限公司 基于图像识别的驾驶行为预警方法、装置和计算机设备
US20220114838A1 (en) * 2019-04-30 2022-04-14 Hewlett-Packard Development Company, L.P. Facial action unit detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013264B2 (en) * 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN106541915A (zh) * 2016-11-28 2017-03-29 墨宝股份有限公司 一种电动汽车安全预警系统及其预警方法
CN109598899A (zh) * 2018-11-09 2019-04-09 南京大学 一种个性化疲劳监测与提醒的系统及方法
CN110091874A (zh) * 2019-05-07 2019-08-06 绍兴天宏激光科技有限公司 一种基于表情识别的安全驾驶系统及识别方法
CN112820072A (zh) * 2020-12-28 2021-05-18 深圳壹账通智能科技有限公司 危险驾驶预警方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824059A (zh) * 2014-02-28 2014-05-28 东南大学 一种基于视频图像序列的人脸表情识别方法
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
US20200242343A1 (en) * 2018-12-11 2020-07-30 Ge Aviation Systems Limited Method of assessing a pilot emotional state
CN109766461A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于微表情的照片管理方法、装置、计算机设备及介质
CN109795319A (zh) * 2019-01-15 2019-05-24 威马智慧出行科技（上海）有限公司 检测和干预驾驶员疲劳驾驶的方法、装置和系统
US20220114838A1 (en) * 2019-04-30 2022-04-14 Hewlett-Packard Development Company, L.P. Facial action unit detection
WO2020253349A1 (zh) * 2019-06-19 2020-12-24 深圳壹账通智能科技有限公司 基于图像识别的驾驶行为预警方法、装置和计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142614A1 (zh) * 2020-12-28 2022-07-07 深圳壹账通智能科技有限公司 危险驾驶预警方法、装置、计算机设备及存储介质
CN113276827A (zh) * 2021-05-26 2021-08-20 朱芮叶 电动汽车能源回收系统控制方法、系统以及汽车
CN113887406A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 基于人脸识别的预警方法、装置、电子设备及介质
CN114022944A (zh) * 2022-01-05 2022-02-08 北京国信网联科技有限公司 一种智能监控系统

Also Published As

Publication number Publication date
WO2022142614A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112820072A (zh) 危险驾驶预警方法、装置、计算机设备及存储介质
CN109769099B (zh) 通话人物异常的检测方法和装置
CN105488957B (zh) 疲劳驾驶检测方法及装置
Dasgupta et al. A smartphone-based drowsiness detection and warning system for automotive drivers
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
CN109559481A (zh) 驾驶风险智能识别方法、装置、计算机设备及存储介质
CN106073804B (zh) 一种疲劳检测方法及移动终端
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
CN112633387A (zh) 一种安全提醒方法、装置、设备、系统及存储介质
Huang et al. Detecting the instant of emotion change from speech using a martingale framework
CN114856363B (zh) 一种基于神经网络的车窗透气控制方法、装置及车辆
CN115937949A (zh) 一种表情识别的方法、装置、电子设备及存储介质
CN115171678A (zh) 语音识别方法、装置、电子设备、存储介质及产品
Sathesh et al. Allowance of driving based on drowsiness detection using audio and video processing
US11315362B2 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
CN112550306A (zh) 车辆驾驶辅助系统、包括其的车辆及相应方法和介质
CN117475414A (zh) 基于驾驶员人脸信息的疲劳检测与判定方法及装置
CN105989328A (zh) 检测人员使用手持装置的方法及装置
CN116977485A (zh) 一种图像处理方法、装置、设备、介质及程序产品
CN115147818A (zh) 玩手机行为识别方法及装置
CN115713751A (zh) 疲劳驾驶检测方法、设备、存储介质及装置
CN113139531A (zh) 困倦状态检测方法及装置、电子设备、可读存储介质
CN112861816A (zh) 异常行为检测方法及装置
CN110751810A (zh) 一种疲劳驾驶检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049345

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518

RJ01 Rejection of invention patent application after publication