CN110399793A - 基于图像识别的驾驶行为预警方法、装置和计算机设备 - Google Patents
基于图像识别的驾驶行为预警方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110399793A CN110399793A CN201910532866.XA CN201910532866A CN110399793A CN 110399793 A CN110399793 A CN 110399793A CN 201910532866 A CN201910532866 A CN 201910532866A CN 110399793 A CN110399793 A CN 110399793A
- Authority
- CN
- China
- Prior art keywords
- driver
- expression
- image
- information
- judging result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000014509 gene expression Effects 0.000 claims abstract description 137
- 230000001815 facial effect Effects 0.000 claims abstract description 75
- 230000009471 action Effects 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 87
- 238000000576 coating method Methods 0.000 claims description 20
- 239000011248 coating agent Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000005086 pumping Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 47
- 210000003414 extremity Anatomy 0.000 description 26
- 210000003205 muscle Anatomy 0.000 description 16
- 210000000744 eyelid Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 210000004709 eyebrow Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008602 contraction Effects 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 241000223503 Platysma Species 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 229940037201 oris Drugs 0.000 description 2
- 206010016275 Fear Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010044684 Trismus Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000001595 contractor effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于人工智能技术领域，提供了一种基于图像识别的驾驶行为预警方法、装置、计算机设备及计算机可读存储介质。其中，方法包括：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；根据驾驶员人脸图像获取相应的表情信息；根据驾驶员肢体动作图像获取驾驶员的驾驶动作信息；将表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；将驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；若表情判断结果满足预设条件和/或驾驶动作判断结果满足预设条件，则发出告警提示。从而能够从多个维度来衡量驾驶员在驾驶过程中的危险信息，提前进行告警，提高了告警的准确度和全面性。
Description
技术领域
本发明属于人工智能技术领域，尤其涉及一种基于图像识别的驾驶行为预警方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前，随着人们生活水平的提高，汽车逐渐走入老百姓家中，也导致道路上的车流量年年攀升，交通事故的数量也随之增加。其中，危险驾驶行为是导致交通事故的主要原因之一。
在现有技术中，针对驾驶员的危险驾驶行为，主要是通过安装在汽车上的硬件设备(如OBD，即：中文全称为车载诊断系统，英文全称为：On-Board Diagnostics)来检测驾驶员的驾驶行为，并在出现驾驶违规操作时对驾驶员发出告警(如检测到当前车速超速时，发出语音限速提醒)。其虽然在一定程度上减少了危险驾驶行为的发生，但没有结合驾驶员在驾驶过程中的危险驾驶习惯来触发告警，造成告警的参考维度单一，进而导致告警准确度低的问题。
发明内容
本发明实施例提供了一种基于图像识别的驾驶行为预警方法、装置、计算机设备及计算机可读存储介质，以解决现有的驾驶行为预警方法存在告警准确性低的问题。
本发明实施例的第一方面提供了一种基于图像识别的驾驶行为预警方法，包括：
在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
根据所述驾驶员人脸图像获取相应的表情信息；
根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本发明实施例的第二方面提供了一种基于图像识别的驾驶行为预警装置，包括：
第一获取模块，用于在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
第二获取模块，用于根据所述驾驶员人脸图像获取相应的表情信息；
第三获取模块，用于根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
第一匹配判断模块，用于将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
第二匹配判断模块，用于将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
告警提示模块，用于若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本发明实施例的第三方面提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
根据所述驾驶员人脸图像获取相应的表情信息；
根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
根据所述驾驶员人脸图像获取相应的表情信息；
根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本发明实施例，通过在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像，首先根据所述驾驶员人脸图像获取相应的表情信息，然后根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息，再之，将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果，最后将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果，若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示，从而能够从多个维度来衡量驾驶员在驾驶过程中的危险信息，提前进行告警，提高了告警的准确度和全面性，解决了告警的参考维度单一，导致告警准确度低的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于图像识别的驾驶行为预警方法的一应用环境示意图；
图2是本发明实施例一提供的基于图像识别的驾驶行为预警方法的实现流程示意图；
图3是本发明实施例二提供的基于图像识别的驾驶行为预警装置的示意图；
图4是本发明实施例提供的基于图像识别的驾驶行为预警装置中第一获取模块的示意图；
图5是本发明实施例提供的基于图像识别的驾驶行为预警装置的另一个示意图；
图6是本发明实施例提供的基于图像识别的驾驶行为预警装置中第二获取模块的示意图；
图7是本发明实施例提供的基于图像识别的驾驶行为预警装置中第一匹配判断模块的示意图；
图8是本发明实施例三提供的计算机设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供的基于图像识别的驾驶行为预警方法可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为了说明本发明实施例所提供的基于图像识别的驾驶行为预警方法，下面通过具体实施例来进行说明。
实施例一：
图2示出了本发明实施例一提供的基于图像识别的驾驶行为预警方法的实现流程示意图。如图2所示，该基于图像识别的驾驶行为预警方法具体包括如下步骤101至步骤106，详述如下：
步骤101：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像。
作为本发明的一个实施例，可通过安装在汽车内的一个或一组网络摄像头对在驾驶车辆过程中驾驶员的人脸以及肢体部位(手部)进行拍摄，得到包括驾驶员人脸信息的照片或者视频信息。若拍摄的是照片，可按照设定的时间间隔对驾驶员的人脸和肢体部位进行抓拍，将抓拍得到的照片进行相应的调整(如裁剪)以得到驾驶员的驾驶员人脸图像和肢体动作图像。若拍摄的是视频信息，则步骤101中在车辆行驶过程中获取驾驶员肢体动作图像，具体可包括步骤201、步骤202和步骤203，详述如下：
步骤201：在车辆行驶过程中实时录制驾驶员的视频。
步骤202：按照预设时间间隔从所述视频信息中视频片段开始拍摄时间点开始等间距地确定出各个抽帧时间点。
步骤203：将所述视频片段中各个所述抽帧时间点对应的视频帧抽取出来，得到各个肢体动作图像。
对于上述步骤201，可以通过终端设备(如车载终端)在车辆行驶过程中实时录制驾驶员的视频。
对于上述步骤202，服务器在从视频信息中视频片段中提取出肢体动作图像时，具体可以采用等间隔的方式抽取该视频片段中的视频帧。首先，服务器可以按照预设时间间隔从所述视频片段的开始播放时间点开始等间距地确定出各个抽帧时间点。该预设时间间隔可以根据实际情况需要进行设置，例如设置为100毫秒，也即每隔100毫秒抽取一个视频帧。举例说明，该视频片段总时长为2分钟，即120s，其开始播放时间点为0，则服务器在该视频片段上确定的各个抽帧时间点分别为100ms、200ms、300ms、400ms、……，依次类推，最后一个抽帧时间点为120s所在的位置。因此，可以得到该2分钟的视频片段中确定出的抽帧时间点共1200个。
对于上述步骤203，可以理解的是，在确定出各个抽帧时间点之后，相当于确定了本次应当从该视频片段中抽取哪些视频帧作为肢体动作图像。服务器可以将所述视频片段中各个所述抽帧时间点对应的视频帧抽取出来，得到各个肢体动作图像。继续上述举例，即，服务器从该视频片段上100ms、200ms、300ms、400ms、……、120s的时间点上的视频帧抽取出来，得到共1200个视频帧作为所述各个肢体动作图像，也即共1200个肢体动作图像。
步骤102：根据所述驾驶员人脸图像获取相应的表情信息。
作为本发明的一个实施例，步骤102具体包括步骤301和步骤302，详述如下：
步骤301：对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合。
其中，所述驾驶员人脸图像上的脸部各个部位的动作形态特征包括显著表情和微表情对应的动作形态特征，由于动作形态特征均体现在人脸图像上的脸部各个部位，显著表情和微表情对应的动作形态特征夹杂混合在一起，因此先得到动作形态特征集合，便于下一步骤进行分别识别。
步骤302：将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
其中，微表情数据库中包括但不限于如下各个微表情动作形态特征，其中，饱满愤怒表情的动作形态特征如下：
(1)眼轮匝肌强烈收缩，导致双眉下压；皱眉肌强烈收缩，眉头紧皱。
(2)上睑提肌强烈收缩，将上眼睑提至最高，想要努力露出全部虹膜上缘(如图中虚线所示)。但是，上眼睑的提升和双眉下压形成互相挤压的愤怒形态，会在上眼睑皮肤上形成斜线的皮肤褶皱。
(3)下眼睑绷紧。上眼睑的形态和绷紧的下眼睑匹配，称为怒视。
(4)提上唇肌和上唇鼻翼提肌共同收缩，提升鼻翼的同时也使脸颊隆起，形成鼻翼两侧深沟纹。
(5)下颚向下张开，下唇在降下唇肌的作用下下拉，露出部分下齿，在颈阔肌的收缩作用下向两侧拉伸并变薄，紧紧贴在下颚骨上。
其中，憋气的愤怒表情动作形态特征组合如下：
(1)皱眉肌收缩，眼轮匝肌收缩，使双眉皱紧并下压。
(2)上睑提肌收缩。
(3)眼轮匝肌的收缩，还会使下眼睑绷紧并轻微向两侧拉扯。
(4)口轮匝肌收缩，使双唇紧紧闭在一起。
(5)降口角肌收缩，使双侧嘴角向下弯曲。
(6)颏肌收缩，在下巴上形成肌肉隆起，表面凹凸不平，同时向上推起下唇，保持双唇紧闭。
其中，最小的愤怒表情的动作形态特征组合为：
(1)上睑提肌收缩，上眼睑试图上提(通常会遇到双眉的皱紧、下压)。
(2)眼轮匝肌收缩，下眼睑绷紧，更贴紧颅骨。
饱满的恐惧表情的动作形态特征组合如下：
(1)皱眉肌收缩，双眉向中间皱紧，形成纵向皱眉纹。
(2)额肌中束收缩，向上提升两侧眉头，在额前形成倒U形皱纹。
(3)上睑提肌收缩，试图提升上眼睑，但因为眼轮匝肌和皱眉肌的反向运动受到抑制，在上眼睑的皮肤上形成对角线褶皱。如果不受到抑制的话，可以分析出虹膜上缘会全部露出(如图中虚线所示)。
(4)提上唇肌和上唇鼻翼提肌共同收缩，提升上唇，露出上齿。
(5)颈阔肌收缩，将嘴角向两侧拉开，使嘴的水平宽度比正常状态更大。
(6)降下唇肌收缩，将下唇向下拉低，露出部分下齿。
其中，害怕的动作形态特征组合如下：
(1)皱眉肌和额肌中束共同收缩，正常的拱形眉形(虚线)被破坏，眉头上扬，眉形整体在内侧1/3处扭曲向上(箭头)。
(2)上眼睑向上提升，露出更多的虹膜上缘。
(3)提上唇肌轻微收缩，上唇提起，略微露出上齿。
(4)颈阔肌轻微收缩，将嘴角向两侧拉开，使嘴的水平宽度较平时的松弛状态更大。
其中，不安的动作形态特征组合如下：
(1)眉毛整体趋平，依旧保持着扭曲的状态，眉头上扬，但程度略微减轻；皱眉肌引起轻微纵向皱纹。
(2)眼睛睁开的程度增加，但并不夸张，上眼睑提升没有恐惧和害怕的表情中那么明显，但虹膜上缘露出的面积要比正常的松弛面孔中大一些。
进一步地，担忧的动作形态特征组合如下：
(1)眉头上扬和扭曲的眉形，说明心有压力，但不是厌恶和愤怒。
(2)嘴唇紧闭，唇红部分隐藏，口轮匝肌收缩使嘴唇紧绷，嘴角处由于降口角肌的收缩，也产生隆起。
其中，轻微担忧的动作形态特征组合如下：此时眉毛没有大幅提升，仅能观察到眉头的上扬和眉毛的平直扭曲形态；眼睑整体自然，但上眼睑还是处于比正常状态略高的位置，露出的虹膜面积较大。这种眉眼形态组合就是恐惧的微表情动作形态特征。
步骤103：根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息。
可选地，通过分析所述肢体动作图像中肢体的关节信息和角度信息，将所述关节信息和角度信息在预先存储的映射表进行查询，匹配出驾驶员的驾驶动作。其中，所述映射表包含节信息及角度信息、驾驶动作、关节信息及角度信息与驾驶动作的一一对应关系。作为本发明的另一个实施例，还可通过预先训练的驾驶动作识别模型对输入的肢体动作图像进行识别，输出驾驶员的驾驶动作。
步骤104：将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果。
在上述步骤102具体包括步骤301和步骤302对应实施例的基础上，所述危险表情集合包括危险显著表情集合和危险微表情集合，步骤104具体包括步骤401、步骤402和步骤403，详述如下：
步骤401：将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果。
其中，危险显著表情集合包括但不限于打哈欠和眨眼闭眼。如果显著表情信息与所述危险显著表情集合匹配成功，则相应的显著表情判断结果为存在危险显著表情。
步骤402：将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果。
其中，危险微表情集合包括但不限于痛苦、愤怒和害怕，当微表情信息包含痛苦、愤怒和害怕种的至少一种时，则确定相应的微表情判断结果为存在危险微表情。
步骤403：综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
其中，表情判断结果包括存在危险显著表情且存在危险微表情、不存在危险显著表情且不存在危险微表情，存在危险显著表情且不存在危险微表情、存在危险微表情且不存在危险显著表情。
步骤105：将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果。
对于步骤105，危险驾驶动作集合包括但不限于接打电话动作、双手没有握住方向盘的动作和吃东西动作。若所述驾驶动作信息包含危险驾驶动作集合中的任一元素，则确定相应的驾驶动作判断结果为存在危险驾驶动作，若所述驾驶动作信息不包含危险驾驶动作集合中的任一元素，则确定相应的驾驶动作判断结果为不存在危险驾驶动作。
步骤106：若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
对于步骤106，例如，若预先设定的告警条件之一为当驾驶员愤怒时，则进行告警，则当确定驾驶员的表情属于饱满的愤怒时，则对所述驾驶员发出告警信息。若预先设定的告警条件之一为当驾驶员在驾驶汽车的过程中双手都离开方向盘，则对所述驾驶员发出告警信息。若预先设定的告警条件之一为驾驶员的表情为不安，且在接打电话，则对所述驾驶员发出告警信息。优选地，对所述驾驶员发出告警信息的方式可以为播报告警语音信息。
作为本发明的一个实施例，在步骤101之后，还包括如下步骤：
步骤501：从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数。
在本实施例中，在获取到驾驶员的驾驶员人脸图像后，可对身份信息数据库进行更新。可以理解的是，当该驾驶员人脸图像不在身份信息数据库时，进行更新则将该驾驶员人脸图像存储至身份信息数据库中，确保了身份信息数据库的全面性。
步骤502：将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
其中，N是大于1的正整数。人脸图像是包括人脸的图像，这里人脸也可以是指电子身份证上个体的脸部。
本实施例中的隐藏层是预设神经网络中除最后一层之外的任一层。
在本实施例中，预设神经网络是根据预设的具有人脸的图像和对应人的组号训练出来的，同一组号的图像都是同一人的人脸图像。
其中，每张人脸图像输入预设神经网络都会输出一个向量，该向量作为对应人脸图像的特征向量。为了简化计算，本实施例中的特征向量的维度可以是512。
预设神经网络是深度卷积神经网络，一般的深度卷积神经网络的结构一般大于或等于5层结构；本实施例为了降低计算量，提高计算速度，预设神经网络可以采用精简的设计，选择合适的网络层数，并且去掉诸如归一化层、批规范化层等层。本实施例的预设神经网络的模型图，从输入到输出的方向，第一层结构包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四a卷积层、第四a激活层、第四b卷积层、第四b激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层；第二全连接层。其中，预设神经网络中各个卷积层的卷积核不同、各个激活层的激活函数也不相同，优选的隐藏层是预设神经网络的倒数第二层，即第一全连接层。其中，第一全连接层的输出即达到了维度低，且具有最紧致的人脸特征，因此，该第一全连接层作为优选的隐藏层。
进一步的，第四a卷积层和第四a激活层可以由第一子卷积层、第一子激活层、第二子卷积层、第二子激活层代替，第五卷积层可以由第三子卷积层、第三子激活层、第四子卷积层和第四子激活层代替；其中，各个子卷积层的卷积核不同、子激活层的激活函数也不相同。
需要说明的是，经过卷积层之后的输入都需要通过激活层来增加非线性特性以去除人脸图像中的非线性因素。本实施例在第三下采样层之后增加了一个支路，第三层下采样层的输出与第二子卷积层的输出一起输入第四层卷积层中，同样，第四下采样层之后也增加了一个支路，将第四下采样层的输出和第五卷积层的输出一起输入第一全连接层，上述两种支路可以加速模型的收敛，提高准确率。第二层全连接层的输出维度是训练集合中的人数。
本实施例中，假设总共训练8个人，每个人都有自己的组号，如果向预设神经网络输入组号为1的人脸图像，那么，预设神经网络的输出的向量应该是(1，0，0，0，0，0，0，0)；也就是组号是几，那么，向量中相应第几位是1。如果再次输入人脸向量不是上述8个人的人脸图像，那么，没有组号与预设神经网络的输出对应，且该向量的输出结果是人为设定的，无法表达出的人脸特征，这样就需要选择包含人脸特征的隐藏层的输出作为特征向量，这样即使对从来没有输入过预设神经网络的人的人脸图像也能很好的识别。
步骤503：分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离。
对于步骤503，分别确定所述驾驶员人脸图像的特征向量与N个所述第二人脸图像的特征向量之间的距离。
其中，距离可以通过欧拉距离公式等距离公式计算，本实施例对此不做限制。
步骤504：当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
对于步骤504，由于距离计算方法不同，相应的预设距离不同；该预设距离参考值用于划分属于同一驾驶员的人脸图像的距离和属于不同驾驶员的人脸图像的距离，如果距离小于预设距离参考值，说明两张人脸图像的驾驶员脸属于同一个驾驶员，距离大于或等于预设距离参考值，说明两张人脸图像属于不同的两个驾驶员。
实施例二：
请参考图3，其示出了本发明实施例二提供的基于图像识别的驾驶行为预警装置30的示意图。所述基于图像识别的驾驶行为预警装置30，包括：第一获取模块31，第二获取模块32，第三获取模块33、第一匹配判断模块34、第二匹配判断模块35和告警提示模块36。其中，各模块的具体功能如下：
第一获取模块31，用于在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像。
第二获取模块32，用于根据所述驾驶员人脸图像获取相应的表情信息。
第三获取模块33，用于根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息。
第一匹配判断模块34，用于将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果。
第二匹配判断模块35，用于将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果。
告警提示模块36，用于若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
可选地，如图4所示，第一获取模块31包括：
录制单元311，用于在车辆行驶过程中实时录制驾驶员的视频。
确定单元312，用于从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点。
抽帧单元313，用于将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
可选地，如图5所示，基于图像识别的驾驶行为预警装置30还包括：
第四获取模块37，用于从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数。
输出模块38，用于将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
第一确定模块39，用于分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离。
第二确定模块310，用于当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
可选地，如图6所示，第二获取模块32包括：
组合单元321，用于对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合。
分析单元322，用于将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
可选地，如图7所示，第一匹配判断模块34包括：
第一匹配判断单元341，用于将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果。
第二匹配判断单元342，用于将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果。
综合判断单元343，用于综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
关于基于图像识别的驾驶行为预警装置的具体限定可以参见上文中对于基于图像识别的驾驶行为预警方法的限定，在此不再赘述。上述基于图像识别的驾驶行为预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例三：
在本实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于图像识别的驾驶行为预警方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的驾驶行为预警方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于图像识别的驾驶行为预警方法的步骤，例如图2所示的步骤101至步骤106。或者，处理器执行计算机程序时实现上述实施例中基于图像识别的驾驶行为预警装置的各模块/单元的功能，例如图3所示模块31至模块3,6的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于图像识别的驾驶行为预警方法的步骤，例如图2所示的步骤101至步骤106。或者，计算机程序被处理器执行时实现上述实施例中基于图像识别的驾驶行为预警装置的各模块/单元的功能，例如图3所示模块31至模块36的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyNchliNk)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像识别的驾驶行为预警方法，其特征在于，包括：
在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
根据所述驾驶员人脸图像获取相应的表情信息；
根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
2.如权利要求1所述的基于图像识别的驾驶行为预警方法，其特征在于，
在所述车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像中，获取驾驶员肢体动作图像包括：
在车辆行驶过程中实时录制驾驶员的视频；
从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点；
将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
3.如权利要求1所述的基于图像识别的驾驶行为预警方法，其特征在于，在所述在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像之后，还包括：
从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数；
将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量；
分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离；
当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
4.如权利要求3所述的基于图像识别的驾驶行为预警方法，其特征在于，所述预设神经网络的模型图从输入到输出的方向由第一层至第六层共六层构成，第一层结构包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四卷积层、第四激活层、另一第四卷积层、另一第四激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层和第二全连接层。
5.如权利要求4所述的基于图像识别的驾驶行为预警方法，其特征在于，所述预设神经网络的隐藏层是所述第一全连接层，通过所述第一全连接层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
6.如权利要求1所述的基于图像识别的驾驶行为预警方法，其特征在于，根据所述驾驶员人脸图像获取相应的表情信息包括：
对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合；
将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
7.如权利要求6所述的基于图像识别的驾驶行为预警方法，其特征在于，所述危险表情集合包括危险显著表情集合和危险微表情集合；
所述将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果包括：
将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果；
将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果；
综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
8.一种基于图像识别的驾驶行为预警装置，其特征在于，包括：
第一获取模块，用于在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
第二获取模块，用于根据所述驾驶员人脸图像获取相应的表情信息；
第三获取模块，用于根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
第一匹配判断模块，用于将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
第二匹配判断模块，用于将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
告警提示模块，用于若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910532866.XA CN110399793A (zh) | 2019-06-19 | 2019-06-19 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
| PCT/CN2020/085576 WO2020253349A1 (zh) | 2019-06-19 | 2020-04-20 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910532866.XA CN110399793A (zh) | 2019-06-19 | 2019-06-19 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399793A true CN110399793A (zh) | 2019-11-01 |
Family
ID=68324171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910532866.XA Pending CN110399793A (zh) | 2019-06-19 | 2019-06-19 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110399793A (zh) |
| WO (1) | WO2020253349A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
| CN111626101A (zh) * | 2020-04-13 | 2020-09-04 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于adas的吸烟监测方法及系统 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| WO2020253349A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
| CN113129551A (zh) * | 2021-03-23 | 2021-07-16 | 广州宸祺出行科技有限公司 | 一种通过司机微表情自动报警的方法、系统、介质和设备 |
| CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
| CN114663863A (zh) * | 2022-02-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| WO2023168745A1 (zh) * | 2022-03-07 | 2023-09-14 | 深圳市德驰微视技术有限公司 | 基于域控制器平台的车辆驾驶员监测方法及装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112820072A (zh) * | 2020-12-28 | 2021-05-18 | 深圳壹账通智能科技有限公司 | 危险驾驶预警方法、装置、计算机设备及存储介质 |
| CN112634188A (zh) * | 2021-02-02 | 2021-04-09 | 深圳市爱培科技术股份有限公司 | 一种车辆远近景组合成像方法及装置 |
| CN113723165B (zh) * | 2021-03-25 | 2022-06-07 | 山东大学 | 基于深度学习的待检测人员危险表情检测方法及系统 |
| CN112959966B (zh) * | 2021-04-26 | 2022-11-25 | 联友智连科技有限公司 | 基于互联网出行和用户习惯深度学习的车载多媒体调控方法、系统、设备和计算机存储介质 |
| CN113347381B (zh) * | 2021-05-24 | 2022-09-02 | 随锐科技集团股份有限公司 | 预测不雅举止轨迹的方法及系统 |
| CN114475620B (zh) * | 2022-01-26 | 2024-03-12 | 南京科融数据系统股份有限公司 | 用于款箱押运系统的驾驶员验证方法及系统 |
| CN116729254A (zh) * | 2023-08-10 | 2023-09-12 | 山东恒宇电子有限公司 | 基于俯瞰图像的公交驾驶舱安全驾驶行为监测系统 |
| CN117493434B (zh) * | 2023-11-03 | 2024-05-03 | 青岛以萨数据技术有限公司 | 一种人脸图像存储方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN108537198A (zh) * | 2018-04-18 | 2018-09-14 | 济南浪潮高新科技投资发展有限公司 | 一种基于人工智能的驾驶习惯的分析方法 |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399793A (zh) * | 2019-06-19 | 2019-11-01 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
-
2019
- 2019-06-19 CN CN201910532866.XA patent/CN110399793A/zh active Pending
-
2020
- 2020-04-20 WO PCT/CN2020/085576 patent/WO2020253349A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN108537198A (zh) * | 2018-04-18 | 2018-09-14 | 济南浪潮高新科技投资发展有限公司 | 一种基于人工智能的驾驶习惯的分析方法 |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020253349A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
| CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
| CN111626101A (zh) * | 2020-04-13 | 2020-09-04 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于adas的吸烟监测方法及系统 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| CN113129551A (zh) * | 2021-03-23 | 2021-07-16 | 广州宸祺出行科技有限公司 | 一种通过司机微表情自动报警的方法、系统、介质和设备 |
| CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
| CN114663863A (zh) * | 2022-02-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| WO2023168745A1 (zh) * | 2022-03-07 | 2023-09-14 | 深圳市德驰微视技术有限公司 | 基于域控制器平台的车辆驾驶员监测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020253349A1 (zh) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399793A (zh) | 基于图像识别的驾驶行为预警方法、装置和计算机设备 | |
| CN109993093B (zh) | 基于面部和呼吸特征的路怒监测方法、系统、设备及介质 | |
| Bandini et al. | Analysis of facial expressions in parkinson's disease through video-based automatic methods | |
| WO2021196738A1 (zh) | 儿童状态检测方法及装置、电子设备、存储介质 | |
| González-Briones et al. | A multi-agent system for the classification of gender and age from images | |
| CN109241842B (zh) | 疲劳驾驶检测方法、装置、计算机设备及存储介质 | |
| EP1119822A1 (de) | Verfahren und system zur personenerkennung mit modellbasierter gesichtsfindung | |
| CN110147729A (zh) | 用户情绪识别方法、装置、计算机设备及存储介质 | |
| CN109215763A (zh) | 一种基于人脸图像的情感健康监控方法及系统 | |
| CN110175501A (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN113627256B (zh) | 基于眨眼同步及双目移动检测的伪造视频检验方法及系统 | |
| CN112949560B (zh) | 双通道特征融合下长视频表情区间连续表情变化识别方法 | |
| CN109829409A (zh) | 驾驶员情绪状态检测方法及系统 | |
| Zhao et al. | Deep convolutional neural network for drowsy student state detection | |
| CN113362924A (zh) | 一种基于医疗大数据的面瘫康复任务辅助生成方法及系统 | |
| CN112329727A (zh) | 一种活体检测方法和装置 | |
| CN112200236B (zh) | 人脸参数识别模型的训练方法、人脸参数的识别方法 | |
| Pan et al. | Spatial–temporal attention network for depression recognition from facial videos | |
| CN114943924B (zh) | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 | |
| Libralon et al. | Investigating facial features for identification of emotions | |
| Yoshihara et al. | Automatic feature point detection using deep convolutional networks for quantitative evaluation of facial paralysis | |
| Pantic et al. | Facial gesture recognition in face image sequences: A study on facial gestures typical for speech articulation | |
| CN113627300A (zh) | 基于深度学习的人脸识别与活体检测方法 | |
| CN113420656A (zh) | 一种疲劳驾驶检测方法、装置、电子设备及存储介质 | |
| Li et al. | Automatic facial expression recognition using 3D faces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191101 |
|
| WD01 | Invention patent application deemed withdrawn after publication |