CN112622892A - 基于人脸和肢体姿态识别的紧急制动方法及系统 - Google Patents
基于人脸和肢体姿态识别的紧急制动方法及系统 Download PDFInfo
- Publication number
- CN112622892A CN112622892A CN202011463689.3A CN202011463689A CN112622892A CN 112622892 A CN112622892 A CN 112622892A CN 202011463689 A CN202011463689 A CN 202011463689A CN 112622892 A CN112622892 A CN 112622892A
- Authority
- CN
- China
- Prior art keywords
- posture
- driver
- driving
- face
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008451 emotion Effects 0.000 claims abstract description 34
- 238000013139 quantization Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims abstract description 12
- 238000011002 quantification Methods 0.000 claims description 45
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000006996 mental state Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000036544 posture Effects 0.000 description 65
- 210000003414 extremity Anatomy 0.000 description 24
- 230000008447 perception Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000003938 response to stress Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于人脸和肢体姿态识别的紧急制动方法及系统，该方法包括：通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；提取驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果；通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。本发明降低了传统AEB系统感知端的漏检、误检概率，从而拓展AEB系统的适用场景，提升系统的鲁棒性。
Description
技术领域
本发明涉及智能辅助驾驶的技术领域，特别涉及一种基于人脸和肢体姿态识别的紧急制动方法及系统。
背景技术
严重的交通事故绝大多数是车辆与障碍物碰撞产生，当前，作为车辆避碰技术的代表，自动紧急制动系统(Automatic Emergency Braking System，简称AEB)主要通过感知行车环境中的障碍物，在侦测到有发生碰撞风险的时候代替驾驶员进行制动操纵，缓解或避免由于驾驶员操纵不及时，或者在紧急情况下应激反应诱发的肢体失措而造成的碰撞伤害。
目前，主流的AEB系统多数是通过摄像头或者毫米波雷达进行信息提取。由于传感器的固有属性，如视场角、焦距、分辨率等难以突破物理属性约束，容易诱发AEB系统虚警或者漏检；在复杂场景情况下，这种系统误动作将更加频发，极大程度的影响了驾乘体验危害形成安全。例如摄像头难以分辨道路中“虚假障碍物”，如漂浮的塑料袋、绿化投影、井盖影像，雨天路面倒影、夜间光影等，毫米波雷达无法分辨路旁栅栏、路面井盖、易拉罐等，对此类“虚”目标的诱发AEB系统突然制动减速甚至停车，会极大程度的降低道路通行效率、影响了驾乘体验，易诱发碰撞追尾事故；在夜间浓雾逆光等复杂光照下，摄像头成像能力极大程度降低，图像纹理信息不足，而毫米波雷达则场景中的非金属目标检测能力较弱，此类漏检会直接诱发碰撞事故。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于人脸和肢体姿态识别的紧急制动方法，能够有效提升AEB系统的场景适应能力，降低误检概率。
本发明还提出一种具有上述基于人脸和肢体姿态识别的紧急制动方法的基于人脸和肢体姿态识别的紧急制动系统。
本发明还提出一种具有上述基于人脸和肢体姿态识别的紧急制动方法的计算机可读存储介质。
根据本发明的第一方面实施例的基于人脸和肢体姿态识别的紧急制动方法，包括以下步骤：S100，通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；S200，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果；S300，通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；S400，根据所述行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
根据本发明实施例的基于人脸和肢体姿态识别的紧急制动方法，至少具有如下有益效果：通过对驾驶员面部表情、肢体姿态的持续追踪，利用驾驶员应激反应与环境刺激之间的映射关系模型，实现行车环境驾驶员端对环境的感知，最后通过人机感知信息融合修正机器感知结果，以此来降低传统AEB系统感知端的漏检、误检现象，从而拓展AEB系统的适用场景，提升系统的鲁棒性。
根据本发明的一些实施例，所述步骤S100包括：S110，通过设置在驾驶区域内不同位置的双目红外摄像头，获取同一时间不同角度的驾驶员面部及驾驶姿态的视频数据；S120，基于OpenCV函数库将所述视频数据转化成图像数据，根据拍摄时间进行双视角图像数据匹配；S130，根据匹配结果对所述图像数据进行全景合成拼接、灰度处理及二值化处理，得到所述影像数据。
根据本发明的一些实施例，所述步骤S200包括：S210，对所述影像数据进行预处理，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，在所述影像数据中对人脸和姿态区域进行标记，生成相应的位置标签；S220，获取人脸面部关键节点信息，基于轻量化表情分类量化神经网络模型对驾驶员的面部表情进行第一分类，得到第一分类量化结果，以及，获取上半身关键节点信息，基于姿态分类量化神经网模型对驾驶员的肢体紧张状态进行第二分类，得到第二分类量化结果；S230，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化，得到所述情绪量化结果，以及，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化，得到所述姿态量化结果。
根据本发明的一些实施例，所述步骤S210还包括：对所述影像数据进行标记处理后，通过循环存储，构建历史人脸和肢体姿态数据库。
根据本发明的一些实施例，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化的方法包括：将驾驶员的面部表情按照积极性程度归一化为积极、中性及消极三类，进行量化，得到所述情绪量化结果。
根据本发明的一些实施例，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化的方法包括：根据所述上半身关键节点信息，获得身体倾角的姿态参数；通过所述姿态参数，对驾驶员紧张程度进行聚类，归一化为积极、中性及消极三类，进行量化，得到所述姿态量化结果。
根据本发明的一些实施例，所述步骤S200还包括：通过视频流分析驾驶员表情和姿态变化，检测得到驾驶精神状态；根据所述驾驶精神状态，返回所述步骤S100或者继续执行所述步骤S300。
根据本发明的一些实施例，所述步骤S400包括：基于模糊智能校正TTC模型，通过所述行车危险程度等级，校正AEB系统的所述TTC输出；对所述TTC输出进行循环存储，根据所述TTC输出的变化趋势及当前时刻值，进行制动决策，生成相应的响应指令序列；根据所述响应指令序列，通过所述车身域控制器执行相应的制动动作。
根据本发明的第二方面实施例的基于人脸和肢体姿态识别的紧急制动系统，包括：影像采集模块，用于通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；危险量化模块，用于提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果，并通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；制动决策模块，用于根据所述行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
根据本发明实施例的基于人脸和肢体姿态识别的紧急制动系统，至少具有如下有益效果：通过对驾驶员面部表情、肢体姿态的持续追踪，利用驾驶员应激反应与环境刺激之间的映射关系模型，实现行车环境驾驶员端对环境的感知，最后通过人机感知信息融合修正机器感知结果，以此来降低传统AEB系统感知端的漏检、误检现象，从而拓展AEB系统的适用场景，提升系统的鲁棒性。
根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例的方法。
根据本发明实施例的计算机可读存储介质，至少具有与本发明的第一方面实施例的方法同样的有益效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的方法的流程示意图；
图2为本发明实施例的方法中的数据交互示意图；
图3为本发明实施例的系统的模块示意框图。
附图标记：
影像采集模块100、危险量化模块200、制动决策模块300。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
参照图1，本发明的实施例的方法包括：S100，通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；S200，提取影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果；S300，通过情绪量化结果及姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；S400，根据行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
本发明的实施例中，参照图2，首先，通过双目红外摄像系统对驾驶过程全工况下驾驶员面部、肢体姿态进行视频图像采集与缓存；然后，基于驾驶员应激反应的环境感知信息提取驾驶员面部表情和肢体姿态的特征数据，进一步将驾驶员表情和肢体姿态进行分类量化，并结合AEB感知系统信息，在碰撞危险等级智能量化模型下完成行车环境危险等级量化；AEB系统制动智能决策则用于对传统AEB感知系统输出TTC进行校正，并输出最终的AEB系统制动决策相应的响应指令序列；最后，根据响应指令序列的输出动作，进行预警动作响应。
驾驶舱的光照环境非常复杂且恶劣，常规摄像头适用场景有限，因此，本发明的实施例中采用了对光照条件不敏感的双目红外摄像头，通过设置在驾驶区域内不同位置，可获得同一时间不同角度的驾驶员面部及上半身姿态的视频数据，避免在驾驶过程中因驾驶员自身运动造成的大偏转姿态，造成的单摄像头捕捉驾驶员面部失败。基于OpenCV函数库将视频数据转化成图像数据，并根据拍摄时间进行双视角图像数据匹配，根据匹配结果构建双视角图像库。由于每个摄像头可能只能摄取脸部和姿态图像的一部分，因此双目摄像头摄取图像数据，需要经过全景合成拼接、灰度处理、二值化处理，得到相应的影像数据，再将该影像数据传递给下一处理流程。
接下来进行脸部特征识别与身体姿态识别，识别该影像数据中的驾驶员脸部和上半身肢体姿态(包括双臂)，进行预处理，包括：人脸检测，人脸对齐，数据增强，人脸归一化、上半身关节点识别、关节点坐标提取、基于OpenPose(一种基于卷积神经网络和监督学习并以Caffe为框架开发的开源库)的置信度、关联度、偶匹配等肢体姿态图像处理，对人脸和姿态区域进行标记，生成相应的位置标签。在本发明的实施例中，对驾驶员脸部和肢体特征的进行持续追踪，可提高系统运行速度、降低误检率。若人脸和肢体识别检测成功，继续其后的图像处理；若识别检测失败，则重新继续循环识别检测。在此过程中，需要对拍摄的图像进行循环存储，构建历史人脸和肢体姿态数据库，为接下来的步骤中驾驶员精神状态监测、情绪分类量化、姿态分类量化提供时间序列维度信息。
基于驾驶情绪和肢体姿态对其驾驶的当前精神状态进行分类量化得到面部表情分类量化(即第一分类量化结果)和肢体姿态分类量化(第二分类量化结果)。具体流程如下：首先，在人脸检测定位和肢体姿态检测完成之后，提取缓存数据库人脸的眉毛、眼睛、眼睑、嘴唇、双臂节点、身体节点、头部节点等体征的关键节点信息。通过眉毛、眼睛、眼睑、嘴唇等面部关键节点信息，基于轻量化表情分类量化神经网络模型，对当前驾驶员的表情进行单独分类；通过双臂节点、身体节点、头部节点等上半身关键节点信息，基于姿态分类量化神经网模型，对当前驾驶员的肢体紧张状态进行单独分类。在本发明的实施例中，对表情分类和姿态分类单独进行量化是为了构建轻型化网络模型，从而降低耦合，加速网络模型处理运行速度。通过缓存驾驶员当前表情和姿态分类量化结果，构建驾驶员表情和姿态时间维度数据库，并基于时间维度缓存的数据库，进行驾驶员情绪和肢体姿态稳定的量化。将传统的人类六种基本表情：高兴、悲伤、惊讶、恐惧、愤怒、厌恶，依照积极性程度归一化为三类：积极的、中性的、消极的，对应驾驶中驾驶员的警惕、愤怒烦躁、平静轻松的状态，以此来量化驾驶员的警觉程度和专注程度。若驾驶员警觉程度和专注程度越高，即第一分类量化结果表示的情绪紧张度越高，则表明驾驶员当前形成环境给驾驶员造成的压力越大，相应地在后期的控制策略中则应倾向于调高AEB系统的灵敏度，以缩短AEB系统的反应时间。通过提取人体姿态的关键身体节点，进行连线，可以获取图像中的身体倾角：头部倾角、身体倾角、双臂姿态角等姿态参数，根据姿态参数对驾驶员紧张程度进行聚类，归一化为三类：积极的(轻松的)、中性的、消极的(紧张)。
本发明的实施例中，会通过相机对驾驶员表情和肢体姿态进行持续观测，通过视频流分析驾驶员表情和姿态变化，检测驾驶员的驾驶精神状态(包括疲劳状态、驾驶专注度)，若驾驶员精神状态良好，则继续执行下述步骤：量化行车危险等级并决策制动，否则返回持续拍摄脸部和姿态图像并循环观测。防止驾驶员精神状态不佳时采集到的数据，对AEB系统的智能制动产生干扰。
通过当前驾驶员的面部情绪分类量化(即第一分类量化结果)和肢体姿态分类量化(第二分类量化结果)，结合AEB系统传感器信息，如：前方目标障碍物的速度、距离、类别等维度信息，通过碰撞危险等级智能量化模型对当前行车环境危险等级程度进行量化。情绪和肢体动作反应了驾驶员对外界环境刺激的反应，通过状态叠加可以实现对行车环境的模糊感知，传统AEB系统环境传感器的量测结果则代表着对外界环境的部分精确感知，模糊全面的人类感知结合片面精确的机器感知能够形成优势互补，在一定规则下能够实现对外界环境全面且精确的感知，从而实现形车环境危险等级的态势感知。
本发明的实施例中，通过模糊智能校正TTC模型，根据行车危险程度等级，结合环境感知器信息对TTC时间进行校正核验，可降低系统对障碍物的漏检和误检概率。其中，模糊智能校正TTC模型基本策略为：当行车危险等级较低时，则倾向于加大TTC值；当危险等级较高时，则倾向于减小TTC值；当危险等级一般时，则倾向于确认感知系统的TTC值。
对TTC输出值进行循环存储，根据TTC值的变化趋势及当前时刻值，进行紧急制动决策，生成相应的响应指令序列，包括若干响应指令及指令的响应顺序，响应包括：车内声音告警、振动告警、液压缸预填充、卡钳预夹紧、卡钳夹紧、安全带预响应等动作及作用次序。
根据该响应指令序列，通过车身域控制器控制车窗、安全带、车内告音箱、方向盘振动器、座椅振动器、制动液压缸等作动器进行动作，实现AEB系统的紧急制动响应。
本发明的实施例，通过使感知信息由驾驶员流向智能辅助系统，能充分发挥了驾驶员对细节和微妙之处的的辨别优势。驾驶员感知明显优于当前的机器感知，能够更加容易检测到被机器感知所忽略的的微妙细微之处包含的重要的感知信息。基于驾驶员稳定的倾向性应激性反应实现对微妙场景模糊感知，可以提升感知的准确度和多场景适应能力，有助于辅助驾驶系统的安全性提高。
本发明实施例的系统，参照图3，包括：影像采集模块100，用于通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；危险量化模块200，用于提取影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果，并通过情绪量化结果及姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；制动决策模块300，用于根据行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于人脸和肢体姿态识别的紧急制动方法，其特征在于，包括以下步骤：
S100，通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；
S200，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果；
S300，通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；
S400，根据所述行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
2.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S100包括：
S110，通过设置在驾驶区域内不同位置的双目红外摄像头，获取同一时间不同角度的驾驶员面部及驾驶姿态的视频数据；
S120，基于OpenCV函数库将所述视频数据转化成图像数据，根据拍摄时间进行双视角图像数据匹配；
S130，根据匹配结果对所述图像数据进行全景合成拼接、灰度处理及二值化处理，得到所述影像数据。
3.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S200包括：
S210，对所述影像数据进行预处理，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，在所述影像数据中对人脸和姿态区域进行标记，生成相应的位置标签；
S220，获取人脸面部的关键节点信息，基于轻量化表情分类量化神经网络模型对驾驶员的面部表情进行第一分类，得到第一分类量化结果，以及，获取上半身关键节点信息，基于姿态分类量化神经网模型对驾驶员的肢体紧张状态进行第二分类，得到第二分类量化结果；
S230，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化，得到所述情绪量化结果，以及，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化，得到所述姿态量化结果。
4.根据权利要求3所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S210还包括：对所述影像数据进行标记处理后，通过循环存储，构建历史人脸和肢体姿态数据库。
5.根据权利要求3所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化的方法包括：将驾驶员的面部表情按照积极性程度归一化为积极、中性及消极三类，进行量化，得到所述情绪量化结果。
6.根据权利要求3所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化的方法包括：
根据所述上半身关键节点信息，获得身体倾角的姿态参数；
通过所述姿态参数，对驾驶员紧张程度进行聚类，归一化为积极、中性及消极三类，进行量化，得到所述姿态量化结果。
7.根据权利要求3所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S200还包括：
通过视频流分析驾驶员表情和姿态变化，检测得到驾驶精神状态；
根据所述驾驶精神状态，返回所述步骤S100或者继续执行所述步骤S300。
8.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S400包括：
基于模糊智能校正TTC模型，通过所述行车危险程度等级，校正AEB系统的所述TTC输出；
对所述TTC输出进行循环存储，根据所述TTC输出的变化趋势及当前时刻值，进行制动决策，生成相应的响应指令序列；
根据所述响应指令序列，通过所述车身域控制器执行相应的制动动作。
9.一种基于人脸和肢体姿态识别的紧急制动系统，使用权利要求1至8中任一项的方法，其特征在于，包括：
影像采集模块，用于通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；
危险量化模块，用于提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果，并通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；
制动决策模块，用于根据所述行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011463689.3A CN112622892B (zh) | 2020-12-14 | 2020-12-14 | 基于人脸和肢体姿态识别的紧急制动方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011463689.3A CN112622892B (zh) | 2020-12-14 | 2020-12-14 | 基于人脸和肢体姿态识别的紧急制动方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112622892A true CN112622892A (zh) | 2021-04-09 |
| CN112622892B CN112622892B (zh) | 2023-03-24 |
Family
ID=75312470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011463689.3A Active CN112622892B (zh) | 2020-12-14 | 2020-12-14 | 基于人脸和肢体姿态识别的紧急制动方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112622892B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105035074A (zh) * | 2015-06-23 | 2015-11-11 | 南京理工大学 | 基于便携式智能设备的车辆主动安全控制方法 |
| FR3040816A1 (fr) * | 2015-09-07 | 2017-03-10 | Peugeot Citroen Automobiles Sa | Dispositif et procede de detection de l’etat emotionnel d’un conducteur |
| US20170161576A1 (en) * | 2014-06-23 | 2017-06-08 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| CN107380164A (zh) * | 2016-07-07 | 2017-11-24 | 小蚁科技（香港）有限公司 | 基于计算机视觉的驾驶员辅助系统和支持系统 |
| CN107585162A (zh) * | 2017-08-30 | 2018-01-16 | 北汽银翔汽车有限公司 | 一种基于汽车驾驶员状态图像检测的主动安全控制系统和方法 |
| US20180025240A1 (en) * | 2016-07-21 | 2018-01-25 | Gestigon Gmbh | Method and system for monitoring the status of the driver of a vehicle |
| US20180099679A1 (en) * | 2015-04-20 | 2018-04-12 | Bayerische Motoren Werke Aktiengesellschaft | Apparatus and Method for Controlling a User Situation Awareness Modification of a User of a Vehicle, and a User Situation Awareness Modification Processing System |
| DE102018117380A1 (de) * | 2017-07-19 | 2019-01-24 | Ford Global Technologies, Llc | Bremsvorhersage und -eingriff |
| KR20190056520A (ko) * | 2017-11-17 | 2019-05-27 | 전자부품연구원 | 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 |
| CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
| US20190185014A1 (en) * | 2017-12-18 | 2019-06-20 | Hyundai Mobis Co., Ltd. | Safe driving support apparatus and method |
| WO2019128932A1 (zh) * | 2017-12-25 | 2019-07-04 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| DE102018100650A1 (de) * | 2018-01-12 | 2019-07-18 | Connaught Electronics Ltd. | Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug mit einem Fahrunterstützungssystem |
| JP2019197522A (ja) * | 2018-05-10 | 2019-11-14 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 走行状況判断情報基盤の運転者状態認識装置及び方法 |
| US20190389455A1 (en) * | 2018-06-25 | 2019-12-26 | International Business Machines Corporation | Blended autonomous driving system |
| KR20200024076A (ko) * | 2018-08-27 | 2020-03-06 | 주식회사 만도 | 차량 긴급 제동 장치 |
| CN111434553A (zh) * | 2019-01-15 | 2020-07-21 | 初速度（苏州）科技有限公司 | 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置 |
| CN111845736A (zh) * | 2020-06-16 | 2020-10-30 | 江苏大学 | 一种由分心监测触发的车辆碰撞预警系统及控制方法 |
| CN111929686A (zh) * | 2020-08-05 | 2020-11-13 | 深圳技术大学 | 防撞控制预警方法、装置、微控制芯片及存储介质 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
-
2020
- 2020-12-14 CN CN202011463689.3A patent/CN112622892B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170161576A1 (en) * | 2014-06-23 | 2017-06-08 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| US20180099679A1 (en) * | 2015-04-20 | 2018-04-12 | Bayerische Motoren Werke Aktiengesellschaft | Apparatus and Method for Controlling a User Situation Awareness Modification of a User of a Vehicle, and a User Situation Awareness Modification Processing System |
| CN105035074A (zh) * | 2015-06-23 | 2015-11-11 | 南京理工大学 | 基于便携式智能设备的车辆主动安全控制方法 |
| FR3040816A1 (fr) * | 2015-09-07 | 2017-03-10 | Peugeot Citroen Automobiles Sa | Dispositif et procede de detection de l’etat emotionnel d’un conducteur |
| CN107380164A (zh) * | 2016-07-07 | 2017-11-24 | 小蚁科技（香港）有限公司 | 基于计算机视觉的驾驶员辅助系统和支持系统 |
| US20180025240A1 (en) * | 2016-07-21 | 2018-01-25 | Gestigon Gmbh | Method and system for monitoring the status of the driver of a vehicle |
| DE102018117380A1 (de) * | 2017-07-19 | 2019-01-24 | Ford Global Technologies, Llc | Bremsvorhersage und -eingriff |
| CN107585162A (zh) * | 2017-08-30 | 2018-01-16 | 北汽银翔汽车有限公司 | 一种基于汽车驾驶员状态图像检测的主动安全控制系统和方法 |
| KR20190056520A (ko) * | 2017-11-17 | 2019-05-27 | 전자부품연구원 | 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 |
| US20190185014A1 (en) * | 2017-12-18 | 2019-06-20 | Hyundai Mobis Co., Ltd. | Safe driving support apparatus and method |
| CN109941288A (zh) * | 2017-12-18 | 2019-06-28 | 现代摩比斯株式会社 | 安全驾驶辅助装置和方法 |
| WO2019128932A1 (zh) * | 2017-12-25 | 2019-07-04 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| DE102018100650A1 (de) * | 2018-01-12 | 2019-07-18 | Connaught Electronics Ltd. | Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug mit einem Fahrunterstützungssystem |
| JP2019197522A (ja) * | 2018-05-10 | 2019-11-14 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 走行状況判断情報基盤の運転者状態認識装置及び方法 |
| US20190389455A1 (en) * | 2018-06-25 | 2019-12-26 | International Business Machines Corporation | Blended autonomous driving system |
| KR20200024076A (ko) * | 2018-08-27 | 2020-03-06 | 주식회사 만도 | 차량 긴급 제동 장치 |
| CN111434553A (zh) * | 2019-01-15 | 2020-07-21 | 初速度（苏州）科技有限公司 | 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置 |
| CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
| CN111845736A (zh) * | 2020-06-16 | 2020-10-30 | 江苏大学 | 一种由分心监测触发的车辆碰撞预警系统及控制方法 |
| CN111929686A (zh) * | 2020-08-05 | 2020-11-13 | 深圳技术大学 | 防撞控制预警方法、装置、微控制芯片及存储介质 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 姜顺明 杨晗 吴陶然 解建: "基于驾驶状态识别的自动紧急制动控制策略", 《汽车技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112622892B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Driver fatigue detection based on convolutional neural networks using em‐CNN | |
| CN107851195B (zh) | 利用神经网络进行目标检测 | |
| CN112380935B (zh) | 面向自动驾驶的人机协同感知方法及系统 | |
| JP5670413B2 (ja) | 道路使用弱者保護システム | |
| JP4410292B1 (ja) | 車両の周辺監視装置 | |
| US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
| WO2019101720A1 (en) | Methods for scene classification of an image in a driving support system | |
| US11132563B2 (en) | Method for identifying objects in an image of a camera | |
| JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
| Eweiwi et al. | Temporal key poses for human action recognition | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| WO2019076867A1 (en) | SEMANTIC SEGMENTATION OF AN OBJECT IN AN IMAGE | |
| KR20170137273A (ko) | 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법 | |
| JP2007334511A (ja) | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム | |
| US20120189161A1 (en) | Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus | |
| CN112622892B (zh) | 基于人脸和肢体姿态识别的紧急制动方法及系统 | |
| KR20230048434A (ko) | 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법 | |
| WO2018173848A1 (ja) | オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体 | |
| Li et al. | A review on vision-based pedestrian detection for intelligent vehicles | |
| JPH11142168A (ja) | 環境認識装置 | |
| Nayak et al. | Vision-based techniques for identifying emergency vehicles | |
| JP7450754B2 (ja) | 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡 | |
| KR20230139666A (ko) | 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치 및 방법 | |
| Ye et al. | LLOD: a object detection method under low-light condition by feature enhancement and fusion | |
| Zhou et al. | Fatigue Detection and Early Warning System for Drivers Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |