CN116311182A - 一种驾驶员行为处理方法、智能辅助识别系统及交通工具 - Google Patents
一种驾驶员行为处理方法、智能辅助识别系统及交通工具 Download PDFInfo
- Publication number
- CN116311182A CN116311182A CN202310283576.2A CN202310283576A CN116311182A CN 116311182 A CN116311182 A CN 116311182A CN 202310283576 A CN202310283576 A CN 202310283576A CN 116311182 A CN116311182 A CN 116311182A
- Authority
- CN
- China
- Prior art keywords
- acquisition unit
- information acquisition
- driver
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims description 116
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 241001282135 Poromitra oscitans Species 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000003651 drinking water Substances 0.000 description 3
- 235000020188 drinking water Nutrition 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150071456 CSI2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例涉及智能驾驶领域，公开了一种驾驶员行为处理方法、智能辅助识别系统及交通工具。所述方法包括：通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具；在检测到交通工具的速度大于0时，通过2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；对2D图像信息和3D深度信息进行融合处理，获得驾驶员行为图像；基于驾驶员行为图像分析驾驶员行为。本申请可以减少外部环境的影响，实现人脸识别启动交通工具、对驾驶员的安全行为分析和手势动作分析，及时提醒驾驶员的错误驾驶行为，以及响应驾驶员的手势动作以实现对交通工具的控制。
Description
技术领域
本申请实施例涉及智能驾驶技术领域，尤其涉及一种驾驶员行为处理方法、智能辅助识别系统及交通工具。
背景技术
目前驾驶员疲劳驾驶监测系统(DMS)在驾乘领域已有一定范围的应用，如两客一危等专用车辆，主要特点是能够在驾驶员行驶过程中，全天候监测驾驶员的疲劳状态、驾驶行为等。在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后，预警系统将会对此类行为进行及时的分析，并进行语音灯光提示，达到警示驾驶员，纠正错误驾驶行为的效果。
本申请发明人在实现本申请实施例的过程中，发现：目前的DMS系统主要是摄像头采集2D图像信息，然后算法进行一定的补偿分析处理来实现对驾驶员抽烟，喝水，打哈欠，闭眼等行为的识别，相对于通过采集3D信息进行识别，识别准确率一般；同时受外部环境光条件的影响较大，对于全时段全场景的应用来说仍存在较多的不足。并且，DMS系统只能简单识别疲劳驾驶行为，无法对驾驶员的其他行为进行识别及分析，智能化程度较低。
发明内容
本申请实施例的目的是提供一种驾驶员行为处理方法、智能辅助识别系统及交通工具，可以减少外部环境的影响，实现人脸识别启动交通工具、对驾驶员的安全行为分析和手势动作分析，可以及时提醒驾驶员的错误驾驶行为，还可以响应驾驶员的手势动作以实现对交通工具的控制。
为解决上述技术问题，本申请实施例采用以下技术方案：
第一方面，本申请实施例中提供给了一种驾驶员行为处理方法，所述方法包括：
通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具；
在检测到所述交通工具的速度大于0时，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；
对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像；
基于所述驾驶员行为图像分析驾驶员行为；所述分析驾驶员行为包括安全驾驶行为分析和手势动作分析。
在一些实施例中，所述通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，包括：
通过所述2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像；
如果检测到所述人脸图像，则对主驾位置的驾驶员进行身份匹配；
如果所述身份匹配通过，则启动所述交通工具，且根据驾驶员的身份进行个性化设置。
在一些实施例中，在所述通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行身份匹配之后，所述方法还包括：
如果所述身份匹配不通过，且所述身份匹配不通过的次数超过预设次数，则控制所述2D信息采集单元和3D信息采集单元进入休眠状态。
在一些实施例中，所述3D信息采集单元包括3D TOF摄像头和VCSEL电路；所述通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息，包括：
通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；
通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；
通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；
基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；
基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
在一些实施例中，所述基于所述驾驶员行为图像分析驾驶员行为，包括：
检测所述驾驶员行为是否存在疲劳驾驶行为；
如果存在所述疲劳驾驶行为，则发出预警信号。
在一些实施例中，所述基于所述驾驶员行为图像分析驾驶员行为，包括：
检测所述驾驶员行为是否存在疲劳驾驶行为；
如果存在所述疲劳驾驶行为，则发出预警信号。
在一些实施例中，所述基于所述驾驶员行为图像分析驾驶员行为，还包括：
检测驾驶员的手势动作；
基于手势库对所述手势动作进行比对，获得比对结果；
基于所述比对结果执行对应的车载控制操作。
第二方面，本申请还提供一种智能辅助识别系统，所述智能辅助识别系统包括：
2D信息采集单元、3D信息采集单元和控制器；所述控制器分别与所述2D信息采集单元、3D信息采集单元电连接；
所述控制器包括至少一个处理器，以及
存储器，所述存储器与所述处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如上第一方面所述的驾驶员行为处理方法的步骤。
在一些实施例中，所述3D信息采集单元包括3D TOF摄像头和VCSEL电路；
所述VCSEL电路，用于对主驾位置发射红外光；
所述控制器，用于记录发射时间节点及发射波长；
所述3D TOF摄像头，用于接收反射的所述红外光；
所述控制器，还用于记录接收时间节点及反射波长；
所述控制器，还用于基于所述发射时间节点和所述接收时间节点，计算所述3DTOF摄像头与待测目标之间的距离；基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
第三方面，本申请还提供一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被抬头显示设备执行时，以实现如上第一方面所述的驾驶员行为处理方法的步骤。
第四方面，本申请还提供一种交通工具，所述交通工具包括如第二方面所述的智能辅助识别系统。
本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供的驾驶员行为处理方法、智能辅助识别系统及交通工具，通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，无需交通工具钥匙，就可以人脸识别直接启动交通工具，操作更便捷；在检测到所述交通工具的速度大于0时，即，在交通工具行驶的过程中，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；对所述2D图像信息和所述3D深度信息进行融合处理，获得完整的、立体的、真实的驾驶员行为图像，通过2D信息采集单元和3D信息采集单元采集驾驶员行为图像，受外部环境光条件的影响小，识别更精确，安全性更好；基于所述驾驶员行为图像分析驾驶员行为，实现对驾驶员的安全行为分析和手势动作分析，可以及时提醒驾驶员的错误驾驶行为，还可以响应驾驶员的手势动作以实现对交通工具的控制。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请智能辅助识别系统的一个实施例的方框示意图；
图2是本申请驾驶员行为处理方法的一个实施例的流程示意图；
图3是本申请驾驶员行为处理装置的一个实施例的结构示意图；
图4是本申请智能辅助识别系统的一个实施例中控制器的硬件结构示意图。
具体实施方式
下面结合具体实施例对本申请进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本申请，但不以任何形式限制本申请。应当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，如果不冲突，本申请实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本申请实施例提供的驾驶员行为处理方法和装置可以应用于智能辅助识别系统，本申请的智能辅助识别系统可以安装在交通工具上，交通工具如汽车、轮船、飞机等。交通工具以汽车为例，则该智能辅助识别系统为汽车电子智能驾舱辅助系统，涉及安全监测、智能交互及人脸解锁等技术。
如图1所示，智能辅助识别系统100包括：2D信息采集单元102、3D信息采集单元103和控制器101；控制器101分别与2D信息采集单元102、3D信息采集单元103电连接。
其中，2D信息采集单元102包括RGB摄像头和图像传感器，用于采集主驾位置的驾驶员的2D图像信息和图像的色彩信息。RGB摄像头安装在主驾位置前方，可以直接拍摄主驾位置。
3D信息采集单元103包括3D TOF摄像头和VCSEL电路，3D TOF摄像头包括红外镜头和3D TOF传感器；VCSEL电路包括VCSEL光源和VCSEL驱动电路，VCSEL驱动电路为红外光发射器；3D TOF摄像头的3D TOF传感器通过红外接头接收反射的红外光。3D TOF摄像头和VCSEL电路安装在主驾位置周围。
2D信息采集单元102和3D信息采集单元103通过SER串行器与控制器101连接，且2D信息采集单元102通过MIPI CSI2连接SER串行器，3D信息采集单元103中的红外镜头和3DTOF传感器通过I2C连接SER串行器，3D信息采集单元103中的VCSEL光源和VCSEL驱动电路通过MIPI CSI2连接SER串行器。
并且，SER串行器通过GMSL通信协议连接控制器101。
智能辅助识别系统100还包括供电单元104，供电单元104与控制器101连接，且供电单元104为各个采集模块及控制器101供电。
在智能辅助识别系统100进行人脸识别启动汽车的时候，2D信息采集单元102和3D信息采集单元103进行人脸识别，人脸识别成功后，可以直接启动汽车，并且，可以根据驾驶员的身份进行个性化设置。个性化设置可以包括对手势动作的个性控制。
在智能辅助识别系统100进行疲劳驾驶监测及预警的时候，2D信息采集单元102对主驾位置的驾驶员进行图像采集，获得2D图像信息，3D信息采集单元103采集3D深度信息，VCSEL电路对主驾位置发射红外光，控制器101记录发射时间节点及发射波长；3D TOF摄像头接收反射的红外光，且控制器101记录接收时间节点及反射波长；控制器101基于发射时间节点和接收时间节点，计算3D TOF摄像头与待测目标之间的距离；控制器101基于发射波长及反射波长之间的波长差异、距离，获得3D深度信息。在获得2D图像信息和3D深度信息后，将2D图像信息和3D深度信息进行融合处理，获得驾驶员行为图像，从而可以实时监控驾驶员的疲劳状态、驾驶行为等，可以分析及识别驾驶员行为是否存在驾驶过程中喝水、抽烟、打电话、打哈欠、眯眼等影响驾驶的错误状态，从而可以提醒驾驶员。
在智能辅助识别系统100进行手势识别控制的时候，通过2D信息采集单元102和3D信息采集单元103分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；对2D图像信息和3D深度信息进行融合处理，获得驾驶员行为图像；基于驾驶员行为图像分析驾驶员手势动作。例如，手势动作控制可以实现车内温度调节、音量调节、拨打电话、音乐切换、座椅调节、地点导航、开关天窗等，手势命令通过2D图像信息和3D深度信息结合分析及交互，识别精确度更高，为用户提供更便捷的驾驶体验。
通过智能辅助识别系统100的2D信息采集单元102和3D信息采集单元103，可以减少外部环境影响，识别精度更精准，实现人脸识别启动车辆、疲劳驾驶监测及预警以及手势识别控制功能，提高安全性能，且为驾驶员提供便捷的驾驶体验。
请参见图2，图2为应用于本申请的驾驶员行为处理方法的实施例的流程示意图，所述方法可以由智能辅助识别系统中的控制器执行，该方法包括步骤S201-步骤S204。
S201：通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具。
在用户准备驾驶汽车的时候，用户解锁车门，进入车内，并开启智能辅助识别系统。
用户可以对自己及家人的身份信息进行预录，车辆可以根据使用者的身份匹配喜好的个性化设置，使得驾驶员的驾驶体验更加舒适。
因此，为了个性化设置，通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，可以包括：
通过所述2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像；
如果检测到所述人脸图像，则对主驾位置的驾驶员进行身份匹配；
如果所述身份匹配通过，则启动所述交通工具，且根据驾驶员的身份进行个性化设置。
具体地，在开启智能辅助识别系统后，智能辅助识别系统的2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像，如果检测到人脸图像，则对主驾位置的驾驶员进行身份匹配，由于智能辅助识别系统内预录有多个身份信息及人脸图像，因此，可以根据人脸图像确定身份信息，如果身份匹配通过，则启动汽车，且根据驾驶员的身份进行个性化设置。
个性化设置包括手势动作的个性化设置，如驾驶员A的左右滑动动作为切换音乐的动作，驾驶员B的左右滑动动作为音量调节动作，针对不同的驾驶员，配置不同的个性化操作，给不同的驾驶员边界的驾驶体验。
在一些实施方式中，通过所述2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像，可以包括：
通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；
通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；
通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；
基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；
基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息；
对所述2D图像信息、色彩信息及所述3D深度信息进行融合处理，判断是否检测到人脸图像。
具体地，3D深度信息不会受到外界环境的干扰，色彩信息有利于智能辅助识别系统的功能的进一步实现，如FACE ID、车内记录仪等，使得图像信息更为完整、真实。3D深度信息结合2D图像信息、色彩信息，能够得到完整的、立体的、真实的物体图像，为是否检测到人脸图像的精准度提供强有力的保证。对所述2D图像信息、色彩信息及所述3D深度信息进行融合处理以进行人脸图像的检测可以参考现有技术的人脸识别，在此不再赘述。
对应地，如果检测不到人脸图像，则实时监控是否检测到人脸图像。
对应地，如果身份匹配不通过，即检测到的人脸图像不存在于预录的人脸图像中，则进行预设次数的身份匹配，并继续进行人脸识别，身份匹配不通过的次数超过预设次数，则控制所述2D信息采集单元和3D信息采集单元进入休眠状态，即控制智能辅助识别系统进入休眠状态，此时无法人脸识别以启动交通工具。
通过智能辅助识别系统，实现对特定用户身份的人脸智能识别以启动车辆，无需机械钥匙启动，操作更便捷。并且，2D信息采集单元和3D信息采集单元在人脸识别的时候，可以减少外部环境的影响，识别更精准，安全性更好。
S202：在检测到所述交通工具的速度大于0时，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息。
在检测到所述交通工具的速度大于0时，说明汽车已经启动，处于行驶状态，由于开启了智能辅助识别系统，通过智能辅助识别系统的2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息。
在其中一些实施方式中，与人脸识别以启动交通工具类似的是同样需要采集2D图像信息和3D深度信息，因此，所述通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息，包括：
通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；
通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；
通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；
基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；
基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
具体地，为了准确检测驾驶员是否存在疲劳驾驶行为，且准确识别驾驶员的手势动作，与人脸识别启动交通工具类似的是，智能辅助识别系统通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。其中，发射波长及反射波长之间的波长差异能够对被测物体进行精确的3D信息表征，从而完成3D深度信息的采集。
S203：对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像。
为了获得完整的、立体的、真实的物体图像，将对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像。
在其中一些实施方式中，对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像，可以包括：
对所述2D图像信息、色彩信息及所述3D深度信息进行融合处理，获得驾驶员行为图像。
进一步地，色彩信息有利于智能辅助识别系统进一步的功能实现，如FACE ID，车内记录仪等，使得获得的驾驶员行为图像信息更为完整，真实。在融合的时候，可以参考AVOD融合方法，具体步骤大概为：系统级芯片SOC中的2D检测模块对采集到的RGB图像(2D图像信息)进行特征提取，对提取到的结果进行实例分割，获得待检测目标的分割掩膜；将三维的深度数据(3D深度信息)坐标投影到二维的图像坐标上，根据投影到目标分割掩膜的点，在掩膜范围内随机生成一定数量的虚拟点，将生成的虚拟点重新投影到原始点云，将融合后的点云进入3D目标检测模块进行目标检测，从而获得驾驶员行为图像。
S204：基于所述驾驶员行为图像分析驾驶员行为；所述分析驾驶员行为包括安全驾驶行为分析和手势动作分析。
在其中一些实施方式中，在智能辅助识别系统进行疲劳驾驶检测的时候，基于所述驾驶员行为图像分析驾驶员行为，可以包括：
检测所述驾驶员行为是否存在疲劳驾驶行为；
如果存在所述疲劳驾驶行为，则发出预警信号。
具体地，疲劳驾驶行为包括全天候监测驾驶员的疲劳状态及驾驶行为，如驾驶过程中喝水、抽烟、打电话、打哈欠、眯眼睛等影响驾驶的行为，可以进一步分析和识别是否为疲劳驾驶行为，如果判定为疲劳驾驶行为，则发出预警信号，预警信号可以为语音灯光提示，达到警示驾驶员、纠正错误驾驶行为的效果。
在其中一些实施方式中，在智能辅助识别系统进行手势识别功能的时候，基于所述驾驶员行为图像分析驾驶员行为，还可以包括：
检测驾驶员的手势动作；
基于手势库对所述手势动作进行比对，获得比对结果；
基于所述比对结果执行对应的车载控制操作。
具体地，检测驾驶员的手势动作，手势库中预录有多个手势信息及对应的控制功能，如手势1对应控制功能1。控制功能主要包括地点导航、车内空调开启与关闭、温度调节、音乐切换、音量调节、座椅调节、开关天窗等。不同的手势动作对应不同的控制功能，因此，在检测到驾驶员的手势动作后，基于手势库对手势动作进行比对，获得比对结果，从而确定驾驶员希望控制的功能，然后基于比对结果执行对应的车载控制操作。
由于驾驶员行为图像是2D图像信息和所述3D深度信息进行融合获得，因此，手势识别精确率更高，为用户提供更便捷的驾驶体验。
本申请的实施例，通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，无需交通工具钥匙，就可以人脸识别直接启动交通工具，操作更便捷；在检测到所述交通工具的速度大于0时，即，在交通工具行驶的过程中，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；对所述2D图像信息和所述3D深度信息进行融合处理，获得完整的、立体的、真实的驾驶员行为图像，通过2D信息采集单元和3D信息采集单元采集驾驶员行为图像，受外部环境光条件的影响小，识别更精确，安全性更好；基于所述驾驶员行为图像分析驾驶员行为，实现对驾驶员的安全行为分析和手势动作分析，可以及时提醒驾驶员的错误驾驶行为，还可以响应驾驶员的手势动作以实现对交通工具的控制。
本申请实施例还提供了一种驾驶员行为处理装置，请参阅图3，其示出了本申请实施例提供的一种驾驶员行为处理装置的结构，该驾驶员行为处理装置300包括：
人脸识别模块301，用于通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具；
采集模块302，用于在检测到所述交通工具的速度大于0时，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；
融合模块303，用于对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像；
分析模块304，用于基于所述驾驶员行为图像分析驾驶员行为；所述分析驾驶员行为包括安全驾驶行为分析和手势动作分析。
本申请的实施例，通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，无需交通工具钥匙，就可以人脸识别直接启动交通工具，操作更便捷；在检测到所述交通工具的速度大于0时，即，在交通工具行驶的过程中，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；对所述2D图像信息和所述3D深度信息进行融合处理，获得完整的、立体的、真实的驾驶员行为图像，通过2D信息采集单元和3D信息采集单元采集驾驶员行为图像，受外部环境光条件的影响小，识别更精确，安全性更好；基于所述驾驶员行为图像分析驾驶员行为，实现对驾驶员的安全行为分析和手势动作分析，可以及时提醒驾驶员的错误驾驶行为，还可以响应驾驶员的手势动作以实现对交通工具的控制。
在一些实施例中，人脸识别模块301，还用于：
通过所述2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像；
如果检测到所述人脸图像，则对主驾位置的驾驶员进行身份匹配；
如果所述身份匹配通过，则启动所述交通工具，且根据驾驶员的身份进行个性化设置。
在一些实施例中，人脸识别模块301，还用于：
如果所述身份匹配不通过，且所述身份匹配不通过的次数超过预设次数，则控制所述2D信息采集单元和3D信息采集单元进入休眠状态。
在一些实施例中，所述3D信息采集单元包括3D TOF摄像头和VCSEL电路；采集模块302，还用于：
通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；
通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；
通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；
基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；
基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
在一些实施例中，融合模块303，还用于：
对所述2D图像信息、色彩信息及所述3D深度信息进行融合处理，获得驾驶员行为图像。
在一些实施例中，分析模块304，还用于：
检测所述驾驶员行为是否存在疲劳驾驶行为；
如果存在所述疲劳驾驶行为，则发出预警信号。
在一些实施例中，分析模块304，还用于：
检测驾驶员的手势动作；
基于手势库对所述手势动作进行比对，获得比对结果；
基于所述比对结果执行对应的车载控制操作。
需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
图4为抬头显示设备的一个实施例中智能辅助识别系统100的控制器101的硬件结构示意图，如图4所示，控制器包括：
一个或多个处理器111、存储器112。图4中以一个处理器111、一个存储器112为例。
处理器111、存储器112可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器112作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的驾驶员行为处理方法对应的程序指令/模块(例如，附图3所示的人脸识别模块301、采集模块302、融合模块303、分析模块304)。处理器111通过运行存储在存储器112中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的驾驶员行为处理方法。
存储器112可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人员进出检测装置的使用所创建的数据等。此外，存储器112可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器112可选包括相对于处理器111远程设置的存储器，这些远程存储器可以通过网络连接至抬头显示设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器112中，当被所述一个或者多个处理器111执行时，执行上述任意方法实施例中的驾驶员行为处理方法，例如，执行以上描述的图2中的方法步骤S201至步骤S204；实现图3中的模块301-304的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图4中的一个处理器111，可使得上述一个或多个处理器可执行上述任意方法实施例中的驾驶员行为处理方法，例如，执行以上描述的图2中的方法步骤S201至步骤S204；实现图3中的模块301-304的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种驾驶员行为处理方法，其特征在于，所述方法包括：
通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具；
在检测到所述交通工具的速度大于0时，通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息；
对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像；
基于所述驾驶员行为图像分析驾驶员行为；所述分析驾驶员行为包括安全驾驶行为分析和手势动作分析。
2.根据权利要求1所述的方法，其特征在于，所述通过2D信息采集单元和3D信息采集单元进行人脸识别，以启动交通工具，包括：
通过所述2D信息采集单元和3D信息采集单元对所述主驾位置进行人脸识别，判断是否检测到人脸图像；
如果检测到所述人脸图像，则对主驾位置的驾驶员进行身份匹配；
如果所述身份匹配通过，则启动所述交通工具，且根据驾驶员的身份进行个性化设置。
3.根据权利要求2所述的方法，其特征在于，在所述通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行身份匹配之后，所述方法还包括：
如果所述身份匹配不通过，且所述身份匹配不通过的次数超过预设次数，则控制所述2D信息采集单元和3D信息采集单元进入休眠状态。
4.根据权利要求1所述的方法，其特征在于，所述3D信息采集单元包括3D TOF摄像头和VCSEL电路；所述通过所述2D信息采集单元和3D信息采集单元分别对主驾位置的驾驶员进行图像采集，获得2D图像信息和3D深度信息，包括：
通过所述2D信息采集单元对主驾位置的驾驶员进行图像采集，获得包括色彩信息的2D图像信息；
通过所述VCSEL电路对主驾位置发射红外光，并记录发射时间节点及发射波长；
通过3D TOF摄像头接收反射的所述红外光，并记录接收时间节点及反射波长；
基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；
基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述2D图像信息和所述3D深度信息进行融合处理，获得驾驶员行为图像，包括：
对所述2D图像信息、所述色彩信息及所述3D深度信息进行融合处理，获得驾驶员行为图像。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述驾驶员行为图像分析驾驶员行为，包括：
检测所述驾驶员行为是否存在疲劳驾驶行为；
如果存在所述疲劳驾驶行为，则发出预警信号。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述驾驶员行为图像分析驾驶员行为，还包括：
检测驾驶员的手势动作；
基于手势库对所述手势动作进行比对，获得比对结果；
基于所述比对结果执行对应的车载控制操作。
8.一种智能辅助识别系统，其特征在于，所述智能辅助识别系统包括：
2D信息采集单元、3D信息采集单元和控制器；所述控制器分别与所述2D信息采集单元、3D信息采集单元电连接；
所述控制器包括至少一个处理器，以及
存储器，所述存储器与所述处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如权利要求1至7任一项所述的方法的步骤。
9.根据权利要求8所述的智能辅助识别系统，其特征在于，所述3D信息采集单元包括3DTOF摄像头和VCSEL电路；
所述VCSEL电路，用于对主驾位置发射红外光；
所述控制器，用于记录发射时间节点及发射波长；
所述3D TOF摄像头，用于接收反射的所述红外光；
所述控制器，还用于记录接收时间节点及反射波长；
所述控制器，还用于基于所述发射时间节点和所述接收时间节点，计算所述3D TOF摄像头与待测目标之间的距离；基于所述发射波长及所述反射波长之间的波长差异、所述距离，获得3D深度信息。
10.一种交通工具，其特征在于，所述交通工具包括如权利要求8所述的智能辅助识别系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310283576.2A CN116311182A (zh) | 2023-03-20 | 2023-03-20 | 一种驾驶员行为处理方法、智能辅助识别系统及交通工具 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310283576.2A CN116311182A (zh) | 2023-03-20 | 2023-03-20 | 一种驾驶员行为处理方法、智能辅助识别系统及交通工具 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311182A true CN116311182A (zh) | 2023-06-23 |
Family
ID=86828487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310283576.2A Pending CN116311182A (zh) | 2023-03-20 | 2023-03-20 | 一种驾驶员行为处理方法、智能辅助识别系统及交通工具 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311182A (zh) |
-
2023
- 2023-03-20 CN CN202310283576.2A patent/CN116311182A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10379536B2 (en) | Driving assistance method, and driving assistance device, information presentation device, and recording medium using same | |
| CN108140319B (zh) | 停车辅助方法及停车辅助装置 | |
| KR102206272B1 (ko) | 주차 지원 방법 및 주차 지원 장치 | |
| EP2860664B1 (en) | Face detection apparatus | |
| CN108981735B (zh) | 信息处理装置以及信息处理方法 | |
| CN111016905A (zh) | 自动驾驶车辆与驾驶遥控端交互方法及系统 | |
| US11332126B2 (en) | Parking assistance apparatus | |
| CN110198409B (zh) | 终端的控制方法及控制装置、终端及计算机可读存储介质 | |
| CN110070058A (zh) | 一种车载手势识别装置及系统 | |
| CN112106003A (zh) | 控制器、控制方法和程序 | |
| CN110831818A (zh) | 泊车辅助方法以及泊车辅助装置 | |
| KR20210043566A (ko) | 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램 | |
| JP2010029537A (ja) | 覚醒度判定装置 | |
| KR20210098445A (ko) | 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체 | |
| WO2019064939A1 (en) | IMAGE CAPTURE CONTROL APPARATUS, IMAGE CAPTURE APPARATUS, CONTROL METHOD FOR IMAGE CAPTURE CONTROL APPARATUS, AND NON-TRANSIENT COMPUTER-READABLE MEDIUM | |
| CN111086451B (zh) | 一种平视显示系统、显示方法和汽车 | |
| JP2018503899A (ja) | 発光ユニットの同期作動によって自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置、操作装置、自動車、ならびに方法 | |
| US11689797B2 (en) | Camera, method, non-transitory computer-readable medium, and system | |
| US20220381913A1 (en) | Distance measurement sensor, signal processing method, and distance measurement module | |
| CN117095680A (zh) | 车辆控制方法、装置、设备及存储介质 | |
| JP4701961B2 (ja) | 歩行者検知装置 | |
| CN116311182A (zh) | 一种驾驶员行为处理方法、智能辅助识别系统及交通工具 | |
| KR20200010660A (ko) | 원격 주차 시스템 및 방법, 차량의 객체 인식 장치 | |
| US20230341556A1 (en) | Distance measurement sensor, signal processing method, and distance measurement module | |
| US10999488B2 (en) | Control device, imaging device, and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |