CN113569785A - 驾驶状态感知方法及装置 - Google Patents
驾驶状态感知方法及装置 Download PDFInfo
- Publication number
- CN113569785A CN113569785A CN202110892262.3A CN202110892262A CN113569785A CN 113569785 A CN113569785 A CN 113569785A CN 202110892262 A CN202110892262 A CN 202110892262A CN 113569785 A CN113569785 A CN 113569785A
- Authority
- CN
- China
- Prior art keywords
- information
- driver
- distraction
- state
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 description 118
- 230000036544 posture Effects 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 235000002911 Salvia sclarea Nutrition 0.000 description 1
- 244000182022 Salvia sclarea Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种驾驶状态感知方法及装置包括：通过获取对驾驶员头部进行信息采集所得的头部采集信息，根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息，根据状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理，其中，驾驶状态检测包括分心检测和/或疲劳检测，在驾驶员状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。可见，本申请方案中，能够实现对驾驶员进行分心检测和/或疲劳检测，并在驾驶状态异常的情况下进行报警处理，对驾驶员进行提醒，从而有效保障驾驶员安全。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种驾驶状态感知方法及装置。
背景技术
随着社会经济的发展和人民生活水平的提高，汽车已经逐渐成为了人们日常出行中最主要的交通工具，而汽车的安全行驶也越来越受到人们的关注。其中，驾驶员的驾驶状态对安全行驶的影响尤为严重。在驾驶员的驾驶状态较差时，例如过度疲劳、注意力分散等，可能会导致驾驶员判断能力下降，造成反应迟缓，极易发生交通事故，影响驾驶员安全。
因此，如何提供一种能够保障驾驶员安全的技术方案，是目前本领域技术人员亟需解决的问题。
发明内容
本申请提供了一种驾驶状态感知方法，以实现对驾驶员进行疲劳和分心感知，并予以报警，从而有效保障驾驶员安全。
本发明还提供了一种驾驶状态感知装置，用于保证上述方法在实际中的实现及应用。
一种驾驶状态感知方法，包括：
获取对驾驶员的头部进行信息采集所得的头部采集信息；
根据所述头部采集信息，利用预先构建的状态预测模型预测所述驾驶员的状态信息；
根据所述状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理；其中，所述驾驶状态检测包括分心检测和/或疲劳检测；
在所述驾驶状态检测包括分心检测的情况下，依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。
上述的方法，可选的，所述获取对驾驶员的头部进行信息采集所得的头部采集信息，包括：
获取安装于车辆内部的摄像装置对驾驶员的头部进行信息采集所得的头部采集信息。
上述的方法，可选的，所述依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测，包括：
获取所述摄像装置的参数信息；
依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息；
依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测。
上述的方法，可选的，所述依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息，包括：
获取所述车辆在真实环境中的立体图像信息；
依据所述摄像装置的参数信息，确定所述视线方向信息和所述立体图像信息的交汇点信息；
依据所述交汇点信息，确定所述驾驶员的视线区域信息。
上述的方法，可选的，所述头部姿态信息包括偏航角和俯仰角，所述依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测，包括：
判断所述偏航角是否大于预设第一角度，或所述俯仰角是否大于预设第二角度；
若所述偏航角大于预设第一角度，或所述俯仰角大于预设第二角度，则确定出所述驾驶员的分心类型为分神；
若所述偏航角不大于预设第一角度，且所述俯仰角不大于预设第二角度，则判断所述视线区域是否为预设第一区域；
若所述视线区域为预设第一区域，则确定出所述驾驶员的分心类型为分神；
若所述视线区域不为预设第一区域，则当所述视线区域为预设第二区域时，确定出所述驾驶员的分心类型为次分神；所述次分神的分心程度小于所述分神的分心程度。
上述的方法，可选的，在所述驾驶状态检测包括分心检测的情况下，所述在驾驶状态异常的情况下进行报警处理，包括：
在车辆的档位为预设第一档位的情况下，若所述驾驶员的分心类型为分神，则依据所述头部采集信息的采集时间，计算分神时长；
若所述分神时长大于第三阈值，则确定出驾驶状态异常，并进行报警处理；
若所述驾驶员的分心类型为次分神，则依据所述头部采集信息的采集时间，计算次分神时长；
若所述次分神时长大于第四阈值，则确定出所述分心检测的结果满足预设的第一报警条件；所述第四阈值大于所述第三阈值；
在车辆的档位为预设第二档位的情况下，若所述驾驶员的分心类型不为次分神，则确定出驾驶状态异常，并进行报警处理。
上述的方法，可选的，在所述驾驶状态检测包括疲劳检测的情况下，所述根据所述状态信息，对驾驶员进行驾驶状态检测，包括：
判断所述状态信息中包括的驾驶员的眼睛睁闭状态信息是否表征驾驶员处于闭眼状态；
若所述眼睛睁闭状态信息表征驾驶员处于闭眼状态，则计算预设时间段内，所述驾驶员的闭眼频率和闭眼时长；其中，所述预设时间段的结束时间点依据所述头部采集信息的采集时间确定；
若所述闭眼频率大于第一阈值，且所述闭眼时长大于第二阈值，则确定出所述驾驶员的疲劳类型为重度疲劳；
若所述眼睛睁闭状态信息表征驾驶员处于睁眼状态、所述闭眼频率不大于第一阈值、或所述闭眼时长不大于第二阈值，则当所述状态信息中包括的驾驶员的嘴部张合状态信息表征所述驾驶员处于嘴部张开状态时，依据所述头部采集信息的采集时间，计算嘴部张开持续时长；
若所述嘴部张开持续时长大于第三阈值，则确定出所述驾驶员的疲劳类型为轻度疲劳。
上述的方法，可选的，在所述驾驶状态检测包括疲劳检测的情况下，所述在驾驶状态异常情况下进行报警处理，包括：
若所述驾驶员的疲劳类型为重度疲劳或轻度疲劳，则确定出驾驶状态异常，并进行报警处理。
上述的方法，可选的，所述状态预测模型的构建过程，包括：
采集样本集；所述样本集中包括多个携带标注信息的样本数据；所述标注信息至少包括眼睛睁闭状态信息、嘴部张合状态信息、头部姿态信息和视线方向信息；
构建多任务神经网络；所述多任务神经网络至少包括眼睛睁闭状态预测任务神经网络、嘴部张合状态预测任务神经网络、头部姿态预测任务神经网络和视线方向预测任务神经网络；
依据各个样本数据，对所述多任务神经网络进行训练，得到状态预测模型。
上述的方法，可选的，所述标注信息还包括：脸部关键点信息；所述多任务神经网络还包括：关键点预测任务神经网络。
一种驾驶状态感知装置，包括：
获取单元，用于获取对驾驶员的头部进行信息采集所得的头部采集信息；
输入单元，用于根据所述头部采集信息，利用预先构建的状态预测模型预测所述驾驶员的状态信息；
检测单元，用于根据所述状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理；其中，所述驾驶状态检测包括分心检测和/或疲劳检测；在所述驾驶状态检测包括分心检测的情况下，依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。
一种存储介质，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如上述的驾驶状态感知方法。
一种电子设备，包括：
存储器，用于存储至少一组指令集；
处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上述的驾驶状态感知方法。
与现有技术相比，本申请包括以下优点：
本申请提供了一种驾驶状态感知方法及装置包括：通过获取对驾驶员头部进行信息采集所得的头部采集信息，根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息，根据状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理，其中，驾驶状态检测包括分心检测和/或疲劳检测，在驾驶员状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。可见，本申请方案中，能够实现对驾驶员进行分心检测和/或疲劳检测，并在驾驶状态异常的情况下进行报警处理，对驾驶员进行提醒，从而有效保障驾驶员安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种驾驶状态感知方法的方法流程图；
图2为本申请提供的一种驾驶状态感知方法的又一方法流程图；
图3为本申请提供的一种驾驶状态感知方法的示例图；
图4为本申请提供的一种驾驶状态感知方法的又一示例图；
图5为本申请提供的一种驾驶状态感知方法的又一示例图；
图6为本申请提供的一种驾驶状态感知方法的又一示例图；
图7为本申请提供的一种驾驶状态感知方法的又一示例图；
图8为本申请提供的一种驾驶状态感知方法的又一示例图；
图9为本申请提供的一种驾驶状态感知方法的又一方法流程图；
图10为本申请提供的一种驾驶状态感知方法的又一方法流程图；
图11为本申请提供的一种驾驶状态感知方法的又一方法流程图；
图12为本申请提供的一种驾驶状态感知方法的又一方法流程图；
图13为本申请提供的一种驾驶状态感知装置的结构示意图；
图14为本申请提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本申请公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本申请公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请实施例提供了一种驾驶状态感知方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：
S101、获取对驾驶员的头部进行信息采集所得的头部采集信息。
本实施例中，实时获取对驾驶员的头部进行信息采集所得的头部采集信息，具体的，实时获取安装于车辆内部的摄像装置对驾驶员的头部进行信息采集所得的头部采集信息，头部采集信息包括但不限于图像和视频，可选的，摄像装置可以是红外摄像头。
S102、根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息。
本实施例中，预先构建状态预测模型，状态预测模型基于多任务神经网络预先建立得到，多任务神经网络包括多个任务神经网络，至少包括眼睛睁闭状态预测任务神经网络、嘴部张合状态预测任务神经网络、头部姿态预测任务神经网络和视线方向预测任务神经网络。
本实施例中，根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息，也就是将头部采集信息输入至预先构建的状态预测模型中，经状态预测模型处理，得到状态预测模型输出的驾驶员的状态信息，其中，驾驶员的状态信息包括眼睛睁闭状态信息、嘴部张合状态信息、头部姿态信息和视线方向信息，具体的，状态预测模型中的眼睛睁闭状态预测任务神经网络输出眼睛睁闭状态信息，状态预测模型中的嘴部张合状态预测任务神经网络输出嘴部张合状态信息，状态预测模型中的头部姿态预测任务神经网络输出头部姿态信息，状态预测模型中的视线方向预测任务神经网络输出视线方向信息。
本实施例中，将头部采集信息输入至预先构建的状态预测模型的过程，具体包括：对头部采集信息进行质量检测，在头部采集信息通过质量质检后，将头部采集信息输入至预先构建的状态预测模型。若头部采集信息未通过质量检测，则不将头部采集信息输入至预先构建的状态预测模型，可选的，还可以输出提示信息，以提示工作人员进行查看。
本实施例中，通过对头部采集信息通过质量质检，以过滤掉质量检测不合格的头部采集信息，从而提高后续状态预测的准确性。
参阅图2，状态预测模型的构建过程，具体包括以下步骤：
S201、采集样本集。
本实施例中，采集样本集，样本集中包括多个携带标注信息的样本数据，标注信息至少包括眼睛睁闭状态信息、嘴部张合状态信息、头部姿态信息和视线方向信息，可选的，标注信息还可以包括脸部关键点信息。可选的，样本数据可以图像。
可选的，脸部关键点信息至少包括脸部轮廓关键点信息、眼部关键点信息、嘴部关键点信息和鼻子关键点信息，其中，脸部轮廓关键点信息包括多个脸部轮廓关键点，眼部关键点信息包括多个眼部关键点，嘴部关键点信息包括多个嘴部关键点，鼻子关键点信息包括多个鼻子关键点。可选的，眼部状态清晰的样本数据中的脸部关键点信息还包括眼睛补充关键点。
本实施例中，每个样本数据中的头部姿态可信息以基于脸部关键点信息和标准3D人脸模型，通过OpenCV(Open Source Computer Vision Library，开源计算机视觉库)的SolvePnP算法获取，并标注得到。
本实施例中，每个样本数据中的眼睛睁闭状态信息可以是基于闭眼周期进行标注得到，参阅图3，t0-t5为一个闭眼周期，t0-t1为完全睁眼到睁眼80％的时间，t1-t2为睁眼80％到睁眼20％的时间，t3-t4为睁眼20％到睁眼80％所需时间，t4～t5为睁眼80％到完全睁眼所需时间。当眼睛睁开程度比例不大于第一程度阈值时，眼睛睁闭状态信息表征处于为闭眼状态，当眼睛睁开程度比例大于阈值时，眼睛睁闭状态信息表征处于睁眼状态，可选的，阈值可以20％，一个闭眼周期内的闭眼时长Te(t0-t5)＝t3-t2，一个闭眼周期内的闭眼频率
本实施例中，当嘴部张开程度大于第二程度阈值时，样本数据中的嘴部张合状态信息表征处于嘴部张开状态，当嘴部张开程度不大于第二程度阈值时，样本数据中的嘴部张合状态信息表征处于嘴部闭合状态。
本实施例中，每个样本数据中的视线方向信息可以是基于视线方向采集方案获取，并标注得到。
视线方向采集方案包括：
参阅图4，图4为采集场景示意图，是一个三面环墙(墙可以被固定于地面且保持不动的板子之类物品代替)的空间，其中，最中央的墙称为正面墙，两边的墙分别称为侧面墙1、侧面墙2。正面墙与2个侧面墙相垂直，2个侧面墙相互平行。其中，图中的圆圈为人的瞳孔点，也就是视线原点，人的注视点均分布于3面墙上。
视线角由视线原点和注视点连接而成的视线向量决定，视线向量由视线原点指向注视点。视线角包括偏航角和俯仰角。可选的，偏航角可以以yaw角表示，俯仰角可以以pitch角表示。
其中，参阅图5，图5为图4的俯视图，图中的虚线从视线原点出发、平行于地面、且垂直于正面墙；图中的带箭头的实线为从视线原点出发的视线向量。yaw角为视线向量与图中虚线构成的角度，可理解为表征人向左向右看的角度。可选的，图中偏离虚线的方向为正值，反之为负值，也即向左看为正值，向右看为负值。
其中，参阅图6，图6为图4的右视图，即站在侧面墙1处看向侧面墙2的视图，图中的虚线从视线原点出发、平行于地面、且垂直于正面墙；图中的带箭头的实线为从视线原点出发的视线向量。pitch角为视线向量与图中虚线构成的角度，可理解为表征人向上向下看的角度。可选的，图中偏离虚线的方向为正值，反之为负值，也即向上看为正值，反之为负值。
可选的，设置多个注视点，注视点分布如图7所示，分成4行10列，其中，两个侧面墙各有3列，正面墙有4列，为方便说明，并未把40个点全部画出，图中仅侧面墙2上画出了所有注视点；正面墙仅画出3列，还剩余1列未画出；侧面墙1上全部都没有画出。
以正面墙的左上角为世界坐标原点，所有注视点的世界坐标都可以计算出。同时在正面墙的正中心架设深度摄像头，确保其光轴中心垂直于墙面，通过深度摄像头抓取摄像头下人眼看向各注视点时中心位置，通过坐标转换可以换算到世界坐标系下眼部中心的坐标。在世界坐标系中连接眼部中心点和视线点的射线即可得到视线方向的真值，也即获得yaw角和pitch角。
S202、构建多任务神经网络。
本实施例中，构建多任务神经网络，多任务神经网络包括多个任务神经网络，至少包括眼睛睁闭状态预测任务神经网络、嘴部张合状态预测任务神经网络、头部姿态预测任务神经网络和视线方向预测任务神经网络，可选的，还可以包括关键点预测任务神经网络。
本实施例中，将多个任务神经网络合并到一个基网络(mobilenet)，并抽出多个网络头(head)。
需要说明的是，本实施例中，关键点预测任务神经网络的head设计相对于其他任务神经网络复杂，也就是说，关键点预测任务神经网络的网络层数多于其他任务神经网络的网络层数，而网络层数越多，模型的参数越多，从而使得关键点预测任务神经网络的精度更高。
需要说明的是，其他任务神经网络的head不能设计得与关键点预测任务神经网络同样复杂，因为关键点预测任务神经网络这个分支只参与训练，并不参与实际推断过程，因此设计的复杂并不会影响实际推断的速度。而其他任务神经网络的head是参与实际推断的，因此不适合设计得过于复杂，否则会影响推断速度。
本实施例中，多任务神经网络的网络结构如图8所示，其中，Backbone表示网络结构，具体包括睁闭眼对应的眼睛睁闭状态预测任务神经网络、头部姿态对应的头部姿态预测任务神经网络、视线防线对应的视线方向预测任务神经网络、哈欠对应的嘴部张合状态预测任务神经网络，以及关键点对应的关键点预测任务神经网络。其中，头部姿态包括yaw角、pitch角和raw(旋转)角，哈欠包括嘴部张开(open)、嘴部闭合(close)和其他情况(other)，其他情况表征未检索到嘴部张合状态的情况。
S203、依据各个样本数据，对多任务神经网络进行训练，得到状态预测模型。
本实施例中，依据各张样本图像，对多任务神经网络进行训练，并将训练后的多任务神经网络作为状态预测模型。
可选的，将训练后的多任务神经网络作为状态预测模型之前，还可以对训练后的多任务神经网络进行模型评估，并调整多任务神经网络中的超参数，实现优化训练后的多任务神经网络。
本实施例中，为了有效保障驾驶员安全，需要对驾驶员进行分心检测和疲劳检测，由此涉及到多个感知任务，也就是涉及到眼睛睁闭状态预测、嘴部张合状态预测、头部姿态预测和视线方向预测，通过构建多任务神经网络，并对多任务神经网络进行训练，从而得到状态预测模型，由于任务神经网络是同时训练和计算的，由此提高了多任务神经网络的训练和计算效率。
本实施例中，由于所有任务(也就是任务神经网络)共享一个基网络，每一个分支任务都会影响到基础网络的权重。例如，闭眼、张嘴、视线方向这些功能都和人脸上的关键点息息相关。因此，在训练时，当关键点分支能够很好的得到收敛，就认为由此训练出来的基网络就能提供非常好的特征，从而有提升其他分支任务性能的基础。
本实施例中，发明人通过研究发现，疲劳和分心的主要特征都和脸部关键点的变化呈正相关性，但是只用关键点模型有以下两个缺点。首先单用关键点模型，需要进行大量的后处理，如眼部嘴部阈值判断、头部姿态的三维映射、视线方向的三维转换。逻辑复杂且后处理耗费CPU资源。其次关键点模型往往需要较重的模型才能训练出比较好的精度，在移动车机端计算效率不高。因此，本申请通过在多任务神经网络中加入关键点预测任务神经网络，和其他任务神经网络共享基网络，同时，本实施例中，关键点预测任务神经网络的head设计相对于其他任务神经网络复杂，通过复杂的head设计，使得多任务神经网络能够学习到精确的脸部关键点信息，从而提升基网络的性能，进而提升状态预测模型的预测精度。
S103、根据状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理。
本实施例中，根据状态信息，对驾驶员进行驾驶状态检测，其中，驾驶状态检测包括分心检测和/或疲劳检测；在驾驶状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测；在驾驶状态检测包括疲劳检测的情况下，依据状态信息中包括的眼睛挣闭状态信息和嘴部张合状态信息，对驾驶员进行疲劳检测。
参阅图9，在驾驶状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测的过程，包括：
S901、获取摄像装置的参数信息。
本实施例中，预先对摄像装置进行标定，获取摄像装置的参数信息，参数信息包括摄像装置的内参和外参。
S902、依据摄像装置的参数信息和状态信息中包括的驾驶员的视线方向信息，确定驾驶员的视线区域信息。
本实施例中，依据摄像装置的参数信息、视线方向信息和车辆在真实环境中立体图像信息，确定驾驶员的视线区域信息。
本实施例中，依据依据摄像装置的参数信息和状态信息中包括的驾驶员的视线方向信息，确定驾驶员的视线区域信息的过程，具体包括以下步骤：
获取车辆在真实环境中的立体图像信息；
依据摄像装置的参数信息，确定视线方向信息和立体图像信息的交汇点信息；
依据交汇点信息，确定驾驶员的视线区域信息。
本实施例中，视线方向信息包括yaw角和pitch角，获取车辆在真实环境中的立体图像，可选的，立体图像可以是三维图像，依据摄像装置的参数，对yaw角和pitch角进行坐标转换，并基于坐标转换的后的yaw角和pitch角，得到真实环境中的视线向量，确定真实环境中的视线向量和车辆的立体图像之间的交汇点信息，从而基于交汇点信息，确定出驾驶员的视线区域信息。
S903、依据视线区域信息和状态信息中包括的驾驶员的头部姿态信息，对驾驶员进行分心检测。
本实施例中，头部姿态信息包括偏航角、俯仰角，基于头部姿态中包括的偏航角和俯仰角、以及所确定的视线区域信息，对驾驶员进行分心检测。可选的，头部姿态信息还包括旋转角。
参阅图10，依据视线区域信息和状态信息中包括的驾驶员的头部姿态信息，对驾驶员进行分心检测的过程，具体包括以下步骤：
S1001、判断偏航角是否大于预设第一角度，若是，执行S1002，若否，执行S1003。
本实施例中，判断偏航角是否大于预设第一角度，具体的，判断偏航角的绝对值是否大于预设第一角度。可选的，预设第一角度可以是60度。
S1002、确定出驾驶员的分心类型为分神。
若偏航角大于预设第一角度，或者俯仰角大于预设第二角度，则确定出驾驶员的分心类型为分神。
当偏航角不大于预设第一角度，且俯仰角不大于预设第二角度时，若驾驶员的视线区域为第一区域，则确定出驾驶员的分心类型为分神。
S1003、判断俯仰角是否大于预设第二角度，若是，执行S1002，若否，执行S1004。
本实施例中，判断俯仰角是否大于预设第二角度，具体的，判断俯仰角的绝对值是否大于预设第二角度。可选的，预设第二角度可以是30度。
S1004、判断视线区域是否为预设第一区域，若是，执行S1002，若否，执行S1005。
本实施例中，若偏航角不大于预设第一角度，且俯仰角不大于预设第二角度，说明驾驶员的头部姿态正常，并进一步判断驾驶员的视线区域是否预设第一区域，其中，预设第一区域为除正前挡风玻璃区域和后视镜区域外的区域。
S1005、判断视线区域是否为预设第二区域，若是，执行S1006，若否，执行S1007。
S1006、确定出驾驶员的分心类型为次分神。
本实施例中，在驾驶员的头部姿态正常的情况下，若驾驶员的视线区域为预设第二区域，则确定出驾驶员的分心类型为次分神。其中，预设第二区域为后视镜区域，后视镜区域包括左后视镜区域和右后视镜区域。
其中，次分神的分心程度小于分神的分心程度。
S1007、确定出驾驶员的分心类型为未分心。
本实施例中，在驾驶员的头部姿态正常的情况下，若驾驶员的视线区域既不为预设第一区域，也不为预设第二区域，则确定出驾驶员的分心类型为未分心。
需要说明的是，若状态预测模型输出的头部姿态或视线方向中的任意一项为未知值，则确定出驾驶员的分心类型为未知状态。
需要说明是，本实施例对分心检测过程中，判断偏航角是否大于预设第一角度，和判断俯仰角是否大于预设第二角度的判断顺序不作限定，可以是如上述提及的，先判断偏航角是否大于预设第一角度，再判断俯仰角是否大于预设第二角度，也可以先判断俯仰角是否大于预设第二角度，再判断偏航角是否大于预设第一角度。
本申请实施例提供的驾驶状态感知方法中，通过引入视线方向信息，在头部姿态的基础补充视线的检测，从而实现更精细的监测驾驶员的注意力方向。
本实施例中，参阅图11，在驾驶状态检测包括疲劳检测的情况下，根据状态信息，对驾驶员进行驾驶状态检测的过程，具体包括以下步骤：
S1101、判断状态信息中包括的驾驶员的眼睛睁闭状态信息是否表征驾驶员处于闭眼状态，若是，执行S1102，若否，执行S1103。
S1102、计算预设时间段内，驾驶员的闭眼频率和闭眼时长。
本实施例中，若状态信息中包括的驾驶员的眼睛睁闭状态信息表征驾驶员处于闭眼状态，则计算预设时间段内，驾驶员的闭眼频率和闭眼时长，其中，预设时间段为人为设定的时间段，可以根据需求进行调整，预设时间段的结束时间点为依据头部采集信息的采集时间确定，即预设时间段的结束时间点即为头部采集信息的采集时间。
本实施例中，计算预设时间段内，驾驶员的闭眼频率和闭眼时长的过程，具体包括：确定预设时间段内，眼睛睁闭状态信息表征驾驶员处于闭眼状态对应的头部采集信息，依据眼睛睁闭状态信息表征驾驶员处于闭眼状态对应的头部采集信息的采集时间，计算驾驶员的闭眼时长，依据闭眼时长和预设时间段，计算驾驶员的闭眼频率。
S1103、判断状态信息中包括的驾驶员的嘴部张合状态信息是否是否表征驾驶员处于嘴部张开状态，若是，执行S1104，若否，执行S1105。
本实施例中，在眼睛睁闭状态信息表征驾驶员处于睁眼状态、或眼睛睁闭状态信息表征驾驶员处于闭眼状态，但是闭眼频率不大于第一阈值和/或闭眼时长不大于第二阈值的情况下，则判断嘴部张合状态信息是否表征驾驶员处于嘴部张开状态。
S1104、依据头部采集信息的采集时间，计算嘴部张开持续时长。
本实施例中，预设第一标志位，第一标志位用于标识驾驶员的嘴部张合状态信息，以及对应的时间，第一标志位依据每次状态预测模型输出的嘴部张合状态信息进行更新，具体的，将状态预测模型当前输出的嘴部张合状态信息和第一标志位所标识的嘴部张合状态信息进行比对，若比对不一致，则将第一标志位所标识的嘴部张合状态信息，以及对应的时间更新为状态预测模型当前输出的嘴部张合状态信息和对应的时间；若比对一致，则不对第一标志位进行更新。
本实施例中，在嘴部张合状态信息为张开状态信息的情况下，依据头部采集信息的采集时间，计算嘴部张开持续时长，具体的，依据第一标志位所标识的驾驶员的嘴部张合状态、以及对应的时间和头部采集信息的采集时间，计算嘴部张开持续时长，也就是当第一标志位所标识的驾驶员的嘴部张合状态信息表征驾驶员处于嘴部张开状态时，将头部采集信息的采集时间减去第一标志位所标识的时间，从而得到嘴部张开持续时长。当第一标志位所标识的驾驶员的嘴部张合状态信息表征驾驶员处于嘴部闭合状态时，嘴部张开持续时长为零，并将第一标志位所标识的嘴部张合状态信息更新为张开状态信息，以及所标识的时间更新为头部采集信息的采集时间。
S1105、确定出驾驶员不处于疲劳状态。
S1106、判断闭眼频率是否大于第一阈值，且闭眼时长是否大于第二阈值，若是，则执行S1107，若否，执行S1103。
本实施例中，判断闭眼频率是否大于第一阈值，可选的，第一阈值可以是40％。
本实施例中，判断闭眼时长是否大于第二阈值，可选的，第二阈值可以是0.25S。
S1107、确定出驾驶员的疲劳类型为重度疲劳。
本实施例中，若闭眼评率大于第一阈值，且闭眼时长大于第二阈值，则确定出驾驶员的疲劳类型为重度疲劳。
S1108、判断嘴部张开持续时长是否大于第三阈值，若是，执行S1109，若否，执行S1105。
本实施例中，判断嘴部张开持续时长是否大于第三阈值，可选的，第三阈值可以为2S。
S1109、确定出驾驶员的疲劳类型为轻度疲劳。
本实施例中，在嘴部张合状态信息表征驾驶员处于嘴部张开状态，且嘴部张开持续时长大于第三阈值的情况下，确定出驾驶员的疲劳类型为轻度疲劳，也就是处于打哈欠状态。
本实施例中，通过眼睛挣闭状态信息、闭眼时长和闭眼频率，判断驾驶员是否为重度疲劳，通过嘴部张合状态信息、嘴部张开持续时长，判断驾驶员是否为轻度疲劳，以实现对疲劳进行分级。
本实施例中，参阅图12，若驾驶状态检测包括分心检测，在驾驶状态异常的情况下进行报警处理的过程，包括以下步骤：
S1201，判断车辆的档位是否为预设第一档位，若是，执行S1202，若否，执行S1203。
本实施例中，判断车辆的档位是否为预设第一档位，其中，预设第一档位可以是前进挡(D挡)。
S1202、判断驾驶员的分心类型为分神，若是，执行S1204，若否，执行S1205。
S1203、判断车辆的档位是否为预设第二档位，若是，执行S1206，若否，执行1207。
本实施例中，判断车辆的档位是否预设第二档位，其中，预设第二档位为倒挡(R挡)。
S1204、依据头部采集信息的采集时间，计算分神时长。
本实施例中，预设第二标志位，第二标志位用于标识驾驶员的分心类型，以及对应的时间，第二标志位依据每次所确定的分心类型进行更新，具体的，将当前确定的分心类型和第二标志位所标识的分心类型进行比对，若比对不一致，则将第二标志位所标识的分心类型，以及对应的时间更新为当前所确定的分心类型和对应的时间；若比对一致，则不对第二标志位进行更新。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为分神，则依据头部采集信息的采集时间，计算分神时长，具体的，依据第二标志位所标识的驾驶员的分心类型、以及对应的时间和头部采集信息的采集时间，计算分神时长，也就是当第二标志位所标识的驾驶员的分心类型为分神时，将头部采集信息的采集时间减去标志位所标识的时间，从而得到分神时长。当第二标志位所标识的驾驶员的分心类型为不为分神时，分神时长为零，并将第二标志位所标识的分心类型更新为分神，以及所标识的时间更新为头部采集信息的采集时间。
S1205、判断驾驶员的分心类型为次分神，若是，执行S1207，若否，执行S1208。
S1206、判断驾驶员的分心类型为次分神，若是，执行S1207，若否，执行S1209。
S1207、确定出驾驶状态未异常。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型既不为分神、也不为次分神，则确定出驾驶状态未异常。
本实施例中，在车辆的档位为预设第二档位的情况下，若驾驶员的分心类型为次分神，则确定出驾驶状态未异常。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为分神、但是分神时长不大于第三阈值，则确定出驾驶状态未异常。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为次分神、但是次分神时长不大于第四阈值，则确定出驾驶状态未异常。
本实施例中，在车辆为空挡(N挡)和停车挡(P挡)时，则确定驾驶状态未异常。
S1208、依据头部采集信息的采集时间，计算次分神时长。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为次分神，则依据头部采集信息的采集时间，计算次分神时长，具体的，依据第二标志位所标识的驾驶员的分心类型、以及对应的时间和头部采集信息的采集时间，计算次分神时长，也就是当第二标志位所标识的驾驶员的分心类型为次分神时，将头部采集信息的采集时间减去标志位所标识的时间，从而得到次分神时长。当第二标志位所标识的驾驶员的分心类型为不为次分神时，次分神时长为零，并将第二标志位所标识的分心类型更新为次分神，以及所标识的时间更新为头部采集信息的采集时间。
S1209、确定出驾驶状态异常，并进行报警处理。
本实施例中，在车辆的档位为预设第二档位的情况下，若驾驶员的分心类型不为次分神，则确定出驾驶员的驾驶状态异常，并进行报警处理。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为分神、且分神时长大于第三阈值，则确定出驾驶员的驾驶状态异常，并进行报警处理。
本实施例中，在车辆的档位为预设第一档位的情况下，若驾驶员的分心类型为次分神、且次分神时长大于第四阈值，则则确定出驾驶员的驾驶状态异常，并进行报警处理。
S1210、判断分神时长是否大于第三阈值，若是，执行S109，若否，执行S1207。
S1211、判断次分神时长是否大于第四阈值，若是，执行S109，若否，执行S1207。
本实施例中，第四阈值大于第三阈值。
本实施例中，若驾驶状态检测包括疲劳检测，在驾驶状态异常情况下进行报警处理的过程，包括：若驾驶员的疲劳类型为重度疲劳或轻度疲劳，则确定出驾驶状态异常，并进行报警处理。
其中，进行报警处理可是输出报警信息，可选的，针对不同情况所导致的驾驶状态异常，可以输出不同的报警通知，从而能够缓解驾驶员的疲劳状态或者提醒驾驶员专心驾驶。
本申请实施例提供的驾驶状态感知方法中，通过获取对驾驶员头部进行信息采集所得的头部采集信息，根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息，根据状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理，其中，驾驶状态检测包括分心检测和/或疲劳检测，在驾驶员状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。可见，本申请方案中，能够实现对驾驶员进行分心检测和/或疲劳检测，并在驾驶状态异常的情况下进行报警处理，对驾驶员进行提醒，从而有效保障驾驶员安全。并且，状态预测模型是基于多任务神经网络训练得到的，状态预测模型精度较高，由于只需运行状态预测模型，占用的计算资源较少，运行速度较快，从而提高驾驶状态感知速度。
需要说明的是，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本申请公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请公开的范围在此方面不受限制。
与图1所述的方法相对应，本申请实施例还提供了一种驾驶状态感知装置，用于对图1中方法的具体实现，其结构示意图如图13示，具体包括：
获取单元1301，用于获取对驾驶员的头部进行信息采集所得的头部采集信息；
输入单元1302，用于根据所述头部采集信息，利用预先构建的状态预测模型预测所述驾驶员的状态信息；
检测单元1303，用于根据所述状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理；其中，所述驾驶状态检测包括分心检测和/或疲劳检测；在所述驾驶状态检测包括分心检测的情况下，依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。
本申请实施例提供的驾驶状态感知装置中，通过获取对驾驶员头部进行信息采集所得的头部采集信息，根据头部采集信息，利用预先构建的状态预测模型预测驾驶员的状态信息，根据状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理，其中，驾驶状态检测包括分心检测和/或疲劳检测，在驾驶员状态检测包括分心检测的情况下，依据状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。可见，本申请方案中，能够实现对驾驶员进行分心检测和/或疲劳检测，并在驾驶状态异常的情况下进行报警处理，对驾驶员进行提醒，从而有效保障驾驶员安全。并且，状态预测模型是基于多任务神经网络训练得到的，状态预测模型精度较高，由于只需运行状态预测模型，占用的计算资源较少，运行速度较快，从而提高驾驶状态感知速度。
在本申请的一个实施例中，基于前述方案，获取单元1301具体用于：
获取安装于车辆内部的摄像装置对驾驶员的头部进行信息采集所得的头部采集信息。
在本申请的一个实施例中，基于前述方案，检测单元1303在依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测时，具体用于：
获取所述摄像装置的参数信息；
依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息；
依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测。
在本申请的一个实施例中，基于前述方案，检测单元1303在依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息时，具体用于：
获取所述车辆在真实环境中的立体图像信息；
依据所述摄像装置的参数信息，确定所述视线方向信息和所述立体图像的交汇点信息；
依据所述交汇点信息，确定所述驾驶员的视线区域信息。
在本申请的一个实施例中，基于前述方案，所述头部姿态信息包括偏航角和俯仰角，检测单元1303在依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测时，具体用于：
判断所述偏航角是否大于预设第一角度，或所述俯仰角是否大于预设第二角度；
若所述偏航角大于预设第一角度，或所述俯仰角大于预设第二角度，则确定出所述驾驶员的分心类型为分神；
若所述偏航角不大于预设第一角度，且所述俯仰角不大于预设第二角度，则判断所述视线区域是否为预设第一区域；
若所述视线区域为预设第一区域，则确定出所述驾驶员的分心类型为分神；
若所述视线区域不为预设第一区域，则当所述视线区域为预设第二区域时，确定出所述驾驶员的分心类型为次分神；所述次分神的分心程度小于所述分神的分心程度。
在本申请的一个实施例中，基于前述方案，在驾驶状态检测包括分心检测的情况下，检测单元1303执行在驾驶状态异常的情况下进行报警处理，具体用于：
在车辆的档位为预设第一档位的情况下，若所述驾驶员的分心类型为分神，则依据所述头部采集信息的采集时间，计算分神时长；
若所述分神时长大于第三阈值，则确定出驾驶状态异常，并进行报警处理；
若所述驾驶员的分心类型为次分神，则依据所述头部采集信息的采集时间，计算次分神时长；
若所述次分神时长大于第四阈值，则确定出所述分心检测的结果满足预设的第一报警条件；所述第四阈值大于所述第三阈值；
在车辆的档位为预设第二档位额情况下，若所述驾驶员的分心类型不为次分神，则确定出驾驶状态异常，并进行报警处理。
在本申请的一个实施例中，基于前述方案，在驾驶状态检测包括疲劳检测的情况下，检测单元1303在根据所述状态信息，对驾驶员进行驾驶状态检测时，具体用于：
判断所述状态信息中包括的驾驶员的眼睛睁闭状态信息是否表征驾驶员处于闭眼状态；
若所述眼睛睁闭状态信息表征驾驶员处于闭眼状态，则计算预设时间段内，所述驾驶员的闭眼频率和闭眼时长；其中，所述预设时间段的结束时间点依据所述头部采集信息的采集时间确定；
若所述闭眼频率大于第一阈值，且所述闭眼时长大于第二阈值，则确定出所述驾驶员的疲劳类型为重度疲劳；
若所述眼睛睁闭状态信息表征驾驶员处于睁眼状态、所述闭眼频率不大于第一阈值、或所述闭眼时长不大于第二阈值，则当所述状态信息中包括的驾驶员的嘴部张合状态信息表征所述驾驶员处于嘴部张开状态时，依据所述头部采集信息的采集时间，计算嘴部张开持续时长；
若所述嘴部张开持续时长大于第三阈值，则确定出所述驾驶员的疲劳类型为轻度疲劳。
在本申请的一个实施例中，基于前述方案，在驾驶状态检测包括疲劳检测的情况下，检测单元1303执行在驾驶状态异常情况下进行报警处理，具体用于：
若所述驾驶员的疲劳类型为重度疲劳或轻度疲劳，则出驾驶状态异常，并进行报警处理。
在本申请的一个实施例中，基于前述方案，还可以配置为：
采集样本集；所述样本集中包括多个携带标注信息的样本数据；所述标注信息至少包括眼睛睁闭状态信息、嘴部张合状态信息、头部姿态信息和视线方向信息；
构建单元，用于构建多任务神经网络；所述多任务神经网络至少包括眼睛睁闭状态预测任务神经网络、嘴部张合状态预测任务神经网络、头部姿态预测任务神经网络和视线方向预测任务神经网络；
训练单元，用于依据各个样本数据，对所述多任务神经网络进行训练，得到状态预测模型。
在本申请的一个实施例中，基于前述方案，所述标注信息还包括：脸部关键点信息；所述多任务神经网络还包括：关键点预测任务神经网络。
本申请实施例还提供了一种存储介质，所述存储介质存储有指令集，其中，在所述指令集运行时执行如上文任一实施例公开的驾驶状态感知方法。
本申请实施例还提供了一种电子设备，其结构示意图如图14所示，具体包括存储器1401，用于存储至少一组指令集；处理器1402，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上文任一实施例公开的驾驶状态感知方法。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本申请公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种驾驶状态感知方法，其特征在于，包括：
获取对驾驶员的头部进行信息采集所得的头部采集信息；
根据所述头部采集信息，利用预先构建的状态预测模型预测所述驾驶员的状态信息；
根据所述状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理；其中，所述驾驶状态检测包括分心检测和/或疲劳检测；
在所述驾驶状态检测包括分心检测的情况下，依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。
2.根据权利要求1所述的方法，其特征在于，所述获取对驾驶员的头部进行信息采集所得的头部采集信息，包括：
获取安装于车辆内部的摄像装置对驾驶员的头部进行信息采集所得的头部采集信息。
3.根据权利要求2所述的方法，其特征在于，所述依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测，包括：
获取所述摄像装置的参数信息；
依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息；
依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测。
4.根据权利要求3所述的方法，其特征在于，所述依据所述摄像装置的参数信息和所述状态信息中包括的驾驶员的视线方向信息，确定所述驾驶员的视线区域信息，包括：
获取所述车辆在真实环境中的立体图像信息；
依据所述摄像装置的参数信息，确定所述视线方向信息和所述立体图像信息的交汇点信息；
依据所述交汇点信息，确定所述驾驶员的视线区域信息。
5.根据权利要求3或4所述的方法，其特征在于，所述头部姿态信息包括偏航角和俯仰角，所述依据所述视线区域信息和所述状态信息中包括的驾驶员的头部姿态信息，对所述驾驶员进行分心检测，包括：
判断所述偏航角是否大于预设第一角度，或所述俯仰角是否大于预设第二角度；
若所述偏航角大于预设第一角度，或所述俯仰角大于预设第二角度，则确定出所述驾驶员的分心类型为分神；
若所述偏航角不大于预设第一角度，且所述俯仰角不大于预设第二角度，则判断所述视线区域是否为预设第一区域；
若所述视线区域为预设第一区域，则确定出所述驾驶员的分心类型为分神；
若所述视线区域不为预设第一区域，则当所述视线区域为预设第二区域时，确定出所述驾驶员的分心类型为次分神；所述次分神的分心程度小于所述分神的分心程度。
6.根据权利要求5所述的方法，其特征在于，在所述驾驶状态检测包括分心检测的情况下，所述在驾驶状态异常的情况下进行报警处理，包括：
在车辆的档位为预设第一档位的情况下，若所述驾驶员的分心类型为分神，则依据所述头部采集信息的采集时间，计算分神时长；
若所述分神时长大于第三阈值，则确定出驾驶状态异常，并进行报警处理；
若所述驾驶员的分心类型为次分神，则依据所述头部采集信息的采集时间，计算次分神时长；
若所述次分神时长大于第四阈值，则确定出所述分心检测的结果满足预设的第一报警条件；所述第四阈值大于所述第三阈值；
在车辆的档位为预设第二档位的情况下，若所述驾驶员的分心类型不为次分神，则确定出驾驶状态异常，并进行报警处理。
7.根据权利要求1所述的方法，其特征在于，在所述驾驶状态检测包括疲劳检测的情况下，所述根据所述状态信息，对驾驶员进行驾驶状态检测，包括：
判断所述状态信息中包括的驾驶员的眼睛睁闭状态信息是否表征驾驶员处于闭眼状态；
若所述眼睛睁闭状态信息表征驾驶员处于闭眼状态，则计算预设时间段内，所述驾驶员的闭眼频率和闭眼时长；其中，所述预设时间段的结束时间点依据所述头部采集信息的采集时间确定；
若所述闭眼频率大于第一阈值，且所述闭眼时长大于第二阈值，则确定出所述驾驶员的疲劳类型为重度疲劳；
若所述眼睛睁闭状态信息表征驾驶员处于睁眼状态、所述闭眼频率不大于第一阈值、或所述闭眼时长不大于第二阈值，则当所述状态信息中包括的驾驶员的嘴部张合状态信息表征所述驾驶员处于嘴部张开状态时，依据所述头部采集信息的采集时间，计算嘴部张开持续时长；
若所述嘴部张开持续时长大于第三阈值，则确定出所述驾驶员的疲劳类型为轻度疲劳。
8.根据权利要求7所述的方法，其特征在于，在所述驾驶状态检测包括疲劳检测的情况下，所述在驾驶状态异常情况下进行报警处理，包括：
若所述驾驶员的疲劳类型为重度疲劳或轻度疲劳，则确定出驾驶状态异常，并进行报警处理。
9.根据权利要求1所述的方法，其特征在于，所述状态预测模型的构建过程，包括：
采集样本集；所述样本集中包括多个携带标注信息的样本数据；所述标注信息至少包括眼睛睁闭状态信息、嘴部张合状态信息、头部姿态信息和视线方向信息；
构建多任务神经网络；所述多任务神经网络至少包括眼睛睁闭状态预测任务神经网络、嘴部张合状态预测任务神经网络、头部姿态预测任务神经网络和视线方向预测任务神经网络；
依据各个样本数据，对所述多任务神经网络进行训练，得到状态预测模型。
10.根据权利要求9所述的方法，其特征在于，所述标注信息还包括：脸部关键点信息；所述多任务神经网络还包括：关键点预测任务神经网络。
11.一种驾驶状态感知装置，其特征在于，包括：
获取单元，用于获取对驾驶员的头部进行信息采集所得的头部采集信息；
输入单元，用于根据所述头部采集信息，利用预先构建的状态预测模型预测所述驾驶员的状态信息；
检测单元，用于根据所述状态信息，对驾驶员进行驾驶状态检测，以在驾驶状态异常的情况下进行报警处理；其中，所述驾驶状态检测包括分心检测和/或疲劳检测；在所述驾驶状态检测包括分心检测的情况下，依据所述状态信息中包括的驾驶员的头部姿态信息和视线方向信息，对驾驶员进行分心检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110892262.3A CN113569785A (zh) | 2021-08-04 | 2021-08-04 | 驾驶状态感知方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110892262.3A CN113569785A (zh) | 2021-08-04 | 2021-08-04 | 驾驶状态感知方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569785A true CN113569785A (zh) | 2021-10-29 |
Family
ID=78170382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110892262.3A Pending CN113569785A (zh) | 2021-08-04 | 2021-08-04 | 驾驶状态感知方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569785A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399753A (zh) * | 2022-03-25 | 2022-04-26 | 北京魔门塔科技有限公司 | 分心判断方法、装置、存储介质、电子设备及车辆 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN110390285A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 驾驶员分神检测方法、系统及车辆 |
| CN111062292A (zh) * | 2019-12-10 | 2020-04-24 | 哈尔滨工程大学 | 一种疲劳驾驶检测装置与方法 |
| CN111079475A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
| CN111723828A (zh) * | 2019-03-18 | 2020-09-29 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| CN112389443A (zh) * | 2019-08-19 | 2021-02-23 | 辉达公司 | 使用一个或更多个神经网络进行视线检测 |
| CN112758098A (zh) * | 2019-11-01 | 2021-05-07 | 广州汽车集团股份有限公司 | 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置 |
| CN112989907A (zh) * | 2019-12-16 | 2021-06-18 | 辉达公司 | 使用空间模型的基于神经网络的注视方向确定 |
| CN113060144A (zh) * | 2021-03-12 | 2021-07-02 | 上海商汤临港智能科技有限公司 | 分心提醒方法及装置、电子设备和存储介质 |
-
2021
- 2021-08-04 CN CN202110892262.3A patent/CN113569785A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN111079475A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
| CN111723828A (zh) * | 2019-03-18 | 2020-09-29 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
| CN110390285A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 驾驶员分神检测方法、系统及车辆 |
| CN112389443A (zh) * | 2019-08-19 | 2021-02-23 | 辉达公司 | 使用一个或更多个神经网络进行视线检测 |
| CN112758098A (zh) * | 2019-11-01 | 2021-05-07 | 广州汽车集团股份有限公司 | 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置 |
| CN111062292A (zh) * | 2019-12-10 | 2020-04-24 | 哈尔滨工程大学 | 一种疲劳驾驶检测装置与方法 |
| CN112989907A (zh) * | 2019-12-16 | 2021-06-18 | 辉达公司 | 使用空间模型的基于神经网络的注视方向确定 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| CN113060144A (zh) * | 2021-03-12 | 2021-07-02 | 上海商汤临港智能科技有限公司 | 分心提醒方法及装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399753A (zh) * | 2022-03-25 | 2022-04-26 | 北京魔门塔科技有限公司 | 分心判断方法、装置、存储介质、电子设备及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sajid et al. | An efficient deep learning framework for distracted driver detection | |
| CN113377888B (zh) | 训练目标检测模型和检测目标的方法 | |
| Habib et al. | Staircase Detection to Guide Visually Impaired People: A Hybrid Approach. | |
| Pech et al. | Head tracking based glance area estimation for driver behaviour modelling during lane change execution | |
| Martin et al. | Gaze fixations and dynamics for behavior modeling and prediction of on-road driving maneuvers | |
| CN111966217A (zh) | 基于手势和眼动的无人机控制方法和系统 | |
| CN115203352B (zh) | 车道级定位方法、装置、计算机设备和存储介质 | |
| Ramah et al. | One step further towards real-time driving maneuver recognition using phone sensors | |
| CN113569785A (zh) | 驾驶状态感知方法及装置 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN114972182A (zh) | 一种物体检测方法及其装置 | |
| Zhao et al. | Improving autonomous vehicle visual perception by fusing human gaze and machine vision | |
| CN116434173A (zh) | 道路图像检测方法、装置、电子设备及存储介质 | |
| Bekka et al. | Distraction detection to predict vehicle crashes: a deep learning approach | |
| Gao et al. | A personalized model for driver lane-changing behavior prediction using deep neural network | |
| US20240046612A1 (en) | Fusion-based sensing intelligence and reporting | |
| Choudhary et al. | Detecting drivers' drowsiness using Haar cascade classifier | |
| WO2023108364A1 (zh) | 驾驶员状态检测方法、装置及存储介质 | |
| Joshi et al. | Real-time object detection and identification for visually challenged people using mobile platform | |
| CN117058730A (zh) | 用于机器学习模型的数据集生成和增强 | |
| CN114792437A (zh) | 一种基于面部特征的安全驾驶行为分析的方法及系统 | |
| CN114119757A (zh) | 图像处理方法、装置、设备、介质和计算机程序产品 | |
| Nuralif et al. | Driver fatigue detection based on face mesh features using deep learning | |
| Li et al. | Lane changing maneuver prediction by using driver’s spatio-temporal gaze attention inputs for naturalistic driving | |
| Azarmi et al. | PIP-Net: Pedestrian Intention Prediction in the Wild |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |