CN114998870A - 一种驾驶行为状态识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及车辆安全技术领域，尤其涉及一种驾驶行为状态识别方法、装置、设备及存储介质。该方法包括：获取目标对象的驾驶行为图像；对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像；根据人脸特征图像确定目标对象的头部姿态数据和视线范围数据；根据手部特征图像确定目标对象的手部行为数据；根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态。该驾驶行为状态识别方法，基于头部姿态数据、视线范围数据和手部行为数据，来综合设计针对不同场景下驾驶员分心的逻辑判定规则，提高对驾驶员分心的识别准确性。

Description

一种驾驶行为状态识别方法、装置、设备及存储介质

技术领域

本申请涉及车辆安全技术领域，尤其涉及一种驾驶行为状态识别方法、装置、设备及存储介质。

背景技术

随着社会的不断进步，汽车已成为当今世界的主要交通工具。然而随着汽车数量的上升，交通事故也日益猛增，其中分心驾驶是导致交通事故的一个重要的原因。减少分心驾驶的一个非常有效的方式就是在驾驶员注意力不能集中驾驶的时候，通过警报设备提醒驾驶员处于分心状态，使得驾驶员的安全意识得到提升。因此驾驶员分心判定技术的研究对于预防交通事故有着重要意义。

目前判断驾驶员分心的技术主要包括基于车辆状态信息判断分心。基于车辆状态信息判断分心的系统大多是根据车道偏离信息来判断的。这是一种间接推测驾驶员状态方式，这种方式难以准确评估出驾驶员的状态，容易导致误报。另外在一些路况不好或车道线不可见的道路场景无法工作，以及在夜间等恶劣天气下出现可靠性差等问题。此外还会受到不同驾驶员的驾驶习惯影响，而且无预测性。

发明内容

本申请提供一种驾驶行为状态识别方法、装置、设备及存储介质，基于头部姿态数据、视线范围数据和手部行为数据，识别驾驶员的驾驶行为状态，从而提高对驾驶员分心状态的识别准确度，确保车辆行驶的安全性。

第一方面，本申请实施例公开了一种驾驶行为状态识别方法，该方法包括：

获取目标对象的驾驶行为图像；

对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像；

根据人脸特征图像确定目标对象的头部姿态数据和视线范围数据；

根据手部特征图像确定目标对象的手部行为数据；

根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，驾驶行为状态用于表征目标对象的注意力是否满足预设条件。

进一步的，对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像，包括：

根据驾驶行为图像提取目标对象的头部轮廓图像；

在头部轮廓图像的完整度大于完整度阈值的情况下，确定目标对象的人脸图像在驾驶行为图像中的占比；

在占比大于阈值的情况下，确定驾驶行为图像为行为识别图像；

对行为识别图像进行特征提取，得到人脸特征图像和手部特征图像。

进一步的，对行为识别图像进行特征提取，得到人脸特征图像和手部特征图像，包括：

对行为识别图像进行人脸特征提取，得到人脸特征图像；

对行为识别图像进行手部特征提取，得到手部特征图像。

进一步的，根据人脸特征图像确定目标对象的头部姿态数据，包括：

在人脸特征图像中选取头部轮廓参考点；

根据头部轮廓参考点确定目标对象的头部姿态数据。

进一步的，根据人脸特征图像确定目标对象的视线范围数据，包括：

根据人脸特征图像确定眼部位置信息；

根据眼部位置信息进行视线向量映射，得到目标对象的视线范围数据。

进一步的，根据手部特征图像确定目标对象的手部行为数据，包括：

根据手部特征图像确定手部行为类别；

根据手部行为类别确定目标对象的手部行为数据。

进一步的，手部行为数据包括手部非驾驶行为数据，手部非驾驶行为数据为目标对象的手部脱离驾驶操纵装置的行为所对应的数据；根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，包括：

根据头部姿态数据、视线范围数据、手部非驾驶行为数据和/或手部驾驶行为数据中的至少一种，识别目标对象的驾驶行为状态。

进一步的，根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，包括：

根据头部姿态数据确定目标对象的头部姿态出现偏转所持续的第一时长；

根据视线范围数据确定目标对象的注视区域偏离驾驶注视区域所持续的第二时长；

根据手部行为数据确定目标对象的手部脱离驾驶操纵装置所持续的第三时长；

获取第一识别参数、第二识别参数和第三识别参数；第一识别参数用于表示头部姿态数据对目标对象的驾驶行为状态的影响权重；第二识别参数用于表示视线范围数据对目标对象的驾驶行为状态的影响权重；第三识别参数用于表示手部行为数据对目标对象的驾驶行为状态的影响权重；

根据第一时长、第二时长、第三时长、第一识别参数、第二识别参数和第三识别参数确定目标对象的驾驶行为状态。

第二方面，本申请实施例公开了一种驾驶行为状态识别装置，该装置包括：

获取模块，用于获取目标对象的驾驶行为图像；

特征提取模块，用于对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像；

人脸数据确定模块，用于根据人脸特征图像确定目标对象的头部姿态数据和视线范围数据；

手部行为数据确定模块，用于根据手部特征图像确定目标对象的手部行为数据；手部行为数据用于表征目标对象的手部行为为驾驶行为或非驾驶行为；

驾驶行为状态识别模块，用于根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，驾驶行为状态用于表征目标对象的注意力是否满足预设条件。

在一些可选的实施方式中，特征提取模块包括：

头部轮廓图像提取单元，用于根据驾驶行为图像提取目标对象的头部轮廓图像；

占比确定单元，用于在头部轮廓图像的完整度大于完整度阈值的情况下，确定目标对象的人脸图像在驾驶行为图像中的占比；

行为识别图像确定单元，用于在占比大于阈值的情况下，确定驾驶行为图像为行为识别图像；

特征提取单元，用于对行为识别图像进行特征提取，得到人脸特征图像和手部特征图像。

在一些可选的实施方式中，特征提取单元包括：

人脸特征图像获得子单元，用于对行为识别图像进行人脸特征提取，得到人脸特征图像；

手部特征图像获得子单元，用于对行为识别图像进行手部特征提取，得到手部特征图像。

在一些可选的实施方式中，人脸数据确定模块包括头部姿态数据确定单元，头部姿态数据确定单元包括：

头部轮廓参考点选取子单元，用于在人脸特征图像中选取头部轮廓参考点；

头部姿态数据确定子单元，用于根据头部轮廓参考点确定目标对象的头部姿态数据。

在一些可选的实施方式中，人脸数据确定模块还包括视线范围数据确定单元，视线范围数据确定单元包括：

眼部位置信息确定子单元，用于根据人脸特征图像确定眼部位置信息；

视线范围数据获得子单元，用于根据眼部位置信息进行视线向量映射，得到目标对象的视线范围数据。

在一些可选的实施方式中，手部行为数据确定模块包括：

手部行为类别确定单元，用于根据手部特征图像确定手部行为类别；

手部行为数据确定单元，用于根据手部行为类别确定目标对象的手部行为数据。

在一些可选的实施方式中，手部行为数据包括手部非驾驶行为数据，手部非驾驶行为数据为目标对象的手部脱离驾驶操纵装置的行为所对应的数据；驾驶行为状态识别模块包括：

驾驶行为状态识别单元，用于根据头部姿态数据、视线范围数据、手部非驾驶行为数据和/或手部驾驶行为数据中的至少一种，识别目标对象的驾驶行为状态。

在一些可选的实施方式中，驾驶行为状态识别模块包括：

第一时长确定单元，用于根据头部姿态数据确定目标对象的头部姿态出现偏转所持续的第一时长；

第二时长确定单元，用于根据视线范围数据确定目标对象的注视区域偏离驾驶注视区域所持续的第二时长；

第三时长确定单元，用于根据手部行为数据确定目标对象的手部脱离驾驶操纵装置所持续的第三时长；

识别参数获取单元，用于获取第一识别参数、第二识别参数和第三识别参数；第一识别参数用于表示头部姿态数据对目标对象的驾驶行为状态的影响权重；第二识别参数用于表示视线范围数据对目标对象的驾驶行为状态的影响权重；第三识别参数用于表示手部行为数据对目标对象的驾驶行为状态的影响权重；

驾驶行为状态识别单元，用于根据第一时长、第二时长、第三时长、第一识别参数、第二识别参数和第三识别参数确定目标对象的驾驶行为状态。

第三方面，本申请实施例公开了一种电子设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行如上所述的驾驶行为状态识别方法。

第四方面，本申请实施例公开了一种计算机可读存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的驾驶行为状态识别方法。

本申请实施例提供的技术方案具有如下技术效果：

该驾驶行为状态识别方法，基于头部姿态数据、视线范围数据和手部行为数据，来综合设计针对不同场景下驾驶员分心的逻辑判定规则，提高对驾驶员分心的识别准确性。该方法可广泛应用在驾驶员监控产品中，提升检出率，降低误报率，同时可以很好满足后续产品的迭代升级。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种驾驶行为状态识别方法应用环境的示意图；

图2是本申请实施例提供的一种驾驶行为状态识别方法的流程示意图；

图3是本申请实施例提供的一种车内注视区域划分示意图；

图4是本申请实施例提供的一种区域转换示意图；

图5是本申请实施例提供的一种驾驶行为状态识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本申请实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请实施例，并不用于限定本申请实施例。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在日常驾驶过程中，一切注意力不在驾驶上的行为都被称为分心行为。这些分心行为通常可归为三类：头部和视线均离开路面；头部方向在路面但是视线离开路面；头部和视线均在路面但是发生异常动作行为。例如，低头找东西，看窗外的风景，跟副驾扭头聊天，接打电话，玩手机，喝饮料，吃东西，调整车机显示屏，摆弄头发或化妆品等。如果仅仅基于单一的驾驶行为状态识别规则，可能存在识别不准确，从而漏报驾驶员分心，导致交通事故的频频发生。本申请提出一种能够适应多场景的驾驶行为状态识别方法，以解决目前分心判定规则在许多场景准确性和稳定性差的问题。

请参阅图1，图1是本申请实施例提供的一种驾驶行为状态识别方法应用环境的示意图，如图1所示，该应用环境可以包括图像采集装置101和驾驶行为状态识别装置103。

本申请实施例中，图像采集装置101用于采集驾驶员的驾驶行为图像。可选的，该图像采集装置101为红外摄像头。红外摄像头中可以内置发光二极管(Light-EmittingDiode，LED)红外补光灯。用红外摄像头采集驾驶员的驾驶行为图像，采集到的图像不受外界光线的影响，有利于后续算法检测和识别。该图像采集装置101中设置有图像采集传感器，可选的，该图像采集传感器包括但不仅限于电荷耦合器件图像传感器(Charge CoupledDevice，CCD)和互补性金属氧化物半导体图像传感器(Complementary Metal OxideSemiconductor，CMOS)。

本申请实施例中，图像采集装置101与驾驶行为状态识别装置103通过有线链路或无线链路通信连接。驾驶行为状态识别装置103用于获取图像采集装置101所采集的驾驶员的驾驶行为图像，并通过对驾驶行为图像进行处理，识别驾驶员的当前驾驶行为状态。在确定驾驶员的驾驶行为状态为分心状态时，驾驶行为状态识别装置103还可以向驾驶员发送警示消息。在一些实施例中，在确定驾驶员的驾驶行为状态为分心状态时，驾驶行为状态识别装置103还可以向远程监控装置发送提示信息。远程监控装置可以是监控车辆运行终端设备或运维服务器。当在确定驾驶员的驾驶行为状态为分心状态时，通过向远程监控装置发送提示信息，以使远程监控装置获知驾驶员的驾驶状态，从而可以远程对驾驶员发出提醒，提高车辆运行安全性。

需要说明的是，图1所示的仅仅是本申请实施例提供的一种驾驶行为状态识别方法的应用环境，在实际应用中，还可以包括其他应用环境，例如，在实际应用中，驾驶行为状态识别装置仅仅是用于训练识别驾驶员的驾驶行为状态的模型，该应用场景下可以不包括图像采集装置，此时驾驶行为状态识别装置所获取的驾驶行为图像为预设准备的训练数据集。

以下介绍本申请一种方法的具体实施例，图2是本申请实施例提供的一种驾驶行为状态识别方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该驾驶行为状态识别方法可以包括：

S201：获取目标对象的驾驶行为图像。

本申请实施例中，驾驶行为状态识别装置获取驾驶员的驾驶行为图像，通过对驾驶行为图像进行处理，识别驾驶员的驾驶行为状态。可选的，驾驶行为图像为视频图像，相较于静态图像，视频图像具有连续性，从而能够确定驾驶员行为动作所持续的时间，避免对驾驶员分心状态的过敏感识别导致的误报，提高识别准确率。当然，在一些实施例中，也可以采用静态的驾驶行为图像进行驾驶行为识别。

S203：对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像。

本申请实施例中，驾驶行为状态识别装置获取到驾驶员的驾驶行为图像后，还需要对所获取到的驾驶行为图像进行图像质量筛选，以确保对驾驶员驾驶行为的识别准确度。

作为一种可选的实施方式，判断驾驶行为图像质量是否达标，通常要求驾驶员的整个头部在摄像头视野内，并且人脸在驾驶行为图像中的占比大于阈值。具体的，对所获取到的驾驶行为图像进行图像质量筛选可以包括以下步骤：根据驾驶行为图像提取目标对象的头部轮廓图像，然后确定头部轮廓图像的完整度，然后判断头部轮廓图像的完整度是否大于完整度阈值。完整度用于表示图像采集装置所采集的驾驶行为图像中驾驶员的头部图像完整程度。完整度阈值可以为50％-100％。如果头部轮廓图像的完整度小于等于完整度阈值，则表明该驾驶行为图像中的头部轮廓图像不完整，无法根据该驾驶行为图像来确定驾驶员的头部姿态数据，该驾驶行为图像不满足图像识别要求，此时，可以将该帧图像丢弃，获取视频图像中的下一帧图像继续进行质量筛选。在头部轮廓图像的完整度大于完整度阈值的情况下，根据驾驶行为图像提取目标对象的人脸图像，然后确定目标对象的人脸图像在驾驶行为图像中的占比。在占比小于等于阈值的情况下，则表明人脸图像在驾驶行为图像中的像素占比过小，无法根据该驾驶行为图像来准确获取人脸特征，该驾驶行为图像不满足图像识别要求，此时，可以将该帧图像丢弃，获取视频图像中的下一帧图像继续进行质量筛选。在占比大于阈值的情况下，确定驾驶行为图像为行为识别图像。作为一种示例，人脸在图像中的占比最小为100*100像素。

本申请实施例中，当驾驶行为状态识别装置确定所获取到驾驶员的驾驶行为图像满足图像识别质量要求后，可以将满足质量要求的驾驶行为图像确定为行为识别图像，并对行为识别图像进行图像识别，以提取驾驶员的行为动作。即对行为识别图像进行特征提取，得到人脸特征图像和手部特征图像。具体的，对行为识别图像进行人脸特征提取，得到人脸特征图像。对行为识别图像进行手部特征提取，得到手部特征图像。

作为一种可选的实施方式，对行为识别图像进行人脸特征提取，得到人脸特征图像具体可以为：对每一帧行为识别图像运行人脸检测器。人脸检测器是通过深度校准网络(Deep Alignment Network，DAN)来提取人脸关键特征点。DAN算法的训练过程为：第一阶段的输入是原图、均值模型、目标模型。经过对齐层计算，求出来预测补偿值。然后预测补偿值加上均值模型，得到该阶段的预测模型。然后再求出来预测模型到均值模型的仿射系数，预测模型乘以仿射系数后得到第二阶段的输入模型，然后通过输入模型得到热力图。第二阶段的输入是采用旋转的图片、热力图和反卷积的特征图。得到网络的输出后加上一阶段的输出，得到第二阶段的输出。然后再乘以反仿射系数得到图像上的特征点。DAN算法的输出为人脸的特征点坐标。也就是说，将行为识别图像输入到人脸检测器中，人脸检测器通过对行为识别图像进行识别处理，得到人脸特征图像。

作为另一种可选的实施方式，对行为识别图像进行手部特征提取，得到手部特征图像具体可以为：对每一帧行为识别图像运行手部检测器。手部检测器是通过深度神经网络，如AlexNet网络，对行为识别图像中的手和非手进行分类识别。也就是说，将行为识别图像输入到手部检测器中，手部检测器通过对行为识别图像进行识别处理，得到手部特征图像。

S205：根据人脸特征图像确定目标对象的头部姿态数据和视线范围数据。

本申请实施例中，驾驶行为状态识别装置获取到人脸特征图像后，可以根据人脸特征图像确定驾驶员的头部姿态数据和视线范围数据。

本申请实施例中，根据人脸特征图像可以确定驾驶员的头部姿态数据可以包括：在人脸特征图像中选取头部轮廓参考点，然后根据头部轮廓参考点确定目标对象的头部姿态数据。具体的，在三维空间中表示物体的旋转可由三个欧拉角(Euler Angle)来表示，即俯仰角(pitch)，偏航角(yaw)和滚转角(roll)。驾驶员的头部姿态数据可以用头部姿态的欧拉角来表示。头部姿态yaw值表示绕y轴旋转头部的角度，即头部偏转角，头部姿态pitch值表示绕x轴旋转头部的角度，即头部俯仰角，头部姿态roll值表示头部绕z轴旋转的角度，即头部翻滚角。头部姿态的欧拉角可以通过头部的特征点来计算，而头部的特征点可以在人脸特征图像中选取。要确定头部姿态首先需要将二维人脸特征点转移到三维人脸模型中，然后确定从三维模型到二维图像中人脸的仿射变换矩阵，该仿射变换矩阵包含旋转和平移的信息。具体计算过程为：在人脸特征图像中选取若干个能够表示头部轮廓的特征点，通过算法计算得到旋转向量(roatation vector)和平移向量(translation vector)。可选的，该算法可以是跨平台计算机视觉和机器学习软件库(opencv)中的N点透视位姿求解(solvePnp)算法。然后在通过将3*1的旋转向量转换成3*3的旋转矩阵，即可得到三个欧拉角的值。在一些实施例中，也可以根据头部姿态的欧拉角确定驾驶员的头部偏转状况来作为头部姿态数据。

本申请实施例中，根据人脸特征图像确定目标对象的视线范围数据可以包括：根据人脸特征图像确定眼部位置信息，然后根据眼部位置信息进行视线向量映射，得到目标对象的视线范围数据。具体的，在人脸特征图像基础上，通过对眼部图像的灰度分析可以得到瞳孔的精确定位。根据人脸特征图像得到瞳孔的精确定位主要包括以下步骤：首先基于直方图均衡对人脸特征图像进行图像对比度增强处理，然后基于滑动窗口，对图像对比度增强处理后的人脸特征图像进行灰度信息分析的瞳孔粗定位，最后利用相似灰度分布，对瞳孔粗定位后的瞳孔位置进行精细化调整，从而得到瞳孔位置的精确定位。

本申请实施例中，在得到瞳孔位置的精确定位后，可以进行视线向量的映射，进而确定驾驶员的注视区域，即驾驶员的视线范围数据。具体的，头部方向和视线方向往往与注视区域存在某种映射关系，因此需要找到这种映射关系才能识别驾驶员的注视区域。

本申请实施例中，注视区域可以由人为预先划分，图3是本申请实施例提供的一种车内注视区域划分示意图，如图3所示，注视区域1为前风挡玻璃左上角。注视区域2为前风挡玻璃右上角。注视区域3为前风挡玻璃左下角。注视区域4为前风挡玻璃右下角。注视区域5为前风挡玻璃中间正上方。注视区域6为主驾驶正前方中间位置。注视区域7为主驾驶正前方下方位置。注视区域8为副驾驶正前方中间位置。注视区域9为前风挡玻璃正中间位置。注视区域10为前风挡玻璃中间位置正下方。注视区域11为左后视镜。注视区域12为右后视镜。注视区域13为左车窗玻璃中间位置。注视区域14为右车窗玻璃中间位置。注视区域15为仪表盘。注视区域16为车辆车机显示屏。注视区域17为副驾驶储物柜。注视区域18为左侧车门门把手位置。注视区域19为右侧车门门把手位置。注视区域20为主驾驶位置下方。注视区域21为副驾驶位置下方。

作为一种可选的实施方式，对于图像坐标系下头部姿态和视线值的像素分布，可通过图像分割算法分割出像素点差异较大的封闭曲线，该封闭曲线即为头部方向和视线方向与注视区域的映射关系。然后在将头部姿态和视线数据映射为图像坐标系中的坐标点，进而确定驾驶员的注视区域。具体的，首先建立头部姿态分布图像坐标系，然后在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，注视区域封闭曲线为头部姿态与注视区域映射关系，然后将头部姿态数据映射为头部姿态分布图像坐标系中的坐标点，最后根据注视区域封闭曲线以及坐标点确定驾驶员的注视区域。

作为另一种可选的实施方式，根据瞳孔位置可建立瞳孔的坐标系，根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系。具体的，图4是本申请实施例提供的一种区域转换示意图，如图4所示，首先对三维下车内区域进行划分，按如图3所示对车内区域进行划分，并提取模型坐标。然后在二维尺度下，在车辆前方建立虚拟平面。然后进行虚拟区域映射，将三维坐标系下的区域投影到二维平面。然后进行视线交点计算，计算视线与二维平面的交点。最后通过反映射三维区域进行视线区域确定，根据交点在二维平面中的所属情况确定在三维坐标系下的区域。如图4所示，二维平面上的区域b即为三维区域a的等效区域，若视线与二维平面的交点在区域b内，则此时的视线区域在三维坐标系下即为区域a。通过上述过程，可以确定驾驶员的注视区域。

S207：根据手部特征图像确定目标对象的手部行为数据。

本申请实施例中，根据手部特征图像确定目标对象的手部行为数据可以包括：首先根据手部特征图像确定手部行为类别，然后根据手部行为类别确定目标对象的手部行为数据。具体的，手部行为数据可以包括手部非驾驶行为数据和手部驾驶行为数据。手部非驾驶行为数据为目标对象的手部脱离驾驶操纵装置的行为所对应的数据，手部驾驶行为数据为目标对象的手部未脱离驾驶操纵装置的行为所对应的数据。驾驶操纵装置包括方向盘、换挡器、转向灯开关、雨刮器开关等。手部驾驶行为为驾驶员的至少一手操纵方向盘，另一手操纵除了方向盘之外的其他驾驶操纵装置的行为。手部非驾驶行为包括驾驶员的双手离开方向盘的行为，以及单手离开方向盘且未操纵操纵除了方向盘之外的其他驾驶操纵装置的行为，这些行为可以包括接打电话，喝饮料，吃东西，调整车机显示屏，摆弄头发或化妆品等。手部检测器在提取到驾驶员的手部特征图像后，在对手部特征图像进行分类识别，从而确定驾驶员的手部是否发生非驾驶行为。

S209：根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，驾驶行为状态用于表征目标对象的注意力是否满足预设条件。

本申请实施例中，驾驶行为状态包括分心状态和非分心状态。驾驶行为状态识别装置获取到头部姿态数据、视线范围数据和手部行为数据后，可以根据头部姿态数据、视线范围数据和手部行为数据来识别目标对象的驾驶行为状态。头部姿态数据用来确定驾驶员的头部姿态，即确定驾驶员的头部是否发生大幅度偏转，如果驾驶员的头部发生大幅度偏转，则表明驾驶员的驾驶行为状态可能是分心驾驶行为状态。视线范围数据用于确定驾驶员的所注视区域是否偏离正常驾驶时所注视的区域，如果驾驶员的视线偏离正常驾驶时所注视的区域，则表明驾驶员的驾驶行为状态可能是分心驾驶行为状态。手部行为数据可以是手部非驾驶行为数据，也可以是手部驾驶行为数据，手部非驾驶行为数据可以确定驾驶员的手部行为为非驾驶行为，手部驾驶行为数据可以确定驾驶员的手部行为为驾驶行为。如果驾驶员的手部行为出现非驾驶行为，则表明驾驶员的驾驶行为状态可能是分心驾驶行为状态。

作为一种可选的实施方式，根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态可以包括：根据头部姿态数据确定目标对象的头部姿态出现偏转所持续的第一时长。根据视线范围数据确定目标对象的注视区域偏离驾驶注视区域所持续的第二时长。根据手部行为数据确定目标对象的手部脱离驾驶操纵装置所持续的第三时长。获取第一识别参数、第二识别参数和第三识别参数。第一识别参数用于表示头部姿态数据对目标对象的驾驶行为状态的影响权重。第二识别参数用于表示视线范围数据对目标对象的驾驶行为状态的影响权重。第三识别参数用于表示手部行为数据对目标对象的驾驶行为状态的影响权重。根据第一时长、第二时长、第三时长、第一识别参数、第二识别参数和第三识别参数确定目标对象的驾驶行为状态。在驾驶员正常驾驶车辆过程中，可能会短暂出现头部偏转或者视线偏离或者手部出现非驾驶行为的情况，而图像采集装置恰好采集到这些瞬间的驾驶行为图像，如果仅根据这些短暂瞬间的驾驶行为图像来确定驾驶员的驾驶行为状态，可能会造成误报的情况。为了避免出现误报的情况，驾驶行为状态识别装置可以在识别驾驶员动作行为的同时，再加上时间窗口的判断。即根据动作的持续时间来确定驾驶员的某个动作行为是否为异常行为。由此可以提高对驾驶员的驾驶行为状态识别的准确度。除此之外，不同驾驶员的驾驶行为偏好不同，例如，部分驾驶员在驾驶车辆时习惯头部向左侧或右偏转，但其视线范围数据和手部行为数据均为正常驾驶的行为数据，此时如果仅根据驾驶员的头部姿态数据判断驾驶员的驾驶行为状态，则可能出现误报的情况。为了避免出现误报的情况，驾驶行为状态识别装置可以对不同的驾驶行为数据设置不同的识别参数，来确定不同驾驶行为数据对驾驶员的驾驶行为状态的影响权重。由此可以综合考虑不同的驾驶行为数据对驾驶员的驾驶行为状态的影响，从而可以提高对驾驶员的驾驶行为状态识别的准确度。

作为一种示例，在时间窗口为10s下，驾驶员的驾驶行为状态可以按照如下算法来确定：

分心＝H*T1*a1+E*T2*a2+F*T3*a3

其中，H标识头部姿态数据，E表示视线范围数据，F表示手部行为数据。T1表示头部姿态数据出现偏转所持续的时间阈值，T2表示视线范围数据出现偏离所持续的时间阈值，T3表示手部行为数据出现非驾驶行为所持续的时长时间阈值。a1表示第一识别参数，a2表示第二识别参数，a3表示第三识别参数。需要说明的是，识别参数a1、a2、a3可以根据不同的场景自适应调整以实现不同程度分心的判断。

在一些实施例中，也可以通过上述算法来计算驾驶员的分心程度值，如果所得到的分心程度值大于分心阈值，则确定目标对象的驾驶行为状态为分心驾驶行为状态。

本申请实施例提供了一种驾驶行为状态识别装置，图5是本申请实施例提供的一种驾驶行为状态识别装置的结构示意图，如图5所示，该装置包括：

获取模块501，用于获取目标对象的驾驶行为图像。

特征提取模块503，用于对驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像。

人脸数据确定模块505，用于根据人脸特征图像确定目标对象的头部姿态数据和视线范围数据。

手部行为数据确定模块507，用于根据手部特征图像确定目标对象的手部行为数据。手部行为数据用于表征目标对象的手部行为为驾驶行为或非驾驶行为。

驾驶行为状态识别模块509，用于根据头部姿态数据、视线范围数据和手部行为数据，识别目标对象的驾驶行为状态，驾驶行为状态用于表征目标对象的注意力是否满足预设条件。

在一些可选的实施方式中，特征提取模块包括：

头部轮廓图像提取单元，用于根据驾驶行为图像提取目标对象的头部轮廓图像。

占比确定单元，用于在头部轮廓图像的完整度大于完整度阈值的情况下，确定目标对象的人脸图像在驾驶行为图像中的占比。

行为识别图像确定单元，用于在占比大于阈值的情况下，确定驾驶行为图像为行为识别图像。

特征提取单元，用于对行为识别图像进行特征提取，得到人脸特征图像和手部特征图像。

在一些可选的实施方式中，特征提取单元包括：

人脸特征图像获得子单元，用于对行为识别图像进行人脸特征提取，得到人脸特征图像。

手部特征图像获得子单元，用于对行为识别图像进行手部特征提取，得到手部特征图像。

在一些可选的实施方式中，人脸数据确定模块包括头部姿态数据确定单元，头部姿态数据确定单元包括：

头部轮廓参考点选取子单元，用于在人脸特征图像中选取头部轮廓参考点。

头部姿态数据确定子单元，用于根据头部轮廓参考点确定目标对象的头部姿态数据。

在一些可选的实施方式中，人脸数据确定模块还包括视线范围数据确定单元，视线范围数据确定单元包括：

眼部位置信息确定子单元，用于根据人脸特征图像确定眼部位置信息。

视线范围数据获得子单元，用于根据眼部位置信息进行视线向量映射，得到目标对象的视线范围数据。

在一些可选的实施方式中，手部行为数据确定模块包括：

手部行为类别确定单元，用于根据手部特征图像确定手部行为类别。

手部行为数据确定单元，用于根据手部行为类别确定目标对象的手部行为数据。

在一些可选的实施方式中，手部行为数据包括手部非驾驶行为数据，手部非驾驶行为数据为目标对象的手部脱离驾驶操纵装置的行为所对应的数据。驾驶行为状态识别模块包括：

驾驶行为状态识别单元，用于根据头部姿态数据、视线范围数据、手部非驾驶行为数据和/或手部驾驶行为数据中的至少一种，识别目标对象的驾驶行为状态。

在一些可选的实施方式中，驾驶行为状态识别模块包括：

第一时长确定单元，用于根据头部姿态数据确定目标对象的头部姿态出现偏转所持续的第一时长；

第二时长确定单元，用于根据视线范围数据确定目标对象的注视区域偏离驾驶注视区域所持续的第二时长；

第三时长确定单元，用于根据手部行为数据确定目标对象的手部脱离驾驶操纵装置所持续的第三时长；

识别参数获取单元，用于获取第一识别参数、第二识别参数和第三识别参数；第一识别参数用于表示头部姿态数据对目标对象的驾驶行为状态的影响权重；第二识别参数用于表示视线范围数据对目标对象的驾驶行为状态的影响权重；第三识别参数用于表示手部行为数据对目标对象的驾驶行为状态的影响权重；

驾驶行为状态识别单元，用于根据第一时长、第二时长、第三时长、第一识别参数、第二识别参数和第三识别参数确定目标对象的驾驶行为状态。

本申请实施例中的装置与方法实施例基于同样地申请构思，关于装置的具体实施情况请参考方法的实施方式，在此不再赘述。

本申请实施例还提供了一种电子设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行如上所述的驾驶行为状态识别方法。

本申请实施例中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。作为一个示例，该设备为车载电脑，如电子控制单元(Electronic Control Unit，ECU)。

本申请实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的驾驶行为状态识别方法。

本申请实施例中，上述计算机存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选的，该计算机可读存储介质可以包括：只读存储器(ReadOnlyMemory，ROM)、随机存取记忆体(RandomAccessMemory，RAM)、固态硬盘(SolidStateDrives，SSD)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ResistanceRandomAccessMemory，ReRAM)和动态随机存取存储器(DynamicRandomAccessMemory，DRAM)。

本申请实施例所述的驾驶行为状态识别方法、装置、设备及存储介质，采用视频图像作为识别图像，并在驾驶行为图像质量达标的基础上，首先通过精度较高的人脸检测算法和手部动作检测算法对每一帧图像进行人脸特征点提取和手部动作识别，并在人脸特征提取后对眼部图像进行灰度分析得到瞳孔定位。然后通过瞳孔的位置进行视线向量的精确映射，进而确定驾驶员的注视区域，并选取人脸特征图像中能够表示头部轮廓的特征点来计算头部姿态的欧拉角。最后通过头部姿态、注视区域、手部行为这个指标来综合设计驾驶员不同程度分心的逻辑判定规则，不仅能适应多场景，还能保证分心驾驶判断的准确性和鲁棒性，并广泛应用在驾驶员监控产品中，提升检出率，降低误报率，以便后续产品的迭代升级。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种驾驶行为状态识别方法，其特征在于，所述方法包括：

获取目标对象的驾驶行为图像；

对所述驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像；

根据所述人脸特征图像确定所述目标对象的头部姿态数据和视线范围数据；

根据所述手部特征图像确定所述目标对象的手部行为数据；

根据所述头部姿态数据、所述视线范围数据和所述手部行为数据，识别所述目标对象的驾驶行为状态，所述驾驶行为状态用于表征所述目标对象的注意力是否满足预设条件。

2.根据权利要求1所述的方法，其特征在于，所述对所述驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像，包括：

根据所述驾驶行为图像提取所述目标对象的头部轮廓图像；

在所述头部轮廓图像的完整度大于完整度阈值的情况下，确定所述目标对象的人脸图像在所述驾驶行为图像中的占比；

在所述占比大于阈值的情况下，确定所述驾驶行为图像为行为识别图像；

对所述行为识别图像进行特征提取，得到所述人脸特征图像和所述手部特征图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述行为识别图像进行特征提取，得到人脸特征图像和手部特征图像，包括：

对所述行为识别图像进行人脸特征提取，得到所述人脸特征图像；

对所述行为识别图像进行手部特征提取，得到所述手部特征图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述人脸特征图像确定所述目标对象的头部姿态数据，包括：

在所述人脸特征图像中选取头部轮廓参考点；

根据所述头部轮廓参考点确定所述目标对象的所述头部姿态数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述人脸特征图像确定所述目标对象的视线范围数据，包括：

根据所述人脸特征图像确定眼部位置信息；

根据所述眼部位置信息进行视线向量映射，得到所述目标对象的所述视线范围数据。

6.根据权利要求1所述的方法，其特征在于，所述根据所述手部特征图像确定所述目标对象的手部行为数据，包括：

根据所述手部特征图像确定手部行为类别；

根据所述手部行为类别确定所述目标对象的所述手部行为数据。

7.根据权利要求1所述的方法，其特征在于，所述手部行为数据包括手部非驾驶行为数据，所述手部非驾驶行为数据为目标对象的手部脱离驾驶操纵装置的行为所对应的数据；所述根据所述头部姿态数据、所述视线范围数据和所述手部行为数据，识别所述目标对象的驾驶行为状态，包括：

根据所述头部姿态数据、所述视线范围数据、所述手部非驾驶行为数据中的至少一种，识别所述目标对象的驾驶行为状态。

8.根据权利要求7所述的方法，其特征在于，根据所述头部姿态数据、所述视线范围数据和所述手部行为数据，识别所述目标对象的驾驶行为状态，包括：

根据所述头部姿态数据确定所述目标对象的头部姿态出现偏转所持续的第一时长；

根据所述视线范围数据确定所述目标对象的注视区域偏离驾驶注视区域所持续的第二时长；

根据所述手部行为数据确定所述目标对象的手部脱离驾驶操纵装置所持续的第三时长；

获取第一识别参数、第二识别参数和第三识别参数；所述第一识别参数用于表示所述头部姿态数据对所述目标对象的驾驶行为状态的影响权重；所述第二识别参数用于表示所述视线范围数据对所述目标对象的驾驶行为状态的影响权重；所述第三识别参数用于表示所述手部行为数据对所述目标对象的驾驶行为状态的影响权重；

根据所述第一时长、所述第二时长、所述第三时长、所述第一识别参数、所述第二识别参数和所述第三识别参数确定所述目标对象的驾驶行为状态。

9.一种驾驶行为状态识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标对象的驾驶行为图像；

特征提取模块，用于对所述驾驶行为图像进行特征提取，得到人脸特征图像和手部特征图像；

人脸数据确定模块，用于根据所述人脸特征图像确定所述目标对象的头部姿态数据和视线范围数据；

手部行为数据确定模块，用于根据所述手部特征图像确定所述目标对象的手部行为数据；所述手部行为数据用于表征所述目标对象的手部行为为驾驶行为或非驾驶行为；

驾驶行为状态识别模块，用于根据所述头部姿态数据、所述视线范围数据和所述手部行为数据，识别所述目标对象的驾驶行为状态，所述驾驶行为状态用于表征所述目标对象的注意力是否满足预设条件。

10.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-8任一项所述的驾驶行为状态识别方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-8任一项所述的驾驶行为状态识别方法。

Images