CN115359466A - 异常驾驶行为识别方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种异常驾驶行为识别方法、装置、设备和存储介质，该方法包括：根据车内摄像装置获取驾驶员的多个驾驶图像；获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。本发明实施例的方法基于车内摄像装置进行驾驶员的驾驶图像的获取及异常驾驶行为的识别，可以在驾驶时间段内实时且持续地对驾驶员的异常驾驶行为进行识别，解决了相关技术中异常驾驶行为漏检率高的问题，可以有效地降低交通事故，提升安全性。

Description

异常驾驶行为识别方法、装置、设备和存储介质

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种异常驾驶行为识别方法、装置、设备和存储介质。

背景技术

随着车辆的不断增加，交通问题越来越多，为减少交通事故，需要准确获取驾驶员的行为信息，并对驾驶员的违规行为及时进行预警，降低交通事故的风险，提高安全性。

相关技术中，通过道路上的电子眼进行抓拍，但由于电子眼的安装位置及拍摄角度等问题，如多个电子眼之间安装距离间隔较大，导致无法及时检测和识别驾驶员的违规行为，漏检率极高。

发明内容

针对现有技术中的问题，本发明实施例提供一种异常驾驶行为识别方法、装置、设备和存储介质。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种异常驾驶行为识别方法，包括：

根据车内摄像装置获取驾驶员的多个驾驶图像；

获取各个所述驾驶图像中的目标特征；所述目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；所述第一特征包括手机特征和驾驶员手部特征；

根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

进一步地，所述目标特征包括眼部图像特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶图像中的眼部图像特征，确定所述驾驶员的眼睛活动状态；所述驾驶员的眼睛活动状态包括睁眼状态和闭眼状态；

根据所述驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别。

进一步地，所述根据所述驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别，包括：

在确定所述驾驶员的眼睛活动状态在第一时间段内均为闭眼状态的情况下，将所述驾驶员的驾驶行为识别为疲劳驾驶行为；和/或，

在确定所述驾驶员的眼睛活动状态在第一时间段内闭眼状态的次数大于第一阈值的情况下，将所述驾驶员的驾驶行为识别为疲劳驾驶行为。

进一步地，所述目标特征包括第一特征；所述第一特征包括手机特征和驾驶员手部特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶图像中的手机特征和驾驶员手部特征，确定手机位置和驾驶员手部位置；

根据所述手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别。

进一步地，所述根据所述手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别，包括：

根据所述手机位置和驾驶员手部位置，确定驾驶员手部和手机的交并比；

在驾驶员手部和手机的交并比大于第二阈值的情况下，将所述驾驶员的驾驶行为识别为驾驶员驾驶过程中操作手机的异常驾驶行为。

进一步地，所述目标特征包括驾驶员位姿特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶员位姿特征，确定驾驶员位姿对应的欧拉角；

根据所述驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别。

进一步地，所述根据所述驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别，包括：

在所述驾驶员位姿对应的欧拉角大于第三阈值的情况下，将所述驾驶员的驾驶行为识别为驾驶员注意力不集中的异常驾驶行为。

第二方面，本发明实施例还提供了一种异常驾驶行为识别装置，包括：

第一获取模块，用于根据车内摄像装置获取驾驶员的多个驾驶图像；

第二获取模块，用于获取各个所述驾驶图像中的目标特征；所述目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；所述第一特征包括手机特征和驾驶员手部特征；

识别模块，用于根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述异常驾驶行为识别方法。

第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述异常驾驶行为识别方法。

第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述异常驾驶行为识别方法。

本发明实施例提供的异常驾驶行为识别方法、装置、设备和存储介质，通过通过获取驾驶员的连续多张驾驶图像并提取驾驶图像中的目标特征，实现了基于丰富详细的驾驶员的驾驶特征，准确的对驾驶员的异常驾驶行为进行识别的效果。另一方面，本发明实施例中基于车内摄像装置进行驾驶员的驾驶图像的获取及异常驾驶行为的识别，可以在驾驶时间段内实时且持续地对驾驶员的异常驾驶行为进行识别，解决了相关技术中异常驾驶行为漏检率高的问题，实现了对驾驶员的异常驾驶行为的及时准确的识别，可以有效地降低交通事故，提升安全性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的异常驾驶行为识别方法的流程示意图；

图2是本发明实施例提供的疲劳驾驶行为的识别流程示意图；

图3是本发明实施例提供的驾驶过程中操作手机的异常驾驶行为的识别流程示意图；

图4是本发明实施例提供的驾驶员注意力不集中的异常驾驶行为的识别流程示意图；

图5是本发明实施例提供的异常驾驶行为识别方法的另一流程示意图；

图6是本发明实施例提供的异常驾驶行为识别装置的结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的方法可以应用于智能驾驶场景中，实现异常驾驶行为的识别。

相关技术中，通过道路上的电子眼进行抓拍，但由于电子眼的安装位置及拍摄角度等问题，如多个电子眼之间安装距离间隔较大，导致无法及时检测和识别驾驶员的违规行为，漏检率极高。

本发明实施例的异常驾驶行为识别方法，通过获取驾驶员的连续多张驾驶图像并提取驾驶图像中的目标特征，实现了基于丰富详细的驾驶员的驾驶特征，准确的对驾驶员的异常驾驶行为进行识别的效果。另一方面，本发明实施例中基于车内摄像装置进行驾驶员的驾驶图像的获取及异常驾驶行为的识别，可以在驾驶时间段内实时且持续地对驾驶员的异常驾驶行为进行识别，解决了相关技术中异常驾驶行为漏检率高的问题，实现了对驾驶员的异常驾驶行为的及时准确的识别，可以有效地降低交通事故，提升安全性。

下面结合图1-图7以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1是本发明实施例提供的异常驾驶行为识别方法一实施例的流程示意图。如图1所示，本实施例提供的方法，包括：

步骤101、根据车内摄像装置获取驾驶员的多个驾驶图像；

具体地，随着车辆的不断增加，交通问题越来越多，驾驶员在驾驶过程中经常出现各种违规行为，造成安全隐患。如果在驾驶过程中对驾驶员的违规行为进行警告以提醒驾驶员，就可以有效的减少交通事故。相关技术中，通过道路上的电子眼对驾驶员的违规驾驶行为进行抓拍，这种方式相对比较简单，但由于电子眼的安装位置及拍摄角度等问题，如多个电子眼之间安装距离间隔较大的情况下，无法及时检测和识别驾驶员的违规驾驶行为，使得驾驶员的违规驾驶行为的漏检率极高。

为了解决上述问题，减少交通事故，规范驾驶员的行为，一套自动检测驾驶员的违规行为的检测方法就尤为重要。本发明实施例通过车内摄像装置获取驾驶员的多个驾驶图像，从而根据车内摄像装置采集的驾驶员的驾驶图像，就可以实时且持续地对驾驶员的违规驾驶行为进行识别。

步骤102、获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；

具体地，在通过车内摄像装置获取驾驶员的多个驾驶图像后，本发明实施例中通过各个驾驶图像中的目标特征实现驾驶员的异常驾驶行为的识别。可选地，各个驾驶图像中的目标特征包括驾驶员的眼部图像特征、第一特征和驾驶员位姿特征；其中，第一特征包括手机特征和驾驶员手部特征，也就是通过驾驶员的驾驶图像，获取到驾驶员的眼部图像特征、驾驶员的手机特征、驾驶员手部特征和驾驶员位姿特征，进而基于上述丰富详细的驾驶员的驾驶特征，就可以准确的对驾驶员的违规驾驶行为进行识别。

步骤103、根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

具体地，在获取到驾驶图像中的目标特征后，也就获取到了丰富详细的驾驶员的驾驶特征，进而基于丰富详细的驾驶员的驾驶特征，如驾驶员的眼部图像特征、驾驶员的手机特征、驾驶员手部特征和驾驶员位姿特征，就可以准确地进行异常驾驶行为的识别。

上述实施例的方法，通过获取驾驶员的连续多张驾驶图像并提取驾驶图像中的目标特征，实现了基于丰富详细的驾驶员的驾驶特征，准确的对驾驶员的异常驾驶行为进行识别的效果。另一方面，本发明实施例中基于车内摄像装置进行驾驶员的驾驶图像的获取及异常驾驶行为的识别，可以在驾驶时间段内实时且持续地对驾驶员的异常驾驶行为进行识别，解决了相关技术中异常驾驶行为漏检率高的问题，实现了对驾驶员的异常驾驶行为的及时准确的识别，可以有效地降低交通事故，提升安全性。

在一实施例中，目标特征包括眼部图像特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据驾驶图像中的眼部图像特征，确定驾驶员的眼睛活动状态；驾驶员的眼睛活动状态包括睁眼状态和闭眼状态；

根据驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别。

具体地，驾驶员在驾驶过程如果出现疲劳驾驶的情况，若不及时对驾驶员进行提醒和警告，极易造成交通事故。本发明实施例中通过识别驾驶员的眼睛活动状态，实现对驾驶员的疲劳驾驶行为的有效识别，减少交通事故。

例如，在目标特征包括驾驶员驾驶过程中的眼部图像特征的情况下，就可以基于驾驶员的眼部图像特征，准确地确定驾驶员的眼睛活动状态，也就是准确地确定驾驶员在驾驶过程中是睁眼状态还是闭眼状态，从而根据驾驶员的眼睛活动状态，也就可以对驾驶员的驾驶行为进行识别和评估，确定驾驶员的驾驶行为是否存在安全风险。

上述实施例的方法，在目标特征包括驾驶员驾驶过程中的眼部图像特征的情况下，就可以基于驾驶员的眼部图像特征，准确地确定驾驶员在驾驶过程中是睁眼状态还是闭眼状态，从而也就可以对驾驶员的驾驶行为进行识别和评估，确定驾驶员的驾驶行为是否存在安全风险，提升安全性。

在一实施例中，在确定驾驶员的眼睛活动状态在第一时间段内均为闭眼状态的情况下，将驾驶员的驾驶行为识别为疲劳驾驶行为；和/或，

在确定驾驶员的眼睛活动状态在第一时间段内闭眼状态的次数大于第一阈值的情况下，将驾驶员的驾驶行为识别为疲劳驾驶行为。

具体地，在目标特征包括驾驶员驾驶过程中的眼部图像特征的情况下，就可以基于驾驶员的眼部图像特征，准确地确定驾驶员在驾驶过程中是睁眼状态还是闭眼状态。可选地，若驾驶员的眼睛活动状态在持续的时间段内均为闭眼状态，或在一段时间内闭眼的次数较大，或驾驶员闭眼的次数明显大于睁眼的次数，说明驾驶员已经无法正常安全地进行车辆驾驶，驾驶员可能会进入睡眠状态，则将驾驶员的驾驶行为识别为疲劳驾驶行为，并进一步进行安全预警，降低交通事故，提升安全性。

例如，如图2所示，通过如下流程对驾驶员的疲劳驾驶行为进行识别，具体如下：

首先，对车内摄像装置获取的驾驶员的多个驾驶图像进行人脸检测和关键点定位，根据眼睛关键点定位出眼睛区域，可选地，裁剪眼睛图像大小为32*32。

然后，根据裁剪得到的眼睛图像确定驾驶员的眼睛活动状态，可选地，进行眨眼检测，输出驾驶员闭眼和驾驶员眨眼两个类别的置信度，取最大置信度的类别，存储到识别结果中。

最后，获取一段时间段内驾驶员的眨眼次数和闭眼次数，可选地，设定定时器为预设长度，统计连续帧结果，若闭眼次数超过80％，则判定驾驶员为睡眠状态(严重疲劳驾驶)，并发出连续的警报和震动，直至检测到驾驶员眼睛状态恢复正常，停止警报；若驾驶员睁眼和闭眼比例接近1:1，则判定为轻度疲劳驾驶，发出警报，若连续帧判断正常，则重新计时。

上述实施例中，通过对驾驶员眼睛活动状态的识别和分析，实现了对驾驶员的异常驾驶行为进行准确识别的效果；也就是在驾驶员的眼睛活动状态在持续的时间段内均为闭眼状态的情况下，或在一段时间内驾驶员的闭眼次数明显大于睁眼次数的情况下，为了避免驾驶员进入睡眠状态造成的驾驶安全问题，通过将驾驶员的驾驶行为识别为疲劳驾驶行为，进而就可以及时进行安全预警，降低交通事故，提升安全性。

在一实施例中，目标特征包括第一特征；第一特征包括手机特征和驾驶员手部特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据驾驶图像中的手机特征和驾驶员手部特征，确定手机位置和驾驶员手部位置；

根据手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别。

具体地，驾驶员在驾驶过程中如果存在操作手机等违规驾驶的情况，若不及时对驾驶员进行提醒和警告，极易造成交通事故。本发明实施例中根据手机位置和驾驶员手部位置，实现对驾驶过程中操作手机的违规驾驶行为的有效识别，减少交通事故。

例如，在目标特征包括手机特征和驾驶员手部特征的情况下，可以根据驾驶员的手机位置和手部位置，准确地确定出驾驶员在驾驶过程中是否存在操作手机的违规驾驶行为，实现对驾驶员的异常驾驶行为地准确识别和评估。

上述实施例的方法，在目标特征包括手机特征和驾驶员手部特征的情况下，就可以基于驾驶员的手机位置和手部位置，准确地确定驾驶员在驾驶过程中是否存在操作手机的违规驾驶行为，实现对驾驶员的异常驾驶行为地准确识别和评估，确定驾驶员的驾驶行为是否存在安全风险，提升安全性。

在一实施例中，根据手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别，包括：

根据手机位置和驾驶员手部位置，确定驾驶员手部和手机的交并比；

在驾驶员手部和手机的交并比大于第二阈值的情况下，将驾驶员的驾驶行为识别为驾驶员驾驶过程中操作手机的异常驾驶行为。

具体地，在目标特征包括手机特征和驾驶员手部特征的情况下，可以基于驾驶员的手机位置和驾驶员手部位置，实现对驾驶员的异常驾驶行为地准确识别和评估。可选地，基于驾驶员的手机位置和驾驶员手部位置，计算驾驶员手部和手机的交并比，当驾驶员的手部和手机的交并比较大的情况下，则认为驾驶员在驾驶过程中存在操作手机的违规驾驶行为，也就是基于手机特征和驾驶员手部特征，就可以准确地对驾驶员的异常驾驶行为进行识别，并进行安全预警，降低交通事故，提升安全性。

例如，如图3所示，通过如下流程对驾驶员驾驶过程中操作手机的异常驾驶行为进行识别，具体如下：

首先，对车内摄像装置获取的驾驶员的多个驾驶图像进行手机检测和驾驶员手部检测。

然后，根据驾驶图像中的手机位置和驾驶员的手部位置，计算驾驶员手部和手机的交并比(intersection over union，iou)，并根据驾驶员手部和手机的交并比，判断驾驶员在驾驶过程中是否存在违规操作手机的异常驾驶行为。

最后，根据一段时间段内的检测结果确定是否需要向驾驶员进行提醒和警告。可选地，统计分析连续帧的检测结果，如果检测结果中80％的时间段内都存在驾驶过程中玩手机的情况，则驾驶过程中玩手机的违规行为成立，发出警报。

上述实施例的方法，通过计算驾驶员手部和手机的交并比，就可以准确的确定驾驶员在驾驶过程中是否存在操作手机的违规驾驶行为，进而也就可以及时进行安全预警，降低交通事故，提升安全性。

在一实施例中，根据驾驶员位姿特征，确定驾驶员位姿对应的欧拉角；

根据驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别。

具体地，相关技术中，对于驾驶员驾驶过程中注意力不集中的行为目前没有较好的应对策略。若驾驶员在驾驶过程中注意力不集中，且未及时对驾驶员进行提醒和警告，就极易造成交通事故。本发明实施例中通过分析驾驶员的位姿，实现对驾驶员驾驶过程中注意力不集中问题的有效识别，减少交通事故。

例如，在目标特征包括驾驶员位姿特征的情况下，就可以基于驾驶员位姿特征，准确地确定驾驶员位姿对应的欧拉角，从而根据驾驶员位姿对应的欧拉角，也就可以对驾驶员的驾驶行为进行识别和评估，确定出驾驶员在驾驶过程中是否存在注意力不集中的情况，实现对驾驶员的异常驾驶行为地准确地识别和评估。

上述实施例的方法，在目标特征包括驾驶员位姿特征的情况下，就可以基于驾驶员位姿特征，准确地确定驾驶员位姿对应的欧拉角，通过驾驶员位姿对应的欧拉角，从而也就可以对驾驶员的驾驶行为进行识别和评估，确定出驾驶员在驾驶过程中是否存在注意力不集中的情况，实现对驾驶员的异常驾驶行为地准确地识别和评估。

在一实施例中，在驾驶员位姿对应的欧拉角大于第三阈值的情况下，将驾驶员的驾驶行为识别为驾驶员注意力不集中的异常驾驶行为。

具体地，在目标特征包括驾驶员位姿特征的情况下，就可以基于驾驶员位姿，实现对驾驶员的异常驾驶行为地准确识别和评估。可选地，当驾驶员位姿对应的欧拉角较大的情况下，则认为驾驶员在驾驶过程中注意力不集中，身体位姿进行了大幅度的变化和摆动，进而也就可以及时进行安全预警，降低交通事故，提升安全性。

例如，如图4所示，通过如下流程对驾驶员驾驶过程注意力不集中的异常驾驶行为进行识别，具体如下：

首先，对车内摄像装置获取的驾驶员的多个驾驶图像进行人脸检测。可选地，对图像队列中的每帧图像进行人脸检测，输入大小为64*64，以人脸中心点为中心，边长为80，裁剪人脸图像80*80。

然后，通过裁剪后的人脸图像，进行驾驶员驾驶姿态的估计，确定驾驶员驾驶姿态对应的欧拉角。

最后，根据驾驶员驾驶姿态对应的欧拉角，确定驾驶员是否存在驾驶过程中注意力不集中的问题。可选地，统计分析驾驶员俯仰角pitch、偏航角yaw和翻滚角roll三个方向的角度，如果连续帧结果都是同一个方向且处于直行路况，发出警报；如果驾驶员俯仰角pitch、偏航角yaw和翻滚角roll三个角度变化都较大，且无规律，则判断驾驶员摇头晃脑，注意力不集中，发出预警，提醒驾驶员注视前方，安全驾驶。

上述实施例的方法，通过对驾驶员的驾驶位姿进行分析，实现了对驾驶员的异常驾驶行为进行准确识别的效果；也就是在驾驶员位姿对应的欧拉角大于阈值的情况下，则认为驾驶员在驾驶过程中注意力不集中，身体位姿进行了大幅度的变化和摆动，实现了对驾驶员的异常驾驶行为地准确识别和评估，进而也就可以及时进行安全预警，降低交通事故，提升安全性。

示例性的，本发明实施例提供的异常驾驶行为识别流程如图5所示，具体如下：

首先，获取车内摄像装置实时捕捉的视频流，形成图像队列，获得驾驶员的多个驾驶图像；

然后，针对图像队列逐帧进行疲劳驾驶分析、玩手机分析和注意力集中程度分析，获取分析结果；可选地，通过采用眨眼检测算法，对驾驶员疲劳驾驶行为进行检测；通过采用姿态估计算法，对驾驶员驾驶过程中注意力不集中的异常行为进行判断；通过手机检测和驾驶员手部的检测算法，对驾驶员驾驶过程中玩手机，打电话违规行为进行检测，提高检出率。

最后，统计分析结果，根据驾驶员违规次数、违规时长及违规程度，对驾驶员进行不同方式的预警。

上述实施例的方法，采用人脸检测、人脸关键点检测、眨眼检测、姿态评估和手机检测等方法，分析驾驶员的行为，检测驾驶员玩手机、打电话、疲劳状态、注意力不集中等异常行为，可以准确的识别出驾驶员驾驶过程中的违规行为，并及时预警，提高行驶安全性。

示例性的，本发明实施例提供了一种基于人工智能的异常驾驶行为识别系统，主要分为视频采集模块、核心处理器模块、疲劳驾驶检测模块、玩手机行为检测模块、注意力不集中检测模块和预警模块。

可选地，视频采集模块为广角RGB摄像头，用于获取驾驶员的多个驾驶图像。

核心处理器模块，采用具备1.2T算力NPU可不断进行学习推理，使得事件检测更准确、更迅速，同时支持H.264/H.265数据传输，可在客户需求时将数据对接到相关管理平台进行总体管控，可在-20～85℃下良好运行，满足客户在各种恶劣环境下的需求。

疲劳驾驶检测模块，用于对驾驶员的疲劳驾驶行为进行识别。可选地，采用人脸检测算法、人脸关键点五点定位算法和眨眼检测算法，判断驾驶员当前是闭眼或睁眼状态，统计分析1分钟内每帧结果，若驾驶员连续处于闭眼状态，判断驾驶员为过度疲劳驾驶；若驾驶员连续处于眨眼状态，判断驾驶员为疲劳驾驶；若驾驶员连续处于睁眼中，则表示安全驾驶。

玩手机异常行为检测模块，用于对驾驶员在驾驶过程中违规进行手机操作的行为进行识别。可选地，采用目标检测算法针对手机和驾驶员手部进行检测识别，通过分析驾驶员手部和手机的位置坐标，计算iou，判断驾驶员是否在驾驶过程中玩手机，若驾驶员在预设的连续时间范围内一直处于玩手机状态，则违规行为成立，发出相应的预警。

注意力不集中异常行为检测模块，用于对驾驶员在驾驶过程中注意力不集中的问题进行识别。可选地，采用姿态估计算法，根据每张人脸得到的角度进行统计分析，如果驾驶员在预设的连续时间范围内pitch角度连续大于预设第一阈值，则判定为低头或仰头状态，预警模块进行提醒；如果驾驶员在预设的连续时间范围内pitch大于预设第一阈值的次数和yaw大于预设第二阈值的次数都较多，则判断驾驶员注意力不集中，预警模块进行提醒。

预警模块，用于根据识别出的异常驾驶行为，对驾驶员进行预警和警告。可选地，预警模块根据违规操作程度，发出不同的预警：1)sleep状态，进行连续预警，直到检测到驾驶员睁眼状态；2)眨眼状态：进行固定时长的预警，时长可自定义；3)玩手机违规行为，进行警告，根据警告次数，延长警告的时长；4)驾驶员注意力不集中，进行轻微的警告。

可选地，通过异常驾驶行为识别系统进行异常驾驶行为识别时，首先设定该系统需要自定义的参数，设定连续帧时长，设定注意力不集中角度阈值，设定玩手机时长；然后视频采集模块开启摄像头，采集视频流，针对视频图像进行预处理，缩放到固定尺寸；疲劳驾驶检测模块针对视频图像进行眨眼检测，统计结果；玩手机异常行为检测模块针对视频图像进行手机检测和驾驶员手部检测，统计结果；注意力不集中异常行为检测模块针对视频图像进行姿态角度估计，统计结果；最后分别统计上述结果，至少一项满足预警条件，按照异常行为严重程度选择预警模式，驾驶员立刻调整状态，警报自动解除。

上述基于人工智能的异常驾驶行为识别系统，可以准确判断驾驶员在驾驶过程中常出现的违规操作，实际应用中，玩手机检测率远远高于电子眼抓拍。该系统针对驾驶员的异常驾驶行为进行实时监测，提高驾驶员的安全意识，使得驾驶员进行规范驾驶，减少因打电话、过度疲劳、注意力不集中等因素引起的交通事故，为驾驶员添加一份安全保障。

下面对本发明提供的异常驾驶行为识别装置进行描述，下文描述的异常驾驶行为识别装置与上文描述的异常驾驶行为识别方法可相互对应参照。

图6是本发明提供的异常驾驶行为识别装置的结构示意图。本实施例提供的异常驾驶行为识别装置，包括：

第一获取模块710，用于根据车内摄像装置获取驾驶员的多个驾驶图像；

第二获取模块720，用于获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；

识别模块730，用于根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

可选地，所述识别模块730，具体用于：根据驾驶图像中的眼部图像特征，确定驾驶员的眼睛活动状态；驾驶员的眼睛活动状态包括睁眼状态和闭眼状态；

根据驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别。

可选地，所述识别模块730，具体用于：在确定驾驶员的眼睛活动状态在第一时间段内均为闭眼状态的情况下，将驾驶员的驾驶行为识别为疲劳驾驶行为；和/或，

在确定驾驶员的眼睛活动状态在第一时间段内闭眼状态的次数大于第一阈值的情况下，将驾驶员的驾驶行为识别为疲劳驾驶行为。

可选地，所述识别模块730，具体用于：根据驾驶图像中的手机特征和驾驶员手部特征，确定手机位置和驾驶员手部位置；

根据手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别。

可选地，所述识别模块730，具体用于：根据手机位置和驾驶员手部位置，确定驾驶员手部和手机的交并比；

在驾驶员手部和手机的交并比大于第二阈值的情况下，将驾驶员的驾驶行为识别为驾驶员驾驶过程中操作手机的异常驾驶行为。

可选地，所述识别模块730，具体用于：根据驾驶员位姿特征，确定驾驶员位姿对应的欧拉角；

根据驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别。

可选地，所述识别模块730，具体用于：在驾驶员位姿对应的欧拉角大于第三阈值的情况下，将驾驶员的驾驶行为识别为驾驶员注意力不集中的异常驾驶行为。

本发明实施例的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。

图7示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行异常驾驶行为识别方法，该方法包括：根据车内摄像装置获取驾驶员的多个驾驶图像；获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的异常驾驶行为识别方法，该方法包括：根据车内摄像装置获取驾驶员的多个驾驶图像；获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的异常驾驶行为识别方法，该方法包括：根据车内摄像装置获取驾驶员的多个驾驶图像；获取各个驾驶图像中的目标特征；目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；第一特征包括手机特征和驾驶员手部特征；根据各个驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种异常驾驶行为识别方法，其特征在于，包括：

根据车内摄像装置获取驾驶员的多个驾驶图像；

获取各个所述驾驶图像中的目标特征；所述目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；所述第一特征包括手机特征和驾驶员手部特征；

根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

2.根据权利要求1所述的异常驾驶行为识别方法，其特征在于，所述目标特征包括眼部图像特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶图像中的眼部图像特征，确定所述驾驶员的眼睛活动状态；所述驾驶员的眼睛活动状态包括睁眼状态和闭眼状态；

根据所述驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别。

3.根据权利要求2所述的异常驾驶行为识别方法，其特征在于，所述根据所述驾驶员的眼睛活动状态，对驾驶员的异常驾驶行为进行识别，包括：

在确定所述驾驶员的眼睛活动状态在第一时间段内均为闭眼状态的情况下，将所述驾驶员的驾驶行为识别为疲劳驾驶行为；和/或，

在确定所述驾驶员的眼睛活动状态在第一时间段内闭眼状态的次数大于第一阈值的情况下，将所述驾驶员的驾驶行为识别为疲劳驾驶行为。

4.根据权利要求1-3任一项所述的异常驾驶行为识别方法，其特征在于，所述目标特征包括第一特征；所述第一特征包括手机特征和驾驶员手部特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶图像中的手机特征和驾驶员手部特征，确定手机位置和驾驶员手部位置；

根据所述手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别。

5.根据权利要求4所述的异常驾驶行为识别方法，其特征在于，所述根据所述手机位置和驾驶员手部位置，对驾驶员的异常驾驶行为进行识别，包括：

根据所述手机位置和驾驶员手部位置，确定驾驶员手部和手机的交并比；

在驾驶员手部和手机的交并比大于第二阈值的情况下，将所述驾驶员的驾驶行为识别为驾驶员驾驶过程中操作手机的异常驾驶行为。

6.根据权利要求5所述的异常驾驶行为识别方法，其特征在于，所述目标特征包括驾驶员位姿特征；所述根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别，包括：

根据所述驾驶员位姿特征，确定驾驶员位姿对应的欧拉角；

根据所述驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别。

7.根据权利要求6所述的异常驾驶行为识别方法，其特征在于，所述根据所述驾驶员位姿对应的欧拉角，对驾驶员的异常驾驶行为进行识别，包括：

在所述驾驶员位姿对应的欧拉角大于第三阈值的情况下，将所述驾驶员的驾驶行为识别为驾驶员注意力不集中的异常驾驶行为。

8.一种异常驾驶行为识别装置，其特征在于，包括：

第一获取模块，用于根据车内摄像装置获取驾驶员的多个驾驶图像；

第二获取模块，用于获取各个所述驾驶图像中的目标特征；所述目标特征包括眼部图像特征、第一特征、驾驶员位姿特征；所述第一特征包括手机特征和驾驶员手部特征；

识别模块，用于根据各个所述驾驶图像中的目标特征，对驾驶员的异常驾驶行为进行识别。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的异常驾驶行为识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的异常驾驶行为识别方法的步骤。

11.一种计算机程序产品，其上存储有可执行指令，其特征在于，该指令被处理器执行时使处理器实现如权利要求1至7中任一项所述的异常驾驶行为识别方法的步骤。

Images