CN114692757A - 一种异常驾驶行为的监测方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种异常驾驶行为的监测方法、装置及电子设备，通过将实时驾驶视频输入至动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度；将实时驾驶视频输入至头部姿态识别模型，识别司机的头部姿态为预设异常头部姿态的第二置信度；确定与业务类型对应的预设第一置信度阈值，在异常驾驶动作中筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

Description

一种异常驾驶行为的监测方法、装置及电子设备

技术领域

本公开涉及图像分析技术领域，具体而言，涉及一种异常驾驶行为的监测方法、装置及电子设备。

背景技术

目前，随着货运业务的不断兴起，大到工程设备，小到快递邮件，在一定的距离范围内考虑到可达性以及便捷程度，越来越多的人们选择陆上交通的物流运输的方式，通过货车将货品运输到各地，这种运输方式需要司机驾驶货车进行长距离的驾驶工作，司机在行车过程中的状态直接影响到人身、车辆以及货物的安全，为此，针对司机在行车过程中的状态监测成为了各个物流公司的日常需求。

由于车载设备的资源限制，在目前的司机驾驶状态过程中无法使用计算复杂的算法，往往会导致司机的一些异常驾驶行为无法被准确识别等的漏报、误报等情况，而在例如危险化学品等对司机驾驶状态要求较高的运输业务中，若出现漏报、误报等情况则会加重发生安全事故的风险，因此，如何准确及时的监测司机机场驾驶动作并及时给出提示，成为了亟待解决的问题。

发明内容

本公开实施例至少提供一种异常驾驶行为的监测方法、装置及电子设备，可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

本公开实施例提供了一种异常驾驶行为的监测方法，所述方法包括：

获取司机的实时驾驶视频；

将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作；

将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度；

确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息；

判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

一种可选的实施方式中，在所述确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送异常动作提示信息之后，所述方法还包括：

确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；

在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作；

将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；

筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

一种可选的实施方式中，在所述判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息之后，所述方法还包括：

若所述第二置信度小于所述预设第一置信度阈值，则判断所述第二置信度是否大于所述预设第二置信度阈值；

若大于，则将所述司机的头部姿态发送至所述人工确认平台，并接收所述人工确认平台返回的注意力分散确认结果，其中所述注意力分散确认结果包括注意力分散及注意力未分散；

针对所述确认结果为注意力分散的所述头部姿态，向所述司机推送注意力分散提示信息。

一种可选的实施方式中，在所述获取司机的实时驾驶视频之后，所述方法还包括：

解码所述实时驾驶视频，将所述实时驾驶视频缩短放至预设尺寸；

确定所述实时驾驶视频对应的帧率以及总帧数；

根据所述帧率以及所述总帧数，针对所述实时驾驶视频进行时序采样，以得到多幅视频帧图像。

一种可选的实施方式中，在所述将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度之前，所述方法还包括：

针对每幅所述视频帧图像，将该所述视频帧图像转换为对应的灰度图像。

一种可选的实施方式中，所述动作识别模型为3D卷积神经网络。

本公开实施例还提供一种异常驾驶行为的监测装置，所述装置包括：

视频获取模块，用于获取司机的实时驾驶视频；

动作识别模块，用于将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作；

姿态识别模块，用于将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度；

异常动作提示模块，用于确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息；

注意力分散提示模块，用于判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

一种可选的实施方式中，所述装置还包括异常动作校验模块，所述异常动作校验模块具体用于：

确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；

在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作；

将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；

筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

一种可选的实施方式中，所述装置还包括注意力分散校验模块，所述注意力分散校验模块具体用于：

若所述第二置信度小于所述预设第一置信度阈值，则判断所述第二置信度是否大于所述预设第二置信度阈值；

若大于，则将所述司机的头部姿态发送至所述人工确认平台，并接收所述人工确认平台返回的注意力分散确认结果，其中所述注意力分散确认结果包括注意力分散及注意力未分散；

针对所述确认结果为注意力分散的所述头部姿态，向所述司机推送注意力分散提示信息。

一种可选的实施方式中，所述装置还包括视频预处理模块，所述视频预处理模块用于：

解码所述实时驾驶视频，将所述实时驾驶视频缩短放至预设尺寸；

确定所述实时驾驶视频对应的帧率以及总帧数；

根据所述帧率以及所述总帧数，针对所述实时驾驶视频进行时序采样，以得到多幅视频帧图像。

一种可选的实施方式中，所述动作识别模块还用于：

针对每幅所述视频帧图像，将该所述视频帧图像转换为对应的灰度图像。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述异常驾驶行为的监测方法，或上述异常驾驶行为的监测方法中任一种可能的实施方式中的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述异常驾驶行为的监测方法，或上述异常驾驶行为的监测方法中任一种可能的实施方式中的步骤。

本公开实施例提供的一种异常驾驶行为的监测方法、装置及电子设备，通过获取司机的实时驾驶视频；将实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度，其中，异常驾驶动作为影响驾驶安全的动作；将实时驾驶视频输入至预先训练好的头部姿态识别模型，识别司机的头部姿态，并确定头部姿态为预设异常头部姿态的第二置信度；确定当前驾驶过程的业务类型及业务类型对应的预设第一置信度阈值，在异常驾驶动作中，筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种异常驾驶行为的监测方法的流程图；

图2示出了本公开实施例所提供的另一种异常驾驶行为的监测方法的流程图；

图3示出了本公开实施例所提供的一种异常驾驶行为的监测装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，由于车载设备的资源限制，在目前的司机驾驶状态过程中无法使用计算复杂的算法，往往会导致司机的一些异常驾驶行为无法被准确识别等的漏报、误报等情况，而在例如危险化学品等对司机驾驶状态要求较高的运输业务中，若出现漏报、误报等情况则会加重发生安全事故的风险，因此，如何准确及时的监测司机机场驾驶动作并及时给出提示，成为了亟待解决的问题。

基于上述研究，本公开提供了一种异常驾驶行为的监测方法、装置及电子设备，通过获取司机的实时驾驶视频；将实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度，其中，异常驾驶动作为影响驾驶安全的动作；将实时驾驶视频输入至预先训练好的头部姿态识别模型，识别司机的头部姿态，并确定头部姿态为预设异常头部姿态的第二置信度；确定当前驾驶过程的业务类型及业务类型对应的预设第一置信度阈值，在异常驾驶动作中，筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种异常驾驶行为的监测方法进行详细介绍，本公开实施例所提供的异常驾驶行为的监测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该异常驾驶行为的监测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的一种异常驾驶行为的监测方法的流程图，所述方法包括步骤S101～S105，其中：

S101、获取司机的实时驾驶视频。

在具体实施中，通过设置于货车内部的监控摄像头，实时拍摄司机驾驶过程的视频画面作为实时驾驶视频，根据视频地址下载监控摄像头拍摄到的实时驾驶视频。

这里，实时驾驶视频可以由安装在货车驾驶室内部的固定监控摄像头实施拍摄得到，在司机发车后自动启动进行拍摄，也可以由为司机配发的移动式摄像头实施拍摄得到，在司机上车后手动放置在驾驶室内的固定位置，并启动拍摄。

需要说明的是，下载实时驾驶视频的下载地址，针对安装在货车驾驶室内部的固定监控摄像头，下载地址与货车自身的识别编码相匹配，即一辆货车对应一个固定的视频下载地址；针对为司机配发的移动式摄像头，下载地址与司机在公司内部的员工识别编码相匹配，即一个司机对应一个固定的视频下载地址。

作为一种可能的实施方式，在所述获取司机的实时驾驶视频之后，可以解码所述实时驾驶视频，将所述实时驾驶视频缩短放至预设尺寸；确定所述实时驾驶视频对应的帧率以及总帧数；根据所述帧率以及所述总帧数，针对所述实时驾驶视频进行时序采样，以得到多幅视频帧图像。

这样，可以减少后续针对实时驾驶视频的计算量，以便提升监测司机异常驾驶行为的响应速度。

S102、将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作。

在具体实施中，将获取到的司机实时驾驶视频输入至预先训练好的动作识别模型中，动作识别模型用于自动检测实时驾驶视频中司机的人物图像，并且识别司机当前驾驶动作是否为动作识别模型在训练过程中所学习的预设的异常驾驶动作的置信度，作为第一置信度数值。

需要说明的是，动作识别模型是基于大量含有人物动作的训练视频数据以及对应的动作标签训练得到的，这里的动作标签用于标示训练视频数据中人物所进行的预设的异常驾驶动作种类，可选的，动作识别模型可以选择3D卷积神经网络。

一示例中，预设的异常驾驶动作可以包括：抽烟动作、打电话动作、闭眼动作、看手机动作等可以影响司机驾驶安全的动作，可以根据实际需要进行选择，在此不做具体限制。

S103、将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度。

在具体实施中，将获取到的实时驾驶视频输入至预先训练好的头部姿态识别模型中，由于司机的头部姿态可以反映司机此时的注意力方向，因此，通过头部姿态识别模型识别司机的头部姿态，可以监测司机此时的注意力是否在驾驶货车以及前方路况上。

这里，头部姿态识别模型用于检测司机当前头部姿态，与预设的异常头部姿态是否相同，并输出司机当前头部姿态为预设异常头部姿态的置信度，作为第二置信度数值。

其中，第一置信度、第二置信度为一小于1的数值，分别用于表征司机当前驾驶动作属于预设的异常驾驶动作中的一种、司机当前头部姿态为预设异常头部姿态的概率值。

需要说明的是，头部姿态识别模型的识别对象可以为某一时间段内司机头部的移动特征或者司机头部所保持的朝向姿态，相对应的，预设异常头部姿态也同样如此。

一示例中，预设异常头部姿态可以为某一时间段内，司机的头部频繁出现点头动作，此时说明司机很可能处于疲劳状态出现打瞌睡的情况，以此可以判断出司机目前处于注意力不集中的状态；另一示例中，预设异常头部姿态可以为某一时间段内司机的头部保持在朝向车辆前进方向以外的方向，此时说明司机的注意力当前并未集中在驾驶车辆以及观察前方路面情况上，以此可以判断出司机目前处于注意力不集中的状态。

作为一种可能的实施方式，在将所述实时驾驶视频输入至预先训练好的头部姿态识别模型之前，可以针对由实时驾驶视频分割而成的多幅视频帧图像中的每一幅，将该所述视频帧图像转换为对应的灰度图像。

这样，灰度图像可以更好的反映帧图像中司机头部姿态的图像特征，提升司机头部姿态的检测效果。

S104、确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

在具体实施中，由于司机承运货物的业务类型不同，对司机的驾驶行为要求也不同，例如在危险化学品等危险物品的运输过程中，对司机出现异常驾驶行为的漏报要求极低，希望最小可能的出现司机异常驾驶行为的漏报情况。因此，为适应不同业务类型的需求，针对当前驾驶过程的不同业务类型，为司机异常动作检测以及注意力分散检测的过程中，设置不同的置信度阈值。

具体的，在动作识别模型识别得到的多种预设异常驾驶动作中，将对应的置信度大于预设第一置信度阈值的目标异常驾驶动作筛选出来，即认为目标异常驾驶动作的识别成功率较高，也就是说司机出现目标异常驾驶动作的概率较大。

例如，在一次危险化学品的运输过程中，动作识别模型识别出司机出现了看手机、抽烟、打电话三种异常驾驶动作，且相应的第一置信度为：0.8、0.2、0.5，若危险化学品业务类型对应的预设第一置信度阈值为0.6，则说明抽烟、打电话两种异常驾驶动作很有可能为误报情况，因此只将“看手机”作为目标异常驾驶动作。

作为一种可能的实施方式，可以将筛选出的目标异常驾驶动作对应的异常动作提示信息推送至车载终端，以提示司机及时改正。其中，异常动作提示信息可以为文字信息或语音信息，例如：当目标异常驾驶动作为：司机在驾驶过程中看手机，此时异常动作提示信息可以为“检测到您在驾驶过程中看手机，请及时更正”，进一步的，在车载终端上，上述异常动作提示信息可以通过文字的形式进行显示，如考虑到司机驾驶过程中查看异常动作提示信息可能导致注意力分散的情况下，在车载终端可以通过语音的方式将异常动作提示信息朗读出来，以提示司机及时改正。

S105、判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

在具体实施中，将头部姿态识别模型输出的第二置信度与预设第一置信度阈值进行比较，若第二置信度大于预设第一置信度阈值，则可以确认在实时驾驶视频中，司机的头部姿态与头部姿态识别模型中预设的异常头部姿态吻合，此时即可判定司机出现了注意力分散的事件。

例如，头部姿态识别模型检测到司机在一段时间内出现了频繁点头的头部姿态，且相应的第二置信度为0.8，若此时预设第一置信度阈值为0.6，即可确认本次识别成功，司机出现频繁点头的头部姿态的可能性较大，进而司机出现了注意力分散的概率也较大，因此向司机发送注意力分散提示信息以提示司机将注意力集中在驾驶车辆以及观察前方路况上。

本公开实施例提供的一种异常驾驶行为的监测方法，通过获取司机的实时驾驶视频；将实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度，其中，异常驾驶动作为影响驾驶安全的动作；将实时驾驶视频输入至预先训练好的头部姿态识别模型，识别司机的头部姿态，并确定头部姿态为预设异常头部姿态的第二置信度；确定当前驾驶过程的业务类型及业务类型对应的预设第一置信度阈值，在异常驾驶动作中，筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

参见图2所示，为本公开实施例提供的另一种异常驾驶行为的监测方法的流程图，所述方法包括步骤S201～S208，其中：

S201、获取司机的实时驾驶视频。

S202、将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作。

S203、将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度。

S204、确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

S205、确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作。

在具体实施中，根据业务类型设置对应的第二置信度阈值，其中第二置信度阈值为反映异常驾驶动作以及注意力分散事件识别成功的最小置信度阈值，也就是说若第一置信度与第二置信度落在第一置信度阈值与第二置信度阈值之间的区间范围内，此时认为无法准确确定司机是否出现了异常驾驶动作，因此将识别出的第一置信度处于第一置信度阈值与第二置信度阈值之间的区间范围内对应的异常驾驶动作设定为待确认异常驾驶动作，需要由人工介入识别，为防止漏报情况的出现。

需要说明的是，第二置信度阈值可以根据实际需要进行设置，在此不做具体限制。

S206、将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

在具体实施中，通过人工平台针对待确认异常驾驶动作进行人工识别，以确定实时驾驶视频中，司机是否真实存在待确认异常驾驶动作，若人工识别的结果为确定存在异常动作，则向司机推送其对应的异常动作提示信息；进一步的，若人工识别的结果为司机不存在上述待确认异常驾驶动作，则不推送异常动作提示信息。

进一步的，若第一置信度小于预设第二置信度阈值，则直接确定实时驾驶视频中司机不存在异常驾驶动作，无需人工平台的介入即可不推送异常动作提示信息。

这样，针对自动识别无法确认的异常驾驶动作，由人工平台介入进行人工确认，以防止因动作识别模型的识别误差导致的司机异常驾驶动作的漏报。

S207、判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

需要说明的是，步骤S201-步骤S204、步骤S207与步骤S101-步骤S105实质相同，具有相同的实施方式并且可以达到相同的技术效果，在此不再进行赘述。

S208、若所述第二置信度小于所述预设第一置信度阈值，则判断所述第二置信度是否大于所述预设第二置信度阈值；若大于，则将所述司机的头部姿态发送至所述人工确认平台，并接收所述人工确认平台返回的注意力分散确认结果，其中所述注意力分散确认结果包括注意力分散及注意力未分散；针对所述确认结果为注意力分散的所述头部姿态，向所述司机推送注意力分散提示信息。

在具体实施中，将识别出的第二置信度处于第一置信度阈值与第二置信度阈值之间的区间范围内对应的异常头部姿态设定为待确认状态，需要由人工介入识别，为防止漏报情况的出现。

这里，通过人工平台针对待确认状态的异常头部姿态进行人工识别，以确定实时驾驶视频中，司机是否真实存在异常头部姿态所导致的注意力分散情况，若人工识别的结果为确定存在可能导致注意力分散的异常头部姿态，则向司机推送注意力分散提示信息；进一步的，若人工识别的结果为司机不存在可能导致注意力分散的异常头部姿态，则不推送注意力分散提示信息。

进一步的，若第二置信度小于预设第二置信度阈值，则直接确定实时驾驶视频中司机不存在可能导致注意力分散的异常头部姿态，无需人工平台的介入即可不推送注意力分散提示信息。

这样，针对自动识别无法确认是否存在注意力分散事件时，由人工平台介入进行人工确认，以防止因头部姿态识别模型的识别误差导致的司机注意力分散事件的漏报。

本公开实施例提供的一种异常驾驶行为的监测方法，通过获取司机的实时驾驶视频；将实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度，其中，异常驾驶动作为影响驾驶安全的动作；将实时驾驶视频输入至预先训练好的头部姿态识别模型，识别司机的头部姿态，并确定头部姿态为预设异常头部姿态的第二置信度；确定当前驾驶过程的业务类型及业务类型对应的预设第一置信度阈值，在异常驾驶动作中，筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与异常驾驶行为的监测方法对应的异常驾驶行为的监测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述异常驾驶行为的监测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图3，图3为本公开实施例提供的一种异常驾驶行为的监测装置的示意图。如图3中所示，本公开实施例提供的监测装置300包括：

视频获取模块310，用于获取司机的实时驾驶视频；

动作识别模块320，用于将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作；

姿态识别模块330，用于将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度；

异常动作提示模块340，用于确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息；

注意力分散提示模块350，用于判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

一种可选的实施方式中，所述监测装置300还包括异常动作校验模块，所述异常动作校验模块具体用于：

确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；

在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作；

将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；

筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

一种可选的实施方式中，所述监测装置300还包括注意力分散校验模块，所述注意力分散校验模块具体用于：

若所述第二置信度小于所述预设第一置信度阈值，则判断所述第二置信度是否大于所述预设第二置信度阈值；

若大于，则将所述司机的头部姿态发送至所述人工确认平台，并接收所述人工确认平台返回的注意力分散确认结果，其中所述注意力分散确认结果包括注意力分散及注意力未分散；

针对所述确认结果为注意力分散的所述头部姿态，向所述司机推送注意力分散提示信息。

一种可选的实施方式中，所述监测装置300还包括视频预处理模块，所述视频预处理模块用于：

解码所述实时驾驶视频，将所述实时驾驶视频缩短放至预设尺寸；

确定所述实时驾驶视频对应的帧率以及总帧数；

根据所述帧率以及所述总帧数，针对所述实时驾驶视频进行时序采样，以得到多幅视频帧图像。

一种可选的实施方式中，所述动作识别模块还用于：

针对每幅所述视频帧图像，将该所述视频帧图像转换为对应的灰度图像。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例提供的一种异常驾驶行为的监测装置，通过获取司机的实时驾驶视频；将实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别司机出现每种异常驾驶动作的第一置信度，其中，异常驾驶动作为影响驾驶安全的动作；将实时驾驶视频输入至预先训练好的头部姿态识别模型，识别司机的头部姿态，并确定头部姿态为预设异常头部姿态的第二置信度；确定当前驾驶过程的业务类型及业务类型对应的预设第一置信度阈值，在异常驾驶动作中，筛选第一置信度大于预设第一置信度阈值的目标异常驾驶动作，并向司机推送对应的异常动作提示信息；判断第二置信度是否大于预设第一置信度阈值，若大于，则确定司机出现注意力分散事件，并向司机推送注意力分散提示信息。可以提升监测司机异常驾驶行为的灵敏度及准确性，有效防止误报、漏报等情况的发生。

对应于图1中的异常驾驶行为的监测方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：

处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备400运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41执行图1与图2中的异常驾驶行为的监测方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的异常驾驶行为的监测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的异常驾驶行为的监测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种异常驾驶行为的监测方法，其特征在于，所述方法包括：

获取司机的实时驾驶视频；

将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作；

将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度；

确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息；

判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

2.根据权利要求1所述的方法，其特征在于，在所述确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送异常动作提示信息之后，所述方法还包括：

确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；

在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作；

将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；

筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

3.根据权利要求2所述的方法，其特征在于，在所述判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息之后，所述方法还包括：

若所述第二置信度小于所述预设第一置信度阈值，则判断所述第二置信度是否大于所述预设第二置信度阈值；

若大于，则将所述司机的头部姿态发送至所述人工确认平台，并接收所述人工确认平台返回的注意力分散确认结果，其中所述注意力分散确认结果包括注意力分散及注意力未分散；

针对所述确认结果为注意力分散的所述头部姿态，向所述司机推送注意力分散提示信息。

4.根据权利要求1所述的方法，其特征在于，在所述获取司机的实时驾驶视频之后，所述方法还包括：

解码所述实时驾驶视频，将所述实时驾驶视频缩短放至预设尺寸；

确定所述实时驾驶视频对应的帧率以及总帧数；

根据所述帧率以及所述总帧数，针对所述实时驾驶视频进行时序采样，以得到多幅视频帧图像。

5.根据权利要求4所述的方法，其特征在于，在所述将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度之前，所述方法还包括：

针对每幅所述视频帧图像，将该所述视频帧图像转换为对应的灰度图像。

6.根据权利要求1所述的方法，其特征在于：

所述动作识别模型为3D卷积神经网络。

7.一种异常驾驶行为的监测装置，其特征在于，包括：

视频获取模块，用于获取司机的实时驾驶视频；

动作识别模块，用于将所述实时驾驶视频输入至预先训练好的动作识别模型，在多种预设的异常驾驶动作中，识别所述司机出现每种所述异常驾驶动作的第一置信度，其中，所述异常驾驶动作为影响驾驶安全的动作；

姿态识别模块，用于将所述实时驾驶视频输入至预先训练好的头部姿态识别模型，识别所述司机的头部姿态，并确定所述头部姿态为预设异常头部姿态的第二置信度；

异常动作提示模块，用于确定当前驾驶过程的业务类型及所述业务类型对应的预设第一置信度阈值，在所述异常驾驶动作中，筛选所述第一置信度大于所述预设第一置信度阈值的目标异常驾驶动作，并向所述司机推送对应的异常动作提示信息；

注意力分散提示模块，用于判断所述第二置信度是否大于所述预设第一置信度阈值，若大于，则确定所述司机出现注意力分散事件，并向所述司机推送注意力分散提示信息。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括异常动作校验模块，所述异常动作校验模块具体用于：

确定所述业务类型对应的预设第二置信度阈值，其中，所述预设第二置信度阈值小于所述预设第一置信度阈值；

在所述异常驾驶动作中，筛选所述第一置信度位于所述预设第一置信度阈值与所述预设第二置信度阈值区间内的待确认异常驾驶动作；

将所述待确认异常驾驶动作发送至预设的人工确认平台，并接收所述人工确认平台返回的所述待确认异常驾驶动作对应的确认结果，其中所述确认结果包括正常动作、异常动作；

筛选出所述确认结果为异常动作的所述待确认异常驾驶动作，并向所述司机推送对应的异常动作提示信息。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的异常驾驶行为的监测方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6中任一项所述的异常驾驶行为的监测方法的步骤。

Images