CN113744498B - 驾驶员注意力监测的系统和方法 - Google Patents

Abstract

本申请公开了一种驾驶员注意力监测的系统和方法，属于车联网技术领域。该系统包括车载设备和检测服务器。车载设备，用于对驾驶员行为视频进行第一检测，如果在驾驶员行为视频中检测出注意力分散行为，则在驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，向检测服务器发送候选报警视频。检测服务器，用于对候选报警视频进行第二检测，如果在候选报警视频中检测出注意力分散行为，则确定候选报警视频为报警视频。采用本申请，可以有效提高确定出的报警视频的准确率。

Description

驾驶员注意力监测的系统和方法

技术领域

本申请涉及车联网技术领域，具体涉及一种驾驶员注意力监测的系统和方法。

背景技术

随着汽车的普及程度越来越高，由驾驶员注意力分散的行为带来的安全隐患也越来越多。因此，如何对驾驶员的注意力进行监测，以及时发现安全隐患十分重要。

相关技术中的驾驶员注意力监测的系统包括嵌入到汽车上的车载设备和告警平台。车载设备与汽车上安装的摄像头连接，摄像头实时采集驾驶员行为视频，并将驾驶员行为视频传输给车载设备。车载设备对驾驶员行为视频进行检测，当检测出有注意力分散行为时，发出报警信号。同时，车载设备也会发送报警视频给告警平台，则管理员可以通过告警平台来对驾驶员的注意力分散行为进行查看和确认。

在实现本申请的过程中，申请人发现相关技术至少存在以下问题：

车载设备由于计算能力有限，不能使用复杂的算法，所以检测注意力分散行为的准确率较低，使得确定出的报警视频的准确率较低。

发明内容

本申请实施例提供了一种驾驶员注意力监测的系统和方法，可以解决相关技术中存在的技术问题。所述驾驶员注意力监测的系统和方法的技术方案如下：

第一方面，提供了一种驾驶员注意力监测的系统，所述系统包括车载设备和检测服务器，其中，

所述车载设备，用于对驾驶员行为视频进行第一检测，如果在所述驾驶员行为视频中检测出注意力分散行为，则在所述驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，向所述检测服务器发送所述候选报警视频；

所述检测服务器，用于对所述候选报警视频进行第二检测，如果在所述候选报警视频中检测出注意力分散行为，则确定所述候选报警视频为报警视频。

在一种可能的实现方式中，所述第一检测的误检率高于所述第二检测的误检率。

在一种可能的实现方式中，所述注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，所述第一类注意力分散行为的检测难度低于所述第二类注意力分散行为的检测难度，所述第一类注意力分散行为的危险系数高于所述第二类注意力分散行为的危险系数。

在一种可能的实现方式中，所述车载设备，还用于如果在所述驾驶员行为视频中检测出所述第一类注意力分散行为，则发出报警信号。

在一种可能的实现方式中，所述检测服务器，还用于如果在所述候选报警视频中检测出所述第二类注意力分散行为，则向所述车载设备发送报警消息；

所述车载设备，还用于响应于所述报警消息，发出报警信号。

在一种可能的实现方式中，所述第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种；

所述第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。

在一种可能的实现方式中，所述车载设备，还用于如果在所述驾驶员行为视频中检测出注意力分散行为，则获取车辆的位置、车速和行为发生时间，向所述检测服务器发送所述位置、所述车速和所述行为发生时间；

所述检测服务器，还用于如果在所述候选报警视频中检测出注意力分散行为，则确定所述位置、所述车速和所述行为发生时间为报警附加信息。

在一种可能的实现方式中，所述检测服务器，还用于如果在所述候选报警视频中检测出注意力分散行为，则在所述候选报警视频中抓取目标图像帧，确定所述目标图像帧为注意力分散行为展示图片。

在一种可能的实现方式中，所述系统还包括告警平台，所述检测服务器，还用于向所述告警平台发送所述报警视频、所述报警附加信息和所述注意力分散行为展示图片。

第二方面，提供了一种驾驶员注意力监测的方法，所述方法应用在驾驶员注意力监测的系统中，所述系统包括车载设备和检测服务器，所述方法包括：

所述车载设备对驾驶员行为视频进行第一检测，如果在所述驾驶员行为视频中检测出注意力分散行为，则在所述驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，向所述检测服务器发送所述候选报警视频；

所述检测服务器对所述候选报警视频进行第二检测，如果在所述候选报警视频中检测出注意力分散行为，则确定所述候选报警视频为报警视频。

在一种可能的实现方式中，所述第一检测的误检率高于所述第二检测的误检率。

在一种可能的实现方式中，所述注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，所述第一类注意力分散行为的检测难度低于所述第二类注意力分散行为的检测难度，所述第一类注意力分散行为的危险系数高于所述第二类注意力分散行为的危险系数。

在一种可能的实现方式中，所述如果在所述驾驶员行为视频中检测出注意力分散行为之后，所述方法还包括：

如果所述车载设备在所述驾驶员行为视频中检测出所述第一类注意力分散行为，则发出报警信号。

在一种可能的实现方式中，所述如果在所述候选报警视频中检测出注意力分散行为之后，所述方法还包括：

如果所述检测服务器在所述候选报警视频中检测出所述第二类注意力分散行为，则向所述车载设备发送报警消息；

所述车载设备响应于所述报警消息，发出报警信号。

在一种可能的实现方式中，所述第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种；

所述第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。

在一种可能的实现方式中，所述方法还包括：

如果所述车载设备在所述驾驶员行为视频中检测出注意力分散行为，则获取车辆的位置、车速和行为发生时间，向所述检测服务器发送所述位置、所述车速和所述行为发生时间；

如果所述检测服务器在所述候选报警视频中检测出注意力分散行为，则确定所述位置、所述车速和所述行为发生时间为报警附加信息。

在一种可能的实现方式中，所述方法还包括：

如果所述检测服务器在所述候选报警视频中检测出注意力分散行为，则在所述候选报警视频中抓取目标图像帧，确定所述目标图像帧为注意力分散行为展示图片。

在一种可能的实现方式中，所述系统还包括告警平台，所述方法还包括：

所述检测服务器向所述告警平台发送所述报警视频、所述报警附加信息和所述注意力分散行为展示图片。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例提供的技术方案，设置经车载设备第一检测出的候选报警视频，需要经检测服务器第二检测后，才能确定候选报警视频是否为报警视频。这样，由于检测服务器的计算能力较强，所以可以使用较为复杂且准确度较高的算法，从而，经检测服务器第二检测确定出的报警视频的准确率较高，提高了报警视频的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种驾驶员注意力监测的方法的流程图；

图2是本申请实施例提供的一种驾驶员注意力监测的方法的流程图；

图3是本申请实施例提供的一种驾驶员注意力监测的方法的流程图；

图4是本申请实施例提供的一种驾驶员注意力监测的方法的流程图；

图5是本申请实施例提供的一种驾驶员注意力监测的方法的流程图；

图6是本申请实施例提供的一种驾驶员注意力监测的方法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种驾驶员注意力监测的方法，该方法可以由驾驶员注意力监测的系统实现，其中，该系统包括车载设备和检测服务器。

如图1所示，提供了一种驾驶员注意力监测的方法的流程图，该方法可以包括如下步骤：

在步骤101中，车载设备对驾驶员行为视频进行第一检测，如果在驾驶员行为视频中检测出注意力分散行为，则在驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，向检测服务器发送候选报警视频。

在一种可能的实现方式中，第一检测的误检率高于第二检测的误检率。

在一种可能的实现方式中，注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，第一类注意力分散行为的检测难度低于第二类注意力分散行为的检测难度，第一类注意力分散行为的危险系数高于第二类注意力分散行为的危险系数。

在一种可能的实现方式中，如果车载设备在驾驶员行为视频中检测出第一类注意力分散行为，则发出报警信号。

在一种可能的实现方式中，第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种。第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。

在一种可能的实现方式中，如果车载设备在驾驶员行为视频中检测出注意力分散行为，则获取车辆的位置、车速和行为发生时间，向检测服务器发送位置、车速和行为发生时间。

在步骤102中，检测服务器对候选报警视频进行第二检测，如果在候选报警视频中检测出注意力分散行为，则确定候选报警视频为报警视频。

在一种可能的实现方式中，如果检测服务器在候选报警视频中检测出第二类注意力分散行为，则向车载设备发出报警消息。车载设备响应于报警消息，发出报警信号。

在一种可能的实现方式中，如果检测服务器在候选报警视频中检测出注意力分散行为，则确定位置、车速和行为发生时间为报警附加信息。

在一种可能的实现方式中，如果检测服务器在候选报警视频中检测出注意力分散行为，则在候选报警视频中抓取目标图像帧，确定目标图像帧为注意力分散行为展示图片。

在一种可能的实现方式中，驾驶员注意力监测的系统还包括告警视频，检测服务器向告警平台发送报警视频、报警附加信息和注意力分散行为展示图片。

本申请实施例所示的方案，设置经车载设备第一检测出的候选报警视频，需要经检测服务器第二检测后，才能确定候选报警视频是否为报警视频。这样，由于检测服务器的计算能力较强，所以可以使用较为复杂且准确度较高的算法，从而，经检测服务器第二检测确定出的报警视频的准确率较高，提高了报警视频的准确率。

需要说明的是，告警平台可以运行在检测服务器上，这样，当检测服务器确定候选报警视频为报警视频时，可以将报警视频存储。而对于不是报警视频的候选报警视频，可以丢弃，从而，节约检测服务器的处理资源。

告警平台也可以不运行在检测服务器上，告警平台独立于检测服务器。则驾驶员注意力监测的系统还包括告警平台，检测服务器确定候选报警视频为报警视频之后，可以将报警视频发送给告警平台。

为了更加便于理解本申请，下面对注意力分散行为检测进行举例说明，该检测可以为第一检测，也可以为第二检测：

以打哈欠行为检测为例：

首先，在驾驶员行为视频的图像中，定位驾驶员嘴部的位置。然后，提取驾驶员嘴部的特征点，计算各个特征点的坐标，并根据特征点的坐标计算特征点的距离。最后，可以根据多个连续的图像中特征点的距离，来判断驾驶员是否张嘴，以及张嘴的时间。从而，确定驾驶员是否存在打哈欠的行为。

以闭眼行为检测为例：

首先，在驾驶员行为视频的图像中，定位驾驶员眼部的位置。然后，将驾驶员的眼部进行二值化处理，得到眼睛边缘图。最后，计算眼睛边缘复杂度，如果眼睛边缘复杂度较大，说明驾驶员为睁眼状态。如果眼睛边缘复杂度较小，则说明驾驶员为闭眼状态。

如图2所示，提供了一种驾驶员注意力监测的方法的流程图，该流程图主要针对于检测出第一类注意力分散行为的情况进行说明，该方法可以包括如下步骤：

在步骤201中，车载设备对驾驶员行为视频进行第一检测。

其中，车载设备可以为设置在车辆上的嵌入式设备，车载设备可以与车辆上设置的摄像设备连接，该摄像设备可以对驾驶员的驾驶员行为视频进行采集。

在实施中，车载设备可以从摄像设备实时的获取驾驶员行为视频，并对驾驶员行为视频进行第一检测。

在一种可能的实现方式中，该第一检测可以为通过深度学习算法进行的检测，则步骤201相应的处理过程可以如下所述，将驾驶员行为视频输入至第一注意力检测神经网络模型中进行第一检测。

在实施中，将驾驶员行为视频输入至第一注意力检测神经网络模型中，可以是，将驾驶员行为视频中的每一个图像帧分别输入至第一注意力检测神经网络模型中；也可以是，将驾驶员行为视频中的多个连续的图像帧(即一个视频段)输入至第一注意力监测神经网络模型中，本申请对此不做限定。对于上述第一种情况，检测出的是包含注意力分散行为的图像帧，对于上述第二种情况，检测出的是包含注意力分散行为的视频段。

另外，为了避免车载设备因未检测到注意力分散行为，而漏发报警信号，造成车载设备不能及时提醒驾驶人员集中注意力的现象的发生。可以使第一检测的注意力分散行为检出率较高，即将第一检测的检测阈值设置的低一些，尽可能的检出所有注意力分散行为，降低漏检率。

检测阈值的确定的方法可以如下所述：

使用大量的包含注意力分散行为的驾驶员行为视频的样本对第一注意力检测神经网络模型进行训练，并统计出不同检测阈值对应的误检率，其中，误检率用于表征将非注意力分散行为误检为注意力分散行为的比率。

然后，在直角坐标系上绘出误检率与检出阈值的二维关系图，由于注意力分散行为检出率会随着检测阈值的增加而降低，所以为了保证注意力分散行为检出率，选择斜率不再明显降低的拐点代表的检出阈值作为第一检测的检出阈值。

按照上述方法选择出一个较低的检测阈值，这样可以保证车载设备的漏检率较低，当驾驶员注意力分散的情况发生时及时警视驾驶员，防止事故的发生。

在步骤202中，如果车载设备在驾驶员行为视频中检测出第一类注意力分散行为，则发出报警信号。

其中，该报警信号可以为声音报警信号，也可以为震动报警信息，还可以为光报警信号。报警信号还可以是上述两种或三种报警信号的结合，例如，声光报警信号。

第一类注意力分散行为的检测难度低于第二类注意力分散行为的检测难度，第一类注意力分散行为的危险系数高于第二类注意力分散行为的危险系数。

第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种。

第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。

在实施中，车载设备如果在驾驶员行为视频中检测出第一类注意力分散行为，则发出报警信号，以提醒驾驶员集中注意力，避免危险的发生。

在一种可能的实现方式中，如果第一检测为将驾驶员行为视频的每个图像帧输入至第一注意力检测模型中，则步骤202相应的处理过程为，如果在驾驶员行为视频中检测出包含第一类注意力分散行为的图像帧，则发出报警信号。

在另一种可能的实现方式中，如果第一检测为将驾驶员行为视频中的每个视频段输入至第一注意力检测模型中，则步骤202相应的处理过程为，如果在驾驶员行为视频中检测出包含第一类注意力分散行为的视频段，则发出报警信号。

在步骤203中，车载设备在驾驶员行为视频中确定包含检测出的第一类注意力分散行为的候选报警视频，向检测服务器发送候选报警视频。

在实施中，在驾驶员行为视频中检测出第一类注意力分散行为后，可以在驾驶员行为视频中截取行为发生时间前后共设定时长(如12s)的候选报警视频，并向检测服务器发送候选报警视频。

在一种可能的实现方式中，如果第一检测为将驾驶员行为视频的每个图像帧输入至第一注意力检测模型中，则步骤203相应的处理过程可以如下所述，如果在驾驶员行为视频中检测到包含第一类注意力分散行为的图像帧，则在驾驶员行为视频中截取包含该图像帧的候选报警视频，向检测服务器发送候选报警视频。

在另一种可能的实现方式中，如果第一检测为将驾驶员行为视频中的每个视频段输入至第一注意力检测模型中，则步骤203相应的处理过程可以如下所述，如果在驾驶员行为视频中检测到包含第一类注意力分散行为的视频段，则在驾驶员行为视频中截取包含该视频段的候选报警视频，向检测服务器发送候选报警视频。

另外，除了发送候选报警视频之外，还可以向检测服务器发送车辆的位置、车速和注意力分散行为发生时间等信息，以便于监管机构对注意力分散行为的危险性进行更好的判断，例如，车速越高，则注意力分散行为的危险性越强。则步骤203相应的处理过程可以如下所述，在检测出第一类注意力分散行为时，获取车辆的位置、车速和行为发生时间，向检测服务器发送车辆的位置、车速和行为发生时间。

需要说明的是，上述步骤202和步骤203的处理顺序，可以为先进行步骤202，然后再进行步骤203，也可以为先进行步骤203再进行步骤202，还可以同时进行，本申请对此不做限定。

在步骤204中，检测服务器对候选报警视频进行第二检测。

其中，第一检测的误检率高于第二检测的误检率。第二检测的检出率低于第一检测的检出率。

在实施中，由于车载设备在对驾驶视频进行第一检测时的检测阈值较低，则第一检测的检出率较高，漏检率较低，但这不可避免的使得误检率较高。所以，如果将车载设备发送的报警视频，直接发送给告警平台，则会导致告警平台上存在过多的错误报警视频(即一些实质不存在注意力分散行为的报警视频)，造成告警平台资源的浪费。

所以，本申请设置检测服务器对车载设备发送的候选报警视频进行筛选。由于检测服务器的硬件资源丰富，计算能力与系统调度能力都很强大，可以运行较为复杂且准确度较高的检测算法，所以检测服务器可以对候选报警视频进行精准的筛选。可以理解的是，第二检测与第一检测相比，第二检测的注意力分散行为检出率应当低于第一检测的注意力分析行为检出率，第二检测的误检率低于第一检测的误检率。

在一种可能的实现方式中，该第二检测可以为通过深度学习算法进行的检测，则步骤204相应的处理过程可以如下所述，将候选报警视频输入至第二注意力监测神经网络模型中进行第二检测。

在实施中，将候选报警视频输入至第二注意力监测神经网络模型中，可以是，将候选报警视频中的每一个图像帧分别输入至第二注意力监测神经网络模型中；也可以是，将候选报警视频中的多个连续的图像帧(即一个视频段，该视频段可以为整个候选报警视频，也可以为候选报警视频的一部分)输入至第二注意力监测神经网络模型中，本申请对此不做限定。对于上述第一种情况，检测出的是包含注意力分散行为的图像帧，对于上述第二种情况，检测出的是包含注意力分散行为的视频段。

通过这一步的操作，可以进一步降低车载设备为了提高注意力分散行为检出率，而调低检测阈值增加的误检带来的影响。

在步骤205中，如果检测服务器在候选报警视频中检测出第一类注意力分散行为，则确定候选报警视频为报警视频。

在实施中，如果检测服务器在候选报警视频仍然检测出第一类注意力分散行为，说明车载设备的检测无误，则确定候选报警视频为报警视频。

在一种可能的实现方式中，为了便于管理员查看，则步骤205相应的处理过程可以如下所述，如果在候选报警视频中检测出第一类注意力分散行为，则在报警视频中抓取目标图像帧，确定目标图像帧为注意力分散行为展示图片。

在实施中，通过在报警视频中抓取目标图像帧作为注意力分散行为展示图片。使得管理人员在确认驾驶员的注意力分散行为时，可以直接通过注意力分散行为展示图片来对驾驶员的注意力分散行为进行了解，而可以不必打开报警视频。从而，减少了管理员的工作量。

另外，在一种可能的实现方式中，如果检测服务器在接收候选报警视频的同时，还接收了车辆的位置、车速和行为发生时间，则步骤205相应的处理过程可以如下所述，如果在候选报警视频中检测出第一类注意力分散行为，则确定该车辆的位置、车速和行为发生时间为报警附加信息。从而，便于监管机构对注意力分散行为的危险性进行更好的判断，例如，车速越高，则注意力分散行为的危险性越强。

需要说明的是，告警平台可以运行在检测服务器上，则告警平台可以对确定的报警视频、注意力分散行为展示图片和报警附加信息进行存储，以便于工作人员查看。对于非报警视频的候选报警视频，则可以丢弃这些候选报警视频，并丢弃这些候选报警视频对应的车辆的位置、车速和行为发生时间。

如图3所示，告警平台也可以独立于检测服务器，驾驶员注意力监测的系统还包括告警平台。则检测服务器可以将确定的报警视频、注意力分散行为展示图片和报警附加信息向告警平台发送。对于非报警视频的候选报警视频，则不向告警平台发送，并可以将该候选报警视频和对应的车辆的位置、车速和行为发生时间丢弃。

本申请实施例提供的技术方案，设置经车载设备第一检测出的候选报警视频，需要经检测服务器第二检测后，才能确定候选报警视频是否为报警视频。这样，由于检测服务器的计算能力较强，所以可以使用较为复杂且准确度较高的算法，从而，经检测服务器第二检测确定出的报警视频的准确率较高，提高了报警视频的准确率。

并且，由于检测服务器可以对车载设备发送的报警视频进行筛选，所以车载设备的第一检测的检测阈值可以设置的低一些，即第一检测的注意力分散行为检出率可以较高。这样，可以使车载设备在驾驶员出现注意力不集中行为时，尽可能的均发出报警信号，从而，保证驾驶员能够得到及时的提醒。而且，由于检测服务器的存在，即使第一检测的注意力分散行为检出率较高，也不会发生发送到告警平台的错误的报警数据的数量较多的问题。

如图4所示，提供了又一种驾驶员注意力监测的方法的流程图，该流程图主要针对于检测出第二类注意力分散行为的情况进行说明，该方法可以包括如下步骤：

在步骤301中，车载设备对驾驶员行为视频进行第一检测。

其中，车载设备可以为设置在车辆上的嵌入式设备，车载设备可以与车辆上设置的摄像设备连接，该摄像设备可以对驾驶员的驾驶员行为视频进行采集。

在实施中，车载设备可以从摄像设备实时的获取驾驶员行为视频，并对驾驶员行为视频进行第一检测。

在一种可能的实现方式中，该第一检测可以为通过深度学习算法进行的检测，则步骤301相应的处理过程可以如下所述，将驾驶员行为视频输入至第一注意力检测神经网络模型中进行第一检测。

在实施中，将驾驶员行为视频输入至第一注意力检测神经网络模型中，可以是，将驾驶员行为视频中的每一个图像帧分别输入至第一注意力检测神经网络模型中；也可以是，将驾驶员行为视频中的多个连续的图像帧(即一个视频段)输入至第一注意力监测神经网络模型中，本申请对此不做限定。对于上述第一种情况，检测出的是包含注意力分散行为的图像帧，对于上述第二种情况，检测出的是包含注意力分散行为的视频段。

另外，为了避免车载设备因未检测到注意力分散行为，而漏发报警信号，造成车载设备不能及时提醒驾驶人员集中注意力的现象的发生。可以使第一检测的注意力分散行为检出率较高，即将第一检测的检测阈值设置的低一些，尽可能的检出所有注意力分散行为，降低漏检率。

检测阈值的确定的方法可以如下所述：

使用大量的包含注意力分散行为的驾驶员行为视频的样本对第一注意力检测神经网络模型进行训练，并统计出不同检测阈值对应的误检率，其中，误检率用于表征将非注意力分散行为误检为注意力分散行为的比率。

然后，在直角坐标系上绘出误检率与检出阈值的二维关系图，由于注意力分散行为检出率会随着检测阈值的增加而降低，所以为了保证注意力分散行为检出率，选择斜率不再明显降低的拐点代表的检出阈值作为第一检测的检出阈值。

按照上述方法选择出一个较低的检测阈值，这样可以保证车载设备的漏检率较低，当驾驶员注意力分散的情况发生时及时警视驾驶员，防止事故的发生。

在步骤302中，如果在驾驶员行为视频中检测出第二类注意力分散行为，则在驾驶员行为视频中确定包含检测出的第二类注意力分散行为的候选报警视频，向检测服务器发送候选报警视频。

其中，第一类注意力分散行为的检测难度低于第二类注意力分散行为的检测难度，第一类注意力分散行为的危险系数高于第二类注意力分散行为的危险系数。

第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种。

第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。与第一类注意力分散行为相比，第二类注意力分散行为的特征不太明显。

在实施中，由于第二类注意力分散行为的检测难度较大，再加上车载设备的计算能力较差，运行的算法较为简单，所以车载设备检测第二类注意力分散行为的误检率较高。因此，如果设置车载设备检测到第二类注意力分散行为后，即发出报警信号，则会使得车载设备在驾驶员未出现注意力分散行为的情况下发出报警信号，使得驾驶员受到干扰，影响驾驶员的驾驶体验。

所以，本申请设置车载设备检测到第二类注意力分散行为之后，先不发出报警信号。而是，向车载设备发送候选报警视频，并基于检测服务器的反馈信息，确定是否发出报警信号。而且，由于第二类注意力分散行为具有持续一段时间的特定，所以，上述设置也不会造成报警信号发出的过迟。

具体的，在驾驶员行为视频中检测出第二类注意力分散行为后，可以在驾驶员行为视频中截取行为发生时间前后共设定时长(如12s)的候选报警视频，并向检测服务器发送候选报警视频。

在一种可能的实现方式中，如果第一检测为将驾驶员行为视频的每个图像帧输入至第一注意力检测模型中，则步骤302相应的处理过程可以如下所述，如果在驾驶员行为视频中检测到包含第二类注意力分散行为的图像帧，则在驾驶员行为视频中截取包含该图像帧的候选报警视频，向检测服务器发送候选报警视频。

在另一种可能的实现方式中，如果第一检测为将驾驶员行为视频中的每个视频段输入至第一注意力检测模型中，则步骤302相应的处理过程可以如下所述，如果在驾驶员行为视频中检测到包含第二类注意力分散行为的视频段，则在驾驶员行为视频中截取包含该视频段的候选报警视频，向检测服务器发送候选报警视频。

另外，除了发送候选报警视频之外，还可以向检测服务器发送车辆的位置、车速和注意力分散行为发生时间等信息，以便于监管机构对注意力分散行为的危险性进行更好的判断，例如，车速越高，则注意力分散行为的危险性越强。则步骤302相应的处理过程可以如下所述，在检测出第二类注意力分散行为时，获取车辆的位置、车速和行为发生时间，向检测服务器发送车辆的位置、车速和行为发生时间。

在步骤303中，检测服务器对候选报警视频进行第二检测。

其中，第一检测的误检率高于第二检测的误检率。第二检测的检出率低于第一检测的检出率。

在实施中，由于车载设备在对驾驶视频进行第一检测时的检测阈值较低，则第一检测的检出率较高，漏检率较低，但这不可避免的使得误检率较高。所以，如果将车载设备发送的候选报警视频，直接发送给告警平台，则会导致告警平台上存在过多的错误报警视频(即一些实质不存在注意力分散行为的报警视频)，造成告警平台资源的浪费。

所以本申请配置检测服务器对车载设备发送的候选报警视频进行筛选。由于检测服务器的硬件资源丰富，计算能力与系统调度能力都很强大，可以运行较为复杂且准确度较高的检测算法，所以检测服务器可以对候选报警视频进行精准的筛选。可以理解的是，第二检测与第一检测相比，第二检测的注意力分散行为检出率应当低于第一检测的注意力分析行为检出率，第二检测的误检率低于第一检测的误检率。

在一种可能的实现方式中，该第二检测可以为通过深度学习算法进行的检测，则步骤303相应的处理过程可以如下所述，将候选报警视频输入至第二注意力监测神经网络模型中进行第二检测。

在实施中，将候选报警视频输入至第二注意力监测神经网络模型中，可以是，将候选报警视频中的每一个图像帧分别输入至第二注意力监测神经网络模型中；也可以是，将候选报警视频中的多个连续的图像帧(即一个视频段，该视频段可以为整个候选报警视频，也可以为候选报警视频的一部分)输入至第二注意力监测神经网络模型中，本申请对此不做限定。对于上述第一种情况，检测出的是包含注意力分散行为的图像帧，对于上述第二种情况，检测出的是包含注意力分散行为的视频段。

需要说明的是，候选报警视频可以分为第一类注意力分散行为的候选报警视频和第二类注意力分散行为的候选报警视频。对于这两类候选报警视频可以采用同一算法进行第二检测，也可以采用不同的算法进行第二检测，本申请对此不做限定。

在步骤304中，如果检测服务器在候选报警视频中检测出第二类注意力分散行为，确定候选报警视频为报警视频。

在实施中，如果检测服务器在候选报警视频仍然检测出第二类注意力分散行为，说明车载设备的检测无误，则确定候选报警视频为报警视频。

在一种可能的实现方式中，为了便于管理员查看，则步骤304相应的处理过程可以如下所述，如果在候选报警视频中检测出第二类注意力分散行为，则在报警视频中抓取目标图像帧，确定目标图像帧为注意力分散行为展示图片。

在实施中，通过在报警视频中抓取目标图像帧作为注意力分散行为展示图片。使得管理人员在确认驾驶员的注意力分散行为时，可以直接通过注意力分散行为展示图片来对驾驶员的注意力分散行为进行了解，而可以不必打开报警视频。从而，减少了管理员的工作量。

另外，在一种可能的实现方式中，如果检测服务器在接收候选报警视频的同时，还接收了车辆的位置、车速和行为发生时间，则步骤304相应的处理过程可以如下所述，如果在候选报警视频中检测出第二类注意力分散行为，则确定该车辆的位置、车速和行为发生时间为报警附加信息。从而，便于监管机构对注意力分散行为的危险性进行更好的判断，例如，车速越高，则注意力分散行为的危险性越强。

需要说明的是，告警平台可以运行在检测服务器上，则告警平台可以对确定的报警视频、注意力分散行为展示图片和报警附加信息进行存储，以便于工作人员查看。对于非报警视频的候选报警视频，则可以丢弃这些候选报警视频，并丢弃这些候选报警视频对应的车辆的位置、车速和行为发生时间。

如图5所示，告警平台也可以独立于检测服务器，驾驶员注意力监测的系统还包括告警平台。则检测服务器可以将确定的报警视频、注意力分散行为展示图片和报警附加信息向告警平台发送。对于非报警视频的候选报警视频，则不向告警平台发送，并可以将该候选报警视频和对应的车辆的位置、车速和行为发生时间丢弃。

在步骤305中，检测服务器向车载设备发送报警消息。

在实施中，由于检测服务器的计算能力较强，检测的准确率较高，所以如果检测服务器仍然检测出第二类注意力分散行为，则检测服务器可以向车载设备发送报警消息。

如果检测服务器未检测出第二类注意力分散行为，则检测服务器可以向车载设备发送不报警消息，或者，不向车载设备发送任何消息。

在步骤306中，车载设备响应于报警消息，发出报警信号。

在实施中，车载设备接收检测服务器发送的报警消息，响应于报警消息，发出报警信号。

如果车载设备接收到检测服务器发送的不报警消息，或者，车载设备在设定时长内未接收到检测服务器发送的报警消息，则车载设备不发出报警信号。

本申请实施例提供的技术方案，设置经车载设备第一检测出的候选报警视频，需要经检测服务器第二检测后，才能确定候选报警视频是否为报警视频。这样，由于检测服务器的计算能力较强，所以可以使用较为复杂且准确度较高的算法，从而，经检测服务器第二检测确定出的报警视频的准确率较高，提高了报警视频的准确率。

并且，通过计算能力较强的检测服务器，可以对车载设备发送的包含第二类注意力分散行为的候选报警视频进行比较准确的检测，并在检测服务器再次检测到第二类注意力分散行为时，向车载设备发送报警消息，以使车载设备发出报警信号。从而，可以对特征不明显的，检测难度较高的第二类注意力分散行为进行较为准确的检测。

如图6所示，提供了另一种驾驶员注意力监测的方法的流程图，该流程图将检测到第一类注意力分散行为和第二类注意力分散行为的情况进行了统一说明，该方法如下所述。

(1)算法配置

根据对基于卷积神经网络的检测算法进行训练与研究，总结出两套检测算法，其中，一个是可以在车载设备上运行的轻量级检测算法(即第一注意力检测神经网络模型)，另一个是复杂的且更加精准的可以运行在检测服务器上的复杂检测算法(即第二注意力监测神经网络模型)。

在车载设备上配置轻量级检测算法，在检测服务器上配置复杂检测算法。

(2)实际应用

在实际使用过程中，车载设备可以连接一台车载红外摄像头，摄像头对准车辆驾驶员并对此驾驶员的行为进行视频采集。车载设备从摄像头获取驾驶员行为视频，并对驾驶员行为视频进行第一检测。

当车载设备检测到第一类注意力分散行为时：

车载设备会立刻发出报警信号(例如，声光报警信号)，并收集报警信息和确定候选报警视频，其中，报警信息可以包括行为发生时间、车辆位置和车速等相关信息，候选报警视频可以为在驾驶行为视频中截取的行为发生时间前后共12s的视频。然后，通过无线发送模块将报警信息和候选报警视频发送至检测服务器进行进一步的筛选。

检测服务器对候选报警视频进行第二检测，若检测服务器也检测出了第一类注意力分散行为，则确定候选报警视频为报警视频，并抓取目标图像帧，作为注意力分散行为展示图片。最后，将目标图像帧、报警视频和报警信息整合为报警数据，并发送至告警平台。

告警平台接收报警数据，以供管理员查看。

当检测到第二类注意力分散行为时：

由于第二类注意力分散行为的检测难度较大，并且通常需要持续一点时间，所以车载设备不会立即发出报警信号，而是先收集报警信息和确定候选报警视频，并将报警信息和候选报警视频发送给检测服务器进行进一步的筛选。

检测服务器对候选报警视频进行第二检测，如果检测服务器也检测出了第二类注意力分散行为，则确定候选报警视频为报警视频，向车载设备发送报警消息，则车载设备在接收到报警消息之后，发出报警信号。并且，检测服务器抓取目标图像帧，作为注意力分散行为展示图片。将目标图像帧、报警视频和报警消息整合为报警数据，并发送至告警平台。

告警平台接收报警数据，以供管理员查看。

基于相同的技术构思，本申请实施例还提供了一种驾驶员注意力监测的系统，该系统包括包括车载设备和检测服务器，其中，

车载设备，用于对驾驶员行为视频进行第一检测，如果在驾驶员行为视频中检测出注意力分散行为，则在驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，向检测服务器发送候选报警视频；

检测服务器，用于对候选报警视频进行第二检测，如果在候选报警视频中检测出注意力分散行为，则确定候选报警视频为报警视频。

在一种可能的实现方式中，第一检测的误检率高于第二检测的误检率。

在一种可能的实现方式中，注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，第一类注意力分散行为的检测难度低于第二类注意力分散行为的检测难度，第一类注意力分散行为的危险系数高于第二类注意力分散行为的危险系数。

在一种可能的实现方式中，车载设备，还用于如果在驾驶员行为视频中检测出第一类注意力分散行为，则发出报警信号。

在一种可能的实现方式中，检测服务器，还用于如果在候选报警视频中检测出第二类注意力分散行为，则向车载设备发送报警消息；

车载设备，还用于响应于报警消息，发出报警信号。

在一种可能的实现方式中，第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种；

第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种。

在一种可能的实现方式中，车载设备，还用于如果在驾驶员行为视频中检测出注意力分散行为，则获取车辆的位置、车速和行为发生时间，向检测服务器发送位置、车速和行为发生时间；

检测服务器，还用于如果在候选报警视频中检测出注意力分散行为，则确定位置、车速和行为发生时间为报警附加信息。

在一种可能的实现方式中，检测服务器，还用于如果在候选报警视频中检测出注意力分散行为，则在候选报警视频中抓取目标图像帧，确定目标图像帧为注意力分散行为展示图片。

在一种可能的实现方式中，系统还包括告警平台，检测服务器，还用于向告警平台发送报警视频、报警附加信息和注意力分散行为展示图片。

关于上述实施例中的系统，其中各个设备执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

需要说明的是：上述实施例提供的驾驶员注意力监测的系统与驾驶员注意力监测的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例还提供了一种车载设备，该车载设备包括存储器和处理器，存储器中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现上述驾驶员注意力监测的方法中车载设备侧的方法。

本申请实施例还提供了一种检测服务器，该检测服务器包括存储器和处理器，存储器中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现上述驾驶员注意力监测的方法中检测服务器侧的方法。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (2)

1.一种驾驶员注意力监测的系统，其特征在于，所述系统包括车载设备、检测服务器和告警平台；

所述车载设备，用于对驾驶员行为视频进行第一检测，如果在所述驾驶员行为视频中检测出注意力分散行为，则在所述驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，且获取车辆的位置、车速和行为发生时间，向所述检测服务器发送所述候选报警视频、所述位置、所述车速和所述行为发生时间；

其中，所述注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，所述第一类注意力分散行为的检测难度低于所述第二类注意力分散行为的检测难度，所述第一类注意力分散行为的危险系数高于所述第二类注意力分散行为的危险系数，所述第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种，所述第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种；

所述车载设备，还用于如果检测出的注意力分散行为为所述第一类注意力分散行为，则发出报警信号，如果检测出的注意力分散行为为所述第二类注意力分散行为，则不发出报警信号；

所述检测服务器，用于对所述候选报警视频进行第二检测，如果在所述候选报警视频中检测出第二类注意力分散行为，则向所述车载设备发送报警消息；并确定所述候选报警视频为报警视频，确定所述位置、所述车速和所述行为发生时间为报警附加信息，在所述候选报警视频中抓取目标图像帧，确定所述目标图像帧为注意力分散行为展示图片；向所述告警平台发送所述报警视频、所述报警附加信息和所述注意力分散行为展示图片；丢弃非报警视频的候选报警视频以及对应的车辆的位置、车速和行为发生时间；

所述车载设备，还用于响应于所述报警消息，发出报警信号；

其中，所述第一检测的注意力分散行为检出率高于所述第二检测的注意力分散行为检出率，所述第一检测的误检率高于所述第二检测的误检率，所述误检率用于表征将非注意力分散行为误检为注意力分散行为的比率。

2.一种驾驶员注意力监测的方法，其特征在于，所述方法应用在驾驶员注意力监测的系统中，所述系统包括车载设备、检测服务器和告警平台，所述方法包括：

所述车载设备对驾驶员行为视频进行第一检测，如果在所述驾驶员行为视频中检测出注意力分散行为，则在所述驾驶员行为视频中确定包含检测出的注意力分散行为的候选报警视频，且获取车辆的位置、车速和行为发生时间，向所述检测服务器发送所述候选报警视频、所述位置、所述车速和所述行为发生时间；

其中，所述注意力分散行为包括第一类注意力分散行为和第二类注意力分散行为，所述第一类注意力分散行为的检测难度低于所述第二类注意力分散行为的检测难度，所述第一类注意力分散行为的危险系数高于所述第二类注意力分散行为的危险系数，所述第一类注意力分散行为包括打哈欠、闭眼、打电话、抽烟、不系安全带、离开驾驶座、遮挡摄像头、双手脱离方向盘和单手脱离方向盘中的一种或多种，所述第二类注意力分散行为包括吃喝、聊天、手舞足蹈和未穿工作服中的一种或多种；

如果所述车载设备检测出的注意力分散行为为所述第一类注意力分散行为，则发出报警信号，如果所述车载设备检测出的注意力分散行为为所述第二类注意力分散行为，则不发出报警信号；

所述检测服务器对所述候选报警视频进行第二检测，如果在所述候选报警视频中检测出第二类注意力分散行为，则向所述车载设备发送报警消息；并确定所述候选报警视频为报警视频，确定所述位置、所述车速和所述行为发生时间为报警附加信息，在所述候选报警视频中抓取目标图像帧，确定所述目标图像帧为注意力分散行为展示图片；向所述告警平台发送所述报警视频、所述报警附加信息和所述注意力分散行为展示图片；丢弃非报警视频的候选报警视频以及对应的车辆的位置、车速和行为发生时间；

所述车载设备响应于所述报警消息，发出报警信号；

其中，所述第一检测的注意力分散行为检出率高于所述第二检测的注意力分散行为检出率，所述第一检测的误检率高于所述第二检测的误检率，所述误检率用于表征将非注意力分散行为误检为注意力分散行为的比率。