CN109685026A - 一种驾驶员手持手机通话的实时监测方法 - Google Patents

Abstract

本发明的驾驶员手持手机通话的实时监测方法，包括如下步骤：步骤1）获取安装在驾驶员前上方的车载摄像头的视频数据；步骤2）在每帧图像上，通过人体特征点检测模型得到一系列人体部位的特征点的位置；步骤3）根据所述特征点，得到人的姿态特征，初步判断是否符合打手机的姿态特征。步骤4）如果符合，再将当前帧的图像截取靠近头部的手部区域后通过物体检测模型检测是否有手机存在；步骤5）连续判断n帧实时图像，如果大于a%的图像判断为驾驶员手持手机通话，则判定驾驶员手持手机通话。有益效果：无需人工干预。并且该方法采用的算法鲁棒性好，识别准确，适合不同的光照条件，对摄像头分辨率要求不高，移植性好，实用性强。

Description

一种驾驶员手持手机通话的实时监测方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种驾驶员手持手机通话的实时监测方法。

背景技术

公路客运出行费用较低，出行时间和线路相对灵活，成为一些外出务工、求学、旅游等出行人员的常用出行方式。但是，由于公路长途客运运行里程长，途经道路交通环境复杂，发生事故的几率也相对较高，同时长途客运车辆载客量大，一旦发生事故，极易造成群死群伤的恶性事件。为了安全，长途客运公司对驾驶员的驾驶行为提出了严格的要求。比如，行车过程中严禁手持手机通话，严禁吃东西，严禁双手拖把，严禁抽烟等。在这些行为中，手持手机通话是驾驶员最容易做的违规行为。手持手机通话不仅会分散驾驶员的注意力，而且通话时的电磁波会对脑细胞的活动造成一定的抑制及破坏，严重时会抑制脑细胞的活动，降低了驾驶的安全性。研究表明，驾驶时使用手机发生交通事故概率是正常时的四倍。为了对驾驶员的行为进行监督，大量的长途客车的驾驶室内安装了监控摄像头，实时记录驾驶员的驾驶情况。然而长途汽车数量多，驾驶里程长，现有依靠人工察看视频、发现违章、上报违章的方式，无法实现安全监管全覆盖，需要计算机在监控视频中实时分析驾驶员的行为，发现手持手机通话的违章行为并及时提醒，自动上报，避免事故的发生。

目前，针对驾驶员打手机的检测方法包括：利用肤色模型检测脸或手，然后通过分析脸上的嘴或手的行为模型来判断；在检测人脸后，确定左右耳朵区域，得到左右耳朵区域的特征向量，判断是否在打手机；在检测脸和手后，通过比较脸和手的位置关系，决定是否在打手机。但是这些方法没有检测相应的位置是否有手机存在，容易把手靠近头（或者耳朵）的其它正常的行为（挠或摸耳朵）识别为打手机，鲁棒性不够。另外，通过肤色模型检测脸和手容易受光照的影响，会出现检测不准确的问题。

发明内容

本发明的目的在于克服上述现有技术之不足，提出了一种结合物体识别和人体特征点检测的驾驶员手持手机通话的实时监测方法，通过大型客运车辆的车载监控摄行头，实时监测驾驶员的手持手机通话行为，具备实时性强，鲁棒性高，易于推广的特点，该方法具体由以下技术方案实现：

所述驾驶员手持手机通话的实时监测方法，包括如下步骤：

步骤1）获取安装在驾驶员前上方的车载摄像头的视频数据；

步骤2）在每帧图像上，通过人体特征点检测模型得到包含有头顶、脖子、左右肩膀、左右胳膊肘、左右手腕以及骨盆一系列人体部位的特征点的位置；

步骤3）根据所述特征点，得到人的姿态特征，初步判断是否符合打手机的姿态特征。

步骤4）如果符合，再将当前帧的图像截取靠近头部的手部区域后通过物体检测模型检测是否有手机存在，如果检测到手机，则判定当前图像中驾驶员在手持手机通话；否则不做任何处理；

步骤5）连续判断n帧实时图像，如果大于a%的图像判断为驾驶员手持手机通话，则判定驾驶员手持手机通话。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，所述步骤（１）中，车载摄像头获取的数据是YUV420格式，在将视频数据转换成352*288的RGB彩色图像格式后，进行后续的图像处理。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，步骤（２）中人体特征点检测模型由神经网络在公开的数据集MPII和LSP上训练得到，当有新的RGB彩色图像时，只要将图像尺寸缩放到299x299，然后输入到人体特征点的检测模型中，得到人体特征点热力图，每个图上概率最大的位置设定为对应的人体特征点的位置。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，步骤（２）中，所述神经网络使用公开的incepton_resnet_v2神经网络为基础，在incepton_resnet_v2神经网络后依次添加了一个核为1*1、步长为１、含有32个输出的卷积层与一个核为17*17,步长是17、输出为９的反卷积层，形成一个输入、输出均为4维张量的神经网络。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，所述输入的4维张量的形式为：[batch_size, in_height, in_width, 3]，其中in_height和in_width都是299,batch_size是每个批次处理的图像数量，3表示每一个图像是RGB３通道的彩色图像。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，所述输出的4维张量的形式为：[batch_size, out_height, out_width, ９]，out_height和out_width都为289,batch_size为每个批次处理的图像数量，９代表了９个特征点的热力图，每个热力图依次对应一个特征点，图上每个像素点代表了该像素点成为人体特征点的概率。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，所述步骤3）中计算任意两个人体特征点之间的距离，以及任意三个人体特征点之间的角度作为特征，并依次使用每一个单个的特征，在训练集上测试每个特征分类的准确性，然后选取准确率最高的8个特征作为后续步骤要使用的特征。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，步骤4）中手附近的区域是指在步骤３）中检测到在手持手机通话的情况下，选择一个正方形区域，所述正方形区域的下边缘是靠近脖子的手腕的位置，上边缘是头顶的位置，左边缘是在靠近脖子的手腕往左d/2的距离，d表示正方形区域上下边缘的距离差，右边缘是在靠近脖子的手腕往右d/2的距离。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，步骤4）所述物体检测模型是一个物体检测器YOLO，所述物体检测器YOLO由公开的数据集ImageNet手机和非手机图像以及从网上收集到的手机图像，对图像进行标记后，通过原图像和对应的标记图像组成训练集来训练得到。

所述驾驶员手持手机通话的实时监测方法的进一步设计在于，步骤4）中训练好的物体检测模型作用在手部区域对应的子图像上，YOLO通过外接矩形框的形式给出手机区域的位置和相应的概率。

本发明的有益效果：

本发明的驾驶员手持手机通话的实时监测方法可以在大型车辆（长途大巴、危化品运输车等）上实现对驾驶员的手持手机通话行为的实时监测和报警，无需人工干预。并且该方法采用的算法鲁棒性好，识别准确，适合不同的光照条件，对摄像头分辨率要求不高，移植性好，实用性强。

附图说明

图1为本发明方法流程图。

图2为人体特征点示意图。

图3为施例中摄像头采集的图像。

图4为实施例中检测到的人体特征点。

图5为实施例中驾驶员人体特征点的检测结果。

图6为实施例中手附近区域示意图（头部附近黄色的正方形区域）。

图7为实施例中检测到的手机示意图（头部附近淡蓝色的长方形区域）。

具体实施方式

以下结合附图对本发明做进一步详细说明。

如图1，本发明提供的驾驶员手持手机通话的实时监测方法具体包括如下步骤：

步骤1)获取安装在驾驶员前上方的车载摄像头的视频数据。

步骤2)在每帧图像上，通过人体特征点检测模型Ｄ得到头顶、脖子、左右肩膀、左右胳膊肘、左右手腕、骨盆等特征点的位置（如图２所示，对于驾驶员，本发明主要检测上半身）。

步骤3)利用这些特征点，得到人的姿态特征，初步判断是否符合打手机的姿态特征。

如果符合，再在当前图像的靠近头部的左手或右手附近区域Ａ利用物体检测模型Ｒ确定手中具体的物体，即检测是否有手机存在。如果检测到手机，则判定当前图像中驾驶员在手持手机通话。否则，这个行为不判断为手持手机通话，不做任何处理。

步骤4)为了保证算法的稳定性，连续判断n帧实时图像，如果大于a%的图像判断为手持手机通话，就最终判断为驾驶员手持手机通话。本实施例中，n取10,a取70。

步骤（１）中，车载摄像头获取的数据是YUV420格式的，本发明在转换成352*288的RGB彩色图像格式后，进行后续的图像处理。

步骤（２）中，使用公开的incepton_resnet_v2神经网络为基础，后面加了一个核是1*1,步长是１，32个输出的卷积层，以及一个核是17*17,步长是17的输出为９的反卷积层。整个神经网络的输入是一个4维的张量([batch_size, in_height, in_width, 3]，in_height和in_width都是299,batch_size是每个批次处理的图像数量，3表示每一个图像是RGB３通道的彩色图像),输出也是一个4维的张量([batch_size, out_height, out_width,９]，out_height和out_width都是289,batch_size是每个批次处理的图像数量，９代表了９个特征点热力图，每个图依次对应一个特征点，图上每个像素点代表了这个点成为人体特征点的概率)。整个网络在公开的数据集MPII和LSP上训练，得到人体特征点的检测模型D。当有新的RGB彩色图像时，只要将其尺寸缩放到299x299，然后输入到上述训练好的神经网络（人体特征点的检测模型），即可得到９人体特征点热力图，每个图上概率最大的那个位置就是对应的人体特征点的位置。

步骤（３）中，人体的姿态特征就是由这些特征点的相互关系得到的。为了得到好的特征，本发明计算任意两个特征点之间的距离，以及任意三个特征点之间的角度作为特征，并依次使用每一个单个的特征，在训练集上测试每个特征分类的准确性，然后选取准确率最高的8个特征作为后续步骤要使用的特征。如图2，这8个特征如下：

a)线段p5-p3和线段p5-p7的夹角度数

b)线段p4-p2和线段p4-p6的夹角度数

c)线段p2-p4和线段p2-p1的夹角度数

d)线段p3-p5和线段p3-p1的夹角度数

e)p7对p1的偏移量deltaY

f)p7对p1的偏移量deltaX

g)p7和p0间的距离

h)p7和p6间的距离。

本实施例将手持手机通话和其它行为作为一个二分类问题的两个类别。设定驾驶员手持手机通话为１，其它为０。通过在训练数据上的每个图像提取上述的特征，对应的是否手持手机通话作为标签（１或者０），组成训练集来训练支持向量机。当有新的图像时，也是提取上述的特征，输入支持向量机，如果输出为１表示符合打手机的姿态特征，否则表示不符合打手机的姿态特征。

步骤（４）中，手附近的区域Ａ，是指在步骤（３）检测到可能在手持手机通话的情况下，选择一个正方形区域，下边缘是靠近脖子的那个手腕的位置，上边缘是头顶的位置，并计算上下边缘的距离差d，左边缘是在靠近脖子的那个手腕往左d/2的距离，右边缘是在靠近脖子的那个手腕往右d/2的距离，如图６黄色的正方形所示。

其中，物体检测模型R ，是一个公开的物体检测器YOLO。本实施例使用公开的数据集ImageNet手机和非手机图像，以及从网上收集到的手机图像，对图像进行标记，接着使用原图像和对应的标记图像组成训练集来训练YOLO。训练好的模型作用在手附近的区域Ａ对应的子图像上，YOLO给出手机区域的位置（一个外接矩形框）和相应的概率。本实施例选取概率最大且概率大于0.3的手机区域作为检测结果。如果有这样的区域，就识别出手机，结合步骤（３）中存在打手机的姿态特征，判断驾驶员在手持手机通话，否则判断驾驶员不在手持手机通话。这里，本发明同时检测将手机放在耳边通话和开了免提放在嘴边通话的情况。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种驾驶员手持手机通话的实时监测方法，其特征在于包括如下步骤：

步骤1）获取安装在驾驶员前上方的车载摄像头的视频数据；

步骤2）在每帧图像上，通过人体特征点检测模型得到包含有头顶、脖子、左右肩膀、左右胳膊肘、左右手腕以及骨盆一系列人体部位的特征点的位置；

步骤3）根据所述特征点，得到人的姿态特征，初步判断是否符合打手机的姿态特征；

步骤4）如果符合，再将当前帧的图像截取靠近头部的手部区域后通过物体检测模型检测是否有手机存在，如果检测到手机，则判定当前图像中驾驶员在手持手机通话；否则不做任何处理；

步骤5）连续判断n帧实时图像，如果大于a%的图像判断为驾驶员手持手机通话，则判定驾驶员手持手机通话。

2.根据权利要求1所述的驾驶员手持手机通话的实时监测方法，其特征在于所述步骤（1）中，车载摄像头获取的数据是YUV420格式，在将视频数据转换成352*288的RGB彩色图像格式后，进行后续的图像处理。

3.根据权利要求1所述的驾驶员手持手机通话的实时监测方法，其特征在于步骤（２）中人体特征点检测模型由神经网络在公开的数据集MPII和LSP上训练得到，当有新的RGB彩色图像时，只要将图像尺寸缩放到299x299，然后输入到人体特征点的检测模型中，得到人体特征点热力图，每个图上概率最大的位置设定为对应的人体特征点的位置。

4.根据权利要求3所述的驾驶员手持手机通话的实时监测方法，其特征在于步骤（２）中，所述神经网络使用公开的incepton_resnet_v2神经网络为基础，在incepton_resnet_v2神经网络后依次添加了一个核为1*1、步长为1、含有32个输出的卷积层与一个核为17*17,步长是17、输出为９的反卷积层，形成一个输入、输出均为4维张量的神经网络。

5.根据权利要求4所述的驾驶员手持手机通话的实时监测方法，其特征在于所述输入的4维张量的形式为：[batch_size, in_height, in_width, 3]，其中in_height和in_width都是299,batch_size是每个批次处理的图像数量，3表示每一个图像是RGB３通道的彩色图像。

6.根据权利要求4所述的驾驶员手持手机通话的实时监测方法，其特征在于所述输出的4维张量的形式为：[batch_size, out_height, out_width, ９]，out_height和out_width都为289,batch_size为每个批次处理的图像数量，９代表了９个特征点的热力图，每个热力图依次对应一个特征点，图上每个像素点代表了该像素点成为人体特征点的概率。

7.根据权利要求5或6所述的驾驶员手持手机通话的实时监测方法，其特征在于所述步骤3）中计算任意两个人体特征点之间的距离，以及任意三个人体特征点之间的角度作为特征，并依次使用每一个单个的特征，在训练集上测试每个特征分类的准确性，然后选取准确率最高的8个特征作为后续步骤要使用的特征。

8.根据权利要求1所述的驾驶员手持手机通话的实时监测方法，其特征在于步骤4）中手附近的区域是指在步骤３）中检测到在手持手机通话的情况下，选择一个正方形区域，所述正方形区域的下边缘是靠近脖子的手腕的位置，上边缘是头顶的位置，左边缘是在靠近脖子的手腕往左d/2的距离，d表示正方形区域上下边缘的距离差，右边缘是在靠近脖子的手腕往右d/2的距离。

9.根据权利要求1所述的驾驶员手持手机通话的实时监测方法，其特征在于步骤4）所述物体检测模型是一个物体检测器YOLO，所述物体检测器YOLO由公开的数据集ImageNet手机和非手机图像以及从网上收集到的手机图像，对图像进行标记后，通过原图像和对应的标记图像组成训练集来训练得到。

10.根据权利要求1所述的驾驶员手持手机通话的实时监测方法，其特征在于步骤4）中训练好的物体检测模型作用在手部区域对应的子图像上，YOLO通过外接矩形框的形式给出手机区域的位置和相应的概率。