CN104899548A

CN104899548A - 一种方向盘上操作手数目视频检测方法

Info

Publication number: CN104899548A
Application number: CN201510166859.4A
Authority: CN
Inventors: 郭克友
Original assignee: Beijing Technology and Business University
Current assignee: Beijing Technology and Business University
Priority date: 2015-04-09
Filing date: 2015-04-09
Publication date: 2015-09-09

Abstract

本发明公开了一种方向盘上操作手数目视频检测方法，图像中方向盘位置确定；在椭圆上选取一点M，以点M为中心用窗口作为感兴趣区域截取图像；将感兴趣区域按顺时针方向旋转角度，进行归一化处理；将归一化处理后的彩色图像转换为灰度图像，然后对感兴趣区域进行图像预处理，得到黑白图案；将二值化后的图像表示在二维坐标系中，得到其n(x)-X曲线；设定阈值T₁＝16，当X轴方向上，连续X轴坐标点上的每一列的n(x)T₁时，令L为这些连续长度中的最大值，设定阈值T₂＝20，当LT₂时，即认为图像中有类似手形存在；本发明的有益效果是通过视频方法检测车辆驾驶中司机的双手是否离开方向盘，方法简单可靠。

Description

一种方向盘上操作手数目视频检测方法

技术领域

本发明属于视频检测方法技术领域，涉及一种方向盘上操作手数目视频检测方法。

背景技术

交通事故的发生与驾驶员不正确的驾驶操作有密切关系，驾驶员双手离开方向盘、打手机或与他人聊天等行为，均有可能因为分心而忽视道路上潜在的危险，这些驾驶行为极易被驾驶员轻视，但却容易造成非常严重的后果。尤其是在遇到紧急情况时，如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等，极易造成驾驶员无法对车辆进行快速有效的控制，从而造成极其严重的后果。

采用有效的技术手段，对驾驶员的驾驶行为和驾驶状态进行实时监测和智能评估，有利于及时发现驾驶员的违法驾驶操作，避免交通事故的发生，提高交通效率。驾驶员手离方向盘行为检测是驾驶员行为检测技术的重要组成部分，本课题的研究有利于及时发现驾驶员在驾驶过程中违规操作方向盘的行为，提醒驾驶员及时修正其违规驾驶行为，督促驾驶员养成良好的操作方向盘习惯，对减少交通事故的发生具有重要意义。基于生理信号测量的方法受检测设备复杂程度和价格因素影响的同时，还需要驾驶员佩戴仪器，对驾驶员的驾驶操作有一定的影响，因此难以实现推广应用。

基于传感器监测车辆状态的方法测量结果易受驾驶操作存在个体差异因素的影响，同时还存在测量数据不够精确和硬件成本较高等问题的限制，导致误报警率较高，因此也未能取得较好的应用效果。

基于计算机视觉的检测方法具有非接触式检测的优点，对驾驶员的干扰最小，因此本文采用该方法，但是现有的技术存在检测效果易受驾驶员相貌差异、光照条件和物体遮挡等因素的影响以及检测算法的实时性很难达到要求等问题。为解决此问题，本文从算法的角度进行改善，使得检测的效果不受此影响。

发明内容

本发明的目的在于提供一种方向盘上操作手数目视频检测方法，解决了目前针对客车驾驶员安全驾驶的检测仪器较为复杂，且对操作有影响的问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1：图像中方向盘位置确定；将摄像头安装在驾驶员前上方，方向盘与摄像头二者的相对位置保持不变，保证摄像头采集的图像完整包含驾驶员头部和方向盘，标定方向盘椭圆的中心和代表方向盘的椭圆环；

步骤2：感兴趣区域的截取；在椭圆上选取一点M，以点M为中心用窗口作为感兴趣区域截取图像；

步骤3：方向盘上操作手检测；将感兴趣区域按顺时针方向旋转角度，进行归一化处理；

步骤4：预处理；将归一化处理后的彩色图像转换为灰度图像，然后对感兴趣区域进行图像预处理，得到黑白图案；

步骤5：单一感兴趣区域操作手检测；将二值化后的图像表示在二维坐标系中，将图像向X轴方向投影，得到其n(x)-X曲线；n表示每一列中灰度值为1的像素点数，设定阈值T₁＝16，当X轴方向上，连续X轴坐标点上的每一列的n(x)＞T₁时，令L为这些连续长度中的最大值，设定阈值T₂＝20，当L＞T₂时，即认为图像中有类似手形存在；

步骤6：全方向盘搜索操作手；当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感兴趣区域是否有类似手形存在。

进一步，所述步骤2中窗口大小为30×60，窗口方向是感兴趣区域长边的对称中心线与X轴正方向的夹角，即角。

进一步，所述所述步骤3中归一化处理以M点为中心将小窗口进行旋转的，使旋转后的感兴趣区域中的方向盘处于竖直方向。

进一步，所述步骤4中预处理步骤为首先进行超限邻域平均，在进行直方图均衡化，最后进行二值化，得到黑白图案。

本发明的有益效果是通过视频方法检测车辆驾驶中司机的双手是否离开方向盘，方法简单可靠。

附图说明

图1是本发明θ＝90°、θ＝270°和θ＝280°时的二值化灰度图及其n-X曲线示意图；

图2为全方向盘搜索图形。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明的技术方案如下：

步骤1：图像中方向盘位置确定；将摄像头安装在驾驶员前上方，方向盘与摄像头二者的相对位置保持不变，保证摄像头采集的图像完整包含驾驶员头部和方向盘，方向盘的实物形状为圆形，但由于摄像头的畸变效应，方向盘在图像中的形状畸变成椭圆形，所以需将方向盘视为椭圆来处理。标定方向盘椭圆的中心和代表方向盘的椭圆环。

客车在行驶过程中车身会略有震动，导致摄像头与方向盘之间的相对位置会有小幅变动。根据实验测试，在摄像头正常安装的前提下，车辆颠簸导致的图像中方向盘实际中心点与标定中心点的不重合度误差基本小于二十个像素，本算法试验结果表明，该误差对计算结果的准确性没有影响。

步骤2：感兴趣区域的截取；在椭圆上选取一点M，以点M为中心，以30×60大小的窗口作为感兴趣区域截取图像，这个窗口以M为中心，方向是感兴趣区域长边的对称中心线与X轴正方向的夹角，即角。

步骤3：方向盘上操作手检测；感兴趣区域角度归一化处理，即将感兴趣区域按顺时针方向旋转角度，归一化处理是以M点为中心将小窗口进行旋转的，目的是使旋转后的感兴趣区域中的方向盘处于竖直方向。

这样，截取的方向盘部分图像在感兴趣区域图像中的朝向和相对位置基本一致。

步骤4：预处理；将归一化处理后的彩色图像转换为灰度图像，然后对感兴趣区域进行图像预处理，预处理步骤为：首先进行超限邻域平均，在进行直方图均衡化，最后进行二值化，得到黑白图案。

步骤5：单一感兴趣区域操作手检测；当手握住方向盘时，方向盘的局部或全部会被手覆盖，手的宽度明显大于方向盘的宽度。将二值化后的图像表示在二维坐标系中，将图像向X轴方向投影，得到其n(x)-X曲线；如图1所示为θ＝90°、θ＝270°和θ＝280°时的二值化灰度图及其n-X曲线。设定阈值T₁＝16，当X轴方向上，连续X轴坐标点上的每一列的n(x)＞T₁(如图中的X轴上的(B-A)列和(D-C)列)时，令L为这些连续长度中的最大值(图中L＝B-A)，设定阈值T₂＝20，当L＞T₂时，即认为图像中有类似手形存在。

步骤6：全方向盘搜索操作手；当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，可以提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，可以得到每个感兴趣区域是否有类似手形存在，如果用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在。则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果，将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的曲线，其中横坐标表示感兴趣区域中心线与X轴正方向的夹角纵坐标表示感兴趣区域对应的值，如图2所示为某幅图像及其曲线。从图2中可以看出，有两段V＝1的连续区域。采用中值滤波器的方法消除曲线中的断点。最大程度保持区域信息的完整，从而获得符合实际情况的AB段总长度。其中，因此，AB段的长度为CD段的长度为

通过试验，本发明设定阈值T₃＝18，当曲线中连续段的长度L＞T₃时，认为方向盘在该处有操作手存在。图2中L_AB＞T₃，L_CD＞T₃，表明AB段和CD段对应的方向盘区域均有操作手存在，此时方向盘上有两只操作手。

静车实验：本课题进行静车实验所选用的车型为桂林佳利安中型客车。试验硬件条件为Intel Core(TM)2Duo E45002.2GHz CPU，2G内存的PC机；软件环境为Visual Studio 2008，OpenCV2.3.1。采集视频的分辨率为720×480，程序处理一帧图像的平均时间约为30ms，可以达到实时检测要求。第一到四行分别为一天之中10:44、17:50、08:25和10:55四个时刻采集视频部分帧的检测结果。本文分别对采集的四段视频进行检测，检测结果如表1所示。

表1不同时间段视频检测结果比较

视频拍摄时间	视频帧数	错报帧数	漏报帧数	检测精度
					08:25	1014	9	64	92.80％
10:55	1205	91	19	90.87％
					10:44	515	10	16	94.95％
17:50	1460	31	42	95.00％

试验结果表明算法在不同时刻的检测精度均在90％以上，但在光照较强的条件下(如10:55)漏报率和错报率会有所增加。在进行算法验证的过程中，还需要考虑算法对不同驾驶员(驾驶员性别、身高、年龄差异)、驾驶员不同衣着、不同光照条件(白天、夜晚)的适用性。在选择实验环境时，需要综合考虑以上因素。实验结果可以看出，程序可以准确检测出方向盘上操作手数目和位置，针对不同光照、不同衣着下操作手的各种姿态都有较好的检测精度。通过安装在客车或公交车上的摄像头监控驾驶员操纵方向盘行为，通过图像处理方法检测方向盘上的操作手数目，在驾驶员违规操作方向盘时，及时提醒，以预防潜在交通事故。本研究克服了现有的技术存在检测效果易受驾驶员相貌差异、光照条件和物体遮挡等环境因素影响的缺点，使检测算法能够满足实时性和准确性的要求。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims

1.一种方向盘上操作手数目视频检测方法，其特征在于：按照以下步骤进行：

步骤5：单一感兴趣区域操作手检测；将二值化后的图像表示在二维坐标系中，将图像向X轴方向投影，得到其n(x)-X曲线；n表示每一列中灰度值为1的像素点数，设定阈值T₁＝16，当X轴方向上，连续X轴坐标点上的每一列的n(x)>T₁时，令L为这些连续长度中的最大值，设定阈值T₂＝20，当L>T₂时，即认为图像中有类似手形存在；

2.按照权利要求1所述一种方向盘上操作手数目视频检测方法，其特征在于：所述步骤2中窗口大小为30×60，窗口方向是感兴趣区域长边的对称中心线与X轴正方向的夹角，即角。

3.按照权利要求1所述一种方向盘上操作手数目视频检测方法，其特征在于：所述步骤3中归一化处理以M点为中心将小窗口进行旋转的，使旋转后的感兴趣区域中的方向盘处于竖直方向。

4.按照权利要求1所述一种方向盘上操作手数目视频检测方法，其特征在于：所述步骤4中预处理步骤为首先进行超限邻域平均，在进行直方图均衡化，最后进行二值化，得到黑白图案。