CN102289660B - 一种基于手部姿态跟踪的违规驾驶行为检测方法 - Google Patents

一种基于手部姿态跟踪的违规驾驶行为检测方法 Download PDF

Info

Publication number
CN102289660B
CN102289660B CN 201110211193 CN201110211193A CN102289660B CN 102289660 B CN102289660 B CN 102289660B CN 201110211193 CN201110211193 CN 201110211193 CN 201110211193 A CN201110211193 A CN 201110211193A CN 102289660 B CN102289660 B CN 102289660B
Authority
CN
China
Prior art keywords
hand
image
attitude
bearing circle
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110211193
Other languages
English (en)
Other versions
CN102289660A (zh
Inventor
徐建闽
林培群
沈文超
黄思博
林钰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU YUNXING TECHNOLOGY Co Ltd
South China University of Technology SCUT
Original Assignee
GUANGZHOU YUNXING TECHNOLOGY Co Ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU YUNXING TECHNOLOGY Co Ltd, South China University of Technology SCUT filed Critical GUANGZHOU YUNXING TECHNOLOGY Co Ltd
Priority to CN 201110211193 priority Critical patent/CN102289660B/zh
Publication of CN102289660A publication Critical patent/CN102289660A/zh
Application granted granted Critical
Publication of CN102289660B publication Critical patent/CN102289660B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种基于手部姿态跟踪的违规驾驶行为检测方法,包括以下步骤:步骤1、从监控视频中读取图像;步骤2、对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤;步骤3、方向盘定位;步骤4、以方向盘为中心截取相应的感兴趣区域;步骤5、对截取的区域进行特征提取;步骤6、对提取的特征进行分类识别,辨别手部姿态是否属于违规驾驶行为。本发明能够有效识别驾驶员在驾驶期间是否有违规行为,可以有效的避免因驾驶员违规操作而造成的交通事故。

Description

一种基于手部姿态跟踪的违规驾驶行为检测方法
技术领域
本发明涉及交通信息控制领域和驾驶行为监控预警技术,具体的说是一种基于手部姿态跟踪的驾驶违规行为检测方法。
背景技术
近年来驾驶行为监控预警技术成为智能交通领域的研究重点之一,对提高驾驶员的驾驶能力并降低其驾驶负荷,协调好驾驶员与车辆以及交通环境之间的关系,从本质上改善交通事故状况具有重要意义。
目前驾驶行为监控预警技术的研究大致分为以下几类:
1、基于驾驶员生理状态感应参数的检测方法。该方法通过测量驾驶员的生理信号来评价驾驶员的驾驶状态,生理状态感应需要驾驶员佩戴很多仪器,难以应用在实际驾驶过程中。2、基于传感器的驾驶行为特征检测方法。这种方法通过直接监视车辆行驶状况来评价驾驶员的驾驶状态,常常需要在驾驶舱范围内安装检测装置,并且存在测量误差和硬件成本较高等限制。3、基于计算机视觉的检测方法。该方法主要通过图像处理和模式识别技术,对驾驶员的头部活动情况、面部特征(如眼睛,头部,脸部)变化情况等特征进行分析,以判断驾驶员的驾驶行为和精神状态,对驾驶员的干扰最小,是目前最具有前景和实用价值的方法。
近年来,国内外众多学者利用图像处理技术对驾驶员驾驶行为监控进行了大量研究,尽管如此,绝大部分研究主要集中在疲劳检测方面,通过对驾驶员的面部特征如注视方向、面部表情等特征进行分析,但这只是对驾驶员驾驶行为的间接监控,也容易受驾驶员是否佩戴眼镜、驾驶员眼镜大小和面部差异等因素的影响,并且对面部特征的分析仅仅是驾驶员驾驶行为的一小部分,忽略了驾驶员身体其他部位的活动状态。
发明内容
为了解决上述现有技术所存在的问题,本发明提供了一种基于手部姿态跟踪的违规驾驶行为检测方法,利用图像处理技术和模式识别方法对驾驶员的手部动作进行智能识别。
本发明是通过以下的技术方案实现的:本发明对从监控视频中读取图像;对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤;从预处理后的图像中检测定位方向盘的轮廓;以方向盘为中心截取相应的感兴趣区域;对截取的区域进行特征提取;对提取的特征进行分类识别,辨别手部姿态是否属于违规驾驶行为。
本发明提供了一种基于手部姿态跟踪的违规驾驶行为检测方法,其步骤如下:
步骤1,从监控视频中读取图像,所读取的有效图像包含方向盘和驾驶员的手部姿态信息;
步骤2,对读取的图像进行预处理,得到边缘图像。包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤,增强方向盘和驾驶员的手部姿态的可检测性和最大限度地简化数据,从而改进特征提取和图像识别的可靠性;
步骤3,对方向盘定位。对经过预处理得到的边缘图像,利用直接最小二乘椭圆拟合算法对方向盘进行轮廓提取、检测和定位;
步骤4,以方向盘为中心截取相应的感兴趣区域,所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态的区域;
步骤5,选定简单高斯模型作为肤色模型,运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取感兴趣区域的手部姿态运动轨迹进行跟踪和提取;
步骤6,对提取的手部姿态运动轨迹进行分类识别,辨别手部姿态是否属于违规驾驶行为。
所述的步骤3中,图像中的方向盘形状大部分为椭圆形或圆形,需要对图像进行椭圆检测来对方向盘进行定位。
常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多,投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换,RANSAC都是采用映射的方法,将样本点投影到参数空间,用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性,能一次检测多个椭圆,但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法,遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高,不过通常需要预先进行分割或分组处理,无法直接用于多个椭圆的检测,对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓,即只需检测出一个最大的椭圆形状,所以本发明采用了直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。
所述的步骤4中,感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时,通过从方向盘区域以设定比例系数向外延伸的方式完成截取。对于不同的车型,该比例系数由实验标定或可由用户根据经验设定。
所述的步骤5中,对截取的区域进行手部姿态运动轨迹的提取。该步骤中选用简单高斯模型作为肤色模型,并运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取区域的手部姿态运动轨迹进行跟踪和提取,具体是:
1)选用简单高斯模型进行皮肤检测
对手部姿态进行跟踪和提取需要先对截取的区域进行肤色提取,检测出手部皮肤的区域。为了检测出皮肤,需要选定合适的肤色模型,对截取区域的手部肤色进行识别。
图像处理中常用肤色模型大致分为两类:简单阈值分割和概率模型。其中概率模型有直方图模型,简单高斯模型和混合高斯模型。简单高斯模型是假设肤色分布为单峰高斯分布的一种模型。简单高斯模型考虑到了落入肤色模型范围内像素点的分布情况,应用概率密度公式判断像素点属于肤色的概率,而不是直接将所有落入模型范围内的像素点简单归类为肤色点,相对于区域模型能更好的表示肤色分布,因此相对来说它的肤色检测效率也高的多,并且模型的参数也易于计算。
本发明采用了简单高斯模型作为肤色模型,这种方法分两步走,首先选择合适的肤色模型并确定模型的参数,参数确定过程如下:选取大量符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。
2)运用Chamfer距离变换算法获取手部姿态
选定简单高斯模型检测出手部皮肤的区域后,再通过骨架提取的方法获取手部的姿态。对于骨架提取,目前已经提出了许多方法,包括基于距离变换的方法和细化方法等。本发明采用的骨架提取方法是Chamfer距离变换算法。
距离变换是针对二值图像的一种变换,在二维空间中,一幅二值图像可以认为仅包含目标和背景两种像素,目标像素值为1,背景像素值为0。
实现肤色检测后,对肤色提取得到的二值图像运用该算法,可以得到一幅灰度图像,在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离,因而能够迅速地获取手部骨架并确定其姿态。
3)运用卡尔曼滤波跟踪算法跟踪手部运动轨迹
获取手部姿态后,通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪。根据由卡尔曼滤波算法跟踪得到的运动轨迹,再结合手部的形态特征,能够更好的作为下一步分类识别中分类器的输入,有效提高了识别的效率。
所述的步骤6中,对提取的手部姿态运动轨迹进行分类识别。本发明方法采用的是神经网络和贝叶斯网络分类器对手部姿态的运动轨迹进行分类识别,通过识别不同的手部姿态,辨别手部姿态是否属于违规驾驶行为。
本发明与现有技术相比,利用了图像处理技术和模式识别方法对驾驶员的手部姿态运动轨迹进行智能识别,先是用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位,再以方向盘为中心提取相应的感兴趣区域,运用肤色模型中的简单高斯模型检测手部皮肤,接着采用chamfer距离变换算法对手部姿态进行骨架提取,通过卡尔曼滤波跟踪算法对手部姿态运动轨迹进行跟踪。最后对识别的手部姿态运动轨迹采用神经网络和贝叶斯网络分类器对其进行分类识别,辨别手部姿态是否属于违规驾驶行为,这种利用图像处理技术和模式识别方法,研究一种通过分析驾驶员肢体活动状态从而对异常驾驶行为正确识别分类的检测方法,通过对手部姿态运动轨迹的特征进行分析,以判断驾驶员的驾驶行为和精神状态,突破传统疲劳驾驶检测方法的局限;由于驾驶员无需佩戴仪器对驾驶员的干扰最小;本发明所涉及的方法是图像处理、模式识别等研究领域的重要研究内容,稳定性和可靠性高,具有较好的实际推广价值。
附图说明
图1是基于手部姿态跟踪的违规驾驶行为检测方法的流程图
图2是Chamfer 3-4模板图。
具体实施方式
参照图1,提供下述实施例;通过实施例将有助于理解本发明,但不限制本发明的内容。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形均应认为是本发明的保护范围。
本实施方式的检测方法包括:从监控视频中读取图像;对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤;从预处理后的图像中检测定位方向盘的轮廓;以方向盘为中心截取相应的感兴趣区域;对截取的区域进行特征提取;对提取的特征进行分类识别,辨别手部姿态是否属于违规驾驶行为。
上述检测方法的具体流程如图1所示,具体步骤如下:
步骤1,从监控视频中读取图像,所读取的有效图像包含方向盘和驾驶员的手部姿态信息;
步骤2,对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤,增强方向盘和驾驶员的手部姿态等有关信息的可检测性和最大限度地简化数据,从而改进特征提取和图像识别的可靠性;
步骤3,对方向盘定位。对经过预处理得到的边缘图像,利用直接最小二乘椭圆拟合算法对方向盘的轮廓进行检测和定位;
步骤4,以方向盘为中心截取相应的感兴趣区域,所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态等信息的区域;
步骤5,选定简单高斯模型作为肤色模型,运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取区域的手部姿态运动轨迹进行跟踪和提取;
步骤6,对提取的手部姿态运动轨迹进行分类识别,辨别手部姿态是否属于违规驾驶行为。
所述的步骤2中,对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤,从常用的图像预处理方法中选择均值滤波和Canny算子作为图像预处理中的滤波和边缘检测方法,增强方向盘和驾驶员的手部姿态等有关信息的可检测性和最大限度地简化数据,从而改进特征提取和图像识别的可靠性。
所述的步骤3中,图像中的方向盘形状大部分为椭圆形或圆形,需要对图像进行椭圆检测来对方向盘进行定位。
常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多,投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换,RANSAC都是采用映射的方法,将样本点投影到参数空间,用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性,能一次检测多个椭圆,但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法,遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高,不过通常需要预先进行分割或分组处理,无法直接用于多个椭圆的检测,对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓,即只需检测出一个最大的椭圆形状,所以本发明采用了直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。由于车载视频图像中方向盘轮廓具备最大的圆或椭圆外形轮廓,所以对经过预处理得到的边缘图像,可以采用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。直接最小二乘椭圆拟合算法是先假定椭圆的各参数,然后计算各待拟合点到该假设椭圆的距离的平方之和,最后求出满足这个和最小的参数,即为假定椭圆的参数。
所述的步骤4中,完成对方向盘区域的定位后,以方向盘为中心截取相应的感兴趣区域。感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时,通过从方向盘区域以设定的比例系数向外延伸的方式完成截取。对于不同的车型,该比例系数由实验标定或可根据经验设定。
所述的步骤5中,是对截取的区域进行特征提取。其中最重要的是手部特征,选定简单高斯模型作为肤色模型,对截取区域的手部肤色的区域进行识别。这种方法分两步走,首先选择合适的肤色模型并确定模型的参数,参数确定过程如下:选取大量符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。
首先本实施方式选择在YCbCr颜色空间中建立肤色模型。YCbCr是被欧洲电视系统所采用的一种颜色编码方法,其中Y表示亮度(Luminance或Luma),Cr和Cb表示的是色度(Chrominance或Cbroma),作用是描述图像的色彩和饱和度,用于指定像素的颜色。为了使肤色模型更加适应中国人的肤色特点,本实施方式从30张图像中选取了675000个肤色像素点,统计得到这些肤色像素点样本在YCbCr颜色空间中的三维色度分布情况。对肤色像素点的Cb′、Cr′值进行计算和统计,得到每个肤色点的色度信息Cb′、Cr′所组成的向量x=(Cb′Cr′)T,则均值m=E(x),协方差矩阵C=E{(x-m)(x-m)T},通过对实验样本的统计得出:m=[112.61 141.99],由此建立的肤色高斯模型。利用所建立的肤色高斯模型,可以用高斯分布的概率表达式求得图像中任意像素的肤色似然度,即得到图像中任意一个像素点属于肤色的概率值:
P(Cb′,Cr′)=exp{-0.5(x-m)TC-1(x-m)}
利用肤色高斯模型检测出肤色像素以后,即可根据其在空间上的几何相关性以及色度上的相似性分割出可能为肤色的区域,实现肤色检测。
距离变换是针对二值图像的一种变换,在二维空间中,一幅二值图像可以认为仅包含目标和背景两种像素,目标像素值为1,背景像素值为0。实现肤色检测后,对手部肤色提取得到的二值图像,选用3×3的Chamfer 3-4模板,如附图2所示,对图像进行Chamfer距离变换。
首先,图像上的特征点初始化为0,非特征点初始化为无穷大,然后每个模板依次对图像遍历一次:向前的扫描从左往右、由上向下进行,向后的扫描则相反,先右后左、自下到上。每一步的中心像素的更新过程,模板的中心置于图像每个像素的上,然后将模板像素上的局部距离值cn加到模板下方的对应像素的距离值上,并将中心像素的值更新为这些值中的最小值,直到所有像素的值不再改变为止。经过相反方向的两次遍历更新操作后,距离变换也就计算好了。按序算法过程如下:
Forward:
for    i=(size+1)/2,…,lines do
for  j=(size+1)/2,…,columns do
v i , j m = min ( i , j ) ∈ forward mask ( v i + k , j + l + c ( k , l ) )
Backward
for i=lines-(size-1)/2,…,1 do
for i=columns-(size-1)/2,…,1 do
v i , j m = min ( i , j ) ∈ backward mask ( v i + k , j + l + c ( k , l ) )
其中
Figure BDA0000078758230000103
为图像上像素(i,j)在第m次迭代的值,(k,l)为模板相对其中心(0,0)的位置坐标,而c(k,l)为模板在(k,l)处的局部距离值,此处的“size”为模板的边长。
采用Chamfer距离变换算法作为骨架提取方法获取手部的姿态,可以得到一幅灰度图像,在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离,因而能够迅速地获取手部骨架并确定其姿态。
获取手部姿态后,通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪。因为跟踪过程中两帧图像间的时间间隔较短,运动目标状态变化较小,所以目标的运动可以看作是匀速的,目标在每一帧的运动特征可以用它的位置和速度来描述。在本发明中选取的目标为手部中心点,并以手部中心点的坐标位置和运动速度作为输入,利用卡尔曼滤波器预测目标的运动状态。
设(xk,yk)为k时刻手部中心点的位置,(Spdxk,Spdyk)为k时刻手部中心点在x方向和y方向的运动速度,则k时刻手部中心点的状态向量为Xk=[xk,yk,Spdxk,Spdyk]T,观测向量为Zk=[xk,yk]T
由于未加外部控制量,而且过程噪声不可观测,因此系统的状态方程和观测方程可分别表示为:
Xk=AXk-1
Zk=HXk-1+Vk
其中,A和H分别表示定常线性系统的状态转移矩阵和观测矩阵,Vk为均值为0的高斯白噪声。具体计算时,
A = 1 0 0 0 T 0 0 0 0 1 0 0 0 T 0 0 0 0 1 0 0 0 T 0 0 0 0 1 0 0 0 T 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 H = 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
其中T为时间间隔,在每秒25帧的运算速度下,如果逐帧处理图像则T为采样间隔,即T=0.04s。考虑驾驶员肢体移动的特点,本发明采取每隔5帧图像对模型进行一次跟踪的方法,此时T=0.2s。
由状态方程、观测方程和其他的一些初始条件,根据卡尔曼滤波基本方程就可以估计出下一帧手部中心点的状态向量以及协方差矩阵Pk+1,进而对手部的运动轨迹进行预测,实现对手部姿态运动轨迹的跟踪,再结合手部的形态特征,能够更好的作为下一步分类识别中分类器的输入,有效提高了识别的效率。
所述的步骤6中,在获得手部姿态的运动轨迹后,采用神经网络和贝叶斯网络分类器对其进行分类识别,具体实现过程如下:1)根据不同的车型,按一定比例和数量选取各种驾驶行为的图片;2)运用前述方法对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数,组成训练实例集;3)用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器。通过分类器即可识别不同的手部姿态,如正常的驾驶手部姿态,手部离开方向盘30秒~1分钟的违规驾驶行为以及驾驶时抽烟的违规驾驶行为等,从而辨别不同的违规驾驶行为,实现对驾驶员违规驾驶行为的有效监控。
本实施例能够自动识别驾驶员驾驶期间是否有手部违规动作,实现对驾驶员违规驾驶行为的有效监控。本实施例方法稳定、可靠性高,具有较好的实际推广价值。

Claims (6)

1.一种基于手部姿态跟踪的违规驾驶行为检测方法,其特征在于包括从监控视频中读取图像;对读取的图像进行预处理,包括灰度变换、图像滤波、边缘提取、轮廓增强处理;从预处理后的图像中检测定位方向盘的轮廓;以方向盘为中心截取相应的感兴趣区域;对截取的区域进行特征提取;对提取的特征进行分类识别,辨别手部姿态是否属于违规驾驶行为;所述检测方法具体包括如下步骤:
步骤1,从监控视频中读取图像,所读取的有效图像包含方向盘和驾驶员的手部姿态信息;
步骤2,对读取的图像进行预处理,得到边缘图像,包括灰度变换、图像滤波、边缘提取和轮廓增强处理;
步骤3,对方向盘定位,对经过预处理得到的边缘图像,利用直接最小二乘椭圆拟合算法对方向盘进行轮廓提取、检测和定位;
步骤4,以方向盘为中心截取相应的感兴趣区域,所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态的区域;
步骤5,选定简单高斯模型作为肤色模型,运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取感兴趣区域的手部姿态运动轨迹进行跟踪和提取;
步骤6,对提取的手部姿态运动轨迹进行分类识别,辨别手部姿态是否属于违规驾驶行为。
2.根据权利要求1所述的检测方法,其特征在于步骤3中,图像中的方向盘形状大部分为椭圆形或圆形,需要对图像进行椭圆检测来对方向盘进行定位;采用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。
3.根据权利要求1所述的检测方法,其特征在于步骤4中,感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定,具体截取时,从方向盘区域以设定比例系数向外延伸的方式完成截取;对于不同的车型,该比例系数由实验标定或由用户根据经验设定。
4.根据权利要求1所述的检测方法,其特征在于所述的步骤5具体包括:
1)选用简单高斯模型进行皮肤检测
选取大量符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型,然后利用该模型来判别新的像素或区域是否为肤色;
2)运用Chamfer距离变换算法获取手部姿态
选定简单高斯模型检测出手部皮肤的区域后,再通过骨架提取的方法获取手部的姿态,采用的骨架提取方法是Chamfer距离变换算法,对肤色提取得到的二值图像运用该算法,得到一幅灰度图像,在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离,因而能够迅速地获取手部骨架并确定其姿态;
3)运用卡尔曼滤波跟踪算法跟踪手部运动轨迹
获取手部姿态后,通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪,根据由卡尔曼滤波算法跟踪得到的运动轨迹,再结合手部的形态特征,作为下一步分类识别中分类器的输入,提高识别的效率。
5.根据权利要求1所述的检测方法,其特征在于步骤6中,采用神经网络和贝叶斯网络分类器对手部姿态的运动轨迹进行分类识别,通过识别不同的手部姿态,辨别手部姿态是否属于违规驾驶行为。
6.根据权利要求5所述的检测方法,其特征在于步骤6具体实现过程如下:1)根据不同的车型,按设定比例和数量选取各种驾驶行为的图片;2)运用前述步骤对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数,组成训练实例集;3)用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器;通过分类器即可识别不同的手部姿态,手部姿态包括正常的驾驶手部姿态、离开方向盘设定时间的违规驾驶行为手部姿态以及驾驶时抽烟的违规驾驶行为手部姿态。
CN 201110211193 2011-07-26 2011-07-26 一种基于手部姿态跟踪的违规驾驶行为检测方法 Expired - Fee Related CN102289660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110211193 CN102289660B (zh) 2011-07-26 2011-07-26 一种基于手部姿态跟踪的违规驾驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110211193 CN102289660B (zh) 2011-07-26 2011-07-26 一种基于手部姿态跟踪的违规驾驶行为检测方法

Publications (2)

Publication Number Publication Date
CN102289660A CN102289660A (zh) 2011-12-21
CN102289660B true CN102289660B (zh) 2013-07-03

Family

ID=45336067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110211193 Expired - Fee Related CN102289660B (zh) 2011-07-26 2011-07-26 一种基于手部姿态跟踪的违规驾驶行为检测方法

Country Status (1)

Country Link
CN (1) CN102289660B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103029750A (zh) * 2012-12-11 2013-04-10 昆山研达电脑科技有限公司 自动提醒操作方向盘姿势的系统及方法
DE102014100364B4 (de) * 2013-01-18 2020-08-13 Carnegie Mellon University Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
CN104484570B (zh) * 2014-12-18 2020-12-18 联想(北京)有限公司 一种电子终端及信息处理方法
CN106156695B (zh) * 2015-03-30 2019-09-20 日本电气株式会社 出口和/或入口区域识别方法和装置
CN105260703B (zh) * 2015-09-15 2019-07-05 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员抽烟行为检测方法
CN105404862A (zh) * 2015-11-13 2016-03-16 山东大学 一种基于手部跟踪的安全驾驶检测方法
CN105427642A (zh) * 2015-12-29 2016-03-23 徐承柬 一种车辆管控系统
CN105701467B (zh) * 2016-01-13 2019-03-05 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN105677039B (zh) * 2016-02-16 2020-06-09 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN105868690A (zh) * 2016-03-11 2016-08-17 博康智能信息技术有限公司 识别驾驶员打手机行为的方法和装置
CN107784251A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于图像识别技术对驾驶行为评价的方法
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及系统
CN107358215B (zh) * 2017-07-20 2020-10-09 重庆工商大学 一种应用于手饰增强现实系统的图像处理方法
CN107798296B (zh) * 2017-09-28 2020-06-12 江南大学 一种应用于复杂背景场景的快速运动手势识别方法
CN109670520B (zh) * 2017-10-13 2021-04-09 杭州海康威视数字技术股份有限公司 一种目标姿态识别方法、装置及电子设备
CN107871125A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 违章建筑识别方法、装置及电子设备
CN108629282B (zh) * 2018-03-29 2021-12-24 福建海景科技开发有限公司 一种吸烟检测方法、存储介质及计算机
CN108734125B (zh) * 2018-05-21 2021-05-04 杭州杰视科技有限公司 一种开放空间的吸烟行为识别方法
CN109394225A (zh) * 2018-09-04 2019-03-01 国家电网公司华东分部 一种多特征融合的人因风险实时检测方法及装置
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术(北京)有限公司 用于识别驾驶行为的方法和装置
CN109447127A (zh) * 2018-09-29 2019-03-08 深圳市元征科技股份有限公司 数据处理方法及装置
CN109214370B (zh) * 2018-10-29 2021-03-19 东南大学 一种基于手臂肤色区域质心坐标的驾驶员姿态检测方法
CN109584507B (zh) * 2018-11-12 2020-11-13 深圳佑驾创新科技有限公司 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN109784254B (zh) * 2019-01-07 2021-06-25 中兴飞流信息科技有限公司 一种车辆违规事件检测的方法、装置和电子设备
CN110008834B (zh) * 2019-02-28 2021-04-06 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN109977786B (zh) * 2019-03-01 2021-02-09 东南大学 一种基于视频及肤色区域距离的驾驶员姿态检测方法
CN112307846A (zh) * 2019-08-01 2021-02-02 北京新联铁集团股份有限公司 乘务违规分析方法
CN110751051B (zh) * 2019-09-23 2024-03-19 江苏大学 一种基于机器视觉的异常驾驶行为检测方法
CN111666818B (zh) * 2020-05-09 2023-06-16 大连理工大学 一种驾驶员异常姿态检测方法
CN111931639B (zh) * 2020-08-07 2024-06-11 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN112329555A (zh) * 2020-10-20 2021-02-05 易显智能科技有限责任公司 一种针对驾驶人员手部动作姿态的智能混合感知系统
CN113822250A (zh) * 2021-11-23 2021-12-21 中船(浙江)海洋科技有限公司 一种船舶驾驶异常行为检测方法
CN114463664B (zh) * 2021-12-23 2024-06-07 智能多维数据分析研究中心有限公司 一种用于冰球运动的新型冰球追踪方法
CN114495073A (zh) * 2022-01-29 2022-05-13 上海商汤临港智能科技有限公司 方向盘脱手检测方法及装置、电子设备和存储介质
CN114821549A (zh) * 2022-04-22 2022-07-29 电子科技大学 一种利用方向盘定位驾驶区域的驾驶行为识别方法
CN116977906B (zh) * 2023-09-22 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种实时展示行人违规翻越道路隔离带方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Classifiers for driver activity monitoring;Veeraraghavan H. et al;《Transportation Research Part C: Emerging Technologies》;20071231;第1卷(第15期);51-67 *
Veeraraghavan H. et al.Classifiers for driver activity monitoring.《Transportation Research Part C: Emerging Technologies》.2007,第1卷(第15期),51-67.
基于视频图像分析的驾驶员视觉分散特征识别及检测研究;路玉峰;《山东大学博士学位论文》;20090515;第80页第6.3.1节 *
路玉峰.基于视频图像分析的驾驶员视觉分散特征识别及检测研究.《山东大学博士学位论文》.2009,第80页第6.3.1节.
郭孜政.驾驶行为险态辨识理论与方法.《西南交通大学博士研究生学位论文》.2010,全文.
驾驶行为险态辨识理论与方法;郭孜政;《西南交通大学博士研究生学位论文》;20100315;全文 *

Also Published As

Publication number Publication date
CN102289660A (zh) 2011-12-21

Similar Documents

Publication Publication Date Title
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
Hadi et al. Vehicle detection and tracking techniques: a concise review
CN102324166B (zh) 一种疲劳驾驶检测方法及装置
CN104091147B (zh) 一种近红外眼睛定位及眼睛状态识别方法
Junaedi et al. Driver drowsiness detection based on face feature and PERCLOS
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN103455820A (zh) 基于机器视觉技术的车辆检测和跟踪方法及系统
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
Jie et al. Analysis of yawning behaviour in spontaneous expressions of drowsy drivers
CN103854027A (zh) 一种人群行为识别方法
CN107292252A (zh) 一种自主学习的身份识别方法
CN102768726B (zh) 一种预防行人碰撞的行人检测方法
CN111460950B (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN105205486A (zh) 一种车标识别方法及装置
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN104269028A (zh) 一种疲劳驾驶检测方法及系统
CN103034852A (zh) 静止摄像机场景下特定颜色行人的检测方法
CN105512618A (zh) 视频跟踪方法
CN106845482A (zh) 一种车牌定位方法
CN104915642A (zh) 前方车辆测距方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130703

Termination date: 20170726

CF01 Termination of patent right due to non-payment of annual fee