CN108564034A - 一种驾驶员行车中操作手机行为的检测方法 - Google Patents

一种驾驶员行车中操作手机行为的检测方法 Download PDF

Info

Publication number
CN108564034A
CN108564034A CN201810329536.6A CN201810329536A CN108564034A CN 108564034 A CN108564034 A CN 108564034A CN 201810329536 A CN201810329536 A CN 201810329536A CN 108564034 A CN108564034 A CN 108564034A
Authority
CN
China
Prior art keywords
hand
driver
behavior
operating handset
hand images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810329536.6A
Other languages
English (en)
Inventor
陈运星
向立明
马强
邓利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN201810329536.6A priority Critical patent/CN108564034A/zh
Publication of CN108564034A publication Critical patent/CN108564034A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶员行车中操作手机行为的检测方法：S1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像；S2：对采集的驾驶员手部图像像素点进行检测和分割处理；S3：根据手部特征的数据信息，提取手部图像的HOG特征和手机线条轮廓特征；S4：一方面判断驾驶员手部图像里是否存在手机；另一方面采用SVM分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为；S5：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。通过检测驾驶员在行车中操作手机的手部行为和手机线条轮廓来判断驾驶员在行车中是否有操作手机行为。

Description

一种驾驶员行车中操作手机行为的检测方法
技术领域
本发明涉及一种驾驶员行车中操作手机行为的检测方法。
背景技术
近年来，随着“互联网+”时代的到来，手机在人们日常生活中扮演的角色越来越重要，而驾驶员在驾驶过程中使用手机(比如接打电话、发短信、玩微信、刷微博等)也越来越频繁，成为了一种新型危险驾驶行为，该行为可导致驾驶员负荷增加、注意力分散和车辆操作水平下降等后果，已经迅速成为当今交通事故发生的主要原因之一。
各国只是针对驾驶员接打电话行为制定了相应的法律制度，但并没有法律制度明确规定驾驶员在驾驶过程中禁止发短信、玩微信、刷微博等操作手机行为，而随着QQ、微信、微博等社交软件的流行以及驾驶员安全意识淡薄，驾驶员开车过程中操作手机行为也是极其普遍，而操作手机行为由于视线偏离前方道路，其危险性甚至高于接打电话行为。因此，对驾驶员行车中操作手机行为进行有效地检测预警已经迫在眉睫，对提高汽车主动安全和道路交通安全具有重要的现实意义。
申请号为201310261137.8的专利公开了一种驾驶员行车途中接打手机行为的自动监控装置及方法，该专利采用Adaboost算法先检测出人脸及附近区域，然后基于先验知识及Fisher算法对嘴部区域进行检测，通过检测接打手机姿势和唇部状态等多个特定目标来判断驾驶员是否有接打手机行为。而在实际行车环境中，驾驶员接打手机时头部姿态、复杂光照、车身抖动等不确定因素的影响，且Adaboost检测效果易受到头部姿态的影响，容易造成人脸及附近区域检测失败，进而会导致对驾驶员接打手机行为的漏检，使得检测率偏低、误检率偏大、鲁棒性差等问题。
发明内容
针对上述问题，本发明提供一种驾驶员行车中操作手机行为的检测方法，通过检测驾驶员在行车中操作手机的手部行为和手机线条轮廓来综合判断驾驶员在行车中是否有操作手机行为，以防止驾驶员因操作手机行为而造成的交通安全事故，提高汽车驾驶的安全性。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种驾驶员行车中操作手机行为的检测方法，包括如下步骤：
S1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像；
S2：对采集的驾驶员手部图像像素点进行检测和分割处理；
S3：根据手部特征的数据信息，提取手部图像的HOG特征和手机线条轮廓特征；
S4：一方面判断驾驶员手部图像里是否存在手机；
另一方面采用SVM分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为；
S5：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。
优选，步骤S1中采集手部图像后，对采集的手部图像进行预处理：
对驾驶人手部图像进行双边滤波和直方图均衡化处理。
优选，步骤S2具体包括如下步骤：
S21：先将驾驶员手部图像的RGB颜色空间转换为YCbCr颜色空间，再将YCbCr颜色空间进行非线性变换为YCb'Cr'颜色空间，转换公式为：
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，和为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，Ymin和Ymax分别表示肤色聚类区域中Y分量的最小值和最大值；
S22：在Ymin<Y<Ymax区间内，根据肤色在YCb'Cr'和Cb'Cr'的聚类特性，建立肤色在色彩空间Cb'Cr'平面上的椭圆肤色模型：
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a0和b0分别为椭圆方程的长、短轴，ecx和ecy分别为椭圆中心的横、纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量；
S23：根据建立的椭圆肤色模型对驾驶员手部图像的肤色进行检测，对于图像中的每个像素点，如果满足方程时，即认为该像素点为肤色；
S24：对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，筛选出驾驶员手部肤色区域。
优选，步骤S3中，提取手部图像的HOG特征具体包括如下步骤：
A、对获得的手部区域二值化图像进行归一化处理；
B、计算手部图像的梯度；
C、计算每个细胞单元梯度直方图；
D、将几个相邻的细胞单元组合形成block块，采用矩形区间进行划分，对每一个block进行归一化处理；
E、把所有block内的特征向量合并组合，即获得正常驾驶状态和操作手机行为状态对应的手部图像HOG特征。
优选，步骤S3中，根据手部特征的数据信息，通过模板匹配算法对手机线条轮廓特征进行检测，再采用粗精结合的算法定位出匹配点位置区域。
优选，粗精结合的算法为：对每3个像素点进行一次匹配，当匹配率大于70％时，即确定为匹配区域，然后在此区域周围逐一检测以获得最佳匹配点。
优选，在步骤S24中，当手部肤色分割率不在阈值范围之内时，采用OTSU自适应阈值分割算法再次进行肤色分割，获得最终的手部区域。
本发明的有益效果是：
本发明一种驾驶员行车中操作手机行为的检测方法能够对驾驶员开车过程中操作手机行为进行准确的检测，具有准确度高、鲁棒性强的优点，且能有效减少因驾驶员行车中操作手机而造成的交通事故，从而提高了汽车行驶的安全性。
附图说明
图1是本发明一种驾驶员行车中操作手机行为的检测方法的流程图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，一种驾驶员行车中操作手机行为的检测方法，包括如下步骤：
S1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像。
摄像头可以安装固定在驾驶员头顶正上方位置，对着方向盘附近区域，采集手部图像后，对采集的驾驶员手部图像的彩色图像进行预处理：
对采集的驾驶员手部图像进行双边滤波和直方图均衡化处理，以去除图像中的噪声，提高图像有效信息的可识别性，有利于提高后续检测的准确度。
S2：对采集的驾驶员手部图像像素点进行检测和分割处理，具体包括如下步骤：
S21：先将驾驶员手部图像的RGB颜色空间转换为YCbCr颜色空间，为了改善YCbCr颜色空间中肤色在亮度较大和较小时的聚类性不好的缺点，再将YCbCr颜色空间进行非线性变换为YCb'Cr'颜色空间，转换公式为：
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，和为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，Ymin和Ymax分别表示肤色聚类区域中Y分量的最小值和最大值。
优选，Kl＝125，Kh＝188，Ymin和Ymax由实验数据得到的，可以取值为Ymin＝16，Ymax＝235。
S22：在Ymin<Y<Ymax区间内，亮度对肤色聚类性的影响较小，根据肤色在YCb'Cr'和Cb'Cr'的聚类特性，肤色在色彩空间Cb'Cr'平面上的分布形状近似于一个椭圆，建立肤色在色彩空间Cb'Cr'平面上的椭圆肤色模型：
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a0和b0分别为椭圆方程的长、短轴，ecx和ecy分别为椭圆中心的横、纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，其值通过统计肤色点在Cb'Cr'平面上统计得到，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量。优选，cb0＝109.30，cb0＝152.00，θ＝2.50，ecx＝1.60，ecy＝2.40，a0＝26.35，b0＝14.00。
S23：根据建立的椭圆肤色模型对驾驶员手部图像的肤色进行检测，对于图像中的每个像素点，如果满足方程时，即认为该像素点为肤色，从而得到手部肤色区域；
S24：对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，筛选出驾驶员手部肤色区域。比如，用开运算(对原图像先腐蚀后膨胀)对手部肤色图像进行处理，筛选出驾驶员手部肤色区域，具体开运算为：其中A代表原图像，B代表核元素，E代表A经过开运算后的效果图。
当光照十分强烈时，采用椭圆肤色模型进行肤色分割会漏检大量手部肤色像素，当手部肤色分割率不在阈值范围(根据大量实验所得：手部肤色分割率的阈值范围为6％—10％)之内时，采用OTSU自适应阈值分割算法再次进行肤色分割，获得最终的手部区域。其中，手部肤色分割率表示给定区域中肤色像素点数目占区域中总像素数目的百分比。
OTSU((大津法或最大类间方差法))自适应阈值分割算法基本原理为：
设图像像素点总数为N，灰度值变化范围为[0，L-1]，且灰度级为i的像素点数有个ni，则灰度级i概率为pi：
pi＝ni/N
其中，
用阈值T将图像的像素点灰度值分成C0和C1两类，灰度值在[0，T]范围内的像素点集合用C0表示，在[T+1，L-1]范围内的像素点的集合用C1表示，则整幅图像的灰度均值u为下式：
则C0和C1的均值分别为u0和u1：
其中：
可以得到：
u＝w0u0+w1u1
类间方差为：
让T依次在[0，L-1]范围取值，使得类间方差达到最大的T值就是OTSU方法选取的最佳阈值。
S3：根据手部特征的数据信息，提取手部图像(包括正常驾驶手部和操作手机手部)的HOG特征(方向梯度直方图)和手机线条轮廓特征，其中：
提取手部图像的HOG特征具体包括如下步骤：
A、对获得的手部区域二值化图像进行归一化处理：
采用Gamma压缩处理来对获得的手部区域二值化图像进行处理，Gamma压缩处理具体公式为：I(x,y)＝I(x,y)gamma，其中，I(x,y)为图像像素的灰度值，gamma>1，较亮的区域灰度被拉伸，较暗的区域灰度被压缩的更暗，图像整体变暗；gamma<1，较亮的区域灰度被压缩，较暗的区域灰度被拉伸的较亮，图像整体变亮。
B、计算手部图像的梯度：
先用模板分别从水平和竖直两个方向上对手部图像进行卷积运算，常用一维中心对称模板对手部图像进行卷积后，需要对每个像素点都分别计算一次梯度幅值和梯度方向值。图像中像素点(x,y)的梯度、梯度幅值和梯度方向分别为：
其中，Gx(x,y)，Gy(x,y)，H(x,y)，G(x,y)，分别为输入图像中像素点(x,y)处水平方向梯度、垂直方向梯度、像素值、梯度幅值和梯度方向。
C、计算每个细胞单元(cell)梯度直方图：
将手部图像分成一个个4*4大小的细胞单元cells，统计cell中每个像素点的梯度方向，为该方向上的直方图通道进行加权投票，前人研究表明梯度方向在角度为[0,180]，且直方图的通道为9bin时，检测效果最好，再对cell内每个像素用梯度方向在直方图中进行加权投影，就可以得到该cell的梯度方向直方图了，即为cell对应的9维特征向量。
D、为了减少噪声的影响，需要对局部细胞单元进行归一化处理，即将几个相邻的细胞单元组合形成block块，采用矩形区间进行划分，划分出的block与block之间是会相互重叠的，对每一个block进行归一化处理，一般的，每一个重叠的block采用归一化函数L2-norm进行归一化处理，具体归一化函数为：
其中v是标准化前的特征向量，||v||2表示v的二范数，ε为一个很小的常数，目的是为了保证分母不为零。
E、把所有block内的特征向量合并组合，即获得正常驾驶状态和操作手机行为状态对应的手部图像HOG特征。
根据手部特征的数据信息，通过模板匹配算法对手机线条轮廓特征进行检测，再采用粗精结合的算法定位出匹配点位置区域，具体为：对待测手部分割图像进行目标搜寻，在此区域采用训练好的手机轮廓模板和粗精结合的匹配算法进行相似度匹配，可提取待测手部图像手机线条轮廓特征。
粗精结合的算法为：对每3个像素点进行一次匹配，当匹配率大于70％时，即确定为匹配区域，再对此区域周围进行一一检测获取最优匹配点。大约搜集2000张驾驶员行车中操作手机的图片，把操作手机线条轮廓形状特征进行拟合，采用此样本对模板进行训练，得到训练好的手机轮廓模板。
S4：一方面判断驾驶员手部图像里是否存在手机；
另一方面采用SVM分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为。
对提取的手部图像(包括正常驾驶手部和操作手机手部)HOG特征向量，提取部分手部图像HOG特征向量对SVM分类器进行训练，得到训练好的SVM分类器。其中SVM分类器的基本原理是：
SVM(支持向量机)是一种监督式学习方法，在解决小样本、非线性及高维模式识别中表现出许多特有的优势。其对于线性可分的样本，可以在特征向量空间中寻找一个可以将两类尽可能好的分开的最优分割超平面，使得分类器得到全局最优化；对于非线性的样本，使用核函数，将输入的特征向量从低维空间映射到高维空间构造最优超平面，使其线性可分。从而使得分类器可以在高维特征空间采用线性算法对样本的非线性特征进行线性分析。
1)线性问题
假设最优超平面H的方程为wx+b＝0，其中x是超平面上的点，w是垂直于超平面的向量，用矩形和圆形代表两类样本，设训练样本集{(xi,yi),i＝1,2,...,n}是线性可分的，其中xi是训练样本的特征输入，yi＝{1,-1}分别表示正负样本，H1和H2过各类样本中离H最近的样本点，且平行于H，则分类间隔为H1与H2之间的距离2/||w||。
为了让分类间隔最大，就是让||w||最小，求解最优超平面问题就转化成了求解最小化函数φ(w)问题。具体公式如下：
由上式可知，函数φ(w)是二次的，这里引入拉格朗日函数：
其中，αi＞0是拉格朗日系数，以上问题就转化为计算L*的最小值。
使上式中w，αi和b的偏微分为0，并引入Karush-Kuhn-Tucher(KKT)条件来解决上述对偶问题，即等价于求解αi泛函的max：
其中约束条件为：对于i＝1,2,...l解得α*＝(α1,...,αl)T
解得：
以上是线性可分的理想状态，但是大多数情况图像数据会存在噪声点，使得线性可分变得难分，此时需要引入松弛变量ξi＞0，并在原最小化函数φ(w)后增加一项，则为：
其中，C是一个预先设定的常数参数(惩罚因子)，控制着复杂度与误差的折中，其值越小误差越大。
2)非线性问题
驾驶员手部特征就是一个非线性问题，采用高斯(径向基)核函数将映射到高维空间的特征向量变得线性可分，其中，参数d控制着支持向量的个数，其值越小精度越低。
3)选择SVM参数
以上可知，高斯核函数中的参数d和惩罚因子C是SVM分类器中非常重要的两项参数，如何求取两项参数的最佳组合显得十分重要，这里采用Matlab中“libsvm”工具箱对参数进行优选，其“grid.py”工具采用网格搜索法进行寻优，最后将寻优计算结果C＝8，作为SVM分类器两项参数的最佳组合。
S5：将步骤S3中剩下的手部图像的HOG特征向量输入训练好的SVM分类器进行分类，得到驾驶员行车中手部图像的“正常驾驶行为”和“操作手机行为”，再结合步骤S3中手机线条轮廓的检测结果：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。
本发明采用基于YCb’Cr’颜色空间建立的椭圆肤色模型和OTSU自适应阈值分割算法只对驾驶员的手部单一目标进行检测分割，检测准确度高，再采用基于HOG和SVM的算法对“正常驾驶”和“操作手机”两种情况下的手部行为进行分类判断，具有准确度高、实时性好、鲁棒性强等优点，能够对驾驶员行车中操作手机行为进行有效地检测。
本发明一种驾驶员行车中操作手机行为的检测方法，采用双边滤波和直方图均衡化对驾驶员手部图像进行处理，可以有效去除图像中的噪声，显著提高了图像的质量和检测准确度；采用YCb’Cr’颜色空间提高了肤色的聚类性，Cb’、Cr’几乎不受亮度的影响，以此建立椭圆肤色模型对手部肤色检测的效果较好，但当光照强烈时，仍会漏检大量的手部肤色像素，此时又提出OTSU自适应阈值分割算法再次进行肤色分割，手部肤色分割的效果明显增强；与其它特征描述方法相比，采用HOG提取手势特征，提高了手部图像检测速度和精度；采用SVM分类器对驾驶员开车过程中操作手机行为分类，具有检测准确度高、实时性好、鲁棒性强的优点，且能有效减少因驾驶员行车中操作手机而造成的交通事故，从而提高了汽车行驶的安全性。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种驾驶员行车中操作手机行为的检测方法，其特征在于，包括如下步骤：
S1：通过设置在驾驶员上方的摄像头实时采集方向盘附近区域手部图像；
S2：对采集的驾驶员手部图像像素点进行检测和分割处理；
S3：根据手部特征的数据信息，提取手部图像的HOG特征和手机线条轮廓特征；
S4：一方面判断驾驶员手部图像里是否存在手机；
另一方面采用SVM分类器对手部行为图像进行分类，判断驾驶员手部图像是否处于操作手机行为；
S5：若驾驶员手部图像处于操作手机行为且驾驶员手部图像里存在手机，则判定驾驶员处于操作手机行为状态并报警，否则，判定驾驶员处于正常驾驶状态。
2.根据权利要求1所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，步骤S1中采集手部图像后，对采集的手部图像进行预处理：对驾驶员手部图像进行双边滤波和直方图均衡化处理。
3.根据权利要求2所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，步骤S2具体包括如下步骤：
S21：先将驾驶员手部图像的RGB颜色空间转换为YCbCr颜色空间，再将YCbCr颜色空间进行非线性变换为YCb'Cr'颜色空间，转换公式为：
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，和为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，Ymin和Ymax分别表示肤色聚类区域中Y分量的最小值和最大值；
S22：在Ymin<Y<Ymax区间内，根据肤色在YCb'Cr'和Cb'Cr'的聚类特性，建立肤色在色彩空间Cb'Cr'平面上的椭圆肤色模型：
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a0和b0分别为椭圆方程的长、短轴，ecx和ecy分别为椭圆中心的横、纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量；
S23：根据建立的椭圆肤色模型对驾驶员手部图像的肤色进行检测，对于图像中的每个点，如果满足方程时，即认为该像素点为肤色；
S24：对检测出的手部肤色区域的二值化图像采用数学形态学进行处理，筛选出驾驶员手部肤色区域。
4.根据权利要求3所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，Kl＝125，Kh＝188，Ymin＝16，Ymax＝235，cb0＝109.30，cb0＝152.00，θ＝2.50，ecx＝1.60，ecy＝2.40，a0＝26.35，b0＝14.00。
5.根据权利要求3所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，步骤S3中，提取手部图像的HOG特征具体包括如下步骤：
A、对获得的手部区域二值化图像进行归一化处理；
B、计算手部图像的梯度；
C、计算每个细胞单元梯度直方图；
D、将几个相邻的细胞单元组合形成block块，采用矩形区间进行划分，对每一个block进行归一化处理；
E、把所有block内的特征向量合并组合，即获得正常驾驶状态和操作手机行为状态对应的手部图像HOG特征。
6.根据权利要求5所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，步骤S3中，根据手部特征的数据信息，通过模板匹配算法对手机线条轮廓特征进行检测，再采用粗精结合的算法定位出匹配点位置区域。
7.根据权利要求6所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，粗精结合的算法为：对每3个像素点进行一次匹配，当匹配率大于70％时，即确定为匹配区域，再对此区域周围进行一一检测获取最优匹配点。
8.根据权利要求3所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，在步骤S24中，当手部肤色分割率不在阈值范围之内时，采用OTSU自适应阈值分割算法再次进行肤色分割，获得最终的手部区域。
9.根据权利要求8所述的一种驾驶员行车中操作手机行为的检测方法，其特征在于，手部肤色分割率的阈值范围为6％—10％。
CN201810329536.6A 2018-04-13 2018-04-13 一种驾驶员行车中操作手机行为的检测方法 Pending CN108564034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810329536.6A CN108564034A (zh) 2018-04-13 2018-04-13 一种驾驶员行车中操作手机行为的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810329536.6A CN108564034A (zh) 2018-04-13 2018-04-13 一种驾驶员行车中操作手机行为的检测方法

Publications (1)

Publication Number Publication Date
CN108564034A true CN108564034A (zh) 2018-09-21

Family

ID=63534881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810329536.6A Pending CN108564034A (zh) 2018-04-13 2018-04-13 一种驾驶员行车中操作手机行为的检测方法

Country Status (1)

Country Link
CN (1) CN108564034A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596064A (zh) * 2018-04-13 2018-09-28 长安大学 基于多信息融合的驾驶人低头操作手机行为检测方法
CN109472238A (zh) * 2018-11-06 2019-03-15 南通大学 一种基于先验概率模型的驾驶员姿态特征提取方法
CN109684990A (zh) * 2018-12-20 2019-04-26 天津天地伟业信息系统集成有限公司 一种基于视频的打电话行为检测方法
CN111553217A (zh) * 2020-04-20 2020-08-18 哈尔滨工程大学 一种驾驶员打电话监测方法与系统
CN112633247A (zh) * 2021-01-04 2021-04-09 珠海研果科技有限公司 驾驶状态监测方法和装置
CN113139452A (zh) * 2021-04-19 2021-07-20 中国人民解放军91054部队 基于目标检测的使用手机行为的检测方法
CN113753035A (zh) * 2020-06-02 2021-12-07 奥迪股份公司 驾驶辅助系统、包括其的车辆、驾驶辅助方法和介质
CN114821549A (zh) * 2022-04-22 2022-07-29 电子科技大学 一种利用方向盘定位驾驶区域的驾驶行为识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN107545225A (zh) * 2016-06-23 2018-01-05 杭州海康威视数字技术股份有限公司 一种检测车载驾驶员违规行为的方法、装置及电子设备
WO2018031516A1 (en) * 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN107545225A (zh) * 2016-06-23 2018-01-05 杭州海康威视数字技术股份有限公司 一种检测车载驾驶员违规行为的方法、装置及电子设备
WO2018031516A1 (en) * 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RAFAEL A. BERRI 等: "A Pattern Recognition System for Detecting Use of Mobile Phones While Driving", 《ARXIV》 *
SIDDHARTH 等: "Driver Hand Localization and Grasp Analysis:A Vision-based Real-time Approach", 《2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
倪康: "手势图像特征提取与识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨晓峰 等: "基于计算机视觉的驾驶员低头行为检测", 《计算机科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596064A (zh) * 2018-04-13 2018-09-28 长安大学 基于多信息融合的驾驶人低头操作手机行为检测方法
CN109472238A (zh) * 2018-11-06 2019-03-15 南通大学 一种基于先验概率模型的驾驶员姿态特征提取方法
CN109472238B (zh) * 2018-11-06 2021-12-24 南通大学 一种基于先验概率模型的驾驶员姿态特征提取方法
CN109684990A (zh) * 2018-12-20 2019-04-26 天津天地伟业信息系统集成有限公司 一种基于视频的打电话行为检测方法
CN109684990B (zh) * 2018-12-20 2023-05-30 天津天地伟业信息系统集成有限公司 一种基于视频的打电话行为检测方法
CN111553217A (zh) * 2020-04-20 2020-08-18 哈尔滨工程大学 一种驾驶员打电话监测方法与系统
CN113753035A (zh) * 2020-06-02 2021-12-07 奥迪股份公司 驾驶辅助系统、包括其的车辆、驾驶辅助方法和介质
CN112633247A (zh) * 2021-01-04 2021-04-09 珠海研果科技有限公司 驾驶状态监测方法和装置
CN113139452A (zh) * 2021-04-19 2021-07-20 中国人民解放军91054部队 基于目标检测的使用手机行为的检测方法
CN114821549A (zh) * 2022-04-22 2022-07-29 电子科技大学 一种利用方向盘定位驾驶区域的驾驶行为识别方法

Similar Documents

Publication Publication Date Title
CN108564034A (zh) 一种驾驶员行车中操作手机行为的检测方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN107578008B (zh) 基于分块特征矩阵算法和svm的疲劳状态检测方法
CN106682601B (zh) 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN105354554A (zh) 基于颜色和奇异值特征的人脸活体检测方法
CN108509902B (zh) 一种驾驶员行车过程中手持电话通话行为检测方法
CN101251898B (zh) 一种肤色检测方法及装置
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN104809445A (zh) 基于眼部和嘴部状态的疲劳驾驶检测方法
CN103942539B (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN111191573A (zh) 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN104408424A (zh) 一种基于图像处理的多信号灯识别方法
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
CN109191495A (zh) 基于自组织背景差模型和多特征融合的黑烟车检测方法
CN106203338B (zh) 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
CN108596064A (zh) 基于多信息融合的驾驶人低头操作手机行为检测方法
CN106022242B (zh) 智能交通系统中的驾驶员接打电话识别方法
CN110046565A (zh) 一种基于Adaboost算法的人脸检测方法
Xing et al. Traffic sign detection and recognition using color standardization and Zernike moments
Yusuf et al. Human face detection using skin color segmentation and watershed algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921