CN108509902B - 一种驾驶员行车过程中手持电话通话行为检测方法 - Google Patents

一种驾驶员行车过程中手持电话通话行为检测方法 Download PDF

Info

Publication number
CN108509902B
CN108509902B CN201810275590.7A CN201810275590A CN108509902B CN 108509902 B CN108509902 B CN 108509902B CN 201810275590 A CN201810275590 A CN 201810275590A CN 108509902 B CN108509902 B CN 108509902B
Authority
CN
China
Prior art keywords
hand
driver
mouth
behavior
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810275590.7A
Other languages
English (en)
Other versions
CN108509902A (zh
Inventor
陈运星
刘克非
陈国华
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN201810275590.7A priority Critical patent/CN108509902B/zh
Publication of CN108509902A publication Critical patent/CN108509902A/zh
Application granted granted Critical
Publication of CN108509902B publication Critical patent/CN108509902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Abstract

本发明提供一种驾驶员行车过程中手持电话通话行为检测方法，通过实时检测驾驶员耳边区域的手部行为和嘴部状态，分别建立驾驶员手部行为模式判别法和嘴部行为模式判别法，结合手部和嘴部的两种判别法建立了合理的逻辑关系，并提出二模式逻辑判别方法来判断驾驶员手持电话通话行为，其具有准确度高、鲁棒性强及可靠性好的优点。

Description

一种驾驶员行车过程中手持电话通话行为检测方法
技术领域
本发明属于驾驶辅助安全技术领域，具体涉及一种驾驶员行车过程中手持电话通话行为检测方法。
背景技术
近年来，随着“互联网+”时代的到来，手机在人们日常生活中扮演的角色越来越重要，而驾驶员在驾驶过程中使用手持电话通话行为也越来越普遍，成为了导致交通事故的主要原因之一。为了有效降低由于驾驶员使用手持电话通话行为而导致的交通事故率，我国也制定了相应的法律制度，但实效性不好。因此，对驾驶员行车过程中手持电话通话行为进行有效地检测预警已经迫在眉睫。
目前，对于驾驶员行车过程中手持电话通话行为检测方面的研究还比较少，其主要技术方法有以下两种：(1)基于手机信号的检测方法。此检测方法虽识别率高和鲁棒性强，但是很难判断手持电话通话的是驾驶员还是乘客，导致很多误检，也影响驾驶员正常操作行为，且需要的硬件设备复杂、成本较高。(2)基于机器视觉的检测方法。近几年，随着计算机视觉、图像处理、模式识别和人工智能技术的发展，基于机器视觉的驾驶员手持电话通话行为检测逐渐得到了研究。现有的相关技术方法中，主要存在以下问题：1、多数都只是单纯地通过检测驾驶员耳边区域是否存在手持电话行为进行判断，而没有考虑驾驶员嘴部状态；2、考虑了嘴部状态，没有建立手部行为和嘴部行为的模式逻辑判别法；针对手部行为和嘴部行为模式判别方法，也没有建立合理的逻辑关系来综合判断驾驶员手持电话通话行为。这样会出现检测率偏低、误检率和漏检率偏大、鲁棒性差等问题。
综上所述，目前亟需提出一种检测率较高、鲁棒性较好的驾驶员行车过程中手持电话通话行为检测方法。
发明内容
为了解决现有技术中存在的技术问题，本发明的目的是提供一种驾驶员行车过程中手持电话通话行为检测方法，通过实时检测驾驶员耳边区域的手部行为和嘴部状态，分别建立驾驶员手部行为模式判别法和嘴部行为模式判别法，结合手部和嘴部的两种判别法建立了合理的逻辑关系，并提出二模式逻辑判别方法来判断驾驶员手持电话通话行为，其具有准确度高、鲁棒性强及可靠性好的优点。
本发明所采用的技术方案为：一种驾驶员行车过程中手持电话通话行为检测方法，该检测方法包括以下步骤：
步骤S1，实时采集驾驶员脸部及附近区域图像，并对图像进行预处理；
步骤S2，从预处理之后的图像中获取驾驶员脸部区域、手部行为ROI区域和嘴部状态ROI区域；
步骤S3，对手部行为ROI区域和嘴部状态ROI区域进行分割处理，提取手部行为特征和嘴部状态特征，确定手部行为和嘴部状态模式识别参数；
步骤S4，根据步骤S3中的手部行为和嘴部状态的特征及模式识别参数，分别建立用于判别驾驶员耳边手部存在状态的手部行为模式判别法，以及用于判别驾驶员嘴部说话状态的嘴部行为模式判别法；
步骤S5，结合步骤S4中的手部行为模式判别法和嘴部行为模式判别法，建立驾驶员手部存在状态与嘴部说话状态之间的关系，获得驾驶员手持电话通话行为二模式逻辑判别法，以此来判断驾驶员是否存在手持电话通话行为。
进一步的，步骤S2中获取驾驶员脸部区域的实现方式如下，
2a)将采集的驾驶员图像的RGB颜色空间先转换为YCbCr颜色空间，再将YCbCr空间进行非线性变换为YCb'Cr'颜色空间，具体转换公式为：
Figure BDA0001613566900000021
Figure BDA0001613566900000022
Figure BDA0001613566900000023
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，
Figure BDA0001613566900000024
和
Figure BDA0001613566900000025
为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，Ymin和Ymax分别表示肤色聚类区域中Y分量的最小值和最大值；
2b)完成非线性分段色彩变换之后，在Ymin<Y<Ymax区间内，建立椭圆肤色模型：
Figure BDA0001613566900000031
Figure BDA0001613566900000032
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a和b分别为椭圆方程的长短轴，ecx和ecy分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，其值通过统计肤色点在Cb'Cr'平面上统计得到；
对于图像中的每个点，如果满足方程
Figure BDA0001613566900000033
时，即认为该像素点为肤色；
2c)利用建立的椭圆肤色模型对驾驶员脸部肤色进行检测得到肤色区域，对检测出的肤色区域的二值化图像采用数学形态学中的开运算进行处理，筛选脸部肤色区域；
2d)采用基于Haar矩形特征的Adaboost算法获得Adaboost强分类器，利用该分类器对步骤2c)中脸部肤色区域进行二次检测，得到更加准确的驾驶员脸部区域，并根据检测出的脸部区域标定出人脸矩形框。
进一步的，步骤2d)中Adaboost强分类器的实现方式如下，
2d1)设S＝{(xi,yi)i＝1,2,...,n}为样本训练集，(x1,y1),(x2,y2),...,(xn,yn)为训练样本，其中yi＝1表示为正样本(人脸)，yi＝-1表示为负样本(非人脸)，n为训练样本的个数；
2d2)初始化权值，对yi＝-1表示为负样本(非人脸)，
Figure BDA0001613566900000034
对yi＝1表示为正样本(人脸)，
Figure BDA0001613566900000035
其中，m，r分别表示负样本和正样本的个数；
2d3)归一化权值
Figure BDA0001613566900000036
然后对于每一个特征j训练出一个相应的弱分类器hj，t＝1…T，T为训练次数，这里的特征包括基于Haar矩形特征检测脸部肤色区域图像获得的边缘特征、线性特征和特定方向特征；再计算该弱分类器的加权错误率
Figure BDA0001613566900000037
将本轮的最佳的弱分类器ht(即拥有最小错误率(minξj))添加到最终强分类器中；根据本轮选中的弱分类器分类结果更新下一轮样本权值：
Figure BDA0001613566900000041
其中
Figure BDA0001613566900000042
2d 4)获得最终的强分类器为
Figure BDA0001613566900000043
进一步的，步骤S2中获取驾驶员手部行为ROI区域的实现方式为，根据2d)中检测出的人脸矩形框，向左右各延伸人脸矩形框宽度的1/2，高度不变，获得驾驶员左、右耳部ROI区域，即手部行为ROI区域。
进一步的，步骤S2中获取驾驶员嘴部状态ROI区域的实现方式为，根据2d)中检测出的人脸矩形框和“三庭五眼”原则，选择高为人脸矩形框的下1/3，宽为人脸矩形框中间3/4的矩形区域为驾驶员嘴部状态ROI区域。
进一步的，步骤S3中提取手部行为特征和确定手部行为模式识别参数的实现方式如下，
31a)采用步骤2b中的基于YCb'Cr'颜色空间的椭圆肤色模型对手部行为ROI区域进行检测，得到手部肤色图像；
31b)利用形态学上的开运算对手部肤色图像进行处理，筛选出驾驶员手部肤色区域；
31c)采用手部存在率
Figure BDA0001613566900000044
作为手部在耳边区域内的存在与否主要判别指标，手部存在率计算见下式：
Figure BDA0001613566900000045
其中，
Figure BDA0001613566900000046
分别表示该时刻下左、右耳部ROI区域内检测出的肤色面积，即肤色区域内含有像素点的个数，
Figure BDA0001613566900000047
表示该时刻下检测到的驾驶员人脸的面积，即人脸矩形框的面积；
31d)为了进一步提高手部检测的准确率，将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，设手部存在
Figure BDA0001613566900000048
表示每一帧手部存在的情况，
Figure BDA0001613566900000049
0代表“不存在”，1代表“存在”，将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，计算公式为：
Figure BDA0001613566900000051
其中，n为图像帧数。
进一步的，步骤S3中提取嘴部状态特征和确定嘴部状态模式识别参数的实现方式如下，
32a)将步骤S2中嘴部状态ROI区域图像转换为HSI颜色空间，采用固定色调H分量值对其进行分割得到粗略的嘴唇ROI区域；
32b)对嘴唇ROI区域进行直方图均衡化和中值滤波处理，采用算法对嘴唇ROI区域进一步进行检测得到唇部区域；
32c)对32b)中唇部区域采用膨胀运算将其按经验值膨胀1.2倍，再进行灰度增强，最后利用SUSAN算法对唇色区域角点进行检测，根据生理先验知识进行角点筛选与匹配，获取图像中最具表征意义的嘴唇特征角点，再对上下嘴唇边缘进行NURBS三次曲线拟合得到嘴唇轮廓线；
32d)由嘴唇轮廓线得到嘴唇的最大高度和最大宽度，选用嘴唇开合度(嘴唇最大高度与最大宽度之比)及其方差来表征嘴部张开闭合运动状态参数，具体为：
根据嘴唇轮廓线定义嘴部行为模式识别参数：
Figure BDA0001613566900000052
Dheight＝|y3-y4|
Figure BDA0001613566900000053
Figure BDA0001613566900000054
其中，p1(x1,y1)，p2(x2,y2)分别表示左、右嘴角的像素坐标，Dwidth表示左右嘴角之间的距离；p3(x3,y3)，p4(x4,y4)分别表示上、下嘴唇特征点的像素坐标，Dheight表示上下嘴唇之间的最大高度，
Figure BDA0001613566900000055
为嘴唇的开合度，
Figure BDA0001613566900000056
为一定时间窗口(帧数N)内嘴唇的开合度平均值，S2为开合度的样本方差，N为一定时间窗口内统计的图像帧数。
进一步的，步骤S4中手部行为模式判别法的具体实现方式如下，
S411，实时检测出每帧驾驶员脸部区域和左、右耳部ROI区域的肤色像素点的个数，并计算出每帧图像驾驶员左左、右耳部ROI区域手部存在率
Figure BDA0001613566900000061
S412，若
Figure BDA0001613566900000062
则驾驶员左、右耳部ROI区域手部存在，即
Figure BDA0001613566900000063
否则不存在，即
Figure BDA0001613566900000064
S413，无论
Figure BDA0001613566900000065
还是
Figure BDA0001613566900000066
继续对累计2s图像的手部存在状态的平均值Ahand进行计算，若Ahand≥0.9则手部存在，否则不存在；
S414，再重新开始对下帧图像进行检测。
进一步的，步骤S4中嘴部行为模式判别法的具体实现方式如下，
S421，对累计2s的驾驶员图像进行实时逐帧检测，计算出每帧图像中驾驶员嘴唇开合度
Figure BDA0001613566900000067
S422，再计算出2s内的开合度方差S2，若S2≥S2 Threshold＝0.04，则表明驾驶员嘴部状态为“说话”，否则为“闭嘴”；
S423，再重新开始对下帧图像进行检测。
进一步的，步骤S5中所述二模式逻辑判别法包括开始模式和实时模式，
其中开始模式是先对累计2s驾驶员图像的手部行为和嘴部状态进行判别，Y1表示嘴部为“闭嘴状态”，而手部为“存在状态”且存在时间超过4s，Y2表示嘴部为“说话状态”，手部为“存在状态”且存在时间不超过4s，Y3表示已经判别出该驾驶员正处于手持电话通话行为中，N1表示手部和嘴部的其他情况；
通过开始模式判断驾驶员是否存在手持电话通话行为的实现方式为：若手部和嘴部的行为状态满足Y1或Y2，则判别该驾驶员处于手持电话通话状态；否则，重新开始检测手部行为和嘴部状态；
当已判别出驾驶员处于手持电话通话状态时，进入实时模式，实时模式中，对累计2s的驾驶员图像进行判别，Y4和N2分别表示嘴部为“任何状态”时手部状态为“存在”和“不存在”，实时模式只关注手部状态，当手部状态为“存在”时，则判别为手持电话通话行为；否则，进入开始模式，重新对手部行为和嘴部状态进行检测。
与现有的驾驶员手持电话通话行为的检测技术相比，本发明的有益效果包括：采用椭圆肤色模型和Adaboost算法的驾驶员脸部检测准确度高、鲁棒性好；分别建立手部行为模式判别法和嘴部行为模式判别法，提高了驾驶员手部行为和嘴部行为的检测准确度；结合手部行为和嘴部行为模式判别法之间的逻辑关系建立二模式逻辑判别法对驾驶员手持电话通话行为进行综合判断，具有准确度高、鲁棒性强及可靠性好的优点。
附图说明
图1是本发明实施例的方法流程图；
图2是本发明实施例中手部行为模式判别法流程图；
图3是本发明实施例中嘴部行为模式判别法流程图；
图4是本发明实施例中二模式逻辑判别法流程图；
图5是驾驶员脸部区域、左右耳部ROI区域和嘴部状态ROI区域示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清晰完整，下面结合附图对本发明进行进一步详细说明。
本发明一种驾驶员行车过程中手持电话通话行为检测方法流程图如图1所示，包括步骤为S1-S5，具体步骤如下：
S1，摄像头实时采集驾驶员脸部及附近区域图像。
摄像头安装在驾驶员仪表盘上正对着驾驶员脸部区域，对实时采集的每帧驾驶员彩色图像进行预处理：对采集的驾驶员图像(包括正常驾驶手部图像和操作手机手部图像)彩色图像进行预处理：对驾驶员图像进行双边滤波和直方图均衡化处理，以去除图像中的噪声，图像质量更高、更清晰，提高图像有效信息的可识别性。
S2，从采集的图像中获取驾驶员脸部区域图像、手部行为区域图像和嘴部行为区域图像。
S21，获取驾驶员脸部区域，具体步骤为：
1)将驾驶员图像的RGB颜色空间先转换为YCbCr颜色空间，为了改善YCbCr颜色空间中肤色在亮度较大和较小时的聚类性不好的缺点，再将YCbCr空间进行非线性变换为YCb'Cr'颜色空间，具体转换公式为：
Figure BDA0001613566900000071
Figure BDA0001613566900000081
Figure BDA0001613566900000082
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，
Figure BDA0001613566900000083
和
Figure BDA0001613566900000084
为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，本实施例根据参考文献资料设定Kl＝125，Kh＝188，Ymin和Ymax都由实验数据得到，分别表示肤色聚类区域中Y分量的最小值和最大值，Ymin＝16，Ymax＝235。
3)完成步骤2)中的非线性分段色彩变换之后，在Ymin<Y<Ymax区间内，亮度对肤色聚类性的影响较小，肤色在色彩空间Cb'Cr'平面上的分布形状近似于一个椭圆，椭圆肤色模型可以用以下公式表示：
Figure BDA0001613566900000085
Figure BDA0001613566900000086
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a和b分别为椭圆方程的长短轴，ecx和ecy分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，其值通过统计肤色点在Cb'Cr'平面上统计得到，cb0＝109.38，cb0＝152.02，θ＝2.53，ecx＝1.6，ecy＝2.41，a＝26.39，b＝14.03。
对于图像中的每个点，如果满足方程
Figure BDA0001613566900000087
时，即认为该像素点为肤色。
利用建立的椭圆肤色模型对驾驶员脸部肤色进行检测得到肤色区域，对检测出的肤色区域的二值化图像采用数学形态学中的开运算进行处理，筛选脸部肤色区域。
4)Adaboost算法是基于特征的人脸分类器，采用基于Haar矩形特征的Adaboost算法再对步骤3)中脸部肤色区域进行二次检测，得到更加准确的驾驶员脸部区域，并标定出检测出的人脸矩形框。具体内容为：
基于Haar矩形特征是由2-3个矩形组成，分别检测图像的边缘特征、线性特征和特定方向特征，图像上两个以上(包括两个)大小相同矩形内部的所有像素点的灰度值和的差值作为每个特征模板的特征值，Haar矩形特征的特征值采用积分图的方法可以快速计算出来，提高了计算速度；Adaboost强分类器训练步骤如下：
(1)S＝{(xi,yi)|i＝1,2,...,n}为样本训练集，(x1,y1),(x2,y2),...,(xn,yn)为训练样本，其中yi＝1表示为正样本(人脸)，yi＝-1表示为负样本(非人脸)，n为训练样本的个数；
(2)初始化权值，对yi＝-1表示为负样本(非人脸)，
Figure BDA0001613566900000091
对yi＝1表示为正样本(人脸)，
Figure BDA0001613566900000092
其中，m，r分别表示负样本和正样本的个数；
(3)t＝1…T，T为训练次数
首先，归一化权值
Figure BDA0001613566900000093
然后，对于每一个特征j训练出一个相应的弱分类器hj，这里的特征包括基于Haar矩形特征检测脸部肤色区域图像获得的边缘特征、线性特征和特定方向特征；
再计算该弱分类器的加权错误率
Figure BDA0001613566900000094
将本轮的最佳的弱分类器ht(即拥有最小错误率(minξj))添加到最终强分类器中；
最后，根据本轮选中的弱分类器分类结果更新下一轮样本权值：
Figure BDA0001613566900000095
其中
Figure BDA0001613566900000096
(4)最终的强分类器为：
Figure BDA0001613566900000101
经过T次这样的训练后，就可以得到T个基本分类器及T个相对应的权重。最后把这T个基本分类器按相应的权重累加起来就能得到了最终的强分类器。最后，用2000张人脸图像作为正样本，2000张非人脸作为负样本，训练出基于Haar矩形特征的Adaboost算法的人脸分类器。
S22，获取驾驶员手部行为区域具体内容为：步骤S21中已经获得驾驶员脸部区域，并用矩形框标定出驾驶员脸部位置，再向左右各延伸头部宽度(人脸矩形框宽度)的1/2，高度不变，这样就包含了左、右耳部ROI区域(手部行为ROI区域)，如图5所示，中间的大矩形框为人脸矩形框，左右两侧的分别为左、右耳部ROI区域；
S23，人脸当中的五官分布和人脸长与宽符合比例“三庭五眼”，所以按照一定的比例关系就可以确定出嘴部检测的ROI，选择高为人脸矩形框的下1/3，宽为人脸矩形框中间3/4的矩形区域为驾驶员嘴部状态ROI区域，如图5所示，中间的大矩形框为人脸矩形框，底部的虚线矩形框为嘴部状态ROI区域；
S3，对手部行为ROI区域和嘴部状态ROI区域进行分割等处理，提取手部行为特征和嘴部状态特征，确定手部行为和嘴部行为模式识别参数。
S31，对手部行为ROI区域进行分割处理，提取手部行为特征，确定手部行为模式识别参数，具体为：
1)采用步骤S21中的基于YCb'Cr'颜色空间的椭圆肤色模型对手部行为ROI区域进行检测；
2)用开运算(对原图像先腐蚀后膨胀)对手部肤色图像进行处理，筛选出驾驶员手部肤色区域，具体为：开运算：
Figure BDA0001613566900000102
其中A代表原图像，B代表核元素，E代表A经过开运算后的效果图；
3)采用手部存在率
Figure BDA0001613566900000103
作为手部在耳边区域内的存在与否主要判别指标，手部存在率计算见下式：
Figure BDA0001613566900000104
其中，
Figure BDA0001613566900000105
分别表示该时刻下左、右耳部ROI区域内检测出的肤色面积，即肤色区域内含有像素点的个数，
Figure BDA0001613566900000111
表示该时刻下检测到的驾驶员人脸的面积，即人脸矩形框的面积。手部存在率阈值Ethreshold设为10％，即该时刻的手部存在率大于10％，则手部存在。
为了进一步提高手部检测的准确率，将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，设手部存在
Figure BDA0001613566900000112
表示每一帧手部存在的情况，
Figure BDA0001613566900000113
0代表“不存在”，1代表“存在”。将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，计算公式为：
Figure BDA0001613566900000114
其中，n＝34帧，根据大量数据统计，将Ahand的下限值设为0.9，即Ahand大于等于0.9则表示手部“存在”，Ahand小于0.9则表示手部“不存在”。
S32，获取嘴部行为的特征和模式识别参数具体内容为：
1)将步骤S2中嘴部状态ROI区域图像转换为HSI颜色空间，采用固定色调H分量值对其进行分割得到粗略地嘴唇ROI区域；
2)对嘴唇ROI区域进行直方图均衡化和中值滤波处理，采用如下算法对嘴唇ROI区域进一步进行检测得到唇部区域，算法基本原理为：
设图像像素点总数为N，灰度值变化范围为[0，L-1]，且灰度级为i的像素点数有ni个，则灰度级i概率为pi：
pi＝ni/N
其中，
Figure BDA0001613566900000115
用阈值T将图像的像素点灰度值分成u0和u1两类，灰度值在[0，T]范围内的像素点集合用u0表示，在[T+1，L-1]范围内的像素点的集合用u1表示，则整幅图像的灰度均值为下式：
Figure BDA0001613566900000116
则u0和u1的均值分别为：
Figure BDA0001613566900000117
Figure BDA0001613566900000121
其中：
Figure BDA0001613566900000122
可以得到：
u＝w0u0+w1u1
类间方差为：
Figure BDA0001613566900000123
让T依次在[0，L-1]范围取值，使得类间方差
Figure BDA0001613566900000124
达到最大的T值就是Otsu方法选取的最佳阈值。
3)对2)中唇部区域采用膨胀运算将其按经验值膨胀1.2倍，再进行灰度增强，最后利用SUSAN算法对唇色区域角点进行检测，根据生理先验知识进行角点筛选与匹配，获取图像中最具表征意义的嘴唇特征角点，再对上下嘴唇边缘进行NURBS三次曲线拟合得到嘴唇轮廓线；
4)由嘴唇轮廓线可以得到嘴唇的最大高度和最大宽度，选用嘴唇开合度(嘴唇最大高度与最大宽度之比)及其方差来表征嘴部张开闭合运动状态参数，具体为：
根据嘴唇轮廓线定义嘴部行为模式识别参数：
Figure BDA0001613566900000125
Dheight＝|y3-y4|
Figure BDA0001613566900000126
Figure BDA0001613566900000127
Figure BDA0001613566900000128
用p1(x1,y1)，p2(x2,y2)分别表示左、右嘴角的像素坐标，Dwidth表示左右嘴角之间的距离。p3(x3,y3)，p4(x4,y4)分别表示上、下嘴唇特征点的像素坐标，Dheight表示上下嘴唇之间的最大高度，
Figure BDA0001613566900000131
为嘴唇的开合度，
Figure BDA0001613566900000132
为第i帧图像的嘴唇开合度
Figure BDA0001613566900000133
为一定时间窗口(帧数N)内嘴唇的开合度平均值，S2为开合度的样本方差，N为一定时间窗口内统计的图像帧数。
S4，根据步骤S3中的手部行为和嘴部行为的特征及模式识别参数，分别建立手部行为模式判别法和嘴部行为模式判别法，以此来判断驾驶员耳边区域是否存在手部和嘴部是处于张开还是闭合状态，具体内容为：
S41，手部行为模式判别法流程如图2所示。具体流程为：
S411，实时检测出每帧驾驶员脸部区域和左、右耳部ROI区域的肤色像素点的个数，并计算出每帧图像驾驶员左、右耳部ROI区域的手部存在率
Figure BDA0001613566900000134
S412，若
Figure BDA0001613566900000135
则驾驶员左、右耳部ROI区域手部存在，即
Figure BDA0001613566900000136
否则不存在，即
Figure BDA0001613566900000137
S413，无论
Figure BDA0001613566900000138
还是
Figure BDA0001613566900000139
继续对累计2s图像的手部存在状态的平均值Ahand进行计算，若Ahand≥0.9则手部存在，否则不存在；
S414，再重新开始对下帧图像进行检测。
S42，嘴部行为模式判别法流程如图3所示。具体流程为：
S421，对累计2s的驾驶员图像进行实时逐帧检测，计算出每帧驾驶员嘴唇开合度
Figure BDA00016135669000001310
S422，再计算出2s内的开合度方差S2，若S2≥S2 Threshold＝0.04，则表明驾驶员嘴部状态为“说话”，否则为“闭嘴”；
S423，再重新开始对下帧图像进行检测。
S5，驾驶员手持电话通话行为二模式逻辑判别法流程如图4所示。具体流程为：
S51，二模式包括开始模式和实时模式，开始模式先对累计2s驾驶员图像的手部行为和嘴部状态进行判别，Y1表示嘴部为“闭嘴状态”，而手部为“存在状态”且存在时间超过4s，Y2表示嘴部为“说话状态”，手部为“存在状态”且存在时间不超过4s，Y3表示已经判别出该驾驶员正处于手持电话通话行为中，N1表示手部和嘴部的其他情况；
S52，若手部和嘴部的行为状态满足Y1或Y2，则判别该驾驶员处于手持电话通话状态；否则，重新开始检测嘴部和手部的状态；
S53，当已判别出驾驶员处于手持电话通话状态时，进入实时模式；
S54，实时模式中，同样对累计2s的驾驶员图像进行判别，Y4和N2分别表示嘴部为“任何状态”时手部状态为“存在”和“不存在”，实时模式只关注手部状态，当手部状态为“存在”时，则判别为手持电话通话行为；否则，进入开始模式，重新对手部行为和嘴部状态进行检测。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明保护的范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于，包括如下步骤：
步骤S1，实时采集驾驶员脸部及附近区域图像，并对图像进行预处理；
步骤S2，从预处理之后的图像中获取驾驶员脸部区域、手部行为ROI区域和嘴部状态ROI区域；
步骤S3，对手部行为ROI区域和嘴部状态ROI区域进行分割处理，提取手部行为特征和嘴部状态特征，确定手部行为和嘴部状态模式识别参数；
步骤S4，根据步骤S3中的手部行为和嘴部状态的特征及模式识别参数，分别建立用于判别驾驶员耳边手部存在状态的手部行为模式判别法，以及用于判别驾驶员嘴部说话状态的嘴部行为模式判别法；
步骤S4中嘴部行为模式判别法的具体实现方式如下，
S421，对累计2s的驾驶员图像进行实时逐帧检测，计算出每帧图像中驾驶员嘴唇开合度
Figure FDA0002380900770000013
S422，再计算出2s内的开合度方差S2，若S2≥S2 Threshold＝0.04，则表明驾驶员嘴部状态为“说话”，否则为“闭嘴”；
S423，再重新开始对下帧图像进行检测；
步骤S5，结合步骤S4中的手部行为模式判别法和嘴部行为模式判别法，建立驾驶员手部存在状态与嘴部说话状态之间的关系，获得驾驶员手持电话通话行为二模式逻辑判别法，以此来判断驾驶员是否存在手持电话通话行为。
2.如权利要求1所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤2中获取驾驶员脸部区域的实现方式如下，
2a)将采集的驾驶员图像的RGB颜色空间先转换为YCbCr颜色空间，再将YCbCr空间进行非线性变换为YCb'Cr'颜色空间，具体转换公式为：
Figure FDA0002380900770000011
Figure FDA0002380900770000012
Figure FDA0002380900770000021
其中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量，R、G、B分别为红、绿、蓝三原色，
Figure FDA0002380900770000022
和
Figure FDA0002380900770000023
为YCb'Cr'颜色空间中的色度分量，Kl和Kh表示非线性分段颜色变换的分段阈值，Ymin和Ymax分别表示肤色聚类区域中Y分量的最小值和最大值；
2b)完成非线性分段色彩变换之后，在Ymin<Y<Ymax区间内，建立椭圆肤色模型：
Figure FDA0002380900770000024
Figure FDA0002380900770000025
其中，x和y分别为像素点转换成Cb'和Cr'的两个坐标值，a和b分别为椭圆方程的长短轴，ecx和ecy分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，Cb'和Cr'分别为非线性变换后的蓝色色度分量和红色色度分量，cb0和cr0为椭圆在Cb'Cr'平面上的圆心，其值通过统计肤色点在Cb'Cr'平面上统计得到；
对于图像中的每个点，如果满足方程
Figure FDA0002380900770000026
时，即认为该像素点为肤色；
2c)利用建立的椭圆肤色模型对驾驶员脸部肤色进行检测得到肤色区域，对检测出的肤色区域的二值化图像采用数学形态学中的开运算进行处理，筛选脸部肤色区域；
2d)采用基于Haar矩形特征的Adaboost算法获得Adaboost强分类器，利用该分类器对步骤2c)中脸部肤色区域进行二次检测，得到更加准确的驾驶员脸部区域，并根据检测出的脸部区域标定出人脸矩形框。
3.如权利要求2所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤2d)中Adaboost强分类器的实现方式如下，
2d1)设S＝{(xi,yi)|i＝1,2,...,n}为样本训练集，(x1,y1),(x2,y2),...,(xn,yn)为训练样本，其中yi＝1表示为正样本，即人脸，yi＝-1表示为负样本，即非人脸，n为训练样本的个数；
2d2)初始化权值，对yi＝-1表示为负样本，即非人脸，
Figure FDA0002380900770000031
对yi＝1表示为正样本，即人脸，
Figure FDA0002380900770000032
其中，m，r分别表示负样本和正样本的个数；
2d3)归一化权值
Figure FDA0002380900770000033
然后对于每一个特征j训练出一个相应的弱分类器hj，这里的特征包括基于Haar矩形特征检测脸部肤色区域图像获得的边缘特征、线性特征和特定方向特征，t＝1…T，T为训练次数；再计算该弱分类器的加权错误率
Figure FDA0002380900770000034
将本轮的最佳的弱分类器ht添加到最终强分类器中；根据本轮选中的弱分类器分类结果更新下一轮样本权值：
Figure FDA0002380900770000035
其中
Figure FDA0002380900770000036
2d 4)获得最终的强分类器为
Figure FDA0002380900770000037
4.如权利要求2所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S2中获取驾驶员手部行为ROI区域的实现方式为，根据2d)中检测出的人脸矩形框，向左右各延伸人脸矩形框宽度的1/2，高度不变，获得驾驶员左、右耳部ROI区域，即手部行为ROI区域。
5.如权利要求2所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S2中获取驾驶员嘴部状态ROI区域的实现方式为，根据2d)中检测出的人脸矩形框和“三庭五眼”原则，选择高为人脸矩形框的下1/3，宽为人脸矩形框中间3/4的矩形区域为驾驶员嘴部状态ROI区域。
6.如权利要求2所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S3中提取手部行为特征和确定手部行为模式识别参数的实现方式如下，
31a)采用步骤2b中的基于YCb'Cr'颜色空间的椭圆肤色模型对手部行为ROI区域进行检测，得到手部肤色图像；
31b)利用形态学上的开运算对手部肤色图像进行处理，筛选出驾驶员手部肤色区域；
31c)采用手部存在率
Figure FDA0002380900770000041
作为手部在耳边区域内的存在与否主要判别指标，手部存在率计算见下式：
Figure FDA0002380900770000042
其中，
Figure FDA0002380900770000043
分别表示该时刻下左、右耳部ROI区域内检测出的肤色面积，即肤色区域内含有像素点的个数，
Figure FDA0002380900770000044
表示该时刻下检测到的驾驶员人脸的面积，即人脸矩形框的面积；
31d)为了进一步提高手部检测的准确率，将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，设手部存在
Figure FDA0002380900770000045
表示每一帧手部存在的情况，
Figure FDA0002380900770000046
0代表“不存在”，1代表“存在”，将累计2s图像的手部存在状态的平均值Ahand作为判别手部存在的条件，计算公式为：
Figure FDA0002380900770000047
其中，n为图像帧数。
7.如权利要求6所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S3中提取嘴部状态特征和确定嘴部状态模式识别参数的实现方式如下，
32a)将步骤S2中嘴部状态ROI区域图像转换为HSI颜色空间，采用固定色调H分量值对其进行分割得到粗略的嘴唇ROI区域；
32b)对嘴唇ROI区域进行直方图均衡化和中值滤波处理，采用Otsu算法对嘴唇ROI区域进一步进行检测得到唇部区域；
32c)对32b)中唇部区域采用膨胀运算将其按经验值膨胀1.2倍，再进行灰度增强，最后利用SUSAN算法对唇色区域角点进行检测，根据生理先验知识进行角点筛选与匹配，获取图像中最具表征意义的嘴唇特征角点，再对上下嘴唇边缘进行NURBS三次曲线拟合得到嘴唇轮廓线；
32d)由嘴唇轮廓线得到嘴唇的最大高度和最大宽度，选用嘴唇开合度，及其方差来表征嘴部张开闭合运动状态参数，嘴唇开合度即嘴唇最大高度与最大宽度之比，具体为：
根据嘴唇轮廓线定义嘴部行为模式识别参数：
Figure FDA0002380900770000051
Dheight＝|y3-y4|
Figure FDA0002380900770000052
Figure FDA0002380900770000053
其中，p1(x1,y1)，p2(x2,y2)分别表示左、右嘴角的像素坐标，Dwidth表示左右嘴角之间的距离；p3(x3,y3)，p4(x4,y4)分别表示上、下嘴唇特征点的像素坐标，Dheight表示上下嘴唇之间的最大高度，
Figure FDA00023809007700000511
为嘴唇的开合度，
Figure FDA0002380900770000054
为一定时间窗口内嘴唇的开合度平均值，S2为开合度的样本方差，N为一定时间窗口内统计的图像帧数。
8.如权利要求7所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S4中手部行为模式判别法的具体实现方式如下，
S411，实时检测出每帧驾驶员脸部区域和左、右耳部ROI区域的肤色像素点的个数，并计算出每帧图像驾驶员左、右耳部ROI区域的手部存在率
Figure FDA0002380900770000055
S412，若
Figure FDA0002380900770000056
则驾驶员左、右耳部ROI区域手部存在，即
Figure FDA0002380900770000057
否则不存在，即
Figure FDA0002380900770000058
S413，无论
Figure FDA0002380900770000059
还是
Figure FDA00023809007700000510
继续对累计2s图像的手部存在状态的平均值Ahand进行计算，若Ahand≥0.9则手部存在，否则不存在；
S414，再重新开始对下帧图像进行检测。
9.如权利要求8所述的一种驾驶员行车过程中手持电话通话行为检测方法，其特征在于：步骤S5中所述二模式逻辑判别法包括开始模式和实时模式，
其中开始模式是先对累计2s驾驶员图像的手部行为和嘴部状态进行判别，Y1表示嘴部为“闭嘴状态”，而手部为“存在状态”且存在时间超过4s，Y2表示嘴部为“说话状态”，手部为“存在状态”且存在时间不超过4s，Y3表示已经判别出该驾驶员正处于手持电话通话行为中，N1表示手部和嘴部的其他情况；
通过开始模式判断驾驶员是否存在手持电话通话行为的实现方式为：若手部和嘴部的行为状态满足Y1或Y2，则判别该驾驶员处于手持电话通话状态；否则，重新开始检测手部行为和嘴部状态；
当已判别出驾驶员处于手持电话通话状态时，进入实时模式，实时模式中，对累计2s的驾驶员图像进行判别，Y4和N2分别表示嘴部为“任何状态”时手部状态为“存在”和“不存在”，实时模式只关注手部状态，当手部状态为“存在”时，则判别为手持电话通话行为；否则，进入开始模式，重新对手部行为和嘴部状态进行检测。
CN201810275590.7A 2018-03-30 2018-03-30 一种驾驶员行车过程中手持电话通话行为检测方法 Active CN108509902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810275590.7A CN108509902B (zh) 2018-03-30 2018-03-30 一种驾驶员行车过程中手持电话通话行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810275590.7A CN108509902B (zh) 2018-03-30 2018-03-30 一种驾驶员行车过程中手持电话通话行为检测方法

Publications (2)

Publication Number Publication Date
CN108509902A CN108509902A (zh) 2018-09-07
CN108509902B true CN108509902B (zh) 2020-07-03

Family

ID=63377972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810275590.7A Active CN108509902B (zh) 2018-03-30 2018-03-30 一种驾驶员行车过程中手持电话通话行为检测方法

Country Status (1)

Country Link
CN (1) CN108509902B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325058B (zh) * 2018-12-14 2023-12-01 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、系统及存储介质
CN109871799B (zh) * 2019-02-02 2023-03-24 浙江万里学院 一种基于深度学习的驾驶员玩手机行为的检测方法
CN110598521A (zh) * 2019-07-16 2019-12-20 南京菲艾特智能科技有限公司 一种基于人脸图像智能分析的行为与生理状态识别方法
CN110728185B (zh) * 2019-09-10 2023-04-07 西安工业大学 一种判别驾驶人存在手持手机通话行为的检测方法
CN110852190B (zh) * 2019-10-23 2022-05-20 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN111339970B (zh) * 2020-03-02 2023-04-07 上海化学工业区公共管廊有限公司 一种适用于公共环境下的吸烟行为检测方法
CN111460950B (zh) * 2020-03-25 2023-04-18 西安工业大学 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN111553217A (zh) * 2020-04-20 2020-08-18 哈尔滨工程大学 一种驾驶员打电话监测方法与系统
CN111805127A (zh) * 2020-07-20 2020-10-23 湖北文理学院 基于无线遥控的管廊焊接方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN103279750A (zh) * 2013-06-14 2013-09-04 清华大学 基于肤色范围的驾驶员手持电话行为检测方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN104573724A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种驾驶员接打电话行为监控方法
CN104573659A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于svm的驾驶员接打电话监控方法
CN106056071A (zh) * 2016-05-30 2016-10-26 北京智芯原动科技有限公司 一种驾驶员打电话行为的检测方法及装置
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
CN107330378A (zh) * 2017-06-09 2017-11-07 湖北天业云商网络科技有限公司 一种基于嵌入式图像处理的驾驶员行为检测系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN103279750A (zh) * 2013-06-14 2013-09-04 清华大学 基于肤色范围的驾驶员手持电话行为检测方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
CN104573724A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种驾驶员接打电话行为监控方法
CN104573659A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于svm的驾驶员接打电话监控方法
CN106056071A (zh) * 2016-05-30 2016-10-26 北京智芯原动科技有限公司 一种驾驶员打电话行为的检测方法及装置
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN107330378A (zh) * 2017-06-09 2017-11-07 湖北天业云商网络科技有限公司 一种基于嵌入式图像处理的驾驶员行为检测系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Driver Cell Phone Usage Detection on Strategic Highway Research Program (SHRP2) Face View Videos;Keshav Seshadri 等;《CVPR 2015》;20150612;35-43 *
Face Automatic Detection based on Elliptic Skin Model and Improved Adaboost Algorithm;Li Man 等;《International Journal of Signal Processing, Image Processing and Pattern Recognition》;20151231;第8卷(第2期);第2-4节 *
Visual Recognition of Driver Hand-held Cell Phone Use Based on Hidden CRF;Xuetao Zhang 等;《Proceedings of 2011 IEEE International Conference on Vehicular Electronics and Safety》;20110712;第II节，第IV节，图2 *
基于动态匹配模型的驾驶人嘴部行为识别与分级预警;付锐 等;《汽车工程》;20150925;第37卷(第9期);1095-1102 *
基于机器视觉的驾驶人使用手持电话行为检测;张波 等;《吉林大学学报（工学版）》;20140704;第45卷(第5期);1688-1695 *
基于机器视觉的驾驶人使用手持电话行为检测方法;魏民国;《中国优秀硕士学位论文全文数据库（电子期刊） 工程科技II辑》;20160615;正文第4章 *

Also Published As

Publication number Publication date
CN108509902A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509902B (zh) 一种驾驶员行车过程中手持电话通话行为检测方法
CN106682601B (zh) 一种基于多维信息特征融合的驾驶员违规通话检测方法
WO2020207423A1 (zh) 肤质检测方法、肤质等级分类方法及肤质检测装置
CN107220624A (zh) 一种基于Adaboost算法的人脸检测方法
CN103761529B (zh) 一种基于多色彩模型和矩形特征的明火检测方法和系统
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
Lai et al. An efficient real-time traffic sign recognition system for intelligent vehicles with smart phones
CN110084135A (zh) 人脸识别方法、装置、计算机设备及存储介质
Li et al. Face detection in complex background based on skin color features and improved AdaBoost algorithms
CN112819094A (zh) 一种基于结构相似度度量的目标检测与识别方法
CN108564034A (zh) 一种驾驶员行车中操作手机行为的检测方法
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
JP4658532B2 (ja) 顔を検出する処理方法及び画像中の顔の検出装置
CN106022242B (zh) 智能交通系统中的驾驶员接打电话识别方法
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
CN110599553B (zh) 一种基于YCbCr的肤色提取及检测方法
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
CN111079688A (zh) 一种人脸识别中的基于红外图像的活体检测的方法
CN109657544B (zh) 一种人脸检测方法和装置
CN102542304B (zh) 识别wap手机色情图像的区域分割肤色算法
Ma et al. A face detection algorithm based on modified skin-color model
CN111553217A (zh) 一种驾驶员打电话监测方法与系统
JPH07311833A (ja) 人物の顔の検出装置
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant