CN105868690A - 识别驾驶员打手机行为的方法和装置 - Google Patents

识别驾驶员打手机行为的方法和装置 Download PDF

Info

Publication number
CN105868690A
CN105868690A CN201610137535.2A CN201610137535A CN105868690A CN 105868690 A CN105868690 A CN 105868690A CN 201610137535 A CN201610137535 A CN 201610137535A CN 105868690 A CN105868690 A CN 105868690A
Authority
CN
China
Prior art keywords
mobile telephone
image
behavior
face
phoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610137535.2A
Other languages
English (en)
Inventor
刘洋
彭莉
谯帅
宋高飞
张如高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOCOM SMART NETWORK TECHNOLOGIES Inc
Original Assignee
BOCOM SMART NETWORK TECHNOLOGIES Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOCOM SMART NETWORK TECHNOLOGIES Inc filed Critical BOCOM SMART NETWORK TECHNOLOGIES Inc
Priority to CN201610137535.2A priority Critical patent/CN105868690A/zh
Publication of CN105868690A publication Critical patent/CN105868690A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2451Classification techniques relating to the decision surface linear, e.g. hyperplane

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种识别驾驶员打手机行为的方法和装置,包括采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;对人脸区域进行矫正;训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。本发明可大大降低执法难度,提高执法效率,有效地避免因驾驶员行车途中由于违法行为造成的交通事故。

Description

识别驾驶员打手机行为的方法和装置
技术领域
本发明属于智能交通技术领域,具体涉及到一种识别驾驶员在行车途中打手机行为的方法和装置。
背景技术
智能交通系统是未来交通系统的发展方向,也是目前世界交通运输领域的前沿研究课题。随着计算机视觉技术、嵌入式技术、网络通信技术的发展,研究车辆违章行为自动检测系统已经成为当前智能交通中的一个研究热点。作为保障司机安全驾驶和降低交通事故中死伤率的一项重要措施,交管部门严格要求汽车司机在行驶过程中禁用手机。
发明内容
针对现有技术的不足,本发明的目的在于提出一种识别驾驶员打手机行为的方法和装置,以提高对行车途中驾驶员打手机行为的智能化识别,从而保障司机安全驾驶和降低交通事故中死伤率。
为实现上述目的,本发明提供的识别驾驶员打手机行为的方法包括:
采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;
对人脸区域进行矫正;
训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;
利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。
在本发明的一些实施例中,在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。
在本发明的一些实施例中,所述对人脸区域进行矫正的步骤包括:
根据计算的特征点位置,估计最可靠的人脸姿态;
将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
将3D旋转模型旋转至人脸正脸姿态;
将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。
在本发明的一些实施例中,所述训练分类模型的步骤包括:
分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集。
在本发明的一些实施例中,所述利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为,的步骤包括:
通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,则判断待识别的图像中无打手机行为;若不匹配,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
本发明还提供一种识别驾驶员打手机行为的装置,包括:
定位模块,用于采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;
矫正模块,用于对人脸区域进行矫正;
训练模块,用于训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;
识别模块,用于利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。
在本发明的一些实施例中,所述定位模块,还用于在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。
在本发明的一些实施例中,所述矫正模块包括:
姿态估计模块,用于根据计算的特征点位置,估计最可靠的人脸姿态;
映射模块,用于将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
旋转模块,用于将3D旋转模型旋转至人脸正脸姿态;
人脸更新模块,用于将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。
在本发明的一些实施例中,所述训练模块用于分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集。
在本发明的一些实施例中,所述识别模块用于通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,则判断待识别的图像中无打手机行为;若不匹配,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
发明提出了一种基于人脸检测的识别驾驶员打手机行为的方法和装置,主要应用了数字图像处理技术、模式识别技术、机器学习技术等来获取、处理、解释、识别拍摄图像中的驾驶员是否存在违规接打手机的行为,对于那些轻视交通法规和安全意识淡薄的驾驶员,可以在很大程度上起到提醒和警告作用,在保证安全驾驶的同时提高驾驶员遵守交通法规的意识。因此该发明具有广阔的应用前景,且能填补该领域的技术空白。
附图说明
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明,其中:
图1为本发明实施例的识别驾驶员打手机行为的方法的流程示意图;
图2为本发明实施例的打手机和未打手机两种不同行为姿态的图像在特征空间上的区分图;
图3为本发明实施例的识别驾驶员打手机行为的图片;
图4为本发明实施例的识别驾驶员打手机行为的装置的功能模块示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
参考图1,示出了本发明一个实施例的识别驾驶员打手机行为的方法的流程示意图,具体可以包括以下步骤:
步骤101,采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域。
该步骤将驾驶员人脸的大致位置从复杂的背景中提取并识别出来,即从图像中找到驾驶员人脸的具体位置。一般地,车内装有摄像头,由于将摄像头安装在车内的前挡风玻璃上,通过车内安装的摄像头对驾驶员座椅区域进行图像采集,可以很清晰的拍摄到司机的行为,且不需其他电子器件辅助,不会影响到司机的正常行车。
优选地,在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。人体肤色在图像中的像素值处于一定的范围,驾驶舱内驾驶员的脸和手的区域由于符合人体肤色模型,在一定程度上有别于其他的干扰区域。
具体地,本发明先通过高斯平滑对图像进行平滑处理:采用5*5高斯加权滤波器扫描图像中的每一个像素,更改其像素值为其本身和其5*5领域内的其他像素值的加权平均值,图像平滑对点状噪声和干扰脉冲具有良好的抑制作用;再利用人体肤色模型对图像进行增强处理;扫描图像中的每一个像素点,对符合和不符合人体肤色模型的像素点分别进行处理,拉伸人脸和非人脸区域的对比度,以使人脸部件模型能够准确获取图像中的人脸区域。可见,对驾驶舱内摄像头采集到的图像进行上述预处理(平滑处理和增强处理)极大地提高人脸定位的准确度。
需要说明的是,由于车辆使用环境较为复杂,尤其是车辆内部光线环境变化很大,利用照度仪经过多天实验测得驾驶舱内正常光照强度范围在100-20000lx(勒克斯),为了保证获取准确性,本发明选择代表大多数情况的普通光照条件下的驾驶舱图像进行处理,而完全黑暗或者阳光曝晒的极端情况不作考虑。
由于人脸结构的特殊性,本发明采用基于人脸部件模型的方法即变形部件模型(DPM)算法对图像中的人脸进行检测定位。人脸区域由左眼、右眼、鼻子和嘴巴构成,每个部件有自己独特的特征,并且各部件在人脸上的位置分布相对固定,在位置空间上存在一定的表观约束。定位到某一个可信度较大的部件,即可对其他未定位到的部件进行假设和估计。所述人脸部件包括眼睛、鼻子嘴巴中的至少一种。人脸区域较为显著的是眼睛、鼻子、嘴巴,采用这些人脸部件组合成的人脸部件模型用来检测人脸已经能达到项目检测率和检测精度的要求。
首先使用大量的标准人脸图像,标注每一张人脸的眼睛、鼻子、嘴巴等位置大小信息,提取各部件及整个人脸的hog、lbp等特征参数,对人脸进行描述,利用所述特征参数,可快速地在平面图像中定位人脸,建立人脸部件模型。具体地,采用可变形部件模型(DPM)算法,根据人脸部件特征,分别训练分类器,再组合成一个人脸部件模型,该模型能精准有效地定位到人脸区域。本发明引入人脸部件模型的目的是从做过平滑等预处理的图片中精确定位出人脸区域。
采用人脸部件模型对所述人脸区域进行在二维平面坐标上的人脸部件的定位,由于人脸部件具有相互的空间约束,对于人脸不完整的情况,如驾驶员带墨镜、口罩、90度侧脸,该方法有更好的鲁棒性,能够实现对人脸部件的精确定位,从而准确定位图像中的人脸区域。
步骤102,对人脸区域进行矫正。
针对监控场景中人脸的姿态可能存在较大的变化,在定位到人脸的二维平面坐标的基础上,需要精确定位人脸关键点(如眼睛、嘴巴等)的位置。因此,利用大量的人脸关键点数据进行训练和学习,可以准确的提取人脸在不同姿态,不同表情等多种情况下的特征点,从而建立3D旋转模型,以减少姿态对人脸部件定位的影响。
姿态是影响人脸定位、打手机识别关键因素,同一目标在不同角度采集的人脸图片,差异甚至大于不同目标从同一角度采集的图片,因此需要对图片中的人脸姿态进行校正。作为本发明的一个实施例,所述对人脸区域进行矫正的步骤:通过人脸特征点位置,或模板匹配等方法,判断人脸的朝向和角度大小;然后根据估计的人脸形状,矫正人脸的姿态。具体地,作为本发明的一个较佳实施例,所述矫正人脸姿态(例如将侧脸变换到正脸)的步骤可以包括:
1)根据计算的特征点位置,估计最可靠的人脸姿态,如正脸、左右角度以及上下角度等;
2)将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
3)将3D旋转模型旋转至人脸正脸姿态;
4)将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。
该新角度的人脸图片即为矫正后的人脸图片。需要说明的是,在3D矫正过程中提取到的特征点个数不限,可以是5个(鼻头、眼睛、嘴角),也可以是7个,9个,10个等(眉毛、下巴、鼻翼等等)更多的特征点。特征点个数根据项目需要选择,精准的特征点用于3D建模矫正,可将有角度的人脸姿态矫正过来。
步骤103,训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集。
分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集,所述分类模型用于区分驾驶员是否打手机。
步骤104,利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。所述待识别的图像即为定位、矫正后的人脸区域图像。
具体地,通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,说明图像中无打手机行为,若无法匹配,说明可能存在打手机行为,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
需要说明的是,打手机和未打手机是两种不同的行为姿态,预先训练两种训练集,是为了学习得到一些权值参数(WT和W0),使得两种行为姿态的图像在特征空间上可以区分,如图2所示,图中的直线为一个线性判别函数(discriminantfunction),是指由x的各个分量的线性组合而成的函数g(x)=wTx+w0
如果g(x)>0,则判定x属于C1,
如果g(x)<0,则判定x属于C2,
如果g(x)=0,则可以将x任意分到某一类或者拒绝判定。
判断过程中,先将未知行为的图像“翻译”成特征,利用所述线性判别函数进行判别,并根据该特征到特征空间的距离得出一个得分(可信度)。在实际应用中,由于行车过程中打手机行为为小概率事件,而且希望判别为是打手机行为的正确率高。因此,在实际应用中识别为是打手机的但得分(可信度)低的,将其排除。未识别标签对于惩处违规行为并无太大意义,而将“打手机的但得分(可信度)低的情况”排除能保证是打手机行为的正确率,因此该判断过程无未识别标签。
本发明可以通过车内摄像头采集驾驶员头部及附近区域图像,利用图像处理技术和模型识别方法对驾驶员行为进行检测,还可以将其违规图片拍摄下来联网上传到交通局的监控中心,作为违规证据。
虽然本发明识别的是打手机行为,而实际上驾驶员行车途中单手或者双手离开方向盘行为均算作违规行为。如图3所示,本发明对驾驶员的手在人脸附近这种行为识别均有效,打手机行为实为违规行为中的一种。揉眼睛、挠耳朵、对讲机、抽烟等这些非打手机行为,目前均算作打手机行为。
本发明还提供一种识别驾驶员打手机行为的装置的功能模块示意图,如图4所示,所述包括:
定位模块201,用于采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;
矫正模块202,用于对人脸区域进行矫正;
训练模块203,用于训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;
识别模块204,用于利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。
人体肤色在图像中的像素值处于一定的范围,驾驶舱内驾驶员的脸和手的区域由于符合人体肤色模型,在一定程度上有别于其他的干扰区域。作为本发明的又一个实施例,所述定位模块201还用于在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。定位模块201用于对驾驶舱内摄像头采集到的图像进行上述预处理(平滑处理和增强处理)极大地提高人脸定位的准确度,具体如上述实施例所述。
针对监控场景中人脸的姿态可能存在较大的变化,在定位到人脸的二维平面坐标的基础上,需要精确定位人脸关键点(如眼睛、嘴巴等)的位置。因此,利用大量的人脸关键点数据进行训练和学习,可以准确的提取人脸在不同姿态,不同表情等多种情况下的特征点,从而建立3D旋转模型,以减少姿态对人脸部件定位的影响。在本发明的另一个实施例,所述矫正模块202包括:
姿态估计模块,用于根据计算的特征点位置,估计最可靠的人脸姿态;
映射模块,用于将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
旋转模块,用于将3D旋转模型旋转至人脸正脸姿态;
人脸更新模块,用于将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。具体如上述实施例所述。
在本发明的一个较佳实施例中,所述训练模块203用于分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集。这些训练集用于后续的区分驾驶员是否打手机。
作为本发明的一个较佳实施例,所述识别模块204用于通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,则判断待识别的图像中无打手机行为;若不匹配,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
在判断过程中,先将未知行为的图像“翻译”成特征,利用所述线性判别函数进行判别,并根据该特征到特征空间的距离得出一个得分(可信度)。在实际应用中,由于行车过程中打手机行为为小概率事件,而且希望判别为是打手机行为的正确率高。因此,在实际应用中识别为是打手机的但得分(可信度)低的,将其排除。未识别标签对于惩处违规行为并无太大意义,而将“打手机的但得分(可信度)低的情况”排除能保证是打手机行为的正确率,因此该判断过程无未识别标签。
本发明可以通过车内摄像头采集驾驶员头部及附近区域图像,利用图像处理技术和模型识别方法对驾驶员行为进行检测。在本发明的另一个实施例中,所述识别驾驶员打手机行为的装置还包括存储模块,用于将打手机行为的图片存储,还可以进一步将所述存储的图片上传到交通局的监控中心,作为违规证据。
本发明提供的识别驾驶员打手机行为的方法和装置可大大降低执法难度,提高执法效率,有效地避免因驾驶员行车途中由于违法行为造成的交通事故。本发明提供的基于人脸定位的识别驾驶员打手机行为的方法和装置,由于检测与识别过程简单易行,能较容易的推广应用到驾驶员疲劳驾驶、驾驶员违规抽烟、驾驶员未系安全带等多种违规行为识别上,可作为驾驶员行为约束系统有效的保护装置,对加强道路安全建设有很强的实用性。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种识别驾驶员打手机行为的方法,其特征在于,包括:
采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;
对人脸区域进行矫正;
训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;
利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。
2.根据权利要求1所述的识别驾驶员打手机行为的方法,其特征在于,在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。
3.根据权利要求1所述的识别驾驶员打手机行为的方法,其特征在于,所述对人脸区域进行矫正的步骤包括:
根据计算的特征点位置,估计最可靠的人脸姿态;
将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
将3D旋转模型旋转至人脸正脸姿态;
将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。
4.根据权利要求1所述的识别驾驶员打手机行为的方法,其特征在于,所述训练分类模型的步骤包括:
分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集。
5.根据权利要求1所述的识别驾驶员打手机行为的方法,其特征在于,所述利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为,的步骤包括:
通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,则判断待识别的图像中无打手机行为;若不匹配,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
6.一种识别驾驶员打手机行为的装置,其特征在于,包括:
定位模块,用于采集驾驶舱内的视频流,先通过高斯平滑对图像进行平滑处理,再通过人脸部件模型定位图像中的人脸区域;
矫正模块,用于对人脸区域进行矫正;
训练模块,用于训练分类模型,包括耳部区域训练集、打手机训练集和未打手机训练集;
识别模块,用于利用训练好的分类模型对待识别的图像进行识别,判断待识别的图像中是否有打手机行为。
7.根据权利要求6所述的识别驾驶员打手机行为的装置,其特征在于,所述定位模块,还用于在平滑处理后,进一步通过人体肤色模型对图像进行增强处理,增强符合人体肤色模型的区域,拉伸驾驶舱图像中人脸区域和非人脸区域的对比度。
8.根据权利要求6所述的识别驾驶员打手机行为的装置,其特征在于,所述矫正模块包括:
姿态估计模块,用于根据计算的特征点位置,估计最可靠的人脸姿态;
映射模块,用于将3D旋转模型旋转到与图片中的人脸姿态相应的角度,将图片中的人脸纹理映射到3D模型上;
旋转模块,用于将3D旋转模型旋转至人脸正脸姿态;
人脸更新模块,用于将旋转后3D旋转模型的纹理映射到新角度的人脸图片中,更新人脸区域。
9.根据权利要求6所述的识别驾驶员打手机行为的装置,其特征在于,所述训练模块用于分别取人脸3D旋转模型的右眼右边图像区域和左眼左边图像区域作为耳部区域训练集,左、右手打手机的图像作为打手机训练集,左、右手未打手机的图像作为未打手机训练集。
10.根据权利要求6所述的识别驾驶员打手机行为的装置,其特征在于,所述识别模块用于通过分类模型判断图像是否与耳部区域训练集匹配,若匹配,则判断待识别的图像中无打手机行为;若不匹配,则继续判断图像是否与打手机训练集训或者未打手机训练集匹配,若与打手机训练集匹配,则判断待识别的图像中有打手机行为,若与未打手机训练集匹配,则判断待识别的图像中无打手机行为。
CN201610137535.2A 2016-03-11 2016-03-11 识别驾驶员打手机行为的方法和装置 Pending CN105868690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610137535.2A CN105868690A (zh) 2016-03-11 2016-03-11 识别驾驶员打手机行为的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610137535.2A CN105868690A (zh) 2016-03-11 2016-03-11 识别驾驶员打手机行为的方法和装置

Publications (1)

Publication Number Publication Date
CN105868690A true CN105868690A (zh) 2016-08-17

Family

ID=56625237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610137535.2A Pending CN105868690A (zh) 2016-03-11 2016-03-11 识别驾驶员打手机行为的方法和装置

Country Status (1)

Country Link
CN (1) CN105868690A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN106886756A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司北京海淀分公司 未系安全带行为检测方法及装置
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN108073855A (zh) * 2016-11-11 2018-05-25 腾讯科技(深圳)有限公司 一种人脸表情的识别方法及系统
CN109040420A (zh) * 2018-06-15 2018-12-18 青岛海信移动通信技术股份有限公司 终端设备解锁方法、装置、电子设备及存储介质
CN109117719A (zh) * 2018-07-02 2019-01-01 东南大学 基于局部可变形部件模型融合特征的驾驶姿态识别方法
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
GB2585005A (en) * 2019-06-24 2020-12-30 Roadmetric Ltd Training a machine to recognize a motor vehicle driver using a mobile device
CN114220026A (zh) * 2021-12-30 2022-03-22 杭州电子科技大学 一种基于多分类思想的海面小目标检测方法
CN115019400A (zh) * 2022-07-19 2022-09-06 北京拙河科技有限公司 违规行为检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104573659A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于svm的驾驶员接打电话监控方法
CN104637246A (zh) * 2015-02-02 2015-05-20 合肥工业大学 一种驾驶员多种行为预警系统及危险评估方法
CN105260705A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员接打电话行为检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104573659A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于svm的驾驶员接打电话监控方法
CN104637246A (zh) * 2015-02-02 2015-05-20 合肥工业大学 一种驾驶员多种行为预警系统及危险评估方法
CN105260705A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员接打电话行为检测方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073855A (zh) * 2016-11-11 2018-05-25 腾讯科技(深圳)有限公司 一种人脸表情的识别方法及系统
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106682602B (zh) * 2016-12-16 2020-01-21 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106886756A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司北京海淀分公司 未系安全带行为检测方法及装置
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN109040420A (zh) * 2018-06-15 2018-12-18 青岛海信移动通信技术股份有限公司 终端设备解锁方法、装置、电子设备及存储介质
CN109117719A (zh) * 2018-07-02 2019-01-01 东南大学 基于局部可变形部件模型融合特征的驾驶姿态识别方法
CN109117719B (zh) * 2018-07-02 2020-04-14 东南大学 基于局部可变形部件模型融合特征的驾驶姿态识别方法
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
GB2585005A (en) * 2019-06-24 2020-12-30 Roadmetric Ltd Training a machine to recognize a motor vehicle driver using a mobile device
GB2585005B (en) * 2019-06-24 2021-06-23 Roadmetric Ltd Training a machine to recognize a motor vehicle driver using a mobile device
US11527083B2 (en) 2019-06-24 2022-12-13 Redflex Traffic Systems Pty Ltd Training a machine to recognize a motor vehicle driver using a mobile device
US11836627B2 (en) 2019-06-24 2023-12-05 Redflex Traffic Systems Pty Ltd Training a machine to recognize a motor vehicle driver using a mobile device
CN114220026A (zh) * 2021-12-30 2022-03-22 杭州电子科技大学 一种基于多分类思想的海面小目标检测方法
CN115019400A (zh) * 2022-07-19 2022-09-06 北京拙河科技有限公司 违规行为检测方法及装置
CN115019400B (zh) * 2022-07-19 2023-03-03 北京拙河科技有限公司 违规行为检测方法及装置

Similar Documents

Publication Publication Date Title
CN105868690A (zh) 识别驾驶员打手机行为的方法和装置
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
US10769459B2 (en) Method and system for monitoring driving behaviors
CN109902562B (zh) 一种基于强化学习的驾驶员异常姿态监测方法
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示系统的识别方法
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN110097109A (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN105574518A (zh) 人脸活体检测的方法和装置
CN106781282A (zh) 一种智能行车驾驶员疲劳预警系统
CN108537197A (zh) 一种基于深度学习的车道线检测预警装置及预警方法
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN111460950B (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN108830246B (zh) 一种交通环境行人多维运动特征视觉提取方法
CN101587544A (zh) 基于计算机视觉的机动车车载反跟踪装置
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
CN106650635A (zh) 一种驾驶员后视镜查看行为检测方法及系统
CN112434545A (zh) 一种智能场所管理方法及系统
CN110097055A (zh) 一种基于栅格卷积神经网络的车辆姿态检测方法及系统
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN113269069B (zh) 一种基于卡车司机面部特征的困倦辨识方法及装置
CN117542027A (zh) 基于非接触式传感器的机组失能状态监测方法
CN113673527A (zh) 一种车牌识别方法及系统
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817

RJ01 Rejection of invention patent application after publication