CN101916496A - 一种司机驾驶姿势检测的系统和方法 - Google Patents

一种司机驾驶姿势检测的系统和方法 Download PDF

Info

Publication number
CN101916496A
CN101916496A CN 201010250347 CN201010250347A CN101916496A CN 101916496 A CN101916496 A CN 101916496A CN 201010250347 CN201010250347 CN 201010250347 CN 201010250347 A CN201010250347 A CN 201010250347A CN 101916496 A CN101916496 A CN 101916496A
Authority
CN
China
Prior art keywords
face
people
distance
face characteristic
shoulders
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010250347
Other languages
English (en)
Other versions
CN101916496B (zh
Inventor
崔国勤
邱嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Zhonggan Microelectronics Co Ltd
Original Assignee
Wuxi Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Vimicro Corp filed Critical Wuxi Vimicro Corp
Priority to CN 201010250347 priority Critical patent/CN101916496B/zh
Publication of CN101916496A publication Critical patent/CN101916496A/zh
Application granted granted Critical
Publication of CN101916496B publication Critical patent/CN101916496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供一种司机驾驶姿势检测的系统,其包括摄像模块,获取司机的图像;人脸检测模块,从所述图像中检测到人脸;报警判断模块,定位人脸特征以实时计算人脸与摄像头的距离,所述距离超出距离阈值范围则报警;定位人脸特征,跟踪所述人脸特征以判断人脸的姿态,并计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,所述距离超出距离阈值范围则报警;定位人脸特征,找出正确姿势下图像上的两个人脸特征点,该两个人脸特征点连线与水平线的夹角为第一夹角,找出当前图像上两个人脸特征点,该两个人脸特征点与水平线的夹角为第二夹角,判断第一夹角和第二夹角的差是否超出角度阈值范围,超出则报警。所述系统还包括判断肩部姿态实现报警。

Description

一种司机驾驶姿势检测的系统和方法
【技术领域】
本发明涉及一种疲劳驾驶提醒装置,尤其是关于一种安装在仪表盘上的用于检测驾驶姿势的系统和检测方法。
【背景技术】
目前随着私家车的剧增,越来越多的交通事故也随着增多,而疲劳驾驶和司机的疏忽大意、判断错误则是引发重大交通事故的主要原因。在交通事故中,疲劳驾车所造成的交通事故占的比例较大,这是由于在疲劳时,人们大脑的控制能力下降,若没有旁人提醒,疲劳者仍然驾车行驶,在这种情况下驾车就容易发生交通事故,因此需要在司机疲劳驾驶时发出提醒。
在美国研制成功的一种针对疲劳驾驶的红外线眼球扫描仪,所述红外线眼球扫描仪如一个小型的摄像机,将其安装在仪表盘上,让镜头对准司机,扫描仪就会连续发出红外线信号来扫描司机眼球中的眼白部分,同时判断出疲劳程度并发出警告。可以看出,这种红外线眼球扫描仪在司机驾驶的过程中对眼白部分的扫描并不精确,因为如果司机处于颠簸的状态,很难检测到司机的眼白部分。
一种驾驶疲劳提醒器NAP ZAPPER,其外形类似于一个蓝牙耳机,可以挂在耳边,其主要是利用一种电子平衡度,在司机驾驶的过程中,当司机的头部倾斜有瞌睡的迹象时,则所述驾驶疲劳提醒器就会在司机的耳边发出很大的哗哗声以防止司机在驾驶的时候睡着了。这种发明存在的缺陷是:首先,所述驾驶疲劳提醒器挂在耳边带来不舒适,如果司机同样挂有蓝牙耳机通话则比较不方便;其次,司机在小幅度内发生倾斜则容易发生虚假报警,而如果司机在头部正常,但肩膀倾斜的驾驶,则不会提出警报,也可能失去了提醒的价值。
日本发明了一款最新的太阳能疲劳驾驶提醒器,其内置振动感应芯片,在没有检测到行驶的状态下,则通常四个LED灯交替点亮,即处于防盗状态,一次振动感应后即会启动报警模式,并进入行驶检测状态。如果检测到连续行驶1小时则警报提醒10秒;如果检测到连续行驶2小时则警报提醒20秒;如果检测到连续行驶到达3小时则警报2分钟提醒一次并连续提醒知道车主停车,停止休息15分钟以上警报提醒解除。可以看出,该发明实现了疲劳提醒的功能,但这种发明也存在一定的缺陷,首先,所述LED不能更换,且在阳光不能充满电的情况下,可能警报则会失效;其次,如果驾驶员在2小时20分钟疲劳则可能无法有警报的状态,此时则失去了疲劳提醒的意义了。
因此需要提出一种新的技术方案来克服上述问题。
【发明内容】
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
本发明的目的之一在于提供一种司机驾驶姿势检测的系统,其可以准确的提供司机的状态信息并发出警报,有利于交通行驶安全。
本发明的目的之二在于提供一种司机驾驶姿势检测的方法,其可以准确的提供司机的状态信息并发出警报,有利于交通行驶安全。
根据本发明的一方面,本发明提供一种司机驾驶姿势检测的系统,其包括摄像模块,摄取司机在正确姿势下和当前状态下的图像;人脸检测模块,从所述摄像模块获取的图像中检测到司机在正确姿势下的人脸和当前状态下的人脸;报警判断模块,用于定位人脸特征,计算定位到的至少两个人脸特征之间的距离,根据至少两个人脸特征之间的距离实时计算人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了预设的距离阈值范围,超出所述距离阈值范围则报警;或/和,定位人脸特征,跟踪定位到的人脸特征以判断人脸的姿态,计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了所述距离阈值范围,超出所述距离阈值范围则报警;或/和,定位人脸特征,找出在正确姿势下的图像上的两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第一夹角,找出当前状态下图像上的对应两个人脸特征点,该对应的两个人脸特征点的连线与水平线形成第二夹角,判断第一夹角和第二夹角的差是否超出角度阈值范围,超出所述角度阈值范围则报警。
进一步的,定位的人脸特征包括:眼睛、鼻子或嘴。
进一步的,所述跟踪定位到的人脸特征包括:通过跟踪人脸上的固定的人脸特征以判定人脸的移动方向。
进一步的,报警判断模块中的所述两个特征点,其具体通过尺度不变特征变化的方法提取图像不变的特征,特别是瞳孔中心点、眼角、嘴中点、鼻尖、眉峰中选取最可靠的两个特征点。
进一步的,所述司机驾驶姿势检测的系统还包括:肩部检测模块,检测出双肩的区域;肩部报警判断模块,对双肩区域的图像进行处理,用二次抛物线或四次多项式曲线分别拟合一组正确的双肩姿势和一组不合乎规范的双肩姿势的边缘线以得到两组参数,并利用这两组参数训练一个二类分类器,之后将实时检测到的双肩区域的图像通过二次抛物线或四次多项式曲线拟合得到实时参数,随后将所述实时参数通过所述训练后的二类分类器进行判断并判定是否报警;
进一步的,所述区域为人脸下方长为人脸宽的3倍,宽为人脸长的1.5倍的矩形区域。
进一步的,以所述矩形区域的左下顶点为坐标原点,确定的二维坐标系中,另所述二次抛物线为f(x)=ax2+bx+c,则所述参数为a,b,c,4次多项式曲线可表示为,Ψ(x)=α·x4+β·x3+υ·x2+γ·x+λ,所述参数为α,β,υ,γ,λ,其中x为坐标系中双肩上的点。
进一步的,所述二类分类器训练后会形成两个区域,正确的双肩姿势下的参数进入分类器后会落入其中一个区域内,不合乎规范的双肩姿势下的参数进入分类器后会落入另一个区域内。
根据本发明的另一方面,本发明提供一种司机驾驶姿势检测的方法,其包括:通过摄像头获取司机在正常姿势下的人脸图像,并根据所述人脸图像定位人脸特征;在当前情况下,通过所述摄像头获取人脸图像,并根据所述人脸图像确定人脸特征,计算定位到的至少两个人脸特征之间的距离,根据所述距离实时计算人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了预设的距离阈值范围,超出所述距离阈值范围则报警;或/并,定位人脸特征,跟踪定位到的人脸特征以判定人脸头部姿态,并计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了所述距离阈值范围,超出所述阈值距离阈值范围则报警;或/并,定位人脸特征,找出在正确姿态下的图像中两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第一夹角,找出当前状态下图像上的对应的两个人脸特征点,该对应的两个人脸特征点的连线与水平线形成的第二夹角,判断第一夹角和第二夹角的差是否超出角度阈值范围,超出所述角度阈值范围则报警。
进一步的,所述司机驾驶姿势检测的方法,还包括根据双肩姿势来判定是否进行报警提醒,其具体包括:检测双肩区域,对所述区域中的图像处理,用二次抛物线或四次多项式曲线分别拟合一组正确的双肩姿势和一组不合乎规范的双肩姿势的边缘线以得到两组参数,并将这两组参数在一个二类分类器中进行训练,之后将实时检测到的双肩区域的图像通过二次抛物线或四次多项式曲线拟合得到相应的系数,随后将所述实时参数通过所述训练后的二类分类器进行判断并判断是否报警。
进一步的,所述二类分类器训练后会形成两个区域,正确的双肩姿势下的参数进入分类器后会落入其中一个区域内,不合乎规范的双肩姿势下的参数进入分类器后会落入另一个区域内。
与现有技术相比,本发明的司机驾驶姿势检测的系统可以根据对头部人脸的检测和识别以及对肩膀的检测,在头部和肩膀的状态超出预先设定的范围时则发出警报信息,从而有利于交通行驶的安全。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明中司机驾驶姿势检测的系统的一个实施例;
图2为本发明中头部姿态与原始图像之间的变化的示意图;
图3为本发明中司机驾驶姿势检测的系统的另一个实施例;
图4为本发明中一种司机驾驶姿势检测的方法的流程图;和
图5为本发明中另一种司机驾驶姿势检测的流程图。
【具体实施方式】
本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明,在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时,本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说,为避免混淆本发明的目的,由于熟知的方法和程序已经容易理解,因此它们并未被详细描述。
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。此外,表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序,也不构成对本发明的限制。
本发明提供一种通过摄像头摄取的司机人脸头部和双肩的图像,并对图像中人脸头部和双肩的分析进行判定驾驶姿势的系统,其具体可参见图1和图3所示。
图1为本发明中司机驾驶姿势检测的系统100的一个实施例,请参阅图1所示,其中所示司机驾驶姿势检测的系统100包括摄像模块110、人脸检测模块120和报警判断模块130,其通过对当前状态下人脸头部的检测和跟踪,判定出所述人脸头部姿态是否超出了正确状态下对应的阈值范围,超出则报警。
所述摄像模块110用于摄取正确姿势下和当前状态下司机的人脸头像和双肩区域的图像,其一般安装在仪表盘上,这样检测到的人脸图像比较全面。
所述人脸检测模块120用于对摄取的图像进行人脸检测,即从所述摄像模块110获取的图像中检测到司机在正确姿势下的人脸和当前状态下的人脸。所述人脸检测技术已经是非常成熟的技术,是所述领域的技术人员都能够实现的,所述这里就不再详述。
所述报警判断模块130包括三种判断方式,第一种判断方式:实时定位所述人脸的特征,计算定位到的至少两个人脸特征之间的距离,根据至少两个人脸特征之间的距离实时计算人脸与摄像头的距离,从而判断人脸与摄像头的距离是否超出了预先设定的距离阈值范围,超出了所述阈值范围则报警。这里定位的人脸特征可以为双眼、鼻子和嘴,其中所述两个人脸特征之间的距离可以为双眼中心的距离、双眼中心分别和鼻子中心的距离、双眼中心分别和嘴区域中心的距离以及鼻子中心和嘴区域中心的距离等。一般的,在人脸检测和识别的过程中,由于对人眼的识别比较明显,所以在定位人脸特征时通常会定位双眼的距离。
在一个实施例中,根据检测到的双眼之间的距离,则可以计算人脸与摄像头之间的距离,具体来说:摄像头的距离与双眼的距离呈一个比例关系,在标准状态下摄像头的距离与双眼的距离均是固定,所以,可以通过当前状态下双眼的距离来判定摄像头和司机的距离。一般的,双眼距离和司机与摄像头的距离为正比例关系,则标准情况下,设双眼距离为a,司机与摄像头的距离为b,当前状态下,双眼距离为c,司机与摄像头的距离为x,则有关系:a/b=c/x,即x=b*c/a。
第二种判断方式:定位人脸特征,之后根据定位到的所述人脸特征以判断人脸的姿态,并计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,判断人脸与摄像头之间的距离是否超出了所述距离阈值范围,超出了所述距离阈值范围则报警。也就是说,可以跟踪人脸上某一个固定特征,如眼睛、鼻子或嘴,从而可以确定人脸头部是一个连续的前倾、后仰或左右移动的过程,相对于第一种判断方式,第二种判断方式是通过对人脸的跟踪,在人脸持续处于某一个姿势时,当这个姿势结束发生姿势变化时,才需要计算姿态结束时最后一帧图像与摄像头的距离,这样计算效率比较高。当然,通过上述跟踪只能初步判断人脸头部的一个连续的姿态,不能判定是否超出了阈值,所以需要对每次姿态不再继续移动时即最后一帧图像的人脸与摄像头的距离,超出距离阈值则报警。例如,司机正常姿态下与摄像头的距离为30-50cm,根据上述跟踪技术得到司机前倾,并且在不再继续前倾的时刻,人脸与摄像头的距离为25cm,则可以判断司机由于前倾超出了距离阈值,此时可做报警处理。
在一个实施例中,对于人脸跟踪则采用光流场(Optical Flow)算法,由于捕获到的司机的人脸图像的区域范围比较小,所以一般采用光流场的方法比较精确。而跟踪的具体实现可以通过软件、硬件或软硬件结合来实现,其具体的实现是本领域的普通技术人员都能够实现的,所述这里就不再一一详述了。
一般的,上述第一种判断方式通过直接测量人脸与摄像头的距离虽然也可以判断出司机是否超出阈值范围,但由于要实时计算每一张图像中人脸与摄像头的距离,在实际应用中效率会比较低下,提醒不及时,容易造成交通事故,所以一般还会采用人脸跟踪技术。所述人脸跟踪技术是在初始捕获的图像的基础上进行跟踪的,而司机在开车初始的状态一般是比较规范的,随着开车的进行通过某种跟踪方法来跟踪初始的开车图像,这样就得到了在原始状态下,所述司机人脸图像的移动状态,即前倾、后仰或左右偏移等。并在某一个状态下,计算司机人脸与摄像头之间的距离再结合跟踪的移动状态则可以判断司机是否超出了姿态范围。
第三种判断方式:定位到的人脸特征,找出正确姿势下的图像中的两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第一夹角,找出当前状态下的图像上的两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第二夹角,判断所述第一夹角和第二夹角的差是否超出角度阈值范围,超出所述角度阈值范围则报警。
在一个实施例中,由于开车时光照等变化较大,所以一般采用的判定方法为尺度不变特征变化SIFT(Local Scale-Invariant Features Transform),其具体为:通过所述SIFT算法提取图像中特征不变的特征点,取其中最可靠的两个特征点,特别是可以从瞳孔中心点、眼角、嘴中点、鼻尖、眉峰等选取其中最可靠的两个特征点。为了更具有普遍性,这里选用一般的可靠特征点的选取方法,具体的可以参见图2所示,图2为本发明中头部姿态与原始图像之间的变化的示意图,其中左图为正确姿态下的图像,直线L为图像中水平直线,左边的图中直线a1b1为两个特征点所在的直线,图中得到两个最可靠的特征点a1、b1,可以看出,这里所示的特征点a1、b1形成的直线与所述的水平直线L大致垂直;中间的图为实时检测的当前姿态下的图,图中分别对应于图1中特征点a1和b1的两个特征点为a2、b2。a2、b2所在的直线与水平线L形成的夹角为α,现将两个图中的两对特征点a1、b1和a2、b2所在的直线分别根据所述水平直线为参考移动到同一个图中,如右图所示,可以很明显的得出,两对特征点连线的夹角为β,即两对特征点所在的直线分别与所述水平直线L形成的夹角的差β。而这个夹角的差β则说明在两幅图中存在偏移角度,且所述偏移角度则代表着人脸发生的偏移角度。在实际应用中,通过所述偏移的角度来判定人脸是否偏移以致超出了阈值范围。
在司机实际驾驶的过程中,除了采用上述光流场跟踪的方法来判断司机的移动情况外,一般还会结合所述头部姿态估计技术,获取人脸上最可靠的两个特征点,以及所述特征点在每帧中变化的夹角差来判定司机的移动角度,使得对司机的移动估计更加精确。
由此可知,以上三种判定方式在实际应用中,可以用一种方式或其中两种方式相结合,只是判定效果可能会比较差,当然,为了达到较高的精确度和速率,一般会同时引用。
在实际应用中,这里的警报提醒可以为光信号提醒或声信号提醒等使得产生的报警信号能对人有提醒的功能。
图3为发明中司机驾驶姿势检测的系统300的另一个实施例,请参阅图3所示,其中图3中所示出的司机驾驶姿势检测的系统300则为通过双肩进行姿势检测的部分,其具体包括:摄像模块310、肩部检测模块320和肩部报警判断模块330,其中通过对肩部的检测和拟合,并根据一系列正确姿势下和不正确姿势下的样本拟合的参数通过分类器进行训练得到合乎健康的参数判定规则,这样对不同情况下拟合的参数均可以通过训练好的分类器进行分类,以做出姿态的判定。
这里所述的摄像模块310和图1中所述的摄像模块110可以是同一个摄像头,当然也可以不是同一个摄像头,但其在利用双肩判定驾驶姿势时均可以获取双肩区域的图像。
所述肩部检测模块320用于检测区域内的双肩,所述区域为头部以下人脸大小的3×1.5倍的矩形区域,也就是说,所述矩形区域的长为脸部宽的3倍,且与脸部宽同方向,所述矩形区域的宽为脸部长的1.5倍,且与脸部长同方向向下,其靠近头部的一长边的中心为下巴中心。这样双肩基本可以落入在这个矩形区域内。
所述肩部报警判断模块330首先对双肩区域的图像进行处理,用二次抛物线或四次多项式曲线分别拟合一组正确的双肩姿势和一组不合乎规范的双肩姿势的边缘线以得到两组参数,并将这两组分别代表正确姿势和非正确姿势的参数来训练一个二类分类器,之后将实时检测到的双肩区域的图像通过二次抛物线或四次多项式曲线拟合得到实时参数,随后将所述实时参数通过所述训练后的二类分类器进行判断并报警。
对于所述双肩区域内的图像进行处理,具体来讲,其采用带权的Hough变换对所述矩形区域进行图像处理以得到双肩近似水平边缘线,并通过二次抛物线对得到的双肩边缘线进行拟合。
在一个实施例中,可以将所述矩形区域的左下顶点作为坐标原点,确定一个二维坐标系,抛物线可定义为:f(x)=ax2+bx+c,系数a,b,c,Ψ(x)=α·x4+β·x3+υ·x2+γ·x+λ,所述参数为α,β,υ,γ,λ,其中x为坐标系中双肩上的点。其具体过程如下:选取一系列合乎规范的双肩和不合健康习惯的双肩图像作为样本,如合乎规范的双肩样本为40个,不合健康习惯的样本为40个,分别将这些样本通过抛物线拟合,得到两组不同的系统参数组,这两组参数组分别代表了正确的双肩姿势和不合乎规范的双肩姿势,可以用Fisher判别准则或者SVM进行训练得到规则Φ。例如,利用SVM二类分类器,其通过上述两组参数的训练,得到一个可以判断正确姿势和不合乎规范姿势的二类分类器,比如,对于正确的双肩姿势的参数通过二类分类器可以落入在大于0的一个区域,对不合乎规范的双肩姿势的参数可以落入在小于0的区域,这样对不同条件下的人的双肩,其得到的参数落入在大于0的区域则为正确的双肩姿势,否则为不合乎规范的双肩姿势,从而可以根据所述训练后的分类器做出姿势的判定。
在一个具体的示例中,不妨选用SVM二类分类器进行训练,首先选两个类的样本进行训练,如80个样本,40个样本为正确状态下拟合双肩的系统参数,40个样本为不正确状态下拟合双肩的系统参数,利用这80个样本进行训练所述SVM,最后得到一个可以判定双肩姿态的二类分类器,然后将当前姿态下的双肩拟合后得到的参数带入训练好的二类分类器中则可判定当前姿态下的双肩是否合乎规范。对于不合乎规范的双肩姿势则发出警报提醒。
同理,这里的警报提醒可以为光信号警报、声信号警报或其他可以用于提醒司机的信号。
值得注意的是,在实际应用中,除图1和图2中列出的实施例外,其一般是利用上述两种方法同时进行判定,如对于人脸头部超出阈值范围的情况进行警报提醒,对于肩部姿态超出阈值范围的情况进行警报提醒,对于人脸头部和肩膀姿态均超出阈值范围的情况进行警报提醒,从而提高了判定精度。
图4为本发明中司机驾驶姿势检测的方法的一个实施例中的流程图,其中所述方法包括:
步骤410,摄取图像,一般利用一个安装于仪表盘上的摄像头进行头像人脸图像的采集;
步骤420,人脸检测,利用软件、硬件或软硬件结合对上述摄取的图像进行人脸检测;
步骤430,对上述人脸检测后的人脸进行人脸特征定位,一般人脸特征选取为双眼,眼睛、鼻子和嘴等容易识别的特征;
步骤440,根据上述定位到的人脸特征进行人脸跟踪,可以通过不同的跟踪方法,由于车内空间较小,一般采用光流场,效果比较好;
步骤450,头部姿态估计,计算在正确姿态下的图像中选取的两个特征不变的人脸特征点的连线与水平线形成的第一夹角,计算当前姿态下图像中对应的两个人脸特征点的连线与水平线形成的第二夹角,最后计算所述第一夹角和所述第二夹角的差,根据所述两个夹角的差来判别当前图像中人脸偏移的角度,上述人脸跟踪若获取人脸头部的移动趋势可以辅助队头部姿态估计的判定;
步骤460,脸部分析报警,对上述跟踪判定的移动以及姿态估计的角度来判定当前姿态是否超出了阈值范围,超出了则进行警报处理,这里的警报信息可以为光信息、声信息等。
图5为本发明中司机驾驶姿势检测的方法的另一个实施例中的流程图,其中所述方法包括:
步骤510,摄取图像,摄取包含有肩膀的图像,一般利用一个安装于仪表盘上的摄像头进行头像人脸图像的采集;
步骤520,肩膀检测,对上述采集的图像进行肩膀检测;
步骤530,肩部拟合分析报警,对上述检测后的图像通过带权的Hough变换进行图像处理以得到双肩的边缘线,对上述边缘线进行二次抛物线拟合,分别得到一组正确姿态下和一组非正常姿态下的抛物线的参数,通过上述两组参数对Fisher准则或SVM进行训练,并将实时得到的双肩进行拟合得到的参数通过上述训练后的Fisher准则或SVM进行判断,当判定为非正确姿势时则进行警报提醒。
综上所述,本发明通过对司机人脸的检测和跟踪判定来估计司机的人脸头部是否超出偏移范围并根据情况进行报警提醒,通过对司机双肩的变化跟踪和判定,确定驾驶方向盘的姿势是否有问题,从而实现了在司机可能出现问题时进行提醒,由于对于人脸和肩膀均进行了估计判定,所以报警提醒的精确度比较高。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是,熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地,本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (11)

1.一种司机驾驶姿势检测的系统,其特征在于,其包括:
摄像模块,摄取司机在正确姿势下和当前状态下的图像;
人脸检测模块,从所述摄像模块获取的图像中检测到司机在正确姿势下的人脸和当前状态下的人脸;
报警判断模块,用于定位人脸特征,计算定位到的至少两个人脸特征之间的距离,根据至少两个人脸特征之间的距离实时计算人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了预设的距离阈值范围,超出所述距离阈值范围则报警;或/和,用于定位人脸特征,跟踪定位到的人脸特征判断人脸的姿态,计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了所述距离阈值范围,超出所述距离阈值范围则报警;或/和,用于定位人脸特征,找出在正确姿势下图像上的两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第一夹角,找出当前状态下图像上的对应两个人脸特征点,该对应的两个人脸特征点的连线与水平线形成第二夹角,判断第一夹角和第二夹角的差是否超出角度阈值范围,超出所述角度阈值范围则报警。
2.根据权利要求1所述的司机驾驶姿势检测的系统,其特征在于:定位的人脸特征包括眼睛、鼻子或嘴。
3.根据权利要求1所述的司机驾驶姿势检测的系统,其特征在于:所述跟踪定位到的人脸特征包括:通过跟踪人脸上的固定特征以判定人脸的移动方向。
4.根据权利要求1所述的司机驾驶姿势检测的系统,其特征在于:所述两个人脸特征点为通过尺度不变特征变化的方法提取图像中的不变特征点,所述不变特征点包括瞳孔中心点、眼角、嘴中点、鼻尖、眉峰。
5.一种司机驾驶姿势检测的系统,其特征在于:其系统还包括:
肩部检测模块,检测出双肩的区域;
肩部报警判断模块,对双肩区域的图像进行处理,用二次抛物线或4次多项式曲线分别拟合一组正确的双肩姿势和一组不合乎规范的双肩姿势的边缘线以得到两组参数,并利用这两组参数训练获得一个二类分类器,之后将实时检测到的双肩区域的图像通过相应的曲线拟合得到相应的系数参数,并将所述实时参数通过所述训练后的二类分类器进行判断并判定是否报警;
6.根据权利要求5所述的司机驾驶姿势检测的系统,其特征在于:所述区域为人脸下方长为人脸宽的3倍,宽为人脸长的1.5倍的矩形区域。
7.根据权利要求6所述的司机驾驶姿势检测的系统,其特征在于:以所述矩形区域的左下顶点为坐标原点,确定的二维坐标系中,所述二次抛物线为f(x)=ax2+bx+c,则所述参数为a,b,c,4次多项式曲线可表示为,Ψ(x)=α·x4+β·x3+υ·x2+γ·x+λ,所述参数为α,β,υ,γ,λ,其中x为坐标系中双肩上的点。
8.根据权利要求5所述的司机驾驶姿势检测的系统,其特征在于:所述二类分类器训练后会形成两个区域,正确的双肩姿势下的参数进入分类器后会落入其中一个区域内,不合乎规范的双肩姿势下的参数进入分类器后会落入另一个区域内。
9.一种司机驾驶姿势检测的方法,其特征在于,其包括:
通过摄像头获取司机在正常姿势下的人脸图像,并根据所述人脸图像定位人脸特征;
在当前情况下,通过所述摄像头获取人脸图像,并根据所述人脸图像定位人脸特征,计算定位到的至少两个人脸特征之间的距离,根据所述距离实时计算人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了预设的距离阈值范围,超出所述距离阈值范围则报警;或/并
定位人脸特征,跟踪定位到的人脸特征以判定人脸姿态,并计算每次姿态结束时最后一帧图像的人脸与摄像头的距离,判断人脸与摄像头的距离是否超出了所述距离阈值范围,超出所述距离阈值范围则报警;或/并
定位人脸特征,找出在正确姿态下的图像中两个人脸特征点,计算该两个人脸特征点的连线与水平线形成的第一夹角,找出当前状态下图像上的对应的两个人脸特征点,该对应的两个人脸特征点的连线与水平线形成的第二夹角,判断第一夹角和第二夹角的差是否超出角度阈值范围,超出所述角度阈值范围则报警。
10.一种司机驾驶姿势检测的方法,其特征在于:其包括:
检测双肩区域,对所述区域中的图像处理,用二次抛物线或四次多项式曲线分别拟合一组正确的双肩姿势和一组不合乎规范的双肩姿势的边缘线以得到两组参数,并将这两组参数在一个二类分类器中进行训练,之后将实时检测到的双肩区域的图像通过二次抛物线或四次多项式曲线拟合得到实时参数,随后将所述实时参数通过所述训练后的二类分类器进行判断并判断是否报警。
11.根据权利要求10所述的司机驾驶姿势检测的方法,其特征在于:所述二类分类器训练后会形成两个区域,正确的双肩姿势下的参数进入分类器后会落入其中一个区域内,不合乎规范的双肩姿势下的参数进入分类器后会落入另一个区域内。
CN 201010250347 2010-08-11 2010-08-11 一种司机驾驶姿势检测的系统和方法 Active CN101916496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010250347 CN101916496B (zh) 2010-08-11 2010-08-11 一种司机驾驶姿势检测的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010250347 CN101916496B (zh) 2010-08-11 2010-08-11 一种司机驾驶姿势检测的系统和方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN 201210039963 Division CN102646189B (zh) 2010-08-11 2010-08-11 一种司机驾驶姿势检测的系统和方法

Publications (2)

Publication Number Publication Date
CN101916496A true CN101916496A (zh) 2010-12-15
CN101916496B CN101916496B (zh) 2013-10-02

Family

ID=43323994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010250347 Active CN101916496B (zh) 2010-08-11 2010-08-11 一种司机驾驶姿势检测的系统和方法

Country Status (1)

Country Link
CN (1) CN101916496B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN104238733A (zh) * 2013-06-14 2014-12-24 由田新技股份有限公司 触发信号的方法及车用电子装置
CN104424751A (zh) * 2013-09-04 2015-03-18 财团法人工业技术研究院 驾驶状态检测系统、驾驶状态检测方法与电子装置
CN104615997A (zh) * 2015-02-15 2015-05-13 四川川大智胜软件股份有限公司 一种基于多摄像机的人脸防伪方法
CN104924982A (zh) * 2015-07-14 2015-09-23 安庆市峰邦工业产品设计有限公司 调整驾驶姿势的语音提示装置
WO2015184810A1 (zh) * 2014-11-18 2015-12-10 中兴通讯股份有限公司 一种调整屏幕显示的方法和装置
CN105448053A (zh) * 2015-12-02 2016-03-30 广东小天才科技有限公司 一种姿势提醒方法及系统
CN105573494A (zh) * 2015-12-11 2016-05-11 李金秀 一种用于监视坐姿的系统
CN106022378A (zh) * 2016-05-23 2016-10-12 武汉大学 基于摄像头与压力传感器的颈椎病识别方法
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN106663377A (zh) * 2014-06-23 2017-05-10 株式会社电装 驾驶员的驾驶不能状态检测装置
CN107066076A (zh) * 2013-07-18 2017-08-18 梁裕昌 用于监控使用者的习惯的系统、方法及电子装置
CN107661609A (zh) * 2016-07-27 2018-02-06 上海中科深江电动车辆有限公司 车内锻炼方法、装置和机动车
CN109063686A (zh) * 2018-08-29 2018-12-21 安徽华元智控科技有限公司 一种汽车驾驶员疲劳检测方法及系统
CN109508576A (zh) * 2017-09-14 2019-03-22 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
TWI659400B (zh) * 2017-04-25 2019-05-11 元智大學 駕駛人生理訊號偵測系統及方法
CN110298237A (zh) * 2019-05-20 2019-10-01 平安科技(深圳)有限公司 头部姿势识别方法、装置、计算机设备及存储介质
CN111252087A (zh) * 2020-01-17 2020-06-09 中车株洲电力机车有限公司 一种司机台控制系统
CN111967439A (zh) * 2020-09-03 2020-11-20 Tcl通讯(宁波)有限公司 一种坐姿识别方法、装置、终端设备和存储介质
CN114779470A (zh) * 2022-03-16 2022-07-22 青岛虚拟现实研究院有限公司 一种增强现实抬头显示系统的显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和系统
CN101301236A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 基于三维摄像的视力保护系统及方法
JP2009279186A (ja) * 2008-05-22 2009-12-03 Toyota Motor Corp 顔検出装置及び顔検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和系统
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
JP2009279186A (ja) * 2008-05-22 2009-12-03 Toyota Motor Corp 顔検出装置及び顔検出方法
CN101301236A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 基于三维摄像的视力保护系统及方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN104182742B (zh) * 2013-05-20 2018-03-13 比亚迪股份有限公司 头部姿态识别方法及系统
CN104238733A (zh) * 2013-06-14 2014-12-24 由田新技股份有限公司 触发信号的方法及车用电子装置
CN104238733B (zh) * 2013-06-14 2017-11-24 由田新技股份有限公司 触发信号的方法及车用电子装置
CN107066076A (zh) * 2013-07-18 2017-08-18 梁裕昌 用于监控使用者的习惯的系统、方法及电子装置
CN104424751A (zh) * 2013-09-04 2015-03-18 财团法人工业技术研究院 驾驶状态检测系统、驾驶状态检测方法与电子装置
CN104424751B (zh) * 2013-09-04 2017-07-07 财团法人工业技术研究院 驾驶状态检测系统、驾驶状态检测方法与电子装置
CN106663377A (zh) * 2014-06-23 2017-05-10 株式会社电装 驾驶员的驾驶不能状态检测装置
CN106663377B (zh) * 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
WO2015184810A1 (zh) * 2014-11-18 2015-12-10 中兴通讯股份有限公司 一种调整屏幕显示的方法和装置
CN105630143A (zh) * 2014-11-18 2016-06-01 中兴通讯股份有限公司 一种调整屏幕显示的方法和装置
CN104615997A (zh) * 2015-02-15 2015-05-13 四川川大智胜软件股份有限公司 一种基于多摄像机的人脸防伪方法
CN106327801B (zh) * 2015-07-07 2019-07-26 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN104924982A (zh) * 2015-07-14 2015-09-23 安庆市峰邦工业产品设计有限公司 调整驾驶姿势的语音提示装置
CN105448053A (zh) * 2015-12-02 2016-03-30 广东小天才科技有限公司 一种姿势提醒方法及系统
CN105448053B (zh) * 2015-12-02 2018-06-15 广东小天才科技有限公司 一种姿势提醒方法及系统
CN105573494A (zh) * 2015-12-11 2016-05-11 李金秀 一种用于监视坐姿的系统
CN106022378B (zh) * 2016-05-23 2019-05-10 武汉大学 坐姿判断方法及基于摄像头与压力传感器颈椎病识别系统
CN106022378A (zh) * 2016-05-23 2016-10-12 武汉大学 基于摄像头与压力传感器的颈椎病识别方法
CN107661609A (zh) * 2016-07-27 2018-02-06 上海中科深江电动车辆有限公司 车内锻炼方法、装置和机动车
TWI659400B (zh) * 2017-04-25 2019-05-11 元智大學 駕駛人生理訊號偵測系統及方法
CN109508576A (zh) * 2017-09-14 2019-03-22 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
CN109508576B (zh) * 2017-09-14 2021-03-26 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
CN109063686A (zh) * 2018-08-29 2018-12-21 安徽华元智控科技有限公司 一种汽车驾驶员疲劳检测方法及系统
CN110298237A (zh) * 2019-05-20 2019-10-01 平安科技(深圳)有限公司 头部姿势识别方法、装置、计算机设备及存储介质
CN111252087A (zh) * 2020-01-17 2020-06-09 中车株洲电力机车有限公司 一种司机台控制系统
CN111967439A (zh) * 2020-09-03 2020-11-20 Tcl通讯(宁波)有限公司 一种坐姿识别方法、装置、终端设备和存储介质
CN114779470A (zh) * 2022-03-16 2022-07-22 青岛虚拟现实研究院有限公司 一种增强现实抬头显示系统的显示方法

Also Published As

Publication number Publication date
CN101916496B (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
CN101916496B (zh) 一种司机驾驶姿势检测的系统和方法
CN102310771B (zh) 基于驾驶员面部识别的机动车安全控制方法及系统
CN102646189B (zh) 一种司机驾驶姿势检测的系统和方法
CN106965675B (zh) 一种货车集群智能安全作业系统
CN101732055B (zh) 驾驶员疲劳检测方法及系统
CN108639055B (zh) 车辆的显示系统及车辆的显示系统的控制方法
CN106709420A (zh) 一种监测营运车辆驾驶人员驾驶行为的方法
US20130169536A1 (en) Control of a wearable device
US20160272217A1 (en) Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape
EP2535224B1 (en) Driving support equipment for vehicles
CN104183091A (zh) 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN101814130A (zh) 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
EP2629241A1 (en) Control of a wearable device
US20070291983A1 (en) Method of tracking a human eye in a video image
CN102096801A (zh) 一种坐姿检测方法及装置
CN101178769B (zh) 健康保护装置及其实现方法
CN106898118B (zh) 防止疲劳驾驶的智能系统及方法
CN104318237A (zh) 基于人脸识别的疲劳驾驶预警方法
JP4770218B2 (ja) 視認行動判定装置
CN111753589B (zh) 手握方向盘状态的检测方法及装置
Anjali et al. Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness
CN102298692B (zh) 一种人体姿态的检测方法及装置
CN103021179A (zh) 基于实时监控视频中的安全带检测方法
Ali et al. A novel and efficient real time driver fatigue and yawn detection-alert system
Ranjan et al. Driver Drowsiness Detection System Using Computer Vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer

Patentee after: WUXI ZHONGGAN MICROELECTRONIC CO., LTD.

Address before: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer

Patentee before: Wuxi Vimicro Co., Ltd.