CN102310771B - 基于驾驶员面部识别的机动车安全控制方法及系统 - Google Patents
基于驾驶员面部识别的机动车安全控制方法及系统 Download PDFInfo
- Publication number
- CN102310771B CN102310771B CN 201110138749 CN201110138749A CN102310771B CN 102310771 B CN102310771 B CN 102310771B CN 201110138749 CN201110138749 CN 201110138749 CN 201110138749 A CN201110138749 A CN 201110138749A CN 102310771 B CN102310771 B CN 102310771B
- Authority
- CN
- China
- Prior art keywords
- triangle
- face
- image
- chaufeur
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 210000003128 head Anatomy 0.000 claims description 19
- 239000011521 glass Substances 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 239000000295 fuel oil Substances 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 5
- 230000001815 facial effect Effects 0.000 description 21
- 206010057315 Daydreaming Diseases 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 206010041349 Somnolence Diseases 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 102100034761 Cilia- and flagella-associated protein 418 Human genes 0.000 description 1
- 101100439214 Homo sapiens CFAP418 gene Proteins 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种机动车安全控制方法和系统,在机动车处于启动状态时,按照一预定的时间间隔采集驾驶员的脸部图像;并对该脸部图像中的两个眼部以及嘴部进行识别,定位两个眼部及嘴部的中心坐标;然后基于该等中心坐标形成一图像三角形;并将图像三角形各个边与预先存储的人脸三角形相应边进行比较,判断出驾驶员是否处于疲劳、酒后驾驶的状态,或者判断出驾驶员的注意力是否集中,并在此基础上发出声、光报警,甚至直接控制机动车安全系统工作,以防止发生交通事故。
Description
技术领域
本发明涉及机动车控制技术,特别是一种基于驾驶员脸部图像识别结果判断行车是否存在安全隐患,以提醒驾驶员保持安全驾驶,甚至进一步自动控制机动车行驶的方法及系统,属于自动控制技术领域。
背景技术
机动车的行车安全一直是社会各界关注的焦点之一。导致机动车出现安全事故的主要原因,除机动车本身出现故障以外,驾驶员操作失误是最主要的因素。特别是,经过长期的技术发展,机动车的机械、电气质量以及道路安全设施日益完善;因此,非人为因素导致机动车出现安全事故的比率越来越低,而由于驾驶人员操作失误导致的道路交通安全事故的比率不断呈上升的趋势。
在所有机动车交通事故中,疲劳驾驶是造成事故的主要原因之一。中国公安部关于2005年全国道路交通事故统计分析报告指出:机动车驾驶人交通违法是造成交通事故的主要原因,驾驶人员在驾驶机动车过程中因疲劳、酒后、注意力不集中导致上万人死伤。近年来,随着经济不断增长,截止到2010年10月,中国私人拥有的汽车数量已达1.5亿辆以上,机动车驾驶员的数量达到2亿多人。显然,减少或者防止因疲劳、酒后、注意力不集中驾驶机动车的现象是降低机动车交通事故的重要措施。
为了达到上述的目的,业界通常使用摄像头来摄像驾驶人员的脸部图像,采用处理器对驾驶人员的脸部图像进行分析,并基于脸部图像中眼部的图像判断驾驶员是否瞌睡,进而采用声、光报警的方式提示驾驶人员注意。这样的方案固然能够解决一定的问题,但还是存在诸多不足。例如:上述方案的功能单一,对眼部图像判断仅仅能用于识别瞌睡的情况,对于驾驶员注意力不集中,长时间扭头的情形无法识别;当驾驶员配戴眼镜或墨镜时,无法正确识别;此外,该方案仅对驾驶员眼睛睁开的状态进行识别,当驾驶员遇到正面强光照射眯起眼睛时,存在产生误报警的可能,因此可靠性不高。
发明内容
本发明的一个方面在于提供一种基于驾驶员面部识别的机动车安全控制方法,即通过采集、处理驾驶员的脸部图像,判断出驾驶员是否处于疲劳、酒后驾驶的状态,或者判断出驾驶员的注意力是否集中,并在此基础上发出声、光报警,甚至直接控制机动车安全系统工作,以防止发生交通事故。
本发明的另一个方面在于提供一种基于驾驶员面部识别的机动车安全控制系统,即在机动车上设置必要的图像采集、运算装置以及控制模组,该装置利用上述的方法,采集并处理驾驶员的脸部图像,判断出驾驶员是否处于疲劳、酒后驾驶的状态,或者判断出驾驶员的注意力是否集中。并基于判断的结果控制发出声、光报警,甚至直接控制机动车安全系统工作,以防止发生交通事故。
本发明的第一个方面采用如下的技术方案实现:
提供一种机动车安全控制方法,其中:
当检测到机动车处于启动状态时,按照一预定的时间间隔采集驾驶员的脸部图像;
对所述脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标;
当两个眼部及嘴部的中心坐标都存在时,基于两个眼部及嘴部的中心坐标形成一图像三角形;并将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较;其中,
当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值,且持续的时间大于第一时间阈值时,判断确定驾驶员处于不安全的驾驶状态;
当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值,且持续的时间大于第二时间阈值时,判断确定驾驶员处于不安全的驾驶状态;
当两个眼部及嘴部的中心坐标任意之一不存在时,且持续的时间大于第三时间阈值时,判断确定驾驶员处于不安全的驾驶状态。
上述方法中所述的人脸三角形可以采用如下的方法获得:
采集驾驶员的脸部图像;
对所述脸部图像中的两个眼部以及嘴部进行识别,提取所述驾驶员的脸部图像的特征参数;且定位两个眼部及嘴部的中心坐标;
当两个眼部及嘴部的中心坐标都存在时,该两个眼部及嘴部的中心坐标值为一人脸三角形的顶点坐标值,将所述人脸三角形的顶点坐标值以及所述的特征参数对应地存储于人脸三角形参数库中。
另外,在将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较之前还可以:
提取驾驶员的脸部图像的特征信息,在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数,并提取特征参数对应的人脸三角形的顶点坐标值。
此外,当判断确定驾驶员处于不安全的驾驶状态时,还可以进一步:
控制车辆上的音响装置播放警告声音,以提醒驾驶员注意安全驾驶;和/或,控制制动系统工作,强制车辆放慢行驶速度或停止行驶;和/或,控制关闭燃油系统、驱动电源系统,强制车辆停止行驶。
上述的技术方案,能够有效地利用驾驶员的脸部图像中眼部与嘴部所形成的几何关系来实时地监测驾驶员是否疲劳、走神等对安全驾驶产生不利影响的状态,并能进一步直接控制车辆,因此能够真正降低因疲劳驾驶导致的道路交通安全事故。此外,上述的技术方案能够不受驾驶员佩戴眼镜、墨镜的影响,准确地定位驾驶员的脸部图像中眼部与嘴部所形成的几何图像。
本发明第二个方面采用如下的技术方案实现:
一种机动车安全控制系统,包括:摄像装置、运算装置以及人脸三角形参数存储装置;其中,
摄像装置设置于驾驶员前方适当位置,以采集驾驶员的脸部图像;
运算装置和所述摄像装置电连接,包括:
用以对所述脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标形成图像三角形第一的单元;
用以提取所述脸部图像的特征信息,并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元;
将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较的第三单元;其中,
当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值,且持续的时间大于第一时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值,且持续的时间大于第二时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
当两个眼部及嘴部的中心坐标任意之一不存在时,且持续的时间大于第三时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
人脸三角形参数存储装置和运算装置电连接,且至少具有第一存储区和第二存储区;其中,第一存储区存储所述人脸三角形的顶点坐标值,第二存储区存储特征参数;第一存储区存储的任一人脸三角形的顶点坐标值在第二存储区中均唯一地具有相对应的特征参数。
运算装置内置或外接有安全控制模组;所述安全控制模组接收第三单元输出的驾驶员处于不安全的驾驶状态的判断信号;并利用该信号发出必要的控制信号;包括:
第一安全控制单元,连接并控制车辆上的音响装置播放警告声音,以提醒驾驶员注意安全驾驶;和/或,
第二安全控制单元,连接并控制制动系统工作,强制车辆放慢行驶速度或停止行驶;和/或,
第三安全控制单元,连接并控制关闭燃油系统、驱动电源系统,强制车辆放停止行驶。
上述的系统,能够有效地采集驾驶员的脸部图像,并基于眼部与嘴部所形成的几何关系来实时地监测驾驶员是否疲劳、走神等对安全驾驶产生不利影响的状态;同时还能进一步直接控制车辆。能够真正降低因疲劳驾驶导致的道路交通安全事故。
附图说明
图1a是本发明涉及正面人脸图像的示意图;
图1b是图1a所示人脸图像中眼部和嘴部所形成的三角形的示意图;
图1c是本发明涉及左视人脸图像的示意图;
图1d是图1c所示人脸图像中眼部和嘴部所形成的三角形的示意图;
图1e是本发明涉及右视人脸图像的示意图;
图1f是图1e所示人脸图像中眼部和嘴部所形成的三角形的示意图;
图2是本发明机动车安全控制系统的原理方框图;
图3是本发明另一机动车安全控制系统的原理方框图。
具体实施方式
以下实施例结合附图,对本发明的技术方案做进一步的详细描述:
参见图1a,正面人脸1的两个眼部21、22和嘴部23的中心点形成一顶点在下的等腰三角形(以下简称:人脸三角形2),该人脸三角形2的内心与底边中点的连线垂直于底边。
假定图像采集装置放置在人脸前方固定的位置,则无论它离人脸1的距离远或近,图像采集装置采集到的人脸图像中两个眼部和嘴部图像的中心点所构成的三角形(以下简称:图像三角形),其相应各边的比例都是一样的。即:上述人脸三角形与图像三角形的关系是相似三角形。
参见图1a、1b,假定上述人脸三角形各边的绝对长度值分别是a、b、c。图像三角形中,各边长度分别是A、B、C。根据欧几里得几何学的定理,由于上述两个三角形的关系是相似三角形,故A、B、C与a、b、c的关系如下列公式:
a=A×K (1)
b=B×K (2)
c=C×K (3)
其中,K是一常数。另外,上述公式(1)、(2)、(3)可以进一步变换为如下的形式:
K=a/A=b/B=c/C (4)
当图像采集装置从正面的另一距离上拍摄人脸图像时,形成的另一图像三角形各边长度分别是A’、B’、C’,则公式(4)变换为:
K’=a/A’=b/B’=c/C’ (5)
即,只要从一固定的方向拍摄人脸图像,所获得的图像三角形与前述的人脸三角形的关系是相似三角形,其各相应边的比值是一常数。
但是,当被拍摄人脸旋转一角度后,拍摄人脸图像所获得的图像三角形与人脸三角形之间的关系就会改变,而不会呈现相似三角形的关系,即不能构成如前述公式(4)、(5)所表示的关系。
例如:参见图1c、1d,当被拍摄人脸向左转动一定的角度后(例如:45度),图像三角形2’的三条边a1、b1、c1的长度相应地都会发生改变。其中,相比于正面摄像的图像三角形而言,则b1、c1都会减小。
再例如:参见图1e、1f,当被拍摄人脸向右转动一定的角度后(例如:45度),图像三角形2”的三条边a2、b2、c2的长度相应地都会发生改变。其中,相比于正面摄像的图像三角形而言,则b2、a2都会减小。
基于同样的几何原理,不难预见:当被拍摄人脸低头或者仰式时,图像三角形中底边的长度通常不会改变,而两个腰边A,C会相应地减小。
本发明人经过大量的研究发现,驾驶员出现各种影响驾驶安全的状态时,其人脸图像以及相应的图像三角形之间有如下的规律:
走神状态,其表现为长时间地正视,采集的人脸图像在相应的时间内没有变化,因此,图像三角形也不会改变;
瞌睡状态:其表现是频繁、交替地低头或者仰头,采集的人脸图像在相应的时间内也会表现为:图像三角形的两个腰边A,C忽大忽小:
与乘客聊天或取东西:其表现是右视时间过长,图像三角形长时间呈现如图1e、1f所示的情形;
长时间注视后视镜:其表现是左视或者右视一定角度,且时间过长;图像三角形长时间呈现如图1c、1d或者图1e、1f所示的情形;
长时间看仪表盘:其表现相当于长时间低头,图像三角形长时间呈现两个腰边A,C变小。
回头:图像三角形消失。
基于上述的规律,本发明的一个实施方式采用如下的方案实现:
在机动车驾驶室内,设置一摄像装置,例如:摄像头、数码相机等,使该摄像装置能够从正面对准驾驶员的脸部。并且,采用必要的控制装置,控制摄像装置在机动车处于启动状态时,按照一预定的时间间隔采集驾驶员的脸部图像,该时间间隔可以设置为0.1-60秒,具体也可以根据车辆行驶的状态和速度自动设定;所谓采集驾驶员的脸部图像,实际上就是控制摄像装置对驾驶员的脸部进行摄像,获得驾驶员的脸部图像。
在获得驾驶员的脸部图像后,对该脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标。
目前,对于脸部图像中的各个器官进行识别的技术有很多种,在本发明中对采用何种技术进行识别并不作任何限制;但为了对本发明进行说明,在本实施方式中可以采用基于特征对比的模式识别方式,从脸部图像中定位两个眼部及嘴部,并进一步分别以各个眼部和嘴部图像的几何中心为相应的中心坐标。
一些情况下,例如:驾驶员低头、回头时,在脸部图像中不可能识别出上述两个眼部及嘴部的图像。这类情况如果持续一定长的时间,说明驾驶员没有集中注意力于机动车行驶的正前方,此时应当判断确定驾驶员处于不安全的驾驶状态,应当发出相应的信号,以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。
而当两个眼部及嘴部图像都存在时,其相应的中心坐标也必然都存在,因此,基于该两个眼部及嘴部的中心坐标能够形成一图像三角形;这时则可以将该图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较。
当图像三角形各边与人脸三角形相应边具有相同的比例值时,即如前述公式(4)、(5)所示的比例关系,并且,这种情况持续的时间大于一个事先确定的时间长度时(例如:前述的0.5-60秒),则说明驾驶员处于走神的状态,此时应当判断确定驾驶员处于不安全的驾驶状态,应当发出相应的信号,以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。
当图像三角形各边与人脸三角形相应边具有不相同的比例值,即相当于图1c、1d、1e、1f所示的情形,且持续的时间也大于另一事先预定的时间长度时(例如:5-10秒),则说明驾驶员向左或者向右转头的时间过长,此时应当判断确定驾驶员处于不安全的驾驶状态,应当发出相应的信号,以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。
需要说明的是,此前所说的预先存储的人脸三角形,实际上是采用如下的方案事先获取的:
利用摄像装置从正面采集驾驶员的脸部图像(例如:图1a所示的人脸图像);由于是从正面采集的人脸图像,因此其中必然存在如图1b所示的人脸三角形;即:两个眼部及嘴部的中心坐标都存在,该两个眼部及嘴部的中心坐标值即为该人脸三角形的顶点坐标值。因此,对该脸部图像中的两个眼部以及嘴部进行识别,以提取所述驾驶员的脸部图像的特征参数;同时采用此前所述的方式定位两个眼部及嘴部的中心坐标。最后,将该人脸三角形的各个顶点坐标值以及前面所述的特征参数一一对应地存储于人脸三角形参数库中。
将人脸三角形的各个顶点坐标值以及前面所述的特征参数一一对应地存储于人脸三角形参数库之中,主要是考虑到:一台机动车的驾驶员可能会有多个人,不同的驾驶员,其人脸三角形则有所不同。因此,可以将多个驾驶员的人脸三角形和相应的特征参数对应地进行存储,以便在判断驾驶员状态的时候,仅将被判断驾驶员的脸部图像与事先存储的该驾驶员的人脸三角形进行比较,这样才能导致比较的结果准确。要从多个事先存储的人脸三角形中选择其中的一个与被判断驾驶员的脸部图像进行比较,则应当知道该人脸三角形对应于哪个驾驶员的脸部图像。一般的情况下,采用人脸图像特征参数来与相应人脸图像的人脸三角形进行对应是比较好的方式。因此,将人脸图像特征参数与相应人脸图像的人脸三角形一一地对应存储是比较好的方式。
在具备上述的条件下,当摄像到驾驶员的人脸图像后,可以先提取驾驶员的脸部图像的特征信息,然后,在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数,该匹配度最高的特征参数所对应的人脸三角形则是被摄像到驾驶员的人脸三角形,至少是与被摄像到驾驶员最为接近的人脸三角形。
需要进一步说明的是:一些驾驶员通常带有眼镜或者墨镜。此时,驾驶员眼部图像通常是:眼镜轮廓与眼睛相重叠的图像,或者干脆就是由眼镜轮廓以及轮廓内单一颜色组成的图像。在这种情况下,一方面在识别眼部图像时,直接将眼镜轮廓与眼睛图像重叠的图像特征,或者眼镜轮廓以及轮廓内单一颜色的图像特征作为两个眼部的特征信息;另一方面,在定位两个眼部中心坐标时,可以直接将眼镜镜片轮廓内的中心点作为眼部的中心坐标。
当判断确定驾驶员处于不安全的驾驶状态时,可以采取进一步执行如下的任一操作,或者执行下述任何多个操作,以达到最终保证机动车处于安全驾驶状态的目的。其中,一种操作是控制车辆上的音响装置播放警告声音,以提醒驾驶员注意安全驾驶;另一种操作是控制制动系统工作,强制车辆放慢行驶速度或停止行驶;还有一种操作是控制关闭燃油系统、驱动电源系统,强制车辆停止行驶。
一般而言,瞌睡和注意力不集中的共同点是面部方向的异常变化,因此在本发明上述的实施方式,面部图像识别利用人眼部和嘴部中间点这三个点来确定一三角形,利用三角形的边长变化,可以有效地计算出驾驶者面部的方向。通过对面部方向的判断,可判断出驾驶者是否在长时间注意后视镜、瞌睡、与副驾驶乘坐者攀谈或任何视线不在正常驾驶时的情况,从而采取警告甚至主动的安全操作措施来有效地回避安全隐患。同时也能够很好的处理驾驶者配戴眼镜和墨镜的情况。
参见图2,本发明还具有如下的一类机动车安全控制系统的具体实施方式。这些机动车安全控制系统主要包括:摄像装置CM、运算装置CTRL以及人脸三角形参数存储装置Mo;该摄像装置CM主要是摄像头、数码相机等设备,并设置于机动车驾驶室内,位于驾驶员前方适当的位置,以从正面采集驾驶员的脸部图像。
运算装置CTRL和摄像装置CM电连接,它内置有:
用以对采集到的驾驶员脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标形成图像三角形的第一单元CT1;
用以提取脸部图像的特征信息,并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元CT2;
将图像三角形各个边与预先存储一对应的人脸三角形相应边进行比较的第三单元CT3。
如前所述,当所述图像三角形各边与人脸三角形相应边具有相同的比例值,且持续的时间大于第一时间阈值时,第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号;
当所述图像三角形各边与人脸三角形相应边具有不相同的比例值,且持续的时间大于第二时间阈值时,第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号;
当两个眼部及嘴部的中心坐标任意之一不存在时,且持续的时间大于第三时间阈值时,第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号。
在本实施方式中,人脸三角形参数存储装置Mo和运算装置CTRL连接,且至少具有第一存储区ST1和第二存储区ST2;其中,第一存储区ST1存储人脸三角形的顶点坐标值,第二存储区ST2存储特征参数;第一存储区ST1存储的任一人脸三角形的顶点坐标值在第二存储区ST2中均唯一地具有相对应的特征参数。设置人脸三角形参数存储装置的目的,在前述有关机动车安全控制方法的具体实施方式中已经有所叙述。
通常,本发明的系统应当在驾驶员就位于驾驶座位时才能工作,这样可以节省电力。因此,可以使运算装置连接一压力或重量传感器PS,该压力或重量传感器PS设置于驾驶员座位处,用以测量驾驶员是否就坐于驾驶座位;且当驾驶员就座于驾驶座位时,压力或重量传感器PS将驾驶员就坐所对应的压力或重量信号传送给运算装置CTRL,运算装置CTRL则控制摄像装置CM按照一预定的时间间隔摄像驾驶员的脸部图像。
参见图3,为了在执行上述的判断之后,能使机动车在驾驶员处于不安全驾驶状态时得到警告,甚至能进一步采取必要的操作,以控制机动车行驶,本发明另一实施方式中的运算装置CTRL可内置或外接一安全控制模组SKM;该安全控制模组SKM接收第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号;并利用该信号发出必要的控制信号。例如:
该安全控制模组中设置有第一安全控制单元SK1,它连接并控制车辆上的音响装置,在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时控制播放音响装置警告声音,以提醒驾驶员注意安全驾驶;
该安全控制模组中设置有第二安全控制单元SK2,它连接并控制制动系统工作,在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时,控制车辆的驾驶系统,以强制车辆放慢行驶速度或停止行驶;
该安全控制模组中设置有第三安全控制单元SK3,在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时,它控制关闭车辆的燃油系统、驱动电源系统,以强制车辆停止行驶。
Claims (7)
1.一种机动车安全控制方法,包括:
机动车处于启动状态时,按照一预定的时间间隔采集驾驶员的脸部图像;
对所述脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标;
当两个眼部及嘴部的中心坐标都存在时,基于两个眼部及嘴部的中心坐标形成一图像三角形;并将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较;其中,
当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值,且持续的时间大于第一时间阈值时,判断确定驾驶员处于不安全的驾驶状态;
当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值,且持续的时间大于第二时间阈值时,判断确定驾驶员处于不安全的驾驶状态;
当两个眼部及嘴部的中心坐标任意之一不存在时,且持续的时间大于第三时间阈值时,判断确定驾驶员处于不安全的驾驶状态。
2.根据权利要求1所述的方法,其特征在于:所述人脸三角形采用如下的方法获得:
采集驾驶员的脸部图像;
对所述脸部图像中的两个眼部以及嘴部进行识别,提取所述驾驶员的脸部图像的特征参数;且定位两个眼部及嘴部的中心坐标;
当两个眼部及嘴部的中心坐标都存在时,该两个眼部及嘴部的中心坐标值为一人脸三角形的顶点坐标值,将所述人脸三角形的顶点坐标值以及所述的特征参数对应地存储于人脸三角形参数库中。
3.根据权利要求2所述的方法,其特征在于,在将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较之前还进一步包括:
提取驾驶员的脸部图像的特征信息,在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数,并提取所述特征参数对应的人脸三角形的顶点坐标值;其中,
所述两个眼部的特征信息是眼镜轮廓与眼睛图像重叠的图像特征;或者是眼镜轮廓以及轮廓内单一颜色的图像特征。
4.根据权利要求1或2或3所述的方法,其特征在于,当判断确定驾驶员处于不安全的驾驶状态时,还进一步包括:
控制车辆上的音响装置播放警告声音,以提醒驾驶员注意安全驾驶;和/或,
控制制动系统工作,强制车辆放慢行驶速度或停止行驶;和/或,
控制关闭燃油系统、驱动电源系统,强制车辆停止行驶。
5.一种机动车安全控制系统,包括:摄像装置、运算装置以及人脸三角形参数存储装置;
所述摄像装置设置于驾驶员前方适当位置,以采集驾驶员的脸部图像;
所述运算装置和所述摄像装置电连接,包括:
用以对所述脸部图像中的两个眼部以及嘴部进行识别,并定位两个眼部及嘴部的中心坐标形成图像三角形第一的单元;
用以提取所述脸部图像的特征信息,并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元;
将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较的第三单元;其中,
当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值,且持续的时间大于第一时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值,且持续的时间大于第二时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
当两个眼部及嘴部的中心坐标任意之一不存在时,且持续的时间大于第三时间阈值时,第三单元输出驾驶员处于不安全的驾驶状态的判断信号;
所述人脸三角形参数存储装置和运算装置电连接,且至少具有第一存储区和第二存储区;其中,第一存储区存储所述人脸三角形的顶点坐标值,第二存储区存储特征参数;第一存储区存储的任一人脸三角形的顶点坐标值在第二存储区中均唯一地具有相对应的特征参数。
6.根据权利要求5所述的系统,其特征在于:所述运算装置内置或外接有安全控制模组;所述安全控制模组接收第三单元输出的驾驶员处于不安全的驾驶状态的判断信号;并利用该信号发出必要的控制信号;包括:
第一安全控制单元,连接并控制车辆上的音响装置播放警告声音,以提醒驾驶员注意安全驾驶;和/或,
第二安全控制单元,连接并控制制动系统工作,强制车辆放慢行驶速度或停止行驶;和/或,
第三安全控制单元,连接并控制关闭燃油系统、驱动电源系统,强制车辆放停止行驶。
7.根据权利要求5或6所述的系统,其特征在于:所述运算装置还连接一压力或重量传感器,该压力或重量传感器设置于驾驶员座位处,用以测量驾驶员是否就坐于驾驶座位;且当驾驶员就座于驾驶座位时,所述运算装置控制所述摄像装置按照一预定的时间间隔摄像驾驶员的脸部图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110138749 CN102310771B (zh) | 2011-05-26 | 2011-05-26 | 基于驾驶员面部识别的机动车安全控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110138749 CN102310771B (zh) | 2011-05-26 | 2011-05-26 | 基于驾驶员面部识别的机动车安全控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102310771A CN102310771A (zh) | 2012-01-11 |
CN102310771B true CN102310771B (zh) | 2013-05-29 |
Family
ID=45424466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110138749 Expired - Fee Related CN102310771B (zh) | 2011-05-26 | 2011-05-26 | 基于驾驶员面部识别的机动车安全控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102310771B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2514155C1 (ru) * | 2012-11-01 | 2014-04-27 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Московский государственный университет леса" (ФГБОУ ВПО МГУЛ) | Способ автоматической идентификации объектов на изображениях |
US9619695B2 (en) * | 2013-06-06 | 2017-04-11 | Visteon Global Technologies, Inc. | Gaze time indicator for a vehicle |
CN104346897B (zh) * | 2013-07-23 | 2017-02-08 | 深圳市赛格导航科技股份有限公司 | 一种车载终端眼球识别报警系统及方法 |
CN104002807A (zh) * | 2014-05-28 | 2014-08-27 | 长城汽车股份有限公司 | 一种汽车安全驾驶控制方法及系统 |
WO2016082104A1 (zh) * | 2014-11-25 | 2016-06-02 | 臧安迪 | 机动车个性化设置的方法及系统 |
CN104573657B (zh) * | 2015-01-09 | 2018-04-27 | 安徽清新互联信息科技有限公司 | 一种基于低头特征的盲驾检测方法 |
CN104573658B (zh) * | 2015-01-09 | 2018-09-18 | 安徽清新互联信息科技有限公司 | 一种基于支持向量机的盲驾检测方法 |
CN106335432B (zh) * | 2016-08-29 | 2018-11-06 | 赵谕 | 具有行车辅助系统的智能后视镜、控制系统及处理方法 |
JP2018149940A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
CN107422346B (zh) * | 2017-06-06 | 2020-06-02 | 哈尔滨学院 | 一种gps导航设备 |
CN109117691A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 可行驶区域检测方法、装置、设备及存储介质 |
CN110403617A (zh) * | 2018-04-26 | 2019-11-05 | 广州汽车集团股份有限公司 | 一种用于监测驾驶员精神状态的驾驶辅助方法及系统 |
CN108446673A (zh) * | 2018-04-27 | 2018-08-24 | 南京航空航天大学 | 一种基于面部识别的管制员疲劳预警方法 |
CN108995650B (zh) * | 2018-07-04 | 2021-05-14 | 惠州市德赛西威汽车电子股份有限公司 | 汽车的车速控制方法、装置及计算机可读存储介质 |
CN108944860A (zh) * | 2018-07-24 | 2018-12-07 | 芜湖彰鸿工程技术有限公司 | 用于车辆的安全驾驶方法 |
CN108909452A (zh) * | 2018-07-24 | 2018-11-30 | 芜湖彰鸿工程技术有限公司 | 用于车辆的安全驾驶系统 |
CN108973958A (zh) * | 2018-07-24 | 2018-12-11 | 芜湖彰鸿工程技术有限公司 | 一种安全驾车装置 |
CN109094367A (zh) * | 2018-07-24 | 2018-12-28 | 芜湖彰鸿工程技术有限公司 | 一种安全驾车方法 |
CN108944862A (zh) * | 2018-07-24 | 2018-12-07 | 芜湖彰鸿工程技术有限公司 | 一种电动车 |
CN108944859A (zh) * | 2018-07-24 | 2018-12-07 | 芜湖彰鸿工程技术有限公司 | 一种电动车的安全驾驶方法 |
CN109272764B (zh) * | 2018-09-30 | 2020-12-08 | 广州鹰瞰信息科技有限公司 | 一种危险驾驶的提醒方法及系统 |
CN109875584A (zh) * | 2019-03-01 | 2019-06-14 | 广东轻工职业技术学院 | 驾驶员生理疲劳的检测方法及其警报系统 |
JP7380380B2 (ja) * | 2020-03-26 | 2023-11-15 | いすゞ自動車株式会社 | 運転支援装置 |
CN113469023B (zh) * | 2021-06-28 | 2024-07-16 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
CN101281646A (zh) * | 2008-05-09 | 2008-10-08 | 山东大学 | 基于视觉的驾驶员疲劳实时检测方法 |
CN101877051A (zh) * | 2009-10-30 | 2010-11-03 | 江苏大学 | 驾驶人注意力状态监测方法和装置 |
CN202088896U (zh) * | 2011-05-26 | 2011-12-28 | 臧安迪 | 基于驾驶员面部识别的机动车安全控制系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1970859B1 (en) * | 2005-12-28 | 2014-03-05 | Kao Corporation | Detecting method and detecting system for positions of face parts |
-
2011
- 2011-05-26 CN CN 201110138749 patent/CN102310771B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
CN101281646A (zh) * | 2008-05-09 | 2008-10-08 | 山东大学 | 基于视觉的驾驶员疲劳实时检测方法 |
CN101877051A (zh) * | 2009-10-30 | 2010-11-03 | 江苏大学 | 驾驶人注意力状态监测方法和装置 |
CN202088896U (zh) * | 2011-05-26 | 2011-12-28 | 臧安迪 | 基于驾驶员面部识别的机动车安全控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102310771A (zh) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102310771B (zh) | 基于驾驶员面部识别的机动车安全控制方法及系统 | |
US9694680B2 (en) | System and method for determining drowsy state of driver | |
CN102509418B (zh) | 一种多传感信息融合的疲劳驾驶评估预警方法及装置 | |
CN106585629B (zh) | 一种车辆控制方法和装置 | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN102712317B (zh) | 使驾驶员与环境感测结合的车辆安全性系统 | |
EP1721782B1 (en) | Driving support equipment for vehicles | |
JP3257310B2 (ja) | 漫然運転検出装置 | |
CN104794856B (zh) | 驾驶员注意力综合测评系统 | |
KR20180072519A (ko) | 각막 반사 검출을 이용한 운전자 상태 모니터링 | |
CN105931430A (zh) | 用于驾驶员状态预警系统的报警灵敏度检测方法及装置 | |
CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
CN112660157A (zh) | 一种多功能无障碍车远程监控与辅助驾驶系统 | |
CN101356078A (zh) | 安全行驶辅助装置 | |
CN202088896U (zh) | 基于驾驶员面部识别的机动车安全控制系统 | |
US20190088130A1 (en) | Monitoring drivers and external environment for vehicles | |
CN107571797A (zh) | 前车行驶信息抬头显示方法及系统 | |
CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
Charniya et al. | Drunk driving and drowsiness detection | |
CN106157537A (zh) | 防疲劳驾驶系统 | |
US20240000354A1 (en) | Driving characteristic determination device, driving characteristic determination method, and recording medium | |
CN104376684A (zh) | 一种可防止疲劳驾驶的监控系统 | |
CN117227740B (zh) | 一种智能驾驶车辆的多模态感知系统及方法 | |
CN110816543A (zh) | 一种车辆转弯和变道场景下驾驶员分神驾驶检测和预警系统及方法 | |
JP6631569B2 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130529 |