CN108423004A - 一种双目识别驾驶员状态检测系统及方法 - Google Patents
一种双目识别驾驶员状态检测系统及方法 Download PDFInfo
- Publication number
- CN108423004A CN108423004A CN201810469799.7A CN201810469799A CN108423004A CN 108423004 A CN108423004 A CN 108423004A CN 201810469799 A CN201810469799 A CN 201810469799A CN 108423004 A CN108423004 A CN 108423004A
- Authority
- CN
- China
- Prior art keywords
- driver
- information
- vehicle
- action
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000009471 action Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 210000001508 eye Anatomy 0.000 claims description 21
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种双目识别驾驶员状态检测系统,涉及车辆智能控制技术领域。本发明的双目识别驾驶员状态检测系统包括:双目摄像头配置成检测驾驶员的图像信息和深度信息。控制器配置成将图像信息和深度信息进行3D建模,得到驾驶员的状态信息。整车控制装置根据驾驶员的状态信息控制车辆动作。本发明中的双目识别驾驶员状态检测系统中双目摄像头获取的数据增加了一个维度,不仅增大摄像头布置位置的可能区域,而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体,具有很好的应用前景。
Description
技术领域
本发明涉及车辆智能控制技术领域,特别是涉及双目识别驾驶员状态检测系统及方法。
背景技术
驾驶员状态监测的实质性研究工作是从20世纪80年代开始的,为了真正解决驾驶员状态监测问题,世界许多专家和学者都进行了有益的探索,并提出了不少崭新的思想和方法。最具代表性的有基于生理现象的检测方法、基于汽车行为的检测方法、基于驾驶员反应的检测方法以及基于行驶条件的检测方法几种。其中基于驾驶员身体反应的疲劳检测方法相对与其他方法在各项指标都较好。随着计算机软硬件技术、图像处理技术和智能信息处理技术的发展,近年来的研究也集中在基于驾驶员视觉信息的非接触式疲劳监测技术上。
目前市场上的驾驶员状态监测属于单目摄像头+红外补光灯方案,这种方案使用红外补光灯发出红外光照射驾驶员,由于缺少图像的深度信息以及摄像头的视角有限等问题,无法集成手势识别的功能或只能识别很简单的手势。
发明内容
本发明的一个目的是要提供一种集眼神追踪、疲劳检测、身份识别和手势识别与一体的双目识别驾驶员状态检测系统。
本发明一个进一步的目的是提供一种应用于双目识别驾驶员状态检测系统的方法。
特别地,本发明提供了一种双目识别驾驶员状态检测系统,包括:
双目摄像头,配置成检测驾驶员的图像信息和深度信息;
控制器,配置成对所述图像信息和所述深度信息进行3D建模,获取所述驾驶员的状态信息;和
整车控制装置,配置成根据所述状态信息控制车辆动作。
可选地,所述整车控制装置包括:
初始数据存储单元,配置成存储所述驾驶员的初始状态信息;
控制单元,配置成对所述状态信息与所述初始状态信息进行比较,并根据比较结果控制车辆动作;
其中,所述动作包括提示动作和/或控制动作,所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作,所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。
可选地,所述状态信息包括疲劳信息,所述初始状态信息包括初始疲劳信息;
所述控制单元还配置成比较所述疲劳信息和所述初始疲劳信息以判断所述驾驶员是否疲劳驾驶,若所述驾驶员疲劳驾驶,则提示所述驾驶员需要休息。
可选地,还包括:
车辆抬头显示,与所述整车控制装置连接,配置成在所述控制单元判断所述驾驶员疲劳时,将疲劳驾驶提示信息显示于所述驾驶员前方的挡风玻璃处,以提示所述驾驶员需要休息。
可选地,还包括:
导航系统,与所述整车控制装置连接,用于在所述控制单元判断所述驾驶员疲劳时,提示所述驾驶员需要休息,并自动导航到最近休息点。
可选地,所述状态信息还包括身份信息,所述初始状态信息还包括初始身份信息;
所述控制单元还配置成判断所述身份信息与初始身份信息是否匹配,若匹配,则在所述驾驶员尝试启动所述车辆时控制发动机启动,若不匹配,则在所述驾驶员尝试启动所述车辆时控制发动机不启动。
可选地,所述状态信息还包括手势信息,所述初始状态信息还包括初始手势信息;
所述控制单元还配置成确定与所述手势信息匹配的所述初始手势信息,并控制所述车辆做出与所述手势信息匹配的所述初始手势信息对应的动作。
可选地,所述状态信息还包括眼神信息,所述初始状态信息还包括初始眼神信息;
所述控制单元还配置成根据所述眼神信息判断所述驾驶员是否注视车辆前方时,若所述驾驶员未注视车辆前方,则提示所述驾驶员注视车辆前方。
特别地,本发明还提供一种双目识别驾驶员状态检测方法,包括如下步骤:
通过双目摄像头检测驾驶员的图像信息与深度信息;
将所述图像信息与所述深度信息进行3D建模,获取所述驾驶员的状态信息;
根据所述状态信息控制车辆动作。
可选地,根据比较结果控制车辆动作前还包括:
存储所述驾驶员的初始状态信息;
将所述状态信息与所述初始状态信息进行比较;
其中,所述动作包括提示动作和/或控制动作,所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作,所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。
本发明中的双目识别驾驶员状态检测系统中双目摄像头可以获得驾驶员的图像信息和深度信息,相比单目摄像头,其获取的数据增加了一个维度,这对于以上所有功能的识别精度都有很大的帮助,并且由于有了深度信息,不仅增大摄像头布置位置的可能区域,而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体,增加了车辆智能性能,降低成本,减小驾车危险的发生,具有很好的应用前景。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的双目识别驾驶员状态检测系统的示意性框图;
图2是根据本发明的另一个具体实施例的双目识别驾驶员状态检测系统的示意性框图;
图3是根据本发明的又一个具体实施例的双目识别驾驶员状态检测系统的示意性框图;
图4是根据本发明的又一个具体实施例的双目识别驾驶员状态检测系统的示意性框图;
图5是根据本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图;
图6是根据本发明另一个具体实施例的双目识别驾驶员状态检测方法的流程图。
具体实施方式
图1是根据本发明一个实施例的双目识别驾驶员状态检测系统100的示意性框图。本实施例中双目识别驾驶员状态检测系统100一般性地可包括双目摄像头10、控制器20和整车控制装置30。其中,双目摄像头10配置成检测驾驶员的图像信息和深度信息。其中,双目摄像头10是通过图像匹配和三角视差测量来捕捉深度信息。控制器20配置成对双目摄像头10检测到的图像信息和深度信息进行3D建模,并将建模后的模型数据导入应用算法平台,以得到驾驶员的状态信息,其中,状态信息包括驾驶员眼神信息、疲劳信息、身份信息和/或手势信息。控制器20中集成了SDK(算法包),将双目摄像头10检测到的数据通过软件算法进行点云数据图像3D建模。整车控制装置30配置成根据驾驶员的状态信息控制车辆动作,其中,控制器20与整车控制装置30通过CAN-FD网进行交互。
本发明中的双目识别驾驶员状态检测系统100中双目摄像头10可以获得驾驶员的图像信息和深度信息,相比单目摄像头,其获取的数据增加了一个维度,这对于以上所有功能的识别精度都有很大的帮助,并且由于有了深度信息,不仅增大摄像头布置位置的可能区域,而且集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体,增加了车辆智能性能,降低成本,减小驾车危险的发生,具有很好的应用前景。
图2示出了本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。作为一个具体地实施例,整车控制装置30可以包括初始数据存储单元31和控制单元32。首先,在将驾驶员的初始状态信息置于车辆的初始数据存储单元31中,其存储过程可以是通过在车辆开发过程中提前存储也可以是在车辆的驾驶员驾驶车辆之前存储在其中。一般情况是在每一车辆的驾驶员启动车辆前进行提前存储。控制单元32配置成对状态信息与初始状态信息进行比较,并根据比较结果控制车辆动作。其中,动作包括提示动作和/或控制动作,提示动作为根据比较结果提示驾驶员做出相应动作,控制动作为直接根据比较结果控制车辆做出相应动作。
作为一个具体地实施例,状态信息包括疲劳信息,初始状态信息包括初始疲劳信息。控制单元32配置成比较疲劳信息和初始疲劳信息以判断驾驶员是否疲劳驾驶,若驾驶员疲劳驾驶,则提示驾驶员需要休息。具体地,一般车辆在刚启动时,双目摄像头10会开始拍摄驾驶员的面部信息和眼睛状态信息,并默认此时的信息为驾驶员清醒时的状态信息,并将该信息默认为初始疲劳信息。该过程保证了每一个不同的驾驶员具有不同的清醒时的信息值,避免了受到不同的人具有不同的生理特征的影响。经过一段时间的驾驶,驾驶员的面部及眼睛状态信息都会发生一些变化,通过双目摄像头10对驾驶员的面部状态、眼睛状态的检测,与驾驶员初始面部信息及眼睛状态信息进行分析对比,将疲劳信息分为多个等级,例如可以为一级疲劳、二级疲劳等。具体地,疲劳信息可以是眼睑的眨眼次数,眨眼频率,还可以是眼睑瞳孔的数据。当然,疲劳信息的等级与车辆的速度、车辆所处的档位都有密切的关系。例如,如果车辆处于R档或车辆处于静止状态时,系统不能报警。车辆在之前没有检测到驾驶员疲劳,那驾驶员踩刹车,急加速,以及转向时即使检测到驾驶员疲劳,报警也会被抑制。根据驾驶员的状态将驾驶员疲劳等级分为两级。当驾驶员到达某一疲劳等级状态时,整车控制装置30就会通过显示或声音的方式提示驾驶员到达了一级疲劳和二级疲劳。
更为具体地,图3示出了本本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。作为一个实施例,本发明的双目识别驾驶员状态检测系统100还包括车辆抬头显示40。其中,车辆抬头显示又叫平行显示系统,是指以驾驶员为中心、盲操作、多功能仪表盘。它的作用,就是把时速、导航等重要的行车信息,投影到驾驶员前面的风挡玻璃上,让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息。本实施例中车辆抬头显示40通过网络与整车控制装置30连接,用于将检测到驾驶员疲劳时,将提示疲劳驾驶信息显示于驾驶员前方的挡风玻璃处以提示驾驶员需要休息。当然,在驾驶员的状态到达二级疲劳等级时,不仅通过车辆抬头显示40将相关提示信息显示于车辆的挡风玻璃处,同时语音播报提示驾驶员需要休息,不能继续驾驶车辆。
作为另一个实施例,如图3所示,本实施例的双目识别驾驶员状态检测系统100还包括导航系统50,该导航系统50通过网络与整车控制装置30连接,用于在控制单元32判断驾驶员疲劳时,提示驾驶员需要休息。在检测驾驶员到达一级疲劳至二级疲劳等级时,在导航系统50中语音提示疲劳驾驶信息,并且导航系统50会知道切换导航路线,自动导航到最近休息点以使驾驶员休息。
具体地,如果车辆未开导航系统50,优选利用车辆抬头显示40显示与驾驶员前侧的挡风玻璃处,以提示驾驶员需要休息。而如果导航系统50开启,那么可以优选地在导航系统50处进行疲劳状态的提示。
很显然,利用本实施例中的双目识别驾驶员状态检测系统100将驾驶员的疲劳分为不同等级,根据不同车速,对于疲劳等级不一样的设定。当达到了一定的疲劳等级时,及提示驾驶员到达疲劳状态需要休息,减少了驾驶员疲劳驾驶情况,从而减少因疲劳驾驶而导致的事故的发生。
本实施例中,预设疲劳信息中将疲劳信息分为不同的疲劳等级,具体可以包括一级疲劳和二级疲劳。利用本实施例根据不同车速,对于疲劳等级不一样的设定。当达到了一定的疲劳等级时,及提示驾驶员到达疲劳状态需要休息,减少了驾驶员疲劳驾驶情况,从而减少因疲劳驾驶而导致的事故的发生。
作为另一个优选地实施例,状态信息还包括身份信息,初始状态信息还包括初始身份信息。控制单元32还配置成判断身份信息与初始身份信息是否匹配,若匹配,则在驾驶员尝试启动车辆时控制发动机启动,若不匹配,则在驾驶员尝试启动车辆时控制发动机不启动。在该过程中,首先要将可以驾驶该车辆的驾驶员的预设身份信息输入整车控制装置30,再通过双目摄像头10检测到的驾驶员的身份信息与预设身份信息进行对比匹配。若本次驾驶员的身份信息与预设身份信息匹配,则本次驾驶员在启动车辆时车辆发动机能够被启动。具体地,输入的预设身份信息可以是面部图像,而检测的面部图像信息与提前预设的进入到整车控制装置30中的面部图像信息匹配,则可以启动车辆随着车辆的普及,在实际使用车辆过程中,一些家庭的孩子在还未成年时具有较强的好奇心,可能会偷父母的车辆钥匙去体验驾车,此时就容易出现很多危险情况。本发明的双目识别驾驶员状态检测系统100的身份识别功能,就能够阻止小孩驾驶车辆。即便有车钥匙,小孩仍然不能起到发动机,保证了小孩的安全。另外,之前车辆的安全系统做的不好时,在驾驶员忘记关闭车门的情况下,很多偷车的盗贼偷取车辆驾驶逃跑,而如果利用本发明的双目识别驾驶员状态检测系统100的身份识别功能后,即时车辆未关闭,钥匙也忘记拔掉,车辆仍然不能被启动,也避免了盗车贼偷走车辆的发生,减少经济损失。
作为另一个具体地实施例,本发明的整车控制装置30还配置成当判断驾驶员的手势信息与初始手势信息匹配,则控制车辆做相应的手势所匹配的动作。一般情况下,利用单目摄像头捕捉到的手势为二维手势,对于有一些操作无法识别。而本实施例的双目摄像头10不仅可以捕捉到驾驶员图像信息还可以捕捉到驾驶员的深度信息,使得驾驶员的三维手势都能被识别到。具体地,在实现手势识别功能前,需要先在整车控制装置30内设置预设手势信息,每一预设手势信息代表了操作车辆控制台的一个动作,如果双目摄像头10检测到驾驶员当前手势信息与预设手势信息匹配,那么整车控制装置30按照手势信息所代表的指令控制车辆相应的动作。预设手势信息可以包括如,点击手势,点击手势则对应控制车辆的相应位置处的开关开启。当双目摄像头10检测到驾驶员的手势信息与预设手势信息中的点击手势相匹配,则在该手势位置处相应的开关就会被开启,车辆相应的功能开启。又例如,预设手势为向上滑动时,车辆内部娱乐主机的声音会变大。当双目摄像头10检测到驾驶员手势信息与预设的向上滑动手势信息匹配时,整车控制装置30控制车辆的娱乐主机的声音相应的变大。当然,预设手势信息并不只包括点击、上滑等,还有一些较为复杂的如画圈代表收音机,手指张开代表导航开始等,可以根据车主的喜好进行设定。很显然,利用手势控制车辆内部的开关,无需在相应位置处去按动按钮,车辆更加智能,驾驶员的驾驶体验更好。
作为另一个状态信息还包括眼神信息,初始状态信息还包括初始眼神信息。控制单元32还配置成根据眼神信息判断驾驶员是否注视车辆前方时,若驾驶员未注视车辆前方,则提示驾驶员注视车辆前方。具体地,在驾驶员驾驶车辆的过程中,一般驾驶员需要眼睛注视前方,并不断观察车辆的前方即车辆后视镜处,以观察车辆周围的情况。而一些情况下,如驾驶员被其他事物吸引并没有注视车辆前方而是看其他地方如看驾驶室内部其他人员,或者低头看手机等动作都是非常危险容易造成事故的发生。本实施例在整车控制装置30中提前预设驾驶员注视车辆前方的眼神或者头部的视角范围。当车辆在形式过程中,驾驶员眼神或头部转动角度超过该范围,那么就会出现语音或者在中控屏70中进行提示,以使驾驶员能够及时的恢复到正常驾驶状态,避免危险的产生。
很显然地,本申请利用双目摄像头10捕捉驾驶员的图像信息与深度信息,可以将集成身份识别、手势识别、眼球追踪和疲劳驾驶与一体,不仅使车辆驾驶体验更好,且更加能够减小事故产生,提高车辆驾驶安全性能,这对成本控制、节省布置空间有诸多益处,具有较好的应用前景。
图4示出了本本发明的一个具体实施例的双目识别驾驶员状态检测系统100的示意性框图。本实施例中的双目识别驾驶员状态检测系统100还可以包括网关60和中控屏70。其中,网关60与控制器20和整车控制装置30通过网络连接,其中网关60与控制器20通过Ethernet网连接。中控屏70与网关60和整车控制装置30通过网络连接,用于显示车辆状态信息及提示信息。中控屏70与网关60之间也通过Ethernet网连接。并且中控屏70与网关60均通过Flexray网与整车控制装置30连接。使用Flexray作为主干网并调整了各个传感器的连接方式,在增大了系统传输速率的同时,为本专利功能实现提供技术基础。
具体地,驾驶员疲劳监测(DMM)保留两个接口,DMM包括双目摄像头10和控制器20。控制器20可以分别通过CAN-FD和Ethernet与ADAS ECU(ADAS主控制器20即整车控制装置30)和VGM(网关60)相连,对于低配车型(驾驶员疲劳监测的一个子功能--身份识别如果需要做云端识别,传输的数据量较大,不适合用CAN或CAN-FD来进行数据传输),无身份识别或身份识别为本地识别可以使用CAN-FD,对于高配车型,身份识别通过云端实现,可以使用Ethernet接口。
本发明的整车控制装置30还配置成当判断驾驶员的疲劳信息与初始疲劳信息相比出现疲劳驾驶情况时,则控制提示驾驶员需要休息。
图5示出了本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图。其中,本实施例的双目识别驾驶员状态检测方法,可以包括如下步骤:
S10通过双目摄像头10检测驾驶员的图像信息与深度信息;
S20将图像信息与深度信息进行3D建模,获取驾驶员的状态信息;
S30根据状态信息控制车辆动作。
图6示出了本发明一个具体实施例的双目识别驾驶员状态检测方法的流程图。作为另一个具体实施例,根据比较结果控制车辆动作前还包括:
S40存储驾驶员的初始状态信息;
S50将状态信息与初始状态信息进行比较。
其中,动作包括提示动作和/或控制动作,提示动作为根据比较结果提示驾驶员做出相应动作,控制动作为直接根据比较结果控制车辆做出相应动作。
作为一个具体地实施例,驾驶员的状态信息包括驾驶员的疲劳信息,通过对驾驶员眼睛图像的分析,对比驾驶员启动该系统时的眼睛图像,判断驾驶员的疲劳等级,当识别到驾驶员到达一预设疲劳等级时,提示驾驶员已疲劳需要休息,并将提示信息显示于中控屏70、车辆抬头显示40或导航系统50中。
本实施例中,预设疲劳等级一般包括一级疲劳和二级疲劳。利用本实施例根据不同车速,对于疲劳等级不一样的设定。当达到了一定的疲劳等级时,及提示驾驶员到达疲劳状态需要休息,减少了驾驶员疲劳驾驶情况,从而减少因疲劳驾驶而导致的事故的发生。
作为一个具体地实施例,驾驶员的状态信息还包括驾驶员的身份信息,通过双目摄像头10采集的驾驶员的面部图像信息与提前存储的预设驾驶员面部图像信息对比,识别到身份信息与预设身份信息匹配时,在启动车辆时,发动机启动。本发明的身份识别过程保证了小孩的安全,也保证了车辆的安全,减小经济损失。
作为一个具体地实施例,驾驶员的状态信息还包括驾驶员的手势信息,通过双目摄像头10捕捉的驾驶员的深度信息得到手势信息,以通过识别驾驶员的手势信息来控制车辆根据手势信息做相应的动作。
作为一个具体地实施例,驾驶员的状态信息还包括驾驶员的眼神信息,通过双目摄像头10捕捉的驾驶员的图像信息,以进行眼神追踪。当车辆在形式过程中,驾驶员眼神或头部转动角度超过该范围,那么就会出现语音或者在中控屏70中进行提示,以使驾驶员能够及时的恢复到正常驾驶状态,避免危险的产生。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种双目识别驾驶员状态检测系统,其特征在于,包括:
双目摄像头,配置成检测驾驶员的图像信息和深度信息;
控制器,配置成对所述图像信息和所述深度信息进行3D建模,获取所述驾驶员的状态信息;和
整车控制装置,配置成根据所述状态信息控制车辆动作。
2.根据权利要求1所述的双目识别驾驶员状态检测系统,其特征在于,
所述整车控制装置包括:
初始数据存储单元,配置成存储所述驾驶员的初始状态信息;
控制单元,配置成对所述状态信息与所述初始状态信息进行比较,并根据比较结果控制车辆动作;
其中,所述动作包括提示动作和/或控制动作,所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作,所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。
3.根据权利要求2所述的双目识别驾驶员状态检测系统,其特征在于,
所述状态信息包括疲劳信息,所述初始状态信息包括初始疲劳信息;
所述控制单元还配置成比较所述疲劳信息和所述初始疲劳信息以判断所述驾驶员是否疲劳驾驶,若所述驾驶员疲劳驾驶,则提示所述驾驶员需要休息。
4.根据权利要求3所述的双目识别驾驶员状态检测系统,其特征在于,
还包括:
车辆抬头显示,与所述整车控制装置连接,配置成在所述控制单元判断所述驾驶员疲劳时,将疲劳驾驶提示信息显示于所述驾驶员前方的挡风玻璃处,以提示所述驾驶员需要休息。
5.根据权利要求3所述的双目识别驾驶员状态检测系统,其特征在于,
还包括:
导航系统,与所述整车控制装置连接,用于在所述控制单元判断所述驾驶员疲劳时,提示所述驾驶员需要休息,并自动导航到最近休息点。
6.根据权利要求2所述的双目识别驾驶员状态检测系统,其特征在于,
所述状态信息还包括身份信息,所述初始状态信息还包括初始身份信息;
所述控制单元还配置成判断所述身份信息与初始身份信息是否匹配,若匹配,则在所述驾驶员尝试启动所述车辆时控制发动机启动,若不匹配,则在所述驾驶员尝试启动所述车辆时控制发动机不启动。
7.根据权利要求2所述的双目识别驾驶员状态检测系统,其特征在于,
所述状态信息还包括手势信息,所述初始状态信息还包括初始手势信息;
所述控制单元还配置成确定与所述手势信息匹配的所述初始手势信息,并控制所述车辆做出与所述手势信息匹配的所述初始手势信息对应的动作。
8.根据权利要求2所述的双目识别驾驶员状态检测系统,其特征在于,
所述状态信息还包括眼神信息,所述初始状态信息还包括初始眼神信息;
所述控制单元还配置成根据所述眼神信息判断所述驾驶员是否注视车辆前方时,若所述驾驶员未注视车辆前方,则提示所述驾驶员注视车辆前方。
9.一种双目识别驾驶员状态检测方法,其特征在于,包括如下步骤:
通过双目摄像头检测驾驶员的图像信息与深度信息;
将所述图像信息与所述深度信息进行3D建模,获取所述驾驶员的状态信息;
根据所述状态信息控制车辆动作。
10.根据权利要求9所述的方法,其特征在于,
根据比较结果控制车辆动作前还包括:
存储所述驾驶员的初始状态信息;
将所述状态信息与所述初始状态信息进行比较;
其中,所述动作包括提示动作和/或控制动作,所述提示动作为根据所述比较结果提示所述驾驶员做出相应动作,所述控制动作为直接根据所述比较结果控制所述车辆做出相应动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469799.7A CN108423004A (zh) | 2018-05-16 | 2018-05-16 | 一种双目识别驾驶员状态检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469799.7A CN108423004A (zh) | 2018-05-16 | 2018-05-16 | 一种双目识别驾驶员状态检测系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108423004A true CN108423004A (zh) | 2018-08-21 |
Family
ID=63163229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810469799.7A Pending CN108423004A (zh) | 2018-05-16 | 2018-05-16 | 一种双目识别驾驶员状态检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108423004A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院(宁波)有限公司 | 一种驾驶员检测系统 |
CN109693612A (zh) * | 2019-01-09 | 2019-04-30 | 北京旷视科技有限公司 | 一种行车辅助方法、装置、车载终端和计算机可读介质 |
CN110018436A (zh) * | 2019-03-26 | 2019-07-16 | 国家电网有限公司 | 基于图像识别技术的功率测试仪及功率测试方法 |
CN110962797A (zh) * | 2019-12-27 | 2020-04-07 | 上海昶枫科技有限公司 | 汽车电子转向柱锁控制系统及方法 |
CN111025999A (zh) * | 2019-12-27 | 2020-04-17 | 上海昶枫科技有限公司 | 汽车电子控制器节能控制工艺 |
CN111045521A (zh) * | 2019-12-27 | 2020-04-21 | 上海昶枫科技有限公司 | 汽车电子装置控制系统及控制方法 |
CN111439503A (zh) * | 2020-04-26 | 2020-07-24 | 东风汽车集团有限公司 | 一种车内垃圾自动分类系统及方法 |
CN112406881A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 用于车辆控制的疲劳驾驶检测 |
CN112950900A (zh) * | 2021-01-27 | 2021-06-11 | 吉林云帆智能工程有限公司 | 一种司机行为监控检测方法 |
CN114609785A (zh) * | 2022-03-16 | 2022-06-10 | 青岛虚拟现实研究院有限公司 | 一种增强现实车载抬头显示系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN205263746U (zh) * | 2015-12-15 | 2016-05-25 | 深圳市航盛电子股份有限公司 | 一种基于3d手势识别的车载娱乐系统 |
CN105620364A (zh) * | 2014-11-21 | 2016-06-01 | 现代摩比斯株式会社 | 提供驾驶信息的方法和装置 |
CN105809770A (zh) * | 2016-03-25 | 2016-07-27 | 安徽机电职业技术学院 | 具有驾驶员身份识别功能的汽车行驶记录仪 |
CN107146247A (zh) * | 2017-05-31 | 2017-09-08 | 西安科技大学 | 基于双目摄像头的汽车辅助驾驶系统及方法 |
CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
CN107463887A (zh) * | 2017-07-20 | 2017-12-12 | 四川长虹电器股份有限公司 | 列车驾驶员手势智能检查系统及智能检查方法 |
CN107554483A (zh) * | 2017-08-29 | 2018-01-09 | 湖北科技学院 | 一种基于人脸表情动作识别的车辆防盗系统 |
KR20180012580A (ko) * | 2016-07-27 | 2018-02-06 | 쌍용자동차 주식회사 | 스마트폰 카메라를 이용한 운전자 상태 확인시스템 및 그 방법 |
CN107776579A (zh) * | 2017-09-14 | 2018-03-09 | 中国第汽车股份有限公司 | 一种直感式驾驶员状态提醒装置 |
CN107845258A (zh) * | 2017-10-23 | 2018-03-27 | 惠州Tcl移动通信有限公司 | 一种疲劳驾驶的智能识别方法、装置及存储介质 |
-
2018
- 2018-05-16 CN CN201810469799.7A patent/CN108423004A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN105620364A (zh) * | 2014-11-21 | 2016-06-01 | 现代摩比斯株式会社 | 提供驾驶信息的方法和装置 |
CN205263746U (zh) * | 2015-12-15 | 2016-05-25 | 深圳市航盛电子股份有限公司 | 一种基于3d手势识别的车载娱乐系统 |
CN105809770A (zh) * | 2016-03-25 | 2016-07-27 | 安徽机电职业技术学院 | 具有驾驶员身份识别功能的汽车行驶记录仪 |
KR20180012580A (ko) * | 2016-07-27 | 2018-02-06 | 쌍용자동차 주식회사 | 스마트폰 카메라를 이용한 운전자 상태 확인시스템 및 그 방법 |
CN107146247A (zh) * | 2017-05-31 | 2017-09-08 | 西安科技大学 | 基于双目摄像头的汽车辅助驾驶系统及方法 |
CN107463887A (zh) * | 2017-07-20 | 2017-12-12 | 四川长虹电器股份有限公司 | 列车驾驶员手势智能检查系统及智能检查方法 |
CN107554483A (zh) * | 2017-08-29 | 2018-01-09 | 湖北科技学院 | 一种基于人脸表情动作识别的车辆防盗系统 |
CN107403554A (zh) * | 2017-09-01 | 2017-11-28 | 北京壹卡行科技有限公司 | 双目集成驾驶员行为分析设备与方法 |
CN107776579A (zh) * | 2017-09-14 | 2018-03-09 | 中国第汽车股份有限公司 | 一种直感式驾驶员状态提醒装置 |
CN107845258A (zh) * | 2017-10-23 | 2018-03-27 | 惠州Tcl移动通信有限公司 | 一种疲劳驾驶的智能识别方法、装置及存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院(宁波)有限公司 | 一种驾驶员检测系统 |
CN109693612A (zh) * | 2019-01-09 | 2019-04-30 | 北京旷视科技有限公司 | 一种行车辅助方法、装置、车载终端和计算机可读介质 |
CN110018436A (zh) * | 2019-03-26 | 2019-07-16 | 国家电网有限公司 | 基于图像识别技术的功率测试仪及功率测试方法 |
CN112406881A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 用于车辆控制的疲劳驾驶检测 |
CN110962797A (zh) * | 2019-12-27 | 2020-04-07 | 上海昶枫科技有限公司 | 汽车电子转向柱锁控制系统及方法 |
CN111025999A (zh) * | 2019-12-27 | 2020-04-17 | 上海昶枫科技有限公司 | 汽车电子控制器节能控制工艺 |
CN111045521A (zh) * | 2019-12-27 | 2020-04-21 | 上海昶枫科技有限公司 | 汽车电子装置控制系统及控制方法 |
CN111439503A (zh) * | 2020-04-26 | 2020-07-24 | 东风汽车集团有限公司 | 一种车内垃圾自动分类系统及方法 |
CN112950900A (zh) * | 2021-01-27 | 2021-06-11 | 吉林云帆智能工程有限公司 | 一种司机行为监控检测方法 |
CN114609785A (zh) * | 2022-03-16 | 2022-06-10 | 青岛虚拟现实研究院有限公司 | 一种增强现实车载抬头显示系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108423004A (zh) | 一种双目识别驾驶员状态检测系统及方法 | |
CN104816694B (zh) | 一种驾车状态智能调整装置和方法 | |
KR102469233B1 (ko) | 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
KR102469234B1 (ko) | 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
CN110047487B (zh) | 车载语音设备的唤醒方法、装置、车辆以及机器可读介质 | |
US20210012128A1 (en) | Driver attention monitoring method and apparatus and electronic device | |
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
US11743719B2 (en) | System and method for authenticating an occupant of a vehicle | |
US9865258B2 (en) | Method for recognizing a voice context for a voice control function, method for ascertaining a voice control signal for a voice control function, and apparatus for executing the method | |
CN204821176U (zh) | 一种可人机交互的抬头显示器 | |
CN104461005A (zh) | 一种车载屏幕开关控制方法 | |
CN108334871A (zh) | 基于智能座舱平台的平视显示设备的交互方法及系统 | |
CN107209979A (zh) | 用于对车辆的驾驶员的微睡进行识别的方法和装置 | |
CN104317397A (zh) | 车载人机交互方法 | |
CN109243024A (zh) | 一种基于人脸识别的汽车解锁系统及方法 | |
CN108657184A (zh) | 车辆辅助驾驶系统、方法、装置及存储介质 | |
CN108749732A (zh) | 中控显示屏角度调整方法、装置、存储介质及中控显示屏 | |
CN113799698A (zh) | 一种内后视镜调节方法、装置、设备及存储介质 | |
CN112959945A (zh) | 车窗控制方法、装置、车辆及存储介质 | |
CN107284449A (zh) | 一种行车安全预警方法及系统、汽车、可读存储介质 | |
CN114987500A (zh) | 驾驶员状态监控方法、终端设备及存储介质 | |
CN114701503A (zh) | 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质 | |
CN111137208B (zh) | 应用于汽车的储物箱照明灯控制方法、装置及系统 | |
CN208861343U (zh) | 一种基于人脸识别的汽车解锁系统 | |
CN115101070A (zh) | 车辆控制方法、装置、车辆及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |
|
RJ01 | Rejection of invention patent application after publication |