CN109664889A - 一种车辆控制方法、装置和系统以及存储介质 - Google Patents
一种车辆控制方法、装置和系统以及存储介质 Download PDFInfo
- Publication number
- CN109664889A CN109664889A CN201710948405.1A CN201710948405A CN109664889A CN 109664889 A CN109664889 A CN 109664889A CN 201710948405 A CN201710948405 A CN 201710948405A CN 109664889 A CN109664889 A CN 109664889A
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- driving mode
- facial
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000001815 facial effect Effects 0.000 claims abstract description 162
- 230000004438 eyesight Effects 0.000 claims abstract description 70
- 230000001678 irradiating effect Effects 0.000 claims abstract description 56
- 210000001747 pupil Anatomy 0.000 claims description 37
- 238000004458 analytical method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000005611 electricity Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明公开了一种车辆控制方法、装置和系统以及存储介质,该车辆控制方法包括:采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。该车辆控制方法可以有效消除远光灯照射带来的危险。该车辆控制装置、系统及存储介质具有类似的优点。
Description
技术领域
本发明涉及车辆控制技术领域,尤其涉及一种可以防远光灯的车辆控制方法、装置和系统以及存储介质。
背景技术
汽车交通事故会对人身、财产等造成严重损失,因此如何防止甚至避免交通事故一直都是各方关注的焦点。在汽车交通事故中,很大一部分都是由于对面来车开启远光导致驾驶员短暂失去视野识别能力,并且心理波动大,使得驾驶员无法对当前路面情况与自身操作情况作出判断,进而出现汽车方向走偏,或者直接撞击到路面车辆人员设备,造成伤亡。
目前市场上还没有公认有效防范远光灯带来伤害的产品,更多的是通过交警人为不定期的检查,对不文明开启远光灯行为进行惩戒来规范驾驶员的驾驶习惯。但本质上并没有消除风险。
因此,需要提供一种可以防远光灯的车辆控制方法及系统,以至少部分地解决上面提到的问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
为了至少部分地解决上述问题,本发明提供了一种车辆控制方法,包括:采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;
对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;
基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,所述采集驾驶员的面部信息包括:通过图像采集单元采集驾驶员的人脸图像。
示例性地,所述对所采集的驾驶员的面部信息进行分析包括:
对所述面部图像信息进行分析,以确定驾驶员的人眼睁开程度;
对所述面部图像信息进行分析,以确定驾驶员的瞳孔大小;
根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态;
对所述面部反射光强信息进行分析,以确定驾驶员的面部反射光强的大小和变化,并根据所述驾驶员的面部反射光强的大小和变化判断驾驶员是否处于远灯光照射状态。
示例性地,所述采集驾驶员的面部信息包括:通过图像采集单元采集驾驶员的人脸图像。
示例性地,所述面部反射光强信息通过对所采集的驾驶员的人脸图像进行分析得到。
示例性地,所述面部反射光强信息通过光强检测单元获取。
示例性地,所述驾驶权交接操作包括:
在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,控制车辆由驾驶员驾驶模式转入自动驾驶模式;
在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,所述驾驶权交接操作还包括:
在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,向驾驶员发出进入自动驾驶模式的提示,并指示驾驶员确认是否进入自动驾驶模式,当驾驶员确认进入自动驾驶模式,则控制车辆进入自动驾驶模式;
在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,向驾驶员发出恢复驾驶员驾驶模式的提示,并指示驾驶员确认是否恢复驾驶员驾驶模式,当驾驶员确认恢复驾驶员驾驶模式时,则控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,通过扬声器、显示装置和/或指示灯向驾驶员发出进入自动驾驶模式的提示和恢复驾驶员驾驶模式的提示。
根据本发明的车辆控制方法,通过采集驾驶员的面部信息并对所采集的面部信息进行分析,从而确定驾驶员的当前状态,即确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态,这样便基于驾驶员的当前状态进行驾驶权交接控制,以便当驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,进入自动驾驶模式,以提高车辆行驶的安全性,而当驾驶员未处于远光灯照射状态和/或驾驶员人眼视力处于正常状态时则不进入自动驾驶模式或从自动驾驶模式恢复至驾驶员驾驶模式。即,根据本发明的车辆控制方法可以有效防范或消除来车远光灯造成的危险。
根据本发明的另一个方面,还提供了一种车辆控制系统,包括:
面部信息采集模块,用于采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;
面部信息分析模块,对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;
驾驶权交接控制模块,用于基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,所述面部信息分析模块包括:
人眼睁开程度分析子模块,对所述面部图像信息进行分析,以确定驾驶员的人眼睁开程度;
瞳孔大小分析子模块,用于对所述面部图像信息进行分析,以确定驾驶员的瞳孔大小;
人眼视力状态分析模块,根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态;
人脸反射光强分析子模块,用于对所述面部反射光强信息进行分析,以确定驾驶员的面部反射光强的大小和变化,并根据所述驾驶员的面部反射光强的大小和变化判断驾驶员是否处于远灯光照射状态。
示例性地,所述面部信息采集模块包括:图像采集单元,用于采集驾驶员的人脸图像。
示例性地,所述面部反射光强信息通过对所采集的驾驶员的人脸图像进行分析得到。
示例性地,所述面部信息采集模块还包括:光强检测单元,用于检测驾驶员的面部反射光的光强,以获得所述面部反射光强信息。
示例性地,所述驾驶权交接控制模块在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,控制车辆由驾驶员驾驶模式转入自动驾驶模式;
所述驾驶权交接控制模块在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,所述驾驶权交接控制模块在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,还向驾驶员发出进入自动驾驶模式的提示,并指示驾驶员确认是否进入自动驾驶模式,当驾驶员确认进入自动驾驶模式,所述驾驶权交接控制模块控制车辆进入自动驾驶模式;
所述驾驶权交接控制模块在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,向驾驶员发出恢复驾驶员驾驶模式的提示,并指示驾驶员确认是否恢复驾驶员驾驶模式,当驾驶员确认恢复驾驶员驾驶模式时,所述驾驶权交接控制模块控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
示例性地,所述驾驶权交接控制模块通过扬声器、显示装置和/或指示灯向驾驶员发出进入自动驾驶模式的提示和恢复驾驶员驾驶模式的提示。
根据本发明的车辆控制系统,通过采集驾驶员的面部信息并对所采集的面部信息进行分析,从而确定驾驶员的当前状态,即确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于状态,这样便基于驾驶员的当前状态进行驾驶权交接控制,以便当驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,进入自动驾驶模式,以提高车辆行驶的安全性,而当驾驶员未处于远光灯照射状态和/或驾驶员人眼视力处于正常状态时则不进入自动驾驶模式或从自动驾驶模式恢复至驾驶员驾驶模式。即,根据本发明的车辆控制系统可以有效防范或消除来车远光灯造成的危险。
根据本发明的另一个方面,还提供了一种车辆控制装置,所述车辆控制装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如上所述的车辆控制方法。
根据本发明的另一个方面,还提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如上所述的车辆控制方法。
附图说明
本发明实施例的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述,用来解释本发明的原理。在附图中,
图1是用于实现根据本发明实施例的车辆控制方法和系统的示例电子设备的示意性框图;
图2为根据本发明实施例的车辆控制方法的示意性流程图;
图3为根据本发明实施例的面部信息采集和分析过程的示意性流程图;
图4为根据本发明实施例的驾驶权交接控制过程的示意性流程图;
图5为根据本发明实施例的车辆控制系统的示意性结构框图;
图6为根据本发明实施例的车辆控制系统的面部信息分析模块的示意性结构框图;
图7为根据本发明实施例的车辆控制系统的自动驾驶监控模块、自自动驾驶模块、车辆控制模块和车辆执行单元的示意性结构框图。
具体实施例
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员来说显而易见的是,本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明实施例发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。在附图中,为了清楚,部件、元件等的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现根据本发明实施例的车辆控制方法和系统的示例电子设备100。如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106、通信接口108、一个或多个图像采集单元110以及一个或多个光强检测单元112,这些组件通过总线系统114和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构,也可以不包括前述的部分组件,例如可以不包括光强检测单元112。
所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言,处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。在特定实施例中,处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的一个或多个示例实施例的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置,例如输入装置可以包括按钮、键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。
通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的设备或适配器。例如,通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中,通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中,通信接口108通过与专用网络,例如视频监控网络、天网系统网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。
所述图像采集单元110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。图像采集单元110可以采用各种合适的图像传感器或摄像头装置。
光强检测单元112用于检测驾驶员面部反射光的光强,以获取驾驶员的面部反射光强信息。光强检测单元112例如可以为感光元件或环境光检测元件等可以检测驾驶员面部反射光的光强的元件。
示例性地,用于实现根据本发明实施例的车辆控制方法和系统的电子设备可以集成在车辆的一个装置中,也可以分布布置在车辆的不同装置中。
图2为根据本发明实施例的车辆控制方法的示意性流程图。下面将结合图2对根据本发明实施例的车辆控制方法进行描述。
如图2所示,本发明实施例公开的车辆控制方法包括:
首先,在步骤S201中,采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息。
所谓面部信息即通过其可以获取驾驶员当前状态的信息,在本实施例中,所述面部信息至少包括面部图像信息和面部反射光强信息。
示例性地,采集驾驶员的面部信息包括通过图像采集单元采集驾驶员的人脸图像。例如通过图像传感器或摄像头等部件采集驾驶员的人脸图像。通过驾驶员的人脸图像可以获得驾驶员的人眼视力状态以及驾驶员的面部反射光强信息,从而确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态,也即驾驶员能否正常观察前方路况。
进一步地,在本发明的其它实施例中,当从驾驶员的人脸图像中不易获得驾驶员的面部反射光强信息时,采集驾驶员的面部信息还包括通过光强检测单元检测驾驶员的面部反射光的光强,来获得驾驶员的面部反射光强信息。例如,通过各种感光元件或环境光检测元件来检测驾驶员的面部反射光的光强,从而获得驾驶员的面部反射光强信息。
在步骤S202中,对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态。
当在步骤S201中采集完驾驶员的面部信息后,则对该面部信息进行分析,以获取驾驶员的当前状态。
例如对采集的驾驶员的人脸图像进行分析,以获得驾驶员的人眼视力状态以及驾驶员的面部反射光强,从而确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态。对采集的驾驶员的面部光强信息进行分析以确定驾驶员是否处于远光灯照射状态。
面部信息的采集和分析过程将在后文详细描述,在此不再赘述。
在步骤S203中,基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
当在步骤S202中取驾驶员的当前状态后,则进行驾驶权的交接控制。例如当驾驶员处于远光灯照射状态且驾驶员人眼视力未处于正常状态时,则可以将驾驶员交接给自动驾驶模块,也即控制车辆由驾驶员驾驶模式进入自动驾驶模式;而当驾驶员未处于远光灯照射状态和/或驾驶员人眼视力处于正常状态时,则可以继续保持驾驶员驾驶,或者将驾驶权从自动驾驶模块交接给驾驶员,即控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
驾驶权交接的详细过程在后文进行详细描述,在此不再赘述。
示例性地,根据本实施例的车辆控制方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本实施例的车辆控制方法,通过采集驾驶员的面部信息并对所采集的面部信息进行分析,从而确定驾驶员的当前状态,即确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态,这样便基于驾驶员的当前状态进行驾驶权交接控制,以便当驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,进入自动驾驶模式,以提高车辆行驶的安全性,而当驾驶员未处于远光灯照射状态和/或驾驶员人眼视力处于正常状态时则不进入自动驾驶模式或从自动驾驶模式恢复至驾驶员驾驶模式。即,根据本发明的车辆控制方法可以有效防范或消除来车远光灯造成的危险。
图3为根据本发明实施例的面部信息采集和分析过程的示意性流程图。下面结合图3对根据本发明实施例的面部信息采集和分析过程进行描述。
如图3所示,本发明实施例公开的面部信息采集和分析过程如下:
首先,在步骤S301中,采集驾驶员的面部信息。
具体地,通过图像采集单元采集驾驶员的人脸图像,通过光强检测单元检测驾驶员的面部反射光光强。
其中,图像采集单元可以为各种图像传感器或摄像头,光强检测单元可以为各种感光元件或环境光检测元件。
并且,如前所述,当从驾驶员的人脸图像中可以获得驾驶员的面部光强时,在该步骤中可以仅通过图像采集单元采集驾驶员的人脸图像。
在步骤S302中,在所采集的人脸图像中定位人脸区域和关键点。
示例性地,从所采集的人脸图像中定位出人脸区域和人眼以及瞳孔。
示例性地,例如可以利用预先训练好的人脸检测器来在所采集的人脸图像中定位人脸区域。例如,可以预先利用哈尔(Haar)算法、Adaboost算法、卷积神经网络等人脸检测与识别算法在大量图片的基础上训练出人脸检测器,对于输入的单帧图像,该预先训练好的人脸检测器能够快速地定位出人脸区域。此外,对于图像传感器连续采集的多帧图像,在首帧图像中定位出人脸区域之后,可以基于当前帧图像的前一帧图像中人脸区域的位置来实时地追踪在当前帧图像中人脸区域的位置。
当定位出人脸区域后,便可以继续定位人脸关键点。示例性地,在一实施例中,可以通过Sobel算子提取特征算法或Gabor特征算法等特征提取算法从定位的人脸区域中提取人脸图像的特征信息(也即定位人脸关键点)。在又一实施例中,可以利用预先训练好的关键点定位器来在人脸区域中定位人脸关键点(例如眼睛、眼角、眼睛中心、瞳孔中心等)。例如,可以预先利用级联回归方法、机器学习方法(深度学习或基于局部特征的回归算法)在大量人工标注的人脸图片(例如预先搜集大量人脸图像(如N=10000),人工在每张图像中标注出人脸的眼角,眼眶外轮廓点等一系列关键点)的基础上训练出关键点定位器,也即得到人脸检测和关键点定位的算法模块。替换地,也可以采用传统的人脸关键点定位方法,其基于参数形状模型,根据关键点附近的表观特征,学习出一个参数模型,在使用时迭代地优化关键点的位置,最后得到关键点坐标,当获得关键点坐标后,可以基于该坐标进行一步获取关键点(例如眼睛、眼角、眼睛中心、瞳孔中心等)的其他信息,例如大小,形状等等信息。在又一实施例中,可以使用深度神经网络提取人脸区域中的特征。
应了解本发明所涉及的人眼以及瞳孔定位均可以采用上述方法,并且本发明不受具体采用的人脸区域定位方法和关键点定位方法的限制,无论是现有的人脸区域定位方法和关键点定位方法还是将来开发的人脸区域定位方法和关键点定位方法,都可以应用于根据本发明实施例的方法中,并且也应包括在本发明的保护范围内。
在步骤S303中,确定人眼睁开程度以及瞳孔大小。
当在步骤S302中定位出人眼以及瞳孔中心后,可以基于中心位置和边缘检测算法来确定人眼睁开程度以及瞳孔大小。
在步骤S304中,根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态。
当在步骤S303中确定人眼睁开程度以及瞳孔大小后,可以根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态。
作为一个示例,首先判断人眼睁开程度是否小于设置的人眼睁开阈值,如果驾驶员的当前人眼睁开程度小于设置的人眼睁开阈值,则表示驾驶员的人眼未正常睁开;如果驾驶员的当前人眼睁开程度大于设置的人眼睁开阈值,则表示驾驶员人眼正常睁开。
进一步地,在本实施例中考虑实际中不同驾驶员的眼睛睁闭可能对远光灯照射不敏感,为了更准确判断人眼视力是否正常,还进一步判断瞳孔大小是否小于设置的瞳孔大小阈值,从而为驾驶员的人眼是否正常整块提供二次检验。即,如果驾驶员的瞳孔大小小于设置的瞳孔大小阈值,则表示驾驶员的人眼未正常睁开,如果驾驶员的瞳孔大小大于设置的瞳孔大小阈值,则表示驾驶员的人眼正常睁开。
最后基于上述两个判断结果,确定驾驶员的人眼视力是否处于正常状态。例如,当驾驶员的当前人眼睁开程度小于设置的人眼睁开阈值,且驾驶员的瞳孔大小小于设置的瞳孔大小阈值时,则确定当前驾驶员的人眼视力未处于正常状态。当驾驶员的当前人眼睁开程度大于设置的人眼睁开阈值,且驾驶员的瞳孔大小大于设置的瞳孔大小阈值时,则确定当前驾驶员的人眼视力处于正常状态。又例如当驾驶员的当前人眼睁开程度大于设置的人眼睁开阈值,但是驾驶员的瞳孔大小小于设置的瞳孔大小阈值时,也认为视当前驾驶员的人眼视力未处于正常状态。
在步骤S305中,基于光强检测单元的检测结果分析面部反射光光强大小以及变化。
示例性地,通过光强检测单元连续获取驾驶员的面部反射光光强,并分析面部反射光光强大小以及变化,判断面部反射光光强的变化是否超过设置的光强变化阈值,以及面部光强大小是否超过设置的反射光光强阈值。如果面部反射光光强变化超过设置的光强变化阈值,则表示驾驶员开始被远光灯照射,如果面部反射光光强大小一直超过设置的反射光光强阈值,则表示驾驶员仍然/一直被远光灯照射。
进一步地,光强变化阈值和反射光光强阈值在不同场景下具有不同的大小。例如可预先通过测量取平均得到正常情况下各个场景,如白天向阳行驶,室内行驶,黑夜行驶中人脸的反射光强值,不同距离下远光灯照射的反射光强变化,并基于所测量的不同场景下人脸的反射光强值,不同距离下远光灯照射的反射光强变化来设置各场景下的光强变化阈值和反射光光强阈值。
在步骤S306中,确定是否处于远光灯照射状态。
即基于步骤S305中对面部反射光光强大小以及变化的分析确定驾驶员是否处于远光灯照射状态。例如,面当部反射光光强变化超过设置的光强变化阈值,则表示驾驶员开始被远光灯照射,当面部反射光光强大小一直超过设置的反射光光强阈值,则表示驾驶员仍然/一直被远光灯照射。
应当理解,如前所述当从驾驶员的人脸图像中可以获得驾驶员的面部光强时,则在该步骤中可以仅通过图像采集单元采集驾驶员的人脸图像,此时,在步骤S305和S306中则首先对所采集的人脸图像进行分析,以获取驾驶员的当前面部反射光光强;或者从图像采集单元中直接获取驾驶员的当前面部反射光光强,然后在执行上述光强大小以及变化的分析过程和是否处于远光灯照射的确定过程。
在步骤S307中,输出驾驶员的当前状态。
即基于步骤S304和步骤S306的所确定的结果输出驾驶员的当前状态。示例性地,驾驶员的当前状态至少包括以下三种:处于远光灯照射状态、未处于远光灯照射状态但人眼视力未处于正常状态、未处于远光灯照射状态且人眼视力处于正常状态。
图4为根据本发明实施例的驾驶权交接控制过程的示意性流程图。下面结合图4对根据本发明实施例的驾驶权交接控制过程进行描述。
如图4所示,根据本发明实施例的驾驶权交接控制过程包括:
在步骤401中,接受输入的驾驶员当前状态。
即,从面部信息分析模块接受驾驶员的当前状态,作为驾驶权交接控制的输入信息。
如前所示,示例性地,驾驶员的当前状态至少包括以下三种:处于远光灯照射状态、未处于远光灯照射状态但人眼视力未处于正常状态、未处于远光灯照射状态且人眼视力处于正常状态,而只有当目前不处于远光灯照射状态,且人眼视力处于正常状态时,才能确认是可以正常驾驶状态。
因此,当驾驶员处于远光灯照射状态或未处于远光灯照射状态但人眼视力未处于正常状态时,则进入步骤S402。
在步骤402中,启动自动驾驶。即启动车辆的自动驾驶模块和/或自动驾驶监控模块。
接着,在步骤403中,进行交互语音提示和/或视觉提示。
示例性地,可以输出音频信号到车内音响系统的扬声器以进行交互语音提示,询问驾驶员是否进入自动驾驶模式,并可以通过选择按钮进行选择。
进一步地,还可以输出视频信号到车内的显示装置进行视觉提示,询问驾驶员是否进入自动驾驶模式,并可以通过选择按钮进行选择。
接着,在步骤S404中,驾驶员根据交互语音提示和/或视觉提示以及自身状态选择相应的按钮操作(例如按下或按起)。具体地,驾驶员可以选择进行自动驾驶,也可以选择忽略本次自动驾驶继续驾驶员驾驶。同时驾驶员选择进入自动驾驶时,可以开启相应的指示灯,表明目前已接入自动驾驶模式,同时还可以开启应急),驾驶员可以通过实体按钮(如可以连接到应急按钮)按下,应急灯关闭,恢复驾驶员驾驶模式。
当驾驶员未处于远光灯照射状态且人眼视力处于正常状态时,则进入步骤S405。
在步骤S405,如果车辆当前处于驾驶员驾驶模式,则不启动自动驾驶。如果车辆当前处于自动驾驶模式,则交互语音提示和/或视觉提示可以恢复驾驶员驾驶模式。并且接着,在步骤406,驾驶员根据自身需求选择相应的按钮操作(例如按下或按起),以继续自动驾驶模式或恢复驾驶员驾驶模式。
应当理解,以上仅是驾驶权交接控制的一个示例,根据本发明的车辆控制方法可以包括上述示例的各种变型和改进,其都涵盖在本发明的范围内。
图5为根据本发明实施例的车辆控制系统的示意性结构框图;图6为根据本发明实施例的车辆控制系统的面部信息分析模块的示意性结构框图;图7为根据本发明实施例的车辆控制系统的自动驾驶监控模块、自自动驾驶模块、车辆控制模块和车辆执行单元的示意性结构框图。下面结合图5至图7对根据本发明实施例的车辆控制系统进行详细描述。
如图5所示,根据本发明实施例的车辆控制系统500包括面部信息采集模块510、面部信息分析模块520、驾驶权交接控制模块530、自动驾驶监控模块540、车辆控制模块550、自动驾驶模块560和车辆执行单元570。
面部信息采集模块510用于采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息。面部信息采集模块510可以由图1所示的电子设备中的图像采集单元和光强检测单元来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S201和S301。并且,当从人脸图像中可以获得面部光强信息时,面部信息采集模块510可以仅包括面部信息采集模块510,其例如为图像传感器或摄像头。
面部信息分析模块520用于对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态。面部信息分析模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S202,以及S302~S307。
进一步地,如图6所示,在本实施例中,面部信息分析模块520包括人眼睁开程度分析子模块5201、瞳孔大小分析子模块5202、人眼视力状态分析子模块5203和人脸反射光强分析子模块5204。
人眼睁开程度分析子模块5201用于对所述面部图像信息进行分析,以确定驾驶员的人眼睁开程度。人眼睁开程度分析子模块5201可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S302~S303中有关人眼睁开的步骤。
瞳孔大小分析子模块5202用于对所述面部图像信息进行分析,以确定驾驶员的瞳孔大小。瞳孔大小分析子模块5202可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S302~S303中有关瞳孔大小的步骤。
人眼视力状态分析子模块5203用于根据人眼睁开程度分析子模块5201确定的驾驶员的人眼睁开程度以及瞳孔大小分析子模块5202确定的驾驶员的瞳孔大小,判断驾驶员的人眼视力是否处于正常状态。人眼视力状态分析子模块5203可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S304。
人脸反射光强分析子模块5204用于对所述面部反射光强信息进行分析,以确定驾驶员的面部反射光强的大小和变化,并根据所述驾驶员的面部反射光强的大小和变化判断驾驶员是否处于远灯光照射状态。示例性地,所述面部反射光强信息通过对所采集的驾驶员的人脸图像进行分析得到或者通过光强检测单元获取。人眼视力状态分析子模块5203可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制方法中的步骤S305~S306。
驾驶权交接控制模块530用于基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。驾驶权交接控制模块530在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,控制车辆由驾驶员驾驶模式转入自动驾驶模式;在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,控制车辆由自动驾驶模式恢复驾驶员驾驶模式。驾驶权交接控制模块530可以根据面部信息分析模块520输出的驾驶员当前状态进行相应的问答机制,并且可以输出音频信号接入到车内音响系统以及交互语音提示,或者输出视频信号到车内的显示装置进行视觉提示,同时当处于远光灯照射状态时,开启提示,表明目前已接入自动驾驶模式,同时可以开启应急灯,远光灯照射结束时,提示可以恢复驾驶权,驾驶员通过实体按钮(如可以连接到应急按钮)按下,应急灯关闭,恢复驾驶员驾驶。考虑到实际情况复杂,驾驶员可能不需要开启防远光灯自动驾驶功能,或在某些时候希望忽略本次自动驾驶参与,可以通过实体按钮选择继续驾驶员驾驶、继续自动驾驶等。驾驶权交接控制模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现,并且可以执行根据本发明实施例的车辆控制类方法中的步骤S203以及S401~406。
自动驾驶监控模块540用于获取车辆的当前位置信息和周围路面的环境信息。如图7所示,自动驾驶监控模块540可以包括目前常用的自动驾驶监控设备,如激光雷达、GPS(全球定位系统)、摄像头以及超声波传感器等。激光雷达中可以选择精度较高,价格较低的40线混合固态Pandar40,其可以精确的识别车辆前方的障碍物,GPS导航与摄像头可识别当前车速,车道。
车辆控制模块550用于获取车辆的包括发动机的各执行单元的信息。车辆控制模块550例如为车辆的ECU控制模块,其可以获得发动机的各执行单元的信息,例如包括水箱温度,机油温度,喷油控制(内燃机发动机),电池控制(电动车)等信息,并且可以控制车辆执行单元570进行各种操作,例如控制电动转向伺服电机进行操作。
自动驾驶模块560用于基于所述车辆的当前位置信息和周围路面的环境信息,以及车辆的包括发动机的各执行单元的信息向车辆控制模块550和/或车辆的包括发动机的各车辆执行单元570发送控制命令,以进行自动驾驶。自动驾驶主要实现的功能是主动巡航、自动转向、主动刹车和主动避障。主动巡航是在当前行驶状态正常下启用,将信号传入车辆控制模块550(ECU模块),调整节气门开度,维持发动机喷油系统稳定持续。自动转向是考虑在变道,道路合并,转弯情况下启用。自动驾驶期间可以通过信号输入控制转向伺服电机,进而控制转向机实现转向。主动刹车在会车,应急时使用,通过控制离合器泵、电动制动油泵等机构实现。主动避障结合路面情况将主动刹车,自动转向配合使用。自动驾驶模块560与车辆控制模块550共同对车辆行驶进行控制。车辆控制模块550主要负责发动机控制和信息采集,自动驾驶模块560通过自动驾驶监控模块540负责采集路面环境信息,并读取车辆控制模块550信息,发送基本控制指令到车辆控制模块550或相应的车辆执行单元,如转向机伺服电机,电动离合器泵,制动油泵,灯光系统等,以控制车辆进行各种操作。即自动驾驶模块可以直接发送命令的车辆执行单元可以由自动驾驶模块直接发送指令来控制,自动驾驶模块无法直接控制的车辆执行单元可以通过向车辆控制模块550发送指令来由车辆控制模块550进行控制。
车辆执行单元570为车辆进行各种具体的单元,其例如包括电动转向伺服电机、电动离合器泵、制动油泵、灯光系统等。其在车辆控制模块550和自动驾驶模块560的共同控制下实现自动驾驶。
根据本实施例的车辆控制系统,通过采集驾驶员的面部信息并对所采集的面部信息进行分析,从而确定驾驶员的当前状态,即确定驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态,这样便基于驾驶员的当前状态进行驾驶权交接控制,以便当驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,进入自动驾驶模式,以提高车辆行驶的安全性,而当驾驶员未处于远光灯照射状态和/或驾驶员人眼视力处于正常状态时则不进入自动驾驶模式或从自动驾驶模式恢复至驾驶员驾驶模式。即,根据本实施例的车辆控制系统可以有效防范或消除来车远光灯造成的危险。
此外,根据本发明的实施例,还提供了一种车辆控制装置,所述车辆控制装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,在所述计算机程序被计算机或处理器运行时用于执行本发明实施例的车辆控制方法的相应步骤,并且用于实现根据本发明实施例的车辆控制系统中的面部信息分析模块、驾驶权交接控制模块、自动驾驶模块。
在一个实施例中,所述计算机程序在被所述处理器运行时执行以下步骤:采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了计算机程序,在所述计算机程序被计算机或处理器运行时用于执行本发明实施例的车辆控制方法的相应步骤,并且用于实现根据本发明实施例的车辆控制系统中的面部信息分析模块、驾驶权交接控制模块、自动驾驶模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合,例如一个计算机可读存储介质包含用于人眼是否正常睁开判断的计算机可读的程序代码,另一个计算机可读存储介质包含用于驾驶员是否处于远光灯照射状态判断的计算机可读的程序代码。
在一个实施例中,所述计算机程序在被计算机运行时执行以下步骤:采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
根据本发明实施例的车辆控制系统中的各模块可以通过根据本发明实施例的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的车辆控制方法、装置、系统以及存储介质使用人脸检测、眼睛状态检测、瞳孔状态检测、人脸光照检测等手段判断远光灯照射,结合自动驾驶技术,提高驾驶安全性。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种车辆控制方法,其特征在于,包括:
采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;
对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;
基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
2.根据权利要求1所述的车辆控制方法,其特征在于,所述对所采集的驾驶员的面部信息进行分析包括:
对所述面部图像信息进行分析,以确定驾驶员的人眼睁开程度;
对所述面部图像信息进行分析,以确定驾驶员的瞳孔大小;
根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态;
对所述面部反射光强信息进行分析,以确定驾驶员的面部反射光强的大小和变化,并根据所述驾驶员的面部反射光强的大小和变化判断驾驶员是否处于远灯光照射状态。
3.根据权利要求1所述的车辆控制方法,其特征在于,所述采集驾驶员的面部信息包括:
通过图像采集单元采集驾驶员的人脸图像。
4.根据权利要求3所述的车辆控制方法,其特征在于,所述面部反射光强信息通过对所采集的驾驶员的人脸图像进行分析得到。
5.根据权利要求1所述的车辆控制方法,其特征在于,所述面部反射光强信息通过光强检测单元获取。
6.根据权利要求1所述的车辆控制方法,其特征在于,所述驾驶权交接操作包括:
在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,控制车辆由驾驶员驾驶模式转入自动驾驶模式;
在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
7.根据权利要求6所述的车辆控制方法,其特征在于,所述驾驶权交接操作还包括:
在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,向驾驶员发出进入自动驾驶模式的提示,并指示驾驶员确认是否进入自动驾驶模式,当驾驶员确认进入自动驾驶模式,则控制车辆进入自动驾驶模式;
在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,向驾驶员发出恢复驾驶员驾驶模式的提示,并指示驾驶员确认是否恢复驾驶员驾驶模式,当驾驶员确认恢复驾驶员驾驶模式时,则控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
8.根据权利要求7所述的车辆控制方法,其特征在于,通过扬声器、显示装置和/或指示灯向驾驶员发出进入自动驾驶模式的提示和恢复驾驶员驾驶模式的提示。
9.一种车辆控制系统,其特征在于,包括:
面部信息采集模块,用于采集驾驶员的面部信息,所述面部信息至少包括面部图像信息和面部反射光强信息;
面部信息分析模块,对所采集的驾驶员的面部信息进行分析,以获取驾驶员的当前状态,所述驾驶员的当前状态包括驾驶员是否处于远光灯照射状态以及驾驶员人眼视力是否处于正常状态;
驾驶权交接控制模块,用于基于驾驶员的当前状态,进行驾驶权交接控制,所述驾驶权交接控制包括由驾驶员驾驶模式进入自动驾驶模式或由自动驾驶模式恢复驾驶员驾驶模式。
10.根据权利要求9所述的车辆控制系统,其特征在于,所述面部信息分析模块包括:
人眼睁开程度分析子模块,对所述面部图像信息进行分析,以确定驾驶员的人眼睁开程度;
瞳孔大小分析子模块,用于对所述面部图像信息进行分析,以确定驾驶员的瞳孔大小;
人眼视力状态分析模块,根据驾驶员的人眼睁开程度以及瞳孔大小,判断驾驶员的人眼视力是否处于正常状态;
人脸反射光强分析子模块,用于对所述面部反射光强信息进行分析,以确定驾驶员的面部反射光强的大小和变化,并根据所述驾驶员的面部反射光强的大小和变化判断驾驶员是否处于远灯光照射状态。
11.根据权利要求9所述的车辆控制系统,其特征在于,所述面部信息采集模块包括:
图像采集单元,用于采集驾驶员的人脸图像。
12.根据权利要求11所述的车辆控制系统,其特征在于,所述面部反射光强信息通过对所采集的驾驶员的人脸图像进行分析得到。
13.根据权利要求9所述的车辆控制系统,其特征在于,所述面部信息采集模块还包括:
光强检测单元,用于检测驾驶员的面部反射光的光强,以获得所述面部反射光强信息。
14.根据权利要求9所述的车辆控制系统,其特征在于,
所述驾驶权交接控制模块在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,控制车辆由驾驶员驾驶模式转入自动驾驶模式;
所述驾驶权交接控制模块在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
15.根据权利要求14所述的车辆控制系统,其特征在于,
所述驾驶权交接控制模块在驾驶员处于远光灯照射状态和/或驾驶员人眼视力未处于正常状态时,还向驾驶员发出进入自动驾驶模式的提示,并指示驾驶员确认是否进入自动驾驶模式,当驾驶员确认进入自动驾驶模式,所述驾驶权交接控制模块控制车辆进入自动驾驶模式;
所述驾驶权交接控制模块在驾驶员未处于远光灯照射状态且驾驶员人眼视力处于正常状态时,向驾驶员发出恢复驾驶员驾驶模式的提示,并指示驾驶员确认是否恢复驾驶员驾驶模式,当驾驶员确认恢复驾驶员驾驶模式时,所述驾驶权交接控制模块控制车辆由自动驾驶模式恢复驾驶员驾驶模式。
16.根据权利要求15所述的车辆控制系统,其特征在于,所述驾驶权交接控制模块通过扬声器、显示装置和/或指示灯向驾驶员发出进入自动驾驶模式的提示和恢复驾驶员驾驶模式的提示。
17.根据权利要求9所述的车辆控制系统,其特征在于,还包括:
自动驾驶监控模块,用于获取车辆的当前位置信息和周围路面的环境信息;
车辆控制模块,用于获取车辆的包括发动机的各执行单元的信息;
自动驾驶模块,用于基于所述车辆的当前位置信息和周围路面的环境信息,以及车辆的包括发动机的各执行单元的信息向车辆控制模块和/或车辆的包括发动机的各执行单元发送控制命令,以进行自动驾驶。
18.一种车辆控制装置,其特征在于,所述车辆控制装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-8中的任一项所述的车辆控制方法。
19.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-8中的任一项所述的车辆控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710948405.1A CN109664889B (zh) | 2017-10-12 | 2017-10-12 | 一种车辆控制方法、装置和系统以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710948405.1A CN109664889B (zh) | 2017-10-12 | 2017-10-12 | 一种车辆控制方法、装置和系统以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109664889A true CN109664889A (zh) | 2019-04-23 |
CN109664889B CN109664889B (zh) | 2021-01-26 |
Family
ID=66138629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710948405.1A Active CN109664889B (zh) | 2017-10-12 | 2017-10-12 | 一种车辆控制方法、装置和系统以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109664889B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110261131A (zh) * | 2019-06-21 | 2019-09-20 | 北京迈格威科技有限公司 | 汽车模拟驾驶舱图像数据处理方法及装置 |
CN110673609A (zh) * | 2019-10-10 | 2020-01-10 | 北京小马慧行科技有限公司 | 车辆行驶的控制方法、装置及系统 |
CN111178225A (zh) * | 2019-12-25 | 2020-05-19 | 恒大新能源汽车科技(广东)有限公司 | 一种遮光板控制方法、遮光板控制系统及装置 |
CN113320449A (zh) * | 2021-07-19 | 2021-08-31 | 浙江吉利控股集团有限公司 | 一种驾驶座椅自动调节方法、系统、介质及电子终端 |
CN113547978A (zh) * | 2021-07-30 | 2021-10-26 | 东风柳州汽车有限公司 | 行车灯光警示方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1410295A (zh) * | 2002-11-29 | 2003-04-16 | 潘君昂 | 会车时防驾驶员眩目的方法 |
CN103158505A (zh) * | 2011-12-12 | 2013-06-19 | 现代自动车株式会社 | 检测驾驶者眩光的装置和方法及阻挡眩光的系统和方法 |
CN103354012A (zh) * | 2013-06-28 | 2013-10-16 | 上海市航头学校 | 一种防疲劳驾驶的报警系统 |
CN104637299A (zh) * | 2014-12-30 | 2015-05-20 | 东莞市高明企业服务有限公司 | 一种基于云的安全驾驶控制系统及其控制方法 |
KR20150060261A (ko) * | 2013-11-26 | 2015-06-03 | 현대모비스 주식회사 | 썬바이저 제어 장치 및 방법 |
CN105818751A (zh) * | 2015-01-07 | 2016-08-03 | 鸿富锦精密工业(深圳)有限公司 | 车辆及应用于该车辆的自动调节系统及自动调节方法 |
WO2016131075A1 (en) * | 2015-02-20 | 2016-08-25 | Seeing Machines Limited | Glare reduction |
-
2017
- 2017-10-12 CN CN201710948405.1A patent/CN109664889B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1410295A (zh) * | 2002-11-29 | 2003-04-16 | 潘君昂 | 会车时防驾驶员眩目的方法 |
CN103158505A (zh) * | 2011-12-12 | 2013-06-19 | 现代自动车株式会社 | 检测驾驶者眩光的装置和方法及阻挡眩光的系统和方法 |
CN103354012A (zh) * | 2013-06-28 | 2013-10-16 | 上海市航头学校 | 一种防疲劳驾驶的报警系统 |
KR20150060261A (ko) * | 2013-11-26 | 2015-06-03 | 현대모비스 주식회사 | 썬바이저 제어 장치 및 방법 |
CN104637299A (zh) * | 2014-12-30 | 2015-05-20 | 东莞市高明企业服务有限公司 | 一种基于云的安全驾驶控制系统及其控制方法 |
CN105818751A (zh) * | 2015-01-07 | 2016-08-03 | 鸿富锦精密工业(深圳)有限公司 | 车辆及应用于该车辆的自动调节系统及自动调节方法 |
WO2016131075A1 (en) * | 2015-02-20 | 2016-08-25 | Seeing Machines Limited | Glare reduction |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110261131A (zh) * | 2019-06-21 | 2019-09-20 | 北京迈格威科技有限公司 | 汽车模拟驾驶舱图像数据处理方法及装置 |
CN110673609A (zh) * | 2019-10-10 | 2020-01-10 | 北京小马慧行科技有限公司 | 车辆行驶的控制方法、装置及系统 |
CN111178225A (zh) * | 2019-12-25 | 2020-05-19 | 恒大新能源汽车科技(广东)有限公司 | 一种遮光板控制方法、遮光板控制系统及装置 |
CN113320449A (zh) * | 2021-07-19 | 2021-08-31 | 浙江吉利控股集团有限公司 | 一种驾驶座椅自动调节方法、系统、介质及电子终端 |
CN113547978A (zh) * | 2021-07-30 | 2021-10-26 | 东风柳州汽车有限公司 | 行车灯光警示方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109664889B (zh) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109664889A (zh) | 一种车辆控制方法、装置和系统以及存储介质 | |
CN105769120B (zh) | 疲劳驾驶检测方法和装置 | |
US9180887B2 (en) | Driver identification based on face data | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN101242523B (zh) | 现场监视设备 | |
US10078966B2 (en) | Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same | |
CN106485233A (zh) | 可行驶区域检测方法、装置和电子设备 | |
CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
CN109389766A (zh) | 用于自主车辆的用户识别系统和方法 | |
CN104751600A (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
CN109664891A (zh) | 辅助驾驶方法、装置、设备及存储介质 | |
García et al. | Driver monitoring based on low-cost 3-D sensors | |
US11423673B2 (en) | Method and device for detecting state of holding steering wheel | |
CN106467057B (zh) | 车道偏离预警的方法、装置及系统 | |
CN102310771A (zh) | 基于驾驶员面部识别的机动车安全控制方法及系统 | |
CN113260547A (zh) | 信息处理设备、移动设备、方法和程序 | |
US10964137B2 (en) | Risk information collection device mounted on a vehicle | |
CN102610057B (zh) | 车载信息智能处理系统和方法 | |
CN107323343A (zh) | 一种安全驾驶预警方法及系统、汽车和可读存储介质 | |
CN201927155U (zh) | 车载信息智能处理系统 | |
CN106447828A (zh) | 一种带有虹膜识别功能的行车记录仪 | |
CN107085720A (zh) | 一种车载报警系统及方法 | |
CN110263602A (zh) | Ubi数据收集方法、装置、设备及介质 | |
CN210733976U (zh) | 一种基于3d全景技术的车辆驾驶辅助系统 | |
CN111403030A (zh) | 心理健康监测方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230328 Address after: 1201, China Vision Valley Building, 88 Ruixiang Road, Guandou Street, Jiujiang District, Wuhu City, Anhui Province, 241005 Patentee after: Wuhu Maichi Zhixing Technology Co.,Ltd. Address before: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313 Patentee before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd. Patentee before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd. |