CN107776574A - 一种自动驾驶车辆的驾驶模式切换方法和装置 - Google Patents
一种自动驾驶车辆的驾驶模式切换方法和装置 Download PDFInfo
- Publication number
- CN107776574A CN107776574A CN201710953562.1A CN201710953562A CN107776574A CN 107776574 A CN107776574 A CN 107776574A CN 201710953562 A CN201710953562 A CN 201710953562A CN 107776574 A CN107776574 A CN 107776574A
- Authority
- CN
- China
- Prior art keywords
- driver
- data
- driving
- manual drive
- driving behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 106
- 230000006399 behavior Effects 0.000 claims description 229
- 210000003128 head Anatomy 0.000 claims description 90
- 230000004044 response Effects 0.000 claims description 85
- 210000001508 eye Anatomy 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 24
- 230000002618 waking effect Effects 0.000 claims description 20
- 230000008921 facial expression Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000003921 oil Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 2
- 102100035188 Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Human genes 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000001294 propane Substances 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 206010057315 Daydreaming Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003502 gasoline Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/161—Explanation of functions, e.g. instructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/175—Autonomous driving
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明公开一种自动驾驶车辆的驾驶模式切换方法和装置,以解决现有技术自动驾驶车辆将自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。该方法包括:自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
Description
技术领域
本发明涉及自动驾驶领域,特别涉及一种自动驾驶车辆的驾驶模式切换方法和装置。
背景技术
自动驾驶车辆(又称无人驾驶车辆)通常具有自动驾驶模式和手动驾驶模式。在自动驾驶模式中,车辆的控制系统拥有对车辆的控制权,根据车辆上的信息采集装置和摄像头采集到的信息来控制车辆的运行。在手动驾驶模式中,驾驶员拥有对车辆的控制权,对车辆的运行进行控制。
自动驾驶车辆经常会进行驾驶模式的切换,从手动驾驶模式切换到自动驾驶模式,或者从自动驾驶模式切换到手动驾驶模式。
然而在现有技术中经常会出现从自动驾驶模式切换到手动驾驶模式后,驾驶员未能有效地控制车辆的问题。
发明内容
鉴于上述问题,本发明提供了一种自动驾驶车辆的驾驶模式切换方法和装置,以解决现有技术从自动驾驶模式切换到手动驾驶模式后,驾驶员未能有效地控制车辆的问题。
根据本申请的一个方面,提供了一种自动驾驶车辆的驾驶模式切换方法,该方法包括:
自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在本申请的多个实施例中,所述方法还包括:提示所述驾驶员执行一个操作或者提供一个输入;则,
获取检测数据,包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
根据所述检测数据确定驾驶员的手动驾驶能力,包括:确定所述反应数据对应的操作或者输入;判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;根据判断结果确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,根据所述检测数据确定驾驶员的手动驾驶能力,包括:根据所述检测数据确定所述驾驶员的驾驶行为;将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,
获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,
根据所述检测数据确定所述驾驶员的驾驶行为,包括:分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,所述根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内处于睡眠状态或清醒状态;根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内使用移动装置进行通话或未通话。
在本申请的多个实施例中,所述方法还包括:提示所述驾驶员执行一个操作或者提供一个输入;则,获取检测数据包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;
根据所述检测数据确定所述驾驶员的驾驶行为,包括:确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定所述驾驶员在所述预定时间长度内注意力集中或不集中;根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内处于疲劳状态或清醒状态、处于睡觉状态或清醒状态、或者受伤。
在本申请的多个实施例中,根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换,包括:在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
在本申请的多个实施例中,所述信息采集装置包括以下至少一种:传感器、音频采集装置、车辆电子装置。
根据本申请的另一个方面,提供了一种自动驾驶车辆的驾驶模式切换装置,包括:
获取单元,用于获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
确定单元,用于根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
切换单元,用于根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在本申请的多个实施例中,所述装置还包括:提示单元,用于提示所述驾驶员执行一个操作或者提供一个输入;则,所述获取单元用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;所述确定单元用于:确定所述反应数据对应的操作或者输入;判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;根据判断结果确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,所述确定单元还用于:判断是否在预定时间段内获取到检测数据;在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
在本申请的多个实施例中,所述确定单元根据判断结果确定所述驾驶员的手动驾驶能力,包括:在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
在本申请的多个实施例中,所述确定单元根据所述检测数据确定驾驶员的手动驾驶能力,包括:根据所述检测数据确定所述驾驶员的驾驶行为;将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,所述获取单元用于获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,所述确定单元用于:分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,所述确定单元所述根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
在本申请的多个实施例中,所述装置还包括提示单元,用于提示所述驾驶员执行一个操作或者提供一个输入;则,所述获取单元用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;所述确定单元用于:确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,所述确定单元根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
在本申请的多个实施例中,所述切换单元用于:在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
根据本申请的另一个方面,提供了一种自动驾驶车辆的驾驶模式切换装置,包括::一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条指令实现:获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在本申请的多个实施例中,所述处理器执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,所述处理器执行所述至少一条指令实现获取检测数据,包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;所述处理器执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:确定所述反应数据对应的操作或者输入;判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;根据判断结果确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,所述处理器执行所述至少一条指令还实现:判断是否在预定时间段内获取到检测数据;在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现根据判断结果确定所述驾驶员的手动驾驶能力,包括:在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:根据所述检测数据确定所述驾驶员的驾驶行为;将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,所述处理器执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
在本申请的多个实施例中,所述处理器执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,所述处理器执行所述至少一条指令实现获取检测数据包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;所述处理器执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
在本申请的多个实施例中,所述处理器执行所述至少一条指令实现根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换,包括:在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
根据本申请提供的技术方案,自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据,根据检测数据确定驾驶员的手动驾驶能力,根据驾驶员的手动驾驶能力在自动驾驶模式和手动驾驶模式之间进行切换,从而能够根据所确定的驾驶员的手动驾驶能力进行驾驶模式的切换,能够解决自动驾驶车辆将自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本申请的多个实施例提供的自动驾驶车辆的驾驶模式切换方法的工作流程图;
图2为本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图;
图3为本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图;
图4为本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图;
图5为本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图;
图6a为本申请提供的自动驾驶车辆的驾驶模式切换装置的应用环境示意图;
图6b为本申请多个实施例提供的一种自动驾驶车辆的驾驶模式切换装置的结构框图;
图7为本申请多个实施例提供的一种自动驾驶车辆的驾驶模式切换装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在现有技术中,将自动驾驶车辆的控制权交给驾驶员时,也即将自动驾驶车辆的自动驾驶模式切换为手动驾驶模式时,系统默认为驾驶员不存在问题,并未考虑到即将接管车辆控制权的驾驶员是否有能力接管车辆控制权。而在许多情况下,驾驶员可能不具备车辆控制的能力,例如驾驶员在长时间驾驶后出现驾驶疲劳,或者出现其它情况导致不能进行车辆控制的。
针对现有技术中的上述问题,本申请提出了一种自动驾驶车辆的驾驶模式切换方法,该方法中在进行驾驶模式切换前,根据车辆的信息采集装置和/或摄像头获取的检测数据,确定驾驶员的手动驾驶能力,根据所确定的驾驶员的手动驾驶能力进行驾驶模式的切换。从而能够解决现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
以上是本发明的核心思想,为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请的多个实施例提供的自动驾驶车辆的驾驶模式切换方法的工作流程图,该方法包括:
步骤11、自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
其中,自动驾驶车辆中搭载有多个信息采集装置,包括自动驾驶车辆的多种传感器、语音收集装置、车辆电子装置、或者车辆触屏控制装置、以及其它用于信息收集的装置,传感器可以是车内的各种传感器,例如方向盘传感器、制动器传感器、油门传感器以及类似的其它多种传感器。信息采集装置用于采集多种信息源的信息、采集到的信息是检测数据所包括的一种。自动驾驶车辆中还搭载有多个摄像头,多个摄像头中的至少一个摄像头安装在驾驶室内,用于观察车辆驾驶员的头部和面部,并长时间的获取驾驶员的头部特征图像,采集到的头部特征图像数据是检测数据所包括的一种数据。
步骤12、根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
由多种传感器、语音收集装置、车辆电子装置或者车辆触屏控制装置、以及摄像头获取的检测数据能够综合表达驾驶者的手动驾驶能力,驾驶模式切换装置分析多种信息源的检测数据,来确定驾驶员的手动驾驶能力;
确定得到的驾驶员的手动驾驶能力分为两种:具有手动驾驶能力和不具有手动驾驶能力。
步骤13、根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;
在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
通过上述方法,自动驾驶车辆能够自动确定得到驾驶员的手动驾驶能力,根据驾驶员的手动驾驶能力来进行驾驶模式的切换,从而能够避免现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
本申请的多个实施例提供的自动驾驶车辆的驾驶模式切换方法还可以包括如下的具体的实施方式。
实施方式一
图2中示出了本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图,包括:
步骤21、提示所述驾驶员执行一个操作或者提供一个输入;
在一个实施例中,自动驾驶车辆的驾驶模式切换装置调用自动驾驶车辆的音频装置,发出一段预存的语音提示,提示驾驶员执行某个操作,例如提示按下车辆触屏装置上的一个按钮,提示驾驶员发声重复一段话语,提示驾驶员提供语音验证,或者提示驾驶员进行执行某个车辆控制操作;在另一个实施例中,还可以在某个电子装置上(例如车辆触屏控制装置)显示一段信息,并提示驾驶员在改电子装置上点击选择某个信息;
步骤22、获取来自自动驾驶车辆的信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
从与提示操作相对应的信息采集装置获取驾驶员针对提示做出的反应的数据;
在一个实施例中,可以设置一个预定时间段,在该预定时间段内获取检测数据;如果在预定时间段内获取到检测数据的情况下,处理进行到步骤23;如果未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力,处理结束;
在另一个实施例中,可以不设置预定时间段,以便如果所提示的操作或输入为否定性输入或操作时,驾驶员可能会根据提示不进行操作或者不提供输入,以此来判断驾驶员的驾驶能力;例如,提示的操作为:在3秒钟之内保持直行,不可执行转向操作,如果驾驶员按照提示进行操作,转向盘传感器在3秒钟之内不会检测到改变,也即不会获取到反应数据;
在另一个实施例中,还可以结合上述两种设置,例如提示的操作为:在3秒钟之内保持直行,不可执行转向操作,在3秒钟之后执行变道操作,如果驾驶员按照提示进行操作,转向盘传感器在3秒钟之内不会检测到改变,在3秒钟之后才会检测到改变,也即在3秒钟之内不会获取到反应数据,在3秒钟之后才会获取到反应数据;
步骤23、确定所述反应数据对应的操作或者输入;
驾驶模式切换装置分析获取到的反应数据,确定反应数据所对应的操作或者输入;
步骤24、判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;
驾驶模式切换装置将反应数据所对应的操作或者输入与所提示的操作或者输入进行对比,对比结果为一致或者不一致;
步骤25、根据判断结果确定所述驾驶员的手动驾驶能力。
在一个实施例中,在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力;
本申请的其它多个实施例中,也不排除根据实际具体情况而设置的其它情况,例如在判断结果为不一致的情况下,确定驾驶员具有手动驾驶能力,在判断结果一致的情况下,确定驾驶员不具有手动驾驶能力。
步骤26、根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在一个实施例中,在确定驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,在确定驾驶员不具有手动驾驶能力的情况下,保持自动驾驶模式、或者将手动驾驶模式切换到自动驾驶模式。
通过上述处理自动驾驶车辆的驾驶模式切换装置能够测试驾驶员对于提示的反应,并根据反应数据确定驾驶员是否具有手动驾驶能力,能够根据驾驶员是否具有手动驾驶能力在进行驾驶模式的转换,能够保证在驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,从而能够解决现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
实施方式二
图3中示出了本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图,包括:
步骤31、自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
步骤32、根据所述检测数据确定所述驾驶员的驾驶行为;
在实施方式一中确定驾驶员针对提示做出的反应,在实施方式二中确定驾驶员的驾驶行为,能够根据驾驶行为更加直接和更加准确地确定驾驶员的手动驾驶能力;
步骤33、将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
对驾驶行为进行分析并将驾驶行为划分到预定的行为类别中,能够将不同驾驶员之间差别细微的驾驶行为归类到预定类别中,便于后续分析;
步骤34、根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力;
在预先建立的行为类别与驾驶能力的对应关系中,对驾驶行为所表达的驾驶能力进行了预定义;
步骤35、根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换;
在一个实施例中,在确定驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,在确定驾驶员不具有手动驾驶能力的情况下,保持自动驾驶模式、或者将手动驾驶模式切换到自动驾驶模式。
在上述的实施方式二中,能够通过分析驾驶员的驾驶行为确定驾驶员的驾驶能力,从而根据驾驶能力确定驾驶模式的切换,能够根据驾驶员是否具有手动驾驶能力在进行驾驶模式的转换,能够保证在驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,从而能够解决现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
实施方式二可以包括如下的两种具体的实施方式。
实施方式三
图4示出了本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图,包括:
步骤41、获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数;
步骤42、分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
在一个实施例中,头部特征数据可以包括转头、点头、摇头等的头部动作,面部表情特征数据包括笑、哭等表情,面部动作特征数据包括眼睛动作、嘴部动作等动作;
步骤43、根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为;
结合头部特征数据和计时数据能够分析得到驾驶员的头部和面部特征,预定时间长度内的头部和面部特征能够表达驾驶员的驾驶行为;
在一个实施例中,根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内处于睡眠状态或清醒状态;如果在预定时间段内驾驶员的眼睛保持睁开,可以确定驾驶员的驾驶行为为清醒状态的驾驶行为,如果在预定时间段内驾驶员的眨眼的次数小于预定次数,或者保持睁眼的时间小于预定时间,可以确定驾驶员的驾驶行为为瞌睡状态的驾驶行为;
在一个实施例中,根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内使用移动通信装置进行通话或未通话;如果驾驶员具有嘴部动作以及图像数据中识别出通信装置,可以确定驾驶员为手持通信装置的特征数据,并且在预定时间内上述特征未发生变换,可以确定驾驶员的驾驶行为是使用移动通信装置进行通话;
步骤44、将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
在一个实施例中,可以根据所识别出来的驾驶行为的关键动作或者对关键动作定义的关键词,将驾驶行为划分到预定义的行为类别中,例如将瞌睡状态的驾驶行、用移动通信装置通话的驾驶行为划分到危险驾驶行为类别,将保持清醒的驾驶行为划分到正常驾驶行为类别;
步骤45、根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力;
在一个实施例中,预定义的对应关系可以包括如下的情况:危险驾驶行为类别对应于不具有驾驶能力,正常驾驶行为类别对应于具有驾驶能力;
步骤46、根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换;
在一个实施例中,在确定驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,在确定驾驶员不具有手动驾驶能力的情况下,保持自动驾驶模式、或者将手动驾驶模式切换到自动驾驶模式。
在上述的实施方式三中,通过对图像数据进行分析得到驾驶员的头部特征数据,根据头部特征数据确定驾驶员的驾驶行为,并根据驾驶行为所述行为类别对应的手动驾驶能力的情况,确定驾驶员的手动驾驶能力,能够仅通过摄像头获取的图像数据分析得到驾驶员的手动驾驶能力,能够保证在驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,从而能够解决现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
实施方式四
图5示出了本申请的多个实施例提供的一种自动驾驶车辆的驾驶模式切换方法的流程图,包括:
步骤51、提示所述驾驶员执行一个操作或者提供一个输入;
步骤52、获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
在一个实施例中,步骤51和步骤52步骤53可以如上述步骤21和步骤22中所述,对驾驶员给出提示,获取驾驶员提供的操作或者输入的反应数据,这里不再赘述;
步骤53、获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;
在一个实施例中,步骤53可以如上述步骤41所述,这里不再赘述;
在一个实施例中,上述步骤51至步骤53的执行顺序可如上所述;
在另一个实施例中,也可以先执行步骤53、再执行步骤51和步骤52;
步骤54、确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;
在一个实施例中,步骤54可以如上述步骤23所述,这里不再赘述;
步骤55、分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
在一个实施例中,步骤55可以如上述步骤42所述,这里不再赘述;
在一个实施例中,上述步骤54和步骤55的执行顺序不分先后;
步骤56、根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为;
结合考虑驾驶员对提示的反应以及驾驶员的头部特征数据,能够更为准确和有效地确定得到驾驶员的驾驶行为,从而能够更为可靠地确定得到驾驶员的手动驾驶能力;
在一个实施例中,根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定所述驾驶员在所述预定时间长度内注意力集中或不集中;
例如,提示驾驶员进行直行操作,如果反应数据所表达的信息为在预定时间段内方向盘传感器没有检测到方向盘的运动,且驾驶员的眼睛在预定时间长度内均为直视前方、或者直视前方的时间超过预定的时间长度,则,可以确定驾驶员在预定时间长度内注意力集中,其中驾驶员的眼睛直视前方的时间可以是累计时间也可以是连续时间;又例如,提示驾驶员进行加速操作,如果反应数据所表达的信息为惯性加速传感器没有检测到加速,且驾驶员的眼睛处于睁眼状态的时间小于预定的时间长度,则可以确定驾驶员在预定时间长度内注意力不集中;
在一个实施例中,根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定所述驾驶员在所述预定时间长度内处于疲劳状态或清醒状态、处于睡觉状态或清醒状态、或者受伤;
例如,提示驾驶员说出语音验证内容,如果在预定时间段内反应数据所表达的信息为语音验证的内容,且驾驶员的眼睛处于睁眼状态的时间大于或等于预定的时间长度,则可以确定驾驶员的驾驶行为是清醒的驾驶行为,反之,如果驾驶员未能在预定时间长度内说出语音验证的内容,且驾驶员的眼睛处于睁眼状态的时间小于预定的时间长度,则可以确定驾驶员的驾驶行为是疲劳的驾驶行为;又例如,可以提示驾驶员读出前方最近的道路标识牌的内容,如果反应数据所表达的信息为正确的道路标识牌的内容,且驾驶员眼睛的视线方向为道路标识牌的方向,则可以确定驾驶员的驾驶行为是清醒的驾驶行为;又例如,提示驾驶员说出车辆当前行驶的道路的名称,如果反应数据所表达的信息为正确的道路名称,且驾驶员的眼睛处于睁眼状态的时间大于或等于预定的时间长度,则可以确定驾驶员的驾驶行为是清醒的驾驶行为;
步骤57、将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
步骤58、根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力;
步骤59、根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换;
步骤57~59可以如上述步骤44~46中所述,这里不再赘述。
在上述的实施方式四中,通过对驾驶员进行提示,获取驾驶员针对提示提供的操作或者输入,对图像数据进行分析得到驾驶员的头部特征数据,根据驾驶员提供的操作或者输入、驾驶员的头部特征数据和计时数据确定驾驶员的驾驶行为,能够更加准确有效地确定得到驾驶员的驾驶行为,从而能够更加准确可靠地来确定驾驶员的手动驾驶能力,能够保证在驾驶员具有手动驾驶能力的情况下,将自动驾驶模式切换到手动驾驶模式,从而能够解决现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
基于相同的发明构思,本申请的多个实施例中还提供了一种自动驾驶车辆的驾驶模式切换装置。
图6a中示出了本申请提供的自动驾驶车辆的驾驶模式切换装置的应用环境,也即图6a示出了一个车辆系统101的示意图,本申请提供的自动驾驶车辆的驾驶模式切换装置(以下有些地方简称为驾驶模式切换装置)应用在自动驾驶车辆105(以下有些地方简称为车辆105)中。车辆系统101包括多个系统和多个构件,这些系统和构件能够生成和/或传输一个或多个源信息/源数据,系统101还包括与车内控制系统150和驾驶模式切换装置600相关的多个服务。系统101能够被安装在车辆105中。例如,安装在车辆105中的摄像头作为车辆子系统140中的一个装置,能够生成图像数据和计时数据,该图像数据和计时数据能够被控制系统150接收到。多个摄像头中的至少一个摄像头安装在驾驶室内,以观察车辆驾驶员的头部和面部,并长时间的获取驾驶员的头部特征图像,采集到的头部特征图像作为检测数据的一种。车内的多个信息采集装置采集多种信息,采集到的信息作为检测数据的一种。信息采集装置可以包括自动驾驶车辆的多种传感器、语音收集装置、车内的触屏控制装置、以及其它用于信息收集的装置。车内控制系统150以及在其中运行的驾驶模式切换装置600能够接收所输入的上述检测数据。驾驶模式切换装置600能够从车辆子系统的多个装置中获取传感器数据和上述图像数据以及计时数据,以监视车辆驾驶员并识别驾驶员的面部特征。如下详述,驾驶模式切换装置600获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
在本申请提供的一个实施例中,控制系统150能够与多个车辆子系统140进行数据通信,所有这些车辆子系统140常驻在车辆105中。一个车辆子系统接口141被用于促进控制系统150和多个车辆子系统140之间的数据通信。控制系统150包括一个数据处理器171以执行驾驶模式切换方法,用以处理从一个或多个车辆子系统140接收到的图像数据。该数据处理器171能够与一个数据存储装置172合并设置,并作为控制系统150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、存储处理参数、以及存储数据处理指令。处理模块接口165被用于促进数据处理器171和驾驶模式切换装置600之间的数据通信。在多个实施例中,多个处理模块被配置为与驾驶模式切换装置600相类似的配置,并被数据处理器171执行。如图6a中的虚线所示,驾驶模式切换装置600能被集成到控制系统150中,或者可选地被下载到控制系统150中。
控制系统150能够用于与广域网120进行数据的接收/发送,以及与和广域网相连接的网络资源122进行数据的接收/发送。可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。可联网装置接口131能够被控制系统150使用,以促进控制系统150、以及通过可联网的装置130所连接的网络120之间的数据通信。相类似地,用户移动装置接口133能够被控制系统150使用,以促进控制系统150和通过用户移动装置132连接到的网络120之间的数据通信。以该种方式,控制系统150能够实时地通过网络120接入到网络资源122中。数据处理器171能够从网络资源122获取被数据处理器171所执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。
系统101包括广域数据网络120。网络120为一个或多个传统广域数据网,例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122,例如多个网站、多个服务器、多个中央控制网站,或者类似的网络资源。网络资源122能够生成和/或发布数据,该数据能够被车辆105通过车内可联网装置130或者用户移动装置132接收到。网络资源122也可以提供网络云服务,网络资源122能够支持在处理图像输入分析或者图像输出分析中进行计算或者辅助计算的函数。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案,将控制系统150和驾驶模式切换装置600连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如,VerizonTM,AT&TTM,T-MobileTM,等等)。这样的基于卫星的数据网络或内容网络也是当前可获得的(例如,SiriusTM,HughesNetTM,等等)。传统的广播网络也是为人熟知的,例如,多个AM/FM无线网络、寻呼网络、UHF网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络,以及类似的网络。从而,如下详述,控制系统150和驾驶模式切换装置600能够通过可联网装置接口131接收基于网络的数据或内容,该可联网装置接口131用于连接可联网装置接收器130和网络120。以该种方式,控制系统150以及驾驶模式切换装置600能够支持车辆105其中的多个可连接网络的车内装置和系统。
如图6a所示,控制系统150和驾驶模式切换装置600也能够接收来自用户移动装置132的数据、图像处理控制参数、以及训练内容,该用户移动装置132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置,例如蜂窝电话、智能电话、个人数字助理(PAD’s)、MP3播放器、平板计算装置(例如,iPaDTM)、手提计算机、CD播放器、以及其它移动装置,用户移动装置132能够为控制系统150和驾驶模式切换装置600产生、接收和/或发送数据、图像处理控制参数以及内容。如图6a所示,移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容,也能通过网络120从网络资源122中获取数据和内容。此外,移动装置132自身可以包括一个GPS数据接收器、多个加速计、多个WiFi三角测量或者其它地理位置探测器或部件,这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下,如图6a所示,控制系统150和驾驶模式切换装置600能从移动装置132接收数据。
继续参考图6a,实施例中的系统101包括车辆可操作子系统140。在车辆105已实施的实施例中,许多标准车辆包括多个可操作子系统,例如,多个电子控制单元(ECUs),支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如,在车辆可操作子系统140(例如车辆105的ECUs)与控制系统150通过车辆子系统接口141进行通信的数据信号中,包括车辆105的一个或多个部件或者子系统的状态的信息。特别地,该数据信号能够从车辆可操作子系统140发送到车辆105的一个控制器局域网(CAN)总线,该数据信号能够通过车辆子系统接口141被控制系统150接收和处理。本申请描述的装置能够实质性的被用于任何使用CAN总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统,该系统包括但不限于工业装置、船只、卡车、机械装置或汽车;从而,这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的装置的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用,但是,这样的网络通信不是必须的。
继续参考图6a,实施例中的系统101以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言,车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如,车辆105可以在自动模式下同时控制其自身,并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态,确定在该环境中的其它至少一个车辆的一个预测行为,确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级,并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时,车辆105可以在无人交互的情况下运行。
车辆105可能包括各种车辆子系统,例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述,车辆105还可以包括控制系统150、计算子系统170、以及驾驶模式切换装置600。车辆105或多或少地包括一些子系统,每个子系统可以包括多个单元。进一步地,车辆105的每个子系统和单元之间可以是互联的。从而,车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件,或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中,附加的功能性部件或者实体部件可以增加到如图6a所示的示例中。
车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个实施例中,车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下装置的任意组合:一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中,发动机可以将一种动力源转换为机械能。在一些实施例中,车辆驱动子系统142可以包括多种发动机或电动机。例如,一个油电混合轿车可以包括一个汽油发动机和一个电动机,也可以包括其它的情况。
车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子,包括一个独轮、双轮、三轮、或者一个四轮形式,例如轿车或卡车上的四轮。其它数量的轮子也是可以的,例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子,以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合,或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的,变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮,和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机,以及其它电子驱动或者控制的装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即,发动机或电动机能够将动力源转换为机械能。示例性地,动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器,这些传感器用于感应车辆105的环境和条件的信息。例如,车辆感应器子系统144可以包括一个惯性测量单元(IMU)、一个全球定位系统(GPS)收发器、一个雷达单元、一个激光测距仪/LIDAR单元(或其它距离测量装置)、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如,一个氧气(O2)监视器、一个油量表传感器、一个发动机油压传感器,等等)。还可以配置其它传感器。被包括在车辆传感器子系统144中的一个或多个传感器可以被单独驱动或者被集体驱动,以更新一个或多个传感器的位置、方向,或者这二者。
IMU可以包括任何传感器的结合(例如加速器和陀螺仪),用于基于惯性加速来感应车辆105的位置变化和方向变化。GPS收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的,GPS收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105所在环境中的对象的系统。在一些实施例中,除感应对象之外,雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个实施例中,激光测距仪/LIDAR单元可以包括位于其它系统部件中的一个或多个激光源、一个激光扫描仪、以及一个或多个探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。
车辆控制系统146用于控制对车辆105及其构件的操作。相应地,车辆控制系统146可以包括各种单元,例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。
转向单元可以是任何调整车辆105前进方向的机械的组合。油门,例如可以被用于控制发动机的运转速度,进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中,刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中,导航单元用于将来自驾驶模式切换装置600的数据、来自GPS收发器的数据、以及一个或多个预定地图的数据结合起来,从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常,自动控制单元可以用于在没有驾驶员的情况下控制车辆105,或者为驾驶员控制车辆提供辅助。在一些实施例中,自动控制单元用于将来自驾驶模式切换装置600的数据、GPS收发器的数据、雷达数据、LIDAR数据、摄像头数据、以及来自其它车辆子系统的数据结合起来,来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。
乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个乘员或者使用者之间的互动。例如,乘员接口子系统148可以包括标准视觉显示装置(例如,等离子显示器、液晶显示器(LCDs),触屏显示器、头戴显示器,或其它类似的显示器),扬声器或其它音频输出装置,麦克风或者其它音频输入装置,导航接口、以及控制车辆105的内部环境(例如温度、风扇,等等)的接口。
在一个实施例中,乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶员那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理,或者通过其它方式,来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动,垂直于触屏表面的手指运动,或者以上皆有,也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。
在其他一些例子中,乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者那里接收音频(例如,一个声音命令或者其它音频输入)。类似地,扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中,乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如,一个无线通信系统可以使用3G蜂窝通信,例如CDMA、EVDO、GSM/GPRS、或者4G蜂窝通信,例如WiMAX或LTE。可选地,无线通信系统可以与一个无线本地局域网(WLAN)进行通信,例如,使用在一些实施例中,无线通信系统146可以直接与一个设备进行通信,例如,使用红外线路,或者ZIGBEE。其它无线协议,例如各种车载通信系统,也在本申请公开的范围之内。例如,无线通信系统可以包括一个或多个专用短程通信(DSRC)装置,这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器),数据处理器171执行存储在非易失性计算机可读介质中存储的处理指令,例如数据存储装置172。计算系统170也可以是多个计算装置,这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中,数据存储装置172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如,程序逻辑),这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令,包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统140、车辆感应器子系统144、车辆控制子系统146和乘员接口子系统148的指令。
除存储处理指令之外,数据存储设备172可以存储多种信息,包括存储数据,例如图像处理参数、训练数据、道路地图、和路径信息。在车辆105以自动方式、半自动方式和/或手动模式运行的期间,这些信息可以被车辆105和计算系统170所使用。
车辆105可以包括一个用户界面,该用户界面用于为车辆105的使用者或乘员提供信息,或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层,该交互式图像可以显示在一个显示设备上。进一步地,用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备,例如显示设备、扬声器、麦克风、或者一个无线通信系统。
计算系统170可以根据从各种车辆子系统(例如,车辆驱动子系统142,车辆传感器子系统144,以及车辆控制子系统146)接收到的输入,或者从乘员接口子系统148接收到的输入,来控制车辆105的功能。例如,计算系统170可以使用来自车辆控制系统146的输入来控制转向单元,来避开由车辆传感器子系统144以及驾驶模式切换装置600检测到的障碍物。在一个实施例中,计算系统170可以用来控制车辆105及其子系统的多个方面。
虽然图6a中显示了集成到车辆105中的各种构件,例如车辆子系统140、计算系统170、数据存储设备172、控制系统150、以及驾驶模式切换装置600,这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105上。例如,数据存储装置172可以部分或者全部地独立于车辆105存在。从而,车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。在多个实施例中,进行数据通信的控制系统150和驾驶模式切换装置600可以被实施为一个集成的部件或者是分离的部件。在一个实施例中,通过与移动装置132进行数据通信和/或通过网络120连接到网络资源122进行数据通信,控制系统150和/或驾驶模式切换装置600的软件部件能得到动态的更新、修改和/或扩展。控制系统150能够周期性地询问一个移动设备132或者一个网络资源122以进行更新,或者该更新能够推送给控制系统150。
在上述实施例中,驾驶模式切换装置600可以包括一个与控制系统150进行通信的接口,如图6a所示,如本申请所述的驾驶模式切换装置600通过该接口可以发送和接收数据。此外,驾驶模式切换装置600可以包括一个与控制系统150和/或系统101的其它子系统进行通信的接口,通过该接口驾驶模式切换装置600可以从如上所述的各种数据源接收辅助数据。基于多个因素该辅助数据可以被用来扩展、修改或者训练驾驶模式切换装置600的操作,这多个因素包括使用者操作车辆的环境(例如,车辆的位置、具体目的地、行车方向、速度、时刻、车辆状态,等等),以及如本文所述的可以从本地和远程的多个资源获取到的其它多种数据。如上所述,驾驶模式切换装置600可以实施在系统和平台上,该系统和平台没有配置在车辆中、不是必须在车辆中使用的或者也不是必须与车辆一起使用的。
图6b中示出了本申请的多个实施例提供的驾驶模式切换装置600的结构框图,该装置包括:
获取单元601,用于获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
确定单元602,用于根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
切换单元603,用于根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。切换单元603用于:在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;
在一个实施例中,驾驶模式切换装置600还包括一个提示单元(图中未示出),用于提示所述驾驶员执行一个操作或者提供一个输入;则,获取单元601用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;确定单元602用于:确定所述反应数据对应的操作或者输入;判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;根据判断结果确定所述驾驶员的手动驾驶能力。
在该实施例中,确定单元602还用于:判断是否在预定时间段内获取到检测数据;在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。确定单元602根据判断结果确定所述驾驶员的手动驾驶能力,包括:在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
在一个实施例中,所述确定单元602根据所述检测数据确定驾驶员的手动驾驶能力,包括:根据所述检测数据确定所述驾驶员的驾驶行为;将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
在该实施例的一个实施方式中,获取单元601用于获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,确定单元602用于:分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
其中,确定单元602所述根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
在该实施例的另一个实施方式中,所述装置还包括提示单元(图中未示出),用于提示所述驾驶员执行一个操作或者提供一个输入;则,获取单元601用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;确定单元602用于:确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
其中,所述确定单元602根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
基于相同的发明构思,本申请的多个实施例还提供了一种自动驾驶车辆的驾驶模式切换装置。
如图7所示,本申请的多个实施例提供的自动驾驶车辆的驾驶模式切换装置包括:一个处理器701和至少一个存储器702,所述至少一个存储器701中存储有至少一条机器可执行指令,所述处理器701执行所述至少一条指令实现:获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。其中,在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
在一个实施例中,所述处理器701执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,所述处理器701执行所述至少一条指令实现获取检测数据,包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;所述处理器701执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:确定所述反应数据对应的操作或者输入;判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;根据判断结果确定所述驾驶员的手动驾驶能力。
在该实施例中,所述处理器701执行所述至少一条指令还实现:判断是否在预定时间段内获取到检测数据;在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
在该实施例中,所述处理器701执行所述至少一条指令实现根据判断结果确定所述驾驶员的手动驾驶能力,包括:在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
在一个实施例中,所述处理器701执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:根据所述检测数据确定所述驾驶员的驾驶行为;将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
在该实施例的一个实施方式中,所述处理器701执行所述至少一条指令实现获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,所述处理器执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
其中,处理器701执行所述至少一条指令实现根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
在该实施例的另一个实施方式中,所述处理器701执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,所述处理器701执行所述至少一条指令实现获取检测数据包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;所述处理器701执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
其中,所述处理器701执行所述至少一条指令实现根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
根据本申请实施例提供的方法和装置,自动驾驶车辆能够自动确定得到驾驶员的手动驾驶能力,根据驾驶员的手动驾驶能力来进行驾驶模式的切换,从而能够避免现有技术中将自动技术车辆的自动驾驶模式切换为手动驾驶模式后,驾驶员无法有效地控制车辆的问题。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (31)
1.一种自动驾驶车辆的驾驶模式切换方法,其特征在于,包括:
自动驾驶车辆的驾驶模式切换装置获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:提示所述驾驶员执行一个操作或者提供一个输入;则,
获取检测数据,包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
根据所述检测数据确定驾驶员的手动驾驶能力,包括:
确定所述反应数据对应的操作或者输入;
判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;
根据判断结果确定所述驾驶员的手动驾驶能力。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
判断是否在预定时间段内获取到检测数据;
在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;
未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
4.根据权2所述的方法,其特征在于,根据判断结果确定所述驾驶员的手动驾驶能力,包括:
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
5.根据权利要求1所述的方法,其特征在于,根据所述检测数据确定驾驶员的手动驾驶能力,包括:
根据所述检测数据确定所述驾驶员的驾驶行为;
将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
6.根据权利要求5所述的方法,其特征在于,获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,
根据所述检测数据确定所述驾驶员的驾驶行为,包括:
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
7.根据权利要求6所述的方法,其特征在于,所述根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:
根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;
根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
提示所述驾驶员执行一个操作或者提供一个输入;则,
获取检测数据包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;
根据所述检测数据确定所述驾驶员的驾驶行为,包括:
确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
9.根据权利要求8所述的方法,其特征在于,根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:
根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;
根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
10.根据权利要求1所述的方法,其特征在于,根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换,包括:
在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;
在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
11.根据权利要求1所述的方法,其特征在于,所述信息采集装置包括以下至少一种:传感器、音频采集装置、车辆电子装置。
12.一种自动驾驶车辆的驾驶模式切换装置,其特征在于,包括:
获取单元,用于获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
确定单元,用于根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
切换单元,用于根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
提示单元,用于提示所述驾驶员执行一个操作或者提供一个输入;则,
所述获取单元用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
所述确定单元用于:
确定所述反应数据对应的操作或者输入;
判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;
根据判断结果确定所述驾驶员的手动驾驶能力。
14.根据权利要求13所述的装置,其特征在于,所述确定单元还用于:
判断是否在预定时间段内获取到检测数据;
在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;
未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
15.根据权利要求13所述的装置,其特征在于,所述确定单元根据判断结果确定所述驾驶员的手动驾驶能力,包括:
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
16.根据权利要求12所述的装置,其特征在于,所述确定单元根据所述检测数据确定驾驶员的手动驾驶能力,包括:
根据所述检测数据确定所述驾驶员的驾驶行为;
将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
17.根据权利要求16所述的装置,其特征在于,所述获取单元用于获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,
所述确定单元用于:
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
18.根据权利要求17所述的装置,其特征在于,所述确定单元所述根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:
根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;
根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
19.根据权利要求16所述的装置,其特征在于,所述装置还包括提示单元,用于提示所述驾驶员执行一个操作或者提供一个输入;则,
所述获取单元用于:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;
所述确定单元用于:
确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
20.根据权利要求19所述的装置,其特征在于,所述确定单元根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:
根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;
根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
21.根据权利要求12所述的装置,其特征在于,所述切换单元用于:
在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;
在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
22.一种自动驾驶车辆的驾驶模式切换装置,其特征在于,包括:一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条指令实现:
获取来自自动驾驶车辆的信息采集装置和/或摄像头的检测数据;
根据所述检测数据,确定驾驶员驾驶所述自动驾驶车辆的手动驾驶能力;
根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换。
23.根据权利要求22所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,
所述处理器执行所述至少一条指令实现获取检测数据,包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;
所述处理器执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:
确定所述反应数据对应的操作或者输入;
判断所述反应数据对应的操作或者输入与所提示的操作或输入是否一致;
根据判断结果确定所述驾驶员的手动驾驶能力。
24.根据权利要求23所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:
判断是否在预定时间段内获取到检测数据;
在预定时间段内获取到检测数据的情况下,根据所述检测数据确定驾驶员的手动驾驶能力;
未在预定时间段内获取到检测数据的情况下,确定所述驾驶员不具有手动驾驶能力。
25.根据权利要求23所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据判断结果确定所述驾驶员的手动驾驶能力,包括:
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入一致的情况下,确定所述驾驶员具有手动驾驶能力;
在判断结果为所述反应数据对应的操作或者输入与所提示的操作或输入不一致的情况下,确定所述驾驶员不具有手动驾驶能力。
26.根据权利要求22所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据所述检测数据确定驾驶员的手动驾驶能力,包括:
根据所述检测数据确定所述驾驶员的驾驶行为;
将所确定的所述驾驶员的驾驶行为划分到预定的行为类别中;
根据预定的行为类别与驾驶能力的对应关系,确定所述驾驶员的手动驾驶能力。
27.根据权利要求26所述的装置,其特征在于,所述处理器执行所述至少一条指令实现获取检测数据,包括:获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据以及计时数据;则,
所述处理器执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
28.根据权利要求27所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,包括以下至少之一:
根据所述驾驶员眼睛动作的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是睡眠状态的驾驶行为或清醒状态的驾驶行为;
根据所述驾驶员手持移动通信装置的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是使用移动装置进行通话的驾驶行为或未通话的驾驶行为。
29.根据权利要求26所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:提示所述驾驶员执行一个操作或者提供一个输入;则,
所述处理器执行所述至少一条指令实现获取检测数据包括:获取来自所述信息采集装置的反应数据,所述反应数据是与所述驾驶员针对所述提示而提供的操作或者输入相对应的数据;获取来自所述摄像头的摄像头数据,所述摄像头数据包括图像数据和计时数据;
所述处理器执行所述至少一条指令实现根据所述检测数据确定所述驾驶员的驾驶行为,包括:
确定所述反应数据对应的所述驾驶员根据所述提示执行的操作或者提供的输入;
分析所述图像数据得到驾驶员的头部特征数据,所述头部特征数据至少包括以下之一:头部动作特征数据、面部表情特征数据、面部动作特征数据;
根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为。
30.根据权利要求29所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据所确定的所述驾驶员执行的操作或提供的输入、所述驾驶员的头部特征数据和所述计时数据,确定所述驾驶员在预定时间长度内的驾驶行为,具体包括以下至少之一:
根据所述驾驶员做出的驾驶操作、所述驾驶员的眼睛的特征数据、以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是注意力集中的驾驶行为或者注意力不集中的驾驶行为;
根据所述驾驶员提供的声音输入、所述驾驶员的眼睛的特征数据,以及所述计时数据,确定在所述预定时间长度内所述驾驶员的驾驶行为是处于疲劳状态的驾驶行为、处于睡觉状态的驾驶行为、处于清醒状态的驾驶行为、或者驾驶员受伤不具有驾驶行为。
31.根据权利要求22所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据所述驾驶员的手动驾驶能力,在所述自动驾驶车辆中的自动驾驶模式和手动驾驶模式之间进行切换,包括:
在确定驾驶员具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为手动驾驶模式;
在确定驾驶员不具有手动驾驶能力的情况下,将所述自动驾驶车辆的驾驶模式切换为自动驾驶模式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/482,624 US10471963B2 (en) | 2017-04-07 | 2017-04-07 | System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle |
USUS15/482,624 | 2017-04-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107776574A true CN107776574A (zh) | 2018-03-09 |
CN107776574B CN107776574B (zh) | 2021-04-16 |
Family
ID=61434708
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710953562.1A Active CN107776574B (zh) | 2017-04-07 | 2017-10-13 | 一种自动驾驶车辆的驾驶模式切换方法和装置 |
CN202311226879.7A Pending CN117022329A (zh) | 2017-04-07 | 2018-04-04 | 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的系统和方法 |
CN201880037702.3A Active CN110944894B (zh) | 2017-04-07 | 2018-04-04 | 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的系统和方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311226879.7A Pending CN117022329A (zh) | 2017-04-07 | 2018-04-04 | 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的系统和方法 |
CN201880037702.3A Active CN110944894B (zh) | 2017-04-07 | 2018-04-04 | 基于驾驶员控制车辆能力在自主驾驶模式和手动驾驶模式之间转换的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10471963B2 (zh) |
EP (1) | EP3606796A4 (zh) |
CN (3) | CN107776574B (zh) |
AU (2) | AU2018250213B2 (zh) |
WO (1) | WO2018187502A1 (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776472A (zh) * | 2018-05-17 | 2018-11-09 | 驭势(上海)汽车科技有限公司 | 智能驾驶控制方法及系统、车载控制设备和智能驾驶车辆 |
CN109334673A (zh) * | 2018-10-30 | 2019-02-15 | 奇瑞汽车股份有限公司 | 智能汽车的接管提醒方法、装置及存储介质 |
CN109552332A (zh) * | 2018-12-06 | 2019-04-02 | 电子科技大学 | 一种基于驾驶员状态监测的自动驾驶模式智能切换系统 |
CN109597412A (zh) * | 2018-12-06 | 2019-04-09 | 江苏萝卜交通科技有限公司 | 一种无人驾驶系统及其控制方法 |
CN109591787A (zh) * | 2018-10-31 | 2019-04-09 | 清华大学苏州汽车研究院(相城) | 智能驾驶行车安全保护装置、保护方法及智能驾驶车辆 |
CN109693674A (zh) * | 2018-12-17 | 2019-04-30 | 安徽酷哇机器人有限公司 | 基于驾驶人员状态识别的自动驾驶切换方法 |
CN109747657A (zh) * | 2018-12-17 | 2019-05-14 | 北京百度网讯科技有限公司 | 自动驾驶汽车远程控制方法和装置 |
CN109808615A (zh) * | 2019-03-22 | 2019-05-28 | 北京经纬恒润科技有限公司 | 一种自动驾驶方法及装置 |
CN110027562A (zh) * | 2019-04-29 | 2019-07-19 | 重庆工商大学 | 一种汽车的控制方法、装置及系统 |
CN110104051A (zh) * | 2019-05-30 | 2019-08-09 | 爱驰汽车有限公司 | 基于方向盘的自动驾驶切换方法、系统、设备及存储介质 |
CN110634296A (zh) * | 2019-09-30 | 2019-12-31 | 重庆元韩汽车技术设计研究院有限公司 | 用于智能驾驶的紧急事项处理系统及方法 |
CN110745137A (zh) * | 2019-09-30 | 2020-02-04 | 广州大道信息科技有限公司 | 一种基于驾驶员健康信息自动导引系统及方法 |
CN111361566A (zh) * | 2018-12-06 | 2020-07-03 | 驭势(上海)汽车科技有限公司 | 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质 |
CN111497863A (zh) * | 2019-01-30 | 2020-08-07 | 斯特拉德视觉公司 | 基于轨迹的行动分析判断车辆模式是否变更的方法和装置 |
CN111547062A (zh) * | 2020-04-28 | 2020-08-18 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置和车辆 |
CN111652065A (zh) * | 2020-04-30 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于车辆感知和智能穿戴的多模态安全驾驶方法、设备及系统 |
CN111775953A (zh) * | 2019-12-16 | 2020-10-16 | 王忠亮 | 驾驶状态即时修正系统及方法 |
CN112068538A (zh) * | 2019-05-22 | 2020-12-11 | 北京百度网讯科技有限公司 | 路线切换方法及装置、电子设备、计算机可读介质 |
CN112109708A (zh) * | 2020-10-26 | 2020-12-22 | 吉林大学 | 一种考虑驾驶行为的自适应巡航控制系统及其控制方法 |
CN112154088A (zh) * | 2018-04-05 | 2020-12-29 | 图森有限公司 | 用于自主车辆的自动车道变更控制的系统和方法 |
CN112356852A (zh) * | 2020-11-12 | 2021-02-12 | 北京石油化工学院 | 一种驾驶员和智能车辆单元协同驾驶控制权切换方法 |
CN112462636A (zh) * | 2019-09-06 | 2021-03-09 | 中车株洲电力机车研究所有限公司 | 一种电车的安全控制系统及其控制方法 |
CN112693469A (zh) * | 2021-01-05 | 2021-04-23 | 中国汽车技术研究中心有限公司 | 驾驶员接管车辆的测试方法、装置、电子设备及介质 |
CN113119991A (zh) * | 2021-04-15 | 2021-07-16 | 前海七剑科技(深圳)有限公司 | 驾驶模式切换方法、装置、设备及存储介质 |
CN113607430A (zh) * | 2021-08-13 | 2021-11-05 | 云南师范大学 | 一种司机控制器机械可靠性的自动检测分析系统 |
CN113895458A (zh) * | 2021-10-26 | 2022-01-07 | 集度汽车有限公司 | 车辆驾驶行为的管理方法、装置、车辆及存储介质 |
CN113903102A (zh) * | 2021-10-29 | 2022-01-07 | 广汽埃安新能源汽车有限公司 | 调整信息获取方法、调整方法、装置、电子设备及介质 |
CN115140063A (zh) * | 2021-03-31 | 2022-10-04 | 比亚迪股份有限公司 | 一种疲劳驾驶的应对方法、终端及汽车 |
CN115257913A (zh) * | 2022-06-16 | 2022-11-01 | 中车唐山机车车辆有限公司 | 一种无轨电车迫导向系统及无轨电车 |
CN116674578A (zh) * | 2023-08-03 | 2023-09-01 | 南京德沃克自动化有限公司 | 基于车辆显控系统的控制方法及系统 |
WO2024140326A1 (zh) * | 2022-12-28 | 2024-07-04 | 华为技术有限公司 | 监控方法、装置以及运载工具 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6778872B2 (ja) * | 2016-06-28 | 2020-11-04 | パナソニックIpマネジメント株式会社 | 運転支援装置及び運転支援方法 |
US10830605B1 (en) | 2016-10-18 | 2020-11-10 | Allstate Insurance Company | Personalized driving risk modeling and estimation system and methods |
JP6920112B2 (ja) * | 2017-06-15 | 2021-08-18 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
US11106917B2 (en) * | 2017-07-04 | 2021-08-31 | Turing Video | Surveillance system with human-machine interface |
JP6808595B2 (ja) * | 2017-09-01 | 2021-01-06 | クラリオン株式会社 | 車載装置、インシデント監視方法 |
US10611384B1 (en) * | 2018-07-27 | 2020-04-07 | Uatc, Llc | Systems and methods for autonomous vehicle operator vigilance management |
WO2020257406A1 (en) * | 2019-06-18 | 2020-12-24 | Veoneer Us, Inc. | System and method for determinig driver readiness for takeover vehicle control |
US20210107498A1 (en) * | 2019-10-09 | 2021-04-15 | Baidu Usa Llc | Safe transition from autonomous-to-manual driving mode with assistance of autonomous driving system |
US11738804B2 (en) * | 2020-02-07 | 2023-08-29 | Micron Technology, Inc. | Training a vehicle to accommodate a driver |
US11039771B1 (en) | 2020-03-03 | 2021-06-22 | At&T Intellectual Property I, L.P. | Apparatuses and methods for managing tasks in accordance with alertness levels and thresholds |
JP7400672B2 (ja) * | 2020-09-14 | 2023-12-19 | トヨタ自動車株式会社 | 車両制御装置 |
US11932285B2 (en) | 2020-11-09 | 2024-03-19 | International Business Machines Corporation | Communication prioritization in vehicles with automated driver assistance |
US11887486B2 (en) | 2021-06-04 | 2024-01-30 | Rockwell Collins, Inc. | Context driven alerting |
CN114291108B (zh) * | 2021-11-19 | 2024-05-17 | 仓擎智能科技(上海)有限公司 | 航空器引导过程中无人引导车的安全控制方法和装置 |
US20230195135A1 (en) * | 2021-12-16 | 2023-06-22 | Gm Cruise Holdings Llc | Engagement and disengagement of unsupervised autonomous driving mode |
KR20230111408A (ko) * | 2022-01-18 | 2023-07-25 | 현대자동차주식회사 | 차량의 주행 모드 설정방법 및 장치 |
GB2616893B (en) * | 2022-03-24 | 2024-07-10 | Jaguar Land Rover Ltd | Control system and method for interfacing with an automatable function of a vehicle |
US20240198904A1 (en) * | 2022-12-20 | 2024-06-20 | Juntao Ye | Systems and methods for automated driver assistance |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104837705A (zh) * | 2012-11-30 | 2015-08-12 | 谷歌公司 | 启用和停用自动驾驶 |
CN104871224A (zh) * | 2012-10-25 | 2015-08-26 | 罗伯特·博世有限公司 | 用于驾驶员状态识别的方法和装置 |
WO2016092796A1 (en) * | 2014-12-12 | 2016-06-16 | Sony Corporation | Automatic driving control device and automatic driving control method, and program |
US20160209840A1 (en) * | 2015-01-20 | 2016-07-21 | Lg Electronics Inc. | Apparatus for switching driving mode of vehicle and method thereof |
CN106133806A (zh) * | 2014-03-26 | 2016-11-16 | 日产自动车株式会社 | 信息提示装置及信息提示方法 |
JP2016215793A (ja) * | 2015-05-19 | 2016-12-22 | トヨタ自動車株式会社 | 自動運転制御装置 |
Family Cites Families (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US7103460B1 (en) | 1994-05-09 | 2006-09-05 | Automotive Technologies International, Inc. | System and method for vehicle diagnostics |
US7783403B2 (en) | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
US6777904B1 (en) | 2003-02-25 | 2004-08-17 | Ford Global Technologies, Llc | Method and system for controlling a motor |
US20070230792A1 (en) | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
WO2005098751A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Crowd detection |
EP1741079B1 (en) | 2004-04-08 | 2008-05-21 | Mobileye Technologies Limited | Collision warning system |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
JP4564320B2 (ja) * | 2004-09-29 | 2010-10-20 | アイシン精機株式会社 | ドライバモニタシステム |
US8553088B2 (en) | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
US7689559B2 (en) | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
EP2383679A1 (en) | 2006-12-06 | 2011-11-02 | Mobileye Technologies Limited | Detecting and recognizing traffic signs |
US20080249667A1 (en) | 2007-04-09 | 2008-10-09 | Microsoft Corporation | Learning and reasoning to enhance energy efficiency in transportation systems |
US7839292B2 (en) | 2007-04-11 | 2010-11-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
US8041111B1 (en) | 2007-10-15 | 2011-10-18 | Adobe Systems Incorporated | Subjective and locatable color theme extraction for images |
US9176006B2 (en) | 2008-01-15 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Detection and classification of light sources using a diffraction grating |
US9117133B2 (en) | 2008-06-18 | 2015-08-25 | Spectral Image, Inc. | Systems and methods for hyperspectral imaging |
US20100049397A1 (en) | 2008-08-22 | 2010-02-25 | Garmin Ltd. | Fuel efficient routing |
US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US9459515B2 (en) | 2008-12-05 | 2016-10-04 | Mobileye Vision Technologies Ltd. | Adjustable camera mount for a vehicle windshield |
US8175376B2 (en) | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
JP2012521708A (ja) | 2009-03-26 | 2012-09-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置 |
US8271871B2 (en) | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
US8645480B1 (en) | 2009-07-19 | 2014-02-04 | Aaron T. Emigh | Trust representation by similarity |
JP2011176748A (ja) | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
EP2448251B1 (en) | 2010-10-31 | 2019-09-25 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter |
US9355635B2 (en) | 2010-11-15 | 2016-05-31 | Futurewei Technologies, Inc. | Method and system for video summarization |
US9251708B2 (en) | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
US8401292B2 (en) | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
KR101777875B1 (ko) | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
US9183447B1 (en) | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
WO2013015416A1 (ja) | 2011-07-28 | 2013-01-31 | 本田技研工業株式会社 | ワイヤレス送電方法 |
DE102011083749B4 (de) | 2011-09-29 | 2015-06-11 | Aktiebolaget Skf | Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
FR2984254B1 (fr) | 2011-12-16 | 2016-07-01 | Renault Sa | Controle de vehicules autonomes |
US9317776B1 (en) | 2013-03-13 | 2016-04-19 | Hrl Laboratories, Llc | Robust static and moving object detection system via attentional mechanisms |
JP5605381B2 (ja) | 2012-02-13 | 2014-10-15 | 株式会社デンソー | クルーズ制御装置 |
US9042648B2 (en) | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
US9476970B1 (en) | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
DE102012206725A1 (de) * | 2012-04-24 | 2013-10-24 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zum Versetzen eines autonom fahrenden Kraftfahrzeugs in einen sicheren Zustand |
IN2015KN00076A (zh) | 2012-07-10 | 2015-07-31 | Thetis Pharmaceuticals Llc | |
DE102012213965A1 (de) | 2012-08-07 | 2014-02-13 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren |
US9134402B2 (en) | 2012-08-13 | 2015-09-15 | Digital Signal Corporation | System and method for calibrating video and lidar subsystems |
US9025880B2 (en) | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US9120485B1 (en) | 2012-09-14 | 2015-09-01 | Google Inc. | Methods and systems for smooth trajectory generation for a self-driving vehicle |
US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
US9092430B2 (en) | 2013-01-02 | 2015-07-28 | International Business Machines Corporation | Assigning shared catalogs to cache structures in a cluster computing system |
US8788134B1 (en) | 2013-01-04 | 2014-07-22 | GM Global Technology Operations LLC | Autonomous driving merge management system |
CN104969238B (zh) | 2013-01-15 | 2019-06-18 | 移动眼视力科技有限公司 | 车辆和用于车辆的成像系统 |
US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
US9147255B1 (en) | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
US10451428B2 (en) * | 2013-03-15 | 2019-10-22 | Volkswagen Aktiengesellschaft | Automatic driving route planning application |
US9342074B2 (en) | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
WO2014201324A1 (en) | 2013-06-13 | 2014-12-18 | Gideon Stein | Vision augmented navigation |
EP2848488B2 (en) * | 2013-09-12 | 2022-04-13 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
US9122954B2 (en) | 2013-10-01 | 2015-09-01 | Mobileye Vision Technologies Ltd. | Performing a histogram using an array of addressable registers |
US9738280B2 (en) | 2013-10-03 | 2017-08-22 | Robert Bosch Gmbh | Adaptive cruise control with on-ramp detection |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
US9090260B2 (en) | 2013-12-04 | 2015-07-28 | Mobileye Vision Technologies Ltd. | Image-based velocity control for a turning vehicle |
WO2015103159A1 (en) | 2013-12-30 | 2015-07-09 | Tieman Craig Arnold | Connected vehicle system with infotainment interface for mobile devices |
US9365214B2 (en) | 2014-01-30 | 2016-06-14 | Mobileye Vision Technologies Ltd. | Systems and methods for determining the status of a turn lane traffic light |
US9664789B2 (en) | 2014-02-20 | 2017-05-30 | Mobileye Vision Technologies Ltd. | Navigation based on radar-cued visual imaging |
CN103793925B (zh) | 2014-02-24 | 2016-05-18 | 北京工业大学 | 融合时空特征的视频图像视觉显著程度检测方法 |
DE102014205170A1 (de) | 2014-03-20 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug |
EP2930081B1 (en) * | 2014-04-08 | 2019-03-27 | Volvo Car Corporation | Method for transition between driving modes |
CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
US9365213B2 (en) * | 2014-04-30 | 2016-06-14 | Here Global B.V. | Mode transition for an autonomous vehicle |
EP4187523A1 (en) | 2014-05-14 | 2023-05-31 | Mobileye Vision Technologies Ltd. | Systems and methods for curb detection and pedestrian hazard assessment |
US9720418B2 (en) | 2014-05-27 | 2017-08-01 | Here Global B.V. | Autonomous vehicle monitoring and control |
CN106796648B (zh) | 2014-06-03 | 2020-11-24 | 御眼视觉技术有限公司 | 用于检测对象的系统和方法 |
US9457807B2 (en) | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
JP6591737B2 (ja) * | 2014-08-25 | 2019-10-16 | クラリオン株式会社 | 自動運転制御装置 |
US9554030B2 (en) | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
US9746550B2 (en) | 2014-10-08 | 2017-08-29 | Ford Global Technologies, Llc | Detecting low-speed close-range vehicle cut-in |
KR101664582B1 (ko) | 2014-11-12 | 2016-10-10 | 현대자동차주식회사 | 자율주행차량의 주행경로 생성장치 및 방법 |
US10115024B2 (en) | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
JP6421684B2 (ja) | 2015-04-17 | 2018-11-14 | 井関農機株式会社 | 乗用草刈機 |
US10635761B2 (en) | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
US9841762B2 (en) * | 2015-05-27 | 2017-12-12 | Comigo Ltd. | Alerting predicted accidents between driverless cars |
DE102015211926A1 (de) | 2015-06-26 | 2016-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs |
EP3327955B1 (en) | 2015-07-23 | 2021-11-10 | Nec Corporation | Route switching device, route switching system, and route switching method |
US9718471B2 (en) * | 2015-08-18 | 2017-08-01 | International Business Machines Corporation | Automated spatial separation of self-driving vehicles from manually operated vehicles |
US10872354B2 (en) * | 2015-09-04 | 2020-12-22 | Robin S Slomkowski | System and method for personalized preference optimization |
US9587952B1 (en) | 2015-09-09 | 2017-03-07 | Allstate Insurance Company | Altering autonomous or semi-autonomous vehicle operation based on route traversal values |
US9568915B1 (en) | 2016-02-11 | 2017-02-14 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling autonomous or semi-autonomous vehicle |
JP6583061B2 (ja) * | 2016-03-08 | 2019-10-02 | トヨタ自動車株式会社 | 自動運転制御装置 |
US9535423B1 (en) | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
-
2017
- 2017-04-07 US US15/482,624 patent/US10471963B2/en active Active
- 2017-10-13 CN CN201710953562.1A patent/CN107776574B/zh active Active
-
2018
- 2018-04-04 CN CN202311226879.7A patent/CN117022329A/zh active Pending
- 2018-04-04 EP EP18781794.5A patent/EP3606796A4/en active Pending
- 2018-04-04 AU AU2018250213A patent/AU2018250213B2/en active Active
- 2018-04-04 CN CN201880037702.3A patent/CN110944894B/zh active Active
- 2018-04-04 WO PCT/US2018/026130 patent/WO2018187502A1/en active Application Filing
-
2024
- 2024-04-17 AU AU2024202532A patent/AU2024202532A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104871224A (zh) * | 2012-10-25 | 2015-08-26 | 罗伯特·博世有限公司 | 用于驾驶员状态识别的方法和装置 |
CN104837705A (zh) * | 2012-11-30 | 2015-08-12 | 谷歌公司 | 启用和停用自动驾驶 |
CN106133806A (zh) * | 2014-03-26 | 2016-11-16 | 日产自动车株式会社 | 信息提示装置及信息提示方法 |
WO2016092796A1 (en) * | 2014-12-12 | 2016-06-16 | Sony Corporation | Automatic driving control device and automatic driving control method, and program |
US20160209840A1 (en) * | 2015-01-20 | 2016-07-21 | Lg Electronics Inc. | Apparatus for switching driving mode of vehicle and method thereof |
JP2016215793A (ja) * | 2015-05-19 | 2016-12-22 | トヨタ自動車株式会社 | 自動運転制御装置 |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112154088B (zh) * | 2018-04-05 | 2024-05-24 | 图森有限公司 | 用于自主车辆的自动车道变更控制的系统和方法 |
CN112154088A (zh) * | 2018-04-05 | 2020-12-29 | 图森有限公司 | 用于自主车辆的自动车道变更控制的系统和方法 |
CN108776472A (zh) * | 2018-05-17 | 2018-11-09 | 驭势(上海)汽车科技有限公司 | 智能驾驶控制方法及系统、车载控制设备和智能驾驶车辆 |
CN109334673A (zh) * | 2018-10-30 | 2019-02-15 | 奇瑞汽车股份有限公司 | 智能汽车的接管提醒方法、装置及存储介质 |
CN109591787A (zh) * | 2018-10-31 | 2019-04-09 | 清华大学苏州汽车研究院(相城) | 智能驾驶行车安全保护装置、保护方法及智能驾驶车辆 |
CN111361566A (zh) * | 2018-12-06 | 2020-07-03 | 驭势(上海)汽车科技有限公司 | 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质 |
CN109552332A (zh) * | 2018-12-06 | 2019-04-02 | 电子科技大学 | 一种基于驾驶员状态监测的自动驾驶模式智能切换系统 |
CN109597412A (zh) * | 2018-12-06 | 2019-04-09 | 江苏萝卜交通科技有限公司 | 一种无人驾驶系统及其控制方法 |
CN109693674A (zh) * | 2018-12-17 | 2019-04-30 | 安徽酷哇机器人有限公司 | 基于驾驶人员状态识别的自动驾驶切换方法 |
CN109747657A (zh) * | 2018-12-17 | 2019-05-14 | 北京百度网讯科技有限公司 | 自动驾驶汽车远程控制方法和装置 |
US11619936B2 (en) | 2018-12-17 | 2023-04-04 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for remotely controlling self-driving vehicle |
CN111497863A (zh) * | 2019-01-30 | 2020-08-07 | 斯特拉德视觉公司 | 基于轨迹的行动分析判断车辆模式是否变更的方法和装置 |
CN109808615A (zh) * | 2019-03-22 | 2019-05-28 | 北京经纬恒润科技有限公司 | 一种自动驾驶方法及装置 |
CN110027562A (zh) * | 2019-04-29 | 2019-07-19 | 重庆工商大学 | 一种汽车的控制方法、装置及系统 |
CN112068538A (zh) * | 2019-05-22 | 2020-12-11 | 北京百度网讯科技有限公司 | 路线切换方法及装置、电子设备、计算机可读介质 |
CN110104051A (zh) * | 2019-05-30 | 2019-08-09 | 爱驰汽车有限公司 | 基于方向盘的自动驾驶切换方法、系统、设备及存储介质 |
CN112462636B (zh) * | 2019-09-06 | 2022-03-08 | 中车株洲电力机车研究所有限公司 | 一种电车的安全控制系统及其控制方法 |
CN112462636A (zh) * | 2019-09-06 | 2021-03-09 | 中车株洲电力机车研究所有限公司 | 一种电车的安全控制系统及其控制方法 |
CN110634296A (zh) * | 2019-09-30 | 2019-12-31 | 重庆元韩汽车技术设计研究院有限公司 | 用于智能驾驶的紧急事项处理系统及方法 |
CN110745137A (zh) * | 2019-09-30 | 2020-02-04 | 广州大道信息科技有限公司 | 一种基于驾驶员健康信息自动导引系统及方法 |
CN111775953A (zh) * | 2019-12-16 | 2020-10-16 | 王忠亮 | 驾驶状态即时修正系统及方法 |
CN111547062A (zh) * | 2020-04-28 | 2020-08-18 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置和车辆 |
CN111547062B (zh) * | 2020-04-28 | 2021-12-07 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置和车辆 |
CN111652065A (zh) * | 2020-04-30 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于车辆感知和智能穿戴的多模态安全驾驶方法、设备及系统 |
CN112109708A (zh) * | 2020-10-26 | 2020-12-22 | 吉林大学 | 一种考虑驾驶行为的自适应巡航控制系统及其控制方法 |
CN112109708B (zh) * | 2020-10-26 | 2023-07-14 | 吉林大学 | 一种考虑驾驶行为的自适应巡航控制系统及其控制方法 |
CN112356852A (zh) * | 2020-11-12 | 2021-02-12 | 北京石油化工学院 | 一种驾驶员和智能车辆单元协同驾驶控制权切换方法 |
CN112693469A (zh) * | 2021-01-05 | 2021-04-23 | 中国汽车技术研究中心有限公司 | 驾驶员接管车辆的测试方法、装置、电子设备及介质 |
CN115140063A (zh) * | 2021-03-31 | 2022-10-04 | 比亚迪股份有限公司 | 一种疲劳驾驶的应对方法、终端及汽车 |
CN113119991A (zh) * | 2021-04-15 | 2021-07-16 | 前海七剑科技(深圳)有限公司 | 驾驶模式切换方法、装置、设备及存储介质 |
CN113607430A (zh) * | 2021-08-13 | 2021-11-05 | 云南师范大学 | 一种司机控制器机械可靠性的自动检测分析系统 |
CN113895458A (zh) * | 2021-10-26 | 2022-01-07 | 集度汽车有限公司 | 车辆驾驶行为的管理方法、装置、车辆及存储介质 |
CN113903102A (zh) * | 2021-10-29 | 2022-01-07 | 广汽埃安新能源汽车有限公司 | 调整信息获取方法、调整方法、装置、电子设备及介质 |
CN113903102B (zh) * | 2021-10-29 | 2023-11-17 | 广汽埃安新能源汽车有限公司 | 调整信息获取方法、调整方法、装置、电子设备及介质 |
CN115257913A (zh) * | 2022-06-16 | 2022-11-01 | 中车唐山机车车辆有限公司 | 一种无轨电车迫导向系统及无轨电车 |
CN115257913B (zh) * | 2022-06-16 | 2023-06-23 | 中车唐山机车车辆有限公司 | 一种无轨电车迫导向系统及无轨电车 |
WO2024140326A1 (zh) * | 2022-12-28 | 2024-07-04 | 华为技术有限公司 | 监控方法、装置以及运载工具 |
CN116674578A (zh) * | 2023-08-03 | 2023-09-01 | 南京德沃克自动化有限公司 | 基于车辆显控系统的控制方法及系统 |
CN116674578B (zh) * | 2023-08-03 | 2023-10-20 | 南京德沃克自动化有限公司 | 基于车辆显控系统的控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2018187502A1 (en) | 2018-10-11 |
EP3606796A1 (en) | 2020-02-12 |
AU2018250213A1 (en) | 2019-10-31 |
CN117022329A (zh) | 2023-11-10 |
CN107776574B (zh) | 2021-04-16 |
AU2024202532A1 (en) | 2024-05-09 |
US10471963B2 (en) | 2019-11-12 |
CN110944894A (zh) | 2020-03-31 |
EP3606796A4 (en) | 2021-01-20 |
AU2018250213B2 (en) | 2024-01-18 |
CN110944894B (zh) | 2023-09-19 |
US20180290660A1 (en) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107776574A (zh) | 一种自动驾驶车辆的驾驶模式切换方法和装置 | |
CN107816976A (zh) | 一种接近物体的位置确定方法和装置 | |
US10387736B2 (en) | System and method for detecting taillight signals of a vehicle | |
US20230406297A1 (en) | System and method for vehicle occlusion detection | |
CN107796374B (zh) | 一种图像定位方法、系统和装置 | |
US10311312B2 (en) | System and method for vehicle occlusion detection | |
CN109496188B (zh) | 用于切换车辆驾驶模式的系统和方法 | |
US11610406B2 (en) | System and method for lateral vehicle detection | |
CN111356620B (zh) | 用于自主车辆控制以最小化能量成本的系统和方法 | |
CN109421630A (zh) | 用于监测自主车辆的健康的控制器架构 | |
CN110356401A (zh) | 一种自动驾驶车辆及其变道控制方法和系统 | |
CN106157614A (zh) | 汽车事故责任确定方法及系统 | |
US11285974B2 (en) | Vehicle control system and vehicle | |
US20230153942A1 (en) | Image Display Method, Intelligent Vehicle, Storage Medium, and Apparatus | |
CN110793537A (zh) | 一种导航路径推荐方法、车机及车辆 | |
CN110871810A (zh) | 车辆、车机设备及其基于驾驶模式的行车信息提示方法 | |
CN112527002B (zh) | 监控装置和监控方法 | |
CN117194741A (zh) | 数据采集方法、装置、控制器、车辆、存储介质与芯片 | |
CN118314538A (zh) | 一种图像处理方法、智能设备及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee after: Tucson Ltd. Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee before: TUSIMPLE |