CN118254822A - 监控方法、装置以及运载工具 - Google Patents
监控方法、装置以及运载工具 Download PDFInfo
- Publication number
- CN118254822A CN118254822A CN202211693257.0A CN202211693257A CN118254822A CN 118254822 A CN118254822 A CN 118254822A CN 202211693257 A CN202211693257 A CN 202211693257A CN 118254822 A CN118254822 A CN 118254822A
- Authority
- CN
- China
- Prior art keywords
- driver
- information
- vehicle
- driving
- capability level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000012544 monitoring process Methods 0.000 title claims abstract description 47
- 230000003993 interaction Effects 0.000 claims abstract description 135
- 230000007613 environmental effect Effects 0.000 claims abstract description 31
- 230000006399 behavior Effects 0.000 claims description 145
- 238000012545 processing Methods 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 30
- 230000008921 facial expression Effects 0.000 claims description 21
- 238000012806 monitoring device Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004904 shortening Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 239000004568 cement Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0854—Inactivity or incapacity of driver due to driver cheating, e.g. to circumvent driver tests
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
一种监控方法、装置以及运载工具,该方法包括:检测到运载工具开启第一辅助驾驶等级;获取所述运载工具周围的环境信息;根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,所述第一接管能力等级用于驾驶员的接管能力预警;根据所述第一接管能力等级与所述驾驶员进行交互,得到第一交互结果;根据所述第一交互结果,确定是否调整所述第一接管能力等级。上述方法能够在复杂多变的驾驶场景下对驾驶员进行监控,从而有效预防辅助驾驶模式下的安全事故。
Description
技术领域
本申请实施例涉及智能车领域,并且更具体地,涉及一种监控方法、装置以及运载工具。
背景技术
目前,自动驾驶技术已经成为未来车辆的一个全新的发展方向,越来越得到人们的青睐。按照当前自动驾驶技术的分级标准,可以将自动驾驶技术分为L0至L5六个等级。其中,可以将L2至L3等级之间已经落地的技术称为辅助驾驶技术。
然而,当前车辆在辅助驾驶模式下还没有较为完善的监管系统,车辆仅仅在某些特殊场景下才能够采取监管措施,例如,闭眼检测,脱手检测等等。这种监管模式并不能应对辅助驾驶模式下复杂多变的驾驶场景,致使驾驶员在辅助驾驶模式下的行车安全得不到保障。
发明内容
本申请实施例提供一种监控方法、装置以及运载工具,能够在复杂多变的驾驶场景下对驾驶员进行监控,从而有效预防辅助驾驶模式下的安全事故。
第一方面,提供了一种监控方法,该方法包括:检测到运载工具开启第一辅助驾驶等级;获取所述运载工具周围的环境信息;根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,所述第一接管能力等级用于驾驶员的接管能力预警;根据所述第一接管能力等级与所述驾驶员进行交互,得到第一交互结果;根据所述第一交互结果,确定是否调整所述第一接管能力等级。
可选地,运载工具周围的环境信息可以包括:运载工具行驶的路况信息,该路况信息可以用于指示运载工具当前行驶的道路类型,例如,道路类型可以包括板油路、水泥路、石子路等。该运载工具周围的环境信息可以通过部署在运载工具上的传感器获取,该传感器可以包括:行车记录仪(digital video recorder,DVR)、重力传感器、车外摄像头(例如,环视摄像头)等传感器中的一种或多种。
可选地,运载工具可以在特定的驾驶场景下(例如,石子路、具有凹陷的水泥路,板油路)自动获取运载工具周围的环境信息。或者,运载工具可以在检测到开启第一辅助驾驶等级后,可以周期性地获取运载工具周围的环境信息。
可选地,与驾驶员进行交互可以采用以下方式中的一种或多种:语音、语音助手、运载工具的显示屏、提示音和震动铃声。
应理解,在本申请中,辅助驾驶等级或辅助驾驶模式不仅仅局限于自动驾驶技术L2至L3等级之间已经落地的技术,任何运载工具能够提供的辅助驾驶员驾驶的技术均可以认为是本申请中的“开启辅助驾驶等级或辅助驾驶模式”。
还应理解,本申请提供的监控方法的执行主体可以是运载工具,还可以是服务器。
本申请实施例中,在确定第一接管能力等级后,运载工具或服务器能够根据与驾驶员的交互结果,确定是否调整第一接管能力等级,从而按照相应的接管能力等级采取相应的监管措施,进而有效预防辅助驾驶模式下的安全事故。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:获取第一驾驶行为信息和所述驾驶员的面部表情信息,所述第一驾驶行为信息用于指示所述驾驶员的驾驶状态和/或所述运载工具的行驶状态;所述根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,包括:根据所述第一驾驶行为信息、所述面部表情信息、所述环境信息和所述第一辅助驾驶等级,确定所述第一接管能力等级。
可选地,第一驾驶行为信息和驾驶员的面部表情信息可以通过部署在运载工具上的传感器进行获取。例如,可以通过部署在运载工具座舱内的摄像头获取第一驾驶行为信息和/或获取驾驶员的面部表情信息。再例如,可以通过惯性传感器获取第一驾驶行为信息。
可选地,可以将第一驾驶行为信息、面部表情信息、环境信息和第一辅助驾驶等级输入到神经网络模型中,输出第一接管能力等级。此外,还可以对上述输入到神经网络模型中的信息进行权重调整,从而使得确定的第一接管能力等级更加适应当前运载工具的行驶情况。
本申请实施例中,在确定第一接管能力能级时,除了考虑了运载工具周围的环境信息和第一辅助驾驶等级,还考虑了第一驾驶行为信息和驾驶员的面部表情信息。通过这样的方式,能够更加准确的确定第一接管能力等级,从而便于进行后续采取的监控措施。
结合第一方面,在第一方面的某些实现方式中,所述根据所述第一交互结果,确定是否调整所述第一接管能力等级,包括:根据所述第一交互结果和所述第一驾驶行为信息,确定是否调整所述第一接管能力等级。
本申请实施例中,可以通过第一交互结果和第一驾驶行为信息,确定是否调整第一接管能力等级,通过这样的方式,能够更加精准的判断出是否需要调整第一接管能力等级,进一步保证驾驶员在辅助驾驶模式下的行车安全。
结合第一方面,在第一方面的某些实现方式中,所述第一驾驶行为信息包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和所述运载工具的轮胎在第一预设时长内压到道路边线的次数。
其中,道路边线可以理解为道路用地和道路两侧建筑用地的分界线,或者,道路边线可以理解为车道上的实线。运载工具的轮胎在第一预设时长内压到道路边线的次数,例如,可以表示为:车辆的轮胎在5分钟内压到车道实线的次数。
结合第一方面,在第一方面的某些实现方式中,所述第一交互结果用于指示所述驾驶员确认所述第一接管能力等级,所述根据所述第一交互结果,确定是否调整第一接管能力等级,包括:根据所述第一交互结果,确定维持所述第一接管能力等级;所述方法还包括:根据所述第一驾驶行为信息和所述第一交互结果,确定所述驾驶员的行为与所述第一交互结果不一致。
其中,驾驶员的行为与第一交互结果不一致可以理解为驾驶员具有欺骗行为。例如,第一交互结果用于指示驾驶员知晓在第一接管能力等级时,驾驶员需要在紧急情况下踩运载工具的刹车踏板。但是,在实际出现紧急情况时,第一驾驶行为信息指示驾驶员没有踩刹车踏板的动作,此时,可以确定驾驶员具有欺骗行为。
可选地,在确认驾驶员的行为与所述第一交互结果不一致之前,还可以根据第一交互结果判断出驾驶员是否具备欺骗行为。例如,运载工具和驾驶员进行语音交互得到第一交互结果,第一交互结果可以包括:语音文本信息和驾驶员情绪信息,其中,语音文本信息用于指示驾驶员确认自己没有疲劳驾驶,但是驾驶员情绪信息表明驾驶员的驾驶状态疲劳,此时,可以确定驾驶员存在欺骗行为。
可选地,在根据第一交互结果判断出驾驶员具备欺骗行为后,可以不再确定驾驶员的行为与第一交互结果是否一致。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:将所述第一接管能力等级调整为第二接管能力等级,所述第二接管能力等级与所述第二辅助驾驶等级相对应,所述第二辅助驾驶等级低于所述第一辅助驾驶等级。
本申请实施例中,在检测到驾驶员的行为与第一交互结果不一致后,可以将接管能力等级调高,将辅助驾驶等级降低。这样,在保障运载工具的行驶安全的同时,可以对驾驶员的欺骗行为起到一定的惩罚作用。
结合第一方面,在第一方面的某些实现方式中,所述根据所述第一接管能力等级与所述驾驶员进行交互,包括:在第二预设时长内以第一频率与所述驾驶员进行交互,所述方法还包括:在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率。
例如,运载工具和/或服务器检测到驾驶员存在欺骗行为之前可以在5分钟内和驾驶员交互2次,在检测到驾驶员存在欺骗行为后,运载工具和/或服务器可以在5分钟内和驾驶员交互4次。
本申请实施例中,在检测到驾驶员的行为与第一交互结果不一致后,可以缩短与驾驶员交互的周期,这样,可以更加密切地和驾驶员进行交互,进而保证运载工具的行驶安全。
结合第一方面,在第一方面的某些实现方式中,所述根据所述第一接管能力等级与所述驾驶员进行交互,包括:在第二预设时长内以第一频率与所述驾驶员进行交互,所述方法还包括:在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率;根据所述第二交互结果,确定是否调整所述第二接管能力等级。
本申请实施例中,在检测到驾驶员的行为与第一交互结果不一致后,可以缩短与驾驶员交互的周期,并且可以基于和驾驶员的最新交互结果来确定是否调整第二接管能力等级,通过这样的方式,能够动态地根据与驾驶员的交互结果确定是否调整接管能力等级,进一步有效预防辅助驾驶模式下的安全事故。
结合第一方面,在第一方面的某些实现方式中,所述获取第一驾驶行为信息,包括:在第三预设时长内以第三频率获取所述第一驾驶行为信息,所述方法还包括:在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率。
例如,运载工具和/或服务器在检测到驾驶员存在欺骗行为之前可以在5分钟内获取2次第一驾驶行为信息,在检测到驾驶员存在欺骗行为后,运载工具和/或服务器可以在5分钟内获取4次第二驾驶行为信息。
可选地,第一驾驶行为信息和第二驾驶行为信息具体包括的内容可以相同也可以不同。
本申请实施例中,在检测到驾驶员的行为与第一交互结果不一致后,可以缩短获取驾驶行为信息的周期,这样,可以更加密切地获取驾驶行为信息,进而保证运载工具的行驶安全。
结合第一方面,在第一方面的某些实现方式中,所述获取第一驾驶行为信息,包括:在第三预设时长内以第三频率获取所述第一驾驶行为信息,所述方法还包括:在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率;所述根据所述第二交互结果,确定是否调整所述第二接管能力等级,包括:根据所述第二交互结果和所述第二驾驶行为信息,确定是否调整所述第二接管能力等级。
本申请实施例中,在检测到驾驶员的行为与第一交互结果不一致后,可以缩短与驾驶员交互的周期,并且可以基于和驾驶员的最新交互结果和第二驾驶行为信息来确定是否调整第二接管能力等级,通过这样的方式,能够更加准确的确定是否调整第二接管能力等级,从而保证运载工具的行驶安全。
结合第一方面,在第一方面的某些实现方式中,所述第二驾驶行为信息包括:驾驶员状态信息,所述方法还包括:根据所述驾驶员状态信息,确定是否发送报警信息。
可选地,驾驶员状态信息可以包括:驾驶员的疲劳状态、驾驶员的心率、驾驶员的情绪状态和驾驶员的反映速度中的一种或多种。
可选地,根据驾驶员状态信息确定驾驶员的驾驶状态不佳或者突发疾病的情况下,可以确定发送报警信息。
可选地,如果上述监控方法的执行主体是运载工具,运载工具可以向服务器发送报警信息,或者向公安部门、急救中心发送报警信息。如果上述监控方法的执行主体是服务器,服务器可以向运载工具发送报警信息来对驾驶员进行告警,或者向公安部门、急救中心发送报警信息,
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:关闭所述运载工具的辅助驾驶功能。
本申请实施例中,如果检测驾驶员存在欺骗行为,可以关闭运载工具的辅助驾驶功能,这样,在保障运载工具的行驶安全的同时,可以对驾驶员的欺骗行为起到一定的惩罚作用。
第二方面,提供了一种监控装置,该装置包括:获取单元和处理单元;所述处理单元,用于检测到运载工具开启第一辅助驾驶等级;所述获取单元,用于获取所述运载工具周围的环境信息;所述处理单元,还用于:根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,所述第一接管能力等级用于驾驶员的接管能力预警;根据所述第一接管能力等级与所述驾驶员进行交互,得到第一交互结果;以及根据所述第一交互结果,确定是否调整所述第一接管能力等级。
结合第二方面,在第二方面的某些实现方式中,所述获取单元,还用于获取第一驾驶行为信息和所述驾驶员的面部表情信息,所述第一驾驶行为信息用于指示所述驾驶员的驾驶状态和/或所述运载工具的行驶状态;所述处理单元,具体用于根据所述第一驾驶行为信息、所述面部表情信息、所述环境信息和所述第一辅助驾驶等级,确定所述第一接管能力等级。
结合第二方面,在第二方面的某些实现方式中,所述处理单元,具体用于根据所述第一交互结果和所述第一驾驶行为信息,确定是否调整所述第一接管能力等级。
结合第二方面,在第二方面的某些实现方式中,所述第一驾驶行为信息包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和所述运载工具的轮胎在第一预设时长内压到道路边线的次数。
结合第二方面,在第二方面的某些实现方式中,所述第一交互结果用于指示所述驾驶员确认所述第一接管能力等级;所述处理单元,具体用于根据所述第一交互结果,确定维持所述第一接管能力等级;所述处理单元,还用于根据所述第一驾驶行为信息和所述第一交互结果,确定所述驾驶员的行为与所述第一交互结果不一致。
结合第二方面,在第二方面的某些实现方式中,所述处理单元,还用于将所述第一接管能力等级调整为第二接管能力等级,所述第二接管能力等级与所述第二辅助驾驶等级相对应,所述第二辅助驾驶等级低于所述第一辅助驾驶等级。
结合第二方面,在第二方面的某些实现方式中,所述处理单元,具体用于在第二预设时长内以第一频率与所述驾驶员进行交互;所述处理单元,还用于:在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率。
结合第二方面,在第二方面的某些实现方式中,所述处理单元,具体用于在第二预设时长内以第一频率与所述驾驶员进行交互;所述处理单元,还用于:在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率;以及根据所述第二交互结果,确定是否调整所述第二接管能力等级。
结合第二方面,在第二方面的某些实现方式中,所述获取单元,具体用于在第三预设时长内以第三频率获取所述第一驾驶行为信息,所述处理单元,还用于:在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率。
结合第二方面,在第二方面的某些实现方式中,所述获取单元,具体用于在第三预设时长内以第三频率获取所述第一驾驶行为信息,所述处理单元,还用于:在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率;以及根据所述第二交互结果和所述第二驾驶行为信息,确定是否调整所述第二接管能力等级。
结合第二方面,在第二方面的某些实现方式中,所述第二驾驶行为信息包括:驾驶员状态信息;所述处理单元,还用于根据所述驾驶员状态信息,确定是否发送报警信息。
结合第二方面,在第二方面的某些实现方式中,所述处理单元,还用于关闭所述运载工具的辅助驾驶功能。
第三方面,提供一种监控装置,该装置包括:至少一个处理器和存储器,所述至少一个处理器与所述存储器耦合,用于读取并执行所述存储器中的指令,使得该装置实现上述第一方面及各实现方式中的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面及各实现方式中的方法。
第五方面,提供一种芯片,该芯片包括电路,该电路用于执行上述第一方面及各实现方式中的方法。
第六方面,提供了一种运载工具,包括:上述第二方面或第二方面任意一种实现方式中的监控装置。
第七方面,提供了一种服务器,包括:上述第二方面或第二方面任意一种实现方式中的监控装置。
第八方面,提供了一种监控系统,包括:上述第六方面的运载工具和上述第七方面的服务器。
附图说明
图1是本申请实施例提供的运载工具的一个功能性示意图;
图2是本申请实施例提供的一种监控方法示意性流程图;
图3是本申请实施例提供的另一种监控方法的示意性流程图;
图4是本申请实施例提供的另一种监控方法的示意性流程图;
图5是本申请实施例提供的另一种监控方法的示意性流程图;
图6是本申请实施例提供的监控方法所适用的应用场景图;
图7是本申请实施例提供的一种监控装置示意图;
图8是本申请实施例提供的另一种监控装置示意图。
具体实施方式
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本申请实施例中采用诸如“第一”、“第二”的前缀词,仅仅为了区分不同的描述对象,对被描述对象的位置、顺序、优先级、数量或内容等没有限定作用。本申请实施例中对序数词等用于区分描述对象的前缀词的使用不对所描述对象构成限制,对所描述对象的陈述参见权利要求或实施例中上下文的描述,不应因为使用这种前缀词而构成多余的限制。
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1是本申请实施例提供的运载工具100的一个功能性示意图。应理解,图1及相关描述仅为一种举例,并不对本申请实施例中的运载工具进行限定。
运载工具100可包括多种子系统,例如感知系统120、计算平台130。可选地,该运载工具100可包括更多或更少的子系统,并且每个子系统都可包括一个或多个部件。另外,该运载工具100的每个子系统和部件可以通过有线或者无线的方式实现互连。
感知系统120可包括用于感测关于运载工具100周边的环境的信息的若干种传感器。例如,感知系统120可以包括定位系统,该定位系统可以是全球定位系统(globalpositioning system,GPS),也可以是北斗系统或者其他定位系统。感知系统120可以包括惯性测量单元(inertial measurement unit,IMU)等、激光雷达、毫米波雷达、超声波雷达以及摄像装置中的一种或者多种。
运载工具100的部分或所有功能可以由计算平台130控制。计算平台130可包括处理器131至13n(n为正整数),处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如中央处理单元(central processingunit,CPU)、微处理器、图形处理器(graphics processing unit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital signal processor,DSP)等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为专用集成电路(application-specific integrated circuit,ASIC)或可编程逻辑器件(programmable logic device,PLD)实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,处理器还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(neural network processingunit,NPU)、张量处理单元(tensor processing unit,TPU)、深度学习处理单元(deeplearning processing unit,DPU)等。此外,计算平台130还可以包括存储器,存储器用于存储指令,处理器131至13n中的部分或全部处理器可以调用存储器中的指令,以实现相应的功能。
计算平台130可基于从各种子系统(例如,感知系统120)接收的输入来控制运载工具100的功能。例如,计算平台130能够从感知系统120接收的输入来控制运载工具的车门打开或关闭。在一些实施例中,计算平台130可用于对运载工具100及其子系统的许多方面提供控制。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本申请实施例的限制。
本申请中的运载工具100可以包括:路上交通工具、水上交通工具、空中交通工具、工业设备、农业设备、或娱乐设备等。例如运载工具100可以为车辆,该车辆为广义概念上的车辆,可以是交通工具(如商用车、乘用车、摩托车、飞行车、火车等),工业车辆(如:叉车、挂车、牵引车等),工程车辆(如挖掘机、推土车、吊车等),农用设备(如割草机、收割机等),游乐设备,玩具车辆等,本申请实施例对车辆的类型不作具体限定。再如,运载工具100可以为飞机、或轮船等交通工具。
以下以运载工具100为车辆为例,说明本申请需要解决的技术问题以及所采用的技术方案。
目前,自动驾驶技术已经成为未来车辆的一个全新的发展方向,越来越得到人们的青睐。按照当前自动驾驶技术的分级标准,可以将自动驾驶技术分为L0至L5六个等级。其中,L0可以代表没有自动驾驶加入的传统人工驾驶;L1可以代表辅助驾驶;L2可以代表车辆的部分自动驾驶;L3可以代表车辆有条件的进行自动驾驶;L4可以代表车辆高度自动驾驶;L5可以代表车辆完全进行自动驾驶,无需人为控制车辆。不同的自动驾驶等级对车辆驾驶主体的控制、观察和支持具有不同的要求。例如,车辆可以在L1等级下实现主动刹车的自动控制,能够解放驾驶员的双脚。车辆可以在L2等级实现自动控制车辆的行驶方向,能够解放驾驶员的双手。车辆可以在L3等级下实现在特定条件下对车辆行驶环境的感知,能够解放驾驶员的眼睛。车辆可以在L4等级下实现无人驾驶,能够使得驾驶员无需关心驾驶。
在自动驾驶的过程中,如果驾驶员没有达到所使用的自动驾驶技术等级的要求,就可能出现事故。例如,通常可以将L2至L3等级之间已经落地的技术称为辅助驾驶技术,在这个辅助驾驶等级层面上,驾驶员仍然是车辆的掌管者,自动驾驶系统仅仅可以起到辅助的作用,即驾驶员仍然需要对车辆行驶的环境进行监控,不能将驾驶判断能力完全交给车辆。如果驾驶员过于信赖自动驾驶系统,就可能造成事故。目前,国内外已经存在许多驾驶员在辅助驾驶模式下接管能力不到位造成的交通事故的报道,需要引起一定的重视。因此,在辅助驾驶模式下对驾驶员的驾驶行为进行监管和预警就显得尤为重要。
当前,车辆在辅助驾驶模式下还没有较为完善的监管系统,车辆仅仅在某些特殊场景下才能够采取监管措施,例如,闭眼检测,脱手检测等等。这种监管模式并不能应对辅助驾驶模式下复杂多变的驾驶场景,致使驾驶员在辅助驾驶模式下的行车安全得不到保障。
本申请实施例提供了一种监控方法、装置以及运载工具,能够在复杂多变的驾驶场景下对驾驶员进行监控,从而有效预防辅助驾驶模式下的安全事故。
图2是本申请实施例提供的一种监控方法示意性流程图,方法200的执行主体既可以是运载工具,也可以是服务器。当方法200的执行主体是运载工具100时,其可以由运载工具100中的计算平台130执行,或者还可以由计算平台130中的片上系统(system-on-chip,SoC)执行,或者,还可以由计算平台130中的处理器执行。下面以执行主体为运载工具为例介绍方法200,方法200可以包括步骤S201至步骤S205。
S201,检测到运载工具开启第一辅助驾驶等级。
示例性地,在检测到驾驶员在运载工具的显示屏上点击开启第一辅助驾驶等级的操作时,运载工具可以确认开启第一辅助驾驶等级。
示例性地,在接收到驾驶员开启第一辅助驾驶等级的语音指令时,运载工具可以确认开启第一辅助驾驶等级。
应理解,在本申请中,辅助驾驶等级或辅助驾驶模式不仅仅局限于自动驾驶技术L2至L3等级之间已经落地的技术,任何运载工具能够提供的辅助驾驶员驾驶的技术均可以认为是本申请中的“开启辅助驾驶等级或辅助驾驶模式”。
S202,获取运载工具周围的环境信息。
可选地,运载工具周围的环境信息可以包括:运载工具行驶的路况信息,该路况信息可以用于指示运载工具当前行驶的道路类型,例如,道路类型可以包括板油路、水泥路、石子路等。该运载工具周围的环境信息可以通过部署在运载工具上的传感器获取,该传感器可以包括:DVR、重力传感器、车外摄像头(例如,环视摄像头)等传感器中的一种或多种。
可选地,运载工具可以在特定的驾驶场景下(例如,石子路、具有凹陷的水泥路,板油路)自动获取运载工具周围的环境信息。或者,运载工具在检测到开启第一辅助驾驶等级后,可以周期性地获取运载工具周围的环境信息。
S203,根据环境信息和第一辅助驾驶等级确定第一接管能力等级。
在本申请中,该第一接管能力等级也可以称为初接管能力等级,该第一接管能力等级可以用于驾驶员的接管能力预警。
一个实施例中,在步骤S203中,方法200还包括:获取第一驾驶行为信息和驾驶员的面部表情信息;根据第一驾驶行为信息、面部表情信息、环境信息和第一辅助驾驶等级确定第一接管能力等级。这样,能够更加准确的确定第一接管能力等级,从而便于进行后续采取的监控措施。
其中,第一驾驶行为信息可以用于指示驾驶员的驾驶状态和/或运载工具的行驶状态。
可选地,第一驾驶行为信息可以包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和运载工具的轮胎在第一预设时长内压到道路边线的次数。其中,道路边线可以理解为道路用地和道路两侧建筑用地的分界线,或者,道路边线可以理解为车道上的实线。运载工具的轮胎在第一预设时长内压到道路边线的次数,例如,可以表示为:车辆的轮胎在5分钟内压到车道实线的次数。
可选地,第一驾驶行为信息和驾驶员的面部表情信息可以通过部署在运载工具上的传感器进行获取。例如,可以通过部署在运载工具座舱内的摄像头获取第一驾驶行为信息和/或获取驾驶员的面部表情信息。再例如,可以通过惯性传感器获取第一驾驶行为信息。
可选地,可以将第一驾驶行为信息、面部表情信息、环境信息和第一辅助驾驶等级输入到神经网络模型中,输出第一接管能力等级。此外,还可以对上述输入到神经网络模型中的信息进行权重调整,从而使得确定的第一接管能力等级更加适应当前运载工具的行驶情况。
S204,根据第一接管能力等级与驾驶员进行交互,得到第一交互结果。
可选地,与驾驶员进行交互可以采用以下方式中的一种或多种:语音、语音助手、运载工具的显示屏、提示音和震动铃声。
示例性地,第一交互结果可以用于指示驾驶员是否了解当前接管能力等级下运载工具的辅助驾驶的权限以及驾驶员的驾驶职责。
S205,根据第一交互结果,确定是否调整第一接管能力等级。
例如,第一交互结果指示驾驶员知晓在第一接管能力等级下运载工具进行辅助驾驶的权限范围,则可以确定维持第一接管能力等级。否则,可以调整第一接管能力等级。
本申请实施例中,在确定第一接管能力等级后,运载工具能够根据与驾驶员的交互结果,确定是否调整第一接管能力等级,从而按照相应的接管能力等级采取相应的监管措施,进而有效预防辅助驾驶模式下的安全事故。
一个实施例中,在步骤S205中,运载工具可以通过第一交互结果和第一驾驶行为信息,确定是否调整第一接管能力等级,通过这样的方式,能够更加精准的判断出是否需要调整第一接管能力等级,进一步保证驾驶员在辅助驾驶模式下的行车安全。
一个实施例中,第一交互结果用于指示驾驶员确认第一接管能力等级,在步骤S205确定是否调整第一接管能力等级的结果是维持第一接管能力等级。则在步骤S205之后,方法200还可以包括:根据第一驾驶行为信息和第一交互结果,确定驾驶员的行为与第一交互结果不一致
其中,驾驶员的行为与第一交互结果不一致可以理解为驾驶员具有欺骗行为。例如,第一交互结果用于指示驾驶员知晓在第一接管能力等级时,驾驶员需要在紧急情况下踩运载工具的刹车踏板。但是,在实际出现紧急情况时,第一驾驶行为信息指示驾驶员没有踩刹车踏板的动作,此时,可以确定驾驶员具有欺骗行为。
可选地,在确认驾驶员的行为与所述第一交互结果不一致之前,运载工具还可以根据第一交互结果判断出驾驶员是否具备欺骗行为。例如,运载工具和驾驶员进行语音交互得到第一交互结果,第一交互结果可以包括:语音文本信息和驾驶员情绪信息,其中,语音文本信息用于指示驾驶员确认自己没有疲劳驾驶,但是驾驶员情绪信息表明驾驶员的驾驶状态疲劳,此时可以确定驾驶员存在欺骗行为。
可选地,在根据第一交互结果判断出驾驶员具备欺骗行为后,可以不再确定驾驶员的行为与第一交互结果是否一致。
在检测到驾驶员的行为和第一交互结果不一致后,运载工具可以进行不同的处理。
一种可能的实现方式中,运载工具可以将第一接管能力等级调整为第二接管能力等级,其中,该第二接管能力等级第二辅助驾驶等级相对应,该第二辅助驾驶等级低于第一辅助驾驶等级。即在检测到驾驶员的行为与第一交互结果不一致后,运载工具可以将接管能力等级调高,将辅助驾驶等级降低。这样,在保障运载工具的行驶安全的同时,可以对驾驶员的欺骗行为起到一定的惩罚作用。
一种可能的实现方式中,在步骤S204中,运载工具可以在第二预设时长内以第一频率与驾驶员进行交互,在检测到驾驶员存在欺骗行为后,运载工具可以在第二预设时长内以第二频率和驾驶员进行交互,得到第二交互结果,该第二频率高于第一频率。例如,运载工具在检测到驾驶员存在欺骗行为前可以在5分钟内和驾驶员交互2次,在检测到驾驶员存在欺骗行为后,运载工具可以在5分钟内和驾驶员交互4次。通过这样的方式,在检测到驾驶员的行为与第一交互结果不一致后,可以缩短与驾驶员交互的周期,这样,可以更加密切地和驾驶员进行交互,进而保证运载工具的行驶安全。
可选地,在此种实现方式中,方法200还可以包括:根据第二交互结果,确定是否调整第二接管能力等级,这样,能够动态地根据与驾驶员的交互结果确定是否调整接管能力等级,进一步有效预防辅助驾驶模式下的安全事故。
一种可能的实现方式中,在步骤S203中,运载工具可以在第三预设时长内以第三频率获取第一驾驶行为信息,在检测到驾驶员存在欺骗行为后,运载工具可以在第三预设时长内以第四频率获取第二驾驶行为信息,该第四频率高于第三频率。例如,运载工具在检测到驾驶员存在欺骗行为前可以在5分钟内获取2次第一驾驶行为信息,在检测到驾驶员存在欺骗行为后,运载工具和可以在5分钟内获取4次第二驾驶行为信息。这样,可以更加密切地获取驾驶行为信息,进而保证运载工具的行驶安全。
可选地,第一驾驶行为信息和第二驾驶行为信息具体包括的内容可以相同也可以不同。
可选地,在此种实现方式中,方法200还包括:根据第二交互结果和第二驾驶行为信息,确定是否调整第二接管能力等级。这样,能够更加准确的确定是否调整第二接管能力等级,从而保证运载工具的行驶安全。
一种可能的实现方式中,方法200还包括:可以关闭运载工具的辅助驾驶功能,这样,在保障运载工具的行驶安全的同时,可以对驾驶员的欺骗行为起到一定的惩罚作用。
一个实施例中,第二驾驶行为信息包括:驾驶员状态信息,方法200还包括:根据驾驶员状态信息,确定是否发送报警信息。
例如,根据驾驶员状态信息确定驾驶员的驾驶状态不佳或者突发疾病的情况下,可以确定发送报警信息。
可选地,驾驶员状态信息可以包括:驾驶员的疲劳状态、驾驶员的心率、驾驶员的情绪状态和驾驶员的反映速度中的一种或多种。
可选地,运载工具可以向服务器发送报警信息,或者向公安部门、急救中心发送报警信息。如果上述监控方法的执行主体是服务器,服务器可以向运载工具发送报警信息来对驾驶员进行告警,或者向公安部门、急救中心发送报警信息。
应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,各个实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
图3是本申请实施例提供的另一种监控方法的示意性流程图,方法300的执行主体既可以是运载工具,也可以是服务器。当方法300的执行主体是运载工具100时,其可以由运载工具100中的计算平台130执行,或者还可以由计算平台130中的SoC执行,或者,还可以由计算平台130中的处理器执行。方法300是对方法200中步骤S201至S205的详细说明,下面以执行主体为车辆(运载工具100的一种)为例介绍方法300,方法300可以包括步骤S301至步骤S305。
S301,唤醒驾驶接管能力监控。
示例性地,当车辆检测到驾驶员开启L2等级以上的辅助驾驶模式后,车辆可以唤起接管能力监控。
S302,根据车辆的环境特征信息、驾驶员的行为特征信息和辅助驾驶级别,输出初接管能力等级。
可选地,在步骤S302之前,方法300还包括:采集车辆行驶的环境特征信息和驾驶员的行为特征信息。其中,上述环境特征信息可以是方法200中的环境信息,行为特征信息可以包括方法200中的第一驾驶行为信息和/或面部表情信息,初接管能力等级可以是方法200中的第一接管能力等级。
示例性地,如图4所示,环境特征信息可以包括车辆的驾驶环境信息(例如,车辆行驶的路况信息),驾驶员的行为特征信息可以包括:驾驶员的驾驶行为信息和/或表情识别信息。
可选地,该步骤可以使用神经网络模型来进行权重调整,即将车辆的行驶环境信息、驾驶员的行为特征信息和辅助驾驶级别输入到神经网络模型中,神经网络模型可以输出初接管能力等级。上述神经网络模型可以包括但不限于卷积神经网络模型(convolutional neural network,CNN)或循环神经网络模型(recurrent neuralnetwork,RNN)。
S303,进行智能语音循环交互验证与欺骗行为监控。
示例性地,车辆可以通过与驾驶员的沟通结果验证初接管能力等级是否准确,例如,车辆通过语音助手询问驾驶员是否知晓在初接管能力等级下车辆进行辅助驾驶的权限范围,在检测到驾驶员的肯定回答后,进行步骤S304,否则,重新调整初接管能力等级。
可选地,该智能语音循环交互验证可以是周期性进行的。例如,每隔一个小时进行一次智能语音交互验证。
示例性地,车辆可以根据与驾驶员的交互结果(包括:文本交流和/或语音交流)判断驾驶员是否知晓当前车辆的接管状态,并将和驾驶员的交流结果与监控检测到的驾驶员的行为作对比,判断驾驶员之前是否存在欺骗行为,从而综合判断此次辅助驾驶中驾驶员是否隐瞒接管情况。此外,还可以建立驾驶员的历史行为数据库来更好的分析驾驶员的驾驶行为,从而有效杜绝驾驶员的侥幸心理。
例如,车辆和驾驶员进行语音交互得到语音交互结果,该语音交互结果可以包括:语音文本信息和驾驶员情绪信息,其中,语音文本信息用于指示驾驶员确认自己没有疲劳驾驶,但是驾驶员情绪信息表明驾驶员的驾驶状态疲劳,此时可以确定驾驶员存在欺骗行为。
再例如,语音交互结果指示驾驶员知晓在第一接管能力等级时,驾驶员需要在紧急情况下踩运载工具的刹车踏板。但是,在实际出现紧急情况时,监控检测到驾驶员没有踩刹车踏板的动作,此时,可以确定驾驶员具有欺骗行为。
可选地,当频繁检测到驾驶员存在欺骗行为时,车辆可以将该情况反馈给驾驶员所在的公司。例如,当驾驶员是货运公司的工作人员时,如果检测到驾驶员频繁出现欺骗行为,车辆可以将该情况反馈给货运公司。
可选地,当频繁检测到驾驶员存在欺骗行为时,车辆可以采取以下措施至少一种:提高接管能力等级、降低辅助驾驶等级、缩短监控驾驶员的周期和缩短与驾驶员语音交互的周期。
S304,监控驾驶员的状态,实时更新接管能力等级。
示例性地,可以周期性地重复步骤S303,循环动态地监控驾驶员的状态以及确定驾驶员是否存在欺骗行为,实时更新接管能力等级。
S305,根据接管能力等级进行不同的处理。
示例性地,如图4所示,可以将接管能力等级划分为三级。其中,一级可以表示用户可以随时接管车辆,车辆也可以根据驾驶环境适当提升辅助驾驶的级别。二级可以表示车辆可以通过语音提示驾驶员注意行驶安全,并缩短步骤S304中的监控周期,从而更加密切地观察驾驶员的行为是否发生变更,以调整辅助驾驶等级。三级可以表示车辆可以进行语音危险警告,进一步缩短S304中的监控周期,从而更加密切地观察驾驶员的行为是否变更,以调整辅助驾驶等级。如果,驾驶员的驾驶行为在长时间的未发生变更(此时,驾驶员可能出现驾驶状态不佳或者突发疾病的情况),车辆可以将该情况上传至云端服务器进行云端报警。同时,在云端可以设立远程电子安全员,其可以将上述报警信息反馈给相关公司或部门(例如,货运公司、打车公司或公安交警)进行干预,从而降低事故发生的可能性。
本申请实施例中,在确定初接管能力等级后,车辆可以周期性地与驾驶员进行语音交互,并根据语音的交互结果确定是否调整初接管能力等级,这样,能够在复杂多变的驾驶场景下对驾驶员进行监控,从而有效预防辅助驾驶模式下的安全事故。此外,车辆还可以检测驾驶员是否存在欺骗行为,从而采取相应的措施来进一步保证车辆的行驶安全。
图5是本申请实施例提供的另一种监控方法的示意性流程图,方法500是对方法300中步骤S301至S305的另一种方式的介绍,方法500可以包括步骤S501至步骤S505。
S501,车辆启动监管。
示例性地,车辆检测到驾驶员开启L2等级以上的辅助驾驶模式后,车辆可以启动监管。
S502,车辆确定初接管能力等级。
示例性地,车辆可以根据驾驶员的驾驶行为信息、驾驶员的表情信息、车辆的行驶环境信息或车辆的辅助驾驶级别中的至少一种,确定初接管能力等级。其中,驾驶员的行为信息可以是方法200中的第一驾驶行为信息中包括的内容,驾驶员的表情信息可以是方法200中的面部表情信息,车辆的行驶环境信息可以是方法200中的环境信息,初接管能力等级可以是方法200中的第一接管能力等级。
可选地,可以将驾驶员的驾驶行为信息、驾驶员的表情信息、车辆的行驶环境信息或车辆的辅助驾驶级别输入到神经网络模型中,输出初接管能力等级。
S503,车辆与驾驶员进行语音交互验证
示例性地,车辆可以通过语音助手询问驾驶员是否知晓在初接管能力等级下车辆进行辅助驾驶的权限范围,在检测到驾驶员的肯定回答后,进行步骤S504,否则,重新调整初接管能力等级。
可选地,上述车辆与驾驶员进行语音交互可以是周期性进行的。例如,每隔一个小时进行一次语音交互验证。
S504,车辆进行欺骗行为监控。
示例性地,车辆可以根据与驾驶员的交互结果(包括:文本交流和/或语音交流)判断驾驶员是否知晓当前车辆的接管状态,并将和驾驶员的交流结果与监控检测到的驾驶员的行为进行对比,判断驾驶员之前是否存在欺骗行为,从而综合判断此次辅助驾驶中驾驶员是否隐瞒接管情况。此外,还可以建立驾驶员的历史行为数据库来更好的分析驾驶员的驾驶行为,从而有效杜绝驾驶员的侥幸心理。
例如,车辆和驾驶员进行语音交互得到语音交互结果,该语音交互结果可以包括:语音文本信息和驾驶员情绪信息,其中,语音文本信息用于指示驾驶员确认自己没有疲劳驾驶,但是驾驶员情绪信息表明驾驶员的驾驶状态疲劳,此时可以确定驾驶员存在欺骗行为。
再例如,语音交互结果用于指示驾驶员知晓在第一接管能力等级时,驾驶员需要在紧急情况下踩运载工具的刹车踏板。但是,在实际出现紧急情况时,监控检测到驾驶员没有踩刹车踏板的动作,此时,可以确定驾驶员具有欺骗行为。
可选地,当频繁检测到驾驶员存在欺骗行为时,车辆可以将该情况反馈给驾驶员所在的公司。例如,当驾驶员是货运公司或打车公司的工作人员时,如果检测到驾驶员频繁出现欺骗行为,车辆可以将该情况反馈给货运公司或打车公司。
可选地,当频繁检测到驾驶员存在欺骗行为时,车辆可以采取以下措施至少一种:提高接管能力等级、降低辅助驾驶等级、缩短监控驾驶员的周期和缩短与驾驶员语音交互的周期。
S505,车辆确定驾驶员接管能力等级。
示例性地,车辆可以将驾驶员接管能力等级划分为三级,其中,一级可以表示用户可以随时接管车辆,车辆也可以根据驾驶环境适当提升辅助驾驶的级别。二级可以表示车辆可以通过语音提示驾驶员注意行驶安全,并缩短监控周期,从而更加密切地观察驾驶员的行为是否发生变更,以调整辅助驾驶等级。三级可以表示车辆可以进行语音危险警告,进一步缩短监控周期,从而更加密切地观察驾驶员的行为是否变更,以调整辅助驾驶等级。如果,驾驶员的行为在长时间的未发生变更(例如,驾驶员突发疾病或丧失行为能力),车辆可以将该情况上传至云端服务器进行云端报警。同时,在云端可以设立远程电子安全员,其可以将上述报警信息反馈给公司或部门(例如,货运公司、打车公司或公安交警)进行干预从而降低或预防事故发生的可能性。
本申请实施例中,在确定初接管能力等级后,车辆可以周期性地与驾驶员进行语音交互,并根据语音的交互结果确定是否调整初接管能力等级,这样,能够在复杂多变的驾驶场景下对驾驶员进行监控,从而有效预防辅助驾驶模式下的安全事故。此外,车辆还可以检测驾驶员是否存在欺骗行为,从而采取相应的措施来进一步保证车辆的行驶安全。
图6是本申请实施例提供的监控方法所适用的应用场景图,方法200、方法300和方法500可以适用于此场景。
如图6中的(a)所示,车辆的中控大屏上显示:界面600以及功能栏610。该界面600上包括用户账号登录信息601(当前车辆尚未登录账号)、蓝牙功能图标602、Wi-Fi功能图标603、蜂窝网络信号图标604、车载地图应用搜索框605、切换至显示车辆安装的所有应用程序的卡片606、切换至显示车载音乐应用的卡片607、车辆剩余电量以及剩余行驶里程的显示卡片608、车辆360度(°)环影功能的显示卡片609。其中,车载地图应用搜索框605中可以包括用户设置的回家控件6051和去公司控件6052。功能栏610中包括切换至显示中控大屏桌面的图标611、车辆内循环图标612、主驾座椅加热功能图标613,主驾区域空调温度显示图标614、副驾区域空调温度显示图标615、副驾座椅加热功能图标616以及音量设置图标617。
如图6中的(b)所示的图形用户界面(graphical user interface,GUI),该GUI包括提示框618,用于提示驾驶员车辆已经满足辅助驾驶条件,是否开启第一辅助驾驶等级。当车辆检测到驾驶员点击提示框618中的开启控件时,车辆可以开启第一辅助驾驶等级。
如图6中的(c)所示,此时车辆行驶在公路上,开启第一辅助驾驶等级后,车辆可以通过传感器采集周围的环境信息;其中,上述传感器可以包括:DVR、重力传感器、车外摄像头(例如,环视摄像头)等传感器中的一种或多种。并且,车辆可以根据环境信息和第一辅助驾驶等级,确定第一接管能力等级,该第一接管能力等级用于驾驶员的接管能力预警。在确定了第一接管能力等级后,在车辆的中控大屏上可以显示如图6中的(d)所示的GUI。
如图6中的(d)所示的GUI,该GUI包括:交互文本619和语音助手620,语音助手620可以用语音的形式和驾驶员进行交互。此时,语音助手620向驾驶员询问:“车辆当前处于第一接管能力等级,您是否了解车辆在该等级下的辅助驾驶权限。”在检测到驾驶员的确定的回答后,车辆的中控大屏上可以显示如图6中的(e)所示的GUI。此外,语音助手620可以和驾驶员周期性的进行语音交互,例如,在图6中的(d)所示的场景中,语音助手可以每隔1个小时和驾驶员进行交互一次。
如图6中的(e)所示的GUI,在检测到驾驶员的肯定回答后,语音助手620可以通过语音的形式告知驾驶员“车辆将继续维持第一接管能力等级,请保持良好的驾驶行为”。此外,语音助手620和驾驶员进行语音交互后,可以周期性地(例如,30分钟1次的频率)监控驾驶员的驾驶行为,确定驾驶员的驾驶行为与语音交互的结果是否一致。
例如,在第一接管能力等级下规定了驾驶员需要在山区转弯路段下减速,语音助手620与驾驶员的语音交互结果也显示驾驶员知晓上述规定。如图6中的(f)所示,车辆实际行驶在山区转弯路段时,车辆检测到驾驶员没有踩刹车踏板的动作,此时,车辆可以确定驾驶员的驾驶行为与语音交互结果不一致,即此时驾驶员存在欺骗行为,车辆的中控大屏上可以显示如图6中的(g)所示的GUI。
图6中的(g)所示的GUI,语音助手620可以通过语音的形式提示用户“检查到您在危险路段没有减速慢行,车辆将调高接管能力等级,请您保持良好的驾驶行为”在调高接管能力等级后,车辆的辅助驾驶等级可以被降低,语音助手620与驾驶员交互的周期缩短(例如,调整为1小时2次),车辆监控驾驶员驾驶行为的周期缩短(例如,调整为15分钟1次)。此外,如果在语音交互时,如果长时间得不到驾驶员的响应,并且车辆检测到驾驶员此时的驾驶状态不佳或者突发疾病,车辆可以向公安部门、急救中心发送报警信息。
应理解,图6(a)至图6(f)所示的应用场景仅为示例性的说明,不应理解为对本申请的限定,车辆与驾驶员的语音交互以及接管能力等级的具体内容可以根据监控方法实际的情况加以设置。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,各个实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请实施例还提供用于实现以上任一种方法的装置,该装置包括用于实现以上任一种方法中运载工具100所执行的各步骤的单元。
图7是本申请实施例提供的一种监控装置700的示意图,该装置700可以包括获取单元710、存储单元720和处理单元730。获取单元710用于获取指令和/或数据,获取单元710还可以称为通信接口或通信单元。存储单元720,用于实现相应的存储功能,存储相应的指令和/或数据。处理单元730用于进行数据处理。处理单元730可以读取存储单元中的指令和/或数据,以使得装置700实现前述监控方法。
该装置700包括:该装置包括:获取单元710和处理单元730;处理单元730,用于检测到运载工具开启第一辅助驾驶等级;获取单元710,用于获取运载工具周围的环境信息;处理单元730,还用于:根据环境信息和第一辅助驾驶等级确定第一接管能力等级,该第一接管能力等级用于驾驶员的接管能力预警;根据第一接管能力等级与驾驶员进行交互,得到第一交互结果;以及根据第一交互结果,确定是否调整第一接管能力等级。
一种可能的实现方式中,获取单元710,还用于获取第一驾驶行为信息和驾驶员的面部表情信息,该第一驾驶行为信息用于指示驾驶员的驾驶状态和/或运载工具的行驶状态;处理单元730,具体用于根据第一驾驶行为信息、面部表情信息、环境信息和第一辅助驾驶等级,确定第一接管能力等级。
一种可能的实现方式中,处理单元730,具体用于根据第一交互结果和第一驾驶行为信息,确定是否调整第一接管能力等级。
一种可能的实现方式中,第一驾驶行为信息包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和运载工具的轮胎在第一预设时长内压到道路边线的次数。
一种可能的实现方式中,第一交互结果用于指示驾驶员确认第一接管能力等级;处理单元730,具体用于根据第一交互结果,确定维持第一接管能力等级;处理单元730,还用于根据第一驾驶行为信息和第一交互结果,确定驾驶员的行为与第一交互结果不一致。
一种可能的实现方式中,处理单元730,还用于将第一接管能力等级调整为第二接管能力等级,该第二接管能力等级与第二辅助驾驶等级相对应,该第二辅助驾驶等级低于第一辅助驾驶等级。
一种可能的实现方式中,处理单元730,具体用于在第二预设时长内以第一频率与驾驶员进行交互;处理单元730,还用于:在第二预设时长内以第二频率和驾驶员进行交互,得到第二交互结果,该第二频率高于第一频率。
一种可能的实现方式中,处理单元730,具体用于在第二预设时长内以第一频率与驾驶员进行交互;处理单元730,还用于:在第二预设时长内以第二频率和驾驶员进行交互,得到第二交互结果,该第二频率高于第一频率;以及根据第二交互结果,确定是否调整第二接管能力等级。
一种可能的实现方式中,获取单元710,具体用于在第三预设时长内以第三频率获取第一驾驶行为信息,处理单元730,还用于:在第三预设时长内以第四频率获取第二驾驶行为信息,该第四频率高于第三频率。
一种可能的实现方式中,获取单元710,具体用于在第三预设时长内以第三频率获取第一驾驶行为信息,处理单元730,还用于:在第三预设时长内以第四频率获取第二驾驶行为信息,该第四频率高于第三频率;以及根据第二交互结果和第二驾驶行为信息,确定是否调整第二接管能力等级。
一种可能的实现方式中,第二驾驶行为信息包括:驾驶员状态信息;处理单元730,还用于根据驾驶员状态信息,确定是否发送报警信息。
一种可能的实现方式中,处理单元730,还用于关闭运载工具的辅助驾驶功能。
可选地,若该装置700位于运载工具100中,上述处理单元730可以是图1所示的处理器131。
图8是本申请实施例提供的另一种监控装置800示意图,该装置800可应用于图1的运载工具100中。
该装置800包括:存储器810、处理器820、以及通信接口830。其中,存储器810、处理器820,通信接口830通过内部连接通路相连,该存储器810用于存储指令,该处理器820用于执行该存储器810存储的指令,以控制通信接口830获取信息,或者使得装置800实现前述监控方法。可选地,存储器810既可以和处理器820通过接口耦合,也可以和处理器820集成在一起。
需要说明的是,上述通信接口830使用例如但不限于收发器一类的收发装置。上述通信接口830还可以包括输入/输出接口(input/output interface)。
处理器820存储有一个或多个计算机程序,该一个或多个计算机程序包括指令。当该指令被所述处理器820运行时,使得该监控装置800执行上述各实施例中监控方法。
在实现过程中,上述方法的各步骤可以通过处理器820中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器810,处理器820读取存储器810中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
可选地,图8中的通信接口830可以实现图7中的获取单元710,图8中的存储器810可以实现图7中的存储单元720,图8中的处理器820可以实现图7中的处理单元730。
可选地,该装置700或装置800可以是计算平台,该计算平台可以是车载计算平台或云端计算平台。
可选地,该装置700或装置800可以位于图1中的运载工具100中。
可选地,该装置700或装置800可以为图1运载工具中的计算平台130。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机执行上述图2至图5中的任一种方法。
本申请实施例还提供一种计算机程序产品,该计算机产品包括计算机程序,当所述计算机程序被运行时,使得计算机执行上述图2至图5中的任一种方法。
本申请实施例还提供一种芯片,包括:电路,该电路用于执行上述图2至图5中的任一种方法。
本申请实施例还提供一种运载工具,包括图7或图8任一种监控装置。
本申请实施例还提供一种服务器,包括图7或图8任一种监控装置。
本申请实施例还提供一种监控系统,包括前述运载工具和服务器。
应理解,以上装置中各单元的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,装置中的单元可以以处理器调用软件的形式实现;例如装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各单元的功能,其中处理器例如为通用处理器,例如,CPU或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的单元可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部单元的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为ASIC,通过对电路内元件逻辑关系的设计,实现以上部分或全部单元的功能;再如,在另一种实现中,该硬件电路为可以通过可编程逻辑器件PLD实现,以FPGA为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部单元的功能。以上装置的所有单元可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。
在本申请实施例中,处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如,CPU、微处理器、GPU(可以理解为一种微处理器)、或DSP等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为ASIC或可编程逻辑器件PLD实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如NPU、TPU、DPU等。
可见,以上装置中的各单元可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
此外,以上装置中的各单元可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些单元集成在一起,以SOC的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各单元的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (26)
1.一种监控方法,其特征在于,所述方法包括:
检测到运载工具开启第一辅助驾驶等级;
获取所述运载工具周围的环境信息;
根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,所述第一接管能力等级用于驾驶员的接管能力预警;
根据所述第一接管能力等级与所述驾驶员进行交互,得到第一交互结果;
根据所述第一交互结果,确定是否调整所述第一接管能力等级。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一驾驶行为信息和所述驾驶员的面部表情信息,所述第一驾驶行为信息用于指示所述驾驶员的驾驶状态和/或所述运载工具的行驶状态;
所述根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,包括:
根据所述第一驾驶行为信息、所述面部表情信息、所述环境信息和所述第一辅助驾驶等级,确定所述第一接管能力等级。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一交互结果,确定是否调整所述第一接管能力等级,包括:
根据所述第一交互结果和所述第一驾驶行为信息,确定是否调整所述第一接管能力等级。
4.如权利要求2或3所述的方法,其特征在于,所述第一驾驶行为信息包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和所述运载工具的轮胎在第一预设时长内压到道路边线的次数。
5.如权利要求2至4任一项所述的方法,其特征在于,所述第一交互结果用于指示所述驾驶员确认所述第一接管能力等级,所述根据所述第一交互结果,确定是否调整第一接管能力等级,包括:
根据所述第一交互结果,确定维持所述第一接管能力等级;
所述方法还包括:
根据所述第一驾驶行为信息和所述第一交互结果,确定所述驾驶员的行为与所述第一交互结果不一致。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
将所述第一接管能力等级调整为第二接管能力等级,所述第二接管能力等级与所述第二辅助驾驶等级相对应,所述第二辅助驾驶等级低于所述第一辅助驾驶等级。
7.如权利要求6所述的方法,其特征在于,所述根据所述第一接管能力等级与所述驾驶员进行交互,包括:在第二预设时长内以第一频率与所述驾驶员进行交互,所述方法还包括:
在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率;
根据所述第二交互结果,确定是否调整所述第二接管能力等级。
8.如权利要求7所述的方法,其特征在于,所述获取第一驾驶行为信息,包括:在第三预设时长内以第三频率获取所述第一驾驶行为信息,所述方法还包括:
在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率;
所述根据所述第二交互结果,确定是否调整所述第二接管能力等级,包括:
根据所述第二交互结果和所述第二驾驶行为信息,确定是否调整所述第二接管能力等级。
9.如权利要求8所述的方法,其特征在于,所述第二驾驶行为信息包括:驾驶员状态信息,所述方法还包括:
根据所述驾驶员状态信息,确定是否发送报警信息。
10.如权利要求5所述的方法,其特征在于,所述方法还包括:关闭所述运载工具的辅助驾驶功能。
11.一种监控装置,其特征在于,包括:获取单元和处理单元;
所述处理单元,用于检测到运载工具开启第一辅助驾驶等级;
所述获取单元,用于获取所述运载工具周围的环境信息;
所述处理单元,还用于:
根据所述环境信息和所述第一辅助驾驶等级确定第一接管能力等级,所述第一接管能力等级用于驾驶员的接管能力预警;
根据所述第一接管能力等级与所述驾驶员进行交互,得到第一交互结果;以及
根据所述第一交互结果,确定是否调整所述第一接管能力等级。
12.如权利要求11所述的装置,其特征在于,
所述获取单元,还用于获取第一驾驶行为信息和所述驾驶员的面部表情信息,所述第一驾驶行为信息用于指示所述驾驶员的驾驶状态和/或所述运载工具的行驶状态;
所述处理单元,具体用于根据所述第一驾驶行为信息、所述面部表情信息、所述环境信息和所述第一辅助驾驶等级,确定所述第一接管能力等级。
13.如权利要求12所述的装置,其特征在于,
所述处理单元,具体用于根据所述第一交互结果和所述第一驾驶行为信息,确定是否调整所述第一接管能力等级。
14.如权利要求12或13所述的装置,其特征在于,
所述第一驾驶行为信息包括以下内容至少一种:驾驶员状态信息、加速踏板开度信息、刹车踏板开度信息、方向盘转角信息、方向盘压力信息和所述运载工具的轮胎在第一预设时长内压到道路边线的次数。
15.如权利要求12至14任一项所述的装置,其特征在于,所述第一交互结果用于指示所述驾驶员确认所述第一接管能力等级;
所述处理单元,具体用于根据所述第一交互结果,确定维持所述第一接管能力等级;
所述处理单元,还用于根据所述第一驾驶行为信息和所述第一交互结果,确定所述驾驶员的行为与所述第一交互结果不一致。
16.如权利要求15所述的装置,其特征在于,
所述处理单元,还用于将所述第一接管能力等级调整为第二接管能力等级,所述第二接管能力等级与所述第二辅助驾驶等级相对应,所述第二辅助驾驶等级低于所述第一辅助驾驶等级。
17.如权利要求16所述的装置,其特征在于,
所述处理单元,具体用于在第二预设时长内以第一频率与所述驾驶员进行交互;
所述处理单元,还用于:
在所述第二预设时长内以第二频率和所述驾驶员进行交互,得到第二交互结果,所述第二频率高于所述第一频率;以及
根据所述第二交互结果,确定是否调整所述第二接管能力等级。
18.如权利要求17所述的装置,其特征在于,
所述获取单元,具体用于在第三预设时长内以第三频率获取所述第一驾驶行为信息,
所述处理单元,还用于:
在所述第三预设时长内以第四频率获取第二驾驶行为信息,所述第四频率高于所述第三频率;以及
根据所述第二交互结果和所述第二驾驶行为信息,确定是否调整所述第二接管能力等级。
19.如权利要求18所述的装置,其特征在于,所述第二驾驶行为信息包括:驾驶员状态信息;
所述处理单元,还用于根据所述驾驶员状态信息,确定是否发送报警信息。
20.如权利要求15所述的装置,其特征在于,
所述处理单元,还用于关闭所述运载工具的辅助驾驶功能。
21.一种监控装置,其特征在于,包括:处理器和存储器,所述处理器与所述存储器耦合,用于读取并执行所述存储器中的指令,以执行如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机执行如权利要求1至10中任一项所述的方法。
23.一种芯片,其特征在于,包括:电路,所述电路用于执行如权利要求1至10中任一项所述的方法。
24.一种运载工具,其特征在于,包括:如权利要求11至20任一项所述监控装置。
25.一种服务器,其特征在于,包括:如权利要求11至20任一项所述监控装置。
26.一种监控系统,其特征在于,包括:如权利要求24所述的运载工具和如权利要求25所述的服务器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211693257.0A CN118254822A (zh) | 2022-12-28 | 2022-12-28 | 监控方法、装置以及运载工具 |
PCT/CN2023/139806 WO2024140326A1 (zh) | 2022-12-28 | 2023-12-19 | 监控方法、装置以及运载工具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211693257.0A CN118254822A (zh) | 2022-12-28 | 2022-12-28 | 监控方法、装置以及运载工具 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118254822A true CN118254822A (zh) | 2024-06-28 |
Family
ID=91609671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211693257.0A Pending CN118254822A (zh) | 2022-12-28 | 2022-12-28 | 监控方法、装置以及运载工具 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118254822A (zh) |
WO (1) | WO2024140326A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013217799A1 (de) * | 2013-09-05 | 2015-03-05 | Continental Automotive Gmbh | Verfahren zum automatisierten Führen eines Kraftfahrzeugs und Kraftfahrzeug |
US10198009B2 (en) * | 2016-01-26 | 2019-02-05 | GM Global Technology Operations LLC | Vehicle automation and operator engagment level prediction |
JP6946351B2 (ja) * | 2017-01-19 | 2021-10-06 | ソニーセミコンダクタソリューションズ株式会社 | 車両制御装置及び車両制御方法 |
US10471963B2 (en) * | 2017-04-07 | 2019-11-12 | TuSimple | System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle |
CN110582437A (zh) * | 2019-05-31 | 2019-12-17 | 驭势(上海)汽车科技有限公司 | 驾驶提醒方法、驾驶状态检测方法和计算设备 |
CN110371132B (zh) * | 2019-06-18 | 2021-02-09 | 华为技术有限公司 | 驾驶员接管评估方法及装置 |
CN112455453A (zh) * | 2020-12-08 | 2021-03-09 | 安徽江淮汽车集团股份有限公司 | 驾驶员状态检测方法、装置及计算机可读存储介质 |
CN216002550U (zh) * | 2021-07-20 | 2022-03-11 | 厦门理工学院 | 自动驾驶分级接管交互系统 |
-
2022
- 2022-12-28 CN CN202211693257.0A patent/CN118254822A/zh active Pending
-
2023
- 2023-12-19 WO PCT/CN2023/139806 patent/WO2024140326A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024140326A1 (zh) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11294370B2 (en) | Determining driver engagement with autonomous vehicle | |
US11380193B2 (en) | Method and system for vehicular-related communications | |
US11814054B2 (en) | Exhaustive driving analytical systems and modelers | |
US20180144636A1 (en) | Distracted driver detection, classification, warning, avoidance system | |
US11055605B2 (en) | Detecting dangerous driving situations by parsing a scene graph of radar detections | |
US7609150B2 (en) | User adaptive vehicle hazard warning apparatuses and method | |
CN108860162A (zh) | 电子装置、基于用户驾驶行为的安全预警方法及存储介质 | |
MX2014015331A (es) | Interfaz de usuario afectiva en un vehiculo autonomo. | |
CN111914237B (zh) | 汽车驾驶员生物特征认证和gps服务 | |
US20210347353A1 (en) | Electronic apparatus for detecting risk factors around vehicle and method for controlling same | |
CN109895696A (zh) | 驾驶员警报系统和方法 | |
US11285966B2 (en) | Method and system for controlling an autonomous vehicle response to a fault condition | |
EP4256502B1 (en) | Electronic system for forward-looking measurements of frequencies and/or probabilities of accident occurrences based on localized automotive device measurements, and corresponding method thereof | |
CN109740433A (zh) | 一种车辆避让方法及车载终端 | |
CN115782914A (zh) | 一种驾驶员提醒方法、装置、系统和移动载体 | |
CN111754815A (zh) | 控制装置、服务器、安全系统以及控制装置的控制方法 | |
CN116834655A (zh) | 危险预警的方法、装置和车辆 | |
CN110228476A (zh) | 一种车辆控制方法、车辆控制装置及电子设备 | |
CN109937440A (zh) | 车载装置、便携终端装置、识别辅助系统、识别辅助方法以及识别辅助程序 | |
US11926259B1 (en) | Alert modality selection for alerting a driver | |
CN118254822A (zh) | 监控方法、装置以及运载工具 | |
WO2018022069A1 (en) | Determining driver engagement with autonomous vehicle | |
CN115635973A (zh) | 一种车辆驾驶方法及装置 | |
CN117719420A (zh) | 驾驶预警方法、装置、计算机设备、存储介质和程序产品 | |
CN118613413A (zh) | 一种自动驾驶方法、装置及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |