CN113168772A - 信息处理装置,信息处理方法和程序 - Google Patents

信息处理装置,信息处理方法和程序 Download PDF

Info

Publication number
CN113168772A
CN113168772A CN201980072371.1A CN201980072371A CN113168772A CN 113168772 A CN113168772 A CN 113168772A CN 201980072371 A CN201980072371 A CN 201980072371A CN 113168772 A CN113168772 A CN 113168772A
Authority
CN
China
Prior art keywords
driver
vehicle
physical condition
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980072371.1A
Other languages
English (en)
Other versions
CN113168772B (zh
Inventor
田森正纮
有门智弘
小枝竜也
小川康文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113168772A publication Critical patent/CN113168772A/zh
Application granted granted Critical
Publication of CN113168772B publication Critical patent/CN113168772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007Emergency override
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Abstract

本公开涉及以下方面:一种信息处理设备,该信息处理设备可以在驾驶期间检测驾驶员的身体状况的异常并且实现考虑到安全性的处理;一种信息处理方法;以及一种程序。获取车辆驾驶员的生命数据并且在基于获取的生命数据获取指示驾驶员的身体状况发生异常的确定结果时,根据自动驾驶级别控制车辆以获得安全状态。本公开可以应用于车载系统。

Description

信息处理装置,信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序,并且尤其涉及用于在驾驶期间检测驾驶员的异常身体状况以实现考虑到安全性的处理的信息处理装置、信息处理方法和程序。
背景技术
已经提出了一种将作为驾驶车辆的驾驶员的生物特征信息的生命数据发送到帮助网络中心并在帮助网络中心监视驾驶员的身体状况的技术(参见专利文献1)。
引文列表
专利文献
专利文献1:日本专利申请特许公开号2013-171569
发明内容
本发明要解决的问题
然而,在专利文献1的技术中,当驾驶员将指尖置于传感器上时读取生物特征信息。除非驾驶员有意识地将指尖置于传感器上,否则生命数据不会被检测到,并且不会被发送到帮助网络中心。
为此原因,当驾驶员在驾驶期间突然失去意识时,生命数据(生物特征信息)不会被发送到帮助网络中心,因此即使发生诸如意识丧失之类的异常身体状况,也无法实现考虑到安全性的适当驾驶控制。
已经鉴于这样的情况而做出了本公开,并且本公开尤其旨在获取生命数据并在发生异常身体状况时实现考虑到安全性的适当驾驶控制。
问题的解决方案
根据本公开的一个方面的信息处理装置是包括以下单元的信息处理装置,包括:生命数据获取单元,被配置为获取车辆驾驶员的生命数据;以及异常情况处理单元,被配置为在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将车辆控制到安全状态。
根据本公开的一个方面的信息处理方法和程序与该信息处理装置对应。
在本公开的一个方面,在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,获取车辆驾驶员的生命数据并且根据自动驾驶级别将车辆控制到安全状态。
附图说明
图1是图示用于检测视线的配置的图。
图2是图示当驾驶员发生异常身体状况时将驾驶员运送到医疗机构的示例的图。
图3是图示当驾驶员发生异常身体状况时将车辆停止在安全地点的示例的图。
图4是图示本公开的交通系统的配置示例的框图。
图5是图示本公开的车辆控制系统的配置示例的框图。
图6是图示本公开的报告接收者终端的配置示例的框图。
图7是图示本公开的医疗操作者终端的配置示例的框图。
图8是图示摘录用于实现图5中的安全驾驶控制的配置的配置示例的框图。
图9是图示自动驾驶控制处理的流程图。
图10是图示异常驾驶人员确定处理的流程图。
图11是图示异常情况处理的流程图。
图12是图示自动驾驶级别5对应处理的流程图。
图13是图示自动驾驶级别4对应处理的流程图。
图14是图示自动驾驶级别3对应处理的流程图。
图15是图示紧急停止支持处理的流程图。
图16是图示通用计算机的配置示例的图。
具体实施方式
将参考附图详细描述本公开的有利实施例。注意的是,在本说明书和附图中,通过提供相同的符号来省略对具有实质上相同的功能配置的配置元件的冗余描述。
在下文中,将描述用于执行本技术的模式。将按照以下顺序给出描述。
1.本公开的概述
2.本公开的交通系统的配置示例
3.本公开的控制车辆的车辆控制系统的配置示例
4.本公开的报告接收者终端的配置示例
5.本公开的医疗操作者终端的配置示例
6.基于生命数据检测异常身体状况并实现考虑到安全性的驾驶控制的自动驾驶控制单元的配置示例,
7.自动驾驶控制处理
8.驾驶员异常确定处理
9.异常情况处理
10.自动驾驶级别5对应处理
11.自动驾驶级别4对应处理
12.自动驾驶级别3对应处理
13.紧急停止支持处理
14.通过软件执行的示例
<<1.本公开的概述>>
<生命数据的检测>
将描述本公开的概述。
本公开的车辆检测驾驶员的生命数据,并且基于驾驶员是否发生异常身体状况来执行考虑到驾驶员和乘客、车辆周围的车辆、路人等的安全性的驾驶控制。
驾驶员的生命数据的示例包括视线检测的存在/不存在、心跳、脉搏、体表脉搏波和体温。
如图1中所示,视线检测的存在或不存在的确定是例如通过使用在方向盘的上部并面向驾驶员H的位置处设置的相机Cam捕获驾驶员H的面部附近的范围V,并确定其是否是基于捕获的图像中驾驶员的瞳孔的位置检测到的瞳孔未打开的状态,并且其是视线相对于预定方向持续预定时间的状态来确定的。注意的是,在视线方向在预定时间或更长的时间内不改变的情况下,预期驾驶员失去意识。因此,在考虑检测到的眼睛瞳孔等的状态之后,根据驾驶员是否凝视适当的时间来确定视线检测的存在或不存在。
相机Cam理想地不仅包括所谓的图像传感器,而且还包括飞行时间(ToF)传感器。
更具体而言,在由图像传感器获得的图像的情况下,例如,有可能晚上迎面而来的车辆的前灯使得整个面部暴露在强光下并且整个面部的图像过度曝光并且构成面部的每个器官都可能无法被识别。
相反,在通过ToF传感器获得的距离图像的情况下,获得从相机Cam到面部表面上的每个位置的距离的信息,并且可以识别面部表面的不平整。因此,可以基于面部表面的不平整的信息来识别形成面部的每个器官。
为此原因,期望相机Cam具有设有图像传感器和ToF传感器的配置,并且根据情况使用通过图像传感器的图像和通过ToF传感器的距离图像。此外,通过组合图像传感器和ToF传感器,可以提高鲁棒性或可以缩短处理时间。
在此,对于心跳、脉搏和体温,例如,心跳、脉搏和体温可以通过图1中的驾驶员H穿戴在其手臂上的可穿戴设备B直接检测。此外,体表脉搏波可以通过附接到座椅并与驾驶员的背部接触的传感器C来检测。
此外,可以使用例如微波传感器以与驾驶员非接触的方式测量心跳和脉搏。微波传感器是使用由于心脏和肺部的移动而导致人体的表面微小振动的特征的传感器。例如,向驾驶员照射24.125GHz的微波,测量反射的微波,并根据测量结果使用由人体表面的微小振动造成的多普勒效应来检测心跳(脉搏)。
此外,可以通过温度传感器(warmth sensor)检测体温。
注意的是,生命数据可以是除了视线检测、心跳、脉搏、体表脉搏波和体温之外的生物特征信息,只要该生物特征信息是能够确认驾驶员的身体状况的数据即可。
<根据自动驾驶级别的驾驶控制>
本公开的车辆以通过自动驾驶来驾驶为前提,并且根据自动驾驶级别执行驾驶控制。
在此,自动驾驶级别对自动驾驶的级别进行分类,并且例如被分类为级别0至5。
级别0是其中驾驶员执行所有驾驶操作的自动驾驶级别,并且实质上不是自动驾驶。
级别1是其中控制了驾驶操作中要么与加速或减速相关的驾驶操作要么与转向操作相关的驾驶操作的自动驾驶级别。
级别2是其中合作控制了驾驶操作中与加速或减速相关的驾驶操作和与转向操作相关的驾驶操作的自动驾驶级别。
级别3是其中在诸如高速公路之类的特定地点控制了所有驾驶操作的自动驾驶级别。注意的是,在级别3处,前提条件是驾驶员在紧急时执行驾驶操作。
级别4是其中在诸如高速公路之类的特定地点包括在紧急时控制了所有驾驶操作的自动驾驶级别。
级别5是其中在所有情况下控制了所有驾驶操作的自动驾驶级别,并且是所谓的全自动驾驶级别。
如上所述,用于实现级别0至2的自动驾驶级别的技术一般被称为驾驶辅助技术,因为它是其中驾驶员主要执行驾驶操作的技术。
相反,用于实现级别3至5的自动驾驶级别的技术一般被称为自动驾驶技术,因为它是其中在特定地点驾驶员无需主要执行驾驶操作的技术。
本公开的驾驶控制基于驾驶员的生命数据来确定异常身体状况的存在或不存在,并且根据自动驾驶级别实现考虑到安全性的驾驶控制。
更具体而言,例如,在如图2中车辆C1行驶的状态下基于生命数据检测到驾驶员正在发生异常身体状况的情况下,驾驶是自动驾驶级别5的全自动驾驶。因此,车辆C1将驾驶员运送到医疗机构M,如箭头A所示。
此外,在驾驶员处于严重身体状况并且需要紧急车辆(emergency vehicle)的救助的情况下,并且在自动驾驶级别5的情况下,车辆C1将驾驶员运送到与紧急车辆CA的汇合点,如箭头B所示。然后,紧急车辆CA(紧急人员、医生等)根据需要治疗车辆C1的驾驶员,并将其运送到医疗机构M。
此外,在自动驾驶级别4的情况下,可能进行自动驾驶,并且不必要更换驾驶员,与自动驾驶级别5的情况类似,车辆C1将驾驶员运送到医疗机构M。
此外,在自动驾驶级别4的情况下,有必要更换驾驶员,但是当没有更换时,例如,在如图3左侧所示的在车道L1上行驶的车辆C2停止在路肩L2上安全的地点,如图3右侧的车辆C2'所示。然后,安排紧急车辆到这个停车位置,并且紧急车辆CA前往停车位置并在紧急车辆CA(紧急人员、医生等)对处于异常身体状况的驾驶员进行治疗之后将驾驶员运送到医疗机构M。
在此,在自动驾驶级别4的情况下,在不可能进行自动驾驶并且有必要更换驾驶员并且可能更换的环境中,更换后的驾驶员驾驶车辆C2'并将处于异常身体状况的驾驶员运送到医疗机构M或与紧急车辆CA的汇合点。
此外,在自动驾驶级别3的情况下,在驾驶员不能驾驶车辆的情况下不能继续自动驾驶。因此,检测到驾驶员的异常身体状况的发生,如图2所示在车道L1上行驶的车辆C2停止在路肩L2的安全的地点(如车辆C2'所示)并等待紧急车辆CA的运送。
在此,在不可能进行自动驾驶并且有必要更换驾驶员并且可能更换的环境中,如在自动驾驶级别4的情况下那样,更换后的驾驶员驾驶车辆C12'并将处于异常身体状况的驾驶员运送到医疗机构M或与紧急车辆CA的汇合点。
此外,在自动驾驶级别0至2的情况下,当检测到驾驶员的异常身体状况时,无法指定安全的地点,但是打开危险警告灯并且将车辆停止在行驶车道上并等待紧急车辆CA的运送。
在此,在可能更换驾驶员的情况下,如自动驾驶级别3或4的情况下那样,更换后的驾驶员驾驶车辆并将驾驶员运送到医疗机构M或与紧急车辆CA的汇合点。
以这种方式,获取驾驶员的生命数据并且检测异常身体状况的存在或不存在,并且在检测到异常身体状况的情况下,可以通过根据自动驾驶级别的驾驶控制来实现考虑安全性的处理。
<<2.本公开的交通系统的配置示例>>
接下来,将参考图4描述交通系统的配置示例,该交通系统获取本公开的驾驶员的生命数据并且在发生异常身体状况时实现考虑到安全性的适当驾驶控制。
图4中的交通系统1包括车辆11-1至11-n、报告接收者终端12、医疗操作者终端13以及网络14。车辆11-1至11-n、报告接收者终端12和医疗操作者终端13被配置为能够经由网络14彼此通信。
车辆11-1至11-n是以自动驾驶级别0至5的各种自动驾驶级别驾驶的车辆。注意的是,在不必要区分车辆11-1至11-n的情况下,将它们简称为车辆11,并且也类似地简称其它配置。
当驾驶员进入车辆11中时,车辆11识别驾驶员,并获取视线检测的存在或不存在以及驾驶员的生命数据,并且确定异常身体状况的存在或不存在。当车辆11基于驾驶员的生命数据确定存在异常身体状况时,车辆11将位置信息、生命数据、指定驾驶员的信息以及通知驾驶员的异常身体状况的信息通知给报告接收者终端12。
注意的是,生命数据包括驾驶员的所有视线检测、心跳、脉搏、体表脉搏波和体温。然而,在下文中,视线检测将被描述为生命数据的独立数据。即,在下文中,在指代生命数据的情况下,生命数据不包括视线检测结果信息,而是指示心跳、脉搏、体表脉搏波和体温。此外,指定驾驶员的信息可以是任何信息,只要该信息可以指定个体驾驶员即可。更具体而言,指定驾驶员的信息可以是例如驾驶员的面部图像,或生物特征信息(诸如驾驶员的指纹或视网膜图案),或者当基于生物特征信息将指定驾驶员的信息与个人信息相关联地存储时注册的个人信息本身(诸如驾驶员的姓名或年龄)。
车辆11获取经由报告接收者终端12从医疗操作员终端13发送的医疗机构的信息(包括位置信息)或与紧急车辆的汇合点的位置信息,并基于位置信息、生命数据和指定驾驶员的信息根据自动驾驶级别来实现考虑安全性的处理。
报告接收者终端12是由报告接收者操作的终端,该报告接收者接收驾驶员的异常身体状况的报告,并接收驾驶员的异常身体状况的报告并获取与报告一起发送的位置信息、生命数据和指定驾驶员的信息。报告接收者是例如交通系统中的操作者等。
报告接收者终端12将接收到的位置信息、生命数据和指定驾驶员的信息发送给医疗操作者终端13。
报告接收者终端12基于位置信息、生命数据以及指定驾驶员的信息来获取从医疗操作者终端13发送的能够对处于异常身体状况的驾驶员提供必要治疗的医疗机构的位置信息以及紧急车辆的必要性的信息。
在医疗操作者终端13请求安排紧急车辆的情况下,报告接收者终端12根据处于异常身体状况的驾驶员驾驶的车辆11的位置信息和指定的医疗机构的位置信息,考虑到用于将驾驶员运送到医疗机构的路线,来指定车辆11与紧急车辆之间适当的汇合点。然后,报告接收者终端12将与紧急车辆的汇合点的信息与能够对处于异常身体状况的驾驶员提供必要治疗的医疗机构的信息一起发送到车辆11,并安排紧急车辆赶往汇合点。
此外,在医疗操作者终端13不请求安排紧急车辆的情况下,报告接收者终端12将能够对处于异常身体状况的驾驶员提供必要治疗的医疗机构的位置信息发送到车辆11。注意的是,在这种情况下,当存在从车辆11请求紧急车辆时(诸如当在车辆11中有必要更换驾驶员但没有更换时),报告接收者终端12安排紧急车辆赶往车辆11停止的现场。
医疗操作者终端13是由医疗操作者操作的终端,并且获取从报告接收者终端12发送的生命数据和指定驾驶员的信息,并基于指定驾驶员的信息来搜索处于异常身体状况的驾驶员的病历。
医疗操作者是例如诸如医生、牙医、药剂师或护士之类的医疗人员,并且是可以根据生命数据、病历信息等判断处于异常身体状况的驾驶员所需的医学治疗的人。
在医疗操作者终端13可以找到驾驶员的病历的情况下,医疗操作者终端13将病历与生命数据一起呈现给医疗操作者,并请求医疗操作者指定处于异常身体状况的驾驶员所需的治疗和能够提供该治疗的医疗机构,并判断紧急车辆的必要性等。
响应于该请求,医疗操作者判断处于异常身体状况的驾驶员所需的治疗、指定对应的治疗和能够提供该治疗的医疗机构,并判断紧急车辆的必要性。
然后,医疗操作者进行操作,并使医疗操作者终端13将指定的医疗机构的位置信息和紧急车辆的必要性的信息发送到报告接收者终端12。
在有处于异常身体状况的驾驶员的病历信息的情况下,保持该病历的医疗机构很可能是驾驶员的常规医院等。因此,如果对当前处于异常身体状况的驾驶员的治疗是可能的,那么即使该离医院有点远,该医院也可以被优选指定为目的地的医疗机构。
此外,在没有驾驶员的病历的情况下,医疗操作者终端13请求医疗操作者指定必要的医学治疗和能够提供该治疗的医疗机构,并基于生命数据判断紧急车辆的必要性。
此外,车辆11、报告接收者终端12和医疗操作者终端13被配置为能够彼此呼叫。
因此,在这一系列处理中,在或者车辆11的驾驶员或者乘客可以进行呼叫的情况下,实现了与报告接收者和医疗操作者的相互呼叫。
因此,在有可能进行呼叫的情况下,医疗操作者基于病历的信息(在有驾驶员的病历的信息的情况下)、生命数据和呼叫内容来综合判断必要的医学治疗,并且可以指定医疗机构并判断紧急车辆的必要性。
利用这样的通信功能,可以针对处于异常身体状况的驾驶员判断更适当的治疗。
此外,医疗操作者终端13可以具有代理功能,该代理功能对处于异常身体状况的驾驶员提出必要的治疗。
即,医疗操作者终端13的代理功能可以基于病历的信息(在有驾驶员的病历的信息的情况下)、生命数据和呼叫内容(在可能呼叫的情况下)来综合确定必要的医学治疗和能够提供该治疗的医疗机构,并提出医疗机构和紧急车辆的必要性。
利用这样的一系列交通系统,即使在驾驶期间驾驶车辆11的驾驶员陷入异常身体状况的情况下,也可以实现考虑到安全性的适当驾驶控制。
<<3.本公开的控制车辆的车辆控制系统的配置示例>>
接下来,将参考图5中的框图描述本公开的车辆的车辆控制系统。
图5是图示可以对其应用本技术的车辆11的车辆控制系统100的示意性功能的配置示例的框图。
注意的是,在下文中,在将设有车辆控制系统100的车辆11与其它车辆区分开的情况下,车辆11将被称为用户的汽车或用户的车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121包括例如符合诸如控制器局域网(CAN)、本地内联网(local interconnect network,LIN)、局域网(LAN)或FlexRay(注册商标)之类的任意标准的车载通信网络、总线等。注意的是,车辆控制系统100的单元可以不使用通信网络121而直接连接。
注意的是,在下文中,在车辆控制系统100的单元经由通信网络121执行通信的情况下,省略对通信网络121的描述。例如,将输入单元101和自动驾驶控制单元112经由通信网络121执行通信的情况简单地描述为输入单元101和自动驾驶控制单元112执行通信。
输入单元101包括乘客用来输入各种数据、指令等的设备。例如,输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备,能够通过除了手动操作之外的方法(诸如语音或手势等)输入数据、指令等的操作设备。此外,例如,输入单元101可以是使用红外线或其它无线电波的远程控制设备,或者是与车辆控制系统100的操作对应的外部连接设备,诸如移动设备或可穿戴设备。输入单元101基于由乘客输入的数据、指令等生成输入信号,并将该输入信号供应给车辆控制系统100的每个单元。
数据获取单元102包括获取要用于车辆控制系统100的处理的数据的各种传感器等,并将获取的数据供应给车辆控制系统100的每个单元。
例如,数据获取单元102包括用于检测用户的汽车等的状态的各种传感器。具体而言,例如,数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量设备(IMU),以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎速度、马达速度、车轮的转速等的传感器,等等。
此外,例如,数据获取单元102包括用于检测用户的汽车外部的信息的各种传感器。具体而言,例如,数据获取单元102包括成像设备,诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机和其它相机。此外,例如,数据获取单元102包括用于检测天气、气象现象等的环境传感器,以及用于检测用户的汽车周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、积雪传感器等。周围信息检测传感器包括例如超声传感器、雷达设备、光检测和测距或激光成像检测和测距(LiDAR)设备、声纳等。
此外,数据获取单元102包括例如用于检测用户的汽车的当前位置的各种传感器。具体而言,数据获取单元102包括从GNSS卫星接收GNSS信号的全球导航卫星系统(GNSS)接收器、实时动态(RTK)-全球定位系统(GPS)、网络RTK等。
此外,例如,数据获取单元102包括用于检测车辆内部的信息的各种传感器。具体而言,例如,数据获取单元102包括对驾驶员成像的成像设备(飞行时间(ToF)相机、立体相机、单眼相机、红外相机、其它相机等)、检测驾驶员的生物特征信息的生物特征传感器、收集车辆中的声音的麦克风等。生物特征传感器被设置在例如座椅表面、方向盘等上,并检测坐在座椅上的乘客或握住方向盘的驾驶员的生物特征信息。
通信单元103与车载设备104和车辆外部的各种设备、服务器、基站等进行通信,发送从车辆控制系统100的每个单元供应的数据,并将接收到的数据供应给车辆控制系统100的每个单元。注意的是,通信单元103所支持的通信协议没有特别限制,并且通信单元103可以支持多种类型的通信协议。
例如,通信单元103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载设备104执行无线通信。此外,例如,通信单元103使用通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链路(MHL)等经由连接端子(未示出)(如有必要,还可以使用线缆)与车载设备104执行有线通信。
此外,例如,通信单元103经由基站或接入点与存在于外部网络(例如,互联网、云网络或商业专用网络)上的设备(例如,应用服务器或控制服务器)进行通信。此外,例如,通信单元103使用对等(P2P)技术与存在于用户的汽车附近的终端(例如,行人或商店的终端,或机器类型通信(MTC)终端)进行通信。此外,例如,通信单元103执行V2X通信,诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信。此外,例如,通信单元103包括信标接收单元,并且接收从安装在道路上的无线站等发送的无线电波或电磁波,并获取诸如当前位置、拥堵、交通管制或所需时间之类的信息。此外,通信单元103由下面将要描述的E-call 204(图8)控制,并结合检测安全气囊等的碰撞的传感器的操作状态将已经发生事故的发生位置(GPS坐标)发送到位于外部网络上并且与警察局、医院等联系的中心(例如,报告接收者终端12)。
车载设备104包括例如乘客的移动设备或可穿戴设备、携带或附接到用户的车辆的信息设备、用于搜索到任意目的地的路线的导航设备等。
输出控制单元105控制向用户的汽车的乘客或车辆外部的各种信息的输出。输出控制单元105例如通过生成包括视觉信息或听觉信息中的至少一个的输出信号并且将输出信号供应给输出单元106,来控制视觉信息(例如,图像数据)和听觉信息(例如,声音数据)从输出单元106的输出。具体而言,例如,输出控制单元105合成由数据获取单元102的不同成像设备捕获的图像数据以生成鸟瞰图像、全景图像等,并将包括所生成的图像的输出信号供应给输出单元106。此外,例如,输出控制单元105生成包括关于碰撞、接触、进入危险地带等危险的警告声音、警告消息等的声音数据,并将包括所生成的声音数据的输出信号供应给输出单元106。
输出单元106包括能够将视觉信息或听觉信息输出到用户的汽车的乘客或车辆外部的设备。例如,输出单元106包括显示设备(包括信息显示单元252(图8))、仪表板、音频扬声器、耳机、可穿戴设备(诸如由乘客穿戴的眼镜型显示器)、投影仪、灯等。除了具有正常显示的设备之外,输出单元106中包括的显示设备可以是例如平视显示器(HUD)、透射型显示器或用于在驾驶员的视场中显示视觉信息的显示器(诸如具有增强现实(AR)显示功能的设备)。此外,输出单元106具有带反馈功能的配置,该反馈功能例如在不能检测到驾驶员的视线和预测到注意力不集中的驾驶或打盹驾驶时促进唤醒。具有反馈功能的配置的示例包括在驾驶员的视场中显示视觉信息的设备(信息显示单元252(图8)等)、输出声音的扬声器253(图8)、使用麦克风和扬声器等通过对话代理与驾驶员的交谈来促进唤醒(例如,询问姓名和出生日期以使驾驶员做出响应,并确定响应是否正确)的机构、使安全带振动的机构、使方向盘振动的机构、使座椅振动的机构,以及生成刺激性气味的刺激性气味生成单元251(图8)。
驱动系统控制单元107通过生成各种控制信号并将控制信号供应给驱动系统108来控制驱动系统108。此外,驱动系统控制单元107根据需要向除了驱动系统108之外的每个单元供应控制信号,以发布驱动系统108等的控制状态的通知。
驱动系统108包括与用户的汽车的驱动系统相关的各种设备。例如,驱动系统108包括用于生成内燃机或驱动马达的驱动力的驱动力生成设备、用于将驱动力传递至车轮的驱动力传递机构、用于调整转向角的转向机构、用于生成制动力的制动设备、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动助力转向设备等。
车身系统控制单元109通过生成各种控制信号并将控制信号供应给车身系统110来控制车身系统110。此外,车身系统控制单元109根据需要向除了车身系统110之外的每个单元供应控制信号并通知车身系统110等的控制状态。
车身系统110包括安装在车身上的各种车身系统设备。例如,车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如,前灯、倒车灯、刹车灯、指示灯、雾灯等)等。
存储单元111包括例如磁存储设备(诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD))、半导体存储设备、光学存储设备、磁-光存储设备等。存储单元111存储由车辆控制系统100的每个单元使用的各种程序、数据等。例如,存储单元111存储地图数据,诸如三维高精度地图(诸如动态地图)、比高精度地图精度低但是覆盖广域的全局地图,以及包括用户的汽车周围的信息的局部地图。
自动驾驶控制单元112执行与诸如自主行驶或驾驶辅助之类的自动驾驶相关的控制。具体而言,例如,自动驾驶控制单元112为了实现高级驾驶员辅助系统(ADAS)功能而执行协作控制,所述ADAS功能包括用户的汽车的碰撞避免或减震、基于车辆间隙的跟随行驶、车辆速度维持行驶、用户的汽车的碰撞警告、用户的汽车的车道偏离警告等。此外,例如,自动驾驶控制单元112为了不需要取决于驾驶员的操作来自主行驶的自动驾驶等而执行协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、情况分析单元133、计划单元134和操作控制单元135。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。
车辆外部信息检测单元141基于来自车辆控制系统100的每个单元的数据或信号来执行检测用户的汽车外部的信息的处理。例如,车辆外部信息检测单元141对用户的汽车周围的物体执行检测处理、识别处理和跟踪处理,以及检测到该物体的距离的处理。要检测的物体包括例如车辆、人、障碍物、结构、道路、交通信号灯、交通标志、道路标记等。此外,例如,车辆外部信息检测单元141执行检测用户的汽车周围的环境的处理。要检测的周围环境包括例如天气、温度、湿度、亮度、道路表面状况等。车辆外部信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153以及操作控制单元135的紧急避险单元171等。
车辆内部信息检测单元142基于来自车辆控制系统100的每个单元的数据或信号来执行检测车辆内部的信息的处理。例如,车辆内部信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘客检测处理、车辆内部环境检测处理等。要被检测的驾驶员的状态包括例如身体状况、唤醒水平、注意力水平、疲劳水平、视线方向等。要被检测的车辆中的环境包括例如温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理的结果的数据供应给情况分析单元133的情况识别单元153、操作控制单元135的紧急避险单元171等。
车辆状态检测单元143基于来自车辆控制系统100的每个单元的数据或信号来执行检测用户的汽车的状态的处理。要被检测的用户的汽车的状态包括例如速度、加速度、转向角、异常的存在或不存在、异常的内容、驾驶操作的状态、电动座椅的位置和倾斜、门锁的状态、其它车载设备的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给情况分析单元133的情况识别单元153、操作控制单元135的紧急避险单元171等。
自身位置估计单元132基于来自车辆控制系统100的单元(诸如车辆外部信息检测单元141和情况分析单元133的情况识别单元153)的数据或信号来执行估计用户的汽车的位置、姿势等的处理。此外,自身位置估计单元132根据需要生成要用于估计自身位置的局部地图(下文中称为自身位置估计地图)。自身位置估计地图是使用诸如同时定位和地图绘制(SLAM)等的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153等。此外,自身位置估计单元132使存储单元111存储自身位置估计地图。
情况分析单元133执行分析用户的汽车及其周围的情况的处理。情况分析单元133包括地图分析单元151、交通规则识别单元152、情况识别单元153和情况预测单元154。
地图分析单元151根据需要使用来自车辆控制系统100的单元(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号来执行分析存储在存储单元111中的各种地图的处理,并构建包括自动驾驶处理所需的信息的地图。地图分析单元151将构建的地图供应给交通规则识别单元152、情况识别单元153、情况预测单元154以及计划单元134的路线计划单元161、行动计划单元162和操作计划单元163等。
交通规则识别单元152基于来自车辆控制系统100的单元(诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来执行识别用户的汽车周围的交通规则的处理。通过识别处理,例如,识别了用户的汽车周围的位置和信号状态、用户的汽车周围的交通管制的内容、可行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应给情况预测单元154等。
情况识别单元153基于来自车辆控制系统100的单元(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来执行识别关于用户的汽车的情况的处理。例如,情况识别单元153执行识别用户的汽车的情况、用户的汽车周围的情况、用户的汽车的驾驶员的情况等的处理。此外,情况识别单元153根据需要生成用于识别用户的汽车周围的情况的局部地图(下文中称为情况识别地图)。情况识别地图是例如占用网格地图(occupancy grid map)。
要被识别的用户的汽车的情况包括例如用户的汽车的位置、姿态、移动(例如,速度、加速度、移动方向等)以及异常的存在或不存在、异常的内容等。要被识别的用户的汽车周围的情况包括例如周围静止物体的类型和位置、周围移动物体的类型、位置和运动(例如,速度、加速度、移动方向等)、周围道路的配置和道路表面的状况,以及周围天气、温度、湿度、亮度等。要识别的驾驶员的状态包括例如身体状况、唤醒水平、注意力水平、疲劳水平、视线(视线方向)运动、驾驶操作等。
情况识别单元153将指示识别处理的结果的数据(根据需要,包括情况识别地图)供应给自身位置估计单元132、情况预测单元154等。此外,情况识别单元153使存储单元111存储情况识别地图。
情况预测单元154基于来自车辆控制系统100的单元(诸如地图分析单元151、交通规则识别单元152和情况识别单元153)的数据或信号来执行预测关于用户的汽车的情况的处理。例如,情况预测单元154执行预测用户的汽车的情况、用户的汽车周围的情况、驾驶员的情况等的处理。
要被预测的用户的汽车的情况包括例如用户的汽车的行为、异常的发生、可行进距离等。要被预测的用户的汽车周围的情况包括例如用户的汽车周围的移动物体的行为、信号状态的改变、诸如天气之类的环境的改变等。要被预测的驾驶员的情况包括例如驾驶员的行为和身体状况等。
情况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和情况识别单元153的数据一起供应给计划单元134的路线计划单元161、行动计划单元162、操作计划单元163等。
路线计划单元161基于来自车辆控制系统100的单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划到目的地的路线。例如,路线计划单元161基于全局地图来设置从当前位置到指定的目的地的路线。此外,例如,路线计划单元161基于拥堵、事故、交通法规、施工等情况以及驾驶员的身体状况等适当地改变路线。路线计划单元161将指示计划的路线的数据供应给行动计划单元162等。
行动计划单元162基于来自车辆控制系统100的单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划用于在计划的时间内在由路线计划单元161计划的路线中安全行驶的用户的汽车的行动。例如,行动计划单元162制定开始、停止、行驶方向(例如,向前、向后、向左转、向右转、转弯等)、驾驶车道、行驶速度、超车等的计划。行动计划单元162将指示用户的汽车的计划的行动的数据供应给操作计划单元163等。
操作计划单元163基于来自车辆控制系统100的单元(诸如地图分析单元151和情况预测单元154)的数据或信号来计划用于实现由行动计划单元162计划的行动的用户的汽车的操作。例如,操作计划单元163计划加速、减速、行驶轨迹等。操作计划单元163将指示用户的汽车的计划的操作的数据供应给操作控制单元135的加速和减速控制单元172和方向控制单元173等。
操作控制单元135控制用户的汽车的操作。操作控制单元135包括紧急避险单元171、加速和减速控制单元172和方向控制单元173。
紧急避险单元171基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果来执行检测紧急情况(诸如碰撞、接触、进入危险地带、驾驶员的异常、车辆的异常等)的处理。在紧急避险单元171检测到紧急情况的发生的情况下,紧急避险单元171计划用户的汽车的操作用于避免紧急情况,诸如突然停止或急转弯。紧急避险单元171将指示用户的汽车的计划的操作的数据供应给加速和减速控制单元172、方向控制单元173等。
加速和减速控制单元172执行加速和减速用于实现由操作计划单元163或紧急避险单元171计划的用户的汽车的操作。例如,加速和减速控制单元172计算用于实现计划的加速、减速或突然停止的驱动力生成设备或制动设备的控制目标值,并且将指示计算出的控制目标值的控制命令供应给驱动系统控制单元107。
方向控制单元173控制方向用于实现由操作计划单元163或紧急避险单元171计划的用户的汽车的操作。例如,方向控制单元173计算用于实现由操作计划单元163或紧急避险单元171计划的行驶轨迹或急转弯的转向机构的控制目标值,并将指示计算出的控制目标值的控制命令供应给驱动系统控制单元107。
<<4.本公开的报告接收者终端的配置示例>>
接下来,将参考图6中的框图描述本公开的报告接收者终端的配置示例。
图6中的报告接收者终端12包括控制单元181、通信单元182、显示单元183、语音呼叫单元184和生命数据发送/接收管理单元185。
控制单元181包括处理器、存储器等,并且控制报告接收者终端12的整个操作。
通信单元182包括以太网板等,并且经由图4中的网络14与车辆11和医疗操作者终端13交换数据、程序等,以实现相互通信。
显示单元183包括液晶显示器(LCD)、有机电致发光(EL)等,并且由控制单元181控制以显示各种类型的信息。此外,显示单元183包括触摸面板等,接收报告接收者的操作输入,并且将与该操作输入对应的信号输出到控制单元181。
语音呼叫单元184包括例如麦克风和扬声器,接收报告接收者发出的呼叫语音的输入,将呼叫语音转换成预定信号,并经由通信单元182将预定信号发送到车辆11和医疗操作者终端13。此外,语音呼叫单元184将与经由通信单元182从车辆11或医疗操作者终端13发送的呼叫语音相关的预定信号转换成语音信号,并且从扬声器输出作为语音的语音信号以便让报告接收者收听。通过这样的操作,语音呼叫单元184实现了报告接收者与车辆11的驾驶员或乘客以及操作医疗操作者终端13的医疗操作者之间的呼叫。
当车辆11报告驾驶员的异常身体状况时,生命数据发送/接收管理单元185经由通信单元182接收发送的生命数据并且将接收到的生命数据发送到医疗操作者终端13。此时,生命数据包括指定检测到异常身体状况的驾驶员的信息和车辆11的位置信息。因此,生命数据发送/接收管理单元185将生命数据与指定驾驶员的信息和车辆11的位置信息一起发送到医疗操作者终端13。
响应于该发送,从医疗操作者终端13向报告接收者终端12发送能够提供处于异常身体状况的驾驶员所需的医学治疗的医疗机构的信息和紧急车辆的必要性的信息。
在此,控制单元181用作代理,例如,控制通信单元182,接收能够提供医学治疗的医疗机构的信息(包括位置信息),并将接收到的信息发送到车辆11。此外,在基于紧急车辆的必要性的信息确定紧急车辆的安排是必要的情况下,控制单元181用作代理,并且考虑到根据车辆11的位置信息和能够提供医学治疗的医疗机构的位置信息的运送路线来指定紧急车辆和车辆11之间的汇合点的适当位置,并将汇合点的位置信息与能够提供医学治疗的医疗机构的信息一起发送到车辆11。
<<5.本公开的医疗操作者终端的配置示例>>
接下来,将参考图7描述医疗操作者终端13的配置示例。
图7中的医疗操作者终端13包括控制单元191、通信单元192、显示单元193、语音呼叫单元194和病历管理单元195。
控制单元191包括处理器、存储器等,并且控制医疗操作者终端13的整个操作。
通信单元192包括以太网板等,并且经由图4中的网络14与车辆11和报告接收者终端12交换数据、程序等,以实现相互通信。
显示单元193包括液晶显示器(LCD)、有机电致发光(EL)等,并且由控制单元181控制以显示各种类型的信息。此外,显示单元193包括触摸面板等,接收医疗操作者的操作输入,并且将与操作输入对应的信号输出到控制单元191。
语音呼叫单元194包括例如麦克风和扬声器,接收医疗操作者发出的呼叫语音的输入,将呼叫语音转换成预定信号,并经由通信单元182将预定信号发送到车辆11和报告接收者终端12。此外,语音呼叫单元194将与经由通信单元192从车辆11或报告接收者终端12发送的呼叫语音相关的预定信号转换成语音信号,并且从扬声器输出作为语音的语音信号以便让医疗操作者收听。通过这样的操作,语音呼叫单元194实现了医疗操作者与车辆11的驾驶员或乘客以及操作报告接收者终端12的报告接收者之间的呼叫。
当车辆11报告驾驶员的异常身体状况时,病历管理单元195接收经由通信单元192发送的生命数据。此时,生命数据包括指定检测到异常身体状况的驾驶员的信息和车辆11的位置信息。因此,病历管理单元195基于指定处于异常身体状况的驾驶员的信息来搜索预先存储的病历的电子数据。当检测到处于异常身体状况的驾驶员的病历时,病历管理单元195将检测到的病历的信息输出到控制单元191,并使显示单元193显示病历。
医疗操作者判断处于异常身体状况的驾驶员所需的医学治疗,根据能够提供治疗的医疗机构与车辆11的位置信息之间的位置关系来指定适当的医疗机构,确定紧急车辆的必要性,并且操作包括触摸面板的显示单元193以输入必要的信息。
控制单元191控制通信单元192以经由报告接收者终端12将医疗机构的信息和输入到显示单元193的紧急车辆的必要性的信息发送到车辆11。
此时,控制单元191可以用作代理,并且确定必要的治疗,指定能够提供治疗的医疗机构,确定紧急车辆的必要性,并代表医疗操作者向处于异常身体状况的驾驶员提出建议。此外,控制单元191可以代替医生来用作代理,并且将确定结果按原样经由报告接收者终端12发送到车辆11。
<<6.基于生命数据检测异常身体状况并实现考虑到安全性的驾驶控制的自动驾驶控制单元的配置示例>>
接下来,将参考图8的框图描述自动驾驶控制单元的配置示例,该自动驾驶控制单元基于生命数据检测异常身体状况并在检测到异常身体状况时实现考虑到安全性的车辆11的驾驶控制。
注意的是,图8图示了摘录车辆控制系统100的配置示例的部分的配置示例,在实现参考图5描述的车辆控制系统100的功能的配置示例中,该车辆控制系统100基于视线检测和生命数据来检测异常身体状况并实现考虑到安全性的驾驶控制。
数据获取单元102包括用于检测视线的车载传感器231和用于检测心跳、脉搏、体表脉搏波和体温的生命数据获取传感器232。具体而言,这里所指的车载传感器231与具有参考图1描述的图像传感器和ToF传感器(ToF相机)的功能的相机Cam对应。
即,车载传感器231从由图像传感器获取的图像或由ToF传感器获取的距离图像获取驾驶员H的面部附近的图像,并将该图像输出到自动驾驶控制单元112中的检测单元131的车辆内部信息检测单元142。车辆内部信息检测单元142基于面部图像来提取指定驾驶员的图像中的信息(特征量信息),并基于图像中的瞳孔等的位置确定驾驶员H的视线检测的存在或不存在(包括视线是否正在预定方向上凝视预定时间或更长时间),并将确定结果输出到情况分析单元133的情况识别单元153。
此外,生命数据获取传感器232具有与例如图1中的可穿戴设备B对应的配置,并且检测驾驶员H的心跳、脉搏、体表脉搏波和体温的信息并将该检测结果输出到自动驾驶控制单元112中的检测单元131的车辆内部信息检测单元142。车辆内部信息检测单元142将包括驾驶员的心跳、脉搏、体表脉搏波和体温的信息的生物特征数据输出到情况分析单元133的情况识别单元153。
此外,生命数据获取传感器232是例如微波传感器,其以非接触方式检测驾驶员的心跳并将检测结果输出到自动驾驶控制单元112的检测单元131的车辆内部信息检测单元142。
情况识别单元153根据检测到的指定驾驶员的信息、视线检测以及诸如心跳、脉搏、体表脉搏波和体温之类的生命数据来检测驾驶员的异常身体状况,并根据检测结果实现驾驶控制。情况识别单元153包括车辆内部环境识别单元201、反馈控制单元202、异常情况处理单元203和E-call控制单元(E-call)204。
车辆内部环境识别单元201根据自动驾驶级别,基于从检测单元131的车辆内部信息检测单元142供应的车辆内部信息(包括视线检测的存在或不存在,诸如心跳、脉搏、体表脉搏波和体温等的生命数据)来确定车辆中的驾驶员是否正在发生异常身体状况。
更具体而言,车辆内部环境识别单元201可以能够通过机器学习等基于生命数据来确定驾驶员是否正在发生异常身体状况。例如,可以提供一种模型,该模型使用用于根据视线检测的存在或不存在和诸如体温、心跳、脉搏和体表脉搏波等的生命数据确定是否正在发生异常身体状况的指标来做出确定。可以使用任何机器学习技术(诸如全基因组关联研究(GWAS)、深度学习或支持向量机(SVM))来实现这样的模型。
此外,车辆内部环境识别单元201可以控制通信单元103将生命数据发送到能够判断异常身体状况的存在或不存在的专业医疗机构等,并基于专业医疗机构等的判断结果来确定驾驶员是否正在发生异常身体状况。
然而,如果重复通过控制通信单元103将生命数据实时发送到专业医疗机构并获得判断结果的信息交换,那么如果通信状态差,则判断中可能存在时滞或者可能无法获得判断结果。
因此,车辆内部环境识别单元201可以使用由车辆内部环境识别单元201本身基于机器学习做出的驾驶员的异常身体状况的存在或不存在的确定结果和专业医疗机构的判断结果两者。
即,车辆内部环境识别单元201始终确定驾驶员的异常身体状况的发生,但是当通信状态良好时可以使用高度可靠的专业医疗机构的判断结果,并且当通信状态变差时可以使用其自身的确定结果。
注意的是,在下文中,将设想车辆内部环境识别单元201本身基于生命数据确定驾驶员的异常身体状况的发生而给出描述,但是可以通过任何上述方法确定驾驶员的异常身体状况的发生。
此外,车辆内部环境识别单元201将确定结果输出到情况预测单元154和反馈控制单元202。
更具体而言,在自动驾驶级别为级别4或5的情况下,即使在注意力不集中的驾驶或打盹驾驶中,也可以继续自动驾驶,因此车辆内部环境识别单元201不检测用于确定注意力不集中的驾驶或打盹驾驶的视线,而是检测诸如心跳、脉搏、体表脉搏波和体温之类的生命数据并在不存在异常的情况下将确定结果供应给情况预测单元154。
情况预测单元154不对正在由计划单元134执行的操作计划添加改变,并且允许当前的自动驾驶继续,因为只要供应指示没有异常的确定结果,就预测没有情况改变。
此外,在自动驾驶级别为级别4或5的情况下,当在生命数据中检测到异常时,立即确定驾驶员正在发生异常身体状况。
此外,在自动驾驶级别为级别3或更低级别的情况下,在注意力不集中的驾驶或打盹驾驶中不能继续自动驾驶,因此除了生命数据之外还确定包括视线检测结果的异常身体状况的存在或不存在,通过该视线检测结果,可以确定注意力不集中的驾驶或打盹驾驶。
更具体而言,车辆内部环境识别单元201基于检测单元131是否不能检测到由车载传感器231获取的视线(例如,在预定时间或更长时间内视线方向没有变化或瞳孔张开)以及作为由生命数据获取传感器232检测到的生命数据的心跳、脉搏、体表脉搏波、体温中是否存在异常,来确定驾驶员的异常身体状况的存在或不存在。
然后,车辆内部环境识别单元201基于从检测单元131供应的视线检测和生命数据(诸如心跳、脉搏、体表脉搏波和体温)来确定驾驶员的异常的存在或不存在,并且如果存在异常则控制反馈控制单元202向驾驶员给出促进唤醒的反馈。
即,即使在心跳、脉搏、体表脉搏波、体温等的任何中都没有异常但是在视线方向不改变、瞳孔张开等时,也有注意力不集中的驾驶或打盹驾驶等的可能性。如上所述,在异常身体状况是注意力不集中的驾驶或打盹驾驶的情况下,可以通过唤醒驾驶员来解决异常。
因此,反馈控制单元202基于从车辆内部环境识别单元201供应的确定结果经由输出控制单元105使输出单元106向驾驶员给出促进唤醒的反馈。
更具体而言,反馈控制单元202通过经由输出控制单元105控制输出单元106的刺激性气味生成单元251生成刺激性气味并刺激驾驶员的嗅觉来给出促进唤醒的反馈。
此外,反馈控制单元202通过控制输出单元106的信息显示单元252经由输出控制单元105呈现促进唤醒的图像信息(包括文本、移动图像等)来给出促进驾驶员的唤醒的反馈。
此外,反馈控制单元202通过控制输出单元106的扬声器253经由输出控制单元105输出声音来给出促进驾驶员的唤醒的反馈。
此外,反馈控制单元202通过用作语音代理并向驾驶员询问问题并使驾驶员回答问题来给出促进意识的唤醒的反馈。例如,反馈控制单元202通过用作语音代理并实现询问驾驶员的姓名和出生日期的对话并使驾驶员回答问题并呈现答案是否适当来给出促进唤醒的反馈。
反馈控制单元202通过刺激性气味生成单元251、信息显示单元252、扬声器253或语音代理功能的对话中的至少一个向驾驶员给出促进唤醒的反馈。
注意的是,不仅可以通过刺激性气味生成单元251生成的刺激性气味、信息显示单元252显示的图像、扬声器253输出的声音以及由语音代理功能进行的对话来给出反馈,而且还可以通过其它方法,只要可以呈现用于促进驾驶员唤醒的信息即可。
用于给出反馈的更具体配置包括例如显示促进驾驶员唤醒的信息的平视显示器(HUD)、使安全带振动的配置、使方向盘振动的配置、使座椅振动的配置等。
在即使反馈控制单元202给出促进驾驶员唤醒的反馈,异常状态仍持续的情况下,车辆内部环境识别单元201将指示驾驶员的身体状况异常的信息作为确定结果输出到异常情况处理单元203。
当被通知驾驶员的异常身体状况的发生时,异常情况处理单元203根据自动驾驶级别来实现考虑到安全性的处理。
更具体而言,在自动驾驶级别为级别4或5的情况下,异常情况处理单元203控制通信单元103向报告接收者终端12发送从自身位置估计单元132获取的车辆11的位置信息(自身位置)、驾驶员的生命数据、识别驾驶员的信息、以及报告驾驶员正在发生异常身体状况的信息。
由此,报告接收者终端12接收车辆11的位置信息、生命数据以及识别驾驶员的信息连同指示驾驶员正在发生异常身体状况的报告。报告接收者终端12将车辆11的位置信息、生命数据和识别驾驶员的信息发送到医疗操作者终端13。
当医疗操作者终端13接收到车辆11的位置信息、生命数据和识别驾驶员的信息时,医疗操作者终端13基于识别驾驶员的信息来搜索预先存储的病历。
在医疗操作者终端13可以找到处于异常身体状况的驾驶员的病历的情况下,医疗操作者终端13将找到的病历的信息与生命数据一起呈现给医疗操作者,并请求医疗操作者判断处于异常身体状况的驾驶员所需的医学治疗,并指定能够提供治疗的医疗机构。
在医疗操作者终端13无法找到处于异常身体状况的驾驶员的病历的情况下,医疗操作者终端13将生命数据呈现给医疗操作者,并请求医疗操作者判断处于异常身体状况的驾驶员所需的医学治疗并指定能够提供治疗的医疗机构。
响应于该请求,医疗操作者判断处于异常身体状况的驾驶员所需的医学治疗,指定能够提供该治疗的医疗机构,判断紧急车辆的救助的必要性,并将判断结果输入到医疗操作者终端13。
在此,由于车辆11、报告接收者终端12和医疗操作者终端13可以彼此呼叫,因此,如果可能,那么车辆11的驾驶员或乘客、报告接收者和医疗操作者进行呼叫。当可以从呼叫中获取更多信息时,医疗操作者可以考虑到呼叫内容来判断处于异常身体状况的驾驶员所需的医学治疗。
此外,在经由通信单元103被通知来自车辆11的驾驶员或乘客的请求的情况下,或者在基于生命数据确认心跳或脉搏的停止、异常体表脉搏波或异常体温的情况下,或者在基于作为用于识别驾驶员的信息的面部附近的图像确认大量出血的情况下,异常情况处理单元203经由报告接收者终端12进行紧急呼叫警察局、紧急医疗机构等,而不管来自医疗操作者的输入信息的存在或不存在。
医疗操作者13将能够提供治疗的医疗机构的信息和由医疗操作者输入的紧急车辆的救助的必要性的信息发送到报告接收者终端12。
注意的是,由医疗操作者做出的处于异常身体状况的驾驶员所需的医学治疗的判断、能够提供治疗的医疗机构的指定以及对紧急车辆的运送的必要性的判断可以通过代理功能来实现,通过在医疗操作者终端13中使用生命数据、病历信息和呼叫内容通过机器学习来配置该代理功能。
在这样的情况下,代理功能可以根据病历信息(在找到病历的情况下)、生命数据、呼叫内容等来确定处于异常身体状况的驾驶员所需的医学治疗,并指定能够提供治疗的医疗机构,并提出和确定紧急车辆的救助的必要性。
然后,可以将通过代理功能的建议结果和确定结果作为由医疗操作者输入的能够提供治疗的医疗机构的信息和紧急车辆的救助的必要性的信息发送到报告接收者终端12。
报告接收者终端12接收能够提供治疗的医疗机构的信息和紧急车辆的运送的必要性的信息。
在此,在紧急车辆的救助是不必要的情况下,报告接收者终端12基于能够提供治疗的医疗机构的信息来指定医疗机构的位置信息,并将该位置信息发送到车辆11。
此外,在紧急车辆的救助是必要的情况下,报告接收者终端12安排紧急车辆,基于能够提供治疗的医疗机构的信息来指定医疗机构的位置信息,将该位置信息与车辆11的位置信息一起对照,并考虑运送路线来指定与紧急车辆的最优汇合点。然后,报告接收者终端12将医疗机构的位置信息和与指定紧急车辆的最优汇合点的位置信息发送到车辆11。
在此,车辆11的异常情况处理单元203控制通信单元103以获取从报告接收者终端12发送的医疗机构的位置信息(与紧急车辆的最优汇合点的位置信息)。然后,异常情况处理单元203向情况预测单元154输出指示驾驶员的异常身体状况的发生的信息、医疗机构的位置信息(或者如果包括与紧急车辆的最优汇合点,那么包括与紧急车辆的最优汇合点的位置信息的信息)。
情况预测单元154基于医疗机构的位置信息(以及与紧急车辆的最优汇合点)根据驾驶员的异常身体状况的发生预测到医疗机构的运送是必要的,并且将根据预测结果的命令输出到计划单元134的操作计划单元163。
更具体而言,情况预测单元154预测驾驶员正在发生异常身体状况的可能性,并且将基于预测结果实现驾驶控制的命令发送到计划单元134。
当从情况预测单元154发送基于预测结果的用于实现驾驶控制的命令时,计划单元134的操作计划单元163根据自动驾驶级别来计划用于实现驾驶控制的操作。
更具体而言,由于在自动驾驶级别是级别5的情况下驾驶是全自动驾驶,因此操作计划单元163计划用于运送到医疗机构的位置信息(或在有与紧急车辆的汇合点的位置信息的情况下,与紧急车辆的汇合点的位置信息)的操作。
操作计划单元163将计划的操作计划供应给操作控制单元135的车辆控制单元211。
车辆控制单元211控制加速和减速控制单元172以及方向控制单元173以根据操作计划来控制车辆11的操作,并且将车辆11移动到医疗机构或与紧急车辆的汇合点。
此外,由于在自动驾驶级别为级别4的情况下根据行驶的位置或环境,驾驶员是必要的,因此处理取决于是否有必要更换驾驶员以及是否可能更换而不同。
即,在车辆11被移动到医疗机构或与紧急车辆的汇合点时当有必要更换驾驶员并且可能更换时,操作计划单元163向输出单元106的信息显示单元252呈现医疗机构的位置信息或与紧急车辆的汇合点的位置信息,以呈现用于促使要更换的驾驶员来驾驶车辆11的信息。
在这种情况下,更换后的驾驶员驾驶车辆11并且移动到医疗机构或与紧急车辆的汇合点。
此外,在车辆11被移动到医疗机构或与紧急车辆的汇合点时当有必要更换驾驶员但不能更换时,不能继续自动驾驶,因此操作计划单元163使车辆11停止在安全的地点。
此外,异常情况处理单元203控制通信单元103请求报告接收者终端12安排紧急车辆的救助,因为驾驶员不能被更换。
此时,报告接收者终端12将车辆11的位置信息发送到紧急车辆,并指示紧急车辆前往车辆11停止的现场。
然后,处于异常身体状况的驾驶员等待紧急车辆的到达并被紧急车辆运送。
注意的是,在自动驾驶级别为级别4的情况下,根据行驶环境,驾驶员的更换是不必要的,并且在可以继续自动驾驶的情况下,处理类似于自动驾驶级别为级别5的情况。
此外,在自动驾驶级别为级别3的情况下,当驾驶员不能执行驾驶时,不能继续自动驾驶。因此,异常情况处理单元203使操作计划单元134在将驾驶员的异常身体状况报告给报告接收者终端12之前,经由情况预测单元154发送用于使车辆11停止在安全的地点的命令。
利用该命令,操作计划单元163将车辆11停止在安全的地点。
后续处理类似于自动驾驶级别为级别4的情况。
此外,在自动驾驶级别为级别0至2之一的情况下,自动驾驶本身不能继续,并且车辆11不能停止在安全的地点。因此,异常情况处理单元203使操作计划单元134在将驾驶员的异常身体状况报告给报告接收者终端12之前,经由情况预测单元154发送用于使车辆11停止在驾驶车道上同时打开危险警告灯的命令。
利用该命令,操作计划单元163打开危险警告灯并使车辆11停止在驾驶车道上。
后续处理类似于自动驾驶级别为级别4的情况。
当由检测单元131检测到碰撞事故的发生时检测到的撞击等的信息时,E-call控制单元204通过自身位置估计单元132获取自身位置的信息并控制通信单元103向将事故的发生报告给警察局、医院等的中心进行指示已经发生了事故的包括自身位置信息的紧急呼叫。
注意的是,当异常情况处理单元203进行紧急呼叫并且E-call控制单元204报告事故的发生时,有可能在一次事故中进行两次紧急呼叫。在准备这样的情况时,期望包括识别信息,通过该识别信息可以识别作为从相同车辆11发布的相同紧急呼叫的两个紧急呼叫。
利用该配置,即使发布多个紧急呼叫,接收紧急呼叫的中心也可以基于包括在紧急呼叫中的识别信息来确认紧急呼叫是从相同车辆11发送的相同紧急呼叫。
可替代地,异常情况处理单元203和E-call控制单元204可以协作并且仅将报告之一发送到中心。
在任何一种情况下,都有可能抑制多个机构(警察局、医疗机构等)相应地对相同车辆11中已经发生的一次事故作为多个紧急呼叫来响应的浪费。
<<7.自动驾驶控制处理>>
接下来,将参考图9中的流程图描述图8中的车辆11的自动驾驶控制处理。
在步骤S11中,车辆内部信息检测单元142将数据获取单元102的车载传感器231和生命数据获取传感器232的检测结果作为车辆内部信息输出到情况识别单元153的车辆内部环境识别单元201。
即,数据获取单元102的车载传感器231捕获驾驶员的面部附近的图像,并将捕获的图像输出到检测单元131的车辆内部信息检测单元142。车辆内部信息检测单元142基于在捕获的图像中驾驶员的瞳孔的位置来检测驾驶员的视线,并且将检测到的视线与面部附近的图像一起作为车辆内部信息输出到情况识别单元153中的车辆内部环境识别单元201。
更具体而言,车辆内部信息检测单元142基于例如或者由图像传感器捕获的图像或者由车载传感器231的ToF传感器捕获的距离图像来检测驾驶员的瞳孔的位置,并根据瞳孔的位置或凝视时间来检测驾驶员的视线。
此外,例如,车辆内部信息检测单元142可以例如在白天期间在明亮的环境中根据由车载传感器231的图像传感器捕获的图像来检测视线,并在夜间或暴风雨天气的黑暗环境中基于由ToF传感器捕获的距离图像来检测视线。注意的是,通过组合图像传感器和ToF传感器,可以提高鲁棒性或可以缩短处理时间。
此外,生命数据获取传感器232包括例如图1中的可穿戴设备B、微波传感器、温暖传感器等,并且获取驾驶员的心跳、脉搏、体表脉搏波和体温作为生命数据,并将生命数据输出到检测单元131的车辆内部信息检测单元142。车辆内部信息检测单元142将诸如心跳、脉搏、体表脉搏波和体温之类的生命数据的检测结果作为车辆内部信息输出到情况识别单元153的车辆内部环境识别单元201。
在步骤S12中,情况分析单元133中的情况识别单元153的车辆内部环境识别单元201基于包括视线检测结果和生命数据(诸如心跳、脉搏、体表脉搏波和体温)的车辆内部信息来执行驾驶员异常确定处理,并确定驾驶员的异常身体状况的存在或不存在。
注意的是,下面将参考图10中的流程图描述驾驶员异常确定处理的细节。
在步骤S13中,车辆内部环境识别单元201基于驾驶员异常确定处理的处理结果来确定驾驶员是否正在发生异常身体状况。
在步骤S13中,在确定驾驶员正在发生异常身体状况的情况下,处理前进到步骤S14。注意的是,在确定没有发生异常身体状况的情况下,跳过步骤S14中的处理。
在步骤S14中,车辆内部环境识别单元201指示异常情况处理单元203执行异常情况处理。
在步骤S15中,异常情况处理单元203执行异常情况处理,并且在驾驶员已经发生了异常身体状况的状态下执行驾驶控制。注意的是,下面将参考图11至15中的流程图描述异常情况处理的细节。
在步骤S16中,车辆内部环境识别单元201确定是否要终止自动驾驶,并且处理返回到步骤S11,并且在不终止自动驾驶的情况下,重复后续处理。然后,在步骤S16中,当确定自动驾驶将被终止时,终止处理。
通过以上系列的处理,检测驾驶员的视线和生命数据作为车辆内部信息,基于车辆内部信息确定驾驶员的异常身体状况的存在或不存在,当检测到异常身体状况时执行异常情况处理,并且执行考虑到安全性的驾驶控制。
因此,例如,即使驾驶中的驾驶员落入发生诸如失去意识之类的异常身体状况的紧急情况中,也可以实现考虑到驾驶员和乘客以及周围车辆和路人的安全性的驾驶控制。
<<8.驾驶员异常确定处理>>
接下来,将参考图10中的流程图描述驾驶员异常确定处理。
在步骤S51中,车辆内部环境识别单元201基于获取的车辆内部信息中面部附近的图像来指定驾驶员。驾驶员的信息可以是与面部图像相关联地预先注册的个人信息,或者可以是除了面部图像之外的生物特征信息本身,诸如指纹或视网膜图案。
在步骤S52中,车辆内部环境识别单元201确定自动驾驶级别是否是或者级别4或者级别5,并且在自动驾驶级别是或者级别4或者级别5的情况下,处理前进到步骤S53。
在步骤S53中,车辆内部环境识别单元201在获取的车辆内部信息中获取诸如驾驶员的心跳、脉搏、体表脉搏波和体温之类的生命数据。
在步骤S54中,车辆内部环境识别单元201确定获取的生命数据是否正常。此处的确定可以由车辆内部环境识别单元201基于生命数据使用由机器学习实现的代理来唯一地做出,或者可以将生命数据发送到专业医疗机构并且可以参考专业医疗的确定结果,或者可以使用代理和专业医疗机构两者的确定结果。
在步骤S54中,在生命数据没有异常的情况下,处理前进到步骤S55。
在步骤S55中,车辆内部环境识别单元201通知驾驶员没有处于异常身体状况。
在步骤S54中,在生命数据异常的情况下,处理前进到步骤S56。
在步骤S56中,车辆内部环境识别单元201通知驾驶员处于异常身体状况。
此外,在步骤S52中,在自动驾驶级别既不是级别4也不是级别5的情况下,即,在自动驾驶级别是级别0至3之一的情况下,处理前进到步骤S57。
在步骤S57中,车辆内部环境识别单元201从车辆内部信息中读取视线检测结果,并确定是否已经检测到视线。在步骤S57中,在已经检测到视线的情况下,确定驾驶员没有正在发生异常身体状况,并且处理前进到步骤S55。
此外,在步骤S57中,在还没有检测到视线的情况下,即,怀疑注意力不集中的驾驶或打盹驾驶,并且怀疑驾驶员的身体状况有某种异常,处理前进到步骤S58。
在步骤S58中,车辆内部环境识别单元201指示反馈控制单元202向驾驶员给出反馈。反馈控制单元202通过刺激性气味生成单元251、信息显示单元252、输出单元106的扬声器253或经由输出控制单元105的语音代理功能中的至少一个向来自无法检测到视线的状态(诸如注意力不集中的驾驶或打盹驾驶)的驾驶员给出促进唤醒的反馈。
在步骤S59中,车辆内部环境识别单元201再次获取车辆内部信息,并确定是否通过该反馈促进驾驶员的唤醒并且视线变得能够被检测到。
在步骤S59中,在确定视线变得能够被检测到的情况下,确定没有正在发生驾驶员的异常身体状况,并且处理前进到步骤S55。
另一方面,在步骤S59中,在确定不能检测到视线的状态继续的情况下,处理前进到步骤S60。
在步骤S60中,车辆内部环境识别单元201获取车辆内部信息中的诸如驾驶员的心跳、脉搏、体表脉搏波和体温之类的生命数据。
在步骤S61中,车辆内部环境识别单元201确定生命数据是否异常。在步骤S61中,在作为生命数据的心跳、脉搏、体表脉搏波、体温等异常的情况下,确定驾驶员处于异常身体状况,并且处理前进到步骤S56。
此外,在步骤S61中,在车辆内部环境识别单元201确定生命数据没有异常的情况下,处理前进到步骤S62。
在步骤S62中,车辆内部环境识别单元201确定步骤S58至S62中的系列的处理是否已经被重复了N次。在还没有重复N次反馈的情况下,处理前进到步骤S58。即,当生命数据没有异常并且没有检测到视线时,通过重复步骤S58至S61中的处理来重复反馈直到检测到视线为止。重复步骤S58至S62中的系列的处理的情况是其中尽管重复地给出了反馈,然而不能检测到视线的状态继续,但是生命数据没有异常的状态继续的情况。
在这样的情况下,存在生命数据没有异常,但是注意力不集中的驾驶或打盹驾驶继续的可能性。因此,确定驾驶员正在发生异常身体状况,其不能从生命数据中确定,并且处理前进到步骤S56。
通过以上处理,在自动驾驶级别为级别4或级别5的情况下,除非生命数据异常,否则确定驾驶员没有正在发生异常身体状况。
此外,在自动驾驶级别为级别0至3之一的情况下,确定当驾驶员存在并且没有执行注意力不集中的驾驶或打盹驾驶(即,检测到视线)时驾驶员未发生异常身体状况。在此,当驾驶员正在执行注意力不集中的驾驶或打盹驾驶(即,未检测到视线)时,给出促进驾驶员唤醒的反馈。当通过反馈变得检测到视线时,确定驾驶员没有正在发生异常身体状况。
此外,在所有以下情况下,确定驾驶员正在发生异常身体状况:在自动驾驶级别为级别4或级别5的情况下,生命数据异常;当驾驶员存在并且正在执行注意力不集中的驾驶或打盹驾驶时,即使给出反馈,也无法通过唤醒检测到视线,并且生命数据异常;以及在自动驾驶级别为级别0至3之一的情况下,没有检测到视线,但是即使在重复地给出了反馈时重复了N次生命数据没有异常的状态。
<<9.异常情况处理>>
接下来,将参考图11中的流程图描述异常情况处理。当通过驾驶员异常确定处理确定正在发生异常身体状况时,执行异常情况处理。
即,在步骤S71中,异常情况处理单元203确认当前的自动驾驶级别。
在步骤S72中,异常情况处理单元203确定当前自动驾驶级别是否为级别5。
在步骤S72中,在自动驾驶级别为级别5的情况下,处理前进到步骤S73。
在步骤S73中,异常情况处理单元203执行自动驾驶级别5对应处理,以控制车辆11的驾驶。注意的是,稍后将参考图12中的流程图描述自动驾驶级别5对应处理的细节。
在步骤S73中,在自动驾驶级别不是级别5的情况下,处理前进到步骤S74。
在步骤S74中,异常情况处理单元203确定当前自动驾驶级别是否为级别4。
在步骤S74中,在自动驾驶级别为级别4的情况下,处理前进到步骤S75。
在步骤S75中,异常情况处理单元203执行自动驾驶级别4对应处理,以控制车辆11的驾驶。注意的是,稍后将参考图13中的流程图描述自动驾驶级别4对应处理的细节。
在步骤S74中,在自动驾驶级别不是级别4的情况下,处理前进到步骤S76。
在步骤S76中,异常情况处理单元203确定当前自动驾驶级别是否为级别3。
在步骤S76中,在自动驾驶级别为级别3的情况下,处理前进到步骤S77。
在步骤S77中,异常情况处理单元203执行自动驾驶级别3对应处理,以控制车辆11的驾驶。注意的是,稍后将参考图14中的流程图描述自动驾驶级别3对应处理的细节。
在步骤S76中,在自动驾驶级别不是级别3(即,自动驾驶级别不是级别3至5之一)的情况下,将自动驾驶级别确定为级别2或更低级别,并且处理前进到步骤S78。
在步骤S78中,异常情况处理单元203执行紧急停止支持处理以控制车辆11的驾驶。注意的是,下面将参考图15中的流程图描述紧急停止支持处理的细节。
通过以上处理,在自动驾驶级别是级别5至3之一的情况下,执行自动驾驶级别5对应处理、自动驾驶级别4对应处理或自动驾驶级别3对应处理,并且在自动驾驶级别为级别0至2之一的情况下,执行紧急停止支持处理。即,执行根据自动驾驶级别的异常情况处理,并且执行用于实现考虑到驾驶员和乘客以及周围车辆、路人等的安全性的驾驶控制的处理。
<<10.自动驾驶级别5对应处理>>
接下来,将参考图12中的流程图描述自动驾驶级别5对应处理。注意的是,由包括车辆11、报告接收者终端12和医疗操作者终端13的图4中的交通系统1协同地执行以下处理。
即,在步骤S91中,车辆11的异常情况处理单元203控制通信单元103将指示驾驶员已经发生异常身体状况的报告发送到报告接收者终端12。
响应于该报告,在步骤S121中,在报告接收者终端12中,控制单元181控制通信单元182以确定是否已经从车辆11发送了指示驾驶员已经发生异常身体状况的报告并重复类似的处理,直到报告被发送了为止。
然后,在步骤S121中,当发送了指示驾驶员已经发生异常身体状况的报告时,处理前进到步骤S122。
此外,在步骤S92中,在车辆11中,异常情况处理单元203控制通信单元103将包括驾驶员的面部图像的标识驾驶员的信息、车辆11的位置信息以及生命数据发送到报告接收者终端12。
响应于该发送,在步骤S122中,在报告接收者终端12中,控制单元181控制生命数据发送/接收管理单元185接收经由通信单元182从车辆11发送的包括驾驶员的面部图像的标识驾驶员的信息以及包括车辆11的位置信息的生命数据。
在步骤S123中,控制单元181控制生命数据发送/接收管理单元185将从车辆11发送的包括驾驶员的面部图像的标识驾驶员的信息和包括车辆11的位置信息的生命数据经由通信单元182发送到医疗操作者终端13。
此外,在步骤S151中,在医疗操作者终端13中,病历管理单元195控制通信单元192以确定是否已经从报告接收者终端12发送了用于标识驾驶员的信息和包括车辆11的位置信息的生命数据,并重复类似的处理,直到信息被发送了为止。
在步骤S151中,在已经发送了标识驾驶员的信息和包括车辆11的位置信息的生命数据的情况下,处理前进到步骤S152。
在步骤S152中,病历管理单元195接收标识驾驶员的信息和包括车辆11的位置信息的生命数据,基于标识驾驶员的信息搜索病历,并确定是否预先登记了处于异常身体状况的驾驶员的病历。
在步骤S152中,在登记了处于异常身体状况的驾驶员的病历的情况下,处理前进到步骤S153。
在步骤S153中,控制单元191将发送的生命数据与登记的病历信息一起呈现给显示单元193。
另一方面,在步骤S152中,在未登记病历的情况下,处理前进到步骤S154。
在步骤S154中,控制单元191将发送的生命数据呈现给显示单元193。
通过该处理,在显示单元193上显示处于异常身体状况的驾驶员的生命数据的信息,并且在有病历的情况下病历信息被一起显示,由此医疗操作者可以判断要对处于异常身体状况的驾驶员应用的治疗。
此外,在步骤S93中,在车辆11中,异常情况处理单元203基于车辆内部信息确定至少或者驾驶员或者乘客是否可以与报告接收者终端12的报告接收者和医疗操作者终端13的医疗操作者进行呼叫。
即,异常情况处理单元203基于由数据获取单元102的各种传感器检测到的驾驶员或乘客的图像和生命数据(例如,基于驾驶员或乘客是否有意识能够进行呼叫,或者驾驶员或乘客是否可以对问题做出适当的响应)来确定呼叫是否是可能的。
在步骤S93中,在确定可能呼叫的情况下,处理前进到步骤S94。
在步骤S94中,异常情况处理单元203控制通信单元103请求用于实现与报告接收者终端12和医疗操作者终端13的呼叫的连接,并设置其中可能呼叫的通信状态。
此外,异常情况处理单元203被设置为能够接受通过数据获取单元102中的麦克风输入的驾驶员或乘客的呼叫语音的输入。
此外,异常情况处理单元203被设置为能够通过输出单元106的扬声器253输出从报告接收者终端12和医疗操作者终端13发送的呼叫语音。
在此,在步骤S124中,在报告接收者终端12中,控制单元181控制通信单元182以确定在车辆11中呼叫是否是可能的并且存在用于实现该呼叫的连接请求。在步骤S124中,在车辆11中可能呼叫并且存在用于实现该呼叫的连接请求的情况下,处理前进到步骤S125。
在步骤S125中,控制单元181控制通信单元182设置用于实现与车辆11的呼叫的通信,并且控制语音呼叫单元184变得能够接受由报告接收者发出的语音的输入并输出来自车辆11和医疗操作者终端13的语音。
通过该处理,操作报告接收者终端12的报告接收者变得能够与车辆11的驾驶员或乘客进行呼叫。
类似地,在步骤S155中,在医疗操作者终端13中,控制单元191控制通信单元192以确定在车辆11中呼叫是否是可能的并且存在用于实现该呼叫的连接请求。在步骤S155中,在控制单元191确定在车辆11中可能呼叫并且存在用于实现该呼叫的连接请求的情况下,处理前进到步骤S156。
在步骤S156中,控制单元191控制通信单元192设置用于实现与车辆11的呼叫的通信,并且控制语音呼叫单元194变得能够接受由医疗操作者发出的语音的输入并输出来自车辆11和报告接收者终端12的语音。通过该处理,操作医疗操作者终端13的医疗操作者变得能够与车辆11的驾驶员或乘客以及报告接收者进行呼叫。
通过系列的处理,车辆11的驾驶员或乘客、操作报告接收者终端12的报告接收者以及操作医疗操作者终端13的医疗操作者之间的呼叫变得可能。
注意的是,在步骤S93、S124和S155中不可能呼叫的情况下,跳过步骤S194、S125和S156中的处理。
即,在这种情况下,不能进行车辆11的驾驶员或乘客、报告接收者和医疗操作者之间的呼叫。然而,即使在驾驶员或乘客不能进行呼叫的情况下,报告接收者和医疗操作者也可能能够进行呼叫,或者可能通过与车辆11进行呼叫,除了驾驶员或乘客之外的路人可能进入车辆11并在车辆11的现场进行呼叫。即,不管驾驶员或乘客是否可以进行呼叫,都可能进行呼叫。
在步骤S95中,车辆11的异常情况处理单元203根据车辆内部信息以及从数据获取单元102供应的驾驶员或乘客的呼叫内容来确定对警察局或医疗机构的紧急呼叫是否是必要的。
在步骤S95中,在确定紧急呼叫是必要的或者驾驶员或乘客请求紧急呼叫的情况下,处理前进到步骤S96。
在步骤S96中,异常情况处理单元203控制通信单元103将紧急呼叫发送到报告接收者终端12。
响应于紧急呼叫,在步骤S126中,在报告接收者终端12中,控制单元181控制通信单元182以确定是否已经从车辆11发送了紧急呼叫。然后,在步骤S126中,在已经发送了紧急呼叫的情况下,处理前进到步骤S127。
在步骤S127中,控制单元181控制通信单元182以接收从车辆11发送的紧急呼叫并将紧急呼叫转移到医疗操作者终端13。此时,如果有必要,那么控制单元181可以控制通信单元182将紧急呼叫发送到其它设施,诸如警察局和紧急医疗设施。
此外,在步骤S157中,在医疗操作者终端13中,控制单元191控制通信单元192以确定是否已经经由报告接收者终端12从车辆11发送了紧急呼叫。然后,在步骤S157中,在发送了紧急呼叫的情况下,处理前进到步骤S158。
在步骤S158中,控制单元191控制通信单元192经由报告接收者终端12接收从车辆11发送的紧急呼叫。在这种情况下,控制单元191还将指示已经从车辆11发送了紧急呼叫的信息呈现给显示单元193。
通过该呈现,操作医疗操作者终端13的医疗操作者还可以识别已经从车辆11发送了紧急呼叫作为信息。
即,通过系列的处理,医疗操作者基于在医疗操作者终端13的显示单元193上呈现的生命数据、病历信息(在已经搜索到病历的情况下)以及紧急呼叫的存在或不存在来判断对于处于异常身体状况的驾驶者的治疗,并操作显示单元193的触摸面板等并输入判断结果。
在此,要输入的信息是紧急车辆的救助的必要性的信息和治疗所需的医疗机构的信息。通过仅输入必要的治疗,可以根据车辆11的位置信息来搜索能够提供治疗的医疗机构。
注意的是,在步骤S95、S126和S157的处理中确定没有紧急呼叫的情况下,跳过步骤S96、S127和S158的处理并且变为没有紧急呼叫的状态。
此外,医疗操作者终端13的控制单元191可以具有代表医疗操作者的代理功能,并且可以确定所需的医学治疗,指定能够提供治疗的医疗机构,并根据诸如病历信息、生命数据以及紧急呼叫的存在或不存在之类的信息来确定紧急车辆的救助的必要性。
注意的是,可以使用诸如病历信息、生命数据和紧急呼叫的存在或不存在之类的信息以及对应的治疗和紧急车辆的救助的存在或不存在的信息通过机器学习等来实现确定医学治疗的代理功能。
在步骤S159中,控制单元191根据医疗操作者在显示单元193的触摸面板上的操作是否已经指示了紧急车辆的救助或代理功能的确定结果来确定紧急车辆的救助是否是必要的。
在步骤S159中,在紧急车辆的救助是必要的情况下,处理前进到步骤S160。
在步骤S160中,控制单元191控制通信单元192将请求紧急车辆的救助的信息和治疗所需的医疗机构的信息发送到报告接收者终端12。
此外,在步骤S159中,在紧急车辆的救助不是必要的情况下,处理前进到步骤S161。
在步骤S161中,控制单元191控制通信单元192将治疗所需的医疗机构的信息发送到报告接收者终端12。
响应于该发送,在步骤S128中,报告接收者终端12的控制单元181控制通信单元192接收从医疗操作者终端13发送的医疗机构的信息(包括在紧急车辆的救助是必要的情况下指示紧急车辆的救助的信息)。
在步骤S129中,控制单元181确定紧急车辆的救助是否是必要的。
在步骤S129中,在紧急车辆的救助是必要的情况下,处理前进到步骤S130。
在步骤S130中,控制单元181基于指定的医疗机构的信息和车辆11的位置信息,根据医疗机构的位置信息,考虑到到医疗机构的运送路线,来指定车辆11和紧急车辆之间的汇合点。
在步骤S131中,控制单元181控制通信单元182将指定的医疗机构的信息和与紧急车辆的汇合点的位置信息发送到车辆11。此时,控制单元181控制通信单元182安排紧急车辆在汇合点处救助处于异常身体状况的驾驶员并前往指定的医疗机构。
另一方面,在步骤S129中,在紧急车辆的救助是不必要的情况下,处理前进到步骤S132。
在步骤S132中,控制单元181控制通信单元182将指定的医疗机构的信息发送到车辆11。
然后,在步骤S97中,在车辆11中,异常情况处理单元203控制通信单元103接收从报告接收者终端12发送的医疗机构的信息,并且确定紧急车辆的救助是否是必要的,即,是否包括与紧急车辆的汇合点的位置信息。
在步骤S97中,在包括与紧急车辆的汇合点的位置信息并且紧急车辆的救助是必要的情况下,处理前进到步骤S98。
在步骤S98中,异常情况处理单元203获取用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构的信息以及与紧急车辆的汇合点的信息。
在步骤S99中,异常情况处理单元203控制信息显示单元252呈现用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构的信息,并朝着与紧急车辆的汇合点移动车辆11。
更具体而言,异常情况处理单元203将与紧急车辆的汇合点的位置信息输出到情况预测单元154。
情况预测单元154基于与紧急车辆的汇合点的位置信息来预测将车辆11移动到汇合点的位置信息,并且将指示朝着汇合点的移动的命令输出到计划单元134。
在计划单元134中,操作计划单元163根据从情况预测单元154供应的命令来计划朝着汇合点移动的操作,并将该操作输出到操作控制单元135。
在操作控制单元135中,车辆控制单元211使用加速和减速控制单元172以及方向控制单元173来控制驱动系统控制单元107操作驱动系统108,以使车辆11朝着汇合点移动。
此外,在步骤S97中,在不包括与紧急车辆的汇合点的位置信息并且紧急车辆的救助不是必要的情况下,处理前进到步骤S100。
在步骤S100中,异常情况处理单元203获取用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构的信息。
在步骤S101中,异常情况处理单元203控制信息显示单元252呈现用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构的信息,并朝着医疗机构移动车辆11。
通过以上系列的处理,在自动驾驶级别5的情况下,即使在驾驶期间驾驶员已经发生了异常身体状况,也将指示已经发生了异常身体状况的信息与指定驾驶员的信息和生命数据一起报告。此外,经由报告接收者终端12将在报告时发送的指定驾驶员的信息和生命数据发送到医疗操作者终端13,因此医疗操作者根据指定驾驶者的信息来搜索病历。然后,医疗操作者判断用于处于异常身体状况的驾驶员的适当的治疗,并可以基于生命数据和病历信息(在已经搜索到病历的情况下)指定能够提供治疗的医疗机构。
此外,此时,如果驾驶员或乘客可以与报告接收者和医疗操作者进行呼叫,那么除了生命数据和病历信息之外还可以基于呼叫的更详细的信息来适当地判断要对处于异常身体状况的驾驶员应用的治疗。
此外,可以通过来自驾驶员或乘客的请求或通过异常情况处理单元203的确定,将紧急呼叫发送到报告接收者终端12。
注意的是,在驾驶员或乘客不能进行呼叫或紧急呼叫,并且报告接收者或医疗操作者根据生命数据、车辆内部的图像等判断紧急呼叫是必要的情况下,报告接收者或医疗操作者可以从报告接收者终端12或医疗操作者终端13发布紧急呼叫。
此外,在医疗操作者判断紧急车辆的救助是必要的情况下,报告接收者终端12考虑到到医疗机构的运送路线来指定紧急车辆与车辆11之间的汇合点、安排紧急车辆赶往汇合点并将汇合点的位置信息发送到车辆11以向汇合点移动。
由此,由于可以对处于异常身体状况的驾驶员应用更迅速的治疗,因此即使在驾驶员的身体状况严重的情况下,也可以提高救生率。
此外,基于生命数据和病历信息的对紧急呼叫的必要性、所需的治疗内容以及能够提供治疗的医疗机构的指定、紧急车辆的救助的必要性的确定等可以通过使报告接收者终端12和医疗操作者终端13具有代理功能而完全自动化。
<<11.自动驾驶级别4对应处理>>
接下来,将参考图13中的流程图描述自动驾驶级别4对应处理。注意的是,图13的流程图中的步骤S171至S174和S176至S182、步骤S201至S209、S211、S212和S214以及步骤S221至S231中的处理与图12中的步骤S91至S101、步骤S121至S132以及步骤S151至S161中的处理类似,并且因此将省略其描述。
即,图13中的流程图与图12中的流程图的不同之处在于步骤S175、S183和S184中的处理以及步骤S210和S213中的处理。
在步骤S175中,异常情况处理单元203确定是否有必要更换驾驶员并且是否可能更换驾驶员,或者是否不必更换。
在自动驾驶级别4的情况下,当满足对于自动驾驶的条件时,有可能进行自动驾驶并且不必更换驾驶员,而当不满足对于自动驾驶的条件时,需要将驾驶员更换为能够驾驶的驾驶员。
因此,在不满足对于自动驾驶的条件的情况下,更换是必要的,并且因此确定是否有必要更换驾驶员并且是否可能更换,或者是否不必更换。
是否有必要更换驾驶员以及是否可能更换可以根据乘客关于可更换驾驶员的声明的存在或不存在来确定,或者当乘客不存在或者当乘客存在但由于某种故障的发生而不能响应时,异常情况处理单元203可以确定不可能更换。
在步骤S175中,在有必要更换驾驶员并且可能更换或者不必更换驾驶员的情况下,处理前进到步骤S176。注意的是,步骤S176和后续步骤中的处理与图12中的步骤S95和后续步骤中的处理类似。
此外,在步骤S176中,在有必要更换驾驶员但不可能更换的情况下,确定不能继续自动驾驶,并且处理前进到步骤S183。
在步骤S183中,异常情况处理单元203将车辆11停止在安全的地点。
更具体而言,异常情况处理单元203向情况预测单元154通知指示有必要更换驾驶员但不可能更换的信息。响应于该通知,情况预测单元154预测自动驾驶不能继续,并且向计划单元134通知指示车辆11停止在安全的地点的命令。
在计划单元134中,操作计划单元163根据从情况预测单元154供应的命令来计划停止在安全的地点的操作,并将该操作输出到操作控制单元135。
在操作控制单元135中,车辆控制单元211使用加速和减速控制单元172以及方向控制单元173来控制驱动系统控制单元107操作驱动系统108,以便使车辆11停止在安全的地点。
在步骤S184中,异常情况处理单元203控制通信单元103向报告接收者终端12发送请求紧急车辆到现场的救助的通知。
通过系列的处理,车辆11在停止在安全位置的同时等待紧急车辆的救助。
此外,在步骤S210中,在报告接收者终端12中,控制单元181控制通信单元182以确定是否请求紧急车辆到现场的救助。即,确定是否请求紧急车辆的救助以及是否请求到车辆11停止的位置的现场的救助。
在步骤S210中,在请求紧急车辆的救助的情况下,处理前进到步骤S213。
在步骤S213中,控制单元181控制通信单元182发送车辆11的位置信息,并且安排紧急车辆前往车辆11停止的现场。
通过以上处理,紧急车辆在车辆11停止在安全的地点的位置处前往救助处于异常身体状况的驾驶员。
由此,当自动驾驶级别为级别4并且即使有必要更换驾驶员但不可能更换驾驶员时,也将车辆11停止在安全的地点并通过紧急车辆救助处于异常身体状况的驾驶员,并且然后将其运送到能够提供必要治疗的医疗机构。
注意的是,在自动驾驶级别4处,在有必要更换驾驶员并且可能更换驾驶员的情况下,不能继续自动驾驶。因此,在步骤S180和S182中,更换后的驾驶员需要驾驶车辆11并且移动到医疗机构或与紧急车辆的汇合点。
因此,在步骤S180中,异常情况处理单元203控制信息显示单元252呈现用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构和与紧急车辆的汇合点的信息,并且呈现用于促使更换后的驾驶员驾驶并朝着与紧急车辆的汇合点移动车辆11的信息。利用这种呈现,更换后的驾驶员驾驶车辆11并朝着与紧急车辆的汇合点移动。然后,在汇合点处,处于异常身体状况的驾驶员被紧急车辆救助并被运送到医疗机构,并且对处于异常身体状况的驾驶员应用必要的治疗。
此外,在步骤S182中,异常情况处理单元203控制信息显示单元252呈现用于对处于异常身体状况的驾驶员应用医学治疗的医疗机构的信息,并呈现促使更换后的驾驶员驾驶并朝着医疗机构移动车辆11的信息。通过该呈现,更换后的驾驶员驾驶并朝着医疗机构移动车辆11。然后,在医疗机构中,对处于异常身体状况的驾驶员应用必要的治疗。
因此,在自动驾驶级别为级别4的情况下,并且即使在有必要更换驾驶员而不可能更换的状态下,也可以实现适当地考虑处于异常身体状况的驾驶员和乘客以及周围的车辆和路人的安全性的驾驶控制。
<<12.自动驾驶级别3对应处理>>
接下来,将参考图14中的流程图描述自动驾驶级别3对应处理。注意的是,图14中的流程图中的步骤S252至S264、步骤S281至S294以及步骤S311至S321中的处理与图13中的步骤S171至S182和S184、步骤S201至S214以及步骤S221至S231中的处理类似,并且因此将省略其描述。
即,图14中的流程图与图13中的流程图的不同之处在于,在步骤S251中,异常情况处理单元203在步骤S252中的用于通知驾驶员已经发生了异常身体状况的处理之前将车辆11停止在安全的地点。
即,在自动驾驶级别为级别3的情况下,驾驶员可以驾驶的状态为对于自动驾驶的条件。因此,在当驾驶员已经发生了异常身体状况时,变得不可能进行自动驾驶,并且因此在初始处理中,车辆11停止在安全的地点。
后续处理类似于参考图13中的流程图描述的在自动驾驶级别是级别4的情况下的处理。
通过以上处理,即使当自动驾驶级别为级别3时,车辆11也停止在安全的地点,并且处于异常身体状况的驾驶员被运送到能够提供必要治疗的医疗机构。
因此,即使自动驾驶级别为级别3,也可以执行适当地考虑安全性的处理。
<<13.紧急停止支持处理>>
接下来,将参考图15中的流程图描述紧急停止支持处理。注意的是,图15中的流程图中的步骤S332至S344、步骤S361至S374以及步骤S391至S401中的处理与图14中的步骤S252至S264、步骤S281至S294以及步骤S311至S321中的处理类似,并且因此将省略其描述。
即,图15中的流程图与图14中的流程图的不同之处在于,异常情况处理单元203在步骤S331中打开危险警告灯的同时使车辆11减速并停止。
即,在自动驾驶级别为级别0至2之一的情况下,当驾驶员处于异常身体状况时,驾驶员在当驾驶员已经发生了异常身体状况时变得不能驾驶,并且此外无法选择安全的地点。因此,在打开危险警告灯的同时,即使在驾驶车道上,车辆11也减速并停止。
后续处理类似于参考图13中的流程图描述的在自动驾驶级别为级别4的情况下的处理。
注意的是,在自动驾驶级别为级别0至2之一的情况下,一旦驾驶员已经发生了异常身体状况,就需要更换驾驶员。因此,在步骤S336中,确定是否可能更换驾驶员,而不是确定是否有必要更换驾驶员并且是否可能更换,或者是否不必更换驾驶员。然后,在步骤S336中,当可能更换驾驶员时,处理前进到步骤S337,并且更换后的驾驶员驾驶车辆11并将车辆11移动到汇合点或医疗机构。此外,在步骤S336中,当不可能更换驾驶员时,处理前进到步骤S344,并且安排紧急车辆到车辆11停止的现场。
通过以上处理,即使当自动驾驶级别为级别0至2之一时,车辆11在驾驶车道上减速并停止同时开启危险警告灯,并且由更换后的驾驶员通过车辆11将处于异常身体状况的驾驶员运送到医疗机构或汇合点或由紧急车辆运送到医疗机构。
因此,即使在自动驾驶级别为级别0至2之一的情况下,也可以实现适当考虑处于异常身体状况的驾驶员和乘客以及周围的车辆和路人的安全性的驾驶控制。
<<14.通过软件执行的示例>>
顺便提及,上述系列的处理可以由硬件或软件执行。在通过软件执行系列的处理的情况下,构成软件的程序从记录介质安装到集成在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用计算机等中。
图16图示了通用计算机的配置示例。该计算机集成了中央处理器(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
连接到输入/输出接口1005的是包括用于用户输入操作命令的诸如键盘和鼠标之类的输入设备的输入单元1006、向显示设备输出处理操作画面和处理结果的图像的输出单元1007、包括用于存储程序和各种数据的硬盘驱动器的存储单元1008以及包括局域网(LAN)适配器等并且经由以互联网为代表的网络执行通信处理的通信单元1009。此外,相对于诸如磁盘(包括软盘)、光盘(包括压缩式光盘只读存储器(CD-ROM)或数字多功能光盘(DVD))、磁光盘(包括微型盘(MD))或半导体存储器之类的可移除记录介质1011读写数据的驱动器1010连接到输入/输出接口1005。
CPU 1001根据ROM 1002中存储的程序或从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质1011读取、安装在存储单元1008中并从存储单元1008加载到RAM1003的程序执行各种类型的处理。此外,RAM 1003适当地存储CPU 1001执行各种类型的处理所需的数据等。
在如上所述配置的计算机中,例如,CPU 1001将存储在存储单元1008中的程序加载到RAM 1003中,并经由输入/输出接口1005和总线1004执行该程序,由此执行上述系列的处理。
例如,可以将要由计算机(CPU 1001)执行的程序记录在可移除记录介质1011上作为例如打包介质等并提供。此外,可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中,通过将可移除记录介质1011附接到驱动器1010,可以经由输入/输出接口1005将程序安装到存储单元1008。此外,程序可以由通信单元1009经由有线或无线传输介质接收,并被安装在存储单元1008中。除了上述方法之外,还可以预先将程序安装在ROM 1002或存储单元1008中。
注意的是,由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序,或者可以是并行的或在必要的定时(诸如在进行呼叫时)执行的程序。
注意的是,图16中的CPU 1001实现了图8中的自动驾驶控制单元112的功能。此外,图16中的存储单元1008实现了图8中的存储单元111。
此外,在本说明书中,术语“系统”是指一组多个配置元件(设备、模块(零件)等),并且所有配置元件是否在相同壳体中是无关的。因此,容纳在分开的壳体中并经由网络连接的多个设备以及在一个壳体中容纳多个模块的一个设备都是系统。
注意的是,本公开的实施例不限于上述实施例,并且可以在不脱离本公开的主旨的情况下进行各种修改。
例如,本公开可以采用云计算的配置,其中一个功能经由网络由多个设备合作共享和处理。
此外,上述流程图中描述的步骤可以由一个设备执行,或者可以由多个设备共享和执行。
此外,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个设备执行,或者可以由多个设备共享和执行。
注意的是,本公开可以具有以下配置。
<1>一种信息处理装置,包括:
生命数据获取单元,被配置为获取车辆驾驶员的生命数据;以及
异常情况处理单元,被配置为在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
<2>根据<1>所述的信息处理装置,还包括:
异常身体状况确定单元,被配置为基于生命数据来确定驾驶员是否正在发生异常身体状况。
<3>根据<2>所述的信息处理装置,其中
异常身体状况确定单元基于生命数据通过机器学习来确定驾驶员是否正在发生异常身体状况。
<4>根据权利要求2所述的信息处理装置,还包括:
通信单元,被配置为发送生命数据;以及
获取单元,被配置为基于生命数据来获取驾驶员正在发生异常身体状况的确定结果,其中
异常身体状况确定单元根据获取的确定结果来确定驾驶员是否正在发生异常身体状况。
<5>根据<4>所述的信息处理装置,其中
通信单元将生命数据发送到专业医疗机构,所述专业医疗机构基于生命数据来确定异常身体状况的发生的存在或不存在,
获取单元获取由专业医疗机构基于生命数据对异常身体状况的发生的存在或不存在的确定结果,并且
异常身体状况确定单元根据由专业医疗机构基于生命数据对异常身体状况的发生的存在或不存在的确定结果来确定驾驶员是否正在发生异常身体状况。
<6>根据<2>所述的信息处理装置,其中
在自动驾驶级别为级别4或级别5的情况下,异常身体状况确定单元基于生命数据来确定驾驶员是否正在发生异常身体状况。
<7>根据<2>所述的信息处理装置,其中,
在自动驾驶级别为级别4或级别5的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并且通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
<8>根据<7>所述的信息处理装置,其中
异常情况处理单元接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息和指示是否需要紧急车辆的救助的信息,所述信息是响应于所述通知而被发送的,并在需要紧急车辆的救助时通过操作所述车辆移动到与紧急车辆的汇合点而将所述车辆控制到安全状态。
<9>根据<7>所述的信息处理装置,其中
异常情况处理单元将所述指示驾驶员正在发生异常身体状况的通知与生命数据和指定驾驶员的信息一起发送,并接收基于生命数据和利用指定驾驶员的信息搜索的病历信息的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
<10>根据<7>所述的信息处理装置,其中,
在自动驾驶级别为级别4的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在有必要更换驾驶员并且可能更换的情况下或者在不必要更换驾驶员的情况下,异常情况处理单元通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
<11>根据<7>所述的信息处理装置,其中,
在自动驾驶级别为级别4的情况下,当基于生命数据确定驾驶员正在发生异常身体状况并且有必要更换驾驶员但不可能更换时,异常情况处理单元通过操作所述车辆停止在安全的地点或操作所述车辆停止在安全的地点并请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
<12>根据<2>所述的信息处理装置,其中,
在自动驾驶级别为级别3的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,在操作所述车辆停止在安全的地点之后,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并通过呈现促使所述车辆移动到医疗机构的信息而将所述车辆控制到安全状态。
<13>根据<12>所述的信息处理装置,其中,
在自动驾驶级别为级别3的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在有必要更换驾驶员但不可能更换的情况下,异常情况处理单元通过请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
<14>根据<2>所述的信息处理装置,其中,
在自动驾驶级别为级别0至2之一的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,在操作所述车辆以打开危险警告灯并在减速的同时停止之后,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息响应于所述通知而被发送,并通过呈现促使所述车辆移动到医疗机构的信息而将所述车辆控制到安全状态。
<15>根据<14>所述的信息处理装置,其中,
在自动驾驶级别为级别0至2之一的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在不可能更换驾驶员的情况下,异常情况处理单元通过请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
<16>根据<2>至<5>中的任何一项所述的信息处理装置,其中,
在自动驾驶级别为级别0至3之一的情况下,并且当不能检测到驾驶员的视线时,异常身体状况确定单元基于生命数据确定驾驶员是否正在发生异常身体状况。
<17>根据<16>所述的信息处理装置,其中,
在不能检测到驾驶员的视线的情况下,并且当向驾驶员给出促进唤醒的反馈而仍不能检测到视线时,异常身体状况确定单元基于生命数据确定驾驶员是否正在发生异常身体状况。
<18>根据<17>所述的信息处理装置,其中,
在不能检测到驾驶员的视线的情况下,并且当向驾驶员给出促进唤醒的反馈而不能检测到视线的状态继续时,异常身体状况确定单元重复该反馈并根据该反馈是否已经被重复了预定次数来确定驾驶员是否正在发生异常身体状况。
<19>一种信息处理方法,包括:
生命数据获取处理,用于获取车辆驾驶员的生命数据;以及
异常情况处理,用于在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
<20>一种程序,用于使计算机用作:
生命数据获取单元,被配置为获取车辆驾驶员的生命数据;以及
异常情况处理单元,被配置为在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
附图标记列表
11 车辆
12 报告接收者终端
13 医疗操作者终端
100 车辆控制系统
102 数据获取单元
112 自动驾驶控制单元
133 情况分析单元
134 计划单元
135 操作控制单元
153 情况识别单元
154 情况预测单元
172 加速和减速控制单元
173 方向控制单元
185 生命数据发送/接收管理单元
195 病历管理单元
201 车辆内部环境识别单元
202 反馈控制单元
203 异常情况处理单元
204 E-call
211 车辆控制单元
231 车载传感器
232 生命数据获取传感器
251 刺激性气味生成单元
252 信息显示单元
253 扬声器

Claims (20)

1.一种信息处理装置,包括:
生命数据获取单元,被配置为获取车辆驾驶员的生命数据;以及
异常情况处理单元,被配置为在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
2.根据权利要求1所述的信息处理装置,还包括:
异常身体状况确定单元,被配置为基于生命数据来确定驾驶员是否正在发生异常身体状况。
3.根据权利要求2所述的信息处理装置,其中
异常身体状况确定单元基于生命数据通过机器学习来确定驾驶员是否正在发生异常身体状况。
4.根据权利要求2所述的信息处理装置,还包括:
通信单元,被配置为发送生命数据;以及
获取单元,被配置为基于生命数据来获取驾驶员正在发生异常身体状况的确定结果,其中
异常身体状况确定单元根据获取的确定结果来确定驾驶员是否正在发生异常身体状况。
5.根据权利要求4所述的信息处理装置,其中
通信单元将生命数据发送到专业医疗机构,所述专业医疗机构基于生命数据来确定异常身体状况的发生的存在或不存在,
获取单元获取由专业医疗机构基于生命数据对异常身体状况的发生的存在或不存在的确定结果,并且
异常身体状况确定单元根据由专业医疗机构基于生命数据对异常身体状况的发生的存在或不存在的确定结果来确定驾驶员是否正在发生异常身体状况。
6.根据权利要求2所述的信息处理装置,其中
在自动驾驶级别为级别4或级别5的情况下,异常身体状况确定单元基于生命数据来确定驾驶员是否正在发生异常身体状况。
7.根据权利要求2所述的信息处理装置,其中,
在自动驾驶级别为级别4或级别5的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并且通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
8.根据权利要求7所述的信息处理装置,其中
异常情况处理单元接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息和指示是否需要紧急车辆的救助的信息,所述信息是响应于所述通知而被发送的,并在需要紧急车辆的救助时通过操作所述车辆移动到与紧急车辆的汇合点而将所述车辆控制到安全状态。
9.根据权利要求7所述的信息处理装置,其中
异常情况处理单元将所述指示驾驶员正在发生异常身体状况的通知与生命数据和指定驾驶员的信息一起发送,并接收基于生命数据和利用指定驾驶员的信息搜索的病历信息的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
10.根据权利要求7所述的信息处理装置,其中,
在自动驾驶级别为级别4的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在有必要更换驾驶员并且可能更换的情况下或者在不必要更换驾驶员的情况下,异常情况处理单元通过操作所述车辆移动到医疗机构而将所述车辆控制到安全状态。
11.根据权利要求7所述的信息处理装置,其中,
在自动驾驶级别为级别4的情况下,当基于生命数据确定驾驶员正在发生异常身体状况并且有必要更换驾驶员但不可能更换时,异常情况处理单元通过操作所述车辆停止在安全的地点或操作所述车辆停止在安全的地点并请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
12.根据权利要求2所述的信息处理装置,其中,
在自动驾驶级别为级别3的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,在操作所述车辆停止在安全的地点之后,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息是响应于所述通知而被发送的,并通过呈现促使所述车辆移动到医疗机构的信息而将所述车辆控制到安全状态。
13.根据权利要求12所述的信息处理装置,其中,
在自动驾驶级别为级别3的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在有必要更换驾驶员但不可能更换的情况下,异常情况处理单元通过请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
14.根据权利要求2所述的信息处理装置,其中,
在自动驾驶级别为级别0至2之一的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,在操作所述车辆以打开危险警告灯并在减速的同时停止之后,异常情况处理单元将指示驾驶员正在发生异常身体状况的通知与生命数据一起发送,并接收基于生命数据的、能够对处于异常身体状况的驾驶员提供要应用的治疗的医疗机构的信息,所述医疗机构的信息响应于所述通知而被发送,并通过呈现促使所述车辆移动到医疗机构的信息而将所述车辆控制到安全状态。
15.根据权利要求14所述的信息处理装置,其中,
在自动驾驶级别为级别0至2之一的情况下,当基于生命数据确定驾驶员正在发生异常身体状况时,并且在不可能更换驾驶员的情况下,异常情况处理单元通过请求紧急车辆到所述车辆已经停止的位置的救助而将所述车辆控制到安全状态。
16.根据权利要求2所述的信息处理装置,其中,
在自动驾驶级别为级别0至3之一的情况下,并且当不能检测到驾驶员的视线时,异常身体状况确定单元基于生命数据确定驾驶员是否正在发生异常身体状况。
17.根据权利要求16所述的信息处理装置,其中,
在不能检测到驾驶员的视线的情况下,并且当向驾驶员给出促进唤醒的反馈而仍不能检测到视线时,异常身体状况确定单元基于生命数据确定驾驶员是否正在发生异常身体状况。
18.根据权利要求17所述的信息处理装置,其中,
在不能检测到驾驶员的视线的情况下,并且当向驾驶员给出促进唤醒的反馈而不能检测到视线的状态继续时,异常身体状况确定单元重复该反馈并根据该反馈是否已经被重复了预定次数来确定驾驶员是否正在发生异常身体状况。
19.一种信息处理方法,包括:
生命数据获取处理,用于获取车辆驾驶员的生命数据;以及
异常情况处理,用于在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
20.一种程序,用于使计算机用作:
生命数据获取单元,被配置为获取车辆驾驶员的生命数据;以及
异常情况处理单元,被配置为在基于生命数据获取到驾驶员正在发生异常身体状况的确定结果的情况下,根据自动驾驶级别将所述车辆控制到安全状态。
CN201980072371.1A 2018-11-13 2019-10-30 信息处理装置,信息处理方法和记录介质 Active CN113168772B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018212727 2018-11-13
JP2018-212727 2018-11-13
PCT/JP2019/042491 WO2020100584A1 (ja) 2018-11-13 2019-10-30 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN113168772A true CN113168772A (zh) 2021-07-23
CN113168772B CN113168772B (zh) 2023-06-02

Family

ID=70732053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072371.1A Active CN113168772B (zh) 2018-11-13 2019-10-30 信息处理装置,信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US20210387640A1 (zh)
EP (1) EP3882884A4 (zh)
JP (1) JP7424305B2 (zh)
CN (1) CN113168772B (zh)
WO (1) WO2020100584A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150440A (zh) * 2022-09-06 2022-10-04 深圳位置网科技有限公司 一种智能网联汽车信息交互方法、系统及可读存储介质
WO2023029407A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 用于车辆的向紧急呼叫中心发送信息的方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243389B2 (ja) * 2019-03-29 2023-03-22 マツダ株式会社 車両走行制御装置
JP7470540B2 (ja) * 2020-03-18 2024-04-18 本田技研工業株式会社 内部機器の異常判定装置、異常判定方法、及びプログラム
JP7459634B2 (ja) 2020-04-13 2024-04-02 マツダ株式会社 ドライバ異常判定システム
US20210331683A1 (en) * 2020-04-28 2021-10-28 Toyota Motor North America, Inc. Driver-provided vehicle passenger registry
JP7017294B2 (ja) * 2020-07-08 2022-02-08 三菱ロジスネクスト株式会社 有人無人フォークリフトおよび荷役システム
JP2022030999A (ja) * 2020-08-07 2022-02-18 トヨタ自動車株式会社 サーバ、プログラム及び制御方法
GB2598309B (en) * 2020-08-24 2023-08-30 Continental Automotive Tech Gmbh Vehicle electronic control device for determining a safety risk level of a driver of a vehicle
JP7476093B2 (ja) 2020-12-25 2024-04-30 株式会社クボタ 作業車両
WO2023063186A1 (ja) * 2021-10-12 2023-04-20 株式会社デンソー 車両用装置及び車両用推定方法
CN114179828B (zh) * 2021-12-22 2023-09-26 奇瑞汽车股份有限公司 汽车的控制方法、装置及计算机存储介质
CN114475564B (zh) * 2022-03-01 2023-09-26 清华大学苏州汽车研究院(相城) 一种车辆紧急应对控制方法、系统、车辆及存储介质
CN114793334B (zh) * 2022-06-21 2022-10-14 广州万协通信息技术有限公司 基于车联网的救援呼叫方法、装置、设备及存储介质
CN115626171B (zh) * 2022-12-07 2023-03-21 小米汽车科技有限公司 车辆自动驾驶方法、装置、电子设备及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252632A (ja) * 2011-06-06 2012-12-20 Nippon Seiki Co Ltd 運転者監視装置
CN102865874A (zh) * 2011-07-05 2013-01-09 爱信艾达株式会社 导航系统、导航方法及计算机可读存储介质
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
WO2016159150A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
CN106240559A (zh) * 2015-06-10 2016-12-21 富士重工业株式会社 车辆的行驶控制装置
CN106394553A (zh) * 2015-08-03 2017-02-15 Lg电子株式会社 驾驶员辅助设备及其控制方法
CN106491104A (zh) * 2016-10-25 2017-03-15 湖南大学 基于智能穿戴设备的驾驶员状态智能实时监测系统和方法
CN106716515A (zh) * 2014-09-11 2017-05-24 株式会社电装 驾驶员状态判定装置
JP2017144808A (ja) * 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両制御装置
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
CN107316436A (zh) * 2017-07-31 2017-11-03 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN107539320A (zh) * 2016-06-24 2018-01-05 丰田自动车株式会社 车辆行驶控制装置
CN107554525A (zh) * 2016-06-30 2018-01-09 丰田自动车株式会社 车辆控制装置
CN107709126A (zh) * 2015-04-03 2018-02-16 株式会社电装 行驶控制装置以及行驶控制方法
CN107773255A (zh) * 2016-08-26 2018-03-09 马自达汽车株式会社 驾驶员身体状况检测装置及驾驶员身体状况检测方法
CN107848538A (zh) * 2015-07-29 2018-03-27 日本艺美极株式会社 车辆的自动驾驶系统
CN108032860A (zh) * 2016-11-03 2018-05-15 福特全球技术公司 使用自主驾驶的紧急状况撤离
CN108464839A (zh) * 2018-03-22 2018-08-31 东华大学 一种基于机器学习的车载疲劳驾驶监测预警系统
WO2018163536A1 (ja) * 2017-03-06 2018-09-13 オムロン株式会社 運転者身体コンディション回復支援装置、方法およびプログラム
WO2018168052A1 (ja) * 2017-03-14 2018-09-20 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687356B2 (ja) * 1998-08-05 2005-08-24 いすゞ自動車株式会社 運行管理装置
JP2004246707A (ja) * 2003-02-14 2004-09-02 Mazda Motor Corp 自動車用健康管理システム、自動車用健康管理方法、及び、自動車用健康管理プログラム
JP2008040787A (ja) * 2006-08-07 2008-02-21 Sense It Smart Corp 疲労管理システム、疲労管理方法、及びプログラム
JP4372804B2 (ja) * 2007-05-09 2009-11-25 トヨタ自動車株式会社 画像処理装置
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
DE102011109564B4 (de) * 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
JP2013171569A (ja) 2012-02-23 2013-09-02 Toyota Motor Corp 車輌用緊急通報装置
CN106663377B (zh) * 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
US9262924B2 (en) * 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
WO2016151749A1 (ja) 2015-03-24 2016-09-29 パイオニア株式会社 自動運転支援装置、制御方法、プログラム及び記憶媒体
KR102368812B1 (ko) * 2015-06-29 2022-02-28 엘지전자 주식회사 차량 운전 보조 방법 및 차량
JP6488922B2 (ja) * 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置
US9884628B1 (en) * 2015-09-01 2018-02-06 State Farm Mutual Automobile Insurance Company Systems and methods for graduated response to impaired driving
JP6345199B2 (ja) * 2016-03-03 2018-06-20 三菱電機株式会社 自動運転制御装置
WO2017221603A1 (ja) * 2016-06-21 2017-12-28 株式会社デンソー 覚醒維持装置
JP6627684B2 (ja) * 2016-08-03 2020-01-08 オムロン株式会社 運転手状態判定装置、車両制御システム
JP6981743B2 (ja) 2016-09-27 2021-12-17 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2018073253A (ja) * 2016-11-01 2018-05-10 パナソニックIpマネジメント株式会社 運転手モニタ装置及び運転手モニタ方法
JP7056164B2 (ja) * 2018-01-18 2022-04-19 マツダ株式会社 ドライバ状態判定装置
US20190391581A1 (en) * 2018-06-26 2019-12-26 Uber Technologies, Inc. Passenger Health Monitoring and Intervention for Autonomous Vehicles

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
JP2012252632A (ja) * 2011-06-06 2012-12-20 Nippon Seiki Co Ltd 運転者監視装置
CN102865874A (zh) * 2011-07-05 2013-01-09 爱信艾达株式会社 导航系统、导航方法及计算机可读存储介质
CN106716515A (zh) * 2014-09-11 2017-05-24 株式会社电装 驾驶员状态判定装置
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
WO2016159150A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
CN107709126A (zh) * 2015-04-03 2018-02-16 株式会社电装 行驶控制装置以及行驶控制方法
CN106240559A (zh) * 2015-06-10 2016-12-21 富士重工业株式会社 车辆的行驶控制装置
CN107848538A (zh) * 2015-07-29 2018-03-27 日本艺美极株式会社 车辆的自动驾驶系统
CN106394553A (zh) * 2015-08-03 2017-02-15 Lg电子株式会社 驾驶员辅助设备及其控制方法
JP2017144808A (ja) * 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両制御装置
CN107539320A (zh) * 2016-06-24 2018-01-05 丰田自动车株式会社 车辆行驶控制装置
CN107554525A (zh) * 2016-06-30 2018-01-09 丰田自动车株式会社 车辆控制装置
CN107773255A (zh) * 2016-08-26 2018-03-09 马自达汽车株式会社 驾驶员身体状况检测装置及驾驶员身体状况检测方法
CN106491104A (zh) * 2016-10-25 2017-03-15 湖南大学 基于智能穿戴设备的驾驶员状态智能实时监测系统和方法
CN108032860A (zh) * 2016-11-03 2018-05-15 福特全球技术公司 使用自主驾驶的紧急状况撤离
WO2018163536A1 (ja) * 2017-03-06 2018-09-13 オムロン株式会社 運転者身体コンディション回復支援装置、方法およびプログラム
WO2018168052A1 (ja) * 2017-03-14 2018-09-20 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
CN107316436A (zh) * 2017-07-31 2017-11-03 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN108464839A (zh) * 2018-03-22 2018-08-31 东华大学 一种基于机器学习的车载疲劳驾驶监测预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜灏: "一种自动驾驶车的环境感知系统" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029407A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 用于车辆的向紧急呼叫中心发送信息的方法及装置
CN115150440A (zh) * 2022-09-06 2022-10-04 深圳位置网科技有限公司 一种智能网联汽车信息交互方法、系统及可读存储介质

Also Published As

Publication number Publication date
JP7424305B2 (ja) 2024-01-30
EP3882884A1 (en) 2021-09-22
WO2020100584A1 (ja) 2020-05-22
JPWO2020100584A1 (ja) 2021-11-04
US20210387640A1 (en) 2021-12-16
EP3882884A4 (en) 2022-01-05
CN113168772B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113168772B (zh) 信息处理装置,信息处理方法和记录介质
EP3655834B1 (en) Vehicle control device and vehicle control method
JP7155122B2 (ja) 車両制御装置及び車両制御方法
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
KR20210088565A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN111656423A (zh) 信息处理装置、移动装置、方法以及程序
US11873007B2 (en) Information processing apparatus, information processing method, and program
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
JPWO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
JPWO2020145161A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP2021043571A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2020230693A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JPWO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020241292A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2020241273A1 (ja) 車両用通信システム、車載機、制御方法及びコンピュータプログラム
WO2021241261A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、学習方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant