CN112997229A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112997229A
CN112997229A CN201980072374.5A CN201980072374A CN112997229A CN 112997229 A CN112997229 A CN 112997229A CN 201980072374 A CN201980072374 A CN 201980072374A CN 112997229 A CN112997229 A CN 112997229A
Authority
CN
China
Prior art keywords
line
vehicle
sight
sight direction
safe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980072374.5A
Other languages
English (en)
Inventor
田森正纮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112997229A publication Critical patent/CN112997229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本发明涉及以下内容：信息处理装置，其使得当驾驶员的视线方向不适合于驾驶状态时，可以保持安全；信息处理装置；和程序。检测车辆的驾驶员的视线方向，确定检测到的视线方向是否为安全视线方向，并控制车辆以便当确定视线方向不是安全的视线方向时获得安全状态。本发明可以应用于车载系统。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序，并且具体地涉及用于在驾驶员的视线方向对于驾驶状态不适当时确保安全的信息处理装置、信息处理方法和程序。
背景技术
检测周围信息并辅助驾驶员驾驶车辆的驾驶辅助技术和自动控制驾驶的自动驾驶技术已经引起注意。
在这些技术中，作为辅助驾驶的驾驶辅助技术，提出了检测驾驶员的视线，并基于视线方向的变化是否适当来判定是否接受驾驶员的驾驶操作的技术(参照专利文献1)。
引文列表
专利文献
专利文献1：日本专利申请公开号2017-100562
发明内容
本发明要解决的问题
然而，在专利文献1的技术中，例如，在车辆直线行驶的情况下，即使由于例如相对于已经接受的直线行驶的驾驶状态的疏忽驾驶或打盹驾驶而检测到视线方向是不适当的方向，驾驶也不被控制。
本公开鉴于上述情况而完成，尤其是实现了基于视线方向是否适合于驾驶状态来确保安全的驾驶控制。
问题的解决方案
根据本公开的一个方面的信息处理装置是一种信息处理装置，包括：视线方向检测单元，被配置为检测车辆的驾驶员的视线方向；以及操作控制单元，被配置为在所述视线方向不是作为驾驶员在驾驶期间应该朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
根据本公开的一个方面的信息处理方法和程序对应于所述信息处理装置。
在本公开的一个方面中，检测车辆的驾驶员的视线方向，并且在视线方向不是作为驾驶员在驾驶期间应该朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
附图说明
图1是示出检测视线方向的配置的图。
图2是示出在自动驾驶等级1的情况下视线方向不适当时通过减速进行的安全驾驶控制的示例的图。
图3是示出在自动驾驶等级2的情况下视线方向不适当时通过车道变更进行的安全驾驶控制的示例的图。
图4是示出本公开的车辆控制系统的配置示例的框图。
图5是示出摘录用于实现图4中的安全驾驶控制的配置的配置示例的框图。
图6是示出自动驾驶控制处理的流程图。
图7是示出安全驾驶控制处理的流程图。
图8是示出通用计算机的配置示例的图。
具体实施方式
将参照附图详细描述本公开的有利实施例。注意，在本说明书和附图中，通过提供相同的符号，省略了对具有基本相同功能配置的配置元件的冗余描述。
在下文中，将描述用于执行本技术的模式。将按以下顺序给出描述。
1.本公开的概述
2.本公开的控制车辆的车辆控制系统的配置示例
3.根据视线方向实现确保安全的驾驶控制的配置
4.自动驾驶控制处理
5.安全驾驶控制处理
6.软件执行的示例
<1.本公开内容的概述>
<视线方向的检测>
将描述本公开的概述。
本公开的车辆检测驾驶员的视线方向，并基于视线方向是否是适当的视线方向来执行用于确保安全的驾驶控制。
如图1所示，通过使用设置在转向器的上部并位于朝向驾驶员H的位置处的相机Cam捕获驾驶员H的面部附近的范围V，并基于所捕获的图像中的驾驶员的瞳孔的位置来检测视线方向。
相机Cam理想地不仅包括所谓的图像传感器，而且包括飞行时间(ToF)传感器。
更具体地，在通过图像传感器获得图像的情况下，例如，存在整个面部在夜间被对向车辆的前灯曝光于强光，并且整个面部的图像被过度曝光，并且可能不能识别形成面部的各器官的可能性。
相反，在通过ToF传感器获得距离图像的情况下，获得从相机Cam到面部表面上的每个位置的距离的信息，并且可以识别面部表面的凹凸。因此，可以基于面部表面的凹凸信息识别形成面部的各器官。
因此，期望相机Cam具有设置有图像传感器和ToF传感器的配置，并且根据情况使用图像传感器的图像和ToF传感器的距离图像。此外，通过组合图像传感器和ToF传感器，可以提高鲁棒性或者可以缩短处理时间。
<根据自动驾驶等级的驾驶控制>
本公开的车辆以驾驶员驾驶为前提，并且以采用自动驾驶等级为2或以下的自动驾驶技术的车辆为前提，但是本公开的车辆可以应用于自动驾驶等级为3或以上的车辆。
这里，自动驾驶等级将自动驾驶的等级分类，并且被分类为例如等级0至5。
等级0是驾驶员执行所有驾驶操作的自动驾驶等级，并且基本上不是自动驾驶。
等级1是其中控制驾驶操作中与加减速有关的驾驶操作或者与驾驶操作中的转向操作有关的驾驶操作的自动驾驶等级。
等级2是其中协作地控制驾驶操作中与加减速相关的驾驶操作和与转向操作相关的驾驶操作的自动驾驶等级。
等级3是其中在诸如高速公路的特定地点控制所有驾驶操作的自动驾驶等级。注意，在等级3，假定驾驶员在紧急情况下执行驾驶操作。
等级4是其中包括在诸如高速公路的特定地点的紧急情况下控制所有驾驶操作的自动驾驶等级。
等级5是其中在所有情况下控制所有驾驶操作的自动驾驶等级，并且是所谓的全自动驾驶的等级。
如上所述，用于实现等级0至2的自动驾驶等级的技术通常被称为驾驶辅助技术，因为它是驾驶员主要执行驾驶操作的技术。
相反，用于实现等级3至5的自动驾驶等级的技术通常被称为自动驾驶技术，因为它是驾驶员能够免于在特定地点主要执行驾驶操作的技术。
本公开的驾驶控制针对在自动驾驶等级0至2下实现自动驾驶的车辆，即，应用驾驶辅助技术的车辆，基于视线方向是否与驾驶状态对应是适当的来控制用于确保安全的驾驶操作。
更具体地，在自动驾驶等级0的情况下，如上所述，驾驶基本上不是自动驾驶，并且不控制驾驶操作。因此，将不适当的视线方向反馈(呈现)给驾驶员，并且催促改善视线方向。
此外，在自动驾驶等级1的情况下，例如，当在前方直线行驶中检测到的视线方向不是正面前方时，怀疑是疏忽驾驶或打盹驾驶，并且因此认为视线方向是不适当的。
在这种情况下，不适当的视线方向被反馈(呈现)给驾驶员，并且催促改善视线方向。此外，当没有改善时，控制驾驶操作以使车辆以所呈现的速度减速，如图2所示。
通过以这种方式使车辆减速，可以通过延迟由疏忽驾驶、打盹驾驶等引起的事故的发生，并且降低事故的情况下的损害水平来确保安全。
注意，图2在左侧示出车辆C1以行驶速度V在前方直行。此外，图2在右侧示出在车辆C1的行驶状态下，认为视线方向不适当，并催促改善视线方向，然后当不存在改善的情况下，使行驶速度减速，并使车辆C1'以行驶速度V'(＜V)行驶。
此外，在自动驾驶等级2的情况下，视线方向不适当，并且怀疑疏忽驾驶或打盹驾驶，并且催促改善视线方向，然后当不存在改善时，控制驾驶操作以将路线改变到更安全的驾驶车道，如图3中所图示的。
通过将当前行驶车道变更为更安全的车道，可以通过延迟由疏忽驾驶、打盹驾驶等引起的事故的发生，并且降低事故的情况下的损害水平来确保安全。
注意，图3在左侧示出车辆C2正在快车道L1中行驶，而在右侧示出车辆C2'正在车道由于视线被认为是不适当的而改变为更安全驾驶车道L2的状态下行驶。
<2.本公开的控制车辆的车辆控制系统的配置示例>
接下来，将参考图4中的框图描述本公开的车辆控制系统
图4是示出本技术可以应用到的车辆11的车辆控制系统100的示意性功能的配置示例的框图。
注意，在下文中，在将设置有车辆控制系统100的车辆11与其他车辆区分开的情况下，车辆11将被称为本车或本车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车体系统控制单元109、车体系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车体系统控制单元109、存储单元111、自动驾驶控制单元112经由通信网络121相互连接。通信网络121包括例如符合任意标准的车载通信网络，诸如控制器局域网(CAN)、局域互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)、总线等。注意，车辆控制系统100的单元可以直接连接而无需通信网络121。
注意，在下文中，在车辆控制系统100的单元经由通信网络121执行通信的情况下，省略对通信网络121的描述。例如，输入单元101和自动驾驶控制单元112经由通信网络121执行通信的情况将被简单地描述为输入单元101和自动驾驶控制单元112执行通信。
输入单元101包括乘客用来输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆的操作设备，以及能够通过诸如语音或手势等的手动操作以外的方法输入数据、指令等的操作设备。此外，例如，输入单元101可以是使用红外线或其他无线电波的远程控制设备，或者是与车辆控制系统100的操作相对应的诸如移动设备或可穿戴设备的外部连接设备。输入单元101基于乘客输入的数据、指令等生成输入信号，并将该输入信号提供给车辆控制系统100的各单元。
数据获取单元102包括获取要用于车辆控制系统100的处理的数据的各种传感器等，并且将所获取的数据提供给车辆控制系统100的各单元。
例如，数据获取单元102包括用于检测本车的状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量设备(IMU)、用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、电动机速度、车轮的旋转速度等的传感器等。
此外，例如，数据获取单元102包括用于检测本车外部的信息的各种传感器。具体地，例如，数据获取单元102包括成像设备，诸如飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器，以及用于检测本车周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达设备、光检测和测距或激光成像检测和测距(LiDAR)设备、声纳等。
此外，数据获取单元102包括例如用于检测本车的当前位置的各种传感器。具体地，例如，数据获取单元102包括从GNSS卫星接收GNSS信号的全球导航卫星系统(GNSS)接收器。
此外，例如，数据获取单元102包括用于检测车内的信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像设备(飞行时间(ToF)相机、立体相机、单目相机、红外相机、其他相机等)、检测驾驶员的生物信息的生物传感器、收集车辆中的声音的麦克风等。生物传感器例如设置在座面、方向盘等上，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。
通信单元103与车内设备104和车辆外部的各种设备、服务器、基站等通信，发送从车辆控制系统100的各单元提供的数据，并将接收到的数据提供给车辆控制系统100的各单元。注意，通信单元103所支持的通信协议没有特别限制，并且通信单元103可以支持多种类型的通信协议。
例如，通信单元103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等执行与车内设备104的无线通信。此外，例如，通信单元103经由连接端子(未示出)(以及如果需要的话，使用线缆)使用通用串行总线(USB)、高清晰度多媒体接口(HDMI)、移动高清晰度链路(MHL)等来执行与车内设备104的有线通信。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103使用对等(P2P)技术与存在于本车附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)通信。此外，例如，通信单元103执行诸如车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信和车辆与行人间通信的V2X通信。此外，例如，通信单元103包括信标接收单元，并且接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取诸如当前位置、拥堵、交通管制或所需时间的信息。此外，通信单元103由下面描述的E-Call(紧急呼叫)203(图5)控制，并将发生事故的发生位置(GPS坐标)发送到位于外部网络上的中心，该中心与检测气囊等的碰撞的传感器的操作状态相结合地与警察局、医院等联系。
车内设备104包括例如乘客的移动设备或可穿戴设备、携带在或附接到本车的信息设备、用于搜索到任意目的地的路线的导航设备等。
输出控制单元105控制向用户汽车的乘客或向车辆外部输出各种类型的信息。输出控制单元105例如通过生成包括视觉信息或听觉信息中的至少一个的输出信号，并将该输出信号提供给输出单元106，来控制从输出单元106输出视觉信息(例如图像数据)和听觉信息(例如声音数据)。具体地，例如，输出控制单元105合成由数据获取单元102的不同成像设备捕获的图像数据，以生成鸟瞰视图图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出单元106。此外，例如，输出控制单元105针对碰撞、接触、进入危险区域等的危险生成包括警告声音、警告消息等的声音数据，并且将包括所生成的声音数据的输出信号提供给输出单元106。
输出单元106包括能够向本车的乘客或向车辆的外部输出视觉信息或听觉信息的设备。例如，输出单元106包括显示设备(包括信息显示单元252(图5))、仪表板、音频扬声器、耳机、诸如乘客佩戴的眼镜型显示器的可穿戴设备、投影仪、灯等。除了具有正常显示的设备之外，包括在输出单元106中的显示设备可以是例如平视显示器(HUD)、透射型显示器、或用于在驾驶员的视野中显示视觉信息的显示器，诸如具有增强现实(AR)显示功能的设备。此外，输出单元106具有反馈功能的配置，例如，当驾驶员的视线方向是不适当的方向并且预测到疏忽驾驶或打盹驾驶时，所述反馈功能鼓励觉醒，以使视线方向朝向适当的方向。具有反馈功能的配置的示例包括在驾驶员的视野内显示视觉信息的设备(信息显示单元252(图5)等)、输出声音的扬声器253(图5)、使用麦克风和扬声器与驾驶员进行通话并判定驾驶员是否能够正常通话的会话代理单元254(图5)、使安全带振动的机构、使方向盘振动的机构、使座椅振动的机构、产生刺激气味的刺激气味产生单元251(图5)等。
驱动系统控制单元107通过生成各种控制信号并将控制信号提供给驱动系统108来控制驱动系统108。此外，驱动系统控制单元107根据需要向除驱动系统108以外的各单元供给控制信号，以发出驱动系统108的控制状态的通知等。
驱动系统108包括与本车的驱动系统相关的各种设备。例如，驱动系统108包括用于产生内燃机或驱动电动机的驱动力的驱动力产生设备、用于将驱动力传递到车轮的驱动力传递机构、用于调节转向角的转向机构、用于产生制动力的制动设备、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动转向设备等。
车体系统控制单元109通过生成各种控制信号并将控制信号提供给车体系统110来控制车体系统110。此外，车体系统控制单元109根据需要向车体系统110以外的各个单元提供控制信号，并且通知车体系统110的控制状态等。
车体系统110包括安装在车体上的各种车体系统设备。例如，车体系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、后灯、刹车灯、闪光信号灯、雾灯等)等。
存储单元111包括例如磁存储设备，诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储由车辆控制系统100的各单元使用的各种程序、数据等。例如，存储单元111存储地图数据，例如，诸如动态地图的三维高精度地图、精度低于高精度地图但覆盖大面积的全局地图、以及包括本车周围的信息的局部地图。
自动驾驶控制单元112执行与自动驾驶相关的控制，诸如自主行驶或驾驶辅助。具体地，例如，自动驾驶控制单元112执行协作控制，以实现包括本车的碰撞避免或冲击减轻、基于车辆间隙的跟随行驶、车辆速度维持行驶、本车的碰撞警告、本车的车道偏离警告等的高级驾驶员辅助系统(ADAS)功能。此外，例如，自动驾驶控制单元112执行用于在不依赖于驾驶员的操作的情况下自主行驶的自动驾驶等目的的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和操作控制单元135。
检测单元131检测控制自动驾驶所需的各种类型的信息。检测单元131包括车外信息检测单元141、车内信息检测单元142、以及车辆状态检测单元143。
车外信息检测单元141执行基于来自车辆控制系统100的各单元的数据或信号，检测本车外部的信息的处理。例如，车外信息检测单元141执行针对本车周围的物体的检测处理、识别处理、跟踪处理，并且执行检测与物体之间的距离的处理。要检测的对象包括例如车辆、人、障碍物、结构、道路、交通灯、交通标志、路标等。此外，例如，车外信息检测单元141执行检测本车周围的环境的处理。要检测的周围环境包括例如有天气、温度、湿度、亮度、路面状态等。车外信息检测单元141将表示检测处理结果的数据提供给状况分析单元133的自身位置估计单元132、地图分析单元151、交通规则识别单元152、状况识别单元153以及操作控制单元135的紧急情况回避单元171等。
车内信息检测单元142执行基于来自车辆控制系统100的各单元的数据或信号，检测车内的信息的处理。例如，车内信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘客检测处理、车内环境检测处理等。要检测的驾驶员的状态例如包括身体状态、觉醒度、集中度、疲劳度、视线方向等。要检测的车内环境包括例如温度、湿度、亮度、气味等。车内信息检测单元142将表示检测处理的结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况回避单元171等。
车辆状态检测单元143执行基于来自车辆控制系统100的各单元的数据或信号，检测本车的状态的处理。要检测的本车状态包括例如速度、加速度、转向角、有无异常、异常内容、驾驶操作的状态、电动座椅的位置及倾斜、门锁的状态、其他车内设备的状态等。车辆状态检测单元143将表示检测处理的结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况回避单元171等。
自身位置估计单元132执行基于来自车辆控制系统100的诸如车外信息检测单元141和状况分析单元133的状况识别单元153的各单元的数据或信号，估计本车的位置、姿势等的处理。此外，自身位置估计单元132根据需要生成要用于估计自身位置的局部地图(以下称为自身位置估计地图)。自身位置估计地图是使用诸如同时定位与地图绘制(SLAM)等技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132使存储单元111存储自身位置估计图。
状况分析单元133执行分析本车及其周围的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。
地图分析单元151根据需要使用来自车辆控制系统100的诸如自身位置估计单元132和车外信息检测单元141的各单元的数据或信号，执行分析存储在存储单元111中的各种地图的处理，并且构建包括自动驾驶处理所需的信息的地图。地图分析单元151将所构建的地图提供给交通规则识别单元152、状况识别单元153、状况预测单元154、计划单元134的路线计划单元161、行动计划单元162、操作计划单元163等。
交通规则识别单元152执行基于来自车辆控制系统100的诸如自身位置估计单元132、车外信息检测单元141和地图分析单元151的各单元的数据或信号，识别本车周围的交通规则的处理。通过该识别处理，例如，识别本车周围的信号的位置和状态、本车周围的交通管制的内容、可行驶车道等。交通规则识别单元152将指示识别处理的结果的数据提供给状况预测单元154等。
状况识别单元153执行基于来自车辆控制系统100的诸如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143、地图分析单元151的各单元的数据或信号，识别与本车有关的状况的处理。例如，状况识别单元153执行识别本车的状况、本车周围的状况、本车的驾驶员的状况等的处理。此外，状况识别单元153根据需要生成用于识别本车周围的状况的局部地图(在下文中被称为状况识别地图)。状况识别图是例如占有率栅格地图。
要识别的本车的状况例如包括本车的位置、姿势、移动(例如，速度、加速度、移动方向等)、有无异常、异常的内容等。要识别的本车周围的状况例如包括周围的静止物体的种类和位置、周围的移动物体的种类、位置和动作(例如，速度、加速度、移动方向等)、周围的道路的构成和路面的状况、周围的天气、温度、湿度、亮度等。要识别的驾驶员的状态例如包括身体状态、觉醒度、集中度、疲劳度、视线(视线方向)动作、驾驶操作等。
状况识别单元153将指示识别处理的结果的数据(根据需要包括状况识别图)提供给自身位置估计单元132、状况预测单元154等。此外，状况识别单元153使存储单元111存储状况识别地图。
状况预测单元154执行基于来自车辆控制系统100的诸如地图分析单元151、交通规则识别单元152和状况识别单元153的各单元的数据或信号，预测与本车有关的状况的处理。例如，状况预测单元154执行预测本车的状况、本车周围的状况、驾驶员的状况等的处理。
要预测的本车的状况例如包括本车的举动、异常的发生、可行驶距离等。要预测的本车周围的状况例如包括本车周围的移动体的举动、信号状态的变化、诸如天气的环境的变化等。要预测的驾驶员的状况例如包括驾驶员的行为和身体状况等。
状况预测单元154将表示预测处理结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起提供给计划单元134的路线计划单元161、行动计划单元162、操作计划单元163等。
路线计划单元161基于来自车辆控制系统100的诸如地图分析单元151和状况预测单元154的各单元的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全球地图，设定从当前位置到指定的目的地的路线。此外，例如，路线计划单元161基于拥堵、事故、交通管制、施工等状况、驾驶员的身体状况等，适当地改变路线。路线计划单元161将表示所计划的路线的数据提供给行动计划单元162等。
行动计划单元162基于来自车辆控制系统100的诸如地图分析单元151或状况预测单元154的各单元的数据或信号，计划用于在计划时间内安全地行驶在由路线计划单元161计划的路线上的本车的行动。例如，行动计划单元162进行起动、停止、行驶方向(例如，前进、后退、左转、右转、转弯等)、驾驶车道、行驶速度、超车等的计划。行动计划单元162将表示所计划的本车的行动的数据提供给操作计划单元163等。
操作计划单元163基于来自车辆控制系统100的诸如地图分析单元151和状况预测单元154的各单元的数据或信号，计划用于实现由行动计划单元162计划的行动的本车的操作。例如，操作计划单元163计划加速度、减速度、行驶轨迹等。操作计划单元163将表示所计划的本车的操作的数据提供给操作控制单元135的加减速控制单元172和方向控制单元173等。
操作控制单元135控制本车的操作。操作控制单元135包括紧急情况回避单元171、加减速控制单元172和方向控制单元173。
紧急情况回避单元171执行基于车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143的检测结果，检测诸如碰撞、接触、进入危险区域、驾驶员的异常、车辆的异常等的紧急状况的处理。在紧急情况回避单元171检测到发生紧急状况的情况下，紧急情况回避单元171计划用于回避诸如急停车或急转弯的紧急状况的本车的操作。紧急情况回避单元171将表示所计划的本车的操作的数据提供给加减速控制单元172、方向控制单元173等。
加减速控制单元172执行用于实现由操作计划单元163或紧急情况回避单元171计划的本车的操作的加减速。例如，加减速控制单元172计算驱动力产生设备或制动设备用于实现所计划的加减、减速或急停车的控制目标值，并将表示计算出的控制目标值的控制命令提供给驱动系统控制单元107。
方向控制单元173控制用于实现由操作计划单元163或紧急情况回避单元171计划的本车的操作的方向。例如，方向控制单元173计算转向机构用于实现由操作计划单元163或紧急情况回避单元171计划的行驶轨迹或急转弯的控制目标值，并将表示计算出的控制目标值的控制命令提供给驱动系统控制单元107。
<3.实现根据视线方向确保安全的驾驶控制的配置>
接下来，将参考图5中的框图描述根据检测到的视线方向实现用于确保安全的驾驶控制的配置。注意，图5示出了摘录在实现参照图4描述的车辆控制系统100的功能的配置示例中，根据检测到的视线方向，实现用于确保安全的驾驶控制的配置。
数据获取单元102包括用于检测视线的车内传感器231。具体地，这里所指的车内传感器231对应于具有参照图1所述的图像传感器和ToF传感器(ToF相机)的功能的相机Cam。
也就是说，车内传感器231从由图像传感器获取的图像或由ToF传感器获取的距离图像中获取驾驶员H的面部附近的图像，并将该图像输出到自动驾驶控制单元112中的检测单元131的车内信息检测单元142。车内信息检测单元142基于图像中的瞳孔的位置等来检测驾驶员H的视线方向，并将该视线方向输出到状况分析单元133的状况识别单元153。
此外，车外信息检测单元141执行对从数据获取单元102提供的本车周围的物体的检测处理、识别处理、追踪处理以及对本车周围的物体的距离检测处理，生成在基于处理结果检测出视线方向的定时的车辆周边信息，并将该车辆周边信息输出到状况分析单元133的状况识别单元153。
作为实现根据检测到的视线方向的驾驶控制的配置，状况识别单元153包括车内环境识别单元201、反馈控制单元202和E-Call(紧急呼叫)控制单元(E-Call)203。
车内环境识别单元201基于从检测单元131的车外信息检测单元141提供的车辆周边信息和从车内信息检测单元142提供的视线方向信息，判定车辆中的驾驶员的视线方向是否是针对驾驶状况的适当方向(驾驶员是否在适当的时间内注视适当的视线方向)。然后，车内环境识别单元201将判定结果输出到状况预测单元154和反馈控制单元202。
更具体地，车内环境识别单元201将例如对本车周围的物体的检测处理、识别处理、追踪处理以及到物体的距离检测处理等的处理结果与由检测单元131的车内传感器231获取的视线方向信息一起作为车辆周边信息而获取。
这里，本车周围的物体的信息包括例如车辆、人、障碍物、结构、道路、交通灯、交通标志、路标等。此外，本车周围的环境的信息包括天气、温度、湿度、亮度、路面状况等。
此外，驾驶员的视线方向的适当方向根据驾驶状况(驾驶状态)而改变。
例如，在车辆在具有相对较高的法定速度的道路(诸如高速公路)上在前方直线行驶的驾驶状况的情况下，适当的视线方向是正面前方。
然而，当车辆在交通量大的狭窄小巷中行驶时，视线方向朝向在道路等上行走的行人、自行车等以及对向车辆是适当的。
此外，在执行车道变更的驾驶操作的驾驶状况的情况下，适当的视线方向具有在一般驾驶指导书等中描述的安全性所需的视线方向的时间顺序变换，诸如视线方向从后视镜移动到车门镜，最后朝向要改变的车道等。此外，关于注视时间，注视后视镜或车门镜超过几秒钟是不适当的。
注意，在用通过车门镜和后视镜捕获可视范围的相机代替车门镜和后视镜的情况下，代替车门镜和后视镜而设置的相机所捕获的图像的范围是与车门镜和后视镜的方向相对应的适当视线方向。
车内环境识别单元201基于从检测单元131提供的车辆周边信息和视线方向信息，判定驾驶员的视线方向是否适合于驾驶状况，并将判定结果输出到状况预测单元154。
注意，在下文中，基于车辆周边信息被认为适合于驾驶状态的视线方向将被称为安全视线方向。
例如，在根据车辆周边信息识别出车辆正在高速公路上行驶的情况下，当驾驶员的视线方向朝向正面前方时，驾驶员的视线方向被认为是安全视线方向。
此外，例如，在根据车辆周边信息识别车辆在交通量大的狭窄小巷中行驶的情况下，当驾驶员的视线方向朝向行人、自行车、对向车辆等时，驾驶员的视线方向被认为是安全视线方向。
另外，例如，在根据车辆周边信息识别出车道变更或右转或左转(诸如接通闪光信号灯的操作)的情况下，当驾驶员的视线方向按照时间顺序被改变为在诸如后视镜、车门镜(在车门镜和后视镜是相机的情况下显示由相机捕获的图像的区域)、要变更的车道的方向或要左右转弯的道路的方向的每个时刻所需的方向时，驾驶员的视线方向被认为是安全视线方向。这里，作为按照时间顺序改变的视线方向的方向(位置)或顺序例如可以是在关于汽车驾驶的指导书等中描述的方向(位置)或顺序。
这样，安全视线方向根据从车辆周边信息识别出的驾驶状况(驾驶状态)而改变。
在基于从车内环境识别单元201提供的判定结果，视线方向不适当的情况下，反馈控制单元202经由输出控制单元105使输出单元106给出催促驾驶员将视线方向朝向适当方向的反馈。
也就是说，在视线方向不适当的情况下，存在驾驶员正在进行诸如疏忽驾驶或打盹驾驶的危险驾驶的可能性。因此，反馈控制单元202向驾驶员给出用于鼓励觉醒的反馈，以使得视线方向适当。
更具体地，反馈控制单元202通过经由输出控制单元105控制输出单元106的刺激气味产生单元251产生刺激气味，并刺激驾驶员的嗅觉，由此给出催促驾驶员使视线方向朝向适当方向的反馈。
此外，反馈控制单元202通过经由输出控制单元105控制输出单元106的信息显示单元252呈现图像信息(包括文本、运动图像等)以催促视线方向朝向适当的视线方向，来给出催促驾驶员将视线方向朝向适当方向的反馈，这是因为视线方向是不适当的。
此外，反馈控制单元202通过经由输出控制单元105控制输出单元106的扬声器253输出声音以催促视线方向朝向适当的视线方向，来给出催促驾驶员将视线方向朝向适当方向的反馈，因为视线方向是不适当的。反馈控制单元202通过经由输出控制单元105控制输出单元106的会话代理单元254向驾驶员提问并使驾驶员回答问题以唤醒意识，来给出催促驾驶员将视线方向朝向适当方向的反馈。对驾驶员的问题例如是驾驶员的姓名、出生日期等，并且通过询问驾驶员响应并鼓励驾驶员醒以将视线方向朝向适当的方向来给出反馈。
反馈控制单元202通过刺激气味产生单元251、信息显示单元252、扬声器253或会话代理单元254中的至少一个来给出催促驾驶员将视线方向朝向适当方向的反馈。
另外，反馈不仅可以通过刺激气味产生单元251所产生的刺激气味、信息显示单元252所显示的图像、扬声器253所输出的声音、会话代理单元254所进行的会话，也可以通过其他方法来给出反馈，只要能够呈现催促驾驶员将视线方向朝向适当方向的信息即可。
用于给出反馈的更具体的配置可以包括例如显示催促驾驶员将视线方向朝向适当方向的信息的平视显示器(HUD)、振动安全带的配置、振动方向盘的配置和振动座椅的配置。
当通过检测单元131检测到在碰撞事故发生时检测到的撞击等的信息时，E-call控制单元203通过自身位置估计单元132获取自身位置的信息，并控制通信单元103将包括自身位置的信息的指示事故发生的信息通知给向警察局、医院等报告事故发生的中心。
状况预测单元154基于从车内环境识别单元201提供的基于视线方向的判定结果，预测驾驶员的车内环境的状况，并将与该预测结果对应的命令输出到计划单元134的操作计划单元163。更具体地，在视线方向不适当的情况下，状况预测单元154预测驾驶员处于诸如疏忽驾驶或打盹驾驶的危险驾驶状态的可能性，并且将命令发送至计划单元134以基于预测结果执行安全驾驶控制处理。
计划单元134的操作计划单元163在从状况预测单元154发送指示安全驾驶控制处理的指令时，计划用于实现与自动驾驶等级对应的安全驾驶控制处理的操作。
更具体地，在自动驾驶等级是等级2的情况下，当在当前行驶道路上存在多个车道时，操作计划单元163控制通信单元103从云服务器等获取当前行驶道路的车道信息。
这里，获取的车道信息是在各车道中各时刻存在的停放车辆的比率、各时刻的周边设备的装载/卸载的比率、各时刻的交通拥堵预测、按时间的快车道信息等。在各车道中的各时刻停放车辆的比率包括由于事故等而使得某一车道不能通行的情况。快车道信息是在存在多个车道的情况下的信息。车道信息包括车道是驾驶车道或快车道以及在快车道的情况下距离驾驶车道多远、每条车道的合法速度等。
操作计划单元163例如基于车道信息，通过以下的式(1)来计算各车道的危险度评价值。
Sx＝Pt×WP+Lt×WL+Tt×WT+Ot×WO......(1)
这里，Sx是在时刻t的车道x的危险度评价值，Pt是在时刻t的停放车辆的比率，并且WP是在时刻t的停放车辆的比率的权重。
另外，Lt是在时刻t的周围设施的装载/卸载比率，WL是在时刻t的周围设施的装载/卸载比率的权重。
此外，Tt是时刻t的交通拥堵预测，并且WT是在时刻t的交通拥堵预测的权重。
此外，Ot是时刻t的快车道信息，并且WO是时刻t的快车道信息的权重。
操作计划单元163针对多个车道的每一个，计算当前的危险度评价值Sx，并将危险度评价值最小的车道作为最安全车道，计划用于向最安全车道进行车道变更的驾驶操作。
另外，操作计划单元163在危险度评价值最小的车道为当前行驶车道或比较狭窄的小巷、或者车道为一个的情况下，计划执行将当前的行驶速度以预定的比率减少的控制的驾驶操作。
在车道变更和行驶速度的降低中，确保了延迟由疏忽驾驶或打盹驾驶引起的事故的发生的时间，并且能够降低事故的情况下的损害水平，并且能够实现安全的驾驶控制。
此外，在自动驾驶等级是等级1的情况下，操作计划单元163计划以预定速率降低当前行驶速度的驾驶操作。
此外，在自动驾驶等级是等级0的情况下，所有驾驶操作由驾驶员执行，因此驾驶操作不是计划的。操作计划单元163呈现由于视线方向不适当而催促视线方向改善到适当方向的信息。
操作计划单元163将计划的操作计划提供给操作控制单元135的车辆控制单元211。
车辆控制单元211控制加减速控制单元172以及方向控制单元173，以根据操作计划控制车辆的操作。
也就是说，加减速控制单元172在被提供使行驶速度减速的操作计划时，经由驱动系统控制单元107控制驱动系统108，以使行驶速度以与操作计划对应的预定比率减速。
此外，方向控制单元173在被提供改变车道的操作计划时，控制方向以实现到与操作计划相对应的最安全车道的车道变更。
此时，操作计划单元163经由输出控制单元105控制输出单元106的信息显示单元252和扬声器253，以通过图像和声音呈现根据计划的操作计划的信息。
也就是说，在这种情况下，操作计划单元163经由输出控制单元105控制输出单元106的信息显示单元252和扬声器253，以通过图像和声音向驾驶员呈现诸如改变车道或降低行驶速度的信息，因为视线方向是不适当的。
通过预先呈现并通知安全驾驶控制处理将进行车道变更或减速，即使例如驾驶员在车道变更或减速之前醒来，也能够防止驾驶员因突然的车道变更或减速而感到惊讶，并且防止由粗心驾驶操作引起的事故的发生。
<4.自动驾驶控制处理>
接下来，将参考图6中的流程图描述图5中的车辆控制系统100的自动驾驶控制处理。
在步骤S11中，数据获取单元102的车内传感器231捕获驾驶员的面部附近的图像，并将捕获的图像输出到检测单元131的车内信息检测单元142。车内信息检测单元142基于捕获图像中的驾驶员的瞳孔的位置来检测驾驶员的视线方向，并将检测出的视线方向输出到状况识别单元153的车内环境识别单元201。也就是说，车内环境识别单元201通过该处理获取视线方向的信息。
更具体地，车内信息检测单元142例如基于由车内传感器231的图像传感器捕获到的图像或ToF传感器捕获到的距离图像来检测驾驶员的瞳孔的位置，并根据瞳孔的位置来检测驾驶员的视线方向。
此外，例如，车内信息检测单元142可以根据在白天的明亮环境中由车内传感器231的图像传感器捕获的图像来检测视线方向，并且基于在夜晚或暴风雨天气的黑暗环境中由ToF传感器捕获的距离图像来检测视线方向。此外，通过组合图像传感器和ToF传感器，可以提高鲁棒性或者可以缩短处理时间。
在步骤S12中，数据获取单元102通过车内传感器231以外的各种传感器检测车外信息，并将该信息输出到检测单元131的车外信息检测单元141。车外信息检测单元141从数据获取单元102获取信息，生成车辆周边信息，并将该车辆周边信息输出到状况识别单元153中的车内环境识别单元201。通过该处理，车内环境识别单元201获取车辆周边信息。
在步骤S13中，车内环境识别单元201基于视线方向的信息(包含视线的注视时间)和车辆周边信息，判定视线方向是否适合于驾驶状况。
如上所述，在当前行驶道路是高速公路等并且车辆在道路上在前方直行的情况下，基于车辆周边信息，认为正面前方是适当的视线方向。
此外，在基于车辆周边信息车辆在交通量大的狭窄小巷中行驶的情况下，在路肩等上行走的行人、自行车等以及对向车辆的视线方向被认为是适当的视线方向。
此外，在基于车辆周边信息执行车道变更的驾驶操作的情况下，当存在一般驾驶指导书等中描述的安全所需的视线方向的时间顺序变换(诸如视线方向从后视镜移动到车门镜，并且最终朝向要变更的车道)时，视线方向被认为是适当的。
在步骤S13中，在根据驾驶状况判定视线方向(以适当的注视时间为前提的视线方向)不适当的情况(包括即使视线方向适当但注视时间不适当的情况)下，处理进行到步骤S14。
在步骤S14中，反馈控制单元202在基于从车内环境识别单元201提供的判定结果视线方向不适当的情况下，经由输出控制单元105，使用输出单元106的刺激气味产生单元251、信息显示单元252或扬声器253中的至少一个，给出催促驾驶员将视线方向朝向适当方向的反馈。
在步骤S15中，车内环境识别单元201以与步骤S11中的处理类似的方式再次获取视线方向信息。
在步骤S16中，车内环境识别单元201以与步骤S12中的处理类似的方式再次获取车辆周边信息。
在步骤S17中，车内环境识别单元201通过来自反馈控制单元202的反馈，判定视线方向是否被改善为适合于驾驶状况的方向。
在步骤S17中，在视线方向没有被改善为驾驶状况的适当方向的情况下，处理进行到步骤S18。
在步骤S18中，车内环境识别单元201将指示视线方向不是与驾驶状况对应的适当方向的信息和车辆周边信息输出到状况预测单元154。在视线方向不适当的情况下，状况预测单元154预测驾驶员正在执行诸如疏忽驾驶或打盹驾驶的危险驾驶的可能性，并且将命令发送到计划单元134的操作计划单元163以基于预测结果执行安全驾驶控制处理。此时，状况预测单元154将车辆周边信息与用于催促安全驾驶控制处理的命令一起发送到计划单元134的操作计划单元163。
在步骤S19中，计划单元134的操作计划单元163基于执行安全驾驶控制处理的命令和车辆周边信息，执行用于确保当前的驾驶状况的安全驾驶控制处理。
注意，以下，参照图7的流程图，对安全驾驶控制处理的详细情况进行描述。
当通过步骤S19中的处理执行安全驾驶控制处理并确保安全时，处理进行到步骤S20。
在步骤S20中，自动驾驶控制单元112判定是否指示了自动驾驶的终止，并且在判定没有指示自动驾驶的终止的情况下，处理返回到步骤S11，并且重复随后的处理。
此外，在步骤S13中，在视线方向被认为是与驾驶状况对应的适当方向的情况下，跳过步骤S14至S19中的处理。
此外，在步骤S17中，在视线方向被认为是与驾驶状况对应的适当方向的情况下，跳过步骤S18和S19中的处理。
然后，在步骤S20中，在指示终止自动驾驶的情况下，终止自动驾驶处理。
通过以上处理，判定视线方向是否适合于驾驶状况，并且在视线方向不适当的情况下，进行催促改善视线方向的处理，并且在没有改善的情况下，进行安全驾驶控制处理，从而确保安全。
<5.安全驾驶控制处理>
接下来，将参考图7中的流程图描述安全驾驶控制处理。
在步骤S31中，操作计划单元163判定当前自动驾驶等级是否为等级2。然后，在步骤S31中，在当前自动驾驶等级为等级2的情况下，处理进行到步骤S32。
在步骤S32中，操作计划单元163基于车辆周边信息，判定当前行驶道路是否为具有多个车道的道路。在步骤S32中，在判定当前行驶负载是具有多条车道的道路的情况下，处理进行到步骤S33。
在步骤S33中，操作计划单元163控制通信单元103从云服务器等获取当前行驶道路的车道信息。
在步骤S34中，操作计划单元163基于所获取的车道信息，例如通过上述式(1)所示的计算，计算每条车道的危险度评价值。
在步骤S35中，操作计划单元163将危险度评价值最小的车道判定为最安全车道。
在步骤S36中，操作计划单元163判定危险度评价值最小的最安全车道是否为当前驾驶车道，以及车道变更是否不必要。在步骤S36中，在当前行驶车道不具有最小危险度评价值并且车道变更是必要的情况下，处理进行到步骤S37。
在步骤S37中，操作计划单元163判定用于将车道变更为危险度评价值最小的车道的移动方向。
在步骤S38中，操作计划单元163控制输出控制单元105使用输出单元106的信息显示单元252和扬声器253通过图像和声音向驾驶员呈现由于视线方向不适当，因而进行车道变更以确保安全。
在步骤S39中，操作计划单元163向操作控制单元135通知用于将车道变更为危险度评价值最小的车道的移动方向。在操作控制单元135中，车辆控制单元211的方向控制单元173控制驱动系统控制单元107操作驱动系统108，从而在所通知的用于变更为危险度评价值最小的车道的移动方向上移动车辆。由此，实现向危险度评价值最小的车道的车道变更。
同时，在步骤S31中，在自动驾驶等级不是等级2的情况下，处理进行到步骤S40。
在步骤S40中，操作计划单元163判定当前自动驾驶等级是否为等级1。在步骤S40中，在自动驾驶等级为等级1的情况下，处理进行到步骤S41。
在步骤S41中，操作计划单元163控制输出控制单元105使用输出单元106的信息显示单元252和扬声器253，通过图像和声音向驾驶员呈现由于视线方向不适当，因而减速以确保安全。
在步骤S42中，操作计划单元163通知操作控制单元135使当前的行驶速度以预定比率减速。在操作控制单元135中，车辆控制单元211的加减速控制单元172控制驱动系统控制单元107操作驱动系统108，以将通知的当前行驶速度以预定比率减速。结果，可以以预定比率使当前行驶速度减速。
此外，在步骤S40中，在自动驾驶等级不是等级1，即，自动驾驶等级是等级0并且所有驾驶操作由驾驶员控制的情况下，处理进行到步骤S43。
在步骤S43中，操作计划单元163控制输出控制单元105，使用输出单元106的信息显示单元252和扬声器253，通过图像和声音向驾驶员呈现由于视线方向不适当，因而催促向适当方向改善的信息。
注意，在步骤S32中当前行驶道路的车道数量不是多个的情况下，或者在步骤S36中当前行驶车道是危险度评价值最小的车道且不需要车道变更的情况下，处理进入步骤S41。
也就是说，在这种情况下，为了确保安全，当前行驶速度以预定比率减速。
通过上述处理，在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，以及在自动驾驶等级为等级2，并且行驶道路具有多个车道，并且行驶车道不是危险度评价值最小的车道的情况下，车道被改变为危险度评价值最小的车道。
通过这样的处理，降低了驾驶车道的危险度评价值，并且在怀疑疏忽驾驶或打盹驾驶的情况下，确保了延迟由疏忽驾驶或打盹驾驶引起的事故的发生时间，并且可以降低事故的情况下的损害水平。
结果，即使在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，也可以提高安全。
此外，在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，以及在自动驾驶等级为等级2，并且行驶道路不具有多个车道或者车辆行驶在危险度评价值最小的车道上的情况下，并且此外，当自动驾驶等级为等级1时，使当前行驶速度以预定比率减速。
通过这种处理，在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，确保了延迟由疏忽驾驶或打盹驾驶引起的事故的发生时间，并且可以降低事故的情况下的损害水平。此外，在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的状况继续的情况下，逐渐地降低速度，由此可进一步确保安全。
注意，在视线方向不适当的状态通过逐渐降低速度而继续的情况下，车辆11可能最终被停止。此外，在使车辆停止的情况下，以及在自动驾驶等级2和方向能够被控制的情况下，车辆可以被控制为停止在肩部上的安全位置处。
结果，即使在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，也可以提高安全。
另外，在安全驾驶控制处理中，进行车道变更的情况下和进行减速的情况下，都在预先呈现了进行车道变更或减速的通知的信息之后进行驾驶控制。因此，在即将进行基于安全驾驶控制处理的控制之前驾驶员被唤醒的情况下，能够防止驾驶员因突然的车道变更或减速而出错，从而进行粗心的驾驶操作。
此外，即使在视线方向不适当的状况下自动驾驶等级为等级0，并且怀疑疏忽驾驶或打盹驾驶的情况下，尽管不能进行诸如车道变更或减速的驾驶控制，用于催促视线方向朝向适当的方向的信息也通过图像和声音被连续地呈现。
结果，即使在视线方向不适当并且怀疑疏忽驾驶或打盹驾驶的情况下，也可以提高安全。
<6.软件执行的示例>
顺便提及，上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，构成软件的程序从记录介质安装到并入专用硬件的计算机、能够通过安装各种程序执行各种功能的通用计算机等中。
图8示出通用计算机的配置示例。计算机包括中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
在输入输出接口1005上连接有包括诸如用户输入操作命令的键盘和鼠标的输入设备的输入单元1006、将处理操作画面和处理结果的图像输出到显示设备的输出单元1007、包括存储程序和各种数据的硬盘驱动器的存储单元1008以及包括局域网(LAN)适配器等并且经由以因特网为代表的网络进行通信处理的通信单元1009。此外，针对诸如磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器的可移除记录介质1011读取和写入数据的驱动器1010连接到输入/输出接口1005。
CPU 1001根据存储在ROM 1002中的程序或从安装在存储单元1008中的诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质1011读取并从存储单元1008加载到RAM1003的程序，执行各种类型的处理。此外，RAM 1003适当地存储CPU 1001执行各种类型的处理所需的数据等。
在如上所述配置的计算机中，CPU 1001例如将存储在存储单元1008中的程序加载到RAM 1003中，并经由输入/输出接口1005和总线1004执行该程序，从而执行上述一系列处理。
例如，可以将计算机(CPU 1001)要执行的程序记录在作为封装介质等的可移除记录介质1011上，并且提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中，通过将可移除记录介质1011安装到驱动器1010，可以经由输入/输出接口1005将程序安装到存储单元1008。此外，程序可以由通信单元1009经由有线或无线传输介质接收，并且安装在存储单元1008中。除了上述方法之外，程序可以预先安装在ROM1002或存储单元1008中。
注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行执行的程序或者在诸如进行调用时的必要定时执行的程序。
注意，图8中的CPU 1001执行图5中的自动驾驶控制单元112的功能。此外，图8中的存储单元1008执行图5中的存储单元111。
此外，在本说明书中，术语“系统”表示多个配置元件(设备、模块(部件)等)的组，并且所有配置元件是否在同一壳体中是无关紧要的。因此，容纳在单独的壳体中并经由网络连接的多个设备以及在一个壳体中容纳多个模块的一个设备都是系统。
注意，本公开的实施例不限于上述实施例，并且在不脱离本公开的主旨的情况下可以进行各种修改。
例如，本公开可以采用云计算的配置，其中，由多个设备经由网络协作地共享和处理一个功能。
此外，上述流程图中描述的步骤可以由一个设备执行，或者可以由多个设备共享和执行。
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行，或者可以由多个设备共享并执行。
注意，本公开可以具有以下配置。
(1)一种信息处理装置，包括：
视线方向检测单元，被配置为检测车辆的驾驶员的视线方向；以及
操作控制单元，被配置为在所述视线方向不是作为驾驶员在驾驶期间应该朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
(2)根据(1)所述的信息处理装置，还包括：
视线方向判定单元，被配置为针对基于作为所述车辆周围的信息的车辆周边信息识别出的所述车辆的驾驶状态，判定由所述视线方向检测单元检测到的视线方向是否是安全视线方向。
(3)根据(2)所述的信息处理装置，其中
在将在道路上直线行驶识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否在正面前方来判定视线方向是否是安全视线方向。
(4)根据(2)所述的信息处理装置，其中
在将周围存在行人或对向车辆识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否朝向行人或对向车辆来判定视线方向是否为安全视线方向。
(5)根据(2)所述的信息处理装置，其中
在将车道变更或右转或左转识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否按时间顺序改变并朝向预定方向来判定视线方向是否为安全视线方向。
(6)根据(5)所述的信息处理装置，其中
在将车道变更或右转或左转识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否按时间顺序改变并朝向后视镜的方向、车门镜的方向和变更的车道按时间顺序的方向，或者视线方向是否按时间顺序改变并朝向右转或左转的方向，来判定视线方向是否是安全视线方向。
(7)根据(1)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，所述操作控制单元根据自动驾驶等级将车辆控制为安全状态。
(8)根据(7)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2时，所述操作控制单元通过执行向当前行驶道路的多个车道中的最安全车道的车道变更来将车辆控制为安全状态。
(9)根据(8)所述的信息处理装置，其中
所述操作控制单元计算当前行驶道路的多个车道中的每个车道的危险度评价值，并且通过执行向危险度评价值最小的车道的车道变更，将车辆控制为安全状态。
(10)根据(9)所述的信息处理装置，其中
在当前行驶车道是危险度评价值最小的车道时，所述操作控制单元通过降低行驶速度来将车辆控制为安全状态。
(11)根据(7)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2且当前行驶道路不具有多个车道或者当前行驶道路的法定速度低于预定速度时，所述操作控制单元通过降低行驶速度将车辆控制为安全状态。
(12)根据(8)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2时，所述操作控制单元通过在向驾驶员呈现执行向当前行驶道路的多个车道中的最安全车道的车道变更之后，执行向当前行驶道路的多个车道中的最安全车道的车道变更，将车辆控制为安全状态。
(13)根据(7)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为1时，所述操作控制单元通过降低行驶速度将车辆控制为安全状态。
(14)根据(13)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为1时，所述操作控制单元通过在向驾驶员呈现行驶速度降低之后降低行驶速度，将车辆控制为安全状态。
(15)根据(7)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为0时，所述操作控制单元通过向驾驶员呈现催促驾驶员将视线方向朝向适当方向的信息，将车辆控制为安全状态。
(16)根据(2)所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，所述视线方向判定单元在向驾驶员呈现催促驾驶员将视线方向朝向安全视线方向的信息之后，并且当由所述视线方向检测单元再次检测到的视线方向不是安全视线方向时，判定视线方向不是安全视线方向。
(17)根据(16)所述的信息处理装置，其中
向驾驶员呈现催促驾驶员将视线方向朝向安全视线方向的信息是在将信息作为图像显示在显示单元上、将信息作为声音从扬声器输出、产生刺激气味、使驾驶员进行对话、使安全带振动、使方向盘振动和使座椅振动中的至少一个。
(18)根据(1)所述的信息处理装置，其中
所述视线方向检测单元根据驾驶员的面部附近的图像指定驾驶员的瞳孔的位置，并基于所指定的瞳孔的位置检测驾驶员的视线方向。
(19)一种信息处理方法，包括：
视线方向检测处理，检测车辆的驾驶员的视线方向；以及
操作控制处理，在所述视线方向不是作为驾驶员在驾驶期间应当朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
(20)一种用于使计算机用作以下装置的程序：
视线方向检测单元，被配置为检测车辆的驾驶员的视线方向；以及
操作控制单元，被配置为在所述视线方向不是作为驾驶员在驾驶期间应当朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
附图标记列表
91 车辆
100 车辆控制系统
102 数据获取单元
112 自动驾驶控制单元
133 状况分析单元
134 计划单元
135 操作控制单元
153 状况识别单元
154 状况预测单元
172 加减速控制单元
173 方向控制单元
201 车内环境识别单元
202 反馈控制单元
203 紧急呼叫
211 车辆控制单元
231 车内传感器
251 刺激气味产生单元
252 信息显示单元
253 扬声器

Claims (20)

1.一种信息处理装置，包括：
视线方向检测单元，被配置为检测车辆的驾驶员的视线方向；以及
操作控制单元，被配置为在所述视线方向不是作为驾驶员在驾驶期间应该朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
2.根据权利要求1所述的信息处理装置，还包括：
视线方向判定单元，被配置为针对基于作为所述车辆周围的信息的车辆周边信息识别出的所述车辆的驾驶状态，判定由所述视线方向检测单元检测到的视线方向是否是安全视线方向。
3.根据权利要求2所述的信息处理装置，其中
在将在道路上直线行驶识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否在正面前方来判定视线方向是否是安全视线方向。
4.根据权利要求2所述的信息处理装置，其中
在将周围存在行人或对向车辆识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否朝向行人或对向车辆来判定视线方向是否为安全视线方向。
5.根据权利要求2所述的信息处理装置，其中
在将车道变更或右转或左转识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否按时间顺序改变并朝向预定方向来判定视线方向是否为安全视线方向。
6.根据权利要求5所述的信息处理装置，其中
在将车道变更或右转或左转识别为车辆的驾驶状态的情况下，所述视线方向判定单元根据视线方向是否按时间顺序改变并朝向后视镜的方向、车门镜的方向和变更的车道按时间顺序的方向，或者视线方向是否按时间顺序改变并朝向右转或左转的方向，来判定视线方向是否是安全视线方向。
7.根据权利要求1所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，所述操作控制单元根据自动驾驶等级将车辆控制为安全状态。
8.根据权利要求7所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2时，所述操作控制单元通过执行向当前行驶道路的多个车道中的最安全车道的车道变更来将车辆控制为安全状态。
9.根据权利要求8所述的信息处理装置，其中
所述操作控制单元计算当前行驶道路的多个车道中的每个车道的危险度评价值，并且通过执行向危险度评价值最小的车道的车道变更，将车辆控制为安全状态。
10.根据权利要求9所述的信息处理装置，其中
在当前行驶车道是危险度评价值最小的车道时，所述操作控制单元通过降低行驶速度来将车辆控制为安全状态。
11.根据权利要求7所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2且当前行驶道路不具有多个车道或者当前行驶道路的法定速度低于预定速度时，所述操作控制单元通过降低行驶速度将车辆控制为安全状态。
12.根据权利要求8所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为2时，所述操作控制单元通过在向驾驶员呈现执行向当前行驶道路的多个车道中的最安全车道的车道变更之后，执行向当前行驶道路的多个车道中的最安全车道的车道变更，将车辆控制为安全状态。
13.根据权利要求7所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为1时，所述操作控制单元通过降低行驶速度将车辆控制为安全状态。
14.根据权利要求13所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为1时，所述操作控制单元通过在向驾驶员呈现行驶速度降低之后降低行驶速度，将车辆控制为安全状态。
15.根据权利要求7所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，并且当自动驾驶等级为0时，所述操作控制单元通过向驾驶员呈现催促驾驶员将视线方向朝向适当方向的信息，将车辆控制为安全状态。
16.根据权利要求2所述的信息处理装置，其中
在视线方向不是安全视线方向的情况下，所述视线方向判定单元在向驾驶员呈现催促驾驶员将视线方向朝向安全视线方向的信息之后，并且当由所述视线方向检测单元再次检测到的视线方向不是安全视线方向时，判定视线方向不是安全视线方向。
17.根据权利要求16所述的信息处理装置，其中
向驾驶员呈现催促驾驶员将视线方向朝向安全视线方向的信息是在将信息作为图像显示在显示单元上、将信息作为声音从扬声器输出、产生刺激气味、使驾驶员进行对话、使安全带振动、使方向盘振动和使座椅振动中的至少一个。
18.根据权利要求1所述的信息处理装置，其中
所述视线方向检测单元根据驾驶员的面部附近的图像指定驾驶员的瞳孔的位置，并基于所指定的瞳孔的位置检测驾驶员的视线方向。
19.一种信息处理方法，包括：
视线方向检测处理，检测车辆的驾驶员的视线方向；以及
操作控制处理，在所述视线方向不是作为驾驶员在驾驶期间应当朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
20.一种用于使计算机用作以下装置的程序：
视线方向检测单元，被配置为检测车辆的驾驶员的视线方向；以及
操作控制单元，被配置为在所述视线方向不是作为驾驶员在驾驶期间应当朝向的方向的安全视线方向的情况下，将所述车辆控制为安全状态。
CN201980072374.5A 2018-11-13 2019-10-30 信息处理装置、信息处理方法和程序 Pending CN112997229A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-212728 2018-11-13
JP2018212728 2018-11-13
PCT/JP2019/042492 WO2020100585A1 (ja) 2018-11-13 2019-10-30 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112997229A true CN112997229A (zh) 2021-06-18

Family

ID=70731527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072374.5A Pending CN112997229A (zh) 2018-11-13 2019-10-30 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11873007B2 (zh)
EP (1) EP3882883A4 (zh)
JP (1) JPWO2020100585A1 (zh)
CN (1) CN112997229A (zh)
WO (1) WO2020100585A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117325882A (zh) * 2023-11-21 2024-01-02 名商科技有限公司 车内灯及其控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074698B2 (ja) * 2019-02-27 2022-05-24 トヨタ自動車株式会社 評価装置
JP7287291B2 (ja) * 2020-01-16 2023-06-06 トヨタ自動車株式会社 情報処理装置、プログラム、及び、情報処理方法
JP7399774B2 (ja) * 2020-03-31 2023-12-18 株式会社日立製作所 移動体制御システム
JP7297166B2 (ja) 2020-09-25 2023-06-23 三菱電機株式会社 移動体制御装置および移動体制御方法
JP2022152694A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN113173168A (zh) * 2021-04-30 2021-07-27 重庆工程职业技术学院 车辆智能驾驶控制系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167516A1 (en) * 2007-12-27 2009-07-02 Omron Corporation Look-away detecting device, method and program
JP2009163434A (ja) * 2007-12-28 2009-07-23 Toyota Motor Corp 緊急退避システム、緊急退避方法
CN105083291A (zh) * 2014-04-25 2015-11-25 歌乐株式会社 基于视线检测的驾驶员辅助系统
JP2016034810A (ja) * 2014-08-04 2016-03-17 株式会社デンソーアイティーラボラトリ 車両制御装置
CN105723435A (zh) * 2013-05-13 2016-06-29 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN107000760A (zh) * 2014-12-12 2017-08-01 索尼公司 车辆控制设备、车辆控制方法和程序
WO2017145549A1 (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム
JP2018097515A (ja) * 2016-12-12 2018-06-21 株式会社デンソーアイティーラボラトリ 運転支援装置、運転支援方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
JP2007204032A (ja) * 2006-01-06 2007-08-16 Toyota Motor Corp 車載警報装置
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
JP6503285B2 (ja) 2015-12-02 2019-04-17 株式会社デンソーアイティーラボラトリ 運転制御装置、運転制御方法及びプログラム
US10241511B2 (en) 2016-11-03 2019-03-26 Ford Global Technologies, Llc Emergency evacuation using autonomous driving
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP2018133032A (ja) * 2017-02-17 2018-08-23 オムロン株式会社 運転切替支援装置、及び運転切替支援方法
JP6631569B2 (ja) * 2017-03-14 2020-01-15 オムロン株式会社 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
US10745030B2 (en) * 2017-12-30 2020-08-18 The Hi-Tech Robotic Systemz Ltd Providing location and driving behavior based alerts
US20190300017A1 (en) * 2018-04-02 2019-10-03 GM Global Technology Operations LLC Method of controlling a vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167516A1 (en) * 2007-12-27 2009-07-02 Omron Corporation Look-away detecting device, method and program
JP2009157736A (ja) * 2007-12-27 2009-07-16 Omron Corp 脇見検出装置および方法、並びに、プログラム
JP2009163434A (ja) * 2007-12-28 2009-07-23 Toyota Motor Corp 緊急退避システム、緊急退避方法
CN105723435A (zh) * 2013-05-13 2016-06-29 罗伯特·博世有限公司 用于运行车辆的方法和设备
CN105083291A (zh) * 2014-04-25 2015-11-25 歌乐株式会社 基于视线检测的驾驶员辅助系统
JP2016034810A (ja) * 2014-08-04 2016-03-17 株式会社デンソーアイティーラボラトリ 車両制御装置
CN107000760A (zh) * 2014-12-12 2017-08-01 索尼公司 车辆控制设备、车辆控制方法和程序
WO2017145549A1 (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム
JP2018097515A (ja) * 2016-12-12 2018-06-21 株式会社デンソーアイティーラボラトリ 運転支援装置、運転支援方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117325882A (zh) * 2023-11-21 2024-01-02 名商科技有限公司 车内灯及其控制方法

Also Published As

Publication number Publication date
WO2020100585A1 (ja) 2020-05-22
EP3882883A1 (en) 2021-09-22
US20210339770A1 (en) 2021-11-04
EP3882883A4 (en) 2021-12-29
JPWO2020100585A1 (ja) 2021-10-07
US11873007B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
US20210124956A1 (en) Information processing apparatus, information processing method, and program
CN113168772B (zh) 信息处理装置，信息处理方法和记录介质
US11873007B2 (en) Information processing apparatus, information processing method, and program
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
US11815887B2 (en) Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
JPWO2018056103A1 (ja) 車両制御装置、車両制御方法、および移動体
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JPWO2020026825A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11135987B2 (en) Information processing device, information processing method, and vehicle
US20220277556A1 (en) Information processing device, information processing method, and program
WO2019117104A1 (ja) 情報処理装置および情報処理方法
US20230251846A1 (en) Information processing apparatus, information processing method, information processing system, and program
EP3896968A1 (en) Image processing device, image processing method, and image processing system
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20230418586A1 (en) Information processing device, information processing method, and information processing system
EP4273834A1 (en) Information processing device, information processing method, program, moving device, and information processing system
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20220309848A1 (en) Signal processing device, signal processing method, program, and imaging device
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication