CN112534487B - 信息处理设备、移动体、信息处理方法和程序 - Google Patents

信息处理设备、移动体、信息处理方法和程序 Download PDF

Info

Publication number
CN112534487B
CN112534487B CN201980051421.8A CN201980051421A CN112534487B CN 112534487 B CN112534487 B CN 112534487B CN 201980051421 A CN201980051421 A CN 201980051421A CN 112534487 B CN112534487 B CN 112534487B
Authority
CN
China
Prior art keywords
driver
unit
face
orientation
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980051421.8A
Other languages
English (en)
Other versions
CN112534487A (zh
Inventor
桥本弘和
今井秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112534487A publication Critical patent/CN112534487A/zh
Application granted granted Critical
Publication of CN112534487B publication Critical patent/CN112534487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了信息处理设备，该信息处理设备包括：外部信息检测单元(141)，基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；内部信息检测单元(142)，基于由内部检测单元检测到的数据来检测移动体内部的驾驶员的面部的朝向；判定单元(155)，判定由外部信息检测单元(141)检测到的物体的位置与由内部信息检测检测单元(142)检测到的驾驶员的面部的朝向是否在同一方向上；以及输出控制单元(105)，与当物体的位置与驾驶员的面部的朝向在同一方向上时相比，当物体的位置与驾驶员的面部的朝向不在同一方向上时，输出控制单元(105)更强烈地向驾驶员输出警报。

Description

信息处理设备、移动体、信息处理方法和程序
技术领域
本公开涉及信息处理设备、移动体、信息处理方法和程序。
背景技术
已知以下技术：判定驾驶员在驾驶时的觉醒程度，并且当觉醒程度低时，来自扬声器的警报的音量取决于指示车辆和车辆周围的障碍物之间碰撞的可能性的危险程度而改变。
引文列表
专利文献
专利文献1：JP 2009-116693 A
发明内容
技术问题
然而，在上述常规技术中，当驾驶员的觉醒程度高时，不进行任何处理。因此，如果驾驶员的觉醒程度高，但是驾驶员没有辨识到可能与车辆碰撞的物体，则不通知警报，并且驾驶员对物体的辨识延迟。
因此，本公开提出了能够取决于驾驶员辨识车辆周围物体的程度来改变向驾驶员的通知内容的信息处理设备、移动体、信息处理方法和程序。
问题的解决方案
根据本公开，信息处理设备包括：外部信息检测单元，基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；内部信息检测单元，基于由内部检测单元检测到的数据来检测移动体内部的驾驶员的面部的朝向；判定单元，判定由外部信息检测单元检测到的物体的位置与由内部信息检测单元检测到的驾驶员的面部的朝向是否在同一方向上；以及输出控制单元，与物体的位置与驾驶员的面部的朝向在同一方向上的情况相比，当物体的位置与驾驶员的面部的朝向不在同一方向上时，输出控制单元更强烈地向驾驶员输出警报。
发明的有益效果
根据本公开，可以取决于驾驶员辨识车辆周围的物体的程度来改变向驾驶员的通知内容。本文描述的效果并不一定受到限制，并且可以是本公开中描述的任何效果。
附图说明
图1是示出作为可以应用本技术的移动体控制系统的示例的车辆控制系统的示意性功能构造的示例的框图。
图2A是示出获取车辆外部信息的数据获取单元的布置位置的示例的视图。
图2B是示出获取车辆内部信息的数据获取单元的布置位置的示例的视图。
图3是示出驾驶员的面部的朝向和辨识范围的示例的图。
图4是示出根据本公开的实施例的信息处理方法中的处理的示例的流程图。
图5是示出用于检测驾驶员的面部的朝向的处理过程的示例的流程图。
图6是示出根据实施例的信息处理方法中的情况辨识地图的示例的图。
图7是示出根据实施例的通知内容以及整体安全性程度和驾驶员的辨识程度的组合的示例的表。
图8是示意性地示出驾驶员的面部的朝向的示例的视图。
图9是示出根据实施例的通知方法以及整体安全性程度和驾驶员的辨识程度的组合的示例的图表。
图10是示出车辆中的显示设备的布置位置的示例的视图。
图11是示出根据实施例的变形例的用于映射检测到的移动物体和驾驶员的面部的朝向的处理过程的示例的流程图。
图12是示出根据实施例的变形例的驾驶员的面部的朝向的示例的视图。
图13是示出实现根据实施例的信息处理设备的功能的计算机的示例的硬件构造图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施例。在下面的每个实施例中，相同的附图标记被赋予相同的组件，并且将省略重复的描述。
(实施例)
[根据实施例的系统构造]
图1是示出作为可以应用本技术的移动体控制系统的示例的车辆控制系统的示意性功能构造的示例的框图。
在下文中，当将包括车辆控制系统100的车辆与其它车辆区分开时，将该车辆称为“主车”或“本车”。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112通过通信网络121彼此连接。通信网络121包括例如符合任何标准的车载通信网络或总线，诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。车辆控制系统100的各个单元可以直接彼此连接而无需使用通信网络121。
注意，在下文中，当车辆控制系统100的每个单元通过通信网络121进行通信时，省略对通信网络121的描述。例如，当输入单元101和自动驾驶控制单元112通过通信网络121彼此通信时，简单地描述输入单元101和自动驾驶控制单元112彼此通信。另外，自动驾驶控制单元112、输出控制单元105、输出单元106和存储单元111对应于信息处理设备。
输入单元101包括乘客用来输入各种数据或指令的设备。例如，输入单元101包括诸如触摸板、按钮、麦克风、开关或操纵杆之类的操作设备，以及能够除手动操作以外通过使用语音或手势的方法来输入的操作设备。此外，输入单元101可以是例如使用红外线或其它无线电波的遥控设备，或者是支持车辆控制系统100的操作的诸如移动设备或可穿戴设备之类的外部连接设备。输入单元101基于乘客输入的数据或指令来生成输入信号，并将该输入信号供应给车辆控制系统100的每个单元。
数据获取单元102包括获取用于车辆控制系统100的处理的数据的各种传感器，并将所获取的数据供应给车辆控制系统100的每个单元。
例如，数据获取单元102包括用于检测主车的状态等的各种传感器。具体地，数据获取单元102包括例如陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角、引擎速度、马达速度或车轮转速等的传感器。
例如，数据获取单元102还包括外部检测单元，该外部检测单元是用于检测主车外部的信息的各种传感器。具体地，数据获取单元102包括例如图像拍摄设备，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机。此外，数据获取单元102包括例如用于检测天气或气候的环境传感器以及用于检测主车周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、光检测和测距、激光成像检测和测距(LiDAR)、声纳等。
例如，数据获取单元102还包括用于检测主车的当前位置的各种传感器。具体地，数据获取单元102包括例如从全球导航卫星系统(GNSS)卫星等接收GNSS信号的GNSS接收器。
例如，数据获取单元102还包括内部检测单元，该内部检测单元是用于检测车辆中的信息的各种传感器。具体地，数据获取单元102包括例如拍摄驾驶员的图像拍摄设备(驾驶员监视系统，以下称为“DMS”)、检测驾驶员的生物信息的生物传感器、收集车辆内部的语音的麦克风等等。生物传感器设置在例如座椅表面或方向盘上，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。相机、ToF相机等可以用作DMS。特别地，期望使用即使在隧道或夜晚的黑暗中也可以高准确性地监视驾驶员的ToF相机。可替代地，DMS可以是检测驾驶员的视线的视线传感器。例如，用红外线照射驾驶员的眼睛以基于在角膜上的反射光的位置和瞳孔的位置检测视线的传感器可以用作视线传感器。
图2A是示出获取车辆外部信息的数据获取单元的布置位置的示例的视图，并且图2B是示出获取车辆内部信息的数据获取单元的布置位置的示例的视图。如图2A中所示，在作为主车的车辆7900的前鼻、侧镜和后保险杠上分别设置有拍摄车辆外部的图像拍摄设备7910、7912、7914和7916。前鼻上的图像拍摄设备7910主要从车辆7900的前部获取图像。侧镜上的图像拍摄设备7912和7914主要从车辆7900的侧面获取图像。后保险杠上的图像拍摄设备7916主要从车辆7900的后部获取图像。前鼻上的图像拍摄设备7910可以设置在防风罩的顶部。后保险杠上的图像拍摄设备7916可以设置在后门上。
图2A还示出了各个图像拍摄设备7910、7912、7914和7916的图像拍摄范围a至d的示例。图像拍摄范围a指示前鼻上的图像拍摄设备7910的图像拍摄范围，而图像拍摄范围b和c分别指示侧镜上的图像拍摄设备7912和7914的图像拍摄范围。另外，图像拍摄范围d指示后保险杠上的图像拍摄设备7916的图像拍摄范围。
尽管图2A示出了图像拍摄设备7910、7912、7914和7916的布置位置的示例，但是可以布置除图像拍摄设备以外的车辆外部信息检测设备7920、7922、7924、7926、7928和7930。例如，作为车辆外部信息检测设备7920、7922、7924、7926、7928和7930的超声传感器或雷达设备可以布置在车辆7900的前部、后部、侧面、拐角以及车辆内部的防风罩的顶部上。可替代地，作为车辆外部信息检测设备7920、7926和7930的LiDAR设备可以布置在车辆7900的前鼻、后保险杠、后门上或车辆内部的防风罩的顶部上。
如图2B中所示，DMS 5030设置在仪表板5020上方的仪表盘5010上，并拍摄驾驶员的上身，包括坐在驾驶员的座椅上的驾驶员的面部。
返回到图1，通信单元103与车载设备104以及车辆外部的各种设备、服务器和基站进行通信，传送从车辆控制系统100的每个单元供应的数据，以及将接收到的数据供应给车辆控制系统100的每个单元。通信单元103所支持的通信协议不受特别限制，并且通信单元103可以支持多种类型的通信协议。
例如，通信单元103经由无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载设备104进行无线通信。可替代地，例如，通信单元103使用通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链接(MHL)经由连接端子(未示出)(并且，如果需要，缆线)与车载设备104进行有线通信。
此外，例如，通信单元103经由基站或接入点与外部网络(例如，互联网、云网络或业务运营商独有的网络)上的设备(例如，应用服务器或控制服务器)进行通信。例如，通信单元103还使用对等(P2P)技术来与主车附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)进行通信。例如，通信单元103还进行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信或车辆到行人通信。另外，通信单元103包括例如信标接收器，并且接收从安装在道路上的无线站传送的无线电波或电磁波，并且获取诸如当前位置、交通拥堵、交通限制和所需时间之类的信息。
车载设备104包括例如乘客所拥有的移动设备或可穿戴设备、被携带或附接到主车中的信息设备、搜索到任意目的地的路线的导航设备等等。
输出控制单元105控制到驾驶员的各种类型的信息的输出。例如，输出控制单元105生成包括视觉信息(例如，图像数据)和听觉信息(例如，语音数据)中的至少一个的输出信号，并将该输出信号供应给输出单元106以控制视觉和听觉信息从输出单元106的输出。具体地，输出控制单元105合成由数据获取单元102中的不同图像拍摄设备拍摄的图像数据以生成鸟瞰图像或全景图像，并且例如将包括所生成的图像的输出信号供应给输出单元106。
例如，输出控制单元105还基于驾驶员辨识物体的程度来生成包括作为用于碰撞的警报的警告声音或警告消息的语音数据，并将包括所生成的语音数据的输出信号供应给输出单元106。这时，输出控制单元105可以生成其中由数据获取单元102的图像拍摄设备拍摄的外部图像与基于驾驶员的辨识程度的作为碰撞的警报的警告显示等叠加的图像数据，并将包括所生成的图像数据的输出信号供应给输出单元106。物体包括正在移动的物体(移动物体)和静止物体。
输出控制单元105不仅可以基于物体的辨识程度，而且还可以基于周围物体相对于主车的安全性程度以及驾驶员辨识物体的程度的组合来生成语音数据。此时，输出控制单元105可以基于外部图像中物体的安全性程度和驾驶员的辨识程度的组合来生成图像数据。
输出单元106包括能够向主车的乘客输出视觉信息或听觉信息的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、乘客穿戴的诸如眼镜型显示器之类的可穿戴设备、投影仪、灯等。输出单元106中包括的显示设备除了具有正常显示器的设备之外，还可以是例如平视显示器、透射显示器或在驾驶员的视场中显示视觉信息的设备，诸如具有增强现实(AR)显示功能的设备。
驱动系统控制单元107生成各种控制信号，并将控制信号供应给驱动系统108以控制驱动系统108。驱动系统控制单元107将控制信号根据需要供应给除驱动器系统108以外的各个单元，以通知驱动系统108的控制状态等。
驱动系统108包括与主车的驱动系统有关的各种设备。例如，驱动系统108包括诸如内燃机或驱动马达之类的用于生成驱动力的驱动力生成器、用于将驱动力传送到车轮的驱动力传送机构、调整转向角的转向机构、生成制动力的制动设备、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动助力转向设备等。
车身系统控制单元109生成各种控制信号，并将控制信号供应给车身系统110，以控制车身系统110。车身系统控制单元109根据需要将控制信号供应给除车身系统110以外的各个单元，以通知车身系统110的控制状态等。
车身系统110包括安装在车身上的各种车身系统设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、背光灯、刹车灯、指示灯、雾灯等)等等。
存储单元111包括例如磁存储设备，诸如只读存储器(ROM)、随机存取存储器(RAM)或硬盘驱动器(HDD)，以及半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储由车辆控制系统100的各个单元使用的各种程序和数据。例如，存储单元111存储地图数据，诸如动态地图之类的三维高精度地图、精度比高精度地图差且覆盖大面积的全局地图以及包括主车周围的信息的局部地图。
自动驾驶控制单元112控制诸如自主驾驶或驾驶辅助之类的自动驾驶。具体地，自动驾驶控制单元112执行协作控制以实现高级驾驶员辅助系统(ADAS)的功能，该高级驾驶员辅助系统的功能包括主车的碰撞避免或冲击减轻、基于车辆间距离的跟进行驶、维持车速行驶、主车的碰撞警告或主车的车道偏离警告。例如，自动驾驶控制单元112还出于自动驾驶的目的执行协作控制，即，自主行驶而不依赖于驾驶员的操作。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、情况分析单元133、计划单元134和操作控制单元135。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括作为外部信息检测单元的车辆外部信息检测单元141、作为内部信息检测单元的车辆内部信息检测单元142以及车辆状态检测单元143。
车辆外部信息检测单元141基于来自车辆控制系统100的各个单元的数据或信号进行检测主车外部的信息的处理。例如，车辆外部信息检测单元141进行以下处理：检测、识别并跟踪主车周围的物体，并检测到该物体的距离。要检测的物体的示例包括车辆、人员、障碍物、建筑物、道路、交通信号灯、交通标志和道路标记。例如，车辆外部信息检测单元141还进行检测主车周围的环境的处理。要检测的周围环境的示例包括天气、温度、湿度、亮度和路面状况。车辆外部信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、情况分析单元133中的地图分析单元151、交通规则识别单元152和情况辨识单元153、操作控制单元135的紧急状况避免单元171等。
车辆内部信息检测单元142基于来自车辆控制系统100的各个单元的数据或信号进行检测车辆内部信息的处理。例如，车辆内部信息检测单元142进行识别驾驶员的处理、检测驾驶员的状态的处理等。要检测的驾驶员的状态的示例包括身体状况、觉醒程度、注意力、疲劳和面部的朝向。要检测的车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测单元142将指示检测处理的结果的数据供应给情况分析单元133的情况辨识单元153、操作控制单元135的紧急状况避免单元171等。
车辆内部信息检测单元142对面部朝向的检测是通过使用机器学习从来自数据获取单元102的DMS的拍摄数据中识别出驾驶员的面部来进行的。下面将描述检测驾驶员的面部的朝向的情况。然而，由于视线的方向和面部朝向通常匹配，所以假设驾驶员的面部的朝向包括视线的方向。另外，当检测到面部朝向时将相机用作DMS，而当检测到视线方向时将视线传感器用作DMS。
车辆状态检测单元143基于来自车辆控制系统100的各个单元的数据或信号进行检测主车的状况的处理。要检测的主车的状态的示例包括速度、加速度、转向角、是否存在异常、异常的内容、驾驶操作的状态、电动座椅的位置和倾斜度、门锁的状态以及其它车载设备的状态。车辆状态检测单元143将指示检测处理的结果的数据供应给情况分析单元133的情况辨识单元153、操作控制单元135的紧急状况避免单元171等。
自身位置估计单元132基于来自诸如车辆外部信息检测单元141和情况分析单元133的情况辨识单元153之类的车辆控制系统100的各个单元的数据或信号进行估计主车的位置和取向的处理。另外，自身位置估计单元132根据需要生成用于估计自身位置的局部地图(以下称为“自身位置估计地图”)。自身位置估计地图例如是使用诸如同时定位和地图绘制(SLAM)之类的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给情况分析单元133中的地图分析单元151、交通规则识别单元152和情况辨识单元153等。自身位置估计单元132还将自身位置估计地图存储在存储单元111中。
情况分析单元133进行分析主车的情况和周围情况的处理。情况分析单元133包括地图分析单元151、交通规则识别单元152、情况辨识单元153、情况预测单元154和判定单元155。
地图分析单元151通过根据需要使用来自诸如自身位置估计单元132和车辆外部信息检测单元141之类的车辆控制系统100的各个单元的数据或信号进行分析存储在存储单元111中的各种地图的处理，以创建包括自动驾驶所需信息的地图。地图分析单元151将所创建的地图供应给交通规则识别单元152、情况辨识单元153、情况预测单元154以及计划单元134中的路线计划单元161、动作计划单元162和操作计划单元163。
交通规则识别单元152基于来自诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151之类的车辆控制系统100的各个单元的数据或信号进行识别主车周围的交通规则的处理。例如，通过该识别处理，可以识别主车周围的交通信号灯的位置和状态、主车周围的交通规则的内容、主车可以行驶的车道等等。交通规则识别单元152将指示识别处理的结果的数据供应给情况预测单元154等。
情况辨识单元153基于来自诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151之类的车辆控制系统100的各个单元的数据或信号进行识别主车的情况的处理。例如，情况辨识单元153进行识别主车的情况、主车周围的情况、主车的驾驶员的情况等的处理。
另外，情况辨识单元153生成用于识别主车周围的情况和驾驶员的面部的朝向的局部地图(以下称为“情况辨识地图”)。情况辨识地图可以是例如占用网格地图或使用诸如SLAM之类的技术的高精度地图。情况辨识地图例如是用于将指示由数据获取单元102获取的主车外部的信息的坐标系与指示由数据获取单元102获取的驾驶员的面部的朝向的坐标系进行组合的空间信息。情况辨识地图例如由以主车的后轮轴的中心为原点的坐标系表示。由数据获取单元102检测到的具有相对于主车的相对速度的物体(以下称为“移动物体”)和驾驶员的面部的朝向被映射到该情况辨识地图。
要识别的主车的情况的示例包括主车的位置、取向、运动(例如，速度、加速度、移动方向等)、异常的存在与否以及异常的内容。要识别的主车周围的情况的示例包括周围的静止物体的类型和位置、周围的移动物体的类型、位置和运动(例如，速度、加速度、移动方向等)、周围道路的布局、路面状况以及周围的天气、温度、湿度、亮度等。要识别的驾驶员的状态的示例包括身体状况、觉醒程度、注意力、疲劳、面部朝向、视线移动和驾驶操作。
情况辨识单元153将指示识别处理的结果的数据(如果需要，包括情况辨识地图)供应给自身位置估计单元132、情况预测单元154、判定单元155等。另外，情况辨识单元153将情况辨识地图存储在存储单元111中。
情况预测单元154基于来自诸如地图分析单元151、交通规则识别单元152和情况辨识单元153之类的车辆控制系统100的的各个单元的数据或信号进行预测与主车有关的情况的处理。例如，情况预测单元154进行预测主车的情况、主车周围的情况、驾驶员的情况等的处理。
要预测的主车的情况的示例包括主车的行为、异常的发生和可行驶距离。要预测的主车周围的情况的示例包括主车周围的移动物体的行为、交通信号灯状态的改变、诸如天气之类的环境的改变。要预测的驾驶员的情况的示例包括驾驶员的行为和身体状况。
情况预测单元154将指示预测处理的结果的数据以及来自交通规则识别单元152和情况辨识单元153的数据供应给判定单元155以及计划单元134中的路线计划单元161、动作计划单元162和操作计划单元163等。
例如，在本实施例中，情况预测单元154计算由情况辨识单元153识别出的每个移动物体的安全性程度，并判定主车的整体安全性程度(以下，称为“整体安全性程度”)。通过例如计算直到主车与移动物体碰撞的时间(碰撞时间，以下称为“TTC”)，可以根据TTC的范围对安全性程度进行分类。以下，将给出安全性程度分类为三个安全性程度，即低安全性程度、中安全性程度和高安全性程度的情况作为示例。基于判定的时间当作为判定对象的移动物体可能在第一时段内与主车碰撞并且除非主车紧急停止或方向盘被操作否则主车与移动物体碰撞时，则判定为低安全性程度。基于判定的时间当作为判定对象的移动物体可能在第二时段内与主车碰撞，该时段不如第一时段紧急，但是必须进行一些处理以避免与移动物体碰撞时，则判定为中安全性程度。当判定作为判定对象的移动物体可能在第三时段内与主车碰撞时或者当判定移动物体不太可能与主车碰撞时，则判定为高安全性程度。例如，如果不存在碰撞的可能性，则将TTC设定为无限大。例如，第一时段被设定为TTC为0秒以上且0.7秒以下的时段，第二时段被设定为TTC为0.7秒以上且1.4秒以下的时段，并且第三时段被设定为TTC超过1.7秒。这仅是示例，并且第一至第三时段可以被设定为其它范围。
在计算安全性程度时，情况预测单元154根据由车辆外部信息检测单元141检测到的移动物体的移动方向和速度以及由车辆状态检测单元143检测到的主车的移动方向、速度和加速度来预测主车和移动物体的运动。结果，情况预测单元154将预测为在第一时段内与主车碰撞的移动物体判定为低安全性程度，将预测为在第二时段内与主车碰撞的移动物体判定为中安全性程度，并且将预测为不太可能与主车碰撞或预测为在第三时段内与主车碰撞的移动物体判定为高安全性程度。
情况预测单元154计算所有检测到的移动物体的安全性程度，然后判定移动物体相对于主车的整体安全性程度。具体地，情况预测单元154将移动物体的安全性程度当中的最低安全性程度设定为整体安全性程度。例如，情况预测单元154选择多个移动物体中具有最短TTC的移动体作为代表性移动物体，并且将该代表性移动物体的安全性程度设定为整体安全性程度。情况预测单元154将关于代表性移动物体和整体危险程度的信息输出到判定单元155和输出控制单元105。
判定单元155基于代表性移动物体的位置相对于由车辆内部信息检测单元142检测到的驾驶员的面部的朝向，来判定驾驶员是否辨识到代表性移动物体。判定单元155判定驾驶员是否辨识到情况辨识地图上的代表性移动物体。例如，判定单元155判定代表性移动物体的位置是否与面部朝向在同一方向上，并且当代表性移动物体的位置与面部朝向在同一方向上时，判定驾驶员辨识到移动物体，并且当移动物体的位置与面部朝向不在同一方向上时，判定驾驶员未辨识到移动物体。在本说明书中，当代表性移动物体存在于以面部朝向为中心的预定范围内时，则判定代表性移动物体的位置与面部朝向在同一方向上。
图3是示出驾驶员的面部朝向和识别范围的示例的图。如图3中所示，一般认为，人类可以检查存在于面部朝向D周围±35度范围内、即整体70度范围内的移动物体的颜色。因此，在本实施例中，将驾驶员的面部朝向D周围的±35度的范围、即总共70度的范围定义为识别范围Rr，并且假设当移动物体存在于识别范围Rr内时，驾驶员辨识到移动物体。因此，作为示例，判定单元155可以通过判定在情况辨识地图上代表性移动物体是否存在于面部朝向D周围的±35度的识别范围Rr内来判定驾驶员是否辨识到代表性移动物体(在下文中，也称为“辨识程度”)。
判定单元155将驾驶员辨识到代表性移动物体的程度输出到紧急状况避免单元171和输出控制单元105。输出控制单元105将基于整体安全性程度和驾驶员辨识到代表性移动物体的程度的组合的输出信息输出到输出单元106。
例如，输出控制单元105使作为输出单元106的音频扬声器输出包括关于代表性移动物体的通知内容的语音数据。此外，输出控制单元105可以在作为输出单元106的显示设备上显示突出了代表性移动物体的主车周围的图像数据。
另外，在从输出单元106输出通知内容之后，判定单元155在预定的定时向输出控制单元105输出停止通知内容的输出的指令。当在预定的定时接收到停止通知内容的输出的指令时，输出控制单元105停止通知内容向输出单元106的输出。例如，预定的定时可以是当由车辆内部信息检测单元142检测到的驾驶员的面部朝向指向代表性移动物体的方向的时候。可替代地，预定的定时可以是当数据获取单元102检测到指示驾驶员辨识到代表性移动物体的语音的时候。此外，预定的定时也可以是车辆状态检测单元143检测到驾驶员进行的方向盘操作或制动操作的时候。由于通知内容在预定的定时停止，因此可以减少驾驶员对通知的烦恼。
计划单元134基于主车和周围情况的分析结果来创建主车的移动计划。计划单元134包括路线计划单元161、动作计划单元162和操作计划单元163。
路线计划单元161基于来自诸如地图分析单元151和情况预测单元154之类的车辆控制系统100的各个单元的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全球地图设定从当前位置到指定目的地的路线。另外，例如，路线计划单元161基于交通认知、事故、交通法规和构造的状态以及驾驶员的身体状况来适当地改变路线。路线计划单元161将指示计划路线的数据供应给动作计划单元162等。
动作计划单元162基于来自诸如地图计划单元151和情况预测单元154之类的车辆控制系统100的各个单元的数据或信号，计划主车的动作以允许主车在计划时间内在由路线计划单元161计划的路线上安全地行驶。例如，动作计划单元162计划开始、停止、行驶方向(例如，向前、向后、向左转、向右转、方向改变等)、行驶车道、行驶速度和超车。动作计划单元162将指示主车的计划动作的数据供应给操作计划单元163等。
操作计划单元163基于来自诸如地图分析单元151和情况预测单元154之类的车辆控制系统100的各个单元的数据或信号，计划主车的操作以进行由动作计划单元162计划的动作。例如，操作计划单元163计划加速、减速、行驶轨迹等。操作计划单元163将指示主车的计划操作的数据供应给操作控制单元135中的加减速控制单元172和方向控制单元173。
操作控制单元135控制主车的操作。操作控制单元135包括紧急状况避免单元171、加减速控制单元172和方向控制单元173。
基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果，紧急状况避免单元171进行检测诸如进入危险区域、驾驶员异常和车辆异常之类的紧急状况的处理。紧急状况避免单元171还基于由判定单元155进行的判定结果来进行检测诸如碰撞和接触之类的紧急状况的处理。具体地，当从情况辨识单元153获取低安全性程度的信息时，紧急状况避免单元171检测与移动物体与主车的碰撞有关的紧急状况。当检测到紧急状况发生时，紧急状况避免单元171计划主车的操作以避免紧急状况，诸如突然停止或急转弯。紧急状况避免单元171将指示主车的计划操作的数据供应给加减速控制单元172、方向控制单元173等。
加减速控制单元172执行加减速控制，以进行由操作计划单元163或紧急状况避免单元171计划的主车的操作。例如，加减速控制单元172计算为了实现计划的加速、减速或突然停止的驱动力生成器或制动设备的控制目标值，并且将指示计算出的控制目标值的控制命令供应给驱动系统控制单元107。
方向控制单元173执行方向控制以进行由操作计划单元163或紧急状况避免单元171计划的主车的操作。例如，方向控制单元173计算为了实现由操作计划单元163或紧急状况避免单元171计划的行驶轨迹或急转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制命令供应给驱动系统控制单元107。
[根据实施例的信息处理的过程]
接下来，将描述这种车辆控制系统100中的信息处理方法。图4是示出根据本公开的实施例的信息处理方法中的处理的示例的流程图。首先，当主车变得可操作时，车辆外部信息检测单元141从数据获取单元102获取主车外部的车辆外部信息(步骤S11)。检测车辆外部信息的数据获取单元102例如是图像拍摄设备或周围信息检测传感器。此外，可操作状态例如是引擎启动的状态或电源打开的状态。
车辆外部信息检测单元141进行使用车辆外部信息检测作为相对于主车具有相对速度的物体的移动物体的处理(步骤S12)，并判定是否存在移动物体作为检测处理的结果(步骤S13)。车辆外部信息检测单元141通过使用例如在不同时间拍摄的拍摄数据来判定是否存在移动物体。如果不存在移动物体(步骤S13为“否”)，则处理返回到步骤S11。
如果存在移动物体(步骤S13为“是”)，则情况辨识单元153使用从数据获取单元102获取的车辆外部信息来预测检测到的移动物体的运动(步骤S14)。移动物体的运动的示例包括相对于主车的当前位置(检测时的位置)、速度和移动方向。
车辆内部信息检测单元142然后从作为数据获取单元102的DMS获取车辆内部信息(步骤S15)。DMS是例如拍摄包括驾驶员的面部的区域的相机，并且车辆内部信息是驾驶车辆的驾驶员的拍摄数据。接下来，车辆内部信息检测单元142进行使用车辆内部信息检测驾驶员的面部朝向的处理(步骤S16)。
图5是示出用于检测驾驶员的面部的朝向的处理过程的示例的流程图。车辆内部由设在车辆内部的DMS拍摄。DMS设在可以拍摄包括驾驶员的面部的区域的位置处。车辆内部信息检测单元142判定在由DMS拍摄的帧中是否检测到面部(步骤S51)。如果在帧中未检测到面部(步骤S51为“否”)，则处理等待直到检测到面部。
当在帧中检测到面部时(步骤S51为“是”)，车辆内部信息检测单元142判定是否已经进行临时跟踪(步骤S52)。在临时跟踪中，在已经检测到面部的帧之后从DMS发送的帧中检测面部。如果尚未进行临时跟踪(步骤S52为“否”)，也就是说，如果在临时跟踪期间在帧中丢失面部，则再次进行搜索(步骤S57)。然后处理返回到步骤S51。
另一方面，如果已经进行了临时跟踪(步骤S52为“是”)，则车辆内部信息检测单元142使用其后获取的帧进行面部检测(步骤S53)。另外，车辆内部信息检测单元142以获取的帧跟踪驾驶员的面部(步骤S54)。在跟踪中，即使当驾驶员的面部的朝向相对于DMS改变时，也通过使用诸如所检测的驾驶员的面部的各部分的布置关系之类的信息来辨认驾驶员的面部。
此外，车辆内部信息检测单元142使用辨认出的驾驶员的面部的信息来计算驾驶员的面部的朝向(步骤S55)。与跟踪的情况一样，车辆内部信息检测单元142使用驾驶员坐在驾驶员的座椅上并向前看的状态作为基准，基于在帧中检测到的驾驶员的面部的各部分的布置关系来辨认面部朝向。例如，由于面部可以绕在垂直方向上延伸的轴、在水平方向上延伸的轴和在前后方向上延伸的轴旋转，所以可以使用绕每个轴的旋转角度来辨认面部朝向。
此后，车辆内部信息检测单元142判定在跟踪期间是否可以检测到驾驶员的面部(步骤S56)。如果可以检测到面部(步骤S56为“是”)，则处理返回到图4。如果不能检测到面部(步骤S56为“否”)，则处理进入步骤S57，并再次进行搜索。在由数据获取单元102拍摄驾驶员的图像数据的同时进行以上处理。
再次返回到图4，情况辨识单元153进行映射在步骤S13检测到的移动物体和在步骤S16检测到的驾驶员的面部的朝向的处理(步骤S17)。在该映射处理中，例如，将移动物体和驾驶员的面部的朝向映射到作为基于主车的预定位置的空间信息的情况辨识地图。预定位置例如是主车的后轮轴的中心。用于检测移动物体的坐标系和用于检测驾驶员的面部的朝向的坐标系彼此不同，并且情况辨识单元153将在两个不同的坐标系中获取的数据映射到一个坐标系。图6是示出根据实施例的信息处理方法中的情况辨识地图的示例的图。如该图中所示，例如，将移动物体210的位置和驾驶员dr的面部朝向D映射到具有以车辆的后轮轴的中心O为基准的坐标系的情况辨识地图。
接下来，情况预测单元154计算映射到情况辨识地图的所有移动物体的安全性程度(步骤S18)。这里，情况预测单元154通过使用在步骤S14预测到的移动物体的运动和根据由车辆状态检测单元143获得的信息预测到的主车的运动，计算指示主车与移动物体碰撞的程度的安全性程度。如果存在多个移动物体，则针对每个移动物体计算安全性程度。例如，情况预测单元154基于当对移动物体进行计算的时间点处的一个移动物体的位置、速度和移动方向来预测移动物体的运动。另外，情况预测单元154基于来自车辆状态检测单元143的主车的速度、加速度和移动方向来预测主车的运动。接下来，情况预测单元154判定主车是否将与移动物体碰撞，并且如果预测主车将与移动物体碰撞，则情况预测单元154计算TTC，并且取决于TTC所属的范围将安全性程度分类为高安全性程度、中安全性程度或低安全性程度。例如，如果预测主车将不会与移动物体碰撞，或者如果TTC处于第三时段，则情况预测单元154将安全性程度分类为高安全性程度。当TTC处于第二时段时，情况预测单元154将安全性程度分类为中安全性程度，并且当TTC处于第一时段时，情况预测单元154将安全性程度分类为低安全性程度。
在针对所有移动物体计算了安全性程度之后，情况预测单元154计算整体安全性程度(步骤S19)。具体地，情况预测单元154选择计算出的安全性程度中具有最短TTC的移动物体作为代表性移动物体，并且将该代表性移动物体的安全性程度设定为整体安全性程度。如上所述，TTC是直到碰撞的时间。因此，选择具有最短TTC的移动物体意味着选择可能首先碰撞的移动物体，这是驾驶员必须最关注的主体。换句话说，选择具有最短TTC的移动物体使得可以通过缩小可能很快引起碰撞的一个移动体的范围来更容易地吸引驾驶员的关注。情况预测单元154将计算出的整体安全性程度和代表性移动物体的安全性程度传递给输出控制单元105和判定单元155。
然后，判定单元155通过使用情况辨识地图判定代表性移动物体的位置是否与驾驶员的面部的朝向匹配，来判定驾驶员辨识代表性移动物体的程度，在情况辨识地图中代表性移动物体的安全性程度和驾驶员的面部的朝向被映射(步骤S20)。具体地，判定单元155判定在情况辨识地图上代表性移动物体是否存在于驾驶员的识别范围Rr内。如图3中所示，驾驶员的识别范围Rr例如是驾驶员的面部朝向D周围的±35度的范围。当代表性移动物体存在于识别范围内时，判定单元155假设驾驶员辨识到代表性移动物体。当代表性移动物体不存在于识别范围内时，判定单元155假设驾驶员未辨识到代表性移动物体。判定单元155将驾驶员的辨识程度传递给输出控制单元105和紧急状况避免单元171。
接下来，输出控制单元105基于整体安全性程度和驾驶员的辨识程度的组合，判定到输出单元106的通知内容(步骤S21)。图7是示出根据实施例的通知内容以及整体安全性程度和驾驶员的辨识程度的组合的示例的表。在该表中，安全性程度被分类为三类，即“高”、“中”和“低”，辨识程度被分类为两类，即指示驾驶员辨识到移动物体的“有”和驾驶员未辨识到移动物体的“无”，并且为每个组合设定通知内容。通知声音的通知方法被示为通知内容。仅要求通知内容可以是向驾驶员的警报，并且除了通知声音之外，还可以使用带有触觉或灯光的通知。
在高安全性程度的情况下，无论辨识程度如何，都从作为输出单元106的音频扬声器输出极弱的通知声音。当安全性程度为中并且辨识程度为“有”时，从音频扬声器输出适度的通知声音。当安全性程度为中并且辨识程度为“无”时，从音频扬声器输出略强的通知声音。在低安全性程度的情况下，无论辨识程度如何，都从音频扬声器输出极强的通知声音。
在低安全性程度的情况下，无论辨识程度如何，都输出极强的通知声音，因此，当即将发生碰撞的可能性时，可以向驾驶员给出警报通知。关于通知声音，声音以“极弱”、“适度”、“略强”和“强”的顺序变强，并且声音强度在满足该关系的范围内任意设定。
如上所述，通过根据整体安全性程度和驾驶员的辨识程度的组合来改变通知声音，可以避免向驾驶员的不必要的关注或对要注意的移动物体的疏忽。结果，当驾驶员辨识到具有高安全性程度或中安全性程度的移动物体时，可以在最小化给予驾驶员的烦恼的同时引起驾驶员的关注。另外，当驾驶员未辨识到具有中安全性程度的移动物体时或当安全性程度低时，可以引起驾驶员的强烈关注。
输出控制单元105将判定的通知内容通知给输出单元106(步骤S22)。输出单元106根据通知内容进行通知。
另外，紧急状况避免单元171基于从判定单元155获取的整体安全性程度来判定是否需要紧急停止(步骤S23)。例如，紧急状况避免单元171当获取的整体安全性程度低时判定需要紧急停止，并且当获取的整体安全性程度高或中时判定不需要紧急停止。
如果不需要紧急停止(步骤S23为“否”)，则处理返回到步骤S11。如果需要紧急停止(步骤S23为“是”)，则紧急状况避免单元171生成在紧急状况下使主车停止的指令，并将所生成的指令传递给加减速控制单元172等。加减速控制单元172基于该指示进行使驱动系统控制单元107进行紧急停止的控制处理(步骤S24)。结果，驱动系统控制单元107指示驱动系统108进行紧急停止，并且主车进行车紧急停止。处理因此完成。
图8是示意性地示出驾驶员的面部的朝向的示例的视图。如该图中所示，驾驶员dr的面部朝向D透过防风罩向外。在这种情况下，将由车辆外部信息检测单元141检测到的移动物体210(代表性移动物体)和由车辆内部信息检测单元142检测到的驾驶员dr的面部朝向D映射到由情况辨识单元153进行的图6中所示的情况辨识地图。判定单元155判定驾驶员辨识代表性移动物体的程度，并根据代表性移动物体的整体安全性程度以及驾驶员的辨识程度的组合来判定通知内容。
当驾驶员透过防风罩或侧玻璃看向外面时，可以使用通过声音通知移动物体的存在的方法。在这种情况下，如图7中所示，声音强度取决于整体安全性程度和驾驶员的辨识程度的组合而改变。
此时，除了通知声音之外，输出控制单元105还可以进行其它通知，诸如通过用框线围绕代表性移动物体，在车辆中的显示单元上显示由数据获取单元102获取的图像中的代表性移动物体。例如，当选择代表性移动物体时，输出控制单元105可以将图像输出到车辆中的显示设备，在该图像中指示代表性移动物体的位置的信息被添加到代表性移动物体的图像数据。
图9是示出根据实施例的通知方法以及整体安全性程度和驾驶员的辨识程度的组合的示例的图表。在此，通过图7中所示的声音将到显示设备的通知内容添加到通知内容中。这里，示出了代表性移动物体存在于车辆前方的情况。由前置相机拍摄的图像数据270被投影在显示设备上，并且在图像数据270中被框线271围绕地显示代表性移动物体。当驾驶员听到指示通知内容的声音时，驾驶员检查显示设备的图像数据270，因此驾驶员可以检查代表性移动物体相对于主车的位置。
输出控制单元105可以根据安全性程度来改变框线271的颜色。例如，在高安全性程度的情况下，框线271的颜色可以是绿色，在中安全性程度的情况下，框线271的颜色可以是黄色，并且在低安全性程度的情况下，框线271的颜色可以是红色。不用说，这只是一个示例，并且可以使用其它颜色。可替代地，可以根据安全性程度来改变框线271的类型和框线271的粗度。另外，框线271可以闪烁。此外，指示代表性移动物体的位置的信息可以是箭头等而不是框线271。
此外，在以上示例中，从音频扬声器输出的通知声音没有方向性，但是可以添加方向性。输出控制单元105可以基于从车辆外部信息检测单元141获取的代表性移动物体的位置，对通知声音进行声音图像定位处理，以使得该声音图像被放置在从驾驶员观看到的代表性移动物体的位置处，并且可以从车辆中的音频扬声器输出经处理的通知声音。通过如上所述从音频扬声器输出经过了声音图像定位处理的通知声音，驾驶员可以辨识在声音图像的位置处要注意的移动物体。
如上所述，在实施例中，检测存在于车辆外部的代表性移动物体的位置，检测车辆内部的驾驶员的面部朝向，判定代表性移动物体是否存在于驾驶员的面部的朝向上，然后选择向驾驶员的通知内容。因此，当代表性移动物体不存在于驾驶员的面部的朝向上时，给出通知，例如，与代表性移动物体存在于驾驶员的面部的朝向上的情况相比，输出了更强烈的通知声音。结果，当代表性移动物体存在于驾驶员的面部的朝向上时，给出通知以不打扰驾驶员，但是当代表性移动物体不存在于驾驶员的面部的朝向上时，给出通知以引起驾驶员的关注。
在判定代表性移动物体是否存在于驾驶员的面部的朝向上时，由车辆外部信息检测单元141检测到的代表性移动物体的位置和由车辆内部信息检测单元142检测到的驾驶员的面部的朝向被映射到也作为空间信息的情况辨识地图。结果，可以在同一坐标轴上指示具有不同坐标轴的代表性移动物体的位置和驾驶员的面部的朝向。
此外，在判定代表性移动物体是否存在于驾驶员的面部的朝向上时，将代表性移动物体存在于驾驶员的面部的朝向周围的预定范围内的情况判定为代表性移动物体存在于驾驶员的面部的朝向上的情况。因此，将驾驶员可以辨识到物体的范围判定为面部朝向。结果，可以取决于代表性移动物体是否存在于面部朝向周围的预定范围内来判定驾驶员是否辨识到代表性移动物体。
驾驶员的面部的朝向由TOF传感器检测。这使得即使在夜晚或在黑暗的隧道中也可以准确地监视驾驶员的面部的朝向。
此外，在选择向驾驶员的通知内容时，不仅可以当代表性移动物体存在于驾驶员的面部的朝向上时，还可以根据指示代表性移动物体与主车相撞的可能性的安全性程度，来改变通知内容。例如，根据安全性程度以及代表性移动物体是否存在于驾驶员的面部的朝向上的组合来选择并输出用于使驾驶员辨识到代表性移动物体的通知内容。因此，当安全性程度为中并且代表性移动物体不存在于驾驶员的面部的朝向上时，给出通知，例如，与代表性移动物体存在于驾驶员的面部的朝向上的情况相比，输出了更强烈的通知声音。结果，当安全性程度为中并且代表性移动物体存在于驾驶员的面部的朝向上时，给出通知以不打扰驾驶员，但是当代表性移动物体不存在于驾驶员的面部的朝向上时，给出通知以引起驾驶员的关注。
另外，在高安全性程度的情况下，给出通知，例如，与安全性程度为中并且代表性移动物体存在于驾驶员的面部的朝向上的情况相比，输出了较弱的通知声音。结果，可以在不打扰驾驶员的范围内引起关注，并且即使驾驶员未辨识到代表性移动物体，也可以使驾驶员关注代表性移动物体。
此外，在低安全性程度的情况下，给出通知，例如，与安全性程度为中并且代表性移动物体不存在于驾驶员的面部的朝向上的情况相比，输出了更强烈的通知声音。因此，不仅当代表性移动物体不存于驾驶员的面部的朝向上时，而且当代表性移动物体存在于驾驶员的面部的朝向上时，都给出强烈的通知。结果，可以警告驾驶员即将出现代表性移动物体与主车碰撞的可能性。此时，为了避免紧急状况，加减速控制单元172进行制动操作、方向盘操作等。结果，可以避免代表性移动物体与主车的碰撞并减轻碰撞的影响。
另外，输出控制单元105在输出通知内容之后的预定的定时停止通知内容的输出。预定的定时可以是例如当驾驶员的面部的朝向与代表性移动物体的位置匹配的时候，或者当检测到指示驾驶员辨识到代表性移动物体的语音的时候，或者当驾驶员操作方向盘或制动器的时候。当引起通知内容的代表性移动物体与主车碰撞的可能性消失时，通知停止。结果，即使在引起通知内容的代表性移动物体与主车碰撞的可能性消失之后，与继续进行通知的情况相比，也可以减少给予驾驶员的烦恼。
输出控制单元105以声音图像定位输出通知声音。因此，驾驶员感觉到的车辆中的通知声音的方向与代表性移动物体的方向匹配。结果，驾驶员可以通过声音识别代表性移动物体的方向的位置。另外，与盲目地搜索代表性移动物体的位置的情况相比，驾驶员可以在短时间内掌握代表性移动物体的位置。
当主车周围存在多个移动物体时，将具有最短TTC的移动物体用作代表性移动物体。因此，在那时可能最早碰撞的移动物体成为驾驶员的辨识的对象。由于与不太可能碰撞的移动物体相比，更可能碰撞的移动物体成为驾驶员的辨识的对象，因此可以提高驾驶员的安全性。
[实施例的变形例]
在以上描述中假设驾驶员的面部透过窗户向外。然而，驾驶员不仅可以透过防风罩看到外部风景，而且可以看到电子后视镜、电子侧镜或车辆中的显示设备，当车辆后退时，该显示设备显示车辆后方的图像。图10是示出车辆中的显示设备的构造位置的示例的视图。电子后视镜222是显示由设置在车辆后部的图像拍摄设备拍摄的图像的显示设备，并且被设置在防风罩的顶部中央附近。电子后视镜222具有与后视镜相同的功能。车辆后方的信息显示在电子后视镜222上。电子侧镜224例如是显示由分别设置在图2A中所示的车辆的外侧表面上的图像拍摄设备7912和7914拍摄的图像的显示设备，并且具有与侧镜相同的功能。电子侧镜224例如设置在前门窗的前部附近。在电子侧镜224上显示关于车辆的侧后表面的信息。用于汽车导航系统的显示设备226不仅显示地图信息，而且例如当车辆向后移动时还显示由如图2A中所示的后门或后保险杠上的图像拍摄设备7916拍摄的图像。在此，将描述信息处理设备的变形例，该变形例能够判定驾驶员是否辨识到移动到显示车辆外部的显示设备的代表性移动物体。
在该变形例中，情况辨识单元153根据车辆内部信息检测单元142检测面部朝向是向车辆外部还是向车辆内部。当面部朝向是向车辆外部时，如实施例中所述，情况辨识单元153使用车辆外部信息检测单元141的检测结果作为情况辨识地图，并将驾驶员的面部的朝向映射到情况辨识地图。另一方面，当面部朝向是朝向车辆中的显示设备时，情况辨识单元153使用车内前方内部的图像数据(以下称为“车内前方图像”)作为情况辨识地图。车内前方图像可以是其中拍摄了包括防风罩、电子后视镜222、电子侧镜224和用于汽车导航系统的显示设备226的区域的图像，如图10中所示，例如，或者也可以是在没有驾驶员的情况下拍摄的图像数据。此时，情况辨识单元153在车内前方图像中的每个显示设备的位置处显示当时的车辆外部的拍摄数据，并映射驾驶员的面部的朝向。然后，判定单元155判定显示设备中的代表性移动物体是否在驾驶员的辨识范围内。由于其它构造与实施例中描述的构造类似，因此将省略构造。
在变形例中，图4的流程图中的步骤S17处的处理与实施例不同。图11是示出根据实施例的变形例的用于映射检测到的移动物体和驾驶员的面部的朝向的处理过程的示例的流程图。
在映射检测到的移动物体和驾驶员的面部的朝向的处理中，情况辨识单元153首先基于来自车辆内部信息检测单元142的信息来判定驾驶员的面部的朝向是否朝向车辆的内部(步骤S71)。当面部朝向不是朝向车辆的内部时(步骤S71为“否”)，情况辨识单元153使用指示由数据获取单元102获取的主车的外部位置的车辆外部信息作为情况辨识地图(步骤S72)，将驾驶员的面部的朝向映射到车辆外部信息(步骤S73)，并且处理返回到图4。
当面部朝向是朝向车辆的内部时(步骤S71为“是”)，情况辨识单元153使用车内前方图像作为情况辨识地图(步骤S74)。情况辨识单元153将当时车辆外部的拍摄数据叠加在车内前方图像中的每个显示设备的位置上，并显示所得图像(步骤S75)。当拍摄当时的车内前方图像时，步骤S75的处理不是必需的。然后，将驾驶员的面部的朝向映射到车内前方图像(步骤S76)，并且处理返回到图4。由于其它处理与实施例中描述的处理类似，因此将省略这些处理。
图12是示出根据实施例的变形例的驾驶员的面部的朝向的示例的视图。在此，假设车辆正在向后移动，并且车辆中用于汽车导航系统的显示设备226显示车辆后方的图像。在显示设备226的图像中显示移动物体210。
如该图中所示，驾驶员dr的面部朝向D朝向车辆中的显示设备226。在这种情况下，将由车辆外部信息检测单元141检测到的移动物体210(代表性移动物体)和由车辆内部信息检测单元142检测到的驾驶员的面部朝向D映射到由情况辨识单元153进行的图12中所示的情况辨识地图。在这种情况下，由于驾驶员dr的面部朝向D朝向车辆中的显示设备226的位置，因此判定单元155判定驾驶员dr辨识到移动物体210。然后，判定单元155根据移动物体210的安全性程度和驾驶员dr辨识代表性移动物体210的程度的组合来判定通知内容。
在以上描述中，已经描述了通过车辆中设置的DMS检测驾驶员的面部的朝向的情况。然而，可以将直接检测驾驶员的视线方向而不是驾驶员的面部的朝向的视线传感器用作DMS。通过使用视线传感器，可以更高准确性地检测驾驶员的视线方向。可以容易地区分透过窗户的视线和车辆中的显示设备的视线。此外，可以通过眼睛的焦距来判定透过窗户的视线与车辆中的显示设备的视线之间的区分。
不仅可以将识别驾驶员的面部的DMS设在图2B中的仪表板5020上方的仪表盘5010上，而且可以设有多个DMS以便在驾驶员侧身看或向后看时识别驾驶员的面部。结果，例如当在仪表盘5010上的DMS不能识别驾驶员的面部时，可以通过使用另一个DMS来识别驾驶员的面部，并且可以将由另一个DMS拍摄的驾驶员的面部的朝向映射到情况辨识地图。
在变形例中，车辆中的显示设备显示由诸如车辆的侧面的侧相机或车辆的后部的后相机之类的相机监视系统(以下称为CMS)拍摄的图像。当代表性移动物体存在于由CMS拍摄的图像中时，判定驾驶员的面部的朝向是否朝向车辆中的显示设备。然后，将车内前方图像用作情况辨识地图，并且将此时由CMS拍摄的图像装配到该情况辨识地图中的显示设备中。基于显示设备上的图像中的移动物体是否存在于驾驶员的面部的朝向上来判定驾驶员辨识代表性移动物体的程度。因此，判定驾驶员不仅辨识存在于驾驶员前方的移动物体而且还辨识存在于驾驶员的侧面或驾驶员的后面并显示在显示设备上的移动物体的程度。结果，可以向驾驶员发出代表性移动物体存在于驾驶员的侧面或驾驶员的后面的警报。
此外，在变形例中，判定由CMS拍摄的代表性移动物体的显示区域是否在驾驶员的面部的朝向上。当代表性移动物体的显示区域不在驾驶员的面部的朝向上时，判定驾驶员未辨识到代表性移动物体。结果，即使当驾驶员看着车辆中的显示设备时，如果代表性移动物体的显示区域不在面部的朝向上，则可以引起驾驶员的关注。
此外，视线可以被视线传感器检测为驾驶员的面部的朝向。在这种情况下，可以更准确地指定驾驶员是透过防风罩观看外部还是观看车辆中的显示设备。另外，可以高准确性地指定驾驶员的视线在显示设备中的位置，并且可以使要通知给驾驶员的通知内容更接近根据驾驶员的辨识的通知内容。
根据本公开的技术(本技术)不仅可以应用于汽车，而且可以应用于各种其它产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体上的设备，移动体诸如是电动车辆、混合动力电动车辆、摩托车、自行车、个人交通工具、飞机、无人机、轮船和机器人。
[根据实施例的信息处理设备的硬件构造]
图13是示出实现根据实施例的信息处理设备的功能的计算机的示例的硬件构造图。根据上述实施例的包括自动驾驶控制单元112、输出控制单元105、输出单元106和存储单元111的信息处理设备由计算机1000实现。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的各个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并控制各个单元。例如，CPU 1100将存储在ROM 1300或HDD1400中的程序加载到RAM 1200中，并进行与各种程序相对应的处理。
ROM 1300存储启动程序以及取决于计算机1000的硬件的程序，启动程序诸如是当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)。
HDD 1400是非临时地记录由CPU 1100执行的程序和该程序中使用的数据的计算机可读记录介质。具体地，HDD 1400是记录根据本公开的信息处理程序的记录介质，该信息处理程序是程序数据1450的示例。
通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100通过通信接口1500从另一个设备接收数据或将由CPU 1100生成的数据传送到另一个设备。
输入/输出接口1600是用于将输入/输出设备1650连接到计算机1000的接口。例如，CPU 1100通过输入/输出接口1600从诸如键盘或鼠标之类的输入设备接收数据。CPU1100还通过输入/输出接口1600将数据传送到诸如显示器、扬声器或打印机之类的输出设备。此外，输入/输出接口1600可以用作用于读取记录在预定的记录介质(介质)中的程序等的媒体接口。介质例如是诸如数字通用盘(DVD)或相变可重写盘(PD)之类的光学记录介质、诸如磁光盘(MO)之类的磁光记录介质、磁带介质、磁记录介质或半导体存储器。
例如，当计算机1000用作根据实施例的信息处理设备时，计算机1000的CPU 1100执行加载在RAM 1200上的信息处理程序以实现诸如检测单元131、情况分析单元133、操作控制单元135和输出控制单元105之类的功能。根据本公开的信息处理程序存储在HDD 1400中。CPU 1100从HDD 1400读取程序数据1450并进行程序数据。然而，作为另一个示例，可以通过外部网络1550从另一个设备获取这些程序。
应当注意，本说明书中描述的效果仅是示例并且不受限制，并且可以获得其它效果。
本技术还可以被构造如下。
(1)一种信息处理设备，包括：
外部信息检测单元，基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；
内部信息检测单元，基于由内部检测单元检测到的数据来检测所述移动体内部的驾驶员的面部的朝向；
判定单元，判定由所述外部信息检测单元检测到的所述物体的位置与由所述内部信息检测单元检测到的所述驾驶员的面部的朝向是否在同一方向上；以及
输出控制单元，与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向时，所述输出控制单元更强烈地向驾驶员输出警报。
(2)根据(1)所述的信息处理设备，还包括
情况辨识单元，将由所述外部信息检测单元检测到的所述物体的位置以及由所述内部信息检测单元检测到的所述驾驶员的面部的朝向映射到相同的空间信息，其中
所述判定单元通过使用映射的空间信息来判定所述物体的位置与所述驾驶员的面部的朝向是否在同一方向上。
(3)根据(2)所述的信息处理设备，其中，当所述物体的位置存在于所述驾驶员的面部的朝向周围的预定范围内时，所述判定单元判定所述物体的位置与所述驾驶员的面部的朝向在同一方向上。
(4)根据(1)所述的信息处理设备，还包括
显示单元，显示由设置在所述移动体的侧面或所述移动体的后部的所述外部检测单元拍摄的图像数据，其中
所述判定单元使用所述显示单元上的所述驾驶员的面部的朝向进行判定。
(5)根据(4)所述的信息处理设备，其中，所述判定单元判定在所述显示单元上显示的所述图像数据中的所述物体的位置与所述驾驶员的面部的朝向是否相同。
(6)根据(5)所述的信息处理设备，其中
所述内部信息检测单元检测所述驾驶员的视线作为所述驾驶员的面部的朝向，以及
所述判定单元判定在所述驾驶员的视线位置处透过窗户的视线与到所述显示单元的视线之间的区分。
(7)根据(1)至(6)中的任一项所述的信息处理设备，其中，所述内部检测单元是TOF传感器。
(8)根据(1)至(7)中的任一项所述的信息处理设备，还包括
情况预测单元，基于移动体的运动和物体的运动来预测物体与移动体碰撞的碰撞预测时间，并根据由碰撞预测时间的长度判定的安全性程度对物体进行分类，其中
所述输出控制单元将在安全性程度为中并且物体的位置与驾驶员的面部的朝向不在同一方向上的情况下的警报设定为大于在物体的位置与驾驶员的面部的朝向在同一方向上的情况下的警报。
(9)根据(8)所述的信息处理设备，其中，所述输出控制单元将无论物体的位置与驾驶员的面部的朝向是否在同一方向上、安全性程度为低的情况下的警报设定为大于在安全性程度为中并且物体的位置与驾驶员的面部的朝向不在同一方向上的情况下的警报。
(10)根据(1)至(9)中的任一项所述的信息处理设备，其中，所述输出控制单元在警报输出之后的预定的定时停止警报的输出。
(11)根据(10)所述的信息处理设备，其中，所述预定的定时是当判定单元判定驾驶员的面部的朝向是朝向物体的方向的定时、发出指示驾驶员辨识到物体的语音的定时或者驾驶员操作方向盘或制动器的定时。
(12)根据(1)至(11)中的任一项所述的信息处理设备，其中，所述输出控制单元输出通知声音作为警报，并且对所述通知声音进行声音图像定位处理，以允许声音图像被放置在从驾驶员观看的物体的位置处。
(13)根据(1)至(12)中的任一项所述的信息处理设备，其中，当所述外部信息检测单元检测到多个物体时，所述判定单元判定具有与移动体碰撞的最短时间的物体的位置与驾驶员的面部的朝向是否在同一方向上。
(14)一种移动体，包括：
外部检测单元，检测存在于所述移动体外部的物体；
内部检测单元，检测所述移动体内部的驾驶员；
外部信息检测单元，基于由所述外部检测单元检测到的数据来检测所述物体；
内部信息检测单元，基于由所述内部检测单元检测到的数据来检测驾驶员的面部的朝向；
判定单元，判定由所述外部信息检测单元检测到的所述物体的位置与由所述内部信息检测单元检测到的所述驾驶员的面部的朝向是否在同一方向上；以及
输出控制单元，与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，所述输出控制单元更强烈地向所述驾驶员输出警报。
(15)一种信息处理方法，包括：
基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；
基于由内部检测单元检测到的数据来检测所述移动体内部的驾驶员的面部的朝向；
判定所述物体的位置与所述驾驶员的面部的朝向是否在同一方向上；以及
与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，更强烈地向驾驶员输出警报。
(16)一种程序，使得计算机执行：
基于由外部检测单元检测到的数据来检测存在于移动体外部的物体的步骤；
基于由内部检测单元检测到的数据来检测所述移动体内部的驾驶员的面部的朝向的步骤；
判定所述物体的位置与所述驾驶员的面部的朝向是否在同一方向上的步骤；以及
与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，更强烈地向驾驶员输出警报的步骤。
附图标记列表
100 车辆控制系统
101 输入单元
102 数据获取单元
105 输出控制单元
106 输出单元
107 驱动系统控制单元
108 驱动系统
109 车身系统控制单元
110 车身系统
111 存储单元
112 自动驾驶控制单元
121 通信网络
131 检测单元
133 情况分析单元
134 计划单元
135 操作控制单元
141 车辆外部信息检测单元
142 车辆内部信息检测单元
143 车辆状态检测单元
153 情况辨识单元
154 情况预测单元
155 判定单元
171 紧急状况避免单元
172 加减速控制单元
173 方向控制单元
210 代表性移动物体
222 电子后视镜
224 电子侧镜
226 显示设备
5010 仪表盘
5020 仪表板
5030 DMS

Claims (9)

1.一种信息处理设备，包括：
外部信息检测单元，基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；
内部信息检测单元，基于由内部检测单元检测到的数据来检测所述移动体内部的驾驶员的面部的朝向；
判定单元，判定由所述外部信息检测单元检测到的所述物体的位置与由所述内部信息检测单元检测到的所述驾驶员的面部的朝向是否在同一方向上；
输出控制单元，与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，所述输出控制单元更强烈地向所述驾驶员输出警报；以及
显示单元，显示由设置在所述移动体的侧面或所述移动体的后部的所述外部检测单元拍摄的图像数据，其中所述显示单元在驾驶员的视场中显示视觉信息，所述视觉信息包括所述图像数据，
其中，所述内部信息检测单元还检测所述驾驶员的视线作为
所述驾驶员的面部的朝向，以及
所述判定单元基于眼睛的焦距来判定在所述驾驶员的视线位置处透过窗户的视线与到所述显示单元的视线之间的区分。
2.根据权利要求1所述的信息处理设备，还包括：
情况辨识单元，将由所述外部信息检测单元检测到的所述物体的位置以及由所述内部信息检测单元检测到的所述驾驶员的面部的朝向映射到相同的空间信息，其中
所述判定单元通过使用映射的空间信息来判定所述物体的位置与所述驾驶员的面部的朝向是否在同一方向上。
3.根据权利要求2所述的信息处理设备，其中，当所述物体的位置存在于所述驾驶员的面部的朝向周围的预定范围内时，所述判定单元判定所述物体的位置与所述驾驶员的面部的朝向在同一方向上。
4.根据权利要求3所述的信息处理设备，其中所述预定范围是所述驾驶员的面部的朝向周围±35度范围。
5.根据权利要求1所述的信息处理设备，其中，所述判定单元判定在所述显示单元上显示的所述图像数据中的所述物体的位置与所述驾驶员的面部的朝向是否相同。
6.根据权利要求1所述的信息处理设备，其中，所述内部检测单元是TOF传感器。
7.一种移动体，包括：
外部检测单元，检测存在于所述移动体外部的物体；
内部检测单元，检测所述移动体内部的驾驶员；
外部信息检测单元，基于由所述外部检测单元检测到的数据来检测所述物体；
内部信息检测单元，基于由所述内部检测单元检测到的数据来检测所述驾驶员的面部的朝向；
判定单元，判定由所述外部信息检测单元检测到的所述物体的位置与由所述内部信息检测单元检测到的所述驾驶员的面部的朝向是否在同一方向上；
输出控制单元，与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，所述输出控制单元更强烈地向所述驾驶员输出警报；以及
显示单元，显示由设置在所述移动体的侧面或所述移动体的后部的所述外部检测单元拍摄的图像数据，其中所述显示单元在驾驶员的视场中显示视觉信息，所述视觉信息包括所述图像数据，
其中，所述内部信息检测单元还检测所述驾驶员的视线作为
所述驾驶员的面部的朝向，以及
所述判定单元基于眼睛的焦距来判定在所述驾驶员的视线位置处透过窗户的视线与到所述显示单元的视线之间的区分。
8.一种信息处理方法，包括：
基于由外部检测单元检测到的数据来检测存在于移动体外部的物体；
基于由内部检测单元检测到的数据来检测所述移动体内部的驾驶员的面部的朝向；
判定所述物体的位置与所述驾驶员的面部的朝向是否在同一方向上；
与所述物体的位置与所述驾驶员的面部的朝向在同一方向上的情况相比，当所述物体的位置与所述驾驶员的面部的朝向不在同一方向上时，更强烈地向驾驶员输出警报；以及
通过显示单元显示由设置在所述移动体的侧面或所述移动体的后部的所述外部检测单元拍摄的图像数据，其中在驾驶员的视场中显示视觉信息，所述视觉信息包括所述图像数据，
其中，还检测所述驾驶员的视线作为所述驾驶员的面部的朝向，以及
基于眼睛的焦距来判定在所述驾驶员的视线位置处透过窗户的视线与到所述显示单元的视线之间的区分。
9.一种计算机可读记录介质，其上记录有程序，所述程序使得计算机执行根据权利要求8所述的方法。
CN201980051421.8A 2018-08-09 2019-07-24 信息处理设备、移动体、信息处理方法和程序 Active CN112534487B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150888 2018-08-09
JP2018-150888 2018-08-09
PCT/JP2019/028967 WO2020031695A1 (ja) 2018-08-09 2019-07-24 情報処理装置、移動体、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN112534487A CN112534487A (zh) 2021-03-19
CN112534487B true CN112534487B (zh) 2024-03-08

Family

ID=69414104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051421.8A Active CN112534487B (zh) 2018-08-09 2019-07-24 信息处理设备、移动体、信息处理方法和程序

Country Status (6)

Country Link
US (1) US11590985B2 (zh)
EP (1) EP3836119A4 (zh)
JP (1) JP7382327B2 (zh)
KR (1) KR20210043566A (zh)
CN (1) CN112534487B (zh)
WO (1) WO2020031695A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214551A1 (de) * 2018-08-28 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Abbiegeassistent im Fahrzeug
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
JP7222343B2 (ja) * 2019-11-28 2023-02-15 トヨタ自動車株式会社 運転支援装置
JP7267222B2 (ja) * 2020-02-26 2023-05-01 三菱ロジスネクスト株式会社 処理装置、処理方法、報知システム及びプログラム
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックＩｐマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN101536057A (zh) * 2006-09-29 2009-09-16 爱信精机株式会社 车辆用警报装置及车辆用警报方法
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN103501406A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN103760968A (zh) * 2013-11-29 2014-04-30 理光软件研究所（北京）有限公司 数字标牌显示内容选择方法和装置
CN107077822A (zh) * 2014-09-30 2017-08-18 索尼公司 控制设备、控制方法和程序
CN107963036A (zh) * 2016-10-20 2018-04-27 矢崎总业株式会社 驾驶辅助装置
CN108369780A (zh) * 2015-12-17 2018-08-03 马自达汽车株式会社 视觉认知援助系统以及视认对象物的检测系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257B2 (ja) * 1990-02-23 1995-07-05 セントラル硝子株式会社 Ｖａ菌根菌の増殖方法
JP2929927B2 (ja) * 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JP5120249B2 (ja) * 2006-03-15 2013-01-16 オムロン株式会社 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
JP4946807B2 (ja) 2007-11-07 2012-06-06 トヨタ自動車株式会社 車線逸脱防止制御装置
CN101889299B (zh) 2007-12-05 2013-02-06 博世株式会社 车辆信息显示系统
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
DE102012207931A1 (de) 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
JP6241235B2 (ja) * 2013-12-04 2017-12-06 三菱電機株式会社 車両用運転支援装置
JP6394281B2 (ja) 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置
US9598010B2 (en) * 2015-04-02 2017-03-21 Denso International America, Inc. Visual alert system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
CN101536057A (zh) * 2006-09-29 2009-09-16 爱信精机株式会社 车辆用警报装置及车辆用警报方法
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN103501406A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN103760968A (zh) * 2013-11-29 2014-04-30 理光软件研究所（北京）有限公司 数字标牌显示内容选择方法和装置
CN107077822A (zh) * 2014-09-30 2017-08-18 索尼公司 控制设备、控制方法和程序
CN108369780A (zh) * 2015-12-17 2018-08-03 马自达汽车株式会社 视觉认知援助系统以及视认对象物的检测系统
CN107963036A (zh) * 2016-10-20 2018-04-27 矢崎总业株式会社 驾驶辅助装置

Also Published As

Publication number Publication date
EP3836119A4 (en) 2021-10-06
CN112534487A (zh) 2021-03-19
JP7382327B2 (ja) 2023-11-16
WO2020031695A1 (ja) 2020-02-13
US11590985B2 (en) 2023-02-28
JPWO2020031695A1 (ja) 2021-08-10
EP3836119A1 (en) 2021-06-16
US20210300401A1 (en) 2021-09-30
KR20210043566A (ko) 2021-04-21

Similar Documents

Publication Publication Date Title
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
US11873007B2 (en) Information processing apparatus, information processing method, and program
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US20210027486A1 (en) Controller, control method, and program
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
CN113841100A (zh) 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
KR20220009379A (ko) 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램
WO2019117104A1 (ja) 情報処理装置および情報処理方法
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
US11763675B2 (en) Information processing apparatus and information processing method
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant