CN110431613B - 信息处理装置、信息处理方法、程序和移动物体 - Google Patents

信息处理装置、信息处理方法、程序和移动物体 Download PDF

Info

Publication number
CN110431613B
CN110431613B CN201880019616.XA CN201880019616A CN110431613B CN 110431613 B CN110431613 B CN 110431613B CN 201880019616 A CN201880019616 A CN 201880019616A CN 110431613 B CN110431613 B CN 110431613B
Authority
CN
China
Prior art keywords
moving body
sound
notification sound
notification
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880019616.XA
Other languages
English (en)
Other versions
CN110431613A (zh
Inventor
桥本弘和
田中亮辅
山本优树
知念彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of CN110431613A publication Critical patent/CN110431613A/zh
Application granted granted Critical
Publication of CN110431613B publication Critical patent/CN110431613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技术涉及用于准确地向移动物体通知附近的移动体的位置的信息处理装置，以及与信息处理装置一起使用的信息处理方法、程序和移动物体。信息处理装置包括移动体检测部和声音输出控制部，其中移动体检测部基于从传感器输入的信息来检测移动物体附近的移动体，声音输出控制部随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。例如，本技术能够应用于提供驾驶员辅助以防止与移动体碰撞或接触的装置、系统或车辆。

Description

信息处理装置、信息处理方法、程序和移动物体
技术领域
本技术涉及信息处理装置、信息处理方法、程序和移动物体。更具体地，该技术涉及用于准确地向移动物体通知附近移动体的位置的信息处理装置，以及用于与信息处理装置一起使用的信息处理方法、程序和移动物体。
背景技术
在过去，基于本车进入交叉路口的时刻、本车通过的方式、另一车辆进入交叉路口的时刻以及另一车辆通过的方式，已经提出了选择输出用于引导另一车辆的引导语音的扬声器(例如，参见PTL 1)。
而且，在过去，已经提出了将警告信息的声像定位在障碍物相对于本车或其驾驶员的方向上(例如，参见PTL 2)。
引用列表
专利文献
PTL 1
日本专利特开No.2009-245340
PTL 2
PCT专利公开No.WO2008/075407
发明内容
技术问题
同时，期望更准确地向车辆通知附近移动体的位置，以便避免与该移动体碰撞或接触。
鉴于上述情形设计了本技术，并且本技术旨在准确地向诸如车辆之类的移动物体通知附近的移动体的位置。
问题的解决方案
根据本技术的第一方面，提供了一种信息处理装置，包括：移动体检测部，被配置为基于从传感器输入的信息来检测移动物体附近的移动体；以及声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
信息处理装置还可以包括运动预测部，被配置为预测移动体的运动。声音输出控制部可以基于移动体的预测位置来移位通知声音的声像的位置。
从基于移动体的第一检测到的位置设置通知声音的声像的位置时起直到基于在第一检测到的位置之后的移动体的第二检测到的位置设置通知声音的声像的位置为止，声音输出控制部可以根据移动体的预测位置设置通知声音的声像的位置。
运动预测部还可以预测移动物体的运动。声音输出控制部可以基于移动体相对于移动物体的预测位置的预测位置来移位通知声音的声像的位置。
声音输出控制部可以基于移动物体和移动体之间的距离来控制通知声音的音量。
声音输出控制部可以根据移动体的类型来改变通知声音的类型。
在移动物体附近存在相同类型的多个移动体的情况下，声音输出控制部可以针对每个移动体改变通知声音的类型。
信息处理装置还可以包括优先级设置部，被配置为设置移动体的优先级。声音输出控制部可以基于其优先级来控制关于多个移动体中的每一个移动体的通知声音的输出。
声音输出控制部可以执行控制以优先输出关于具有高优先级的移动体的通知声音。
声音输出控制部可以基于优先级来控制通知声音的音量。
优先级设置部可以基于移动体与移动物体接触或碰撞的风险级别来设置每个移动体的优先级。
声音输出控制部可以执行控制以输出关于移动物体附近的预定范围内的移动体的通知声音。
声音输出控制部可以基于移动体相对于移动体存在于其上的平面的上下方向位置来控制通知声音的声像的上下方向位置。
声音输出控制部可以通过控制来自布置在移动物体中的不同高度处的多个扬声器的声音的输出来控制通知声音的声像的上下方向位置。
声音输出控制部可以控制来自在移动物体中以围绕移动物体的驾驶员的方式布置的多个扬声器的声音的输出。
声音输出控制部可以随着移动体相对于移动物体的检测到的位置移动来移位通知声音的声像的位置。
而且，根据本技术的第一方面，提供了一种信息处理方法，包括：移动体检测步骤，用于基于从传感器输入的信息来检测移动物体附近的移动体；以及声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
而且，根据本技术的第一方面，提供了一种用于使计算机执行处理的程序，包括：移动体检测步骤，用于基于从传感器输入的信息来检测移动物体附近的移动体；以及声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
根据本技术的第二方面，提供了一种移动物体，包括：传感器，被配置为布置在移动物体中以检测其周边状态；移动体检测部，被配置为基于从传感器输入的信息来检测附近的移动体；以及声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
因此，根据本技术的第一方面和第二方面，基于从传感器输入的信息来检测移动物体附近的移动体。随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
发明的有益效果
根据本技术的第一方面或第二方面，准确地向移动物体通知附近的移动体的位置。
要注意的是，上面概述的有利效果不是对本公开的限制。根据随后的描述，本公开的其它优点将变得显而易见。
附图说明
图1是描绘本技术适用的车载系统的实施例的框图。
图2是描绘扬声器安装位置的第一示例的示意图。
图3是用于解释通知控制处理的第一实施例的流程图。
图4是描绘控制通知声音的音量的方法的图表。
图5是描绘通知声音的第一输出示例的示意图。
图6是描绘通知声音的第二输出示例的示意图。
图7是描绘通知声音的第三输出示例的示意图。
图8是描绘作为通知目标的自行车如何移动的第一示例的示意图。
图9是描绘在不使用自行车的预测位置的情况下通知声音的声像如何在方向和音量上改变的示意图。
图10是描绘在使用自行车的预测位置的情况下通知声音的声像如何在方向和音量上改变的示意图。
图11是描绘来自扬声器的输出声音的示例性波形的图表，扬声器输出关于图8中的自行车的通知声音。
图12是描绘作为通知目标的自行车如何移动的第二示例的示意图。
图13是描绘来自扬声器的输出声音的示例性波形的图表，扬声器输出关于图12中的自行车的通知声音。
图14是用于解释通知控制处理的第二实施例的流程图。
图15是描绘扬声器安装位置的第二示例的示意图。
图16是描绘扬声器安装位置的第三示例的示意图。
图17是描绘计算机的配置示例的示意图。
具体实施方式
下面描述用于实现本技术的一些实施例。描述将在以下标题下给出：
1.实施例
2.变型
3.其它
<<1.实施例>>
<1-1.车载系统的配置示例>
图1是描绘本技术适用的车载系统的实施例的框图。
车载系统10是安装在车辆上用于驾驶员辅助的系统。例如，车载系统10执行监视车辆周边的处理，以防止与附近的移动体(例如，车辆、自行车或人)发生碰撞或接触。更具体而言，车载系统10给出车辆附近的移动体的位置的通知，并控制制动设备(诸如制动系统)以避免与移动体碰撞或接触。
要注意的是，其上安装有车载系统10的车辆不限于任何具体的车辆。例如，车辆可以包括三轮卡车、小型卡车、小型客车、大型客车、大型汽车、大型卡车、大型专用车辆和小型专用车辆。在下面的描述中，其上安装有车载系统10的车辆将被称为本车，而任何其它车辆将被称为另一车辆。
车载系统10包括周边传感器11、车辆信息获取部12、信息处理部13、显示部14、声音输出部15、制动控制部16和制动设备17。
周边传感器11包括用于检测本车的周边状态的各种传感器。例如，周边传感器11包括用于捕获本车的周边的相机(图像传感器)、用于检测本车附近的物体的近距离传感器，以及用于检测远离本车的物体的远程传感器。例如，近距离传感器可以是超声传感器。例如，远程传感器可以是雷达、激光雷达或飞行时间(TOF)传感器。每个周边传感器11将指示包括检测结果的信息的数据(以下称为周边传感器数据)供给信息处理部13中的周边状态检测部31。
要注意的是，在随后的描述中，由周边传感器11捕获的图像将被称为周边图像，并且指示周边图像的数据将被称为周边图像数据。周边图像数据是一种类型的周边传感器数据。
车辆信息获取部12包括用于预测本车的运动的各种传感器。例如，车辆信息获取部12包括速度传感器、转向角传感器和全球导航卫星系统(GNSS)接收器等。车辆信息获取部12获取关于本车的方向指示器的操作信息、指示本车的档位的信息，以及在导航系统上设置的路线信息等。车辆信息获取部12将获取的传感器数据和信息(以下统称为车辆信息)供给运动预测部32。
要注意的是，预先安装在本车上的传感器可以适合用作周边传感器11和车辆信息获取部12。
例如，信息处理部13可以配置有电子控制单元(ECU)等。信息处理部13包括周边状态检测部31、运动预测部32、碰撞预测部33、优先级设置部34和人机接口(HMI)控制部35。
周边状态检测部31基于周边传感器数据来检测本车的周边状态。周边状态检测部31包括空间生成部41和移动体检测部42。
空间生成部41基于周边传感器数据生成指示本车附近的物体的形状和位置的三维空间地图。空间生成部41将三维空间地图供给运动预测部32和HMI控制部35。而且，空间生成部41向HMI控制部35供给周边传感器数据中的周边图像数据。
移动体检测部42基于周边传感器数据并基于三维空间地图来检测本车附近的移动体。移动体检测部42将移动体检测的结果供给运动预测部32和HMI控制部35。
运动预测部32基于车辆信息预测本车的运动。而且，运动预测部32基于三维空间地图和移动体检测的结果来预测本车附近的移动体的运动。运动预测部32将预测本车的运动和本车附近的移动体的运动的结果供给碰撞预测部33、优先级设置部34和HMI控制部35。
碰撞预测部33基于预测本车的运动和本车附近的移动体的运动的结果来预测本车与附近移动体的碰撞。碰撞预测部33将碰撞预测的结果供给优先级设置部34、HMI控制部35和制动控制部16。
优先级设置部34基于预测本车的运动和本车附近的移动体的运动的结果以及碰撞预测的结果来设置用于通知每个移动体的位置的优先级(以下称为通知优先级)。优先级设置部34将关于通知优先级的设置信息供给HMI控制部35。
HMI控制部35执行本车的HMI控制。HMI控制部35包括显示控制部51和声音输出控制部52。
显示控制部51控制由显示部14执行的图像(视频和静止图像)的显示。例如，显示控制部51生成周边监视图像数据，用于基于三维空间地图、检测本车附近的移动体的结果、预测本车附近的移动体的运动的结果以及碰撞预测的结果来显示指示本车的周边状态的周边监视图像。显示控制部51将周边监视图像数据供给显示部14，从而使显示部14显示周边监视图像。
声音输出控制部52控制从声音输出部15输出的声音。例如，声音输出控制部52基于检测本车附近的移动体的结果、预测本车的运动和本车附近的移动体的运动的结果、碰撞预测的结果以及通知优先级来生成用于通知本车附近的移动体的位置的通知声音的声音数据。声音输出控制部52将生成的声音数据供给声音输出部15，从而使声音输出部15基于声音数据输出通知声音。
此外，如稍后将讨论的，声音输出控制部52通过使用声像定位技术来定位对应移动体的位置附近的通知声音的声像。在移动体运动的情况下，声音输出控制部52相应地移位通知声音的声像的位置。
顺便提及，人类具有使用到达右耳和左耳的声音之间的时间滞后来感知声源的方向和到声源的距离的能力(称为声像定位能力)。声像定位技术涉及通过使用从多个扬声器输出的声音之间的时间滞后和音量差来控制人类感知的虚拟声源(声像)的位置。
例如，显示部14配置有各种显示器等中的任何一种。在HMI控制部35的控制下，显示部14显示包括周边监视图像等的各种图像。
例如，声音输出部15配置有安装在本车上的多个扬声器。声音输出部15基于从声音输出控制部52供给的声音数据输出诸如通知声音之类的声音。
例如，制动控制部16配置有电子控制单元(ECU)。基于由碰撞预测部33进行的碰撞预测的结果，制动控制部16控制制动设备17执行诸如本车的紧急停止之类的操作。
例如，制动设备17配置有本车的制动系统。
<1-2.扬声器的布置示例>
图2描绘了包括在声音输出部15中的扬声器的布置示例。
例如，声音输出部15包括四个扬声器111FL至111BR。要注意的是，在图2中，虚线圆圈示意性地指示这些扬声器111FL至111BR的位置。
扬声器111FL至111BR以围绕坐在车辆101内部的驾驶员座位中的驾驶员102的方式布置。具体而言，扬声器111FL位于驾驶员102的左前方并且布置在车辆101的前排乘客座位门的前端附近。扬声器111FR位于驾驶员102的右前方并且布置在车辆101的驾驶员座位门的前端附近。扬声器111BL位于驾驶员102的左后方并且布置在车辆101的左后座位门的中间的稍前方。扬声器111BR位于驾驶员102的右后方并且布置在车辆101的右后座位门的中间的稍前方。扬声器111FL至111BR都以面向车辆101的内部的方式安装。驾驶员102定位在矩形空间内，扬声器111FL至111BR作为其顶点而定位。
要注意的是，在随后的描述中不需要单独区分扬声器111FL至111BR的情况下，它们将简称为扬声器111。
<1-3.通知控制处理的第一实施例>
下面参考图3的流程图说明由车载系统10执行的通知控制处理。要注意的是，随后的解释将集中于通过声音对车辆101附近的移动体的位置进行通知的处理。下面将不解释使用图像或除声音以外的其它方式进行通知的处理。
例如，当车辆101被激活并且执行开始驾驶的操作时，如当车辆101的点火开关、电源开关或启动开关接通时，该处理开始。例如，当执行停止驱动的操作(例如，车辆101的点火开关、电源开关或启动开关被关闭)时，该处理终止。
在步骤S1中，信息处理部13获取传感器信息。具体而言，周边状态检测部31从各种周边传感器11获取周边传感器数据。
在步骤S2中，空间生成部41执行空间生成处理。即，基于周边传感器数据，空间生成部41生成(或更新)指示车辆101附近的物体的形状和位置等的三维空间地图。要注意的是，车辆101附近的物体不仅包括移动体，还包括静止物体(例如，建筑物和路面)。空间生成部41将如此生成的三维空间地图供给运动预测部32并供给HMI控制部35。
要注意的是，可以采用任何适当的方法来生成三维空间地图。例如，可以采用同时定位与地图构建(SLAM)技术。
在步骤S3中，移动体检测部42进行移动体检测。具体而言，移动体检测部42基于周边传感器数据和三维空间地图检测车辆101附近的移动体。例如，移动体检测部42检测在车辆101附近是否存在任何移动体以及检测到的移动体的类型、尺寸、形状和位置。移动体检测部42将移动体检测的结果供给运动预测部32和HMI控制部35。
要注意的是，可以采用任何适当的方法来检测移动体。要被检测的移动体不仅包括实际移动的移动体，还包括暂时静止的移动体(包括停止的车辆、自行车和行人)。
此外，例如，移动体检测部42可以仅基于周边传感器数据检测车辆101附近的移动体，而不依赖于三维空间地图。在这种情况下，步骤S2和步骤S3可以在处理期间反转。
在步骤S4中，移动体检测部42基于步骤S3中的处理结果确定附近是否存在移动体。例如，在车辆101周围的预定半径内的距离范围(该距离在下面将被称为通知目标距离，并且该范围被称为通知目标范围)内没有检测到移动体的情况下，移动体检测部42确定附近没有移动体。然后控制返回步骤S1。
此后，重复执行步骤S1至S4的处理，直到确定移动体存在于附近。
另一方面，在步骤S4中在通知目标范围内检测到移动体的情况下，移动体检测部42确定附近存在移动体。然后将控制转移到步骤S5。
在步骤S5中，运动预测部32预测移动体的运动。具体而言，运动预测部32基于检测车辆101附近的移动体的结果来预测车辆101附近的移动体移动的速度和移动体移动的方向。运动预测部32将预测结果供给碰撞预测部33、优先级设置部34和HMI控制部35。
要注意的是，可以采用任何适当的方法来执行运动预测。
在步骤S6中，碰撞预测部33执行碰撞预测。具体而言，基于预测车辆101附近的移动体的运动的结果，碰撞预测部33预测附近的移动体是否能够与车辆101接触或碰撞，并且进一步预测附近的移动体可能与车辆101接触或碰撞所需的时间(该时间在下文中将被称为预测的碰撞时间)。
在步骤S7中，碰撞预测部33设置移动体的风险级别。例如，碰撞预测部33将停止的移动体或移动远离车辆101的移动体的风险级别设置为一。另一方面，碰撞预测部33将正在接近车辆101并且预测碰撞时间超过时间T1秒(例如，5秒)的任何移动体的风险级别设置为二。碰撞预测部33将预测碰撞时间等于或小于时间T1秒且超过时间T2秒(例如，一秒)的任何接近移动体的风险级别设置为三。碰撞预测部33将预测碰撞时间等于或小于时间T2的任何接近移动体的风险级别设置为四。碰撞预测部33将包括每个移动体的风险级别的碰撞预测的结果供给优先级设置部34、HMI控制部35和制动控制部16。
要注意的是，也可以基于预测的碰撞时间为停止的移动体或移动远离车辆101的移动体中的每一个设置风险级别二至四中的一个。
可替代地，可以基于到车辆101的距离而不是预测的碰撞时间相对于每个移动体设置风险级别。在这种情况下，移动体越靠近车辆101，为移动体设置的风险级别越高。
在步骤S8中，优先级设置部34设置通知优先级。具体而言，在通知目标范围内检测到多个移动体的情况下，优先级设置部34首先选择移动体之一作为通知目标。
例如，优先级设置部34将具有最高风险级别的移动体设置为通知目标。要注意的是，在存在多个具有最高风险级别的移动体的情况下，例如，选择最靠近车辆101的移动体作为通知目标。
可替代地，优先级设置部34选择具有预定或更高风险级别的移动体作为通知目标。
作为另一个替代方案，优先级设置部34选择具有高风险级别的预定数量的移动体作为通知目标。
作为另一个替代方案，优先级设置部34将通知目标范围内的所有移动体视为通知目标，而不选择任何移动体作为通知目标。
接下来，优先级设置部34为被选择作为通知目标的每个移动体(下文中将这种移动体称为通知目标移动体)设置优先级。
例如，优先级设置部34按风险级别的降序设置通知目标移动体的优先级。要注意的是，在多个移动体具有相同风险级别的情况下，可以给予移动体相同的优先级。可替代地，移动体离车辆101越近，给予该移动体的优先级越高。
作为另一个替代方案，优先级设置部34可以向所有通知目标移动体给予相同的优先级而不设置它们的优先级。
要注意的是，在通知目标范围内检测到单个移动体的情况下，优先级设置部34可以无条件地选择该移动体作为通知目标。
优先级设置部34将通知优先级设置信息供给HMI控制部35。设置信息包括指示通知目标移动体的信息。在通知目标移动体被单独给予其优先级的情况下，关于优先级的信息也包括在设置信息中。
在步骤S9中，声音输出控制部52基于移动体的当前位置生成通知声音的声音数据。
例如，基于每个通知目标移动体的类型，声音输出控制部52为每个通知目标移动体设置通知声音的类型。此时，以容易识别每个通知目标移动体的类型的方式设置通知声音。例如，关于汽车的通知声音被设置为唤起汽车的汽车喇叭声的“哔哔，哔哔”。关于摩托车的通知声音被设置为唤起摩托车引擎的声音的“呜呜，呜呜”。关于自行车的通知声音被设置为唤起自行车铃声的“叮当，叮当”。关于人的通知声音被设置为唤起行人的脚步声的“吧嗒吧嗒，吧嗒吧嗒”。
要注意的是，在存在多个相同类型的通知目标移动体的情况下，改变通知声音的类型以识别多个通知目标移动体中的每一个。例如，针对每个通知目标移动体改变通知声音的模式、音调和节奏。
而且，声音输出控制部52基于每个通知目标移动体的当前位置来定位用于每个通知目标移动体的通知声音的声像的位置。例如，声音输出控制部52参考预定参考位置在每个通知目标移动体存在的方向上定位用于每个通知目标移动体的通知声音的声像的位置。要注意的是，参考位置可以例如在平面方向上在车辆101的中心处或在驾驶员102的位置处建立。因此，用于每个通知目标移动体的通知声音的声像被定位在每个通知目标移动体相对于车辆101(或驾驶员102)的当前方向(相对方向)上。
此外，声音输出控制部52使用通知声音的音量，在距离和方向方面调整用于每个通知目标移动体的通知声音的声像的位置。例如，如图4中所描绘的，声音输出控制部52以如下方式设置用于每个通知目标移动体的通知声音的音量，使得当到车辆101的距离是0m时音量最大，并且当通知目标距离是Dth时音量最小，音量随着到车辆101(本车)的距离线性减小。要注意的是，例如，最大音量可以或者对所有通知目标移动体设置为恒定，或者根据通知目标移动体的优先级和类型而变化。
声音输出控制部52然后以如下方式生成要供给每个扬声器111的声音数据，使得用于每个通知目标移动体的通知声音具有设置的声音类型，并且用于每个通知目标移动体的通知声音的声像位于设置的位置处。此时，例如，在同一方向上存在多个通知目标移动体的情况下，以如下方式生成声音数据，使得用于多个通知目标移动体的通知声音包括在从单个扬声器111输出的声音中。
在步骤S10中，声音输出部15输出通知声音。即，声音输出控制部52将在步骤S9中生成的声音数据供给声音输出部15的每个扬声器111。每个扬声器111基于声音数据输出声音。结果，以与每个通知目标移动体的类型对应的声音的形式输出用于该通知目标移动体的通知声音。同时，用于每个通知目标移动体的通知声音定位在每个通知目标移动体相对于车辆101(或其驾驶员102)在方向和距离方面的当前位置对应的位置处。
因此，如图5中所描绘的，例如，对于在通知目标范围R1内在车辆101左前方的汽车151，以在汽车151的方向上听到声音“哔哔，哔哔”的方式输出通知声音。对于在通知目标范围R1内在车辆101右前方的自行车152，以在自行车152的方向上听到声音“叮当，叮当”的方式输出通知声音。对于在通知目标范围R1内在车辆101左后方的摩托车153，以在摩托车153的方向上听到声音“呜呜，呜呜”的方式输出通知声音。对于在通知目标范围R1内在车辆101右后方的人154，以在人154的方向上听到声音“吧嗒吧嗒，吧嗒吧嗒”的方式输出通知声音。
以上述方式，驾驶员102能够容易地识别车辆101附近的移动体的类型和位置。
要注意的是，声音输出控制部52可以根据给予通知目标物体的优先级来控制通知声音的输出。
例如，可以优先为具有高优先级的通知目标物体输出通知声音。如图6中所描绘的，例如，可以仅为具有最高优先级的自行车152输出通知声音。
作为另一个替代方案，如图7中所描绘的，例如，可以根据优先级针对每个通知目标物体调整通知声音的音量。例如，用于具有最高优先级的自行车152的通知声音的音量被设置为最高；用于具有第二高优先级的汽车151的通知声音的音量被设置为第二高；用于具有第三高优先级的摩托车153的通知声音的音量被设置为第三高；并且用于具有最低优先级的人154的通知声音的音量被设置为最低。
要注意的是，在步骤S10中开始输出的通知声音以相同类型并且在相同的定位位置连续输出，直到在将在后面讨论的步骤S13中输出新的通知声音为止，或者直到通知控制处理终止为止。
在步骤S11中，制动控制部16确定是否需要紧急停止。例如，在车辆101附近的移动体当中没有具有风险级别4的移动体的情况下，制动控制部16确定不需要紧急停止。然后将控制转移到步骤S12。
在步骤S12中，声音输出控制部52基于移动体的预测位置生成通知声音的声音数据。具体而言，基于运动预测部32的预测结果，声音输出控制部52在输出通知声音的下一个定时获取每个通知目标移动体的预测位置。然后，以类似于步骤S9的方式，声音输出控制部52基于其预测位置而不是其当前位置生成用于每个通知目标移动体的通知声音的声音数据。
要注意的是，用于移出通知目标范围的任何通知目标移动体的通知声音的输出可以被停止或继续。
在步骤S13中，声音输出部15输出通知声音。即，声音输出控制部52将在步骤S12中生成的声音数据供给声音输出部15的每个扬声器111。进而，每个扬声器111基于所供给的声音数据输出声音。
要注意的是，在步骤S13中开始输出的通知声音以相同类型并且在相同的定位位置连续输出，直到在步骤S10或S13中输出新的通知声音为止或者直到通知控制处理终止为止。
在步骤S14中，移动体检测部42确定是否是时候执行移动体检测。在确定不是时候执行移动体检测的情况下，处理返回到步骤S12。然后重复执行步骤S12至S14的处理，直到移动体检测部42在步骤S14中确定是时候执行移动体检测为止。
例如，在移动体检测部42基于周边图像数据执行移动体检测的情况下，执行移动体检测的间隔等于或小于周边图像数据的帧速率。在这里，将检测间隔设置为等于或小于周边图像数据的帧速率的原因是因为可能存在针对多个帧中的每一帧执行移动体检测的情况。
因此，如果不执行步骤S12和S13的处理，那么更新通知声音的声像的定位位置的间隔变得等于执行移动体检测的间隔，并且变得等于或者小于周边图像数据的帧速率。即使通知目标移动体从基于当前执行移动体检测的结果输出通知声音时起移动直到基于下一次执行移动体检测的结果输出通知声音为止，通知声音的声像在方向和音量上也保持不变。因此，随着通知目标移动体移动，通知声音的声像可能在方向或音量上突然改变，从而使驾驶员102感到不舒服或困惑。还可能发生通知声音的声像的定位位置与通知目标移动体的实际位置之间发生显著差异。
另一方面，当执行步骤S12和S13的处理时，从基于当前执行移动体检测的结果输出通知声音时起直到基于下一次执行移动体检测的结果输出通知声音为止，基于通知目标移动体的预测位置更新通知声音的声像的定位位置。即，从基于检测到的移动体位置设置通知声音的声像的位置时起直到基于移动体的下一个检测到的位置设置通知声音的声像的位置为止，基于移动体的预测位置来设置通知声音的声像的位置。这使得在方向和音量上更新通知声音的声像的间隔短于执行移动体检测的间隔。因此，随着通知目标移动体移动，通知声音的声像在方向和音量上更平滑地改变，这防止驾驶员102感到不舒服或困惑。而且，通知声音的声像的定位位置与通知目标移动体的实际位置之间的差异减小。
例如，如图8中所描绘的，考虑自行车171在车辆101前方从右向左移动的情况。
要注意的是，通知目标范围R1是圆形区域，其中心与车辆101的中心C1重合并且半径等于通知目标距离。要注意的是，分别在扬声器111FL、111FR、111BL和111BR的方向上从中心C1延伸的线L1、L2、L3和L4将通知目标范围R1划分为四个部分。在随后的描述中，被划分开的部分将被称为区域R1F、R1L、R1R和R1B。区域R1F位于车辆101的前方；区域R1L位于车辆101的左侧；区域R1R位于车辆101的右侧；并且区域R1B位于车辆101的后方。
要注意的是，关于区域R1F中的通知目标移动体的通知声音从扬声器111FL和111FR输出。关于区域R1L中的通知目标移动体的通知声音从扬声器111FL和111BL输出。关于区域R1R中的通知目标移动体的通知声音从扬声器111FR和111BR输出。关于区域R1B中的通知目标移动体的通知声音从扬声器111BL和111BR输出。
在图8的示例中，自行车171在时间t0进入通知目标范围R1的区域R1R，在车辆101前方从右向左移动，并且在时间t4离开通知目标范围R1。而且，自行车171在时间t1到达区域R1R和R1F之间的边界附近，在时间t2到达车辆101的前方附近，并且在时间t3到达区域R1F和R1L之间的边界附近。
图9示意性地描绘了在仅基于检测到的自行车171的位置相对于自行车171更新通知声音的声像的定位位置的情况下通知声音的声像在方向和音量上如何改变。在图9中，横轴表示通知声音的声像的方向，纵轴表示通知声音的音量。
在时间t0，开始通知声音的输出。此后，随着时间流逝并且随着自行车171向左移动，通知声音的声像的方向从右向左移位。通知声音的音量从时间t0到时间t2逐渐上升，在时间t2和时间t3之间的时段期间最大化，从时间t3到时间t5逐渐下降，并且在时间t5处达到0。
图10示意性地描绘了在基于自行车171的检测到的位置和预测位置两者相对于自行车171更新通知声音的声像的定位位置的情况下通知声音的声像在方向和音量上如何改变。在图10中，如图9中那样，横轴表示通知声音的声像的方向，纵轴表示通知声音的音量。
在这个示例中，基于自行车171的预测位置，在两个时间点之间更新通知声音的定位位置两次。在时间t0，开始通知声音的输出。随着时间流逝并且随着自行车171向左移动，通知声音的声像的方向从右向左移位。此外，通知声音的音量从时间t0到时间t2逐渐上升，在时间t2和更新通知声音的定位位置的下一个定时之间的时段期间最大化，逐渐下降直到时间t4为止，并且在时间t4之后更新通知声音的定位位置的下一个定时达到零。
将图10的示例与图9的示例进行比较表明，在图10的示例中，通知声音的声像在方向和音量上更平滑地改变。因此，这防止驾驶员102感到不舒服或困惑。
图11图示了在自行车171如图8中所描绘的那样移动的情况下来自扬声器111的输出声音的详细示例性波形。在图11中，横轴表示时间。顶部的波形表示来自左前方扬声器111FL的输出声音的波形。从顶部起的第二个波形表示来自右前方扬声器111FR的输出声音的波形。从顶部起的第三个波形表示来自左后方扬声器111BL的输出声音的波形。底部的波形表示来自右后方扬声器111BR的输出声音的波形。要注意的是，在图11中，横轴表示时间，并且每个波形的振幅表示来自每个扬声器111的输出声音的音量。
从时间t0直到时间t1，自行车171在区域R1R内。因此，通过将来自扬声器111FR的输出声音与来自扬声器111BR的输出声音组合来实现关于自行车171的通知声音。即，如从参考位置(例如，车辆101的中心或其驾驶员102)观察到的，来自扬声器111FR和111BR的输出声音使得关于自行车171的通知声音的声像定位在自行车171的方向上。而且，来自扬声器111FR和111BR的输出声音的音量以如下方式被调整，使得随着自行车171接近参考位置，通知声音的音量升高。
从时间t1直到时间t3，自行车171在区域R1F内。因此，通过将来自扬声器111FL的输出声音与来自扬声器111FR的输出声音组合来实现关于自行车171的通知声音。即，如从参考位置观察到的，来自扬声器111FL和111FR的输出声音使得关于自行车171的通知声音的声像定位在自行车171的方向上。而且，来自扬声器111FL和111FR的输出声音的音量以如下方式被调整，使得随着自行车171接近参考位置通知声音的音量升高，并且随着自行车171移动远离参考位置通知声音的音量降低。
从时间t3直到时间t4，自行车171在区域R1L内。因此，通过将来自扬声器111FL的输出声音与来自扬声器111BL的输出声音组合来实现关于自行车171的通知声音。即，如从参考位置观察到的，来自扬声器111FL和111BL的输出声音使得关于自行车171的通知声音的声像定位在自行车171的方向上。而且，来自扬声器111FL和111BL的输出声音的音量以如下方式被调整，使得随着自行车171移动远离参考位置，通知声音的音量降低。
在时间t4之后，自行车171在通知目标范围R1之外。因此，关于自行车171的通知声音停止。
图13图示了在自行车172如图12中所描绘的那样移动的情况下来自扬声器111的输出声音的详细示例性波形。
在图12的示例中，自行车172在时间t0从车辆101的左后方进入通知目标范围R1的区域R1B，从车辆101的左后方移动到前方，并且在时间t4离开通知目标范围R1。而且，自行车172在时间t1到达区域R1B和R1L之间的边界附近，在时间t2到达车辆101的左侧，并且在时间t3到达区域R1L和R1F之间的边界附近。
从时间t0直到时间t1，自行车172在区域R1B内。因此，通过将来自扬声器111BL的输出声音与来自扬声器111BR的输出声音组合来实现关于自行车172的通知声音。即，如从参考位置观察到的，来自扬声器111BL和111BR的输出声音使得关于自行车172的通知声音的声像定位在自行车172的方向上。而且，来自扬声器111BL和111BR的输出声音的音量以如下方式被调整，使得随着自行车172接近参考位置，通知声音的音量升高。
从时间t1直到时间t3，自行车172在区域R1L内。因此，通过将来自扬声器111FL的输出声音与来自扬声器111BL的输出声音组合来实现关于自行车172的通知声音。即，如从参考位置观察到的，来自扬声器111FL和111BL的输出声音使得关于自行车172的通知声音的声像定位在自行车172的方向上。而且，来自扬声器111FL和111BL的输出声音的音量以如下方式被调整，使得随着自行车172接近参考位置通知声音的音量升高，并且随着自行车172移动远离参考位置通知声音的音量降低。
从时间t3直到时间t4，自行车172在区域R1F内。因此，通过将来自扬声器111FL的输出声音与来自扬声器111FR的输出声音组合来实现关于自行车172的通知声音。即，如从参考位置观察到的，来自扬声器111FL和111FR的输出声音使得关于自行车172的通知声音的声像定位在自行车172的方向上。而且，来自扬声器111FL和111FR的输出声音的音量以如下方式被调整，使得随着自行车172移动远离参考位置，通知声音的音量降低。
在时间t4之后，自行车172在通知目标范围R1之外。因此，关于自行车172的通知声音停止。
返回图3，在步骤S14中确定是时候执行移动体检测的情况下，控制转移回步骤S1。
此后，重复执行步骤S1至S14的处理，直到在步骤S11中确定需要紧急停止为止。
同时，例如，在步骤S11中在车辆101附近的移动体当中存在具有风险级别4的移动体的情况下，制动控制部16确定需要紧急停止。然后处理转移到步骤S15。
在步骤S15中，制动控制部16控制制动设备17以使车辆101紧急停止。这防止车辆101与附近的移动体碰撞或接触。
此后，终止通知控制处理。
以上述方式，在声像的位置随着移动体在车辆101附近移动而被移位的同时，连续输出通知声音。而且，针对每种不同类型的移动体输出不同类型的通知声音。这使得驾驶员102被准确地通知车辆101附近的移动体的位置和类型。因此，例如，驾驶员102能够快速且可靠地检测风险并且避免与附近的移动体碰撞或接触。
<1-5.通知控制处理的第二实施例>
下面参考图14的流程图解释通知控制处理的第二实施例。
通知控制处理的第二实施例与第一实施例的不同之处在于，不仅预测了本车附近的任何移动体的运动而且还预测了本车的运动，并且基于预测本车和附近移动体的运动的结果来执行碰撞预测。
在步骤S101至S105中，执行类似于图3中的步骤S1至S5的处理。
在步骤S106中，运动预测部32从车辆信息获取部12获取关于本车(车辆101)的车辆信息。
在步骤S107中，运动预测部32预测本车的运动。具体而言，运动预测部32基于车辆信息预测车辆101正在移动的速度和车辆101正在移动的方向。运动预测部32将预测结果供给碰撞预测部33、优先级设置部34和HMI控制部35。
在步骤S108中，碰撞预测部33执行碰撞预测。具体而言，基于预测车辆101的运动和附近的移动体的运动的结果，碰撞预测部33确定附近的移动体是否有可能与车辆101碰撞或接触。同样基于预测的结果，碰撞预测部33获取可能与车辆101发生碰撞或接触的移动体的预测碰撞时间。
在步骤S109中，如在图3的步骤S7中那样，为移动体设置风险级别。
在步骤S110中，如图3的步骤S8中那样，设置通知优先级。此时，例如，可以考虑关于车辆101的运动预测的结果来设置通知优先级。例如，对于处于车辆101的前进方向上的移动体，可以将通知优先级设置为高。
此后，以类似于图3中的步骤S9至S11的方式执行步骤S111至S113的处理。
在步骤S114中，声音输出控制部52基于本车和移动体的预测位置生成通知声音的声音数据。具体而言，基于由运动预测部32进行的预测的结果，声音输出控制部52在输出通知声音的下一个定时获取车辆101的预测位置和每个通知目标移动体的预测位置。然后，如在步骤S111中那样，声音输出控制部52基于每个通知目标物体相对于车辆101的预测相对位置而不是基于每个通知目标移动体的当前位置来生成用于每个通知目标移动体的通知声音的声音数据。
此后，以类似于图3中的步骤S13至S15的方式执行步骤S115至S117的处理。
如上所述，执行碰撞预测，并且不仅基于移动体的运动而且基于车辆101的运动来设置通知优先级。这意味着，例如，关于任何比其它移动体更可能接触或碰撞车辆的移动体进行通知。由于预测每个通知目标物体相对于车辆101的相对位置并且基于预测的结果设置通知声音的声像的定位位置，因此有可能将通知声音的声像定位在比以往更接近每个通知目标物体的位置处。
<<2.变型>>
下面解释本公开的上述实施例的变型。
<2-1.扬声器的数量和布置的变型>
扬声器111的数量和布置不限于图2的示例中的数量和布置，并且可以变化。
例如，在关于本车周围的所有水平方向上的移动体进行通知的情况下，仅需要以如下方式布置扬声器，使得驾驶员位于具有定位在其顶点处的相机的空间内。因此，这意味着只需要安装最少三个扬声器。
作为另一个替代方案，在仅将诸如本车前方之类的特定方向上的移动体设置为通知目标的情况下，可以仅安装两个扬声器。
再者，其中布置扬声器的方向越多，驾驶员就能够越可靠地识别移动体的位置。例如，如图15中所描绘的，八个扬声器111可以以围绕驾驶员102的方式布置。要注意的是，在图15中，与图2中对应的部分用相同的附图标记表示。
与图2中的示例相比，图15中的示例的特征在于添加了扬声器111F、111L、111R和111B。扬声器111F大致位于扬声器111FL和111FR之间的中间，并且布置在车辆101的仪表板的中心附近。扬声器111L大致位于扬声器111FL和111BL之间的中间，并且布置在车辆101的前排乘客座位门的后端附近。扬声器111R大致位于扬声器111FR和111BR之间的中间，并且布置在车辆101的驾驶员座位门的后端附近。扬声器111B大致位于扬声器111BL和111BR之间的中间，并且布置在后座的中心附近。扬声器111F和111B彼此相对布置，因此扬声器111L和111R也彼此相对。
作为另一个替代方案，声音输出控制部52不仅可以控制通知声音的声像的水平位置，而且可以控制其相对于本车(或其驾驶员)的垂直位置(在上下方向上)。该控制使得有可能参考本车(或其驾驶员)存在于其上的平面(例如，路面)来给出移动体的上下方向位置的通知。
在这里，移动体相对于本车存在于其上的平面的上下方向位置是移动体相对于本车存在于其上的路面在垂直方向上的位置。例如，在本车在上坡道路上移动的情况下，在同一上坡道路上移动的前方车辆位于比本车更高的高度，但是被认为参考本车存在于其上的平面大致处于相同的垂直位置。同时，可以存在如下情况：本车在平坦道路上移动，而前方移动体在前方的上坡道路上。在该情况下，移动体相对于本车存在于其上的平面位于更高的高度处。
因此，在本车在平坦道路上移动而前方移动体位于前方上坡道路上的示例中，关于该移动体的通知声音的声像定位在向上方向上。在本车在平坦道路上移动而前方移动体位于前方下坡道路上的另一个示例中，关于该移动体的通知声音的声像定位在向下方向上。
在这些情况下，多个扬声器111可以布置在不同的高度，如图16中所描绘的。要注意的是，图16是示意性地图示从左侧观察到的车辆101的内部的透视图。在图16中，与图2中对应的部分用相同的附图标记表示。
与图2中的示例相比，图16中的示例的特征在于添加了扬声器111FLU(未描绘出)、扬声器111FRU、扬声器111FLD(未描绘出)、扬声器111FRD、扬声器111BLD(未描绘出)和扬声器111BRD。
扬声器111FRU位于比扬声器111FR更高的位置并且布置在车辆101的挡风玻璃的右上端附近。扬声器111FRD定位在扬声器111FR下方并且布置在驾驶员座位门的底端附近。扬声器111BRD定位在扬声器111BR下方并且布置在右后座门的底端附近。要注意的是，虽然未描绘出，但是车辆101内部的左侧的扬声器111FLU、111FLD和111BLD分别布置在与扬声器111FRU、111FRD和111BRD的位置大致相反的位置处。扬声器111FLU、111FRU、111FLD、111FRD、111BLD和111BRD都以面向车辆101内部的方式安装。
例如，来自扬声器111FRU和111FR的输出声音可以将通知声音的声像定位在高于车辆101(或其驾驶员102)的位置处。在另一个示例中，来自扬声器111FRU和111FR的输出声音可以将通知声音的声像定位在低于车辆101(或其驾驶员102)的位置处。
上面描述了其中来自两个扬声器的输出声音被用于控制单个通知声音的声像的位置的示例。可替代地，可以使用来自三个或更多个扬声器的输出声音来控制声像的位置。
<2-2.系统配置的变型>
图1中的车载系统10的配置仅仅是示例，并且可以根据需要变化。
例如，信息处理部13可以被划分成多个部分；信息处理部13的一部分可以与制动控制部16组合；并且制动控制部16可以包括在信息处理部13中。
在另一个示例中，可以从本车外部的传感器(例如，沿着车道安装的传感器)获取周边传感器数据的一部分。
<2-3.其它变型>
上面描述了其中基于距车辆101的距离设置通知目标范围的示例。可替代地，可以基于预测的碰撞时间来设置通知目标范围。即，在车辆101附近的移动体当中，可以将其预测碰撞时间落在预定时间段内的移动体设置为通知目标。
作为另一个替代方案，通知声音的类型不仅可以基于移动体的类型而且可以根据优先级或风险级别而变化。
作为再一个替代方案，可以由用户设置通知声音的类型。
<2-4.应用的示例>
本技术可以应用于除上面讨论的车辆之外的移动物体。例如，该技术可以应用于诸如摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)之类的移动物体。
<<3.其它>>
<3-1.计算机的配置示例>
上述一系列处理可以由硬件或由软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装到合适的计算机中。计算机的变型包括预先在其专用硬件中安装软件的计算机和能够基于其中安装的程序执行各种功能的通用个人计算机或类似装备。
图17是描绘使用程序执行上述一系列处理的计算机的典型硬件配置的框图。
在计算机中，中央处理单元(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403经由总线404互连。
总线404还与输入/输出接口405连接。输入/输出接口405与输入部406、输出部407、存储部408、通信部409和驱动器410连接。
输入部406包括例如输入开关、按钮、麦克风和成像元件。输出部407包括例如显示单元和扬声器。存储部408通常由硬盘或非易失性存储器形成。通信部409包括例如网络接口。驱动器410驱动可移动记录介质411，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，CPU 401通过经由输入/输出接口405和总线404将适当的程序从例如存储部408加载到RAM 403中并且通过执行所加载的程序来执行上述一系列处理。
要由计算机(CPU 401)执行的程序可以在被提供时记录在诸如封装介质之类的可移动记录介质411上。还可以经由有线或无线传输介质(诸如局域网、互联网和数字卫星广播)提供程序。
在计算机中，程序可以经由输入/输出接口405从附接到驱动器410的可移动记录介质411安装到存储部408中。程序也可以在由通信部409经由有线或无线传输介质接收到之后安装到存储部408中。可替代地，程序可以预先安装在ROM 402中或存储部408中。
要注意的是，要由计算机执行的每个程序可以按时间顺序(即，按照本说明书中描绘的顺序)被处理；与其它程序并行，或者以其它适当的定时方式(诸如，当需要时调用它)被处理。
在本说明书中，术语“系统”是指多个组件(例如，装置或模块(部分))的集合。是否所有组件都容纳在同一外壳中并不重要。因此，系统可以配置有多个装置，所述多个装置容纳在分开的外壳中并经由网络互连，或者配置有单个装置，该单个装置在单个外壳中容纳多个模块。
此外，本技术不限于上面讨论的实施例，并且可以以各种变型实现，只要它们在本技术的精神和范围内即可。
例如，本技术可以被实现为云计算设置，其中单个功能由多个联网的装置在共享的基础上协同处理。
而且，参考上述流程图讨论的每个步骤可以或者由单个装置执行，或者由多个装置在共享的基础上执行。
而且，在单个步骤包括多个处理的情况下，这些处理可以或者由单个装置或者由多个装置在共享的基础上执行。
<3-2.组合配置的示例>
本公开可以优选地按以下配置实现：
(1)一种信息处理装置，包括：
移动体检测部，被配置为基于从传感器输入的信息来检测移动物体附近的移动体；以及
声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
(2)根据上述(1)所述的信息处理装置，还包括：
运动预测部，被配置为预测移动体的运动，其中
声音输出控制部基于移动体的预测位置来移位通知声音的声像的位置。
(3)根据上述(2)所述的信息处理装置，其中
从基于移动体的第一检测到的位置设置通知声音的声像的位置时起直到基于在第一检测到的位置之后的移动体的第二检测到的位置设置通知声音的声像的位置为止，声音输出控制部根据移动体的预测位置设置通知声音的声像的位置。
(4)根据上述(2)或(3)所述的信息处理装置，其中
运动预测部还预测移动物体的运动，以及
声音输出控制部基于移动体相对于移动物体的预测位置的预测位置来移位通知声音的声像的位置。
(5)如以上段落(1)至(4)中任一段所述的信息处理装置，其中
声音输出控制部基于移动物体和移动体之间的距离来控制通知声音的音量。
(6)如以上段落(1)至(5)中任一段所述的信息处理装置，其中
声音输出控制部根据移动体的类型来改变通知声音的类型。
(7)根据上述(6)所述的信息处理装置，其中
在移动物体附近存在相同类型的多个移动体的情况下，声音输出控制部针对每个移动体改变通知声音的类型。
(8)如以上段落(1)至(7)中任一段所述的信息处理装置，还包括：
优先级设置部，被配置为设置移动体的优先级，其中
声音输出控制部基于其优先级来控制关于多个移动体中的每一个移动体的通知声音的输出。
(9)根据上述(8)所述的信息处理装置，其中
声音输出控制部执行控制以优先输出关于具有高优先级的移动体的通知声音。
(10)根据上述(8)或(9)所述的信息处理装置，其中
声音输出控制部基于优先级来控制通知声音的音量。
(11)如以上段落(8)至(10)中任一段所述的信息处理装置，其中
优先级设置部基于移动体与移动物体接触或碰撞的风险级别来设置每个移动体的优先级。
(12)如以上段落(1)至(11)中任一段所述的信息处理装置，其中
声音输出控制部执行控制以输出关于移动物体附近的预定范围内的移动体的通知声音。
(13)如以上段落(1)至(12)中任一段所述的信息处理装置，其中
声音输出控制部基于移动体相对于移动体存在于其上的平面的上下方向位置来控制通知声音的声像的上下方向位置。
(14)根据上述(13)所述的信息处理装置，其中
声音输出控制部通过控制来自布置在移动物体中的不同高度处的多个扬声器的声音的输出来控制通知声音的声像的上下方向位置。
(15)如以上段落(1)至(14)中任一段所述的信息处理装置，其中
声音输出控制部控制来自在移动物体中以围绕移动物体的驾驶员的方式布置的多个扬声器的声音的输出。
(16)如以上段落(1)至(15)中任一段所述的信息处理装置，其中
声音输出控制部随着移动体相对于移动物体的检测到的位置移动来移位通知声音的声像的位置。
(17)一种信息处理方法，包括：
移动体检测步骤，用于基于从传感器输入的信息来检测移动物体附近的移动体；以及
声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
(18)一种用于使计算机执行处理的程序，包括：
移动体检测步骤，用于基于从传感器输入的信息来检测移动物体附近的移动体；以及
声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
(19)一种移动物体，包括：
传感器，被配置为布置在移动物体中以检测其周边状态；
移动体检测部，被配置为基于从传感器输入的信息来检测附近的移动体；以及
声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，该通知声音通知移动体的位置。
附图标记列表
10车载系统，11周边传感器，12车辆信息获取部，13信息处理部，15声音输出部，31周边状态检测部，32运动预测部，33碰撞预测部，34优先级设置部，35HMI控制部，42移动体检测部，52声音输出控制部，101车辆，102驾驶员，111F至111BRD扬声器。

Claims (16)

1.一种信息处理装置，包括：
空间生成部，被配置为基于从传感器输入的信息生成三维空间地图，所述三维空间地图包括移动物体附近的移动体相对于移动物体存在于其上的平面即路面的上下方向位置；
移动体检测部，被配置为基于从传感器输入的信息和所述三维空间地图来检测所述移动体；以及
声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，所述通知声音通知移动体的位置，并且基于在所述三维空间地图中所述移动体相对于所述路面的上下方向位置来控制通知声音的声像的上下方向位置，其中
所述声音输出控制部根据移动体的类型以容易识别每个移动体的类型的方式来改变通知声音的类型，在移动物体附近存在相同类型的多个移动体的情况下，声音输出控制部针对相同类型的每个移动体改变包括通知声音的模式、音调和节奏的通知声音的类型以识别所述相同类型的多个移动体中的每一个。
2.如权利要求1所述的信息处理装置，还包括：
运动预测部，被配置为预测移动体的运动，其中
声音输出控制部还基于移动体的预测位置来移位通知声音的声像的位置。
3.如权利要求2所述的信息处理装置，其中
从基于移动体的第一检测到的位置设置通知声音的声像的位置时起直到基于在第一检测到的位置之后的移动体的第二检测到的位置设置通知声音的声像的位置为止，声音输出控制部根据移动体的预测位置设置通知声音的声像的位置。
4.如权利要求2所述的信息处理装置，其中
运动预测部还预测移动物体的运动，以及
声音输出控制部基于移动体相对于移动物体的预测位置的预测位置来移位通知声音的声像的位置。
5.如权利要求1所述的信息处理装置，其中
声音输出控制部基于移动物体和移动体之间的距离来控制通知声音的音量。
6.如权利要求1所述的信息处理装置，还包括：
优先级设置部，被配置为设置移动体的优先级，其中
声音输出控制部基于其优先级来控制关于多个移动体中的每一个移动体的通知声音的输出。
7.如权利要求6所述的信息处理装置，其中
声音输出控制部执行控制以优先输出关于具有高优先级的移动体的通知声音。
8.如权利要求6所述的信息处理装置，其中
声音输出控制部基于优先级来控制通知声音的音量。
9.如权利要求6所述的信息处理装置，其中
优先级设置部基于移动体与移动物体接触或碰撞的风险级别来设置每个移动体的优先级。
10.如权利要求1所述的信息处理装置，其中
声音输出控制部执行控制以输出关于移动物体附近的预定范围内的移动体的通知声音。
11.如权利要求1所述的信息处理装置，其中
声音输出控制部通过控制来自布置在移动物体中的不同高度处的多个扬声器的声音的输出来控制通知声音的声像的上下方向位置。
12.如权利要求1所述的信息处理装置，其中
声音输出控制部控制来自在移动物体中以围绕移动物体的驾驶员的方式布置的多个扬声器的声音的输出。
13.如权利要求1所述的信息处理装置，其中
声音输出控制部随着移动体相对于移动物体的检测到的位置移动来移位通知声音的声像的位置。
14.一种信息处理方法，包括：
空间生成步骤，用于基于从传感器输入的信息生成三维空间地图，所述三维空间地图包括移动物体附近的移动体相对于移动物体存在于其上的平面即路面的上下方向位置；
移动体检测步骤，用于基于从传感器输入的信息和所述三维空间地图来检测所述移动体；以及
声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，所述通知声音通知移动体的位置，并且基于在所述三维空间地图中所述移动体相对于所述路面的上下方向位置来控制通知声音的声像的上下方向位置，其中
在所述声音输出控制步骤中，根据移动体的类型以容易识别每个移动体的类型的方式来改变通知声音的类型，在移动物体附近存在相同类型的多个移动体的情况下，针对相同类型的每个移动体改变包括通知声音的模式、音调和节奏的通知声音的类型以识别所述相同类型的多个移动体中的每一个。
15.一种计算机可读记录介质，其上存储有程序，该程序用于使计算机执行处理，所述处理包括：
空间生成步骤，用于基于从传感器输入的信息生成三维空间地图，所述三维空间地图包括移动物体附近的移动体相对于移动物体存在于其上的平面即路面的上下方向位置；
移动体检测步骤，用于基于从传感器输入的信息和所述三维空间地图来检测所述移动体；以及
声音输出控制步骤，用于随着移动体的检测到的位置移动来移位通知声音的声像的位置，所述通知声音通知移动体的位置，并且基于在所述三维空间地图中所述移动体相对于所述路面的上下方向位置来控制通知声音的声像的上下方向位置，其中
在所述声音输出控制步骤中，根据移动体的类型以容易识别每个移动体的类型的方式来改变通知声音的类型，在移动物体附近存在相同类型的多个移动体的情况下，针对相同类型的每个移动体改变包括通知声音的模式、音调和节奏的通知声音的类型以识别所述相同类型的多个移动体中的每一个。
16.一种移动物体，包括：
传感器，被配置为布置在移动物体中以检测其周边状态；
空间生成部，被配置为基于从传感器输入的信息生成三维空间地图，所述三维空间地图包括附近的移动体相对于移动物体存在于其上的平面即路面的上下方向位置；
移动体检测部，被配置为基于从传感器输入的信息和所述三维空间地图来检测所述移动体；以及
声音输出控制部，被配置为随着移动体的检测到的位置移动来移位通知声音的声像的位置，所述通知声音通知移动体的位置，并且基于在所述三维空间地图中所述移动体相对于所述路面的上下方向位置来控制通知声音的声像的上下方向位置，其中
所述声音输出控制部根据移动体的类型以容易识别每个移动体的类型的方式来改变通知声音的类型，在移动物体附近存在相同类型的多个移动体的情况下，声音输出控制部针对相同类型的每个移动体改变包括通知声音的模式、音调和节奏的通知声音的类型以识别所述相同类型的多个移动体中的每一个。
CN201880019616.XA 2017-03-29 2018-03-15 信息处理装置、信息处理方法、程序和移动物体 Active CN110431613B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017064276 2017-03-29
JP2017-064276 2017-03-29
PCT/JP2018/010125 WO2018180523A1 (ja) 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (2)

Publication Number Publication Date
CN110431613A CN110431613A (zh) 2019-11-08
CN110431613B true CN110431613B (zh) 2023-02-28

Family

ID=63677253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880019616.XA Active CN110431613B (zh) 2017-03-29 2018-03-15 信息处理装置、信息处理方法、程序和移动物体

Country Status (5)

Country Link
US (1) US11317205B2 (zh)
EP (1) EP3605499B1 (zh)
JP (1) JP7091311B2 (zh)
CN (1) CN110431613B (zh)
WO (1) WO2018180523A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3693943B1 (en) * 2019-02-05 2024-05-29 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system
US20220329936A1 (en) * 2019-09-09 2022-10-13 Nippon Telegraph And Telephone Corporation Sound collection and emission apparatus, sound collection and emission method, and program
JP7279623B2 (ja) * 2019-11-26 2023-05-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN111783628A (zh) * 2020-06-29 2020-10-16 珠海格力电器股份有限公司 一种位置跟踪方法、装置、电子设备及存储介质
US11488472B2 (en) * 2020-10-15 2022-11-01 Ford Global Technologies, Llc Vehicle sound emission control
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置
DE102022116023A1 (de) 2022-06-28 2023-12-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Erzeugen eines Sounds eines Fahrzeugs, sowie ein Verfahren zum Erkennen eines Sounds mit einer Medienwiedergabeeinheit
WO2024087216A1 (zh) * 2022-10-28 2024-05-02 华为技术有限公司 一种控制方法、装置和运载工具

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置
CN104924979A (zh) * 2014-03-19 2015-09-23 富士重工业株式会社 车辆接近报知装置
GB2534163A (en) * 2015-01-14 2016-07-20 Jaguar Land Rover Ltd Vehicle interface device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157300A (ja) 1999-11-24 2001-06-08 Keio Gijuku 移動体仮想音響空間形成装置
DE602004026026D1 (de) * 2003-12-24 2010-04-29 Pioneer Corp Gesteuerte Meldungsvorrichtung, System und Verfahren
JP4745403B2 (ja) * 2006-12-19 2011-08-10 パイオニア株式会社 情報処理装置及びその制御方法等
JP2009245340A (ja) 2008-03-31 2009-10-22 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
US8212659B2 (en) * 2008-09-05 2012-07-03 Mazda Motor Corporation Driving assist device for vehicle
WO2013101061A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for directing sound in a vehicle
WO2014024247A1 (ja) 2012-08-06 2014-02-13 三菱電機株式会社 車両接近報知装置
JP5668765B2 (ja) * 2013-01-11 2015-02-12 株式会社デンソー 車載音響装置
JP6188471B2 (ja) * 2013-07-26 2017-08-30 アルパイン株式会社 車両後側方警報装置、車両後側方警報方法および立体物検出装置
US9663031B2 (en) * 2013-10-21 2017-05-30 Harman International Industries, Inc. Modifying an audio panorama to indicate the presence of danger or other events of interest
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
US20180096601A1 (en) * 2016-10-04 2018-04-05 Toyota Motor Engineering & Manufacturing North America, Inc. Collision alert system
US9896031B1 (en) * 2017-01-03 2018-02-20 Ford Global Technologies, Llc Spatial auditory alerts for a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450057A (en) * 1991-10-30 1995-09-12 Nissan Motor Co., Ltd. Stereophonic warning apparatus
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置
CN104924979A (zh) * 2014-03-19 2015-09-23 富士重工业株式会社 车辆接近报知装置
GB2534163A (en) * 2015-01-14 2016-07-20 Jaguar Land Rover Ltd Vehicle interface device

Also Published As

Publication number Publication date
EP3605499B1 (en) 2024-05-29
JP7091311B2 (ja) 2022-06-27
US20200100028A1 (en) 2020-03-26
EP3605499A1 (en) 2020-02-05
JPWO2018180523A1 (ja) 2020-02-06
CN110431613A (zh) 2019-11-08
EP3605499A4 (en) 2020-04-22
WO2018180523A1 (ja) 2018-10-04
US11317205B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
CN110431613B (zh) 信息处理装置、信息处理方法、程序和移动物体
JP7115270B2 (ja) 自動運転システム
US9836978B2 (en) Parking assistance device
JP6447481B2 (ja) 起動提案装置及び起動提案方法
JP6372402B2 (ja) 画像生成装置
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
JP4517393B2 (ja) 運転支援装置
US20180118106A1 (en) Vehicle and control method thereof
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7151495B2 (ja) 自動運転システム
CN114763190A (zh) 用于摩托车的障碍物检测和通知
JP7139902B2 (ja) 報知装置
JP6758911B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US11694408B2 (en) Information processing device, information processing method, program, and movable object
US11498482B2 (en) Notification device
US20180118107A1 (en) Vehicle and control method thereof
CN112997229A (zh) 信息处理装置、信息处理方法和程序
JP2007128430A (ja) 車両用警報装置
JP2018163501A (ja) 情報表示装置、情報表示方法及びプログラム
US20230373309A1 (en) Display control device
US11645038B1 (en) Augmented reality head-up display for audio event awareness
US20230419836A1 (en) System and method for a vehicle proximity alert
WO2022209459A1 (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
CN117136157A (zh) 自动驾驶控制装置、自动驾驶控制程序、提示控制装置以及提示控制程序
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant