JP2020098396A - 報知装置 - Google Patents

報知装置 Download PDF

Info

Publication number
JP2020098396A
JP2020098396A JP2018235499A JP2018235499A JP2020098396A JP 2020098396 A JP2020098396 A JP 2020098396A JP 2018235499 A JP2018235499 A JP 2018235499A JP 2018235499 A JP2018235499 A JP 2018235499A JP 2020098396 A JP2020098396 A JP 2020098396A
Authority
JP
Japan
Prior art keywords
notification
vehicle
driver
sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018235499A
Other languages
English (en)
Other versions
JP7155991B2 (ja
Inventor
隼人 伊藤
Hayato Ito
隼人 伊藤
金道　敏樹
Toshiki Kanemichi
敏樹 金道
貴之 岩本
Takayuki Iwamoto
貴之 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018235499A priority Critical patent/JP7155991B2/ja
Priority to US16/708,863 priority patent/US11492001B2/en
Priority to CN201911265029.1A priority patent/CN111319557B/zh
Publication of JP2020098396A publication Critical patent/JP2020098396A/ja
Application granted granted Critical
Publication of JP7155991B2 publication Critical patent/JP7155991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自車両の周囲の物体の情報を運転者に対して適切に報知する。【解決手段】報知装置１００は、自車両Ｖの周囲の物体の位置及び相対状況を検知する物体検知部２１と、検知された物体の位置に基づいて、運転者の周囲に仮想音源を設定する仮想音源設定部２５と、運転者に対して報知音を出力する音出力部６と、設定された仮想音源及び相対状況に基づいて、相対状況に応じた報知音が設定された仮想音源の方向から到来したと運転者に認識されるように、音出力部６から報知音を出力させる音出力制御部２６と、を備える。【選択図】図１

Description

本発明は、自車両の運転者に対して、周囲の物体の情報を報知する報知装置に関する。
例えば、特許文献１には、自車両の前方の先行車両の動きを予測し、先行車両が自車両の前方に割り込んでくると判定された場合に警報音を出力する装置が記載されている。これにより、自車両の運転者は、警報音によって先行車両が割り込んでくることを認識できる。
特開２０１８−０９７６４４号公報
特許文献１に記載された装置において、運転者は、報知音に基づいて単に先行車両が割り込んでくることのみしか認識できない。このため、本技術分野では、自車両の周囲の物体の情報を運転者に対して適切に報知できる構成が望まれている。
本発明の一側面に係る報知装置は、自車両の運転者に対して、自車両の周囲の物体の情報を報知する報知装置であって、外部センサの検出結果に基づいて、物体の位置及び自車両に対する物体の相対状況を検知する物体検知部と、検知された物体の位置に基づいて、運転者の周囲に仮想音源を設定する仮想音源設定部と、運転者に対して報知音を出力する音出力部と、設定された仮想音源及び相対状況に基づいて、相対状況に応じた報知音が設定された仮想音源の方向から到来したと運転者に認識されるように、音出力部から報知音を出力させる音出力制御部と、を備える。
報知装置は、検知された物体の位置に基づいて運転者の周囲に仮想音源を設定し、仮想音源の方向から到来したと認識されるように報知音を出力する。これにより、運転者は、報知音の到来する方向に基づいて、物体が存在する方向等の物体の位置に基づいた情報を認識できる。また、報知装置は、相対状況に応じた報知音を出力する。これにより、運転者は、報知音に基づいて相対状況を認識できる。このように、報知装置は、物体の位置に基づいた情報と相対状況とを報知音によって報知できる。従って、報知装置は、自車両の周囲の物体の情報を運転者に対して適切に報知できる。
仮想音源設定部は、検知された物体の位置、及び、検知された物体の位置に基づいて予測される物体の位置の少なくともいずれかに基づいて、仮想音源を移動させてもよい。この場合、報知装置は、仮想音源を移動させることによって、注意を引き付けたい方向に運転者の注意を引き付け易くすることができる等、運転者に対してより適切に報知できる。
報知装置は、検知された物体が自車両と干渉する可能性があるか否かを判定する干渉判定部を更に備え、音出力制御部は、干渉判定部によって自車両と干渉する可能性があると判定された物体について報知音を出力させ、干渉判定部によって自車両と干渉する可能性が無いと判定された物体について報知音を出力させなくてもよい。この場合、報知装置は、自車両と干渉する可能性がないために報知の必要性の低い物体については報知せず、自車両と干渉する可能性があるために報知の必要性の高い物体についてのみ報知を行うことができる。
報知装置は、運転者の入力操作に基づいて、報知音を用いた報知を行わない物体を設定する対象外設定部を更に備え、音出力制御部は、報知音を用いた報知を行わない物体として設定された物体について報知音を出力させなくてもよい。この場合、報知装置は、運転者が入力した報知が不要な物体については報知を行わないため、不要な報知音を出力することを抑制できる。
報知装置は、運転者の視線方向又は運転者の顔の向く方向を運転者視線方向として検出する視線方向検出部を更に備え、音出力制御部は、運転者に対する仮想音源の方向と運転者視線方向とのずれに応じた報知音を音出力部から出力させてもよい。この場合、報知装置は、仮想音源の方向と運転者視線方向とのずれに応じた報知音を出力することによって、運転者に対して視線方向（運転者視線方向）がずれていることを報知できる。そして、報知装置は、ずれに応じた報知音によって、運転者視線方向が仮想音源の方向を向くように運転者に促すことができる。
報知装置は、運転者に対して光を用いて報知を行う光報知部と、相対状況に応じて光報知部を発光させる発光制御部と、を更に備えていてもよい。この場合、報知装置は、報知音と光報知部の発光とを用いて周囲の物体の情報を運転者に報知できる。また、報知装置は、光報知部の発光等に運転者の注意が引き付けられたとしても、報知音を用いて報知される物体についても運転者の注意を引き付けることができる。
本発明の一側面によれば、自車両の周囲の物体の情報を運転者に対して適切に報知できる。
図１は、第１実施形態に係る報知装置を含む車両の一例の機能ブロック図である。 図２は、自車両の内部を上方から見た場合における音出力部の構成の一例を示す図である。 図３は、自車両の外部状況の一例を示す自車両周りの平面図である。 図４は、ディスプレイとしての光報知部に表示される表示画像の一例を示す図である。 図５は、自車両の外部状況の一例を示す自車両周りの平面図である。 図６は、ディスプレイとしての光報知部に表示される表示画像の一例を示す図である。 図７は、報知装置が行う報知処理の流れを示すフローチャートである。 図８は、視覚刺激を用いた報知処理の流れを示すフローチャートである。 図９は、聴覚刺激を用いた報知処理の流れを示すフローチャートである。 図１０は、自車両の外部状況の一例を示す自車両周りの平面図である。 図１１は、他車両の位置を報知する場合の仮想音源の動きの一例を示す図である。 図１２は、運転者の視線誘導を行う場合の仮想音源の動きの一例を示す図である。 図１３は、他車両が合流する場合における仮想音源の動きの一例を示す自車両周りの平面図である。 図１４は、他車両が合流する場合における仮想音源の動きの一例を示す自車両周りの平面図である。 図１５は、他車両が合流する場合における仮想音源の動きの一例を示す自車両周りの平面図である。 図１６は、他車両が合流する場合における仮想音源の動きの一例を示す自車両周りの平面図である。 図１７は、音量、周波数、又はテンポを上げる場合における音量等の波形の一例を示す図である。 図１８は、音量、周波数、又はテンポを下げる場合における音量等の波形の一例を示す図である。 図１９は、自車両が左側の車線に車線変更する場合の外部状況の一例を示す自車両周りの平面図である。 図２０は、自車両が左側の車線に車線変更する場合に設定される仮想音源の位置を示す自車両周りの平面図である。 図２１は、自車両が左側の車線に車線変更する場合における仮想音源の動きの一例を示す自車両周りの平面図である。 図２２は、自車両が左側の車線に車線変更する場合に運転者の視線誘導を行うための仮想音源の動きの一例を示す自車両周りの平面図である。 図２３は、第２実施形態に係る報知装置を含む車両の一例の機能ブロック図である。 図２４は、第３実施形態に係る報知装置を含む車両の一例の機能ブロック図である。 図２５は、要監視物体が存在する方向に対する運転者視線方向のズレを示す図である。 図２６は、第１の技術思想に基づいて報知音を修飾した場合における音量の変化を示すグラフである。 図２７は、第２の技術思想に基づいて報知音を修飾した場合における音量の変化を示すグラフである。 図２８は、第１の技術思想及び第２の技術思想に基づいて報知音を修飾した場合における音量の変化を示すグラフである。
以下、実施形態について図面を参照しながら説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
(第１実施形態)
まず、第１実施形態について説明する。図１に示されるように、第１実施形態に係る報知装置１００は、自動運転が可能な乗用車等の自車両Ｖに搭載される。自動運転とは、予め設定された目的地に向かって自動で自車両Ｖを走行させる車両制御である。自動運転では、運転者が運転操作を行う必要が無く、自動で自車両Ｖが走行する。報知装置１００は、自車両Ｖの運転者に対して、自車両Ｖの周囲の物体の情報を報知する。報知装置１００は、例えば、自車両Ｖの自動運転中に、自車両Ｖの周囲の物体の情報を報知する。
自車両Ｖは、ＧＰＳ受信部１、内部センサ２、地図データベース３、外部センサ４、アクチュエータ５、自動運転ＥＣＵ１０、及び報知装置１００を備える。
ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信して、自車両Ｖの位置を示す位置情報を取得する。位置情報には、例えば緯度及び経度が含まれる。ＧＰＳ受信部１に代えて、自車両Ｖが存在する緯度及び経度が特定できる他の手段が用いられてもよい。
内部センサ２は、自車両Ｖの走行状態を検出する検出機器である。内部センサ２は、車速センサ、加速度センサ及びヨーレートセンサを含む。車速センサは、自車両Ｖの速度を検出する検出器である。車速センサとしては、例えば、自車両Ｖの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。
加速度センサは、自車両Ｖの加速度を検出する検出器である。加速度センサは、自車両Ｖの前後方向の加速度を検出する前後加速度センサと、自車両Ｖの加速度を検出する横加速度センサとを含んでもよい。ヨーレートセンサは、自車両Ｖの重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。
地図データベース３は、地図情報を記憶する記憶装置である。地図データベース３は、例えば、自車両Ｖに搭載されたＨＤＤ（Hard Disk Drive）内に格納される。地図データベース３は、地図情報として、静止物体の情報、交通ルール、信号機の位置等を含む。静止物体は、例えば、路面ペイント（白線、黄線等の車線境界線を含む）、及び構造物（縁石、ポール、電柱、建物、標識、木等）等である。地図データベース３に含まれる地図情報の一部は、地図データベース３が記憶されたＨＤＤとは異なる記憶装置に記憶されてもよい。地図データベース３に含まれる地図情報の一部又は全ては、自車両Ｖと通信可能なサーバに設けられていてもよい。
外部センサ４は、自車両Ｖの外部状況を検出する検出機器である。外部センサ４は、カメラ及びレーダセンサのうち少なくとも一つを含む。
カメラは、自車両Ｖの周囲の状況を撮像する撮像機器である。カメラは、一例として自車両Ｖのフロントガラスの裏側に設けられる。カメラは、自車両Ｖの外部状況に関する撮像情報を外部状況の検出結果として取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まれる。
レーダセンサは、電波（例えばミリ波）又は光を利用して、自車両Ｖの周辺の状況を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー（LIDAR：Laser Imaging Detection and Ranging）が含まれる。レーダセンサは、電波又は光を自車両Ｖの周辺に送信し、物体で反射された電波又は光を受信することで自車両Ｖの外部状況の検出結果を取得する。
アクチュエータ５は、自車両Ｖの走行制御を実行する装置である。アクチュエータ５は、エンジンアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。エンジンアクチュエータは、自動運転ＥＣＵ１０からの制御信号に応じてエンジンに対する空気の供給量を変更（例えばスロットル開度を変更）することで、自車両Ｖの駆動力を制御する。なお、エンジンアクチュエータは、自車両Ｖがハイブリッド車又は電気自動車である場合には、動力源としてのモータの駆動力を制御する。
自動運転ＥＣＵ１０は、自車両Ｖの自動運転制御を行う。自動運転ＥＣＵ１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＡＮ（Controller Area Network）通信回路等を有する電子制御ユニットである。自動運転ＥＣＵ１０は、例えば、ＣＰＵが出力する信号に基づいて、ＣＡＮ通信回路を動作させてデータを入出力し、データをＲＡＭに記憶し、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで、自動運転制御を実現する。自動運転ＥＣＵ１０は、複数の電子制御ユニットから構成されてもよい。自動運転ＥＣＵ１０は、報知装置１００に設けられた報知ＥＣＵ２０と一体の電子制御ユニットであってもよい。
自動運転ＥＣＵ１０は、例えば、自車両Ｖの位置、地図データベース３の地図情報、外部センサ４の検出結果から得た自車両Ｖの周辺の状況、及び内部センサ２の検出結果から得た車両状態（車速、ヨーレート等）に基づいて、予め設定された目標ルートに沿った進路（経路及び車速プロファイル）を生成する。目標ルートは、自車両Ｖの運転者により手動で設定されてもよく、周知のナビゲーションシステム又は自動運転ＥＣＵ１０により自動で設定されてもよい。自動運転ＥＣＵ１０は周知の手法により進路の生成を行うことができる。自動運転ＥＣＵ１０は、自車両Ｖのアクチュエータ５（エンジンアクチュエータ、ブレーキアクチュエータ、操舵アクチュエータ等）に制御信号を送信することで、進路に沿った自車両Ｖの自動運転を実行する。
報知装置１００は、音出力部６、光報知部７、及び報知ＥＣＵ２０を備える。音出力部６は、報知ＥＣＵ２０の制御に基づいて、自車両Ｖの運転者に対して報知音を出力する。この報知音とは、自車両Ｖの周囲の物体の情報を報知するための音である。このように、報知装置１００は、音出力部６から報知音を出力させることによって、自車両Ｖの周囲の物体の情報を音を用いて自車両Ｖの運転者に報知する。
ここで、報知装置１００は、検知された物体の位置に基づいて運転者の周囲に仮想音源を設定し、設定した仮想音源の方向から報知音が到来したと運転者に認識されるように音出力部６から報知音を出力させる。報知装置１００は、運転者に対する仮想音源の位置を変更することにより、運転者に対して報知音が到来する方向を変更することができる。すなわち、音出力部６は、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように、報知音を出力可能に構成されている。
具体的には、報知装置１００は、例えば、周知技術である音場合成による方法を用いて、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように、報知音を出力してもよい。音場合成による方法とは、複数のスピーカから出力される音の音量（振幅）及び位相（スピーカの駆動タイミング）を制御することにより、設定された仮想音源の位置から出力された場合と等価な音場を生成する方法である。これにより、運転者は、設定された仮想音源の位置（方向）から報知音が到来したように感じる。この音場合成による方法が用いられる場合、音出力部６は、自車両Ｖ内において、運転者の周囲に配置された複数のスピーカを備えている。
ここで、上述した音場合成による方法は、十分な数のスピーカが必要である。このため、自車両Ｖに搭載されたスピーカでは、スピーカの数が少なく、精度良く音場合成を行うことができないことがある。このため、報知装置１００は、例えば、以下で説明する疑似的手法によって、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように、報知音を出力してもよい。例えば、自車両Ｖには、図２に示されるように、運転者Ｄに対して音を出力するスピーカＳＰｎ（ｎ＝１〜８）が運転者Ｄの周囲に配置されている。すなわち、音出力部６は、スピーカＳＰ１〜ＳＰ８を備えている。検知された物体の位置に基づいて、運転者Ｄの周囲に仮想音源Ａが設定されている。仮想音源Ａと運転者Ｄとを結ぶ直線Ｌと、各スピーカＳＰｎと運転者Ｄとを結ぶ直線とで形成される角度を、θｎ（ｎ＝１〜８）とする。
報知装置１００は、この角度θｎに基づいて最小となる角度θｎに対応するスピーカＳＰｎを選択し、選択したスピーカＳＰｎから報知音を出力してもよい。すなわち、報知装置１００は、疑似的手法を用いる場合、設定された仮想音源Ａの方向から報知音が到来したと運転者に認識されるように報知音を出力することとして、最小となる角度θｎに対応するスピーカＳＰｎから報知音を出力してもよい。
図２に示される例の場合、角度θ２が最も小さい。このため、報知装置１００は、スピーカＳＰ２から報知音を出力させる。また、スピーカＳＰｎから出力される音量は、角度θｎに応じて減衰させてもよい。一例として、スピーカＳＰｎから出力される報知音の音量Ｍは、次の式（１）によって表されてもよい。なお、次の式におけるＭ０及びσは、予め定められた定数である。
Ｍ＝Ｍ0ｅｘｐ（−θｎ ２／σ２） （１）
また、図２に示される場合、報知装置１００は、スピーカＳＰ２に加えて、次に角度θｎが小さいスピーカＳＰ１からも報知音を出力してもよい。この場合、スピーカＳＰ１から出力される報知音の音量は、スピーカＳＰ２と同じでもよく、スピーカＳＰ１について上記の式（１）で算出される音量であってもよい。更に、報知装置１００は、スピーカＳＰ１及びＳＰ２に加えて、スピーカＳＰ３からもスピーカＳＰ２と同様に報知音を出力してもよい。報知装置１００は、報知音を出力する対象となるスピーカＳＰｎとして、例えば、角度θｎが−９０°＜θｎ＜９０°を満たすスピーカＳＰｎを用いてもよい。このように疑似的手法が用いられる場合、音出力部６は、自車両Ｖ内において、運転者の周囲に配置された複数のスピーカを備えている。疑似的手法が用いられる場合のスピーカの数は、上述した音場合成による方法が用いられる場合のスピーカの数よりも少なくてもよい。
また、報知装置１００は、例えば、周知技術である頭部伝達関数を用いる方法によって、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように、報知音を出力してもよい。例えば、ある音源からの音が右耳に届くまでに、音源から耳に届くまでの距離及び方向に依存して、音量及び音の位相が変化する。この変化を表す関数を頭部伝達関数ｈＲとする。この場合、実際に右耳に届く音ＸＲは、音源から出力された元の音ｘと頭部伝達関数ｈＲとを演算した音となる。同様に、実際に左耳に届く音ＸＬは、音源から出力された元の音ｘと頭部伝達関数ｈＬとを演算した音となる。これを利用することにより、運転者から仮想音源までの距離と運転者に対する仮想音源の方向とを変化させることができる。頭部伝達関数ｈＲ及びｈＬは、運転者から仮想音源までの距離と方向とで決定される関数である。この頭部伝達関数は、運転者から仮想音源までの距離及び方向について予め様々な場合について測定を行い、データベース化されているとよい。右耳への音ＸＲと左耳への音ＸＬとを聞いた運転者は、設定された仮想音源の位置から音が到来したように感じる。この場合、音出力部６は、運転者の耳に近い位置に配置されたスピーカを備えている。例えば、音出力部６は、ヘッドフォン及びイヤフォン等の耳に密着する形態のスピーカを備えていてもよく、運転者が着座する座席のヘッドレストに設けられたスピーカを備えていてもよい。
なお、報知装置１００は、上述した音場合成による方法等以外の方法によって、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように音出力部６から報知音を出力してもよい。この場合、音出力部６は、報知装置１００が用いる方法に応じて報知音を出力可能な構成であればよい。
光報知部７は、自車両Ｖの運転者に対して光を用いて報知を行う機器である。光報知部７は、報知ＥＣＵ２０の制御に基づいて、発光態様を変化させることができる。光報知部７は、例えば、運転者に向けて配置されたディスプレイ、ヘッドアップディスプレイ、自車両Ｖの速度等を表示する表示機器、ランプ等であってもよい。光報知部７は、例えば、発光態様を変化させることとして、表示内容、発光の色、輝度等を変化させてもよい。このように、報知装置１００は、光報知部７を発光させることによって、自車両Ｖの周囲の物体の情報を光を用いて自車両Ｖの運転者に報知する。
報知ＥＣＵ２０は、自動運転ＥＣＵ１０と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。報知ＥＣＵ２０は、機能的には、物体検知部２１、自車両運動決定部２２、干渉判定部２３、変動検知部２４、仮想音源設定部２５、音出力制御部２６、及び発光制御部２７を備えている。
物体検知部２１は、外部センサ４で検出された外部状況の検出結果に基づいて、自車両Ｖの周囲の物体を検知する。物体検知部２１は、物体として、例えば、他車両、歩行者、車線を分離するために道路に設置されたポール等を検知する。物体検知部２１は、例えば、道路及び道路周辺の物体の３次元形状を表した地図情報、車両及び歩行者の見え方を表したテンプレート等を用いて、外部センサ４の検出結果から物体を検知してもよい。物体検知部２１は、検知した物体の種別（車両、歩行者、ポール等の種別）を認識する。物体検知部２１における物体の検知及び種別の認識は、周知の技術を用いて行うことができる。
より詳細には、物体検知部２１は、外部センサ４で検出された外部状況の検出結果に基づいて、自車両Ｖの周囲の物体の位置、及び自車両Ｖに対する物体の相対状況を検知する。ここで、物体の位置とは、自車両Ｖを基準としたときに物体が存在する位置（すなわち相対位置）を表す。また、自車両Ｖに対する物体の相対状況とは、自車両Ｖに対する物体の相対的な状況を表す。自車両Ｖに対する物体の相対状況とは、例えば、自車両Ｖと物体との相対速度、自車両Ｖと物体との相対距離、自車両Ｖと物体との衝突余裕時間（TTC：Time To Collision）、自車両Ｖと物体とが干渉する可能性（確率）等であってもよい。
本実施形態において、物体検知部２１は、一例として、検知した物体に対して物体ＩＤを付し、この物体ＩＤと、認識した物体の種別と、検知した相対状況とを互いに対応付ける。物体検知部２１は、検知した物体毎（物体ＩＤ毎）に、物体を追跡しながら検知する。なお、この物体ＩＤは、物体検知部２１以外の報知ＥＣＵ２０の各構成要素でも引き継いで使用されている。報知装置１００は、物体検知部２１が付した物体ＩＤ毎に報知を行う。
自車両運動決定部２２は、自車両Ｖの進路を算出する。本実施形態において、自車両運動決定部２２は、自車両Ｖの進路として、自動運転ＥＣＵ１０で生成された進路を用いる。なお、自車両運動決定部２２は、自動運転ＥＣＵ１０から進路を取得することに限定されず、自動運転ＥＣＵ１０と同様の処理を行うことによって進路を算出してもよい。自車両運動決定部２２が算出（取得）する進路は、上述したように、自車両Ｖの経路及び車速プロファイルを含んでいる。自車両運動決定部２２が算出する進路は、経路として絶対座標を含み、更に自車両Ｖの方位を含んでいてもよい。
干渉判定部２３は、物体検知部２１で検知された物体が自車両Ｖと干渉する可能性があるか否かを判定する。例えば、干渉判定部２３は、自車両Ｖが進路に基づいて走行した場合に、干渉する可能性が予め定められた閾値よりも大きい物体を、干渉する可能性がある物体として判定することができる。
ここでは、干渉判定部２３は、例えば、物体検知部２１で検知された物体が他車両等の移動する物体である場合、物体の位置の変化に基づいて物体の位置を予測する。そして、干渉判定部２３は、予測した物体の位置と自車両運動決定部２２で算出された自車両Ｖの進路とに基づいて、物体が自車両Ｖと干渉する可能性があるか否かを判定してもよい。また、干渉判定部２３は、例えば、物体検知部２１で検知された物体がポール等の移動しない物体である場合、検知された物体の位置と自車両運動決定部２２で算出された自車両Ｖの進路とに基づいて、物体が自車両Ｖと干渉する可能性があるか否かを判定してもよい。以下、干渉判定部２３によって判定された干渉する可能性のある物体を「干渉物体」という。
なお、干渉判定部２３は、経路及び車速プロファイルを含む進路に基づいて、干渉の可能性を判定した。これに限定されず、干渉判定部２３は、自車両Ｖが走行する経路に基づいて、物体検知部２１で検知された物体が干渉する可能性があるか否かを判定してもよい。
変動検知部２４は、干渉判定部２３で判定された干渉物体に変動があるか否かを検知する。ここで、干渉物体に変動（例えば、車両のブレーキ又はアクセルによる速度変化、車両のステアリング操作による方位変化、歩行者の急な飛び出し等）がある場合、自車両Ｖとの干渉の可能性が高まることがある。このため、報知装置１００は、変動がある干渉物体についての情報を運転者に報知することにより、効果的な報知が可能となる。具体的には、変動検知部２４は、干渉物体の生成（発生）又は消滅、干渉物体の分離又は縮退、干渉物体の大きさ又は形状の変化、干渉物体の位置又は自車両Ｖに対する方位の変化、干渉物体の種別の変化、自車両Ｖと干渉物体との干渉の可能性の変化、干渉物体の予測される運動の変化、物体検知部２１における干渉物体の検知の信頼度の変化等に基づいて、干渉物体の変動を検知する。なお、変動検知部２４が検知する干渉物体の変動には、干渉物体自体の速度等が変化したことに加え、外部センサ４の検出結果に基づいて物体検知部２１が行う物体の検知の揺らぎ（誤差）に起因する変動も含む。
仮想音源設定部２５は、物体検知部２１で検知された物体の位置に基づいて、運転者の周囲に仮想音源を設定する。なお、本実施形態において、仮想音源設定部２５は、物体検知部２１で検知された物体のうち、変動検知部２４において変動が検知された（変動がありと検知された）干渉物体の位置に基づいて、運転者の周囲に仮想音源を設定する。また、仮想音源設定部２５は、変動が検知された干渉物体が複数存在する場合、干渉物体毎に仮想音源をそれぞれ設定する。
本実施形態において、仮想音源設定部２５は、運転者の周囲に設定する仮想音源の位置として、変動が検知された干渉物体の位置を用いる。すなわち、運転者から見た場合、変動が検知された干渉物体が存在する方向と、仮想音源の方向とが一致している。
音出力制御部２６は、仮想音源設定部２５で設定された仮想音源及び物体検知部２１で検知された相対状況に基づいて、相対状況に応じた報知音が設定された仮想音源の方向から到来したと運転者に認識されるように、音出力部６から報知音を出力させる。すなわち、音出力制御部２６は、変動が検知された干渉物体の存在する方向及び相対状況を示すベクトル型の情報を、報知音を用いて報知する。
また、音出力制御部２６は、相対状況に応じた報知音として、例えば、音量（振幅）、周波数、及び音のテンポの少なくともいずれかを相対状況に応じて決定し、決定した音量等の報知音を音出力部６から出力させる。
なお、音出力制御部２６は、運転者の周囲に仮想音源が複数設定されている場合、設定された各仮想音源の方向からそれぞれの報知音が到来したと運転者に認識されるように、音出力部６から各仮想音源についての報知音を出力させる。すなわち、音出力制御部２６は、各仮想音源についての報知音が合成された状態となるように、音出力部６から各報知音を出力させる。
ここで、上述したように、報知装置１００は、音場合成による方法を用いる等、種々の方法を用いて、設定された仮想音源の方向から報知音が到来したと運転者に認識されるように、報知音を出力させることができる。音出力制御部２６は、用いられる方法に応じて音出力部６を制御することにより、設定された仮想音源の方向から到来したと運転者に認識されるように音出力部６から報知音を出力させる。
本実施形態において、一例として、音出力制御部２６は、音響信号を生成し、生成した音響信号を音出力部６に入力することによって報知音を出力させる。具体的には、音出力制御部２６は、設定された仮想音源及び相対状況に基づく報知音を出力するための物体音響信号を生成する。仮想音源が複数設定されている場合、音出力制御部２６は、物体音響信号を、報知音毎（仮想音源毎）に生成する。音出力制御部２６は、物体音響信号に基づいて、音出力部６を制御するための音響信号を生成する。仮想音源が一つのみ設定されている場合、音出力制御部２６は、生成された物体音響信号を音響信号として用いる。仮想音源が複数設定されている場合、音出力制御部２６は、仮想音源毎に生成された複数の物体音響信号を合成して、音響信号を生成する。音出力制御部２６は、生成した音響信号を音出力部６に入力することによって、音出力部６から報知音を出力させる。仮想音源が一つのみ設定されている場合、報知音が一つのみ出力される。仮想音源が複数設定されている場合、複数の報知音が合成された状態で音出力部６から出力される。
これにより、報知装置１００は、変動が検知された干渉物体の存在する方向及び相対状況を、報知音を用いて運転者に報知できる。また、報知装置１００は、変動が検知された干渉物体が複数存在する場合であっても、各干渉物体について、干渉物体の存在する方向及び相対状況を、合成された報知音を用いて運転者に報知できる。
なお、仮想音源が設定された干渉物体とは、干渉判定部２３において自車両Ｖと干渉する可能性があると判定された物体である。すなわち、音出力制御部２６は、干渉判定部２３によって自車両Ｖと干渉する可能性があると判定された物体について報知音を出力させ、干渉判定部２３によって自車両Ｖと干渉する可能性が無いと判定された物体について報知音を出力させない。
なお、報知装置１００は、上述した音場合成による方法及び頭部伝達関数を用いる方法等を用いる場合、設定された仮想音源の位置から到来したと運転者に認識されるように、報知音を出力することができる。この場合、音出力制御部２６は、設定された仮想音源の方向のみならず、仮想音源の位置から到来したと運転者に認識されるように、音出力部６から報知音を出力してもよい。これにより、報知音を聞いた運転者は、仮想音源の位置（仮想音源の方向、及び仮想音源までの距離）を認識できる。
発光制御部２７は、物体検知部２１で検知された物体の相対状況に基づいて、光報知部７を発光させる。すなわち、発光制御部２７は、相対状況を示すスカラー型の情報を、光報知部７の発光を用いて報知する。本実施形態において、発光制御部２７は、光報知部７を用いた情報の報知を行う対象の物体として、物体検知部２１で検知された物体のうち、干渉判定部２３で判定された干渉物体を用いる。更に、本実施形態において、発光制御部２７は、光報知部７を用いた情報の報知を行う対象の物体として、干渉判定部２３で判定された干渉物体のうち、変動検知部２４において変動が検知された（変動がありと検知された）干渉物体を用いる。
なお、変動が検知された干渉物体が複数存在する場合、発光制御部２７は、変動が検知された複数の干渉物体のうち、予め定められた選択条件に基づいて選択された一つの干渉物体を、光報知部７を用いた情報の報知を行う対象の物体として用いる。本実施形態において、発光制御部２７は、予め定められた選択条件として、自車両Ｖとの干渉の可能性を用いる。この場合、具体的には発光制御部２７は、変動が検知された複数の干渉物体のうち、自車両Ｖとの干渉の可能性が最も高い干渉物体の相対状況に基づいて、光報知部７を発光させる。
発光制御部２７は、相対状況に応じて光報知部７を発光させることとして、相対状況に応じた発光態様で光報知部７を発光させる。例えば、発光制御部２７は、自車両Ｖとの干渉の可能性に応じて、光報知部７の発光の色又は輝度等を変更してもよい。例えば、発光制御部２７は、干渉の可能性が低い場合には光報知部７を緑色で発光させ、干渉の可能性が高い場合には光報知部７を赤色で発光させてもよい。
これにより、報知装置１００は、変動が検知された干渉物体の相対状況を、光報知部７の発光を用いて運転者に報知できる。また、報知装置１００は、変動が検知された干渉物体が複数存在する場合、自車両Ｖと干渉する可能性が最も高い干渉物体についての相対状況を、光報知部７の発光を用いて運転者に報知できる。
次に、報知装置１００における報知音及び光報知部７の発光を用いた情報の報知の具体例について説明する。図３に示されるように、例えば、自車両Ｖは、車線Ｒ１，Ｒ２，Ｒ３を有する道路Ｒの車線Ｒ２上を走行している。自車両Ｖの右斜め前方において、車線Ｒ３上を他車両Ｗ１が走行している。他車両Ｗ１よりも更に前方において、車線Ｒ２上を他車両Ｗ２が走行している。自車両Ｖの左斜め前方において道路Ｒの左側の路側にいる歩行者Ｈが、道路Ｒを横断しようとしている。
この場合、物体検知部２１は、他車両Ｗ１、他車両Ｗ２、及び歩行者Ｈの位置及び相対状況を検知する。歩行者Ｈは、道路Ｒを横断しようとしている。このため、干渉判定部２３は、歩行者Ｈを干渉物体と判定する。変動検知部２４は、例えば、自車両Ｖと歩行者Ｈとの干渉の可能性が変化した（高くなった）ため、歩行者Ｈに変動がありと検知する。すなわち、図３に示される例において、報知音及び光報知部７の発光を用いた報知の対象となる物体は、歩行者Ｈのみとする。
このため、仮想音源設定部２５は、歩行者Ｈの位置に仮想音源を設定する。音出力制御部２６は、相対状況に応じた報知音が設定された仮想音源の方向（歩行者Ｈの方向）から到来したと運転者に認識されるように、音出力部６から報知音を出力させる。このように、音出力制御部２６は、設定された仮想音源及び相対状況に基づいて音出力部６から報知音を出力させることにより、聴覚刺激によって歩行者Ｈが存在する方向及び相対状況を報知できる。
一方、発光制御部２７は、歩行者Ｈの相対状況に応じて光報知部７を発光させることにより、視覚刺激によって歩行者Ｈの相対状況を自車両Ｖの運転者に報知する。例えば、光報知部７は、画像を表示可能なディスプレイとする。また、この光報知部７は、例えば、図４に示されるように、自車両Ｖの外部状況を上方から見た場合の画像を表示している。この場合、発光制御部２７は、歩行者Ｈの相対状況として、例えば歩行者Ｈが横断を開始した場合の衝突余裕時間を光報知部７に表示させてもよい。例えば、発光制御部２７は、この相対状況として、衝突余裕時間に応じた長さ及び色の棒状のマーカＭＫ１を光報知部７に表示させてもよい。
このように、報知装置１００は、聴覚刺激及び視覚刺激を用いて、自車両Ｖの運転者に歩行者Ｈの情報を報知できる。
次に、図５に示されるように、図３に示される状態から他車両Ｗ１がブレーキを掛けながら急激に車線Ｒ２上の自車両Ｖの前方に割り込もうとしている場合について説明する。この場合、干渉判定部２３は、歩行者Ｈ及び他車両Ｗ１を干渉物体と判定する。変動検知部２４は、例えば、自車両Ｖと他車両Ｗ１との干渉の可能性が変化した（高くなった）ため、歩行者Ｈに加えて、更に他車両Ｗ１に変動がありと検知する。すなわち、図５に示される例において、報知音及び光報知部７の発光を用いた報知の対象となる物体は、歩行者Ｈ及び他車両Ｗ１となる。
このため、仮想音源設定部２５は、歩行者Ｈの位置に加え、他車両Ｗ１の位置に仮想音源を設定する。すなわち、仮想音源設定部２５は、歩行者Ｈ用の仮想音源と、他車両Ｗ１用の仮想音源とを設定する。音出力制御部２６は、設定された各仮想音源の方向からそれぞれの報知音が到来したと運転者に認識されるように音出力部６から報知音を出力させる。すなわち、音出力制御部２６は、歩行者Ｈ用の報知音を出力することに加え、他車両Ｗ１の方向から、他車両Ｗ１の相対状況に応じた報知音が到来したと運転者に認識されるように他車両Ｗ１用の報知音を音出力部６から出力させる。このように、音出力制御部２６は、歩行者Ｈ用の報知音に加えて他車両Ｗ１用の報知音を出力することによって、歩行者Ｈが存在する方向及び相対状況と他車両Ｗ１が存在する方向及び相対状況とを聴覚刺激によってそれぞれ報知できる。
一方、発光制御部２７は、歩行者Ｈ及び他車両Ｗ１のうち、最も干渉の可能性が高い物体を選択する。本実施形態において、発光制御部２７は、自車両Ｖに近い他車両Ｗ１を干渉の可能性が高い物体として選択する。そして、発光制御部２７は、他車両Ｗ１の相対状況に応じて光報知部７を発光させることにより、視覚刺激によって他車両Ｗ１の相対状況を自車両Ｖの運転者に報知する。具体的には、例えば、発光制御部２７は、他車両Ｗ１の相対状況として、自車両Ｖと他車両Ｗ１との衝突余裕時間を光報知部７に表示させてもよい。例えば、発光制御部２７は、この相対状況として、図６に示されるように、衝突余裕時間に応じた長さ及び色の棒状のマーカＭＫ２を光報知部７に表示させてもよい。図６に示される例では、図４に示される例に比べて自車両Ｖと他車両Ｗ１との衝突余裕時間が短いため、マーカＭＫ２の長さが短くなっている。また、例えば、発光制御部２７は、図６に示される例においてはマーカＭＫ２の色を赤色とし、図４に示される例においてはマーカＭＫ１の色を緑色としていもよい。
このように、報知装置１００は、聴覚刺激を用いて歩行者Ｈ及び他車両Ｗ１の情報を自車両Ｖの運転者に報知できる共に、視覚刺激を用いて自車両Ｖの運転者に他車両Ｗ１の情報を報知できる。
従って、図３に示される状態から図５に示されるように他車両Ｗ１が自車両Ｖの前方に割り込んできた場合、報知装置１００は、報知音を用いた聴覚刺激によって歩行者Ｈの存在を継続的に報知しつつ、新たに生じた他車両Ｗ１の干渉の可能性を聴覚刺激及び視覚刺激を用いて報知できる。これにより、自車両Ｖの運転者は、他車両Ｗ１の行動の変化に驚いて左方向にハンドル操作を行うといった歩行者Ｈとの干渉の可能性を高める不適切な行動ではなく、ブレーキ操作を用いて他車両Ｗ１との干渉を回避する動作を選択し易くなる。
ここで、視覚刺激によって他車両Ｗ１に関する情報を報知すると、運転者は、「注意性盲目」によって歩行者Ｈの存在を忘れてしまい、他車両Ｗ１だけに注意を向けてしまう傾向がある。なお、注意性盲目とは、注意を向けていないものについては存在しないという認知の傾向をいう。これにより、運転者は、注意を向けている他車両Ｗ１との干渉を避けるため、左方向に歩行者Ｈがいるにも関わらず左方向にハンドル操作を行ってしまい易くなる。この注意性盲目による運転者の行動は、視覚刺激をヘッドアップディスプレイ等を用いて行っても、ＥＬディスプレイ等に鳥瞰画像が表示されているところに他車両Ｗ１を強調する表示を行っても、避けることが困難な運転者の反応である。また、２つの視覚刺激（ここでは、他車両Ｗ１と歩行者Ｈの視覚刺激）を同時に提示しても、知覚上は一つが知覚されるだけであり、更にはその一つの視覚刺激を選択するプロセスによって運転者の反応が遅れるということが生じ得る。
これに対し、聴覚刺激を用いて物体の情報を報知する方法は、視覚刺激を用いて報知を行う場合と比較して、運転者の注意性盲目を抑制できる。このため、本実施形態の報知装置１００は、聴覚刺激を用いた報知を行うことにより、注意性盲目を抑制しつつ物体の情報を報知できる。上述した図５に示される例では、自車両Ｖの運転者は、聴覚刺激によって歩行者Ｈの存在を継続して認識しつつ、新たに提示された他車両Ｗ１にも気付くことができる。また、本実施形態において、報知装置１００は、聴覚刺激と視覚刺激とを組み合わせて報知している。具体的には、報知装置１００は、干渉の可能性が高い他車両Ｗ１については、聴覚刺激に加えて視覚刺激によっても報知している。これにより、報知装置１００は、運転者が視覚刺激によって他車両Ｗ１に注意を向けたとしても、聴覚刺激によって歩行者Ｈの存在を継続して運転者に認識させることができる。このよう、報知装置１００は、視覚刺激と聴覚刺激とを用いて物体の情報を適切に報知できる。
次に、報知装置１００の報知ＥＣＵ２０において行われる報知処理の流れについて図７のフローチャートを用いて説明する。なお、報知ＥＣＵ２０は、自動運転ＥＣＵ１０による自車両Ｖの自動運転を開始したタイミングで図７に示される報知処理を開始する。但し、図７に示される報知処理は、自動運転制御の開始以外のタイミングで開始されてもよい。また、報知ＥＣＵ２０は、図７に示される報知処理がエンドに至った場合、例えば予め定められた時間経過後に再びスタートから処理を開始する。
図７に示されるように、物体検知部２１は、外部センサ４で検出された外部状況の検出結果に基づいて、自車両Ｖの周囲の物体を検知する（Ｓ１０１）。自車両運動決定部２２は、自車両Ｖの進路を算出する（Ｓ１０２）。干渉判定部２３は、算出された自車両Ｖの進路に基づいて、物体検知部２１で検知された物体が自車両Ｖと干渉する可能性があるか否かを判定する（Ｓ１０３）。
変動検知部２４は、干渉判定部２３において干渉する可能性があると判定された干渉物体について、変動があるか否かを検知する（Ｓ１０４）。そして、報知ＥＣＵ２０は、視覚刺激及び聴覚刺激を用いて、変動が検知された干渉物体についての情報を報知する（Ｓ１０５）。
次に、図７のＳ１０５において行われる視覚刺激を用いた報知処理の流れの詳細について説明する。図８に示されるように、発光制御部２７は、予め定められた選択条件に基づいて、変動が検知された干渉物体のうち報知対象の物体を特定する（Ｓ２０１）。なお、変動が検知された干渉物体が一つである場合、この干渉物体を報知対象の物体として特定する。発光制御部２７は、報知対象として特定された干渉物体の相対状況に応じて光報知部７を発光させる（Ｓ２０２）。
次に、図７のＳ１０５において行われる聴覚刺激を用いた報知処理の流れの詳細について説明する。図９に示されるように、音出力制御部２６は、設定された仮想音源及び相対状況に基づく報知音を出力するための物体音響信号を生成する（Ｓ３０１）。仮想音源が複数設定されている場合、音出力制御部２６は、仮想音源毎に物体音響信号を生成する。音出力制御部２６は、物体音響信号に基づいて、音出力部６を制御するための音響信号を生成する（Ｓ３０２）。仮想音源が一つのみ設定されている場合、音出力制御部２６は、生成された物体音響信号を音響信号として用いる。仮想音源が複数設定されている場合、音出力制御部２６は、仮想音源毎に生成された複数の物体音響信号を合成して、音響信号を生成する。音出力制御部２６は、生成した音響信号を音出力部６に入力することによって、音出力部６から報知音を出力させる（Ｓ３０３）。
以上のように、報知装置１００は、検知された物体の位置に基づいて、運転者の周囲に仮想音源を設定し、仮想音源から到来したと認識されるように報知音を出力する。これにより、運転者は、報知音の到来する方向に基づいて、物体が存在する方向を認識できる。また、報知装置１００は、相対状況に応じた報知音を出力する。これにより、運転者は、報知音に基づいて相対状況を認識できる。このように、報知装置１００は、物体の位置に基づく情報と相対状況とを報知音によって報知できる。従って、報知装置１００は、自車両Ｖの周囲の物体の情報を運転者に対して適切に報知できる。
音出力制御部２６は、干渉判定部２３によって自車両Ｖと干渉する可能性があると判定された物体について報知音を出力させ、干渉する可能性が無いと判定された物体について報知音を出力させない。この場合、報知装置１００は、自車両Ｖと干渉する可能性がないために報知の必要性の低い物体については報知せず、自車両Ｖと干渉する可能性があるために報知の必要性の高い物体についてのみ報知を行うことができる。
報知装置１００は、音出力部６及び光報知部７を備えている。これにより、報知装置１００は、音出力部６から出力される報知音と光報知部７の発光とを用いて、自車両Ｖの周囲の物体の情報を運転者に報知できる。また、報知装置１００は、光報知部７の発光等に運転者の注意が引き付けられたとしても、報知音を用いて報知される物体についても運転者の注意を引き付けることができる。
（報知の種々の具体例）
ここで、第１実施形態において仮想音源設定部２５は、変動が検知された干渉物体の位置に仮想音源を設定した。仮想音源の設定方法は、報知音による報知に期待する効果等に応じて種々の設定方法が採用され得る。以下、仮想音源の設定方法と共に、報知音を用いた報知の種々の具体例を説明する。
報知装置１００は、報知音を用いて、（ａ）干渉物体等の情報を運転者に報知する、（ｂ）運転者の注意誘導を行う、ことができる。以下、これらの（ａ）及び（ｂ）について、図１０に示される場面を用いて具体的に説明する。なお、図１０には、隣接車線を走行する他車両Ｗ（干渉物体）が自車両Ｖを追い越して自車両Ｖの走行車線に進入する場面が示されている。
（ａ）干渉物体等の情報を運転者に報知する
干渉物体等の情報を運転者に報知する方法として、例えば、上述した第１実施形態のように仮想音源の位置（方向）を他車両Ｗの位置（方向）と一致させる方法がある。ここで、図１１には、破線によって、各時刻における他車両Ｗの位置Ｗａが示されている。この他車両Ｗの位置Ｗａは、図１０に示されるように他車両Ｗが走行した場合の各時刻における位置である。なお、図１０及び図１１において、自車両Ｖが走行する道路の車線幅方向をｘ軸とする。すなわち、図１１に示される他車両Ｗの位置Ｗａは、他車両Ｗの車線幅方向の位置の変化を示している。また、図１１において、合流位置とは、他車両Ｗが自車両Ｖの走行車線に合流するときのｘ軸方向の位置（予測位置）である。この場合、例えば、仮想音源設定部２５は、他車両Ｗの位置Ｗａの変化に沿って、図１１において矢印で示される仮想音源の動きＰ１のように仮想音源を移動させる。このようにして設定された仮想音源に基づいて報知を行うことで、報知装置１００は、報知音を用いて他車両Ｗの位置を報知できる。
また、他の方法として、他車両Ｗの経路を予測し、現在の他車両Ｗの位置（方向）から他車両Ｗの未来の予測位置（予測方向）に向けて仮想音源を移動させる方法がある。他車両Ｗの未来の予測位置は、例えば、物体検知部２１で検知された他車両Ｗの位置の変化に基づいて予測され得る。この場合、例えば、仮想音源設定部２５は、図１１において矢印で示される仮想音源の動きＰ２のように、現在の他車両Ｗの位置から他車両Ｗの未来の予測位置に向けて仮想音源を移動させる。図１１に示される例において、他車両Ｗの未来の予測位置は、他車両Ｗが自車両Ｖの走行車線に合流する位置（合流位置）となっている。この場合、仮想音源が他車両Ｗの予測位置（予測方向）に向けて移動する速度は、実際の他車両Ｗの移動速度よりも速い。また、仮想音源設定部２５は、仮想音源の移動を、図１１に示される仮想音源の動きＰ２のように、他車両Ｗが自車両Ｖの走行車線へと移動している間、繰り返し行ってもよく、一度だけ行ってもよい。このようにして設定された仮想音源に基づいて報知を行うことで、報知装置１００は、報知音を用いて他車両Ｗの予測位置を報知できる。
このように、（ａ）干渉物体等の情報を運転者に報知するいずれの方法においても、自車両Ｖの運転者から見た場合における仮想音源の位置（方向）は、他車両Ｗの現在又は未来の存在位置（方向）と一致している。
（ｂ）運転者の注意誘導を行う
運転者の注意誘導として、報知装置１００は、運転者の視線誘導を行う。運転者の視線を誘導する方法として、例えば、現時点の運転者の視線方向を始点とし、他車両Ｗの位置を終点として仮想音源を移動させる方法がある。ここで、図１２には、実線によって、各時刻における運転者の視線方向Ｄａが示されている。この場合、仮想音源設定部２５は、図１２において矢印で示される仮想音源の動きＰ３のように、現時点の視線方向Ｄａから他車両の位置Ｗａに向けて仮想音源を移動させる。また、仮想音源設定部２５は、仮想音源の移動を、図１２に示される仮想音源の動きＰ３のように、運転者の視線方向が他車両Ｗの方向に一致するまで繰り返し行ってもよく、一度だけ行ってもよい。また、運転者の現時点の視線方向は、例えば、運転者を撮像する車内カメラ等で計測して得られた方向であってもよく、予め定められた方向（例えば、正面を向いていると仮定する）であってもよい。このようにして設定された仮想音源に基づいて報知を行うことで、報知装置１００は、報知音を用いて運転者の注意を他車両Ｗに引き付けることができる。
（報知の場面の具体例）
次に、報知装置１００が報知音を用いて報知を行う場合の具体的な場面について説明する。報知装置１００が報知音を用いた報知を行う場面としては、例えば、周囲の干渉物体の種別と、自車両Ｖ及び他車両の運動とに応じて以下の３種類の場面に区分けされる。
（場面１）周囲の動的な干渉物体が自車両Ｖと干渉する場合。（例えば、他車両が車線変更をする場合。）
（場面２）周囲の静的な干渉物体が自車両Ｖと干渉する場合。
（場面３）自車両Ｖが周囲の物体と干渉する場合。（例えば、自車両Ｖが車線変更をする場合）。
以下、上記の（場面１）〜（場面３）毎に、報知音を用いて（ａ）干渉物体等の情報を運転者に報知する場合及び（ｂ）運転者の注意誘導を行う場合における各報知の具体例について説明する。なお、以下では、仮想音源の移動を例示するが、仮想音源は以下で例示する以外の移動を行ってもよい。
（場面１）周囲の動的な干渉物体が自車両Ｖと干渉する場合
まず、上記の（場面１）において、（ａ）干渉物体等の情報を運転者に報知する場合の報知の具体例について説明する。なお、場面１における周囲の動的な干渉物体が自車両Ｖと干渉する場合として、種々の場面が想定される。以下では、場面１の想定される種々の場面ごとに、（ａ）干渉物体等の情報を運転者に報知する場合の報知の具体例について説明する。
（場面１−１−ａ）並走車両が進路変更する場合
上記の場面１として、図１０に示されるように、自車両Ｖに並走する他車両Ｗ（干渉物体）が自車両Ｖの前方に進路変更する（他車両Ｗが右側から割り込んでくる）場合がある。この場合、仮想音源設定部２５は、仮想音源を他車両Ｗの動きに合わせて（右から左に）動かすことで、他車両Ｗの位置を自車両Ｖの運転者に報知する。この報知を実現する方法として、他車両Ｗの動きをそのまま提示する方法と、他車両Ｗの動きを予測して提示する方法とがある。
他車両Ｗの動きをそのまま提示する方法とは、他車両Ｗの位置を伝える方法である。他車両Ｗの動きをそのまま提示する場合、仮想音源設定部２５は、図１１に示されるように、他車両Ｗの位置Ｗａの変化に沿って、仮想音源を仮想音源の動きＰ１のように移動させる。また、他車両Ｗの動きを予測して提示する方法では、未来の予測位置を伝える方法である。他車両Ｗの動きを予測して提示する場合、仮想音源（音）の位置と、他車両Ｗの位置とが異なっている。他車両Ｗの動きを予測して提示する場合、仮想音源設定部２５は、図１１に示される仮想音源の動きＰ２のように、仮想音源を他車両Ｗの予測位置へ向けて移動させる。
（場面１−２−ａ）他車両が合流する場合
上記の場面１として、図１３に示されるように、自車両Ｖに並走する他車両Ｗ（干渉物体）が自車両Ｖの走行車線に合流してくる場合がある。この場合、仮想音源設定部２５は、予測した他車両Ｗの経路Ｗｂに沿って仮想音源を動かすことで、運転者に他車両Ｗの予測進路を報知する。この報知を実現する方法として、上述した「（場面１−１−ａ）並走車両が進路変更する場合」と同様に、他車両Ｗの動きをそのまま提示する方法と、他車両Ｗの動きを予測して提示する方法とがある。他車両Ｗの動きをそのまま提示する場合、仮想音源設定部２５は、図１３に示されるように、他車両Ｗの位置の変化に沿って、仮想音源を仮想音源の動きＰ４のように移動させる。他車両Ｗの動きを予測して提示する場合、仮想音源設定部２５は、仮想音源の動きＰ５のように、仮想音源を他車両Ｗの予測位置へ向けて移動させる。
他の例として、仮想音源設定部２５は、図１４に示される仮想音源の動きＰ６のように、複数個の仮想音源を他車両Ｗに収束するように移動させる。また、仮想音源設定部２５は、図１４に示される仮想音源の動きＰ７のように、複数個の仮想音源を合流地点Ｘ（予測の合流地点）に収束するように移動させる。これにより、報知装置１００は、自車両Ｖの運転者に、他車両Ｗの位置又は合流地点Ｘを報知音を用いて報知できる。
（場面１−３−ａ）前方の他車両に接近する場合
上記の場面１として、前方の他車両（干渉物体）に自車両Ｖが接近する場合がある。この場合、仮想音源設定部２５は、仮想音源を、前方の奥側から手前側に近づける。また、この場合、音出力制御部２６は、例えば上述した音場合成による方法又は頭部伝達関数を用いる方法によって、設定された仮想音源の位置から到来したと運転者に認識されるように、報知音を出力する。これにより、報知装置１００は、自車両Ｖが前方の他車両に接近していることを報知できる。
（場面１−４−ａ）前方の他車両が発進する場合
上記の場面１として、自車両Ｖの前方に停車していた他車両（干渉物体）が発進する場合がある。この場合、仮想音源設定部２５は、仮想音源を、手前側から奥側に遠ざける。この場合、音出力制御部２６は、例えば上述した音場合成による方法又は頭部伝達関数を用いる方法によって、設定された仮想音源の位置から到来したと運転者に認識されるように、報知音を出力する。これにより、報知装置１００は、前方の他車両の位置が変化（発進）したことを報知できる。
なお、上述した（場面１−１−ａ）〜（場面１−４−ａ）において報知音が出力されている際に、干渉判定部２３によって干渉物体の状態が定常になった（変動が無くなった）と判定されることがある。この場合、音出力制御部２６は、報知音の音量、周波数、又はテンポを下げることで、報知音を用いた報知の使用感覚を向上させる又は運転者の注意レベルを引き下げてもよい。これにより、報知装置１００は、より注目すべき干渉物体（障害物）に運転者の注意を向け易くすることができる。なお、音出力制御部２６が音場合成もしくは頭部伝達関数を用いた方法によって報知音を出力する場合、仮想音源設定部２５により設定される仮想音源の位置はそのままにして、仮想音源から発せられる報知音の音量、周波数、及びテンポの少なくともいずれかを下げることで同様の効果が得られる。
次に、上記の（場面１）において、（ｂ）運転者の注意誘導を行う報知の具体例について説明する。以下、場面１の種々の場面ごとに、（ｂ）運転者の注意誘導を行う報知の具体例について説明する。
（場面１−１−ｂ）並走車両が進路変更する場合
上記の場面１として、図１０に示されるように、自車両Ｖに並走する他車両Ｗ（干渉物体）が自車両Ｖの前方に進路変更する場合がある。この場合、仮想音源設定部２５は、図１２に示される仮想音源の動きＰ３のように、自車両Ｖの運転者の視線方向Ｄａから他車両の位置Ｗａに向けて仮想音源を移動させる。このようにして、報知装置１００は、自車両Ｖの運転者の注意を並走する他車両Ｗの位置に引き付けることができる。
（場面１−２−ｂ）他車両が合流する場合
上記の場面１として、図１５に示されるように、自車両Ｖに並走する他車両Ｗ（干渉物体）が自車両Ｖの走行車線に合流してくる場合がある。この場合、仮想音源設定部２５は、仮想音源の動きＰ８のように、現時点の視線方向Ｄａから他車両Ｗに向けて仮想音源を移動させる。また、仮想音源設定部２５は、仮想音源の動きＰ９のように、現時点の視線方向Ｄａから他車両Ｗの合流地点Ｘに向けて仮想音源を移動させる。仮想音源設定部２５は、これらの仮想音源の移動を、運転者の視線方向が他車両Ｗ又は合流地点Ｘの方向に一致するまで繰り返し行ってもよく、一度だけ行ってもよい。このように、報知装置１００は、仮想音源を移動させることによって、運転者の注意を他車両Ｗ又は合流地点Ｘに引き付けることができる。
なお、音出力制御部２６は、合流する他車両Ｗとの距離が短くなるにつれて、音量、周波数、又はテンポを上げることによって、自車両Ｖの運転者の注意をより引き付けるようにしてもよい。
また、仮想音源設定部２５は、図１６に示される仮想音源の動きＰ１０のように、自車両Ｖの運転者の視線方向から、予測した他車両Ｗの経路Ｗｂに向けて仮想音源を移動させてもよい。これにより、報知装置１００は、運転者の注意を合流する他車両Ｗに向けることができる。なお、音出力制御部２６は、移動する仮想音源の合流側の音量を上げる又は下げることによって、合流する方向に向けて運転者の注意を引き付けてもよい。また、音出力制御部２６は、上述した（場面１−１−ａ）〜（場面１−４−ａ）の場合と同様に、干渉判定部２３によって干渉物体の状態が定常になった（変動が無くなった）と判定された場合、報知音の音量、周波数、又はテンポを下げてもよい。
（場面１−３−ｂ）前方の他車両に接近する場合
上記の場面１として、前方の他車両（干渉物体）に自車両Ｖが接近する場合がある。この場合、仮想音源設定部２５は、仮想音源を、前方の奥側から手前側に近づける。または、仮想音源設定部２５は、仮想音源を、ドライバの視線方向から前方の他車両の方向に向けて遠ざけるように移動させる。これらにより、報知装置１００は、自車両Ｖの運転者の注意を前方に向けることができる。
また、前方の他車両に自車両Ｖが接近する場合、音出力制御部２６は、報知音の音量又は周波数を上げる又は下げることによって、自車両Ｖの運転者に注意喚起をしてもよい。
（場面１−４−ｂ）前方の他車両が発進する場合
上記の場面１として、自車両Ｖの前方に停車していた他車両（干渉物体）が発進する場合がある。この場合、仮想音源設定部２５は、仮想音源を、前方の奥側から手前側に近づける。または、仮想音源設定部２５は、仮想音源を、ドライバの視線方向から自車両Ｖの前方に向けて移動させる。これらにより、報知装置１００は、自車両Ｖの運転者の注意を前方に向けることができる。
また、自車両Ｖの前方に停車していた他車両が発進する場合、音出力制御部２６は、報知音の音量又は周波数を上げる又は下げることによって、自車両Ｖの運転者に注意喚起をする、又は注意を前方に向けさせてもよい。
上述した（場面１−１−ｂ）〜（場面１−４−ｂ）において、干渉物体（障害物）が複数存在する場合がある。この場合とは、例えば、図５に示されるように、前方の路側に歩行者が存在し、歩行者よりも手前に他車両が割り込むような場合がある。この場合、音出力制御部２６は、自車両Ｖに近い方の干渉物体に対応する仮想音源の音量、周波数又はテンポを、上げる又は下げてもよい。この場合、報知装置１００は、より干渉の可能性が迫っている干渉物体に運転者の注意を向けさせることができる。また、音出力制御部２６は、自車両Ｖから遠い方の干渉物体に対応する仮想音源の音量、周波数又はテンポを、上げる又は下げることで、注意性盲目によって運転者が遠方の干渉物体を失念してしまうことを抑制できる。
なお、音出力制御部２６は、上述した（場面１）において報知音の音量、周波数、又はテンポを変化させる場合、例えば、図１７及び図１８に示される音量、周波数、又はテンポの波形のうち、適切な方の波形を選択して報知音の音量等を変化させる。これにより、報知装置１００は、報知音を用いた報知の強さ（伝達の強さ）を制御することができる。
（場面２）周囲の静的な干渉物体が自車両Ｖと干渉する場合。
次に、上記の（場面２）における報知の具体例について説明する。場面２においても、報知装置１００は、上述した（ａ）干渉物体等の情報を運転者に報知する方法によって、静的な障害物の情報を報知音を用いて報知することができる。また、報知装置１００は、上述した（ｂ）運転者の注意誘導を行う方法によって、静的な障害物に基づいた運転者の注意誘導を報知音を用いて行うことができる。これらの場合、音出力制御部２６は、動的な干渉物体と静的な干渉物体とで、報知音の音色、音量、周波数、又はテンポを分けてもよい。これにより、報知装置１００は、自車両Ｖの運転者に対して干渉物体が動的であるか静的であるかを報知できる。
なお、場面２においても、上述の場面１において説明したように、音出力制御部２６は、自車両Ｖに近い方の干渉物体に対応する仮想音源の音量、周波数又はテンポを、上げる又は下げてもよい。また、音出力制御部２６は、動的な干渉物体と静的な干渉物体とで、報知音の音量、周波数、又はテンポを分ける場合、例えば、図１７及び図１８に示される音量、周波数、又はテンポの波形のうち、適切な方の波形を選択して報知音の音量等を変化させてもよい。また、音出力制御部２６は、音色についても、予め設定された動的な干渉物体用の音色及び静的な干渉物体用の音色のうち、動的か静的かに応じて適切な方の音色を選択して報知音を出力してもよい。
（場面３）自車両Ｖが周囲の物体と干渉する場合。
例えば、自車両Ｖが車線変更等を行うと、他車両等に干渉することが考えられる。このため、報知装置１００は、自車両Ｖが車線変更等を行う際には、周囲の物体と干渉するか否か等を報知できるとよい。これを実現するため、報知装置１００は、自車両Ｖの動きを報知音を用いて報知することができる。自車両Ｖの動きを報知することにより、報知装置１００は、自車両Ｖの動きと共に、報知された動きに沿って自車両Ｖが走行した場合に周囲の物体と自車両Ｖが干渉するか否か等を報知できる。
ここでは、「（場面３）自車両Ｖが周囲の物体と干渉する場合」の一例として、図１９に示されるように、自車両Ｖが左側の車線に車線変更を行って左側の車線に進入する場合を用いて、報知の具体例について説明する。なお、図１９に示される例は、自車両Ｖが左車線に車線変更しつつ、他車両Ｗ１と他車両Ｗ２との間の合流地点Ｘ（予測の合流地点）に割り込もうとしている場合である。
まず、上記の（場面３）において、（ａ）干渉物体等の情報を運転者に報知する場合の報知の具体例について説明する。なお、ここでは報知装置１００は、干渉物体等の情報として、自車両Ｖが車線変更を行った場合の合流地点Ｘの情報を報知する。
（場面３−ａ）自車両が左側の車線に車線変更する場合
自車両が左側の車線に車線変更する場合、仮想音源設定部２５は、図２０に示されるように、合流地点Ｘに仮想音源Ｐ１１を設定する、又は自車両Ｖよりも合流地点Ｘ側の位置（この例では自車両Ｖの左側）に仮想音源Ｐ１２を設定する。音出力制御部２６は、設定された仮想音源Ｐ１１又はＰ１２に基づいて報知音を出力する。この場合、音出力制御部２６は、上述した干渉物体の相対状況に応じた報知音に代えて、予め定められた合流地点の報知用の報知音を出力してもよい。これにより、報知装置１００は、自車両Ｖの運転者に対して、自車両Ｖが左側の車線に合流する地点（合流地点Ｘ）、又は自車両Ｖが左右のどちら側の車線に合流するか（どちら側が合流地点Ｘであるか）を報知できる。
また、他の方法として、仮想音源設定部２５は、自車両Ｖが車線変更した後に自車両Ｖの前後を走行する他車両の情報を運転者に報知することにより、自車両Ｖの合流地点（自車両Ｖがどの位置に割り込むか）を報知してもよい。具体的には、仮想音源設定部２５は、自車両Ｖの合流後に前方を走行する他車両Ｗ１２又は後方を走行する他車両Ｗ１１に対して、上述した種々の方法によって仮想音源を設定する。音出力制御部２６は、他車両Ｗ１２又はＷ１１に対応する仮想音源の音量、周波数、又はテンポを、上げる又は下げてもよい。これにより、報知装置１００は、報知音の音量等を変えることによって、自車両Ｖの合流地点を報知できる。
更に他の例として、仮想音源設定部２５は、図２１に示されるように、合流地点Ｘの前後に仮想音源を設定し、設定した仮想音源を矢印で示される仮想音源の動きＰ１３又はＰ１４のように移動させる。具体的には、仮想音源設定部２５は、合流地点Ｘの前後に設定した仮想音源を仮想音源の動きＰ１３で示されるように合流地点Ｘに収束させる、又は、合流地点Ｘの前後に設定した仮想音源を仮想音源の動きＰ１４で示されるように合流地点Ｘから発散させる。この場合、音出力制御部２６は、上述した干渉物体の相対状況に応じた報知音に代えて、予め定められた合流地点の報知用の報知音を出力してもよい。このようにして設定された仮想音源に基づいて報知を行うことで、報知装置１００は、報知音を用いて合流地点Ｘの位置を報知できる。
更に他の方法として、仮想音源設定部２５は、合流地点Ｘの前後に仮想音源を設定し、設定した仮想音源の音量、周波数、又はテンポを、上げる又は下げてもよい。これにより、報知装置１００は、報知音の音量等を変えることによって、自車両Ｖの合流地点を報知できる。
次に、上記の（場面３）において、（ｂ）運転者の注意誘導を行う報知の具体例について説明する。なお、ここでは報知装置１００は、自車両Ｖが車線変更を行うときの合流地点Ｘに対して運転者の注意誘導を行う。
（場面３−ｂ）自車両が左側の車線に車線変更する場合
音出力制御部２６は、例えば、自車両Ｖの周囲に設定された仮想音源に基づいて報知音を出力している場合、自車両Ｖの運転者に対して合流側に設けられた音出力部６から出力される報知音の音量を上げる又は下げる。このように、報知装置１００は、合流側の音出力部６から出力される報知音の音量を上げる又は下げることで、合流方向に運転者の注意を向けさせることができる。
他の方法として、仮想音源設定部２５は、図２２に示される仮想音源の動きＰ１５のように、自車両Ｖの運転者の視線方向Ｄａから合流地点Ｘに向けて仮想音源を移動させる。このようにして設定された仮想音源に基づいて報知音を出力することで、報知装置１００は、合流地点Ｘに運転者の注意を向けさせることができる。
なお、場面３においても、音出力制御部２６は、報知音の音量、周波数、又はテンポを分ける場合、例えば、図１７及び図１８に示される音量、周波数、又はテンポの波形のうち、適切な方の波形を選択して報知音の音量等を変化させてもよい。
(第２実施形態)
次に、第２実施形態について説明する。なお、以下の説明では、第１実施形態における報知装置１００と同様の構成要素については同一符号を付して詳細な説明を省略する。以下、第１実施形態との相違点を中心に説明する。
図２３に示されるように、第２実施形態に係る報知装置１００Ａは、報知音を用いて報知を行った干渉物体について、運転者の操作に基づいて報知音を用いた報知を停止させる。ここで、例えば、第１実施形態に係る報知装置１００は、自車両Ｖに干渉しない物体を干渉物体と誤判定し、当該物体について報知する場合がある。具体的には、例えば、報知装置１００は、道路を分離するポール又は道路脇に設置された人形等を歩行者又は車両と誤認識し、これらを干渉物体と誤判定する場合がある。本実施形態に係る報知装置１００Ａは、干渉物体の誤判定を行った場合であっても、運転者の操作に基づいて報知を停止させることができる。
具体的には、報知装置１００Ａが搭載される自車両Ｖには、第１実施形態におけるＧＰＳ受信部１等に加え、入力装置８が更に設けられている。入力装置８は、自車両Ｖの運転者（乗員）によって行われる報知の停止の入力操作を受け付ける機器である。ここで、自車両Ｖの運転者は、報知音を聞いて報知対象の物体を確認する。運転者は、報知が不要（干渉しない物体）と判定した場合、入力装置８を操作することによって報知が不要である旨を報知装置１００Ａに入力する。なお、入力装置８は、例えば、押しボタン型のスイッチであってもよい。
報知装置１００Ａは、音出力部６、光報知部７、及び報知ＥＣＵ２０Ａを備える。報知ＥＣＵ２０Ａは、第１実施形態における報知ＥＣＵ２０と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。
報知ＥＣＵ２０Ａは、機能的には、物体検知部２１、自車両運動決定部２２、対象外設定部２８、干渉判定部２３Ａ、変動検知部２４、仮想音源設定部２５、音出力制御部２６Ａ、発光制御部２７、及び対象外データベース（対象外ＤＢ）２９を備えている。
対象外設定部２８は、運転者による入力装置８の入力操作に基づいて、報知音を用いた報知を行わない物体を設定する。具体的には、例えば、対象外設定部２８は、音出力制御部２６Ａから、報知音を用いた報知を行っている干渉物体の物体ＩＤを取得する。対象外設定部２８は、運転者が入力装置８によって報知の停止を入力すると、音出力制御部２６Ａから取得した干渉物体の物体ＩＤに対して報知が不要であることを示す報知不要信号を付加する。このように、対象外設定部２８は、物体ＩＤに報知不要信号を付加することによって、報知音を用いた報知を行わない物体を設定する。その際、例えば、発光制御部２７は、ディスプレイとしての光報知部７に報知の停止の選択対象となる干渉物体を強調して表示等させることにより、どの干渉物体が報知の停止の選択対象となっているかを運転者に伝えてもよい。
なお、入力装置８は、押しボタン型のスイッチに代えて、例えば、ジョイスティック等の方向の入力も受付可能なスイッチであってもよい。この場合、例えば、対象外設定部２８は、音出力制御部２６Ａが複数の干渉物体について報知音を用いた報知を行っているときに、ジョイスティック等の入力装置８に入力される方向の情報に基づいて、報知を停止する干渉物体（物体ＩＤ）を特定してもよい。その際、例えば、発光制御部２７は、ディスプレイとしての光報知部７に報知の停止の選択対象となる複数の干渉物体を強調して表示等させることにより、運転者による報知の停止の選択操作を補助してもよい。
なお、報知不要信号は、対象外設定部２８によって物体ＩＤに付加された後、対象外設定部２８以外の干渉判定部２３Ａ、変動検知部２４、仮想音源設定部２５、及び音出力制御部２６Ａにおいても引き継いで使用される。
すなわち、干渉判定部２３Ａは、報知不要信号が付加された物体ＩＤに対応する物体について干渉の有無を判定した後、干渉の判定結果と共に当該物体ＩＤに報知不要信号を付加して変動検知部２４に送る。但し、干渉判定部２３Ａは、報知不要信号が物体ＩＤに付加されている場合、当該物体ＩＤが付された物体について干渉の有無の判定を行わずに、当該物体ＩＤに報知不要信号を付加して変動検知部２４に送ってもよい。また、変動検知部２４は、報知不要信号が付加された物体ＩＤに対応する干渉物体について変動の有無を検知した後、検知結果と共に当該物体ＩＤに報知不要信号を付加して仮想音源設定部２５に送る。但し、変動検知部２４は、報知不要信号が物体ＩＤに付加されている場合、当該物体が付された干渉物体についての変動の有無を検知せずに、当該物体ＩＤに報知不要信号を付加して仮想音源設定部２５に送ってもよい。
また、仮想音源設定部２５は、報知不要信号が付加された物体ＩＤに対応する干渉物体に対して仮想音源を設定した後、設定した仮想音源の情報と共に当該物体ＩＤに報知不要信号を付加して音出力制御部２６Ａに送る。但し、仮想音源設定部２５は、報知不要信号が物体ＩＤに付加されている場合、当該物体が付された干渉物体についての仮想音源の設定を行わずに、当該物体ＩＤに報知不要信号を付加して音出力制御部２６に送ってもよい。
音出力制御部２６Ａは、報知音を用いた報知を行う際に、報知音を用いた報知を行わない物体として設定された物体について報知音を出力させない。すなわち、音出力制御部２６Ａは、報知の対象となる干渉物体の物体ＩＤに報知不要信号が付加されている場合、当該干渉物体についての報知を行わない。これにより、報知装置１００Ａは、運転者によって報知が不要と判定された干渉物体についての報知を停止し、不要と判定されていない干渉物体についてのみ報知音を用いて情報を報知できる。従って、報知装置１００Ａは、不要な報知音を出力することを抑制できる。
また、報知装置１００Ａは、運転者によって報知が不要と判定される干渉物体が同じ地点に定常的に存在する場合、定常的に存在する干渉物体についての報知を停止させることができる。これにより、報知装置１００Ａは、定常的に存在する干渉物体（例えば、道路脇に設置された人形等）に対して、報知音を用いて不要な報知を行うことを抑制できる。具体的には、報知装置１００Ａは、運転者によって報知が不要と判定された干渉物体の位置（絶対座標）を記憶し、その位置で検知された干渉物体については、報知音を用いた報知を行わない。
以下、定常的に存在する干渉物体の報知を停止させる処理の一例について詳細に説明する。対象外データベース２９は、運転者によって報知が不要と判定された干渉物体の絶対座標を記憶する。対象外設定部２８は、運転者によって報知が不要と判定された干渉物体の絶対座標を対象外データベース２９に記憶させる。より詳細には、対象外設定部２８は、物体検知部２１から、検知された物体の物体ＩＤ、種別情報、相対位置、及び相対速度を取得する。また、対象外設定部２８は、自車両運動決定部２２から、自車両Ｖの絶対座標及び方位を含む自車両Ｖの進路を取得する。対象外設定部２８は、物体検知部２１及び自車両運動決定部２２から取得したこれらの情報に基づいて、運転者が報知不要として入力した干渉物体の絶対座標を求める。
対象外設定部２８は、求めた絶対座標を対象外データベース２９に記憶させる。また、対象外設定部２８は、対象外データベース２９に絶対座標を記憶させる際に、当該絶対座標が記憶されていない場合には、当該絶対座標に対応付けられた確認カウンタに１を登録する。一方、対象外設定部２８は、対象外データベース２９に絶対座標を記憶させる際に、当該絶対座標が既に記憶されている場合には、当該絶対座標に対応付けられた確認カウンタの値を１つ増やす。これにより、定常的に存在する物体について運転者が報知不要との入力操作を行うごとに、当該物体の絶対座標に対応付けられた確認カウンタの値が増加する。
干渉判定部２３Ａは、物体検知部２１から、検知された物体の物体ＩＤ、種別情報、相対位置、及び相対速度を取得する。また、干渉判定部２３Ａは、自車両運動決定部２２から、自車両Ｖの絶対座標及び方位を含む自車両Ｖの進路を取得する。そして、干渉判定部２３Ａは、取得したこれらの情報に基づいて、物体ＩＤによって指定される物体の絶対座標を算出する。干渉判定部２３Ａは、算出した物体の絶対座標が対象外データベース２９に登録されているか否かを判定する。干渉判定部２３Ａは、算出した物体の絶対座標が対象外データベース２９に登録されている場合、登録されている絶対座標に対応付けられた確認カウンタの値が予め定められた値よりも大きいか否かを判定する。
確認カウンタの値が予め定められた値よりも大きい場合、干渉判定部２３Ａは、物体ＩＤに報知不要信号を付加して変動検知部２４に送る。すなわち、干渉判定部２３Ａは、運転者の入力操作に基づいて対象外設定部２８が報知不要信号を物体ＩＤに付加していない場合であっても、確認カウンタの値に基づいて、物体ＩＤに報知不要信号を付加する。
音出力制御部２６Ａは、報知の対象となる干渉物体の物体ＩＤに報知不要信号が付加されている場合、当該干渉物体についての報知を行わない。これにより、報知装置１００Ａは、定常的に存在する物体（非干渉物体）に対する報知音を用いた不要な報知を、運転者の入力操作がなくても抑制できる。
なお、対象外データベース２９に記憶された絶対座標に対応付けられた確認カウンタの値は、例えば、時間の経過に伴って減少させられてもよい。これにより、報知音を用いた報知が過剰に抑制されることが防止される。
また、物体ＩＤに報知不要信号が付加されている場合であっても、当該物体ＩＤに対応する物体の変動が変動検知部２４において検知された場合、報知不要信号を削除してもよい。これにより、例えば、動かないと運転者が判断した駐車車両が動き出した等の場合に、報知装置１００Ａは当該物体について報知音を用いた報知を行うことができる。
更に、対象外データベース２９と、報知が不要と判定された干渉物体の絶対座標を対象外データベース２９に記憶させる機能部とが、自車両Ｖの外部に設けられたデータセンタ等の外部装置に設けられていてもよい。すなわち、外部装置において、報知が不要と判定された干渉物体の絶対座標を記憶していてもよい。具体的には、例えば、外部装置は、物体検知部２１から、検知された物体の物体ＩＤ、種別情報、相対位置、及び相対速度を通信回線を介して取得する。また、外部装置は、自車両運動決定部２２から、自車両Ｖの絶対座標及び方位を含む自車両Ｖの進路を取得する。更に、外部装置は、対象外設定部２８から、報知不要信号が付加された物体ＩＤを取得する。
外部装置は、取得したこれらの情報に基づいて、上述した対象外設定部２８と同様に、運転者が報知不要として入力した干渉物体の絶対座標を求める。そして外部装置は、求めた絶対座標を外部装置内に設けられた対象外データベースに記憶させてもよい。報知装置１００Ａは、上述した対象外データベース２９に記憶された絶対座標等に代えて、外部装置に記憶された絶対座標等を通信回線を介して取得して使用してもよい。このように、報知が不要と判定された物体の絶対座標は、ネットワークサービスとして提供されてもよい。これにより、少数の車両によって獲得された情報を多数の車両において利用することができる。
その際、報知装置１００Ａから外部装置に送信される情報は、運転者が報知不要として判断した物体の絶対座標のみであってもよい。この場合、報知装置１００Ａから外部装置への通信量を削減することができる。また、運転者によって確認された情報の信頼性を担保するため、運転者又は情報を送信した車両のＩＤも外部装置に送信されて記憶されていてもよい。
(第３実施形態)
次に、第３実施形態について説明する。なお、以下の説明では、第１実施形態における報知装置１００と同様の構成要素については同一符号を付して詳細な説明を省略する。以下、第１実施形態との相違点を中心に説明する。ここで、高度な自動運転システムでは、運転者の車外監視義務が部分的に解除される場合がある。以下では、運転者の車外監視義務が解除された状態から車外監視義務が必要となった場合、運転者の車外監視を報知音を用いて支援する報知装置について説明する。
図２４に示されるように、第３実施形態に係る報知装置１００Ｂは、運転者の車外監視が必要となった場合の支援として、当該要監視物体に対して出力される報知音を要監視物体が存在する方向と運転者の視線方向（顔の向き）とのずれ（ずれ量）に応じて修飾する。これにより、報知装置１００Ｂは、監視が必要な要監視物体に対して運転者の注意を穏やかに向けさせる。また、運転者が非運転行動（Ｗｅｂブラウジング、映画鑑賞、及びテキスティング等）を行うためのセカンドタスクデバイス１２が自車両Ｖに設けられている場合、報知装置１００Ｂは、セカンドタスクデバイス１２を制御することによって、運転者の視線をセカンドタスクデバイス１２から外すように促す。
具体的には、報知装置１００Ｂが搭載される自車両Ｖには、第１実施形態におけるＧＰＳ受信部１等に加え、車内カメラ１１、及びセカンドタスクデバイス１２が更に設けられている。車内カメラ１１は、自車両Ｖの運転者を撮像する撮像機器である。セカンドタスクデバイス１２は、運転者がＷｅｂブラウジング、映画鑑賞、及びテキスティング等の非運転行動を行うための機器（例えばディスプレイ等）である。
報知装置１００Ｂは、音出力部６、光報知部７、及び報知ＥＣＵ２０Ｂを備える。報知ＥＣＵ２０Ｂは、第１実施形態における報知ＥＣＵ２０と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。
報知ＥＣＵ２０Ｂは、機能的には、物体検知部２１、自車両運動決定部２２、干渉判定部２３、変動検知部２４、仮想音源設定部２５、要監視物体検出部３０、視線方向検出部３１、音出力制御部２６Ｂ、発光制御部２７、及びデバイス制御部３２を備えている。
要監視物体検出部３０は、物体検知部２１で検知された物体のうち、運転者によって監視を行うことが必要な要監視物体を検出する。要監視物体検出部３０は、例えば、干渉判定部２３によって判定された干渉の度合いに基づいて、干渉の度合いが予め定められた基準値以上の物体を要監視物体として検出してもよい。また、要監視物体検出部３０は、変動検知部２４によって検知された変動の度合いが予め定められた基準値以上の物体を要監視物体として検出してもよい。
なお、本実施形態では、要監視物体検出部３０によって要監視物体として検出される物体は、干渉判定部２３によって干渉物体として判定され、変動検知部２４において変動が検知され、更に仮想音源設定部２５において仮想音源が設定された物体とする。また、本実施形態において、仮想音源設定部２５は、第１実施形態において説明したように変動が検知された干渉物体の位置に仮想音源を設定する。すなわち、仮想音源設定部２５は、要監視物体検出部３０によって検出された要監視物体の位置に仮想音源を設定する。
視線方向検出部３１は、運転者の視線方向又は運転者の顔の向く方向を運転者視線方向として検出する。本実施形態において、視線方向検出部３１は、車内カメラ１１の撮像画像に基づいて周知の方法によって、運転者視線方向を検出することができる。
音出力制御部２６Ｂは、要監視物体検出部３０によって要監視物体が検出された場合、検出された要監視物体に係る報知音を音出力部６から出力させる。ここでは、音出力制御部２６Ｂは、第１実施形態における音出力制御部２６と同様に、要監視物体の相対状況に応じた報知音が、要監視物体に対して設定された仮想音源の方向から到来したと運転者に認識されるように、音出力部６から報知音を出力させる。更に、音出力制御部２６Ｂは、要監視物体に係る報知音を、図２５に示されるように、要監視物体Ｙの存在する方向ＹＬに対する運転者視線方向Ｄｂのずれαに応じて修飾する。なお、要監視物体Ｙの存在する方向ＹＬとは、運転者Ｄを基準としたときに要監視物体Ｙの存在する方向である。なお、要監視物体Ｙの存在する方向ＹＬとは、上述したように、要監視物体Ｙに係る仮想音源が設定された方向である。また、運転者視線方向Ｄｂとは、視線方向検出部３１によって検出される。
また、音出力制御部２６Ｂは、運転者視線方向のずれに応じて報知音を修飾する場合、例えば報知音の音量、周波数、テンポ、及び音色の各項目のうち、相対状況を示すために用いられていない項目をずれに応じて変化させる。例えば、音出力制御部２６Ｂは、要監視物体の相対状況を報知音の周波数を用いて示している場合、報知音の音量を運転者視線方向のずれに応じて変化させてもよい。なお、以下では、運転者視線方向のずれに応じて音量を変化させることによって、報知音を修飾する場合を例に説明する。
ここで、報知音を修飾することによって要監視物体の存在する方向を運転者に伝えるための技術思想として、例えば、次の２つが考えられる。
第１の技術思想は、要監視物体に係る報知音の音量を運転者が認知できる可能性（確率）に比例させる思想である。すなわち、この技術思想は、報知音の音量が大きくなる方向に、運転者の視線を穏やかに誘導する思想である。この場合、音出力制御部２６Ｂは、例えば、図２６に示されるように、要監視物体の存在する方向に運転者視線方向が近づくにつれて報知音の音量を大きくする。ここでは、音出力制御部２６Ｂは、図２６に示されるように、要監視物体の存在する方向に対する運転者視線方向のずれが予め定められた値よりも小さくなった場合に、ずれが小さくなるに従って報知音の音量を大きくしている。なお、図２６に示されるグラフにおいて、横軸は運転者視線方向を示し、縦軸は報知音の音量を示している。図２７及び図２８においても同様とする。また、図２６では、運転者視線方向が要監視物体の存在する方向と一致するときに、報知音の音量が最大となっている。
第２の技術思想は、要監視物体の存在する方向と運転者視線方向とのずれが大きくなると運転者が要監視物体を見落とす確率が上がるため、見落としの確率に報知音の音量を比例させる思想である。すなわち、この技術思想は、報知音の音量が小さくなる方向に、運転者の視線を穏やかに誘導する思想である。この場合、音出力制御部２６Ｂは、例えば、図２７に示されるように、要監視物体の存在する方向に運転者視線方向が近づくにつれて報知音の音量を小さくする。ここでは、音出力制御部２６Ｂは、図２７に示されるように、ずれが予め定められた値よりも小さくなった場合に、ずれが小さくなるに従って報知音の音量を小さくしている。
ここで、聴覚の方位特定精度は、視覚による方位特定精度よりも低い。また、視覚は、中心窩による高解像度の認知と、周辺視による低解像度の認知の２つの精度を有する。このため、音出力制御部２６Ｂは、図２８に示されるように、要監視物体の存在する方向と運転者視線方向とのずれが大きい場合には第１の技術思想を用いて報知音の音量を修飾し、ずれが小さい場合には第２の技術思想を用いて報知音の音量を修飾してもよい。この場合、運転者が要監視物体の存在する方向（仮想音源の方向）を向くときに、運転者視線方向が要監視物体の存在する方向に近づくにつれて報知音の音量が大きくなり、運転者視線方向が要監視物体の存在する方向に一致したときに報知音が小さく（例えば音量が０）になる。
デバイス制御部３２は、要監視物体検出部３０によって要監視物体が検出された場合、セカンドタスクデバイス１２を制御することによって、運転者の視線をセカンドタスクデバイス１２から外すように促す。例えば、デバイス制御部３２は、セカンドタスクデバイス１２の表示を非運転行動に係るＷｅｂブラウジング等の表示から、要監視物体との干渉度合いを表す表示へと切り替えることで、運転者の視線をセカンドタスクデバイス１２から外すように促してもよい。
このように、報知装置１００Ｂは、要監視物体の存在する方向（仮想音源の方向）と運転者視線方向とのずれに応じた報知音を出力することによって、運転者に対して視線方向（運転者視線方向）がずれていることを報知できる。そして、報知装置１００Ｂは、ずれに応じて修飾された報知音によって、運転者視線方向が要監視物体の存在する方向（仮想音源の方向）を向くように運転者に促すことができる。
なお、本実施形態において仮想音源設定部２５は、変動が検知された干渉物体の位置に仮想音源を設定したが、この構成に限定されない。仮想音源設定部２５は、第１実施形態において報知の種々の具体例として説明したように例えば合流地点等に仮想音源を設定してもよい。この場合、報知装置１００Ｂは、合流地点等に運転者の視線を誘導できる。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記各実施形態等において、報知の対象となる物体は、干渉判定部２３，２３Ａにおいて干渉物体として判定された物体とした。これに限定されず。報知の対象となる物体は、変動検知部２４において変動が検知された物体であってもよい。すなわち、上記各実施形態等において、変動検知部２４は、干渉判定部２３で判定された干渉物体ではなく、物体検知部２１において検出された物体について変動があるか否かを検知する。そして、変動する物体が存在する場合、自車両Ｖとの干渉の有無の判定が行われる前に、変動する物体についての報知が行われてもよい。
また、例えば、上記各実施形態等において、報知の対象となる物体は、変動検知部２４によって変動が検知された物体とした。これに限定されず、報知の対象となる物体は、干渉判定部２３によって干渉がありと判定された物体であってもよい。すなわち、上記各実施形態等において、変動検知部２４は設けられていなくてもよい。
また、例えば、上記各実施形態等において、干渉判定部２３，２３Ａが設けられていなくてもよい。すなわち、報知の対象となる物体は、物体検知部２１で検出された物体としてもよい。
上記各実施形態等において、報知装置１００，１００Ａ，１００Ｂは、自動運転が可能な車両に搭載されることに限定されない。例えば、報知装置１００等は、運転支援が可能な車両、又は手動運転車両に搭載されていてもよい。この場合、報知装置１００の自車両運動決定部２２等は、例えば操舵角及び車速を用いる等、周知の種々の方法を用いて車両の進路を算出してもよい。
また、上記各実施形態等において、光を用いた報知が報知音を用いた報知と共に行われることは必須ではない。すなわち、発光制御部２７及び光報知部７は、設けられていなくてもよい。
６…音出力部、７…光報知部、２１…物体検知部、２３，２３Ａ…干渉判定部、２５…仮想音源設定部、２６，２６Ａ，２６Ｂ…音出力制御部、２７…発光制御部、２８…対象外設定部、３１…視線方向検出部、１００，１００Ａ，１００Ｂ…報知装置、Ｖ…自車両。

Claims (6)

  1. 自車両の運転者に対して、前記自車両の周囲の物体の情報を報知する報知装置であって、
    外部センサの検出結果に基づいて、前記物体の位置及び前記自車両に対する前記物体の相対状況を検知する物体検知部と、
    検知された前記物体の位置に基づいて、前記運転者の周囲に仮想音源を設定する仮想音源設定部と、
    前記運転者に対して報知音を出力する音出力部と、
    設定された前記仮想音源及び前記相対状況に基づいて、前記相対状況に応じた前記報知音が設定された前記仮想音源の方向から到来したと前記運転者に認識されるように、前記音出力部から前記報知音を出力させる音出力制御部と、を備える報知装置。
  2. 前記仮想音源設定部は、検知された前記物体の位置、及び、検知された前記物体の位置に基づいて予測される前記物体の位置の少なくともいずれかに基づいて、前記仮想音源を移動させる、請求項１に記載の報知装置。
  3. 検知された前記物体が前記自車両と干渉する可能性があるか否かを判定する干渉判定部を更に備え、
    前記音出力制御部は、
    前記干渉判定部によって前記自車両と干渉する可能性があると判定された前記物体について前記報知音を出力させ、
    前記干渉判定部によって前記自車両と干渉する可能性が無いと判定された前記物体について前記報知音を出力させない、請求項１又は２に記載の報知装置。
  4. 前記運転者の入力操作に基づいて、前記報知音を用いた報知を行わない前記物体を設定する対象外設定部を更に備え、
    前記音出力制御部は、前記報知音を用いた報知を行わない前記物体として設定された前記物体について前記報知音を出力させない、請求項１〜３のいずれか一項に記載の報知装置。
  5. 前記運転者の視線方向又は前記運転者の顔の向く方向を運転者視線方向として検出する視線方向検出部を更に備え、
    前記音出力制御部は、前記運転者に対する前記仮想音源の方向と前記運転者視線方向とのずれに応じた前記報知音を前記音出力部から出力させる、請求項１〜４のいずれか一項に記載の報知装置。
  6. 前記運転者に対して光を用いて報知を行う光報知部と、
    前記相対状況に応じて前記光報知部を発光させる発光制御部と、を更に備える、請求項１〜５のいずれか一項に記載の報知装置。
JP2018235499A 2018-12-17 2018-12-17 報知装置 Active JP7155991B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018235499A JP7155991B2 (ja) 2018-12-17 2018-12-17 報知装置
US16/708,863 US11492001B2 (en) 2018-12-17 2019-12-10 Notification device
CN201911265029.1A CN111319557B (zh) 2018-12-17 2019-12-11 报告装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018235499A JP7155991B2 (ja) 2018-12-17 2018-12-17 報知装置

Publications (2)

Publication Number Publication Date
JP2020098396A true JP2020098396A (ja) 2020-06-25
JP7155991B2 JP7155991B2 (ja) 2022-10-19

Family

ID=71073317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235499A Active JP7155991B2 (ja) 2018-12-17 2018-12-17 報知装置

Country Status (3)

Country Link
US (1) US11492001B2 (ja)
JP (1) JP7155991B2 (ja)
CN (1) CN111319557B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3722522B1 (en) * 2019-04-11 2024-03-27 Mitsubishi Logisnext Co., Ltd. Control device, control method, and program
US11427146B2 (en) * 2019-07-10 2022-08-30 Pony Ai Inc. Collision protection
JP7294200B2 (ja) * 2020-03-16 2023-06-20 トヨタ自動車株式会社 情報処理装置、車両システム、情報処理方法、およびプログラム
JP7431081B2 (ja) * 2020-03-27 2024-02-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102020110974B3 (de) * 2020-04-22 2021-05-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Simulation eines Geräuschs in einem Kraftfahrzeug und Kraftfahrzeug
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles
US11312300B1 (en) * 2021-01-29 2022-04-26 Toyota Motor Engineering & Manufacturing North America, Inc. Object notification systems for identifying and notifying vehicles of relevant objects
JP7447039B2 (ja) * 2021-03-10 2024-03-11 矢崎総業株式会社 車両用表示装置
US11972682B2 (en) * 2022-09-18 2024-04-30 International Business Machines Corporation Displaying vehicle information to a pedestrian using a visual indicator

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190193A (ja) * 2005-01-07 2006-07-20 Toyota Motor Corp 車両用警報装置
JP2007328603A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用警告装置
JP2009301123A (ja) * 2008-06-10 2009-12-24 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014106786A (ja) * 2012-11-28 2014-06-09 Toyota Motor Corp 車載警報システム
CN205905865U (zh) * 2016-08-05 2017-01-25 黄律丹 基于立体声技术的车用警示系统
JP2017056747A (ja) * 2015-09-14 2017-03-23 三菱電機株式会社 表示制御装置、表示装置および音像位置制御方法
US20180041854A1 (en) * 2016-08-04 2018-02-08 Axel Torschmied Device for creation of object dependent audio data and method for creating object dependent audio data in a vehicle interior

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922245B2 (ja) * 2003-11-20 2007-05-30 日産自動車株式会社 車両周辺監視装置および方法
JP3987057B2 (ja) * 2004-06-14 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置
JP5272489B2 (ja) 2008-04-11 2013-08-28 日産自動車株式会社 車外情報提供装置および車外情報提供方法
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
CN101885309A (zh) * 2009-05-12 2010-11-17 李世雄 汽车辅助视频告警装置
JP4967000B2 (ja) * 2009-06-30 2012-07-04 本田技研工業株式会社 効果音発生装置
JP2013157747A (ja) * 2012-01-27 2013-08-15 Denso Corp 音場制御装置及びプログラム
JP2013198065A (ja) * 2012-03-22 2013-09-30 Denso Corp 音声提示装置
CN104380378A (zh) * 2012-05-31 2015-02-25 丰田自动车株式会社 声源检测装置、噪声模型生成装置、噪声抑制装置、声源方位推定装置、接近车辆检测装置以及噪声抑制方法
JP2014061786A (ja) * 2012-09-21 2014-04-10 Sony Corp 移動体およびプログラム
JP5411976B1 (ja) * 2012-09-21 2014-02-12 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
KR101687825B1 (ko) * 2015-05-18 2016-12-20 현대자동차주식회사 차량 및 그 제어 방법
JP6688656B2 (ja) 2016-03-31 2020-04-28 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20180034951A1 (en) * 2016-07-26 2018-02-01 Bragi GmbH Earpiece with vehicle forced settings
JP6765100B2 (ja) * 2016-08-31 2020-10-07 学校法人早稲田大学 視野外障害物検知システム
US11067996B2 (en) * 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
KR101827700B1 (ko) * 2016-11-01 2018-02-12 현대자동차주식회사 차량 및 그 제어방법
JP6815856B2 (ja) 2016-12-14 2021-01-20 日立オートモティブシステムズ株式会社 先行車両の走行軌跡予測装置及びその搭載車両
US10049686B1 (en) * 2017-02-13 2018-08-14 Bose Corporation Audio systems and method for perturbing signal compensation
US20180322413A1 (en) * 2017-05-08 2018-11-08 T-Mobile Usa, Inc. Network of autonomous machine learning vehicle sensors
EP3633650A4 (en) * 2017-05-31 2020-07-08 Fujitsu Limited DRIVING AID DEVICE, DRIVING AID SYSTEM, AND DRIVING AID METHOD
US10065638B1 (en) * 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
US11210540B2 (en) * 2017-08-17 2021-12-28 Honda Motor Co., Ltd. System and method for providing rear seat monitoring within a vehicle
CN107521407B (zh) * 2017-08-24 2019-07-23 京东方科技集团股份有限公司 一种车辆前照灯控制系统及其控制方法、车辆
US10205428B1 (en) * 2017-10-31 2019-02-12 Toyota Research Institute, Inc. Variable audible-alert device
JP2019086813A (ja) * 2017-11-01 2019-06-06 株式会社デンソー 漫然運転抑制システム
US10846544B2 (en) * 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10882522B2 (en) * 2018-09-13 2021-01-05 Toyota Research Institute, Inc. Systems and methods for agent tracking
US10613219B1 (en) * 2018-10-03 2020-04-07 Ford Global Technologies, Llc Vehicle parking assistance for avoiding contact with garage doors
JP7181503B2 (ja) * 2018-11-22 2022-12-01 トヨタ自動車株式会社 変更操作支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190193A (ja) * 2005-01-07 2006-07-20 Toyota Motor Corp 車両用警報装置
JP2007328603A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用警告装置
JP2009301123A (ja) * 2008-06-10 2009-12-24 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014106786A (ja) * 2012-11-28 2014-06-09 Toyota Motor Corp 車載警報システム
JP2017056747A (ja) * 2015-09-14 2017-03-23 三菱電機株式会社 表示制御装置、表示装置および音像位置制御方法
US20180041854A1 (en) * 2016-08-04 2018-02-08 Axel Torschmied Device for creation of object dependent audio data and method for creating object dependent audio data in a vehicle interior
CN205905865U (zh) * 2016-08-05 2017-01-25 黄律丹 基于立体声技术的车用警示系统

Also Published As

Publication number Publication date
US11492001B2 (en) 2022-11-08
US20200189614A1 (en) 2020-06-18
CN111319557A (zh) 2020-06-23
CN111319557B (zh) 2023-01-17
JP7155991B2 (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
JP7155991B2 (ja) 報知装置
US20180272934A1 (en) Information presentation system
CN110033629B (zh) 信号灯识别装置以及自动驾驶系统
JP6591087B2 (ja) 表示制御装置、表示装置および表示制御方法
JP7139902B2 (ja) 報知装置
JP2016124479A (ja) 車両走行制御装置
JPWO2018066028A1 (ja) 情報出力制御装置および情報出力制御方法
JP6720924B2 (ja) 車外報知装置
JP7028131B2 (ja) 報知装置
US11590985B2 (en) Information processing device, moving body, information processing method, and program
JPWO2018180523A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2019079363A (ja) 車両制御装置
WO2020189238A1 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
US11610488B2 (en) Notification device and vehicle control device
JP2023138849A (ja) 提示制御装置及び提示制御プログラム
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
JP7334768B2 (ja) 提示制御装置及び提示制御プログラム
US20240140468A1 (en) Driving assistance device, driving assistance method, and storage medium
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2020138610A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP2021028587A (ja) 車載表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7155991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151