JP2006107148A

JP2006107148A - 音声情報提供装置

Info

Publication number: JP2006107148A
Application number: JP2004293193A
Authority: JP
Inventors: Hiroaki Kokubo; 浩明小窪; Toshihiro Kujirai; 俊宏鯨井; Nobuo Hataoka; 信夫畑岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-10-06
Filing date: 2004-10-06
Publication date: 2006-04-20

Abstract

【課題】立体音響を用いた音声情報提供装置において、音声の定位情報だけでは危険物の詳細までを表現することが困難である。一方、詳細情報をも音声出力すると再生時間が長くなってしまうため、緊急の場合には情報提供が手遅れとなってしまう恐れがある。
【解決手段】緊急度に応じて、音声出力形態を変える。つまりは、緊急度が高い時には対象物の位置・方向情報の音声情報を出力せずに立体音響にて定位することで情報提供を行う。
【選択図】図１

Description

本発明は、立体音響を用いた音声出力装置に関するものである。

近年、音声による情報提供サービスが普及してきている。中でも立体音響の技術を用いて、提供情報に関する位置情報をわかりやすく提示する技術がある。
例えば、自動車において障害物の位置及び方向を音像によって警報する技術がある（特許文献１参照）。本技術においては、警報優先度を判定して周波数成分と音量レベルを変化して警報する。
更に、立体音響を用いた技術として、乗員の視線と移動体ウィンドウの交差位置に関連情報を表示するとともに、物体の位置との距離方向に基づいて出力音声定位する技術がある（例えば、特許文献２参照）。

特開平５−１２６９４８号公報

特開２００２−２６７４７０号公報

従来の立体音響を用いた音声情報提供では、同一方向に複数の危険物が同時に存在した場合など、提供情報の詳細までを表現することが困難である。たとえば、警報装置において後方に複数の障害物が存在している場合に、立体音響によって「危険物あり」の警告が後方よりなされたとする。運転者は運転席から見える危険物を認識し、注意してバックしていたものの、運転席から死角となる近傍の障害物に衝突してしまうといった場合も起こりえる。このような場合には、「後方50センチの死角位置に障害物があります」といったように、危険物の具体的な位置を音声で警告された方が運転者の勘違いを低減できる。ただし、危険物の位置情報を含む警告を音声によって行う場合には、文章が長くなってしまうため、危険が差し迫っている場合には注意喚起が手遅れとなってしまう恐れがある。本願では上記のように情報提供の時間的制限がある場合において、状況に応じた情報提供を行うことを目的とする。

本願で開示する代表的な発明の概要を以下説明する。
自車両に対しての危険物を検知する危険物検知部と、自車両の走行状態を検出する走行状態検出部を有し、危険物と走行状態に関する情報から緊急度を判定する。更に危険物に対する警告を生成する警告音生成部と、警告音を立体音像として定位させるための立体音響生成部と、警告音を出力するためのスピーカーとを有し、警告音生成部は、緊急度に応じて該危険物の位置又は方向に関する情報を警告音から省略して、上記立体音響生成部を介して立体音響で出力することを特徴とする音声情報提供装置。
又、上記緊急度を走行状態関する情報から判定する発明も開示する。

本発明では、前記緊急度判定手段で判定された緊急度に応じて危険物の位置を特定する警告音声を省略するようにしたため、障害物の位置をアナウンスする余裕のないような緊急度の高い場合には、障害物の方向に音源を定位させた警告音を提示することで即座に危険物方向に注意喚起させることが可能となる。また、緊急度の低い場合には危険物の位置を特定する情報を音声によってアナウンスすることで、障害物が複数ある場合でも運転者が一つしかないと勘違いするようなことはない。

本発明を自動車の警報装置に適用する第一の実施例の１構成例を図１に示す。１０１、１０２、１０３、１０４は車両周辺の障害物等を検知する障害物センサー、１０５は、車両の走行状態を検出する走行状態センサーである。１０６は障害センサーで検知した障害物と、車両の走行状態から危険物を検出する危険物検出装置である。１０７は緊急度判定装置、１０８は警告音生成装置、１０９は立体音響生成装置である。１１０、１１１、１１２、１１３はスピーカーである。尚、本願で開示する情報処理はプログラムを計算機で読み込むことで実現してもよいし、ハードウェアにて実施、もしくはハードウェアとソフトウェアとの協調によって行っても良い。

障害物センサー１０１、１０２、１０３、１０４は、警報を発すべき障害物を発見するためのセンサーであって、障害物の方向や障害物までの距離を計測できるものであれば良い。例えば、超音波や赤外線、ミリ波などを用いたパルスレーダーで実現される。超音波を用いたパルスレーダーの例を図２に示す。照射部２０１から照射された超音波パルスが障害物２０２と障害物２０３に反射し、受信部２０４で受信する。このとき、パルスが照射されて障害物２０２からの反射波が到達するまでの時間をｔ１、障害物２０３からの反射波が到達するまでの時間をｔ２とし、音速をｕとすると、障害物２０２、障害物２０３までのそれぞれの距離はｕ／（２＊ｔ１）、ｕ／（２＊ｔ２）で求めることができる。なお、受信部２０４は照射部２０１と兼用できることは言うまでもない。センサーの個数は一つ以上あればよく、必ずしも4つである必要はない。また、パルス波を用いなくとも周波数変調させた連続波を用いてレーダーを実現することも可能である。

また、障害物センサー１０１〜１０４から障害物の方向を検出することも可能である。たとえば、複数の障害物センサーをアレイ状に並べ、それぞれのセンサーへの到達時間差を用いることで障害物の方向を検出することができる。図３に障害物の方向検出に関する一実施例を示す。二つの障害物センサー３０１、３０２が距離ｄ離れて設置されていると想定する。二つのセンサーを結ぶ直線に対する垂線から角度θ方向に障害物が存在している場合、障害物からセンサーまでの往復距離はセンサー３０２よりもセンサー３０１の方が２ｄ＊ｓｉｎθだけ長い。したがって、パルス波が到達するまでの時間差をΔtとするとΔｔ＊ｕ＝２ｄ＊ｓｉｎθが成り立つため、θ＝ａｒｃｓｉｎ（Δｔ＊ｕ／２ｄ）となる。
また、障害物が動いている場合にはドップラー効果を用いることで速度を測定することも可能である。

本実施例では、障害物センサーとしてパルスレーダーを例に説明したが、これ以外の構成でもよい。たとえば、障害物センサーとして、画像認識を用いた構成も可能である。たとえば、前方カメラが捉えた信号機を認識し、赤信号が点灯しているかを判定したり、赤外線カメラを用いて、暗闇の中から人間を検知したりするようなことも実現できる。
また、道路インフラに情報発信部を設置しておいて、例えば見通しの悪いカーブなどでは道路インフラが停止車両や落下物などの障害物を検知して情報を発信し、車載装置がこの情報を受け取るような構成も可能である。

走行状態センサー１０５は車両の走行状態を検知する。具体的には、速度センサーから車速情報、ブレーキセンサからブレーキの状態、変速ギアの位置から前進/後退の情報等々が得られる。また、ウインカーの動作によって進路変更の意図を、ワイパーの動作により路面の状況等を推定することも可能である。

危険物検出装置１０６は、障害物センサー１０１〜１０４で検出した障害物と走行状態センサー１０５で検知した車両の走行状態から危険物を検出する。たとえば、後方に障害物がある場合、車両の変速ギアが後退にあればその障害物を危険物と判定する。一方、前進にあれば危険物として検出する必要はない。ただし、ウインカーの点滅により車両が進路変更の可能性が高く、かつ、後方からの障害物が自車に接近していることが判定できれば、その障害物は危険物として検出する。

危険物検出装置１０６の処理フローの一実施例を図４に示す。ステップ４０１では、障害物の有無を判定する。障害物が存在する場合には、ステップ４０２において障害物の位置を判定する。障害物が前方にあり、自車の進行方向が前進であるか（ステップ４０３）もしくは、障害物が後方にあり、自車の進行方向が後退であれば（ステップ４０４）、ステップ４０６に進む。ステップ４０６では、自車のブレーキが踏まれているかを判定する。ブレーキが踏まれていれば、運転者が既に危険回避動作に入っているため、危険物との判定はしない。一方、ブレーキが踏まれていなければ危険物として判定する。更に、ステップ４０４で前方に進行している場合、ステップ４０５で進路変更の可能性をチェックすることにしても良い。具体的には、ウインカーの動作の有無で進路変更の意思を推定すればよい。進路変更の可能性がある場合には後方の障害物を危険物として判定する。

本実施例では、障害物センサーで検出した障害物を対象に危険物としているが、走行状態センサー１０５から得られる情報を危険物とみなしても良い。たとえば、半ドアや空気圧不足等で異常のあるタイヤ、ライトの球切れ等の故障に関する情報を危険物として認識することもできる。

緊急度判定器１０７では、検出された危険物の情報と走行状態から検知した危険物の緊急度を判定する。緊急度とは、検知された危険物を回避するのに残された時間的余裕、もしくは該危険物が自車が危険を及ぼすに至るまでの時間に関する指標と言い換えることができる。たとえば、ギアが前進に入っていても車速がゼロに近ければ緊急度は低いし、高速走行中などでは危険物が遠方であっても緊急度は高い。又、上記故障に関する情報については、緊急度は自車両に危険を及ぼすに至るまでの時間、もしくは、予想される危険を回避することに対する優先度を緊急度として定義する。

障害物までの距離がＬである時に車速vで前進しているのであれば、時間Ｌ／ｖ後に衝突する危険性がある。この衝突までの時間を用いて緊急度ＥをＥ＝ｆ（Ｌ，ｖ）で定義することができる。ここで、ｆ（Ｌ，ｖ）は緊急度が距離Ｌと車速ｖとの関数であることを示している。さらに、警告がなされてから危険回避行動を開始するまでの空走時間をａとすれば、緊急度Ｅは空走時間についてのパラメータを考慮するものとして、Ｅ＝ｆ'（Ｌ，ｖ，ａ）とも定義可能である。このときの空走時間は定数でもよいし、危険物の方向によって値を変えるなど運転手の正面方向からの角度の関数としてもよいし、運転者のスキルや疲労度などを考慮した関数としてもよい。また、ワイパーの動作等によりで路面状況が推測可能であるならば、濡れている路面と乾いた路面とで制動時間が異なることを考慮すると、Ｅ＝ｆ''（Ｌ，ｖ,ａ,ｂ（ｖ，ｓ）)とも定義できる。ここで、ｓは推測された路面状況であり、ｂ（ｖ，ｓ）は車速と路面状況の関数になる。ここで示した緊急度Ｅの定義は一例にすぎず、自車に危険が及ぶまでの時間を定量化した定義式であればどのような定式化を行ってもよい。

又、上記故障に関する情報を危険物とした場合には、これら車両の不具合や半ドア等の不注意操作を検出した場合には、想定されるケースごとに事前に緊急度を決め、テーブル化して与えておけばよい。例えば、半ドアの場合は、停止状態でブレーキペダルから足を離した条件では速度が上がる前に直ちに停止させる必要があるため、Ｅに小さい値を設定することで緊急度を高くし、高速走行中は運転手が慌てないように正確なアナウンスが必要なことから緊急度を低くするようＥに大きい値を設定する。

警告音生成装置１０８は、危険物検出装置１０６で検出された危険物に対して注意を警告する音を生成する。図５に警告音生成装置１０８の一実施例を示す。警告文生成部５０１は、危険物検出装置１０６で検出された危険物に対して注意を施す警告文章を生成する。たとえば、「ＸＸ方向に△△があります」などのテンプレートを用意しておき、検出された危険物に関する情報に基づいてＸＸや△△に「右上」や「障害物」などの語句を代入することで警告文章を生成する。音声波形生成部５０２は、生成された警告文章を音声波形に変換する。音声波形への変換は公知の音声合成技術を用いることで実現可能である。再生時間算出部５０３は、作成した音声波形を再生するために必要な時間を算出する。作成した音声波形のデータサイズを一秒あたりのデータサイズで割り算すれば、再生時間を求めることは容易である。たとえば、再生音のクオリティーを１６ｂｉｔ、１６ｋＨｚとすると、一秒当たり３２ｋＢのデータサイズとなるので、データサイズが６４ｋＢの波形データは２秒の再生時間となる。

図５は、警告音生成装置１０８の一実施例を示したにすぎず、これ以外の構成での実現も可能である。たとえば、想定される警告音を事前に全て録音しておき、危険物の検出結果に基づいてその中から選択するという構成でもよい。

図６に危険物検出装置で検出された危険物に対応する警告アナウンスの例を示す。図中の下線の引かれたナレーションが危険物の方向や距離を示す部分である。ＸＸ方向には、前方、右前方向、左後ろ方向など危険物が検出された方向が入り、○○mには、レーダー等により測定された危険物までの距離が入る。この時、同じ危険物に対して警告する場合であっても、方向や距離等の付加情報を加える場合と省略した場合とでは、文の長さが異なるために再生時間も異なる。例えば、緊急度判定器１０７で与えられた緊急度が高い場合、「右後方より車が接近しています。」という再生時間が４秒の警告音声では、警告音声を再生している最中に事故を起こしてしまう。よって、本願における警告音生成装置（１０８）では、所定の基準値をもうけておき、緊急度の値が該基準値以上であるかに応じて警報の出力方法を切り替えることで警報時間を変更する。特に音響定位情報を利用することによって障害物等の警報対象物の位置・方向に関する情報のアナウスを省略することで短時間での警報を可能とする。

つまり、緊急度をE、警告音声の再生時間をｔｓとしたときに、Ｅとｔｓとの値に応じて警報の出力方法を切り替える。たとえば、E＞ｔｓを満足しない場合には、危険物の方向や距離などの付加情報を省略することで再生時間ｔｓを短くする。また、警告音声を標準速度と早口速度（再生速度１．２倍）のように複数の再生速度を用意しておき、ｔｓ＞Ｅ＞（ｔｓ／１．２）ならば、アナウンスを省略せずに再生速度を速めることで再生時間を短縮するなど、条件判定を細かくレベル分けしておくなどの構成も可能である。
なお、「車が来ます。」、「危険です。」など必要最小限の音声を作成してもE＞ｔｓを満足しない場合には、音声の代わりに「ピー」といった信号音を用いてもよい。

立体音響生成装置１０９は、生成した警告音を運転者に対してあたかも目的方向から聞こえるように音場を制御する。目的方向に音像を定位させるためには、たとえば、浜田，得能，Ｏ．Ｋｉｒｋｅｂｙ，Ｐ．Ｎｅｌｓｏｎ著「新しい音場再生方式（ＳｔｅｒｅｏＤｉｐｏｌｅ）に関する研究」（電子情報通信学会研究報告書ＥＡ９６−２，ｐｐ．９−１７，１９９６）に記載されているような公知の技術を用いればよい。本願においては、立体音響により警報を行うことによって対象物の位置・方向に関する情報の音声出力を省略する。尚、緊急度のレベルに応じて、緊急度が低く位置・方向情報も含めた警報が可能な場合には通常の音声出力により、緊急度が高い場合には上記立体音響生成装置を介した出力としても良い。これによれば、常に音源を定位させる必要がないので、詳細な状況が提供でき、又、助手席や後部座席の乗車者に対して違和感のある音源定位の警告を極力回避することができる。

図７に立体音響を用いた警告音の提示例を示す。７０１は運転者、７０２は障害物センサーである。障害物センサー７０２が右後方から接近してくる車両７０３を検出し、危険物検出装置１０６で危険物の判定された場合、立体音響生成装置１０９は、検知された接近車両の位置に仮想音源７０４が定位するように音場を制御する。この処理により、運転者７０１はあたかも、接近車両７０３から警告音声が発せられているような聞こえるため、直感的な注意喚起となる。

図８は立体音響を用いた警告音の第二の提示例である。８０１は画像センサーの撮影画像であり、８０２はその中で運転者がフロントガラスを通して見ることのできる領域を表す。８０３は道路に設置されている信号機である。画像センサーの捉えた画像８０１から画像認識の技術を用いて信号機を抽出し、赤信号が点灯していると判定されたとする。この時に走行状態センサー１０５ではブレーキが踏まれていないことを検出すると、赤信号に関する警告を出す必要がある。このとき、画像領域８０２からも明らかなように、運転者からは赤信号が死角となっている。この場合も立体音響生成装置１０９を用いて運転手の左上方に警告音声を定位させることで、運転者に対しフロントガラスよりも上の見えないところにある信号機が赤であることを警告することができる。

図９に警告音声作成のデータフローの一実施例を示す。
警告音生成装置１０８には、危険物検出装置１０６から検出された危険物とその位置情報が、緊急度判定器１０７から緊急度Ｅが入力される。警告音生成装置１０８では、これらの情報から警告音の音声波形を生成し、危険物の位置情報ともに立体音響生成装置１０９に送出する。立体音響生成部１０９は、入力した警告音に対して、危険物の方向に音源が定位するような信号処理を施し、スピーカーに出力する。もちろん、音源定位を用いずに警告音声を出力する場合においては、立体音響生成部１０９の処理をスキップすることになる。

図１０は警告音声作成の処理フローの一実施例である。ステップ１００１では、緊急音声生成装置１０８において、警告音声の候補となる音声の再生時間ｔｓと緊急度判定器１０７で求めた緊急度Ｅとの比較を行う。もし、ｔｓ＜＝Ｅを満足すれば、ステップ１００２で警告音声から音声波形を作成し、ステップ１００８に進む。一方、ステップ１００１でｔｓ＞Ｅであるならば、ステップ１００３に進む。もちろん、ステップ１００１の条件式は一例にすぎず、Ｅとｔｓとに関連した別の判定式を用いてもかまわない。ステップ１００３では、候補となる警告音声に位置情報が含まれているかを判定する。たとえば、「前方の信号が赤です。」という警告音声であれば、「前方の」が位置情報であるため、ステップ１００４で位置情報を削除した「信号が赤です。」を警告音声として、再びステップ１００１に戻る。ステップ１００３で警告音声に位置情報が含まれていない場合、ステップ１００４で警告音声が短縮可能であるかを判定する。たとえば、「信号が赤です」という警告音声であれば、「赤です」、「信号が赤」といった省略が可能である。したがって、「信号」や「です」といった語句を予め省略可能語として登録しておけばよい。省略によって短縮が可能であれば、ステップ１００６で警告音声を短縮した後、再びステップ１００１に戻る。ステップ１００５で警告音声がこれ以上短縮できない場合には、ステップ１００７にて、警告音声の代わりに「ピッ」等の警告信号を作成し、ステップ１００９に移る。ステップ１００８では、ステップ１００３と同じく警告音声に位置情報が含まれているかを判定する。位置情報が含まれていればステップ１０１０に進み、スピーカーから警告音を再生する。ステップ１００８で警告音に位置情報が含まれていなければ、ステップ１００９に進む。もちろん、ステップ１００８で警告音声に位置情報が含まれていると判定された場合であっても、ステップ１００９で立体音響の信号処理を施すようにした処理フローの構成も可能であることは言うまでもない。ステップ１００９では、立体音響生成装置１０９を用いて、入力した警告音に対して、危険物の一方向に音源が定位するような信号処理を施す。ステップ１００９で立体音響に加工された警告音声は、ステップ１０１０に進んでスピーカーから再生される。

以上により、緊急度が高い場合には、位置情報の警告を警告音声から省略することで警告音の再生長を短くし、運転者に対して早急な注意喚起を可能にした。また、警告音から危険物の位置情報を省略した場合であっても、立体音響で危険物の方向に警告音の音源を定位させることで危険物の方向に運転者の注意を向けさせることができる。

なお、本実施例は危険物回避のための警告音に関して記載しているが、カーナビゲーションによる情報案内に応用することは容易である。例えば、案内をする対象物が運転者の視界から消失するまでの時間を緊急度として定義すれば、実施例に記載した構成で同様に実現可能であることは言うまでもない。具体的には、図１１において、現在の車両の位置を１１０１、対象物の位置を１１０２とした場合、車両が対象物の横を通過する位置１１０３まで移動するまでに要する予測時間を緊急度として定義する。

又、本願技術は、情報提供に時間的期限がある場合において上記と同様に実施することができる。この場合、情報提供の制限時間と、提供すべき情報の再生時間との関係においての緊急度を定義して上述の出力形態切り替えを行えば良い。

立体音響を用いた車載用警告装置の一実施方法を示した説明図である。危険物センサーの一実施方法を示した説明図である。障害物センサーを用いて障害物の方向を求める一実施例を示した図である。危険物判定装置の処理フローの一実施例を示した図である。警告音生成装置１０８の一実施例を示した図である。警告ナレーションの一例を示した図である。立体音響を用いた警告音声の一提示例を示した図である。立体音響を用いた警告音声の第二の提示例を示した図である。警告音を生成する処理のデータフローの一実施例を示した図である。警告音を生成する処理フローの一実施例を示した図である。緊急度の一実施例を説明するための図である。

符号の説明

１０１、１０２、１０３、１０４危険物センサー
１０５走行状態センサ
１０６危険物検出装置
１０７緊急度判定装置
１０８警告音生成装置
１０９立体音響生成装置
１１０、１１１、１１２、１１３スピーカー。

Claims

自車両に対しての危険物を検知する危険物検知部と、
自車両の走行状態を検出する走行状態検出部と、
前記走行状態検出部で検出された自車両の走行状態と前記危険物検知部で検出された危険物の情報から緊急度を判定する緊急度判定部と、
前記危険物検出部で検出された危険物に対する警告を生成する警告音生成部と
前記警告音生成部で生成した警告音を立体音像として定位させるための立体音響生成部と、
警告音を出力するためのスピーカーとを有し、
前記警告音生成部は、前記緊急度判定部で判定された緊急度に応じて該危険物の位置又は方向に関する情報を警告音から省略して、上記立体音響生成部を介して立体音響で出力することを特徴とする音声情報提供装置。
上記緊急度は、上記危険物が上記自車両に危険を及ぼすに至る時間に関する指標であることを特徴とする請求項１記載の音声情報提供装置。
危険物検知部は、上記緊急度を上記危険物までの距離と上記自車両の走行速度に基づいて求めることを特徴とする請求項１又は２に記載の音声情報提供装置。
上記危険物検知部は、該危険物までの方向と前記自車両の進行方向に関する情報から危険物の存在を判定することを特徴とする請求項１又は３の何れかに記載の音声情報提供装置。
自車両について危険を及ぼしうる不具合を検出する走行状態検出部と、
前記走行状態検出部で検出された自車両の走行状態から緊急度を判定する緊急度判定部と、
前記危険物検出部で検出された危険物に対する警告を生成する警告音生成部と
前記警告音生成手段で生成した警告音を立体音像として定位させるための立体音響生成部と、
警告音を出力するためのスピーカーとを有し、
前記警告音生成部は、前記緊急度判定部で判定された緊急度に応じて該危険物の位置又は方向に関する情報を警告音から省略して、上記立体音響生成部を介して立体音響で出力することを特徴とする音声情報提供装置。
上記緊急度判定部は、上記不具合の種類に応じた緊急度を記憶していることを特徴とする請求項５記載の音声情報提供装置。
前記警告音生成部は、前記緊急度が所定の値より低い場合には上記危険物の位置又は方向に関する情報を含む警告音を生成して、上記スピーカを介して出力することを特徴とする請求項１乃至６の何れかに記載の車載警告装置。
前記立体音生成部は、前記緊急度が所定の値より低い場合であっても、提供情報に対象物の位置・方向に関する情報が含まれる場合には立体音を生成することを特徴とする請求項７記載の音声情報提供装置。
前記警告音生成部は、上記緊急度に応じて信号音にて警報を発することを特徴とする請求項１乃至８の何れかに記載の音声情報提供装置。