JP2006090790A

JP2006090790A - 運転支援装置

Info

Publication number: JP2006090790A
Application number: JP2004275196A
Authority: JP
Inventors: Masaaki Ichihara; 雅明市原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2004-09-22
Filing date: 2004-09-22
Publication date: 2006-04-06
Anticipated expiration: 2024-09-22
Also published as: JP4556586B2

Abstract

【課題】運転の妨げとならずに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置を提供すること。
【解決手段】運転者が注目している建物などの車外対象物を視線検出及び音声認識により特定して案内する運転支援装置が、車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、車両周辺の風景を撮像し、時系列で記憶保持しておく車外風景撮像手段と、車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向及び車外風景画像を照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する。
【選択図】図２

Description

本発明は、概して、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置に係り、特に、運転の妨げとならない運転支援装置に関する。

従来、運転者の視線情報とナビゲーション装置などとを関連付けて、ナビゲーション装置などにおいて予め種々の情報を収集しておき、運転者の視線の移動を検出してそこから運転者の関心事項を予測し、その時点で予め収集した情報を提示する装置が提案されている（例えば、特許文献１参照）。

また、運転者が顔を向けた車両の外側に見える山や建物などの名称をスピーカから又はディスプレイ上に案内する装置も提案されている（例えば、特許文献２参照）。
特開２００１−１９４１６１号公報特開２００３−３２９４６３号公報

しかしながら、上記従来の装置では、運転者は視線がシステムによって検出・固定されるタイミングを知り得ないため、運転者は視線検出により特定したい対象物に必要以上に視線を合わせ続ける可能性がある。このような不自然な視線の固定は、運転への注意力を低下させるおそれがある。

本発明はこのような課題を解決するためのものであり、運転の妨げとならずに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、車両乗員（例えば運転者）が注目している車外対象物（例えば建物など）を視線検出及び音声認識により特定して案内する運転支援装置であって、車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、車両周辺の風景を撮像し、時系列で記憶保持しておく車外風景撮像手段と、車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、上記音声認識手段により上記質問が検出されたときに、この質問が検出されたタイミングよりも所定時間（例えば数秒）前の車両乗員の視線方向及び車外風景画像を上記視線検出手段及び上記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、上記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する運転支援装置である。

この一態様において、上記質問が車外対象物の名称又は呼称に関するものであるとき（例えば、「あの建物は何？」など）、上記特定された車外対象物に関する情報は該特定された車外対象物の名称又は呼称であるものとし、上記質問が車外対象物の位置に関するものであるとき（例えば、「○○建物はどこ？」など）、上記特定された車外対象物に関する情報は該特定された車外対象物の当該車両に対する相対的位置であるものとする。

この一態様によれば、車両乗員が質問を発する直前に視線を合わせていた車外対象物が自動的に特定されるため、車両乗員は質問時又は質問後にその車外対象物が特定されるようにしばらくの間視線をその対象物に合わせ固定しておく必要がない。

なお、この一態様において、上記質問が車外対象物の位置に関するものであるとき、上記運転支援装置は、自車両の位置を検出する位置検出手段を更に有し、上記相対的位置は、自車両前方右、自車両前方左、及び自車両後方の３種類であり、上記情報案内手段は、上記所定のデータベース内の車外対象物に関する情報を、上記現在位置検出手段により検出された自車両の位置と該自車両位置の履歴から推定された自車両の進行方向とに基づいて、自車両前方右に位置するもの、自車両前方左に位置するもの、及び自車両後方に位置するものの３種類に分類すると共に、この分類を自車両の位置及び進行方向の変化に応じて逐次更新すると、質問された車外対象物が自車両に対して前方右手に存在するのか、前方左手に存在するのか、或いは、既に通り過ぎたのかを迅速に車両乗員に案内することができるため、好ましい。

また、この一態様において、上記運転支援装置が自車両の位置を検出する位置検出手段を更に有し、上記所定のデータベースは、所定の地図データベース（例えば、当該車両に搭載されたナビゲーション・システムが保持する地図データベースなど）から取得された自車両の位置を中心とした所定の範囲内のデータを含むものとすれば、上記運転支援装置に記憶する必要データ量を抑えることができる。

さらに、この一態様において、車両乗員間のコミュニケーションを尊重する観点から、上記音声認識手段に少なくとも運転者（又は特定の車両乗員）の声のデータを予め記憶させておき、少なくとも運転者（又は特定の車両乗員）の発話を他者の発話と区別できるようにし、上記情報案内手段は、上記音声認識手段により上記質問が運転者（又は特定の車両乗員）以外の車両乗員から発せられたと判断されたときに、所定待機時間内に運転者（又は特定の車両乗員）から該質問に対する回答と推定される発話が上記音声認識手段により検出された場合、上記特定された車外対象物に関する情報を案内しないようにしてもよい。

本発明によれば、運転の妨げとならずに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。

本発明の一実施例について図１及び２を用いて説明する。まず、図１を用いて、本実施例に係る運転支援装置１００の構成について説明する。図１は、車両に搭載された運転支援装置１００の概略構成図である。

運転支援装置１００は、車両周辺の風景を撮像する車外カメラ（Ｃ）１０１、１０２と、これらカメラ１０１、１０２により撮像された画像を画像処理して、車両周辺の風景を解析し、解析結果を撮像時間と共に記憶保持する画像解析部１０３とを有する。

また、運転支援装置１００は、更に、運転者の目の動きを撮像する視線カメラ（Ｃ）１０４、１０５と、これらカメラ１０４、１０５により撮像された画像から運転者の視線方向を検出し、検出結果を検出時間と共に記憶保持する視線検出部１０６とを有する。

なお、ここでは、時刻に対応させて解析結果と検出時刻とをそれぞれ記憶保持するようにしているが、必ずしも絶対的な時刻に対応させる必要はなく、解析結果と検出結果とが同じ時間軸に対応して時系列で記憶保持できていればよい。

また、運転支援装置１００は、更に、車両乗員の発話音声を録取するためのマイク（ＭＩＣ）１０７と、録取された車両乗員の発話音声を音声認識処理を用いて解析する音声認識部１０８と、車室内の運転者が操作しやすい場所（例えばステアリング・ハンドルなど）に配設され、音声認識部１０８に音声認識処理の実行を開始させるトリガを発生させるトークスイッチ（トークＳＷ）１０９とを有する。本発明に係る運転支援装置においてトークＳＷは必須ではないが、本実施例のようにトークＳＷを設けて運転者に操作させることによって、音声認識処理を常時実行する必要がなくなり、処理負荷が低減される。

また、運転支援装置１００は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ；全地球測位システム）受信機などを含み、自車両の現在位置を検出すると共に、地図データベースを保持し、経路探索を実行するナビゲーション部１１０と、少なくとも地図データと建物など地図上に登場する構造物についての情報（例えば、建物の名前など）とを含むデータベース１１１と、運転者が視線を合わせている車外対象物が何であるかをデータベース１１１に照らして特定する制御部１１２とを有する。

ここで、ナビゲーション部１１０は、検出された自車両位置の履歴を取ることにより自車両の進行方向（向き）を検出することも可能である。また、容量を抑える観点から、データベース１１１には、制御部１１２が自車両周辺の車外対象物を特定するのに必要な範囲内の限定された地図情報、道路情報、建物情報などが含まれることが好ましい。このデータベース１１１内の限定された情報は、車両外部から通信を利用して取得してもよく、或いは、ナビゲーション部１１０に記憶されていればそこから取得してもよい。この自車両周辺に限定された情報は、ナビゲーション部１１０によって検出された自車両現在位置に応じてリアルタイムに更新・変更されることが好ましい。また、ナビゲーション部１１０によって経路探索が行われた場合、探索された経路に沿って情報が順次追加及び削除されてもよく、或いは、探索された経路に沿った全情報がデータベース１１１に一旦ダウンロードされ、通過するごとに徐々に削除されていってもよい。

さらに、運転支援装置１００は、車両乗員に対する案内を音声合成処理により音声とする音声合成部１１３と、この音声合成部１１３により生成された音声を車両乗員に対して出力するスピーカ１１４と、ナビゲーション部１１０により探索された経路を車両乗員に視覚的に提示するディスプレイ（ＤＳＰ）１１５とを有する。

次いで、図２のフローチャートを用いて、本実施例に係る運転支援装置１００による車外対象物案内処理の流れを説明する。

イグニッションＯＮ時や運転支援装置１００の電源投入時に本処理が開始されると、まず、視線検出部１０６が視線カメラ１０４、１０５を作動させて運転者の視線方向Ｖの検出を開始する（Ｓ２０１）。視線検出は常時実行され、検出された視線方向は検出時刻と共に所定期間保持される。

次いで、画像解析部１０３が車外カメラ１０１、１０２を作動させて自車両周辺の風景の解析を開始する（Ｓ２０２）。周辺風景解析も常時実行され、解析された周辺風景は撮像時刻と共に所定期間保持される。

次いで、運転者によりトークＳＷがオン状態に切り替えられたか否かが判定される（Ｓ２０３）。トークＳＷオンが検出されない場合（Ｓ２０３の「ＮＯ」）、１ルーチンが終了し、次のルーチンにおいて再度トークＳＷオンが待機される。トークＳＷオンが検出された場合（Ｓ２０３の「ＹＥＳ」）、音声認識部１０８はマイク１０７を通じて入力された車室内の発話音声について音声認識処理を開始する（Ｓ２０４）。

次いで、音声認識部１０８により、車両乗員から車外対象物に関する質問が発せられたか否かが判定される（Ｓ２０５）。質問が検出されない場合（Ｓ２０５の「ＮＯ」）、１ルーチンが終了し、トークＳＷはオフ状態に切り替えられ、次のルーチンにおいて再度トークＳＷオンが待機される。

車両乗員から発せられた質問が検出されると（Ｓ２０５の「ＹＥＳ」）、次に、音声認識部１０８により、その質問が運転者から発せられた質問であるか否かが判定される（Ｓ２０６）。この発話者判定は、例えば、音声認識部１０８に少なくとも運転者の声紋を予め記憶させておくことによって入力音声の声紋分析により実現されてもよく、或いは、マイク１０７をアレイマイクとし、入力音声の到来方向が運転席側であるか否かによって判断されてもよい。

質問の発話者が運転者でないと判定された場合（Ｓ２０６の「ＮＯ」）、運転者の単独乗車ではなく、運転者以外の車両乗員が存在することが判る。そこで、車両乗員間でのコミュニケーションを尊重する観点から、運転支援装置１００による回答の前に運転者が質問に回答する時間を設ける。具体的には、運転支援装置１００が質問に回答するまでに所定の待機時間を設ける（Ｓ２０７）。

そして、音声認識部１０８により所定時間が経過するまでに運転者から回答が発せられたか否かが判定される（Ｓ２０８）。ここでは回答者を運転者としたが、音声認識部１０８が運転者以外の車両乗員についても声紋分析により個人を特定できるようにすれば、質問が発せられた後、質問発話者以外の車両乗員から質問に対する回答が発せられた場合に回答有りと判定してもよい。

運転者から回答が発せられたと判断された場合（Ｓ２０８の「ＹＥＳ」）、本実施例では一例として、運転支援装置１００が回答する必要はないと判断され、１ルーチンが終了し、次のルーチンに入る。なお、変形例として、運転者（又は質問発話者でも運転者でもない車両乗員）から回答が発せられた場合であっても運転支援装置１００から回答を発するようにしてもよい。

他方、運転者からの回答が所定時間内になかった場合（Ｓ２０８の「ＮＯ」）、Ｓ２０９以降の回答処理へ進む。また、本実施例では一例として、質問発話者が運転者であると判断された場合（Ｓ２０６の「ＹＥＳ」）にも、Ｓ２０９へ進み、運転支援装置１００から回答が発せられるものとする。なお、変形例として、運転者から質問が発せられた後に運転者以外の車両乗員からの回答を待機し、回答が発せられた場合には運転支援装置１００から回答はしないものとしてもよい。

回答処理においては、まず、発話が検出された質問が車外対象物の名称等（例えば、車外対象物が建物であれば、建物名、建物の呼称、建物所有者（企業）名、建物主テナント（企業）名など）を尋ねるものであるか（例えば、「あの建物は何？」など）、或いは、特定の車外対象物の位置を尋ねるものか（例えば、「○○建物はどれ？」など）が音声認識部１０８により判定される（Ｓ２０９）。

質問が車外対象物の名称等を尋ねるものであると判定された場合、制御部１１２は、画像解析部１０３に記憶保持された車外風景画像と視線検出部１０６に記憶保持された運転者の視線方向Ｖとを照合し、運転者が視線を合わせていた車外対象物を特定する（Ｓ２１０）。ここで、視線が固定されるタイミングは、質問が発せられる直前の任意の時点とする。具体的には、例えば、質問が発せられた時点の所定時間（例えば数秒）前でもよく、或いは、トークＳＷオンの時点の所定時間（例えば数秒）前でもよい。この視線が固定されるタイミングは、ユーザが例えばナビゲーション・システムの初期設定時や車両走行中などに任意に選択・切替できるようにすることが好ましい。また、ここで、所定時間前は、現在時刻を基準に所定時間前の時刻が指定されるものであってもよく、或いは、解析結果と検出結果とに対応付けられている時間軸に基づいて所定時間前が指定されるものであってもよい。

例えば運転者が運転中に視界に入ったある建物について名称等を知りたいと思った場合、質問を発する直前にその建物に視線を合わせていた可能性が高いはずであるから、本実施例のように質問が発せられる直前の所定の時点で取得・記憶保持された車外風景画像と視線方向とが照合されることにより、運転者が質問直前に注目していた車外対象物が自動的に特定される。換言すれば、質問時又は質問後に運転者は対象としたい車外対象物が運転支援装置１００によってうまく特定されるようにその対象としたい車外対象物にしばらくの間改めて／新たに視線を合わせる必要がない。

ここで、質問の対象となった車外対象物について例えば無線通信装置（図示せず）を利用して所定のセンタへ報告し、該センタが複数の車両から報告された質問対象物に関する情報を統合（マージ）して、質問回数によるランク付けを行い、これを各車両にフィードバックするものとすれば、制御部１１２が車外風景画像と視線方向Ｖとの照合時に視線方向Ｖが隣接する建物同士の境界線上であって判定が難しい場合にセンタから得たランキングを参照してより多く質問される方（見えにくい方又は関心を集めやすい方と推定される）を選択するようにすることができ、照合誤差が吸収され得るため、好ましい。

また、照合時に複数の車外対象物が特定された場合には、例えば、ａ）上述のような機能のセンタがある場合には上記ランキングを参照して自動的に１つに絞ってもよく、或いは、ｂ）複数の車外対象物が特定されることを許容し、特定された複数の車外対象物の名称等を順番に（例えば近い順に）案内（後述）してもよく、或いは、ｃ）音声合成部１１３及びスピーカ１１４又はディスプレイ１１５を利用して運転支援装置１００側から運転者に１つに特定するための質問（例えば、「一番手前の白い建物ですか？」など）を発してもよい。

さらに、照合時、発せられた車外対象物の名称等を尋ねる質問中に方向を表す表現が含まれていた場合（例えば、「あの前方右側の建物は何？」など）、検出された運転者の視線方向Ｖに加えて又は代えてその表現が意図する方向を照合に用いてもよい。

このようにして案内すべき車外対象物が特定されると、次に、制御部１１２は、その特定された車外対象物をデータベース１１１に照らしてその車外対象物の名称等を取得し、その名称等を音声合成部１１３に音声に合成させ、スピーカ１１４から車両乗員に音声出力する（Ｓ２１１）。この際、制御部１１２は、その特定された車外対象物の名称等を文字情報としてディスプレイ１１５上に表示するようにナビゲーション部１１０に指示してもよい。

他方、音声認識部１０８により発話が検出された質問が特定の車外対象物の位置を尋ねるものであると判定された場合、制御部１１２は、その特定の車外対象物をデータベース１１１に照らし、その位置の自車両位置に対する相対的位置を算出し、その相対的位置を音声合成部１１３に音声に合成させ、スピーカ１１４から車両乗員に音声出力する（Ｓ２１２）。この際、制御部１１２は、その特定の車外対象物の自車両に対する相対的位置を文字情報としてディスプレイ１１５上に表示するようにナビゲーション部１１０に指示してもよい。

ここで、車外対象物の自車両に対する相対的位置は、精密に算出・出力されてもかえって車両乗員にはわかりづらいため、例えば自車両に対して前方右、前方左、及び、後方の３種類で表されれば十分である。その場合、データベース１１１が保持する車外対象物に関する情報を刻々と変化する自車両位置に応じてリアルタイムに自車両の前方左に位置する車外対象物の情報、自車両の前方右に位置する車外対象物の情報、及び、自車両の後方に位置する車外対象物の情報に予め分類しておくことによって、質問が発せられたときに指定された車外対象物の自車両に対する相対的位置を迅速に回答・出力することができる。

このように、本実施例によれば、視線検出と音声認識とを利用して運転者が質問を発する直前に視線を合わせていた車外対象物が自動的に特定されるため、車両乗員は質問時又は質問後にその車外対象物が特定されるようにしばらくの間視線をその対象物に合わせ固定しておく必要がなく、運転者の運転操作を妨げずに運転者が注目する車外対象物を特定・案内することができる。

なお、上記一実施例において、音声認識部１０８の辞書には特定の車外対象物の位置に関する質問に備えて建物の名称等の車外対象物に関するデータが登録されている必要があるが、あらゆる地域のあらゆる車外対象物のデータを事前に登録しておくことは困難であるため、ナビゲーション部１１０によって検出された自車両現在位置に応じて、適宜又はリアルタイムに、例えば通信を利用して自車両現在位置周辺のデータのみが取得され辞書登録されることが好ましい。

また、上記一実施例においては、運転支援装置１００は、質問種類に応じて車外対象物の名称等又は自車両からの相対的位置のいずれかを出力するものとしたが、本発明はこれに限られず、名称等と位置の双方を出力してもよい。すなわち、名称等が尋ねられていると判断されたときでも確認のために相対的位置が併せて出力されてもよく、位置が尋ねられていると判断されたときでも確認のために名称等が併せて出力されてもよい。

また、上記一実施例において、質問が発せられた後、質問に対する回答でない発話が検出された場合、運転支援装置１００は２人目の発話を受けた形で回答を出力するようにしてもよい。例えば、１人目が「これは何？」と質問した後、２人目が「これのこと？」と発話した場合、運転支援装置１００は、「それです」、「もう少し前です」、又は「反対側です」などと回答を出力するようにしてもよい。

また、上記一実施例においては、主として車外対象物が建物である場合について説明したが、本発明はこれに限られず、車外対象物は道路形状又は道路自体であってもよい。特に、ナビゲーション部１１０によって経路探索が行われている場合、運転支援装置１００は、特定された車外対象物である道路（交差点など）と探索結果とを比較して、例えば、運転者からの「ここで曲がるの？」という質問に対して「そうです、ここで右折です」又は「１つ先の交差点です」などと回答することができる。

さらに、当業者には明らかなように、上記一実施例において運転者の視線方向Ｖを検出するとしたのは一例に過ぎず、本発明に係る運転支援装置においては、運転者の視線方向Ｖに加えて又は代えて運転者以外の車両乗員（特に助手席乗員）の視線方向が検出され、画像との照合に用いられてもよい。

本発明は、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る運転支援装置の概略構成図である。本発明の一実施例に係る運転支援装置による車外対象物案内処理の流れを示すフローチャートである。

符号の説明

１００運転支援装置
１０１、１０２車外カメラ
１０３画像解析部
１０４、１０５視線カメラ
１０６視線検出部
１０７マイク
１０８音声認識部
１０９トークＳＷ
１１０ナビゲーション部
１１１データベース
１１２制御部
１１３音声合成部
１１４スピーカ
１１５ディスプレイ

Claims

車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置であって、
車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、
車両周辺の風景を撮像し、時系列で記憶保持しておく車外風景撮像手段と、
車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、
前記音声認識手段により前記質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向及び車外風景画像を前記視線検出手段及び前記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、
前記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する、ことを特徴とする運転支援装置。
請求項１記載の運転支援装置であって、
前記質問が車外対象物の名称又は呼称に関するものであるとき、前記特定された車外対象物に関する情報は該特定された車外対象物の名称又は呼称である、ことを特徴とする運転支援装置。
請求項１記載の運転支援装置であって、
前記質問が車外対象物の位置に関するものであるとき、前記特定された車外対象物に関する情報は該特定された車外対象物の当該車両に対する相対的位置である、ことを特徴とする運転支援装置。
請求項３記載の運転支援装置であって、
自車両の位置を検出する位置検出手段を更に有し、
前記相対的位置は、自車両前方右、自車両前方左、及び自車両後方の３種類であり、
前記情報案内手段は、前記所定のデータベース内の車外対象物に関する情報を、前記現在位置検出手段により検出された自車両の位置と該自車両位置の履歴から推定された自車両の進行方向とに基づいて、自車両前方右に位置するもの、自車両前方左に位置するもの、及び自車両後方に位置するものの３種類に分類すると共に、この分類を自車両の位置及び進行方向の変化に応じて逐次更新する、ことを特徴とする運転支援装置。
請求項１記載の運転支援装置であって、
自車両の位置を検出する位置検出手段を更に有し、
前記所定のデータベースは、所定の地図データベースから取得された自車両の位置を中心とした所定の範囲内のデータを含む、ことを特徴とする運転支援装置。
請求項１乃至５のいずれか一項記載の運転支援装置であって、
前記音声認識手段に少なくとも運転者の声のデータを予め記憶させておき、少なくとも運転者の発話を他者の発話と区別できるようにし、
前記情報案内手段は、前記音声認識手段により前記質問が運転者以外の車両乗員から発せられたと判断されたときに、所定待機時間内に運転者から該質問に対する回答と推定される発話が前記音声認識手段により検出された場合、前記特定された車外対象物に関する情報を案内しない、ことを特徴とする運転支援装置。