JP2017122640A - 情報制御装置 - Google Patents

Abstract

【課題】運転者の視線が対象物から逸れている場合であっても該対象物の情報提供を可能とするための情報制御装置を提供する。
【解決手段】情報制御装置３０は、運転者の視線を認識する視線認識部４１と、視線の認識結果に基づいて運転者が目視している目視対象物を抽出する抽出部４２と、目視対象物の各々について運転者が注視している注視対象物であるか否かを判別する判別部４３と、複数の注視対象物を判別時刻と関連付けて記憶する記憶部５０と、運転者による情報要求動作を検知したことを契機に記憶部５０に記憶されている複数の注視対象物のうちから運転者への情報の提供対象となる注視対象物を選択する選択部４５と、表示装置１９に選択部４５が選択した注視対象物に関する情報を出力する出力部４６と、を備え、選択部４５は、情報要求動作を検知したときの目視対象物が注視対象物ではない場合には、判別時刻が最も新しい注視対象物を選択する。
【選択図】図１

Description

本発明は、運転者に提供する情報を制御する情報制御装置に関する。

例えば、特許文献１には、特定の用語を発した発話者の視線を視線認識カメラの画像情報に基づいて認識し、その視線位置を車外カメラの画像情報と照合することにより検出される対象物について情報提供を行う技術が開示されている。

特開２０１５−４１１９７号公報

しかしながら、特許文献１に記載された方法では、特定の用語を発したときの発話者の視線が情報提供を受けたい対象物から逸れていると、その対象物についての情報提供を受けることができない。例えば、車両の運転者は、視線を移動させながら運転しているため、特定の用語を発するタイミングにおいて情報提供を受けたい対象物から視線が逸れていることが多く、特許文献１に記載された方法によっては、情報提供を受けたい対象物の情報を運転者に適切に提供することは困難である。

本発明は、運転者の視線が対象物から逸れている場合であっても該対象物の情報提供を可能とするための情報制御装置を提供することを目的とする。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する情報制御装置は、車両を運転する運転者の視線を認識する視線認識部と、前記視線の認識結果に基づいて運転者が目視している目視対象物を抽出する抽出部と、前記抽出部により抽出された目視対象物の各々について運転者が注視している注視対象物であるか否かを判別する判別部と、前記判別部により判別された複数の注視対象物を判別時刻と関連付けて記憶する記憶部と、運転者による情報要求動作を検知したことを契機に前記記憶部に記憶されている複数の注視対象物のうちから運転者への情報の提供対象となる注視対象物を選択する選択部と、運転者に情報を伝達する情報伝達装置に前記選択部が選択した注視対象物に関する情報を出力する出力部と、を備え、前記選択部は、前記情報要求動作を検知したときの前記目視対象物が注視対象物ではない場合には、前記記憶部に記憶されている注視対象物のうちから前記判別時刻が最も新しい注視対象物を選択する。

上記構成によれば、情報要求動作を検知したときに運転者の視線が情報提供を受けたい注視対象物から逸れていても、記憶部に記憶されている注視対象物のうち、最新の時刻に判別された注視対象物についての情報が情報伝達装置を通じて運転者に提供される。そのため、情報要求動作を行ったときの運転者の視線が情報提供を受けたい対象物から逸れている場合であっても、該対象物についての情報提供を行うことができる。

一実施形態の情報制御装置の概略構成を示す概略構成図。 （ａ）および（ｂ）は、車外カメラの画像情報上における視線エリアの一例を模式的に示す図。 注視対象蓄積処理の一例を示すフローチャート。 第１提供処理の一例を示すフローチャート。 第１情報要求動作がなされた時点における車外カメラの撮像画像を模式的に示す図。 第２提供処理の一例を示すフローチャート。 （ａ）は第２情報要求動作がなされた時点における車外カメラの撮像画像を模式的に示す図、（ｂ）は選択部によって選択された提供対象とともに車外カメラの画像情報を模式的に示す図。

図１〜図７を参照して、情報制御装置の一実施形態について説明する。
この情報制御装置は、運転者の視線に基づいて運転者が目視した対象物である目視対象物を抽出し、該目視対象物の各々について運転者が注視した注視対象物であるか否かを判別する。そして、情報制御装置は、注視対象物の識別情報と該注視対象物に関するその他の情報とを蓄積する。また情報制御装置は、運転者による情報要求動作を検知すると、該情報要求動作に応じた注視対象物を選択し、その選択した注視対象物の情報を情報伝達装置に出力する。

図１に示すように、車両１０は、上述した情報制御装置３０のほか、情報制御装置３０による情報提供に関わる機能部として、視線カメラ１１、位置情報取得部１２、車外カメラ１３、地図データ１４、および、要求動作入力部１５を備えている。また、車両１０は、情報制御装置３０の提供する情報を運転者に伝達する情報伝達装置の一例である表示装置１９を備えている。

視線カメラ１１は、撮像領域に運転者の両目を含んでおり、撮像した画像の画像情報を情報制御装置３０に出力する。
位置情報取得部１２は、例えばＧＰＳセンサやカーナビゲーションシステムによって構成されている。位置情報取得部１２は、車両１０の現在位置を示す座標、および、車両１０の進行方向を位置情報として取得し、その位置情報を情報制御装置３０に出力する。

地図データ１４は、地図上の各位置における座標を示す座標情報のほか、ＰＯＩ（Ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）情報等を格納したデータである。ＰＯＩ情報は、例えば、施設ＩＤ、地図上の座標、施設の名称、施設の住所、施設の種類、および、電話番号等を含む施設情報や道路に設置された信号機に関する信号機情報を含んでいる。

車外カメラ１３は、車両１０の前方が撮像領域に設定されたカメラであり、撮像した画像の画像情報を情報制御装置３０に出力する。
要求動作入力部１５は、情報提供を要求する運転者の動作を情報制御装置３０に出力する。要求動作入力部１５は、例えば、マイク１６、運転者を撮像領域に含む車内カメラ１７、運転者によって操作されるスイッチ１８Ａ，１８Ｂ等で構成される。マイク１６は運転者の音声を示す電気信号を情報制御装置３０に出力し、車内カメラ１７は撮像した画像の画像情報を情報制御装置３０に出力し、スイッチ１８Ａ，１８Ｂは操作信号を情報制御装置３０に出力する。

表示装置１９は、情報制御装置３０から出力される情報を表示する。表示装置１９は、例えば、情報制御装置３０の操作画面が表示されるタッチパネル式のディスプレイを備えている。この表示装置１９としては、例えば、カーナビゲーションシステムの他、ヘッドアップディスプレイ装置、マルチインフォメーションディスプレイ装置などが利用できる。なお、ヘッドアップディスプレイ装置は、運転者の視界前方に各種の案内情報を投影表示するためのディスプレイを有する装置である。また、マルチインフォメーションディスプレイ装置は、運転席正面のスピードメータ等が表示されるパネルの中にあり、汎用的な情報を表示できる比較的小さいディスプレイを有する装置である。

図１〜図７を参照して情報制御装置３０について詳しく説明する。
図１に示すように、情報制御装置３０は、中央演算装置を備える処理部４０、不揮発性の記憶装置を備える記憶部５０のほか、外部入力装置や外部出力装置等を備えたマイクロコンピュータで構成されている。

処理部４０は、注視対象物に関する情報を蓄積する注視対象蓄積処理に関わる各種機能部として、視線認識部４１、抽出部４２、判別部４３、および、注視データ作成部４４を備えている。また、処理部４０は、運転者に提供する情報を表示装置１９に出力し、同表示装置１９を通じて運転者に対し情報を提供する提供処理に関わる各種機能部として、選択部４５、出力部４６、および、情報蓄積部４７を備えている。また、記憶部５０は、注視対象データベース５１と提供情報データベース５２とを備えている。

まず、注視対象蓄積処理に関わる各種機能部について説明する。
視線認識部４１は、視線カメラ１１からの画像情報に対して例えば角膜反射法や明暗瞳孔法を適用することにより、運転者の視線を算出する視線算出処理を行う。

抽出部４２は、視線算出処理により求められた視線の先に存在する対象物、すなわち運転者が目視している目視対象物を抽出する対象物抽出処理を行う。対象物抽出処理において、抽出部４２は、視線認識部４１が算出した視線を中心として例えば視角２．０度の範囲を運転者の視線エリアとし、この視線エリア内に少なくとも一部が位置している対象物を目視対象物として抽出する。

抽出部４２は、視線の先が車外カメラ１３の撮像領域内である場合には、車外カメラ１３の画像情報上における視線エリアの位置を算出するとともに、画像情報に対する画像認識処理により撮像領域内の対象物を種別ごと（例えば建物や道路標識）に検出する。

一方、抽出部４２は、視線の先が車両１０内である場合には、例えば車両１０の記憶装置に記憶されている電子マニュアルの車内情報に基づいて、車両１０内における視線エリアの位置を算出するとともに、車両１０内の対象物を種別ごと（例えば、警報ランプやディスプレイごと）に検出する。

判別部４３は、抽出部４２が抽出した目視対象物の各々について、運転者が注視している注視対象物であるか否かを判別する判別処理を行う。判別部４３は、視線エリア内に少なくとも一部が継続して位置している時間が判別時間（例えば０．２秒）であることを注視条件として有し、この注視条件を満たした目視対象物を注視対象物と判別する。

以下、抽出処理および判別処理の一例を示す。図２（ａ）はある時刻ｔ１に車外カメラ１３によって撮像された画像であり、図２（ｂ）は時刻ｔ１から判別時間だけ経過した時刻ｔ２における同画像である。図２（ａ）に示すように、時刻ｔ１において対象物６０、６１は、いずれもその一部が視線エリア５６内にあるため、目視対象物として抽出される。そして、図２（ｂ）に示すように、対象物６０は、時刻ｔ１から時刻ｔ２にかけて少なくともその一部が視線エリア５６に継続して位置しているため、すなわち注視条件を満たしているため、注視対象物と判別される。一方、対象物６１は、時刻ｔ１において少なくともその一部が視線エリア５６に位置していたものの、時刻ｔ２では視線エリア５６から外れているため、同時刻ｔ２では目視対象物として抽出されず、よって注視対象物とは判別されない。

注視データ作成部４４は、注視対象物に関する情報で構成される注視データを作成し、その作成した注視データを注視対象データベース５１に格納する、あるいは、注視対象データベース５１に格納した注視データを更新することにより注視データ作成処理を行う。注視データは、注視対象ＩＤ、注視開始時刻、注視終了時刻、注視カウント、相対位置情報、判定結果情報、対象物ＩＤ、および、対象物情報の８項目で構成されている。

注視対象ＩＤは、注視対象物と判別された対象物を識別するためのＩＤである。注視データ作成部４４は、判別部４３によって注視対象物と判別された対象物ごとに各別の注視対象ＩＤを付与する。

注視開始時刻は、注視条件が成立した時刻である。注視終了時刻は、注視対象物が視線エリアから外れた時刻である。注視データ作成部４４は、注視条件が成立した時刻を注視開始時刻に設定し、注視開始時刻の設定後に注視対象物が視線エリアから外れた時刻を注視終了時刻に設定する。また、注視データ作成部４４は、注視対象ＩＤが付与されている対象物が再び注視対象物と判別されると、その注視対象ＩＤに対応する注視データに対して注視開始時刻と注視終了時刻とを追加設定することにより注視データを更新する。

注視カウントは、注視対象物として判別された対象物を運転者が注視した回数を示している。注視データ作成部４４は、注視対象ＩＤが付与された対象物が再び注視対象物と判別されると、その対象物に対応する注視カウントをカウントアップすることにより注視データを更新する。

相対位置情報は、運転者と注視対象物との相対位置に関する情報である。注視データ作成部４４は、例えば、注視開始時刻における車両１０の位置情報、運転者の視線、および、車外カメラ１３の画像情報等を相対位置情報に設定する。

判定結果情報は、注視対象物と判別された対象物の種別が判明しているか否かを示しており、本実施形態では後述する対象物ＩＤが設定されているか否かを示している。注視データ作成部４４は、対象物ＩＤを設定できた場合には判定結果情報に「提供情報あり」を設定し、対象物ＩＤを設定できなかった場合には判定結果情報に「提供情報なし」を設定する。

対象物ＩＤは、注視対象物と判別された対象物ごとに付与されるＩＤであり、本実施形態では地図データ１４のＰＯＩ情報に登録されている施設ＩＤに対応するＩＤである。注視データ作成部４４は、車外カメラ１３の画像情報に対する画像認識処理によって検出された対象物が注視対象物である場合には、注視条件の成立時における車両１０の位置情報および運転者の視線に基づいて、注視対象物の地図上の座標である注視対象座標を演算する。そして注視データ作成部４４は、地図データ１４において注視対象座標にＰＯＩ情報が登録されている場合はその施設ＩＤに対応するＩＤを対象物ＩＤに設定し、注視対象座標にＰＯＩ情報が登録されていない場合は対象物ＩＤを設定しない。

対象物情報は、対象物の種別を示している。注視データ作成部４４は、対象物の種別が判明した場合にはその種別を対象物情報に設定し、対象物の種別が判明しない場合には対象物情報を設定しない。

対象物情報は、対象物ＩＤが設定されている場合は該対象物ＩＤに対応する施設ＩＤに基づく種別であり、対象物ＩＤが設定されていない場合は抽出部４２により検出される種別である。抽出部４２が検出する種別は、対象物が車両１０外にある場合は画像認識処理に基づく種別であり、例えば、建物、交通標識、看板、他車両、歩行者等が挙げられる。また、抽出部４２が検出する種別は、対象物が車両１０内にある場合は電子マニュアル等に車内情報に基づく種別であり、例えば、ルームミラー、ディスプレイ、エアコンやオーディオ等のスイッチ、警報ランプ、その他の機器等が挙げられる。

図３を参照して、注視対象蓄積処理の一例について説明する。注視対象蓄積処理は、イグニッションスイッチのオン操作により開始され、イグニッションスイッチのオフ操作まで所定の制御周期毎に繰り返し実行される。

図３に示すように、最初のステップＳ１０１において視線認識部４１は、視線カメラ１１からの画像情報に基づいて運転者の視線を算出する視線算出処理を行う。
次のステップＳ１０２において抽出部４２は、視線を中心とする視線エリアを設定して目視対象物を抽出する対象物抽出処理を行う。抽出部４２は、視線が車外カメラ１３の撮像領域である場合には、画像情報に対する画像認識処理により検出される対象物ごとに目視対象物を抽出する。また、抽出部４２は、視線が車両１０内である場合には、電子マニュアルの車内情報に基づく対象物ごとに目視対象物を抽出する。

次のステップＳ１０３において判別部４３は、目視対象物として抽出された対象物の各々について、注視条件に基づき注視対象物であるか否かを判別する判別処理を行う。注視条件が成立していない対象物（ステップＳ１０３：ＮＯ）については、一連の処理が終了する。一方、注視条件が成立している対象物（ステップＳ１０３：ＹＥＳ）については、ステップＳ１０４の注視データ作成処理が注視データ作成部４４により行われた後、一連の処理が終了する。

ステップＳ１０４において注視データ作成部４４は、注視対象物と判別された対象物に注視対象ＩＤが付与されていない場合には、注視データを新規に作成して注視対象データベース５１に格納する。具体的には、注視データ作成部４４は、対象物に対して注視対象ＩＤを付与するとともに、その注視対象ＩＤに関連付けて注視開始時刻、相対位置情報、判定結果情報、対象物ＩＤ、対象物情報を設定した注視データを作成して注視対象データベース５１に格納する。そして注視データ作成部４４は、対象物が視線エリアから外れると、未設定であった注視終了時刻を判別時刻として設定することにより注視データを更新する。

一方、注視データ作成部４４は、注視対象物と判別された対象物に注視対象ＩＤが付与されている場合には、その注視対象ＩＤに対応する注視カウントをカウントアップするとともに注視開始時刻および注視終了時刻を追加設定することにより、注視データを更新する。

こうした注視対象蓄積処理が繰り返し実行されることにより、注視対象データベース５１には、運転者が注視した注視対象物の識別情報と該注視対象物に関する情報とで構成された注視データが蓄積される。

次に、選択部４５、出力部４６、および、情報蓄積部４７について説明する。
選択部４５は、要求動作入力部１５を通じて情報制御装置３０に運転者による情報要求動作が入力されると、注視対象データベース５１に蓄積された注視対象物のなかから情報要求動作に応じた１以上の注視対象物を取得して提供候補に設定する。そして選択部４５は、その提供候補について提供可能条件が成立しているか否かを判断し、提供可能条件が成立している提供候補を提供対象として選択する。

出力部４６は、提供対象に選択された対象物に関する情報を表示装置１９に表示させるための信号を同表示装置１９に出力することにより、対象物に関する情報を表示装置１９に表示させる。

例えば、出力部４６は、提供対象の相対位置情報に基づいて注視開始時刻における車外カメラ１３の撮像画像を提供対象の対象物が強調された状態で表示装置１９に表示させる。また、出力部４６は、提供対象の対象物ＩＤに基づいて地図データ１４から提供対象の対象物のＰＯＩ情報を取得し、その取得したＰＯＩ情報を表示装置１９に表示させる。また、出力部４６は、提供対象の変更などについて運転者が操作可能なボタンも表示させる。

情報蓄積部４７は、出力部４６が提供した情報に関する提供データを作成し、その作成した提供データを提供情報データベース５２に格納する、あるいは、提供情報データベース５２に格納した提供データを更新することにより提供データを蓄積する。提供データは、提供ＩＤ、提供時刻、注視対象ＩＤ、および、選択フラグの４項目で構成されている。なお、提供データは、表示装置１９を通じて運転者に提供された注視データの履歴を参照する場合などに利用される。例えば、要求動作入力部１５を通じて注視データの履歴確認要求が検知されると、出力部４６は提供情報データベース５２から提供データを読み出し、その読み出された提供データを表示装置１９に出力する。そして、提供データが表示装置１９に表示されることで、運転者は過去に提供された注視データを確認することができるようになる。

提供ＩＤは、出力部４６が表示装置１９に出力した情報を識別するためのＩＤである。情報蓄積部４７は、出力部４６が表示装置１９に出力した情報に対して各別のＩＤを付与する。提供時刻は、出力部４６によって情報の出力が行われた時刻である。注視対象ＩＤは、選択部４５が選択した提供対象に設定されていた注視対象ＩＤである。選択フラグは、表示装置１９において複数の提供対象についての情報が提供されたときに、運転者によって選択された情報であるか否かを示すフラグである。

図４〜図７を参照して、表示装置１９を通じて運転者に対し情報を提供する提供処理の例について説明する。なお、提供処理の実行中、注視対象蓄積処理は行われない。
提供処理には、運転者の情報要求動作に応じた第１提供処理と第２提供処理とが含まれる。第１提供処理は、運転者の情報要求動作が直近の注視対象物に対する情報の提供を要求する第１情報要求動作である場合に実行される処理である。第２提供処理は、運転者の情報要求動作が第１提供処理で提供される注視対象物よりも前の注視対象物に対する情報の提供を要求する第２情報要求動作である場合に実行される処理である。

図４および図５を参照して第１提供処理について説明する。第１提供処理が開始される際の契機となる第１情報要求動作としては、例えば、「いまの何？」や「これ（あれ）何？」といった発話、直近の注視対象物の情報を要求するスイッチ１８Ａの操作などが挙げられる。

図４に示すように、最初のステップＳ２０１において選択部４５は、注視終了時刻の設定されていない注視データである注視継続データがあるか否かを判断する。すなわち、選択部４５は、注視条件が成立した後も引き続き運転者がその注視対象物を注視しているか否かを判断する。

注視継続データがない場合（ステップＳ２０１：ＮＯ）、すなわち第１情報要求動作の検知時における運転者の視線が注視対象物から逸れている場合、選択部４５はステップＳ２０２に移行する。

ステップＳ２０２において選択部４５は、注視対象データベース５１に蓄積されている注視対象物のなかから注視終了時刻が最も新しい注視対象物を取得して、その取得した注視対象物を提供候補に設定する。

したがって、図５の矢印に示すように運転者６３の視線エリア５６が注視対象物であった対象物６０上の位置から車両の前方へと移動した直後に第１情報要求動作がなされた場合、選択部４５は、その対象物６０を提供候補として選択する。このようにして提供候補となる注視対象物を選択した後、ステップ２０３に移行する。

一方、注視継続データがある場合（ステップＳ２０１：ＹＥＳ）、すなわち第１情報要求動作の検知時における運転者の視線エリアに注視対象物がある場合、選択部４５は、その注視対象物を提供候補に設定してステップＳ２０３に移行する。

ステップＳ２０３において選択部４５は、提供候補の注視データについて提供可能条件が成立しているか否かを判断する。提供可能条件は、対象物情報において対象物の種別が設定されていること、判定結果情報が「提供情報あり」に設定されていること、注視対象ＩＤが直近に運転者に提供した情報とは異なること、これらの３つ条件の全てが成立していることである。

提供候補の注視データについて提供可能条件が成立しない場合（ステップＳ２０３：ＮＯ）、選択部４５は、提供可能条件が成立する注視データを有する注視対象物が提供候補に設定されるまでステップＳ２０２とステップＳ２０３とを繰り返し実行する。なお、２回目以降のステップＳ２０２において、選択部４５は、注視対象データベース５１に蓄積されている注視対象物のうち、まだ提供候補として取得されていない注視対象物のなかから注視終了時刻が最も新しい注視対象物を提供候補に設定する。

一方、提供候補の注視データについて提供可能条件が成立する場合（ステップＳ２０３：ＹＥＳ）、選択部４５は、その提供候補を提供対象に選択してステップＳ２０４に移行する。

ステップＳ２０４において出力部４６は、提供対象の注視データに基づく情報を表示装置１９に表示させるための信号を同表示装置１９に出力する情報出力処理を行う。その結果、表示装置１９には、上述したように注視開始時刻における車外カメラ１３の撮像画像が提供対象の対象物を強調された状態で表示されるなど、提供対象の注視データに基づく種々の情報が表示されるとともに、提供対象の詳細情報の表示や提供対象の変更などについて運転者が操作可能なボタンが表示装置１９に表示される。

次のステップＳ２０５において情報蓄積部４７は、提供対象の注視データに基づいて提供データを作成し、その作成した提供データを提供情報データベース５２に格納することにより提供情報を蓄積する提供情報蓄積処理を行う。この提供情報蓄積処理が終了すると第１提供処理は終了する。
なお、第１提供処理の終了後、提供対象の変更を示すボタンが操作された場合、第１提供処理はステップＳ２０２の処理から再開される。

図６および図７を参照して第２提供処理について説明する。第２提供処理が開始される際の契機となる第２情報要求動作としては、例えば「さっきの何？」や「あれは何だったの？」といった発話、少し前の注視対象物の情報を要求するスイッチ１８Ｂの操作などが挙げられる。

図６に示すように、最初のステップＳ３０１において選択部４５は、注視対象データベース５１から複数の注視対象物を提供候補として取得する。選択部４５は、前回の提供時刻よりも後の時刻であり、かつ、現在の時刻から１０分以内の時刻を開始時刻、現在の時刻を終了時刻とする対象期間を設定する。そして選択部４５は、この対象期間中に注視終了時刻が設定された注視対象物を提供候補として取得する。

次のステップＳ３０２において選択部４５は、提供候補として取得した注視対象物の各々について提供可能条件の成否を確認する。そして選択部４５は、提供可能条件が成立していない注視対象物については提供候補から除外する。

次のステップＳ３０３において選択部４５は、提供候補のなかから提供対象を選択し、その選択した提供対象で構成される提供リストを作成する提供リスト作成処理を行う。提供リスト作成処理において選択部４５は、提供候補に優先順位を付与する。選択部４５は、各提供候補の注視データに基づいて、注視カウントが多いほど、また、注視開始時刻と注視終了時刻とに基づく累計注視時間が長いほど、また、車両１０の現在位置からの距離が近いほど優先順位を高くする。例えば、選択部４５は、注視カウント、累計注視時間、および、対象物からの距離をパラメーターに含む所定の演算式に各値を代入することにより各提供候補の優先順位を算出する。そして選択部４５は、優先順位の上位２つの提供候補を第１提供対象および第２提供対象として選択して提供リストを作成する。

次のステップＳ３０４において、出力部４６は、提供リストを表示装置１９に表示させるための信号を同表示装置１９に出力することにより、提供リストに関する情報を表示装置１９に表示させるリスト情報出力処理を行う。リスト情報提供処理において出力部４６は、第１提供対象の相対位置情報に基づいて、注視開始時刻における車外カメラ１３の撮像画像を第１提供対象の対象物が強調された状態で表示装置１９に表示させる。また、出力部４６は、第２提供対象の相対位置情報に基づいて、注視開始時刻における車外カメラ１３の撮像画像を第２提供対象の対象物が強調された状態で表示装置１９に表示させる。また、出力部４６は、運転者によって操作可能な第１ボタン、第２ボタン、および、第３ボタンも表示装置１９に表示させる。第１ボタンは、第１提供対象の詳細情報を表示させる場合に操作されるボタンである。第２ボタンは、第２提供対象の詳細情報を表示させる場合に操作されるボタンである。第３ボタンは、第１および第２提供対象とは異なる注視対象物の情報を要求する場合に操作されるボタンである。

次のステップＳ３０５において情報蓄積部４７は、第１および第２提供対象の各々について、提供ＩＤ、提供時刻、注視対象ＩＤ、および、選択フラグで構成される提供データを作成して提供情報データベース５２に格納する提供情報蓄積処理を行う。

次のステップＳ３０６において出力部４６は、ステップＳ３０４において表示装置１９に表示した操作ボタンからの操作信号に基づいて、第１提供対象あるいは第２提供対象が運転者によって選択されたか否かを判断する。

運転者によって第３ボタンが操作され、第１および第２提供対象の双方が選択されなかった場合（ステップＳ３０６：ＮＯ）、ステップＳ３０３の処理に戻って選択部４５による新たな提供リストを作成する提供リスト作成処理が行われる。この提供リスト作成処理において選択部４５は、提供対象に選択されていない提供候補のうちで優先順位の上位２つの提供候補を第１および第２提供対象とする提供リストを作成する。

一方、第１ボタンあるいは第２ボタンが操作され、運転者によってリスト内の提供対象が選択された場合（ステップＳ３０６：ＹＥＳ）、出力部４６は、ステップＳ３０７に移行する。ステップＳ３０７において出力部４６は、選択された提供対象の詳細情報として対象物ＩＤに基づくＰＯＩ情報を表示装置１９に表示させる信号を同表示装置１９に出力する。

次のステップＳ３０８において情報蓄積部４７は、運転者によって選択された提供対象の提供データについて、運転者によって選択されたことを示す値に選択フラグの値を設定する提供情報更新処理を行う。この提供情報更新処理が終了すると第２提供処理は終了する。

上述した第２提供処理によれば、図７（ａ）に示すように車外カメラ１３の撮像画像６５が示されるときに、運転者６３による第２情報要求動作を検知すると、情報制御装置３０は、注視対象データベース５１に蓄積されていた注視対象物から提供候補を取得して提供リストを作成する。そして、情報制御装置３０は、図７（ｂ）に示すように、表示装置１９に提供リスト６６を表示させる。提供リスト６６は、第１提供対象６７を含む車外カメラ１３の撮像画像６８、第２提供対象６９を含む車外カメラ１３の撮像画像７０、および、運転者によって操作可能な第１〜第３ボタン７１，７２，７３を含んで構成される。

そして情報制御装置３０は、第１ボタン７１が操作された場合には第１提供対象６７についての詳細情報を表示装置１９に表示させ、第２ボタン７２が操作された場合には第２提供対象６９についての詳細情報を表示装置１９に表示させる。また、情報制御装置３０は、第３ボタンが操作された場合には、新たな提供リストを表示装置１９に表示させる。

上記実施形態の情報制御装置３０によれば、以下に列挙する作用効果が得られる。
（１）第１情報要求動作を検知したときの運転者の視線が注視対象物ではないとき、選択部４５は、注視対象データベース５１に蓄積されている注視対象物のうち、注視終了時刻の最も新しい注視対象物を提供対象に選択する。その結果、第１情報要求動作を行ったときの運転者の視線が注視対象物から逸れている場合であっても、その注視対象物についての情報提供を行うことができる。

（２）第１情報要求動作を検知したときの運転者の視線が注視対象物であるとき、選択部４５は、その注視対象物を提供対象に選択する。その結果、第１情報要求動作を行ったときの運転者の視線が注視対象物である場合も、その注視対象物についての情報提供を行うことができる。

（３）判別部４３は、判別時間だけ視線エリア内に位置している目視対象物を注視対象物と判別する。これにより、目視対象物の全てが注視対象物と判別される場合に比べて、注視対象物を低減することができる。その結果、注視対象蓄積処理、および、提供処理にともなう処理部４０の負荷を軽減することができる。

（４）注視データ作成部４４が複数の注視対象物を注視対象データベース５１に蓄積することにより、第１提供処理のように直近の注視対象物だけに限らず、第２提供処理のように予め定めた対象期間における注視対象物についての情報提供を行うこともできる。

（５）第２提供処理において、選択部４５は、例えば注視回数や累計注視時間に基づいて提供候補に優先順位を付けて提供リストを作成した。これにより、運転者が情報提供を受けたい対象物が直近の注視対象物でなくとも、運転者の関心度が高いと想定される対象物を含む提供リストを提供できる。

（６）情報蓄積部４７は、運転者に対して情報を提供した注視対象物に関する提供データを提供情報データベース５２に蓄積する。これにより、運転者に提供された提供データの履歴を参照することができ、また、この提供情報データベース５２を活用することにより運転者が情報提供を受けたい対象物の傾向を把握することができるようにもなる。

なお、上記実施形態は、以下のように適宜変更して実施することもできる。
・第２提供処理の対象期間は、運転者の選択の傾向に応じて適宜変更可能である。例えば、対象期間は、第２提供処理において運転者が選択した提供対象の注視終了時刻に基づいて、該運転者が選択する頻度の最も高い時刻帯を中心とする開始時刻および終了時刻を有する期間に変更してもよい。

・情報制御装置３０は、第１提供処理のみに対応していてもよい。
・ＰＯＩ情報を格納した地図データ１４は、情報制御装置３０が備えていてもよい。
・情報制御装置３０は、情報伝達装置として、表示装置１９だけに限らず、スピーカ等を通じた音声によって運転者に対して情報を提供してもよいし、表示装置１９と音声とを組み合わせて情報を提供してもよい。

・第１情報要求動作は、直近の注視対象物に関する情報を要求することを示す特定の動作であればよく、上述した発話やスイッチ操作に限られるものではない。また、第２情報要求動作も、少し前の注視対象物に関する情報を要求することを示す特定の動作であればよく、上述した発話やスイッチ操作に限られるものではない。これらの第１および第２情報要求動作の各々は、例えば、車内カメラ１７の画像情報に対する画像処理により得られる運転者の特定の動作であってもよい。

・注視データの対象物ＩＤは、地図データ１４に格納されたＰＯＩ情報に対応するＩＤに限らず、例えば、抽出部４２が抽出した対象物の種別に対応するＩＤであってもよい。こうした構成によれば、例えば、運転者の視線が車両１０内である場合には、車両１０の有する電子マニュアル情報に対応するＩＤを対象物ＩＤとして付与することができる。その結果、運転者に対し、例えば警報ランプといった車内機器についての説明を情報として提供することができる。

・判別時刻は、注視終了時刻ではなく、注視開始時刻であってもよい。

１０…車両、１１…視線カメラ、１２…位置情報取得部、１３…車外カメラ、１４…地図データ、１５…要求動作入力部、１６…入力用マイク、１７…車内カメラ、１８Ａ，１８Ｂ…スイッチ、１９…表示装置、３０…情報制御装置、４０…処理部、４１…視線認識部、４２…抽出部、４３…判別部、４４…注視データ作成部、４５…選択部、４６…出力部、４７…情報蓄積部、５０…記憶部、５１…注視対象データ、５２…提供情報データ、５６…視線エリア、６０…対象物、６１…対象物、６３…運転者、６５…撮像画像、６６…提供リスト、６７…第１提供対象、６８…撮像画像、６９…第２提供対象、７０…撮像画像、７１…第１ボタン、７２…第２ボタン、７３…第３ボタン。

Claims (1)

1. 車両を運転する運転者の視線を認識する視線認識部と、
   前記視線の認識結果に基づいて運転者が目視している目視対象物を抽出する抽出部と、
   前記抽出部により抽出された目視対象物の各々について運転者が注視している注視対象物であるか否かを判別する判別部と、
   前記判別部により判別された複数の注視対象物を判別時刻と関連付けて記憶する記憶部と、
   運転者による情報要求動作を検知したことを契機に前記記憶部に記憶されている複数の注視対象物のうちから運転者への情報の提供対象となる注視対象物を選択する選択部と、
   運転者に情報を伝達する情報伝達装置に前記選択部が選択した注視対象物に関する情報を出力する出力部と、を備え、
   前記選択部は、
   前記情報要求動作を検知したときの前記目視対象物が注視対象物ではない場合には、前記記憶部に記憶されている注視対象物のうちから前記判別時刻が最も新しい注視対象物を選択する
   情報制御装置。