JP2022167920A - 運転用情報処理装置および運転用情報処理プログラム - Google Patents

Abstract

【課題】 車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる運転用情報処理装置および運転用情報処理プログラムを提供する。【解決手段】 シミュレーション対象車が進行方向を変更する直前の特定の期間においてバックミラーの鏡面の範囲に対する注視が運転者によって実行されなかった場合（Ｓ１０１でＮＯ）に、バックミラーによる安全確認を行っていないことを注意する通知をシミュレーションにおいて実行する（Ｓ１０２）ドライビングシミュレーターは、視線検出部によって検出された運転者の視線が特定の範囲に対して閾値時間継続して存在することを、特定の範囲に対する注視として扱い、視線検出部によって検出された視線が特定の範囲に対して閾値時間以下の時間継続して存在することと、視線検出部によって検出された視線が特定の範囲に対して存在しないこととを、特定の範囲に対する注視として扱わない。【選択図】 図３

Description

本発明は、車両の運転のための情報処理を実行する運転用情報処理装置および運転用情報処理プログラムに関する。

従来、車両の運転のための情報処理を実行する運転用情報処理装置として、車両の運転のシミュレーションを実行する視線検出機能付ヘッドマウントディスプレイシステムが知られている（例えば、特許文献１参照。）。この視線検出機能付ヘッドマウントディスプレイシステムは、運転のシミュレーションの実行中に車両の運転者の視線を検出し、検出した視線の位置を運転のシミュレーションの画像に同期して記憶装置に記憶することによって、運転のシミュレーションの終了後に、記憶装置から読み出した視線の位置と、運転のシミュレーションの画像とを重畳してモニターに表示させることができる。

特開２００１－１１７０４６号公報

しかしながら、従来の運転用情報処理装置においては、車両の運転者の視線が運転のシミュレーションの終了後に確認されるだけであるので、車両の運転のための情報処理において車両の運転者の視線が十分に活用されていないという問題がある。

そこで、本発明は、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる運転用情報処理装置および運転用情報処理プログラムを提供することを目的とする。

本発明の運転用情報処理装置は、車両の運転のための情報処理を実行する運転用情報処理装置であって、前記車両の運転者の視線を検出する視線検出部と、特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段とを備え、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して０秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。

この構成により、本発明の運転用情報処理装置は、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のバックミラーの鏡面の範囲、前記車両のドアミラーの鏡面の範囲、および、前記車両の左右の外側の、前記ドアミラー以外の範囲のいずれか１つであり、前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含んでも良い。

この構成により、本発明の運転用情報処理装置は、車両の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、前記運転に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。

この構成により、本発明の運転用情報処理装置は、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、前記運転者によって注視されるとわき見運転となる範囲であり、前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。

この構成により、本発明の運転用情報処理装置は、わき見運転をしないことに対する運転者の意識を向上することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のミラーによる鏡像における特定の対象の範囲であり、前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含んでも良い。

この構成により、本発明の運転用情報処理装置は、車両のミラーによる鏡像における対象に対する運転者の意識を向上することができる。

本発明の運転用情報処理装置において、前記特定の処理は、前記運転の安全性に関する通知を実行する処理であっても良い。

この構成により、本発明の運転用情報処理装置は、安全な運転に対する運転者の意識を向上することができる。

本発明の運転用情報処理装置において、前記情報処理は、前記運転のシミュレーションであり、前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であっても良い。

この構成により、本発明の運転用情報処理装置は、効果的なシミュレーションを実行することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、場所を示す範囲であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であっても良い。

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転の目的地を決定するので、利便性を向上することができる。

本発明の運転用情報処理装置において、前記特定の範囲は、交通規制に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であっても良い。

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転のルートを決定するので、利便性を向上することができる。

本発明の運転用情報処理装置において、前記情報処理は、前記車両の自動運転に関する処理であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であっても良い。

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して自動運転における回避の対象を決定するので、利便性を向上することができる。

本発明の運転用情報処理プログラムは、車両の運転のための情報処理を実行するための運転用情報処理プログラムであって、特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して０秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。

この構成により、本発明の運転用情報処理プログラムを実行するコンピューターは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。

本発明の運転用情報処理装置および運転用情報処理プログラムは、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。

本発明の第１の実施の形態に係るドライビングシミュレーターのブロック図である。 図１に示すコンピューターのブロック図である。 シミュレーション対象車が進行方向を変更する場合の図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 特定の範囲に対する注視が運転者によって実行されたと判断する場合の図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 シミュレーション対象車が進行方向を変更する場合の図１に示すドライビングシミュレーターの動作の、図３に示す例とは異なる一例を示すフローチャートである。 最高速度を制限する道路標識に対する図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 わき見運転に対する図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 ミラーによる鏡像の確認に対する図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 運転の目的地を決定する処理を実行する場合の図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 運転のルートを決定する処理を実行する場合の図１に示すドライビングシミュレーターの動作の一例を示すフローチャートである。 本発明の第２の実施の形態に係る手動運転支援装置のブロック図である。 本発明の第３の実施の形態に係る自動運転支援装置のブロック図である。 自動運転における回避の対象を決定する処理を実行する場合の図１２に示す自動運転支援装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る運転用情報処理装置としてのドライビングシミュレーターの構成について説明する。

図１は、本実施の形態に係るドライビングシミュレーターのブロック図である。

図１に示すドライビングシミュレーター１０は、車両としての自動車の運転のための情報処理として、自動車の運転のシミュレーションを実行する装置である。ドライビングシミュレーター１０は、シミュレーションの対象の自動車（以下「シミュレーション対象車」という。）を操作するための自動車操作装置２０と、シミュレーション対象車の運転者の頭部に装着されるヘッドマウントディスプレイ３０と、自動車操作装置２０およびヘッドマウントディスプレイ３０と通信可能なコンピューター４０とを備えている。

自動車操作装置２０は、例えば、操舵用のハンドルと、クラッチペダルと、アクセルペダルと、ブレーキペダルと、パーキングブレーキと、変速機の操作レバーと、方向指示器の操作装置とを備えている。

ヘッドマウントディスプレイ３０は、運転のシミュレーションの画像（以下「シミュレーション画像」という。）を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスとしての表示部３１と、表示部３１に表示されたシミュレーション画像における運転者の視線を検出する視線検出部３２とを備えている。ヘッドマウントディスプレイ３０としては、例えば、ＦＯＶＥ社の「ＦＯＶＥ ０」が採用されても良い。シミュレーション画像は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）のいずれで表現されても良い。なお、シミュレーション画像がＡＲおよびＭＲのいずれかで表現される場合、ヘッドマウントディスプレイ３０は、運転者の顔の前方を撮影するためのカメラを備える必要がある。

視線検出部３２による視線の検出の方法としては、視線を検出するための公知のいずれの方法が採用されても良い。

図２は、コンピューター４０のブロック図である。

図２に示すように、コンピューター４０は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部４１と、マイクロフォン４２と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部４３と、各種の情報を記憶する半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部４４と、コンピューター４０全体を制御する制御部４５とを備えている。コンピューター４０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）によって構成されても良い。

記憶部４４は、自動車の運転のシミュレーションを実行するための運転用情報処理プログラムとしての運転シミュレーションプログラム４４ａを記憶している。運転シミュレーションプログラム４４ａは、例えば、コンピューター４０の製造段階でコンピューター４０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリー、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの外部の記憶媒体からコンピューター４０に追加でインストールされても良いし、ネットワーク上からコンピューター４０に追加でインストールされても良い。

制御部４５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部４４に記憶されているプログラムを実行する。

制御部４５は、運転シミュレーションプログラム４４ａを実行することによって、運転シミュレーション手段４５ａを実現する。運転シミュレーション手段４５ａは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に、シミュレーションにおいて特定の処理を実行するので、本発明の特定処理実行手段を構成している。

なお、シミュレーション画像における注視の対象の候補の範囲は、注視の対象の候補毎に運転シミュレーションプログラム４４ａにおいて事前に設定されている。

次に、ドライビングシミュレーター１０の動作について説明する。

運転シミュレーション手段４５ａは、シミュレーション画像を表示部３１に表示するとともに、自動車操作装置２０に対する操作と、視線検出部３２によって検出された視線とをシミュレーションに反映する。また、運転シミュレーション手段４５ａは、現実の自動車の運転において運転者の顔の向きに応じて運転者の視界が変化することと同様に、運転者の顔の向きに応じて表示部３１に表示するシミュレーション画像を変化させる。

以下、視線検出部３２によって検出された視線がシミュレーションに反映される例について説明する。

まず、シミュレーション対象車が車線変更、左折、右折などのために進行方向を変更する場合のドライビングシミュレーター１０の動作について説明する。

図３は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、自動車操作装置２０に対する操作に応じてシミュレーション対象車が進行方向を変更する場合に、図３に示す動作を実行する。なお、運転シミュレーション手段４５ａは、例えば、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置２０に対して実行された場合に、図３に示す動作を実行しても良いし、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置２０に対して実行された後、シミュレーション対象車が進行方向の変更を実際に開始した場合に、図３に示す動作を実行しても良い。

図３に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、シミュレーション対象車のバックミラーの鏡面の範囲に対する注視が運転者によって実行されたか否かを判断する（Ｓ１０１）。

図４は、特定の範囲に対する注視が運転者によって実行されたと判断する場合のドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、シミュレーション画像における注視の対象の候補のうち、視線検出部３２によって検出された視線が候補自身の範囲に存在するものが変更される度に、図４に示す動作を実行する。

図４に示すように、運転シミュレーション手段４５ａは、シミュレーション画像における注視の対象の候補のうち、視線検出部３２によって検出された視線が候補自身の範囲に存在するものを、現在の候補として特定する（Ｓ１１１）。

次いで、運転シミュレーション手段４５ａは、視線検出部３２によって検出された視線が存在する範囲が現在の候補の範囲から変更されたか否かを判断する（Ｓ１１２）。

運転シミュレーション手段４５ａは、視線検出部３２によって検出された視線が存在する範囲が現在の候補の範囲から変更されていないとＳ１１２において判断すると、視線検出部３２によって検出された視線が現在の候補の範囲に対して継続して存在する時間を取得する（Ｓ１１３）。

次いで、運転シミュレーション手段４５ａは、Ｓ１１３において取得した時間が０秒を超える例えば１秒間などの特定の時間（以下「閾値時間」という。）を超えるか否かを判断する（Ｓ１１４）。

運転シミュレーション手段４５ａは、Ｓ１１３において取得した時間が閾値時間を超えないとＳ１１４において判断すると、Ｓ１１２の処理を実行する。

運転シミュレーション手段４５ａは、Ｓ１１３において取得した時間が閾値時間を超えるとＳ１１４において判断すると、現在の候補の範囲に対する注視が運転者によって実行されたと判断する（Ｓ１１５）。

運転シミュレーション手段４５ａは、視線検出部３２によって検出された視線が存在する範囲が現在の候補の範囲から変更されたとＳ１１２において判断するか、Ｓ１１５の処理を実行すると、図４に示す動作を終了する。

運転シミュレーション手段４５ａは、図４に示す動作を実行するので、視線検出部３２によって検出された視線が特定の範囲に対して閾値時間を超える時間継続して存在することを、この範囲に対する注視として扱い、視線検出部３２によって検出された視線がこの範囲に対して閾値時間以下の時間継続して存在することと、視線検出部３２によって検出された視線がこの範囲に対して存在しないこととを、この範囲に対する注視として扱わない。

図３に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されたとＳ１０１において判断すると、図３に示す動作を終了する。

運転シミュレーション手段４５ａは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとＳ１０１において判断すると、バックミラーによる安全確認を行っていないことを注意する通知を表示部３１によって実行して（Ｓ１０２）、図３に示す動作を終了する。

運転シミュレーション手段４５ａは、図３に示す動作に代えて、図５に示す動作を実行しても良い。

図５は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター１０の動作の、図３に示す例とは異なる一例を示すフローチャートである。

図５に示すように、運転シミュレーション手段４５ａは、Ｓ１０１の処理と同様の処理を実行する（Ｓ１２１）。

運転シミュレーション手段４５ａは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとＳ１２１において判断すると、シミュレーション対象車の後部または側部でシミュレーション対象車が他の車両と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させて（Ｓ１２２）、図５に示す動作を終了する。ここで、他の車両としては、例えば、自転車や、オートバイなどの自動車などが考えられる。

図５に示す動作においては、運転シミュレーション手段４５ａは、シミュレーション対象車が他の車両と衝突するという事態を発生させる。しかしながら、運転シミュレーション手段４５ａは、シミュレーション対象車が他の車両と衝突するという事態ではなく、シミュレーション対象車が他の車両と衝突しそうになるという事態を発生させても良い。

運転シミュレーション手段４５ａは、図５に示す動作において、図３に示す動作と同様に、バックミラーによる安全確認を行っていないことを注意する通知を更に実行しても良い。

図３および図５に示す動作においては、運転シミュレーション手段４５ａは、バックミラーの鏡面の範囲に対する注視が実行されたか否に基づいて図３または図５に示す動作を実行する。同様に、運転シミュレーション手段４５ａは、シミュレーション対象車の左右のドアミラーのうち、シミュレーション対象車が進行方向を変更する方のドアミラーの鏡面の範囲に対する注視が実行されたか否に基づいて、図３または図５に示す動作と同様な動作を実行しても良いし、シミュレーション対象車の左右の外側のうち、シミュレーション対象車が進行方向を変更する方の外側の、ドアミラー以外の範囲に対する注視が実行されたか否に基づいて、図３または図５に示す動作と同様な動作を実行しても良い。ここで、運転シミュレーション手段４５ａは、バックミラーの鏡面の範囲に対する注視と、ドアミラーの鏡面の範囲に対する注視と、シミュレーション対象車の左右の外側の、ドアミラー以外の範囲に対する注視とにおいて、閾値時間を異ならせても良い。

次に、運転に関する情報の通知部としての道路標識に対するドライビングシミュレーター１０の動作について説明する。

図６は、最高速度を制限する道路標識に対するドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、シミュレーション対象車が移動する場合に、図６に示す動作を実行する。

図６に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車が停止したか否かを判断する（Ｓ１３１）。

運転シミュレーション手段４５ａは、シミュレーション対象車が停止していないとＳ１３１において判断すると、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したか否かを判断する（Ｓ１３２）。ここで、道路標識は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。

運転シミュレーション手段４５ａは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したとＳ１３２において判断すると、この道路標識に示される最高速度を現在の制限速度として特定する（Ｓ１３３）。

運転シミュレーション手段４５ａは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過しなかったとＳ１３２において判断するか、Ｓ１３３の処理を実行すると、現在の制限速度を超える速度でシミュレーション対象車が走行しているか否かを判断する（Ｓ１３４）。

運転シミュレーション手段４５ａは、現在の制限速度を超える速度でシミュレーション対象車が走行しているとＳ１３４において判断すると、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたか否かを判断する（Ｓ１３５）。

運転シミュレーション手段４５ａは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたとＳ１３５において判断すると、速度違反を注意する通知を表示部３１によって実行する（Ｓ１３６）。

運転シミュレーション手段４５ａは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなかったとＳ１３５において判断すると、速度違反と、道路標識の確認を行っていないこととを注意する通知を表示部３１によって実行する（Ｓ１３７）。

運転シミュレーション手段４５ａは、現在の制限速度を超える速度でシミュレーション対象車が走行していないとＳ１３４において判断するか、Ｓ１３６またはＳ１３７の処理を実行すると、Ｓ１３１の処理を実行する。

運転シミュレーション手段４５ａは、シミュレーション対象車が停止したとＳ１３１において判断すると、図６に示す動作を終了する。

運転シミュレーション手段４５ａは、図６に示す動作において、道路標識の範囲に対する注視が運転者によって実行されなかった場合（Ｓ１３５でＮＯ）に、運転の安全性に関する通知を実行する（Ｓ１３４）。しかしながら、運転シミュレーション手段４５ａは、道路標識の範囲に対する注視が運転者によって実行されなかった場合に、図５に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。

なお、図６に示す動作は、運転に関する情報の通知部が、最高速度を制限する道路標識である場合の動作である。しかしながら、運転に関する情報の通知部は、シミュレーション対象車以外の部分に設置されているものであれば、最高速度を制限する道路標識以外の道路標識でも良いし、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板など、道路標識以外のものでも良い。

運転シミュレーション手段４５ａは、運転に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。

次に、わき見運転に対するドライビングシミュレーター１０の動作について説明する。

図７は、わき見運転に対するドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、シミュレーション対象車が移動する場合に、図７に示す動作を実行する。

図７に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車が停止したか否かを判断する（Ｓ１４１）。

運転シミュレーション手段４５ａは、シミュレーション対象車が停止していないとＳ１４１において判断すると、運転者によって注視されるとわき見運転となる範囲（以下「わき見範囲」という。）に対する注視が運転者によって実行されたか否かを判断する（Ｓ１４２）。ここで、わき見範囲としては、例えば、シミュレーション対象車の内部のカーナビゲーションシステムの範囲、シミュレーション対象車の内部の携帯端末の範囲などが考えられる。

運転シミュレーション手段４５ａは、わき見範囲に対する注視が運転者によって実行されたとＳ１４２において判断すると、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる（Ｓ１４３）。例えば、運転シミュレーション手段４５ａは、わき見範囲に対する注視が運転者によって実行された場合に、シミュレーション対象車が他の車両など、シミュレーション対象車以外の物と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良いし、シミュレーション対象車の前方への歩行者の飛び出しなど、シミュレーション対象車がシミュレーション対象車以外の物と衝突しそうになるという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良い。

運転シミュレーション手段４５ａは、わき見範囲に対する注視が運転者によって実行されなかったとＳ１４２において判断するか、Ｓ１４３の処理が終了すると、Ｓ１４１の処理を実行する。

運転シミュレーション手段４５ａは、シミュレーション対象車が停止したとＳ１４１において判断すると、図７に示す動作を終了する。

運転シミュレーション手段４５ａは、図７に示す動作において、わき見範囲に対する注視が運転者によって実行された場合（Ｓ１４２でＹＥＳ）に、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる（Ｓ１４３）。しかしながら、運転シミュレーション手段４５ａは、わき見範囲に対する注視が運転者によって実行された場合に、図３に示す動作のように、わき見運転を注意する通知など、運転の安全性に関する通知を実行しても良い。

運転シミュレーション手段４５ａは、わき見範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。

次に、バックミラー、ドアミラーなど、シミュレーション対象車のミラーによる鏡像の確認に対するドライビングシミュレーター１０の動作について説明する。

図８は、ミラーによる鏡像の確認に対するドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、運転者によるシミュレーション対象車の運転が開始された場合に、図８に示す動作を実行する。

図８に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したか否かを判断する（Ｓ１５１）。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了していないとＳ１５１において判断すると、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたか否かを判断する（Ｓ１５２）。ここで、ミラーによる鏡像において注視すべき対象としては、例えば、シミュレーション対象車以外の車両などが考えられる。

運転シミュレーション手段４５ａは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたとＳ１５２において判断すると、この対象に関連付けて管理するフラグを立った状態にする（Ｓ１５３）。ここで、運転シミュレーション手段４５ａは、ミラーによる鏡像において注視すべき対象毎にフラグを関連付けて管理する。ミラーによる鏡像において注視すべき対象に関連付けて管理されるフラグは、デフォルトでは倒れた状態である。

運転シミュレーション手段４５ａは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されなかったとＳ１５２において判断するか、Ｓ１５３の処理が終了すると、Ｓ１５１の処理を実行する。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したとＳ１５１において判断すると、今回のシミュレーションにおいてミラーによる鏡像において注視すべき対象のうち、立った状態のフラグが関連付けられているものの数を数える（Ｓ１５４）。

次いで、運転シミュレーション手段４５ａは、Ｓ１５４において数えた数に応じた、運転の安全性に関する通知を表示部３１によって実行する（Ｓ１５５）。例えば、運転シミュレーション手段４５ａは、今回のシミュレーションにおいてミラーによる鏡像における、注視すべき対象のうち、幾つの対象を注視したかを通知しても良い。

運転シミュレーション手段４５ａは、Ｓ１５５の処理の後、図８に示す動作を終了する。

運転シミュレーション手段４５ａは、図８に示す動作において、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する（Ｓ１５５）。しかしながら、運転シミュレーション手段４５ａは、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、図５に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。

運転シミュレーション手段４５ａは、ミラーによる鏡像において注視すべき対象の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。

次に、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター１０の動作について説明する。

図９は、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、運転者によるシミュレーション対象車の運転が開始された場合に、図９に示す動作を実行する。

図９に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したか否かを判断する（Ｓ１６１）。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了していないとＳ１６１において判断すると、場所を示す範囲に対する注視が運転者によって実行されたか否かを判断する（Ｓ１６２）。ここで、場所を示す範囲としては、例えば、シミュレーション対象車から離れた場所に描かれているテレビ塔など、シミュレーション画像において風景として描かれているランドマークなどが考えられる。また、場所を示す範囲としては、例えば、シミュレーション対象車以外の部分に設置されている、例えば道路標識などの通知部に記載されている地名などが考えられる。

運転シミュレーション手段４５ａは、場所を示す範囲に対する注視が運転者によって実行されたとＳ１６２において判断すると、この範囲によって示される場所を運転の目的地として決定するための条件（以下「目的地決定条件」という。）を満たしたか否かを判断する（Ｓ１６３）。ここで、目的地決定条件としては、例えば、場所を示す範囲に対する注視が例えば５秒間などの特定の時間を超えて運転者によって実行されること、目的地を決定するための特定の操作が操作部４１に入力されること、「目的地を決定する」などの特定の言葉がマイクロフォン４２に入力されることなどが考えられる。

運転シミュレーション手段４５ａは、目的地決定条件を満たしたとＳ１６３において判断すると、運転者によって注視が実行されたとＳ１６２において判断した範囲によって示される場所を運転の目的地として決定する（Ｓ１６４）。

運転シミュレーション手段４５ａは、場所を示す範囲に対する注視が運転者によって実行されなかったとＳ１６２において判断するか、目的地決定条件を満たしていないとＳ１６３において判断するか、Ｓ１６４の処理を実行すると、Ｓ１６１の処理を実行する。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したとＳ１６１において判断すると、図９に示す動作を終了する。

運転シミュレーション手段４５ａは、場所を示す範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。

次に、運転のルートを決定する処理を実行する場合のドライビングシミュレーター１０の動作について説明する。

図１０は、運転のルートを決定する処理を実行する場合のドライビングシミュレーター１０の動作の一例を示すフローチャートである。

運転シミュレーション手段４５ａは、運転者によるシミュレーション対象車の運転が開始された場合に、図１０に示す動作を実行する。

図１０に示すように、運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したか否かを判断する（Ｓ１７１）。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了していないとＳ１７１において判断すると、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたか否かを判断する（Ｓ１７２）。ここで、交通規制に関する情報の通知部は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。交通規制に関する情報の通知部としては、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板などが考えられる。

運転シミュレーション手段４５ａは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたとＳ１７２において判断すると、この範囲に含まれる情報に基づいて運転のルートを表示部３１によって提案する（Ｓ１７３）。例えば、運転シミュレーション手段４５ａは、標準のルートではなく、交通規制によって予測される渋滞を考慮した迂回ルートを提案する。

次いで、運転シミュレーション手段４５ａは、Ｓ１７３において提案したルートを運転のルートとして決定するための条件（以下「ルート決定条件」という。）を満たしたか否かを判断する（Ｓ１７４）。ここで、ルート決定条件としては、例えば、ルートを決定するための特定の操作が操作部４１に入力されること、「ルートを決定する」などの特定の言葉がマイクロフォン４２に入力されることなどが考えられる。

運転シミュレーション手段４５ａは、ルート決定条件を満たしたとＳ１７４において判断すると、Ｓ１７３において提案したルートを運転のルートとして決定する（Ｓ１７５）。

運転シミュレーション手段４５ａは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとＳ１７２において判断するか、ルート決定条件を満たしていないとＳ１７４において判断するか、Ｓ１７５の処理を実行すると、Ｓ１７１の処理を実行する。

運転シミュレーション手段４５ａは、シミュレーション対象車の運転が終了したとＳ１７１において判断すると、図１０に示す動作を終了する。

なお、運転シミュレーション手段４５ａは、図１０に示す動作において、運転のルートを運転者の指示に応じて決定する（Ｓ１７３～Ｓ１７５）。しかしながら、運転シミュレーション手段４５ａは、運転者によって注視が実行されたとＳ１７２において判断した範囲に含まれる情報に基づいて運転のルートを自動で決定しても良い。

運転シミュレーション手段４５ａは、交通規制に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。

以上に説明したように、ドライビングシミュレーター１０は、特定の範囲に対する注視が運転者によって実行されなかったという条件を含む特定の条件を満たす場合（Ｓ１０１でＮＯ、Ｓ１２１でＮＯ、または、Ｓ１３５でＮＯ）に、自動車の運転のシミュレーションにおいて特定の処理を実行する（Ｓ１０２、Ｓ１２２またはＳ１３７）。また、ドライビングシミュレーター１０は、特定の範囲に対する注視が運転者によって実行されたという条件を含む特定の条件を満たす場合（Ｓ１４２でＹＥＳ、Ｓ１５２でＹＥＳ、Ｓ１６２でＹＥＳ、または、Ｓ１７２でＹＥＳ）に、自動車の運転のシミュレーションにおいて特定の処理を実行する（Ｓ１４３、Ｓ１５５、Ｓ１６４またはＳ１７５）。したがって、ドライビングシミュレーター１０は、自動車の運転のシミュレーションにおいて運転者の視線を従来より有効に活用することができる。

ドライビングシミュレーター１０は、図３に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき（Ｓ１０１でＮＯ）に、運転の安全性に関する通知を実行する（Ｓ１０２）ので、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、運転者がシミュレーション対象車を左折させしようとしてバックミラーによる安全確認を行い、シミュレーション対象車を減速し、シミュレーション対象車の左の外側の、ドアミラー以外の範囲の安全確認を行ったものの、左のドアミラーによる安全確認を怠ったために、シミュレーション対象車の左後方からシミュレーション対象車に接近したオートバイに気付かずに、シミュレーション対象車の左折をハンドルによって操作した場合に、シミュレーション対象車がこのオートバイと衝突するという事態が発生したとき、ドライビングシミュレーター１０は、左のドアミラーによる安全確認を行っていないことを注意する通知を表示部３１によって実行することによって、シミュレーション対象車を左折する場合の運転者の安全確認の意識を向上することができる。

ドライビングシミュレーター１０は、図５に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき（Ｓ１２１でＮＯ）に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる（Ｓ１２２）ので、効果的なシミュレーションを実行することができるとともに、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。

ドライビングシミュレーター１０は、図６に示す動作を実行する場合、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとき（Ｓ１３５でＮＯ）に、運転の安全性に関する通知を実行する（Ｓ１３７）ので、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、最高速度が時速６０ｋｍであった状態において、最高速度を時速５０ｋｍに制限する道路標識の近傍をシミュレーション対象車が通過した場合に運転者が時速５０ｋｍを超える速度でシミュレーション対象車を走行させ続けたとき、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなければ、ドライビングシミュレーター１０は、道路標識の確認を行っていないことを注意する通知を実行する。

ドライビングシミュレーター１０は、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させるとき、効果的なシミュレーションを実行することができるとともに、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。

ドライビングシミュレーター１０は、図７に示す動作を実行する場合、わき見範囲に対する注視が運転者によって実行されたとき（Ｓ１４２でＹＥＳ）に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる（Ｓ１４３）ので、効果的なシミュレーションを実行することができるとともに、わき見運転をしないことに対する運転者の意識を向上することができる。例えば、ドライビングシミュレーター１０は、シミュレーション対象車の計器類の近傍に設置されている携帯ホルダーに置いてある携帯端末にメッセージを受信させ、このメッセージを運転者が見た場合に、メッセージを運転者が見た瞬間にシミュレーション対象車の前方への歩行者の飛び出しを発生させることによって、リアルな体験として運転者をひやりとさせることができ、わき見運転をしないことに対する運転者の意識を向上することができる。

ドライビングシミュレーター１０は、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を実行するとき、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。

ドライビングシミュレーター１０は、図８に示す動作を実行する場合、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する（Ｓ１５５）ので、運転中の運転者の通常の視界内で運転者が自動車のミラーを介さずに直接見ることができる対象ではなく、ミラーによる鏡像における対象に対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。

ドライビングシミュレーター１０は、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる場合、効果的なシミュレーションを実行することができるとともに、通常視界外の対象に対する運転者の意識を向上することができる。

ドライビングシミュレーター１０は、運転者の視線を活用して運転の目的地を決定したり（Ｓ１６４）、運転のルートを決定したり（Ｓ１７５）するので、利便性を向上することができる。

なお、シミュレーション画像を表示する表示デバイスは、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。

シミュレーション画像における運転者の視線を検出する視線検出部は、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る運転用情報処理装置としての手動運転支援装置の構成について説明する。

図１１は、本実施の形態に係る手動運転支援装置２１０のブロック図である。

図１１に示す手動運転支援装置２１０は、運転手によって運転される図示していない自動車に搭載されて、運転手による自動車の運転を支援する装置である。手動運転支援装置２１０は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部２１１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部２１２と、運転者の顔の前方を撮影するためのカメラ２１３と、運転者の視線を検出する視線検出部２１４と、マイクロフォン２１５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２１６と、各種の情報を記憶する半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部２１７と、手動運転支援装置２１０全体を制御する制御部２１８とを備えている。手動運転支援装置２１０は、手動運転支援装置２１０を搭載する自動車などの外部の装置と通信部２１６を介して通信可能である。

表示部２１２、カメラ２１３および視線検出部２１４は、第１の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部２１２、カメラ２１３および視線検出部２１４がヘッドマウントディスプレイによって実現される場合、表示部２１２に表示される画像は、ＡＲおよびＭＲのいずれかで表現される。

記憶部２１７は、運転者による自動車の運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての手動運転支援プログラム２１７ａを記憶している。手動運転支援プログラム２１７ａは、例えば、手動運転支援装置２１０の製造段階で手動運転支援装置２１０にインストールされていても良いし、ＵＳＢメモリー、ＣＤ、ＤＶＤなどの外部の記憶媒体から手動運転支援装置２１０に追加でインストールされても良いし、ネットワーク上から手動運転支援装置２１０に追加でインストールされても良い。

制御部２１８は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部２１７に記憶されているプログラムを実行する。すなわち、手動運転支援装置２１０は、コンピューターである。

制御部２１８は、手動運転支援プログラム２１７ａを実行することによって、手動運転支援手段２１８ａを実現する。手動運転支援手段２１８ａは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に、運転者による自動車の運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。

なお、手動運転支援手段２１８ａは、カメラ２１３によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ２１３によって撮影された画像における注視の対象の候補の範囲を特定する。

次に、手動運転支援装置２１０の動作について説明する。

手動運転支援手段２１８ａは、運転シミュレーション手段４５ａ（図２参照。）と同様に、自動車が進行方向を変更する直前の特定の期間において、自動車のバックミラーの鏡面の範囲、自動車のドアミラーの鏡面の範囲、自動車の左右の外側の、ドアミラー以外の範囲など、特定の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部２１２によって実行することによって、自動車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。

手動運転支援手段２１８ａは、運転シミュレーション手段４５ａと同様に、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部２１２によって実行することによって、自動車以外の部分に設置されている、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。

手動運転支援手段２１８ａは、運転シミュレーション手段４５ａと同様に、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を表示部２１２によって実行することによって、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。

手動運転支援手段２１８ａは、運転シミュレーション手段４５ａと同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。手動運転支援手段２１８ａは、決定した目的地およびルートを、自動車の内部のカーナビゲーションシステムに入力する。

手動運転支援手段２１８ａは、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部２１６を介してインターネット上から検索して検索結果を表示部２１２に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部２１６を介してインターネット上から検索して検索結果を表示部２１２に表示したりしても良い。

手動運転支援手段２１８ａは、カメラ２１３によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。例えば、手動運転支援手段２１８ａは、運転者によって注視が実行された４点で囲まれた範囲を保存しても良い。

（第３の実施の形態）
まず、本発明の第３の実施の形態に係る運転用情報処理装置としての自動運転支援装置の構成について説明する。

図１２は、本実施の形態に係る自動運転支援装置３１０のブロック図である。

図１２に示す自動運転支援装置３１０は、自動運転を実行する図示していない自動車に搭載されて、自動車による自動運転を支援する装置である。自動運転支援装置３１０は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部３１１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部３１２と、運転者の顔の前方を撮影するためのカメラ３１３と、運転者の視線を検出する視線検出部３１４と、マイクロフォン３１５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３１６と、各種の情報を記憶する半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３１７と、自動運転支援装置３１０全体を制御する制御部３１８とを備えている。自動運転支援装置３１０は、自動運転支援装置３１０を搭載する自動車などの外部の装置と通信部３１６を介して通信可能である。

表示部３１２、カメラ３１３および視線検出部３１４は、第１の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部３１２、カメラ３１３および視線検出部３１４がヘッドマウントディスプレイによって実現される場合、表示部３１２に表示される画像は、ＡＲおよびＭＲのいずれかで表現される。

記憶部３１７は、自動車による自動運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての自動運転支援プログラム３１７ａを記憶している。自動運転支援プログラム３１７ａは、例えば、自動運転支援装置３１０の製造段階で自動運転支援装置３１０にインストールされていても良いし、ＵＳＢメモリー、ＣＤ、ＤＶＤなどの外部の記憶媒体から自動運転支援装置３１０に追加でインストールされても良いし、ネットワーク上から自動運転支援装置３１０に追加でインストールされても良い。

制御部３１８は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３１７に記憶されているプログラムを実行する。すなわち、自動運転支援装置３１０は、コンピューターである。

制御部３１８は、自動運転支援プログラム３１７ａを実行することによって、自動運転支援手段３１８ａを実現する。自動運転支援手段３１８ａは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に、自動車による自動運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。

なお、自動運転支援手段３１８ａは、カメラ３１３によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ３１３によって撮影された画像における注視の対象の候補の範囲を特定する。

次に、自動運転支援装置３１０の動作について説明する。

自動運転支援装置３１０は、自動運転における回避の対象を決定することができる。以下、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置３１０の動作について説明する。

図１３は、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置３１０の動作の一例を示すフローチャートである。

自動運転支援手段３１８ａは、自動車による自動運転が開始された場合に、図１３に示す動作を実行する。

図１３に示すように、自動運転支援手段３１８ａは、自動運転が終了したか否かを判断する（Ｓ３２１）。

自動運転支援手段３１８ａは、自動運転が終了していないとＳ３２１において判断すると、特定の範囲に対する注視が運転者によって実行されたか否かを判断する（Ｓ３２２）。

自動運転支援手段３１８ａは、特定の範囲に対する注視が運転者によって実行されたとＳ３２２において判断すると、この範囲を自動運転における回避の対象として決定し（Ｓ３２３）、Ｓ３２３において決定した対象を、自動運転における回避の対象として自動車の自動運転システムに入力する（Ｓ３２４）。

自動運転支援手段３１８ａは、特定の範囲に対する注視が運転者によって実行されなかったとＳ３２２において判断するか、Ｓ３２４の処理が終了すると、Ｓ３２１の処理を実行する。

自動運転支援手段３１８ａは、自動運転が終了したとＳ３２１において判断すると、図１３に示す動作を終了する。

以上に説明したように、自動運転支援装置３１０は、自動車の運転者の視線を活用して自動運転における回避の対象を決定する（Ｓ３２３）ので、利便性を向上することができる。

自動運転支援手段３１８ａは、手動運転支援手段２１８ａ（図１１参照。）と同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。自動運転支援手段３１８ａは、決定した目的地およびルートを、自動車の自動運転システムに入力する。

自動運転支援手段３１８ａは、手動運転支援手段２１８ａと同様に、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部３１６を介してインターネット上から検索して検索結果を表示部３１２に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部３１６を介してインターネット上から検索して検索結果を表示部３１２に表示したりしても良い。

自動運転支援手段３１８ａは、手動運転支援手段２１８ａと同様に、カメラ３１３によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。

上述した各実施の形態においては、車両の運転について説明している。しかしながら、本発明は、船舶の操縦、航空機の操縦など、車両以外の乗物の操作についても応用可能である。

なお、本発明は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）およびＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ）といった任意の現実感技術の総称であるｘＲ技術に応用することができるように構成されても良い。

１０ ドライビングシミュレーター（運転用情報処理装置）
３１ 表示部（表示デバイス）
３２ 視線検出部
４０ コンピューター
４４ａ 運転シミュレーションプログラム（運転用情報処理プログラム）
４５ａ 運転シミュレーション手段（特定処理実行手段）
２１０ 手動運転支援装置（運転用情報処理装置、コンピューター）
２１４ 視線検出部
２１７ａ 手動運転支援プログラム（運転用情報処理プログラム）
２１８ａ 手動運転支援手段（特定処理実行手段）
３１０ 自動運転支援装置（運転用情報処理装置、コンピューター）
３１４ 視線検出部
３１７ａ 自動運転支援プログラム（運転用情報処理プログラム）
３１８ａ 自動運転支援手段（特定処理実行手段）

Claims (11)

1. 車両の運転のための情報処理を実行する運転用情報処理装置であって、
   前記車両の運転者の視線を検出する視線検出部と、
   特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段と
   を備え、
   前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して０秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理装置。
2. 前記特定の範囲は、前記車両のバックミラーの鏡面の範囲、前記車両のドアミラーの鏡面の範囲、および、前記車両の左右の外側の、前記ドアミラー以外の範囲のいずれか１つであり、
   前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含むことを特徴とする請求項１に記載の運転用情報処理装置。
3. 前記特定の範囲は、前記運転に関する情報の通知部の範囲であり、
   前記通知部は、前記車両以外の部分に設置されており、
   前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項１に記載の運転用情報処理装置。
4. 前記特定の範囲は、前記運転者によって注視されるとわき見運転となる範囲であり、
   前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項１に記載の運転用情報処理装置。
5. 前記特定の範囲は、前記車両のミラーによる鏡像における特定の対象の範囲であり、
   前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含むことを特徴とする請求項１に記載の運転用情報処理装置。
6. 前記特定の処理は、前記運転の安全性に関する通知を実行する処理であることを特徴とする請求項１から請求項５までのいずれかに記載の運転用情報処理装置。
7. 前記情報処理は、前記運転のシミュレーションであり、
   前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、
   前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、
   前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であることを特徴とする請求項１から請求項５までのいずれかに記載の運転用情報処理装置。
8. 前記特定の範囲は、場所を示す範囲であり、
   前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
   前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であることを特徴とする請求項１に記載の運転用情報処理装置。
9. 前記特定の範囲は、交通規制に関する情報の通知部の範囲であり、
   前記通知部は、前記車両以外の部分に設置されており、
   前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
   前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であることを特徴とする請求項１に記載の運転用情報処理装置。
10. 前記情報処理は、前記車両の自動運転に関する処理であり、
    前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
    前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であることを特徴とする請求項１に記載の運転用情報処理装置。
11. 車両の運転のための情報処理を実行するための運転用情報処理プログラムであって、
    特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか１つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、
    前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して０秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理プログラム。

Images