JP2013218671A

JP2013218671A - 運転支援装置および運転支援方法

Info

Publication number: JP2013218671A
Application number: JP2013041039A
Authority: JP
Inventors: Takeshi Shiotani; 武司塩谷; Junya Inada; 純也稲田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-03-14
Filing date: 2013-03-01
Publication date: 2013-10-24
Anticipated expiration: 2033-03-01
Also published as: WO2013136740A1; DE112013001472T5; JP5630518B2; KR101562877B1; CN104169993B; KR20140126401A; US20150010207A1; US9317759B2; CN104169993A

Abstract

【課題】運転者が注視した注視対象の表示を運転者が所望するときに適切に行う
【解決手段】車両の運転者の顔を連続して撮影して、顔画像データを取得する（Ｓ１０）とともに、車両の前方の風景を連続して撮影して、前景画像データを取得し（Ｓ２０）、顔画像データを用いて、運転者の視線方向を検出する（Ｓ３０）とともに、視線方向に基づいて、運転者が注視している注視領域ＧＲを設定する（Ｓ９０）。またＨＵＤ装置は、取得された前景画像データのうち、注視領域ＧＲ内の画像データを、運転者が視認可能な位置に配置された表示画面領域に表示する。そして、視線を表示画面領域ＤＲに向ける動作を運転者が行ったと判断した場合に（Ｓ４０：ＹＥＳ）、注視領域ＧＲ内の画像データの表示を開始させる（Ｓ５０，Ｓ１１０，Ｓ１３０，Ｓ１４０）。
【選択図】図３

Description

本発明は、車両の運転者を支援するための画像を表示する運転支援装置および運転支援方法に関する。

従来、車両の運転者の視線を検出し、検出した視線の方向に基づいて、運転者が視線を向けた注視対象を撮影し、この撮影画像を、運転者の前方に設けられた表示画面に拡大表示することで、運転者を支援する運転支援装置が知られている（例えば、特許文献１を参照）。

特開２００９−４３００３号公報

しかし、上記特許文献１に記載の運転支援装置では、運転者が注視対象の拡大表示を希望することなく車両前方の風景を注視している場合にも、無駄に注視対象が拡大表示されてしまうことがあるという問題があった。

本発明は、こうした問題に鑑みてなされたものであり、運転者が注視した注視対象の表示を運転者が所望するときに適切に行うことができる技術を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の運転支援装置では、まず顔画像撮影手段が、車両の運転者の顔を連続して撮影して、顔画像を取得し、その後に視線方向検出手段が、顔画像撮影手段により取得された顔画像を用いて、運転者の視線方向を検出するとともに、注視領域設定手段が、視線方向検出手段により検出された視線方向に基づいて、運転者が注視している注視領域を設定する。

そして視線動作判断手段が、視線方向検出手段による検出結果に基づいて、運転者が視線を動かす動作と、表示手段による表示の開始を指示するために予め設定された表示開始指示動作とが一致するか否かを判断し、表示開始手段が、運転者が視線を動かす動作と表示開始指示動作とが一致すると視線動作判断手段が判断した場合に、注視領域設定手段により設定された注視領域に応じて予め設定された内容の表示情報の表示を、運転者が視認可能な位置に配置された表示画面を有する表示手段に開始させる。

このように構成された運転支援装置では、表示開始指示動作と一致するように運転者が視線を動かす動作を行うことにより、運転者が注視していた注視領域に応じて予め設定された内容の表示情報が、運転者により視認可能な位置に配置された表示画面に表示される。すなわち、注視領域に応じた内容の表示情報を表示画面に表示するためには、運転者が或る領域を注視するだけではなく、注視した後に予め設定された表示開始指示動作と一致するように視線を動かす必要がある。このため、ただ単に或る領域を注視している場合に注視領域が表示画面に表示されるということはなく、注視領域に応じた内容の表示情報の表示を運転者が所望するときに適切に行うことができる。

また請求項１４に記載の運転支援方法では、まず顔画像撮影手順で、車両の運転者の顔を連続して撮影して、顔画像を取得し、その後に視線方向検出手順で、顔画像撮影手順により取得された顔画像を用いて、運転者の視線方向を検出するとともに、注視領域設定手順で、視線方向検出手順により検出された視線方向に基づいて、運転者が注視している注視領域を設定する。

そして視線動作判断手順で、視線方向検出手順による検出結果に基づいて、運転者が視線を動かす動作と、表示の開始を指示するために予め設定された表示開始指示動作とが一致するか否かを判断し、表示開始手順で、運転者が視線を動かす動作と表示開始指示動作とが一致すると視線動作判断手順が判断した場合に、注視領域設定手順により設定された注視領域に応じて予め設定された内容の表示情報を、運転者が視認可能な位置に配置された表示画面に表示させる。

この運転支援方法は、請求項１に記載の運転支援装置にて実行される方法であり、当該方法を実行することで、請求項１に記載の運転支援装置と同様の効果を得ることができる。

運転支援装置１の概略構成を示すブロック図である。ウインドシールド内での表示画面領域ＤＲの配置を示す図である。第１実施形態の表示処理を示すフローチャートである。前景画像データ内での注視領域ＧＲを示す図である。第２実施形態の表示処理を示すフローチャートである。第２実施形態の表示調整処理を示すフローチャートである。第３実施形態の表示処理を示すフローチャートである。第３実施形態の表示調整処理を示すフローチャートである。第４実施形態の表示調整処理を示すフローチャートである。表示画面領域ＤＲ内での表示画像のスクロールを示す図である。第５実施形態の表示処理の前半部分を示すフローチャートである。第５実施形態の表示処理の後半部分を示すフローチャートである。運転支援装置１０１の概略構成を示すブロック図である。車室内から車両前方を眺めたときの状況を示す図である。第６実施形態の表示処理の前半部分を示すフローチャートである。第６実施形態の表示処理の後半部分を示すフローチャートである。第７実施形態の表示処理の前半部分を示すフローチャートである。

（第１実施形態）
以下に本発明の第１実施形態について図面とともに説明する。
運転支援装置１は、車両に搭載され、図１に示すように、ＩＲ−ＬＥＤ２とカメラ３，５と画像キャプチャーボード４，６とヘッドアップディスプレイ装置（以下、ＨＵＤ装置という）７と制御部８とを備えている。

ＩＲ−ＬＥＤ２は、車両の運転席に座っている人（以下、運転者という）の顔に向けて近赤外光を照射する。カメラ３は、近赤外線カメラであり、運転者の顔を連続して撮影する。なお以下、カメラ３が撮影することにより取得された画像データを顔画像データという。また画像キャプチャーボード４は、カメラ３により取得された顔画像データを一時的に記憶する。

カメラ５は、運転者がウインドシールド越しに視認可能な自車両前方の風景（以下、前景ともいう）を連続して撮影する。なお以下、カメラ５が撮影することにより取得された画像データを前景画像データという。画像キャプチャーボード６は、カメラ５により取得された前景画像データを一時的に記憶する。

ＨＵＤ装置７は、画像を表示するための表示光を、ウインドシールドの下方からウインドシールドに向けて照射する。これにより、運転者は、その投影された虚像を車両前方の実際の風景に重ねて視認することになる。なおＨＵＤ装置７は、ウインドシールドの下側に設けられた矩形状の表示画面領域ＤＲに画像を表示する（図２を参照）。

制御部８は、画像キャプチャーボード４，６からの入力に応じて各種処理を実行し、カメラ３，５により撮影された画像を用いてＨＵＤ装置７を制御する。なお制御部８には、運転支援装置１が搭載された車両の走行速度を検出する車速センサ９からの検出信号が入力される。

このように構成された運転支援装置１において、制御部８は、ウインドシールド上に設けられた表示画面領域ＤＲに画像を表示するための表示処理を実行する。この表示処理は、運転支援装置１の動作中において繰り返し実行される処理である。

この表示処理が実行されると、制御部８は、図３に示すように、まずＳ１０にて、カメラ３により撮影されて画像キャプチャーボード４に記憶された顔画像データの中から、制御部８が取得していない顔画像データを画像キャプチャーボード４から取得する。またＳ２０にて、カメラ５により撮影されて画像キャプチャーボード６に記憶された前景画像データの中から、制御部８が取得していない前景画像データを画像キャプチャーボード６から取得する。

そしてＳ３０にて、画像キャプチャーボード４から取得した顔画像データを用いて、運転者の顔向き方向と視線方向を検出する。具体的には、まず、顔形状モデルを用いて、画像キャプチャーボード４から取得した顔画像データのフィッティングを行うことにより、運転者の顔向き方向を検出する。顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状と、基本形状からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトルを用いて計算することにより、人間の顔の形状を表現する手法である（例えば、「Takahiro Ishikawa, Simon Baker, Iain Matthews, and Takeo Kanade, "Passive Driver Gaze Tracking with Active Appearance Models", Proceedings of the 11th World Congress on Intelligent Transportation Systems, October, 2004.」を参照）。また、顔形状モデルを用いた上記フィッティングによって、顔画像データから運転者の眼を抽出し、抽出した眼について画像認識処理（例えばパターンマッチング）を行うことにより、運転者の視線方向を検出する。

その後Ｓ４０にて、Ｓ３０での検出結果に基づいて、運転者の視線が表示画面領域ＤＲに向けられているか否かを判断する。ここで、運転者の視線が表示画面領域ＤＲに向けられている場合には（Ｓ４０：ＹＥＳ）、Ｓ５０にて、表示指示フラグＦ１をセットし、Ｓ１１０に移行する。一方、運転者の視線が表示画面領域ＤＲに向けられていない場合には（Ｓ４０：ＮＯ）、Ｓ６０にて、表示指示フラグＦ１をクリアする。

さらにＳ７０にて、Ｓ３０での検出結果に基づいて、運転者の視線が車両外に向けられているか否かを判断する。ここで、運転者の視線が車両外に向けられていない場合には（Ｓ７０：ＮＯ）、Ｓ８０にて、注視フラグＦ２をクリアして、Ｓ１１０に移行する。

一方、運転者の視線が車両外に向けられている場合には（Ｓ７０：ＹＥＳ）、Ｓ９０にて、Ｓ３０での検出結果に基づいて、運転者が注視している注視領域ＧＲを前景画像データ内に設定する。具体的には、図４に示すように、運転者の視線方向に基づいて、前景画像データ内において運転者が注視している注視点ＧＰを決定し、この注視点ＧＰを中心とする予め設定された矩形状の領域を注視領域ＧＲとする。その後、図３に示すように、Ｓ１００にて、注視フラグＦ２をセットして、Ｓ１１０に移行する。

そしてＳ１１０に移行すると、表示指示フラグＦ１および注視フラグＦ２がセットされているか否かを判断する。ここで、表示指示フラグＦ１および注視フラグＦ２がセットされていない場合には（Ｓ１１０：ＮＯ）、表示処理を一旦終了する。一方、表示指示フラグＦ１および注視フラグＦ２がセットされている場合には（Ｓ１１０：ＹＥＳ）、Ｓ１２０にて、Ｓ３０の処理で抽出した眼の形状に基づいて、運転者がウィンクしたか否かを判断する。

ここで、運転者がウィンクした場合には（Ｓ１２０：ＹＥＳ）、Ｓ１３０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された動画表示時間（例えば５秒）が経過するまで、注視領域ＧＲ内の前景画像データをＨＵＤ装置７に動画表示させて、表示処理を一旦終了する。一方、運転者がウィンクしていない場合には（Ｓ１２０：ＮＯ）、Ｓ１４０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された静止画表示時間（例えば５秒）が経過するまで、運転者の視線が表示画面領域ＤＲに向けられた時点における注視領域ＧＲ内の前景画像データをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。

このように構成された運転支援装置１では、まず、車両の運転者の顔を連続して撮影して、顔画像データを取得する（Ｓ１０）とともに、車両の前方の風景を連続して撮影して、前景画像データを取得し（Ｓ２０）、その後に、取得された顔画像データを用いて、運転者の視線方向を検出する（Ｓ３０）とともに、検出された視線方向に基づいて、運転者が注視している注視領域ＧＲを設定する（Ｓ９０）。またＨＵＤ装置７は、取得された前景画像データのうち、注視領域ＧＲ内の画像データを、運転者が視認可能な位置に配置された表示画面領域ＤＲに表示する。

そして、視線方向の検出結果に基づいて、視線を表示画面領域ＤＲに向ける動作を運転者が行ったか否かを判断し（Ｓ４０）、視線を表示画面領域ＤＲに向ける動作を運転者が行ったと判断した場合に（Ｓ４０：ＹＥＳ）、注視領域ＧＲ内の画像データの表示を開始させる（Ｓ５０，Ｓ１１０，Ｓ１３０，Ｓ１４０）。

このように構成された運転支援装置１では、視線を表示画面領域ＤＲに向ける動作を運転者が行うことにより、車両の前方の風景のうち運転者が注視していた周辺の注視領域ＧＲの部分が、運転者により視認可能な位置に配置された表示画面領域ＤＲに表示される。すなわち、注視領域ＧＲを表示画面領域ＤＲに表示するためには、運転者が車両の前方の或る領域を注視するだけではなく、注視した後に、視線を表示画面領域ＤＲに向ける動作を行う必要がある。このため、ただ単に車両前方の風景を注視している場合に注視領域ＧＲが表示画面領域ＤＲに表示されるということはなく、注視領域ＧＲの表示を運転者が所望するときに適切に行うことができる。

また、取得された顔画像データを用いて、運転者がウィンクしたか否かを判断し（Ｓ１２０）、運転者がウィンクした場合に（Ｓ１２０：ＹＥＳ）、注視領域ＧＲ内の画像データの動画表示を行う（Ｓ１３０）。一方、運転者がウィンクしていない場合には（Ｓ１２０：ＮＯ）、注視領域ＧＲ内の画像データの静止画表示を行う（Ｓ１４０）。これにより、車両の運転中において、ボタンおよびスイッチ等の操作部材を操作することなく容易に、動画表示と静止画表示との切り替えを行うことができる。

以上説明した実施形態において、Ｓ１０の処理は本発明における顔画像撮影手段および顔画像撮影手順、Ｓ３０の処理は本発明における視線方向検出手段および視線方向検出手順、Ｓ２０の処理は本発明における風景画像撮影手段および風景画像撮影手順、Ｓ９０の処理は本発明における注視領域設定手段および注視領域設定手順、ＨＵＤ装置７は本発明における表示手段、Ｓ４０の処理は本発明における視線動作判断手段および視線動作判断手順、Ｓ５０，Ｓ１１０の処理は本発明における表示開始手段および表示開始手順、Ｓ１２０の処理は本発明におけるウィンク判断手段である。

（第２実施形態）
以下に本発明の第２実施形態を図面とともに説明する。なお第２実施形態では、第１実施形態と異なる部分のみを説明する。

第２実施形態の運転支援装置１は、表示処理が変更された点と表示調整処理が追加された点以外は第１実施形態と同じである。
そして、第２実施形態の表示処理は、図５に示すように、Ｓ１２０〜Ｓ１４０の処理が省略されて、Ｓ２１０〜Ｓ２４０の処理が追加された点以外は第１実施形態と同じである。

すなわち、Ｓ１１０にて、表示指示フラグＦ１および注視フラグＦ２がセットされている場合には（Ｓ１１０：ＹＥＳ）、Ｓ２１０にて、自車両の前方に存在する移動物体を検出する。具体的には、前景画像データを用いた画像処理でオプティカルフローを求めることにより、前景画像データ内から、自車両とは独立に移動する領域を抽出し、抽出した領域を移動物体として検出する。

そしてＳ２２０にて、Ｓ２１０での検出結果に基づいて、注視領域ＧＲ内に移動物体が存在するか否かを判断する。ここで、注視領域ＧＲ内に移動物体が存在する場合には（Ｓ２２０：ＹＥＳ）、Ｓ２３０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された動画表示時間（例えば５秒）が経過するまで、後述の表示調整処理で設定された表示領域内の前景画像データをＨＵＤ装置７に動画表示させることにより、移動物体を動画表示し、表示処理を一旦終了する。

一方、注視領域ＧＲ内に移動物体が存在しない場合には（Ｓ２２０：ＮＯ）、Ｓ２４０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された静止画表示時間（例えば５秒）が経過するまで、運転者の視線が表示画面領域ＤＲに向けられた時点における注視領域ＧＲ内の前景画像データをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。

次に表示調整処理は、運転支援装置１の動作中において制御部８により繰り返し実行される処理である。
この表示調整処理が実行されると、制御部８は、図６に示すように、まずＳ２６０にて、Ｓ２１０での検出結果に基づいて、注視領域ＧＲ内に移動物体が存在するか否かを判断する。ここで、注視領域ＧＲ内に移動物体が存在しない場合には（Ｓ２６０：ＮＯ）、表示調整処理を一旦終了する。一方、注視領域ＧＲ内に移動物体が存在する場合には（Ｓ２６０：ＹＥＳ）、Ｓ２７０にて、検出した移動物体が表示画面領域ＤＲの中心に位置するように、表示領域を設定して、表示調整処理を一旦終了する。

このように構成された運転支援装置１では、取得された前景画像データを用いて、注視領域ＧＲ内に移動物体が存在するか否かを判断し（Ｓ２２０）、注視領域ＧＲ内に移動物体が存在すると判断した場合に（Ｓ２２０：ＹＥＳ）、表示画面領域ＤＲ内の画像データの動画表示を行う（Ｓ２３０）。すなわち、注視領域ＧＲ内に移動物体が存在する場合には、運転者が指示をすることなく自動的に、移動物体の表示に適切な形態（すなわち、動画表示）で表示が行われる。このため運転者は、表示画面領域ＤＲを見ることにより、車両前方に存在する移動物体の確認を迅速かつ容易に行うことができる。

また、注視領域ＧＲ内に移動物体が存在すると判断した場合に（Ｓ２６０：ＹＥＳ）、移動物体が表示画面領域ＤＲの中心に位置するように表示領域を設定する（Ｓ２７０）。これにより、移動物体が注視領域ＧＲの外側に移動することにより表示画面領域ＤＲ内に移動物体が表示されなくなってしまうということがなくなり、移動物体の表示に適切な位置（すなわち、表示画面領域ＤＲの中心）で移動物体の表示が行われる。このため運転者は、表示画面領域ＤＲを見ることにより、車両前方に存在する移動物体の確認を迅速かつ容易に行うことができる。

以上説明した実施形態において、Ｓ２２０，Ｓ２６０の処理は本発明における移動物体判断手段、Ｓ２７０の処理は本発明における第１表示領域設定手段である。
（第３実施形態）
以下に本発明の第３実施形態を図面とともに説明する。なお第３実施形態では、第１実施形態と異なる部分のみを説明する。

第３実施形態の運転支援装置１は、表示処理が変更された点と表示調整処理が追加された点以外は第１実施形態と同じである。
そして、第３実施形態の表示処理は、図７に示すように、Ｓ１２０〜Ｓ１４０の処理が省略されて、Ｓ３１０〜Ｓ３４０の処理が追加された点以外は第１実施形態と同じである。

すなわち、Ｓ１１０にて、表示指示フラグＦ１および注視フラグＦ２がセットされていない場合には（Ｓ１１０：ＮＯ）、表示処理を一旦終了する。一方、表示指示フラグＦ１および注視フラグＦ２がセットされている場合には（Ｓ１１０：ＹＥＳ）、Ｓ３１０にて、例えばサリエンシーマップ（例えば、「J. Harel, C. Koch, and P. Perona. "Graph-Based Visual Saliency", NIPS 2006」を参照）を用いて、注視領域ＧＲ内の顕著領域を検出する。なお本実施形態では、前景画像データ内において他の領域と比較して輝度が大きく異なる領域を「顕著領域」と定義する。例えば、車両走行中の前景に道路標識が存在している場合には、道路標識が顕著領域に相当する。

そしてＳ３２０にて、Ｓ３１０での検出結果に基づいて、注視領域ＧＲ内に顕著領域が存在するか否かを判断する。ここで、注視領域ＧＲ内に顕著領域が存在する場合には（Ｓ３２０：ＹＥＳ）、Ｓ３３０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された動画表示時間（例えば５秒）が経過するまで、後述の表示調整処理で設定された表示領域内の前景画像データをＨＵＤ装置７に動画表示させることにより、顕著領域を動画表示し、表示処理を一旦終了する。

一方、注視領域ＧＲ内に顕著領域が存在しない場合には（Ｓ３２０：ＮＯ）、Ｓ３４０にて、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された静止画表示時間（例えば５秒）が経過するまで、運転者の視線が表示画面領域ＤＲに向けられた時点における注視領域ＧＲ内の前景画像データをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。

次に表示調整処理は、運転支援装置１の動作中において制御部８により繰り返し実行される処理である。
この表示調整処理が実行されると、制御部８は、図８に示すように、まずＳ３６０にて、Ｓ３１０での検出結果に基づいて、注視領域ＧＲ内に顕著領域が存在するか否かを判断する。ここで、注視領域ＧＲ内に顕著領域が存在しない場合には（Ｓ３６０：ＮＯ）、表示調整処理を一旦終了する。一方、注視領域ＧＲ内に顕著領域が存在する場合には（Ｓ３６０：ＹＥＳ）、Ｓ３７０にて、検出した顕著領域が表示画面領域ＤＲの中心に位置するように、表示領域を設定して、表示調整処理を一旦終了する。

このように構成された運転支援装置１では、取得された前景画像データを用いて、注視領域ＧＲ内に顕著領域が存在するか否かを判断し（Ｓ３６０）、注視領域ＧＲ内に顕著領域が存在すると判断した場合に（Ｓ３６０：ＹＥＳ）、顕著領域が表示画面領域ＤＲの中心に位置するように表示領域を設定する（Ｓ３７０）。

このため、例えば車両走行中に運転者が周辺視野で前景内の顕著領域（道路標識、看板や歩行者など）を視認した場合であっても、顕著領域が表示画面領域ＤＲの中心に表示される。これにより、周辺視野での視認では顕著領域の存在そのものは確認できても、その内容や状況を正確に確認することができなかった場合であっても、運転者は、表示画面領域ＤＲを見ることにより、車両前方に存在する顕著領域の確認を迅速かつ容易に行うことができる。

また、例えば車両走行中に運転者が中心視野で前景内の顕著領域を視認しているにもかかわらず、視線方向の検出精度が悪いために、運転者が実際に注視している点と、運転支援装置１が決定した注視点ＧＰとが異なっている場合であっても、顕著領域が表示画面領域ＤＲの中心に表示される。これにより、注視点ＧＰから外れた位置に顕著領域が存在している場合であっても、顕著領域の表示に適切な位置（すなわち、表示画面領域ＤＲの中心）で顕著領域の表示が行われる。このため運転者は、表示画面領域ＤＲを見ることにより、車両前方に存在する顕著領域の確認を迅速かつ容易に行うことができる。

以上説明した実施形態において、Ｓ３６０の処理は本発明における顕著領域判断手段、Ｓ３７０の処理は本発明における第２表示領域設定手段である。
（第４実施形態）
以下に本発明の第４実施形態を図面とともに説明する。なお第４実施形態では、第１実施形態と異なる部分のみを説明する。

第４実施形態の運転支援装置１は、表示調整処理が追加された点以外は第１実施形態と同じである。
この表示調整処理は、運転支援装置１の動作中において制御部８により繰り返し実行される処理である。

この表示調整処理が実行されると、制御部８は、図９に示すように、まずＳ４１０にて、ＨＵＤ装置７が表示画面領域ＤＲに静止画像を表示中であるか否かを判断する。ここで、静止画像を表示中でない場合には（Ｓ４１０：ＮＯ）、表示調整処理を一旦終了する。

一方、静止画像を表示中である場合には（Ｓ４１０：ＹＥＳ）、Ｓ４２０にて、Ｓ３０での検出結果に基づいて、運転者の視線が表示画面領域ＤＲの端に、予め設定された表示調整判定時間（本実施形態では例えば２秒）継続して向けられたか否かを判断する。ここで、表示画面領域ＤＲの端に表示調整判定時間継続して向けられていない場合には（Ｓ４２０：ＮＯ）、表示調整処理を一旦終了する。

一方、表示画面領域ＤＲの端に表示調整判定時間継続して向けられた場合には（Ｓ４２０：ＹＥＳ）、Ｓ４３０にて、図１０に示すように、表示画面領域ＤＲの端における運転者の注視点ＧＰが表示画面領域ＤＲの中心に位置するように（矢印ＡＬ１を参照）、前景画像データ内の表示領域を設定して、表示調整処理を一旦終了する。これにより、表示画面領域ＤＲの端において運転者が注視していた箇所が表示画面領域ＤＲの中心ＤＣになるように、表示画面領域ＤＲに表示されている静止画像がスクロールされる。

このように構成された運転支援装置１では、検出された視線方向に基づいて、運転者が表示画面領域ＤＲの端を注視しているか否かを判断し（Ｓ４２０）、表示画面領域ＤＲの端を注視していると判断した場合に（Ｓ４２０：ＹＥＳ）、表示画面領域ＤＲの端において運転者が注視している注視点ＧＰが表示画面領域ＤＲの中心に位置するように表示領域を設定する（Ｓ４３０）。

このため、表示画面領域ＤＲの端を注視することにより、ボタンおよびスイッチ等の操作部材を操作することなく容易に、前景画像データ内において表示画面領域ＤＲに表示される領域（表示領域）を変更することができる。

以上説明した実施形態において、Ｓ４２０の処理は本発明における注視判断手段、Ｓ４３０の処理は本発明における第３表示領域設定手段である。
（第５実施形態）
以下に本発明の第５実施形態を図面とともに説明する。なお第５実施形態では、第１実施形態と異なる部分のみを説明する。

第５実施形態の運転支援装置１は、表示処理が変更された点以外は第１実施形態と同じである。そして、第５実施形態の表示処理は、図１１および図１２に示すように、Ｓ１１０〜Ｓ１４０の処理が省略されて、Ｓ５１０〜Ｓ５２０およびＳ６００〜Ｓ７２０の処理が追加された点以外は第１実施形態と同じである。

すなわち、Ｓ９０の処理が終了すると、Ｓ５１０にて、画像取得カウンタＣ１をインクリメント（１加算）する。なお画像取得カウンタＣ１の値は、運転支援装置１の動作開始時に初期化されて０に設定される。そしてＳ５２０にて、Ｓ７０の判断結果に基づいて運転者の視線が車両外に向けられた時点に撮影された前景画像データについて、Ｓ９０で設定された注視領域ＧＲ内の画像を抽出して、この抽出した画像（以下、注視領域画像という）のデータを、画像取得カウンタＣ１の値（以下、画像取得カウンタ値ともいう）と対応付けて保存し、Ｓ１００に移行する。

また、Ｓ５０，Ｓ８０，Ｓ１００の処理が終了すると、Ｓ６００に移行して、表示指示フラグＦ１がセットされ、且つ、画像取得カウンタ値が１より大きいか否かを判断する。ここで、表示指示フラグＦ１がクリアされているか、画像取得カウンタ値が１以下である場合には（Ｓ６００：ＮＯ）、表示処理を一旦終了する。一方、表示指示フラグＦ１がセットされ、且つ、画像取得カウンタ値が１より大きい場合には（Ｓ６００：ＹＥＳ）、Ｓ６１０にて、車速センサ９の検出結果に基づいて、運転支援装置１を搭載した車両（以下、自車両という）が停止しているか否かを判断する。ここで、自車両が停止していない場合には（Ｓ６１０：ＮＯ）、Ｓ６２０にて、表示カウンタＣ２の値（以下、表示カウンタ値ともいう）を画像取得カウンタ値に設定する。そしてＳ６３０にて、Ｓ５２０の処理により保存された注視領域画像のうち、表示カウンタ値に一致した画像取得カウンタ値に対応付けられている注視領域画像のデータをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。Ｓ６２０とＳ６３０の処理により、保存された注視領域画像のうち最新のものが表示画面領域ＤＲに表示される。

一方、自車両が停止している場合には（Ｓ６１０：ＹＥＳ）、Ｓ６４０にて、Ｓ３０での検出結果に基づいて、運転者の顔向き方向と視線方向と角度差が、予め設定された表示判定角度（本実施形態では例えば１０°）以下であるか否かを判断する。ここで、顔向き方向と視線方向と角度差が表示判定角度以下である場合には（Ｓ６４０：ＹＥＳ）、Ｓ６３０に移行する。これにより、表示カウンタ値に一致した画像取得カウンタ値に対応付けられている注視領域画像が表示画面領域ＤＲに表示される。

またＳ６４０にて、顔向き方向と視線方向と角度差が表示判定角度より大きい場合には（Ｓ６４０：ＮＯ）、Ｓ６６０にて、顔向き方向が視線方向より左側に向いているか否かを判断する。ここで、顔向き方向が視線方向より左側に向いている場合には（Ｓ６６０：ＹＥＳ）、Ｓ６７０にて、表示カウンタ値が１より大きいか否かを判断する。

ここで、表示カウンタ値が１より大きい場合には（Ｓ６７０：ＹＥＳ）、Ｓ６８０にて、表示カウンタＣ２をデクリメント（１減算）し、Ｓ７００に移行する。一方、表示カウンタ値が１である場合には（Ｓ６７０：ＮＯ）、Ｓ６９０にて、表示カウンタＣ２の値（表示カウンタ値）を画像取得カウンタ値に設定し、Ｓ７００に移行する。

そしてＳ７００に移行すると、表示カウンタ値に一致した画像取得カウンタ値に対応付けられている注視領域画像のデータをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。

またＳ６６０にて、顔向き方向が視線方向より右側に向いている場合には（Ｓ６６０：ＮＯ）、Ｓ７１０にて、表示カウンタ値が画像取得カウンタ値に等しいか否かを判断する。ここで、表示カウンタ値が画像取得カウンタ値に等しい場合には（Ｓ７１０：ＹＥＳ）、Ｓ７３０に移行する。一方、表示カウンタ値が画像取得カウンタ値に等しくない場合には（Ｓ７１０：ＮＯ）、Ｓ７２０にて、表示カウンタＣ２をインクリメント（１加算）して、Ｓ７３０に移行する。そしてＳ７３０に移行すると、表示カウンタ値に一致した画像取得カウンタ値に対応付けられている注視領域画像のデータをＨＵＤ装置７に静止画表示させて、表示処理を一旦終了する。

以下に、このように構成された運転支援装置１において、保存された注視領域画像を表示画面領域ＤＲに表示する場合の動作を説明する。
まず、運転者が視線を表示画面領域ＤＲに向けたときに車両が走行中である場合には（Ｓ６００：ＹＥＳ，Ｓ６１０：ＮＯ）、保存された注視領域画像のうち最新のものが表示画面領域ＤＲに表示される（Ｓ６２０，Ｓ６３０）。その後、車両の停止中に運転者が視線を表示画面領域ＤＲに向けると（Ｓ６００：ＹＥＳ，Ｓ６１０：ＹＥＳ）、まず、保存された注視領域画像のうち最新のものが表示画面領域ＤＲに表示される（Ｓ６３０）。そして、運転者が視線を表示画面領域ＤＲに向けながら顔を左側に向けると（Ｓ６４０：ＮＯ，Ｓ６６０：ＹＥＳ）、現在表示されている注視領域画像の１つ前に取得された注視領域画像が表示画面領域ＤＲに表示される（Ｓ６８０，Ｓ７００）。また、運転者が視線を表示画面領域ＤＲに向けながら顔を右側に向けると（Ｓ６４０：ＮＯ，Ｓ６６０：ＮＯ）、現在表示されている注視領域画像の１つ後に取得された注視領域画像が表示画面領域ＤＲに表示される（Ｓ７２０，Ｓ７３０）。

また、最も古い注視領域画像が表示されているとき（表示カウンタ値＝１のとき）に運転者が視線を表示画面領域ＤＲに向けながら顔を左側に向けると（Ｓ６４０：ＮＯ，Ｓ６６０：ＹＥＳ）、保存された注視領域画像のうち最新のものが表示画面領域ＤＲに表示される（Ｓ６９０，Ｓ７００）。また、最新の注視領域画像が表示されているときに運転者が視線を表示画面領域ＤＲに向けながら顔を右側に向けると（Ｓ６４０：ＮＯ，Ｓ６６０：ＮＯ）、最新の注視領域画像が表示されたままとなる（Ｓ７１０：ＹＥＳ）。

このように構成された運転支援装置１では、取得された前景画像データのうち注視領域ＧＲ内の画像を抽出して、抽出した注視領域画像データを時系列で保存し（Ｓ５１０，Ｓ５２０）、保存された注視領域画像データを表示画面領域ＤＲに表示する（Ｓ６３０，Ｓ７００，Ｓ７３０）。また、取得された顔画像データを用いて運転者の顔向き方向を検出し（Ｓ３０）、検出された顔向き方向に基づいて、表示される注視領域画像データを指示する（Ｓ６６０〜Ｓ６９０，Ｓ７１０〜Ｓ７２０）。

これにより、注視した前景を注視した時点で表示画面領域ＤＲに表示して確認することができるだけではなく、複数の注視領域画像を撮りためておき、後でまとめて確認することも可能となる。例えば、運転中であったために、注視した時点では注視領域画像を十分確認することができなかった場合であっても、車を停止させた後に、注視領域画像を再度表示させることにより、注視領域画像を十分確認することが可能となる。

また、顔向き方向により、ボタンおよびスイッチ等の操作部材を操作することなく容易に、表示画面領域ＤＲに表示される注視領域画像を変更することができる。
以上説明した実施形態において、Ｓ５１０，Ｓ５２０の処理は本発明における画像保存手段、Ｓ６３０，Ｓ７００，Ｓ７３０の処理は本発明における保存画像表示手段、Ｓ３０の処理は本発明における顔向き方向検出手段、Ｓ６６０〜Ｓ６９０，Ｓ７１０〜Ｓ７２０の処理は本発明における表示指示手段である。

（第６実施形態）
以下に本発明の第６実施形態を図面とともに説明する。
図１３に示すように、運転支援装置１０１は、車両に搭載され、車内ＬＡＮ１０２を介してナビゲーションＥＣＵ１０３、エアコンＥＣＵ１０４およびメータＥＣＵ１０５と接続されている。

ナビゲーションＥＣＵ１０３は、ＧＰＳ（Global Positioning System）アンテナ（不図示）を介して受信したＧＰＳ信号等に基づいて車両の現在位置を検出するように構成されている。そしてナビゲーションＥＣＵ１０３は、車両の現在地を、インパネ部１３０（図１４を参照）に配置されているナビゲーション装置の表示画面１３１（図１４を参照）に表示するための制御、および、現在地から目的地までの経路を案内するための制御などを実行するように構成されている。

またナビゲーションＥＣＵ１０３は、インパネ部１３０に設置されて運転者により操作されるオーディオ操作スイッチ群１３２（図１４を参照）からの信号に基づいて、車載オーディオ（不図示）の制御を実行するように構成されている。なおオーディオ操作スイッチ群１３２は、ＣＤ、ＴＶおよびラジオの中から動作させる機器を切り換える場合に操作される切換スイッチ、上記動作させる機器の切り換え後にどのチャンネルや曲を選択するかを切り替える場合に操作される切換スイッチ、および、音量を調整する場合に操作される音量設定スイッチなどから構成される。

エアコンＥＣＵ１０４は、インパネ部１３０に設置されて運転者により操作されるエアコン操作スイッチ群１３３（図１４を参照）からの信号と、車両の車室内および外部の温度を検出する車内外温度センサ（不図示）からの検出信号に基づいて、カーエアコン（不図示）を動作させて車室内の空調を制御するように構成されている。なおエアコン操作スイッチ群１３３は、エアコンの動作／非動作を切り換える場合に操作されるオン／オフスイッチ、および、設定温度を調整する場合に操作される温度設定スイッチ、風量を調整する場合に操作される風量設定スイッチ、および、吹き出し口位置を調整する場合に操作される吹き出し口位置設定スイッチなどから構成される。

メータＥＣＵ１０５は、運転席の前方に設置されて車両の各種状態を表示するメータ部１４０（図１４を参照）を制御する。なおメータ部１４０は、車速、自動変速機（不図示）のシフトレンジ、エンジン回転速度、ガソリン残量、オート・クルーズ・コントロール（ＡＣＣ）の状況およびレーンキープアシスト（ＬＫＡ）の状況などを表示する。

運転支援装置１０１は、ＩＲ−ＬＥＤ２、カメラ３、画像キャプチャーボード４、ＨＵＤ装置７、右側方カメラ１１１、左側方カメラ１１２、後方カメラ１１３、画像キャプチャーボード１１４，１１５，１１６、車内ＬＡＮ通信部１１７および制御部１１８を備えている。

ＩＲ−ＬＥＤ２、カメラ３、画像キャプチャーボード４およびＨＵＤ装置７については、第１実施形態と同じであるため、説明を省略する。
右側方カメラ１１１は、車両の右端部（本実施形態では車両右側のサイドミラー１５１（図１４を参照））に設置されており、車両の右側方の状況を連続して撮影することにより、画像データを取得する。

左側方カメラ１１２は、車両の左端部（本実施形態では車両左側のサイドミラー１５２（図１４を参照））に設置されており、車両の左側方の状況を連続して撮影することにより、画像データを取得する。

後方カメラ１１３は、車両の後端部（本実施形態ではリアバンパー）に設置されており、車両の後方の状況を連続して撮影することにより、画像データを取得する。
画像キャプチャーボード１１４，１１５，１１６はそれぞれ、カメラ１１１，１１２，１１３により取得された画像データを一時的に記憶する。

車内ＬＡＮ通信部１１７は、車内ＬＡＮ１０２を介して車内ＬＡＮ１０２に接続された様々な機器（ナビゲーションＥＣＵ１０３等）と通信を行う。
制御部１１８は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭが記憶するプログラムに基づいて各種処理を実行する。

このように構成された運転支援装置１０１において、制御部１１８は、ウインドシールド上に設けられた表示画面領域ＤＲに画像を表示するための表示処理を実行する。この表示処理は、運転支援装置１０１の動作中において繰り返し実行される処理である。

この表示処理が実行されると、制御部１１８は、図１５および図１６に示すように、まずＳ８１０にて、Ｓ１０と同様にして、カメラ３により撮影されて画像キャプチャーボード４に記憶された顔画像データの中から、制御部８が取得していない顔画像データを画像キャプチャーボード４から取得する。

そしてＳ８２０にて、Ｓ３０と同様にして、画像キャプチャーボード４から取得した顔画像データを用いて、運転者の顔向き方向と視線方向を検出する。
その後Ｓ８３０にて、Ｓ８２０での検出結果に基づいて、運転者の視線が表示画面領域ＤＲに向けられているか否かを判断する。ここで、運転者の視線が表示画面領域ＤＲに向けられている場合には（Ｓ８３０：ＹＥＳ）、Ｓ８４０にて、表示指示フラグＦ１をセットし、Ｓ１０７０に移行する。一方、運転者の視線が表示画面領域ＤＲに向けられていない場合には（Ｓ８３０：ＮＯ）、Ｓ８５０にて、表示指示フラグＦ１をクリアする。

さらにＳ８６０にて、Ｓ８２０での検出結果に基づいて、運転者の視線がナビゲーション装置の表示画面１３１に向けられているか否かを判断する。ここで、視線がナビゲーション装置の表示画面１３１に向けられている場合には（Ｓ８６０：ＹＥＳ）、Ｓ８７０にて、ナビ注視フラグＦ１１をセットし、さらにＳ８８０にて、他の注視フラグＦ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７をクリアし、Ｓ１０７０に移行する。なお、他の注視フラグは、後述するように、メータ注視フラグＦ１２、オーディオ注視フラグＦ１３、エアコン注視フラグＦ１４、右サイド注視フラグＦ１５、左サイド注視フラグＦ１６およびリア注視フラグＦ１７である。

一方、視線がナビゲーション装置の表示画面１３１に向けられていない場合には（Ｓ８６０：ＮＯ）、Ｓ８９０にて、Ｓ８２０での検出結果に基づいて、運転者の視線がメータ部１４０に向けられているか否かを判断する。ここで、視線がメータ部１４０に向けられている場合には（Ｓ８９０：ＹＥＳ）、Ｓ９００にて、メータ注視フラグＦ１２をセットし、さらにＳ９１０にて、メータ注視フラグＦ１２以外の注視フラグをクリアし、Ｓ１０７０に移行する。

一方、視線がメータ部１４０に向けられていない場合には（Ｓ８９０：ＮＯ）、Ｓ９２０にて、Ｓ８２０での検出結果に基づいて、運転者の視線がオーディオ操作スイッチ群１３２に向けられているか否かを判断する。ここで、視線がオーディオ操作スイッチ群１３２に向けられている場合には（Ｓ９２０：ＹＥＳ）、Ｓ９３０にて、オーディオ注視フラグＦ１３をセットし、さらにＳ９４０にて、オーディオ注視フラグＦ１３以外の注視フラグをクリアし、Ｓ１０７０に移行する。

一方、視線がオーディオ操作スイッチ群１３２に向けられていない場合には（Ｓ９２０：ＮＯ）、Ｓ９５０にて、Ｓ８２０での検出結果に基づいて、運転者の視線がエアコン操作スイッチ群１３３に向けられているか否かを判断する。ここで、視線がエアコン操作スイッチ群１３３に向けられている場合には（Ｓ９５０：ＹＥＳ）、Ｓ９６０にて、エアコン注視フラグＦ１４をセットし、さらにＳ９７０にて、エアコン注視フラグＦ１４以外の注視フラグをクリアし、Ｓ１０７０に移行する。

一方、視線がエアコン操作スイッチ群１３３に向けられていない場合には（Ｓ９５０：ＮＯ）、Ｓ９８０にて、Ｓ８２０での検出結果に基づいて、運転者の視線が車両右側のサイドミラー１５１に向けられているか否かを判断する。ここで、視線が右側のサイドミラー１５１に向けられている場合には（Ｓ９８０：ＹＥＳ）、Ｓ９９０にて、右サイド注視フラグＦ１５をセットし、さらにＳ１０００にて、右サイド注視フラグＦ１５以外の注視フラグをクリアし、Ｓ１０７０に移行する。

一方、視線が右側のサイドミラー１５１に向けられていない場合には（Ｓ９８０：ＮＯ）、Ｓ１０１０にて、Ｓ８２０での検出結果に基づいて、運転者の視線が車両左側のサイドミラー１５２に向けられているか否かを判断する。ここで、視線が左側のサイドミラー１５２に向けられている場合には（Ｓ１０１０：ＹＥＳ）、Ｓ１０２０にて、左サイド注視フラグＦ１６をセットし、さらにＳ１０３０にて、左サイド注視フラグＦ１６以外の注視フラグをクリアし、Ｓ１０７０に移行する。

一方、視線が左側のサイドミラー１５２に向けられていない場合には（Ｓ１０１０：ＮＯ）、Ｓ１０４０にて、Ｓ８２０での検出結果に基づいて、運転者の視線がリアビューミラー１５３（図１４を参照）に向けられているか否かを判断する。ここで、視線がリアビューミラー１５３に向けられている場合には（Ｓ１０４０：ＹＥＳ）、Ｓ１０５０にて、リア注視フラグＦ１７をセットし、さらにＳ１０６０にて、リア注視フラグＦ１７以外の注視フラグをクリアし、Ｓ１０７０に移行する。

そしてＳ１０７０に移行すると、表示指示フラグＦ１がセットされ、且つ、注視フラグＦ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７の何れか一つがセットされているか否かを判断する。ここで、表示指示フラグＦ１と注視フラグの少なくとも何れかがセットされていない場合には（Ｓ１０７０：ＮＯ）、表示処理を一旦終了する。一方、表示指示フラグＦ１がセットされるとともに注視フラグの何れか一つがセットされている場合には（Ｓ１０７０：ＹＥＳ）、Ｓ１０８０にて、ナビ注視フラグＦ１１がセットされているか否かを判断する。

ここで、ナビ注視フラグＦ１１がセットされている場合には（Ｓ１０８０：ＹＥＳ）、Ｓ１０９０にて、ナビ画面表示処理を実行し、ナビ画面表示処理の終了後にＳ１２１０に移行する。ナビ画面表示処理では、具体的には、ナビゲーション装置の表示画面１３１に表示されている画像を示す画像データをナビゲーションＥＣＵ１０３から車内ＬＡＮ１０２を介して取得し、取得した画像データを、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

一方、ナビ注視フラグＦ１１がセットされていない場合には（Ｓ１０８０：ＮＯ）、Ｓ１１００にて、メータ注視フラグＦ１２がセットされているか否かを判断する。ここで、メータ注視フラグＦ１２がセットされている場合には（Ｓ１１００：ＹＥＳ）、Ｓ１１１０にて、メータ部表示処理を実行し、メータ部表示処理の終了後にＳ１２１０に移行する。メータ部表示処理では、具体的には、まず、Ｓ８２０での検出結果に基づいて、メータ部１４０において運転者の視線が向いている領域を特定する。そしてメータ部表示処理では、特定した領域に表示されている情報をメータＥＣＵ１０５から車内ＬＡＮ１０２を介して取得し、取得した情報を、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

例えば、メータ部１４０において車速を表示している領域に運転者の視線が向いている場合には、メータ部表示処理では、車速を示す車速情報をメータＥＣＵ１０５から取得し、取得した車速情報を示す画像をＨＵＤ装置７に表示させる。

一方、メータ注視フラグＦ１２がセットされていない場合には（Ｓ１１００：ＮＯ）、Ｓ１１２０にて、オーディオ注視フラグＦ１３がセットされているか否かを判断する。ここで、オーディオ注視フラグＦ１３がセットされている場合には（Ｓ１１２０：ＹＥＳ）、Ｓ１１３０にて、オーディオ操作スイッチ表示処理を実行し、オーディオ操作スイッチ表示処理の終了後にＳ１２１０に移行する。オーディオ操作スイッチ表示処理では、具体的には、まず、Ｓ８２０での検出結果に基づいて、オーディオ操作スイッチ群１３２において運転者の視線が向いているスイッチを特定する。そしてオーディオ操作スイッチ表示処理では、特定したスイッチの操作により設定されている現在の状況を示す設定状況情報をナビゲーションＥＣＵ１０３から車内ＬＡＮ１０２を介して取得し、取得した情報を、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

例えば、音量設定スイッチに運転者の視線が向いている場合には、オーディオ操作スイッチ表示処理では、現在の音量を示す音量情報をメータＥＣＵ１０５から取得し、取得した音量情報を示す画像をＨＵＤ装置７に表示させる。

なおナビゲーションＥＣＵ１０３は、オーディオ操作スイッチ表示処理で特定されたスイッチの設定状況情報がＨＵＤ装置７により表示されている場合に、ステアリングＳＴ（図１４を参照）に設けられたステアリングスイッチ１６１，１６２（図１４を参照）の操作に基づいて、特定されたスイッチの設定状況を変更する。例えば、音量設定スイッチに運転者の視線が向いている場合には、音量を示す画像が表示画面領域ＤＲに表示される。そして、運転者がステアリングスイッチ１６１を操作すると、オーディオから出力される音量が大きくなるとともに、音量が大きくなる画像が表示画面領域ＤＲに表示され、逆に運転者がステアリングスイッチ１６２を操作すると、オーディオから出力される音量が小さくなるとともに、音量が徐々に小さくなる画像が表示画面領域ＤＲに表示される。

一方、オーディオ注視フラグＦ１３がセットされていない場合には（Ｓ１１２０：ＮＯ）、Ｓ１１４０にて、エアコン注視フラグＦ１４がセットされているか否かを判断する。ここで、エアコン注視フラグＦ１４がセットされている場合には（Ｓ１１４０：ＹＥＳ）、Ｓ１１５０にて、エアコン操作スイッチ表示処理を実行し、エアコン操作スイッチ表示処理の終了後にＳ１２１０に移行する。エアコン操作スイッチ表示処理では、具体的には、まず、Ｓ８２０での検出結果に基づいて、エアコン操作スイッチ群１３３において運転者の視線が向いているスイッチを特定する。そしてエアコン操作スイッチ表示処理では、特定したスイッチの操作により設定されている現在の状況を示す設定状況情報をエアコンＥＣＵ１０４から車内ＬＡＮ１０２を介して取得し、取得した情報を、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

例えば、オン／オフスイッチに運転者の視線が向いている場合には、エアコン操作スイッチ表示処理では、エアコンが動作中であるか停止中であるかを示すオン／オフ情報をエアコンＥＣＵ１０４から取得し、取得したオン／オフ情報を示す画像をＨＵＤ装置７に表示させる。

なおエアコンＥＣＵ１０４は、エアコン操作スイッチ表示処理で特定されたスイッチの設定状況情報がＨＵＤ装置７により表示されている場合に、ステアリングＳＴに設けられたステアリングスイッチ１６１，１６２の操作に基づいて、特定されたスイッチの設定状況を変更する。例えば、オン／オフスイッチに運転者の視線が向いている場合には、オン／オフ情報を示す画像が表示画面領域ＤＲに表示される。そして、運転者がステアリングスイッチ１６１を操作すると、エアコンの動作／非動作が切り換わるとともに、エアコンが動作中であるか停止中であるかを示す画像が表示画面領域ＤＲに表示される。

一方、エアコン注視フラグＦ１４がセットされていない場合には（Ｓ１１４０：ＮＯ）、Ｓ１１６０にて、右サイド注視フラグＦ１５がセットされているか否かを判断する。ここで、右サイド注視フラグＦ１５がセットされている場合には（Ｓ１１６０：ＹＥＳ）、Ｓ１１７０にて、右サイドミラー表示処理を実行し、右サイドミラー表示処理の終了後にＳ１２１０に移行する。右サイドミラー表示処理では、具体的には、まず、右側方カメラ１１１により撮影されて画像キャプチャーボード１１４に記憶された画像データを画像キャプチャーボード１１４から取得する。そして右サイドミラー表示処理では、画像キャプチャーボード１１４から取得した画像データを、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

一方、右サイド注視フラグＦ１５がセットされていない場合には（Ｓ１１６０：ＮＯ）、Ｓ１１８０にて、左サイド注視フラグＦ１６がセットされているか否かを判断する。ここで、左サイド注視フラグＦ１６がセットされている場合には（Ｓ１１８０：ＹＥＳ）、Ｓ１１９０にて、左サイドミラー表示処理を実行し、左サイドミラー表示処理の終了後にＳ１２１０に移行する。左サイドミラー表示処理では、具体的には、まず、左側方カメラ１１２により撮影されて画像キャプチャーボード１１５に記憶された画像データを画像キャプチャーボード１１５から取得する。そして左サイドミラー表示処理では、画像キャプチャーボード１１５から取得した画像データを、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

一方、左サイド注視フラグＦ１６がセットされていない場合には（Ｓ１１８０：ＮＯ）、Ｓ１２００にて、リアビューミラー表示処理を実行し、リアビューミラー表示処理の終了後にＳ１２１０に移行する。リアビューミラー表示処理では、具体的には、まず、後方カメラ１１３により撮影されて画像キャプチャーボード１１６に記憶された画像データを画像キャプチャーボード１１６から取得する。そしてリアビューミラー表示処理では、画像キャプチャーボード１１６から取得した画像データを、運転者の視線が表示画面領域ＤＲに向けられた時点から予め設定された画像表示時間（例えば３秒）が経過するまで、ＨＵＤ装置７に表示させる。

そしてＳ１２１０に移行すると、表示指示フラグＦ１をクリアし、さらにＳ１２２０にて、全ての注視フラグＦ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７をクリアして、表示処理を一旦終了する。

このように構成された運転支援装置１０１では、まず、車両の運転者の顔を連続して撮影して、顔画像データを取得し（Ｓ８１０）、その後に、取得された顔画像データを用いて、運転者の視線方向を検出する（Ｓ８２０）とともに、検出された視線方向に基づいて、ナビゲーション装置の表示画面１３１、メータ部１４０、オーディオ操作スイッチ群１３２、エアコン操作スイッチ群１３３、車両右側のサイドミラー１５１、車両左側のサイドミラー１５２およびリアビューミラー１５３の何れを運転者が注視しているかを判断する（Ｓ８６０，Ｓ８９０，Ｓ９２０，Ｓ９５０，Ｓ９８０，Ｓ１０１０，Ｓ１０４０）。

そして、視線方向の検出結果に基づいて、視線を表示画面領域ＤＲに向ける動作を運転者が行ったか否かを判断し（Ｓ８３０）、視線を表示画面領域ＤＲに向ける動作を運転者が行ったと判断した場合に（Ｓ８３０：ＹＥＳ）、運転者が注視した領域に応じて予め設定された内容の表示情報の表示を、運転者が視認可能な位置に配置された表示画面領域ＤＲを有するＨＵＤ装置７に開始させる（Ｓ８４０，Ｓ１０７０，Ｓ１０９０，Ｓ１１１０，Ｓ１１３０，Ｓ１１５０，Ｓ１１７０，Ｓ１１９０，Ｓ１２００）。

このように構成された運転支援装置１０１では、視線を表示画面領域ＤＲに向ける動作を運転者が行うことにより、運転者が注視していた注視領域に応じて予め設定された内容の表示情報が、運転者により視認可能な位置に配置された表示画面領域ＤＲに表示される。すなわち、運転者が注視していた注視領域に応じて予め設定された内容の表示情報を表示画面領域ＤＲに表示するためには、運転者が車両の或る領域を注視するだけではなく、注視した後に、視線を表示画面領域ＤＲに向ける動作を行う必要がある。このため、ただ単に或る領域を注視している場合に注視領域が表示画面領域ＤＲに表示されるということはなく、注視領域に応じた内容の表示情報の表示を運転者が所望するときに適切に行うことができる。

また、ナビゲーション装置の表示画面１３１が注視領域内に含まれている場合に（Ｓ１０８０：ＹＥＳ）、ナビゲーション装置の表示画面１３１に表示されている画像をＨＵＤ装置７に表示させる（Ｓ１０９０）。このため、運転者がただ単に表示画面１３１を注視している場合に、表示画面１３１に表示されている画像が表示画面領域ＤＲに表示されるということはなく、表示画面１３１に表示されている画像の表示画面領域ＤＲへの表示を運転者が所望するときに適切に行うことができる。

また、メータ部１４０により表示されている車両状態情報（例えば、車速）が注視領域内に含まれている場合に（Ｓ１１００：ＹＥＳ）、注視領域内に含まれている車両状態情報をＨＵＤ装置７に表示させる（Ｓ１１００）。このため、運転者がただ単にメータ部１４０を注視している場合に、メータ部１４０により表示されている車両状態情報が表示画面領域ＤＲに表示されるということはなく、メータ部１４０により表示されている車両状態情報の表示画面領域ＤＲへの表示を運転者が所望するときに適切に行うことができる。

また、車両に搭載された車載オーディオとカーエアコンの動作状態を変更するときに操作されるオーディオ操作スイッチ群１３２とエアコン操作スイッチ群１３３が、運転者が視認可能なインパネ部１３０に配置され、オーディオ操作スイッチ群１３２およびエアコン操作スイッチ群１３３のスイッチが注視領域内に含まれている場合に（Ｓ１１２０：ＹＥＳ，Ｓ１１４０：ＹＥＳ）、注視領域内に含まれているスイッチにより変更可能な現在の動作状態を示す情報をＨＵＤ装置７に表示させる（Ｓ１１３０，Ｓ１１５０）。このため、運転者がただ単にオーディオ操作スイッチ群１３２またはエアコン操作スイッチ群１３３を注視している場合に、オーディオ操作スイッチ群１３２またはエアコン操作スイッチ群１３３のスイッチにより変更可能な動作状態を示す情報が表示画面領域ＤＲに表示されるということはなく、スイッチ群１３２，１３３のスイッチにより変更可能な現在の動作状態を示す情報の表示画面領域ＤＲへの表示を運転者が所望するときに適切に行うことができる。

また、カメラ１１１，１１２，１１３は、車両の後方を確認するためのミラー１５１，１５２，１５３に映る風景を連続して撮影して、車両の後方の風景画像を取得する。そして、ミラー１５１，１５２，１５３が注視領域内に含まれている場合に（Ｓ１１６０：ＹＥＳ，Ｓ１１８０：ＹＥＳ，Ｓ１１８０：ＮＯ）、カメラ１１１，１１２，１１３により取得された風景画像をＨＵＤ装置７に表示させる（Ｓ１１７０，Ｓ１１９０，Ｓ１２００）。このため、運転者がただ単にミラー１５１，１５２，１５３を注視している場合に、カメラ１１１，１１２，１１３により取得された風景画像が表示画面領域ＤＲに表示されるということはなく、カメラ１１１，１１２，１１３により取得された風景画像の表示画面領域ＤＲへの表示を運転者が所望するときに適切に行うことができる。

以上説明した実施形態において、Ｓ８１０の処理は本発明における顔画像撮影手段および顔画像撮影手順、Ｓ８２０の処理は本発明における視線方向検出手段および視線方向検出手順、Ｓ８６０，Ｓ８９０，Ｓ９２０，Ｓ９５０，Ｓ９８０，Ｓ１０１０，Ｓ１０４０の処理は本発明における注視領域設定手段および注視領域設定手順、Ｓ８３０の処理は本発明における視線動作判断手段および視線動作判断手順、Ｓ８４０，Ｓ１０７０，Ｓ１０９０，Ｓ１１１０，Ｓ１１３０，Ｓ１１５０，Ｓ１１７０，Ｓ１１９０，Ｓ１２００の処理は本発明における表示開始手段および表示開始手順である。

また、表示画面１３１は本発明における車室内表示画面、メータ部１４０は本発明における車両状態表示手段、オーディオ操作スイッチ群１３２およびエアコン操作スイッチ群１３３は本発明における操作部、ミラー１５１，１５２，１５３は本発明における車載用ミラー、カメラ１１１，１１２，１１３は本発明における後方風景画像撮影手段である。

（第７実施形態）
以下に本発明の第７実施形態を図面とともに説明する。なお第７実施形態では、第６実施形態と異なる部分のみを説明する。

第７実施形態の運転支援装置１０１は、表示処理が変更された点以外は第６実施形態と同じである。
そして、第７実施形態の表示処理は、図１７に示すように、Ｓ８３５の処理が追加された点以外は第６実施形態と同じである。

すなわち、Ｓ８３０にて、運転者の視線が表示画面領域ＤＲに向けられている場合には（Ｓ８３０：ＹＥＳ）、Ｓ８３５にて、Ｓ８２０の処理で抽出した眼の形状に基づいて、運転者がウィンクしたか否かを判断する。

ここで、運転者がウィンクした場合には（Ｓ８３５：ＹＥＳ）、Ｓ８４０に移行する。一方、運転者がウィンクしていない場合には（Ｓ８３５：ＮＯ）、Ｓ１０７０に移行する。

このように構成された運転支援装置１０１では、取得された顔画像データを用いて、運転者がウィンクしたか否かを判断する（Ｓ８３５）。そして運転支援装置１０１は、視線を表示画面領域ＤＲに向ける動作を運転者が行ったと判断し（Ｓ８３０：ＹＥＳ）、且つ、運転者がウィンクしたと判断した場合に（Ｓ８３５：ＹＥＳ）、表示情報の表示をＨＵＤ装置７に開始させる。

このように構成された運転支援装置１０１において、注視領域ＧＲを表示画面領域ＤＲに表示するためには、運転者が車両の前方の或る領域を注視するだけではなく、注視した後に、視線を表示画面領域ＤＲに向ける動作に加えてウィンクを行う必要がある。すなわち、注視領域ＧＲの表示を運転者が所望していないにもかかわらず、注視した後に視線を表示画面領域ＤＲに向ける動作を運転者が行った場合には、運転者がウィンクを行わないため、運転支援装置１０１は表示情報の表示を行わない。このため運転支援装置１０１は、注視領域ＧＲの表示を運転者が所望するか否かを、より適切に判断することができる。

以上説明した実施形態において、Ｓ８３５の処理は本発明におけるウィンク判断手段である。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

例えば上記実施形態では、ＨＵＤ装置７を用いてウインドシールドに画像を表示するものを示したが、例えば液晶表示装置のように表示画面を備えたものを車室内の運転者前方に設置して、この表示画面に注視領域画像を表示するようにしてもよい。

また上記第２，３実施形態では、移動物体および顕著領域を表示画面領域ＤＲの中心に表示するものを示したが、表示画面領域ＤＲ内に表示される移動物体および顕著領域を四角などで囲ってハイライト表示することにより、移動物体および顕著領域の存在を認識させ易くするようにしてもよい。

また上記第５実施形態では、運転者が注視すると注視領域画像データが保存されるものを示したが、上記第１実施形態のように、視線を表示画面領域ＤＲに向ける動作を運転者が行うことにより、車両の前方の風景のうち運転者が注視していた周辺の注視領域ＧＲの部分が、運転者により視認可能な位置に配置された表示画面領域ＤＲに表示された時の注視領域画像データのみが保存されるようにしてもよい。また、運転者が注視しながら取得ボタンを押すと注視領域画像データが保存されるようにしてもよい。

また上記第５実施形態では、車速センサ９の検出結果に基づいて自車両が停止しているか否かを判断するものを示したが、例えば、シフト位置がパーキング（Ｐ）であるとき、またはサイドブレーキがかかっているときに、自車両が停止していると判断するようにしてもよい。

また上記第６実施形態では、ナビゲーション装置の表示画面１３１に表示されている画像をＨＵＤ装置７に表示させるものを示した。しかし、車室内にスマートフォンが設置されている場合には、運転者がスマートフォンの表示画面を注視すると、スマートフォンの表示画面に表示されている画像をＨＵＤ装置７に表示させるようにしてもよい。この場合には例えば、ナビゲーション装置とスマートフォンとの間で無線通信が可能となるように構成し、運転支援装置１０１は、スマートフォンの表示画面に表示されている画像を示す画像データを、ナビゲーションＥＣＵ１０３から車内ＬＡＮ１０２を介して取得するようにしてもよい。

また上記第６実施形態では、カメラ１１１，１１２がサイドミラー１５１，１５２に設置されているものを示したが、カメラ１１１，１１２が車両の後部に設置されているようにしてもよい。

また上記第６実施形態では、後方カメラ１１３がリアバンパーに設置されているものを示したが、後方カメラ１１３がリアビューミラー１５３の付近に設置されているようにしてもよい。

また上記第６実施形態では、カメラ１１１，１１２，１１３により撮影された画像をＨＵＤ装置７に表示させるものを示したが、右側方カメラ１１１、左側方カメラ１１２および後方カメラ１１３で撮影した画像を加工することにより、運転席に座っている運転者からの視点で右側のサイドミラー１５１、左側のサイドミラー１５２およびリアビューミラー１５３を見た画像を表示画面領域ＤＲに表示するようにしてもよい。

また上記第６実施形態では、ＨＵＤ装置７を用いて画像を表示するものを示したが、これに限定されるものではなく、運転者の前方で画像を表示することができる装置（例えば液晶ディスプレイ）であればよい。

また上記第６実施形態では、カメラ１１１，１１２，１１３により取得された画像データをそれぞれ画像キャプチャーボード１１４，１１５，１１６に記憶するものを示したが、カメラ１１１，１１２，１１３により取得された画像データを１つの画像キャプチャーボードに記憶するようにしてもよい。

１，１０１…運転支援装置、３，５…カメラ、４，６，１１４，１１５，１１６…画像キャプチャーボード、７…ＨＵＤ装置、８，１１８…制御部、１１７…車内ＬＡＮ通信部

Claims

車両の運転者の顔を連続して撮影して、顔画像を取得する顔画像撮影手段（Ｓ１０，Ｓ８１０）と、
前記顔画像撮影手段により取得された顔画像を用いて、前記運転者の視線方向を検出する視線方向検出手段（Ｓ３０，Ｓ８２０）と、
前記視線方向検出手段により検出された視線方向に基づいて、前記運転者が注視している注視領域を設定する注視領域設定手段（Ｓ９０，Ｓ８６０，Ｓ８９０，Ｓ９２０，Ｓ９５０，Ｓ９８０，Ｓ１０１０，Ｓ１０４０）と、
前記運転者が視認可能な位置に配置された表示画面を有する表示手段（７）と、
前記視線方向検出手段による検出結果に基づいて、前記運転者が視線を動かす動作と、前記表示手段による表示の開始を指示するために予め設定された表示開始指示動作とが一致するか否かを判断する視線動作判断手段（Ｓ４０，Ｓ８３０）と、
前記運転者が視線を動かす動作と前記表示開始指示動作とが一致すると前記視線動作判断手段が判断した場合に、前記注視領域設定手段により設定された前記注視領域に応じて予め設定された内容の表示情報の表示を、前記表示手段に開始させる表示開始手段（Ｓ５０，Ｓ１１０，Ｓ８４０，Ｓ１０７０，Ｓ１０９０，Ｓ１１１０，Ｓ１１３０，Ｓ１１５０，Ｓ１１７０，Ｓ１１９０，Ｓ１２００）とを備える
ことを特徴とする運転支援装置。
前記車両の前方の風景を連続して撮影して、風景画像を取得する風景画像撮影手段（Ｓ２０）を備え、
前記表示手段は、前記風景画像撮影手段により取得された前記風景画像のうち、予め設定された表示領域内の画像を前記表示画面に表示し、
前記表示開始手段は、前記注視領域設定手段により設定された前記注視領域を前記表示領域とし、さらに、前記風景画像撮影手段により取得された前記風景画像のうち、前記表示領域内の画像を前記表示情報とする
ことを特徴とする請求項１に記載の運転支援装置。
前記顔画像撮影手段により取得された顔画像を用いて、前記運転者がウィンクしたか否かを判断するウィンク判断手段（Ｓ１２０）を備え、
前記表示手段は、
前記ウィンク判断手段による判断結果に基づいて、前記表示領域内の画像の動画表示および静止画表示の何れかを行う
ことを特徴とする請求項２に記載の運転支援装置。
前記風景画像撮影手段により取得された前記風景画像を用いて、前記注視領域設定手段により設定された前記注視領域内に移動物体が存在するか否かを判断する移動物体判断手段（Ｓ２２０，Ｓ２６０）を備え、
前記表示手段は、
前記注視領域内に前記移動物体が存在すると前記移動物体判断手段が判断した場合に、前記表示領域内の画像の動画表示を行う
ことを特徴とする請求項２に記載の運転支援装置。
前記注視領域内に前記移動物体が存在すると前記移動物体判断手段が判断した場合に、前記表示画面の中心に前記移動物体が位置するように前記表示領域を設定する第１表示領域設定手段（Ｓ２７０）を備える
ことを特徴とする請求項４に記載の運転支援装置。
前記風景画像撮影手段により取得された前記風景画像を用いて、前記注視領域設定手段により設定された前記注視領域内に顕著領域が存在するか否かを判断する顕著領域判断手段（Ｓ３６０）と、
前記注視領域内に前記顕著領域が存在すると前記顕著領域判断手段が判断した場合に、前記表示画面の中心に前記顕著領域が位置するように前記表示領域を設定する第２表示領域設定手段（Ｓ３７０）とを備える
ことを特徴とする請求項２〜請求項５の何れか１項に記載の運転支援装置。
前記視線方向検出手段により検出された視線方向に基づいて、前記運転者が前記表示画面の周縁部を注視しているか否かを判断する注視判断手段（Ｓ４２０）と、
前記運転者が前記表示画面の周縁部を注視していると前記注視判断手段が判断した場合に、前記表示画面の周縁部において前記運転者が注視している点が前記表示画面の中心に位置するように前記表示領域を設定する第３表示領域設定手段（Ｓ４３０）とを備える
ことを特徴とする請求項２〜請求項６の何れか１項に記載の運転支援装置。
前記風景画像撮影手段により取得された前記風景画像のうち、前記注視領域設定手段により設定された前記注視領域内の画像を抽出して、抽出した画像を時系列で保存する画像保存手段（Ｓ５１０，Ｓ５２０）と、
前記画像保存手段により保存された画像を表示する保存画像表示手段（Ｓ６３０，Ｓ７００，Ｓ７３０）と、
前記顔画像撮影手段により取得された顔画像を用いて、前記運転者の顔向き方向を検出する顔向き方向検出手段（Ｓ３０）と、
前記顔向き方向検出手段により検出された顔向きの方向に基づいて、前記保存画像表示手段により表示される画像を指示する表示指示手段（Ｓ６６０〜Ｓ６９０，Ｓ７１０〜Ｓ７２０）とを備える
ことを特徴とする請求項２〜請求項７の何れか１項に記載の運転支援装置。
前記車両の車室内に設置された車載表示機器の表示画面を車室内表示画面（１３１）として、
前記表示開始手段は、前記車室内表示画面が前記注視領域内に含まれている場合に、前記車室内表示画面に表示されている画像を前記表示情報とする
ことを特徴とする請求項１に記載の運転支援装置。
前記運転者が視認可能な位置に配置され、前記車両の状態を示す車両状態情報を表示する車両状態表示手段（１４０）を備え、
前記表示開始手段は、
前記車両状態表示手段により表示されている前記車両状態情報が前記注視領域内に含まれている場合に、前記注視領域内に含まれている前記車両状態情報を前記表示情報とする
ことを特徴とする請求項１または請求項９に記載の運転支援装置。
前記車両に搭載された車載機器の動作状態を変更するときに操作される操作部（１３２，１３３）が、前記運転者が視認可能な位置に配置され、
前記表示開始手段は、
前記操作部が前記注視領域内に含まれている場合に、前記車載機器の現在の動作状態のうち、前記注視領域内に含まれている前記操作部により変更可能な動作状態を示す情報を、前記表示情報とする
ことを特徴とする請求項１、請求項９および請求項１０の何れか１項に記載の運転支援装置。
前記車両の後方を確認するための車載用ミラー（１５１，１５２，１５３）に映る風景を連続して撮影して、前記車両の後方の風景画像を取得する後方風景画像撮影手段（１１１，１１２，１１３）を備え、
前記表示開始手段は、
前記車載用ミラーが前記注視領域内に含まれている場合に、前記後方風景画像撮影手段により取得された前記風景画像を前記表示情報とする
ことを特徴とする請求項１、請求項９、請求項１０および請求項１１の何れか１項に記載の運転支援装置。
前記顔画像撮影手段により取得された顔画像を用いて、前記運転者がウィンクしたか否かを判断するウィンク判断手段（Ｓ８３５）を備え、
前記表示開始手段は、
前記運転者が視線を動かす動作と前記表示開始指示動作とが一致すると前記視線動作判断手段が判断し、且つ、前記運転者がウィンクしたと前記ウィンク判断手段が判断した場合に、前記表示情報の表示を前記表示手段に開始させる
ことを特徴とする請求項１、請求項９、請求項１０、請求項１１および請求項１２の何れか１項に記載の運転支援装置。
車両の運転者の顔を連続して撮影して、顔画像を取得する顔画像撮影手順（Ｓ１０，Ｓ８１０）と、
前記顔画像撮影手順により取得された顔画像を用いて、前記運転者の視線方向を検出する視線方向検出手順（Ｓ３０，Ｓ８２０）と、
前記視線方向検出手順により検出された視線方向に基づいて、前記運転者が注視している注視領域を設定する注視領域設定手順（Ｓ９０，Ｓ８６０，Ｓ８９０，Ｓ９２０，Ｓ９５０，Ｓ９８０，Ｓ１０１０，Ｓ１０４０）と、
前記視線方向検出手順による検出結果に基づいて、前記運転者が視線を動かす動作と、表示の開始を指示するために予め設定された表示開始指示動作とが一致するか否かを判断する視線動作判断手順（Ｓ４０，Ｓ８３０）と、
前記運転者が視線を動かす動作と前記表示開始指示動作とが一致すると前記視線動作判断手順が判断した場合に、前記注視領域設定手順により設定された前記注視領域に応じて予め設定された内容の表示情報を、前記運転者が視認可能な位置に配置された表示画面に表示させる表示開始手順（Ｓ５０，Ｓ１１０，Ｓ８４０，Ｓ１０７０，Ｓ１０９０，Ｓ１１１０，Ｓ１１３０，Ｓ１１５０，Ｓ１１７０，Ｓ１１９０，Ｓ１２００）とを備える
ことを特徴とする運転支援方法。