JP2014225728A - 車両用周囲モニタ装置 - Google Patents

Abstract

【課題】車両周囲の映像の中から、運転者が注目している領域の映像を高い視認性で表示する。【解決手段】複数の撮像部１０（１０ａ，１０ｂ）がそれぞれ撮影した車両５の周囲の異なる方向の映像を映像表示部５０に同時に並べて表示したときに、注視位置検出部３０（注視映像特定部）において、映像表示部５０に表示された複数の映像の中から、車両５の運転者１５０が注視したい映像を特定して、表示形態制御部４０が、特定された映像の表示形態を変更して映像表示部５０に表示する。【選択図】図３

Description

本発明は、車両に装着されて、車両周囲の状況を撮影して表示する車両用周囲モニタ装置に関するものである。

昨今、車両にカメラを装着して、運転者の死角になる領域の映像を撮影し、この映像をモニタに表示することによって、車両の死角を減らす取り組みが数多く行われている。その一部は、例えばバックモニタと呼ばれる、車両後方の死角を減らすシステムとして実用化されている。

そして、従来から車両に装着された後写鏡（バックミラー）をカメラで代替する試みもなされている（例えば特許文献１）。

特開２００８−１４１５７８号公報

しかしながら、特許文献１に記載された車両周辺視認装置では、運転者の頭部位置を検出して、検出された頭部の位置に基づいて、後写鏡を置き換えたカメラで撮影した映像の中から、運転者が注目したい領域の映像を切り出して表示しているため、運転者が注目している領域の映像を表示することはできるが、その都度必要な領域を切り出して表示しているだけであって、その表示形態までは変更していないため、必ずしも視認性が高い表示が得られる訳ではないという問題があった。

本発明は、上記課題に鑑みてなされたもので、運転者が注目した映像をより高い視認性で表示することを目的とする。

本発明に係る車両用周囲モニタ装置は、モニタ上で運転者が注目した位置に表示された映像を高い視認性で表示するものである。

すなわち、本発明に係る車両用周囲モニタ装置は、車両に設置されて、前記車両の周囲の異なる方向の映像を撮影する複数の撮像部と、前記複数の撮像部でそれぞれ撮影された複数の映像を同時に並べて表示する映像表示部と、前記車両の運転者の所定の挙動に基づいて、前記映像表示部に表示された複数の映像の中から、前記運転者が注視したい映像を特定する注視映像特定部と、前記特定された映像の表示形態を変更する表示形態制御部と、を備えることを特徴とする。

このように構成された本発明に係る車両用周囲モニタ装置によれば、複数の撮像部がそれぞれ撮影した車両の周囲の異なる方向の映像を映像表示部に同時に並べて表示したときに、注視映像特定部において、映像表示部に表示された複数の映像の中から、車両の運転者が映像表示部を注視する挙動に基づいて、運転者が注視したい映像を特定して、表示形態制御部が、特定された映像の表示形態を変更して映像表示部に表示するため、運転者が注視したい映像の視認性を向上させることができる。そして、これによって、車両走行中の運転者が車両周囲の道路状況や交通状況を確認するための視認負荷を低減することができる。

本発明に係る車両用周囲モニタ装置によれば、運転者が車両周囲の道路状況や交通状況を確認する際の視認負荷を低減することができる。

本発明の実施例１に係る車両用周囲モニタ装置の概略構成を示すブロック図である。 （ａ）は本発明の実施例１に係る車両用周囲モニタ装置が実装された車両の概略構成を示す図である。（ｂ）は映像表示部の設置位置を説明する図である。（ｃ）は映像表示部に表示された映像の一例を示す図である。 本発明の実施例１に係る車両用周囲モニタ装置の詳細構成を示すブロック図である。 本発明の実施例１に係る車両用周囲モニタ装置の白目・瞳検出部の概略構成を示す図である。 映像表示部を注視している運転者の顔面を撮影した画像の一例を示す図であり、（ａ）は画面の左方を注視している状態を示す画像である。（ｂ）は画面の中央を注視している状態を示す画像である。（ｃ）は画面の右方を注視している状態を示す画像である。 運転者の顔面を撮影した画像の中から検出した眼球の位置と瞳の位置とから、注視位置を算出する方法について説明する図である。 本発明の実施例１において映像表示部に表示される映像の表示形態の変化について説明する状態遷移図である。 本発明の実施例１において実行される処理の全体の流れを示すフローチャートである。 図８に示したフローチャートの中の、映像情報の読み込みと書き出しを行う処理の詳細な流れを示すフローチャートの前半部分である。 図８に示したフローチャートの中の、映像情報の読み込みと書き出しを行う処理の詳細な流れを示すフローチャートの後半部分である。 （ａ）は図７に示した、左画面を大きく表示するように設定変更を行う処理の詳細なフローチャートである。（ｂ）は図７に示した、左右均等に表示するように設定変更を行う処理の詳細なフローチャートである。（ｃ）は図７に示した、右画面を大きく表示するように設定変更を行う処理の詳細なフローチャートである。 本発明の実施例１の変形例について説明する状態遷移図である。 本発明の実施例２に係る車両用周囲モニタ装置の概略構成を示すブロック図である。 （ａ）は本発明の実施例２に係る車両用周囲モニタ装置の注視映像特定部の構成について説明する図である。（ｂ）は図１３（ａ）の表示形態切り替えスイッチの拡大図である。 本発明の実施例３に係る車両用周囲モニタ装置の概略構成を示すブロック図である。 本発明の実施例３に係る車両用周囲モニタ装置が実装された車両の概略構成を示す図である。 本発明の実施例３において映像表示部に表示される映像の表示形態の変化について説明する状態遷移図である。

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。

本実施例は、車両の後写鏡のひとつであるドアミラーを、本発明の車両用周囲モニタ装置で代用した例である。

（システム概略構成の説明）
まず、図１，図２を用いて、本実施例の概略構成を説明する。本実施例に係る車両用周囲モニタ装置１は、図１に示すように、車両５（図２（ａ）参照）に設置されて、撮像部１０と、映像入出力制御部２０と、注視位置検出部３０（注視映像特定部）と、表示形態制御部４０と、映像表示部５０と、からなる。

撮像部１０は、車両５（図２（ａ）参照）の左ドアミラーを代替する第１撮像部１０ａと、車両５の右ドアミラーを代替する第２撮像部１０ｂからなる。

映像入出力制御部２０は、撮像部１０に対して撮影を行うタイミング信号を送信するとともに、撮像部１０で撮影された複数の映像を受信する。なお、映像入出力制御部２０の詳細構成については後述する。

注視位置検出部３０は、本発明の注視映像特定部の一例として構成されており、車両５（図２（ａ）参照）の運転者が、後述する映像表示部５０に表示された映像のうち、どの映像を注視しているかを特定する。なお、注視位置検出部３０の詳細構成については後述する。

表示形態制御部４０は、注視位置検出部３０で特定された、運転者が注視している映像の表示サイズを拡大して、映像全体の表示形態を変更する。

映像表示部５０は、例えば液晶モニタで構成されて、表示形態制御部４０で作成された映像を表示する。

車両用周囲モニタ装置１は、図２（ａ）に示すように、車両５に実装されている。第１撮像部１０ａは車両５の左ドアミラーの位置に設置されており、本来左ドアミラーが写す範囲の映像を撮影する。また、第２撮像部１０ｂは車両５の右ドアミラーの位置に設置されており、本来右ドアミラーが写す範囲の映像を撮影する。

なお、ドアミラーは、通常は平面鏡や曲面鏡で構成されており、運転者の頭の位置の移動に応じた範囲の映像を映すものであることを考慮して、第１撮像部１０ａと第２撮像部１０ｂは、広範囲の映像を撮影できるように設計されている。

映像表示部５０は、例えばメータクラスタ内に設置される。具体的には、図２（ｂ）に示すように、メータクラスタ７の中に備えられたエンジン回転計６と速度計８の間に設置される。なお、この映像表示部５０は、視認時間を短くするために、できるだけ運転者の正面付近に設置するのが望ましい。

映像表示部５０には、例えば図２（ｃ）に示す映像６０が表示される。映像６０の左側には、第１撮像部１０ａで撮影した映像が表示される。図２（ｃ）の例では、車両５の左後方にある障害物１００ａ（図２（１）参照）を含む映像が表示される。また、映像６０の右側には、第２撮像部１０ｂで撮影した映像が表示される。図２（ｃ）の例では、車両５の右後方にある障害物１００ｂ（図２（１）参照）を含む映像が表示される。なお、これらの映像は、同じ時刻に撮影された映像である。

そして、映像表示部５０に表示される２枚の映像の間には、異なる方向の映像を表示していることを強調できるように、太い実線で構成された境界線６２を表示して、左右の映像の識別性を高める。

（システム詳細構成の説明）
次に、図３，図４を用いて、車両用周囲モニタ装置１の詳細構成を説明する。

映像入出力制御部２０は、図３に示すように、タイミングジェネレータ２０１と、第１ラインメモリ２０２と、第２ラインメモリ２０３と、第３ラインメモリ２０４と、第４ラインメモリ２０５と、第１スイッチ２０６と、第２スイッチ２０７と、第３スイッチ２０８と、第４スイッチ２０９と、を有する。

タイミングジェネレータ２０１は、表示形態制御部４０の指示を受けて、撮像部１０に対して撮影を行うタイミング信号Ｔを送信する。さらに、タイミングジェネレータ２０１は、後述するように、第１スイッチ２０６，第２スイッチ２０７，第３スイッチ２０８，第４スイッチ２０９をそれぞれ切り替えて、映像入出力制御部２０に読み込む（入力する）映像信号と、映像入出力制御部２０から読み出す（出力する）映像信号と、を適宜切り替える。その具体的な内容については、実施例１の作用の中で説明する。

第１ラインメモリ２０２は、映像表示部５０に表示する映像の水平方向１ライン分の情報を格納できるラインメモリであり、第１撮像部１０ａで撮影された映像信号Ｃ１の水平方向１ライン分の情報を記憶する。

第２ラインメモリ２０３は、映像表示部５０に表示する映像の水平方向１ライン分の情報を格納できるラインメモリであり、第１撮像部１０ａで撮影された映像信号Ｃ１の水平方向１ライン分の情報を記憶する。

第３ラインメモリ２０４は、映像表示部５０に表示する映像の水平方向１ライン分の情報を格納できるラインメモリであり、第２撮像部１０ｂで撮影された映像信号Ｃ２の水平方向１ライン分の情報を記憶する。

第４ラインメモリ２０５は、映像表示部５０に表示する映像の水平方向１ライン分の情報を格納できるラインメモリであり、第２撮像部１０ｂで撮影された映像信号Ｃ２の水平方向１ライン分の情報を記憶する。

第１スイッチ２０６は、第１撮像部１０ａで撮影された映像信号Ｃ１の水平方向１ライン分の情報の記憶先を、第１ラインメモリ２０２と第２ラインメモリ２０３のいずれかに切り替えるスイッチである。この第１スイッチ２０６はソフトウェアで構成されて、タイミングジェネレータ２０１によって制御される。

第２スイッチ２０７は、第１ラインメモリ２０２または第２ラインメモリ２０３に記憶された、第１撮像部１０ａで撮影された映像信号Ｃ１の水平方向１ライン分の情報を、表示形態制御部４０に出力させるスイッチである。この第２スイッチ２０７はソフトウェアで構成されて、タイミングジェネレータ２０１によって制御される。

第３スイッチ２０８は、第２撮像部１０ｂで撮影された映像信号Ｃ２の水平方向１ライン分の情報の記憶先を、第３ラインメモリ２０４と第４ラインメモリ２０５のいずれかに切り替えるスイッチである。この第３スイッチ２０８はソフトウェアで構成されて、タイミングジェネレータ２０１によって制御される。

第４スイッチ２０９は、第３ラインメモリ２０４または第４ラインメモリ２０５に記憶された、第２撮像部１０ｂで撮影された映像信号Ｃ２の水平方向１ライン分の情報を、表示形態制御部４０に出力させるスイッチである。この第４スイッチ２０９はソフトウェアで構成されて、タイミングジェネレータ２０１によって制御される。

注視位置検出部３０（注視映像特定部）は、運転者の左右の眼球を含む画像を撮影して、撮影された画像の中から眼球を検出し、さらに、眼球の中の瞳（黒目）の位置を検出して、眼球の中の瞳の位置に基づいて、注視している方向を算出する。

注視位置検出部３０は、図４に示すように、注視位置指示部３２と、眼球・瞳位置検出部３３と、注視位置算出部３４と、運転者観測カメラ３５と、を有する。

注視位置指示部３２は、車両用周囲モニタ装置１（図１参照）を実際に動作させる前に、運転者の注視位置を測定するために行うキャリブレーション（校正）に使用される。注視位置指示部３２は、具体的には、運転者が特定の位置を注視したことを伝達するスイッチで構成されている。注視位置指示部３２の具体的な作用については、後述する注視位置検出方法の説明の中で後述する。

運転者観測カメラ３５は、メータクラスタ７（図２（ｂ）参照）の内部に、映像表示部５０（図２（ｂ）参照）の近傍に設置された小型カメラである。運転者観測カメラ３５は、図４に示すように、運転席に着座した運転者１５０の左の眼球１５０Ｌと右の眼球１５０Ｒを含む撮影範囲Ｒの映像を撮影できるように配置されている。なお、運転者観測カメラ３５を映像表示部５０の近傍に設置するのは、運転者１５０が映像表示部５０の中のどの位置を注視しているかをできるだけ正確に検出するためである。

眼球・瞳位置検出部３３は、運転者観測カメラ３５で撮影した運転者１５０の顔面の映像の中から、眼球の位置と瞳の位置とを検出する。その詳細な内容については、後述する注視位置検出方法の説明の中で後述する。

注視位置算出部３４は、検出された眼球の位置と瞳の位置とに基づいて運転者１５０の注視位置を随時検出することによって、運転者１５０が映像表示部５０を注視している挙動を特定する。その詳細な内容については、後述する注視位置検出方法の説明の中で後述する。

表示形態制御部４０は、図３に示すように、表示形態決定部４０１と、表示形態変更部４０５と、を有する。

表示形態決定部４０１は、注視位置検出部３０で検出された注視位置に基づいて、運転者１５０が映像表示部５０を注視している挙動を特定して、映像表示部５０に表示する映像の表示形態を決定する。

表示形態変更部４０５は、映像入出力制御部２０に対して、表示形態決定部４０１で決定した表示形態を伝達して、所望の形態に補正された映像情報を受け取ることによって、表示形態を変更する。なお、具体的な処理の内容については、実施例１の処理の流れの説明の中で後述する。

（注視位置検出方法の説明）
次に、注視位置検出部３０で行われる処理の内容について、図５，図６を用いて説明する。

図５（ａ），（ｂ），（ｃ）は、運転者観測カメラ３５で撮影した運転者１５０の顔面の画像の一例である。撮影された画像の中には、例えば、図５（ａ）に示すように、運転者１５０の左の眼球１５０Ｌ（白目と黒目）と右の眼球１５０Ｒ（白目と黒目）が映っている。そして、左の眼球１５０Ｌの中には左の瞳（黒目）Ｅ_ＰＬが映っており、右の眼球１５０Ｒの中には右の瞳（黒目）Ｅ_ＰＲが映っている。

眼球の中の瞳（黒目）の位置は、運転者１５０の注視位置に応じて移動する。具体的には、左方向を注視しているときには、図５（ａ）に示すように、撮影された画像の中で、左右の瞳Ｅ_ＰＬ，Ｅ_ＰＲは、ともに眼球１５０Ｌ，１５０Ｒの右側に移動する。また、正面を注視しているときには、図５（ｂ）に示すように、撮影された画像の中で、左右の瞳は、ともに眼球の中央に移動する。そして、右方向を注視しているときには、図５（ｃ）に示すように、撮影された画像の中で、左右の瞳は、ともに眼球の左側に移動する。

このように左右を注視したとき、図６に示すように、左の眼球１５０Ｌ（白目と黒目）の重心位置Ｘ_Ｇ１Ｌと左の瞳Ｅ_ＰＬ（黒目）の重心位置Ｘ_Ｇ２Ｌとの間には、水平方向の偏差ΔＸ_Ｌが生じる。また、右の眼球１５０Ｒ（白目と黒目）の重心位置Ｘ_Ｇ１Ｒと右の瞳Ｅ_ＰＲ（黒目）の重心位置Ｘ_Ｇ２Ｒとの間には、水平方向の偏差ΔＸ_Ｒが生じる。なお、図６は、運転者１５０が左方向を注視している状態を表わす図であり、図５（ａ）に対応している。このときに発生する水平方向の偏差ΔＸ_Ｌ，ΔＸ_Ｒを正とする。そして、図示はしないが、右方向を注視しているときには、水平方向の偏差ΔＸ_Ｌ，ΔＸ_Ｒがともに負の値となる。

また、正面を注視したときには、眼球の重心位置と瞳の重心位置とが近接するため、水平方向の偏差ΔＸ_Ｌ，ΔＸ_Ｒの絶対値がともに小さくなる。なお、正面を注視したときに、注視対象物までの距離が近い場合には、左右の眼球がともに内側を向く、いわゆる輻輳が発生する。輻輳が発生すると、一般には左の眼球から算出した水平方向の偏差ΔＸ_Ｌが負の値となり、右の眼球から算出した水平方向の偏差ΔＸ_Ｒは正の値となるため、正面を注視したときの水平方向の偏差ΔＸ_Ｌ，ΔＸ_Ｒの符号は状況によって異なる。

眼球の大きさや左右の眼球の距離が個人によって異なるため、同じ位置を注視した場合であっても、前記した水平方向の偏差ΔＸ_Ｌ，ΔＸ_Ｒには個人差がある。そこで、まず、運転者１５０に映像表示部５０の中の所定の位置を注視させて、そのときの眼球（白目と黒目）の中の瞳（黒目）の位置を検出して、キャリブレーションを行う。

キャリブレーションは、以下の手順で行われる。まず、車両用周囲モニタ装置１の眼球・瞳位置検出部３３から、映像表示部５０の所定の領域（画面の左半分の領域、画面の右半分の領域、画面全体）あるいは所定の位置（画面の左半分の領域内の特定の点、画面の右半分の領域内の特定の点、画面中央付近の特定の点）を注視するように指示を出す。運転者１５０は、その指示に従った位置を注視する。指示は、音声によって出力してもよいし、映像表示部５０の中に表示してもよい。

指示に従った位置を注視したときに、運転者１５０は、手元に配置された、例えばプッシュスイッチからなる注視位置指示部３２を押下することによって、指示された位置を注視したことを眼球・瞳位置検出部３３に伝達する。

注視位置指示部３２から眼球・瞳位置検出部３３に対して、所定の位置を注視したことを示す指示が伝達されると、眼球・瞳位置検出部３３は、運転者観測カメラ３５で撮影された運転者１５０の両眼を含む画像の中から、画像処理によって眼球の位置と瞳の位置を検出する。

撮影された画像の中から、眼球（白目と黒目）と瞳（黒目）を検出する画像処理手法には様々なものが提案されており、そのいずれの方法によって行っても構わない。例えば、２値化処理によって眼球（白目）の領域を検出し、眼球に隣接した黒丸領域として黒目（瞳）を検出してもよいし、眼球（白目と黒目）のモデルを用意して、テンプレートマッチングによってその領域を検出してもよい。

眼球・瞳位置検出部３３は、さらに、検出された眼球（白目と黒目）の領域と瞳（黒目）の領域から、それぞれの重心位置を算出し、算出された重心位置を、キャリブレーションデータとして注視位置算出部３４に記憶する。

前記したように、定性的には、左方向を注視しているときは、両眼ともに、眼球（白目と黒目）の重心位置に対して、瞳（黒目）の重心位置が画像上で右方向に移動する。また、右方向を注視しているときは、両眼ともに、眼球（白目と黒目）の重心位置に対して、瞳（黒目）の重心位置が画像上で左方向に移動する。

さらに、正面を注視しているときは、両眼ともに、眼球（白目と黒目）の重心位置と瞳（黒目）の重心位置とが、画像上でほぼ同じ位置になる。

このように左右の眼球は連動して動くことから、データ量を削減するために、左の眼球１５０Ｌから検出した眼球（白目と黒目）の重心位置と瞳（黒目）の重心位置との水平方向の偏差ΔＸ_Ｌと、右の眼球１５０Ｒから検出した眼球（白目と黒目）の重心位置と瞳（黒目）の重心位置との水平方向の偏差ΔＸ_Ｒと、を平均してキャリブレーションデータΔＸ（＝（ΔＸ_Ｌ＋ΔＸ_Ｒ）／２）とする。算出されたキャリブレーションデータΔＸは、注視位置算出部３４に記憶される。

さらに、より正確なキャリブレーションデータを取得するために、１箇所を注視している状態で複数枚の画像を撮影して、眼球（白目と黒目）と瞳（黒目）の検出を複数回行って、その都度、前記した重心位置の水平方向偏差を算出して、算出された複数個の水平方向偏差を平均化してキャリブレーションデータとしてもよい。

キャリブレーションが終了した後で、眼球・瞳位置検出部３３において、運転者１５０の眼球（白目と黒目）と瞳（黒目）の検出を行う。そして、検出された眼球の領域からその重心位置を算出して、検出された瞳の領域からその重心位置を算出する。

算出された眼球（白目と黒目）の重心位置（図６のＸ_Ｇ１Ｌ，Ｘ_Ｇ１Ｒ）と瞳（黒目）の重心位置（図６のＸ_Ｇ２Ｌ，Ｘ_Ｇ２Ｒ）とは、注視位置算出部３４に送られて、眼球（白目と黒目）の重心位置と瞳（黒目）の重心位置との水平方向の偏差（ΔＸ_Ｌ，ΔＸ_Ｒ）の平均値が、記憶されているキャリブレーションデータΔＸと照合されて、運転者１５０の注視位置が特定される。

（表示形態変更方法の説明）
次に、映像表示部５０に表示される映像の表示形態の具体的な変更方法について、図７を用いて説明する。

図７は、運転者１５０の注視位置の変化に応じた具体的な表示形態の変更方法について、状態遷移図で表現したものである。

表示される映像の状態は３種類ある。すなわち、車両５の左後方と右後方とが等しい大きさで表示される第１の表示形態６０Ｃと、車両５の左後方が右後方よりも幅広く表示される第２の表示形態６０Ｌと、車両５の右後方が左後方よりも幅広く表示される第３の表示形態６０Ｒである。

今、第１の表示形態６０Ｃの表示がなされていたとする。このとき、注視位置算出部３４で算出された注視位置が画面の中央にあったときには、第１の表示形態６０Ｃの表示が継続される（状態遷移６０１）。これは、運転者１５０が、左右両方の映像を確認したい意図をもっていると考えられるためである。

また、第１の表示形態６０Ｃの表示がなされているとき、注視位置算出部３４で算出された注視位置が画面の左方にあったときには、表示形態が第２の表示形態６０Ｌに変更される（状態遷移６０２）。これは、運転者１５０が、左方の映像を確認したい意図をもっていると考えられるためである。そして、このときは、左方の映像の表示サイズを拡大して表示することによって、左方の映像の視認性をより高める。また、このとき、右方の映像は、左右方向に縮小されて表示される。なお、図７に示した例では、左方の映像の表示幅を、第１の表示形態６０Ｃの左画面に表示された映像に対して、１．５倍に拡大している。この拡大率は、拡大した際の視認性を考慮して適宜決定される。

さらに、第１の表示形態６０Ｃの表示がなされているとき、注視位置算出部３４で算出された注視位置が画面の右方にあったときには、表示形態が第３の表示形態６０Ｒに変更される（状態遷移６０３）。これは、運転者１５０が、右方の映像を確認したい意図をもっていると考えられるためである。そして、このときは、右方の映像の表示サイズを拡大して表示することによって、右方の映像の視認性をより高める。また、このとき、左方の映像は、左右方向に縮小されて表示される。なお、図７に示した例では、右方の映像の表示幅を、第１の表示形態６０Ｃの右画面に表示された映像に対して、１．５倍に拡大している。この拡大率は、拡大した際の視認性を考慮して適宜決定される。

次に、第２の表示形態６０Ｌの表示がなされていたとする。このとき、注視位置算出部３４で算出された注視位置が画面の中央または左方にあったときには、第２の表示形態６０Ｌの表示が継続される（状態遷移６０４）。これは、運転者１５０が、左方の映像を確認したい意図をもっていると考えられるためである。なお、注視位置が画面の中央にあるときにも第２の表示形態６０Ｌを継続するのは、僅かな注視位置の変動によって表示形態が頻繁に変更されることによる、映像のばたつきを防止するためである。

また、第２の表示形態６０Ｌの表示がなされているとき、注視位置算出部３４で算出された注視位置が画面の右方にあったときには、表示形態が第１の表示形態６０Ｃに変更される（状態遷移６０５）。これは、運転者１５０が、左右両方の映像を確認したい、もしくは右方の映像を確認したい意図をもっていると考えられるためである。

さらに、第３の表示形態６０Ｒの表示がなされていたとする。このとき、注視位置算出部３４で算出された注視位置が画面の中央または右方にあったときには、第３の表示形態６０Ｒの表示が継続される（状態遷移６０６）。これは、運転者１５０が、右方の映像を確認したい意図をもっていると考えられるためである。なお、注視位置が画面の中央にあるときにも第３の表示形態６０Ｒを継続するのは、僅かな注視位置の変動によって表示形態が頻繁に変更されることによる、映像のばたつきを防止するためである。

また、第３の表示形態６０Ｒの表示がなされているとき、注視位置算出部３４で算出された注視位置が画面の左方にあったときには、表示形態が第１の表示形態６０Ｃに変更される（状態遷移６０７）。これは、運転者１５０が、左右両方の映像を確認したい、もしくは左方の映像を確認したい意図をもっていると考えられるためである。

（処理の流れの説明）
次に、本実施例１の処理の流れについて、図８，図９Ａ，図９Ｂ，図１０を用いて説明する。まず、図８を用いて、全体の処理の流れを説明する。

（ステップＳ７０１）注視位置検出部３０において、眼球の位置と瞳の位置のキャリブレーションを行う。キャリブレーションの内容は先に説明した通りであるため、詳細な処理の流れの説明は省略する。

（ステップＳ７０２）表示形態変更部４０５において、映像表示部５０に表示する映像の表示形態の初期設定を行う。具体的には、映像表示部５０の左右画面を均等に表示するように設定する。ここでは、後述するステップＳ７１４と同じ処理が行われる。

（ステップＳ７０３）表示形態制御部４０において設定された表示形態で映像の表示を行うために、撮像部１０で撮影した映像の読み込み（入力）と表示形態制御部４０への書き出し（出力）を行う。なお、ステップＳ７０３の詳細な処理の内容については後述する。

（ステップＳ７０４）１フィールド分の映像の出力が完了したか否かを判断する。終了していないときはステップＳ７０３に戻り、終了していたら、ステップＳ７０５に進む。

（ステップＳ７０５）眼球・瞳位置検出部３３において、運転者１５０の顔面の画像の中から、左右の眼球の領域と、左右の瞳の領域を検出する。具体的な処理の内容は、先に説明した通りである。

（ステップＳ７０６）注視位置算出部３４において、運転者１５０が画面中央を注視しているか否かを判断する。画面中央を注視していると判断されたときはステップＳ７０３に戻り、画面中央を注視していないと判断されたときはステップＳ７０７に進む。

（ステップＳ７０７）注視位置算出部３４において、運転者１５０が右画面を注視しているか否かを判断する。右画面を注視していると判断されたときはステップＳ７１０に進み、右画面を注視していないと判断されたときはステップＳ７０８に進む。

（ステップＳ７０８）表示形態決定部４０１において、そのときの映像表示部５０の表示形態が、左画面を大きく表示する状態に設定されているか否かを判断する。左画面を大きく表示する状態に設定されているときはステップＳ７１５に進み、左画面を大きく表示する状態に設定されていないときはステップＳ７０９に進む。

（ステップＳ７０９）表示形態決定部４０１において、そのときの映像表示部５０の表示形態が、右画面を大きく表示する状態に設定されているか否かを判断する。右画面を大きく表示する状態に設定されているときはステップＳ７１４に進み、右画面を大きく表示する状態に設定されていないときはステップＳ７１２に進む。

（ステップＳ７１０）表示形態決定部４０１において、そのときの映像表示部５０の表示形態が、右画面を大きく表示する状態に設定されているか否かを判断する。右画面を大きく表示する状態に設定されているときはステップＳ７１５に進み、右画面を大きく表示する状態に設定されていないときはステップＳ７１１に進む。

（ステップＳ７１１）表示形態決定部４０１において、そのときの映像表示部５０の表示形態が、左画面を大きく表示する状態に設定されているか否かを判断する。左画面を大きく表示する状態に設定されているときはステップＳ７１４に進み、左画面を大きく表示する状態に設定されていないときはステップＳ７１３に進む。

（ステップＳ７１２）表示形態変更部４０５において、映像表示部５０に表示する映像の表示形態を、左画面が大きく表示されるように変更する。ステップＳ７１２の詳細なフローチャートは後述する。

（ステップＳ７１３）表示形態変更部４０５において、映像表示部５０に表示する映像の表示形態を、右画面が大きく表示されるように変更する。ステップＳ７１３の詳細なフローチャートは後述する。

（ステップＳ７１４）表示形態変更部４０５において、映像表示部５０に表示する映像の表示形態を、左右の画面が均等に表示されるように変更する。ステップＳ７１４の詳細なフローチャートは後述する。

（ステップＳ７１５）車両５のイグニッションスイッチがＯＦＦになっているか否かを判断する。イグニッションスイッチがＯＦＦになっているときには処理を終了する。一方、イグニッションスイッチがＯＦＦになっていないときは、ステップＳ７０３に戻る。

次に、図９Ａ，図９Ｂを用いて、ステップＳ７０３で実行される、映像の読み込みと書き出しの処理の流れを説明する。

（ステップＳ８０１）第１スイッチ２０６を第１ラインメモリ２０２側（図３の端子ａ１１側）に倒し、第２スイッチ２０７を第２ラインメモリ２０３側（図３の端子ｂ１２側）に倒し、第３スイッチ２０８を第３ラインメモリ２０４側（図３の端子ａ２１側）に倒し、第４スイッチ２０９を第４ラインメモリ２０５側（図３の端子ｂ２２側）に倒す。

（ステップＳ８０２）第１ラインメモリ２０２に、タイミングジェネレータ２０１からクロック信号ＣＫ１１を与えて、このクロック信号ＣＫ１１によって、映像信号Ｃ１を１ライン分だけ第１ラインメモリ２０２に読み込む。

（ステップＳ８０３）第３ラインメモリ２０４に、タイミングジェネレータ２０１からクロック信号ＣＫ２１を与えて、このクロック信号ＣＫ２１によって、映像信号Ｃ２を１ライン分だけ第３ラインメモリ２０４に読み込む。

（ステップＳ８０４）第２ラインメモリ２０３に、タイミングジェネレータ２０１からクロック信号ＣＫ１２を与えて、このクロック信号ＣＫ１２によって、映像信号Ｃ１を１ライン分だけ第２ラインメモリ２０３から表示形態制御部４０に読み出す。

（ステップＳ８０５）第４ラインメモリ２０５に、タイミングジェネレータ２０１からクロック信号ＣＫ２２を与えて、このクロック信号ＣＫ２２によって、映像信号Ｃ２を１ライン分だけ第４ラインメモリ２０５から表示形態制御部４０に読み出す。

（ステップＳ８０６）第２ラインメモリ２０３から読み出した映像信号Ｃ１と第４ラインメモリ２０５から読み出した映像信号Ｃ２を表示形態変更部４０５で１ラインの映像信号に合成する。このようにして合成された１ラインの映像信号は、映像表示部５０に表示される。

（ステップＳ８０７）タイミングジェネレータ２０１の作用によって、クロック信号の周波数を設定する。すなわち、クロック信号ＣＫ１１の周波数とクロック信号ＣＫ２１の周波数を入れ替える。また、クロック信号ＣＫ１２の周波数とクロック信号ＣＫ２２の周波数を入れ替える。

（ステップＳ８０８）次に、第１スイッチ２０６を第２ラインメモリ２０３側（図３の端子ｂ１１側）に倒し、第２スイッチ２０７を第１ラインメモリ２０２側（図３の端子ａ１２側）に倒し、第３スイッチ２０８を第４ラインメモリ２０５側（図３の端子ｂ２１側）に倒し、第４スイッチ２０９を第３ラインメモリ２０４側（図３の端子ａ２２側）に倒す。

（ステップＳ８０９）第２ラインメモリ２０３に、タイミングジェネレータ２０１からクロック信号ＣＫ１２を与えて、このクロック信号ＣＫ１２によって、映像信号Ｃ１を１ライン分だけ第２ラインメモリ２０３に読み込む。

（ステップＳ８１０）第４ラインメモリ２０５に、タイミングジェネレータ２０１からクロック信号ＣＫ２２を与えて、このクロック信号ＣＫ２２によって、映像信号Ｃ２を１ライン分だけ第４ラインメモリ２０５に読み込む。

（ステップＳ８１１）第１ラインメモリ２０２に、タイミングジェネレータ２０１からクロック信号ＣＫ１１を与えて、このクロック信号ＣＫ１１によって、映像信号Ｃ１を１ライン分だけ第１ラインメモリ２０２から表示形態制御部４０に読み出す。

（ステップＳ８１２）第３ラインメモリ２０４に、タイミングジェネレータ２０１からクロック信号ＣＫ２１を与えて、このクロック信号ＣＫ２１によって、映像信号Ｃ２を１ライン分だけ第３ラインメモリ２０４から表示形態制御部４０に読み出す。

（ステップＳ８１３）第１ラインメモリ２０２から読み出した映像信号Ｃ１と第３ラインメモリ２０４から読み出した映像信号Ｃ２を表示形態変更部４０５で１ラインの映像信号に合成する。このようにして合成された１ラインの映像信号は、映像表示部５０に表示される。

（ステップＳ８１４）タイミングジェネレータ２０１の作用によって、クロック信号の周波数を設定する。すなわち、クロック信号ＣＫ１１の周波数とクロック信号ＣＫ２１の周波数を入れ替える。また、クロック信号ＣＫ１２の周波数とクロック信号ＣＫ２２の周波数を入れ替える。

次に、図１０（ａ）を用いて、ステップＳ７１２で行う、映像表示部５０の左画面を大きく表示するように設定変更する処理の流れを説明する。

（ステップＳ９０１）タイミングジェネレータ２０１の作用によって、クロック信号ＣＫ１１とクロック信号ＣＫ２１を、それぞれ周波数ｆ_０に設定する。また、クロック信号ＣＫ１２の周波数を４ｆ_０／３に設定する。そして、クロック信号ＣＫ２２の周波数を４ｆ_０に設定する。これによって、映像表示部５０の左画面が大きく表示されるように設定変更される。具体的には、この設定によって、左画面の幅が右画面の幅に対して３倍の大きさで表示される。

次に、図１０（ｃ）を用いて、ステップＳ７１３で行う、映像表示部５０の右画面を大きく表示するように設定変更する処理の流れを説明する。

（ステップＳ９０３）タイミングジェネレータ２０１の作用によって、クロック信号ＣＫ１１とクロック信号ＣＫ２１を、それぞれ周波数ｆ_０に設定する。また、クロック信号ＣＫ１２の周波数を４ｆ_０に設定する。そして、クロック信号ＣＫ２２の周波数を４ｆ_０／３に設定する。これによって、映像表示部５０の右画面が大きく表示されるように設定変更される。具体的には、この設定によって、右画面の幅が左画面の幅に対して３倍の大きさで表示される。

次に、図１０（ｂ）を用いて、ステップＳ７１４で行う、映像表示部５０の左右画面を均等に表示するように設定変更する処理の流れを説明する。

（ステップＳ９０２）タイミングジェネレータ２０１の作用によって、クロック信号ＣＫ１１とクロック信号ＣＫ２１を、それぞれ周波数ｆ_０に設定する。また、クロック信号ＣＫ１２とクロック信号ＣＫ２２を、それぞれ周波数２ｆ_０に設定する。これによって、映像表示部５０の左右画面が同じ幅で表示されるように設定変更される。

なお、以上説明した実施例１では、注目していない側の画面は、書き出し周波数を読み出し周波数の４倍の周波数である４ｆ_０に設定することによって、注目していない側の画面に、撮影した映像情報を全て表示した。しかし、注目していない側の画面への書き出し周波数は２ｆ_０に設定してもよい。

図１１は、注目していない側の画面への書き出し周波数を２ｆ_０に設定したときの状態遷移図を示す。このとき、図１１に示す第２の表示形態６０Ｌ２と第３の表示形態６０Ｒ２のように、注目していない側の画面の表示範囲は制限されるが、図７に示した表示例と比べると、注目していない側の画面にも障害物がより拡大して表示されるため、注目していない側の画面に障害物等の注意が必要な物体が存在したときに、運転者１５０に対して、より一層注意を喚起することが可能となる。

なお、図１１に示した第２の表示形態６０Ｌ２，第３の表示形態６０Ｒ２を実現するためには、注目していない側の画面への映像信号の書き出しを、読み込んだ映像信号Ｃ１，Ｃ２の途中で打ち切る必要があるため、図３に示した映像入出力制御部２０に、さらに、読み込んだ映像信号Ｃ１，Ｃ２を周波数２ｆ_０で所定画素数だけ書き出したか否かを判断する機能が追加される。この機能は、簡単な論理回路で実現することが可能であるため、詳細説明は省略する。

次に、本発明の車両用周囲モニタ装置を、車両の後写鏡のひとつであるドアミラーの代用として用いた別の実施例２について説明する。

（システム概略構成と作用の説明）
以下、図１２，図１３を用いて、本実施例の概略構成と作用を説明する。本実施例に係る車両用周囲モニタ装置２は、図１２に示すように、車両５（図２（ａ）参照）に設置されて、撮像部１０と、映像入出力制御部２０と、スイッチ操作検出部３６（注視映像特定部）と、表示形態制御部４０と、映像表示部５０とからなる。

車両用周囲モニタ装置２の構成は、実施例１で説明した図１とほぼ同様であり、撮像部１０を構成する第１撮像部１０ａと第２撮像部１０ｂの車両５への搭載状態も実施例１で説明した図２（ａ）と同様である。唯一、実施例１が有していた注視位置検出部３０（図１参照）の代わりに、図１２に示すスイッチ操作検出部３６を有する点のみが異なっている。以下、実施例１との差異について、図２〜図４，図１２，図１３を参照して説明する。

スイッチ操作検出部３６は、図１３（ａ）に示すように、車両５（図２（ａ）参照）のステアリングホイール３６２に設置された表示形態切り替えスイッチ３６４からなる。この表示形態切り替えスイッチ３６４（図１３（ｂ）参照）は、３極単投のロッカースイッチで構成されており、表示形態切り替えスイッチ３６４の左側が押下された状態と、表示形態切り替えスイッチ３６４の右側が押下された状態と、表示形態切り替えスイッチ３６４の左右がともに押下されていない状態と、の３通りの状態を指定することができる。

そして、表示形態切り替えスイッチ３６４の左側が押下されたときには、その情報が図３に示す表示形態決定部４０１に伝えられる。そして、表示形態変更部４０５が、映像表示部５０の表示形態を、左画面が大きく表示されるように変更する。

また、表示形態切り替えスイッチ３６４の右側が押下されたときには、その情報が、図３に示す表示形態決定部４０１に伝えられる。そして、表示形態変更部４０５が、映像表示部５０の表示形態を、右画面が大きく表示されるように変更する。

また、表示形態切り替えスイッチ３６４の左右がともに押下されていないときには、その情報が、図３に示す表示形態決定部４０１に伝えられる。そして、表示形態変更部４０５が、映像表示部５０の表示形態を、左右画面が均等に表示されるように変更する。

このように、映像表示部５０に表示させたい画面形態を、運転者１５０（図４参照）の、表示形態切り替えスイッチ３６４の操作（所定のスイッチ操作）を検出することによって、簡便に選択することができる。

なお、同様の機能は、ステアリングホイール３６２の裏面側に設置されたウインカーレバー３６６の操作（ウインカー操作）に基づいて実現することもできる。

すなわち、運転者１５０が車両５を走行中に、右側の車線に車線変更を行う前にウインカーレバー３６６を操作して右側に方向指示器を出すと、右側の方向指示器を出したことが、図３に示す表示形態決定部４０１に伝えられる。そして、表示形態変更部４０５が、映像表示部５０の表示形態を、右画面が大きく表示されるように変更する。そして、運転者１５０は、映像表示部５０を目視して車両の右後方の安全確認を行うことができるため、安心して車線変更を行うことができる。

さらに、左側の車線に車線変更を行う前にウインカーレバー３６６を操作して左側に方向指示器を出すと、左側の方向指示器を出したことが、図３に示す表示形態決定部４０１に伝えられる。そして、表示形態変更部４０５が、映像表示部５０の表示形態を、左画面が大きく表示されるように変更する。そして、運転者１５０（図４参照）は、映像表示部５０を目視して車両の左後方の安全確認を行うことができるため、安心して車線変更を行うことができる。

このように、運転者１５０（図４参照）の表示形態切り替えスイッチ３６４やウインカーレバー３６６の操作（ウインカー操作）に基づいて、運転者１５０が注視すべき映像の視認性が高くなるように、映像表示部５０の表示形態を適宜変更することができる。

次に、本発明の車両用周囲モニタ装置を、車両周囲の死角モニタとして用いた別の実施例３について説明する。

（システム概略構成の説明）
以下、図１４〜図１６を用いて、本実施例の概略構成と作用を説明する。本実施例に係る車両用周囲モニタ装置３は、図１４に示すように、車両５（図１５参照）に設置されて、撮像部１２と、映像変換および映像入出力制御部２２と、注視位置検出部３０（注視映像特定部）と、表示形態制御部４０と、映像表示部５０とからなる。

車両用周囲モニタ装置３の基本構成は実施例１と同じであるが、撮像部１０（図１参照）の代わりに撮像部１２を有する点と、映像入出力制御部２０（図１参照）の代わりに映像変換および映像入出力制御部２２を有する点が異なっている。

撮像部１２は、４台のカメラから構成されており、図１５に示すように、車両の左ドアミラー付近に設置されて、車両の左側面の下方を撮影する第３撮像部１０ｃと、車両の右ドアミラー付近に設置されて、車両の右側面の下方を撮影する第４撮像部１０ｄと、車両の前端に設置されて、車両の前端直下を撮影する第５撮像部１０ｅと、車両の後端に設置されて、車両の後端直下を撮影する第６撮像部１０ｆと、からなる。

映像変換および映像入出力制御部２２は、映像入出力制御部２０（図１参照）が有する機能と、後述する、撮像部１２で撮影した複数の映像をそれぞれ座標変換して１枚の映像に合成する機能と、を有する。

（作用の説明）
以下、実施例３の作用について説明する。車両用周囲モニタ装置３は、図１５に示すように、車両５に搭載されて、撮像部１２を構成する４台のカメラは、それぞれ、運転者１５０（図４参照）から死角になる領域の映像を撮影する。

そして、運転者１５０が、車両５に設置された起動スイッチ（非図示）を操作すると、撮像部１２で同時刻に撮影された４枚の映像が、映像変換および映像入出力制御部２２において１枚の映像に合成されて、図１６に示す全周囲表示形態６２Ｃとして映像表示部５０に表示される。

全周囲表示形態６２Ｃが表す映像は、第３撮像部１０ｃが撮影した映像を車両５の上空から見下ろしたように座標変換した俯瞰映像１００ｃ１と、第４撮像部１０ｄが撮影した映像を車両５の上空から見下ろしたように座標変換した俯瞰映像１００ｄ１と、第５撮像部１０ｅが撮影した映像を車両５の上空から見下ろしたように座標変換した俯瞰映像１００ｅ１と、第６撮像部１０ｆが撮影した映像を車両５の上空から見下ろしたように座標変換した俯瞰映像１００ｆ１と、をそれぞれ、車両５を上空から見下ろした仮想図形である車影５ａの周りに、お互いの位置関係を保つように配置して、あたかも車両５を上空から見下ろしたように表現したものである。

そして、俯瞰映像１００ｃ１の中には、車両５の左側方にある障害物１００ｃが表示されて、俯瞰映像１００ｄ１の中には、車両５の右側方にある障害物１００ｄが表示されて、俯瞰映像１００ｅ１の中には、車両５の前方にある障害物１００ｅが表示されて、俯瞰映像１００ｆ１の中には、車両５の後方にある障害物１００ｆが表示される。

なお、各俯瞰映像１００ｃ１，１００ｄ１，１００ｅ１，１００ｆ１の境界部には、各俯瞰映像同士の識別性を高めるために、境界線６４が表示される。

このような俯瞰図表示は、昨今、車両の周囲状況をモニタする装置として実用化されているため、全周囲表示形態６２Ｃを表わす画像を生成する処理の内容についての説明は省略する。

注視位置検出部３０（注視映像特定部）は、車両５の運転者１５０（図４参照）が注視している映像表示部５０の画面内の位置を検出する。その構成と作用は、実施例１で説明した通りである。

検出された注視位置に応じて、表示形態制御部４０の作用によって、図１６に示す状態遷移図に基づいて映像表示部５０に表示される映像の表示形態が変更される。

以下、図１６の状態遷移図について、順を追って説明する。映像表示部５０に表示される映像の状態は５種類ある。すなわち、図１６に示すように、前記した全周囲表示形態６２Ｃと、後方表示形態６２Ｂと、前方表示形態６２Ｆと、左側方表示形態６２Ｌと、右側方表示形態６２Ｒである。

今、全周囲表示形態６２Ｃの表示がなされていたとする。このとき、注視位置検出部３０（注視映像特定部）で算出された注視位置が画面の中央にあったときには、全周囲表示形態６２Ｃの表示が継続される（状態遷移７０１）。これは、運転者１５０（図４参照）が全周囲の映像を確認したい意図をもっていると考えられるためである。

また、全周囲表示形態６２Ｃの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の下方にあったときには、表示形態が後方表示形態６２Ｂに変更される（状態遷移７０２）。これは、運転者１５０が下方の映像（ずなわち車両５の後方）を確認したい意図をもっていると考えられるためである。そして、このときは、運転者１５０の意図を反映するように、車両５の後方の俯瞰映像１００ｆ１の表示サイズを拡大して俯瞰映像１００ｆ２とした表示形態とすることによって、車両後方の映像の視認性をより高める。なお、俯瞰映像１００ｆ１の表示サイズの拡大率は、拡大した際の視認性を考慮して適宜決定される。

そして、後方表示形態６２Ｂの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の中央、画面の左方、または画面の右方にあったときには、後方表示形態６２Ｂの表示が継続される（状態遷移７０３）。

さらに、後方表示形態６２Ｂの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の上方にあったときには、表示形態が全周囲表示形態６２Ｃに変更される（状態遷移７０４）。これは、運転者１５０が全周囲の映像を確認したい意図をもっていると考えられるためである。

また、全周囲表示形態６２Ｃの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の上方にあったときには、表示形態が前方表示形態６２Ｆに変更される（状態遷移７０５）。これは、運転者１５０が上方の映像（ずなわち車両５の前方）を確認したい意図をもっていると考えられるためである。そして、このときは、運転者１５０の意図を反映するように、車両５の前方の俯瞰映像１００ｅ１の表示サイズを拡大して俯瞰映像１００ｅ２とした表示形態とすることによって、車両前方の映像の視認性をより高める。なお、俯瞰映像１００ｅ１の表示サイズの拡大率は、拡大した際の視認性を考慮して適宜決定される。

そして、前方表示形態６２Ｆの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の中央、画面の左方、または画面の右方にあったときには、前方表示形態６２Ｆの表示が継続される（状態遷移７０６）。

さらに、前方表示形態６２Ｆの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の下方にあったときには、表示形態が全周囲表示形態６２Ｃに変更される（状態遷移７０７）。これは、運転者１５０が全周囲の映像を確認したい意図をもっていると考えられるためである。

また、全周囲表示形態６２Ｃの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の左方にあったときには、表示形態が左側方表示形態６２Ｌに変更される（状態遷移７０８）。これは、運転者１５０が左方の映像（ずなわち車両５の左側方）を確認したい意図をもっていると考えられるためである。そして、このときは、運転者１５０の意図を反映するように、車両５の左側方の俯瞰映像１００ｃ１の表示サイズを拡大して俯瞰映像１００ｃ２とした表示形態とすることによって、車両左側方の映像の視認性をより高める。なお、俯瞰映像１００ｃ１の表示サイズの拡大率は、拡大した際の視認性を考慮して適宜決定される。

そして、左側方表示形態６２Ｌの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の中央、画面の上方、画面の下方、または画面の左方にあったときには、左側方表示形態６２Ｌの表示が継続される（状態遷移７０９）。

さらに、左側方表示形態６２Ｌの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の右方にあったときには、表示形態が全周囲表示形態６２Ｃに変更される（状態遷移７１０）。これは、運転者１５０が全周囲の映像を確認したい意図をもっていると考えられるためである。

また、全周囲表示形態６２Ｃの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の右方にあったときには、表示形態が右側方表示形態６２Ｒに変更される（状態遷移７１１）。これは、運転者１５０が、右方の映像（ずなわち車両５の右側方）を確認したい意図をもっていると考えられるためである。そして、このときは、運転者１５０の意図を反映するように、車両５の右側方の俯瞰映像１００ｄ１の表示サイズを拡大して俯瞰映像１００ｄ２とした表示形態とすることによって、車両右側方の映像の視認性をより高める。なお、俯瞰映像１００ｄ１の表示サイズの拡大率は、拡大した際の視認性を考慮して適宜決定される。

そして、右側方表示形態６２Ｒの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の中央、画面の上方、画面の下方、または画面の右方にあったときには、右側方表示形態６２Ｒの表示が継続される（状態遷移７１２）。

さらに、右側方表示形態６２Ｒの表示がなされているとき、注視位置検出部３０で算出された注視位置が画面の左方にあったときには、表示形態が全周囲表示形態６２Ｃに変更される（状態遷移７１３）。これは、運転者１５０が全周囲の映像を確認したい意図をもっていると考えられるためである。

以上説明したように、実施例１に係る車両用周囲モニタ装置１によれば、複数の撮像部１０（１０ａ，１０ｂ）がそれぞれ撮影した車両５の周囲の異なる方向の映像を映像表示部５０に同時に並べて表示したときに、注視位置検出部３０（注視映像特定部）において、映像表示部５０に表示された複数の映像の中から、車両５の運転者１５０が映像表示部５０を注視する挙動に基づいて、運転者１５０が注視したい映像を特定して、表示形態制御部４０が、特定された映像の表示形態を変更して映像表示部５０に表示するため、運転者１５０が注視したい映像の視認性を向上させることができる。そして、これによって、車両走行中の運転者１５０が車両周囲の道路状況や交通状況を確認するための視認負荷を低減することができる。

また、実施例１に係る車両用周囲モニタ装置１によれば、複数の撮像部１０（１０ａ，１０ｂ）を車両５のドアミラー（後写鏡）の代替として設けるため、従来のドアミラーをより小型化することができる。そして、これによって、車両５のデザイン性を向上させることができる。

また、実施例１に係る車両用周囲モニタ装置１によれば、表示形態制御部４０は、車両５の運転者１５０が注視したいとして特定された映像の表示サイズを拡大するものであるため、運転者１５０が見たがっている映像の視認性をより一層向上させることができる。

また、実施例１に係る車両用周囲モニタ装置１によれば、表示形態制御部４０は、車両５の運転者１５０が注視したいとして特定された映像が、そのときに拡大表示されている映像でないときには、映像表示部５０に、２枚の映像を左右均等なサイズで表示するため、僅かな注視位置の変動によって表示形態が頻繁に変更されることによる、映像のばたつきを防止することができる。

また、実施例１に係る車両用周囲モニタ装置１によれば、注視位置検出部３０（注視映像特定部）は、運転者１５０の白目と黒目からなる眼球を検出して、検出された眼球の中の瞳（黒目）の位置に基づいて、運転者１５０が注視したい映像を特定するため、既存の画像処理手法を用いて、運転者１５０の注視位置を簡便に検出することができる。

また、実施例１に係る車両用周囲モニタ装置１によれば、映像表示部５０は、車両５のメータクラスタ７に設置されるため、運転者１５０の正面に映像を表示することができる。これによって、運転者１５０は少ない視線移動によって車両５の後側方の状況を確認することができる。

また、実施例２に係る車両用周囲モニタ装置２によれば、スイッチ操作検出部３６（注視映像特定部）は、映像表示部に表示された複数の映像の中から１つの映像を特定する運転者の表示形態切り替えスイッチ３６４の操作（所定のスイッチ操作）を検出して、検出された表示形態切り替えスイッチ３６４の操作に基づいて、運転者が注視したい映像を特定するため、少ない操作負荷で、見たい方向の映像を表示させることができる。

また、実施例２に係る車両用周囲モニタ装置２によれば、スイッチ操作検出部３６（注視映像特定部）は、運転者１５０のウインカーレバー３６６の操作を検出して、検出されたウインカーレバー３６６の操作（ウインカー操作）に基づいて、運転者１５０が注視したい映像を特定するため、車線変更を行う意思表示さえ行えば、特別な表示切り替えの操作を行うことなしに、映像表示部５０に、車線変更を行う際に目視確認が必要な領域の映像を表示させることができる。

また、実施例３に係る車両用周囲モニタ装置３によれば、複数の撮像部１２（１０ｃ，１０ｄ，１０ｅ，１０ｆ）は、運転者１５０から死角になる領域を撮影するものであるため、車両５の周囲に発生する死角のうち、運転者１５０が注目した方向の死角の状況を、高い視認性で目視確認することができる。

なお、以上説明した、実施例１，実施例３においては、運転者１５０の眼球の中の瞳の位置の変化に基づいて、運転者１５０の注視位置を検出したが、これは、運転者１５０の顔の向きを検出して注視位置の検出を行ってもよい。撮影した画像から顔の向きを検出する方法も多数提案されており、そのいずれの方法を用いて行ってもよい。例えば、眼球，鼻，口の位置関係を、予め設定された顔面のモデルと照合することによって、顔の向きを検出することができる。

また、実施例１，実施例３においては、運転者１５０の眼球の中の瞳の位置の変化のみに基づいて映像の表示形態を変更したが、このとき、さらに、運転者１５０の頭部の位置を考慮してもよい。

すなわち、通常のドアミラーを見る場合、頭部の位置を移動することによって、ドアミラーに映る映像の範囲が変化する。本実施例においても、運転者１５０の頭部の位置を推定することによって、映像表示部５０に映る映像の範囲を変更できるように構成することが可能である。

運転者の頭部の位置は、例えば、運転者観測カメラ３５で観測した画像の中の左右の眼球の位置に基づいて推定することができる。そして、推定された頭部位置に応じて撮像部１０（１２）を構成するカメラ毎に、予め決められた範囲の画像を切り出して映像表示部５０に表示する。予め決められた範囲は、例えば、頭の位置を移動させながら、その位置に頭があるときに映像表示部５０に表示して欲しい映像を、撮像部が撮像した画像を上下左右にスクロールさせながら決定するキャリブレーションを行うことによって決定して、そのときの映像の切り出し位置をカメラ毎に記憶しておくことによって実現できる。

また、運転者１５０の注視位置の判定は、１度の注視位置検出処理のみで判断するのではなく、所定の時間経過を考慮して判断してもよい。すなわち、所定の回数（例えば３回）の計測を行って、その間連続して同じ領域を注視していたとき（注視点が停留したとき）に、初めて、その領域を注視していると判断してもよい。これにより、不要なノイズが除去されることによって、表示画面のばたつきを軽減することができる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

１ 車両用周囲モニタ装置
１０ 撮像部
１０ａ 第１撮像部
１０ｂ 第２撮像部
２０ 映像入出力制御部
２０１ タイミングジェネレータ
２０２ 第１ラインメモリ
２０３ 第２ラインメモリ
２０４ 第３ラインメモリ
２０５ 第４ラインメモリ
２０６ 第１スイッチ
２０７ 第２スイッチ
２０８ 第３スイッチ
２０９ 第４スイッチ
３０ 注視位置検出部（注視映像特定部）
４０ 表示形態制御部
４０１ 表示形態決定部
４０５ 表示形態変更部
５０ 映像表示部
Ｃ１，Ｃ２ 映像信号
Ｔ タイミング信号

Claims (9)

1. 車両に設置されて、前記車両の周囲の異なる方向の映像を撮影する複数の撮像部と、
   前記複数の撮像部でそれぞれ撮影された複数の映像を同時に並べて表示する映像表示部と、
   前記車両の運転者の所定の挙動に基づいて、前記映像表示部に表示された複数の映像の中から、前記運転者が注視したい映像を特定する注視映像特定部と、
   前記特定された映像の表示形態を変更する表示形態制御部と、を備えることを特徴とする車両用周囲モニタ装置。
2. 前記複数の撮像部は、前記車両の後写鏡の代替として設けられることを特徴とする請求項１に記載の車両用周囲モニタ装置。
3. 前記表示形態制御部は、前記特定された映像の表示サイズを拡大するものであることを特徴とする請求項１または２に記載の車両用周囲モニタ装置。
4. 前記表示形態制御部は、前記特定された映像が、そのときに拡大表示されている映像でないときには、前記映像表示部に、複数の映像を均等なサイズで表示することを特徴とする請求項３に記載の車両用周囲モニタ装置。
5. 前記注視映像特定部は、前記運転者の白目と黒目からなる眼球を検出して、検出された眼球の中の黒目の位置に基づいて、前記運転者が注視したい映像を特定することを特徴とする請求項１から請求項４のいずれか１項に記載の車両用周囲モニタ装置。
6. 前記注視映像特定部は、前記映像表示部に表示された複数の映像の中から１つの映像を特定する、前記運転者の所定のスイッチ操作を検出して、検出された所定のスイッチ操作に基づいて、前記運転者が注視したい映像を特定することを特徴とする請求項１から請求項４のいずれか１項に記載の車両用周囲モニタ装置。
7. 前記注視映像特定部は、前記運転者のウインカー操作を検出して、検出されたウインカー操作に基づいて、前記運転者が注視したい映像を特定することを特徴とする請求項６に記載の車両用周囲モニタ装置。
8. 前記複数の撮像部は、前記運転者から死角になる領域を撮影するものであることを特徴とする請求項１から請求項７のいずれか１項に記載の車両用周囲モニタ装置。
9. 前記映像表示部は、前記車両のメータクラスタに設置されていることを特徴とする請求項１から請求項８のいずれか１項に記載の車両用周囲モニタ装置。