JP2018101897A - 車両周辺監視装置及び監視方法 - Google Patents

Abstract

【課題】車両側方カメラの死角に位置する後方車両を含む画像を表示可能な車両周辺監視装置を提供する。【解決手段】車両周辺監視装置１は、車両１０の後方に配置された車両後方カメラ１４で撮像された車両後方画像から、車両側後方画像を生成する車両側後方画像生成部３４と、車両側後方画像を含む画像を示す画像信号を出力する画像信号出力部３６と、を有し、車両側後方画像生成部は、車両側後方画像に車両１０の側方を走行する側方車両１１０の一部が含まれるように、車両側後方画像に含まれる車両後方画像の表示範囲を動的に設定する。【選択図】図１

Description

本発明は、車両周辺監視装置及び監視方法に関する。

バックミラー及びサイドミラー等の自動車用ミラーの電子化が図られており、自動車用ミラーを電子化されることによって取得された画像を加工して表示する技術、及び取得された画像を表示するタイミングを調整する技術等の種々の技術が知られている。

例えば、特許文献１には、方向指示が有るときに、方向指示が示す一の方向の側方領域を他の方向の側方領域よりも大きくした仮想視点からみた車両の側方領域を含む合成画像を表示することが記載されている。また、特許文献２には、車両のドアミラーの格納又は展開の状態に応じて、ドアミラーに備えられたカメラで撮影した画像のうちドアミラーの格納状態又は展開状態のそれぞれに予め対応付けられた画像の一部の範囲を表示することが記載されている。また、特許文献３には、走行速度が所定の閾値より低くなったに、車両の前方領域を示す画像と、車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた画像とを含む周辺画像を表示することが記載されている。

特開２０１０−２７４８１３号公報 特開２０１１−１３１６７８号公報 特開２０１３−３８７９４号公報

しかしながら、車両の側方又は側後方を側方車両が走行し且つ側方車両の後方を後方車両が更に走行するとき、側方車両の後方を走行する後方車両は、車両側方カメラの死角に位置し、車両の側面に配置された車両側方カメラによって撮像することができない。

本発明は、このような課題を解決するものであり、車両側方カメラの死角に位置する後方車両を含む画像を表示可能な車両周辺監視装置を提供することを目的とする。

上記目的を実現するため、本発明に係る車両周辺監視装置は、車両の後方に配置された車両後方カメラで撮像された車両後方画像から、車両側後方画像を生成する車両側後方画像生成部と、車両側後方画像を含む画像を示す画像信号を出力する画像信号出力部と、を有し、車両側後方画像生成部は、車両側後方画像に車両の側方を走行する側方車両の一部が含まれるように、車両側後方画像に含まれる車両後方画像の表示範囲を動的に設定することを特徴とする。

また、本発明に係る車両周辺監視装置では、車両側後方画像生成部は、車両側後方画像の視点位置を車両後方カメラの視点位置から車両の側方の視点位置に視点変換する視点変換部を有することが好ましい。

また、本発明に係る車両周辺監視装置では、視点変換部は、車両側後方画像の視点位置を、車両の側後方位置に視点変換することが好ましい。

また、本発明に係る車両周辺監視装置では、視点変換部は、車両側後方画像の視点位置を、車両側方カメラの視点位置に視点変換することが好ましい。

また、本発明に係る車両周辺監視装置では、車両側後方画像生成部は、側方車両の車両後方画像に含まれていない側方車両未表示部を含む仮想側方車両画像を、車両側方カメラで撮像された車両側方画像から生成する仮想側方車両画像生成部と、側方車両未表示部を、仮想側方車両画像で補間する画像補間部とを更に有することが好ましい。

また、本発明に係る車両周辺監視装置では、車両後方画像から生成された車両後方表示画像、及び車両側方画像から生成された車両側方表示画像を含む合成画像を生成する合成画像生成部を更に有し、画像信号出力部は、合成画像を示す合成画像信号を出力することが好ましい。

また、本発明に係る車両周辺監視装置では、合成画像は、視点変換された視点位置を示す視点位置画像を更に含むことが好ましい。

また、本発明に係る車両周辺監視装置では、車両側後方画像生成部は、車両の後方から所定距離以内に他の車両があるか否かを判定する側方車両判定部を更に有し、合成画像生成部は、車両の後方から所定距離以内に他の車両があると判定されたときに、車両側後方画像を更に含む合成画像を生成し、車両の後方から所定距離以内に他の車両がないと判定されたときに、車両側後方画像を含まない合成画像を生成することが好ましい。

さらに、本発明に係る監視方法は、車両の後方に配置された車両後方カメラで撮像された車両後方画像から、車両側後方画像を生成し、車両側後方画像を含む画像を示す画像信号を出力する、ことを含み、車両側後方画像を生成することは、車両側後方画像に車両の側方を走行する側方車両の一部が含まれるように、車両側後方画像に含まれる車両後方画像の表示範囲を動的に設定することを特徴とする。

本発明によれば、車両周辺監視装置は、車両側方カメラの死角に位置する後方車両を含む画像を車両後方カメラで撮像した車両後方画像から生成することで、車両側方カメラの死角に位置する後方車両を含む画像を表示することができる。さらに、本発明によれば、車両周辺監視装置は、側方車両の後方に車両が走行していることを視認し易く表示することができると共に、後方車両と側方車両の位置関係を分かり易く表示できる。

実施形態に係る車両周辺監視装置の動作を説明するための図であり、（ａ）は車両後方カメラによって撮像された車両後方画像を示し、（ｂ）は（ａ）に示す画像から抽出した右後方画像を示し、（ｃ）は（ｂ）に示す右後方画像の破線部分を拡大した車両側後方画像を示す。 第１実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。 図２に示す車両の平面図である。 （ａ）は図２に示す車両周辺監視装置による合成画像生成処理のフローチャートであり、（ｂ）は（ａ）のＳ１０８の処理のより詳細なフローチャートであり、（ｃ）は（ａ）のＳ１１０の処理のより詳細なフローチャートである。 図２に示す表示装置に表示される合成画像の一例を示す図である。 （ａ）はＳ２０１の処理を説明するための図であり、（ｂ）はＳ２０２の処理を説明するための図であり、（ｃ）はＳ２０３の処理を説明するための図であり、（ｄ）はＳ２０４の処理を説明するための図である。 （ａ）は第１のタイミングでの図２に示す車両周辺監視装置の処理を説明するための図であり、（ｂ）は第１のタイミングに続く第２のタイミングでの処理を説明するための図であり（ｃ）は第２のタイミングに続く第３のタイミングでの処理を説明するための図である。 第２実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。 （ａ）は図８に示す車両周辺監視装置による合成画像生成処理のフローチャートであり、（ｂ）は（ａ）のＳ１０８の処理のより詳細な処理を示すフローチャートであり、（ｃ）は（ａ）のＳ１１０の処理のより詳細な処理を示すフローチャートである。 Ｓ４０５の処理を説明するための図である。 第３実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。 （ａ）は図１１に示す車両周辺監視装置による合成画像生成処理のフローチャートであり、（ｂ）は（ａ）のＳ１０８の処理のより詳細な処理を示すフローチャートであり、（ｃ）は（ａ）のＳ１１０の処理のより詳細な処理を示すフローチャートである。 Ｓ６０５の処理を説明するための図である。 第４実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。 図１４に示す車両周辺監視装置による合成画像生成処理のフローチャートである。 Ｓ７１１の処理で生成される合成画像の一例を示す図である。 実施形態に係る車両周辺監視装置が生成した合成画像の表示場所の変形例を示す図であり、（ａ）は第１変形例を示し、（ｂ）は第２変形例を示し、（ｃ）は第３変形例を示す。 実施形態に係る車両周辺監視装置の変形例の動作を説明するための図であり、（ａ）はバックカメラによって撮像された車両後方画像を示し、（ｂ）は（ａ）に示す画像から抽出した右後方画像を示し、（ｃ）は（ｂ）に示す右後方画像の破線部分を拡大した車両側後方画像を示す。

以下の図面を参照して、本発明に係る車両周辺監視装置及び監視方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明との均等物に及ぶ点に留意されたい。

（実施形態に係る車両周辺監視装置の概要）
図１は、実施形態に係る車両周辺監視装置の動作を説明するための図である。図１（ａ）は車両後方カメラ（バックカメラ）によって撮像された車両後方画像を示し、図１（ｂ）は図１（ａ）に示す画像から抽出した右後方画像を示し、図１（ｃ）は図１（ｂ）に示す右後方画像の破線部分を拡大した車両側後方画像を示す。

まず、実施形態に係る車両周辺監視装置は、車両周辺監視装置を搭載した車両の後方に配置された車両後方カメラによって撮像された車両後方画像１０１を取得する（図１（ａ）を参照）。車両後方画像１０１は、車両周辺監視装置を搭載した車両の側方を走行する側方車両１１０と、側方車両１１０の後方を走行する後方車両１２０とを含む。次いで、実施形態に係る車両周辺監視装置は、車両後方画像１０１の右半分を抽出して右後方画像１０２を生成する（図１（ｂ）を参照）。次いで、実施形態に係る車両周辺監視装置は、側方車両１１０の後方エッジ１１１を検出し、検出した側方車両１１０の後方エッジ１１１を含む右側後方画像領域１３０を決定する。次いで、実施形態に係る車両周辺監視装置は、決定した右側後方画像領域１３０を拡縮して、車両右側後方画像１０３を生成する（図１（ｃ）を参照）。そして、実施形態に係る車両周辺監視装置は、生成した車両右側後方画像１０３を示す車両側後方画像信号を表示装置に出力する。表示装置は、入力された車両側後方画像信号に対応する車両右側後方画像１０３を表示する。

実施形態に係る車両周辺監視装置は、車両右側後方画像１０３に車両の側方を走行する側方車両１１０の一部が含まれるように、車両右側後方画像１０３に含まれる車両後方画像１０１の表示範囲を動的に設定する。実施形態に係る車両周辺監視装置は、側方車両１１０の一部が含まれるように、車両右側後方画像１０３に含まれる車両後方画像１０１の表示範囲を動的に設定することで、側方車両１１０の後方に後方車両１２０が走行していることを視認し易く表示することができる。

（第１実施形態に係る車両周辺監視装置の構成及び機能）
図２は、第１実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。

車両１０は、車両周辺監視装置１と、フロントカメラ１１と、右サイドカメラ１２と、左サイドカメラ１３と、バックカメラ１４と、表示装置１５と、スピーカ１６と、車載装置１７とを有する。車両周辺監視装置１、フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３、バックカメラ１４、表示装置１５、スピーカ１６及び車載装置１７は、ＣＡＮ（Controller Area Network）１９を介して相互通信可能に接続されている。なお、相互通信を可能にネットワークは、ＣＡＮのほかＬＩＮ（Local Interconnect Network）等のネットワークでもよい。

フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４は、ＣＣＤ又はＣＭＯＳ等の複数の撮像素子と、魚眼レンズ等の広角レンズとを備え、視野角内の風景を、広角レンズを介して電子的に画像を取得する単眼カメラである。フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４は、広角レンズを有するので、視野角αは１８０度以上になる。フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４は、取得した画像を示す画像データを車両周辺監視装置１及び車載装置１７にＣＡＮ１９を介して送信する。

図３は、車両１０の平面図である。図３において、方向及び向きを示す３次元の直交座標が示される。図３に示す直交座標の座標軸は、車両１０に対して固定される。Ｘ軸方向は車両１０の直進方向に直交し且つ水平方向に平行な左右方向に沿って延伸する方向であり、Ｙ軸方向は車両１０の直進方向に沿って延伸する方向であり、Ｚ軸方向は鉛直方向に沿って延伸する方向である。図３において、＋Ｘ方向は車両１０の正面方向を向いたときの右方向であり、＋Ｙ方向は車両１０の後方向であり、＋Ｚ方向は車両１０の上方向である。

フロントカメラ１１は、車両１０の前端にあるナンバープレートの取付位置の近傍に配置される。フロントカメラ１１の光軸１１ａは、車両１０の直進方向すなわち−Ｙ方向に延伸する。右サイドカメラ１２は、従来の車両において左ドアミラーが配置される場所、すなわち左フロントピラーの下端に配置される。右サイドカメラ１２の光軸１２ａは車両１０の左方向すなわち−Ｘ軸方向に延伸する。左サイドカメラ１３は、従来の車両において右ドアミラーが配置される場所、すなわち右フロントピラーの下端に配置される。左サイドカメラ１３の光軸１３ａは車両１０の右方向すなわち＋Ｘ軸方向に延伸する。バックカメラ１４は、車両１０のリアガラスの上辺の中央部分に配置される。バックカメラ１４の光軸１４ａは車両１０の直進方向の反対方向すなわち＋Ｙ方向に延伸する。なお、バックカメラ１４は、車両１０のリアガラスの上辺の中央部分の他、ボディー等に配置されればよい。右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４のそれぞれは、従来の右サイドミラー、左サイドミラー及びバックミラーの機能を代替する。

表示装置１５は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro−Luminescence）ディスプレイ等である。表示装置１５は、車両周辺監視装置１及び車載装置１７から入力される信号に対応する画像を表示する。表示装置１５は、車両１０のフロントパネルに配置される。

スピーカ１６は、車両周辺監視装置１及び車載装置１７から入力される信号に対応する音声を出力する音声出力装置である。例えば、スピーカ１６は、車両周辺監視装置１から入力される警報信号に応じて、車両１０の周囲に移動物等があることを示す音声を出力する。また、スピーカ１６は、車載装置１７から入力される信号に応じて、現在位置から目的地に至る経路の案内等を示す音声を出力する。

車載装置１７は、フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４から送信された画像データに対応する車両前方画像、車両右側方画像、車両左側方画像及び車両後方画像を取得する。車載装置１７は、取得した画像に基づいて、視界が悪い交差点、狭い路地、駐車時等の運転が難しい状況において運転手をサポートするための指示又は警報を示す信号を表示装置１５及びスピーカ１６に送信する。指示又は警報を示す信号が送信された表示装置１５及びスピーカ１６は、送信された信号に対応する指示又は警報を出力する。また、車載装置１７は、不図示のＧＰＳ装置から受信した位置情報、及び不図示の地図情報から取得した道路情報等に基づいて現在位置から目的地までの経路を示す経路信号を生成し、生成した経路信号を表示装置１５に送信するナビゲーション機能を有する。経路信号が送信された表示装置１５は、経路信号に対応する経路を表示する。また、車載装置１７は、現在位置から目的地までの経路に応じた指示又は警報を示す信号をスピーカ１６に送信する。スピーカ１６は、送信された信号に対応する指示又は警報を出力する。

車両周辺監視装置１は、通信部２１と、記憶部２２と、処理部３０とを有する。車両周辺監視装置１は右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４が撮像した右側方画像、左側方画像及び車両後方画像から、合成画像を生成する。一例では、合成画像は、車両右側方表示画像、車両左側方表示画像及び車両後方表示画像を含む。他の例では、合成画像は、車両右側方表示画像、車両左側方表示画像及び車両後方表示画像に加えて、車両右側後方画像を含む。他の例では、合成画像は、車両側方表示画像、車両左側方表示画像及び車両後方表示画像に加えて、車両左側後方画像を含む。一例では、合成画像は車両右側方表示画像、車両左側方表示画像及び車両後方表示画像に加えて、車両右側後方画像及び車両左側後方画像を含む。

通信部２１は、フロントカメラ１１、右サイドカメラ１２、左サイドカメラ１３、バックカメラ１４、表示装置１５、スピーカ１６及び車載装置１７と、ＣＡＮ１９を介して接続される。通信部２１は、右サイドカメラ１２、左サイドカメラ１３及びバックカメラ１４のそれぞれが撮像した画像を示す車両右側方画像データ、車両左側方画像データ及び車両後方画像データを受信する。また、通信部２１は、処理部３０から出力される合成画像を示す合成画像信号を表示装置１５に送信する。

記憶部２２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも１つを有する。記憶部２２は、処理部３０による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部２２は、ドライバプログラムとして、通信部２１を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部２２にインストールされてもよい。

処理部３０は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部３０は、車両周辺監視装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部３０は、車両周辺監視装置１の各種処理が記憶部２２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部２１等の動作を制御する。処理部３０は、記憶部２２に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、処理部３０は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。

処理部３０は、画像取得部３１と、表示画像生成部３２と、側方車両判定部３３と、車両側後方画像生成部３４と、合成画像生成部３５と、合成画像出力部３６とを有する。車両側後方画像生成部３４は、半画像抽出部３４１と、側方車両エッジ検出部３４２と、側後方画像領域決定部３４３と、後方画像拡縮部３４４とを有する。処理部３０が有するこれらの各部は、処理部３０が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部３０が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして車両周辺監視装置１に実装されてもよい。

（第１実施形態に係る車両周辺監視装置による合成画像生成処理）
図４（ａ）は車両周辺監視装置１による合成画像生成処理のフローチャートであり、図４（ｂ）は図４（ａ）のＳ１０８の処理のより詳細な処理を示すフローチャートであり、図４（ｃ）は図４（ａ）のＳ１１０の処理のより詳細な処理を示すフローチャートである。図４（ａ）に示す合成画像生成処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に処理部３０により、車両周辺監視装置１の各要素と協働して実行される。また、図４（ａ）に示す処理フローは処理部３０において所定の設定時間毎に実行される。

まず、画像取得部３１は、右サイドカメラ１２によって撮像された車両右側方画像を右サイドカメラ１２から通信部２１を介して取得し（Ｓ１０１）、取得した車両右側方画像を示す車両右側方撮像データを記憶部２２に記憶する。次いで、画像取得部３１は、左サイドカメラ１３によって撮像された車両左側方画像を左サイドカメラ１３から通信部２１を介して取得し（Ｓ１０２）、取得した車両左側方撮像を示す車両左側方画像データを記憶部２２に記憶する。次いで、画像取得部３１は、バックカメラ１４によって撮像された車両後方画像をバックカメラ１４から通信部２１を介して取得し（Ｓ１０３）、取得した車両後方画像を示す車両後方画像データを記憶部２２に記憶する。

次いで、表示画像生成部３２は、記憶部２２に記憶された車両右側方画像データに対応する車両右側方画像の所定の視野角に含まれる部分を抽出して、従来の右サイドミラーの画像に相当する車両右側方表示画像を生成する（Ｓ１０４）。一例では、表示画像生成部３２は、車両１０の右後方側面を一端に含み且つ車両１０の右後方側面から略８０度の視野角を有する画像になるように車両右側方表示画像を生成する。表示画像生成部３２は、生成した車両右側方表示画像を示す車両右側方表示画像データを記憶部２２に記憶する。

次いで、表示画像生成部３２は、記憶部２２に記憶された車両左側方表示画像データに対応する車両左側方画像の所定の視野角に含まれる部分を抽出して、従来の左サイドミラーの画像に相当する車両左側方表示画像を生成する（Ｓ１０５）。一例では、表示画像生成部３２は、車両１０の左後方側面を一端に含み且つ車両１０の左後方側面から略８０度の視野角を有する画像になるように車両左側方表示画像を生成する。表示画像生成部３２は、生成した車両左側方表示画像を示す車両左側方表示画像データを記憶部２２に記憶する。

次いで、表示画像生成部３２は、記憶部２２に記憶された車両後方画像データに対応する車両後方画像の所定の視野角に含まれる部分を抽出して、従来のバックミラーの画像に相当する車両後方表示画像を生成する（Ｓ１０６）。表示画像生成部３２は、生成した車両後方表示画像を示す車両後方表示画像データを記憶部２２に記憶する。

次いで、側方車両判定部３３は、車両１０の右側の所定の領域に側方車両１１０があるか否かを判定する（Ｓ１０７）。一例では、車両１０の右側の所定の領域は、車両１０の右側後方２０ｍ〜４０ｍ以内の距離であり、好ましくは車両１０の右側後方３０ｍ以内の距離である。側方車両判定部３３によって車両１０の右側の所定の領域に側方車両１１０が走行していないと判定される（Ｓ１０７−ＮＯ）と、処理はＳ１０９に進む。側方車両判定部３３によって車両１０の右側の所定の領域に側方車両１１０があると判定される（Ｓ１０７−ＹＥＳ）と、車両側後方画像生成部３４は、車両右側後方画像を生成する（Ｓ１０８）。車両側後方画像生成部３４は、生成する車両右側後方画像に側方車両１１０の一部が含まれるように、車両右側後方画像に含まれる車両後方画像の表示範囲を設定する。車両側後方画像生成部３４は、生成した車両右後方画像を示す車両右側後方画像データを記憶部２２に記憶する。

次いで、側方車両判定部３３は、車両１０の左側の所定の領域に側方車両１１０があるか否かを判定する（Ｓ１０９）。一例では、車両１０の左側の所定の領域は、車両１０の左側後方２０ｍ〜４０ｍ以内の距離であり、好ましくは車両１０の左側後方３０ｍ以内の距離である。側方車両判定部３３によって車両１０の右側の所定の領域に側方車両１１０が走行していないと判定される（Ｓ１０９−ＮＯ）と、処理はＳ１１１に進む。側方車両判定部３３によって車両１０の左側の所定の領域に側方車両１１０があると判定される（Ｓ１０９−ＹＥＳ）と、車両側後方画像生成部３４は、車両左側後方画像を生成する（Ｓ１１０）。車両側後方画像生成部３４は、生成する車両左側後方画像に側方車両１００の一部が含まれるように、車両左側後方画像に含まれる車両後方画像の表示範囲を設定する。車両側後方画像生成部３４は、生成した車両左後方画像を示す車両左側後方画像データを記憶部２２に記憶する。

次いで、合成画像生成部３５は、記憶部２２に記憶された車両右側方表示画像データ、車両左側方表示画像データ、車両側後方表示画像データ、車両右側後方画像データ及び車両左側後方画像データに対応する画像を合成して合成画像を生成する（Ｓ１１１）。なお、合成画像生成部３５は、側方車両判定部３３によって車両１０の右側の所定の領域に側方車両１１０が走行していないと判定された（Ｓ１０７−ＮＯ）とき、車両右側後方画像を含まずに合成画像を生成する。また、合成画像生成部３５は、側方車両判定部３３によって車両１０の左側の所定の領域に側方車両１１０が走行していないと判定された（Ｓ１０９−ＮＯ）とき、車両左側後方画像を含まずに合成画像を生成する。車両側後方画像生成部３４は、生成した合成画像を示す合成画像データを記憶部２２に記憶する。そして、合成画像出力部３６は、合成画像を示す合成画像信号を、車両１０のフロントパネルに配置される表示装置に出力する（Ｓ１１２）。表示装置１５は、入力された合成画像を表示する。

図５は、表示装置１５に表示される合成画像の一例を示す図である。

合成画像５００は、車両１０の右側後方及び左側後方の所定の領域に側方車両があるときに、車両右側方表示画像５０１と、車両左側方表示画像５０２と、車両後方表示画像５０３と、車両右側後方画像５０４と、車両左側後方画像５０５とを含む。合成画像５００は、車両１０の右側後方所定の領域に側方車両が走行していないときに車両右側後方画像５０４を含まない。また、図５に示すように、合成画像５００は、車両１０の左側後方所定の領域に側方車両が走行していないときに車両左側後方画像５０５を含まない。

図６を参照しつつ、図４（ｂ）に示すＳ１０８のより詳細な処理を説明する。図６（ａ）はＳ２０１の処理を説明するための図であり、図６（ｂ）はＳ２０２の処理を説明するための図であり、図６（ｃ）はＳ２０３の処理を説明するための図であり、図６（ｄ）はＳ２０４の処理を説明するための図である。

まず、半画像抽出部３４１は、記憶部２２に記憶された車両後方画像データに対応する車両後方画像の右半分に相当する右後方画像６０１を抽出し（Ｓ２０１）、抽出した右後方画像６０１を示す右後方画像データを記憶部２２に記憶する。右後方画像６０１は、車両後方画像の右半分の画像である。右後方画像６０１は、車両１０の側方又は側後方を走行する側方車両１１０と、側方車両の後方を走行する後方車両１２０とを含む。

次いで、側方車両エッジ検出部３４２は、車両１０の右側方又は右側後方を走行する側方車両１１０の左後方の端部である後方エッジ１１１を検出する（Ｓ２０２）。側方車両エッジ検出部３４２は、差分法、及び零交差法等の公知のエッジ検出技術を使用して、側方車両１１０の後方エッジ１１１を検出する。

次いで、側後方画像領域決定部３４３は、右側後方画像の領域を示す右側後方画像領域６３０を決定する（Ｓ２０３）。側後方画像領域決定部３４３は、右後方画像の左端と、側方車両１１０の後方エッジ１１１を含むように、側方車両１１０の後方エッジ１１１から所定のマージン長Ｌだけ右側にシフトした位置との間の領域を右側後方画像領域６３０に決定する。

そして、後方画像拡縮部３４４は、Ｓ２０３の処理で決定された右側後方画像領域の幅が、所定の基準幅になるように、右側後方画像領域に含まれる画像を拡縮して（Ｓ２０４）、車両右側後方画像６０４を生成する。

図４（ｃ）に示されるＳ１１０の処理は、車両左側後方画像を車両右側後方画像の代わりに生成すること以外は、Ｓ１０８の処理と同様なので、ここでは詳細な説明は省略する。

図７（ａ）は第１のタイミングでの車両周辺監視装置１の処理を説明するための図であり、図７（ｂ）は第１のタイミングに続く第２のタイミングでの車両周辺監視装置１の処理を説明するための図である。図７（ｃ）は、第２のタイミングに続く第３のタイミングでの車両周辺監視装置１の処理を説明するための図である。図７（ａ）〜７（ｃ）において、上段に車両１０、側方車両１１０及び後方車両１２０の位置関係を示し、中段に車両右側方画像を示し、下段に車両右側後方画像を示す。図７（ａ）〜７（ｃ）の上段において、実線は車両右側後方画像の視野を示し、破線は車両右側後方画像に視野を示す。

車両周辺監視装置１は、第１のタイミングにように、後方車両１２０が右サイドカメラ１２の死角に位置し車両右側方表示画像に表示されないときに、バックカメラ１４で撮像された車両後方画像から生成された車両右側後方画像に後方車両１２０を表示する。車両周辺監視装置１は、右サイドカメラ１２の死角に位置する後方車両１２０を車両右側後方画像に表示することで、車両１０を運転するユーザに提供される画像情報の質及び量を向上させることができる。

また、車両周辺監視装置１は、第１のタイミングから第３のタイミングまで、車両側後方画像に側方車両の一部が含まれるように、車両側後方画像に含まれる車両後方画像の表示範囲を動的に設定する。車両周辺監視装置１は、側方車両の一部が含まれるように車両後方画像の表示範囲を動的に設定することで、側方車両と、側方車両の後方を走行する後方車両との位置関係を分かり易く表示することができる。

車両周辺監視装置１は、側方車両１１０の後方エッジ１１１を含む、すなわち側方車両１１０の一部を含むように車両後方画像の表示範囲を動的に設定することで、側方車両１１０の後方を走行する後方車両１２０を視認し易く表示する。また、車両周辺監視装置１は、車両側後方画像を動的に生成することで、側方車両１１０と後方車両１２０との位置関係を分かり易く表示することができる。

また、車両周辺監視装置１は、生成した車両側後方画像を車両側方表示画像及び車両後方表示画像と合成した合成画像として表示するので、側方車両と、側方車両の後方を走行する後方車両との位置関係を更に分かり易く表示することができる。

また、車両周辺監視装置１は、車両１０の左右側後方の所定の領域に側方車両１１０がないときに、車両側後方画像を表示せず、車両側方表示画像及び車両後方表示画像を表示するので、ユーザは、車両側方表示画像及び車両後方表示画像を視認し易くなる。

（第２実施形態に係る車両周辺監視装置の構成及び機能）
図８は、第２実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。第２実施形態に係る車両周辺監視装置は、車両側後方画像の視点をバックカメラの視点から、車両の後面の左右の端部等の車両の側面の後方の位置である車両側後方位置の視点に変換する。

車両周辺監視装置２は、処理部４０が処理部３０の代わりに配置されることが車両周辺監視装置１と相違する。処理部４０は、車両側後方画像生成部４４を車両側後方画像生成部３４の代わりに有することが処理部３０と相違する。車両側後方画像生成部４４以外の車両周辺監視装置２の構成要素の構成及び機能は、同一符号が付された車両周辺監視装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。車両側後方画像生成部４４は、半画像抽出部４４１と、側方車両エッジ検出部４４２と、側後方画像領域決定部４４３と、後方画像拡縮部４４４と、視点変換部４４５とを有する。半画像抽出部４４１〜後方画像拡縮部４４４のそれぞれは、半画像抽出部３４１〜後方画像拡縮部３４４と同様の機能を有する。

（第２実施形態に係る車両周辺監視装置による合成画像生成処理）
図９（ａ）は車両周辺監視装置２による合成画像生成処理のフローチャートであり、図９（ｂ）は図９（ａ）のＳ３０８の処理のより詳細な処理を示すフローチャートであり、図９（ｃ）は図９（ａ）のＳ３１０の処理のより詳細な処理を示すフローチャートである。図９（ａ）に示す合成画像生成処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に処理部４０により、車両周辺監視装置２の各要素と協働して実行される。また、図９（ａ）に示す処理フローは処理部４０において所定の設定時間毎に実行される。

Ｓ３０１〜Ｓ３０７及びＳ３０９の処理は、Ｓ１０１〜Ｓ１０７及びＳ１０９の処理と同様なので、ここでは詳細な説明は省略する。車両側後方画像生成部４４は、バックカメラ１４によって撮像された車両後方画像から車両右側表示後方画像を生成する（Ｓ３０８）。車両側後方画像生成部４４は、車両１０の右側方に位置する右側方車両の一部が含まれるように車両後方画像の表示範囲が設定された画像の視点位置をバックカメラ１４の視点位置から車両１０の右側後方位置に視点変換して車両右側後方画像を生成する。また、車両側後方画像生成部４４は、バックカメラ１４によって撮像された車両後方画像から車両左側後方画像を生成する（Ｓ３１０）。車両側後方画像生成部４４は、車両１０の左側方に位置する左側方車両の一部が含まれるように車両後方画像の表示範囲が設定された画像の視点位置をバックカメラ１４の視点位置から車両１０の左側後方位置に視点変換して車両左側後方画像を生成する。Ｓ３１１〜Ｓ３１２の処理は、Ｓ１１１〜Ｓ１１２の処理と同様なので、ここでは詳細な説明は省略する。

図１０を参照しつつ、図９（ｂ）に示すＳ３０８のより詳細な処理を説明する。図１０は、Ｓ４０５の処理を説明するための図である。

Ｓ４０１〜Ｓ４０３の処理は、Ｓ２０１〜Ｓ２０３の処理と同様なので、ここでは詳細な説明は省略する。後方画像拡縮部４４４は、Ｓ４０３の処理で決定された右側後方画像領域の幅が、所定の基準幅になるように、右側後方画像領域に含まれる画像を拡縮する（Ｓ４０４）。次いで、視点変換部４４５は、Ｓ４０４の処理で拡縮された画像の視点位置をバックカメラ１４の視点位置１４０から車両１０の右側後方の所定の位置１４１に変換して（Ｓ４０５）、車両右側後方画像を生成する。視点変換部４４５は、モデルベースドレンダリング法及びイメージベースドレンダリング法等の公知の視点変換技術を使用して、Ｓ４０４の処理で拡縮された画像の視点を変換する。なお、視点変換部４４５は、車両右側後方画像を生成するときに、車両１０の真後ろの部分等の車両１０の側面から見えない部分を削除して車両右側後方画像を生成してもよい。

図９（ｃ）に示されるＳ３１０の処理は、左側後方画像を右側後方画像の代わりに生成すること以外は、Ｓ３０８の処理と同様なので、ここでは詳細な説明は省略する。

車両周辺監視装置２は、車両側後方画像の視点位置を車両１０の側方の所望の位置に視点変換することで、バックカメラ１４の画像を、車両の側方の画像として違和感なく表示することができる。

具体的には、車両周辺監視装置２は、車両側後方画像の視点位置を、車両１０の後面の左右の端部等の車両１０の側面の後方の位置である側後方位置に視点変換することで、バックカメラ１４の画像を、車両の側方の画像として違和感なく表示することができる。

（第３実施形態に係る車両周辺監視装置の構成及び機能）
図１１は、第３実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。第３実施形態に係る車両周辺監視装置は、車両側後方画像の視点をバックカメラの視点からサイドカメラの位置の視点に変換する。

車両周辺監視装置３は、処理部５０が処理部３０の代わりに配置されることが車両周辺監視装置１と相違する。処理部５０は、車両側後方画像生成部５４を車両側後方画像生成部３４の代わりに有することが処理部３０と相違する。車両側後方画像生成部５４以外の車両周辺監視装置３の構成要素の構成及び機能は、同一符号が付された車両周辺監視装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。車両側後方画像生成部５４は、半画像抽出部５４１と、側方車両エッジ検出部５４２と、側後方画像領域決定部５４３と、後方画像拡縮部５４４と、視点変換部５４５と、仮想側方車両画像生成部５４６と、画像補間部５４７を有する。半画像抽出部５４１〜後方画像拡縮部５４４のそれぞれは、半画像抽出部３４１〜後方画像拡縮部３４４と同様の機能を有する。

（第３実施形態に係る車両周辺監視装置による合成画像生成処理）
図１２（ａ）は、車両周辺監視装置３による合成画像生成処理のフローチャートである。図１２（ｂ）は、図１２（ａ）のＳ５０８の処理のより詳細な処理を示すフローチャートである。図１２（ｃ）は、図１２（ａ）のＳ５１０の処理のより詳細な処理を示すフローチャートである。図１２（ａ）に示す合成画像生成処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に処理部５０により、車両周辺監視装置３の各要素と協働して実行される。また、図１２（ａ）に示す処理フローは処理部５０において所定の設定時間毎に実行される。

Ｓ５０１〜Ｓ５０７及びＳ５０９の処理は、Ｓ１０１〜Ｓ１０７及びＳ１０９の処理と同様なので、ここでは詳細な説明は省略する。車両側後方画像生成部５４は、バックカメラ１４によって撮像された車両後方画像から車両右側後方画像を生成する（Ｓ５０８）。車両側後方画像生成部４４は、車両１０の右側方に位置する右側方車両の一部が含まれるように車両後方画像の表示範囲が設定された画像の視点位置をバックカメラ１４の視点位置から右サイドカメラ１２の視点位置に視点変換して車両右側後方画像を生成する。また、車両側後方画像生成部４４は、バックカメラ１４によって撮像された車両後方画像から車両左側後方画像を生成する（Ｓ５１０）。車両側後方画像生成部５４は、車両１０の左側方に位置する左側方車両の一部が含まれるように車両後方画像の表示範囲が設定された画像の視点位置をバックカメラ１４の視点位置から右サイドカメラ１２の視点位置に視点変換して車両左側後方画像を生成する。Ｓ５１１〜Ｓ５１２の処理は、Ｓ１１１〜Ｓ１１２の処理と同様なので、ここでは詳細な説明は省略する。

図１３を参照しつつ、図１２（ｂ）に示すＳ５０８のより詳細な処理を説明する。図１３（ａ）はＳ６０５の処理を説明するための図であり、図１３（ｂ）は図１３（ａ）に示す位置関係に車両があるときにＳ６０５の処理で生成される車両右側後方画像の一例を示す図である。図１３（ｃ）は、Ｓ６０５の処理で生成される車両右側後方画像の他の例を示す図である。

Ｓ６０１〜Ｓ６０３の処理は、Ｓ２０１〜Ｓ２０３の処理と同様なので、ここでは詳細な説明は省略する。後方画像拡縮部５４４は、Ｓ６０３の処理で決定された右側後方画像領域の幅が、所定の基準幅になるように、右側後方画像領域に含まれる画像を拡縮する（Ｓ６０４）。次いで、視点変換部５４５は、Ｓ６０４の処理で拡縮された画像の視点位置をバックカメラ１４の視点位置１４０から右サイドカメラ１２の視点位置１４２に変換する（Ｓ６０５）。視点変換部５４５は、モデルベースドレンダリング法及びイメージベースドレンダリング法等の公知の視点変換技術を使用して、Ｓ６０４の処理で拡縮された画像の視点を変換する。図１３（ｂ）に示すように、側方車両１１０のフロント部分がバックカメラ１４により撮像されない位置にある場合、側方車両１１０のフロント部分１３０１は、バックカメラで撮像された画像では表示されない側方車両未表示部になる。

次いで、仮想側方車両画像生成部５４６は、Ｓ６０５の処理で視点変換された側方車両の車両後方画像に含まれていない側方車両未表示部を含む仮想側方車両画像を車両側方画像から生成する（Ｓ６０６）。そして、画像補間部５４７は、図１３（ｂ）に示す例では側方車両１１０のフロント部分１３０１である側方車両未表示部を、仮想側方車両画像で補間して（Ｓ６０７）、車両右側後方画像１３０２を生成する。なお、視点変換した車両右側後方画像において、後方車両１２０に側方車両１１０が重畳して表示される場合、車両周辺監視装置３は、側方車両１１０を透明化して後方車両１２０を可視化する。図１３（ｃ）に示す車両右側後方画像１３０３では、破線で表示される側方車両１１０は透明化され、実線で表示される側方車両の後方に位置する後方車両１２０を可視化する。

図１２（ｃ）に示されるＳ５１０の処理は、車両左側後方画像を車両右側後方画像の代わりに生成すること以外は、Ｓ５０８の処理と同様なので、ここでは詳細な説明は省略する。

車両周辺監視装置３は、バックカメラの視点位置をサイドカメラの視点位置に視点変換することで、バックカメラ１４の画像を、車両の側方の画像として違和感なく表示することができる。

また、車両周辺監視装置３は、バックカメラで撮像できない側方車両の未表示部をサイドカメラで撮像した画像から生成するので、車両の側方の画像として更に違和感なく表示することができる。

また、車両周辺監視装置３は、後方車両に側方車両が重畳して表示される場合、側方車両を透明化して後方車両を可視化するので、車両の側方の画像として更に違和感なく表示することができる。

（第４実施形態に係る車両周辺監視装置の構成及び機能）
図１４は、第４実施形態に係る車両周辺監視装置を搭載する車両の構成を示す図である。第４実施形態に係る車両周辺監視装置は、視点変換された視点位置を示すアイコンを含む視点位置画像が合成画像に更に含まれる。

車両周辺監視装置４は、処理部６０が処理部４０の代わりに配置されることが車両周辺監視装置２と相違する。処理部６０は、合成画像生成部６５を合成画像生成部３５の代わりに有することが処理部４０と相違する。合成画像生成部６５以外の車両周辺監視装置４の構成要素の構成及び機能は、同一符号が付された車両周辺監視装置２の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。

（第４実施形態に係る車両周辺監視装置による合成画像生成処理）
図１５は、車両周辺監視装置４による合成画像生成処理のフローチャートである。図１５に示す合成画像生成処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に処理部６０により、車両周辺監視装置４の各要素と協働して実行される。また、図１５に示す処理フローは処理部６０において所定の設定時間毎に実行される。

Ｓ７０１〜Ｓ７１０及びＳ７１２の処理は、Ｓ３０１〜Ｓ３１０及びＳ３１２の処理と同様なので、ここでは詳細な説明は省略する。合成画像生成部６５は、車両右側方表示画像、車両左側方表示画像、車両側後方表示画像、車両右側後方画像及び車両左側後方画像に加えて、視点変換された視点位置を示すアイコンを含む視点位置画像を合成して合成画像を生成する（Ｓ７１１）。

図１６は、Ｓ７１１の処理で生成される合成画像の一例を示す図である。

合成画像１６００は、車両右側方表示画像１６０１、車両左側方表示画像１６０２、車両側後方表示画像１６０３、車両右側後方画像１６０４及び車両左側後方画像１６０５に加えて、視点位置画像１６０６を含む。視点位置画像１６０６は、視点変換された視点位置を示すアイコン１６１０を含む。アイコン１６１０は、視点変換された視点位置に応じて表示位置が移動する。

車両周辺監視装置４は、視点変換された視点位置を示すアイコンを含む視点位置画像を表示することで、車両右側後方画像及び車両左側後方画像に映っているのがどの領域なのかを運転手に分かり易く伝えることができる。

（実施形態に係る車両周辺監視装置の変形例）
説明された実施形態では、車両周辺監視装置１〜４が生成した合成画像を表示装置１５は、車両１０のフロントパネルに配置されるが、車両周辺監視装置１〜４が生成した合成画像は、運転手が視認可能な何れの場所に表示されてもよい。

図１７は実施形態に係る車両周辺監視装置が生成した合成画像の表示場所の変形例を示す図であり、図１７（ａ）は第１変形例を示し、図１７（ｂ）は第２変形例を示し、図１７（ｃ）は第３変形例を示す。

第１変形例では、車両側後方画像１７１３は従来のバックミラーの位置に配置され、車両右側方表示画像１７１１、車両左側方表示画像１７１２、車両右側後方画像１７１４及び車両左側後方画像１７１５は、メータの表示画面と同一画面に配置される。第２変形例では、車両側後方表示画像１７２３は従来のバックミラーの位置に配置され、車両右側方表示画像１７２１、車両左側方表示画像１７２２、車両右側後方画像１７２４及び車両左側後方画像１７２５はフロントガラスに配置される。具体的には、車両右側方表示画像１７２１及び車両右側後方画像１７２４はフロントガラス右端に配置され、車両左側方表示画像１７２２及び車両左側後方画像１７２５はフロントガラス左端に配置される。第３変形例では、車両側後方画像１７３３は従来のバックミラーの位置に配置され、車両右側方表示画像１７３１、車両左側方表示画像１７３２、車両右側後方画像１７３４及び車両左側後方画像１７３５はフロントドアガラスに配置される。具体的には、車両右側方表示画像１７３１及び車両右側後方画像１７３４は右フロントガラスの運転手の近傍に配置され、車両左側方表示画像１７３２及び車両左側後方画像１７３５は左フロントガラスの運転手の近傍に配置される。第１変形例〜第３変形例において、画像は、ＬＣＤパネルの貼付け、及び貼付けた表示パネルへの画像の照射等の公知に技術により、フロントガラス及びフロントドアガラスに表示される。

第１変形例〜第３変形例に示されるように、実施形態に係る車両周辺監視装置が生成する合成画像は、単一の画面への合成に限定されず、車両内の複数の画面に表示されてもよい。

合成画像を表示する画面が大きい場合、実施形態に係る車両周辺監視装置は、側方車両の位置に応じて車両側方画像及び車両側後方画像の表示位置を変更してもよい。例えば、実施形態に係る車両周辺監視装置は、車両側方画像と車両側後方画像とを比較して、従来のサイドミラーでの確認の必要度が高い画像を大きく表示してもよい。

車両周辺監視装置１は、車両後方画像の半分を抽出して後方画像を生成するが、実施形態に係る車両周辺監視装置は、車両１０の真後ろの部分等の車両１０の側面から見えない部分を削除して車両側後方画像を生成してもよい。

図１８は、実施形態に係る車両周辺監視装置の変形例の動作を説明するための図である。図１８（ａ）はバックカメラによって撮像された車両後方画像を示し、図１８（ｂ）は図１８（ａ）に示す画像から抽出した右後方画像を示し、図１８（ｃ）は図１８（ｂ）に示す右後方画像の破線部分を拡大した車両側後方画像を示す。

図１８に示す変形例では、実施形態に係る車両周辺監視装置は、車両後方画像１８０１から抽出された右後方画像１８０２において、車両１０の真後ろの部分等の車両１０の側面から見えない部分を含まないように右側後方画像領域１３０を決定する。実施形態に係る車両周辺監視装置は、車両１０の真後ろの部分等の車両１０の側面から見えない部分を含まない右側後方画像領域１３０を拡縮して、車両右側後方画像１８０３を生成するので、ユーザは、車両右側後方画像１８０３を違和感のなく見ることができる。

また、車両周辺監視装置２〜４は、側後方画像領域に含まれる画像を拡縮して、車両側後方画像を生成するが、実施形態に係る車両周辺監視装置は、側後方画像領域に含まれる画像を拡縮することなく車両側後方画像を生成してもよい。

また、車両周辺監視装置２〜４は、車両側後方画像の視点位置を、前記車両の側後方位置、又はサイドカメラの視点位置に視点変換するが、実施形態に係る車両周辺監視装置は、バックカメラの視点位置から前記車両の側方の何れの視点位置に視点変換してもよい。また、車両周辺監視装置４は、サイドカメラの視点位置に視点変換されたときの視点位置画像を生成するが、実施形態に係る車両周辺監視装置は、前記車両の側方の何れの視点位置に視点変換されたときの視点位置画像を生成してもよい。

また、車両周辺監視装置１〜４は、車載装置１７と別個の装置であるが、実施形態に係る車両周辺監視装置は、車載装置１７と一体化されていてもよい。

１〜４ 車両周辺監視装置
１０ 車両
１１ フロントカメラ
１２ 右サイドカメラ（車両側方カメラ）
１３ 左サイドカメラ（車両側方カメラ）
１４ バックカメラ（車両後方カメラ）
１５ 表示装置
３０、４０、５０、６０ 処理部
３１ 画像取得部
３２ 表示画像生成部
３３ 側方車両判定部
３４、４４、５４ 車両側後方画像生成部
３５、６５ 合成画像生成部
３６ 合成画像出力部（画像出力部）

Claims (9)

1. 車両の後方に配置された車両後方カメラで撮像された車両後方画像から、車両側後方画像を生成する車両側後方画像生成部と、
   前記車両側後方画像を含む画像を示す画像信号を出力する画像信号出力部と、を有し、
   前記車両側後方画像生成部は、前記車両側後方画像に前記車両の側方を走行する側方車両の一部が含まれるように、前記車両側後方画像に含まれる前記車両後方画像の表示範囲を動的に設定する、ことを特徴とする車両周辺監視装置。
2. 前記車両側後方画像生成部は、前記車両側後方画像の視点位置を前記車両後方カメラの視点位置から前記車両の側方の視点位置に視点変換する視点変換部を有する、請求項１に記載の車両周辺監視装置。
3. 前記視点変換部は、前記車両側後方画像の視点位置を、前記車両の側後方位置に視点変換する、請求項２に記載の車両周辺監視装置。
4. 前記視点変換部は、前記車両側後方画像の視点位置を、前記車両の側方に配置された車両側方カメラの視点位置に視点変換する、請求項２に記載の車両周辺監視装置。
5. 前記車両側後方画像生成部は、
   前記側方車両の前記車両後方画像に含まれていない側方車両未表示部を含む仮想側方車両画像を、前記車両側方カメラで撮像された車両側方画像から生成する仮想側方車両画像生成部と、
   前記側方車両未表示部を、前記仮想側方車両画像で補間する画像補間部と、
   を更に有する、請求項４に記載の車両周辺監視装置。
6. 前記車両後方画像から生成された車両後方表示画像、及び前記車両側方画像から生成された車両側方表示画像を含む合成画像を生成する合成画像生成部を更に有し、
   前記画像信号出力部は、前記合成画像を示す合成画像信号を出力する、請求項５に記載の車両周辺監視装置。
7. 前記合成画像は、前記視点変換された視点位置を示す視点位置画像を更に含む、請求項６に記載の車両周辺監視装置。
8. 前記車両側後方画像生成部は、
   前記車両の後方から所定距離以内に他の車両があるか否かを判定する側方車両判定部を更に有し、
   前記合成画像生成部は、前記車両の後方から所定距離以内に他の車両があると判定されたときに、前記車両側後方画像を更に含む合成画像を生成し、前記車両の後方から所定距離以内に他の車両がないと判定されたときに、前記車両側後方画像を含まない合成画像を生成する、請求項７に記載の車両周辺監視装置。
9. 車両の後方に配置された車両後方カメラで撮像された車両後方画像から、車両側後方画像を生成し、
   前記車両側後方画像を含む画像を示す画像信号を出力する、ことを含み、
   前記車両側後方画像を生成することは、前記車両側後方画像に前記車両の側方を走行する側方車両の一部が含まれるように、前記車両側後方画像に含まれる前記車両後方画像の表示範囲を動的に設定する、ことを含むことを特徴とする監視方法。

Images