JP2016097896A - 画像表示制御装置 - Google Patents

Abstract

【課題】複数の画像を合成して広角画像（パノラマ画像）を作成する場合に、利用者が提供される画像から周囲の状況をより適切に把握できるようにした画像表示制御装置を提供する。
【解決手段】実施形態の画像表示制御装置は、車体の後部から後方を撮像した第一の後方画像と、車体の右側方を含む右後方を撮像した第二の後方画像と、車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、第一の後方画像、第二の後方画像、第三の後方画像にそれぞれ定められる特定領域内の障害物の有無を検出する検出部と、第一の後方画像と第二の後方画像と第三の後方画像とを合成して車体の後端部を視点とするパノラマ形式の合成画像を作成する一方、障害物が検出された場合に、障害物が存在する特定領域を含む後方画像を他の後方画像とともに表示するように合成画像を作成する画像合成部と、合成画像を表示装置に表示させる制御部と、を備える。
【選択図】図４

Description

本発明の実施形態は、画像表示制御装置に関する。

従来、車載カメラで撮像した画像を表示装置に表示させて、車両の周囲の状態を運転者に提示する車両用周辺監視装置が提案されている。例えば、車両の後方を撮像するリアカメラの映像を表示装置に表示する場合、リアカメラでは撮像できない死角領域が発生する場合がある。その場合、他の角度から撮像した映像をリアカメラで撮像した画像に重ね合わせることにより死角領域の状況を運転者に提示できるようにした装置が提案されている。

特許第５３４７２５７号公報

ところで、運転者に車両（自車、車体）の周囲の状況を映像で提示する場合、できるだけ多くの情報を提供することが望ましい。例えば、車体後方の映像を提供する場合、車体の真後ろだけでなく、左サイド後方や右サイド後方を含む広角画像（パノラマ画像）を提供できれば、少ない視線移動で広範囲の状況を短時間で認識させることができる。しかしながら、表示装置の限られた表示範囲内でリアカメラの画像や左右サイドカメラで撮像された画像に基づいて、連続した違和感のないパノラマ画像を作成するためには、削除（省略）されてしまう領域が生じ場合がある。そのため、提供される画像から周囲の状況を適切に利用者に把握させることが困難な場合があった。

そこで、本発明の課題の一つは、複数の画像を合成して広角画像（パノラマ画像）を提供する場合に、提供される画像から周囲の状況をより適切に利用者に把握させられるようにした画像表示制御装置を提供することにある。

本発明の実施形態にかかる画像表示制御装置は、例えば、車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、前記第一の後方画像、前記第二の後方画像、前記第三の後方画像にそれぞれ定められる特定領域内の障害物の有無を検出する検出部と、前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を作成する一方、前記障害物が検出された場合に、前記障害物が存在する前記特定領域を含む前記後方画像を他の後方画像とともに表示するように合成画像を作成する画像合成部と、前記合成画像を表示装置に表示させる制御部と、を備える。この構成によれば、例えば、特定領域に障害物が検出されない場合は、車体の後端部を視点とするパノラマ形式の合成画像を提供し、特定領域に障害物が検出された場合には、その障害物の存在が利用者に認識され易いように、障害物が存在する後方画像と残りの後方画像を用いた合成画像を提供する。例えば、第三の後方画像の特定領域に障害物が存在する場合、特定領域を含む第三の後方画像とともに、第一および第二の後方画像によるパノラマ画像を提供することで、障害物の認識性を向上しつつ、パノラマ形式の画像による周辺の認識性を維持させる。

また、本実施形態の画像表示制御装置における前記画像合成部は、例えば、前記障害物が複数の前記特定領域で検出された場合、前記第一の後方画像と前記第二の後方画像および前記第三の後方画像の前記特定領域を含むそれぞれの前記後方画像を並列配置して合成してもよい。この構成によれば、例えば、認識させるべき障害物が複数の後方画像に存在する場合、各後方画像を並列配置した合成画像を作成することで、障害物の存在を容易に認識させやすくするとともに、利用者に障害物が複数存在する旨の注意喚起をし易くなる。

また、本実施形態の画像表示制御装置における前記検出部は、例えば、前記パノラマ形式の合成画像の右端および左端より外側の周辺領域の障害物の有無をさらに検出し、前記画像合成部は、前記周辺領域に前記障害物を検出した場合、当該障害物を検出した周辺領域に対応する前記第二の後方画像または前記第三の後方画像の前記合成画像における合成範囲を前記障害物を検出した周辺領域の方向に拡大するようにしてもよい。この構成によれば、例えば、通常表示されているパノラマ画像の画角の外に障害物が存在する場合、その障害物の表示が可能になり、自車両の周囲の状況をより明確に利用者に提供し易くなる。

また、本実施形態の画像表示制御装置における前記制御部は、例えば、前記障害物が検出された場合、前記障害物の存在を示す警報を出力するようにしてもよい。この構成によれば、例えば、障害物の認識性をさらに向上させることができる。

また、本実施形態の画像表示制御装置における前記画像合成部は、例えば、前記車体が進行方向を変更する場合、変更する進行方向に対応する前記第二の後方画像または前記第三の後方画像の前記合成画像における合成範囲を前記変更する進行方向に拡大するようにしてもよい。この構成によれば、例えば、自車両が進行方向を変更する場合、注意すべき方向の表示領域が拡大されるので、進行方向の変更に伴い注意を特に払うことが望ましい領域の状況をより効果的に利用者に提供することができる。

図１は、実施形態にかかる画像表示制御装置を搭載する車体における撮像部の配置場所と撮像範囲の一例を示す平面図である。 図２は、実施形態にかかる画像表示制御装置を搭載する車体における撮像部の配置場所と撮像範囲の一例を示す側面図である。 図３は、実施形態にかかる画像表示制御装置を含む画像表示システムの一例が示されたブロック図である。 図４は、実施形態にかかる画像表示制御装置のＥＣＵ内に実現される画像表示制御部の構成を示すブロック図である。 図５は、実施形態にかかる画像表示制御装置を搭載する車体における撮像範囲の一例と、パノラマ画像を作成する際に生じる特定領域（死角領域）の一例を示す平面図である。 図６は、実施形態にかかる画像表示制御装置の撮像部により撮像される後方画像から切り出した切出し画像の一例である。 図７は、実施形態にかかる画像表示制御装置の撮像部により撮像される後方画像から合成したパノラマ画像の一例である。 図８は、実施形態にかかる画像表示制御装置において、特定領域（死角領域）に障害物が存在する場合の合成画像の表示例を示す図である。 図９は、実施形態にかかる画像表示制御装置における合成画像の作成手順を説明するフローチャートである。 図１０は、実施形態にかかる画像表示制御装置において、特定領域（死角領域）に障害物が存在する場合に警告マークが表示される合成画像の表示例を示す図である。 図１１は、実施形態にかかる画像表示制御装置において、複数の特定領域（死角領域）に障害物が存在する場合の合成画像の表示例を示す図である。 図１２は、実施形態にかかる画像表示制御装置において、通常表示されるパノラマ画像の画角の外側に障害物が存在する場合の合成画像の表示例を示す図である。 図１３は、実施形態にかかる画像表示制御装置において、車体が進路変更する場合の合成画像の表示例を示す図である。

以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

図１は、実施形態にかかる画像表示制御装置を搭載する車体１（車両）における撮像部２の配置位置と撮像範囲の一例を示す平面図である。図２は、車体１の側面図である。車体１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよい。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。車体１は、本実施形態の画像表示制御装置とともに画像表示システム１００（図３参照）を構成する複数の撮像部２を搭載する。本実施形態の車体１は、例えば、３台の撮像部２ａ，２ｂ，２ｃを備える。撮像部２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２は、所定のフレームレートで画像データすなわち動画データを出力することができる。

撮像部２は、広範囲の撮像を行えるように、例えば広角レンズまたは魚眼レンズを備える。撮像部２ａは、主として車体１の後部１ａから後方を撮像して第一の後方画像を得る。撮像部２ａは、図１、図２に示すように車体１の後部１ａのほぼ中央の位置で路面から所定の高さ（例えば１ｍ）で降雨や降雪の影響の受けにくい位置に配置されている。撮像部２ａは、水平方向の画角が図１で破線で示すように例えばθ１（ほぼ１８０°）であり、垂直方向の画角が図２に示すように、例えばやや上方を向いたθ４（ほぼ９０°）である。したがって、撮像部２ａが撮像する第一の後方画像は、周縁部が歪む（湾曲する）ものの、後続車両や駐車車両、歩行者やその他の障害物、路面の状態や路側の状態等、車体１の後方のほぼ全域の情報を取得しうる。

撮像部２ｂは、主として車体１の右側方を含む右後方を撮像して第二の後方画像を得る。撮像部２ｂは、例えば、右ドアミラー４ａに固定または内蔵されている。同様に、撮像部２ｃは、主として車体１の左側方を含む左後方を撮像して第三の後方画像を得る。撮像部２ｃは、例えば、左ドアミラー４ｂに固定または内蔵されている。撮像部２ｂの水平方向の画角は、図１に示すように、例えばθ２（ほぼ８０°）である。同様に、撮像部２ｂの水平方向の画角は、図１に示すように、例えばθ３（ほぼ８０°）である。また、撮像部２ｃ（２ｂ）の垂直方向の画角は図２に示すように、例えばやや上方を向いたθ５（ほぼ８０°）である。なお、撮像部２ｂは、車体１の右側面ボディ１ｂを第二の後方画像に含むように撮像範囲が設定されている。同様に、撮像部２ｃは、車体１の左側面ボディ１ｃを第三の後方画像に含むように撮像範囲が設定されている。このように、側面ボディを含むように後方画像を撮像することにより、車体１と当該車体１の側方に存在する物体、例えば、他車や歩行者、障害物等との間隔情報（距離情報）を画像に含ませることができる。なお、図１、図２に例示される撮像範囲は一例であって、撮像部２による撮像範囲は、図１、図２の例には限定されない。また、撮像部２ａ，２ｂ，２ｃを搭載する位置は一例であり、車体１の後部から後方を撮像した第一の後方画像、車体１の右側方を含む右後方を撮像した第二の後方画像、車体１の左側方を含む左後方を撮像した第三の後方画像が取得できれば、搭載位置は適宜変更できる。また、撮像部２ａ，２ｂ，２ｃの画角を変更することにより搭載位置の調整や撮像範囲の調整の自由度は向上しうる。

車体１に搭載される画像表示システム１００は、図３に示されるように、表示装置１０としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用のルームミラーに替えて設けられる。表示部１０ａには、撮像部２で撮像された画像に基づいて、後述する図７に例示されるような、車体１の後端部を視点とするパノラマ形式の合成画像(パノラマ画像)が、ルームミラーに映る鏡像に似せた状態で表示される。運転者等の利用者は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。

なお、従来型のルームミラーが設けられている車体１の場合、そのルームミラーの形状と実質的に同等の形状の表示装置１０（表示部１０ａ）が例えば、ルームミラーの鏡面を覆うように、取付具やアタッチメント等によって装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａとは別の場所に設けられた筐体内に収容されてもよいし、表示装置１０の筐体内に収容されてもよい。なお、表示部１０ａの表面側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。

図３に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、ＥＣＵ１１、非接触計測装置１３や、舵角センサ１４、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、操舵システム２０のトルクセンサ２０ａやアクチュエータ２０ｂ、シフトセンサ２１、方向指示器２２、モニタ装置２４の操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等であり、車体１のボディ表面に複数個配置されている。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車体１の周囲の障害物、例えば、他車両や歩行者等の障害物（物体）の有無や障害物までの距離を測定することができる。特に、非接触計測装置１３は、後述するパノラマ画像を合成するときに発生しうる特定領域（死角領域）内の障害物の有無の検出を行う。なお、この特定領域（死角領域）内の障害物の有無の検出は、撮像部２が撮像した画像（図１、図２で破線で示す撮像領域の画像）を用いて、パターン認識等の画像処理によって実行してもよい。

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。舵角センサ１４から提供される操舵量に応じて、後述するパノラマ画像４２による車体１の後方の表示方向を決定するようにしてもよい。

車輪速センサ１７は、車体１の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車体１の移動量や車速などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。車輪速センサ１７から提供される車速に基づいて、後述するパノラマ画像４２の表示画角を変更するようにしてもよい。例えば、速度が所定値以上の場合は、表示する画角を広げて広範囲の後方情報を提供するようにしてもよい。逆に速度が所定値未満の場合は、表示する画角を狭くして、車体１の近傍の拡大された画像（詳細な周辺状況が表示可能な画像）を提供するようにしてもよい。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車体１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車体１を減速または停止させる。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。操舵システム２０は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。トルクセンサ２０ａは、運転者がステアリングホイールに与えるトルクを検出する。また、操舵システム２０は、アクチュエータ２０ｂによってステアリングホイールにトルク（アシストトルク）を付加して操舵力を補って、前輪を操舵する。

シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。なお、この出力信号は後述するパノラマ画像４２の表示範囲を変更する際に利用する車体１の進行方向の推定に用いることができる。

また、表示装置１０の表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。利用者等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、利用者等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂは、表示部１０ａ以外の位置に設けられてもよい。例えば、ステアリングホイール上やダッシュボード上に設けられてもよい。この場合、操作入力部１０ｂは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。

また、車体１の車内には、表示部１０ａとは別の表示部２４ａを含むモニタ装置２４が設けられうる。モニタ装置２４には、表示部２４ａや音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。利用者等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、利用者等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、モニタ装置２４は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部２で得られた画像データを用いた画像の表示処理や表示部１０ａや表示部２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積することができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

図４に示されるように、ＣＰＵ１１ａは、ＲＯＭ１１ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される各種モジュールを備える。ＣＰＵ１１ａは、本実施形態における後方画像の表示制御に関連するモジュールとして、例えば、画像取得部３０、障害物検出部３２、画像合成部３４、警報取得部３６、領域設定部３８、進路推定部４０等を備える。

画像取得部３０（取得部）は、車体１の後部１ａ（後端部）を視点とするパノラマ形式の合成画像(パノラマ画像４２)を作成するために、表示制御部１１ｅを介して提供される撮像部２が撮像した後方画像を取得する。例えば、撮像部２ａから提供される車体１の後部から後方を撮像した第一の後方画像を取得する。また、撮像部２ｂから提供される車体１の右側方（例えば右側面ボディ１ｂ）を含む右後方を撮像した第二の後方画像を取得する。また、撮像部２ｃから提供される車体１の左側方（例えば左側面ボディ１ｃ）を含む左後方を撮像した第三の後方画像を取得する。なお、表示制御部１１ｅは、撮像部２から提供される後方画像を、そのままの状態で表示部１０ａや表示部２４ａに表示させることもできる。

障害物検出部３２（検出部）は、車体１の周囲の障害物の有無を検出する。特に、撮像部２ａが撮像する第一の後方画像、撮像部２ｂが撮像する第二の後方画像、撮像部２ｃが撮像する第三の後方画像にそれぞれ定められる特定領域（パノラマ画像４２を作成時に生じる死角領域）内の障害物の有無を車内ネットワーク２３を介して提供される非接触計測装置１３の検出結果やパターンマッチング等の画像処理技術を用いて検出する。なお、障害物検出部３２は、パノラマ画像４２の右端および左端より外側の周辺領域の障害物の有無をさらに検出することもできる。

画像合成部３４は、第一の後方画像と第二の後方画像と第三の後方画像とからパノラマ画像４２の作成に適した画像領域を切り出して（これを、切出し画像という）、それらをさらに画像変換（例えば回転や視点補正）を行い合成することで、車体１の後部１ａ（後端部）を視点とするパノラマ形式の合成画像を作成する。また、画像合成部３４は、障害物検出部３２によって、例えば特定領域（死角領域）に障害物が検出された場合に、その障害物が存在する死角領域を含む後方画像（切出し画像）を他の後方画像（切出し画像）とともに表示するように合成画像を作成することができる。

警報取得部３６は、障害物検出部３２によって、障害物が検出された場合に、利用者に障害物の存在をより認識させやすくするために、例えば、表示部１０ａに表示する警報、例えば、警報マークや障害物を示すキャラクタやアイコン等をＳＳＤ１１ｄ等の記憶部から読み出す。なお、警報取得部３６は視覚的な警報のみならず、例えば音声による警報を行うための音声データを取得してもよい。例えば、「右斜め後方にオートバイが存在します」等の警報メッセージを取得して音声制御部１１ｆに提供してもよい。

領域設定部３８は、画像合成部３４が通常作成するパノラマ画像４２の画角範囲外に障害物、例えば、車体１（自車両）の側方に存在する車両等を発見した場合、その障害物が画像合成部３４の作成するパノラマ画像４２に表示されるように、撮像部２が撮像した画像から合成画像を作成するために切り出してくる画像の範囲を設定する。なお、画像合成部３４が通常作成するパノラマ形式の合成画像の画角範囲外に障害物が存在するか否かは、上述した特定領域（死角領域）に障害物が存在するか否か検出する場合と同様に、非接触計測装置１３を利用したり、撮像部２が取得した後方画像の画像処理（パターンマッチング等）を行うことで検出するようにしてもよい。

進路推定部４０は、車体１の進路方向を推定する。そして、進路方向の変更が推定された場合、領域設定部３８に対して進路の変更方向を示す信号を提供し、その変更方向の後方画像の視認性を向上するように合成画像を作成するために切り出してくる画像の範囲を設定する。すなわち、車体１が進行方向を変更する場合、第二の後方画像または第三の後方画像を用いた合成画像（例えばパノラマ画像４２）の合成範囲を変更して、進行方向に応じた後方画像を拡大するようにする。車体１が進路変更をするか否かは、例えば、車内ネットワーク２３を介して提供される方向指示器２２の出力信号に基づいて車体１が左側に進行方向を変更するか右側に進行方向を変更するかが判定できる。また、例えば、ターンシグナルスイッチの操舵状態によって進行方向変更の有無やその方向を判定してもよい。またＧＰＳ１６とナビゲーション装置を用いて車体１が右折または左折すべき交差点に接近しているか否かを検出することで進行方向変更の有無やその方向を判定してもよい。

なお、合成画像を表示する表示部１０ａの表示範囲は一定であるため、領域設定部３８が、パノラマ画像４２の画角範囲外に障害物が発見された場合に障害物の存在する方向の後方画像の表示範囲を拡大したり、進行方向を変更する場合に変更方向に対応する後方画像の表示範囲を拡大する場合、逆方向の後方画像の表示範囲を拡大量に対応させて縮小する。例えば、第二の後方画像（左後方画像）を拡大した場合は、第三の後方画像（右後方画像）を同様の割合で縮小する。

図５〜図８を用いて、死角領域の障害物の有無の判定およびパノラマ画像４２の作成について説明する。前述したように、撮像部２は、それぞれ広角レンズまたは魚眼レンズを備えている。したがって、図１に示すように広い撮像範囲を有する。しかし、広角レンズまたは魚眼レンズで撮像した画像は、周縁部が歪む（湾曲する）ので、画像合成部３４がパノラマ画像４２を作成する場合は、歪みの少ない部分を切り出して利用する。例えば、図５に示すように、車体１の後部１ａに取り付けられた撮像部２ａが撮像した第一の後方画像のうち歪みが比較的少ないほぼ中央部を合成用の第一切出し画像５２とする。また、車体１の右ドアミラー４ａに取り付けられた撮像部２ｂが撮像した第二の後方画像のうち右側面ボディ１ｂが映り込んでいるとともに第一切出し画像５２より右外側の領域を含む部分を合成用の第二切出し画像５０ａとする。同様に、車体１の左ドアミラー４ｂに取り付けられた撮像部２ｃが撮像した第三の後方画像のうち左側面ボディ１ｃが映り込んでいるとともに第一切出し画像５２より左外側の領域を含む部分を合成用の第三切出し画像５０ｂとする。

ここで、複数の画像を用いたパノラマ画像４２は、既知の方法で作成可能なので詳細な説明は省略するが、例えば、第一切出し画像５２、第二切出し画像５０ａ、第三切出し画像５０ｂを、図５に示すように隣接する切出し画像の端部領域がオーバーラップするように切出し範囲を決定する。そして、切出し画像のそれぞれに対して回転処理や視点変換処理、ホモグラフィ変換等の各種画像処理を実行するとともに、各切出し画像のオーバーラップ部分を重ね代として接続することで繋ぎ部分が滑らかな連続性が向上したパノラマ画像４２を作成することができる。本実施形態の場合、各切出し画像をレイヤとして、それぞれを重ねることによりパノラマ画像４２を作成する例を示す。

図５の場合、例えば、第一切出し画像５２を第一レイヤ、第二切出し画像５０ａを第二レイヤ、第三切出し画像５０ｂを第三レイヤとした場合を考える。第一切出し画像５２は、広角レンズまたは魚眼レンズの中央付近の領域を画角θ６で切り出したものである。つまり、第一切出し画像５２は、歪みが少ない画像である。一方、第二切出し画像５０ａは、撮像範囲の周縁部で歪みが大きい右側面ボディ１ｂを含むが、例えば画角θ７で示す領域は広角レンズまたは魚眼レンズの中央に近づくので歪みが軽減される。同様に、第三切出し画像５０ｂは、撮像範囲の周縁部で歪みが大きい左側面ボディ１ｃを含むが、例えば画角θ８で示す領域は広角レンズまたは魚眼レンズの中央に近づくので歪みが軽減される。図６は、後方画像４８の一例である。第一切出し画像５２には、車体１（自車両）の後方を走行する後続車両５６が映っている。また、第二切出し画像５０ａには、車体１の右側面ボディ１ｂおよび後続車両５６が映っている。第三切出し画像５０ｂには、車体１の左側面ボディ１ｃおよび車体１の左側方を走行するオートバイ５４と後続車両５６が映っている。

パノラマ画像４２を作成する場合、歪みの少ない第一切出し画像５２をパノラマ画像４２の合成時の最上レイヤ（上層レイヤ）として、歪みを含む第二切出し画像５０ａおよび第三切出し画像５０ｂを下層レイヤとして重ねる。つまり、第二切出し画像５０ａの第一切出し画像５２側および第三切出し画像５０ｂの第一切出し画像５２側の歪みが大きい領域が第一切出し画像５２の下層になるようにすることで、図７に示すような全体として、歪みの少ないパノラマ画像４２を作成することができる。

ところで、図７に示す表示部１０ａの表示領域Ａに表示されるパノラマ画像４２には、後続車両５６が表示されるが、図６の第三切出し画像５０ｂで車体１の左側方に存在しているはずのオートバイ５４が表示されていない。これは、パノラマ画像４２を作成する段階で、歪みの少ない第一切出し画像５２を上層に配置し、歪みのある第二切出し画像５０ａの一部や第三切出し画像５０ｂの一部を下層に配置した結果、パノラマ画像４２の表示に反映されない死角領域４４ａ，４４ｂ，４６，４６ｂ（斜線を付した領域）が生じたためである。例えば、オートバイ５４が車体１に接近して死角領域４４ｂに入ってしまった場合、パノラマ画像４２では、オートバイ５４が突然消えたように見えることになる。つまり、左ドアミラー４ｂには映っているオートバイ５４が表示部１０ａ（パノラマ画像４２）に映らなくなり利用者に違和感を与えてしまう場合がある。

そこで、本実施形態の画像表示システム１００では、死角領域４４ａ（４４ｂ，４６ａ，４６ｂ）に障害物が存在する場合、その障害物が存在する後方画像（切出し画像）を表示するように他の後方画像（切出し画像）とともに合成画像を作成する。例えば、障害物が存在する切出し画像（レイヤ）を他の切出し画像（レイヤ）よりも上層に表示する。図５に示すように、第三切出し画像５０ｂの死角領域４４ｂにオートバイ５４が存在し、それが検出された場合、第一切出し画像５２（第一レイヤ）より第三切出し画像５０ｂ（第三レイヤ）を上層（前面）に表示する。図８には、第一切出し画像５２（第一レイヤ）より第三切出し画像５０ｂ（第三レイヤ）を上層（前面）に表示した合成画像の例が示されている。この場合、第二切出し画像５０ａ（第二レイヤ）については、第一切出し画像５２（第一レイヤ）が上層に表示され、表示部１０ａに表示される中央部および右側は、パノラマ画像４２ｄが表示される。一方、第三切出し画像５０ｂ（第三レイヤ）に対しては、パノラマ画像を作成するための回転処理や視点変換処理、ホモグラフィー変換等を行わずに第三切出し画像５０ｂをそのままの状態で中央後方および右後方を示すパノラマ画像４２ｄと並べて表示する。この場合、パノラマ画像４２ｄと第三切出し画像５０ｂとは画像上連続しない（パノラマ画像を形成しない）。このように、死角領域（特定領域）に障害物が存在する場合に、その死角領域を含む切出し画像（後方画像、レイヤ）を他の切出し画像（後方画像、レイヤ）より上層に表示することにより、パノラマ画像４２で表示されなかった障害物（例えばオートバイ５４）を表示して、利用者に注意を喚起することができる。また、死角領域に障害物が検出されたことにより、今まで表示部１０ａに表示されていたパノラマ画像４２の態様が崩れる（一部でパノラマ画像が不連続になる）ことにより、視覚的な変化によって利用者に注意を喚起することができる。このように、障害物が存在する死角領域に対応する切出し画像（レイヤ）のみを上層に移動させるので、それ以外の切出し画像は、パノラマ画像４２ｄを形成し続ける。したがって、障害物（オートバイ５４）の表示を行いつつ、パノラマ画像（一部）による周囲の状況表示も併せて行うことができる。

死角領域４４ａ（４４ｂ，４６ａ，４６ｂ、図５の車線部分）に障害物が存在するか否かは、障害物検出部３２が非接触計測装置１３を用いて車体１の周囲を監視することで実行する。つまり、死角領域４４ａ（４４ｂ，４６ａ，４６ｂ）に他車両（自動車、オートバイ、自転車等）や歩行者等が存在するか否を検出する。なお、パノラマ画像４２に反映される部分（図５の破線の内側の斜線部分以外）に他車両や歩行者等が存在する場合は、パノラマ画像４２上にその他車両や歩行者等は表示されるので、障害物検出部３２は、パノラマ画像４２の態様を崩して表示する障害物とは見なさないものとする。

なお、死角領域に存在していた障害物が当該死角領域から出た場合、例えば、オートバイ５４が車体１を追い越したり、車体１から後退したことにより、死角領域に障害物が存在しなくなった場合、第一切出し画像５２、第二切出し画像５０ａおよび第三切出し画像５０ｂのレイヤの重なり状態は、初期状態に戻る。つまり、第一切出し画像５２が上層レイヤとなり、第二切出し画像５０ａおよび第三切出し画像５０ｂが下層レイヤとなる。その結果、図７に示すような、全体がなめらかに繋がった通常表示されているパノラマ画像４２に復帰する。

このように構成される画像表示システム１００による後方画像の表示制御を図９のフローチャートを用いて説明する。なお、図９のフローチャートは、所定の制御周期で繰り返し実行されるものとする。

撮像部２は、例えば車体１の電源スイッチがＯＮ状態の場合に、所定のフレームレートで画像データすなわち動画データを撮像して表示制御部１１ｅに提供する。例えば、図１に示すような切出し前の広角の撮像画像を提供する。ＣＰＵ１１ａが実現する画像取得部３０は、順次提供される撮像画像を取得する（Ｓ１００）。続いて、障害物検出部３２は、予め設定された取得した撮像画像内の障害物の有無を検出する（Ｓ１０２）。なお、この場合、障害物検出部３２は、車体１の周辺の障害物、特に、死角領域４４ａ，４４ｂ，４６ａ，４６ｂおよび車体１の側方で、例えば図５の画角θ７およびθ８より外側に存在する障害物、例えば、隣接する斜線や路側に存在する障害物を検出対象とする。すなわち、車体１から離れた後続車両５６等は障害物と見なさないものとする。障害物検出部３２が障害物が存在しないと判定した場合（Ｓ１０２のＮｏ）、進路推定部４０は車体１が進路変更をしようとしているか否かを推定する（Ｓ１０４）。進路推定部４０による進路変更の推定は、例えば方向指示器２２からの信号により判定する。進路推定部４０が車体１の進路変更はないと判定した場合（Ｓ１０４のＮｏ）、画像合成部３４は、第一切出し画像５２を上層レイヤとするとともに、第二切出し画像５０ａおよび第三切出し画像５０ｂを下層レイヤとして、図７に示すようなパノラマ画像４２を作成する（Ｓ１０６）。そして、作成したパノラマ画像４２のデータは、表示制御部１１ｅを介して出力されて表示部１０ａに表示される（Ｓ１０８）。そして、一旦このフローを終了する。

Ｓ１０２の処理において、障害物検出部３２により障害物が存在すると判定された場合（Ｓ１０２のＹｅｓ）、障害物検出部３２は、その障害物がパノラマ画像４２を作成する際に生じる死角領域（特定領域）に含まれるか否か判定する（Ｓ１１０）。つまり、障害物が、撮像部２ａが撮像した第一の後方画像から切り出した第一切出し画像５２と、撮像部２ｂが撮像した第二の後方画像から切り出した第二切出し画像５０ａと、撮像部２ｃが撮像した第三の後方画像から切り出した第三切出し画像５０ｂとに含まれる死角領域４４ａ，４４ｂ，４６ａ，４６ｂのいずれかに含まれるかを判定する。障害物がパノラマ画像４２を作成する際に生じる死角領域に含まれる場合（Ｓ１１０のＹｅｓ）、障害物検出部３２は、その障害物が一つの切出し画像に含まれるか否か判定する（Ｓ１１２）。障害物が一つの切出し画像に含まれる場合（Ｓ１１２のＹｅｓ）、その障害物を含む切出し画像（対象画像）を、作成する車体１の後方を示す合成画像の最上レイヤ（上層レイヤ）に移動する（Ｓ１１４）。例えば図８に示すような、障害物が表示される後方画像である第三切出し画像５０ｂおよびそれ以外の後方画像（パノラマ画像４２ｄ）で構成される合成画像を作成する。また、警報取得部３６が取得した警報を合成画像に重畳（付加）する（Ｓ１１６）。例えば、図１０に示すように、第三切出し画像５０ｂに示されるオートバイ５４の近傍に警報マーク５８を表示して、利用者の注意を喚起する。なお、この場合、ＣＰＵ１１ａは、警報取得部３６が取得した音声警報を音声制御部１１ｆに提供してもよい。音声制御部１１ｆは、音声出力装置２４ｃ（スピーカ）から例えば、「左側方に障害物が接近しています。注意してください。」等の音声メッセージを出力させてもよい。また、障害物検出部３２が、例えば後方画像に対してパターンマッチング等の画像処理を実行して、障害物の種類を識別するようにしてもよい。この場合、警報取得部３６は、例えば「左側方にオートバイが接近しています。注意してください。」等のように、より具体的なメッセージを出力させるようにしてもよい。また、警報マーク５８は一例であり、障害物の存在を強調するものであれば適宜変更可能である。例えば、障害物が存在する第三切出し画像５０ｂ全体の表示色を表示内容の視認性が低下しない範囲で赤や黄色の注意喚起色に変更するようにしてもよい。そして、作成した合成画像のデータは表示制御部１１ｅを介して出力されて表示部１０ａに表示させて（Ｓ１０８）、一旦このフローを終了する。なお、障害物の視認性が明確に表示できる場合や利用者の設定操作により、警報マーク５８の表示を省略するようにしてもよい。

図５において、死角領域４６ａ，４６ｂは、撮像部２ａが撮像する第一の後方画像には含まれるが、第一切出し画像５２には含まれない。したがって、障害物検出部３２が死角領域４６ａ，４６ｂに障害物を検出した場合、画像合成部３４は、第一切出し画像５２を上層レイヤとするとともに、警報取得部３６が取得した警報マーク５８を第一切出し画像５２に表示したり、障害物を示すアイコンやキャラクタ（例えば、自動車やオートバイ、歩行者等）を表示するようにしてもよい。この場合、図７に示されるような通常表示されているパノラマ画像４２に警報マーク５８等を重畳表示するようにしてもよい。この場合、警報マーク５８の表示とともに、音声メッセージによる注意喚起を行うことが望ましい。

Ｓ１１２の処理で、検出された障害物が一つの切出し画像の死角領域のみに存在しない場合（Ｓ１１２のＮｏ）、つまり、複数の切出し画像、例えば、第二切出し画像５０ａおよび第三切出し画像５０ｂの死角領域４４ａ，４４ｂに障害物が存在する場合、画像合成部３４は、第一の後方画像の第一切出し画像５２と第二の後方画像の第二切出し画像５０ａおよび第三の後方画像の第三切出し画像５０ｂの死角領域を含む後方画像を並列配置して合成する。図１１は、例えば、表示部１０ａの表示領域Ａに第二切出し画像５０ａの死角領域４４ａ（図５参照）に障害物としてオートバイ５４が存在し、第三切出し画像５０ｂの死角領域４４ｂ（図５参照）に障害物としてオートバイ６０が存在する場合に、第一切出し画像５２、第二切出し画像５０ａ、第三切出し画像５０ｂを並列的に配列して合成画像を作成している例である。この場合、作成された合成画像は、パノラマ画像の態様は有していないが、障害物の視認性が向上する。切出し画像を並列的に配列した合成画像が作成されると、Ｓ１１６の処理に移行し、警報マーク５８を付加して、表示部１０ａに合成画像を表示させる（Ｓ１０８）。なお、この場合、表示部１０ａの表示領域Ａの大きさは一定なので、例えば、第二切出し画像５０ａおよび第三切出し画像５０ｂにおいて、車体１から遠い側の端部の表示が省略される。つまり、第二切出し画像５０ａおよび第三切出し画像５０ｂの表示領域を縮小することで、障害物の表示を確実に行うようにしている。なお、例えばオートバイ６０が死角領域から出た場合、画像合成部３４は、図１０に示すような第三切出し画像５０ｂとパノラマ画像４２ｄとで構成される合成画像を作成する。さらに、オートバイ５４が死角領域から出た場合は、画像合成部３４は、図７に示すような、通常表示のパノラマ画像４２を作成する。

Ｓ１１０の処理で、障害物は存在するものの、通常表示しているパノラマ画像４２の画角内の死角領域には障害物が存在しない場合（Ｓ１１０のＮｏ）、例えば、図５において、第二切出し画像５０ａや第三切出し画像５０ｂの画角より外側（車体１から離れる方向）に障害物が存在していた場合である。この場合、利用者（運転者）には、目視による障害物の確認が十分可能であるが、表示部１０ａ上でもその障害物を表示するようにすることで、表示部１０ａを視認中にその障害物の確認を迅速に行わせることができる。図１２は、表示部１０ａの表示領域Ａにおいて、第三切出し画像５０ｂの外側（図５参照）に障害物として車両６４が検出された場合を示している。この場合、領域設定部３８は、図７等で示す第三切出し画像５０ｂより車両６４が存在する方向に拡大領域６２ａ分だけ表示領域を片側に拡大する（Ｓ１２０）。これは、撮像部２ｃの撮影した第三の後方画像から切り出される領域を変更すること容易に拡大することができる。なお、拡大領域６２ａの大きさは一定値でもよい。また、この場合、障害物は一部が表示されれば十分なので、拡大領域６２ａの大きさ設定を複数準備しておき、検出した障害物の大きさに応じて拡大領域６２ａの大きさを選択するようにしてもよい。なお、この場合も表示部１０ａの表示領域Ａの大きさは一定なので、車両６４が存在する側で拡大した拡大領域６２ａの大きさに対応する領域、図１２の場合、第二切出し画像５０ａ（図５参照）側で削除領域６２ｂが生じる。つまり、表示部１０ａの表示領域Ａが全体として、車両６４が存在する方向に表示方向を変更したようになる。その結果、車体１の周囲の状況の視認性を向上することができる。このように、障害物の存在方向に表示領域を拡大したパノラマ画像４２を作成したらＳ１１６に移行して、以降の表示処理を実行する。なお、車両６４が車体１の右側に存在する場合は、表示部１０ａの表示領域Ａの表示方向が右側に偏るようになる。

Ｓ１０４の処理において、進路推定部４０により車体１の進路変更があると推定された場合（Ｓ１０４のＹｅｓ）、図１３に示すように、領域設定部３８は進路変更方向にパノラマ画像４２の表示領域を拡大する（Ｓ１２２）。この場合、領域設定部３８は、図７等で示す第三切出し画像５０ｂより進路変更を行う方向に拡大領域６６ａ分だけ表示領域を片側に拡大する。例えば左方向に進路変更する場合、撮像部２ｃの撮影した第三の後方画像から切り出される領域を変更すること容易に拡大することができる。なお、拡大領域６６ａの大きさは、一定値でもよい。また、この場合、進路変更の種類に応じて、拡大領域６６ａの大きさ変更してもよい。例えば、右左折の場合は車線変更の場合より拡大領域６６ａを大きくすることで、進路変更方向のより多くの情報を利用者に提供することができる。この場合も表示部１０ａの表示領域Ａの大きさは一定なので、進路変更する方向に拡大した拡大領域６６ａの大きさに対応する領域だけ逆側の領域が縮小される。図１３の場合、第二切出し画像５０ａ（図５参照）側で削除領域６６ｂが生じる。つまり、表示部１０ａの表示領域Ａが全体として、進路変更する方向に表示方向を変更したようになる。その結果、車体１の周囲の状況の視認性を向上することができる。このように、進路変更する方向に表示領域を拡大したパノラマ画像４２を作成したらＳ１０８に移行して、表示部１０ａにパノラマ画像４２を表示して一旦このフローを終了する。なお、進路推定部４０が進路変更の種類を推定する場合、例えば車線変更なのか右左折なのかは、例えばＧＰＳ１６からの情報やナビゲーションシステムからの情報に基づいて判定するようにしてよい。

上述した実施形態では、撮像部２を３台用いて３方向の後方画像を取得してパノラマ画像４２を作成する例を示したが、撮像部２の台数は３台以上でもよい。この場合、個々の撮像部２の撮像画角を小さくすることができるので、歪みの少ない画像の取得が可能になる。その結果、作成するパノラマ画像４２を実際の後方風景に近づけることができて、パノラマ画像４２の歪みに関する違和感をさらに軽減できる。

上述した実施形態では、障害物が検出された場合、その障害物が存在する切出し画像を他の切出し画像より上層レイヤに移動することで、障害物の表示を行う例を示した。他の実施例では、常時、図７に示すようパノラマ画像４２を作成しておき、障害物が検出された場合に、その障害物が存在する切出し画像をパノラマ画像４２に重畳して、図１０と同様の合成画像を作成するようにしてもよい。

また、パノラマ画像４２の作成は、既知の様々な方法が適用可能であり、障害物が検出された場合に、その障害物が存在する画像を他の画像とともに表示できれば、本実施形態と同様の効果を得ることができる。

本実施形態では、死角領域に障害物が検出された場合に合成画像の形態を変更するのに加え、死角領域以外に障害物が検出された場合の合成画像の形態の変更や進路変更を行う場合の合成画像の形態の変更を合わせて実行する例を示した。他の実施例では、利用者の操作により合成画像の形態の変更の種類を選択できるようにしてもよい。この場合、必要以上にパノラマ画像４２の表示から他の形態の表示が切り替わることが抑制される。

本発明の実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車体（車両）、２ａ，２ｂ，２ｃ，２…撮像部、１０…表示装置、１０ａ…表示部、１１…ＥＣＵ、１１ａ…ＣＰＵ、１１ｅ…表示制御部、３０…画像取得部、３２…障害物検出部、３４…画像合成部、３６…警報取得部、３８…領域設定部、４０…進路推定部、４２…パノラマ画像、４２ａ…第一パノラマ領域、４２ｂ…第二パノラマ領域、４２ｃ…第三パノラマ領域、４２ｄ…パノラマ画像、４４ａ，４４ｂ，４６ａ，４６ｂ…死角領域、４８…後方画像、５０ａ…第二切出し画像、５０ｂ…第三切出し画像、５２…第一切出し画像、６４…車両、１００…画像表示システム。

Claims (5)

1. 車体の後部から後方を撮像した第一の後方画像と、前記車体の右側方を含む右後方を撮像した第二の後方画像と、前記車体の左側方を含む左後方を撮像した第三の後方画像と、を取得する取得部と、
   前記第一の後方画像、前記第二の後方画像、前記第三の後方画像にそれぞれ定められる特定領域内の障害物の有無を検出する検出部と、
   前記第一の後方画像と前記第二の後方画像と前記第三の後方画像とを合成して前記車体の後端部を視点とするパノラマ形式の合成画像を作成する一方、前記障害物が検出された場合に、前記障害物が存在する前記特定領域を含む前記後方画像を他の後方画像とともに表示するように合成画像を作成する画像合成部と、
   前記合成画像を表示装置に表示させる制御部と、
   を備える画像表示制御装置。
2. 前記画像合成部は、前記障害物が複数の前記特定領域で検出された場合、前記第一の後方画像と前記第二の後方画像および前記第三の後方画像の前記特定領域を含むそれぞれの前記後方画像を並列配置して合成する請求項１に記載の画像表示制御装置。
3. 前記検出部は、前記パノラマ形式の合成画像の右端および左端より外側の周辺領域の障害物の有無をさらに検出し、
   前記画像合成部は、前記周辺領域に前記障害物を検出した場合、当該障害物を検出した周辺領域に対応する前記第二の後方画像または前記第三の後方画像の前記合成画像における合成範囲を前記障害物を検出した周辺領域の方向に拡大する請求項１または請求項２に記載の画像表示制御装置。
4. 前記制御部は、前記障害物が検出された場合、前記障害物の存在を示す警報を出力する請求項１から請求項３のいずれか１項に記載の画像表示制御装置。
5. 前記画像合成部は、前記車体が進行方向を変更する場合、変更する進行方向に対応する前記第二の後方画像または前記第三の後方画像の前記合成画像における合成範囲を前記変更する進行方向に拡大する請求項１または請求項２に記載の画像表示制御装置。

Images