JP2016213759A - 後方モニタ - Google Patents

Abstract

【課題】複数のカメラによって得られる車両後方の映像を簡単な処理によって合成し、更に後方の移動物体を検出してその画像を合わせて表示する後方モニタを提供する。
【解決手段】本発明の後方モニタは後方カメラ２１、右側後方カメラ２２、左側後方カメラ２３と、各カメラの映像から後方画像、右側後方画像及び左側後方画像を作成する画像作成手段３と、後方画像から路面領域を抽出する路面領域抽出手段４と、後方画像から移動物体を検出し、車両と移動物体との距離を検出する移動物体検出手段５と、移動物体検出手段により移動物体が検出された場合には、移動物体との距離又は変化に基づき、後方画像から移動体領域を抽出する移動体領域抽出手段６と、各側後方画像と、後方画像における路面領域及び移動体領域の画像とを合成して所定曲面に投影した３面合成画像を作成する画像合成手段７と、３面合成画像を表示する表示手段８とを備える。
【選択図】図１

Description

本発明は、車両の後方の映像を表示する後方モニタに関する。詳しくは、複数のカメラによって得られる車両後方の映像を簡単な処理によって合成し、更に後方の移動物体を検出してその画像を合わせて表示する後方モニタに関する。

従来、車両のバックミラーの代わりに、車両の後方をカメラで撮影して、路面や接近する物体等を画面に表示する後方モニタが種々実用化されている。通常、後方モニタに用いられるカメラは広範囲を撮影するために、撮影される画像が大きく歪み、そのまま表示すると見づらいという問題がある。このため、補正テーブル等を用いて撮影された画像の歪をなくす手法がある（例えば、特許文献１を参照）。また、近年では、車両に複数のカメラを備え、各カメラを用いて得られる２次元画像データを１つの３次元投影面形状に合成する方法等を用いて、視認性を高めた画像処理装置が開発されている（例えば、特許文献２を参照）。
複数のカメラで撮影した画像を合成する場合、各画像の境界に物体が位置すると形状が欠けたり各画像に同時に存在したりする問題があるため、これを解消するため手段が提案されている。特許文献２に記載されている画像処理装置は、車両の前後左右に設けられたカメラにより映像を撮像し、運転状態に基づいて、複数の映像の合成条件を変化させている。

特開平１０−２７１４９０号公報 特開２０１０−１２８９５１号公報

前記のように、複数のカメラにより撮影した画像を合成する場合、カメラの位置や向きが異なると、各画像に含まれる物体の大きさがそれぞれ異なって写っていたり、異なる形状で写っていたりする。このため、ルックアップテーブル等の固定された条件によって画像を合成しても、画像の境界に位置する物体の全てを継ぎ目がなく、歪みが少なくなるように表示することは困難である。例えば、１つの物体の継ぎ目がなくなるように合成するとカメラとの距離が異なる他の物体の継ぎ目や歪みが生じたり、物体が投影範囲から外れたりする。このような画像の合成における不整合等を解決するために、特許文献２に記載されている画像処理装置は、車両の前後左右に４つのカメラを備え、各画像を３次元画像データに合成し、車両の走行速度等の運転状態を検出することにより、１つの視点で合成位置に急激な変化を生じない画像を表示するとされている。
しかし、車両後方の映像をモニタする用途においては、大幅に簡単な処理によって複数のカメラによって撮影された画像を合成することが求められている。また、運転者が注意すべき後方の接近物体等を検出し、その物体を含めて車両後方の映像を見易く表示することが必要とされる。

本発明は、上記実情に鑑みてなされたものであり、複数のカメラによって得られる車両後方の映像を簡単な処理によって合成し、更に後方の移動物体を検出してその画像を合わせて表示する後方モニタを提供することを目的とする。

１．車両の後方、右側後方及び左側後方の映像を表示する後方モニタであって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラと、
前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を作成する画像作成手段と、
前記後方画像から所定の路面領域を抽出する路面領域抽出手段と、
前記後方画像から移動物体を検出すると共に、前記車両と前記移動物体との距離を検出する移動物体検出手段と、
前記移動物体検出手段により移動物体が検出された場合には、前記移動物体との距離又はその変化に基づき、前記後方画像から前記移動物体の画像領域を移動体領域として抽出する移動体領域抽出手段と、
前記右側後方画像と、前記左側後方画像と、前記後方画像における前記路面領域及び前記移動体領域の画像と、を合成して所定の曲面に投影した３面合成画像を作成する画像合成手段と、
前記３面合成画像を表示する表示手段と、
を備えることを特徴とする後方モニタ。
２．前記移動体領域抽出手段は、前記移動物体検出手段により検出された前記移動物体との距離が所定値以下である場合、及び前記移動物体との距離が小さくなるように変化している場合に、前記移動体領域を抽出する前記１．記載の後方モニタ。
３．前記移動物体検出手段は、前記後方画像からエッジを抽出し、そのエッジの強度に基づいて前記移動物体を検出する前記１．又は２．に記載の後方モニタ。
４．前記画像合成手段は、前記移動物体検出手段により検出された前記移動物体との距離に基づいて前記所定の曲面の曲率を変更する前記１．乃至３．のいずれかに記載の後方モニタ。

本発明によれば、前記車両の後方、右側後方及び左側後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラと、前記各カメラによって撮影された映像からそれぞれ後方画像、右側後方画像及び左側後方画像を作成する画像作成手段と、後方画像から所定の路面領域を抽出する路面領域抽出手段と、後方画像から移動物体を検出すると共に移動物体との距離を検出する移動物体検出手段と、移動物体が検出された場合には、後方画像から移動物体の画像領域を移動体領域として抽出する移動体領域抽出手段と、右側後方画像、左側後方画像、後方画像における路面領域及び移動体領域の画像を合成して所定の曲面に投影した３面合成画像を作成する画像合成手段と、３面合成画像を表示する表示手段と、を備えるため、極めて簡単な処理によって、車両の後方から接近する移動物体等を検出して視認性に優れたモニタとすることができる。左右側後方カメラの画像により車両後方の広い視野を確保し、その死角となる範囲を後方カメラによる画像によって補うようにすることによって、各画像の境界部の処理を容易にし、違和感のない合成画像を表示することができる。また、後方に移動物体を検出した場合には、後方画像からその移動物体を含む画像を抽出して合成するので、各画像の境界付近に移動物体が位置しても、その形状が欠けたり２つに表示されたりすることがなく、移動物体の視認性を向上させることができる。
前記移動体領域抽出手段は、前記移動物体検出手段により検出された前記移動物体との距離が所定値以下である場合、及び前記移動物体との距離が小さくなるように変化している場合に、前記移動体領域を抽出するようにすれば、運転者が注意を払うべき近距離の移動物体及び急速に接近する移動物体に応じて、移動物体を含む画像を表示することができる。
前記移動物体検出手段は、前記後方画像からエッジを抽出し、そのエッジの強度に基づいて前記移動物体を検出する場合には、簡単な処理により画像から移動物体を検出することができる。
前記画像合成手段は、前記移動物体検出手段により検出された前記移動物体との距離に基づいて前記所定の曲面の曲率を変更する場合は、注目すべき移動物体の形状の歪みを軽減することができ、注目すべき移動物体を違和感なく表示することができる。

後方モニタの構成を説明するためのブロック図である。 各カメラの車両に設けられている位置及び撮影範囲を示す模式平面図である。 各カメラによって得られた画像の例である。 図３において歪み補正をした各画像の例である。 図４において、画像（ａ’）の路面領域Ｓを破線で囲んで示す模式図、及び各画像（ｂ’）（ｃ’）の切り出す範囲を破線で囲んで示す模式図である。 各側後方カメラの画像を合成した例である。 ３面合成画像の作成例である。 後方モニタの処理を説明するためのフローチャートである。 車両に移動物体が接近した状態を説明するための模式平面図である。 車両に移動物体が接近したときの各カメラによって得られた画像の例である。 図１０において歪み補正をした各画像の例である。 図１１において画像（ａ’）の路面領域Ｓを破線で囲んで示す模式図、及び各画像（ｂ’）（ｃ’）の切り出す範囲を破線で囲んで示す模式図である。 図１１において後方カメラの画像中の移動体領域を破線で囲んで示す模式図である。 各側後方カメラの画像を合成した例である。 ３面合成画像の作成例である。 車両に移動物体が接近したときの後方カメラによって得られた画像の例である。 図１６において移動体領域を破線で囲んで示す画像の例である。

ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。

本実施形態に係る後方モニタ（１）は、車両の後方、右側後方及び左側後方の映像を表示する後方モニタであって、車両（９１）の後方を撮影する後方カメラ（２１）、右側後方を撮影する右側後方カメラ（２２）、及び左側後方を撮影する左側後方カメラ（２３）と、画像作成手段（３）と、路面領域抽出手段（４）と、移動物体検出手段（５）と、移動体領域抽出手段（６）と、画像合成手段（７）と、表示手段（８）と、を備える（例えば、図１を参照）。
前記車両の種類は特に限定されず、自動車、列車、電車、自転車、自走式のロボット、遠隔操作式のロボット等を例示することができる。また、車両の走行方法としてタイヤや車輪の他、無限軌道等も含めることができる。

画像作成手段（３）は、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）によって撮影された画像（ａ、ｂ、ｃ）をキャプチャし、それぞれ後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）を作成する手段である。
路面領域抽出手段（４）は、後方画像（ａ’）から所定の路面領域（Ｓ）を抽出する手段である。
移動物体検出手段（５）は、後方画像（ａ’）から移動物体を検出すると共に、車両（９１）とその移動物体との距離を検出する手段である。
移動体領域抽出手段（６）は、移動物体検出手段（５）により移動物体が検出された場合には、移動物体との距離又は距離の変化に基づき、後方画像（ａ’）から前記移動物体の画像領域を移動体領域（Ｍ）として抽出する手段である。
画像合成手段（７）は、右側後方画像（ｂ’）と、左側後方画像（ｃ’）と、後方画像（ａ’）における路面領域（Ｓ）及び移動体領域（Ｍ）の画像と、を合成して所定の曲面（Ｑ）に投影した３面合成画像を作成する手段である。
表示手段（８）は、前記３面合成画像を別途設けられる表示装置に表示する手段である。

後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）は、それぞれ車両（９１）の後方、右側後方及び左側後方の映像を取得することができればよく、その種類や設置位置を問わない。例えば、図２に示すように、後方カメラ（２１）は車両（９１）の後面に固定して設けられる。また、右側後方カメラ（２２）及び左側後方カメラ（２３）（以下、側後方カメラと略す）は、車両（９１）の右側面及び左側面に固定して配設されている。
また、各カメラ（２１、２２、２３）は、それぞれ撮影する範囲（９２ａ、９３ａ、９４ａ）の一部が、隣のカメラの撮影する範囲の一部と重複するように配設される。それぞれ広範囲の映像を得るために、各カメラ（２１、２２、２３）には魚眼レンズが用いられることが好ましい。
図２に示した例では、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは、車両後方で重なるようにされている。しかし、左右の側後方カメラのみを使用する場合には車両後方に死角が生じるため、車両の後方は後方カメラ（２１）の撮影範囲（９２ａ）によってカバーされている。なお、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは重ならないようにされていてもよい。

画像作成手段（３）は、各カメラ（２１、２２、２３）により撮影された映像をキャプチャして、それぞれの画像（ａ，ｂ，ｃ）の歪を補正するように構成されている。好ましくは、各画像（ａ，ｂ，ｃ）を球面画像（ａ’、ｂ’、ｃ’）に変換するように構成することができる（例えば、図３、４参照）。カメラによって得られる画像は、視点を中心として配置される球面に投影された視野を、平面に対して垂直に投影し直すことによって得られると見なすことができる。このため、各画像（ａ，ｂ，ｃ）を前記球面に投影した結果である前記球面の画像（ａ’、ｂ’、ｃ’）を取得することで歪を補正することができる。前記球面画像への変換は、使用するカメラに合わせて、周知の方法を任意に適用することができ、所定の射影式に基づいた座標変換によりおこなうことができる。これによって、補正（変換）後の後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）を得ることができる。

路面領域抽出手段（４）は、後方画像（ａ’）において、後方の路面領域（Ｓ）を抽出する手段である。本実施形態においては、左右の側後方カメラの死角となる車両後方の領域の画像を補うために、後方カメラによる画像から路面領域（Ｓ）を抽出する。よって、「路面領域」は実際の道路の領域を意図するものではなく、少なくとも、左右の側後方カメラの画像をつないだときに欠落する車両後方の領域であればよい。このため、路面領域（Ｓ）は、後方画像（ａ’）において車両の後端から、後方側に延びる一定の領域とすることができ、左右の側後方カメラの視野、後方カメラ（２１）の設置高さ等に基づいて予め設定しておくことができる（例えば、図５参照）。なお、路面領域は、後方カメラ（２１）によって得られる画像（ａ）において抽出するように構成されてもよい。
路面領域（Ｓ）の情報は、画像合成手段（７）に出力される。

移動物体検出手段（５）は、後方画像（ａ’）により、移動物体を検出すると共に車両（９１）と前記移動物体との距離を検出する手段である。移動物体を検出する具体的な方法は特に問わず、例えば、時間が前後する後方画像（ａ’）間の各画素の移動を予測するオプティカルフローを用いて移動量を求めることができる。また、各後方画像（ａ’）におけるエッジを抽出し、そのエッジの移動量が路面領域等の移動量に対して一定以上大きい場合には、移動物体と判定することができる。その場合、後方画像（ａ’）において検出されたエッジの強度が一定以上であるときに、移動物体として検出するようにすることができる。また、移動物体検出手段（５）は、路面上の移動物体を検出するように構成することができる。例えば、後方画像（ａ’）の路面領域（Ｓ）において、移動物体を検出するようにすることができる。また、時間が前後する後方画像（ａ’）において移動物体との距離を検出し、車両（９１）に近づいている移動物のみを移動物体として検出するようにしてもよい。

車両（９１）と検出された移動物体との距離の検出方法は特に問わない。例えば、後方画像（ａ’）上の移動物体の位置に基づいて、車両（９１）と移動物体との距離を算定することができる。
移動物体検出手段（５）は、後方画像から複数の移動物体を検出する場合もある。複数の移動物体が検出された場合、車両（９１）に最も急速に接近する移動物体（すなわち車両（９１）と移動物体との距離が最も急速に小さくなるように変化する移動物体）や、車両（９１）に最も近い移動物体を適宜判定し、その移動物体に対して以下の移動体領域抽出手段等を適用するように構成することができる。

移動体領域抽出手段（６）は、移動物体検出手段（５）により移動物体が検出された場合には、その移動物体との距離又はその変化により、後方画像（ａ’）における移動物体の画像領域を移動体領域（Ｍ）として抽出するように構成される。移動体領域（Ｍ）は、検出された移動物体全体の画像が含まれる領域であり、移動物体全体は例えば前記エッジの情報等に基づいて認識することが可能である。

移動体領域（Ｍ）として、移動物体（９６）そのものの領域を抽出してもよいし（図１７参照）、移動物体（９６）そのものの領域に加え、その上方を含めても良い（図１３参照）。移動体領域（Ｍ）に移動物体とその上方を含めることにより、移動物体の付近の画像の境目が少なくなり、移動物体の自然な視認性が高まるからである。また、後方画像（ａ’）のうち、移動物体（９６）を含み、上下の端が後方画像（ａ’）の上下の端に到達する領域を移動体領域（Ｍ）としてもよい。この場合、移動体領域（Ｍ）の幅は、移動物体（９６）の幅とすることができる。
移動体領域（Ｍ）の情報は、画像合成手段（７）に出力される。

画像合成手段（７）は、右側後方画像（ｂ’）と、左側後方画像（ｃ’）と、後方画像（ａ’）における前記路面領域（Ｓ）及び前記移動体領域（Ｍ）の画像と、を合成して所定の曲面に投影した３面合成画像を作成するように構成される。前記のとおり、路面領域（Ｓ）は路面領域抽出手段（４）により設定され、移動体領域（Ｍ）は移動体領域抽出手段（６）により設定される。よって、画像合成手段（７）は、後方画像（ａ’）から路面領域（Ｓ）及び移動体領域（Ｍ）に相当する部分の画像を抽出することになる。

本実施形態においては、移動物体検出手段（５）により所定の条件を満たす移動物体が検出されないときには、右側後方画像（ｂ’）と、左側後方画像（ｃ’）と、後方画像（ａ’）中の路面領域（Ｓ）の画像と、を合成するように構成されている（図１４参照）。一方、距離又はその変化量等が所定の条件を満たす移動物体が検出されたときには、更に後方画像（ａ’）中の移動体領域（Ｍ）を加えて画像が合成される（図１５参照）。
隣り合う画像の合成に際して、違和感をなくすように各画像の境目となる部分の差異を低減する処理は、周知の手法を適用することができる。例えば、境目を含む一定幅において所定の混合比率で各画像を混合することを挙げることができる。

また、画像合成手段（７）は、上記合成した画像を所定の曲面（Ｑ）に投影することにより３面合成画像を作成する。上記曲面（Ｑ）は、使用カメラにより、３面合成画像が自然な視認性となるように任意に設定することができる。（例えば、車両の接地面付近を底部とする碗状の球面や、特許文献２に例示されている車両が配置される矩形の配置面から延設された円形状の平面と前記平面から延設された曲面とからなる球面等、任意の球面の一部とすることができる）。また、この曲面（Ｑ）の曲率は、注目する移動物体があるときにその移動物体が最も歪みなく表現されるように、移動物体検出手段（５）により検出された移動物体との距離に基づいて変えるようにすることができる。
上記３面合成画像は表示手段（８）に出力され、表示手段（８）は、その３面合成画像を別途設けられる液晶ディスプレイ等の表示装置に表示するように構成される。

以上の画像作成手段（３）、路面領域抽出手段（４）、移動物体検出手段（５）、移動体領域抽出手段（６）、画像合成手段（７）等は、ハードウェア、ソフトウェアのいずれによって実現されてもよく、具体的な構成は問わない。例えば、図示しないＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ等）、入出力回路等を備えるマイクロコントローラ（マイクロコンピュータ）を中心に、入出力インターフェース等周辺回路を備えることにより構成することができる。マイクロコントローラとして、画像処理に向いたプロセッサを使用することができる。また、プログラム可能な論理回路、ゲートアレーその他の論理回路を用いて構成されてもよい。

本実施形態の後方モニタは、具体的には図１に示すように構成することができる。後方モニタ１は、後方カメラ２１、２つの側後方カメラ２２及び２３、画像作成手段３、路面領域抽出手段４、移動物体検出手段５、移動体領域抽出手段６、画像合成手段７等を備えて構成されている。

図２は、各カメラとその画角（撮影範囲）の例を示している。各カメラは、いずれも魚眼レンズを用いたカメラである。後方カメラ２１は、車両９１の後端であるバックドアのドアノブ付近に設けられ、車両９１の後方の範囲９２ａを撮影する。側後方カメラ２２、２３はそれぞれ車両９１の側面から延出するドアミラーに設けられており、車両９１の後方を含む左右の範囲９３ａ、９４ａを撮影する。

後方モニタ１の具体的な動作を、図８に示すフローチャートに基づき説明する。
始めに、画像作成手段３は、後方カメラ２１、側後方カメラ２２及び２３によって撮影される映像をキャプチャすることによって、それぞれ画像（ａ、ｂ、ｃ）を取得する（ステップＳ１）。取得される各画像（ａ、ｂ、ｃ）は、図３に示すように、魚眼レンズによる円形の画像となる。

画像作成手段３により、各取得画像（ａ、ｂ、ｃ）はそれぞれ球面画像に変換され、後方画像ａ’、右側後方画像ｂ’及び左側後方画像ｃ’が作成される（ステップＳ２）。図４は、これによって作成された後方画像、右側後方画像及び左側後方画像（ａ’、ｂ’、ｃ’）を表している。

次に、路面領域抽出手段４によって、後方画像ａ’から、路面領域Ｓが抽出される（ステップＳ３）。図５（ａ’）において破線部で囲まれた部分は、路面領域Ｓを示している。路面領域Ｓは、左右の側後方カメラの死角となる領域をカバーするように、後方カメラ２１によって得られる画像において予め定めた領域とされればよい。領域の形状は直線又は曲線によって囲まれている任意の形状であり、例えば、図５（ａ’）に示されているように、三角形とすることができる。また、図１２（ａ’）に示されているように長方形としてもよい。

また、移動物体検出手段５によって、後方画像ａ’から、車両９１に接近する移動物体や、車両９１に最も近い移動物体が検出されると共に、その移動物体との距離が検出される（ステップＳ４）。移動物体が複数検出された場合は、車両９１に最も近い移動物体、車両９１に最も急速に接近する移動物体等を適宜選択して、以降の処理を行うようにすることができる。

後方モニタ１は、通常、右側後方画像ｂ’と、左側後方画像ｃ’と、後方画像ａ’中の路面領域Ｓの画像と、をつなぐことによって合成する。具体的には、図５に破線で示されるような右側後方画像ｂ’及び左側後方画像ｃ’の予め定められた領域をそれぞれ切り出して、切り出された左右の各画像と（図６を参照。）、後方画像ａ’中の路面領域Ｓの画像とを合成する（ステップＳ５）。路面領域Ｓの画像は前面に配置される。更に、各画像の合成にあたり、画像間の境目を中心とした一定幅において所定の混合比率で各画像を混合し、画像間の継ぎ目を軽減する。
これによって、図７に示すような３面合成画像が作成される。この３面合成画像は、所定の曲面Ｑ上に投影した画像として作成することができる。

また、前記ステップＳ５において移動物体が検出されたかどうか、を判断する（ステップＳ６）。移動物体が検出された場合には、移動体領域抽出手段６によって、移動物体との距離又はその変化に基づき、後方画像ａ’から移動物体の画像領域が移動体領域（Ｍ）として抽出される（ステップＳ７）。そして、上記３面合成画像は、更に移動体領域（Ｍ）の画像を前面に重ねるように合成される（ステップＳ８）。すなわち、上記３面合成画像は、右側後方画像ｂ’と、左側後方画像ｃ’と、後方画像ａ’中の路面領域Ｓ及び移動体領域（Ｍ）の画像と、がつながれて合成されることとなる。そして、画像間の境目を中心とした一定幅において所定の混合比率で各画像を混合し、画像間の継ぎ目を軽減する。

例えば、図９に示されるように車両９１の後方に車両９６が接近した場合には、ステップＳ５において車両９６が検出される。そして、ステップＳ７において、図１３に示すように車両９６の画像領域が抽出される。これによって、上記３面合成画像には、図１５に示すように、接近する車両９６が明確に合成される。

上記のように、右側後方画像ｂ’、左側後方画像ｃ’、後方画像ａ’中の路面領域Ｓの画像、移動体領域（Ｍ）の画像を合成して３面合成画像を作成する場合、その合成手順は問わない。
曲面Ｑ上に投影した画像として作成された３面合成画像は、別途設けられる表示装置に出力して表示する（ステップＳ９）。

本後方モニタ１では、後方画像ａ’から移動物体が検出されない場合は、図４に示す後方画像ａ’中の路面領域Ｓの画像のみが合成されるため、図７に示すように後方画像ａ’が３面合成画像中に占める割合が少ない。
一方、図１１に示すように後方画像ａ’から移動物体９６が検出された場合は、図１２、１３の後方画像ａ’の破線部分に示すように、移動物体９６の全体が含まれるような移動体領域（Ｍ）の画像が３面合成画像に合成される。このため、図１０に表されているように右側後方画像ｂ’や左側後方画像ｃ’に移動物体９６の一部が含まれていても、それらは３面合成画像においては後方画像ａ’から切り出した移動体領域（Ｍ）の画像によって隠されることとなり、違和感なく移動物体を表示することができる。また、３面合成画像は曲面Ｑ上に投影した画像として作成されるため、表示される移動物体９６の形状の歪みを少なくすることができる。

尚、本発明においては、以上に示した実施形態に限られず、目的、用途に応じて本発明の範囲内で種々変更した態様とすることができる。

１；後方モニタ、２１；後方カメラ、２２、２３；側後方カメラ、
３；画像作成手段、４；路面領域抽出手段、５；移動物体検出手段、６；移動体領域抽出手段、７；画像合成手段、８；表示手段、９１；車両。

Claims (4)

1. 車両の後方、右側後方及び左側後方の映像を表示する後方モニタであって、
   前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラと、
   前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を作成する画像作成手段と、
   前記後方画像から所定の路面領域を抽出する路面領域抽出手段と、
   前記後方画像から移動物体を検出すると共に、前記車両と前記移動物体との距離を検出する移動物体検出手段と、
   前記移動物体検出手段により移動物体が検出された場合には、前記移動物体との距離又はその変化に基づき、前記後方画像から前記移動物体の画像領域を移動体領域として抽出する移動体領域抽出手段と、
   前記右側後方画像と、前記左側後方画像と、前記後方画像における前記路面領域及び前記移動体領域の画像と、を合成して所定の曲面に投影した３面合成画像を作成する画像合成手段と、
   前記３面合成画像を表示する表示手段と、
   を備えることを特徴とする後方モニタ。
2. 前記移動体領域抽出手段は、前記移動物体検出手段により検出された前記移動物体との距離が所定値以下である場合、及び前記移動物体との距離が小さくなるように変化している場合に、前記移動体領域を抽出する請求項１記載の後方モニタ。
3. 前記移動物体検出手段は、前記後方画像からエッジを抽出し、そのエッジの強度に基づいて前記移動物体を検出する請求項１又は２に記載の後方モニタ。
4. 前記画像合成手段は、前記移動物体検出手段により検出された前記移動物体との距離に基づいて前記所定の曲面の曲率を変更する請求項１乃至３のいずれかに記載の後方モニタ。