JP2008042664A - 画像表示装置 - Google Patents

Abstract

【課題】揺れに応じて画像同士の接合領域における画質を補正することができる画像表示装置を提供する。
【解決手段】画像表示装置１０は、車体１１に、カメラ１２ａ〜１２ｄ、画像入力装置１４、視点変換装置１６、センサ１８、映像合成装置２０、パラメータ情報格納部２８、映像出力装置３０、ディスプレイ３２を備えている。映像合成装置２０内には、オフセットマップ生成部２２、オフセットマップ付接合処理部２４、接合フィルタ処理部２６を含む。オフセットマップ生成部２２がセンサ１８が検出した揺れに応じて画像同士の接合境界における計算対象領域を設定し、映像合成装置２０のオフセットマップ付接合処理部２４及び接合部フィルタ処理部２６は、当該計算対象領域における画像の画質が均一になるように画像の補正を行うため、揺れに応じて画像同士の接合領域における画質を補正することができる。
【選択図】図１

Description

本発明は画像表示装置に関し、特に、複数の撮像手段により得られた複数の画像を合成して表示する画像表示装置に関するものである。

従来、複数のカメラによって同時に複数の撮像を行い、得られた撮像画像を互いに繋ぎ合わせて合成し、パノラマ映像を表示する手法や一画面内に並べて表示する手法が提案されている。例えば、特許文献１では、合成した画像の画質が均一となるようにカメラの画質パラメータを制御する画質制御手段を備えた画像表示装置が提案されている。
特開２００１−３２０６１６号公報

しかしながら、上記の技術では、画像表示装置を車両に搭載した場合に、車両の走行状態等によって車両が揺れるため、画像同士の接合領域における画質にズレが生じ、ドライバーに違和感を与える画像を表示してしまう場合がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、揺れに応じて画像同士の接合領域における画質を補正することができる画像表示装置を提供することにある。

本発明は、複数の撮像手段により得られた複数の画像を合成して表示する画像表示装置において、撮像手段の揺れを検出する揺れ検出手段と、画像同士の接合境界における計算対象領域を設定する計算対象領域設定手段と、計算対象領域設定手段が設定した計算対象領域における画像の画質が均一になるように画像の補正を行う補正手段と、を備え、計算対象領域設定手段は、揺れ検出手段が検出した揺れに応じて計算対象領域を設定することを特徴とする。

この構成によれば、計算対象領域設定手段は、揺れ検出手段が検出した揺れに応じて画像同士の接合境界における計算対象領域を設定し、補正手段は、当該計算対象領域における画像の画質が均一になるように画像の補正を行うため、揺れに応じて画像同士の接合領域における画質を補正することができる。

この場合、計算対象領域設定手段は、揺れ検出手段が検出した揺れが大きいほど、計算対象領域を大きく設定することが好適である。

画像同士の接合境界における画質のズレは揺れが大きくなるほど大きくなるが、この構成によれば、計算対象領域設定手段は、揺れ検出手段が検出した揺れが大きいほど、画像の補正を行う計算対象領域を大きく設定するため、揺れに応じて画像同士の接合領域における画質を一層滑らかに補正することができる。

本発明の画像表示装置によれば、揺れに応じて画像同士の接合領域における画質を補正することができる。

以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。

図１は、実施形態に係る画像表示装置の構成を示すブロック図である。図１に示すように、本実施形態の画像表示装置１０は、車体１１に、カメラ（撮像手段）１２ａ〜１２ｄ、画像入力装置１４、視点変換装置１６、センサ（揺れ検出手段）１８、映像合成装置（補正手段）２０、パラメータ情報格納部２８、映像出力装置３０、ディスプレイ３２を備えている。映像合成装置２０内には、オフセットマップ生成部（計算対象領域設定手段）２２、オフセットマップ付接合処理部２４、接合フィルタ処理部２６を含む。

カメラ１２ａ〜１２ｄは、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた単眼カメラであり、比較的に広角なレンズまたは魚眼レンズが装着されている。図２は、実施形態に係るカメラの配置の例を示す斜視図である。図２に示すように、この例では、魚眼レンズが装着された４台のカメラ１２ａ〜１２ｄが、車体１１の前後左右側にそれぞれ一台ずつ設置されており、車体１１の全周囲を撮像して確認することができるようにされている。

図１に戻り、画像入力装置１４は、カメラ１２ａ〜１２ｄのカメラ映像を取得する。画像入力装置１４は、実際には、ある一定周期（カメラ情報のフレーム更新速度（ｆｐｓ））毎に非同期に任意のタイミングでフレームの画像を取得する。

視点変換装置１６は、例えば、特開２００３−９１７２０号公報、特開２００２−１６６８０２号公報、特許第３３００３３４号公報等に記載の手法を用いて、画像入力装置１４が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うためのものである。

図３は、実施形態に係る視点変換原理を示す図である。図３において、実際のカメラの視点をｐｃ、変換先となる仮想視点をｐｉとする。それぞれの焦点距離をｆｃ、ｆｉとすると、それぞれの画像は、視点から焦点距離だけ離れた平面Ｐｃ、Ｐｉで交わる点上に決像した投影画像である。例えば、各物体上の任意の点の平面Ｐｃ上に投影された画像ポイントは、その物体上の任意の点と視点とを結んだ線と、平面Ｐｃとの交点である。

ここで、カメラで取得した画像中の画像ポイントＸｃを仮想画像面Ｐｉ上のＸｉへと変換する場合について考える。このＸｃに撮像されている物体が実際に地上平面Ｐｗ上に存在すると仮定すると、その平面Ｐｗ上の位置Ｘｗは、視点ｐｃと平面Ｐｃ上の点Ｘｃとを結んだ線を延長して平面Ｐｗと交差する点となる。これより、このＸｗと仮想視点Ｐｉとを結ぶ線と、仮想画面Ｐｉとの交点が、仮想画面Ｐｉ上へと画像ポイントＸｃを変換した位置Ｘｉとなる。このような原理に基づいて本実施形態の視点変換装置１６では、カメラ１２ａ〜１２ｄのカメラ映像を、平面視の画像に変換する。本実施形態では、視点変換装置１６で視点変換後に、映像合成装置２０で画像の輝度正規化を実施するが、その順番は逆でもかまわない。

センサ１８は、ピッチセンサ（ジャイロセンサ）及びハイトセンサ（ジャイロセンサで兼ねても良い）から構成されている。ピッチセンサは車両の前後方向の傾きを計測する。ハイトセンサは車両の高さ方向の変化を計測する。

映像合成装置２０は、画像同士の接合境界における計算対象領域を設定し、設定した計算対象領域における画像の画質が均一になるように画像の補正を行うためのものである。

オフセットマップ生成部２２は、個々の接合領域の画素情報を元に、画像同士の接合境界における計算対象領域を設定し、合成処理の基本となるオフセットマップを生成する部分である。

オフセットマップ付接合処理部２４は、オフセットマップ生成部２２で生成したオフセットマップを接合領域付近に適用し、接合領域付近が滑らかになるような画像を生成する部分である。

接合部フィルタ処理部２６は、接合境界をより目立たなくさせるために、境界除去フィルタを適用する部分である。

パラメータ情報格納部２８は、画像合成処理に使用するオフセットマップのサイズ、オフセットマップの計算方法等のパラメータを格納するためのメモリ、ハードディスク等である。パラメータ情報は、画像表示装置１０のアルゴリズム実行前に予めパラメータ情報格納部２８に格納されている。

映像出力装置３０は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。

ディスプレイ３２は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ３４には、液晶モニタやナビゲーション用モニタを適用することができる。

次に、図４を参照して、本実施形態の画像表示装置１０の動作について説明する。図４は、実施形態に係る画像表示装置の動作を示すフロー図である。図４に示すように、ステップＳ１では、カメラ１２ａ〜１２ｄから画像入力装置１４によって、画像表示装置１０のシステム内に画像を取り込む。画像取得のタイミングは、全てのカメラ１２ａ〜１２ｄの同期を取って取得することが望ましく、画像取得の速度はリアルタイムに近いものとするため、３０ｆｐｓ以上であることが望ましい。

ステップＳ２では、視点変換装置１６が、ステップＳ１においてカメラ１２ａ〜１２ｄから取得した４枚の画像を、上述した特開２００２−１６６８０２号公報等に記載されている手法によって、初期セットアップ情報格納部１８に格納されている情報を用いて視点変換を行う。本実施形態においては、仮想視点を車両上空に設定し、あたかも車両の真上から自車両を見ているように視点変換を行う。

ステップＳ３では、映像合成装置２０のオフセットマップ生成部２２が、オフセットマップを生成する。以下、オフセットマップ生成の手順について説明する。

（１）計算対象領域の設定
まず、オフセットマップ生成の基準となるデータを計算する計算対象領域を決定する。本実施形態では図２に示したように、車体１１の前後左右に、広角（魚眼）レンズ付きのカメラ１２ａ〜１２ｄを搭載した場合の画像同士の接合について説明する。

図５（ａ）（ｂ）は、計算対象領域の設定方法を示す図である。図５（ａ）に示すように、前方画像Ｆ、左方画像ＬＳ、右方画像ＲＳ及び後方画像Ｒの前方接合境界ＦＢ及び後方接合境界ＲＢ付近に４つの重畳領域Ｌが形成される。重畳領域Ｌ付近において、前方画像Ｆ、左方画像ＬＳ、右方画像ＲＳ及び後方画像Ｒには、計算対象領域Ａ_１−１〜Ａ_４−２が合計８箇所設定され、重畳領域Ｌと計算対象領域とが合わさって俯瞰画像同士の接合領域をなす。以下に８箇所の計算対象領域を示す。
前方画像Ｆの左方領域：計算対象領域Ａ_１−１
左方画像ＬＳの前方領域：計算対象領域Ａ_１−２
前方画像Ｆの右方領域：計算対象領域Ａ_２−１
右方画像ＲＳの前方領域：計算対象領域Ａ_２−２
後方画像Ｒの左方領域：計算対象領域Ａ_３−１
左方画像ＬＳの後方領域：計算対象領域Ａ_３−２
後方画像Ｒの右方領域：計算対象領域Ａ_４−１
右方画像ＲＳの後方領域：計算対象領域Ａ_４−２

図５（ｂ）に右側のみを拡大して示すように、８個の計算対象領域は、重畳領域Ｌごとに組をなして、計算対象領域Ａ_１−１，Ａ_１−２同士、計算対象領域Ａ_２−１，Ａ_２−２同士、計算対象領域Ａ_３−１，Ａ_３−２同士、計算対象領域Ａ_４−１，Ａ_４−２同士が組みとなり、合計で４組の計算対象領域が設定される。図５（ｂ）に示すように、右方画像ＲＳの計算対象領域Ａ_２−２，Ａ_４−２は、前方画像Ｆ及び後方画像Ｒとの重畳領域Ｌよりも少し大きめに設定される。前方画像Ｆ、後方画像Ｒ及び左方画像ＬＳのそれぞれの計算対象領域についても同様である。計算対象領域の大きさは、俯瞰画像同士の接合領域の許容ずれ量を基にして求める。例えば、１ピクセルの実寸が２ｃｍのとき、その許容ずれ量を２ｃｍとした場合は、１ピクセル分だけ俯瞰画像同士の重畳領域Ｌよりも計算対象領域Ａを大きめに領域設定をする。図５（ｂ）の例では、俯瞰画像同士の重畳領域Ｌよりもｎピクセルだけ計算対象領域Ａ_２−２，Ａ_４−２を大きめに設定しており、例えば、ｎ＝２とすることができる。

本実施形態においては、車両の揺れに応じて計算対象領域を設定する。以下、車両の揺れに応じて計算対象領域を設定する手法について説明する。前提として、カメラ１２ｂ，１２ｃとセンサ１８とを車体１１に備えた車両の車両座標系を図６に示すように定義する。簡単のため、センサ１８中のピッチセンサ及びハイトセンサの設置高さはカメラ１２ｂ，１２ｃの設置高さと同じであると仮定する。また、車両基準姿勢における前方画像Ｆ、左方画像ＬＳ、右方画像ＲＳ及び後方画像Ｒの接合は、図７に示すように設定する。さらに、車両基準姿勢における車両座標系を、図８に示すように定義する。図８中で、ＦＬは原点０から前方接合境界ＦＢまでの距離を、ＲＬは原点０から後方接合境界ＲＢまでの距離を、Ｈは基準面Ｐからカメラ１２ｂ，１２ｃとセンサ１８の設置点Ｃの設置高さをそれぞれ示すものとする。なお、座標系の長さの単位は全てｍｍとする。

図９は、計算対象領域の設定における揺れの影響を計算する手順を示すフロー図である。図９に示すように、ステップＳ３０１において、センサ１８のジャイロセンサから出力されるＨ方向成分の振動数Ｆを、車載ネットワークを通して受信する。

次に、ステップＳ３０２では、図１０に示すように、センサ１８のピッチセンサにより出力されるピッチ変動角θを、車載ネットワークを通じて受信し、車両のピッチ変動による車両基準姿勢に対する俯瞰画像同士の接合部分のズレ量ΔＦＬ１（ＦＬのズレ量），ΔＲＬ１（ＲＬのズレ量）を計算する。ΔＦＬ１，ΔＲＬ１はそれぞれ下式（１）及び下式（２）によって算出できる。

次に、ステップＳ３０３では、図１１に示すように、センサ１８のハイトセンサ（ジャイロセンサでも良い）により出力される高さ変動ΔＨを、車載ネットワークを通じて受信し、車両の高さ変動による車両基準姿勢に対する俯瞰画像同士の接合部分のズレ量ΔＦＬ２（ＦＬのズレ量），ΔＲＬ２（ＲＬのズレ量）を計算する。ΔＦＬ２，ΔＲＬ２はそれぞれ下式（３）及び下式（４）によって算出できる。

車体１１の揺れによる各画像の接合部のズレ量は、上記ステップＳ３０２及びステップＳ３０３において算出した結果をそれぞれ考慮しなくてはならない。そこでステップＳ３０４では、これらを考慮に入れたズレ量ΔＦＬ（ＦＬのズレ量），ΔＲＬ（ＲＬのズレ量）を計算する。ΔＦＬ，ΔＲＬはそれぞれ下式（５）及び下式（６）によって算出できる。

ΔＦＬ及びΔＲＬは車両に対する実寸であるため、実際に適用する場合は、画像の画素ピッチから画素数に換算する必要がある。画素ピッチをΔＰ（ｍｍ／pixel）とすると、画素数に換算したズレ量ΔＦＬ_ｐ（ＦＬのズレ量）及びΔＲＬ_ｐ（ＲＬのズレ量）はそれぞれ下式（７）及び下式（８）によって算出できる。

図１２（ａ）〜（ｃ）はズレ量による計算対象領域の変化を示す図であり、図５に示した計算対象領域のズレ量の変化を示す。図１２（ａ）に示すように、車両基準姿勢のときは、計算対象領域Ａ_１−２，Ａ_２−２のサイズは、Ｍ×（Ｎ＋ｎ）ピクセルとなる。これに対し、図１２（ｂ）に示すように、ズレ量ΔＦＬ_ｐが正値のときは、計算対象領域Ａ’_１−２，Ａ’_２−２のサイズは、車体１１の前方側にΔＦＬ_ｐだけ大きいＭ×（Ｎ＋ｎ＋ΔＦＬ_ｐ）ピクセルとなる。一方、図１２（ｃ）に示すように、ズレ量ΔＦＬ_ｐが負値のときは、計算対象領域Ａ”_１−２，Ａ”_２−２のサイズは、車体１１の後方側にΔＦＬ_ｐだけ大きいＭ×（Ｎ＋ｎ＋ΔＦＬ_ｐ）ピクセルとなる。前方画像Ｆ、後方画像Ｒ及び左方画像ＬＳのそれぞれの計算対象領域についても同様とする。

なお、ズレ量ΔＦＬ_ｐ，ΔＲＬ_ｐについて、式（７）及び式（８）で計算した結果をそのまま使用して計算対象領域が大きくなりすぎると、後述するオフセットマップの基準データが本実施形態の画像表示装置１０のアルゴリズムにとって好ましくない値をとることがあり得る。その場合は、式（７）及び式（８）の結果をベースにサイズ調整を行う。例えば、式（７）及び式（８）による計算結果のサイズの１／２，１／４のように決定して適切な値をとる方が良い。

（２）オフセットマップ生成基準データＤの計算
ｉ）各領域組の画素輝度平均値の差Ｄ_ｎを求める。
上述したように設定した計算対象領域Ａ_１−１〜Ａ_４−２について、計算対象領域Ａ_１−１，Ａ_１−２同士、計算対象領域Ａ_２−１，Ａ_２−２同士、計算対象領域Ａ_３−１，Ａ_３−２同士、計算対象領域Ａ_４−１，Ａ_４−２同士の領域組ごとに基準データを計算する。例えば、計算対象領域Ａ_１−１，Ａ_１−２同士の組では、計算対象領域Ａ_１−１の画素平均値Ｐ_１Ａ、計算対象領域Ａ_１−２の画素輝度平均値Ｐ_１Ｂを夫々計算し、下式（９）のように、その平均値の差Ｄ_１を求める。同様にして、計算対象領域Ａ_２−１，Ａ_２−２同士、計算対象領域Ａ_３−１，Ａ_３−２同士、計算対象領域Ａ_４−１，Ａ_４−２同士の領域組についても、平均値の差Ｄ_２〜Ｄ_４を求める。

ｉｉ）基準データの代表を決定する。
上記４組の領域で求めた値からオフセットマップ生成基準データＤを選択する。基準データの代表としては、ａ案：「Ｄ_１〜Ｄ_４のいずれかを選択する」、ｂ案：「Ｄ_１〜Ｄ_４の平均値を代表値とする」、ｃ案：「Ｄ_１〜Ｄ_４の最小値を代表値とする」、ｄ案：「Ｄ_１〜Ｄ_４の最大値を代表値とする」、ｅ案：「Ｄ_１〜Ｄ_４の値をそれぞれの領域の代表値とする」のいずれかの案を採用することが可能である。本実施形態では、カメラ１２ａ〜１２ｄの撮像画像の画素輝度分布が正規化され、一様の輝度分布であることを前提としているため、ｂ案：「Ｄ_１〜Ｄ_４の平均値を代表値とする」を採用する。もし、ｅ案：「Ｄ_１〜Ｄ_４の値をそれぞれの領域の代表値とする」を採用する場合は、各カメラ１２ａ〜１２ｄでの画素輝度を個別に正規化する。その他の案は、各カメラ１２ａ〜１２ｄでの画素輝度分布がある程度正規化されている状態で使用するとよい。どの案を選択するかは、パラメータ情報格納部２８に予め格納する。

（３）オフセットマップ生成
前後左右の接合領域に対してそれぞれオフセットマップを生成する。本実施形態では、各カメラ１２ａ〜１２ｄでの撮像画像の画素輝度分布が正規化され、一様の輝度分布であることを前提にしているため、左右一対のオフセットマップを作成し、それを左右対称に反転し、もう一方のオフセットマップを生成する。以下、例として左前方のオフセットマップを生成する手順を説明する。

ｉ）マップサイズと適用位置の決定
図１３に示すように、マップサイズは図５の計算対象領域Ａ_１−２の横幅Ｍピクセルを固定とし、オフセットマップの適用位置における前後左右及び中心Ｃ_ｐを決定する。Ｌ方向座標において、中心Ｃ_ｐを前方接合境界ＦＢ上に配置するようにｌ１を設定する。Ｌ方向座標に関するｌ１及びＷ方向座標に関するｗ１については、パラメータ情報格納部２８に予め格納されており、この情報を用いてオフセットマップサイズと適用位置を決定する。

ｉｉ）オフセットの決定
パラメータ情報格納部２８に格納されているオフセットマップ計算方法に従ってオフセットマップの輝度分布を決定する。オフセットマップ計算方法については、ａ−１：「縦方向線形」、ａ−２：「左右方向線形」、ｂ：「非線形」を選択でき、特にｂ：「非線形」の場合は、非線形の種類を何種類か登録できるものとする。登録は、「ｎ次曲線」、「不連続曲線」、「前後左右がそれぞれ独立した曲線あるいは直線」でオフセットを決定できるものとする。本実施形態では、ａ−１：「縦方向線形」を適用し、前後方画像と左右方画像との重ね合わせ比率を１００：０とした場合の例を示す。

図１４に示すように計算対象領域Ａ_１−２の輝度分布は解析される。これより、ａ−１：「縦方向線形」でオフセットを求める場合、オフセットマップの輝度分布は図１５及び図１６に示すようになる。

図１５に示すように、接合部分を滑らかにするために、Ｄ≧０の場合は、オフセットマップ中心Ｃ_ｐのＬ方向座標からＬ−１までを線形に単調増加させるようなオフセット値を求める。図１６に示すように、Ｄ＜０の場合は、０からオフセットマップ中心Ｃ_ｐのＬ方向座標までを線形に単調増加させるようなオフセット値を求める。これを全てのＷ座標について実施することで、オフセットマップを作成する。図１７及び１８は、あるカラープレーン（例えば、ＲＢＧのＲだけ、グレースケールの場合は１プレーン）のオフセットマップＯＭを示したものである。

本実施形態では、前方左側部分の接合領域のオフセットマップを求めたが、前方右側部分は本オフセットマップＯＭを左右反転させたものを使用すれば、同じ条件のオフセットマップが作成できる。後方の接合領域についても同様の方法でオフセットマップを作成することができる。尚、

前方画像Ｆ及び後方画像Ｒ：左右画像の重ね合わせ比率をＵ：Ｖとした場合は、Ｄ’＝Ｄ×Ｕ／１００としてオフセットマップ生成基準データを修正すればよい。

ステップＳ４では、映像合成装置２０のオフセット付接合処理部２４が、ステップＳ３で求めたオフセットマップＯＭを各接合領域に対して適用する。前後方画像と左右方画像との重ね合わせ比率をＵ：Ｖとした場合は、前後方画像と左右方画像とで完全に領域が重なる部分については、Ｕ：Ｖでαブレンディング等の処理を行えばよい。

次に、図１９に示すように、計算領域Ａ_２−１にオフセットマップＯＭを適用し、αブレンディング等で合成した画像の画素値Ｐ（ｘ，ｙ）に対して、オフセットマップが適用される領域に対して、マップのオフセットマップの各値ＯＭ（ｍ，ｎ）を各画素ごとに加算していく。

ステップＳ５では、図２０に示すように、映像合成装置２０の接合部フィルタ処理部２６が、ステップＳ４でオフセットマップを適用した画像に対して、接合境界をできるだけ目立たなくするようにフィルタ処理を行う。そのため、接合部フィルタの効果としては、できるだけ接合境界に沿った方向のエッジとその周囲をぼかし、それ以外の部分は原画像に近い画像になるようにするフィルタを適用する。そのような効果をもつフィルタとしては、ガウシアンフィルタ、ローパスフィルタ、荷重平均フィルタ、ｋ最近隣平均フィルタ、またはオリジナルのフィルタ等を採用することが可能であるが、本実施形態では可変加重平均フィルタを適用する。

可変加重平均フィルタは、エッジや線のような大きな濃度変換はそのまま保存し、微小な輝度変化のみを選択的に平滑化しようとするフィルタである。３×３の可変加重平均フィルタは、下式（１０）〜（１２）で表わされる。

ｈ（ｋ，ｌ）はσが重み係数を決定するが、式（１２）から判るように、σは中心画素と（ｋ，ｌ）だけ離れたが、その輝度差の逆数であるため、輝度差が小さければ重み係数は大きくなるが、輝度差が大きくなると重み係数は小さくなり、大きく輝度が変化する箇所では、その輝度変化の影響が中心画素に及ばなくなる特徴をもつ。

本実施形態では、３×３の可変加重平均フィルタを前方接合境界Ａ_１−２付近に２列適用する。図２１（ａ）（ｂ）は、接合境界付近にフィルタ処理を行う手順を示す図である。図２１（ａ）（ｂ）では、前方画像Ｆと左方画像ＬＳとの前方接合境界ＦＢに対してフィルタ処理を行う様子を示している。図２１（ａ）に示すように、まず、前方接合境界ＦＢにフィルタｆａをＷ方向に１画素ずつずらしながら適用する。次に、図２１（ｂ）に示すように、フィルタｆａをＬ方向に１画素だけ適用箇所をずらした後、フィルタｆａをＷ方向に１画素ずつずらしながら適用する。このように、本処理では、各画像の重複領域のみならず、重複領域以外でかつ接合境界付近の画素情報も一部も利用して俯瞰画像合成処理を実現している。

ステップＳ６では、映像出力装置３２が、ステップＳ５で生成した合成画像をビデオ信号等に変換して、ディスプレイ３２に出力する。

ステップＳ７では、車両のエンジンの停止等により、画像表示装置１０の動作を終了する。

本実施形態によれば、映像合成装置２０のオフセットマップ生成部２２がセンサ１８が検出した揺れに応じて画像同士の接合境界における計算対象領域を設定し、映像合成装置２０のオフセットマップ付接合処理部２４及び接合部フィルタ処理部２６は、当該計算対象領域における画像の画質が均一になるように画像の補正を行うため、揺れに応じて画像同士の接合領域における画質を補正することができる。

また、本実施形態によれば、映像合成装置２０のオフセットマップ生成部２２が、センサ１８が検出した揺れが大きいほど、画像の補正を行う計算対象領域を大きく設定するため、揺れに応じて画像同士の接合領域における画質を一層滑らかに補正することができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。

実施形態に係る画像表示装置の構成を示すブロック図である。 実施形態に係るカメラの配置を示す斜視図である。 実施形態に係る視点変換原理を示す図である。 実施形態に係る画像表示装置の動作を示すフロー図である。 （ａ）（ｂ）は計算対象領域の設定方法を示す図である。 車両座標系を示す図である。 各画像の接合を示す平面図である。 車両の基準姿勢時の映像の接合境界を示す側面図である。 計算対象領域の設定における揺れの影響を計算する手順を示すフロー図である。 基準姿勢に対してピッチ角がθ変化した場合の接合境界のズレ量を示す側面図である。 基準姿勢に対して高さがΔＨ変化した場合の接合境界のズレ量を示す側面図である。 （ａ）〜（ｃ）はズレ量による計算対象領域の変化を示す図である。 オフセットマップ生成時における計算対象領域内の座標系の定義を示す図である。 計算領域内の輝度分布を示す図である。 輝度Ｄ＞０の場合のオフセットマップの輝度分布を示すグラフ図である。 輝度Ｄ＜０の場合のオフセットマップの輝度分布を示すグラフ図である。 輝度Ｄ＞０の場合のオフセットマップを示す図である。 輝度Ｄ＜０の場合のオフセットマップを示す図である。 計算領域にオフセットマップを適用した様子を示す図である。 接合境界付近にフィルタ処理を行った様子を示す図である。 （ａ）（ｂ）は、接合境界付近にフィルタ処理を行う手順を示す図である。

符号の説明

１０…画像表示装置、１１…車体、１２a，１２b，１２ｃ，１２ｄ…カメラ、１４…画像入力装置、１６…視点変換装置、１８…センサ、２０…映像合成装置、２２…オフセットマップ生成部、２４…オフセット付接合処理部、２６…接合部フィルタ処理部、２８…パラメータ情報格納部、３０…映像出力装置、３２…ディスプレイ、Ａ…計算領域、ＯＭ…オフセットマップ。

Claims (2)

1. 複数の撮像手段により得られた複数の画像を合成して表示する画像表示装置において、
   前記撮像手段の揺れを検出する揺れ検出手段と、
   前記画像同士の接合境界における計算対象領域を設定する計算対象領域設定手段と、
   前記計算対象領域設定手段が設定した計算対象領域における画像の画質が均一になるように画像の補正を行う補正手段と、
   を備え、
   前記計算対象領域設定手段は、前記揺れ検出手段が検出した揺れに応じて前記計算対象領域を設定する画像表示装置。
2. 前記計算対象領域設定手段は、前記揺れ検出手段が検出した揺れが大きいほど、前記計算対象領域を大きく設定する、請求項１に記載の画像表示装置。
   

Images