JP2005223568A - 画像合成装置 - Google Patents

Abstract

【課題】 空間に存在する物体を表示しながら映像の境目がスムーズにつながって違和感のない合成映像を表示する。
【解決手段】 撮像手段により撮像した自車両周辺の映像に対して異なる変換処理を施し、単一の視点から見た複数の映像を生成して合成する。
【選択図】 図１

Description

本発明は、カメラで撮像した画像を異なる変換方式で処理して複数の画像を生成し、それらを一つの画像に合成する画像合成装置に関する。

平らな地面上の白線などをあたかも上空にある仮想視点から見たかのような画像に変換（地面を投影面とした視点変換）することによって、例えば白線で区分された駐車スペースと自車両との位置関係を分かりやすくした車両用画像処理装置が知られている（例えば、特許文献１参照）。
また、地面を撮像した画像を視点変換して地平線方向の画像を生成し、この画像を地面を撮像した画像と合成して表示するようにした監視システムが知られている（例えば、特許文献２参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００３−０９１７２０号公報 特開２００２−１２５２２４号公報

しかしながら、上述した前者の装置では地平線より上の映像が得られないため、カメラの位置よりも高い空間に出っ張っている木の枝などの障害物が表示されないという欠点がある。
後者の装置では上記のような空間に出っ張っている障害物を表示することができるが、合成される２つの画像のつなぎ目において映像がスムーズにつながらず、違和感がある。

本願請求項１の発明は、撮像手段により撮像した自車両周辺の映像に対して異なる変換処理を施し、単一の視点から見た複数の映像を生成して合成する。
また、本願請求項２の発明は、撮像手段により撮像した自車両周辺の映像に対して異なる変換処理を施し、仮想撮像手段により仮想的に撮像した映像と同等な複数の映像を生成して合成する。

本発明によれば、被写界の各領域に対してそれぞれ最適な映像変換処理を行うことができ、空間に存在する物体を表示しながら映像の境目がスムーズにつながって違和感のない合成映像を表示することができる。

図１は一実施の形態の構成を示す図である。カメラ１は車両後方のリヤーハッチなどに設置され、車両後方を撮像する。このカメラ１は地面と地平線と空とを撮像できる程度の広い画角を備えている。画像合成装置２はマイクロコンピューターのソフトウエア形態で構成される第１変換部２１、第２変換部２２および画像合成部２３を備え、カメラ１で撮像された映像に対して第１変換部２１と第２変換部２２とにより互いに異なる変換処理を施して単一の視点から見た２つの映像に変換し、画像合成部２３により一つの映像に合成する。モニター３は画像合成装置２で合成された画像を表示する。

次に、画像合成装置２による画像合成方法について説明する。図２は実カメラの撮像映像を仮想カメラの映像に変換する方法を説明するための図である。図において、実カメラは図１に示すカメラ１であり、仮想カメラ４は任意の位置および向きに配置された仮想的なカメラである。これらのカメラ１、４が存在する三次元空間を（Ｘ、Ｙ、Ｚ）とする。なお、仮想カメラ４は実カメラ１よりも高い位置に配置し、高い位置から地表面を見下ろすように配置するのが望ましい。実カメラ１はレンズ１ａと撮像素子１ｂを備え、レンズ１ａにより撮像素子１ｂの受光面に結像された被写体像を撮像素子１ｂにより電気信号に変換する。同様に、仮想カメラ４は仮想レンズ４ａと仮想撮像素子４ｂを備えており、仮想レンズ４ａにより仮想撮像素子４ｂの受光面に結像された被写体像（以下、仮想カメラ映像という）を仮想撮像素子４ｂにより電気信号に変換する。

図２において、ＲＣdは実カメラ１の向き（レンズ１ａの光軸方向）を示す方向ベクトルであり、ＶＣdは仮想カメラ４の向き（仮想レンズ４ａの光軸方向）を示す方向ベクトルである。また、ＲＣgrは地面上の１点Ｇ(Ｘg、Ｙg)からレンズ１ａを通って撮像素子１ｂの受光面へ入射する光の入射ベクトルを表し、ＶＣgrは地面上の１点Ｇ(Ｘg、Ｙg)から仮想レンズ４ａを通って仮想撮像素子４ｂの受光面へ入射する光の入射ベクトルを表す。さらに、ＲＣskは地平線よりも高い空間の１点（不図示）からレンズ１ａを通って撮像素子１ｂの受光面へ入射する光の入射ベクトルを表し、ＶＣskは地平線よりも高い空間の１点（不図示）から仮想レンズ４ａを通って仮想撮像素子４ｂの受光面へ入射する光の入射ベクトルを表す。

図３は一実施の形態の画像合成装置２で実行される処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。ステップ１において実カメラ１により撮像した映像を読み込む。続くステップ２で仮想カメラ４の映像を構成するピクセルの中から１つを選び、ステップ３〜１０の処理を行う。ステップ３〜１０では、仮想カメラ４の映像の各ピクセルに対応する実カメラ１の撮像素子１ｂの画素を演算により求め、対応する画素で検出した色や輝度の情報を対応する仮想カメラ４のピクセルにコピーする。なお、以下ではＳqr（ ）はルート関数を表し、Ｓqrt（ ）は二乗関数を表す。また、任意の三次元ベクトルＶのｘ、ｙ、ｚ軸の各要素をＶ.x、Ｖ.y、Ｚ.zと記述する。

ステップ３において仮想カメラ４の映像のピクセル（Ｘp、Ｙp）に光が入ってくる方向、すなわちピクセル（Ｘp、Ｙp）に対応する入射ベクトルＶＣを次の手順で求める。まず、ピクセル座標（Ｘp、Ｙp）の座標系を変換する。この実施の形態では演算の簡略化を図るためにカメラのレンズの中心から光が入射するものとし、そのために映像中央を原点とする座標系に変換する。すなわち、図４(ａ)に示す仮想カメラ映像の左上を原点とするピクセル座標（Ｘp、Ｙp）を、映像の中央を原点とするピクセル座標（Ｘpc、Ｙpc）に変換する。
Ｘpc＝Ｘp−（水平解像度／２） ・・・（１）、
Ｙpc＝−Ｙp＋（垂直解像度／２） ・・・（２）

次に、図５に示すように、仮想カメラ４の位置が三次元空間の座標（０．０．０）で、向き（仮想レンズ４ａの光軸方向）がＹ軸の＋方向（標準化された仮想カメラの向き）であると仮定し、その場合のピクセル（Ｘp、Ｙp）に対応する入射ベクトルＶＣ１、すなわちピクセル（Ｘp、Ｙp）に光が入射する方向を求める。
ｙ＝Ｓqr（Ｓqrt（Ｘpc／水平解像度＊受光面の水平寸法）＋Ｓqrt（Ｙpc／垂直解像度＊受光面の垂直寸法）） ・・・（３）、
α＝Ａrctan（Ｙpc／Ｘpc） ・・・（４）、
θ＝ｙ／レンズのｆ値 ・・・（５）、
ＶＣ１.x＝tan（θ）＊cos（α） ・・・（６）、
ＶＣ１.y＝１ ・・・（７）、
ＶＣ１.z＝tan（θ）＊sin（α） ・・・（８）
ここで、（５）式は仮想レンズ４ａの歪み分を近似する演算式である。また、（６）式は入射ベクトルＶＣ１のｘ軸成分を表し、（７）式は入射ベクトルＶＣ１のｙ軸成分を表し、（８）式は入射ベクトルＶＣ１のｚ軸成分を表す。

次に、算出した入射ベクトルＶＣ１を実際の仮想カメラ４の向きを考慮した方向に回転させる。すなわち、ＶＣ１をｙ軸周りに仮想カメラ４のロール角分だけ回転させて入射ベクトルＶＣ２を求める。また、入射ベクトルＶＣ２をｘ軸周りに仮想カメラ４のピッチ角分だけ回転させて入射ベクトルＶＣ３を求める。さらに、入射ベクトルＶＣ３をｚ軸周りに仮想カメラ４のヨー角分だけ逆回転させて入射ベクトルＶＣ４を求める。この入射ベクトルＶＣ４が、ピクセル（Ｘp、Ｙp）に対応する入射ベクトルＶＣである。

ステップ４で仮想カメラ映像のピクセル（Ｘp、Ｙp）に対応する入射ベクトルＶＣが地平線より上を向いているか否かを確認する。この一実施の形態では仮想カメラ映像のピクセル（Ｘp、Ｙp）に対応する入射ベクトルＶＣが地平線より上を向いているか（図２のＶＣsk）、下を向いているか（図２のＶＣgr）によって異なる画像変換処理を行う。上述したように、この一実施の形態では仮想カメラ映像の各ピクセルに対応する実カメラ１の撮像素子１ｂの画素を演算により求め、対応する画素で検出した色や輝度の情報を対応する仮想カメラ４のピクセルにコピーするが、仮想カメラ映像のピクセル（Ｘp、Ｙp）に入射する光が地平線より上から入射した場合と地平線より下から入射した場合とで、仮想カメラ映像のピクセル（Ｘp、Ｙp）に対応する実カメラ画素の演算方法を異なるものとする。

まず、入射ベクトルＶＣが地平線より上を向いている場合、すなわち仮想カメラ映像のピクセル（Ｘp、Ｙp）に入射する光が地平線より上から入射する場合はステップ５へ進む。ステップ５では仮想カメラ４の入射ベクトルＶＣを実カメラ１の入射ベクトルＲＣとする。つまり、仮想カメラ映像のピクセル（Ｘp、Ｙp）に入射する光が地平線より上から入射した場合は、仮想カメラ４の光の入射方向と同一の方向から光が入射する実カメラ１の画素に対応づけ、対応する実カメラ１の画素で検出した色や輝度の情報を仮想カメラ映像のピクセル（Ｘp、Ｙp）にコピーする。なお、このような画像変換処理をこの明細書では“画角変換”と呼ぶ。この画角変換処理は第２画像変換部２２で実行される。

一方、入射ベクトルＶＣが地平線より下を向いている場合、すなわち仮想カメラ４のピクセル（Ｘp、Ｙp）に入射する光が地平線より下から入射する場合は、従来から公知の地面を投影面とする“視点変換”を行う。つまり、仮想カメラ映像のピクセル（Ｘp、Ｙp）に入射する光が地面上のどの地点から発しているかを演算により求め、その地点Ｇの座標を（Ｘg、Ｙg、０）とした場合に、地点Ｇ（Ｘg、Ｙg、０）から発した光が実カメラ１のレンズ１ａを通って撮像素子１ｂ上のどの画素に入射するかを演算により求める。演算結果の画素の座標を（Ｘs、Ｙs）とした場合に、この画素（Ｘs、Ｙs）で検出した色や輝度の情報を対応する仮想カメラ映像のピクセル（Ｘp、Ｙp）にコピーする。なお、この視点変換処理は第１変換部２１で実行される。

入射ベクトルＶＣが地平線より下を向いている場合は視点変換を行うためにステップ６へ進み、仮想カメラ映像のピクセル（Ｘp、Ｙp）に対する入射ベクトルＶＣが地面に接触する地点Ｇ（Ｘg、Ｙg、０）を求める。つまり、仮想カメラ４の位置ＶＣpと入射ベクトルＶＣを基にピクセル（Ｘp、Ｙp）に写っている地面上の地点Ｇ（Ｘg、Ｙg、０）を求める。
三次元ベクトルＧ＝（Ｘg、Ｙg、０）＝ＶＣp−ＶＣ＊（ＶＣp.z／ＶＣ.z）
・・・（９）
続くステップ７で地点Ｇ（Ｘg、Ｙg、０）と実カメラ１の位置ＲＣpから入射ベクトルＲＣを求める。
ＲＣ＝Ｇ−ＲＣp ・・・（１０）

実カメラ１に対する入射ベクトルＲＣを演算後、ステップ８で入射ベクトルＲＣから光が入射する実カメラ１の撮像素子１ｂの画素（Ｘs、Ｙs）を次の手順で求める。まず、実カメラ１の向き（レンズ１ａの光軸方向）を考慮するため、入射ベクトルＲＣを、実カメラ１の位置を三次元空間の座標（０，０，０）とし、向きをＹ軸の＋方向とした場合の入射ベクトルになるように回転させる。最初に入射ベクトルＲＣをｚ軸周りに仮想カメラ４のヨー角分だけ回転させて入射ベクトルＲＣ１を求める。次に、入射ベクトルＲＣ１をｘ軸周りに仮想カメラ４のピッチ角分だけ逆回転させて入射ベクトルＲＣ２を求める。最後に、入射ベクトルＲＣ２をｙ軸周りに仮想カメラ４のロール角分だけ逆回転させて入射ベクトルＲＣ３を求める。

次に、実カメラ１の位置が座標（０，０，０）で向きがＹ軸の＋方向であると仮定し、入射ベクトルＲＣ３が入射する撮像素子１ｂ上の画素（Ｘsc、Ｙsc）を求める。なお、画素（Ｘsc、Ｙsc）は画面中央を原点とする座標である。
ＲＣ３n＝ＲＣ３n＊（１／ＲＣ３.y） ・・・（１０）、
θ＝Arctan（Ｓqr（Ｓqrt（ＲＣ３n.x）＋Ｓqrt（ＲＣ３n.z））） ・・・（１１）、
α＝Arctan（ＲＣ３n.z／ＲＣ３n.x） ・・・（１２）、
ｙ＝レンズ１ａのｆ値＊θ ・・・（１３）、
Ｙsc＝ｙ＊sin（α）＊垂直解像度／受光面の垂直寸法 ・・・（１４）、
Ｘsc＝ｙ＊cos（α）＊水平解像度／受光面の水平寸法 ・・・（１５）、
ここで、（１０）式はｙ軸方向の長さが１になるように調整するための演算式であり、（１３）式はレンズ１ａの歪みを近似するための演算式である。

最後に、画面中央を原点とする座標（Ｘsc、Ｙsc）を図４(ｂ)に示すように画面左上を原点とする座標に変換する。
Ｘs＝Ｘsc＋水平解像度／２ ・・・（１６）、
Ｙs＝−Ｙsc＋垂直解像度／２ ・・・（１７）

仮想カメラ４の映像のピクセル（Ｘp、Ｙp）に対応する実カメラ１の撮像素子１ｂの画素（Ｘs、Ｙs）を演算したらステップ９へ進み、仮想カメラ映像のピクセル（Ｘp、Ｙp）に実カメラ１の画像（Ｘs、Ｙs）で検出した色や輝度の情報を書き込む。ステップ１０において仮想カメラ映像のすべてのピクセルについて上述したステップ３〜９の処理を完了したか否かを確認し、未処理のピクセルがある場合はステップ３へ戻り、上述した処理を繰り返す。一方、全ピクセルに対して処理を完了したらステップ１１へ進む。ステップ１１では、仮想カメラ４の各ピクセルに対応する実カメラ１の画素から色や輝度の情報をコピーして作成した仮想カメラ映像をモニター３へ出力し、表示する。

図６に、実カメラ１の映像(ａ)と、地面を投影面とする視点変換を行った従来装置の映像(ｂ)と、上述した一実施の形態により合成した映像(ｃ)とを比較して示す。実カメラ１により撮像された映像図６(ａ)は周辺部が歪んでおり、自車の左右方向と後方の距離感がつかみにくい映像である。

一方、従来の装置により地面を投影面として視点変換を行った映像図６(ｂ)は、図６(ａ)に示すカメラ映像よりも周辺部の歪みが改善され、自車の左右方向の距離感はつかみやすくなるが、図７(ａ)に示すように、地面を投影面として視点変換を行うので地平線より上の像が欠落し、自車後方の距離感がつかみにくい映像である。

地面を投影面とする視点変換では地平線より上の映像が欠落するという欠点を補うために、上述した特許文献２には図７(ｂ)に示すようなお椀形状を投影面とした視点変換が提案されている。このお椀形状を投影面とした視点変換では、地平線より上の画像と下の画像が地平線の上下でスムーズにつながるが、歪みの少ない地表面の映像を得るために図７(ｂ)に示すように仮想カメラ４を実カメラ１よりも高い位置に設定するので、合成結果の映像上における地平線は不自然に低い位置に描かれてしまい、重要な地平線から下の映像が狭い範囲に圧縮されて見づらくなる。

これらの映像に対し一実施の形態の画像合成装置による映像図６(ｃ)は、地平線より下方から光が入射する仮想カメラ４のピクセルに対しては従来と同様に地面を投影面とする視点変換を行うとともに、地平線より上方から光が入射する仮想カメラ４のピクセルに対しては、同一方向から光が入射する実カメラ１の画素に対応づける画角変換を行うようにしたので、図７(ｃ)に示すように合成結果の映像における地平線が画面の中央付近の適当な位置になり、自然な映像が得られる。その上、周辺部の映像歪みが少なく左右方向の距離感がつかみやすい上に、地平線から上の映像が表示されて自車後方の距離感がつかみやすく、地平線における２つの映像のつなぎ目においても映像が自然につながっており、見やすい映像となっている。

このように一実施の形態によれば、実カメラ１により撮像した自車両周辺の映像に対して異なる変換処理を施し、仮想カメラ４により仮想的に撮像した自車両周辺の映像と同等な複数の映像を生成し、生成した複数の映像を合成して表示するようにしたので、被写界の各領域に対してそれぞれ最適な映像変換処理を行うことができ、空間に存在する物体を表示しながら映像の境目がスムーズにつながって違和感のない合成映像を表示することができる。

また、一実施の形態によれば、実カメラ１による撮像映像に対して異なる変換処理を施し、地平線より上の映像と地平線より下の映像を生成し、生成した地平線より上の映像と地平線より下の映像を合成して表示するようにしたので、周辺部の映像歪みが少なく左右方向の距離感がつかく、また、地平線から上の映像が表示されて自車後方の距離感がつかみやすい映像が得られる。

さらに、一実施の形態によれば、仮想カメラ４の映像の各ピクセルに入射する光が地面のどの地点から発しているかを演算するとともに、その地点から発した光が実カメラ１の撮像素子１ｂのどの画素に入射するかを演算し、当該画素で検出した色と輝度を対応する仮想カメラ４の映像のピクセルの色と輝度とする視点変換処理を行って地平線より下の映像を生成するとともに、仮想カメラ４の映像の各ピクセルに入射する光の入射方向と同一方向から光が入射する実カメラ１の撮像素子１ｂの画素を演算し、当該画素で検出した色と輝度を対応する仮想カメラ４の映像のピクセルの色と輝度とする画角変換処理を行って地平線よりも上の映像を生成するようにしたので、映像上の地平線が画面の中央付近の適当な位置になり、自然な映像が得られる。また、周辺部の映像歪みが少なく左右方向の距離感がつかみやすい上に、地平線から上の映像が表示されて自車後方の距離感がつかみやすく、地平線における２つの映像のつなぎ目においても映像が自然につながって見やすい映像が得られる。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、実カメラ１が撮像手段を、仮想カメラ４が仮想撮像手段を、第１画像変換部２１および第２画像変換部２２が画像変換手段を、画像合成部２３が画像合成手段を、モニター３が表示手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

なお、上述したした一実施の形態では１台のカメラ１で撮像した映像に対して視点変換処理と画角変換処理という２つの異なる変換処理を施し、同一視点から見た２枚の映像を生成して合成する例を示したが、複数のカメラで撮像した複数の映像に対して３種類以上の異なる変換処理を施し、同一視点から見た複数の映像を生成して合成してもよい。例えば、複数の画角や取り付け位置や向きが異なるカメラで地面または空あるいは両方を撮像し、それらの映像に対して３種類以上の画像変換処理を施して合成する。

また、上述した一実施の形態では１台のモニター３で合成した映像を表示する例を示したが、モニターの種類、台数、配置等は特に限定されるものではない。

さらに、上述した一実施の形態では地平線を境にして異なる画像変換処理を適用する例を示したが、異なる画像変換処理を適用する境界は正確に地平線とする必要はなく、多少上下してもそれに合わせて視点変換を行う際の仮想的な地面の高さを調整することにより、映像合成に対する影響を最少限にすることができる。

また、特開２００３−１１１０７４号公報に開示されているように、複数のカメラからの撮像領域が互いにオーバーラップする映像を入力とした場合の、オーバーラップ領域におけるカメラの選択方法は、「注目点」を「注目方向」と解釈することによって地平線より上方の画像変換にも応用することができる。つまり、例えば一つの注目方向に対し、同じ方向の映像を撮像しているカメラが複数台、存在する場合は、カメラ自体の向きがその注目方向に最も近いカメラを選ぶのがよい。また、他の方法として地平線に近い空の領域においては同じ方向の地平線より下で使用したのと同じカメラを選択することが考えられる。さらに、他の方法として、車両の進行方向を速度センサーやミッションの状態やステアリング角度から検出し、それに応じてカメラを選択したり、運転者のアイポイントにより近いカメラを選択することが考えられる。

一実施の形態の構成を示す図である。 実カメラの撮像映像を仮想カメラの映像に変換する方法を説明するための図である。 一実施の形態の画像合成装置で実行される処理を示すフローチャートである。 仮想カメラの映像上のピクセル（Ｘp、Ｙp）と実カメラの映像上の画素（Ｘs、Ｙs）との関係を示す図である。 仮想カメラが三次元空間の原点位置にあってＹ軸の＋方向を向いていると仮定した場合の、仮想カメラの映像上のピクセル（Ｘp、Ｙp）に対応する入射ベクトルを求める方法を説明する図である。 カメラで撮像した映像、地面を投影面とする視点変換による映像および一実施の形態による映像を示す図である。 地面を投影面とする視点変換、お椀形状を投影面とする視点変換および一実施の形態による視点変換を比較した図である。

符号の説明

１ 実カメラ
１ａ レンズ
１ｂ 撮像素子
２ 画像合成装置
３ モニター
４ 仮想カメラ
４ａ 仮想レンズ
４ｂ 仮想撮像素子
２１ 第１画像変換部
２２ 第２画像変換部
２３ 画像合成部

Claims (4)

1. 自車両周辺を撮像する撮像手段と、
   前記撮像手段により撮像した映像に対して異なる変換処理を施し、単一の視点から見た複数の映像を生成する画像変換手段と、
   前記画像変換手段により生成した複数の映像を合成する画像合成手段と、
   前記画像合成手段で合成した映像を表示する表示手段とを備えることを特徴とする画像合成装置。
2. 自車両周辺を撮像する撮像手段と、
   自車両周辺を撮像する仮想の撮像手段と、
   前記撮像手段により撮像した映像に対して異なる変換処理を施し、前記仮想撮像手段により仮想的に撮像した映像と同等な複数の映像を生成する画像変換手段と、
   前記画像変換手段により生成した複数の映像を合成する画像合成手段と、
   前記画像合成手段で合成した映像を表示する表示手段とを備えることを特徴とする画像合成装置。
3. 請求項２に記載の画像合成装置において、
   前記画像変換手段は、前記撮像手段による撮像映像に対して異なる変換処理を施し、地平線より上の映像と地平線より下の映像を生成し、
   前記画像合成手段は、前記画像変換手段により生成した地平線より上の映像と地平線より下の映像を合成することを特徴とする画像合成装置。
4. 請求項３に記載の画像合成装置において、
   前記画像変換手段は、前記仮想撮像手段の映像の各ピクセルに入射する光が地面のどの地点から発しているかを演算するとともに、その地点から発した光が前記撮像手段の撮像素子のどの画素に入射するかを演算し、当該画素で検出した色と輝度を対応する前記仮想撮像手段の映像のピクセルの色と輝度とする第１の変換処理を行って地平線より下の映像を生成するとともに、前記仮想撮像手段の映像の各ピクセルに入射する光の入射方向と同一方向から光が入射する前記撮像手段の撮像素子の画素を演算し、当該画素で検出した色と輝度を対応する前記仮想撮像手段の映像のピクセルの色と輝度とする第２の変換処理を行って地平線よりも上の映像を生成することを特徴とする画像合成装置。

Images