JP2009101718A - 映像表示装置及び映像表示方法 - Google Patents

Abstract

【課題】互いの相対位置関係が変化する複数のカメラを用いても、所定の視点からの映像を表示することができる映像表示装置及び映像表示方法を提供する。
【解決手段】固定カメラＡによる撮影と移動カメラＢによる撮影が行われ、相対位置算出部１により、移動体Ｕの位置情報を得るためのセンサから入力された検出信号に基づいて移動体Ｕの現在位置及び向きが把握されると共にこの移動体Ｕの現在位置及び向きと固定カメラＡが設置されている所定の場所との比較により固定カメラＡに対する移動カメラＢの相対位置関係が算出される。この相対位置関係に基づいて固定カメラＡによる映像と移動カメラＢによる映像とが、映像合成部２により一つに合成され、仮想の視点Ｐからの合成映像がモニタ３に表示される。
【選択図】図１

Description

この発明は、映像表示装置及び映像表示方法に係り、特に複数のカメラからの映像を合成して表示する装置及び方法に関する。

特許文献１には、互いに異なる位置に配置された複数のカメラにより被写体を撮影し、これら複数のカメラにより得られた複数の画像を用いて、各カメラの位置とは異なる視点から見た仮想の撮像画像を生成するカメラシステムが提案されている。各カメラによる撮像画像中の被写体の３次元位置座標を得て、その座標に基づき任意の視点から見た画像が再構成される。

特開平９−１１４９７９号公報

しかしながら、特許文献１のシステムでは、それぞれ位置が固定された複数のカメラによる撮像画像を用いて視点の異なる仮想の画像を生成するため、例えば、駐車スペースに車両を駐車する際において、運転操作のしやすい俯瞰映像等の仮想の映像を生成しようとすると、駐車スペース側に位置が固定された複数のカメラを設置する必要が生じる。これでは、複数のカメラの設置場所を確保しなければならず、複数のカメラの設置の費用が嵩み、複数のカメラの設置に手間を要する、といった問題を来すこととなる。
近年、運転の安全性、操作性を高める目的で、車両の後方や側方を撮影するためのカメラを車両に搭載し、このカメラからの映像を、例えば車両後退時に運転席に配置されたモニタに表示するものが使用されつつある。
このような車両に搭載されたカメラを活用し、駐車スペース側に一つの固定カメラだけを設置して俯瞰映像等を生成することができれば、容易に且つ安価に駐車時における運転操作がしやすくなるが、車両の移動に伴って、車両に搭載されたカメラと駐車スペース側の固定カメラとの相対位置関係が変化するため、特許文献１のシステムでは、俯瞰映像等の生成が困難である。

この発明は、このような従来の問題点に鑑みてなされたものであり、互いの相対位置関係が変化する複数のカメラを用いても、所定の視点からの映像を表示することができる映像表示装置及び映像表示方法を提供することを目的とする。

この発明に係る映像表示装置は、互いの相対位置関係が変化する複数のカメラと、複数のカメラの互いの相対位置関係を算出する相対位置算出部と、相対位置算出部で算出された相対位置関係に基づいて複数のカメラからの映像を互いに合成することにより所定の視点からの映像を作成する映像合成部と、映像合成部で作成された映像を表示するモニタとを備えたものである。

複数のカメラとしては、少なくとも一つの移動カメラと少なくとも一つの固定カメラを用いることができる。あるいは、複数のカメラが、それぞれ移動カメラから構成されていてもよい。
また、少なくとも一つの特徴点を有する固定目標が予め所定の固定位置に設置され、相対位置算出部が、移動カメラにより撮影された固定目標の画像に基づいて固定目標を基準とした移動カメラの位置パラメータを算出し、算出された位置パラメータに基づいて他のカメラに対する移動カメラの相対位置関係を算出するように構成することもできる。この場合、固定目標としては、所定形状のマークを用いることができる。
映像合成部は、所定の視点からの映像として複数のカメラの視点とは異なる仮想の視点からの映像、例えば俯瞰映像を作成することができる。あるいは、映像合成部は、所定の視点からの映像として複数のカメラのうちいずれか一つのカメラの視点から見ると共に死角領域に映像を追加して映像を作成することもできる。

この発明に係る映像表示方法は、互いの相対位置関係が変化する複数のカメラの互いの相対位置関係を算出し、算出された相対位置関係に基づいて複数のカメラからの映像を互いに合成することにより所定の視点からの映像を作成し、作成された所定の視点からの映像を表示する方法である。

この発明によれば、相対位置算出部により複数のカメラの互いの相対位置関係が算出され、この相対位置関係に基づいて映像合成部により複数のカメラからの映像が互いに合成されるので、互いの相対位置関係が変化する複数のカメラを用いても、所定の視点からの映像を表示することが可能となる。

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１
この発明の実施の形態１に係る映像表示装置の構成を図１に示す。予め所定の場所に固定カメラＡが設置されると共に、この固定カメラＡとは異なる場所に移動カメラＢが配置されている。移動カメラＢは、車両等の移動体Ｕに搭載されており、移動体Ｕと共に移動自在に構成されている。
移動体Ｕには、固定カメラＡに対する移動カメラＢの相対位置関係を算出する相対位置算出部１が接続され、相対位置算出部１と固定カメラＡ及び移動カメラＢに映像合成部２が接続されている。さらに、映像合成部２にモニタ３が接続されている。
また、移動体Ｕは、自らの現在位置及び向き等の位置情報を得るための図示しないセンサを有しており、このセンサの検出信号が相対位置算出部１に入力されている。

次に、図２のフローチャートを参照して実施の形態１の作用について説明する。まず、ステップＳ１で、固定カメラＡによる撮影が行われ、続くステップＳ２で、移動カメラＢによる撮影が行われる。
さらに、ステップＳ３で、相対位置算出部１により固定カメラＡに対する移動カメラＢの相対位置関係が算出される。このとき、移動体Ｕの位置情報を得るためのセンサからの検出信号が相対位置算出部１に入力されているので、相対位置算出部１は、入力された検出信号に基づいて移動体Ｕの現在位置及び向きを把握することができる。そこで、この移動体Ｕの現在位置及び向きと固定カメラＡが設置されている所定の場所とを比較することにより、相対位置算出部１は、固定カメラＡに対する移動カメラＢの相対位置関係を算出する。

このようにして固定カメラＡと移動カメラＢとの相対位置関係が算出されると、ステップＳ４で、映像合成部２により、この相対位置関係に基づいて固定カメラＡによる映像と移動カメラＢによる映像とが一つに合成され、合成映像として上方から下方を見下ろす俯瞰映像が作成される。
そして、ステップＳ５で、俯瞰映像がモニタ３に表示される。

なお、固定カメラＡによる映像と移動カメラＢによる映像との合成及び俯瞰映像の作成の例としては、特開平３−９９９５２号公報が挙げられる。
また、移動体Ｕの位置情報を得るためのセンサとしては、移動体Ｕの移動位置及び向きを把握し得るものであればよく、例えば、車速センサまたは移動量センサとヨーレートセンサ、あるいは、ＧＰＳセンサとヨーレートセンサ、あるいは、移動体Ｕへの搭載位置を異ならせた２つのＧＰＳセンサ等を用いることができる。

相対位置算出部１、映像合成部２及びモニタ３は、移動体Ｕに搭載することができる。この場合、固定カメラＡと映像合成部２との間の接続は、有線によることもでき、あるいは、無線によることもできる。固定カメラＡと映像合成部２との間を無線で接続する場合には、固定カメラＡと映像合成部２にそれぞれ通信手段を備える必要がある。
また、相対位置算出部１、映像合成部２及びモニタ３を移動体Ｕに搭載せずに所定の場所に設置してもよい。この場合、移動体Ｕの位置情報を得るためのセンサと相対位置算出部１とが有線または無線で接続されると共に、固定カメラＡ及び移動カメラＢと映像合成部２との間が有線または無線で接続される。
さらに、相対位置算出部１のみを移動体Ｕに搭載して映像合成部２及びモニタ３を所定の場所に設置する、あるいは相対位置算出部１と映像合成部２を移動体Ｕに搭載してモニタ３のみを所定の場所に設置することもできる。

実施の形態２
この発明の実施の形態２に係る映像表示装置の構成を図３に示す。この実施の形態２は、図１に示した実施の形態１の装置において、移動体Ｕが位置情報を得るためのセンサを有する代わりに、所定の固定位置に固定目標としてのマークＭを予め設置しておき、移動カメラＢにより撮影されたマークＭの画像に基づいて相対位置算出部１が固定カメラＡと移動カメラＢとの相対位置関係を算出するように構成したものである。

図４に示されるように、相対位置算出部１は、移動カメラＢに順次接続された画像処理手段４、位置パラメータ算出手段５及び相対位置特定手段６から構成されている。
また、固定目標としてのマークＭは、固定カメラＡに対して所定の位置関係を有する所定の場所に固設されており、固定カメラＡに対するマークＭの所定の位置関係は予め把握されているものとする。このマークＭとしては、例えば図５に示されるように、４つの直角２等辺三角形を互いに当接させた正方形状の外形を有する図形を用いることができる。互いに隣接する直角２等辺三角形が異なる色で塗り分けられており、このマークＭは、複数の辺の交点からなる５つの特徴点Ｃ１〜Ｃ５を有している。
上述したように固定カメラＡに対するマークＭの位置関係が予め把握されていれば、マークＭを固定カメラＡの視野外に配置してもよい。

この実施の形態２においても、図２に示したフローチャートのステップＳ１〜Ｓ５に従って、俯瞰映像等の合成映像がモニタ３に表示されるが、ステップＳ３における固定カメラＡと移動カメラＢとの相対位置関係の算出方法が実施の形態１とは異なっており、図６のフローチャートに示されるステップＳ６〜Ｓ８に従い、次のようにして相対位置関係の算出が行われる。

すなわち、まず、ステップＳ６で、相対位置算出部１の画像処理手段４が、移動カメラＢにより撮影されたマークＭの画像からマークＭの５つの特徴点Ｃ１〜Ｃ５を抽出し、画像上におけるこれら特徴点Ｃ１〜Ｃ５の２次元座標をそれぞれ認識し取得する。
次に、ステップＳ７で、画像処理手段４により認識された特徴点Ｃ１〜Ｃ５のそれぞれの２次元座標に基づき、位置パラメータ算出手段５が、マークＭを基準とした移動カメラＢの３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する。

ここで、位置パラメータ算出手段５による位置パラメータの算出方法を説明する。
まず、移動体Ｕ上の所定の箇所から路面に対して垂直に下ろした地面上の点を原点Ｏとし、水平方向にｘ軸及びｙ軸、鉛直方向にｚ軸を設定した路面座標系を想定すると共に、移動カメラＢにより撮影された画像上にＸ軸とＹ軸を設定した画像座標系を想定する。
画像座標系におけるマークＭの特徴点Ｃ１〜Ｃ５の座標値Ｘｍ及びＹｍ（ｍ＝１〜５）は、路面座標系におけるマークＭの特徴点Ｃ１〜Ｃ５の６個の位置パラメータすなわち座標値ｘｍ、ｙｍ及びｚｍと上述したチルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の角度パラメータＫｎ（ｎ＝１〜３）から、関数Ｆ及びＧを用いて、
Ｘｍ＝Ｆ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）＋ＤＸｍ
Ｙｍ＝Ｇ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）＋ＤＹｍ
で表される。ここで、ＤＸｍ及びＤＹｍは関数Ｆ及びＧを用いて算出された特徴点Ｃ１〜Ｃ５のＸ座標及びＹ座標と画像処理手段４で認識された特徴点Ｃ１〜Ｃ５の座標値Ｘｍ及びＹｍとの偏差である。

つまり５個の特徴点Ｃ１〜Ｃ５のＸ座標及びＹ座標をそれぞれ表すことにより、６個の位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）に対して計１０個の関係式が作成される。
そこで、偏差ＤＸｍ及びＤＹｍの二乗和
Ｓ＝Σ（ＤＸｍ^２＋ＤＹｍ^２）
を最小とするような位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）を求める。すなわちＳを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。

なお、算出しようとする位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）の個数「６」より多い関係式を作成して位置パラメータを決定しているので、精度よく位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）を得ることができる。
この実施の形態２では、６個の位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）に対して５個の特徴点Ｃ１〜Ｃ５により１０個の関係式を作成したが、関係式の数は算出しようとする位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）の個数より多ければよく、最低３個の特徴点により６個の関係式を作成すれば、６個の位置パラメータ（ｘｍ，ｙｍ，ｚｍ，Ｋｎ）を算出することができる。

このようにして算出された移動カメラＢの位置パラメータを用いて、ステップＳ８で、相対位置特定手段６は、固定カメラＡに対する移動カメラＢの相対位置関係を特定する。すなわち、位置パラメータ算出手段５で算出された位置パラメータに基づいて、移動カメラＢとマークＭとの相対位置関係が特定され、固定カメラＡに対するマークＭの所定の位置関係は予め把握されているため、さらに、移動カメラＢと固定カメラＡとの相対位置関係が特定される。

以上のようにして相対位置算出部１で算出された固定カメラＡと移動カメラＢとの相対位置関係は映像合成部２に送られ、映像合成部は、この相対位置関係に基づいて固定カメラＡによる映像と移動カメラＢによる映像とを一つに合成して俯瞰映像を作成し、モニタ３に表示する。

なお、この実施の形態２では、マークＭを基準とした移動カメラＢの３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出しているので、マークＭが配置されている床面と移動体Ｕの現在位置の路面との間に段差や傾きが存在しても、マークＭと移動カメラＢとの相対位置関係、ひいては固定カメラＡと移動カメラＢとの相対位置関係を正確に特定して精度の高い俯瞰映像を作成することができる。

ただし、マークＭが配置されている床面と移動体Ｕの現在位置の路面との間に傾きが存在しない場合には、少なくともマークＭを基準とした移動カメラＢの３次元座標（ｘ，ｙ，ｚ）とパン角（方向角）の４個のパラメータからなる位置パラメータを算出すればマークＭと移動カメラＢの相対位置関係を特定することができる。この場合には、マークＭの最低２個の特徴点の２次元座標により４個の関係式を作成すれば、４個の位置パラメータを求めることができるが、より多くの特徴点の２次元座標を用いて最小二乗法等により精度よく４個の位置パラメータを算出することが好ましい。

さらに、マークＭと移動体Ｕとが同一平面上にあり、マークＭが配置されている床面と移動体Ｕの現在位置の路面との間に段差も傾きも存在しない場合には、少なくともマークＭを基準とした移動カメラＢの２次元座標（ｘ，ｙ）とパン角（方向角）の３個のパラメータからなる位置パラメータを算出すればマークＭと移動カメラＢの相対位置関係を特定することができる。この場合にも、マークＭの最低２個の特徴点の２次元座標により４個の関係式を作成すれば、３個の位置パラメータを求めることができるが、より多くの特徴点の２次元座標を用いて最小二乗法等により精度よく３個の位置パラメータを算出することが好ましい。

実施の形態３
この発明の実施の形態３に係る映像表示装置の構成を図７に示す。この実施の形態３は、固定カメラＡを車庫等の駐車スペース側に固定すると共に移動カメラＢを駐車スペースへ駐車を行う車両に搭載して、図３に示した実施の形態２の装置を駐車の支援のために用いた例を示している。
駐車スペースＳの内部あるいは近傍に駐車スペース側装置１１が配設され、駐車スペースＳへの駐車を行う車両に車両側装置１２が搭載されている。

駐車スペース側装置１１は、駐車スペースＳの奥部に配置されて駐車スペースＳの入口付近を撮影するための固定カメラＡを有しており、固定カメラＡにエンコーダ１３を介して通信部１４が接続されている。エンコーダ１３は、固定カメラＡで撮影された映像を無線伝送に適した形式に圧縮するためのものであり、通信部１４は、主に、エンコーダ１３で圧縮された映像データを車両側装置１２に向けて送信するためのものである。固定カメラＡと通信部１４に制御部１５が接続されている。さらに、駐車スペース側装置１１は、駐車スペースＳの入口付近の床面に固設されたマークＭを有している。
なお、固定カメラＡの内部パラメータ（焦点距離、歪み定数等）と外部パラメータ（駐車スペースＳに対する相対位置、角度等）は予め既知とする。同様に、固定カメラＡに対するマークＭの相対位置も既知とする。

一方、車両側装置１２は、車両の後部に設置されて車両の後方を撮影するための移動カメラＢを有しており、駐車スペースＳへの後退駐車時には、この移動カメラＢにより駐車スペースＳのマークＭが撮影される。移動カメラＢに相対位置算出部１が接続されている。また、車両側装置１２は、駐車スペース側装置１１の通信部１４との間で通信を行う通信部１６を有し、この通信部１６にデコーダ１７が接続されている。デコーダ１７は、通信部１６で受信された駐車スペース側装置１１からの圧縮された映像データを復号させるためのものである。

デコーダ１７に映像合成部２が接続され、映像合成部２と移動カメラＢの双方に映像選択部１８が接続され、映像選択部１８に車両の運転席に配置されたモニタ３が接続されている。
また、移動カメラＢ、相対位置算出部１、通信部１６及び映像選択部１８に制御部１９が接続されている。
移動カメラＢの内部パラメータ（焦点距離、歪み定数等）と車両に対する相対位置及び角度等は予め既知とする。
図４に示したように、車両側装置１２の相対位置算出部１は、移動カメラＢと映像合成部２との間に順次接続された画像処理手段４、位置パラメータ算出手段５及び相対位置特定手段６から構成されている。

次に、図８のフローチャートを参照して実施の形態３の作用について説明する。
まず、ステップＳ１１として、駐車スペースＳの近傍に車両を位置させてマークＭを移動カメラＢの視野内に入れた状態で、車両側装置１２の制御部１９により移動カメラＢが作動し、マークＭの撮影が行われる。
移動カメラＢにより撮影された画像は相対位置算出部１に入力され、続くステップＳ１２で、相対位置算出部１は移動カメラＢと固定カメラＡとの相対位置関係を図６に示したフローチャートに従って算出する。

このようにして相対位置算出部１で算出された相対位置関係に基づいて、制御部１９は、固定カメラＡに対する移動カメラＢの相対距離Ｌを算出し、ステップＳ１３で、この相対距離Ｌを所定値Ｌｔｈと比較し、相対距離Ｌが所定値Ｌｔｈより大きいときは、ステップＳ１４で、映像選択部１８に移動カメラＢによる映像データを選択させる。これにより、図９に示されるように、運転席のモニタ３の画面上に移動カメラＢで撮像された車両後方の映像が表示される。

一方、固定カメラＡに対する移動カメラＢの相対距離Ｌが所定値Ｌｔｈ以下のときは、制御部１９は、ステップＳ１５で、通信部１６から駐車スペース側装置１１へ映像データの要求信号を送信する。
駐車スペース側装置１１では、車両側装置１２から映像データの要求信号を通信部１４で受信すると、ステップＳ１６で、制御部１５によって固定カメラＡが作動され、駐車スペースＳの入口付近の撮影が行われる。そして、固定カメラＡで撮影された映像データがエンコーダ１３で無線伝送に適した形式に圧縮された後、通信部１４から車両側装置１２に向けて送信される。

ステップＳ１７で、車両側装置１２の通信部１６により駐車スペース側装置１１から映像データが受信されると、この映像データは、デコーダ１７で復号された後、映像合成部２に送られる。
映像合成部２は、ステップＳ１８で、固定カメラＡと移動カメラＢとの相対位置関係に基づいて固定カメラＡによる映像と移動カメラＢによる映像とを一つに合成して俯瞰映像を作成する。
制御部１９は、固定カメラＡに対する移動カメラＢの相対距離Ｌが所定値Ｌｔｈ以下であることから、ステップＳ１９で、映像選択部１８に映像合成部２による映像データを選択させる。これにより、図１０に示されるように、運転席のモニタ３の画面上に映像合成部２で作成された俯瞰映像が表示される。

なお、ステップＳ１３で用いられる所定値Ｌｔｈは、例えば、駐車スペースＳの両側部と奥部とが壁面等で仕切られた車庫を想定し、固定カメラＡの視野内に後退駐車中の車両Ｖの一部が入り始めるときの移動カメラＢと固定カメラＡとの相対距離を基準に設定すればよい。
このように所定値Ｌｔｈを設定すれば、車両Ｖが固定カメラＡの視野内に入っていないときには、図９に示されるように、モニタ３の画面上に移動カメラＢで撮像された車両後方の映像が表示され、車両Ｖが固定カメラＡの視野内に入ってからは、図１０に示されるように、モニタ３の画面上に俯瞰映像が表示されることになる。このため、モニタ３の画面に表示された俯瞰映像を見ながら車両Ｖの運転操作を行うことができ、車両Ｖと駐車スペースＳとの相対位置関係を把握しやすくなり、車両Ｖを精度よく駐車スペースＳ内に駐車させることが可能となる。

実施の形態４
この発明の実施の形態４に係る映像表示装置の構成を図１１に示す。この実施の形態４は、図３に示した実施の形態２の装置において、固定カメラＡと移動カメラＢの代わりに、第１の移動体Ｕ１に搭載された第１移動カメラＢ１と第２の移動体Ｕ２に搭載された第２移動カメラＢ２とを配置すると共に、相対位置算出部１の代わりに、移動カメラＢ１及びＢ２に相対位置算出部２１を接続し、これら双方の移動カメラＢ１及びＢ２により共通のマークＭを撮影するように構成したものである。

図１２に示されるように、相対位置算出部２１は、第１移動カメラＢ１に接続された第１算出部２２と、第２移動カメラＢ２に接続された第２算出部２３と、これら第１算出部２２及び第２算出部２３に接続された第３算出部２４とを有しており、第３算出部２４が映像合成部２に接続されている。

次に、図１３のフローチャートを参照して実施の形態４の作用について説明する。
まず、ステップＳ２１で、マークＭを第１移動カメラＢ１の視野内に入れた状態で、第１移動カメラＢ１による撮影が行われる。相対位置算出部２１の第１算出部２２は、続くステップＳ２２で、第１移動カメラＢ１により撮影されたマークＭの画像からマークＭの５つの特徴点Ｃ１〜Ｃ５を抽出し、画像上におけるこれら特徴点Ｃ１〜Ｃ５の２次元座標をそれぞれ認識して取得した後、ステップＳ２３で、これら特徴点Ｃ１〜Ｃ５の２次元座標に基づき、マークＭを基準とした第１移動カメラＢ１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する。

次に、ステップＳ２４で、マークＭを第２移動カメラＢ２の視野内に入れた状態で、第２移動カメラＢ２による撮影が行われる。相対位置算出部２１の第２算出部２３は、続くステップＳ２５で、第２移動カメラＢ２により撮影されたマークＭの画像からマークＭの５つの特徴点Ｃ１〜Ｃ５を抽出し、画像上におけるこれら特徴点Ｃ１〜Ｃ５の２次元座標をそれぞれ認識して取得した後、ステップＳ２６で、これら特徴点Ｃ１〜Ｃ５の２次元座標に基づき、マークＭを基準とした第２移動カメラＢ２の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する。

さらに、相対位置算出部２１の第３算出部２４は、第１算出部２２及び第２算出部２３で算出された第１移動カメラＢ１及び第２移動カメラＢ２の位置パラメータに基づき、ステップＳ２７で、第１移動カメラＢ１と第２移動カメラＢ２との相対位置関係を特定する。
このようにして相対位置算出部２１で算出された第１移動カメラＢ１と第２移動カメラＢ２との相対位置関係は映像合成部２に送られ、映像合成部２は、この相対位置関係に基づき、ステップＳ２８で、第１移動カメラＢ１による映像と第２移動カメラＢ２による映像とを一つに合成して俯瞰映像を作成し、ステップＳ２９で、この俯瞰映像をモニタ３に表示する。

実施の形態５
この発明の実施の形態５に係る映像表示装置の構成を図１４に示す。この実施の形態５は、図１１に示した実施の形態４の装置において、第１移動カメラＢ１と第２移動カメラＢ２で共通のマークＭを撮影する代わりに、複数のマークＭ１及びＭ２を互いに異なる位置に設置し、第１移動カメラＢ１と第２移動カメラＢ２とがそれぞれ異なるマークを撮影するように構成したものである。
マークＭ１とマークＭ２の相対位置関係は、予め把握されているものとする。例えば、マークＭ１とマークＭ２の相対位置関係を相対位置算出部２１に記憶させておくことができる。あるいは、マークＭ１及びＭ２にそれぞれの位置情報をバーコード等の手段により記録しておき、各カメラにより撮影された画像からその位置情報を認識するように構成することもできる。あるいは、マークＭ１及びＭ２それぞれの位置情報を、各マークの近傍に配置した無線送信機から発信し、第１の移動体Ｕ１及び第２の移動体Ｕ２で受信してその位置情報を認識してもよい。

第１移動カメラＢ１によりマークＭ１が、第２移動カメラＢ２によりマークＭ２が撮影される場合、相対位置算出部２１の第１算出部２２は、第１移動カメラＢ１により撮影されたマークＭ１の画像に基づいてマークＭ１を基準とした第１移動カメラＢ１の位置パラメータを算出し、相対位置算出部２１の第２算出部２３は、第２移動カメラＢ２により撮影されたマークＭ２の画像に基づいてマークＭ２を基準とした第２移動カメラＢ２の位置パラメータを算出する。
ここで、マークＭ１とマークＭ２の相対位置関係が予め把握されているので、相対位置算出部２１の第３算出部２４は、第１算出部２２及び第２算出部２３でそれぞれ算出された位置パラメータとマークＭ１及びＭ２間の相対位置関係とに基づき、第１移動カメラＢ１と第２移動カメラＢ２との相対位置関係を特定することができる。
その結果、映像合成部２は、この相対位置関係に基づき、第１移動カメラＢ１による映像と第２移動カメラＢ２による映像とを一つに合成して俯瞰映像を作成し、この俯瞰映像をモニタ３に表示することが可能となる。

なお、各移動カメラＢ１，Ｂ２で撮影されるマークがマークＭ１及びＭ２のうちのいずれか一方に特定されない場合や、双方のマークＭ１及びＭ２が同時に撮影される場合には、撮影されたマークが、マークＭ１及びＭ２のうちいずれの画像であるかを判別するために、双方のマークＭ１及びＭ２の形状、色彩等を互いに異ならせることが好ましい。

その他の実施の形態
上記の各実施の形態において、映像合成部２により作成される合成映像は、俯瞰映像に限られるものではなく、映像合成部２は、各カメラの視点とは異なる任意の仮想の視点Ｐからの映像を作成することができる。また、必ずしも各カメラの視点とは異なる仮想の視点Ｐからの映像に限らず、映像合成部２が、複数のカメラのうちいずれか一つのカメラの視点からの映像を作成してもよい。例えば、上述の実施の形態３において、映像合成部２が、駐車スペース側の固定カメラＡの映像を車載の移動カメラＢの視点からの映像に変換して移動カメラＢの映像と合成することにより、図９に示したように車載の移動カメラＢからの映像だけでは壁に隠されて死角となる駐車スペースＳ内の領域をも透視して追加した合成映像を得ることができる。あるいは、車載の移動カメラＢからの映像だけでは撮影範囲外になって死角となる領域を追加した合成映像を得ることができる。
上記の各実施の形態では、１台の固定カメラＡと１台の移動カメラＢ、または、２台の移動カメラＢ１及びＢ２からの映像を合成したが、互いの相対位置関係が変化する３台以上のカメラからの映像を合成して任意の仮想の視点Ｐからの映像を作成することもできる。
また、移動体Ｕ，Ｕ１，Ｕ２は、車両等の移動装置に限られるものではなく、例えばカメラを持って歩く人でもよい。

実施の形態２〜５で用いられたマークは、４つの直角２等辺三角形を互いに当接させた正方形状の外形を有していたが、これに限るものではなく、各種のマークを使用することができる。ただし、自然界に存在する形状に対して判別しやすい、特異な形状、色彩等を具備し、画像処理手段４における画像認識により、その存在を認知しやすいものであり、さらに内部に含んでいる特徴点を認識しやすいものが望ましい。
また、マークは、認識された特徴点の２次元座標に基づいてカメラとマークとの相対位置関係を精度良く算出することができるように、十分な大きさを有し且つカメラから認知しやすい場所に設置されることが望まれる。具体的には、カメラが配置される場所の周辺の床面、壁面、天井面等に設置することができる。

この発明の実施の形態１に係る映像表示装置の構成を示すブロック図である。 実施の形態１の作用を示すフローチャートである。 実施の形態２に係る映像表示装置の構成を示すブロック図である。 実施の形態２における相対位置算出部の構成を示すブロック図である。 実施の形態２で用いられたマークを示す図である。 実施の形態２の移動カメラと固定カメラとの相対位置関係を算出するステップにおける作用を示すフローチャートである。 実施の形態３に係る映像表示装置の構成を示すブロック図である。 実施の形態３の作用を示すフローチャートである。 実施の形態３におけるモニタの画面を示す図である。 実施の形態３におけるモニタの画面を示す図である。 実施の形態４に係る映像表示装置の構成を示すブロック図である。 実施の形態４における相対位置算出部の構成を示すブロック図である。 実施の形態４の作用を示すフローチャートである。 実施の形態４に係る映像表示装置の構成を示すブロック図である。

符号の説明

１，２１ 相対位置算出部、２ 映像合成部、３ モニタ、４ 画像処理手段、５ 位置パラメータ算出手段、６ 相対位置特定手段、１１ 駐車スペース側装置、１２ 車両側装置、１３ エンコーダ、１４，１６ 通信部、１５ 制御部、１７ デコーダ、１８ 映像選択部、１９ 制御部、２２ 第１算出部、２３ 第２算出部、２４ 第３算出部、Ａ 固定カメラ、Ｂ，Ｂ１，Ｂ２ 移動カメラ、Ｕ，Ｕ１，Ｕ２ 移動体、Ｐ 仮想視点、Ｍ，Ｍ１，Ｍ２ マーク、Ｃ１〜Ｃ５ 特徴点、Ｓ 駐車スペース、Ｖ 車両。

Claims (9)

1. 互いの相対位置関係が変化する複数のカメラと、
   前記複数のカメラの互いの相対位置関係を算出する相対位置算出部と、
   前記相対位置算出部で算出された相対位置関係に基づいて前記複数のカメラからの映像を互いに合成することにより所定の視点からの映像を作成する映像合成部と、
   前記映像合成部で作成された映像を表示するモニタと
   を備えたことを特徴とする映像表示装置。
2. 前記複数のカメラは、少なくとも一つの移動カメラと少なくとも一つの固定カメラとを含む請求項１に記載の映像表示装置。
3. 前記複数のカメラは、それぞれ移動カメラからなる請求項１に記載の映像表示装置。
4. 少なくとも一つの特徴点を有する固定目標が予め所定の固定位置に設置され、
   前記相対位置算出部は、前記移動カメラにより撮影された前記固定目標の画像に基づいて前記固定目標を基準とした前記移動カメラの位置パラメータを算出し、算出された位置パラメータに基づいて他のカメラに対する前記移動カメラの相対位置関係を算出する請求項２または３に記載の映像表示装置。
5. 前記固定目標は、所定形状のマークからなる請求項４に記載の映像表示装置。
6. 前記映像合成部は、所定の視点からの映像として前記複数のカメラの視点とは異なる仮想の視点からの映像を作成する請求項１〜５のいずれか一項に記載の映像表示装置。
7. 前記映像合成部は、所定の視点からの映像として俯瞰映像を作成する請求項６に記載の映像表示装置。
8. 前記映像合成部は、所定の視点からの映像として前記複数のカメラのうちいずれか一つのカメラの視点から見ると共に死角領域に映像を追加して映像を作成する請求項１〜５のいずれか一項に記載の映像表示装置。
9. 互いの相対位置関係が変化する複数のカメラの互いの相対位置関係を算出し、
   算出された相対位置関係に基づいて前記複数のカメラからの映像を互いに合成することにより所定の視点からの映像を作成し、
   作成された所定の視点からの映像を表示する
   ことを特徴とする映像表示方法。

Images