JP2007257331A

JP2007257331A - 映像合成装置

Info

Publication number: JP2007257331A
Application number: JP2006081204A
Authority: JP
Inventors: Masayuki Harada; 雅之原田; Yoshihiro Ashizaki; 能広芦崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04
Anticipated expiration: 2026-03-23
Also published as: JP4757679B2

Abstract

【課題】特殊なレンズなどを用いることなく、撮影対象が平面上に存在しない場合でも、映像間のずれがない広視野映像を生成することができる映像合成装置を得ることを目的とする。
【解決手段】全体撮影カメラ１の全体映像及び部分撮影カメラ２，３の部分映像を分割する映像分割部６と、映像分割部６により分割された全体映像の分割映像と複数の部分映像の分割映像を比較して、複数の部分映像の分割映像の中から、全体映像の各分割映像に最も類似している分割映像をそれぞれ選定する類似映像選定部８とを設け、その類似映像選定部８により選定された複数の分割映像を繋ぎ合わせるようにする。
【選択図】図１

Description

この発明は、複数のカメラ映像を繋ぎ合わせて一つの連続している広視野映像を生成する映像合成装置に関するものである。

例えば、パノラマ撮影装置などの映像合成装置では、複数のカメラ映像を繋ぎ合わせて一つの連続している広視野映像を生成するようにしている。
しかし、複数のカメラ映像を繋ぎ合わせるには、カメラ間の位置の差（視差）により生じる映像間のずれを補正する必要がある。
映像間のずれを補正する方法の一つとして、複数のカメラ映像を覆うような広視野カメラを設置して、広視野カメラの映像と複数のカメラ（以下、通常視野カメラという）の映像の間でマッチングをとる手法が提案されている（例えば、特許文献１参照）。

ただし、広視野カメラの映像と通常視野カメラの映像において、完全なマッチングをとることができるのは、広視野カメラと通常視野カメラの光学中心が一致する場合、あるいは、撮影対象が平面上であるとみなせる場合のいずれかである。
なお、広視野カメラと通常視野カメラの光学中心を一致させるには、カメラの物理的な干渉が存在するため、特殊なレンズなどを用いる必要がある。

特開２００４−１３５２０９号公報（段落番号［０００８］、図７）

従来の映像合成装置は以上のように構成されているので、特殊なレンズなどを用いれば、広視野カメラと通常視野カメラの光学中心を一致させて、映像間のマッチングをとることにより映像間のずれを補正することができる。しかし、特殊なレンズなどを用いることができない場合、撮影対象が平面上に存在しなければ、精度よく映像間のずれを補正することができず、撮影対象が制限されるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、特殊なレンズなどを用いることなく、撮影対象が平面上に存在しない場合でも、映像間のずれがない広視野映像を生成することができる映像合成装置を得ることを目的とする。

この発明に係る映像合成装置は、映像入力手段により入力された全体映像及び複数の部分映像を分割する映像分割手段と、その映像分割手段により分割された全体映像の分割映像と複数の部分映像の分割映像を比較して、複数の部分映像の分割映像の中から、全体映像の各分割映像に最も類似している分割映像をそれぞれ選定する類似映像選定手段とを設け、その類似映像選定手段により選定された複数の分割映像を繋ぎ合わせるようにしたものである。

この発明によれば、映像入力手段により入力された全体映像及び複数の部分映像を分割する映像分割手段と、その映像分割手段により分割された全体映像の分割映像と複数の部分映像の分割映像を比較して、複数の部分映像の分割映像の中から、全体映像の各分割映像に最も類似している分割映像をそれぞれ選定する類似映像選定手段とを設け、その類似映像選定手段により選定された複数の分割映像を繋ぎ合わせるように構成したので、特殊なレンズなどを用いることなく、撮影対象が平面上に存在しない場合でも、映像間のずれがない広視野映像を生成することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による映像合成装置を示す構成図であり、図２はカメラと撮影対象物の配置関係を示す説明図である。
図において、全体撮影カメラ１は撮影範囲（撮影対象物Ａ，Ｂ，Ｃが存在している範囲）の全体を撮影するカメラであり、全体撮影カメラ１は広視野のレンズ（例えば、魚眼レンズ）を装着しているカメラであってもよいし、カメラ位置を下げることで相対的に視野が広がるようにしてもよい。
部分撮影カメラ２は撮影範囲の一部を撮影するカメラであり、部分撮影カメラ２は撮影対象物Ｃを撮影映像の右側に捉える位置に設置されている。
部分撮影カメラ３は撮影範囲の一部を撮影するカメラであり、部分撮影カメラ３は撮影対象物Ｃを撮影映像の左側に捉える位置に設置されている。
なお、全体撮影カメラ１及び部分撮影カメラ２，３から映像入力手段が構成されている。

歪補正用パラメータ保持部４は全体撮影カメラ１及び部分撮影カメラ２，３により撮影された映像の歪みを補正するための歪補正用パラメータを保持しているメモリである。
映像歪補正部５は歪補正用パラメータ保持部４に保持されている歪補正用パラメータを用いて、全体撮影カメラ１及び部分撮影カメラ２，３により撮影された映像の歪みを補正して、透視投影映像とみなせる映像を映像分割部６に出力する。
なお、歪補正用パラメータ保持部４及び映像歪補正部５から映像歪補正手段が構成されている。

映像分割部６は映像歪補正部５により歪みが補正された全体撮影カメラ１の全体映像のエッジを検出することにより、全体撮影カメラ１の全体映像を分割し、また、映像歪補正部５により歪みが補正された部分撮影カメラ２，３の部分映像のエッジを検出することにより、部分撮影カメラ２，３の部分映像を分割する。なお、映像分割部６は映像分割手段を構成している。
基準設定部７は映像分割部６により分割された全体映像の分割映像を基準映像に設定する。
類似映像選定部８は基準設定部７により設定された各基準映像と、映像分割部６により分割された部分撮影カメラ２，３の部分映像の分割映像とを比較して、部分撮影カメラ２，３の部分映像の分割映像の中から、各基準映像に最も類似している分割映像をそれぞれ選定する。
なお、基準設定部７及び類似映像選定部８から類似映像選定手段が構成されている。

映像配置部９は類似映像選定部８により選定された複数の分割映像を基準映像の位置に配置する。
映像生成部１０は映像配置部９により配置された複数の分割映像を一つの映像（広視野映像）として出力する。
なお、映像配置部９及び映像生成部１０から映像合成手段が構成されている。

次に動作について説明する。
この実施の形態１では、平面上に存在しているとみなせる撮影対象物Ａ，Ｂと、撮影対象物Ａ，Ｂの手前に設置されている撮影対象物Ｃを撮影する場合について説明する。
全体撮影カメラ１は、撮影範囲（撮影対象物Ａ，Ｂ，Ｃが存在している範囲）の全体を撮影し、図３に示すような全体映像ＡＶ_allを映像歪補正部５に出力する。
部分撮影カメラ２は、撮影対象物Ｃを撮影映像の右側に捉える位置に設置されており、図３に示すような通常の視野の部分映像ＡＶ_Leftを映像歪補正部５に出力する。
部分撮影カメラ３は、撮影対象物Ｃを撮影映像の左側に捉える位置に設置されており、図３に示すような通常の視野の部分映像ＡＶ_Rightを映像歪補正部５に出力する。

映像歪補正部５は、全体撮影カメラ１から出力される全体映像ＡＶ_allや、部分撮影カメラ２，３から出力される部分映像ＡＶ_Left，ＡＶ_Rightは一般に透視投影映像ではなく、レンズ歪などの影響を受けている歪みのある映像であるため、歪補正用パラメータ保持部４に保持されている歪補正用パラメータを用いて、全体映像ＡＶ_all及び部分映像ＡＶ_Left，ＡＶ_Rightの歪みを補正して、透視投影映像とみなせる映像を映像分割部６に出力する。
映像の歪補正技術は公知の技術であるため、ここでは説明を省略するが、例えば、以下の非特許文献に開示されているカメラの公正手法を用いれば、映像の歪みを補正することができる。

「コンピュータビジョン」、佐藤著、コロナ社発行

映像分割部６は、映像歪補正部５から透視投影映像とみなせる全体撮影カメラ１の全体映像ＡＶ_allと部分撮影カメラ２，３の部分映像ＡＶ_Left，ＡＶ_Rightを受けると、例えば、全体映像ＡＶ_allのエッジを検出することにより、全体映像ＡＶ_allを分割する。
また、部分映像ＡＶ_Left，ＡＶ_Rightのエッジを検出することにより、部分映像ＡＶ_Left，ＡＶ_Rightを分割する。

エッジの検出手法としては、映像を微分する手法や映像のラプラシアンを求める手法が一般的であるが、いかなる手法を用いてもよい。また、映像分割部６が自動的に映像を分割するのではなく、ユーザの指示の下、手動で映像を分割するようにしてもよい。
ここで、図４は全体映像ＡＶ_allの分割映像ＡＶ_all-d1，ＡＶ_all-d2，ＡＶ_all-d3と、部分映像ＡＶ_Leftの分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Left-d3と、部分映像ＡＶ_Rightの分割映像ＡＶ_Right-d1，ＡＶ_Right-d2，ＡＶ_Right-d3とを示している。

基準設定部７は、映像分割部６が全体撮影カメラ１の全体映像ＡＶ_allと部分撮影カメラ２，３の部分映像ＡＶ_Left，ＡＶ_Rightを分割すると、基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3を設定する。
この実施の形態１では、部分撮影カメラ２，３の部分映像ＡＶ_Left，ＡＶ_Rightを合成して、全体撮影カメラ１の全体映像ＡＶ_allと同等の視点を有する高解像度映像を生成することを目的としているため、下記のように基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3を設定する。
分割映像ＡＶ_all-d1 → 基準映像ＡＶ_ref-d1
分割映像ＡＶ_all-d2 → 基準映像ＡＶ_ref-d2
分割映像ＡＶ_all-d3 → 基準映像ＡＶ_ref-d3

類似映像選定部８は、基準設定部７が基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3を設定すると、基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3と、部分映像ＡＶ_Left，ＡＶ_Rightの分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Left-d3，ＡＶ_Right-d1，ＡＶ_Right-d2，ＡＶ_Right-d3とを比較する。
即ち、類似映像選定部８は、下記に示すように、基準映像と分割映像を比較する。
基準映像ＡＶ_ref-d1 ⇔ 分割映像ＡＶ_Left-d1，ＡＶ_Right-d1
基準映像ＡＶ_ref-d2 ⇔ 分割映像ＡＶ_Left-d2，ＡＶ_Right-d2
基準映像ＡＶ_ref-d3 ⇔ 分割映像ＡＶ_Left-d3，ＡＶ_Right-d3

具体的には、次のようにして、基準映像と分割映像を比較する。
類似映像選定部８は、カメラ位置が相違していることに起因して、基準映像と分割映像の映像サイズが異なり、また、映像歪みも異なるため、基準映像と分割映像を比較するに先立って、基準映像の映像サイズや映像歪みが分割映像の映像サイズや映像歪みと一致するように、基準映像を変形する。
類似映像選定部８は、例えば、基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1を比較する場合には、基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1から共通の特徴点を抽出する。特徴点は各画像に共通して撮影されている点であり、平面画像の場合には4点以上見つかれば画像間の変形が平面射影変換により可能となることが一般に知られている。

図５は基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1の特徴点を示す説明図であり、Ｅ１〜Ｅ４は基準映像ＡＶ_ref-d1の特徴点、Ｆ１〜Ｆ４は分割映像ＡＶ_Left-d1の特徴点である。
なお、特徴点Ｅ１は特徴点Ｆ１に対応しており、特徴点Ｅ２は特徴点Ｆ２に対応している。また、特徴点Ｅ３は特徴点Ｆ３に対応しており、特徴点Ｅ４は特徴点Ｆ４に対応している。
因みに、基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1は、同じ撮影対象物Ａを撮影しているため、基準映像ＡＶ_ref-d1のように一部が欠けている映像でも共通の特徴点が存在する。
ここでは、類似映像選定部８が自動的に特徴点を抽出することを想定しているが、ユーザの指示の下、手動で特徴点を抽出するようにしてもよい。

類似映像選定部８は、基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1から共通の特徴点Ｅ１〜Ｅ４，Ｆ１〜Ｆ４を抽出すると、図６に示すように、基準映像ＡＶ_ref-d1の特徴点Ｅ１〜Ｅ４が分割映像ＡＶ_Left-d1の特徴点Ｆ１〜Ｆ４と重なるように基準映像ＡＶ_ref-d1を変形する。逆に、分割映像ＡＶ_Left-d1の特徴点Ｆ１〜Ｆ４が基準映像ＡＶ_ref-d1の特徴点Ｅ１〜Ｅ４と重なるように分割映像ＡＶ_Left-d1を変形するようにしてもよい。
ここでは、４個の特徴点を抽出するものについて示しているが、なるべく多くの特徴点を抽出する方が、精度よく基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1の映像サイズや映像歪み合わせることができる。

また、類似映像選定部８は、上記のようにして、基準映像ＡＶ_ref-d1を変形すると、変形後の基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1を比較して、２つの映像の類似度を算出する。
類似度の算出方法は特に問わないが、例えば、映像間の差分値を類似度として算出するようにすればよい。
類似映像選定部８は、上記の比較処理を繰り返し実施することにより、基準映像ＡＶ_ref-d1に対する分割映像ＡＶ_Left-d1，ＡＶ_Right-d1の類似度、基準映像ＡＶ_ref-d2に対する分割映像ＡＶ_Left-d2，ＡＶ_Right-d2の類似度、基準映像ＡＶ_ref-d3に対する分割映像ＡＶ_Left-d3，ＡＶ_Right-d3の類似度を算出する。

類似映像選定部８は、上記のようにして類似度を算出すると、基準映像ＡＶ_ref-d1に対する分割映像ＡＶ_Left-d1の類似度と、基準映像ＡＶ_ref-d1に対する分割映像ＡＶ_Right-d1の類似度を比較し、類似度が大きい方の分割映像を選定する。
同様にして、基準映像ＡＶ_ref-d2に対する分割映像ＡＶ_Left-d2の類似度と、基準映像ＡＶ_ref-d2に対する分割映像ＡＶ_Right-d2の類似度を比較し、類似度が大きい方の分割映像を選定する。
また、基準映像ＡＶ_ref-d3に対する分割映像ＡＶ_Left-d3の類似度と、基準映像ＡＶ_ref-d3に対する分割映像ＡＶ_Right-d3の類似度を比較し、類似度が大きい方の分割映像を選定する。
ここでは説明の便宜上、類似映像選定部８が分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を選定するものとする。

映像配置部９は、上記のようにして、類似映像選定部８が分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を選定すると、図７に示すように、分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3の位置に配置する。
即ち、映像配置部９は、分割映像ＡＶ_Left-d1を基準映像ＡＶ_ref-d1の位置に配置し、分割映像ＡＶ_Left-d2を基準映像ＡＶ_ref-d2の位置に配置し、分割映像ＡＶ_Right-d3を基準映像ＡＶ_ref-d3の位置に配置するが、必要に応じて基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3に合わせて、分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を変形する。
分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3の変形は、類似映像選定部８が基準映像を変形する場合と同様の方法で行う。

また、映像配置部９は、分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3が基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3と同じ形になるように映像のトリミングを行う。
図７の例では、基準映像ＡＶ_ref-d2と重なる部分が分割映像ＡＶ_Left-d1，ＡＶ_Right-d3から削除されている。
映像生成部１０は、映像配置部９により配置された分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を一つの映像（広視野映像）として出力する。

以上で明らかなように、この実施の形態１によれば、全体撮影カメラ１の全体映像及び部分撮影カメラ２，３の部分映像を分割する映像分割部６と、映像分割部６により分割された全体映像の分割映像と複数の部分映像の分割映像を比較して、複数の部分映像の分割映像の中から、全体映像の各分割映像に最も類似している分割映像をそれぞれ選定する類似映像選定部８とを設け、その類似映像選定部８により選定された複数の分割映像を繋ぎ合わせるように構成したので、特殊なレンズなどを用いることなく、撮影対象物Ｃが平面上に存在しない場合でも、映像間のずれがない広視野映像を生成することができる効果を奏する。

また、この実施の形態１によれば、全体撮影カメラ１の全体映像及び部分撮影カメラ２，３の部分映像の歪みを補正して、全体映像及び部分映像を透視投影映像とみなせるように構成したので、全体撮影カメラ１の全体映像や部分撮影カメラ２，３の部分映像がレンズ歪などの影響を受けている歪みのある映像でも、映像間のずれがない広視野映像を生成することができる効果を奏する。

この実施の形態１によれば、全体撮影カメラ１の全体映像及び部分撮影カメラ２，３の部分映像のエッジを検出することにより、全体映像及び部分映像を分割するように構成したので、自動的に全体映像及び部分映像を分割することができる効果を奏する。

この実施の形態１によれば、全体映像の分割映像と部分映像の分割映像を比較する前に、全体映像の分割映像又は部分映像の分割映像を変形して、比較対象の分割映像の映像サイズを整えるように構成したので、分割映像の比較精度を高めることができる効果を奏する。

この実施の形態１によれば、類似映像選定部８により選定された複数の分割映像を繋ぎ合わせる際、映像分割部６により分割された全体映像の分割映像に合わせて、複数の分割映像を変形するように構成したので、映像間のずれがない高解像度の広視野映像を生成することができる効果を奏する。

実施の形態２．
上記実施の形態１では、全体撮影カメラ１が全体映像を撮影し、部分撮影カメラ２，３が部分映像を撮影するものについて示したが、図８に示すように、全体映像が記録されている全体映像ファイル１１及び部分映像が記録されている部分映像ファイル１２，１３が映像歪補正部５に取り込まれるようにしてもよい。
これにより、撮影対象物がリアルタイム処理が困難である複雑な物であっても、時間をかけて処理することが可能になり、このような撮影対象物が撮影されている広視野映像を生成することができる効果を奏する。
なお、この実施の形態２では、全体映像ファイル１１及び部分映像ファイル１２，１３から映像入力手段が構成される。

実施の形態３．
上記実施の形態１では、映像分割部６が撮影対象物Ａ，Ｂ，Ｃ毎に、全体映像及び部分映像を分割するものについて示したが、図９に示すように、映像分割部６が複数の撮影対象物Ａ１，Ａ２，Ｂ１，Ｂ２，Ｃをまとめて、撮影対象物Ａ１，Ａ２、撮影対象物Ｂ１，Ｂ２及び撮影対象物Ｃの単位で全体映像及び部分映像を分割するようにしてもよい。
図９の例では、全体撮影カメラ１により撮影された全体映像ＡＶ_allが分割映像ＡＶ_all-d1，ＡＶ_all-d2，ＡＶ_all-d3に分割されている。
また、部分撮影カメラ２により撮影された部分映像ＡＶ_Leftが分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Left-d3に分割されている。
また、部分撮影カメラ３により撮影された部分映像ＡＶ_Rightが分割映像ＡＶ_Right-d1，ＡＶ_Right-d2，ＡＶ_Right-d3に分割されている。

この実施の形態３によれば、複数の撮影対象物Ａ１，Ａ２，Ｂ１，Ｂ２，Ｃが、撮影対象物Ａ１，Ａ２、撮影対象物Ｂ１，Ｂ２及び撮影対象物Ｃにまとめられて取り扱われるので、処理負荷の低減を図ることができる効果を奏する。

実施の形態４．
上記実施の形態１では、映像分割部６が撮影対象物Ａ，Ｂ，Ｃ毎に、全体映像及び部分映像を分割するものについて示したが、図１０に示すように、一つの撮影対象物に係る映像を複数の映像に分割するようにしてもよい。
図１０の例では、全体撮影カメラ１により撮影された全体映像ＡＶ_allが分割映像ＡＶ_all-d1，ＡＶ_all-d2に分割されている。
また、部分撮影カメラ２により撮影された部分映像ＡＶ_Leftが分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Left-d3，ＡＶ_Left-d4に分割されている。
また、部分撮影カメラ３により撮影された部分映像ＡＶ_Rightが分割映像ＡＶ_Right-d1，ＡＶ_Right-d2，ＡＶ_Right-d3，ＡＶ_Right-d4に分割されている。

この実施の形態４によれば、一つの撮影対象物に係る映像が複数の映像に分割されるため、カメラに対して深さ方向に大きさがある撮影対象物（３次元の物体）も適用することができる効果を奏する。

実施の形態５．
上記実施の形態１では、映像配置部９が類似映像選定部８により選定された分割映像ＡＶ_Left-d1，ＡＶ_Left-d2，ＡＶ_Right-d3を基準映像ＡＶ_ref-d1，ＡＶ_ref-d2，ＡＶ_ref-d3の位置に配置するものについて示したが、図１１に示すように、例えば、部分撮影カメラ３が設置されない場合には、部分撮影カメラ２の部分映像ＡＶ_Leftが分割された分割映像ＡＶ_Left-d1，ＡＶ_Left-d2を基準映像ＡＶ_ref-d1，ＡＶ_ref-d2の位置に配置して、基準映像ＡＶ_ref-d3をそのまま使用するようにしてもよい。

これにより、カメラの台数が少ない場合や、基準映像とのマッチングに失敗して、分割映像を選択することができない場合でも、元の基準映像を使用することで、広視野映像を生成することができる効果を奏する。

この発明の実施の形態１による映像合成装置を示す構成図である。カメラと撮影対象物の配置関係を示す説明図である。全体映像ＡＶ_all及び部分映像ＡＶ_Left，ＡＶ_Rightを示す説明図である。全体映像ＡＶ_allの分割映像及び部分映像ＡＶ_Left，ＡＶ_Rightの分割映像を示す説明図である。基準映像ＡＶ_ref-d1と分割映像ＡＶ_Left-d1の特徴点を示す説明図である。基準映像の変形例を示す説明図である。分割映像の配置例を示す説明図である。この発明の実施の形態２による映像合成装置を示す構成図である。全体映像ＡＶ_allの分割映像及び部分映像ＡＶ_Left，ＡＶ_Rightの分割映像を示す説明図である。全体映像ＡＶ_allの分割映像及び部分映像ＡＶ_Left，ＡＶ_Rightの分割映像を示す説明図である。全体映像ＡＶ_allの分割映像及び部分映像ＡＶ_Left，ＡＶ_Rightの分割映像を示す説明図である。

符号の説明

１全体撮影カメラ（映像入力手段）、２，３部分撮影カメラ（映像入力手段）、４歪補正用パラメータ保持部（映像歪補正手段）、５映像歪補正部（映像歪補正手段）、６映像分割部（映像分割手段）、７基準設定部（類似映像選定手段）、８類似映像選定部（類似映像選定手段）、９映像配置部（映像合成手段）、１０映像生成部（映像合成手段）、１１全体映像ファイル、１２，１３部分映像ファイル（映像入力手段）。

Claims

撮影範囲の全体が撮像されている全体映像を入力するとともに、上記撮影範囲の一部が撮像されている複数の部分映像を入力する映像入力手段と、上記映像入力手段により入力された全体映像及び複数の部分映像を分割する映像分割手段と、上記映像分割手段により分割された全体映像の分割映像と複数の部分映像の分割映像を比較して、上記複数の部分映像の分割映像の中から、上記全体映像の各分割映像に最も類似している分割映像をそれぞれ選定する類似映像選定手段と、上記類似映像選定手段により選定された複数の分割映像を繋ぎ合わせる映像合成手段とを備えた映像合成装置。
映像入力手段により入力された全体映像及び複数の部分映像の歪みを補正して、透視投影映像とみなせる全体映像及び複数の部分映像を映像分割手段に出力する映像歪補正手段を設けたことを特徴とする請求項１記載の映像合成装置。
映像分割手段は、映像入力手段により入力された全体映像及び複数の部分映像のエッジを検出することにより、上記全体映像及び複数の部分映像を分割することを特徴とする請求項１記載の映像合成装置。
類似映像選定手段は、全体映像の分割映像と複数の部分映像の分割映像を比較する前に、上記全体映像の分割映像又は複数の部分映像の分割映像を変形して、比較対象の分割映像の映像サイズを整えることを特徴とする請求項１記載の映像合成装置。
映像合成手段は、類似映像選定手段により選定された複数の分割映像を繋ぎ合わせる際、映像分割手段により分割された全体映像の分割映像に合わせて、上記複数の分割映像を変形することを特徴とする請求項１記載の映像合成装置。