JP2004118786A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】全方位画像のオーバーラップ部分を正確に調整する。
【解決手段】全方位画像を構成する隣接する視線方向の画像のオーバーラップ部分を検出して、それぞれをラプラシアンフィルタにより処理し、エッジからなる画像に変換する。黒丸で示す第１の画像のエッジの画素と、白丸で示す第２の画像のエッジの画素間で、相互に最も近い画素間の距離を求め、これらの和をエッジ差分として求める。これらのエッジ差分が所定の閾値より小さくなるまで、画像をずらしながら同様の処理を繰り返すことにより、第１の画像と第２の画像が正確に設定される。本発明は、全方位カメラに適用することができる。
【選択図】　　　図２３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、複数の視点で撮像された画像の端部を正確に重ね合わせて全方位画像を生成できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
所定の位置を中心として、その所定の位置からの全方位を複数の視点で撮像し、隣り合う視点の画像を順次接合して（貼り合わせて）全方位画像を生成する技術が一般に普及しつつある。
【０００３】
このように生成された全方位画像は、任意の画角を指定することで、所定の位置で観測される任意の方向の画像を表示させるようにすることができる。
【０００４】
また、従来の画像処理装置には、２枚の画像の濃淡の差分を最小となるように調整して合成するものがある。（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開平１１−１０２４３０号公報（第８ページ、図５）
【０００６】
【発明が解決しようとする課題】
ところで、この全方位画像は、それぞれの画像の端部が正確に貼り合わされていない場合、すなわち、貼り合わせ部分にずれが生じる場合、例えば、指定された画角に貼り合わせ部分が存在すると、そのずれの生じている、貼り合わせ部分が表示されることにより、見ているものにとって違和感のある画像が表示されてしまうという課題があった。
【０００７】
しかしながら、正確に貼り合わせがなされているか否かを確認する方法としては、１フレーム（１秒間に３０フレーム表示されるうちの１枚）に含まれる貼り合せ箇所全てを目視により確認して、さらにずらして貼り合わせ、この処理を全フレームに対して行うというものが一般的であり、さらに、ずれ幅を修正して全方位画像を構成するのは、非常に手間がかかるものであるという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、複数の視点で撮像された画像の端部を正確に重ね合わせるようにして全方位画像を生成できるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、広角度画像のうち、第１の画像と、第２の画像の重ね合わせ部分を検出する検出手段と、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較する比較手段と、比較手段の比較結果に対応して第１の画像と、第２の画像の重ね合わせ部分をずらして接合する接合手段とを備えることを特徴とする。
【００１０】
前記重ね合わせ部分における、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値を求める差分演算手段をさらに設けるようにさせることができ、比較手段には、差分演算手段により演算された、重ね合わせ部分における、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値を所定の閾値と比較することにより、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較させるようにすることができる。
【００１１】
前記重ね合わせ部分における、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値を対数化する対数化手段をさらに設けるようにさせることができ、比較手段には、重ね合わせ部分における、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値を対数化手段により対数化した値と所定の閾値と比較することにより、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較させるようにすることができる。
【００１２】
前記重ね合わせ部分の、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値のうちの中央値を求める中央値検出手段をさらに設けるようにさせることができ、比較手段には、中央値検出手段により検出された、重ね合わせ部分の、第１の画像と、第２の画像の、広角度画像上の同位置の画素間の画素値の差分の絶対値のうちの中央値を所定の閾値と比較することにより、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較させるようにすることができる。
【００１３】
前記第１の画像と第２の画像からエッジを抽出するエッジ抽出手段をさらに設けるようにさせることができ、比較手段には、エッジ抽出手段により抽出された、重ね合わせ部分の、第１の画像のエッジと、第２の画像のエッジを比較することにより、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較させるようにすることができる。
【００１４】
本発明の画像処理方法は、広角度画像のうち、第１の画像と、第２の画像の重ね合わせ部分を検出する検出ステップと、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値を比較する比較ステップと、比較ステップの処理での比較結果に対応して第１の画像と、第２の画像の重ね合わせ部分をずらして接合する接合ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、広角度画像のうち、第１の画像と、第２の画像の重ね合わせ部分の検出を制御する検出制御ステップと、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値の比較を制御する比較制御ステップと、比較制御ステップの処理での比較結果に対応して第１の画像と、第２の画像の重ね合わせ部分をずらした接合を制御する接合制御ステップとを含むことを特徴とする。
【００１６】
本発明のプログラムは、広角度画像のうち、第１の画像と、第２の画像の重ね合わせ部分の検出を制御する検出制御ステップと、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値の比較を制御する比較制御ステップと、比較制御ステップの処理での比較結果に対応して第１の画像と、第２の画像の重ね合わせ部分をずらした接合を制御する接合制御ステップとを実行させることを特徴とする。
【００１７】
本発明の画像処理装置および方法、並びにプログラムにおいては、広角度画像のうち、第１の画像と、第２の画像の重ね合わせ部分が検出され、重ね合わせ部分における、第１の画像と、第２の画像のそれぞれの画素間の画素値が比較され、比較結果に対応して第１の画像と、第２の画像の重ね合わせ部分がずらされて接合される。
【００１８】
【発明の実施の形態】
図１は、本発明に係る全方位カメラの一実施の形態の構成を示すブロック図である。
【００１９】
ビデオカメラ１１−１乃至１１−８は、例えば、図２で示すように円周上に略４５度の略等間隔に配設され、８個の視点から、それぞれに対応する位置に配設されている平面鏡からなる反射部２１−１乃至２１−８を介しての全方向を撮像し、それぞれの出力を切替部１２に出力する。より詳細には、各ビデオカメラ１１−１乃至１１−８は、その視線方向について台２２の図中垂直方向の略中央部一致するように配設され、さらに、各ビデオカメラ１１−１乃至１１−８の視線方向が水平面上で所定の角度（略４５度）の間隔を成すように配置されている。
【００２０】
尚、以下において、ビデオカメラ１１−１乃至１１−８を特に区別する必要がない場合、単にビデオカメラ１１と称するものとし、その他の部位についても同様に称する。
【００２１】
各ビデオカメラ１１−１乃至１１−８は、それぞれに対応する反射部２１−１乃至２１−８で反射された周囲の背景を撮像することにより、水平方向３６０度の画像を鏡像撮像し、切替部１２に出力する。また、各ビデオカメラ１１−１乃至１１−８は、図示せぬビデオキャプチャボードを介して合計８本のビットマップ形式のファイルからなるストリーム（画像および音声）を切替部１２に出力する。
【００２２】
切替部１２は、ビデオカメラ１１−１乃至１１−８のそれぞれから入力されてくるストリームを適宜記憶し、各ビデオカメラ１１に対応するレンズの歪補正を行った後、時分割して全方位画像データ生成部１３に出力する。
【００２３】
全方位画像データ生成部１３は、切替部１２から順次切り替えて入力されてくるストリームデータを用いて、全方位画像データを生成し、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）エンコーダ１４に出力する。尚、全方位画像データ生成部１３については詳細を後述する。
【００２４】
図１，図２で示す全方位カメラの構成では、各ビデオカメラ１１に撮像される画像は、９０度回転した形式で収録される。ビデオカメラ１１の画角（所定の基準となる視点からみた任意の視点方向の角度）の関係と８台のビデオカメラ１１の各視点を一致させる都合上、８本のストリームを貼り合わせる前に、図３で示すように、９０度回転やミラー反転などの加工処理を施す。また、全方位画像データ生成部１３は、キャプチャリングした時点では、１本のストリームにおける１フレームの画像を、７２０画素×４８６画素からなるＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）形式の静止画像として生成する。
【００２５】
ＭＰＥＧエンコーダ１４は、入力された全方向画像データをＭＰＥＧ２方式で圧縮し記録部１５に出力する。記録部１５は、ＭＰＥＧエンコーダ１４より入力されたＭＰＥＧ方式で圧縮されている全方向画像データを記録媒体１６に記録する。
【００２６】
次に、全方位カメラの動作について説明する。
【００２７】
各ビデオカメラ１１−１乃至１１−８が、それぞれの視点の画像をキャプチャリングして、１フレーム分のビットマップ画像にして切替部１２に出力する。切替部１２は、入力された１フレーム分のビットマップ画像を各ビデオカメラ１１毎にレンズ歪補正すると共に全方位画像データ生成部１３に出力する。
【００２８】
全方位画像データ生成部１３は、入力された８本のストリームから全方位画像データを生成してＭＰＥＧエンコーダ１４に出力する。
【００２９】
より詳細には、各ビデオカメラ１１−１乃至１１−８により撮像される画像は、図４で示すように、所定の軸を中心として、放射状に設定された複数の視点で、その一部分（それぞれの端部）が重なり合うように撮像された画像が、その端部で貼り合わされことにより生成される広角度画像の寄せ集めであり、軸を中心として３６０度の広角度画像とされることにより全方位画像が構成されている。
【００３０】
図４において、画像Ｐ１乃至Ｐ８は、それぞれビデオカメラ１１−１乃至１１−８により撮像された基本的に同じタイムコードの画像を示している。尚、画像Ｐ１は、水平方向に端部Ｅ１−１乃至Ｅ１−２の範囲であり、画像Ｐ２は、水平方向に端部Ｅ２−１乃至Ｅ２−２の範囲であり、画像Ｐ３は、水平方向に端部Ｅ３−１乃至Ｅ３−２の範囲であり、画像Ｐ４は、水平方向に端部Ｅ４−１乃至Ｅ４−２の範囲であり、画像Ｐ５乃至Ｐ８についても同様である。また、同一のタイムコードの画像が存在しない場合、その前後の画像を代用するようにする。
【００３１】
このように、画像Ｐ１の端部Ｅ２−１乃至端部Ｅ１−２の範囲の画像は、画像Ｐ２の端部Ｅ２−１乃至Ｅ１−２の範囲の画像と同様の画像となるように、画像Ｐ２の端部Ｅ３−１乃至Ｅ２−２の範囲の画像は、画像Ｐ３の端部Ｅ３−１乃至Ｅ２−２の範囲の画像と同様の画像となるように、重ね合わせ（貼り合わせ）が可能となるように視点が設定されている（画像Ｐ４乃至Ｐ８のいずれにおいても同様）。このため、切れ目のない全方位画像を構成することができる。尚、この重ね合わせ部分（以下、オーバーラップ部分とも称する）の幅は、後述する調整方法により相互の端部の画像が一致するように調整される。
【００３２】
全方位画像データ生成部１３は、このように全方位画像を構成することが可能な画像Ｐ１乃至Ｐ８を、図３で示したように９０度回転およびミラー反転させた後、図５で示すように各画像を貼り合わせて１枚のフレームを生成して、全方位画像データを構成しＭＰＥＧエンコーダ１４に出力する。
【００３３】
すなわち、図５で示すように、１フレームには、図中上段に、左から画像Ｐ７，Ｐ８，Ｐ１，Ｐ２，Ｐ３，Ｐ４が配置され、さらに、図中下段に、左からＰ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８が配置されている。本来、全方位画像データを構成するには、画像Ｐ１乃至Ｐ８までの画像が各１個含まれていればよいが、例えば、上段に画像Ｐ１乃至Ｐ４を配置し、下段に画像Ｐ５乃至Ｐ８を配置するように構成すると、画像Ｐ４と画像Ｐ５の重ね合わせ部分（オーバーラップ部分）が全方位画像データに含まれないことになるため、連続的に画角を変えながら全方位画像を再生させる場合、画像Ｐ４，Ｐ５の境界を跨ぐような画角が指定されたときに、違和感のある画像となってしまう。そこで、図５で示したような構成とすることにより、各画像が重なり合う部分（オーバーラップ部分）の情報をもれなく含めることが可能になると共に、全方位画像を画角を変えながら再生させる際に、違和感のない画像を再生させることが可能となる。尚、全方位画像データ生成部１３の詳細な動作について後述する。
【００３４】
ＭＰＥＧエンコーダ１４は、全方位画像データ生成部１３により生成された全方位画像データを順次、図５で示したような１フレーム分の画像データとして、ＭＰＥＧ２方式で圧縮し、記録部１５に出力する。
【００３５】
記録部１５は、ＭＰＥＧエンコーダ１４より入力された、ＭＰＥＧ２方式で圧縮された全方位画像データを順次記録媒体１６に記録させる。
【００３６】
以上のように、図１の全方位カメラを使用することで、複数の視点で撮像された画像に基づいた全方位画像を生成して、記録することが可能となる。
【００３７】
次に、図６を参照して、図１の全方位カメラにより記録媒体１６に記録された全方位画像を再生する再生装置について説明する。
【００３８】
再生部３１は、記録媒体１６に記録されている、ＭＰＥＧ２方式で圧縮された全方位画像データを読み出して、ＭＰＥＧデコーダ３２に出力する。ＭＰＥＧデコーダ３２は、再生部３１より読み出されたＭＰＥＧ２方式で圧縮された全方位画像データをデコードしてフレームメモリ３３に出力して記憶させる。
【００３９】
切出部３４は、キーボード、ポインタデバイス、または操作ボタンなどから構成される操作部３５がユーザにより操作されて指定された画角に応じて、フレームメモリ３３に記憶された全方位画像データから表示画像データを切出して、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）からなる表示部３６に、ユーザにより指定された画角の画像を表示する。
【００４０】
次に、再生装置の動作について説明する。
【００４１】
再生部３１は、記録媒体１６に記録されているＭＰＥＧ２方式で圧縮された全方位画像データを読み出し、ＭＰＥＧデコーダ３２に出力する。ＭＰＥＧデコーダ３２は、読み出されたＭＰＥＧ２方式で圧縮された全方位画像データをデコードしてフレームメモリ３３に出力して記憶させる。
【００４２】
切出部３４は、操作部３５がユーザにより操作されて、指定された画角の表示画像をフレームメモリ３３に記憶された全方位画像データより読み出して表示部３６に表示する。すなわち、例えば、図７で示すように、操作部３５が操作されて画角Ａ１が指定されると、切出部３４は、フレームメモリ３３に記憶された全方位画像データのうちＦ１で示される範囲の画像データを表示画像として切出して表示部３６に表示させる。また、操作部３５が操作されて画角Ａ２が指定されると、切出部３４は、全方位画像データのうちＦ２で示される範囲の画像データを切出して表示画像として表示部３６に表示させる。
【００４３】
以上の再生装置によれば、全方位画像が記録された記録媒体より、ユーザの任意の画角（視点の角度）の画像を表示することが可能となる。
【００４４】
尚、以上においては、全方位カメラに、ビデオカメラ１１を８台設けた場合について説明してきたが、それ以上のビデオカメラを設けるようにしてもよい。また、フレーム単位の画像の圧縮方法としては、ＭＰＥＧ２に限るものではなく、その他の圧縮方法でもよく、例えば、Ｍｏｔｉｏｎ　ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などでもよい。
【００４５】
次に、図８を参照して、全方位画像データ生成部１３の詳細な構成について説明する。全方位データ生成部１３は、上述のようにビデオカメラ１１−１乃至１１−８により撮像される８本のストリームから全方位画像データを生成するが、この際、オーバーラップ部分が完全に一致した状態に近い状態で貼り合わせられるようにずれを調整して全方位画像データを生成している。
【００４６】
貼り合わせにおいてずれが生じる原因は、主に、パララックス、フレームずれ、または、追い込み不足といったことが考えられている。ここでいうパララックスによるずれとは、全方位映像は複数のビデオカメラ１１を用いて撮像した画像を貼り合わせるので、ビデオカメラ１１間の視差により生じるずれを示している。
【００４７】
また、フレームずれとは、オーバーラップ部分に隣り合う画像のフレーム間のタイムコードが違う画像になっていることにより生ずるずれである。各ビデオカメラ１１により撮像された画像は、上述のようにそれぞれに時系列的に並んでおり、基本的には、同じタイムコードの画像が貼り合わされることで全方位映像が作成されているが、複数のビデオカメラ１１が使用されていることから、撮像した画像の中にフレームが欠けていたり、デジタイズした後のハードウェア上でデータが欠けていたりすることがあり、この場合、タイムコードの異なる画像が貼り合わされることがあるので、このようなとき隣接する画像のオーバーラップ部分がずれてしまうことがある。
【００４８】
さらに、追い込み不足によるずれとは、注意深く貼り合せを行えば正確に合わせることが可能であるが、ストリームデータを限られた時間内に、合わせるにはハードウェアの精度上の問題で、正確な位置でオーバーラップ部分を貼り合わせることができないことにより生じてしまうずれを示す。
【００４９】
以上の原因のうち、パララックスによるずれは、各ビデオカメラ１１のそれぞれを調整することでしか解消することができず困難である。そこで、本発明の全方位カメラ編集システム（もしくは編集ソフト）は、上述のフレームずれと追い込み不足によるずれを、オーバーラップ部分の画素間の画素値を比較し、その比較結果により画像を調整して、全方位画像データを生成する。
【００５０】
そこで、図８を参照して、オーバーラップ部分の画素間の比較結果により画像を調整する全方位画像データ生成部１３の構成について説明する。
【００５１】
加工接合部６１は、切替部１２より順次入力されてくるビデオカメラ１１−１乃至１１−８より撮像された画像データを９０度回転、または、ミラー反転させるなどした後、所定の調整量で各画像を接合して（貼り合せて）、一時的な全方位画像データ（オーバーラップ部分が調整されていない仮の全方位画像データ）を生成して、フレームメモリ６２に記憶させる。また、加工接合部６１は、この一時的な全方位画像データに基づいて、調整量決定部６６により演算された、画像の位置を調整する調整量に基づいてフレームメモリ６２に記憶されている一時的に生成された全方位画像データの接合位置を、例えば、水平方向または垂直方向に１画素単位でずらしながら調整する処理を繰り返す。加工接合部６１は、所定のずれ幅以内であると判定された場合、そのときにフレームメモリ６２に記憶されている全方位画像（画像が調整された全方位画像）データを最終的な全方位画像データとして、ＭＰＥＧエンコーダ１４に出力する。
【００５２】
オーバーラップ画素検出部６３は、フレームメモリ６２に記憶されている一時的に生成された、オーバーラップ部分が調整されていない全方位画像データのうちのオーバーラップ部分の画素を検出し、差分演算部６４に出力する。すなわち、例えば、図５で示すように全方位画像データが生成されていた場合、オーバーラップ部分Ｅ１−１乃至Ｅ８−２、Ｅ２−１乃至Ｅ１−２、Ｅ３−１乃至Ｅ２−２、Ｅ４−１乃至Ｅ３−２、Ｅ５−１乃至Ｅ４−２、Ｅ６−１乃至Ｅ５−２、Ｅ７−１乃至Ｅ６−２、またはＥ８−１乃至Ｅ７−２の画素を検出する。
【００５３】
差分演算部６４は、図示せぬカウンタを用いてオーバーラップ画素検出部６３より入力された全てのオーバーラップ部分の所定の画素間の画素値の差分の絶対値を演算し、演算結果を比較部６５に出力する。すなわち、差分演算部６４は、オーバーラップ部分の画素位置に存在する２つの画像の画素の画素値として、ＲＧＢ信号それぞれの画素値の差分の絶対値を求めて比較部６５に出力する。例えば、図５のオーバーラップ部分Ｅ２−１乃至Ｅ１−２の場合、画像Ｐ１の端部Ｅ２−１乃至Ｅ１−２の画素の画素値と、対応する画像Ｐ２の端部Ｅ２−１乃至Ｅ１−２の画素のＲＧＢのそれぞれについての差分の絶対値を求め、これを全てのオーバーラップ部分においても同様の処理を繰り返して、さらに、求められた全ての差分の絶対値を加算して比較部６５に出力する。尚、以下においては、オーバーラップ部分の同一画素位置の１画素の画素値を比較する例について説明するが、それ以上の画素数であってもよく、言うまでもなくオーバーラップ部分の同一画素位置の全画素の差分の絶対値を求めてもよい。
【００５４】
比較部６５は、差分演算部６４より入力された全てのオーバーラップ部分の差分の絶対値の累積加算値を所定の閾値ｔｈと比較して、比較結果を調整量決定部６６に出力する。すなわち、オーバーラップ部分の画素の画素値は、オーバーラップ部分に存在する２の画像が、その端部で完全に一致していればその差分は０となるので、全てのオーバーラップ部分の差分の絶対値の累積加算値についても、一致した状態に近いほど小さい値となる。
【００５５】
調整量決定部６６は、比較部６５から入力される比較結果に基づいて、加工接合部６１に対して画像の調整量を決定し加工接合部６１に出力する。すなわち、比較結果が所定の閾値ｔｈ以下ではない場合、調整量決定部６６は、オーバーラップ位置を順次変化させて接合するように（ずらして接合するように）調整量を設定して加工接合部６１に出力し、閾値以下である場合、その時点でフレームメモリ６２に記憶されている全方位画像データを、最終的な全方位画像データとしてＭＰＥＧエンコーダ１４に出力するように指令する。
【００５６】
次に、図９のフローチャートを参照して、全方位画像データ生成処理について説明する。
【００５７】
ステップＳ１において、加工接合部６１は、切替部１２より入力されてくる８本のストリームをフレーム単位で９０度回転させ、さらに、ミラー反転させた後、所定の間隔でそれらを並べてオーバーラップ部分を構成し、一時的な全方位画像データを生成してフレームメモリ６２に記憶させると共に、フレーム数を示すカウンタｎが初期化（ｎ＝１）される。すなわち、このタイミングでは、オーバーラップ部分の画像が相互に一致しているか否かは吟味されていない。
【００５８】
ステップＳ２において、オーバーラップ部分の数を示すカウンタｘ（１≦ｘ≦７）、差分の絶対値の累積加算値を示すカウンタＤ、および、各オーバーラップ部分の画素のＲＧＢ成分それぞれの差分の絶対値を示すカウンタＤＲ−ｘ，ＤＧ−ｘ，ＤＢ−ｘが初期化（Ｄ＝（ＤＲ−ｘ）＝（ＤＧ−ｘ）＝（ＤＢ−ｘ）＝０，ｘ＝１）される。
【００５９】
ステップＳ３において、オーバーラップ画素検出部６３は、カウンタｎを参照して対応する第ｎフレームの一時的な全方位画像データをフレームメモリ６２により読み出し、ステップＳ４において、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分の画素を検出して、検出結果を差分演算部６４に出力する。すなわち、例えば、図４の場合、カウンタｘが１のとき、画像Ｐ１とＰ２のオーバーラップ部分Ｅ２−１乃至Ｅ１−２に対応する画素が検出される。
【００６０】
ステップＳ５において、差分演算部６４は、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分の画素の差分の絶対値であるＤＲ−ｘ，ＤＧ−ｘ，ＤＢ−ｘを求める。すなわち、例えば、カウンタｘが１の場合、画像Ｐ１とＰ２のオーバーラップ部分Ｅ２−１乃至Ｅ１−２に対応する画素のうちの所定の画素位置の画素に対応する画像Ｐ１上の画素と画像Ｐ２上の画素とのＲＧＢ成分それぞれの画素値の差分の絶対値を演算して、ＲＧＢ成分それぞれの差分の絶対値ＤＲ−１，ＤＧ−１，ＤＢ−１として求める。
【００６１】
ステップＳ６において、差分演算部６４は、求められたＲＧＢ各成分の差分の絶対値ＤＲ−ｘ，ＤＧ−ｘ，ＤＢ−ｘを差分の絶対値の累積加算値Ｄに加算する（差分の絶対値の累積加算値Ｄ＝Ｄ＋（ＤＲ−ｘ）＋（ＤＧ−ｘ）＋（ＤＢ−ｘ）を演算する）。
【００６２】
ステップＳ７において、オーバーラップ部分のカウンタｘに１を加算した値（＝ｘ＋１）がビデオカメラの台数（今の場合、８台）と一致するか否かが判定され、一致しないと判定された場合、その処理は、ステップＳ８に進み、カウンタｘが１だけインクリメントされてその処理は、ステップＳ４に戻る。
【００６３】
すなわち、カウンタｘの値に応じて、図５で示すオーバーラップ部分Ｅ２−１乃至Ｅ１−２、Ｅ３−１乃至Ｅ２−１、Ｅ４−１乃至Ｅ３−２、Ｅ５−１乃至Ｅ４−２、Ｅ６−１乃至Ｅ５−２、Ｅ７−１乃至Ｅ６−２、およびＥ８−１乃至Ｅ７−２の所定の画素位置の画素に対応する画素間の差分の絶対値の累積加算値が得られることになる。
【００６４】
ステップＳ７において、オーバーラップ部分のカウンタｘに１を加算した値（＝ｘ＋１）がビデオカメラの台数（今の場合、８台）と一致すると判定された場合、すなわち、オーバーラップ部分Ｅ２−１乃至Ｅ１−２、Ｅ３−１乃至Ｅ２−１、Ｅ４−１乃至Ｅ３−２、Ｅ５−１乃至Ｅ４−２、Ｅ６−１乃至Ｅ５−２、Ｅ７−１乃至Ｅ６−２、およびＥ８−１乃至Ｅ７−２の所定の画素位置の画素に対応する画素間の差分の絶対値の累積加算値が求められている状態の場合、その処理は、ステップＳ９に進む。
【００６５】
ステップＳ９において、画像Ｐ（ｘ＋１）と画像Ｐ１のオーバーラップ部分の画素を検出して、検出結果を差分演算部６４に出力する。すなわち、ステップＳ９においては、カウンタｘが７なので、図５における画像Ｐ８とＰ１のオーバーラップ部分Ｅ１−１乃至Ｅ８−２に対応する画素が検出される。
【００６６】
ステップＳ１０において、差分演算部６４は、画像Ｐ（ｘ＋１）（＝Ｐ８）と画像Ｐ１のオーバーラップ部分の画素の差分の絶対値であるＤＲ−（ｘ＋１），ＤＧ−（ｘ＋１），ＤＢ−（ｘ＋１）を求める。すなわち、今の場合、カウンタｘは７なので、画像Ｐ８とＰ１のオーバーラップ部分Ｅ１−１乃至Ｅ８−２に対応する画素のうちの所定の画素位置の画素に対応する画像Ｐ８上の画素と画像Ｐ１上の画素とのＲＧＢ成分それぞれの画素値の差分の絶対値を演算して、ＲＧＢ成分それぞれの差分の絶対値ＤＲ−８，ＤＧ−８，ＤＢ−８として求める。
【００６７】
ステップＳ１１において、差分演算部６４は、求められたＲＧＢ各成分の差分の絶対値ＤＲ−（ｘ＋１），ＤＧ−（ｘ＋１），ＤＢ−（ｘ＋１）を差分の絶対値の累積加算値Ｄに加算し（差分の絶対値の累積加算値Ｄ＝Ｄ＋（ＤＲ−（ｘ＋１））＋（ＤＧ−（ｘ＋１））＋（ＤＢ−（ｘ＋１））を演算し）、演算結果を比較部６５に出力する。すなわち、ステップＳ１１の処理により、全方位画像データの１フレーム分の全てのオーバーラップ部分の画像の所定の画素位置の画素間の画素値の差分の絶対値の累積加算値Ｄが求められることになるので、その演算結果が比較部６５に出力される。
【００６８】
ステップＳ１２において、比較部６５は、差分演算部６４より入力された累積加算値Ｄと所定の閾値ｔｈとを比較して、閾値ｔｈより大きいか否かを判定し、閾値ｔｈより大きいと判定した場合、その判定結果を調整量決定部６６にその処理は、ステップＳ１３に進む。
【００６９】
ステップＳ１３において、調整量決定部６６は、加工接合部６１に対して所定の幅だけ画像をずらすような調整量を加工接合部６１に供給し、これに応じて加工接合部６１は、フレームメモリ６２に記憶されている全方位画像データからなる第ｎフレームの全てのオーバーラップ部分を所定の幅だけ（例えば、水平方向、または、垂直方向に画素単位で）ずらし、その処理は、ステップＳ２に戻る。
【００７０】
ステップＳ１２において、累積加算値Ｄが所定の閾値ｔｈより大きくないと判定した場合、すなわち、累積加算値Ｄが所定の閾値ｔｈよりも小さく、ずれ幅が小さいと判定された場合、ステップＳ１４において、加工接合部６１は、今現在フレームメモリ６２に記憶されている第ｎフレームの全方位画像データをＭＰＥＧエンコーダ１４に出力する。
【００７１】
ステップＳ１５において、加工接合部６１は、全てのフレームについて、画像が調整された全方位画像データが生成されたか否かを判定し、全てのフレームについて画像が調整された全方位画像データが生成されていないと判定した場合、その処理は、ステップＳ１６に進む。
【００７２】
ステップＳ１６において、フレームのカウンタｎが１インクリメントされて、その処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。また、ステップＳ１５において、全てのフレームについて画像が調整された全方位画像データが生成されたと判定された場合、その処理は、終了する。
【００７３】
すなわち、ステップＳ１２において、累積加算値Ｄが閾値ｔｈよりも小さくなるまで、すなわち、第ｎフレームの画像の位置を少しずつずらしながらオーバーラップ部分の貼り合わせが正確になされるまで、ステップＳ２乃至Ｓ１３の処理が繰り返される。そして、オーバーラップ部分のずれが小さくなったとき、すなわち、累積加算値Ｄが閾値ｔｈよりも小さくなったとき、そのフレームの全方位画像データが出力され、次の全方位画像データのフレームに処理が移る。そして、最終的に全てのフレームで同様の処理がなされたとき、その処理が終了する。
【００７４】
以上によれば、全方位画像データのオーバーラップ部分の画素間の画素値の差分の絶対値が最小となるように画像を調整するようにしたので、表示が指示された画角の表示画像にオーバーラップ部分が含まれていても、違和感のない全方位画像を表示することが可能となる。
【００７５】
尚、図８の全方位画像データ生成部１３は、差分の絶対値に基づいて、調整量を設定していたが、例えば、差分の絶対値の対数を取るようにすることで、より精度の高い画像の調整を行った全方位画像データを生成することができる。
【００７６】
図１０は、差分の絶対値を対数化して所定の閾値と比較するようにした全方位画像データ生成部１３を示している。尚、図１０中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図１０の全方位画像データ生成部１３において、図８の全方位画像データ生成部１３と異なる点は、差分対数化部７１および比較部７２が設けられている点である。
【００７７】
差分対数化部７１は、差分演算部６４で求められた差分の絶対値の累積加算値Ｄを対数化して、対数ＬＤを求め、比較部７２に出力する。
【００７８】
比較部７２は、基本的には、図８の比較部６５と同様のものであるが、差分の絶対値の累積加算値Ｄに代えて、対数ＬＤを閾値ｔｈ−Ｌと比較する。
【００７９】
すなわち、差分の絶対値の累積加算値Ｄを対数化して対数ＬＤを使用することにより、図１１で示すように、オーバーラップ部分のずれに対する評価値（＝対数ＬＤ）が、累積加算値Ｄに比べて、ずれ幅が小さいほど大きく変化し、ずれ幅が大きいほど小さく変化する。基本的に、オーバーラップ部分のずれ幅は小さいものであるので、微小なずれが生じていても、対数ＬＤは、（対数を取らなかった場合に比べて）大きな値として求められることになるため、小さなずれを敏感に評価することができ、高い精度で画像を調整することができる。
【００８０】
次に、図１２のフローチャートを参照して、図１０の全方位画像データ生成部１３による全方位画像データ生成処理について説明する。この処理は、対数を使用する以外の点のついては、基本的に、図９のフローチャートを参照して説明した処理と同様である。尚、図１２のステップＳ３１乃至Ｓ４１、および、ステップＳ４４乃至Ｓ４７の処理は、図９のフローチャートを参照して説明したステップＳ１乃至Ｓ１５の処理と同様であるので、その説明は省略する。
【００８１】
ステップＳ４２において、差分対数化部７１は、差分演算部６４により演算された全方位画像データの１フレーム分の全てのオーバーラップ部分の画像の所定の画素位置の画素間の画素値の差分の絶対値の累積加算値Ｄを対数化して、対数ＬＤを求め、比較部７２に出力する。
【００８２】
ステップＳ４３において、比較部７２は、対数ＬＤが所定の閾値ｔｈ−Ｌよりも大きいか否かを判定し、大きいと判定した場合、すなわち、オーバーラップ部分のずれが大きいと判定した場合、その処理は、ステップＳ４４に進み、大きくない、すなわち、オーバーラップ部分のずれ幅が小さいと判定した場合、その処理は、ステップＳ４５に進む。
【００８３】
以上によれば、累積加算値Ｄの対数ＬＤが、閾値ｔｈと比較され、その比較結果を用いて画像が調整されるようにしたので、より精度の高い画像の調整が可能となる。
【００８４】
以上の例において、図８、または、図１０の全方位画像データ生成部１３は、各フレーム単位で、オーバーラップ部分を調整しているため、例えば、図４で示すような全方位画像を考える場合、タイミングによっては、画像Ｐ１を撮像したビデオカメラ１１−１にはノイズが発生し、画像Ｐ１のオーバーラップ部分Ｅ１−２乃至Ｅ２−１には、ノイズが現れ、画像Ｐ２乃至Ｐ８を撮像したビデオカメラ１１−２乃至１１−８では、ノイズが存在しない状態の画像が撮像されるようなとき、１台のビデオカメラ１１−１のノイズによる影響から１フレーム分の全てのオーバーラップ部分の正確な調整ができない可能性がある。
【００８５】
そこで、例えば、図４で示すような全方位画像データの場合、オーバーラップ部分毎に求められた差分の絶対値の中央値を求め、その値を所定の閾値ｔｈ−Ｍと比較することでオーバーラップ部分のずれ幅を評価するようにしてもよい。
【００８６】
図１３は、全方位画像データの全てのオーバーラップ部分の所定の画素位置の画素間の画素値の差分の絶対値の中央値を求めて、所定の閾値ｔｈ−Ｍと比較するようにした全方位画像データ生成部１３の構成を示している。尚、図１３中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図１３の全方位画像データ生成部１３において、図８の全方位画像データ生成部１３と異なる点は、差分演算部８１、差分中央値検出部８２、および比較部８３が設けられている点である。
【００８７】
差分演算部８１は、図８の差分演算部６５と同様に、各オーバーラップ部分の所定の画素位置の画素間のＲＧＢ成分の画素値の差分を演算するが、その後、累積加算することなく差分中央値検出部８２に出力する。
【００８８】
差分中央値検出部８２は、差分演算部８１より供給されるオーバーラップ部分の所定の画素位置の画素間の差分の絶対値を、メモリ８２ａに随時記憶し、全てのオーバーラップ部分の所定の画素位置の画素間のＲＧＢ成分の差分の絶対値を記憶すると、それらのそれぞれの値を、昇べきの順、または、降べきの順に並び替えて、差分中央値ＭＤＲ，ＭＤＧ，ＭＤＢを検出し、さらにこれらを加算してＭＤを生成して比較部８３に出力する。
【００８９】
すなわち、オーバーラップ部分Ｅ１−１乃至Ｅ８−２、Ｅ２−１乃至Ｅ１−２、Ｅ３−１乃至Ｅ２−２、Ｅ４−１乃至Ｅ３−２、Ｅ５−１乃至Ｅ４−２、Ｅ６−１乃至Ｅ５−２、およびＥ７−１乃至Ｅ６−２のそれぞれについてのＲ成分の画素値の差分の絶対値がそれぞれ、１１、１２、１５、２４、１３、１４、１２であった場合、昇べきに並べると、オーバーラップ部分Ｅ１−１乃至Ｅ８−２、Ｅ２−１乃至Ｅ１−２、Ｅ７−１乃至Ｅ６−２、Ｅ５−１乃至Ｅ４−２、Ｅ６−１乃至Ｅ５−２、Ｅ３−１乃至Ｅ２−２、Ｅ４−１乃至Ｅ３−２の順序で配置される。さらに、中央値として、オーバーラップ部分Ｅ５−１乃至Ｅ４−２の差分の絶対値１３が検出されることになる。例えば、今の場合、オーバーラップ部分Ｅ４−１乃至Ｅ３−２の差分の絶対値は、２４であり他の値と比べても大きくノイズによる値である可能性もあるが、中央値が選択されるので、このようにノイズを含んでいる可能性のある値が選択されない。
【００９０】
比較部８３は、差分中央値検出部８２より入力された差分中央値ＤＭを所定の閾値ｔｈ−Ｍと比較し、比較結果を調整量決定部６６に出力する。
【００９１】
次に、図１４のフローチャートを参照して、図１３の全方位画像データ生成部１３による全方位画像データ生成処理について説明する。尚、図１４のフローチャートにおけるステップＳ６１，Ｓ６３，Ｓ６４，Ｓ６６乃至Ｓ６９，Ｓ７３乃至Ｓ７６の処理については、図９のフローチャートを参照して説明したステップＳ１，Ｓ３，Ｓ４，Ｓ７乃至Ｓ９，Ｓ１３乃至Ｓ１５の処理と同様であるので、その説明は省略する。
【００９２】
ステップＳ６２において、オーバーラップ部分の数を示すカウンタｘ（１≦ｘ≦７）、差分の絶対値の中央値を示すカウンタＭＤ、および、各オーバーラップ部分の画素のＲＧＢ成分それぞれの差分の絶対値を示すカウンタＤＲ−ｘ，ＤＧ−ｘ，ＤＢ−ｘを初期化（Ｄ＝（ＤＲ−ｘ）＝（ＤＧ−ｘ）＝（ＤＢ−ｘ）＝０，ｘ＝１）する。
【００９３】
ステップＳ６５において、差分演算部８１は、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分の画素の差分の絶対値であるＤＲ−ｘ，ＤＧ−ｘ，ＤＢ−ｘを求め、差分中央値検出部８２に出力し、メモリ８２ａに記憶させる。
【００９４】
ステップＳ７０において、差分中央値検出部８２は、メモリ８２ａに記憶されているＲ成分の画素値の差分の絶対値ＤＲ−１乃至ＤＲ−８を昇べきの順、または、降べきの順に並べて、中央値ＭＤＲを検出し、同様にして、Ｇ，Ｂ成分の画素値の差分の絶対値の中央値ＭＤＧ，ＭＤＢを検出し、ステップＳ７１において、これらの中央値ＭＤＲ，ＭＤＧ，ＭＤＢを加算して、中央値ＭＤを生成して比較部８３に出力する。
【００９５】
ステップＳ７２において、比較部８３は、中央値ＭＤが所定の閾値ｔｈ−Ｍより大きいか否かを比較し、大きいと判定した場合、その処理は、ステップＳ７３に進み、大きくないと判定した場合、その処理は、ステップＳ７４に進む。
【００９６】
以上のように、全方位画像データのうちの各オーバーラップ部分の中央値を閾値ｔｈ−Ｍと比較することにより、画像を調整するようにしたので、例えば、図４で示すようにビデオカメラ１１−１乃至１１−８のいずれかにノイズなどが含まれたような場合にでも、正確にオーバーラップ部分のずれの有無を判定することができ、任意の画角で指定されても違和感のない全方位画像データを生成することが可能となる。
【００９７】
以上の例においては、フレームずれと追い込み不足によるずれは一緒になって現れ、どちらが原因でずれが生じているのかが明瞭に区別されていない。そこで、全フレームにわたって中央値を求めるようにして、どちらが原因でずれが生じているのかを明瞭に区別できるようにしてもよい。
【００９８】
図１５は、全方位画像データのオーバーラップ部分毎に、所定の画素位置の画素値取得し、全フレームに渡る中央値を求め、オーバーラップ部分間の差分の和と所定の閾値ｔｈ−ＭＡとを比較し、その比較結果から画像のずれを補正するようにした全方位画像データ生成部１３の構成を示している。尚、図１５中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図１５の全方位画像データ生成部１３において、図８の全方位画像データ生成部１３と異なる点は、中央値検出部９１、差分演算部９２、比較部９３、およびフレームずれ検出部９４が設けられている点である。
【００９９】
中央値検出部９１は、各オーバーラップ部分の所定の画素位置のＲＧＢ成分の画素値を、全フレームに渡ってメモリ９１ａに記憶し、さらに、それぞれの値を、対応する画素位置毎にフレーム単位で昇べきの順、または、降べきの順に並び替えて、中央値ＭＹＲｘｔ，ＭＹＧｘｔ，ＭＹＢｘｔ，ＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂを検出する。
【０１００】
尚、以下の説明において、図４で示す各画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分は、画像ＰｘのＲＧＢ成分の中央値がＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂで表され、画像Ｐ（ｘ＋１）のＲＧＢ成分の中央値がＭＹＲ（ｘ＋１）ｔ，ＭＹＧ（ｘ＋１）ｔ，ＭＹＢ（ｘ＋１）ｔで表されている。ただし、画像Ｐ（ｘ＋１）と画像Ｐ１のオーバーラップ部分は、画像Ｐ１のＲＧＢ成分がＭＹＲ１ｔ，ＭＹＧ１ｔ，ＭＹＢ１ｔで表されており、画像Ｐ８のＲＧＢ成分がＭＹＲ（ｘ＋１）ｂ，ＭＹＧ（ｘ＋１）ｂ，ＭＹＢ（ｘ＋１）ｂで表される。
【０１０１】
差分演算部９２は、中央値検出部９１から入力される画素位置毎に隣接する画像のオーバーラップ部分の中央値の差分を求め、これらを積算して積算値ＭＤＡを生成して比較部９３に出力する。また、差分演算部９２は、図１３の差分演算部８１と同様に、各オーバーラップ部分の所定の画素位置の画素間のＲＧＢ成分の画素値の差分を演算するが、その後、累積加算することなく差分中央値検出部９５に出力する。
【０１０２】
例えば、オーバーラップ部分Ｅ１−１乃至Ｅ８−２の所定の画素位置のＲ成分の画素値が、１フレーム目から７フレーム目まででそれぞれ、１１、１２、１５、２４、１３、１４、１２であった場合、昇べきに並べ、中央値を求めると、１３（６フレーム目）が検出される。この値は、注目する画素において、ノイズである可能性が一番低い。元になる画像に付加されたノイズは、分布の上で不釣合いな値を有しているので、最大値や最小値に分布するのが普通である。また、この値は、撮影された像の中で背景である可能性が一番高い。オーバーラップ部分で動きのある物体が横切ったとすると、その物体が注目画素において占めている時間はフレーム全体からすると微小であり、中央値から大きく外れる。したがって、中央値を求めることで、オーバーラップ部分のノイズを除去し背景のみが抽出されるため、この値をもとに貼り合わせを行うと、静止している背景を元に貼り合せが行われたことになり、追い込み不足によるずれを抑制することができる。求めたパラメータで全フレームを貼り合わせて、なおずれのある場合、純粋にフレームずれである可能性が高い。よって、追い込み不足によるずれと、フレームずれとを区別することが可能となる。
【０１０３】
比較部９３は、差分演算部９２より入力された中央値の差分の和ＭＤＡを所定の閾値ｔｈ−ＭＡと比較し、比較結果を調整量決定部６６に出力し、画像位置を調整する。
【０１０４】
差分中央値検出部９５およびメモリ９５ａは、図１３の差分中央値検出部８２およびメモリ８２ａと同一のものであり、差分演算部９２より供給されるオーバーラップ部分の所定の画素位置の画素間の差分の絶対値を、メモリ９５ａに随時記憶し、全てのオーバーラップ部分の所定の画素位置の画素間のＲＧＢ成分の差分の絶対値を記憶すると、それらのそれぞれの値をフレーム単位で、昇べきの順、または、降べきの順に並び替えて、差分中央値ＭＤＲ，ＭＤＧ，ＭＤＢを検出し、さらにこれらを加算してＭＤを生成して比較部９３に出力する。このとき、比較部９３は、図１３の比較部８３と同様に機能し、差分中央値検出部８２より入力された差分中央値ＤＭを所定の閾値ｔｈ−Ｍと比較し、比較結果をフレームずれ検出部９４に出力する。
【０１０５】
フレームずれ検出部９４は、比較部９３から入力された比較結果からフレームがずれている場合、図示せぬ表示部（例えば操作画面などを表示するＬＣＤなど）にずれたフレームの番号を示す情報を表示する。
【０１０６】
次に、図１６，図１７のフローチャートを参照して、図１５の全方位画像データ生成部１３による全方位画像データ生成処理について説明する。尚、ステップＳ９１，Ｓ９３，Ｓ９４，Ｓ９６，Ｓ９７，Ｓ１００，Ｓ１０１，Ｓ１０４，Ｓ１０５，Ｓ１０９，Ｓ１１０，Ｓ１１５の処理は、図１４のフローチャートのステップＳ６１，Ｓ６３，Ｓ６４，Ｓ６６，Ｓ６７，Ｓ７５，Ｓ７６，Ｓ６６，Ｓ６７，Ｓ６６，Ｓ６７，Ｓ７３の処理と同様であるのでその説明は省略する。
【０１０７】
ステップＳ９２において、カウンタｘ、および、オーバーラップ部分の画素を格納するカウンタＹＲ−ｘｔ−ｎ，ＹＧ−ｘｔ−ｎ，ＹＢ−ｘｔ−ｎ，ＹＲ−ｘｂ−ｎ，ＹＧ−ｘｂ−ｎ，ＹＢ−ｘｂ−ｎ，ＭＹＲｘｔ，ＭＹＧｘｔ，ＭＹＢｘｔ，ＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂ，ＭＤＡ，ＭＤＲｘ，ＭＤＧｘ，ＭＤＢｘを初期化する。尚、ＹＲ−ｘｔ−ｎ，ＹＧ−ｘｔ−ｎ，ＹＢ−ｘｔ−ｎは、フレームｎの画像ＰｘのＰ（ｘ−１）とのオーバーラップ部分のＲＧＢ成分を示し、ＹＲ−ｘｂ−ｎ，ＹＧ−ｘｂ−ｎ，ＹＢ−ｘｂ−ｎは、フレームｎの画像ＰｘのＰ（ｘ＋１）とのオーバーラップ部分のＲＧＢ成分を示し、ＭＹＲｘｔ，ＭＹＧｘｔ，ＭＹＢｘｔは、フレームｎの画像ＰｘのＰ（ｘ−１）とのオーバーラップ部分のＲＧＢ成分の中央値を示し、ＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂは、フレームｎの画像ＰｘのＰ（ｘ＋１）とのオーバーラップ部分のＲＧＢ成分の中央値を示し、ＭＤＲｘ，ＭＤＧｘ，ＭＤＢｘは、画像ＰｘのＰ（ｘ＋１）とのオーバーラップ部分の中央値のＲＧＢ成分ごとの差分の絶対値を示し、ＭＤＡは、差分ＭＤＲｘ，ＭＤＧｘ，ＭＤＢｘの差分積算値を示す。
【０１０８】
ステップＳ９５において、中央値検出部９１は、検出されたオーバーラップ部分のフレームｎの画像ＰｘのＰ（ｘ＋１）とのオーバーラップ部分の画像ＰｘのＲＧＢ成分ＹＲ−ｘｂ−ｎ，ＹＧ−ｘｂ−ｎ，ＹＢ−ｘｂ−ｎと、画像Ｐ（ｘ＋１）のＲＧＢ成分ＹＲ−（ｘ＋１）ｔ−ｎ，ＹＧ−（ｘ＋１）ｔ−ｎ，ＹＢ−（ｘ＋１）ｔ−ｎを読み出してメモリ９１ａに記憶する。
【０１０９】
ステップＳ９４乃至Ｓ９７の処理が繰り返されることにより、例えば、図４の場合、画像Ｐ１とＰ２のオーバーラップ部分、画像Ｐ２とＰ３のオーバーラップ部分、画像Ｐ３とＰ４のオーバーラップ部分、画像Ｐ４とＰ５のオーバーラップ部分、画像Ｐ５とＰ６のオーバーラップ部分、画像Ｐ６とＰ７のオーバーラップ部分、画像Ｐ７とＰ８のオーバーラップ部分の画素値が記憶される。
【０１１０】
さらに、ステップＳ９９において、中央値検出部９１は、図４の場合、検出されたオーバーラップ部分のフレームｎの画像Ｐ（ｘ＋１）のＰ１とのオーバーラップ部分の画像Ｐ（ｘ＋１）のＲＧＢ成分ＹＲ−（ｘ＋１）ｂ−ｎ，ＹＧ−（ｘ＋１）ｂ−ｎ，ＹＢ−（ｘ＋１）ｂ−ｎと、画像Ｐ１のＲＧＢ成分ＹＲ−１ｔ−ｎ，ＹＧ−１ｔ−ｎ，ＹＢ−１ｔ−ｎを読み出してメモリ９１ａに記憶する。
【０１１１】
ステップＳ９３乃至Ｓ１０１の処理が繰り返されることにより、全てのフレームのオーバーラップ部分の画像の画素値がメモリ９１ａに記憶される。
【０１１２】
ステップＳ１０２において、カウンタｘが初期化される。ステップＳ１０３において、中央値検出部９１は、画像Ｐｘの画像Ｐ（ｘ−１）、および、画像Ｐ（ｘ＋１）とのオーバーラップ部分のＲＧＢ成分の全フレーム中の中央値ＭＹＲｘｔ，ＭＹＧｘｔ，ＭＹＢｘｔ，ＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂを求め、差分演算部９２に出力する。そして、ステップＳ１０３乃至Ｓ１０５の処理が繰り返されることにより、全ての画像Ｐｘの中央値ＭＹＲｘｔ，ＭＹＧｘｔ，ＭＹＢｘｔ，ＭＹＲｘｂ，ＭＹＧｘｂ，ＭＹＢｘｂが求められる。
【０１１３】
ステップＳ１０６において、カウンタｘが初期化される。
【０１１４】
ステップＳ１０７において、差分演算部９２は、中央値ＭＹＲｘｂと中央値ＭＹＲ（ｘ＋１）ｔの差分の絶対値ＭＤＲｘ、中央値ＭＹＧｘｂと中央値ＭＹＧ（ｘ＋１）ｔの差分の絶対値ＭＤＧｘ、および、中央値ＭＹＢｘｂと中央値ＭＹＢ（ｘ＋１）ｔの差分の絶対値ＭＤＢｘを求める。すなわち、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分のＲＧＢ成分の中央値の差分の絶対値が求められる。
【０１１５】
ステップＳ１０８において、差分演算部９２は、差分積算値ＭＤＡに差分の絶対値ＭＤＲｘ，ＭＤＧｘ，ＭＤＢｘを積算する。
【０１１６】
ステップＳ１０９乃至Ｓ１１０の処理により、図４の場合、画像Ｐ１乃至Ｐ８までのオーバーラップ部分のＲＧＢ成分の中央値の積算値が求められる。
【０１１７】
ステップＳ１１１において、差分演算部９２は、中央値ＭＹＲ（ｘ＋１）ｂと中央値ＭＹＲ１ｔの差分の絶対値ＭＤＲ（ｘ＋１）、中央値ＭＹＧ（ｘ＋１）ｂと中央値ＭＹＧ１ｔの差分の絶対値ＭＤＧ（ｘ＋１）、および、中央値ＭＹＢ（ｘ＋１）ｂと中央値ＭＹＢ１ｔの差分の絶対値ＭＤＢ（ｘ＋１）を求める。すなわち、画像Ｐ（ｘ＋１）と画像Ｐ１のオーバーラップ部分のＲＧＢ成分の中央値の差分が求められる。
【０１１８】
ステップＳ１１２において、差分演算部９２は、差分積算値ＭＤＡに差分の絶対値ＭＤＲ（ｘ＋１），ＭＤＧ（ｘ＋１），ＭＤＢ（ｘ＋１）を積算する。
【０１１９】
すなわち、ステップＳ１０７乃至Ｓ１１２の処理により、全ての画像のオーバーラップ部分のＲＧＢ成分の中央値の差分積算値ＭＤＡが求められる。
【０１２０】
ステップＳ１１３において、比較部９３は、差分積算値ＭＤＡと所定の閾値ｔｈ−ＭＡとを比較して、閾値ｔｈ−ＭＡより大きいか否かを判定し、閾値ｔｈ−ＭＡより大きいと判定した場合、その処理は、ステップＳ１１５に戻り、閾値ｔｈ−ＭＡより大きくない、すなわち、閾値ｔｈ−ＭＡより小さいと判定した場合、ステップＳ１１４において、フレームずれ検出処理が実行され、その処理は終了する。すなわち、差分積算値ＭＤＡが所定の閾値ｔｈ−ＭＡより小さくなるまでステップＳ９２乃至Ｓ１１３の処理が繰り返される。
【０１２１】
ここで、図１８のフローチャートを参照して、フレームずれ検出処理について説明する。
【０１２２】
尚、図１８のフローチャートにおけるステップＳ１３１乃至Ｓ１４２，Ｓ１４３，Ｓ１４５，Ｓ１４６の処理は、図９のフローチャートを参照して説明したステップＳ１乃至Ｓ１２，Ｓ１４乃至Ｓ１６の処理と同様であるので、その説明は省略する。
【０１２３】
ステップＳ１４２において、累積加算値Ｄが閾値ｔｈより大きいと判定した場合、ステップＳ１４４において、フレームずれ検出部９４は、フレームｎにフレームずれが生じているとみなし、フレームｎがずれていることを、例えば、図示せぬ表示部などに表示するなどして出力する。そして、フレームずれ検出処理が終了すると、その処理は、図１７の処理に戻り、全方位画像データ生成処理が終了する。
【０１２４】
以上のように、全方位画像データのうちの各オーバーラップ部分の中央値を閾値ｔｈ−ＭＡと比較することにより、画像位置を調整して貼り合わせを行い、閾値を越えたフレームの番号を出力するようにしたことで、純粋にフレームずれのみを知ることが出来、フレームずれと追い込み不足によるずれを区別することができる。
【０１２５】
ところで、図８，１０，１３，１５の全方位画像データ生成部１３においては、オーバーラップ部分の所定の画素位置の画素間の画素値の差分の絶対値を用いて処理していたため、その処理データ量が膨大である。そこで、オーバーラップ部分の画素間の距離だけを用いてオーバーラップ部分のずれ幅を評価することで、処理データ量を小さくして処理できるようにしてもよい。
【０１２６】
図１９は、オーバーラップ部分の画素間の距離を用いてオーバーラップ部分のずれ幅に基づいて画像を調整して、全方位画像データを生成するようにした全方位画像データ生成部１３を示している。尚、図１９中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図１９の全方位画像データ生成部１３において、図８の全方位画像データ生成部１３と異なる点は、ラプラシアンフィルタ処理部１０１、エッジ差分比較部１０２、および、調整量決定部１０３が設けられている点である。
【０１２７】
ラプラシアンフィルタ処理部１０１は、内蔵するラプラシアンフィルタにより処理を行い、オーバーラップ部分の画像をエッジ部分とそれ以外の部分の２値画像に変換してエッジ差分比較部１０２に出力する。このラプラシアンフィルタは、例えば、図２０で示すような、３×３の上段、左部から１，１，１，１，−８，１，１，１，１からなるマトリクス状のフィルタである。例えば、図２１で示すような画像は、図２０のラプラシアンフィルタにより処理されると、図２２で示すような、図２１のエッジ部分だけが白色の画素とされ、それ以外の画素が黒とされた２値の画像に変換される。
【０１２８】
エッジ差分比較部１０２は、ラプラシアンフィルタ処理部により処理されたオーバーラップ部分のエッジ部分のずれ幅を、エッジ部分の画素間の最短距離の差分の和をエッジ差分ＦＤとして求めて、さらに、所定の閾値ｔｈ−Ｆと比較して、比較結果を調整量決定部１０３に出力する。より詳細には、例えば、図４の画像Ｐ１とＰ２のオーバーラップ部分がラプラシアンフィルタ処理部１０２により処理された画像のそれぞれのエッジ上の画素が、図２３で示すように分布しているものとする。尚、図２３では、黒丸の画素Ｔ１乃至Ｔ８が、画像Ｐ１のエッジであり、白丸の画素Ｔ１１乃至Ｔ１７が画像Ｐ２のエッジである。
【０１２９】
このとき、エッジ差分比較部１０２は、画像Ｐ１の画素Ｔ１乃至Ｔ８のそれぞれの画素について、最も近い画像Ｐ２の画素との距離を求め、さらにこれらの和をエッジ差分ＦＤとして求める。すなわち、今の場合、画素Ｔ１に最も近いのは画素Ｔ１１であるので、この場合、距離｜座標Ｔ１−座標Ｔ１１｜（画素Ｔ１と画素Ｔ１１の画素間の距離を示す。以下も同様に称する）が演算され、同様にして、距離｜座標Ｔ２−座標Ｔ１２｜，距離｜座標Ｔ３−座標Ｔ１３｜，距離｜座標Ｔ４−座標Ｔ１３｜，距離｜座標Ｔ５−座標Ｔ１４｜，距離｜座標Ｔ６−座標Ｔ１４｜，距離｜座標Ｔ７−座標Ｔ１５｜，距離｜座標Ｔ８−座標Ｔ１１６｜，距離｜座標Ｔ８−座標Ｔ１７｜がそれぞれ求められ、これらの和がエッジ差分ＦＤとなる。尚、オーバーラップ部分にずれが生じていない場合、エッジ上の画素間の距離は全て０となるので、図２３で示すように、１つの画素について複数の画素間の距離が求められるようなことがあってもよい。
【０１３０】
調整量比較部１０３は、エッジ差分比較部１０２からの比較結果に基づいて、加工接合部６１に画像をずらすように指示するとともに、比較結果に対応して、フレームメモリ６２に今現在記憶されている全方位画像データを読み出して、ＭＰＥＧエンコーダ１４に出力するように指令する。
【０１３１】
次に、図２４のフローチャートを参照して、図１９の全方位画像データ生成部１３による全方位画像データ生成処理について説明する。
【０１３２】
ステップＳ１６１において、加工接合部６１は、切替部１２より入力されてくる８本のストリームをフレーム単位で９０度回転させ、さらに、ミラー反転させた後、所定の間隔でそれらを並べてオーバーラップ部分を構成し、一時的な全方位画像データを生成してフレームメモリ６２に記憶させると共に、フレーム数を示すカウンタｎが初期化（ｎ＝１）される。
【０１３３】
ステップＳ１６２において、オーバーラップ部分の数を示すカウンタｘ（１≦ｘ≦７）、エッジ差分を示すカウンタＦＤ、および、オーバーラップ部分のエッジ部分のずれ幅を示すカウンタＤＳ−ｘを初期化（ＦＤ＝（ＤＳ−ｘ）＝０，ｘ＝１）する。
【０１３４】
ステップＳ１６３において、オーバーラップ画素検出部６３は、カウンタｎを参照して対応する第ｎフレームの一時的な全方位画像データをフレームメモリ６２により読み出し、ステップＳ１６４において、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分を検出して、検出結果をラプラシアンフィルタ処理部１０１に出力する。
【０１３５】
ステップＳ１６５において、ラプラシアンフィルタ演算部１０１は、画像Ｐｘと画像Ｐ（ｘ＋１）のオーバーラップ部分の画素にラプラシアンフィルタによる処理を施し、例えば、図１７で示すような画像が入力された場合、図２２で示すようなエッジ部分の画素だけを白色にし、それ以外の画素を黒色にする２値の画像に変換し、エッジ差分比較部１０２に出力する。
【０１３６】
ステップＳ１６６において、エッジ差分比較部１０２は、入力されたラプラシアンフィルタ処理されたオーバーラップ部分の画像に基づいて、エッジ部分のずれ幅ＤＳ−ｘを求める。
【０１３７】
ステップＳ１６７において、エッジ差分比較部１０２は、エッジ差分ＦＤに求められたずれ幅ＤＳ−ｘを累積加算して記憶する。
【０１３８】
ステップＳ１６８において、オーバーラップ部分のカウンタｘに１を加算した値（＝ｘ＋１）がビデオカメラの台数（今の場合、８台）と一致するか否かが判定され、一致しないと判定された場合、その処理は、ステップＳ１６９に進み、カウンタｘが１だけインクリメントされてその処理は、ステップＳ１６４に戻る。
【０１３９】
ステップＳ１６８において、オーバーラップ部分のカウンタｘに１を加算した値（＝ｘ＋１）がビデオカメラの台数（今の場合、８台）と一致すると判定された場合、その処理は、ステップＳ１７０に進む。
【０１４０】
ステップＳ１７０において、画像Ｐ（ｘ＋１）と画像Ｐ１のオーバーラップ部分の画素を検出して、検出結果をラプラシアンフィルタ処理部１０１に出力する。ステップＳ１７１において、ラプラシアンフィルタ演算部１０１は、画像Ｐ（ｘ＋１）と画像Ｐ１のオーバーラップ部分の画素にラプラシアンフィルタによる処理を施し、２値の画像に変換してエッジ差分比較部１０２に出力する。
【０１４１】
ステップＳ１７２において、エッジ差分比較部１０２は、入力されたラプラシアンフィルタ処理されたオーバーラップ部分の画像に基づいて、エッジ部分のずれ幅ＤＳ−（ｘ＋１）を求めて記憶する。ステップＳ１７３において、エッジ差分比較部１０２は、エッジ差分ＦＤに対して、求められたずれ幅ＤＳ−（ｘ＋１）を累積加算して記憶する。
【０１４２】
ステップＳ１７４において、エッジ差分比較部１０２は、エッジ差分ＦＤが所定の閾値ｔｈ−Ｆよりも大きいか否かを比較して、閾値ｔｈ−Ｆより大きいと判定した場合、その判定結果を調整量決定部１０３に出力し、その処理は、ステップＳ１７５に進む。
【０１４３】
ステップＳ１７５において、調整量決定部１０３は、加工接合部６１に対して所定の幅だけ画像をずらすような調整量を加工接合部６１に供給し、これに応じて加工接合部６１は、フレームメモリ６２に記憶されている全方位画像データからなる第ｎフレームの各画像を所定の幅だけずらし、その処理は、ステップＳ１６２に戻る。
【０１４４】
ステップＳ１７４において、エッジ差分ＦＤが所定の閾値ｔｈ−Ｆより大きくないと判定した場合、すなわち、エッジ差分ＦＤが所定の閾値ｔｈ−Ｆよりも小さく、ずれ幅が小さいと判定された場合、ステップＳ１７６において、加工接合部６１は、第ｎフレームの全方位画像データをＭＰＥＧエンコーダ１４に出力する。
【０１４５】
ステップＳ１７７において、加工接合部６１は、全てのフレームについて、画像が調整された全方位画像データが生成されたか否かを判定し、全てのフレームについてオーバーラップ部分が調整された全方位画像データが生成されていないと判定した場合、その処理は、ステップＳ１７８に進む。
【０１４６】
ステップＳ１７８において、フレームのカウンタｎが１インクリメントされて、その処理は、ステップＳ１６２に戻り、それ以降の処理が繰り返される。また、ステップＳ１７７において、全てのフレームについて画像が調整された全方位画像データが生成されたと判定された場合、その処理は、終了する。
【０１４７】
以上によれば、オーバーラップ部分の画像をラプラシアンフィルタなどを用いて２値化処理し、エッジのずれ幅からオーバーラップ部分のずれ幅を評価するようにしたので、ＲＧＢ成分のそれぞれの画素値を用いる場合に比べて、処理するデータ量を小さくできるので、高い精度で全方位画像データを生成することが可能になると共に、処理速度を向上させることができる。
【０１４８】
また、図８，１０，１３，１５，１９の全方位画像データ生成処理部１３のいずれにおいても、全てのオーバーラップ部分のずれ幅に基づいて、処理を行ってきたが、例えば、精度をいくつかの段階に指定できるようにして、最高精度の場合は、上述のように全てのオーバーラップ部分についてずれ幅を求めるようにし、精度を低めにして、高速処理させるようにする場合、オーバーラップ部分のうち１つおきのずれ幅を求めるようにして、間引き処理をするようにしてもよい。
【０１４９】
さらに、閾値の設定を変化させることにより、オーバーラップ部分の貼りあわせの精度（ずれ幅の精度）を加減するようにしてもよく、例えば、閾値を大きくすることで、精度を下げれば、その分だけ処理速度を向上させることもできる。
【０１５０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５１】
図２５は、図８，１０，１３，１５，１９の全方位画像データ生成処理部１３をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ２０１は、パーソナルコンピュータの全体の動作を制御する。また、ＣＰＵ２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３にロードして実行する。これにより、上述した全方位画像データ生成部１３の機能が、ソフトウェアにより実現されている。さらに、ＣＰＵ２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０１５２】
プログラムが記録されている記録媒体は、図２５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク２２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１５３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５５】
【発明の効果】
本発明によれば、複数の視点で撮像された画像の端部を高い精度で正確に重ね合わせるようにして全方位画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した全方位カメラの構成例を示すブロック図である。
【図２】本発明を適用した全方位カメラの斜視図である。
【図３】９０度回転やミラー反転を説明する図である。
【図４】全方位画像を説明する図である。
【図５】全方位画像データを説明する図である。
【図６】全方位画像データを再生する再生装置の構成例を示すブロック図である。
【図７】全方位画像データを説明する図である。
【図８】図１の全方位画像データ生成部の構成例を示すブロック図である。
【図９】図８の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図１０】図１の全方位画像データ生成部のその他構成を示すブロック図である。
【図１１】対数を取った場合の値の変化を示す図である。
【図１２】図１０の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図１３】図１の全方位画像データ生成部のその他構成を示すブロック図である。
【図１４】図１３の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図１５】図１の全方位画像データ生成部のその他構成を示すブロック図である。
【図１６】図１５の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図１７】図１５の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図１８】図１５の全方位画像データ生成部によるフレームずれ検出処理を説明するフローチャートである。
【図１９】図１の全方位画像データ生成部のその他構成を示すブロック図である。
【図２０】ラプラシアンフィルタを説明する図である。
【図２１】ラプラシアンフィルタを説明する図である。
【図２２】ラプラシアンフィルタを説明する図である。
【図２３】ずれ幅を求める処理を説明する図である。
【図２４】図１５の全方位画像データ生成部による全方位画像データ生成処理を説明するフローチャートである。
【図２５】記録媒体を説明する図である。
【符号の説明】
１１，１１−１乃至１１−８　ビデオカメラ，　１２　切替部，　１３　全方位画像データ生成部，　１４　ＭＰＥＧエンコーダ，　１５　記録部，　１６　記録媒体，　２１−１乃至２１−８　反射部，　３１　再生部，　３２　ＭＰＥＧデコーダ，　３３　フレームメモリ，　３４　切出部，　３５　操作部，　３６　表示部，　６１　加工接合部，　６２　フレームメモリ，　６３　オーバーラップ画素検出部，　６４　差分演算部，　６５　比較部，　６６　調整量決定部，　７１　差分対数化部，　７２　比較部，　８１　差分演算部，　８２　差分中央値検出部，　８２ａ　メモリ，　８３　比較部，　９１　中央値検出部，　９１ａメモリ，　９２　差分演算部，　９３　比較部，　９４　フレームずれ検出部，　９５　差分中央値検出部，　９５ａ　メモリ，　１０１　ラプラシアンフィルタ処理部，　１０２　エッジ差分比較部，　１０３　調整量決定部

Claims (8)

1. 第１の視点から撮像された第１の画像と、前記第１の視点とは異なる第２の視点から撮像され、前記第１の画像の１部分を含む第２の画像とを、前記１部分を重ね合わすことにより広角度画像を生成する画像処理装置において、
   前記広角度画像のうち、前記第１の画像と、前記第２の画像の重ね合わせ部分を検出する検出手段と、
   前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する比較手段と、
   前記比較手段の比較結果に対応して前記第１の画像と、前記第２の画像の重ね合わせ部分をずらして接合する接合手段と
   を備えることを特徴とする画像処理装置。
2. 前記重ね合わせ部分における、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値を求める差分演算手段をさらに備え、
   前記比較手段は、前記差分演算手段により演算された、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値を所定の閾値と比較することにより、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記重ね合わせ部分における、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値を対数化する対数化手段をさらに備え、
   前記比較手段は、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値を前記対数化手段により対数化した値と所定の閾値と比較することにより、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記重ね合わせ部分の、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値のうちの中央値を求める中央値検出手段をさらに備え、
   前記比較手段は、前記中央値検出手段により検出された、前記重ね合わせ部分の、前記第１の画像と、前記第２の画像の、前記広角度画像上の同位置の画素間の画素値の差分の絶対値のうちの中央値を所定の閾値と比較することにより、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の画像と前記第２の画像からエッジを抽出するエッジ抽出手段をさらに備え、
   前記比較手段は、前記エッジ抽出手段により抽出された、前記重ね合わせ部分の、前記第１の画像のエッジと、前記第２の画像のエッジを比較することにより、前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 第１の視点から撮像された第１の画像と、前記第１の視点とは異なる第２の視点から撮像され、前記第１の画像の１部分を含む第２の画像とを、前記１部分を重ね合わすことにより広角度画像を生成する画像処理装置の画像処理方法において、
   前記広角度画像のうち、前記第１の画像と、前記第２の画像の重ね合わせ部分を検出する検出ステップと、
   前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値を比較する比較ステップと、
   前記比較ステップの処理での比較結果に対応して前記第１の画像と、前記第２の画像の重ね合わせ部分をずらして接合する接合ステップと
   を含むことを特徴とする画像処理方法。
7. 第１の視点から撮像された第１の画像と、前記第１の視点とは異なる第２の視点から撮像され、前記第１の画像の１部分を含む第２の画像とを、前記１部分を重ね合わすことにより広角度画像を生成する画像処理装置を制御するプログラムであって、
   前記広角度画像のうち、前記第１の画像と、前記第２の画像の重ね合わせ部分の検出を制御する検出制御ステップと、
   前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値の比較を制御する比較制御ステップと、
   前記比較制御ステップの処理での比較結果に対応して前記第１の画像と、前記第２の画像の重ね合わせ部分をずらした接合を制御する接合制御ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 第１の視点から撮像された第１の画像と、前記第１の視点とは異なる第２の視点から撮像され、前記第１の画像の１部分を含む第２の画像とを、前記１部分を重ね合わすことにより広角度画像を生成する画像処理装置を制御するコンピュータに、
   前記広角度画像のうち、前記第１の画像と、前記第２の画像の重ね合わせ部分の検出を制御する検出制御ステップと、
   前記重ね合わせ部分における、前記第１の画像と、前記第２の画像のそれぞれの画素間の画素値の比較を制御する比較制御ステップと、
   前記比較制御ステップの処理での比較結果に対応して前記第１の画像と、前記第２の画像の重ね合わせ部分をずらした接合を制御する接合制御ステップと
   を実行させることを特徴とするプログラム。

Images