JP2007213161A - 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】視点が一致する複数の撮像装置で撮像された画像を用い、つなぎ目なくかつ高速に合成処理を行えるようにする。
【解決手段】視点一致光学系を備える複数の撮像装置より入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影し、出力画像平面における第１および第２入力画像の投影されるそれぞれの領域を算出し、出力画像平面上での前記第１および第２入力画像の重複部分の混合比を算出し、重複部分の混合比を前記入力画像平面に逆投影し、重複部分の混合比が逆投影された各々の入力画像平面において第１および第２入力画像の画素毎に混合比を算出し、画素毎の混合比により出力画像平面上で前記第１および第２入力画像を合成する。
【選択図】図２

Description

本発明は、視点一致光学系を備える複数の撮像装置より得られる複数の画像を合成するのに好適な画像処理装置、画像処理方法およびその方法をコンピュータに実行させるためのプログラムに関する。

従来、複数のカメラ（撮像装置）から入力された画像を１枚の画像に繋ぎ合わせる技術が知られている（例えば、特許文献１参照。）。例えば、２つのカメラで撮影した画像を合成する場合、各カメラの視点がずれている程、画像のつなぎ目で不連続が目立ってしまう。そのため、各カメラの視野の重複する画像部分において、相関計算を行い、画像に変形を加えたり、もしくは、つなぎ目で不連続がより小さい画像を選択するなどの複雑な処理を必要とし、実時間性に乏しいものであった。

そこで、上述のような複雑な処理を減らすために、視点一致光学系を備える複数の撮像装置で画像を撮像し、それにより得られる画像を用いて合成処理を行うことが考えられた（例えば、特許文献１参照。）。

特開２００３−１４１５６２号公報

しかし、特許文献１に記載のように、視点一致光学系を備える複数の撮像装置で撮像した画像を用いて合成画像を生成した場合であっても、その合成画像内の一つの領域は、一つ撮像装置の画像領域のみから作られるため、すなわち領域毎に撮像装置が違い、撮像装置の色味の違いなどが目立ってしまう問題があった。

本発明は斯かる点に鑑みてなされたものであり、視点が一致する複数の撮像装置で撮像された画像を用い、つなぎ目なくかつ高速に合成処理を行えるようにすることを目的とする。

上記課題を解決するため、本発明の画像処理装置の一側面は、視点一致光学系を備える複数の撮像装置で撮像された複数の画像を合成する画像処理装置であって、入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影し、出力画像平面における第１および第２入力画像の投影されるそれぞれの領域を算出し、出力画像平面上での第１および第２入力画像の重複部分の混合比を算出し、重複部分の混合比を入力画像平面に逆投影し、重複部分の混合比が逆投影された各々の入力画像平面において第１および第２入力画像の画素毎に混合比を算出し、この画素毎の混合比により出力画像平面上で第１および第２入力画像を合成することを特徴とする。

上記構成によれば、視点一致系の光学系を用いることで視差のない画像を取得し、重複する画像の適切な混合比を求めておく。そして、一旦求めた重複部分の混合比を入力画像平面に逆投影し、当該重複部分の混合比が逆投影された各々の入力画像平面において第１および第２入力画像の画素毎に混合比を算出するので、入力画像が重複する部分で入力画像間の画質、色味等のズレが抑えられる。また、所定数の画素を単位とした画像合成も実現可能になる。

また、本発明の画像処理装置の他の側面は、上記画像処理部が、上記第１および第２入力画像をそれぞれ複数の区画に分割し、各区画を構成する頂点の座標を出力画像平面上の座標に変換し、区画を単位として第１および第２入力画像の合成を行うことを特徴とする。

上記構成によれば、ピクセル単位ではなく所定の区画単位でまとめて、つまりパッチベースで合成処理が行えるので、高速な画像合成が可能になる。

本発明によれば、視点が一致する複数の撮像装置で撮像された複数の画像を、つなぎ目なく、高速に合成することができる。

以下、本発明を実施するための最良の形態の例を、図１〜図１１を参照して説明する。

本発明の一実施形態に係る画像処理装置が適用されるシステムを図１に示す。図１に示すシステムにおいては、視点一致光学系を備える複数のカメラ（撮像装置）からの画像を入力として画像処理を行い、複数映像の高速な合成処理を実現する。

図１において、カメラ１，２，３は、それぞれ視点一致光学系を備えるカメラである。各カメラの視点（焦点）が略一致し、かつ隣り合うカメラの撮像領域の一部が重なるように配置されている。視点一致光学系に関しては、一例として本出願人が先に出願した特開２００４−１８４８６２号公報などに記載されているものなどがある。このようなカメラ１〜３は、視点一致光学系を持つため、複数のカメラから入力される画像は視差を持たず、適切な投影中心を設定し、単一の画像平面（もしくは非平面画像）に対して入力画像を投影することでつなぎ目のない画像を合成することが可能である。画像の合成に関しては、例えば特開２００４−１８４８６２号公報など、種々の方法が提案されている。

画像入力部４は、複数のカメラ１〜３で撮像された画像を受信し、後段の画像処理部へ出力する。

画像処理部５は、画像入力部４から入力された複数の画像を受信して、後述する画像処理を行い、画像を合成する。合成された画像は、後段の画像表示部６へ出力される。

画像表示部６は、画像処理部５より出力された画像をディスプレイ等の表示画面に表示する。

ここで、画像処理部５についてより詳細に説明する。
画像処理部５の構成例を図２に示す。図２に示すように、画像処理部５は、テクスチャ記憶部７、混合比記憶部８、座標変換演算部９、混合比計算部１０、メッシュ分割部１１、頂点座標演算部１２、テクスチャレンダリング演算部１３から構成される。

テクスチャ記憶部７は、画像入力部４から画像を受信するともに、受信した画像を処理可能な形式、テクスチャに変換して記憶する。

混合比記憶部８は、入力された複数の画像のうち、重複する画像部分の混合比を記憶するものである。この混合比は、入力画像の番号とともに、出力画像平面のピクセル座標と関連付けて記憶する。また、記憶された混合比に基づき選択した入力画像のピクセルにおける混合比が求められ、この混合比を入力画像のピクセルの座標値と関連付けて記憶する。なお、後述する座標変換演算部９の座標変換結果を一時的に混合比記憶部８で記憶するようにしてもよい。

座標変換演算部９は、入力された複数の画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影（座標変換）し、出力画像平面における複数の入力画像の投影されるそれぞれの領域を算出する。算出された座標変換結果は図示しない記憶部もしくは混合比記憶部８に保存される。

混合比計算部１０は、第１に、上記座標変換演算部９にて、画像を合成する出力画像平面における複数の入力画像の投影されるそれぞれの領域が算出された後、その結果に基づいて、出力画像平面上での複数の画像の重複部分の混合比を算出する。第２に、重複部分の混合比を入力画像平面に逆投影し、重複部分の混合比が逆投影された各々の入力画像平面において複数の入力画像の画素毎に混合比を算出する。混合比の算出結果は、混合比記憶部８に保存される。

メッシュ分割部１１は、混合比計算部１０にて混合比が計算された画像について、画像を複数の区画に分割する。

頂点座標演算部１２は、分割された画像の各区画を構成する頂点の座標を出力画像平面上の座標に変換する処理を行う。

テクスチャレンダリング演算部１３は合成処理部として機能し、メッシュ分割部１１で分割された区画を単位として、頂点座標演算部１２による座標変換結果に基づき所定の画像合成処理を行い、合成後の画像を、画像表示部６へ出力する。なお、この例ではテクスチャレンダリングとしたが、これに限るものではない。

各部の機能は、例えばＣＰＵ（Central Processing Unit）等に代表されるような演算処理装置が、図示しない半導体メモリ等からなる記憶装置に記憶された制御プログラムを読み出して実行することにより、機能する。

一般に、画像の合成は、例えば、特開２００３−１４１５６２号公報にあるように、視点一致光学系の視点を原点とした、図３に示すような３次元空間を考え、ｙ軸を中心軸として持つ円筒面に視点一致光学系を持つ複数のカメラからの入力画像２１を投影し、円筒上をθ-φの極座標によるサンプリングをすることで得られるθφ平面２２における画像合成などが挙げられる。

図３のような画像合成面への投影例として、一例として図４に示すような画像合成例を挙げる。図４は、画像Ｉ０とI１から、円筒面上での画像I２を合成する場合の、画像の３次元空間中での関係を示したものである。画像I０とＩ１は平面形状の画像面を持ち、画像Ｉ２は円筒型の画像面を持っている。なお図中、Ｗｘ，Ｗｙ，Ｗｚはワールド座標系であり、φmin，θmax，およびφmin，φmaxはそれぞれ、円筒面を持つ画像I２のθφ平面の範囲（上限値、下限値）を示している。

画像Ｉ２を求めるには、一般的には、画像Ｉ２の画像面上のピクセル一つについて注目し、そのピクセルに対応する位置（方向）を撮影している画像を求め、その画像中の対応点の画素値からＩ２の画素値を決定する。その様子を図５に示す。

例えば、画像Ｉ２のＷｘ−Ｗｚ平面上の画像がＩＰであるとき、画像ＩＰ上のピクセルＰ１に対応するのは画像Ｉ１であり、その対応点の座標２３の画素値を取得する。また、画像ＩＰ上のピクセルＰ２には画像Ｉ１，Ｉ２の双方が対応し、それぞれの対応点の座標２４，２５の画素値を取得する。これらの画素値を画像Ｉ２の出力合成画像２６の対応する座標に投影する。

上述した対応する点は、例えば以下の式に示すような周知の方法に従って求められる。

ここで、ｍは画像座標を表し、添え字のＩは入力画像を、Ｏは出力画像の座標を表す。
そして、画像座標ｍは、

で表される。添え字のｉは画像の意味である。

ここで挙げた例のように、カメラで撮影した複数の画像を１枚の画像に合成する場合には、変換ｄ、ｆ、ｇは、それぞれ、レンズ歪み変換、透視投影変換、極座標→デカルト座標変換にあたり、次の各式で表される。

この例の場合、ｇは円筒型の画像平面上のピクセルの座標をワールド座標系の座標に変換するための関数となる。ここで、θ、φはワールド座標系における極座標の方向成分であり、θmax、θmin、φmax、φminは、円筒形の画像面の存在範囲である。また、ｗ、ｈはそれぞれ出力画像の縦、横サイズで、ｘはワールド座標を表す。

次に、式（７）のｆはワールド座標系における点を透視投影で画像平面上へ射影する関数となる。ここで、ＴＶは透視投影変換行列を表し、Ｒは３次元の回転行列を表す。

最後に、式（８）のｄは歪み関数であり、上式中で、ｍｃは画像中の歪み中心座標を表し、ｋ１は歪み係数を表す。実際には、このｄの逆関数を求めることはできないため、多項式の根を数値演算により求めたり、２分法などの探索法により解を求めたりする必要がある。

このとき、実際には、図６に示すフローチャートのような処理が行われる。まず、出力画像平面のピクセルを一つ選択する（ステップＳ１）。次に、入力画像を一つ選択する（ステップＳ２）。そして、入力画像平面に選択したピクセルを投影する（ステップＳ３）。投影後のピクセル位置に入力画像のレンズ歪みを付加する（ステップＳ４）。

ここで、歪み付加後のピクセル座標が入力画像の範囲内か否かを判定し、範囲内の場合はステップＳ６へ、それ以外はステップＳ８へ移行する（ステップＳ５）。

範囲内の場合、歪み付加後のピクセル座標の画素値を入力画像から補間により求める（ステップＳ６）。そして、求めた画素値を出力画像平面のピクセルに代入し（ステップＳ７）、ステップＳ９へ移行する。

一方、ステップＳ５の判断処理にて、歪み付加後のピクセルが入力画像の範囲内でない場合、ピクセルに対して選択されていない入力画像が存在するか否かを判定し、存在しない場合はステップＳ９へ移行し、存在する場合はステップＳ２へ戻る（ステップＳ８）。

存在しない場合、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合は画像合成処理を終了し、存在する場合にはステップＳ１へ戻る（ステップＳ９）

このような処理を行うことで、視点一致光学系を持つ複数のカメラからの入力画像を１枚の画像に合成することができる。しかし、入力画像はカメラの個体差などで色味が違っていたり、光学系のわずかな視点のズレ（組み立て精度などに起因する）などにより、画像の重複部分でつなぎ目が認識できてしまう場合がある。そのため、画像重複部分では、重複している画像をブレンドすることで、つなぎ目を分かりにくくする処理が行われる。この処理はブレンド処理などと呼ばれる。

ブレンド処理を行う場合の画像合成処理のフローチャートを図７に示す。図７において、画像合成を開始後、まず出力画像平面のピクセルを一つ選択する（ステップＳ１１）。次に、入力画像を一つ選択する（ステップＳ１２）。そして、座標変換演算部９は入力画像平面に選択したピクセルを投影する（ステップＳ１３）。この投影後のピクセル位置に入力画像のレンズ歪みを付加する（ステップＳ１４）。

ここで、歪み付加後のピクセル座標が入力画像の範囲内か否かを判定し、範囲内の場合はステップＳ１６へ、それ以外はステップＳ１８へ移行する（ステップＳ１５）。

範囲内の場合、歪み付加後のピクセル座標の画素値を入力画像から補間により求める（ステップＳ１６）。そして、歪み付加後のピクセル座標と入力画像番号とを出力画像平面のピクセル座標と関連付けて記憶装置等の記憶手段へ記憶する（ステップＳ１７）。記憶した後、ステップＳ１８へ移行する。

ここで、出力画像平面のピクセルに対し選択されていない入力画像が存在するか否かを判定し、存在しない場合はステップＳ１９へ移行し、存在する場合はステップＳ１２へ戻る（ステップＳ１８）。

存在しないと判断された場合、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合はステップＳ２０へ移行し、存在する場合にはステップＳ１１へ戻る（ステップＳ１９）

存在しないと判断された場合、出力画像平面のピクセルを一つ選択する（ステップＳ２０）。

次に、ステップＳ１７の処理でピクセル座標と関連付けられている入力画像番号が２つ以上あるか否かを判定し、２つ以上ある場合にはステップＳ２２へ、それ以外の場合にはステップＳ２５へ移行する（ステップＳ２１）。

そして、入力画像番号が２つ以上あると判断された場合、混合比計算部１０はその入力画像の混合比を求めて記憶されている画素値を使ってブレンド処理を行い画素値を求める（ステップＳ２２）。

一方、ステップＳ２１の判断処理において、ステップＳ１７の処理でピクセル座標と関連付けられている入力画像番号が２つ以上はないと判断された場合、ステップＳ１７の処理でピクセル座標と関連付けられている入力画像番号が一つか否かを判定し、一つの場合はステップＳ２６へ、それ以外はステップＳ２７へ移行する（ステップＳ２５）。

ステップＳ２５の判断処理で一つと判断された場合、予め記憶されている画素値を求める（ステップＳ２６）。画素値が求められたらステップＳ２３へ移行する。

ステップＳ２２，Ｓ２６で求めた出力画像平面のピクセルに求めた画素値を代入する（ステップＳ２３）。画素値を代入後、ステップＳ２４へ移行する。

また、ステップＳ２５の判断処理でそれ以外と判断された場合、出力画像平面のピクセルに求めた画素値を代入する（ステップＳ２７）。画素値を代入後、ステップＳ２４に移行する。

そして、ステップＳ２３，Ｓ２７にて画素値の代入が終了後、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合は画像合成処理を終了し、存在する場合はステップＳ２０へ戻る(ステップＳ２４)。

ここで、出力画像上のピクセルＰoutにおけるｎ番目の入力画像Ｉｎの混合比αｎは、以下の式（９）で表される（詳しくは、P.E.Danielsson著、Euclidean Distance Mapping、Computer Graphics and Image Processing 14、P.227-248、1980 などを参照）。

ここに、ｋは投影の結果Ｐoutと関連付けされて記憶されている画像番号の集合、ｒｎは、出力画像平面において、点Ｐoutから最も近い、入力画像Iｎが投影されない画素までの出力画像平面上での距離である。一例を図８に示す。図８において、斜線部は画像の投影される範囲である。

図８に示されているマスが出力画像平面３１上のピクセルを表し、斜線部のピクセルが入力画像Ｉｎが投影されるピクセルであることを表す。図８では一例として２つのピクセル３２，３４について距離rを計算してある。計算の結果、重複部分のピクセル３２から重複部分でない最も近いピクセル３３までの距離ｒは２である。また重複部分のピクセル３４から重複部分でない最も近いピクセル３５までの距離ｒは３．１６２である。

このようにして求めた混合比により、入力画像の画素値を混合することで、出力画像平面において入力画像が重複する部分で、入力画像間の色味のズレなどが分かりにくくなる。

しかし、このようにして出力画像の画素値を求める場合、処理は出力画像のピクセル毎の処理となり、入力画像数が多く、画像の解像度が高い場合には、非常に演算量の多い、重い処理となり、実時間性に問題がある。

そこで、こうして求められた混合比を再度入力画像平面に逆投影し、逆投影後の入力画像平面の画素毎に混合比を求め、その混合比を用いた加算ブレンディングを行うテクスチャマッピングにより、パッチベースの、つまりピクセルではなくまとまった画像領域を単位として高速に画像処理が実現できる画像合成方法を提案する。そのときの処理を示すフローチャートを、図９，図１０に示す。

図９，図１０は本発明によるバッチペースの画像合成処理を示すフローチャートであり、図１１を参照して説明する。

図９において、画像合成を開始後、まず出力画像平面のピクセルを一つ選択する（ステップＳ３１）。次に、入力画像を一つ選択する（ステップＳ３２）。そして、座標変換演算部９は入力画像平面に選択したピクセルを投影する（ステップＳ３３）。この投影後のピクセル位置に入力画像のレンズ歪みを付加する（ステップＳ３４）。

ここで、歪み付加後のピクセル座標が入力画像の範囲内か否かを判定し、範囲内の場合はステップＳ３６へ、それ以外はステップＳ３７へ移行する（ステップＳ３５）。

範囲内の場合、歪み付加後のピクセル座標と入力画像番号とを出力画像平面のピクセル座標と関連付けて記憶装置等の記憶手段へ記憶する（ステップＳ３６）。記憶した後、ステップＳ３７へ移行する。

ここで、出力画像平面のピクセルに対し選択されていない入力画像が存在するか否かを判定し、存在しない場合はステップＳ３８へ移行し、存在する場合はステップＳ３２へ戻る（ステップＳ３７）。

存在しないと判断された場合、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合はステップＳ３９へ移行し、存在する場合にはステップＳ３１へ戻る（ステップＳ３８）。

存在しないと判断された場合、出力画像平面のピクセルを一つ選択する（ステップＳ３９）。

次に、ステップＳ３６の処理でピクセル座標と関連付けられている入力画像番号が２つ以上あるか否かを判定し、２つ以上ある場合にはステップＳ４１へ、それ以外の場合にはステップＳ４２へ移行する（ステップＳ４０）。

そして、入力画像番号が２つ以上あると判断された場合、混合比計算部１０はその入力画像の混合比を求める（ステップＳ４１）。混合比が求められたらステップＳ４４へ移行する。

一方、ステップＳ４０の判断処理において、ステップＳ３６の処理でピクセル座標と関連付けられている入力画像番号が２つ以上はないと判断された場合、ステップＳ３６の処理でピクセル座標と関連付けられている入力画像番号が一つか否かを判定し、一つの場合はステップＳ４３へ、それ以外はステップＳ４５へ移行する（ステップＳ４２）。

ステップＳ４２の判断処理で入力画像番号が一つと判断された場合、混合比計算部１０は混合比を１にする（ステップＳ４３）。混合比が求められたらステップＳ４４へ移行する。

ステップＳ４１，Ｓ４３で求めた混合比と入力画像番号とを出力画像平面のピクセル画像と関連付けて混合比記憶部８に記憶する（ステップＳ４４）。記憶後、ステップＳ４５へ移行する。

次に、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合はステップＳ４６へ移行し、存在する場合はステップＳ３９へ戻る(ステップＳ４５)。

ステップＳ４５の判断処理にてまだ選択されていない出力画像平面のピクセルが存在すると判断された場合、入力画像を一つ選択する（ステップＳ４６）。次に、選択された入力画像平面のピクセルを一つ選択する（ステップＳ４７）。続いて、選択したピクセルの歪みを除去する（ステップＳ４８）。そして、座標変換演算部９は歪みを除去した点を出力画像平面へ投影する（ステップＳ４９）。

ここで、投影後のピクセル座標は出力画像の存在範囲内か否かを判定し、範囲内である場合はステップＳ５１へ、範囲内でない場合はステップＳ５２へ移行する（ステップＳ５０）。

範囲内であると判断された場合、混合比計算部１０はステップＳ４４で記憶された混合比から選択した入力画像のピクセルにおける混合比を求める（ステップＳ５１）。混合比を求めた後は、ステップＳ５３へ移行する。

一方、範囲内でないと判断された場合、混合比計算部１０は混合比を０とする（ステップＳ５２）。混合比を０に設定後、ステップＳ５３へ移行する。

そして、ステップＳ５１，Ｓ５２で算出された混合比を入力画像のピクセルの座標値と関連付けて混合比記憶部８に記憶する（ステップＳ５３）。

ここで、まだ選択されていない出力画像平面のピクセルは存在するか否かを判定し、存在しない場合はステップＳ５５へ移行し、存在する場合はステップＳ４７へ戻る(ステップＳ５４)。

次に、まだ選択されていない入力画像は存在するか否かを判定し、存在しない場合はステップＳ５６へ移行し、存在する場合はステップＳ４６へ戻る(ステップＳ５５)。ここまでの処理を実行することで、混合比が投影された入力画像平面、すなわちαプレーン（α平面）を作っておく。

ステップＳ５５の判断処理が終了後、入力画像を一つ選択する（ステップＳ５６）。続いて、ステップＳ５３で記憶された入力画像のピクセル毎の混合比をαプレーン（α平面）に対し設定する（ステップＳ５７）。

次に、メッシュ分割部１１は、入力画像をメッシュ（網目状）に、すなわち複数の区画に分割する（ステップＳ５８）。続いて分割されたメッシュ（区画）の一つを選択する（ステップＳ５９）。

頂点座標演算部１２は、選択されたメッシュの頂点、すなわち区画を形成する頂点の歪みを除去し、出力画像平面へ投影した場合の座標を計算する（ステップＳ６０）。

テクスチャレンダリング演算部１３は、頂点座標演算部１２で求められた座標を用いて、加算αブレンディングを行いながらテクスチャ記憶部７に記憶されているテクスチャに基づいてテクスチャレンダリングを行う（ステップＳ６１）。

ここで、まだ選択されていないメッシュ（区画）は存在するか否かを判定し、存在しない場合はステップＳ６３へ移行し、存在する場合はステップＳ５９へ戻る（ステップＳ６２）。

続いて、まだ選択されていない入力画像が存在するか否かを判定し、存在しない場合は画像合成処理を終了し、存在する場合はステップＳ５６へ戻る（ステップＳ６３)。

このような処理を行うことによって、パッチベースの処理を行うことが可能となり、ＰＣ（パーソナルコンピュータ）などで一般的に使われているビデオカードなどを用いることで、高速な処理が可能で、複数の視点一致光学系のカメラを用いてリアルタイムに画像合成、表示を行うことが可能となる。

図９，１０の画像合成処理を模式図に表すと、一例として図１１のように表される。カメラ１〜３のうちいずれか２つのカメラからの入力画像（１），（２）について合成処理を行う。入力画像（１），（２）はそれぞれオブジェクト４１，５１が存在し、このオブジェクト４１，５１は実際には様々な模様を持っているが、ここでは図を簡略化して白で表現している。

入力画像（１），（２）は、先に述べた方法で予め求められた混合比を設定（ステップＳ５７参照）される。入力画像（１），（２）のオブジェクト４２，５２は混合比が階層的に設定された状態をグラデーション（濃淡）で表現されている。この設定された混合比に基づいて重複部分の加算αブレンディングを行う。

混合比を設定後、入力画像は、さらに適当な大きさのメッシュ（区画）に分割される（ステップＳ５８）。分割されたメッシュ全てについて、メッシュ頂点の座標を、出力画像の対応する座標へ座標変換を行う。図１１の例では一例として、入力画像（１），（２）のそれぞれのオブジェクト４２，５２に係るメッシュ４３，５３の頂点の座標を、出力画像６０の対応する領域６１の座標に変換する様子を示している。

座標変換する方法は、例えば、既述した式（１）の逆変換を行うなどすればよい。求めた座標を基に、出力画像６０に対し、加算αブレンディングを行いながら、テクスチャレンダリング処理を行うことで、複数の画像が合成された出力画像を得ることができる。

テクスチャレンダリング処理に関しては、一般的に行われる処理であるため、詳細の説明は省略するが、一般にＧＰＵ（Graphics Processing Unit）を用いて計算させることで、非常に高速に処理を行うことができる。

次に、本発明の他の実施形態について説明する。図１２は他の実施形態のシステム構成例を示したものである。図１２は、図１に示した視点一致光学系カメラ１〜３からの複数の映像を受信する画像入力部４を、例えばＰＣ（パーソナルコンピュータ）７０内に設置されたビデオキャプチャボード７１、画像処理部５をビデオカード７２、画像表示部６をディスプレイ７４としたものである。ＣＰＵ７３はＰＣ７０全体の制御を司るものであり、例えばビデオカード７２に対して画像処理開始指令などを出力する。

視点一致光学系カメラ１〜３で撮像された映像を、ビデオキャプチャボード７１でキャプチャし（取り込み）、その映像をビデオカード７２に送信し、ビデオカード７２上でαブレンディング、テクスチャレンダリング処理を行い、処理した結果をディスプレイ７４に表示するシステムである。ビデオキャプチャボード７１は動画の取り込み機能を有するが、視点一致光学系を備えるカメラおよび本発明の画像合成処理を適用することで動画の画像合成にも対応することができる。

以上説明したように、視点一致系の光学系を用いることで視差のない画像を取得し、取得した画像の適切な混合比を求めておくことで、パッチベースの処理（領域単位での処理）を行うことができる。これにより、高速な画像合成が可能となり、複数カメラからの入力画像をリアルタイムで合成することができる。

本発明は、上述した各実施形態の例に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能であることは勿論である。

本発明の一実施形態に係るシステム構成例を示す図である。 本発明の一実施形態に係る画像処理部のブロック構成例を示す図である。 入力画像の画像合成面への投影例を示す図である。 画像合成の説明に供する図である。 一般的な画像合成処理例を示す図である。 画像合成処理を示すフローチャートである。 ブレンド処理をする場合の画像合成処理を示すフローチャートである。 ブレンド処理における距離ｒの説明に供する図である。 本発明の一実施形態に係る画像処理を示すフローチャート（前半）である。 本発明の一実施形態に係る画像処理を示すフローチャート（後半）である。 本発明の一実施形態に係る画像合成処理を示す模式図である。 本発明の他の実施形態に係るシステム構成例を示す図である。

符号の説明

１，２，３…カメラ、４…画像入力部、５…画像処理部、６…画像表示部、７…テクスチャ記憶部、８…混合比記憶部、９…座標変換演算部、１０…混合比計算部、１１…メッシュ分割部、１２…頂点座標演算部、１３…テクスチャレンダリング演算部、４１，４２，５１，５２，６２…オブジェクト、４３，５３，６１…区画、６０…出力画像

Claims (5)

1. 視点一致光学系を備える複数の撮像装置で撮像された複数の画像を合成する画像処理装置であって、
   入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影し、前記出力画像平面における前記第１および第２入力画像の投影されるそれぞれの領域を算出し、前記出力画像平面上での前記第１および第２入力画像の重複部分の混合比を算出し、前記重複部分の混合比を前記入力画像平面に逆投影し、前記重複部分の混合比が逆投影された各々の入力画像平面において前記第１および第２入力画像の画素毎に混合比を算出し、前記画素毎の混合比により前記出力画像平面上で前記第１および第２入力画像を合成する画像処理部
   を備えることを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記第１および第２入力画像をそれぞれ複数の区画に分割し、各区画を構成する頂点の座標を前記出力画像平面上の座標に変換し、前記区画を単位として前記第１および第２入力画像の合成を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 視点一致光学系を備える複数の撮像装置で撮像された複数の画像を合成する画像処理装置であって、
   前記複数の撮像装置から入力される画像を受信する画像入力部と、
   入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影し、前記出力画像平面における前記第１および第２入力画像の投影されるそれぞれの領域を算出し、前記出力画像平面上での前記第１および第２入力画像の重複部分の混合比を算出し、前記重複部分の混合比を前記入力画像平面に逆投影し、前記重複部分の混合比が逆投影された各々の入力画像平面において前記第１および第２入力画像の画素毎に混合比を算出し、前記画素毎の混合比により前記出力画像平面上で前記第１および第２入力画像を合成する画像処理部と、
   前記第１および第２入力画像が合成された画像を外部へ出力する画像出力部と
   を備えることを特徴とする画像処理装置。
4. 視点一致光学系を備える複数の撮像装置で撮像された複数の画像を合成する画像処理方法であって、
   入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影する過程と、
   前記出力画像平面における前記第１および第２入力画像の投影されるそれぞれの領域を算出する過程と、
   前記出力画像平面上での前記第１および第２入力画像の重複部分の混合比を算出する過程と、
   前記重複部分の混合比を前記入力画像平面に逆投影する過程と、
   前記重複部分の混合比が逆投影された各々の入力画像平面において前記第１および第２入力画像の画素毎に混合比を算出する過程と、
   前記画素毎の混合比により前記出力画像平面上で前記第１および第２入力画像を合成する過程と
   を有することを特徴とする画像処理方法。
5. 視点一致光学系を備える複数の撮像装置で撮像された複数の画像を合成する画像処理を行うものであって、
   入力された第１および第２入力画像の各々の入力画像平面を、画像の合成が行われる出力画像平面に投影する手順と、
   前記出力画像平面における前記第１および第２入力画像の投影されるそれぞれの領域を算出する手順と、
   前記出力画像平面上での前記第１および第２入力画像の重複部分の混合比を算出する手順と、
   前記重複部分の混合比を前記入力画像平面に逆投影する手順と、
   前記重複部分の混合比が逆投影された各々の入力画像平面において前記第１および第２入力画像の画素毎に混合比を算出する手順と、
   前記画素毎の混合比により前記出力画像平面上で前記第１および第２入力画像を合成する手順を
   コンピュータに実行させるためのプログラム。