JP2011211556A - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Abstract

【課題】画像のチラつきや、広範囲な画像のゆれを抑制したモザイク画像を生成する。
【解決手段】被写体撮影手段１０１は、複数台のカメラで構成され、多視点画像を撮影する。基準投影面への変換手段１０３ａは、各カメラで撮影した画像を射影変換する。コスト画像生成手段１０３ｂは、射影変換された画像の重複領域について、フレームＦ枚分の画像についてコスト画像を生成する。時・空間方向のグラフ生成手段１０３ｃは、重複領域について、Ｆフレーム分の画像からグラフを作成する。時・空間方向のグラフ分割手段１０３ｄは、重複領域をラベル毎の領域に分割する。画像合成手段１０３ｅは、フレーム毎に重複領域の画像と重複していない領域の画像とを連結する。
【選択図】図１

Description

本発明は、複数の視点から撮影された多視点映像を合成する技術に係り、複数のカメラで撮影した画像を連結して広視野の画像（パノラマ画像等のモザイク画像）を生成する画像生成装置、画像生成方法、及びプログラムに関する。

複数の視点から撮影された多視点画像を合成し、広範囲なシーンを撮影したパノラマ画像や、高解像度な画像などを生成することをモザイキングという。複数台のカメラから撮影した動画像によるパノラマ画像を、以下、モザイク画像と呼ぶ。

撮影シーンの中に動いている被写体（移動物体）がある場合、複数のカメラで重複して撮影している領域内に存在する移動物体を合成画像上で自然に表現することは困難である。移動物体の映り込みに対処する方法として、各カメラにおける画像の投影中心がほぼ一致するように、つまり、カメラ間の視差が無視できるようにカメラ配置を行うことで動画像の合成を実現する方法（例えば、非特許文献１参照）、あるいは、移動物体の影響を受けないようにして画像を合成する方法がある（例えば、非特許文献２、３参照）。

しかしながら、前者には、視差を完全に解消するようにカメラを配置しなければならないという制約がある。また、後者の手法は静止画像を対象としたものであり、この手法を移動物体が映る動画像に適用した場合、違和感のないような動画像を合成することは難しい。例えば、合成画像（静止画）合成のための領域分割結果を、そのまま動画の各フレームに対して適用して複数枚の静止画像を合成し、合成した結果を動画として見ると、移動物体が突然画面の中から消える、あるいは突然現れるといった不自然な動きとなる。

以下、本件が前提とする要素技術である、複数の視点から撮影された視差の無視できない画像から、モザイク画像を合成する従来法の詳細について述べる。

従来のモザイキングでは、複数の視点から撮影された画像の位置合わせを、画像間の対応点の関係や、既知のカメラパラメータから求めた射影変換行列を用いて、所定のモザイク面上に投影することで行う。これは、画像に映る被写体（風景や、車、人物等）は、３次元空間において同一の２次元平面上に存在するという仮定の下に行われる。

例えば、風景などカメラから十分離れた被写体について考えると、カメラからの距離ｄに対して被写体自身の奥行きΔｄは小さい場合が多く、カメラからシーン中の被写体が同じ距離に存在していると近似できる。これにより、被写体は、同一の２次元平面上に存在すると考えられ、射影変換行列を用いてモザイク面上に投影することで、位置合わせが可能となる。

しかしながら、カメラと被写体との距離が十分離れておらず、被写体の奥行きが無視できない場合には、合成した画像には、視差によるブレ（２重の像）が生じる。カメラのシーンの多くには、奥行きが無視できないような被写体があることが多く、モザイキングにおいては、このブレが生じないようにする処理が重要となる。また、仮にシーンにおける大多数の被写体が２次元平面上にあるとしても、ノイズ等の影響による射影変換行列の推定誤差により、合成画像にぶれが生じることがある。

そこで、２重の像を防止するために、位置合わせ後の重複部分の領域を分割し、分割後のそれぞれの領域には、多視点画像のうち１枚のみを使用することが一般的である。以下に、従来技術による領域分割方法について流れを示す。

１）複数枚の画像の１つを基準画像とし、残りの画像を射影変換行列により、基準画像の存在するモザイク面上に投影して位置合わせを行う。

２）位置合わせ後の画像の重複部分について領域分割を行う。例として、モザイク面上にある基準画像Ａと残りのモザイク面上に投影した画像Ｂ_ｉ（ｉ＝１，２，．．，Ｍ）との重複部分の領域分割について図６に示す。ここで、Ｍは合成する画像の視点の数を表す。重複部分について、ブレが目立つような部分（人が注目する部分）を分割しないように境界を定めて、領域Ａと領域Ｂ_ｉとを作る。ブレが目立つような領域とは、テクスチャが細かく存在する被写体（エッジの多い建築物）や、人が注目しやすい被写体（人物や、顔）が存在するところである。逆に、ブレが目立たない領域とは、テクスチャが少ない空や、草原や、壁など、低周波成分を多く含む被写体が映っている画像部分である。

具体的には、画像をｓｏｂｅｌフィルタや、ｌａｐｌａｃｉａｎフィルタによりエッジ画像（輝度の勾配情報）に変換してから、エッジ画像の差分値を注目する部分であると評価したり、人物や顔などを前処理として検出し、検出された領域は注目する部分であると評価する。また、カメラ間の特性の違いを考慮して、色合いの違いも評価する場合には、重複している画像間の画素値の差分値も評価する。この評価を基にして、従来法では、重複部分において注目される領域を避けるように境界を決めている。グラフの説明と、そのグラフを利用した重複領域における領域分割の従来法（非特許文献２、３）については後述する。

３）重複した部分について領域分割した後に、射影変換後の画像を境界に合せてトリミングを行い、トリミング後の画像をモザイク面上で張り合わせて、図７に示すように画像を生成する。

（重複領域の分割）
以下に、グラフを用いた領域分割の例を示す。まず、重複領域において人が注目するような領域を調べる。図８では、重複領域における図６の画像Ａと画像Ｂ_ｉとを重ね合わせた画像を表示している。実線は、画像Ａ、破線は、画像Ｂ_ｉを表す。この図のように、重複領域にある画像を全て表示させると、人物などの奥行きのある被写体では、２重の像ができる。そこで、人が注目する被写体上で境界を設定してしまうと、切断された被写体が合成後の画像に表示されてしまうので、人が注目するような領域のコストを高く設定し、このコストの累計がなるべく少なくなるような経路を求めて画像の分割を行う。具体的な評価は、上記２）で示した方法で画素毎に評価を行う。この結果を、今後は、コスト画像と呼ぶ。

次に、このコスト画像の画素からグラフを作成する。グラフは、ノード（節）とエッジ（辺）とで構成される。図９に示す例では、グラフのノードをコスト画像の画素に対応させ、画素の隣接方向である４連結方向をエッジとして定義した。エッジ上の数字は、エッジのコストとする。このエッジコストは、隣接する画素の評価値の合計などで求める。

最後に、グラフのエッジコスト（辺のコスト）が最小になるようなグラフの分割を求める。図１０は、重複領域についてコスト画像から生成した２次元上のグラフの分割する一例を示す概念図である。このグラフの分割結果が、重複領域の分割に対応している。具体的な手法としては、最短経路を求めるダイクストラ法（例えば、非特許文献４）や、グラフカット法（例えば、非特許文献５）などが利用される。これにより、コスト画像の画素値が大きい画素（ノード）付近のエッジでは、分割が行われず、画素値の小さい画素周辺のエッジで分割が行われる。

池田 聖，佐藤 智和，横矢 直和，"全方位型マルチカメラシステムのキャリブレーションによる高解像度な全天球パノラマ動画像の生成，" 画像ラボ， 2005.2,pp.5-9,2005 J. Davis, "Mosaics of scenes with moving objects," Proc. Computer Vision and Pattern Recognition Conference, pp.354-360, 1998. 飯吉 建彰，三橋 渉， "画像モザイク生成のための部分的な前景の自動除去，" Vol.J92-D No.8 pp.1403-1413,2009 Dijkstra, E. W, "A note on two problems in connexion with graphs, " Numerische Mathematik 1, 269-271, 1959 石川 博，"グラフカット，" 情報処理学会研究報告，2007-CVIM-158-(26),No.31,pp.193-204,2007

従来技術による、複数の視点から撮影された複数枚の静止画像を合成する方法を、そのまま動画像に適用した場合、以下で説明する“チラつき”や、“揺れ”が生じるという問題がある。以下、“チラつき”や、“揺れ”について、説明する。

図１１は、従来技術による領域分割方法での揺れやブレが生じる一例を示す概念図である。従来技術を動画に適用した場合には、合成後の画像を動画としてみると、画像の広範囲の領域が揺れるような現象や、静止物が動くようなチラつきが発生する。図１１に示す例でいえば、フレームｆとフレームｆ＋１とで重複境界の位置が異なるので、フレームｆとフレームｆ＋１の被写体は、異なるカメラからの画像により表示される。

一般的に異なるカメラのモザイク面上の投影画像の像は、ずれているので、動画としてみると、このときにチラつきや揺れが生じる。つまり、従来技術では、時間軸方向による境界線の独立した生成が課題の原因となっている。

つまり、従来技術では、画像の合成をフレーム毎に独立して行うため、生成されたモザイク画像を動画としてみると、本来静止している被写体が動いているように見える“チラつき”や、まるでカメラが手振れして撮影したように広範囲の領域が“揺れる”というような現象が生じるので、画像の品質低下が生じる。

また、従来技術では、テクスチャの多い背景を分割の境界にしないようにするので、動く人物などを通るように領域分割してしまうことがあるため、合成後の画像に違和感を生じてしまう。人物等の動く被写体については、トラッキングや、前後のフレームを利用した差分画像から検出を行い、その被写体付近のエッジコストを大きくすることにより、動く被写体を分割することを防ぐことができる。

しかしながら、従来技術では、フレーム間での領域分割の関連性を考慮していないため、上記のような画像の“チラつき”や、“揺れ”を抑制することは難しい。

本発明は、このような事情を考慮してなされたものであり、その目的は、動画像内に映りこんでいる移動物体を切断しないで、かつ、合成に伴う“チラつき”や、“揺れる”現象を低減しつつ、視差がある様な複数台のカメラで撮影された動画像を合成することができる画像生成装置、画像生成方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成装置であって、予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、２つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換手段と、前記変換手段により求められた各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成手段と、前記変換手段により求められた各重複領域に対して、各画素をノード（節）、ノード間を連結したものをエッジ（辺）とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成手段と、前記時・空間方向グラフ生成手段により算出された空間方向のエッジコストと時間方向のエッジコストとに基づいて、前記変換手段により求められた重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割手段と、前記時・空間方向重複領域分割手段により分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成手段とを備えることを特徴とする画像生成装置である。

本発明は、上記の発明において、前記コスト画像生成手段は、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記コスト画像生成手段は、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記コスト画像生成手段は、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記画像合成手段は、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする。

また、上述した課題を解決するために、本発明は、複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成方法であって、予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、２つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換ステップと、前記各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成ステップと、前記各重複領域に対して、各画素をノード（節）、ノード間を連結したものをエッジ（辺）とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成ステップと、前記空間方向のエッジコストと前記時間方向のエッジコストとに基づいて、前記重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割ステップと、前記分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成ステップとを含むことを特徴とする画像生成方法である。

本発明は、上記の発明において、前記コスト画像生成ステップは、被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記コスト画像生成ステップは、予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記コスト画像生成ステップは、前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする。

本発明は、上記の発明において、前記画像合成ステップは、さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする。

また、本発明は、上述の画像生成方法をコンピュータに実行させるプログラムである。

この発明によれば、画像のチラつきや、広範囲な画像のゆれを抑制したモザイク画像を生成することができる。

本発明の実施形態によるモザイク画像生成装置の構成を示すブロック図である。 本実施形態によるモザイキング処理を説明するためのフローチャートである。 従来技術による“揺れ”や、“チラつき”が生じる原因の説明するための概念図である。 本実施形態における時間と空間方向のグラフ構造の一例を示す概念図である。 本実施形態による“揺れ”や、“チラつき”が抑制できる理由を示す概念図である。 従来技術による領域分割方法で２枚の画像を例としたモザイキングを示す概念図である。 従来技術による領域分割方法で２枚の画像を例としたモザイキングを示す概念図である。 従来技術による領域分割方法での重複領域におけるブレを拡大表示した例を示す概念図である。 従来技術による領域分割方法での重複領域におけるコスト画像の生成法の一例を示す概念図である。 従来技術による領域分割方法での重複領域についてコスト画像から生成した２次元上のグラフの分割する一例を示す概念図である。 従来技術による領域分割方法での揺れやブレが生じる一例を示す概念図である。

以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、広範囲なシーンを撮影した動画像のモザイク画像を生成し、従来技術の課題を解決することを目的としている。例えば、コンサート会場や、サッカー等の競技場に設置した複数台のカメラで取得した広範囲なシーンの動画像からモザイク画像を生成することを目的としている。

前述した従来技術によるモザイク画像生成手法では、合成画像において重複領域に視差によるブレ（２重の像）が生じることを防止するために、重複領域を分割して各領域に１つの画像のみを表示しているが、この方法をそのまま動画像（映像）に用いると、フレーム毎に分割領域の境界位置が変化するため、本来静止している被写体が動いているように見える“チラつき”や、カメラが手振れして撮影したような“広範囲な揺れ”が生じる。

本発明は、この課題を低減することを目的とし、重複領域の分割をフレーム毎に行うのではなく、時間方向においても連続した分割手法をモザイク生成手法に取り入れたものであり、複数のフレームの時間軸方向の連続性を考慮した領域分割を行う。具体的な方法としては、領域に対して人が注目している度合い（コスト）を複数フレーム分まとめて算出し、人が注目している領域については、時間的、空間的に分断しないように領域分割を行うことを特徴としている。

図１は、本発明の実施形態によるモザイク画像生成装置の構成を示すブロック図である。図１において、被写体撮影手段１０１は、複数台のカメラで構成される多視点画像取得システムであり、例えば、サッカー場での試合やコンサートホールの舞台演奏を複数台のカメラで撮影するようなシステムである。該被写体撮影手段１０１は、撮影した映像信号Ｓ１をカメラ画像取得手段１０２に供給する。

モザイク画像生成装置１００は、カメラ画像取得手段１０２、モザイク画像生成手段１０３、画像記憶手段１０６、及び生成画像出力手段１０４からなる。カメラ画像取得手段１０２は、被写体撮影手段１０１からの映像信号Ｓ１を取得し、画像データＤ１として画像記憶手段１０６に供給する。

画像記憶手段１０６は、カメラ画像記憶手段１０６ａ、及び合成画像記憶手段１０６ｂからなる。カメラ画像記憶手段１０６ａは、カメラ画像取得手段１０２からの画像データＤ１を記憶する。合成画像記憶手段１０６ｂは、後述するモザイク画像生成手段１０３から出力される合成画像データＤ６を記憶する。

該画像記憶手段１０６は、カメラ画像記憶手段１０６ａと合成画像記憶手段１０６ｂにより構成されるが、同一の記憶媒体であってもよい。例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。被写体撮影手段１０１のカメラによる被写体撮影で予め撮影したシーンの画像を、画像記憶手段１０６に記憶しておくことで、モザイク画像生成手段１０３の画像合成手段１０３ｅによる処理を、オフラインで実行することが可能となる。

モザイク画像生成手段１０３は、カメラ画像記憶手段１０６ａに記憶されている画像データＤ１を取り出し、最終的に、合成画像（モザイク画像）データＤ６を生成する。該モザイク画像生成手段１０３は、基準投影面（モザイク面）への変換手段１０３ａ、コスト画像生成手段１０３ｂ、時・空間方向のグラフ生成手段１０３ｃ、時・空間方向のグラフ分割手段１０３ｄ、及び画像合成手段１０３ｅからなる。

基準投影面への変換手段１０３ａは、各カメラで撮影した画像を射影変換する。より詳細には、予め複数の画像間の特徴点の対応関係から推定した各撮影カメラのカメラパラメータを用いて、２つ以上の視点で撮影された同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した画像（投影多視点）を作成する。この投影多視点画像について重複領域（Ｎ個）を求める。

コスト画像生成手段１００ｂは、射影変換された画像の重複領域について、フレームＦ枚分の画像についてコスト画像を生成する。より詳細には、各重複領域に対して、輪郭等のエッジが多い領域や、テクスチャが細かい領域など高周波成分を多く含む領域や、動いている被写体や、人の顔等、画像における被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出する。各重複領域の各画素にこのコスト値を割り当てたものがコスト画像である。より具体的には、コスト画像生成手段１００ｂは、予め定めた枚数の連続するフレームの間での画像特性の変化、例えば、輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の画像特性の変化、例えば、輝度変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いる。該評価関数は、各重複領域において投影多視点画像の画像特性を表すデータの差、例えば、輝度値の差が大きければ大きいほど、コスト値が大きくなる様な評価関数としてもよい。

時・空間方向のグラフ生成手段１０３ｃは、重複領域について、Ｆフレーム分の画像からグラフを作成する。より詳細には、各重複領域に対して、各画素をノード（節）、ノード間を連結したものをエッジ（辺）とする空間方向のグラフを作成する。その際に、エッジコストと、時間方向のエッジコストを算出する。空間方向のエッジコストは、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、着目ノードと隣接ノードとのコスト値が高ければエッジコストが高くなるように算出する。また、時間方向のエッジコストは、着目ノードと、予め定めた枚数のフレームの中で、空間方向において着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、着目ノードと隣接ノードとのコスト値が高ければエッジコストが高くなるように算出する。

時・空間方向のグラフ分割手段１０３ｄは、重複領域をラベル毎の領域に分割する。より詳細には、重複領域のノード毎にどのカメラ番号（ラベル）の画像を割り振るか決める数学的問題に帰着させて解くことで、時空間方向の重複領域の分割をする。すなわち、着目するノードに対して、予め設定したラベルと同一のラベルを割り振らなかったときに、コストを付加するコスト関数と時空間方向で隣接するノード同士に異なるカメラの画像を割り当てる場合にエッジコストが発生するようなコスト関数の総コストを算出する評価関数を基準として、その評価関数の値（つまり、コストの合計値）が最小となる様な最適化問題を解き、各重複領域の各ノードに対して割り当てるカメラ画像を決定する。

画像合成手段１０３ｅは、フレーム毎に重複領域の画像と重複していない領域の画像とを連結する。より詳細には、各重複領域の各画素に対して、割り当てられたカメラ番号で特定される画像の画素値を割り当て、画像を合成する。このとき、重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施してもよい。

生成画像出力手段１０４は、合成画像記憶手段１０６ｂに記憶された合成画像データＤ６を、出力用画像データとして読み出し、ディスプレイ表示用の映像信号Ｓ２として生成画像表示手段１０５に出力する。

生成画像表示手段１０５は、例えば、ディスプレイ端子等の生成画像出力手段１０４に接続されたＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）等の表示装置である。生成画像表示手段１０５は、生成画像出力手段１０４からの映像信号Ｓ２に従って合成画像を表示する。なお、生成画像表示手段１０５は、例えば、２次元平面状の装置でもよいし、装置利用者を取り囲むような曲面状の表示装置であってもよい。

次に、本実施形態のモザイク画像生成装置１００によるモザイク画像生成方法ついて説明する。図２は、本実施形態のモザイク画像生成装置１００によるモザイク画像生成方法を説明するためのフローチャートである。なお、被写体撮影手段（以下、カメラともいう）１０１の配置の仕方は自由であるが、本実施形態では、ある程度の共通視野（重複領域）を確保するために、格子状、もしくは一直線上に、複数台のカメラを並行、もしくは特定の被写体を注視点とするような放射線状に配置していることを想定している。

まず、前処理として各カメラから基準となるカメラへの射影変換行列を求める（ステップＳ１）。このとき、カメラ番号をｍ（＝１，２，…，Ｍ）、画像のフレーム番号をｆ（＝１，２，…，Ｆ）とする。次に、基準投影面への変換手段１０３ａで、各カメラで撮影した画像を射影変換する（ステップＳ２）。変換する画像は、基準となるカメラの画像以外の全てである。以後のステップでは、求めた射影変換後の画像Ｉ_ｍ，ｆを使用する。ここで、ｍは、ステップＳ１のカメラ番号、ｆは、ステップＳ１のフレーム番号を示している。次に、射影変換後の画像Ｉ_ｍ，ｆについて、重複した領域をＲ_ｉ（ｉ＝１，２，…，Ｎ）とする（ステップＳ３）。なお、図１１のように、カメラの台数が２台の場合には、重複領域の数は、１（Ｎ＝１）である。以下のステップでは、ｉ＝１からＮまで同様の処理を行う。

次に、重複領域Ｒ_ｉについて、フレームＦ枚分の画像についてコスト画像を生成する（ステップＳ４）。コスト画像は、人が注目する度合いの評価結果であり、例えば、動いている車や、静止しているが、輪郭のエッジ強度が強くてテクスチャの細かい建物等のコストが大きくなるような評価値となる。コスト画像の評価方法の例として以下に示す。

動いている被写体については、フレーム間差分により検出した。静止物については、ラプラシアンフィルタをかけてエッジ強度の大きい画素を調べ、エッジ強度が数フレームの間である閾値以上続く画素上に静止物があるとした。フレームｆにおける重複領域Ｒ_ｉにおいてＫ枚の画像Ｉ_ｋ，ｆが重複しているとすると、コスト画像ＩｍｇＣ_１（Ｒ_ｉ）は、次式（１）のように設定できる。

但し、αとβは、実験的に決める調整用の定数であり、ｘとｙは、画像上の横方向と縦方向に座標軸を設定したときの座標を示す変数である。

また、Ｍ（Ｒ_ｉ）とＳ（Ｒ_ｉ）は、画素毎に処理する関数である。Ｍｏｖｅは画像Ｉ_ｋ，ｆに動く被写体の像が存在するなら１を、それ以外なら０を、画素毎に出力する関数であり、Ｍ（Ｒ_ｉ）は、ＭｏｖｅによるＫ枚の画像の結果を画素毎に足し合わせた値を出力する関数である。Ｓｔａｙは、画像Ｉ_ｋ，ｆに静止物があるなら１を、それ以外なら０を、画素毎に評価し、Ｓ（Ｒ_ｉ）は、ＳｔａｙによるＫ枚の画像の結果を画素毎に足し合わせた値を出力する関数である。

また、カメラ間の特性の違いや、視差による影響を考慮する為に、例えば、次式（２）で表すコスト画像ＩｍｇＣ_２を設定することもできる。

但し、ｕとｖは、Ｋ枚の画像の組み合わせであり、Ｚは、Ｋ枚から２枚の画像の組み合わせの集合である。Ｄ（Ｒ_ｉ）は、画像Ｉ_ｕ，ｆとＩ_ｖ，ｆについて、画素毎にＲ，Ｇ，Ｂ成分毎の差分をとったベクトルｗについて２−ノルムを出力する関数である。

次に、重複領域Ｒ_ｉについて、Ｆフレーム分の画像からグラフを作成する（ステップＳ５）。ここで、図３は、従来技術による“揺れ”や、“ブレ”が生じる原因の説明するための概念図である。図３に示すように、従来技術の方法では、フレームｆ−１、ｆ、ｆ＋１毎に領域を分割してしまうので、動く被写体（図示の例では車両Ｂ）などの影響により、境界がフレームｆ−１、ｆ、ｆ＋１毎に異なる。そこで、本発明では、時間方向の関連性も考慮した分割法を行う。

ここで、図４は、本実施形態における時間と空間方向のグラフ構造の一例を示す概念図である。まず、コスト画像の画素をノードとして、時間軸方向にも空間方向と同様にしてエッジ（辺）を作成して３次元のグラフを作成する（図４参照）。グラフのエッジコストは、コスト画像を基にして決める。例えば、空間方向については、コスト画像の画素値の和や、積の値とすればよい（（１）参照）。時間方向については、コスト画像ＩｍｇＣ_１における画素値の和や、積の値に定数項γを掛けたものを時間方向のエッジコストとする（（２）参照）。但し、画像が大きい場合などは、隣接する画素毎にエッジを作成するのではなく、コスト画像を縮小したものを利用したグラフを利用して計算コストを削減することは可能である。

図５（ａ）〜（ｃ）は、本実施形態による“揺れ”や、“ブレ”が抑制できる理由を示す概念図である。図５には、時間方向のエッジを生成する効果を示す。図５において、人が注目する被写体とは、車両Ｂと標識Ｃとであると仮定している。コスト画像の注目画素（ノード）をフレーム間で繋いだものを図５（ａ）に示す。図５（ｂ）に示すように、従来技術のようなフレーム毎に最適な領域分割を行うと、フレームｆとｆ＋１のところで各フレームの分割境界を繋いで作成される面により、静止物である標識Ｃのエッジ（破線）が交わる可能性があることが分かる。

図５（ｃ）では、断面：Ａ−Ａにおいて、動く被写体（車両Ｂ）があるノード間のエッジを破線で示し、静止している被写体（標識Ｃ）のあるノードのエッジを一点破線で示し、それ以外のノード間のエッジを実線で示している。この図からも分かるように、時間方向についても、エッジコストが大きいエッジを切らないような分割を行えば、動画にしたときの２重画像を防ぐことができる。つまり、複数枚のフレームにより作成した３次元のグラフについて、エッジコストが最小になるような分割を求めれば、注目する被写体を時間方向で横切るような領域分割をすることが防げる。

パラメータについて述べると、α、βの値を大きくすることによって、空間方向について被写体を境界が横切ることを防ぐことができる。時間方向については、γの値を大きくすることにより、被写体を時間方向に横切ることを抑制することができるので、上記の課題である揺れや、チラつきを抑える効果がある。

しかしながら、γが大きすぎると、空間方向に被写体を分割するように境界を設定する可能性もある。図５（ａ）、（ｂ）に示す例でいうと、例えば、動いている車両Ｂが重複領域の中央でしばらく止まったときなど、他の動いている被写体の影響などにより、車両Ｂの上に境界が設定されることや、標識Ｃの一部が静止物として検出されなかった場合などに、標識Ｃの一部の上に境界が設定され続ける可能性もある。そのため、これらのパラメータは、実験的に調整して決定する。

次に、評価関数Ｅを最小にする最適化問題を解くことで、重複領域をラベル毎の領域に分割する（ステップＳ６）。ある重複領域のコスト画像の画素（ノード）をｐとしたとき、ノード毎に定義されるラベルをＬ＝｛１，２，…，Ｍ｝とする。但し、ラベル番号は、カメラ番号と一致し、その画素にどのカメラ画像を表示するかを示すものとする。このとき、３次元のグラフについて、次式（３）で表されるコスト関数Ｅを定義する。

ここで、ｑは、ｐとの空間方向と時間方向の隣接画素とし、Ｌ（ｘ）は、ノードｘの位置のラベルとする。Ｃ_ｄは、特定のノード対を対象としたコスト関数、Ｃ_ｉは、全てのノードについて対象として、ノードの隣接関係に対するコスト関数とする。

Ｃ_ｄとＣ_ｉの具体的な計算方法は、様々であるが、上記数式（３）にその一例を示している。Ｃ_ｄは、あるノードｐの画素が予め設定してあるラベルと同じであれば、コストは０であり、それ以外では、コストＫｂを出力する関数とし、Ｋｂは、実験的にユーザが設定するものとする。

そのため、事前にあるノードについて静止物体であるということが分かっているならば、ユーザにより、そのノードに特定のカメラ番号のラベルとそのラベルに対して、エッジコストに比べて非常に大きな値をコストとして設定することで、その画素のラベルをユーザの指定したものにできる。本実施形態では、重複領域でない領域と接している重複領域のノードについて、Ｃ_ｄを重複領域でない領域の画像のカメラ番号に設定する。それ以外のノードについては、Ｃ_ｄ＝０とする。

Ｃ_ｉは、ｐと隣接画素ｑとのラベルが同じであれば、コスト０を、それ以外は、エッジコストを出力する関数とする。

以上のようにコスト関数を設計すれば、このコスト関数を最小にするようなラベルの組み合わせ最適化問題として解ける。計算する具体的アルゴリズムの例としては、最大流最小切断定理によるグラフカット法（非特許文献５）や、信頼度伝播法などがある。

ここで、実用上の問題として対象とする動画のフレーム数が数万〜数十万である場合、計算機のメモリの限界により、一括して処理を行うことができない可能性がある。仮に１時間の動画を扱うとすると、フレーム数は、３０（ｆｐｓ）＊６０（秒）＊６０（分）＝１０８０００フレームとなる。これを対処する一例を挙げると、動画を幾つかのフレームに分割して処理をする方法がある。

例えば、１０００フレームの動画を２分割する場合、１−５００フレームを上記方法で一括処理した後、５０１−１０００フレームを上記方法で一括処理する。但し、単純に分割して処理すると、２つの動画の間に時間の連続性が保たれないので、画像の揺れや、ちらつきが生じてしまう。そこで、５０１フレーム目のノードに対して５００フレーム目の領域分割結果のラベルを初期値として与える。つまり、上記Ｃ_ｄのラベル指定の部分に、直前で処理した結果を入力することで、時間的に連続した処理を行うことが可能となる。

次に、各フレームｆについて、画素ｐのラベルＬ（ｆ，ｐ）に対応したカメラ画像Ｉ_ｍ，ｆを貼り付け、重複領域Ｒ_ｉの画像合成を行う（ステップＳ７）。ここで、貼り付けた画像間の境界が目立たなくなるように、ブレンディング処理を行うことも可能である。簡単な例としては、境界線付近の数ピクセル以内の画素については、境界線に接しているカメラ画像の画素値を混合する。カメラｍとカメラｍ＋１の画像が隣り合う場合には、境界線から数ピクセルの画素は、カメラｍとカメラｍ＋１の画像の画素値の中間の色（Ｒ，Ｇ，Ｂ成分毎に足して２で割った値）を表示することとなる。

次に、全ての重複領域Ｒ_ｉ（ｉ＝１，…，Ｎ）について終了したか否かを判定し（ステップＳ８）、全ての重複領域Ｒ_ｉ（ｉ＝１，…，Ｎ）が終了するまで、上述したステップＳ４〜ステップＳ７を繰り返し行う。

そして、全ての重複領域Ｒ_ｉ（ｉ＝１，…，Ｎ）について終了すると、フレーム毎に重複領域の画像と重複していない領域の画像とを連結し（ステップＳ９）、全重複領域について処理が終われば終了する。

本実施形態によれば、複数枚のフレームの連続性を考慮しており、動画としても大域的な最適解を得られる。これに対して、従来技術では、フレーム毎に画像の合成領域を求める方法を用いていたので、動画として考えると、局所的な最適解を得ているにすぎなかった。

また、本実施形態では、動く物体や、静止する物体など、それぞれに適した方法により検出する方法を、枠組みの中に組み込んでいることにより、画像の品質低下をもたらす画像のチラつきや、揺れという現象を効率的に抑制することを実現できる。従来技術では、フレーム毎に領域を求めていたので、境界は、２次元のグラフを分割する線でしかなかったのに対して、本実施形態では、３次元のグラフを分割する２次元の面を求めている違いがある。

以上、本発明によってなされた発明を、実施形態に基づき具体的に説明したが、本発明は、実施形態に限定されるものではなく、その要旨を逸脱しない範囲においての変更可能であることは勿論である。

１００ モザイク画像生成装置
１０１ 被写体撮影手段
１０２ カメラ画像取得手段
１０３ モザイク画像生成手段
１０３ａ 基準投影面への変換手段
１０３ｂ コスト画像生成手段
１０３ｃ 時・空間方向のグラフ生成手段
１０３ｄ 時・空間方向のグラフ分割手段
１０３ｅ 画像合成手段
１０４ 生成画像出力手段
１０５ 生成画像表示手段
１０６ 画像記憶手段
１０６ａ カメラ画像記憶手段
１０６ｂ 合成画像記憶手段

Claims (11)

1. 複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成装置であって、
   予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、２つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換手段と、
   前記変換手段により求められた各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成手段と、
   前記変換手段により求められた各重複領域に対して、各画素をノード（節）、ノード間を連結したものをエッジ（辺）とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成手段と、
   前記時・空間方向グラフ生成手段により算出された空間方向のエッジコストと時間方向のエッジコストとに基づいて、前記変換手段により求められた重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割手段と、
   前記時・空間方向重複領域分割手段により分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成手段と
   を備えることを特徴とする画像生成装置。
2. 前記コスト画像生成手段は、
   被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする請求項１に記載の画像生成装置。
3. 前記コスト画像生成手段は、
   予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする請求項２に記載の画像生成装置。
4. 前記コスト画像生成手段は、
   前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする請求項３に記載の画像生成装置。
5. 前記画像合成手段は、
   さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする請求項１から４のいずれかに記載の画像生成装置。
6. 複数の撮影手段により動画像を対象として撮影される多視点画像について、領域の一部が重複する複数の画像を合成してモザイク画像を生成する画像生成方法であって、
   予め複数の画像間の特徴点の対応関係から推定した前記各撮影手段の撮影パラメータを用いて、２つ以上の視点で、同じ時間帯に撮影された動画像を、予め定めた基準となる面に投影した投影多視点画像を作成し、該投影多視点画像について複数の重複領域を求める変換ステップと、
   前記各重複領域に対して、被写体の像が注目される度合いを評価する関数を用いてコスト値を画素毎に算出するコスト画像生成ステップと、
   前記各重複領域に対して、各画素をノード（節）、ノード間を連結したものをエッジ（辺）とする空間方向のグラフを作成し、その際に、着目ノードと、該着目ノードと周囲のノード、つまり時間方向では同一で空間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように、空間方向のエッジコストを算出し、前記着目ノードと、予め定めた枚数のフレームの中で、空間方向において前記着目ノードと同じ位置にある画素で、かつ時間方向で隣接する隣接ノードとのコスト値を用いて、前記着目ノードと前記隣接ノードとのコスト値が高ければエッジコストが高くなるように時間方向のエッジコストを算出する時・空間方向グラフ生成ステップと、
   前記空間方向のエッジコストと前記時間方向のエッジコストとに基づいて、前記重複領域のノード毎に、前記着目ノードに対して、予め設定した撮像手段と同一の撮像手段を割り振らなかった場合にコストを付加するコスト関数と、時空間方向で隣接するノード同士に異なる撮像手段の画像を割り当てる場合にエッジコストが発生するようなコスト関数との総コストを算出する評価関数を基準として、該評価関数によるコストの合計値が最小となるような最適化問題を解くことにより、各重複領域の各ノードに対して割り当てる画像を決定することで、時・空間方向の重複領域を分割する時・空間方向重複領域分割ステップと、
   前記分割された各重複領域の各画素に対して、割り当てられた撮像手段で特定される画像の画素値を割り当て、画像を合成する画像合成ステップと
   を含むことを特徴とする画像生成方法。
7. 前記コスト画像生成ステップは、
   被写体の像が注目される度合いを評価する関数として、前記変換手段により求められた各重複領域に対する画像特性の変化が予め定めた閾値以上の画素のコストが高い値となるような評価関数を用いることを特徴とする請求項６に記載の画像生成方法。
8. 前記コスト画像生成ステップは、
   予め定めた枚数の連続するフレームの間での輝度変化が予め定めた閾値以上の画素のコストと、周辺領域の画素の輝度変化が予め定めた閾値以上の画素のコストとが高い値となるような評価関数を用いることを特徴とする請求項７に記載の画像生成方法。
9. 前記コスト画像生成ステップは、
   前記評価関数として、前記各重複領域において投影多視点画像の輝度値の差が大きければ大きいほど、コスト値が大きくなるような評価関数を用いることを特徴とする請求項８に記載の画像生成方法。
10. 前記画像合成ステップは、
    さらに、前記重複領域における境界付近の画素の色、もしくは輝度について、隣接する投影多視点画像の画素の色、もしくは輝度を用いてぼかし処理を行うことで、画像間の境界を目立たなくするブレンディング処理を実施することを特徴とする請求項６から９のいずれかに記載の画像生成方法。
11. 請求項６から請求項１０までのいずれかに記載の画像生成方法をコンピュータに実行させるプログラム。

Images