JP2018056971A - 撮像システム、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点からの再構成画像を生成した際に、撮影空間中の様々な位置に存在する被写体についてバランスの取れた画像品質が得られるような、撮像システムを提供する。【解決手段】複数の撮像装置を備え、自由視点画像を生成するために、複数の撮像装置のそれぞれを用いて撮像画像を取得する。複数の撮像装置は、第１の注視点に向けて設置された１以上の撮像装置で構成される第１の撮像装置群と、第１の注視点とは異なる第２の注視点に向けて設置された１以上の撮像装置で構成される第２の撮像装置群と、を含む。【選択図】図１

Description

本発明は、撮像システム、画像処理装置、画像処理方法、及びプログラムに関する。

被写体を複数の撮像装置で撮像して得られた画像から、任意の仮想視点から被写体を観察した際に得られる画像を再構成する技術が知られている。例えば、特許文献１には、以下の方法が開示されている。まず、複数のカメラにより撮像された被写体の撮像画像を用いて、被写体の三次元モデルを作成する。次に、三次元モデル上の各位置のテクスチャ画像を、複数の撮像画像をブレンドすることにより生成する。こうして生成された三次元モデルとテクスチャ画像とに基づいて、カメラが配置されていない仮想視点からの画像を再構成することができる。

特許文献１では、４０台のカメラを被写体を取り囲むように被写体に向けて設置する例が示されている。一方、特許文献２には、再構成画像の精度を向上させるために、被写体の上に被写体に向けて設置された天頂カメラをさらに用いる方法が提案されている。

特開２０１０−０２０４８７号公報 特開２０１０−０３９５０１号公報

特許文献１，２の方法は、所定位置に存在する被写体の再構成画像を生成するために適している。しかしながら、スポーツ撮影等、被写体が広い空間（例えば競技フィールド）に散らばって動いている場合に適用する際には、特許文献１，２の方法は課題を有していた。例えば、特許文献２に従って各カメラをフィールドの中央に向けて設置した場合、フィールドの中央にいる被写体に関しては、高品質な再構成画像を生成することができる。一方で、フィールドの端部にいる被写体に関しては、この被写体を写すカメラの数が限られ、再構成画像が得られないか又は品質が低下する可能性がある。

本発明は、仮想視点からの再構成画像を生成した際に、撮影空間中の様々な位置に存在する被写体についてバランスの取れた画像品質が得られるような、撮像システムを提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の撮像システムは以下の構成を備える。すなわち、
複数の撮像装置を備え、自由視点画像を生成するために、前記複数の撮像装置のそれぞれを用いて撮像画像を取得する撮像システムであって、
前記複数の撮像装置は、第１の注視点に向けて設置された１以上の撮像装置で構成される第１の撮像装置群と、前記第１の注視点とは異なる第２の注視点に向けて設置された１以上の撮像装置で構成される第２の撮像装置群と、を含む
ことを特徴とする。

仮想視点からの再構成画像を生成した際に、撮影空間中の様々な位置に存在する被写体についてバランスの取れた画像品質が得られるような、撮像システムを提供することができる。

実施形態１に係る撮像システムの構成例を示す図。 実施形態２に係る撮像システムの構成例を示す図。 実施形態３に係る撮像システムの構成例を示す図。 実施形態３に係る撮像システムの構成例を示す図。 実施形態４に係る画像処理装置のハードウェア構成例を示す図。 実施形態４に係る画像処理装置の機能構成例を示す図。 実施形態４に係る画像処理方法における処理例を示すフローチャート。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。例えば、撮影空間の任意の場所に存在する被写体について再構成画像を生成することを可能とするために、焦点距離の短い（画角の広い）カメラを、撮影空間を取り囲むように設置することができる。一方、カメラの焦点距離を短くすると、撮像画像上の被写体が小さくなるため、再構成画像の品質が低下することも考えられる。

以下の実施形態では、被写体を撮像するカメラの数が少ないことに由来して品質低下が起きる撮影領域を減らすこと（以下、視点の自由度の向上と呼ぶ）を考慮してカメラが設置される。また、以下の実施形態では、撮像画像上の被写体像が小さいことに由来する品質低下の抑制（以下、画質の向上と呼ぶ）も考慮してカメラが配置される。

［実施形態１］
実施形態１に係る撮像システム１００について図１を参照して説明する。撮像システム１００は、複数の撮像装置１０２，１０４を備え、自由視点画像を生成するために、複数の撮像装置１０２，１０４のそれぞれを用いて撮像画像を取得する。自由視点画像とは、任意に設定された仮想視点からの再構成画像のことを指す。撮像装置１０２，１０４は、被写体が存在する撮影空間を取り囲むように、撮影空間に向けて配置されている。例えば、撮像装置１０２，１０４を、撮影フィールド１０８（例えば競技グラウンド）を取り囲むように設置することができる。

撮像システム１００が備える複数の撮像装置１０２，１０４は、１以上の撮像装置で構成される第１の撮像装置群１０２と、１以上の撮像装置で構成される第２の撮像装置群１０４と、を含む。第１の撮像装置群１０２は、第１の注視点１０１に向けて設置されている。また、第２の撮像装置群１０４は、第１の注視点１０１とは異なる第２の注視点１０３に向けて設置されている。注視点とは、撮影空間上に設置される任意の点である。本実施形態において、被写体は撮影フィールド１０８上に存在し、注視点も撮影フィールド１０８上に設定され、具体的には注視点は撮像装置の光軸と撮影フィールド１０８との交点に位置する。しかしながら、注視点は空中に設定されてもよい。

一実施形態において、第１の撮像装置群１０２は、第１の注視点１０１にフォーカスが合うように第１の注視点１０１に向けて設置され、第２の撮像装置群１０４は、第２の注視点１０３にフォーカスが合うように第２の注視点１０３に向けて設置される。しかしながら、例えば撮像装置の被写界深度が深い場合、撮像装置のフォーカスを注視点に正確に合わせる必要はない。

第１の撮像装置群１０２は、撮影フィールド上の第１の領域１０５が視野内に入るように設置されている。言い換えれば、第１の領域１０５は、第１の撮像装置群１０２の共通視野領域である。また、第２の撮像装置群１０４は、撮影フィールド上の第２の領域１０６が視野内に入るように設置されている。言い換えれば、第２の領域１０６は、第２の撮像装置群１０４の共通視野領域である。このような構成によれば、第１の撮像装置群１０２は少なくとも第１の領域１０５上の被写体を撮像することができる。また、第２の撮像装置群１０４は少なくとも第２の領域１０６上の被写体を撮像することができ、

第１の撮像装置群１０２及び第２の撮像装置群１０４は、それぞれ撮影フィールド１０８を取り囲むように設置されている。また、第１の撮像装置群１０２は第１の注視点１０１を取り囲むように設置されている。例えば図１において、第１の撮像装置群１０２のうちの少なくとも１つの撮像装置１０２ａは、第１の領域１０５よりも第２の領域１０６に近接している。また、撮像装置１０２ａは、第１の注視点１０１よりも第２の注視点１０３に近接している。このような構成によれば、第１の撮像装置群１０２は第１の領域１０５上の被写体を様々な方向から撮像することができる。一方、第２の撮像装置群１０４は第２の注視点１０１を取り囲むように設置されている。例えば図１において、第２の撮像装置群１０４のうちの少なくとも１つの撮像装置１０４ａは、第２の領域１０６よりも第１の領域１０５に近接している。また、撮像装置１０４ａは、第２の注視点１０３よりも第１の注視点１０１に近接している。このような構成によれば、第２の撮像装置群１０４は第２の領域１０６上の被写体を様々な方向から撮像することができる。

本実施形態において、第１の領域１０５及び第２の領域１０６は、撮影フィールド１０８のほぼ全体をカバーしている。例えば、第１の領域１０５と第２の領域１０６との和が撮影フィールド１０８に占める割合は、一実施形態において８０％以上であり、他の実施形態において９０％以上であり、別の実施形態において９５％以上であり、さらなる実施形態において１００％である。このような構成により、撮影フィールド１０８の様々な位置に存在する被写体について、少なくとも第１の撮像装置群１０２又は第２の撮像装置群１０４のいずれかが様々な方向から撮像画像を撮像することができる。このため、撮影フィールド１０８の様々な位置に存在する被写体の再構成画像を生成することができ、すなわち視点の自由度を向上させることができる。別の実施形態において、さらに撮影フィールド１０８上のさらなる領域が視野内に入るように設置された撮像装置群を設けることもできる。この場合、それぞれの撮像装置群の共通視野領域が撮影フィールド１０８のほぼ全体をカバーするように撮像システムを構成できる。

また、本実施形態において、第１の領域１０５と第２の領域１０６との共通領域１０７は小さい。共通領域１０７が第１の領域１０５と第２の領域１０６との和に占める割合は、一実施形態において３０％以下であり、他の実施形態において２０％以下であり、別の実施形態において１０％以下であり、さらなる実施形態において５％以下である。さらに、本実施形態において、第１の領域１０５の重心は第２の領域１０６に含まれない。また、第２の領域１０６の重心は第１の領域１０５に含まれない。このように、第１の領域１０５及び第２の領域１０６を狭くすることにより、第１の撮像装置群１０２及び第２の撮像装置群１０４の画角を狭くすることが可能となり、すなわち画質の向上を実現することができる。

一実施形態において、第１の領域１０５の大きさに応じて、第１の撮像装置群１０２に含まれる撮像装置の数を決定してもよい。すなわち、第１の領域１０５が大きいほど、撮像装置の数を増やすことができる。第２の領域１０６についても同様である。

従来技術によれば、各撮像装置の注視点が撮影フィールド１０８の中心に設定されていた。このため、撮影フィールド１０８の周辺部に存在する被写体は少数の撮像装置でしか撮像できず、この被写体の再構成画像を生成できないことがあった。一方、本実施形態によれば、撮影フィールド１０８のより広い領域において、被写体を所定数以上の撮像装置で撮像することができ、この被写体の再構成画像を生成することが可能となる。すなわち、視点の自由度を向上させることができる。本実施形態によれば、撮影フィールド１０８の中心に存在する被写体を撮像できる撮像装置の数は従来技術と比較して減るかもしれないが、依然としてこの被写体について十分な品質の再構成画像を生成することができると考えられる。すなわち、画質を維持することができる。

［実施形態２］
実施形態１では、複数の撮像装置１０２，１０４は、第１又は第２の注視点１０１，１０３のいずれかを向くように設置された。撮像装置の設置方法はこれに限定されない。例えば、撮影空間の様々な方向に向けて複数の撮像装置を設置することにより、撮影空間内のより広い領域において、被写体を所定数以上の撮像装置で撮像することができ、すなわち視点の自由度を向上させることができる。また、このような構成によれば、撮影空間全体をカバーするように撮像装置の画角を広くする必要はなく、すなわち画質の向上を実現することができる。このように、第１の注視点に向けて設置された１以上の撮像装置で構成される第１の撮像装置群と、第１の注視点とは異なる第２の注視点に向けて設置された１以上の撮像装置とを用いることにより、視点の自由度と画質との両立を図ることができる。実施形態２では、このような構成の一例について説明する。

実施形態２に係る撮像システム２００について図２を参照して説明する。撮像システム２００は、実施形態１と同様に複数の撮像装置２０２，２０４，２０６を備え、それぞれを用いて自由視点画像を生成するための複数の撮像画像を取得する。以下では、実施形態１と異なる点について説明する。

撮像システム２００は、第１の注視点２０１に向けて設置された１以上の撮像装置で構成される第１の撮像装置群２０２と、第１の注視点２０１とは異なる第２の注視点２０３に向けて設置された第２の撮像装置群２０４とを備える。撮像システム２００はさらに、第１及び第２の注視点２０１，２０３とは異なる第３の注視点２０５に向けて設置された、第３の撮像装置群２０６を備える。そして、第１、第２、及び第３の注視点２０１，２０３，２０５は、撮影空間上に設けられた線分２１０上に存在する。図２の例において、第１、第２、及び第３の注視点２０１，２０３，２０５は、撮影フィールド１０８上に設けられた線分２１０上に存在する。

このような構成によれば、従来技術のように各撮像装置の注視点が撮影フィールド１０８の中心にある場合と比較して、被写体を所定数以上の撮像装置で撮像できる領域を線分に沿って広げることができる。このため、視点の自由度を向上させることができる。特に、被写体が一定の方向に動く傾向がある場合、この方向に合わせて線分を設定することにより、被写体が動いても視点の自由度を保つことができる。

第１、第２、及び第３の撮像装置群２０２，２０４，２０６は、線分２１０上の各点にある被写体が少なくとも２群以上のカメラから見えるように、配置することができる。図２においては、注視点２０３，２０５を結ぶ線分上に注視点２０１が存在する。この場合、撮像装置２０２が注視点２０１を向き、撮像装置２０４が注視点２０３を向き、撮像装置２０６が注視点２０５を向くように、各撮像装置を設置することができる。ここで、線分の一端である注視点２０５に近い撮像装置２０４は、線分の他端である注視点２０３に向けて設置されている。また、線分の一端である注視点２０３に近い撮像装置２０６は、線分の他端である注視点２０５に向けて設置されている。このように、撮像装置をより離れた注視点に向けて設置することにより、より広い領域において複数の撮像装置により被写体を撮像することが可能となり、視点の自由度を向上させることができる。

図２には１つの線分２１０を設ける場合を示すが、撮影空間上に２以上の線分を設定することもできる。例えば、撮影フィールド１０８上に、線分２１０に直交する新たな線分を設け、新たな線分上の各注視点に向けて撮像装置を設置することにより、撮影フィールド１０８上のより広い範囲において被写体の再構成画像を生成することが可能となる。

また、図１において、第１の撮像装置群１０２を構成する撮像装置の注視点をずらしてもよい。例えば、第１の撮像装置群１０２に、第１の注視点１０１に向けて設置された１以上の撮像装置と、第１の注視点１０１を含む線分の一端に向けて設置された１以上の撮像装置と、この線分の他端に向けて設置された１以上の撮像装置と、が含まれてもよい。第２の撮像装置群１０４についても同様である。

［実施形態１，２の変形例］
実施形態１，２において、各撮像装置の焦点距離（画角）は同じであってもよい。一方で、各撮像装置の焦点距離（画角）を変えることにより、仮想視点の位置によらず再構成画像の画質を維持することができる。

例えば、図１の例において、注視点１０１に存在する被写体の再構成画像を生成する場合について考える。仮想視点が左側（撮像装置１０２ｂ側）に存在する場合は、撮像装置１０２ｂ（及び被写体の左側に存在する撮像装置）による撮像画像が再構成画像に大きく寄与する。一方、仮想視点が右側（撮像装置１０２ａ側）に存在する場合は、撮像装置１０２ａ（及び被写体の右側に存在する撮像装置）による撮像画像が再構成画像に大きく寄与する。ここで、撮像装置１０２ａと被写体との間の距離は、撮像装置１０２ｂと被写体との間の距離はよりも短い。したがって、撮像装置１０２ａ，１０２ｂの画角が同じ場合、撮像装置１０２ｂによる撮像画像と比較して、撮像装置１０２ａによる撮像画像において、被写体が小さくなる。このため、仮想視点の位置により、被写体の画質が変動する可能性がある。

一実施形態においては、撮像装置と注視点との間の距離に応じて、撮像装置の焦点距離（画角）を変えることができる。例えば、撮像装置と注視点との間の距離が長いほど、撮像装置の焦点距離を長く（画角を狭く）することができる。図１の例によれば、第１の撮像装置群１０２は、互いに異なる画角を有する第４の撮像装置１０２ａ及び第５の撮像装置１０２ｂを含んでいる。そして、第５の撮像装置１０２ｂは、第４の撮像装置１０４ａと比較して、画角が広くかつ第１の注視点１０１に近い。

具体的な焦点距離（画角）の設定方法は特に限定されないが、例えば、注視点付近に存在する被写体の大きさがそれぞれの撮像装置により得られた撮像画像上で同程度になるように設定を行うことができる。例えば、以下の式に従って、撮像装置の焦点距離を決定することができる。
（撮像装置Ａの焦点距離）＝（撮像装置Ｂの焦点距離）×（撮像装置Ａとその注視点との間の距離）／（撮像装置Ｂとその注視点との間の距離）

この方法は、図２の例にも適用可能である。すなわち、撮像装置２０４とその注視点２０３との間の距離、及び撮像装置２０６とその注視点２０５との間の距離に応じて、撮像装置２０４，２０６の焦点距離（画角）を決定することができる。

［実施形態３］
実施形態１，２では、各撮像装置の注視点を分散させる構成について説明した。実施形態３では、各撮像装置の画角を変化させる構成について説明する。実施形態３に係る撮像システム３００は、実施形態１と同様に複数の撮像装置３０２，３０４を備え、それぞれを用いて自由視点画像を生成するための複数の撮像画像を取得する。以下では、実施形態１と異なる点について説明する。

実施形態３に係る撮像システム３００は、１以上の撮像装置で構成される第１の撮像装置群３０２と、第１の撮像装置群よりも画角が広い１以上の撮像装置で構成される第２の撮像装置群３０４と、を備える。このような構成によれば、第１の撮像装置群３０２によりカバーされる領域について画質を向上させることができる。また、撮影空間中の広い領域が第２の撮像装置群３０４によりカバーされるため、視点の自由度を向上させることもできる。

このような構成の例について、図３を参照して説明する。第１の撮像装置群３０２は、撮影フィールド１０８上の第１の領域３０１が視野内に入るように設置されている。言い換えれば、第１の領域３０１は、第１の撮像装置群３０２の共通視野領域である。また、第２の撮像装置群３０４は、撮影フィールド１０８上の第２の領域３０５が視野内に入るように設置されている。言い換えれば、第２の領域３０５は、第２の撮像装置群３０４の共通視野領域である。ここで、第１の領域３０１は、第２の領域３０５に含まれている。図３には、第１の撮像装置群３０２に含まれる撮像装置３０２ａにより撮像された画像３０６、及び第１の撮像装置群３０４に含まれる撮像装置３０４ａにより撮像された画像３０７が示されている。

このような構成によれば、第１の撮像装置群３０２は第１の領域３０１上の被写体を様々な方向から撮像することができる。また、第１の撮像装置群３０２の画角を狭くすることが可能となり、すなわち画質の向上を実現することができる。一方、第２の撮像装置群３０４は、画角が広いために画質は限られるかもしれないが、第２の領域３０５上の被写体を様々な方向から撮像することができるため、視点の自由度を確保できる。このように、図３の構成によれば、全体としてバランスが取れた視点の自由度と画質とを得ることができる。

別の構成例について、図４を参照して説明する。第１の撮像装置群４０２は、撮影フィールド１０８上に設けられた第１の領域４０１が視野内に入るように設置されている。言い換えれば、第１の領域４０１は、第１の撮像装置群４０２の共通視野領域である。第２の撮像装置群は、第１の撮像装置群４０２よりも画角が広い撮像装置により構成される。図４には１つの撮像装置４０４ａにより構成される第２の撮像装置群が示されているが、第２の撮像装置群には２以上の撮像装置が含まれてもよい。

第２の撮像装置群は、撮影フィールド１０８外に設けられた注視点に向けて設置することができる。例えば、図４において、第２の撮像装置群は観客席に向けて設置されている。図４には、例として、第１の撮像装置群４０２のうちの１つの撮像装置４０２ａにより撮像される画像４０３と、第２の撮像装置群のうちの１つの撮像装置４０４ａにより撮像される画像４０５と、が示されている。第２の撮像装置群は、第１の領域４０１以外の被写体領域を撮像できるように設置することができる。例えば、シーン全体（観客席全体）がカバーされるように、第２の撮像装置群を設置し、その画角を調整することができる。このような構成によれば、観客席等の撮影フィールド１０８外の被写体についても再構成画像を得ることができる。

このように、図４の構成によっても、画角のより狭い撮像装置群と、画角のより広い撮像装置群とを組み合わせることにより、全体としてバランスが取れた視点の自由度と画質とを得ることができる。

［実施形態４］
実施形態１〜３では、自由視点画像を生成するための撮像システムの例について説明した。本実施形態では、撮像システムにより得られた撮像画像を用いて、自由視点画像を生成する画像処理装置及びその処理方法について説明する。本実施形態においては、主に、撮影空間中に存在し、移動している１つの被写体が写る再構成画像を生成する方法について説明する。しかしながら、同様の方法により、２以上の被写体が写る再構成画像を生成することもできる。また、被写体は人物等の移動する物体であってもよいし、床又は背景等の移動しない物体であってもよい。

本実施形態に係る画像処理装置は、例えばプロセッサー及びメモリを備えるコンピュータでありうる。図５は、本実施形態に係る画像処理装置５００のハードウェア構成例を示す。画像処理装置５００は、ＣＰＵ５０１、メインメモリ５０２、記憶部５０３、入力部５０４、表示部５０５、外部Ｉ／Ｆ部５０６、及びバス５０７を備える。

ＣＰＵ５０１は、演算処理及び各種プログラムの実行を行う。メインメモリ５０２は、処理に必要なプログラム、データ、及び作業領域等をＣＰＵ５０１に提供する。記憶部５０３は、例えばハードディスク又はシリコンディスク等であり、各種プログラム又はデータを蓄積する。入力部５０４は、例えばキーボード、マウス、電子ペン、又はタッチパネル等であり、ユーザからの操作入力を受け付ける。表示部５０５は、例えばディスプレイであり、ＣＰＵ５０１の制御に従ってＧＵＩ等を表示する。外部Ｉ／Ｆ部５０６は、外部装置とのインタフェースである。本実施形態において、外部Ｉ／Ｆ部５０６は、ＬＡＮ５０８を介して撮像装置群と接続し、撮像装置群との間で映像データ及び制御信号データ等を送受信する。バス５０７は上述の各部を接続し、データを転送する。

例えば図６に示されるような、以下で説明される各部の動作は、以下のようにして実現できる。すなわち、記憶部５０３等の、コンピュータ読み取り可能な記憶媒体に格納された各部の動作に対応するプログラムを、メインメモリ５０２に展開する。そして、このプログラムに従ってＣＰＵ５０１が動作することにより、以下で説明される各部の動作を実現できる。もっとも、後述する各部のうち全部又は一部の動作は、ＡＳＩＣ等の専用のハードウェアによって実現されてもよい。

画像処理装置５００は、第１の撮像装置群５０９及び第２の撮像装置群５１０と接続され、画像処理システム５１１を構成している。撮像装置群５０９，５１０は、画像処理装置５００からの制御信号に従って、撮影の開始及び停止、設定（シャッタースピード又は絞り等）の変更、並びに撮影データの転送を行う。撮像装置群５０９，５１０は、例えば実施形態１〜３に従って撮影空間の周りに配置することができる。

図６は、画像処理装置５００が備える機能構成を示す。図６に示すように、画像処理装置５００は、画像取得部６１０、視点設定部６２０、形状推定部６３０、及び画像生成部６４０を備える。

画像取得部６１０は、複数の撮像装置５０９，５１０のそれぞれが被写体を撮像して得られた複数の撮像画像を取得する。画像取得部６１０は、ＬＡＮ５０８を介して複数の撮像装置５０９，５１０を制御することにより、複数の撮像装置５０９，５１０に同時に被写体を撮像させ、得られた撮像画像を画像取得部６１０に送信させることができる。複数の撮像装置５０９，５１０が連続して撮像を行うことにより動画像を取得することもできる。この場合、画像処理装置５００は、各フレームの撮像画像を用いて処理を行うことにより、再構成画像により構成される動画像を生成することができる。

視点設定部６２０は、再構成画像の仮想視点の設定を行う。具体的には、視点設定部６２０は、仮想視点の三次元位置及びその姿勢（又は光軸方向）を設定することができる。視点設定部６２０は、さらに仮想視点の画角及び解像度等を設定することもできる。視点設定部６２０は、仮想視点の設定を、入力部５０４を介して入力されたユーザ指示に基づいて行うことができる。

形状推定部６３０は、画像取得部６１０が取得した撮像画像に基づいて、被写体の形状を推定する。より具体的には、形状推定部６３０は、それぞれの撮像画像から所望の被写体領域を切り出し、得られた画像に基づいて被写体の三次元位置及び形状を推定する。本実施形態において、複数の撮像装置５０９，５１０の位置関係は既知であり、あらかじめ記憶部５０３等に記録されている。そして、このような複数の撮像装置５０９，５１０により得られた被写体の撮像画像に基づいて被写体の三次元位置及び形状を推定する方法は公知であり、任意の方法を採用することができる。例えば、特許文献１に記載されている視体積公差法又はステレオマッチング法を用いて、被写体の三次元モデルを生成することができる。

形状推定部６３０は、複数の撮像装置５０９，５１０により得られた撮像画像の全てを用いて被写体の形状を推定することができる。一方で、形状推定部６３０は、複数の撮像装置５０９，５１０から選択された選択撮像装置群により撮像された撮像画像を用いて被写体の形状を推定することもできる。この場合、形状推定部６３０は、被写体の形状の推定に用いる選択撮像装置群を複数の撮像装置５０９，５１０から選択する。そして、形状推定部６３０は、選択撮像装置群により得られた撮像画像を用いて被写体の形状を推定する。本実施形態において、選択されなかった非選択撮像装置群により得られた撮像画像は、被写体の形状の推定には用いられない。なお、後述する画像生成部６４０が、非選択撮像装置群により得られた撮像画像を用いて被写体の色を推定していることからわかるように、被写体が写っている撮像画像が、被写体の形状推定に用いられない可能性もある。

本実施形態において、形状推定部６３０は、仮想視点の配置に応じて選択撮像装置群を選択する。例えば、形状推定部６３０は、仮想視点の注視点と、撮像装置の注視点との関係に基づいて、選択撮像装置群を選択することができる。ここで、形状推定部６３０は、仮想視点の注視点により近い注視点を有する撮像装置群を、選択撮像装置群として選択することができる。例として、図１に従って、第１の注視点１０１に向けて設置された第１の撮像装置群１０２と、第２の注視点１０３に向けて設置された第２の撮像装置群１０４が存在する場合について説明する。仮想視点の注視点が、第１の注視点１０１よりも第２の注視点１０３に近い場合、形状推定部６３０は、第２の撮像装置群１０４を選択撮像装置群として選択する。また、仮想視点の注視点が、第２の注視点１０３よりも第１の注視点１０１に近い場合、形状推定部６３０は、第１の撮像装置群１０２を選択撮像装置群として選択する。このように、形状推定部６３０は、選択撮像装置群として第１の注視点１０１に向けて設置された第１の撮像装置群１０２と第２の注視点１０３に向けて設置された第２の撮像装置群１０４とのいずれを選択するかを切り替えることができる。この切り替えは、仮想視点の注視点が第２の注視点１０３と第１の注視点１０１とのいずれにより近いかに応じて行われる。

また、図２に従って、互いに異なる注視点に向けて設置された撮像装置が存在する場合について説明する。この場合、形状推定部６３０は、仮想視点の注視点から所定の範囲内に注視点を有する撮像装置群を、選択撮像装置群として選択することができる。また、形状推定部６３０は、仮想視点の注視点により近い注視点を有する所定数の撮像装置群を、選択撮像装置群として選択することもできる。

別の例として、形状推定部６３０は、仮想視点の注視点と、撮像装置群の共通視野領域との関係に基づいて、選択撮像装置群を選択することができる。例えば、形状推定部６３０は、仮想視点の注視点が、撮像装置群の共通視野領域に含まれる場合に、この撮像装置群を選択撮像装置群として選択することができる。例として、図３に従って、共通視野領域３０１を有する第１の撮像装置群３０２と、共通視野領域３０５を有する第２の撮像装置群３０４が存在する場合について説明する。仮想視点の注視点が、共通視野領域３０１に含まれる場合、形状推定部６３０は、第１の撮像装置群３０２を選択撮像装置群として選択する。また、仮想視点の注視点が、共通視野領域３０１に含まれず、共通視野領域３０５に含まれる場合、形状推定部６３０は、第２の撮像装置群３０４を選択撮像装置群として選択する。ここで、撮像装置群に優先順位を設定することができ、この例では第２の撮像装置群３０４よりも第１の撮像装置群３０２が優先的に選択されている。ここで、形状推定部６３０は、より画角が狭い第１の撮像装置群３０２を優先的に選択している。このように、形状推定部６３０は、仮想視点の注視点が共通視野領域３０１に含まれるか否かに応じて、共通視野領域３０１が視野内に入るように設置された第１の撮像装置群３０２を選択撮像装置群として選択するか否かを切り替えることができる。

このように、選択撮像装置群により撮像された撮像画像を用いて被写体の形状を推定することにより、推定処理に用いる撮像画像の数を減らすことができる。このため、推定処理の負荷を減らすことができる。一方で、仮想視点の配置に従って選択された選択撮像装置群により得られた撮像画像には、再構成画像に含まれる被写体が写っている可能性が高いため、この被写体の三次元形状を高精度に得ることができ、画像品質を維持できる。ここでは、仮想視点の注視点に基づいて撮像装置群を選択する方法について説明したが、この方法には限定されない。例えば、形状推定部６３０は、仮想視点の視野領域に注視点が存在する撮像装置群を選択してもよいし、仮想視点の視野領域と重複する共通視野領域を有する撮像装置群を選択してもよい。

また、ここでは仮想視点の配置に基づいて撮像装置群を選択する方法について説明したが、この方法には限定されない。例えば、撮像装置群の注視点又は共通視野領域と、被写体の位置との関係に基づいて、撮像装置群を選択することもできる。一例として、第１の注視点１０１又は共通視野領域１０５に近い被写体については第１の撮像装置群１０２により撮像された撮像画像を用いて形状を推定することができる。また、第２の注視点１０３又は共通視野領域１０６に近い被写体については第２の撮像装置群１０４，３０４により撮像された撮像画像を用いて形状を推定することができる。

画像生成部６４０は、選択撮像装置群により得られた撮像画像と、選択撮像装置群として選択されなかった非選択撮像装置群により得られた撮像画像との双方を用いて、被写体の色を推定する。そして、画像生成部６４０は、推定された被写体の形状及び色に基づいて仮想視点からの再構成画像を生成する。図１の例において、仮想視点の注視点が、注視点１０１の近傍に存在する場合、形状推定部６３０は第１の撮像装置群１０２を選択し、第２の撮像装置群１０４を選択しない。一方で、撮像装置１０４ａは仮想視点の注視点に近いため、撮像装置１０４ａにより得られた撮像画像には、再構成画像に写る被写体が大きく写っている可能性が高い。このため、本実施形態においては、被写体の色を推定する際には非選択撮像装置群により得られた撮像画像も用いることで再構成画像の品質を向上させる。

撮像画像及び被写体の形状から被写体の色を推定する方法は公知であり、画像生成部６４０は任意の方法を用いて再構成画像を生成することができる。例えば、形状推定部６３０により被写体の三次元位置及び形状が得られており、また各撮像装置５０９，５１０の位置、姿勢、画角、及び解像度情報を用いることにより、被写体上の各位置に対応する撮像画像上の画素を特定することが可能である。こうして特定された画素の色情報に基づいて、被写体上の各位置の色を推定することができる。

一例として、距離マップを用いて再構成画像を生成する方法について簡単に説明する。まず画像生成部６４０は、被写体の位置及び形状情報、並びに仮想視点の位置及び姿勢情報を用いて、仮想視点からみた被写体の距離マップを生成する。次に、画像生成部６４０は、再構成画像の各画素について、距離マップを参照してこの画素に写る被写体の位置を特定し、さらに撮像画像を参照してこの画素に写る被写体の色情報を取得する。こうして、画像生成部６４０は、再構成画像を生成することができる。

図４に示したように、撮像装置群６０４を用いて観客席等の撮影フィールド１０８外の画像を撮像している場合、以下のような処理を行うことができる。すなわち、画像生成部６４０は、撮影フィールド１０８中の被写体については撮像装置群６０２により得られた撮像画像を用いて被写体の色を決定することができる。一方で、画像生成部６４０は、撮影フィールド１０８外の被写体については撮像装置群６０４により得られた撮像画像を用いて被写体の色を決定することができる。別の方法として、画像生成部６４０は、重み付け合成により被写体の色を決定することもできる。この場合、撮影フィールド１０８中の被写体については撮像装置群６０２により得られた撮像画像により大きな重みを付与し、撮影フィールド１０８外の被写体については撮像装置群６０４により得られた撮像画像により大きな重みを付与することができる。

次に、図７に従って本実施形態に係る画像処理方法の処理の流れについて説明する。ステップＳ７１０において、複数の撮像装置５０９，５１０は被写体の撮像を行い、画像取得部６１０は得られた撮像画像を取得する。ステップＳ７２０において、視点設定部６２０は、再構成画像の仮想視点を設定する。ステップＳ７３０において、形状推定部６３０は、被写体の形状の推定に用いる撮像装置を選択する。ステップＳ７４０において、形状推定部６３０は、選択された撮像装置により得られた撮像画像を用いて、被写体の形状を推定する。既に説明したように、ステップＳ７３０を行わず、ステップＳ７４０では全ての撮像装置に得られた撮像画像を用いて被写体の形状を推定してもよい。ステップＳ７５０において、画像生成部６４０は、得られた被写体の形状、及び複数の撮像装置５０９，５１０により得られた撮像画像に基づいて、再構成画像を生成する。

［実施形態５］
実施形態１〜３では、複数の撮像装置の位置及び姿勢が固定されている場合について説明した。本実施形態においては、少なくとも１つの撮像装置の姿勢又は画角が制御される。本実施形態に係る撮像システムの構成は実施形態１〜３と同様であるが、少なくとも１つの撮像装置の姿勢又は画角が制御可能に構成されており、少なくとも１つの撮像装置の姿勢又は画角を制御する制御装置をさらに備えている。制御装置としては、例えば、図５に示す画像処理装置５００を用いることができる。本実施形態において、少なくとも１つの撮像装置を電動雲台に載せ、ＣＰＵ５０１がＬＡＮ５０８を介して電動雲台の姿勢を制御することにより、この撮像装置の注視点を変えることができる。また、ＣＰＵ５０１がＬＡＮ５０８を介して撮像装置の画角を制御することができる。このようにして、制御装置は、実施形態１〜３に示した撮像システムが構成されるように、撮像装置の姿勢又は画角を制御することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像システム、１０１，１０３：注視点、１０２，１０４：撮像装置、５００：画像処理装置、６１０：画像取得部、６２０：視点設定部、６３０：形状推定部、６４０：画像生成部

Claims (15)

1. 複数の撮像装置を備え、自由視点画像を生成するために、前記複数の撮像装置のそれぞれを用いて撮像画像を取得する撮像システムであって、
   前記複数の撮像装置は、第１の注視点に向けて設置された１以上の撮像装置で構成される第１の撮像装置群と、前記第１の注視点とは異なる第２の注視点に向けて設置された１以上の撮像装置で構成される第２の撮像装置群と、を含む
   ことを特徴とする撮像システム。
2. 前記複数の撮像装置は、撮影フィールドを取り囲むように設置されていることを特徴とする、請求項１に記載の撮像システム。
3. 前記第１の撮像装置群のそれぞれは、前記撮影フィールド上の第１の領域が視野内に入るように設置されており、
   前記第２の撮像装置群のそれぞれは、前記撮影フィールド上の第２の領域が視野内に入るように設置されており、
   前記第１の領域の重心は、前記第２の領域に含まれないことを特徴とする、請求項２に記載の撮像システム。
4. 前記第１の撮像装置群のうちの少なくとも１つの撮像装置は、前記第１の領域よりも前記第２の領域の近くに設置されていることを特徴とする、請求項３に記載の撮像システム。
5. 前記第１の撮像装置群は、互いに異なる画角を有する第４の撮像装置及び第５の撮像装置を含み、前記第５の撮像装置は、前記第４の撮像装置と比較して、画角が広くかつ前記第１の注視点に近いことを特徴とする、請求項１乃至４の何れか１項に記載の撮像システム。
6. 前記複数の撮像装置が、前記第１及び第２の注視点とは異なる第３の注視点に向けて設置された１以上の撮像装置で構成される第３の撮像装置群を含み、
   前記第１、第２、及び第３の注視点は、前記撮影フィールド上に設定された線分上に存在することを特徴とする、請求項２に記載の撮像システム。
7. 複数の撮像装置を備え、自由視点画像を生成するために、前記複数の撮像装置のそれぞれを用いて撮像画像を取得する撮像システムであって、
   前記複数の撮像装置は、１以上の撮像装置で構成される第１の撮像装置群と、前記第１の撮像装置群よりも画角が広い１以上の撮像装置で構成される第２の撮像装置群と、を含むことを特徴とする撮像システム。
8. 前記複数の撮像装置は、撮影フィールドを取り囲むように設置されており、
   前記第１の撮像装置群のそれぞれは、前記撮影フィールド上の第１の領域が視野内に入るように設置されており、
   前記第２の撮像装置群のそれぞれは、前記撮影フィールド上の第２の領域が視野内に入るように設置されており、
   前記第１の領域は、前記第２の領域に含まれることを特徴とする、請求項７に記載の撮像システム。
9. 前記複数の撮像装置の少なくとも１つは姿勢又は画角を制御可能であり、
   前記少なくとも１つの撮像装置の姿勢又は画角を制御する制御装置をさらに備えることを特徴とする、請求項１乃至８の何れか１項に記載の撮像システム。
10. 複数の撮像装置のそれぞれが被写体を撮像して得られた撮像画像を取得する取得手段と、
    再構成画像の仮想視点を設定する設定手段と、
    前記被写体の形状の推定に用いる選択撮像装置群を前記複数の撮像装置から選択し、前記選択撮像装置群により得られた撮像画像を用いて前記被写体の形状を推定する推定手段と、
    前記選択撮像装置群により得られた撮像画像と、前記選択撮像装置群として選択されなかった非選択撮像装置群により得られた撮像画像との双方を用いて、前記被写体の色を推定し、前記推定された被写体の形状及び色に基づいて前記仮想視点からの再構成画像を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
11. 前記推定手段は、前記仮想視点の配置に応じて前記選択撮像装置群を選択することを特徴とする、請求項１０に記載の画像処理装置。
12. 前記複数の撮像装置は、第１の注視点に向けて設置された撮像装置群と、第２の注視点に向けて設置された撮像装置群と、を含み、
    前記推定手段は、前記仮想視点の注視点が前記第２の注視点と前記第１の注視点とのいずれにより近いかに応じて、前記選択撮像装置群として前記第１の注視点に向けて設置された撮像装置群と前記第２の注視点に向けて設置された撮像装置群とのいずれを選択するかを切り替えることを特徴とする、請求項１１に記載の画像処理装置。
13. 前記複数の撮像装置は、それぞれ撮影フィールド上の第１の領域が視野内に入るように設置された撮像装置群を含み、
    前記推定手段は、前記仮想視点の注視点が前記第１の領域に含まれるか否かに応じて、前記第１の領域が視野内に入るように設置された撮像装置群を前記選択撮像装置群として選択するか否かを切り替えることを特徴とする、請求項１１に記載の画像処理装置。
14. 画像処理装置が行う画像処理方法であって、
    複数の撮像装置のそれぞれが被写体を撮像して得られた撮像画像を取得する工程と、
    再構成画像の仮想視点を設定する工程と、
    前記被写体の形状の推定に用いる選択撮像装置群を前記複数の撮像装置から選択し、前記選択撮像装置群により得られた撮像画像を用いて前記被写体の形状を推定する工程と、
    前記選択撮像装置群により得られた撮像画像と、前記選択撮像装置群として選択されなかった非選択撮像装置群により得られた撮像画像との双方を用いて、前記被写体の色を推定し、前記推定された被写体の形状及び色に基づいて前記仮想視点からの再構成画像を生成する工程と、
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１０乃至１３の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images