JP2020136776A - 画像生成システムおよび画像生成方法、制御装置および制御方法 - Google Patents

Abstract

【課題】複数のカメラを用いることにより、カメラのフレームレート以上のフレームレートで仮想視点画像を生成する。【解決手段】制御ステーション１２４は、複数のカメラ１１２が所属する複数のカメラグループからなるセットを管理し、複数のカメラグループにそれぞれ異なる基準時刻を決定し、複数のカメラグループのそれぞれに所属するカメラ１１２が決定された基準時刻に従った撮影を実行するように、複数のカメラ１１２を制御する。【選択図】 図２

Description

本発明は、複数のカメラからの撮影画像を用いて仮想視点画像を生成するための画像生成システムおよび画像生成方法、制御装置および制御方法に関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数の画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。このような仮想視点コンテンツは、複数のカメラが撮影した画像をサーバなどの画像生成装置に集約し、当該画像生成装置にて三次元モデル生成、レンダリングなどの処理を施すことで生成される。生成された仮想視点コンテンツは、画像生成装置からユーザ端末に送付され、ユーザにより閲覧される。

仮想視点コンテンツの画質は、基本的には撮影に使用するカメラの台数に依存する。ただし、設置する場所の制約やコストの観点から、設置可能なカメラの台数は限られる。高画質の仮想視点コンテンツを生成するためには、設置可能なカメラ台数の中で、適切なカメラの配置を行うことが重要となる。特許文献１では、複数のカメラを、複数のカメラグループに割り当てて撮影を行い、各カメラグループが異なる撮影エリアをカバーすることで、広範囲の撮影対象全域をカバーした仮想視点コンテンツを生成可能とすることを提案している。

特開２０１８−０５６９７１号公報

例えば撮影エリアが広く無い場合は、複数のカメラグループに分けて撮影する必要性がない可能性があり、結果として複数のカメラグループによる撮影を効果的に使用することができないという課題があった。

本発明は、仮想視点画像の生成における複数のカメラグループの新たな活用方法を提案する。本発明は、複数のカメラを用いることにより、カメラのフレームレート以上のフレームレートで仮想視点画像を生成可能にすることを目的とする。

本発明の一態様による制御装置は以下の構成を備える。すなわち、
複数の撮影装置が所属する複数のグループからなるセットを管理する管理手段と、
前記管理手段が管理する前記セットを構成する前記複数のグループにそれぞれ異なる基準時刻を決定する決定手段と、
前記複数のグループのそれぞれに所属する撮影装置が前記決定手段により決定された基準時刻に従った撮影を実行するように、前記複数の撮影装置を制御する制御手段と、を備える。

本発明によれば、カメラのフレームレート以上のフレームレートで仮想視点画像を生成することが可能になる。

第１実施形態に関わる画像生成システムの構成例を示すブロック図。 第１実施形態に関わる制御ステーションの機能構成例を示すブロック図。 第１実施形態に関わるカメラの配置例を示す図。 第１実施形態によるフレームレートの設定処理を説明するフローチャート。 カメラグループを決定するためのテーブルの例を示す図。 カメラグループの分類例を示す図。 カメラグループの基準時刻について説明する図。 カメラグループに設定される基準時刻の例を示す図。 第１実施形態に関わる、画像生成装置の処理を説明する図。 第２実施形態に関わる制御ステーションの機能構成例を示すブロック図。 第２実施形態によるフレームレートの設定処理を説明するフローチャート。 第１実施形態に関わる制御ステーションのハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
第１実施形態では、二つのカメラグループによって撮影を行い、仮想視点画像を生成する画像生成システムを例示する。第１実施形態の画像生成システムは、それぞれのカメラグループの基準時刻（撮影時刻）を異ならせることで、得られる仮想視点画像のフレームレートを向上させる。

図１は、第１実施形態による画像生成システムの構成例を示すブロック図である。画像生成システムは、競技場（スタジアム）、または、コンサートホールなどの施設に設置された複数のカメラ及びマイクを用いて撮影及び集音を行うことにより仮想視点画像を生成する。以下、第１実施形態に関わる画像生成システムについて図１を参照して説明する。

画像生成システム１００は、センサシステム１１０ａ−１１０ｚ、画像生成装置１２２、コントローラ１２３、スイッチングハブ１２１、エンドユーザ端末１２６、及びタイムサーバ１２７を有する。なお、以下では、センサシステム１１０ａ〜１１０ｚの集合を撮影システム１０１と記載する。

コントローラ１２３は制御ステーション１２４と仮想カメラ操作ＵＩ１２５を有する。コントローラ１２３は画像生成システム１００を構成するそれぞれのブロックに対して、ネットワーク１８０ａ−１８０ｚ、１９０ａ−１９０ｃを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）または１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

次に、センサシステム１１０ａ−１１０ｚにより得られる２６セットの画像及び音声を、それぞれのセンサシステムから画像生成装置１２２へ送信する動作を説明する。第１実施形態の画像生成システム１００では、センサシステム１１０ａ−１１０ｚがそれぞれスイッチングハブ１２１を介して画像生成装置１２２に接続される。

なお、本実施形態において、センサシステム１１０ａ−１１０ｚのセンサシステムを区別して記載する必要がない場合には、これら２６台のセンサシステムを区別せずセンサシステム１１０と記載する場合がある。また、各センサシステム１１０内の装置についても同様に、区別する必要がない場合には、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する場合がある。また、図１ではセンサシステムの台数を２６としているが、あくまでも一例であり、センサシステムの台数をこれに限定するものではない。なお、本明細書では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像生成システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像生成システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限られるものではない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ−１１０ｚは、それぞれ１台ずつのカメラ１１２ａ−１１２ｚを有する。即ち、画像生成システム１００は、被写体を複数の方向から撮影するための複数の撮影装置としての複数のカメラを有する。センサシステム１１０ａ−１１０ｚはスイッチングハブ１２１に接続されてスター型のネットワークを構成し、スイッチングハブ１２１を経由して相互にデータの送受信を行う。

センサシステム１１０はマイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０を有する。マイク１１１にて集音された音声と、カメラ１１２にて撮影された画像は、カメラアダプタ１２０を介し、スイッチングハブ１２１へ伝送される。なお、センサシステム１１０の構成は、これに限定されるものではなく、少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２または１台のマイク１１１を有していれば良い。また例えば、センサシステム１１０は、１台のカメラアダプタ１２０と複数のカメラ１１２で構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１２０で構成されてもよい。即ち、画像生成システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。

また、本実施形態では、センサシステム１１０ｂ−１１０ｚが同じ構成を有するものとするが、これに限定されるものではなく、それぞれのセンサシステム１１０が異なる構成でもよい。また、本実施形態では、カメラ１１２とカメラアダプタ１２０が分離された構成となっているが、これらが同一筺体で一体化されていてもよい。その場合、マイク１１１は一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

タイムサーバ１２７は時刻及び同期信号を配信する機能を有し、スイッチングハブ１２１を介してセンサシステム１１０ａ−１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ−１２０ｚは、時刻と同期信号を基にカメラ１１２ａ−１１２ｚをＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ１２７は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像生成システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ１２７が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を個々のカメラ１１２又は個々のカメラアダプタ１２０が独立して行ってもよい。

画像生成装置１２２は、センサシステム１１０から取得したデータ（カメラ撮影画像）を基に、仮想視点画像を生成する処理を行う。画像生成装置１２２によって生成された仮想視点画像は、エンドユーザ端末１２６に送信される。エンドユーザ端末１２６を操作するユーザは、視点の指定に応じた仮想視点画像の閲覧及び音声視聴が出来る。視点の指定は、例えば視点の位置及び向きの指定を含む。エンドユーザ端末１２６を介して視点に関する情報、すなわち少なくとも視点の位置及び向きを示す情報を画像生成装置１２２は取得する。また、視点の指定は、ユーザよる指定でなくても、エンドユーザ端末１２６や画像生成装置１２２などで自動的に指定されてもよい。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、画像生成装置１２２は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１２６へ送信する。また、画像生成装置１２２は、仮想視点画像を非圧縮でエンドユーザ端末１２６へ送信することができる。圧縮符号化が行われる前者はエンドユーザ端末１２６としてスマートフォンやタブレットを想定しており、圧縮符号化が行われない後者はエンドユーザ端末１２６として非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１２６の種別に応じて仮想視点画像の画像フォーマットが切り替え可能である。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

コントローラ１２３において、制御ステーション１２４は、画像生成システム１００全体の制御、画像生成システム１００についての各種設定を実行する。また、制御ステーション１２４は、仮想視点画像を生成する対象のスタジアム等の三次元モデル（三次元形状データ）を、ネットワーク１９０ｂを介して画像生成装置１２２に送信する。さらに、制御ステーション１２４はカメラ設置時に、キャリブレーションを実施する。より具体的には、制御ステーション１２４は、撮影対象のフィールド上に設置されたマーカをカメラ１１２で撮影して得られた撮影画像に基づいて、カメラ１１２の世界座標における位置と向き、および焦点距離を算出する。制御ステーション１２４は、算出した各カメラの位置、向き、焦点距離の情報を、画像生成装置１２２に送信する。画像生成装置１２２は、仮想視点画像を生成する際に、送信された三次元モデルおよび各カメラの情報を使用する。

コントローラ１２３の仮想カメラ操作ＵＩ１２５は、ユーザ操作により指定された仮想視点を、ネットワーク１９０ｃを介して画像生成装置１２２に送信する。画像生成装置１２２は、指定された仮想視点の画像を生成し、エンドユーザ端末１２６へ送信する。

次に、第１実施形態による制御ステーション１２４の機能構成について説明する。図２は、制御ステーション１２４の機能構成例を示すブロック図である。制御ステーション１２４は、複数のカメラの同期撮影を制御する撮影制御装置の一例である。

設定制御部２０１は、図１の画像生成システム１００にて生成する仮想視点画像の設定情報を管理し、設定を反映する処理を行う。設定の具体例としては、生成する仮想視点画像のフレームレートなどがあげられる。また、設定制御部２０１は、複数のカメラが所属するカメラグループのセット（図５Ａの参照により後述する）を管理している。グループ設定部２０２は、図１の撮影システム１０１を構成する複数台のカメラを、設定制御部２０１の指示に基づいてグルーピングする。ここでのグルーピングとは、複数台のカメラを、同じ基準時刻に従って撮影を行うカメラグループに分類し、各カメラに所属するカメラグループを設定する（例えば、カメラグループのＩＤを各カメラに設定する）ことを指す。時刻設定部２０３は、設定制御部２０１の指示に基づき、グループ設定部２０２により設定されたカメラグループ毎に基準時刻の設定を行う。すなわち、時刻設定部２０３は、各カメラが撮影を実行するべき時刻である基準時刻を設定する。

制御ステーション１２４のハードウェア構成について、図１１を用いて説明する。なお、画像生成装置１２２のハードウェア構成も、以下で説明する制御ステーション１２４の構成と同様である。制御ステーション１２４は、ＣＰＵ１１１１、ＲＯＭ１１１２、ＲＡＭ１１１３、補助記憶装置１１１４、通信Ｉ／Ｆ１１１５、及びバス１１１６を有する。

ＣＰＵ１１１１は、ＲＯＭ１１１２やＲＡＭ１１１３に格納されているコンピュータプログラムやデータを用いて制御ステーション１２４の全体を制御することで、図２に示す制御ステーション１２４の各機能を実現する。なお、制御ステーション１２４がＣＰＵ１１１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ１１１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１１１３は、補助記憶装置１１１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１１１５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１１１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

通信Ｉ／Ｆ１１１５は、制御ステーション１２４の外部の装置との通信に用いられる。例えば、制御ステーション１２４が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１１５に接続される。制御ステーション１２４が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１１５はアンテナを備える。バス１１１６は、制御ステーション１２４の各部をつないで情報を伝達する。

次に、第１実施形態による撮影システム１０１を構成するカメラの配置について説明する。図３は、スタジアムへのカメラの配置例を示す模式図である。図１では、撮影システム１０１がカメラ１１２ａ−１１２ｚからなる構成を説明したが、図３では、撮影システム１０１としてカメラ３０１からカメラ３１２の１２台のカメラが配置された様子が示されている。また、図３において、フィールド３２０はカメラ３０１〜３１０の撮影領域を示している。カメラ３０１からカメラ３１２はフィールド３２０の周囲に設置され、各カメラはフィールド３２０を向いている。以下、図３に示すカメラの配置とカメラの台数を前提として、第１実施形態の動作を説明する。なお、撮影システム１０１を構成するカメラは、特定の位置又は特定の領域を撮影するように向けられていてもよい。また、各カメラの光軸は一点で交差してもよいし、交差しなくてもよい。

第１実施形態によるカメラの同期制御について説明する。図４は、第１実施形態における、仮想視点画像のフレームレートの設定処理およびカメラの同期制御を説明するフローチャートである。

まず、ステップＳ４０１にて、設定制御部２０１は、生成する仮想視点画像のフレームレートを決定する。仮想視点画像のフレームレートは、例えば、ユーザ操作により指定され得る。本実施形態では、ユーザは、仮想視点画像のフレームレートとして６０Ｈｚか１２０Ｈｚのいずれかを指定できる。なお、６０Ｈｚを画質優先、１２０Ｈｚをフレームレート優先として、ユーザが画質優先かフレームレート優先化を選択することによりフレームレートが決定されるようにしてもよい。次に、ステップＳ４０２にて、設定制御部２０１は、ステップＳ４０１にて決定したフレームレートに従ってカメラグループを決定する。図５Ａにより後述するように、設定制御部２０１は、テーブルを用いて、複数のカメラが所属するカメラグループのセットを管理している。例えば、図５Ａでは、すべてのカメラが属している一つのカメラグループのセットと、半数ずつのカメラが所属する二つのカメラグループを有するセットが管理されている。このように、設定制御部２０１は、カメラグループのテーブルを用いて、複数のカメラが所属するカメラグループのセットを管理する管理部を実現している。また、本実施形態では、１つまたは複数のカメラグループからなるセットであって、それぞれが異なる数のカメラグループからなる複数のセットが管理され、複数のセットはカメラグループの数に応じて対応するフレームレートが決定される。このフレームレートは、仮想視点画像のフレームレートとして用いられる。また、設定制御部２０１は、ユーザ操作により指定されたフレームレートに対応するセットを複数のセットから選択する選択部として機能する構成の一例である。

本実施形態では、設定制御部２０１は、決定したフレームレートが６０Ｈｚの場合には一つのカメラグループからなるセットを、決定したフレームレートが３０Ｈｚの場合には二つのカメラグループからなるセットを選択し、使用するカメラグループを決定する。設定制御部２０１は、決定したカメラグループをグループ設定部２０２に通知する。カメラグループについては詳細を後述する。ステップＳ４０３において、グループ設定部２０２は、ステップＳ４０２で通知されたカメラグループに従って、撮影システム１０１を構成するカメラ３０１〜３１２のカメラグループを設定する。例えば、グループ設定部２０２は、カメラ３０１〜３１２のカメラアダプタに、グループＩＤ（図５Ａの「Ａ」または「Ｂ」）を設定する。

次に、ステップＳ４０４において、設定制御部２０１は、ステップＳ４０１にて決定したフレームレートに従ってカメラグループ毎の基準時刻を決定し、決定した基準時刻を、時刻設定部２０３に通知する。設定制御部２０１は、管理部が管理するセットに含まれているカメラグループごとに、同じカメラグループに属するカメラが同期撮影を行うための基準時刻を決定する決定部として機能する構成の一例である。ステップＳ４０５にて、時刻設定部２０３は、ステップＳ４０４で通知された基準時刻に基づき、撮影システム１０１を構成するカメラ３０１〜３１２のそれぞれの基準時刻を設定する。基準時刻は、例えば、センサシステム１１０のカメラアダプタ１２０に設定される。

本実施形態では、グループ設定部２０２はそれぞれのカメラにグループＡ、Ｂのいずれに属しているかを設定し、時刻設定部２０３はそれぞれのカメラにグループＡの基準時刻とグループＢの基準時刻を設定する。各カメラは、自身がグループＡ，Ｂのいずれに属しているかに応じて、グループＡとＢの基準時刻のいずれかを選択して撮影を実行する。なお、時刻設定部２０３がグループＡに属しているカメラにはグループＡの基準時刻を設定し、グループＢに属しているカメラにグループＢの基準時刻を設定するように構成してもよい。この場合、カメラは設定された基準時刻に従って撮影を実行すればよく、当該カメラがグループＡとＢのいずれに属しているかを知る必要はない。よって、グループ設定部２０２によるカメラグループのＩＤの設定は省略可能である。以上のように、ステップＳ４０３、Ｓ４０５を実行するグループ設定部２０２と時刻設定部２０３は、決定された基準時刻を複数のカメラに設定するための情報を出力する。こうして、グループ設定部２０２と時刻設定部２０３は、複数のカメラグループごとに、カメラグループに所属するカメラが決定された基準時刻に従って同期撮影を実行するように、複数のカメラを設定する。

ステップＳ４０６において、設定制御部２０１は、ステップＳ４０１で決定したフレームレートとステップＳ４０２で決定したカメラグループを画像生成装置１２２に通知する。画像生成装置１２２は、通知されたフレームレートとカメラグループに従って仮想視点画像を生成する。

次に、設定制御部２０１がフレームレートに基づいてカメラグループを決定する処理について説明する。図５Ａは、カメラグループを決定するためのテーブルのデータ構成例を示す図である。なお、第１実施形態では、テーブル５０１によってカメラグループを決定する例を説明するが、この方法に限られるものではない。

テーブル５０１は、フレームレートによりそれぞれのカメラがどのグループに属するかを示している。設定制御部２０１は、あらかじめ用意されたテーブル５０１を参照して、指定されたフレームレートに応じてカメラグループを決定する。第１実施形態では、フレームレートが６０Ｈｚと１２０Ｈｚの二つの場合においてカメラグループを決定する例を示す。テーブル５０１には、フレームレートが６０Ｈｚの場合のカメラグループのセット（一つのカメラグループＡからなるセット）と、１２０Ｈｚの場合のカメラグループのセット（二つのカメラグループＡ、Ｂからなるセット）が規定されている。テーブル５０１によれば、フレームレートが６０Ｈｚの場合には、全てのカメラがカメラグループ「Ａ」に属するように決定される。また、フレームレートが１２０Ｈｚの場合には、半数のカメラがカメラグループ「Ａ」に属し、残りがカメラグループ「Ｂ」に属するように決定される。

フレームレートとして１２０Ｈｚが指定された際のカメラのグループ分けの例を、図５Ｂに模式的に示す。図３で説明したカメラ配置において、カメラ３０１、３０３、３０５、３０７、３０９、３１１がカメラグループＡに属し、残りがカメラグループＢに属する。図５Ｂに示されるように、一つ置きで異なるカメラグループに属するように配置することで、画像生成装置１２２にて生成される仮想視点画像のための三次元モデルの精度の劣化が抑制される。

次に基準時刻の決定方法について説明する。図６は、設定制御部２０１が、決定されたフレームレートに基づいてカメラグループ毎の基準時刻を決定するために参照するテーブルを示す図である。なお、本実施形態では、テーブル６０１によって基準時刻を決定する例を説明するが、この方法に限られるものではない。

テーブル６０１は、フレームレートとカメラグループ毎の基準時刻との対応を示す。但し、テーブル６０１では、基準時刻はミリ秒単位以下のみを示している。時刻は図１のタイムサーバ１２７によって配信され、それぞれのカメラグループに属するカメラは、この基準時刻のタイミングにて画像を撮影する。例えば、１２０Ｈｚのフレームレートが設定された場合、カメラグループＡに属するカメラは、開始時刻を０ミリ秒とし、１６．６ミリ秒毎に撮影を行い、カメラグループＢに属するカメラは、開始時刻を８．３ミリ秒とし、１６．６ミリ秒毎に撮影を行う。

図７は、カメラグループＡに属するカメラの基準時刻と、カメラグループＢに属するカメラの基準時刻を、横軸を時間として図示している。カメラはいずれも１６．６ミリ秒毎に撮影するが、カメラグループＡとカメラグループＢの撮影時刻は、１６．６ミリ秒の半分の時間となる８．３ミリ秒ずれている。これにより、カメラグループＡとカメラグループＢそれぞれは１６．６ミリ秒毎に撮影、つまり６０Ｈｚにて撮影を行うが、カメラグループＡとカメラグループＢを併せてみると、撮影間隔が８．３ミリ秒、つまり１２０Ｈｚで撮影を行っていることになる。

以上のように、時刻設定部２０３は、カメラが指定された基準時刻を先頭に所定の撮影周期で撮影を繰り返すように、決定された基準時刻を示す情報をカメラに対して出力する。各カメラは、通知された基準時刻を先頭に、撮影周期（例えば、１６．６ミリ秒）で繰り返し撮影を行う。なお、時刻設定部２０３によるカメラへの基準時刻の設定は、これに限られるものではない。例えば、時刻設定部２０３、指定された基準時刻で撮影を実行することにより所定の撮影周期の撮影が実現されるように、決定された基準時刻に所定の撮影周期を加算することにより得られる複数の基準時刻を示す情報を出力するようにしてもよい。例えば、時刻設定部２０３は、００時００分００秒００ｍｓｅｃ、００時００分００秒１６．６ｍｓｅｃ、００時００分００秒３３．２ｍｓｅｃ、...、のように複数の基準時刻を示す情報をカメラに対して出力するようにしてもよい。

図８にて、フレームレートが６０Ｈｚと１２０Ｈｚの際に、画像生成装置１２２が実施する三次元モデルの生成タイミングについて説明する。第１実施形態においては、フレームレートが６０Ｈｚの際にはカメラ３０１−３１２の全てが同じ基準時刻で撮影を行うため、６０Ｈｚにて１２台のカメラを使用した三次元モデルの生成が実施される。一方、フレームレートが１２０Ｈｚの際には、図７で説明したように二つのカメラグループが基準時刻をずらした状態で撮影することにより、６台のカメラによる三次元モデル生成を１２０Ｈｚにて実施する。

以上説明したように第１実施形態によれば、フレームレートに応じてカメラグループを設定し、それぞれに異なる基準時刻を割り当てて撮影を行うことができる。これにより、フレームレートを向上させた仮想視点画像の生成を行うことが可能となり、複数台のカメラを有効に活用することができる。

なお、本実施形態では、カメラグループを二つとして説明を行ったが、生成する仮想視点画像のフレームレートに応じてカメラグループを分割することで、より高速なフレームレートを実現することが可能となる。例えば、２４０Ｈｚの仮想視点画像を生成する場合は、カメラグループを四つとし、それぞれ異なる基準時刻を設定して撮影することで実現できる。

すなわち、設定制御部２０１が管理するカメラグループのセットに複数のカメラグループが含まれていている場合、それらカメラグループの数だけ基準時刻が設定される。設定制御部２０１は、セットに含まれているカメラの撮影周期をＴ、カメラグループの数をｎとした場合に、当該セットに含まれているカメラグループのそれぞれの基準時刻を、Ｔ／ｎずつずれた時刻に決定する。例えば、カメラのフレームレートが６０Ｈｚ（撮影周期Ｔ＝１６．７ｍＳ）、カメラグループの数ｎ＝４の場合、Ｔ／ｎ＝４．１８ｍＳずつずらした基準時刻を各カメラグループに設定することにより、２４０Ｈｚのフレームレートで仮想視点画像が生成され得る。

また、上記実施形態では、フレームレートを優先する場合のカメラグループの数は２、画質（三次元モデルの精度）を優先する場合のカメラグループの数は１としたがこれに限られるものではない。フレームレートを優先する場合のカメラグループの数が、三次元モデルの精度を優先する場合のカメラグループの数よりも多くなるようにすればよい。

また、本実施形態では、それぞれのカメラグループに属するカメラの台数が等しいとして説明を行ったが、これに限らない。ただし、生成する三次元モデルの精度をグループ毎に揃えるために、各カメラグループに属するカメラの台数は同程度の数とすることが望ましい。

＜第２実施形態＞
図面を利用して第２実施形態について説明する。第２実施形態は、フレームレートの設定をユーザが行うことにより、ユーザが任意に仮想視点画像のフレームレートを変更可能とする例である。なお、第２実施形態による画像生成システムの構成は第１実施形態（図１）と同様である。

図９は、第２実施形態による制御ステーション１２４の機能構成例を示すブロック図である。第１実施形態（図２）と同様の機能ブロックについては、同一の参照番号が付されている。図９において、ユーザ設定受信部９０１は、例えば仮想カメラ操作ＵＩ１２５からのユーザ指示を制御ステーション１２４にて受け付けるためのインタフェースである。第２実施形態では、ユーザ設定受信部９０１は、ユーザから生成する仮想視点画像のフレームレートを受け付ける。

次に、図１０を用いて、第２実施形態によるフレームレートの設定処理を説明する。図１０は、第２実施形態による、仮想視点画像のフレームレートの設定処理を示すフローチャートである。

ユーザ設定受信部９０１は、ステップＳ１００１にて、ユーザから画像のフレームレートを受信し、その後、ステップＳ１００２にて、受信したフレームレートを設定制御部２０１へ通知する。ステップＳ１００３にて、設定制御部２０１は、指定されたフレームレートの設定が可能であるかを判定する。例えば、設定制御部２０１は、指定されたフレームレートが管理しているカメラグループの最大数により実現可能なフレームレートを超える場合、設定が不可能であると判定する。図５Ａのテーブル５０１の場合、実現可能なフレームレートは１２０Ｈｚである。指定されたフレームレートを設定することが不可能と判定された場合、ステップＳ１００４にて、設定制御部２０１は、別のフレームレートを指定するようにユーザにフレームレートの再入力を促し、ステップＳ１００１からの処理を繰り返す。なお、ユーザによるフレームレートの入力、再入力は不図示の操作パネルを用いて実行され得る。

一方、指定されたフレームレートが、設定制御部２０１が管理しているカメラグループの最大数により実現可能なフレームレート以下である場合、設定可能であると判定され、処理はステップＳ１００３からステップＳ１００５に進む。ステップＳ１００５において、設定制御部２０１は、ステップＳ１００２で通知されたフレームレートに従い、カメラのグループ情報及び基準時刻を決定する。例えば、図５Ａに示したテーブル５０１を用いてカメラグループが管理されている場合、ユーザは、１２０Ｈｚ以下の任意のフレームレートを指定することができる。設定制御部２０１は、指定されたフレームレートが６０Ｈｚ以下であればフレームレートが６０Ｈｚのセット（一つのカメラグループからなるセット）とこれに対応した基準時刻を採用する。また、指定されたフレームレートが６０Ｈｚより大きく１２０Ｈｚ以下であれば、設定制御部２０１は、フレームレートが１２０Ｈｚのセット（二つのカメラグループからなるセット）とこれに対応した基準時刻を採用する。すなわち、設定制御部２０１は、ユーザ操作により指定されたフレームレート以上であって、当該指定されたフレームレートに最も近いフレームレートに対応したセットを、複数のセットから選択する。

次に、ステップＳ１００６にて、設定制御部２０１は、ステップＳ１００６で決定したカメラグループをグループ設定部２０２に通知する。ステップＳ１００７にて、グループ設定部２０２は、ステップＳ１００６で通知されたカメラグループを、撮影システム１０１の各カメラに設定する。次に、ステップＳ１００８にて、設定制御部２０１は、ステップＳ１００５で決定した基準時刻を時刻設定部２０３に通知する。ステップＳ１００９にて、時刻設定部２０３は、ステップＳ１００８で通知された基準時刻を、撮影システム１０１のそれぞれのカメラに設定する。ステップＳ１０１０にて、設定制御部２０１は、ステップＳ１００２で通知されたフレームレートとステップＳ１００５で決定したカメラグループとこれに対応するフレームレートを画像生成装置に１２２に通知する。

画像生成装置１２２は、通知されたフレームレートとカメラグループに従って、複数視点画像を収集し、仮想視点画像を生成する。例えば、画像生成装置１２２は、カメラグループとこれに対応するフレームレートに基づいて仮想視点画像を生成する。例えば、図５Ａのテーブル５０１に示されるカメラグループＡ，Ｂからなるセットが採用された場合、画像生成装置１２２は１２０Ｈｚのフレームレートの仮想視点画像を生成し、その後、ユーザにより指定されたフレームレートに変換する。こうして、ユーザ指定されたフレームレートを有する仮想視点画像が生成される。

以上説明したように第２実施形態によれば、ユーザの指示に基づき仮想視点画像のフレームレートを変更することが可能となる。従って、ユーザは、例えばシーンごとに、仮想視点画像のフレームレートを所望するフレームレートに変更することが可能となる。

以上説明したように、上記実施形態によれば、複数のカメラ群（カメラグループ）のそれぞれに異なる基準時刻を設定して撮影を行うことにより、カメラのフレームレートよりも高いフレームレートで最終的な仮想視点画像を生成することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１２４：制御ステーション、２０１：設定制御部、２０２：グループ設定部、２０３：時刻設定部

Claims (18)

1. 複数の撮影装置が所属する複数のグループからなるセットを管理する管理手段と、
   前記管理手段が管理する前記セットを構成する前記複数のグループにそれぞれ異なる基準時刻を決定する決定手段と、
   前記複数のグループのそれぞれに所属する撮影装置が前記決定手段により決定された基準時刻に従った撮影を実行するように、前記複数の撮影装置を制御する制御手段と、を備えることを特徴とする制御装置。
2. 前記セットには複数のグループが含まれており、前記複数の撮影装置の撮影周期をＴ、前記複数のグループの数をｎとした場合に、前記決定手段は、前記セットに含まれているグループのそれぞれの基準時刻を、それぞれＴ／ｎずれた時刻に決定することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、撮影装置が指定された基準時刻を先頭に所定の撮影周期で撮影を繰り返すように、前記決定された基準時刻を前記複数の撮影装置に設定することを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、撮影装置が指定された基準時刻で撮影を実行することにより所定の撮影周期の撮影が実現されるように、前記決定手段により決定された基準時刻に前記所定の撮影周期を加算することにより得られる複数の基準時刻を前記複数の撮影装置に設定することを特徴とする請求項１または２に記載の制御装置。
5. フレームレートを優先する場合のグループの数は、三次元モデルの精度を優先する場合のグループの数よりも多いことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. フレームレートを優先する場合のグループの数は２、三次元モデルの精度を優先する場合のグループの数は１であることを特徴とする請求項５に記載の制御装置。
7. 前記管理手段は、１つまたは複数のグループからなるセットであって、それぞれが異なる数のグループからなる複数のセットを管理し、前記複数のセットはグループの数に応じて対応するフレームレートが決定され、
   前記複数のセットから前記決定手段が用いるセットをユーザ操作に応じて選択する選択手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記選択手段は、ユーザ操作により指定されたフレームレートに対応するセットを前記複数のセットから選択することを特徴とする請求項７に記載の制御装置。
9. 前記選択手段は、ユーザ操作により指定されたフレームレート以上であって、当該指定されたフレームレートに最も近いフレームレートに対応したセットを選択することを特徴とする請求項７に記載の制御装置。
10. 複数の撮影装置が所属する複数のグループからなるセットを管理する管理手段と、
    前記管理手段が管理する前記セットを構成する前記複数のグループにそれぞれ異なる基準時刻を決定する決定手段と、
    前記複数のグループのそれぞれに所属する撮影装置が前記決定手段により決定された基準時刻に従った撮影を実行するように、前記複数の撮影装置を制御する制御手段と、
    前記複数の撮影装置により得られた画像に基づいて、指定された視点に対応する画像を生成する生成手段と、を備えることを特徴とする画像生成システム。
11. 前記生成手段は、前記複数のグループに対して決定された基準時刻に対応したフレームレートで、前記指定された視点に対応する画像を生成することを特徴とする請求項１０に記載の画像生成システム。
12. 複数の撮影装置が所属する複数のグループからなるセットの前記複数のグループにそれぞれ異なる基準時刻を決定する決定工程と、
    前記複数のグループのそれぞれに所属する撮影装置が前記決定工程により決定された基準時刻に従った撮影を実行するように、前記複数の撮影装置を制御する制御工程と、を備えることを特徴とする制御方法。
13. 前記セットには複数のグループが含まれており、前記複数の撮影装置の撮影周期をＴ、前記複数のグループの数をｎとした場合に、前記決定工程は、前記セットに含まれているグループのそれぞれの基準時刻を、それぞれＴ／ｎずれた時刻に決定することを特徴とする請求項１２に記載の制御方法。
14. 前記制御工程は、撮影装置が指定された基準時刻を先頭に所定の撮影周期で撮影を繰り返すように、前記決定された基準時刻を前記複数の撮影装置に設定することを特徴とする請求項１２または１３に記載の制御方法。
15. 前記制御工程は、撮影装置が指定された基準時刻で撮影を実行することにより所定の撮影周期の撮影が実現されるように、前記決定工程で決定された基準時刻に前記所定の撮影周期を加算することにより得られる複数の基準時刻を前記複数の撮影装置に設定することを特徴とする請求項１２または１３に記載の制御方法。
16. 複数の撮影装置が所属する複数のグループからなるセットの前記複数のグループにそれぞれ異なる基準時刻を決定する決定工程と、
    前記複数のグループのそれぞれに所属する撮影装置が前記決定工程により決定された基準時刻に従った撮影を実行するように、前記複数の撮影装置を制御する制御工程と、
    前記複数の撮影装置により得られた画像に基づいて、指定された視点に対応する画像を生成する生成工程と、を備えることを特徴とする画像生成方法。
17. 前記生成工程では、前記複数のグループに対して決定された基準時刻に対応したフレームレートで、前記指定された視点に対応する画像を生成することを特徴とする請求項１６に記載の画像生成方法。
18. コンピュータを、請求項１乃至９のいずれか１項に記載された制御装置の各手段として機能させるためのプログラム。

Images