JP2022038176A - 制御装置、制御方法およびプログラム - Google Patents

Abstract

【課題】仮想視点画像を生成に用いられる撮影装置を適切に制御する。【解決手段】制御装置は、仮想視点画像生成の対象となる領域に対して注目領域を設定する設定手段と、仮想視点画像生成の対象となる領域を撮影する複数の撮影装置のうち、撮影範囲内に注目領域の少なくとも一部が含まれる撮影装置の撮影範囲を、注目領域に応じた撮影範囲に調整するための調整パラメータを生成する調整手段と、を有する。そして、制御装置は、調整手段により生成された調整パラメータに基づいて撮影装置の撮影範囲を制御する。【選択図】図５

Description

本発明は、撮影装置を制御する技術に関する。

従来、異なる位置に設置された複数の撮影装置によって複数の異なる方向から同期して被写体等を撮影し、それら撮影により得られた複数の撮影画像を用いて仮想視点画像を生成する技術が知られている。仮想視点画像は、撮影装置の設置位置に限定されない仮想的な視点における見え方を表す画像である。

仮想視点画像を生成可能な領域は、複数の撮影装置によって複数の異なる方向から撮影される実空間の領域である。このため、仮想視点画像の画質を上げるには、その実空間の領域を撮影している複数の撮影装置の撮影画像を高解像度化すればよい。なお特許文献１には、複数の撮影装置で撮影するシステムにおいて、ある撮影装置の画角変更によって撮影不可となった範囲を、別の撮影装置の画角を変更して撮影することで補う技術が開示されている。

特開２０１８－１８０３０５号公報

複数の撮影装置により複数の異なる方向から被写体等を撮影するシステムに対する特許文献１の技術の適用例として、ある撮影装置の撮影不可範囲を補うために、別の撮影装置の画角を広げて広範囲を撮影することが考えられる。しかしながら、撮影装置の画角を広げて広範囲を撮影した場合の被写体像等は、撮影画像に対して相対的に小さくなるため解像度が落ちることが考えられる。

そこで、本開示は、仮想視点画像に用いられる撮影装置を適切に制御することを目的とする。

本開示の制御装置は、仮想視点画像生成の対象となる領域に対して注目領域を設定する設定手段と、前記仮想視点画像生成の対象となる領域を撮影する複数の撮影装置のうち、撮影範囲内に前記注目領域の少なくとも一部が含まれる撮影装置の撮影範囲を、前記注目領域に応じた撮影範囲に調整するための調整パラメータを生成する調整手段と、を有し、前記調整手段により生成された調整パラメータに基づいて前記撮影装置の撮影範囲を制御することを特徴とする。

本開示によれば、仮想視点画像に用いられる撮影装置を適切に制御することができる。

システム構成を示す図である。 複数のカメラの配置例を示す図である。 カメラグループの撮影画界の例を示す図である。 制御装置のハードウェア構成例を示す図である。 制御装置の機能構成例を示す図である。 撮影パラメータ管理データの例を示す図である。 第１の実施形態に係る画界調整制御のフローチャートである。 第１の実施形態に係る撮影画界調整処理の説明図である。 第２の実施形態に係る画界調整制御のフローチャートである。 第２の実施形態に係る撮影画界調整処理の説明図である。 第３の実施形態に係る画界調整制御のフローチャートである。 第３の実施形態に係る撮影画界調整処理の説明図である。

以下、本実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本実施形態は図示された構成に限定されるものではない。また同一の構成または処理については、同じ参照符号を付して説明する。
＜第１の実施形態＞
図１は、仮想視点画像を生成する本実施形態に係る画像処理システム１０の構成の一例を示している。画像処理システム１０は、カメラ部１００、ハブ１３１、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１３６、制御装置１３２、画像生成装置１３３、および仮想視点設定部１３４を有する。カメラ部１００は複数のカメラグループ（以下、カメラＧｒ１０１～１１０とする）からなり、カメラＧｒ１０１～１１０はそれぞれが複数の撮影装置を有する。本実施形態において、一つのカメラＧｒ（カメラグループ）が有する各撮影装置は、後述するように、カメラと当該カメラが搭載された雲台とからなるカメラユニットとして構成されているとする。

図２は、カメラ部１００に含まれる複数のカメラＧｒ１０１～１１０の配置の一例を示している。カメラＧｒ１０１～１１０は、撮影対象となる例えば競技場を取り囲むように配置されており、その撮影対象の競技場をそれぞれ異なる方向から撮影して、仮想視点画像の生成に用いられる複数の撮影画像を取得する。撮影エリア２００は、複数のカメラＧｒ１０１～１１０によって複数の異なる方向から撮影される実空間を表した領域であり、仮想視点画像生成の対象となる領域である。すなわち仮想視点画像は、この撮影エリア２００を複数のカメラＧｒ１０１～１１０によって複数の異なる方向から撮影した複数の撮影画像を用いて生成される。このため、カメラ部１００においては、その撮影エリア２００内の全ての位置を複数の異なる方向から撮影した撮影画像を取得可能となるように、各カメラＧｒ１０１～１１０の配置および撮影方向が設定されている。また詳細については後述するが、一つのカメラＧｒに属する複数の撮影装置（カメラユニット）は、それぞれがほぼ同方向から撮影エリア２００を撮影するように配置されている。

なお、カメラ部１００に含まれるカメラＧｒの数は、カメラＧｒ１０１～１１０のような１０個でなくてもよく、さらに多数でもよいし、あるいは９個以下でもよく、仮想視点画像を生成できるのであれば特に限定されない。また、カメラ部１００に含まれる各カメラＧｒの配置は、撮影エリア２００を全方向から取り囲むような配置に限定されるものではない。また、カメラ部１００に含まれる各カメラＧｒの設置場所は、競技場に限らず、劇場やライブステージなどであってもよい。

カメラ部１００の各カメラＧｒに属する各カメラは、例えばデジタルカメラであるとする。なお、各カメラは、静止画像または動画像のいずれかを撮影するカメラであってもよいし、静止画像と動画像の両方を撮影するカメラであってもよい。本実施形態では、画像という文言を、特に断りがない限り静止画及び動画を含むものとして説明する。また本実施形態の説明では、各構成要素間で通信される画像データを簡略化して画像と記している。また本実施形態では、撮像センサを有する撮像部と光線を撮像センサに集めるレンズ系とを少なくとも含むカメラと当該カメラが搭載された雲台とを含む撮影装置を、カメラユニットと呼んでいる。本実施形態の画像処理システム１０は、カメラ部１００に含まれる複数のカメラＧｒによって取得された複数の撮影画像を用いて、撮影エリア２００内で発生するシーンの仮想視点画像を生成可能なシステムである。

図３は、カメラＧｒ１０１～１１０のうちの一つのカメラＧｒ（図３の例ではカメラＧｒ１０１とする）に属する各カメラユニット１０１１～１０１４における撮影画界の一例を示した図である。本実施形態において、撮影画界（単に「画界」とのみ呼ぶ場合もある）とは、カメラが写し込める実撮影範囲のことであり、カメラが備えている撮像センサのサイズやレンズの焦点距離、撮影距離によって変わるものである。図３に示すように、カメラＧｒ１０１は、四つのカメラユニット１０１１～１０１４をグループとして有している。

カメラユニット１０１１は、カメラ１０１１ａと当該カメラ１０１１ａが搭載される雲台１０１１ｂとによって構成されている。カメラユニット１０１２、１０１３、１０１４も同様に、それぞれ、カメラ１０１２ａと雲台１０１２ｂ、カメラ１０１３ａと雲台１０１２ｃ、カメラ１０１４ａと雲台１０１４ｂとにより構成されている。各雲台は、制御装置１３２から出力される制御コマンドによってパン方向とチルト方向の少なくともいずれかを変更可能な、例えば電動型の雲台であるとする。なお、カメラＧｒ１０１を構成するカメラユニットの数は、当該カメラＧｒ１０１の位置においてグループ内の各カメラユニットにより撮影エリア２００の全ての領域を撮影できるのであればよく、図３のような四つに限定されるものではない。またカメラユニットは、パン方向とチルト方向の駆動が可能な電動型雲台を備えていない構成であってもよい。

図３に示した撮影画界３１１は、カメラユニット１０１１により撮影される撮影範囲を示している。同様に、撮影画界３１２は、カメラユニット１０１２による撮影範囲、撮影画界３１３はカメラユニット１０１３による撮影範囲、撮影画界３１４はカメラユニット１０１４による撮影範囲を示している。これら撮影画界３１１、３１２、３１３、３１４の各撮影範囲の論理和をとると、撮影エリア２００を全て撮影できていることがわかる。また図３の注目領域２０１は、撮影エリア２００内において特に高解像度の仮想視点画像を生成したい領域を示している。

前述のように配置された各カメラＧｒ１０１～１１０によって撮影された複数の撮影画像は、ハブ１３１を介して制御装置１３２と画像生成装置１３３とに送られる。
制御装置１３２は、ＵＩ部１３６を介してユーザ操作に基づく指示を受け付け可能となされている。ＵＩ部１３６は、操作用のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する表示部と、マウスやキーボード、操作ボタン、タッチパネルなどの操作部とを有し、ユーザによる操作を受け付ける。ＵＩ部１３６は、ユーザ操作を受け付けると、そのユーザ操作に応じた指示情報を制御装置１３２に送る。なお、ＵＩ部１３６は、後述する仮想視点を指定するユーザ操作の受け付けも可能となされており、当該仮想視点の指定を受け付けた場合にはその指定情報を仮想視点設定部１３４に送る。

制御装置１３２は、ＵＩ部１３６からユーザ操作による指示情報を受け付けると、その指示情報に基づく制御コマンドを出力して、カメラ部１００の各カメラＧｒ１０１～１１０に含まれる各カメラユニットを制御する。具体的に説明すると、制御装置１３２は、ＵＩ部１３６からユーザ操作に応じた指示情報を取得し、その指示情報に基づいて、撮影時の設定指示や撮影方向を指示する制御コマンドを生成して各カメラＧｒ１０１～１１０のカメラユニットに送信する。各カメラユニットに対する撮影時の設定指示や撮影方向の指示などは、撮影パラメータの設定により行われる。カメラユニットの撮影パラメータには、カメラに関する撮影パラメータと雲台に関する撮影パラメータとが含まれる。カメラに関する撮影パラメータには、焦点距離の値、フォーカス値、絞り値などが含まれる。なお、カメラの焦点距離は、光学ズームにおけるズーム値（ズーム倍率）を変更することにより任意の値に設定可能になされている。雲台に関する撮影パラメータには、パン値（パン角度）やチルト値（チルト角度）などの撮影方向を設定するための値が含まれる。その他、撮影パラメータには撮影位置も含めることができ、撮影位置はカメラユニットを設置した位置に応じて例えばユーザ操作による指示情報を介して設定することができる。

また制御装置１３２は、仮想視点画像生成の対象となる領域内の特定の空間の高解像度撮影画像を取得して高解像度の仮想視点画像を生成可能にするために、カメラＧｒに属する各カメラユニットの撮影パラメータを適宜調整制御する機能をも有する。このため、本実施形態の制御装置１３２は、仮想視点画像生成の対象となる領域における特定の空間として、注目領域を設定する。さらに、制御装置１３２は、複数のカメラユニットのうち、撮影画界内（撮影範囲内）に注目領域の少なくとも一部が含まれるカメラユニットの撮影画界を、その注目領域に応じた画界に調整するための調整パラメータを生成する。そして、制御装置１３２は、調整パラメータに基づいて、それらカメラユニットを制御する制御コマンドを生成して送信する。本実施形態の制御装置１３２は、このように、撮影画界内に注目領域の少なくとも一部が含まれるカメラユニットの撮影画界を、注目領域に応じた画界に調整することにより、それらカメラユニットによって注目領域を高解像度で撮影した画像を取得可能とする。すなわち注目領域を高解像度で撮影した画像を取得することにより、後述する画像生成装置１３３は、注目領域について高解像度の仮想視点画像を生成することが可能となる。

詳細は後述するが、第１の実施形態の制御装置１３２は、特定の空間の高解像度撮影画像を取得するために、カメラＧｒに属する各カメラの撮影パラメータのうち、撮影画界に注目領域が含まれるカメラについて、焦点距離を適宜調整制御する。焦点距離の調整制御は、光学ズームのズーム値を調整することにより行われる。

仮想視点設定部１３４は、ユーザ操作に基づいて指定された仮想視点、あるいは自動で指定された仮想視点を設定する。そして、仮想視点設定部１３４は、その指定された仮想視点の位置と方向を示す視点情報を画像生成装置１３３に送る。
画像生成装置１３３は、ハブ１３１を介してカメラ部１００から取得した複数の撮影画像と、仮想視点設定部１３４にて設定された仮想視点の位置と方向を示す視点情報とを基に、仮想視点画像を生成する。

画像生成装置１３３は、カメラ部１００より取得した複数の撮影画像から、各撮影画像内の所定のオブジェクト領域とその他の領域とを分離する処理を実行し、その分離処理によって分離した所定のオブジェクト領域から３Ｄモデルを生成する。本実施形態において、所定のオブジェクト領域は、例えば競技場内の選手や審判、ボールなどのような前景となる被写体領域である。分離処理では、撮影画像から、選手などの被写体領域である前景領域と、それ以外の領域である背景領域と、を分離する処理が行われる。これにより、画像生成装置１３３では、選手や審判、ボールなどの３Ｄモデルが生成される。

そして、画像生成装置１３３は、仮想視点設定部１３４にて指定された仮想視点の位置と方向を示す視点情報を取得し、その仮想視点の位置と方向に応じて３Ｄモデルを用いたレンダリング処理を行う。これより、画像生成装置１３３では、指定された仮想視点における見えを表す仮想視点画像が生成される。本実施形態における仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。

前述のようにして生成された仮想視点画像は、例えば視聴者が保持する視聴端末（不図示）などに送信される。これにより、その視聴端末において仮想視点画像が表示される。
本実施形態のように、撮影画像から仮想視点画像を生成する処理には、Ｖｉｓｕａｌ Ｈｕｌｌなどの既知の方法を用いることができる。なお、仮想視点画像を生成するアルゴリズムは、これに限るものではなく、ビルボード方式など、３Ｄモデルを作らない方式でもよい。

画像処理システム１０の構成は、図１に示した構成に限定されるものではない。カメラ部１００に含まれる複数のカメラユニットは、制御装置１３２や画像生成装置１３３に直接接続されていてもよいし、カメラ同士がデイジーチェーンで接続されていても良い。画像生成装置１３３は、単一の装置として構成されていてもよいし、互いに接続された複数の装置により構成されていてもよい。また、制御装置１３２がＵＩ部１３６を内部に有していてもよいし、制御装置１３２と画像生成装置１３３とが一体となって構成されていてもよい。画像処理システム１０に含まれる各装置は、有線で接続されていてもよいし、無線で接続されていてもよい。

図４は、制御装置１３２のハードウェア構成の一例を示した図である。
制御装置１３２は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、補助記憶装置４０４、通信Ｉ／Ｆ４０５、及びバス４０６を有する。
ＣＰＵ４０１は、本実施形態に係るプログラムを含むコンピュータプログラムを実行することで制御装置１３２の全体を制御し、また各種データ処理を行う。なお、制御装置１３２がＣＰＵ４０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ４０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ４０３は、ＲＯＭ４０２や補助記憶装置４０４から供給されるプログラムやデータ、通信Ｉ／Ｆ４０５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置４０４は、例えばハードディスクドライブ等で構成され、コンピュータプログラムや、画像および音声などの種々のコンテンツデータを記憶する。本実施形態に係るプログラムは、補助記憶装置４０４に記憶されていてもよいし、ＲＯＭ４０２に記憶されていてもよい。本実施形態に係るプログラムは例えばＲＡＭ４０３に展開されてＣＰＵ４０１により実行される。

通信Ｉ／Ｆ４０５は、カメラ部１００や画像生成装置１３３などの外部の装置との通信を行う。例えば、制御装置１３２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ４０５に接続される。制御装置１３２が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ４０５はアンテナを備える。
バス４０６は、制御装置１３２の各部を繋いで情報を伝達する。
なお、制御装置１３２がＵＩ部１３６を内部に有している場合には、図４に示す構成に加え、制御装置１３２は表示部や操作部を有する。

図示は省略するが、画像生成装置１３３のハードウェア構成も基本的に図４の構成と同様である。ただし、画像生成装置１３３の場合、ＣＰＵ４０１は、ＲＯＭ４０２または補助記憶装置４０４に記憶された仮想視点画像生成プログラムを実行することにより、仮想視点画像を生成する処理を実行する。

図５は、制御装置１３２の機能構成を示したブロック図である。制御装置１３２は、機能ブロックとして、画界管理部５２１、領域設定部５２２、判定部５２３、グループ管理部５２４、画界調整部５２５、パラメータ管理部５２６、コマンド生成部５２７、及びキャリブレーション管理部５２８を有している。
第１の実施形態の場合、制御装置１３２は、撮影パラメータのうちカメラの焦点距離（つまりズーム値）を調整することで、注目領域における高解像度の仮想視点画像を生成可能な撮影画像が得られるようにカメラ部１００を制御する。以下その詳細を説明する。

画界管理部５２１は、キャリブレーション管理部５２８からキャリブレーションパラメータを取得し、各カメラＧｒに属する各カメラユニットの撮影画界に関する情報（画界情報とする）を生成、管理する。すなわち画界管理部５２１は、各カメラＧｒが撮影エリア２００をどの方向から撮影し、また各カメラＧｒに属する各カメラユニットの撮影画界が撮影エリア２００のどの撮影範囲に対応しているかなどを管理している。そして、画界管理部５２１は、その画界情報を、判定部５２３と画界調整部５２５とへ出力する。キャリブレーション管理部５２８とキャリブレーションパラメータの詳細は後述する。

領域設定部５２２は、ユーザがＵＩ部１３６のＧＵＩを介して撮影エリア２００内で高解像度の仮想視点画像を生成したいエリアを指定すると、そのユーザ指定のエリアを注目領域として設定する。そして、領域設定部５２２は、その設定した注目領域を示す情報を判定部５２３へ出力する。なお本実施形態の場合、注目領域は、ユーザがＵＩ部１３６を操作して指定したエリアを基に設定される例を挙げたが、その他の方法を利用して設定されてもよい。例えば、予め注目領域を表す複数のパターンを用意しておき、ユーザがＵＩ部１３６を介して所望のパターンを選択することで設定されてもよい。さらに他の方法として、領域設定部５２２は、撮影画像を基に撮影エリア２００内で発生するイベントを自動で検出し、その検出したイベントに対応するエリアを注目領域として設定してもよい。例えば、競技場においてサッカーの試合が行われるような場合、イベントとしてペナルティキックシーンを検出した場合に、そのペナルティエリアを注目領域として決定するような方法を挙げることができる。さらに他の方法として、領域設定部５２２は、撮影画像を基に撮影エリア２００内の被写体の位置を常に把握し、複数の被写体が集合した場合に、それら集合した被写体を全て含むエリアを、注目領域として設定してもよい。

判定部５２３は、画界管理部５２１から取得した各カメラユニットの画界情報と、領域設定部５２２から取得した注目領域とを基に、注目領域を撮影しているカメラを抽出してリスト化した注目領域撮影カメラ情報を生成する。そして、判定部５２３は、その注目領域撮影カメラ情報を、画界調整部５２５へ出力する。注目領域撮影カメラ情報は、注目領域を撮影しているカメラを特定できるのであればどのようなものでもよく、特にリスト形式に限定されるものではない。

グループ管理部５２４は、各カメラＧｒ１０１～１１０と各カメラＧｒにそれぞれ属している各カメラユニットの情報を示すカメラグループ情報を管理している。グループ管理部５２４は、当該カメラグループ情報を、画界調整部５２５へ出力する。

画界調整部５２５は、注目領域撮影カメラ情報と各カメラユニットの画界情報とカメラグループ情報とを取得し、それらを基に画界調整パラメータを生成する。当該画界調整部５２５における画界調整パラメータ生成処理の詳細は後述する。そして、画界調整部５２５は、生成した画界調整パラメータをパラメータ管理部５２６へ出力する。

パラメータ管理部５２６は、画界調整部５２５から各カメラユニットの画界調整パラメータを取得し、撮影パラメータの調整が必要なカメラを特定して、そのカメラに関する撮影パラメータを変更する制御を行う。当該パラメータ管理部５２６における撮影パラメータ変更処理の詳細は後述する。

図６は、パラメータ管理部５２６における撮影パラメータ管理データの一例を示した図である。撮影パラメータ管理データは、カメラユニットの識別情報と、各カメラユニットのカメラのズーム値、雲台のパン値およびチルト値を表すデータからなる。図６は、図３に示したカメラユニット１０１１、１０１２、１０１３，１０１４の撮影パラメータ管理データの例を示している。パラメータ管理部５２６は、各カメラのズーム値、及びそれらカメラが搭載されている雲台のパン値、チルト値を管理しており、画界調整部５２５から取得した画界調整パラメータに記載された各値を撮影パラメータ管理データに反映する。第１の実施形態の場合、パラメータ管理部５２６は、撮影パラメータ管理データの値が変更されたカメラユニットのカメラを制御するための制御パラメータを、コマンド生成部５２７へ出力する。また、パラメータ管理部５２６は、キャリブレーションパラメータを更新するために、撮影パラメータ管理データをキャリブレーション管理部５２８へ出力する。

コマンド生成部５２７は、パラメータ管理部５２６から取得した制御パラメータに基づいて、撮影パラメータの調整が必要なカメラユニットのカメラを制御するための制御コマンドを生成する。そして、コマンド生成部５２７は、その制御コマンドを、ハブ１３１を経由して、該当するカメラユニットに送信する。第１の実施形態の場合、カメラユニットでは、受信した制御コマンドに基づいて、カメラのズーム制御を実行する。

キャリブレーション管理部５２８は、パラメータ管理部５２６から撮影パラメータ管理データを取得し、その撮影パラメータ管理データを基にキャリブレーションパラメータを生成、管理する。そして、キャリブレーション管理部５２８は、キャリブレーション処理が完了した後、各カメラユニットにおける画界を更新させるために、キャリブレーションパラメータを画界管理部５２１へ出力する。

図７は、第１の実施形態に係る制御装置１３２における画界調整制御の流れを示すフローチャートである。図７に示すフローチャートの処理は、例えばＣＰＵ４０１がＲＯＭ４０２又は補助記憶装置４０４に記憶された本実施形態に係るプログラムをＲＡＭ４０３に展開して実行することで実現される。なお、図７に示す処理の少なくとも一部は、ＣＰＵ４０１とは異なる１又は複数の専用のハードウェアにより実現されてもよい。以降の各フローチャートにおける符号の「Ｓ」は処理ステップを表しているとする。

Ｓ７００において、画界調整部５２５は、グループ管理部５２４から取得したカメラグループ情報に基づいて、カメラＧｒ１０１～１１０の中から一つのカメラＧｒ（カメラＧｒＮとする）を選択する。

次にＳ７０１において、画界調整部５２５は、判定部５２３から取得した注目領域撮影カメラ情報に基づいて、カメラＧｒＮに所属する各カメラユニットの中から注目領域撮影カメラを抽出する。前述の図３で説明したように、カメラＧｒＮに所属する各カメラの撮影画界を全て合わせると撮影エリア２００の全てが含まれるため、注目領域撮影カメラは、カメラＧｒＮの中に必ず一つ以上存在することになる。

そしてＳ７０２において、画界調整部５２５は、Ｓ７０１で抽出した注目領域撮影カメラＭを選択する。
次にＳ７０３において、画界調整部５２５は、注目領域撮影カメラの数が１であるかを確認する。画界調整部５２５は、注目領域撮影カメラの数が１である場合（Ｙｅｓ）にはＳ７０４に処理を進め、１でない場合（Ｎｏ）、つまり２以上である場合にはＳ７０５に処理を進める。

Ｓ７０４に進むと、画界調整部５２５は、注目領域２０１の頂点を検出し、その座標を担当注目領域座標として設定する。担当注目領域座標とは、カメラが注目領域２０１内において担当して撮影する領域の頂点座標である。担当注目領域座標を設定する目的は、担当注目領域座標で特定される担当注目領域が、当該注目領域撮影カメラＭの撮影画界内に全て含まれるように撮影パラメータ（第１の実施形態の場合はカメラの撮影パラメータ）を調整するためである。Ｓ７０４の後、画界調整部５２５は、Ｓ７０７に処理を進める。

一方、Ｓ７０５に進むと、画界調整部５２５は、まず、ある注目領域撮影カメラと撮影画界が隣り合うカメラで且つ当該カメラが別の注目領域撮影カメラである場合、それらカメラの撮影画界の重複した領域（画界重複領域とする）を求める。言い換えると、画界調整部５２５は、２以上存在している注目領域撮影カメラのうち、注目領域撮影カメラ同士の撮影画界が隣り合い且つそれら撮影画界が重複した領域（画界重複領域）を求める。次に画界調整部５２５は、画界重複領域の中線を求める。さらに画界調整部５２５は、その画界重複領域の中線と、注目領域２０１との、交点を算出する。Ｓ７０５の処理の詳細は、図８を用いて後述する。

Ｓ７０５の後、Ｓ７０６に進むと、画界調整部５２５は、注目領域撮影カメラＭの撮影画界内にある注目領域２０１の頂点座標と、Ｓ７０５で求めた交点座標とを、当該注目領域撮影カメラＭに対応した担当注目領域座標として設定する。なお、Ｓ７０３からＳ７０５に進んだ場合、当該Ｓ７０６の処理は、Ｓ７０５で画界重複領域を求めた際の各注目領域撮影カメラＭのそれぞれに対応して行われる。つまり、Ｓ７０６の場合、画界重複領域を求めた際の注目領域撮影カメラごとに対応した、担当注目領域座標が求められる。Ｓ７０６の処理の詳細は、図８を用いて後述する。Ｓ７０６の後、画界調整部５２５は、Ｓ７０７に処理を進める。

Ｓ７０７に進むと、画界調整部５２５は、Ｓ７０４またはＳ７０６で求められた担当注目領域座標によって特定される領域が、注目領域撮影カメラＭの撮影画界内に全て含まれるようになる最望遠のズーム値（つまり焦点距離）を算出する。Ｓ７０３からＳ７０４に進み、さらにＳ７０７に進んだ場合、注目領域撮影カメラの撮影画界内に注目領域の全てが含まれる。このため、注目領域撮影カメラのズーム値は、担当注目領域座標にて特定される担当注目領域（つまり注目領域）が当該注目領域撮影カメラの撮影画界内に全て含まれるようになる最望遠のズーム値となる。一方、Ｓ７０３からＳ７０５に進み、さらにＳ７０６からＳ７０７に進んだ場合、注目領域撮影カメラの撮影画界内に含まれるのは注目領域の一部となる。Ｓ７０３からＳ７０５に進み、さらにＳ７０６からＳ７０７に進んだ場合の当該Ｓ７０７における処理の詳細は、図８を用いて後述する。

次にＳ７０８に進むと、画界調整部５２５は、注目領域撮影カメラＭが属するカメラユニットの識別情報とＳ７０７で算出したズーム値とからなる画界調整パラメータを、パラメータ管理部５２６へ出力する。パラメータ管理部５２６は、画界調整部５２５から取得した画界調整パラメータを基に、前述した撮影パラメータ管理データを変更する。第１の実施形態の場合、パラメータ管理部５２６は、撮影パラメータ管理データのうち、画界調整部５２５から取得した識別情報で特定されるカメラユニットに属するカメラのズーム値を、Ｓ７０７で算出したズーム値に変更する。その後、パラメータ管理部５２６は、それら識別情報と変更後のズーム値とを制御パラメータとしてコマンド生成部５２７へ出力する。コマンド生成部５２７は、当該識別情報のカメラユニットに属するカメラに向けてズーム調整制御コマンドを送信する。以上で、注目領域撮影カメラＭの画界調整処理は完了となる。

次にＳ７０９において、画界調整部５２５は、カメラＧｒＮに含まれる注目領域撮影カメラ全ての画界調整が完了したか確認する。画界調整部５２５は、画界調整が完了していない場合（Ｎｏ）にはＳ７０２に処理を戻して、画界調整が完了していない注目領域撮影カメラに対する画界調整処理を行うようにする。一方、注目領域カメラ全ての画界調整が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ７１０に処理を進める。

Ｓ７１０に進むと、画界調整部５２５は、カメラＧｒ全ての画界調整が完了したか確認する。画界調整部５２５は、カメラＧｒ全ての画界調整が完了していない場合（Ｎｏ）にはＳ７００に処理を戻して、画界調整が完了していないカメラＧｒの画界調整処理を行うようにする。一方、カメラＧｒ全ての画界調整が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ７１１に処理を進める。

Ｓ７１１に進むと、画界調整部５２５は、パラメータ管理部５２６へ画界調整処理の完了を通知する。さらにパラメータ管理部５２６は、画界調整した後に係る撮影パラメータ管理データを、キャリブレーション管理部５２８へ出力する。キャリブレーション管理部５２８は、取得した撮影パラメータ管理データに基づいてキャリブレーションパラメータを算出して値を更新し、画界管理部５２１へ送信する。その後、画界管理部５２１は、取得したキャリブレーションパラメータに基づいて、画界調整後の各カメラユニットにおける撮影画界を算出し更新する。

図８（ａ）～図８（ｄ）は、図７のＳ７０３からＳ７０５に進み、さらにＳ７０６からＳ７０７に進んだ場合において、注目領域撮影用の画界調整を行う際の処理の説明図である。ここでは、図１に示されたカメラＧｒ１０１を例に挙げて説明する。カメラＧｒ１０１において注目領域２０１を撮影している注目領域撮影カメラは、カメラユニット１０１１のカメラ１０１１ａと、カメラユニット１０１２のカメラ１０１２ａとであるとする。このため図８（ａ）～図８（ｄ）には、カメラ１０１１ａの撮影画界３１１と、カメラ１０１２ａの撮影画界３１２とが示されている。これら図８（ａ）～図８（ｄ）は、図７のＳ７０５において撮影画界同士が隣り合い且つそれら撮影画界の画界重複領域を求めた際の注目領域撮影カメラが、カメラ１０１１ａとカメラ１０１２ａである場合に相当する例である。

図８（ａ）は、図７のＳ７０５における交点の算出処理の説明図である。図中の線８００は、カメラ１０１１ａの撮影画界３１１と、カメラ１０１２ａの撮影画界３１２とが重複する画界重複領域のうち短辺２辺の中点を結んだ線であり、これがＳ７０５の処理で求められる中線である。また、図中の二つの点８０１は、中線８００と注目領域２０１の辺とが交わった点であり、これがＳ７０５の処理で算出される交点である。

図８（ｂ）は、図７のＳ７０６における注目領域検出処理の説明図である。図中の四つの座標８０２は、カメラ１０１１ａの撮影画界３１１内における画界調整対象の領域の座標であり、これら四つの座標８０２がカメラ１０１１ａに対応した担当注目領域座標である。担当注目領域座標８０２は、撮影画界３１１内にある注目領域２０１の頂点座標２点と、図８（ａ）で求めた交点８０１の２点の計４点の座標である。つまり、カメラ１０１１ａが撮影すべき領域は、４点の担当注目領域座標８０２で形成される領域となる。本実施形態の場合、４点の担当注目領域座標８０２で形成される領域を、可能な限り高解像度撮影することが目的となる。

図８（ｃ）は、図７のＳ７０７におけるズーム値算出処理の説明図である。前述したようのＳ７０７では、４点の担当注目領域座標８０２で特定される領域がカメラ１０１１ａの撮影画界３１１内に全て含まれる最望遠のズーム値を算出する処理が行われる。図中の撮影画界８０３は４点の担当注目領域座標８０２で形成される領域を含む最望遠ズーム時の画界を示しており、Ｓ７０７ではこの撮影画界８０３が撮影画界３１１内に全て含まれる最望遠のズーム値が算出される。
以上で、カメラユニット１０１１のカメラ１０１１ａにおける画界調整は完了となる。

カメラユニット１０１２のカメラ１０１２ａについても前述同様にして画界調整の処理が行われる。
図８（ｄ）は、カメラユニット１０１２のカメラ１０１２ａに対して前述同様の画界調整処理が実行された場合の説明図である。図中の四つの座標８０４は、カメラ１０１２ａにおける画界調整の対象領域の座標、すなわち担当注目領域座標を示している。撮影画界８０５は、それら４点の担当注目領域座標８０４で形成される領域を含む最望遠ズーム時の撮影画界を示している。以上で、カメラユニット１０１２のカメラ１０１２ａにおける画界調整処理が完了し、これによってカメラＧｒ１０１の画界調整は完了となる。

第１の実施形態においては、前述のように撮影画界内に注目領域が含まれる各カメラの焦点距離（ズーム値）を調整制御して注目領域を望遠撮影する。そして、その後、各カメラＧｒから得られた撮影画像を用いて仮想視点画像が生成される。これにより、第１の実施形態によれば、注目領域に対応した特定の空間について高解像度の仮想視点画像を生成することが可能となる。

＜第２の実施形態＞
第２の実施形態では、撮影画界内に注目領域が含まれる各カメラの焦点距離の調整制御に加え、それら各カメラが搭載された各雲台のパン・チルトを調整して各カメラの撮影方向を変えることで、特定の空間の仮想視点画像を高解像度化可能にする。第２の実施形態において、画像処理システム、ハードウェア構成、機能構成、カメラＧｒの配置等は前述した第１の実施形態と同じであり、それらの図示および説明は省略する。また前述した第１の実施形態と同等の機能および処理には前述と同一の参照符号を付けてそれらの詳細説明は省略する。

図９は、第２の実施形態に係る制御装置１３２における画界調整制御の流れを示すフローチャートである。
Ｓ９００において、画界調整部５２５は、図７のＳ７００の処理と同様に、グループ管理部５２４から取得したカメラグループ情報に基づいてカメラＧｒＮを選択する。
またＳ９０１において、画界調整部５２５は、Ｓ７０１の処理と同様に、判定部５２３から取得した注目領域撮影カメラ情報に基づいて、カメラＧｒＮに所属する注目領域撮影カメラを抽出する。
さらにＳ９０２において、画界調整部５２５は、Ｓ７０２の処理と同様に、Ｓ９０１で抽出した注目領域撮影カメラＭを選択する。

次にＳ９０３において、画界調整部５２５は、担当注目領域の重心位置を検出する。担当注目領域とは、注目領域撮影カメラが注目領域２０１内で担当して撮影する領域である。まず、画界調整部５２５は、注目領域撮影カメラの撮影画界と注目領域２０１とが重なった領域を担当注目領域とする。次に、画界調整部５２５は、担当注目領域の重心位置を求める。重心位置は、担当注目領域を対角線で分けた二つの三角形の重心を結ぶ線分上にある。

次にＳ９０４において、画界調整部５２５は、Ｓ９０３で求めた重心位置が注目領域撮影カメラの光軸中心となるようなカメラの撮影方向（カメラの向き）を算出する。カメラの撮影方向は、当該カメラが搭載されている雲台のパン角度やチルト角度を変えることによる調整される。このためＳ９０４において、画界調整部５２５は、重心位置がカメラの光軸中心となるようにカメラの撮影方向を調整するための雲台のパン値・チルト値の変更量、すなわちパン・チルトの移動量を算出する。

次にＳ９０５において、画界調整部５２５は、担当注目領域が、注目領域撮影カメラの撮影画界内に全て含まれる最望遠ズーム値を算出する。なお、Ｓ９０３、Ｓ９０４、Ｓ９０５の処理の詳細は、図１０を用いて後述する。

次にＳ９０６において、画界調整部５２５は、カメラユニットの識別情報と、Ｓ９０５で算出したズーム値と、Ｓ９０４で算出した雲台のパン値・チルト値と、からなる画界調整パラメータを、パラメータ管理部５２６へ出力する。パラメータ管理部５２６は、画界調整部５２５から取得した画界調整パラメータを基に、前述した撮影パラメータ管理データを変更する。第２の実施形態の場合、パラメータ管理部５２６は、撮影パラメータ管理データのうち、識別情報で特定されるカメラユニットに属するカメラのズーム値をＳ９０５で算出したズーム値に変更する。また、パラメータ管理部５２６は、識別情報で特定されるカメラユニットに属する雲台のパン値・チルト値を、Ｓ９０４で算出したパン値・チルト値に変更する。その後、パラメータ管理部５２６は、それら識別情報、ズーム値、およびパン値・チルト値を制御パラメータとして、コマンド生成部５２７へ出力する。これにより、コマンド生成部５２７は、当該識別情報のカメラユニットに属するカメラに向けてズーム調整制御コマンドを送信し、また、当該カメラが搭載されている雲台に向けてパン・チルト調整制御コマンドを送信する。以上で、注目領域撮影カメラとそのカメラが搭載された雲台に係る画界調整処理は完了となる。

次にＳ９０７において、画界調整部５２５は、カメラＧｒＮに含まれる注目領域撮影カメラ全ての画界調整が完了したか確認する。画界調整部５２５は、注目領域撮影カメラ全ての画界調整が完了していない場合（Ｎｏ）にはＳ９０２に処理を戻し、その画界調整が完了していない注目領域撮影カメラおよび雲台による画界調整処理を行うようにする。一方、注目領域カメラ全ての画界調整が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ９０８に処理を進める。

Ｓ９０８に進むと、画界調整部５２５は、カメラＧｒ全ての画界調整が完了したか確認する。画界調整部５２５は、カメラＧｒ全ての画界調整が完了していない場合（Ｎｏ）にはＳ９００に処理を戻し、画界調整が完了していないカメラＧｒの画界調整処理を開始する。一方、カメラＧｒ全ての画界調整処理が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ９０９に処理を進める。

Ｓ９０９に進むと、画界調整部５２５は、パラメータ管理部５２６へ画界調整処理の完了を通知する。さらにパラメータ管理部５２６は、画界調整した撮影パラメータ管理データをキャリブレーション管理部５２８へ出力する。キャリブレーション管理部５２８は、取得した撮影パラメータ管理データに基づいてキャリブレーションパラメータを算出して値を更新し、画界管理部５２１へ送信する。その後、画界管理部５２１は、取得したキャリブレーションパラメータに基づいて、画界調整後の各カメラユニットの撮影画界を算出し更新する。

図１０（ａ）～図１０（ｄ）は、第２の実施形態において注目領域撮影用の画界調整を行う際の処理の説明図である。以下、図１の画像処理システム１０のカメラＧｒ１０１を例に挙げる。このカメラＧｒ１０１内で、注目領域２０１を撮影している注目領域撮影カメラは、カメラユニット１０１１のカメラ１０１１ａとカメラユニット１０１２のカメラ１０１２ａであるとする。このため図１０（ａ）～図１０（ｄ）は、カメラ１０１１ａの撮影画界３１１と、カメラ１０１２ａの撮影画界３１２とを示している。

図１０（ａ）は、図９のＳ９０３における重心位置検出処理の説明図である。カメラ１０１１ａの担当注目領域１０００は、撮影画界３１１と注目領域２０１とが重なる領域である。重心位置１００１は、担当注目領域１０００の重心である。

図１０（ｂ）は、図９のＳ９０４におけるパン値・チルト値算出処理の説明図である。撮影画界１００２は、カメラ１０１１ａの光軸中心が重心位置１００１を通過するように、雲台１０１１ｂのパン角度とチルト角度を調整した結果の画界を示している。

図１０（ｃ）は、図９のＳ９０５におけるズーム値算出処理の説明図である。撮影画界１００３は、担当注目領域１０００を含む最望遠のズーム値を設定した時の画界である。以上により、カメラユニット１０１１に対する画界調整処理は完了となる。

図１０（ｄ）は、カメラユニット１０１２について前述同様にして画界調整を実行した場合の説明図である。撮影画界１００４は、カメラユニット１０１２について、担当注目領域を含む最望遠のズーム値、および雲台１０１２ｂのパン角度とチルト角度を設定した時の画界を示している。以上で、カメラユニット１０１２に対する画界調整処理が完了し、カメラＧｒ１０１の画界調整は完了となる。

第２の実施形態においては、前述のように撮影画界内に注目領域が含まれる各カメラの焦点距離と雲台のパン・チルトを調整制御して注目領域を望遠撮影する。そして、その後、各カメラＧｒから得られた撮影画像を用いて仮想視点画像が生成される。これにより、第２の実施形態によれば、注目領域に対応した特定の空間について高解像度の仮想視点画像を生成することが可能となる。

なお、例えばカメラの焦点距離の調整制御を行わず、雲台のパン・チルトのみ調整制御することも考えられる。例えば、特許文献１に記載の技術を適用し、ある撮影装置の撮影不可範囲を撮影するために別の撮影装置の撮影方向を変えるような例が考えられる。しかしながら、この場合、撮影される実空間が狭くなり、撮影画像は狭い範囲を写した画像になる。つまり仮想視点画像を生成可能な領域が狭まってしまうことになり、その結果、高画質の仮想視点画像の生成が難くなる。これに対し、第２の実施形態の場合は、雲台のパン・チルトおよびカメラの焦点距離を調整制御することで、高解像度の仮想視点画像を生成することが可能となる。

＜第３の実施形態＞
第３の実施形態では、雲台調整によって撮影方向（カメラの向き）を変更するカメラの台数が少なくなるように考慮しつつ、各カメラの焦点距離の調整、及び各雲台のパン・チルト角度を調整制御する例を説明する。撮影方向を変更するカメラの台数を少なくする理由は、仮想視点画像の品質低下を防ぐためである。すなわちキャリブレーションパラメータは、雲台制御量の理論値を基に再計算されることになるが、理論値と実値に誤差がある場合、カメラの正確な位置が推定できず、その結果、仮想視点画像の品質を落とす虞がある。そのため、可能な限り雲台を制御しない（つまり撮影方向を変えない）方が、仮想視点画像の品質担保に繋がるためである。第３の実施形態において、画像処理システム、ハードウェア構成、機能構成、およびカメラＧｒの配置等は前述同様であり、それらの図示および説明は省略する。また前述した各実施形態と同等の機能および処理には前述と同一の参照符号を付けてそれらの詳細説明は省略する。

図１１は、第３の実施形態に係る制御装置１３２における画界調整制御の流れを示すフローチャートである。
Ｓ１１００において、画界調整部５２５は、グループ管理部５２４から取得したカメラグループ情報に基づいてカメラＧｒＮを選択する。
またＳ１１０１において、画界調整部５２５は、判定部５２３から取得した注目領域撮影カメラ情報に基づいて、カメラＧｒＮに所属する注目領域撮影カメラを抽出する。
さらにＳ１１０２において、画界調整部５２５は、Ｓ１１０１で抽出した注目領域撮影カメラＭを選択する。

次にＳ１１０３に進むと、画界調整部５２５は、担当注目領域を高解像度で撮影するためのズーム値を算出する。第２の実施形態でも説明したように、担当注目領域は、注目領域撮影カメラが注目領域２０１内で担当して撮影する領域である。まず、画界調整部５２５は、カメラの撮影画界と注目領域２０１が重なった領域を、担当注目領域とする。次に画界調整部５２５は、カメラのズームを望遠側に移動して、担当注目領域の頂点が撮影画界線上となるズーム値を算出する。

次にＳ１１０４において、画界調整部５２５は、カメラユニットの識別情報と、Ｓ１１０３で算出したズーム値とからなる画界調整パラメータを、パラメータ管理部５２６へ出力する。パラメータ管理部５２６は、画界調整部５２５から取得した画界調整パラメータを基に、前述した撮影パラメータ管理データを変更する。第３の実施形態の場合、パラメータ管理部５２６は、撮影パラメータ管理データのうち、識別情報で特定されるカメラのズーム値を、Ｓ１１０３で算出したズーム値に変更する。その後、パラメータ管理部５２６は、それら識別情報とズーム値を制御パラメータとしてコマンド生成部５２７へ出力する。これにより、コマンド生成部５２７は、その識別情報で特定されるカメラユニットに属するカメラに向けてズーム調整制御コマンドを送信する。以上により、注目領域撮影カメラＭに対する画界調整処理は完了となる。

次にＳ１１０５において、画界調整部５２５は、カメラＧｒＮに含まれる注目領域撮影カメラ全ての画界調整が完了したか確認する。画界調整部５２５は、注目領域撮影カメラ全ての画界調整処理が完了していない場合（Ｎｏ）にはＳ１１０２に処理を戻し、画界調整が完了していない注目領域撮影カメラの画界調整処理を行うようにする。一方、注目領域撮影カメラ全ての画界調整処理が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ１１０６に処理を進める。

Ｓ１１０６に進むと、画界調整部５２５は、Ｓ１１０４で調整が完了した各カメラの撮影画界を重ねた結果、注目領域２０１を全て撮影できているか、言い換えると、撮影できていない注目領域２０１があるかを確認する。画界調整部５２５は、注目領域２０１を全て撮影できている場合（Ｎｏ）、つまり撮影できていない注目領域２０１がない場合には、カメラＧｒＮの画界調整は完了となり、Ｓ１１１０に処理を進める。一方、画界調整部５２５は、注目領域２０１を全て撮影できていない場合（Ｙｅｓ）、つまり撮影できていない注目領域２０１がある場合には、Ｓ１１０７に処理を進める。

Ｓ１１０７に進むと、画界調整部５２５は、注目領域２０１内において撮影できていない領域を意味する注目領域非撮影領域を確認する。
Ｓ１１０８において、まず、画界調整部５２５は、カメラＧｒＮに所属するカメラのうち、注目領域を撮影していないカメラを確認する。次に、画界調整部５２５は、注目領域を撮影していないカメラの光軸中心位置と、注目領域非撮影領域の重心位置との間の距離を、カメラ毎に算出し、その距離が最小のカメラを、注目領域非撮影カメラとして選択する。距離が最小のカメラを選択する理由は、雲台のパン値・チルトの変更量（パン・チルトの移動量）が少なくなり、移動時間の短縮、移動による誤差の減少に寄与するためである。

次にＳ１１０９において、画界調整部５２５は、前述の図９で説明したのと同様の処理により、注目領域非撮影カメラの光軸中心が注目領域非撮影領域の重心位置を通過するように、雲台のパン・チルトを調整し、最望遠となるズーム値を算出する。以上により、注目領域非撮影カメラの画界調整処理は完了となり、カメラＧｒＮの画界調整は完了となる。

次にＳ１１１０において、画界調整部５２５は、カメラＧｒ全ての画界調整が完了したか確認し、完了していない場合（Ｎｏ）にはＳ１１００に処理を戻し、画界調整が完了していないカメラＧｒの画界調整処理を行うようにする。一方、カメラＧｒ全ての画界調整が完了した場合（Ｙｅｓ）、画界調整部５２５は、Ｓ１１１１に処理を進める。

Ｓ１１１１に進むと、画界調整部５２５は、パラメータ管理部５２６へ画界調整処理の完了を通知する。パラメータ管理部５２６は、画界調整した撮影パラメータ管理データをキャリブレーション管理部５２８へ出力する。キャリブレーション管理部５２８は、取得した撮影パラメータ管理データに基づいてキャリブレーションパラメータを算出して値を更新し、画界管理部５２１へ送信する。その後、画界管理部５２１は、取得したキャリブレーションパラメータに基づいて、画界調整後の各カメラユニットの撮影画界を算出し更新する。

図１２（ａ）～図１２（ｃ）は、第３の実施形態において注目領域撮影用の画界調整を行う際の処理の説明図である。以下、図１の画像処理システム１０のカメラＧｒ１０１を例に挙げる。このカメラＧｒ１０１内で、注目領域２０１を撮影している注目領域撮影カメラは、カメラユニット１０１１のカメラ１０１１ａとカメラユニット１０１２のカメラ１０１２ａであるとする。このため図１２（ａ）～図１２（ｃ）は、カメラ１０１１ａの撮影画界３１１と、カメラ１０１２ａの撮影画界３１２とを示している。

図１２（ａ）は、図１１のＳ１１０３における望遠側のズーム値算出処理とＳ１１０４におけるズーム調整処理の説明図である。前述したように画界調整部５２５は、カメラ１０１１ａのズーム値を望遠側へ移動し、注目領域２０１の頂点１２１０が撮影画界内に入る時の望遠ズーム値を算出する。撮影画界１２０１は、その望遠ズーム値をカメラ１０１１ａに対して設定した時の撮影画界である。同様に、画界調整部５２５は、カメラ１０１２ａのズーム値を望遠側へ移動し、注目領域２０１の頂点１２１１が撮影画界内に入る時の望遠ズーム値を算出する。撮影画界１２０２は、その望遠ズーム値をカメラ１０１２ａに対して設定した時の撮影画界である。その後、画界調整部５２５は、注目領域２０１内で、撮影画界１２０１と撮影画界１２０２とにおいて撮影できていない領域を、注目領域非撮影領域１２０３として抽出する。

図１２（ｂ）は、図１１のＳ１１０８におけるカメラの選択処理とＳ１１０９の雲台制御処理の説明図である。前述したように画界調整部５２５は、注目領域非撮影カメラとして選択されたカメラ１０１４ａに対し、その撮影画界３１４の光軸中心が、注目領域非撮影領域１２０３の重心を通過するように雲台のパン値・チルト値を算出する。撮影画界３１４は、雲台１０１４ｂを制御する前のカメラ１０１４ａの画界であり、撮影画界１２０４は、算出したパン値・チルト値に基づいて雲台１０１４ｂを制御した後の当該カメラ１０１４ａの画界である。

図１２（ｃ）は、図１１のＳ１１０９における調整処理の説明図である。前述したように、画界調整部５２５は、注目領域非撮影領域がカメラ１０１４ａの撮影画界内に全て含まれる最望遠ズーム値を算出する。撮影画界２０１５は、ズーム調整後のカメラ１０１４ａの画界である。

第３の実施形態においては、各カメラの焦点距離及び雲台のパン・チルトを調整制御して注目領域を望遠撮影する際、可能な限り雲台を制御せずに調整する。そして、各カメラＧｒから得られた撮影画像を用いて仮想視点画像が生成される。これにより、第３の実施形態によれば、注目領域に対応した特定の空間について高解像度の仮想視点画像を生成することが可能となる。

前述のように第１～第３の実施形態では、画質を向上したい注目領域を検出し、仮想視点画像を生成する領域を撮影する複数のカメラが、当該注目領域を高解像に撮影するように撮影画界を調整することで、高画質の仮想視点画像の生成が可能になる。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

５２１：画界管理部、５２２：領域設定部、５２３：判定部、５２４：グループ管理部、５２５：画界調整部、５２６：パラメータ管理部、５２７：コマンド生成部、５２８：キャリブレーション管理部

Claims (17)

1. 仮想視点画像生成の対象となる領域に対して注目領域を設定する設定手段と、
   前記仮想視点画像生成の対象となる領域を撮影する複数の撮影装置のうち、撮影範囲内に前記注目領域の少なくとも一部が含まれる撮影装置の撮影範囲を、前記注目領域に応じた撮影範囲に調整するための調整パラメータを生成する調整手段と、を有し、
   前記調整手段により生成された調整パラメータに基づいて前記撮影装置の撮影範囲を制御することを特徴とする制御装置。
2. 前記複数の撮影装置が一つのグループとして設定された、複数の前記グループを管理するグループ管理手段をさらに有し、
   前記グループ管理手段は、前記仮想視点画像生成の対象となる領域を、前記グループごとに異なる位置でかつ異なる方向から撮影し、前記一つのグループに属する前記複数の撮影装置によって前記仮想視点画像生成の対象となる領域が撮影されるように管理することを特徴とする請求項１に記載の制御装置。
3. 前記一つのグループに属する前記複数の撮影装置のうち、前記撮影範囲内に前記注目領域の少なくとも一部が含まれる撮影装置を判定する判定手段を有することを特徴とする請求項２に記載の制御装置。
4. 前記調整手段は、前記判定手段によって前記撮影範囲内に前記注目領域の少なくとも一部が含まれると判定された撮影装置の撮影範囲を、前記注目領域に応じた撮影範囲に調整するための前記調整パラメータを生成することを特徴とする請求項３に記載の制御装置。
5. 前記調整パラメータは、前記撮影装置の焦点距離を調整するためのパラメータであることを特徴とする請求項１から請求項４のいずれか１項に記載の制御装置。
6. 前記調整手段は、前記複数の撮影装置のうち一つの撮影装置の撮影範囲内にのみ前記注目領域が含まれる場合、前記注目領域が当該一つの撮影装置の撮影範囲内に含まれるようになる最望遠の前記焦点距離を示す前記調整パラメータを生成することを特徴とする請求項５に記載の制御装置。
7. 前記調整手段は、前記注目領域が前記複数の撮影装置のうち二つ以上の撮影装置の撮影範囲内に含まれる場合、前記二つ以上の撮影装置の撮影範囲が隣り合いかつそれら撮影範囲が重複した領域と前記注目領域とを基に特定される領域が、前記二つ以上の撮影装置の撮影範囲にそれぞれ含まれるようになる最望遠の前記焦点距離を示す前記調整パラメータを生成することを特徴とする請求項５または請求項６に記載の制御装置。
8. 前記調整手段は、前記重複した領域の短辺２辺を結ぶ中線と前記注目領域との交点と、前記二つ以上の撮影装置の撮影範囲内にある注目領域の頂点とを基に、前記特定される領域を決定することを特徴とする請求項７に記載の制御装置。
9. 前記調整パラメータは、前記撮影装置が搭載された雲台のパン値と、前記雲台のチルト値との、少なくともいずれかを調整するためのパラメータを含むことを特徴とする請求項５に記載の制御装置。
10. 前記調整手段は、前記複数の撮影装置のうち前記撮影範囲内に注目領域の少なくとも一部が含まれる撮影装置の当該撮影範囲と前記注目領域とが重なった領域の重心が、当該撮影装置の光軸中心となるように前記雲台のパン値とチルト値の少なくともいずれかを調整するための前記調整パラメータを生成することを特徴とする請求項９に記載の制御装置。
11. 前記調整手段は、前記撮影範囲と前記注目領域とが重なった領域が、前記パン値とチルト値の少なくともいずれかを調整した後の前記撮影装置の撮影範囲に含まれるようになる最望遠の前記焦点距離を示す前記調整パラメータを生成することを特徴とする請求項１０に記載の制御装置。
12. 前記調整手段は、前記複数の撮影装置のうち前記撮影範囲内に前記注目領域の少なくとも一部が含まれる撮影装置の当該撮影範囲と前記注目領域とが重なった領域の頂点が、当該撮影範囲の線上となる焦点距離を示す前記調整パラメータを生成することを特徴とする請求項９に記載の制御装置。
13. 前記調整手段は、前記注目領域のうち前記撮影範囲と重なっていない領域の重心に、撮影範囲内に前記注目領域が含まれない撮影装置の当該撮影範囲の光軸中心を合わせるように、前記雲台のパン値とチルト値の少なくともいずれかを調整し、前記重なっていない領域が、前記パン値とチルト値の少なくともいずれかを前記調整した後の撮影範囲に含まれるようになる最望遠の前記焦点距離を示す前記調整パラメータを生成することを特徴とする請求項１２に記載の制御装置。
14. 前記調整手段は、前記撮影範囲内に前記注目領域が含まれない撮影装置が複数ある場合、前記注目領域が含まれない撮影装置の撮影範囲の光軸中心と、前記重なっていない領域の重心との距離が、最小となる撮影装置の撮影範囲を、前記重なっていない領域の重心と前記光軸中心を合わせる撮影範囲とすることを特徴とする請求項１３に記載の制御装置。
15. 前記複数の撮影装置を設置した際のキャリブレーションパラメータを管理するキャリブレーション管理手段をさらに有し、
    前記キャリブレーション管理手段は、前記調整パラメータに応じてキャリブレーションパラメータを算出することを特徴とする請求項１から請求項１４のいずれか１項に記載の制御装置。
16. 制御装置が実行する制御方法であって、
    仮想視点画像生成の対象となる領域に対して注目領域を設定する設定工程と、
    前記仮想視点画像生成の対象となる領域を撮影する複数の撮影装置のうち、撮影範囲内に前記注目領域の少なくとも一部が含まれる撮影装置の撮影範囲を、前記注目領域に応じた撮影範囲に調整するための調整パラメータを生成する調整工程と、を有し、
    前記調整工程により生成された調整パラメータに基づいて前記撮影装置の撮影範囲を制御することを特徴とする制御方法。
17. コンピュータを、請求項１から請求項１５のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

Images