JP2020039063A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】より適切な仮想視点画像の生成を支援することを目的とする。【解決手段】仮想視点画像に対応する仮想カメラの位置、方向及び画角のうち少なくとも１つの変化を示す変化情報を取得する取得手段と、前記取得手段により取得された前記変化情報に基づいて、撮影部による撮影により取得される撮影画像において、送信対象の部分領域の位置を決定する位置決定手段と、を有する。【選択図】図４

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

複数の撮影部を異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術がある。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像よりもユーザに高臨場感を与えることができる。
仮想視点画像の生成及び閲覧は、以下のようにして実現できる。即ち、複数の撮影部により撮影された画像をサーバ等の画像処理部に集約し、その画像処理部にて、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に送信を行うことで実現できる。
このように、複数の撮影部それぞれからサーバ等に撮影画像が送信されるため、撮影画像の送信により通信量が増大し、通信帯域が逼迫してしまう場合がある。これに対して、特許文献１には、複数の撮影部により撮影された画像より任意視点画像を再構成する際に、撮影画像領域の内、再構成に用いられる領域のみを送信する方法が開示されている。

特開２００５−５００３７号公報

再構成を行っている間に、仮想視点の位置及び方向等が変化することがある。位置、方向等の変化に応じて、仮想視点画像の生成に必要な、撮影画像中の領域も変化する。しかしながら、従来技術においては、このように位置、方向等が変化した場合に、変化後の位置、方向等に対応した、仮想視点画像の生成に必要なデータを適切なタイミングで送信することができないという問題があった。

本発明の情報処理装置は、仮想視点画像に対応する仮想カメラの位置、方向及び画角のうち少なくとも１つの変化を示す変化情報を取得する取得手段と、前記取得手段により取得された前記変化情報に基づいて、撮影部による撮影により取得される撮影画像において、送信対象の部分領域の位置を決定する位置決定手段と、を有する。

本発明によれば、より適切な仮想視点画像の生成を支援できる。

画像処理システムのシステム構成の一例を説明する図である。 カメラアダプタ等のハードウェア構成の一例を示す図である。 カメラアダプタの機能構成等の一例を示す図である。 カメラアダプタの処理の一例を示すフローチャートである。 仮想カメラの位置と撮影領域との一例を説明する図である。 仮想カメラとカメラとの撮影領域の一例を説明する図である。 カメラアダプタの機能構成等の一例を示す図である。 カメラアダプタの処理の一例を示すフローチャートである。 仮想カメラとカメラとの撮影領域の一例を説明する図である。 カメラアダプタの機能構成等の一例を示す図である。 カメラアダプタの処理の一例を示すフローチャートである。 データの圧縮の一例を説明する図である。

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本発実施形態の画像処理システム１００のシステム構成の一例を示す図である。画像処理システム１００は、カメラ１２０Ａ〜１２０Ｄ、カメラアダプタ１３０Ａ〜１３０Ｄ、サーバ装置１１０を含む。
サーバ装置１１０は、カメラ１２０Ａ〜１２０Ｄにより撮影された複数の画像から仮想視点画像を生成する情報処理装置である。サーバ装置１１０は、例えば、パーソナルコンピュータ、サーバ装置、タブレット装置等である。
カメラ１２０Ａ〜１２０Ｄそれぞれは、撮影中心１４０と撮影対象領域１５０とを取り囲むように配置されている撮影部である。以下では、カメラ１２０Ａ〜１２０Ｄを、適宜、カメラ１２０と総称する。カメラアダプタ１３０Ａ〜１３０Ｄは、それぞれカメラ１２０Ａ〜１２０Ｄを制御する情報処理装置である。以下では、カメラアダプタ１３０Ａ〜１３０Ｄを、適宜、カメラアダプタ１３０と総称する。

カメラ１２０は、対応するカメラアダプタ１３０と画像伝送ケーブルで接続されている。画像伝送ケーブルは、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルである。
カメラアダプタ１３０Ａとカメラアダプタ１３０Ｂとは、データ伝送ケーブルで接続されている。また、カメラアダプタ１３０Ｂとカメラアダプタ１３０Ｃとは、データ伝送ケーブルで接続されている。また、カメラアダプタ１３０Ｃとカメラアダプタ１３０Ｄとは、データ伝送ケーブルで接続されている。また、カメラアダプタ１３０Ａとサーバ装置１１０とは、データ伝送ケーブルで接続されている。データ伝送ケーブルは、例えばＥｔｈｅｒｎｅｔケーブルである。

画像処理システム１００は、撮影対象領域１５０の周囲に配置されたカメラ１２０Ａ〜１２０Ｄにより、撮影対象を異なる方向から撮影し、撮影した画像群をサーバ装置１１０に送信する。そして、サーバ装置１１０は、仮想視点画像の生成処理を行うことで、任意の視点（仮想視点）から見た仮想視点画像を生成して、生成した仮想視点画像をユーザに提供する。仮想視点に関する情報とは、画像がどの位置からどの方向を見た画像であるのかを示す情報であり、仮想カメラの位置姿勢に対応する情報である。
本実施形態では、画像処理システム１００は、カメラアダプタ１３０からサーバ装置１１０へ仮想視点画像の生成に用いられないデータを優先的に送信し、仮想視点画像の生成に用いられるデータを送信しないようにする。これにより、画像処理システム１００は、通信帯域を節約することができる。結果として、画像処理システム１００は、通信帯域が逼迫することで、仮想視点画像の生成が滞ることを防止することができる。

図２（ａ）は、カメラアダプタ１３０Ａのハードウェア構成の一例を示す図である。カメラアダプタ１３０Ａは、ＣＰＵ１３１、主記憶装置１３２、補助記憶装置１３３、デバイスＩ／Ｆ１３４、ネットワークＩ／Ｆ１３５を含む。各要素は、システムバス１３６を介して相互に通信可能に接続されている。
ＣＰＵ１３１は、カメラアダプタ１３０Ａを制御する中央演算装置である。主記憶装置１３２は、ＣＰＵ１３１のワークエリアやデータの一時的な記憶領域として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置１３３は、各種プログラム、各種設定情報、カメラ１２０により撮影された画像データ等を記憶する記憶装置である。補助記憶装置１３３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。デバイスＩ／Ｆ１３４は、カメラ１２０等の外部のデバイスとの接続に用いられるインターフェースである。ネットワークＩ／Ｆ１３５は、サーバ装置１１０、他のカメラアダプタ１３０等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。

ＣＰＵ１３１が、補助記憶装置１３３に記憶されたプログラムにしたがって処理を実行することで、図３で後述するカメラアダプタ１３０Ａの機能、図４、８、１１で後述するフローチャートの処理等が実現される。
本実施形態では、カメラアダプタ１３０Ｂ〜Ｄそれぞれのハードウェア構成は、図２（ａ）を用いて説明したカメラアダプタ１３０Ａのハードウェア構成と同様であるとする。
カメラアダプタ１３０Ｂ〜ＤそれぞれのＣＰＵ１３１が、カメラアダプタ１３０Ｂ〜Ｄそれぞれの補助記憶装置１３３に記憶されたプログラムにしたがって処理を実行することで、以下が実現される。即ち、カメラアダプタ１３０Ｂ〜Ｄそれぞれの図３で後述するカメラアダプタ１３０Ａと同様の機能、図４、８、１１で後述するフローチャートと同様の処理等が実現される。

図２（ｂ）は、サーバ装置１１０のハードウェア構成の一例を示す図である。サーバ装置１１０は、ＣＰＵ１１１、主記憶装置１１２、補助記憶装置１１３、ネットワークＩ／Ｆ１１４を含む。各要素は、システムバス１１５を介して相互に通信可能に接続されている。
ＣＰＵ１１１は、サーバ装置１１０を制御する中央演算装置である。主記憶装置１１２は、ＣＰＵ１１１のワークエリアやデータの一時的な記憶領域として機能するＲＡＭ等の記憶装置である。補助記憶装置１３３は、各種プログラム、各種設定情報、カメラ１２０により撮影された画像データ等を記憶するＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶装置である。ネットワークＩ／Ｆ１１４は、カメラアダプタ１３０Ａ等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ１１１が、補助記憶装置１１３に記憶されたプログラムにしたがって処理を実行することで、サーバ装置１１０の機能、サーバ装置１１０の処理等が実現される。

図３は、カメラアダプタ１３０Ａの機能構成等の一例を示す図である。カメラアダプタ１３０Ａは、取得部２０１、領域決定部２０２、データ決定部２０３、送信部２０４を含む。
取得部２０１は、対応するカメラ１２０から入力された撮影画像のデータを、画像データ２０５として取得する。取得部２０１は、例えば、ＳＤＩケーブルを介して、対応するカメラ１２０から撮影画像のデータを取得する。取得部２０１は、取得した画像データ２０５をカメラアダプタ１３０内部での処理が可能な形式に変換して他の機能構成要素に出力する。
領域決定部２０２は、サーバ装置１１０から、仮想視点画像に対応する視点となる仮想視点の情報を仮想視点情報２０７として取得する。領域決定部２０２は、取得した仮想視点情報２０７に基づいて、対応するカメラ１２０の撮影画像中における仮想視点画像の生成に用いられる領域の位置を決定する。以下では、カメラ１２０の撮影画像中における仮想視点画像の生成に用いられる部分領域を、利用領域とする。即ち、領域決定部２０２は、カメラ１２０の撮影画像中における利用領域の位置を決定する。領域決定部２０２によるカメラ１２０の撮影画像中における利用領域の位置を決定する処理は、位置決定処理の一例である。

データ決定部２０３は、取得部２０１により取得された画像データ２０５と領域決定部２０２により決定された利用領域の位置とに基づいて、仮想視点画像の生成に用いられるデータを決定する。以下では、データ決定部２０３により決定される仮想視点画像の生成に用いられるデータを、生成用データとする。
送信部２０４は、データ決定部２０３により決定されたデータを、カメラアダプタ１３０、サーバ装置１１０等の外部の送信先への送信が可能なデータ形式に変換して、変換したデータを送信データ２１０として送信先に送信する。例えば、データがＥｔｈｅｒｎｅｔ上のＴＣＰ／ＩＰプロトコルで送信される場合、送信部２０４は、ＴＣＰ／ＩＰのプロトコルスタック処理やＭＡＣ層、ＰＨＹ層のデータ送信処理を行う。

本実施形態では、カメラアダプタ１３０Ｂ〜Ｄそれぞれの機能構成は、図３を用いて説明したカメラアダプタ１３０Ａの機能構成と同様である。
本実施形態では、カメラアダプタ１３０Ｄの送信部２０４は、カメラアダプタ１３０Ｄの送信データ２１０を、カメラアダプタ１３０Ａ〜１３０Ｃを経由して、サーバ装置１１０に送信する。また、カメラアダプタ１３０Ｃの送信部２０４は、カメラアダプタ１３０Ｃの送信データ２１０を、カメラアダプタ１３０Ａ〜１３０Ｂを経由して、サーバ装置１１０に送信する。また、カメラアダプタ１３０Ｂの送信部２０４は、カメラアダプタ１３０Ｂの送信データ２１０を、カメラアダプタ１３０Ａを経由して、サーバ装置１１０に送信する。

次に、本実施形態におけるカメラアダプタ１３０の処理について説明する。
図４は、本実施形態におけるカメラアダプタ１３０Ａの処理の一例を示すフローチャートである。図４の処理は、１フレーム分の画像データの送信処理である。即ち、カメラアダプタ１３０Ａは、対応するカメラ１２０であるカメラ１２０Ａから撮影画像のデータが入力される度に、図４の処理を実行する。カメラ１２０から撮影画像のデータが６０フレーム毎秒で入力される場合、カメラアダプタ１３０Ａは、１秒間に６０回、図４の処理を実行することとなる。
Ｓ３０１において、取得部２０１は、対応するカメラ１２０から画像データ２０５を取得する。
Ｓ３０２において、領域決定部２０２は、サーバ装置１１０から、図５で後述する仮想カメラ４０１の撮影条件の情報と、仮想カメラ４０１の撮影条件の変化を示す変化情報と、を含む仮想視点情報２０７を取得する。以下では、仮想カメラ４０１の撮影条件とは、仮想カメラ４０１による撮影に関する条件であり、本実施形態では、仮想カメラの位置と姿勢と画角とのことである。

本実施形態における撮影状況について図５を用いて説明する。図５の左側の図は、撮影対象領域１５０の周囲に配置されたカメラ１２０Ａ〜１２０Ｄと、仮想カメラ４０１と、による撮影の状況の一例が示されている。仮想カメラとは、仮想視点が示す位置に、仮想視点が示す姿勢で配置されたと仮定される仮想的な撮影部である。そのため、仮想視点画像に対応する仮想視点は、仮想カメラ４０１の位置姿勢であるとみなすことができる。画像処理システム１００は、仮想カメラ４０１を、撮影対象領域１５０を任意の位置から撮影可能なように配置できる。画像処理システム１００が生成する仮想視点画像は、仮想カメラ４０１から見える画像として生成された画像となる。そのため、仮想視点画像は、仮想カメラ４０１により撮影された画像ともみなすことができる。
仮想撮影領域４０２は、仮想カメラ４０１の撮影範囲を示す領域である。仮想カメラ４０１の撮影領域は、仮想視点から観察可能な領域の一例である。仮想撮影領域４０２は、仮想カメラ４０１の撮影条件（位置、姿勢、画角）により定まる領域であり、仮想視点画像として描画される領域である。領域決定部２０２は、仮想視点情報２０７から仮想カメラの撮影条件（位置、姿勢、画角）を特定する。そして、領域決定部２０２は、特定した仮想カメラ４０１の撮影条件に基づいて、仮想撮影領域４０２を特定する。
また、領域決定部２０２は、サーバ装置１１０から、仮想撮影領域４０２の情報を含む仮想視点情報２０７を取得することとしてもよい。その場合、領域決定部２０２は、仮想視点情報に含まれる仮想撮影領域４０２の情報から仮想撮影領域４０２を特定する。

矢印４０３は、仮想カメラ４０１の姿勢（仮想視点の方向）の変化を示す矢印である。領域決定部２０２は、仮想視点情報２０７に含まれる変化情報から、仮想カメラ４０１の位置、姿勢、画角がどのように変化するかを特定する。図５の例では、領域決定部２０２は、仮想カメラ４０１の姿勢（仮想視点の方向）が矢印４０３のように変化することを特定する。
画像処理システム１００は、仮想カメラ４０１に対して、任意の動き（位置、姿勢の変化）を行わせることができる。また、画像処理システム１００は、仮想カメラ４０１の画角の値を任意に変化させることができる。これにより、画像処理システム１００は、撮影対象領域１５０の中で自由に動き、画角を任意に変更可能な仮想カメラ４０１が撮影する仮想視点画像を提供することができる。
図５の右側の画像４０４は、仮想カメラ４０１により仮想的に撮影された画像（仮想視点から見た画像）である。矢印４０５は、矢印４０３が示す仮想カメラ４０１の姿勢の動きにより、仮想カメラ４０１により撮影される撮影範囲が変化する方向を示す。即ち、図５の例では、これから仮想カメラ４０１の姿勢が動くことで、仮想カメラ４０１の撮影領域は、より左側に変化することとなる。
オブジェクト４０６〜４０８それぞれは、注目対象のオブジェクトである。オブジェクト４０６〜４０８それぞれは、仮想視点画像を生成するにあたって三次元モデル化される対象となる。本実施形態では、サッカーを撮影対象としており、オブジェクト４０６〜４０８それぞれは、サッカー選手となる。図５の例では、画像４０４には、仮想カメラ４０１の位置や撮影領域により、オブジェクト４０６のみが映るようになる。

Ｓ３０３において、領域決定部２０２は、Ｓ３０２で取得した仮想視点情報２０７に基づいて、対応するカメラ１２０の撮影画像において、仮想視点画像の生成に用いられる利用領域の位置を決定する。Ｓ３０３で決定される利用領域の位置は、カメラ１２０の撮影画像におけるサーバ装置１１０への送信対象となる部分領域の位置となる。
図６（ａ）を用いて、Ｓ３０３の処理の一例について説明する。まず、仮想視点の変化情報を用いないこととする場合の処理について説明する。図６（ａ）は、図５に示す状況における仮想カメラ４０１とカメラ１２０Ａとの撮影領域の一例を示す図である。画像５０２は、カメラ１２０Ａの撮影画像である。領域５０１は、カメラ１２０Ａの撮影領域である。カメラ１２０Ａの撮影領域の情報は、予めカメラアダプタ１３０Ａの補助記憶装置１３３に記憶されているとする。領域決定部２０２は、予めカメラアダプタ１３０Ａの補助記憶装置１３３に記憶されているカメラ１２０Ａの撮影領域の情報に基づいて、領域５０１を特定する。領域決定部２０２は、領域５０１と仮想撮影領域４０２との共通領域を決定する。領域決定部２０２による領域５０１と仮想撮影領域４０２との共通領域を決定する処理は、領域決定処理の一例である。そして、領域決定部２０２は、画像５０２における決定した共通領域の位置、撮影条件の変化前の仮想カメラ４０１から見た仮想視点画像の生成に用いられる利用領域の位置として決定する。図６（ａ）の例では、領域決定部２０２は、領域５０３の位置を特定する。画像処理システム１００は、画像データ２０５における領域５０３の部分を用いることで、変化前の撮影条件の仮想カメラ４０１から見た仮想視点画像を生成することができることとなる。

しかし、領域５０３は、撮影条件が変化する前の仮想カメラ４０１の撮影領域と、カメラ１２０Ａの撮影領域と、の共通領域である。仮想カメラ４０１の位置、姿勢、画角の少なくとも何れか１つは、仮想視点情報２０７に含まれる変化情報が示すように変化することとなる。そのため、領域５０３は、撮影条件が変化した仮想カメラ４０１の撮影領域とカメラ１２０Ａの撮影領域との共通領域と同じとはならない。
このような、仮想カメラ４０１の撮影条件の変化に対応するために、本実施形態では、領域決定部２０２は、仮想視点情報に含まれる変化情報に基づいて、以下の処理を行う。即ち、領域決定部２０２は、仮想視点情報２０７に含まれる変化情報が示す撮影条件の変化後の仮想カメラ４０１の撮影領域と、カメラ１２０Ａの撮影領域と、の共通領域を決定する。決定された共通領域は、撮影条件変化後の仮想カメラ４０１の撮影領域とカメラ１２０Ａの撮影領域との共通領域の予測値とみなすことができる。そして、領域決定部２０２は、画像５０２における決定した共通領域の位置を、仮想カメラ４０１の撮影条件が変化した後の仮想視点画像の生成に用いられる部分が描画される利用領域の位置として決定する。図６（ａ）の例では、領域決定部２０２は、領域５０４の位置を利用領域の位置として決定する。
領域決定部２０２は、決定した領域５０３と領域５０４との位置の情報をデータ決定部２０３に出力する。

Ｓ３０４において、データ決定部２０３は、Ｓ３０１で取得された画像データ２０５における利用領域の部分（Ｓ３０３で決定された位置が示す領域５０３と領域５０４との部分）を、仮想視点画像の生成に用いられる生成用データとして決定する。より具体的には、データ決定部２０３は、画像データ２０５から切り取られた領域５０３の部分のデータと領域５０４の部分のデータとを、生成用データとして決定する。
Ｓ３０５において、送信部２０４は、Ｓ３０４で決定された生成用データを、送信データ２１０として、サーバ装置１１０に送信する。
以上、カメラアダプタ１３０Ａの処理について説明した。

また、本実施形態のカメラアダプタ１３０Ｂ〜１３０Ｄそれぞれは、図４を用いて説明したカメラアダプタ１３０Ａと同様の処理を行う。
図６（ｂ）を用いて、カメラアダプタ１３０Ｂが実行するＳ３０３の処理で決定される利用領域の一例について説明する。図６（ｂ）は、図５に示す状況における仮想カメラ４０１とカメラ１２０Ｂとの撮影領域の一例を示す図である。画像５０６は、カメラ１２０Ｂの撮影画像である。領域５０５は、カメラ１２０Ｂの撮影領域である。領域５０７は、撮影条件の変化前の仮想カメラ４０１の撮影領域とカメラ１２０Ｂの撮影領域との共通領域を示す。領域５０７は、仮想カメラ４０１の撮影条件の変化前の仮想視点画像の生成に用いられる利用領域である。領域５０８は、撮影条件の変化後の仮想カメラ４０１の撮影領域とカメラ１２０Ｂの撮影領域との共通領域を示す。領域５０８は、仮想カメラ４０１の撮影条件の変化後の仮想視点画像の生成に用いられる利用領域である。

図６（ｃ）を用いて、カメラアダプタ１３０Ｃが実行するＳ３０３の処理で決定される利用領域の一例について説明する。図６（ｃ）は、図５に示す状況における仮想カメラ４０１とカメラ１２０Ｃとの撮影領域の一例を示す図である。画像５１０は、カメラ１２０Ｃの撮影画像である。領域５０９は、カメラ１２０Ｃの撮影領域である。領域５１１は、撮影条件の変化前の仮想カメラ４０１の撮影領域とカメラ１２０Ｃの撮影領域との共通領域を示す。領域５１１は、仮想カメラ４０１の撮影条件の変化前の仮想視点画像の生成に用いられる利用領域である。領域５１２は、撮影条件の変化後の仮想カメラ４０１の撮影領域とカメラ１２０Ｃの撮影領域との共通領域を示す。領域５１２は、仮想カメラ４０１の撮影条件の変化後の仮想視点画像の生成に用いられる利用領域である。
図６（ｄ）を用いて、カメラアダプタ１３０Ｄが実行するＳ３０３の処理で決定される利用領域の一例について説明する。図６（ｄ）は、図５に示す状況における仮想カメラ４０１とカメラ１２０Ｄとの撮影領域の一例を示す図である。画像５１４は、カメラ１２０Ｄの撮影画像である。領域５１３は、カメラ１２０Ｄの撮影領域である。領域５１５は、撮影条件の変化前の仮想カメラ４０１の撮影領域とカメラ１２０Ｄの撮影領域との共通領域を示す。領域５０１３は、仮想カメラ４０１の撮影条件の変化前の仮想視点画像の生成に用いられる利用領域である。領域５１６は、撮影条件の変化後の仮想カメラ４０１の撮影領域とカメラ１２０Ｄの撮影領域との共通領域を示す。領域５１６は、仮想カメラ４０１の撮影条件の変化後の仮想視点画像の生成に用いられる利用領域である。

以上、本実施形態では、画像処理システム１００は、仮想カメラ４０１の撮影条件の変化情報に基づいて、撮影条件の変化後の仮想カメラ４０１の撮影領域と、カメラ１２０の撮影領域と、の共通領域を決定した。決定した共通領域は、撮影条件変化後の仮想カメラ４０１の撮影領域とカメラ１２０の撮影領域との共通領域の予測値である。そして、画像処理システム１００は、カメラ１２０の撮影画像における決定した共通領域の位置を、仮想視点画像の生成に用いられる利用領域の位置として決定した。これにより、画像処理システム１００は、カメラ１２０の撮影画像における決定した位置の領域を、利用領域としてサーバ装置１１０に送信できる。サーバ装置１１０は、撮影条件が変化した後の仮想カメラ４０１から見た仮想視点画像の生成に用いられるデータを取得できる。そのため、サーバ装置１１０は、撮影条件が変化した後の仮想カメラ４０１から見た仮想視点画像を適切に生成できる。このように、画像処理システム１００は、より適切な仮想視点画像の生成を支援することができる。
また、本実施形態では、画像処理システム１００は、撮影条件の変化前の仮想カメラ４０１の撮影領域と、カメラ１２０の撮影領域と、共通領域を決定した。そして、画像処理システム１００は、カメラ１２０の撮影画像における決定した共通領域の位置を、仮想視点画像の生成に用いられる利用領域の位置として決定した。これにより、画像処理システム１００は、撮影条件が変化する前の仮想カメラ４０１から見た仮想視点画像の生成に用いられるデータをサーバ装置１１０に送信できる。結果として、サーバ装置１１０は、撮影条件変化前の仮想カメラ４０１から見た仮想視点画像を生成できる。このように、画像処理システム１００は、仮想カメラ４０１の撮影条件の変化前と変化後とにおける適切な仮想視点画像を生成できる。
また、本実施形態の画像処理システム１００は、カメラ１２０により撮影された画像全体でなく、その画像における仮想視点画像の生成に用いられる領域のデータをサーバ装置１１０に送信することとした。これにより、画像処理システム１００は、通信帯域を節約できる。特に、各カメラアダプタ１３０がデイジーチェーン接続されている場合、通信帯域の逼迫が生じやすい。そのため、画像処理システム１００は、このような場合、通信帯域が逼迫する事態を防止するという顕著な効果を奏することができる。

＜実施形態２＞
仮想視点画像において、背景モデルが予め生成されている場合、背景モデルを新たに生成する必要はない。そのため、前景となる撮影対象のオブジェクトの３次元モデルのみを生成することが要望される場合がある。このような場合、仮想視点画像の生成に、画像における背景領域は用いられずに、その画像における前景領域となる撮影対象のオブジェクトの領域だけが用いられることとなる。
そこで、本実施形態では、画像処理システム１００は、カメラ１２０により撮影された画像における前景領域のデータを生成用データとしてサーバ装置１１０に送信する処理を行う。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。本実施形態の画像処理システム１００の各構成要素のハードウェア構成は、実施形態１と同様である。

図７は、実施形態２におけるカメラアダプタ１３０Ａの機能構成の一例を示す図である。カメラアダプタ１３０Ａは、取得部２０１、領域決定部２０２、前景抽出部６０１、データ決定部６０２、送信部６０３を含む。
取得部２０１、領域決定部２０２は、それぞれ図３を用いて説明した取得部２０１、領域決定部２０２と同様である。
前景抽出部６０１は、取得部２０１により取得された画像データ２０５内に含まれる前景領域を抽出する。画像の前景領域とは、画像において定められた背景領域と異なる領域である。本実施形態では、撮影対象がサッカーの試合であり、カメラ１２０により撮影された画像の背景領域は、その画像におけるサッカーの試合場（フィールド、観客席等）の領域である。また、その画像の前景領域は、その画像におけるサッカー選手、ボール、審判等の領域となる。
データ決定部６０２は、前景抽出部６０１により抽出された前景領域と、領域決定部２０２により決定された利用領域の位置と、に基づいて、生成用データを決定する。
送信部６０３は、データ決定部６０２により決定された生成用データをサーバ装置１１０に送信する。
本実施形態では、カメラアダプタ１３０Ｂ〜Ｄそれぞれの機能構成は、図７を用いて説明したカメラアダプタ１３０Ａの機能構成と同様である。

次に、本実施形態のカメラアダプタ１３０の処理について説明する。
図８は、本実施形態のカメラアダプタ１３０Ａの処理の一例を示すフローチャートである。図８のフローチャートは、実施形態１の図４と同様に１フレーム分の処理を示すフローチャートである。
Ｓ３０１〜Ｓ３０３の処理は、それぞれ図４と同様の処理である。

Ｓ７０１において、前景抽出部６０１は、Ｓ３０１で取得された画像データ２０５の前景領域を抽出する。前景抽出部６０１は、対応するカメラ１２０を介して一定時間かけて撮影した複数の画像から背景画像を生成し、その背景画像と、比較対象の画像データと、を比較し背景差分を行うことで、前景領域を抽出する。また、前景抽出部６０１は、予め定められた背景領域を用いて背景差分を行うことで前景領域を抽出してもよい。
図９（ａ）を用いて、Ｓ７０１で抽出された前景領域の一例について説明する。図９（ａ）は、図６（ａ）と同様に、図５に示す状況における仮想カメラ４０１とカメラ１２０Ａとの撮影領域の一例を示す図である。画像５０２は、カメラ１２０Ａにより撮影された画像である。Ｓ７０１の処理により、画像５０２内のオブジェクト４０６〜４０８の領域が前景領域として抽出される。

Ｓ７０２において、データ決定部６０２は、Ｓ７０１で抽出された前景領域と、Ｓ３０３で決定された利用領域の位置と、に基づいて、生成用データを決定する。データ決定部６０２は、この前景領域のうち利用領域に含まれている部分を生成用データとして決定する。
図９（ａ）の例では、データ決定部６０２は、画像５０２の内、領域５０３に含まれる前景領域を、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定する。即ち、データ決定部６０２は、オブジェクト４０６の全領域と、オブジェクト４０８の一部の領域と、を生成用データとして決定する。また、データ決定部６０２は、領域５０４の境界をまたいで存在するオブジェクト４０８については、画像５０２におけるオブジェクト４０８の全領域を、生成用データとして決定してもよい。また、データ決定部６０２は、画像５０２の内、領域５０４に含まれる前景領域を、仮想カメラ４０１の撮影条件の変化後における仮想視点画像の生成に用いられる生成用データとして決定する。
Ｓ７０３において、送信部６０３は、Ｓ７０２で決定された生成用データを、サーバ装置１１０に送信する。
以上、本実施形態のカメラアダプタ１３０Ａの処理について説明した。

また、本実施形態のカメラアダプタ１３０Ｂ〜１３０Ｄそれぞれは、図８を用いて説明したカメラアダプタ１３０Ａと同様の処理を行う。
図９（ｂ）を用いて、カメラアダプタ１３０Ｂが実行するＳ７０２の処理で決定される生成用データの一例について説明する。カメラアダプタ１３０Ｂのデータ決定部６０２は、画像５０６におけるオブジェクト４０６〜４０８の領域（前景領域）のうち、領域５０７に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｂのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｂ）の例では、画像５０６におけるオブジェクト４０６の全領域とオブジェクト４０７の一部の領域とのデータが、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定される。
カメラアダプタ１３０Ｂのデータ決定部６０２は、画像５０６における前景領域のうち、領域５０８に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｂのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化後における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｂ）の例では、画像５０６におけるオブジェクト４０６の全領域とオブジェクト４０７の全領域とのデータが、仮想カメラ４０１の撮影条件変化後の仮想視点画像の生成に用いられる生成用データとして決定される。

図９（ｃ）を用いて、カメラアダプタ１３０Ｃが実行するＳ７０２の処理で決定される生成用データの一例について説明する。カメラアダプタ１３０Ｃのデータ決定部６０２は、画像５１０におけるオブジェクト４０６〜４０８の領域（前景領域）のうち、領域５１１に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｃのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｃ）の例では、画像５１０におけるオブジェクト４０６の全領域とオブジェクト４０８の一部の領域とのデータが、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定される。
カメラアダプタ１３０Ｃのデータ決定部６０２は、画像５１０における前景領域のうち、領域５１２に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｃのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化後における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｃ）の例では、画像５１０におけるオブジェクト４０６の全領域とオブジェクト４０７の一部の領域とオブジェクト４０８の一部の領域とのデータが、仮想カメラ４０１の撮影条件変化後の仮想視点画像の生成に用いられる生成用データとして決定される。

図９（ｄ）を用いて、カメラアダプタ１３０Ｄが実行するＳ７０２の処理で決定される生成用データの一例について説明する。カメラアダプタ１３０Ｄのデータ決定部６０２は、画像５１４におけるオブジェクト４０６〜４０８の領域（前景領域）のうち、領域５１５に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｄのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｄ）の例では、画像５１４におけるオブジェクト４０６の全領域のデータが、仮想カメラ４０１の撮影条件の変化前における仮想視点画像の生成に用いられる生成用データとして決定される。
カメラアダプタ１３０Ｄのデータ決定部６０２は、画像５１４における前景領域のうち、領域５１６に含まれる領域のデータを特定する。そして、カメラアダプタ１３０Ｄのデータ決定部６０２は、特定したデータを、仮想カメラ４０１の撮影条件の変化後における仮想視点画像の生成に用いられる生成用データとして決定する。図９（ｄ）の例では、画像５１４におけるオブジェクト４０６の全領域とオブジェクト４０７の一部の領域とのデータが、仮想カメラ４０１の撮影条件変化後の仮想視点画像の生成に用いられる生成用データとして決定される。

以上、本実施形態では、画像処理システム１００は、仮想視点画像生成のためにサーバ装置１１０に伝送するデータを、カメラ１２０により撮影された画像の前景領域のみとすることとした。これにより、画像処理システム１００は、送信するデータ量をより低減することで、より通信帯域を節約できる。

＜実施形態３＞
本実施形態では、画像処理システム１００は、送信データ量の制限指示に応じて、カメラ１２０により撮影された画像の一部をサーバ装置１１０に送信する制御を行う処理を行う。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。本実施形態の画像処理システム１００の各構成要素のハードウェア構成は、実施形態１と同様である。

図１０は、本実施形態のカメラアダプタ１３０Ａの機能構成の一例を示す図である。カメラアダプタ１３０Ａは、取得部２０１、領域決定部２０２、データ決定部９０１、送信部９０２を含む。
取得部２０１、領域決定部２０２は、それぞれ図３を用いて説明した取得部２０１、領域決定部２０２と同様である。
データ決定部９０１は、サーバ装置１１０等の外部の装置から、制限情報９０３を取得する。制限情報９０３は、通信されるデータ量の制限を指示するための情報である。データ決定部９０１は、制限情報９０３に応じて、対応するカメラ１２０により撮影された画像の一部の領域のデータを、生成用データとして決定する。
送信部９０２は、データ決定部９０１により決定された生成用データをサーバ装置１１０に送信する。

図１１は、本実施形態のカメラアダプタ１３０Ａの処理の一例を示すフローチャートである。図１１のフローチャートの処理は、画像データ１フレーム分の処理である。
Ｓ３０１〜Ｓ３０３の処理は、図４のＳ３０１〜Ｓ３０３の処理と同様である。
Ｓ１００１において、データ決定部９０１は、外部の装置から取得した制限情報９０３に基づいて、送信データ量を制限する指示がなされたか否かを判定する。本実施形態では、制限情報９０３は、送信可能な画像データ１フレームあたりの送信データ量の制限量を示す情報を含む。データ決定部９０１は、Ｓ３０１で取得された画像データ２０５のデータサイズが、制限情報９０３が示す制限量よりも大きい場合、送信データ量を制限する指示がなされたと判定して、処理をＳ３０２に進める。データ決定部９０１は、画像データ２０５のデータサイズが、制限情報９０３が示す制限量以下の場合、送信データ量を制限する指示がなされていないと判定して、処理をＳ１００２に進める。
また、この制限情報９０３は、外部の装置から、カメラアダプタ１３０とサーバ装置１１０との間のデータ伝送量に応じて、外部の装置から送信されるものであり、時々刻々と送信される。各カメラアダプタ１３０は、その時々の制限情報９０３に従い、サーバ装置１１０に送信するデータのサイズを制限する。

Ｓ１００２において、データ決定部９０１は、Ｓ１００１で送信データ量が制限されないと判定した場合、Ｓ３０１で取得された画像データ２０５全体を、生成用データに決定する。また、データ決定部９０１は、Ｓ１００１で送信データ量が制限されると判定した場合、Ｓ３０１で取得された画像データ２０５におけるＳ３０３で決定された位置が示す利用領域のデータを、生成用データに決定する。
また、制限情報９０３が示す制限量が、画像データ２０５における利用領域のデータのサイズよりも小さい場合、このデータをサーバ装置１１０に送信することができない。そこで、この場合、データ決定部９０１は、画像データ２０５における利用領域のデータを圧縮し、圧縮したデータを生成用データとして決定してもよい。

図１２を用いて、画像データ２０５における利用領域のデータの圧縮の方法の一例について説明する。画像１１０１は、あるカメラ１２０により撮影された画像である。画像１１０１には、サッカーの試合中の３人の選手が撮影されている。領域１１０２は、Ｓ３０３で決定された画像１１０１における利用領域に対応する領域である。グラフ１１０４は、領域１１０２の横軸方向の圧縮後のデータサイズを示すグラフである。グラフ１１０５は、領域１１０２の縦軸方向の圧縮後のデータサイズを示すグラフである。
データ決定部９０１は、領域１１０２に含まれる一部の領域を、重要度が他の領域よりも高い重要領域１１０３として決定する。図１２の例では、データ決定部９０１は、領域１１０２の中心の矩形領域を重要領域１１０３として決定する。そして、データ決定部９０１は、領域１１０２中の重要領域１１０３における圧縮率が、領域１１０２中の重要領域１１０３以外の領域における圧縮率よりも小さくなるように、領域１１０２の部分のデータを圧縮する。図１２の例では、グラフ１１０４、１１０５に示されるように、重要領域１１０３における圧縮率が、その他の領域よりも低くなっている。また、重要領域１１０３以外の領域については、領域１１０２の中心から離れるほどに圧縮率が高くなるようになっている。

以上、本実施形態では、画像処理システム１００は、送信データ量が制限されている場合のみ、Ｓ３０２〜Ｓ３０３の処理を実行することとした。そのため、画像処理システム１００は、実行が不要な場合にＳ３０２〜Ｓ３０３の処理を行わないことで処理負担を軽減できる。

＜その他の実施形態＞
実施形態１〜３では、画像処理システム１００は、カメラ１２０を４台含むとしたが、３台以下の台数含むこととしてもよいし、５台以上含むこととしてもよい。
実施形態１〜３では、カメラ１２０Ａとカメラアダプタ１３０Ａとは、それぞれ異なるデバイスであるとした。しかし、カメラアダプタ１３０Ａがカメラ１２０Ａに組み込まれていることとしてもよい。その場合、カメラ１２０Ａが、カメラアダプタ１３０Ａと同様の機能、処理を実行することとなる。カメラ１２０Ｂとカメラアダプタ１３０Ｂとについても、同様に、カメラアダプタ１３０Ｂがカメラ１２０Ｂに組み込まれていることとしてもよい。カメラ１２０Ｃとカメラアダプタ１３０Ｃとについても、同様に、カメラアダプタ１３０Ｃがカメラ１２０Ｃに組み込まれていることとしてもよい。カメラ１２０Ｄとカメラアダプタ１３０Ｄとについても、同様に、カメラアダプタ１３０Ｄがカメラ１２０Ｄに組み込まれていることとしてもよい。

実施形態１〜３では、画像処理システム１００は、仮想カメラ４０１の撮影条件変化前の仮想視点画像の生成に用いられる生成用データと、仮想カメラ４０１の撮影条件変化後の仮想視点画像の生成に用いられる生成用データと、サーバ装置１１０に送信した。
しかし、例えば、サーバ装置１１０が生成用データを受信した時点において、仮想カメラ４０１の撮影条件が既に変化している場合があり得る。このような場合、撮影条件が変化する前の仮想カメラ４０１から見た仮想視点画像の生成が行われない。このような事態に対して、画像処理システム１００は、仮想カメラ４０１の撮影条件変化後の仮想視点画像の生成に用いられる生成用データのみをサーバ装置１１０に送信することとしてもよい。即ち、画像処理システム１００は、仮想視点情報２０７に含まれる変化情報に基づいて決定した利用領域のデータのみをサーバ装置１１０に送信することとしてもよい。

また、実施形態１〜３では、各カメラアダプタ１３０が、各カメラ１２０の撮影画像中における利用領域の位置を決定することとした。しかし、サーバ装置１１０が、各カメラ１２０の撮影画像中における利用領域の位置を決定することとしてもよい。その場合、サーバ装置１１０は、以下のような処理を実行する。
ＣＰＵ１１１は、仮想カメラ４０１の撮影条件（位置、姿勢、画角）の情報と、仮想カメラ４０１の撮影条件の変化情報と、を補助記憶装置１１３から取得する。補助記憶装置１１３は、予め仮想カメラ４０１の位置姿勢（仮想視点の位置及び方向）の情報と、仮想カメラ４０１の画角の情報と、仮想カメラ４０１の撮影条件の変化情報と、を記憶している。そして、ＣＰＵ１１１は、取得した仮想カメラ４０１の撮影条件の情報に基づいて、撮影条件の変化前の仮想カメラ４０１の撮影領域を特定する。ＣＰＵ１１１は、各カメラ１２０の撮影領域の情報を補助記憶装置１１３から取得し、取得した情報に基づいて、各カメラ１２０の撮影領域を特定する。補助記憶装置１１３は、予め、各カメラ１２０の撮影領域の情報を記憶している。そして、ＣＰＵ１１１は、特定した仮想カメラ４０１の撮影領域と、各カメラ１２０の撮影領域と、の共通領域を決定する。ＣＰＵ１１１は、各カメラ１２０の撮影画像の座標における決定した共通領域に対応する領域の位置を、仮想カメラ４０１の撮影条件の変化前の利用領域の位置として決定する。
また、ＣＰＵ１１１は、取得した仮想カメラ４０１の撮影条件の情報と変化情報とに基づいて、撮影条件の変化後の仮想カメラ４０１の撮影領域を特定する。ＣＰＵ１１１は、特定した仮想カメラ４０１の撮影領域と、各カメラ１２０の撮影領域と、の共通領域を決定する。ＣＰＵ１１１は、各カメラ１２０の撮影画像の座標における決定した共通領域に対応する領域の位置を、仮想カメラ４０１の撮影条件の変化後の利用領域の位置として決定する。

そして、ＣＰＵ１１１は、決定した利用領域の位置の情報を、各カメラ１２０に対応する各カメラアダプタ１３０に送信する。以上の処理により、各カメラアダプタ１３０は、Ｓ３０３で決定されるものと同様の利用領域の位置の情報を取得することができる。ＣＰＵ１１１は、各カメラアダプタ１３０に対する利用領域の位置の情報の送信後に、各カメラアダプタ１３０から各カメラ１２０の撮影画像における利用領域の画像を受信することとなる。
この場合、各カメラアダプタ１３０は、Ｓ３０２、Ｓ３０３の処理を実行しないこととなる。各カメラアダプタ１３０は、Ｓ３０４、Ｓ７０２、Ｓ１００２において、サーバ装置１１０から送信された利用領域の情報を用いて生成用データを決定することとなる。このように、サーバ装置１１０が、利用領域を決定し、その情報を各カメラアダプタ１３０に送信することで、各カメラアダプタ１３０におけるＳ３０２、Ｓ３０３の処理の実行に係る負担を軽減できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理システム１００の機能構成の一部又は全てをハードウェアとしてサーバ装置１１０、カメラアダプタ１３０等に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用した形態としたりしてもよい。

１００ 画像処理システム
１１０ サーバ装置
１３０ カメラアダプタ

Claims (14)

1. 仮想視点画像に対応する仮想カメラの位置、方向及び画角のうち少なくとも１つの変化を示す変化情報を取得する取得手段と、
   前記取得手段により取得された前記変化情報に基づいて、撮影部による撮影により取得される撮影画像において、送信対象の部分領域の位置を決定する位置決定手段と、
   を有する情報処理装置。
2. 前記部分領域の画像を外部装置に送信する送信手段を更に有する請求項１記載の情報処理装置。
3. 前記撮影画像における前景領域を抽出する抽出手段を更に有し、
   前記送信手段は、前記抽出手段により抽出された前記前景領域のうち、前記部分領域に含まれる領域の画像を前記外部装置に送信する請求項２記載の情報処理装置。
4. 前記送信手段は、送信データ量の制限指示を受け付けた場合に、前記部分領域の画像を前記外部装置に送信する請求項２又は３記載の情報処理装置。
5. 前記撮影部の撮影領域と、前記変化情報と、に基づいて、前記撮影領域において、仮想視点画像の生成に用いられる領域を決定する領域決定手段を更に有し、
   前記位置決定手段は、前記領域決定手段により決定された領域に対応した、前記撮影画像中の領域の位置を、前記部分領域の位置として決定する請求項１乃至４何れか１項記載の情報処理装置。
6. 前記情報処理装置は、前記撮影部の制御装置である請求項１乃至５何れか１項記載の情報処理装置。
7. 前記撮影部を更に有する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記部分領域の位置を示す情報を、前記撮影部の制御装置へ送信する送信手段を更に有する請求項１記載の情報処理装置。
9. 前記部分領域の位置を示す情報の送信後に、前記部分領域の画像を受信する受信手段を更に有する請求項８記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    仮想視点画像に対応する仮想カメラの位置、方向及び画角のうち少なくとも１つの変化を示す変化情報を取得する取得ステップと、
    前記取得ステップで取得された前記変化情報に基づいて、撮影部による撮影により取得される撮影画像において、送信対象の部分領域の位置を決定する位置決定ステップと、
    を含む情報処理方法。
11. 前記部分領域の画像を外部装置に送信する送信ステップを更に含む請求項１０記載の情報処理方法。
12. 前記撮影画像における前景領域を抽出する抽出ステップを更に含み、
    前記送信ステップでは、前記抽出ステップで抽出された前記前景領域のうち、前記部分領域に含まれる領域の画像を前記外部装置に送信する請求項１１記載の情報処理方法。
13. 前記送信ステップでは、送信データ量の制限指示を受け付けた場合に、前記部分領域の画像を前記外部装置に送信する請求項１１又は１２記載の情報処理方法。
14. コンピュータを、請求項１乃至９何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images