JP2020077997A - 画像処理装置、システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】適切に仮想視点画像の生成に係る画像データの送信の制御を行うことを目的とする。【解決手段】カメラアダプタ１２０は、自装置に対応するカメラ１１２により撮影された画像データを、複数のカメラ１１２それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる送信順位にしたがって、仮想視点画像に関する処理を行う画像サーバ装置２００に送信し、予め定められた送信期間が経過した際に、自装置に対応するカメラ１１２により撮影された画像データの送信が完了していない場合、その画像データの送信を中止する。【選択図】図８

Description

本発明は、画像処理装置、システム、情報処理方法及びプログラムに関する。

複数の撮影装置を異なる位置に設置して多視点で同期撮影し、得られた複数視点画像を用いて仮想視点画像を生成する技術がある。このようにして複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、この画像処理部にて、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現される。
また、複数の撮影装置により同期して撮影された複数の画像をサーバ等に送信し、送信先で送信された複数の画像を合成し、新たな画像を生成する技術がある。また、特許文献１では、複数のカメラから送信されるデータ量からネットワーク帯域の使用率を算出し、許容レベルを超える場合は一部のカメラの送信タイミングをずらしたり、データの順序を入れ替えたりして伝送帯域を効率的に使う手法が記載されている。

特開２０１２−１４７１０７号公報

しかしながら、特許文献１の技術では、複数の撮影装置からの送信データ量がネットワーク帯域を継続して越え続け、一部の撮影装置の送信タイミングを制御しても送信対象のデータがネットワーク帯域内に収められない場合がある。このため、送信されたデータを用いて処理を行う装置に対して、予め定められた送信期間内にその処理で用いる画像データが送信されなかったり、送信期間内に送信されなかった画像データがその処理に用いられないにもかかわらず、送信期間後に送信されたりする場合が生じる。
例えば、以下のような場合である。すなわち、撮影とほぼ同時に仮想視点画像を閲覧できるようにするために、ある定められた期間ごとに仮想視点画像を生成することが考えられる。その仮想視点画像の生成には、その期間に対応する送信期間ごとに送信された画像データが用いられることが考えられる。しかし、特許文献１の技術を用いて画像データの送信を行うと、仮想視点画像の画質に影響する画像データが送信期間内に送信されない可能性が生じる。さらに、送信期間内に送信されなかった画像データが、仮想視点画像の生成に用いられないにもかかわらず、送信期間後に送信されるという不要な送信が行われてしまう。
本発明は、適切に仮想視点画像の生成に係る画像データの送信の制御を行うことを目的とする。

本発明の一態様に係る画像処理装置は、送信期間内に送信された画像データに基づいて仮想視点画像に関する処理を行う生成装置に、前記画像データを送信する画像処理装置であって、複数の撮影手段による撮影に基づく複数の画像データのうち、前記画像処理装置に対応する撮影手段による撮影に基づく画像データを取得する取得手段と、前記取得手段により取得された画像データを、前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、前記生成装置に送信する送信手段と、前記送信期間が経過した際に、前記画像処理装置に対応する撮影手段による撮影に基づく画像データの送信が完了していない場合、当該画像データの送信を中止する中止手段と、
を有することを特徴とする。

本発明によれば、適切に仮想視点画像の生成に係る画像データの送信の制御を行うことができる。

画像処理システムのシステム構成の一例を示す図である。 コントローラ装置等のハードウェア構成の一例を示す図である。 カメラの配置状況の一例を示す図である。 カメラの優先度の一例を説明する図である。 送信のタイミングの一例を説明するタイミングチャートである。 コントローラ装置の処理の一例を示すフローチャートである。 トークンのフォーマットの一例を示す図である。 カメラアダプタの処理の一例を示すフローチャートである。 トークン生成処理の一例を説明する図である。 画像処理システムの処理の一例を示すフローチャートである。 送信順を設定するためのレジスタの一例を示す図である。 トークンのフォーマットの一例を示す図である。 送信のタイミングの一例を説明するタイミングチャートである。

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１を用いて、本実施形態の画像処理システム１００のシステム構成を説明する。画像処理システム１００は、カメラ１１２ａ−１１２ｈ、カメラアダプタ１２０ａ−１２０ｈ、スイッチングハブ１８０、画像サーバ装置２００、タイムサーバ装置２９０、コントローラ装置３００を含む。カメラ１１２ａ−１１２ｈそれぞれは、予め定められた環境（例えば、競技場（スタジアム）やコンサートホール等の施設）における異なる位置に配置されている。画像処理システム１００は、カメラ１１２ａ−１１２ｈを用いて同期して撮影された画像から仮想視点画像（仮想的な視点から見た画像）を生成するシステムである。以下では、カメラ１１２ａ−１１２ｈによる同期した撮影を、同期撮影とする。
以下では、カメラ１１２ａ−１１２ｈを、適宜カメラ１１２と総称する。また、同様に以下では、カメラアダプタ１２０ａ−１２０ｈを、適宜カメラアダプタ１２０と総称する。また、カメラ１１２とカメラアダプタ１２０は、同一の装置であってもよいし、別の装置であってもよい。
なお、本実施形態では、特に断りがない限り、画像には、動画と静止画とが含まれるものとする。本実施形態のカメラ１１２ａ−１１２ｈそれぞれは、静止画及び動画の何れについても撮影できる。

スイッチングハブ１８０は、ネットワークを介した通信の中継を行う装置である。スイッチングハブ１８０は、コントローラ装置３００、画像サーバ装置２００、タイムサーバ装置２９０、カメラアダプタ１２０ａ、カメラアダプタ１２０ｈそれぞれと接続されている。また、カメラアダプタ１２０ａ−１２０ｈは、デイジーチェーン接続されている。また、カメラ１１２ａ−１１２ｈは、それぞれカメラアダプタ１２０ａ−１２０ｈと接続されている。
また、カメラアダプタ１２０ａ−１２０ｈは、デイジーチェーン接続されていないこととしてもよい。例えば、カメラアダプタ１２０ａ−１２０ｈは、それぞれスイッチングハブ１８０に接続されることしてもよい。その場合、スイッチングハブ１８０を経由してカメラアダプタ１２０ａ−１２０ｈ間のデータ送受信を行うスター型のネットワークが構成される。

カメラ１１２は、レンズ、光学素子等を含み画像の撮影を行うカメラである。カメラアダプタ１２０は、対応するカメラ１１２の制御、撮影画像の取得、同期信号の提供、時刻設定等を行うアダプタである。カメラアダプタ１２０は、画像処理装置の一例である。カメラ１１２は、撮影部の一例である。カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整等がある。
同期信号とは、カメラ１１２ａ−１１２ｈそれぞれに対して同期したタイミングでの撮影を指示するための信号である。カメラ１１２ａ−１１２ｈは、受け付けた同期信号に応じたタイミングで、撮影を行うことで、同一のタイミングで同期して撮影することができる。カメラアダプタ１２０は、タイムサーバ装置２９０と同期した時刻に基づいて決定した撮影タイミング（制御クロック）を、同期信号として、対応するカメラ１１２に提供する。
カメラアダプタ１２０それぞれは、タイムサーバ装置２９０と同期した時刻を、ＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで、対応するカメラ１１２に提供する。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。

画像サーバ装置２００は、カメラ１１２により同一のタイミングで同期して撮影された複数の画像から仮想視点画像を生成する情報処理装置である。タイムサーバ装置２９０は、時刻情報を外部の装置に対して提供する情報処理装置である。なお、画像サーバ装置２００は、カメラ１１２により同一のタイミングで同期して撮影された複数の画像からオブジェクトの３次元形状データを生成してもよい。そして、画像サーバ装置２００は、その３次元形状データと仮想視点の位置や方向を示す情報とに基づいて仮想視点画像を生成する。また、画像サーバ装置２００は、オブジェクトの３次元形状データの生成モジュールと、仮想視点画像を生成するモジュールが分かれていてもよいし、それらの機能が１つのモジュールに搭載されていてもよい。
コントローラ装置３００は、ネットワークを介して、カメラアダプタ１２０それぞれに制御信号を送ることで、カメラ１１２それぞれを制御する情報処理装置である。コントローラ装置３００は、制御装置の一例である。コントローラ装置３００は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等である。また、コントローラ装置３００は、ネットワークを介して、カメラ１１２それぞれが撮影した画像データを画像サーバ装置２００に送信するよう制御する。また、コントローラ装置３００は、画像サーバ装置２００から選択した画像データを取り出す。
なお、画像データは、カメラ１１２が撮影した撮影画像を例にして以下では説明するが、これに限られない。本実施形態における画像データは、撮影画像を基に、カメラアダプタ１２０で前景背景分離処理が行われ生成された前景データや背景データであってもよい。ここで、前景データは、動体などのオブジェクトの領域を示す画像データである。背景は、前景とは異なる領域を示す画像データである。

図２（ａ）は、コントローラ装置３００のハードウェア構成の一例を示す図である。コントローラ装置３００は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、ネットワークＩ／Ｆ２０４を含む。各要素は、システムバス２０５を介して相互に通信可能に接続されている。
ＣＰＵ２０１は、コントローラ装置３００を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリア、データの一時的な記憶領域等として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置２０３は、各種プログラム、各種設定情報等を記憶する記憶装置である。補助記憶装置２０３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。ネットワークＩ／Ｆ２０４は、カメラアダプタ１２０等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ２０１が、補助記憶装置２０３に記憶されたプログラムにしたがって処理を実行することで、コントローラ装置３００の機能、図６のフローチャートの処理等が実現される。

図２（ｂ）は、カメラアダプタ１２０ａのハードウェア構成の一例を示す図である。カメラアダプタ１２０ａは、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、デバイスＩ／Ｆ２１４、ネットワークＩ／Ｆ２１５を含む。各要素は、システムバス２１６を介して相互に通信可能に接続されている。
ＣＰＵ２１１は、カメラアダプタ１２０ａを制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶領域等として機能するＲＡＭ等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定情報等を記憶する、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶装置である。デバイスＩ／Ｆ２１４は、カメラ１１２等の外部のデバイスとの接続に用いられるインターフェースである。ネットワークＩ／Ｆ２１５は、画像サーバ装置２００、コントローラ装置３００等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムにしたがって処理を実行することで、カメラアダプタ１２０ａの機能、図８のフローチャートの処理等が実現される。

また、本実施形態では、カメラアダプタ１２０ｂ−１２０ｈそれぞれのハードウェア構成は、図２（ｂ）に示すカメラアダプタ１２０ａのハードウェア構成と同様であるとする。
カメラアダプタ１２０ｂ−１２０ｈそれぞれのＣＰＵが、カメラアダプタ１２０ｂ−１２０ｈそれぞれの補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、以下の機能、処理が実現される。即ち、カメラアダプタ１２０ｂ−１２０ｈそれぞれの機能、カメラアダプタ１２０ｂ−１２０ｈそれぞれによる図８のフローチャートの処理と同様の処理等が実現される。

図３は、本実施形態におけるカメラ１１２ａ−１１２ｈの設置例を示す図である。図３の例では、カメラ１１２ａ、１１２ｃ、１１２ｅ、１１２ｇは、何れも光軸が同一の注視点６３０２を向くように設置されている。また、カメラ１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈは、光軸が同一の注視点６３０３を向くように設置される。なお、本実施形態はこれに限られない。つまり、各カメラの光軸が同一の注視点に向けられていない場合においても、本実施形態を適用することができる。
図４は、カメラ１１２ａ−１１２ｈそれぞれの優先度の一例を説明する図である。カメラの優先度とは、対応するカメラにより撮影される画像の仮想視点画像の生成における重要度を示す指標である。カメラ１１２ａ−１１２ｈそれぞれの優先度は、例えば、シーン毎に、カメラが注視点６３０２、６３０３のどちらを向いているか、どの方向からの画像が重要か等の指標に基づいて決定される。図４の例では、カメラ１１２ａ−１１２ｈを、優先度の高い順に並べると、カメラ１１２ｅ、１１２ｇ、１１２ｃ、１１２ａ、１１２ｆ、１１２ｈ、１１２ｄ、１１２ｂとなる。即ち、カメラ１１２ｅの優先度が最も高く、カメラ１１２ｂの優先度が最も低い。

図５は、本実施形態のカメラ１１２ａ−１１２ｈによる同期撮影、及びフレームデータの送信のタイミングの一例を説明するタイミングチャートである。フレームデータとは、１台のカメラ１１２により撮影される１フレーム分の画像データである。以下では、カメラ１１２それぞれにより同期して撮影された一群のフレームデータを、同期フレームデータ群とする。図５のチャートが示すように、同期信号がカメラ１１２に入力されたことに応じて、カメラ１１２それぞれにより同期した撮影が行われ、同期フレームデータ群が取得される。
図５に示す同期フレームデータ群Ｎは、タイミングＮにおいて得られた複数のフレームデータの同期フレームデータ群である。同様に、同期フレームデータ群Ｎ＋１〜Ｎ＋６は、それぞれタイミングＮ＋１〜タイミングＮ＋６に得られた複数のフレームデータの同期フレームデータ群である。カメラ１１２ａ−１１２ｈは、１フレームの画像の撮影期間の間に同期撮影を行う。そして、カメラアダプタ１２０ａ−１２０ｈは、対応するカメラ１１２で撮影されたフレームデータを、補助記憶装置２１３に記憶する。そして、カメラ１１２ａ−１１２ｈが次のフレームの同期撮影を行っている間に、カメラアダプタ１２０ａ−１２０ｈそれぞれは、送信を指示するトークンを受信し、送信の指示を受付けた後で、記憶したフレームデータを画像サーバ装置２００に送信する。トークンとは、データの送信を行う権利を示す情報である。即ち、カメラアダプタ１２０ａ−１２０ｈのうちトークンを受信しているカメラアダプタが、フレームデータを送信する権利を有することとなる。
カメラアダプタ１２０ａ−１２０ｈそれぞれは、図５に示す同期フレームデータ群Ｎ＋３、Ｎ＋４、Ｎ＋５のように、同期フレームデータ群の送信期間として予め定められた期間内にトークンを受信できなかった場合、フレームデータの送信を中止する。本実施形態では、カメラアダプタ１２０ａ−１２０ｈそれぞれは、記憶したフレームデータを破棄することで、フレームデータの送信を中止する。

図６を用いて、コントローラ装置３００がカメラアダプタ１２０ａ−１２０ｈの何れかにトークンを送信する処理について説明する。カメラ１１２ａ−１１２ｈそれぞれは、内部で管理している時刻情報がタイムサーバ装置２９０と同期されている。カメラ１１２ａ−１１２ｈそれぞれは、カメラアダプタ１２０ａ−１２０ｈそれぞれから指定された同一時刻において撮影を行うことで、同期して撮影する。カメラアダプタ１２０ａ−１２０ｈそれぞれは、同期フレームデータ群のフレームデータそれぞれを画像サーバ装置２００に送信する。
Ｓ４０１において、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈにより処理時点よりも過去に同期して撮影された複数のフレームデータのうち最も新しい複数のフレームデータを、画像サーバ装置２００から取得する。そして、ＣＰＵ２０１は、取得した複数のフレームデータに基づいて、カメラ１１２ａ−１１２ｈの撮影シーンを解析し、カメラ１１２ａ−１１２ｈの優先度を決定する。ＣＰＵ２０１は、例えば、カメラ１１２ａ−１１２ｈの撮影シーンを特定し、特定した撮影シーンにおけるオブジェクトの位置に近い程、優先度を高くするように、カメラ１１２ａ−１１２ｈの優先度を決定する。本実施形態では、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈの優先度として、図４に示す優先度を決定する。

Ｓ４０２において、ＣＰＵ２０１は、Ｓ４０１で決定したカメラ１１２ａ−１１２ｈの優先度に基づいて、カメラ１１２ａ−１１２ｈにより同期して撮影された複数のフレームデータそれぞれの送信の順位を決定する。以下では、この決定された順位を送信順位とする。ＣＰＵ２０１は、優先度が高いカメラにより撮影されたフレームデータ程、順位が高くなるように、送信順位を決定する。そして、ＣＰＵ２０１は、決定した送信順位の情報に基づいてトークンを生成する。
図７を用いて、Ｓ４０２で生成されるトークンについて説明する。トークンは、送信元アドレス、送信先アドレス、ペイロードデータを含む。
ＣＰＵ２０１は、送信元アドレスがコントローラ装置３００のアドレスとなり、送信先アドレスが送信順位の最も高いフレームデータに対応するカメラアダプタ１２０ｅのアドレスとなるトークンを生成する。また、ＣＰＵ２０１は、トークン内のペイロードデータに、送信順位が２番目以降のフレームデータに対応するカメラアダプタ１２０のアドレスを送信順位順に連結したアドレス情報を含ませる。

Ｓ４０３において、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈによる同期した撮影が開始されたことを示す情報を、カメラアダプタ１２０ａ−１２０ｈ全てから受信したか否かを判定する。ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈによる同期した撮影が開始されたことを示す情報を、カメラアダプタ１２０ａ−１２０ｈそれぞれから受信したと判定した場合、処理をＳ４０４に進める。また、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈによる同期した撮影が開始されたことを示す情報を、カメラアダプタ１２０ａ−１２０ｈ全てからは受信していないと判定した場合、Ｓ４０３の処理を繰り返す。
Ｓ４０４において、ＣＰＵ２０１は、Ｓ４０１で決定した優先度が最も高いカメラ１１２ｅに対応するカメラアダプタ１２０ｅに対して、Ｓ４０２で生成したトークンを送信する。

図８を用いて、図６のＳ４０４でトークンを送信されたカメラアダプタ１２０ｅがフレームデータを画像サーバ装置２００に送信する処理について説明する。
Ｓ５０１において、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始されたか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始されたと判定した場合、同期撮影により対応するカメラ（カメラ１１２ｅ）により撮影されたフレームデータを取得し、処理をＳ５０２に進める。また、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始されていないと判定した場合、Ｓ５０１の処理を繰り返す。
Ｓ５０２において、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影により撮影された同期フレームデータ群の送信期間として予め定められた期間を経過したか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、送信期間を経過したと判定した場合、処理をＳ５０３に進め、経過していないと判定した場合、処理をＳ５０４に進める。

Ｓ５０３において、カメラアダプタ１２０ｅのＣＰＵは、Ｓ５０１で取得したフレームデータを破棄し、このフレームデータの送信を中止する。また、カメラアダプタ１２０ｅのＣＰＵは、受信したトークンも破棄する。
Ｓ５０４において、カメラアダプタ１２０ｅのＣＰＵは、トークンを受信しているか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、トークンを受信していると判定した場合、処理をＳ５０５に進め、受信していないと判定した場合、処理をＳ５０２に進める。
Ｓ５０５において、カメラアダプタ１２０ｅのＣＰＵは、Ｓ５０１で取得したフレームデータを画像サーバ装置２００へ送信する。

Ｓ５０６において、カメラアダプタ１２０ｅのＣＰＵは、Ｓ５０４で受信したと判定したトークンに基づいて、次の送信順位のフレームデータに対応するカメラアダプタに送信するトークンを生成する。
図９を用いて、カメラアダプタ１２０ｅのＣＰＵがＳ５０６で生成するトークンについて説明する。カメラアダプタ１２０ｅのＣＰＵは、生成したトークンにおける送信元アドレスをカメラアダプタ１２０ｅのアドレスとする。また、カメラアダプタ１２０ｅのＣＰＵは、生成したトークンにおける送信先アドレスを、送信順位が第２位に対応するカメラアダプタ１２０ｇのアドレスとする。カメラアダプタ１２０ｅが受信したトークンのペイロードデータは、送信順位第２位以降のカメラアダプタのアドレスを含んでいる。カメラアダプタ１２０ｅのＣＰＵは、このペイロードデータから送信順位第２位であるカメラアダプタ１２０ｇのアドレスを取り出し、生成するトークンの送信先アドレスとする。また、カメラアダプタ１２０ｅのＣＰＵは、受信したトークンのペイロードデータから送信順位第２位であるカメラアダプタ１２０ｇのアドレスを削除したデータを、生成するトークンのペイロードデータとする。
Ｓ５０７において、カメラアダプタ１２０ｅのＣＰＵは、Ｓ５０６で生成したトークンを次の送信順位（送信順位第２位）であるカメラアダプタ１２０ｇに送信し、処理をＳ５０１に進める。

カメラアダプタ１２０ａ−１２０ｄ、１２０ｆ−１２０ｈそれぞれの処理については、図８を用いて説明したカメラアダプタ１２０ｅの処理と同様の処理である。
ただし、カメラアダプタ１２０のＣＰＵは、トークンを受信していない場合、Ｓ５０３で、トークンの破棄を行わない。また、カメラアダプタ１２０のＣＰＵは、Ｓ５０６で、以下のようなトークンを生成する。即ち、送信元アドレスが自己のアドレスであり、送信先アドレスが次の送信順位に対応するカメラアダプタ１２０のアドレスであるトークンである。また、このトークンのペイロードは、受信したトークンのペイロードから次の送信順位に対応するカメラアダプタ１２０のアドレスを削除したデータとなる。

以上、本実施形態の画像処理システム１００は、カメラ１１２ａ−１１２ｈにより同期撮影されたフレームデータのうち、カメラ１１２ａ−１１２ｈの優先度に応じた送信順位の高いフレームデータから送信する。また、画像処理システム１００は、予め定められた期間が経過した際には、未送信のフレームデータの送信を中止する。このようにすることで、画像処理システム１００は、重要なフレームデータを優先的に送信でき、かつ、予め定められた期間が経過した際に未送信のフレームデータの送信を中止することで伝送帯域が逼迫することを防止できる。これにより、画像処理システム１００は、カメラ１１２ａ−１１２ｈにより同期して撮影される画像から合成される仮想視点画像の品質の劣化を低減できる。

＜実施形態２＞
本実施形態では、カメラ１１２ａ−１１２ｈの優先度とフレームデータのデータタイプの優先度とに応じた送信順位でフレームデータの送信を行う処理について説明する。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。また、画像処理システム１００の各要素のハードウェア構成についても、実施形態１と同様である。

本実施形態では、ＣＰＵ２０１は、Ｓ４０１と同様の処理で決定したカメラ１１２ａ−１１２ｈそれぞれの優先度を決定する。本実施形態では、カメラ１１２ａ−１１２ｈの優先度は、実施形態１と同様に図４に示される優先度である。また、ＣＰＵ２０１は、フレームデータのデータタイプごとの優先度を決定する。データタイプとは、フレームデータの種類を示す情報であり、本実施形態では、前景データと背景データとがある。ＣＰＵ２０１は、フレームデータのデータタイプごとの優先度を、予め定められた優先度に決定する。本実施形態では、ＣＰＵ２０１は、前景データの優先度を背景データの優先度よりも高く決定する。
そして、ＣＰＵ２０１は、対応するカメラアダプタ１２０のアドレスと関連づけられたカメラ１１２ａ−１１２ｈそれぞれの優先度と、フレームデータのデータタイプごとの優先度と、の情報を、カメラアダプタ１２０ａ−１２０ｈに通知する。そして、ＣＰＵ２０１は、この通知により、カメラアダプタ１２０ａ−１２０ｈに対して、データタイプの優先度が高いフレームデータから順に、カメラ１１２ａ−１１２ｈの優先度に応じた順位で送信を行うよう指示する。即ち、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈそれぞれの優先度と、フレームデータのデータタイプごとの優先度と、を決定することで、フレームデータの送信順位を決定する。

図１０を用いて、優先度の最も高いカメラアダプタ１２０ｅのフレームデータ送信処理について説明する。
Ｓ９０１において、カメラアダプタ１２０ｅのＣＰＵは、コントローラ装置３００からの通知に含まれる情報をカメラアダプタ１２０ｅのレジスタに記憶する。より具体的には、カメラアダプタ１２０ｅのＣＰＵは、対応するカメラアダプタ１２０のアドレスと関連づけられたカメラ１１２ａ−１１２ｈそれぞれの優先度と、データタイプごとの優先度と、の情報をレジスタに記憶する。
図１１は、カメラアダプタ１２０ｅのレジスタに記憶されるカメラ１１２ａ−１１２ｈそれぞれの優先度と、データタイプごとの優先度と、の情報の一例を示す図である。カメラアダプタ１２０ｅのＣＰＵは、レジスタに記憶されたこれらの情報に基づいて、送信するフレームデータを決定したり、他のカメラアダプタ１２０に対してフレームデータの送信指示を行ったりする。

Ｓ９０２において、カメラアダプタ１２０ｅのＣＰＵは、接続されたカメラ１１２の優先度が１位であるか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、接続されたカメラ１１２の優先度が１位であると判定した場合、処理をＳ９０３に進め、１位でないと判定した場合、処理をＳ９０７に進める。本実施形態では、カメラアダプタ１２０ｅに接続されたカメラ１１２ｅの優先度が１位なので、カメラアダプタ１２０ｅのＣＰＵは、処理をＳ９０３に進めることとなる。
Ｓ９０３において、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始しているか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始していると判定した場合、処理をＳ９０４に進め、開始していないと判定した場合、Ｓ９０３の処理を繰り返す。
Ｓ９０４において、カメラアダプタ１２０ｅのＣＰＵは、同期撮影においてカメラ１１２ｅにより撮影された優先度が１位のデータタイプのフレームデータ（前景データ）を画像サーバ装置２００へ送信する。

Ｓ９０５において、カメラアダプタ１２０ｅのＣＰＵは、次の送信順位のカメラアダプタ１２０ｇに送信するためのトークンを生成する。
カメラアダプタ１２０ｅのＣＰＵは、Ｓ９０５で、図１２に示すフォーマットのトークンを生成する。このトークンは、送信元アドレス、送信先アドレス、送信するデータタイプを含む。カメラアダプタ１２０ｅのＣＰＵは、このトークンの送信元アドレスをカメラアダプタ１２０ｅのアドレスとして、送信先アドレスを優先度２位のカメラアダプタ１２０ｇのアドレスとして、データタイプを前景データの情報とする。
Ｓ９０６において、カメラアダプタ１２０ｅのＣＰＵは、カメラアダプタ１２０ｇにトークンを送信し、処理をＳ９０８に進める。

Ｓ９０７において、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始しているか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影が開始していると判定した場合、処理をＳ９０８の処理に進め、開始していないと判定した場合、Ｓ９０７の処理を繰り返す。
Ｓ９０８において、カメラアダプタ１２０ｅのＣＰＵは、カメラ１１２ａ−１１２ｈによる同期撮影により撮影された同期フレームデータ群の送信期間として予め定められた期間を経過したか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、送信期間を経過したと判定した場合、処理をＳ９０９に進め、経過していないと判定した場合、処理をＳ９１０に進める。
Ｓ９０９において、カメラアダプタ１２０ｅのＣＰＵは、フレームデータの送信を中止し、フレームデータを破棄し、処理をＳ９０７に進める。

Ｓ９１０において、カメラアダプタ１２０ｅのＣＰＵは、他のカメラアダプタ１２０からトークンを受信したか否かを判定する。カメラアダプタ１２０ｅのＣＰＵは、他のカメラアダプタ１２０からトークンを受信したと判定した場合、処理をＳ９１１に進め、受信していないと判定した場合、処理をＳ９０８に進める。本実施形態では、カメラアダプタ１２０ｅのＣＰＵは、他のカメラアダプタから背景データのフレームデータの送信を指示するトークンを受信することとなる。
Ｓ９１１において、カメラアダプタ１２０ｅのＣＰＵは、受信したトークンに対応するフレームデータを画像サーバ装置２００へ送信する。

Ｓ９１２において、カメラアダプタ１２０ｅのＣＰＵは、次の送信順位のカメラアダプタ１２０に送信するための図１２に示すフォーマットのトークンを生成する。カメラアダプタ１２０ｅのＣＰＵは、対応するカメラ１１２の優先度が自己よりも１つ低いカメラアダプタを特定する。そして、カメラアダプタ１２０ｅのＣＰＵは、生成するトークンの送信先アドレスを、特定したカメラアダプタのアドレスとする。また、カメラアダプタ１２０ｅのＣＰＵは、カメラアダプタ１２０ａ−１２０ｈ全てについて送信が完了していないデータタイプのフレームデータのうち、最も優先度が高いデータタイプを特定する。そして、カメラアダプタ１２０ｅのＣＰＵは、生成するトークンのデータタイプを、特定したデータタイプの情報とする。
本実施形態では、カメラアダプタ１２０ｅのＣＰＵは、送信元アドレスがカメラアダプタ１２０ｅのアドレスであり、送信先アドレスを優先度２位のカメラアダプタ１２０ｇのアドレスであり、データタイプが背景データの情報となるトークンを生成する。
Ｓ９１３において、カメラアダプタ１２０ｅのＣＰＵは、Ｓ９１２で生成したトークンを送信先に送信する。

本実施形態では、カメラアダプタ１２０ａ−１２０ｄ、１２０ｆ−１２０ｈそれぞれは、図１０で説明した処理と同様の処理を実行する。ただし、本実施形態では、カメラアダプタ１２０ａ−１２０ｄ、１２０ｆ−１２０ｈは、優先度が１位でないため、Ｓ９０３〜Ｓ９０６の処理を実行しない。

以上、本実施形態の処理により、画像処理システム１００は、送信対象のフレームデータのデータタイプの優先度を考慮した上で重要なフレームデータを優先的に送信できる。これにより、画像処理システム１００は、より適切に同期撮影された画像から合成される仮想視点画像の品質の低下を低減できる。

本実施形態では、画像処理システム１００は、カメラ１１２ａ−１１２ｈの優先度とフレームデータのデータタイプの優先度とに応じた送信順位でフレームデータの送信を行うこととした。ただし、画像処理システム１００は、カメラ１１２ａ−１１２ｈの優先度を用いずに、フレームデータのデータタイプの優先度に応じた送信順位でフレームデータの送信を行うこととしてもよい。
例えば、画像処理システム１００は、フレームデータのデータタイプの優先度を決定して、決定したフレームデータのデータタイプの優先度の情報をカメラアダプタ１２０ａ−１２０ｈそれぞれに通知する。そして、この場合、カメラアダプタ１２０ａ―１２０ｈそれぞれは、カメラアダプタ１２０ａ―１２０ｈの順に巡回させるように、トークンの送受信を行う。

より具体的には、まず、カメラアダプタ１２０ａのＣＰＵは、送信対象のフレームデータのうち、優先度が最も高いフレームデータの送信を行う。そして、カメラアダプタ１２０ａのＣＰＵは、送信を指示するトークンをカメラアダプタ１２０ｂに送信する。次に、カメラアダプタ１２０ｂのＣＰＵが、優先度が最も高いフレームデータの送信を行い、トークンをカメラアダプタ１２０ｃに送信する。そして、カメラアダプタ１２０ｈのＣＰＵは、トークンを受信し、優先度が最も高いフレームデータの送信を行った際に、カメラアダプタ１２０ａに対してトークンを送信する。
カメラアダプタ１２０ａのＣＰＵは、カメラアダプタ１２０ｈからトークンを受信した場合、未送信のフレームデータのうち、最も優先度が高いフレームデータの送信を行い、トークンをカメラアダプタ１２０ｂに送信する。カメラアダプタ１２０ｂ−１２０ｈも同様の処理を行う。
画像処理システム１００は、以上のような処理を繰り返すことで、フレームデータのデータタイプの優先度のみに応じた送信順位でフレームデータの送信を行うこととしてもよい。
ただし、カメラアダプタ１２０ａ―１２０ｈそれぞれは、カメラアダプタ１２０ａ―１２０ｈの順と異なる予め定められた順に巡回させるように、トークンの送受信を行ってもよい。

＜実施形態３＞
本実施形態では、過去のフレームデータの送信状況に基づいて、同期フレームデータ群の各フレームデータの送信順位を調整する処理を説明する。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。また、画像処理システム１００の各要素のハードウェア構成についても、実施形態１と同様である。

本実施形態では、ＣＰＵ２０１は、送信対象となる同期フレームデータ群の１つ前にカメラ１１２ａ−１１２ｈにより撮影された同期フレームデータ群（以下では、過去フレームデータ群とする）の送信状況を特定する。そして、ＣＰＵ２０１は、特定した送信状況に基づいて、カメラ１１２ａ−１１２ｈそれぞれの優先度と、フレームデータのデータタイプそれぞれの優先度と、を決定する。過去フレームデータ群のフレームデータそれぞれは、過去画像データの一例である。
ＣＰＵ２０１は、画像サーバ装置２００から過去フレームデータ群のうち、送信されたフレームデータと送信が中止されたフレームデータとの情報を取得することで、過去フレームデータ群の送信状況を把握する。
ＣＰＵ２０１は、過去フレームデータ群のうち送信が中止されたフレームデータに対応するカメラ１１２の優先度が、送信が行われたフレームデータに対応するカメラ１１２の優先度よりも高くなるように、カメラ１１２ａ−１１２ｈそれぞれの優先度を決定する。

また、ＣＰＵ２０１は、過去フレームデータ群のうちどのデータタイプのフレームデータがカメラ１１２ａ−１１２ｈ全てについて送信が完了しているかを特定する。ＣＰＵ２０１は、過去フレームデータ群のうちどのデータタイプのフレームデータが、送信が中止されたかを特定する。そして、ＣＰＵ２０１は、送信が中止されたフレームデータのデータタイプの優先度を、カメラ１１２ａ−１１２ｈ全てについて送信が完了しているフレームデータのデータタイプの優先度よりも高くなるように、データタイプそれぞれの優先度を決定する。
本実施形態では、過去フレームデータ群において前景データのフレームデータは、カメラ１１２ａ−１１２ｈ全てについて送信が完了しているとする。また、過去フレームデータ群において背景データのフレームデータには、送信が中止されたフレームデータも含まれるとする。そのため、ＣＰＵ２０１は、背景データの優先度を、前景データの優先度よりも高く決定する。

そして、ＣＰＵ２０１は、対応するカメラアダプタのアドレスと関連付けられたカメラ１１２ａ−１１２ｈそれぞれの優先度と、フレームデータのデータタイプごとの優先度と、の情報を、カメラアダプタ１２０ａ−１２０ｈに通知する。そして、ＣＰＵ２０１は、この通知により、カメラアダプタ１２０ａ−１２０ｈに対して、データタイプの優先度が高いフレームデータから順に、カメラ１１２ａ−１１２ｈの優先度に応じた順位で送信を行うよう指示する。即ち、ＣＰＵ２０１は、カメラ１１２ａ−１１２ｈそれぞれの優先度と、フレームデータのデータタイプごとの優先度と、を決定することで、フレームデータの送信順位を決定する。
カメラアダプタ１２０ａ−１２０ｈそれぞれの処理は、実施形態２と同様である。

本実施形態の送信態様の一例を、図１３を用いて説明する。図１３のタイムチャートが示すように、同期フレームデータ群Ｎ−１から同期フレームデータ群Ｎ＋２までは１フレームの送信期間内で前景データ、背景データの送信が完了している。しかし、同期フレームデータ群Ｎ＋３については前景データのみの送信しか完了しておらず、タイムアウトのため背景データの送信が中止されている。そのため、次の同期フレームデータ群Ｎ＋４については背景データから先にフレームデータが送信され、次に前景データが送信される。

以上、本実施形態の処理により、画像処理システム１００は、直前に送信に失敗したフレームデータに対応するカメラ１１２により撮影されたフレームデータを優先的に送信できる。これにより、画像処理システム１００は、一部のカメラ１１２からのフレームデータが継続して欠落するという事態を防止でき、生成される仮想視点画像の品質の劣化をより低減できる。
また、本実施形態の処理により、画像処理システム１００は、直前に送信に失敗したデータタイプのフレームデータを優先的に送信できる。これにより、画像処理システム１００は、一部のデータタイプのフレームデータが継続して欠落するという事態を防止でき、生成される仮想視点画像の品質の劣化をより低減できる。

本実施形態では、画像処理システム１００は、過去フレームデータ群の送信状況に基づいて、カメラ１１２ａ−１１２ｈそれぞれと、フレームデータのデータタイプそれぞれと、について優先度を決定した。ただし、画像処理システム１００は、過去フレームデータ群の送信状況に基づいて、カメラ１１２ａ−１１２ｈそれぞれと、フレームデータのデータタイプそれぞれと、のうちの何れか一方についてのみ優先度を決定することとしてもよい。
また、画像処理システム１００は、実施形態１と同様の処理を行い、Ｓ４０１で過去フレームデータ群の送信状況に基づいて、カメラ１１２ａ−１１２ｈそれぞれについてのみ優先度を決定することとしてもよい。

＜その他の実施形態＞
実施形態１−３では、カメラアダプタ１２０が１台ずつ画像サーバ装置２００へのフレームデータを送信した。ただし、複数台のカメラアダプタ１２０が同時に画像サーバ装置２００へフレームデータを送信することとしてもよい。
例えば、画像処理システムは、カメラ１１２それぞれをカメラ１１２それぞれの優先度に基づいて、複数のグループに分ける。そして、画像処理システムは、優先度の１位のグループのカメラ１１２それぞれに対応するカメラアダプタ１２０それぞれにトークンを送信し、フレームデータを送信させる。そして、これらのカメラアダプタ１２０それぞれは、フレームデータの送信を完了すると、次に優先度２位のグループのカメラ１１２それぞれに対応するカメラアダプタ１２０に対してトークンを送信する。優先度２位のグループのカメラ１１２それぞれは、優先度の最も高いグループのカメラ１１２全てからトークンを受信した場合、フレームデータの送信を行う。優先度３位以下のグループに対応するカメラアダプタ１２０それぞれは、以上の処理と同様の処理を繰り返す。

また、実施形態１−３では、画像処理システム１００は、トークンをカメラアダプタ１２０間で送受信させることで、フレームデータの送信の順位を調整した。ただし、画像処理システム１００は、他の方法でフレームデータの送信の順位を調整してもよい。
例えば、コントローラ装置３００は、送信順位１位のカメラアダプタ１２０にフレームデータの送信指示を行い、このカメラアダプタ１２０からフレームデータを受信したら、送信順位２のカメラアダプタ１２０にフレームデータの送信指示を行ってもよい。そして、コントローラ装置３００は、以上の処理を繰り返すことで、フレームデータの送信の順位を調整してもよい。

また、実施形態１−３では、カメラ１１２と、対応するカメラアダプタ１２０と、が別個の装置であるとした。しかし、カメラ１１２と、対応するカメラアダプタ１２０と、が一体の装置であるとしてもよい。
また、実施形態１−３では、コントローラ装置３００は、カメラ１１２ａ−１１２ｈそれぞれの優先度を決定することとした。ただし、コントローラ装置３００は、カメラ１１２ａ−１１２ｈそれぞれの優先度を決定しないこととしてもよい。例えば、カメラ１１２ａ−１１２ｈそれぞれの優先度は、予め定められていることとしてもよい。
なお、他の例としては、カメラアダプタ１２０ａ−１２０ｈの何れかがコントローラ装置３００と同様の機能を有し、実施形態１−３で説明したコントローラ装置３００と同様の処理を行うこととしてもよい。すなわち、この場合には、カメラアダプタ１２０ａ−１２０ｈの何れかが、図６を参照しつつ説明した処理により、優先度の決定、トークンの生成、トークンの送信を行う。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとしてコントローラ装置３００、カメラアダプタ１２０等に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１００ 画像処理システム
１１２ カメラ
１２０ カメラアダプタ
３００ コントローラ装置

Claims (23)

1. 送信期間内に送信された画像データに基づいて仮想視点画像に関する処理を行う生成装置に、前記画像データを送信する画像処理装置であって、
   複数の撮影手段による撮影に基づく複数の画像データのうち、前記画像処理装置に対応する撮影手段による撮影に基づく画像データを取得する取得手段と、
   前記取得手段により取得された画像データを、前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、前記生成装置に送信する送信手段と、
   前記送信期間が経過した際に、前記画像処理装置に対応する撮影手段による撮影に基づく画像データの送信が完了していない場合、当該画像データの送信を中止する中止手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の撮影手段それぞれの優先度と、画像データのデータタイプそれぞれの優先度と、のうちの少なくとも１つを決定する決定手段を更に有し、
   前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項１記載の画像処理装置。
3. 前記決定手段は、前記複数の撮影手段それぞれの優先度を決定し、
   前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された前記複数の撮影手段それぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項２記載の画像処理装置。
4. 前記決定手段は、前記複数の撮影手段の撮影シーンに基づいて、前記複数の撮影手段それぞれの優先度を決定することを特徴とする請求項３記載の画像処理装置。
5. 前記複数の撮影手段は、同期して画像を撮影し、
   前記決定手段は、前記複数の撮影手段による前記複数の画像データに対応する撮影の１つ前の撮影に基づく複数の過去画像データのうち送信が中止された過去画像データに対応する撮影を行った撮影手段の優先度が、前記複数の過去画像データのうち送信が行われた過去画像データに対応する撮影を行った撮影手段の優先度よりも高くなるように、前記複数の撮影手段それぞれの優先度を決定することを特徴とする請求項３又は４記載の画像処理装置。
6. 前記決定手段は、画像データのデータタイプそれぞれの優先度を決定し、
   前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された画像データのデータタイプそれぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項２記載の画像処理装置。
7. 前記決定手段は、前記複数の撮影手段による前記複数の画像データに対応する撮影の１つ前の撮影に基づく複数の過去画像データのうち送信が中止された過去画像データのデータタイプの優先度が、前記複数の過去画像データのうち前記複数の撮影手段の全てについて送信が完了した過去画像データのデータタイプの優先度よりも高くなるように、画像データのデータタイプそれぞれの優先度を決定することを特徴とする請求項６記載の画像処理装置。
8. 前記送信手段は、送信指示を受付けた場合、前記取得手段により取得された画像データの送信を実行し、前記複数の画像データに含まれる、送信が完了していない画像データのうち最も送信順位の高い画像データを撮影した撮影手段に対応する他の画像処理装置に対して、前記画像データの送信指示を行うことを特徴とする請求項１乃至７のうち何れか１項記載の画像処理装置。
9. 前記画像処理装置は、前記複数の撮影手段のうち前記画像処理装置に対応する撮影手段と異なる撮影手段に対応する他の画像処理装置とデイジーチェーン接続されていることを特徴とする請求項１乃至８のうち何れか１項記載の画像処理装置。
10. 前記生成装置は、前記仮想視点画像に関する処理として、前記仮想視点画像を生成する処理を行うことを特徴とする請求項１乃至９のうち何れか１項記載の画像処理装置。
11. 前記生成装置は、前記仮想視点画像に関する処理として、前記仮想視点画像を生成するために、前記画像処理装置から送信された画像データに基づき、オブジェクトの３次元形状データを生成する処理を行うことを特徴とする請求項１乃至９のうち何れか１項記載の画像処理装置。
12. 送信期間内に送信された画像データに基づいて仮想視点画像に関する処理を行う生成装置に、前記画像データを送信する複数の画像処理装置を含むシステムであって、
    前記画像処理装置は、
    前記複数の画像処理装置にそれぞれ対応する複数の撮影手段による撮影に基づく複数の画像データのうち、前記画像処理装置に対応する撮影手段による撮影に基づく画像データを取得する取得手段と、
    前記取得手段により取得された画像データを、前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、前記生成装置に送信する送信手段と、
    予め定められた送信期間が経過した際に、前記画像処理装置に対応する撮影手段による撮影に基づく画像データの送信が完了していない場合、当該画像データの送信を中止する中止手段と、
    を有することを特徴とするシステム。
13. 前記複数の画像処理装置それぞれを制御する制御装置を更に有し、
    前記制御装置は、
    前記複数の撮影手段それぞれの優先度と、画像データのデータタイプそれぞれの優先度と、のうちの少なくとも１つを決定する決定手段を有し、
    前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項１２記載のシステム。
14. 前記決定手段は、前記複数の撮影手段それぞれの優先度を決定し、
    前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された前記複数の撮影手段それぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項１３記載のシステム。
15. 前記決定手段は、前記複数の撮影手段の撮影シーンに基づいて、前記複数の撮影手段それぞれの優先度を決定することを特徴とする請求項１４記載のシステム。
16. 前記複数の撮影手段は、同期して画像を撮影し、
    前記決定手段は、前記複数の撮影手段による前記複数の画像データに対応する撮影の１つ前の撮影に基づく複数の過去画像データのうち送信が中止された過去画像データに対応する撮影を行った撮影手段の優先度が、前記複数の過去画像データのうち送信が行われた過去画像データに対応する撮影を行った撮影手段の優先度よりも高くなるように、前記複数の撮影手段それぞれの優先度を決定することを特徴とする請求項１４又は１５記載のシステム。
17. 前記決定手段は、画像データのデータタイプそれぞれの優先度を決定し、
    前記送信手段は、前記取得手段により取得された画像データを、前記決定手段により決定された画像データのデータタイプそれぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信することを特徴とする請求項１３記載のシステム。
18. 前記決定手段は、前記複数の撮影手段による前記複数の画像データに対応する撮影の１つ前の撮影に基づく複数の過去画像データのうち送信が中止された過去画像データのデータタイプの優先度が、前記複数の過去画像データのうち前記複数の撮影手段の全てについて送信が完了した過去画像データのデータタイプの優先度よりも高くなるように、画像データのデータタイプそれぞれの優先度を決定することを特徴とする請求項１７記載のシステム。
19. 前記送信手段は、送信指示を受付けた場合、前記取得手段により取得された画像データの送信を実行し、前記複数の画像データに含まれる、送信が完了していない画像データのうち最も送信順位の高い画像データを撮影した撮影手段に対応する他の画像処理装置に対して、前記画像データの送信指示を行うことを特徴とする請求項１２乃至１８のうち何れか１項記載のシステム。
20. 送信期間内に送信された画像データに基づいて仮想視点画像に関する処理を行う生成装置に、前記画像データを送信する画像処理装置が実行する情報処理方法であって、
    複数の撮影手段による撮影に基づく複数の画像データのうち、前記画像処理装置に対応する撮影手段による撮影に基づく画像データを取得する取得ステップと、
    前記取得ステップで取得された画像データを、前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、前記生成装置に送信する送信ステップと、
    予め定められた送信期間が経過した際に、前記画像処理装置に対応する撮影手段による撮影に基づく画像データの送信が完了していない場合、当該画像データの送信を中止する中止ステップと、
    を含むことを特徴とする情報処理方法。
21. 前記送信ステップでは、前記取得ステップで取得された画像データを、前記複数の撮影手段それぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信し、
    前記複数の撮影手段それぞれの優先度は、前記複数の撮影手段の撮影シーンに基づいて決定されることを特徴とする請求項２０記載の情報処理方法。
22. 前記送信ステップでは、前記取得ステップで取得された画像データを、画像データのデータタイプそれぞれに定められた優先度に応じて定まる前記複数の画像データの送信順位にしたがって、送信し、
    前記複数の撮影手段による前記複数の画像データに対応する撮影の１つ前の撮影に基づく複数の過去画像データのうち送信が中止された過去画像データのデータタイプの優先度が、前記複数の過去画像データのうち前記複数の撮影手段の全てについて送信が完了した過去画像データのデータタイプの優先度よりも高くなるように、画像データのデータタイプそれぞれの優先度が決定されることを特徴とする請求項２０記載の情報処理方法。
23. 送信期間内に送信された画像データに基づいて仮想視点画像に関する処理を行う生成装置に、前記画像データを送信するコンピュータに、
    複数の撮影手段による撮影に基づく複数の画像データのうち、前記コンピュータに対応する撮影手段による撮影に基づく画像データを取得する取得ステップと、
    前記取得ステップで取得された画像データを、前記複数の撮影手段それぞれに定められた優先度と、画像データのデータタイプそれぞれに定められた優先度と、の少なくとも１つに応じて定まる前記複数の画像データの送信順位にしたがって、前記生成装置に送信する送信ステップと、
    予め定められた送信期間が経過した際に、前記コンピュータに対応する撮影手段による撮影に基づく画像データの送信が完了していない場合、当該画像データの送信を中止する中止ステップと、
    を実行させるためのプログラム。

Images