JP2021090127A - 制御装置、制御方法、及び、プログラム - Google Patents

Abstract

【課題】 同期信号の伝送が制限されることを抑制する。【解決手段】 画像処理システム１００におけるセンサシステム１１０は、他のセンサシステム１１０又はスイッチングハブ１１５と、画像データ及び同期信号を通信するためのネットワーク１１３を有する。センサシステム１１０におけるカメラアダプタ１１１は、ネットワーク１１３の状態に基づいて、画像データと同期信号とを通信する処理モード（リアルタイムモード）と、及び、画像データの通信を行わず、同期信号を通信する処理モード（バッチモード）とのうちいずれかを実行する。【選択図】 図１

Description

本発明は、仮想視点画像を生成する技術に関するものである。

近年、撮像領域の周囲に複数の撮像装置を配置し、各撮像装置を同期させて撮像領域を撮像することにより得られる複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、スポーツの試合やコンサート等のイベントを様々な角度から視聴することが出来るため、ユーザに高臨場感を与えることが出来る。

特許文献１には、複数の撮像装置が撮像することにより得られる撮像画像に基づく画像データを用いて、仮想視点画像を生成する方法について記載されている。各撮像装置はネットワークを介して画像データを画像処理装置に送信する。また、特許文献１には、撮像画像を取得するための複数の撮像装置の撮像タイミングを同期させる方法についても記載されている。すなわち、各撮像装置はＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）の機能を有し、タイムサーバからネットワークを介して同期信号を受信して時刻同期処理を行うことにより、各撮像装置の撮像タイミングが同期される。撮像装置同士の同期の精度が高いほど、生成される仮想視点画像の画質は高くなる。

特開２０１７−２１１８２８号公報

しかしながら、特許文献１のように、画像データと、時刻同期処理に使用される同期信号とが同一のネットワークを介して伝送される場合、以下の問題が発生しうる。すなわち、同期信号と比較してデータサイズの大きい画像データの伝送により、ネットワークの伝送帯域が圧迫され、画像データの伝送の制限に加え、同期信号の伝送も制限される場合がある。これにより、撮像装置同士の同期の精度が低下する可能性がある。

本発明は上記の課題に鑑みてなされたものである。その目的は、同期信号の伝送が制限されることを抑制することである。

本発明に係る制御装置は、複数の撮像手段のそれぞれが行う撮像を同期させるための同期信号と、前記撮像手段が撮像することにより得られる撮像画像に基づく画像データとを通信するための通信手段の状態に関する情報を取得する取得手段と、前記取得手段により取得された情報が示す前記通信手段の状態が所定の条件を満たす場合、前記通信手段を用いた前記画像データの通信が行われ、前記取得手段により取得された情報が示す前記通信手段の状態が所定の条件を満たさない場合、前記通信手段を用いた前記画像データの通信が制限され、且つ、前記通信手段の状態が前記所定の条件を満たす場合及び満たさない場合のいずれの場合であっても、前記通信手段を用いた前記同期信号の通信が行われるように、前記画像データ及び前記同期信号の通信を制御する制御手段とを有することを特徴とする。

本発明によれば、同期信号の伝送が制限されることを抑制することができる。

画像処理システムの機能構成を説明するための図である。 カメラアダプタの機能構成を説明するための図である。 カメラによる同期撮像処理を説明するための図である。 画像処理システムにおいて通信される通信パケットのフローを説明するための図である。 センサシステムの動作シーケンスを説明するための図である。 コントローラの動作シーケンスを説明するための図である。 カメラアダプタのハードウェア構成を説明するための図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。

本実施形態においては、仮想視点画像を生成するための処理を行う画像処理システムについて説明する。仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、画像処理システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の画像処理システムは、静止画及び動画の何れについても処理可能であるものとする。

本実施形態における画像処理システムが有する各装置のハードウェア構成について、図７を用いて説明する。図７に示すカメラアダプタ１１１は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、補助記憶装置７０４、表示部７０５、操作部７０６、通信Ｉ／Ｆ７０７、及びバス７０８を有する。なお、後述するタイムサーバ、画像コンピューティングサーバ、コントローラ、及びエンドユーザ端末についても、ＣＰＵ、ＲＯＭ、ＲＡＭ、補助記憶装置、表示部、操作部、通信Ｉ／Ｆ、及びバスの少なくともいずれかを有するハードウェア構成となりうる。ここでは、各部の特徴について、カメラアダプタ１１１を例として説明する。

ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１１１の全体を制御することで、カメラアダプタ１１１が有する各処理部の機能を実現する。なお、カメラアダプタ１１１がＣＰＵ７０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ７０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ７０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ７０３は、補助記憶装置７０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ７０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置７０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部７０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがカメラアダプタ１１１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部７０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ７０１に入力する。ＣＰＵ７０１は、表示部７０５を制御する表示制御部、及び操作部７０６を制御する操作制御部として動作する。

通信Ｉ／Ｆ７０７は、カメラアダプタ１１１の外部の装置との通信に用いられる。例えば、カメラアダプタ１１１が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ７０７に接続される。カメラアダプタ１１１が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ７０７はアンテナを備える。バス７０８は、カメラアダプタ１１１の各部をつないで情報を伝達する。

本実施形態では表示部７０５と操作部７０６とがカメラアダプタ１１１の内部に存在するものとするが、表示部７０５と操作部７０６との少なくとも一方がカメラアダプタ１１１の外部に別の装置として存在していてもよい。また、表示部７０５と操作部７０６とのいずれか又は両方がない構成であってもよい。これらは、後述するタイムサーバ、画像コンピューティングサーバ、及びエンドユーザ端末等についても同様に当てはまる。

次に、図１を用いて、画像処理システム１００の機能構成について説明する。画像処理システム１００は、画像処理システム１００は、センサシステム１１０ａ―センサシステム１１０ｚ、画像コンピューティングサーバ１１８、コントローラ１１９、スイッチングハブ１１５、タイムサーバ１１６、及び、エンドユーザ端末１２０を有する。以下、各処理部について説明する。

センサシステム１１０ａ―センサシステム１１０ｚは、それぞれ撮像領域の撮像を行い、撮像により得られた撮像画像に基づく画像データを、後述する画像コンピューティングサーバ１１８に送信する。センサシステム１１０ａ―センサシステム１１０ｚは、それぞれ撮像領域を撮像するためのカメラ１１２ａ−１１２ｚ及びセンサシステムを制御するためのカメラアダプタ１１１ａ−カメラアダプタ１１１ｚを有する。以降の説明においては、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せず、単にセンサシステム１１０と記載する。各センサシステム１１０が有するカメラ１１２ａ−カメラ１１２ｚ及びカメラアダプタ１１１ａ−カメラアダプタ１１１ｚについても同様に、特別な説明がない場合は区別せず、単にカメラ１１２及びカメラアダプタ１１１と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。

また、本実施形態における画像処理システム１００は、撮像手段として複数のカメラ１１２を有する構成であるが、これに限定されない。例えば、一つの筐体に複数の撮像部が含まれる装置を有する構成であってもよい。また、各センサシステム１１０が有する各カメラ１１２は同一符号（１１２）を用いて説明するが、各カメラ１１２同士の性能、設定及び機種等が異なっていてもよい。

本実施形態における複数のセンサシステム１１０は、デイジーチェーン接続される。この接続形態により、撮像画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。図１に示す各センサシステム１１０は、それぞれネットワーク１１３ａ−１１３ｙにより接続される。以降の説明において、特別な説明がない場合は、ネットワーク１１３ａ−１１３ｙを区別せず、単にネットワーク１１３と記載する。また、デイジーチェーン接続の終端となるセンサシステム１１０ａが有するカメラアダプタ１１１ａは、ネットワーク１１４によりスイッチングハブ１１４と接続される。ただし、センサシステム１１０の接続方法はこれに限定されない。例えば、各センサシステム１１０ａ−１１０ｚがスイッチングハブ１１５に接続されて、スイッチングハブ１１５を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

また、図１ではセンサシステム１１０ａ−１１０ｚの全てがデイジーチェーン接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０同士がデイジーチェーン接続され、各グループの終端となるカメラアダプタ１１１がスイッチングハブ１１５に接続される構成であってもよい。グループごとにデイジーチェーン接続される構成は、以下のような場合に有効である。例えば、複数フロアにより構成されるスタジアムにおいて、フロア毎にセンサシステム１１０を配備する場合について考える。このとき、フロア毎又はスタジアムの半周毎にセンサシステム１１０をグループ分けし、グループごとにデイジーチェーン接続をすることにより、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でもシステムの設置が可能となる。

また本実施形態におけるセンサシステム１１０は、カメラ１１２及びカメラアダプタ１１１を有するが、この構成に限定するものではない。例えば、マイク等の音声デバイスや、カメラの向きを制御する雲台等を含んでも良い。このように、センサシステムｙ１１０が他の処理部を有する構成であってもよい。また例えば、センサシステム１１０は１台のカメラアダプタ１１１と、複数のカメラ１１２により構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１１１により構成されてもよい。即ち、同期撮影システム１００内の複数のカメラ１０３と複数のカメラアダプタ１０１はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、カメラ１１２とカメラアダプタ１１１とが同一の筐体により構成されてもよい。また、カメラアダプタ１１１の機能の少なくとも一部を、後述する画像コンピューティングサーバ１１８が有していてもよい。また、複数のセンサシステム１１０のそれぞれが異なる構成であってもよい。

センサシステム１１０の動作について説明する。ここで、センサシステム１１０ｂを例として説明する。センサシステム１１０ｂが有するカメラアダプタ１１１ｂは、カメラ１１２ｂが撮像することにより取得された撮像画像に対し、後述する画像処理を行うことにより、撮像画像に基づく画像データを取得する。また、取得された画像データは、センサシステム１１０ａと接続される通信路であるネットワーク１１３ａを通して、センサシステム１１０ａのカメラアダプタ１１１ａに伝送される。センサシステム１１０ａは、センサシステム１１０ｂから伝送された画像データを、スイッチングハブ１１５に伝送する。また、センサシステム１１０ａが有するカメラアダプタ１１１ａは、カメラ１１２ａが撮像することにより取得された撮像画像に対して、カメラアダプタ１１１ｂが行う処理と同様の画像処理を行い、取得された画像データをイッチングハブ１１５に伝送する。センサシステム１１０ｃ−１１０ｚも、それぞれ上述の処理と同様の処理を実施する。これにより、センサシステム１１０ａ―センサシステム１１０ｚが取得した画像データは、センサシステム１１０ａからネットワーク１１４を用いてスイッチングハブ１１５に伝送され、その後、後述する画像コンピューティングサーバ１１８に伝送される。

画像コンピューティングサーバ１１８は、センサシステム１１０から伝送される画像データに対し、以下の処理を行う。まず、画像コンピューティングサーバ１１８は、画像データの再構成を行う。画像データは、センサシステム１１０によりパケットに分割された画像パケットとして伝送される。画像コンピューティングサーバ１１８は、伝送された画像パケットを用いて画像データを再構成する。また、画像コンピューティングサーバ１１８は、再構成した画像データを、画像データの取得元であるカメラの識別子、及びデータ種別等の情報と関連付けて記憶する。また、画像データが動画である場合は、例えば動画フレームごとに画像データをまとめた形で記憶する。

また、画像コンピューティングサーバ１１８は、コントローラ１１９から取得される情報と、画像データとに基づいて、仮想視点画像の生成を行う。コントローラ１１９は、画像処理システム１００を制御するための入力や、仮想視点を指定するための入力を受け付ける。コントローラ１１９と画像処理システム１００が有する各処理部とはネットワークにより接続される。ネットワークとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥ等が使用される。しかし、それ以外にもインターコネクトＩｎｆｉｎｉｂａｎｄ、及び産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。例えば、ＩＥＥＥ８０２．１１標準準拠のＷｉｒｅｌｅｓｓ ＬＡＮで構築されても良い。

画像コンピューティングサーバ１１８は、コントローラ１１９が受け付けた、仮想視点を指定するための入力を取得し、取得した入力に基づいて指定される仮想視点に対応する仮想視点画像を生成する。このとき、画像コンピューティングサーバ１１８は、指定された仮想視点に応じて、必要な画像データを読み出し、読み出した画像データを用いてレンダリング処理を行うことにより仮想視点画像を生成する。生成された仮想視点画像は、画像コンピューティングサーバ１１８からエンドユーザ端末１２０に送信さる。これにより、エンドユーザ端末１２０を操作するユーザは生成された仮想視点画像を閲覧することが出来る。なお、画像コンピューティングサーバ１１８の機能の少なくとも一部を、コントローラ１１９、センサシステム１１０、又はエンドユーザ端末１２０等が有する構成でもよい。

タイムサーバ１１６は、時刻情報、及び、２つ以上のカメラ１１２が行う撮像を同期するための同期信号を配信する機能を有する。タイムサーバ１１６はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１１７から時刻情報を取得する。また、タイムサーバ１１６は、取得した時刻情報を用いて画像処理システム１００の時刻同期をするための処理を行う。具体的には、タイムサーバ１１６は、スイッチングハブ１１５を介して各センサシステム１１０に時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１１１は、タイムサーバ１１６から受信した時刻及び同期信号に基づいて、カメラ１１２にＧｅｎｌｏｃｋ（Ｇｅｎｅｒａｔｏｒ Ｌｏｃｋ）信号を伝送し、撮像により取得される撮像画像を同期する。即ち、タイムサーバ１１６は、複数のカメラ１１２が行う撮像のタイミングを同期させる役割を担う。これにより、画像処理システム１００は、同じタイミングで撮像されることにより取得された複数の撮像画像に基づいて仮想視点画像を生成することが可能となる。

なお、本実施形態においては、タイムサーバ１１６が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１１１が独立して行ってもよい。また、タイムサーバ１１６が、時刻設定方法として、ＧＰＳ１１７を用いる場合について説明したが、これに限定されない。タイムサーバ１１６は、例えば、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）など他の方法により時刻を設定してもよい。以上が画像処理システム１００の全体構成に関する説明である。

次に、画像処理システム１００が実行する処理モードについて説明する。画像処理システム１００は２つの処理モードを実行することが可能である。１つは、撮像対象の撮像開始から低遅延で仮想視点画像を生成するモードで、本実施形態においてはこのモードをリアルタイムモードと表現する。このモードでは、例えば、スポーツ競技やコンサート等のイベントが撮像される場合に、イベントが撮像されるたびに逐次仮想視点画像が提供される。もう１つは、撮像対象の撮像後、一定期間経過後に仮想視点画像を作成するモードで、本実施形態においてはこのモードをバッチモードと表現する。このモードでは、例えばイベントが撮像される場合に、イベントの終了後に仮想視点画像の生成が開始される。リアルタイムモードは低遅延で仮想視点画像が生成される。このとき、センサシステム１１０により、撮像処理に必要な同期信号の通信と、画像データの通信とが同期間に行われるように制御される。一方バッチモードでは、各センサシステム１１０は、撮像終了後、すなわち同期信号の通信が不要になってから、画像データを伝送することができる。すなわち、バッチモードにおいては、同期信号の通信が行われる間は画像データの通信は行われないように、センサシステム１１０によりデータの通信が制御される。よって、リアルタイムモードとバッチモードとを比較したとき、リアルタイムモードの方が広い伝送帯域が必要となる。この性質より、例えば光ケーブル等のように他の通信路と比較して安定的に広い伝送帯域を望める通信路を用いた場合はリアルタイムモードを選択し、安定的な伝送帯域の確保が必ずしも望めない場合はバッチモードを選択するといった運用が考えられる。

また、画像処理システム１００は、処理中にリアルタイムモードとバッチモードとを切り替えることが可能である。すなわち、画像処理システム１００は、処理の開始時はリアルタイムモードによる処理を実行するが、処理後途中からバッチモードに変更して処理を実行することができる。処理モードを切り替える場合としては、例えば、不測の事態でネットワークの伝送帯域確保が難しくなった場合、あるいは伝送するデータ量が増加することにより、所定の時間以内にデータの伝送が不可能になった場合等である。このような場合に、処理モードの変更を行うことにより、通常時はリアルタイムモードによる低遅延での仮想視点画像の生成を行い、通信路の状態が途中で変化しても、必要最低限の伝送帯域を使用し同期信号のみ送信することが可能となる。すなわち、センサシステム１１０は、リアルタイムモード及びバッチモードのいずれの場合であっても、同期信号の通信は制限しないように、同期信号の通信を制御する。これにより、画像処理システム１００は、カメラ１１２による撮像の同期の精度を低下させることなく撮像を継続することが可能となる。なお、リアルタイムモード及びバッチモードは、所定の条件を満たすか否かに応じて決定されるが、これについては後述する。以上が、画像処理システム１００が実行する処理モードに関する説明である。

次に、カメラアダプタ１１１の機能構成について、図２を用いて説明する。カメラアダプタ１１１は、ネットワーク部２４０、伝送部２３０、画像処理部２２０、及び、カメラ制御部２１０から構成されている。以下、各処理部について説明する。

カメラ制御部２１０は、カメラ１１２と接続し、カメラ１１２の制御、撮像画像の取得、同期信号の提供、及び時刻設定などの処理を行う機能を有している。カメラ１１２の制御は、例えば撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定及び参照、カメラ１１２の状態（撮像中、停止中、同期中、及びエラー状態等）の取得、撮像の開始、停止、及びピント調整の制御等である。同期信号の提供は、後述する伝送部２３０における時刻同期制御部２３３がタイムサーバ１１６と同期した時刻を利用し、撮像タイミング（制御クロック）をカメラ１１２に提供することにより行われる。時刻設定は、時刻同期制御部２３３がタイムサーバ１１６と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードを提供することにより行われる。これにより、カメラ１１２が撮像することにより取得された撮像画像に基づく画像データに、提供したタイムコードが付与される。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであってもよい。なお、カメラ制御部２１０は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から取得した画像データに対してタイムコードを付与してもよい。

画像処理部２２０は、カメラ制御部２１０が行う制御に基づいてカメラ１１２が撮像することにより取得された撮像画像に基づいて、仮想視点画像の生成に使用される画像データを取得するための画像処理を行う。画像処理部２２０は、直接接続されたカメラ１１２から取得される撮像画像だけでなく、他のカメラアダプタ１１１から伝送された画像データに対しても画像処理を行うことが可能である。

画像処理部２２０が行う画像データを取得するための画像処理の例について説明する。画像処理部２２０は、撮像画像に基づいて、被写体領域を分離する処理を行う。この処理は、撮像画像における被写体（例えば、選手やボール等）に対応する領域を抽出する処理である。画像処理部２２０は、複数のカメラ１１２により連続する時間において撮像された複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。画像処理部２２０は、検出した領域を背景領域であると判定し、背景領域に基づいて背景画像を生成する。また、画像処理部２２０は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を被写体領域であると判定し、被写体領域を抽出し、被写体領域を示す被写体画像（前景画像）を生成する。なお、被写体領域を抽出する方法は上記に限定されない。画像処理部２２０は、例えば、連続する時間において撮像された複数の撮像画像同士を比較し、画素値の変化量が所定の閾値以上である領域を被写体領域として抽出してもよい。

画像処理部２２０は、抽出した被写体領域に基づいて、撮像画像における被写体の領域を示すシルエット画像を生成する。画像処理部２２０は、撮像画像において被写体領域に対応する画素の値を「１」、及び被写体領域以外の領域に対応する画素の値を「０」とすることにより、シルエット画像を生成する。なお、画素値は一例であり、他の値が使用されてもよい。また、画像処理部２２０は、抽出した被写体領域に基づいて、被写体の形状を表す形状データに色付けをするためのテクスチャデータを生成する。テクスチャデータは、撮像画像における被写体領域に対応する画素の値に基づいて生成される。

画像処理部２２０は、被写体の形状を表す形状データを生成する。ここでは、形状データとして、被写体の３次元形状を表す３次元モデルデータが生成されるものとする。本実施形態における３次元モデルデータは、シルエット画像に基づいて、視体積交差法を用いて生成される。以上述べたように、画像処理部２２０は、画像データとして、前景画像、シルエット画像、テクスチャデータ、及び３次元形状データを生成する。なお、必ずしも画像処理部２２０が上記の画像処理をすべて行う構成でなくてもよい。例えば、画像処理部２２０は、画像データとして、前景画像、シルエット画像、テクスチャデータ、及び３次元形状データのうち少なくともいずれかを生成する画像処理を行う構成であってもよい。また、画像処理部２２０は、上記の画像処理を行わず、画像データとして撮像画像を扱う構成であってもよい。画像処理部２２０で行われなかった画像処理が画像コンピューティングサーバ１１８で行われる構成でもよい。

伝送部２３０は、後述するネットワーク部２４０を介したデータの伝送を制御する機能を有する。伝送部２３０は、データルーティング情報保持部２３１、データルーティング処理部２３２、時刻同期制御部２３３、及び、画像伝送処理部２３４を有する。データルーティング情報保持部２３１は、後述するネットワーク部２４０におけるデータ送受信部２４１が送受信するデータの伝送先を決定するためのアドレス情報を保持する。データルーティング処理部２３２は、データルーティング情報保持部２３１が保持するデータを利用し、データ送受信部２４１が受信したデータ及び画像処理部２２０で処理されたデータの伝送先を決定し、決定した伝送先にデータを送信する。

時刻同期制御部２３３は、ＩＥＥＥ１５８８規格で規定されるＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ１１６と時刻同期に係わる処理を行う機能を有する。また、本機能に付随する同期処理部２４２の制御、及び、カメラアダプタ１１１で使用されるローカルタイムの管理を行う。なお、時刻同期制御部２３３は、ＰＴＰ以外の他のプロトコルを利用して時刻同期する構成であってもよい。画像伝送処理部２３４は、画像データを、データ送受信部２４１を介して他のカメラアダプタ１１１又は画像コンピューティングサーバ１１８へ伝送するためのメッセージを生成する。画像伝送処理部２３４が生成するメッセージには、画像データ及び画像データに関するメタ情報が含まれる。また、画像伝送処理部２３４は、データ送受信部２４１を介して、他のカメラアダプタ１１１から伝送されるメッセージを受信する。画像伝送処理部２３４は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズに分割された画像パケットから、画像データを再構成する。

ネットワーク部２４０は、データ送受信部２４１、同期処理部２４２、インターフェースＡ２５０、及び、インターフェースＢ２５１を有する。データ送受信部２４１は、スイッチングハブ１１５を介して、画像コンピューティングサーバ１１８、タイムサーバ１１６、及びコントローラ１１９とデータ通信を行う。また、データ送受信部２４１は、ネットワーク１１３を介して、他のカメラアダプタ１１１とデータ通信を行う。データ送受信部２４１は、カメラ１１２から取得された撮像画像に基づいて画像処理部２２０により取得された画像データを、別のカメラアダプタ１１１に伝送する。このときの画像データの伝送先のカメラアダプタ１１１は、データルーティング処理部２３２により決定されるカメラアダプタ１１１である。同期処理部２４２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙＣｌｏｃｋに準拠し、タイムサーバ１１６との間で送受信したデータのタイムスタンプを保存し、タイムサーバ１１６との時刻同期を行う。また、後段のセンサシステム１１０を同期させるための機能として、ＩＥＥＥ１５８８規格のＴｒａｎｓｐａｒｅｎｔＣｌｏｃｋ、また、ＢｏｕｎｄａｒｙＣｌｏｃｋの機能も有していると良い。なお、同期処理部２４２は、ＩＥＥＥ１５８８以外の他のＥｔｈｅｒＡＶＢ規格、又は独自プロトコルによってタイムサーバ１１６との時刻同期を実現してもよい。

また、本実施形態においては、ネットワーク部２４０として、例えばＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅ Ｃａｒｄ）等が使用される。ただしこれに限定されず、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。なお、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ２）とも呼ばれる。同期処理部２４２が利用する企画は、上記のいずれの規格でもよい。

インターフェースＡ２５０及びインターフェースＢ２５１は、図７における通信Ｉ／Ｆ７０７に対応する処理部である。インターフェースＡ２５０及びインターフェースＢ２５１として使用されるネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）及び１０ＧｂＥ等のいずれでもよい。また、インターフェースＡ２５０及びインターフェースＢ２５１は、インターコネクトＩｎｆｉｎｉｂａｎｄ及び産業用イーサーネット等を組合せた構成であってもよい。また、これらに限定されず、ＩＥＥＥ８０２．１１標準準拠のＷｉｒｅｌｅｓｓ ＬＡＮ等の他の種別のネットワークが使用されてもよい。

次に、カメラ１１２が行う同期撮像処理について、図３を用いて説明する。図３に示す処理は、タイムサーバ及びカメラアダプタにおけるＣＰＵがＲＯＭまたは補助記憶装置に記憶されたプログラムを読み出して実行することにより実現される。なお、以下の説明においては、処理ステップを単にＳと表記する。また、以下の処理において、同様の処理が複数回行われる処理ステップについては、例えば一回目のＳ３０２の処理はＳ３０２ｉ、二回目のＳ３０２の処理はＳ３０２ｉｉ・・・というように記載する。画像処理システム１００が、カメラ１１２による撮像を開始する指示を受け付けると、処理が開始される。

タイムサーバ１１６は、ＧＰＳ１１７と時刻同期を行い、タイムサーバ１１６内で管理される時刻の設定を行う（Ｓ３０１）。カメラアダプタ１１１は、タイムサーバ１１６との間でＰＴＰを使用した通信を行い（Ｓ３０２ｉ）、カメラアダプタ１１１内で管理される時刻を補正し、タイムサーバ１１６と時刻同期を行う（Ｓ３０３ｉ）。カメラアダプタ１１１は、カメラ１１２に対して、Ｇｅｎｌｏｃｋ信号や３値同期信号等の同期撮影信号及びタイムコード信号を提供する（Ｓ３０４ｉ）。なお提供される情報はタイムコードに限定されるものではなく、撮像画像、画像データ、あるいは撮像により得られた動画における動画フレームを識別できる識別子であれば他の情報でもよい。Ｇｅｎｌｏｃｋ信号および３値同期信号を受信したカメラ１１２は、Ｇｅｎｌｏｃｋ信号に応じた同期処理を行う（Ｓ３０５ｉ）。そして、カメラアダプタ１１１はカメラ１１２に対して撮像開始指示を行う（Ｓ３０６）。カメラ１１２は、撮像開始指示を受けると、Ｇｅｎｌｏｃｋ信号に基づいて同期撮像を行う（Ｓ３０７）。カメラ１１２は、撮像により取得した撮像画像にタイムコード信号を付与し、カメラアダプタ１１１に伝送する（Ｓ３０８）。カメラ１１２が撮像を停止するまで、Ｇｅｎｌｏｃｋ信号に基づく同期撮像が行われる。

カメラアダプタ１１１は、撮像途中に時刻同期を行うことで、同期の補正を行うことが可能である。カメラアダプタ１１１は、タイムサーバ１１６との間でＰＴＰを使用した時刻同期の処理を行い（Ｓ３０２ｉｉ／Ｓ３０３ｉｉ）、Ｇｅｎｌｏｃｋ信号の発生タイミングを補正する（Ｓ３０４ｉｉ／Ｓ３０５ｉｉ）。なお、あらかじめ決められた補正量に基づいて補正が行われる構成でもよい。以上の処理により、画像処理システム１００における複数のカメラ１１２の同期撮像が実現される。なお、本実施形態においては、Ｇｅｎｌｏｃｋ信号を用いた同期撮像の方法について説明したが、Ｇｅｎｌｏｃｋ信号を用いず、撮像毎にカメラアダプタ１１１から撮像開始指示を送信することにより、撮像するタイミングを揃える方法が用いられてもよい。

次に、図４を用いて、図３に示す処理を含んだ画像処理システム全体の動作についてより詳細に説明する。図４は、画像処理システム１００において通信される通信パケットのフローについて説明するための図である。なお、図４において、図３の処理と同様の処理ステップについては、同じ符号が付されている。また、図４においては、例えばセンサシステム１１０ａが行うＳ３０２の処理はＳ３０２ａ、センサシステム１１０ｂが行うＳ３０２の処理はＳ３０２ｂというように区別して記載される。ただし、以下の説明においては、特に区別する必要がない場合は、Ｓ３０２ａ−Ｓ３０２ｚを、単にＳ３０２と記載する。

タイムサーバ１１６は、ＧＰＳ１１７を利用してＧＰＳと時刻同期をする（Ｓ３０１）。また、センサシステム１１０は、タイムサーバ１１６と時刻同期を行うための時刻同期パケットの通信を行い（Ｓ３０２）、タイムサーバ１１６との時刻同期を行う（Ｓ３０３）。ここで、時刻同期パケットとは、同期信号を通信用のパケットに分割したものである。全てのセンサシステム１１０が同期処理を行うことにより、システム全体の時刻同期（Ｓ４０１ｉ）が完了する。なお、このシステム同期は定期的に実行される。時刻同期の更新頻度は、各センサシステム１１０が使用しているクロック精度と、画像処理システム１００に必要となる同期精度要件とに基づいて決定されるのが良い。

システム全体の時刻同期（Ｓ４０１ｉ）が完了すると、各センサシステム１１０におけるカメラ１１２は、カメラアダプタ１１１が生成するＧｅｎｌｏｃｋ信号に同期した撮像処理を行う（Ｓ３０７）。これにより、画像処理システム１００としての同期撮像（Ｓ４０２ｉ）が実行される。同期撮像が実行されると、各センサシステム１１０は、撮像により取得された撮像画像に基づく画像データを、画像パケットとして画像コンピューティングサーバ１１８に伝送する。図４においては、センサシステム１１０ｚからセンサシステム１１０ａに向かって順に画像データが伝送される例について示しているが、特にこの順に限定されない。全てのセンサシステム１１０からの画像データの伝送を以って、画像データの一括伝送（Ｓ４０３ｉ）が完了する。なお、この同期撮像（Ｓ４０２）および画像データの一括伝送（Ｓ４０３）も定期的に行われる。これらの頻度は、例えば仮想視点画像を動画像として生成する場合には、その動画像の単位時間あたりの動画フレーム数（ＦＰＳ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）に基づいて決定されるのが良い。

ここで、本実施形態のようにデイジーチェーン接続されたネットワークを使用した場合は、各通信路を流れる通信データのトラフィック量に偏りが生じる。すなわち、スイッチングハブ１１５と、センサシステム１１０ａ間を接続するネットワーク１１４におけるデータのトラフィック量が最も多く、センサシステム１１０ｚ側に近づくにつれて、ネットワーク１１３におけるデータのトラフィック量は減少する。

次にセンサシステム１１０の動作シーケンスについて、図５を用いて説明する。画像処理システム１００が起動すると、処理が開始される。最初に、各センサシステム１１０の電源がＯｎに切り替わる（Ｓ５０１）。次に、各センサシステム１１０のネットワーク設定が行われる（Ｓ５０２）。具体的には、ＩＰアドレスの設定が挙げられる。ＩＰアドレスは、静的に割り振られても良いし、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）により動的に割り当てられてもよい。ネットワーク設定の後、センサシステム１１０は、時刻同期に関する設定を行う（Ｓ５０３）。具体的には、図３におけるＳ３０２〜Ｓ３０５の処理が行われる。時刻同期が完了した後、各センサシステム１１０は、コントローラ１１９に対して時刻同期が完了したことを通知するようにすると良い。これにより、コントローラ１１９を操作するユーザは、時刻同期が完了したことを認識することができる。時刻同期の完了後、処理モードの設定が行われる（Ｓ５０４）。各センサシステム１１０は、リアルタイムモード又はバッチモードのいずれの処理モードを実行するかを指定するための入力をコントローラ１１９から取得する。なお、センサシステム１１０の起動時に、あらかじめ設定された処理モードが自動で実行される構成でもよい。処理モードの設定を終えた各センサシステム１１０は、コントローラ１１９に対し撮像開始を指示するための入力があるまで（Ｓ５０５において「受信」となるまで）待機する。

コントローラ１１９に対し撮像開始を指示するための入力がされると、各センサシステム１１０は動作を開始する。主に５つの処理を実施する。１つ目は、タイムサーバ１１６との時刻同期を維持するための同期処理を定期的に実施する処理である（Ｓ５０７）。具体的には、図３におけるＳ３０２〜Ｓ３０５に示す時刻同期を補正する処理が行われる。２つ目は、撮像処理である（Ｓ５０８）。具体的には、図３におけるＳ３０６及びＳ３０７に示す同期撮像が実行される。

３つ目は、画像データの伝送処理である。この処理は、リアルタイムモード（Ｓ５０９でＹｅｓ）の場合にのみ行われる。リアルタイムモードが実行される場合、各センサシステム１１０は、撮像画像に基づく画像データを画像パケットとして画像コンピューティングサーバ１１８に向けて伝送する（Ｓ５１０）。一方バッチモードが実行される場合は、各センサシステム１１０は、画像データを各センサシステム１１０が有する記憶領域に保存し、画像データの伝送はこの段階では行わない。

４つ目は、センサシステム１１０の状態を通知する処理である。センサシステム１１０は通信路の状態を監視する（Ｓ５１１）。センサシステム１１０は、例えば、各通信路の接続状態、リンク速度、及び使用される伝送帯域等の状態を監視する。また、通信路が無線である場合は、センサシステム１１０は、例えばＢｉｔ Ｅｒｒｏｒ Ｒａｔｅ（ＢＥＲ）、及びＳＮＲ（Ｓｉｇｎａｌ−Ｎｏｉｓｅ Ｒａｔｉｏ）等の状態をリアルタイムに監視する。センサシステム１１０は、通信路の状態を示す情報を逐次、又は、状態の異常発生時、若しくは検出した値が所定の閾値を超えた場合等に、コントローラ１１９に送信する（Ｓ５１２）。

５つ目は、転送処理である。各センサシステム１１０は、インターフェースＡ（２５０）、またはインターフェース（２５１）から受信したパケットが他機器宛のパケットであった場合（Ｓ５１４でＹｅｓ）、転送処理を行う（Ｓ５１４）。本実施形態のようにデイジーチェーンで構成される場合、センサシステム１１０は、インターフェースＡ２５０及びインターフェースＢ２５１のうち一方のインターフェースを用いて通信パケットを受信する。また、センサシステム１１０は、もう一方のインターフェースを用いて、受信した通信パケットを他のセンサシステム１１０又はスイッチングハブ１１５に伝送する。

以上が、主な５つの処理である。この５つの処理は、コントローラ１１９から何らかの指示があるまで継続して実行される（Ｓ５０６）。コントローラ１１９から追加の指示を受けた場合、指示内容に応じて処理が分岐する（Ｓ５１５）。処理の中断指示があった場合、センサシステム１１０は、処理を中断し（Ｓ５１６）、処理の再開指示があるまで待機する。処理モードの変更指示があった場合、センサシステム１１０は、処理モードの変更内容を確認し、処理モードを変更する（Ｓ５１７）。処理モードが変更された後は、センサシステム１１０は、変更した処理モードに応じてＳ５０６以降の処理を実行する。なお、ここでいう処理モードとは、リアルタイムモード及びバッチモードのことであるが、それ以外のモードあるいは指示が含まれていてもよい。例えば、カメラの画質及びフレームレート等の撮像の設定を変更するための指示が含まれていてもよい。コントローラ１１９から処理を終了させる指示があった場合は、各センサシステム１１０はＳ５０６〜Ｓ５１５の処理を終了する（Ｓ５１８）。ここで、センサシステム１１０の記憶領域内に未送信の画像データがある場合（Ｓ５１９でＹｅｓ）は、その画像データを画像コンピューティングサーバ１１８に伝送する（Ｓ５２０）。センサシステム１１０の記憶領域内に未送信の画像データがあるのは、例えばバッチモードの処理が実行されている場合である。その他にも、伝送するデータ量が増加したために一部の画像データを伝送しなかった場合等も想定される。全ての画像データの伝送が完了した場合（Ｓ５１０でＮｏ）、センサシステム１１０は、コントローラ１１９に対して、処理が完了したことを通知する（Ｓ５２１）。以上が、各センサシステム１１０の動作シーケンスである。

次にコントローラ１１９の動作シーケンスについて、図６を用いて説明する。画像処理システム１００が起動すると、処理が開始される。画像処理システム１００が起動し、各センサシステム１１０及びコントローラ１１９の電源がＯｎになると（Ｓ６０１）、コントローラ１１９は、各センサシステム１１０のネットワークを設定する（Ｓ６０２）。具体的には、コントローラ１１９は、ＩＰアドレスの設定及びＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）による通信の疎通確認を実行する。コントローラ１１９は、タイムサーバ１１６及び各センサシステム１１０に対して同期処理を開始するよう指示する（Ｓ６０３）。

コントローラ１１９は、全てのセンサシステム１１０の同期処理が完了したことを検知した後、各センサシステム１１０に対して処理の開始指示を行う（Ｓ６０４）。ここでいう処理は、図５におけるＳ５０６〜Ｓ５１５の処理である。また、コントローラ１１９は、処理の開始時に実行する処理モード（リアルタイムモード又はバッチモード）も併せてセンサシステム１１０に通知する。コントローラ１１９は、処理が終了するまで各センサシステム１１０の状態を監視し、状態に応じた指示を行う。Ｓ５０６〜Ｓ５１５の処理は、例えばコントローラ１１９を操作するユーザによる、処理を終了させるための入力に基づいて終了する。また、例えばスポーツ競技やコンサート等のイベントのように、あらかじめ終了時刻又は撮像時間が決まっている場合は、コントローラ１１９にセットされた終了時刻を迎えるか、所定の撮像時間が経過した後に処理が終了する構成であってもよい。

各センサシステム１１０に処理の開始指示をしたコントローラ１１９は、各センサシステム１１０の状態の監視を始める。コントローラ１１９は、いずれかのセンサシステム１１０からステータス情報を受信すると（Ｓ６０６でＹｅｓ）、そのステータス情報の解析を行う（Ｓ６０７）。ここで、ステータス情報とは、以下のものとする。すなわち、各センサシステム１１０間の通信路において、利用可能な最大の伝送帯域（以下、最大伝送帯域という）、及び、実際に使用を予定している伝送帯域（以下、予定伝送帯域という）の２つの値であるとする。コントローラ１１９は、ステータス情報の解析結果に応じた処理及び指示を行う。本実施形態においては、ステータス情報の解析結果に応じた処理及び指示として、処理モードの切り替えに関係する内容について説明する。ただしコントローラ１１９が行う処理及び指示はこれに限定されるものではない。

ステータス情報の解析方法について説明する。最大伝送帯域は、通信路が所定時間内に通信可能なデータ量を表す指標である。最大伝送帯域は、例えばリンク速度に基づいて算出される。Ｅｔｈｅｒｎｅｔであれば、１０Ｇ／１Ｇ／１００／１０Ｍｂｐｓなどの値が取得される。無線であれば、例えばＩＥＥＥ８０２．１１ａｃ、１１ｎ、１１ａ、１１ｂ／ｇなどのそれぞれの規格において、実際のデータ伝送時の伝送レートに基づいて算出することができる。予定伝送帯域は、通信路を介して実際に伝送される通信データのデータ量を表す指標であり、以下のように計算される。まず１台のセンサシステム１１０がＰＴＰを利用した時刻同期のための同期信号に使用する伝送帯域と、画像データの伝送に使用する伝送帯域の二つをＵｐ Ｌｉｎｋ及びＤｏｗｎ Ｌｉｎｋのそれぞれについて計算する。さらにデイジーチェーンネットワークであれば、下流につながるセンサシステム１１０の台数を先の計算により算出された伝送帯域の結果に乗算して計上することにより、各通信路の使用伝送帯域を求めることができる。なお、最大伝送帯域及び予定伝送帯域のうち、値が変化しないものは、あらかじめコントローラ１１９に値がセットされていてもよい。また、最大伝送帯域及び予定伝送帯域のうち、値が動的に変化するものは、コントローラ１１９が定期的に計算を行うことにより算出されてもよい。また、コントローラ１１９が最大伝送帯域及び予定伝送帯域を計算するのではなく、センサシステム１１０が実際に使用している伝送帯域をモニタリングし、定期的にコントローラ１１９に通知する構成であってもよい。このとき、センサシステム１１０は、最大伝送帯域及び予定伝送帯域の少なくともいずれかの値が変化した場合に、変化した値をコントローラ１１９に通知するようにしてもよい。

Ｓ６０４においてコントローラ１１９が指示した処理モードがバッチモードであった場合（ｓ６０８において「バッチモード」である場合）、コントローラ１１９はモードの切り替えは行わず（Ｓ６１６）、各センサシステム１１０の監視を継続する（Ｓ６０６）。Ｓ６０４においてコントローラ１１９が指示した処理モードがリアルタイムモードであった場合（Ｓ６０８において「リアルタイムモード」である場合）、処理モードの切り替えを行うか否かを判定する。ここで、コントローラ１１９は、Ｓ６０７において取得した最大伝送帯域及び予定伝送帯域の比較を行う。最大伝送帯域の値が予定伝送帯域の値以上である場合、通信路の伝送帯域は、リアルタイムモードで動作するに当たり、十分な帯域が確保されていることから、リアルタイムモードを執行すると仮決定する（Ｓ６１０）。一方、最大伝送帯域の値が予定伝送帯域の値未満である場合、バッチモードを実行すると決定する（Ｓ６１３）。

リアルタイムモードを実行すると仮決定した場合、コントローラ１１９は、他の通信路の状態についても確認を行う。全ての通信路について、リアルタイムモードを実行すると判定されている場合（Ｓ６１１でＹｅｓ）、コントローラ１１９は、リアルタイムモードを実行すると決定する（Ｓ６１２）。一方、いずれかの通信路において、バッチモードを実行すると決定されている場合（Ｓ６１１でＮｏ）、コントローラ１１９は、バッチモードを実行すると判定する（Ｓ６１３）。Ｓ６１２及びＳ６１３で決定したモードと、現在実行中のモードが異なる場合（Ｓ６１４でＹｅｓ）、コントローラ１１９は各センサシステム１１０に対し、処理モードを切り替えると判定し、切り替え指示を各センサシステム１１０に伝送する（Ｓ６１５）。一方、Ｓ６１２及びＳ６１３で決定したモードと、現在実行しているモードが一致している場合（Ｓ６１４でＮｏ）、コントローラ１１９は、処理モードの切り替えを行わないと判定し、実行されている処理モードを継続する（Ｓ６１６）。

コントローラ１１９は、ユーザによる入力又はあらかじめ設定された終了条件等に基づいて、処理を終了すると判断した場合、各センサシステム１１０に対して処理の終了指示を伝送する（Ｓ６１７）。コントローラ１１９は、全てセンサシステム１１０から動作完了の通知を受け取るまでシステムの監視を行い（Ｓ６１８及びＳ６１９）、すべての動作官僚の通知を受け取ると（Ｓ６１８においてＹｅｓ）、画像処理システム１００を終了させる。以上が、コントローラ１１９の動作シーケンスである。

なお、図６によれば、Ｓ６０４において最初に指示された処理モードがリアルタイムモードであった場合、Ｓ６１５においてバッチモードに切り替わっても、再度Ｓ６０８以降の処理においてリアルタイムモードに切り替わる場合がある。これにより、画像処理システム１００は、最初に指示した処理モードを可能な限り実行する構成となっている。ただしこれに限定されない。例えば、Ｓ６０８の処理は行わない構成であってもよい。すなわち、コントローラ１１９は、Ｓ６０４において指示された処理モードに関わらず、リアルタイムモードを実行可能か否かを定期的に判定する構成であってもよい。また、コントローラ１１９は、ステータス情報の解析結果をユーザに通知し、ユーザによる処理モードを変更するための指示を受け付ける構成であってもよい。これにより、ユーザはステータス情報を確認したうえで所望する処理モードを実行させることが可能となる。

また、図６の例ではコントローラ１１９が処理モードを切り替えるか否かの判定を行っているが、各センサシステム１１０が判定を行い、判定結果をコントローラ１１９に通知する方法でも良い。その場合、各センサシステム１１０は、前回通知時の判定結果と変更が生じた場合のみ通知するとしてもよい。また、本実施形態においては、処理モード切り替えの指示はコントローラ１１９から各センサシステム１１０に一括で指示されるが、この方法以外でも良い。例えば、リアルタイムモードからバッチモードに切り替える必要がある場合は、切り替えが必要と判定されたセンサシステム１１０が、他のセンサシステム１１０に対して処理モードの切り替え指示をする方法を用いても良い。またこのとき、デイジーチェーンネットワークにおいて、センサシステム１１０から隣のセンサシステム１１０に切り替えの指示が通知される方法でもよい。逆に、バッチモードからリアルタイムモードに変更する場合には、全てのネットワークの状態を把握する必要があるため、コントローラ１１９による管理、および、指示が好適である。

また、図６の例では、通信路の最大伝送帯域及び予定伝送帯域に基づいて処理モードの切り替えの判定がされる構成について説明したが、これに限定されない。例えば、通信路の最大伝送帯域及び予定伝送帯域の少なくともいずれかに基づいて処理モードの切り替えの判定がされてもよい。例えば、最大伝送帯域の値が所定の閾値以上である場合、及び予定伝送帯域の値が所定の閾値未満である場合の少なくともいずれかの場合に、リアルタイムモードを実行すると判定される。あるいは、最大伝送帯域の値が所定の閾値未満である場合、及び予定伝送帯域の値が所定の閾値以上である場合の少なくともいずれかの場合に、バッチモードを実行すると判定される。

また例えば、センサシステム１１０の通信状態に応じて判定がされてもよい。例えば、コントローラ１１９は、各センサシステム１１０の通信状態を監視し、いずれかの通信路が切断されるなどのエラーが発生した場合に、処理モードを切り替えると判定する構成であってもよい。また、例えばあるセンサシステム１１０にエラーが発生し、画像処理ができなくなった場合に、各センサシステム１１０は、停止したセンサシステム１１０における画像処理部２２０を経由せずに通信データが伝送されるように通信路を変更する。この場合、通信経路がより長くなるため、伝送される通信データの品質が低下する可能性がある。ここでいう通信データの品質とは、通信データの解像度及び信号の正確さ等に基づいて決定される指標である。画像データの場合、例えば、伝送される画像データの解像度が所定の基準値よりも高ければ、伝送されるデータの品質が高いと言える。また、同期信号の場合、例えば、伝送される同期信号に誤りが発生する確率が所定の基準値よりも低ければ、伝送されるデータの品質が高いと言える。なお、解像度及び信号の正確さ以外の値に基づいて品質が決定されても構わない。

上記のように、通信経路が長くことにより通信データの品質が低下すると、通信路の最大伝送帯域が低くなる場合がある。このような状況においても、コントローラ１１９は、変化後の最大伝送帯域の値を取得し、処理モードの切り替え判定を行う。すなわち、コントローラ１１９は、センサシステム１１０の通信状態を監視し、エラー及び通信路の変化等により、通信路を用いて所定の品質以上の画像データの通信ができなくなった場合に、画像データの通信を制限するようにセンサシステム１１０を制御する。また、複数のセンサシステム１１０のいずれかがエラー及び通信経路の変化等を検知し、コントローラ１１９に通知する、あるいは検知した結果に基づいて自身の処理を制御する構成であってもよい。このように、通信路に関する種々の状態に応じて処理モードの切り替えの判定が可能である。

また、本実施形態におけるバッチモードは、画像データの通信が行われないようにすることにより、画像データの通信を制限し、同期信号の伝送に使用される帯域を確保する処理モードであるが、画像データのデータ量の制限方法はこれに限定されない。例えば、予定伝送帯域の値が最大伝送帯域の値を超える場合、画像データの少なくとも一部が伝送されないように、画像データのデータ量が制限される構成であってもよい。この場合、センサシステム１１０は、例えば特定のカメラ１１２から得られる撮像画像に基づく画像データのみを伝送し、その他のカメラ１１２から得られる撮像画像に基づく画像データを伝送しない。あるいは、各画像データの少なくとも一部分を伝送しない、又は画像データのうち特定の種別のデータ（例えば、前景画像など）の一部を伝送しない等の処理が行われてもよい。このように、画像データの少なくとも一部が伝送されないことにより、伝送する画像データのデータ量が制限される。なお、伝送しない画像データは一例であり、上記以外の画像データの伝送が制限される構成でもよい。また、例えば、画像データの少なくとも一部について、解像度が荒くなるように変更したり、データ量がより小さくなるように圧縮率を変更したりすることにより、画像データのデータ量が制限される構成であってもよい。これらの構成によれば、すべての画像データの伝送を制限することなく処理を行うことが可能となる。

また、本実施形態においてはすべてのセンサシステム１１０が同一の処理モードを実施する場合について説明したが、これに限定されない。例えば、あるセンサシステム１１０について、ステータス情報に基づいて、リアルタイムモードからバッチモードへの切り替えが必要であると判定された場合について考える。このとき、例えば全センサシステム１１０のうち一部のセンサシステム１１０から伝送される画像データを削減すればリアルタイムモードの継続が可能である場合は、画像データを削減する対象のセンサシステム１１０のみバッチモードに切り替えられてもよい。これにより、伝送される画像データが削減されるため、生成される仮想視点画像の品質は低下するものの、同期撮像を継続したまま低遅延での仮想視点画像の提供が可能となる。

以上説明した画像処理システム１００は、通信路の状態に基づいて、リアルタイムモード及びバッチモードのいずれかを実行する。この構成により、同期信号の伝送が安定して行われるため、複数の撮像装置が行う撮像の同期の精度の低下を抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ センサシステム
１１１ カメラアダプタ
１１３、１１４ ネットワーク

Claims (17)

1. 複数の撮像手段のそれぞれが行う撮像を同期させるための同期信号と、前記撮像手段が撮像することにより得られる撮像画像に基づく画像データとを通信するための通信手段の状態に関する情報を取得する取得手段と、
   前記取得手段により取得された情報が示す前記通信手段の状態が所定の条件を満たす場合、前記通信手段を用いた前記画像データの通信が行われ、前記取得手段により取得された情報が示す前記通信手段の状態が所定の条件を満たさない場合、前記通信手段を用いた前記画像データの通信が制限され、且つ、前記通信手段の状態が前記所定の条件を満たす場合及び満たさない場合のいずれの場合であっても、前記通信手段を用いた前記同期信号の通信が行われるように、前記画像データ及び前記同期信号の通信を制御する制御手段と
   を有することを特徴とする制御装置。
2. 前記取得手段は、前記通信手段の状態に関する情報として、前記通信手段を用いて通信される前記画像データ及び前記同期信号のデータ量を示す情報を取得し、
   前記制御手段は、前記取得手段により取得された情報が示す前記データ量が所定の閾値を超えない場合、前記通信手段を用いた前記画像データの通信が行われ、前記データ量が所定の閾値を超える場合、前記通信手段を用いた前記画像データの通信が制限されるように前記画像データの通信を制御する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記所定の閾値は、前記通信手段が通信可能なデータ量であることを特徴とする請求項２に記載の制御装置。
4. 前記制御手段は、前記通信手段による通信状態が所定の状態でない場合、前記通信手段を用いた前記画像データの通信が制限されるように、前記画像データの通信を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記所定の状態は、前記通信手段を用いて前記画像データが通信される場合に、所定の品質以上の前記画像データが通信可能な状態である
   ことを特徴とする請求項４に記載の制御装置。
6. 前記制御手段は、前記取得手段により取得された情報が所定の条件を満たさない場合、前記通信手段を用いて通信される前記画像データのデータ量が制限されるように、前記画像データの通信を制御することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記制御手段は、前記取得手段により取得された情報が所定の条件を満たさない場合、前記画像データの少なくとも一部の通信が行われないようにすることにより、前記通信手段を用いて通信される前記画像データのデータ量が制限されるようにすることを特徴とする請求項６に記載の制御装置。
8. 前記制御手段は、前記取得手段により取得された情報が所定の条件を満たさない場合、前記画像データの少なくとも一部の解像度が変更されるようにする、又は、前記画像データの少なくとも一部の圧縮率を変更されるようにすることにより、前記通信手段を用いて通信される前記画像データのデータ量が制限されるようにすることを特徴とする請求項６又は７に記載の制御装置。
9. 前記制御手段は、前記画像データを用いて仮想視点画像の生成に係る処理を行う装置、前記同期信号を生成する装置、又は他の画像処理装置に対して行われる画像データの通信及び同期信号の通信を制御することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 前記制御手段は、前記画像データを用いて仮想視点画像の生成に係る処理を行う装置、前記同期信号を生成する装置、及び複数の他の制御装置のうち少なくとも二以上の装置の間で行われる画像データの通信及び同期信号の通信を制御することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
11. 複数の撮像手段のそれぞれが行う撮像を同期させるための同期信号と、前記撮像手段が撮像することにより得られる撮像画像に基づく画像データとを通信するための通信手段の状態に関する情報を取得する取得工程と、
    前記取得工程において取得された情報が示す前記通信手段の状態が所定の条件を満たす場合、前記通信手段を用いて前記画像データの通信を行い、前記取得工程において取得された情報が示す前記通信手段の状態が所定の条件を満たさない場合、前記通信手段を用いた前記画像データの通信を制限し、且つ、前記通信手段の状態が前記所定の条件を満たす場合及び満たさない場合のいずれの場合であっても、前記通信手段を用いた前記同期信号の通信を行うように、前記画像データ及び前記同期信号の通信を制御する制御工程と
    を有することを特徴とする制御方法。
12. 前記取得工程では、前記通信手段の状態に関する情報として、前記通信手段を用いて通信される前記画像データ及び前記同期信号のデータ量を示す情報を取得し、
    前記制御工程では、前記取得工程において取得された情報が示す前記データ量が所定の閾値を超えない場合、前記通信手段を用いた前記画像データの通信が行われ、前記データ量が所定の閾値を超える場合、前記通信手段を用いた前記画像データの通信が制限されるように前記画像データの通信を制御する
    ことを特徴とする請求項１１に記載の制御方法。
13. 前記所定の閾値は、前記通信手段が通信可能なデータ量であることを特徴とする請求項１２に記載の制御方法。
14. 前記制御工程では、前記通信手段による通信状態が所定の状態でない場合、前記通信手段を用いた前記画像データの通信が制限されるように、前記画像データの通信を制御する
    ことを特徴とする請求項１１乃至１３のいずれか１項に記載の制御方法。
15. 前記所定の状態は、前記通信手段を用いて前記画像データが通信される場合に、所定の品質以上の前記画像データが通信可能な状態である
    ことを特徴とする請求項１４に記載の制御方法。
16. 前記制御工程では、前記取得工程において取得された情報が所定の条件を満たさない場合、前記通信手段を用いて通信される前記画像データのデータ量が制限されるように、前記画像データの通信を制御することを特徴とする請求項１１乃至１５のいずれか１項に記載の制御方法。
17. コンピュータを、請求項１乃至１０のいずれか１項に記載の制御装置として機能させるためのコンピュータプログラム。

Images