JP2018063500A - 画像処理システム、画像処理装置、制御方法、及び、プログラム - Google Patents

Abstract

【課題】複数カメラによる撮影画像から適切な画像が生成されなくなる可能性を低減する。【解決手段】被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムは、複数のカメラのうち、少なくとも１つのカメラの異常を検知し、異常が検知されたカメラの撮影領域の画像として、複数のカメラのうち、異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する。【選択図】 図１

Description

本発明は、被写体を複数の方向から撮影するための複数のカメラを含む画像処理システムに関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高い臨場感を与えることが出来る。

複数視点画像に基づく仮想視点コンテンツは、サーバなどの画像処理部が複数のカメラにより撮影された画像を集約し、三次元モデルを生成し、レンダリングなどの処理を施すことで生成され、閲覧のためにユーザ端末に伝送される。

特許文献１には、複数のカメラで同一の範囲を取り囲むように配置して、その同一の範囲を撮影した画像を用いて、任意の仮想視点画像を生成、表示する技術が開示されている。

特開２０１４−２１５８２８号公報

しかしながら、複数のカメラのうち１つ以上のカメラの状態によっては、適切な仮想視点画像が生成されなくなる恐れがあった。例えば、複数のカメラの間をデイジーチェーン接続するなどしてネットワークの伝送負荷を低減する画像システムにて仮想視点画像を生成する場合に、複数のカメラのうち一部が故障したり、電源が落ちたり、カメラの前に物が置かれたりする場合がありうる。このような場合、例えば、故障したカメラよりもデイジーチェーン接続において前段のカメラによる撮影画像が仮想視点画像の生成のために使用できなくなる可能性がある。そうすると、仮想視点画像の一部に抜けが生じたり、画質が低くなったりする恐れがある。また、上記の課題は、デイジーチェーンではなく、例えばスター型でカメラとサーバを接続するシステムにおいても生じうる。さらに、仮想視点画像の生成に限らず、パノラマ画像など、複数のカメラの撮像画像を用いて画像を生成する場合においても、同様の課題が生じうる。

本発明は、上記の課題に鑑みてなされたものであり、複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減することを目的とする。

上記の目的を達成するための、本発明の一態様による画像処理システムは、以下の構成を有する。すなわち、
被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
前記検知手段により異常が検知されたカメラの撮影領域の画像として、前記複数のカメラのうち、前記検知手段により異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する生成手段とを有する。

本発明によれば、複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減できる。

第１実施形態の画像処理システム１００の構成例を示すブロック図。 カメラアダプタ１２０の機能構成例を説明するブロック図。 通常時の前景・背景画像の生成および伝送を説明するシーケンス図。 障害時の前景・背景画像の生成および伝送を説明するシーケンス図。 前景・背景画像の生成および伝送を説明するフローチャート。 前景・背景画像の生成および伝送を説明するフローチャート。 カメラおよびカメラアダプタの配置例を説明する図。 カメラの撮影画像および背景画像について説明する図。 背景画像のデータフォーマットを説明する図。 実施形態のカメラアダプタ１２０の構成例を示すブロック図。 実施形態における複数の撮影部の配置と視野範囲を示す図。 実施形態における撮影から広視野範囲の生成までの概要を示す図。 実施形態における異常検知部の処理を説明する図。 実施形態における出力画像の変更を説明する図。 実施形態の広視野画像生成処理を示すフローチャート。 実施形態における伝送処理の概要を説明する図。 実施形態における出力画像の変更を説明する図。 実施形態の処理概要を説明する図。 実施形態の撮影制御部の処理を説明する図。 実施形態における処理概要を説明する図。 実施形態における処理を説明する図。

以下、添付の図面を参照して本発明の実施形態の一例について説明する。

＜第１実施形態＞
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。第１実施形態では、複数のカメラから得られた複数の撮影画像に基づいて、仮想視点画像を生成する構成を説明する。

コントローラ３００は制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は画像処理システム１００を構成するそれぞれのブロックに対してネットワーク（３１０ａ〜３１０ｃ、１８０ａ、１８０ｂ）及びデイジーチェーン（１７０ａ〜１７０ｙ）を通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、無線ネットワークなど他の種別のネットワークであってもよい。

最初に、センサシステム１１０ａ〜１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００では、センサシステム１１０ａ〜１１０ｚがデイジーチェーン（１７０ａ〜１７０ｙ）により接続されている。

なお、以下の実施形態において、センサシステム１１０ａ〜１１０ｚまでの２６セットのシステムを区別する必要が無い場合にはセンサシステム１１０と記載する。各々のセンサシステム１１０内の装置についても同様に、区別の必要がない場合は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、図１ではセンサシステムの台数が２６セットの場合を示しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーン（１７０ａ〜１７０ｙ）により接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、複数のセンサシステム１１０間の接続形態はこれに限られるものではない。例えば、センサシステム１１０ａ〜１１０ｚの各々がスイッチングハブ１８０に接続され、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行う、スター型のネットワーク構成でもよい。

また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したがこれに限定されるものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続する接続形態でもよい。この場合、それぞれの分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全てのセンサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて画像コンピューティングサーバ２００における制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行うことで全てのカメラからの画像データが揃うため、画像コンピューティングサーバ２００において全ての画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。

一方、画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全てのカメラからの画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

本実施形態でのセンサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０を有する。なお、この構成に限定されるものではなく、センサシステム１１０は、少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２を有していれば良い。また例えば、センサシステム１１０は１台のカメラアダプタ１２０と、複数のカメラ１１２で構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１２０で構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０以外の装置を含んでいてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、図１に示されるように、センサシステム１１０ａ〜１１０ｚは、同様の構成を有しているものとするが、センサシステム１１０ａ〜１１０ｚが全て同じ構成である必要はない。

センサシステム１１０ａのマイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施される。その後、画像は、デイジーチェーン１７０ａを通してカメラアダプタ１２０ａからセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから伝送された画像及び音声と合わせてセンサシステム１１０ｃに伝送する。このような動作を続けることにより、センサシステム１１０ａ〜１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝送される。そして、スイッチングハブ１８０に伝送された画像及び音声は、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。

なお、第１実施形態では、カメラ１１２ａ〜１１２ｚとカメラアダプタ１２０ａ〜１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ〜１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。上述したデイジーチェーンにより、センサシステム１１０ｚから取得されるデータは、センサシステム１１０ａ〜１１０ｚで取得された画像データを含んでいる。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、タイムサーバ２９０を有する。

タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、ネットワーク２９１およびスイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限られるものではない。例えば、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。結果、データベース２５０には、カメラごとに、フレーム番号と画像及び音声データが対応付けて格納される。バックエンドサーバ２７０では、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像と仮視点音声を生成する。

なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。

レンダリング処理された画像（仮想視点画像）は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。エンドユーザ端末１９０を操作するユーザは、視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像は、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）であってもよいし、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像であってもよい。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を説明するが、必ずしも音声データが含まれていなくても良い。

また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。例えば、圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、圧縮符号化を行わない後者はエンドユーザ端末１９０として非圧縮画像を表示可能なディスプレイを想定している。このように、エンドユーザ端末１９０の種別に応じて画像フォーマットを切り替えることを可能としてもよい。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ〜１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接にセンサシステム１１０ａ〜１１０ｚから画像を取得するようにしてもよい。本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法を用いている。具体的には、センサシステム１１０ａ〜１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報を、フロントエンドサーバ２３０がデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が他機種のカメラに変更されても、機種の変更に起因した変化分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変更された場合に、仮想カメラ操作ＵＩ３３０が適切に動作しなくなるという虞を低減できる。

また、第１実施形態では、仮想カメラ操作ＵＩ３３０が、データベース２５０に直接にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成となっている。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

次に、本実施形態におけるカメラアダプタ１２０の機能ブロックについて図２を利用して説明する。カメラアダプタ１２０は、ネットワークアダプタ４１０、伝送部４２０、画像処理部４３０及び、外部機器制御部４４０を有する。ネットワークアダプタ４１０は、データ送受信部４１１及び時刻制御部４１２を含む。

データ送受信部４１１は、デイジーチェーン１７０を介して他のカメラアダプタ１２０とデータの送受信を行う。また、デイジーチェーン１７０の先頭段と最終段のカメラアダプタ（１２０ａ、１２０ｚ）は、ネットワーク１８０ａ、１８０ｂを介して、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えばデータ送受信部４１１は、カメラ１１２による撮影画像から前景背景分離部４３１により分離された前景画像と背景画像とを、他のカメラアダプタ１２０に対して出力する。ここで、出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部４２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。

時刻制御部４１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙＣｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。なお、ＩＥＥＥ１５８８に限定されるものではなく、他のＥｔｈｅｒＡＶＢ規格または独自プロトコルによってタイムサーバ２９０との時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ４１０としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ ２）とも呼ばれる。

伝送部４２０は、ネットワークアダプタ４１０を介してスイッチングハブ１８０等へのデータの伝送を制御する機能を有し、以下の機能部を含む。

データ圧縮・伸張部４２１は、データ送受信部４１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能を有している。

データルーティング処理部４２２は、後述するデータルーティング情報保持部４２５が保持するデータを利用し、データ送受信部４１１が受信したデータ及び画像処理部４３０で処理されたデータのルーティング先を決定する。さらに、データルーティング処理部４２２は、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが画像処理を行う上で好適である。それぞれのカメラ１１２同士の画像フレーム相関が高くなるからである。複数のカメラアダプタ１２０それぞれのデータルーティング処理部４２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。

同期制御部４２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。

画像・音声伝送処理部４２４は、画像データ又は音声データを、データ送受信部４１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ伝送するためのメッセージを作成する機能を有する。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部４２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部４２４は、他のカメラアダプタ１２０からデータ送受信部４１１を介してメッセージを受取る。そして、画像・音声伝送処理部４２４は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部４２１が伸張処理を行う。

データルーティング情報保持部４２５は、データ送受信部４１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。

画像処理部４３０は、カメラ制御部４４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。画像処理部４３０は、前景背景分離部４３１、三次元モデル情報生成部４３２、キャリブレーション制御部４３３を含む。

前景背景分離部４３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、前景背景分離部４３１は、複数のカメラ１１２のうちの対応するカメラ１１２（当該カメラアダプタ１２０と接続されているカメラ１１２）による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部４３１は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上させることができる。また、前景と背景の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。

三次元モデル情報生成部４３２は、前景背景分離部４３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。

キャリブレーション制御部４３３は、キャリブレーションに必要な画像データを、カメラ制御部４４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。なお本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行っているが、演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３１０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）など他のノードで演算処理が行われてもよい。またキャリブレーション制御部４３３は、カメラ制御部４４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有している。

外部機器制御部４４０は、カメラアダプタ１２０に接続する機器を制御する機能を有する。外部機器制御部４４０は、機能ブロックとして、カメラ制御部４４１、マイク制御部４４２、雲台制御部４４３、センサ制御部４４４を含む。

カメラ制御部４４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御は、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始、停止、ピント調整の指示などを含む。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０とレンズを接続し、カメラアダプタ１２０が直接ズームやピント等のレンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズームやピント等のレンズ調整を行ってもよい。

同期信号提供は、同期制御部４２３がタイムサーバ２９０と同期した時刻を利用して、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、同期制御部４２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部４４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。

マイク制御部４４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク１１１の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部４４１と同様にマイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。

雲台制御部４４３は雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御には、例えば、パン・チルト制御や、パン・チルトの状態取得などがある。

センサ制御部４４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報（振動情報）を取得することができる。画像処理部４３０は、センサ制御部４４４が取得した振動情報を用いて、前景背景分離部４３１での処理に先立って、振動を抑えた画像を生成することができる。例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された上記の機能で位置合わせを行うことができる。その結果、電子的に防振された画像データを生成することができ、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限定されるものではなく、例えばカメラ１１２やカメラアダプタ１２０に内蔵されてもよい。

次に、カメラアダプタ１２０が前景画像及び背景画像を生成して次のカメラアダプタ１２０へ伝送する処理について図５のフローチャートを参照して説明する。

カメラ制御部４４１は、自身に接続されているカメラ１１２から撮影画像を取得する（Ｓ５０１）。次に、前景背景分離部４３１は、Ｓ５０１で取得された撮影画像を前景画像及び背景画像に分離する（Ｓ５０２）。なお、本実施形態における前景画像は、カメラ１１２から取得した撮影画像に対する所定オブジェクトの検出結果に基づいて決定される画像である。所定オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。

次に、データ圧縮・伸張部４２１は、分離した前景画像及び背景画像の圧縮処理を行う（Ｓ５０３）。前景画像に対してはロスレス圧縮が行われ、前景画像は高画質を維持する。背景画像に対してはロスあり圧縮が行われ、伝送データ量が削減される。次に、画像・音声伝送処理部４２４は、圧縮した前景画像と背景画像を、データ送受信部４１１を介して次のカメラアダプタ１２０へ伝送する（Ｓ５０４）。なお背景画像に関しては毎フレーム伝送するのではなく伝送フレームを間引いて伝送してもよい。例えば、撮影画像が６０ｆｐｓである場合に、前景画像は毎フレーム伝送されるが、背景画像は１秒間の６０フレーム中１フレームのみが伝送される。これにより伝送データ量の削減を行う事ができる特有の効果がある。

また画像・音声伝送処理部４２４は、次のカメラアダプタ１２０へ前景画像及び背景画像を伝送する際に、メタ情報を付与するようにしてもよい。例えば、カメラアダプタ１２０またはカメラ１１２の識別子や、フレーム内の前景画像の位置（ｘｙ座標）や、データサイズ、フレーム番号、及び撮影時刻などがメタ情報として付与され得る。また注視点を識別するための注視点グループ情報や、前景画像及び背景画像を識別するデータ種別情報などがメタ情報として付与されてもよい。但しメタ情報として付与されるデータの内容はこれらに限定される訳ではなく、他のデータが付与されてもよい。

なお、カメラアダプタ１２０がデイジーチェーンを通じてデータを伝送する際に、自身に接続されたカメラ１１２と相関の高いカメラ１１２の撮影画像のみを選択的に処理することで、カメラアダプタ１２０における伝送処理負荷を軽減することができる。また、デイジーチェーン伝送において、何れかのカメラアダプタ１２０において故障が発生してもカメラアダプタ１２０間のデータ伝送が停止しないようにシステムを構成することで、ロバスト性を確保できる。

図７は、本実施形態における注視点とカメラ配置を説明する図である。各カメラ１１２は光軸が特定の注視点７０２を向くように設置されている。同じ注視点グループ７０１に分類されるカメラ１１２は、同じ注視点７０２を向くように設置される。

まず、通常時の、複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動する処理シーケンスについて図３を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。また、図１に示される画像処理システム１００には２６台のカメラ１１２とカメラアダプタ１２０が含まれるが、ここでは２台のカメラ（１１２ｂ、１１２ｃ）、及び、４台のカメラアダプタ（１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ）に注目して説明する。カメラ１１２ｂとカメラアダプタ１２０ｂ、及びカメラ１１２ｃとカメラアダプタ１２０ｃは、其々接続されている。なおカメラアダプタ１２０ａおよびカメラアダプタ１２０ｄに接続するカメラ（１１２ａ、１１２ｄ）や、各カメラアダプタ１２０に接続するマイク１１１、雲台１１３、及び外部センサ１１４については省略されている。また、カメラアダプタ１２０ａ〜１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。

同期した撮影タイミング（時刻ｔとする）において、カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して撮影画像（１）及び撮影画像（２）を送信する（Ｆ３０１、Ｆ３０２）。カメラアダプタ１２０ｂ及び１２０ｃは、受信した撮影画像（１）または撮影画像（２）に対して、キャリブレーション制御部４３３においてキャリブレーション処理を行う（Ｆ３０３、Ｆ３０４）。キャリブレーション処理は例えば色補正やブレ補正等である。なお、本実施形態ではキャリブレーション処理が実施されているが、必ずしも実施しなくてもよい。次に、キャリブレーション処理済の撮影画像（１）または撮影画像（２）に対して、前景背景分離部４３１によって前景背景分離処理が行われる（Ｆ３０５、Ｆ３０６）。

次に、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１において圧縮が行われる（Ｆ３０７、Ｆ３０８）。なお分離した前景画像及び背景画像の其々の重要度に応じて圧縮率が変更されてもよい。また、場合によっては圧縮を行わなくてもよい。例えば、カメラアダプタ１２０は、背景画像よりも前景画像の圧縮率が低くなるように、前景画像と背景画像とのうち少なくとも背景画像を圧縮して次のカメラアダプタ１２０に対して出力する。前景画像も背景画像も圧縮する場合、重要な撮影対象を含む前景画像はロスレス圧縮を行い、撮影対象を含まない背景画像に対してはロスあり圧縮を行う。これにより、この後に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を効率的に削減する事ができる。例えばサッカー、ラグビー及び野球等が開催されるスタジアムのフィールドを撮影した場合には、画像の大半が背景画像で構成され、プレーヤ等の前景画像の領域が小さいという特徴があるため、伝送データ量を大きく削減できる。

さらには、カメラアダプタ１２０ｂ又はカメラアダプタ１２０ｃは、重要度に応じて、次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに対して出力する画像のフレームレートを変更してもよい。例えば、前景画像よりも背景画像の出力フレームレートが低くなるように、重要な撮影対象を含む前景画像は高フレームレートで出力し、撮影対象を含まない背景画像は低フレームレートで出力するようにしてもよい。この事によって、次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を更に削減する事ができる。またカメラ１１２の設置場所、撮影場所、及び／又はカメラ１１２の性能などに応じて、カメラアダプタ１２０毎に圧縮率や伝送フレームレートを変更してもよい。また、スタジアムの観客席等の三次元構造は図面を用いて事前に確認することができるため、カメラアダプタ１２０は背景画像から観客席の部分を除いた画像を伝送するようにしてもよい。これにより、後述のレンダリングの時点で、事前に生成したスタジアム三次元構造を利用することで試合中のプレーヤに重点化した画像レンダリングを実施し、システム全体で伝送及び記憶されるデータ量の削減ができるという効果が得られる。

次に各カメラアダプタ１２０は、圧縮した前景画像及び背景画像を隣接するカメラアダプタ１２０に伝送する（Ｆ３１０、Ｆ３１１、Ｆ３１２）。なお、本実施形態では前景画像及び背景画像は同時に伝送されているが、其々が個別に伝送されてもよい。

次に、カメラアダプタ１２０ｂはカメラアダプタ１２０ａから受信した前景画像及び背景画像をカメラアダプタ１２０ｃへ伝送する（Ｆ３１５）。カメラアダプタ１２０ｃも同様にカメラアダプタ１２０ｄへ前景画像及び背景画像を伝送する。なお、本実施形態では前景画像及び背景画像は同時に伝送されているが、其々が個別に伝送されてもよい。カメラアダプタ１２０ｃは、カメラアダプタ１２０ｂが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ伝送する（Ｆ３１６）。さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ伝送する（Ｆ３１７）。

次に、カメラアダプタ１２０ｂが故障時に複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動する処理シーケンスについて図４を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。なお、図４において、カメラアダプタ１２０ａ〜１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。なお、図４では、カメラ１１２ｂまたはカメラアダプタ１２０ｂの故障などにより撮影画像を得ることができない場合を示している。以下、カメラアダプタ１２０ｂの故障として説明する。

同期した撮影タイミング（時刻ｔとする）において、カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して撮影画像（１）及び撮影画像（２）を送信する（Ｆ４０１、Ｆ４０２）。カメラアダプタ１２０ｂは故障しているため、カメラ１１２ｂから撮影画像（１）を受信できず、キャリブレーション制御部４３３においてキャリブレーション処理を行うことができない（Ｆ４０３）。また、前景背景分離部４３１によって前景背景分離処理を行うことができない（Ｆ４０５）。また、前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１において圧縮を行うことができない（Ｆ４０７）。また、カメラアダプタ１２０ｂでは、前景・背景画像（１）が生成されないため、カメラアダプタ１２０ｃに伝送することができない（Ｆ４１１）。

一方、カメラアダプタ１２０ｃでは、カメラ１１２ｃから受信した撮影画像（２）に対して、キャリブレーション制御部４３３がキャリブレーション処理を行う（Ｆ４０４）。また、カメラアダプタ１２０ｃでは、キャリブレーション処理済の撮影画像（２）に対して前景背景分離部４３１が前景背景分離処理を行う（Ｆ４０６）。また、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部４２１が圧縮を行う（Ｆ４０８）。また、画像・音声伝送処理部４２４とデータ送受信部４１１が、圧縮した前景・背景画像（２）をカメラアダプタ１２０ｄに伝送する（Ｆ４１２）。なお、Ｆ４１０、Ｆ４１５、Ｆ４１６の動作は、図３のＦ３１０、Ｆ３１５、Ｆ３１６と同様である。

カメラアダプタ１２０ｂ、１２０ｃは接続しているカメラ１１２ｂ、１１２ｃの撮影画像のほかにカメラアダプタ間で伝送される前景・背景画像を各々カメラアダプタ１２０ｃ、１２０ｄに伝送する。しかし、上述したようにカメラアダプタ１２０ｂの故障等によりカメラアダプタ１２０ｂがカメラ１１２ｂからの撮影画像（１）を受信することができない場合、前景・背景画像（１）は生成されない。したがって、カメラアダプタ１２０ｂからカメラアダプタ１２０ｃに前景・背景画像（１）を伝送することもできない。

カメラアダプタ１２０ｃが、時刻ｔから所定時間内に、カメラアダプタ１２０ｂから前景・背景画像（１）を受信できない場合、カメラアダプタ１２０ｃの前景背景分離部４３１がカメラ１１２ｃによる撮影画像から代替の背景画像（１）を生成する（Ｆ４１３）。続いて、データ圧縮・伸張部４２１が、生成された背景画像（１）に対して圧縮を行う（Ｆ４１４）。圧縮された背景画像（１）は、画像・音声伝送処理部４２４とデータ送受信部４１１によりカメラアダプタ１２０ｄに伝送される（Ｆ４１６）。なお、前景画像、背景画像の両方について代替の画像を生成し、伝送するようにしてもよいが、本実施形態では、代替の背景画像のみを生成し、伝送している。その理由は以下のとおりである。

まず、撮影画像と伝送される背景画像（０）、背景画像（１）、背景画像（２）について説明する。図８（ａ）は撮影画像、図８（ｂ）伝送される背景画像を示す。背景画像は動きが少なく、カメラ１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ間で重複する部分が大きい。このため背景画像は、重複部分を除いた差分が次段に伝送される。図８（ｂ）に示される短冊状の背景画像は、それぞれ別のカメラから得られる背景画像の差分を示している。通常時には、カメラアダプタ１２０ｂがカメラ１１２ｂから伝送された撮影画像（１）から背景画像（１）が生成されるが、カメラ１１２ｂの故障時にはカメラアダプタ１２０ｃが一時保持していた撮影画像（２）から背景画像（１）が生成される。つまり、本実施形態においては隣接するカメラ１１２の撮影範囲には重複領域が存在する。従って、仮にあるカメラ１１２が故障したとしても、当該故障カメラの撮影画像から生成されるべき背景画像は、当該故障カメラに隣接するカメラ１１２による撮影画像から生成できる。こうして、複数のカメラのうち、少なくとも１つのカメラの異常が検知されると、異常が検知されたカメラの撮影領域の画像として、複数のカメラのうち異常が検知されていないカメラの撮影画像を用いて仮想視点画像が生成される。

なお、上述の通り、本実施形態では、背景画像は隣接カメラ間の差分が伝送されるため、カメラの故障により背景画像が伝送されないと、当該差分の部分が欠落し、他の画像から補うことができない。対して、前景画像は、撮影範囲の全体が伝送されるので、前景画像の各部は複数のカメラからの前景画像によって重複している。したがって、代替の前景画像を生成しなくても、合成時に補完することができる。また、上述したように、伝送データ量を削減するために背景画像の伝送フレームレートを低くした場合には、背景画像に欠落があると、その欠落した状態が長く続いてしまう。したがって、本実施形態では、背景画像について代替画像を生成して伝送し、前景画像については代替画像を生成していない。なお、代替画像として生成された背景画像については、その全体が伝送されてもよいし、上述のような差分が伝送されてもよい。

カメラアダプタ１２０ａ〜１２０ｄが作成した前景画像、背景画像はネットワーク接続されたカメラアダプタ１２０間を逐次伝送され、フロントエンドサーバ２３０に伝送される。

なお、図３、図４ではカメラアダプタ１２０ａ及びカメラアダプタ１２０ｄのキャリブレーション処理、前景背景分離処理、及び圧縮処理については記載を省略している。しかし実際には、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｄも、カメラアダプタ１２０ｂやカメラアダプタ１２０ｃと同様の処理を行い、前景画像及び背景画像を作成している。また、ここでは４台のカメラアダプタ１２０間のデータ伝送シーケンスについて説明したが、カメラアダプタ１２０の数が増えても同様の処理が行われる。

次に、カメラアダプタ１２０が隣のカメラアダプタ１２０からデータを受信した時の処理のフローについて図６を使用して説明する。

まず、タイムサーバ２９０からの同期信号に応じて、カメラアダプタ１２０は隣接するカメラアダプタ１２０からのデータの受信待ちの状態となる（Ｓ６０１）。カメラアダプタ１２０の画像・音声伝送処理部４２４は自身の伝送モードがバイパス制御モードか否かを判断する（Ｓ６０２）。バイパス制御モードの場合、画像・音声伝送処理部４２４は、次段のカメラアダプタ１２０へ、前段のカメラアダプタ１２０から受信したデータを伝送する（Ｓ６０６）。

バイパス制御モードでない場合は、画像・音声伝送処理部４２４は、同期信号に応じて対応するカメラ１１２の撮影を実行し撮影画像を受信してから所定時間内に、前段のカメラアダプタ１２０より前景・背景画像を受信したか否か判断する（Ｓ６０３）。カメラアダプタ１２０が所定時間内に前景・背景画像を受信した場合は、例えば図３のＦ３１６、Ｆ３１７に示した通常処理を行う（Ｓ６０４）。所定時間内に前景・背景画像を受信できなかった場合には故障と判断し、例えば図６のＦ４１３〜Ｆ４１６に示した処理が行われる。すなわち、前景背景分離部４３１が受信できずに欠落した背景画像を生成し、生成した背景画像を画像・音声伝送処理部４２４が隣接するカメラアダプタに送信する（Ｓ６０５）。

図９はカメラアダプタ１２０間で伝送される背景画像のデータフォーマットを示した図である。図９に示されるように、伝送される背景画像はヘッダ情報と背景画像データを含む。ヘッダ情報は更に送信元ＩＤ、注視点ＩＤ、フレームナンバー、データ種別、画像領域情報を含む。送信元ＩＤは送信元であるカメラアダプタ１２０を示すＩＤである。注視点ＩＤは送信元であるカメラアダプタ１２０に接続したカメラ１１２の注視点を示すＩＤである。フレームナンバーはヘッダ情報に付随する画像データの撮影時刻を示すものである。データ種別はヘッダ情報に付随するデータの種類を示すＩＤである。画像領域情報はヘッダ情報に付随する画像の注視点領域の範囲を示す座標情報である。

カメラアダプタ１２０は伝送される背景画像やカメラアダプタ１２０に接続したカメラ１１２の注視点領域での座標情報を収集し、欠落した背景画像の座標情報を算出する。そしてカメラ１１２が撮影した画像より欠落した背景画像を生成する。より具体的には、カメラアダプタ１２０は、欠落した背景画像の座標情報に基づいて、撮影画像の切り出し範囲を決定し、当該決定された切り出し範囲の画像から、欠落した背景画像を生成する。

なお、背景画像の座標情報をヘッダ情報から取り出し、欠落した背景画像の座標を算出する例を示したが、予め各カメラ１１２が通常時に担当する背景画像の座標を決めておいてもよい。その場合は所定時間内に伝送されない背景画像の送信元ＩＤを特定することにより、生成する必要がある背景画像の座標情報を得ることができる。

以上のように、複数のカメラ１１２および複数のセンサシステム１１０（画像処理装置）のうちの一部で障害が発生して所定領域の画像が伝送されない場合、次段のセンサシステム１１０が欠落した画像を生成して更に次段の画像処理装置に出力することができる。このため、障害が発生したり、画像処理装置を間引いたりしても画像の欠落がない画像処理システムを実現できる。したがって第１実施形態によれば、カメラ１１２のうち一部が故障したり、電源を落としたりしていても、欠落した背景画像を補完し、仮想視点画像を安定して生成することが出来る。

＜第２実施形態＞
次に第２実施形態について、第１実施形態とは異なる観点で説明する。第１実施形態では、複数のカメラで同時に撮影した画像から仮想視点の画像を生成する構成において、一部のカメラが故障したり電源が落ちたりした場合に、当該カメラの撮影画像を補完する構成を説明した。複数のカメラからの撮影画像を用いて合成画像を生成する技術として、任意視点画像の生成のほかに、たとえば、広視野画像（パノラマ画像）の生成がある。複数のカメラの同期撮影で得られた複数の撮影画像が計算機（サーバ）に伝送、集約され、広視野画像として合成される。

撮影から広視野画像の生成までをリアルタイムもしくはこれに準じた速度で実行することを想定した場合、大量の画像データを扱うため、効率的なデータ伝送や、高速な演算処理が求められる。たとえば、撮影画像に対して予め必要な領域のみを切り出して得られた部分画像を伝送することで、伝送帯域の節約になり、伝送先の計算機における処理対象データも少なくすることが可能となる。しかしながら、このような構成において、複数のカメラのうちの何れかが撮影に失敗すると画像の合成ができなくなってしまう。伝送される画像データが他のカメラの領域をカバーしないからである。なお、撮影に失敗するとは、例えば、カメラの故障や電源オフにより撮影できない場合、連続撮影中にユーザが大きく動いてぶれてしまった場合、撮影中に急に動く物体が映り込んで後から特徴点のマッチングが取れなくなってしまう場合、などがある。第２実施形態では、上記のような構成において、複数のカメラのうちの何れかが撮影に失敗した場合でも、広視野画像の生成を可能にする画像処理システムを説明する。なお、第２実施形態にて生成される広視野画像は、仮想視点画像を生成するために用いることもできる。つまり、本実施形態のサーバは、複数のカメラの撮影画像から広視野画像を生成し、当該広視野画像と、仮想視点の位置に関する視点情報を用いて、仮想視点画像を生成することができる。仮想視点画像の生成方法は、図１を用いて第１実施形態で説明した通りである。

第２実施形態の画像処理システム１００の構成は第１実施形態（図１）と同様であるが、カメラアダプタ１２０の構成が異なる。図１０は、第２実施形態によるセンサシステム１１０におけるカメラアダプタ１２０の構成例を示すブロック図である。図１０において、第１実施形態（図２）と同様の構成には図２と同一の参照番号を付してある。図１０に示されるように、第２実施形態のカメラアダプタ１２０は、画像処理部４３０に異常検知部４３５とトリミング部４３６が設けられている。異常検知部４３５は、カメラ１１２が撮影した撮影画像またはトリミングにより撮影画像から得られた部分画像における異常の発生、存在を検知する。トリミング部４３６は、撮影画像から広視野画像の生成に必要な部分領域を切り出すためのトリミングを行う。

なお、第１実施形態と同様にカメラ１１２ａ〜１１２ｚは、一般的なデジタルカメラやデジタルビデオカメラを用いることができる。カメラ１１２はそれぞれ異なる視野範囲を撮影可能な位置に配置されており、予め定められたフレームレートで動画撮影を行うことによりデジタル画像を得る。なお、撮影フレームレートは１ｆｐｓから６０ｆｐｓまで選択可能であるとする。但し、撮影フレームレートはこれに限定されない。全てのカメラ１１２は同じ撮影フレームレートかつ同じタイミングでの撮影、すなわち同期撮影を実施する。この同期撮影のための同期信号は、たとえばタイムサーバ２９０から各々のセンサシステム１１０へ送信される。

図１１は、カメラ１１２の配置の一例を示す図である。但し、カメラの台数、配置は、図１１に示されるものに限定されない。図１１において、カメラ１１２ａは視野範囲１１０１を撮影し、カメラ１１２ｂは視野範囲１１０２を撮影する。図１１の場合、カメラ１１２ａ〜１１２ｚで撮影した異なる視野範囲の画像を合わせると全周囲（３６０度）の視野がカバーされる。カメラアダプタ１２０のトリミング部４３６は、他のセンサシステム１１０のカメラ１１２と重複している視野範囲のうち、後の広視野画像生成に必要な重複範囲を残すように撮影画像をトリミングする（図１２により後述する）。トリミングした結果の画像データは、画像・音声伝送処理部４２４とデータ送受信部４１１により、画像コンピューティングサーバ２００（フロントエンドサーバ２３０）に伝送される。トリミングの目的は伝送効率の向上である。なお、トリミングする範囲についてはバックエンドサーバ２７０での画像生成方法（広視野画像の生成方法）により予め規定されており、それぞれのカメラアダプタ１２０が把握しているものとする。

また、第１実施形態と同様に、カメラアダプタ１２０のデータ圧縮・伸張部４２１は、画像データをネットワーク部１０３に伝送する際に、伝送効率を向上させるためにデータ圧縮を行う。データ圧縮の方式については特に限定はなく、ＪＰＥＧ−ＬＳなどの可逆圧縮方式でも、ＭＰＥＧなどの非可逆圧縮方式でもよい。また、ネットワーク１８０ｂに接続されるカメラアダプタ１２０ｚは、画像データをネットワークに送信するためにパッキング、パケット分割、ネットワークヘッダの付与などを行い、画像データをネットワーク部１０３へ送信する。

第１実施形態と同様にセンサシステム１１０同士はデイジーチェーンで接続されており、末端のセンサシステム１１０ａと１１０ｚがネットワークに接続されている。ネットワークとしては、コンピュータネットワークの分野で一般的に使用されているＥｔｈｅｒｎｅｔ（登録商標）を用い得る。カメラ１１２により撮影された撮影画像は、カメラアダプタ１２０においてトリミングされた画像データとなり、ネットワーク１８０ｂとフロントエンドサーバ２３０を介してデータベース２５０に集約される。なお、ネットワークの形式は特に限定されるものではなく、光ファイバを使用してリング形式で接続するＦＤＤＩやサーバ間の高速伝送に使用されるＩｎｆｉｎｉＢａｎｄなど他のネットワーク規格でもよい。

本実施形態では高負荷、高速な処理要求を想定している。ネットワークに接続される各部は、たとえば、ネットワークＩＦとして１０ＧｂｉｔのＥｔｈｅｒｎｅｔ（登録商標）規格である１０ＧＢＡＳＥのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を備えている。なお、１０ＧＢＡＳＥのＥｔｈｅｒｎｅｔ（登録商標）規格はＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）で規定されている。また、保存媒体としてのデータベース２５０は、たとえばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を備える。画像コンピューティングサーバ２００としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）などを用いることができるが、特にその種類は問わない。カメラ１１２の台数や撮影するデータの解像度、トリミングの内容やネットワーク部との接続形式によって最適なネットワークＩＦやコンピュータの種類をユーザが選択すればよい。

フロントエンドサーバ２３０は、センサシステム１１０から伝送された画像データ（短冊画像）をデータベース２５０に保存する。したがって、データベース２５０は画像保存部としての機能を有する。バックエンドサーバ２７０は、画像保存部としてのデータベース２５０に格納された画像データ群を合成することで所望の視野範囲の広視野画像（パノラマ画像）を生成する画像生成部の機能を有する。バックエンドサーバ２７０（画像生成部）およびデータベース２５０（画像保存部）は、画像コンピューティングサーバ２００に含まれており、物理的に同体であるとするが、別体で構成されてもよい。

なお、バックエンドサーバ２７０は、パノラマ画像の生成に限らず、撮影画像を３Ｄモデルに張り付けるような機能も含むとする。例えば、カメラ１１２によって撮影された空間の３Ｄモデルが存在し、撮影画像と３Ｄモデルの空間的な座標の対応を求め、３Ｄモデルの平面にテクスチャとして撮影画像を射影するようなケースが想定される。この場合、３Ｄモデルは予め画像コンピューティングサーバ２００内に格納されており、それぞれのカメラ１１２と３Ｄモデルの空間的な位置関係についても予め把握できているものとする。

なお、画像コンピューティングサーバ２００内のＣＰＵの種類や動作周波数については特に制限はない。また、画像の生成をアクセラレーションする目的でコプロセッサやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を併用してもよい。ユーザが必要とする広視野画像の生成速度に応じて適切な種類のデバイスを選択すればよい。

次に、図１２を参照して、個々のカメラ１１２から得られた撮影画像から広視野画像の生成までを概念的に説明する。カメラ１１２で撮影された撮影画像１２０１は、カメラアダプタ１２０において必要な視野範囲部分がトリミングされ、矩形の部分画像（短冊画像）１２０２として示される画像データが生成される。以降、トリミングにより得られた部分画像を短冊画像と呼ぶ。但し、短冊画像という呼称は便宜的なものであり、短冊画像が縦長の画像に限られるものではない。図１２の最下段の広視野画像に示されるように、短冊画像のそれぞれは隣接する短冊画像との間で重複する重複範囲が設けてある。また、図１２では、広視野画像の生成に１０枚の短冊画像が用いられているが、これに限定されるものではない。

デイジーチェーンによりセンサシステム１１０ａ〜１１０ｙで生成された短冊画像はセンサシステム１１０ｚに伝送される。センサシステム１１０ｚからは、自身が生成した短冊画像を含めて、全てのセンサシステムから得られた短冊画像が、ネットワーク１８０ｂを介してフロントエンドサーバ２３０に伝送される。フロントエンドサーバ２３０は、伝送された短冊画像をデータベース２５０に集約、格納する。バックエンドサーバ２７０は、データベース２５０に格納された短冊画像を使用して広視野画像を生成する。

以上のようにして広視野画像を生成する際に、一部のカメラからの撮影画像に異常が存在する場合、バックエンドサーバ２７０は隣接した画像を適切に合成することができなくなり、広視野画像を生成できなくなる。

センサシステム１１０の異常検知部４３５は、たとえば、カメラ１１２で適切な撮影ができなかった場合に、撮影画像に異常が存在するとして異常を検知する。異常が存在する撮影画像の一例を図１３に示す。異常検知部４３５は、カメラ１１２で時刻ｔに撮影された撮影画像１３０１と時刻ｔ＋１で撮影された撮影画像１３０２を比較する。ここで時刻ｔ＋１とはある時刻ｔでの同期撮影の次の同期撮影の撮影タイミングである。撮影画像１３０１と撮影画像１３０２について画素単位で比較すると、領域１３０３が大きく異なっている。この場合、異常検知部４３５は、撮影画像にある閾値以上の変化が生じた場合は撮影画像の異常として検知し、異常通知をカメラアダプタ１２０に送る。撮影画像１３０１と撮影画像１３０２の差異である領域１３０３は、例えばカメラ１１２の前に何か物が置かれた場合が想定される。その他、カメラ１１２自体が故障して領域１３０３について正しく撮影できなくなった場合も同様である。

なお、異常を検知する方法は上記に限定されるものではなく、他にも様々な方法が考えられる。たとえば、上記では画素単位で画像比較を行っているが、比較を行う単位を全画素ではなく間引いた結果の画素で比較してもよい。さらに、画素そのものではなく画像データのヒストグラムを常に取得しておいて、ヒストグラムから撮影画像の異常を判断するようにしてもよい。また、カメラ１１２自体が自身の撮影画像を解析する機能を備えており、撮影画像に異常が生じた際には撮影画像に付与されているメタデータ上に異常フラグを設定するようにしてもよい。その場合、異常検知部４３５は、異常フラグに基づいて異常の発生を検知する。他にも、隣接している視野範囲の近いカメラ１１２同士の画像を比較することで撮影画像の異常が検知されてもよい。

カメラアダプタ１２０は、前段のセンサシステム１１０から異常の検知通知があると、カメラ１１２からの撮影画像に対するトリミングの範囲を変更することで出力画像、すなわち短冊画像を変更する。なお、通常の撮影条件で得られた撮影画像ではトリミング範囲の変更を行えない場合は、カメラ１１２の画角および／または撮影方向を変更する。

図１４を用いて短冊画像（トリミング範囲）の変更について説明する。ここではカメラ１１２の数は１０台である。短冊３を担当するカメラ１１２により撮影された撮影画像１４０１から領域１４０３の短冊画像が切り出され、短冊４を担当するカメラ１１２により撮影された撮影画像１４０２から領域１４０４の短冊画像が切り出されている。図１４（ａ）に示されるように、撮影画像に異常がない場合（正常時）、短冊３を担当するカメラ１１２のカメラアダプタ１２０からは、領域１４０３の短冊画像が伝送される。また、短冊４を担当するカメラ１１２のカメラアダプタ１２０からは、領域１４０４の短冊画像が伝送される。

一方、図１４（ｂ）では短冊３を担当するカメラ１１２から出力される撮影画像１４０１に異常が生じた場合を示している。撮影画像１４０１の異常を異常検知部４３５が検知すると、その旨がカメラアダプタ１２０から次段のセンサシステム１１０（図１４（ｂ）では短冊４を担当するカメラ１１２が属するセンサシステム１１０）に通知される。この通知を受け付けた、短冊４を担当するカメラ１１２のカメラアダプタ１２０（トリミング部４３６）は、短冊４に対応する領域１４０４に短冊３に対応する領域１４０５を加えた領域１４０６の画像を短冊画像として切り出す。短冊４を担当するカメラアダプタ１２０は、異常が検出された領域１４０３の短冊画像を伝送せず、撮影画像１４０２の領域１４０４と領域１４０５を含む領域１４０６、すなわち短冊３と短冊４の領域を含む短冊画像を代替データとして伝送する。この場合、短冊画像として切り出す領域が変更されるので、バックエンドサーバ２７０に対してトリミング領域の変更が通知される必要がある。そのため、領域１４０６の短冊画像のメタデータ領域に変更後の領域範囲情報が付与される。メタデータ領域の領域範囲情報は毎フレーム付与されていることとする。バックエンドサーバ２７０は、毎フレームの領域範囲情報に基づいて合成することで異常が発生した場合にも対応可能となる。バックエンドサーバ２７０は短冊画像のメタ情報に含まれている通知情報に従い、代替の短冊画像を利用した広視野画像の生成を実施する。

なお、異常検知部４３５が、カメラ１１２の撮影画像について異常を検知した場合に、ネットワークを経由してバックエンドサーバ２７０（画像生成部）に検知した異常を通知するようにしてもよい。異常の通知の内容は、具体的には異常が発生したフレーム時刻（もしくはフレーム番号）、出力画像の変更を指示したセンサシステム１１０とその変更内容である。バックエンドサーバ２７０は短冊画像のメタ情報に含まれている通知情報に従い、代替の短冊画像を利用した広視野画像の生成を実施する。このようにすれば、センサシステム１１０においてメタデータ領域への領域範囲情報の付与を省略することができる。

次に図１５のフローチャートを参照して、上述したカメラアダプタ１２０による短冊画像の伝送処理について説明する。まず、カメラアダプタ１２０は、前段から受信した画像データのメタデータに異常の存在を示す情報が含まれているか否かにより、撮影条件の変更が必要か否かを判定する（Ｓ１５０１）。たとえば、前段の短冊画像の領域が通常の撮影条件で得られる撮影画像に含まれないような場合、カメラ１１２の画角および／または撮影方向などの撮影条件を変更する必要がある。撮影条件の変更が必要と判定されると（Ｓ１５０１でＹＥＳ）、たとえばカメラ制御部４４１や雲台制御部４４３は、カメラ１１２の撮影条件を変更する（Ｓ１５０２）。撮影条件の変更が必要でなければ（Ｓ１５０１でＮＯ）、撮影条件を通常の状態に戻す（Ｓ１５０３）。

カメラアダプタ１２０は、フロントエンドサーバ２３０からの同期信号を待つことにより撮影タイミングか否かを判定する（Ｓ１５０４）。撮影タイミングと判定されると（Ｓ１５０４でＹＥＳ）、カメラ制御部４４１はカメラ１１２による撮影を実行し、撮影画像を得る（Ｓ１５０５）。

トリミング部４３６は、前段から受信した画像データに異常の存在を示す情報が含まれているか否かにより、トリミング範囲の変更が必要か否かを判定する（Ｓ１５０６）。トリミングの範囲の変更が必要と判定されると（Ｓ１５０６でＹＥＳ）、トリミング部４３６は、前段の短冊画像の領域を含む短冊画像がＳ１５０５で取得された撮影画像から切り出されるようにトリミング範囲を変更し、トリミングを行う（Ｓ１５０７）。すなわち、トリミング部４３６は、自身が担当する短冊画像の領域と前段のセンサシステム１１０から得られるべき短冊画像の領域を含むように、Ｓ１５０５で取得された撮影画像をトリミングする。他方、トリミングの範囲変更が必要ないと判定されると（Ｓ１５０６でＮＯ）、トリミング部４３６は、通常のトリミングを行なって短冊画像を切り出す。すなわち、トリミング部４３６は、自身の短冊画像を得るようにＳ１５０５で取得された撮影画像をトリミングする。

次に、異常検知部４３５は、Ｓ１５０５で取得された撮影画像（または、Ｓ１５０７またはＳ１５０８で切り出された短冊画像）が、異常が存在する撮影画像か否かをチェックする（Ｓ１５０９）。異常検知部４３５が異常な撮影画像であると判定した場合（Ｓ１５１０でＹＥＳ）、異常検知部４３５はその旨を画像・音声伝送処理部４２４に通知する（Ｓ１５１１）。画像・音声伝送処理部４２４は、Ｓ１５０７またはＳ１５０８で切り出された短冊画像の画像データのメタデータに、以上の存在を示す情報を記述する。

カメラアダプタ１２０は、以上のようにして得られた短冊画像とメタデータを、上流側のセンサシステムで取得されて当該カメラアダプタ１２０へ伝送された画像データとともに、次段のセンサシステム１１０へ伝送する（Ｓ１５１２）。また、カメラアダプタ１２０は前段から画像データを受信する（Ｓ１５１３）。ここで受信された画像データのメタデータは、上述したＳ１５０１およびＳ１５０６の判定に用いられる。Ｓ１５１２における画像データの伝送では、各カメラアダプタ１２０は、前段のセンサシステム１１０から受け取った画像データと合わせて自身で生成した画像データを伝送している。こうして、最終段のセンサシステム１１０ｚは、センサシステム１１０ａ〜１１０ｙで生成された画像データと、自身で生成した画像データをフロントエンドサーバ２３０へ伝送する。フロントエンドサーバ２３０は、伝送された画像データをデータベース２５０に格納する。フロントエンドサーバ２３０は、データベース２５０に格納された、広視野画像の生成に必要な画像データを用いて広視野画像の生成を実施する。

以上説明した短冊画像の伝送処理について、図１６（ａ）を用いて更に説明する。画像データである短冊画像１６０１，１６０２，１６０３，１６０４は、それぞれ撮影時刻ｔにおける短冊１、短冊２、短冊３、短冊４の短冊画像である。異常検知部４３５により短冊画像１６０２に異常が検出されたとする。検出された短冊画像１６０２の異常は異常検知部４３５から次段のセンサシステム１１０に通知されてもよいし、短冊画像１６０２のメタデータとして記録されてもよい。

図１６（ａ）の下部が各々のセンサシステム１１０から伝送される伝送データ群１６０７，１６０８，１６０９を示している。各伝送データには、自身で生成した短冊画像と、前段のセンサシステム１１０で生成された短冊画像が含まれる。撮影時刻ｔの伝送データ群１６０７の中で、異常が生じた撮影画像から生成された短冊画像１６０２を含む伝送データ１６０５は隣接した短冊３のセンサシステム１１０に伝送される。また、撮影時刻ｔの短冊３は伝送データ１６１０に含められ、短冊４のセンサシステム１１０に伝送される。

次の撮影時刻ｔ＋１において、短冊３のセンサシステム１１０は、前回（撮影時刻ｔ）の短冊２の撮影画像に異常があることを認識している。そのため、短冊３のセンサシステム１１０はトリミング領域（必要に応じて撮影条件）を変更し、短冊２の領域を含む短冊３（撮影時刻ｔ＋１）の短冊画像１６０６を生成し、これを伝送データ１６１１として隣接した短冊４のセンサシステム１１０に伝送する。短冊画像１６０６は、撮影時刻ｔの短冊２を代替する代替データを含む画像データである。撮影時刻ｔ＋１において短冊２は正常に取得されており、撮影時刻ｔ＋２の伝送データ１６１２は代替データの含まれていない通常の伝送データとなる。

なお、図１６（ａ）では説明のため、伝送される全てのデータを図示してはいない。たとえば、撮影時刻ｔの伝送データ群１６０７や撮影時刻ｔ＋１の伝送データ群１６０８内には撮影時刻ｔよりも過去のデータが存在しているが、図が煩雑となることと、説明に不要なため不図示としている。

以上のような構成とすることで、カメラ１１２を有するセンサシステム１１０が複数存在し、数珠繋ぎ（デイジーチェーン）に接続され、隣接したセンサシステム１１０に撮影データを送付していく場合に有効になる。異常を検知した異常検知部４３５は、画像データの送付先である隣接したセンサシステム１１０に通知を行い、隣接したセンサシステム１１０がこれに対応する。このような処理により、異常のある画像データがフロントエンドサーバ２３０に到達する前にそのような画像データを代替データへ置き換えることが可能となる。

なお、上記第２の実施形態では複数のセンサシステム１１０がデイジーチェーンで接続された形態を示したが、これに限られるものではない。たとえば、それぞれのセンサシステム１１０がスイッチングハブ１８０とスター型で接続された構成でもよい。スター型で接続した際も、通信相手など論理的な構造として、各カメラ１１２に対して隣接したカメラ１１２を設定、定義することは可能であるため、本実施形態の適応は可能である。

また、第２実施形態では、前段からの画像データ（短冊画像）について異常が検知された場合に、トリミング領域を変更し、図１４（ｂ）に示されるように２つの連続した短冊の領域を１つの短冊として切り出しているが、これに限られるものではない。たとえば、図１４（ｂ）において、撮影画像１４０２から短冊３の領域に対応する短冊画像と短冊４の領域に対応する短冊画像を個別に切り出してもよい。その場合、図１６（ｂ）に示されるように、撮影時刻ｔ＋１では、短冊３の短冊画像と、短冊３とは別個の代替データ１６２０を含む伝送データ１６１１が伝送されることになる。代替データ１６２０は、トリミング部４３６が、撮影時刻ｔ＋１で得られた撮影画像から、短冊２の領域に対応する画像をトリミングにより取得することにより得られた短冊画像であり、撮影時刻ｔの短冊２を代替するデータとして用いられる。

なお、第２実施形態では１つのカメラ１１２による撮影画像に異常が存在する場合について述べたが、複数のカメラ１１２による撮影画像に同時に異常が発生した場合も同様に対応が可能であることは明らかである。また、連続する複数のカメラ１１２からの画像データに異常がある場合は、トリミングにより切り出される領域を、それら異常が検出された画像データの領域を含むように拡張すればよい。

以上のように第２実施形態によれば、画像を切り出して伝送後に合成して広視野画像を生成する構成において、複数のカメラの一部において撮影画像に異常が生じても、広視野画像を生成することが可能となる。

また、異常検知部４３５が検知した内容をバックエンドサーバ２７０の画像生成部に通知し、通知を受けた画像生成部が対応することでも対応が可能となる。このような対応により、カメラアダプタ１２０が伝送する短冊画像のメタデータに埋め込む処理は不要となる。

＜第３実施形態＞
第２実施形態では、異常検知部４３５は次段のセンサシステム１１０へ撮影画像の異常を通知し、その次段のセンサシステム１１０においてトリミング領域を変更することで、異常の生じた画像データを補完した。第３実施形態では、画像データの異常を検知した異常検知部４３５が２つ以上のセンサシステム１１０に異常の発生を通知することで、２つ以上のセンサシステム１１０がトリミング領域を変更し、異常の生じた画像データを分担して補完する。

第３実施形態の構成は第２実施形態（図１、図１０）と同様である。第３実施形態では、異常検知部４３５からの通知を受けたカメラアダプタ１２０の処理（トリミング領域の変更の仕方）が第２実施形態とは異なる。以下、図１７を参照して第３実施形態の処理を説明する。なお、説明を簡易にするため、図１７ではセンサシステム１１０の台数は５台とするが、これに限定されないことは言うまでもない。

図１７において、領域１７０１は広視野画像全体の視野範囲を示している。例えば、広視野画像としての領域１７０１の中の領域１７０２が、短冊１のセンサシステム１１０ａの担当する領域であるとする。撮影画像に異常が発生していない通常時、短冊１のセンサシステム１１０ａは領域１７０２を担当している。同様に短冊２のセンサシステム１１０ｂは領域１７０３、短冊３のセンサシステム１１０ｃは領域１７０４、短冊４のセンサシステム１１０ｄは領域１７０５、短冊５のセンサシステム１１０ｅは領域１７０６を担当している。

ここで、短冊２のセンサシステム１１０ｂにおいて撮影画像の異常が発生したとする。この場合、センサシステム１１０ｂの異常検知部４３５ｂは、短冊１、３、４、５それぞれの担当のセンサシステム１１０ａ、１１０ｃ、１１０ｃ、１１０ｅに対し、担当視野範囲を変更する目的で、トリミング位置の変更（異常の発生）を指示する。通常時は広視野全体に対し５台のカメラ１１２で均等の領域を割り振っているが、撮影画像に異常が発生した場合には、他の４台のカメラ１１２からの異常が発生していない撮影画像で広視野全体の領域を割り振るようにトリミング位置を変更する。図１７ではセンサシステム１１０ａは短冊画像の領域を領域１７０２から領域１７０７に変更する。同様にセンサシステム１１０ｃ〜１１０ｅにおいても、それぞれ短冊画像の領域を領域１７０４から領域１７０８へ、領域１７０５から領域１７０９へ、領域１７０６から領域１７１０へ変更する。

撮影画像又は短冊画像の異常が発生した場合に、第２実施形態の場合は短冊３のセンサシステム１１０から出力される短冊画像の大きさが他のセンサシステム１１０と比較して大きくなる。そのため、広視野画像を生成するバックエンドサーバ２７０は図１４の領域１４０４、１４０５を含む短冊画像に対して他の短冊画像と異なる対応が必要となる。これに対して、第３実施形態では、短冊画像の大きさを均等に変更することが可能であり、広視野画像の生成における負荷が第２実施形態に比べて軽減される。第３実施形態は、１つのカメラの異常状態が比較的長い期間続くような場合に特に有効である。

なお、第３実施形態では、撮影画像又は短冊画像の異常が発生した場合、異常を検知した異常検知部４３５が、少なくともトリミング領域を変更するべき複数のセンサシステム１１０にその旨を通知する。異常の通知はデイジーチェーンを介して行われてもよいし、他の方法で実現されてもよい。たとえば、異常検知部４３５から画像コンピューティングサーバ２００に通知し、画像コンピューティングサーバ２００からトリミング領域の変更が必要なセンサシステム１１０に通知するようにしてもよい。トリミング領域の変更が指示されたセンサシステム１１０では、指示を行ったセンサシステムが切り出す短冊画像の広視野画像の視野範囲（領域１７０１）における位置や大きさから、必要なトリミング領域を求める。トリミング領域を求めるのに必要な情報は、各センサユニットが予め保持してもよいし、異常を通知するセンサシステムから通知されてもよいし、画像コンピューティングサーバ２００から通知されるようにしてもよい。

第３実施形態によれば、全てのカメラ１１２が短冊領域としては同様の大きさを持つことになり、画像生成部（バックエンドサーバ２７０）は特定の短冊領域のみに対して特別な処理を行う必要がなくなる。なお、図１７では、短冊２の領域をカバーするために、短冊２を担当するカメラ以外の全てのカメラ（カメラ１１２ａ、１１２ｃ〜１１２ｅ）からの撮影画像のトリミングを変更したがこれに限られるものではない。たとえば、カメラ１１２ｂの両隣のカメラ１１２ａ、１１２ｃからの撮影画像のトリミングを変更して短冊２の領域をカバーするようにしてもよい。

＜第４実施形態＞
第２実施形態および第３実施形態では、あるカメラの撮影画像に異常が検知された場合に、当該カメラから得られるべき短冊画像を、他のカメラから得られる正常な撮影画像を用いてにおけるトリミングの領域を変更して得られた画像により補完した。第４実施形態では、センサシステム１１０にバッファを設けておき、撮影画像の取得失敗に備えて取得に成功した撮影画像を保持してく。バッファに保持された撮影画像を用いて異常が検知された短冊画像を補完する。第４実施形態の画像処理システム１００及びカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。以下、図１８を参照して、第４実施形態の動作について説明する。なお、図１８では、センサシステム１１０の台数が１０台の場合を例として説明している。

図１８を用いて撮影画像に異常があった場合の第４実施形態における処理を示す。第４実施形態では、センサシステム１１０はバッファ１８０２を画像データの一時保存領域として備えている。同期撮影におけるある撮影時刻ｔに対して一つ前の撮影タイミングである撮影時刻ｔ−１で撮影した撮影画像をバッファ１８０２に常に保持しておく。図１８において、短冊３を担当するカメラ１１２の撮影画像に対して、異常検知部４３５が異常を検知した場合を想定する。この場合、カメラアダプタ１２０は撮影に失敗した撮影時刻ｔの撮影画像１８０１の代替として、バッファ１８０２に保持してある撮影時刻ｔ−１の撮影画像１８０３をトリミングして短冊画像を生成し、その画像データを出力する。なお、上記では撮影画像をバッファ１８０２に保持したがこれに限られるものではない。撮影時刻ｔ−１の撮影画像のトリミングにより得られた短冊画像をバッファ１８０２に保持しておき、撮影時刻ｔの撮影画像に異常が検出された場合に、バッファ１８０２に保持されている短冊画像を伝送するようにしてもよい。また、バッファ１８０２には、異常検知部４３５が異常を検知しなかった場合の撮影画像または短冊画像が保持されるようにしてもよい。

また、上記ではセンサシステム１１０ごと（カメラ１１２ごと）にバッファ１８０２を設けた構成としているが、バッファ１８０２をデータベース２５０に設けた構成としてもよい。その場合、短冊３を担当するセンサシステム１１０では、カメラアダプタ１２０が次段へ伝送される短冊画像に付与されるメタデータに撮影異常を示すフラグを立てる。データベース２５０は画像生成の目的で通常画像を保存しているため、特に追加の保存領域は必要ない。フロントエンドサーバ２３０は、撮影時刻ｔの短冊画像（撮影画像１８０１から得られた短冊画像）のメタデータに撮影異常を示すフラグが立っていた場合、バッファ１８０２内の過去時刻ｔ−１の短冊画像を撮影時刻ｔの代替データとしてデータベース２５０に格納する。

また、カメラ１１２が故障し、後段に画像データを出力できない場合は、画像データに付加されたメタデータでの対応ができない。この場合は、異常検知部４３５がフロントエンドサーバ２３０に直接に異常を通知し、通知を受けたフロントエンドサーバは過去時刻ｔ−１の画像データ（撮影画像１８０３）を撮影時刻ｔの代替データとするように指示する。或いは、後段に伝送すべき短冊画像が得られない場合に、カメラアダプタ１２０が異常の発生を示す異常情報を後段へ伝送させるようにしてもよい。

以上のように、第４実施形態によれば、センサシステムや画像生成部にトリミング範囲の変更という特別な機能を持たせることなく、広視野画像生成が可能となる。なお、代替データは撮影時刻ｔ−１の撮影画像に対応しているため、他の短冊画像との間に撮影時刻のずれがある。しかしながら、画像データの大きな部分を占める背景画像は時間的な変化が小さいので時間が最小限に異なる短冊画像が用いられても影響は少ない。なお、一部の短冊画像のみが過去時刻ｔ−１の画像データとなることにより他の時刻ｔの短冊画像（画像データ）と整合が取れなくなる場合がある。この場合、他の短冊画像についても時刻ｔ−１の短冊画像が用いられるようにしてもよい。

＜第５実施形態＞
第５実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。第５実施得形態では、撮影の失敗時に通常の撮影タイミングを待たずに、追加撮影を実施することにより、異常のない短冊画像を得る。以下、図１９を用いて第５実施形態を説明する。なお、図１９ではカメラ１１２（センサシステム１１０）の台数が１０台の場合を例示している。

カメラ１１２は、図１９に示すように撮影時刻ｔ−１（１９０１）、撮影時刻ｔ（１９０２）、撮影時刻ｔ＋１（１９０３）と一定の間隔１９０４で連続撮影を実施する。これらの撮影時刻は同期撮影の撮影タイミングである。各撮影時刻は、すべてのカメラで同期した時刻である。なお、図示されてはいないが撮影時刻ｔ−１より前の時刻、および撮影時刻ｔ＋１より後の時刻も同様に一定の間隔１９０４で連続撮影が行われる。ここで、撮影時刻ｔ（１９０２）における撮影が失敗し、画像データに異常が生じ、異常が検知されたとする。この場合、第５実施形態では、次の撮影時刻ｔ＋１（１９０３）を待たずに追加の撮影が実施される。図１９では時刻１９０５で追加撮影が実施されている。

時刻１９０２におけるカメラ１１２による撮影画像の異常を異常検知部４３５が検知すると、異常検知部４３５はカメラ制御部４４１に対して追加撮影を指示する。追加撮影の指示を受けたカメラ制御部４４１は指示を受けてから撮影可能な最速のタイミングで追加撮影を実施する。

撮影時刻ｔ（１９０２）での撮影に失敗するが、撮影時刻１９０５での再撮影では撮影に成功するようなケースは、ごく短時間で撮影失敗の原因が除去されるケースである。例えば、撮影機器の前に短時間だけ何か障害物が映り込んだがすぐに障害物が移動するような場合が想定される。なお、撮影時刻１９０５での追加撮影時でも撮影の失敗が継続した場合は、撮影時刻ｔ＋１での撮影よりも前に再度の追加撮影を実施する。

第５実施形態によれば、撮影画像の領域１９０６（短冊３）が使用できない場合に、追加撮影を行って得られた正常な撮影画像の領域１９０７を代替の画像データとして使用することが可能となる。また、追加撮影の時刻は通常の撮影時刻である時刻ｔ＋１（１９０３）よりも早い時刻であり、撮影時刻ｔとの差が少ない。そのため、追加撮影による撮影画像の方が、撮影時刻ｔ＋１での撮影画像と比較して、時刻のずれによる画像の差が少なくなる。なお、撮影失敗を検知してから追加撮影を行うまでの時間が撮影の間隔１９０４を超えてしまう場合には、追加撮影を行わず、次の撮影時刻である時刻ｔ＋１（１９０３）での撮影を行う。

画像データに付与されるメタデータに撮影時刻が記録されることは一般的である。本実施形態でもバックエンドサーバ２７０で短冊画像を合成する際に同時刻の複数の画像データを集約して使用するために撮影時刻のメタデータが参照される。本実施形態では、撮影時刻ｔの撮影画像から得られる画像データの代替として、撮影時刻ｔより後で撮影時刻ｔ＋１よりも前の追加撮影により得られる画像データが伝送される。そのため、追加撮影で得られた画像データに付加されるメタデータには、撮影を失敗しなかった他のセンサシステム１１０から得られた画像データと異なる時刻が記録されることとなる。この場合、バックエンドサーバ２７０は撮影されるはずであった撮影時刻ｔに最も近い時刻が記録されている画像データを、撮影時刻ｔに撮影された他の画像データに合成し、広視野画像を生成する。

なお、追加撮影された画像データのメタデータ上の撮影時刻を記録する際に、撮影時刻として撮影画像の異常が検知された同期撮影の撮影時刻ｔを記録するようにしてもよい。たとえば、図１９の例において、時刻１９０５の追加撮影で得られた短冊画像に撮影時刻ｔを記録するようにしてもよい。この場合、バックエンドサーバ２７０はメタデータ上の撮影時刻に対し特別な処理を行う必要がなく、通常通りの合成処理を行うことができる。

以上のように、第５実施形態によれば、次の撮影タイミングを待つことなく、追加の撮影を行うことで、隣接した短冊画像間の撮影時間の差異による差異の影響を少なくした広視野画像生成が可能となる。

＜第６実施形態＞
上述した各実施形態では、カメラ１１２の撮影フレームレートとカメラアダプタ１２０の伝送フレームレートは同じである。したがって、原則として撮影したデータは全て伝送される構成である。第６実施形態では予め撮影フレームレートを伝送フレームレートより高くすることにより、撮影画像に異常が生じた場合に対応する。第６実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。以下、図２０を参照して第６実施形態の動作を説明する。なお、図２０では、本実施形態ではカメラ１１２の数が１０台の場合を例示している。

図２０で示すように短冊画像の伝送は、伝送時刻Ｔの間隔（時刻２００１、時刻２００２、時刻２００３）で実施される。この伝送タイミングに対して、カメラ１１２の撮影は撮影時刻ｔの間隔（本例では時刻Ｔの１／１２の間隔）で実施される。すなわち、伝送時刻Ｔ（２００２）と伝送時刻Ｔ＋１（２００３）の間に１２回撮影が実施される。なお、本例では、撮影時刻の間隔を伝送時刻の間隔の１／１２としたが、これに限定されない。２００４は、カメラ１１２による撮影タイミングの一例である。また、センサシステム１１０は撮影した撮影画像から取得された画像データを一時保存するバッファを備え、撮影画像に異常が無ければバッファに保存されている短冊画像を更新する。そして、伝送タイミングでは一時保存用のバッファに格納されている最新の短冊画像を伝送する。

たとえば、図２０では、時刻２００７までの間では正常な撮影画像が取得され（期間２００５）、撮影時刻２００７の次の撮影タイミングから時刻２００２（伝送時刻Ｔ）まで撮影画像に異常が検知されている（期間２００６）とする。撮影画像に異常が検知された場合、一時保存用のバッファに格納されている画像データの更新は行われない。この場合、伝送タイミングの時刻２００２（伝送時刻Ｔ）では、バッファに撮影時刻ｔ−３で得られた短冊画像が最新の短冊画像として保持されている。時刻２００２では、最後に取得された正常な撮影画像、すなわち時刻２００７の撮影画像から得られた短冊画像が伝送される。撮影時刻２００７の画像データは時刻２００２（伝送時刻Ｔ）より前の時刻において最も近い時刻で撮影画像から得られた短冊画像である。

図２０の時刻ｔの撮影画像２００８、時刻ｔ−１の撮影画像２００９、時刻ｔ−２の撮影画像２０１０は撮影失敗時の撮影画像である。バッファには、時刻ｔ−３の撮影画像２０１１から得られた短冊画像が保持されており、伝送時刻Ｔでは撮影画像２０１１から切り出された短冊画像が伝送される。

なお、第６実施形態においても撮影データに付与されるメタデータ上の撮影時刻情報については第５実施形態と同様に、伝送タイミングの時刻と異なる撮影時刻が付与されることになる。また、第５実施形態と同様、実際の撮影時刻に関わらず、伝送時刻である時刻Ｔがそのまま代替データに付与されるようにしてもよい。

第５実施形態の対応を行うことにより、予め伝送フレームレートよりも高いフレームレートで撮影を行うことで、追加の撮影なしに失敗した撮影時刻に最も近い代替データを取得することが可能となる。

＜第７実施形態＞
第２実施形態では、あるセンサシステム１１０のカメラ１１２（第１のカメラ）の撮影画像に異常が検出さると、次段のセンサシステム１１０のカメラ１１２（第２のカメラ）で得られた撮影画像から代替データが生成される。したがって、第１のカメラから異常が検知された撮影画像が得られた場合に、代替データは、第１のカメラとは異なる位置姿勢に配置された第２のカメラから得られた撮影画像から生成される。第６実施形態では、第２のカメラから得られた撮影画像を用いて、第１のカメラのための代替データを生成する場合に、第１のカメラと第２のカメラの位置関係を考慮する。第６実施形態の画像処理システム１００およびカメラアダプタ１２０の構成は第２実施形態（図１、図１０）と同様である。なお、第７実施形態では、図１６（ｂ）で説明したように、第２のカメラに対応する短冊画像と、第１のカメラに対応する短冊画像のための代替データとが、別個に取得される。

以下、図２１を参照して、第７実施形態によるカメラアダプタ１２０のトリミング処理について説明する。第２実施形態の処理と同様に短冊３の短冊画像（領域２１０１の画像データ）に異常がある場合を想定する。短冊４を担当するセンサシステム１１０が短冊４の短冊画像（領域２１０２）に加えて、短冊画像（領域２１０３）を追加し、領域２１０３の画像を短冊３の領域２１０１の代替データとする。ここまでは第２実施形態と同様である。

第７実施形態では、領域２１０３の画像データに対して、短冊３を担当するカメラ１１２ａと短冊４を担当するカメラ１１２ｂの配置の差異について考慮した処理を追加する。具体的には、短冊３を担当するカメラ１１２ａと短冊４を担当するカメラ１１２ｂは撮影される視野領域に重複する部分があるが、領域２１０１と領域２１０３とではカメラの位置や姿勢の差による画像データとしての差異が生じる。

そこで、本実施形態では、予めカメラの位置や姿勢に関するパラメータをそれぞれのセンサシステム１１０の間で共有しておく。そして、他のセンサシステム１１０の代替データとしてトリミング範囲を変更する際に、カメラによる撮影位置の差に基づいて代替データに幾何的な補正処理を実施する。図２１では領域２１０３のデータに対して、位置姿勢の差異分（図上では概念的に角度２１０４で示す）、短冊３を担当するカメラ１１２ａから撮影したデータに合わせるように幾何補正処理を実施する。角度２１０４は短冊４のカメラ１１２ｂの領域２１０３に対する位置姿勢と、短冊３のカメラ１１２ａの領域２１０１に対する位置姿勢との差異である。当該位置姿勢の差異はカメラ１１２ａと１１２ｂの物理的な配置位置の差異から生じる。

幾何補正処理としては、予め把握しているカメラの位置姿勢パラメータから他のカメラの撮影平面に合わせたホモグラフィ（射影変換行列）を求め、代替データ領域部分のデータに対して行列演算を行う。このような補正処理により、あたかも短冊３を担当するカメラ１１２ａによる撮影データであるかのような代替データを得ることができる。この補正処理を行うことで、バックエンドサーバ２７０で広視野画像を生成する際の生成画像の精度が向上する。なお、上述した補正処理は、図１６（ａ）で得られる短冊画像１６０６に適用することも可能である。その場合、短冊画像１６０６のうちの短冊２の領域に対応する部分（図１４の領域１４０５）に上記補正処理を適用すればよい。

なお、上記第２実施形態〜第６実施形態では、異常検知部４３５が各センサユニット１１０ごとに、すなわち各カメラ１１２ごとに設けられているがこれに限られるものではない。単一の異常検知部４３５によって複数のセンサユニット１１０における撮影画像または短冊画像における異常の存在を検知するようにしてもよい。この場合、単一の異常検知部４３５は、異常を検知した撮影画像が取得されたセンサユニット１１０に対して撮影画像又は短冊画像に異常が存在する旨を通知する。また、特に第３実施形態では、単一の異常検知部４３５が、トリミング変更の必要な２つ以上のセンサユニットにその旨を通知するように構成することができる。

以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。たとえば、第１実施形態〜第７実施形態は、合成画像の生成に用いるための複数の画像を複数のカメラで撮影された複数の撮影画像から得る構成において、１部のカメラの画像が使用できない場合に、これを補完するものである。したがって、第１実施形態では任意視点画像の生成を例示し、第２〜第７実施形態では広視野画像の生成を例示したが、第１実施形態の構成を広視野画像の生成に、第２〜第７実施形態の構成を任意視点画像の生成に適用できることは明らかである。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：センサシステム、１１１：マイク、１１２：カメラ、１１３：雲台、１２０：カメラアダプタ、１８０：スイッチングハブ、１９０：エンドユーザ端末、２３０：フロントエンドサーバ、２５０：データベース、２７０：バックエンドサーバ、２９０：タイムサーバ、３１０：制御ステーション、３３０：仮想カメラ操作ＵＩ

Claims (27)

1. 被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
   前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
   前記検知手段により異常が検知されたカメラの撮影領域の画像として、前記複数のカメラのうち、前記検知手段により異常が検知されていないカメラの撮影画像を用いて仮想視点画像を生成する生成手段とを有することを特徴とする画像処理システム。
2. 前記複数のカメラは複数の画像処理装置に接続され、
   前記複数の画像処理装置の各々は、
   前記複数のカメラのうちの対応するカメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成手段と、
   前記第１の生成手段により生成された画像を送信する第１の送信手段と、
   前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成手段と、
   前記第２の生成手段で生成された前記代替データを送信する第２の送信手段と、を備えることを特徴とする請求項１に記載の画像処理システム。
3. 前記第１の送信手段は、前記予め定められた順序において次段の画像処理装置に前記第１の生成手段により生成された画像を送信することを特徴とする請求項２に記載の画像処理システム。
4. 前記第２の送信手段は、前記出力されるべき画像が前記前段の画像処理装置から受信されなかったことを検出した場合に、前記代替データを前記次段の画像処理装置に送信することを特徴とする請求項３に記載の画像処理システム。
5. 前記出力されるべき画像が受信されなかったことを検出した場合とは、前記撮影画像の撮影タイミングから所定時間内に前記出力されるべき画像が受信されない場合であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理システム。
6. 前記複数の画像処理装置はデイジーチェーンにより、前記予め定められた順序で接続されている請求項２乃至５の何れか１項に記載の画像処理システム。
7. 前記第１の生成手段は、前記撮影画像から前景画像と背景画像を生成し、前記背景画像については他の画像処理装置から得られる背景画像との差分を生成し、
   前記第２の生成手段は、前記撮影画像から、前記前段の画像処理装置が担当する領域の背景画像を用いて前記代替データを生成することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理システム。
8. 被写体を複数の方向から撮影するための複数のカメラと、前記複数のカメラが接続される複数の画像処理装置と、を有し、前記複数の画像処理装置から送信された画像を用いて合成画像を生成するための画像処理システムの制御方法であって、
   前記複数の画像処理装置の各々が、
   前記複数のカメラのうちの対応するカメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成工程と、
   前記第１の生成工程で生成された画像を送信する第１の送信工程と、
   前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成工程と、
   前記第２の生成工程で生成された前記代替データを送信する第２の送信工程と、を有することを特徴とする画像処理システムの制御方法。
9. 被写体を撮影するためのカメラに接続され、予め定められた順序が付与されて接続された複数の画像処理装置のうちの一つとして機能することができる画像処理装置であって、
   前記カメラから得られた撮影画像から送信の対象となる画像を生成する第１の生成手段と、
   前記第１の生成手段により生成された画像を送信する第１の送信手段と、
   前記複数の画像処理装置の予め定められた順序において前段の画像処理装置から出力されるべき画像が出力されなかったことを検出した場合に、出力されるべき画像の代替データを、前記撮影画像から生成する第２の生成手段と、
   前記第２の生成手段で生成された前記代替データを送信する第２の送信手段と、を備えることを特徴とする画像処理装置。
10. 前記複数のカメラから得られる複数の撮影画像のそれぞれから前記仮想視点画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    前記検知手段により少なくとも１つのカメラの異常が検知された場合に、前記異常が検知されたカメラの撮影領域の画像を補うために、前記異常が検知されていない他のカメラの撮影画像からの、前記切り出し手段による部分画像の切り出し範囲を変更する変更手段と、を備えることを特徴とする請求項１に記載の画像処理システム。
11. 前記変更手段は、変更後の切り出し範囲の切り出しを可能にするために、必要に応じて対応するカメラの撮影条件を変更することを特徴とする請求項１０に記載の画像処理システム。
12. 前記撮影条件は画角および／または撮影方向であることを特徴とする請求項１１に記載の画像処理システム。
13. 前記複数のカメラには予め順序が付与されており、
    前記変更手段は、異常が検知された撮影画像または異常が検知された部分画像が切り出された撮影画像を撮影した第１のカメラの、前記順序における次段の第２のカメラについて切り出し範囲を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理システム。
14. 前記変更手段は、前記第２のカメラから得られた撮影画像から、前記第１のカメラに対応した部分画像の領域と前記第２のカメラに対応した部分画像の領域を含む領域を切り出すように前記切り出し範囲を変更することを特徴とする請求項１３に記載の画像処理システム。
15. 前記変更手段は、前記第２のカメラから得られた撮影画像から、前記第１のカメラに対応した部分画像の領域と前記第２のカメラに対応した部分画像の領域をそれぞれ個別に切り出すように前記切り出し範囲を変更することを特徴とする請求項１３に記載の画像処理システム。
16. 前記第１のカメラに対応した部分画像について、前記第１のカメラと前記第２のカメラによる撮影の位置に応じた幾何的な補正処理を実施することを特徴とする請求項１５に記載の画像処理システム。
17. 前記変更手段は、前記異常が検知された部分画像の領域の画像を補うように、前記複数のカメラのうちの２つ以上のカメラについて切り出し範囲を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理システム。
18. 前記変更手段は、前記２つ以上のカメラにおける変更後の切り出し範囲の大きさが等しいことを特徴とする請求項１７に記載の画像処理システム。
19. 被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムであって、
    前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知手段と、
    前記検知手段により少なくとも１つのカメラの異常が検知された場合、当該異常が検知されたカメラの異常検知の前の撮影タイミングで得られた撮影画像を用いて仮想視点画像を生成する生成手段とを有することを特徴とする画像処理システム。
20. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    同期信号に同期した撮影タイミングで前記複数のカメラによる撮影を実行して複数の撮影画像を得る取得手段と、
    前記複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    前記複数の撮影画像の各々または前記複数の部分画像の各々について異常の存在を検知する検知手段と、
    前記複数のカメラのうち、前記検知手段により異常の存在が検知された撮影画像を提供したカメラに、前記同期信号による次の撮影タイミングよりも前に、追加撮影を行わせる制御手段と、を備えることを特徴とする画像処理システム。
21. 前記追加撮影により得られた部分画像には、撮影時刻として前記撮影タイミングの時刻を付与することを特徴とする請求項２０に記載の画像処理システム。
22. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影手段と、
    前記第２のレートで撮影された複数の撮影画像または前記複数の撮影画像から得られる複数の部分画像の各々について異常の存在を検知する検知手段と、
    前記複数のカメラから得られる複数の撮影画像のそれぞれから、前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、
    前記検知手段により異常が検知されなかった部分画像をバッファに保持する保持手段と、
    前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の部分画像を前記合成画像の生成に用いる部分画像として取得する取得手段と、を備えることを特徴とする画像処理システム。
23. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムであって、
    同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影手段と、
    前記第２のレートで撮影された複数の撮影画像の各々について異常の存在を検知する検知手段と、
    前記検知手段により異常が検知されなかった撮影画像をバッファに保持する保持手段と、
    前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の撮影画像から前記合成画像の生成に必要な複数の部分画像を切り出す切り出し手段と、を備えることを特徴とする画像処理システム。
24. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    前記複数のカメラから得られる複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、
    前記複数の撮影画像または前記複数の部分画像の各々について異常の存在を検知する検知工程と、
    前記検知工程で撮影画像または部分画像において異常が検知された場合に、前記異常が検知された部分画像の領域の画像を補うために、次に撮影される撮影画像からの、前記切り出し手段による部分画像の切り出し範囲を変更する変更工程と、を有することを特徴とする画像処理システムの制御方法。
25. 被写体を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像を生成するための画像処理システムの制御方法であって、
    前記複数のカメラのうち、少なくとも１つのカメラの異常を検知する検知工程と、
    前記検知工程において少なくとも１つのカメラの異常が検知された場合、当該異常が検知されたカメラの異常検知の前の撮影タイミングで得られた撮影画像を用いて仮想視点画像を生成する生成工程とを有することを特徴とする画像処理システムの制御方法。
26. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    同期信号に同期した撮影タイミングで前記複数のカメラによる撮影を実行して複数の撮影画像を得る取得工程と、
    前記複数の撮影画像のそれぞれから前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、
    前記複数の撮影画像の各々または前記複数の部分画像の各々について異常の存在を検知する検知工程と、
    前記複数のカメラのうち、前記検知工程で異常の存在が検知された撮影画像を提供したカメラに、前記同期信号による次の撮影タイミングよりも前に、追加撮影を行わせる制御工程と、を有することを特徴とする画像処理システムの制御方法。
27. 被写体を複数の方向から撮影するための複数のカメラから得られる撮影画像に基づいて合成画像を生成する画像処理システムの制御方法であって、
    同期信号による同期撮影の第１のレートよりも高い第２のレートで前記複数のカメラによる撮影を行う撮影工程と、
    前記第２のレートで撮影の撮影タイミングで前記複数のカメラによって撮影された複数の撮影画像の各々について異常の存在を検知する検知工程と、
    前記検知工程で異常が検知されなかった撮影画像をバッファに保持する保持工程と、
    前記同期撮影のタイミングにおいて、前記複数のカメラのそれぞれについて、前記バッファに保持されている最新の撮影画像から前記合成画像の生成に必要な複数の部分画像を切り出す切り出し工程と、を有することを特徴とする画像処理システムの制御方法。

Images