JP2021082864A - システム、その制御方法、及びプログラム - Google Patents

Abstract

【課題】通信回線上に障害が発生した場合にも、仮想視点画像の生成を行うシステム、その制御方法及びプログラムを提供する。【解決手段】画像処理システムは、第１通信回線と第２通信回線との何れかにおいて通信障害の発生が検出されたことに基づいて、通信障害が発生した通信回線で送信されていた第１データまたは第２データの送信に用いる通信回線を、通信障害が発生していない通信回線に変更する。【選択図】図３

Description

本発明は、仮想視点からの画像を生成する技術に関する。

近年、複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該同期撮像により得られた複数視点からの画像を用いて、撮像装置の設置位置ではない任意の視点からの画像（いわゆる仮想視点画像）を生成する技術が注目されている。この技術によれば、例えばサッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

複数の画像に基づく仮想視点画像の生成及び閲覧では通常、複数の撮像装置が撮像した画像を、サーバなどの画像処理装置に一旦集約する。そして、この画像処理装置にて、前景と背景との分離、三次元モデル生成、レンダリング等の画像処理を実行することで仮想視点画像を生成し、ユーザ端末に該生成した仮想視点画像を送信する。

この際、仮想視点画像の背景として予め用意したスタジアム等のモデルデータを用い、前景の形状推定を行って、それらに色を付けることで三次元形状モデルを生成することが一般的に行われている。またこの際、撮像装置をネットワークで接続し、撮像データや、該撮像データに画像処理を施したデータ、該撮像データに関するデータをネットワーク経由で送信（データの転送を含む）することが行われている。

特許文献１には、前景画像データや背景画像データ等の全てのデータを、同一通信回線を用いて送信することが開示されている。

特開２０１７−２１２５９３号公報

しかしながら、特許文献１では、通信回線上で障害が発生してしまうと、データの重要度にかかわらず、通信障害からの復旧のためにデータ通信を制限してしまう。従って、仮想視点画像を生成するためのデータの送信に支障をきたし、仮想視点画像の生成に支障をきたしてしまっていた。

そこで本発明は、上記の課題に鑑み、通信回線上に障害が発生した場合にも、仮想視点画像の生成を行うようにすることを目的とする。

本発明の一実施形態は、複数の撮像装置と第１通信回線により接続され、該複数の撮像装置で取得され該第１通信回線を用いて送信される第１データを取得する第１取得手段と、前記複数の撮像装置と第２通信回線により接続され、該複数の撮像装置で取得され該第２通信回線を用いて送信される、前記第１データと異なる第２データを取得する第２取得手段と、前記第１データおよび前記第２データに基づき、仮想視点画像を生成する生成手段と、通信障害の発生を検出する検出手段と、前記検出手段により、前記第１通信回線と前記第２通信回線との何れかにおいて通信障害の発生が検出されたことに基づいて、通信障害が発生した通信回線で送信されていた前記第１データまたは前記第２データの送信に用いる通信回線を、通信障害が発生していない通信回線に変更するよう制御する制御手段と、を有することを特徴とするシステムである。

本発明によれば、通信回線上に障害が発生した場合にも、仮想視点画像の生成を行うことが可能になる。

第１の実施形態における画像処理システム等のハードウェア構成を示すブロック図。 第１の実施形態における撮像装置等の機能ブロック図。 第１の実施形態における処理のフローチャート。 通信障害の様子を表した模式図。 第２の実施形態における撮像装置の機能ブロック図。 第２の実施形態における処理のフローチャート。 第３の実施形態における処理のフローチャート。

以下、本開示に係る実施形態について、図面を参照しながら説明する。

［第１の実施形態］
図１（ａ）は、第１の実施形態における画像処理システム１００のハードウェア構成を模式的に表したブロック図である。画像処理システム１００は、撮像装置１０１ａ〜１０１ｄと、通信回線１０２ａ〜１０２ｃと、前景生成サーバ１０３と、背景生成サーバ１０４と、仮想視点画像を生成する画像生成サーバ１０５と、を有する。尚、本明細書では、撮像装置１０１ａ〜１０１ｄ等の構成要素の符号について、特に区別する必要が無ければ、小文字を末尾に付けないで単純に記載する（例えば撮像装置１０１等と記載する）。また、仮想視点画像とは、実カメラとは異なる仮想カメラの位置及び向き等に基づいて生成される画像であり、自由視点画像や任意視点画像とも呼ばれる。

撮像装置１０１は、撮像装置で撮像された画像に対し、前景オブジェクトと背景オブジェクトとを分離するオブジェクト分離処理を伴う画像処理を実施する。そして、撮像装置１０１は、この画像処理によって生成した前景画像データを前景生成サーバ１０３に送信し、該画像処理によって生成した背景画像データを背景生成サーバ１０４に送信する。図１（ａ）に示すように、画像処理システム１００は撮像装置１０１を複数有し、本例では、画像処理システムが４台の撮像装置を有するケースを示している。但し、画像処理システムが有する撮像装置の数は４に限定されない。詳しくは、少なくとも２台以上の撮像装置１０１が接続されている構成であれば何台の撮像装置１０１が接続された構成であってもよい。

尚、ここでは、撮像により取得される画像に基づき前景画像と背景画像とを生成するケースを挙げて説明するが、本実施形態はこのようなケースに限定されない。例えば、特定のオブジェクトＡおよびオブジェクトＢを抽出するものであってもよい。また、分離するオブジェクトは２種類に限定されず、さらにオブジェクトＣやオブジェクトＤ、それ以上の種類にオブジェクトを分離するようなものなど、２種類以上であればよい。さらには、１つ以上のオブジェクトを抽出し、該抽出したオブジェクトと該抽出したオブジェクト以外という分離の仕方でもよい。

通信回線１０２は、撮像装置１０１、前景生成サーバ１０３、および背景生成サーバ１０４の間の通信を行う通信回線である。通信回線１０２として、Ｅｔｈｅｒｎｅｔのような物理的な通信ケーブルを用いて双方向通信を行うものを採用する。撮像装置１０１ａ〜１０１ｄはそれぞれ、各撮像装置において生成された前景画像データを、通信回線１０２ａを介して、前景生成サーバ１０３に送信または転送する。また、撮像装置１０１ａ〜１０１ｄはそれぞれ、各撮像装置において生成された背景画像データを、通信回線１０２ｂを介して、背景生成サーバ１０４に送信または転送する。通信回線１０２ｃは、前景生成サーバ１０３と、背景生成サーバ１０４と、画像生成サーバ１０５とを相互に接続するネットワーク回線である。

尚、ここでは、撮像装置１０１ａ〜１０１ｄの間をつなぐ通信回線１０２ａおよび通信回線１０２ｂはデイジーチェーン接続されているものとするが、通信回線１０２ａと通信回線１０２ｂとの少なくとも一つがデイジーチェーン接続されていればよい。また、撮像装置１０１間（例えば、撮像装置１０１ａと撮像装置１０１ｂとの間など）では２つの通信回線を用いているが、本実施形態はこれに限らない。例えば、分離されるオブジェクト種類の数が３以上である場合に、撮像装置１０１間の通信回線を３以上用意してもよい。

前景生成サーバ１０３は、撮像装置１０１で生成された前景画像を用いて、仮想視点画像の生成に必要な前景モデルの形状や色を推定する処理を行う。背景生成サーバ１０４は、撮像装置１０１で生成された背景画像を用いて、仮想視点画像の生成に必要な背景テクスチャ画像のデータを生成する処理を行う。画像生成サーバ１０５は、前景生成サーバ１０３で推定した前景モデルの形状や色の情報と、背景生成サーバ１０４で生成した背景テクスチャ画像データとに基づいて、ユーザに指示された仮想視点からの仮想視点画像をレンダリングする。

尚、ここでは、撮像画像内のオブジェクトは２種に分類され、前景画像と背景画像との２種類の画像が生成されるケースを挙げて説明するが、本実施形態はこれに限定されない。オブジェクトが３種以上に分類される場合には、その種類の数に応じたサーバを有するように画像処理システムを設計してよい。また、前景生成サーバ１０３と、背景生成サーバ１０４と、画像生成サーバ１０５とは、物理的に異なるハードウェアであるが、これらの一部または全部を物理的に同一個体のハードウェアとして実装してもよい。

図１（ｂ）は、前景生成サーバ１０３、背景生成サーバ１０４、画像生成サーバ１０５等のサーバのハードウェア構成を示すブロック図である。これらのサーバはそれぞれ、ＣＰＵ１１１と、主記憶装置１１２と、補助記憶装置１１３と、外部Ｉ／Ｆ１１４と、ＧＰＵ１１５と、を有し、それらが内部バス１１６を介して相互に通信可能に接続されている。

ＣＰＵ１１１は、サーバにおける各構成要素を制御する中央演算装置である。主記憶装置１１２は、ＣＰＵ１１１のワークエリアやデータの一時的な記憶領域として機能する記憶装置である。主記憶装置１１２は、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ ＭＡｃｃｅｓｓ Ｍｅｍｏｒｙ（ＤＲＡＭ）やＳｔａｔｉｃ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＳＲＡＭ）等の記憶媒体を用いて実装されてもよい。

補助記憶装置１１３は、各種プログラム、各種設定情報、各種画像データ、カメラパラメータ、３次元形状データ、２次元マップ等の情報を記憶する記憶装置である。補助記憶装置１１３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やフラッシュメモリ等の不揮発性メモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、テープメディア等の記憶媒体を用いて実装されてもよい。

外部Ｉ／Ｆ１１４は、外部の機器との通信に利用され、ジョイスティックやキーボード、マウスなどのユーザによる各種操作を受け付ける外部機器との接続や、ファイル入出力を行うための外部ストレージなどを接続する汎用的な入出力インターフェースである。また、外部Ｉ／Ｆ１１４は、ＥｔｈｅｒｎｅｔやＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）などの物理的なケーブルの接続端子を持つインターフェース、または無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線を用いたインターフェース等で実装されてもよい。

ＧＰＵ１１５は、画像処理演算を高速に実行するための演算装置である。前景生成サーバ１０３では、仮想視点画像の前景を生成するための前景形状や色の推定を行い、背景生成サーバ１０４では、仮想視点画像の背景を生成するための背景テクスチャ生成などを行う。画像生成サーバは、前景生成サーバ１０３および背景生成サーバ１０４で生成された情報を取得し、該取得した情報に基づき仮想視点画像を生成する。また、これらのサーバはそれぞれ、テレビなどの外部映像表示装置に対して映像信号を出力する機能をさらに有してもよい。ＧＰＵ１１５は、映像信号の出力を行うための端子として、ＤＶＩやＨＤＭＩ（登録商標）、Ｄｉｓｐｌａｙ Ｐｏｒｔ、ＳＤＩなどを有していてもよい。また、ＧＰＵ１１５は、主記憶装置１１２とは異なる主記憶装置を内部に有していてもよい。さらに、ＧＰＵ１１５は、ＣＰＵ１１１で行われる各種演算の一部または全部を行ってもよい。

内部バス１１６はＰＣＩＥｘｐｒｅｓｓ等で構成されるバスである。但し、内部バスはＰＣＩＥｘｐｒｅｓｓに限らず、相互に通信可能な任意の規格のものを採用してよい。

尚、図１（ｂ）に示したサーバの構成はあくまで例示である。図１（ｂ）に示す各構成要素の機能を別のハードウェアで実現してもよく、同一の機能を有するハードウェアを複数有してもよい。また、主記憶装置１１２および補助記憶装置１１３を１つのハードウェアで実現してもよい。また、ＧＰＵ１１５の代わりにＦＰＧＡや画像処理演算回路を有するＬＳＩなどを用いてもよく、また、これらを複数あるいは組み合わせて、画像処理システムを構成してもよい。また、これらの画像処理演算を行う装置を有さずに、画像処理演算をＣＰＵによって行う構成であってもよい。また、前景生成サーバ１０３、背景生成サーバ１０４、及び画像生成サーバ１０５が物理的に同一のハードウェアで実現し、このハードウェアがＧＰＵ１１５を複数有する構成としてもよい。このような構成を採用した場合、前景生成サーバ１０３と、背景生成サーバ１０４と、画像生成サーバ１０５とのそれぞれで実行されていた処理は、ＧＰＵ１１５のそれぞれに分けて実行されることとなる。また、前景生成サーバ１０３と、背景生成サーバ１０４と、画像生成サーバ１０５とのそれぞれの構成の一部または全部が異なっていてもよい。

図１（ｃ）は、撮像装置１０１のハードウェア構成を示すブロック図である。撮像装置１０１は、ＣＰＵ１１１と、主記憶装置１１２と、補助記憶装置１１３と、外部Ｉ／Ｆ１１４と、ＧＰＵ１１５と、撮像素子１２１と、を有する。これらの構成要素は、内部バス１１６を介して相互に通信可能に接続されている。ＣＰＵ１１１〜ＧＰＵ１１５については、前述したものと同一であるので、説明を割愛する（図１（ｂ）参照）。

撮像素子１２１には、レンズやＣＭＯＳセンサー等が含まれており、撮像素子１２１を用いることで、光学的に結像し、撮像した画像を電子データとして取得する。取得された画像データは主記憶装置１１２に一時的に記憶された後、ＣＰＵ１１１やＧＰＵ１１５によって各種の画像処理が施される。その後、画像処理が施された画像データは、外部Ｉ／Ｆ１１４の通信によって、前景生成サーバ１０３または背景生成サーバ１０４に送信される。なお、撮像装置の構成は、ここで挙げたものに限られない。撮像装置がＣＣＤなど他のセンサーや任意の光学系を有していてもよい。

図２（ａ）は、撮像装置１０１の機能ブロック図である。撮像部２０１は、撮像素子１２１を用いた撮像により画像データを取得し、該取得した画像データを分離部２０２に送る。

分離部２０２は、撮像部２０１によって取得された画像データを受信し、前景画像と背景画像とに分離する。この分離により生成された前景画像データと背景画像データとは、通信選択部２０５に送られる。尚、ここでは、前景と背景とに分離しているが、他のオブジェクトを撮像画像から分離する場合、本モジュールを当該他のオブジェクトに対応するオブジェクト分離モジュールに置き換えてもよい。例えば、サッカー等のスポーツシーンを撮像する場合に、人物とボールとに分離するような分離の仕方などが考えられる。また、ここでは、前景と背景との２つに分離しているが、分離目標をさらに追加して３以上に分離してもよく、例えば選手、ボール、背景の分離や、選手、ボール、影、背景の分離など、複数のオブジェクトに分離されるものでもよい。

前景通信部２０３ａと背景通信部２０３ｂとはそれぞれ、Ｅｔｈｅｒｎｅｔなどの通信回線を有し、これを用いて、撮像装置１０１は、前景生成サーバ１０３と背景生成サーバ１０４とのそれぞれとの間で通信を行う。前景通信部２０３ａには通信回線１０２ａが接続されており、背景通信部２０３ｂには通信回線１０２ｂが接続されている。また、前景通信部２０３ａおよび背景通信部２０３ｂは、デイジーチェーンで接続されている。

情報取得部２０４は、前景通信部２０３ａおよび背景通信部２０３ｂが接続される通信回線に通信障害が起こっているか否か等の通信障害に関する情報（通信障害情報とする）を取得し、通信回線の障害の有無を示す情報を通信選択部２０５に通知する。

通信選択部２０５は、情報取得部２０４により通知された通信回線の障害の有無を示す情報を取得する。そして、通信選択部２０５は、この情報に基づき、分離部２０２から受信した前景画像データと背景画像データとの両方を、前景通信部２０３ａと背景通信部２０３ｂとの何れかの通信回線を用いて送るか否かを選択的に決定する。前景画像データと背景画像データとの両方を、前景通信部２０３ａと背景通信部２０３ｂとの何れかの通信回線を用いて送る場合には、通信選択部２０５は、前景通信部２０３ａまたは背景通信部２０３ｂに、前景画像データおよび背景画像データを送る。

また、デイジーチェーンで接続された通信回線１０２ａまたは通信回線１０２ｂによって受信した自身に宛てたデータではないデータについても同様に、通信回線１０２ａと通信回線１０２ｂとの何れを用いてデータを転送するか、選択的に決定する。本実施形態では、通信選択部２０５が情報取得部２０４から通信回線の障害発生を示す情報を受信していない場合、前景画像データは、前景通信部２０３ａ経由で通信回線１０２ａを介して転送されるものとする。またこの場合、背景画像データは、背景通信部２０３ｂ経由で通信回線１０２ｂを介して転送されるものとする。

図２（ｂ）は、前景生成サーバ１０３の機能ブロック図である。サーバ通信部２１１ａは、通信回線１０２ｃに接続され、背景生成サーバ１０４および画像生成サーバ１０５と相互に接続される。前景受信部２１２は、通信回線１０２ａに接続され、撮像装置１０１から送信された前景画像データを受信し、該受信した前景画像データを形状推定部２１３に送る。また、前景生成サーバ１０３は前景受信部２１２を介し、通信障害情報を撮像装置１０１に対して送信することができる。

形状推定部２１３は、ユーザによって予め設定される撮像装置の位置や姿勢を表すカメラパラメータと、サーバ通信部２１１ａから受信した前景画像データとに基づいて、前景の形状および色を推定することで、前景モデルを生成する。サーバ通信部２１１ａは、形状推定部２１３によって生成された前景モデルデータを、通信回線１０２ｃを介して画像生成サーバ１０５に送信する。尚、前景の形状および色を推定する方法はどのようなものを用いてもよく、例えばＶｉｓｕａｌＨｕｌｌと呼ばれる方法などがある。

障害検出部２１４ａは、前景受信部２１２の通信状態を監視し、通信回線に異常が発生したことおよび通信回線が復旧したことを検出して、検出結果の情報を後述する障害制御部２１５ａに送信する。また、障害検出部２１４ａは、通信障害情報を背景生成サーバ１０４からサーバ通信部２１１ａを介して受信した場合にも、該受信した通信障害情報を後述する障害制御部２１５ａに送信する。通信回線の異常の検出についてはどのような方法を採用してもよい。例えば、既定の時間内に撮像装置１０１との間に通信が無い場合に、それ以降の通信に通信障害が発生したと判定する方法が考えられる。また例えば、既定の間隔でｐｉｎｇなど、相手に対して応答要求を行うパケットを投げて応答が返らない場合や応答時間が想定される時間以上に、通信障害が発生していると判定する方法も考えられる。

障害制御部２１５ａは、通信回線の異常発生及び復旧の情報を、障害検出部２１４ａから受信し、該受信した情報に基づき、仮想視点画像の生成に必要なデータの送信方法の変更などの指示を出す。障害検出部２１４ａが通信回線１０２ａにおける障害発生を検出した場合、前景生成サーバ１０３は、通信障害情報を背景生成サーバ１０４に伝える。また、障害制御部２１５ａが背景生成サーバ１０４からサーバ通信部２１１ａを介して通信障害情報を受信した場合、障害制御部２１５ａは、通信障害の内容を分析して、新たに用いる通信経路などの変更された通信方法を求める。そして、前景生成サーバ１０３は、前景受信部２１２を介して撮像装置１０１に対して、変更された通信方法に関する情報および通信障害情報を通知する。尚、変更された通信方法に関する情報を、通信障害情報に含めて通知してもよい。

図２（ｃ）は、背景生成サーバ１０４の機能ブロック図である。サーバ通信部２１１ｂ、障害検出部２１４ｂ、および障害制御部２１５ｂは、サーバ通信部２１１ａ、障害検出部２１４ａ、および障害制御部２１５ａと同様であるため、説明を省略する（図２（ｂ）参照）。

背景受信部２１６は通信回線１０２ｂに接続され、撮像装置１０１から背景画像データを受信し、該受信した背景画像データを背景テクスチャ生成部２１７に送信する。また、背景生成サーバ１０４は背景受信部２１６を介し、通信障害情報を撮像装置１０１に対して送信することができる。

背景テクスチャ生成部２１７は、背景モデルデータに張り付けるテクスチャ画像データを演算によって求める。この際、背景テクスチャ生成部２１７は、ユーザによって予め設定される背景の形状を示すメッシュモデルデータ、及び、撮像装置１０１の位置や姿勢を表すカメラパラメータ、並びに、背景受信部２１６から受信した背景画像データを用いる。背景テクスチャ生成部２１７は、求めたテクスチャ画像データを、サーバ通信部２１１ｂから通信回線１０２ｃを介して画像生成サーバ１０５に送信する。ここで背景モデルデータに張り付けるテクスチャ画像データを求める方法はどのような方法を採用してもよく、例えば、背景モデルデータ上の頂点座標を撮像画像上に投影して対応点を求め、求めた対応点に基づき射影変換を行うなどの方法がある。

図２（ｄ）は、画像生成サーバ１０５の機能ブロック図である。ユーザ操作部２１８は、キーボードやマウス、ジョイスティックなどのコントローラを用いて仮想視点の操作を受け付け、仮想視点のカメラパラメータを画像生成部２１９に送信する。

画像生成部２１９は、ユーザ操作部２１８を介して入力された仮想視点のカメラパラメータに基づき、仮想視点画像を生成する。この際、画像生成部２１９は、前景生成サーバ１０３によって生成された前景モデルデータ、並びに、背景生成サーバ１０４によって生成された背景テクスチャ画像データおよび背景の形状を示すメッシュモデルデータを用いる。

＜画像処理システムで実行される処理＞
以下、本実施形態における画像処理システム１００において実行される各処理について、図３を用いて説明する。図３（ａ）は、前景生成サーバ１０３によって実行される通信障害の検出に関する処理のフローチャートである。尚、図３（ａ）に示す処理は、通信障害発生時に実行されてもよいし、例えば１秒毎など一定の間隔で実行されてもよい。

ステップＳ３０１では、障害検出部２１４ａとして機能する前景生成サーバ１０３のＣＰＵ１１１は、通信障害の発生を検出したか判定する。本ステップの判定結果が真の場合、ステップＳ３０２に進む。一方、本ステップの判定結果が偽の場合、一連の処理は終了する。尚、以降では「ステップＳ〜」を「Ｓ〜」と略記する。

図４は、画像処理システム１００において、通信障害が発生した状況を模式的に表した図である。撮像装置１０１ｂと撮像装置１０１ｃとの間の通信回線４０２ａにおいて、何らかの理由によって通信障害４０１が発生し、通信回線４０２ａを介した通信ができなくなっている。図４で示した通信障害が発生した場合に、前景生成サーバ１０３の障害検出部２１４ａは、通信障害を検出する。

Ｓ３０２では、障害検出部２１４ａとして機能する前景生成サーバ１０３のＣＰＵ１１１は、通信回線に発生した通信障害の内容を分析し、通信回線のどこに通信障害が発生しているか、つまり通信障害の発生箇所を特定する。尚、本実施形態は、通信障害の種類によって限定されない。また、通信障害として例えば、通信ケーブルの断線や劣化、温度や電波などの環境によるものなど様々な障害が考えられる。

例えば、図４に示したケースでは、撮像装置１０１ｂと撮像装置１０１ｃとの間の通信回線４０２ａに障害が発生していることを検出する。障害の検出方法としては、任意の方法を採用してよい。例えば、前景生成サーバ１０３において、撮像装置１０１ａおよび撮像装置１０１ｂからの前景画像データの受信が一定時間以上滞っている場合や、ｐｉｎｇなどの応答要求が無い場合に、障害発生検出としてよい。また、障害検出部２１４ａは、端末や回線などの情報に基づき、障害が発生している場所を特定することができる。

Ｓ３０３では、サーバ通信部２１１ａとして機能する前景生成サーバ１０３のＣＰＵ１１１は、通信回線１０２ｃを介して、通信障害の発生などを示す通信障害情報を背景生成サーバ１０４に送信する。

図３（ｂ）は、通信障害発生の通知を受ける背景生成サーバ１０４によって実行される処理のフローチャートである。

Ｓ３１１では、障害検出部２１４ｂとして機能する背景生成サーバ１０４のＣＰＵ１１１は、前景生成サーバ１０３から通信障害発生の通知を受信したか判定する。本ステップの判定結果が真の場合、ステップＳ３１２に進む。一方、本ステップの判定結果が偽の場合、Ｓ３１１の判定処理が再び実行される。

Ｓ３１２では、障害検出部２１４ｂとして機能する背景生成サーバ１０４のＣＰＵ１１１は、受信した通信障害情報を分析し、通信障害の発生箇所を特定する。また、障害検出部２１４ｂは、この分析により得た通信障害の発生箇所などの通信障害情報を、障害制御部２１５ｂに送る。

Ｓ３１３では、障害制御部２１５ｂとして機能する背景生成サーバ１０４のＣＰＵ１１１は、障害検出部２１４ｂから受信した情報に基づき、通信障害を回避可能な通信経路を導出する。例えば、図４のケースでは通信障害４０１が発生しているため、通信回線４０２ａを用いず、撮像装置１０１ｂと撮像装置１０１ｃとの間では通信回線４０２ｂを用いるように通信障害を回避するための通信経路を求める。

Ｓ３１４では、背景受信部２１６として機能する背景生成サーバ１０４のＣＰＵ１１１は、通信回線を介して撮像装置１０１ｂに対し、通信障害情報を送信する。図４のケースでは、通信障害情報の送信の際、撮像装置１０１ｃと撮像装置１０１ｄとの間では通信回線１０２ｂが用いられ、撮像装置１０１ｂと撮像装置１０１ｃとの間では通信回線４０２ｂが用いられる。また、背景受信部２１６は、撮像装置１０１ｂに対して、代替経路として通信回線４０２ｂを用いるよう使用回線を変更する旨の指示も、通信障害情報に含めて、或いは、通信障害情報と共に送信する。

図３（ｃ）は、通信障害情報を受信する撮像装置１０１によって実行される処理のフローチャートである。

Ｓ３２１では、通信選択部２０５として機能する撮像装置１０１のＣＰＵ１１１は、前景通信部２０３ａと背景通信部２０３ｂとの少なくとも一方を介して情報取得部２０４が、通信障害情報を受信したか判定する。本ステップの判定結果が真の場合、ステップＳ３２２に進む。一方、本ステップの判定結果が偽の場合、Ｓ３２１の判定処理が再び実行される。尚、本実施形態では、情報取得部２０４が受信する通信障害情報には、代替経路等の情報が含まれる。例えば、図４のケースでは、通信障害を回避するために使用回線を通信回線４０２ｂに変更する旨の指示である。このような情報は前述したように、Ｓ３１４にて背景生成サーバ１０４によって撮像装置１０１に送信される。

Ｓ３２２では、通信選択部２０５として機能する撮像装置１０１のＣＰＵ１１１は、情報取得部２０４から受信した通信障害情報に基づき、前景画像データを送信するために用いる通信経路と、背景画像データを送信するために用いる通信経路とを決定する。図４のケースでは、撮像装置１０１ｂが受信した通信障害情報に基づき、撮像装置１０１ｂの通信選択部２０５は、前景画像データの送信に使用する通信回線について、通信回線４０２ａから通信回線４０２ｂに切り替えて、前景画像データの送信を行う。

図３（ａ）〜図３（ｃ）のフローによって、撮像装置１０１ｂと撮像装置１０１ｃとの間の通信回線４０２ａで発生していた通信障害４０１を、通信回線４０２ｂを用いて回避することができる。

尚、ここでは、通信障害４０１発生時に、前景画像データと背景画像データとの両方を、通信回線４０２ｂを用いて送信する形態について説明したが、本実施形態はこの形態に限定されない。例えば、背景画像データより前景画像データが重要であることがユーザによって予め設定されている場合に、背景画像データ送信用の通信回線と、前景画像データ送信用の通信回線とを入れ替える等、前景画像データを送信するための通信回線を変更してもよい。つまり、通信障害が発生している通信回線４０２ａを背景画像データ送信用に、通信回線４０２ｂを前景画像データの送信用として割り当てることで、前景画像データが正しく送信ないし転送されるようになる。但し、この場合、背景画像データが正しく送信されなくなる。また、撮像装置１０１ｂのみにおいて、使用する通信回線の変更等の設定変更を行うのではなく、全ての撮像装置１０１ａ〜１０１ｄにおいて、同様の設定変更を行ってもよい。また、通信回線の変更に合わせて、前景生成サーバ１０３と背景生成サーバ１０４がその役割を入れ替えてもよい。また、前景生成サーバ１０３および背景生成サーバ１０４は、通信回線の切り替えや通信障害によってデータの一部が受信できない場合には、受信できる範囲のデータに基づいて、前景形状推定および背景テクスチャ画像データの導出を行ってもよい。

また、前述の内容では、通信障害が１か所のみで起こった場合について説明したが、通信障害が複数箇所で起こった場合にも、本実施形態を適用可能である。撮像装置１０１ａと撮像装置１０１ｂとの間や撮像装置１０１ｃと撮像装置１０１ｄとの間の通信回線１０２ａ、１０２ｂ等の複数箇所において通信障害が発生した場合でも、使用する通信回線を同様に変更して通信を行うことができる。

［第２の実施形態］
本実施形態では、通信障害を回避する際に、通信帯域が足りない場合の対応について説明する。尚、以降では、既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。

図５は、本実施形態における、撮像装置１０１’の機能ブロック図である。図５に示すように、本実施形態の撮像装置１０１’は、帯域計算部５０１と、通信データ量削減部５０２と、を更に有する点で、第１の実施形態と異なる（図２（ａ）参照）。尚、システムに含まれる前景生成サーバなどのサーバの構成については、第１の実施形態と同様であるため、説明を省略する。

帯域計算部５０１は、通信選択部２０５によって前景通信部２０３ａおよび背景通信部２０３ｂのそれぞれに転送するデータの通信量を計算によって求め、通信選択部２０５に通信可能な通信データ量を通知する。

通信データ量削減部５０２は、前景画像データ、背景画像データ等のデータ量を削減してデータサイズを小さくする。データ量の削減方法としては、データの圧縮、画像サイズの縮小や、ビット深度の変更、フレームレートの変更、などがあげられる。データの圧縮では、可逆圧縮またはＭＰＥＧやＪＰＥＧなどの不可逆圧縮によるデータ圧縮による削減や、不可逆圧縮における圧縮率の変更などを行う。画像サイズの縮小では、画像データの解像度が変更される。例えば、画像の解像度が３８４０＊２１６０である場合に、半分の１９２０＊１０８０に縮小される。ビット深度の変更では、画素値表現が変更される。例えば、画像データの色情報のビット深度がＲＧＢ各色１６ｂｉｔの場合に、ＲＧＢ各色８ｂｉｔに変更される。フレームレートの変更では、例えば６０ｆｐｓのデータを３０ｆｐｓや２４ｆｐｓとしたりする。尚、ここであげたデータ量の削減方法は例示に過ぎず、可逆的、不可逆的を問わず任意のデータ量削減方法を採用してよい。

図６は、本実施形態における撮像装置１０１’が通信障害情報を受信した場合に実行する処理のフローチャートである。

Ｓ３２１では、通信選択部２０５として機能する撮像装置１０１’のＣＰＵ１１１は、前景通信部２０３ａと背景通信部２０３ｂとの少なくとも一方を介して情報取得部２０４が通信障害情報を受信したか判定する。本ステップの判定結果が真の場合、ステップＳ６０１に進む。一方、本ステップの判定結果が偽の場合、Ｓ３２１の判定処理が再び実行される。

Ｓ６０１では、帯域計算部５０１として機能する撮像装置１０１’のＣＰＵ１１１は、Ｓ３２１で受信した通信障害情報に基づき、通信回線変更後の通信量を計算によって求める。具体的に図４のケースでは、通信障害４０１が発生しているため、正常時には前景通信部２０３ａを介し通信回線４０２ａを用いて通信していたはずの前景画像データについて、背景通信部２０３ｂを介し通信回線４０２ｂを用いて通信する際の通信量を求める。

Ｓ６０２では、通信選択部２０５として機能する撮像装置１０１’のＣＰＵ１１１は、Ｓ６０１で求めた通信量が所定の閾値以上か判定する。本ステップの判定結果が真の場合、Ｓ６０３に進む一方、該判定結果が偽の場合、一連の処理は終了する。尚、本ステップで用いる所定の閾値とは例えば、通信回線を用いて行う通信量の理論上の最大値や、その値から一定のサイズまたは比率によってマージンを設けた値である。或いは、ユーザによって予め決められた値など、任意の値を用いてよい。

Ｓ６０３では、通信データ量削減部５０２として機能する撮像装置１０１’のＣＰＵ１１１は、Ｓ６０２で所定閾値以上の通信量を要すると判定された通信対象データのデータ量削減を実行する。本ステップの削減では、背景画像データを前景画像データに優先して削減してもよいし、前景画像データを背景画像データに優先して削除してもよい。前景画像データと背景画像データとの少なくとも一方を削除すればよい。本ステップにより、通信対象データのデータサイズが小さくなる。本ステップでは、帯域計算部５０１によって算出されたデータ通信量に対して低減すべきデータ量に応じてデータ量の削減方法を変えてもよい。例えば、データ量削減の順番として、データの圧縮、フレームレートの変更、解像度の変更、ビット深度の変更の順に削減する。なお、この順番は一例に過ぎず、どのような順番でデータ量を削減してもよく、また、これらを適宜組み合わせてもよい。また、データ量の削減を行っても通信帯域が足りない場合には、データごと削除し、通信を行わない場合があってもよい。

以上説明した方法により、通信帯域が足りない場合でも、通信障害を回避して通信を行い、一定の品質を保った仮想視点画像の生成を継続することが可能になる。

尚、ここでは、撮像装置１０１ｂ’の帯域計算部５０１が通信量を算出して、通信量を低減するように通信選択部２０５がデータ量削減を実施する形態について説明したが、本実施形態はそのような形態に限らない。例えば、本実施形態の帯域計算部５０１を前景生成サーバ１０３および背景生成サーバ１０４が有していてもよい。この場合、前景生成サーバ１０３および背景生成サーバ１０４は、撮像装置１０１ａ’〜１０１ｄ’に対して通信可能な通信データ量に従って通信を行うよう指示し、撮像装置１０１ａ’〜１０１ｄ’それぞれにおいてデータ量削減が行われる。

また、Ｓ６０２で通信量が所定の閾値以上（つまり、データ量削減が必要）と判定された場合、前景通信部２０３ａまたは背景通信部２０３ｂを用いて他の撮像装置との通信を行ってもよい。この場合、この通信内容に従って、撮像装置１０１ａ’〜１０１ｄ’それぞれにおいて、通信データ量削減部５０２を用いたデータ量削減処理が行われる。

［第３の実施形態］
本実施形態では、通信障害が解消された際の動作について説明する。尚、以下では、具体例として、図４のケースをあげながら説明する。

図７（ａ）は、本実施形態における、前景生成サーバ１０３により実行される通信障害解消に関する処理のフローチャートである。

Ｓ７０１では、障害検出部２１４ａとして機能する前景生成サーバ１０３のＣＰＵ１１１は、通信障害の解消（言い換えると通信回線の復旧）を検出したか判定する。本ステップの判定結果が真の場合、ステップＳ７０２に進む。一方、本ステップの判定結果が偽の場合、Ｓ７０１の判定処理が再び実行される。

Ｓ７０２では、障害検出部２１４ａとして機能する前景生成サーバ１０３のＣＰＵ１１１は、通信障害が解消された旨の情報を、撮像装置１０１ｂ’に対して送信する。この際、通信障害が解消された旨の情報の送信とともに、通信障害発生のため通信回線４０２ｂを用いて行っていた前景画像データの通信を、通信回線４０２ａを用いて行うように戻す指示も合わせて行う。

図７（ｂ）は、本実施形態における、撮像装置１０１により実行される通信障害解消に関する処理のフローチャートである。

Ｓ７１１では、情報取得部２０４として機能する撮像装置１０１のＣＰＵ１１１は、通信障害４０１が解消された旨の情報、及び、通信回線４０２ａを用いて前景画像データの通信を行うように戻す指示を、受信する。これらの情報は、Ｓ７０２にて前景生成サーバ１０３により送信されたものである。

Ｓ７１２では、通信選択部２０５として機能する撮像装置１０１のＣＰＵ１１１は、Ｓ７１１で情報取得部２０４が受信した情報に基づき、前景画像データの通信に用いる回線を変更する。具体的には、前景通信部２０３ａを介し通信回線４０２ａを用いて、前景画像データのデータ通信を行うように、通信回線の設定を変更する。

図７（ａ）及び図７（ｂ）のフローによって、通信障害が解消した後の通信を通信障害が発生する前の状態に復旧することができる。

尚、前述の例では、前景生成サーバ１０３が通信障害の解消を検出したが、本実施形態はこれに限らず、背景生成サーバ１０４や撮像装置１０１が通信障害の解消を検出してもよい。

また、前述の例では、通信障害が発生していない通信回線４０２ｂを用いて撮像装置１０１ｂに対する通信障害解消の通知を行ったが、本実施形態はこれに限らない。任意の通信回線を用いて撮像装置１０１ｂに対する通信障害解消の通知を行ってもよい。

［その他の実施形態］
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、本発明は、前述の実施形態の要素を適宜組み合わせて構成してもよい。

１０１ａ〜１０１ｄ・・・撮像装置
１０２ａ，１０２ｂ・・・通信回線
１０３・・・前景生成サーバ
１０４・・・背景生成サーバ
１０５・・・画像生成サーバ
２１４ａ，２１４ｂ・・・障害検出部

Claims (19)

1. 複数の撮像装置と第１通信回線により接続され、該複数の撮像装置で取得され該第１通信回線を用いて送信される第１データを取得する第１取得手段と、
   前記複数の撮像装置と第２通信回線により接続され、該複数の撮像装置で取得され該第２通信回線を用いて送信される、前記第１データと異なる第２データを取得する第２取得手段と、
   前記第１データおよび前記第２データに基づき、仮想視点画像を生成する生成手段と、
   通信障害の発生を検出する検出手段と、
   前記検出手段により、前記第１通信回線と前記第２通信回線との何れかにおいて通信障害の発生が検出されたことに基づいて、通信障害が発生した通信回線で送信されていた前記第１データまたは前記第２データの送信に用いる通信回線を、通信障害が発生していない通信回線に変更するよう制御する制御手段と、
   を有することを特徴とするシステム。
2. 前記検出手段により、前記第１通信回線において通信障害の発生が検出された場合、前記制御手段は、前記第１データの送信に用いる通信回線を前記第２通信回線に変更し、前記第２データの送信に用いる通信回線を前記第１通信回線に変更することを特徴とする請求項１に記載のシステム。
3. 前記制御手段により通信回線を変更された場合のデータ通信量を算出する算出手段と、
   前記第１データと前記第２データとのデータ量を削減する削減手段と、
   を更に有することを特徴とする請求項１または２に記載のシステム。
4. 前記算出手段により算出されたデータ通信量が所定の閾値以上の場合、前記削減手段は、前記第１データと前記第２データとの少なくとも一方のデータ量を削減することを特徴とする請求項３に記載のシステム。
5. 前記第１データが前景画像データであり、前記第２データが背景画像データである場合、前記削減手段は、該第２データを該第１データに優先して削減する
   ことを特徴とする請求項４に記載のシステム。
6. 前記撮像装置は、前記算出手段と、前記削減手段とを有することを特徴とする請求項３乃至５の何れか１項に記載のシステム。
7. 前記削減手段は、データの圧縮により、データ量を削減することを特徴とする請求項３乃至６の何れか１項に記載のシステム。
8. 前記削減手段は、解像度を変更することで、データ量を削減することを特徴とする請求項３乃至７の何れか１項に記載のシステム。
9. 前記削減手段は、ビット深度を変更することで、データ量を削減することを特徴とする請求項３乃至８の何れか１項に記載のシステム。
10. 前記削減手段は、フレームレートを変更することで、データ量を削減することを特徴とする請求項３乃至９の何れか１項に記載のシステム。
11. 前記削減手段は、データの圧縮、フレームレートの変更、解像度の変更、ビット深度の変更の順に行うことを特徴とする請求項１０に記載のシステム。
12. 前記第１通信回線と前記第２通信回線とのうち少なくとも１つは、デイジーチェーン接続された回線であることを特徴とする請求項１乃至１１の何れか１項に記載のシステム。
13. 前記検出手段は、前記第１通信回線または前記第２通信回線で発生した通信障害の復旧を検出し、
    前記検出手段が前記復旧を検出した場合、前記制御手段は、変更した通信回線の設定を元に戻すことを特徴とする請求項１乃至１２の何れか１項に記載のシステム。
14. 前記検出手段により、前記第１通信回線と前記第２通信回線との何れかにおいて通信障害の発生が検出された場合、通信障害が発生していない通信回線を用いて、前記複数の撮像装置それぞれに対し、通信障害に関する情報を送信する送信手段を更に有することを特徴とする請求項１乃至１３の何れか１項に記載のシステム。
15. 前記第１取得手段は、前記第１データに基づき前景モデルを生成することを特徴とする請求項１乃至１４の何れか１項に記載のシステム。
16. 前記第２取得手段は、前記第２データに基づき背景モデルを生成することを特徴とする請求項１乃至１５の何れか１項に記載のシステム。
17. 前記第１取得手段は、第１サーバであり、
    前記第２取得手段は、第２サーバであり、
    前記生成手段は、第３サーバであり、
    前記第１サーバ、前記第２サーバ、及び前記第３サーバは互いに、通信回線を介して接続されている
    ことを特徴とする請求項１乃至１６の何れか１項に記載のシステム。
18. 複数の撮像装置と第１通信回線により接続され、該複数の撮像装置で取得され該第１通信回線を用いて送信される第１データを取得する第１取得手段と、
    前記複数の撮像装置と第２通信回線により接続され、該複数の撮像装置で取得され該第２通信回線を用いて送信される、前記第１データと異なる第２データを取得する第２取得手段と、
    前記第１データおよび前記第２データに基づき、仮想視点画像を生成する生成手段と、
    を有するシステムの制御方法であって、
    通信障害の発生を検出する検出ステップと、
    前記検出ステップにおいて、前記第１通信回線と前記第２通信回線との何れかにおいて通信障害の発生が検出されたことに基づいて、通信障害が発生した通信回線で送信されていた前記第１データまたは前記第２データの送信に用いる通信回線を、通信障害が発生していない通信回線に変更するステップと、
    を有することを特徴とする制御方法。
19. 請求項１８に記載の方法をコンピュータに実行させるためのプログラム。

Images