JP2019004229A - 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム - Google Patents

Abstract

【課題】 異常な仮想視点画像となる仮想視点の位置の方向を把握した上で、仮想視点の操作と仮想視点の閲覧を行うことが可能になる。【解決手段】複数の撮像装置により撮像された映像から、クライアントから要求された仮想視点から見える仮想視点画像を生成し前記クライアントに供給する画像生成装置であって、クライアントから要求された仮想視点の位置と視線方向を表す仮想視点情報に基づき、仮想視点画像を生成する画像生成部と、生成した仮想視点画像を前記クライアントに送信する画像送信部と、第１のタイプのクライアントから、仮想視点画像に異常があることを示す情報を受信した場合、異常となった仮想視点画像の仮想視点情報を保持する保持部と、該保持部で保持された仮想視点情報が表す仮想視点の位置と視線方向を表す情報を、仮想視点画像の作成を要求している第２のタイプのクライアントに送信する仮想視点送信部とを有する。【選択図】 図４

Description

本発明は、異なる位置に設置した複数のカメラからの画像から仮想視点画像を生成する技術に関するものである。

複数のカメラを異なる位置に設置し、それらのカメラによる多視点による同期撮影を行い、各視点の画像を用いて、現実のカメラの設置位置以外の任意の位置に設置された仮想カメラから見える仮想視点画像（或いは自由視点画像とも呼ばれる）を生成する技術が注目されている。

特許文献１には、同一の範囲を取り囲むように複数のカメラを配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。

特開２０１４−２１５８２８号公報

上記の仮想視点画像は、上述のように複数のカメラで同期撮影した複数の画像を利用して生成される。そのため、何らかの理由で仮想視点画像の生成に用いる撮影画像のたとえ一部であっても問題が生じた場合、生成される仮想視点画像の品質は悪化してしまう恐れがある。仮想視点画像の品質を下げる一例として、露出などの撮影条件が異なる撮影画像を仮想視点画像の生成に用いる場合が考えられる。また、仮想視点画像の品質を下げる一例として、障害物が写る撮影画像、太陽の日差しによる陰日向が写る撮影画像、振動によってぶれが生じたが撮影画像などを仮想視点画像の生成に用いる場合などが考えられる。また、複数のカメラで共通して撮影されている領域を写す仮想視点画像の品質は良くなり、複数のカメラの少なくとも一部が撮影できない領域を写す仮想視点画像の品質は悪くなり得る。

従来は、このような品質が芳しくない仮想視点画像が生成され得ることなど、仮想視点画像の品質に関す情報を把握させることは考慮していなかった。したがって、従来技術には、ユーザビリティの観点や仮想視点画像を生成する際の生産性の観点で改善の余地がある。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
仮想視点画像を生成するための視点の位置または／および視線の方向を特定する情報を取得する取得手段と、
前記取得手段により取得された視点の位置または／および視線の方向に基づいて生成される仮想視点画像の品質に関する情報を通知する通知手段とを有する。

本発明によれば、仮想視点画像の品質に関す情報を通知することができる。

第１の実施形態に係るシステム構成図。 第１の実施形態に係る撮像装置の配置例を示す図。 第１の実施形態に係る仮想カメラの仮想視点情報を説明する図。 第１の実施形態に係る画像生成装置の機能ブロック図。 第１の実施形態に係る監視用仮想視点情報保持部の制御フロー図。 第１の実施形態に係る全体俯瞰監視カメラパス生成方法を説明する図。 第１の実施形態に係る予測監視カメラパス生成方法を説明する図。 、 第１の実施形態に係る低品位領域監視カメラパス生成方法を説明する図。 第１の実施形態に係るカメラ操作入力監視カメラパスの概念図。 第１の実施形態に係るカメラパス上の移動を説明する図。 第１の実施形態に係るカメラパス初期位置への移動を説明する図。 第１の実施形態に係る仮想視点画像の表示例を示す図。 第２の実施形態に係る画像生成装置の機能ブロック図。 第２の実施形態に係る前景俯瞰監視カメラパスの概念図。 第２の実施形態に係る前景存在領域の求め方を説明する図。 第３の実施形態に係る画像生成装置の機能ブロック図。 第３の実施形態に係る分割俯瞰監視カメラパスの概念図。 第３の実施形態に係る監視仮想カメラ画像の表示例を示す図。 第４の実施形態に係る画像生成装置の機能ブロック図。 実施形態における情報処理装置のブロック構成図。

以下図面に従って本発明に係る実施形態の一例を詳細に説明する。

［第１の実施形態］
実施形態では、仮想視点画像を視聴・生成を要求するための仮想カメラ（仮想視点）の位置姿勢の変更操作を行うユーザと、監視用の仮想カメラの位置姿勢の制御を行うユーザがある。両者を区別するため、前者を仮想カメラマン、後者を監視者と呼ぶ。

第１の実施形態では、仮想カメラマンが操作する仮想カメラの画像の品位を確認するために、監視者が操作する監視用の仮想カメラを設け、様々な監視経路の中から選択した１つの経路に基づいた監視用仮想カメラ映像を表示する例を示す。

図１は、第１の実施形態に係る画像処理システムの構成図である。視聴用操作端末１０２は仮想カメラマンが使用し、仮想カメラを移動させてその視点の映像を視聴する。監視用端末１０５は監視者が使用し、監視用端末画面１０６を見ながら異常の有無を確認し、異常があれば仮想カメラマンに伝える。以下に、各機器の詳細を記述する。そして、画像生成装置１０１、視聴用操作端末１０２、監視用端末１０５はネットワークを介して接続されている。ここで、画像生成装置１０１はサーバ、視聴用操作端末１０２、監視用端末１０５はクライアントとして機能する。

撮像装置１００は、複数（２台以上）のカメラであり、サッカー場などの競技場や特定の被写体を取り囲むように配置して撮影する。図２は、第１の実施形態に係る撮像装置１００の配置例である。撮像装置１００は、サッカー場などの競技場の全てまたは一部の範囲を撮影するように配置される。

ここでカメラは、例えばデジタルカメラであり、外部同期装置（不図示）からの同期信号に基づき、同じタイミングで撮影を行う。撮像装置１００により撮影された画像は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルなどの通信ケーブルを介して、映像生成装置１０１に伝送される。なお、デジタルカメラ１００と映像生成装置１０１との通信経路は、有線、無線を問わない。有線の場合、ＤｉｓｐｌａｙＰｏｒｔやＨＤＭＩ（登録商標：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの映像伝送ケーブルであってもよいし、無線の場合に無線ＬＡＮを利用しても構わない。また、カメラは静止画撮影機能のカメラだけでなく、動画撮影機能を有するカメラであってもよい。

画像生成装置１０１は、各撮像装置１００により撮影された撮影画像を蓄積する。また、画像生成装置１０１は、各撮像装置１００の位置と視線、焦点距離を表す情報を保持しているものとする。そして、画像再生装置１０１は、視聴用操作端末１０２や監視用端末１０５での操作に基づく仮想カメラ制御情報（仮想視点画像の作成要求でもある）を入力し、その仮想カメラ制御情報に基づいて仮想視点情報へ変換し、複数の撮影画像から仮想視点情報に対応した仮想視点画像を生成する。そして、画像再生装置１０１は、作成した仮想視点画像を要求元に送信する。

ここで、仮想カメラ制御情報とは、仮想カメラの位置の移動を示す移動情報と、仮想カメラの視線方向を変える方向情報からなる。移動情報は、予め３軸方向が規定された３次元空間における現在の座標位置に対する差分（移動量量）である。方向情報は、上記３次元空間における、現在の仮想カメラの向き、すなわち、視線方向（パン角、チルト角、ロール角）に対する差分である。尚、移動情報、方向情報とも、差分（相対値）で表すのではなく、絶対座標で表しても構わない。また、仮想カメラがズーム機能を持っても良いが、実施形態では説明を単純化するため、焦点距離は固定であるものとして説明を続ける。

図３（ａ），（ｂ）を参照して、仮想カメラ３００の仮想視点情報を説明する。同図（ａ）は、撮影空間にある仮想カメラ３００を示している。仮想カメラ３００は、撮像装置１００に含まれるカメラと異なる視点において撮影を行うことができる仮想的なカメラである。即ち、仮想視点画像生成システムにおいて生成される仮想視点画像が、仮想カメラ３００による撮影画像である。例えば図３に示すように、撮影空間の任意の位置から撮影されたかのような画像を生成できる。

撮影空間の位置を一意に決めるために、世界座標系を定義する。世界座標系のＸ、Ｙ、Ｚ軸は、例えば次のように決める。フィールド３０１の中心を原点とする。フィールド３０１上の長辺方向をＸ軸、短辺方向をＹ軸、鉛直方向をＺ軸とする。それぞれ軸の矢印の向きをプラス方向とする。また、仮想カメラの向きを一意に決めるために、Ｘ軸を軸とする角度をＲｘ、Ｙ軸を軸とする角度をＲｙ、Ｚ軸を軸とする角度をＲｚとする。それぞれの矢印の向きをプラス方向とする。

図３（ｂ）は、仮想カメラ３００の仮想視点情報の例である。仮想視点情報には、撮影空間の位置及び仮想カメラの向きの情報がテーブルとして格納されており、前記テーブルによって仮想カメラの位置と向きが一意に決定される。なお、座標系の定義は、撮影空間の位置や仮想カメラの向きが一意に決まるならば前述以外の方法を用いても良い。

画像生成装置１０１は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮像装置１００を介して保持しておく。また競技中の選手やボールなど被写体の存在するシーンにおいては、被写体である前景を画像処理により分離して、前景画像データとして保持しておく。

被写体である前景の分離方法として、例えば背景画像との差分を抽出するなどのオブジェクト抽出の画像処理を用いる。なお、前景とは競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、その他の検出方法として、動体が検出されるようにしても良い。

画像生成装置１０１は、仮想視点画像を生成するための視点の位置または／及び視線の方向に関する情報である仮想カメラ制御情報を視聴用操作端末１０２から受け付ける。仮想カメラ制御情報により指定された仮想視点情報に対応した仮想視点画像については、データベース管理された背景画像データと前景画像データとから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し，仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外の例えばイメージベースレンダリング等の他のレンダリング手法を用いても良い。画像生成装置１０１は、生成して得られた仮想視点画像を、ＬＡＮケーブルなどを介して、視聴用操作端末１０２や監視用端末１０５に伝送する。

視聴用操作端末１０２は、接続されたコントローラ１０４による仮想視点の移動、撮影方向などの仮想カメラマンの操作を受け付け、その操作情報を視聴用の仮想カメラ制御情報に変換して、画像生成装置１０１へＬＡＮケーブルなどを介して伝送する。視聴用操作端末１０２は、仮想視点画像を生成するための視点の位置または／及び視線の方向に関する情報をユーザから受け付け、受け付けた情報を画像生成装置１０１に通知する。また、画像生成装置１０１から受信した仮想視点画像を視聴用操作端末１０２に備えた表示画面１０３に表示することで操作に基づく視点で仮想カメラマンはコンテンツを視聴でき、仮想カメラを操作することができる。また、場合によっては、仮想視点画像を時間軸順に格納して１つの動画像ファイルを作成することもできる。

監視用端末１０５は、接続されたコントローラ１０７による監視用仮想視点の移動、撮影方向、監視用仮想視点モードなどの監視用仮想カメラの操作を受け付ける。実施形態における監視用仮想視点モードには、全体俯瞰監視モード、予測監視モード、低品位領域監視モード、カメラ操作入力監視モードの４つのモードがある。各モードの意味は次の通りである。
・全体俯瞰監視モード：
被写体が存在し得る領域全てを網羅的に監視するモード
・予測監視モード：
視聴用仮想カメラが今後移動する位置を予測して先回りし監視するモード
・低品位領域監視モード：
仮想カメラ画像の品質が悪化しやすい領域を重点的に監視するモード
・カメラ操作入力監視モード：
監視用仮想カメラを操作して監視するモード

コントローラ１０７には、監視用仮想視点モードを決定するボタンを備える。監視用端末１０５は、監視者がコントローラ１０７の所望するモードのボタンを押下した場合、そのボタンに対応する情報（以下、監視用仮想視点モード情報）を画像生成装置１０１へ伝送する。監視用仮想視点モードがカメラ操作入力監視モードの場合、監視者によるコントローラ１０７の操作による移動、方向情報を受け付け、その操作情報を監視用仮想カメラ制御情報に変換して、画像生成装置１０１へＬＡＮケーブルなどを介して伝送する。また、監視用端末１０５は、画像生成装置１０１から受信した仮想視点画像を表示画面１０６に表示することで、監視者は監視仮想カメラ視点画像を見て、その画像の品位を確認できる。

ここで、視聴用操作端末１０２や監視用端末１０５は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。また、コントローラ１０４、１０７は、例えば、マウス、キーボード、６軸コントローラ、タッチパネル、或いは、これらの組み合わせである。仮想カメラマン及び監視者は、このコントローラ１０４、１０７を用いて操作し、画面上に静止画像や動画像を表示することになる。

続いて、本実施形態の画像処理システムの各装置のハードウェア構成を、図２０を用いて説明する。図２０において、装置２０００は、画像処理システム１００の各装置（撮像装置１００、画像生成装置１０１、視聴用操作端末１０２及び監視用端末１０５）である。装置２０００は、プロセッサ２００１、ＲＯＭ２００２、ＲＡＭ２００３、補助記憶装置２００４、ディスプレイ２００５、操作部２００６、通信インターフェース２００７、バス２００８及び機能部２００９を有する。

プロセッサ２００１は、装置２０００の全体を制御する。なお、プロセッサ２００１の一例は、ＣＰＵであってよい。プロセッサ２００１は、ＲＯＭ２００２やＲＡＭ２００３に格納されているコンピュータプログラムやデータを用いて装置２０００の全体を制御する。また、プロセッサ２００１は、ＡＳＩＣやＦＰＧＡであってもよい。

ＲＯＭ２００２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ２００３は、補助記憶装置２００４から供給されるプログラムやデータ、及び通信インターフェース２００７を介して外部から供給されるデータなどを一時記憶するメモリである。補助記憶装置２００４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶するメモリである。

ディスプレイ２００５は、例えば液晶ディスプレイ等で構成され、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や様々な情報を表示する。操作部２００６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をプロセッサ２００１に入力する。通信インターフェース２００７は、外部の装置と通信を行う。例えば、通信インターフェース２００７は、有線通信を行ってもよいし、無線通信を行なってもよい。通信インターフェース２００７は、有線通信を行う場合、イーサーネットを行うためのハードウェアである。通信インターフェース２００７は、有線通信を行う場合、例えば、ＩＥＥＥ８０２．１１規格に準拠した通信を行うための回路、チップ及びアンテナにより構成される。バス２００８は、各部を繋いで情報を伝達する。機能部２００９は、所定の機能を実現させるためのハードウェアである。機能部２００９は、装置２０００が撮像装置１００である場合、撮影を行うための撮影部であり得る。撮影部は、レンズ、撮像素子、画像処理プロセッサなどにより構成される。上記構成において、プロセッサ２００１は、専用のプログラムを実行することで、装置２０００を画像処理システム１００における、撮像装置１００、画像生成装置１０１、視聴用操作端末１０２及び監視用端末１０５のいずれかとして機能させることになる。

次に、画像生成装置１０１の機能について説明する。図４は、第１の実施形態に係る画像生成装置１０１の機能ブロック図である。同図の各機能部は、プロセッサ２０００がプログラムを読み込み実行し、情報の演算及び加工及び各ハードウェアを制御することで実現されるものとするが、勿論、そのいくつかをＡＳＩＣやＦＰＧＡ等のハードウェアでもって実現しても構わない。

撮影画像データ入力部４０１は、複数の撮像装置１００からＬＡＮケーブルを介して入力された伝送信号を撮影画像データに変換して、前景背景分離部４０２へ供給する。前景背景分離部４０２は、撮影画像データ入力部４０１からの撮影画像のうち、競技の開始前など予め被写体（選手やボール等）が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、分離画像データ保存部４０３へ予め出力し、保持させる。また、前景背景分離部４０２は、競技中に撮影された画像から選手など被写体を抽出し、前景画像データとして分離画像データ保存部４０３へ出力する。

分離画像データ保存部４０３は、データベースであり、前景背景分離部４０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存する。また分離画像データ保存部４０３は、背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。また、分離画像データ保存部４０３は、視聴用仮想視点画像生成部４０６からの分離画像取得指示により、指定された背景画像データと前景画像データとを視聴用仮想視点画像生成部４０６へ出力する。また、分離画像データ保存部４０３は、監視用仮想視点画像生成部４１５からの分離画像取得指示により、指定された背景画像データと前景画像データとを監視用仮想視点画像生成部４１５へ出力する。

視聴用仮想視点入力部４０４は、視聴用操作端末１０２からＬＡＮケーブルを介して入力された伝送信号を所定の入力情報に変換する。入力情報が視聴用仮想カメラ制御情報である場合、視聴用仮想視点入力部４０４は、視聴用仮想カメラ制御情報を視聴用仮想視点情報保持部４０５へ出力する。

視聴用仮想視点情報保持部４０５は、視聴用仮想視点入力部４０４から入力される仮想カメラ制御情報に基づいて仮想視点情報へ変換し、視聴用仮想視点画像生成部４０６へ仮想視点情報を出力する。仮想視点情報は例えば１／６０秒間隔で生成し、出力する。

視聴用仮想視点画像生成部４０６は、視聴用仮想視点情報保持部４０５から入力された仮想視点情報に対応した前景画像データと背景画像データを分離画像データ保存部４０３から取得する。また、視聴用仮想視点画像生成部４０６は、取得した前景画像データと背景画像データを画像処理により合成することで仮想視点画像を生成し、視聴用仮想視点画像出力部４０７へ出力する。なお、仮想視点情報を入力し、仮想視点画像を生成して出力する処理を１／６０秒間隔で実行する。

視聴用仮想視点画像出力部４０７は、画像送信手段として機能するものであり、視聴用仮想視点画像生成部４０６から入力された仮想視点画像を視聴用操作端末１０２へ伝送可能な伝送信号に変換して、視聴用操作端末１０２へ出力する。なお、仮想視点画像は１／６０秒間隔で出力し、視聴用操作端末１０２は６０ｆｐｓのフレームレートで視聴用仮想視点画像を表示する。

監視仮想視点入力部４０８は、監視用端末１０５からＬＡＮケーブルを介して入力された伝送信号を所定の入力情報に変換する。監視仮想視点入力部４０８は、入力情報が監視仮想カメラ制御情報である場合、監視仮想カメラ制御情報をカメラ操作入力監視仮想視点情報生成部４１３に出力する。また、入力情報が監視用仮想視点モード情報である場合、監視用仮想視点モード情報を監視用仮想視点モード切替部４０９へ出力する。更に、詳細は後述するが、監視用端末１０５から異常視点を示す情報を受信した場合、異常視点保持＆出力部４１８にその旨を通知する。

監視用仮想視点モード切替部４０９は、監視用仮想視点モード情報を監視仮想視点入力部４０８から入力した場合、監視用仮想視点情報保持部４１４へ仮想視点モード切替指示を出力する。

監視用仮想視点情報保持部４１４は、監視用仮想視点モード切替部４０９から仮想視点モード切替指示を受けると、その情報に対応したカメラパス生成部４１１、４１２から仮想カメラパス情報を取得し、仮想カメラパス情報に基づいて仮想視点情報を生成する。ここで、仮想カメラパス情報とは、仮想カメラが今後移動する経路を示す空間曲線方程式、移動開始位置、及び仮想カメラの向きを決定する情報である。空間曲線方程式は、スプラインによるデータ点を結ぶことで得られるスプライン曲線である。なお、空間曲線方程式は、スプライン処理以外の手法、例えば最小二乗法によるデータ点の近似曲線手法などを用いても良い。本実施形態で用いる仮想カメラパス情報は監視用仮想視点モード情報毎にあるため複数種類存在する。詳細は、各カメラパス生成部の説明にて記述する。その後、監視用仮想視点情報保持部４１４は、仮想視点情報を監視用仮想視点画像生成部４１５へ出力する。仮想視点情報は１／６０秒間隔で生成し、出力する。

監視用仮想視点画像生成部４１５は、監視用仮想視点情報保持部４１４から入力された仮想視点情報に対応した前景画像データと背景画像データを分離画像データ保存部４０３から取得する。また、監視用仮想視点画像生成部４１５は、取得した前景画像データと背景画像データを画像処理により合成することで仮想視点画像を生成し、その合成後の仮想視点画像を監視用仮想視点画像出力部４１６へ出力する。なお、仮想視点情報を入力し、仮想視点画像を生成して出力する処理を１／６０秒間隔で実行する。

監視用仮想視点画像出力部４１６は、監視用仮想視点画像生成部４１５からの監視用の仮想視点画像を監視用端末１０５へ伝送可能な伝送信号に変換して、監視用端末１０５へ出力する。なお、仮想視点画像は１／６０秒間隔で出力し、監視用端末１０６は６０ｆｐｓのフレームレートで監視仮想視点画像を表示する。

異常視点保持＆出力部４１７は、異常視点情報を複数記憶するための内部メモリを有する。この内部メモリは、実施形態のシステムにおける視聴用操作端末１０２、監視用端末１０５が機能する以前に、異常視点情報が未登録状態として初期化される。異常視点保持＆出力部４１７は、監視仮想視点入力部４０８から異常視点発生の通知を受信した場合、現在の監視用の仮想視点の位置と視線方向を示す情報（監視用仮想視点情報保持部４１４が保持している）を、内部メモリに登録する。

なお、監視用端末１０５にて監視者が異常であることを示す入力を行ってから、異常視点保持＆出力部４１７が異常視点の位置姿勢を内部メモリに登録するまでは多少の時間差があるが、異常な仮想視点画像の発生は１／６０秒という一瞬に発生するものでなく、ある程度の時間継続して発生するので、上記のような制御で問題は発生しない。ただし、厳密な制御を行うのであれば、仮想視点画像を生成する際に、その仮想視点画像にユニークな識別番号を付加して送信する。監視用端末１０５は、監視者が異常表示を指示した際の仮想画像の識別番号を特定して、画像生成装置１０１に異常を通知すればよい。

また、異常視点保持＆出力部４１８は、視聴用の仮想視点画像の生成タイミング（実施形態では１／６０秒の周期）で、視聴用の仮想視点の位置と視線方向を示す情報を視聴用仮想視点情報保持部４０５から取得する。そして、異常視点保持＆出力部４１８は、サッカーフィールドを模した図上に、現在の視聴用の仮想視点の位置と視線方向に応じた第１のタイプのカメラアイコンを重畳すると共に、内部メモリに登録した異常視点の位置と視線方向に応じた第２のタイプのカメラアイコンを重畳する。ここで、第１、第２のカメラアイコンは、容易に識別できる表示形態とするため、異なる色とする。また、システムの稼働開示時等、内部メモリに異常視点が１つも登録されていない場合には、第１のタイプのカメラアイコンのみがサッカーフィールドの図に重畳することになる。また、内部メモリに複数個の異常視線が登録されている場合には、第２のタイプのカメラアイコンが複数個、サッカーフィールド図上に重畳されることになる。そして、異常視点保持＆出力部４１８は、それらカメラアイコンが重畳したサッカーフィールド図を、視聴用操作端末１０２に向けて送信する。

次に、監視用仮想視点情報保持部４１４の動作について説明する。図５は、第１の実施形態に係る監視用仮想視点情報保持部４１４の動作を示すフローチャートである。

監視用仮想視点情報保持部４１４は、現在の監視用仮想視点モードを確認する（Ｓ５０１）。監視用仮想視点モードが全体俯瞰監視モードの場合（Ｓ５０２Ｙｅｓ）、監視用仮想視点情報保持部４１４は、全体俯瞰監視カメラパス生成部４１０から全体俯瞰用の仮想カメラパス情報を取得する（Ｓ５０３）。全体俯瞰監視モードとは、前述の通り、被写体が存在し得る領域全てを網羅的に監視するモードである。

監視用仮想視点モードが予測監視モードの場合（Ｓ５０４Ｙｅｓ）、監視用仮想視点情報保持部４１４は、予測監視カメラパス生成部４１１から予測監視用の仮想カメラパス情報を取得する（Ｓ５０５）。予測監視モードとは、前述の通り、視聴用仮想カメラが今後移動する先の位置を予測し、その位置を監視するモードである。

監視用仮想視点モードが低品位領域監視モードの場合（Ｓ５０６Ｙｅｓ）、監視用仮想視点情報保持部４１４は、低品位領域監視カメラパス生成部４１２から低品位領域監視用の仮想カメラパス情報を取得する（Ｓ５０７）。低品位領域監視モードとは、前述の通り、仮想カメラ画像の品質が悪化しやすい領域を重点的に監視するモードである。なお、低品位領域が複数存在する場合がある。この場合、監視用仮想視点モード情報に含まれる、監視者が選択した領域を規定する情報に従った、低品位領域監視用の仮想カメラパス情報を取得することになる。

監視用仮想視点モードがカメラ操作入力監視モードの場合（Ｓ５０６Ｎｏ）、カメラ操作入力監視カメラパス生成部４１３からカメラ操作入力監視用の仮想カメラパス情報を取得する（Ｓ５０８）。カメラ操作入力監視モードとは、監視者が監視用仮想カメラを操作して監視するモードである。

以下、各監視用仮想視点モードにおける監視用の仮想カメラパス情報について説明する。

図６は、全体俯瞰監視カメラパス生成部４１０が生成する、全体俯瞰監視カメラパスの生成方法を説明する図である。全体俯瞰監視経路６０１は、監視用仮想カメラが移動開始位置６０２から移動する経路を示す。図６（ａ）では、移動開始位置６０２の位置を決定している。まず、全体俯瞰監視カメラパス生成部４１０は、被写体が存在する可能性のある領域を検出する。本例では、サッカーフィールドの外線が示す領域が前記領域に該当する。次に、フィールド中央位置６０３からＸ軸マイナス方向にあるフィールド外線とＸ軸との交点までの距離をｌｘとしたとき、フィールド中央位置６０３からＸ軸マイナス方向へｌｘを１．５倍した距離を決定し、更にＺ軸プラス方向に１０ｍの位置を移動開始位置６０２とする。なお、これらの数値は、競技種別に応じて、管理者等が適宜設定または選択できるようにしても良い。

図６（ｂ）は、監視用仮想カメラ位置として、Ｙ軸プラス方向、Ｘ軸プラス方向、Ｙ軸マイナス方向の場合の監視用仮想カメラ位置６０５を示している。ここで、監視用仮想カメラ位置を４点検出することができる。

図６（ｃ）は、スプライン処理によって図６（ｂ）で求めた４点を結ぶ曲線である空間曲線６０１を示し、この曲線が監視用仮想カメラの移動パス（カメラパス）として決定される。

図６（ｄ）は、監視仮想カメラの向き及び動きを説明する図である。監視用仮想カメラの視点の向き、必ずフィールド中央位置６０３になるように設定する。以上により、本カメラパスを使用すると、被写体が存在する可能性のある領域、いわゆるサッカーフィールド全体をあらゆる角度から監視することができる。全体俯瞰監視カメラパス生成部４１０は、撮影視点の向きをフィールド中央位置６０３に向けたまま、全体俯瞰監視経路６０１上の所定の開始位置に監視用カメラの視点位置を設定し、全体俯瞰監視経路６０１に沿った予め設定された方向に仮想視点を所定速度で移動させては、その都度、仮想視点の位置と視線方向を示す情報を監視用仮想視点情報保持部４１４に出力する。

図７（ａ），（ｂ）は、予測監視カメラパス生成部４１１が生成する、予測監視カメラパスの生成方法を説明する図である。

図７（ａ）は、予測監視カメラパス生成部４１１の制御フロー図である。予測監視カメラパス生成部４１１は、視聴用仮想視点情報保持部４０５から仮想視点情報を取得し、視聴用仮想カメラ位置を確認する（Ｓ２０００）。次に、予測監視カメラパス生成部４１１は、前回取得した仮想視点情報から過去の視聴用仮想カメラ位置を確認し、その延長線方向を、今後の視聴用仮想カメラの移動方向として推定する（Ｓ２００１）。

次に、予測監視カメラパス生成部４１１は、現在の視聴用仮想カメラ７０３の位置から、推定した方向に例えば１０ｍ先の位置を、監視用仮想カメラの移動開始位置として決定する（Ｓ２００２）。更に、予測監視カメラパス生成部４１１は、移動開始位置から前記移動方向に向かうパスを、監視用仮想カメラが移動するカメラパスとして推定する（Ｓ２００３）。次に、予測監視カメラパス生成部４１１は、視聴用仮想カメラ向きを確認し（Ｓ２００４）、この向きと同じになるように監視用仮想カメラの向きを決定する（Ｓ２００５）。なお、視聴用仮想カメラの今後の位置を予測することができるのであれば、前述の方法以外を用いても良い。

図７（ｂ）は、予測監視カメラパスの動きを概念図である。予測監視経路７０１は、監視用仮想カメラ７０４が移動開始位置７０２から移動する経路を示す。視聴用仮想カメラ７０３は図７（ｂ）に示す位置にあり、移動方向はＸ軸プラス方向、向きはＹ軸プラス方向である。この場合の監視仮想カメラ７０４は、移動開始位置７０２が視聴用仮想カメラ７０３の位置からＸ軸プラス方向へ１０ｍ先の位置となり、監視仮想カメラの移動方向もＸ軸プラス方向となる。また、監視仮想カメラの向きは、視聴用仮想カメラの向きと同じＹ軸プラス方向となる。よって、監視仮想カメラパス７０１は、移動開始位置７０２からＸ軸プラス方向へ移動する経路と決定される。

予測監視カメラパス生成部４１１は、以上により設定した予測監視経路７０１を示す空間曲線方程式を監視用の仮想カメラパス情報として監視用仮想視点情報保持部４１４へ出力する。

なお、監視仮想カメラパス７０１は、上記の通り、視聴用仮想カメラ７０３の移動方向と現在の位置によって決定されるので、視聴用仮想カメラ７０３の現在位置が更新される度に、監視仮想カメラパス７０１も更新されることになる。

次に図８Ａ、８Ｂを参照して、低品位領域監視カメラパス生成部４１２による低品位領域監視カメラパスの生成方法を説明する。

図８Ａ（ａ）は、低品位領域監視カメラパス生成部４１２の処理内容を示すフローチャートである。低品位領域監視カメラパス生成部４１２は、予め設定してある注視点８０３（図８Ａ（ｂ）参照）の位置を確認する（Ｓ２１００）。注視点８０３は、特に注視する位置を示している。実施形態の場合、サッカー競技を例にしているので、ゴール前がその位置に対応する。そして、全ての撮像装置１００のうち、予め設定された数の撮像装置１００の撮影画像の中心位置が注視点８０３に設定されているものとする。なお、サッカーの場合には、ゴールが２つ存在するので、監視者はそのいずれかを選択することになる。そして、監視者による選択があった場合、監視用端末１０５は、選択した注視点８０３を特定する情報を監視用仮想視点モード情報に含めて、画像生成装置１０１に送信するものとする。なお、注視点の位置や数は競技等に依存することになるが、注視点が１つの場合には監視者による選択は不要とできる。

仮想カメラによる仮想視点画像の品質は、現実の撮像装置１００が撮影した画像領域が他の撮像装置１００と重複している領域ほど良く、逆に重複していない場所ほど悪くなる特徴を持つ。図８Ａ（ｂ）を例に説明すると、仮想カメラによる仮想視点画像が、注視点８０３に近い場所ほど品質が良く、遠い場所いわゆる注視点から離れた低品位領域ほど品質が悪くなりやすいと言える。

次に、低品位領域監視カメラパス生成部４１２は、監視仮想カメラ画像に表示する領域、つまり仮想カメラ向きを決めるために、低品位位置を決定する（Ｓ２１０１）。低品位位置は、注視点８０３からＸＹ平面上に２０ｍ離れた円上とし、図８Ａ（ｂ）の円８０４に該当する。なお、低品位位置の決定方法は、上述の方法以外でも良く、特に限定されない。

次に、注視点８０３からのＸＹ平面上の距離Ｌを決定する（Ｓ２１０２）。まず初期値は５ｍである。その後、注視点８０３からＸＹ平面上に距離Ｌ離れた円状でかつＺ＝１０ｍの位置を監視仮想カメラ経路８０１に決定する（Ｓ２１０４）。さらに、注視点８０３からＸ軸マイナス方向との交点を移動開始位置８０２に決定する。よって、監視仮想カメラ８００は、移動開始位置８０２から監視仮想カメラ経路８０１上を時計周りに移動する経路となる。その後、導出した監視仮想カメラ経路８０１をスプライン処理によって空間曲線方程式を算出し、監視仮想カメラパスとして決定する（Ｓ２１０５）。

次に、監視仮想カメラ８００の向きを決定する（Ｓ２１０６）。図８Ａ（ｃ）は、仮想カメラが移動開始位置８０２にある場合のカメラ向きの決定方法を説明する図である。まず、監視仮想カメラ経路８０１のＸＹ平面上の円の接線８０５に対する垂線８０６を求める。その後、低品位位置８０２との交点８０７を導出する。この交点８０７が監視仮想カメラ画像の中心となるように仮想カメラの向きを決定する。図８Ｂ（ａ）は、距離Ｌ＝５ｍの時の監視カメラパスを示す概念図である。このカメラパスは、サッカーフィールドの内から外方向へカメラを向けた際の監視画像となる。

その後、距離Ｌを１０ｍ加算して新たな監視仮想カメラパスを求める（Ｓ２１０７）。よって、距離Ｌは最大４０ｍまでとし（Ｓ２１０３：Ｙｅｓ）、４０ｍを超えた場合はカメラパス生成処理を終了する（Ｓ２１０３：Ｎｏ）。よって、本例では距離Ｌが５ｍ、１５ｍ、２５ｍ、３５ｍの４つのカメラパスが生成されることになる。

図８Ｂ（ｂ）は、距離Ｌが１５ｍの時の監視仮想カメラパスを示す概念図である。また、図８Ｂ（ｃ）は、距離Ｌが２５ｍの時の監視仮想カメラパスを示す概念図である。距離Ｌが２５ｍになると、サッカーフィールドの外から内方向へカメラを向けた際の監視画像となる。

なお、監視仮想カメラパスを求める際の距離Ｌの値については、前述以外であっても良く、特に限定されない。低品位領域監視カメラパス生成部４１２は、以上により設定した低品位領域監視経路６０１を示す空間曲線方程式を仮想カメラパス情報として監視用仮想視点情報保持部４１４へ出力する。

図９は、カメラ操作入力監視カメラパスの概念図である。監視者は、監視用端末１０５に接続されたコントローラ１０７を使用して監視用仮想カメラ９０１の移動や向きの変更を行う。監視仮想視点入力部４０８は、監視用端末１０５から取得した監視仮想カメラ制御情報をカメラ操作入力監視カメラパス生成部４１３へ出力する。カメラ操作入力監視カメラパス生成部４１３は、監視仮想カメラ制御情報に基づいて仮想カメラパス情報を生成し、監視用仮想視点情報保持部４１４へ出力する。

上記の説明からもわかるように、監視用仮想視点モードにおける、全体俯瞰監視モード、予測監視モード、低品位領域監視モードでは、画像生成装置１０１にて自動的に監視用の仮想カメラの視点位置を順次更新していく。そして、カメラ操作入力監視モードでは、監視者によるコントローラ１０７に依存して監視用の仮想視点が更新されていくことになる。

図５の説明に戻る。監視用仮想視点情報保持部４１４は、仮想視点モードに対応した仮想カメラパス情報を取得した後、現在の仮想カメラ位置を確認する（Ｓ５０９）。その結果、現在の仮想カメラの位置が前記取得した仮想カメラパスの経路上にあるか否かを確認する。

経路上にある場合（Ｓ５１０Ｙｅｓ）、現状の仮想カメラ位置から１／６０秒後の経路上の位置を算出し（Ｓ５１１）、その位置の仮想視点情報を生成して監視用仮想視点画像生成部４１５へ出力する。

経路上にない場合（Ｓ５１０Ｎｏ）、取得した仮想カメラパス情報に格納してある経路開始位置を確認する（Ｓ５１２）し、その位置の仮想視点情報を生成して監視用仮想視点画像生成部４１５へ出力する。

以下に、監視用の仮想カメラ（仮想視点）の移動について説明する。

図１０は、監視用の仮想カメラの現在位置が仮想カメラパスの経路上にある場合の移動を表している。図１０は、全体俯瞰監視モードを例にしている。図１０（ａ）で、現在の監視用の仮想カメラ１００１が仮想カメラパス経路上にあることを確認すると、現在の位置から１００ｍｍ移動した経路上の位置１００２を確認し、仮想視点情報を生成する。１／６０秒で１００ｍｍ移動とは、約時速２０ｋｍに相当する。なお、仮想カメラの移動距離は特に限定されず、また監視者が監視用端末画面１０６上から入力する部を設け、監視者による入力によって可変に設定できるようにしても良い。図１０（ｂ）は、仮想カメラ１００１の仮想視点情報を表し、図１０（ｃ）は仮想カメラ１００１から１／６０秒後に移動する位置に対応した仮想視点情報を表す。

次に、監視用の仮想カメラの現在位置が仮想カメラパスの経路上に無い場合の移動を説明する。図１１（ａ）は、カメラ操作入力監視モードから全体俯瞰監視モードへ切り替えた場合の例である。図１１（ａ）で、現在の監視仮想カメラ１１０１が仮想カメラパス経路上に無いことを確認すると、取得したカメラパスの経路の開始位置６０２を確認し、仮想視点情報を生成する。図１１（ｂ）は、仮想カメラ１１０１の仮想視点情報を表し、図１１（ｃ）は開始位置６０２へ移動した仮想カメラ１１０２の仮想視点情報を表す。

次に、実施形態における、監視用端末１０５にて異常な仮想視点画像が表示された場合についての具体的な処理の内容を説明する。

図１２（ａ）は、監視用端末１０５の表示画面１０６の表示例を示している。ここでは監視用仮想視点モードはカメラ操作入力監視モードとするが、これ以外であっても構わない。図示は、その時点での監視用の仮想視点の位置姿勢での仮想視点画像内の選手１２００の半身が表示されず、異常な状態になっていることを示している。監視者は、かかる像を見て異常な画像や品質が悪い画像であると認識した場合、コントローラ１０７を操作して異常視点が発生したことを入力する。なお、異常視点は、前景の欠落が生じる仮想視点画像が生成される仮想視点の位置姿勢だけでなく、ノイズが多い仮想視点画像が生成される仮想視点の位置姿勢など他の理由で品質が判定され得る仮想視点画像が生成される仮想視点の位置姿勢であってよい。監視用端末１０５は、この入力があった場合、異常視点を表す情報を、監視仮想カメラ制御情報に格納し、画像生成装置１０１に通知する。即ち、監視用端末１０５は、品質が悪い仮想視点画像が生成されることとなる視点の位置または／および視線の方向を指定する情報を画像生成装置１０１に通知する。また、監視用端末１０５は、前景の欠落が生じる仮想視点画像が生成される仮想視点の位置姿勢またはノイズが多い仮想視点画像が生成される仮想視点の位置姿勢に関する情報を画像生成装置１０１に通知する。画像生成装置１０１は、品質が悪い仮想視点画像が生成されることとなる視点の位置または／および視線の方向を指定する情報を監視用端末１０５から受け付ける。また、画像生成装置１０１は、前景の欠落が生じる仮想視点画像が生成される仮想視点の位置姿勢またはノイズが多い仮想視点画像が生成される仮想視点の位置姿勢に関する情報を監視用端末１０５から受け付ける。なお、監視用端末１０５または画像生成装置１０１は、画質を評価するための画像処理を実行することで仮想視点画像の品質を自動で判定する構成としてもよい。

画像生成装置１０１の監視仮想視点入力部４０８は、この通知を受信すると、異常視点があったことを異常視点保持＆出力部４１７に通知する。この通知を受け、異常視点保持＆出力部４１７は、その時点での監視用の仮想視点の位置姿勢（位置と視線方向）情報を監視用仮想視点情報保持部４１４から取得し、内部メモリに異常視点情報として登録する。

そして、異常視点保持＆出力部４１７は、現在の視聴用の仮想視点を表す第１のカメラアイコンと、異常視点を表す第２のカメラアイコンとが重畳したサッカーフィールドの図形情報を生成し、視聴用操作端末１０２に向けて送信する。即ち、画像生成装置１０１は、仮想視点画像の品質に関する情報を視聴用操作端末１０２に通知する。なお、視聴用操作端末１０２には、これ以外に、視聴用仮想視点画像出力部４０７からの仮想視点画像も送信されていくので、これらは区別できるように送信される。例えば、視聴用操作端末１０２は画像生成装置１０１から受信するための幾つかのポートを持ち、それぞれのポートに情報が送信されるようすれば良い。また、第１のカメラアイコンと第２のカメラアイコンは、識別できるようにその形状や色を変えることが望ましい。また、サッカーフィールドとアイコンを示す図形情報は単純なベクトル形式の描画データとするが、ビットマップ形式の画像データ（ただし圧縮は行う）であっても構わない。

図１２（ｂ）は、視聴用操作端末１０２における表示画面１０３を示している。図示のように、表示画面１０３には、視聴用の仮想視点から見える仮想視点画像を表示するためのウインドウ１２０１と、仮想カメラマンが操作中の仮想カメラ（仮想視点）のサッカーフィールドに対する現在位置を確認するためのウインドウ１２０２が独立して表示される。後者のウインドウ１２０２が、画像生成装置１０１の異常視点保持＆出力部４１７から受信した描画データに基づき、視聴用操作端末１０２（内のプロセッサ）が描画した画像である。そして、図示の場合、監視者が入力した２つの異常視点に対応するアイコン１２０４、１２０５が示されている。例えば、仮想カメラマンが操作しているアイコン１２０３は青色の線分で表現し、異常視点を表すアイコン１２０４、１２０５は赤色の線分で表現する。即ち、視聴用操作端末１０２は、仮想視点画像の品質に関する情報を表示することで仮想カメラマンに通知する。視聴用操作端末１０２は、オブジェクトの欠落が生じる仮想視点画像が生成される視点の位置または／および視線の方向、または、ノイズを含む仮想視点画像が生成される視点の位置または／および視線の方向を仮想カメラマンに通知する。仮想カメラマンは、このウインドウ１２０２を見ることで、異常な仮想視点画像となってしまう仮想視点の位置姿勢を把握できる。つまり、その位置姿勢を避けるように仮想視点（アイコン１２０３）の位置姿勢の操作を行うことで、異常な仮想視点画像が生成されることを回避する。

以上説明したように本実施形態によれば、仮想カメラマンは、異常な仮想視点画像が生成される視点位置と自身が操作する仮想視点との位置関係を確認した上で操作できることになり、自然な仮想視点画像を視聴できるようになる。また、この結果、自然な仮想視点の動画像ファイルを作成することも可能になる。

なお、上記実施形態では、図１２のウインドウ１２０２に表示するグラフィカル描画情報を、画像生成装置１０１の異常視点保持＆出力部４１７が生成するものとした。しかし、異常視点保持＆出力部４１７は、単純に異常視点の位置姿勢の情報を保持する機能を有するものの、仮想視点送信手段として機能するだけでも構わない。つまり、異常視点保持＆出力部４１７は、異常視点の位置姿勢情報を視聴用操作端末１０２に送信する機能を有するだけでも構わない。この場合、視聴用操作端末１０２は、サッカーフィールドの線画を描画するための情報を保持する。また、視聴用操作端末１０２は、当然、仮想カメラマンが操作中の仮想視点の位置と撮影方向を保持している。そこで、視聴用操作端末１０２は、これらの情報と、画像生成装置１０１から受信した異常視点の情報から、ウインドウ１２０２の画像を生成し、描画する。この結果、上記第１の実施形態と同様の作用効果を奏することが可能になる。

更にまた、実施形態では、視聴用操作端末１０２と監視用端末１０５が独立した装置として説明したが、一台の装置でこれら２つの装置の機能を持たせるようにしても良い。例えば、まず、異常視点の位置と個数を見つける操作を行う。そして、その後で、仮想視点の動画像ファイルを作成するという用途がこれに当たる。この場合、装置は、複数の撮像装置が同期して撮像した映像（動画像）をハードディスク等の記憶装置に予め記憶保持する。そして、第１の段階で、異常視点の位置と視線方向の抽出処理を行って、記憶保持する。その後、第２の段階で、抽出した異常視点の位置姿勢を示すアイコンと、操作中の仮想視点を示すアイコンとが重畳したサッカーフィールドを表示した上で、仮想視点の位置姿勢を変更しながら、仮想視点の動画像を作成する作業を行うことになる。こ場合、画像生成装置１０１、視聴用操作端末１０２、監視用端末１０５を１つの装置として構成することも可能である。これは、以下に説明する第２の実施形態以降でも当てはまるものである。

また、実施形態では、品質が悪い画像や異常が生じる仮想視点画像に関する情報を通知するものとしてが、品質が良い仮想視点画像に関する情報を通知する構成としてもよい。

［第２の実施形態］
第２の実施形態は、撮影領域全体を俯瞰して仮想視点画像の品質を監視する際、被写体の存在している領域に限定して確認することで、効率良く全体俯瞰監視を実現する例である。

ここで、被写体の存在している領域に限定する理由を述べる。自由視点映像は、第１の実施形態に記載した通り、前景画像データと背景画像データに分離して作成される。自由視点映像の背景部は、予め撮影した背景画像データを用いるため、正常画質が担保されている。また、背景部は単純な合成処理で生成できる。よって、背景部が画質異常となる可能性は極めて低い。対して、自由視点映像の前景部、いわゆる選手などの被写体については、多数の撮影カメラ映像の前景画像データを利用するため、１台のカメラの異常が自由視点映像の画質異常に直結する。つまり、前景部は背景部と比較して画質異常になる可能性が高い。そのため、被写体が存在する領域のみに注力して監視することで、異常検出の確度が上がり、さらには監視領域縮小による処理負荷の軽減、及び監視者の負荷軽減となるからである。

第１の実施形態と同等の機能を有するものは、同一の符号を付け、その説明を省略する。図１３は、第２の実施形態に係る画像生成装置１０１の機能ブロック図である。

前景背景分離部１３０１は、背景画像データと前景画像データを分離画像データ保存部４０３へ出力する。更に、前景背景分離部１３０１は、前景画像データを前景領域監視カメラパス生成部１３０２へ出力する。この前景画像データには、各前景いわゆる被写体の空間位置情報も格納されている。

次に、第２の実施形態における監視用仮想視点情報保持部４１４の動作について説明する。

監視用仮想視点情報保持部４１４は、現在の監視用仮想視点モードを確認する（Ｓ５０１）。監視用仮想視点モードが全体俯瞰監視モードの場合（Ｓ５０２Ｙｅｓ）、前景領域監視カメラパス生成部１３０２から前景俯瞰用の仮想カメラパス情報を取得する（Ｓ５０３）。

図１４は、第２の実施形態に係る前景俯瞰監視カメラパスの概念図である。前景俯瞰監視経路１４０１は、監視用仮想カメラが移動開始位置１４０２から移動する経路を示す。まず、前景領域監視カメラパス生成部１３０２は、前景背景分離部１３０１から前景画像データを取得し、全前景の空間位置を確認する。次に、全前景が含まれる領域である前景存在領域１４０４を求める（前景存在領域の求め方は後述する）。次に、前景存在領域１４０４の中心１４０３が仮想カメラ画像中央となるようにカメラ向きを設定し、更に前景存在領域１４０４全体が仮想カメラ画像内に収まる位置となるように経路を設定する。前景俯瞰監視カメラパス生成部１３０２は、以上により設定した前景俯瞰監視経路１４０１を示す空間曲線方程式を仮想カメラパス情報として監視用仮想視点情報保持部４１４へ出力する。

図１５は、前景存在領域の求め方を説明する図である。図１５（ａ）は、全前景のＸＹ平面上の位置を表している。まず、オブジェクト（選手）の分布し得るＸ軸上での最大値と最小値の位置となる前景を抽出し、Ｘ軸との垂線を描く。また、Ｙ軸上で最大値と最小値の位置となる前景を抽出し、Ｙ軸との垂線を描く。以上により描いた４つの垂線を表しているのが図１５（ｂ）である。次に、前記４つの垂線の交点４つを通るサイズの楕円（４つの交点を包含する最小のサイズの楕円）を抽出する。その結果求められた楕円が図１５（ｃ）である。この楕円を前景存在領域と決定し、更に楕円の中心が仮想カメラ画像中央となる。なお、前景存在領域の求め方は、上述の方法以外を用いても良い。

以上、第２の実施形態の形態によれば、仮想カメラマン（視聴用操作端末１０２のユーザ）が、仮想視点画像に異常のある位置へ仮想カメラを移動させる前に、事前に品質監視用の仮想視点画像を生成して異常を検出でき、さらに被写体の存在している領域に限定して確認することで、監視者は効率良く全体俯瞰監視を実現することが可能となる。

［第３の実施形態］
第３の実施形態は、撮影領域全体を俯瞰して仮想視点画像の品質を監視する際、被写体の存在し得る領域を少なくとも２つ以上に分割し、複数の監視仮想カメラを用いて各領域を確認することで、短時間で全体を監視できる全体俯瞰監視を実現する例である。

第１の実施形態と同等の機能を行うものは、同一の符号を付け、説明を省略する。

図１６は、第３の実施形態に係る画像生成装置１０１の機能ブロック図である。以下、本第３の実施形態における監視用仮想視点情報保持部１６０２の動作について説明する。

監視用仮想視点情報保持部１６０２は、現在の監視用仮想視点モードを確認する（Ｓ５０１）。監視用仮想視点モードが全体俯瞰監視モードの場合（Ｓ５０２Ｙｅｓ）、分割監視カメラパス生成部１６０１から全体俯瞰用として少なくとも２つ以上の仮想カメラパス情報を取得する（Ｓ５０３）。

図１７は、第３の実施形態に係る分割俯瞰監視カメラパスの概念図である。監視経路は、フィールドを４分割した時の１分割領域を監視するための経路となり、全４つの経路からなる。各監視仮想カメラの動作は、第１の実施形態の全体監視仮想カメラパス生成部と比較して監視領域が異なるのみで、他の機能は同等であるため、ここでは説明を省略する。図１７の例では、分割監視カメラパス生成部１６０１は、監視用仮想視点情報保持部１６０２へ４つのカメラパス情報を出力する。その後、各カメラパス情報から仮想視点情報を生成し、監視用仮想視点画像生成部１６０３へ出力する。

監視用仮想視点画像生成部１６０３は、監視用仮想視点情報保持部１６０２から入力された少なくとも２つ以上の仮想視点情報を取得すると、それぞれの仮想視点情報に基づいて仮想視点画像を生成する。その後、生成した複数の仮想視点画像を互いに接続して１枚の合成画像を生成し、その合成画像を監視用仮想視点画像出力部４１６へ出力する。

図１８は、第３の実施形態におけるに係る監視仮想カメラ画像の表示例である。図１７を例にした場合の表示例となっており、４つの監視用仮想カメラ画像を１つの画面内に分割表示している。第３の実施形態の場合、監視者にとっては同時に４つの画像が表示されるように見える。そのため、コントローラ１０７には、４つの画像それぞれに独立して異常画像発生を示すボタンやキーを有することになる。同時に２つの画像に異常が発生した場合には、その画像に対応するボタンやキーを操作すればよい。

以上、第３の実施形態によれば、仮想カメラマンが、仮想視点画像に異常のある位置へ仮想カメラを移動させる前に、事前に品質監視用の仮想視点画像を生成して異常を検出でき、更に複数の監視仮想カメラを用いて各画像を１画面内に分割表示して確認することで、監視者は短時間で全体を監視することが可能となる。

なお、上記例の場合、画面を４分割して、それぞれに画像を表示するものとしたが、各分割画像に独立してモードを設定できるようにしても良い。

［第４の実施形態］
第４の実施形態は、撮影領域全体を俯瞰して仮想視点画像の品質を監視する際、仮想視点画像の異常を検出する処理を画像生成装置１０１内に設け、仮想カメラマンへ通知することで、監視者がいない場合においても異常が検出可能となることを実現する例である。

第１の実施形態と同等の機能を行うものは、同一の符号を付け、説明を省略する。図１９は、第４の実施形態における画像生成装置１０１の機能ブロック図である。

監視用仮想視点画像生成部１９０１は、仮想視点情報に対応した前景画像データと背景画像データを分離画像データ保存部４０３から取得して仮想視点画像を生成し、異常検出部１９０２へ出力する。その後、異常検出部１９０２から異常の有無、及び異常が有った場合は異常内容の通知を受ける。異常が無い場合は、生成した前記仮想視点画像を監視用仮想視点画像出力部４１６へ出力する。異常が有った場合は、生成した仮想視点画像に異常内容があることを識別可能とする処理を行い、その処理後の仮想視点画像を監視用仮想視点画像出力部４１６へ出力する。この際の処理としては、監視者に対して異常の可能性があることを直感的に認識できるような処理である。典型的には、仮想視点画像の隅に異常があることを示すダイアログを重畳する処理、或いは、仮想視点画像の外枠の色を通常とは異なる色にする等で良い。この結果、監視者は、自身の目視だけでなく、画像生成装置１０１による支援の下で異常視点の発生を把握できる。

異常検出部１９０２は、監視用仮想視点画像生成部１９０１から監視用の仮想視点画像を取得すると、全画素のＹ成分（輝度成分）を抽出する。次に、全画素のＹ成分のうち最大値を抽出し、該仮想視点画像の最大輝度と設定する。また、全画素のＹ成分のうち最小値を抽出し、該仮想視点画像の最小輝度と設定する。また、全画素のＹ成分の総和平均値を求め、該仮想視点画像の平均輝度と設定する。つまり、仮想視点画像毎に、最大輝度、最小輝度、平均輝度の３データを抽出する。さらに、平均輝度においては、最新の３秒間分の平均輝度値を記憶保持する。つまり、６０ｆｐｓの動画においては、１８０枚分の仮想視点画像の平均輝度値を記録している。

次に、異常検出部１９０２は、仮想視点画像内に白飛び異常が発生しているか否かを検出する。白飛びとは、画像が白で飽和していることにより画像データが無い状態のことで、後の編集工程でも修復の効かない異常である。監視用仮想視点画像生成部１９０１から取得した仮想視点画像から求めた最大輝度値が、Ｙ成分の上限値に等しいか否かを確認する。Ｙ成分の上限値とは、１０ビット画像の場合９４０に相当する。等しい場合は白とび異常と判定し、監視用仮想視点画像生成部１９０１へ出力する。

白飛び異常が発生していない場合、次に異常検出部１９０２は、仮想視点画像内に黒潰れ異常が発生しているか否かを検出する。黒潰れとは、画像が黒で飽和していることにより画像データが無い状態のことで、後の編集工程でも修復の効かない異常である。監視用仮想視点画像生成部１９０１から取得した仮想視点画像から求めた最小輝度値が、Ｙ成分の下限値に等しいか否かを確認する。Ｙ成分の上限値とは、１０ビット画像の場合６４に相当する。等しい場合は黒潰れ異常と判定し、監視用仮想視点画像生成部１９０１へ出力する。

黒潰れ異常が発生していない場合、次に異常検出部１９０２は、前記記録した３秒間の仮想視点画像の輝度推移を確認し、画像の明るさに急激な変化があるか否かを検出する。具体的には、３秒間分の仮想視点画像の平均輝度のうち最大値を最大平均輝度、最小値を最小平均輝度に設定し、最大平均輝度と最小平均輝度の差が２００を超えた場合に輝度急峻変化異常と判定し、監視用仮想視点画像生成部１９０１へ出力する。輝度急峻変化異常を検出する理由として、例えば、仮想カメラの移動や仮想カメラ向きの変更により、仮想視点画像が日向から日陰へ急激に変わると、該仮想視点画像を見ている視聴者は驚いてしまい不快に感じてしまう。よって、この場合においては、この監視仮想カメラの移動経路は使用するべきでない旨を仮想カメラマンに通知することで回避する。

最後に、輝度急峻変化が検出されなかった場合、正常である旨を監視用仮想視点画像生成部１９０１へ出力する。

なお、本例では露出に関する異常を検出する部を用いたが、露出異常の検出部は、上記仮想視点画像のＹ成分を用いた方法以外を用いても良い。さらに、異常は露出以外を検出しても良い。例えば、ヒストグラムによる解析や、ブロックノイズ・モスキートノイズなどのノイズ検出の方法を用いてもよく、特に限定されない。

以上説明したように本第４の実施形態によれば、仮想カメラマンが、仮想視点画像に異常のある位置へ移動する前に、事前に品質監視用の仮想視点画像を生成して異常を検出でき、さらに画像生成装置内に異常を自動で検出する部を設けて仮想カメラマンへ通知することで、監視者がいない場合においても異常が検出可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…画像生成装置、１０２…視聴用操作端末、１０３…視聴用操作端末画面、１０４…コントローラ、１０５…監視用端末、１０６…監視用端末画面、１０７…コントローラ、４０１…撮影画像データ入力部、４０２…前景背景分離部、４０３…分離画像データ保存部、４０４…視聴用仮想視点入力部、４０５…視聴用仮想視点情報保持部、４０６…視聴用仮想視点画像生成部、４０７…視聴用仮想視点画像出力部、４０８…監視仮想視点入力部、４０９…監視用仮想視点モード切替部、４１０…全体俯瞰監視カメラパス生成部、４１１…予測監視カメラパス生成部、４１２…低品位領域監視カメラパス生成部、４１３…カメラ操作入力監視カメラパス生成部、４１４…監視用仮想視点情報保持部、４１５…監視用仮想視点画像生成部、４１６…監視用仮想視点画像出力部、４１７…異常視点保持＆出力部、１３０２…前景領域監視カメラパス生成部、１６０１…分割監視カメラパス生成部、１９０１…監視用仮想視点画像生成部、１９０２…異常検出部

Claims (15)

1. 仮想視点画像を生成するための視点の位置または／および視線の方向を特定する情報を取得する取得手段と、
   前記取得手段により取得された視点の位置または／および視線の方向に基づいて生成される仮想視点画像の品質に関する情報を通知する通知手段と、
   を有することを特徴とする情報処理装置。
2. 前記通知手段は、品質が良くない仮想視点画像が生成される視点の位置または／および視線の方向を通知することを特徴とする
   請求項１に記載の情報処理装置。
3. 前記通知手段は、オブジェクトの欠落が生じる仮想視点画像が生成される視点の位置または／および視線の方向、または、ノイズを含む仮想視点画像が生成される視点の位置または／および視線の方向を通知することを特徴とする
   請求項１または２に記載の情報処理装置。
4. 前記通知手段は、他の装置に仮想視点画像の品質に関する情報を送信するまたは表示部に仮想視点画像の品質に関する情報を表示させることを特徴とする
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 複数の撮像装置により撮像された映像から、クライアントから要求された仮想視点から見える仮想視点画像を生成し前記クライアントに供給する画像生成装置であって、
   クライアントから要求された仮想視点の位置と視線方向を表す仮想視点情報に基づき、仮想視点画像を生成する画像生成手段と、
   生成した仮想視点画像を前記クライアントに送信する画像送信手段と、
   第１のタイプのクライアントから、仮想視点画像に異常があることを示す情報を受信した場合、異常となった仮想視点画像の仮想視点情報を保持する保持手段と、
   該保持手段で保持された仮想視点情報が表す仮想視点の位置と視線方向を表す情報を、仮想視点画像の作成を要求している第２のタイプのクライアントに送信する仮想視点送信手段と、
   を有することを特徴とする画像生成装置。
6. 前記第１のタイプのクライアントから、予め設けられた仮想視点の移動に関する複数のモードの１つの選択の指示を受信する受信手段と、
   選択したモードに応じて仮想視点情報を発生する発生手段と
   を含むことを特徴とする請求項５に記載の画像生成装置。
7. 前記複数のモードには、
   オブジェクトが存在し得る領域の全体を俯瞰するパスに沿って、仮想視点を所定速度で移動するモード、
   前記第２のタイプのクライアントから要求される仮想視点の移動する方向を推定し、当該推定した移動方向に沿って仮想視点を移動するモード、
   予め設定された、オブジェクトの画質が悪化しやすい領域を監視する対象とし、仮想視点を当該領域の周りに沿って所定速度で移動するモード、
   前記第１のタイプのクライアントのユーザの操作のみに依存して仮想視点を移動するモード
   が含まれることを特徴とする請求項６に記載の画像生成装置。
8. 前記仮想視点送信手段は、
   前記第２のタイプのクライアントから要求された現在の仮想視点と、前記保持手段に保持された仮想視点の位置と向きの関係をグラフィカルに表す情報を送信する
   ことを特徴とする請求項５乃至７のいずれか１項に記載の画像生成装置。
9. オブジェクトの分布に基づき、当該オブジェクトを包含する最小の領域を検出し、当該最小の領域を俯瞰するように仮想視点を移動するモードが含まれることを特徴とする請求項７に記載の画像生成装置。
10. オブジェクトが存在し得る領域を予め設定された個数で分割し、各分割領域を俯瞰する仮想視点画像を合成して１枚の画像を生成する合成手段を更に有し、
    前記画像送信手段は、前記第１のタイプのクライアントに送信する場合には前記合成手段による合成後の画像を送信する
    ことを特徴とする請求項５に記載の画像生成装置。
11. 前記画像生成手段は、
    前記第１のタイプのクライアントから受信した仮想視点情報を受信した場合、予め設定された過去から現在までに生成した仮想視点画像における輝度成分の最大輝度、平均輝度、最小輝度に基づき、現在の仮想視点画像に対する異常の有無を推定し、異常が推定された場合には異常が推定されたことを示す情報を付加した仮想視点画像を生成する
    ことを特徴とする請求項５乃至１０のいずれか１項に記載の画像生成装置。
12. 情報処理装置の制御方法であって、
    取得手段が、仮想視点画像を生成するための視点の位置または／および視線の方向を特定する情報を取得する取得工程と、
    通知手段が、前記取得工程により取得された視点の位置または／および視線の方向に基づいて生成される仮想視点画像の品質に関する情報を通知する通知工程と、
    を有することを特徴とする情報処理装置の制御方法。
13. 複数の撮像装置により撮像された映像から、クライアントから要求された仮想視点から見える仮想視点画像を生成し前記クライアントに供給する画像生成装置の制御方法であって、
    画像生成手段が、クライアントから要求された仮想視点の位置と視線方向を表す仮想視点情報に基づき、仮想視点画像を生成する画像生成工程と、
    画像送信手段が、生成した仮想視点画像を前記クライアントに送信する画像送信工程と、
    保持手段が、第１のタイプのクライアントから、仮想視点画像に異常があることを示す情報を受信した場合、異常となった仮想視点画像の仮想視点情報を保持する保持工程と、
    仮想視点送信手段が、前記保持工程で保持された仮想視点情報が表す仮想視点の位置と視線方向を表す情報を、仮想視点画像の作成を要求している第２のタイプのクライアントに送信する仮想視点送信工程と、
    を有することを特徴とする画像生成装置の制御方法。
14. コンピュータが読み込み実行することで、前記コンピュータに、請求項１３に記載の方法の各工程を実行させるためのプログラム。
15. 複数のクライアントと、複数の撮像装置により撮像された映像から、各クライアントから要求された仮想視点から見える仮想視点画像を生成し、要求元のクライアントに供給する画像生成装置とで構成される画像処理システムであって、
    画像生成装置は、
    前記クライアントから要求された仮想視点の位置と視線方向を表す仮想視点情報に基づき、仮想視点画像を生成する画像生成手段と、
    生成した仮想視点画像を要求元のクライアントに送信する画像送信手段と、
    第１のタイプのクライアントから、仮想視点画像に異常があることを示す情報を受信した場合、異常となった仮想視点画像の仮想視点情報を保持する保持手段と、
    該保持手段で保持された仮想視点情報が表す仮想視点の位置と視線方向を表す情報を、仮想視点画像の作成を要求している第２のタイプのクライアントに送信する仮想視点送信手段と、
    前記第１のタイプのクライアントは、
    前記画像送信手段による送信された仮想視点画像を表示する第１の表示手段と、
    ユーザからの所定の入力があった場合、表示された仮想視点画像が異常であることを示す情報を前記画像生成手段に送信する手段とを有し、
    前記第２のタイプのクライアントは、
    ユーザから入力された、仮想視点の位置と向きを表す仮想視点情報を前記画像生成手段に送信する手段と、
    送信した前記仮想視点情報に基づいて前記画像生成装置が生成した仮想視点画像、及び、前記仮想視点送信手段からの情報に基づいて、ユーザが指定した仮想視点の位置と向き、及び、前記第１のタイプのクライアントが示した異常な仮想視点の位置と向きとの関係を示す画像を表示する第２の表示手段とを有する
    ことを特徴とする画像処理システム。

Images