JP2019197348A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの期待に反して画質の低い仮想視点画像が生成されてしまう虞を低減する。【解決手段】画像処理システム（１０）は、仮想視点を指定する指定手段（１０５）と、前記指定手段（１０５）により指定される仮想視点と、複数のカメラ（１０１）が撮影した撮影画像に基づいて生成される仮想視点画像であって当該仮想視点に対応する仮想視点画像の画質との関係に関する情報を、表示部に表示させる表示制御手段（１０４、１０５）と、を有する。【選択図】図１

Description

本発明は、仮想視点画像を生成する技術に関する。

複数のカメラを異なる位置に配置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。ここで、仮想視点画像は、仮想的なカメラ（以下、仮想カメラとする。）の視点（仮想視点）から見た画像と言える。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールの試合のハイライトシーンを様々な角度から閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

特許文献１には、仮想カメラを操作し仮想視点画像を生成する技術が記載されている。具体的には、ユーザの操作に基づいて仮想カメラの撮影方向を設定し、その仮想カメラの撮影方向に基づいて仮想視点画像を生成する技術が開示されている。

特開２０１５−２１９８８２号公報

複数のカメラによる撮影画像に基づいて仮想視点画像を生成する場合において、複数のカメラの配置と仮想視点の位置及び方向によっては、生成される仮想視点画像の画質が低くなる場合が生じ得る。特許文献１に記載の技術では、ユーザは指定した仮想視点に対応する仮想視点画像が生成されて表示されるまで、その仮想視点に対応する仮想視点画像の画質が低くなるかどうかを知ることができず、ユーザの期待に反して画質が低い仮想視点画像が生成されてしまう虞がある。

そこで、本発明は、ユーザの期待に反して画質の低い仮想視点画像が生成されてしまう虞を低減することを目的とする。

本発明の情報処理装置は、仮想視点を指定する指定手段と、前記指定手段により指定される仮想視点と、複数のカメラが撮影した撮影画像に基づいて生成される仮想視点画像であって当該仮想視点に対応する仮想視点画像の画質との関係に関する情報を、表示部に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、ユーザの期待に反して画質の低い仮想視点画像が生成されてしまう虞を低減することができるようになる。

画像処理システムの概略構成を示す図である。 仮想視点指定装置の構成例を示す図である。 注視点インジケータを生成して合成する機能構成図である。 注視点インジケータの表示位置の例を説明する図である。 注視点インジケータの形状例を示す図である。 注視点インジケータの表示例を示す図である。 注視点インジケータの生成から合成までのフローチャートである。 前景インジケータを生成して合成する機能構成図である。 前景インジケータの表示例を示す図である。 前景インジケータの生成から合成までのフローチャートである。 方位、姿勢、高度インジケータを生成して合成する機能構成図である。 方位、姿勢、高度インジケータの例を示す図である。 方位、姿勢、高度インジケータ生成と加工のフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。
［システム構成］
図１（ａ）は、本実施形態の情報処理装置が適用される画像処理システム１０の概略的な全体構成の一例を示した図である。
画像処理システム１０は、センサシステム１０１ａ，１０１ｂ，１０１ｃ，・・・，１０１ｎのｎ個のセンサシステムを有する。なお、本実施形態において特別な説明がない場合は、ｎ個のセンサシステムを区別せずセンサシステム１０１と記載する。画像処理システム１０は、さらに、フロントエンドサーバ１０２、データベース１０３、バックエンドサーバ１０４、仮想視点指定装置１０５及び配信装置１０６を有する。

それぞれのセンサシステム１０１はデジタルカメラ（以下、物理カメラとする）とマイクロフォン（以下、物理マイクとする）を有する。これら複数のセンサシステム１０１の各物理カメラは、それぞれ異なる方向を同期して撮影する。また、複数のセンサシステム１０１の各物理マイクは、それぞれ異なる方向やその設置位置周辺の音声を集音する。

フロントエンドサーバ１０２は、複数のセンサシステム１０１の各物理カメラによりそれぞれ異なる方向で撮影された複数の撮影画像データを取得して、それら複数の撮影画像をデータベース１０３に出力する。また、フロントエンドサーバ１０２は、複数のセンサシステム１０１の各物理マイクによりそれぞれ集音された複数の音声データを取得して、それら複数の音声データをデータベース１０３に出力する。なお、本実施形態では、フロントエンドサーバ１０２が、複数の撮影画像データと複数の音声データとをいずれもセンサシステム１０１ｎを介して取得するものとする。ただし、これに限らず、フロントエンドサーバ１０２は、各センサシステム１０１からそれぞれ撮影画像データと音声データを直接取得してもよい。以下の説明では、各構成間でやり取りされる画像データを単に「画像」と表記し、また音声データについても同様に単に「音声」と表記する。

データベース１０３は、フロントエンドサーバ１０２から入力された撮影画像及び音声を保持する。さらに、データベース１０３は、バックエンドサーバ１０４からの要求に応じて、保持している撮影画像及び音声をバックエンドサーバ１０４に出力する。

バックエンドサーバ１０４は、後述する仮想視点指定装置１０５から操作者により指定された仮想的な視点の位置情報を取得し、その指定された位置情報に応じた仮想的な視点の画像を生成する。またバックエンドサーバ１０４は、仮想視点指定装置１０５から操作者により指定された仮想的な聴取点の位置情報を取得し、その位置情報に応じた仮想的な聴取点の音声を生成する。

ここで、仮想的な視点と仮想的な聴取点の位置は異なる位置であってもよいし、同じ位置であってもよい。本実施形態では、説明を簡略にするために、音声について指定される仮想的な聴取点が、画像について指定される仮想的な視点と同じ位置であるとし、以下、その位置を単に「仮想視点」と呼ぶことにする。また以下の説明では、仮想的な視点の画像と音声を、それぞれ仮想視点画像と仮想視点音声と呼ぶことにする。本実施形態において、仮想視点画像とは、例えば仮想視点から被写体を撮影した場合に得られるはずの画像のことであり、仮想視点音声とは、仮想視点で集音した場合に得られるはずの音声のことである。すなわちバックエンドサーバ１０４は、仮想視点にあたかも仮想的なカメラが存在していて、その仮想的なカメラにより画像が撮影されたと仮想した場合の画像を仮想視点画像として生成する。同様に、バックエンドサーバ１０４は、仮想視点にあたかも仮想的なマイクが存在していて、その仮想的なマイクにより音声が集音されたと仮想した場合の音声を仮想視点音声として生成する。そして、バックエンドサーバ１０４は、生成した仮想視点画像と仮想視点音声を、仮想視点指定装置１０５および配信装置１０６へ出力する。なお、本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

また、バックエンドサーバ１０４は、各センサシステム１０１が有する物理カメラの位置、姿勢、画角、画素数などの情報を取得し、それらの情報を基に、仮想視点画像の画質に関する各種のインジケータ情報を生成する。ここで、物理カメラの位置と姿勢の情報は、実際に配置されている各物理カメラの配置位置とカメラの姿勢を表す情報である。また、物理カメラの画角と画素数の情報は、物理カメラにおいて実際に設定されている画角と画素数を表す情報である。そして、バックエンドサーバ１０４は、それら生成した各種インジケータ情報を、仮想視点指定装置１０５へ出力する。

仮想視点指定装置１０５は、バックエンドサーバ１０４が生成した仮想視点画像および各種インジケータ情報と仮想視点音声とを取得する。仮想視点指定装置１０５は、後述する図２において説明するコントローラ２０８等を含む操作入力装置と、表示部２０１，２０２等の表示装置とをも有している。仮想視点指定装置１０５は、取得した各種インジケータ情報を基に表示用の各種インジケータを生成し、仮想視点画像に各種インジケータを合成して表示装置に表示させる表示制御を行う。また、仮想視点指定装置１０５は、表示装置に内蔵されたスピーカや外付けのスピーカ等を介して仮想視点音声を出力させる。これにより、当該仮想視点指定装置１０５の操作者に対し、仮想視点画像と各種インジケータおよび仮想視点音声を視聴させることができる。これ以降、仮想視点指定装置１０５の操作者を単に「操作者」と記載する。操作者は、提示された仮想視点画像と各種インジケータや仮想視点音声を視聴し、それらを参考にして、仮想視点指定装置１０５の操作入力装置を介して、例えば新しい仮想視点を指定することができる。操作者が指定した仮想視点は、仮想視点指定装置１０５からバックエンドサーバ１０４へ出力される。つまり、仮想視点の操作者は、バックエンドサーバ１０４が生成する仮想視点画像と各種インジケータや仮想視点音声を参考に、リアルタイムに新たな仮想視点を指定することができる。

配信装置１０６は、バックエンドサーバ１０４が生成した仮想視点画像と仮想視点音声を取得し、仮想視点画像と仮想視点音声を視聴する視聴者が有する端末等へ配信する。例えば、配信装置１０６は、放送局によって管理され、視聴者が有するテレビ受像機などの端末へ仮想視点画像と仮想視点音声を配信する。また例えば、配信装置１０６は、動画サービス会社によって管理され、視聴者が有するスマートフォンやタブレットなどの端末へ仮想視点画像と仮想視点音声を配信する。なお、仮想視点を指定する操作者と、指定された仮想視点に対応する仮想視点画像を見る視聴者とが同一であってもよい。すなわち、配信装置１０６により仮想視点画像が配信される配信先の装置と、仮想視点指定装置１０５とが、一体となって構成されていてもよい。本実施形態における「ユーザ」には、操作者、視聴者、及び操作者とも視聴者とも異なる人物の何れも含まれるものとする。

図１（ｂ）は、バックエンドサーバ１０４のハードウェア構成例を示した図である。なお、画像処理システム１０に含まれる仮想視点指定装置１０５やフロントエンドサーバ１０２等の他の各装置も図１（ｂ）と同様の構成を有する。ただし、センサシステム１０１は、以下の構成に加えて物理マイクと物理カメラを有する。バックエンドサーバ１０４は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、外部インタフェース１１４を有する。

ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いてバックエンドサーバ１０４の全体を制御する。なお、バックエンドサーバ１０４がＣＰＵ１１１とは異なる専用の一又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１１１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読み出されたコンピュータプログラムやデータ、及び外部インタフェース１１４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。

外部インタフェース１１４は、データベース１０３、仮想視点指定装置１０５、及び配信装置１０６などの外部の装置と通信し、また、不図示の表示装置や操作入力装置等と通信する。外部の装置との通信は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルやＳＤＩ（Ｓｅｒｉａｌ Ｄｅｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて有線で行われてもよいし、アンテナを介して無線で行われてもよい。

図２は、仮想視点指定装置１０５の概略的な外観構成例を示す図である。
仮想視点指定装置１０５は、仮想視点画像を表示する表示部２０１、ＧＵＩ用の表示部２０２、操作者が仮想視点を指定する際に操作するコントローラ２０８等を含む。仮想視点指定装置１０５は、バックエンドサーバ１０４から取得した、仮想視点画像と、各種インジケータ情報を基に生成した注視点インジケータ２０３や前景インジケータ２０４などを、表示部２０１に表示する。また、仮想視点指定装置１０５は、各種インジケータ情報を基に生成した方位インジケータ２０５、姿勢インジケータ２０６、高度インジケータ２０７などを、表示部２０２に表示する。これら表示される各種インジケータの詳細については後述する。

本実施形態の画像処理システム１０は、前述したように、仮想視点にあたかも仮想的なカメラが存在していて、この仮想的なカメラにより画像が撮影されたと仮想した場合の仮想視点画像を生成して視聴者に提供することができる。同様に、画像処理システム１０は、仮想視点にあたかも仮想的なマイクが存在していて、この仮想的なマイクにより音声が集音されたと仮想した場合の仮想視点音声を生成して視聴者に提供することができる。本実施形態の場合、仮想視点は仮想視点指定装置１０５の操作者により指定されるため、仮想視点画像は換言すると操作者によって指定された仮想視点から見える画像であり、同様に仮想視点音声は操作者に指定された仮想視点から聞こえる音声であると言える。なお、これ以降の説明では、各センサシステム１０１が有している物理カメラ、物理マイクと区別するために、仮想的なカメラを仮想カメラ、仮想的なマイクを仮想マイクと呼ぶことにする。また本実施形態では、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとする。すなわち本実施形態の画像処理システム１０は、静止画及び動画の何れについても処理可能である。また本実施形態の画像処理システム１０では、仮想視点画像と仮想視点音声の両方が生成される例を挙げたが、例えば仮想視点画像のみ生成してもよいし、仮想視点音声のみを生成してもよい。これ以降は、説明を簡略にするために、仮想視点画像に関する処理を中心に説明し、仮想視点音声に関する処理の説明については省略する。

＜注視点インジケータの生成と仮想視点画像への合成処理＞
図３は、本実施形態の情報処理装置のブロック図であり、主に、図１に示した画像処理システム１０のバックエンドサーバ１０４において注視点インジケータを生成して仮想視点画像に合成するための機能構成を示した図である。
図３において、物理情報取得部３０１は、センサシステム１０１の物理カメラに関する各種の情報を取得する。物理カメラに関する情報は、前述したように位置、姿勢、画角、画素数などの情報である。物理カメラの位置と姿勢は、各物理カメラの撮影範囲内で予め位置が分かっている点（例えば位置が固定されている特定の被写体等）と、それを各物理カメラにより撮影した画像内における点との位置関係を基に求めることができる。なお、これはいわゆるカメラキャリブレーションと呼ばれる方法である。その他にも、センサシステム１０１にＧＰＳやジャイロが設けられている場合には、それらから得られた情報を基に、物理カメラの位置と姿勢を求めてもよい。物理カメラの画角と画素数は、物理カメラ自身に保持されている画角と画素数の設定値を取得すればよい。また、物理カメラに関する情報の少なくとも一部を、データベース１０３やバックエンドサーバ１０４などに対してユーザが入力してもよい。

仮想情報取得部３０２は、仮想視点指定装置１０５から、仮想視点における仮想カメラに関する各種の情報を取得する。仮想カメラに関する情報は、物理カメラの場合と同様の位置、姿勢、画角、画素数などである。ただし仮想カメラは実際には存在しないため、仮想視点指定装置１０５は、操作者からの指定に応じて、仮想視点における仮想カメラの位置、姿勢、画角、画素数などの情報を生成し、仮想情報取得部３０２はそれらの情報を取得する。

画像生成部３０３は、複数の物理カメラにより撮影された複数の撮影画像を取得し、また、仮想情報取得部３０２から仮想視点の仮想カメラに関する各種情報を取得する。画像生成部３０３は、それら物理カメラからの撮影画像と、仮想カメラに関する各種情報とを基に、仮想カメラの視点（仮想視点）から見える仮想視点画像を生成する。

ここでは、物理カメラによりサッカーの試合が撮影されている場合を例に挙げて、画像生成部３０３における仮想視点画像の生成例について説明する。以下の説明では、選手やボールなどの被写体を「前景」と呼び、サッカーフィールド（芝生）などの前景以外の被写体を「背景」と呼ぶことにする。先ず、画像生成部３０３は、物理カメラにより撮影された複数の撮影画像から、選手やボールなどの前景の被写体の３Ｄ形状および位置を算出する。次に、画像生成部３０３は、その算出した３Ｄ形状および位置と、仮想視点における仮想カメラに関する情報とを基に、選手やボールなどの前景の被写体の画像を再構成する。さらに、画像生成部３０３は、物理カメラにより撮影された複数の撮影画像から、サッカーフィールドなどの背景の画像を生成する。そして、画像生成部３０３は、生成した背景の画像に対し、再構成した前景の画像を合成することにより、仮想視点画像を生成する。

インジケータ生成部３０４は、物理情報取得部３０１から物理カメラに関する情報を取得し、それらの情報を基に、各物理カメラの位置、姿勢、画角、画素数などに応じた各種インジケータ情報の一つとして、図２に例示した注視点インジケータ２０３を生成する。このため、インジケータ生成部３０４は、表示位置計算部３０５と形状決定部３０６を有して構成されている。表示位置計算部３０５は、図２に例示した注視点インジケータ２０３を表示する位置を計算する。形状決定部３０６は、表示位置計算部３０５により算出された位置に表示する注視点インジケータ２０３の形状を決定する。

表示位置計算部３０５は、先ず、物理情報取得部３０１から物理カメラの位置と姿勢の情報を取得し、それら位置と姿勢の情報を基に、それぞれの物理カメラにより撮影されている位置（以下、注視点とする）を計算する。この時の表示位置計算部３０５は、物理カメラの姿勢の情報を基に、物理カメラの光軸方向を求める。さらに表示位置計算部３０５は、物理カメラの位置の情報を基に、物理カメラの光軸とフィールド面との交点を求め、その交点を物理カメラの注視点とする。次に、表示位置計算部３０５は、それぞれ物理カメラごとに求めた注視点が、一定の距離内にある各物理カメラをまとめて注視点グループとする。そして、表示位置計算部３０５は、注視点グループが複数ある場合、それら注視点グループごとに、グループ内の複数のカメラに対応する複数の注視点の中心点を求め、その中心点を、注視点インジケータ２０３の表示位置とする。つまり、注視点インジケータ２０３の表示位置は、物理カメラの注視点の辺りであり、複数の物理カメラにより撮影される位置になる。

図４（ａ）〜図４（ｃ）は、注視点インジケータ２０３の表示位置の例を示す図である。図４（ａ）は、サッカーフィールドの全周に８台の各センサシステム１０１（つまり８台の物理カメラ）が配置されている例を示している。図４（ａ）の場合、８台の物理カメラの各注視点が一定の距離内にあるため、一つの注視点グループが形成されている。このため図４（ａ）の例では、その注視点グループの中心位置が注視点インジケータ２０３の表示位置４０１ａになる。図４（ｂ）は、サッカーフィールドの約南半周側に５台の各センサシステム１０１（５台の物理カメラ）が配置されている例を示している。この図４（ｂ）の場合、５台の物理カメラの各注視点が一定の距離内にあるため、一つの注視点グループが形成されている。このため図４（ｂ）の例では、その注視点グループの中心位置が注視点インジケータ２０３の表示位置４０１ｂになる。図４（ｃ）は、サッカーフィールドの全周に１２台の各センサシステム１０１（１２台の物理カメラ）が配置されている例を示している。この図４（ｃ）の場合、サッカーフィールドの略々西半周側の６台の物理カメラの各注視点が一定の距離内であるため、注視点グループが一つ形成されている。さらに図４（ｃ）の場合、サッカーフィールドの略々東半周側の６台の物理カメラの各注視点が一定の距離内にあるため、注視点グループがもう一つ形成されている。このため、図４（ｃ）の例では、それら二つの注視点グループの中心位置が、それぞれ注視点インジケータ２０３の表示位置４０１ｃ，４０１ｄになる。

形状決定部３０６は、表示位置計算部３０５により算出された表示位置に表示する、注視点インジケータ２０３の形状を、例えば図５（ａ）〜図５（ｆ）に示す形状の何れかに決定する。
図５（ａ）と図５（ｂ）は、注視点インジケータ２０３の形状のベースを円形状とした例を示した図である。図５（ａ）の形状は、例えば図４（ａ）で示したような物理カメラの配置に対応した注視点インジケータ２０３の形状例である。図４（ａ）の例では物理カメラがサッカーフィールドの全周にわたって配置されているので、注視点インジケータ２０３の形状はサッカーフィールドの全周を表した円形状とする。図５（ｂ）の形状は、例えば図４（ｂ）で示した物理カメラの配置に対応した注視点インジケータ２０３の形状例である。図４（ｂ）の例では物理カメラがサッカーフィールドの約南半周側に配置されているので、注視点インジケータ２０３の形状はサッカーフィールドの約南半周を表した形状とする。つまり図５（ｂ）の形状は、サッカーフィールドに対応した円形状から、図４（ｂ）の例で注視点グループを形成している約南半周側の物理カメラの配置に対応した方向を残し、それ以外の方向を削ったような形状となされている。

ここで、仮想視点画像は、物理カメラにより撮影された画像を基に生成される。このため、物理カメラが配置されている側の仮想視点画像は生成できるが、物理カメラが配置されていない側からの仮想視点画像は生成できない。つまり図４（ａ）に例示した物理カメラの配置の場合はサッカーフィールドの略々全周について仮想視点画像を生成できるが、図４（ｂ）の配置例の場合には物理カメラが配置されていない約北半周側の仮想視点画像を生成することができない。このため、図５（ａ）や図５（ｂ）に例示した形状の注視点インジケータ２０３を表示することで、操作者は、仮想視点画像を生成可能な範囲を知ることができるようになる。

図５（ｃ）と図５（ｄ）は、注視点インジケータ２０３の形状のベースを物理カメラの光軸を表す線とした例である。図５（ｃ）と図５（ｄ）では、図中の一本の線が一つの物理カメラの光軸に対応する。図５（ｃ）に例示した形状は、図４（ａ）に示した物理カメラの配置に対応した注視点インジケータ２０３の形状例である。前述したように図４（ａ）の例では物理カメラがサッカーフィールドの全周に配置されているので、注視点インジケータ２０３はサッカーフィールドの全周に配置された８台の物理カメラのそれぞれの光軸に対応した８本の線で表された形状となされている。図５（ｄ）の形状は、図４（ｂ）に示した物理カメラ配置に対応した注視点インジケータ２０３の形状例である。図４（ｂ）の例では５台の物理カメラがサッカーフィールドの約南半周側に配置されているので、注視点インジケータ２０３はサッカーフィールドの約南半周に配置された５台の物理カメラのそれぞれの光軸に対応した５本の線で表された形状となされている。これら図５（ｃ）と図５（ｄ）の例においても、前述した図５（ａ）と図５（ｂ）の例と同様に、操作者が仮想視点画像を生成できる仮想カメラの範囲を知ることができるという効果が得られる。

また、仮想視点画像は、前述したように物理カメラによる撮影画像を基に生成されるため、物理カメラが密に配置されている側については、粗に配置されている側と比較して、より高い画質の仮想視点画像を生成できることになる。このため、図５（ｃ）と図５（ｄ）のように物理カメラの光軸を表す線で注視点インジケータ２０３の形状を表すことで、操作者は、物理カメラが配置されている方向の粗密を知ることができる。つまり、この例の場合、より画質が高い仮想視点画像を生成できる範囲を操作者が知ることができるという効果が得られる。

なお、図５（ｃ）と図５（ｄ）に示した注視点インジケータ２０３の形状例において、例えば物理カメラの焦点距離や画素数に応じて、物理カメラのそれぞれの光軸を表す線の長さを変えてもよい。例えば、画角が小さいほど（焦点距離が長いほど）光軸を表す線の長さを長くしたり、画素数が多いほど光軸を表す線の長さを長くしたりしてもよい。また一般に、物理カメラは、焦点距離が長いほど前景を大きく撮影することができ、画素数が多いほど前景を大きく表示しても画質の劣化が見え難い。また物理カメラが撮影する前景が大きいほど、仮想視点画像で前景を大きくしても画像が破たんし難くなる。このため、物理カメラの焦点距離や画素数に応じて、物理カメラのそれぞれの光軸を表す線の長さを変えるようにした場合、操作者は、前景をどれくらい大きくできるかの目安となる物理カメラの情報（画角、画素数など）を知ることができることになる。

図５（ｅ）と図５（ｆ）は、注視点インジケータ２０３の形状に、仮想視点画像の画質が変化する境界を表す第１の境界線５０２と第２の境界線５０３を加えた例である。図５（ｅ）の形状は、図４（ａ）に示した物理カメラの配置に対応した注視点インジケータ２０３の形状例であり、前述の図５（ａ）の例のようにサッカーフィールドの全周を表した円形状とする。図５（ｆ）の形状は、図４（ｂ）に示した物理カメラの配置に対応した注視点インジケータ２０３の形状例であり、前述した図５（ｄ）の例のようにサッカーフィールドの約南半周に配置された５台の物理カメラの各光軸に対応した５本の線で表された形状とする。さらに図５（ｅ）と図５（ｆ）の例では、生成される仮想視点画像の画質を、例えば高・中・低の３段階に分類する。そして、第１の境界線５０２で囲まれる範囲を高画質の範囲とし、第２の境界線５０３で囲まれる範囲を中画質の範囲とし、第２の境界線５０３の外の範囲を低画質の範囲とする。

ここで、仮想視点画像の画質を決める要因の一つは、仮想視点画像が、何台の物理カメラから撮影された画像を基に生成されるかに依存する。よって、仮想視点画像の画質を表す境界線を、例えば以下のようにして近似する。例えば、物理カメラの台数として、ＮＡ台とＮＢ台を例に挙げ、ＮＡとＮＢの値はＮＡ＞ＮＢであり、またＮＡとＮＢの値は経験的に求める。そして例えば、ＮＡ台以上の物理カメラにより撮影される範囲を第１の境界線５０２とし、ＮＢ台以上の物理カメラにより撮影される範囲を第２の境界線５０３とする。このように、注視点インジケータ２０３にさらに仮想視点画像の画質を表す境界線を加えることにより、操作者が画質の高い仮想視点画像を生成できる範囲を知ることができるという効果を得ることができるようになる。なお、表示されるインジケータは図５の例に限定されるものではなく、高画質な仮想視点画像を生成可能な仮想視点の位置及び方向の少なくとも何れかを特定可能な情報であればよい。また、画像処理システム１０は、どの形状のインジケータを表示するかをユーザ操作に応じて切り替えてもよい。

図３に説明を戻す。インジケータ出力部３０７は、注視点インジケータ２０３を仮想視点画像に合成して仮想視点指定装置１０５へ出力する。インジケータ出力部３０７は、合成部３０８と出力部３０９を有する。
合成部３０８は、画像生成部３０３により生成された仮想視点画像に、インジケータ生成部３０４により生成された注視点インジケータ２０３を合成する。例えば、合成部３０８は、仮想カメラの位置、姿勢、画角、画素数から求まる透視投影行列を使い、注視点インジケータ２０３を仮想視点画像に投影して合成する。
出力部３０９は、合成部３０８により注視点インジケータ２０３が合成された仮想視点画像を、仮想視点指定装置１０５へ出力する。これにより、仮想視点指定装置１０５の表示部２０１には、注視点インジケータ２０３が合成された仮想視点画像が表示されることになる。すなわち、出力部３０９は、注視点インジケータ２０３を表示部２０１に表示させるための制御を行う。

図６（ａ）と図６（ｂ）は、注視点インジケータ２０３が合成された仮想視点画像の表示例を示した図である。図６（ａ）は、前述した図５（ｅ）に例示した注視点インジケータ２０３及び第１，第２の境界線５０２，５０３が合成された仮想視点画像の表示例である。図６（ｂ）は、前述した図５（ｆ）に例示した注視点インジケータ２０３及び第１，第２の境界線５０２，５０３が合成された仮想視点画像の表示例である。これら図６（ａ）と図６（ｂ）の例では、サッカーフィールドの背景と選手やボールなどの前景６０２を含む仮想視点画像に、注視点インジケータ２０３及び第１，第２の境界線５０２，５０３が合成されている。境界線５０２の内側に位置する前景６０２の画像は高画質に生成され、境界線５０２と境界線５０３の間に位置する前景６０２の画像は中画質で生成され、境界線５０３の外側に位置する前景６０２の画像は低画質で生成される。また図６（ａ）と図６（ｂ）の仮想視点画像には仮想カメラの注視点６０１（仮想視点画像の画像中心）も合成されている。図６（ａ）と図６（ｂ）に例示した注視点インジケータ２０３及び第１，第２の境界線５０２，５０３の場合、画質が低くなることを表す第２の境界線５０３が左側方向に広がっている。このため、図６（ａ）と図６（ｂ）の表示例の場合、操作者は、仮想カメラをこれ以上左方向にパンニング（注視点６０１を左方向に移動）させると、図６（ａ）及び図６（ｂ）における右端の前景６０２が第２の境界線５０３の外側へ移動してしまい、画質が劣化することを事前に知ることができる。また例えば、図６（ｂ）の表示例の場合、操作者は、反対側（サッカーフィールドの北半周側）から仮想視点画像を生成できないことを事前に知ることができる。さらにこれら図６（ａ）と図６（ｂ）の表示例の場合、仮想カメラの注視点６０１も合成表示されているため、操作者は、物理カメラの向きと仮想カメラの向きとの関係を知ることをできる。

なお図３の機能構成では、注視点インジケータ２０３を仮想視点画像に合成して仮想視点指定装置１０５へ出力する例を挙げたが、注視点インジケータ２０３を仮想視点画像に合成せず、別々に仮想視点指定装置１０５へ出力してもよい。この例の場合、仮想視点指定装置１０５は、撮影領域（サッカースタジアムなど）を俯瞰的に見た俯瞰画像を例えばワイヤーフレーム法などを用いて生成し、その俯瞰画像に注視点インジケータ２０３を合成して表示してもよい。さらに、仮想視点指定装置１０５は俯瞰画像に仮想カメラを合成してもよく、この場合、操作者は、仮想カメラと注視点インジケータ２０３の位置関係を知ることができる。つまり、操作者は、撮影可能な範囲、画質が高い範囲を知ることができることになる。

図７は、本実施形態にかかる情報処理装置の処理手順を示したフローチャートである。図７のフローチャートは、図３に示した機能構成において前述したように注視点インジケータを生成して仮想視点画像に合成して出力するまでの処理の流れを示している。なお、以下の説明では、図７のフローチャートの各処理ステップＳ７０１〜ステップＳ７１８をＳ７０１〜Ｓ７１８と略記する。図７のフローチャートの処理は、ソフトウェア構成またはハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ１１３等に記憶されている本実施形態に係るプログラムをＣＰＵ１１１等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ１１３等に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは、後述する他のフローチャートにおいても同様であるとする。

Ｓ７０１において、インジケータ生成部３０４の表示位置計算部３０５は、表示位置の計算処理が未処理となっている物理カメラが有るか否かを判定する。そいて、表示位置計算部３０５は、未処理の物理カメラがないと判定した場合にはＳ７０５へ処理を進め、一方、未処理の物理カメラが有ると判定した場合にはＳ７０２へ処理を進める。

Ｓ７０２に進むと、表示位置計算部３０５は、未処理となっている物理カメラを１台選択した後、Ｓ７０３へ処理を進める。
Ｓ７０３に進むと、表示位置計算部３０５は、Ｓ７０２で選択した物理カメラの位置と姿勢の情報を、物理情報取得部３０１を介して取得した後、Ｓ７０４へ処理を進める。
Ｓ７０４に進むと、表示位置計算部３０５は、取得した位置と姿勢を用い、Ｓ７０２で選択した物理カメラの注視点の位置を計算する。そして、Ｓ７０４の後、インジケータ生成部３０４の処理は、Ｓ７０２に戻る。
このように、Ｓ７０２からＳ７０４までの処理は、Ｓ７０１において未処理と判定される物理カメラが無くなるまで繰り返される。

Ｓ７０１で未処理の物理カメラがないと判定されてＳ７０５に進んだ場合、表示位置計算部３０５は、物理カメラごとに計算した注視点が一定の距離内に含まれる物理カメラをまとめて注視点グループとする。そして、Ｓ７０５の後、表示位置計算部３０５は、Ｓ７０６へ処理を進める。
Ｓ７０６に進むと、表示位置計算部３０５は、注視点グループごとに物理カメラの注視点の中心を計算し、その位置を注視点インジケータ２０３の表示位置とする。Ｓ７０６の後、インジケータ生成部３０４の処理は、Ｓ７０７へ進む。

Ｓ７０７に進むと、インジケータ生成部３０４の形状決定部３０６は、注視点インジケータの形状を決定する処理が未処理となっている注視点グループが有るか否かを判定する。そして、Ｓ７０７において未処理の注視点グループが有ると判定した場合、形状決定部３０６はＳ７０８へ処理を進める。一方、Ｓ７０７において未処理の注視点グループがないと判定された場合には、インジケータ出力部３０７において行われるＳ７１１へ処理が進む。

Ｓ７０８に進むと、形状決定部３０６は、未処理となっている注視点グループを一つ選択した後、Ｓ７０９へ処理を進める。
Ｓ７０９に進むと、形状決定部３０６は、Ｓ７０８で選択した注視点グループに含まれる物理カメラの位置、姿勢、画角、画素数等の情報を、物理情報取得部３０１から表示位置計算部３０５を介して取得した後、Ｓ７１０へ処理を進める。
Ｓ７１０に進むと、形状決定部３０６は、取得した位置、姿勢、画角、画素数等を基に、Ｓ７０８で選択した注視点グループに対応した注視点インジケータ（２０３）の形状を決定する。そして、Ｓ７１０の後、インジケータ生成部３０４の処理は、Ｓ７０７に戻る。
このように、Ｓ７０８からＳ７１０までの処理は、Ｓ７０７において未処理と判定される注視点グループが無くなるまで繰り返される。これにより注視点グループごとに、それぞれ注視点インジケータが一つ形成されることになる。

Ｓ７０７で未処理の注視点グループがないと判定されてＳ７１１に進んだ場合、インジケータ出力部３０７の合成部３０８は、仮想カメラの位置、姿勢、画角、画素数等の情報を、仮想情報取得部３０２から画像生成部３０３を介して取得する。
次にＳ７１２において、合成部３０８は、Ｓ７１１で取得した仮想カメラの位置、姿勢、画角、画素数から透視投影行列を計算する。
さらにＳ７１３において、合成部３０８は、画像生成部３０３が生成した仮想視点画像を取得する。

次にＳ７１４において、合成部３０８は、仮想視点映像に合成する処理が未処理となっている注視点インジケータが有るか否かを判定する。そして、Ｓ７１４において未処理の注視点インジケータがないと判定された場合、インジケータ出力部３０７の処理は出力部３０９にて行われるＳ７１８の処理に進む。一方、Ｓ７１４において未処理の注視点インジケータが有ると判定した場合、合成部３０８は、Ｓ７１５へ処理を進める。

Ｓ７１５に進むと、合成部３０８は、未処理となっている注視点インジケータを一つ選択した後、Ｓ７１６へ処理を進める。
Ｓ７１６に進むと、合成部３０８は、透視投影行列を用いて、Ｓ７１５で選択した注視点インジケータを仮想視点画像に投影した後、Ｓ７１７へ処理を進める。
Ｓ７１７に進むと、合成部３０８は、Ｓ７１６で投影された注視点インジケータを仮想視点画像に合成する。そして、Ｓ７１７の後、合成部３０８の処理は、Ｓ７１４に戻る。
このように、Ｓ７１５からＳ７１７までの処理は、Ｓ７１４において未処理と判定される注視点インジケータが無くなるまで繰り返される。

Ｓ７１４において未処理の注視点インジケータがないと判定されてＳ７１８に進むと、出力部３０９は、注視点インジケータが合成された仮想視点画像を、仮想視点指定装置１０５へ出力する。

＜前景インジケータの生成と仮想視点画像への合成処理＞
図８は、本実施形態の情報処理装置のブロック図であり、主に、図１に示した画像処理システム１０のバックエンドサーバ１０４において前景インジケータを生成して仮想視点画像に合成するための機能構成を示した図である。
図８において、物理情報取得部３０１、仮想情報取得部３０２、画像生成部３０３は、図３で説明した機能部と同じであるため、それらの説明は省略する。図８において、図３とは異なる機能部は、インジケータ生成部３０４とインジケータ出力部３０７である。

図８のインジケータ生成部３０４は、物理カメラに関する情報に応じた各種インジケータの一つとして、図２に例示した前景インジケータ２０４を生成する。このため、インジケータ生成部３０４は、条件決定部８０１、前景サイズ計算部８０２、インジケータサイズ計算部８０３を有して構成されている。

条件決定部８０１は、前景インジケータ（２０４）の基になる前景が満たすべき前景条件を決定する。ここで、前景条件とは前景の位置とサイズである。前景の位置は、仮想視点画像を生成する際の注目点を考慮して決定する。サッカーの試合の仮想視点画像を生成する場合、前景の位置としては、例えばゴール前やタッチライン沿い、サッカーフィールドの中心などを挙げることができる。また例えば、子供のバレエ公演の仮想視点画像を生成する場合の前景の位置としては、舞台の中心などが挙げられる。また、物理カメラの注視点を注目点に合わせることがあるため、物理カメラの注視点を前景の位置と決定してもよい。前景のサイズは、仮想視点画像を生成する対象の前景の大きさを考慮して決定する。ここでサイズの単位はｃｍなどの物理単位である。例えばサッカーの試合の仮想視点画像を生成する場合、選手の身長の平均を前景のサイズとする。また子供のバレエ公演の仮想視点画像を生成する場合、子供の身長の平均を前景のサイズとする。具体的な前景条件の例としては、「注視点の位置に立っている身長１８０ｃｍの選手」、「舞台の最前列に立っている身長１２０ｃｍの子供」などを挙げることができる。

前景サイズ計算部８０２は、前景条件を満たす前景が、それぞれの物理カメラにて撮影された際の大きさ（撮影前景サイズ）を計算する。ここで、前景サイズの単位は画素数とする。例えば、前景サイズ計算部８０２は、身長１８０ｃｍの選手が物理カメラの撮影画像中の何画素になるかを計算する。物理情報取得部３０１によって物理カメラの位置、姿勢が取得されており、また条件決定部８０１により前景の位置の条件がわかっているので、前景サイズ計算部８０２は、透視投影行列を用いて間接的に撮影前景サイズを計算することができる。また、前景サイズ計算部８０２は、実際に前景条件を満たす前景を撮影範囲に配置し、物理カメラの撮影画像から直接撮影前景サイズを求めてもよい。

インジケータサイズ計算部８０３は、仮想視点に応じて、撮影前景サイズから前景インジケータのサイズを計算する。ここでサイズの単位は画素数である。例えば、インジケータサイズ計算部８０３は、計算した撮影前景サイズと仮想カメラの位置、姿勢を用いて前景インジケータのサイズを計算する。このとき、インジケータサイズ計算部８０３は、先ず、仮想カメラの位置、姿勢に近い物理カメラを選択する。物理カメラの選択の際には、最も近い１台を選択してもよいし、仮想カメラからある範囲内にある物理カメラを複数選択してもよいし、全ての物理カメラを選択してもよい。そして、インジケータサイズ計算部８０３は、選択した物理カメラの撮影前景サイズの平均を、前景インジケータのサイズとする。

図８のインジケータ出力部３０７は、生成した前景インジケータを仮想視点指定装置１０５へ出力する。本実施例のインジケータ出力部３０７は、合成部８０４と出力部８０５とを有して構成される。

合成部８０４は、インジケータ生成部３０４により生成された前景インジケータを、画像生成部３０３により生成された仮想視点画像に合成する。前景インジケータを合成する位置は、例えば、仮想視点画像の邪魔にならないように左端とする。

出力部８０５は、前景インジケータが合成された仮想視点画像を仮想視点指定装置１０５へ出力する。仮想視点指定装置１０５は、前景インジケータが合成された仮想視点画像を取得し、表示部２０１に表示する。

図９（ａ）と図９（ｂ）は、前景インジケータ２０４が合成された仮想視点画像の表示例の説明に用いる図であり、物理カメラにより撮影された前景のサイズと、前景インジケータ２０４のサイズとの関係を示した図である。ここで、物理カメラの画素数が例えばいわゆる８Ｋ（７６８０画素×４３２０画素）であるとする。一方、仮想カメラの画素数はいわゆる２Ｋ（１９２０画素×１０８０画素）であるとする。つまり、複数の物理カメラが撮影する８Ｋの撮影画像から、２Ｋの仮想視点画像が生成されるとする。また、前景条件は「注視点に立っている身長１８０ｃｍの選手」とする。そして、図９（ａ）は、前景条件を満たす前景９０１を物理カメラで撮影した撮影画像の例であるとし、その撮影画像中の前景９０１の撮影前景サイズは３９５画素であるとする。なお、３９５画素は縦方向のサイズであるとし、ここでは縦方向のサイズのみ考慮し、横方向のサイズについては説明を省略する。図９（ｂ）は、サッカーフィールドの背景と選手やボールなどの前景６０２を含む仮想視点画像に前景インジケータ２０４が合成された例を示している。前景インジケータ２０４のサイズは、撮影前景サイズと同じ３９５画素である。つまり前景インジケータ２０４のサイズは、撮影前景サイズと同じ３９５画素であるが、物理カメラと仮想カメラの画素数の異なりにより、画面上で占める比率が異なる。

ここで、仮想視点画像において、前景６０２のサイズを大きくし過ぎると、画質が劣化することになる。前景インジケータ２０４は、仮想視点画像において、画質を落とすことなく、どのくらい大きく前景を映せるかの目安となる。前景インジケータ２０４よりも前景６０２を大きくすると、画素が足りなくなり、いわゆるデジタルズームと同様の画質劣化が生じる。つまり、前景インジケータ２０４を表示することで、操作者は、画質を保ったまま前景を大きくできる範囲を知ることができることになる。

また、画像処理システム１０においては、それぞれ異なる設定の物理カメラが配置されることがある。例えば画角の異なる物理カメラが配置されている場合、画角が大きい（焦点距離が短い）物理カメラは撮影範囲が広いため、それに応じて仮想視点画像の生成範囲も広げられることになる。しかし、画角が大きい物理カメラで撮影された前景の撮影前景サイズは小さくなる。一方、画角が小さい（焦点距離の長い）物理カメラは撮影範囲が狭いが、撮影前景サイズは大きくなる。図８の構成の場合、インジケータサイズ計算部８０３が、仮想カメラの位置と姿勢に近い物理カメラを選択することにより、物理カメラの設定の異なりに対応できる。例えば、画角が小さい物理カメラの近くに仮想カメラが有る場合は、前景インジケータ２０４のサイズが大きくなる。よって、物理カメラの設定に応じて、操作者は、画質を落とすことなく適切に前景を大きくする範囲を知ることができることになる。

なお、前景インジケータ２０４のサイズを計算する前に、撮影前景サイズに係数を掛けて調整してもよい。この例の場合、係数を１．０より大きくすると、前景インジケータ２０４のサイズが大きくなる。例えば、撮影条件が良い時など仮想視点画像の画質に問題が無い場合に、係数を１．０より大きくすると、より前景６０２が大きく迫力のある仮想視点画像を生成できるようになる。逆に、係数を１．０より小さくすると、前景インジケータ２０４のサイズが小さくなる。例えば、撮影条件が不十分な時など仮想視点画像の画質に低下がみられる場合に、係数を１．０より小さくし、前景６０２のサイズを小さくすることで、仮想視点画像の画質の低下を防ぐことができるようになる。

なお図８の機能構成では、前景インジケータ２０４を仮想視点画像に合成して仮想視点指定装置１０５へ出力する例を挙げたが、前景インジケータ２０４を仮想視点画像に合成せず、別々に仮想視点指定装置１０５へ出力してもよい。その際、仮想視点指定装置１０５は、取得した前景インジケータ２０４を、例えばＧＵＩ用の表示部２０２に表示してもよい。

図１０は、本実施形態にかかる情報処理装置の処理手順を示したフローチャートであり、図８に示した機能構成において前景インジケータを生成して仮想視点画像に合成して出力するまでの処理の流れを示している。

図１０のＳ１００１において、インジケータ生成部３０４の条件決定部８０１は、前景インジケータ（２０４）の基になる前景が満たすべき前景条件を決定する。例えば、前述したように「注視点に立っている身長１８０ｃｍの選手」等の前景条件を決定する。

次にＳ１００２において、前景サイズ計算部８０２は、前景サイズの計算処理が未処理となっている物理カメラが有るか否かを判定する。そして、未処理の物理カメラがないと判定した場合には後述するＳ１００７へ処理を進め、一方、未処理の物理カメラが有ると判定した場合にはＳ１００３へ処理を進める。

Ｓ１００３に進むと、前景サイズ計算部８０２は、未処理となっている物理カメラを１台選択した後、Ｓ１００４へ処理を進める。
Ｓ１００４に進むと、前景サイズ計算部８０２は、Ｓ１００３で選択した物理カメラの位置、姿勢、画角、画素数等の情報を、物理情報取得部３０１を介して取得した後、Ｓ１００５へ処理を進める。
Ｓ１００５に進むと、前景サイズ計算部８０２は、取得した位置、姿勢、画角、画素数を用いて透視投影行列を計算した後、Ｓ１００６へ処理を進める。
Ｓ１００６に進むと、前景サイズ計算部８０２は、Ｓ１００５で計算した透視投影行列を使って、Ｓ１００１で決定された前景条件を満たす前景の撮影前景サイズを計算する。そして、Ｓ１００６の後、前景サイズ計算部８０２は、Ｓ１００２に処理を戻す。
このように、Ｓ１００３からＳ１００６までの処理は、Ｓ１００２において未処理と判定される物理カメラが無くなるまで繰り返される。

Ｓ１００２で未処理の物理カメラがないと判定されてＳ１００７に進んだ場合、インジケータ生成部３０４のインジケータサイズ計算部８０３は、仮想情報取得部３０２から仮想カメラの位置と姿勢の情報を取得する。
次にＳ１００８において、インジケータサイズ計算部８０３は、Ｓ１００７で取得した仮想カメラの位置と姿勢に近い物理カメラを１台以上選択する。
次にＳ１００９において、インジケータサイズ計算部８０３は、Ｓ１００８で選択した物理カメラの前景サイズの平均値を計算し、その計算した平均値を前景インジケータ（２０４）のサイズとする。Ｓ１００９の後は、インジケータ出力部３０７の合成部８０４で行われるＳ１０１０へ処理が進む。

Ｓ１０１０に進むと、合成部８０４は、画像生成部３０３から仮想視点画像を取得する。
次にＳ１０１１において、合成部８０４は、インジケータサイズ計算部８０３によりサイズが計算された前景インジケータを、画像生成部３０３から取得した仮想視点画像に合成する。
そして次のＳ１０１２において、出力部８０５は、Ｓ１０１１で前景インジケータが合成された仮想視点画像を、仮想視点指定装置１０５へ出力する。

＜方位インジケータの生成と仮想視点画像への合成処理＞
図１１（ａ）は、本実施形態の情報処理装置のブロック図であり、主にバックエンドサーバ１０４において方位インジケータを生成して出力するための機能構成を示した図である。図１１（ａ）において、物理情報取得部３０１、仮想情報取得部３０２は、図３で説明した機能部と同じであるため、それらの説明は省略する。図１１（ａ）において、図３とは異なる機能部は、インジケータ生成部３０４とインジケータ出力部３０７である。

図１１（ａ）のインジケータ生成部３０４は、物理カメラの方位に応じたインジケータとして、図２に例示した方位インジケータ２０５を生成する。このため、インジケータ生成部３０４は、物理方位取得部１１０１ａ、仮想方位取得部１１０２ａ、加工部１１０３ａを有して構成されている。

物理方位取得部１１０１ａは、物理情報取得部３０１が取得した物理カメラの姿勢から、物理カメラの方位（物理カメラが撮影している方向の方位）を取得する。姿勢については様々な表現方法があるが、パン角度、チルト角度、ロール角度で表現するとする。例えば回転行列など、他の方法で表現したとしても、パン角度、チルト角度、ロール角度への変換が可能である。ここでは、パン角度が物理カメラの方位である。物理方位取得部１１０１ａは、すべての物理カメラついて方位としてのパン角度を取得する。

仮想方位取得部１１０２ａは、仮想情報取得部３０２が取得した仮想カメラの姿勢から、仮想カメラの方位を取得する。仮想方位取得部１１０２ａは、物理方位取得部１１０１ａの場合と同様にして、仮想カメラの姿勢をパン角度、チルト角度、ロール角度の表現に変換する。この場合もパン角度が仮想カメラの方位である。

加工部１１０３ａは、仮想カメラの方位を表した図２に例示した方位インジケータ２０５を、物理カメラの方位を基に加工する。物理カメラの方位に基づく加工の具体例を、図１２（ａ）と図１２（ｂ）に示す。図１２（ａ）は、図２に示した方位インジケータ２０５を示した図であり、前述した図４（ｂ）の物理カメラの配置例に対応して加工された方位インジケータの一例を示している。図１２（ａ）に示した方位インジケータにおいて、中心のオブジェクト１２０１は、仮想カメラの方位を表している。加工部１１０３ａは、この方位インジケータに対し、図４（ｂ）の各物理カメラのそれぞれの方位を表すオブジェクト１２０３を、例えば目盛１２０２の対応する位置に加えるような加工を施す。ここで、図４（ｂ）に例示した５台の物理カメラのうち、例えば中央に位置する物理カメラは、サッカーフィールドの南側（Ｓ）に配置されている。一方、中央の物理カメラが向いている方位は北側（Ｎ）である。よって、加工部１１０３ａは、中央の物理カメラに対応するオブジェクト１２０３については、北側（Ｎ）を向くようにする。加工部１１０３ａは、残りの４台の物理カメラに対応したオブジェクトについても同様にして配置するように、方位インジケータを加工する。図１２（ｂ）は、加工部１１０３ａによる方位インジケータの加工例として、図４（ｂ）に例示した物理カメラに対応した別の加工例を示した図である。図１２（ｂ）の例の場合、目盛１２０２を、各物理カメラのそれぞれの方位に合わせて加工する。つまり、図１２（ｂ）の例において、目盛り１２０２は、それぞれの物理カメラが向いている範囲の目盛のみを示しており、物理カメラが向いていない範囲の目盛が削除されている。図１２（ａ）と図１２（ｂ）のように方位インジケータが加工されることで、操作者は、仮想視点画像を生成可能な範囲を知ること、言い換えると物理カメラが向いていないため仮想視点画像を生成できない方向を知ることができるようになる。

図１１（ａ）のインジケータ出力部３０７の出力部１１０４ａは、インジケータ生成部３０４により生成された方位インジケータ（２０５）を、仮想視点指定装置１０５へ出力する。これにより、仮想視点指定装置１０５のＧＵＩ用の表示部２０２には、方位インジケータ２０５が表示される。

＜姿勢インジケータの生成と仮想視点画像への合成処理＞
図１１（ｂ）は、本実施形態の情報処理装置のブロック図であり、主にバックエンドサーバ１０４において姿勢インジケータを生成して出力するための機能構成を示した図である。図１１（ｂ）において、物理情報取得部３０１、仮想情報取得部３０２は、図３で説明した機能部と同じであるため、それらの説明は省略する。図１１（ｂ）において、図３とは異なる機能部は、インジケータ生成部３０４とインジケータ出力部３０７である。

図１１（ｂ）のインジケータ生成部３０４は、物理カメラの姿勢に応じたインジケータとして、図２に例示した姿勢インジケータ２０６を生成する。このため、インジケータ生成部３０４は、物理チルト角取得部１１０１ｂ、仮想チルト角取得部１１０２ｂ、加工部１１０３ｂを有して構成されている。

物理チルト角取得部１１０１ｂは、物理情報取得部３０１が取得した物理カメラの姿勢から、物理カメラのチルト角度を取得する。図１１（ａ）でも説明したように、物理カメラの姿勢についてはパン角度、チルト角度、ロール角度で表現でき、ここでは物理カメラの姿勢としてチルト角度を取得する。物理チルト角取得部１１０１ｂは、すべての物理カメラの姿勢としてチルト角を取得する。

仮想チルト角取得部１１０２ｂは、仮想情報取得部３０２が取得した仮想カメラの姿勢から、仮想カメラの姿勢としてチルト角を取得する。仮想チルト角取得部１１０２ｂは、物理チルト角取得部１１０１ｂの場合と同様にして、仮想カメラの姿勢としてチルト角度を取得する。

加工部１１０３ｂは、仮想カメラの姿勢を表した図２に例示した姿勢インジケータ２０６を、物理カメラの姿勢を基に加工する。物理カメラの姿勢に基づく加工の具体例を、図１２（ｃ）に示す。図１２（ｃ）は、図２に示した姿勢インジケータ２０６の詳細を示した図であり、物理カメラの姿勢に応じて加工された姿勢インジケータの一例を示している。図１２（ｃ）に示した姿勢インジケータにおいて、オブジェクト１２０４は仮想カメラの姿勢（チルト角）を表している。加工部１１０３ｂは、この姿勢インジケータに対し、物理カメラの姿勢を表すオブジェクト１２０５を、例えば角度を表した目盛の対応する位置に加えるような加工を施す。図１２（ｃ）の例では、仮想カメラの姿勢を表すオブジェクト１２０４がチルト角［−１０］を示しており、物理カメラの姿勢を表すオブジェクト１２０５がチルト角［−２５］を示している。ここで、仮想視点画像を生成する主な目的は、物理カメラが配置されていない仮想視点から見える画像を生成することである。図１２（ｃ）に示したような姿勢インジケータを表示することにより、操作者は、物理カメラとは異なる仮想視点を知ることができるようになる。

図１１（ｂ）のインジケータ出力部３０７の出力部１１０４ｂは、インジケータ生成部３０４により生成された姿勢インジケータ（２０６）を、仮想視点指定装置１０５へ出力する。これにより、仮想視点指定装置１０５のＧＵＩ用の表示部２０２には、姿勢インジケータ２０６が表示される。

＜高度インジケータの生成と仮想視点画像への合成処理＞
図１１（ｃ）は、本実施形態の情報処理装置のブロック図であり、主にバックエンドサーバ１０４において高度インジケータを生成して出力するための機能構成を示した図である。図１１（ｃ）において、物理情報取得部３０１、仮想情報取得部３０２は、図３で説明した機能部と同じであるため、それらの説明は省略する。図１１（ｃ）において、図３とは異なる機能部は、インジケータ生成部３０４とインジケータ出力部３０７である。

図１１（ｃ）のインジケータ生成部３０４は、物理カメラの高度に応じたインジケータとして、図２に例示した高度インジケータ２０７を生成する。このため、インジケータ生成部３０４は、物理高度取得部１１０１ｃ、仮想高度取得部１１０２ｃ、加工部１１０３ｃを有して構成されている。

物理高度取得部１１０１ｃは、物理情報取得部３０１が取得した物理カメラの位置から、物理カメラが配置されている高度を取得する。物理カメラの位置は、例えば平面上の座標（ｘ，ｙ）および高度（ｚ）で表現されるため、物理高度取得部１１０１ｃは、その高度（ｚ）を取得する。物理高度取得部１１０１ｃは、すべての物理カメラの高度を取得する。

仮想高度取得部１１０２ｃは、仮想情報取得部３０２が取得した仮想カメラの位置から、仮想カメラの高度を取得する。仮想高度取得部１１０２ｃは、物理高度取得部１１０１ｃの場合と同様にして、仮想カメラの高度を取得する。

加工部１１０３ｃは、仮想カメラの高度を表した図２に例示した高度インジケータ２０７を、物理カメラの高度を基に加工する。物理カメラの高度に基づく加工の具体例を、図１２（ｄ）に示す。図１２（ｄ）は、図２に示した高度インジケータ２０７の詳細を示した図であり、物理カメラの高度に応じて加工された高度インジケータの一例を示している。図１２（ｄ）に示した高度インジケータにおいて、オブジェクト１２０６は仮想カメラの高度を表している。加工部１１０３ｃは、この高度インジケータに対し、物理カメラの高度を表すオブジェクト１２０７を、例えば高度を表した目盛の対応する位置に加えるような加工を施す。また、図１２（ｄ）の例に示すように、高度インジケータには、サッカーフィールド上に配置されているゴールポストや前景など撮影範囲内の重要物の高さを表すオブジェクト１２０８を配置してもよい。図１２（ｄ）に示したような高度インジケータを表示することにより、操作者は、物理カメラとは異なる仮想視点を知ることができるようになる。さらに、操作者は、重要物の高度についても知ることができるようになる。

図１１（ｃ）のインジケータ出力部３０７の出力部１１０４ｃは、インジケータ生成部３０４により生成された高度インジケータ（２０７）を、仮想視点指定装置１０５へ出力する。これにより、仮想視点指定装置１０５のＧＵＩ用の表示部２０２には、高度インジケータ２０７が表示される。

図１３は、本実施形態にかかる情報処理装置の処理手順を示したフローチャートであり、前述した方位インジケータ、姿勢インジケータ、高度インジケータを生成して出力するまでの処理の流れを示している。この図１３のフローチャートは、図１１（ａ）、図１１（ｂ）、図１１（ｃ）の各機能構成において共通して用いられる。

図１３のＳ１３０１において、物理方位取得部１１０１ａ、物理チルト角取得部１１０１ｂ、物理高度取得部１１０１ｃは、それぞれ未処理となっている物理カメラが有るか否かを判定する。そして、未処理の物理カメラがないと判定した場合には後述するＳ１３０５へ処理を進め、一方、未処理の物理カメラが有ると判定した場合にはＳ１３０２へ処理を進める。

Ｓ１３０２に進むと、物理方位取得部１１０１ａ、物理チルト角取得部１１０１ｂ、物理高度取得部１１０１ｃは、それぞれで未処理となっている物理カメラを１台選択した後、Ｓ１３０３へ処理を進める。
Ｓ１３０３に進むと、物理方位取得部１１０１ａと物理チルト角取得部１１０１ｂは、それぞれＳ１３０２で選択した物理カメラの姿勢の情報を取得し、物理高度取得部１１０１ｃはＳ１３０２で選択した物理カメラの位置の情報を取得する。
次にＳ１３０４において、物理方位取得部１１０１ａは取得した物理カメラの姿勢を基にその物理カメラの方位を求める。またＳ１３０４において、物理チルト角取得部１１０１ｂは取得した物理カメラの姿勢を基にその物理カメラのチルト角（姿勢）を求める。またＳ１３０４において、物理高度取得部１１０１ｃは取得した物理カメラの位置を基にその物理カメラの高度を求める。そして、Ｓ１３０４の後、インジケータ生成部３０４は、Ｓ１３０１に処理を戻す。
このように、Ｓ１３０２からＳ１３０４までの処理は、Ｓ１３０１において未処理と判定される物理カメラが無くなるまで繰り返される。

次にＳ１３０５に進んだ場合、仮想方位取得部１１０２ａと仮想チルト角取得部１１０２ｂは、それぞれ仮想カメラの姿勢の情報を取得し、仮想高度取得部１１０２ｃは仮想カメラの位置の情報を取得する。
次にＳ１３０６において、仮想方位取得部１１０２ａは取得した仮想カメラの姿勢を基にその仮想カメラの方位を求める。またＳ１３０６において、仮想チルト角取得部１１０２ｂは取得した仮想カメラの姿勢を基にその仮想カメラのチルト角（姿勢）を求める。またＳ１３０６において、仮想高度取得部１１０２ｃは取得した仮想カメラの位置を基にその仮想カメラの高度を求める。そして、Ｓ１３０６の後、インジケータ生成部３０４は、Ｓ１３０７に処理を進める。

Ｓ１３０７に進むと、加工部１１０３ａは、全ての物理カメラを選択する。一方、加工部１１０３ｂは、取得した仮想カメラの位置と姿勢に近い物理カメラを一つ以上選択する。同様に、加工部１１０３ｃは、取得した仮想カメラの位置と姿勢に近い物理カメラを１つ以上選択する。

次にＳ１３０８に進むと、加工部１１０３ａは、仮想カメラの方位を示す方位インジケータ２０５を、全ての物理カメラの方位を用いて加工する。また、加工部１１０３ｂは、仮想カメラのチルト角を示す姿勢インジケータ２０６を、選択した物理カメラのチルト角を用いて加工する。また、加工部１１０３ｃは、仮想カメラの高度を示す高度インジケータ２０７を、選択した物理カメラの高度を用いて加工する。

次にＳ１３０９において、出力部１１０４ａは、加工部１１０３ａにて加工された方位インジケータ２０５を仮想視点指定装置１０５へ出力する。また、出力部１１０４ｂは、加工部１１０３ｂにて加工された姿勢インジケータ２０６を仮想視点指定装置１０５へ出力する。また、出力部１１０４ｃは、加工部１１０３ｃにて加工された高度インジケータ２０７を仮想視点指定装置１０５へ出力する。

なお、バックエンドサーバ１０４は、前述した図３、図８、図１１（ａ）、図１１（ｂ）、図１１（ｃ）の全ての機能構成を有していてもよいし、それらのいずれか、またはそれらの組み合わせを有していてもよい。また、バックエンドサーバ１０４は、図３、図８、図１１（ａ）、図１１（ｂ）、図１１（ｃ）の各機能構成に係る処理を同時に行ってもよいし、それぞれを独立して行ってもよい。

以上説明したように、本実施形態の情報処理装置によれば、仮想視点画像の画質が低くなる仮想カメラの操作をユーザ（操作者）が事前に知ることができる。

なお、本実施形態では、仮想視点画像の画質に関する情報として各種インジケータを生成して表示する例を挙げたが、仮想視点音声の音質に関する情報として各種のインジケータを生成して表示してもよい。この場合、バックエンドサーバ１０４は、各センサシステム１０１が有する物理マイクの位置、姿勢、集音方向、集音範囲などの情報を取得し、それらの情報を基に、物理マイクの位置、集音方向などに応じた音質に関する各種のインジケータ情報を生成する。そしてそれら音質に関する各種のインジケータは例えば表示される。ここで物理マイクの位置、集音方向、集音範囲の情報は、実際に配置されている各物理マイクの配置位置、集音方向、集音範囲を表す情報である。本実施形態の情報処理装置によれば、仮想視点音声の音質が低くなる仮想マイクの操作をユーザ（操作者）が事前に知ることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：画像処理システム、１０１：センサシステム、１０２：フロントエンドサーバ、１０３：データベース、１０４：バックエンドサーバ、１０５：仮想視点指定装置、１０６：配信装置

Claims (16)

1. 仮想視点を指定する指定手段と、
   前記指定手段により指定される仮想視点と、複数のカメラが撮影した撮影画像に基づいて生成される仮想視点画像であって当該仮想視点に対応する仮想視点画像の画質との関係に関する情報を、表示部に表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記複数のカメラが撮影した撮影画像と前記指定された仮想視点とに基づいて、前記仮想視点画像を生成する画像生成手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記仮想視点画像に前記情報を合成して表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記仮想視点と仮想視点画像の画質との関係に関する情報を表すインジケータを生成する生成手段を有し、
   前記表示制御手段は前記インジケータを表示させることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記生成手段は、前記仮想視点と仮想視点画像の画質との関係に関する情報として、前記カメラの配置と設定の少なくともいずれかに関する情報を表す、前記インジケータを生成することを特徴とする請求項４に記載の情報処理装置。
6. 前記生成手段は、前記カメラの配置と設定の少なくともいずれかの情報を基に、前記カメラの注視点を表す注視点インジケータを生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記生成手段は、
   前記カメラの配置と設定の情報を基に前記注視点インジケータの表示位置を決定し、
   前記表示される注視点インジケータの形状を、前記カメラの配置と設定の少なくともいずれかを表した形状に、決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記生成手段は、複数の複数のカメラの配置と設定の情報に基づいて前記複数のカメラの注視点をグループに分け、前記注視点のグループごとに前記注視点インジケータの表示位置を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記生成手段は、前記注視点インジケータの表示位置を基に、画質が変化する境界を表す境界線を決定し、
   前記表示制御手段は、前記注視点インジケータと共に前記境界線を表示させることを特徴とする請求項７または８に記載の情報処理装置。
10. 前記生成手段は、前記仮想視点画像に含まれる前景の画質の目安を表す前景インジケータを生成することを特徴とする請求項４に記載の情報処理装置。
11. 前記生成手段は、
    前記前景が満たすべき前景条件を取得し、
    前記前景条件を満たした前景が前記カメラにて撮影された場合の撮影画像に対する当該前景のサイズと、前記指定された仮想視点とに基づいて、表示される前景インジケータのサイズを決定することを特徴とする請求項１０に記載の情報処理装置。
12. 前記生成手段は、前記仮想視点について指定された方位を表す方位インジケータを生成し、前記方位インジケータを前記カメラの方位の情報を基に加工し、
    前記表示制御手段は前記加工された前記方位インジケータを表示させることを特徴とする請求項４から１１のいずれか１項に記載の情報処理装置。
13. 前記生成手段は、前記仮想視点について指定された姿勢を表す姿勢インジケータを生成し、前記姿勢インジケータを前記カメラの姿勢の情報を基に加工し、
    前記表示制御手段は前記加工された前記姿勢インジケータを表示させることを特徴とする請求項４から１２のいずれか１項に記載の情報処理装置。
14. 前記生成手段は、前記仮想視点について指定された高度を表す高度インジケータを生成し、前記高度インジケータを前記カメラの高度の情報を基に加工し、
    前記表示制御手段は前記加工された前記高度インジケータを表示させることを特徴とする請求項４から１３のいずれか１項に記載の情報処理装置。
15. 仮想視点を指定する指定工程と、
    前記指定手段により指定される仮想視点と、複数のカメラが撮影した撮影画像に基づいて生成される仮想視点画像であって当該仮想視点に対応する仮想視点画像の画質との関係に関する情報を、表示部に表示させる表示制御工程と、
    を有することを特徴とする情報処理方法。
16. コンピュータを、請求項１から１４のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images