JP2018107793A - 仮想視点画像の生成装置、生成方法及びプログラム - Google Patents

Abstract

【課題】実カメラからの映像転送時間と画像処理装置における形状推定処理時間の両方を削減して、リアルタイム性の高い仮想視点映像生成を可能とすることを目的とする。【解決手段】仮想視点画像生成装置であって、フィールドを互いに異なる方向から撮影する複数の第１カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第１仮想視点画像を生成する第１生成手段と、前記フィールドの少なくとも一部を互いに異なる方向から撮影する１または複数の第２カメラにより得られる１または複数の撮影画像に基づいて前記第１仮想視点画像よりも高画質の第２仮想視点画像を生成するか否かを、前記第１生成手段により生成された第１仮想視点画像の評価結果に応じて決定する決定手段と、前記決定手段による決定に応じて前記第１仮想視点画像よりも高画質の前記第２仮想視点画像を生成する第２生成手段とを備えたことを特徴とする。【選択図】図８

Description

本発明は、複数視点映像から仮想視点画像を生成する画像処理に関する。

複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点画像技術がある。仮想視点画像技術は、スポーツ放送等において、より臨場感の高い映像表現として期待されている。仮想視点画像の生成では、実カメラで撮影した映像を画像処理装置に取り込んで、まずオブジェクトの形状推定を実施する。次に、形状推定の結果を基に仮想カメラの移動経路をユーザが決定し、仮想カメラから撮影した映像を再現する。ここで、例えば撮影シーンがサッカーの試合であれば、仮想カメラの移動経路の決定の際には、サッカーが行われるフィールド全域でオブジェクトである選手やボールの形状推定が行われている必要がある。しかし、広いフィールドの全域に対してオブジェクト形状の推定処理を実施する場合、実カメラで撮影された複数視点映像データの転送時間や形状推定処理時間の増大を招いてしまう。より迫力のある臨場感の高い試合放送の実現には、例えばシュートシーンの仮想視点画像をリプレイ映像として試合中にタイムリーに放送することが重要である。映像転送時間や形状推定処理時間の増大は、リアルタイム性の高い仮想視点画像生成の阻害要因となる。

この点、実カメラで撮影された映像データを異なる解像度で保持し、まず低解像度の映像で形状推定を実施し、その結果を初期値として次に高解像度の映像で形状推定を実施しこれを繰り返すことで処理時間を短縮させる技術が提案されている（特許文献１）。

特開平５−１２６５４６号公報

しかしながら、上記特許文献１の手法では形状推定処理時間の短縮は可能でも、実カメラで撮影された複数視点映像データの画像処理装置への転送時間の短縮はできない。

本発明に係る仮想視点画像生成装置は、フィールドを互いに異なる方向から撮影する複数の第１カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第１仮想視点画像を生成する第１生成手段と、前記フィールドの少なくとも一部を互いに異なる方向から撮影する１または複数の第２カメラにより得られる１または複数の撮影画像に基づいて前記第１仮想視点画像よりも高画質の第２仮想視点画像を生成するか否かを、前記第１生成手段により生成された第１仮想視点画像の評価結果に応じて決定する決定手段と、前記決定手段による決定に応じて前記第１仮想視点画像よりも高画質の前記第２仮想視点画像を生成する第２生成手段と、を備えることを特徴とする。

本発明によれば、実カメラからの映像転送時間と画像処理装置における形状推定処理時間の両方を削減することができる。これにより、リアルタイム性の高い仮想視点映像生成が可能となる。

仮想視点画像システムの構成の一例を示す図である。 （ａ）は、カメラ配置の一例を示す図、（ｂ）は各カメラ群に属するカメラの高さを示す図である。 広角カメラ群の撮影領域を示す図である。 標準カメラ群の撮影領域を示す図である。 ズームカメラ群の撮影領域を示す図である。 仮想視点画像が生成されるまでの全体の流れを示したフローチャートである。 仮想カメラに関するパラメータ設定用GUI画面の一例を示す図である。 実施例１に係る、仮想視点画像生成処理の詳細を示すフローチャートである。 仮想カメラの撮影領域の導出方法を説明する図である。 暫定的な仮想視点画像における最近傍オブジェクトの解像度合いの判定の説明図である。 変形例に係る、ビルボード法による形状推定処理の流れを示すフローチャートである。 変形例にかかる、オブジェクト位置の特定方法を説明する図である。 変形例に係る、平板にオブジェクトの部分画像が投影された状態を示す図である。 実施例２に係る、標準カメラ群とズームカメラ群の撮影領域を最適化する処理の流れを示すフローチャートである。 カメラ群毎の撮影領域が変化する様子を説明する図である。 実施例３に係る、仮想カメラの各種項目を自動設定する処理の詳細を示すフローチャートである。 シーン解析処理の概念図である。 実施例４に係る、制限時間内に仮想視点映像が生成されるまでの全体の流れを示したフローチャートである。 実施例４に係る、仮想視点画像生成処理の詳細を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

図１は、本実施例における、仮想視点画像システムの構成の一例を示す図である。なお仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、仮想視点画像や任意視点画像などとも呼ばれる。また、仮想視点画像は、動画であっても、静止画であっても良い。本実施形態では、仮想視点画像が動画である場合の例を中心に説明する。図１に示す仮想視点画像システムは、画像処理装置１００と3種類のカメラ群１０９〜１１１とで構成される。そして、画像処理装置１００は、CPU１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部I/F１０６を備え、各部がバス１０７を介して接続されている。まず、CPU１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、CPU１０１に作業領域を提供する。記憶部１０３は、各種プログラムやGUI（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、ユーザからの操作入力を受け付ける。表示部１０５は、液晶パネルなどで構成され、仮想視点画像生成時の仮想カメラの経路設定のためのGUI表示などを行う。外部I/F部１０６は、カメラ群１０９〜１１１を構成する各カメラとLAN１０８を介して接続され、映像データや制御信号データの送受信を行う。バス１０７は上述の各部を接続し、データ転送を行う。

上記3種類のカメラ群は、それぞれズームカメラ群１０９、標準カメラ群１１０、広角カメラ群１１１である。ズームカメラ群１０９は、画角の狭いレンズ（例えば10度）を搭載した複数台のカメラで構成されている。標準カメラ群１１０は、画角が標準的なレンズ（例えば30度）を搭載した複数台のカメラで構成されている。広角カメラ群１１１は、画角の広いレンズ（例えば45度）を搭載した複数台のカメラで構成されている。そして、カメラ群１０９〜１１１を構成している各カメラはLAN１０８経由で画像処理装置１００に接続されている。また、各カメラ群１０９〜１１１は画像処理装置１００からの制御信号をもとに、撮影の開始と停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮影した映像データの転送を行う。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

図２（ａ）は、例えばサッカー等を行う競技場に、ズームカメラ群１０９、標準カメラ群１１０、広角カメラ群１１１の3種類のカメラ群からなる撮像システムにおけるカメラ配置の一例を示した図である。競技を行うフィールド２０１上にはオブジェクト２０２としての選手が存在している。そして、ズームカメラ群１０９を構成する12台のズームカメラ２０３、標準カメラ群１１０を構成する8台の標準カメラ２０４、広角カメラ群１１１を構成する4台の広角カメラ２０５がフィールド２０１を取り囲むように配置されている。各カメラ群を構成するカメラの台数については、ズームカメラ２０３＞標準カメラ２０４＞広角カメラ２０５の関係が成り立つ。また、ズームカメラ２０３がオブジェクト２０２を囲む径の長さrzと、標準カメラ２０４がオブジェクト２０２を囲む径の長さrsと、広角カメラ２０５がオブジェクト２０２を囲む径の長さrwとの間には、rw＞rs＞rzの関係が成り立つ。これは、標準カメラ２０４及び広角カメラ２０５がより広い領域を撮影可能とするためである。図２（ｂ）は、ズームカメラ２０３、標準カメラ２０４、広角カメラ２０５のフィールド２０１からの高さを示す図である。ズームカメラ２０３の高さhzと、標準カメラ２０４の高さhsと、広角カメラ２０５の高さhwとの間には、hw＞hs＞hzの関係が成り立つ。これも、標準カメラ２０４及び広角カメラ２０５がより広い領域を撮影するためである。

図３〜図５は、カメラ群１０９〜１１１それぞれの撮影領域を示す図である。まず、広角カメラ群１１１の撮影領域について説明する。図３に示すように、広角カメラ群１１１を構成する4台の広角カメラ２０５は、フィールド２０１の中心である広角注視点３１０を向き、フィールド２０１の全体を画角内に収めるように、等間隔に配置されている。このとき、4台の広角カメラ２０５の撮影領域が重複する領域を広角カメラ群撮影領域３０１とし、当該領域３０１内では、４台の広角カメラ２０５によって撮影された複数視点映像データを用いたオブジェクト２０２の形状推定が実施可能となる。なお、本実施形態では各カメラが等間隔に配置される場合の例を中心に説明するが、これに限らない。特に、スタジアムの形状などさまざまな事情を考慮してカメラ配置が決定されることがある。

次に、標準カメラ群１１０の撮影領域について説明する。図４に示すように、標準カメラ群１１０を構成する8台の標準カメラ２０４は、更に2つのグループAとBに分類されており、グループAは4台の標準カメラ２０４Aで、グループBは4台の標準カメラ２０４Bで構成される。グループAの標準カメラ２０４Aは標準注視点３１１Aを向き、フィールド２０１の特定部分（左半分）を画角内に収めるように設計されている。また、グループBの標準カメラ２０４Bは標準注視点３１１Bを向き、フィールド２０１の特定部分（右半分）を画角に収めるように設計されている。図４に示すとおり、各グループに属する標準カメラ２０４A又は２０４Bは、例えば選手の正面を撮影する確率の高い方向に密に配置され、それ以外の方向（例えば選手の背面や側面方向を撮影する確率の高い方向）に疎に配置されている。このように、フィールドや競技（イベント）等の特性に応じてカメラ配置の疎密を設定することにより、例えば、少ないカメラ台数であっても仮想視点画像に対するユーザの満足度を向上させることができる。ただし、標準カメラの配置を等間隔にしても構わない。いま、グループAに属する4台の標準カメラ２０４Aの撮影領域が重複する領域を標準カメラ群撮影領域３１１A、グループBに属する4台の標準カメラ２０４Bの撮影領域が重複する領域を標準カメラ群撮影領域３１１Bとする。標準カメラ群撮影領域３１１A内では、4台の標準カメラ２０４Aによって撮影された複数視点映像データを用いたオブジェクト２０２の形状推定が実施可能となる。同様に、標準カメラ群撮影領域３１１B内では、4台の標準カメラ２０４Bによって撮影された複数視点映像データを用いたオブジェクト２０２の形状推定が実施可能となる。

次に、ズームカメラ群１０９の撮影領域について説明する。図５に示すように、ズームカメラ群１０９を構成する16台のズームカメラ２０３は、更に4つのグループC、D、E、Fに分類される。具体的には、グループCは4台のズームカメラ２０３Cで、グループDは4台のズームカメラ２０３Dで、グループEは4台のズームカメラ２０３Eで、グループFは4台のズームカメラ２０３Fで構成される。そして、グループCのズームカメラ２０３Cはズーム注視点５１０Cを向き、フィールド２０１の特定部分（左上四分の一）を画角内に収めるように設計されている。また、グループDのズームカメラ２０３Dはズーム注視点５１０Dを向き、フィールド２０１の特定部分（左下四分の一）を画角に収めるように設計されている。グループEのズームカメラ２０３Eはズーム注視点５１０Eを向き、フィールド２０１の特定部分（右上四分の一）を画角内に収めるように設計されている。そして、グループFのズーム２０３Fカメラはズーム注視点５１０Fを向き、フィールド２０１の特定部分（右下四分の一）を画角に収めるよう設計されている。図５に示すとおり、各グループに属するズームカメラ２０３C〜２０３Fは、選手の正面を撮影する確率の高い方向に密に配置され、選手の背面や側面方向を撮影する確率の高い方向に疎に配置されている。いま、各グループに属する4台のズームカメラ２０３C〜２０３Fの撮影領域が重複する領域をそれぞれ、ズームカメラ群撮影領域５０１C、ズームカメラ群撮影領域５０１D、ズームカメラ群撮影領域５０１E、ズームカメラ群撮影領域５０１Fとする。ズームカメラ群撮影領域５０１C〜５０１F内では、各4台のズームカメラ２０３C〜２０３Fによって撮影された複数視点映像データを用いたオブジェクトの形状推定が実施可能となる。

なお、カメラ台数や位置、グループ数、注視点位置等は一例を示したのもので、撮影シーン等に応じて変更されるものである。例えば、本実施例ではグループ単位で注視点を同一としているが、同一グループに属する各カメラが一定間隔を空けて異なる注視点を向いていてもよい。その場合の間隔調整については実施例２で説明する。また、本実施形態では、ズームカメラ群１０９、標準カメラ群１１０、及び広角カメラ群１１１という３種類のカメラ群を有するカメラシステムについて説明しているが、これに限らない。例えば、標準カメラ群１１０と広角カメラ群１１１の２種類のカメラ群のみ有するようにしてもよいし、４種類以上のカメラ群を有するようにしてもよい。また、上記では、カメラ群ごとにカメラ数や、撮像範囲や、設置の高さが異なる例を示したが、これに限らず、すべてのカメラ群のカメラ数が同じであってもよいし、各カメラの撮影範囲が同じ広さであってもよいし、各カメラの設置の高さが同じであってもよい。また、各カメラ群のカメラ数、撮影範囲、及び設置の高さ以外の要素が、カメラ群によって異なるようにしてもよい。例えば、第１カメラ群に属する複数カメラの有効画素数が、第２カメラ群に属する複数カメラの有効画素数よりも高くなるようにシステムを構築してもよい。また、少なくとも１つのカメラ群に属するカメラが１台という場合もありうる。このように、本実施形態で説明しているシステムの構成は一例に過ぎず、スタジアムの広さ、設備、カメラ数、及び予算等の制約に応じて、種々の変形を行うことが可能である。

図６は、画像処理装置１００において仮想視点画像が生成されるまでの全体の流れを示したフローチャートである。この一連の処理は、CPU１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをCPU１０１が実行することで実現される。

ステップ６０１では、各カメラ群１０９〜１１１に対して、撮影時の露光条件等の撮影パラメータと撮影開始の信号が送信される。各カメラ群に属する各カメラは、受信した撮影パラメータに従って撮影を開始し、得られた映像データを各カメラ内のメモリに保持する。

ステップ６０２では、広角カメラ群１１１に属するすべての広角カメラ２０５によって撮影された複数視点映像データが取得される。取得された複数視点（ここでは4視点）の広角映像データは、メインメモリ１０２に展開される。前述のとおり、広角カメラ群１１１に属する広角カメラ２０５の数は他のカメラ群に属するカメラと比べて少ないため、各広角カメラ２０５からの映像データの転送に要する時間は短時間で済む。

ステップ６０３では、広角カメラ群１１１から取得した複数視点映像データを用いてオブジェクトの3次元形状の推定処理が実行される。推定手法としては、オブジェクトの輪郭情報を用いるVisual-hull手法や、三角測量を用いたMulti-view stereo手法など公知の手法を適用すればよい。広角カメラ２０５によって撮影された映像データ内のオブジェクト領域は比較的に低解像度である。そのため、本ステップの形状推定によって得られる3次元形状データは低精細で粗いが、フィールド全体に存在するオブジェクトの形状を高速に推定できる。得られたオブジェクト形状データはその位置情報と共にメインメモリ１０２に保持される。

ステップ６０４では、推定した低精細のオブジェクト形状データに基づき、自由始点映像の生成に必要な仮想カメラの移動経路といった各種パラメータが設定される。本実施例では、GUI（グラフィカル・ユーザ・インタフェース）を介したユーザ入力に基づいて、各種項目の値等が設定される。図７（ａ）及び（ｂ）は、仮想カメラに関するパラメータ設定用GUI画面の一例を示す図である。図７（ａ）に示すGUI画面７００内の左側には、フィールド２０１を含む撮影空間全体の俯瞰図（フィールドマップ７０１）上に、広角カメラ群撮影領域３０１が表示されている。広角カメラ群撮影領域３０１上には、ステップ６０３で取得したオブジェクトの3次元形状７０２がマッピングされる。ユーザは、オブジェクト２０２の位置やオブジェクト２０２の向いている方向などを、マッピングされたオブジェクト3次元形状７０２によって確認可能である。ユーザは、仮想カメラパス設定ボタン（不図示）を押下した上で、広角カメラ群撮影領域３０１上でマウス等を操作してカーソル７０３を移動することで、その移動軌跡を仮想カメラパス７０４として指定することができる。このとき指定される仮想カメラパスのフィールド２０１からの高さはデフォルト値（例えば、15ｍ）となる。そして、仮想カメラパス７０４を指定した後、ユーザは、高さ編集ボタン（不図示）を押下して、指定した仮想カメラパスの高さを変更することができる。具体的には、広角カメラ群撮影領域３０１上に表示されている仮想カメラパス上の任意の位置（座標）にカーソル７０３を移動し、マウス等のクリック操作を行うことによって、高度を変更したい仮想カメラの位置（高さ編集点）を指定する。いま、広角カメラ群撮影領域３０１内に×印で示される箇所が、ユーザによって指定された高さ編集点を示している。この高さ編集点は複数個設定することが可能である。図７（ａ）の例では、P1とP2の2つの高さ編集点が設定されている。高さ編集点が設定されると、GUI画面７００内の右側に高さ設定ウィンドウ７０５が表示される。ユーザは高さ設定ウィンドウ７０５内の各編集点に対応する入力欄７０６に任意の値（単位：m）を入力することによって当該位置における仮想カメラの高さを変更することができる。この場合、高さ編集点によって高度が変更された箇所以外の高さは、近接する位置の高さ編集点又はデフォルト値から補間して、高さが急激に変化しないように調整される。仮想カメラパスを指定したユーザは、次に、タイムフレーム設定ボタン（不図示）を押下して、当該仮想カメラパスを仮想カメラが通過するのに要する時間（移動速度）を設定する。具体的には、タイムフレーム設定ボタンの押下に応答してGUI画面７００内の右側にタイムフレーム設定ウィンドウ７０７が表示され、入力欄７０８（項目：t）に移動にかかる時間、入力欄７０９（項目：fps）にフレームレートの各値を入力する。時間とフレームレートが入力されると、生成する仮想視点画像のフレーム数が計算され、表示欄７１０（項目：frame）に表示される。図７（ａ）の例では、入力欄７０８に入力された時間が2[s]で、入力欄７０９に入力されたフレームレートが60[fps]であるので、120フレーム分の仮想視点からみた画像（以下、仮想視点画像）を生成することになる。このとき算出されたフレーム数は“F_Max”としてメインメモリ102上に保持される。さらに、ユーザは、指定した仮想カメラパス上での仮想カメラの向く方向を決めるため、注視点設定ボタン（不図示）を押下して、仮想カメラの注視点位置を設定する。具体的には、広角カメラ群撮影領域３０１内に表示されている仮想カメラパス上の任意の位置（座標）にカーソル７０３を移動し、マウス等のクリック操作を行うことによって、注視点を設定する対象の仮想カメラ位置（注視点設定点）を指定する。高さ編集点と同様、注視点設定点も複数個設定することが可能である。注視点設定点が設定されると、それらと対になった現時点の注視点の位置が自動的に表示される。このときの注視点位置は、例えばボールを持った選手など予め決められた注目オブジェクトの位置となる。図７（ｂ）において、△印で示される箇所がユーザによって指定された注視点設定点（仮想カメラ位置）、☆印で示される箇所が対応する注視点位置である。図７（ｂ）の例では、C1とC2の2つの注視点設定点が設定され、C1に対応する注視点としてT1、C2に対応する注視点としてT2が表示されている。注視点設定点が設定されると、GUI画面７００内の右側に注視点設定ウィンドウ７１１が表示される。ユーザは注視点設定ウィンドウ７１１内の各設定点に対応する入力欄７１２に任意の座標（x,y,z）を入力することによって注視点設定点における仮想カメラが注視する位置を変更することができる。そして、注視点が変更された箇所以外の注視点は、近接する位置の注視点設定点又はデフォルトの注視点から補間して、注視点が急激に変化しないように調整される。以上のようにして、仮想カメラに関するパラメータが設定される。

ステップ６０５では、ステップ６０４で設定されたフレーム数分の仮想視点画像を生成するため、変数Fの格納領域がメインメモリ１０２に確保され、初期値として“0”が設定される。そして、続くステップ６０６で、設定された仮想カメラパラメータに従って、Fフレーム目の仮想視点画像が生成される。仮想視点画像生成処理の詳細に関しては後で詳述する。

ステップ６０７では、変数Fの値がインクリメント（＋１）される。そして、ステップ６０８で、変数Fの値が、上述のF_Maxよりも大きいか否かが判定される。判定の結果、変数Fの値がF_Maxよりも大きい場合は、設定されたフレーム数分の仮想視点画像が生成されたこと（すなわち、設定されたタイムフレームに対応する仮想視点画像の完成）を意味するのでステップ６０９に進む。一方、変数Fの値がF_Max以下の場合はステップ６０６に戻って、次のフレームの仮想視点画像生成処理が実行される。

ステップ６０９では、仮想カメラパラメータの設定を変更して新たな仮想視点画像を生成するかどうかが判定される。この処理は、プレビューボタン（不図示）を押下すると表示されるプレビューウィンドウ７１３に表示された仮想視点画像を見て、その画質等を確認したユーザからの指示に基づいてなされる。ユーザが仮想視点画像を生成し直したいと考えた場合は、仮想カメラパス設定ボタン等を再び押下し、改めて仮想カメラに関するパラメータ設定を行なう（ステップ６０４に戻る。）。そして、新たに設定された仮想カメラパラメータに従った内容で仮想視点画像が生成される。一方、生成された仮想視点画像に問題がなければ本処理を終える。以上が、本実施例に係る、仮想視点画像が生成されるまでの大まかな流れである。

続いて、前述のステップ６０６における仮想視点画像生成処理について詳しく説明する。図８は、本実施例に係る、仮想視点画像生成処理の詳細を示すフローチャートである。以下、図８のフローに沿って詳しく説明する。

ステップ８０１では、前述のステップ６０５で設定した仮想カメラパスを基に、処理対象の注目フレームFiにおける仮想カメラ位置と注視点位置をそれぞれ取得する。続くステップ８０２では、取得した仮想カメラ位置と注視点位置から、注目フレームFiの仮想カメラの撮影領域Vrを導出する。図９は、仮想カメラの撮影領域の導出方法を説明する図である。図９において、仮想カメラ９０１から注視点９０２に向けて四角錐を形成し、四角錐とフィールド２０１との交面である矩形領域９０３が仮想カメラ撮影領域Vrとなる。そして、ステップ８０３では、ステップ８０１で取得した注視点位置に最も近いオブジェクトを検出し、最近傍オブジェクトとして設定する。図９において、符号９０４が最近傍オブジェクトを示している。

ステップ８０４では、設定された仮想カメラにおける最近傍オブジェクトの解像度合いを算出する。具体的には、注目フレームFiの仮想カメラからみた暫定的な仮想視点画像（広角カメラ２０５の複数視点映像データのみに基づく仮想視点画像）における最近傍オブジェクトが占める領域の割合Rを求める。この割合Rは、上記暫定的な仮想視点画像における最近傍オブジェクト領域の画素数を、当該画像全体の総画素数で割った値であり、例えば0.3といったような0〜1の範囲の値となる。なお、本実施形態では、最近傍オブジェクトの解像度合いに基づいて暫定的な仮想視点画像を評価する例を中心に説明するが、最近傍オブジェクトに加えて、もしくは、最近傍オブジェクトに代えて、別のオブジェクトの解像度合いを評価するようにしてもよい。別のオブジェクトの例として、例えば、視聴者が選択したオブジェクト（例えば特定の選手）、暫定的な仮想視点画像の中心に最も近いオブジェクト、及び、正面を向いているオブジェクト（複数存在する場合にはその中で最も仮想カメラに近いオブジェクト）などが挙げられる。また、暫定的な仮想視点画像の評価のために参照するオブジェクトは、１つに限らず、複数であってもよい。

ステップ８０５では、最近傍オブジェクトが標準カメラ群撮影領域内に存在するかどうかがそれぞれの位置座標に基づいて判定される。この場合において、最近傍オブジェクトの位置情報は前述のステップ６０３において導出されRAMメインメモリ１０２に保持されたものを用い、標準カメラ群撮影領域の位置情報は予め記憶部１０３に保持されたものを用いる。最近傍オブジェクトが標準カメラ群撮影領域内に存在する場合はステップ８０６に進む。一方、存在しない場合はステップ８１３に進み、広角カメラ群の複数視点映像データに基づく低精細のオブジェクト形状データを用いたレンダリングが実行されることになる。本実施例の場合、標準カメラ群撮影領域A又はBのいずれかに最近傍オブジェクトが含まれていればステップ８０６に進むことになる。

ステップ８０６では、暫定的な仮想視点画像における最近傍オブジェクトの解像度合いを表す割合Rが、第1の閾値Rsよりも大きいかどうかを判定する。ここで第1の閾値Rsは、最近傍オブジェクトが含まれていると判定された標準カメラ群に属するいずれかの標準カメラ２０４の撮影画像を取得し、当該撮影画像における上記最近傍オブジェクト領域の画素数を、その総画素数で割ることで得られる。これにより、注目フレームFiの仮想カメラと標準カメラ間での最近傍オブジェクトの解像度合いの比較が可能となる。図１０（ａ）は、本ステップにおける判定内容を視覚的に表現した図であり、この場合は暫定的な仮想視点画像における最近傍オブジェクトの解像度合いの方が高い（割合Rの値が大きい）と判定されることになる。判定の結果、算出した割合Rの値が閾値Rsよりも大きい場合はステップ８０７に進む。一方、算出した割合Rの値が閾値Rs以下の場合はステップ８１３に進み、広角カメラ群の複数視点映像データに基づき生成された低精細のオブジェクト形状データを用いたレンダリングが実行される。なお、ステップ８０６の判定方法には種々の変形例が存在する。例えば、割合Rが閾値Rsよりも所定の閾値以上大きい場合にステップ８０７に進み、そうでない場合はステップ８１３に進むようにしてもよい。

ステップ８０７では、上述のステップ８０５と同様、最近傍オブジェクトがズームカメラ群撮影領域内に存在するかどうかがそれぞれの位置座標に基づいて判定される。この場合において、ズームカメラ群撮影領域の位置情報も予め記憶部１０３に保持されている。最近傍オブジェクトがズームカメラ群撮影領域内に存在する場合はステップ８０８に進み、存在しない場合はステップ８１０に進む。本実施例の場合、ズーム群撮影領域C〜Fのいずれかに最近傍オブジェクトが含まれていればステップ８０８に進むことになる。

ステップ８０８では、暫定的な仮想視点画像における最近傍オブジェクトの解像度合いを表す割合Rが、第2の閾値Rzよりも大きいかどうかを判定する。ここで第2の閾値Rzは、最近傍オブジェクトが含まれていると判定されたズームカメラ群に属するいずれかのズームカメラ２０３の撮影画像を取得し、当該撮影画像における最近傍オブジェクト領域の画素数を、その総画素数で割ることで得られる。これにより、注目フレームFiの仮想カメラとズームカメラ間での最近傍オブジェクトの解像度合いの比較が可能となる。図１０（ｂ）は、本ステップにおける判定内容を視覚的に表現した図であり、ここでも暫定的な仮想視点画像における最近傍オブジェクトの解像度合いの方が高い（割合Rの値が大きい）と判定されることになる。判定の結果、算出した割合Rの値が閾値Rzよりも大きい場合はステップ８０９に進む。一方、算出した割合Rの値が閾値Rz以下の場合はステップ８１０に進む。

ステップ８０９では、注目フレームFiの仮想カメラ撮影領域Vrにおけるオブジェクト形状の高精細な推定（再推定）に用いる複数視点映像データを、最近傍オブジェクトが存在すると判定されたズームカメラ群撮影領域に対応するズームカメラ群から取得する。取得した複数視点映像データは、メインメモリ１０２に展開される。また、ステップ８１０では、注目フレームFiの仮想カメラ撮影領域Vrにおけるオブジェクト形状の再推定（高精細）に用いる複数視点映像データを、最近傍オブジェクトが存在すると判定された標準カメラ群撮影領域に対応する標準カメラ群から取得する。取得した複数視点映像データは、メインメモリ１０２に展開される。

ステップ８１１では、メインメモリ１０２に展開された複数視点映像データを用いて、オブジェクト形状の再推定処理が実行される。これにより、前述のステップ６０３で得られたオブジェクト形状データよりも高精細なオブジェクト形状データが取得される。そして、ステップ８１２では、前述のステップ６０３の形状推定で得られた低精細のオブジェクト形状データを、ステップ８１１の形状推定で得られた高精細のオブジェクト形状データに置換する。

ステップ８１３では、ステップ８１２までの処理で決まったオブジェクト形状データとコンピュータグラフィックスにおけるレンダリング手法を用いて、注目フレームFiの仮想カメラから見た画像である仮想視点画像を生成する。

以上が、本実施例に係る仮想視点画像生成処理の内容である。なお、オブジェクト形状の再推定を行って、より高精細なオブジェクト形状データを取得するかどうかの判定において、本実施例では暫定的な仮想視点画像における最近傍オブジェクトの解像度合いを指標として用いたがこれに限定されない。例えば、最近傍オブジェクトと仮想カメラとの距離を指標とし、最近傍オブジェクトと仮想カメラ位置との距離が、最近傍オブジェクトとズームカメラ位置或いは標準カメラ位置との距離よりも遠い場合に、再推定を行うようにしてもよい。また、上述の実施形態では、暫定的な仮想視点画像の解像度合い（具体的には、最近傍オブジェクトの画素数を暫定的な仮想視点画像の画素数で割ることで得られる割合R）と、閾値（具体的には、標準カメラ群に属するカメラにより得られる撮像画像における最近傍オブジェクトの画素数を当該撮像画像の画素数で割ることで得られる閾値Rs）との比較結果に基づいて、より高画質な仮想視点画像を生成すべきか否かを判定する例を中心に説明した。しかしながら、この判定方法に限るものではなく、種々の変形が可能である。例えば、暫定的な仮想視点画像における割合Rが所定の閾値よりも大きければ（つまり仮想視点画像におけるオブジェクトのサイズが閾値より大きければ）、閾値Rsに関わらず高画質な仮想視点画像を生成すべきと判定されるようにしてもよい。また、他の方法としては、暫定的な仮想視点画像における最近傍オブジェクトの画質を評価し、その評価結果に応じて高画質な仮想視点画像を生成すべきか判定するようにしてもよい。最近傍オブジェクトの画質の評価方法としては、例えば、オブジェクトが正面を向いた人間であれば、顔の認識結果に基づいて評価する方法を用いてもよいし、オブジェクトのエッジの鮮明度合いに基づいて評価する方法を用いてもよい。これらの判定方法を用いれば、標準カメラ群の撮影画像を用いた判定方法よりも簡易な判定が可能となる。その他の変形例については以下で述べる。

＜変形例＞
上述の実施例では、最初に広角カメラ群の複数視点映像データを用いて低精細のオブジェクト3次元形状を取得し、その後に仮想カメラパスに応じて標準又はズームカメラ群の複数視点映像データを用いて高精細のオブジェクト3次元形状を再取得して仮想視点画像を生成していた。しかしこれに限らない。例えば、広角カメラ群の複数視点映像データを用いた低精彩の3次元形状推定に代えて、オブジェクトを平面と見做した2次元の形状推定を行ってもよい（ビルボード法）。ビルボード法の場合は、前述のステップ６０３において、図１１に示すフローを実行する。以下、詳しく説明する。

ステップ１１０１では、フィールド２０１上のオブジェクト位置が特定される。図１２は、オブジェクト位置の特定方法を説明する図である。図１２において、（ａ）の広角カメラ画像_1及び（ｂ）の広角カメラ画像_2は、それぞれ異なる広角カメラ２０５によって撮影された画像であり、それぞれに1本のライン１２０１とオブジェクト１２０２が写っている。そして、図１２（ｃ）は、広角カメラ画像_1と広角カメラ画像_2に対して、フィールド面を基準として射影変換を行って合成した、射影変換後合成画像である。射影変換後合成画像では、ライン１２０１は1本のままであるが、オブジェクト１２０２は2つに分離しているのが分かる。この特性を利用して、分離の基点となっている×印で示す位置がオブジェクト位置１２０３として特定される。

ステップ１１０２では、特定されたオブジェクト位置に平板が設置される。そして、続くステップ１１０３では、設置した平板に対して、広角カメラ２０５の撮影画像から切り出したオブジェクトの部分画像が投影される。図１３は、平板にオブジェクトの部分画像が投影された状態を示す図である。フィールド２０１上に存在するオブジェクトの数の分だけ設置された平板１３００に、各オブジェクトの部分画像が投影されているのが分かる。

以上が、本変形例に係る処理の内容である。オブジェクトの形状を2次元で処理するため、高速な処理が可能である。

また、平板を設置して切り出し画像を投影する代わりに、予め用意したオブジェクト形状（例えば、3Dレンジスキャナによるスキャンや、手動でモデリングされたオブジェクト形状）を、特定されたオブジェクト位置に配置してもよい。

なお、本変形例の場合は、仮想視点画像生成処理（ステップ６０６）における処理の一部が変わることになる。すなわち、ステップ８０５及びステップ８０６の判定処理で“No”となった場合にも、ステップ８１３ではなくステップ８１１に進んでオブジェクトの3次元形状の推定処理が実行される。この際の推定には、ステップ６０２で取得済みの広角カメラ群の複数視点映像データが用いられることになる。図８のフローにおける破線の矢印８００はこのことを示している。この場合も、注目フレームFiの仮想カメラの撮影領域Vrに含まれるオブジェクトのみを形状推定することで、処理の高速化が可能である。

以上のとおり本実施例によれば、画質を維持したまま注目オブジェクトに仮想カメラがより接近できる場合のみ、より狭い画角のカメラ群で撮影された複数視点映像データを取得して高精細なオブジェクト形状推定や仮想視点画像の生成を行う。したがって、必要最小限のデータ転送量と処理負荷に抑制することができる。これにより、よりリアルタイム性の高い仮想視点画像生成が可能となる。

次に、広角カメラ群以外のカメラ群（実施例１ではズームカメラ群と標準カメラ群）の撮影領域を撮影シーンに応じて最適化して、映像転送時間や形状推定処理時間の更なる削減を可能にする態様について実施例２として説明する。システム構成や仮想視点画像生成、処理の大まかな過程は、実施例１と同一であるため説明を省略し、以下では異なる点を中心に簡潔に説明する。

図１４は、本実施例に係る、標準カメラ群とズームカメラ群の撮影領域を最適化する処理の流れを示すフローチャートである。なお、本実施例の前提として、本処理を実行前のデフォルト状態では、各カメラ群内の同一グループに属する各カメラは一定間隔を空けてそれぞれ異なる方向を向いている（注視点が異なる）ものとする。

ステップ１４０１では、撮影シーンの設定（例えば球技を撮影対象とするのか陸上競技を撮影対象とするのか）が、不図示のUI画面を介したユーザ入力に基づいてなされる。続くステップ１４０２では、設定された撮影シーンが、所定高度以上の高高度領域を撮影する必要のあるシーンであるか否かが判定される。ここで、高高度領域の撮影を必要とする撮影シーンとは、ボールが数十ｍ程度まで達するサッカーやラグビーといった球技などである。また、所定高度未満で高高度領域の撮影を要しない撮影シーン（低高度領域の撮影で足りるシーン）とは、陸上の短距離走などである。判定の結果、高高度領域の撮影を伴う撮影シーンである場合はステップ１４０３に進む。一方、高高度領域の撮影を伴わない撮影シーンである場合はステップ１４０４に進む。

ステップ１４０３では、ズームカメラ群１０９及び標準カメラ群１１０に属する各カメラの位置は固定したままで、注視点間の距離をグループ単位で縮小する（又はグループ内の各カメラの注視点を同一にする）。また、ステップ１４０４では、ズームカメラ群１０９及び標準カメラ群１１０に属する各カメラの位置は維持したままで、注視点間の距離をグループ単位で拡大（又は維持）する。図１５は、各カメラ群のグループ単位で注視点間の距離を調整することで、標準カメラ群撮影領域やズームカメラ群撮影領域が変化する様子を説明する図である。図１５（ａ）は注視点間距離を最大限に縮小（同一の注視点に変更）した場合の説明図である。図１５（ａ）において、２つの白丸印１５０１と１５０２は2台のカメラ１５１１と１５１２の変更前のそれぞれの注視点を示している。そして、1つの黒丸印１５０３が変更後の注視点を示しており、2台のカメラ１５１１と１５１２が共に同じ注視点を向いている。このとき、フィールド面に沿ったカメラ群撮影領域Xは狭くなるが、高さ方向のカメラ群撮影領域Zは変更前よりも広くなる。そのため、ボールが高高度に達する球技等の撮影に好適な撮影領域となる。これに対し図１５（ｂ）は注視点間距離を拡大した場合の説明図である。図１５（ｂ）において、黒丸印１５０４がカメラ１５１１の変更後の注視点、黒丸印１５０５がカメラ１５１２の変更後の注視点をそれぞれ示しており、注視点間の間隔が拡がっているのがわかる。このとき、フィールド面に沿ったカメラ群撮影領域Xは広くなるが、高さ方向のカメラ群撮影領域Zは狭くなる。そのため、陸上の短距離走等においては、フィールド面と平行に広範囲な領域を撮影できる。

以上が、本実施例に係る、標準カメラ群とズームカメラ群の撮影領域を最適化する処理の内容である。なお、本実施例では、単一の所定高度を基準（閾値）として、所定高度以上の場合に注視点間距離を縮小し、所定高度未満の場合に注視点間距離を拡大（又は維持）しているが、これに限らない。例えば、注視点間距離を縮小する場合の閾値と拡大する場合の閾値とをそれぞれ別個に設けてもよい。本処理によって、１つの競技の撮影に必要なカメラ台数を削減することができる。また、削減したカメラを用いて、他の競技を同時に撮影するなど、利便性の向上も期待できる。

本実施例によれば、広角カメラ群以外のカメラ群の撮影領域を撮影シーンに応じて最適化することができる。これにより、映像転送時間や処理時間の更なる削減が可能となる。

続いて、データベースを用いて、仮想カメラに関する設定を自動で行なう態様について、実施例３として説明する。実施例１及び２と共通する内容は説明を省略し、以下では異なる点を中心に説明する。

図１６は、本実施例に係る、前述の図６のフローにおけるステップ６０４に代えて実行する、仮想カメラの各種項目を自動設定する処理の詳細を示すフローチャートである。

ステップ１６０１では、不図示の外部ネットワークを介して接続される、撮影シーン解析データベース（以下、「シーンDB」）に対して、撮影シーンの解析を依頼する。画像処理装置１００は、シーンDBとLAN１０８経由で接続され、シーンDBはさらに、外部から接続可能なネットワーク上に設置されている。シーンDBは、過去の撮影シーンに関する様々な情報を蓄積しており、画像処理装置１００から解析に必要な情報を受け取って、撮影シーンの解析処理を実行する。図１７は、シーン解析処理の概念図である。シーンDB１７００には、撮影シーンの種類毎に、オブジェクト変遷情報と撮影環境情報が記録されている。ここで、オブジェクト変遷情報には、例えば撮影シーンがスポーツ競技の試合の場合、選手の移動位置の軌跡を記録したデータ、選手形状の変化の軌跡を記録したデータ、さらに球技であればボールの位置移動の軌跡を記録したデータなどが含まれる。撮影環境情報は、撮影時の周辺環境、例えば観客席の音声を記録したデータである。スポーツ競技における決定的シーンにおいては歓声によって観客席における音量が増加するため、視聴者の関心が高い決定的シーンか否かの判別に利用可能である。また、撮影シーンがスポーツ競技の試合の場合、シーンDB１７００には、上述したオブジェクト変遷情報及び撮影環境情報と、各競技における決定的シーンとの対応関係を示す情報（以下、決定的シーン情報）も記録されている。決定的シーン情報は、決定的シーンの種類、および決定的シーンに適した代表的なカメラワーク（仮想カメラの移動経路）から構成される。決定的シーンの種類とは、例えばサッカーで言えば、シュートシーン、ロングパスシーン、コーナーキックシーン等である。決定的シーン情報は学習データとして保持し、深層学習（ディープラーニング）技術等を用いることで、撮影シーンの解析が可能である。学習データの素材は、世界中の競技場からインターネット等を介して取得可能なため、膨大なデータを収集可能である。画像処理装置１００は、シーンDB１７００に対し、撮影シーン（競技）の種類、選手やボールの移動ログ（移動軌跡データ）、選手の形状ログ（形状変化データ）、観客席音声データを送信して解析を依頼する。なお、シーンDB１７００に送信する上記データは、ステップ６０２で取得した広角カメラ群１１１の複数視点映像データに基づき生成される。シーンDB１７００では、解析依頼を受けて上述の解析処理を行う。解析結果は画像処理装置１００に送られる。

ステップ１６０２では、画像処理装置１００が、シーンDB１７００から解析結果を受け取る。解析結果には、決定的シーンの発生した位置、決定的シーンの種類、決定的シーンに適した代表的なカメラワークの情報が含まれる。

ステップ１６０３では、受け取った解析結果に基づき、仮想カメラの各種項目が自動で設定される。具体的には、決定的シーンの発生位置が仮想カメラの注視点として設定される。また、代表的なカメラワークに基づき、仮想カメラの移動経路や対応するタイムフレームが設定される。決定的シーンの種類を示す情報は、生成後の仮想視点画像にメタデータとして付与される。このメタデータは放送事業者による2次利用（文字エフェクト入れ、データベース化など）の際に参照される。

以上が、仮想カメラの各種項目を自動設定する処理の内容である。なお、上述のようにして自動設定された仮想カメラの注視点や移動経路を前述のGUI画面７００上に表示し、さらにユーザがその内容を編集できるように構成してもよい。また、本実施例では、シーンDB１７００を画像処理装置１００とは別個の装置として構成したが、両者を一体化した１つの装置としてもよい。或いは、本実施例のシーンDB１７００が有するシーン解析機能とデータ保存機能とを分離し、それぞれを別個の装置で構成してもよい。

本実施例によれば、データベースを用いて、仮想カメラについての移動経路等の各種項目を自動で設定することができる。これにより、更なる処理時間の短縮が可能である。

本実施例では、仮想視点画像の生成時間に制限が設けられている場合に特に好適な映像生成手法に関して説明を行う。生成時間に制限が設けられているケースとして、例えば、プレイ直後にリプレイとして仮想視点画像を生成するケースや、あるいはスポーツ放送中にリアルタイムに仮想視点画像を生成するケースなどがある。なお、実施例１と重複する処理に関しては、説明を省略する。

図１８は、画像処理装置１００において、制限時間内に仮想視点映像が生成されるまでの全体の流れを示したフローチャートである。この一連の処理は、CPU１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをCPU１０１が実行することで実現される。

ステップ１８０１〜１８０９は、ステップ６０１〜６０９とほぼ同処理である。図６との差異は、ステップ１８０６とステップ１８１０である。ステップ１８０２にて広角カメラ群から複数視点映像データが取得された後、ステップ１８０３〜１８０５に並列して、ステップ１８１０が実行される。ステップ１８１０では、通信が完了したＬＡＮ１０８の通信帯域を有効活用すべく、標準カメラ群の複数視点映像データが順次取得される。取得された複数視点映像データは、ステップ１８０６にて用いられる。ステップ１８０６の仮想視点画像生成処理に関しては、図１９にて詳述する。

以上が、本実施例に係る、仮想視点画像が生成されるまでの大まかな流れである。処理時間の長いデータ通信を、形状推定処理や仮想カメラのパラメータ設定処理と並列化することで全体の処理時間が大幅に削減されるという効果がある。なお、本実施例の構成を、仮想視点画像の生成時間に制限が設けられていないケースや、生成時間に十分な余裕があるケースに用いてもよい。

図１８のステップ１８０６の仮想視点画像生成処理を説明する。ここでは、標準カメラ群の複数視点映像データを用いてオブジェクト形状が生成された後、処理時間を鑑みながらズームカメラ群の複数視点映像データが適用される。図1９は、本実施例に係る、仮想視点画像生成処理の詳細を示すフローチャートである。以下、図1９のフローに沿って詳しく説明する。

ステップ１９０１から、ステップ１９０６はステップ８０１〜８０６と同処理であるため、説明を省略する。ステップ１９０７では、ステップ１８１０で取得された標準カメラ群の複数視点映像データを用いてオブジェクト形状の再推定処理が実行される。ステップ１９０８では、前述のステップ６０３の形状推定で得られた低精細のオブジェクト形状データが、ステップ１９０７の形状推定で得られた高精細のオブジェクト形状データに置換される。ステップ１９０９、１９１０はステップ８０７、８０８と同処理である。ステップ１９１１では、本ステップまでの処理時間が形状推定実施の限界値以内であるかが判断される。限界値は1画像フレームの形状推定を実施しなければならない時間に基づいて予め決定される。例えば、30秒以内に600フレームのリプレイ用の映像を生成する場合、1画像フレーム当たり50ミリ秒（30,000/600）を限界値とすることができる。ただし、処理時間に余裕を持たせる場合や、その他の事情によっては限界値が異なる値となることはありえる。Yesの場合はステップ１９１２に進む。Noの場合はステップ１９１７に進むことにより、標準カメラ群を用いた仮想視点画像が生成される。つまり、ステップ１９１１にてＮｏの判定となった場合は、ステップ１９０８で置換されたオブジェクト形状データの評価結果にかかわらず、ズームカメラ群の複数視点映像データに基づく形状推定を行わない。ステップ１９１２では、ステップ８０９と同様にズームカメラ群から複数視点映像データが取得される。このとき、ＬＡＮ１０８の通信帯域を確保するため、ステップ１８１０での標準カメラ群の複数視点映像データの取得は、一時停止され、本ステップ終了後に再開される。ステップ１９１３では、本ステップまでの処理時間が形状推定実施の限界値以内であるかが再度判断される。Yesの場合はステップ１９１４に進み、Noの場合はステップ１９１６に進む。ステップ１９１４では、ズームカメラ群の複数視点映像データを用いてオブジェクト形状の再推定処理が実行される。ステップ１９１５では、前述のステップ１９０７の形状推定で得られたオブジェクト形状データが、ステップ１９１４の形状推定で得られた高精細のオブジェクト形状データに置換される。ステップ１９１６では、形状推定の再実行時間が不足しているため、オブジェクト形状はステップ１９０７で得られたデータが用いられるが、オブジェクト形状に投影するテクスチャはズームカメラの複数視点映像データを用いるようにレンダリング設定が行われる。ステップ１９１７では、ステップ１９１６までの処理で決まったオブジェクト形状とテクスチャを用いて、注目フレームFiの仮想カメラから見た画像である仮想視点画像が生成される。

なお、処理時間が形状推定の限界値以内であるか否かの判定を実行するタイミングは、図１９において示す例に限らない。例えば、ステップ１９０６とステップ１９０７の間に判定を行うようにしても良いし、ステップ１９０８とステップ１９０９の間に判定を行うようにしても良い。また、図１９におけるステップ１９１０とステップ１９１１の順序が逆であっても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. フィールドを互いに異なる方向から撮影する複数の第１カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第１仮想視点画像を生成する第１生成手段と、
   前記フィールドの少なくとも一部を互いに異なる方向から撮影する１または複数の第２カメラにより得られる１または複数の撮影画像に基づいて前記第１仮想視点画像よりも高画質の第２仮想視点画像を生成するか否かを、前記第１生成手段により生成された第１仮想視点画像の評価結果に応じて決定する決定手段と、
   前記決定手段による決定に応じて前記第１仮想視点画像よりも高画質の前記第２仮想視点画像を生成する第２生成手段と
   を備えたことを特徴とする仮想視点画像生成装置。
2. 前記決定手段は、前記第１仮想視点画像に含まれるオブジェクトの画質に対する評価結果に基づいて、前記第２仮想視点画像を生成するか否かを決定する請求項１に記載の仮想視点画像生成装置。
3. 前記決定手段は、
   前記第１仮想視点画像内におけるオブジェクトのサイズが閾値以上である場合は、前記第２仮想視点画像を生成すると決定し、
   前記オブジェクトのサイズが前記閾値未満である場合は、前記第２仮想視点画像を生成しないと決定する
   ことを特徴とする請求項１に記載の仮想視点画像生成装置。
4. 前記決定手段は、前記第１仮想視点画像に含まれる複数のオブジェクトのうち、前記仮想視点から最も近いオブジェクトの画質に対する評価結果に基づいて、前記第２仮想視点画像を生成するか否かを決定することを特徴とする請求項１に記載の仮想視点画像生成装置。
5. 前記決定手段は、
   前記複数の第１カメラにより得られる複数の撮影画像に基づいて生成された前記第１仮想視点画像の画質と、前記１または複数の第２カメラにより得られる１または複数の撮影画像に基づいて生成される前記第２仮想視点画像の画質との差を、前記１または複数の第２カメラにより得られる１または複数の撮影画像を用いて判定し、
   前記判定された差が閾値以上である場合に、前記第２仮想視点画像を生成することを決定する
   個とを特徴とする請求項１に記載の仮想視点画像生成装置。
6. 前記複数の第１カメラの数は、前記１または複数の第２カメラの数よりも少なく、
   前記複数の第１カメラのそれぞれの撮影範囲は、前記第２カメラの撮影範囲よりも広い
   ことを特徴とする請求項１に記載の仮想視点画像生成装置。
7. 前記決定手段は、前記第１仮想視点画像に含まれる所定オブジェクトの画素数と前記第１仮想視点画像の画素数との比率に基づいて決定される第１パラメータと、前記複数の第１カメラにより得られる複数の撮影画像における前記所定オブジェクトの画素数と前記１または複数の第２カメラにより得られる１または複数の撮影画像における前記所定オブジェクトの画素数との比率に基づいて決定される第２パラメータとの比較に基づいて、前記第２仮想視点画像を生成するか否かを決定することを特徴とする請求項１に記載の仮想視点画像生成装置。
8. 前記決定手段による決定に応じて生成された前記第２仮想視点画像よりも高画質の第３仮想視点画像を、１または複数の第３カメラにより得られる撮影画像に基づいて生成するか否かを、前記第２仮想視点画像の評価結果に応じて決定する第２決定手段と、
   前記第２決定手段による決定に応じて前記第２仮想視点画像よりも高画質の前記第３仮想視点画像を生成する第３生成手段と
   を更に有することを特徴とする請求項１に記載の仮想視点画像生成装置。
9. 前記決定手段は、前記第２仮想視点画像を生成するか否かを、予め定められた制限時間にさらに基づいて決定することを特徴とする請求項１に記載の仮想視点画像生成装置。
10. 前記決定手段は、
    前記予め定められた制限時間内に前記第１仮想視点画像が生成された場合は、前記第１仮想視点画像の評価結果に応じて前記第２仮想視点画像を生成するか否かを決定し、
    前記予め定められた制限時間内に前記第１仮想視点画像が生成されなかった場合は、前記第１仮想視点画像の評価結果にかかわらず、前記第２仮想視点画像を生成しないことを決定する
    ことを特徴とする請求項９に記載の仮想視点画像生成装置。
11. 前記第２決定手段は、
    予め定められた制限時間内に前記第２仮想視点画像が生成された場合は、前記第２仮想視点画像の評価結果に応じて前記第３仮想視点画像を生成するか否かを決定し、
    前記予め定められた制限時間内に前記第２仮想視点画像が生成されなかった場合は、前記第２仮想視点画像の評価結果にかかわらず、前記第３仮想視点画像を生成しないことを決定する
    ことを特徴とする請求項８に記載の仮想視点画像生成装置。
12. フィールドを互いに異なる方向から撮影する複数の第１カメラにより得られる複数の撮影画像に基づいて、仮想視点の位置及び方向に応じた第１仮想視点画像を生成する第１生成工程と、
    前記フィールドの少なくとも一部を互いに異なる方向から撮影する１または複数の第２カメラにより得られる撮影画像に基づいて前記第１仮想視点画像よりも高画質の第２仮想視点画像を生成するか否かを、前記第１生成手段により生成された第１仮想視点画像の評価結果に応じて決定する決定工程と、
    前記決定に応じて前記第１仮想視点画像よりも高画質の前記第２仮想視点画像を生成する第２生成工程と
    を含むことを特徴とする仮想視点画像生成方法。
13. 前記決定工程においては、前記第１仮想視点画像に含まれるオブジェクトの画質に対する評価結果に基づいて、前記第２仮想視点画像を生成するか否かが決定されることを特徴とする請求項１２に記載の仮想視点画像生成方法。
14. 前記決定工程においては、前記第１仮想視点画像内におけるオブジェクトのサイズが閾値以上である場合は、前記第２仮想視点画像を生成すると判定され、前記オブジェクトのサイズが前記閾値未満である場合は、前記第２仮想視点画像を生成しないと判定されることを特徴とする請求項１２に記載に仮想視点画像生成方法。
15. コンピュータに、請求項１２乃至１４のいずれか１項に記載の仮想視点画像生成方法を実行させるためのプログラム。

Images