JP2019003320A - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Abstract

【課題】自由視点画像の生成におけるレンダリング方式の切替えに伴う画質の変化を抑制し、映像の連続性を確保することで、視覚的な違和感を低減する。【解決手段】本発明の画像生成装置は、自由視点画像のレンダリング方式を動的に決定するレンダリング方式決定手段と、レンダリング方式の切換え前後における画像の画質の変化が所定の閾値以上であるか否かを判定する画質変化判定手段と、画質変化判定手段により画質の変化が所定の閾値以上であると判定されると、レンダリング方式の切換えによる画質の変化を抑制するように制御する画質変化抑制手段と、画質変化抑制手段の制御に基づいて、自由視点画像を生成するレンダリング処理手段とを備える。【選択図】図２

Description

本発明は、レンダリング方式を切り替えて画像を生成する画像生成装置、画像生成方法、及びプログラムに関する。

近年、複数のカメラの各々を異なる位置に設置し、現実空間のあるシーンを複数の視点で同期して撮影し、その撮影した画像群に基づいて、任意の視点（仮想視点）からの見えを再現した画像（自由視点画像）を生成する技術が知られている。この自由視点画像では、例えば、サッカーやバスケットボールのハイライトシーン等を様々な角度から視ることができるため、通常の画像と比較して、ユーザに高い臨場感を与えることができる。

自由視点画像のレンダリング処理において、シーンの三次元形状を用いるＭＢＲ（Ｍｏｄel−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）や、撮影した画像群を用いるＩＢＲ（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）が、一般にその方式として採用される。

ここで、ＭＢＲとは、対象シーンの三次元形状を復元（生成）し、仮想視点からのシーンの見えを画像として生成する方式である。この方式では、三次元形状を復元するため、視点の自由度が高く、実際の見えとの相違が小さい画像を生成することができる。但し、高精度な三次元形状の復元には限界があり、物体の細かい表面の描画や凹物体の再現が困難である。さらに、複雑な形状が複数存在する場合、計算量が膨大となり、リアルタイムな三次元形状の復元は困難である。

また、ＩＢＲとは、対象のシーンを撮影した入力画像群を変形、合成して仮想視点からの見えを画像として生成する方式である。この方式では、複雑な形状をテクスチャとして再現した写実性が高い画像を生成できる。但し、視点の自由度は低く、あらゆる視点からの見えを再現するには多数の撮影画像が必要となる。なお、三次元形状の複雑さには依存しないため、計算量は一定である。

特許文献１には、計算量の異なる複数のレンダリング方式から計算機の状況に応じて、レンダリング方式を動的に切り替え、１フレーム内に処理を完了させる表示制御方法が開示されている。また、特許文献２には、三次元仮想空間における着目物体位置に基づいて、レンダリングの処理内容をダイナミックに切り替える画像生成装置が開示されている。

特開２００４−８６５０８号公報 特開２００３−１１５０５５号公報

しかしながら、レンダリング方式を動的に切り替えると、連続性が欠けた映像が生成される恐れがあった。例えば、ＩＢＲでは撮影画像の透視変換で画像を生成し、ＭＢＲは三次元モデルに基づいて画像を生成するため、撮影カメラの配置、オブジェクトの形状・質感によっては方式による画像の見え方が大きく異なり、視覚的な差異が大きくなりやすい。また、例えば複数のＭＢＲの方式を切り替え可能なシステムにおいては、第１ＭＢＲから第２ＭＢＲへ方式を切り替える際にも連続性が欠けた映像が生成される恐れがある。ＩＢＲについても同様であるし、ＭＢＲやＩＢＲ以外のレンダリング方式を利用する場合にも同様に、方式の切替えによって映像の連続性が欠け得る。

本発明は、前記従来の問題に鑑みてなされたものであって、自由視点画像の生成におけるレンダリング方式の切替えに伴う画質の変化を抑制し、映像の連続性を確保することで、視覚的な違和感を低減することを目的とする。

上記目的を達成するために、本発明の画像生成装置は、自由視点画像のレンダリング方式を動的に決定するレンダリング方式決定手段と、前記レンダリング方式の切換え前後における画像の画質の変化が所定の閾値以上であるか否かを判定する画質変化判定手段と、前記画質変化判定手段により前記画質の変化が所定の閾値以上であると判定されると、レンダリング方式の切換えによる画質の変化を抑制するように制御する画質変化抑制手段と、前記画質変化抑制手段の制御に基づいて、前記自由視点画像を生成するレンダリング処理手段とを備えることを特徴とする。

本発明によれば、自由視点画像の生成におけるレンダリング方式の切替えに伴う画質の変化を抑制し、映像の連続性を確保することで、視覚的な違和感を低減することができる。

実施形態１に係る画像生成装置を備えた自由視点画像生成システムの構成を示すブロック図である。 実施形態１に係る画像生成装置の機能構成を示す機能ブロック図である。 レンダリング方式の切替えに応じて生じる画質変化を抑制する処理の手順を示すフローチャートである。 ＩＢＲによる画像生成の例を示す図である。 実施形態２に係る画像生成装置の機能構成を示す機能ブロック図である。 レンダリング方式の切替えの前後におけるレンダリング結果を合成することで、画質変化を抑制する処理の手順を示すフローチャートである。 実施形態３に係る画像生成装置の機能構成を示す機能ブロック図である。 レンダリング方式の切換えに応じて生じる画質変化を抑制する処理の手順を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［実施形態１］
第１の実施形態では、レンダリング方式を切り替えることに応じて、画質変化の程度が所定の条件を満たす場合に、レンダリング方式の切替えを中止することで、レンダリング方式の切替えによる映像品質の低下を抑制する。なお、画質変化の程度に関しては、図４において詳述する。

（システムブロック）
図１は、第１の実施形態に係る画像生成装置を備えた自由視点画像生成システム１の構成を示すブロック図である。自由視点画像生成システム１は、複数のカメラ１１ａ−カメラ１１ｚを有するカメラアレイ１１、前段処理装置１２、画像生成装置１０、仮想カメラパス操作装置１３を備える。カメラアレイ１１は、複数のカメラ１１ａ−カメラ１１ｚで構成され、様々な角度から被写体を撮影し、その撮影した画像を前段処理装置１２に出力する撮影装置群である。本実施形態において、カメラ１１ａ−カメラ１１ｚと前段処理装置１２を、スター型のトポロジーで接続しているが、ディジーチェーン接続によるリング型、バス型等のトポロジーで接続することもできる。

前段処理装置１２は、カメラアレイ１１から出力された画像群とカメラ情報に基づいて、各カメラの位置姿勢を推定するキャリブレーションと前景背景分離を実行し、カメラパラメータと前景画像及び背景画像を画像生成装置１０に出力する。なお、キャリブレーションとは、各カメラの撮影画像を用いて、各カメラのカメラパラメータを求める処理のことである。加えて、カメラパラメータとは、カメラ固有の内部パラメータ（例えば、焦点距離、画像中心、レンズ歪みパラメータ等）と、カメラの位置姿勢を示す外部パラメータ（例えば、回転行列、位置ベクトル等）とを含む情報である。また、前景背景分離とは、撮影した画像と前景が映っていない画像との差分に基づいて、前景画像と背景画像を抽出する処理のことである。例えば、スタジアムでサッカーの試合を撮影した画像を例として、選手、ボール、ゴールが前景画像、フィールドや観客席が背景画像として分離される。

画像生成装置１０は、前段処理装置１２からカメラパラメータと前景画像及び背景画像群を、また、仮想カメラパス操作装置１３から仮想カメラパスを受信し、設定されたレンダリング方式により自由視点画像を生成して出力する。なお、仮想カメラパスとは、仮想カメラの１フレーム毎の位置、姿勢、ズーム値等を示す情報である。また、仮想カメラとは、設置されたカメラ１１ａ−カメラ１１ｚのいずれのカメラとも異なる視点において撮影することができる仮想的なカメラである。即ち、自由視点画像生成システム１において生成される自由視点画像は、仮想カメラによる撮影画像である。その他、レンダリングとは、抽象的で高次の情報から、所定のアルゴリズムを用いて画像、映像、音声を生成することである。本実施形態では、カメラパラメータ、仮想カメラパス、前景及び背景画像から自由視点画像を生成することが、レンダリングに該当する。

仮想カメラパス操作装置１３は、オペレータが所望の自由視点画像を生成するためのジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウス等の走査装置（入力装置）である。オペレータは、仮想カメラパス操作装置１３を用いて、仮想カメラパスを生成し、画像生成装置１０に出力する。オペレータの操作内容は、例えば、仮想カメラの位置の変更（移動）、姿勢の変更（回転）、及びズーム倍率の変更等である。

（機能ブロック図）
図２は、第１の実施形態に係る画像生成装置１０の機能構成を示す機能ブロック図である。画像入力部１０１は、カメラ１１ａ−カメラ１１ｚで撮影された画像の前景画像及び背景画像を受信する。パラメータ入力部１０２は、前段処理装置１２で算出され、カメラ１１ａ−カメラ１１ｚの各カメラ固有の情報と位置姿勢を示すカメラパラメータを受信する。仮想カメラパス入力部１０３は、仮想カメラパス操作装置１３において、オペレータが操作することで生成された仮想カメラパスを受信する。

一時記憶部１０４は、受信した画像群、カメラパラメータ、及び仮想カメラパスを一時的に記憶する。なお、一時記憶部１０４に記憶される、画像群、カメラパラメータ、及び仮想カメラパスは、フレーム毎に更新される。レンダリング処理部１０５は、一時記憶部１０４に格納された画像群、カメラパラメータ、及び仮想カメラパスと、レンダリング方式決定部１０６で決定されたレンダリング方式に従って、自由視点画像を生成する。

レンダリング処理部１０５は、レンダリング方式がＩＢＲの場合、先ず、一時記憶部１０４に格納された複数の前景画像とカメラパラメータから前景オブジェクトの三次元位置を算出する。ここでは、複数のカメラで撮影された前景オブジェクトから特徴点を抽出し、各撮影カメラの物理的な位置と撮影画像内での特徴点の位置関係よりオブジェクトの位置を算出する。そして、仮想カメラに最も近い位置から撮影された前景画像を、仮想カメラの位置からの見えになるように透視変換し、算出した前景オブジェクトの位置に貼り付けることで自由視点画像を生成する。なお、必ずしも最も近い位置から撮影された前景画像を用いなければならないわけではない。例えばオクルージョンが発生している場合は、他の位置から撮影された前景画像を投資変換して自由視点画像を生成する場合もありうる。

また、本実施形態では、前景オブジェクトの位置を算出し、前景画像を透視変換して自由視点画像を生成したが、複数の前景画像間の対応点を算出して２つの画像間の対応点をモーフィングやブレンドにより合成することで画像生成してもよい。また、前景オブジェクトの三次元位置を、前景オブジェクトの対応点を求めることで算出したが、算出方法は必ずしもこれに限定されない。したがって、例えば、前景画像を床面に投影して、その前景の重なりの重心から前景オブジェクトの位置を算出してもよい。

また、レンダリング方式がＭＢＲの場合、レンダリング処理部１０５は、一時記憶部１０４に格納された複数の前景画像のシルエット画像から前景オブジェクトの三次元モデルを生成する。そして、その生成した三次元モデルに基づいて、仮想カメラの位置からの見えとなるよう形状を算出し、三次元モデルに色付けやテクスチャを貼り付けることで自由視点画像を生成する。なお、本実施形態では、複数の前景画像のシルエット画像から三次元モデルを生成したが、三次元モデルの生成方法は必ずしもこれに限定されない。したがって、例えば、前景オブジェクトの距離を計測し、三次元モデルを生成してもよい。

レンダリング方式決定部１０６は、一時記憶部１０４に格納された画像群、カメラパラメータ、仮想カメラパス等を用いて、画質や処理負荷の観点で最適なレンダリング方式を動的に決定し、判定結果を画質変化判定部１０７に出力する。また、レンダリング方式決定部１０６は、画質変化抑制部１０８から処理結果を受信すると、最終的なレンダリング方式を決定し、レンダリング処理部１０５にレンダリング方式を通知する。

画質変化判定部１０７は、レンダリング方式を切り替えることに応じて、画質の変化が所定の条件を満たすか否かを判定し、その判定結果を画質変化抑制部１０８に出力する。なお、画質変化の判定方法については後述する。

画質変化抑制部１０８は、画質変化判定部１０７において所定の条件を満たす画質変化があると判定された場合に、レンダリング方式の切替えに応じた画質変化を抑制するために、仮想カメラの位置が画質変化の生じない位置になるまで、レンダリング方式の切替えを中断する。画像出力部１０９は、レンダリング処理部１０５により生成された画像を外部に出力する。

（処理フロー）
次に、第１の実施形態に係る画像生成装置における、レンダリング方式の切替えに応じて生じる画質変化を抑制する処理の手順を、図３に示すフローチャートを用いて説明する。レンダリング方式決定部１０６は、先ず、前段処理装置１２及び仮想カメラパス操作装置１３から受信した画像群、カメラパラメータ、仮想カメラパス等に基づいて、最適なレンダリング方式を判定する（Ｓ１００１）。

なお、本実施形態では、レンダリング方式として、ＩＢＲとＭＢＲを用いることを前提とする。レンダリング方式決定部１０６は、例えば、仮想カメラの位置が撮影カメラの位置より十分に高い場合に、レンダリング方式として、ＩＢＲが適さないことから、ＭＢＲを用いるように判定する。この場合、撮影画像を透視変換して画像を生成するＩＢＲでは、低い位置で撮影した画像を透視変換して高い位置から見たように変換するため、実際の仮想カメラ位置から見た画像とは大きく異なってしまうからである。

図４に、レンダリング方式として、ＩＢＲが適さない画像を例示する。図４において、図４（ａ）は横から見た人物の画像、図４（ｂ）は実際に上空から見た人物の画像、図４（ｃ）は、図４（ａ）の画像に基づいて、レンダリング方式としてＩＢＲを用いて生成された上空から見た人物の画像を示す。ＩＢＲを用いて生成された画像（ｃ）は、画像（ａ）の透視変換であることから、実際に上空から見た画像（ｂ）と大きく相違し、画像として違和感が生じることになる。

また、レンダリング方式決定部１０６は、例えば、撮影画像に凹物体や光に反射した物体が含まれる場合に、レンダリング方式の判定方法として、ＭＢＲは適さないことから、ＩＢＲを用いるように判定する。この場合、複数の前景画像のシルエット画像から前景オブジェクトの三次元モデルを生成するＭＢＲでは、三次元モデルの生成が困難となり、前景オブジェクトの形状が破綻してしまうからである。

その他、レンダリング方式決定部１０６は、リアルタイム性が求められる自由視点画像の生成が複数同時に実行される場合、計算負荷の大きいＭＢＲはレンダリング方式として適さないことから、計算負荷の小さいＩＢＲを用いるように判定する。このように、画像、画質及び計算負荷の観点から、自由視点画像を生成する上で最適なレンダリング方式がフレーム毎に判定される。

レンダリング方式決定部１０６は、次に、ステップＳ１００１で判定したレンダリング方式が直前のフレームにおけるレンダリング方式と異なるか否か、即ち、レンダリング方式の切替えが生じるか否かを判定する（Ｓ１００２）。そして、レンダリング方式の切替えが生じた場合（Ｓ１００２ Ｙｅｓ）、画質変化判定部１０７は、直前のフレームで生成した画像から所定の条件を満たす画質変化が生じるか否かを判定する（Ｓ１００３）。

ここで、画質変化判定部１０７は、仮想カメラの位置と仮想カメラの位置に最も近い撮影カメラの位置との距離が閾値以上である場合に、レンダリング方式を切り替えると、著しい画質変化（所定の条件を満たす画質変化）が生じると判定する。この点、レンダリング方式として、ＩＢＲを用いた場合と、ＭＢＲを用いた場合とで比較して説明する。

先ず、ＩＢＲでは、仮想カメラから最も近いカメラで撮影された前景画像を透視変換して仮想カメラの位置からの見えに近似させる。そのため、透視変換に用いる撮影カメラと仮想カメラの距離が離れるほど、実際の前景オブジェクトの形状と差分が大きくなる。一方、ＭＢＲでは、複数カメラで撮影した前景画像から三次元モデルを生成するため、撮影したカメラの位置と仮想カメラの位置に前景オブジェクトの形状は影響されない。したがって、仮想カメラと撮影カメラの距離が離れるほど、レンダリング方式（即ち、ＩＢＲとＭＢＲ）を切り替えた場合に、画質の変化が大きくなるといえる。

補足として、撮影カメラの位置情報はカメラパラメータから算出し、仮想カメラの位置は仮想カメラパスから取得できる。また、本実施形態では、上述のように、画質変化の判定基準として、撮影カメラと仮想カメラの距離を用いたが、レンダリング方式の切替え前後におけるレンダリング結果の画像差分値を判定基準として用いてもよい。なお、ここでの画像差分値として、例えば、全画素の色成分の最小二乗誤差を用いることができる。

その他、画質変化の判定基準として、仮想カメラの移動速度やズーム速度が閾値以上であるか否かを判定基準として用いてもよい。これは、仮想カメラの移動やズーム速度が相応に速いと、画像の視認性が低下することになり、レンダリング方式の違いにより画質変化が生じても、ユーザには知覚されにくいからである。また、画質変化の判定基準として、仮想カメラで生成する前景画像の大きさが閾値以下であるか否かを判定基準として用いてもよい。これは、前景オブジェクトの大きさが生成画像に対して十分に小さいと前景オブジェクトの視認性が低下し、レンダリング方式の違いにより画質変化が生じても、ユーザには知覚されにくいからである。

画質変化判定部１０７により直前のフレームから著しい画質変化（所定の条件を満たす画質変化）が生じると判定された場合（Ｓ１００３ Ｙｅｓ）、画質変化抑制部１０８は、レンダリング方式決定部１０６にレンダリング方式の切替えの中断を通知する（Ｓ１００４）。

ここで、レンダリング方式の切替えを中断する場合に関して、カメラの台数との関係を絡めて、内容をより詳細に補足する。一般に、レンダリング方式を切り替えるにあたり、例えば、仮想カメラに映る前景オブジェクトを撮影したカメラの台数が多い場合にはレンダリング方式としてＭＢＲに切り替え、また、少ない場合にはレンダリング方式としてＩＢＲに切り替える。これは、前景オブジェクトを捉えたカメラの台数が多い場合、レンダリング方式をＭＢＲにすると高精度な三次元モデルの生成が可能となり、高画質な自由視点画像を生成できるためである。また、逆に、前景オブジェクトを捉えたカメラの台数が少ない場合、レンダリング方式をＭＢＲにするとオブジェクトの三次元モデルが生成できなくなり、画像を透視変換するＩＢＲの方が前景オブジェクトの見えが良いためである。

但し、このようなレンダリング方式の切替えにおいて、例えば、仮想カメラに映る前景オブジェクトを撮影したカメラの台数が減少した場合、上述のように、レンダリング方式として、ＭＢＲからＩＢＲに切り替わる。しかしながら、仮想カメラと撮影カメラの位置が異なると、ＩＢＲでは画像の透視変換を用いることから、画質の違いが明確になってしまう。そこで、仮想カメラが撮影カメラの位置に近付くまでレンダリング方式の切替えを中断し、仮想カメラが撮影カメラの位置に近付くと、レンダリング方式を切り替えることで、実際の見えとＭＢＲとの見えの差異を小さくし、連続性のある映像を生成する。

レンダリング方式決定部１０６は、レンダリング方式の切替えの中断に関する通知を受けると、レンダリング方式を切り替えずに直前のフレームと同様のレンダリング方式で画像を生成するように、レンダリング処理部１０５に通知する（Ｓ１００５）。また、ステップＳ１００３において、直前のフレームと画質の変化がないと判定された場合、レンダリング方式決定部１０６により最適と判定されたレンダリング方式に切り替えてレンダリング処理を実行する（Ｓ１００６）。

以上のように処理することで、自由視点画像の生成におけるレンダリング方式の切替えにおいて、著しい画質変化が生じると判定した場合にレンダリング方式の切替えを制限することで、視覚的な違和感を抑制することができる。

なお、本実施形態では、画質変化が著しくなる場合に、レンダリング方式の切替えを中止しているが、最適でないレンダリング方式が継続することを回避するために、時間経過に応じて閾値を緩和する等してもよい。また、本実施形態では、レンダリング方式としてＩＢＲとＭＢＲを前提に説明したが、レンダリング方式は必ずしもこれらに限定されない。したがって、例えば、ＩＢＲ間の切替え、ＭＢＲ間の切替え、ＩＢＲとＭＲＢを統合したハイブリッドなレンダリング方式との切替えに対応するようにしてもよい。

加えて、本実施形態において、特に断りがない限り、画像という文言は、動画像と静止画像の双方の概念を含むものとする。即ち、本実施形態に係る画像生成装置１０は、静止画像及び／又は動画像の何れについても、処理対象とすることができる。その他、本実施形態では、ＩＢＲとＭＢＲで生成した画像の前景オブジェクトの形状の違いに着目して説明したが、その対象は必ずしも前景オブジェクトの形状に限定されない。したがって、ＩＢＲとＭＢＲで生成した画像の色、明るさ、解像度について同様に処理することで、レンダリング方式の切替えによる変化を抑制することができる。

［実施形態２］
第２の実施形態では、レンダリング方式の切替えの前後におけるレンダリング結果（画像）を合成することで、画質の著しい変化を抑制する。

（機能ブロック図）
図５は、第２の実施形態に係る画像生成装置の機能構成を示す機能ブロック図である。以下、実施形態１と異なる機能ブロックに関して説明する。

画質変化抑制部１０８は、レンダリング方式決定部１０６においてレンダリング方式に変更が生じた場合、切替え前後のレンダリング方式により生成した画像を合成するように、画像合成部１１０に通知する。また、画質変化抑制部１０８は、レンダリング方式決定部１０６に対して、切替え前後の双方の方式でレンダリングするように通知する。

画像合成部１１０は、レンダリング処理部１０５から出力される、切替え前後のレンダリング方式で生成された画像をモーフィングにより合成する。ここで、モーフィングとは、ある形状から別の形状に、徐々に変化させる様子を映像で表現するために、その中間を補完する処理であり、本実施形態では、直前のフレームと現在のフレームで複数の対応点を抽出し、その中間点を推定することで描画する。

なお、フレーム間における対応点は、形状や色等の画像特徴から各フレームにおいて同一の前景オブジェクトを推定し、さらに前景オブジェクトから例えば、頭や足等、予め設定された対応点を各フレームの前景から算出することで抽出される。また、本実施形態では、画像の合成方法としてモーフィングを用いたが、画像の合成方法は必ずしもこれに限定されず、例えば、アルファブレンド等の画像合成方法を用いることもできる。

（処理フロー）
次に、第２の実施形態に係る画像生成装置における、レンダリング方式の切替えの前後におけるレンダリング結果（画像）を合成することで、画質変化を抑制する処理の手順を、図６に示すフローチャートを用いて説明する。

先ず、レンダリング方式決定部１０６は、実施形態１と同様に、最適なレンダリング方式を判定し（Ｓ２００１）、直前のフレームからレンダリング方式の切替えが生じたか否かを判定し、その判定した結果を画質変化抑制部１０８に通知する（Ｓ２００２）。

判定した結果、レンダリング方式の切替えが生じた場合（Ｓ２００２ Ｙｅｓ）、画質変化判定部１０７は、直前のフレームで生成した画像から著しい画質変化が生じるか否かを判定する（Ｓ２００３）。そして、著しい画質変化が生じると判定されると、画質変化抑制部１０８は、切替え前の方式でレンダリングするように、レンダリング方式決定部１０６に通知する（Ｓ２００４）。画質変化抑制部１０８は、次に、レンダリング方式の切替え完了までに要するフレーム数をカウントするフレームカウント値をリセットして保持する（Ｓ２００５）。なお、ステップＳ２００３において、著しい画質変化が生じないと判定されると、画質変化抑制部１０８は、切替え後の方式でレンダリングするように、レンダリング方式決定部１０６に通知する（Ｓ２００６）。

また、ステップＳ２００２において、レンダリング方式の切替えが生じなかったと判定された場合（Ｓ２００２ Ｎｏ）、画質変化抑制部１０８は、フレームカウント値が閾値以下であるか判定する（Ｓ２００７）。ここで、フレームカウント値は、前述のように、フレーム数をカウントした値であり、また、フレームカウント値の閾値は、レンダリング方式の切替えの前後におけるレンダリング結果を合成する上で、必要なフレーム数として定義される。したがって、例えば、フレームカウント値の閾値を「１００」に設定した場合、レンダリング方式の切替え時の画質変化を１００フレームかけて、徐々に変化させることを意味する。なお、フレームカウント値は、予め設定された固定値であっても、またレンダリング方式の切換え前後における画質変化の大きさに基づいて動的に設定してもよい。

ステップＳ２００７において、フレームカウント値が閾値以下と判定されると（Ｓ２００７ Ｙｅｓ）、画質変化抑制部１０８は、レンダリング方式決定部１０６に、切換え前と切換え後の方式でレンダリング処理を実行するように通知する（Ｓ２００８）。画像合成部１１０は、レンダリング処理部１０５において切換え前後のレンダリング方式でレンダリングされた生成画像を合成（モーフィング）する（Ｓ２００９）。ここで、画質変化抑制部１０８は、フレームカウント値が小さい場合は切替え前の画像成分を強く、フレームカウント値が大きい場合は切替え後の画像成分を強くする等、フレームカウント値に応じて切替え前後の画像の合成比率を調整してもよい。画像を合成すると（Ｓ２００９）、画質変化抑制部１０８は、フレームカウント値をインクリメントする（Ｓ２０１０）。

また、ステップＳ２００７において、フレームカウント値が閾値より大きいと判定されると、画質変化抑制部１０８は、切換え後のレンダリング方式でレンダリングして画像を生成するように、レンダリング方式決定部１０６に通知する（Ｓ２０１１）。

上述のように、図６に示す処理により、自由視点画像の生成におけるレンダリング方式の切換えにおいて、著しい画質変化が生じると判定した場合、切替え前後で生成した画像を合成することで視覚的な違和感を抑制することができる。

［実施形態３］
第３の実施形態では、レンダリング方式の切替えに伴う画質変化が大きい場合に、画質変化を抑制するために仮想カメラパスを制御することで画質の著しい変化を抑制する。

（画像生成装置ブロック）
図７は、第３の実施形態に係る画像生成装置の構成を示す機能ブロック図である。以下、実施形態１と相違のある機能ブロックのみ説明する。

画質変化抑制部１０８は、画質変化判定部１０７においてレンダリング方式の切替えに伴う画質変化があると判定された場合、仮想カメラパスを制御して画質変化を抑制するように仮想カメラパス設定部１１１に通知する。

仮想カメラパス設定部１１１は、通常時において、入力画像群、撮影情報等から最適な仮想カメラパスを算出する。ここで、算出する仮想カメラパスとして、例えば、ある特定選手の追尾、ハイライトシーンを検出して注目領域の仮想カメラのズーム等が想定される。仮想カメラパス設定部１１１は、画質変化抑制部１０８から仮想カメラを制御することで画質変化を抑制するように通知された場合、仮想カメラの移動速度を閾値以上に設定することでユーザの視認性を低下させ、画質変化を知覚されないようにする。

（処理フロー）
次に、第３の実施形態に係る画像生成装置における、レンダリング方式の切換えに応じて生じる画質変化を抑制する処理の手順を、図８に示すフローチャートを用いて説明する。レンダリング方式決定部１０６は、実施形態１と同様に、最適なレンダリング方式を判定し（Ｓ３００１）、直前のフレームからレンダリング方式の切換えが生じたか否かを判定する（Ｓ３００２）。

ステップＳ３００２において、レンダリング方式の切替えが生じた場合、画質変化判定部１０７は、レンダリング方式の切替え前後において著しい画質の変化が生じるか否かを判定し、その判定結果を画質変化抑制部１０８に通知する（Ｓ３００３）。著しい画質変化が生じるか否かに関する判定は、実施形態１と同様であることから、ここでは説明を省略する。

ステップＳ３００３において、著しい画質変化があると判定された場合、画質変化抑制部１０８は、レンダリング方式の切替え完了までに要するフレーム数を示すフレームカウント値をリセットする（Ｓ３００４）。

画質変化抑制部１０８は、画質変化を抑制するように、仮想カメラパス設定部１１１に通知し、仮想カメラパス設定部１１１は、知覚的な画質の変化を抑制する仮想カメラパスを設定する（Ｓ３００５）。ここで、知覚的な画質の変化を抑制する仮想カメラパスとして、仮想カメラの移動速度を閾値以上になるよう設定する。

これは、仮想カメラの移動速度を大きくすることで、ユーザの前景オブジェクトにおける視認性を低下させ、ユーザに前景オブジェクトの形状の変化を知覚されないようにするためである。なお、本実施形態では、知覚的な画質の変化を抑制する仮想カメラパスの設定方法として、仮想カメラの移動速度を増加させることとしたが、知覚的な画質の変化を抑制する仮想カメラパスの設定方法は、必ずしもこれに限定されない。したがって、例えば、仮想カメラのズーム速度の増加、仮想カメラのズームアウト（ズーム値）、仮想カメラの位置を撮影カメラ（実カメラ）の位置に一致させること等、設定することができる。

補足として、仮想カメラのズーム速度の増加及び仮想カメラのズームアウトは、ユーザの前景オブジェクトの視認性の低下により、ユーザに画質の変化を知覚されないようにするためである。また、仮想カメラの実カメラ位置への移動は、撮影カメラに近い位置において、ＩＢＲとＭＢＲで、レンダリング結果に差異が小さいためである。

画質変化抑制部１０８は、仮想カメラパス設定部１１１に、画質変化を知覚されないように通知すると（Ｓ３００５）、そのフレームに関して、レンダリング方式決定部１０６に、切替え前のレンダリング方式でレンダリングするように通知する（Ｓ３００６）。これは、仮想カメラパスの変更が複数のフレームを跨いで実行されるため、レンダリング方式の切替えの判定がなされたフレームでは切替えを行わないようにするためである。

また、ステップＳ３００３において、著しい画質の変化が無いと判定された場合、仮想カメラパス設定部１１１は、画質変化の抑制が不要であると通知されると、入力画像やカメラパラメータから仮想カメラパスを設定する（Ｓ３００７）。そして、レンダリング処理部１０５に仮想カメラパスが出力されると、レンダリング処理部１０５は、切替え後の方式でレンダリングを実行する（Ｓ３００８）。

また、ステップＳ３００２において、レンダリング方式の切替えが無いと判定された場合、画質変化抑制部１０８は、フレームカウント値が閾値以下であるか否かを判定する（Ｓ３００９）。この閾値は、レンダリング方式の切替えに伴う画質の変化を抑制する期間として設定される。画質変化抑制部１０８は、画質変化を抑制するように、仮想カメラパス設定部１１１に通知し、仮想カメラパス設定部１１１は、画質変化を抑制する仮想カメラパスを設定する（Ｓ３０１０）。

仮想カメラパスを設定すると、画質変化抑制部１０８は、フレームカウント値をインクリメントする（Ｓ３０１１）。仮想カメラパス設定部１１１は、画質変化を抑制する仮想カメラパスをレンダリング処理部１０５に出力し、レンダリング処理部１０５は、切替え後のレンダリング方式でレンダリングする（Ｓ３０１２）。

また、ステップＳ３００９において、フレームカウント値が閾値より大きい場合（Ｓ３０９ Ｎｏ）、仮想カメラパス設定部１１１は画質変化の抑制が必要のない仮想カメラパスを設定して、レンダリング処理部１０５に出力する（Ｓ３０１３）。なお、画質変化の抑制を伴わない仮想カメラパスの生成方法として、特定選手を判別して追尾したり、ハイライトシーンを判別してズームしたりすることが想定される。そして、レンダリング処理部１０５は、入力されたレンダリング方式と仮想カメラパスでレンダリングして画像を出力する（Ｓ３０１４）。

以上の処理により、自由視点画像の生成におけるレンダリング方式の切替えにおいて、著しい画質変化が生じると判定された場合、画質の変化が知覚されにくい仮想カメラパスに設定することで視覚的な違和感を抑制することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０５ レンダリング処理部
１０６ レンダリング方式決定部
１０７ 画質変化判定部
１０８ 画質変化抑制部

Claims (13)

1. 自由視点画像のレンダリング方式を動的に決定するレンダリング方式決定手段と、
   前記レンダリング方式の切換え前後における画像の画質の変化が所定の閾値以上であるか否かを判定する画質変化判定手段と、
   前記画質変化判定手段により前記画質の変化が所定の閾値以上であると判定されると、レンダリング方式の切換えによる画質の変化を抑制するように制御する画質変化抑制手段と、
   前記画質変化抑制手段の制御に基づいて、前記自由視点画像を生成するレンダリング処理手段と
   を備えることを特徴とする画像生成装置。
2. 前記画質変化判定手段は、仮想カメラの位置と前記仮想カメラの位置に最も近い撮影カメラの位置との距離に基づいて、前記画質の変化が所定の閾値以上であるか否かを判定することを特徴とする請求項１に記載の画像生成装置。
3. 前記画質変化判定手段は、前記レンダリング方式の切換え前後における画像の全画素の色成分の最小二乗誤差に基づいて、前記画質の変化が所定の閾値以上であるか否かを判定することを特徴とする請求項１に記載の画像生成装置。
4. 前記画質変化判定手段は、仮想カメラの移動速度、又はズーム速度に基づいて、前記画質の変化が所定の閾値以上であるか否かを判定することを特徴とする請求項１に記載の画像生成装置。
5. 前記画質変化判定手段は、仮想カメラで生成される前景オブジェクトの大きさに基づいて、前記画質の変化が所定の閾値以上であるか否かを判定することを特徴とする請求項１に記載の画像生成装置。
6. 前記画質変化抑制手段は、仮想カメラの位置が前記画質の変化の生じない位置になるまで、前記レンダリング方式決定手段で決定されたレンダリング方式への切換えを中断し、切換え前のレンダリング方式でレンダリングするように制御することを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
7. 複数の画像を合成する画像合成手段を備え、
   前記画質変化抑制手段は、切換え前のレンダリング方式で生成された画像と、切換え後のレンダリング方式で生成された画像とを合成するように、前記画像合成手段を制御することを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
8. 仮想カメラパスを設定する仮想カメラパス設定手段を備え、
   前記画質変化抑制手段は、画質の変化が知覚されにくいように、前記仮想カメラパスが設定されるように、前記仮想カメラパス設定手段を制御することを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
9. 前記画質変化抑制手段は、前記仮想カメラパスの移動速度及び／又はズーム速度が閾値以上に設定されるように制御することを特徴とする請求項８に記載の画像生成装置。
10. 前記画質変化抑制手段は、前記仮想カメラパスのズーム値が閾値以下に設定されるように制御することを特徴とする請求項８に記載の画像生成装置。
11. 前記画質変化抑制手段は、仮想カメラの位置と撮影カメラの位置とが一致するように制御することを特徴とする請求項８に記載の画像生成装置。
12. レンダリング方式決定手段により、自由視点画像のレンダリング方式を動的に決定するレンダリング方式決定ステップと、
    画質変化判定手段により、前記レンダリング方式の切換え前後における画像の画質の変化が所定の閾値以上であるか否かを判定する画質変化判定ステップと、
    画質変化抑制手段により、前記画質変化判定ステップにおいて、前記画質の変化が所定の閾値以上であると判定されると、レンダリング方式の切換えによる画質の変化を抑制するように制御する画質変化抑制ステップと、
    レンダリング処理手段により、前記画質変化抑制手段の制御に基づいて、前記自由視点画像を生成するレンダリング処理ステップと、
    を含むことを特徴とする画像生成方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

Images