JP2020187529A - 画像処理装置、画像処理システム、制御方法、および、プログラム - Google Patents

Abstract

【課題】 仮想視点画像を生成するための素材データの生成時に、素材データに対してどのような処理が行われたかを容易に参照できるようにする。【解決手段】 素材データ生成部１０２は、複数の撮像装置１０１から取得した複数の撮像画像に基づき、仮想視点画像を生成するための素材データを生成する。生成情報取得部１０３は、素材データの生成処理に関する情報（生成情報）を取得する。関連付け部１０５は、生成された素材データと、該素材データに係る生成情報とを関連付ける処理を行い、保存部１０４に出力する。【選択図】 図１

Description

本発明は、仮想視点画像を生成する技術に関するものである。

近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数視点画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている。

特許文献１には、複数の撮像装置により撮像された撮像画像と、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータに基づいて仮想視点画像を生成する画像生成装置について記載されている。以降、仮想視点画像を生成するためのデータ（複数の撮像装置により撮像された撮像画像、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータの少なくともいずれかを含む）を、素材データと呼ぶ。

特許第０６４２９８２９号

画像処理装置が素材データを生成して画像生成装置に出力し、画像生成装置が取得した素材データに基づいて仮想視点画像を生成する画像処理システムについて考える。このとき画像生成装置が、取得した素材データがどのような処理を経て生成されたかを認識できないと、仮想視点画像の生成処理あるいは品質に問題が生じる恐れがある。例えば、画像生成装置が、生成する仮想視点画像の品質向上のために、取得した素材データを補正する機能を有しているとする。しかしながら画像処理装置が素材データを生成する処理の中ですでに同様の補正を行っていたとしても、画像生成装置は素材データを取得するだけでは、素材データに対し当該補正の処理がすでに行われたことを認識することができない。その結果画像生成装置側で同じ補正を行うことにより、補正処理が重複し、処理時間の増加等を引き起こす恐れがある。また、補正が必要な素材データに対し画像処理装置が補正を行っていなかった場合も、画像生成装置は当該補正の処理が行われていないことを認識することができない。その結果画像生成装置が素材データに対し適切な補正を行うことができず、仮想視点画像の品質が低下する恐れがある。

本発明は、上記の課題に鑑みてなされたものである。その目的は、素材データの生成時に、素材データに対してどのような処理が行われたかを容易に参照できるようにすることである。

本発明に係る画像処理装置は、複数の撮像装置により撮像された複数の撮像画像に基づく仮想視点画像を生成するための素材データを生成する画像処理装置であって、前記素材データを生成する素材データ生成手段と、前記素材データ生成手段により生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力手段とを有し、前記生成情報は、前記素材データを補正する処理または前記複数の撮像画像に基づく素材データを生成する処理であって、前記素材データに対して実行された処理を特定可能な情報を含むことを特徴とする。

本発明によれば、素材データの生成時に、素材データに対してどのような処理が行われたかを容易に参照することができるようになる。

画像処理システム１００の一部の機能構成を説明するための図 素材データファイルの構成の一例を説明するための図 素材データファイルの構成の一例を説明するための図 素材データファイルの構成の一例を説明するための図 素材データファイルの構成の一例を説明するための図 素材データファイルの構成の一例を説明するための図 素材データファイルの構成の一例を説明するための図 画像処理システム１００の一部が実行する処理を説明するためのフローチャート 画像処理システム１００が有する画像生成装置１２０の機能構成を説明するための図 画像生成装置１２０が実行する処理を説明するためのフローチャート 表示部９０４が表示する情報の一例を説明するための図 画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を説明するための図 複数の撮像装置１０１の配置の一例を説明するための図

以下、図面を参照しながら本実施形態について説明する。

（第１の実施形態）
本実施形態における画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を、図１２を用いて説明する。画像生成装置１１０は、ＣＰＵ（中央演算装置）１２１１、ＲＯＭ（リードオンリーメモリ）１２１２、ＲＡＭ（ランダムアクセスメモリ）１２１３、補助記憶装置１２１４、表示部１２１５、操作部１２１６、通信Ｉ／Ｆ１２１７、およびバス１２１８を有する。

ＣＰＵ１２１１は、ＲＯＭ１２１２あるいはＲＡＭ１２１３に格納されているコンピュータプログラムおよびデータを用いて、画像処理装置１１０の全体を制御する。なお、画像処理装置１１０がＣＰＵ１２１１とは異なる一または複数の専用のハードウェアを有し、ＣＰＵ１２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートウェイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ１２１２は、変更を必要としないプログラム等を格納する。ＲＡＭ１２１３は、補助記憶装置１２１４から供給されるプログラムおよびデータ、および通信Ｉ／Ｆ１２１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１２１４は、例えばハードディスクドライブ等で構成され、画像データおよび音声データ等の様々なデータを記憶する。

表示部１２１５は、例えば液晶ディスプレイ、あるいはＬＥＤ等で構成され、ユーザが画像処理装置１１０を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部１２１６は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２１１に入力する。ＣＰＵ１２１１は、表示部１２１５を制御する表示制御部、および操作部１２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ１２１７は、画像処理装置１１０の外部の装置との通信に用いられる。例えば、画像処理装置１１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１２１７に接続される。画像処理装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１２１７はアンテナを備える。バス１２１８は、画像処理装置１１０の各部をつないで情報を伝達する。

本実施形態では、表示部１２１５と操作部１２１６が画像処理装置１１０の内部に存在するものとするが、表示部１２１５と操作部１２１６との少なくとも一方が画像処理装置１１０の外部に別の装置として存在していてもよい。

以上が、画像処理装置１１０のハードウェア構成についての説明である。画像生成装置１２０におけるＣＰＵ１２２１、ＲＯＭ１２２２、ＲＡＭ１２２３、補助記憶装置１２２４、表示部１２２５、操作部１２２６、通信Ｉ／Ｆ１２２７、および、バス１２２８についても、それぞれ、画像処理装置１１０におけるＣＰＵ１２１１、ＲＯＭ１２１２、ＲＡＭ１２１３、補助記憶装置１２１４、表示部１２１５、操作部１２１６、通信Ｉ／Ｆ１２１７、および、バス１２１８と同様の機能を有する。

図１は、画像処理システム１００の一部の機能構成を説明するための図である。以下、各処理部について説明する。

撮像装置１０１は、撮像領域を撮像し、取得した撮像画像を素材データ生成部１０２に送信する。撮像領域は、例えばサッカーあるいは空手等の競技が行われる競技場、もしくはコンサートあるいは演劇が行われる舞台等である。また、画像処理システム１００は複数の撮像装置１０１を有する。図１３は、複数の撮像装置１０１が配置される一例である。複数の撮像装置１０１は撮像領域を囲むようにそれぞれ異なる位置に配置され、互いに同期した状態で撮像を行う。また撮像装置１０１は、ネットワーク等により画像処理装置１１０と接続されている。なお、複数の撮像装置１０１は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置１０１の数は図１３に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置１０１が設置されてもよい。また、望遠カメラと広角カメラ等、機能が異なる撮像装置が設置されていてもよい。

素材データ生成部１０２は、複数の撮像装置１０１から撮像画像を取得し、該撮像画像に基づいて仮想視点画像を生成するための素材データを生成する。ここで、仮想視点画像とは、撮像領域における任意の視点（仮想視点）からの見えを表す画像である。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した仮想視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した仮想視点に対応する画像なども仮想視点画像に含まれる。また素材データとは、仮想視点画像を生成するためのデータであって、撮像装置１０１によって撮像された撮像画像、および該撮像画像に基づいて生成されるデータのことを示す。撮像画像に基づいて生成される素材データは、例えば、撮像領域における被写体の三次元モデルデータ、および三次元モデルに色付けするためのテクスチャデータ等のデータである。素材データの種類は、上記のデータに限らない。例えば、撮像画像を撮像した撮像装置１０１のカメラパラメータが素材データに含まれていてもよい。カメラパラメータは、例えば、撮像装置１０１の位置、向き、および焦点距離等を示すパラメータである。上記のように、素材データは、仮想視点画像の生成のために必要なデータであり、その種類は限定されない。以下、素材データの生成手法について説明する。

素材データ生成部１０２は、取得した複数の撮像画像から、前景領域を抽出した前景画像を生成する。前景とは、撮像領域における位置が変化する被写体（例えば、スタジアム内におけるボール、および選手等）である。撮像領域における前景以外の被写体を背景とする。前景抽出の手法は、例えば前景に対応する被写体がいない状態の撮像領域を撮像した撮像画像と、前景に対応する被写体がいる状態の撮像領域を撮像した撮像画像との差分を取ることにより、前景領域を抽出することができる。前景を抽出する手法については、上記の例に限定されない。素材データ生成部１０２は、抽出された前景画像を用いて、前景の三次元モデルを生成する。三次元モデルの生成には、例えば公知技術である視体積交差法などの手法が用いられる。ただし、三次元モデルの生成手法には視体積交差法以外の手法が用いられてもよい。素材データ生成部１０２は、取得した複数の撮像画像、および、撮像画像に基づいて生成した前景画像および三次元モデル等の素材データを保存部１０４に送信する。

なお、本実施形態においては仮想視点画像における前景を構成する方法として三次元モデル生成方式を使用する例について記載しているが、前景を構成する方法はこれに限らない。例えば、近接する撮像装置１０１の間に位置する視点から見た被写体を、当該近接する撮像画像１０１の位置関係に応じて補間および合成することにより、仮想視点画像における前景を構成するモーフィング処理方式が用いられてもよい。また例えば、前景画像を三次元空間上に射影変換することにより、仮想視点画像における前景を構成するビルボーディング方式が用いられてもよい。モーフィング処理方式およびビルボーディング方式、あるいはその他の手法を使用する場合、必要な素材データの種類は三次元モデル生成方式と異なる。この場合についても、素材データ生成部１０２は必要な素材データの生成を行い、保存部１０４へ送信する。

また、素材データ生成部１０２は、素材データ生成の過程において、仮想視点画像の品質を向上させるための補正処理を行う。以下、素材データ生成部１０２が行う補正処理の一例と、それぞれの補正処理の方法について説明する。

歪補正処理は、撮像装置１０１が有するレンズの光学的な特性により歪みが生じた撮像画像を補正する補正処理である。素材データ生成部１０２は、撮像装置１０１が有するレンズの光学的な特性を示すパラメータをあらかじめ取得しておき、歪みが発生した撮像画像に対しパラメータに応じて演算処理を行うことにより、歪みを補正する。

ノイズ削減処理は、撮像画像に発生したノイズを削減する補正処理である。撮像画像のノイズは、例えば、撮像領域が暗い場合に撮像装置１０１の撮像センサーの感度を上げて撮像を行う場合に発生しやすい。素材データ生成部１０２は、ノイズが発生した撮像画像に対し、バイラテラルフィルタ等を用いたフィルタ処理を行うことにより、ノイズを削減する。

キャリブレーション処理は、複数の撮像装置１０１が撮像する撮像画像に基づいて、画像処理を用いてカメラパラメータを補正する補正処理である。仮想視点画像は複数の撮像画像に基づいて生成されるため、複数の撮像装置１０１の位置関係を示すカメラパラメータの精度が高いほど、生成される仮想視点画像の精度も向上する。素材データ生成部１０２は、複数の撮像装置１０１から取得した複数の撮像画像に対し、各撮像画像における共通する特徴点を指定する特徴点抽出処理を行う。該指定された共通の特徴点は世界座標における共通の座標である。素材データ生成部１０２は、共通の座標を利用して当該複数の撮像画像を撮像した複数の撮像装置１０１の位置関係を把握し、該位置関係に基づいてカメラパラメータを補正する。以上説明したキャリブレーション処理は、撮像領域の撮像の開始時に撮像装置１０１の位置関係を取得するときに行われる。また画像処理システム１００の動作中に撮像装置１０１が振動等により位置または向き等が変化した場合に、カメラパラメータを補正する目的で行われる。

振動補正処理は、撮像装置１０１の振動により発生する、撮像画像どうしの位置ずれを補正する処理である。撮像装置１０１が撮像中に振動することにより、撮像装置１０１の位置あるいは向きがずれる場合がある。これにより撮像位置がずれるため、撮像装置１０１が連続して撮像を行ったときに撮像画像どうしの位置ずれが発生する。撮像画像どうしの位置ずれが発生すると、撮像画像に基づいて生成される素材データの品質が低下したり、当該撮像画像を用いて仮想視点画像の動画を生成した時に動画の映像が振動したりする恐れがある。素材データ生成部１０２は、例えば、撮像装置１０１が有するジャイロセンサに基づいて振動量を取得したり、連続して撮像した撮像画像を参照し、撮像画像どうしの特徴点のずれに基づいて振動量を算出したりすることが可能である。素材データ生成部１０２は、取得あるいは算出した振動量に基づいて撮像画像に対し画像処理を行うことにより、撮像画像どうしの位置ずれを補正する。上記は位置ずれが発生した撮像画像に対し補正を行う処理の例であるが、撮像装置１０１が、撮像画像どうしの位置ずれを発生させないための機能を有していてもよい。撮像画像どうしの位置ずれを発生させないための機能は、例えば、光学式手ぶれ補正機能などがある。撮像装置１０１が、撮像画像どうしの位置ずれを発生させないための機能を有する場合、撮像装置１０１は、撮像時に振動補正処理を行ったことを素材データ生成部１０２へ通知する。

以上説明したように、素材データ生成部１０２は素材データの生成過程において素材データの補正処理を行う。上記の説明においては一例として撮像画像およびカメラパラメータの補正処理について述べたが、素材データ生成部１０２が補正する素材データはこれに限定されない。例えば素材データ生成部１０２が前景画像を生成した際に、本来であれば背景として分離されるべき領域がノイズとして前景画像に含まれる場合がある。このとき素材データ生成１０２は、前景以外のノイズを除去する補正処理を行うことが可能である。なお、上記の補正処理の種類及び補正方法は一例であり、素材データ生成部１０２が他の補正処理を行ったり、他の補正方法を使用したりしてもよい。他の補正処理としては、例えば色情報を補正する色補正処理等がある。また、補正処理は必須の処理ではないため、素材データ生成部１０２が補正処理を行わずに素材データを生成する場合もある。

生成情報取得部１０３は、素材データ生成部１０２が素材データを生成する際の生成処理に係る情報を素材データ生成部１０２から取得する。生成処理に係る情報（以下、生成情報と呼ぶ）は、画像処理装置１１０が実行した処理を特定可能な情報である。生成情報は、例えば、素材データ生成部１０２が素材データ生成処理において行う処理の種別を示す情報、および当該処理を行ったか否かを示す情報等である。素材データ生成部１０２が行う処理の種別とはすなわち、前景抽出処理、三次元モデル生成処理、歪補正処理やノイズ削減処理等の補正処理、あるいは、上記の処理に用いられる手法を示す情報である。上記の処理は最終的に仮想視点画像を生成するために行われる画像処理であり、後述する画像生成装置１２０が上記の処理を行う構成であってもよい。しかしながら、画像処理装置１１０と画像生成装置１２０との間で何の処理が行われたか、あるいは行われていないかについての整合性をとる必要がある。生成情報を取得することにより、画像生成装置１２０は生成情報を参照し、仮想視点画像の生成時に行うべき処理を行うことができるようになる。生成情報取得部１０３は、取得した生成情報を保存部１０４へ送信する。

保存部１０４は、素材データ生成部１０２および生成情報取得部１０３から取得した素材データおよび生成情報を保存する。保存部１０４はストレージデバイスであるとする。保存部１０４は例えば、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、あるいはフラッシュメモリ等により構成される。保存部１０４は単一のデバイスであってもよいし、複数のデバイスの集合体であってもよい。また保存部１０４は、複数種類のデバイスにより構成されていてもよいし、ネットワーク上に仮想化されたクラウド上のデバイスでもよい。

関連付け部１０５は、保存部１０４に保存されている素材データと、該素材データの生成処理に係る情報（生成情報）とを関連付ける処理を行い、関連付けを行ったデータを保存部１０４へ出力する。関連付けの一例として、素材データに対し生成情報をメタデータとして付与した素材データファイルを生成する方法について説明する。

図２は、関連付け部１０５が生成する素材データファイルの構成の一例を説明するための図である。素材データ２０１には、素材データ生成部１０２において生成された前景画像および三次元モデル、および、カメラパラメータ等の素材データが含まれる。素材データ２０１に付与されるメタデータ２０２には、素材データ２０１に含まれる素材データの生成処理に係る生成情報２０３が含まれる。生成情報２０３には、素材データの生成時に行われる処理の種類を示す処理情報２０４と、該処理に係るパラメータ２０５とが含まれる。処理情報２０４には、素材データの生成手法あるいは補正処理を示す情報が含まれる。パラメータ２０５には、対応する処理を行う際に使用された処理パラメータが含まれる。また、処理が行われなかった場合、当該処理を示す処理情報２０４に対応するパラメータ２０５には、当該処理が行われなかったことを示すパラメータが含まれる。図２が示す例において、処理Ａおよび処理Ｃは素材データ生成部１０２によって行われ、処理Ｂは行われなかったことがわかる。パラメータ２０５に含まれるパラメータは、例えば、処理が行われなかった場合は「０」になる等、特定の状態と対応付けた符号であってもよい。

図３を用いて、関連付け部１０５が生成する素材データファイルの構成の別の一例について説明する。素材データ３０１には素材データが含まれる。また、メタデータ３０２には素材データ３０１に含まれる素材データの生成処理に係る生成情報３０３が含まれる。生成情報３０３には、素材データの生成時に行われる処理の内容を示す処理情報３０４と、該処理に係るパラメータ３０６が格納された場所を示すポインタ情報３０５とが含まれる。ポインタ情報３０５が示す場所に、対応する処理に使用されたパラメータ、あるいは処理が行われなかったことを示すパラメータが格納されている。図３のような構成にすることにより、生成情報３０３を表す符号が固定長となり、素材データの構造が設計しやすくなるという利点がある。

図４を用いて、関連付け部１０５が生成する素材データファイルの構成の別の一例について説明する。図４における素材データ４０１、メタデータ４０２、生成情報４０３、および、生成情報４０３に含まれる処理情報４０４およびパラメータ４０５の機能は、それぞれ図２における素材データ２０１、メタデータ２０２、生成情報２０３、処理情報２０４、パラメータ２０５と同様である。生成情報４０３には、処理情報４０４およびパラメータ４０５の他に、規格情報４０６が含まれる。規格情報４０６は、処理情報４０４が示す処理の内容について補足する情報である。例えば、ノイズ削減処理という一つの処理であっても各種のアルゴリズムが存在するため、どのアルゴリズムに基づいて補正処理を行ったかを示す情報を付与することで生成処理の内容をより詳細に把握できるようになる。一般的に多く使用される処理は規格が定義されている場合が想定される。したがって、処理情報４０４が示す処理が規格に基づいた処理である場合、規格情報４０６には、当該規格を示す情報が含まれる。また処理情報４０４が示す処理が、一般的な規格で定義されていない、システム独自の処理である場合は、規格情報４０６には、規格が定義されていない方法に基づく処理であることを示す情報が含まれる。このとき、システム独自の規定が定義されている場合は、当該独自の規定を示す情報が規格情報４０６に含まれていてもよい。なお、パラメータ４０５が、図３におけるポインタ情報３０５と同様の構成になっていてもよい。

図５を用いて、関連付け部１０５が生成する素材データファイルの構成の別の一例について説明する。以降、仮想視点画像を示す単位としてフレームという用語を使用する。すなわち、一つの仮想視点画像が１フレームに対応する。フレームを複数組み合わせることにより、仮想視点画像の動画を生成することもできる。素材データは、１フレーム分の仮想視点画像を生成するためのデータごとにまとめて使用される場合が多いため、素材データと生成情報の関連付けについてもフレーム単位で行うことにより、素材データの扱いが容易になる。図５は、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートにしたがって素材データが生成される場合の、素材データファイルの構成の一例である。ｆｐｓは、フレームレートの単位であり、撮像画像が１秒間に何フレーム分撮像されるかを示す単位である。したがって、１フレーム分の素材データとは、１／６０秒に対応する素材データである。素材データ５０１には、１フレーム分の素材データが含まれる。メタデータ５０２には、素材データ５０１に含まれる素材データの生成処理に係る生成情報５０３が含まれる。生成情報５０３の構成は、図２における生成情報２０３、図３における生成情報３０３、あるいは図４における生成情報４０３の構成と同様である。また、メタデータ５０２には、時刻情報５０４が含まれる。時刻情報５０４は、素材データ５０１に含まれる素材データがどの時刻のフレームに対応する素材データなのかを示す情報である。図５の例においては、Ｔ＝１／６０秒とし、撮像タイミング５０５に示すように、撮像画像がＴ＝１、Ｔ＝２、・・・のタイミングで撮像されている。素材データ５０１に含まれる素材データはＴ＝０に対応する素材データであるので、時刻情報５０４は「Ｔ＝０」を示す情報となる。時刻情報５０４のフォーマットとしては、例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）によって規格化されたタイムコード等がある。ただし、フォーマットはこれに限定されない。Ｔ＝１、Ｔ＝２、・・・に対応する素材データファイルの構成も、同様の構成となる。図５に示す構成により、例えば任意のフレームのみに対応する素材データを使用したり、連続する複数のフレームに対応する素材データをまとめて使用したりする場合にも、それぞれの素材データに関連付けられた生成情報を参照しやすいという効果がある。

図６を用いて、関連付け部１０５が生成する素材データファイルの構成の別の一例について説明する。図６の例においては、撮影タイミングＴ＝０〜Ｔ＝Ｎ−１に対応するフレームの素材データは、同じ生成処理によって生成されたものとする。このとき、Ｔ＝０〜Ｔ＝Ｎ−１に対応する素材データは、同じ生成情報が関連付けられる。したがって、生成情報が同じであるフレームをまとめてフレームセットとし、フレームセットに対し生成情報を関連付ける構成とすることが可能である。フレームセット６０１には、Ｔ＝０〜Ｔ＝Ｎ−１に対応するフレームの素材データが含まれている。各素材データ６０２にはメタデータ６０３が付与されている。メタデータ６０３には、図５における時刻情報５０４と同様の時刻情報が含まれており、フレームセットに含まれるフレームがどの撮影タイミングに対応するフレームであるかを区別できるようになっている。フレームセット６０１に対してもメタデータ６０４が付与される。メタデータ６０４には、生成情報６０５が含まれる。生成情報６０５の構成は、図２における生成情報２０３、図３における生成情報３０３、あるいは図４における生成情報４０３の構成と同様である。データセット６０１に対し生成情報６０５が関連付けられることにより、データセット６０１に含まれる素材データが、生成情報６０５によって示される共通の処理によって生成されたことがわかる。また、Ｔ＝Ｎにおいて生成情報が変化したとする。生成情報が変化するタイミングは、例えば、素材データの生成処理の内容が変更されたタイミング、あるいは、処理に係るパラメータが変更されたタイミングである。次にＴ＝Ｍにおいて生成情報が変化するまで、生成情報はＴ＝Ｎ〜Ｔ＝Ｍ−１において同じとなる。したがって、フレームセット６０６にはＴ＝Ｎ〜Ｔ＝Ｍ−１に対応するフレームの素材データが含まれ、フレームセット６０６に付与されるメタデータ６０７には変化後の生成情報６０８が含まれる。以降の撮影タイミングに対応するフレームについても、同様の構成となる。図６のような構成にすることにより、共通する生成処理に対応する素材データを使用することが容易になる。また、フレームセットに生成情報を付与することにより、フレーム一つ一つに生成情報を付与する必要がなくなり、素材データファイルのデータ量が削減される効果がある。

図７を用いて、関連付け部１０５が生成する素材データファイルの構成の別の一例について説明する。図７に示す素材データファイルは、一定数のフレーム（Ｎフレーム）をまとめてフレームセットとし、該フレームセットに対して生成情報を関連付ける構成となっている。フレームセット７０１には、Ｔ＝０〜Ｔ＝Ｎ−１に対応するＮ個のフレームが含まれる。それぞれのフレームの素材データ７０２には、メタデータ７０３が付与される。メタデータ７０３には、図５における時刻情報５０４と同様の時刻情報が含まれる。フレームセット７０１にはメタデータ７０４が付与され、該メタデータ７０４には時間範囲情報７０５および生成情報７０６が含まれる。生成情報７０６の構成は、図２における生成情報２０３、図３における生成情報３０３、あるいは図４における生成情報４０３の構成と同様である。時間範囲情報７０５は、対応する生成情報７０６がどの撮影タイミングにおける生成情報なのかを示す情報である。例えば、Ｔ＝０〜Ｔ＝Ｎ−１の間における撮影タイミングである、Ｔ＝ｎ〜Ｔ＝ｍの間で生成情報が同じである場合、時間範囲情報７０５は、Ｔ＝ｎ〜Ｔ＝ｍの時間範囲を表す情報となる。またこのときの時間範囲情報７０５に対応する生成情報７０６には、Ｔ＝ｎ〜Ｔ＝ｍに対応する素材データに係る生成情報が含まれる。Ｔ＝Ｎ以降のフレームについても同様に、Ｎフレームごとにフレームセットが構成され、メタデータが付与される。図７のような構成にすることにより、一定の時間範囲に応じて素材データを使用することが容易になる。

以上説明した素材データファイルの構成の他にも、素材データに基づいて生成される仮想視点画像におけるシーンごとにフレームをまとめたフレームセットを構成し、該フレームセットに生成情報を関連付けてもよい。仮想視点画像におけるシーンは例えば、スポーツの試合に関する仮想視点画像におけるゴールシーン、試合の開始時、あるいは選手交代などがある。シーンの種類はこれに限定されない。仮想視点画像を利用するユーザによって要求されるシーンは異なることが想定されるため、ユーザが要求するシーンに応じてフレームセットの構成を変更してもよい。

以上説明した素材データファイルを生成することにより、共通のファイルフォーマットに準拠する他の画像処理装置、あるいは他の画像生成装置にも素材データが適用可能になるという効果がある。また、素材データの一部を扱う、あるいはまとめて扱う等の場合に、扱いが容易になるという効果がある。なお、素材データと生成情報とが必ずしも同じファイルである必要はない。例えば、図２から図７におけるメタデータに含まれる情報が、素材データとは別のファイルとして生成されてもよい。また、関連付け部１０５が行う素材データと生成情報との関連付けの方法は、素材データと生成情報とが紐づけられ、参照可能な状態になっていればよく、上記の方法に限定されない。関連付けが行われた素材データおよび生成情報は、保存部１０４に出力される。

図８は、図１に示す画像処理システム１００の一部が実行する処理を説明するためのフローチャートである。ＣＰＵ１２１１がプログラムを実行することにより、図８に示す処理が行われる。以降、処理ステップを単にＳと表記する。撮像装置１０１が撮像を開始すると、処理が開始される。Ｓ８０１において、撮像装置１０１は、撮像領域を撮像する。Ｓ８０２において、素材データ生成部１０２は、複数の撮像装置１０１から撮像画像を取得する。Ｓ８０３において、素材データ生成部１０２は、素材データの生成処理を行い、生成した素材データを保存部１０４に保存する。このときの素材データ生成部１０２が行う生成処理は、撮像画像に基づいて素材データを生成する処理と、素材データを生成する過程で行われる補正処理との少なくともいずれかである。Ｓ８０４において、生成情報取得部１０３は、素材データ生成部１０２が行った生成処理に係る生成情報を、素材データ生成部１０２から取得し、取得した生成情報を保存部１０４に保存する。Ｓ８０５において、関連付け部１０５は、保存部１０４に保存された素材データと、該素材データに係る生成情報とを関連付ける処理を行う。上述したように、関連付ける方法は特定の手法に限定されない。Ｓ８０６において、関連付け部１０５は、関連付けを行った素材データと生成情報とを保存部１０４に出力する。以上で、処理が終了する。

なお、本実施形態においては素材データと該素材データに関連付けられた生成情報とを保存部１０４に出力する場合について説明したが、保存部１０４を介さずに後述する画像生成装置１２０に直接出力する構成としてもよい。また、本実施形態においては、保存部１０４と関連付け部１０５とが画像処理装置１１０の内部に含まれているが、保存部１０４および関連付け部１０５の一方または両方が画像処理装置１１０の外部に接続されている構成であってもよい。

次に、画像処理システム１００が有する画像生成装置１２０の機能構成について説明する。図９は、画像処理システム１００が有する画像生成装置１２０の機能構成について説明するための図である。以下、各処理部について説明する。

生成情報抽出部９０１は、保存部１０４に保存された素材データに関連付けられた生成情報を取得する。例えば、素材データと生成情報とが一つの素材データファイルとして保存されている場合は、生成情報抽出部９０１は、素材データファイルから生成情報に関するデータを抽出する処理を行う。生成情報抽出部９０１は、抽出した生成情報を画像生成部９０３に送信する。

仮想視点指定部９０２は、ユーザによる操作等に基づき、仮想視点情報を決定する。ここで、仮想視点情報とは、撮像領域内における任意の視点（仮想視点）の位置および向きを示す情報である。仮想視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。仮想視点情報の内容は上記に限定されない。例えば、仮想視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。仮想視点指定部９０２は、例えば、タッチパネル、ボタン、およびキーボード等の、内部または外部に接続される入力装置からの入力を受け付ける。仮想視点指定部９０２は、ユーザによる入力装置の操作等に基づいて決定される仮想視点の位置および向き等の情報、および、生成される仮想視点画像に対応する時刻等の仮想視点情報を決定し、該仮想視点情報を画像生成部９０３に送信する。このとき、ユーザによる入力操作によって決定される仮想視点情報に基づいて生成される仮想視点画像は、表示部９０４に表示される。ユーザは、表示部９０４に表示される仮想視点画像を見ながら入力操作を行うことができる。

画像生成部９０３は、保存部１０４に保存されている素材データ、および、仮想視点指定部９０２から送信される仮想視点情報に基づいて、仮想視点画像を生成する。このとき、生成情報抽出部９０１から送信される生成情報に基づいて、追加処理を行うか否かを判断する。追加処理が必要であると判断した場合、画像生成部９０３は、追加処理を行う。例えば、生成情報に、素材データの生成処理において前景抽出処理が行われていないことを示す情報が含まれているとする。この場合、画像生成部９０３は追加処理が必要であると判断し、生成情報と関連付けられている素材データに対し前景抽出処理を追加処理として行う。また例えば、生成情報に、歪補正処理が行われたことを示す情報が含まれているとする。この場合、画像生成部９０３は、歪補正処理を追加で行う必要がないと判断する。

素材データに係る生成情報がない場合、画像生成部９０３は素材データがどのような処理を経て生成されたのかを知ることができない。このときに生じる問題点について説明する。例えば、本実施形態においては、画像処理装置１１０が前景抽出処理を行い、画像生成装置１２０が前景抽出処理の行われた素材データに基づいて仮想視点画像を生成する。しかしながら別の実施形態として仮想視点画像を生成する装置側で前景抽出処理を行う場合、素材データを生成する装置は、前景抽出処理を行わなくてもよい。素材データを生成する装置と仮想視点画像を生成する装置とで素材データの生成処理の整合性がとれていれば問題はないが、必ずしも整合性が取れた状態であるとは限らない。したがって、例えば前景抽出が行われていないことを画像生成部９０３が知ることができないと、画像生成部１０９は前景抽出がされていない素材データを前景抽出済みのデータとして使用し、仮想視点画像の生成ができなくなる恐れがある。また例えば、素材データに対し歪補正処理が行われていることを画像生成部９０３が知ることができないと、画像生成部１０９は追加処理として素材データに対し歪補正処理を行う場合がある。この場合、歪補正処理が重複し、仮想視点画像生成全体の処理時間が長くなったり、生成される仮想視点画像の精度が低下したりする恐れがある。また、本実施形態においては三次元モデル生成方式にしたがって素材データを生成する例について記載しているが、画像生成装置が三次元モデル生成方式に対応していない場合なども起こりうる。この場合も、生成情報がなければ、画像生成部９０３は素材データが何の方式にしたがって生成されたデータなのかを知ることができない。その結果、画像生成部９０３は仮想視点画像を生成することができなくなる恐れがある。素材データに生成情報が関連付けられることにより、画像生成部９０３は生成情報を参照することができ、上記のような問題が解決される。また、例えば補正処理のように必須ではない処理について、画像処理部９０３は生成情報を参照し、処理時間あるいは処理負荷等を考慮して追加処理を行うか否かを判断することも可能である。

画像生成部９０３が行う仮想視点画像の生成処理の一例について説明する。画像生成部９０３は、仮想視点指定部９０２から送信された仮想視点情報に基づき、仮想視点画像における被写体の座標を算出する。また画像生成部９０３は、撮像装置１０１のカメラパラメータに基づき、実際の撮像領域における被写体の座標を算出する。画像生成部９０３は、前記算出した被写体の座標と、複数の撮像装置１０１が撮像する被写体の色とに基づき、色の選定、あるいは複数の色のブレンドを行うことにより、仮想視点画像における被写体の色を決定する。画像生成部９０３は、決定した仮想視点画像上における被写体の色を、保存部１０４から取得した三次元モデルに着色することにより、仮想視点画像を生成する。生成された仮想視点画像は、表示部９０４に表示される。なお、以上説明した仮想視点画像の生成方法は、三次元モデル生成方式を使用した場合の例であるが、三次元モデル生成方式以外の手法を使用する場合の仮想視点画像の生成方法は、この限りではない。

図１０は、画像生成装置１２０が実行する処理を説明するためのフローチャートである。ＣＰＵ１２２１がプログラムを実行することにより、図１０に示す処理が行われる。仮想視点指定部１２０２がユーザによる仮想視点情報を決定するための入力操作等を検出すると、処理が開始される。Ｓ１００１において、仮想視点指定部９０２は、ユーザによる入力操作等に基づいて仮想視点情報を決定し、画像生成部９０３へ送信する。Ｓ１００２において、画像生成部９０３は、仮想視点指定部９０２から取得した仮想視点情報に基づいて、必要な素材データを保存部１０４から取得する。Ｓ１００３において、生成情報抽出部９０１は、画像生成部９０３が取得した素材データと関連付けられた生成情報を取得し、画像生成部９０３へ送信する。Ｓ１００４において、画像生成部９０３は、取得した生成情報に基づいて、追加処理が必要か否かを判断する。追加処理が必要であると判断した場合、Ｓ１００５へ処理を進める。追加処理が必要ないと判断した場合、Ｓ１００６へ処置を進める。Ｓ１００５において、画像生成部９０３は、生成情報に基づいて追加処理を行う。Ｓ１００６において、画像生成部９０３は、取得した素材データを使用して仮想視点画像を生成し、表示部９０４へ出力する。Ｓ１００７において、表示部９０４は、画像生成部９０３により出力された仮想視点画像を表示する。Ｓ１００８において、画像生成処置装置１２０は、ユーザによる入力操作等に基づいて、仮想視点画像の生成処理を終了するか否かを判断する。仮想視点画像の生成処理を終了すると判断した場合、処理を終了する。終了しないと判断した場合、再度Ｓ１００１以降の処理を実行する。

なお、本実施形態においては、表示部９０４が画像生成装置１２０の内部に含まれているが、表示部９０４は画像生成装置１２０の外部に接続される構成であってもよい。

以上説明したように、素材データの生成処理に係る生成情報を素材データと関連付けることにより、素材データの生成時の処理内容を知ることができるようになる。また、生成情報を参照することにより、画像生成装置が素材データを用いて仮想視点画像を生成する際に必要な追加処理を行うことができるようになる。

（第２の実施形態）
本実施形態において、素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報をユーザに提供する画像処理システム１００について説明する。なお、本実施形態における画像処理システム１００のハードウェア構成および機能構成は第１の実施形態と同様であるものとする。また、本実施形態においては、第１の実施形態と処理が異なる部分についてのみ説明を行う。

画像生成部９０３は、生成情報抽出部９０２から取得した生成情報に基づき、素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報を表示部９０４に表示させる。図１１は、表示部９０４が表示する情報の一例を説明するための図である。表示部９０４は、画像生成部９０３が生成した仮想視点画像のサムネイル１１０１、仮想時点画像の品質情報１１０３〜１１０５、および素材データの生成処理に係る生成情報１１０６を表示する。画像生成部９０３は、素材データと、該素材データに関連付けられた生成情報とに基づいて仮想視点画像を生成し、生成した仮想視点画像をサムネイル１１０１として表示部９０４に表示させる。このとき、例えば素材データのフォーマットに対応していない等の理由により画像生成部９０３が仮想視点画像を生成できない場合、仮想視点画像が生成できなかったことを示す情報１１０２を表示部９０４に表示させる。また、画像生成部９０３は、素材データに係る生成情報と、生成情報に基づいて判断した仮想視点画像の品質に関する情報とを、表示部９０４に表示させる。例えば図１１において、品質情報１１０３は、生成された仮想視点画像の品質が良好であることを表している。仮想視点画像の品質は、素材データの生成時に行われた補正処理の有無、冗長な処理がされていないか、あるいは補正処理に使用されたパラメータが適切であったかどうか等に基づいて判断される。また、品質情報１１０３に対応する生成情報１１０６は「歪補正有、ノイズリダクション強、ボクセルサイズ５ｍｍ」と表示されている。該生成情報によれば、ユーザは、該当する仮想視点画像は素材データの生成時に歪補正処理およびノイズ削減処理（ノイズリダクション）が行われたこと、また三次元モデルの解像度（ボクセルサイズ）が５ｍｍであることを知ることができる。ここでいう解像度（ボクセルサイズ）は、実空間を単位体積の立方体（ボクセル）で区切った時の、ボクセルの一辺の長さで表される。すなわち、解像度（ボクセルサイズ）が５ｍｍであるとき、三次元モデルは一辺が５ｍｍであるボクセルの集合によって構成される。ただし、解像度の表し方は上記に限定されない。また例えば品質情報１１０４は、仮想視点画像が生成されたが、品質が所定の基準より低いことを表している。品質情報１１０５は、画像生成部９０３が仮想視点画像を生成できなかったことを表している。なお、表示される生成情報１１０６は、画像生成部９０３が追加処理を行った場合、該追加処理の結果を反映させた生成情報を表示するようにしてもよい。例えば、生成情報抽出部９０１が抽出した生成情報が「歪補正処理なし」であったため、画像生成部９０３が追加処理として歪補正処理を行った場合、表示部９０４は対応する生成情報１１０６に「歪補正有」と表示してもよい。

以上説明したように、画像生成部９０３が素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報を表示部９０４に表示させることにより、ユーザが生成する仮想視点画像を決定する際の補助となる情報を提供することができるようになる。ユーザは、表示された情報を参照しながら、所望の仮想視点画像を生成することができる。

（その他の実施形態）
上述の実施形態においては、画像処理装置１１０と画像生成装置１２０とが別々の装置であるシステムについて説明したが、これに限らない。画像処理装置１１０および画像生成装置１２０が同じ装置に含まれていてもよい。また、画像処理装置１１０または画像生成装置１２０に含まれる処理部の一部が別の装置として接続されていてもよい。さらに、画像処理装置１１０の機能が複数の撮像装置１０１のそれぞれに組み込まれ、画像処理装置１１０における各処理部と同様の処理を行う構成としてもよい。

また、上述の実施形態においては、生成情報が処理の種別を示す情報および画像処理装置１１０が当該処理を行ったか否かを示す情報を含む例について説明したが、生成情報に含まれる情報は上記に限らない。例えば画像生成装置１２０が、画像処理装置１１０と画像生成装置１２０との間で行うべき処理についてあらかじめ設定されている場合、生成情報は、画像処理装置１１０が実行した処理の種別を示す情報のみを含んでいてもよい。画像生成装置１２０は生成情報を参照することにより、生成情報に含まれていない処理種別については画像処理装置１１０において実行されていないと判断し、適切な追加処理を行うことができる。また上記の例においては、生成情報は画像処理装置１１０が実行しなかった処理の種別を示す情報のみを含んでいてもよい。画像生成装置１２０は、生成情報に含まれていない処理種別については画像処理装置１１０において実行されたものと判断し、適切な追加処理を行うことができる。上記の例のように、生成情報は、素材データに対して実行された処理を特定可能な情報であればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明したように、本発明によれば、素材データと該素材データの生成処理に係る生成情報とを関連付けることにより、素材データの生成時にどのような画像処理が行われたか、あるいは行われていないかを知ることができるようになる。また、素材データに関連付けられた生成情報を参照することにより、画像生成装置が素材データを用いて仮想視点画像を生成する際に適切な処理を行うことができるようになる。

１０２ 素材データ生成部
１０３ 生成情報取得部
１０５ 関連付け部
１１０ 画像処理装置

Claims (15)

1. 複数の撮像装置により撮像された複数の撮像画像に基づく仮想視点画像を生成するための素材データを生成する画像処理装置であって、
   前記素材データを生成する素材データ生成手段と、
   前記素材データ生成手段により生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力手段と
   を有し、
   前記生成情報は、前記素材データを生成する処理または前記素材データを補正する処理であって、前記素材データに対して実行された処理を特定可能な情報を含む
   ことを特徴とする画像処理装置。
2. 前記素材データは、前記複数の撮像画像、および、該撮像画像に基づいて生成されるデータを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記素材データを生成する処理は、前景抽出処理、あるいは三次元モデル生成処理の少なくともいずれかを含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記素材データを補正する処理は、歪補正処理、ノイズ削減処理、キャリブレーション処理、および、振動補正処理の少なくともいずれかを含む処理であることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記生成情報は、前記素材データの生成処理に使用された処理パラメータに関する情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成情報は、前記素材データの生成処理に使用された処理パラメータが格納された場所を示す情報を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成情報は、前記素材データの生成処理に使用された処理の手法を示す情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、所定のまとまりごとに、前記素材データと前記生成情報とを関連付けて出力することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記所定のまとまりは、素材データごと、フレームごと、同じ生成処理ごと、あるいは、一定数のフレームごとのまとまりであることを特徴とする請求項８に記載の画像処理装置。
10. 前記出力手段は、前記素材データと前記生成情報とから生成される、素材データファイルを出力することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記素材データに基づいて仮想視点画像を生成する画像生成装置であって、
    前記素材データと、前記素材データと関連付けられた生成情報とを取得する取得手段と、
    前記取得手段により取得された前記素材データと前記生成情報とに基づいて仮想視点画像を生成する画像生成手段と
    を有する画像生成装置と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置
    とを有することを特徴とする画像処理システム。
12. 前記画像生成手段は、
    前記取得手段により取得された前記生成情報に基づいて、追加の処理を行うか否かを判断することを特徴とする請求項１１に記載の画像処理システム。
13. 前記画像生成手段は、前記生成情報を表示手段に表示させるよう制御することを特徴とする請求項１１または１２に記載の画像処理システム。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
15. 複数の撮像装置により撮像された複数の撮像画像に基づく仮想視点画像を生成するための素材データを生成する画像処理装置の制御方法であって、
    前記素材データを生成する素材データ生成工程と、
    前記素材データ生成工程において生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力工程と
    を有し、
    前記生成情報は、前記素材データを生成する処理または前記素材データを補正する処理であって、前記素材データに対して実行された処理を特定可能な情報を含む
    ことを特徴とする制御方法。

Images