JP2020101845A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】仮想視点画像におけるオブジェクト形状を向上すること。【解決手段】画像処理装置は、複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する。当該仮想視点画像の生成において、画像処理装置は、前記複数の撮影画像から生成されたオブジェクトの３次元形状モデルを、予め生成された３次元形状モデルである参照モデルに合わせて補正する。そして、補正された前記３次元形状モデルを用いて前記仮想視点画像が生成される。【選択図】 図１

Description

本発明は、複数のカメラを用いて同期撮影された複数視点画像から、仮想視点画像を生成するための技術に関する。

昨今、複数のカメラを異なる位置に設置して複数視点で同一の物体（オブジェクト）を同期撮影し、その撮影により得られた複数視点画像を用いてオブジェクトを任意の仮想視点から見た際に得られる仮想視点画像を生成する技術が注目されている。特許文献１には、このような仮想視点画像を生成する技術が開示されている。

このような仮想視点画像から生成された仮想視点画像は、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常のカメラ画像と比較して視聴者に高い臨場感を与えることが出来る。

またこの技術は、臨場感を高める他に、試合状況や判定結果を左右するシーンにおけるボール等の注目するオブジェクトを選手等の別のオブジェクトで遮られることなく確認することを可能にする。例えば、選手に隠れることなくボールとラインの両方が見える位置に仮想カメラを置くことにより、ボールがライン内側か外側かといった際どいシーンの瞬間を明瞭に捉えた仮想視点画像を視聴者に提供することができる。

特開２００８−０１５７５６号公報

しかしながら、設置された何れかのカメラから見て注目オブジェクトが別のオブジェクトの陰に隠れる場合などには、複数視点画像に基づいて生成される注目オブジェクトの３次元形状モデルの形状が歪んだり輪郭が欠けたりして、再現精度の低い仮想視点画像が生成されてしまう恐れがあった。

そこで本発明は、仮想視点画像におけるオブジェクト形状の精度を向上することを目的とする。

本発明は、複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理装置であって、前記撮影画像から生成された３次元形状モデルを、予め生成された３次元形状モデルである参照モデルに合わせて補正する補正手段と、補正された前記３次元形状モデルを用いて前記仮想視点画像を生成する画像生成手段と、を備えたことを特徴とする。

本発明によれば、仮想視点画像におけるオブジェクト形状の精度を向上することができる。

実施形態１における画像処理システムの全体構成図。 画像処理装置のハードウェア構成図。 実施形態１におけるイベント情報の例。 実施形態１における参照モデル情報の例。 実施形態１における３ｄモデル情報の例。 実施形態１におけるユーザ端末の画面例。 実施形態１におけるフィッティングの処理フロー図。 実施形態１における対象モデル取得の処理フロー図。 実施形態１における参照モデル取得の処理フロー図。 実施形態１における対象モデル補正の処理フロー図。 実施形態１におけるレンダリングの処理フロー図。 実施形態２におけるフィッティングの処理フロー図。 実施形態２における対象モデル状態確認の処理フロー図。 実施形態３におけるレンダリングの処理フロー図。 実施形態３における構図重複の例。

以下、図面を参照して、本発明の実施の形態を説明する。

実施形態１

図１は、本発明の実施形態１に係る画像処理システムの全体構成図である。

画像処理システムは、複数視点画像保持部１、イベント情報保持部２、参照モデル保持部３、画像処理装置４、およびユーザ端末５を含む。画像処理装置４は、３ｄモデル生成・保持部４０１、レンダリング部４０２、およびフィッティング部４０３を有する。ユーザ端末５は、表示部５０１、仮想カメラ設定部５０２、およびシーン選択部５０３を有する。

図２は、画像処理装置４のハードウェア構成を示す図である。画像処理装置４は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、入力部１５と、通信Ｉ／Ｆ１６と、システムバス１７とを備える。ＣＰＵ１１は、画像処理装置４における動作を統括的に制御するものであり、システムバス１７を介して、各構成部（１２〜１６）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。尚、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリアとして機能する。つまり、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラムをＲＡＭ１３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ１４は、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ１４には、ＣＰＵ１１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶されてもよいし、図１に示す複数視点画像保持部１、イベント情報保持部２、および参照モデル保持部３を含めてもよい。

入力部１５は、キーボードや操作ボタンなどにより構成され、ユーザは入力部１５を操作してパラメータを入力できるようになっている。通信Ｉ／Ｆ１６は、外部装置と通信するためのインターフェースである。システムバス１７は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、入力部１５および通信Ｉ／Ｆ１６を通信可能に接続する。

図１に示す画像処理装置４の各部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置４の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

尚、画像処理装置４がＣＰＵ１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（グラフィックプロセッシングユニット）を有し、ＣＰＵ１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

また、ユーザ端末５も図２に示すようなハードウェア構成を備え、入力部１５が画像表示機能を備えているものとしてもよい。

図１に戻って、画像処理システムの各構成要素の機能について説明する。

複数視点画像保持部１は、競技フィールド等の撮影領域を取り囲むように設置された複数台のカメラによって同期撮影された複数視点画像からなる複数視点画像を保持する。

イベント情報保持部２は、複数視点画像保持部１が保持している複数視点画像に関するイベント情報を保持している。ここでイベント情報とは、イベントの名称や開催日や開催地といったイベント基本情報、イベント中に発生した事象を時系列に記録したイベントログ情報とを少なくとも含む。

図３に、イベントをサッカーの試合とした場合のイベント情報の例を示す。イベント基本情報には、図３（ａ）に示すようなイベントの名称、開催日付、施設名、および対戦カードに関する情報が少なくとも含まれる。イベントログ情報には、イベント中に発生した所定の事象の名称および発生時刻（時刻１）が少なくとも含まれる。図３（ｂ）に示すイベントログ情報は、「前半０３分」といった事象発生相対時刻（時刻２）、「右側中央」といった発生エリア、および映像判定が有効か否かといった情報を含んでいる。イベントログ情報は、これらに加え、スコア情報やシーン時間情報を更に含んでもよい。

参照モデル保持部３は、複数視点画像保持部１が保持している複数視点画像に含まれるオブジェクトのうち、補正対象とするオブジェクトの３次元形状モデル（以降、参照モデルという）を保持している。さらに参照モデル保持部３は、その参照モデルに関する様々な情報を含む参照モデル情報も保持している。ここで参照モデル情報とは、参照モデルの名称および形状情報を少なくとも含む。

図４（ａ）〜（ｃ）に、補正対象とするオブジェクトをサッカーボールとした場合の参照モデル情報の例を示す。参照モデルの名称は、オブジェクトと同じ「サッカーボール」である。参照モデル情報が有する形状情報には、図４（ａ）に示すように「球」といった形状タイプ、「直径２２ｃｍ」といった寸法情報、および参照モデルの縮尺情報を少なくとも含む。また参照モデル情報には、図４（ａ）に示すように「白」といった基本となる色情報や、図４（ｃ）に示すような複数視点撮影画像データ、あるいは、図４（ｂ）に示すような３ｄモデル貼り付け用のテクスチャデータを更に含めてもよい。

次に画像処理装置４が有する３ｄモデル生成・保持部４０１、レンダリング部４０２、およびフィッティング部４０３について説明する。

３ｄモデル生成・保持部４０１は、複数視点画像保持部１から取得した複数視点画像から選手やボールといった動くオブジェクトを抽出した前景画像データを生成し、これら前景画像データから３次元形状モデル（形状モデル）を生成する。前景画像データの生成は、競技開始前等の上記動くオブジェクトが存在しない状態で撮影された背景画像データとの差分を抽出する等の画像処理により行う。形状モデルの生成は、視体積交差法といった３次元形状復元処理により行う。

また３ｄモデル生成・保持部４０１は、生成した前景画像データ、形状モデル、およびそれらの生成に使用した形状モデル情報を保持し、取得要求に応じてレンダリング部４０２やフィッティング部４０３へそれらを提供する。ここで、形状モデル情報とは、複数視点画像保持部１が保持している複数視点画像に関する撮影情報および形状モデルの縮尺情報を少なくとも含む。

図５に、撮影場所をサッカー競技場とした場合の撮影情報の例を示す。撮影情報には、図５（ａ）に示すような各カメラのパラメータが少なくとも含まれ、注視点数や注視点座標、注視点毎のカメラ台数や隣接カメラ間の角度、図５（ｂ）に示したような撮影範囲を区切ったゾーンマップを更に含んでもよい。ここで各カメラのパラメータとは、カメラの位置および姿勢および焦点距離を少なくとも含む。また、図５（ｃ）に示したような形状モデルを生成するのに使用したカメラリストやカメラ台数、使用したカメラの最大間隔を示すカメラ間最大角度といった情報を、時刻毎かつ形状モデル毎に保持してもよい。また、３ｄモデル生成・保持部４０１は、補正された形状モデルをフィッティング部４０３から受け取って保持する。

レンダリング部４０２は、ユーザ端末５の仮想カメラ設定部５０２またはフィッティング部４０３から受け取った仮想カメラパラメータに基づき、モデルベースレンダリングといった手法を用いて仮想視点画像を生成する。そしてレンダリング部４０２は、生成した仮想視点映像データをユーザ端末５に渡す。ここで、仮想カメラパラメータとは、少なくとも仮想カメラの位置および姿勢を指定するパラメータであり、複数視点映像中のどのフレームに関するパラメータであるか特定できるようフレーム番号ないしタイムコードと関連づけられている。またレンダリング部４０２は、処理開始時に参照する補正データ使用フラグを持ち、このフラグがオンであればフィッティング部４０３にて補正された形状モデルを用いたレンダリングを行う。レンダリング部４０２の詳細については後述する。

フィッティング部４０３は、どの時刻のどのオブジェクトを補正対象とするかをイベント情報および参照モデル情報より特定し、補正対象となったオブジェクトの形状モデル（以降、対象モデルという）を３ｄモデル生成・保持部４０１から取得する。そしてフィッティング部４０３は、参照モデルと合致するよう対象モデルを補正する。そしてフィッティング部４０３は、補正した対象モデルを３ｄモデル生成・保持部４０１に渡す。また、フィッティング部４０３は、補正した対象モデルに関するイベントログ情報をイベント情報保持部２から取得してシーン選択部５０３に渡す。フィッティング部４０３の詳細については後述する。また、ここでは補正対象とするオブジェクトをイベント情報および参照モデル情報より特定したが、全てのシーンについて参照モデルのオブジェクトを補正対象としてもよい。その場合、参照モデル情報のみで補正対象を特定することもできる。

次にユーザ端末５が有する表示部５０１、仮想カメラ設定部５０２、およびシーン選択部５０３について説明する。

表示部５０１は、画像処理装置４から図示しないネットワーク等を介して受け取った仮想視点映像データから仮想視点映像を表示する。

仮想カメラ設定部５０２は、ユーザ入力に基づき仮想カメラの設定を行い、設定結果を仮想カメラパラメータとしてレンダリング部４０２に渡す。ユーザは、ユーザ端末５の表示部５０１に表示されたスライダー等のＵＩを操作したり、ジャイロセンサーが搭載されたユーザ端末５を傾けたりすることで、仮想カメラの位置、姿勢および画角を制御することができる。

シーン選択部５０３は、フィッティング部４０３から受け取ったイベントログ情報からシーン選択画面を作成して表示部５０１に表示させる。図６（ａ）に、図３（ｂ）に示すイベントログ情報に基づき生成されたシーン選択画面の例を示す。図６（ａ）に示す例では、シーン選択部５０３は、イベントログ情報に含まれる情報のうち事象の名称および発生相対時刻、スコア変動の可能性のある事象についてはスコア情報、映像判定が有効な事象については判定アイコンをシーン選択画面に表示している。シーン選択部５０３は、ユーザが選択したシーンに補正対象の形状モデルである対象モデルが含まれる場合はシーン特定情報をフィッティング部４０３に渡す。ここでシーン特定情報とは、イベントログ情報に含まれる事象を特定するための情報であり、具体的には事象名や事象発生時刻である。

ユーザがシーン選択画面において映像判定の有効な事象を選択した場合は、シーン選択部５０３は、対象モデルを補正するか否かをユーザが選択するため再生モード選択画面を作成する。図６（ｂ）に、図６（ａ）で示したシーン選択画面において「前半０３分 シュート（０−０）」をユーザが選択した場合の再生モード選択画面の例を示す。図６（ｂ）に示す例では、シーン選択部５０３は、対象モデルの補正を行う「判定」モードと対象モデルの補正を行わない「リプレイ」モードを再生モード選択画面において提示している。ユーザが「判定」モードを選択すると、シーン選択部５０３は、シーン特定情報をフィッティング部４０３に渡す。図６（ｂ）で示す例では、シーン特定情報は、事象名「シュート」および事象発生時刻「１０：０３：５０」となる。

図７は、フィッティング部４０３によるフィッティングの処理フロー図である。

Ｓ６０１では、フィッティング部４０３は、シーン選択部５０３からシーン特定情報を受け取ると、フィッティング処理を開始する。フィッティング部４０３は、シーン特定情報に基づき、該当する事象のイベントログ情報をイベント情報保持部２より取得する。イベントログ情報を図３（ｂ）に示す内容とした場合、シーン特定情報が事象名「シュート」で事象発生時刻「１０：０３：５０」であれば、フィッティング部４０３が取得するイベントログ情報は、２番目の事象のイベントログ情報となる。

Ｓ６０２では、フィッティング部４０３は、取得したイベントログ情報に基づいて、フィッティング対象となるオブジェクトを決定する。対象オブジェクトは、イベントログ情報の該当事象それぞれに含めてもよいし、事象名と関連付けておいてもよい。例えばＳ６０１において、フィッティング部４０３が図３（ｂ）に示すイベントログ情報の２番目の事象を取得したとする。そしてイベントログ情報に含まれる事象名に対象オブジェクトとして「サッカーボール」が関連付けられていたとする。すると、フィッティング部４０３は、「サッカーボール」を補正対象のオブジェクトと決定する。

Ｓ６０３では、フィッティング部４０３は、決定した補正対象のオブジェクトの形状モデルである対象モデルを３ｄモデル生成・保持部４０１から取得する。対象モデル取得処理の詳細については後述する。

Ｓ６０４では、フィッティング部４０３は、対象モデルを取得できたか否かを判定し、対象モデルを取得できていなければ（Ｓ６０４のｎｏ）、フィッティング処理を終え、対象モデルを取得できれば（Ｓ６０４のｙｅｓ）、Ｓ６０５に移行する。

Ｓ６０５では、フィッティング部４０３は、対象オブジェクトの参照モデルを参照モデル保持部３から取得する。

Ｓ６０６では、フィッティング部４０３は、対象モデルを参照モデルと形状が一致するよう補正する。参照モデル取得処理および対象モデル補正処理の詳細については後述する。

Ｓ６０７では、フィッティング部４０３は、補正した対象モデルを３ｄモデル生成・保持部４０１に登録する。補正した対象モデルは、３ｄモデル生成・保持部４０１が保持している補正前の対象モデルと置換されて登録されても良いし、補正前か補正後かを区別できるようにして追加登録されても良い。追加登録する場合は、例えば、３次元形状モデルに補正データか否かを示すデータタイプを示すメタデータを持たせる。また、レンダリング部４０２にレンダリング処理に補正データである補正された対象モデルを使用するか否かを決めるための補正データ使用フラグを持たせる。そしてレンダリング部４０２の補正データ使用フラグをオン・オフすることにより、レンダリングする際に補正前の対象モデルを使用するか、補正後の対象モデルを使用するかを制御できるようになる。

Ｓ６０８では、フィッティング部４０３は、登録した補正後の対象モデルの仮想視点画像を生成するための仮想カメラを指定する仮想カメラパラメータを決定する。仮想カメラパラメータは、複数視点同期撮影範囲を幾つかのゾーンに区切ってゾーン毎やゾーンと事象名との組み合わせ毎に決めても良いし、対象モデルの補正の処理状態に応じて決めてもよい。ここでゾーンマップを用いて仮想カメラの位置および姿勢を指定する例を示す。図５（ｂ）に示すゾーンマップのゾーン「ＺＢ５」に対象オブジェクトの「サッカーボール」があったとする。このような場合、仮想カメラ位置はゾーン「ＺＢ４」中心から２ｍの高さ、仮想カメラの注視点はゾーン「ＺＢ５」中心から０ｍの高さまたは対象オブジェクトの中心などと決めておくことができる。あるいは、仮想カメラを対象オブジェクトから３ｍ離れた高さ１ｍの円周上に配置するとして、正対した際の対象モデルの補正量が最も少なくなる角度とすることができる。

尚、フィッティング部４０３がＳ６０８で決定した仮想カメラの位置、姿勢および画角は、図６（ｃ）に示すようなユーザ端末５の表示部５０１に表示された画面上の「視点変更」ボタン等から変更できるようにしてもよい。

Ｓ６０９では、フィッティング部４０３は、レンダリング部４０２の補正データ使用フラグをオンにすることで、決定した仮想視点からの仮想視点画像を登録した補正後の対象モデルを用いて生成するよう指示をし、フィッティング処理を終える。

尚、連続する複数の時刻についてフィッティング処理を行う場合は、２回目以降のＳ６０２、Ｓ６０５およびＳ６０８を省略できる。

図８は、フィッティング部４０３による対象モデル取得の処理フロー図である。

Ｓ７０１では、フィッティング部４０３は、補正対象となるオブジェクトが決まると、対象モデル取得処理を開始する。フィッティング部４０３は、図７のＳ６０１で取得したイベントログ情報から、どの時刻のどのエリアにあるオブジェクトを取得するかを特定する。イベントログ情報を図３（ｂ）で示した例の２番目の事象とした場合、フィッティング部４０３が取得する対象オブジェクト「サッカーボール」は、時刻「１０：０３：５０」においてメインスタンド側から見てエリア「右側中央」にあると特定される。

Ｓ７０２では、フィッティング部４０３は、３ｄモデル生成・保持部４０１から３ｄモデル情報を取得する。

Ｓ７０３では、フィッティング部４０３は、参照モデル保持部３から参照モデル情報を取得する。

Ｓ７０４では、フィッティング部４０３は、取得した３ｄモデル情報および参照モデル情報から複数視点同期撮影範囲のどこにあるどんな形状の形状モデルを対象モデルとするかを特定する。

ここで３ｄモデル情報に含まれる撮影範囲を示したゾーンマップを用いた対象モデルの特定方法について、図５（ｂ）に示すゾーンマップを用いて説明する。Ｓ７０２で特定したエリア「右側中央」はゾーン「ＺＢ５」であると特定できる。また３ｄモデル情報を図５（ａ）で示す例とし、参照モデル情報を図４（ａ）で示す例としたとする。この場合、３ｄモデル縮尺「１／１０」と形状「直径２２ｃｍの球」とから、対象オブジェクトの「サッカーボール」の形状特性（以降、対象形状特性という）は「直径２２ｍｍの球」であると特定できる。

Ｓ７０５では、フィッティング部４０３は、３ｄモデル生成・保持部４０１が保持している形状モデルのうち、対象時刻（例えば「１０：０３：５０」）に対象範囲（例えばゾーン「ＺＢ５」）にある形状モデルを取得する。

Ｓ７０６では、フィッティング部４０３は、取得した形状モデルが対象形状特性（例えば「直径２２ｍｍの球」）と合致すか否かを判定し、形状モデルが対象形状と合致していれば（Ｓ７０６のｙｅｓ）、対象モデルとして取得して対象モデル取得処理を終える。形状モデルが対象形状特性と合致するかは、形状モデルと対象形状特性との長さや体積における差が所定値以内かで判定してもよいし、後述する参照モデル取得処理（図７のＳ６０５）を先に実施して取得した参照モデルとの差が所定値以内かで判定してもよい。また、選手とボールが接触する等して複数のオブジェクトがつながって１つの形状モデルを形成している場合もあるので、形状モデル単位ではなく、形状モデルの一部について対象形状特性と合致するか判定し、合致した部分を対象モデルとして切り出してもよい。Ｓ７０６では、フィッティング部４０３は、取得した形状モデルが対象形状特性と合致しなければ（Ｓ７０６のｎｏ）、Ｓ７０７に移行する。

Ｓ７０７では、フィッティング部４０３は、対象時刻に対象範囲にある形状モデルのうち、Ｓ７０５において取得されていない別の形状モデルを取得する（Ｓ７０７のｎｏ）。一方、フィッティング部４０３は、取得されていない形状モデルがなければ（Ｓ７０７のｙｅｓ）、対象モデル取得処理を終える。

尚、連続する複数の時刻についてフィッティング処理を行う場合は、２回目以降のＳ７０１の対象範囲の取得、Ｓ７０２、Ｓ７０３およびＳ７０４を省略できる。また、形状モデルそれぞれがどのオブジェクトに対応するか特定された状態で３ｄモデル生成・保持部４０１が形状モデルを保持している場合は、Ｓ７０１の対象時刻を特定するだけで、対象モデルを取得できる。

図９は、フィッティング部４０３による参照モデル取得の処理フロー図である。

フィッティング部４０３は対象モデルを取得すると、参照モデル取得処理を開始する。

参照モデル取得処理が開始されると、先ずＳ８０１では、フィッティング部４０３は、図８のＳ７０２およびＳ７０３で取得した３ｄモデル情報および参照モデル情報から、対象モデルおよび参照モデルの縮尺をそれぞれ特定する。３ｄモデル情報を図５（ａ）で示す例とすると対象モデルの縮尺は「１／１０」となり、参照モデル情報を図４（ａ）で示す例とすると、参照モデルの縮尺は「１／５」となる。

Ｓ８０２では、フィッティング部４０３は、参照モデル保持部３から対象オブジェクトの参照モデルを取得する。

Ｓ８０３では、フィッティング部４０３は、対象モデルと縮尺が一致するよう取得した参照モデルを校正し、参照モデル取得処理を終える。例えば対象モデルの縮尺「１／１０」に対し参照モデルの縮尺「１／５」であったとすると、縮尺「１／１０」となるよう参照モデルを縮小することで、参照モデルの校正を行う。尚、参照モデルを校正せず対象モデルを校正して縮尺を一致させ、後述する対象モデルの補正時に対象モデルの縮尺を元に戻すようにしてもよい。

図１０は、フィッティング部４０３による対象モデル補正の処理フロー図である。

フィッティング部４０３は、参照モデルを取得すると、対象モデル補正処理を開始する。

対象モデル補正処理が開始されると、先ずＳ９０１では、フィッティング部４０３は、図７のＳ６０３で取得した対象モデルの高さおよび幅および奥行きを取得する。対象オブジェクトが形状「直径２２ｍｍの球」の「サッカーボール」であった場合、取得した対象モデルの体積が欠損や歪により３分の１程度であったとしても、対象モデルの高さおよび幅および奥行きの少なくとも１つは２２ｍｍ前後となる可能性が高い。

Ｓ９０２では、フィッティング部４０３は、取得した高さおよび幅および奥行きに基づいて中心座標を算出する。

Ｓ９０３では、フィッティング部４０３は、算出した対象モデルの中心座標と参照モデルの中心座標とが一致するよう参照モデルを仮置きする。尚、連続する複数の時刻についてフィッティング処理を行う場合は、２回目以降のＳ９０１およびＳ９０２を省略して、Ｓ９０３で仮置きする参照モデル位置を前の時刻のＳ９０５で移動した位置としてもよい。

Ｓ９０４では、フィッティング部４０３は、仮置きした参照モデルを上下左右前後に動かして対象モデルとの重なりが最も多い位置を特定することで参照モデルの配置座標を調整する。

Ｓ９０５では、フィッティング部４０３は、調整後の配置座標と参照モデルの中心座標とが一致するよう参照モデルを移動する。尚、対象モデルがラグビーボールのような対称性の低い形状で軸（方向）の調整も必要な形状であった場合は、仮置きした参照モデルを水平垂直に回転させることで、姿勢を含めた参照モデルの配置の調整を行う。

Ｓ９０６では、フィッティング部４０３は、対象モデル表面と参照モデル表面を比較する。対象モデルと参照モデルとの表面比較は、参照モデル表面を基準として対象モデル表面の差分をボクセルといった所定単位で取得することで行う。対象モデルと参照モデルの比較結果は、以下の３つの結果に分けられる。１つ目は、参照モデル表面に対象モデルがない場合、すなわち参照モデル表面よりも内側に対象モデル表面がある場合であり、比較結果は差分ありとなる。２つ目は、参照モデル表面に対象モデルはあるが対象モデル表面ではない場合、すなわち参照モデル表面よりも外側に対象モデル表面がある場合であり、比較結果は差分ありとなる。３つ目は、参照モデル表面と対象モデル表面とが一致した場合であり、比較結果は差分なしとなる。尚、各表面領域の比較対象は、例えば、参照モデルと対象モデルとが重なる領域内の任意の座標を中心とする極座標系を考えたときに同じ２つの偏角を有する表面領域同士を比較対象としてもよい。

Ｓ９０７では、フィッティング部４０３は、比較結果が差分ありとなった対象モデル表面および参照モデル表面について、対象モデル表面を変更することで対象モデル補正を行い、対象モデル補正処理を終える。フィッティング部４０３は、参照モデル表面に対応すべき対象モデル表面がない場合、すなわち参照モデル表面よりも内側に対象モデル表面が位置する場合は、参照モデル表面を対象モデルに追加することで対象モデルを補正してもよい。またフィッティング部４０３は、参照モデル表面にない対象モデル表面がある場合、すなわち参照モデル表面よりも外側に対象モデル表面が位置する場合は、対象モデル表面を参照モデル表面と置換することで対象モデルを補正してもよい。尚、Ｓ９０６の表面比較を行わずに、仮置きした参照モデル表面全てを対象モデル表面として差し替えることで、対象モデル補正を行ってもよい。

図１１は、レンダリング部４０２によるレンダリングの処理フロー図である。

レンダリング部４０２は、フィッティング部４０３または仮想カメラ設定部５０２から仮想カメラパラメータを受け取ると、レンダリング処理を開始する。

レンダリング処理が開始されると、Ｓ１００１では、レンダリング部４０２は、仮想カメラパラメータを受け取る。

Ｓ１００２では、レンダリング部４０２は、３ｄモデル生成・保持部４０１から３ｄモデル情報に含まれるカメラパラメータを取得する。尚、複数視点同期撮影中にカメラ位置や注視点位置を変えない限りカメラパラメータは変わらないので、カメラパラメータを取得済みであればＳ１００２を省略できる。

Ｓ１００３では、レンダリング部４０２は、仮想カメラパラメータが指定する時刻における複数視点同期撮影された各撮影画像および形状モデルを３ｄモデル生成・保持部４０１から取得する。取得した形状モデルの数は、フィッティング部４０３で補正した対象モデルがある場合は、補正後の対象モデルが追加されたため１つ多いことになる。尚、各撮影画像の取得に替えて、各背景画像データおよび各前景画像データを取得してもよい。

Ｓ１００４では、レンダリング部４０２は、補正データ使用フラグに基づき補正データを使用するか否かを判定する。

補正データ使用フラグがオンであれば（Ｓ１００４のｙｅｓ）、レンダリング部４０２は、Ｓ１００５で対象モデルのデータタイプから補正後の対象モデルを特定する。

Ｓ１００６では、レンダリング部４０２は、補正後の対象モデルを含むシーンをレンダリングするためのデータ、すなわち補正後の対象モデルを含む形状モデルおよび背景画像のデータを含むレンダリング情報を取得する。

Ｓ１００７では、レンダリング部４０２は、補正前の対象モデルを除いた、補正後の対象モデルを含む同一シーンに含まれる全ての形状モデルについて、仮想カメラからの仮想視点画像となるよう撮影画像を用いてレンダリングする。Ｓ１００６で取得するレンダリング情報は、参照モデル情報に含まれる図４（ａ）に示す基本色「白」といった特定色データでもよいし、図４（ｃ）に示す複数視点撮影画像データや図４（ｂ）に示す３次元形状モデル用テクスチャデータでもよい。複数視点撮影画像データや３次元形状モデル用テクスチャデータを用いる際の対象モデルの向きについては、仮想カメラと正面で正対しているとみなしてもよいし、撮影画像における対象オブジェクトの模様等から向きを算出してもよい。また、Ｓ１００６で取得したレンダリング情報を、撮影画像における明るさや色合いや鮮やかさに近づくよう変換してから、Ｓ１００７においてレンダリングするようにしてもよい。フィッティング部４０３により補正されなかった表面については、Ｓ１００６で取得したレンダリング情報にかかわらず、Ｓ１００７において撮影画像データを用いてレンダリングするようにしてもよい。

Ｓ１００８では、レンダリング部４０２は、補正データ使用フラグがオフであれば（Ｓ１００４のｎｏ）、補正された対象モデルを除いた、補正前の対象モデルを含む同一シーンに含まれる形状モデルについてレンダリングする。この際、レンダリング部４０２は、補正前の対象モデルを含む形状モデルおよび背景画像のデータを取得して仮想カメラからの仮想視点画像をレンダリングする。

このように、注目オブジェクトの形状を補正することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることなく仮想視点画像を生成できるようになる。

実施形態２

図１２は、本発明の実施形態２に係る画像処理システムにおけるフィッティングの処理フロー図である。尚、フィッティング処理以外の構成については、実施形態１と同じであるため、詳細な説明を省略する。Ｓ１１０１〜Ｓ１１０４、Ｓ１１０７〜Ｓ１１１１は、図７のＳ６０１〜Ｓ６０９と同様の処理であるため、詳細な説明を省略する。

フィッティング部４０３は、シーン選択部５０３からシーン特定情報を受け取ると、フィッティング処理を開始する。

フィッティング処理が開始されると、Ｓ１１０１では、フィッティング部４０３は、該当する事象のイベントログ情報を取得する。

Ｓ１１０２では、フィッティング部４０３は、フィッティング対象となるオブジェクトを決定する。

Ｓ１１０３では、フィッティング部４０３は、３ｄモデル生成・保持部４０１から対象モデルを取得する。

Ｓ１１０４では、フィッティング部４０３は、対象モデルを取得できなければ（Ｓ１１０４のｎｏ）、フィッティング処理を終え、対象モデルを取得できれば（Ｓ１１０４のｙｅｓ）、Ｓ１１０５に移行する。

Ｓ１１０５では、フィッティング部４０３は、対象モデルの状態を確認する。フィッティング部４０３による対象モデル状態確認処理の詳細については後述する。

Ｓ１１０６では、フィッティング部４０３は、対象モデルの補正が必要か否かを判定する。

フィッティング部４０３は、対象モデルの補正が不要と判定され、例えば補正が必要であることを示す補正フラグがオフであれば（Ｓ１１０６のｎｏ）、フィッティング処理を終える。一方、フィッティング部４０３は、対象モデルの補正が必要であると判定され、例えば上記補正フラグがオンであれば（Ｓ１１０６のｙｅｓ）、Ｓ１１０７に移行する。

Ｓ１１０７では、フィッティング部４０３は、対象オブジェクトの参照モデルを取得する。

Ｓ１１０８では、フィッティング部４０３は、対象モデルを補正する。

Ｓ１１０９では、フィッティング部４０３は、３ｄモデル生成・保持部４０１に補正した対象モデルを登録する。

Ｓ１１１０では、フィッティング部４０３は、仮想カメラパラメータを決定する。

Ｓ１１１１では、フィッティング部４０３は、レンダリング部４０２の補正データ使用フラグをオンすることで登録した補正後の対象モデルを用いて仮想視点画像を生成するようレンダリング部４０２に指示し、フィッティング処理を終える。

図１３は、フィッティング部４０３による対象モデル状態確認の処理フロー図である。

フィッティング部４０３は、図１２のＳ１１０３で対象モデルを取得すると、対象モデル状態確認処理を開始する。

対象モデル状態確認処理が開始されると、Ｓ１２０１では、フィッティング部４０３は、取得した対象モデルに関する所定の対象モデル特性を取得する。

Ｓ１２０２では、フィッティング部４０３は、取得した対象モデル特性が所定の基準を満たすかを判定する。

対象モデル特性が基準を満たす場合（Ｓ１２０２のｙｅｓ）、フィッティング部４０３は、Ｓ１２０３で対象モデルのデータに対し、例えば補正が必要であることを示す補正フラグをオフする。

対象モデル特性が基準を満たさない場合（Ｓ１２０２のｎｏ）、フィッティング部４０３は、Ｓ１２０４で対象モデルのデータに対し、例えば上記補正が必要であることを示すフラグを付与する。

対象モデル特性が対象モデルを生成するために使用した撮影画像数であるとすると、フィッティング部４０３は、Ｓ１２０１で３ｄモデル生成・保持部４０１から使用した撮影画像数を取得し、Ｓ１２０２で撮影画像数が所定数を超えるか判定する。

対象モデル特性が対象モデルを生成するために使用した撮影画像を撮影したカメラ間の最大角度であるとすると、フィッティング部４０３は、Ｓ１２０１で３ｄモデル生成・保持部４０１からカメラ間最大角度情報を取得する。そしてフィッティング部４０３は、Ｓ１２０２でカメラ間最大角度が所定値以内か判定する。

対象モデル特性が対象モデルの寸法（高さおよび幅および奥行き）や体積等から算出した値であるとすると、フィッティング部４０３は、Ｓ１２０１で対象モデルの寸法を特定する。そしてフィッティング部４０３は、Ｓ１２０２で参照モデル情報に基づき導出された参照モデルの寸法との差分が所定値以内か判定する。

対象モデル特性が対象モデルを生成するために使用した撮影画像内のオブジェクトの欠損率であるとすると、フィッティング部４０３は、Ｓ１２０１で各撮影画像内のオブジェクトの欠損率をそれぞれ特定する。そしてフィッティング部４０３は、Ｓ１２０２で欠損率が所定値以内の撮影画像が所定数を超えるか、複数の撮影画像における欠損率の合計又は平均が所定値以下か等を判定する。尚、撮影画像内のオブジェクトの欠損率は、例えば参照モデル情報から算出される、撮影画像と同一視点からの仮想視点画像におけるオブジェクトの面積に対する、撮影画像におけるオブジェクトの面積としてもよい。

このように、補正が必要な状態かを確認してから、注目オブジェクトの形状を補正することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることなく仮想視点画像を生成できるようになる。

実施形態３

図１４は、本発明の実施形態３に係る画像処理システムにおけるレンダリングの処理フロー図である。尚、レンダリング処理以外の構成については、実施形態１と同じであるため、詳細な説明を省略する。またＳ１３０１〜Ｓ１３０７、Ｓ１３１１は、図１１のＳ１００１〜Ｓ１００８と同様の処理であるため、詳細な説明を省略する。

レンダリング部４０２は、フィッティング部４０３または仮想カメラ設定部５０２から仮想カメラパラメータを受け取ると、レンダリング処理を開始する。

レンダリング処理が開始されると、Ｓ１３０１では、レンダリング部４０２は、仮想カメラパラメータを受け取る。

Ｓ１３０２では、レンダリング部４０２は、カメラパラメータを取得する。

Ｓ１３０３では、レンダリング部４０２は、指定する時刻における各撮影画像および３次元形状モデルを取得する。

Ｓ１３０４では、レンダリング部４０２は、補正データ使用フラグに基づき補正データを使用するか否かを判定する。

レンダリング部４０２は、補正データ使用フラグがオンであれば（Ｓ１３０４のｙｅｓ）、Ｓ１３０５で補正前後の対象モデルを特定する。

Ｓ１３０６では、レンダリング部４０２は、補正後の対象モデルのレンダリング用データを取得する。

Ｓ１３０７では、レンダリング部４０２は、補正前の対象モデルを除いた３次元形状モデルについて、仮想カメラからの仮想視点画像となるようレンダリングする。

Ｓ１３０８では、レンダリング部４０２は、仮想カメラと複数視点同期撮影したカメラそれぞれの撮影範囲を取得する。

Ｓ１３０９では、レンダリング部４０２は、仮想視点画像と構図が一致する画像領域を含む撮影画像があるか否かを判定する。

レンダリング部４０２は、仮想視点画像と構図が一致する画像領域を含む撮影画像がある場合（Ｓ１３０９のｙｅｓ）、Ｓ１３１０で撮影画像から仮想視点画像の切り出しを行う。尚、図１５に示すように、仮想カメラの撮影範囲５００がカメラの撮影範囲４００の内部にある場合、点線で示した仮想カメラの光軸が１点鎖線で示したカメラの光軸と平行であれば、撮影画像は仮想視点画像と構図が一致する画像領域を含むことになる。

レンダリング部４０２は、仮想視点画像と構図が一致する画像領域を含む撮影画像がない場合（Ｓ１３０９のｎｏ）、レンダリング処理を終える。

レンダリング部４０２は、補正データ使用フラグがオフであれば（Ｓ１３０４のｎｏ）、Ｓ１３１１で全ての形状モデルについて、仮想視点からの見た目となるようレンダリングする。

Ｓ１３１０で切り出した撮影画像およびＳ１３０７でレンダリングされた仮想視点画像は、表示部５０１において並べての表示やトグルでの表示等をすることで、補正の確からしさを確認できるようにしてもよい。

このように、同じ構図の撮影画像と併用することにより、注目オブジェクトの形状が歪んだり輪郭が欠けたりすることを防止しながら、仮想視点画像を生成できたこと確認できるようになる。
（その他の実施例）

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 複数視点画像保持部
２ イベント情報保持部
３ 参照モデル保持部
４ 画像処理装置
４０１ ３ｄモデル生成・保持部
４０２ レンダリング部
４０３ フィッティング部
５ ユーザ端末
５０１ 表示部
５０２ 仮想カメラ設定部
５０３ シーン選択部

Claims (18)

1. 複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理装置であって、
   前記複数の撮影画像から生成されたオブジェクトの３次元形状モデルを、予め生成された３次元形状モデルである参照モデルに合わせて補正する補正手段と、
   補正された前記３次元形状モデルを用いて前記仮想視点画像を生成する画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正手段は、前記参照モデルを特定するための第１の情報を保持する保持部を含み、
   前記撮影画像から生成された３次元形状モデルの中から、前記第１の情報に基づき特定されたオブジェクトの３次元形状モデルを対象モデルとして取得して補正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、
   前記特定されたオブジェクトを含む前記撮影画像を特定するための第２の情報をさらに含み、
   前記第２の情報に基づき特定された前記撮影画像から生成された３次元形状モデルの中から前記対象モデルを取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、
   前記対象モデルの位置を検出し、
   検出した前記対象モデルの位置と前記参照モデルの位置とを合わせたときに前記参照モデルの表面と前記対象モデルの表面とが一致しない場合、前記対象モデルの表面を前記参照モデルの表面となるよう前記対象モデルを補正する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記補正手段は、
   補正される前の前記３次元形状モデルの形状特性を取得し、
   前記形状特性が所定の基準を満たさない場合、前記３次元形状モデルの補正を行う
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記形状特性は、前記対象モデルの生成に使用された複数の前記撮影画像の数であり、
   前記基準は、前記対象モデルの生成に使用された前記撮影画像の数が所定の数以上である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記形状特性は、前記対象モデルの生成に使用された複数の前記撮影画像を撮影した前記カメラの光軸間の最大角度であり、
   前記基準は、前記最大角度が所定値以内である
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記基準は、前記参照モデルの形状特性との差分が所定値以内であることを特徴とする請求項５に記載の画像処理装置。
9. 前記形状特性は、
   前記対象モデルの生成に使用された複数の前記撮影画像における前記特定されたオブジェクトの欠損率の合計または平均であり、
   前記基準は、前記特定されたオブジェクトの欠損率の合計または平均が所定値以内である
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記画像生成手段は、
    仮想カメラパラメータを取得し、
    前記撮影画像および前記撮影画像から生成された３次元形状モデルを取得し、
    前記参照モデルの色情報を少なくとも含む第３の情報を取得し、
    補正された前記３次元形状モデルを用いて生成する仮想視点画像を前記第３の情報に基づきレンダリングする
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像生成手段は、前記補正手段により補正された３次元形状モデルを使用する設定であった場合、前記補正手段により補正される前の前記３次元形状モデルに関するレンダリングを行わないことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第３の情報は、前記参照モデルの複数視点画像およびテクスチャデータの少なくとも一方であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像生成手段は、前記補正手段により補正された３次元形状モデルに対するレンダリングを行う場合、補正されなかった前記３次元形状モデルの表面には前記撮影画像を使用することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記画像生成手段は、
    前記第３の情報および前記撮影画像の両方を用いて行う場合、前記撮影画像の明るさ、色合い、および鮮やかさのうちの少なくとも１つに前記第３の情報を合わせてから使用する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像生成手段は、前記仮想視点画像と構図が一致する画像領域を含む前記撮影画像がある場合、前記撮影画像から前記画像領域を切り出すことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 請求項２乃至１５のいずれか１項に記載の画像処理装置と、
    複数のカメラを用いて取得された複数の撮影画像を保持する画像保持手段と、
    前記補正手段が補正する仮想視点画像を選択する選択手段と、
    を備えたことを特徴とする画像処理システム。
17. 複数のカメラを用いて取得された複数の撮影画像から仮想視点画像を生成する画像処理方法であって、
    前記複数の撮影画像から生成されたオブジェクトの３次元形状モデルを、予め生成された３次元形状モデルである参照モデルに合わせて補正する補正工程と、
    補正された前記３次元形状モデルを用いて前記仮想視点画像を生成する画像生成工程と、
    を備えたことを特徴とする画像処理方法。
18. コンピュータを請求項１乃至１５のいずれか１項に記載の装置として機能させるためのプログラム。

Images