JP2020067815A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】前景画像の生成に用いられる画像を基に、適切な背景画像を生成する。【解決手段】前景生成システム１１０Ａは、注視点３０１に向けて設置された撮影システム１１１ａ〜１１１ｚによって撮影された画像を用いて前景画像を生成する。また、前景生成システム１１０Ｂは、注視点５０１に向けて設置された撮影システム１１１Ａ〜１１１Ｚによって撮影された画像を用いて前景画像を生成する。そして、背景生成システム１２０は、撮影システム１１１ａ〜１１１ｚ、１１１Ａ〜１１１Ｚによって撮影された画像を用いて生成される背景モデルに対する背景テクスチャ画像と、背景モデルとに基づいて、仮想視点画像の生成の際に用いられる背景画像を生成する。【選択図】図１

Description

本発明は、複数の視点で撮像された複数視点の画像に基づき、任意の仮想視点からの画像を生成する技術に関する。

複数の視点で撮像された複数視点の画像を用いて、任意の仮想視点における仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することができるので、通常の画像と比較してユーザに高臨場感を与えることができる。

仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に集約して、前景背景の分離、三次元モデルの生成、レンダリング等の処理を行い、ユーザ端末に仮想視点画像を伝送することで実現される。このとき、仮想視点画像の背景として予め用意したスタジアムなどのモデルデータを用い、前景の形状推定を行い、それらに色を付けることで三次元形状モデルを生成している。

前景の形状推定精度、すなわち前景の画質をよくするために、フォーカスや向きが注視点に合わせられた各カメラの画角を狭く、光学的に拡大した状態で撮影される。注視点は対象箇所に合わせて複数設けられる。

一方、注視点付近では、背景となるスタジアムが画像内に映りこむため、注視点とは無関係に、各カメラの画角を広く、光学的に引きの画でスタジアム全体を撮影する必要がある。

特許文献１には、複数台のプロジェクタが投影先のモデルに対して画像を重畳して表示する技術が記載されている。

特開２００８−７０３９７号公報

しかしながら、前景画像の生成と背景画像の生成とでカメラに要求される画角が異なっていることから、前景画像の生成に用いられるカメラで撮影された画像を基に、適切な背景画像を生成することができない場合があった。

特許文献１の技術では、共通の世界座標パラメータを持つ同期撮影されたカメラ群の画像を、同じく共通の世界座標をもつモデルに対して同期させて投影することができなかった。

本発明は、前景画像の生成に用いられるカメラで撮影された画像を基に、適切な背景画像を生成することを目的とする。

本発明の一態様に係る画像処理装置は、仮想視点画像を生成する画像処理装置であって、第一の位置に向けて設置された１以上のカメラで構成される第一のカメラ群によって撮影された画像に基づいて前景画像を生成する第一の前景生成手段と、前記第一の位置とは異なる第二の位置に向けて設置された１以上のカメラで構成される第二のカメラ群によって撮影された画像に基づいて前景画像を生成する第二の前景生成手段と、前記第一および前記第二のカメラ群によって撮影された前記画像に基づいて生成される背景モデルに対するテクスチャ画像と、当該背景モデルと、に基づいて前記仮想視点画像の背景画像を生成する背景生成手段とを有する、ことを特徴とする。

本発明によれば、前景画像の生成に用いられるカメラで撮影された画像を基に、適切な背景画像を生成することができる。

画像処理システムの構成例を示すブロック図 仮想視点画像の生成処理手順例を示すフローチャート 撮影システムの概略構成を示す図 前景生成システムによる撮影範囲を説明するための図 他の前景生成システムによる撮影範囲を説明するための図 背景画像の範囲を説明するための図 仮想視点画像のレンダリングの様子を示した模式図 ２つの前景生成システムによる撮影範囲と仮想視点レンダリング範囲の関係を示した模式図 画像処理システムの構成例を示すブロック図 ２つの前景生成システムによる撮影範囲を示した模式図 画像処理システムの構成例を示すブロック図 仮想視点画像生成処理の手順例を示すフローチャート 撮影システムの撮影範囲と、画素の位置および非画像生成範囲を示す模式図 前景生成サーバのハードウェア構成例を示す図

以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。なお、本実施形態では、背景画像が仮想視点画像の生成に用いられる例を説明するが、必ずしも仮想視点画像の生成に用いられるものでなくてよい。このため、複数カメラ間の相対的な幾何学的設置条件に縛られるものではない。

本明細書において符号の末尾のアルファベットは、同種の構成において個々の構成を識別するために用いている。末尾のアルファベットを省略して記載する場合、個々の構成を特に区別せずに記載しているものとする。

［実施形態１］
本実施形態では、仮想視点画像の生成に用いられる背景画像を生成する形態を説明する。
図１は、本実施形態に係る画像処理システムの全体構成例を示すブロック図である。

画像処理システム（仮想視点画像生成システム）１００は、前景生成システム１１０Ａ、１１０Ｂ、背景生成システム１２０、レンダリングシステム１３０を有し、カメラで撮影した画像を基に仮想視点画像を生成する。前景生成システム１１０Ａ、１１０Ｂおよび背景生成システム１２０、レンダリングシステム１３０はそれぞれ、Ｅｔｈｒｅｎｅｔ（登録商標）などのネットワークによって接続されている。なお、本実施形態では２つの前景生成システム１１０Ａおよび１１０Ｂを有しているが、本実施形態はこれに限定されるものではなく、２つ以上のより多くの前景生成システム１１０を有する構成とすることも可能である。

前景生成システム１１０Ａおよび１１０Ｂは仮想視点画像の前景画像を生成するために必要なシステムである。前景生成システム１１０Ａと前景生成システム１１０Ｂは同様の構成であり、以降、前景生成システム１１０Ａについて説明し、前景生成システム１１０Ｂについては説明を省略する。前景生成システム１１０Ａは内部に撮影システム１１１ａ〜１１１ｚ、前景生成サーバ１１３を有する。前景生成システム１１０Ａおよび１１０Ｂは、カメラの向きおよび焦点距離を合わせた注視点毎にシステムが構成される。ただし、本実施形態において、複数のカメラの注視点が一致せず、ずれている構成であってよい。

撮影システム１１１は、カメラで仮想視点画像を生成する対象を撮影し、変換を行って得たデジタル画像を各ブロックに転送する機能を実現する。仮想視点画像を生成するため、前景生成システム１１０の中に同様の構成を持つ複数の撮影システム１１１があり、本実施形態では１１１ａから１１１ｚまで２６台の構成であるものとする。ただし、本実施形態はこれに限定されるものではなく、求める仮想視点画像の前景画像の品質が得られるだけの必要な十分な数の撮影システムを有していれば２６台より少ない台数または多くの台数で構成されていてもよい。撮影システム１１１それぞれは内部に撮像部１１２を有する。

撮像部１１２は、カメラによって撮影された画像をデジタル画像に変換する機能を有する。また、撮像部１１２が有するカメラは同期信号を受信可能であり、後述のカメラ制御部１１７によって同期される。なお、撮影システム１１１ａ〜１１１ｚは同様の機能を有するが、それぞれのカメラについては異なるカメラやレンズなどを用いるなどしてもよい。

前景生成サーバ１１３は、前景画像生成部１１４、パラメータ取得部１１５、前景形状推定部１１６、カメラ制御部１１７を有する。前景生成サーバ１１３は、前景の形状を推定して前景モデルデータを生成し、生成した前景モデルデータをレンダリングシステム１３０に送信する。前景モデルデータは、前景の三次元形状を表すデータである。

前景画像生成部１１４は、撮影システム１１１ａ〜１１１ｚで撮影されて変換されたデジタル画像データから前景画像と背景画像を分離し、主な被写体（オブジェクト）である前景画像のみを抽出した前景画像データを生成する。生成された前景画像データは前景形状推定部１１６に送信される。前景画像は、例えば、画像データから選手などの動作する人物（動体）などを抽出した画像である。オブジェクトは、ボールなどのような物体であってもよい。背景画像は、例えば、芝生などの静止又は静止に近い状態が継続する物体を抽出した画像である。なお、前景画像と背景画像の分離方法は背景差分法に限定されるものではなく、公知の方法を適用可能である。なお、静止物体は、静止または、ほとんど静止している状態が継続している物体を指す。

パラメータ取得部１１５は、予めキャリブレーションによって取得された、撮像部１１２のカメラ（以下、撮影システム１１１のカメラともいう）のカメラパラメータを保有し前景形状推定部１１６に提供する。カメラパラメータは、カメラの位置や姿勢などを表す外部パラメータと、画素ピッチや画像中心などを表す内部パラメータなどからなる。カメラパラメータは他にレンズによる画像の歪みを表した歪みパラメータなどを含んでもよい。

前景形状推定部１１６は、パラメータ取得部１１５から取得した撮影システム１１１ａ〜１１１ｚのカメラパラメータと、前景画像生成部１１４から受信した前景画像データを用いて少なくとも前景の三次元形状を推定し、前景モデルデータを生成する。前景の三次元形状を推定する方法としては、例えばＶｉｓｕａｌ Ｈｕｌｌと呼ばれる方式などがあるが、本実施形態はこれに限らず、前景の形状を推定するどのような方法を用いてもよい。生成した前景モデルデータは、レンダリングシステム１３０に送信される。

カメラ制御部１１７は、撮影システム１１１ａ〜１１１ｚのカメラの撮影タイミングを同期させる信号を撮影システムに送信し、撮影システム１１１ａ〜１１１ｚのカメラの撮影タイミングの同期と共に、撮影の開始および停止の指示を行う。撮影の開始および停止の状態を示す信号は、後述の制御部１３４に送信される。なお、本実施形態はこれに限らず、同期信号用の信号線を別途有してもよく、また、無線などを用いた同期信号制御を行ってもよい。

前景生成システム１１０Ｂは、前景生成システム１１０Ａと同様の構成と機能をもつシステムである。なお、前景生成システム１１０Ｂが有する撮影システム１１１の数量は、前景生成システム１１０Ａと同数である必要はなく、仮想視点画像の前景を生成するために必要な十分な数の撮影システムを有していればよい。

背景生成システム１２０は、パラメータ取得部１２１、モデル取得部１２２、背景画像生成部１２３、合成判断部１２４、テクスチャ生成部１２５を有する。背景生成システム１２０は、撮影システム１１１で撮影されたデジタル画像データを用いて背景モデルに張り付けるための背景テクスチャ画像を生成する。背景モデルは、背景の三次元形状を表すデータである。

パラメータ取得部１２１は、パラメータ取得部１１５と同様の機能を有し、予めキャリブレーションによって取得された撮影システム１１１のカメラのカメラパラメータを保有しテクスチャ生成部１２５に提供する。

モデル取得部１２２は、背景をメッシュモデル化した背景メッシュモデルデータを背景モデルとして取得し、テクスチャ生成部１２５に提供する。例えば、野球やサッカーなどのスポーツを撮影する場合は、そのスポーツが実際に行われているスタジアムのメッシュモデルデータなどが考えられるが、本実施形態はこれに限らず、どのようなメッシュモデルデータを用いてもよい。メッシュモデルとは、例えばＣＡＤデータなどの三次元の空間形状の面の集合で表現したデータのことである。背景モデルを表現する形式は、メッシュモデルの形式に限らず、例えは、点群やボクセルなどの他の公知の形式であってもよい。

背景画像生成部１２３は、撮影システム１１１ａ〜１１１ｚで撮影されたデジタル画像データから前景画像と背景画像を分離し、背景画像のみを抽出した背景画像データを生成する。生成された背景画像データはテクスチャ生成部１２５に送信される。

合成判断部１２４は、画像処理システム１００内に存在する前景生成システム１１０を認識する。そして、合成判断部１２４は、それぞれの前景生成システム１１０から受信する画像データについて、どの前景生成システムの画像データを用いるか使用可否についてユーザから指示を受け、それらの情報をテクスチャ生成部１２５に提供する。

テクスチャ生成部１２５は、背景画像データを用い、背景メッシュモデルデータのメッシュに対し、カメラパラメータを用いて射影変換を行って投影し合成処理を行う。背景画像データは、合成判断部１２４から提供された画像データの使用可否の情報を基に、前景生成システム１１０Ａおよび１１０Ｂで得たデジタル画像データのうち、使用対象のデジタル画像データから背景画像生成部１２３で生成されるデータである。背景メッシュモデルデータは、モデル取得部１２２から提供されるデータである。カメラパラメータは、パラメータ取得部１２１から提供される。

そして、テクスチャ生成部１２５は、背景メッシュモデルへの投影と合成により、各メッシュのテクスチャ画像を生成する。すなわち、テクスチャ生成部１２５は、前景生成システム１１０Ａおよび１１０Ｂで得たデジタル画像データを用いて、背景メッシュモデルデータに対する背景テクスチャ画像を生成する。テクスチャ生成部１２５は、生成した背景テクスチャ画像として背景モデルデータと共にレンダリングシステム１３０に送信する。テクスチャとは、物体の表面の質感を表現するために張り付ける画像のことである。

カメラ画像を背景メッシュモデル上に投影する方法としては、例えば、以下の方法が考えられる。あるメッシュ上の４点、例えばメッシュが四角形であればテクスチャ画像上の端部に紐づけて、４点のカメラ画像上での座標とテクスチャ画像の頂点座標の対応から、ホモグラフィを求めて透視変換するなどの方法が考えられる。カメラ画像を透視変換し背景メッシュモデル上に投影した結果、カメラ画像が重複する場合は、それらを合成して画像を生成する。なお、本実施形態はこれに限定されるものではなく、背景画像データをテクスチャ画像上に投影するどのような方法を用いてもよい。

レンダリングシステム１３０は、レンダリング部１３１、操作部１３２、出力部１３３、制御部１３４を有する。レンダリングシステム１３０は、前景生成システム１１０Ａまたは１１０Ｂから取得した前景モデルデータ、背景生成システム１２０から取得した背景モデルデータ、背景テクスチャ画像を用い、ユーザ操作に従って仮想視点画像を生成する。

レンダリング部１３１は、前景生成システム１１０Ａ、１１０Ｂから受信した前景モデルデータと、背景生成システム１２０から受信した背景モデルデータおよび背景テクスチャ画像とを用い、演算によって仮想視点からの画像をレンダリングする。演算としては、例えばＣＰＵまたはＧＰＵなどの演算が挙げられる。また、仮想視点画像の変更操作については後述の操作部１３２によってユーザからの操作を受け付けることで行われる。

操作部１３２はキーボードやマウス、ジョイスティックやタッチパッド等の操作部材、或いはファイル入力等の入力手段を有し、ユーザによる仮想視点の変更操作や撮影開始の指示、その他画像処理システム１００各部への指示を受け付ける。変更された仮想視点の情報をレンダリング部１３１に送信する。

出力部１３３はＤｉｓｐｌａｙ ＰｏｒｔやＳＤＩなどの画像信号出力端子と、それらの画像信号を入力して画像として表示するＴＶやディスプレイ、プロジェクタ装置などの表示装置を有する。出力部１３３は、レンダリングされた仮想視点画像をユーザが目視で確認できる画像として出力する。なお、本実施形態はこれに限らず、仮想視点画像を静止画または動画として画像データとして出力し、ネットワークへの配信、あるいはストレージデバイスに対して保存するものであってもよい。

制御部１３４は、前景生成システム１１０Ａおよび１１０Ｂ、背景生成システム１２０の各システムと通信し、各種制御を行う。制御部１３４は、前景生成システム１１０Ａおよび１１０Ｂによる前景画像データ、前景モデルデータの生成の開始や停止、背景生成システム１２０による背景画像データ、背景テクスチャ画像の生成の開始や停止、注視点の切り替え操作等を行う。すなわち、制御部１３４は、画像処理システム１００の各ブロックの制御を行う。

図２は、画像処理システム１００による仮想視点画像の生成処理手順例を示すフローチャートである。本フローチャートを用いて本実施形態の画像処理システムの仮想視点画像生成処理について説明する。

図２（ａ）は、前景生成システム１１０Ａによる前景モデルデータの生成処理手順例を示すフローチャートである。なお、ここでは前景生成システム１１０Ａによる処理に関して説明するが、前景生成システム１１０Ｂでも、図２（ａ）と同様の処理が行われる。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図２以降についても同様である。

前景生成システム１１０Ａのカメラ制御部１１７は、後述のＳ２２１で制御部１３４から送信された撮影開始指示の信号を受信する（Ｓ２０１）。

図３は、撮影システムの概略構成を示す図である。図３に示すように、撮影システム１１１ａ〜１１１ｚは、スタジアム３００を囲むように設置される。スタジアム３００は、本実施形態の背景メッシュモデルデータを示しており、観客席の無いグラウンドのみの平面モデルを用いている。平面モデルは、三次元空間上に平面として表される三次元モデルである。本実施形態では平面モデルを用いた場合を示しているが、本実施形態はこれに限定されるものではなく、立体的な構造を持つモデルであってもよい。

注視点３０１は前景生成システム１１０Ａの注視点である。各撮影システム１１１ａ〜１１１ｚのカメラは注視点３０１の方向に向き、注視点３０１に焦点が合うように設置される。すなわち、撮影システム１１１ａ〜１１１ｚのカメラの注視点（撮影中心）は、注視点３０１である。

カメラ制御部１１７は、撮影システム１１１ａ〜１１１ｚのカメラの撮影タイミングを同期させる（Ｓ２０２）。

カメラ制御部１１７による撮影システム１１１ａ〜１１１ｚのカメラの撮影タイミングが同期すると、カメラ制御部１１７は、撮影システム１１１ａ〜１１１ｚに対して撮影開始を指示する。撮影システム１１１ａ〜１１１ｚの撮像部１１２は、カメラで撮影した画像をデジタル画像データに変換し当該デジタル画像データを前景画像生成部１１４及び背景画像生成部１２３に送信する。また、同期撮影が開始されると、カメラ制御部１１７は、同期撮影が開始されたことを示す信号を制御部１３４に送信する（Ｓ２０３）。

前景画像生成部１１４は、撮影システム１１１ａ〜１１１ｚが撮像部１１２によってカメラで撮影した画像を変換したデジタル画像データから前景画像と背景画像を分離し、背景画像を取り除いて前景画像のみを抽出した前景画像データを生成する。そして、前景画像生成部１１４は、生成した前景画像データを前景形状推定部１１６に提供する（Ｓ２０４）。

前景形状推定部１１６は、前景画像生成部１１４から受信した前景画像データと、パラメータ取得部１１５から取得したカメラパラメータとを用いて前景の形状を推定し、前景モデルデータを生成する（Ｓ２０５）。なお、パラメータ取得部１１５は、予めキャリブレーションによって取得されたカメラパラメータを本フロー前に保有しているものとする。

前景形状推定部１１６は、生成した前景モデルデータをレンダリング部１３１に送信する（Ｓ２０６）。

図２（ｂ）は、背景生成システム１２０による背景データの生成処理手順例を示すフローチャートである。
背景生成システム１２０の合成判断部１２４は、ユーザによって予め設定された前景生成システム１１０のいずれの画像データを用いて背景テクスチャ画像を生成するかを取得する（Ｓ２１１）。本実施形態では、前景生成システム１１０Ａおよび１１０Ｂのすべての画像データを用いて背景画像データを生成するものとする。

背景画像生成部１２３は、Ｓ２１１で取得した合成判断部１２４の判断結果に基づき、Ｓ２０３で撮影され変換されたデジタル画像データを前景生成システム１１０Ａまたは１１０Ｂから受信する（Ｓ２１２）。例えば、ここでは、前景生成システム１１０Ａからの画像データを受信したものとする。

合成判断部１２４は、背景画像生成部１２３が、背景画像データを生成するデータとして設定されている前景生成システム１１０Ａおよび１１０Ｂの全てからデータを取得したかを判断する（Ｓ２１３）。

合成判断部１２４は、前景生成システム１１０Ａおよび１１０Ｂの全てからデータを取得して合成範囲の全てのデータが揃っていると判断すると、処理をＳ２１４に移行する。合成判断部１２４は、前景生成システム１１０Ａおよび１１０Ｂの全てからデータを取得しておらず、合成範囲の全てのデータが揃っていないと判断すると、処理をＳ２１２に返し、Ｓ２１２とＳ２１３の処理を繰り返す。例えば、先のＳ２１２では前景生成システム１１０Ａの画像データを受信しているが、前景生成システム１１０Ｂの画像データを受信していないため、Ｓ２１２に戻って前景生成システム１１０Ｂの画像データの受信を待つことになる。その後、Ｓ２１２で前景生成システム１１０Ｂの画像データの受信が完了すると、合成判断部１２４は、Ｓ２１３では合成判断部１２４に設定されたすべての前景生成システムの画像データが揃っていると判断し、処理をＳ２１４に移行する。

背景画像生成部１２３は、Ｓ２１２で受信したデジタル画像データを前景画像と背景画像に分離し、背景画像のみを抽出した背景画像データを生成する。そして、背景画像生成部１２３は、生成した背景画像データをテクスチャ生成部１２５に提供する（Ｓ２１４）。

テクスチャ生成部１２５は、受信した背景画像データを、モデル取得部１２２から取得した背景モデルデータに対してカメラパラメータを用いて射影変換を行って投影し、それらを合成することで背景テクスチャ画像を生成する（Ｓ２１５）。なお、テクスチャ生成部１２５は、カメラパラメータをパラメータ取得部１２１から取得する。パラメータ取得部１２１は、予めキャリブレーションによってカメラパラメータを取得し保有しており、本フロー前にカメラパラメータを取得しているものとする。また、モデル取得部１２２は、背景モデルデータを本フロー前に取得しているものとする。

図４（ａ）、（ｂ）は、前景生成システム１１０Ａの撮影システム１１１ａ〜１１１ｚにより得られる撮影範囲を模式的に示した図である。

図４（ａ）は、撮影システム１１１ｔで撮影される範囲を示した図である。撮影システム１１１ｔによって、当該撮影システム１１１ｔが図示された位置から注視点３０１に焦点を合わせて撮影すると、撮影システム１１１ｔの撮影範囲は、注視点３０１を撮影中心とした領域４００で示される範囲となる。すなわち、撮影システム１１１ｔの焦点が注視点３０１に合わされると、撮影システム１１１ｔの撮影範囲は、領域４００で示される範囲となる。このように、図示された位置から注視点３０１に焦点を合わせて撮影した撮影システム１１１ａ〜１１１ｚの２６つ全ての撮影範囲を合わせると、図４（ｂ）に示すように、全撮影範囲は、注視点３０１を撮影中心とした第１の領域４０１となる。第１の領域４０１は、スタジアム３００のほぼ右半分をカバーする。すなわち、背景画像生成部１２３は、前景生成システム１１０Ａから受信したデジタル画像データを用いて、第１の領域４０１に該当する背景画像データを生成できる。

同様に、図５は、前景生成システム１１０Ｂの撮影システム１１１Ａ〜１１１Ｚにより得られる撮影範囲を模式的に示した図である。注視点５０１は前景生成システム１１０Ｂの注視点である。前景生成システム１１０Ｂの撮影システム１１１Ａ〜１１１Ｚが図示された位置から注視点５０１に焦点を合わせて撮影すると、当該撮影システム１１１Ａ〜１１１Ｚの全てを合わせた撮影範囲は、注視点５０１を撮影中心とした第２の領域５０２となる。第２の領域５０２は、スタジアム３００のほぼ左半分をカバーする。すなわち、背景画像生成部１２３は、前景生成システム１１０Ｂから受信したデジタル画像データを用いて、第２の領域５０２に該当する背景画像データを生成できる。

本実施形態では、合成判断部１２４によって前景生成システム１１０Ａおよび前景生成システム１１０Ｂの両方が使用されると判断されるため、それらを合わせた背景画像データが生成される。

図６は、背景生成システム１２０によって生成される背景画像の範囲を示した模式図である。前景生成システム１１０Ａおよび１１０Ｂの各撮影システムの焦点を注視点３０１および５０１に合わせて撮影すると、撮影システムの全てを合わせた撮影範囲は、図４（ｂ）の第１の領域４０１と図５の第２の領域５０２を合わせた全領域６０１となる。全領域６０１は、スタジアム３００全体をカバーする。すなわち、背景生成システム１２０は、スタジアム３００全体をカバーする全領域６０１に該当する背景画像データを生成できる。

テクスチャ生成部１２５は、背景画像生成部１２３によって生成された背景画像データを、パラメータ取得部１２１から取得したカメラパラメータを用いて射影変換し、背景モデルデータであるスタジアム３００に投影することで背景テクスチャ画像を生成する。そして、テクスチャ生成部１２５は、背景モデルデータと、生成された背景テクスチャ画像をレンダリング部１３１に送信する（Ｓ２１６）。

図２（ｃ）は、レンダリングシステム１３０による仮想視点画像の生成処理手順例を示すフローチャートである。
操作部１３２がユーザにより操作されて、仮想視点画像を生成開始する操作を受け付けると、仮想視点画像の生成開始の操作を受け付けたことを画像処理システム１００の各部に対して通知し仮想視点画像生成の開始を指示する（Ｓ２２１）。

レンダリングシステム１３０の制御部１３４は、仮想視点画像の生成開始の操作を受け付けたことの通知を操作部１３２から受け取ると、前景生成システム１１０Ａおよび１１０Ｂのカメラ制御部１１７に対して同期撮影開始を指示する（Ｓ２２２）。同期撮影が開始されると、制御部１３４は、Ｓ２０３で送信された、同期撮影が開始されたことを示す信号をカメラ制御部１１７から受信する。

レンダリング部１３１は、Ｓ２０６で生成された前景モデルデータを前景生成システム１１０Ａおよび１１０Ｂの前景形状推定部１１６から受信する（Ｓ２２３）。

レンダリング部１３１は、Ｓ２１６で生成された背景モデルデータと背景テクスチャ画像をテクスチャ生成部１２５から受信する（Ｓ２２４）。

操作部１３２は、ユーザによる仮想視点の操作、すなわち、仮想視点座標の変更操作を受け付け、変更された仮想視点座標情報をレンダリング部１３１に送信する（Ｓ２２５）。

レンダリング部１３１は、受信した前景モデルデータと背景モデルデータを用い、操作部１３２から受信した仮想視点座標を用いてＣＰＵまたはＧＰＵなどの演算によって仮想視点からの画像をレンダリングする（Ｓ２２６）。

図７は、仮想視点画像のレンダリングの様子を示した模式図である。
仮想視点７０１は、カメラが設置されていない任意の視点である仮想視点のカメラを表している。この仮想視点７０１で仮想視点画像としてレンダリングされる範囲を示しているのが仮想視点レンダリング範囲７０２である。

仮想視点レンダリング範囲７０２は、前景生成システム１１０Ａの撮影範囲である第１の領域４０１の範囲を超えた撮影外領域７０３を有する。撮影外領域７０３は、黒で塗りつぶされた領域である。撮影外領域７０３は、前景生成システム１１０Ａのみの画像データを用いて背景テクスチャ画像を生成することはできない。

図８は、前景生成システム１１０Ａおよび１１０Ｂの撮影範囲を合わせた全領域６０１と仮想視点レンダリング範囲７０２の関係を示した模式図である。本実施形態では、前景生成システム１１０Ａと１１０Ｂの画像データのどちらも使用するため、全領域６０１の範囲において背景テクスチャ画像が生成される。よって、全領域６０１はスタジアム３００のすべてが撮影範囲に含まれており、仮想視点レンダリング範囲７０２から見える範囲において、隙間の無い背景テクスチャ画像を生成することが出来る。

レンダリング部１３１が生成した画像は、出力部１３３に送られ、ディスプレイなどの表示装置（図示省略）を通してユーザに目視される、あるいは、ファイルなどの画像データとしてユーザに取得される（Ｓ２２７）。

以上説明したように、本実施形態によれば、画角を狭く設定したカメラで撮影された画像を基に、適切な背景画像を生成することができる。具体的には、注視点を向いた撮影範囲が限定されたカメラを用いて、仮想視点画像の背景生成の範囲を広げることが出来る。すなわち、複数の注視点毎に前景の形状推定を行う際、新たなカメラを追加することなく、背景生成の範囲を広げることが出来る。

（変形例）
以上、本実施形態について述べてきたが、本発明はこれに限定されるものではない。
例えば、本実施形態では、背景生成システム１２０及びレンダリングシステム１３０は別のシステムとしているが、同一のシステムとしてもよい。

注視点を選択するユーザインターフェース（選択手段）を有し、レンダリングシステム１３０は注視点を選択した前景生成サーバにより生成された前景モデルデータを用いた仮想視点画像を生成してもよい。

また、本実施形態では背景生成システム１２０に対して、前景生成システム１１０Ａおよび前景生成システム１１０Ｂの２つの画像データが送られているが、これに限定されない。例えば、操作部１３２のユーザインターフェースによって、前景生成システム１１０Ａおよび１１０Ｂの各々に対して、背景生成システム１２０への画像データの転送のオンとオフを切り替えることが出来てもよい。その場合、背景生成システム１２０は、画像データの転送がオンになっている前景生成システム１１０の画像データを用いて背景テクスチャ画像を生成する。

また、画像処理システムは、撮影システム１１１の注視点３０１および５０１と異なる注視点に向けて設置された１以上のカメラで構成される第３のカメラ群を有する第３の撮影システムをさらに有してもよい。第３のカメラ群は、前景生成システム１１０Ａ、１１０Ｂが有する撮影システム１１１のカメラ（第１および第２のカメラ群）によって撮影された画像より広い画角の画像を撮影することが好ましく、スタジアム３００全体を撮影することがより好ましい。なお、第３のカメラ群がスタジアム３００全体を撮影する場合、第３のカメラ群のカメラの注視点をスタジアム３００のほぼ中心に設定することが好ましい。その場合、テクスチャ生成部１２５は、前景生成システム１１０Ａ、１１０Ｂのカメラ群によって撮影された画像に加えて、第３の撮影システムの第３のカメラ群によって撮影された画像をさらに用いて背景モデルに張り付ける背景テクスチャ画像を生成する。また、テクスチャ生成部１２５は、前記第３のカメラ群によって撮影された前記画像を、前景生成システム１１０Ａ、１１０Ｂの第１、第２のカメラ群によって撮影された前記画像よりも高い比重で前記テクスチャ画像を生成してもよい。これにより、前景生成システム１１０Ａ、１１０Ｂの第１、第２のカメラ群によって撮影された前記画像のみに基づく場合と比べて、より適切な背景画像を生成できる。

また、撮影システム１１１は歪みパラメータを用いて、画像の歪みを補正する歪み補正部を前景生成サーバ１１３、または背景生成システム１２０に有し、撮影した画像データを歪み補正部によって補正処理を行ってもよい。また、歪み補正部は撮影システム１１１に有していてもよい。

また、本実施形態では、画像データを撮影システム１１１から前景生成サーバ１１３及び背景生成システム１２０に送信しているが、画像処理システム１００が集約サーバを有し、集約サーバにてデータを集約するような形態であってもよい。そして、集約サーバ（振り分け手段）は、当該集約サーバに集約したデータを前景生成システム１１０Ａの前景生成サーバ１１３と、前景生成システム１１０Ｂの前景生成サーバ１１３と、背景生成システム１２０とに振り分けてもよい。具体的には、集約サーバは、前景生成システム１１０Ａの前景生成サーバ１１３に当該前景生成システム１１０Ａの撮影システム１１１の画像を振り分けてもよい。集約サーバは、前景生成システム１１０Ｂの前景生成サーバ１１３に当該前景生成システム１１０Ｂの撮影システム１１１の画像を振り分けてもよい。集約サーバは、背景生成システム１２０に前景生成システム１１０Ａの撮影システム１１１の画像と前景生成システム１１０Ｂの撮影システム１１１の画像を振り分けてもよい。

また、画像処理システム１００が、ストレージを有するデータベースシステムを備え、前景生成システム１１０、背景生成システム１２０、レンダリングシステム１３０に対してデータベースを介して必要なデータを送受信してもよい。ストレージは、カメラパラメータや背景モデルデータ、前景生成システム１１０で生成される前景画像データ、背景画像データや前景モデルデータ、背景生成システム１２０で生成される背景テクスチャ画像などを記憶するのに十分な大容量記憶装置とする。

［実施形態２］
本実施形態に係る画像処理システムについて、図９および図１０を参照して説明する。
本実施形態では、背景画像データの合成について述べる。なお、本実施形態では、上述した実施形態の画像処理システムと同一の機器については同一の符号を付記しその説明を省略する。

図９は、本実施形態の画像処理システムの構成例を示すブロック図である。
本実施形態の画像処理システム（仮想視点画像生成システム）９００は、上述の実施形態と同様、前景生成システム１１０Ａ、前景生成システム１１０Ｂ、背景生成システム１２０、レンダリングシステム１３０を有する。

背景生成システム１２０は、パラメータ取得部１２１、モデル取得部１２２、背景画像生成部１２３、合成判断部１２４、テクスチャ生成部１２５に加え、重みづけ判断部９０１を有する。

重みづけ判断部９０１は、テクスチャ生成部１２５が背景メッシュモデル上にカメラ画像（背景画像データ）を射影変換によって投影した際に、メッシュモデル上に投影したカメラ画像（背景画像データ）を合成する重みづけを導出する。すなわち、重みづけ判断部９０１は、メッシュモデル上に投影したカメラ画像における重複する領域に関し、各カメラ画像の重みづけを導出する。重みづけ判断部９０１による重みづけ処理は、Ｓ２１６の背景テクスチャ画像を生成する際に実行される。

重みづけ判断部９０１による重みづけ処理について、図１０を用いて説明する。
図１０は、前景生成システム１１０Ａおよび１１０Ｂの撮影範囲を示した模式図である。

重複領域１００１は、前景生成システム１１０Ａによる撮影範囲である第１の領域４０１と前景生成システム１１０Ｂによる撮影範囲である第２の領域５０２が重複する範囲である。言い換えると、重複領域１００１は、前景生成システム１１０Ａおよび１１０Ｂのいずれのシステムを用いても背景画像データを生成することが出来る範囲である。

画素１００２は、背景となるメッシュモデル上にて、第１の領域４０１および第２の領域５０２が重複する重複領域１００１における、ある一点を示している。

画素１００２と注視点３０１の距離１００３Ａが長さＬａであり、画素１００２と注視点５０１の距離１００３Ｂが長さＬｂであるとする。

このとき、画素１００２に関し、前景生成システム１１０Ａで生成される背景画像データの画素値Ｘａと前景生成システム１１０Ｂで生成される背景画像データの画素値Ｘｂの２つを合成した画素値Ｘの数値を演算によって導出する。画素値Ｘの導出方法として、例えば下記のような数式を用いる。

上記の数式を用いることで、注視点からの距離が近い画素の重みを重くすることができる。画素１００２の場合、長さＬａと比較して長さＬｂの方が小さく、画素値Ｘｂの重みづけの方が画素値Ｘａの重みよりも大きくなる。

このように注視点からの距離を用いて重みづけをすることによって、カメラ画像（前景生成システムによるデジタル画像データ）の切り替わり部分において境界線が目立たないように徐々に重みを重くすることが出来る。

本実施形態では、画素値Ｘを上記数式（１）により導出したが、画素値Ｘの導出方法はこれに限定されない。例えば、数式（１）の範囲を正規化した値としてもよい。また画素値Ｘを求める際の画素値Ｘａおよび画素値Ｘｂの合成の重みづけについては、距離１００３Ａおよび距離１００３Ｂに基づいて求め、長さＬａおよび長さＬｂのいずれか値の小さな方の重みづけが重くなるように導出されれば良い。
また、合成の重みについては、単純に平均値や中間値を用いる方法でもよい。

また、各前景生成システム１１０から取得したデジタル画像データについて画質の評価を行い、解像度の高さやコントラストの高さなどの評価を数値化し、その数値によって重みづけを行ってもよい。

また、前景生成システム１１０で撮影される撮影範囲の一部または全てにおいて、撮影に失敗した画素がある場合、それらの画素の重みを０または０に近い数値としてもよい。

以上、説明したように、本実施形態によれば、複数の撮影システムによるカメラ画像（デジタル画像データ）において重複領域がある場合に、重みづけ処理を行うことで、切り替えられるカメラ画像間の境界線の生成を抑制できる。

［実施形態３］
本実施形態に係る画像処理システムについて、図１１および図１２を参照して説明する。
本実施形態では、背景画像データの生成に於いて、生成範囲を指定する方法について述べる。なお、本実施形態では、上述した実施形態の画像処理システムと同一の機器については同一の符号を付記しその説明を省略する。

図１１は、本実施形態の画像処理システムの構成例を示すブロック図である。
本実施形態の画像処理システム（仮想視点画像生成システム）１１００は、上述の実施形態と同様、前景生成システム１１０Ａ、前景生成システム１１０Ｂ、背景生成システム１２０、レンダリングシステム１３０を有する。

前景生成システム１１０Ａの撮影システム１１１ａは、撮像部１１２に加え、前景背景分離部（以下、分離部と記す）１１０１を有する。

背景生成システム１２０は、パラメータ取得部１２１、モデル取得部１２２、合成判断部１２４、テクスチャ生成部１２５に加え、範囲指定部（以下、指定部と記す）１１０２を有する。

分離部１１０１は、撮像部１１２でカメラによって撮影された画像を変換したデジタル画像データから前景画像と背景画像を分離して、前景画像データと背景画像データを生成する。このとき、背景画像生成部１２３は、後述の指定部１１０２によって指定される範囲については背景画像データの生成を行わない。

指定部１１０２は、分離部１１０１が生成する背景画像データの範囲を指定し、指定された範囲の背景画像データを受信する。受信した背景画像データは、テクスチャ生成部１２５に送られる。

図１２は、画像処理システム１１００による仮想視点画像生成処理のフローチャートである。図１２（ａ）に前景生成システム１１０Ａによる前景データの生成処理手順例のフローを示し、図１２（ｂ）に背景生成システム１２０による背景データの生成処理手順例のフローを示す。なお、ここでは前景生成システム１１０Ａによる処理に関して説明するが、前景生成システム１１０Ｂでも、図１２（ａ）と同様の処理が行われる。レンダリングシステム１３０による仮想視点画像の生成処理手順例を示すフローは、図２（ｃ）に示すフローと同様であり、その説明を省略する。

分離部１１０１は、撮像部１１２から取得したデジタル画像データ（撮影データ）を前景画像と背景画像に分離し、前景画像のみを抽出した前景画像データを生成し、生成した前景画像データを前景形状推定部１１６に提供する（Ｓ１２０１）。

分離部１１０１は、撮像部１１２から取得した撮影データを前景画像と背景画像に分離し、後述のＳ１２１１で指定部１１０２によって指定された範囲に従って、背景画像データを生成する（Ｓ１２０２）。生成した背景画像データは、指定部１１０２に送信される。

指定部１１０２は、Ｓ２１１で設定された前景生成システム１１０Ａ、１１０Ｂの使用設定に従い、重複領域について前景生成システム１１０Ａまたは１１０Ｂのいずれで生成するかを決定する（Ｓ１２１１）。例えば、指定部１０２は、仮想視点の位置及び方向に応じて前景生成システム１１０Ａまたは１１０Ｂのうち何れか一方を選択する。

指定部１１０２による背景画像データにおける範囲の指定方法について、図１０の重複領域１００１を用いて説明する。

重複領域１００１は、前景生成システム１１０Ａまたは１１０Ｂのいずれでも背景画像データを生成することが出来るため、どちらか一方のみから背景画像データが生成されればよい領域である。実施形態２と同様に、画素１００２について重みづけ判断部９０１で重みづけの演算を行うと、前景生成システム１１０Ａに対応するカメラで得られる画像に対する重みはＬｂ／（Ｌａ＋Ｌｂ）となる。前景生成システム１１０Ｂに対応するカメラで得られる画像に対する重みはＬａ／（Ｌａ＋Ｌｂ）となる。このとき、Ｌａ＞Ｌｂであるため、前景生成システム１１０Ｂで得られる画像の方の重みづけが前景生成システム１１０Ａで得られる画像に対する重みづけと比べて重いことがわかる。指定部１１０２は、このようにして重みづけによる選択を行う。

指定部１１０２は、前景生成システム１１０Ｂを選択すると、前景生成システム１１０Ａの撮影システム１１１ａ〜１１１ｚの画素１００２に該当する箇所について、分離部１１０１に対し不要な画素値として指定する。

図１３は、撮影システム１１１ｔについて、指定部１１０２によって背景画像データの生成範囲の指定が行われる様子を示した図である。図１３（ａ）に撮影システム１１１ｔの撮影範囲と画素の位置との関係を示し、図１３（ｂ）に撮影システム１１１ｔの撮影範囲と非画像生成範囲との関係を示す。

図１３（ａ）に示すように、画素１００２は、撮影中心を注視点３０１に設定した撮影システム１１１ｔがスタジアム３００を撮影した撮影範囲である領域４００で示される範囲内に位置づけられている。図１３（ａ）のように撮影範囲の領域４００の中に含まれる画素１００２は分離部１１０１で生成される背景画像データの生成範囲から外される。

重複領域１００１の各画素について同様の処理を行うと、図１３（ｂ）の非画像生成範囲に示す領域１３０１について背景画像データの生成が行われず、これによって背景画像データを背景生成システムに転送する画像データの転送サイズを減らすことが出来る。

指定部１１０２は、分離部１１０１から背景画像データを受信する（Ｓ１２１２）。例えば、ここでは、撮影システム１１１ａの分離部１１０１からの背景画像データを受信する。

指定部１１０２は、分離部１１０１から受信した画像データが、合成範囲のデータ全てを受信したか否かを判断する（Ｓ１２１３）。すなわち、指定部１１０２は、合成判断部１２４で背景画像データを生成するデータとして設定されている前景生成システム１１０Ａおよび１１０Ｂの全てからデータを取得したか否かを判断する。指定部１１０２は、全てのデータを受信したと判断すると（Ｓ１２１３でＹＥＳ）、処理をＳ１２１４に移行する。指定部１１０２は、全てのデータを受信していないと判断すると（Ｓ１２１３でＮＯ）、処理をＳ１２１２に返し、Ｓ１２１２とＳ１２１３の処理を繰り返す。例えば、先のＳ１２１２では撮影システム１１１ａのデジタル画像データを受信しているが、その他についてはデジタル画像データを受信していない場合、処理をＳ１２１２に返しデジタル画像データを受信するまでを待つことになる。その後、Ｓ１２１２で残る前景生成システムの撮影システム全てから前景生成システムのデジタル画像データの受信が完了すると、指定部１１０２は、Ｓ１２１３において合成判断部１２４に設定された全ての背景画像データが揃っていると判断する。この判断結果に基づき、指定部１１０２は、処理をＳ１２１４に移行する。

テクスチャ生成部１２５は、指定部１１０２から取得した背景画像データを、モデル取得部１２２から取得した背景モデルデータに対し、パラメータ取得部１２１から取得したカメラパラメータを用いて射影変換を行って投影する。投影した画像を合成することで背景テクスチャ画像を生成する（Ｓ１２１４）。

以上、重複領域の背景画像データの生成範囲について説明を行ってきたが、本実施形態はこれに限定されるものではない。

前述した他の重みづけの優先順位方法によって、最も重みづけの高いものが選択されるようにしてもよい。
ユーザ操作によって注視点の選択が行われた場合、重複領域で選択した注視点の撮影範囲を全て選択し、重複している他の注視点については使用しないなどとしてもよい。また、注視点の優先順位をユーザが指定し、指定した優先順位に従って背景画像データの生成範囲を指定してもよい。

続いて、本実施形態を構成する各装置のハードウェア構成について、より詳細に説明する。上述の通り、本実施形態では、前景生成サーバ１１３がＦＰＧＡ及び／又はＡＳＩＣなどのハードウェアを実装し、これらのハードウェアによって、上述した各処理を実行する場合の例を中心に説明した。それは前景生成システム１１０内の撮影システム１１１、背景生成システム１２０、レンダリングシステム１３０についても同様である。しかしながら、上記装置のうち、少なくとも何れかが、例えば、ＣＰＵ、ＤＳＰなどを用い、ソフトウェア処理によって本実施形態の処理を実行するようにしても良い。

図１４は、図１に示した機能構成をソフトウェア処理によって実現するための、前景生成サーバ１１３のハードウェア構成例を示す図である。なお、撮影システム１１１、背景生成システム１２０、レンダリングシステム１３０などの装置も、図１４のハードウェア構成となりうる。前景生成サーバ１１３は、ＣＰＵ１１３１と、ＲＡＭ１１３２と、ＲＯＭ１１３３と、二次記憶装置１１３４と、入出力インタフェース１１３５とを有する。これらの構成要素は、バスによって接続され、構成要素間でデータを送受信することが可能である。

ＣＰＵ１１３１は、ＲＡＭ１１３２をワークメモリとして用いて、ＲＯＭ１１３３や二次記憶装置１１３４に格納されたプログラムを実行し、システムバスを介して前景生成サーバ１１３の各構成要素を統括的に制御する。これにより、図１に示したモジュールが実現されたり、図２（ａ）に示した処理が実行されたりする。

二次記憶装置１１３４は、前景生成サーバ１１３で取り扱われる種々のデータが格納される装置であり、例えば、ＨＤＤ、光ディスクドライブ、フラッシュメモリ等が用いられる。ＣＰＵ１１３１は、システムバスを介して、二次記憶装置１１３４へのデータの書き込みと二次記憶装置１１３４に格納されたデータの読出しとを行う。入出力インタフェース１１３５は、前景生成サーバ１１３とその外部の装置との間におけるデータの送受信を行う。以上が、本実施形態におけるシステム構成の内容である。

なお、例えば前景生成サーバ１１３の処理のうち一部をＦＰＧＡで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしても良い。また、図１４に示した前景生成サーバ１１３の各構成要素は、単一の電子回路で構成されていてもよいし、複数の電子回路で構成されていてもよい。例えば、前景生成サーバ１１３は、ＣＰＵ１１３１として動作する電子回路を複数備えていてもよい。これら複数の電子回路がＣＰＵ１１３１としての処理を並行して行うことで、前景生成サーバ１１３の処理速度を向上することができる。

画像処理システム１００内の他の装置についても同様である。また、上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。

［その他の実施形態］
また、前景生成サーバ１１３や背景生成システム１２０、レンダリングシステム１３０は、内部に物理的に複数のサーバを有し、論理的に１台となるような構成であってもよい。

また、上述した実施形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現してもよい。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としてはどのような記憶媒体を用いてもよく、例えばハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリなどを用いてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施形態の機能が実現されてもよい。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施形態の機能が実現されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・・画像処理システム
１１０Ａ、１１０Ｂ・・・前景生成システム
１２０・・・背景生成システム

Claims (20)

1. 仮想視点画像を生成する画像処理装置であって、
   第一の位置に向けて設置された１以上のカメラで構成される第一のカメラ群によって撮影された画像に基づいて前景画像を生成する第一の前景生成手段と、
   前記第一の位置とは異なる第二の位置に向けて設置された１以上のカメラで構成される第二のカメラ群によって撮影された画像に基づいて前景画像を生成する第二の前景生成手段と、
   前記第一および前記第二のカメラ群によって撮影された前記画像に基づいて生成される背景モデルに対するテクスチャ画像と、当該背景モデルと、に基づいて前記仮想視点画像の背景画像を生成する背景生成手段と
   を有する、ことを特徴とする画像処理装置。
2. 前記背景生成手段は、前記第一および前記第二のカメラ群によって撮影された前記画像に基づいて前記背景モデルに対する前記テクスチャ画像を生成し、生成したテクスチャ画像を当該背景モデルに合成することで前記仮想視点画像の前記背景画像を生成する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記第一および前記第二の前景生成手段のうち何れか一方の前景生成手段を選択する選択手段と、
   前記選択手段により選択された前景生成手段によって生成される前景画像と、前記背景生成手段によって生成された前記背景画像とに基づいて前記仮想視点画像を生成する画像生成手段をさらに有する
   ことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記画像生成手段は、前記選択手段により選択された前景生成手段によって生成される前景画像と、前記背景生成手段によって生成された前記背景画像とを合成した前記仮想視点画像を生成する
   ことを特徴とする、請求項３に記載の画像処理装置。
5. 前記選択手段は、仮想視点の位置及び方向に応じて、前記第一および前記第二の前景生成手段のうち何れか一方を選択する
   ことを特徴とする、請求項３または４に記載の画像処理装置。
6. 前記背景生成手段は、前記選択手段によって選択された前景生成手段に対応するカメラ群の前記画像に基づいて生成される前記テクスチャ画像を、前記選択手段によって選択されなかった前景生成手段に対応するカメラ群の前記画像に基づいて生成される前記テクスチャ画像よりも高い比重で前記背景モデルに合成する
   ことを特徴とする、請求項３から５の何れか一項に記載の画像処理装置。
7. 前記第一の前景生成手段には前記第一のカメラ群の前記画像、前記第二の前景生成手段には前記第二のカメラ群の前記画像、前記背景生成手段には前記第一および前記第二のカメラ群の前記画像を振り分ける振り分け手段を有することを特徴とする、請求項１から６の何れか一項に記載の画像処理装置。
8. 前記第一または前記第二のカメラ群に属するカメラは、撮影した前記画像から前景画像と背景画像を分離して生成する分離手段を有し、
   前記背景生成手段は、前記分離手段で生成した前記背景画像に基づいて前記背景モデルに対する前記テクスチャ画像を生成する
   ことを特徴とする、請求項１から５の何れか一項に記載の画像処理装置。
9. 前記第一および前記第二の位置と異なる第三の位置に向けて設置された１以上のカメラで構成される第三のカメラ群をさらに有し、
   前記背景生成手段は、前記第一および前記第二のカメラ群によって撮影された前記画像に加えて、前記第三のカメラ群によって撮影された画像に基づいて生成される前記背景モデルに対する前記テクスチャ画像にさらに基づいて前記背景画像を生成する
   ことを特徴とする、請求項１から８の何れか一項に記載の画像処理装置。
10. 前記背景生成手段は、前記第三のカメラ群の前記画像に基づいて生成される前記テクスチャ画像を、前記第一および前記第二のカメラ群の前記画像に基づいて生成される前記テクスチャ画像よりも高い比重で前記背景モデルに合成することを特徴とする、請求項９に記載の画像処理装置。
11. 前記第三のカメラ群は、前記第一および前記第二のカメラ群によって撮影された前記画像より広い画角の画像を撮影する
    ことを特徴とする、請求項９または１０に記載の画像処理装置。
12. 仮想視点画像を生成する画像処理装置であって、
    異なる位置に向けてそれぞれ設置されたカメラで構成されるカメラ群が複数あり、
    同一の位置に対応する前記カメラ群によって撮影された画像に基づいて前景画像を生成する前景生成手段と、
    前記複数のカメラ群によって撮影された前記画像に基づいて生成される背景モデルに対するテクスチャ画像と、当該背景モデルと、に基づいて前記仮想視点画像の背景画像を生成する背景生成手段と
    を有する、ことを特徴とする画像処理装置。
13. 前記背景生成手段は、前記複数のカメラ群によって撮影された前記画像に基づいて前記背景モデルに対する前記テクスチャ画像を生成し、生成したテクスチャ画像を当該背景モデルに合成することで前記仮想視点画像の背景画像を生成する
    ことを特徴とする、請求項１２に記載の画像処理装置。
14. 前記前景生成手段は、前記異なる位置に対応して複数有り、
    前記複数の前景生成手段のうち何れか一つの前景生成手段を選択する選択手段と、
    前記選択手段により選択された前記前景生成手段によって生成される前記前景画像と、前記背景生成手段によって生成された背景画像とに基づいて前記仮想視点画像を生成する画像生成手段をさらに有する
    ことを特徴とする、請求項１２または１３に記載の画像処理装置。
15. 前記画像生成手段は、前記選択手段により選択された前記前景生成手段にて生成される前景画像と、前記背景生成手段にて生成された背景画像とを合成した前記仮想視点画像を生成する
    ことを特徴とする、請求項１４に記載の画像処理装置。
16. 前記選択手段は、仮想視点の位置及び方向に応じて、前記複数の前景生成手段のうち何れか一つを選択する
    ことを特徴とする、請求項１４または１５に記載の画像処理装置。
17. 仮想視点画像を生成する画像処理方法であって、
    第一の位置に向けて設置された１以上のカメラで構成される第一のカメラ群によって撮影された画像に基づいて前景画像を生成する第一の前景生成ステップと、
    前記第一の位置とは異なる第二の位置に向けて設置された１以上のカメラで構成される第二のカメラ群によって撮影された画像に基づいて前景画像を生成する第二の前景生成ステップと、
    前記第一および前記第二のカメラ群によって撮影された前記画像に基づいて生成される背景モデルに対するテクスチャ画像と、当該背景モデルと、に基づいて前記仮想視点画像の背景画像を生成する背景生成ステップと
    を有する、ことを特徴とする画像処理方法。
18. 前記背景生成ステップでは、前記第一および前記第二のカメラ群によって撮影された前記画像に基づいて前記背景モデルに対する前記テクスチャ画像を生成し、生成したテクスチャ画像を当該背景モデルに合成することで前記仮想視点画像の前記背景画像を生成する
    ことを特徴とする、請求項１７に記載の画像処理方法。
19. 前記第一および前記第二の前景生成ステップのうち何れか一方の前景生成ステップを選択する選択ステップと、
    前記選択ステップにて選択された前記前景生成ステップによって生成される前景画像と、前記背景生成ステップによって生成された前記背景画像とに基づいて前記仮想視点画像を生成する画像生成ステップをさらに有する
    ことを特徴とする、請求項１８に記載の画像処理方法。
20. コンピュータを、請求項１から１１の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images