JP2020046944A - 画像処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】 仮想視点画像の生成に用いられる適切な背景画像を得ることを目的とする。【解決手段】 仮想視点画像を生成するために用いられる、異なる方向からの撮像により取得される複数の撮像画像に基づいて少なくともオブジェクトとは異なる背景を表す背景画像を生成する画像処理装置であって、異なる方向からの撮像により取得された第１撮像画像と第２撮像画像とを含む前記複数の撮像画像を取得する取得手段と、前記取得手段により取得された前記第１撮像画像と前記第２撮像画像とに基づいて、オブジェクトの領域を示す領域情報を生成する第１生成手段と、前記取得手段により取得された前記第１撮像画像と前記第２撮像画像と、前記第１生成手段により生成されたオブジェクトの領域を示す領域情報とに基づいて、少なくともオブジェクトとは異なる背景を表す背景画像を生成する第２生成手段と、を有する。【選択図】 図２

Description

本発明は、画像処理装置、制御方法、及びプログラムに関するものである。

被写体（オブジェクト）を複数のカメラで撮像して得られた画像（複数視点画像）から、当該オブジェクトを任意の仮想視点から見た際に得られる画像（仮想視点画像）を生成する技術が知られている。

特許文献１では、まず、複数視点画像において前景であるオブジェクトの領域とそれ以外の背景領域とを分割する前景背景分離を行い、次に、オブジェクトの領域が抽出されたシルエット画像からオブジェクトの３次元形状データを取得する。そして、３次元形状データに対してレンダリングを施すことにより仮想視点画像が生成される。また、背景画像も仮想視点画像の生成に用いられる。

背景領域を示す背景画像の取得方法は、前景である人物や物体が存在しない状態で、事前に撮像を行って取得する方法、及び、複数の撮像画像から所定の時間継続してほぼ変化しない部分を貼りあわせることによって取得する方法がある。

特開２０１１−１７０４８７号公報

上述した方法により背景画像を取得する場合には、以下のような課題が生じる。まず、事前に背景画像を取得する場合には、背景のみの撮像時と前景を含む撮像時とで時間差が生じるため、日照条件などの撮像環境が異なってしまう。そのため、事前に取得した背景画像を用いて仮想視点画像を生成すると、例えば、背景の色が実際の前景を含む撮像時の撮像画像内の背景の色とは異なるおそれが生じる。

一方、複数の撮像画像から所定の時間継続してほぼ変化しない部分を貼りあわせて背景画像を取得する場合、所定の時間が長いと、やはり撮像環境が変化してしまい、例えば、貼りあわせる領域ごとに色の変化が生じ、不自然な背景画像となるおそれが生じる。また、所定の時間が短いと、ほとんど動かない人物などが背景と判断されるおそれが生じる。

このため、上述した方法では、場合によっては、適切でない背景画像となる可能性が生じる。

上記課題に鑑み、本発明では、仮想視点画像の生成に用いられる適切な背景画像を得ることを目的とする。

本発明の画像処理装置は、仮想視点画像を生成するために用いられる、異なる方向からの撮像により取得される複数の撮像画像に基づいて少なくともオブジェクトとは異なる背景を表す背景画像を生成する画像処理装置であって、異なる方向からの撮像により取得された第１撮像画像と第２撮像画像とを含む前記複数の撮像画像を取得する取得手段と、前記取得手段により取得された前記第１撮像画像と前記第２撮像画像とに基づいて、オブジェクトの領域を示す領域情報を生成する第１生成手段と、前記取得手段により取得された前記第１撮像画像と前記第２撮像画像と、前記第１生成手段により生成されたオブジェクトの領域を示す領域情報とに基づいて、少なくともオブジェクトとは異なる背景を表す背景画像を生成する第２生成手段と、を有することを特徴とする。

本発明では、仮想視点画像の生成に用いられる適切な背景画像を得ることができる。

実施形態１に係る画像処理システムの構成例を示す図 実施形態１に係る画像処理システムのブロック図 実施形態１に係る前景画像の生成処理を説明する図 実施形態１に係る背景画像の生成処理を説明する図 実施形態１に係る前景背景生成部の処理例を示すフローチャート 実施形態２に係る課題を説明する図 実施形態２に係る前景背景生成部のブロック図 実施形態２に係る前景背景生成部の処理例を示すフローチャート 実施形態３に係る画像処理システムの構成例を示す図 実施形態３に係る画像処理システムのブロック図 実施形態３に係る画像処理システムのデータフロー図、及びサーバ装置のブロック図 実施形態３に係る前景背景生成部の処理例を示すフローチャート 実施形態１に係る画像処理装置のハードウェアの構成例を示す図

以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。なお、同一の構成については、同じ符号を付して説明する
＜実施形態１＞
本実施形態では、前景画像、背景画像を生成する画像処理装置を説明する。この画像処理装置は、仮想視点画像を生成する画像処理システムに用いられる。なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が仮想的な視点に対応するカメラ（仮想カメラ）の位置及び姿勢を入力又は操作することによって生成される画像である。このような仮想視点画像からなる映像は、自由視点映像又は任意視点映像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよい。また、仮想視点は、自動的に設定されてもよい。仮想視点画像の生成の際に、本実施形態の画像処理装置で生成される前景画像、背景画像が用いられる。

前景画像とは、カメラにより撮像されて取得された撮像画像から、オブジェクトの領域を抽出した画像である。オブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、また球技であればボールなど、コンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域の画像である。具体的には、背景画像は、入力画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールドなどである。ただし、背景としては少なくともオブジェクトとは異なる領域であり、撮影対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

また、本実施形態における画像は、画像データであって、必ずしもディスプレイ等の表示デバイスで表示させるために生成される、視認可能な画像でなくてもよい。

図１は、画像処理システムの概略構成図である。画像処理システム１００は、撮像対象であるフィールド１０５の周囲に配置された複数のカメラ（撮像装置）１０２ａ〜１０２ｘと、画像処理装置１０３と、を有する。複数のカメラ１０２ａ〜１０２ｘは、異なる方向からフィールド１０５を撮像するように配置されている。また、画像処理装置１０３は、カメラ１０２ａ〜１０２ｘと、不図示の配線で接続されている。図１では、カメラの台数は、２４台であるが、これに限られない。画像処理システムは、より多くの台数のカメラを有していてもいいし、より少ない台数のカメラしか有していなくてもよい。

カメラ１０２ａ〜１０２ｘで撮像されて取得された撮像画像は、画像処理装置１０３に集められ、画像処理装置１０３によって画像処理される。フィールド１０５は、例えばサッカーやラグビーなどの競技が行われる。また、競技が行われる際に、フィールド１０５上には、選手１０４やボール（不図示）が存在している。図１では、一人の選手しか図示していないが、一般に多くの競技において、選手は一人ではなく複数存在する。

本実施形態は、例えば、図１のカメラ１０２ｋ、１０２ｌ、１０２ｍのように、互いに近傍にある複数のカメラからの撮像画像を用いて、前景画像と背景画像を生成する手法を提案するものである。なお、カメラ１０２ｋ、１０２ｍは、カメラ１０２ｌの両隣に位置するカメラである。ただし、前景画像と背景画像を生成するために用いられる複数の撮像画像を取得する複数のカメラは、隣り合って配置されていなくてもよい。

図２（ａ）に、本実施形態の画像処理システムのブロック図を示す。画像処理装置１０３は、画像受信部２０１、前景背景生成部２０２、入力受付部２０３、仮想視点画像生成部２０４、送信部２０６、ストレージ２０５を有している。カメラ１０２ａ〜１０２ｘはすべて、画像処理装置１０３に、例えば伝送ケーブルなどを使って、スター型で接続されている。

画像受信部２０１は、伝送ケーブルを介して、カメラ１０２ａ〜１０２ｘにより撮像されて取得される撮像画像を受信する。画像受信部２０１は、その撮像画像を前景背景生成部２０２に伝送する。

前景背景生成部２０２は、画像受信部２０１から伝送された撮像画像に基づいて、前景画像と背景画像とを生成する。また、前景背景生成部２０２は、オブジェクトの領域を示すシルエット情報を取得する。前景背景生成部２０２は、生成した前景画像と背景画像、さらにオブジェクトの領域を示す領域情報であるシルエット画像を、仮想視点画像生成部２０４に伝送する。図２（ｂ）に、前景背景生成部２０２のブロック図を示す。前景背景生成部２０２は、変換画像生成部２１０と、差分画像生成部２１１と、シルエット画像生成部２１２と、前景画像生成部２１３と、背景画像生成部２１４と、を有している。前景背景生成部２０２が行う処理については後述する。

入力受付部２０３は、外部から仮想視点の指定を受け付ける。仮想視点の位置や方向などに関する情報を受け付ける。入力受付部２０３は、ユーザから、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を受け付ける。以後、これらの仮想カメラの位置、方向、画角等の情報を仮想カメラ情報とも称する。入力受付部２０３は、仮想視点画像生成部２０４に、仮想カメラ情報を伝送する。

仮想視点画像生成部２０４は、オブジェクトの３次元形状データを生成する。例えば、３次元形状データは、シルエット情報を用いたＶｉｓｕａｌ ＨＵＬＬ（視体積交差法）などの方法により生成される。また、仮想視点画像生成部２０４は、前景背景生成部２０２より伝送された前景画像と、背景画像と、自身で生成した３次元形状データと、をストレージ２０５に保存させる。また、仮想視点画像生成部２０４は、入力受付部２０３で取得した仮想カメラ情報に基づき、ストレージ２０５から前景画像と背景画像と３次元形状データを読み出す。そして、仮想視点画像生成部２０４は、３次元形状データに対して、仮想視点に対応する前景画像のテクスチャ情報に基づいてレンダリング処理を行い、仮想視点画像を生成する。また、仮想視点画像生成部２０４は、仮想視点画像に、例えば音声情報を加え、仮想視点コンテンツを生成するようにしてもよい。その場合、不図示のマイクで集音され、音声データとしてストレージ２０５に保存されていてもよい。そして、仮想視点の位置に最も近い位置のマイクに対応する音声データを読み出して、仮想視点コンテンツを生成するようにしてもよい。そして、仮想視点画像生成部２０４は、仮想視点画像、又は仮想視点コンテンツを送信部２０６に伝送する。

送信部２０６は、仮想視点画像生成部２０４で生成された仮想視点画像又は仮想視点コンテンツを外部に送信する。例えば、送信先としては、不図示の表示装置や外部のサーバなどである。

なお、本実施形態においては、図２（ａ）に示す画像処理装置１０３の各部は、ハードウェアにより構成されるものとするが、他の例としては、図２（ａ）に示す各部は、ソフトウェアにより実現されてもよい。この場合、画像処理装置１０３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を有している。そして、ＣＰＵがＲＯＭ格納されているプログラムを読み出し、このプログラムを実行することにより、図２（ａ）に示す各部が実現される。画像処理装置１０３が本実施形態の処理をＣＰＵなどのハードウェアを用いて実行する場合の画像処理装置１０３のハードウェア構成を図１３に示す。図１３に示すように、画像処理装置１０３は、ＣＰＵ１３０１、ＲＯＭ１３０２、ＲＡＭ１３０３、外部メモリ１３０４、及び、通信インタフェース１３０５が通信バス１３０７に接続されたハードウェア構成を採用しうる。この場合、ＣＰＵ１３０１が、所定のプログラムをＲＯＭ１３０２から読み出して実行することにより、図２（ａ）に示した各部の処理が実現される。また、画像処理装置１０３とカメラ１０２ａ〜１０２ｘとの通信は、ＣＰＵ１３０１が通信インタフェース１３０５を動作させることで実現される。

図３は、前景背景生成部２０２による前景分離処理の説明図である。ここでは、３つのカメラ３０１〜３０３で撮像された画像を用いて前景画像を分離する場合を例に説明する。図３（ａ）は、オブジェクト３００とカメラ３０１〜３０３の配置例を示す図である。カメラ３０１〜３０３は、オブジェクト３００を別々の方向から撮像する。また、この配置で撮像する際には、カメラ３０１の撮像画像に対して前景分離処理を行う。すなわち、前景分離処理においては、前景分離対象となる撮像画像を撮像するカメラ（カメラ３０１）の撮像画像と、その両隣に配置したカメラ（カメラ３０２、３０３）の撮像画像を用いる。なお、カメラ３０１〜３０３は、同期して同じタイミングでオブジェクト３００を撮像する。

図３（ｂ）は、３つのカメラ３０１〜３０３の撮像画像から、オブジェクトの領域を示すシルエット画像を生成する処理を示す図である。この処理には、カメラ３０１の撮像画像３０４、カメラ３０２の撮像画像３０５及びカメラ３０３の撮像画像３０６が用いられる。前景背景生成部２０２は、まずカメラ３０２の撮像画像３０５及びカメラ３０３の撮像画像３０６を、その撮像画像内の基準平面がカメラ３０１の撮像画像３０４の基準平面と重なり合うように射影変換する。この変換により、撮像画像３０５から変換画像３０７が生成され、撮像画像３０６から変換画像３０８が生成される。ここでいう基準平面とは、オブジェクトが位置する面を平面とみなした面のことである。例えばサッカーの試合であれば、オブジェクトは選手やボールであり、基準平面はサッカーフィールド（図１のフィールド１０５）である。ただし、一例としてサッカーの試合を述べたが、これに限定されない。基準平面は、競技種別やコンサートなどイベントなどに応じて定められるものとする。なお、射影変換において、基準平面を利用したが、これに限られない。カメラ３０２の撮像画像３０５及びカメラ３０３の撮像画像３０６内の少なくともオブジェクトの領域とは異なる領域が、カメラ３０１の撮像画像３０４のその領域と対応するように撮像画像３０５及び撮像画像３０６を射影変換すればよい。このため、背景の一部となる構造物などを利用して射影変換するようにしてもよい。

次に、前景背景生成部２０２は、カメラ３０１の撮像画像３０４とカメラ３０２の射影変換後の変換画像３０７とに基づいて差分画像３０９を生成する。差分画像とは、２つの画像を画素毎に比較し、差分の大きさが所定の閾値を超える画素に１ビットのフラグを立て、差分の大きさが閾値以下である画素の画素値を０とする２値画像である。同様に、前景背景生成部２０２は、カメラ３０１の撮像画像３０４とカメラ３０３の射影変換後の変換画像３０８とに基づいて差分画像３１０を生成する。この差分画像は、カメラ３０１の撮像画像３０４における前景候補領域を示すものとなる。

次に、前景背景生成部２０２は、差分画像３０９、３１０に基づいて、オブジェクトを示す領域情報であるシルエット画像３１１を生成する。この処理では、前景背景生成部２０２は、２つの差分画像３０９、３１０を、対応する画素毎に比較して、２つの差分画像の両方の画素にフラグが立っている場合、１ビットのフラグを立てる。この処理により、シルエット画像３１１は、カメラ３０１の撮像画像３０４における、基準平面そのもの以外の撮像内容の画素を示したシルエット画像となる。このシルエット画像が示す領域が、カメラ３０１の撮像画像３０４におけるオブジェクトを示す領域となる。

図３（ｃ）は、カメラ３０１の撮像画像３０４とシルエット画像３１１に基づいて、カメラ３０１の前景画像３１２を生成する処理を示す図である。前景背景生成部２０２は、撮像画像３０４のうち、シルエット画像３１１内でフラグが立っている画素を抽出することにより、カメラ３０１の前景画像３１２を生成する。前景画像３１２は、オブジェクトの領域を示す情報と、そのオブジェクトのテクスチャ情報とを含んでいる。なお、前景画像３１２において、オブジェクトの領域以外の部分は、データとしての意味はなく、例えば、このオブジェクトの領域に外接する長方形の領域と、その長方形の領域の画像内の位置を示すデータで置き換えてもよい。

図４は、前景背景生成部２０２による背景画像を生成する処理の制御を説明図である。ここでは、図３（ａ）で示したカメラ３０１に対応する背景画像を作成する手順を示している。具体的には、前景背景生成部２０２は、図３（ｂ）で示す、カメラ３０２の撮像画像３０５から射影変換された変換画像３０７と、カメラ３０３の撮像画像３０６から射影変換された変換画像３０８と、カメラ３０１の撮像画像３０４を用いて、背景画像を生成する。

図４で変換画像４０１、４０２それぞれは、図３（ｂ）で示す変換画像３０７、３０８と対応するものであるが、説明のために、変換画像３０７、３０８に破線で囲まれた領域４０３、４０４を記している。この領域は、上述したシルエット画像３１１におけるオブジェクトの領域を示しており、カメラ３０１の撮像画像３０４中のオブジェクトの領域を示している。

ここで、カメラ３０１とカメラ３０２の視差に着目する。この視差により、カメラ３０１の撮像画像３０４とカメラ３０２の変換画像４０１において、画像上のオブジェクトの位置が互いにずれている。そして、変換画像４０１における領域４０３は、撮像画像３０４のオブジェクトにより撮像されない背景部分に相当する。同様に、カメラ３０１とカメラ３０３の視差により、カメラ３０１の撮像画像３０４とカメラ３０３の変換画像４０２において、画像上のオブジェクトの位置も互いにずれている。このため、変換画像４０２における領域４０４は、撮像画像３０４のオブジェクトにより撮像されない背景部分に相当する。

前景背景生成部２０２は、変換画像４０１、４０２それぞれから領域４０３、４０４の画素値で、撮像画像３０４のオブジェクトの領域４０５の画素値に置換することにより、撮像画像３０４におけるオブジェクトが消えた背景画像４０６が生成される。背景画像４０６において、破線で示す領域４０７は、領域４０３、４０４の画素値により置換された領域を示す。なお、背景画像４０６を生成する際に、領域４０３、４０４が重複する場合には、いずれか一方の画素値を用いてもよいし、両方の画素値を平均して画素値を算出するようにしてもよい。また、背景画像４０６は、変換画像４０１、４０２の一方と、シルエット画像３１１を用いて生成されてもよい。

このように、隣のカメラの視差を利用して、精度の高い前景画像及び背景画像を生成することができる。

図５は、前景背景生成部２０２が行う前景画像及び背景画像を生成する処理制御を示すフローチャートである。図２（ｂ）と図５を用いて、前景背景生成部２０２が行う処理について説明を行う。

Ｓ５０１において、変換画像生成部２１０は、画像受信部２０１で受信した撮像画像を取得する。Ｓ５０２において、変換画像生成部２１０は、あるカメラ（以下、基準カメラという）の撮像画像に対して、前景画像及び背景画像を生成する場合、以下の処理を行う。すなわち、変換画像生成部２１０は、基準カメラの両隣のカメラの撮像画像を、画像内の基準平面が基準カメラの撮像画像と重なり合うように射影変換し、変換画像を生成する。

Ｓ５０３において、差分画像生成部２１１は、基準カメラの撮像画像と、Ｓ５０２で生成された基準カメラの両隣のカメラの変換画像とに基づいて、２つの差分画像を生成する。差分画像は、上述したように２値画像である。Ｓ５０４において、シルエット画像生成部２１２は、Ｓ５０３で生成された２つの差分画像に基づいて、シルエット画像を生成する。この処理では、シルエット画像生成部２１２は、２つの差分画像を、対応する画素毎に比較して、２つの差分画像の両方の画素にフラグが立っている場合、１ビットのフラグを立てる。

Ｓ５０５において、前景画像生成部２１３は、基準カメラの撮像画像とＳ５０４で生成されたシルエット画像に基づいて、基準カメラの前景画像を生成する。前景画像生成部２１３は、基準カメラの撮像画像のうち、シルエット画像内でフラグが立っている画素を抽出することにより、基準カメラの前景画像を生成する。

Ｓ５０６において、背景画像生成部２１４は、Ｓ５０２で生成された基準カメラの両隣のカメラの変換画像から、基準カメラの撮像画像におけるオブジェクトに対応する領域の背景領域を抽出する。具体的には、背景画像生成部２１４は、変換画像から、Ｓ５０４で生成したシルエット画像を用い、シルエット画像内でフラグが立っている画素を抽出する。

Ｓ５０７において、背景画像生成部２１４は、Ｓ５０６で抽出した背景領域の画素値に基づいて、背景画像を生成する。この処理では、抽出した背景領域の画素値を、対応する基準カメラの撮像画像のオブジェクトの領域に上書きすることで、オブジェクトの領域を消している。このようにして、本実施形態では、前景画像と背景画像が生成される。

前景画像と背景画像は、すべてのカメラにおいて生成されることが望ましいが、一部のカメラにおいてのみ生成されてもよい。また、前景画像と背景画像は、同じ頻度で生成さことにより背景画像の時間応答が高速になるが、背景の状態が短時間で変化しないような場合においては、背景画像の生成頻度は、前景画像の生成頻度よりも少なくてもよい。

この前景画像と背景画像を用いて、後段の仮想視点画像生成部２０４により仮想視点画像が生成される。

このように、本実施形態によれば、前景となる人物などが存在する状態でフィールドが異なる方向から同時に撮像されて取得される複数の撮像画像を用いて、背景画像が生成される。このため、仮想視点画像により適した、不自然ではない前景画像と背景画像を得ることができる。

なお、本実施形態で生成された背景画像は、撮像画像と背景画像との差分から前景画像を抽出する方法にも適用することができる。例えば、ある撮像タイミングで撮像した撮像画像に基づいて本実施形態の方法で生成した背景画像を用いて、次の撮像タイミングで撮像した撮像画像から前景画像を抽出するようにしてもよい。この場合には、前景画像の抽出に利用される背景画像と撮像画像との撮像タイミングが近く、日照条件などによる影響を低減でき、精度のよい前景画像を抽出することができる。

＜実施形態２＞
実施形態１では、基準カメラとその両隣のカメラとの視差情報を利用して、前景画像と背景画像を生成する形態を説明した。本実施形態では、それに限らず、視差情報を与える視差の大きさを適正なものとする方法を説明する。なお、本実施形態の画像処理システムは、実施形態１と同様であり、その構成は図１、２で示されている。

図６（ａ）を用いて、カメラ間の視差情報が不足する場合の例を説明する。図６（ａ）の例においては、前景画像と背景画像を生成する基準となる基準カメラの撮像画像６０１と、それとは異なるカメラの撮像画像が射影変換された変換画像６０２、６０３とを用いて、背景画像を生成する例を示す。

視差が小さいと、変換画像６０２、６０３と、撮像画像６０１とのオブジェクトに相当する部分の位置ずれが小さくなる。そのため、変換画像６０２、６０３の破線で示した領域６０４、６０５にもオブジェクトが含まれるため、その領域６０４、６０５の画素値を用いても、撮像画像６０１内のオブジェクトの領域を消しきることができない。そのため、背景画像６０６において、オブジェクトを示す部分６０７が残ってしまい、高精度で背景画像を生成することができなくなる。このような部分６０７を以下「前景消し残り」と表現する。

図６（ｂ）は、背景画像の生成の際に使用するカメラの視差の大きさと上述した「前景消し残り」の量との一般的な関係を示す。横軸は、カメラ間の視差を示す視点間角度であり、縦軸は、前景消し残りの量を示している。傾向としては、視差が小さいほど、前景消し残りが増加する。ただし、上述した傾向を示さない場合も考慮すると、視点間角度の値を、近似曲線の極小値もしくは、所定の閾値以下になるように設定することが望ましい。例えば、後者の閾値を用いる例では、視点間角度がＣ、Ｄの場合となるように視点間角度を設定すればよい。

以下では、図７、図８を用いて、前景画像と背景画像を生成する際に使用するカメラの選択方法に重点を置いて説明する。図７は、本実施形態の前景背景生成部７０１のブロック図を示す。図２（ｂ）で示す実施形態１の前景背景生成部２０２とは、選択部７０２と判定部７０３を有する点が異なる。図８は、本実施形態の前景背景生成部７０１の処理制御を示すフローチャートである。概要としては、前景画像と背景画像を生成する基準カメラとその両隣のカメラを用いて、前景画像と背景画像を生成し、前景消し残り量が所定の条件を満たさない場合には、両隣のカメラに代えて、基準カメラを基準に、一個ずつ外側のカメラを参照する。そして、前景消し残り量が所定の条件を満たすまで繰り返し、前景消し残り量が所定の条件を満たせば、そのカメラを確定するという手法をとる。なお、所定の条件を満たさなかった場合は、全ての組み合わせの中で最も良いカメラの組み合わせを確定する。以下、図７、図８に従って、説明する。

Ｓ８０１において、選択部７０２は、背景画像を生成する基準となるカメラを第１のカメラとして選択する。これは、図３（ａ）で示すカメラ３０１を第１のカメラとして選択することに相当する。

Ｓ８０２において、選択部７０２は、基準となる第１のカメラの左隣のカメラを第２のカメラとして選択する。これは、図３（ａ）で示すカメラ３０２を第２のカメラとして選択することに相当する。

同様に、Ｓ８０３において、選択部７０２は、基準となる第１のカメラの右隣のカメラを第３のカメラとして選択する。これは、図３（ａ）で示すカメラ３０３を第３のカメラとして選択することに相当する。

Ｓ８０４において、前景背景生成部２０２は、実施形態１で述べた方法で、前景画像と背景画像を生成する。まず、変換画像生成部２１０は、選択部７０２により選択された第２のカメラと第３のカメラそれぞれの撮像画像を、その撮像画像内の基準平面が、第１のカメラの撮像画像内の基準平面と基準平面と重なり合うように射影変換して変換画像を生成する。そして、差分画像生成部２１１は、第１のカメラの撮像画像と第２のカメラの変換画像と第３のカメラの変換画像とを用いて、差分画像を生成する。そして、シルエット画像生成部２１２は、差分画像を用いてオブジェクトのシルエット画像を生成する。そして、このシルエット画像を用いて、前景画像生成部２１３は、第１のカメラの撮像画像からオブジェクトを示す領域を抽出し、前景画像を生成する。また、背景画像生成部２１４は、シルエット画像を用いて、まず、変換画像から、第１のカメラの撮像画像におけるオブジェクトの領域に相当する画素値を抽出する。そして、背景画像生成部２１４は、抽出された画素値で、第１のカメラの撮像画像のオブジェクトの領域の画素値を置換し、背景画像を生成する。

Ｓ８０５において、判定部７０３は、前景消し残り量に相当する指標を算出する。具体的には、判定部７０３は、Ｓ８０４で生成したシルエット画像内のオブジェクトの部分（画素値が１である部分）の面積を指標として算出する。この面積が大きくなるということは、第１のカメラの撮像画像のオブジェクトの領域に相当する領域が、差分画像において多く残っていることを意味している。これは、視点間角度がより大きいカメラの組み合わせを用いてシルエット画像が生成されることを意味し、前景消し残り量が小さくなることを意味している。前景消し残り量に相当する指標は、シルエット画像内のオブジェクトの部分の面積そのものの他、シルエット画像に占めるシルエット画像内のオブジェクトの部分の面積の割合などを用いることができる。なお、前景消し残り量に相当する指標は、前景消し残り量の大小関係が判別できる指標であれば何でもよい。

Ｓ８０６において、判定部７０３は、Ｓ８０５で算出した指標が所定の条件を満たすか否かを判定する。例えば、所定の条件とは、所定の閾値以下という条件である。Ｓ８０６でＹＥＳの場合は、Ｓ８０９に進み、Ｓ８０４で生成した前景画像と背景画像が、第１のカメラに対応する前景画像と背景画像として確定される。

Ｓ８０６でＮＯの場合は、Ｓ８０７に進む。Ｓ８０７において、判定部７０３は、全カメラを選択したか否かを判定する。Ｓ８０７でＮＯの場合は、Ｓ８１０に進む。

Ｓ８１０において、選択部７０２は、第１のカメラの左隣にあるカメラに代えて、そのさらに１つ左にあるカメラを第２のカメラとして選択する。これにより、第１のカメラと今回選択された第２のカメラとの視差間角度が、第１のカメラと前回選択された第２のカメラとの視差間角度より大きくなるように選択することになる。

Ｓ８１１において、選択部７０２は、第１のカメラの右隣にあるカメラに代えて、そのさらに１つ右にあるカメラを第３のカメラとして選択する。これにより、第１のカメラと今回選択された第３のカメラとの視差間角度が、第１のカメラと前回選択された第３のカメラとの視差間角度より大きくなるように選択することになる。

そして、Ｓ８０４に戻り、第１のカメラの撮像画像と、Ｓ８１０で選択された新たな第２のカメラの撮像画像と、Ｓ８１１で選択された新たな第３のカメラの撮像画像とを用いて、前景画像と背景画像が生成される。その方法は上述したので、ここでは省略する。

Ｓ８０７でＹＥＳの場合は、Ｓ８０８に進む。Ｓ８０８において、選択部７０２は、複数の第２のカメラと第３のカメラの組み合わせのうち、Ｓ８０５で算出した評価値が最も大きくなる組み合わせを選択する。

Ｓ８０９においては、Ｓ８０８で選択されたカメラの組み合わせを用いて生成した前景画像と背景画像が、第１のカメラに対応する前景画像と背景画像として確定される。

この一連の処理は、任意の第１のカメラに対応する前景画像と背景画像を確定させる処理について説明したものであるが、全カメラまたは特定の複数のカメラを順に第１のカメラとして選択して、全カメラの前景画像と背景画像を確定させるようにしてもよい。

また、Ｓ８０６で示す所定の条件として、前回のカメラの組み合わせで算出した評価値に対する増加率が閾値以下であるという条件であってもよい。この場合には、より精度の高い背景画像を確定することができる。また、前回のカメラの組み合わせで算出した評価値に対する増加率が閾値以下である条件の場合、前回のカメラの組み合わせで生成した前景画像と背景画像を第１のカメラの前景画像と背景画像として確定してもよい。さらに、所定の条件として、所定の閾値以下である条件と前回のカメラ組み合わせで算出した評価値に対する増加率が閾値以下であるという条件の両方を条件としてもよい。

また、Ｓ８１０とＳ８１１を両方行うフローを示したが、まずＳ８１０を行ってＳ８１１を行わずに、新たなカメラの組み合わせを用いて評価値を算出してもよい。その場合、次に、Ｓ８１０を行わずにＳ８１１を行って新たなカメラの組み合わせを用いて評価値を算出するようにしてもよい。

本実施形態においては、上記のように、前景消し残りを低減して、より精度の高い背景画像を選択することができる。

＜実施形態３＞
実施形態１では、カメラと画像処理装置とがスター型で接続された形態を説明した。本実施形態では、カメラごとに画像処理装置が配置され、それらを含むセンサシステムが、デイジーチェーン型で接続された形態について説明する。なお、本実施形態においては、カメラと画像処理装置が一体となった構成でもよい。

図９は、画像処理システム９００の全体図である。画像処理システム９００は、フィールド９７０の周りに配置された複数のカメラ９１０ａ〜９１０ｐと、各カメラ９１０ａ〜９１０ｐに接続したアダプタ９２０ａ〜９２０ｐと、サーバ装置９５０とを有している。また、アダプタ９２０ａ〜９２０ｐは、それぞれカメラ９１０ａ〜９１０ｐに対応して設けられた画像処理装置の一例である。各カメラ９１０ａ〜９１０ｐとそれぞれに対応するアダプタ９２０ａ〜９２０ｐの間は、それぞれ伝送ケーブル９３０ａ〜９３０ｐで接続されている。伝送ケーブル９３０ａ〜９３０ｐは、例えばＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルにより実現する。アダプタ９２０ａ〜９２０ｐは、伝送ケーブル９６０を介してデイジーチェーン接続している。さらに、サーバ装置９５０は、伝送ケーブル９６０を介して、アダプタ９２０ａ、９２０ｐと接続している。なお、伝送ケーブル９６０は、例えばＥｔｈｅｒｎｅｔケーブルで実現する。

カメラ９１０ａ、アダプタ９２０ａ及び伝送ケーブル９３０ａで構成した単位をまとめてセンサシステム９４０ａと称する。同様に、カメラ９１０ｂ〜９１０ｐ、アダプタ９２０ａ〜９２０ｐ及び伝送ケーブル９３０ｂ〜９３０ｐで構成された単位をセンサシステム９４０ｂ〜９４０ｐと称する。画像処理システム９００は、フィールド９７０を、その周囲に配置された複数のセンサシステム９４０ａ〜９４０ｐにより複数の方向から撮像し、撮像した画像群に画像処理を施すことで、任意の視点からの画像を再構成してユーザに提供するシステムである。この画像の再構成処理は、アダプタ９２０ａ〜９２０ｐとサーバ装置９５０により行う。なお、画像処理システム９００は、複数のセンサシステムを有していればよく、その数は、本実施形態に限定されるものではない。また、以下、複数のカメラ９１０ａ〜９１０ｐはいずれも同一の装置であり、これらを区別する必要がない場合には、適宜、単にカメラ９１０と称する。同様に、アダプタ９２０ａ〜９２０ｐは、同一の装置であり、これらを区別する必要がない場合には、適宜、単にアダプタ９２０と称する。

画像の再構成のための処理ステップは、種々の方法があるが、本実施形態では、次のとおりとする。アダプタ９２０においては、アダプタ９２０と対になるカメラ９１０の撮像画像及びその両隣に配置されたカメラ９１０の撮像画像を用いて、フィールド９７０における前景画像と背景画像を生成し、サーバ装置９５０への伝送処理を行う。サーバ装置９５０では、各アダプタ９２０から伝送された各カメラ９１０の撮像位置における前景画像群より、任意の視点からの画像の再構成処理を行う。

これらの処理を行うために、画像処理システム９００は、フィールド９７０の周囲に配置した、センサシステム９４０のアダプタ９２０を伝送ケーブル９６０によりデイジーチェーン接続した構成とする。そして、アダプタ９２０は、各カメラ９１０の撮像画像から前景画像と背景画像を生成する処理に必要なデータと、各カメラ９１０の撮像画像から抽出した前景画像を伝送する。デイジーチェーン型の接続の場合は、膨大な数のケーブルが必要となるスター型の接続に比較して、圧倒的に少ないケーブル数で接続が可能となる。

図１０（ａ）は、センサシステム９４０内のアダプタ９２０の構成図である。アダプタ９２０は、入力部１００１と、信号生成部１００２と、受信部１００３と、前景背景生成部１００４と、送信部１００５と、を有している。アダプタ９２０は、信号生成部１００２から、撮像のための同期信号をカメラ９１０に対して出力する。カメラ９１０は入力された同期信号に合わせて撮像し、撮像画像をアダプタ９２０に対して入力部１００１を介して出力する。そして、アダプタ９２０は、伝送ケーブルを介して、両隣のアダプタ９２０との間でデータの送受信を行う。具体的には、デイジーチェーン型で接続した上流の他のセンサシステムから撮像画像、前景画像と背景画像の生成に必要なデータ、上流の他のセンサシステムで生成された前景画像と背景画像を、受信部１００３で受信する。そして、下流の他のセンサシステムに対して、カメラ９１０で撮像した撮像画像、下流の他のセンサシステムで前景画像と背景画像を生成するために必要なデータ、自身で生成した前景画像と背景画像を送信部１００５を介して送信する。

信号生成部１００２は、カメラ９１０に対して出力する同期信号を生成する。同期信号は、撮像タイミング及びタイムスタンプからなる。撮像タイミングは、画像処理システム９００を構成する全てのカメラ９１０で同期して撮像するために生成されるものである。信号生成部１００２は、例えば全てのアダプタ９２０をＰＴＰにより同期させ、同一時刻に撮像タイミングを生成する。ここで、ＰＴＰとは、Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌの略称である。各アダプタ９２０において同一時刻に生成した撮像タイミングに対して同一のタイムスタンプを付与する。これにより、複数のカメラ９１０が同一タイミングで撮像された撮像画像には、同一のタイムスタンプが付与される。なお、タイムスタンプの付与には、タイムコードが用いられる。タイムコードとしては、例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）１２Ｍで規定されるＬＴＣ（Ｌｉｎｅａｒ ＴｉｍｅＣｏｄｅ）等が挙げられる。

カメラ９１０は、同期信号を用いて撮像処理を行う。カメラ９１０で撮像された撮像画像は、アダプタ９２０に対して入力部１００１を介して入力される。入力部１００１は、カメラ９１０の撮像画像を、前景背景生成部１００４及び送信部１００５に対して出力する。

前景背景生成部１００４は、撮像画像と、他のセンサシステムから受信部１００３を介して受信するデータを用いて、前景画像と背景画像を生成する。そして、前景背景生成部１００４は、処理結果を、送信部１００５に対して出力する。また、図１０（ｂ）は、前景背景生成部１００４の機能をブロック図で示した図である。前景背景生成部１００４は、変換画像生成部１０１０と、差分画像生成部１０１１と、シルエット画像生成部１０１２と、前景画像生成部１０１３と、背景画像生成部１０１４と、を有している。前景背景生成部１００４が行う処理、及び前景背景生成部１００４が授受するデータについては、後述する。

受信部１００３は、上流の他のセンサシステムから受信したデータを前景背景生成部１００４に受け渡す処理を行う。データの受信は、受信先に対して接続された伝送ケーブルを介して行う。受信部１００３が授受するデータについても、前景背景生成部１００４が行う処理の説明と合わせて後述する。

送信部１００５は、入力部１００１及び前景背景生成部１００４から出力されたデータを下流の他のセンサシステムに対して送信する処理を行う。データの送信は、送信先に対して接続された伝送ケーブルを介して行う。

なお、本実施形態においては、図１０（ａ）に示すアダプタ９２０の各部は、ハードウェアにより構成されるものとするが、他の例としては、図１０（ａ）に示す各部は、ソフトウェアにより実現されてもよい。この場合、アダプタ９２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有している。そして、ＣＰＵがＲＯＭ格納されているプログラムを読み出し、このプログラムを実行することにより、図１０（ａ）に示す各部が実現される。アダプタ９２０が本実施形態の処理をＣＰＵなどのハードウェアを用いて実行する場合のアダプタ９２０のハードウェア構成は、図１３の画像処理装置１０３と同様であるため、ここでは省略する。なお、アダプタ９２０と他のアダプタとの間の通信は、ＣＰＵが通信インタフェースを動作させることで実現される。

図１１（ａ）は、センサシステム９４０間のデータフローと、センサシステム９４０とサーバ装置９５０の間のデータフローの説明図である。図１１（ａ）を参照し、複数のセンサシステム９４０ｍ〜９４０ｐとサーバ装置９５０の間のデータフローについて説明する。画像処理システム１００においては、サーバ装置９５０からより遠くに存在するアダプタ９２０から、サーバ装置９５０により近いアダプタ９２０に対して順番に、前景画像と背景画像の生成処理に必要なデータが伝送される。

図１１（ａ）の例では、アダプタ９２０ｍは、伝送ケーブル９６０を介して伝送データ１１００ｍをアダプタ９２０ｎに送信する。アダプタ９２０ｎは、伝送ケーブル９６０を介して伝送データ１１００ｎをアダプタ９２０ｏに送信する。アダプタ９２０ｏは、伝送ケーブル９６０を介して伝送データ１１００ｏをアダプタ９２０ｐに送信する。アダプタ９２０ｐは、伝送ケーブル９６０を介して伝送データ１１００ｐをサーバ装置９５０に送信する。伝送データについては、前景背景生成部１００４が行う処理の説明と合わせて後述する。

図１１（ｂ）は、サーバ装置９５０の機能を行うブロック図である。サーバ装置９５０は、画像受信部１１０１と、仮想視点画像生成部１１０２と、画像出力部１１０３と、ストレージ１１０４と、を有している。画像受信部１１０１は、センサシステム９４０のアダプタ９２０から送信される伝送データを受信する。この伝送データには、撮像画像、前景画像、背景画像、シルエット画像が含まれる。

入力受付部１１０５は、外部から仮想視点の指定を受け付ける。仮想視点の位置や方向などに関する情報を受け付ける。入力受付部１１０５は、ユーザから、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を受け付ける。以後、これらの仮想カメラの位置、方向、画角等の情報を仮想カメラ情報とも称する。入力受付部１１０５は、仮想視点画像生成部１１０２に、仮想カメラ情報を伝送する。

仮想視点画像生成部１１０２は、オブジェクトの３次元形状データを生成する。例えば、３次元形状データは、シルエット画像を用いたＶｉｓｕａｌ ＨＵＬＬ（視体積交差法）などの方法により生成される。また、仮想視点画像生成部１１０２は、アダプタ９２０より伝送された前景画像と、背景画像と、生成した３次元形状データと、をストレージ１１０４に保存させる。また、仮想視点画像生成部１１０２は、入力受付部２０３で取得した仮想カメラ情報に基づき、ストレージ１１０４から前景画像と背景画像と３次元形状データを読み出す。そして、仮想視点画像生成部１１０２は、３次元形状データに対して、仮想視点に対応する前景画像のテクスチャ情報に基づいてレンダリング処理を行い、仮想視点画像を生成する。また、仮想視点画像生成部１１０２は、仮想視点画像に、例えば音声情報を加え、仮想視点コンテンツを生成するようにしてもよい。その場合、不図示のマイクで集音され、音声データとしてストレージ１１０４に保存されていてもよい。そして、仮想視点の位置に最も近い位置のマイクに対応する音声データを読み出して、仮想視点コンテンツを生成するようにしてもよい。そして、仮想視点画像生成部１１０２は、仮想視点画像、又は仮想視点コンテンツを画像出力部１１０３に伝送する。

画像出力部１１０３は、仮想視点画像生成部１１０２で生成された仮想視点画像又は仮想視点コンテンツを外部に送信する。例えば、送信先としては、不図示の表示装置や外部のサーバなどである。

図１２は、前景背景生成部１００４が行う前景画像及び背景画像を生成する処理制御を示すフローチャートである。図１０（ｂ）、図１１（ａ）、図１２を用いて、前景背景生成部１００４の処理について説明する。

Ｓ１２０１において、変換画像生成部１０１０は、入力部１００１に入力されるカメラ９１０ｐの撮像画像を取得する。この撮像画像を撮像画像（ｐ）と表記する。Ｓ１２０２において、変換画像生成部２１０は、カメラ９１０ｏの撮像画像の画像内の基準平面が、両隣のカメラ９１０ｎ、９１０ｐの撮像画像内の基準平面と重なり合うようにカメラ９１０ｏの撮像画像を射影変換し、２つの変換画像を生成する。この２つの変換画像を変換画像（ｏ→ｎ）と変換画像（ｏ→ｐ）と表記する。変換画像（ｏ→ｎ）は、図３の変換画像３０７に相当する。

Ｓ１２０３において、差分画像生成部１０１１は、受信部１００３が１つ上流のセンサシステムから受信した、カメラ９１０ｎの撮像画像（以下、撮像画像（ｎ）と表記する）を取得する。この撮像画像（ｎ）は、図３の撮像画像３０４に相当する。また、差分画像生成部１０１１は、受信部１００３が、１つ上流のセンサシステムが受信した２つ上流のアダプタにより生成された変換画像を取得する。この変換画像は、カメラ９１０ｍの撮像画像の画像内の基準平面が９１０ｏの撮像画像内の基準平面と重なり合うように射影変換された画像である。この変換画像を変換画像（ｍ→ｎ）と表記する。変換画像（ｍ→ｎ）は、図３の変換画像３０８に相当する。

Ｓ１２０４において、差分画像生成部１０１１は、２つの差分画像を生成する。具体的には、Ｓ１２０２で生成した変換画像（ｏ→ｎ）とＳ１２０３で取得した撮像画像（ｎ）とを用いて、差分画像を生成する。この差分画像は、差分画像（ｏ→ｎ）と表記する。また、Ｓ１２０３で取得した撮像画像（ｎ）と変換画像（ｍ→ｎ）とを用いて、差分画像を生成する。この差分画像は、差分画像（ｍ→ｎ）と表記する。差分画像（ｏ→ｎ）、差分画像（ｍ→ｎ）はそれぞれ、図３の差分画像３０９、差分画像３１０に相当する。

Ｓ１２０５において、シルエット画像生成部１０１２は、Ｓ１２０４で生成された２つの差分画像（ｏ→ｎ）と差分画像（ｍ→ｎ）に基づいて、シルエット画像を生成する。このシルエット画像をシルエット画像（ｎ）と表記する。この処理では、シルエット画像生成部１０１２は、２つの差分画像を、対応する画素毎に比較して、２つの差分画像の両方の画素にフラグが立っている場合、１ビットのフラグを立てる。なお、シルエット画像（ｎ）は、図３のシルエット画像３１１に相当する。

Ｓ１２０６において、前景画像生成部１０１３は、受信部１００３が受信した撮像画像（ｎ）と、Ｓ１２０５で生成されたシルエット画像（ｎ）とに基づいて、カメラ９１０ｎの前景画像を生成する。前景画像生成部１０１３は、カメラ９１０ｎの撮像画像のうち、シルエット画像（ｎ）内でフラグが立っている画素を抽出することにより、カメラ９１０ｎの前景画像を生成する。

Ｓ１２０７において、背景画像生成部１０１４は、受信部１００３が受信した変換画像（ｍ→ｎ）と、Ｓ１２０２で生成された変換画像（ｏ→ｎ）とを用いて、カメラ９１０ｎの撮像画像（ｎ）におけるオブジェクトに対応する領域の背景領域の画素値を抽出する。具体的には、背景画像生成部１０１４は、変換画像（ｍ→ｎ）と変換画像（ｏ→ｎ）から、Ｓ１２０５で生成したシルエット画像（ｎ）を用い、シルエット画像（ｎ）内でフラグが立っている画素を抽出する。

Ｓ１２０８において、背景画像生成部１０１４は、Ｓ１２０７で抽出した背景領域の画素値に基づいて、背景画像を生成する。この処理では、抽出した背景領域の画素値を、対応するカメラ９１０ｎの撮像画像（ｎ）のオブジェクトの領域に上書きすることで、オブジェクトの領域を消している。

Ｓ１２０９において、Ｓ１２０６で生成された前景画像と、Ｓ１２０８で生成された背景画像と、Ｓ１２０５で生成されたシルエット画像（ｎ）とを送信部１００５に出力する。

このようにして、本実施形態では、図１１（ａ）のアダプタ９２０ｏにおいて、１つ上流に位置するカメラ９１０ｎの前景画像と背景画像が生成される。これをすべてのアダプタで行うことで、各カメラの前景画像と背景画像が生成される。ただし、最も下流に位置するカメラの前景画像と背景画像は、サーバ装置９５０で生成するようにする。このため、サーバ装置９５０は、上述した前景背景生成部の機能を有している（不図示）。

なお、上記では、カメラにより取得された撮像画像から、そのカメラと対応するアダプタ内の変換画像生成部において２つの変換画像が生成されたが、この２つの変換画像の少なくとも一方は１つ下流のアダプタ内の変換画像生成部で生成されるようにしてもよい。

また、本実施形態のアダプタは、２つ上流のアダプタで生成された変換画像と１つ上流のアダプタに対応するカメラの撮像画像とを受信する構成を示した。しかし、１つ上流のアダプタにおいて、２つ上流のアダプタで生成された変換画像と１つ上流のアダプタに対応するカメラの撮像画像との差分画像を生成するようにしてもよい。この構成により、送信するデータ量を削減することができる。

また、前景画像及び背景画像の生成に用いられる複数の撮像画像は、互いに近傍に位置するカメラで取得された撮像画像でなくてもよい。

本実施形態によれば、画像処理装置であるアダプタが複数あって、それらがデイジーチェーン型で接続する場合であっても、適切な背景画像を生成することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によっても実現可能である。

１０３ 画像処理装置
２０１ 画像受信部
２１２ シルエット画像生成部
２１４ 背景画像生成部

Claims (19)

1. 仮想視点画像を生成するために用いられる、異なる方向からの撮像により取得される複数の撮像画像に基づいて少なくともオブジェクトとは異なる背景を表す背景画像を生成する画像処理装置であって、
   前記異なる方向からの撮像により取得された第１撮像画像と第２撮像画像とを含む前記複数の撮像画像を取得する取得手段と、
   前記取得手段により取得された前記第１撮像画像と前記第２撮像画像とに基づいて、前記第１撮像画像におけるオブジェクトの領域を示す領域情報を生成する第１生成手段と、
   前記取得手段により取得された前記第１撮像画像と前記第２撮像画像と、前記第１生成手段により生成されたオブジェクトの領域を示す領域情報とに基づいて、少なくとも前記オブジェクトとは異なる背景を表す背景画像を生成する第２生成手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段により取得された前記第２撮像画像を射影変換して画像を生成する第３生成手段を、さらに有し、
   前記第２生成手段は、前記取得手段により取得された第１撮像画像と、前記第３生成手段により生成された画像と、前記第１生成手段により生成されたオブジェクトの領域を示す領域情報とに基づいて、前記背景画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２生成手段は、前記第１生成手段により生成されたオブジェクトの領域を示す領域情報に基づいて、前記第３生成手段により生成された画像から前記オブジェクトの領域に対応する画素値を取得し、前記画素値と、前記取得手段により取得された前記第１撮像画像とに基づいて、前記背景画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２生成手段は、前記取得手段により取得された前記第１撮像画像における前記オブジェクトの領域に対応する画素の画素値を、前記第３生成手段により生成された画像から取得された前記画素値に置き換えて、前記背景画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記第３生成手段により生成された画像は、前記第２撮像画像の少なくとも前記オブジェクトの領域とは異なる領域を、前記第１撮像画像の少なくとも前記オブジェクトの領域とは異なる領域と対応するように前記第２撮像画像が射影変換された画像であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１生成手段は、前記取得手段により取得された第１撮像画像と、前記第３生成手段により生成された画像とに基づいて、オブジェクトの領域を示す領域情報を生成することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記複数の画像は、前記第１撮像画像と前記第２撮像画像を取得するための撮像における方向とは異なる方向からの撮像により取得された第３撮像画像を含み、
   前記第３生成手段は、前記取得手段により取得された前記第３撮像画像に基づいて画像を生成し、
   前記第１生成手段は、前記取得手段により取得された前記第１撮像画像と、前記第２撮像画像に基づき前記第３生成手段により生成された画像と、前記第３撮像画像に基づき前記第３生成手段により生成された画像とに基づいて、前記オブジェクトの領域を示す領域情報を生成することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１生成手段は、前記取得手段により取得された第１撮像画像と前記第２撮像画像に基づき前記第３生成手段により生成された画像との差分画像と、前記取得手段により取得された第１撮像画像と前記第３撮像画像に基づき前記第３生成手段により生成された画像との差分画像とに基づいて、前記オブジェクトの領域を示す領域情報を生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、前記第１撮像画像を取得する第１取得手段と、前記第２撮像画像を取得する第２取得手段とを有し、
   前記第１取得手段は、別の第１画像処理装置に対応する撮像装置により取得された前記第１撮像画像を取得し、
   前記第２取得手段は、前記画像処理装置に対応する撮像装置により取得された第２撮像画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第１取得手段は、別の第２画像処理装置に対応する撮像装置により取得された撮像画像に基づく画像をさらに取得することを特徴とする請求項９に記載の画像処理装置。
11. 前記画像処理装置と前記別の第１画像処理装置とは、デイジーチェーン型で接続されていることを特徴とする請求項９に記載の画像処理装置。
12. 前記第２撮像画像は、前記第１撮像画像を取得する撮像装置の隣に配置された撮像装置により取得されることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第１生成手段が生成するオブジェクトの領域を示す領域情報に基づく指標に基づいて、前記複数の撮像画像から前記第２撮像画像を選択する選択手段をさらに有し、
    前記第１生成手段は、前記第１撮像画像と前記選択手段により選択された第２撮像画像とに基づいて、前記第１撮像画像におけるオブジェクトの領域を示す領域情報を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
14. 前記オブジェクトは、同じ方向から時系列で前記撮像を行った場合の各画像内においてその位置が変化し得る動体であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 仮想視点画像を生成するために用いられる、異なる方向からの撮像により取得される複数の撮像画像に基づいて少なくともオブジェクトとは異なる背景を表す背景画像を生成する画像処理装置の制御方法であって、
    異なる方向からの撮像により取得された第１撮像画像と第２撮像画像とを含む複数の撮像画像を取得する取得工程と、
    前記取得工程により取得された前記第１撮像画像と前記第２撮像画像とに基づいて、前記第１撮像画像におけるオブジェクトの領域を示す領域情報を生成する第１生成工程と、
    前記取得工程により取得された前記第１撮像画像と前記第２撮像画像と、前記第１生成工程により生成されたオブジェクトの領域を示す領域情報とに基づいて、少なくともオブジェクトとは異なる背景を表す背景画像を生成する第２生成工程と、を有することを特徴とする制御方法。
16. 前記取得工程により取得された前記第２撮像画像を射影変換して画像を生成する第３生成工程を、さらに有し、
    前記第２生成工程は、前記取得工程により取得された第１撮像画像と、前記第３生成工程により生成された画像と、前記第１生成工程により生成されたオブジェクトの領域を示す領域情報とに基づいて、前記背景画像を生成することを特徴とする請求項１５に記載の制御方法。
17. 前記取得工程は、前記第１撮像画像を取得する第１取得工程と、前記第２撮像画像を取得する第２取得工程とを有し、
    前記第１取得工程は、別の画像処理装置に対応する撮像装置により取得された前記第１撮像画像を取得し、
    前記第２取得工程は、前記画像処理装置に対応する撮像装置により取得された前記第２撮像画像を取得することを特徴とする請求項１５又は１６に記載の制御方法。
18. 前記取得工程は、前記第１撮像画像と前記第２撮像画像とを含む前記複数の撮像画像を取得し、
    前記第１生成工程が生成するオブジェクトの領域を示す領域情報に基づく指標に基づいて、前記複数の撮像画像から前記第２撮像画像を選択する選択工程をさらに有することを特徴とする請求項１５又は１６に記載の制御方法。
19. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images