JP2018022387A

JP2018022387A - オブジェクトのビルボードを生成するビルボード生成装置、方法及びプログラム

Info

Publication number: JP2018022387A
Application number: JP2016153935A
Authority: JP
Inventors: 敬介野中; Keisuke Nonaka
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2016-08-04
Filing date: 2016-08-04
Publication date: 2018-02-08
Anticipated expiration: 2036-08-04
Also published as: JP6618117B2

Abstract

【課題】ユーザが指定した指定視点での映像をより自然な形で生成するためのビルボードを生成するビルボード生成装置を提供する。【解決手段】ビルボード生成装置は、カメラで撮影したフレームからオブジェクトを示すオブジェクト画像を生成する第１生成手段と、カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、指定視点と垂直方向位置が同じである視点を第１視点とし、当該第１視点から見たオブジェクトを示す参照画像を３次元モデルに基づき生成する第２生成手段と、オブジェクト画像と参照画像に基づきオブジェクト画像が示すオブジェクトを変形して第１視点でのオブジェクトのビルボードを生成する第３生成手段と、第１視点と指定視点との水平方向の距離に基づき第１視点でのオブジェクトのビルボードを水平方向に回転させて指定視点での映像の生成に使用するオブジェクトのビルボードを生成する第４生成手段と、を備えている。【選択図】図３

Description

本発明は、自由視点映像の生成に使用するオブジェクトのビルボードの生成技術に関する。

スポーツなどを対象として、カメラで撮影されていない視点からの映像（以下、自由視点映像）を生成する技術が提案されている。具体的には、複数のカメラのそれぞれで映像を撮影し、複数のカメラで撮影した複数の映像に基づきユーザが指定した視点での映像を合成するというものである。ここで、非特許文献１は、ビルボードと呼ばれる簡易モデルを利用して高速に映像を合成することを開示している（以下、ビルボード方式と呼ぶ）。なお、ビルボードとは、カメラで撮影した映像のオブジェクトを厚みのないモデルとしたものである。ここで、オブジェクトとは、人などの映像内に含まれる移動物である。ビルボード方式では、ビルボードの最下点が地面（以下、フィールドとも呼ぶ）に接するものとし、カメラで撮影した視点（以下、基準視点と呼ぶ）から水平方向に移動した視点が指定されると、指定された視点（以下、指定視点と呼ぶ）と基準視点との水平方向の距離に基づきビルボードを回転させて映像を生成している。一方、指定視点が基準視点に対して垂直方向に移動したものであると、基準視点でのビルボードをそのまま使用して映像を生成している。

Ｈａｙａｓｈｉ，Ｋ．ｅｔａｌ，"ＳｙｎｔｈｅｓｉｚｉｎｇＦｒｅｅ−ＶｉｅｗｐｏｉｎｇＩｍａｇｅｓｆｒｏｍＭｕｌｔｉｐｌｅＶｉｅｗＶｉｄｅｏｓｉｎＳｏｃｃｅｒＳｔａｄｉｕｍ" ｉｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，ＩｍａｇｉｎｇａｎｄＶｉｓｕａｌｉｓａｔｉｏｎ，ｐｐ. ２２０−２２５，２００６年７月ＴａｋｅｏＩｇａｒａｓｈｉ，ｅｔａｌ，"Ａｓ−Ｒｉｇｉｄ−Ａｓ−ＰｏｓｓｉｂｌｅＳｈａｐｅＭａｎｉｐｕｌａｔｉｏｎ"，ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，Ｖｏｌ.２４，Ｎｏ.３，ＡＣＭＳＩＧＧＲＡＰＨ２００５，２００５年

ビルボード方式は、高速に映像を合成可能であるが、厚みのないテクスチャだけのモデルに基づき映像を合成することによる問題が生じる。例えば、図１（Ａ）は、基準視点、つまり、カメラで撮影した映像であり、図１（Ｂ）は、図１（Ａ）の画像から、当該画像内の人物に対応するビルボードを生成し、このビルボードを利用して合成した指定視点での画像である。なお、図１（Ｂ）の指定視点は、基準視点に対して垂直下方向の視点である。図１（Ｂ）の画像では、人があたかも手のみで支えられ、足が地面から浮いているように見える。これは、ビルボード方式では、オブジェクト（図１では人物）の奥行を考慮しないことと、オブジェクトと地面の接触位置を１ヶ所としていることが原因である。

本発明は、ユーザが指定した指定視点での映像をより自然な形で生成するためのビルボードを生成するビルボード生成装置、方法及びプログラムを提供するものである。

本発明の一側面によると、ユーザが指定した指定視点での映像の生成に使用する、オブジェクトのビルボードを生成するビルボード生成装置は、前記オブジェクトの３次元モデルを示すモデル情報を保持する保持手段と、カメラで撮影したフレームの前記オブジェクトを判定し、前記判定したオブジェクトを示すオブジェクト画像を生成する第１生成手段と、前記カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、前記指定視点と垂直方向位置が同じである視点を第１視点とし、当該第１視点から見た前記オブジェクトを示す参照画像を前記３次元モデルに基づき生成する第２生成手段と、前記オブジェクト画像と前記参照画像に基づき前記オブジェクト画像が示す前記オブジェクトを変形して前記第１視点での前記オブジェクトのビルボードを生成する第３生成手段と、前記第１視点と前記指定視点との水平方向の距離に基づき前記第１視点での前記オブジェクトのビルボードを水平方向に回転させて前記指定視点での映像の生成に使用する前記オブジェクトのビルボードを生成する第４生成手段と、を備えていることを特徴とする。

本発明によると、ユーザが指定した指定視点での映像をより自然な形で生成するためのビルボードを生成することができる。

本発明の課題の説明図。一実施形態による自由視点映像生成のための映像の撮影形態を示す図。一実施形態による自由視点映像生成装置の構成図。一実施形態によるビルボード生成部の構成図。一実施形態によるオブジェクトの小領域への分割を示す図。一実施形態による小領域に対応する参照画像の領域判定の説明図。一実施形態による小領域の変換後の座標判定の説明図。一実施形態による小領域の変換後の座標判定の説明図。一実施形態による小領域の変換後の座標判定の説明図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図２は、自由視点映像生成のための映像の撮影例を示している。図２において、各矢印はカメラを示している。図２の例においては、複数のカメラ９１〜９８をオブジェクトの周囲に配置し、複数のカメラ９１〜９８それぞれで映像を撮影している。なお、カメラの台数は設計事項であり、カメラの配置も、図２に示す円状に限定されず、オブジェクトを複数の位置から撮影すれば良い。なお、各カメラ９１〜９８は映像を時刻同期で撮影する様に調整される。つまり、各カメラ９１〜９８が撮影する映像の各フレームの撮影時刻はほぼ一致する様に調整される。なお、各カメラ９１〜９８のキャリブレーションは公知の方法で行われ、各カメラ９１〜９８のカメラパラメータは各フレームにおいて既知であるものとする。

図３は、本実施形態による自由視点映像生成装置の構成図である。なお、以下では、図２の様に撮影した映像において、オブジェクトが１つ、例えば、オブジェクトが人物である場合には、１人の人物のみが映像内に写っているものとして説明を行う。なお、オブジェクトが複数ある場合には、各オブジェクトについて以下に説明する処理を行う。

背景差分部１には、複数のカメラ９１〜９８それぞれで撮影した映像を示す映像データが入力される。背景差分部１は、公知の背景差分法により各映像データの各フレームについて、オブジェクトの領域を判定してオブジェクト画像データを出力する。例えば、背景差分部１は、背景差分により背景と前景を分離し、連続している前景の画素に対応する領域を１つのオブジェクトの領域と判定する。オブジェクト画像データは、各映像の各フレームにそれぞれに対して生成され、各画素について、オブジェクトに対応するか、オブジェクト以外の背景に対応するかを示す２値画像データである。

モデル構築部２は、複数の映像の内、同じ時刻に撮影された各フレームの同じオブジェクトを示すオブジェクト画像データと、各カメラ９１〜９８のカメラパラメータに基づき、例えば、公知の視体積交差法を使用してオブジェクトの３次元モデル（３Ｄモデル）を構築し、構築した３Ｄモデルを示すモデルデータ（モデル情報）を出力する。モデルデータは、例えば、オブジェクトが占有する空間上の位置をボクセルで示すものである。なお、モデルデータは、各フレームそれぞれに対して生成されるが、あるフレームについては、カメラの台数に拘らず１つのモデルデータとなる。このモデルデータは、モデル構築部２に保持される。

参照画像生成部３には、ユーザが指定する視点（指定視点）を示す視点情報と、モデル構築部２からのモデルデータが入力される。参照画像生成部３は、オブジェクトのモデルデータが示す３Ｄモデルに基づき、指定視点から当該オブジェクトがどの様に見えるかを計算して参照画像データを出力する。参照画像データは、指定視点から見た画像において、各画素が、オブジェクトに対応するか、オブジェクト以外の背景に対応するかを示す２値画像データである。

ビルボード生成部４は、背景差分部１からのオブジェクト画像データと、参照画像生成部３からの参照画像データに基づき、オブジェクトのビルボードを示すビルボードデータを生成する。ビルボードデータは、各オブジェクトについてフレーム毎に生成される。以下、ビルボード生成部４での処理の詳細について説明する。まず、以下では、指定視点が、カメラ９１の基準視点に対して垂直方向のみに動かした位置であるものとする。

図４は、ビルボード生成部４の構成図である。エッジ領域判定部４１は、カメラ９１が撮影したフレームからのオブジェクト画像データに基づきオブジェクトに外接する最小の矩形領域５１を判定する。図５は、カメラ９１が撮影したフレームから生成されたオブジェクト画像データのオブジェクト５０を示し、矩形領域５１は、オブジェクト５０に外接する最小の矩形領域である。さらに、エッジ領域判定部４１は、矩形領域５１を所定サイズの小領域に分割する。なお、小領域のサイズ（垂直方向及び水平方向の画素数）は予め決めておく。なお、本実施形態において、小領域は四角形とするが他の多角形であっても良い。図５の例では、１５個の小領域に分割している。続いて、エッジ領域判定部４１は、エッジ、つまり、オブジェクトと背景の境界を含む小領域の内、所定条件を満たす小領域を判定する。本実施形態では、この所定条件を、小領域内の全画素数に対する、小領域内のオブジェクトに対応する画素数の比が所定範囲内であることとする。なお、所定範囲の最小値は０より大きく、所定範囲の最大値は１より小さいものとする。一例として、求めた比が０.３〜０．７の範囲内にある小領域を、エッジを含み、かつ、所定条件を満たす小領域とする。背景差分法により抽出したオブジェクトが理想的であるとすると、この比が０及び１でなければエッジを含む小領域である。しかしながら、背景差分法により抽出したオブジェクトにはノイズが載ることと、大部分がオブジェクトである小領域や、大部分が背景である小領域については、以下の処理には不適切であるため本実施形態では比が所定範囲内であるとの条件を設け、ある程度の大きさのエッジを含む小領域を判定する。

対応小領域判定部４２は、参照画像データが示す画像について、エッジ領域判定部４１が判定した各小領域に対応する小領域を判定する。例えば、エッジ領域判定部４１が判定した小領域の１つが図６（Ａ）に示すものであったとする。図６（Ａ）において各四角は画素であり、網掛部分は、オブジェクトの画素を示し、白塗りの画素は背景の画素を示している。対応小領域判定部４２は、まず、参照画像データが示す画像（以下、参照画像）の、図６（Ａ）に示す小領域と同じ位置の領域を判定する。図６（Ｂ）は、参照画像であり、図６（Ａ）と同様に、網掛部分は、オブジェクトの画素を示し、白塗りの画素は背景の画素を示している。また、図６（Ｂ）において、太枠の四角部分の領域が、図６（Ａ）の小領域と同じ位置の領域を示している。オブジェク画像データが示す画像（以下、オブジェクト画像）は基準視点でのオブジェクトを示し、参照画像は指定視点でのオブジェクトを示しているため、オブジェクト画像が示すオブジェクトと参照画像が示すオブジェクトは同じではない。よって、対応小領域判定部４２は、図６（Ｂ）の太枠の位置を基準に、図６（Ａ）の小領域の画像との差が最も少ない位置を探索する。図６（Ｃ）は、図６（Ｂ）に対して太枠の位置を水平方向及び垂直方向それぞれに１画素だけ移動させた状態を示し、この状態において太枠内の画像は、図６（Ａ）の画像と一致している。なお、探索範囲、つまり、水平方向及び垂直方向それぞれにおいて探索する画素数は予め決めておく。或いは、基準視点と指定視点との垂直方向の距離により探索範囲を決定する構成とすることもできる。なお、図６（Ｃ）において、太枠内の画像は図６（Ａ）の画像と完全に一致しているが、一般的には探索範囲内において、図６（Ａ）に示す小領域の画像との差が最も小さくなる領域を、図６（Ａ）に示す小領域に対応する参照画像の領域とする。なお、画像の差は、対応する画素の値が異なる数により判定する。対応小領域判定部４２は、この様にしてエッジ領域判定部４が判定した、オブジェクト画像の各小領域に対応する参照画像の小領域を決定する。

図７（Ａ）は、エッジ領域判定部４１が判定した小領域６１〜６４を示し、図７（Ｂ）は、対応小領域判定部４２が小領域６１〜６４に対応すると判定した参照画像の小領域７１〜７４を示している。参照画像は、３Ｄモデルに基づき生成した指定視点でのオブジェクトを示している。一方、オブジェクト画像データが示すオブジェクトは、カメラ９１の基準視点から見たオブジェクトを示している。したがって、本実施形態では、指定視点でのビルボードを生成するため、小領域６１〜６４を、参照画像の小領域７１〜７４に基づき変形させる。このため、変換後座標判定部４３は、小領域６１〜６４の計１０個の頂点Ａ１〜Ｊ１の変換後の座標を求める。なお、図７（Ａ）に示す様に頂点Ｃ１は小領域６１及び６２に共有されており、頂点Ｄ１は小領域６１〜６３に共有されており、頂点Ｇ１は小領域６２〜６４に共有されており、頂点Ｈ１は小領域６３及び６４に共有されている。このため、本実施形態では、この共有関係を維持することを拘束条件として小領域６１〜６４の各頂点の変換後の座標を求める。以下では、頂点Ａ１〜Ｊ１の変換後の頂点を頂点Ａ３〜Ｊ３とする。

図７（Ａ）及び（Ｂ）から明らかな様に、頂点Ａ１は頂点Ａ２に対応し、頂点Ｂ１は頂点Ｂ２に対応し、頂点Ｃ１は頂点Ｃ２１及びＣ２２に対応し、頂点Ｄ１は頂点Ｄ２１〜Ｄ２３に対応し、頂点Ｅ１は頂点Ｅ２に対応し、頂点Ｆ１は頂点Ｆ２に対応し、頂点Ｇ１は頂点Ｇ２１〜Ｇ２３に対応し、頂点Ｈ１は頂点Ｈ２１及びＨ２２に対応し、頂点Ｉ１は頂点Ｉ２に対応し、頂点Ｊ１は頂点Ｊ２に対応する。本実施形態において、変換後座標判定部４３は、変換後の頂点Ａ３〜Ｊ３それぞれと、対応する参照画像の頂点との距離の総和が最小となる様に頂点Ａ３〜Ｊ３の座標を求める。具体的には、頂点Ａ３と頂点Ａ２の距離と、頂点Ｂ３と頂点Ｂ２の距離と、頂点Ｃ３と頂点Ｃ２１及びＣ２２それぞれの距離と、頂点Ｄ３と頂点Ｄ２１〜Ｄ２３それぞれの距離と、頂点Ｅ３と頂点Ｅ２の距離と、頂点Ｆ３と頂点Ｆ２の距離と、頂点Ｇ３と頂点Ｇ２１〜Ｇ２３それぞれの距離と、頂点Ｈ３と頂点Ｈ２１及びＨ２２それぞれの距離と、頂点Ｉ３と頂点Ｉ２の距離と、頂点Ｊ３と頂点Ｊ２の距離との和が最小となる様に、頂点Ａ３〜Ｊ３の座標を求める。図８に頂点Ａ３〜Ｊ３の例を示し、図９は、小領域６１〜６４の変形後の小領域８１〜８４を実線で示している。

エッジ領域判定部４１により選択されなかった小領域については、図９に示すエッジ領域判定部４１により選択された小領域の変換後の領域との隣接関係に基づき非特許文献２に記載されている様に、最適化問題を解くことで算出する。この様に、エッジ領域判定部４１は、最終的に、オブジェクトを含むすべての小領域について、変換後の小領域を決定する。ビルボード変換部４４は、図５のオブジェクト５０を、変換後座標判定部４３が判定した変換後の小領域に基づき変換して変換後のオブジェクト５０を示すオブジェクト画像を生成する。そして、変換後のオブジェクト５０に対応する各画素の色値を、変換前のオブジェクト画像の元となったフレームから判定し、これにより、オブジェクトのビルボードデータを生成して出力する。

図３に戻り、自由視点映像生成部５は、ユーザが入力する視点情報と、ビルボード生成部４が出力する、カメラ９１の映像から抽出したオブジェクトを参照画像に基づき変換して生成したビルボードデータに基づき、公知のビルボード方式に基づき指定視点での映像を合成・生成して出力する。従来のビルボード方式では、指定視点がカメラ９１の基準視点から垂直方向に移動させたものである場合、カメラ９１の映像から抽出したオブジェクトに基づくビルボードをそのまま使用して自由視点映像を生成していた。しかしながら、本実施形態では、３Ｄモデルを作成し、３Ｄモデルに基づき指定視点から見たオブジェクトを生成して参照画像とし、参照画像に基づきカメラ９１の映像から抽出したオブジェクトを変換し、変換後のオブジェクトに基づきビルボードを生成する。そして、自由視点映像生成部５は、カメラ９１の映像から抽出したオブジェクトに基づくビルボードではなく、参照画像に基づき変換されたビルボードを使用して自由視点映像を生成する。したがって、オブジェクトの奥行等により生じる不具合を抑えつつ、ビルボード方式の利点を生かした負荷の軽い自由視点映像の生成が可能になる。

上記説明においては、指定視点がカメラ９１の基準視点に対して垂直方向に移動させたものとしていた。以下では、指定視点がその他の位置である場合について説明する。まず、指定視点がカメラ９１〜９８のいずれかの基準視点と同じ場合には、その基準視点に対応するカメラからの映像をそのまま使用すれば良い。また、指定視点の垂直方向の位置がカメラ９１〜９８の基準視点と同じ位置であり、かつ、水平方向の位置が各カメラの基準視点間の位置である場合、従来のビルボード方式をそのまま使用する。つまり、ビルボードは、一番近い基準視点のカメラの映像から生成したビルボードを、基準視点と指定視点との水平方向の距離に基づき回転させて使用する。一方、指定視点の垂直方向の位置がカメラ９１〜９８の基準視点と異なる位置であり、かつ、水平方向の位置が各カメラの基準視点間の位置である場合、まず、指定視点に近い一番近い基準視点のカメラを選択する。そして、指定視点を水平移動させて、選択したカメラの基準視点と水平方向が同じ位置になる仮指定視点を判定する。つまり、基準視点と水平方向位置が同じであり、かつ、指定視点と垂直方向位置が同じである位置を仮指定視点とする。そして、仮指定視点から見たオブジェクトを示す参照画像を３Ｄモデルに基づき生成し、選択したカメラの映像から抽出したオブジェクト画像を参照画像に基づき変換してビルボードを生成する。そして、変換後のビルボードを仮指定視点と指定視点との水平方向の距離に基づき回転させて自由視点映像を生成する。

なお、上記実施形態において変換後座標判定部４３は、参照画像の頂点と、対応する変換後の頂点との距離の総和が最小となる様に変換後の頂点を求めていた。しかしながら、距離の二乗の総和や座標の差の絶対値の総和が最小となる様に変換後の頂点を求めるなど他の基準に基づき変換後の頂点を求める構成であっても良い。また、対応小領域判定部４２は、エッジ領域判定部４１が判定した小領域とのパターン・マッチングにより参照画像において、当該小領域に対応する小領域を判定していた。しかしながら、３Ｄモデルにおいて、各カメラの映像に基づき各ボクセルの色を判定し、参照画像として二値画像ではなくカラー画像を生成し、オブジェクト画像についても、元の映像からカラー画像として色値の比較により参照画像における対応する小領域を判定する構成とすることもできる。

また、上記実施形態では、指定視点での参照画像を生成してオブジェクト画像が示すオブジェクトを１回の処理で変換していた。しかしながら複数回の処理によりオブジェクト画像が示すオブジェクトを変換する構成とすることもできる。具体的には、指定視点が基準視点の下方に距離１０だけ移動させた位置であるものとする。この場合、まず、基準視点から距離１だけ下に移動させた仮指定視点に基づき上記処理を行って変換後のオブジェクトを示すオブジェクト画像を生成する（１回目の処理）。そして、続いて、１回目の処理での仮指定視点を更に距離１だけ下に移動させて上記処理を行い、１回目の処理での変換後のオブジェクトを更に変換して変換後のオブジェクトを示すオブジェクト画像を生成する（２回目の処理）。この処理を計１０回行うことで、指定視点での変換後のオブジェクトを生成する構成とすることができる。例えば、指定視点と基準視点との垂直方向の距離が大きい場合、参照画像とオブジェクト画像の差が大きいが、所定の距離を単位としてオブジェクト画像を徐々に変換することで精度良く指定視点でのビルボードを生成することができる。

また、図３は、自由視点映像を生成する自由視点映像生成装置を示すものであったが、例えば、図３の自由視点映像生成部５以外の部分を除き、自由視点映像の生成に使用するビルボードを生成するビルボード生成装置として本発明を実現することもできる。

なお、本発明による自由視点映像生成装置又はビルボード生成装置は、コンピュータを上記自由視点映像生成装置又はビルボード生成装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：背景差分部、２：モデル構築部、３：参照画像生成部、４：ビルボード生成部

Claims

ユーザが指定した指定視点での映像の生成に使用する、オブジェクトのビルボードを生成するビルボード生成装置であって、
前記オブジェクトの３次元モデルを示すモデル情報を保持する保持手段と、
カメラで撮影したフレームの前記オブジェクトを判定し、前記判定したオブジェクトを示すオブジェクト画像を生成する第１生成手段と、
前記カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、前記指定視点と垂直方向位置が同じである視点を第１視点とし、当該第１視点から見た前記オブジェクトを示す参照画像を前記３次元モデルに基づき生成する第２生成手段と、
前記オブジェクト画像と前記参照画像に基づき前記オブジェクト画像が示す前記オブジェクトを変形して前記第１視点での前記オブジェクトのビルボードを生成する第３生成手段と、
前記第１視点と前記指定視点との水平方向の距離に基づき前記第１視点での前記オブジェクトのビルボードを水平方向に回転させて前記指定視点での映像の生成に使用する前記オブジェクトのビルボードを生成する第４生成手段と、
を備えていることを特徴とするビルボード生成装置。
前記第３生成手段は、
前記オブジェクト画像を複数の領域に分割し、前記複数の領域の内、前記オブジェクトのエッジを含む複数の第１領域を判定する第１判定手段と、
前記複数の第１領域それぞれに対応する前記参照画像の領域である第２領域を判定する第２判定手段と、
第１領域と第２領域の対応関係に基づき前記オブジェクト画像の前記オブジェクトを変形して前記第１視点での前記オブジェクトのビルボードを生成する第５生成手段と、
を備えていることを特徴とする請求項１に記載のビルボード生成装置。
前記複数の第１領域と、前記複数の第１領域それぞれに対応する第２領域は多角形であり、
前記第５生成手段は、前記複数の第１領域の頂点のうち、２つ以上の第１領域に共有される頂点の共有関係を維持するとの拘束条件の下、前記複数の第１領域それぞれの変形後の頂点を、対応する第２領域の頂点に基づき求めることで、前記オブジェクト画像の前記オブジェクトを変形して前記第１視点での前記オブジェクトのビルボードを生成することを特徴とする請求項２に記載のビルボード生成装置。
前記第５生成手段は、前記複数の第１領域それぞれの変形後の頂点と、対応する第２領域の頂点との距離の総和、或いは、前記複数の第１領域それぞれの変形後の頂点と、対応する第２領域の頂点との距離の２乗の総和が最小となるように、前記複数の第１領域それぞれの変形後の頂点を求めることを特徴とする請求項３に記載のビルボード生成装置。
前記第１判定手段は、前記複数の領域の内、領域の全画素に対するオブジェクトを示す画素の比が所定範囲内ある領域を第１領域と判定することを特徴とする請求項２から４のいずれか１項に記載のビルボード生成装置。
複数のカメラそれぞれで撮影した映像のフレームから前記オブジェクトの前記３次元モデルを示す前記モデル情報を生成して前記保持手段に保持する第６生成手段をさらに備えていることを特徴とする請求項１から５のいずれか１項に記載のビルボード生成装置。
前記第１生成手段は、前記複数のカメラの内、前記指定視点に最も近いカメラで撮影したフレームから前記オブジェクト画像を生成することを特徴とする請求項６に記載のビルボード生成装置。
ユーザが指定した指定視点での映像の生成に使用する、オブジェクトのビルボードを生成するビルボード生成装置であって、
前記オブジェクトの３次元モデルを示すモデル情報を保持する保持手段と、
カメラで撮影したフレームの前記オブジェクトを判定し、前記判定したオブジェクトのを示す第１オブジェクト画像を生成する第１生成手段と、
前記カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、前記指定視点と垂直方向位置が同じである視点を第ｎ視点（ｎは２以上の整数）とし、前記第１オブジェクト画像の前記オブジェクトを変形して前記第ｎ視点での前記オブジェクトのビルボードを生成する第２生成手段と、
前記第ｎ視点と前記指定視点との水平方向の距離に基づき前記第ｎ視点での前記オブジェクトのビルボードを水平方向に回転させて前記指定視点での映像の生成に使用する前記オブジェクトのビルボードを生成する第３生成手段と、
を備えており、
前記第２生成手段は、前記基準視点から前記第ｎ視点に向かう線上に前記基準視点側から第１視点〜第（ｎ−１）視点を設定し、第１視点から第ｎ視点それぞれから見た前記オブジェクトを示す第１参照画像〜第ｎ参照画像を前記３次元モデルに基づき生成する第４生成手段と、
第ｍオブジェクト画像と第ｍ参照画像（ｍは１〜ｎの整数）に基づき前記第ｍオブジェクト画像が示す前記オブジェクトを変形して第（ｍ＋１）オブジェクト画像を生成することを、ｍ＝１〜ｎまで順に繰り返すことで第（ｎ＋１）オブジェクト画像を生成し、前記第（ｎ＋１）オブジェクト画像が示す前記オブジェクトに基づき前記第ｎ視点での前記オブジェクトのビルボードを生成する第５生成手段と、
を備えていることを特徴とするビルボード生成装置。
ユーザが指定した指定視点での映像の生成に使用する、オブジェクトのビルボードをカメラで撮影したフレームから生成するビルボード生成装置におけるビルボード生成方法であって、
前記ビルボード生成装置は、前記オブジェクトの３次元モデルを示すモデル情報を保持しており、
前記ビルボード生成方法は、
前記カメラで撮影したフレームの前記オブジェクトを判定し、前記判定したオブジェクトを示すオブジェクト画像を生成する第１生成ステップと、
前記カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、前記指定視点と垂直方向位置が同じである視点を第１視点とし、当該第１視点から見た前記オブジェクトを示す参照画像を前記３次元モデルに基づき生成する第２生成ステップと、
前記オブジェクト画像と前記参照画像に基づき前記オブジェクト画像が示すオブジェクトを変形して前記第１視点での前記オブジェクトのビルボードを生成する第３生成ステップと、
前記第１視点と前記指定視点との水平方向の距離に基づき前記第１視点での前記オブジェクトのビルボードを水平方向に回転させて前記指定視点での映像の生成に使用する前記オブジェクトのビルボードを生成する第４生成ステップと、
を含むことを特徴とするビルボード生成方法。
ユーザが指定した指定視点での映像の生成に使用する、オブジェクトのビルボードをカメラで撮影したフレームから生成するビルボード生成装置におけるビルボード生成方法であって、
前記ビルボード生成装置は、前記オブジェクトの３次元モデルを示すモデル情報を保持しており、
カメラで撮影したフレームの前記オブジェクトを判定し、前記判定したオブジェクトを示す第１オブジェクト画像を生成する第１生成ステップと、
前記カメラに対応する視点を基準視点とし、当該基準視点と同じ水平方向位置であり、かつ、前記指定視点と垂直方向位置が同じである視点を第ｎ視点（ｎは２以上の整数）とし、前記第１オブジェクト画像が示す前記オブジェクトを変形して前記第ｎ視点での前記オブジェクトのビルボードを生成する第２生成ステップと、
前記第ｎ視点と前記指定視点との水平方向の距離に基づき前記第ｎ視点での前記オブジェクトのビルボードを水平方向に回転させて前記指定視点での映像の生成に使用する前記オブジェクトのビルボードを生成する第３生成ステップと、
を含み、
前記第２生成ステップは、
前記基準視点から前記第ｎ視点に向かう線上に前記基準視点側から第１視点〜第（ｎ−１）視点を設定し、第１視点から第ｎ視点それぞれから見た前記オブジェクトを示す第１参照画像〜第ｎ参照画像を前記３次元モデルに基づき生成する第４生成ステップと、
第ｍオブジェクト画像と第ｍ参照画像（ｍは１〜ｎの整数）に基づき前記第ｍオブジェクト画像が示す前記オブジェクトを変形して第（ｍ＋１）オブジェクト画像を生成することを、ｍ＝１〜ｎまで順に繰り返すことで第（ｎ＋１）オブジェクト画像を生成し、前記第（ｎ＋１）オブジェクト画像が示す前記オブジェクトに基づき前記第ｎ視点での前記オブジェクトのビルボードを生成する第５生成ステップと、
を含むことを特徴とするビルボード生成方法。
請求項１から８のいずれか１項に記載のビルボード生成装置としてコンピュータを機能させることを特徴とするプログラム。