JP2011048545A - 画像合成装置及びプログラム - Google Patents

Abstract

【課題】自由視点映像を配信するシステムにおいて、指定された視点から見た被写体と、指定された任意の背景とを自然な映像となる様に合成する装置を提供する。
【解決手段】画像合成装置は、指定されたカメラパラメータのカメラ位置から見た背景画像及び被写体画像をそれぞれ生成し、生成した背景画像及び被写体画像を合成する画像合成装置であって、背景画像の光源位置の画像座標から、光源位置の世界座標を決定する光源世界座標判定部と、被写体画像を背景画像に組み込んだときの被写体画像内の被写体の世界座標と、光源位置の世界座標に基づき、該被写体により生じる影の領域の世界座標を決定する影生成手段と、前記決定した世界座標で特定される影を、合成画像に合成する合成手段とを備えている。
【選択図】図１

Description

本発明は、画像生成技術に関し、より詳しくは、自由視点映像を配信するシステムにおいて、指定された視点から見た被写体と、指定された任意の背景とを合成する技術に関する。

複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている（例えば、特許文献１及び非特許文献１、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線の光線情報を対応付けることを言う。ここで、光線情報とは、対応する光線の、例えば、輝度及び／又は色を示す情報であり、対応する光線により生じる画像の画素の画素値を決定するために使用する情報である。なお、座標空間の総ての座標に対して光線情報をあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ光線情報を用意しておく。

特開２００８−１５７５６号公報

Ｔ．Ｆｕｊｉｉ、ｅｔ ａｌ．、"Ａ ｎｅｗ ｆｅｌｘｉｂｌｅ ａｃｑｕｉｓｉｔｉｏｎ ｓｙｓｔｅｍ ｏｆ ｒａｙ−ｓｐａｃｅ ｄａｔａ ｆｏｒ ａｒｂｉｔｒａｒｙ ｏｂｊｅｃｔｓ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ Ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、Ｖｏｌ．１０、Ｎｏ．２、ｐｐ．２１８−２２４、２００４年

光線空間を構築する際には、通常、３次元物体モデル情報、つまり、被写体の表面位置を判定するため、背景と被写体を容易に分離することが可能となる。このため、例えば、複数のカメラにて移動する被写体を撮影すると共に、様々な場所にて背景を撮影しておき、移動する被写体が背景を撮影した場所にいるものとして自由視点映像を配信することも可能になる。この様な自由視点映像配信システムにおいては、指定された視点の視野内の被写体の映像と、指定された視点の視野内の背景の映像を生成し、生成した背景の映像に、生成した被写体の映像を重ねることで合成映像を生成することになるが、合成映像はできる限り自然な映像となる様に生成されることが好ましい。

本発明は、自由視点映像を配信するシステムにおいて、指定された視点から見た被写体と、指定された任意の背景とを自然な映像となる様に合成する装置及びプログラムを提供することを目的とする。

本発明による画像合成装置は、
指定されたカメラパラメータのカメラ位置から見た背景画像及び被写体画像をそれぞれ生成し、生成した背景画像及び被写体画像を合成する画像合成装置であって、背景画像の光源位置の画像座標から、光源位置の世界座標を決定する光源世界座標判定部と、被写体画像を背景画像に組み込んだときの被写体画像内の被写体の世界座標と、光源位置の世界座標に基づき、該被写体により生じる影の領域の世界座標を決定する影生成手段と、前記決定した世界座標で特定される影を、合成画像に合成する合成手段とを備えていることを特徴とする。

本発明による画像合成装置の他の実施形態において、
影生成手段は、影の境界から所定の距離内の影の輝度値については、影の境界に近づく程高くなる様に影を生成することも好ましい。

また、本発明による画像合成装置の他の実施形態において、
背景画像の輝度値が閾値より高い連続領域を１つ選択し、選択した連続領域の中心又は重心を背景画像の光源位置として決定する光源画像座標判定部を、さらに、備えていることも好ましい。

本発明によるプログラムは、上記画像合成装置としてコンピュータを機能させることを特徴とする。

合成する被写体を背景画像に組み込んだときの被写体の世界座標と光源位置の世界座標から、被写体により生じる影の世界座標を求めることで自然な映像を生成することができる。また、影については、境界から所定の領域において、境界に近づく程輝度値が高くなる様に調整した上で、背景及び被写体と合成することで、さらに、自然な映像とすることができる。

本発明による画像合成装置の構成図である。 本発明による自由視点映像配信システムの構成図である。

本発明を実施するための実施形態について、以下では図面を用いて詳細に説明する。

図２は、本発明による自由視点映像配信システムの構成図である。図２に示す様に、本システムは、サーバ装置とクライアント装置とを含んでいる。クライアント装置は、表示したい視点と視野を示す情報をサーバ装置に送信し、サーバ装置は指定された視点及び視野の映像を生成するためのデータをクライアント装置に送信し、クライアント装置は、受信データに基づき映像を利用者に表示する。ここで、クライアント装置が送信する視点及び視野は、カメラにおけるカメラパラメータと同じく表示する画像の範囲を決定するためのものであるため、以後、視点及び視野をカメラパラメータとして説明を行う。

本システムにおいては、指定されたカメラパラメータに基づき、指定された視点から見た被写体の映像と、指定された視点から見た背景の映像をそれぞれ生成して合成するが、この合成はサーバ装置側で行っても、クライアント装置側で行っても良い、前者の場合には、サーバ装置は通常の映像配信システムと同様、生成した映像をクライアント装置に送信することになり、後者の場合には、サーバ装置は被写体の映像を生成するためのデータと、背景の映像を生成するためのデータをクライアント装置に送信することになる。

なお、背景画像と被写体は元々同じ場所でのものではないため、両画像の世界座標は無関係であるが、この関係についてはあらかじめ定義しておく。この場合、カメラの内部パラメータを固定とすると、利用者は１つのカメラの位置及び方向を世界座標で指定すると、そのカメラから見た背景画像と被写体画像が一意に定まることになる。しかしながら、利用者が背景画像のためのカメラ位置及び方向を指定し、それとは別に被写体のためのカメラ位置及び方向を指定する形態であっても良い。この場合、例えば、合成画像内の被写体の世界座標は、背景画像の世界座標に基づき換算されることになる。

図１は、本発明による画像合成装置の構成図である。図１によると、画像合成装置は、光源画像座標判定部１と、光源世界座標判定部２と、影生成部３と、合成部４とを備えており、本装置には、背景画像、被写体画像及びカメラパラメータが入力される。

光源画像座標判定部１は、背景画像から背景画像の光源位置を判定し、背景画像の画像座標系での光源位置の座標を求める。光源位置の判定は、例えば、背景画像中の輝度が閾値より高い連続領域を１つ抽出し、その中心又は重心を光源位置と判定することにより行う。なお、光源画像座標判定部１を設けるのではなく、手動で光源位置を指定する形態、つまり、背景画像のデータに、その光源位置を含める形態であっても良い。

光源世界座標判定部２は、光源画像座標判定部１が判定した光源位置の画像座標と、指定された視点及び視野に対応するカメラパラメータから世界座標系での光源位置を計算する。例えば、カメラパラメータの視点位置の世界座標Ｍ_ｎ、画像座標系を世界座標系に変換する射影行列Ｐ_ｎ、背景画像の光源位置に対応する画像座標ｍ_Ｌ、光源の世界座標系での座標Ｍ_Ｌを

とすると、光源の世界座標Ｍ_Ｌは、以下の式を満たす直線上に存在することになる。ここで、ｔはスカラー値である。

なお、射影行列Ｐ_ｎはカメラパラメータにより決まる行列である。光源世界座標判定部２は、この直線上において光源位置を移動させ、背景中の影と最も類似する影が生成される位置を光源位置と決定する。

影生成部３は、被写体を背景に組み込むことにより被写体の世界座標を判定し、判定した被写体の世界座標と光源世界座標判定部２が判定した光源の世界座標Ｍ_Ｌに基づき被写体の影を生成する。具体的には、Ｙ軸方向を高さ方向とし、高さＨの位置においてＸ軸の値及びＺ軸の値が、それぞれ、Ｘ_Ｈ及びＺ_Ｈである被写体により、高さ０の位置に生じる影のＸ軸の値及びＺ軸の値をＸ_Ｓ及びＺ_Ｓとすると、以下の式によりＸ_Ｓ及びＺ_Ｓを求めることができる。

影生成部３は、被写体の全領域に渡り上記式を適用して影を生成する。ここで、影生成部３は、影の輝度値を影の境界に近づく程高くなる様に生成する。具体的には、影の境界における輝度値をｒ_０とし、影の境界への最短距離がａである位置における輝度値ｒを、

として影を生成する。なお、ρは自然な影となる様に実験的に決定する。

最後に合成部４は、背景画像と被写体画像と、影生成部３が生成した影を世界座標に基づき重ね合わせることにより合成画像を生成する。

以上、背景画像から光源位置の世界座標を求め、合成する被写体を背景画像に組み込んだときの被写体の世界座標と光源位置の世界座標から、被写体により生じる影の世界座標を求め、さらに、影については、境界から所定の領域において、境界に近づく程輝度値が高くなる様に調整した上で、背景及び被写体と合成することで、自然な映像を生成することができる。

なお、本発明による画像合成装置は、コンピュータを図１の各部として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

１ 光源画像座標判定部
２ 光源世界座標判定部
３ 影生成部
４ 合成部

Claims (4)

1. 指定されたカメラパラメータのカメラ位置から見た背景画像及び被写体画像をそれぞれ生成し、生成した背景画像及び被写体画像を合成する画像合成装置であって、
   背景画像の光源位置の画像座標から、光源位置の世界座標を決定する光源世界座標判定部と、
   被写体画像を背景画像に組み込んだときの被写体画像内の被写体の世界座標と、光源位置の世界座標に基づき、該被写体により生じる影の領域の世界座標を決定する影生成手段と、
   前記決定した世界座標で特定される影を、合成画像に合成する合成手段と、
   を備えている画像合成装置。
2. 影生成手段は、影の境界から所定の距離内の影の輝度値については、影の境界に近づく程高くなる様に影を生成する、
   請求項１に記載の画像合成装置。
3. 背景画像の輝度値が閾値より高い連続領域を１つ選択し、選択した連続領域の中心又は重心を背景画像の光源位置として決定する光源画像座標判定部を、さらに、備えている、
   請求項１又は２に記載の画像合成装置。
4. 請求項１から３のいずれか１項に記載の画像合成装置としてコンピュータを機能させるプログラム。

Images