JP2002117413A - 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 光源環境変化をリアルタイムに反映し、か
つ、現実世界における光源環境により仮想物体に生じる
陰影を正確に付与する。 【解決手段】 面光源または点光源ごとの元画像を生成
する元画像生成手段Ｂ１と、生成した元画像を面光源ま
たは点光源ごとに記憶している元画像記憶手段Ｂ２と、
生成したい画像の実世界における光源環境を計測してｎ
個の面光源または点光源で近似する光源環境計測手段Ｂ
４とを備え、画像生成手段Ｂ３は、光源環境計測手段Ｂ
４にて計測したｎ個の面光源または点光源に対応する元
画像を元画像記憶手段Ｂ２から抽出し、この抽出した元
画像の和を計算することによって、生成したい光源環境
下での画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子的に構築され
た仮想世界を現実世界に融合させた画像の生成に好適な
技術であって、特に、光源環境の変化に容易に対応で
き、しかも現実世界における光源環境により仮想物体、
あるいは、予め撮影しておいた実物体に生じる陰影を正
確に付与することのできる画像生成装置および画像生成
方法に係り、より詳細には、光源環境変化をリアルタイ
ムに反映する画像生成装置および画像生成方法関する。

【０００２】

【従来の技術】与えられた１枚の画像に仮想物体を重ね
込む手法として、従来より種々のアルゴリズムが提案さ
れている。例えば、１枚の画像から図学の論理に基づい
て、視点の位置、光源情報を推定することにより、写真
のコンピュータグラフィックスとの合成を行う技術が提
案されている（宮間奈美子，小澤庄次，近藤邦雄，「撮
影条件の推定法を用いた実写真画像とＣＧ画像の合成」
第２回知能情報メディアシンポジウム，pp.113-118, 19
96。) 。しかし、この手法は、入力画像に消失点が求め
られる線分が存在する、大きさが既知の線分が存在する
などの制限があった。

【０００３】そこで、本発明者らは、このような制限を
受けることなく、仮想物体を違和感のない明るさ、陰影
で実画像に重ね込む技術を以前に提案している（特開平
１１−１７５７６２号公報参照）。

【０００４】この技術は、実世界の実世界３次元座標
系を設定し、仮想物体を実世界に配置する。実世界の
光源環境を計測し、計測された光源環境を実世界座標系
で記述する。実世界３次元座標系から画像面２次元座
標系への投影変換を求める。前記で求められた光源
環境と前記で求められた投影変換を用いて仮想物体を
実画像に重ね込む。といった手順で構成されている。

【０００５】

【発明が解決しようとする課題】この技術（特開平１１
−１７５７６２号公報に開示された技術）を用いること
で、現実世界における光源環境により、仮想物体に生じ
る陰影を正確に付与することが可能となった。しかしな
がら、この技術を用いた場合でも、例えば光源環境が変
わると、上記〜の手順を再度実行しなければならな
いため、リアルタイムに光源を変えたいような場合に、
リアルタイムにかつ容易に仮想物体を実画像に重ね込む
といった点で若干問題が残されていた。

【０００６】本発明は係る問題点を解決すべく創案され
たもので、その目的は、光源環境の変化に容易に対応で
き、しかも現実世界における光源環境により仮想物体に
生じる陰影を正確に付与することのできる画像生成装置
および画像生成方法を提供することにある。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明の光源環境変化をリアルタイムに反映する画
像生成装置は、光源環境として半球面状に均等に配置し
たｍ個の面光源または点光源を設定し、それぞれの光源
について、その面光源または点光源のＲＧＢ値を単位輝
度、他の面光源または点光源のＲＧＢ値をＲ＝０，Ｂ＝
０，Ｇ＝０としたときの仮想物体の画像を元画像として
予め生成し、あるいは、実世界に球面状に均等に光源を
配置し、それぞれの光源について、ある光源を単位輝度
で点灯し、他の光源を消灯したときの実画像を撮影し、
この生成した面光源または点光源ごとの元画像、また
は、撮影した実画像を元画像として予め記憶している元
画像記憶手段と、生成したい光源環境に対応する位置の
面光源または点光源を抽出し、前記元画像記憶手段から
この抽出した面光源または点光源に対応する元画像を全
て抽出し、この抽出した元画像の線形和を計算すること
によって、生成したい光源環境下での画像を生成する画
像生成手段と、を備えていることを特徴とする。ここ
で、上記の単位輝度とは、面光源または点光源のＲＧＢ
値を１、またはある想定した一定の数値として定義した
ものである。この単位輝度の値は、単位画像および最終
生成画像を見て、見た目で決定する。

【０００８】このような特徴を有する本発明によれば、
ｍ個の面光源または点光源は、光源環境を３６０°均等
に配置した面光源または点光源で近似している。すなわ
ち、ｇｅｏｄｅｓｉｃ ｄｏｍｅを想定し、２０面体の
面を何分割かした各分割面または各分割面の頂点に光源
を配置している。点光源の場合、具体的には、１３０個
等の点光源を配置することが考えられるが、少なくとも
３００個〜５００個以上、理想的には１０００個以上配
置するのが良い。点光源の場合、光源の位置を変化させ
ると、光源をとってきていない点に光源がはいったと
き、画像が急に暗くなるからである。このような不具合
を防止するためには、１０００個以上配置するのが良
い。なお、面光源の場合には、光源がリアルタイムに変
化した場合でも、光のとりこぼしがない。そして、この
ように配置したｍ個の面光源または点光源のそれぞれに
ついて、その面光源または点光源のＲＧＢ値を単位輝度
（例えば、Ｒ＝１，Ｂ＝１，Ｇ＝１）、他の面光源また
は点光源のＲＧＢ値をＲ＝０，Ｂ＝０，Ｇ＝０としたと
きの仮想物体の画像を元画像として予め生成し、あるい
は、実世界に、このようなｍ個の光源を配置し、配置し
た光源のそれぞれについて、１つの光源を単位輝度、他
を消灯して撮影を行い、この生成した面光源または点光
源ごとの元画像、または、撮影した実画像を元画像とし
て元画像記憶手段に記憶させている。そのため、画像生
成手段は、生成したい光源環境が与えられると、その与
えられた光源環境に対応する位置の面光源または点光源
を抽出し、元画像記憶手段からこの抽出した面光源また
は点光源に対応する元画像を全て抽出して、この抽出し
た元画像の線形和を計算することによって、求めたい光
源環境下での画像を生成する。すなわち、本発明では、
抽出した元画像の線形和を計算するだけで画像を生成で
きるので、リアルタイムに光源を変えた場合でも、高品
位で違和感のない画像を次々と生成することが可能とな
る。例えば、バーチャルセットに人が入ってきたとき、
その人にスポットライトをあて、同時にバーチャルセッ
トにもその光に影響を受けて明るさが変わるといった処
理などがリアルタイムに行える。

【０００９】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成装置は、光源環境として半球面状
に均等に配置したｍ個の面光源または点光源を設定し、
それぞれの光源について、その面光源または点光源のＲ
ＧＢ値を単位輝度、他の点光源のＲＧＢ値をＲ＝０，Ｂ
＝０，Ｇ＝０として、ある大きい平面上に仮想物体を配
置した画像と、平面上に仮想物体を配置していない画像
の２枚を元画像として予め生成し、あるいは、実世界に
球面状に均等に光源を配置し、それぞれの光源につい
て、ある光源を単位輝度、他の光源を０として、ある大
きい平面上に実物体を配置したシーンと、平面のみのシ
ーンの２枚を元画像として撮影し、この生成した面光源
または点光源ごとの元画像、あるいは、撮影した実画像
を元画像として予め記憶している元画像記憶手段と、生
成したい画像の実世界における光源環境を計測してｎ個
の面光源または点光源で近似する光源環境計測手段と、
この光源環境計測手段にて計測したｎ個の面光源または
点光源に対応する元画像を前記元画像記憶手段から抽出
し、この抽出した元画像の線形和を計算することによっ
て、生成したい光源環境下での画像を生成する画像生成
手段と、を備えていることを特徴とする。

【００１０】このような特徴を有する本発明によれば、
光源環境計測手段は、実世界において、できるだけ広範
囲からの光を取り込むことができる形態のものが好まし
い。例えば、魚眼レンズ付きビデオカメラ、半球面上に
配置したＣＣＤなどの光検知素子などを使用することが
できる。実世界における光源環境とは、太陽からの直接
あるいは反射光、電球、蛍光灯などからの人工の光源か
らの光、白い壁や鏡からの反射光を含むもので、ある実
世界にいて、あらゆる角度から差し込む光の状態を総称
するものである。

【００１１】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成装置は、上記構成において、画像
生成手段は、前記光源環境計測手段にて計測し近似した
ｎ個の面光源または点光源のそれぞれのＲＢＧ値に基づ
いて、前記元画像記憶手段から抽出した対応する面光源
または点光源の元画像のＲＧＢ値をそれぞれ修正した
後、修正後の元画像の和を計算することを特徴とする。
面光源または点光源の元画像のＲＧＢ値をそれぞれ修正
する手法としては、（Ｓｃａｌｉｎｇ値×元画像）のそ
れぞれのピクセルのＲＧＢ値を計算して修正する。ここ
で、Ｓｃａｌｉｎｇ値は、単位輝度と実際のＲＧＢ値と
の相対関係により決定する。ただし、その合計が、０以
上画素の最大値以下にはいるようにする。

【００１２】例えば、ｎ個光源が存在する場合、 ただし、０＜Ｘ≦画素の最大値（ＲＧＢ各８ビット表示
の場合、０≦Ｘ≦２５５）になるようにｓを調節する。
また、ｓは全ての画素に対して一定の値とする。

【００１３】このような特徴を有する本発明によれば、
元画像記憶手段に記憶されている各面光源または点光源
ごとの元画像は、その面光源または点光源のＲＧＢ値を
単位輝度（例えば、Ｒ＝１，Ｂ＝１，Ｇ＝１）としたと
きの仮想物体の画像であるので、光源環境計測手段にて
計測されたｎ個の面光源または点光源のＲＧＢ値に合わ
せる必要がある。例えば、面光源または点光源Ａ１のＲ
ＧＢ値が、Ｒ＝０．８、Ｇ＝０．８、Ｂ＝０．８、面光
源または点光源Ａ２のＲＧＢ値が、Ｒ＝１．５、Ｇ＝
１．５、Ｂ＝１．５、となっている場合には、各画像の
各ピクセルのＲＧＢについて、（Ａ１×０．８）＋（Ａ
２×１．５）＋Ａ３×０＋・・・＋Ａｎ×０を計算し、
それぞれのピクセル値が０以上画素の最大値以下の間に
入るようにＳｃａｌｉｎｇし、画像を生成する。このよ
うにすることで、高品位で違和感のない画像を生成する
ことができる。

【００１４】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成装置は、上記各構成において、画
像生成手段は、平面上に仮想物体を配置した元画像の線
形和と、平面上に仮想物体を配置していない元画像の線
形和を計算することによって得られた画像から、仮想物
体、あるいは、撮影した画像を元画像とする場合には撮
影した実物体が存在する場合と存在しない場合との背景
部分の明るさの変化情報を計算し、実画像にこの変化情
報を加味するとともに、前記元画像の線形和を計算する
ことによって得られた画像のうち仮想物体の画像、ある
いは、撮影画像を元画像として用いる場合は実物体を、
前記変化情報が加味された実画像上に重畳することを特
徴とする。

【００１５】このような特徴を有する本発明によれば、
元画像の線形和を計算することによって得られた画像か
ら、仮想物体、あるいは、撮影画像から計算する場合
は、実世界に配置した実物体が、存在する場合と存在し
ない場合との背景部分の明るさの変化情報（比：影生
成）を計算しておく。そして、実画像にこの比をかけた
画像と、仮想物体そのもののレンダリング画像、また
は、撮影した実物体そのものの画像とを合成すると、背
景である実画像に仮想物体の影が落ちた画像を高品位で
違和感なく生成することができる。

【００１６】また、ｍ個の面光源または点光源のそれぞ
れに対応する元画像を予め用意し、これの線形和によっ
て仮想物体の画像を生成する手法は必ずしも装置として
の形態に限定されず、方法としての形態でも実現でき
る。そこで、本発明の画像生成方法は、光源環境として
半球面状に均等に配置したｍ個の面光源または点光源を
設定し、それぞれの光源について、その面光源または点
光源のＲＧＢ値を単位輝度、他の面光源または点光源の
ＲＧＢ値をＲ＝０，Ｂ＝０，Ｇ＝０としたときの仮想物
体の画像を元画像として生成する手順、あるいは、実際
に球面状に光源を均等に配置し、それぞれの光源につい
て、その光源を単位輝度、他の光源を０としたときの実
画像を撮影して元画像とする手順と、この生成した面光
源または点光源ごとの元画像、あるいは、撮影した実画
像を元画像として、元画像記憶手段に記憶させておく手
順と、生成したい光源環境に対応する位置の面光源また
は点光源を抽出する手順と、この抽出した面光源または
点光源に対応する元画像を前記元画像記憶手段から全て
抽出し、この抽出した元画像の線形和を計算することに
よって、生成したい光源環境下での画像を生成する手順
と、を備えていることを特徴とする。

【００１７】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成方法は、光源環境として半球面状
に均等に配置したｍ個の面光源または点光源を設定し、
それぞれの光源について、その面光源または点光源のＲ
ＧＢ値を単位輝度、他の面光源または点光源のＲＧＢ値
をＲ＝０，Ｂ＝０，Ｇ＝０として、ある大きい平面上に
仮想物体を配置した画像と、平面上に仮想物体を配置し
ていない画像の２枚を元画像として予め生成する手順、
あるいは、実際に球面状に均等に光源を配置し、それぞ
れの光源について、ある光源を単位輝度、他の光源を０
として、ある大きい平面上に実物体を配置したシーン
と、平面のみのシーンの２枚を元画像として撮影する手
順と、この生成した面光源または点光源ごとの元画像を
元画像記憶手段に記憶させておく手順と、生成したい画
像の実世界における光源環境を計測してｎ個の面光源ま
たは点光源で近似する手順と、この計測したｎ個の面光
源または点光源に対応する元画像を前記元画像記憶手段
から抽出し、この抽出した元画像の線形和を計算するこ
とによって、生成したい光源環境下での画像を生成する
手順と、を備えていることを特徴とする。

【００１８】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成方法は、上記構成において、前記
光源環境計測手段にて計測し近似したｎ個の面光源また
は点光源のそれぞれのＲＢＧ値に基づいて、前記元画像
記憶手段から抽出した対応する面光源または点光源の元
画像のＲＧＢ値をそれぞれ修正する手順をさらに有する
ことを特徴とする。

【００１９】また、本発明の光源環境変化をリアルタイ
ムに反映する画像生成方法は、上記各構成において、平
面上に仮想物体を配置した元画像の線形和と、平面上に
仮想物体を配置していない元画像の線形和を計算するこ
とによって得られた画像から、仮想物体、あるいは、撮
影した実物体が存在する場合と存在しない場合との背景
部分の明るさの変化情報を計算し、実画像にこの変化情
報を加味するとともに、前記元画像の和を計算すること
によって得られた画像のうち仮想物体の画像を前記変化
情報が加味された実画像上に重畳する手順をさらに有す
ることを特徴とする。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００２１】図１は、本発明の光源環境変化をリアルタ
イムに反映する画像生成装置の一実施形態にかかるクレ
ーム対応図である。

【００２２】本実施形態の画像生成装置は、後述する面
光源または点光源ごとの元画像を生成する元画像生成手
段Ｂ１と、生成した元画像を面光源または点光源ごとに
記憶している元画像記憶手段Ｂ２と、生成したい光源環
境に対応する位置の面光源または点光源を抽出し、元画
像記憶手段Ｂ２からこの抽出した面光源または点光源に
対応する元画像を全て抽出し、この抽出した元画像の和
を計算することによって、生成したい光源環境下での画
像を生成する画像生成手段Ｂ３と、生成したい画像の実
世界における光源環境を計測してｎ個の面光源または点
光源で近似する光源環境計測手段Ｂ４とを備えている。

【００２３】元画像生成手段Ｂ１は、次のようにして面
光源または点光源ごとの元画像を生成する。

【００２４】まず、光源環境として、図２に示すように
半球面状に均等に配置したｍ個の面光源または点光源
（図２では面光源を示している）を設定する。ｍ個の面
光源または点光源は、光源環境を３６０°均等に配置し
た面光源または点光源で近似している。すなわち、図３
に示すｇｅｏｄｅｓｉｃ ｄｏｍｅを想定し、２０面体
の面を何分割かした各分割面または分割面の各頂点に光
源を配置している。具体的には、面光源の場合、１３０
個程度の面光源を配置することが考えられるが、理想的
には３００個〜５００個程度配置するのが良い。また、
点光源では、１０００個以上配置するのが良い。そし
て、このように配置したｍ個の面光源または点光源のそ
れぞれについて、その面光源または点光源のＲＧＢ値を
単位輝度、他の面光源または点光源のＲＧＢ値をＲ＝
０，Ｂ＝０，Ｇ＝０として、ある大きい平面上に仮想物
体を配置した画像と、平面上に仮想物体を配置していな
い画像の２枚を元画像として予め生成し、この生成した
面光源または点光源ごとの元画像を元画像記憶手段Ｂ２
に記憶させている。

【００２５】これは、実際に球面上に均等に光源を配置
し、それぞれの光源について、ある光源を単位輝度、他
の光源を０として、ある大きい平面上に実物体を配置し
たシーンと、平面のみのシーンの２枚を元画像として撮
影し、元画像記憶手段Ｂ２に記憶させてもよい。このよ
うにすると、予め撮影しておいたシーンに対して、光源
変化に対応して、どのように見えるかが再現できる。

【００２６】図４（ａ），（ｂ）は、このようにして元
画像を生成するイメージを示したものである。ここでい
う実シーンは、コンピュータ上で生成した仮想シーンで
もよいし、実世界を撮影した実際のシーンでもよい。す
なわち、面光源が１３０個設定されている場合には、元
画像もこれに対応して２６０個が元画像記憶手段Ｂ２に
記憶される。すなわち、ある大きい平面上（例えば、画
面全領域を覆う平面、または背景の地面より大きい白い
平面など、影部分が生成可能な平面）に仮想物体、ある
いは、撮影した画像を用いる場合は実物体を配置した画
像と、平面上に仮想物体を配置していない画像の２枚を
１組として、光源の個数分記憶されている。面光源また
は点光源ごとの元画像の生成（レンダリング）は、従来
から行われている一般的な手法を用いることが可能であ
り、例えば、ラジオシティ法、レイトレイシング法、レ
イキャスティング法等の手法がある。

【００２７】なお、各面光源または点光源は、これを特
定するための３次元座標を持つ必要がある。すなわち、
仮想物体を実画像（実世界）へ重ね込むために、実世界
の３次元座標と、この面光源または点光源の３次元座標
とが一致している必要があるが、この各面光源または点
光源の３次元座標については、後の実世界の３次元座標
の説明のところで述べる。

【００２８】光源環境計測手段Ｂ４は、実世界におい
て、できるだけ広範囲からの光を取り込むことができる
形態のものが好ましい。本実施形態では、魚眼レンズ付
きビデオカメラを使用している。すなわち、実世界の光
源環境からの光を取り込む光検出手段として魚眼レンズ
という非常に広角なレンズを用いて撮影した画像を用い
ることにより、広い範囲の光源環境からの影響を表現す
ることができる。

【００２９】すなわち、魚眼レンズにより撮影された全
方位画像を用いて、空間全体での光源分布を計測し、計
測された光源環境を実世界座標系で記述する手法を用い
ている。

【００３０】ここで、実世界座標系の設定には、実世界
に座標系を想定し、その座標系に合わせて、座標点とな
る目印を配置する。この目印は、水平垂直に配置するの
が好ましい。例えば、まがりにくい板を用意し、格子模
様を設ける。ここでは、この板をキャリブレーションボ
ートと呼ぶ。ボードを座標軸の任意の軸を含む平面と
し、ボードの横軸を他の１つの軸とし、縦軸を残りの
１つの軸とし、ボードの中心にある格子位置を座標原
点とすることを例示できる。一例を挙げると、図５に示
すように、キャリブレーションボード上の格子点の数を
８１個（縦９×横９）、格子点の中心の間隔を２０ｍｍ
とする。また、このキャリブレーションボードをｚ＝０
の平面とし、横軸をｘ軸、縦軸をｙ軸とし、ボードの中
心にある格子点位置を座標原点とし、座標系の単位をｍ
ｍとする。なお、元画像記憶手段Ｂ２に記憶されている
各元画像の面光源または点光源の３次元座標も、このキ
ャリブレーションボードの中心にある格子位置を座標原
点としている。これにより、各面光源または点光源の３
次元座標と実世界座標とが一致することになる。

【００３１】ここで、視点と画角との関係について述べ
る。

【００３２】カメラキャリブレーション手法はどの手法
を用いてもよい。ＣＧ上のカメラの位置、カメラの向
き、カメラの画角を実際のカメラの位置、向き、画角と
合わせることにより、２次元画像とＣＧ画像の見えの一
致を図る。単純な線形変換と仮定して、計算してもよ
い。因みに、図６は、カメラキャリブレーションの単純
な線形変換で計算する例を示している。本実施形態で
は、Ｔｓａｉにより提案されたカメラキャリブレーショ
ン手法を用いて、実世界３次元座標系と合成画像面上２
次元座標系への投影変換を求める（R.Tsai, 「A Versat
ile Camera Calibration Technique for High Accuracy
Machine Vision Metrology Using Off-the-Shelf TV C
ameras and Lenses 」｛itshape IEEE Journal of Robo
tics and Automationu｝,vol.3,no.4,pp.323-344,198
7)。

【００３３】Ｔｓａｉのカメラモデルは、対象とする座
標系（本発明では、実世界座標系）に対するカメラ位
置、姿勢を示す外因的なパラメタ（extrinsic paramete
rs) とカメラの幾何学的、光学的性質を表す内部的なパ
ラメタ（intrinsic parameters) で構成される。

【００３４】このカメラモデルは、画像の歪み（image
distortion) の最も大きな要因である（１）レンズ系の
歪み（radial distortion)、（２）画像中心のずれ（di
splacement ofthe image center)、（３）カメラとfram
e grabber の水平走査レートの違い(mismatch between
camera and frame-grabber) を考慮に入れることができ
るため、精度の高いキャリブレーションを行うことがで
きる。

【００３５】Ｔｓａｉの手法は、３次元空間内の典の３
次元座標と、その点の画像面内のピクセル座標の対を用
いることで、これらのカメラパラメタを推定する。ま
た、このようにして推定されたカメラパラメタを用いる
ことにより、実世界３次元座標系から画像面２次元座標
系への投影変換、またその逆変換（すなわち、２次元元
画像面上の点から、投影中心とその点を通る実世界３次
元空間内の直線への変換）を求めることができる。

【００３６】本発明では、キャリブレーションボード上
に配置された８１個の格子点の画像面２次元座標と実世
界３次元座標とを用いて、カメラキャリブレーションを
行い、カメラパラメタを推定する。このようにして求め
た変換を用いることにより、仮想物体を画像面の正しい
位置に配置することができる。なお、視点と画角との関
係については、上記のＴｓａｉの方法の他にも、計算方
法は種々提案されており、それらのどの方法で求めても
よい。

【００３７】計測された光源環境を実世界座標系で記述
する手法は、まず、実世界座標上の１点から魚眼レンズ
付きカメラを用いて全方位画像を１枚取り込む。図７
は、このようにして取り込んだ全方位画像の一例を示し
ている。この全方位画像は、ビルの谷間から空が覗いて
いるシーンである。次に、この取り込んだ全方位画像か
らｎ個の特徴点を抽出し、このｎ個の特徴点に対応する
実世界内の点の実世界座標を計算する、といった手法に
より行う。

【００３８】ここで、面光源または点光源（特徴点）の
抽出方法について説明する。

【００３９】点光源の抽出に際しては、上記の図３に示
すｇｅｏｄｅｓｉｃ ｄｏｍｅを想定し、正５角形の頂
点を原点対象に配置し、その点を基準に他の点を２０面
体の頂点になるように配置する。そして、中心から隣接
する２頂点のなす角度が１／２になるよう分割して頂点
を増やし、各頂点の座標（ｘ，ｙ，ｚ）より、その頂点
の（θ，φ）を求める。図８は、各頂点の座標（ｘ，
ｙ，ｚ）と、その頂点の（θ，φ）との関係を示してい
る。このような関係を前提として、まず、（θ，φ）の
方向で無限の距離に光源を発生させる。そして、この
（θ，φ）で決まる（ｘ，ｙ，ｚ）の座標と対応する、
魚眼画像のピクセルの（ｘ，ｙ）座標を求め、その魚眼
画像の（ｘ，ｙ）座標のピクセル値（ＲＧＢ値）を、そ
の点光源の色（ＲＧＢ値）とする。ここで、（θ，φ）
で決まる（ｘ，ｙ，ｚ）座標と対応する魚眼画像の
（ｘ，ｙ）座標が小数のときには、重み付け計算によ
り、どのピクセルから値（ＲＧＢ値）を取り出すかを決
定する。ここで、ｇｅｏｄｅｓｉｃｄｏｍｅの面（図３
に示す三角形の各１枚）を光源とする場合、面のＲＧＢ
値は、ｇｅｏｄｅｓｉｃ ｄｏｍｅの面に対応する魚眼
レンズ撮影画像のＲＧＢ値を反映する。例えば、ｇｅｏ
ｄｅｓｉｃ ｄｏｍｅの面に対応する魚眼レンズ撮影画
像のピクセル位置のＲＧＢ値を全て足したもの、また
は、ｇｅｏｄｅｓｉｃｄｏｍｅの面に対応する魚眼レン
ズ撮影画面のピクセル位置のＲＧＢ値を足して平均をと
ったものなどとし、全体の明るさは、画像足し合わせ
（線形和）のときに、Ｓｃａｌｉｎｇ（０以上画素の最
大値以下の間にはいるように値を調整）する。

【００４０】画像生成手段Ｂ３は、オペレータが指定し
た面光源または点光源の実世界座標（実シーンに重ね込
む場合は、光源環境計測手段Ｂ４にて計測したｎ個の面
光源または点光源の実世界座標であるが、これについて
は後述する）から、その座標に対応する座標を持つ元画
像を元画像記憶手段Ｂ２から抽出し、この抽出した元画
像の線形和を計算することによって、生成したい光源環
境下での画像を生成する。

【００４１】このとき、画像生成手段Ｂ３は、指定され
たｎ個の面光源または点光源のそれぞれのＲＢＧ値に基
づいて、元画像記憶手段Ｂ２から抽出した対応する面光
源または点光源の元画像のＲＧＢ値をそれぞれ修正した
後、修正後の元画像の和を計算する。図４（ｃ），
（ｄ）は、この計算過程をイメージ的に示したものであ
り、面光源または点光源Ａ１のＲＧＢ値が、Ｒ＝３、Ｇ
＝３、Ｂ＝３、面光源または点光源Ａ２のＲＧＢ値が、
Ｒ＝１、Ｇ＝１、Ｂ＝１、面光源または点光源Ａ３のＲ
ＧＢ値が、Ｒ＝３、Ｇ＝３、Ｂ＝３、・・・、面光源ま
たは点光源ＡｎのＲＧＢ値が、Ｒ＝１、Ｇ＝１、Ｂ＝
１、となっている場合、画像生成手段Ｂ３は、各画像の
各ピクセルのＲＧＢについて、（Ａ１×３）＋（Ａ２×
１）＋（Ａ３×３）＋・・・＋Ａｎ×１を計算し、各ピ
クセルの値が０以上画素の最大値以下の間にはいるよう
にＳｃａｌｉｎｇして画像（同図（ｄ））を生成する。
ただし、ここではＲＧＢ全ての値を同じ値として計算し
ているが、ＲＧＢごとに異なった値となる場合もある。
このようにすることで、高品位で違和感のない画像を生
成することができる。

【００４２】上記の計算および画像生成を、図９（ａ）
〜（ｆ）に示す画像例を用いて具体的に説明する。ただ
し、（ａ）は魚眼レンズによる実光源環境の計測例、
（ｂ）は面光源または点光源Ａ１に対応する元画像、
（ｃ）は面光源または点光源Ａ２に対応する元画像、
（ｄ）は面光源または点光源Ａ１に対応する元画像のＲ
ＧＢ値を補正した後の元画像、（ｅ）は面光源または点
光源Ａ２に対応する元画像のＲＧＢ値を補正した後の元
画像、（ｆ）は（ｄ）示す元画像と（ｅ）に示す元画像
とを加算した後の合成画像である。

【００４３】この具体例では、光源環境計測手段Ｂ４に
て計測された面光源または点光源Ａ１のＲＧＢ値が、Ｒ
＝０．８、Ｇ＝０．８、Ｂ＝０．８、面光源または点光
源Ａ２のＲＧＢ値が、Ｒ＝１．５、Ｇ＝１．５、Ｂ＝
１．５、その他の面光源または点光源Ａ３、・・・、Ａ
ｎのＲＧＢ値が、Ｒ＝０、Ｇ＝０、Ｂ＝０、となってい
る。そのため、画像生成手段Ｂ３は、各画像の各ピクセ
ルのＲＧＢについて、（Ａ１×０．８）＋（Ａ２×１．
５）＋Ａ３×０＋・・・＋Ａｎ×０を計算し、各ピクセ
ルの値が０以上画素の最大値以下の間にはいるようにＳ
ｃａｌｉｎｇして画像を生成する。このようにすること
で、高品位で違和感のない画像を生成することができ
る。

【００４４】上記図９に示す具体例は、仮想物体のみの
レンダリングの場合（元画像の線形和を計算しただけ）
の画像生成処理である。

【００４５】実画像を背景に置く場合の画像生成処理で
は、上記のように生成した合成画像の仮想物体を実世界
に重ね込む処理（具体的には影の計算）が必要となる。
以下では、画像生成手段Ｂ３において仮想物体を入力画
像（背景）に重ね込む処理について説明する。

【００４６】画像生成手段Ｂ３は、光源環境計測手段Ｂ
４にて計測したｎ個の面光源または点光源の実世界座標
から、その座標に対応する座標を持つ元画像を元画像記
憶手段Ｂ２から抽出し、この抽出した元画像の和を計算
することによって、生成したい光源環境下での仮想物体
の画像を生成する。このとき、画像生成手段Ｂ３は、光
源環境計測手段Ｂ４にて計測し近似したｎ個の面光源ま
たは点光源のそれぞれのＲＢＧ値に基づいて、元画像記
憶手段Ｂ２から抽出した対応する点光源の元画像のＲＧ
Ｂ値をそれぞれ修正した後、修正後の元画像の和を計算
する。例えば、面光源または点光源Ａ１のＲＧＢ値が、
Ｒ＝０．８、Ｇ＝０．８、Ｂ＝０．８、面光源または点
光源Ａ２のＲＧＢ値が、Ｒ＝１．５、Ｇ＝１．５、Ｂ＝
１．５、その他の面光源または点光源Ａ３、・・・、Ａ
ｎのＲＧＢ値が、Ｒ＝０、Ｇ＝０、Ｂ＝０、となってい
る場合、画像生成手段Ｂ３は、各画像の各ピクセルのＲ
ＧＢについて、（Ａ１×０．８）＋（Ａ２×１．５）＋
Ａ３×０＋・・・＋Ａｎ×０を計算し、各ピクセルの値
が０以上画素の最大値以下の間にはいるようにＳｃａｌ
ｉｎｇして仮想物体の画像を生成する。

【００４７】またこのとき、画像生成手段Ｂ３は、配置
した仮想物体によって入力画像（背景）に落ちる影を計
算する。この計算方法は、本実施形態では次のように計
算する。

【００４８】すなわち、元画像の線形和を計算すること
によって得られた画像から、仮想物体、あるいは、実シ
ーンの撮影画像を元画像として用いている場合は実物体
が存在する場合と存在しない場合との背景部分（影部
分）の明るさの比（影生成）を計算しておく。そして、
撮影によって得られた入力画像（背景）のうち、仮想物
体によって影となる部分にこの比（影生成）をかけた画
像（すなわち、入力画像（背景）に仮想物体の影のみを
重ね込んだ画像）と、仮想物体そのもののレンダリング
画像とを合成する。これにより、背景である入力画像に
仮想物体の影が落ちた画像を高品位で違和感なく生成す
ることができる。

【００４９】図１０は、元画像から生成した仮想物体の
画像を、その影とともに入力画像（背景）に重ね込む過
程を示しており、同図（ａ）は入力画像（背景）、同図
（ｂ）は背景を白い平面とし、そこに仮想物体を配置し
てレンダリングした結果、同図（ｃ）は背景を白い平面
のみとし、仮想物体は配置せずにレンダリングした結
果、同図（ｄ）はマスク画像、同図（ｅ）は仮想物体を
入力画像（背景）に重ね込んだ画像である。

【００５０】すなわち、仮想物体を含むレンダリング画
像のうち、その仮想物体を除く部分のピクセルごとの
Ｒ，Ｇ，Ｂ値をＥ２（Ｒ２，Ｇ２，Ｂ２）（同図
（ｂ））とし、仮想物体を含まないレンダリング画像の
対応するピクセルごとの部分のＲ，Ｇ，Ｂ値をＥ１（Ｒ
１，Ｇ１，Ｂ１）（同図（ｃ））とすると、Ｅ２／Ｅ１
（すなわち、Ｒ２／Ｒ１，Ｇ２／Ｇ１，Ｂ２／Ｂ１）×
入力画像（ただし、影となる部分のみ）を計算すること
で、入力画像に仮想物体を重ね込んだときの影となる部
分の色を計算することができる。図１１は、この計算
（比による影の生成）をイメージ的に示したものであ
り、図１０の（ａ），（ｂ），（ｃ）の画像を用いてこ
れを計算式のように示している。このとき、入力画像
（背景）の他の部分は、Ｒ，Ｇ，Ｂの比が１：１である
ので変わらない。すなわち、そのままの色の画像とな
る。そして、この入力画像に、同図（ｂ）で生成した仮
想物体のみを重ね込むと、同図（ｅ）に示す合成画像を
生成することができる。重ね込みは、マスク処理によ
る。例えば、マスク画像（同図（ｄ））は、背景を黒、
仮想物体を赤とする。マスク処理により、背景と仮想物
体との領域（ｐｉｘｅｌの範囲）を分ける。そして、背
景のｐｉｘｅｌ部分には、背景画像のＲ，Ｇ，Ｂ値に、
Ｅ２／Ｅ１の比（すなわち、Ｒ２／Ｒ１，Ｇ２／Ｇ１，
Ｂ２／Ｂ１）をかけたものをいれる。また、仮想物体の
ｐｉｘｅｌ部分には、レンダリング結果であるＥ２の
Ｒ，Ｇ，Ｂ値をいれる（ただし、先に、背景画像全体
に、Ｅ２／Ｅ１の比（すなわち、Ｒ２／Ｒ１，Ｇ２／Ｇ
１，Ｂ２／Ｂ１）をかけたものをいれて、その後で、仮
想物体のｐｉｘｅｌ部分に、レンダリング結果であるＥ
２のＲ，Ｇ，Ｂ値を上書きしても同じである）。仮想物
体そのもの（背景が黒色、仮想物体が赤色であるマスク
画像）を入れることで、単純に比により、背景の色を変
えることができる。なお、この影の計算のより詳細な内
容については、本発明者らが提案している特開平１１−
１７５７６２号公報に、「７．４仮想物体からの影の計
算」として記載している。

【００５１】以上説明したように、本発明の光源環境変
化をリアルタイムに反映する画像生成装置および画像生
成方法によれば、新しい光源状況をシミュレーションし
たい場合（例えば、住宅であれば、朝、昼、夕方の変
化、部屋の中と外、といったまったく異なる光源状況
や、スポットライトの付加など）でも、あらかじめｍ枚
の元画像をレンダリングしておけば、それぞれの光源環
境に合った元画像の和を計算するのみでよく、新たなレ
ンダリング計算の必要がないので、計算が高速になる。
そのため、汎用のパーソナルコンピュータ（ＰＣ）など
でも現実感の高いレンダリング手法を用いて、高速に計
算することができる。

【００５２】また、予めｍ枚の元画像を撮影しておけ
ば、例えば、すでに撮影されたシーンと実シーンの合成
などの場合において、すでに撮影されたシーンであって
も、光源環境変化をリアルタイムに反映した映像を生成
できる。

【００５３】また、アニメーションやバーチャルリアリ
ティでのリアルタイムレンダリングも可能となる。現在
のテレビ局で製作されているＶｉｒｔｕａｌＳｅｔで
は、仮想世界と実世界の光源環境の一致がなされていな
かった。つまり、あらかじめ違和感のないようにＶｉｒ
ｔｕａｌＳｅｔを製作しておき、必要に応じてそれを用
いているからである。これは、従来の手法ではレンダリ
ングの速度が遅いため、光源を変えたシーンを高品位か
つ違和感なくリアルタイムに生成できなかったためであ
る。これに対し、本発明の手法を用いると、光源環境が
変化した場合でも、新たにレンダリング計算する必要が
なく、光源環境の変化に対応した元画像の線形和のみで
画像を生成できるため、リアルタイムに光源を変えたシ
ーンを高品位かつ違和感なくリアルタイムに生成するこ
とが可能となる。例えば、ＶｉｒｔｕａｌＳｅｔに人が
入ってきたとき、その人にスポットライトをあて、同時
にＶｉｒｔｕａｌＳｅｔもその光に影響を受けて明るさ
が変わるなどの処理がリアルタイムに行える。

【００５４】

【発明の効果】本発明の光源環境変化をリアルタイムに
反映する画像生成装置および画像生成方法によれば、新
しい光源環境をシミュレーションしたい場合、あらかじ
めｍ枚の元画像をレンダリング、あるいは撮影しておけ
ば、その光源環境に合った元画像の線形和を計算するの
みでよく、新たなレンダリング計算の必要がないので、
計算が高速になる。そのため、パーソナルコンピュータ
（ＰＣ）でも高速に計算することができる。また、アニ
メーションやバーチャルリアリティでのリアルタイムレ
ンダリングも可能となるといった種々の効果を奏する。

【図面の簡単な説明】

【図１】本発明の光源環境変化をリアルタイムに反映す
る画像生成装置の一実施形態にかかるクレーム対応図で
ある。

【図２】光源環境として、半球面状に均等に配置したｍ
個の面光源または点光源を設定する説明図である。

【図３】ｇｅｏｄｅｓｉｃ ｄｏｍｅを示す図である。

【図４】（ａ），（ｂ）は元画像を生成する様子をイメ
ージ的に示した図であり、（ｃ），（ｄ）は元画像から
合成画像を計算する過程をイメージ的に示した図であ
る。

【図５】入力画像の撮影系とキャリブレーション画像の
撮影系の概念図である。

【図６】カメラキャリブレーションの単純な線形変換で
計算する例を示す説明図である。

【図７】魚眼レンズによって撮影された全方位画像の一
例を示した図である。

【図８】座標（ｘ，ｙ，ｚ）と（θ，φ）との関係を示
す説明図であって、（ａ）は魚眼の中心を原点としたｘ
−ｙ座標の平面図、（ｂ）はｚ＝０の面を魚眼画像面と
した立体図である。

【図９】元画像から合成画像を生成する過程を示してお
り、（ａ）は魚眼レンズによる実光源環境の計測例、
（ｂ）は面光源または点光源Ａ１に対応する元画像、
（ｃ）は面光源または点光源Ａ２に対応する元画像、
（ｄ）は面光源または点光源Ａ１に対応する元画像のＲ
ＧＢ値を補正した後の元画像、（ｅ）は面光源または点
光源Ａ２に対応する元画像のＲＧＢ値を補正した後の元
画像、（ｆ）は（ｄ）に示す元画像と（ｅ）に示す元画
像とを加算した後の合成画像である。

【図１０】元画像から生成した仮想物体の画像を、その
影とともに入力画像（背景）に重ね込む過程を示してお
り、（ａ）は入力画像（背景）、（ｂ）は背景を白い平
面とし、そこに仮想物体を配置してレンダリングした結
果、（ｃ）は背景を白い平面のみとし、仮想物体は配置
せずにレンダリングした結果、（ｄ）はマスク画像、
（ｅ）は仮想物体を入力画像（背景）に重ね込んだ合成
画像である。

【図１１】比による影の生成を模式的に示した説明図で
ある。

【符号の説明】

Ｂ１ 元画像生成手段 Ｂ２ 元画像記憶手段 Ｂ３ 画像生成手段 Ｂ４ 光源環境計測手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 いまり 東京都江東区東陽５−３−１ (72)発明者 林田 守広 佐賀県佐賀市本床町本床571 Ｂ２−224 (72)発明者 甲斐 郁代 京都市南区上鳥羽上調子町２−２ 積水化 学工業株式会社内 Ｆターム(参考） 5B050 BA01 BA06 BA09 BA11 BA13 EA09 EA19 EA30 5B080 DA07 FA02 FA08 GA13 5C023 AA11 AA37 BA01 BA11 CA03 DA08 EA03

Claims (8)

【特許請求の範囲】
1. 【請求項１】 光源環境として半球面上に均等に配置し
   たｍ個の面光源または点光源を設定し、それぞれの光源
   について、その面光源または点光源のＲＧＢ値を単位輝
   度、他の面光源または点光源のＲＧＢ値をＲ＝０，Ｂ＝
   ０，Ｇ＝０としたときの仮想物体の画像を元画像として
   予め生成し、あるいは、球面状に実際に光源を配置し、
   それぞれの光源について、ある光源を単位輝度、他の光
   源を０としたときの実画像を元画像として予め撮影し、
   この生成した面光源または点光源ごとの元画像、あるい
   は、光源ごとに撮影した元画像を予め記憶している元画
   像記憶手段と、 生成したい光源環境に対応する位置の面光源または点光
   源を抽出し、前記元画像記憶手段からこの抽出した面光
   源または点光源に対応する元画像を全て抽出し、この抽
   出した元画像の和を計算することによって、生成したい
   光源環境下での画像を生成する画像生成手段と、を備え
   ていることを特徴とする光源環境変化をリアルタイムに
   反映する画像生成装置。
2. 【請求項２】 光源環境として半球面状に均等に配置し
   たｍ個の面光源または点光源を設定し、それぞれの光源
   について、その面光源または点光源のＲＧＢ値を単位輝
   度、他の面光源または点光源のＲＧＢ値をＲ＝０，Ｂ＝
   ０，Ｇ＝０として、ある大きい平面上に仮想物体を配置
   した画像と、平面上に仮想物体を配置していない画像の
   ２枚を元画像として予め生成し、あるいは、球面状に実
   際に均等に光源を配置し、それぞれの光源について、あ
   る光源を単位輝度、他の光源を０として、ある大きい平
   面上に実物体を配置したシーンと、平面のみのシーンの
   ２枚を元画像として予め撮影し、この生成した面光源ま
   たは点光源ごとの元画像、あるいは、光源ごとに撮影し
   た元画像を予め記憶している元画像記憶手段と、 生成したい画像の実世界における光源環境を計測してｎ
   個の面光源または点光源で近似する光源環境計測手段
   と、 この光源環境計測手段にて計測したｎ個の面光源または
   点光源に対応する元画像を前記元画像記憶手段から抽出
   し、この抽出した元画像の線形和を計算することによっ
   て、生成したい光源環境下での画像を生成する画像生成
   手段と、を備えていることを特徴とする光源環境変化を
   リアルタイムに反映する画像生成装置。
3. 【請求項３】 前記画像生成手段は、前記光源環境計測
   手段にて計測し近似したｎ個の面光源または点光源のそ
   れぞれのＲＧＢ値に基づいて、前記元画像記憶手段から
   抽出した対応する面光源または点光源の元画像のＲＧＢ
   値をそれぞれ修正した後、修正後の元画像の和を計算す
   ることを特徴とする請求項２に記載の光源環境変化をリ
   アルタイムに反映する画像生成装置。
4. 【請求項４】 前記画像生成手段は、平面上に仮想物体
   を配置した元画像の線形和と、平面上に仮想物体を配置
   していない元画像の線形和を計算することによって得ら
   れた画像から、仮想物体、あるいは、撮影した画像を元
   画像とする場合には撮影した実物体が存在する場合と存
   在しない場合との背景部分の明るさの変化情報を計算
   し、実画像にこの変化情報を加味するとともに、前記元
   画像の線形和を計算することによって得られた画像のう
   ち仮想物体、あるいは、元画像が撮影画像の場合は実物
   体の画像を、前記変化情報が加味された実画像上に重畳
   することを特徴とする請求項１、２または３に記載の光
   源環境変化をリアルタイムに反映する画像生成装置。
5. 【請求項５】 光源環境として半球面状に均等に配置し
   たｍ個の面光源または点光源を設定し、それぞれの光源
   について、その面光源または点光源のＲＧＢ値を単位輝
   度、他の面光源または点光源のＲＧＢ値をＲ＝０，Ｂ＝
   ０，Ｇ＝０としたときの仮想物体の画像を元画像として
   予め生成する手順、あるいは、実際に半球面状に均等に
   光源を配置し、それぞれの光源について、ある光源を単
   位輝度、他の光源を０としたときの実シーンを元画像と
   して予め撮影する手順と、 この生成した面光源または点光源ごとの元画像、あるい
   は、撮影した光源ごとの元画像を元画像記憶手段に記憶
   させておく手順と、 生成したい光源環境に対応する位置の面光源または点光
   源を抽出する手順と、 この抽出した面光源または点光源に対応する元画像を前
   記元画像記憶手段から全て抽出し、この抽出した元画像
   の線形和を計算することによって、生成したい光源環境
   下での画像を生成する手順と、を備えていることを特徴
   とする光源環境変化をリアルタイムに反映する画像生成
   方法。
6. 【請求項６】 光源環境として半球面状に均等に配置し
   たｍ個の面光源または点光源を設定し、それぞれの光源
   について、その面光源または点光源のＲＧＢ値を単位輝
   度、他の面光源または点光源のＲＧＢ値をＲ＝０，Ｂ＝
   ０，Ｇ＝０として、ある大きい平面上に仮想物体を配置
   した画像と、平面上に仮想物体を配置していない画像の
   ２枚を元画像として予め生成する手順、あるいは、実際
   に半球面状に均等に光源を配置し、それぞれの光源につ
   いて、その光源を単位輝度、他の光源を０として、ある
   大きい平面上に実物体を配置したシーンと、平面のみの
   シーンの２枚を元画像として予め撮影する手順と、 この生成した面光源または点光源ごとの元画像、あるい
   は、撮影した光源ごとの元画像を元画像記憶手段に記憶
   させておく手順と、 生成したい画像の実世界における光源環境を計測してｎ
   個の面光源または点光源で近似する手順と、 この計測したｎ個の面光源または点光源に対応する元画
   像を前記元画像記憶手段から抽出し、この抽出した元画
   像の線形和を計算することによって、生成したい光源環
   境下での画像を生成する手順と、を備えていることを特
   徴とする光源環境変化をリアルタイムに反映する画像生
   成方法。
7. 【請求項７】 前記光源環境計測手段にて計測し近似し
   たｎ個の面光源または点光源のそれぞれのＲＢＧ値に基
   づいて、前記元画像記憶手段から抽出した対応する面光
   源または点光源の元画像のＲＧＢ値をそれぞれ修正する
   手順をさらに有することを特徴とする請求項６に記載の
   光源環境変化をリアルタイムに反映する画像生成方法。
8. 【請求項８】 元画像の線形和を計算することによって
   得られた画像から、仮想物体、あるいは、撮影画像を元
   画像とする場合においては実物体が存在する場合と存在
   しない場合との背景部分の明るさの変化情報を計算し、
   実画像にこの変化情報を加味するとともに、前記元画像
   の線形和を計算することによって得られた画像のうち仮
   想物体の画像を前記変化情報が加味された実画像上に重
   畳する手順をさらに有することを特徴とする請求項５、
   ６または７に記載の光源環境変化をリアルタイムに反映
   する画像生成方法。