JP2001084380A

JP2001084380A - 光源方向推定方法および装置並びに記録媒体

Info

Publication number: JP2001084380A
Application number: JP2000157229A
Authority: JP
Inventors: Satoru Osawa; 哲大沢
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-07-12
Filing date: 2000-05-26
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】単一光源下において物体を撮影することによ
り得られる画像から、光源の方向を推定する。【解決手段】人物の顔を含む画像において、顔部分の
画像を表す２次元画像データＳ０と、顔の３次元形状を
表す３次元形状データＳ１との位置合わせを行う。位置
合わせ後、３次元形状データＳ１上に複数の測定点を設
定する。複数の仮想光源を設定し、各仮想光源毎に各測
定点へ向かう方向ベクトルと、各測定点における法線ベ
クトルとの余弦を求め、これと各測定点に対応する２次
元画像データＳ０のデータ値との関係をプロットする。
そしてこの関係が直線となる仮想光源の方向を、撮影時
の光源方向とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単一の光源を用い
て撮影を行うことにより得られた画像から、光源の方向
を推定する光源方向推定方法および装置並びに光源推定
方法をコンピュータに実行させるためのプログラムを記
録したコンピュータ読取り可能な記録媒体に関するもの
である。

【０００２】

【従来の技術】実画像とコンピュータグラフィックス
（ＣＧ）のような仮想画像とを違和感なく合成するため
の技術は複合現実感技術と称され、通信、交通、娯楽等
種々の分野において重要な役割を果たすものとして期待
されている。このように実画像と仮想画像とを違和感な
く合成するためには、幾何学的、光学的および時間的な
整合性を持ってこれらを合成する必要がある。特に光学
的整合性については、実画像における光源の方向および
強度と仮想画像における光源の方向および強度とを一致
させないと、合成画像が非常に違和感のあるものとなる
ため、極めて重要である。このため、画像中における光
源の強度分布を推定するための方法が提案されている
（佐藤ら、実物体のソフトシャドウに基づく実照明環境
の推定、コンピュータビジョンとイメージメディア、11
0-3，1998.3.19、PP17-24）。

【０００３】この方法は、実物体のソフトシャドウに基
づいて、環境照明の強度分布を推定する方法であり、画
像中にある３次元形状が既知の物体の影を用いて、環境
照明の強度分布の推定を行っている。具体的には、仮想
的な光源の明るさと、物体上のある測定点におけるデー
タ値との関係を行列式にて表し、この行列式におけるマ
トリクスの逆行列を求めることにより、光源の強度分布
を推定するものである。そして、このような方法により
画像中の光源の強度分布を推定すれば、仮想画像におけ
る光源の強度分布を実画像における光源の強度分布と一
致させることができるため、実画像と仮想画像とを違和
感なく合成することができる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記佐
藤らの方法は、測定点の位置を逆行列を算出可能な、数
学的に１次独立となる位置に設定する必要があり、この
ような測定点の位置をマニュアル操作により求める必要
があることから、操作が非常に煩わしい。

【０００５】本発明は上記事情に鑑みなされたものであ
り、光源の方向を簡易に推定することができる光源方向
推定方法および装置並びに光源方向推定方法をコンピュ
ータに実行させるためのプログラムを記録したコンピュ
ータ読取り可能な記録媒体を提供することを目的とする
ものである。

【０００６】

【課題を解決するための手段】本発明による光源方向推
定方法は、表面反射率が略一定であり拡散反射する部分
を含む物体を、実質的な単一光源下において撮影するこ
とにより得られる画像に基づいて、前記光源の方向を推
定する光源方向推定方法であって、前記画像上における
前記物体の画像を表す物体画像データのデータ値、およ
び該物体画像データと前記物体の３次元形状を表す３次
元形状データとの位置合わせを行った後の前記３次元形
状データにより表される３次元物体と、任意の複数方向
に設定した仮想光源との位置関係に基づいて、前記光源
の方向を推定することを特徴とするものである。

【０００７】ここで、「実質的な単一光源において撮影
する」とは、晴天における太陽光の下で撮影を行った場
合のように、他の光源の存在を無視することができ、単
一の光源のみを用いたに略等しい状況で撮影を行うこと
をいう。

【０００８】「物体の３次元形状を表す３次元形状デー
タ」とは、物体そのものの形状を表すデータのことをい
う。

【０００９】また、物体画像データと３次元形状データ
との位置合わせは、画像中における物体の向きと物体の
３次元形状の向き、中心位置、サイズ等が一致するよう
に、３次元形状データと物体画像データとをマッチング
させることをいう。

【００１０】なお、本発明による光源方向推定方法にお
いては、前記画像上における前記物体の画像を表す物体
画像データと、該物体の３次元形状を表す３次元形状デ
ータとの位置合わせを行った後の、前記３次元形状デー
タにより表される３次元物体上における前記物体の前記
表面反射率が略一定であり拡散反射する部分に対応する
部分に複数の測定点を設定し、任意の複数方向に設定し
た仮想光源から前記複数の測定点へ向かう方向ベクトル
と、該複数の測定点における法線ベクトルとのなす余弦
を算出し、該余弦と、前記複数の測定点に対応する前記
物体画像データのデータ値との関係を前記複数の仮想光
源の方向毎にプロットし、前記プロットが略直線となる
仮想光源の方向を前記光源の方向とすることが好まし
い。

【００１１】ここで、「方向ベクトル」は、仮想光源の
座標位置および測定点の座標位置から算出することがで
き、「法線ベクトル」は位置合わせ後の３次元形状デー
タ上における測定点の座標位置のデータ値に基づいて求
めることができる。また、余弦は、方向ベクトルと法線
ベクトルとの内積から求めることができる。

【００１２】また、本発明による光源方向推定方法にお
いては、前記光源の方向の推定を、最小二乗法を用いた
評価関数に基づいて、前記プロットが略直線となるか否
かを判断することにより行うことが好ましい。

【００１３】また、本発明による光源方向推定方法にお
いては、前記光源の方向の推定に用いられたプロットに
より設定される直線の傾きに基づいて、前記光源の強度
を推定することが好ましい。

【００１４】さらに、本発明による光源方向推定方法に
おいては、前記物体が人物の顔であることが好ましい。

【００１５】なお、人物の顔の肌色は、表面反射率が略
一定であると見なせるものである。

【００１６】また、前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることが好まし
い。

【００１７】本発明による光源方向推定装置は、表面反
射率が略一定であり拡散反射する部分を含む物体を、実
質的な単一光源下において撮影することにより得られる
画像に基づいて、前記光源の方向を推定する光源方向推
定装置であって、前記画像上における前記物体の画像を
表す物体画像データのデータ値、および該物体画像デー
タと前記物体の３次元形状を表す３次元形状データとの
位置合わせを行った後の前記３次元形状データにより表
される３次元物体と、任意の複数方向に設定した仮想光
源との位置関係に基づいて、前記光源の方向を推定する
手段を備えたことを特徴とするものである。

【００１８】なお、本発明による光源方向推定装置にお
いては、前記光源の方向を推定する手段は、前記画像上
における前記物体の画像を表す物体画像データと、該物
体の３次元形状を表す３次元形状データとの位置合わせ
を行う位置合わせ手段と、前記位置合わせ後の３次元形
状データにより表される３次元物体上における前記物体
の前記表面反射率が略一定であり拡散反射する部分に対
応する部分に複数の測定点を設定する測定点設定手段
と、任意の複数方向に設定した仮想光源から前記複数の
測定点へ向かう方向ベクトルと、該複数の測定点におけ
る法線ベクトルとのなす余弦を算出する余弦算出手段
と、該余弦と、前記複数の測定点に対応する前記物体画
像データのデータ値との関係を前記複数の仮想光源の方
向毎にプロットするプロット手段と、前記プロットが略
直線となる仮想光源の方向を前記光源の方向とする方向
推定手段とを備えることが好ましい。

【００１９】また、本発明による光源方向推定装置にお
いては、前記方向推定手段は、前記光源の方向の推定
を、最小二乗法を用いた評価関数に基づいて、前記プロ
ットが略直線となるか否かを判断することにより行う判
断手段を備えることが好ましい。

【００２０】また、本発明による光源方向推定装置にお
いては、前記光源の方向の推定に用いられたプロットに
より設定される直線の傾きに基づいて、前記光源の強度
を推定する強度推定手段をさらに備えることが好まし
い。

【００２１】さらに、本発明による光源方向推定装置に
おいては、前記物体が人物の顔であることが好ましい。

【００２２】また、前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることが好まし
い。

【００２３】なお、本発明による光源方向推定方法を、
コンピュータに実行させるためのプログラムとして、コ
ンピュータ読取り可能な記録媒体に記録して提供しても
よい。

【００２４】

【発明の効果】本発明によれば、物体画像データのデー
タ値、および物体画像データと位置合わせ後の３次元形
状データにより表される３次元物体と任意の複数方向に
設定した仮想光源との位置関係のみが分かれば、光源の
方向を推定することができる。このため、上記佐藤らの
方法のように、逆行列を算出可能な測定点を求める必要
がなく、また行列演算を行う必要がないため、比較的簡
易な演算により光源の方向を推定することができる。そ
してこれにより、実画像とＣＧのような仮想画像とを合
成する場合に、実画像において推定した光源の方向に基
づいて、仮想画像が適切な光源から照明がなされている
ように修正した後に合成をすることができ、違和感のな
い合成画像を得ることができる。また、ＭＰＥＧ−４の
ように、オブジェクト毎に画像を転送して動画を見る段
階において合成する符号化方式において、オブジェクト
に実画像と仮想画像が含まれている場合に、実画像の照
明方向に応じて仮想画像の照明方向を修正して合成する
ことができ、これにより違和感のない合成動画像を得る
ことができる。さらにまた、太陽光下において撮影を行
うことにより得られた画像の場合、画像中の太陽光の方
向を推定することにより、画像に対する逆光補正や濃度
補正を容易に行うことができる。

【００２５】とくに、仮想光源の位置が物体撮影時の光
源位置と一致する場合には、光源から表面反射率が一定
である物体上のある測定点へ向かう方向ベクトルとその
測定点における法線ベクトルとがなす余弦、およびその
測定点に対応する反射光の強度値すなわち物体画像デー
タのデータ値の関係が直線上に位置するという特徴に基
づいて、撮影時の光源の方向を推定することが好まし
い。すなわち、物体画像データと３次元形状データとの
位置合わせを行った後に、３次元物体上における物体の
表面反射率が略一定であり拡散反射する部分に対応する
部分に複数の測定点を設定し、この測定点から仮想光源
へ向かう方向ベクトルと、測定点における法線ベクトル
との余弦を求める。そして、この余弦と、測定点に対応
する物体画像データのデータ値との関係を複数の仮想光
源毎にプロットし、これらの関係が直線上に位置する仮
想光源の方向を撮影時における光源の方向として推定す
ることが好ましい。

【００２６】また、光源の強度をも推定することによ
り、上述したように実画像と仮想画像とを合成する場合
に、実画像において推定した光源の強度にも基づいて仮
想画像が適切な強度により照明がなされているように修
正した後に合成をすることができ、これにより一層違和
感のない合成画像を得ることができる。

【００２７】さらに、３次元形状データをポリゴンデー
タとすることにより、測定点が存在する平面を求めれ
ば、この平面を規定する式から測定点における法線ベク
トルを直ちに算出することができるため、光源の方向を
より簡易に推定することができる。

【００２８】

【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。

【００２９】図１は本発明の実施形態による光源方向推
定装置の構成を示す概略ブロック図である。図１に示す
ように、本実施形態による光源方向推定装置は、人物の
顔を含む画像を表す２次元画像データＳ０と、人物の顔
の３次元形状を表す３次元形状データＳ１との位置合わ
せを行って合成データＳ２を得る位置合わせ手段１と、
３次元形状データＳ１を記憶するメモリ２と、合成デー
タＳ２に基づいて人物を含む画像における光源の方向を
推定する推定手段３とを備える。なお、本実施形態にお
いては光源は単一であり、人物の顔の肌色部分の表面反
射率は略一定かつ拡散反射をなすものとする。

【００３０】位置合わせ手段１は、図２（ａ）に示す人
物の顔画像を表す２次元画像データＳ０と、図２（ｂ）
に示す人物の顔の３次元形状を表す３次元形状データＳ
１との位置合わせを行うものである。３次元形状データ
Ｓ１は、２次元画像データＳ０により表される顔画像に
応じてその向き、サイズおよび中心位置を変更可能なも
のであり、複数の面により３次元形状を規定するポリゴ
ンデータとなっている。この位置合わせは２次元画像デ
ータＳ０および３次元形状データＳ１をモニタ（不図
示）に表示し、表示された画像を観察しながらマニュア
ル操作により、３次元形状データＳ１により表される３
次元形状の向き、大きさおよび中心位置を、２次元画像
データＳ０により表される顔画像と一致させることによ
り行う。このような位置合わせを行うことにより、図２
（ｃ）に示すような合成画像を表す合成データＳ２を得
ることができる。ここで、合成データＳ２には２次元画
像データＳ０と位置合わせ後の３次元形状データＳ１′
とが含まれることとなる。なお、図２においては、図面
上左右方向をｘ方向、上下方向をｙ方向、紙面に対して
垂直な方向をｚ方向とする。

【００３１】ここで、人物画像を撮影したカメラの焦点
位置ｆ、カメラから人物の顔までの距離ｚ０が既知であ
るとすると、位置合わせ後の３次元形状データＳ１′に
より表される３次元形状上におけるある位置の座標（ｘ
ｗ，ｙｗ，ｚｗ）と、人物画像上でのこの位置に対応す
る位置における座標（ｘｖ，ｙｖ）とは、下記の透視変
換の式（１）、（２）により記述することができる。

【００３２】ｘｖ＝α・ｆ・ｘｗ／（ｆ＋ｚｗ＋ｚ０）（１）ｙｖ＝α・ｆ・ｙｗ／（ｆ＋ｚｗ＋ｚ０）（２）但し、α：スケールｘ，ｙ方向：人物画像の平面上の方向ｚ方向：人物画像における奥行き方向ここで、３次元形状データＳ１は奥行き方向（ｚ方向）
にも値を有するため、式（１）、（２）の関係を用いる
ことにより、位置合わせ後の３次元形状データＳ１′上
における位置と、２次元画像データＳ０上における位置
とをより正確に対応付けることができる。

【００３３】なお、カメラの焦点位置ｆ等が未知である
場合には、上記式（１）、（２）により位置合わせ後の
３次元形状データＳ１′と２次元画像データＳ０との対
応付けを行うことができないが、人物の奥行き寸法はカ
メラから被写体である人物までの距離と比較して非常に
小さいため、このような場合にはｚ方向については無視
しても差し支えないものである。したがって、この場合
は、位置合わせ後の３次元形状データＳ１′における任
意の位置の座標が（ｘ１，ｙ１，ｚ１）であったとする
と、この位置に対応する２次元画像データＳ０上の位置
における座標は（ｘ１，ｙ１）とすればよい。

【００３４】図３は推定手段３の構成を示す概略ブロッ
ク図である。図３に示すように推定手段３は、位置合わ
せ後の３次元形状データＳ１′により表される３次元形
状上に複数の測定点を設定する測定点設定手段１１と、
任意の複数方向に設定した仮想光源から複数の測定点へ
向かう方向ベクトルと、複数の測定点における法線ベク
トルとのなす余弦を算出する余弦算出手段１２と、算出
された余弦と、複数の測定点に対応する２次元画像デー
タＳ０のデータ値との関係を複数の仮想光源の方向毎に
プロットするプロット手段１３と、プロットが略直線と
なる仮想光源の方向を光源の方向として推定する方向推
定手段１４とを備える。

【００３５】推定手段３においては以下のようにして光
源方向が推定される。図４および図５は光源方向の推定
を説明するための図である。なお、図４においては、簡
便のために位置合わせ後の３次元形状データＳ１′によ
り表される３次元形状のｙ軸に垂直な平面における断面
図を用いて２次元的に説明する。まず、測定点設定手段
１１において、３次元形状データＳ１′により表される
３次元形状上に複数の測定点を設定する。なお、図４，
５においては簡便のため測定点を２点Ｐ１，Ｐ２として
いるが、実際にはより複数の測定点が設定されるもので
ある。なお、この測定点は、３次元形状データＳ１′に
より表される３次元形状上における人物の顔の肌色部分
に対応する部分に設定される。そして、図４に示すよう
に、ｙ軸周りに−９０度〜＋９０度まで、４５度間隔に
５つの仮想的な光源（仮想光源とする）Ｌ１〜Ｌ５が存
在するものとして、余弦算出手段１２において、図５に
示すように上記複数の測定点Ｐ１，Ｐ２について、各光
源Ｌ１〜Ｌ５毎に光源から測定点Ｐ１，Ｐ２に向かう方
向ベクトルＬｉＰ１，ＬｉＰ２（ｉ＝１〜５）と、測定
点Ｐ１，Ｐ２における法線ベクトルｎ１，ｎ２との余弦
ｃｏｓθ１，ｃｏｓθ２を算出する。ここで、仮想光源
Ｌ１〜Ｌ５および測定点Ｐ１，Ｐ２の座標位置は予め分
かっているため、方向ベクトルＬｉＰ１，ＬｉＰ２は仮
想光源Ｌ１〜Ｌ５および測定点Ｐ１，Ｐ２の座標値から
算出することができる。また、３次元形状データＳ１′
はポリゴンデータであることから、測定点Ｐ１，Ｐ２が
存在する面は容易に求めることができ、またこの面を規
定する式ａｘ＋ｂｘ＋ｃｘ＋ｄ＝０から法線ベクトルｎ
１，ｎ２は（ａ，ｂ，ｃ）として求めることができる。
したがって、方向ベクトルＬｉＰ１，ＬｉＰ２と法線ベ
クトルｎ１，ｎ２との内積から余弦ｃｏｓθ１、ｃｏｓ
θ２を算出することができる。

【００３６】ここで、本実施形態においては人物の顔は
拡散反射をなすものであることから、測定点における反
射光の強度値、照明すなわち光源から発せられる光の強
度、表面反射率、遮断および上記余弦との間には下記の
式（３），（４）に示す関係が存在する。

【００３７】Ｉ（Ｐ１）＝ｋ１・ｓ１・ｃｏｓθ１・Ｌｃ（３）Ｉ（Ｐ２）＝ｋ２・ｓ２・ｃｏｓθ２・Ｌｃ（４）但し、Ｉ（Ｐ１），Ｉ（Ｐ２）：測定点Ｐ１，Ｐ２での
反射光の強度値ｋ１，ｋ２：表面反射率ｓ２，ｓ２：遮断の値（０または１）Ｌｃ：照明の強度遮断とは例えば人物の顔において、光源の方向に応じて
生じる、鼻の影となってしまって光が届かない部分のこ
とをいう。このように光が届かない部分においては遮断
ｓの値は０となり、それ以外の部分においては光が届い
て反射されるために遮断ｓの値は１となる。したがっ
て、ｓ＝０となる測定点は反射光の強度値が０となるこ
とから、本実施形態においては光源方向推定の演算には
用いないものとする。この場合、演算に用いる測定点が
不足する場合があるため、ｓ＝０となる測定点が存在す
る場合にはｓ＝１となる新たな測定点を設定することが
好ましい。

【００３８】反射光の強度値Ｉ（Ｐ１），Ｉ（Ｐ２）は
測定点Ｐ１，Ｐ２における２次元画像データＳ０のデー
タ値となる。本実施形態においては位置合わせ手段１に
て、２次元画像データＳ０と３次元形状データＳ１との
位置合わせがなされているため、例えば上記式（１）、
（２）により位置合わせ後の３次元形状データＳ１′に
おける測定点Ｐ１，Ｐ２の座標値から２次元画像データ
Ｓ０上における測定点Ｐ１，Ｐ２に対応する座標値を求
める。そして、２次元画像データＳ０における測定点Ｐ
１，Ｐ２に対応する座標位置でのデータ値を、測定点Ｐ
１，Ｐ２における反射光の強度値Ｉ（Ｐ１），Ｉ（Ｐ
２）として求める。

【００３９】なお、余弦ｃｏｓθ１、ｃｏｓθ２が負と
なると反射光の強度値が負となってしまうことから、本
実施形態においてはｃｏｓθ１，ｃｏｓθ２＞０となる
ような測定点のみを用いるものとする。この場合、演算
に用いる測定点が不足する場合があるため、ｃｏｓθ
１，ｃｏｓθ２≦０となる測定点が存在する場合にはｃ
ｏｓθ１，ｃｏｓθ２＞０となる新たな測定点を設定す
ることが好ましい。

【００４０】本実施形態では、人物の顔の表面反射率は
略一定であることから、上記式（３），（４）において
はｋ１＝ｋ２となる。また、遮断ｓ１，ｓ２の値はとも
に１である。そして、上記式（３）、（４）より、仮想
光源の位置が正しい、すなわち撮影時の光源位置と一致
する場合には、下記の式（５）に示すように、顔の表面
における反射光の強度値の比と余弦の比とが一致すると
いう特徴がある。

【００４１】Ｌｃ・ｋ・ｓ＝Ｉ（Ｐ１）／ｃｏｓθ１＝Ｉ（Ｐ２）／ｃｏｓθ２（５）但し、ｋ：ｋ１，ｋ２ｓ：ｓ１，ｓ２Ｌｃ・ｋ・ｓ＝一定したがって、プロット手段１３においては、各仮想光源
Ｌ１〜Ｌ５毎に、複数の測定点Ｐ１，Ｐ２における反射
光の強度値と余弦ｃｏｓθ１、ｃｏｓθ２との関係を図
６に示すようにプロットする。なお、図６においては反
射光の強度値をその最大値が１．０となるように正規化
している。

【００４２】図６に示すように仮想光源Ｌ１〜Ｌ５にお
いてその位置が撮影時の光源の位置と一致する場合に
は、上記式（５）に示す関係から、反射光の強度値と余
弦とのプロットは直線上に位置することとなる。したが
って、プロットが直線上に位置する仮想光源の位置が撮
影時の光源の位置となる。図６においては−４５度の方
向からの光源すなわち仮想光源Ｌ２を光源として用いた
場合の反射光の強度値と余弦との関係が直線上に位置す
ることから、方向推定手段１４において、仮想光源Ｌ２
の位置が撮影時の光源の位置として求められる。よっ
て、撮影時においては人物の顔から見て図４における−
４５度の方向から光が照射されていることとなる。な
お、この直線の傾きは上記式（５）におけるＬｃ・ｋ・
ｓであり、図６から傾きの大きさが分かる。したがっ
て、傾きをａとすると、Ｌｃ＝ａ／ｋ・ｓとなって照明
の強度Ｌｃを求めることができる。

【００４３】ここで、プロットが直線上に位置するか否
かの判断は、例えば最小二乗法を用いた評価関数により
行う。すなわち、直線の式をｙ＝ａｘ＋ｂとすると、

【数１】但し、Ｎ：プロット数ｘｎ：余弦の値ｙｎ：反射光の強度値として、ａ，ｂの値を求めることができる。そしてこの
ようにして求められたａ，ｂの値から、下記の式（７）
に示す評価関数ｃｆを算出する。

【００４４】

【数２】そしてこの評価関数ｃｆの値が最も小さい値となった仮
想光源の方向を撮影時の光源方向とすればよい。

【００４５】なお、図６においては直線は原点を通るた
め、ｂの値は０となる。これは環境光を考慮していない
ためであり、環境光を考慮した場合は直線は原点を通ら
ず、ｂが環境光の強度に応じた値を有するものとなる。

【００４６】次いで、本実施形態の動作について説明す
る。図７は本実施形態の動作を示すフローチャートであ
る。まず、位置合わせ手段１において２次元画像データ
Ｓ０と３次元形状データＳ１との位置合わせが行われる
（ステップＳ１）。そして位置合わせされた合成データ
Ｓ２が推定手段３に入力される。推定手段３において
は、位置合わせ後の３次元形状データＳ１′により表さ
れる３次元形状上に複数の測定点を設定するとともに
（ステップＳ２）、仮想光源Ｌ１〜Ｌ５から任意の仮想
光源を選択する（ステップＳ３）。本実施形態において
は、仮想光源Ｌ１から順に選択するものとする。そし
て、各測定点において、法線ベクトルと測定点および仮
想光源間の方向ベクトルとのなす余弦が算出され（ステ
ップＳ４）、各測定点における反射光の強度値と上述し
た余弦との関係が図６に示すようにプロットされる（ス
テップＳ５）。そして、反射光の強度値と余弦との関係
が直線上に位置するか否かが判断され（ステップＳ
６）、ステップＳ６が否定された場合にはステップＳ３
に戻り、異なる仮想光源を選択してステップＳ４からス
テップＳ６の処理を繰り返す。ステップＳ６が肯定され
た場合には、この仮想光源の方向を撮影時の光源の方向
として決定して（ステップＳ７）、処理を終了する。

【００４７】このように、本実施形態においては、仮想
光源の位置が正しい、すなわち撮影時の光源位置と一致
する場合には、式（５）に示すように、顔の表面におけ
る反射光の強度値の比と上記余弦の比とが一致するとい
う特徴に基づいて、撮影時の光源の方向を推定するよう
にしたため、測定点の設定については遮断ｓの値が０で
ないという条件のみを満たせばよく、また比較的簡易な
演算により光源の方向を推定することができる。そして
これにより、実画像とＣＧのような仮想画像とを合成す
る場合に、実画像において推定した光源の方向に基づい
て、仮想画像が適切な光源から照明がなされているよう
に修正した後に合成をすることができ、違和感のない合
成画像を得ることができる。また、ＭＰＥＧ−４のよう
に、オブジェクト毎に画像を転送して動画を見る段階に
おいて合成する符号化方式において、オブジェクトに実
画像と仮想画像が含まれている場合に、実画像の照明方
向に応じて仮想画像の照明方向を修正して合成すること
ができ、これにより違和感のない合成動画像を得ること
ができる。さらにまた、太陽光下において撮影を行うこ
とにより得られた画像の場合、画像中の太陽光の方向を
推定することにより、画像に対する逆光補正や濃度補正
を容易に行うことができる。

【００４８】なお、上記実施形態においては、説明のた
めに２次元状に仮想光源Ｌ１〜Ｌ５を配置しているが、
実際には３次元形状データＳ１に対して３次元状に複数
の仮想光源を配置し、各測定点毎に反射光の強度と上記
余弦との関係をプロットして撮影時の光源方向を推定す
るものである。

【００４９】また、上記実施形態においては、式（６）
および（７）に示すように、最小二乗法による評価関数
ｃｆを用いて、光源の方向を推定しているが、これに限
定されるものではなく、図６に示すプロットをモニタに
表示し、オペレータがこれを観察してプロットが直線上
に位置する仮想光源の方向を撮影時の光源の方向として
求めるようにしてもよい。

【００５０】さらに、２次元画像データＳ０を取得する
際において使用するカメラは、入力する光と出力する画
像データとの関係が非線形となるものである。このた
め、予め使用するカメラによりグレーチャートを撮影し
て、カメラに対する入力と出力との関係を求めておき、
この関係が直線となるようにカメラの入出力特性を補正
しておくことが好ましい。

【図面の簡単な説明】

【図１】本発明の実施形態による光源方向推定装置の構
成を示す概略ブロック図

【図２】２次元画像データと３次元形状データとの位置
合わせを説明するための図

【図３】推定手段の構成を示す概略ブロック図

【図４】仮想光源の方向を説明するための図

【図５】測定点における余弦の算出を説明するための図

【図６】余弦と反射光の強度値との関係を示すグラフ

【図７】本実施形態の動作を示すフローチャート

【符号の説明】

１位置合わせ手段２メモリ３推定手段１１測定点設定手段１２余弦算出手段１３プロット手段１４方向推定手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA06 AA31 BB05 BB26 CC16 DD00 DD06 EE00 FF04 FF26 GG01 GG10 HH03 JJ03 JJ26 KK03 QQ18 QQ24 QQ38 RR08 SS02 5L096 AA09 BA18 CA03 CA17 EA14 FA67 GA32

Claims

【特許請求の範囲】

【請求項１】表面反射率が略一定であり拡散反射す
る部分を含む物体を、実質的な単一光源下において撮影
することにより得られる画像に基づいて、前記光源の方
向を推定する光源方向推定方法であって、前記画像上における前記物体の画像を表す物体画像デー
タのデータ値、および該物体画像データと前記物体の３
次元形状を表す３次元形状データとの位置合わせを行っ
た後の前記３次元形状データにより表される３次元物体
と、任意の複数方向に設定した仮想光源との位置関係に
基づいて、前記光源の方向を推定することを特徴とする
光源方向推定方法。
【請求項２】前記位置合わせを行った後の前記３次
元形状データにより表される３次元物体上における前記
物体の前記表面反射率が略一定であり拡散反射する部分
に対応する部分に複数の測定点を設定し、任意の複数方向に設定した仮想光源から前記複数の測定
点へ向かう方向ベクトルと、該複数の測定点における法
線ベクトルとのなす余弦を算出し、該余弦と、前記複数の測定点に対応する前記物体画像デ
ータのデータ値との関係を前記複数の仮想光源の方向毎
にプロットし、前記プロットが略直線となる仮想光源の方向を前記光源
の方向として推定することを特徴とする請求項１記載の
光源方向推定方法。
【請求項３】前記光源の方向の推定を、最小二乗法
を用いた評価関数に基づいて、前記プロットが略直線と
なるか否かを判断することにより行うことを特徴とする
請求項２記載の光源方向推定方法。
【請求項４】前記光源の方向の推定に用いられたプ
ロットにより設定される直線の傾きに基づいて、前記光
源の強度を推定することを特徴とする請求項２または３
記載の光源方向推定方法。
【請求項５】前記物体が人物の顔であることを特徴
とする請求項１から４のいずれか１項記載の光源方向推
定方法。
【請求項６】前記３次元形状データが前記物体の３
次元形状を表すポリゴンデータであることを特徴とする
請求項１から５のいずれか１項記載の光源方向推定方
法。
【請求項７】表面反射率が略一定であり拡散反射す
る部分を含む物体を、実質的な単一光源下において撮影
することにより得られる画像に基づいて、前記光源の方
向を推定する光源方向推定装置であって、前記画像上における前記物体の画像を表す物体画像デー
タのデータ値、および該物体画像データと前記物体の３
次元形状を表す３次元形状データとの位置合わせを行っ
た後の前記３次元形状データにより表される３次元物体
と、任意の複数方向に設定した仮想光源との位置関係に
基づいて、前記光源の方向を推定する手段を備えたこと
を特徴とする光源方向推定装置。
【請求項８】前記光源の方向を推定する手段は、前
記画像上における前記物体の画像を表す物体画像データ
と、該物体の３次元形状を表す３次元形状データとの位
置合わせを行う位置合わせ手段と、前記位置合わせ後の３次元形状データにより表される３
次元物体上における前記物体の前記表面反射率が略一定
であり拡散反射する部分に対応する部分に複数の測定点
を設定する測定点設定手段と、任意の複数方向に設定した仮想光源から前記複数の測定
点へ向かう方向ベクトルと、該複数の測定点における法
線ベクトルとのなす余弦を算出する余弦算出手段と、該余弦と、前記複数の測定点に対応する前記物体画像デ
ータのデータ値との関係を前記複数の仮想光源の方向毎
にプロットするプロット手段と、前記プロットが略直線となる仮想光源の方向を前記光源
の方向として推定する方向推定手段とを備えたことを特
徴とする請求項７記載の光源方向推定装置。
【請求項９】前記方向推定手段は、前記光源の方向
の推定を、最小二乗法を用いた評価関数に基づいて、前
記プロットが略直線となるか否かを判断することにより
行う判断手段を備えたことを特徴とする請求項８記載の
光源方向推定装置。
【請求項１０】前記光源の方向の推定に用いられた
プロットにより設定される直線の傾きに基づいて、前記
光源の強度を推定する強度推定手段をさらに備えたこと
を特徴とする請求項８または９記載の光源方向推定装
置。
【請求項１１】前記物体が人物の顔であることを特
徴とする請求項７から１０のいずれか１項記載の光源方
向推定装置。
【請求項１２】前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることを特徴とす
る請求項７から１１のいずれか１項記載の光源方向推定
装置。
【請求項１３】表面反射率が略一定であり拡散反射
する部分を含む物体を、実質的な単一光源下において撮
影することにより得られる画像に基づいて、前記光源の
方向を推定する光源方向推定方法をコンピュータに実行
させるためのプログラムを記録したコンピュータ読取り
可能な記録媒体であって、前記プログラムは、前記画像上における前記物体の画像
を表す物体画像データのデータ値、および該物体画像デ
ータと前記物体の３次元形状を表す３次元形状データと
の位置合わせを行った後の前記３次元形状データにより
表される３次元物体と、任意の複数方向に設定した仮想
光源との位置関係に基づいて、前記光源の方向を推定す
る手順を有することを特徴とするコンピュータ読取り可
能な記録媒体。
【請求項１４】前記光源の方向を推定する手順は、
前記画像上における前記物体の画像を表す物体画像デー
タと、該物体の３次元形状を表す３次元形状データとの
位置合わせを行う手順と、前記位置合わせ後の３次元形状データにより表される３
次元物体上における前記物体の前記表面反射率が略一定
であり拡散反射する部分に対応する部分に複数の測定点
を設定する手順と、任意の複数方向に設定した仮想光源から前記複数の測定
点へ向かう方向ベクトルと、該複数の測定点における法
線ベクトルとのなす余弦を算出する手順と、該余弦と、前記複数の測定点に対応する前記物体画像デ
ータのデータ値との関係を前記複数の仮想光源の方向毎
にプロットする手順と、前記プロットが略直線となる仮想光源の方向を前記光源
の方向として推定する手順とを有することを特徴とする
請求項１３記載のコンピュータ読取り可能な記録媒体。
【請求項１５】前記光源の方向の推定の手順は、最
小二乗法を用いた評価関数に基づいて、前記プロットが
略直線となるか否かを判断する手順を有することを特徴
とする請求項１４記載のコンピュータ読取り可能な記録
媒体。
【請求項１６】前記光源の方向の推定に用いられた
プロットにより設定される直線の傾きに基づいて、前記
光源の強度を推定する手順をさらに有することを特徴と
する請求項１４または１５記載のコンピュータ読取り可
能な記録媒体。
【請求項１７】前記物体が人物の顔であることを特
徴とする請求項１３から１６のいずれか１項記載のコン
ピュータ読取り可能な記録媒体。
【請求項１８】前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることを特徴とす
る請求項１３から１７のいずれか１項記載のコンピュー
タ読取り可能な記録媒体。