JP2001084386A

JP2001084386A - 光源方向推定方法および装置並びに記録媒体

Info

Publication number: JP2001084386A
Application number: JP2000157230A
Authority: JP
Inventors: Satoru Osawa; 哲大沢
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-07-12
Filing date: 2000-05-26
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】複数光源下において物体を撮影することによ
り得られる画像から、各光源の方向を推定する。【解決手段】顔画像を表す２次元画像データＳ０と、
顔の３次元形状を表す３次元形状データＳ１との位置合
わせを行う。位置合わせ後３次元形状データＳ１上に複
数の測定点を設定する。複数の仮想光源を設定し、撮影
時の光源数に応じた仮想光源の組み合わせを選択する。
各組み合わせにおいて、遮断等により一の仮想光源から
のみ光が照射された測定点を求め、この測定点にて各測
定点へ向かう方向ベクトルと、各測定点における法線ベ
クトルとの余弦を求め、これと各測定点に対応する２次
元画像データＳ０のデータ値との関係をプロットする。
そしてこの関係が直線となる仮想光源の方向を、撮影時
の光源方向とする。さらに直線の傾きから光源強度を求
め、強度を２次元画像データＳ０から減算し、この減算
後の物体画像データを用いて、上記処理を繰り返して残
余の光源方向を推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の光源を用い
て撮影を行うことにより得られた画像から、各光源の方
向を推定する光源方向推定方法および装置並びに光源推
定方法をコンピュータに実行させるためのプログラムを
記録したコンピュータ読取り可能な記録媒体に関するも
のである。

【０００２】

【従来の技術】実画像とコンピュータグラフィックス
（ＣＧ）のような仮想画像とを違和感なく合成するため
の技術は複合現実感技術と称され、通信、交通、娯楽等
種々の分野において重要な役割を果たすものとして期待
されている。このように実画像と仮想画像とを違和感な
く合成するためには、幾何学的、光学的および時間的な
整合性を持ってこれらを合成する必要がある。特に光学
的整合性については、実画像における光源の方向および
強度と仮想画像における光源の方向および強度とを一致
させないと、合成画像が非常に違和感のあるものとなる
ため、極めて重要である。このため、画像中における光
源の強度分布を推定するための方法が提案されている
（佐藤ら、実物体のソフトシャドウに基づく実照明環境
の推定、コンピュータビジョンとイメージメディア、11
0-3，1998.3.19、PP17-24）。

【０００３】この方法は、実物体のソフトシャドウに基
づいて、環境照明の強度分布を推定する方法であり、画
像中にある３次元形状が既知の物体の影を用いて、環境
照明の強度分布の推定を行っている。具体的には、仮想
的な光源の明るさと、物体上のある測定点におけるデー
タ値との関係を行列式にて表し、この行列式におけるマ
トリクスの逆行列を求めることにより、光源の強度分布
を推定するものである。そして、このような方法により
画像中の光源の強度分布を推定すれば、仮想画像におけ
る光源の強度分布を実画像における光源の強度分布と一
致させることができるため、実画像と仮想画像とを違和
感なく合成することができる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記佐
藤らの方法は、測定点の位置を逆行列を算出可能な、数
学的に１次独立となる位置に設定する必要があり、この
ような測定点の位置をマニュアル操作により求める必要
があることから、操作が非常に煩わしい。とくに光源が
複数存在する場合には、操作がより煩雑なものとなる。

【０００５】本発明は上記事情に鑑みなされたものであ
り、複数の光源の方向を簡易に推定することができる光
源方向推定方法および装置並びに光源方向推定方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読取り可能な記録媒体を提供することを目的
とするものである。

【０００６】

【課題を解決するための手段】本発明による光源方向推
定方法は、表面反射率が略一定であり拡散反射する部分
を含む物体を、複数光源下において遮断が生じるように
撮影することにより得られる画像に基づいて、前記各光
源の方向を推定する光源方向推定方法であって、前記画
像上における前記物体の画像を表す物体画像データのデ
ータ値、および該物体画像データと前記物体の３次元形
状を表す３次元形状データとの位置合わせを行った後の
前記３次元形状データにより表される３次元物体と、任
意の複数方向に設定した仮想光源との位置関係に基づい
て、前記各光源の方向を推定することを特徴とするもの
である。

【０００７】ここで、本発明において用いられる物体と
しては、表面に凹凸を有する３次元形状が既知の物体と
する。

【０００８】また、物体画像データと３次元形状データ
との位置合わせは、画像中における物体の向きと物体の
３次元形状の向き、中心位置、サイズ等が一致するよう
に、３次元形状データと物体画像データとをマッチング
させることをいう。

【０００９】なお、本発明による光源方向推定方法にお
いては、前記任意の複数方向に設定した仮想光源から仮
想光源の組み合わせを選択し、前記位置合わせを行った
後の前記３次元形状データにより表される３次元物体上
における前記物体の前記表面反射率が略一定であり拡散
反射する部分に対応する部分に複数の測定点を設定し、
前記物体画像データに基づいて、前記組み合わせにおけ
る仮想光源から前記物体に光を照射した際に、単一の仮
想光源から発せられる光のみが照射される単一照射測定
点を、前記複数の測定点から選択し、前記単一の仮想光
源から前記単一照射測定点へ向かう方向ベクトルと、該
単一照射測定点における法線ベクトルとのなす余弦を算
出し、該余弦と、前記単一照射測定点に対応する前記物
体画像データのデータ値との関係を前記複数の仮想光源
の方向毎にプロットし、前記プロットが略直線となる仮
想光源の方向を一の光源の方向として推定し、該一の光
源の方向の推定に用いられたプロットにより設定される
直線の傾きに基づいて、前記一の光源の相対的な強度値
を推定し、該強度値に基づいて、前記位置合わせ後の物
体画像データから、前記一の光源による光の影響を除去
して修正物体画像データを得、前記一の光源の方向にあ
る仮想光源以外の仮想光源からの仮想光源の組み合わせ
の選択、前記修正物体画像データを新たな前記物体画像
データとする単一照射測定点の選択、前記余弦の算出、
前記プロット、前記一の光源方向の推定、前記強度値の
推定、および前記修正物体画像データの取得を、全ての
光源の方向が推定されるまで繰り返し行うことにより、
前記各光源の方向を推定することが好ましい。

【００１０】ここで、例えば物体が凸部を有する場合、
光源の方向によっては、凸部の影となってしまい光が届
かない部分が生じる。本発明においては、このように光
が届かない部分を「遮断」とする。

【００１１】また、「複数方向に設定した仮想光源から
仮想光源の組み合わせを選択する」とは、複数方向に設
定した仮想光源から、ある個数からなる仮想光源の組み
合わせを選択することをいう。具体的には、設定した仮
想光源数をｎ、組み合わせを求める仮想光源数をｍ（ｍ
＝１〜ｎ）とした場合、その組み合わせの総数はｍ＝１
〜ｎまでの各組み合わせｎＣｍを加算したものとなる。

【００１２】さらに、「単一照射測定点」は、組み合わ
せにおける仮想光源から、位置合わせ後の３次元形状デ
ータにより表される３次元物体上に設定された複数の測
定点へ向かうベクトルを求め、これらのベクトルのう
ち、遮断や余弦が負値となることにより、単一のベクト
ルのみが物体に遮られることなく到達することができる
点のことをいう。

【００１３】また、「方向ベクトル」は、仮想光源の座
標位置および単一照射測定点の座標位置から算出するこ
とができ、「法線ベクトル」は位置合わせ後の３次元形
状データ上における測定点の座標位置のデータ値に基づ
いて求めることができる。また、余弦は、方向ベクトル
と法線ベクトルとの内積から求めることができる。

【００１４】さらに、物体画像データは、複数光源から
発せられた光が物体により反射された反射光の強度値と
して得られるものであり、推定された一の光源から発せ
られる光による強度値は、推定された方向の光源からの
光のみが照射された物体の画像を表すものとなる。した
がって、この強度値を物体画像データから除去すること
により、推定された一の光源以外の光源から発せられた
光が物体により反射された際の強度値が得られ、この強
度値を修正物体画像データとするものである。

【００１５】また、本発明による光源推定方法において
は、前記光源数が既知の場合は、前記任意の複数方向に
設定した仮想光源から前記光源の個数に応じた仮想光源
の組み合わせを選択することが好ましい。

【００１６】ここで、設定した仮想光源数をｎ、既知の
光源数をｋとした場合、その組み合わせ数はｎＣｋとな
る。

【００１７】さらに、本発明による光源方向推定方法に
おいては、前記光源の方向の推定を、最小二乗法を用い
た評価関数に基づいて、前記プロットが略直線となるか
否かを判断することにより行うことが好ましい。

【００１８】さらにまた、本発明による光源方向推定方
法においては、前記物体が人物の顔であることが好まし
い。

【００１９】ここで、人物の顔の肌色は、表面反射率が
略一定であると見なせるものである。

【００２０】さらにまた、前記３次元形状データが前記
物体の３次元形状を表すポリゴンデータであることが好
ましい。

【００２１】本発明による光源方向推定装置は、表面反
射率が略一定であり拡散反射する部分を含む物体を、複
数光源下において遮断が生じるように撮影することによ
り得られる画像に基づいて、前記各光源の方向を推定す
る光源方向推定装置であって、前記画像上における前記
物体の画像を表す物体画像データのデータ値、および該
物体画像データと前記物体の３次元形状を表す３次元形
状データとの位置合わせを行った後の前記３次元形状デ
ータにより表される３次元物体と、任意の複数方向に設
定した仮想光源との位置関係に基づいて、前記各光源の
方向を推定する手段を備えたことを特徴とするものであ
る。

【００２２】なお、本発明による光源方向推定装置にお
いては、前記各光源の方向を推定する手段は、前記任意
の複数方向に設定した仮想光源から仮想光源の組み合わ
せを選択する組み合わせ選択手段と、前記位置合わせ後
の３次元形状データにより表される３次元物体上におけ
る前記物体の前記表面反射率が略一定であり拡散反射す
る部分に対応する部分に複数の測定点を設定する測定点
設定手段と、前記物体画像データに基づいて、前記組み
合わせにおける仮想光源から前記物体に光を照射した際
に、単一の仮想光源から発せられる光のみが照射される
単一照射測定点を、前記複数の測定点から選択する単一
照射測定点選択手段と、前記単一の仮想光源から前記単
一照射測定点へ向かう方向ベクトルと、該単一照射測定
点における法線ベクトルとのなす余弦を算出する余弦算
出手段と、該余弦と、前記単一照射測定点に対応する前
記物体画像データのデータ値との関係を前記複数の仮想
光源の方向毎にプロットするプロット手段と、前記プロ
ットが略直線となる仮想光源の方向を一の光源の方向と
して推定する方向推定手段と、該一の光源の方向の推定
に用いられたプロットにより設定される直線の傾きに基
づいて、前記一の光源の相対的な強度値を推定する強度
値推定手段と、該強度値に基づいて、前記位置合わせ後
の物体画像データから、前記一の光源による光の影響を
除去して修正物体画像データを得る修正手段と、前記一
の光源の方向にある仮想光源以外の仮想光源からの仮想
光源の組み合わせの選択、前記修正物体画像データを新
たな前記物体画像データとする単一照射測定点の選択、
前記余弦の算出、前記プロット、前記一の光源方向の推
定、前記強度値の推定、および前記修正物体画像データ
の取得を、全ての光源の方向が推定されるまで繰り返し
行うように、前記組み合わせ選択手段、前記測定点設定
手段、前記単一照射測定点選択手段、前記余弦算出手
段、前記プロット手段、前記方向推定手段、前記強度値
推定手段および前記修正手段を制御する制御手段とを備
えることが好ましい。

【００２３】また、本発明による光源方向推定装置にお
いては、前記光源数が既知の場合は、前記組み合わせ選
択手段は、前記任意の複数方向に設定した仮想光源から
前記光源の個数に応じた仮想光源の組み合わせを選択す
る手段であることが好ましい。

【００２４】さらに、本発明による光源方向推定装置に
おいては、前記物体が人物の顔であることが好ましい。

【００２５】さらにまた、前記３次元形状データが前記
物体の３次元形状を表すポリゴンデータであることが好
ましい。

【００２６】なお、本発明による光源方向推定方法を、
コンピュータに実行させるためのプログラムとして、コ
ンピュータ読取り可能な記録媒体に記録して提供しても
よい。

【００２７】

【発明の効果】本発明によれば、物体画像データのデー
タ値、および物体画像データと位置合わせ後の３次元形
状データにより表される３次元物体と任意の複数方向に
設定した仮想光源との位置関係のみが分かれば、各光源
の方向を推定することができる。このため、上記佐藤ら
の方法のように、逆行列を算出可能な測定点を求める必
要がなく、また行列演算を行う必要がないため、比較的
簡易な演算により複数の光源の方向を推定することがで
きる。そしてこれにより、実画像とＣＧのような仮想画
像とを合成する場合に、実画像において推定した複数の
光源の方向に基づいて、仮想画像が適切な光源から照明
がなされているように修正した後に合成をすることがで
き、違和感のない合成画像を得ることができる。また、
ＭＰＥＧ−４のように、オブジェクト毎に画像を転送し
て動画を見る段階において合成する符号化方式におい
て、オブジェクトに実画像と仮想画像が含まれている場
合に、実画像の照明方向に応じて仮想画像の照明方向を
修正して合成することができ、これにより違和感のない
合成動画像を得ることができる。

【００２８】とくに、仮想光源の位置が物体撮影時の光
源位置と一致する場合には、光源から物体上のある測定
点へ向かう方向ベクトルとその測定点における法線ベク
トルとがなす余弦、およびその測定点に対応する反射光
の強度値すなわち物体画像データのデータ値の関係が直
線上に位置するという特徴に基づいて、撮影時の光源の
方向を推定することが好ましい。すなわち、物体画像デ
ータと３次元形状データとの位置合わせを行い、任意の
複数方向に設定した仮想光源から仮想光源の組み合わせ
を選択し、この組み合わせにおいて仮想光源から物体に
光を照射した際に、単一の仮想光源から発せられる光の
みが照射される単一照射測定点を、３次元物体上におけ
る物体の表面反射率が略一定であり拡散反射する部分に
対応する部分に設定された複数の測定点から選択する。
この単一照射測定においては、組み合わせにおける仮想
光源のうち一の仮想光源（組み合わせが１つのみの場合
はその仮想光源）から発せられた光のみが照射されるこ
ととなる。そして、単一の仮想光源から単一照射測定点
へ向かう方向ベクトルと、単一照射測定点における法線
ベクトルとの余弦を求める。そして、この余弦と、単一
照射測定点に対応する物体画像データのデータ値との関
係を各組み合わせにおける単一の仮想光源毎にプロット
し、これらの関係が直線上に位置する単一仮想光源の方
向を撮影時における一の光源の方向として推定する。こ
の後、一の光源の方向の推定に用いられたプロットによ
り設定される直線の傾きに基づいて、一の光源の強度値
を推定し、この強度値に基づいて、一の光源からの光の
影響が除去された修正画像データを得る。そして、推定
された一の光源方向以外の方向における仮想光源につい
て、仮想光源の組み合わせの選択、単一照射領域の選
択、余弦の算出、プロット、光源方向の推定、強度値の
推定および修正物体画像データの取得を、全ての光源の
方向が推定されるまで繰り返すことにより、各光源の方
向を推定することが好ましい。

【００２９】また、光源の相対的な強度を推定している
ため、上述したように実画像と仮想画像とを合成する場
合に、実画像において推定した光源の強度にも基づいて
仮想画像が適切な強度により照明がなされているように
修正した後に合成をすることができ、これにより一層違
和感のない合成画像を得ることができる。なお、物体の
表面反射率が既知の場合には光源の絶対的な強度をも推
定することができる。

【００３０】この場合、互いに異なる複数光源下におい
て撮影を行うことにより得られた画像中での、特定方向
からの光源の影響のみを補正することができる。例え
ば、物体画像データがＲＧＢの色データからなる場合、
各色データ毎に光源の強度を推定すれば、光源のＲＧＢ
各色成分の強度値の比を求めることができる。したがっ
て、特定の色信号（例えばＲ信号）が強い光源からの影
響のみを補正する処理等を行うことができる。

【００３１】なお、光源数が既知の場合には、任意の複
数方向に設定した仮想光源から光源の個数に応じた仮想
光源の組み合わせを選択すればよいため、全ての仮想光
源の個数についての組み合わせについて光源方向の推定
を行う必要がなくなり、これにより光源方向の推定を高
速に行うことができる。

【００３２】さらに、３次元形状データをポリゴンデー
タとすることにより、測定点が存在する平面を求めれ
ば、この平面を規定する式から測定点における法線ベク
トルを直ちに算出することができるため、光源の方向を
より簡易に推定することができる。

【００３３】

【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。

【００３４】図１は本発明の実施形態による光源方向推
定装置の構成を示す概略ブロック図である。図１に示す
ように、本実施形態による光源方向推定装置は、人物の
顔を含む画像を表す２次元画像データＳ０と、人物の顔
の３次元形状を表す３次元形状データＳ１との位置合わ
せを行って合成データＳ２を得る位置合わせ手段１と、
３次元形状データＳ１を記憶するメモリ２と、合成デー
タＳ２に基づいて人物を含む画像における光源の方向を
推定する推定手段３とを備える。なお、本発明は複数の
光源の方向を推定するものである。また、人物の顔の肌
色部分の表面反射率は略一定かつ拡散反射をなすものと
する。

【００３５】位置合わせ手段１は、図２（ａ）に示す人
物の顔画像を表す２次元画像データＳ０と、図２（ｂ）
に示す人物の顔の３次元形状を表す３次元形状データＳ
１との位置合わせを行うものである。３次元形状データ
Ｓ１は、２次元画像データＳ０により表される顔画像に
応じてその向き、サイズおよび中心位置を変更可能なも
のであり、複数の面により３次元形状を規定するポリゴ
ンデータとなっている。この位置合わせは２次元画像デ
ータＳ０および３次元形状データＳ１をモニタ（不図
示）に表示し、表示された画像を観察しながらマニュア
ル操作により、３次元形状データＳ１により表される３
次元形状の向き、大きさおよび中心位置を、２次元画像
データＳ０により表される顔画像と一致させることによ
り行う。このような位置合わせを行うことにより、図２
（ｃ）に示すような合成画像を表す合成データＳ２を得
ることができる。ここで、合成データＳ２には２次元画
像データＳ０と位置合わせ後の３次元形状データＳ１′
とが含まれることとなる。なお、図２においては、図面
上左右方向をｘ方向、上下方向をｙ方向、紙面に対して
垂直な方向をｚ方向とする。

【００３６】ここで、人物画像を撮影したカメラの焦点
位置ｆ、カメラから人物の顔までの距離ｚ０が既知であ
るとすると、位置合わせ後の３次元形状データＳ１′に
より表される３次元形状上におけるある位置の座標（ｘ
ｗ，ｙｗ，ｚｗ）と、人物画像上でのこの位置に対応す
る位置における座標（ｘｖ，ｙｖ）とは、下記の透視変
換の式（１）、（２）により記述することができる。

【００３７】ｘｖ＝α・ｆ・ｘｗ／（ｆ＋ｚｗ＋ｚ０）（１）ｙｖ＝α・ｆ・ｙｗ／（ｆ＋ｚｗ＋ｚ０）（２）但し、α：スケールｘ，ｙ方向：人物画像の平面上の方向ｚ方向：人物画像における奥行き方向ここで、３次元形状データＳ１は奥行き方向（ｚ方向）
にも値を有するため、式（１）、（２）の関係を用いる
ことにより、位置合わせ後の３次元形状データＳ１′上
における位置と、２次元画像データＳ０上における位置
とをより正確に対応付けることができる。

【００３８】なお、カメラの焦点位置ｆ等が未知である
場合には、上記式（１）、（２）により位置合わせ後の
３次元形状データＳ１′と２次元画像データＳ０との対
応付けを行うことができないが、人物の奥行き寸法はカ
メラから被写体である人物までの距離と比較して非常に
小さいため、このような場合にはｚ方向については無視
しても差し支えないものである。したがって、この場合
は、位置合わせ後の３次元形状データＳ１′における任
意の位置の座標が（ｘ１，ｙ１，ｚ１）であったとする
と、この位置に対応する２次元画像データＳ０上の位置
における座標は（ｘ１，ｙ１）とすればよい。

【００３９】図３は推定手段３の構成を示す概略ブロッ
ク図である。図３に示すように推定手段３は、任意の複
数方向に設定した仮想光源から仮想光源の組み合わせを
選択する組み合わせ選択手段１０と、位置合わせ後の３
次元形状データＳ１′により表される３次元形状上に複
数の測定点を設定する測定点設定手段１１と、２次元画
像データＳ０に基づいて、選択した組み合わせにおける
仮想光源から物体すなわち顔に光を照射した際に、単一
の仮想光源から発せられる光のみが照射される単一照射
測定点を、上記複数の測定点から選択する単一照射測定
点選択手段１２と、単一の仮想光源から単一照射測定点
へ向かう方向ベクトルと、単一照射測定点における法線
ベクトルとのなす余弦を算出する余弦算出手段１３と、
算出された余弦と、単一照射測定点に対応する２次元画
像データＳ０のデータ値との関係を複数の仮想光源の方
向毎にプロットするプロット手段１４と、プロットが略
直線となる仮想光源の方向を一の光源の方向として推定
する方向推定手段１５と、一の光源の方向の推定に用い
られたプロットにより設定される直線の傾きに基づい
て、一の光源の相対的な強度値を推定する強度値推定手
段１６と、推定された強度値に基づいて、位置合わせ後
の２次元画像データＳ０から、上記一の光源による光の
影響を除去して修正物体画像データを得る修正手段１７
と、上記一の光源の方向にある仮想光源以外の仮想光源
からの仮想光源の組み合わせの選択、修正物体画像デー
タを新たな２次元画像データとする単一照射測定点の選
択、余弦の算出、プロット、一の光源方向の推定、強度
値の推定、および修正物体画像データの取得を、全ての
光源の方向が推定されるまで繰り返し行うように、組み
合わせ選択手段１０、測定点設定手段１１、単一照射測
定点選択手段１２、余弦算出手段１３、プロット手段１
４、方向推定手段１５、強度値推定手段１６および修正
手段１７を制御する制御手段１８とを備える。

【００４０】推定手段３においては以下のようにして光
源方向が推定される。図４および図５は光源方向の推定
を説明するための図である。なお、図４においては、簡
便のために位置合わせ後の３次元形状データＳ１′によ
り表される３次元形状のｙ軸に垂直な平面における断面
図を用いて２次元的に説明する。まず、組み合わせ選択
手段１０において、図４に示すように、ｙ軸周りに−９
０度〜＋９０度まで、１５度間隔に１３の仮想的な光源
（仮想光源とする）Ｌ１〜Ｌ１３が存在するものとし
て、これらの仮想光源からある個数からなる仮想光源の
組み合わせを選択する。なお、この組み合わせの選択は
少ない個数（２個）から順に行うが、ここでは１３個の
仮想光源のうち２個の仮想光源を用いた場合の全ての組
み合わせを求める場合について説明する。この場合、組
み合わせは_１３Ｃ_２＝７８通り存在する。そして、測定
点設定手段１１において、３次元形状データＳ１′によ
り表される３次元形状上に複数の測定点を設定する。こ
の測定点は、３次元形状データＳ１′により表される３
次元形状上における人物の顔の肌色部分に対応する部分
に設定される。

【００４１】単一照射測定点選択手段１２においては下
記のように単一照射測定点が選択される。まず、全ての
仮想光源の組み合わせにおいて、各仮想光源から複数の
測定点へ向かう方向ベクトルと、測定点における法線ベ
クトルとの余弦を算出する。例えば、仮想光源の組み合
わせが仮想光源Ｌ６，Ｌ１０であった場合、図５に示す
測定点Ｐ１１において、各光源Ｌ６，Ｌ１０毎に光源か
ら測定点Ｐ１１に向かう方向ベクトルＬ６Ｐ１１，Ｌ１
０Ｐ１１と、測定点Ｐ１１における法線ベクトルｎ１１
との余弦ｃｏｓθ１１，ｃｏｓθ１２を算出する。ここ
で、仮想光源Ｌ１〜Ｌ１３および測定点の座標位置は予
め分かっているため、方向ベクトルは仮想光源Ｌ１〜Ｌ
１３および測定点の座標値から算出することができる。
なお、３次元形状データＳ１′はポリゴンデータである
ことから、測定点が存在する面は容易に求めることがで
き、またこの面を規定する式ａｘ＋ｂｘ＋ｃｘ＋ｄ＝０
から法線ベクトルは（ａ，ｂ，ｃ）として求めることが
できる。したがって、図５に示すように方向ベクトルＬ
６Ｐ１１，Ｌ１０Ｐ１１と法線ベクトルｎ１１との内積
から余弦ｃｏｓθ１１，ｃｏｓθ１２を算出することが
できる。この余弦の算出を全ての仮想光源の組み合わせ
について行う。

【００４２】次に、各組み合わせにおいて、単一の仮想
光源からの光のみが照射される単一照射測定点を選択す
る。ここで、単一の仮想光源からの光のみが照射される
か否かの判断は、各組み合わせにおいて一方の仮想光源
からの光が遮断されているか否か、あるいは一方の仮想
光源からの方向ベクトルと測定点の法線ベクトルがなす
余弦が負となるか否かを判断することにより行う。ここ
で、遮断とは、本実施形態のような人物の顔において、
光源の方向に応じて生じる、鼻の影となってしまって光
が届かない部分のことをいう。すなわち、図６に示す仮
想光源Ｌ６と仮想光源Ｌ１２の組み合わせの場合、点Ｐ
１３においては双方向の仮想光源Ｌ６，Ｌ１２からの光
が到達しているが、点Ｐ１２においては仮想光源Ｌ１２
からの光は鼻により遮断されてしまうため、点Ｐ１２に
は仮想光源Ｌ６からの光のみしか到達しないこととな
る。

【００４３】また、図７に示すように仮想光源Ｌ１と仮
想光源Ｌ７との組み合わせの場合、仮想光源Ｌ７から点
Ｐ１４に向かう方向ベクトルと点Ｐ１４における法線ベ
クトルｎ１４とのなす角度は鋭角であることから余弦の
値は正となる。これに対して、仮想光源Ｌ１から点Ｐ１
４に向かう方向ベクトルと法線ベクトルｎ１４とのなす
角度は鈍角となることから余弦の値は負となる。この余
弦の値が負となるということは、仮想光源Ｌ１から発せ
られた光は顔の一部により遮られて点Ｐ１４には到達し
ていないということとなる。

【００４４】したがって、上記遮断と、一方の仮想光源
からの方向ベクトルと測定点の法線ベクトルとがなす余
弦が負となる測定点については、単一の仮想光源からの
光のみが照射される測定点となり、これを単一照射測定
点として選択する。

【００４５】次に、余弦算出手段１３において、仮想光
源の各組み合わせにおいて、単一の仮想光源から単一照
射測定点へ向かう方向ベクトルと、単一照射測定点にお
ける法線ベクトルとのなす余弦を算出する。具体的には
仮想光源Ｌ１と仮想光源Ｌ４との組み合わせにおいて
は、図８に示す測定点Ｐ１，Ｐ２は仮想光源Ｌ４からの
光のみが到達する単一照射測定点となっているため、仮
想光源Ｌ４が単一仮想光源となり、単一照射測定点Ｐ
１，Ｐ２において、単一仮想光源Ｌ４から測定点Ｐ１，
Ｐ２に向かう方向ベクトルＬ４Ｐ１，Ｌ４Ｐ２と、測定
点Ｐ１，Ｐ２における法線ベクトルｎ１，ｎ２との余弦
ｃｏｓθ１，ｃｏｓθ２を算出する。なお、この余弦の
値としては改めて算出する必要はなく、上記単一照射測
定点選択手段１２において単一照射測定点の選択の際に
算出した余弦の値をそのまま用いればよい。

【００４６】ここで、本実施形態においては人物の顔は
拡散反射をなすものであることから、測定点における反
射光の強度値、照明すなわち光源から発せられる光の強
度、表面反射率、遮断および上記余弦との間には下記の
式（３），（４）に示す関係が存在する。

【００４７】Ｉ（Ｐ１）＝ｋ１・ｓ１・ｃｏｓθ１・Ｌｃ（３）Ｉ（Ｐ２）＝ｋ２・ｓ２・ｃｏｓθ２・Ｌｃ（４）但し、Ｉ（Ｐ１），Ｉ（Ｐ２）：測定点Ｐ１，Ｐ２での
反射光の強度値ｋ１，ｋ２：表面反射率ｓ２，ｓ２：遮断の値（０または１）Ｌｃ：照明の強度ここで、本実施形態においては、単一照射測定点は単一
仮想光源からの光が照射されているため遮断はなく、遮
断ｓの値は１となる。また、単一照射測定点において
は、余弦ｃｏｓθの値が正となることからｃｏｓθ１，
ｃｏｓθ２の値は正となる。また、反射光の強度値Ｉ
（Ｐ１），Ｉ（Ｐ２）は測定点Ｐ１，Ｐ２における２次
元画像データＳ０のデータ値となる。本実施形態におい
ては位置合わせ手段１にて、２次元画像データＳ０と３
次元形状データＳ１との位置合わせがなされているた
め、例えば上記式（１）、（２）により位置合わせ後の
３次元形状データＳ１′における単一照射測定点Ｐ１，
Ｐ２の座標値から２次元画像データＳ０上における単一
照射測定点Ｐ１，Ｐ２に対応する座標値を求める。そし
て、２次元画像データＳ０における測定点Ｐ１，Ｐ２に
対応する座標位置でのデータ値を、測定点Ｐ１，Ｐ２に
おける反射光の強度値Ｉ（Ｐ１），Ｉ（Ｐ２）として求
める。

【００４８】本実施形態では、人物の顔の表面反射率は
略一定であることから、上記式（３），（４）において
はｋ１＝ｋ２となる。また、遮断ｓ１，ｓ２の値はとも
に１である。そして、上記式（３）、（４）より、単一
仮想光源の位置が正しい、すなわち撮影時の光源位置と
一致する場合には、下記の式（５）に示すように、顔の
表面における反射光の強度値の比と余弦の比とが一致す
るという特徴がある。

【００４９】Ｌｃ・ｋ・ｓ＝Ｉ（Ｐ１）／ｃｏｓθ１＝Ｉ（Ｐ２）／ｃｏｓθ２（５）但し、ｋ：ｋ１，ｋ２ｓ：ｓ１，ｓ２Ｌｃ・ｋ・ｓ＝一定したがって、プロット手段１４においては、仮想光源の
組み合わせにおける単一仮想光源毎に、単一照射測定点
における反射光の強度値と余弦との関係を図９に示すよ
うにプロットする。なお、図９においては反射光の強度
値をその最大値が１．０となるように正規化しており、
簡便のために単一仮想光源Ｌ３〜Ｌ５およびＬ９〜Ｌ１
１についてのみプロットしている。

【００５０】図９に示すように仮想光源Ｌ１〜Ｌ１３に
おいてその位置が撮影時の光源の位置と一致する場合に
は、上記式（５）に示す関係から、反射光の強度値と余
弦とのプロットは直線上に位置することとなる。したが
って、プロットが直線上に位置する仮想光源の位置が撮
影時の光源の位置となる。図９においては、４５度の方
向からの光源すなわち仮想光源Ｌ４を光源として用いた
場合および−４５度の方向からの光源すなわち仮想光源
Ｌ１０を光源として用いた場合の反射光の強度値と余弦
との関係が直線上に位置することから、方向推定手段１
５において、仮想光源Ｌ４，Ｌ１０の位置が撮影時の光
源の位置として求められる。よって、撮影時においては
人物の顔から見て図４における４５度および−４５度の
方向から光が照射されていることとなる。なお、この直
線の傾きは上記式（５）におけるＬｃ・ｋ・ｓであり、
図６から傾きの大きさが分かる。したがって、強度値推
定手段１６において、傾きをａとするとＬｃ＝ａ／ｋ・
ｓとなって光源から発せられる光の強度Ｌｃを求めるこ
とができる。ここで、図９においては例えば仮想光源Ｌ
４のプロットの傾きは０．９０３であり、仮想光源Ｌ１
０のプロットの傾きは０．４４８というように求めるこ
とができ、表面反射率ｋが略一定であるため、これらの
値から仮想光源Ｌ４，Ｌ１０の方向にある光源の相対的
な強度を求めることができる。また、表面反射率ｋが既
知の場合には光源の絶対的な強度をも求めることができ
る。

【００５１】なお、プロットが直線上に位置するか否か
の判断は、例えば最小二乗法を用いた評価関数により行
う。すなわち、直線の式をｙ＝ａｘ＋ｂとすると、

【数１】但し、Ｎ：プロット数ｘｎ：余弦の値ｙｎ：反射光の強度値として、ａ，ｂの値を求めることができる。そしてこの
ようにして求められたａ，ｂの値から、下記の式（７）
に示す評価関数ｃｆを算出する。

【００５２】

【数２】そしてこの評価関数ｃｆの値が最も小さい値となった仮
想光源の方向を撮影時の光源方向とすればよい。

【００５３】また、このように求められた強度値Ｌｃと
反射率ｋとの乗算値Ｌｃ・ｋすなわち直線の傾きは、２
次元画像データＳ０上の各点における光源からの光の反
射による強度値を表すものとなる。したがって、修正手
段１７において、一方の光源から発せられた光による強
度値を２次元画像データＳ０に対応する全ての画素位置
について算出し、この強度値を２次元画像データＳ０か
ら減算することにより、他方の光源からの光のみが照射
された画像を表す２次元画像データを得ることができ
る。

【００５４】ここで、図９においては直線は原点を通る
ため、ｂの値は０となる。これは環境光を考慮していな
いためであり、環境光を考慮した場合は直線は原点を通
らず、ｂが環境光の強度に応じた値を有するものとな
る。

【００５５】なお、撮影に使用した光源数が２個である
場合には、組み合わせを選択した仮想光源の数が２個で
あると、１回のプロットにより各光源の方向を推定する
ことができる。なお、一般的には、推定手段３におい
て、全ての個数についての仮想光源の各組み合わせにつ
いて、少ない個数の組み合わせから順番に、余弦の算
出、単一照射測定点の選択、単一仮想光源に基づくプロ
ットおよび直線か否かの判断を行い、最初に直線となっ
た単一仮想光源が撮影時の光源方向として推定された時
点において、直線の傾きから推定された光源に基づく反
射光の強度値を求め、これを２次元画像データＳ０から
減算して他方の光源からの光のみが照射された画像を表
す修正２次元画像データＳ０′を得、この修正２次元画
像データＳ０′に基づいて、仮想光源の組み合わせの選
択、余弦の算出、単一照射測定点の選択、単一仮想光源
に基づくプロット、直線か否かの判断および光源方向の
推定を繰り返し行って、撮影時における全ての光源の方
向を推定すればよい。

【００５６】以上の処理は、制御手段１８により、組み
合わせ選択手段１０、測定点設定手段１１、単一照射測
定点選択手段１２、余弦算出手段１３、プロット手段１
４、方向推定手段１５、強度値推定手段１６、および修
正手段１７を制御することにより行われる。

【００５７】次いで、本実施形態の動作について説明す
る。図１０は本実施形態の動作を示すフローチャートで
ある。まず、位置合わせ手段１において２次元画像デー
タＳ０と３次元形状データＳ１との位置合わせが行われ
る（ステップＳ１）。そして位置合わせされた合成デー
タＳ２が推定手段３に入力される。推定手段３において
は、複数の仮想光源から仮想光源の組み合わせを選択す
る際の、仮想光源数ｎの初期値が設定される（ステップ
Ｓ２）。この初期値は２とされる。そして、複数の仮想
光源から仮想光源の組み合わせを選択する（ステップＳ
３）。次いで、位置合わせ後の３次元形状データＳ１′
により表される３次元形状上に複数の測定点を設定する
とともに（ステップＳ４）、仮想光源の組み合わせから
任意の１つの組み合わせを選択する（ステップＳ５）。
本実施形態においては、仮想光源Ｌ１，Ｌ２の組み合わ
せから以下（Ｌ１，Ｌ３）、（Ｌ１，Ｌ４）、…（Ｌ
８，Ｌ１０）、（Ｌ９，Ｌ１０）の順に選択するものと
する。

【００５８】そして、各測定点において、法線ベクトル
と、選択された組み合わせにおける仮想光源と測定点お
よび仮想光源間の方向ベクトルとのなす余弦が算出され
（ステップＳ６）、さらにこの余弦の値および遮断の有
無に基づいて、単一照射測定点が選択される（ステップ
Ｓ７）。そして、単一照射測定点における反射光の強度
値と上述した余弦との関係が図９に示すようにプロット
される（ステップＳ８）。そして、反射光の強度値と余
弦との関係が直線上に位置するか否かが判断され（ステ
ップＳ９）、ステップＳ９が否定された場合には、ステ
ップＳ３において選択された全ての仮想光源の組み合わ
せについてステップＳ５からステップＳ９の処理が終了
したか否かが判断される（ステップＳ１０）。ステップ
Ｓ１０が否定された場合には、ステップＳ５に戻り、他
の１つの仮想光源の組み合わせが選択され、ステップＳ
５からステップＳ９の処理を繰り返す。ステップＳ１０
が肯定された場合には、ステップＳ１１において、仮想
光源数の初期値に１を加算してステップＳ３に戻り、ス
テップＳ３からステップＳ９の処理を繰り返す。ステッ
プＳ９が肯定された場合には、この仮想光源の方向を撮
影時の光源の方向として決定する（ステップＳ１２）。

【００５９】そして、プロットした直線の傾きに基づい
て、決定された光源方向における光源の強度値を算出し
（ステップＳ１３）、この強度値に基づいて上述した修
正２次元画像データＳ０′を作成する（ステップＳ１
４）。そして、全ての光源の方向が決定されたか否かが
判断される（ステップＳ１５）。これは、修正２次元画
像データＳ０′について、単一照射測定点における反射
光の強度値と上述した余弦との関係をプロットし、この
プロットが余弦軸に平行な直線、すなわち反射光の強度
値が一定となったか否かを判断することにより行われ
る。そして、ステップＳ１５が否定された場合は決定さ
れた光源方向を仮想光源の組み合わせから除去し（ステ
ップＳ１６）、さらに初期値から１を減算して（ステッ
プＳ１７）、ステップＳ２に戻ってステップＳ２からス
テップＳ１５の処理を繰り返す。この場合、ステップＳ
２においては仮想光源の組み合わせが設定されるが、既
に１つの光源方向が決定されているため、初期値が２の
場合、各組み合わせは１つの仮想光源のみとなる。そし
て、ステップＳ１５が肯定された場合は、全ての光源方
向が推定されたとして処理を終了する。

【００６０】このように、本実施形態においては、仮想
光源の位置が正しい、すなわち撮影時の光源位置と一致
する場合には、式（５）に示すように、顔の表面におけ
る反射光の強度値の比と上記余弦の比とが一致するとい
う特徴に基づいて、撮影時の光源の方向を推定するよう
にしたため、複数の測定点を設定した後に、遮断や上記
余弦の値に基づいて一の光源からの光のみが照射される
単一照射測定点を設定すれば、比較的簡易な演算により
光源の方向を推定することができる。そしてこれによ
り、実画像とＣＧのような仮想画像とを合成する場合
に、実画像において推定した光源の方向に基づいて、仮
想画像が適切な光源から照明がなされているように修正
した後に合成をすることができ、違和感のない合成画像
を得ることができる。また、ＭＰＥＧ−４のように、オ
ブジェクト毎に画像を転送して動画を見る段階において
合成する符号化方式において、オブジェクトに実画像と
仮想画像が含まれている場合に、実画像の照明方向に応
じて仮想画像の照明方向を修正して合成することがで
き、これにより違和感のない合成動画像を得ることがで
きる。

【００６１】また、光源の相対的な強度を推定している
ため、上述したように実画像と仮想画像とを合成する場
合に、実画像において推定した光源の強度にも基づいて
仮想画像が適切な強度により照明がなされているように
修正した後に合成をすることができ、これにより一層違
和感のない合成画像を得ることができる。

【００６２】また、光源の強度値を推定していることか
ら、互いに異なる複数光源下において撮影を行うことに
より得られた画像中での、特定方向からの光源の影響の
みを補正することができる。例えば、２次元画像データ
Ｓ０がＲＧＢの色データからなる場合、各色データ毎に
光源の強度値を推定すれば、推定した光源のＲＧＢ各色
成分の強度値の比を求めることができる。したがって、
特定の色信号（例えばＲ信号）が強い光源からの影響の
みを補正すること等を行うことができる。

【００６３】なお、上記実施形態においては、説明のた
めに仮想光源Ｌ１〜Ｌ１３を２次元状に配置している
が、実際には３次元形状データＳ１に対して３次元状に
複数の仮想光源を配置し、各測定点毎に反射光の強度と
上記余弦との関係をプロットして撮影時の光源方向を推
定するものである。

【００６４】また、上記実施形態においては、式（６）
および（７）に示すように、最小二乗法による評価関数
ｃｆを用いて、光源の方向を推定しているが、これに限
定されるものではなく、図９に示すプロットをモニタに
表示し、オペレータがこれを観察してプロットが直線上
に位置する仮想光源の方向を撮影時の光源の方向として
求めるようにしてもよい。

【００６５】さらに、２次元画像データＳ０を取得する
際において使用するカメラは、入力する光と出力する画
像データとの関係が非線形となるものである。このた
め、予め使用するカメラによりグレーチャートを撮影し
て、カメラに対する入力と出力との関係を求めておき、
この関係が直線となるようにカメラの入出力特性を補正
しておくことが好ましい。

【００６６】ここで、以下に複数の仮想光源から３個の
仮想光源の組み合わせを選択した場合における光源方向
の推定について説明する。

【００６７】図１１は３個の仮想光源の組み合わせを選
択した場合における光源方向の推定を説明するための図
である。なお、ここでは、撮影時に３つの光源を使用
し、図１１に示すように−１５度、４５度および６０度
の方向に光源Ｌ２１，Ｌ２２，Ｌ２３が存在するものと
して説明する。まず、上記実施形態と同様に、仮想光源
の組み合わせを選択する。ここでは使用した光源が３つ
あることから、組み合わせ数は_１３Ｃ_３＝２８６通りと
なる。そして各組み合わせにおいて余弦の算出、単一照
射測定点の選択、単一仮想光源に基づくプロットおよび
直線か否かの判断を行い、１つの光源方向およびその強
度を推定する。なお、ここでは最初に−１５度の方向の
光源Ｌ２１が推定され、その強度は図１２（ａ）に示す
プロットの傾きから０．２９５であったとする。

【００６８】このようにして光源Ｌ２１の方向および強
度が推定されると、この強度値が元の２次元画像データ
Ｓ０から減算され、光源Ｌ２１以外の光源からの光のみ
が照射された顔画像を表す修正２次元画像データＳ０′
を得る。図１３（ａ）は２次元画像データＳ０により表
される画像を表す図、図１３（ｂ）は光源Ｌ２１から発
せられた光のみによる顔画像を表す図である。そして、
図１３（ａ）に示す顔画像を表す２次元画像データＳ０
から、図１３（ｂ）に示す顔画像を表すデータを減算す
ることにより、図１３（ｃ）に示すように光源Ｌ２１以
外の光源からの光のみが照射された顔画像を表す修正２
次元画像データＳ０′が得られる。

【００６９】次に、修正２次元画像データＳ０′を新た
な２次元画像データＳ０として、仮想光源の組み合わせ
の選択、各組み合わせにおける余弦の算出、単一照射測
定点の選択、単一仮想光源に基づくプロットおよび直線
か否かの判断を行い、残りの２つの光源のうちの１つの
光源方向およびその強度を推定する。なお、ここでは２
番目に４５度の方向の光源Ｌ２２が推定され、その強度
は図１２（ｂ）に示すプロットの傾きから０．５９８で
あったとする。

【００７０】このようにして光源Ｌ２２の方向および強
度が推定されると、この強度値が２次元画像データＳ０
（図１３（ｃ）に示す画像を表すもの）から減算され、
光源Ｌ２２以外の光源からの光のみが照射された顔画像
を表す修正２次元画像データＳ０′が得られる。すなわ
ち、図１４（ａ）は光源Ｌ２２から発せられた光のみに
よる顔画像を表す図であり、図１３（ｃ）に示す顔画像
を表す２次元画像データＳ０から、図１４（ａ）に示す
顔画像を表すデータを減算することにより、図１４ｂ）
に示すように光源Ｌ２１、Ｌ２２以外の光源からの光の
み、すなわち光源Ｌ２３からの光のみが照射された顔画
像を表す修正２次元画像データＳ０′が得られる。

【００７１】そして、２回目の光源方向の推定において
得られた修正２次元画像データＳ０′を新たな２次元画
像データＳ０とし、余弦の算出、単一照射測定点の選
択、単一仮想光源に基づくプロットおよび直線か否かの
判断を行い、残りの１つの光源の方向およびその強度を
推定する。なお、ここでは光源数は３つであることか
ら、３回目の光源方向の推定においては２次元画像デー
タＳ０は一の光源から発せられる光のみが照射されたも
のとなる。したがって、単一照射測定点の選択は行われ
ず、余弦のプロットのみが行われ、プロットが直線とな
る仮想光源の方向が撮影時の光源方向、すなわち６０度
の方向が推定される。

【００７２】このように、仮想光源の組み合わせの選択
に用いる仮想光源数が増えた場合は、一の光源方向の推
定、この光源方向の光による強度値の２次元画像データ
Ｓ０からの減算を繰り返し行うことにより、全ての光源
方向の推定を行うことができる。

【００７３】なお、図１５に示すような方向に光源が存
在する場合には、撮影により得られる画像に遮断および
余弦が負となる測定点が存在しなくなるため、本発明に
よる光源方向推定方法を適用することができない。しか
しながら、実際に物体を撮影する際には、光源の方向は
図１５に示す角度に厳密に設定されるわけではなく、多
少なりともずれて設定されるものである。このため、撮
影により得られる画像には遮断や上記余弦が負となる部
分が出現することから、本発明による光源方向推定方法
により、光源の方向を推定することができることとな
る。

【００７４】また、上記実施形態においては、撮影時の
光源数を未知のものとしているが、撮影時の光源数が既
知の場合には、任意の複数方向に設定した仮想光源から
光源の個数に応じた仮想光源の組み合わせを選択すれば
よいため、全ての仮想光源の個数についての組み合わせ
について光源方向の推定を行う必要がなくなり、これに
より処理を高速に行うことができる。

【図面の簡単な説明】

【図１】本発明の実施形態による光源方向推定装置の構
成を示す概略ブロック図

【図２】２次元画像データと３次元形状データとの位置
合わせを説明するための図

【図３】推定手段の構成を示す概略ブロック図

【図４】仮想光源の方向を説明するための図

【図５】測定点における余弦の算出を説明するための図

【図６】遮断を説明するための図

【図７】余弦が負となる場合を説明するための図

【図８】単一仮想光源による余弦の算出を説明するため
の図

【図９】余弦と反射光の強度値との関係を示すグラフ

【図１０】本実施形態の動作を示すフローチャート

【図１１】３つの光源方向の推定を説明するための図

【図１２】余弦のプロットの傾きを示す図

【図１３】３つの光源方向の推定する場合のデータ値の
変化を示す図（その１）

【図１４】３つの光源方向の推定する場合のデータ値の
変化を示す図（その２）

【図１５】光源方向を推定できない場合を示す図

【符号の説明】

１位置合わせ手段２メモリ３推定手段１０組み合わせ選択手段１１測定点設定手段１２単一照射測定点選択手段１３余弦算出手段１４プロット手段１５方向推定手段１６強度値推定手段１７修正手段１８制御手段

Claims

【特許請求の範囲】

【請求項１】表面反射率が略一定であり拡散反射す
る部分を含む物体を、複数光源下において遮断が生じる
ように撮影することにより得られる画像に基づいて、前
記各光源の方向を推定する光源方向推定方法であって、前記画像上における前記物体の画像を表す物体画像デー
タのデータ値、および該物体画像データと前記物体の３
次元形状を表す３次元形状データとの位置合わせを行っ
た後の前記３次元形状データにより表される３次元物体
と、任意の複数方向に設定した仮想光源との位置関係に
基づいて、前記各光源の方向を推定することを特徴とす
る光源方向推定方法。
【請求項２】前記任意の複数方向に設定した仮想光
源から仮想光源の組み合わせを選択し、前記位置合わせを行った後の前記３次元形状データによ
り表される３次元物体上における前記物体の前記表面反
射率が略一定であり拡散反射する部分に対応する部分に
複数の測定点を設定し、前記物体画像データに基づいて、前記組み合わせにおけ
る仮想光源から前記物体に光を照射した際に、単一の仮
想光源から発せられる光のみが照射される単一照射測定
点を、前記複数の測定点から選択し、前記単一の仮想光源から前記単一照射測定点へ向かう方
向ベクトルと、該単一照射測定点における法線ベクトル
とのなす余弦を算出し、該余弦と、前記単一照射測定点に対応する前記物体画像
データのデータ値との関係を前記複数の仮想光源の方向
毎にプロットし、前記プロットが略直線となる仮想光源の方向を一の光源
の方向として推定し、該一の光源の方向の推定に用いられたプロットにより設
定される直線の傾きに基づいて、前記一の光源の相対的
な強度値を推定し、該強度値に基づいて、前記位置合わせ後の物体画像デー
タから、前記一の光源による光の影響を除去して修正物
体画像データを得、前記一の光源の方向にある仮想光源以外の仮想光源から
の仮想光源の組み合わせの選択、前記修正物体画像デー
タを新たな前記物体画像データとする単一照射測定点の
選択、前記余弦の算出、前記プロット、前記一の光源方
向の推定、前記強度値の推定、および前記修正物体画像
データの取得を、全ての光源の方向が推定されるまで繰
り返し行うことにより、前記各光源の方向を推定するこ
とを特徴とする請求項１記載の光源方向推定方法。
【請求項３】前記光源数が既知の場合は、前記任意
の複数方向に設定した仮想光源から前記光源の個数に応
じた仮想光源の組み合わせを選択することを特徴とする
請求項２記載の光源方向推定方法。
【請求項４】前記光源の方向の推定を、最小二乗法
を用いた評価関数に基づいて、前記プロットが略直線と
なるか否かを判断することにより行うことを特徴とする
請求項２または３記載の光源方向推定方法。
【請求項５】前記物体が人物の顔であることを特徴
とする請求項１から４のいずれか１項記載の光源方向推
定方法。
【請求項６】前記３次元形状データが前記物体の３
次元形状を表すポリゴンデータであることを特徴とする
請求項１から５のいずれか１項記載の光源方向推定方
法。
【請求項７】表面反射率が略一定であり拡散反射す
る部分を含む物体を、複数光源下において遮断が生じる
ように撮影することにより得られる画像に基づいて、前
記各光源の方向を推定する光源方向推定装置であって、前記画像上における前記物体の画像を表す物体画像デー
タのデータ値、および該物体画像データと前記物体の３
次元形状を表す３次元形状データとの位置合わせを行っ
た後の前記３次元形状データにより表される３次元物体
と、任意の複数方向に設定した仮想光源との位置関係に
基づいて、前記各光源の方向を推定する手段を備えたこ
とを特徴とする光源方向推定装置。
【請求項８】前記各光源の方向を推定する手段は、
前記任意の複数方向に設定した仮想光源から仮想光源の
組み合わせを選択する組み合わせ選択手段と、前記位置合わせ後の３次元形状データにより表される３
次元物体上における前記物体の前記表面反射率が略一定
であり拡散反射する部分に対応する部分に複数の測定点
を設定する測定点設定手段と、前記物体画像データに基づいて、前記組み合わせにおけ
る仮想光源から前記物体に光を照射した際に、単一の仮
想光源から発せられる光のみが照射される単一照射測定
点を、前記複数の測定点から選択する単一照射測定点選
択手段と、前記単一の仮想光源から前記単一照射測定点へ向かう方
向ベクトルと、該単一照射測定点における法線ベクトル
とのなす余弦を算出する余弦算出手段と、該余弦と、前記単一照射測定点に対応する前記物体画像
データのデータ値との関係を前記複数の仮想光源の方向
毎にプロットするプロット手段と、前記プロットが略直線となる仮想光源の方向を一の光源
の方向として推定する方向推定手段と、該一の光源の方向の推定に用いられたプロットにより設
定される直線の傾きに基づいて、前記一の光源の相対的
な強度値を推定する強度値推定手段と、該強度値に基づいて、前記位置合わせ後の物体画像デー
タから、前記一の光源による光の影響を除去して修正物
体画像データを得る修正手段と、前記一の光源の方向にある仮想光源以外の仮想光源から
の仮想光源の組み合わせの選択、前記修正物体画像デー
タを新たな前記物体画像データとする単一照射測定点の
選択、前記余弦の算出、前記プロット、前記一の光源方
向の推定、前記強度値の推定、および前記修正物体画像
データの取得を、全ての光源の方向が推定されるまで繰
り返し行うように、前記組み合わせ選択手段、前記測定
点設定手段、前記単一照射測定点選択手段、前記余弦算
出手段、前記プロット手段、前記方向推定手段、前記強
度値推定手段および前記修正手段を制御する制御手段と
を備えたことを特徴とする請求項７記載の光源方向推定
装置。
【請求項９】前記光源数が既知の場合は、前記組み
合わせ選択手段は、前記任意の複数方向に設定した仮想
光源から前記光源の個数に応じた仮想光源の組み合わせ
を選択する手段であることを特徴とする請求項８記載の
光源方向推定装置。
【請求項１０】前記方向推定手段は、前記光源の方
向の推定を、最小二乗法を用いた評価関数に基づいて、
前記プロットが略直線となるか否かを判断することによ
り行う判断手段を備えたことを特徴とする請求項８また
は９記載の光源方向推定装置。
【請求項１１】前記物体が人物の顔であることを特
徴とする請求項７から１０のいずれか１項記載の光源方
向推定装置。
【請求項１２】前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることを特徴とす
る請求項７から１１のいずれか１項記載の光源方向推定
装置。
【請求項１３】表面反射率が略一定であり拡散反射
する部分を含む物体を、複数光源下において遮断が生じ
るように撮影することにより得られる画像に基づいて、
前記各光源の方向を推定する光源方向推定方法をコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読取り可能な記録媒体であって、前記プログラムは、前記画像上における前記物体の画像
を表す物体画像データのデータ値、および該物体画像デ
ータと前記物体の３次元形状を表す３次元形状データと
の位置合わせを行った後の前記３次元形状データにより
表される３次元物体と、任意の複数方向に設定した仮想
光源との位置関係に基づいて、前記各光源の方向を推定
する手順を有することを特徴とするコンピュータ読取り
可能な記録媒体。
【請求項１４】前記各光源の方向を推定する手順
は、前記任意の複数方向に設定した仮想光源から仮想光
源の組み合わせを選択する手順と、前記位置合わせを行った後の前記３次元形状データによ
り表される３次元物体上における前記物体の前記表面反
射率が略一定であり拡散反射する部分に対応する部分に
複数の測定点を設定する手順と、前記物体画像データに基づいて、前記組み合わせにおけ
る仮想光源から前記物体に光を照射した際に、単一の仮
想光源から発せられる光のみが照射される単一照射測定
点を、前記複数の測定点から選択する手順と、前記単一の仮想光源から前記単一照射測定点へ向かう方
向ベクトルと、該単一照射測定点における法線ベクトル
とのなす余弦を算出する手順と、該余弦と、前記単一照射測定点に対応する前記物体画像
データのデータ値との関係を前記複数の仮想光源の方向
毎にプロットする手順と、前記プロットが略直線となる仮想光源の方向を一の光源
の方向として推定する手順と、該一の光源の方向の推定に用いられたプロットにより設
定される直線の傾きに基づいて、前記一の光源の相対的
な強度値を推定する手順と、該強度値に基づいて、前記位置合わせ後の物体画像デー
タから、前記一の光源による光の影響を除去して修正物
体画像データを得る手順と、前記一の光源の方向にある仮想光源以外の仮想光源から
の仮想光源の組み合わせの選択、前記修正物体画像デー
タを新たな前記物体画像データとする単一照射測定点の
選択、前記余弦の算出、前記プロット、前記一の光源方
向の推定、前記強度値の推定、および前記修正物体画像
データの取得を、全ての光源の方向が推定されるまで繰
り返し行う手順とを有することを特徴とする請求項１３
記載のコンピュータ読取り可能な記録媒体。
【請求項１５】前記光源数が既知の場合は、前記任
意の複数方向に設定した仮想光源から前記光源の個数に
応じた仮想光源の組み合わせを選択することを特徴とす
る請求項１３記載のコンピュータ読取り可能な記録媒
体。
【請求項１６】前記光源の方向の推定の手順は、最
小二乗法を用いた評価関数に基づいて、前記プロットが
略直線となるか否かを判断する手順を有することを特徴
とする請求項１４または１５記載のコンピュータ読取り
可能な記録媒体。
【請求項１７】前記物体が人物の顔であることを特
徴とする請求項１３から１６のいずれか１項記載のコン
ピュータ読取り可能な記録媒体。
【請求項１８】前記３次元形状データが前記物体の
３次元形状を表すポリゴンデータであることを特徴とす
る請求項１３から１７のいずれか１項記載のコンピュー
タ読取り可能な記録媒体。