JP2000315257A - 皮膚状態の三次元画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は複数の撮像画像から三次元再構成を行
なうことにより皮膚状態を示す三次元画像を生成する皮
膚状態の三次元画像生成方法に関し、精度の高い皮膚状
態の三次元画像を生成することを課題とする。 【解決手段】光源１８〜２０から皮膚表面レプリカ２５
に対し照射方向の異なる光を順次照射することにより得
られた陰影の異なる複数の入力画像データに対し、特異
値分解を用いて各画素毎に表面法線ベクトルを求め、こ
れに基づき三次元立体画像を復元する。この際、入力画
像に対し明度値の補正を行い、かつ特異値分解を行なっ
た表面法線ベクトルと入力画像とに基づき鏡面反射及び
影の影響を除去する。これにより、誤差の少ない精度の
高い三次元立体画像を実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は皮膚状態の三次元画
像生成方法に係り、特に複数の撮像画像から三次元再構
成を行なうことにより皮膚状態を示す三次元画像を生成
する皮膚状態の三次元画像生成方法に関する。

【０００２】

【従来の技術】例えば、化粧品の開発において、化粧品
の効果を確認するために、皮膚表面の色，水分量，形状
等の検査が行なわれる。特に、皮膚の表面形状は、年齢
の変化と共に変化することが知られている。よって、皮
膚の表面形状を反映した特徴量を検出することは非常に
有意義である。

【０００３】一般に、皮膚表面形状の検査には、皮膚表
面をラバーで型取り、皮膚の凹凸を反転した皮膚表面レ
プリカが用いられる。この皮膚表面レプリカは、その凹
凸が数μｍ程度と微細なため、その三次元形状を測定す
ることは困難であった。このため、従来では皮膚表面の
三次元形状を得るために、皮膚表面レプリカを顕微鏡で
撮像することにより二次元画像から求め、続いてこの二
次元画像の二次元特徴量から三次元特徴量を推定し、こ
れにより三次元画像を生成する手法が取られていた。し
かるに、二次元画像から三次元特徴量を推定するには限
界があり、この手法では三次元的特徴量の正確な抽出が
望めなかった。

【０００４】そこで本出願人は、皮膚表面レプリカに方
向の異なる３つの光を照射しうる光源を用い、夫々の光
源の照明により得られる３枚の陰影画像にフォトメトリ
ックステレオ法を適用し、皮膚表面に対して作成した三
次元形状モデルのパラメータを推定することによる三次
元的情報の抽出を試みた（宗宮由紀子，小沢慎治：“画
像処理による皮膚表面の特徴抽出”，信学春季全大，D-
641 (1993)参照）。

【０００５】ここで、フォトメトリックステレオ法と
は、目的とする物体（皮膚表面レプリカ）の表面がラン
バート面であると仮定して、既知の明度値・反射率・光
源方向ベクトルから微小表面単位法線ベクトルを求める
方法である(Woodham R.J.:"Photometric method for de
termining surface orientation from multiple image
s", Optical Engineering,19,PP.139〜144(1980) 参
照）。

【０００６】

【発明が解決しようとする課題】しかるに、皮膚表面の
ような凹凸の激しい形状に対しては、撮像された画像に
陰が多く生じる等の問題により、物体表面の光学的な条
件が満足されず、通常のフォトメトリックステレオ法で
は正確な三次元画像の生成が困難であった。フォトメト
リックステレオ法により生じる具体的な問題点は、以下
の通りである。 誤差の蓄成が多い ランバート面を仮定している 鏡面反射や相互反射が十分には考慮されていない 計算時間が長くなる 本発明は上記の点に鑑みてなされたものであり、撮像さ
れた陰影画像に最も近い陰影分布を与えるような三次元
形状を推定することにより、上記の〜の影響を考慮
した精度の高い皮膚状態の三次元画像を生成する皮膚状
態の三次元画像生成方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に本発明では、次の各手段を講じたことを特徴とするも
のである。請求項１記載の発明に係る皮膚状態の三次元
画像生成方法は、光源から皮膚表面レプリカに対し照射
方向の異なる光を順次照射すると共に、その反射光を撮
像手段により撮像することにより、陰影の異なる複数の
入力画像を生成する入力画像生成工程と、前記入力画像
生成工程において生成された前記皮膚表面レプリカの複
数の前記入力画像に対し、明度値の補正を行なう明度補
正工程と、前記明度補正工程において明度補正が行なわ
れた前記入力画像に基づき、前記入力画像を構成する各
画素単位で、該画素における表面法線ベクトルを求める
特異値分解処理を行なう特異値分解工程と、前記特異値
分解工程で得られた前記表面法線ベクトルに対し、前記
入力画像生成工程において発生する誤差の影響を修正す
る誤差修正工程と、前記誤差修正工程を実施することに
より誤差の影響が排除された前記表面法線ベクトルの解
が収束したか否かを判断すると共に、前記解が収束した
場合には、前記表面法線ベクトルに基づき前記皮膚表面
レプリカの三次元距離画像の生成処理を行なう三次元再
構成工程と、前記三次元再構成工程で得られた三次元距
離画像に基づき、三次元立体画像を復元する復元画像生
成工程と、を有することを特徴とするものである。

【０００８】また、請求項２記載の発明は、請求項１記
載の皮膚状態の三次元画像生成方法において、前記誤差
修正工程が、鏡面反射の影響による誤差を修正する鏡面
反射誤差修正工程と、陰の影響による誤差を修正する陰
誤差修正工程とを含むことを特徴とするものである。

【０００９】また、請求項３記載の発明は、請求項１ま
たは２記載の皮膚状態の三次元画像生成方法において、
前記明度補正工程と前記特異値分解工程との間に、多重
反射成分の影響による誤差を修正する多重反射成分誤差
修正工程を実施することを特徴とするものである。

【００１０】上記下各手段は、次のように作用する。請
求項１記載の発明によれば、入力画像生成工程におい
て、皮膚表面レプリカに対し異なる方向から光が照射さ
れ、夫々の照射方向に対応した複数の入力画像が生成さ
れる。この複数の入力画像は、皮膚表面レプリカに対し
異なる方向から光が照射された画像であるため、夫々の
陰影は照射方向により異なっている。

【００１１】また、明度補正工程では、入力画像生成工
程において生成された皮膚表面レプリカの複数の入力画
像に対し明度値の補正を行なう。上記したように、入力
画像生成工程では、複数の光源から照射方向の異なる光
が照射されて入力画像が生成される。この各光源からの
光量を等しくすることは現実的に不可能であり、必然的
に各光源からの光量は微妙に異なっている。よって、生
成される各入力画像の明度も均一ではなく、光源の光量
に起因して異なっている。この入力画像の明度差は、生
成される三次元画像に誤差として反映されてしまう。

【００１２】しかるに、明度補正工程において、各入力
画像の明度値を補正することにより、照明の光量差に起
因した誤差が三次元画像に反映されることを防止でき、
精度の高い三次元画像を生成することが可能となる。明
度補正工程において明度補正が行なわれた入力画像は、
特異値分解工程において、入力画像を構成する各画素単
位で、各画素における表面法線ベクトルが求められる。
特異値分解は、多数の式を連立させる場合に有利な方法
である。

【００１３】本発明では、複数の入力される画像毎に画
像状態（実際は明度）を示す式が生成され、これを光源
の角度をパラメータとして連立させる必要がある。よっ
て、連立させるべき式数は、入力画像数が増大するにつ
れて（即ち、精度を高めようとすると）多くなる。よっ
て、特異値分解を用いることにより、効率よく短時間で
表面法線ベクトルを得ることが可能となる。

【００１４】誤差修正工程では、特異値分解工程で得ら
れた明度値の軌跡と入力画像生成工程において得られる
じっさあの明度値の軌跡とを比較することにより、誤差
の除去処理が行なわれる。この誤差修正処理では、特異
値分解工程で得られた結果と、入力画像生成工程で得ら
れた結果とを比較して誤差要因を特定できるため、誤差
の原因に対応した修正処理を行なうことが可能となる。
よって、精度の高い皮膚状態の三次元画像を得ることが
可能となる。

【００１５】続いて、三次元再構成工程において、誤差
修正工程を実施することにより誤差の影響が排除された
表面法線ベクトルの解が収束したか否かを判断し、収束
しない場合には特異値分解工程及び誤差修正工程を繰り
返し実施する。また、解が収束した場合には、表面法線
ベクトルに基づき皮膚表面レプリカの三次元距離画像の
生成処理を行い、続く復元画像生成工程において三次元
再構成工程で得られた三次元距離画像に基づき三次元立
体画像を復元し、これにより皮膚状態の三次元画像を得
ることができる。

【００１６】また、請求項２記載の発明によれば、誤差
修正工程において、鏡面反射の影響による誤差を修正す
る鏡面反射誤差修正工程と、陰の影響による誤差を修正
する陰誤差修正工程を実施することにより、より精度の
高い三次元立体画像を生成することができる。具体的に
は、鏡面反射が三次元立体画像に反映されると、皮膚表
面レプリカに存在する凹凸が必要以上に強調させる現象
が発生する。また、陰が三次元立体画像に反映される
と、皮膚表面レプリカに存在する凹凸が消失する現象が
生じる。

【００１７】よって、鏡面反射誤差修正工程及び影誤差
修正工程を実施することにより、実際に皮膚表面レプリ
カに存在する凹凸形状を忠実に再現することができ、精
度の高い三次元立体画像を得ることができる。また、請
求項３記載の発明によれば、明度補正工程と特異値分解
工程との間に、多重反射成分の影響による誤差を修正す
る多重反射成分誤差修正工程を実施することにより、よ
り精度の高い三次元立体画像を生成することができる。

【００１８】具体的には、多重反射成分が三次元立体画
像に反映されると、皮膚表面レプリカには実際には存在
しない凹凸が検出される現象が発生する。よって、多重
反射成分誤差修正工程を実施することにより、実際に皮
膚表面レプリカに存在する凹凸形状のみを忠実に再現す
ることができ、精度の高い三次元立体画像を得ることが
できる。

【００１９】

【発明の実施の形態】続いて、本発明の実施の形態につ
いて図面と共に説明する。図１は、本発明の一実施例で
ある皮膚状態の三次元画像生成方法に用いる三次元画像
生成装置１０を示している。同図に示すように、三次元
画像生成装置１０は、レプリカ測定装置１１、画像生成
用コンピュータ１２、及び駆動制御装置１３等により構
成されている。

【００２０】レプリカ測定装置１１は、後に詳述するよ
うに、レプリカホルダ１４に装着された皮膚表面レプリ
カ２５に光を照射すると共に、その画像を撮像するもの
である。また、画像生成用コンピュータ１２は、皮膚表
面レプリカ２５で撮像された画像に対し後述する所定の
処理を行なうことにより、皮膚表面の三次元立体画像を
生成する。また、駆動制御装置１３は、画像生成用コン
ピュータ１２からの制御信号に基づき、レプリカ測定装
置１１の駆動制御を行なうものである。

【００２１】尚、皮膚表面２５は、従来用いているもの
と変わるところはなく、皮膚表面をラバーで型取りした
ものである。よって、皮膚表面レプリカの凹凸は、皮膚
の凹凸と反転した状態となっている。また、この音津
は、数μｍ程度と微細である。図２乃至図４は、レプリ
カ測定装置１１を拡大して示す図である。図２はレプリ
カ測定装置１１の正面図であり、図３はレプリカ測定装
置１１の平面図であり、更に図４はレプリカ測定装置１
１の基本原理図である。

【００２２】レプリカ測定装置１１は、大略すると基台
１５、ＣＣＤカメラ１６（撮像手段）、レンズ系１７、
第１の光源１８、第２の光源１９、第３の光源２０、及
び回転テーブル２１等により構成されている。基台１５
は、その上部にフォーカス調整部２３が立設されてい
る。このフォーカス調整部２３はＣＣＤカメラ１６を支
持すると共に、図中矢印Ｚ１，Ｚ２方向に微細に変位可
能な構成とされている。また、ＣＣＤカメラ１６には、
レンズ系１７が配設されている。このＣＣＤカメラ１６
は、下部より情報に配置された皮膚表面レプリカ２５を
レンズ系１７を介して撮像する構成とされている。

【００２３】また、上記のようにフォーカス調整部２３
は矢印Ｚ１，Ｚ２方向に変位可能な構成とされているた
め、これによりＣＣＤカメラ１６が皮膚表面レプリカ２
５を撮像する際のフォーカス調整を可能としている。ま
た、フォーカス調整部２３の変位量は、フォーカス用セ
ンサ２４により検出される構成とされている。上記した
フォーカス調整部２３及びフォーカス用センサ２４は駆
動制御装置１３に接続されており、画像生成用コンピュ
ータ１２の制御動作に基づき駆動制御装置１３は常にＣ
ＣＤカメラ１６（レンズ系１７）の焦点が皮膚表面レプ
リカ２５に合焦点するようにフォーカス制御を行なう。

【００２４】第１乃至第３の光源１８〜２０は、レプリ
カホルダー１４に装着された皮膚表面レプリカ２５に対
し光を照射するものであり、回転テーブル２１上に１２
０°の等間隔で配置されている。このため、各光源１８
〜２０は皮膚表面レプリカ２５に向くよう、回転テーブ
ル２１の表面に対し所定の仰角φを有した構成とされて
いる（図４参照）。

【００２５】一方、回転テーブル２１は、図示しない駆
動装置により回転可能な構成とされている。この回転テ
ーブル２１の回転角は、回転角検出器２２により検出さ
れる構成とされている。この回転テーブル２１の駆動装
置及び回転角検出器２２は駆動制御装置１３に接続され
ており、画像生成用コンピュータ１２の制御動作に基づ
き駆動装置は回転テーブル２１の回転角度を制御する。

【００２６】続いて、画像生成用コンピュータ１２が実
施する、皮膚状態（正確には、皮膚表面レプリカ２５の
表面状態）の三次元画像の生成処理について説明する。
図５は、本発明の一実施例であるの次元画像生成方法を
用いた皮膚状態の三次元画像の生成処理を示すフローチ
ャートである。同図に示す三次元画像の生成処理が起動
すると、先ず画像生成用コンピュータ１２は、回転テー
ブル２１を回転させ、第１の光源１８を予め既定されて
いる基準位置２７まで移動させる（図３に示す状態とす
る）。続いて、画像生成用コンピュータ１２は第１の光
源１８を駆動して皮膚表面レプリカ２５に対し光を照射
すると共に、ＣＣＤカメラ１６により皮膚表面レプリカ
２５を撮像する。

【００２７】次に、画像生成用コンピュータ１２は第２
の光源１９を駆動して皮膚表面レプリカ２５に対し光を
照射すると共に、ＣＣＤカメラ１６により皮膚表面レプ
リカ２５を撮像する。更に、画像生成用コンピュータ１
２は第３の光源２０を駆動して皮膚表面レプリカ２５に
対し光を照射すると共に、ＣＣＤカメラ１６により皮膚
表面レプリカ２５を撮像する。

【００２８】以上の処理を行なうことにより、画像生成
用コンピュータ１２は、３枚の皮膚表面レプリカ２５の
入力画像を得たこととなる。即ち、画像生成用コンピュ
ータ１２は、基準位置２７を中心として反時計方向に角
度（θ）を規定すると、第１の光源１８から照射された
光の反射光により生成された角度０deg （θ＝０deg）
の入力画像と、第２の光源１９から照射された光の反射
光により生成された角度１２０deg （θ＝１２０deg ）
の入力画像と、第３の光源２０から照射された光の反射
光により生成された角度２４０deg （θ＝２４０deg ）
の入力画像とを得たこととなる。ここで得られた各入力
画像は、各光源１８〜２０からの光の照射方向が異なる
ため、生成される入出画像の陰影も異なったものとな
る。

【００２９】このように、第１の光源１８が基準位置２
７にある時において上記した３枚の入力画像が順次入力
されると、画像生成用コンピュータ１２は回転テーブル
２１を図中矢印Ａ方向に３deg 回転させ、再び第１乃至
第３の照明１８〜２０を順次駆動して３枚の入力画像を
取り込む。この時に撮像される入力画像は、角度３deg
（θ＝３deg ），１２３deg （θ＝１２３deg ），及び
角度２４３deg （θ＝２４３deg ）の入力画像となる。
この処理により、画像生成用コンピュータ１２は、光源
１８〜２０からの照射方向の異なる合計６枚の入力画像
を得たこととなる。

【００３０】上記の処理は、第１の光源１８が１１７de
g の位置に移動されるまで繰り返し実施される。これに
より、画像生成用コンピュータ１２は、光源からの光の
照射角度が夫々異なる１２０枚の入力画像を得たことと
なる。尚、以上説明した処理を入力画像生成工程とい
う。この処理は、図４ではステップ１０（図では、ステ
ップをＳと略称している）に該当するものである。

【００３１】この入力画像生成工程（ステップ１０）が
終了すると、続いて明度値の補正処理（ステップ１２）
が実施される。この明度補正工程では、入力画像生成工
程において生成された皮膚表面レプリカの複数（１２０
枚）の入力画像に対し明度値の補正を行なう。上記した
ように入力画像生成工程では、複数の光源１８〜２０か
ら照射方向の異なる光が照射されて入力画像が生成され
る。この各光源１８〜２０からの光の光量を等しくする
ことは現実的に不可能であり、必然的に各光源１８〜２
０からの光量は微妙に異なっている。よって、生成され
る各入力画像の明度も均一ではなく、光源１８〜２０の
光量に起因して異なっている。この入力画像の明度差
は、生成される三次元画像に誤差として反映されてしま
う。

【００３２】そこで、ステップ１２において明度値の補
正を行い、この光源１８〜２０の光量差が三次元画像に
悪影響を及ぼさないよう構成した。具体的には、本実施
例では、任意の回転角θの画像において、全画像の平均
明度との差を補正する方法が取られている。即ち、入力
画像の明度値をＩ_in（ｘ，ｙ，θ）とし、全画像の平均
面度値をＩ_total とし、所定の回転角θの入力画像の平
均明度値とすると、補正後の明度値Ｉ（ｘ，ｙ，θ）
は、次に示す数式１により求めることができる。

【００３３】

【数１】

【００３４】このように、明度補正工程において、各入
力画像の明度値を補正することにより、照明の光量差に
起因した誤差が三次元画像に反映されることを防止で
き、よって後に生成される三次元画像の精度を向上させ
ることができる。ステップ１２における明度値の補正処
理が終了すると、処理はステップ１４に進み、多重反射
成分誤差修正工程を実施する。この多重反射成分誤差修
正工程では、多重反射成分（二次反射成分）の除去が行
なわれる。

【００３５】ここで、図６を用いて多重反射の入力画像
への影響について説明する。いま、図６（Ａ）に示すよ
うに、二つの凹凸２６に対し光源から光が図示される方
向より照射された場合を想定すると、その反射光の中に
は凹凸２６の表面で反射されず、他の部位（同図に矢印
Ｐ１で示す）で反射された反射光（これを多重反射光と
いう）が混在する場合が生じる。

【００３６】このように多重反射光が存在すると、本来
ならば図６（Ｂ）に示すように二つの凹凸２６に対応し
た入力画像が生成されるはずのものが、多重反射光によ
り図６（Ｃ）に示すように存在しない凹凸（同図中、矢
印Ｑ１で示す）が入力画像に現れてしまう。この図６
（Ｃ）に示される入力画像に基づき三次元画像を生成し
た場合には、三次元画像の精度が劣化してしまうのは明
らかである。

【００３７】そこで、実際に存在しない凹凸Ｑ１の明度
は、実在する凹凸２６の明度に対して小さいことを利用
し、凹凸Ｑ１の明度よりも高い明度に閾値Ｉ_thを設け
る。そして、入力画像の明度値Ｉ（ｘ，ｙ，θ）が閾値
Ｉ_thよりも大きい場合（Ｉ（ｘ，ｙ，θ）＞Ｉ_th）に
は、実在する凹凸２６であるとしてこれを除去する処理
は行なわず、入力画像の明度値Ｉ（ｘ，ｙ，θ）が閾値
Ｉ_thよりも小さい場合（Ｉ（ｘ，ｙ，θ）≦Ｉ_th）に
は、実際には存在しない凹凸Ｑ１であるとしてこれを除
去する処理を行なう。尚、上記の式に示したｘ，ｙの座
標は、図４に示すように、皮膚表面レプリカ２５の中心
位置を通るＸ，Ｙ，Ｚの各座標軸を取った場合の座標値
である。

【００３８】図７は、入力画像データ（画像データとい
う）の明度値の軌跡（実線で示す），多重反射除去前の
明度値の軌跡（一点鎖線で示す），及び多重反射除去後
の明度値の軌跡（破線で示す）を合わせて示したもので
ある。同図より、多重反射除去後の明度値の軌跡の方
が、図中矢印Ｑ_a で示す多重反射の影響を受けていない
ことが判る。 これにより、実際に存在しない凹凸Ｑ１
が生成される三次元画像に反映されることを確実に防止
することが可能となり、よって精度の高い三次元立体画
像を得ることができる。

【００３９】上記の多重反射成分誤差修正工程（ステッ
プ１４）が終了すると、特異値分解工程（ステップ１
６）が実施される。この特異値分解工程では、入力画像
を構成する各画素単位で、この画素における表面法線ベ
クトル（ｎ）を求める処理が行なわれる。ここで、図４
を用いて、基準位置２７から回転角θの位置に光源があ
る場合における、所定座標位置（ｘ，ｙ，θ）に位置す
る画素の明度値Ｉ（θ）を求めると、下記する数式２の
ようになる。

【００４０】

【数２】

【００４１】但し、数式２において、ηは反射率，Ｌ
（θ）は回転角θにおける光源方向ベクトル，ｎは単位
表面法線ベクトル，φは仰角である。従来の３枚の入力
画像から算出するフォトメトリックステレオ法では、３
×３の行列式を解くことで任意の１点における表面法線
ベクトル、即ち傾きを算出できたが、本実施例のように
１２０枚の入力画像では、１２０行もの行列式となり、
通常の行列計算では計算することはできない。

【００４２】従って、以下に示す数式３の逆行列を求
め、左右両辺の左から逆行列をかければ反射率ηが求ま
る。この時、逆行列を求める方法が特異値分解である。
このように、特異値分解は、多数の式を連立させる場合
に有利な方法である。

【００４３】

【数３】

【００４４】上記のように、本実施例では複数の入力画
像毎に画像状態（実際は明度値）を示す式が生成され、
これを光源１８〜２０の角度θをパラメータとして連立
させる必要がある。よって、連立させるべき式数（数式
２）は、入力画像数が増大するにつれて（即ち、精度を
高めようとすると）多くなる。よって、本実施例のよう
に特異値分解を用いることにより、効率よく短時間で表
面法線ベクトルｎ及び反射率ηを得ることが可能とな
る。

【００４５】上記した特異値分解工程（ステップ１６）
が終了すると、続いて誤差修正工程（ステップ１８）が
実施される。この誤差修正工程では、特異値分解工程で
得られる明度値の軌跡と入力画像生成工程（ステップ１
０）で得られた実際の明度値の軌跡とを比較し、誤差成
分を除去する処理が行なわれる。このように、誤差修正
工程では、特異値分解工程で得られた結果と、入力画像
生成工程で得られた結果とを比較して誤差要因を特定で
きるため、誤差の原因に対応した修正処理を行なうこと
が可能となり、精度の高い皮膚状態の三次元画像を得る
ことが可能となる。

【００４６】具体的には、本実施例では誤差修正工程
（ステップ１８）において、鏡面反射の影響による誤差
を修正する鏡面反射誤差修正工程と、陰の影響による誤
差を修正する陰誤差修正工程を実施している。ここで、
図８を用いて鏡面反射の影響による誤差について、また
図９を用いて陰の影響による誤差について説明する。先
ず鏡面反射の影響について説明すると、図８（Ａ）に示
すように一つの凹凸部２６のある位置に鏡面状の部位２
６ａ（以下、鏡面部という）が存在していたような場
合、凹凸部２６に照射された光の内、鏡面部２６ａで反
射した反射光のみが他の部位に比べて強調される現象
（これを鏡面反射現象という）が発生する。この鏡面反
射現象が発生すると、本来的には図８（Ｂ）に示すよう
になるはずの入力画像が、図８（Ｃ）に示すように鏡面
部２６ａにおける反射が強調されてしまう。

【００４７】一方、図９（Ａ）に示すように二つの大小
の凹凸部２６Ａ，２６Ｂが存在し、かつ図示されるよう
に大きい方の凹凸部２６Ａに光源からの光が照射される
と、、小さい凹凸２６Ｂは大きい凹凸部２６Ａの陰に入
ってしまう現象が発生する。この現象が発生すると、本
来的には図９（Ｂ）に示すよう二つの山型の軌跡を形成
するはずの入力画像が、図９（Ｃ）に示すように一つの
山型の軌跡のみしかしめさなくなり、小さい側の凹凸部
２６Ａが消失する現象が生じる。この図８（Ｃ）及び図
９（Ｃ）に示される入力画像に基づき三次元画像を生成
した場合には、三次元画像の精度が劣化してしまうのは
明らかである。

【００４８】そこで、鏡面反射による誤差に関しては通
常の反射光の明度値よりも高い値に閾値（Ｉ_th）_max を
設け、また陰による誤差に関しては通常の発生する明度
値の最低値よりも低い値に閾値（Ｉ_th）_min を設け、入
力画像の明度値Ｉ（ｘ，ｙ，θ）が閾値（Ｉ_th）_max と
閾値（Ｉ_th）_min との間にある場合（（Ｉ_th）_min ＜Ｉ
（ｘ，ｙ，θ）＜（Ｉ_th）_max ）には、鏡面反射成分及
び陰成分を除去する処理は行なわず、入力画像の明度値
Ｉ（ｘ，ｙ，θ）が閾値（Ｉ_th）_max より大きい場合
（Ｉ（ｘ，ｙ，θ）≧（Ｉ_th）_max ）、及び明度値Ｉ
（ｘ，ｙ，θ）が閾値（Ｉ_th）_min より小さい場合（Ｉ
（ｘ，ｙ，θ）≦（Ｉ_th）_min ）には、鏡面反射成分及
び陰成分を除去する処理を行なう。これにより、精度の
高い三次元画像を生成することが可能となる。

【００４９】図１０は、入力画像データ（画像データと
いう）の明度値の軌跡（実線で示す），鏡面反射除去前
の明度値の軌跡（一点鎖線で示す），及び鏡面反射除去
後の明度値の軌跡（破線で示す）を合わせて示したもの
である。また、図１１は、入力画像データ（画像データ
という）の明度値の軌跡（実線で示す），陰領域除去前
の明度値の軌跡（一点鎖線で示す），及び陰領域除去後
の明度値の軌跡（破線で示す）を合わせて示したもので
ある。

【００５０】各図より、鏡面反射除去後及び陰領域除去
後の明度値の軌跡の方が、図１０に矢印Ｑ_b で示す鏡面
反射の影響、及び図１１に矢印Ｑ_c 示す陰影の影響を受
けていないことが判る。これにより、誤差成分を除去す
ることにより、誤差成分（鏡面反射除成分や陰影成分）
が三次元画像に反映されることを確実に防止することが
可能となり、よって精度の高い三次元立体画像を得るこ
とができる。

【００５１】上記した誤差修正工程（ステップ１８）が
終了すると、ステップ２０において特異値分解処理（ス
テップ１６）及び誤差修正工程（ステップ１８）を実施
することにより表面法線ベクトル（ｎ）の解が収束した
か否かを判断すると共に、収束した場合にはステップ２
２に進み、特異値分解によって最終的に得られた表面法
線ベクトルｎ（ｘ，ｙ）＝（ｎｘ，ｎｙ，ｎｚ）より、
下記する数式４に基づき、勾配（ｐ（ｘ，ｙ），ｑ
（ｘ，ｙ））を求める。

【００５２】

【数４】

【００５３】そして、数式４で得られた勾配（ｐ（ｘ，
ｙ），ｑ（ｘ，ｙ））を積分することにより高さｚ
（ｘ，ｙ）を求める（下式の数式５参照）。

【００５４】

【数５】

【００５５】上記のように高さｚ（ｘ，ｙ）が求められ
ると、復元画像生成工程（ステップ２２）が実施され、
表面法線ベクトル（ｎ）に基づき皮膚表面レプリカの三
次元距離画像の生成処理を行う。続く復元画像生成工程
（ステップ２４）において三次元再構成工程（ステップ
２２）で得られた三次元距離画像に基づき三次元立体画
像を復元し、これにより皮膚状態を示す皮膚表面レプリ
カ２５の三次元画像を生成することができる。

【００５６】図１２乃至図１４は、実際に皮膚表面レプ
リカ２５に対し上記した処理を実施した場合の各工程に
おける画像を示している。図１２は、入力画像生成工程
（ステップ１０）で入力した入力画像を示している。同
図（ａ）〜（ｃ）では、回転角が０deg,１２０deg,及び
２４０deg の入力画像を例に挙げて示している。同図に
示されるように、この段階の入力画像は各種誤差補正
（ステップ１２，１４，１８）が行なわれていないた
め、明度差，二次反射，鏡面反射，陰影等の影響が直接
現れている。

【００５７】図１３は、各種誤差補正（ステップ１２，
１４，１８）が終了した状態の画像を示している。同図
においても、回転角が０deg,１２０deg,及び２４０deg
の画像を例に挙げて示している。この段階の画像は、各
種誤差補正（ステップ１２，１４，１８）が実施された
後の画像であるため、明度差，二次反射，鏡面反射，陰
影等の影響は除去され、均一化で鮮明な画像となってい
ることが判る。

【００５８】図１４は、図１３に示した各種誤差補正
（ステップ１２，１４，１８）が実施された画像に基づ
き、ステップ２２及びステップ２４の処理を実施するこ
とにより生成された三次元画像を示している。これに対
し図１５は、従来のフォトメトリックステレオ法により
生成した三次元画像を示している。各図を比較すると、
図１５に示す従来のフォトメトリックステレオ法では、
皮膚表面の凹凸がなまされて丸く表現されてしまってお
り、実際の皮膚の凹凸の状態を正確に表現していないこ
とは明らかである。これに対し、図１４に示す本実施例
に係る三次元画像は、皮膚の凹凸形状が急峻に現れてお
り、実際の皮膚の凹凸の状態を忠実に表現していること
が判る。よって、上記した本実施例の方法を用いること
により、皮膚の状態を示す三次元画像を高精度に生成す
ることができる。

【００５９】尚、本実施例では、ステップ１４において
二次反射成分を除去する処理を実施する例を示したが、
この二次反射成分の影響は鏡面反射及び陰の影響に比べ
て低いため、これを除いた場合であっても従来に比べ精
度の高い三次元画像を得ることができる。また、本実施
例では、光源の数を３個としたが、光源の数はこれに限
定されるものではなく、４個以上配置する構成としても
よい。また、１個の光源を３６０°回転可能な構成とし
ても、上記した実施例と同様の効果を得ることができ
る。

【００６０】

【発明の効果】上述の如く本発明によれば、次に述べる
種々の効果を実現することができる。請求項１記載の発
明によれば、明度補正工程において、入力画像生成工程
で生成された複数の入力画像に対し明度値の補正を行な
うため、照明の光量差に起因した誤差が三次元画像に反
映されることを防止でき、よって精度の高い三次元画像
を生成することが可能となる。

【００６１】また、特異値分解工程においては、多数式
を容易に連立し処理することができる特異値分解を用い
ているたため、精度向上を図るために入力画像数を増大
させ、これに伴い連立させるべき式数が増大しても、効
率よく短時間で表面法線ベクトルを得ることが可能とな
る。誤差修正工程では、特異値分解工程で得られた結果
と、入力画像生成工程で得られた結果とを比較すること
により誤差要因を特定し、これに基づき誤差の原因に対
応した修正処理を行なうため、精度の高い皮膚状態の三
次元画像を得ることが可能となる。

【００６２】また、請求項２記載の発明によれば、鏡面
反射誤差修正工程及び影誤差修正工程を実施することに
より、実際に皮膚表面レプリカに存在する凹凸形状を忠
実に再現することができ、精度の高い三次元立体画像を
得ることができる。また、請求項３記載の発明によれ
ば、明度補正工程と特異値分解工程との間に多重反射成
分の影響による誤差を修正する多重反射成分誤差修正工
程を実施することにより、実際に皮膚表面レプリカに存
在する凹凸形状のみを忠実に再現することができ、精度
の高い三次元立体画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例である皮膚状態の三次元画像
生成方法を実施するのに用いる三次元画像生成装置を示
す図である。

【図２】三次元画像生成装置のレプリカ測定装置を拡大
して示す正面図である。

【図３】三次元画像生成装置のレプリカ測定装置を拡大
して示す平面図である。

【図４】レプリカ測定装置の基本構成図である。

【図５】本発明の一実施例である皮膚状態の三次元画像
生成処理を示すフローチャートである。

【図６】多重反射の影響を説明するための図である。

【図７】多重反射成分の除去処理を説明するための図で
ある。

【図８】鏡面反射の影響を説明するための図である。

【図９】影の影響を説明するための図である。

【図１０】鏡面反射成分の除去処理を説明するための図
である。

【図１１】影の除去処理を説明するための図である。

【図１２】三次元画像の再構成を説明するための図であ
る。

【図１３】ＣＣＤカメラで取り込まれた複数の画像の
内、回転角が０deg,１２０deg,２４０deg の各画像を示
す図である。

【図１４】図１３に示す各画像に対し各種誤差成分の除
去を行なった後の画像を示す図である。

【図１５】従来の三次元画像生成処理により生成された
三次元画像を示す図である。

【符号の説明】

１０ 三次元画像生成装置 １１ レプリカ測定装置 １２ 画像生成用コンピュータ １３ 駆動制御装置 １４ レプリカホルダー １６ ＣＣＤカメラ １７ レンズ系 １８ 第１の光源 １９ 第２の光源 ２０ 第３の光源 ２１ 回転テーブル ２５ 皮膚表面レプリカ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 元次 神奈川県横浜市金沢区福浦２丁目12番１号 株式会社資生堂第二リサーチセンター内 (72)発明者 小澤 慎治 神奈川県横浜市港北区日吉３−14−１ 慶 応義塾大学 理工学部内 (72)発明者 斎藤 英雄 神奈川県横浜市港北区日吉３−14−１ 慶 応義塾大学 理工学部内 (72)発明者 山田 剛 神奈川県横浜市港北区日吉３−14−１ 慶 応義塾大学 理工学部内 Ｆターム(参考） 2F065 AA53 CC00 CC16 FF04 HH12 JJ03 JJ09 JJ26 LL04 MM15 QQ31 5B057 AA07 BA15 CA08 CA12 CA16 CB08 CB13 CB16 CD14 CE17 CE20 DB02 DB09 DC22

Claims (3)

【特許請求の範囲】
1. 【請求項１】 光源から皮膚表面レプリカに対し照射方
   向の異なる光を順次照射すると共に、その反射光を撮像
   手段により撮像することにより、陰影の異なる複数の入
   力画像を生成する入力画像生成工程と、 前記入力画像生成工程において生成された前記皮膚表面
   レプリカの複数の前記入力画像に対し、明度値の補正を
   行なう明度補正工程と、 前記明度補正工程において明度補正が行なわれた前記入
   力画像に基づき、前記入力画像を構成する各画素単位
   で、該画素における表面法線ベクトルを求める特異値分
   解処理を行なう特異値分解工程と、 前記特異値分解工程で得られた前記表面法線ベクトルに
   対し、前記入力画像生成工程において発生する誤差の影
   響を修正する誤差修正工程と、 前記誤差修正工程を実施することにより誤差の影響が排
   除された前記表面法線ベクトルの解が収束したか否かを
   判断すると共に、前記解が収束した場合には、前記表面
   法線ベクトルに基づき前記皮膚表面レプリカの三次元距
   離画像の生成処理を行なう三次元再構成工程と、 前記三次元再構成工程で得られた三次元距離画像に基づ
   き、三次元立体画像を復元する復元画像生成工程と、を
   有することを特徴とする皮膚状態の三次元画像生成方
   法。
2. 【請求項２】 請求項１記載の皮膚状態の三次元画像生
   成方法において、 前記誤差修正工程は、 鏡面反射の影響による誤差を修正する鏡面反射誤差修正
   工程と、 陰の影響による誤差を修正する陰誤差修正工程とを含む
   ことを特徴とする皮膚状態の三次元画像生成方法。
3. 【請求項３】 請求項１または２記載の皮膚状態の三次
   元画像生成方法において、 前記明度補正工程と前記特異値分解工程との間に、多重
   反射成分の影響による誤差を修正する多重反射成分誤差
   修正工程を実施することを特徴とする皮膚状態の三次元
   画像生成方法。