JP2005293214A - 肌のシミュレーション画像形成方法 - Google Patents

Abstract

【課題】コンピュータを用いた画像処理により、肌の自然な質感や色を保持しつつシミ等の色ムラを増減させたシミュレーション画像を形成する。
【解決手段】被験者の肌について内部反射光画像と表面反射光画像を取得し、独立成分分析によりメラニン成分内部反射光画像とメラニン成分以外の内部反射光画像に分離し、メラニン成分内部反射光画像を、複数の空間周波数帯域に分解し、その複数の空間周波数帯域に分解したメラニン成分内部反射光画像に対して選択的にコントラストを変化させ、次いでそれら複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、メラニン成分修正内部反射光画像とメラニン成分以外の内部反射光画像を合成することにより合成内部反射光画像を形成し、合成内部反射光画像と表面反射光画像を合成することにより肌の色ムラを変化させ、シミュレーション画像を形成する。
【選択図】図１

Description

本発明は、肌のシミュレーション画像において、質感や肌色としての自然さを保持しつつ色むらを変化させる方法に関する。

基礎化粧やメイクアップにより毛穴、シミ等が目立たなくなった肌や、日焼け等によりシミができた肌の様子を画像として把握できるようにするため、肌のシミュレーション画像が形成される。

肌のシミュレーション画像の形成方法としては、種々の肌について基礎化粧で変わり得る測色値の変化をデータベース化し、そのデータベースに基づいて当該顧客の素肌の顔画像の測色値を画像処理で変化させる方法が提案されている（特許文献１）。

また、データベースの構築にあたり、肌の内部反射光のメラニン成分量とヘモグロビン成分量を使用する方法も提案されている（特許文献２）。

一方、コンピュータグラフィックス技術の進展に伴い、皮膚の層構造やそれに基づく反射特性等を考慮し、画像上に人肌を、従前よりも自然なテクスチャで再現することが可能となってきている。しかしながら、実際の肌に見られるシミやニキビ等の肌の空間的分布の再現は手作業で行われているのが実情である。即ち、肌のシミュレーション画像の形成において、肌のメラニン含量やヘモグロビン含量の情報に応じて、肌色を全体として褐色にする、あるいは明るくする等の色の調整は、コンピュータを用いた画像処理により自動的に行うことができるが、シミ等は、手作業で画像上に分布させなくてはならない。

特開２００２−２０３２３８号公報 特開２００２−２０００５０号公報

そこで、本発明は、コンピュータを用いた画像処理により、肌の自然な質感や色を保持しつつシミ等の色ムラを増減させたシミュレーション画像を形成できるようにすることを目的とする。

本発明者は、肌の内部反射光画像のうち、メラニン成分が寄与している画像を抽出し、それを複数の空間周波数に分解し、毛穴、シミ等の色ムラの大きさに応じて特定の周波数帯域の画像のコントラストを変化させ、再度画像を合成すると、シミュレーション画像上で肌の自然な質感や色を保持しつつ、毛穴、シミ等による色ムラを増減できることを見出した。

即ち、本発明は、被験者の肌について内部反射光画像と表面反射光画像を取得し、
内部反射光画像を独立成分分析によりメラニン成分内部反射光画像とメラニン成分以外の内部反射光画像に分離し、
メラニン成分内部反射光画像を複数の空間周波数帯域に分解し、
その複数の空間周波数帯域に分解したメラニン成分内部反射光画像に対して選択的にコントラストを変化させ、
次いでそれら複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、
メラニン成分修正内部反射光画像と前記メラニン成分以外の内部反射光画像を合成することにより合成内部反射光画像を形成し、
合成内部反射光画像と前記表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成方法を提供する。

また、本発明は、偏光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段、
画像形成手段により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段、及び
シミュレーション画像を表示するディスプレイ
を備えた肌のシミュレーション画像の形成システムであって、
演算手段が、
内部反射光画像を独立成分分析によりメラニン成分内部反射光画像とメラニン成分以外の内部反射光画像に分離し、
メラニン成分内部反射光画像を複数の空間周波数帯域に分解し、
複数の空間周波数帯域に分解したメラニン成分内部反射光画像に対して選択的にコントラストを変化させ、
次いで複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、
メラニン成分修正内部反射光画像と前記メラニン成分以外の内部反射光画像を合成することにより合成内部反射光画像を形成し、
合成内部反射光画像と前記表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成システムを提供する。

本発明によれば、特定の演算手段を組み込んだコンピュータの処理により、被験者の肌画像上で、その肌の質感や地肌の色の自然さを損なうことなく、毛穴、シミ等による色ムラを増減させたシミュレーション画像を形成することができる。

また、実際の肌において、毛穴、シミ等による色ムラには種々の大きさのものがあるが、本発明によれば、特定の大きさの色ムラを選択的に生成、増加あるいは消失させることができる。

したがって、本発明によれば、シミュレーション画像上に手作業で毛穴、シミ等を分布させることが不要となる。

以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

図１は、本発明の一態様の肌のシミュレーション画像形成システムと、そこで行われる肌のシミュレーション画像形成方法の工程図である。

このシステムは、偏光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段１、画像形成手段１により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段２、及びシミュレーション画像を表示するディスプレイ３からなっている。

画像形成手段１は、より具体的には、照明用の光源４、デジタルカメラ５、光源４とデジタルカメラ５の前面にそれぞれ着脱自在に設けられた偏光板６、７から構成することができる。

また、演算手段２としては、後述する画像処理機能を備えたパーソナルコンピュータを使用することができる。パーソナルコンピュータには、被験者の通常画像、内部反射光画像、表面反射光画像、シミュレーション画像等を適宜切り替え、あるいは同時に表示することのできるディスプレイ３を接続し、さらに、プリンタを接続してもよい。

このシステムにおいて、肌のシミュレーション画像の形成は、まず、被験者の素肌について、内部反射光画像と表面反射光画像を取得する。

内部反射光画像は、デジタルカメラ５の前面の偏光板７を、光源４の前面の偏光板６に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成することができる。なお、シミュレーション対象とする肌の部位に制限はなく、顔、腕、胸元等任意の部位とすることができる。また、画像を取得し、シミュレーション画像を形成する肌の領域は、画像形成領域の全域でもよく、一部でもよい。

表面反射光画像は、デジタルカメラ５の前面の偏光板７を、光源４の前面の偏光板６と偏光方向が同じになるように装着して得た画像と、偏光板７を偏光板６と偏光方向が直交するように装着して得た画像との差分から形成することができる。

なお、画像形成手段１では、参照用に、偏光板６、７を用いることなく撮影を行い、通常画像も取得することが好ましい。

次に、演算手段２により、内部反射光画像に対して独立成分分析を行い、内部反射光画像を、メラニン成分内部反射光画像とメラニン成分以外の内部反射光画像（具体的には、ヘモグロビン成分内部反射光画像と影成分内部反射光画像）に分離する。

ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。

より具体的には、画像信号のＲＧＢについて、−log(Ｒ)、−log(Ｇ)、−log(Ｂ)をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌の平坦部分の肌色をそこに色空間マッピングすると、図２（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図２（ｂ）に示すように、肌色は、メラニンの成分ベクトル（-log(Ｂ)に近い方）とヘモグロビンの成分ベクトル（-log(Ｇ)に近い方）の合成ベクトルであると考える。そこで、個々の被験者の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。但し、起伏や照明ムラのある場合には、あらかじめ取得した光源成分のベクトルの方向に沿って、メラニン、ヘモグロビン両ベクトルを含む平面上に射影して影成分を除去したメラニン、ヘモグロビン両成分量を得る。また、内部反射光画像からメラニン成分量の分布画像とヘモグロビン成分量の分布画像を差し引くことにより、影成分の内部反射光画像を得る。

このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、AdobePhotoshop）を搭載することにより行うことができる。

次に、メラニン成分内部反射光画像を複数の空間周波数帯域に分解する。

画像を複数の空間周波数帯域に分解する方法はサブバンド符号化という。サブバンド符号化は一枚の画像を複数の解像度を有する周波数成分に階層化し、それぞれの周波数成分ごとに独立の処理が適用でき、あるいは周波数成分を再合成する手法である（J.W.Woods, S.D.O'Neil, IEEE Transactions on Acoustics, Speech, and Signal Processing, ASSP-34, 1278-1288(1986)）。

サブバンド符号化には、画像ピラミッド法（D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS,p229-238(1995)）、ウェーブレット多重解像度解析法（新島耕一 ウェーブレット画像解析 科学技術出版）などがあるが、体系として完成されており、ソフトウエア等の入手も容易であるウェーブレット多重解像度解析法を例に取り上げる。ウェーブレット多重解像度解析でメラニン成分内部反射光画像を複数の空間周波数帯域に分解するにあたり、好ましい空間周波数帯域の区切り方は対象とする色ムラの大きさに応じて適宜定めることができるが、例えば、着目する肌の色ムラが、直径０．５ｍｍ程度の毛穴、直径数ｍｍ程度の細かいシミ、直径数ｍｍ〜十数ｍｍ程度の大きいシミの３種類であるならば、それぞれをシミュレーション画像上で増減させる場合に、最も細かい毛穴の大きさを充分再現できる高い解像度の画像を取得し、対象とする色ムラの画像上での大きさに対応して３つの帯域に分けることが好ましい。

こうしてウェーブレット多重解像度解析により分解した空間周波数帯域の異なる画像は、それぞれメラニン色素に由来する、異なる大きさの色ムラの情報を保持している。そこで、本発明では、肌のシミュレーション画像において増減させようとする色ムラの大小に応じて、特定の空間周波数帯域の画像のコントラストを選択的に変化させる。例えば、シミュレーション画像において、毛穴による色ムラを強調する場合には高周波数帯域の画像のコントラストを大きくし、低減させる場合にはコントラストを下げる。また、大きなシミによる色ムラを強調する場合には、低周波数帯域の画像のコントラストを大きくし、低減させる場合にはコントラストを下げる。

複数の空間周波数帯域のメラニン成分内部反射光画像に対し、選択的にコントラストを変化させた後は、複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、さらに、この画像とメラニン成分以外の内部反射光画像（具体的には、ヘモグロビン成分内部反射光画像と影成分内部反射光画像）を合成することにより合成内部反射光画像を形成し、合成内部反射光画像と表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する。

こうして得られた肌のシミュレーション画像は、元画像の肌の質感や肌の色を保持しつつ色ムラだけが増加あるいは減少した自然なテクスチャの画像となる。

これに対し、メラニン成分内部反射光画像を複数の空間周波数帯域に分離することなく、コントラストを変化させてシミュレーション画像を形成しても（即ち、メラニン成分内部反射光画像全体のコントラストを増減させ、他の成分画像と合成することにより合成内部反射光画像を形成し、さらに表面反射光画像を合成してシミュレーション画像を形成しても）、シミュレーション画像において、特定の大きさの毛穴やシミだけを増減させることができない。したがって、シミュレーション画像において狙いとするシミを増加させると、狙いとするシミ以外の色ムラ（毛穴等）も増加してしまう。また、内部反射光画像からメラニン成分内部反射光画像を分離することなく、内部反射光画像全体を複数の空間周波数帯域に分解し、それぞれの空間周波数帯域の画像の明度コントラストを選択的に増減させると、毛穴やシミ以外の鼻腔、睫毛等も大きさが増減し、自然なシミュレーション画像を得られない。さらに、内部反射光画像からメラニン成分内部反射光画像を分離せず、空間周波数の帯域分解も行わず、その画像の明度だけを変化させると、シミュレーション画像において、毛穴やシミだけを変化させることができない。これらが変化する場合には、鼻腔や睫毛等も変化し、元画像とかけ離れた不自然な肌となる。

本発明により形成した肌のシミュレーション画像の利用方法としては、例えば、特定の化粧品と、その使用により変化し得る毛穴やシミの目立ち程度についてデータベースを構築し、あるいは特定の化粧品の継続使用日数とその場合の毛穴やシミの目立ち程度の変化についてデータベースを構築し、これらのデータベースに基づいて、被験者に対し、特定の化粧品を使用した場合の肌のシミュレーション画像を提示し、その化粧品を推奨するといった化粧品の推奨、販売などをあげることができる。

実施例１
被験者の頬部分をデジタルカメラに偏光板を用いて撮影し、内部反射光画像と表面反射光画像を取得し、内部反射光画像について、独立成分分析をすることによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像を得、メラニン成分内部反射光画像を、ウェーブレット多重解像度解析により解像度の異なる９つの階層に分解した。本実施例の撮影条件では、この９階層中、高周波側から第３〜第４階層の画像、第４〜第５階層の画像、第６〜第７階層の画像が、それぞれ径０．７〜１．５ｍｍの色ムラ（毛穴等）、径１．５〜３．０ｍｍの色ムラ（細かいシミ等）、径６〜１２ｍｍの色ムラ（大きいシミ等）に対応した。

このうち中間周波帯域画像（第４〜第５階層の画像）のコントラストを１００％上げた（２倍）場合と、１００％下げた（０倍）場合のそれぞれについて、コントラストを変化させた帯域の画像と残りの帯域の画像とを合成してメラニン成分修正内部反射光画像を形成し、さらにこれとヘモグロビン成分内部反射光画像と影成分内部反射光画像とを合成して合成内部反射光画像を形成し、さらにこれと表面反射光画像を合成することにより２種のシミュレーション画像を形成した。元画像と得られたシミュレーション画像を図３Ａ〜図３Ｅに示す。

このシミュレーション画像では、元画像の質感や地肌の色を保持しつつ、狙いとするシミによる色ムラだけを増減させることができた。

比較例１
メラニン成分内部反射光画像について、３つの空間周波数帯域に分解することなく、コントラストを１００％上げ、又は１００％下げたものをメラニン成分修正内部反射光画像とし、他は実施例１と同様にして２種のシミュレーション画像を形成した。得られたシミュレーション画像を図３Ｃに示す。

このシミュレーション画像では、狙いとするシミ以外に、毛穴等の色ムラも増減した。

比較例２
内部反射光画像を、メラニン成分内部反射光画像、ヘモグロビン成分内部反射光画像、影成分内部反射光画像に分離することなく、３つの空間周波数帯域の画像に分解し、このうちの中間周波帯域画像（中間解像度画像）の明度コントラストを１００％上げ、又は１００％下げたものをメラニン成分修正内部反射光画像とし、他は実施例１と同様にして２種のシミュレーション画像を形成した。得られたシミュレーション画像を図３Ｄに示す。

このシミュレーション画像では、毛穴やシミの他に、睫毛や鼻腔の輪郭のコントラストも増減し、元画像に対して不自然な画像となった。

比較例３
内部反射光画像を、メラニン成分内部反射光画像、ヘモグロビン成分内部反射光画像、影成分内部反射光画像に分離することなく、また、３つの空間周波数帯域に分解もせず、明度コントラストを１００％上げ、又は１００％下げたものを合成内部反射光画像とし、他は実施例１と同様にして２種のシミュレーション画像を形成した。得られたシミュレーション画像を図３Ｅに示す。

このシミュレーション画像では、比較例２のシミュレーション画像よりもさらに目や鼻の輪郭が強調あるいはぼやけていた。

実施例２
被験者の頬部分を撮影して内部反射光画像と表面反射光画像を取得し、内部反射光画像について、独立成分分析をすることによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像を得、実施例１と同様に、メラニン成分内部反射光画像をウェーブレット多重解像度解析により解像度の異なる９つの階層に分解し、この９階層から高周波帯域画像（高解像度画像）、中間周波帯域画像（中間解像度画像）、低周波帯域画像（低解像度画像）を選択した。

図４に元画像を示す。図示したように、この元画像には、０．７〜１．５ｍｍの毛穴による色ムラＡ、径１．５〜３．０ｍｍの細かいシミによる色ムラＢ、径６〜１２ｍｍの大きいシミによる色ムラＣがあり、それぞれ上述の高周波帯域画像、中間周波帯域画像、低周波帯域画像に対応する。

高周波帯域画像のコントラストを１００％上げた場合、１００％下げた場合、中間周波帯域画像のコントラストを１００％上げた場合、１００％下げた場合、低周波帯域画像のコントラストを１００％上げた場合、１００％下げた場合の合計６通りについて、コントラストを変化させた帯域の画像と残りの帯域の画像とを合成してメラニン成分修正内部反射光画像を形成し、さらにこれとヘモグロビン成分内部反射光画像と影成分内部反射光画像とを合成して合成内部反射光画像を形成し、さらにこれと表面反射光画像を合成することにより６種類のシミュレーション画像を形成した。

６名の美容専門員に、高周波数帯域のコントラストを上下させた場合の各シミュレーション画像と元画像を毛穴Ａの目立ち具合について比較させ、次のようにスコアづけし、コントラストを上げた画像のスコアと下げた画像のスコアとの差について６名の平均値を求め、それを「ムラ目立ち変化量」とした。この「ムラ目立ち変化量」は、数値の大きい程、コントラストを上げた場合と下げた場合の色ムラの目立ち具合に大きな差異のあることを表している。

スコア５ 元画像に対してシミュレーション画像の色ムラが著しく目立つ場合
スコア４ 元画像に対してシミュレーション画像の色ムラが目立つ場合
スコア３ 元画像とシミュレーション画像の色ムラの目立ち具合が等しい場合
スコア２ 元画像に対してシミュレーション画像の色ムラが目立たない場合
スコア１ 元画像に対してシミュレーション画像の色ムラが著しく目立たない場合
同様に、細かいシミＢ、大きいシミＣについても、高周波数帯域のコントラストを上下させた場合の各シミュレーション画像と元画像との「ムラ目立ち変化量」を求めた。結果を図５（ａ）に示す。

また、中間周波帯域、低周波帯域のコントラストを上下させた場合の各シミュレーション画像と元画像との「ムラ目立ち変化量」を、毛穴Ａ、細かいシミＢ、大きいシミＣについて求めた。結果を図５（ｂ）、（ｃ）に示す。

これらの図から、高周波帯域の画像のコントラストを上下させることにより、毛穴Ａの目立ち具合が大きく変化し、中間周波帯域の画像のコントラストを上下させることにより、細かいシミＢの目立ち具合が大きく変化し、低周波帯域の画像のコントラストを上下させることにより、大きいシミＣの目立ち具合が大きく変化することがわかる。

本発明は、化粧品の推奨、販売など、肌のシミュレーション画像を形成する種々の分野で有用となる。

肌のシミュレーション画像形成方法の工程図である。 独立成分分析の説明図である。 実施例１で撮影した元画像である。 実施例１で得られたシミュレーション画像である。 比較例１で得られたシミュレーション画像である。 比較例２で得られたシミュレーション画像である。 比較例３で得られたシミュレーション画像である。 実施例２で撮影した元画像である。 特定の空間周波数帯域画像のコントラストを上下させたシミュレーション画像における、ムラ目立ち変化量とムラの大きさとの関係図である。

符号の説明

１ 画像形成手段
２ 演算手段
３ ディスプレイ
４ 光源
５ デジタルカメラ
６、７ 偏光板

Claims (5)

1. 被験者の肌について内部反射光画像と表面反射光画像を取得し、
   内部反射光画像を独立成分分析によりメラニン成分内部反射光画像とメラニン成分以外の内部反射光画像に分離し、
   メラニン成分内部反射光画像を複数の空間周波数帯域に分解し、
   その複数の空間周波数帯域に分解したメラニン成分内部反射光画像に対して選択的にコントラストを変化させ、
   次いでそれら複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、
   メラニン成分修正内部反射光画像と前記メラニン成分以外の内部反射光画像を合成することにより合成内部反射光画像を形成し、
   合成内部反射光画像と前記表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成方法。
2. メラニン成分内部反射光画像を複数の空間周波数帯域に分解する方法が、ウェーブレット多重解像度解析である請求項１記載の肌のシミュレーション画像形成方法。
3. 変化させる色ムラの大小に応じて、コントラストを変化させる周波数帯域を選択する請求項１又は２記載の肌のシミュレーション画像形成方法。
4. 高周波数帯域のメラニン成分内部反射光画像のコントラストを変化させることによりシミュレーション画像における毛穴の色ムラを変化させ、低周波数帯域のメラニン成分内部反射光画像のコントラストを変化させることによりシミュレーション画像における毛穴より大きいシミの色ムラを変化させる請求項３記載の肌のシミュレーション画像形成方法。
5. 偏光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段、
   画像形成手段により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段、及び
   シミュレーション画像を表示するディスプレイ
   を備えた肌のシミュレーション画像形成システムであって、
   演算手段が、
   内部反射光画像を独立成分分析によりメラニン成分内部反射光画像とメラニン成分以外の内部反射光画像に分離し、
   メラニン成分内部反射光画像を複数の空間周波数帯域に分解し、
   その複数の空間周波数帯域に分解したメラニン成分内部反射光画像に対して選択的にコントラストを変化させ、
   次いでそれら複数の空間周波数帯域のメラニン成分内部反射光画像を合成してメラニン成分修正内部反射光画像を形成し、
   メラニン成分修正内部反射光画像と前記メラニン成分以外の内部反射光画像を合成することにより合成内部反射光画像を形成し、
   合成内部反射光画像と前記表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成システム。

Images