JP2004283357A - 肌のシミュレーション画像の形成方法 - Google Patents
肌のシミュレーション画像の形成方法 Download PDFInfo
- Publication number
- JP2004283357A JP2004283357A JP2003078791A JP2003078791A JP2004283357A JP 2004283357 A JP2004283357 A JP 2004283357A JP 2003078791 A JP2003078791 A JP 2003078791A JP 2003078791 A JP2003078791 A JP 2003078791A JP 2004283357 A JP2004283357 A JP 2004283357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin
- component
- histogram
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】色ズレを生じさせることなく、より自然なテクスチャを有する肌のシミュレーション画像を形成する。
【解決手段】偏光を用いて被験者の肌の内部反射光画像を形成し、該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する。
【選択図】 図１
【解決手段】偏光を用いて被験者の肌の内部反射光画像を形成し、該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、肌のテクスチャの解析方法、及びその解析方法を用いた肌のシミュレーション画像の形成方法とそのためのシステムに関する。
【０００２】
【従来の技術】
人の肌色は、メラニンの含量とヘモグロビンの含量によって左右されることが知られている。例えば、褐色の肌はメラニン含量が多く、白い肌はヘモグロビン含量が少ない。血色のよい肌はヘモグロビン、特に、酸素分圧の高いヘモグロビン含量が多く、血色の悪い肌はヘモグロビン含量が少ない。また、シミやニキビの見え方には、局所的なメラニン含量やヘモグロビン含量が影響している。
【０００３】
肌色に寄与するメラニン成分とヘモグロビン成分の計測方法としては、皮膚の反射光の分光画像データとして、偏光を用いて皮膚の内部反射光成分を検出し、その内部反射光成分に対して成分分析を行い、肌色におけるメラニン成分量とヘモグロビン成分量を求める方法が提案されている（特許文献１参照）。
【０００４】
一方、コンピュータグラフィック技術の進展に伴い、皮膚の層構造やそれに基づく反射特性等を考慮し、画像上に人肌を、従前よりも自然なテクスチャで再現することが可能となってきている。
【０００５】
しかしながら、実際の肌に見られるシミやニキビ等の肌の空間的分布の再現は手作業で行われているのが実情である。即ち、肌のシミュレーション画像の形成において、肌のメラニン含量やヘモグロビン含量の情報に応じて、肌色を全体として褐色にする、あるいは明るくする等の色の調整は、コンピュータを用いた画像処理により自動的に行うことができるが、シミ等は、手作業で画像上に分布させなくてはならない。
【０００６】
【特許文献１】特開２００２−２０００５０号公報
【０００７】
【発明が解決しようとする課題】
そこで、本発明は、より自然な印象を与えるテクスチャの肌の画像を形成するために有用な肌の画像の解析方法、及びより自然な印象を与えるテクスチャを有する肌のシミュレーション画像の形成方法とそのために用いるシステムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明者は、偏光を用いて形成した肌の内部反射光画像に対して独立成分分析を行うことにより、メラニン、ヘモグロビン等の肌の色素成分の分離画像を形成し、この色素成分画像に画像ピラミッド法を適用することにより空間周波数の異なる複数階層の画像を得、各階層の画像ごとに画素強度のヒストグラムを得ると、このヒストグラムの分布が肌のテクスチャの有効なパラメータとなること、さらに、特定の目標肌についてこのヒストグラムを得ておき、被験者の画像のヒストグラムを目標肌のヒストグラムにマッチングさせ、各階層の画像を再合成することにより、被験者の画像のテクスチャを、全体として色ずれを生じさせることなく、目標肌のテクスチャに近づけたシミュレーション画像を形成できることを見出した。
【０００９】
即ち、本発明は、偏光を用いて肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得る肌のテクスチャの解析方法を提供する。
【００１０】
また、本発明は、上述の解析方法を用いた肌のシミュレーション画像の形成方法として、
偏光を用いて被験者の肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得、
該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する方法を提供する。
【００１１】
さらに、本発明は、このシミュレーション画像を形成するシステムとして、偏光を用いて肌の内部反射光画像を形成することのできる画像形成手段、
内部反射光画像の色を独立成分分析することにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する演算手段、及び
該シミュレーション画像を表示するディスプレイを備えた肌のシミュレーション画像の形成システムを提供する。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。
【００１３】
図１は、本発明の肌のシミュレーション画像の形成方法の一態様の工程図であり、図２はそのシミュレーション画像を形成する本発明の一態様のシステムの模式図である。図１には、本発明の肌のテクスチャの解析方法が含まれ、図２は当該肌のテクスチャの解析に用いられるシステムでもある。
【００１４】
このシステムは、被験者Ｐを照明する光源１、被験者Ｐの画像を撮影するデジタルカメラ４、光源１とデジタルカメラ４の前面にそれぞれ着脱自在に設けられた偏光板２、３、後述する種々の演算機能を備えたパーソナルコンピュータ５、パーソナルコンピュータ５に接続され、被験者Ｐの肌の通常画像、内部反射光画像、表面反射光画像、シミュレーション画像等を切り替え、あるいは同時に表示することのできるディスプレイ６、及びプリンタ７を備えている。
【００１５】
このシステムにおいて、シミュレーション画像の形成は、まず、被験者Ｐの顔画像の内部反射光画像を、偏光板２、３とデジタルカメラ４を用いて形成する。ここに、内部反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成する。この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源１は、被験者Ｐの顔をその全周囲方向から照明するように複数（例えば、上下左右４方向から）配置することが好ましい。
【００１６】
なお、内部反射光画像とあわせて、表面反射光画像を得ておけば、シミュレーションにより得られる内部反射光画像と該表面反射光画像とを再合成することにより、より自然なシミュレーション画像を取得することができる。ここに、表面反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２と偏光方向が同じになるように装着して得た画像と、偏光板３を偏光板２と偏光方向が直交するように装着して得た画像との差分から形成することが好ましい。なお、陰影を強調した表面反射光画像を得るため、光源１としては、被験者Ｐの顔を一方向から（例えば、顔の上方のみから）照明するものが好ましい。
【００１７】
また、参考用に、偏光板２、３を用いることなく撮影を行い、通常画像をも得ておくことが好ましい。
【００１８】
次に、パーソナルコンピュータ５に組み込まれた演算手段により、内部反射光画像に対して独立成分分析を行い、肌色を構成するメラニン成分とヘモグロビン成分の成分画像を抽出する。
【００１９】
ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。
【００２０】
より具体的には、画像信号のＲＧＢについて、−ｌｏｇ（Ｒ）、−ｌｏｇ（Ｇ）、−ｌｏｇ（Ｂ）をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌色をそこに色空間マッピングすると図３（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図３（ｂ）に示すように、肌色は、メラニンの成分ベクトル（−ｌｏｇ（Ｂ）に近い方）とヘモグロビンの成分ベクトル（−ｌｏｇ（Ｇ）に近い方）の合成ベクトルであると考える。そこで、個々の被験者の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。
【００２１】
このような解析処理と画像処理の詳細はＶｏｌ． １６， Ｎｏ． ９／ Ｓｅｐｔｅｍｂｅｒ １９９９／ Ｊ． Ｏｐｔ． Ｓｏｃ． Ａｍ． Ａ ２１６９に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、ＡｄｏｂｅＰｈｏｔｏｓｈｏｐ）を搭載することにより行うことができる。
【００２２】
次に、内部反射光画像から抽出した各色素成分画像に対し、画像ピラミッド法を適用することにより、空間周波数の異なる複数の階層の画像を形成する（Ｄ．Ｊ．Ｈｅｅｇｅｒ， Ｊ．Ｒ．Ｂｅｒｇｅｎ， ＣＯＭＰＵＴＥＲ ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＥＤＩＮＧＳ，ｐ２２９−２３８（１９９５）。
【００２３】
画像ピラミッド法は、サブバンド変換の一種で、高解像度から低解像度までの解像度の異なる複数のサブバンドの集合に画像を分解し、それぞれのサブバンドを他のサブバンドと独立的に処理し、あるいは分解したサブバンドを再合成する手法である。画像ピラミッドには、ガウシアンピラミッド、ラプラシアンピラミッド、スティーラブルピラミッド等、その基底関数によって様々な種類があるが、本発明においては、シミ等の肌の色素分布に方向性がないと考えられるため、等方的な周波数情報を保持するラプラシアンピラミッドを用いることが好ましい。
【００２４】
画像ピラミッド法により得られた複数階層の画像は、テクスチャ構造の識別に関する空間周波数情報を保持している。そこで、本発明においては、被験者の色素成分画像の複数階層の画像のヒストグラム（画素強度を横軸とし、任意の画素強度区間について、その区間に該当する画素数を総画素数で割った確率を縦軸にとったもの）の分布を、肌のテクスチャの評価パラメータとして用いる。例えば、メラニン成分画像に画像ピラミッド法を適用して得られるヒストグラムの分布が、図４（ａ）に示すように広がっている場合は、同図（ｂ）に示すように狭まっている場合に比して、色ムラが大きいことを意味し、また、同図（ｃ）に示すように、ヒストグラムのピークが画素強度の大きい方にシフトしている場合は、同図（ｄ）に示すように、ヒストグラムのピークが画素強度の小さい方にシフトしている場合に比して、画像中のメラニン色素成分の色が淡いことを意味する。
【００２５】
このようなヒストグラムは、画像ピラミッド法により得た各階層の画像について得るが、その場合の階層数は、少なすぎると解析の精度が不十分であり、多すぎると計算時間が長くなるため、３〜７とすることが好ましい。
【００２６】
また、本発明においては、画像ピラミッドの各階層の画像について、このヒストグラムを、特定のテクスチャの目標画像のヒストグラムとマッチング（近似化処理）させ、各階層の画像を再合成する。これにより、被験者の画像に色ずれを生じさせることなく、テクスチャだけを、目標画像のテクスチャに近づけたシミュレーション画像を形成することが可能となる。
【００２７】
より具体的には、ヒストグラムのマッチングは、まず、被験者の画像のヒストグラムの確率を累積した累積分布関数（画素強度ｖｓ確率）と、特定のテクスチャの目標画像の逆累積分布関数（確率ｖｓ画素強度）を求め、これらを用いて被験者の画像の画素値を目標画像の画素値で置き換えるという処理を全ての画素で繰り返すことによって行う。例えば、図５（ａ）に示すように、被験者の画像の累積分布関数と、同図（ｂ）に示すように、目標画像の累積分布関数と、同図（ｃ）に示すように目標画像の逆累積分布関数を求める。そして、同図（ａ）から被験者の画像の画素強度３０の画素は、その累積分布関数から確率０．３２であると算出し、次に逆累積分布関数により、確率０．３２の画素強度２０を算出し、被験者の画像の画素値と置き換える。このような処理を全ての画素で行う。
【００２８】
本発明のシミュレーション画像の形成方法において、画像ピラミッド法の適用及びそれに続くヒストグラムのマッチングは、少なくとも、メラニン色素の成分画像とヘモグロビン色素の成分画像の双方について行うことが好ましい。
【００２９】
ヒストグラムのマッチング後、各階層の画像を低階層から順次に１階層上の画像に加えていくことにより再合成し、再合成メラニン画像と再合成ヘモグロビン画像をそれぞれ取得し、次にこれらを合成することにより、内部反射光画像のシミュレーション画像を得ることができる。さらに、こうして得られた内部反射光画像のシミュレーション画像と前述の被験者の表面反射光画像とを再合成することにより、偏光を用いないで撮った通常の画像に対して、テクスチャを目標画像に近づけたより自然なシミュレーション画像を得ることができる。
【００３０】
以上のようなシミュレーション画像の形成において、マッチング（近似化処理）の対象とする目標画像は、特定の人物のものであってもよいし、複数人の平均顔画像を仮想モデルとして用いてもよい。また、予め、種々の画像について、テクスチャの主観的評価（若々しい張りがある、シミが少ない、滑らか等）とそのヒストグラムとを対応させたデータベースを構築しておき、被験者が望む主観的評価を明示すると、データーベースを用いて、その主観的評価に対応したテクスチャの画像が選択されるようにしてもよい。
【００３１】
本発明の肌のテクスチャの解析方法は、例えば、日焼けの程度、あるいは日焼けした肌の元の肌への戻り具合、シミに対する美白化粧料の効果、ファンデーションの塗布による肌のテクスチャの変化等の評価に用いることができる。また、本発明の肌のシミュレーション画像の形成方法は、画像に色ずれを生じさせることなく、皮膚のテクスチャの変化を見るために有用なものとなる。例えば、シミの多い中年の肌からシミ以外の部分の色味を変えることなく、シミを少なく、小さくあるいはシミの色を薄くした、滑らかな張りのある若者のシミュレーション画像を形成できる。
【００３２】
【実施例】
実施例１
５０代と２０代の女性をそれぞれ被験者とし、偏光を用いてそれぞれの肌の内部反射光画像を求め、この画像に独立成分分析をすることにより、メラニン成分画像とヘモグロビン成分画像を求め、さらにこれらについてそれぞれラプラシアンピラミッド法を適用することにより５階層の画像を求め、各階層についてヒストグラムを求めた。そして５０代の女性の各階層のヒストグラムを、２０代の女性の対応する階層のヒストグラムとマッチングさせ、マッチング後の各階層のヒストグラムを用いて５０代の女性のメラニン成分画像とヘモグロビン成分画像をそれぞれ再合成し、さらにこれらを合成した。図６に、メラニン成分画像について、５０代の女性の５階層のヒストグラムと、２０代の女性の５階層のヒストグラムと、マッチングを行った５階層の画像のヒストグラムを示す。
【００３３】
ラプラシアンピラミッド法によって５階層の画像を形成することに代えて２階層の画像を形成した以外は上述の手法を繰り返し、合成画像を得た。
【００３４】
５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像、５階層の画像の再合成により得た合成画像、２階層の画像の再合成により得た合成画像について、肌の自然さとシミの目立ち方を目視観察した。結果を表１に示す。また、５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像と５階層の再合成画像を用いた合成画像を図７に示す。
【００３５】
【表１】
【００３６】
表１及び図７から、５階層の再合成画像も２階層の再合成画像も、自然なテクスチャを有し、色ズレもなかったことから、本発明によれは、自然なテクスチャの肌画像を形成できることがわかる。さらに、５階層の再合成画像は２階層の再合成画像よりもシミが少なく、２０代の女性の当初の画像と同様のテクスチャとなっていたことから、５階層の再合成画像は、５０代の女性の画像からシミを目立たなくしたシミュレーション画像となることがわかる。
【００３７】
【発明の効果】
本発明によれば、より自然なテクスチャの肌の画像を形成するために有用な画像の解析方法が提供され、また、色ズレを生じさせることなく、より自然なテクスチャを有する肌のシミュレーション画像を形成することが可能となる。したがって、例えば、シミを大きく、濃く、あるいは小さく、薄くしたり、色ムラのパターンを自然に変化させることが可能となる。
【図面の簡単な説明】
【図１】肌のシミュレーション画像の形成方法の工程図である。
【図２】肌のシミュレーション画像の形成システムの模式図である。
【図３】独立成分分析の説明図である。
【図４】ヒストグラムの説明図である。
【図５】ヒストグラムのマッチングの説明図である。
【図６】実施例で形成した５０代女性と２０代女性と再合成画像のヒストグラムである。
【図７】５０代の女性と２０代の女性のそれぞれの内部反射光画像と５階層の再合成画像である。
【符号の説明】
１ 光源
２、３ 偏光板
４ デジタルカメラ
５ パーソナルコンピュータ
６ ディスプレイ
７ プリンタ
Ｐ 被験者
【発明の属する技術分野】
本発明は、肌のテクスチャの解析方法、及びその解析方法を用いた肌のシミュレーション画像の形成方法とそのためのシステムに関する。
【０００２】
【従来の技術】
人の肌色は、メラニンの含量とヘモグロビンの含量によって左右されることが知られている。例えば、褐色の肌はメラニン含量が多く、白い肌はヘモグロビン含量が少ない。血色のよい肌はヘモグロビン、特に、酸素分圧の高いヘモグロビン含量が多く、血色の悪い肌はヘモグロビン含量が少ない。また、シミやニキビの見え方には、局所的なメラニン含量やヘモグロビン含量が影響している。
【０００３】
肌色に寄与するメラニン成分とヘモグロビン成分の計測方法としては、皮膚の反射光の分光画像データとして、偏光を用いて皮膚の内部反射光成分を検出し、その内部反射光成分に対して成分分析を行い、肌色におけるメラニン成分量とヘモグロビン成分量を求める方法が提案されている（特許文献１参照）。
【０００４】
一方、コンピュータグラフィック技術の進展に伴い、皮膚の層構造やそれに基づく反射特性等を考慮し、画像上に人肌を、従前よりも自然なテクスチャで再現することが可能となってきている。
【０００５】
しかしながら、実際の肌に見られるシミやニキビ等の肌の空間的分布の再現は手作業で行われているのが実情である。即ち、肌のシミュレーション画像の形成において、肌のメラニン含量やヘモグロビン含量の情報に応じて、肌色を全体として褐色にする、あるいは明るくする等の色の調整は、コンピュータを用いた画像処理により自動的に行うことができるが、シミ等は、手作業で画像上に分布させなくてはならない。
【０００６】
【特許文献１】特開２００２−２０００５０号公報
【０００７】
【発明が解決しようとする課題】
そこで、本発明は、より自然な印象を与えるテクスチャの肌の画像を形成するために有用な肌の画像の解析方法、及びより自然な印象を与えるテクスチャを有する肌のシミュレーション画像の形成方法とそのために用いるシステムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明者は、偏光を用いて形成した肌の内部反射光画像に対して独立成分分析を行うことにより、メラニン、ヘモグロビン等の肌の色素成分の分離画像を形成し、この色素成分画像に画像ピラミッド法を適用することにより空間周波数の異なる複数階層の画像を得、各階層の画像ごとに画素強度のヒストグラムを得ると、このヒストグラムの分布が肌のテクスチャの有効なパラメータとなること、さらに、特定の目標肌についてこのヒストグラムを得ておき、被験者の画像のヒストグラムを目標肌のヒストグラムにマッチングさせ、各階層の画像を再合成することにより、被験者の画像のテクスチャを、全体として色ずれを生じさせることなく、目標肌のテクスチャに近づけたシミュレーション画像を形成できることを見出した。
【０００９】
即ち、本発明は、偏光を用いて肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得る肌のテクスチャの解析方法を提供する。
【００１０】
また、本発明は、上述の解析方法を用いた肌のシミュレーション画像の形成方法として、
偏光を用いて被験者の肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得、
該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する方法を提供する。
【００１１】
さらに、本発明は、このシミュレーション画像を形成するシステムとして、偏光を用いて肌の内部反射光画像を形成することのできる画像形成手段、
内部反射光画像の色を独立成分分析することにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する演算手段、及び
該シミュレーション画像を表示するディスプレイを備えた肌のシミュレーション画像の形成システムを提供する。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。
【００１３】
図１は、本発明の肌のシミュレーション画像の形成方法の一態様の工程図であり、図２はそのシミュレーション画像を形成する本発明の一態様のシステムの模式図である。図１には、本発明の肌のテクスチャの解析方法が含まれ、図２は当該肌のテクスチャの解析に用いられるシステムでもある。
【００１４】
このシステムは、被験者Ｐを照明する光源１、被験者Ｐの画像を撮影するデジタルカメラ４、光源１とデジタルカメラ４の前面にそれぞれ着脱自在に設けられた偏光板２、３、後述する種々の演算機能を備えたパーソナルコンピュータ５、パーソナルコンピュータ５に接続され、被験者Ｐの肌の通常画像、内部反射光画像、表面反射光画像、シミュレーション画像等を切り替え、あるいは同時に表示することのできるディスプレイ６、及びプリンタ７を備えている。
【００１５】
このシステムにおいて、シミュレーション画像の形成は、まず、被験者Ｐの顔画像の内部反射光画像を、偏光板２、３とデジタルカメラ４を用いて形成する。ここに、内部反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成する。この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源１は、被験者Ｐの顔をその全周囲方向から照明するように複数（例えば、上下左右４方向から）配置することが好ましい。
【００１６】
なお、内部反射光画像とあわせて、表面反射光画像を得ておけば、シミュレーションにより得られる内部反射光画像と該表面反射光画像とを再合成することにより、より自然なシミュレーション画像を取得することができる。ここに、表面反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２と偏光方向が同じになるように装着して得た画像と、偏光板３を偏光板２と偏光方向が直交するように装着して得た画像との差分から形成することが好ましい。なお、陰影を強調した表面反射光画像を得るため、光源１としては、被験者Ｐの顔を一方向から（例えば、顔の上方のみから）照明するものが好ましい。
【００１７】
また、参考用に、偏光板２、３を用いることなく撮影を行い、通常画像をも得ておくことが好ましい。
【００１８】
次に、パーソナルコンピュータ５に組み込まれた演算手段により、内部反射光画像に対して独立成分分析を行い、肌色を構成するメラニン成分とヘモグロビン成分の成分画像を抽出する。
【００１９】
ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。
【００２０】
より具体的には、画像信号のＲＧＢについて、−ｌｏｇ（Ｒ）、−ｌｏｇ（Ｇ）、−ｌｏｇ（Ｂ）をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌色をそこに色空間マッピングすると図３（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図３（ｂ）に示すように、肌色は、メラニンの成分ベクトル（−ｌｏｇ（Ｂ）に近い方）とヘモグロビンの成分ベクトル（−ｌｏｇ（Ｇ）に近い方）の合成ベクトルであると考える。そこで、個々の被験者の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。
【００２１】
このような解析処理と画像処理の詳細はＶｏｌ． １６， Ｎｏ． ９／ Ｓｅｐｔｅｍｂｅｒ １９９９／ Ｊ． Ｏｐｔ． Ｓｏｃ． Ａｍ． Ａ ２１６９に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、ＡｄｏｂｅＰｈｏｔｏｓｈｏｐ）を搭載することにより行うことができる。
【００２２】
次に、内部反射光画像から抽出した各色素成分画像に対し、画像ピラミッド法を適用することにより、空間周波数の異なる複数の階層の画像を形成する（Ｄ．Ｊ．Ｈｅｅｇｅｒ， Ｊ．Ｒ．Ｂｅｒｇｅｎ， ＣＯＭＰＵＴＥＲ ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＥＤＩＮＧＳ，ｐ２２９−２３８（１９９５）。
【００２３】
画像ピラミッド法は、サブバンド変換の一種で、高解像度から低解像度までの解像度の異なる複数のサブバンドの集合に画像を分解し、それぞれのサブバンドを他のサブバンドと独立的に処理し、あるいは分解したサブバンドを再合成する手法である。画像ピラミッドには、ガウシアンピラミッド、ラプラシアンピラミッド、スティーラブルピラミッド等、その基底関数によって様々な種類があるが、本発明においては、シミ等の肌の色素分布に方向性がないと考えられるため、等方的な周波数情報を保持するラプラシアンピラミッドを用いることが好ましい。
【００２４】
画像ピラミッド法により得られた複数階層の画像は、テクスチャ構造の識別に関する空間周波数情報を保持している。そこで、本発明においては、被験者の色素成分画像の複数階層の画像のヒストグラム（画素強度を横軸とし、任意の画素強度区間について、その区間に該当する画素数を総画素数で割った確率を縦軸にとったもの）の分布を、肌のテクスチャの評価パラメータとして用いる。例えば、メラニン成分画像に画像ピラミッド法を適用して得られるヒストグラムの分布が、図４（ａ）に示すように広がっている場合は、同図（ｂ）に示すように狭まっている場合に比して、色ムラが大きいことを意味し、また、同図（ｃ）に示すように、ヒストグラムのピークが画素強度の大きい方にシフトしている場合は、同図（ｄ）に示すように、ヒストグラムのピークが画素強度の小さい方にシフトしている場合に比して、画像中のメラニン色素成分の色が淡いことを意味する。
【００２５】
このようなヒストグラムは、画像ピラミッド法により得た各階層の画像について得るが、その場合の階層数は、少なすぎると解析の精度が不十分であり、多すぎると計算時間が長くなるため、３〜７とすることが好ましい。
【００２６】
また、本発明においては、画像ピラミッドの各階層の画像について、このヒストグラムを、特定のテクスチャの目標画像のヒストグラムとマッチング（近似化処理）させ、各階層の画像を再合成する。これにより、被験者の画像に色ずれを生じさせることなく、テクスチャだけを、目標画像のテクスチャに近づけたシミュレーション画像を形成することが可能となる。
【００２７】
より具体的には、ヒストグラムのマッチングは、まず、被験者の画像のヒストグラムの確率を累積した累積分布関数（画素強度ｖｓ確率）と、特定のテクスチャの目標画像の逆累積分布関数（確率ｖｓ画素強度）を求め、これらを用いて被験者の画像の画素値を目標画像の画素値で置き換えるという処理を全ての画素で繰り返すことによって行う。例えば、図５（ａ）に示すように、被験者の画像の累積分布関数と、同図（ｂ）に示すように、目標画像の累積分布関数と、同図（ｃ）に示すように目標画像の逆累積分布関数を求める。そして、同図（ａ）から被験者の画像の画素強度３０の画素は、その累積分布関数から確率０．３２であると算出し、次に逆累積分布関数により、確率０．３２の画素強度２０を算出し、被験者の画像の画素値と置き換える。このような処理を全ての画素で行う。
【００２８】
本発明のシミュレーション画像の形成方法において、画像ピラミッド法の適用及びそれに続くヒストグラムのマッチングは、少なくとも、メラニン色素の成分画像とヘモグロビン色素の成分画像の双方について行うことが好ましい。
【００２９】
ヒストグラムのマッチング後、各階層の画像を低階層から順次に１階層上の画像に加えていくことにより再合成し、再合成メラニン画像と再合成ヘモグロビン画像をそれぞれ取得し、次にこれらを合成することにより、内部反射光画像のシミュレーション画像を得ることができる。さらに、こうして得られた内部反射光画像のシミュレーション画像と前述の被験者の表面反射光画像とを再合成することにより、偏光を用いないで撮った通常の画像に対して、テクスチャを目標画像に近づけたより自然なシミュレーション画像を得ることができる。
【００３０】
以上のようなシミュレーション画像の形成において、マッチング（近似化処理）の対象とする目標画像は、特定の人物のものであってもよいし、複数人の平均顔画像を仮想モデルとして用いてもよい。また、予め、種々の画像について、テクスチャの主観的評価（若々しい張りがある、シミが少ない、滑らか等）とそのヒストグラムとを対応させたデータベースを構築しておき、被験者が望む主観的評価を明示すると、データーベースを用いて、その主観的評価に対応したテクスチャの画像が選択されるようにしてもよい。
【００３１】
本発明の肌のテクスチャの解析方法は、例えば、日焼けの程度、あるいは日焼けした肌の元の肌への戻り具合、シミに対する美白化粧料の効果、ファンデーションの塗布による肌のテクスチャの変化等の評価に用いることができる。また、本発明の肌のシミュレーション画像の形成方法は、画像に色ずれを生じさせることなく、皮膚のテクスチャの変化を見るために有用なものとなる。例えば、シミの多い中年の肌からシミ以外の部分の色味を変えることなく、シミを少なく、小さくあるいはシミの色を薄くした、滑らかな張りのある若者のシミュレーション画像を形成できる。
【００３２】
【実施例】
実施例１
５０代と２０代の女性をそれぞれ被験者とし、偏光を用いてそれぞれの肌の内部反射光画像を求め、この画像に独立成分分析をすることにより、メラニン成分画像とヘモグロビン成分画像を求め、さらにこれらについてそれぞれラプラシアンピラミッド法を適用することにより５階層の画像を求め、各階層についてヒストグラムを求めた。そして５０代の女性の各階層のヒストグラムを、２０代の女性の対応する階層のヒストグラムとマッチングさせ、マッチング後の各階層のヒストグラムを用いて５０代の女性のメラニン成分画像とヘモグロビン成分画像をそれぞれ再合成し、さらにこれらを合成した。図６に、メラニン成分画像について、５０代の女性の５階層のヒストグラムと、２０代の女性の５階層のヒストグラムと、マッチングを行った５階層の画像のヒストグラムを示す。
【００３３】
ラプラシアンピラミッド法によって５階層の画像を形成することに代えて２階層の画像を形成した以外は上述の手法を繰り返し、合成画像を得た。
【００３４】
５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像、５階層の画像の再合成により得た合成画像、２階層の画像の再合成により得た合成画像について、肌の自然さとシミの目立ち方を目視観察した。結果を表１に示す。また、５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像と５階層の再合成画像を用いた合成画像を図７に示す。
【００３５】
【表１】
表１及び図７から、５階層の再合成画像も２階層の再合成画像も、自然なテクスチャを有し、色ズレもなかったことから、本発明によれは、自然なテクスチャの肌画像を形成できることがわかる。さらに、５階層の再合成画像は２階層の再合成画像よりもシミが少なく、２０代の女性の当初の画像と同様のテクスチャとなっていたことから、５階層の再合成画像は、５０代の女性の画像からシミを目立たなくしたシミュレーション画像となることがわかる。
【００３７】
【発明の効果】
本発明によれば、より自然なテクスチャの肌の画像を形成するために有用な画像の解析方法が提供され、また、色ズレを生じさせることなく、より自然なテクスチャを有する肌のシミュレーション画像を形成することが可能となる。したがって、例えば、シミを大きく、濃く、あるいは小さく、薄くしたり、色ムラのパターンを自然に変化させることが可能となる。
【図面の簡単な説明】
【図１】肌のシミュレーション画像の形成方法の工程図である。
【図２】肌のシミュレーション画像の形成システムの模式図である。
【図３】独立成分分析の説明図である。
【図４】ヒストグラムの説明図である。
【図５】ヒストグラムのマッチングの説明図である。
【図６】実施例で形成した５０代女性と２０代女性と再合成画像のヒストグラムである。
【図７】５０代の女性と２０代の女性のそれぞれの内部反射光画像と５階層の再合成画像である。
【符号の説明】
１ 光源
２、３ 偏光板
４ デジタルカメラ
５ パーソナルコンピュータ
６ ディスプレイ
７ プリンタ
Ｐ 被験者
Claims (6)
- 偏光を用いて肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、
該空間周波数の異なる複数の画像毎に画素強度のヒストグラムを得る肌のテクスチャの解析方法。 - 色素成分が、メラニン成分又はヘモグロビン成分である請求項１記載の解析方法。
- 偏光を用いて被験者の肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得、
該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する方法。 - 色素成分が、メラニン成分又はヘモグロビン成分である請求項３記載の肌のシミュレーション画像を形成する方法。
- 偏光を用いて肌の内部反射光画像を形成することのできる画像形成手段、
内部反射光画像の色を独立成分分析することにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する演算手段、及び
該シミュレーション画像を表示するディスプレイを備えた肌のシミュレーション画像の形成システム。 - 複数の肌画像について、テクスチャの主観的評価と前記ヒストグラムとを対応させたデータベースを備え、マッチングのモデルとするヒストグラムを該データベースから取り出せるようにした請求項５記載の肌のシミュレーション画像の形成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078791A JP4285037B2 (ja) | 2003-03-20 | 2003-03-20 | 肌のシミュレーション画像の形成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078791A JP4285037B2 (ja) | 2003-03-20 | 2003-03-20 | 肌のシミュレーション画像の形成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009003115A Division JP4692786B2 (ja) | 2009-01-09 | 2009-01-09 | 肌のテクスチャの解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004283357A true JP2004283357A (ja) | 2004-10-14 |
| JP4285037B2 JP4285037B2 (ja) | 2009-06-24 |
Family
ID=33293166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003078791A Expired - Fee Related JP4285037B2 (ja) | 2003-03-20 | 2003-03-20 | 肌のシミュレーション画像の形成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4285037B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007105457A (ja) * | 2005-09-16 | 2007-04-26 | Kao Corp | 肌のシミュレーション画像の形成方法 |
| WO2008055290A1 (en) * | 2006-11-10 | 2008-05-15 | National Ict Australia Limited | Texture feature extractor |
| JP2009238253A (ja) * | 2009-07-21 | 2009-10-15 | Kao Corp | 画像形成方法 |
| JP2010515489A (ja) * | 2007-01-05 | 2010-05-13 | マイスキン インコーポレイテッド | 皮膚を撮像するためのシステム、装置、及び方法 |
| CN101000651B (zh) * | 2006-12-28 | 2010-05-19 | 上海电力学院 | 一种多源纹理图像的识别方法 |
| JP2011118655A (ja) * | 2009-12-03 | 2011-06-16 | Kao Corp | 画像処理装置および画像処理方法 |
| WO2015122102A1 (en) * | 2014-02-13 | 2015-08-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
| US9189679B2 (en) | 2010-06-21 | 2015-11-17 | Pola Chemical Industries, Inc. | Age estimation method and sex determination method |
| US10085643B2 (en) | 2007-01-05 | 2018-10-02 | Jadran Bandic | Analytic methods of tissue evaluation |
| JP2020526809A (ja) * | 2017-07-13 | 2020-08-31 | シセイドウ アメリカズ コーポレイション | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
-
2003
- 2003-03-20 JP JP2003078791A patent/JP4285037B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007105457A (ja) * | 2005-09-16 | 2007-04-26 | Kao Corp | 肌のシミュレーション画像の形成方法 |
| WO2008055290A1 (en) * | 2006-11-10 | 2008-05-15 | National Ict Australia Limited | Texture feature extractor |
| CN101000651B (zh) * | 2006-12-28 | 2010-05-19 | 上海电力学院 | 一种多源纹理图像的识别方法 |
| JP2010515489A (ja) * | 2007-01-05 | 2010-05-13 | マイスキン インコーポレイテッド | 皮膚を撮像するためのシステム、装置、及び方法 |
| US10085643B2 (en) | 2007-01-05 | 2018-10-02 | Jadran Bandic | Analytic methods of tissue evaluation |
| JP2009238253A (ja) * | 2009-07-21 | 2009-10-15 | Kao Corp | 画像形成方法 |
| JP4683247B2 (ja) * | 2009-07-21 | 2011-05-18 | 花王株式会社 | 画像形成方法 |
| JP2011118655A (ja) * | 2009-12-03 | 2011-06-16 | Kao Corp | 画像処理装置および画像処理方法 |
| US9189679B2 (en) | 2010-06-21 | 2015-11-17 | Pola Chemical Industries, Inc. | Age estimation method and sex determination method |
| JP2015154194A (ja) * | 2014-02-13 | 2015-08-24 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 |
| CN105981360A (zh) * | 2014-02-13 | 2016-09-28 | 株式会社理光 | 图像处理设备、图像处理系统、图像处理方法和记录介质 |
| EP3105915A4 (en) * | 2014-02-13 | 2017-02-22 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
| US9967434B2 (en) | 2014-02-13 | 2018-05-08 | Ricoh Company, Ltd. | Image processing apparatus, system, method, and program product for adjusting saturation of a skin area while maintaining converted hue |
| WO2015122102A1 (en) * | 2014-02-13 | 2015-08-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
| JP2020526809A (ja) * | 2017-07-13 | 2020-08-31 | シセイドウ アメリカズ コーポレイション | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
| JP7200139B2 (ja) | 2017-07-13 | 2023-01-06 | 株式会社 資生堂 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
| JP2023036784A (ja) * | 2017-07-13 | 2023-03-14 | 株式会社 資生堂 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4285037B2 (ja) | 2009-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5146667B2 (ja) | 肌のなめらかさの評価方法 | |
| EP1768060B1 (en) | Image processing method and apparatus for modification of images of skin | |
| JP5885344B2 (ja) | 皮膚又は外皮の色調を特徴付けるための方法 | |
| Jimenez et al. | A practical appearance model for dynamic facial color | |
| JP6086573B2 (ja) | 色素斑を特性化する方法及び装置、並びに化粧製品、皮膚製品又は薬剤製品の着色効果又は脱色効果を評価する方法におけるその応用 | |
| US20080212894A1 (en) | Method and apparatus for simulation of facial skin aging and de-aging | |
| US20080304736A1 (en) | Method of estimating a visual evaluation value of skin beauty | |
| TW200428231A (en) | Skin evaluation method and image simulation method | |
| JP3351958B2 (ja) | 肌の評価方法 | |
| JPH0775629A (ja) | 皮膚表面観察方法及び皮膚表面観察装置 | |
| JP4285037B2 (ja) | 肌のシミュレーション画像の形成方法 | |
| JP4133248B2 (ja) | 肌のつやの評価方法 | |
| JP4506245B2 (ja) | 肌のシミュレーション画像形成方法 | |
| JP5035524B2 (ja) | 顔画像の合成方法及び合成装置 | |
| JP2010198382A (ja) | シミュレーション装置、シミュレーション方法、及びコンピュータプログラム | |
| JP2007179517A (ja) | 画像生成方法および装置ならびに化粧シミュレーション方法および装置 | |
| JP4692786B2 (ja) | 肌のテクスチャの解析方法 | |
| JP4098542B2 (ja) | 肌色測定装置 | |
| JP5399874B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2011059960A (ja) | 画像処理装置、シミュレーション装置、画像処理方法、シミュレーション方法、及びプログラム | |
| JP4756398B2 (ja) | 肌のシミュレーション画像形成方法 | |
| JP4506243B2 (ja) | 肌のシミュレーション画像形成方法 | |
| JP2005000429A (ja) | 肌の美しさの評価方法 | |
| JP2005004468A (ja) | 画像のシミュレーション方法 | |
| JP6730051B2 (ja) | 肌状態評価方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |