JP2013527946A - スペクトル画像データを用いて３ｄｒｇｂモデルを生成する肌手入れ分析システム - Google Patents

Abstract

肌状態の変化を追跡および分析し、その状態をＲＧＢ画像形式で３次元仮想モデル上に表示して、研究と消費者コミュニケーションを促進する方法を提供する。本発明に係るシステムは、対象とする肌状態を含むスペクトル画像から取得したデータセットの形態で、肌状態のカタログ、ライブラリ、またはデータベースを構築することに関連する。対象とする肌状態を識別する各スペクトル画像データセットについて、対応するＲＧＢデータセットが計算され、データベースに格納される。計算したＲＧＢデータセットのデータベースを用いて、例えば被験者のＲＧＢまたはスペクトル写真を分析することにより、被験者の肌状態を診断することができる。スペクトルまたはＲＧＢデータセットを用いて、提案する手入れの効果を予測し、これによる肌状態の変化を容易に理解できるＲＧＢ画像で表示することもできる。
【選択図】図１

Description

本発明は、被験者の写真を介して当該被験者の肌状態を分析し追跡するために改善されたシステムに関する。特に、スペクトルおよび／またはＲＧＢ形式の被験者写真を介して肌状態を分析および追跡し、その肌状態の手入れをシミュレートおよび／または追跡するために改善されたシステムおよび方法に関する。本発明はさらに、その変化し手入れされた状態を、ＲＧＢ画像形式で３次元仮想モデル上に表示して研究と消費者コミュニケーションを促進することに関する。

スペクトル画像を用いて組織を分析および診断することは、例えばＫｅｎｅｔ等に特許された米国特許第５，０１６，１７３号に開示されており、その全体は参照によって本願に組み込まれる。Ｋｅｎｅｔ等の特許は、身体の可視面を生体内監視する装置および方法を開示しており、これは表面下形態を含む。Ｋｅｎｅｔ等の特許は、複数のデジタル撮影技術の組み合わせを教示している。これは、マルチスペクトル、マルチビューおよび／または複数解像度の撮影法によって、表面構造成分とその時間−空間分散を特徴付け、分類することを含む。

従来技術の課題は、データを取り込み、分析し、表示することについて、主にスペクトル撮影装置に依拠することである。これは、ＲＧＢ形式撮影装置および写真の可視光制約のなかにあっては不可能な様々なレベルの詳細分析を、スペクトル画像により実施できるからである。

スペクトル撮影装置は、構造および使用方法が比較的複雑であり、入手しにくい。例えばトレーニングした技術者による研究室用途や医療用途により向いている。したがって、スペクトル撮影装置がより簡易な形態でより広く入手可能になるまで、Ｋｅｎｅｔのような従来技術の装置は、広く流通して実用されない、例えば小売環境における一般消費者や家庭環境におけるユーザなどによって使用されない可能性がある。

同様にその特性から、スペクトル画像データは、トレーニングしていないと、理解し、視認し、および／または分析することが難しい。スペクトル画像データは通常、抽象芸術のような色分解イメージで表示され、トレーニングしていないと、よくても混乱を生じてしまう。したがって、スペクトル撮影装置がよりユーザフレンドリーな形態でより広く入手可能になったとしても、同装置から生成されるデータと画像は、一般人にとって便利ではないであろう。したがって、従来技術のシステムは、例えば小売環境におけるマーケティングツールのように広い範囲において有用であるわけではない。

したがって、シンプルだが有効なシステムが求められている。すなわち、広く入手可能な消費者向け撮影装置を用いた、非研究環境または非医療環境において使用することができるシステムである。この撮影装置は例えば、従来のデジタルカメラ、または電話機、コンピュータ、携帯情報端末（ＰＤＡ）、その他の消費者向け電子デバイスに一般に搭載されているデジタルカメラである。さらに、トレーニングしていない者であっても容易に理解し、分析し、視認できる画像とデータを生成するシステムが求められている。

本発明は、肌状態の変化を追跡および分析し、その状態をＲＧＢ画像形式で３次元仮想モデル上に表示して、研究と消費者コミュニケーションを促進する方法を提供する。本発明に係るシステムは、対象とする肌状態を含むスペクトル画像から取得したデータセットの形態で、肌状態のカタログ、ライブラリ、またはデータベースを構築することに関連する。対象とする肌状態を識別する各スペクトル画像データセットについて、対応するＲＧＢデータセットが計算され、データベースに格納される。計算したＲＧＢデータセットのデータベースを用いて、例えば被験者のＲＧＢまたはスペクトル写真を分析することにより、被験者の肌状態を診断することができる。スペクトルおよび／またはＲＧＢデータセットを用いて、提案する手入れの効果を予測し、その提案する手入れによる肌状態の変化を、ＲＧＢ画像で表示することもできる。ＲＧＢ画像は、現時点においてスペクトル画像のみで提供されるものと比較して、大多数の者にとって容易に理解できる。

ＲＧＢデータセットとスペクトル画像データセットを使用して仮想ルックアップテーブル（ＬＵＴ）を生成する手順を示すフロー図である。 取り込んでデータベース化した情報を使用して、個々の被験者の各スペクトルまたはＲＧＢ２次元写真（「被験者スペクトル画像」または「被験者ＲＧＢ画像」）を取り込み、写真から取り込んだデータセットをデータベース（ＬＵＴ）内の参照データセットと比較することにより、個々の被験者の肌状態を分析する手順を示すフロー図である。

データベースは、スペクトルカメラとデジタルカメラにより多数の被験者から取り込んだ顔画像を用いてデータベース化される。これら画像は、特定の肌状態にリンクしており、標準照明環境の下で取得され、内部的に較正される。

より具体的には、人の肌の複数の２次元デジタルスペクトル画像（単一または複数の「スペクトル画像」）が、様々な被験者から取り込まれ、データベースに格納される。各スペクトル画像は、肌のターゲット領域（単一または複数の「ターゲット」）を定義する。対応する複数の２次元デジタルＲＧＢ（赤、緑、青）色モデル画像（単一または複数の「ＲＧＢ画像」）が取り込まれ、同一のまたは第２のデータベースに格納される。各ＲＧＢ画像は、少なくとも部分的に、ターゲットを定義する少なくとも１つのスペクトル画像に対応する。複数のスペクトル画像のうち少なくとも一部を分析し、各スペクトル画像のなかで１以上のスペクトル画像データセットを識別する。本明細書において、「スペクトル画像データセット」とは、肌状態を一意に定義するために必要な最小量のスペクトル画像デジタルデータであり、例えば特定の肌タイプ、血中濃度またはメラニン濃度、酸素飽和度、ヘモグロビン飽和量、デュアルスキャッタリング効果、含水率などに関連付けられる。定義された肌状態は、手入れや矯正が必要ない（説明のため、「標準」肌状態と呼ぶ）肌状態であってもよいし、あるいは手入れもしくは矯正し得る肌状態であってもよい。これは例えば、乾燥している、油っぽい、ひび割れている、その他の手入れ可能な肌状態である。いずれの場合においても、各スペクトル画像データセットは、少なくとも１つの肌状態を定義する。

各データベース内の各画像内の各要素は、画像のピクセル座標、ピクセルのＲＧＢ値またはピクセルのスペクトル成分、そのピクセルの肌状態タイプについて、記録およびインデックス化される。したがって各肌状態は、個々の画像内でマップ化される。

より具体的には、各スペクトル画像データセットは、個々のスペクトル画像内の位置にマップ化される。マップ化された位置は、本明細書において「スペクトル位置」と呼ぶ。これはすなわち、スペクトル画像データセットのスペクトル画像内のピクセル座標位置である。個々のスペクトル画像に対応するＲＧＢ画像内において、各スペクトル位置に対応する位置がマップ化される。ＲＧＢ画像内の位置は、本明細書において「ＲＧＢ位置」と呼ぶ。すなわちこれは、個々のスペクトル画像内のスペクトル位置に対応するＲＧＢ画像内のピクセル座標位置である。各スペクトル位置について、一般的な機能（例えば、Ｂｅｒｎｓ，Ｒｏｙ．Ｂｉｌｌｍｅｙｅｒ ａｎｄ Ｓａｌｔｚｍａｎ‘ｓ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｃｏｌｏｒ Ｔｅｃｈｎｏｌｏｇｙ．Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ．Ｎｅｗ Ｙｏｒｋ，ＮＹ：Ｊｏｈｎ Ｗｉｌｅｙ＆Ｓｏｎｓ，２０００．２０１−２０３．Ｐｒｉｎｔ．において開示しているものであり、その全体は参照によって本明細書に組み込まれる）を用いてＲＧＢデータセットが定められる。本明細書において、「ＲＧＢデータセット」とは、個々の位置に関連付けられたＲＧＢカラープロファイルを一意に識別するために必要な最小量のデジタルＲＧＢデータのことである。このようにして、スペクトル画像データセットは効率的に、上記スペクトル画像データセットによって定義された少なくとも１つの既知の肌状態に対応するＲＧＢデータセットと相関付けられる。

このようにして、スペクトルデータを変換機能に通し、得られる曲線下の領域を合計してＲＧＢデータセットを提供することにより、各スペクトルデータセットからＲＧＢデータセットがピクセル毎に生成される。変換機能は、測定したＲＧＢ値とスペクトルデータセットをＲＧＢ変換する際に計算した値との間の差異を最小化することによって最適化される。

このようにして、ＲＧＢデータセットとスペクトル画像データセットの間の仮想ルックアップテーブル（ＬＵＴ）が形成される。これは、データベース内の全てのスペクトル画像データセットを表す。所与の肌カラータイプ内における表現は色空間内において僅かなバリエーションしかないので、この平均手法は十分有用であると思われる。しかし、上記のような平均手法を拡張して、連続的な肌カラータイプを表すこともできる。

このようにして、複数の肌状態がスペクトルデータベース内にカタログ化され、これは参照ＲＧＢデータセットに対応する。取り込んだスペクトル画像とこれに対応する取り込んだＲＧＢ画像は、肌状態を表すスペクトル画像データセット、スペクトル位置、ＲＧＢ位置、および参照ＲＧＢデータセットとともに、コンピュータ記憶媒体内の１以上のデータベース内にデータベース化される。同じピクセル座標についてのスペクトルデータセットと比較すると定量的にも品質的にも相対的に精度の低いデータを含むので、参照ＲＧＢデータセットは最適化しなくともよい。ただしその後に、消費者向け撮影装置によって取り込んだ被験者ＲＧＢ画像データを分析する際に使用できる程度には最適化される。この撮影装置は例えば、従来のデジタルカメラ、または電話機、コンピュータ、携帯情報端末（ＰＤＡ）、その他の消費者電子デバイスに一般的に搭載されているデジタルカメラである。

取り込んでデータベース化した情報を用いて、個々の被験者の各スペクトルまたはＲＧＢ２次元写真（「被験者スペクトル画像」または「被験者ＲＧＢ画像」）を取り込み、写真から取り込んだデータセットをデータベース内の参照データセットと比較することにより、個々の被験者の肌状態を分析する。分析結果を用いて、様々な肌状態に対する手入れを推奨することができる。取り込んだ個々の被験者の２次元画像は、３次元フレームに合成され、これによりインタラクティブ、回転可能、仮想的な３次元ＲＧＢ画像またはモデルを生成する。この３次元ＲＧＢ画像またはモデルは、被験者上の実際の位置に対応するモデル上の位置において、識別した「標準」および手入れ可能な肌状態を表示する。データベース情報を用いて、３次元ＲＧＢ画像上で、表示している肌状態の手入れ後の変化を生成することもできる。

本発明の利点は、ＲＧＢ画像そのものに基づいて被験者を分析できる点である。ＲＧＢ撮影装置はどこにでもあり、安価かつ容易に入手できるので、分析のために用いる画像をほぼ任意の場所で取得することができる。例えばカウンターにおける小売セット、サロン、家庭、携帯情報端末または携帯電話内のカメラとともに移動しているとき、などである。研究室用途の高価で専門的なスペクトル画像カメラは必要ない。

本発明の他の利点は、リアルタイムデータを用いて、手入れ後の「現実の」または「実際の」結果を示す画像を表示する点である。すなわち、結果がどのようになるかを仮想描画したものである。これは、実際のデータに基づかずに結果を推定するのみである現在のシステムとは反対である。

本発明のその他の利点は、被験者の各ＲＧＢまたはスペクトル画像を、被験者の分析の基盤として用いることができる点である。

ＲＧＢデータセットと相関付けられたスペクトルデータセットのデータベースとＬＵＴを構築した後、システムは３つの基本ステップを必要とする。１）ＲＧＢ写真を取得する、２）標準のＩＣＣプロファイリングソフトウェアを介してＲＧＢ画像を正規化（標準化）し、様々なデバイスに係る色、強度などを較正する、３）ＲＧＢ画像の正規化したデータセットをＬＵＴと比較し、対応するスペクトル画像データセットとそのスペクトル画像データセットに関連付けられた肌状態を判定する。

Claims (6)

1. 肌状態の変化を追跡および分析し、その状態をＲＧＢ画像形式で３次元仮想モデル上に表示して研究と消費者コミュニケーションを促進する方法であって、
   人の肌の複数のデジタルスペクトル画像を取り込むステップであって、各前記スペクトル画像はターゲットを定義する、ステップ、
   複数のデジタルＲＧＢ画像を取り込むステップであって、各前記ＲＧＢ画像は少なくとも部分的に少なくとも１つの前記ターゲットを定義するスペクトル画像に対応する、ステップ、
   前記複数のスペクトル画像の少なくとも一部を分析して、個々の前記スペクトル画像内において１以上のスペクトル画像データセットを識別するステップであって、各前記スペクトル画像データセットは少なくとも１つの肌状態を定義する、ステップ、
   個々の前記スペクトル画像内において、前記１以上のスペクトル画像データセットそれぞれについて１以上のスペクトル位置をマッピングするステップ、
   個々の前記スペクトル画像に対応する各前記ＲＧＢ画像内において、前記１以上のスペクトル画像データセットそれぞれの個々の前記１以上のスペクトル位置に対応する１以上のＲＧＢ位置をマッピングするステップ、
   個々の前記スペクトル位置に関連付けられた前記スペクトル画像データセットに対応するＲＧＢデータセットを較正し、前記ＲＧＢ位置にマッピングして、前記スペクトル画像データセットによって定義される少なくとも１つの既知の肌状態を、対応する前記ＲＧＢ画像データセットを介してＲＧＢ形式で再生成できるようにするステップ、
   前記複数のスペクトル画像、前記スペクトル画像データセット、前記対応する肌状態、前記スペクトル位置、前記複数のＲＧＢ画像、前記ＲＧＢデータセット、および前記ＲＧＢ位置をデータベース化するステップ、
   １以上のデジタルＲＧＢ画像を取り込むステップであって、各前記デジタル画像は被験者の肌領域を撮影したものである、ステップ、
   各前記デジタルＲＧＢ画像を分析して前記データベースから任意の規定のＲＧＢデータセットを位置付けするステップ、
   各前記ＲＧＢ画像内の前記ＲＧＢデータセットの位置をマッピングするステップ、
   前記ＲＧＢ画像を３次元仮想フレーム上に重ね合わせて、被験者の実際の位置に対応するモデル上の位置において、現実の肌状態を示す前記被験者の仮想３次元モデルを生成するステップ、
   を有することを特徴とする方法。
2. 前記複数のデジタルスペクトル画像のうち少なくとも一部は、２次元画像である
   ことを特徴とする請求項１記載のシステム。
3. 前記複数のデジタルスペクトル画像のうち少なくとも一部は、３次元画像である
   ことを特徴とする請求項１記載のシステム。
4. 前記複数のデジタルＲＧＢ画像のうち少なくとも一部は、２次元画像である
   ことを特徴とする請求項１記載のシステム。
5. 前記複数のデジタルＲＧＢ画像のうち少なくとも一部は、３次元画像である
   ことを特徴とする請求項１記載のシステム。
6. ２次元スペクトル画像を用いて人の肌状態を分析するために用いるシステムであって、
   プロセッサと前記プロセッサに対して処理を実施させる命令を格納するメモリを有するコンピュータを備え、前記処理は、
   被験者の顔の少なくとも１つのＲＧＢ画像を取り込むステップであって、前記少なくとも１つの取り込んだ画像は少なくとも１つの肌状態を表示する、ステップ、
   前記ＲＧＢ画像を表すデータを処理して、前記ＲＧＢ画像データを関連するスペクトル画像データと比較することにより肌状態分析を実施できるようにするステップ、
   前記２次元画像を表すオリジナルデータを処理して、前記オリジナル画像を３次元形式で表示できるようにするステップ、
   少なくとも１つの前記肌状態を変化させる美容製品を選択するステップ、
   前記２次元画像を表すデータを変化させて変化した前記肌状態をシミュレートするステップ、
   前記シミュレートした肌状態を表す変化したデータを、前記シミュレートした変化後の肌状態を含む、変化した前記２次元画像内または３次元画像内において表示するステップ、
   を有することを特徴とするシステム。

Images