JP2016520349A - 肌診断及び画像処理方法 - Google Patents

Abstract

画像処理技術とともに使用される肌診断技術を提供する。この方法は、ユーザ肌画像の少なくとも１つの部分に対して、特定された肌関連アプリケーションに関連する診断動作を行い、ユーザ肌画像データを生成するステップを有する。ユーザ肌画像データは、特定された肌関連アプリケーションに基づいて処理される。処理は、肌関連アプリケーションが指定する１つ以上のパラメータに基づいて、ユーザ肌画像データに対応するデータベース内の肌画像データの１つ以上の組を特定するステップと、データベースから特定された肌画像データの１つ以上の組に基づいて、少なくとも１つの画像処理フィルタを決定するステップとを有する。ユーザ肌画像の少なくとも１つの部分に少なくとも１つの画像処理フィルタを適用して、シミュレートされたユーザ肌画像を生成する。【選択図】 図６Ａ

Description

関連出願
本出願は、２０１３年４月９日に出願された米国特許出願番号第１３／８５９，３５９号の優先権を主張し、及び２０１３年４月９日に出願された米国特許出願番号第１３／８５９，３８４号に関連し、これらの内容は、引用によって全体が本願に援用される。
分野
本発明は、包括的には、肌診断技術に関し、より詳しくは、画像処理技術とともに使用される肌診断技術に関する。

スキンケア製品又は美容術の適用によって、顧客の容姿がどのように変化するかを予測及び例示するために、スキンケア又は美容術の視覚化が行われている。しかしながら、既存の手法におけるこのような予測的性質は、視覚化された顧客の容姿の正確度及び整合性に関して課題がある。

すなわち、視覚化の正確度は、視覚化の元となるデータの正確度に制約される。視覚化される顧客の表現を単なる推測に基づいて表面的に決定した場合、このような結果が不正確になり、顧客がスキンケア製品又は美容術に満足できないこともある。

また、予想される視覚化において表現される顧客の結果が実際の結果に近くなったとしても、結果がどれほど正確に視覚化されるかは、スキンケア製品又は美容術を購入するか否かについての顧客の決定に重大な影響を有している。

本発明の実施形態は、画像処理技術とともに使用される肌診断技術を提供する。

一実施態様では、方法は、以下のステップを有する。ユーザ肌画像の少なくとも１つの部分に対して１つ以上の診断動作を実行して、ユーザ肌画像データを生成し、１つ以上の診断動作は、特定された肌関連アプリケーションに関連する。特定された肌関連アプリケーションに基づいてユーザ肌画像データを処理する。この処理は、肌関連アプリケーションが指定する１つ以上のパラメータに基づいて、ユーザ肌画像データに対応するデータベース内の肌画像データの１つ以上の組を特定するステップと、データベースから特定された肌画像データの１つ以上の組に基づいて、少なくとも１つの画像処理フィルタを決定するステップとを有する。方法は、更に、ユーザ肌画像の少なくとも１つの部分に少なくとも１つの画像処理フィルタを適用して、シミュレートされたユーザ肌画像を生成するステップを有する。

他の実施形態では、システムは、ユーザ情報モジュールと、グラフィカルユーザインタフェースと、肌画像データベースと、プロセッサと、出力ディスプレイとを備える。ユーザ情報モジュールは、ユーザ肌画像を捕捉する。グラフィカルユーザインタフェースは、複数の肌関連アプリケーションからの肌関連アプリケーションの選択を可能にする。プロセッサは、ユーザ情報モジュール、グラフィカルユーザインタフェース及び肌画像データベースに接続されている。更に、プロセッサは、ユーザ肌画像からユーザ肌画像データを判定し、肌関連アプリケーションが指定する１つ以上のパラメータに基づいて、ユーザ肌画像データに対応する肌画像データベース内の肌画像データの１つ以上の組を特定する。更に、プロセッサは、肌画像データベースから特定された肌画像データの１つ以上の組に対応する少なくとも１つの画像処理フィルタをユーザ肌画像に適用して、シミュレートされたユーザ肌画像を生成するように構成されている。プロセッサに接続された出力ディスプレイは、シミュレートされたユーザ肌画像を表示する。

本発明の実施形態は、コンピュータ読取可能命令がタンジブルに実現されたコンピュータ読取可能記憶媒体を含む製品としても実現でき、コンピュータ読取可能命令が実行されると、少なくとも１つの演算デバイスが上述したステップを実行する。更に、他の実施形態は、装置の形式で実現でき、装置は、メモリと、メモリに接続された少なくとも１台のプロセッサデバイスとを備え、プロセッサデバイスは、上述したステップを実行する。

本発明の他の実施形態は、上述した方法のステップを実行手段又はその要素の形式で実現できる。手段は、例えば、ハードウェアモジュール、又はハードウェア及びソフトウェアモジュールの組合せを含み、ソフトウェアモジュールは、タンジブルなコンピュータ読取可能記憶媒体（又は複数のこのような媒体）に格納される。

本発明の実施形態は、画像処理能力に対して詳細な肌及び製品情報を利用して、正確な視覚的推定を顧客に提供する技術を提供できる利点を有する。

本発明のこれらの及びこの他の目的、特徴及び利点は、添付の図面を参照する以下の例示的な実施形態の詳細な説明から明らかとなる。

本発明の一実施形態に基づく肌診断及び画像合成システムを示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムによって使用されるデータベース環境の詳細を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムの個人情報捕捉モジュールの詳細を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムのグラフィカルユーザインタフェースの第１の部分を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムのグラフィカルユーザインタフェースの第２の部分を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムのアプリケーションモジュールの詳細を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムのサブアプリケーション選択モジュールの詳細を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムの画像処理モジュールの詳細を示す図である。 本発明の実施形態に基づく特定の時点に亘る特定の肌パラメータの変化率を示すグラフ図である。 本発明の実施形態に基づく特定の時点に亘る特定の肌パラメータの変化率を示すグラフ図である。 本発明の実施形態に基づく特定の時点に亘る特定の肌パラメータの変化率を示すグラフ図である。 本発明の一実施形態に基づく肌診断及び画像合成システムの画像処理モジュールの画像合成処理を示す図である。 本発明の一実施形態に基づく肌診断及び画像合成システムのファンデーション照合サブアプリケーションを実行するアプリケーションモジュールを示す図である。 本発明の１つ以上の実施形態を実現できるコンピュータシステムを示す図である。 本発明の１つ以上の実施形態を実現できる分散通信／演算ネットワークを示す図である。

一般的な演算及び画像処理システムアーキテクチャを参照して本発明の実施形態を説明する。しかしながら、本発明の実施形態は、これらの例示的なアーキテクチャに制限されず、画像合成技術を使用することによって肌診断が向上し、所与の被験者の正確な視覚的評価が生成されるあらゆるシステムアーキテクチャに包括的に適用できる。

ここで使用する「画像」という用語は、レンダリングされた画像（例えば、スクリーンに表示される画像）、画像を表すデータセット（例えば、保存された又は保存可能なデータセット）又はこれらの組合せを意味する。したがって、例えば、「ユーザ肌画像」という語句は、ユーザの肌の一部のレンダリングされた画像、これに対応するユーザの肌の一部を表す保存されたデータ、又はこの組合せを意味する。以下の詳細な説明では、所与の時点において画像が保存された画像であるか、レンダリングされた画像であるかは、記述されている特定の実施形態の文脈から明らかである。

ここで使用する、「肌関連アプリケーション」という語句は、所与の被験者の肌に関連する診断機能又は他の処理を指す。ここに開示する肌診断及び画像合成システムによって実現されるこのような肌関連アプリケーションの例としては、以下に限定されるものではないが、ファンデーション照合（foundation matching）アプリケーション、しわ及び小じわ（line and wrinkle）アプリケーション、肌ライトニング（skin lightening）アプリケーション、肌均一性（skin evenness）アプリケーション、黄変改善（skin de-yellowing）アプリケーション、若返り（de-aging）アプリケーション等がある。システムのアプリケーションモジュールによって実行される特定のアプリケーションは、ユーザが選択してもよく、システムによって取得及び／又は導出されるコンテキスト情報からシステムが自動的に判定してもよい。

ここで使用する、「モジュール」という用語は、通常、システム内で１つ以上の特定の機能を実行するように構成されるハードウェア、ソフトウェア又はこの組合せを意味する。モジュールが特にハードウェア又はソフトウェアとして実現されることが意図される場合、ここでは、これらをそれぞれハードウェアモジュール又はソフトウェアモジュールと呼ぶ。

以下に図面を参照して詳細に説明するように、本発明の実施形態は、肌診断及び画像合成方法を提供し、この方法は、特に、ユーザ肌画像を取得して、対応するユーザ肌画像データを生成し、肌関連アプリケーションに基づいてデータベースに対してユーザ肌画像データを処理し、特定された画像処理フィルタの適用に基づいてシミュレートされたユーザ肌画像を生成することを含む。更に、本発明の１つ以上の実施形態は、１つ以上の関連するスキンケア製品及び／又は美容術の推薦とともに更新又はシミュレートされたユーザ肌画像を示すことを含んでいてもよい。

まず、図１は、本発明の一実施形態に基づく肌診断及び画像合成システム１００を示している。この実施形態では、システム１００は、グラフィカルユーザインタフェース（ＧＵＩ）１０４（図４及び図５を用いて後に詳述する。）を含み、これは、ユーザ１０２がシステムにアクセスするための視覚的インタフェースを司る。ユーザ１０２は、通常、システム１００によって肌画像を捕捉及び処理される所与の被験者である。ＧＵＩ１０４は、本発明の少なくとも１つの実施形態では、複数の肌関連アプリケーションからの肌関連アプリケーションの選択及び他のシステム選択を補助する。システム１００は、ユーザ肌画像を捕捉でき及び他のユーザ入力データを捕捉できる個人情報捕捉モジュール１０６（図３を用いて後述する。）を含む。また、システム１００は、アプリケーション（ＡＰＰ）モジュール１０８（更に、図７、図８Ａ〜図８Ｃ、図９を用いて後述する。）、データベース１１０（図２を用いて後述する。）、並びにユーザ１０２にＧＵＩ１０４、何らかの画像及び他のデータを表示する出力ディスプレイ１１２を備え、これらの各機能については、後に説明する。

本発明の少なくとも１つの実施形態では、個人情報捕捉モジュール１０６により、１つ以上のユーザ肌画像及び他のユーザ情報を取得できる。モジュール１０６は、画像を取得する１つ以上の画像捕捉デバイスを含んでいてもよい。１つ以上の捕捉デバイスは、異なる範囲の電磁スペクトルに基づいて画像を捕捉することができる画像捕捉デバイスを含んでいてもよい。

一例として、捕捉される画像は、以下に限定されるものではないが、可視画像、赤外線（ＩＲ）画像、及び紫外線（ＵＶ）画像を含んでいてもよい。「可視画像」とは、電磁スペクトルの可視波長範囲内のエネルギを捕捉するように構成されたデバイスによって捕捉された画像を意味する。同様に、「赤外線又はＩＲ画像」及び「紫外線又はＵＶ画像」は、それぞれ電磁スペクトルのＩＲ波長範囲及びＵＶ波長範囲でエネルギを捕捉するように構成されたデバイスによって捕捉された画像を意味する。また、ＵＶ画像は、「近ＵＶ」画像を含んでいてもよい。更に、「スペクトル画像」とは、以下に限定されるものではないが、可視、ＩＲ及びＵＶ範囲を含む複数の波長範囲の画像を意味する。

更に、ここでは、「ＲＧＢ画像」及び「Ｌａｂ画像」という用語を使用する。ＲＧＢ画像は、赤緑青の光成分が異なる指定された比率で互いに加算され、広範囲に亘る多数の色を再現する加法混色であるＲＧＢ色空間モデルに基づいて生成された画像である。Ｌａｂ画像は、明度の次元Ｌと、補色次元を表すａ及びｂ成分との色空間モデルに基づいて生成された画像である。Ｌａｂ色空間モデルは、非線形圧縮ＣＩＥ（国際照明委員会：International Commission on Illumination）ＸＹＺ色空間座標に基づく。ＲＧＢ画像及びＬａｂ画像は、可視画像とみなしてもよい。後述するように、１つ以上の実施形態において、既知の手法を用いて、ＲＧＢ値をＬａｂ値に変換でき、Ｌａｂ値をＲＧＢ値に変換できる。

周知のように、通常の白色（可視）光は、全ての可能な角度で伝播する波から構成される。光は、１つの特定の平面のみを伝播する波から構成される場合、「直線偏光された」とみなされる。したがって、伝播の基準平面に平行な平面を伝播する光波を平行偏光波（parallel light wave）と呼び、伝播の基準平面に直交する平面を伝播する光波を垂直偏光波（perpendicular light wave）と呼ぶ。したがって、本明細書における「偏光画像」という句は、「垂直偏光画像成分」及び「平行偏光画像成分」を含む構成線形偏光成分に分離された画像を意味する。一方、「非偏光画像」というフレーズは、このような構成線形偏光成分に分離されていない画像を意味する。

更に、本明細書における「交差偏光（cross polarization）」という用語は、画像が「鏡面成分（specular component）」と「底色成分（undertone component）」の２つの成分に分離される偏光状態を意味する。鏡面成分は、肌の表面から反射する光を表し、底色成分は、肌の表面を透過し、表面下から反射する光を表す。一実施形態では、平行偏光画像成分は、鏡面成分及び底色成分の半分からなり、垂直偏光画像成分は、底色成分の残り半分からなる。

捕捉モジュール１０６によって、ユーザ１０２は、他の情報を入力することができ、及びシステム１００による処理のために１つ以上の先に捕捉した画像（ＧＵＩ１０４に表示できる）を選択することができる。更に、システムは、（例えば、ＧＵＩ１０４を介して）ユーザ１０２に問合わせを行い、一連の質問に応答させ、捕えられた肌画像に対応する後のデータの解析を誘導してもよい。このような解析は、アプリケーションモジュール１０８によって選択されたアプリケーションに基づいて行われる。アプリケーションは、ユーザ１０２がＧＵＩ１０４を用いて選択してもよく、提示された質問に対するユーザの応答に基づいて自動的に決定してもよい。

選択された又は判定されたアプリケーションに基づき、データベース１１０の１つ以上の関連する部分がアクセスされ、解析の実行が補助される。図２に関連して説明するように、データベース１１０は、肌データに関連するデータ及びスキンケア製品データを含む。したがって、本発明の少なくとも１つの実施形態では、データベース１１０を用いて、１つ以上の対応するユーザパラメータに基づいて最初のユーザ肌画像データを処理し、ユーザ肌画像データのコンテキストにおいてある期間に亘る特定のスキンケア製品又は施術の作用を判定することができる。

また、更に後述するように、アプリケーションモジュール１０８は、個人情報捕捉モジュール１０６、ＧＵＩ１０４、データベース１１０及び出力ディスプレイ１１２に接続されたプロセッサモジュール（図１には明示していないが、図１１及び図１２を用いて後述する。）を含む。本発明の少なくとも１つの実施形態では、このようなプロセッサモジュールは、ユーザ肌画像からユーザ肌画像データを判定し、肌関連アプリケーションによって指定されたパラメータに基づいてユーザ肌画像データに対応するデータベース内の肌画像データの組を特定し、（肌画像データベースからの）肌画像データの特定された組に対応するユーザ肌画像に少なくとも１つの画像処理フィルタを適用して、シミュレートされたユーザ肌画像を生成するように構成される。

解析の出力は、出力ディスプレイ１１２に表示される形式で生成され、更新／シミュレートされた画像及び／又は変化する一連のシミュレートされた画像を含む。このような出力は、最初のユーザ肌画像（例えば、システム１００によって実行される肌診断動作の前のユーザ肌画像）の視覚化と、選択された期間に亘ってこの画像がどのように変化するかの視覚化を含むことができ、この変化は、年齢、人種、性別等の対応するパラメータに関連するデータベース内のそれらの変数の深刻度に対する、ユーザ画像内の問合わせが行われた変数の深刻度に基づいて判定される。なお、異なる変数は、初期の深刻度及び１つ以上の対応するパラメータに応じて異なる速度で変化又は進行することがあり、このような解析の結果は、線形ではないことがある。すなわち、本発明の実施形態は、１つ以上のデータベースによるユーザ肌画像の処理に関連する非線形の曲線の生成及び利用を含む。

したがって、包括的に言えば、システム１００は、肌画像を取得又は選択し、肌画像を処理して関連する肌画像データを取得し、１つ以上の関連するデータベースに対して肌画像データを処理して、選択された診断アプリケーションに対応する関係する肌画像データを判定し、シミュレートされた肌画像データの結果を出力して表示するように構成される。

以下、図２〜図１２を参照して、システム１００がこれらの及びこの他のステップ及び動作をどのように実行するかを説明する。

図２は、本発明の一実施形態による肌診断及び画像合成システムが使用できるデータベース環境を示している。図２は、異なる機能的ラベルが付された異なる種類の別々のデータベースを例示しているが、これは、説明のみを目的としていることは明らかである。データベース環境１１０としてここに記述するデータは、データの特定の機能的な目的にかかわらず、１つ以上の従来のデータベース構造に格納し、アクセスし、この他の管理を行ってもよい。

例えば、図２は、以下に限定されるものではないが、基礎科学（basic science）データ２０２、製品臨床性能（product clinical performance）データ２１２及びイメージング科学（imaging science）データ２２２に関連するデータベースを含むデータベース１１０（図１）を示している。更に後述するように、基礎科学データベース２０２は、連続色（continuum of color）データ２０５を含む色科学（color science）データ２０３、及びテクスチャ科学（textural science）データ２０７に関連するデータベースを含む。「連続色（continuum of color）」という語句は、後に更に詳細に説明するように、既知の全ての種類の肌の色を含む色パレットを意味する。同様に、製品臨床性能データベース２１２は、見た目年齢（apparent age）データ２１３及び特定製品有効性（proprietary product efficacy）データ２１５に関連するデータベースを含む。「見た目年齢」という語句は、後に更に詳細に説明するように、「暦年齢（chronological age）」という語句と対比される、加齢及び民族的特性の結果として肌に関して視認される変化を意味する。また、イメージング科学データベース２２２は、交差偏光画像データ２２３、写真データ２２５、スペクトルイメージングデータ２２７、画像解析データ２２９に関連するデータベースを含む。イメージング科学データベース２２２は、製品色情報を含んでいてもよい。

なお、上述したデータベース１１０の少なくとも一部のデータは、多数の人間の被験者から撮像された画像（例えば、以下に限定されるものではないが、顔画像）から編集（compiled）される。画像は、例えば、年齢、人種、民族、性、地理的出生等、広範囲に亘る様々な人間の実態的人口統計（demographics）をカバーする画像を含む。後に更に詳細に説明するように、これらの画像から編集されるデータは、肌色データ、肌テクスチャデータ等を含むことができる、したがって、データベース１１０のデータは、画像、このような画像から導出される情報、及びシステム１００が使用できる他の情報を導出するために使用される情報を含む。

データベース１１０内のデータは、システム１００のユーザから捕捉され又は他の手法で取得されたデータから区別される。すなわち、データベース１１０内のデータは、主に、被験者及び他のソースから事前に取得され、システム１００の現在のユーザ１０２によって提供される肌画像に対する選択された診断動作の実行に使用するために編集されたデータである。但し、現在のユーザ１０２からのデータは、ユーザの承認に基づいて、データベース１１０のデータの一部とし、以後のユーザ１０２のために使用してもよい。

更に、データベース１１０の画像は、特定の肌状態にリンクされた画像及び特定のスキンケア製品及び／又はスキンケア術にリンクされた画像を含んでいてもよい。本発明の少なくとも１つの実施形態では、肌関連アプリケーションは、肌製品及び／又は肌製品カテゴリの仕様（データベースの１つ以上に保存された、関連付けられたデータ）によって特定される。スキンケア製品データは、例えば、年齢に関連する肌画像データ及びスキンケア製品有効性データを含むことができる。更に、肌関連アプリケーションによって特定されるパラメータは、一例として、（例えば、製品臨床性能データベース２１２に保存された）情報に基づく深刻度−時間（severity-time parameter）パラメータを含むことができる。

更に、データベース１１０は、（例えば、スペクトルイメージングデータベース２２７に保存された）スペクトルイメージングデータを含む。スペクトルイメージングデータは、以下に限定されるものではないが、様々な被験者から撮影され、データベースに保存（及び分類）された人間の肌の複数の２次元デジタルスペクトル画像を含む。スペクトル画像は、上述したように、電磁スペクトルの異なる波長範囲で捕捉された画像データを意味する。このようなスペクトル画像は、上述したように、可視画像と、例えば、赤外線画像、紫外線画像等、赤、緑、青（ＲＧＢ）の光成分を感受する人間の眼では捕捉できない更なる情報を抽出する波長によって捕捉された画像とを含むことができる。データベースに保存される各スペクトル画像は、肌の目標領域を定義する。例えば、このようなデジタルスペクトル画像は、本明細書と共通の譲受人に譲受され、２０１１年３月１１日に出願された国際公開番号ＷＯ２０１１／１１２４２２、発明の名称、「System for Skin Treatment Analysis Using Spectral Image Data to Generate 3D RGB Model」に開示されている方法で捕捉及び保存してもよく、この文献の内容は、引用によって全体が本願に援用される。

このように、対応する複数の２次元デジタルＲＧＢ（赤、緑、青）色モデル画像が捕捉され、データベース１１０（例えば、画像解析データベース２２９）に保存される。ＲＧＢ画像の各々は、少なくとも部分的に、肌の目標領域を定義するスペクトル画像の少なくとも１つに対応する。ユーザ１０２についての処理の間、後に更に詳細に説明するように、複数のスペクトル画像の一部（又は全部）が解析され、各スペクトル画像内で１つ以上のスペクトル画像データセットが特定される。ここで用いるスペクトル画像データセットという用語は、例えば、肌タイプ、血液又はメラニン濃度、酸素飽和度、ヘモグロビン含有率、水分含有率又は含水量等の特定の変数又はパラメータに関係付けて、肌の状態を一意的に定義するために必要な最小限の量のスペクトル画像デジタルデータを意味する。

本発明の１つ以上の実施形態に関連して説明したように、選択され又は定義される肌状態は、施術又は矯正を必要としない肌状態であってもよく、肌状態は、例えば、乾燥肌、脂性、ひび割れ及びこの他の施術可能又は矯正可能な肌状態であってもよい。いずれの場合も、スペクトル画像データセットは、１つ以上の肌状態を定義する。

前述のように、各画像内の各要素は、例えば、画像上の画素座標、画素のＲＧＢ値及び／又は画素のスペクトルコンテンツ、並びに画素における肌状態のタイプに基づいて、記録され、インデックス付けされる。したがって、各肌状態は、各画像において１つ以上の画素にマッピングされる。具体的には、各スペクトル画像データセットは、各スペクトル画像の内の位置（ここでは、スペクトル位置と呼ぶ）にマッピングされる。すなわち、スペクトル位置は、スペクトル画像データセットのためのスペクトル画像内の画素座標位置を含む。各スペクトル画像に対応するＲＧＢ画像内の位置は、対応する各スペクトル位置にマッピングされる。ＲＧＢ画像内の位置は、ここでは、ＲＧＢ位置と呼び、これは、各スペクトル画像内のスペクトル位置に対応するＲＧＢ画像の範囲内の画素座標位置である。

更に、ここで使用するＲＧＢデータセットという用語は、各位置に関係付けてＲＧＢ色プロファイルを一意的に特定するために必要な最小限の量のデジタルＲＧＢデータを意味する。したがって、本発明の少なくとも１つの実施形態では、スペクトル画像データセットは、上述したスペクトル画像データセットによって定義される少なくとも１つの既知の肌状態に対応するＲＧＢデータセットと効果的に相関する。また、ＲＧＢデータセットは、スペクトル画像データを、各結果曲線の下の面積を加算してＲＧＢデータセットを提供する変換関数に渡すことによって各スペクトル画像データセットから画素毎に生成される。特定の被験者のためのスペクトル画像データセット内の各画素のスペクトル曲線に対して、既知の曲線当て嵌め法を用いて当て嵌めを行うことによって、肌の生物学的及び化学的詳細を明らかにできる。１つのパラメータであるメラニン濃度は、幾つかの製品の美白効果に一意的に関連付けられる。肌のメラニン濃度の変化によって製品のこのような美白効果をシミュレートするために、まず、各画素のスペクトル画像データセットを、この被験者の特定のメラニン濃度ｘにおけるメラニンの反射率を記述する関数Ｒ_ｍｅｌ（λ）によって除算する。これにより得られる、「メラニンなし（melaninless）」スペクトル曲線を、関数ＲＮ_ｍｅｌ（λ）によって発見される新しいメラニン曲線に乗算する。ＲＮ_ｍｅｌ（λ）を算出する前に、（例えば、後に詳細に説明する図８Ａに示すような）データチャートを用いて、製品使用によるメラニンの変化を表すメラニン濃度の変化を発見し、更に図７〜図９の文脈で後述するように、これにｘを乗算して新たなｘを算出し、すなわち、ｘ＝ｘ×％変化を計算する。 Ｒ_ｍｅｌ（λ）及びＲＮ_ｍｅｌ（λ）を記述する関数は、ＥＸＰ＾（０．０１２ｘ＊ＭＵＡ_ｍｅｌλ＊（４．５１−Ｌｏｇ_１０（ｘ＊ＭＵＡ_ｍｅｌλ）であり、ここで、ｘは、特定の関心時点における平均メラニン濃度であり、ＭＵＡ_ｍｅｌは、メラニンの既知の吸収曲線を表す。そして、この新しい曲線に「メラニンなし」曲線を乗算することにより、新しいメラニン濃度における新しいスペクトル曲線が生成される。この処理によって、メラニン濃度が変化したスペクトル画像データセットが得られる。そして、スペクトル画像データセットをＲＧＢ画像データセットに変換する。

スペクトル画像データセットをＲＧＢデータセットに変換するための変換関数は、スペクトル画像データセットをＲ、Ｇ、Ｂのそれぞれのスペクトル反応関数に乗算した後、それぞれの曲線の下の面積を合計し、この合計を各対応するスペクトル反応曲線の下の各面積で除算することを含む。これによって、Ｒ、Ｇ、Ｂの値が算出され、ＲＧＢ色空間における色画像が得られる。スペクトル応答関数は、スペクトルカメラによって標準Ｒ、Ｇ、Ｂ色基準ターゲットをスペクトルイメージングすることによって得られる。このようにして、メラニン濃度に関連する、製品の使用による経時的な美白効果をシミュレートする一連の画像が生成される。そして、美白についての各時点の包括的なＲＧＢ変換は、開始画像の平均面積の平均ＲＧＢ値を各シミュレートされた画像内の対応する平均面積によって除算することによって、すなわちメラニン濃度変化チャート（例えば、図８Ａ）内のデータから算出される特定のｘを用いることによって、簡単な手法で行うことができる。これらの変換係数が既知になると、これらの変換係数を用いて、被験者の開始平均メラニン濃度に類似する、フルスペクトルイメージングされている参照被験者に基づいて、被験者のための美白効果をシミュレートすることができる。

変換関数は、ＲＧＢ空間内の測定されたＲＧＢ値と、スペクトルデータセットの変形ＲＧＢから算出された値との間の差分の最小化によって最適化される。したがって、本発明の少なくとも１つの実施形態では、ＲＧＢデータセットと、全てのスペクトル画像データセットを代表するスペクトル画像データセットとの間の仮想ルックアップテーブル（look-up table：ＬＵＴ）を作成する。このようなマッピング及びＬＵＴは、データベース１１０（例えば、スペクトルイメージングデータベース２２７、画像解析データベース２２９、又はこの組合せ）に保存される。

スペクトルデータセット内では、異なる肌状態をカタログ化し、参照ＲＧＢデータセットに決定可能に対応付けすることが有益である。捕捉されたスペクトル画像及び対応する捕捉されたＲＧＢ画像は、肌状態、スペクトル位置、ＲＧＢ位置及び参照ＲＧＢデータセットを表すスペクトル画像データセットとともに編集し、保存する。

更に、１つ以上の実施形態においては、ＲＧＢデータセットをＬａｂデータセットに変換し、異なる肌状態を参照Ｌａｂデータセットに決定可能に対応付けて、スペクトルデータセット内にカタログ化する。

更に、図２に示すデータベース１１０は、広範囲に亘る人種及び民族に対応する（例えば、連続色データベース２０５に保存される）ＲＧＢ／Ｌａｂ値を含む。このようなデータは、特定のＲＧＢ／Ｌａｂ値が年齢等によってどのように変化するかに関する地理的領域毎のＲＧＢ／Ｌａｂ分布を表す。更に、データベース１１０は、人口統計グループにおいて、例えば、しわ、小孔、小じわ、くま、頬の赤味、肌の弾力等の物理的特性がどのように変化し、異なるかを示すデータを含む（例えば、テクスチャ科学データベース２０７に保存される）。

上述したように、データベース１１０は、製品臨床性能に関連するデータを含む（例えば、データベース２１３、２１５に保存される）。見た目年齢データ（例えば、データベース２１３に保存される。）は、暦年齢に対する見た目年齢を個人に割り当てるために使用されるデータ及びモデルを含む。「暦年齢」又は実年齢とは、人の誕生からの実際の年齢を意味する。「見た目年齢」とは、人の身体的な外観、特に、顔の全体的な外観に基づいて見た目で推定又は知覚される年齢を意味する。暦年齢及び見た目年齢は、通常、年月を単位として測定される。若返りのスキンケア製品の１つの目的は、暦年齢に対して見た目年齢を若返らせることであり、好ましくは、ユーザが実年齢より若く見えるように、見た目年齢を暦年齢以下にすることがでる。この目的を達成する製品は、加齢因子による肌のダメージを防止し及び／又はダメージを取り除くことができる。例えば、このような見た目年齢データ及びモデルは、本明細書と共通の譲受人に譲受され、２００９年９月４日に出願された国際公開番号ＷＯ２０１０／０２８２４７、発明の名称「An Objective Model of Apparent Age, Methods and Use」に開示されている方法で生成及び保存してもよく、この文献の内容は、引用によって全体が本願に援用される。

製品有効性データ（例えば、データベース２１５に保存される。）は、様々なタイプの人間の肌に関連して、様々な期間及び施術に亘って、特定のスキンケア製品及び施術がどのように振る舞い及び／又は反応するかを示すデータを含む。具体的には、スキンケア製品及び施術は、１つ以上の特定の肌条件をターゲット化及び／又は改善する（例えば、しわを低減又は除去する、肌を明るくする、肌の色を均一化する等）ように特定の手法及び特定の材料又は成分の組によって配合及び／又は構成される。このような情報は、製品又は施術の対応する目標に関係するデータとともに製品有効性データベース２１５に含まれる。

肌の均一性（uniformity）、明るさ（radiance）又は濁り（dullness）又は（皮膚下の）しみ、そばかす等を含む異なる種類の点の位置及びサイズに関するデータは、データベース１１０（例えば、交差偏光データベース２２３）に保存される。しわの位置、サイズ、深刻度及び長さを記述するデータ、及び小孔の位置、サイズ、深刻度及び直径を記述するデータもデータベース１１０（例えば、写真データベース２２５）に保存される。

図３は、本発明の一実施形態に基づく、肌診断及び画像合成システムの個人情報捕捉モジュールを示している。一例として、図３は、画像捕捉モジュール３０２及びテキスト捕捉モジュール３０４を含む（例えば、図１ではモジュール１０６として示す）個人情報捕捉モジュールを示している。

本発明の少なくとも１つの実施形態では、画像捕捉モジュール３０２は、例えば、画像を取得する１つ以上の画像捕捉デバイスを含む。１つ以上の捕捉デバイスは、例えば、可視画像、赤外線画像及び紫外線画像等、異なる範囲の電磁スペクトルに基づく画像を捕捉することができる画像捕捉デバイスを含んでいてもよい。すなわち、モジュール３０２は、可視画像を捕捉することができる１つ以上のデジタルカメラと、他の電磁スペクトル波長領域（例えば、赤外線、紫外線等）の画像を捕捉することができる１つ以上のカメラ、デバイス及びセンサとを含む。一実施形態においては、カメラは、平行偏光、垂直偏光及び非偏光の３つの画像成分を捕捉するように構成された偏光対応カメラである。画像捕捉デバイスの１つ以上は、好ましくは、交差偏光の実施形態に関連して説明したように、鏡像成分（specular image component）及び底色画像成分（undertone image component）を捕捉するように構成される。

更に、テキスト捕捉モジュール３０４は、例えば、手動テキスト入力のためのキーボード又はキーパッド及び／又は自動音声認識（automatic speech recognition：ＡＳＲ）のために構成されたデバイス、例えば、音声−テキスト（speech-to-text：ＳＴＴ）モジュールを含むことができる。

捕捉及び／又は編集された情報は、画像から導出されるデータセットを図２に示すデータベース１１０内の参照データセットと比較することによって、個々の被験者又はユーザの肌状態を解析するために使用される。更に、本発明の１つ以上の実施形態では、（図３に示すように）情報の捕捉時に及び／又はこれに関連して、ユーザに特定の問合わせの組（例えば、デフォルトの問合わせの組及び／又はユーザに応じてカスタマイズされた問合わせの組）を提示して診断プロセスを開始する。このような問合わせは、例えば、図１に示すＧＵＩ１０４を介して出力ディスプレイ１１２上に表示される。問合わせは、以下に限定されるものではないが、ユーザを誘導して、１つ以上の診断領域、１つ以上のスキンケア製品又はサービス、１つ以上の時点、１つ以上の平均法／モード、１つ以上の一致モード、１つ以上のアプリケーションモード及び１つ以上の色合いを選択させる質問及び／又は他の形式のプロンプトを含んでいてもよく、これらについては、アプリケーションモジュール１０８の実施形態に関して後に詳細に説明する。

図４及び図５は、システム１００によってＧＵＩ１０４上でユーザに表示されるスクリーンショットの例である。なお、これらのＧＵＩの例は、単にシステムの一部の特徴及び機能を例示しているのみであり、本発明を限定する意図はない。本発明のこの説明に基づいて、当業者は、他の様々な特徴及び機能を実現でき、ＧＵＩ１０４を介して、これらをわかりすい手法でユーザに提示できる。

図４は、本発明の一実施形態に基づく肌診断及び画像合成システムのグラフィックユーザインタフェース１０４−１の第１の部分を示している。以下に説明するように、本発明の一実施形態は、設置型情報装置（kiosk）環境で実現される。このような実施形態においては、設置型情報装置は、例えば、店舗又はカウンタで使用されるように設計され、より大規模な企業活動のコンテキストに含ませることができる。例示的な設置型情報装置環境は、（画像を捕捉するための適切な照明を提供する）照明デバイスと、１つ以上のアプリケーションを実行して、画像捕捉デバイス（例えば、カメラ）及び、例えば、図４のＧＵＩ１０４−１に示すような（タッチスクリーン付き）ディスプレイを制御するプロセッサとを含んでいてもよい。また、店舗に設置された設置型情報装置ベースのシステムは、バックエンドシステムと通信していてもよい。設置型情報装置ベースのシステムを実現するための例示的な処理プラットフォームについては、図１２を用いて後述する。

図に示すように、ＧＵＩ１０４−１は、タッチスクリーン対応選択機能４０２、４０４、４０６を含む。ユーザは、機能４０２によって、自分の画像（又は「写真」）を捕捉するように、又はシステムデータベースに接続して、（機能４０４を介して）モデル４０５又は他の（機能４０６を介して）設置型情報装置ユーザの集合から、既存の画像をアップロードするようにシステムに指示することができる。

すなわち、店舗の実現例においては、ユーザ又は顧客は、自らの写真を設置型情報装置で撮影し、システム１００が写真を解析し、設置型情報装置とは別の場所で、アドバイザ又は他の職員が、企業の希望又は使用に基づいて構成されたタブレット又は他のデバイスを介して、システム１００が生成した診断結果及び／又は推薦を後に提示する。もちろん、結果及び／又は推薦は、アドバイザ又は他の職員なしで、ユーザ又は顧客に直接的に提示してもよい。

図５は、本発明の一実施形態に基づく肌診断及び画像合成システムのグラフィックユーザインタフェース１０４−２の第２の部分を示している。例示のみを目的としてここに示すように、ＧＵＩ機能は、例えば、ビフォア／アフタースワイプ（before/after swiper）機能５０２の少なくとも１つを介してユーザ肌画像を操作する能力を提供する。このスワイプ機能によって、例えば、垂直線５０２がユーザの顔を横切りながら肌状態の比較を示すことによって、ユーザは、特定のスキンケア製品の適用の前に自分の顔の一部がどのように見えるか及び特定のスキンケア製品の適用後に自分の顔の他の部分がどのように見えるかを同時に確認することができる。ユーザは、スワイプ操作で垂直線５０２を移動させることによって、処置後及び処置前として表示される顔の部分を変更することができる。

更に、他のＧＵＩ機能は、ユーザ肌画像の一部を縮小又は拡大し、画像の局所的な点検を行うためのズームイン及び／又はズームアウト機能を含む。すなわち、ユーザは、円形ウィンドウ５０４等のウィンドウ内で画像内の特定の顔の領域を指定し、この領域を拡大（及び後に縮小）することができる。

更に、ＧＵＩ機能は、例えば、日光又は白色照明をシミュレートするコントラスト機能及び照明シミュレート機能を含んでいてもよい。更に、ＧＵＩ機能は、ファンデーションの色合い（foundation shade）を決定するために診断サンプリング領域を再定義するファンデーションファインダ「ワンド（wand）」又は選択機能を含んでいてもよい。なお、ＧＵＩ１０４は、システムの診断動作を補助し及びユーザがシステムによって得られる肯定的な経験を高めるために（特に明示しない）既知の如何なる画像操作機能をユーザ１０２に提供してもよい。

このようなＧＵＩ機能は、例えば、ユーザインタフェース上のポップアップツールバーによってユーザインタフェース上で実現されるアクティブボタンの形式で提供してもよい。更に、本発明の少なくとも１つの実施形態では、ＧＵＩの更なるオプションは、例えば、様々な電子商取引企業、全地球測位システム、ソーシャルネットワーク等の外部のサイト及びソースへのリンクを含む。

図６Ａは、本発明の一実施形態に基づく肌診断及び画像合成システムのアプリケーションモジュール１０８の詳細を示している。ここに示すように、アプリケーションモジュール１０８は、診断モジュール６０２、サブアプリケーション選択モジュール６０４、画像処理モジュール６０６及びシミュレート外観変化表示モジュール（simulated appearance change display module）６０８を含む。具体的には、図６Ａは、システム１００の現在のユーザ１０２から捕捉又は他の手法で取得されたデータを処理するアプリケーションモジュール１０８の動作の詳細を示している。

図６Ａに関連して、本発明の少なくとも１つの実施形態は、複数の肌関連アプリケーションから、肌関連アプリケーションの効果的な選択を行うことを含む（図６Ｂ参照）。なお、ここで使用する用語「アプリケーション」及び「サブアプリケーション」は交換可能である。この例では、図６Ａ及び図６Ｂに示すサブアプリケーションは、肌関連アプリケーションであり、アプリケーションモジュール１０８内で選択可能なアプリケーションであることを前提として、サブアプリケーションと呼ぶ。図６Ｂに示すように、サブアプリケーションは、以下に限定されるものではないが、ファンデーション照合アプリケーション６１２、しわ／小じわアプリケーション６１４、肌ライトニングアプリケーション６１６、黄変改善アプリケーション６１８及び若返りアプリケーション６２０を含む。これらのサブアプリケーションのそれぞれについては、後に更に詳細に説明する。但し、本発明の実施形態は、特定のサブアプリケーション又はサブアプリケーションの組に限定されない。

このように、診断モジュール６０２は、サブアプリケーション選択モジュール６０４とともに、捕捉されたユーザの１つ以上の画像からユーザの肌について改善が必要な１つ以上の条件を判定するように構成される。そして、診断された問題に基づいて、適切なサブアプリケーションが選択される。ユーザは、システムに診断を望む肌領域を指定することができる。これに代えて、システムは、問題領域を自動的に発見してもよい。更に、ユーザは、使用したいサブアプリケーションを直接指定することもできる。いずれの場合も、モジュール６０２、６０４によって、診断領域及びサブアプリケーションが選択される。

サブアプリケーションが選択されると、サブアプリケーションは、上述したデータベース環境１１０のデータに基づいて動作し、画像処理モジュール６０６を介して、選択されたサブアプリケーションによって実行された特定の診断動作の結果を表す画像（又は画像の組）を生成する。画像（シミュレートされた外観変化画像）は、モジュール６０８を介して（図１のＧＵＩ１０４及び出力ディスプレイ１１２を介して）表示される。

図７は、画像処理モジュール６０６の詳細を示している。包括的に言えば、画像処理モジュール６０６は、画像（図７の左側に示される画像成分）を処理して、シミュレートされたユーザ画像を生成し、ユーザに表示する。モジュール６０６によって処理される画像は、捕捉モジュール１０６が捕捉した画像すなわち、ユーザ肌画像である。この実施形態では、ユーザ肌画像は、ユーザ肌画像からの非偏光画像成分７０２、平行偏光画像（「Ｐａｒａ」）成分７０４及び垂直偏光画像（「Ｐｅｒｐ」）成分７０６として表現される。これに代えて、モジュール６０６によって処理される画像は、（図４のＧＵＩ１０４−１のモデル画像選択機能によって）ユーザがＧＵＩ１０４を介して選択したサンプル画像であってもよい。例えば、ユーザは、ユーザが自らの画像を提供するのではなく、サンプル画像の診断動作の結果をデモンストレーションとして確認するためにサンプル画像を選択してもよい。画像がユーザ画像であるかサンプル画像であるかにかかわらず、画像処理モジュール６０６は、同じ又は類似する手法で画像を処理する。また、一実施形態において上述したように、平行偏光画像成分７０４は、鏡面成分及び底色成分の半分からなり、垂直偏光画像成分７０６が底色成分の残り半分からなる。これは、交差偏光を用いてユーザの肌画像を捕捉及び処理する場合に適用される。

図７に示すように、画像処理モジュール６０６は、非偏光画像フィルタ７０８、平行偏光画像フィルタ７１０、及び垂直偏光画像フィルタ７１２を決定する。なお、図７に示す３つのフィルタ７０８、７１０、７１２は、集合的に「画像処理フィルタ」と呼んでもよく、個別のフィルタと呼んでもよい。フィルタは、以下のように決定される。上述のように、データベース１１０は、スペクトルデータセットと、被験者の集合から検査データを編集することによって事前に確立されたＲＧＢデータセットとを相関させる１つ以上のルックアップテーブル（ＬＵＴ）を含む。したがって、画像処理モジュール６０６は、ユーザ１０２から捕捉されたＲＧＢ画像を取得し、（例えば、標準的プロファイリングソフトウェアによって）ＲＧＢ画像を正規化（又は、標準化）して色、強度等を較正し、ＲＧＢ画像の正規化されたデータセットをＬＵＴと比較して、対応するスペクトル画像データセットを判定し、次に、スペクトル画像データセットによって、関連する肌状態を判定する。上述のように、一実施態様においては、ＬＵＴは、スペクトル画像データセットに対応するＬａｂデータセットを格納する。このような場合、ユーザ画像のＲＧＢ値は、ルックアップ動作を実行する前に、Ｌａｂ値に変換される。

画像処理モジュール６０６は、非偏光画像成分７０２に非偏光画像フィルタ７０８を適用してプロセニアム（proscenium：変化しない枠組み）画像成分を生成し、（２）平行偏光画像成分７０４に平行偏光画像フィルタ７１０を適用してシミュレートされた平行偏光画像成分を生成し、（３）垂直偏光画像成分７０６に垂直偏光画像フィルタ７１２を適用してシミュレートされた垂直偏光画像成分を生成する。第１の結合モジュール７１４において、例えば、式（Ｐａｒａ＋Ｐｅｒｐ）／２を用いて、シミュレートされた平行偏光画像成分及びシミュレートされた垂直偏光画像成分を結合し、肌関連アプリケーションのためのベースとなるシミュレートされたユーザ画像を生成する。第２の結合モジュール７１６は、このベースとなるシミュレートされたユーザ画像をプロセニアム画像成分に結合し、シミュレートされたユーザ肌画像を生成する。この結合動作は、ここでは「画像合成」と呼びこの視覚的実例については、図９を用いて後述する。続いて、シミュレート外観変化表示モジュール６０８は、シミュレートされたユーザ肌画像を図１の出力ディスプレイ１１２に出力し、ＧＵＩ１０４によってユーザに表示する。

上述のように、データベース１１０は、自然な加齢及び特定の製品の効果の関数として広範囲に亘る顔の特徴（例えば、小孔サイズ、しわの長さ及び幅、しみ、肌色、美白／黄変、肌均一性、目のくま等）を記述するデータを含む。データは、年齢の関数としての平均値及び製品の時間的効果の平均値を含む。したがって、これらの数値シーケンスは、特定の特徴についての平均的な肌の変化の記録を、加齢の直接関数として、又は特定の製品の適用時間の結果として表している。このデータは、研究者及び臨床技師による物理的測定（例えば、写真等）及び写真画像の専門的評価を用いて経時的に編集される。

このように、画像処理モジュール６０６は、被験者の偏光画像成分（平行偏光画像成分７０４及び垂直偏光画像成分７０６）及び対応するフィルタ（７１０、７１２）を取得し、画素成分を画素毎に変換し、これにより得られる合成非偏光画像は、特定の製品に期待される総合的な平均的時間効果に視覚的に一致する。画像変換フィルタ７１０、７１２は、データベース１１０からの写真参照及び物理的測定情報を用いて生成される。これらのフィルタは、画素毎に数学的変換を実行し、結果として生成される変形された偏光画像は、非偏光画像と組合せされると、特定の時点における製品の平均的効果の現実的レンダリングを表す。

画像フィルタ７０８は、まず、顔を自動的に特定し、次に目、鼻、唇、髪、及び顔の輪郭をする顔認識によって駆動してもよいことは明らかである。これらの位置特定された領域の一部ではない画像成分の他の全ての部分は、透明にされ、これを用いてプロセニアム画像を生成し、これによって、背景及び肌の美容術の適用の間も変化しない目、鼻孔及び唇を不変に維持することができる。一実施形態では、式（Ｐａｒａ＋Ｐｅｒｐ）／２を用いて、フィルタリングされた平行偏光画像成分及び垂直偏光画像成分を結合し、表示可能な顔の画像を生成する。

一例として、美白スキンケア製品の経時的効果を記述する関数は、経時的な肌の色の変化を判定する物理的測定に依存する。これらの製品については、物理的測定と質的に同様の傾向が得られる写真の専門的評価が取得されている。また、正確な比色測定を用いてもよい。これらの美白製品については、Ｌ、ａ、ｂの平均値は、経時的に変化し、これによって図８Ａ（すなわち、肌パラメータとしてのメラニン）、図８Ｂ（すなわち、肌パラメータとしての明度）及び図８Ｃ（すなわち、肌パラメータとしての黄色度）に示すような所与の肌パラメータの平均的変化を記述する関数が求められる。一例として、図８Ａは、特定の研究グループについてのメラニンの平均的変化を示している。各被験者は、各時点で算出されたメラニン値を有する。そして、式Ｐｅｒｃｅｎｔａｇｅ Ｃｈａｎｇｅ（変化率）＝（（ＴｉｍｅＰｏｉｎｔ（時点）−Ｂａｓｅｌｉｎｅ（ベースライン））／Ｂａｓｅｌｉｎｅ（ベースライン））＊１００を用いて、各被験者のメラニンの特定の変化を算出する。そして、全グループを平均化し、このデータを上述したデータベース１１０に保存する。そして、この情報を用いて、捕捉された被験者の画像から判定された被験者自身の値から開始して、被験者の画像の偏光画像成分（７０４、７０６）内で色を経時的に直接変更する。捕捉された偏光画像成分のＬａｂ値は、データベース１１０内のＲＧＢ／Ｌａｂ−スペクトル画像データＬＵＴによって得られる所与の時点の変化の平均量を用いて直接的に調整される。一実施形態においては、垂直偏光画像成分７０６のＬａｂ値は、ＬＵＴから得られる正確な変化によって調整され、平行偏光画像成分のＬａｂ値は、視覚的な現実及び対応する非偏光画像に対応する正確な変化の部分（fraction）によって調整される。このような部分的貢献は、ＲＧＢデータセット内の３つの色層のそれぞれについて判定される。一実施形態においては、ライトニングの実験値は、（上述したように）交差偏光的手法で判定され、したがって、垂直偏光成分の情報のみを明らかにする。変形された非偏光画像の現実的な表現を生成するために、平行偏光画像成分を、透過光（すなわち、垂直偏光成分）について測定された変化の半分で変調することによって好ましい対応が達成されることが経験的に見出された。

本発明の他の実施形態では、スクロール又は動画の再生と同様な一連の画像として、時間の経過に伴う顔の外観の連続的な変化（若返り又は製品効果）のシミュレーションを生成する方法を提供する。一実施形態では、５つの時点の変化を組み込むが、この方法は、幾つの時点の変化を組み込んでもよい。この変形例では、最初に捕捉された偏光画像成分（「Ｐａｒａ初期（Para initial）」及び「Ｐｅｒｐ初期（Perp initial）」）を偏光画像成分（「Ｐａｒａ最終（Para final）」及び「Ｐｅｒｐ最終（Perp final）」）に混合し、続いてこれらを結合して、所与の時点の非偏光画像を生成する。「Ｐａｒａ最終」及び「Ｐｅｒｐ最終」は、最初の偏光画像成分から、総合的な製品エンドポイントを反映するように画像成分を変更することによって、又は特定の顔特徴を除去し、老化前の若い状態に戻すことによって生成される。最初の概算では、画像の線形混合を使用する。「Ｐａｒａ初期」は、式Ｐａｒａ初期（１−Ｔ）＋Ｐａｒａ最終（Ｔ）＝時点ＴにおけるＰａｒａＴｒａｎｓｆｏｒｍｅｄによって「Ｐａｒａ最終」に結合される。「Ｐｅｒｐ初期」は、式Ｐｅｒｐ初期（１−Ｔ）＋ＰｅｒｐＦｉｎａｌ（Ｔ）＝時点ＴにおけるＰｅｒｐＴｒａｎｓｆｏｒｍｅｄによって「Ｐｅｒｐ最終」に結合される。Ｔは、正規化された時間に対応し、０から１の間であり、Ｔ＝１が最後の時間である。この線形混合関数は、データベース１１０に保存されている見た目年齢又は製品の時間関数的効果について説明した非線形関数の形式に基づいていてもよい。また、製品効果及び若返りの視覚的な現実的シミュレーションは、線形関係を用いて行い、続いて、製品又は年齢に起因する外観上の視覚的変化に正確に一致するように後に調整してもよい。

図９は、本発明の一実施形態に基づく画像合成プロセスを示す図である。なお、図９の画像合成プロセスは、画像処理モジュール６０６によって実行され、図７の文脈で説明した画像成分結合処理の視覚的具体例である。

上述したように、３つの画像成分が入力として捕捉及び処理され、シミュレートされたユーザ肌画像として１つの画像が生成及び表示される。図９に示すように、非偏光画像成分９０２−１は、下位の層のプロセニアムとして用いられる構造テンプレート層を表している。平行偏光画像成分９０２−２は、上述したように、画素ベンダフィルタ（pixel bender filter）（例えば、図７のフィルタ７１０によって提供される５０％の不透明度）に基づいて処理される平行偏光層を表す。更に、垂直偏光画像成分９０２−３は、上述したように、画素ベンダフィルタ（例えば、図７のフィルタ７１２によって提供される１００％の不透明度）に基づいて処理される垂直偏光層を表す。

結合されたシミュレートされたユーザ肌画像９０４は、３層（９０２−１、９０２−２、９０２−３）の全てを表し、これらが合成されて最終的な画像が形成されている。更に、図９の一番下の画像は、２．５次元のビューとして３枚の層（９０２−１、９０２−２、９０２−３）を表している。

図７の文脈で詳しく述べたように、画像成分９０２−１は、画像内の肌の領域を判定する非偏光画像成分７０２をフィルタ７０８によってフィルタリングし、これらの画素領域を透明にし、他の全ての画素領域をそのままにしてプロセニアムを形成することによって生成される。画像成分９０２−２及び画像成分９０２−３は、平行偏光画像成分７０４及び垂直偏光画像成分７０６をフィルタ７１０及びフィルタ７１２でフィルタリングすることによって生成され、これらのフィルタの特性は、上述したように、異なる時点における臨床製品の効果によって決定されるパラメータによって制御される。したがって、図９に示すように、平行偏光画像成分及び垂直偏光画像成分が結合されて被験者又はユーザのための非偏光製品効果画像が形成され、これをプロセニアムに結合して、表示画像が形成される。更に、本発明の少なくとも一実施形態では、例えば、モバイル機器（例えば、携帯電話機又はタブレット）を用いて捕捉した１つの画像を、システムの非偏光入力、平行偏光入力及び垂直偏光入力にコピーし、上述した処理を行う。

図１０は、図１の肌診断及び画像合成システム１００に基づいてファンデーション照合サブアプリケーションを実行するアプリケーションモジュール１０８を示している。すなわち、ここでは、選択モジュール６０４に基づいて複数のサブアプリケーション６１２〜６２０（図６Ｂ）から、ファンデーション照合サブアプリケーション６１２を選択すると仮定する。具体的には、モジュール１００２〜１００８は、図１のシステムのアプリケーションモジュール１０８によって実行されるステップを表す。

ここでは、少なくとも１つのユーザ肌画像が取得されると仮定する。ユーザ１０２は、ＧＵＩ１０４を介して製品タイプを選択し、更に、診断又はシステムよる他の処理を望むユーザ肌画像内の領域を選択し、これを「平均法選択」（図１０）と呼ぶ。同時に、選択された製品タイプ（この例では、ファンデーションスキンケア製品）に基づき、ユーザの選択に関連するデータをデータベース１１０からモジュール１００２に読み込む。モジュール１００２によって取得及び／又は処理されるデータは、モジュール１００４に供給され、モジュール１００４は、図６Ａの文脈で後述するように、最適な一致を判定する。最初の視覚化の後、ユーザ１０２は、（希望すれば）ユーザ肌画像内の他の位置を選択して、製品効果を視覚化できる。これは、「平均モード選択」（図１０）と呼ばれ、特定の選択された製品タイプサブアプリケーションの範囲に含まれ、サブアプリケーションは、顔の他の部分の製品視覚化を表示できる。

このように、この特定の例では、モジュール１００２は、ユーザ肌画像を取得し、ユーザによって選択された画像の所与の領域の平均色値を判定し、すなわち、肌画像から肌画像データを生成する。モジュール１００４は、モジュール１００２によって生成されたユーザ肌画像データに一致又は対応するデータベース１１０内の肌画像データの１つ以上の組を特定する。モジュール１００６は、画像を処理し、データベースから特定された肌画像データの１つ以上の組に基づいて、適切な画像処理フィルタ（例えば、図７の７０８、７１０、７１２）を決定する。そして、モジュール１００６は、ユーザ肌画像の選択された領域に画像処理フィルタを適用し、シミュレートされたユーザ肌画像を生成する。シミュレートされたユーザ肌画像は、モジュール１００８及びＧＵＩ１０４を介してユーザに表示される。

更に、モジュール１００８に関連して、ユーザ１０２は（ＧＵＩ１０４を介して）、一致モード（「一致モード選択」）及びアプリケーションモード（「アプリケーションモード選択」）、並びに、適用可能であれば、１つ以上の特定の色合い又はトーン（「色合い選択」）を選択してもよい。アプリケーションモードによって、ユーザは、肌に特定の色合いを適用して、適用の程度を調整し、ユーザの顔の半分（又は他の割合）に製品を適用し、残り半分（又は残りのパーセンテージ）にユーザの元の画像を表示することができる。色合い選択オプションによって、ユーザは、自らの嗜好に応じて、自然に一致した色合い以外の他の色合いを選択できる。アプリケーションは、自然な色合いに比べてより明るい、より暗い、より黄色い、又はより赤いが、ユーザに適切である範囲内の色合いを示すことができる。一致モード選択では、最適一致を発見するためにサブアプリケーションが使用するパラメータを選択することができる。

上述のように、サブアプリケーションの診断動作では、ユーザ肌画像の選択又は特定された部分の１つ以上の領域のユーザＲＧＢ色空間値を判定する。更に、サブアプリケーションは、ユーザ肌画像の選択された領域のユーザＲＧＢ色空間値の平均ＲＧＢ色空間値を算出し、平均ＲＧＢ色空間値をユーザＬ、ａ、ｂ色空間値に変換する。更に、ユーザＬ、ａ、ｂ色空間値に適切に一致するデータベース内の１つ以上のＬ、ａ、ｂ色空間値を特定することによって、ユーザ肌画像データに一致する肌画像データの１つ以上の組をデータベース内で特定する。データベースから特定された１つ以上のＬ、ａ、ｂ色空間値に基づいて適切な画像処理フィルタが判定及び／又は設定される。更に、上述したように、サブアプリケーションは、ルックアップテーブル（ＬＵＴ）にアクセスして、１つ以上のスペクトル特徴値からＬ、ａ、ｂ色空間値を特定する。

このように、好ましくは、図１０に示すファンデーション照合の具体例では、ユーザ肌画像の局所的な領域内の平均色をサンプリングし、ＬＵＴ（データベース１１０）に保存されている実際の製品色からの偏差を算出する。そして、所定の数の最適一致が返される。本発明の例示的な実施形態では、（例えば、約０．３から約０．８の不透明度に亘る）低い、中程度、又は高い不透明度範囲を選択してもよい。更に、ユーザ画像の異なる領域を再サンプリングして、元の領域との一致を返してもよい。上述したように、画像処理フィルタは、臨床製品検査から取得された特定の製品の効果に一致するように設定される。

具体的には、一実施形態において、ユーザは、画像の領域（例えば、顔の頬の部分）をタッチ及び／又は選択する。選択又はタッチされた画像の領域内で、ＲＧＢの値は、領域（例えば、５０×５０画素領域）に亘って平均化される。Ｒ_ａｖｇ、Ｇ_ａｖｇ、Ｂ_ａｖｇの値は、従来の色モデル変換技術を用いて、Ｌ_ａｖｇ、Ａ_ａｖｇ、Ｂ_ａｖｇ色空間値に変換され、式Ｅ＝ｓｑｒｔ（（Ｌ−Ｌ_ａｖｇ）^２＋（（Ａ−Ａ_ａｖｇ）^２＋（（Ｂ−Ｂ_ａｖｇ）^２）を用いて、データベース１１０に保存されている製品色からのＬ_ａｖｇ、Ａ_ａｖｇ、Ｂ_ａｖｇ値の偏差が算出される。所定数（例えば、５個）の最適一致がデータベースから返され、及び関連する色合いのＲＧＢ値が返され、これを用いて、画像処理に適切なフィルタが設定され、すなわち、適切なファンデーションの色合いのためのフィルタが生成及び適用される。

このような技術及びアプリケーションの具体例は、例えば、パウダーファンデーションの塗布をシミュレートするために有用であり臨床的に判定された効果に調整することができる。更に、他のアプリケーションと同様に、ファンデーション照合アプリケーションにより、ユーザは、ＧＵＩ選択機能を用いてサンプリング領域を再定義することができる。

図１０は、ファンデーション照合アプリケーションを例示しているが、システム１００は、他の診断アプリケーションを実行して、ユーザ肌画像の選択された領域から情報を判定し、選択されたユーザ肌画像領域から導出される情報に基づいて１つ以上のスキンケア製品の効果を設定できることは明らかである。

更なる具体例として、肌ライトニングアプリケーション（すなわち、図６Ｂのサブアプリケーション６１６）は、美白又はライトニングスキンケア製品の経時的な製品効果を表示する。画像処理フィルタは、臨床製品検査を介して取得された特定の製品の効果に一致するように設定される。他のアプリケーションの具体例は、顔領域認識及びマスキングアプリケーションを含む。顔のマスキングによって、選択された肌の色が特定の色の範囲内であることを認識することによって、肌の変更された領域のみを表示することができる。すなわち、閾値画素ベンダフィルタ（thresholding pixel bender filter）を用いて、画像がマスキングされる。

しわ／小じわアプリケーション（すなわち、サブアプリケーション６１４）は、しわ／小じわ関連のスキンケア製品の経時的な効果を表示する。画像処理フィルタは、臨床製品検査を介して取得された特定の製品の効果に一致するように設定される。具体的には、しわ／小じわアプリケーションは、データベース又はライブラリから画像を選択し、又はユーザ画像を捕捉する。ユーザは、画像の領域（例えば、顔の頬の部分）をタッチ及び／又は選択する。関連する画像処理フィルタの範囲内で平行画像にボックス（例えば、３インチｘ３インチボックス）ぼかし（blur）を適用し、この結果を元の平行画像に結合する。ぼかし画像の不透明度は、較正マトリックスによって制御され、通常、製品使用初期における約０．１の不透明度から製品使用後期における約０．６の不透明度に変化させることができる。

当業者は、ここに開示する処理及びフィルタフレームワークによって、肌診断及び画像合成システムによって簡単に実行できる多くの更なるアプリケーションを実現することができる。幾つかの具体例は、以下に限定されるものではないが、小孔（pore）アプリケーション、肌不均一（skin non-uniformity）アプリケーション、眼下くま（dark under eye circles）アプリケーション等を含む。

図１１は、肌診断及び画像合成システムの１つ以上の実施形態を実行することができるコンピュータシステム（処理プラットフォーム）１１００を示している。すなわち、図１〜図１０の文脈で示し、記述した１以上又は全てのコンポーネントは、図１１に示す処理プラットフォームによって実現することができる。

例えば、図１１は、プロセッサ１１０２と、メモリ１１０４と、ディスプレイ１１０６及びキーボード／マウス／タッチスクリーン１１０８から構成される入出力（Ｉ／Ｏ）インタフェースとを示している。Ｉ／Ｏインタフェースの一部として、これらより多い又は少ないデバイスを設けてもよい。プロセッサ１１０２、メモリ１１０４及びＩ／Ｏインタフェースは、データ処理ユニット又はシステム１１１２（例えば、汎用コンピュータ、ワークステーション、サーバ、クライアントデバイス等）の一部として、コンピュータバス１１１０を介して相互接続される。コンピュータバス１１１０は、ネットワークインタフェース１１１４及び媒体インタフェース１１６にも接続されている。ネットワークインタフェース１１１４（例えば、モデム、ルータ及びイーサネット(登録商標)カードを含むことができる。）によって、システムは、専用又は公衆の（有線及び／又は無線）コンピュータネットワークを介して他のデータ処理システム又はデバイス（例えば、リモートディスプレイ又は他の演算及びストレージデバイス）に接続できる。媒体インタフェース１１１６（例えば、リムーバブルディスクドライブを含むことができる。）は、媒体１１１８とのインタフェースを司る。

ここで使用する「プロセッサ」という用語は、例えば、中央演算処理ユニット（central processing unit：ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（application-specific integrated circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）又は他のタイプの処理回路、並びにこれらの回路要素の部分又は組合せを含む１つ以上の個別の処理デバイスを意味する。

更に、「メモリ」という用語は、プロセッサに関連するメモリを意味し、例えば、ランダムアクセスメモリ（random access memory：ＲＡＭ）、読出専用メモリ（read only memory：ＲＯＭ）、リムーバブルメモリデバイス、固定メモリデバイス及び／又はフラッシュメモリ等を含む。媒体１１１８は、リムーバブルメモリの一例であり、メモリ１１０４は、上述した他のタイプのメモリであってもよい。更に、「メモリ」及び「媒体」という用語は、より一般化して「コンピュータプログラム製品」と呼ぶこともできる。コンピュータプログラム製品は、コンピュータプログラムコード（すなわち、ソフトウェア、マイクロコード、プログラム命令等）を格納するように構成される。例えば、コンピュータプログラムコードは、メモリ１１０４及び／又は媒体１１８からロードされ、プロセッサ１１０２によって実行されることによって、システム１００の要素及び技術の１つ以上に関連する機能をデバイスに実行させる。当業者は、この開示に基づき、このようなコンピュータプログラムコードを容易に実現することができる。同様に、ここに開示した要素及び技術は、「コンピュータ読取可能記憶媒体」に保存されたコンピュータプログラムコードを含むコンピュータプログラム製品によって実現できる。本発明の実施形態を具現化するコンピュータプログラム製品の他の具体例は、例えば、光学ディスク又は磁気ディスクを含んでいてもよい。更に、コンピュータプログラムコードは、（例えば、ネットワークインタフェース１１１４を介して）ネットワークからダウンロードし、システムによって実行してもよい。

更に、デバイス１１０６、１１０８によって構成されるＩ／Ｏインタフェースを用いて、プロセッサ１１０２にデータを入力し、プロセッサ１１０２による処理に関連する初期、中間及び／又は最終の結果を提示してもよい。

図１２は、本発明の１つ以上実施形態を実現できる分散通信／演算ネットワーク（処理プラットフォーム）の具体例を示している。図１２に示す、通信システム１２００は、例えば、ネットワーク１２０２を介して互いに通信するように構成された複数の演算デバイス１２０４−１〜１２０４−Ｐ（集合的に演算デバイス１２０４と呼ぶ。）を備えている。

なお、図１２の演算デバイス１２０４の１つ以上又は全ては、図１１に示すような構成を有していてもよい。ネットワーク１２０２は、例えば、グローバルコンピュータネットワーク、例えば、インターネット、ワイドエリアネットワーク（wide area network：ＷＡＮ）、ローカルエリアネットワーク（local area network：ＬＡＮ）、衛星ネットワーク、電話回線又はケーブルネットワーク、又はこれらの様々な部分又は組合せ、並びに他のタイプのネットワーク（有線及び／又は無線ネットワークを含む。）を含んでいてもよい。

ここに示す演算デバイス１２０４は、様々なデバイスの形式を有することができる。例えば、演算デバイス１２０４は、例えば、携帯電話、スマートフォン、個人用携帯情報端末（personal digital assistant：ＰＤＡ）、タブレット、コンピュータ、クライアントデバイス等の携帯機器を含むことができる。また、演算デバイス１２０４は、デスクトップ又はラップトップのパーソナルコンピュータ（ＰＣ）、サーバ、マイクロコンピュータ、ワークステーション、設置型情報装置、メインフレームコンピュータ、又は本発明の１つ以上の実施形態に基づいて説明した技術の一部又は全部を実行することができる他の如何なる情報処理デバイスであってもよい。

演算デバイス１２０４の１つ以上は、「ユーザ」とみなすことができる。この文脈で用いられる「ユーザ」という用語は、一例として、以下に限定されるわけではないが、ユーザデバイス、デバイスを使用し又はデバイスに関連付けられたユーザ、又はこれらの組合せを包含すると理解される。したがって、ここに記述したユーザによって実行される動作は、ユーザデバイスが実行してもよく、デバイスを使用し又はデバイスに関連付けられたユーザが実行してもよく、これらの組合せが実行してもよく、この文脈は、以上の説明から明らかである。

更に、上述したように、本発明の実施形態に関連して説明した１つ以上のモジュール、要素又は成分は、１つ以上の他のモジュール、要素又は成分から地理的に遠隔に位置していてもよい。すなわち、例えば、図１〜図１０のコンテキストで示し、説明したモジュール、要素又は成分は、インターネットベースの環境、移動電話通信ベースの環境、設置型情報装置ベースの環境及び／又はローカルエリアネットワーク環境内で分散させてもよい。ここに開示した肌診断及び画像合成システムは、これらの実施環境の何れか特定の１つに限定されない。但し、システムによって実行される診断動作によっては、ある実施環境が他の実施環境に対して、何らかの機能的及び／又は物理的に有利である場合もある。

例えば、インターネットベース及び／又は電話通信ベースの環境では、システムは、スマートフォン又はモバイル機器（図１２の演算デバイス１２０４の１つ）によってユーザが画像を捕捉（又は選択）し、ここに説明した処理及び解析のために、この画像を遠隔サーバ（図１２の他の演算デバイス１２０４）に送信するように構成される。少なくとも一部の処理及び解析は、ユーザ側で行ってもよい。

更に、例えば、設置型情報装置ベースの環境では、デバイス（図１２の演算デバイス１２０４の１つ）は、画像を捕捉し、又はユーザに画像を選択させ、この画像は、ここに説明した処理及び解析のために、有線又は無線接続を介してサーバ（図１２の他の演算デバイス１２０４）に送信される。この場合も、少なくとも一部の処理及び解析は、ユーザ側で行ってもよい。設置型情報装置環境は、図４について上述したように構成してもよい。

ＬＡＮベースの環境では、全ての画像捕捉、処理及び解析は、ＬＡＮにローカル接続された１つ以上のコンピュータ（図１２の１２０４）によって実行することができる。

なお、異なる実施環境の組合せも、本発明の実施形態の範囲内であるとみなされる。当業者は、この例示的な開示に基づいて他の具体例を想到することができる。

本明細書中の用語は、特定の実施形態を記述することを目的とし、本発明を制限する意図はない。ここで使用する、不定冠詞及び定冠詞が付された単数名詞は、文脈によって特に指定がない限り、複数も包含するものとする。更に、ここで使用する「備える」、「有する」及び／又は「含む」等の表現は、記述した値、特徴、ステップ、動作、モジュール、要素及び／又は成分の存在を特定するものであり、これ以外の値、特徴、ステップ、動作、モジュール、要素、成分及び／又はこれらのグループの存在を除外する意図はない。

本発明の様々な実施形態を例示的に説明したが、本発明は、ここに開示した実施形態によって排他的に限定されるものではない。ここに開示した実施形態の範囲及び思想を逸脱することなく多くの修正及び変更が可能であることは、当業者にとって明らかである。

Claims (40)

1. ユーザ肌画像の少なくとも１つの部分に対して、特定された肌関連アプリケーションに関連する１つ以上の診断動作を行い、ユーザ肌画像データを生成するステップと、
   前記特定された肌関連アプリケーションに基づいて前記ユーザ肌画像データを処理するステップとを有し、前記処理は、
   前記肌関連アプリケーションが指定する１つ以上のパラメータに基づいて、前記ユーザ肌画像データに対応するデータベース内の肌画像データの１つ以上の組を特定するステップと、
   前記データベースから特定された前記肌画像データの１つ以上の組に基づいて、少なくとも１つの画像処理フィルタを決定するステップと、
   前記ユーザ肌画像の少なくとも１つの部分に前記少なくとも１つの画像処理フィルタを適用して、シミュレートされたユーザ肌画像を生成するステップとを有し、
   前記ステップの１つ以上は、少なくとも１つの演算デバイスによって実行される方法。
2. ユーザ肌画像を捕捉するステップを更に有する請求項１記載の方法。
3. 前記ユーザ肌画像を捕捉するステップは、ユーザの肌の一部の少なくとも１つの可視画像を捕捉するステップを含む請求項２記載の方法。
4. 前記ユーザ肌画像を捕捉するステップは、ユーザの肌の一部の少なくとも１つの赤外線画像を捕捉するステップを含む請求項２記載の方法。
5. 前記ユーザ肌画像を捕捉するステップは、ユーザの肌の一部の少なくとも１つの紫外線画像を捕捉するステップを含む請求項２記載の方法。
6. 前記捕捉されたユーザに、肌画像を非偏光画像成分、平行偏光画像成分及び垂直偏光画像成分として提供するステップを更に有する請求項２記載の方法。
7. テキスト捕捉デバイスによってユーザ情報を捕捉するステップを更に有する請求項１記載の方法。
8. 複数の肌関連アプリケーションから前記肌関連アプリケーションを選択できるようにするステップを更に有する請求項１記載の方法。
9. 前記１つ以上の診断動作を行うステップは、前記ユーザ肌画像の少なくとも１つの部分の１つ以上の領域のユーザＲＧＢ（赤、緑、青）色空間値を判定するステップを含む請求項１記載の方法。
10. 前記ユーザ肌画像の少なくとも１つの部分の１つ以上の領域について前記ユーザＲＧＢ色空間値の平均ＲＧＢ色空間値を算出するステップを更に有する請求項９記載の方法。
11. 前記平均ＲＧＢ色空間値をユーザＬ、ａ、ｂ色空間値に換算するステップを更に有する請求項１０記載の方法。
12. 前記ユーザ肌画像データに一致する前記データベース内の肌画像データの１つ以上の組を特定するステップは、前記ユーザＬ、ａ、ｂ色空間値に近似する前記データベース内の１つ以上のＬ、ａ、ｂ色空間値を特定するステップを含む請求項１１記載の方法。
13. 前記少なくとも１つの画像処理フィルタを決定するステップは、前記データベースから特定された１つ以上のＬ、ａ、ｂ色空間値に基づいて、少なくとも１つの画像処理フィルタを設定するステップを含む請求項１２記載の方法。
14. ルックアップテーブルにアクセスして、１つ以上のスペクトル特徴値から１つ以上のＬ、ａ、ｂ色空間値を特定するステップを更に有する請求項１２記載の方法。
15. 前記ユーザ肌画像は、非偏光画像成分、平行偏光画像成分及び垂直偏光画像成分から構成される請求項１記載の方法。
16. 前記データベースから特定された前記肌画像データの１つ以上の組に基づいて、少なくとも１つの画像処理フィルタを決定するステップは、非偏光画像フィルタ、平行偏光画像フィルタ及び垂直偏光画像フィルタを決定するステップを含む請求項１５記載の方法。
17. 前記ユーザ肌画像の少なくとも１つの部分に前記少なくとも１つの画像処理フィルタを適用して、シミュレートされたユーザ肌画像を生成するステップは、
    前記非偏光画像成分に前記非偏光画像フィルタを適用してプロセニアム画像成分を生成するステップと、
    前記平行偏光画像成分に前記平行偏光画像フィルタを適用してシミュレートされた平行偏光画像成分を生成するステップと、
    前記垂直偏光画像成分に前記垂直偏光画像フィルタを適用して、シミュレートされた垂直偏光画像成分を生成するステップとを含む請求項１６記載の方法。
18. 前記シミュレートされた平行偏光画像成分及びシミュレートされた垂直偏光画像成分を結合して、前記肌関連アプリケーションのためのベースとなるシミュレートされたユーザ画像を生成するステップを更に有する請求項１７記載の方法。
19. 前記ベースとなるシミュレートされたユーザ画像を前記プロセニアム画像成分に結合して、シミュレートされたユーザ肌画像を生成するステップを更に有する請求項１８記載の方法。
20. 前記シミュレートされたユーザ肌画像をディスプレイに出力するステップを更に有する請求項１記載の方法。
21. グラフィカルユーザインタフェースの操作を介して前記ユーザ肌画像の少なくとも１つの部分を選択できるようにするステップを更に有する請求項１記載の方法。
22. 前記グラフィカルユーザインタフェースの操作は、前記ユーザ肌画像全体に亘るビフォア／アフタースワイプツールの操作を含む請求項２１記載の方法。
23. 前記グラフィカルユーザインタフェースの操作は、前記ユーザ肌画像に対するコントラスト処理の実行を含む請求項２１記載の方法。
24. 前記グラフィカルユーザインタフェースの操作は、前記ユーザ肌画像に対する照明シミュレーション処理の実行を含む請求項２１記載の方法。
25. 前記グラフィカルユーザインタフェースの操作は、前記グラフィカルユーザインタフェースのサイズ変更機能による前記ユーザ肌画像の少なくとも１つの部分の縮小又は拡大を含む請求項２１記載の方法。
26. 前記肌関連アプリケーションは、ファンデーション照合アプリケーション、しわ／小じわアプリケーション、肌ライトニングアプリケーション、黄変改善アプリケーション及び若返りアプリケーションの１つである請求項１記載の方法。
27. 前記肌関連アプリケーションは、肌製品及び肌製品カテゴリの少なくとも１つの仕様によって特定される請求項１記載の方法。
28. 前記肌関連アプリケーションが指定する１つ以上のパラメータは、ユーザ人口統計パラメータである請求項１記載の方法。
29. 前記肌関連アプリケーションが指定する１つ以上のパラメータは、深刻度−時間パラメータである請求項１記載の方法。
30. ユーザ肌画像を取得するステップと、
    前記ユーザ肌画像の少なくとも一部に関連する偏光成分に一組の画像処理フィルタを使用して前記ユーザ肌画像を修正するステップとを有し、前記一組の画像処理フィルタは、前記ユーザ肌画像の少なくとも一部からの肌状態の診断に基づいて特定されたデータによって制御され、前記特定されたデータは、以前に判定されたスキンケア製品使用の時間的効果を表し、前記ユーザ肌画像の修正は、前記スキンケア製品の使用後の経時的な効果を視覚的にシミュレートし、
    前記ステップの１つ以上は、少なくとも１つの演算デバイスによって実行される方法。
31. 前記ユーザ肌画像が取得されたユーザに前記修正されたユーザ肌画像を提示するステップを更に有する請求項３０記載の方法。
32. 複数の連続的な時点に亘る前記ユーザ肌画像の修正を表す一連の画像を生成し、前記ユーザ肌画像が取得されたユーザに前記一連の画像を提示するステップを更に有する請求項３０記載の方法。
33. 前記ユーザ肌画像に関連する偏光成分は、平行偏光画像成分及び垂直偏光画像成分を含む請求項３０記載の方法。
34. 前記平行偏光画像成分は、鏡面成分及び底色成分の第１の部分からなり、前記垂直偏光画像成分は、底色成分の第２の部分からなる請求項３３記載の方法。
35. 前記底色成分の第１の部分及び前記底色成分の第２の部分は、それぞれ前記底色成分の半分を表す請求項３４記載の方法。
36. 前記ユーザ肌画像の修正は、前記特定されたデータの少なくとも一部に基づいて、前記ユーザ肌画像に関連する前記平行偏光画像成分及び前記垂直偏光画像成分の１つ以上を経時的に調整することを更に含む請求項３３記載の方法。
37. 前記ユーザ肌画像に関連する前記平行偏光画像成分及び垂直偏光画像成分の１つ以上は、前記特定されたデータによって与えられる１つ以上の時点における変化の量の関数として調整される請求項３６記載の方法。
38. 前記垂直偏光画像成分は、前記特定されたデータの所与の変化によって調整され、前記平行偏光画像成分は、前記特定されたデータの変化の部分によって調整される請求項３７記載の方法。
39. 前記特定されたデータによる変更は、時間に伴うメラニンのパーセンテージの変化を表す請求項３８記載の方法。
40. 前記肌状態の診断は、ファンデーション照合アプリケーション、しわ／小じわアプリケーション、肌ライトニングアプリケーション、黄変改善アプリケーション及び若返りアプリケーションの１つである肌関連アプリケーションによって行われる請求項３０記載の方法。

Images