JP2016523574A - カスタム外用剤を具体化および調合するためのシステムおよび方法 - Google Patents

Abstract

カスタム化粧品調合を決定するためのシステムおよび方法。一方法では、ユーザは、既知の光および色特性を用いて、皮膚領域の画像を捕捉するように誘導され、画像は、較正された皮膚色情報を提供するために処理される。カスタム化粧品調合が、較正された皮膚色情報に基づいて、ユーザのために自動的に決定される。別の方法では、ユーザは、画像センサを有するデバイスを使用して、１つまたは複数の皮膚領域画像の捕捉を通じて相互作用的に誘導される。皮膚領域画像は、較正された皮膚色情報を提供するために処理され、較正された皮膚色情報は、グランドトゥルースデータセットにおける最も近い既知の値のセットを識別するためにグランドトゥルースデータセットと比較される。カスタム化粧品調合が、比較に基づいて、ユーザのために自動的に決定される。

Description

（関連出願への相互参照）
本願は、２０１３年３月１５日に出願された米国仮特許出願第６１／７８８，６１９号（名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｐｅｃｉｆｙｉｎｇ ａｎｄ Ｆｏｒｍｕｌａｔｉｎｇ ａｎ Ａｅｓｔｈｅｔｉｃ ａｎｄ Ｐｒｏｔｅｃｔｉｖｅ Ｔｏｐｉｃａｌ Ａｇｅｎｔ Ｏｐｔｉｍｉｚｅｄ ｆｏｒ ａ Ｓｐｅｃｉｆｉｃ Ｕｓｅ」）の優先権および利益を主張し、２０１３年８月１５日に出願された米国仮特許出願第６１／８６６，２４５号（名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｐｅｃｉｆｙｉｎｇ ａｎｄ Ｆｏｒｍｕｌａｔｉｎｇ ａｎ Ａｅｓｔｈｅｔｉｃ ａｎｄ Ｐｒｏｔｅｃｔｉｖｅ Ｔｏｐｉｃａｌ Ａｇｅｎｔ Ｏｐｔｉｍｉｚｅｄ ｆｏｒ ａ Ｓｐｅｃｉｆｉｃ Ｕｓｅ」）の優先権および利益を主張し、その全体は、参照によって本明細書に援用される。

（技術分野）
本開示は、概して、画像分析および外用薬調合に関し、より具体的には、色較正された皮膚画像に基づいて、カスタム化粧品調合を決定するためのシステムおよび方法に関する。

（背景）
塗布用クリームまたはローションの形態における美容かつ保護的化粧品外用薬は、紫外線放射に対して保護し、水分バリアを提供し、傷および皮膚変色を隠し、炎症を低下またはそれを防止し、ならびに他の健康的および美容的利点を提供するために広範囲に使用される。最良の全ての可能世界では、これらの保護的外用薬は、具体的な必要性を伴う特定の個人のために、かつ具体的な環境または使用のために、専門家のチームによって具体化されるであろう。外用薬は、次いで、直ちに調合され、個人に送達されるであろう。残念ながら、物流およびコストが、これまで、所与のユーザにそのような具体的かつ最適化された製品を提供する実用性を制限している。

現在、特定の必要性に合致する化粧品外用薬を提供するために、いくつかのアプローチが存在する。これらの薬剤は、皮膚科医が提供する仕様に基づいて、混ぜ合わせられてもよい。それらは、小売店において、知識豊富な店員によって成分のセットから組み立てられてもよい。多種多様な特性を伴う化粧品クリームまたはローションの系統あるいはセットが、所与の顧客の着色、皮膚タイプ、および具体的な必要性に基づいて、事前に製造され、かつ選ばれてもよい。

これらの外用薬のカスタム製造および分配に関する一般的な解決策への主な障壁は、製品における特徴の数が多くあり、必要性がかなり多様であることである。所与の必要性および個人のために最適である粒度を伴う各調合を製造し、かつ保管されることは、商業的に実現可能ではない。したがって、必要とされるのは、例えば、高度な画像分析技術を使用した、個人の具体的な必要性の決定および必要性のそのセットのために最適である調合に基づいて、有用な化合物を提供する方法である。

適度な正反射率および主に拡散反射率を伴う表面の反射スペクトルを捕捉する技術が、固定された開口に設定され、固定された集積光学素子を有し、固定された期間にわたって測定された検出器を用いて、既知の光源を伴う既知の距離における反射を積分するために、光学的方法を使用して、ＲＧＢトリプレットとして反射色を測定すること、または表面の反射スペクトルを測定することを要求する可能性がある。これらの技術を使用するデバイスが、反射分光光度計および比色計である。

いくつかのモバイルデバイスが、比色計の多くの特徴を有する。例えば、それらは、既知の特徴を伴う光源、ＣＣＤ検出器、プロセッサ、および一体化のために使用され得るレンズシステムを有する。正確な比色計としてモバイルデバイスを使用する主要な障壁は、（１）周辺光を制御する、（２）距離をサンプリングされる表面に設定する、（３）サンプルの測定のために使用される開口を制御する、（４）サンプルの測定のために使用される検出器感度を制御する、（５）サンプルを測定するために使用される時間を制御する、（６）サンプルを測定するためにホワイトバランスを制御する、および（７）サンプルを測定するために焦点面を制御する必要性があることである。

モバイルデバイス内で使用されるカメラが、現在使用されている最も一般的なハンドヘルドカメラになっているが、それらは、手動で開口を設定する能力が欠如しており、最も一般的なデバイスは、ソフトウェアが開口、感度、または露光時間を設定することを可能にしない。モバイルデバイスのハードウェアおよびファームウェアが、どのカメラ設定が結果と生じるデジタル画像ファイル内に埋め込まれたデータとして使用されることを報告し得るが、技術は、多くの場合、画像を向上または改善し、ホワイトバランスを調節するために、ファームウェア内で使用される。カメラを制御するファームウェアは、光および色の信頼性のある測定を行うようにではなく、高品質のスナップショットを作るために最適化されている。

したがって、さらに必要とされるのは、これらの問題に対処し、ユーザが、モバイルデバイスを使用して、正確に再現可能な色サンプルを捕捉することを可能にする、システムおよび方法である。

（概要）
システムおよび方法が、カスタム化粧品調合を決定し、正確な色情報を捕捉するために提示される。一側面では、カスタム化粧品調合を決定する方法が、ユーザを誘導し、既知の光および色特性を用いて、皮膚領域の画像を捕捉するステップと、画像を処理し、較正された皮膚色情報を提供するステップと、較正された皮膚色情報に基づいて、ユーザのためにカスタム化粧品調合を自動的に決定するステップとを含む。皮膚領域画像は、画像センサを有するデバイスから受信されることができ、ユーザは、デバイスの画像センサを使用して、顔領域等の複数の皮膚領域画像の捕捉を通じて、相互作用的に誘導されることができる。

一実装では、ユーザは、デバイスの画像センサを使用して、マーカーの画像の捕捉を通じて相互作用的に誘導され、皮膚領域画像は、少なくとも部分的に、捕捉されたマーカー画像に基づいて、処理される。本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、またはゲーム機であることができる。皮膚領域画像は、デバイスおよび画像センサのうちの少なくとも１つの特性を識別する埋め込み型データを含むことができ、皮膚領域画像は、少なくとも部分的に、埋め込み型データに基づいて、処理されることができる。

別の実装では、カスタム化粧品調合を自動的に決定するステップは、較正された皮膚色情報を参照ユーザに合致させるステップを含み、参照ユーザは、それと関連付けられる事前に決定された化粧品調合を有する。カスタム化粧品調合の自動決定は、少なくとも部分的に、化粧品成分アレルギーのユーザによる指示に基づくことができる。カスタム化粧品調合に基づいて、外用剤が、混ぜ合わせられ、ユーザに送達されることができる。ユーザは、カスタム化粧品調合に基づいて混ぜ合わせられた外用剤を購入することを可能にされることができる。

別の側面では、カスタム化粧品調合を決定するためのシステムは、それ自体が、コンピュータ実行可能命令を記憶するためのメモリと、メモリ内に記憶された命令を実行するための処理ユニットとを含む、少なくとも１つのコンピュータを含む。命令の実行は、ユーザを誘導し、既知の光および色特性を用いて、皮膚領域の画像を捕捉することと、画像を処理し、較正された皮膚色情報を提供することと、較正された皮膚色情報に基づいて、ユーザのためにカスタム化粧品調合を自動的に決定することとを含む、動作を実施するようにコンピュータを構成する。皮膚領域画像は、画像センサを有するデバイスから受信されることができ、動作はさらに、ユーザがデバイスの画像センサを使用して、顔領域等の複数の皮膚領域画像の捕捉を通じて、相互作用的に誘導することを含むことができる。

一実装では、動作はさらに、デバイスの画像センサを使用して、マーカーの画像の捕捉を通じてユーザを相互作用的に誘導することを含み、皮膚領域画像は、少なくとも部分的に、捕捉されたマーカー画像に基づいて、処理される。本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、またはゲーム機であることができる。皮膚領域画像は、デバイスおよび画像センサのうちの少なくとも１つの特性を識別する埋め込み型データを含むことができ、皮膚領域画像は、少なくとも部分的に、埋め込み型データに基づいて、処理されることができる。

別の実装では、カスタム化粧品調合を自動的に決定することは、較正された皮膚色情報を参照ユーザに合致させることを含み、参照ユーザは、それと関連付けられる事前に決定された化粧品調合を有する。カスタム化粧品調合の自動決定は、少なくとも部分的に、化粧品成分アレルギーのユーザによる指示に基づくことができる。動作はさらに、ユーザがカスタム化粧品調合に基づいて混ぜ合わせられた外用剤を購入することを可能にすることを含むことができる。

一側面では、カスタム化粧品調合を決定する方法は、画像センサを有するデバイスを使用して、１つまたは複数の画像の捕捉を通じてユーザを相互作用的に誘導するステップであって、各画像は、ユーザの皮膚領域を含む、ステップと、皮膚領域画像を処理し、較正された皮膚色情報を提供するステップと、較正された皮膚色情報をグランドトゥルースデータセットと比較し、グランドトゥルースデータセットにおける最も近い既知の値のセットを識別するステップと、比較に基づいて、ユーザのためにカスタム化粧品調合を自動的に決定するステップとを含む。カスタム化粧品調合は、（ｉ）最も近い既知の値のセットに対する、較正された皮膚色情報の相対的近接性に基づいて、導出される一意の化合物と、（ｉｉ）既存の化粧品製品とのうちの少なくとも１つを含む。

一実装では、皮膚領域画像を処理するステップは、皮膚領域画像のうちの少なくとも１つのために、少なくとも１つの皮膚領域画像内の複数の顔領域を検出するステップと、皮膚の色合いに基づいて、顔領域を区画化するステップと、皮膚の色合い、影、鏡面ハイライトのうちの少なくとも１つに基づいて、色を各顔領域区画に割り当てるステップとを含む。

別の実装では、皮膚領域画像のうちの少なくとも１つと関連付けられる周辺光情報は、受信され、少なくとも１つの皮膚領域画像は、少なくとも部分的に、周辺光情報に基づいて、処理される。

さらなる実装では、本方法はさらに、デバイスの画像センサを使用して、マーカーの画像の捕捉を通じてユーザを相互作用的に誘導するステップを含み、皮膚領域画像は、少なくとも部分的に、マーカー画像に基づいて、処理される。デバイスの画像センサの現在の設定は、マーカー画像の捕捉の成功に基づいて、記憶されることができる。デバイスの画像センサ設定は、露光、集点、および／またはホワイトバランスを含むことができる。皮膚領域画像は、記憶された画像センサ設定に基づいて、処理されることができる。皮膚領域画像を処理するステップは、未知の光源を補償するステップを含むことができる。

さらに別の実装では、皮膚領域は、手首、前額、左頬、右頬、および／または顔全体である。本方法はさらに、ユーザが既存の化粧品製品を購入することを可能にすることを含むことができる。本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、および／またはゲーム機であることができる。

別の側面では、カスタム化粧品調合を決定するためのシステムが、それ自体が、コンピュータ実行可能命令を記憶するためのメモリと、メモリ内に記憶された命令を実行するための処理ユニットとを含む、少なくとも１つのコンピュータを含む。命令の実行は、画像センサを有するデバイスを使用して、１つまたは複数の画像の捕捉を通じてユーザを相互作用的に誘導し、各画像は、ユーザの皮膚領域を含むことと、皮膚領域画像を処理し、較正された皮膚色情報を提供することと、較正された皮膚色情報をグランドトゥルースデータセットと比較し、グランドトゥルースデータセットにおける最も近い既知の値のセットを識別することと、比較に基づいて、ユーザのためにカスタム化粧品調合を自動的に決定することとを含む、動作を実施するようにコンピュータを構成する。カスタム化粧品調合は、（ｉ）最も近い既知の値のセットに対して較正された皮膚色情報の相対的近接性に基づいて、導出される一意の化合物と、（ｉｉ）既存の化粧品製品とのうちの少なくとも１つを含む。

一実装では、皮膚領域画像を処理することは、皮膚領域画像のうちの少なくとも１つのために、少なくとも１つの皮膚領域画像内の複数の顔領域を検出することと、皮膚の色合いに基づいて、顔領域を区画化することと、皮膚の色合い、影、および鏡面ハイライトのうちの少なくとも１つに基づいて、色を各顔領域区画に割り当てることとを含む。

別の実装では、皮膚領域画像のうちの少なくとも１つと関連付けられる周辺光情報は、受信され、少なくとも１つの皮膚領域画像は、少なくとも部分的に、周辺光情報に基づいて、処理される。

さらなる実装では、動作はさらに、デバイスの画像センサを使用して、マーカーの画像の捕捉を通じてユーザを相互作用的に誘導することを含み、皮膚領域画像は、少なくとも部分的に、マーカー画像に基づいて、処理される。デバイスの画像センサの現在の設定は、マーカー画像の捕捉の成功に基づいて、記憶されることができる。デバイスの画像センサ設定は、露光、集点および／またはホワイトバランスを含むことができる。皮膚領域画像は、記憶された画像センサ設定に基づいて、処理されることができる。皮膚領域画像を処理することは、未知の光源を補償することを含むことができる。

さらに別の実装では、皮膚領域は、手首、前額、左頬、右頬、および／または顔全体である。動作はさらに、ユーザが既存の化粧品製品を購入することを可能にすることを含むことができる。本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、および／またはゲーム機であることができる。

一側面では、画像センサを有するデバイスを使用して、物体の正確な色を捕捉する方法は、既知のサイズを有するマーカーを使用して、デバイスの複数の設定を較正するステップと、複数の物体の表面それぞれの色を測定するステップと、測定された色に基づいて、物体の表面反射率を決定するステップと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変動を決定するステップとを含む。複数の表面は、皮膚の領域を含むことができ、本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、またはゲーム機であることができる。マーカーは、既知の反射率を有することができる。

一実装では、本デバイスを較正するステップは、ユーザに、マーカーを実質的に白地上に配置するように指図するステップを含む。本デバイスを較正するステップは、実質的に白地の捕捉画像に基づいて、本デバイスの開口、感度、露光時間、およびホワイトバランスのうちの少なくとも１つを設定するステップを含むことができる。本デバイスを較正するステップはまた、デバイスの画像センサと関連付けられる光を既知の輝度に設定するステップを含むことができる。さらに、本デバイスを較正するステップは、ユーザを相互作用的に誘導し、マーカーの表面から具体的な距離にデバイスの画像センサを位置付けるステップを含むことができる。さらに、本デバイスを較正するステップは、マーカーの表面から具体的な距離におけるデバイスの画像センサの位置付けに応じて、本デバイスの設定のうちの少なくとも１つをロックするステップを含むことができる。本デバイスの設定は、自動露光、自動集点および／または自動ホワイトバランスであることができる。本デバイスのロックされた設定は、物体の表面のそれぞれの色を測定する間、適用されることができる。

別の実装では、物体の表面の色を測定するステップは、ユーザに、物体の表面に近接してマーカーを配置するように指図するステップを含む。物体の表面の色を測定するステップはまた、ユーザを相互作用的に誘導し、相互に対してデバイスの画像センサおよび物体を位置付け、較正標的に合致させるステップを含むことができる。相互作用誘導は、音声指図を含むことができる。物体の表面の色を測定するステップはさらに、マーカーから具体的な距離におけるデバイスの画像センサの位置付けに応じて、物体の表面の色を捕捉するステップを含むことができる。

さらなる実装では、物体の表面反射率を決定するステップは、捕捉された色を物体の表面反射率に転換するステップを含む。

別の側面では、物体の正確な色を捕捉するためのシステムは、それ自体が、コンピュータ実行可能命令を記憶するためのメモリと、メモリ内に記憶された命令を実行するための処理ユニットとを含む、少なくとも１つのコンピュータを含む。命令の実行は、既知のサイズを有するマーカーを使用して、デバイス（画像センサを有し得る）の複数の設定を較正することと、複数の物体の表面それぞれの色を測定することと、測定された色に基づいて、物体の表面反射率を決定することと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変動を決定することとを含む、動作を実施するようにコンピュータを構成する。複数の表面は、皮膚の領域を含むことができ、本デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、またはゲーム機であることができる。マーカーは、既知の反射率を有することができる。

一実装では、本デバイスを較正することは、ユーザに、マーカーを実質的に白地上に配置するように指図することを含む。本デバイスを較正することは、実質的に白地の捕捉画像に基づいて、本デバイスの開口、感度、露光時間、およびホワイトバランスのうちの少なくとも１つを設定することを含むことができる。本デバイスを較正することはまた、デバイスの画像センサと関連付けられる光を既知の輝度に設定することを含むことができる。さらに、本デバイスを較正することは、ユーザを相互作用的に誘導し、マーカーの表面から具体的な距離にデバイスの画像センサを位置付けることを含むことができる。さらに、本デバイスを較正することは、マーカーの表面から具体的な距離におけるデバイスの画像センサの位置付けに応じて、本デバイスの設定のうちの少なくとも１つをロックすることを含むことができる。本デバイスの設定は、自動露光、自動集点および／または自動ホワイトバランスであることができる。本デバイスのロックされた設定は、物体の表面のそれぞれの色を測定する間、適用されることができる。

別の実装では、物体の表面の色を測定することは、ユーザに、物体の表面に近接してマーカーを配置するように指図することを含む。物体の表面の色を測定することはまた、ユーザを相互作用的に誘導し、相互に対してデバイスの画像センサおよび物体を位置付け、較正標的に合致させることを含むことができる。相互作用誘導は、音声指図を含むことができる。物体の表面の色を測定することはさらに、マーカーから具体的な距離におけるデバイスの画像センサの位置付けに応じて、物体の表面の色を捕捉することを含むことができる。

さらなる実装では、物体の表面反射率を決定することは、捕捉された色を物体の表面反射率に転換することを含む。

本発明の他の側面および利点は、実施例にすぎず、それらの全てが本発明の原理を例証する、以下の図面、詳細な説明、および請求項から明白になるであろう。

本発明のより完全な認識およびその多くの付随する利点は、それが、付随の図面に関連して考慮されるとき、以下の詳細な説明に参照することによってより深く理解されるようになるにつれて、容易に取得されるであろう。図面では、同一参照特徴は、概して、異なる図全体を通して、同一の部分を指す。さらに、図面は、必ずしも、縮尺通りではなく、代わりに、概して、本発明の原理を例証するように強調されている。
図１は、本発明の実装による、最適化された外用剤をユーザに提供するための例示的方法のフローチャートである。 図２は、本発明の実装による、最適化された外用剤をユーザに提供するための例示的システムの高レベルアーキテクチャ図である。 図３Ａ−３Ｄは、本発明の実装による、画像センサを伴うデバイスを使用する、皮膚色を捕捉するための例示的方法のフローチャートである。 図３Ａ−３Ｄは、本発明の実装による、画像センサを伴うデバイスを使用する、皮膚色を捕捉するための例示的方法のフローチャートである。 図３Ａ−３Ｄは、本発明の実装による、画像センサを伴うデバイスを使用する、皮膚色を捕捉するための例示的方法のフローチャートである。 図３Ａ−３Ｄは、本発明の実装による、画像センサを伴うデバイスを使用する、皮膚色を捕捉するための例示的方法のフローチャートである。 図４Ａ−４Ｅは、本発明の実装による、顔領域を含有する画像を分析するための例示的方法のフローチャートである。 図４Ａ−４Ｅは、本発明の実装による、顔領域を含有する画像を分析するための例示的方法のフローチャートである。 図４Ａ−４Ｅは、本発明の実装による、顔領域を含有する画像を分析するための例示的方法のフローチャートである。 図４Ａ−４Ｅは、本発明の実装による、顔領域を含有する画像を分析するための例示的方法のフローチャートである。 図４Ａ−４Ｅは、本発明の実装による、顔領域を含有する画像を分析するための例示的方法のフローチャートである。

（詳細な説明）
本明細書に説明されるのは、例えば、携帯電話、タブレット、ウェブカメラ、デジタルカメラ、ゲーム機、テレビ、スマートグラス、および画像センサを有する他の消費者または専門家用デバイスで撮影される写真に適用される画像分析技術を使用して、特定の個々の特徴のために最適化された外用剤を具体化かつ調合するためのシステムおよび方法の種々の実装である。

（最適化美容保護的外用剤）
一実装では、「ＯＡＰＴＡ」と省略される、「最適化美容保護的外用剤」と本明細書に称される、カスタム外用剤のための仕様を生成させるシステムが、提供される。ＯＡＰＴＡは、「ユーザ」と本明細書に称される具体的な個人のクライアントの必要性および特徴のために調合される。ＯＡＰＴＡは、可能性として考えられる成分のセットを含むことができる。セットは、所与のユーザのほとんどの必要性を満たすために、十分に多いことができる。いくつかの事例では、少数の成分のみが、ユーザのためにＯＡＰＴＡの具体的な調合において使用される。ＯＡＰＴＡの成分（ＯＡＰＴＡ成分セット）は、限定ではないが、
１．外用基剤、水、エマルション、ゲル、ガム
２．保湿剤
３．紫外線（ＵＶ）濾過剤
４．不透過（隠蔽）剤
５．色制御剤
６．反射（光沢、艶消し、乳白光）制御剤
７．抗炎症剤（例えば、アロエ等）
８．保護剤（例えば、ビタミンＥ等）
を含むことができる。

（ＯＡＰＴＡサービス）
図１を参照すると、一実装では、ＯＡＰＴＡは、以下の高レベルステップを使用して、ユーザに提供される。簡潔性および明確性のために、ＯＡＰＴＡをユーザに提供する全てのステップの集合は、本明細書において、「サービス」と称されるであろう。ステップ１０２では、ユーザは、例えば、本システムへアクセスを提供するユーザ名およびパスワードを使用して、識別される。ユーザが本システムを事前に使用していなかった場合、ユーザは、新しいアカウントをセットアップするために、登録に進むことができる（ステップ１０４）。ユーザの詳細（例えば、名前、住所等）は、次いで、ユーザデータベース１５０内に記憶されることができる。いったんユーザが本システムによって識別されると（例えば、ログインされる）、データが、ユーザの必要性を決定するために、収集されることができる（ステップ１０６）（例えば、ユーザが所望の化粧品を示すことを可能にする、ユーザが任意のアレルギーを規定することを可能にする、皮膚画像を捕捉する等）。データ収集ステップは、直接対面での専門家の相談等の専門家サービスを使用して、実施されることができ（ステップ１０８）、または、代替として、消費者デバイス（例えば、携帯電話、タブレット、または他のデバイス）のアプリケーションを使用して、写真を撮影することによって、ユーザ自身によって実施されることができ（ステップ１１０）、これは、次いで、色精度、品質、および他の特性に関して、写真を自動的に有効にするであろう（ステップ１１２）。専門家サービスおよび／またはデバイスアプリケーションによって捕捉される情報は、後の参照および再使用のためにユーザデータベース１５０内に記憶されることができる。

データ収集（または、事前に収集されたデータへの参照）後、ステップ１１４は、ＯＡＰＴＡの成分が上記に説明されるもの等の構成要素を使用して具体化される、ＯＡＰＴＡ仕様を提供する。ステップ１１６では、ＯＡＰＴＡ仕様に基づいて、ＯＡＰＴＡを調合かつ／または製造するための命令が、生成される。ユーザが、アプリケーションを使用して、ＯＡＰＴＡを生成させる場合、アプリケーションは、作成されたカスタム製品を表示することができ（ステップ１１８）、ユーザが、製品をショッピングカート内に入れ（ステップ１２０）、それを購入する（ステップ１２２）ことを可能にする。生成された調合命令は、次いで、ＯＡＰＴＡを混ぜ合わせる、または調合に合致する事前に作製されたＯＡＰＴＡを選択するために、使用されることができる（ステップ１２４）。ＯＡＰＴＡは、次いで、ユーザに送達されることができ（ステップ１２６）、フィードバックが、随意に、ユーザの必要性が満たされたかどうかを決定するために、収集されることができる（ステップ１２８）。

（ＯＡＰＴＡシステム）
一実装では、ＯＡＰＴＡをユーザに提供するシステム２００が、成分およびサービスのセットで構成される。システム２００は、システム２００における種々のＯＡＰＴＡサービスによる使用のために上記に説明されるもの等の共有ＯＡＰＴＡ成分セット２１０を含むことができる。少なくとも１つのＯＡＰＴＡ参照サービス２２０は、参照使用の収集およびＯＡＰＴＡメタデータ２３０の構築のために、ＯＡＰＴＡの作成を促進することができる。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同一の様式でユーザデータを収集し、付加的ユーザデータを収集し、最適なＯＡＰＴＡ仕様を調合することができる。

ＯＡＰＴＡメタデータ２４０は、ＯＡＰＴＡ生産サービス２４０から収集されたユーザデータのＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡ仕様へのマップピングを可能にする形態で、ＯＡＰＴＡ参照サービス２２０から収集されたユーザデータの集合体である。少なくとも１つのＯＡＰＴＡ生産サービス２４０は、少なくとも１つのＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡメタデータ２３０を使用して、ＯＡＰＴＡ仕様の作成を提供する。ＯＡＰＴＡシステムフィードバック２５０は、ＯＡＰＴＡ成分セット２１０を修正または変更する、ならびに／あるいはＯＡＰＴＡ生産サービス２４０の仕様、調合、および混ぜ合わせ２６０を修正するために、少なくとも１つのＯＡＰＴＡ参照サービス２２０および少なくとも１つのＯＡＰＴＡ生産サービス２４０からＯＡＰＴＡフィードバックの収集を提供する。

（共有ＯＡＰＴＡ成分セット）
共有ＯＡＰＴＡ成分セット２１０は、下記に説明されるように具体化されることができ、さらに、共有ＯＡＰＴＡ成分セット２１０は、同様に、本明細書に説明されるＯＡＰＴＡシステム内で機能する種々の好適な様式で、具体化されることができることを認識されたい。皮膚科医、エステティシャン、および化粧品カラリストから成る群は、本明細書では、「ＯＡＰＴＡ専門家群」と称される。一実装では、共有ＯＡＰＴＡ成分セット２１０は、ＯＡＰＴＡ専門家群によって具体化される。共有ＯＡＰＴＡ成分セット２１０は、最初に、完全セットとして、次いで、相互に併用され得る、これらの成分を示す関連のセットとして具体化されることができる。例えば、着色剤のセットが、具体的な外用基剤を用いてのみ使用可能であると具体化されることができる、またはより不透過度を提供するために、ともに作用する成分の群が、ともに使用されると、最も効果的であると示されることができる。同様に、あるアレルギーを伴うユーザに最良であるこれらの項目の群は、識別かつタグ付けされることができる。

成分のこの最初のマップピングは、ＯＡＰＴＡ生産サービス２４０の仕様記述法のためにデータを提供し、本明細書では、「仕様ヒント」と称されるであろう。一実装では、仕様ヒントは、無向グラフとして表され、これは、最小のスパニング木のセットに変換される。どの成分がともに使用されることができるかを発見するために、無向グラフを評価するよりも、最小のスパニング木を横断する方がより高速であることを認識されたい。この変換の後に、共有ＯＡＰＴＡ成分セット２１０における単一の項目が、仕様ヒントを構成する複数のスパニング木によって参照されることができる。最初の作成の後に、仕様ヒントは、ＯＡＰＴＡシステムフィードバック２５０によって更新または発見され、かつＯＡＰＴＡ専門家群によって修正されることができる。

（ＯＡＰＴＡ参照サービス）
ＯＡＰＴＡ参照サービス２２０は、共有ＯＡＰＴＡ成分セット２１０が具体化された後に、構築されることができる。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０を構築するために必要とされるＯＡＰＴＡメタデータ２３０を作る。一実装では、ＯＡＰＴＡ参照サービス２２０は、専門家サービスとして構成される。別の実装では、ＯＡＰＴＡ参照サービス２２０は、オンラインビジネスおよび小売店として構成される。専門家サービスとしてのＯＡＰＴＡ参照サービス２２０の実装は、下記の説明における実施例として使用される。

（参照ユーザ識別）
専門家サービスとして、ＯＡＰＴＡ参照サービス２２０は、ユーザ識別を管理するために、最良の実践を使用することができる。これに加えて、また、参照サービス２２０が、匿名であり、ユーザを識別しない形式で、ユーザデータを収集かつ記憶することを可能にし、ＯＡＰＴＡメタデータ２３０を構築するために使用され得る、個人情報保護方針および情報使用方針を実装することができる。合意もまた、システム２００の生産成分のユーザが、類似するＯＡＰＴＡ製品の必要性を有する具体的な参照ユーザ（有名人等）を識別し得るように、いくつかの考慮点に基づいて、ＯＡＰＴＡシステム２００によって使用されるデータのために行われることができる。

（参照ユーザデータ収集）
ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同一のデータ収集を使用することができる。加えて、このデータは、ＯＡＰＴＡ専門家群によって具体化されるような収集方法で拡張されることができる。

（一般的サービスデータ収集）
一実装では、サービスデータ収集は、類似する特徴を有し、類似する情報収集およびメディアディスプレイ特性を有する様式において製造されたモバイルデバイスのセット上でアプリケーションを使用する。モバイルアプリケーションは、データを収集するために、ユーザに一連のステップを踏ませることができる。例えば、アプリケーションは、具体的な必要性またはアレルギーを有しているかどうかをユーザに質問することができる。アプリケーションは、どのステップを次に実施するのか、ユーザに命令するビデオを示すことができる、および／またはモバイルゲームのコンテキストを使用し、データを取得かつ最適化することができる。モバイルデバイスは、一致データを各収集から提供するために、選択されることができ、アプリケーションは、構築されることができる。一致画像データ収集は、以下の方法の１つまたは複数のものを使用して、実施されることができる。

１．一実施例では、既知の特徴を伴う製造されたトークンまたはマーカー（例えば、新しいドル紙幣、新しい２５セント硬貨、または製造され、ユーザに送信される、マーカーの一部）が、使用される。モバイルデバイスアプリケーションが、ユーザに、マーカー単独の一部および／またはユーザの皮膚に隣接するマーカーの写真を撮影するように命令することができる。画像は、ＯＡＰＴＡサービス（使用されるマーカーに基づいて較正される）に送信され、必要なデータは、画像から生成される。

２．別の実施例では、参照色チャートが、ユーザデバイス画面上に投影され、ユーザは、同一フレーム内に皮膚と参照色チャートとの両方を捕捉する鏡内の写真を撮影するように命令される。画像は、ＯＡＰＴＡサービス（使用されるマーカーに基づいて較正される）に送信され、必要なデータは、画像から生成される。

３．さらなるデータ収集実施例では、モバイルデバイスの内部フラッシュが、光源として使用され、ユーザは、具体的な様式で皮膚の写真を撮影するように命令される。画像は、ＯＡＰＴＡサービス（焦点距離を含む、本デバイスからのフラッシュおよびＥｘｉｆデータに基づいて較正される）に送信され、必要なデータは、画像から生成される。

４．別の実施例では、ＯＡＰＴＡ製品を発送するために使用される包装が、モバイルデバイスを保持し、遮光体を提供し、ユーザの皮膚からの具体的な距離を画定する様式において設計される。ユーザは、具体的な様式で皮膚の写真を撮影するように命令される。画像は、ＯＡＰＴＡデータ収集サービス（焦点距離を含む、本デバイスからのフラッシュおよびエグジフデータに基づいて較正される）に送信され、必要なデータは、画像から生成される
５．さらに別の実施例では、画像が、ソフトウェアがカメラを制御することを可能にする、モバイルデバイスのアプリケーションによって捕捉されることができる。本デバイス上で実行するソフトウェアは、本デバイス上に常駐するフラッシュまたは光のみを使用するように、本デバイスを設定することができる、および／または、また、画像が撮影される時間まで、本デバイス上で顔検出を使用することができる。画像は、例えば、ユーザの顔までの距離が既知の距離の範囲内にある、および／またはユーザの顔が中心に置かれ、合焦されるとき、撮影されることができる。モバイルデバイス上で実行するソフトウェアはまた、リアルタイムビデオ捕捉を使用し、周辺光（フラッシュを使用しない）の量を決定することができ、音声またはテキストプロンプトを使用し、ユーザに光を変更する方法を相互作用的に示唆することができる。デジタル写真がフラッシュで撮影される前に、ビデオモードで検出される周辺光に関する情報が、処理のために、画像とともに送信されることができる。加えて、１つは、周辺光を伴い、１つは、フラッシュを伴う、２つの画像が、迅速に連続して撮影されることができる。

ここで、モバイルデバイス上のカメラおよび光を使用して正確な皮膚色を捕捉するステップが、さらに詳細に説明されるであろう。本発明の技術は、主に、正確な皮膚色を捕捉することに関して説明されるが、特に、比色計を使用するであろう状況において、他の用途も可能であることを認識されたい。図３Ａは、モバイルデバイスまたは画像センサを伴う他のデバイスを使用して、皮膚色を捕捉するためのプロセスの一実装を描写する。ステップ３１０では、本デバイスは、白または実質的に白地上に既知のサイズのマーカーを使用して、較正される。ステップ３３０では、本システムは、マーカーに隣接する物体の表面（例えば、皮膚領域）の色を測定する。ステップ３５０では、既知のサイズの物体の色が、測定され、ステップ３７０では、本システムは、ステップ３３０および／またはステップ３５０において見出される輝度に基づいて、物体の表面の色の変動を測定する。

ここで図３Ｂを参照すると、デバイス較正ステップ３１０が、さらに詳細に示される。いくつかの実装では、本デバイスを較正するステップは、既知のサイズおよび既知の反射率のソフトウェア検出可能物体（「マーカー」）が白または実質的に白地上に配置される、設定を要求する。この設定は、製造されることができ、例えば、製品包装の一部である、または皮膚ケア製品等の包装された製品内に含まれることができる。代替として、この設定は、コピー機／プリンタ用紙の２つのシート等の既知の特性を伴う白地または実質的に白地上に、コイン等の一般的物体または周知の特性を有する物体を配置することによって作られることができる。較正のために使用される距離は、周辺光の影響を低減させるために、測定される表面に十分に近接して決定されることができる。

ステップ３１２では、本デバイス上のソフトウェアアプリケーションが、ユーザ設定に較正のために使用される設定を配置または構築するように指図する。ソフトウェアは、本デバイス上のカメラのための具体的なビデオまたは画像捕捉モードを設定し、カメラと関連付けられる光を既知の輝度に設定することができる（ステップ３１４）。本デバイス上のソフトウェアは、視野上のマーカーの捕捉画像を相互作用的に示すことができ（ステップ３１６）、マーカーおよびハイライトを検出する、またはユーザのためにマーカーの位置の輪郭を描くことができる（ステップ３１８）。いくつかの実装では、マーカーの位置は、ソフトウェアが白地を使用し、本デバイスの開口、感度、露光時間、およびホワイトバランスを設定するようにオフセットされる。

ステップ３２０では、ソフトウェアは、具体的な距離に位置付けられる本デバイスのカメラをもたらすであろう、マーカーのための所望のサイズおよび位置を示す、または強調する。このサイズおよび位置は、本明細書では、「較正標的」と称される。ソフトウェアは、ユーザに、強調されたマーカーを較正標的と合致させるように相互作用的に指図することができる（ステップ３２２）。ユーザが、マーカーを較正標的と合致させるように本デバイスを位置付けるとき、ソフトウェアは、本デバイスに、自動露光、自動集点、および自動ホワイトバランスをロックさせることができる（ステップ３２４）。このロックは、開口、感度、シャッター速度、集点、およびホワイトバランスを既知の反射率を伴う表面に対して事前決定された距離に効果的に較正する。設定の白色点（および他のデータ）は、後続のセッションを較正するために、記録かつ使用されることができる（ステップ３２６）。

ここで図３Ｃを参照すると、隣接表面色測定ステップ３３０が、さらに詳細に示される。一実装では、物体の色を測定するステップは、本デバイスのカメラから物体の表面の表面までの距離が設定される、または少なくとも把握されることを必要とする。物体サイズが固定されない場合、これは、較正ステップにおいて使用される同一のもののマーカーを測定される表面に隣接して配置することによって、行われることができる。

ステップ３３２では、本デバイス上のソフトウェアは、ユーザに、マーカーを測定される表面に隣接して、またはその上に配置するように指図する。ステップ３３４では、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成する。ソフトウェアは、物体に隣接するマーカーの捕捉画像を相互作用的に示し（ステップ３３６）、積分かつ測定される物体の表面積の輪郭（すなわち、「見本」）を示すステップ（ステップ３３８）を含むことができる。ステップ３４０では、ソフトウェアは、見本の中で見出された色を積分し、相互作用的に見出された色を示すことができる。ソフトウェアはまた、マーカーを検出し、相互作用的に、ユーザのためにマーカーの位置を強調する、またはその輪郭を描くことができる（ステップ３４２）。マーカーの位置は、見本が白色点を較正するために使用される捕捉画像の領域に合致するように、オフセットされることができる。

ステップ３４４では、ソフトウェアは、ユーザに、強調されたマーカーを較正標的と合致させるように相互作用的に指図する。ユーザが、マーカーを較正標的と合致させるように本デバイスを位置付けるとき、ソフトウェアは、物体の生色値として見本の積分された色を記録することができる（ステップ３４６）。ソフトウェアは、既知の技術を使用し、見出されたホワイトバランスおよび本デバイスの特徴に関する記憶されたデータを適用させ、見出された物体の生色値を物体の表面反射率に転換することができる（ステップ３４８）。

ここで図３Ｄを参照すると、物体色測定ステップ３５０が、さらに詳細に示される。測定される物体が既知のサイズまたは既知のサイズの特徴を有する場合、これらの特徴のサイズは、測定される物体までの本デバイスのカメラの距離を決定するために使用されることができる。例えば、皮膚色を測定する際、ユーザの手首の幅またはユーザの瞳孔間距離が、ユーザの皮膚までの本デバイスのカメラの距離を検出するために使用されることができる。

ステップ３５２では、本デバイス上のソフトウェアは、ユーザに、カメラを物体（例えば、手首、顔、頬、前額、または他の皮膚領域）に向けるように、および物体をある位置に保持し、ディスプレイ上の輪郭に合致させるように、指図する。ステップ３５４では、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成する。ソフトウェアは、手首または他の物体の捕捉画像を相互作用的に示すことができ、見出された手首の幅を強調する（ステップ３５６）。ソフトウェアはさらに、積分かつ測定される物体の表面積の輪郭（すなわち、見本）を示すことができる（ステップ３５８）。ステップ３６０では、ソフトウェアは、見本の中で見出された色を積分し、見出された色をユーザに相互作用的に示すことができる。

ソフトウェアは、マーカーを検出し、ユーザのために相互作用的に手首の位置を強調する、またはその輪郭を描くことができ（ステップ３６２）、また、較正距離を合致させるために、手首の標的位置を相互作用的に強調する、またはその輪郭を描くことができる（ステップ３６４）。ソフトウェアはさらに、ユーザに、強調されたマーカーを較正標的と合致させるように相互作用的に指図することができる（ステップ３６６）。ユーザが、手首を手首の標的と合致させるように本デバイスを位置付けるとき、ソフトウェアは、手首の生色値として見本の積分された色を記録することができる（ステップ３６８）。ステップ３７０では、ソフトウェアは、既知の技術を使用し、見出されたホワイトバランスおよび本デバイスの特徴に関する記憶されたデータを適用させ、見出された手首の生色値を物体の表面反射率に転換することができる。

ここで図３Ａに戻り、ステップ３７０を参照すると、物体の表面色の変動は、物体の全体の反射率が把握され、本デバイスが較正されていて、物体の色の一部が把握されるとき、測定されることができる。例えば、人の内側かつ外側の手首の色が把握され、人の前額の色が瞳孔間距離を使用して検出される場合、皮膚の色合いの変動は、積分された反射率が既知の値に合致するように、本デバイスを位置付けることによって測定されることができる。

（顔領域検出）
一実装では、本システムは、ユーザのためにカスタム外用剤を調合するステップの一部として、ユーザの顔またはユーザの顔の一部を含有する画像に、処理を実施する。図４Ａに示されるように、顔領域検出が、画像に実施され（ステップ４００）、較正された色および反射率情報が、提供される（ステップ４２０）。色区画化（ステップ４４０）、顔領域色割当（ステップ４６０）、および最終顔領域色較正（ステップ４８０）もまた、下記にさらに説明されるように、実施されることができる。

いくつかの実装では、いったん画像がＯＡＰＴＡデータ収集サービスによって受信されると、較正された色および反射率情報を提供するために処理される。較正プロセスを補助するために、顔領域検出プロセス（ステップ４００）が、使用されることができる。例えば、オープンソースおよび他の技術が、デジタル写真における顔、目、口、および鼻の位置を検出するために存在する。参照のために、Ｈａａｒ Ｃａｓｃａｄｅ Ｃｌａｓｓｉｆｉｅｒが、顔の特徴を検出するために構築された訓練セットと併用されることができる。この機能性を提供するために使用され得る、１つのソフトウェアパッケージおよび関連付けられた訓練セットが、ＯｐｅｎＣＶ（ｏｐｅｎｃｖ．ｏｒｇ）において見出される。

上記に説明されるもの等の好適な手順によって決定された顔の特徴の位置を使用して、既存のオープンソースおよび他の技術が、デジタル写真における別々の顔の特徴の位置を検出するために使用されることができる。参照のために、大規模な訓練セットとともに開発された動的形状モデルが、使用されることができる。この機能性を証明するために使用され得る、１つのソフトウェアパッケージおよび関連付けられたデータは、ｓｔａｓｍ ｌｉｂｒａｒｙである。

したがって、上記に決定される別々の顔の特徴点は、多角形領域のセットに組み立てられることができる。一実装では、顔は、７７つの認識される特徴点を含むが、任意の好適な数の特徴点および領域が、使用されることができる。認識される領域は、限定ではないが、
・顔（全ての領域を含む）
・前額
・右頬
・左頬
・鼻
・鼻梁
・口（両方の唇を含む）
・顎
・右眉
・左眉
・右目
・左目
・上唇
・下唇
を含むことができる。

（色較正）
図４Ｂは、さらに詳細に、ステップ４２０、すなわち、捕捉画像を使用して、較正された色および反射率情報を提供するための方法の一実装を描写する。ステップ４２２では、画像は、較正であり、マーカーは、使用される場合、認識かつマスクされる。画像は、ＹＵＶ色空間に変換され（ステップ４２４）、ＵＶ画像成分の２Ｄヒストグラムが、構築される（ステップ４２６）。続くステップ４２８では、２Ｄ区画化が、ハイライト、体色、およびスポット色を表す色のセットを見出すために、ＵＶヒストグラムに実施される。Ｙ画像成分の輝度ヒストグラムが、構築され（ステップ４３０）、１Ｄ区画化が、体色の反射率、ハイライト反射の振幅（光沢度）、および影輝度を表す輝度セットを見出すために、輝度ヒストグラムに実施される（ステップ４３２）。次いで、ステップ４３４では、較正されたｎ次元ベクトルが、組み合わせられたＵＶおよび輝度セットを使用して、構築される。このベクトルは、以下、「ｎ色ベクトル」と称される。留意すべきことは、ｎ色ベクトルは、皮膚光沢度および色の変動を表すデータ（斑点）を含有することができる。

別の実装では、デジタル写真が、少なくとも部分的に、ＪＰＥＧ圧縮において見出されるＩＦＤタグまたは交換可能画像ファイル形式（Ｅｘｉｆ）データ等のデジタル写真に埋め込まれたデータに基づいて、較正されることができる。写真を撮影するために使用される本デバイスの特徴は、色を事前に較正するために、使用されることができる。カメラからユーザの顔まで距離は、本明細書に説明されるもの等、顔の特徴検出によって見出される眼間距離によって決定されることができる。輝度、フラッシュ特徴等のデジタル写真に埋め込まれた撮影データは、画像の輝度を調節するために、カメラからの距離と組み合わせられることができる。さらに、周辺光情報または周辺光画像等の、撮影時に本デバイス上に常駐するソフトウェアによって送信される付加的データが、周辺光のために、正確に着色するために使用されることができる。

（色区画化）
いくつかの実装では、色区画化は、デジタル写真の処理の一部として実施される。色区画化を実施するための方法の一実装（ステップ４４０）が、図４Ｃに示される。ステップ４４２では、デジタル写真は、皮膚の色合いを識別するために必要とされる分解能に合致するより小さいサイズに再サンプリングされる。サイズは、主要な顔領域の寸法によって決定されることができ、例えば、サイズは、新しいサンプルの高さ＝（画像高さ＊１２８）／ｓｑｒｔ（画素単位における顔領域の面積）として計算されることができる。この再サンプリングされた写真は、以下、「区画化画像」と称される。

区画化画像は、例えば、ＲＧＢ表現から皮膚の色合い主成分表現に皮膚色を転換する３×３マトリクス転換を使用して、色空間に変換されることができる（ステップ４４４）。皮膚の色合い主成分空間は、本明細書では、「ＳＴＰＣＡ」と称されるであろう。この転換は、マッチングデバイス（例えば、特定の携帯電話）を用いて、種々のユーザによって撮影されるデジタル写真から皮膚の色合いの多数のＲＧＢ色に、主成分分析を実施することによって見出されることができる。この画像は、「ＰＣＡ区画化画像」と称されるであろう。主成分分析は、ベクトルのセットの次元性を低下させる周知の方法である。

ＰＣＡ区画化画像の主成分チャネル（チャネル０）は、バンドパスフィルタ等の付加的フィルタを適用することによって、区画化のために準備される（ステップ４４６）。ステップ４４８では、区画化は、分岐点転換等の周知の技術を使用することによって実施されることができる。結果として生じる画像は、本明細書では、「区画化標識画像」と称される。次いで、各区画化標識画像領域内のＰＣＡ区画化画像チャネル０の最明画素が、ＳＴＰＣＡ値を各区画化標識領域に割り当てるために使用されることができる（ステップ４５０）。

（顔領域色割当）
ここで図４Ｄを参照すると、顔領域の描写を前提として、領域のために皮膚の色合いを決定するための一実装（すなわち、ステップ４６０）は、以下のとおりである。ステップ４６２では、領域マスクが、例えば、黒色背景上の白色多角形として領域を描くことによって、顔領域のために生成される。上記に説明される色区画化プロセスによって作られる区画化標識画像は、「顔領域標識画像」を作るために、領域マスクによってマスクされる（ステップ４６４）。次いで、ステップ４６６では、顔領域標識画像内の区画化標識領域は、面積によって、かつ影および鏡面ハイライトを表すＳＴＰＣＡ値から標識領域の割り当てられたＳＴＰＣＡ値の距離を最大化することによって、グレード分けされる。次いで、最良のグレードを伴う、区画化標識領域に関するＳＴＰＣＡ値は、「顔領域色」として具体化される（ステップ４６８）。

（最終顔領域色較正および付加的データ）
最終顔領域色較正（ステップ４８０）が、図４Ｅに示されるように、以下のステップを使用して、実施されることができる。ステップ４８２では、目のための顔領域色が、決定され、割り当てられ、特に、目の強膜のためにグレーレベルが、決定される。ステップ４８４では、目領域内の鏡面反射の区画化は、フラッシュが点灯されたかどうか、および他の点の光源が存在したかどうかを決定するために使用されることができる（下記のさらなる説明参照）。鏡面反射サブ領域は、顔領域毎に検出され、「光沢度」値が、全体の領域サイズに対するそのサイズに基づいて、顔領域毎に決定される（ステップ４８６）。目のための光沢度計量もまた、他の領域を較正するために使用されることができる。

ＳＴＰＣＡ値、グレーレベル、および光沢度値の最終転換が、中間形態ではなく、化粧品製品を製造するために使用される物質特徴に、直接転換されることができる（ステップ４８８）。さらに、ＲＧＢまたはＬＡＢ色空間へのＳＴＰＣＡの転換が、ユーザのための可視化のために実施されることができる。これらは、グレーレベルおよび光沢度値によって調節される元のＰＣＡマトリクスの修正されたバージョンを使用して、実施されることができる。

上記に言及されるように、顔領域色較正は、目領域内の鏡面反射の評価に基づいて、光源（カメラフラッシュ等の既知の源以外の）の有無および色を決定するステップを伴うことができる。一実装では、このプロセスは、以下のステップを含む。
１．デジタル写真から赤色チャネルを減算するステップ
２．高周波数の比較的小さい画素数（例えば、およそ２画素）および低周波数のより大きい画素数（例えば、およそ５または６画素）のバンドパスフィルタを用いて、細部を除去するステップ
３．ヒストグラムを結果に実施し、ヒストグラムが有する、画素集合の９９パーセントにおける閾値を用いて、それによって、最高輝度部の全てを決定するステップ
４．光のためのマスクを作成するために、約２０画素だけ最高輝度部を拡張するステップ
５．別のバンドパスフィルタを高周波の約１０画素および低周波数の約２０画素において結果と生じる画像に適用し、より広い特徴を有する画像をもたらし、目の虹彩を引き出すステップを含むステップ
６．発見されたハイライトを用いて、約１０画素だけ目の暗い部分を拡張し、虹彩の逆または目の暗い部分の交差点をもたらすステップ
７．最初の入力を用いて目の中の輝点（すなわち、光の反射）を閾値化するステップ
８．結果と生じる点を使用し、入力画像の元の色をマスクし、これまで未知であった光源が存在するかどうか決定するステップ
９．任意の発見された未知の光源を減算し、色較正するステップ
を含む。

（参照サービス専用ユーザデータ収集）
一般的サービスデータ収集は、参照ＯＡＰＴＡ仕様においてＯＡＰＴＡ専門家群を補助する付加的データ収集によって拡張されることができる。一実装では、このデータは、
１．可視光、ＩＲ、およびＵＶ色分光学的データ
２．双方向反射率データ
３．具体的な顔の皮膚部位の顕微鏡写真
４．Ｒａｍａｎ分光光度計、質量分光光度計、または他の器具を使用する、表皮油または残留物の分析
５．インタビューによる一般的サービスデータ収集によって提供される拡張データ
のうちの１つまたは複数のものを含む。

（参照ＯＡＰＴＡ仕様）
ＯＡＰＴＡ専門家群は、参照ユーザデータ収集に基づいて、ユーザのためのカスタムＯＡＰＴＡを行う際、使用される成分および量を具体化することができる。仕様および参照ユーザデータは、ＯＡＰＴＡメタデータ２３０へのエントリを作成するためにコンパイルされることができる。

（参照ＯＡＰＴＡ調合）
ＯＡＰＴＡ専門家群は、成分を組み合わせ、ＯＡＰＴＡ製品を作製するために使用される順序および方法を具体化する、命令のセットを提供することができる。この命令のセットは、ＯＡＰＴＡメタデータ２３０への現在のエントリに追加されることができる。

（参照ＯＡＰＴＡ混ぜ合わせ）
一実装では、ＯＡＰＴＡ製品は、ＯＡＰＴＡ調合２６０に基づいて、手動で混ぜ合わせられる。別の実装では、調合命令および共有ＯＡＰＴＡ成分セット２１０の精査が、調合命令に基づいて、ＯＡＰＴＡ製品を自動的に混ぜ合わせるであろう、デバイスを構築するために使用される。

（参照ＯＡＰＴＡ送達）
一実装では、ＯＡＰＴＡ製品は、ユーザの敷地と同一の場所において混ぜ合わせられた後に、かつ本システムのユーザの使用の間、そこに送達される。別の実装では、ＯＡＰＴＡ製品は、別の場所において混ぜ合わせられ、ユーザに発送される。

（参照ＯＡＰＴＡ収集）
一実装では、収集は、専門家サービスを介した請求書を通して達成される。別の実装では、支払情報は、一般的サービスデータ収集の一部として収集され、支払は、ＯＡＰＴＡ送達で収集される。

（参照ＯＡＰＴＡフィードバック）
一実装では、ユーザフィードバックが、ＯＡＰＴＡ製品が送達かつ試験された後のインタビューを通して収集される。別の実装では、フィードバック情報が、一般的サービスデータ収集のために使用されるモバイルアプリケーションによって収集される。

（ＯＡＰＴＡメタデータ）
一実装では、ＯＡＰＴＡメタデータ２３０は、
１．共通サービスデータ
ａ．ユーザＩＤ
ｂ．地理的領域
ｃ．性別
ｄ．生年月日
ｅ．日付
ｆ．組み合わせられたベクトル
ｉ．紫外線放射暴露
ｉｉ．アレルギーベクトル
ｉｉｉ．ｎ色ベクトル
２．参照具体的データ
ａ．皮膚色スペクトル
ｂ．双方向反射率データ
ｃ．具体的な顔の皮膚部位の顕微鏡写真
ｄ．皮膚表面油指標
３．参照仕様
４．参照調合命令
５．仕様ヒントにおいて見出されるスパニング木のためのタグ
のデータフィールドのうちの１つまたは複数のものを含む。

組み合わせられたベクトルは、ｎ空間内の点として考えられることができる。各成分の大きさが、システム全体にわたるその有意性に対して正規化される。

いくつかの実装では、参照データは、例えば、既知のＯＡＰＴＡが正確に調合されことができる皮膚色、反射率、アレルギー、および／または本明細書に参照される他のデータに関する定義された値を含む、１つまたは複数のグランドトゥルースデータセットを含むことができる。言い換えれば、グランドトゥルースデータセットにおける具体的な値のセットに関して、これらの値のために最適化された事前に定義された外用剤が存在する可能性がある。事前に定義された外用剤はまた、競合他社の商業的提供物等の既存の製品に類似する、またはそれと同一である可能性がある。したがって、ユーザのために最適なＯＡＰＴＡを決定するための１つのプロセスは、グランドトゥルースデータセット値を用いて、ユーザの捕捉皮膚データの相対的近接性を決定し、近接性における最も近いデータセット値を選択することであり得る。したがって、これらの最も近い値に対応するＯＡＰＴＡまたは既存の製品は、ユーザのために選択された一意の化合物であることができる。

（ＯＡＰＴＡ生産サービス）
ＯＡＰＴＡ生産サービス２４０は、十分な数の記録がＯＡＰＴＡメタデータ２３０に収集され、参照サービスＯＡＰＴＡ混ぜ合わせ手段が自動化された後に、構成されることができる。

（生産ユーザ識別）
ＯＡＰＴＡ生産サービス２４０は、ユーザが、モバイルアプリケーションを購入し、初めてアプリケーションを起動するとき、ユーザ識別を作成し、かつそれを管理し始める。サービスは、ユーザデータを保持するためにデータストアを作成し、ユーザ識別に基づいてデータの読み出しを提供する。ユーザ識別はまた、発送および請求書の情報を含有することができる。

（生産ユーザデータ収集）
ＯＡＰＴＡ生産サービス２４０は、ＯＡＰＴＡ参照サービス２２０に関して前述に説明される一般的サービスデータ収集を使用することができる。所与のセッションのためのユーザの一般的サービスデータが、生産ユーザ識別を用いて記憶される。

（生産ＯＡＰＴＡ仕様および調合）
ＯＡＰＴＡ生産サービス２４０は、仕様を合成するＯＡＰＴＡ参照サービス２２０によって生成された、ＯＡＰＴＡメタデータ２３０を使用する。例えば、上記に説明されるように集められ、処理される顔の画像データに基づいて、特定のユーザの顔色は、（例えば、実際の参照ユーザ、グランドトゥルースデータセット等に基づいて）化粧品調合がすでに定義された既存の参照顔色に合致されることができる。アレルギー等のユーザに一意である特性が、特定の調合がユーザと互換性があるであろうかどうかを決定する際、検討されることができる。本システムによって導出された新しい調合が、後の使用のための参照として保存されることができる。

一実装では、ＯＡＰＴＡ製品を処理かつ注文するために、本システムは、ユーザの生産ユーザ識別にリンクされるユーザの現在の一般的サービスデータを取得し、ＯＡＰＴＡメタデータ２３０における一般的サービスデータの組み合わせられたベクトルに対する最も近い合致を決定する。組み合わせられたベクトルと最も近い合致との間の距離があまりに離れている場合、ユーザは、参照ユーザとなるように促されることを所望するかどうかどうかクエリが行われ、現在の注文を終了することができる。

本システムは、したがって、第１の合致のスパニング木タグによってフィルタされる次の最も近い合致を特定することができ、幾何学的代数または特異値分解を使用し、超平面を説明する第３のフィルタ合致点を見出すことができる。組み合わせられたベクトルと超平面の表面との間の距離があまりに離れている場合、ユーザは、参照ユーザとなるように促されることを所望するかどうかどうかクエリが行われ、現在の注文を終了することができる。見出された参照点毎に、混合値が決定され、仕様が、最も近い合致に共通する成分毎に混合値を追加することによって構築される。最終的に、最も近い合致のＯＡＰＴＡメタデータからの調合が、ユーザに適した調合として選択される。

（生産ＯＡＰＴＡ混ぜ合わせ）
本システムは、本明細書に説明されるＯＡＰＴＡ参照サービス２２０の実装によって具体化される、自動化混ぜ合わせ方法を使用することができる。一実装では、これは、共有リソースである。別の実装では、類似する自動化機器を伴う複数の場所が存在し、ユーザの地理的場所に最も近い場所が、選ばれる。

ＯＡＰＴＡ製品は、ユーザが、カスタム調合が決定されることを可能にする、本明細書に説明されるステップを通して進んだ後に、要求に応じて混ぜ合わせられることができる。加えて、または代替として、ＯＡＰＴＡ製品は、調合から送達までのより高速のターンアラウンド時間を提供するために、事前に混ぜ合わせられることができる（例えば、最も一般的調合が、混ぜ合わせられ、かつ保管されることができる）。いくつかの実装では、本システムによって決定された調合は、他のベンダおよびブランドからの既存の製品にマッピングされる。例えば、調合、成分、色、および／または他の製品の他の既知の特性に基づいて、本システムは、ユーザの調合を他の製品と比較し、最も類似する、または類似度の閾値（例えば、７５％、８０％、９０％等）を満たすものを決定することができる。一実施例として、本システムは、ユーザのファンデーションがＡｒｍａｎｉファンデーションに８８％合致し、Ｌ’Ｏｒｅａｌファンデーションに８２％合致することを決定することができる。本システムはまた、ユーザのカスタム調合に加えて、またはその代替として、他の合致された製品をユーザに表示し、ユーザがそれらを購入することを可能にすることができる。

（製品ＯＡＰＴＡ送達、収集、およびフィードバック）
ＯＡＰＴＡ製品は、ＯＡＰＴＡ製品が混ぜ合わせられ、および／または貯蔵され得る、自動化された混ぜ合わせられた場所、倉庫、小売店、または他の場所からユーザに発送されることができる。ユーザは、本システムに利用可能である生産ユーザ識別情報を使用して、発送に応じて、請求されることができる。一実装では、ユーザは、一般的サービスデータ収集の役割を果たすモバイルアプリケーションを使用して、フィードバックおよび他のデータを提供することが可能である。

（ＯＡＰＴＡシステムフィードバック）
一実装では、ＯＡＰＴＡシステム２００は、生産ＯＡＰＴＡフィードバック２５０の精査を促進し、任意の重大なフィードバックをＯＡＰＴＡメタデータ２３０の一般的サービスデータと組み合わせられたベクトル空間の間隙と比較するように構成される。システム２００は、空間があまりにまばらである場合、解からの許容可能最大距離を調節し、生産ユーザを参照ユーザにアップグレードし、モデルの間隙を埋めることができる。

ＯＡＰＴＡシステム２００の実装は、適切なハードウェアまたはソフトウェアを使用することができ、例えば、ＯＡＰＴＡシステム２００は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ＯＳ Ｘ^(R)オペレーティングシステム、Ａｐｐｌｅ ｉＯＳ^(R)プラットフォーム、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ^ＴＭプラットフォーム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、およびＵＮＩＸ（登録商標）オペレーティングシステム等の他の変形例等のオペレーティングシステムを起動することが可能である、システム上で実行することができる。

説明される機能性のいくつかまたは全ては、ユーザデバイス上のソフトウェアおよび／またはハードウェアにおいて実装されることができる。ユーザデバイスは、限定ではないが、本明細書に説明される機能性を実行することができる汎用目的のコンピュータまたは特殊目的のハードウェアデバイスとして動作される、スマートフォン、スマートウォッチ、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲーム用デバイス、音楽プレーヤ、携帯電話、ラップトップ、小型電卓、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、ワイヤレスデバイス、情報機器、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、あるいは他のコンピューティングデバイスを含むことができる。例えば、ソフトウェアは、処理ユニット、システムメモリ、およびシステムメモリを処理ユニットに含む種々のシステム構成要素を結合するシステムバスを含む、コンピュータの形態において汎用目的のコンピューティングデバイス上に実装されることができる。

加えて、または代替として、機能性のいくつかまたは全ては、遠隔で、クラウドにおいて、またはサービス型ソフトウェアを介して、実施されることができる。例えば、マッチング機能は、上記に説明されるように、ユーザデバイスと通信する、１つまたは複数の遠隔サーバあるいは他のデバイス上に実施されることができる。遠隔機能性は、十分なメモリ、データストレージ、および処理能力を有し、サーバクラスオペレーティングシステム（例えば、オペレーティングシステムのＯｒａｃｌｅ(R)Ｓｏｌａｒｉｓ(R)、ＧＮＵ／Ｌｉｎｕｘ（登録商標）、およびＭｉｃｒｏｓｏｆｔ(R)Ｗｉｎｄｏｗｓ（登録商標）ｆａｍｉｌｙ）を起動する、サーバクラスコンピュータ上で実行することができる。

本システムは、メモリ内に記憶され、プロセッサ上に実行される、複数のソフトウェア処理モジュールを含むことができる。例証として、プログラムモジュールは、プロセッサまたは複数のプロセッサが命令を実行することを可能にするために、機械語またはオブジェクトコードに変換される、１つまたは複数の好適なプログラミング言語の形態であることができる。ソフトウェアは、好適なプログラミング言語またはフレームワークにおいて実装される、独立型アプリケーションの形態であることができる。

本明細書に説明される技術の方法ステップは、入力データに作用し、出力を生成することによって機能を実施するために、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサによって実施されることができる。方法ステップはまた、特殊目的の論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途集積回路）によって実施されることができ、装置が、それとして実装されることができる。モジュールは、その機能性を実装するコンピュータプログラムおよび／またはプロセッサ／特殊回路の部分を指すことができる。

コンピュータプログラムの実行のために好適なプロセッサは、実施例として、汎用および特殊目的のマイクロプロセッサの両方を含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリあるいはそれら両方から命令およびデータを受信するであろう。コンピュータの不可欠要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つまたは複数のメモリデバイスとである。コンピュータプログラム命令およびデータを具現化するために好適である情報担体は、例示的半導体メモリデバイスとして、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク（例えば、内蔵ハードディスクまたはリムーバルディスク）、光磁気ディスク、ならびにＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む、不揮発性メモリの全ての形態を含む。１つまたは複数のメモリは、メディアアセット（例えば、オーディオ、ビデオ、グラフィックス、インターフェース要素、および／または他のメディアファイル）、構成ファイル、ならびに／またはプロセッサによって実行されるとき、モジュール、エンジン、および本明細書に説明される他の構成要素を形成し、その構成要素と関連付けられる機能性を実施する、命令を記憶することができる。プロセッサおよびメモリは、特殊目的の論理回路によって補完され、またはそれに組み込まれることができる。

種々の実装では、ユーザデバイスは、本明細書に説明される機能性の実行を促進する、ウェブブラウザ、ネイティブアプリケーション、またはそれら両方を含む。ウェブブラウザは、本デバイスが、ウェブページ要求とともに、（例えば、サーバから）ウェブページまたはダウンロード可能プログラム、アプレット、あるいはドキュメントを要求することを可能にする。ウェブページの一実施例は、表示、実行、再生、処理、ストリーミング、および／または記憶されることができ、かつ他のウェブページへのリンクまたはポインタを含有することができる、コンピュータ実行可能または解釈可能情報、グラフィックス、サウンド、テキスト、および／あるいはビデオを含む、データファイルである。一実装では、本デバイスのユーザは、サーバからウェブページを手動で要求する。代替として、本デバイスは、ウェブブラウザを用いて自動的に要求を行う。商業的に利用可能であるウェブブラウザソフトウェアの実施例は、Ｍｉｃｒｏｓｏｆｔ^(R)Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ^(R)、Ｍｏｚｉｌｌａ^(R)Ｆｉｒｅｆｏｘ^(R)、およびＡｐｐｌｅ^(R)Ｓａｆａｒｉ^(R)を含む。

いくつかの実装では、ユーザデバイスは、クライアントソフトウェアを含む。クライアントソフトウェアは、機能性を本明細書に説明される特徴の実装および実行を提供する本デバイスに提供する。クライアントソフトウェアは、種々の形態で実装されることができ、例えば、ネイティブアプリケーション、ウェブページ、ウィジェット、および／またはＪａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、．Ｎｅｔ、Ｓｉｌｖｅｒｌｉｇｈｔ、Ｆｌａｓｈ、ならびに／あるいは本デバイスにダウンロードされ、ウェブブラウザと併せて実行する、他のアプレットまたはプラグインの形態であることができる。クライアントソフトウェアおよびウェブブラウザは、単一のクライアントサーバインターフェースの一部であることができ、例えば、クライアントソフトウェアは、ウェブブラウザあるいは別のフレームワークまたはオペレーティングシステムへのプラグインとして実装されることができる。限定ではないが、ウィジェットフレームワークおよびアプレット技術を含む、他の好適なクライアントソフトウェアアーキテクチャもまた、クライアントソフトウェアとともに採用されることができる。

通信ネットワークが、デバイスを１つまたは複数のサーバと、および／または相互に接続することができる。通信は、例えば、標準的電話線、ＬＡＮ、またはＷＡＮリンク（例えば、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、ワイヤレスリンク（８０２．１１（Ｗｉ−Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ等）等の媒体を経由して行うことができる。他の通信媒体も、可能である。ネットワークは、ＴＣＰ／ＩＰプロトコル通信およびウェブブラウザによって行われるＨＴＴＰ／ＨＴＴＰＳ要求を搬送することができ、クライアントとサーバとの間の接続は、そのようなＴＣＰ／ＩＰネットワークを経由して通信されることができる。他の通信プロトコルも、可能である。

本システムはまた、タスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実施される、分散型コンピューティング環境において実践されることができる。分散型コンピューティング環境では、プログラムモジュールは、メモリストレージデバイスを含むローカルと遠隔コンピュータストレージ媒体との両方に位置することができる。本明細書に説明されるもの以外のタイプのシステムハードウェアおよびソフトウェアもまた、本デバイスの容量およびデータ処理能力の要求の量に応じて、使用されることができる。本システムはまた、上記に言及されるもの等のバーチャルオペレーティングシステムを実行する１つまたは複数のバーチャルマシーン上に実装され、本明細書に説明されるもの等のハードウェアを有する１つまたは複数のコンピュータ上で動作することができる。

ある場合には、関係または他の構造データベースは、例えば、処理をするためのデータを記憶するデータベース管理システムとして、そのような機能性を提供することができる。データベースの実施例は、ＯＲＡＣＬＥ Ｃｏｒｐ．（Ｒｅｄｗｏｏｄ Ｓｈｏｒｅｓ，Ｃａｌｉｆｏｒｎｉａ）によってもたらされるＭｙＳＱＬデータベースサーバまたはＯｒａｃｌｅデータベースサーバ、ＰｏｓｔｇｒｅＳＱＬ Ｇｌｏｂａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｒｏｕｐ（Ｂｅｒｋｅｌｅｙ，Ｃａｌｉｆｏｒｎｉａ）によるＰｏｓｔｇｒｅＳＱＬデータベースサーバ、あるいはＩＢＭによってもたらされるＤＢ２データベースサーバを含む。

また、本システムおよび方法の実装は、１つまたは複数の製造品上またはその中に具現化される１つまたは複数のコンピュータ可読プログラムとして提供され得ることに留意されたい。プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために、伝送のための情報を好適な受信機装置にエンコードするために生成される、機械的に生成された電気、光学、または電磁気信号上にエンコードされることができる。コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいはそれらのうちの１つまたは複数のものの組み合わせである、またはそれらの中に含まれることができる。さらに、コンピュータストレージ媒体は、伝搬信号ではないが、コンピュータストレージ媒体は、人工的に生成された伝搬信号内にエンコードされるコンピュータプログラム命令のソースまたはリンク先であることができる。コンピュータストレージ媒体はまた、１つまたは複数の別個の物理的な構成要素あるいは媒体（例えば、複数のＣＤ、ディスク、または他のストレージデバイス）である、またはその中に含まれることができる。

本発明のある実装が、上記に説明された。しかしながら、本発明は、これらの実装に限定されず、本明細書に明示的に説明されたものへの追加および修正もまた本発明の範囲内に含まれることが意図されることを明示的に留意されたい。さらに、本発明の精神および範囲から逸脱することなく、そのような組み合わせまたは順列が本明細書において明示的に行われなかった場合でも、本明細書に説明される種々の実装の特徴が、相互に排他的ではなかった、種々の組み合わせおよび順列において存在することができることを理解されたい。実際に、本明細書に説明されたものの変形例、修正、および他の実装が、本発明の精神および範囲から逸脱することなく、当業者に想起されるであろう。したがって、本発明は、前述の例証的説明によってのみ定義されない。

Claims (74)

1. カスタム化粧品調合を決定する方法であって、前記方法は、
   既知の光および色特性を用いて、皮膚領域の画像を捕捉するようにユーザを誘導することと、
   較正された皮膚色情報を提供するように前記画像を処理することと、
   前記較正された皮膚色情報に基づいて、前記ユーザのためにカスタム化粧品調合を自動的に決定することと
   を含む、方法。
2. 前記皮膚領域画像は、画像センサを含むデバイスから受信される、請求項１に記載の方法。
3. 前記デバイスの画像センサを使用して、複数の皮膚領域画像の捕捉を通じて前記ユーザを相互作用的に誘導することをさらに含む、請求項２に記載の方法。
4. 前記デバイスの画像センサを使用して、マーカーの画像の捕捉を通じて前記ユーザを相互作用的に誘導することをさらに含み、前記皮膚領域画像は、前記捕捉されたマーカー画像に少なくとも部分的に基づいて、処理される、請求項２に記載の方法。
5. 前記デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、およびゲーム機から成る群から選択される、請求項２に記載の方法。
6. 前記皮膚領域画像は、前記デバイスおよび前記画像センサのうちの少なくとも１つの特性を識別する埋め込み型データを含み、さらに、前記皮膚領域画像は、前記埋め込み型データに少なくとも部分的に基づいて、処理される、請求項２に記載の方法。
7. 前記カスタム化粧品調合を自動的に決定することは、前記較正された皮膚色情報を参照ユーザに合致させることを含み、前記参照ユーザは、前記参照ユーザと関連付けられた事前に決定された化粧品調合を有する、請求項１に記載の方法。
8. 前記カスタム化粧品調合の自動決定は、化粧品成分に対するアレルギーのユーザによる指示に少なくとも部分的に基づく、請求項１に記載の方法。
9. 前記カスタム化粧品調合に基づいて、外用剤を混ぜ合わせることをさらに含む、請求項１に記載の方法。
10. 前記外用剤を前記ユーザに送達することをさらに含む、請求項９に記載の方法。
11. 前記ユーザが前記カスタム化粧品調合に基づいて混ぜ合わせられた外用剤を購入することを可能にすることをさらに含む、請求項１に記載の方法。
12. 前記皮膚領域は、前記ユーザの顔領域を含む、請求項１に記載の方法。
13. カスタム化粧品調合を決定するためのシステムであって、前記システムは、
    コンピュータ実行可能命令を記憶するためのメモリと、前記メモリ内に記憶された前記命令を実行するための処理ユニットとを備える少なくとも１つのコンピュータを備え、前記命令の実行は、
    既知の光および色特性を用いて、皮膚領域の画像を捕捉するようにユーザを誘導することと、
    較正された皮膚色情報を提供するように前記画像を処理することと、
    前記較正された皮膚色情報に基づいて、前記ユーザのためにカスタム化粧品調合を自動的に決定することと
    を含む動作を実施するように前記コンピュータを構成する、システム。
14. 前記皮膚領域画像は、画像センサを備えるデバイスから受信される、請求項１３に記載のシステム。
15. 前記動作はさらに、前記デバイスの画像センサを使用して、複数の皮膚領域画像の捕捉を通じて前記ユーザを相互作用的に誘導することを含む、請求項１４に記載のシステム。
16. 前記動作はさらに、前記デバイスの画像センサを使用して、マーカーの画像の捕捉を通じて前記ユーザを相互作用的に誘導することを含み、さらに、前記皮膚領域画像は、前記捕捉されたマーカー画像に少なくとも部分的に基づいて、処理される、請求項１４に記載のシステム。
17. 前記デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、およびゲーム機から成る群から選択される、請求項１４に記載のシステム。
18. 前記皮膚領域画像は、前記デバイスおよび前記画像センサのうちの少なくとも１つの特性を識別する埋め込み型データを備え、さらに、前記皮膚領域画像は、前記埋め込み型データに少なくとも部分的に基づいて、処理される、請求項１４に記載のシステム。
19. 前記カスタム化粧品調合を自動的に決定することは、前記較正された皮膚色情報を参照ユーザに合致させることを含み、前記参照ユーザは、前記参照ユーザと関連付けられた事前に決定された化粧品調合を有する、請求項１３に記載のシステム。
20. 前記カスタム化粧品調合の自動決定は、化粧品成分に対するアレルギーのユーザによる指示に少なくとも部分的に基づく、請求項１３に記載のシステム。
21. 前記動作はさらに、前記ユーザが前記カスタム化粧品調合に基づいて混ぜ合わせられた外用剤を購入することを可能にすることを含む、請求項１３に記載のシステム。
22. 前記皮膚領域は、前記ユーザの顔領域を備える、請求項１３に記載のシステム。
23. カスタム化粧品調合を決定する方法であって、前記方法は、
    画像センサを有するデバイスを使用して、１つまたは複数の画像の捕捉を通じてユーザを相互作用的に誘導することであって、各画像は、前記ユーザの皮膚領域を含む、ことと、
    較正された皮膚色情報を提供するように前記皮膚領域画像を処理することと、
    前記較正された皮膚色情報をグランドトゥルースデータセットと比較することにより、前記グランドトゥルースデータセットにおける最も近い既知の値のセットを識別することと、
    前記比較に基づいて、前記ユーザのためにカスタム化粧品調合を自動的に決定することであって、前記カスタム化粧品調合は、
    （ｉ）前記最も近い既知の値のセットに対する、較正された皮膚色情報の相対的近接性に基づいて導出される一意の化合物と、
    （ｉｉ）既存の化粧品製品と
    のうちの少なくとも１つを含む、ことと
    を含む、方法。
24. 前記皮膚領域画像を処理することは、前記皮膚領域画像のうちの少なくとも１つに対して、
    前記少なくとも１つの皮膚領域画像内の複数の顔領域を検出することと、
    皮膚の色合いに基づいて、前記顔領域を区画化することと、
    皮膚の色合い、影、および鏡面ハイライトのうちの少なくとも１つに基づいて、色を各顔領域区画に割り当てることと
    を含む、請求項２３に記載の方法。
25. 前記皮膚領域画像のうちの少なくとも１つと関連付けられる周辺光情報を受信することをさらに含み、前記少なくとも１つの皮膚領域画像は、前記周辺光情報に少なくとも部分的に基づいて、処理される、請求項２３に記載の方法。
26. 前記デバイスの画像センサを使用して、マーカーの画像の捕捉を通じて前記ユーザを相互作用的に誘導することをさらに備え、前記皮膚領域画像は、前記マーカー画像に少なくとも部分的に基づいて、処理される、請求項２３に記載の方法。
27. 前記マーカー画像の捕捉の成功に基づいて、前記デバイスの画像センサの現在の設定を記憶することをさらに含む、請求項２６に記載の方法。
28. 前記デバイスの画像センサ設定は、露光、集点、およびホワイトバランスのうちの少なくとも１つを含む、請求項２７に記載の方法。
29. 前記皮膚領域画像は、前記記憶された画像センサ設定に基づいて、処理される、請求項２７に記載の方法。
30. 前記皮膚領域画像を処理することは、未知の光源を補償することを含む、請求項２３に記載の方法。
31. 前記皮膚領域は、手首、前額、左頬、右頬、および顔全体から成る群から選択される、請求項２３に記載の方法。
32. 前記ユーザが前記既存の化粧品製品を購入することを可能にすることをさらに含む、請求項２３に記載の方法。
33. 前記デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、およびゲーム機から成る群から選択される、請求項２３に記載の方法。
34. カスタム化粧品調合を決定するためのシステムであって、前記システムは、
    コンピュータ実行可能命令を記憶するためのメモリと、前記メモリ内に記憶された前記命令を実行するための処理ユニットとを備える少なくとも１つのコンピュータを備え、前記命令の実行は、
    画像センサを有するデバイスを使用して、１つまたは複数の画像の捕捉を通じてユーザを相互作用的に誘導することであって、各画像は、前記ユーザの皮膚領域を含む、ことと、
    較正された皮膚色情報を提供するように前記皮膚領域画像を処理することと、
    前記較正された皮膚色情報をグランドトゥルースデータセットと比較することにより、前記グランドトゥルースデータセットにおける最も近い既知の値のセットを識別することと、
    前記比較に基づいて、前記ユーザのためにカスタム化粧品調合を自動的に決定することであって、前記カスタム化粧品調合は、
    （ｉ）前記最も近い既知の値のセットに対する、較正された皮膚色情報の相対的近接性に基づいて導出される一意の化合物と、
    （ｉｉ）既存の化粧品製品と
    のうちの少なくとも１つを備える、ことと
    を含む動作を実施するように前記コンピュータを構成する、システム。
35. 前記皮膚領域画像を処理することは、前記皮膚領域画像のうちの少なくとも１つに対して、
    前記少なくとも１つの皮膚領域画像内の複数の顔領域を検出することと、
    皮膚の色合いに基づいて、前記顔領域を区画化することと、
    皮膚の色合い、影、および鏡面ハイライトのうちの少なくとも１つに基づいて、色を各顔領域区画に割り当てることと
    を含む、請求項３４に記載のシステム。
36. 前記動作はさらに、前記皮膚領域画像のうちの少なくとも１つと関連付けられる周辺光情報を受信することを含み、さらに、前記少なくとも１つの皮膚領域画像は、前記周辺光情報に少なくとも部分的に基づいて、処理される、請求項３４に記載のシステム。
37. 前記動作はさらに、前記デバイスの画像センサを使用して、マーカーの画像の捕捉を通じて前記ユーザを相互作用的に誘導することを含み、前記皮膚領域画像は、前記マーカー画像に少なくとも部分的に基づいて、処理される、請求項３４に記載のシステム。
38. 前記動作はさらに、前記マーカー画像の捕捉の成功に基づいて、前記デバイスの画像センサの現在の設定を記憶することを含む、請求項３７に記載のシステム。
39. 前記デバイスの画像センサ設定は、露光、集点、およびホワイトバランスのうちの少なくとも１つを含む、請求項３８に記載のシステム。
40. 前記皮膚領域画像は、前記記憶された画像センサ設定に基づいて、処理される、請求項３８に記載のシステム。
41. 前記皮膚領域画像を処理することは、未知の光源を補償することを含む、請求項３４に記載のシステム。
42. 前記皮膚領域は、手首、前額、左頬、右頬、および顔全体から成る群から選択される、請求項３４に記載のシステム。
43. 前記動作はさらに、前記ユーザが前記既存の化粧品製品を購入することを可能にすることを含む、請求項３４に記載のシステム。
44. 前記デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、およびゲーム機から成る群から選択される、請求項３４に記載のシステム。
45. 画像センサを有するデバイスを使用して、物体の正確な色を捕捉する方法であって、前記方法は、
    既知のサイズを有するマーカーを使用して、前記デバイスの複数の設定を較正することと、
    前記物体の複数の表面のそれぞれの色を測定することと、
    前記測定された色に基づいて、前記物体の表面反射率を決定することと、
    前記較正された設定、前記測定された表面色、および前記物体の表面反射率に基づいて、前記物体の表面色の変動を決定することと
    を含む、方法。
46. 前記複数の表面は、皮膚の領域を含む、請求項４５に記載の方法。
47. 前記デバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、およびゲーム機から成る群から選択される、請求項４５に記載の方法。
48. 前記マーカーは、既知の反射率を備える、請求項４５に記載の方法。
49. 前記デバイスを較正することは、ユーザに、前記マーカーを実質的白地上に配置するように指図することを含む、請求項４５に記載の方法。
50. 前記デバイスを較正することは、前記実質的白地の捕捉画像に基づいて、前記デバイスの開口、感度、露光時間、およびホワイトバランスのうちの少なくとも１つを設定することを含む、請求項４９に記載の方法。
51. 前記デバイスを較正することは、前記デバイスの画像センサと関連付けられる光を既知の輝度に設定することを含む、請求項４５に記載の方法。
52. 前記デバイスを較正することは、前記マーカーの表面から特定の距離に前記デバイスの画像センサを位置付けるようにユーザを相互作用的に誘導することを含む、請求項４５に記載の方法。
53. 前記デバイスを較正することは、前記マーカーの表面から前記特定の距離における前記デバイスの画像センサの位置付けに応じて、前記デバイスの設定のうちの少なくとも１つをロックすることを含む、請求項５２に記載の方法。
54. 前記デバイスの設定は、自動露光、自動集点、および自動ホワイトバランスから成る群から選択される、請求項５３に記載の方法。
55. 前記デバイスの前記ロックされた設定は、前記物体の表面のそれぞれの色を測定する間、適用される、請求項５３に記載の方法。
56. 前記物体の表面の色を測定することは、ユーザに、前記物体の表面に近接して前記マーカーを配置するように指図することを含む、請求項４５に記載の方法。
57. 前記物体の表面の色を測定することは、ユーザを相互作用的に誘導し、前記デバイスの画像センサおよび前記物体を相互に対して位置付け、較正標的に合致させることを含む、請求項４５に記載の方法。
58. 前記相互作用誘導は、音声指図を含む、請求項５７に記載の方法。
59. 前記物体の表面の色を測定することは、前記マーカーから特定の距離における前記デバイスの画像センサの位置付けに応じて、前記物体の表面の色を捕捉することを含む、請求項４５に記載の方法。
60. 前記物体の表面反射率を決定することは、前記捕捉された色を前記物体の表面反射率に転換することを含む、請求項５９に記載の方法。
61. 物体の正確な色を捕捉するためのシステムであって、前記システムは、
    コンピュータ実行可能命令を記憶するためのメモリと、前記メモリ内に記憶された前記命令を実行するための処理ユニットとを備える少なくとも１つのコンピュータを備え、前記命令の実行は、
    既知のサイズを有するマーカーを使用して、デバイスの複数の設定を較正することであって、前記デバイスは、画像センサを有する、ことと、
    前記物体の複数の表面のそれぞれの色を測定することと、
    前記測定された色に基づいて、前記物体の表面反射率を決定することと、
    前記較正された設定、前記測定された表面色、および前記物体の表面反射率に基づいて、前記物体の表面色の変動を決定することと
    を含む動作を実施するように前記コンピュータを構成する、システム。
62. 前記複数の表面は、皮膚の領域を含む、請求項６１に記載のシステム。
63. 前記マーカーは、既知の反射率を備える、請求項６１に記載のシステム。
64. 前記デバイスを較正することは、ユーザに、前記マーカーを実質的白地上に配置するように指図することを含む、請求項６１に記載のシステム。
65. 前記デバイスを較正することは、前記実質的白地の捕捉画像に基づいて、前記デバイスの開口、感度、露光時間、およびホワイトバランスのうちの少なくとも１つを設定することを含む、請求項６４に記載のシステム。
66. 前記デバイスを較正することは、前記デバイスの画像センサと関連付けられる光を既知の輝度に設定することを含む、請求項６１に記載のシステム。
67. 前記デバイスを較正することは、前記マーカーの表面から特定の距離に前記デバイスの画像センサを位置付けるようにユーザを相互作用的に誘導することを含む、請求項６１に記載のシステム。
68. 前記デバイスを較正することは、前記マーカーの表面から前記特定の距離における前記デバイスの画像センサの位置付けに応じて、前記デバイスの設定のうちの少なくとも１つをロックすることを含む、請求項６７に記載のシステム。
69. 前記デバイスの設定は、自動露光、自動集点、および自動ホワイトバランスから成る群から選択される、請求項６８に記載のシステム。
70. 前記デバイスの前記ロックされた設定は、前記物体の表面のそれぞれの色を測定する間、適用される、請求項６８に記載のシステム。
71. 前記物体の表面の色を測定することは、ユーザに、前記物体の表面に近接して前記マーカーを配置するように指図することを含む、請求項６１に記載のシステム。
72. 前記物体の表面の色を測定することは、ユーザを相互作用的に誘導し、前記デバイスの画像センサおよび前記物体を相互に対して位置付け、較正標的に合致させることを含む、請求項６１に記載のシステム。
73. 前記物体の表面の色を測定することは、前記マーカーから特定の距離における前記デバイスの画像センサの位置付けに応じて、前記物体の表面の色を捕捉することを含む、請求項６１に記載のシステム。
74. 前記物体の表面反射率を決定することは、前記捕捉された色を前記物体の表面反射率に転換することを含む、請求項７３に記載のシステム。
    

Images