JP2022523623A - ケラチン表面の特徴を決定するための方法及びシステム並びに前記ケラチン表面を処置するための方法及びシステム - Google Patents

Abstract

本出願は、ユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するための方法及びシステムに向けられ、この方法は、－ ケラチン表面の少なくとも１つの画像に対応するデータを受信するステップ、－ 少なくとも１つの機械学習モデルを前記画像に適用することにより、画像を処理するステップ、－ 決定されるケラチン表面の特徴のグレードに対応する少なくとも１つの数値を返すステップを含む。

Description

本発明は、ケラチン表面の少なくとも１つの特徴を決定するための方法及びシステム並びに前記ケラチン表面を処置するための方法及びシステムに関する。

本方法は、詳細には、人間の毛髪の評価及び処置に向けられ、より詳細には、例えば国際公開第２００４００２３００Ａ２号パンフレット及び米国特許第９３１６５８０Ｂ２号明細書に開示されるものなどの毛髪を脱色又は染色するための方法及びシステムに関する。

健康及び美容業界は、消費者体験を製品及びサービスで向上させるために技術の進歩を利用している。ユーザのニーズに合わせられ、且つその具体的な特質に適合した製品を提供するという大きいトレンドがある。このトレンドは、一般に、「パーソナライゼーション」と呼ばれる。

「パーソナライゼーション」は、いずれの身体の部分に関するものでもあり得るが、特に顔（メーキャップ又はケア製品、特にファンデーション）及び頭皮／毛髪（例えば、ケア又は染色製品）などの露出した身体の部分を対象とする。

ユーザの肌の少なくとも１つの特性に基づいてファンデーションメーキャップ製品を提供及び推奨することが知られている（ＬＡＮＣＯＭＥ（登録商標）による「Ｌｅ Ｔｅｉｎｔ Ｐａｒｔｉｃｕｌｉｅｒ」（登録商標）など）。毛髪の幾つかの特性に基づいてヘア製品を提供及び推奨することも知られている。

「パーソナライゼーション」は、それぞれユーザの専用カテゴリに対応する、程度の差はあるが広範囲の製品を単に提供することにとどまらず、その課題は、多くの場合、関心対象のユーザに対して、その個人の特質に応じて最も適切な製品を推奨できることである。

一般に、「パーソナライゼーション」は、前記ユーザに固有のデータを取得することを目的とする第１の診断ステップを含み、このデータは、その後、ユーザの関心対象の身体部分に施される適切な後続の処置及び／又は塗布される１つ若しくは複数の製品を決定するために使用される。

最近まで、これらのステップの一部又は全ては、多くの場合、美容師又は美容アドバイザーなどの専門家によって手作業で又は視覚的に行われてきた。例えば、ユーザに具体的なアンケートに回答してもらい、その回答を用いて、申し立てにより最も適した製品が決定される（例えば、（特許文献１））。当然のことながら、このような方法は、非常に変動しやすく且つ主観的なものであり、製品推奨の関連性及び信頼性の両方を向上させる一般的な必要性がある。

製品推奨の関連性及び信頼性を向上させるために、上記ステップの一部又は全ては、ツール及びデバイスを用いて行われ得、且つさらに自動化され得る。

例えば、ユーザの関心対象の身体部分からデータを取得することは、適切な処置又は製品を決定するために注意が払われる１つ又は複数の特定の特色を取得するための適切な測定デバイス（「読取装置」と呼ばれる）を用いた測定により行われ得る。このようなデバイスの一例は、Ｘ－ＲＩＴＥによって販売され、ユーザの肌の色データコードを返すことができるＣＡＰＳＵＲＥ読取装置である。

収集されたデータは、その後、様々な一連のルールに従い、最も適切な製品を決定するのに役立つコンピューティングユニットに（場合により他の追加のデータと共に）提供され得る。

収集されたデータに従って決定される後続の処置又は製品は、カタログから若しくはデータベースにおいて選択された既製品又はパーソナライズ製品であり得（マッチするファンデーション製品を見つけるための方法を開示する（特許文献２）又は（特許文献３）など）、その組成物は、以前に取得されたデータに基づいて決定されたものである。

推奨された製品は、その後、ユーザによって購入又は注文され得る。パーソナライズ製品（又はオーダーメード製品）の場合、前記パーソナライズ製品は、その場で、すなわち店又は美容院／ヘアサロンにおいて直接的にパーソナライズ組成物に従って複数の成分を混合し、前記組成物を分配することができるデバイスによって製造され得る。パーソナライズ製品は、後に配送されるようにユーザによって注文され得る。

このようなシステムの完全な一例として、上述の（特許文献４）は、毛髪のスペクトルを捕捉するように構成された光学式読取装置を用いた診断ステップを含む、ケラチン繊維のカスタマイズ処置を行う方法であって、前記スペクトルは、後続の毛髪処置組成物を算出するために使用され、適切な組成物は、その後、対応するデバイスによって作られ且つ分配される、方法を開示している。（特許文献５）も参照することができる。

上述の通り、信頼性があり、客観的であり、且つ関連性のあるデータをユーザから取得することが特に難しい場合がある。これは、固有の質感及び環境に起因して毛髪又は頭皮に特に当てはまる。

求められる所望の情報に応じて異なる技術が使用され得る。

（特許文献６）は、毛髪又は頭皮状態によって診断された診断信号に基づいて、以前に保存された毛髪又は頭皮サンプルと比較することにより、ユーザの毛髪又は頭皮の状態を客観的に診断するセンサユニットを含む毛髪及び頭皮状態診断デバイスを開示している。具体的には、このデバイスは、頭皮のエリアの画像を捕捉するための画像センサを含み得る。捕捉された画像は、その後、毛髪の数、直径などの毛髪の幾つかの特性を決定するために、例えば光強度認識、色認識又はコントラスト解析を用いた画像解析モジュールにより処理され得る。この文献は、毛髪及び頭皮が、コントラストが強く、そのため、画像において互いに明白に区別することができると記載しているが、実際には、毛髪は、それらが含有するメラニンのレベルにより、少なくとも部分的に半透明であるため、これが当てはまらないことが多い。これは、識別及び計数が最も難しい細い髪の毛、白髪及び金髪に特に言えることである。

本出願人の名義で出願された（特許文献７）は、毛髪の検出を向上させ、明るい色の髪の毛及び白髪をより良好に見つけ出すために、異なる複数の照明条件（白色光及び紫外線－青色光）下で写真を撮るステップを含む、頭皮及び／又は毛髪の状態を解析する方法も提案している。画像は、その後、具体的には補足的な方法でコントラスト解析により処理される。

（特許文献８）は、肌及び毛髪の成長状態を決定するために、頭皮のエリアなどの毛髪を示している肌表面を撮像するための方法を開示している。この方法は、異なる複数の視野角で関心対象の表面の写真を撮ることを含み、前記写真は、その後、肌表面から突き出ている毛髪の数、毛髪の太さ、毛髪の直径又は断面形状、表面から突き出ている毛髪の長さなどの特性を決定するために、コンピュータ解析によって潜在的に処理される。

（特許文献９）は、毛髪デンシトメータに関する。デンシトメータは、頭皮のエリアの拡大写真を撮ることによって機能する。画像中で目に見える毛髪は、技術者又は任意の適宜の自動化システムによって計数及び測定され得る。

決定される具体的な特色に応じて、画像を処理するために固有のアルゴリズムが開発されなければならない。このようなアルゴリズムは、高い計算能力を必要とし、それらが特定の特色に対して機能するためのものであるため、汎用性に欠け得る。毛髪の特性測定の特定のエリアにおいて、毛髪の性質自体がアルゴリズムの設計を特に難しくしている。

加えて、毛髪の染色又は脱色の特定のエリアにおいて、本来の毛髪の色の信頼性の高い正しい診断は、それが、取得される最終的な色に大きい影響を与えるため、最も重要である。通常、これは、ユーザの美容師などの専門家により、その専門知識に従って且つ異なる複数のヘアトーン及び毛髪の色を示すスケールを用いて視覚的に行われる。

２００３年の初めに、ＣＯＬＯＲＩＧＨＴ社（現在、Ｌ’ＯＲＥＡＬグループの一部）が、ユーザの毛髪の色に基づいて染毛剤組成物を決定及び準備するためのシステムを提案している。色データは、従来、分光光度計を用いて取得され、そのスペクトルを使用して適切な染毛剤組成物が算出され、最終的な染色結果が予測される。ＣＯＬＯＲＩＧＨＴの出願に関する追加情報として、前述の（特許文献１０）及び後続出願を参照することができる。その後に前述した（特許文献４）もグローバルシステムの説明として特に適切である。

ユーザの毛髪の色の測定に向けられた幾つかの文献が存在する。

測色計を用いて毛髪の色を正確に識別する方法を開示する（特許文献１１）を参照することができる。この方法は、毛髪のＨｕｎｔｅｒ Ｌ、ａ、ｂ値をさらに使用し、これらを使用して、所定のデータベースから所望のヘアトーンを達成することができる適切なカラーリング剤を提案する。

毛髪の色を測定するために分光光度計を使用することに関する特別な課題は、測定エリア全体（前記エリアは、頭皮の肌及び毛髪を含む）のスペクトルを測る点である。分光光度計は、高精度で物体の色を測定することができるが、それらは、測定エリア全体にわたり、通常、１ｃｍ^２のオーダーでその値を平均化している。従って、スペクトルから実際に取得される色は、ユーザの毛髪の本当の色に正確に一致せず、補正を必要とし得る。

毛髪の色測定に特に関連して、分光光度計は、それらがエリア全体を平均化し、毛髪の値及び頭皮の値を混合し、測定されているまさにそのエリアに高度に依存するため、根元の測定のために頭皮付近で使用することができない。

さらに、分光光度計又は測色計は、色の測定専用のものであり、毛髪の密度などの追加の関連データを取得することは、不可能であるか、又は追加のセンサ若しくは追加の専用デバイスを必要とする。

測定の信頼性を向上させるために、（特許文献１２）は、スペクトル解析ユニット及び画像ユニットの併用を開示しており、前記画像ユニットは、測定エリアの画像を表示し、それによりオペレータが測定エリアを正確に制御し、補足的な視覚的評価を行うことを可能にするために使用されるものである。このような解決策は、やはり複雑なものであり、完全に満足できるものではない。

カメラセンサによる捕捉により、毛髪などの三次元物体の色を解析し、複数の美容的カラーの相対的計量によって美容的カラー決定を行う美容的カラー解析システムを記載する（特許文献１３）も参照することができる。しかし、このシステムは、頭皮及び毛髪の環境を考慮しない。

別の手法では、（特許文献１４）は、画像処理を用いてヘアスタイリングを評価するために毛髪領域の画像を表示する方法及び装置を提案している。

しかし、様々な取り組みにもかかわらず、毛髪診断を変えることに成功する機能デバイスは、依然として難しいテーマである。

米国特許出願公開第２０１４／０２１６４９２Ａ１号明細書 米国特許第５４７８２３８号明細書 米国特許第９５１９９２７号明細書 米国特許第９３１６５８０Ｂ２号明細書 国際公開第２０１１０２４１６０Ａ１号パンフレット 韓国特許出願公開第１０１４５６９４２Ａ１号明細書 国際公開第２０１７２０７４５５号パンフレット 米国特許出願公開第２０１２２５３２０３号明細書 米国特許出願公開第２００９０３６８００号明細書 国際公開第２００４００２３００号パンフレット 米国特許第６０６７５０４号明細書 米国特許第７５０８５０８号明細書 米国特許第７１５１８５１号明細書 米国特許第８４２８３８２号明細書

システムをさらに開発し、多用途であり、信頼性が高く、且つ客観的な頭皮及び毛髪データの収集を可能にする必要性がある。加えて、毛髪の色及び毛髪の密度は、唯一の関連パラメータではなく、ユーザに固有の他のパラメータを収集することを望む場合がある。

このために、後にパーソナライズ製品推奨システムと共に又はパーソナライズ分配若しくは組成物製造システムにおいて使用され得る、ユーザに固有の信頼性の高いデータを取得するために、肌、頭皮及び／又は毛髪の状態を診断する改良された方法の必要性がある。

本出願は、上述の欠点の少なくとも一部に対する解決策を提案し、ユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するための方法であって、
－ ケラチン表面の少なくとも１つの画像に対応するデータ（入力画像）を受信するステップ、
－ 少なくとも１つの機械学習モデルを前記画像に適用することにより、画像を処理するステップ、
－ 決定されるケラチン表面の特徴のグレードに対応する少なくとも１つの数値を返すステップ
を含む方法に関する。

実際、適切な訓練セットで訓練された後、ユーザの肌の画像に適用された機械学習モデルは、測定されるケラチン表面の物理的及び／又は化学的特性の評価及び等級分けにおいて良好な結果を生じさせ得ることが驚くべきことに認められている。

それが画像ベース（マシンビジョン）であり、特定のセンサを必要としないため、使用及び実現が依然として簡単でありながら、機械学習モデルを使用することによって画像を解析することは、たとえ専門家の目であっても裸眼による評価が非常に難しいか又は不可能である特性を評価するのに役立ち得ることも認められた。

（分類モデルによって予測されたラベルと異なる）数値を返すか又は出力することにより、提案された方法は、所望の特徴の定量的決定を可能にする。定量値は、その後、さらなる計算及び変換において入力データとして使用され得る。これは、たとえカテゴリのラベルが数字を使用し得るとしても、クラス又はカテゴリが返される単なる分類を超越するものである。

より正確には、返される数値は、整数値又は浮動小数点値などの実数値である連続出力変数である。これらは、多くの場合、量及びサイズなどの数量である。

機械学習モデルは、回帰モデルである。代替的に、機械学習モデルは、ラベルが順序関係（離散化モデル）を有する分類モデルであり、前記ラベルは、推定する物理的／化学的特徴に対応する連続した範囲に順序付けられる。

分類モデルは、連続値を予測し得るが、前記値は、クラスラベルの確率の形式であることに注意しなければならない。回帰モデルは、離散値を予測し得るが、前記離散値は、整数量の形式である。

好ましくは、画像は、高解像度画像である。

好ましくは、画像は、ケラチン表面のマクロ画像である。一般的に理解されるように、マクロ画像は、１：１以上の倍率の画像ショットである。好ましくは、各ピクセルは、一本の髪の毛の直径に沿って数個のピクセルを有するように１０μｍの最大サイズを有する。

画像データは、ＣＭＯＳ又はＣＣＤ画像センサなどの公知の画像センサにより取得することができる。加えて、画像は、有利には、視差なしである。

有利には、本方法は、前処理画像セグメント化ステップを含み、機械学習モデルは、少なくとも１つの識別されたセグメントに適用される。画像セグメント化は、決定する特徴に関連する有意な物体を抽出することを目的とする。画像セグメント化は、画像の表現を単純化し、且つ／又は画像の表現を、より意味があり且つ解析がより簡単なものに変えるために、デジタル画像を複数のピクセルセグメント又はセットに分割するプロセスである。画像セグメント化は、一般的に、画像中で物体及び境界（線、曲線など）の場所を見つけるために使用される。このような前処理ステップは、画像データ中の特定の物体を強調することにより、機械学習モデルによって行われる予測を向上させる。例えば、頭皮の画像は、毛髪である可能性が非常に高いピクセルを識別するためにセグメント化され得る。その後、機械学習モデルは、より優れた予測のためにこれらの特定のセグメントに適用され得る。

第１の実施形態によれば、セグメント化ステップは、コントラスト解析によって行われる。第２の実施形態によれば、セグメント化ステップは、機械学習モデルを画像に適用することによって行われる（すなわち分類モデル）。

色の較正及び補正などの他の前処理ステップが画像データに対して行われ得る。

好ましくは、画像は、ＲＧＢ画像である。代替的に、画像は、ＣＭＹＫ画像であり得るか、又は別の色空間で符号化され得る。代替的に、画像は、可視スペクトル帯３８０ｎｍ～７００ｎｍ、紫外線帯３００～３８０（又は近紫外線帯の場合にはさらに２００～３８０ｎｍ）ｎｍ及び赤外線帯７００～１５００ｎｍの中から選択される少なくとも１つのスペクトル帯を含むマルチスペクトル画像である。画像は、赤外線画像であり得る。

特定の実施形態では、本方法は、ケラチン表面の第２の特徴を決定するために繰り返され、本方法は、好ましくは、同じ画像データを使用して繰り返される。実際、単に適切なモデルをロードすることにより、別の特徴に関する推定値を取得するために同じ画像を処理することが簡単である。好ましくは、本方法は、異なる複数の機械学習モデルが適用される場合でも、単一の画像のデータを使用し、これらのモデルは、同じ単一の画像に適用される。

有利には、本方法は、実数値特徴の少なくとも幾つかに基づいて化粧品を推奨する後続のステップを含む。知られているように、製品は、そのリストされた特性に応じてデータベースにおいて選択され得る。

本出願によれば、「化粧品」又は「化粧用組成物」は、化粧品に関する、２００９年１１月３０日の欧州理事会及び議会規則１２２３／２００９に規定される製品を意味すると理解されるものである。

ある具体的な実施形態では、本方法は、実数値特徴の少なくとも幾つかに基づいて推奨化粧品組成物を決定する後続のステップを含む。

当然のことながら、異なる方法（測定、アンケート、画像解析）によって取得された追加のパラメータ及び特徴が推奨製品及び組成物を決定する際に一緒に考慮され得る。

有利には、本方法は、推奨組成物に従って化粧品を製造及び分配する後続のステップを含む。具体的には、本方法は、混合ユニットにおいて成分の少なくとも幾つかを混合するステップを含む。染毛剤の特定のケースでは、本方法は、（好ましくは液体又はクリーム状の）染毛酸化性塩基剤に（好ましくはビーズ又はタブレットのような固形の）少なくとも１つの染毛カラーリング剤を分配するステップを含む。

好ましくは、画像に写されたケラチン表面は、ユーザの肌のエリアである。第１の実施形態では、画像に写された肌のエリアは、ユーザの顔のエリア、好ましくはユーザの頬及び／又は額のエリアである。代替的に、画像に写された肌のエリアは、ユーザの頭皮のエリアである。最も好ましい実施形態では、画像に写された肌のエリアは、毛髪を含む。

有利には、画像に写されたエリアは、ユーザの毛髪根元領域である。毛髪の根元（すなわち頭皮から最初の１センチメートル）は、毛染め又は環境条件に起因する変色を受けていないきれいな毛髪繊維部分を提示する。従って、それらは、人の基本的な毛髪特徴の尺度である。

本出願によれば、決定される特徴は、ヘアトーン、毛髪の直径、毛髪の密度、白髪の割合、長さ部分の色、根元部分の色、毛髪のつや、頭皮の乾燥度、ふけの程度、毛髪の測色、毛髪のスペクトル、エウラミンレベル、フェオメラニンレベル、人工染料のレベル、水分、システイン酸のレベル、ダメージレベル、リフトレベルの中から選択され、機械学習モデルは、前記特徴を評価するために適切に訓練されている。

好ましくは、機械学習モデルは、事前訓練された畳み込みニューラルネットワークである。

第１の特定の実施形態では、本方法は、ユーザの自然のヘアトーンの決定に向けられ、この方法は、
－ ユーザの頭皮表面の画像に対応するデータを受信するステップであって、前記画像は、好ましくは、画像のメジアン線に沿って分けられた毛髪を含む、ステップ、
－ 推定毛髪に対応するピクセルセットを抽出するために画像をセグメント化するステップ、
－ セグメント化された毛髪ピクセルの色空間値をＣＩＥＬＡＢ色空間に変換するステップ、
－ セグメント化された毛髪ピクセルのメジアン明度値に基づいて実数値ヘアトーン推定を返すステップ
を含む。

第２の特定の実施形態では、本方法は、ユーザの自然のヘアトーンの決定に向けられ、この方法は、
－ ユーザの頭皮表面の画像に対応するデータを受信するステップであって、前記画像は、好ましくは、画像のメジアン線に沿って分けられた毛髪を含む、ステップ、
－ 事前訓練された畳み込みニューラルネットワークを適用することにより、実数値ヘアトーン推定を返すステップ
を含む。可能ではあるが、良好な結果を生じさせるために、適切に事前訓練されたＣＮＮがセグメント化を必要としないように見受けられたため、本方法は、セグメント化ステップを必要としない。

本出願は、コンピューティングデバイスによって使用されると、コンピューティングデバイスに、本発明による方法を行わせるコンピュータ使用可能命令を保存する１つ又は複数の非一時的コンピュータ記憶媒体にも関する。

本出願は、本発明による方法を実施するためのシステム、より正確にはユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するためのシステムであって、ケラチン表面の画像を捕捉し、且つ画像データをプロセッサに送信するように構成された画像センサを含み、前記プロセッサは、本発明の方法に従って画像データを処理するように構成される、システムにも向けられる。

上述の通り、画像センサは、ＣＣＤセンサ又はＣＭＯＳセンサなど、当技術分野で公知のセンサであり得る。所望の画像に応じて、センサは、マルチスペクトルセンサであり得、且つ／又は赤外線画像を取得するために赤外線フィルタなどのフィルタを使用し得る。

有利には、本システムは、少なくとも部分的に携帯カメラデバイスに組み込まれる。

好ましくは、本システムは、画像センサを含むカメラデバイスを含み、前記カメラデバイスは、遠隔の処理デバイスに画像データを無線で送信するように構成される。

代替的に、カメラデバイスは、処理ユニットも含み得、返される特性値を直接出力し得る。このように、カメラデバイスは、容易にハンドヘルド式にすることができ、スタンドアロンデバイスとして使用することができる自律診断ユニットを形成する。

本出願は、本発明による特徴決定システム（好ましくはユニット、すなわちハンドヘルド）と、特徴決定システムから取得された特徴に従って化粧品を配送するように構成された分配ユニットとを含む、パーソナライズ化粧品、特にヘアケア製品又は毛髪着色製品を製造するためのシステムにも向けられる。有利には、特徴決定システムは、実数値データを分配ユニットに無線で送信することができる。より正確には、特徴決定ユニットは、適切な出力製品又は組成物を決定する（推奨する）コンピューティングユニットに入力として実数値特徴を転送する。推奨ユニットは、その後、ユーザに推奨された製品又は組成物を提供するために混合及び配送ユニットに入力命令を送り得る。

本出願の主題は、添付の図面に関連して記載される以下の詳細な説明に鑑みてよりよく理解されるであろう。

本発明による、ユーザの自然のヘアトーンを決定するための様々な逐次ステップを概略的に示す。 適用される機械学習モデルの取得に関与する訓練プロセスを概略的に示す。 測色モデルの使用に関するステップパイプラインを示す。 頭皮の捕捉画像に適用される様々な層を示す。

本出願は、特に、頭皮及び毛髪診断並びに毛髪特性測定に関連するが、それは、このようなケラチン表面に限定されず、より一般的な肌表面の特徴付け及び測定に応用され得る。

上述の通り、このデジタル時代において多くの課題に直面するセクターは、ヘアケア及び毛髪の着色である。毛髪の複雑な性質及び毛染めのプロセスにより、顧客にパーソナライズヘアケア製品及び着色製品を提供するために正確な毛髪診断が極めて重要である。

毛髪関連の特徴は、信頼できる方法で取得することが最も難しいため、以下の記載は、毛髪の測定によって説明される。しかし、既に述べたように、本方法は、毛髪測定に限定されず、他の肌への適用例が見出され得る。

現在、ヘアサロンでは、ヘアカラーリング製品を塗布する前又は毛髪処置を推奨する前の最初の必要なステップは、毛髪診断である。とりわけ、美容師が推定する必要がある重要な特色は、ヘアトーン、白髪の割合、毛髪の直径及び密度である。

毛髪の根元は、一般的に、天然／人工着色料などの外的要因によって変質されていない毛髪を入手できる唯一の領域である。それは、自然の毛髪の色及び白髪の割合並びに毛髪の密度を測定することができる領域である。

毛髪の根元（すなわち頭皮から最初の１センチメートル）は、毛染め又は環境条件に起因する変色を受けていないきれいな毛髪繊維部分を提示する。従って、それらは、人の基本的な毛髪特徴の尺度である。

根元領域で捕捉された画像は、毛髪を示すだけでなく、色、油気及びふけの含有量が大きく異なり得る頭皮も示す。加えて、毛髪繊維自体は、特に根元部分において半透明であり、その結果、頭皮背景に色依存し、色及び太さの両方である程度の自然変動を有する。この診断は、現在、美容師によって手作業で行われており、美容師は、その専門知識及び訓練にもかかわらず、特にヘアサロンの非標準的な照明条件下でこれらの特色の全ての正確な推定を常に行えるとは限らない。

根元の正確な毛髪診断を確立することは、毛髪の着色、美容的パーソナライゼーション及び臨床評価に劇的な影響を及ぼす大きい課題である。

本出願による方法は、ヘアトーン測定（特に自然のヘアトーン測定）に関して詳細に説明されるが、それは、より一般的に、モデルが訓練された特性に応じて他の物理的又は化学的特性を決定するために使用され得る。

自然のヘアトーンは、毛髪の明るさ／暗さの視覚属性であり、毛髪のメラニン濃度に関係する。そのため、自然に存在する毛髪の色の色空間によって制約される。それは、従来、非常に暗い色の髪の毛の場合、１で開始され、非常に明るい色の金髪の場合、１０までの対数目盛を用いて測定される。

ヘアトーンは、１０個のカテゴリに分けられるため、この問題は、分類問題として対処され得る。しかし、色の専門家は、１／４のヘアトーンの精度でトーンを評価したため、１～１０のクラスを考慮することは、クラスラベルにおいてこの精度を失う。その結果、この問題は、順序及びヘアトーンの値間の連続性を前提とする回帰問題として対処された。その結果、本方法は、実数値ヘアトーンを推定し且つ返す。

毛髪特性を評価するための本方法に関して、重要な点は、ヘアトーンスケールが、正確な意味においてクラス（分類）ではなく、数値（予測）を返す本方法と共に使用するのに適した知覚的に線形のスケール表記法であることである。

本出願によれば、ユーザの自然のヘアトーンを決定することは、以下のステップを含み、それらの一般的なシーケンスが図１に示される。

まず、毛髪の根元１１のユーザの頭皮１０の画像Ｉは、診断ユニットを形成するカメラデバイス２０を用いて撮影される。カメラデバイス２０は、好ましくは、ハンドヘルドである。画像Ｉは、約１２×１７ｍｍの物体（頭皮）エリアに対応する。画像Ｉは、２０００×１２００ＲＧＢのＣＭＯＳセンサによって捕捉されるが、他の種類の高解像度センサが使用され得る。

捕捉前に、遮られずに毛髪の根元１１が見えるように、被写体の頭部で分け目が付けられる。結果として、写真は、それらの中央で軸対称となり、従って概ね中央に頭皮１０があり、上部及び下部により多くの毛髪がある状態に配向される。

本方法は、不偏ヘアトーン値ｈを推定するために使用される。しかし、このヘアトーンｈは、捕捉された画像Ｉが毛髪１１及び頭皮１０の混合を示すため、それらから直接読み取ることができない。また、毛髪の透明度により、頭皮の色が可視毛髪ピクセルに影響を与え得る。

従って、画像Ｉのデータは、正確なヘアトーンｈを取得するという具体的な目的で処理されるべきである。本発明によれば、画像データは、数値の実数値ヘアトーンを返すまえに、前記画像に機械学習モデルを適用することによって処理される。

以下に記載する機械学習モデルは、４０７人の被写体に対して撮影された１１１７５枚の写真を含む訓練セットを用いて統計的に訓練されたものである。各写真は、評価され、所望の特性の実際の値を用いてラベルが付けられたものである（訓練プロセスは、概略的に図２に示される）。

ヘアトーン推定は、以下の２つの手法、すなわち測色モデル及び畳み込みニューラルネットワーク（ＣＮＮ）に基づいた深層学習モデルを用いて行われたものである。

測色モデル
この手法の背景にある考えは、撮像デバイスを、毛髪の標準色値を提供し、それらをヘアトーンの知覚属性に関連付けることができる測色デバイスに変換することである。この手法の完全なパイプラインは、図３に示される３つの以下のステップに分けられる。

まず、捕捉された画像Ｉがセグメント化ステップＳにより前処理される。より正確には、関心のある毛髪ピクセルが画像からセグメント化される。その後、セグメント化された毛髪ピクセルのＲＧＢ値がＣＩＥＬＡＢ色空間に変換され、適合測色モデルＭが毛髪のメジアンＬ^＊値からヘアトーンを推定する。そのため、この測色手法は、画像データに連続的に適用される２つの独立した機械学習モデルの使用を含む。第１の機械学習モデルが色空間変換を行うために適用され、その後、第２の機械学習モデルが媒体毛髪Ｌ^＊からのヘアトーン推定のために適用される。

毛髪セグメント化Ｓは、最初の前処理ステップである。このステップの主な目的は、毛髪ピクセルの異なる複数のＲＧＢ値を単一の積分Ｌ^＊ａ^＊ｂ^＊値に変換することである。従って、画像中の全ての毛髪ピクセルをセグメント化する（これは、異常値を導入し得る）代わりに、鏡面性及び他のアーチファクトを回避する、適切な数の毛髪ピクセルをロバストにセグメント化することが好ましい。セグメント化方法は、頭皮エリアからの毛髪を多くセグメント化するために適応閾値化に基づく。閾値化する前に、画像のノイズを減少させるためにガウスフィルタが適用される。最後に、得られた毛髪領域が、毛髪として誤ってセグメント化された鏡面性又は他のアーチファクトの可能性がある小さい検出エリアを排除するために、連結成分解析を用いてサイズによってランク付けされる。

その後、ＲＧＢ値は、機械学習モデルを適用することにより、ＣＩＥＬａｂ色空間に変換される。より具体的には、デバイス依存ＲＧＢ値をデバイス非依存色空間に変換するために、カメラデバイスが較正されるべきである。ＣＩＥＬＡＢ色空間は、それが比較的知覚的に均一であり、業界で広く使用されているため、この変換のために選択された。

毛髪のＬ^＊ａ^＊ｂ^＊測定を提供する様々な方法が文献にある。較正プロセスについては、以下のモデル：

を使用して、

として表される各ＲＧＢピクセルのＬ^＊ａ^＊ｂ^＊値

を推定することが提案される。式中、φ（ｘ）は、ＲＧＢピクセル値の３次多項式（Ｎ＝２０）であり、ｘ及びＣ_ｒは、Ｋ個の訓練ペアのセットに対する機械学習モデルによって統計的に学習された対応する係数である。これらのペアは、測定されたＬ^＊ａ^＊ｂ^＊値ｒ_ｉを用いて所定のカラーパッチの画像を捕捉することによって取得されたものである。デバイスによって捕捉されたパッチｘ_ｉごとに、本発明者らは、回帰問題：

を解くために、メジアンＲＧＢピクセルを取り込み、この回帰問題は、Ｃ_ｒの閉形式の方程式であり、

は、Ｌ^２ノルムを表す。

関心のある毛髪ピクセルがセグメント化されると、それらのＲＧＢ値は、ＣＩＥＬＡＢ空間に変換され、メジアンＬ^＊ａ^＊ｂ^＊値が維持される。異なるヘアトーン間で最も大きく異なる知覚値が明度であることが分かっている。モデルをシンプルに保ち、データに対する過剰適合を回避するために、Ｌ^＊値は、ヘアトーンと最も相関性がある値として選択される。訓練セットを用いて、一次元の３次平滑化スプライン

がＭ個のペアのＬ^＊とヘアトーン値（それぞれｌ_ｉ及びｈ_ｉで示される）との間で適合される。これらのペアのＬ^＊及びヘアトーン値は、一人の参加者の対応する全ての写真を平均化することによって算出されたものである。本発明者らは、以下の条件：

が満たされるように、スプラインノットの数を最小数として自動的に選択する。

平滑化ファクタσは、ヘアトーン範囲［１；１０］に沿った小さい変動を無視するために０．３５に設定されている。

結論として、ヘアトーンは、単一の入力画像Ｉから予測される。本発明者らは、Ｉにおけるロバスト毛髪ピクセルのサブセットをセグメント化する。その後、Ｃ_ｒφ（ｘ）を用いて、各ピクセルＸをＬ^＊ａ^＊ｂ^＊空間に変換した後、本発明者らは、これらのピクセルのメジアンＬ^＊値ｌ（Ｉ）を算出する。最後に、

として機械学習モデルを適用することにより、ヘアトーンが与えられる。

畳み込みニューラルネットワーク
このような手法の背景にある考えは、抽出すべきパターンに関する事前の仮定なしに、画像中のどのパターンがヘアトーンに関連するかを学習することである。毛髪ピクセルの明度に注目するように設計された前の測色モデルと異なり、この第２のモデルは、問題の予備知識を有さない。最適化プロセスは、完全に統計的なものであり、正しいヘアトーン

を推定するために、画像Ｉ中のパターンを自律的に学習する。

ＣＮＮの背景にある基本的考えは、その間で非線形関数を用いる、３×３畳み込みなどの連続的な線形操作並びに画像表現の空間次元を減らす操作を適用することである。これは、視覚的パターンへの表現である画像の特徴マップを作成する。連続的な回帰後、このような表現は、訓練プロセスにおいて、最終的にラベルｈ_ｉにマッピングされる単一の実数値出力に減らされる。

これらの全ての操作は、このヘアトーン適用例のために本発明者らが提案するネットワークに関して図４に示される連続層として示される。最新のＣＮＮモデルと比較して、それは、少ない数の畳み込み層を有し、これは、本発明者らが、より少ない数の連続的な畳み込みがネットワークによって表されることを必要とするエッジ及び細い繊維などのより単純なパターンを探しているという事実によって動機付けられる。

一次元の出力

を有するため、最後の全結合層も減少する。また、最適化を容易にし（バックプロパゲーションにおいてリンクを導く）、且つより単純なパターンを用いてモデルの表現を拡張するために残差接続もアーキテクチャに加えられている。

この目的のために、本発明者らは、後の層に幾つかの層の出力を追加した（これは、追加の重みを必要としない軽い操作である）。スピードを向上させるために、本発明者らは、一般的な２Ｄ畳み込みに対するより軽い代替手段として、分離可能な２Ｄ畳み込みを使用する。それらは、学習すべきパラメータがより少なく、必要とされる計算がより少ない。この考えは、まず、チャネルごとに（「深さ方向に」とも言われる）３×３畳み込みを適用し（従って完全な畳み込みよりも軽い）、その後、得られたチャネルを１×１完全畳み込みによって統合することである。この畳み込みの別形態は、訓練プロセス及びデバイスに対する埋め込み予測のスピードを向上させる。

本発明者らは、これより、どのようにニューラルネットワークが、本発明者らの問題に関する関連のパターンを学習するかの直感を提供するために、このようなモデルの最適化プロセスを簡潔に説明する。連続操作から離れると、本発明者らは、その推定ヘアトーンが、

と記載され得ることを理解する。式中、ｇは、本発明者らのニューラルネットワークの全ての連続操作を表し、Θは、全ての可変パラメータ、すなわち畳み込み及び全結合層重みを再編成するベクトルである。Θの適切な値を見つけるために、本発明者らは、グラウンドトゥルースｈからかけ離れた予測

を罰する損失関数

を規定する。本発明者らのケースでは、本発明者らは、そのデータセットの全ての画像Ｉ_ｉ及びヘアトーンｈ_ｉにわたり、平均平方誤差

を最小にする。

この最小化を解くための本発明者らの戦略は、確率的勾配降下法を用いてΘを反復的に更新することである。

式中、

は、学習率であり、

は、完全データセットに関する勾配の近似である。実際、この完全な勾配

は、更新ごとに算出するには長すぎる。バックプロパゲーションを使用して、勾配は、サイズｍの画像のミニバッチに関して効率的に算出することができる。従って、Θは、勾配の移動平均を考慮することにより、各ミニバッチで更新される。

式中、λは、運動量であり、Ｂは、ミニバッチのインデックスｉのセットである（Ｂ⊂｛１．．Ｍ｝｜Ｂ｜＝ｍ）。

従って、重みの各ミニバッチ更新は、ミニバッチ勾配

だけでなく、勾配の履歴に基づき、これは、ミニバッチによる大きい変動を示す。実際には、本発明者らは、

の学習率でλ＝０：９の運動量を用いて、そのデータセットの全サンプルに関して８００回パスした。最後に、パラメータΘをさらに調整するために、本発明者らは、１０で割った学習率を用いて、そのデータセットに関して追加の２０回パスした。各パス中、各画像Ｉｉは、本発明者らのデータセットを人為的に増大させるために、水平方向及び垂直方向にランダムに反転される。本発明者らの連続層及び最適化プロセスのために、本発明者らは、Ｔｅｎｓｏｒｆｌｏｗバックエンドに基づいてＫｅｒａｓの実装を使用した。

２つの機械学習モデル（測色モデル及び畳み込みニューラルネットワークモデル）によって説明したが、他の機械学習技術が使用され得、本出願の主な態様は、関連のパラメータを直接抽出するための画像解析技術を使用し、測定を実際に行う古典的なメトロロジの代わりに、統計的な機械学習モデルを使用することである。

返された実数値特徴は、次に、さらなる計算又はステップのためのパラメータとして使用され得る。

第１の可能性として、実数値特徴は、レコメンダにおいて使用することができ、この方法は、前記実数値特徴に基づいて化粧品を推奨する後続のステップを含む。

第２の可能性として、既存の製品を推奨する代わりに、所望の効果又は結果に基づいて化粧品の組成物を計算又は決定するために実数値特徴を使用し得る。より具体的には、この方法は、所望の結果を達成するために、実数値特徴の変質能力に基づいて組成物の割合及び／又は量を計算するステップを含み得る。例えば、ユーザが５のヘアトーンに至るために毛髪を染色することを望み、当初のヘアトーンが７である場合、この方法は、この結果を得るために必要とされる酸化剤の量を計算するステップを含む。

その後、決定された組成物は、その場で若しくは他の場所で製造及び分配されるか、又はユーザに適切に配送され得る。

認識されるように、本発明の態様は、システム、方法又はコンピュータプログラム製品として具現化され得る。従って、本発明の態様は、完全にハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態又はソフトウェア態様及びハードウェア態様を組み合わせた実施形態の形態を取り得る。さらに、本発明の態様は、内部で具現化されたコンピュータ可読プログラムコードを有する、１つ又は複数のコンピュータ可読媒体において具現化されるコンピュータプログラム製品の形態を取り得る。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせが利用され得る。コンピュータ可読媒体は、例えば、電子、磁気、光学、電磁、赤外線若しくは半導体のシステム、装置若しくはデバイス又は前述の任意の適宜の組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非包括的リスト）には、以下：１つ又は複数の電線を有する電気接続、携帯用フロッピーディスク、ハードディスク、固体ディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、光学式記憶デバイス、磁気記憶デバイス、相変化メモリ記憶デバイス又は前述の任意の適宜の組み合わせが含まれる。本明細書に関連して、コンピュータ可読記憶媒体は、命令実行のシステム、装置又はデバイスによって又はそれに関連して使用されるプログラムを含むか又は保存することができる任意の有形媒体であり得る。

本発明の態様の動作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語又は「Ｃ」プログラミング言語若しくは類似のプログラミング言語などの従来の手続き型プログラミング言語の任意の組み合わせで記述され得る。プログラムコードは、ユーザのコンピュータに対して全体的に、ユーザのコンピュータに対して部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータに対して部分的且つリモートコンピュータに対して部分的に又はリモートコンピュータ若しくはサーバに対して完全に実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークによってユーザのコンピュータに接続され得るか、又は接続は、（例えば、インターネットサービスプロバイダを用いてインターネットにより）外部コンピュータに対して行われ得る。本発明の実施形態のコンピュータシステムのためのソフトウェアは、本明細書に含まれる機能説明及び図面に示されるフローチャートに基づいてコンピュータ分野の当業者によって開発され得ることが理解されるものとする。さらに、本明細書における様々な機能を行うソフトウェアのいずれへの言及も、一般に、ソフトウェア制御下でこれらの機能を行うコンピュータシステム又はプロセッサを指す。

コンピュータシステムの様々な機能は、任意の数量のソフトウェアモジュール若しくはユニット、処理若しくはコンピュータシステム及び／又は回路網（ここで、コンピュータ又は処理システムは、ローカルに又は互いにリモートで配置され得、任意の適宜の通信媒体（例えば、ＬＡＮ、ＷＡＮ、イントラネット、インターネット、配線接続、モデム接続、無線など）によって通信し得る）に任意の様式で分散され得る。

より正確には、上記の詳細な方法は、ユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するためのシステムに実装され、前記システムは、ターゲットとされたケラチン表面の画像を捕捉するように構成された画像センサを含み、画像データは、上記の方法に従い、すなわち機械学習モデルを適用することによって画像データを処理し、且つ特徴の実数値推定を返すように構成されたプロセッサに送信される。このようなシステムは、診断ユニットを形成する。

本システムは、携帯カメラデバイスに組み込まれる。第１の実施形態では、カメラデバイスは、画像センサを含み、画像データは、遠隔の処理ユニットにおいてカメラデバイスの外で処理される。有利には、画像データは、無線で送信される。ある代替実施形態では、本システムは、携帯デバイスに完全に組み込まれ、これは、カメラデバイスが処理ユニットも含むことを意味する。このようにして、カメラデバイスは、実数値特徴を直接出力する自律及び／又はリアルタイム診断ユニットとして使用され得る。

本システムは、例えば、パーソナライズ化粧品、特にヘア製品、すなわちヘアカラーリング製品を製造するためのシステムを作るために追加の構成要素を含み得る。このために、本システムは、上記のような診断ユニットと、診断ユニットから取得された特徴に従って化粧品を配送するように構成された分配ユニットとを含む。分配ユニットの詳細な説明のために、その内容が完全に本明細書に組み込まれる前述の米国特許第９３１６５８０号明細書を参照することができる。

従って、本出願に記載されるシステム及び方法は、パーソナライゼーションプロセスの全自動化を向上させる。毛髪の処置、特に毛髪染色処置に関して、プロセスの自動化は、美容師の生活を楽にし、精度、ロバスト性及び効率を保証するツールを美容師に提供するために不可欠である。また、このようなデバイスを用いることにより、本発明者らは、人間の視覚を超越することができ、美容師及び条件によって変動しない客観的表記法、すなわち標準化表記法を提供することができる。

上述の例は、本発明の実施形態の特定の機能性の例示であり、限定となることが意図されたものではない。実際、他の機能性及び他の可能な使用事例は、本開示を検討することで当業者に明らかになるであろう。

Claims (23)

1. ユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するための方法であって、
   － 前記ケラチン表面の少なくとも１つの画像に対応するデータを受信するステップ、
   － 少なくとも１つの機械学習モデルを前記画像に適用することにより、前記画像を処理するステップ、
   － 決定される前記ケラチン表面の前記特徴のグレードに対応する少なくとも１つの数値を返すステップ
   を含む方法。
2. 前処理セグメント化ステップを含み、前記機械学習モデルは、少なくとも１つの識別されたセグメントに適用されることを特徴とする、請求項１に記載の方法。
3. 前記セグメント化ステップは、コントラスト解析によって行われることを特徴とする、請求項２に記載の方法。
4. 前記セグメント化ステップは、機械学習モデルを前記画像に適用することによって行われることを特徴とする、請求項２に記載の方法。
5. 前記画像は、ＲＧＢ画像であることを特徴とする、請求項１～５のいずれか一項に記載の方法。
6. 前記画像は、可視スペクトル帯３８０ｎｍ～７００ｎｍ、紫外線帯３００～３８０ｎｍ及び赤外線帯７００～１５００ｎｍの中から選択される少なくとも１つのスペクトル帯を含むマルチスペクトル画像であることを特徴とする、請求項１～５のいずれか一項に記載の方法。
7. 前記画像は、赤外線画像であることを特徴とする、請求項１～５のいずれか一項に記載の方法。
8. 前記ケラチン表面の第２の特徴を決定するために繰り返され、好ましくは前記同じ画像データを使用して繰り返されることを特徴とする、請求項１～７のいずれか一項に記載の方法。
9. 前記実数値特徴の少なくとも幾つかに基づいて化粧品を推奨する後続のステップを含むことを特徴とする、請求項１～８のいずれか一項に記載の方法。
10. 前記実数値特徴の少なくとも幾つかに基づいて推奨化粧品組成物を決定する後続のステップを含むことを特徴とする、請求項１～８のいずれか一項に記載の方法。
11. 前記推奨組成物に従って化粧品を製造及び分配する後続のステップを含むことを特徴とする、請求項１０に記載の方法。
12. 前記画像に写された前記ケラチン表面は、ユーザの肌のエリアであることを特徴とする、請求項１～１１のいずれか一項に記載の方法。
13. 前記画像に写された前記肌の前記エリアは、前記ユーザの顔のエリア、好ましくは前記ユーザの頬及び／又は額のエリアであることを特徴とする、請求項１２に記載の方法。
14. 前記画像に写された前記肌の前記エリアは、前記ユーザの頭皮のエリアであることを特徴とする、請求項１２に記載の方法。
15. 前記画像に写された前記肌の前記エリアは、毛髪を含むことを特徴とする、請求項１２～１４のいずれか一項に記載の方法。
16. 前記画像に写された前記エリアは、前記ユーザの毛髪根元領域であることを特徴とする、請求項１５に記載の方法。
17. 前記決定される特徴は、ヘアトーン、毛髪の直径、毛髪の密度、白髪の割合、長さ部分の色、根元部分の色、毛髪のつや、頭皮の乾燥度、ふけの程度、毛髪の測色、毛髪のスペクトル、エウラミンレベル、フェオメラニンレベル、人工染料のレベル、水分、システイン酸のレベル、ダメージレベル、リフトレベルの中から選択され、前記機械学習モデルは、前記特徴を評価するために適切に訓練されていることを特徴とする、請求項１～１６のいずれか一項に記載の方法。
18. 前記機械学習モデルは、事前訓練された畳み込みニューラルネットワークであることを特徴とする、請求項１～１７のいずれか一項に記載の方法。
19. コンピューティングデバイスによって使用されると、前記コンピューティングデバイスに、請求項１～１８のいずれか一項に記載の方法を行わせるコンピュータ使用可能命令を保存する非一時的コンピュータ記憶媒体。
20. ユーザのケラチン表面の少なくとも１つの物理的及び／又は化学的特徴を決定するためのシステムであって、前記ケラチン表面の画像を捕捉し、且つ画像データをプロセッサに送信するように構成された画像センサを含み、前記プロセッサは、請求項１～８のいずれか一項に記載の方法に従って前記画像データを処理するように構成される、システム。
21. 少なくとも部分的に携帯カメラデバイスに組み込まれることを特徴とする、請求項２０に記載のシステム。
22. 前記画像センサを含むカメラデバイスを含み、前記カメラデバイスは、遠隔の処理デバイスに前記画像データを無線で送信するように構成されることを特徴とする、請求項２０に記載のシステム。
23. 請求項２０～２２のいずれか一項に記載の特徴決定システムと、前記特徴決定システムから取得された特徴に従って化粧品を配送するように構成された分配ユニットとを含む、パーソナライズ化粧品を製造するためのシステム。

Images