JP2022058165A - 肌の明るさを決定するシステム及び方法 - Google Patents

Abstract

【課題】ユーザの肌の明るさを決定するシステムを提供する。【解決手段】本明細書において、サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析し、前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を決定し、前記少なくとも１つの第２の領域内の画素の画素値を正規化し、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択する。本明細書において、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。【選択図】図１

Description

本開示は、ユーザの肌の明るさを決定するシステム及び方法に関する。本開示は更に、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトに関する。

背景

化粧品は、多くの場合、ユーザの魅力を引き上げるために、人の身体の様々な部位に使用される。チーク、ファンデーション、コンシーラなどの数々の化粧品が現在市販されている。各化粧品には、肌の明るさが異なる人々に合うように様々な色合いのものがある。顧客は、所望の化粧品を購入する前に、自らの肌の明るさに合う正確な色合いを特定する必要がある。従来、顧客は、化粧品店で物理的に化粧品の複数の色合いを一つ一つ試して、その中から適切な色合いを選択していた。しかし、それでも、化粧品の正確な色合いを選択するための決定は確固としたものではないと言える。顧客は同行者や化粧品店の専門スタッフの意見に頼ることが多く、これが不適切な、又は一貫しないアドバイスを引き出しかねず、最終的に顧客を混乱させ得る。更に、店に行って所望の化粧品の様々な色合いを試すのも面倒である。

時代の変化に伴い、多くの人は化粧品をオンラインで購入することを好んでいる。ここで、適切な化粧品を推薦するために異なる種類のソフトウェアアプリケーションが使用される。これらのアプリケーションは、入力として顧客の顔画像を撮り、この画像を使用して、画像上に所望の種類の化粧品の効果を仮想的に適用することにより、その化粧品を試用する。化粧品は人の肌の明るさの色を変えるために使用されるため、特に化粧品を推薦するために使用されるアプリについては、スマートフォンなどのカメラで撮影された画像が実物に近い色であることが重要であることが理解されよう。しかしながら、撮影された画像内の色は、明るさの条件、カメラの画像センサの欠陥、カメラ光学系内の汚れ、照明条件などの様々な理由により不正確である可能性がある。例えば、顧客が明るさの十分でない室内で画像を撮影した場合、画像の全ての色は濃くなったり灰色がかったりする場合がある。更に、実物に近いように色を捉えるカメラの性能は様々であり、そのカメラの種類やモデルによって異なる。更に、顧客がキャップを被っている場合には往々にして、影ができて顔が少なくとも部分的に隠れ、これによって画像内に暗い部分ができるおそれがある。人の肌の明るさは画像から決定されるため、色の不正確な画像では肌の明るさの決定も不正確に終わる場合がある。ひいては、推薦される化粧品もまた不正確となる。

実物に近い画像でないことによる諸問題を克服するために、画像を撮影する際に、標準化されたカラーパレットを顧客の近くに配置する場合がある。これによって、標準化された色が画像内に見え、その顧客の正確な肌の明るさを見積もるための較正が行われ得る。あるいは、まず顧客の画像を撮り、次に同じ明るさの条件の下、例えば同じスマートフォンで標準化されたカラーパレットの画像を撮る。これらの画像を比較して、較正を行い、顧客の正確な肌の明るさを見積もることができる。しかしながら、標準化されたカラーパレットの紙片（必ずしもすぐ手元に準備できるわけではなく、入手不能である場合もある）が必要になることから、ユーザの肌の明るさを決定するタスクが、顧客にとって時間がかかり面倒なものとなり、望ましくない。

したがって、上記を鑑み、ユーザの肌の明るさを決定する公知の技術に関連する上述の欠点を克服する必要がある。

摘要

本開示は、ユーザの肌の明るさを決定するシステム及び方法を提供することを目指す。本開示は更に、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供することを目指す。本開示の目的は、従来技術に伴う問題を少なくとも部分的に克服する解決策を提供することであり、ユーザの肌の明るさを決定する改良された技術を提供する。本開示は、ユーザの肌の明るさを決定するために標準化されたカラーパレットの紙片を要する既存の問題に対する解決策を提供することを目指す。

一態様では、本開示は、ユーザの肌の明るさを決定するシステムを提供する。このシステムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備える。前記サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析し、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化し、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択するように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

別の態様では、本開示は、ユーザの肌の明るさを決定する方法を提供する。この方法は、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

更に別の態様では、本開示は、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供する。このコンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、この処理デバイスに、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

本開示の実施形態は、従来技術における上述の問題を実質的に取り除き、又はこれに少なくとも部分的に対処するものであり、標準化されたカラーパレットの紙片を必要とすることなく、ユーザの画像を考慮しながら様々な変動条件を相殺することによって、正確なユーザの肌の明るさを決定できる。

本開示の更なる態様、効果、特徴、及び目的は、添付の請求項と併せて解釈される例としての実装の詳細な説明及び図面から明らかとなる。

本開示の特徴は、添付の請求項に定義された本開示の範囲から逸脱することなく、様々に組み合わされることが理解されよう。

上述の摘要と、例としての実施形態の以下の詳細な説明は、添付の図面と併せて読むことでその理解が促される。本開示を示す目的で、本開示の例示的な構成が図面に示される。ただし、本開示は、本明細書に開示された特定の方法及び手段に限定されない。更に、当業者は図面が縮尺どおりでないことを理解するであろう。可能な場合、同様の要素は同様の符号で示される。

本開示の実施形態を、例示のみを目的として、以下の図面を参照しながら説明する。
本開示の実施形態に係る、ユーザの肌の明るさを決定するシステムの概略図である。 本開示の実施形態に係る、ユーザデバイスのカメラによって撮影された顔の入力画像の図である。 本開示の実施形態に係る、複数の領域に分割されて処理されている図２の顔の入力画像の図である。 本開示の実施形態に係る、肌の明るさの例示的な標準的パレットを示す図である。 本開示の実施形態に係る、ユーザデバイスと相互作用するための例示的なグラフィカルユーザインタフェース示す図である。 本開示の実施形態に係る、第１の出力画像の図である。 本開示の実施形態に係る、ユーザの肌の明るさを決定する方法のフローチャートを示す図である。

実施形態の詳細説明

以下の詳細な説明は、本開示の実施形態及び実施形態が実現され得る方法を例示する。本開示を実施する複数のモードが開示されているが、本開示を実現、実施する他の実施形態も可能であることが当業者には認識されよう。

一態様では、本開示は、ユーザの肌の明るさを決定するシステムを提供する。このシステムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備える。前記サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析し、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化し、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択するように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

別の態様では、本開示は、ユーザの肌の明るさを決定する方法を提供する。この方法は、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

更に別の態様では、本開示は、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供する。このコンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、この処理デバイスに、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。

本明細書において、「肌の明るさ」は、人の肌表面の色や濃淡を示す。肌の明るさは人によって異なる。肌の明るさは、メラニン、カロテン、ヘモグロビンという３つの色素に主に依存している。メラニンはユーザの肌の表皮（肌の外層）に存在し、肌の明るさの濃さを決定するのに有用である。カロテンはユーザの肌の真皮（表皮のすぐ下の層）に存在し、青白い密生結合組織を備え、肌の明るさの淡さを決定するのに有用である。ヘモグロビンは真皮の毛細血管内の赤血球中に存在し、酸素化ヘモグロビンでは赤色が優勢となり、ヘモグロビンが減少すると青みがかった赤色となるというように、全体の肌の色を左右する。なお、ユーザとは肌の明るさを決定する必要がある人である。

本開示の全体を通じて、「サーバ構成」という用語は、データ通信ネットワークを介してユーザデバイスに対してデータ関連操作、プログラム、又はサービスを実行するプログラム可能及び／又はプログラム不能な構造を備えるコンピュータ、デバイス、又はモジュールを指すために使用される。本明細書において、「ユーザデバイス」は、ユーザによって操作される通常可搬のコンピューティングデバイスであり、カメラを備える。ユーザデバイスの例としては、カメラ付きのスマートフォン、ラップトップ、タブレットＰＣ、パームトップコンピュータ、ウェブパッドなどが挙げられるが、これらに限定されない。更に、本明細書において、データ通信ネットワークは、サーバ構成とユーザデバイスとの間の経路を提供する。データ通信ネットワークの例としては、ローカルエリアネットワーク（Local Area Network：ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network：ＷＡＮ）、インターネット、通信ネットワークが挙げられるが、これらに限定されない。本実装では、ユーザがユーザデバイスに相互作用し、データ通信ネットワークを介してサーバ構成と通信する。

サーバ構成は、少なくともユーザの顔を撮影した入力画像を取得するように構成される。上述のように、ユーザデバイスはカメラを備える。ユーザはグラフィカルユーザインタフェース（Graphical User Interface：ＧＵＩ）を介してユーザデバイスに相互作用し、搭載されたカメラを使用して自身の顔を撮影するために画像を撮る。一例では、ユーザは自撮りモードでユーザデバイスを操作することによって顔を撮影してもよい。別の例では、ユーザデバイスは、ユーザの顔を撮影するために、別の人によって（ポートレートモードで）操作されてもよい。更に別の例では、ユーザ又は別の人が、既存のユーザの画像をユーザデバイスの記憶部から、又は例えばクラウド上の記憶部から選択してもよい。本明細書において、ユーザ撮影された顔は入力画像と呼ばれる。典型的には、本システムは、（ユーザの顔を近接撮影された写真が好ましいことから）入力画像ごとに１人のユーザの入力画像を処理するために実装される。この目的のために、ＧＵＩは、所与の時間に１人のユーザの入力画像を撮影するための命令（複数可）を提供してもよい。ただし、本開示の実施形態は、撮影された複数のユーザの顔がある入力画像にも適用され得る。取得された入力画像は、ユーザデバイスによってデータ通信ネットワークを介してサーバ構成へと送信される。

本明細書において、「強膜」という用語は、ユーザの撮影された顔にあるように、ユーザの眼の白色部分を指す。ユーザの強膜に対応する入力画像の第１の領域を特定するために、ある実装では、ユーザの入力画像の顔は、ユーザの顔にある眼、頬、鼻、顎、額などの異なる顔の特徴を認識するために分析されてもよい。この分析に基づいて、眼と認識された顔の特徴における白色部分に対応する領域はユーザの強膜と考えられ、第１の領域として特定される。このような実装について、サーバ構成は、主成分分析、幾何モデリング、自己相関、可変テンプレート、色分析などの画像処理技術を利用してもよい。別の実装では、機械学習技術を利用して入力画像の第１の領域を特定してもよい。この目的のために、機械学習モデルは、複数のユーザの顔の近接撮影された画像のセット含む所定のデータセットで訓練される。これらの近接撮影された画像内の眼の強膜は、第１の領域として事前に手動入力されている。このような技術は、当業者であれば考え得ることから、本開示を簡潔にするために本明細書においては説明しない。一例では、第１の領域は、ユーザの撮影された顔における眼の強膜全体に相当し得る。別の例では、第１の領域は、ユーザの撮影された顔における眼の強膜の一部に対応し得る。

本明細書において、「画素」という用語は、画像の最小単位を表し、画像をサンプリングすることによって取得される。各画素は画素値を有する。本明細書において、「画素値」という用語は、一般的に、対応する画素の強度（又は色）を表す。例えば、０から２５５までの画素の強度を有するグレースケール画像について、黒色画素の画素値は「０」、白色画素の画素値は「２５５」と考えられる。カラー画像について、その中の画素の画素値は対応する画素における赤色、緑色、青色成分の量を表す。同様に、入力画像における画素の画素値は、対応する画素の輝度に対応し得るが、限定されない。「輝度」という用語は、この文脈で使用される場合、上述のＲＧＢ値を取り込み、（他の可能な出力の中でも）輝度値を出力するある種の色空間変換方法を指す。例えば、Ｌａｂ色空間をこの目的で使用してし得るが、方法は別のものであってもよく、限定されない。

上述のように、強膜は、ユーザの撮影された顔における眼の白色部分である。よって、理想的には、入力画像において強膜に対応する画素は、白色と同じ画素値を有するはずである。一方、上述のように、明るさ、照明、カメラレンズの欠陥、ユーザの着衣などの様々な条件によって、入力画像では強膜の白色が完璧に撮影されていない可能性がある。とは言え、何が強膜に対して上述の条件の効果を及ぼしていたとしても、入力画像における他の領域に対する効果も同一又は同等のはずである。すなわち、強膜が入力画像において暗く見えている場合、顎、額、頬などの他の領域も一般的に同等に暗く見えるものである。

更に、強膜自体が白色の様々な色合いを有し得、したがって、ユーザの強膜に対応する複数の画素からなる第１の領域は、その中の異なる画素よって様々な画素値を有し得る。本明細書において、「代表的な画素値」は第１の領域の全体の画素値を示すものであり、第１の領域における全ての画素の画素値の平均（平均値又は中央値）を計算することによって決定されてもよい。

本明細書において、第２の領域は、具体的には肌の明るさが決定される肌のサンプリング部位を指す。本開示では、第２の領域は、一般的に顔の肌（すなわち顔の部位）を表す。例えば、第２の領域は、ユーザの顔における頬又は額を表してもよい。ただし、第２の領域は、本開示の要旨及び範囲から逸脱することなく、首や手などの他の部位の肌を更に表してもよい。

一つの実装では、第２の領域は入力画像の分析に基づいて決定される。この分析のために、ユーザの顔における第１の領域を特定するために先の段落で上述したのと同じ技術（すなわち、画像処理及び／又は機械学習）を利用してもよい。以下で詳細に説明するが、第２の領域は、そこに使用される適切な化粧品を選択するために考慮される。よって、第２の領域は、化粧品の種類によって関心のある任意の顔の部位として考慮され得る。例えば、化粧品がファンデーションクリームの場合、入力画像はユーザの顔における頬及び／又は額の部位を第２の領域として特定するように分析される。これは、ファンデーションクリームがそれらの領域での使用により適し得るからである。

別の実装では、第２の領域は、入力画像の少なくとも１つの第２の領域についてのユーザの選択を示すユーザデバイスから受信した入力に基づいて決定される。本明細書において、ユーザは、自身の選択のとおりに入力画像の第２の領域を選択するためにＧＵＩを使用して、ユーザデバイスと相互作用してもよい。例えば、ユーザが眼の下に塗るクリームを購入しようとしている場合、ユーザは、撮影された顔における眼の下の部位を入力画像の第２の領域として選択してもよい。一例では、例えば、ユーザデバイスのディスプレイに表示されている入力画像における撮影された顔の所望の部位でこのディスプレイ上に接触応答を与えることにより、第２の領域を選択することが考えられ得る。別の例では、頬、額、顎、鼻、眼の下などを含むがこれらに限定されない、顔の特徴の所定のリストから選択することによって第２の領域を選択し得る。このような実装は、ユーザが入力画像における撮影された顔の中の特定の領域の肌の明るさを決定しようとする場合、及び／又はこの領域について化粧品を試してみようとする場合に有用であり得る。

任意で、少なくとも１つの第２の領域を決定する際に、サーバ構成は、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析し、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも１つを選択するように構成され、複数の領域のうちの少なくとも１つは少なくとも１つの第２の領域として決定される。本明細書において、任意で、複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも１つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも１つがユーザの顔の所定の部分に対応するか、のうちの少なくとも１つであるときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。

本明細書において、肌のサンプリング部位は、顔の部位全体がまずは考慮されるように定義される。この部位から、顔の特徴が検出され、また、除去される。このような除去された特徴には、眼の領域、鼻孔、唇、及び眉毛（これらの部位は肌の色を表していないため）が含まれる。加えて、額の部位がサンプリングとなり得る部位から除去される。これは、この部位には髪がかかって肌を隠していることが多いためである。上述の特徴は、代表的な肌部位のみが確実に残るように周囲のマージンを広く取って除去される。肌部位が定義されると、次のステップは選択された肌の部位内から統計的選択を実施することである。これは、その輝度の特性（当該肌部位からの全ての画素はＬａｂ色空間に変換され、ここで、Ｌチャネルが輝度に等しい）に基づいて順番に並べると、肌部位の約４２番目のパーセンタイルが肌の色と考えられるものを最もよく表すように、経験的に決定されている。色サンプリングのためにちょうど４２番目のパーセンタイル値を単にピックアップするのではなく、４０から５０パーセンタイルの輝度値を有する全ての画素が最終サンプリングのために選択され、この処理を画像ノイズに対してよりロバストなものとする。使用される経験的に決定された値はさらなる経験的リサーチに基づいて調整されてもよいことが理解されよう。本実装では、選択された肌部位の複数の画素の平均ノルムが肌の明るさの色として使用される。

この目的のために、サーバ構成は、入力画像を標準的な又は非標準的なサイズの複数の部位（又はグリッド）に分割してもよい。サーバ構成は次に、入力画像の中の撮影された顔における顔の特徴に対応する部位を区別してもよい。このように区別された部位は、例えば、頬、眼、額、鼻、唇などであり得るが、これらに限定されない。このために、サーバ構成は、ユーザの顔の第１の領域を特定するために先の段落で上述したのと同じ技術（すなわち、画像処理及び／又は機械学習）を利用してもよい。更に、このように区別された部位から、サーバ構成は、ユーザの肌に対応する領域として肌を具体化する部位を特定し得る。例えば、所与の例では、頬及び額がユーザの肌に対応する領域として特定され得るが、眼はこれには該当しない。続いて、所定の基準に基づいて、１つ以上のこれらの領域がユーザの肌をサンプリングするために選択され、この選択された領域が第２の領域である。一例では、ユーザが眼の下に塗るクリームを購入しようとしている場合、サーバ構成は、ユーザの撮影された顔における眼の下の部分を第２の領域として特定してもよい。本明細書において、所定の基準は眼の下に塗るクリームが使用される可能性のある肌の適切な領域であり得る。

ある実施形態では、複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。本明細書において、この所定の閾値サイズは、第２の領域として決定される領域について可能な限り最小のサイズ値である。すなわち、第２の領域として決定される領域は、所定の閾値サイズよりも大きい必要がある。例えば、ユーザの撮影された顔における額を第２の領域として決定する必要がある場合、所定の閾値サイズは額について可能な限り最小のサイズ値（様々な人の入手可能な画像のサンプルから一般的に決定され得る）である。所定の閾値サイズよりも小さい他の特定された複数の領域（顎、鼻など）は、この場合、第２の領域として選択されないことが理解されよう。

ある実施形態では、複数の領域のうちの少なくとも１つのサイズが複数の領域の残りのサイズよりも大きいときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。本明細書において、特定された複数の領域の中で最大のサイズを有する領域が第２の領域として決定される。例えば、ここでも、ユーザの撮影された顔における額を第２の領域として決定する必要がある場合、額のサイズは典型的には他の可能性のある特定された複数の領域（顎、眼の下、鼻など）のサイズよりも大きく、よって、入力画像における撮影された顔の中の額をそのような基準で選択することも可能である。

ある実施形態では、複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。知られているように、「公差」とは、物理量で許容されている最大許容変動であり、物理量の許容範囲を計算するために使用され得る。ユーザの顔における肌の明るさはその複数の領域で変化し、よって、ユーザの顔における複数の領域のそれぞれは、その中の画素の画素値の均一性が異なる場合があり、対応する公差も異なることが理解されよう。例えば、頬を表す領域は、眼の下を表す領域と比較して一般的に明るくなめらか（均一）であり、したがって、ユーザの顔における頬を表す領域の画素の画素値の均一性の公差（一般的に、より高い）は眼の下を表す領域の均一性の公差（一般的に、低い）とは異なり得る。よって、頬を表す領域が特定され、第２の領域として決定される場合、頬を表す領域における画素の画素値は、一致するかどうかを確認するために対応する所定の公差と比較されてもよい。

ある実施形態では、複数の領域のうちの少なくとも１つがユーザの顔の所定の部分に対応するときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。本明細書において、ユーザの顔の所定の部分は、肌の明るさが決定される必要のユーザの顔の領域である。例えば、ユーザが頬を表す領域の肌の明るさを求めようとする場合（例えば、そこに使用するためのファンデーションクリームなどを購入する際）、ユーザの顔の所定の部分は頬を表す領域である。そのような目的のために、ユーザの顔における第１の領域を特定するために先の段落で上述したのと同じ技術（すなわち、画像処理及び／又は機械学習）を利用し、所定の部分を最初に特定することが考えられ得る。

上述のように、本開示の実施形態では、ユーザの（眼の中の）強膜の色に基づいて色正規化が実施される。本明細書において、本明細書において使用される「色正規化」という用語は、技術分野では「色補正」とも呼ばれる。そのために、先の段落で上述したように、まず強膜（眼の中の白色部位）が入力画像から特定される。本明細書において、この強膜は白色の部位と想定され、この部位の平均ＲＧＢ（又は照度輝度）値は白色に対する参照色とみなされ、この参照色を使用して入力画像における全ての色を正規化する。本明細書において、バイアスを掛けた（バイアス済）ＲＧＢ値が入力画像における色について用いられ、補正された色値が出力される。当業者には考え得るように、色バイアスが２つの実数［ｃ＿１，ｃ＿２］で以下のように表現される。
ｃ＿１＝サンプリングされた参照白色部位（この場合、強膜）の平均値（Ｒ）／平均値（Ｇ）、及び
ｃ＿２＝平均値（Ｂ）／平均値（Ｇ）。

ここで、例えば、ｃ＿１＞１であれば、画像の緑色に対する赤色が多すぎる（白色部位が赤く見えるなど）ことを意味している。したがって、正確な色を得るには、赤色値をｃ＿１で割り、この場合の赤色値を減少させる。よって、全体の補正は以下のようになる。
全ての画素色値について
Ｒ＿補正＝Ｒ＿バイアス済／ｃ＿１、
Ｇ＿補正＝Ｇ＿バイアス済、及び
Ｂ＿補正＝Ｂ＿バイアス済／ｃ＿２。

すなわち、強膜の白色が基本の参照として使用され、第２の領域又は入力画像の全体における全ての他の色は強膜の白色を参照して正規化される。特に、強膜の代表的な画素値（上述）が基本の参照として使用され、第２の領域又は入力画像の全体における画素の画素値（この場合、「参照画素値」となる）は強膜の代表的な画素値に基づいて正規化される。具体的には、少なくとも１つの第２の領域又は入力画像の全体における画素の画素値は、例えば先の段落で示された例示的な等式を使用して、正規化されるべき画素について、強膜の代表的な画素値と参照画素値との差に基づいて正規化される。このように、少なくとも１つの第２の領域における画素の正規化された画素値が決定される。

色は様々な異なる方法で定義され得ることが理解されよう。本実装では、色は整数の８ビットサンプリングでのＲＧＢ変換に関して定義され、値が０から２５５の範囲にあり、色は３要素長のベクトルであることを意味する。一部の実装では、数値を丸める際に過剰な損失を回避するために浮動小数点表示が使用されてもよい。画像の明度は当然変化することから、値自体の範囲は（合理的な制限内で）どのような値をも取り得る。より重要なのは、色ベクトル値（例えば、緑色値で割った赤色値）間の相対的な差としてＲＧＢにおいて推定されることができる色の量である。強膜は中間色の灰色（白）と仮定され、ＲＧＢ値間の相対的比率が１である（１に近い）ことを意味する。理想的なケースでは、この比率が厳密に１であり、参照として使用され得る。例えば、ＲＧＢ［１７８，１７８，１７８］は、厳密に中間色の灰色（白）を表現する。ただし、画像に当てられた照明によっては、強膜部位はより暗く、又はより明るくなり得、例えば、［８９，８９，８９］又は［２１０，２１０，２１０］である。実際、画像の色バランスは、撮像デバイス（カメラなど）によって完全に推定されず、Ｒ／Ｇ又はＢ／Ｇの比率が値「１．０」とは異なる場合もある。この相対的な差は、推定された色のバイアスである。サンプリングされた強膜領域から、Ｒ、Ｇ、Ｂ値の平均値が推定値、すなわち上述の参照画素値として用いられる。

強膜における白色の変化する色合いに関して上述したように、特定の第２の領域についての肌の色（肌の明るさ）も同様に変化する色合いを有することが理解されよう。したがって、少なくとも１つの第２の領域における様々な画素の正規化された画素値も（概して、限定された範囲内で）変化し得る。よって、少なくとも１つの第２の領域における画素の正規化された画素値から、肌の代表的な画素値が決定される。本明細書において、「肌の代表的な画素値」は第２の領域の全体の画素値を示すものであり、第２の領域における全ての画素の正規化された画素値の平均（平均値又は中央値）を計算することによって決定されてもよい。

上述のように、肌の明るさは人によって異なる。本明細書において、「肌の明るさのパレット」は、例えば、濃いから淡いまでの人の肌について知られている複数の肌の明るさを有する参照スケールである。決定された肌の代表的な画素値を肌の明るさのパレットにおける異なる肌の明るさと比較することにより、肌の代表的な画素値に一致する画素値を有する肌の明るさが選択される。選択された肌の明るさはユーザの肌の明るさとして決定される。本明細書において、一致は完全一致であってもよいし、最類似の一致（例えば、類似閾値を使用して求められる）であってもよい。肌の明るさのパレットは、数十から数百の異なる肌の明るさを提供してもよいことが理解されよう。本開示の目的のために、肌の明るさのパレットは、肌の代表的な画素値が検索され、肌の代表的な画素値が代表的な画素に完全に一致する、又は最も近い肌の明るさが決定され得る、様々な肌の明るさの画素値のルックアップテーブルの形態であってもよい。

任意で、サーバ構成は、ユーザの肌の明るさに基づいて化粧品を選択し、ユーザデバイスを介してユーザに選択された化粧品を推薦するように構成される。本明細書において、「化粧品」という用語は、ファンデーションクリーム、保湿クリーム、眼の下に塗るクリーム、コンパクト、リップバームなどの、ユーザの肌に外的に使用し得る任意の製品を包含し得る。化粧品は、一般的に肌をきれいにするために使用され、所望の効果を得るには適切な、又は正しい化粧品を使用する必要がある。使用に適した化粧品は、大抵の場合、ユーザの肌の明るさによって決まる。例えば、濃い肌のユーザがコンパクトを使用したい場合、濃い肌用のコンパクトを使用すべきであり、色白の肌用のコンパクトがこのユーザに使用されると「白浮き」効果が出て好ましくない。本開示の実施形態にあるように、ユーザの肌の明るさが決定され、したがって、適切な化粧品を選択することができる。これは、化粧品のメーカ（又はベンダ）から提供され得る特定の肌の明るさについての各化粧品の適切さに関する情報（可能であればマッピング）を使用して実現される。更に、選択された化粧品は、ユーザデバイスのＧＵＩを介してユーザに推薦される。推薦と共に、ＧＵＩは推薦される化粧品を直接購入できるリンクを提供してもよい。

任意で、サーバ構成は、入力画像の全体における画素の正規化された画素値から正規化された画像を生成し、第１の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも１つの領域に化粧品の効果を適用し、ユーザに提示するためにユーザデバイスに第１の出力画像を送信するように構成される。上述のように、画素の画素値の正規化は、第２の領域又は入力画像の全体における画素について実施され得る。本実装では、入力画像の全体における画素の画素値は、正規化された画像を生成するために正規化される。次に、ユーザの顔での化粧品の効果を確認するために、Ｏｐｅｎ ＣＶ、スペクトルに基づく色再現などの様々な公知のシミュレーション技術のいずれか１つ以上が考え得るが、これらは本開示の範囲外であり、本明細書においては説明しない。肌の代表的な画素値（肌の画素の正規化された画素値から決定される）は、このような技術の実施に適切な参照を提供する。化粧品の効果適用後に生成された画像が、第１の出力画像として参照される。次に、この第１の出力画像はユーザデバイスに送信され、ＧＵＩを介してユーザに提示される。これによって、例えば、ユーザは自身の肌への化粧品の効果を確認でき、更にその化粧品を購入するかどうかを決めることができる。

任意で、サーバ構成は、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化し、第２の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも１つの領域に適用し、ユーザに提示するために第２の出力画像をユーザデバイスに送信するように構成される。上述のように、第２の領域における画素の正規化された画素値に依存する肌の代表的な画素値に従って決定されたユーザの肌の明るさに基づいて化粧品が推薦される。ここで、第２の領域における画素の画素値のみが正規化される場合、入力画像の全体（第２の領域外の画素の画素値は正規化されていない可能性がある）に適用された際の化粧品の効果は、化粧品のユーザの顔への実際の使用感を正しく表していないかもしれない。よって、サーバ構成は、まず、化粧品の色の画素値（メーカ又はベンダから入手可能）を（入力画像における）画素値の範囲へと変換し戻すことによって、化粧品の色の画素値を逆正規化するように構成される。

本明細書において、「逆正規化」（技術分野では「逆補正」とも呼ばれる）は、全ての画素色値について
Ｒ＿バイアス済＝Ｒ＿オリジナル×ｃ＿１、
Ｇ＿バイアス済＝Ｇ＿オリジナル、及び
Ｂ＿バイアス済＝Ｂ＿オリジナル×ｃ＿２
を決定することによって実現される。

一例では、入力画像は全てのものが「実物」よりも赤く見えるような赤色バイアスを有する。この例では、ｃ＿１＝１．１である（単純にするとｃ＿２＝１．０）。例えば、おしろいを入力画像におけるユーザの顔に添加すると、おしろいは、環境条件と一致し、浮かないようにするために、同じ赤色バイアスを有する必要がある。したがって、本実装では、ＲＧＢ［２００，２００，２００］であるおしろいが入力画像に仮想的に適用される。「逆正規化」後に、ＲＧＢ値は［２２０，２００，２００］（「Ｒ」は２００×１．１である）となり、これは入力画像についての画像条件でユーザの顔に適用されると製品（すなわち、おしろい）が「どのように見えるであろうか」をよりよくシミュレーションするものとなるはずである。

完全な画像色正規化の代わりに、逆正規化を行うことに利点があることが理解されよう。例えば、これによって、必要となるのは（画像データの全体を操作するのではなく）製品色コードごとに２つの乗算を計算することのみであるため、計算コストが著しく低減する。更に、入力画像が予想外に変更されて体験に混乱を来すようなことはない。また、ユーザが生成したデータは一般的に不一致がない。すなわち、ユーザが自撮りし、自身のデバイスに保存し、本明細書に記載の解決策を使用して製品を仮想的に適用した外見と比較し、その画像はこの種の比較を行うために概して加工せずに取っておく。

そこから、逆正規化された化粧品は、強膜の代表的な画素値と参照画素値との差に基づいて生成される。この生成された逆正規化された化粧品の効果が、第２の出力画像を生成するために、入力画像の少なくとも１つの領域に適用されてもよい。そのような効果の適用は、先の段落で上述したのと同じシミュレーション技術を使用して実現されてもよい。次に、生成された第２の出力画像はユーザデバイスに送信され、ＧＵＩを介してユーザに提示される。これによって、例えば、ユーザは入力画像が撮影された照明条件の下で、自身の肌への化粧品の効果を確認でき、更にその化粧品を購入するかどうかを決めることができる。

ある実装では、入力画像の画素値の範囲は０から２５５を取り得、０は黒を、２５５は白を示す。第１の例では、オリーブ色の肌の明るさのユーザについての入力画像が、最適な照明条件で取り込まれる。本明細書において、例えば、入力画像中の強膜の画素値は２５５、肌の代表的な画素値は１００となり得る。正規化後に、肌の正規化された画素値は０．４（上述の等式を用いて計算）となる。肌の明るさは、オリーブ色の肌の明るさの値が０．４であるパレットから、「オリーブ色」と推定されてもよい。第２の例では、オリーブ色の肌の明るさの同じユーザについての入力画像が、濃い照明条件で取り込まれる。本明細書において、例えば、入力画像中の強膜の画素値は２００、肌の代表的な画素値は８０となり得る。正規化後に、肌の正規化された画素値はここでも０．４（上述の等式を用いて計算）となる。ここでも、肌の明るさは、オリーブ色の肌の明るさの値が０．４であるパレットから、「オリーブ色」と推定されてもよい。

本開示の１つ以上の実施形態では、サーバ構成への接続は肌の明るさを決定するために必須でなくともよい。本明細書において、ユーザデバイスは、肌の明るさの決定に必要な全ての処理及び分析をローカルで行うように構成されてもよい。更に、本開示の１つ以上の実施形態では、肌の明るさの決定は、ユーザの人口動態、ユーザの人種、ユーザ入力、あらかじめ定められた肌の明るさなどのあらかじめ分かっている何らかの情報で補助されてもよい。

更に、本明細書は上述のようなユーザの肌の明るさを決定する方法にも関する。上記に開示された様々な実施形態及びその変形は、このユーザの肌の明るさを決定する方法にも適宜当てはまる。

任意で、ユーザの肌の明るさを決定する方法は、ユーザの肌の明るさに基づいて化粧品を選択することと、ユーザデバイスを介してユーザに選択された化粧品を推薦することと、を更に含む。

任意で、ユーザの肌の明るさを決定する方法は、入力画像の全体における画素の正規化された画素値から正規化された画像を生成することと、第１の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも１つの領域に化粧品の効果を適用することと、ユーザに提示するためにユーザデバイスに第１の出力画像を送信することと、を更に含む。

任意で、ユーザの肌の明るさを決定する方法は、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化することと、第２の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも１つの領域に適用することと、ユーザに提示するために第２の出力画像をユーザデバイスに送信することと、を更に含む。

任意で、ユーザの肌の明るさを決定する方法における少なくとも１つの第２の領域を決定するステップは、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析することと、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも１つを選択することと、を更に含み、複数の領域のうちの少なくとも１つは少なくとも１つの第２の領域として決定される。

任意で、複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも１つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも１つがユーザの顔の所定の部分に対応するか、のうちの少なくとも１つであるときに、ユーザの肌の明るさを決定する方法の複数の領域のうちの少なくとも１つは複数の領域のうちの当該少なくとも１つは所定の基準を満たす。

更に、本明細書は上述のようなユーザの肌の明るさを決定するコンピュータプログラムプロダクトにも関する。本明細書において、コンピュータプログラムプロダクトは、スマートフォンなどのユーザデバイスに実装され得る。上記に開示された様々な実施形態及びその変形は、このユーザの肌の明るさを決定するコンピュータプログラムプロダクトにも適宜当てはまる。

任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、ユーザの肌の明るさに基づいて化粧品を選択することと、ユーザに選択された化粧品を推薦することと、を実施させる。

任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、入力画像の全体における画素の正規化された画素値から正規化された画像を生成することと、第１の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも１つの領域に化粧品の効果を適用することと、第１の出力画像をユーザに提示することと、を実施させる。

任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化することと、第２の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも１つの領域に適用することと、第２の出力画像をユーザに提示することと、を実施させる。

任意で、少なくとも１つの第２の領域を決定する際に、プログラム命令は処理デバイスに、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析することと、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも１つを選択することと、を実施させ、複数の領域のうちの少なくとも１つは少なくとも１つの第２の領域として決定される。

任意で、複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも１つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも１つがユーザの顔の所定の部分に対応するか、のうちの少なくとも１つであるときに、複数の領域のうちの当該少なくとも１つは所定の基準を満たす。

システム、方法、及びコンピュータプロダクトは、紙ベースの肌の明るさパレットなどを使用する必要なく、容易にユーザの肌の明るさを決定し得ることから有利である。本明細書において、第２の領域又は入力画像の全体の正規化が、入力画像を撮影する際にユーザの顔の近くに肌パレットを配置する必要をなくする。更に、決定された肌の明るさは、異なる照明及び他の変動条件に関係なく実物に近い。この決定された肌の明るさは、化粧品を推薦するために使用されてもよく、これによりユーザは、店舗に行って実際の使用感を試す必要なく、自宅で気軽に化粧品を使用した効果を確認することができる。
図面の詳細な説明

図１を参照すると、本開示の実施形態に係る、ユーザ１０２の肌の明るさを決定するシステム１００の概略図が示されている。特に、システム１００は、ユーザ１０２の顔１０４の肌の明るさを決定するために実装される。本明細書において、システム１００は、ユーザ１０２に関連付けられ、カメラ１０８を有するユーザデバイス１０６を備える。システム１００は、サーバ構成１１０を更に備える。サーバ構成１１０は、ユーザデバイス１０６にデータ通信ネットワーク１１２を介して通信可能に接続されている。第１の通信リンク１１４は、ユーザデバイス１０６をデータ通信ネットワーク１１２に接続する。第２の通信リンク１１６は、サーバ構成１１０をデータ通信ネットワーク１１２に接続する。本明細書において、ユーザ１０２は、自身の顔１０４を撮影した入力画像を生成するために、カメラ１０８を操作する際にユーザデバイス１０６を使用する。サーバ構成１１０は、データ通信ネットワーク１１２を介してユーザデバイス１０６からユーザ１０２の顔１０４を撮影した入力画像を取得する。

図２を参照すると、本開示の実施形態に係る、入力画像２００（図１を参照して上述したようなユーザ１０２の顔１０４を撮影した入力画像など）の図が示されている。図２の例示的な図では、顔２０２の入力画像２００は、顔２０２における眼２０４、顔２０２における眼２０４の中の強膜２０６、及び顔２０２における頬領域２０８についての詳細を含み、ここで、濃淡の点の部位は、中間的な肌の明るさ４０８及びオリーブ色の肌の明るさ４０４である肌の明るさを示す。

図３を参照すると、本開示の実施形態に係る、図２の顔２０２の入力画像２００が複数の領域に分割されて処理されている図が示されている。図示されているように、入力画像２００は、図示されているようにグリッド線３００によって複数の領域に分割されている。本明細書において、図示されているように、第１の領域３０２は顔２０２における眼２０４の中の強膜２０６に対応し、第２の領域３０４は顔２０２における肌の一部、特に顔２０２における頬２０８の部分に対応する。ここで、濃淡の点の部位は、中間的な肌の明るさ４０８及びオリーブ色の肌の明るさ４０４である肌の明るさを示す。

図４を参照すると、本開示の実施形態に係る、肌の明るさ４００の例示的なパレットが示されている。肌の明るさ４００の例示的なパレットは、濃い肌の明るさ４０２、オリーブ色の肌の明るさ４０４、ブラウンの肌の明るさ４０６、中間的な肌の明るさ４０８、及び色白の肌の明るさ４１０である５段階の肌の明るさを有するものとして示されている。

図５を参照すると、本開示の実施形態に係る、ユーザデバイス（図１のユーザデバイス１０６など）と相互作用するための例示的なグラフィカルユーザインタフェース（ＧＵＩ）５００が示されている。グラフィカルユーザインタフェース５００は、ドロップダウン矢印５０４のある選択メニュー５０２、「自撮りする」オプション５０６、「第２の領域を選択する」オプション５０８、推薦された化粧品を表示するための表示オプション５１０などの異なるメニュー及びオプションを提供する。本明細書において、選択メニュー５０２はドロップダウンメニューバーである。選択メニュー５０２の矢印５０４をクリックすると、ユーザにはオプション５０６、５０８、及び５１０が与えられる。入力画像（図２の入力画像２００など）を撮影するには、オプション５０６が選択される。オプション５０８を選択すると、入力画像の少なくとも１つの第２の領域についてのユーザの選択を示す入力（接触応答など）を受信できる入力画像が表示される。オプション５１０を選択すると、ユーザに提示するために入力画像を処理することによって生成された、第１の出力画像（図６に示される第１の出力画像６００など）又は第２の出力画像（図示せず）が提示される。

図６を参照すると、本開示の実施形態に係る、顔６０２の第１の出力画像６００の図が示されている。第１の出力画像６００は、顔６０２に対応する入力画像（具体的には、入力画像から生成された正規化された画像）の少なくとも１つの領域に化粧品の効果を適用することによって生成される。本明細書において、化粧品はコンパクトであり、顔６０２全体に使用されているため、第１の出力画像６００はより明るく見えており、すなわち、コンパクトの使用後、顔６０２の肌の明るさは色白の肌の明るさ４１０に見えている。

図７を参照すると、本開示の実施形態に係る、ユーザの肌の明るさを決定する方法のフローチャート７００が示されている。本方法は、ステップ７０２において、ユーザの少なくとも顔を撮影した入力画像を取得することを含む。本方法は、ステップ７０４において、少なくとも１つの第１の領域を特定するために、入力画像を分析することを含む。本明細書において、入力画像の特定された少なくとも１つの第１の領域は、ユーザの強膜に対応する。本方法は、ステップ７０６において、強膜の代表的な画素値を決定することを含む。本明細書において、強膜の代表的な画素値は、入力画像の少なくとも１つの第１の領域内の画素の画素値から決定される。本方法は、ステップ７０８において、入力画像の少なくとも１つの第２の領域を決定することを含む。本明細書において、ユーザの肌に対応する入力画像の少なくとも１つの第２の領域は、入力画像の分析と、入力画像の少なくとも１つの第２の領域についてのユーザの選択を示すユーザデバイスから受信した入力の少なくとも一方に基づいて決定される。本方法は、ステップ７１０において、画素の画素値を正規化することを含む。本明細書において、少なくとも１つの第２の領域又は入力画像の全体における画素の画素値は、強膜の代表的な画素値と参照画素値との差に基づいて正規化される。本方法は、ステップ７１２において、肌の代表的な画素値を決定することを含む。本明細書において、肌の代表的な画素値は、少なくとも１つの第２の領域内の画素の正規化された画素値から決定される。本方法は、ステップ７１４において、肌の代表的な画素値に一致する画素値を有する肌の明るさを選択することを含む。この選択は、肌の明るさのパレットの中から、肌の明るさを選択することによって実現され、選択された肌の明るさはユーザの肌の明るさとして決定される。

上述の本開示の実施形態は、添付の請求項に定義された本開示の範囲から逸脱することなく、変更が可能である。本開示を説明し、特許請求するために使用されている「含む」、「備える」、「包含する」、「有する」、「である」などの表現は、非限定的に解釈されることが意図されており、つまり、明示的に記載されていない品目、部品、又は要素が存在してもよい。単数として示されたものは、それが複数である場合も関連すると解釈される。

Claims (18)

1. ユーザの肌の明るさを決定するシステムであって、該システムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備え、
   前記サーバ構成は、
   ・ 少なくとも前記ユーザの顔を撮影した入力画像を取得し、
   ・ 前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析し、
   ・ 前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、
   ・ 前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、
   ・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化し、
   ・ 前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、
   ・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択する
   ように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、システム。
2. 前記サーバ構成は、前記ユーザの肌の明るさに基づいて化粧品を選択し、前記ユーザデバイスを介して前記ユーザに前記選択された化粧品を推薦するように構成される、請求項１に記載のシステム。
3. 前記サーバ構成は、
   ・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成し、
   ・ 第１の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも１つの領域に前記化粧品の効果を適用し、
   ・ 前記ユーザに提示するために前記ユーザデバイスに前記第１の出力画像を送信する
   ように構成される、請求項２に記載のシステム。
4. 前記サーバ構成は、
   ・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化し、
   ・ 第２の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも１つの領域に適用し、
   ・ 前記ユーザに提示するために前記第２の出力画像を前記ユーザデバイスに送信する
   ように構成される、請求項２又は３に記載のシステム。
5. 前記少なくとも１つの第２の領域を決定する際に、前記サーバ構成は、
   ・ 前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析し、
   ・ 前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも１つを選択する
   ように構成され、前記複数の領域のうちの少なくとも１つは前記少なくとも１つの第２の領域として決定される、請求項１から４のいずれかに記載のシステム。
6. ・ 前記複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、
   ・ 前記複数の領域のうちの少なくとも１つのサイズが前記複数の領域の残りのサイズよりも大きいか、
   ・ 前記複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、
   ・ 前記複数の領域のうちの少なくとも１つが前記ユーザの顔の所定の部分に対応するか、
   のうちの少なくとも１つであるときに、前記複数の領域のうちの当該少なくとも１つは前記所定の基準を満たす、請求項５に記載のシステム。
7. ユーザの肌の明るさを決定する方法であって、該方法は、
   ・ 少なくとも前記ユーザの顔を撮影した入力画像を取得することと、
   ・ 前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、
   ・ 前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、
   ・ 前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、
   ・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、
   ・ 前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、
   ・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、
   を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、方法。
8. 前記ユーザの肌の明るさに基づいて化粧品を選択することと、前記ユーザデバイスを介して前記ユーザに前記選択された化粧品を推薦することと、を更に含む、請求項７に記載の方法。
9. ・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成することと、
   ・ 第１の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも１つの領域に前記化粧品の効果を適用することと、
   ・ 前記ユーザに提示するために前記ユーザデバイスに前記第１の出力画像を送信することと、
   を更に含む、請求項８に記載の方法。
10. ・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化することと、
    ・ 第２の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも１つの領域に適用することと、
    ・ 前記ユーザに提示するために前記第２の出力画像を前記ユーザデバイスに送信することと、
    を更に含む、請求項８又は９に記載の方法。
11. 前記少なくとも１つの第２の領域を決定するステップは、
    ・ 前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析することと、
    ・ 前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも１つを選択することと、
    を含み、前記複数の領域のうちの少なくとも１つは前記少なくとも１つの第２の領域として決定される、請求項７から１０のいずれかに記載の方法。
12. ・ 前記複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、
    ・ 前記複数の領域のうちの少なくとも１つのサイズが前記複数の領域の残りのサイズよりも大きいか、
    ・ 前記複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、
    ・ 前記複数の領域のうちの少なくとも１つが前記ユーザの顔の所定の部分に対応するか、
    のうちの少なくとも１つであるときに、前記複数の領域のうちの当該少なくとも１つは前記所定の基準を満たす、請求項１１に記載の方法。
13. ユーザの肌の明るさを決定するコンピュータプログラムプロダクトであって、該コンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに、
    ・ 少なくとも前記ユーザの顔を撮影した入力画像を取得することと、
    ・ 前記ユーザの強膜に対応する前記入力画像の少なくとも１つの第１の領域を特定するために、前記入力画像を分析することと、
    ・ 前記入力画像の前記少なくとも１つの第１の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、
    ・ 前記ユーザの肌に対応する前記入力画像の少なくとも１つの第２の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも１つの第２の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、
    ・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも１つの第２の領域又は前記入力画像の全体における画素の画素値を正規化することと、
    ・ 前記少なくとも１つの第２の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、
    ・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、
    を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、コンピュータプログラムプロダクト。
14. 前記プログラム命令は前記処理デバイスに、前記ユーザの肌の明るさに基づいて化粧品を選択することと、前記ユーザに前記選択された化粧品を推薦することと、を実施させる、請求項１３に記載のコンピュータプログラムプロダクト。
15. 前記プログラム命令は前記処理デバイスに、
    ・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成することと、
    ・ 第１の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも１つの領域に前記化粧品の効果を適用することと、
    ・ 前記第１の出力画像を前記ユーザに提示することと、
    を実施させる、請求項１４に記載のコンピュータプログラムプロダクト。
16. 前記プログラム命令は前記処理デバイスに、
    ・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化することと、
    ・ 第２の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも１つの領域に適用することと、
    ・ 前記第２の出力画像を前記ユーザに提示することと、
    を実施させる、請求項１４又は１５に記載のコンピュータプログラムプロダクト。
17. 前記少なくとも１つの第２の領域を決定する際に、前記プログラム命令は前記処理デバイスに、
    前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析することと、
    前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも１つを選択することと、
    を実施させ、前記複数の領域のうちの少なくとも１つは前記少なくとも１つの第２の領域として決定される、請求項１３から１６のいずれかに記載のコンピュータプログラムプロダクト。
18. ・ 前記複数の領域のうちの少なくとも１つのサイズが所定の閾値サイズよりも大きいか、
    ・ 前記複数の領域のうちの少なくとも１つのサイズが前記複数の領域の残りのサイズよりも大きいか、
    ・ 前記複数の領域のうちの少なくとも１つにおける画素の画素値が所定の公差をもって均一性を有するか、
    ・ 前記複数の領域のうちの少なくとも１つが前記ユーザの顔の所定の部分に対応するか、
    のうちの少なくとも１つであるときに、前記複数の領域のうちの当該少なくとも１つは前記所定の基準を満たす、請求項１７に記載のコンピュータプログラムプロダクト。

Images