JP2019512797A - カスタマイズされた製品の推奨を提供するためのシステム及び方法 - Google Patents

カスタマイズされた製品の推奨を提供するためのシステム及び方法 Download PDF

Info

Publication number
JP2019512797A
JP2019512797A JP2018548331A JP2018548331A JP2019512797A JP 2019512797 A JP2019512797 A JP 2019512797A JP 2018548331 A JP2018548331 A JP 2018548331A JP 2018548331 A JP2018548331 A JP 2018548331A JP 2019512797 A JP2019512797 A JP 2019512797A
Authority
JP
Japan
Prior art keywords
image
user
age
skin
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018548331A
Other languages
English (en)
Other versions
JP6730443B2 (ja
Inventor
フェイサル シャーマン ファイズ
フェイサル シャーマン ファイズ
クリスティーヌ ウェイツ シャノン
クリスティーヌ ウェイツ シャノン
シュー ジュン
シュー ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of JP2019512797A publication Critical patent/JP2019512797A/ja
Application granted granted Critical
Publication of JP6730443B2 publication Critical patent/JP6730443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

カスタマイズされたスキンケア製品の推奨を提供するためのシステム及び方法。システムは、画像捕捉デバイスと、画像捕捉デバイスに連結されたコンピューティングデバイスとを利用する。コンピューティングデバイスは、システムに、畳み込みニューラルネットワークを通じて画像を処理することによって、ユーザの捕捉された画像を解析させて、ユーザの肌年齢を判定する。肌年齢を判定することは、肌年齢を示す少なくとも1つの画素を識別することと、その少なくとも1つの画素を利用して、肌年齢に寄与する画像の領域を識別するヒートマップを作成することと、を含み得る。システムは、ユーザの目標の肌年齢を判定し、目標の肌年齢を達成するためのスキンケア製品を判定し、ユーザに製品を購入させるオプションを提供するために使用され得る。

Description

本出願は、一般に、カスタマイズされた製品の推奨を提供するためのシステム及び方法に関し、具体的には、畳み込みニューラルネットワークを利用して画像の特徴を識別し、それらの特徴を利用して製品を推奨することに関する実施形態に関する。
肌状態を処置するために多様な種類のスキンケア製品が市販されているが、消費者がどのスキンケア製品を使用すべきかを判定するのが困難であることは珍しいことではない。その結果、消費者は、消費者が処置を求めている特定の肌状態を処置することのないスキンケア製品を購入する場合がある。したがって、消費者のニーズに合わせてカスタマイズされたスキンケア製品が必要とされている。
米国特許公開第2013/0013330号(「‘330公開」)は、肌の審美的及び形態学的状態を評価するための方法、並びに化粧品及び/又は皮膚科的処置の処方に関する。‘330公開には、ユーザの年齢及び生活習慣に関する情報を取得することと、ユーザの身体部分の生体計測解析を実施することと、解析からの結果を処理し、それらを肌の審美的及び形態学的因子に関する所定のデータと比較することと、処理されたデータに従って、ユーザの肌モデルを取得することと、ユーザの肌モデルを、化粧品及び/又は皮膚科学製品に関するデータベースに含まれる少なくとも2次元の所定のデータにリンクさせることと、予め選択された化粧品及び/又は皮膚科学製品のキットを処方することと、が記載されている。‘330公開には、ユーザの肌の解析を実施し、解析に基づいて処置を実施することが記載されているが、‘330公開は、畳み込みニューラルネットワークを利用していない。‘330公開には、肌の特徴を評価し、ベースラインとの比較を実施することも記載されていない。
米国特許第8,625,864号(「‘864特許」)は、化粧品解析及び処置診断のシステム及び方法に関する。‘864特許には、対象の複数の定義された身体エリアのそれぞれの観察可能な特性の評価データを受信することと、複数の定義された身体エリアのそれぞれについての評価データを各身体エリアに関連する重み付けデータに変換することと、重み付けデータから化粧品解析データを生成することと、化粧品解析データを出力することと、が記載されている。このように、‘864特許には化粧品解析を実施することができるシステムが記載されているが、‘864特許及び他の先行技術は、肌の好みを評価すること又は製品の好みを判定することについては開示していない。
米国特許公開第2013/0013330号 米国特許第8,625,864
したがって、消費者の肌状態を評価し、その評価に基づいてカスタマイズされた製品の推奨を提供する改良された方法が必要とされている。
カスタマイズされた製品の推奨を提供するための実施形態が含まれる。いくつかの実施形態は、画像捕捉デバイスと、画像捕捉デバイスに連結されたコンピューティングデバイスとを含むシステムを含む。コンピューティングデバイスは、システムに、画像捕捉デバイスを介してユーザの画像を捕捉させ、畳み込みニューラルネットワークを通じて画像を処理してユーザの肌年齢を判定させる論理を格納するメモリ構成要素を含み得る。肌年齢を判定することは、肌年齢を示す少なくとも1つの画素を識別することと、その少なくとも1つの画素を利用して、肌年齢に寄与する画像の領域を識別するヒートマップを作成することと、を含み得る。論理は、更に、システムに、ユーザの目標の肌年齢を判定させ、目標の肌年齢を達成するためにユーザがユーザの肌の領域に塗布する製品を判定させ、ユーザが製品を購入するためのオプションを提供させ得る。
方法の実施形態もまた含まれる。方法のいくつかの実施形態は、ユーザの画像を受信することと、畳み込みニューラルネットワークを通じてその画像を処理してユーザの肌年齢を判定することと、を含む。肌年齢の判定は、肌年齢を示す少なくとも1つの画素を識別することと、その画素を利用して、肌年齢に寄与する画像の領域を識別する2次元ヒートマップを作成することと、を含み得る。方法はまた、目標の肌年齢を達成するためにユーザが肌の領域に塗布する製品を判定することであって、製品が領域に塗布可能であるものとして判定される、判定することと、ユーザが製品を購入するためのオプションを提供することと、を含み得る。
また、非一時的コンピュータ読み取り可能媒体の実施形態も含まれる。非一時的コンピュータ読み取り可能媒体のいくつかの実施形態は、コンピューティングデバイスに、ユーザの画像を受信させ、画像の2次元ヒートマップを作成させる論理を含み、2次元ヒートマップは、肌年齢を示す画像の少なくとも1つの画素を識別するために畳み込みニューラルネットワークを介して作成され、2次元ヒートマップは、肌年齢に寄与する画像の領域を識別する。論理は、更に、コンピューティングデバイスに、2次元ヒートマップからユーザの目標の肌年齢を判定させ、目標の肌年齢を達成するために、ユーザが肌の領域に塗布する製品を判定させ得る。いくつかの実施形態では、論理は、コンピューティングデバイスに、ユーザが製品を購入するためのオプションを提供させる。
前述の一般的な説明及び以下の詳細な説明は両方とも、種々の実施形態を説明し、特許請求される発明の主題の本質及び特徴を理解するための概観又は骨組みを提供することが意図されることを理解されたい。添付の図面は、種々の実施形態の更なる理解を提供するために含められたものであり、本明細書の一部に組み込まれると共に本明細書の一部をなすものである。図面は、本明細書に記述される種々の実施形態を例示し、説明と共に、特許請求される発明の主題の原理及び動作を説明する役割を果たす。
本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するためのコンピューティング環境を描写する。 本明細書に記載される実施形態に従う、画像の特徴を識別するために利用され得る畳み込みニューラルネットワークの構造を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、処置のための特徴を判定するために解析され得る画像を描写する。 本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するためにユーザの画像を捕捉するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するために解析される画像を図示するユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の推奨のために作成され得る正規化された画像及びヒートマップを提供するユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の推奨をカスタマイズするアンケートをユーザに提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、アンケートのための追加のプロンプトを提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、捕捉された画像に基づいて、ユーザの肌年齢を提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の推奨を提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の推奨の詳細を提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、ユーザに推奨される製品を塗布するための療法を提供するユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の療法の詳細を提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、判定された療法に関連する推奨を提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、製品の推奨をユーザのタイムラインに提供するためのユーザインターフェースを描写する。 本明細書に記載される実施形態に従う、画像から特徴を識別するための畳み込みニューラルネットワークを訓練するためのフロー図を描写する。 本明細書に記載される実施形態に従う、特徴の認識のために利用され得る画像のヒートマップを生成するためのフロー図を描写する。 本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するためのフロー図を描写する。 本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するためのリモートコンピューティングデバイスの構成要素を描写する。
消費者にカスタマイズされた製品の推奨を提供するために、化粧品産業において、様々なシステム及び方法が使用されている。例えば、肌状態の1つ以上の特徴(例えば、小じわ、しわ、斑点、肌の色調の変化)が、予め定められた定義と合致する特徴を探すことによって、捕捉された画像(例えば、デジタル写真)内で検出される、特徴に基づく解析を使用するシステムが、肌を解析するために一般的に使用されている。しかし、特徴に基づく解析システムは、目的の特定の肌状態に対する所定の定義に依存し、相当のコンピュータメモリ及び/又は処理能力を必要とすることがある。その結果、特徴に基づくシステムは、肌状態の診断又は肌年齢の判定の際に、所望のレベルの精度を提供しないことがある。
いくつかの従来の特徴に基づく画像解析システムの欠点に鑑みて、本明細書に記載の方法及びシステムは、ユーザに肌年齢の解析及び肌状態の指標を提供するために、畳み込みニューラルネットワーク(convolutional neural network、「CNN」)に基づくシステムに依拠する。本明細書におけるCNNに基づく画像解析システムは、比較的少ない画像前処理を使用し、これにより事前知識及び所定の定義へのシステムの依存性を低減する。その結果、本システムは、従来の特徴に基づく画像解析システムと比較して、改善された汎用性を発揮し、より正確な肌解析及び/又は年齢予測を提供することができ、これにより、本システムを使用する消費者に、より良いスキンケア製品又は療法の推奨がもたらされ得る。
定義
「アンカー特徴」とは、ユーザの顔の画像を正規化するために利用されるユーザの顔における特徴を意味する。
「畳み込みニューラルネットワーク」とは、フィードフォワード人工ニューラルネットワークの一種であり、個々のニューロンが視野の重複領域に応答するようにタイル状になっている。
「データ拡張」とは、訓練画像又は他の画像に関連付けられているデータを変更して、画像についての追加のサンプルを作成することを意味する。
本明細書における「ヒートマップ」とは、判定された肌年齢に寄与する肌の特徴及び/又はエリア(例えば、額、頬、ほうれい線、目尻のしわ、目の下、上唇)を識別するために画像の一部が視覚的に強調表示されている、ユーザの顔のデジタル画像を指す。
「画像捕捉デバイス」とは、ユーザの画像を捕捉することができるデジタルカメラ等のデバイスである。
「肌年齢」とは、捕捉された画像に基づいて、本明細書におけるシステムによって計算されたユーザの肌の年齢を意味する。
「目標の肌年齢」とは、肌年齢よりも所定の年数だけ少ない肌年齢を意味する。
本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書で提供される特徴を使用する任意の人を指す。
本明細書におけるシステム及び方法は、インシリコスキンモデルとして機能する訓練された畳み込みニューラルネットワークを使用して、ユーザの肌(例えば、顔の肌)の捕捉された画像を解析することによってユーザの肌年齢を予測する。CNNは、層内の各画素に同じフィルタを使用する複数のニューロン集合の層を含む。部分的かつ完全に接続された層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。
いくつかの実例では、システムは、CNN訓練及び画像解析のための段階が続く前処理段階を含み得る。前処理の間に、目、額、頬、鼻、目の下側領域、目の外側領域、ほうれい線、唇、及びこれらの特徴(「アンカー特徴」)に隣接する顔の部分等の、ほとんどのユーザに共通する1つ以上の顔の特徴が受信された画像内で検出されてもよい。システムは、既知のエッジ検出技術、形状検出技術等を使用してアンカー特徴を検出してもよい。アンカー特徴の位置に基づいて、画像をスケーリング及び回転させて画像を実質的に水平化し、アンカー特徴を最終画像の所定の位置に配置してもよい。このようにして、訓練画像を一貫して整列させることができ、より一貫した訓練及び解析を提供することができる。次いで、画像は、更なる処理のための入力として所定の画素のエリアに切り取られてもよい。
前処理はまた、画像の正規化を含んでもよい。例えば、訓練画像(及び/又はユーザの画像)を標準化するために、グローバルコントラスト正規化が利用されてもよい。同様に、画像は、画像内の髪、首及び他の望ましくない物体のような他の特徴の影響を最小限に抑えるために、固定された(又は所定の)サイズの楕円形マスクでマスキングされてもよい。
いくつかの実例では、入力された画像から追加のサンプルを作成するために、データ拡張が実施されてもよい。追加のサンプルは、入力された画像の変化を許容するように、CNNを訓練するために使用される。これは、モデルの精度の向上を支援する。すなわち、CNNは、例えば、写真撮影方法、写真撮影条件、写真撮影用のハードウェア等の違いにもかかわらず、適切な解析に必要な情報を抽出することができる。データ拡張によって生成された追加のサンプルはまた、CNNに、1つの特定の特徴ではなく、肌年齢予測のための様々な特徴に依拠するように学習させることができ、CNNの過度な訓練を防止することができる。データ拡張のいくつかの非限定的な例として、画像をランダムに拡大又は縮小すること、画像をランダムに時計回り方向又は反時計回り方向に回転させること、画像をランダムに切り取ること、並びに/又は画像の彩度及び/若しくは露光をランダムに変化させること、が挙げられる。いくつかの実例では、画像データは、入力画像をランダムな垂直方向のドロップアウトに適用することによって拡張され得、ランダムな画素列が画像から除去される。
本明細書におけるCNNは、哺乳類の視覚野が画像の重要な特徴を認識することを学習するのと同様に、CNNに画像のどの部分が肌年齢に寄与するかを学習させる、ディープラーニング技術を用いて訓練されてもよい。いくつかの実例では、CNN訓練は、ネステロフ運動量(及び/又は他のアルゴリズム)を伴うミニバッチ確率的勾配降下(stochastic gradient descent、SGD)を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第8,582,807号に開示されている。
いくつかの実例では、CNNは、訓練されていないCNNに、学習するための多数の捕捉された画像を提供することによって訓練されてもよい。いくつかの実例では、CNNは、教師あり学習と呼ばれる処理を通じて、肌年齢に寄与する画像内の肌の部分を識別するように学習することができる。「教師あり学習」とは、一般に、CNNが、画像内の人の年齢が所定の画像を解析することによって訓練されることを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像(例えば、数百又は数千)から画像の連続した入力まで(すなわち、連続した訓練を提供するために)変化し得る。
本明細書におけるシステム及び方法は、広範囲の肌のタイプについてユーザの見掛け年齢を正確に予測することができる訓練されたCNNを利用する。予測される年齢を生成するために、ユーザの画像(例えば、ユーザの顔のデジタル画像)は、訓練されたCNNを通じて順方向に伝播する。CNNは、画像を解析し、ユーザの予測される年齢に寄与する画像内の肌の部分(「トラブルスポット」)を識別する。次いで、CNNは、トラブルスポットを使用してユーザの年齢を予測する。次いで、システムは目標の肌年齢(例えば、所定の年数(例えば、10、9、8、7、6、5、4、3、2、若しくは1年、又はユーザの実年齢)を差し引いたユーザの予測される年齢を判定し、勾配が元の画像に伝播される。次いで、勾配の複数のチャネルの絶対値が、少なくとも1つの画素について合計され、視覚化の目的で0〜1の範囲でスケーリングされてもよい。スケーリングされた画素の値は、ユーザの肌年齢の判定に最も寄与する(かつ最も寄与しない)画素を表し得る。各スケーリング値(又は値の範囲)には、仮想マスクを生成して画素のスケーリングされた値を図で表すことができるように、カラー又はシェードが割り当てられてもよい。次いで、これらの画素は、消費者の肌年齢(知覚された年齢)を操作するユーザの顔面上のエリアを示す2次元ヒートマップの一部を形成するように配置される。いくつかの実例では、CNN解析及び/又は目標の年齢は、ユーザによって提供される習慣及び実践の入力と任意に組み合わせて、スキンケア製品及び/又は療法の推奨の提供を支援するために使用され得る。
図1は、ユーザの画像を捕捉し、画像を解析し、カスタマイズされた製品の推奨を提供するためのシステム10を描写する。システム10は、ワイドエリアネットワーク(移動電話網、公衆交換電話網、衛星ネットワーク、インターネット等)、ローカルエリアネットワーク(ワイヤレスフィディリティ、Wi−Max、ZigBee(商標)、Bluetooth(商標)等)、及び/又は他の形態のネットワーク機能として具体化され得るネットワーク100を含んでもよい。ネットワーク100には、モバイルコンピューティングデバイス102、リモートコンピューティングデバイス104、キオスクコンピューティングデバイス106、及び訓練コンピューティングデバイス108が連結されている。
モバイルコンピューティングデバイス102は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに/又はデジタル写真のような画像を捕捉、格納、及び/若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス102は、デジタルカメラのような画像捕捉デバイス103を含んでもよく、かつ/又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス102は、画像捕捉論理144a及びインターフェース論理144bを格納するメモリ構成要素140aを含んでもよい。メモリ構成要素140aは、ランダムアクセスメモリ(SRAM、DRAM等)、読み出し専用メモリ(read only memory、ROM)、レジスタ、及び/又は他の形態のコンピューティング格納ハードウェアを含んでもよい。画像捕捉論理144a及びインターフェース論理144bは、本明細書に記載のように、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び/又は他のコンピューティングインフラストラクチャを含んでもよい。以下でより詳細に説明するように、画像捕捉論理144aは、ユーザのデジタル画像上の捕捉、格納、前処理、解析、転送、及び/又は他の機能の実施を容易にし得る。インターフェース論理144bは、質問、オプション等を含み得る、1つ以上のユーザインターフェースをユーザに提供するために構成されてもよい。モバイルコンピューティングデバイス102はまた、ネットワーク100を介して他のコンピューティングデバイスと通信するために構成されてもよい。
リモートコンピューティングデバイス104はまた、ネットワーク100に連結されてもよく、捕捉された画像内の肌年齢に寄与する肌の部分を識別することによって、ユーザの肌年齢を判定することができる畳み込みニューラルネットワークを作成及び訓練するために構成されたサーバ(若しくは複数のサーバ)、パーソナルコンピュータ、モバイルコンピュータ、及び/又は他のコンピューティングデバイスとして構成されてもよい。小じわ、しわ、黒い(加齢による)斑点、肌の色調の変化、シミ、毛穴の広がり、赤味、黄色味、これらの組み合わせ等の、一般に知覚される肌の欠陥は全て、ユーザの肌年齢に寄与するように訓練されたCNNによって識別され得る。リモートコンピューティングデバイス104は、訓練論理144c及び解析論理144dを格納するメモリ構成要素140bを含んでもよい。訓練論理144cは、CNNの作成及び/又は訓練を容易にし得、これによりCNNの作成及び/又は操作を容易にし得る。例えば、CNNは、リモートコンピューティングデバイス104のメモリ構成要素140bに、論理144c、144dとして格納されてもよい。解析論理144dは、リモートコンピューティングデバイス104に、モバイルコンピューティングデバイス102(又は他のコンピューティングデバイス)からデータを受信させ、肌年齢、製品の推奨等を提供するために、受信したデータを処理させてもよい。
システム10はまた、図1に図示するように、キオスクコンピューティングデバイス106を含んでもよい。キオスクコンピューティングデバイス106は、モバイルコンピューティングデバイス102と同様に動作してもよく、1つ以上の製品を販売し、かつ/又は現金若しくは電子商取引の形態で支払いを受け取ることもできる。いくつかの実例では、キオスクコンピューティングデバイス106はまた、訓練コンピューティングデバイス108に関して以下でより詳細に説明するように、CNNの訓練を容易にするように構成されてもよい。
訓練コンピューティングデバイス108は、CNNの訓練を容易にするようにネットワーク100に連結されてもよい。例えば、トレーナは、訓練コンピューティングデバイス108を介して、顔又は肌の1つ以上のデジタル画像をCNNに提供してもよい。トレーナはまた、CNNに、どの評価が正しいか及びどの評価が正しくないかを知らせる情報、並びにその他の指示を提供してもよい。トレーナからの入力に基づいて、CNNは、以下でより詳細に説明するように、自動的に適応してもよい。
キオスクコンピューティングデバイス106は、自動販売機タイプのデバイスとして描写されているが、これは例に過ぎないことを理解されたい。いくつかの実施形態は、支払い及び/又は製品販売もまた提供するモバイルデバイスを利用してもよい。同様に、キオスクコンピューティングデバイス106、モバイルコンピューティングデバイス102、及び/又は訓練コンピューティングデバイス108は、CNNを訓練するために利用されてもよい。その結果、モバイルコンピューティングデバイス102及びリモートコンピューティングデバイス104について描写したハードウェア及びソフトウェアは、キオスクコンピューティングデバイス106、訓練コンピューティングデバイス108、及び/又は他のデバイスに含まれてもよい。同様に、図19のリモートコンピューティングデバイス1904について描写したハードウェア及びソフトウェアは、モバイルコンピューティングデバイス102、リモートコンピューティングデバイス104、キオスクコンピューティングデバイス106、及び訓練コンピューティングデバイス108のうちの1つ以上に含まれてもよい。
リモートコンピューティングデバイス104は、図1に、畳み込みニューラルネットワーク処理を実施するものとして描写されているが、これは例に過ぎないこともまた理解されたい。畳み込みニューラルネットワーク処理は、必要に応じて、任意の適切なコンピューティングデバイスによって実施されてもよい。
図2は、本システムで使用するための畳み込みニューラルネットワーク200の例を描写する。CNN200は、入力画像205、1つ以上の畳み込み層C、C、1つ以上のサブサンプリング層S及びS、1つ以上の部分的に接続された層、1つ以上の完全に接続された層、並びに出力を含んでもよい。解析を開始するために、又はCNNを訓練するために、画像205(例えば、ユーザの画像)がCNN200に入力される。CNNは、画像の1つ以上の部分をサンプリングして、第1の畳み込み層Cに1つ以上の特徴マップを作成してもよい。例えば、図2に図示するように、CNNは、画像205の6つの部分をサンプリングして、第1の畳み込み層Cに6つの特徴マップを作成してもよい。次に、CNNは、第1の畳み込み層C内の特徴マップの1つ以上の部分をサブサンプリングして、第1のサブサンプリング層Sを作成してもよい。いくつかの実例では、特徴マップのサブサンプリングされた部分は、特徴マップのエリアの半分であってもよい。例えば、特徴マップが画像205から28×28画素のサンプルエリアを含む場合、サブサンプリングされたエリアは14×14画素であってもよい。CNN200は、第2の畳み込み層C及び第2のサブサンプリング層Sを提供するために、サンプリング及びサブサンプリングの1つ以上の追加のレベルを実施してもよい。CNN200は、必要に応じて、任意の数の畳み込み層及びサブサンプリング層を含み得ることを理解されたい。最終サブサンプリング層(例えば、図2の層S)が完了すると、CNN200は、全てのニューロンが1つおきのニューロンに接続されている、完全に接続された層Fを生成する。CNNは、完全に接続された層Fから、予測される年齢又はヒートマップのような出力を生成することができる。
図3A〜図3Fは、捕捉された画像330を解析するためのシステム及び方法を描写する。捕捉された画像330は、例えば、図1に図示する画像捕捉デバイス103を使用して、ユーザによって捕捉され得る。図3Bは、アンカー特徴332a〜332eの識別を前処理で行った最初のアクションを図示する。図3Bに図示するアンカー特徴332a〜332eは、目332a及び332c、鼻又は小鼻332d、並びに口角332b及び332eを含む。しかし、任意の目立つ又は検出可能な顔の特徴がアンカー特徴であり得ることが理解されるべきである。アンカー特徴332a〜332eが図3Bに視覚的に描写されているが、これは単なる例に過ぎない。いくつかの実施形態は、モバイルコンピューティングデバイス102上のアンカー特徴332a〜332eの視覚的表現を提供しない。
アンカー特徴332a〜332eが識別されると、アンカー特徴332a〜332eが所定の位置に配置されるように、捕捉された画像330が正規化されてもよい。いくつかの実例では、正規化は、画像の回転、画像のサイズ変更、及び/又は他の画像調整の実施を含み得る。図3Cでは、捕捉された画像330は、更に、捕捉された画像330の1つ以上の望ましくない部分を除去するために、切り取りによって前処理されてよく、これにより正規化された画像334を作成する。例として、捕捉された画像330の背景、毛髪、耳、及び/又は他の部分が除去されてもよい。
画像330が前処理されると、正規化された画像334の解析が実施されてもよい。上述のように、CNN240は、ユーザの肌年齢に寄与する画素の位置、色、及び/又はシェード(すなわち明度又は暗さ)を判定するように構成されてもよい。特定のCNNに応じて、各肌年齢は異なる特性を有し得る。したがって、モバイルコンピューティングデバイス102、リモートコンピューティングデバイス104、及び/又はキオスクコンピューティングデバイス106は、画像を、肌年齢を判定する際に典型的に利用される複数の領域に分割することができる。図3Dは、目的のマスク336として説明され得るヒートマップの第1の層を図示する。目的のマスク336は、CNN240によって識別された複数の領域338a〜338iを、ユーザの年齢に寄与するものとして識別する。例えば、マスクは、額領域(338a)、1つ以上の眼の下側領域338d及び338e、1つ以上の眼の外側領域338b及び338c、1つ以上の頬領域338f及び338g、上唇領域338j、並びに1つ以上のほうれい線領域338h及び338iを含んでもよい。目的のマスク336及び/又は複数の領域338a〜338iの判定は、領域が各ユーザの年齢判定に影響を与えるエリアをより正確に反映するように、ユーザの顔の形状及び/又はサイズに基づいてカスタマイズされてもよい。
図3Eは、ヒートマップの第2の層を描写し、また画素マップ340として説明されてもよい。画素マップ340は、ユーザの年齢に寄与するものとしてシステムによって識別された画像の部分に多数のスケーリングされた画素を含む。上述したように、肌年齢の判定に寄与する少なくとも1つの画素を識別するために、入力画像の画素ごとの検査が年齢の識別子に関して行われてもよい。図3Eに図示するように、各画素の位置、シェード、及び/又は色が判定及びマッピングされてもよく、より明るい画素は、より暗い画素よりも肌年齢の高い指標であるものとして識別される。図3Fでは、画素マップ340及び目的のマスク336は、正規化された画像334に重なって、2次元ヒートマップ342を作成してもよい。2次元ヒートマップ342は、CNN240が高い年齢に寄与するものとして識別する、肌の領域を示してもよい。
CNNが、ユーザの予測される年齢に寄与するエリアを識別し、ユーザの予測される年齢を生成すると、2次元ヒートマップ342が作成され得、例えばモバイルコンピューティングデバイス上でユーザに目的の領域が表示され得る。いくつかの実例では、目標の肌年齢を提供するために、所定時間期間が予測肌年齢から差し引かれてもよい。予測される年齢及び/又は目標の年齢は、例えばモバイルコンピューティングデバイス上でユーザに表示されてもよい。次いで、目標の肌年齢及び目的の領域は、ユーザが目標の肌年齢を実現するために利用する美容療法及び/又は製品を判定するために、システムによって利用されてもよい。いくつかの実施形態では、肌年齢を維持する推奨が行われてもよい。例として、ユーザの実年齢は、メンテナンスを目的にできるほど若い場合がある。同様に、ユーザの年齢がCNNによって、ユーザの実年齢以下であると判定された場合、メンテナンス製品及び/又は療法が推奨されてもよい。推奨される製品及び/又は療法の使用中又は使用後に、改善状況をモニタリングし、かつ/又は療法又は製品推奨を改訂するために、追加の画像が撮影されてもよい。
いくつかの実例では、本明細書で説明される画像及び他のデータのうちの少なくともいくつかは、後で使用されるために履歴データとして格納されてもよい。例として、ユーザの改善状況の追跡は、この履歴データに基づいて判定されてもよい。実施形態に応じて、他の解析がまた、この履歴データに対して実施されてもよい。
図4は、ユーザの画像を捕捉し、カスタマイズされた製品の推奨を提供するためのユーザインターフェース430を描写する。図示するように、モバイルコンピューティングデバイス402は、ユーザの画像を捕捉するためのアプリケーションを提供してもよい。したがって、図4は、画像を捕捉し、カスタマイズされた製品の推奨を提供する処理を開始するためのモバイルコンピューティングデバイス402の最初のページを描写する。ユーザインターフェース430はまた、処理を開始するためのスタートオプション432を含む。
図5は、本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するために解析される画像を図示するユーザインターフェース530を描写する。図4からのスタートオプション432の選択に応答して、ユーザインターフェース530が提供されてもよい。図示するように、画像捕捉デバイス503は、ユーザの画像を捕捉するために利用されてもよい。いくつかの実施形態では、ユーザは以前に捕捉された画像を利用してもよい。いずれにせよ、画像を捕捉する際に、画像はユーザインターフェース530に提供され得る。ユーザが画像を利用することを所望しない場合、ユーザは画像を再撮影してもよい。ユーザが画像を承認すると、ユーザは、次のオプション532を選択して画像の解析及び次のユーザインターフェースへの移行を開始してもよい。
図6は、製品の推奨のために作成され得る正規化された画像632及び画素マップ634を提供するユーザインターフェース630を描写する。図5からの次のオプション532の選択に応答して、ユーザに年齢入力オプション636を提示し得る、ユーザインターフェース30が提供されてもよい。追加の予測オプション638がまた提供されてもよい。
図7は、製品の推奨のカスタマイズを支援するためのアンケートをユーザに提供するためのユーザインターフェース730を描写する。図6の年齢入力オプション636に実年齢を入力することに応答して、ユーザインターフェース730が提供されてもよい。図示するように、ユーザインターフェース730は、製品の好み、現在の療法等を含む、ユーザに関する追加の詳細を判定するための1つ以上の質問を提供してもよい。例として、質問は、ユーザが日焼け止めと共に保湿クリームを利用するかどうかを含んでもよい。ユーザが選択するための、1つ以上の予め定められた回答732が提供されてもよい。
図8は、本明細書に記載される実施形態に従う、アンケートのための追加のプロンプトを提供するためのユーザインターフェース830を描写する。図7のユーザインターフェース730から要求されたデータを入力することに応答して、ユーザインターフェース830が提供されてもよい。図示するように、ユーザインターフェース830は、ユーザが選択するための3つの予め定められた回答832と共に、別の質問(ユーザがフレグランススキンケア製品を好むかどうか等)を提供する。選択された回答を提出するために、提出オプション834がまた提供されてもよい。
図7及び図8は2つの質問を提供するが、特定の実施形態に応じて、任意の数の質問がユーザに提供されてもよいことが理解されよう。質問及び質問の数は、ユーザの実年齢、ユーザの肌年齢、及び/又は他の要因によって異なってもよい。
図9は、本明細書に記載される実施形態に従う、捕捉された画像に基づいて、ユーザの肌年齢を提供するためのユーザインターフェース930を描写する。図7及び図8のアンケートを完了したことに応答して、ユーザインターフェース930が提供されてもよい。図示するように、ユーザインターフェース930は、ユーザの肌のどの領域がCNNによって予測されるユーザの年齢に寄与しているかを示す少なくとも1つの識別子932をユーザの肌年齢及び捕捉された画像に提供してもよい。いくつかの実例では、システムはまた、ユーザの予測される年齢に寄与するエリアのリスト934を提供してもよい。カスタマイズされた製品の推奨を見るための製品推奨オプション938と共に、説明936がまた提供されてもよい。
図10は、本明細書に記載される実施形態に従う、製品の推奨を提供するためのユーザインターフェース1030を描写する。図9からの製品推奨オプション938の選択に応答して、ユーザインターフェース1030が提供されてもよい。図示するように、ユーザインターフェース1030は、ユーザの年齢、ユーザの年齢に寄与するエリア及び目標の年齢に基づいて判定された1つ以上の推奨される製品を提供してもよい。具体的には、少なくとも1つの製品が、ユーザの予測される年齢に寄与するユーザの肌の領域に塗布可能であり得るものとして判定されてもよい。例として、クリーム、保湿剤、ローション、日焼け止め、クレンジング剤等が推奨されてもよい。また、推奨される療法を提供するための療法オプション1032も提供される。購入オプション1034がまた、提供されてもよい。
図11は、本明細書に記載される実施形態に従う、製品の推奨の詳細を提供するためのユーザインターフェース1130を描写する。図10からの療法オプション1032の選択に応答して、ユーザインターフェース1130が提供されてもよい。図示するように、ユーザインターフェース1130は、ユーザの美容療法において推奨される製品を使用するための製品オプション1132及びスケジュールオプション1134を提供してもよい。美容療法の第1の段階に関連する追加の情報が、セクション1136に提供されてもよい。同様に、療法の第2及び/又は後続の段階に関連するデータが、セクション1138に提供されてもよい。
図12は、推奨される美容療法を提供するユーザインターフェース1230を描写する。図11からのスケジュールオプション1134の選択に応答して、ユーザインターフェース1230が提供されてもよい。ユーザインターフェース1230は、推奨される製品のリストを、療法のスケジュールの詳細を含むスケジュールと共に提供してもよい。具体的には、ユーザインターフェース1230は、製品が提供され得る時刻を提供してもよい。詳細オプション1234は、ユーザに、製品及び療法に関する追加の詳細を提供してもよい。
図13は、美容療法及びその中で使用される製品に関連付けられている追加の詳細を提供するためのユーザインターフェース1330を描写する。ユーザインターフェース1330は、図12からの詳細オプション1234の選択に応答して提供されてもよい。図示するように、ユーザインターフェース1330は、製品、塗布のヒント等に関する詳細を提供してもよい。加えて、「科学的根拠」オプション1332、1336及び「デモ方法」オプション1334、1338が提供されてもよい。科学的根拠オプション1332、1336の選択に応答して、推奨される製品及び塗布療法に関する詳細が提供されてもよい。デモ方法オプション1334、1338の選択に応答して、オーディオ及び/又はビデオが、製品を塗布するための秘訣についてユーザに指示するために提供されてもよい。同様に、療法の後続の部分(図13に描写されるステップ2等)はまた、科学的根拠オプション1332、1336、及びデモ方法オプション1334、1338を含んでもよい。
図14は、本明細書に記載される実施形態に従う、判定された療法に関連する推奨を提供するためのユーザインターフェース1430を描写する。購入オプション1034(図10)の選択に応答して、ユーザインターフェース1430が提供されてもよい。図示するように、ユーザインターフェース1430は、1つ以上の推奨される製品を購入するための購入オプション1432、1434、1436を含む。ユーザインターフェース1430はまた、カートに追加オプション1438及び購入を続けるオプション1440を提供してもよい。
図15は、本明細書に記載される実施形態に従う、製品の推奨をユーザのタイムラインに提供するためのユーザインターフェース1530を描写する。図示するように、ユーザインターフェース1530は、推奨される製品の1つ以上がユーザのタイムラインに追加されたという通知を提供してもよい。製品を購入する際に(例えば、図14のユーザインターフェース1430を介して)、購入された製品が、ユーザに推奨される療法に追加されてもよい。したがって、通知は、許可オプション1532とタイムラインを閲覧オプション1534とを含んでもよい。
図16は、本明細書に記載される実施形態に従う、画像から特徴を識別するための畳み込みニューラルネットワークを訓練するためのフロー図を描写する。ブロック1650に図示するように、CNNが訓練されてもよい。上述したように、CNNが、訓練画像及び畳み込みニューラルネットワークを利用して訓練されてもよい。ブロック1652において、データ拡張が実施されてもよい。具体的には、CNNのロバスト性を高めるために、データ拡張技術を利用して訓練画像から追加のサンプルを作成してもよい。上述したように、いくつかの実施形態は、画像をランダムにズームイン及びズームアウトすること、画像の時計回り方向及び/又は反時計回り方向におけるランダムな回転を実施すること、画像をランダムに切り取ること、入力画像の彩度及び露出をランダムに変化させること、垂直ドロップアウトを利用して、画像の画素の列(特徴マップ)をランダムにドロップアウトすること、等を行うように構成されてもよい。ブロック1654において、1つ以上の訓練画像が正規化されてもよい。正規化は、切り取り、回転、ズーム、背景画像の除去等を含み得る。ブロック1656において、マスキングが実施されてもよい。マスキングは、目的のエリアを識別して肌年齢を判定することと、目的のエリアを表すヒートマップを作成することとを含み得る。ブロック1658において、CNNアーキテクチャが、畳み込みニューラルネットワークを介して作成されてもよい。
図17は、本明細書に記載される実施形態に従う、特徴の認識のために利用され得る画像のヒートマップを生成するためのフロー図を描写する。ブロック1750に図示するように、画像が処理されてもよい。上述したように、切り取り、回転、ズーム等によって、画像が処理されてもよい。ブロック1752において、画像はCNNを通じて伝播されてもよい。上述したように、画像は、肌年齢を示す画素、領域、及び/又はエリアを識別するために、畳み込みニューラルネットワークを通じて処理されてもよい。ブロック1754において、肌年齢が予測されてもよい。ブロック1756において、ヒートマップが生成されてもよい。
図18は、本明細書に記載される実施形態に従う、カスタマイズされた製品の推奨を提供するためのフロー図を描写する。ブロック1850において、ユーザの画像が捕捉されてもよい。ブロック1852において、質問がユーザに提供されてもよい。ブロック1854において、質問に対する回答がユーザから受け取られてもよい。ブロック1856において、肌年齢がユーザに提供されてもよい。ブロック1858において、ヒートマップが畳み込みニューラルネットワークに基づいて生成されてもよい。ブロック1860において、カスタマイズされた製品の推奨がユーザに提供されてもよい。
図19は、本明細書に記載される実施形態に従う、カカスタマイズされた製品の推奨を提供するためのリモートコンピューティングデバイス1904の構成要素を描写する。リモートコンピューティングデバイス1904は、プロセッサ1930、入力/出力ハードウェア1932、ネットワークインターフェースハードウェア1934、データ格納構成要素1936(画像データ1938a、製品データ1938b、及び/又は他のデータを格納する)、及びメモリ構成要素1940bを含む。メモリ構成要素1940bは、揮発性及び/又は不揮発性メモリ等として構成されてもよく、ランダムアクセスメモリ(SRAM、DRAM、及び/又は他の種類のRAM等)、フラッシュメモリ、セキュアデジタル(secure digital、SD)メモリ、レジスタ、コンパクトディスク(compact disc、CD)、デジタル多用途ディスク(digital versatile disc、DVD)、及び/又は他の種類の非一時的コンピュータ読み取り可能媒体を含んでもよい。特定の実施形態に応じて、これらの非一時的コンピュータ読み取り可能媒体は、リモートコンピューティングデバイス1904内部、及び/又はリモートコンピューティングデバイス1904の外部に存在してもよい。
メモリ構成要素1940bは、動作論理1942、訓練論理1944c、及び解析論理1944dを格納してもよい。例として、訓練論理1944c及び解析論理1944dは、それぞれ、複数の異なる論理の断片を含み、論理の断片のそれぞれは、コンピュータプログラム、ファームウェア、及び/又はハードウェアとして具体化され得る。ローカル通信インターフェース1946は、図19にも含まれ、リモートコンピューティングデバイス1904の構成要素間の通信を促進するための、バス又は他の通信インターフェースとして実装されてもよい。
プロセッサ1930は、(データ格納構成要素1936及び/又はメモリ構成要素1940b等から)指示を受信及び実行するように動作可能な、任意の処理構成要素を含んでもよい。上述したように、入力/出力ハードウェア1932は、図19の構成要素を含んでもよく、かつ/又はその構成要素と交信するように構成されてもよい。
ネットワークインターフェースハードウェア1934は、アンテナ、モデム、LANポート、ワイヤレスフィディリティ(Wi−Fi)カード、WiMaxカード、Bluetooth(商標)モジュール、移動通信ハードウェア、並びに/又は他のネットワーク及び/若しくはデバイスと通信するための他のハードウェアを含む、任意の有線又は無線ネットワークハードウェアを含んでもよく、かつ/又はこれらと通信するように構成されてもよい。この接続から、図1に描写されたような、リモートコンピューティングデバイス1904と他のコンピューティングデバイスとの間の通信が容易にされ得る。
オペレーティングシステム論理1942は、リモートコンピューティングデバイス1904の構成要素を管理するためのオペレーティングシステム及び/又は他のソフトウェアを含んでもよい。上述したように、訓練論理1944cはメモリ構成要素1940bに存在し、プロセッサ1930に畳み込みニューラルネットワークを訓練させるように構成されてもよい。同様に、解析論理1944dは、肌年齢予測のための画像を解析するために利用されてもよい。
図19の構成要素は、リモートコンピューティングデバイス1904内部に存在するものとして図示されるが、これは例に過ぎないことを理解されたい。いくつかの実施形態では、1つ以上の構成要素が、リモートコンピューティングデバイス1904の外部に存在してもよく、かつ/又はリモートコンピューティングデバイス1904は、モバイルデバイスとして構成されてもよい。リモートコンピューティングデバイス1904は、単一のデバイスとして図示されるが、これもまた単なる例に過ぎないことも理解されたい。いくつかの実施形態では、訓練論理1944c及びイ解析論理1944dは、異なるコンピューティングデバイス上に存在してもよい。例として、本明細書に記述される機能及び/又は構成要素のうちの1つ以上は、リモートコンピューティングデバイス104に通信可能に連結され得る、モバイルコンピューティングデバイス102及び/又は他のデバイスによって提供されてもよい。これらのコンピューティングデバイスはまた、本明細書に記述される機能を実行するためのハードウェア及び/又はソフトウェアを含んでもよい。
加えて、リモートコンピューティングデバイス1904は、訓練論理1944c及び解析論理1944dと共に、個別の論理的構成要素として図示されるが、これもまた例に過ぎない。いくつかの実施形態では、単一の論理の断片によって、リモートコンピューティングデバイス1904に、記載される機能を提供させてもよい。
本発明の特定の実施形態を図示及び記載したが、本発明の趣旨及び範囲から逸脱することなく、他の様々な変更及び修正を行い得ることが、当業者に理解されるであろう。したがって、本発明の範囲内に含まれるそのような全ての変更及び修正は、添付の特許請求の範囲にて網羅することを意図したものである。

Claims (11)

  1. カスタマイズされた製品の推奨をユーザに提供するためのシステムであって、
    a)画像捕捉デバイスと、
    b)前記画像捕捉デバイスによって捕捉されたユーザの画像と、
    c)前記画像捕捉デバイスに連結されたコンピューティングデバイスであって、前記コンピューティングデバイスは、前記システムに、
    (i)ユーザの年齢を予測するために、畳み込みニューラルネットワークを使用して前記ユーザの前記捕捉された画像を解析させ、前記ユーザの年齢の予測は、前記ユーザの年齢を示す前記捕捉された画像内の少なくとも1つの画素を識別することを含み、
    (ii)前記少なくとも1つの画素を利用して、前記ユーザの予測される年齢に寄与する前記画像の領域を識別するヒートマップを生成させ、
    (iii)前記ユーザに可視の表示デバイス上で、前記ユーザに前記ヒートマップを表示させ、
    (iv)目標の肌年齢を達成するために、肌の領域に塗布する製品を前記ユーザに推奨させる、論理を格納するメモリ構成要素を含むコンピューティングデバイスと、
    を備えたことを特徴とするシステム。
  2. 前記ヒートマップの生成は、前記ユーザの前記画像の少なくとも一部に第1の層及び第2の層を重ねることを含み、前記第1の層は前記画像を複数の領域に分割する目的のマスクを含み、および、前記第2の層は前記ユーザの前記予測される年齢に寄与する前記目的のマスク内の領域を識別する画素マップを含むことを特徴とする請求項1に記載のシステム。
  3. 前記論理は、前記ヒートマップを前記ユーザに表示させることを特徴とする請求項1又は2に記載のシステム。
  4. 前記ヒートマップは、前記スケーリングされた画素が前記ユーザの予測される年齢に寄与するレベルを示す少なくとも1つのスケーリングされた画素を含むことを特徴とする請求項1ないし3のいずれか一項に記載のシステム。
  5. 前記論理は、更に前記システムに前記画像を前処理させ、前記前処理は、前記画像上のアンカー特徴を判定することと、前記画像を変更して前記アンカー特徴を所定の位置に配置することとを含むことを特徴とする請求項1ないし4のいずれか一項に記載のシステム。
  6. 前記論理は、更に前記システムに、訓練画像を利用して前記畳み込みニューラルネットワークを訓練させることを特徴とする請求項1ないし5のいずれか一項に記載のシステム。
  7. 前記畳み込みニューラルネットワークの訓練は、前記訓練画像から追加のサンプルを作成するために利用されるデータ拡張を含み、前記データ拡張は、前記訓練画像においてランダムにズームインすることと、前記訓練画像からズームアウトすることと、時計回り方向における前記画像のランダムな回転を実施することと、前記画像のランダムな回転を実施することと、および、反時計回り方向において、前記画像をランダムに切り取ることと、前記画像の彩度をランダムに変化させることと、前記訓練画像の露光をランダムに変化させることと、垂直方向のドロップアウトを利用して前記訓練画像の画素の列をランダムにドロップアウトすることと、のうちの少なくとも1つを含むことを特徴とする請求項6に記載のシステム。
  8. 前記論理は、更に前記システムに、目標の肌年齢を達成するために、前記ユーザが肌の前記領域に前記製品を塗布する療法を判定させることを特徴とする請求項1ないし7のいずれか一項に記載のシステム。
  9. 前記論理は、更に前記システムに、前記ユーザが回答を提供するための質問を含むアンケートを提供させ、前記回答は前記製品を判定するために利用されることを特徴とする請求項1ないし8のいずれか一項に記載のシステム。
  10. 前記論理は、更に前記システムに、前記ユーザが前記製品を購入するためのオプションを提供させることを特徴とする請求項1ないし9のいずれか一項に記載のシステム。
  11. カスタマイズされた製品の推奨を消費者に提供する方法であって、
    a)ユーザの画像を画像捕捉デバイスで捕捉することと、
    b)前記画像を、請求項1ないし10のいずれか一項に記載のシステムで解析することと、
    c)前記ユーザが前記推奨される製品を購入するためのオプションを提供することと、を含むことを特徴とする方法。
JP2018548331A 2016-03-21 2017-03-21 カスタマイズされた製品の推奨を提供するためのシステム及び方法 Active JP6730443B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662311036P 2016-03-21 2016-03-21
US62/311,036 2016-03-21
PCT/US2017/023334 WO2017165363A1 (en) 2016-03-21 2017-03-21 Systems and methods for providing customized product recommendations

Publications (2)

Publication Number Publication Date
JP2019512797A true JP2019512797A (ja) 2019-05-16
JP6730443B2 JP6730443B2 (ja) 2020-07-29

Family

ID=58448660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548331A Active JP6730443B2 (ja) 2016-03-21 2017-03-21 カスタマイズされた製品の推奨を提供するためのシステム及び方法

Country Status (6)

Country Link
US (1) US11055762B2 (ja)
EP (1) EP3433818A1 (ja)
JP (1) JP6730443B2 (ja)
CN (1) CN108701323B (ja)
CA (1) CA3015492C (ja)
WO (1) WO2017165363A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042966A (ko) * 2018-09-20 2021-04-20 로레알 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템
WO2022168441A1 (ja) * 2021-02-05 2022-08-11 ソニーグループ株式会社 推論装置、推論方法およびプログラム
JP2022540487A (ja) * 2019-07-10 2022-09-15 ジャン・ルオウェイ 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
JP2023018021A (ja) * 2019-07-18 2023-02-07 ロレアル 制御されていない照明条件の画像中の肌色を識別する技術
WO2024019101A1 (ja) * 2022-07-19 2024-01-25 花王株式会社 情報提示方法および情報提示装置

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290032B2 (en) * 2016-03-31 2019-05-14 Criteo Sa Blacklisting based on image feature analysis and collaborative filtering
US10672055B2 (en) * 2016-05-23 2020-06-02 Oath Inc. Method and system for presenting personalized products based on digital signage for electronic commerce
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
US11122206B2 (en) * 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
US11842533B2 (en) 2017-04-26 2023-12-12 Chia-Lin Simmons Predictive search techniques based on image analysis and group feedback
US10881597B2 (en) 2017-05-12 2021-01-05 The Procter And Gamble Company Compositions with scalp health agents with increased deposition
WO2018215837A1 (en) * 2017-05-23 2018-11-29 Prokopenya Viktor Increasing network transmission capacity and data resolution quality and computer systems and computer-implemented methods for implementing thereof
KR102297301B1 (ko) * 2017-05-31 2021-09-06 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
CN110678875B (zh) 2017-05-31 2023-07-11 宝洁公司 用于引导用户拍摄自拍照的系统和方法
WO2019133908A1 (en) * 2017-12-28 2019-07-04 Google Llc Intelligent identification and provisioning of devices and services for a smart home environment
US10990858B2 (en) * 2018-01-05 2021-04-27 L'oreal Machine-implemented facial health and beauty assistant
US10943156B2 (en) 2018-01-05 2021-03-09 L'oreal Machine-implemented facial health and beauty assistant
US11748421B2 (en) * 2018-01-05 2023-09-05 L'oreal Machine implemented virtual health and beauty system
KR102619221B1 (ko) * 2018-01-05 2023-12-28 로레알 머신 구현 안면 건강 및 미용 보조기
JP6843780B2 (ja) * 2018-01-18 2021-03-17 ヤフー株式会社 情報処理装置、学習済みモデル、情報処理方法、およびプログラム
US10546658B2 (en) * 2018-01-29 2020-01-28 Atolla Skin Health, Inc. Systems and methods for formulating personalized skincare products
KR102683757B1 (ko) * 2018-02-20 2024-07-10 삼성전자주식회사 심층 신경망의 학습을 수행시키는 방법 및 그에 대한 장치
KR101927286B1 (ko) * 2018-03-05 2018-12-10 와이케이씨테크(주) 무인 안면 및 손등 피부 분석장치
CN108665311B (zh) * 2018-05-08 2022-02-25 湖南大学 一种基于深度神经网络的电商用户时变特征相似性计算推荐方法
CN112118824B (zh) 2018-05-15 2023-05-23 宝洁公司 协同抗氧化剂组合物
WO2019222327A1 (en) * 2018-05-17 2019-11-21 The Procter & Gamble Company Systems and methods for hair analysis
US11172873B2 (en) 2018-05-17 2021-11-16 The Procter & Gamble Company Systems and methods for hair analysis
EP3793427A1 (en) * 2018-05-17 2021-03-24 The Procter & Gamble Company Systems and methods for hair coverage analysis
US20210307498A1 (en) * 2018-05-24 2021-10-07 Mixcreative Llc System and method for creating customized brushes
KR20210028185A (ko) * 2018-06-29 2021-03-11 렌치 잉크. 사람 자세 분석 시스템 및 방법
CN112771164A (zh) 2018-06-29 2021-05-07 宝洁公司 用于个人护理应用的适配体
CN110428296A (zh) * 2018-08-02 2019-11-08 北京京东尚科信息技术有限公司 物品的推荐方法、装置和计算机可读存储介质
EP3840646B1 (en) 2018-08-21 2024-07-03 The Procter & Gamble Company Methods for identifying pore color
KR102641116B1 (ko) 2018-08-23 2024-02-27 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
JP2022036335A (ja) * 2018-10-02 2022-03-08 株式会社オーガンテクノロジーズ 最適製品情報提供方法、及び最適製品情報提供システム
EP3890591A4 (en) 2018-12-04 2022-08-10 Jiang, Ruowei AUTOMATIC IMAGE-BASED SKIN DIAGNOSTICS USING DEEP LEARNING
EP3897533A1 (en) 2018-12-20 2021-10-27 The Procter & Gamble Company Scalp care composition with improved stability
CA3134968A1 (en) 2019-04-16 2020-10-22 Juan Esteban Velasquez Aptamers for odor control applications
EP3959651A1 (en) 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
KR20210139309A (ko) 2019-04-23 2021-11-22 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 시각화하기 위한 장치 및 방법
WO2020252498A1 (en) * 2019-06-10 2020-12-17 The Procter & Gamble Company Method of generating user feedback information to enhance product use results
CN112231587B (zh) * 2019-06-26 2023-09-08 腾讯科技(深圳)有限公司 一种匹配用户的确定方法、装置、设备和介质
CN110348899A (zh) * 2019-06-28 2019-10-18 广东奥园奥买家电子商务有限公司 一种商品信息推荐方法及装置
CN110415091A (zh) * 2019-08-06 2019-11-05 重庆仙桃前沿消费行为大数据有限公司 商店及商品推荐方法、装置、设备及可读存储介质
CN110428231A (zh) * 2019-08-06 2019-11-08 重庆仙桃前沿消费行为大数据有限公司 行政信息推荐方法、装置、设备及可读存储介质
CN110473015A (zh) * 2019-08-09 2019-11-19 南京智骋致想电子科技有限公司 一种智能广告系统及广告投放方法
CN110570479B (zh) * 2019-09-03 2022-03-18 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
US11657481B2 (en) * 2019-11-18 2023-05-23 Shinyfields Limited Systems and methods for selective enhancement of skin features in images
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11308634B2 (en) * 2020-02-05 2022-04-19 Datalogic Ip Tech S.R.L. Unsupervised anchor handling for machine vision system
FR3108250A1 (fr) * 2020-03-23 2021-09-24 Ieva Procede de determination d’un rituel beaute, dermatologique ou capillaire, associe a un utilisateur specifique
WO2021195854A1 (en) * 2020-03-30 2021-10-07 Shanghaitech University Multi-view neural human rendering
WO2021243640A1 (en) * 2020-06-04 2021-12-09 The Procter & Gamble Company Oral care based digital imaging systems and methods for determining perceived attractiveness of facial image portion
US11978207B2 (en) 2021-06-03 2024-05-07 The Procter & Gamble Company Oral care based digital imaging systems and methods for determining perceived attractiveness of a facial image portion
US11715326B2 (en) * 2020-06-17 2023-08-01 Microsoft Technology Licensing, Llc Skin tone correction for body temperature estimation
MX2022016028A (es) 2020-06-26 2023-02-02 Procter & Gamble Composiciones antiinflamatorias sinergicas.
US20220000417A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
US11455747B2 (en) * 2020-07-02 2022-09-27 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a user-specific skin redness value of the user's skin after removing hair
US20220005194A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's skin after removing hair for determining a user-specific skin nick and cut value
US11801610B2 (en) 2020-07-02 2023-10-31 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair growth direction value of the user's hair
US11734823B2 (en) * 2020-07-02 2023-08-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a user-specific skin irritation value of the user's skin after removing hair
US11890764B2 (en) 2020-07-02 2024-02-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair density value of a user's hair
US11419540B2 (en) * 2020-07-02 2022-08-23 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a shaving stroke for determining pressure being applied to a user's skin
US11741606B2 (en) * 2020-07-02 2023-08-29 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body after removing hair for determining a user-specific hair removal efficiency value
US11793451B2 (en) * 2020-07-31 2023-10-24 L'oreal Interface and analysis techniques for customized skin care regimen based on skin diagnostics
CN111931076B (zh) * 2020-09-22 2021-02-09 平安国际智慧城市科技股份有限公司 基于有权有向图进行关系推荐的方法、装置和计算机设备
BR102020022162A2 (pt) 2020-10-29 2022-05-10 Botica Comercial Farmacêutica Ltda. Método de detecção e segmentação da região labial
CN117082997A (zh) * 2021-01-13 2023-11-17 杰奎琳·M·莱文 用于推荐成分和产品的系统和方法
US12039732B2 (en) 2021-04-14 2024-07-16 The Procter & Gamble Company Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a users scalp to generate one or more user-specific scalp classifications
US20230196549A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin puffiness
US20230196835A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining dark eye circles
FR3135552B1 (fr) 2022-05-10 2024-04-26 Oreal Procédé de diagnostic de la peau par analyse faciale 3D
FR3135556A1 (fr) * 2022-05-10 2023-11-17 L'oreal Détection et visualisation de signes cutanés au moyen d’une carte thermique

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187251A (ja) * 2001-10-01 2003-07-04 L'oreal Sa 美容分析における特徴抽出
JP2004062719A (ja) * 2002-07-31 2004-02-26 Fuji Xerox Co Ltd 画像処理装置
JP2004209227A (ja) * 2002-12-27 2004-07-29 Unilever Nv 皮膚の画像診断方法および装置
US20040247177A1 (en) * 2003-06-05 2004-12-09 Canon Kabushiki Kaisha Image processing
JP2007130329A (ja) * 2005-11-11 2007-05-31 Matsushita Electric Works Ltd 画像による外観検査方法
JP2011511681A (ja) * 2008-02-14 2011-04-14 グッドマン,グレゴリー 美容分析および美容治療診断のシステムおよび方法
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
JP2014157428A (ja) * 2013-02-14 2014-08-28 Panasonic Corp 画像表示装置、画像表示方法、及び、プログラム
JP2015125731A (ja) * 2013-12-27 2015-07-06 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3799633B2 (ja) 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
IL123966A (en) 1995-10-23 2000-08-31 Cytometrics Inc Method and apparatus for reflected imaging analysis
JP3912834B2 (ja) 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US6619860B1 (en) 1997-11-14 2003-09-16 Eastman Kodak Company Photobooth for producing digitally processed images
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
US6959119B2 (en) 2000-11-03 2005-10-25 Unilever Home & Personal Care Usa Method of evaluating cosmetic products on a consumer with future predictive transformation
US6734858B2 (en) 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US20030065589A1 (en) 2001-10-01 2003-04-03 Daniella Giacchetti Body image templates with pre-applied beauty products
US20030065255A1 (en) 2001-10-01 2003-04-03 Daniela Giacchetti Simulation of an aesthetic feature on a facial image
US20030065523A1 (en) 2001-10-01 2003-04-03 Francis Pruche Early detection of beauty treatment progress
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US6761697B2 (en) 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
GB0128863D0 (en) 2001-12-01 2002-01-23 Univ London Performance-driven facial animation techniques and media products generated therefrom
US7020347B2 (en) 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
JP2004201797A (ja) 2002-12-24 2004-07-22 Yasutaka Nakada 肌分析方法
US7104800B2 (en) * 2003-01-07 2006-09-12 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Article and method for selection of individualized personal care products
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20040215066A1 (en) 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
TWI226589B (en) 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
US20040223631A1 (en) 2003-05-07 2004-11-11 Roman Waupotitsch Face recognition based on obtaining two dimensional information from three-dimensional face shapes
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
GB2416098A (en) 2004-07-08 2006-01-11 Univ Kent Canterbury Facial image generation system
AU2005286823B2 (en) 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20060274071A1 (en) 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body
EP1813189B1 (en) 2004-10-22 2010-03-03 Shiseido Company, Ltd. Skin condition diagnostic system and beauty counseling system
GB2424332A (en) 2004-12-13 2006-09-20 Mark Charles Spittle An image processing system
JP4795718B2 (ja) 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2007050158A (ja) 2005-08-19 2007-03-01 Utsunomiya Univ 肌画像の処理方法及び処理装置並びにそれを用いた肌年齢の推定方法
US20070052726A1 (en) 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
US7522768B2 (en) 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP2007094549A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20070080967A1 (en) 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US20100020164A1 (en) 2005-11-04 2010-01-28 Ronald Perrault Surface Analysis Method and System
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
CN100386778C (zh) 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
BE1017201A4 (nl) 2006-07-03 2008-04-01 Karavani Ilan Werkwijze voor het bepalen van de veroudering van de huid van het gelaat van personen.
US8077931B1 (en) 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
US8103061B2 (en) 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US8031914B2 (en) 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US20110016001A1 (en) 2006-11-08 2011-01-20 24/8 Llc Method and apparatus for recommending beauty-related products
US8109875B2 (en) * 2007-01-03 2012-02-07 Gizewski Theodore M Derma diagnostic and automated data analysis system
EP2099363A4 (en) 2007-01-05 2012-01-04 Myskin Inc SYSTEM, APPARATUS AND METHOD FOR SKIN IMAGING
US20090245603A1 (en) 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
US7792379B2 (en) 2007-02-06 2010-09-07 Accenture Global Services Gmbh Transforming a submitted image of a person based on a condition of the person
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
US8463006B2 (en) 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8391639B2 (en) 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
US8597667B2 (en) * 2008-05-09 2013-12-03 Elc Management Llc Targeted and individualized cosmetic delivery
US8425477B2 (en) 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
US8358348B2 (en) 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
JP5639060B2 (ja) 2008-09-04 2014-12-10 イーエルシー マネージメント エルエルシー 見かけ年齢の客観的モデル、方法および使用
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
CN101556699A (zh) 2008-11-07 2009-10-14 浙江大学 一种基于脸型的人脸衰老图像合成方法
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
DE102009030062A1 (de) 2009-06-22 2010-12-23 Beiersdorf Ag Verfahren zur Altersbestimmung und altersabhängigen Auswahl von kosmetischen Produkten
TW201116257A (en) * 2009-11-13 2011-05-16 Inst Information Industry System and method for analysis of facial defects and computer program product
WO2011067162A1 (en) * 2009-12-02 2011-06-09 Unilever Plc Apparatus for and method of measuring skin age
US8401300B2 (en) 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute
JP5554984B2 (ja) 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
FR2954837B1 (fr) 2009-12-30 2013-08-23 Natura Cosmeticos Sa Procede d'evaluation de l'etat esthetique et morphologique de la peau et prescription d'un traitement cosmetique et/ou dermatologique
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US8331698B2 (en) 2010-04-07 2012-12-11 Seiko Epson Corporation Ethnicity classification using multiple features
US8550818B2 (en) 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
WO2011152841A1 (en) 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
AU2011270457A1 (en) 2010-06-21 2012-11-29 Pola Chemical Industries, Inc. Age estimation method and gender determination method
US8413884B2 (en) 2011-03-03 2013-04-09 Life In Mobile, Inc. Method and apparatus for dynamically presenting content in response to successive scans of a static code
US20120253755A1 (en) * 2011-03-30 2012-10-04 Gobel David P Method Of Obtaining The Age Quotient Of A Person
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
CN103649987B (zh) 2011-07-07 2018-05-25 花王株式会社 脸印象分析方法、美容信息提供方法和脸图像生成方法
US8515491B2 (en) 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
US20130271451A1 (en) 2011-08-09 2013-10-17 Xiaofeng Tong Parameterized 3d face generation
US20130041733A1 (en) 2011-08-11 2013-02-14 Reise Officer System, method, and computer program product for tip sharing using social networking
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8798363B2 (en) * 2011-09-30 2014-08-05 Ebay Inc. Extraction of image feature data from images
US9817946B2 (en) 2011-12-16 2017-11-14 Cerner Innovation, Inc. Graphic representations of health-related status
US20130169621A1 (en) 2011-12-28 2013-07-04 Li Mei Method of creating and transforming a face model and related system
AU2013203345A1 (en) 2012-01-11 2013-07-25 Steven Liew A method and apparatus for facial aging assessment and treatment management
WO2013115801A1 (en) 2012-01-31 2013-08-08 Hewlett-Packard Development Company, L.P. Identification mark with a predetermined color difference
US8254647B1 (en) 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US20140089017A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for operating an entertainment control system
US9311564B2 (en) 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
KR20140055819A (ko) 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
KR20140078459A (ko) 2012-12-17 2014-06-25 최봉우 스마트폰을 이용한 피부 상태 분석 및 관리 방법
US8915435B2 (en) 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US8976252B2 (en) 2013-01-30 2015-03-10 Hewlett-Packard Development Company, L.P. Acquisition of color calibration charts
US9443132B2 (en) 2013-02-05 2016-09-13 Children's National Medical Center Device and method for classifying a condition based on image analysis
GB201302194D0 (en) 2013-02-07 2013-03-27 Crisalix Sa 3D platform for aesthetic simulation
US9268993B2 (en) 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
US20150045631A1 (en) 2013-03-15 2015-02-12 Lee Pederson Skin health system
US9101320B2 (en) 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
US9256963B2 (en) 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
WO2015015793A1 (ja) 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌分析方法、肌分析装置および肌分析装置の制御方法
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
JP6499583B2 (ja) 2013-09-24 2019-04-10 シャープ株式会社 画像処理装置及び画像表示装置
US20150099947A1 (en) * 2013-10-04 2015-04-09 Access Business Group International Llc Skin youthfulness index, methods and applications thereof
KR20150059394A (ko) * 2013-11-22 2015-06-01 (주)아모레퍼시픽 계량화 수단을 이용한 피부 나이 예측 장치 및 방법
WO2015088079A1 (ko) 2013-12-12 2015-06-18 주식회사 바이오코즈글로벌코리아 맞춤형 개별 화장품 생산 시스템
KR102174595B1 (ko) 2013-12-19 2020-11-06 아비질론 포트리스 코퍼레이션 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN105488371B (zh) 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
CN107077623A (zh) 2014-11-13 2017-08-18 英特尔公司 图像质量补偿系统和方法
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
CN104504376A (zh) 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
US20160314616A1 (en) 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
US9830727B2 (en) 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
CN105279499B (zh) * 2015-10-30 2019-01-04 小米科技有限责任公司 年龄识别方法及装置
US9754237B2 (en) 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US10395300B2 (en) * 2015-12-21 2019-08-27 International Business Machines Corporation Method system and medium for personalized expert cosmetics recommendation using hyperspectral imaging
US20170246473A1 (en) 2016-02-25 2017-08-31 Sava Marinkovich Method and system for managing treatments
US10264250B2 (en) 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US10255484B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
CN110678875B (zh) 2017-05-31 2023-07-11 宝洁公司 用于引导用户拍摄自拍照的系统和方法
KR102297301B1 (ko) 2017-05-31 2021-09-06 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187251A (ja) * 2001-10-01 2003-07-04 L'oreal Sa 美容分析における特徴抽出
JP2004062719A (ja) * 2002-07-31 2004-02-26 Fuji Xerox Co Ltd 画像処理装置
JP2004209227A (ja) * 2002-12-27 2004-07-29 Unilever Nv 皮膚の画像診断方法および装置
US20040247177A1 (en) * 2003-06-05 2004-12-09 Canon Kabushiki Kaisha Image processing
JP2007130329A (ja) * 2005-11-11 2007-05-31 Matsushita Electric Works Ltd 画像による外観検査方法
JP2011511681A (ja) * 2008-02-14 2011-04-14 グッドマン,グレゴリー 美容分析および美容治療診断のシステムおよび方法
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
JP2014157428A (ja) * 2013-02-14 2014-08-28 Panasonic Corp 画像表示装置、画像表示方法、及び、プログラム
JP2015125731A (ja) * 2013-12-27 2015-07-06 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042966A (ko) * 2018-09-20 2021-04-20 로레알 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템
KR102670274B1 (ko) 2018-09-20 2024-05-30 로레알 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템
JP2022540487A (ja) * 2019-07-10 2022-09-15 ジャン・ルオウェイ 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
JP7341310B2 (ja) 2019-07-10 2023-09-08 ジャン・ルオウェイ 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
US11908128B2 (en) 2019-07-10 2024-02-20 L'oreal Systems and methods to process images for skin analysis and to visualize skin analysis
JP2023018021A (ja) * 2019-07-18 2023-02-07 ロレアル 制御されていない照明条件の画像中の肌色を識別する技術
JP7500689B2 (ja) 2019-07-18 2024-06-17 ロレアル 制御されていない照明条件の画像中の肌色を識別する技術
WO2022168441A1 (ja) * 2021-02-05 2022-08-11 ソニーグループ株式会社 推論装置、推論方法およびプログラム
WO2024019101A1 (ja) * 2022-07-19 2024-01-25 花王株式会社 情報提示方法および情報提示装置

Also Published As

Publication number Publication date
CN108701323B (zh) 2023-11-10
US20170270593A1 (en) 2017-09-21
US11055762B2 (en) 2021-07-06
CN108701323A (zh) 2018-10-23
CA3015492A1 (en) 2017-09-28
EP3433818A1 (en) 2019-01-30
CA3015492C (en) 2021-11-23
JP6730443B2 (ja) 2020-07-29
WO2017165363A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6730443B2 (ja) カスタマイズされた製品の推奨を提供するためのシステム及び方法
JP6849825B2 (ja) 見掛け肌年齢を判定するためのシステム及び方法
JP7395604B2 (ja) 深層学習を用いた自動的な画像ベースの皮膚診断
JP7140848B2 (ja) 毛髪被覆率分析のためのシステム及び方法
JP7407115B2 (ja) 機械実行顔面健康及び美容アシスタント
US10943156B2 (en) Machine-implemented facial health and beauty assistant
JPWO2020113326A5 (ja)
US20230215063A1 (en) Computer-implemented detection and processing of oral features
WO2021243640A1 (en) Oral care based digital imaging systems and methods for determining perceived attractiveness of facial image portion
JP2021523454A (ja) 毛髪分析のためのシステム及び方法
JPWO2022002961A5 (ja)
Sage et al. Deep learning approach to automated segmentation of tongue in camera images for computer-aided speech diagnosis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250