JP2023036784A - 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 - Google Patents
仮想顔化粧の除去、高速顔検出およびランドマーク追跡 Download PDFInfo
- Publication number
- JP2023036784A JP2023036784A JP2022204236A JP2022204236A JP2023036784A JP 2023036784 A JP2023036784 A JP 2023036784A JP 2022204236 A JP2022204236 A JP 2022204236A JP 2022204236 A JP2022204236 A JP 2022204236A JP 2023036784 A JP2023036784 A JP 2023036784A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- makeup
- color
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 267
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 332
- 230000000694 effects Effects 0.000 claims abstract description 193
- 238000004088 simulation Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000009826 distribution Methods 0.000 claims description 104
- 239000003086 colorant Substances 0.000 claims description 47
- 239000002537 cosmetic Substances 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 26
- 210000000720 eyelash Anatomy 0.000 claims description 20
- 210000000887 face Anatomy 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000003796 beauty Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003020 moisturizing effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 240000005020 Acaciella glauca Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 235000003499 redwood Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】仮想顔化粧シミュレーションは、化粧除去、化粧アドオン、終了効果およびシミュレートされたテクスチャを介して提供される。顔化粧を仮想的に除去するために、化粧が適用されたユーザの顔画像が提供され、顔画像領域から顔ランドマークを探索し、ヒストグラムマッチングに供給されるチャネルに領域を分解し、その領域において化粧を有しない画像を取得し、異なる照明条件下でヒストグラムマッチングに供給されるカラーチャネルに他の領域を変換して化粧を有しない第２の画像を取得し、顔領域において化粧が除去された結果画像を形成する。出力効果は、顔画像の唇領域に動的なテクスチャリングを作成するために、顔を有する入力画像に対して仮想的に生成される。化粧は、訓練されたニューラルネットワークモデルに基づいて推薦される。【効果】高速な顔検出およびランドマーク追跡、高度なランドマーク位置および特徴の検出が提供される。【選択図】図２４
Description
仮想顔化粧の除去およびシミュレーション、高速顔検出およびランドマーク追跡
（関連出願の相互参照）
この非仮特許出願は、２０１７年７月１３日に出願された米国仮特許出願第６２／５３１，９２９号からの米国特許法第１１９条（ｅ）に基づく利益を主張し、その全開示は、参照により本明細書に組み込まれる。
この非仮特許出願は、２０１７年７月１３日に出願された米国仮特許出願第６２／５３１，９２９号からの米国特許法第１１９条（ｅ）に基づく利益を主張し、その全開示は、参照により本明細書に組み込まれる。
（技術分野）
本開示は、ユーザ画像に対する化粧の仮想除去ならびに化粧および化粧効果の適用のための方法を含む、仮想顔化粧シミュレーションのためのシステムおよび方法に関する。本開示は、さらに、ニューラルネットワークを使用した仮想顔化粧シミュレーションのためのシステムおよび方法に関する。本開示はまた、仮想化粧チュートリアル、化粧推薦、カラーマップおよび標準を使用した明るさの自動調整および色の較正、高速顔ランドマーク検出および追跡のフレームワーク、ならびに高速な顔の動きに関連する遅延の問題と、ユーザがビデオにさらにとどまることに関連するランドマークの揺れの問題とを解決する方法を含む、仮想顔化粧シミュレーションを改善するための様々な方法およびシステムに関する。
本開示は、ユーザ画像に対する化粧の仮想除去ならびに化粧および化粧効果の適用のための方法を含む、仮想顔化粧シミュレーションのためのシステムおよび方法に関する。本開示は、さらに、ニューラルネットワークを使用した仮想顔化粧シミュレーションのためのシステムおよび方法に関する。本開示はまた、仮想化粧チュートリアル、化粧推薦、カラーマップおよび標準を使用した明るさの自動調整および色の較正、高速顔ランドマーク検出および追跡のフレームワーク、ならびに高速な顔の動きに関連する遅延の問題と、ユーザがビデオにさらにとどまることに関連するランドマークの揺れの問題とを解決する方法を含む、仮想顔化粧シミュレーションを改善するための様々な方法およびシステムに関する。
顔化粧は、私たちの日常生活やソーシャルネットワーキングにおいて広く普及している。電子商取引、スマートフォンおよび拡張現実技術の急速な成長により、現在では、それらの製品が顧客に一度適用されることが期待されるが実際に化粧品を適用する必要はなく、顧客が特定の化粧品を見ることを可能にする仮想化粧の試用アプリケーションが市場に存在している。しかしながら、既存の仮想システムは、特定の場合に既にユーザに適用されている可能性のある既存の化粧の影響による不一致の問題を抱えている。ユーザが既に顔に化粧を適用している場合、仮想システムは、その仮想化粧アプリケーションをそのまま顔にオーバーレイすることができるのみであり、また、化粧が既にユーザに適用されている場合、誤った、一貫性のないまたは非現実的な結果につながる可能性がある。
仮想ミラーシステムは、オンラインで衣服などのオブジェクトまたは消費財の外観を変更する際に使用することが知られている。これらのシステムは、オブジェクトの形状および置換色または衣服のオーバーレイに焦点を当てている。そのような技術の例は、米国特許第７，９４８，４８１号明細書に記載されている。
同様のオーバーレイ方法は、化粧品のためにならびにユーザの顔に対する様々な化粧品の「仮想試用」のために開発された。そのような方法は、メインサーバからの顔認識ソフトウェアを組み込み、ユーザのサーバからのデジタル画像上の顔特徴を識別する。そして、目、唇などの検出された顔特徴は、特定の化粧品からの画素画像を重ねることができる。例えば、米国特許第８，４９８，４５６号明細書を参照のこと。
そのようなシステムは、時間の経過とともに改善され、より高い精度を達成している。例えば、画像は、キャプチャされ、ユーザからのキャプチャ画像データと、キャプチャ画像に数学的にオーバーレイされてマッチングされる拡張顔画像のデータのデータベースを使用することにより、仮想試用のために拡張されて、例えば米国特許出願公開第２０１６／０１９６６６５号明細書に記載されているような拡張画像を作成することができる。
米国特許第８，２６５，３５１号明細書に記載されているように、「仮想フェイスリフト」などの拡張された外観を作成する顔認識ソフトウェアを使用した特徴のマッチングおよびデジタル強化も知られている。
さらなる精度とより良い最終結果を得るために、仮想試用領域においてさらなる改善が行われた。例えば、ユーザの顔の化粧を検出および除去する方法およびシステムを有する仮想システムが米国特許出願公開第２０１７／００７６４７４号明細書に記載されている。システムは、化粧の種類を検出し、化粧の有無にかかわらずユーザのデータベースに基づいて、ユーザから化粧を除去する。
そのような技術は改善を続けているが、既存の化粧の潜在的な存在の影響を排除することによる最終結果のより一貫性のある現実的な色付けおよび仮想設定において化粧を除去および適用する技術の強化が当該技術分野において必要である。そのようなシステムによって達成される最終結果がより正確で現実的であればあるほど、それらは消費者にとって実行可能な代替手段であることがより有用になる。さらに、顔ランドマーク検出は、拡張現実、仮想現実、人間－コンピュータの相互作用などにおいて多くの潜在的な魅力的なアプリケーションを提示するが、現在では、人々に仮想化粧を着用させ、顔ランドマークとして特定の終了点を使用して顔を認識させるアプリケーションがあり、精度の観点からそのような開発技術にはまだ問題がある。例えば、これらの技術を使用する場合、ビデオ内のそのようなアプリケーションの性能に深刻な影響を与える以下の２つの主要な問題、すなわち、揺れの問題および遅延の問題が常に存在する。
発生する可能性がある他の問題は、画像に表示することが望まれないランドマークが隠される可能性があったりまたは従来のランドマーク技術の適用を困難にする可能性があったりするということであり、例えば、歪んだ笑顔または口をすぼめたキスの表情を顔上で検出して変更することは困難である。指先、歯、舌または唇を覆う他のオブジェクトなど、唇領域上の他の閉塞は、そのような標準的な顔認識または検出技術の利用を困難にする。
したがって、当該技術分野では、試用において既存の化粧の効果または潜在的な効果を排除することによる一貫性のある現実的な色の必要性だけでなく、より正確な顔ランドマークを使用したより良い検出および認識のための滑らかなビデオ、ラグおよび揺れに関連する問題やビデオにおける問題を回避するとともに、ランドマークおよび他の問題を使用するときに隠された領域に関連する問題を解消する技術を見出すことによる真の色および明るさの必要性もある。また、当該技術分野では、ユーザが仮想試用システムと相互作用するためのより便利で合理化された方法を提供し、単純なカラーオーバーレイによって達成されることができるよりも現実的な効果を示す必要性もある。
本明細書の一実施形態では、本発明は、顔の化粧を仮想的に除去する方法であって、化粧が適用されたユーザの顔画像を提供することと、ユーザの顔画像から少なくとも第１の領域および第１の領域とは異なる第２の領域を含む顔ランドマークを探索することと、顔画像の第１の領域を第１のチャネルに分解することと、第１の領域の第１のチャネルをヒストグラムマッチングに供給して第１の領域において化粧が除去された第１の画像を取得することと、顔画像の第２の領域をカラーチャネルに変換することと、異なる照明条件下でのカラーチャネルをヒストグラムマッチングに供給して第２の領域において化粧が除去された第２の画像を取得することと、第１の画像と第２の画像とを組み合わせて第１の領域および第２の領域から化粧が除去された結果顔画像を形成することとを含む、方法を含む。
そのような方法では、第１のチャネルは、反射率チャネルおよびシェーディングチャネルを含むことができる。反射率チャネルは、顔画像の材料依存特性を含むことができ、シェーディングチャネルは、顔画像の光依存特性を含むことができる。反射率チャネルは、好ましくは１色のみを含み、シェーディングチャネルは、好ましくは第１の領域の形状情報を保存する。
本方法の第１の領域は、好ましくは目領域を含み、第２の領域は、好ましくは唇領域を含む。第１の領域の第１のチャネルをヒストグラムマッピングに供給する前の第１の領域の化粧の種類は、好ましくは、顔画像の第２の領域をカラーチャネルに変換する前の第２の領域の化粧の種類とは異なる。カラーチャネルは、色相チャネル、彩度チャネル、および色値チャネルを含むことができる。
さらなる実施形態では、カラーチャネルをヒストグラムマッチングに供給することは、異なる照明条件下での各顔画像の対応する第２の領域にそれぞれ化粧を有しない顔画像のデータセットを提供することと、異なる照明条件下でのカラーチャネルのうちの１つ以上のヒストグラムを事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含む。一実施形態では、カラーチャネルは、値および／または彩度チャネルである。
本発明はまた、顔の化粧を仮想的に除去する方法であって、化粧が適用されたユーザの顔画像を提供することと、ユーザの顔画像の領域内の顔ランドマークを探索することと、顔画像の領域を別個のチャネルに分解することと、領域の別個のチャネルをヒストグラムマッチングに供給して領域において化粧が除去された結果画像を取得することとを含む、方法を含む。
この実施形態では、ユーザの顔画像の領域は、好ましくは目領域を含む。画像を分解する前のユーザの顔画像の化粧は、目の化粧を含むことができる。別個のチャネルは、反射率チャネルおよびシェーディングチャネルを含むことができる。反射率チャネルは、顔画像の材料依存特性を含むことができ、シェーディングチャネルは、顔画像の光依存特性を含むことができる。反射率チャネルは、好ましくは１色のみを含み、シェーディングチャネルは、好ましくは第１の領域の形状情報を保存する。
本発明は、さらに、顔の化粧を仮想的に除去する方法にであって、化粧が適用されたユーザの顔画像を提供することと、ユーザの顔画像の領域内の顔ランドマークを探索することと、顔画像の領域をカラーチャネルに変換することと、異なる照明条件下でのカラーチャネルをヒストグラムマッチングに供給して、その領域において化粧が除去された結果画像を取得することとを含む、方法を含む。
この方法の実施形態では、ユーザの顔画像の領域は、好ましくは唇領域を含む。顔画像の領域をカラーチャネルに変換する前の顔画像の化粧はまた、好ましくは口紅またはリップグロスである。カラーチャネルは、色相チャネル、彩度チャネル、および色値チャネルを含むことができる。カラーチャネルをヒストグラムマッチングに供給するステップは、事前定義されたヒストグラムを含む、化粧なしの顔画像のデータセットを提供することと、異なる照明条件下でのカラーチャネルのヒストグラムを、事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含むことができる。本発明の一実施形態では、カラーチャネルは、色値チャネルおよび／または彩度チャネルである。
この実施形態では、本方法は、さらに、標準唇色と比較して異なる照明条件についての対応する唇色シフトを有するそのような異なる照明条件下での皮膚色データセットを収集
することと、ユーザの画像から入力皮膚色を抽出することと、特定の照明条件下での入力皮膚色の対応する唇色シフトを検出することと、ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、最終修正唇色が、検出された色シフトを有することができる。
することと、ユーザの画像から入力皮膚色を抽出することと、特定の照明条件下での入力皮膚色の対応する唇色シフトを検出することと、ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、最終修正唇色が、検出された色シフトを有することができる。
また、本発明の範囲内にあるのは、入力画像から化粧を検出および除去するシステムであって、システムは、ユーザインターフェースから化粧が適用された入力画像を受信し、少なくとも第１の領域および／または第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、第１の領域が化粧を含みおよび／または第２の領域が化粧を含む、探索することと、第１の領域が探索された場合、顔画像の第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して第１の領域の第１のチャネルをヒストグラムマッチングに供給し、第１の領域において化粧が除去された第１の画像を取得し、および／または第２の領域が探索された場合、顔画像の第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングにカラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して第２の領域において化粧が除去された第２の画像を取得することと、第１の領域および第２の領域の両方が探索された場合、第１の画像および第２の画像を組み合わせて、第１の領域および第２の領域から化粧が除去された結果顔画像を形成することと、を行うことができるように構成される。
本明細書のシステムの一実施形態では、システムは、システムメモリおよびシステムプロセッサを有するコントローラを備えることができ、コントローラは、入力画像を受信し、化粧を有しない顔のヒストグラムのデータセットおよび異なる照明条件下での顔のヒストグラムのデータセットを受信および／またはメモリに記憶するように構成され、システムプロセッサは、顔画像を検出して顔ランドマークを探索することができるプログラミング命令を実行することができる。プロセッサは、好ましくは、入力画像の第１の領域の第１のチャネルへの分解および第１の領域の第１のチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができ、プロセッサは、顔画像の第２の領域のカラーチャネルへの変換および異なる照明条件下でのカラーチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができる。
また、この実施形態では、ユーザインターフェースは、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、またはスマートフォンデジタルビデオカメラとすることができる。
本発明はまた、好ましくは、顔を有する入力画像上に出力効果を生成する方法であって、（ａ）顔ランドマークを有するユーザの顔画像を提供することと、（ｂ）ユーザの顔画像から顔ランドマークを探索することであって、顔ランドマークが第１の領域を含み、第１の領域に関連付けられたランドマークが唇色を有する顔画像の唇に関連付けられ、第１の領域が唇領域を含む、探索することと、（ｃ）画像の唇領域を少なくとも１つのカラーチャネルに変換し、唇領域の光分布を検出および分析することと、（ｄ）変化する光分布にわたって少なくとも１つのカラーチャネルをヒストグラムマッチングに供給し、唇領域の光分布から変化する事前定義された光分布を有するヒストグラムを特定することにより、少なくとも１つの出力効果を生成することと、（ｅ）出力効果を第１の画像と組み合わせて、唇色と唇に適用された少なくとも１つの出力効果とを有する結果画像を提供することとを含む、方法も含む。
この実施形態では、少なくとも１つのカラーチャネルは、彩度チャネルおよび／または色値チャネルを含むことができる。この実施形態では、変換ステップ（ｃ）の前に、本方
法は、さらに、ユーザの顔画像の唇領域から化粧を除去するステップを含むことができる。他の実施形態では、顔ランドマークは、第２を含むことができ、第２の領域は、目領域を含むことができる。そのような実施形態では、本方法は、さらに、（ｆ）画像の目領域を少なくとも１つの第１のチャネルに分解し、目領域の光分布を検出および分析することと、（ｇ）少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、目領域の光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって目に少なくとも１つの第２の出力効果を生成することと、（ｈ）第１の結果画像を第２の画像および少なくとも１つの第２の出力効果と組み合わせ、事前定義された唇色および唇に対する少なくとも１つの第１の出力効果および目に対する少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含むことができる。
法は、さらに、ユーザの顔画像の唇領域から化粧を除去するステップを含むことができる。他の実施形態では、顔ランドマークは、第２を含むことができ、第２の領域は、目領域を含むことができる。そのような実施形態では、本方法は、さらに、（ｆ）画像の目領域を少なくとも１つの第１のチャネルに分解し、目領域の光分布を検出および分析することと、（ｇ）少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、目領域の光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって目に少なくとも１つの第２の出力効果を生成することと、（ｈ）第１の結果画像を第２の画像および少なくとも１つの第２の出力効果と組み合わせ、事前定義された唇色および唇に対する少なくとも１つの第１の出力効果および目に対する少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含むことができる。
この実施形態では、少なくとも１つの第１のチャネルは、シェーディングまたは反射率のうちの１つを含むことができる。事前定義された光分布を有するヒストグラムの光分布は、透明度および滑らかさを追加してもよく、少なくとも１つの出力効果は、光沢効果を含んでもよい。光沢効果は、好ましくは、透明度のレベルによって変化する。事前定義された光分布を有するヒストグラムの光分布は、ランダムな反射率を追加してもよく、少なくとも１つの出力効果は、自然効果を含んでもよい。事前定義された光分布を有するヒストグラムの光分布は、透明度および艶を追加してもよく、少なくとも１つの出力効果は、艶効果を含んでもよい。事前定義された光分布を有するヒストグラムの光分布は、きらめきを追加してもよく、少なくとも１つの出力効果は、きらめき効果であってもよい。
この実施形態では、ステップ（ｄ）および（ｅ）を繰り返して、第１の画像に少なくとも１つの異なる出力効果を生み出すことができ、第１の画像に少なくとも１つの異なる出力効果のうちの１つを有する各結果画像は、第１の結果画像と組み合わせられ、少なくとも１つの第１の出力効果と、第１の画像に対する少なくとも１つの異なる出力効果のそれぞれとを有する最終結果画像を提供する。
本方法は、さらに、ステップ（ｂ）の後に、唇領域の面積を計算し、唇領域の面積を所定の比率で拡大して目標拡大ランドマークを提供し、少なくとも１つの第１の出力効果に加えて膨らみ出力効果を生み出すことと、膨らみ出力効果を少なくとも１つの第１の出力効果および第１の画像と組み合わせて歪ませ、唇に適用された唇色、膨らみ出力効果および少なくとも１つの第１の出力効果を有する第１の結果画像を提供することとを含むことができる。そのような実施形態では、事前定義された光分布を有するヒストグラムの光分布は、さらに、透明度および艶を追加してもよく、少なくとも１つの第１の出力効果は、好ましくは艶効果を含み、結果画像は、膨らんで艶のある外観を含む。
本明細書の本発明は、さらに、顔を有する入力画像に対する出力効果を生成する方法であって、（ａ）顔ランドマークを有するユーザの顔画像を提供することと、（ｂ）ユーザの顔画像から顔ランドマークを探索することであって、顔ランドマークが第２の領域を含み、第２の領域に関連付けられたランドマークが顔画像の目に関連付けられ、第２の領域が目領域を含む、探索することと、（ｃ）画像の目領域を少なくとも１つの第１のチャネルに分解し、目領域の光分布を検出および分析することと、（ｄ）少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、目領域の光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって目に対して少なくとも１つの第２の出力効果を生成することと、（ｅ）第１の結果画像を第２の画像および少なくとも１つの第２の出力効果と組み合わせ、事前定義された唇色および少なくとも１つの第１の出力効果および少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、方法を含む。
本発明は、さらに、化粧推薦システムであって、変化する化粧スタイルを提供するための少なくとも１つの訓練されたニューラルネットワークモデルと、化粧品データベースと、化粧注釈システムとを備え、化粧推薦システムが、注釈システムによって注釈付けされた少なくとも１つの訓練されたニューラルネットワーク内のデータおよび／または化粧品データベースからの推薦品に基づいて、ユーザへのパーソナライズされた段階的な化粧指示を生成することができ、ユーザの入力画像に基づいてユーザに仮想化粧アプリケーションを段階的に表示することができる、化粧推薦システムを備える。少なくとも１つの訓練されたモデルは、好ましくは、深層学習フレームワークから導出される。深層学習フレームワークは、好ましくは、選択された化粧スタイルが適用された顔画像、および化粧注釈システムからの出力グラウンドトゥルースデータのうちの１つ以上のデータ入力を受信する。
注釈システムは、好ましくは、選択された化粧スタイルが適用された顔画像に注釈を付け、注釈付き顔画像は、ニューラルネットワークの訓練データを提供する。化粧スタイルは、手動で選択されて注釈を付けられることができる。入力画像は、ユーザのビデオからのフレームとすることができる。推薦システムは、さらに、少なくとも１つの仮想化粧チュートリアルを備えてもよい。一実施形態では、段階的な指示は、（ａ）第１の種類の化粧用の第１の選択された色を表示することと、（ｂ）選択された色の化粧の種類をユーザの顔の入力画像の対応する領域に仮想的に適用することとを含むことができる。そのような実施形態では、ステップ（ａ）および（ｂ）は、少なくとも１つのさらなる選択された色および少なくとも１つの第２の種類の化粧について繰り返され、推薦システムにおけるデータに基づいてユーザの入力画像に対して所望の化粧外見を作成することができる。
推薦システムは、入力画像の明るさを調整するシステムをさらに備えるように変更することができ、明るさを調整するシステムは、皮膚色推定器を使用して、ユーザの入力画像内の顔の正規化皮膚色を推定し、顔ランドマークを検出し、顔領域、画像中心領域および境界領域に対して異なる重み係数を割り当て、入力画像の平均明るさを計算し、平均明るさを推定された正規化皮膚色と比較して補正係数を生成し、補正係数に従って多項式変換を使用して入力画像に曲線変換を適用するように構成される。
本明細書の本発明は、さらに、仮想化粧の試用または除去方法に有用な入力画像の明るさを調整するシステムであって、以下のステップを実行するように構成されたソフトウェアを有するシステムを含む。皮膚色推定器を使用してユーザの入力画像における顔の正規化皮膚色を推定し、顔ランドマークを検出し、重み係数を顔領域、画像中心領域および境界領域に割り当て、入力画像の平均明るさを計算し、平均明るさを顔の推定された正規化皮膚色と比較して補正係数を生成し、補正係数に従って多項式変換を使用して曲線変換を入力画像に適用する。
さらに、本発明の範囲内にあるのは、較正色を提供するシステムであって、以下のステップを実行するように構成されたシステムである。デジタルカメラを有する装置から受信したユーザの入力画像に応じてカラーパッチを有する色参照チャートを自動的に検出し、カラーパッチのそれぞれの画素値を読み取り、色参照チャートからの検出された情報を、ゴールデン標準システムに基づいてキャプチャされた記憶された色参照チャートの画素値と比較し、入力画像がゴールデン標準システムに合わせて変更されて色の一貫性を維持するようにカメラの較正パラメータを制御システムに送信する。
そのような実施形態では、較正色を提供するシステムによって較正された色は、オブジェクトの色を判定し、製品の色を判定し、ユーザに適用される化粧品の色を判定し、色の変化を評価するために使用することができる。
本発明は、さらに、仮想化粧チュートリアルを提供する方法であって、１つ以上の既存の化粧ビデオからキーフレームを選択すること、および／または選択されたキーフレームにおける製品名文字の検出、製品名を探索するための文字認識の使用、または製品データベース内の製品を評価する訓練された製品分類器から導出された分類器による製品の特定によって既存の化粧ビデオにおける製品名を検出することと、選択されたキーフレームからの化粧情報および／または化粧チュートリアル概要において検出された製品名を要約することと、化粧チュートリアル概要に基づいて仮想化粧チュートリアルを生成することとを含む、方法を含む。
チュートリアルの方法では、キーフレームは、１つ以上の既存の化粧ビデオからのビデオデータをセグメントに分割し、フレームの相違、色ヒストグラムおよび／またはカメラの動きに基づいて一組の候補キーフレームを生成し、一組の基準と前のフレームまたは次のフレームに対する異なる種類の化粧かどうかとに基づいて最終キーフレームを選択することによって選択されることができる。
本発明はまた、高速顔検出およびランドマーク追跡のための方法であって、２次元（２Ｄ）カメラを使用して入力画像をキャプチャすることと、異なるスケールの画像を使用して画像ピラミッドを作成することと、スライディングウィンドウおよびサポートベクターマシン（ＳＶＭ）を使用して勾配のヒストグラム（ＨＯＧ）特徴を適用して画像ピラミッドの画像上で顔の境界ボックスを見つけることと、グローバル学習降下正規化（ＧＬＤＲ）モデルに基づく１つ以上の顔のランドマーク検出器を使用して、顔が存在する場合に境界ボックス内の顔を検出することとを含む、方法を含む。本方法は、さらに、パッチを抽出し、ランドマーク平均シフトフィッティングを画像に適用してランドマークデータを平滑化し、画像ピラミッドにわたるランドマーク位置を正規化することと、３層ニューラルネットワークモデルを正確性検証モデルとして適用して誤形状をフィルタリングし、最終ランドマークを関連付けて選択することとを含むことができる。ニューラルネットワークの３層は、好ましくは、畳み込み層、アップサンプル層およびマッピング層である。本方法はまた、高速移動に関連付けられた遅延を減らし、移動不足に関連付けられた揺れを減らすステップも含むことができ、これは、点分布モデル（ＰＤＭ）を使用してグラウンドトゥルースデータセットからノイズをフィルタリングしてランドマークビデオをより安定にすることを含む。
本明細書にはまた、顔画像から唇領域を抽出する方法であって、（ａ）入力顔画像上の顔ランドマークを使用して顔領域を探索することと、（ｂ）ランドマークを使用して顔領域を取得して非顔背景を除去することと、（ｃ）各画素がＬ＊ａ＊ｂ＊空間における色値を有するＬ＊ａ＊ｂ＊空間を使用して顔色に基づくガウス混合モデルを入力顔画像の下部に適用し、入力顔画像の一部における各画素の確率を計算して基準閾値以上であるかどうかを判定し、顔領域が検出される顔画像の一部における皮膚領域の確率マップを生成することと、（ｄ）確率顔マップから初期顔領域バイナリ画像を生成することと、（ｅ）反復法を使用して基準閾値を調整し、改良バイナリ画像を判定することと、（ｆ）事前に決定された基準に基づいて各反復において改良バイナリ画像を評価し、改良バイナリ画像を使用して顔領域を検出することとを含む、方法も含まれる。
そのような方法の一実施形態では、ガウス混合モデルは、３つ以上の成分を有することができる。閾値は、配列を使用してオフセットによって調整され、基準閾値を繰り返し改良することができる。事前に決定された基準は、顔領域の周りの外部矩形の幅と高さの比、顔領域の面積と外部矩形の面積との比、および顔領域の面積と顔画像の一部の面積との比のうちの１つ以上を含むことができる。一実施形態における顔領域は、唇領域であり、顔画像の一部は、顔画像の下部である。本方法は、さらに、改良ガウス混合モデルにおける初期顔領域および非顔領域の画素のＬ＊ａ＊ｂ＊色空間色を使用することと、初期顔領
域および非顔領域の確率マップを計算することと、顔領域の検出に使用するガウス混合モデルを使用して全体的な確率マップを作成することとを含むことができる。本方法の様々な実施形態は、さらに、エッジ検出および輪郭化を使用して全体的な確率マップを平滑化することを含むことができる。
域および非顔領域の確率マップを計算することと、顔領域の検出に使用するガウス混合モデルを使用して全体的な確率マップを作成することとを含むことができる。本方法の様々な実施形態は、さらに、エッジ検出および輪郭化を使用して全体的な確率マップを平滑化することを含むことができる。
本発明はまた、顔画像に目化粧アドオン効果を仮想的に提供する方法であって、（ａ）目の少なくとも１つの目化粧特徴のテンプレートを作成し、目化粧特徴に関連するテンプレート上のランドマーク地点に手動で注釈を付け、ランドマーク地点の場所をテキストファイルとして保存することと、（ｂ）画像フレームのランドマーク検出器を使用して顔画像の目領域のランドマークを抽出することと、（ｃ）画像の目領域をトリミングして、テンプレートの目化粧特徴に関連するランドマークに基づいて画像フレームを作成することと、（ｄ）画像フレームの目領域上の検出された抽出ランドマークから目領域の周りの線形補間によって地点を生成することと、（ｅ）テンプレートの注釈付きランドマークに基づいてテンプレートの周りの地点を生成することと、（ｆ）順方向歪みによりテンプレートを画像フレームに適用し、適用されたテンプレートから目化粧特徴を有する目領域画像フレームを作成することと、（ｇ）目領域画像フレームを元の顔画像にトリミングして戻し、目化粧特徴を有する顔画像を作成することとを含む、方法を含む。そのような方法では、目化粧特徴は、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴から選択されることができる。本方法のステップ（ａ）は、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴のそれぞれについてテンプレートを作成することを含むことができ、本方法は、さらに、テンプレートにおける目特徴のうちの２つ以上について顔画像に対してステップ（ｂ）から（ｇ）を繰り返すことと、顔画像における２つ以上の特徴を組み合わせて合成目化粧外見を作成することとを含むことができる。
顔画像に口紅テクスチャを仮想的に提供する方法であって、深層畳み込みニューラルネットワーク構造を有する訓練モジュールを備えるテクスチャシミュレータを提供することと、前処理モジュールにおいて入力唇領域を処理し、所望の口紅色のＬ＊ａ＊ｂ＊色空間の輝度チャネルと重み付きカバレッジ係数とを使用して所望の口紅色および輝度向上を有するように入力唇領域を変更して輝度分布とシミュレートされた動的テクスチャとを有するＬチャネル画像を作成し、ａ＊チャネルおよびｂ＊チャネルについて入力画像をＲＧＢからＬ＊ａ＊ｂ＊空間色に処理することと、前処理モジュールから、訓練モジュールを使用して画像データセットに対して訓練されたモノチャネルスタイル移行モジュールにＬチャネル画像を供給し、データセットにおける参照スタイル画像に基づいて合成色およびテクスチャを有する合成Ｌチャネル画像を作成することと、動的テクスチャシミュレーションを有する合成Ｌチャネル画像と、ＲＧＢ変換のための前処理モジュールからのａ＊チャネル画像およびｂ＊チャネル画像とを、ＲＧＢ変換のための後処理モジュールにおいてさらに処理することとを含む、方法も本明細書において提供される。
また、本発明の範囲内にあるのは、入力画像を使用した仮想化粧除去および仮想化粧適用のためのシステムの実施形態であって、システムは、ユーザインターフェースから化粧が適用された入力画像を受信し、少なくとも第１の領域および／または第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、第１の領域が化粧を含みおよび／または第２の領域が化粧を含む、探索することと、第１の領域が探索された場合、顔画像の第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して第１の領域の第１のチャネルをヒストグラムマッチングに供給し、第１の領域において化粧が除去された第１の画像を取得し、および／または第２の領域が探索された場合、顔画像の第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングにカラーチ
ャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して第２の領域において化粧が除去された第２の画像を取得することと、第１の領域および第２の領域の両方が探索された場合、第１の画像および第２の画像を組み合わせて、第１の領域および第２の領域から化粧が除去された結果顔画像を形成し、化粧が除去された結果顔画像の第１の領域に対して所定種類の化粧を仮想的に適用し、および／または化粧が除去された結果顔画像の第２の領域に対して第２の種類の化粧を適用することと、を行うことができるように構成される。
ャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して第２の領域において化粧が除去された第２の画像を取得することと、第１の領域および第２の領域の両方が探索された場合、第１の画像および第２の画像を組み合わせて、第１の領域および第２の領域から化粧が除去された結果顔画像を形成し、化粧が除去された結果顔画像の第１の領域に対して所定種類の化粧を仮想的に適用し、および／または化粧が除去された結果顔画像の第２の領域に対して第２の種類の化粧を適用することと、を行うことができるように構成される。
関連する実施形態では、本発明は、入力画像を使用した仮想化粧除去および仮想化粧適用のための方法を含み、本方法は、ユーザインターフェースから化粧が適用された入力画像を受信することと、少なくとも第１の領域および／または第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、第１の領域が化粧を含みおよび／または第２の領域が化粧を含む、探索することと、第１の領域が探索された場合、顔画像の第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して第１の領域の第１のチャネルをヒストグラムマッチングに供給し、第１の領域において化粧が除去された第１の画像を取得し、および／または第２の領域が探索された場合、顔画像の第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングにカラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して第２の領域において化粧が除去された第２の画像を取得することと、第１の領域および第２の領域の両方が探索された場合、第１の画像および第２の画像を組み合わせて、第１の領域および第２の領域から化粧が除去された結果顔画像を形成することと、化粧が除去された結果顔画像の第１の領域に対して所定種類の化粧を仮想的に適用し、および／または化粧が除去された結果顔画像の第２の領域に対して第２の種類の化粧を適用することとを含む。
システムおよび方法の上記の実施形態では、第１の種類の化粧は、仮想化粧アドオンとすることができ、第２の種類の化粧は、仮想口紅とすることができる。システムおよび方法は、好ましくは、さらに、第１の種類の化粧および／または第２の種類の化粧に対して出力終了効果を提供し、および／または第２の種類の化粧に対してシミュレートされたテクスチャを提供することができる。
前述の概要、ならびに本発明の好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むとよりよく理解されるであろう。本発明を説明する目的で、現在好ましい実施形態が図面に示されている。しかしながら、本発明は、示された正確な手段に限定されないことを理解すべきである。図面において、以下のとおりである。
図５Ｃは、図５Ａおよび５Ｂにそれぞれ示される、化粧が除去された反射率画像およびシェーディング画像を乗算した結果を示している。
図２７Ｂは、本明細書の実施形態にかかる目化粧アドオン方法を使用して図２７Ａの画像に適用されるアイシャドウレイヤーアドオンの画像である。
図２７Ｃは、本明細書の実施形態にかかる目化粧アドオン方法を使用して図２７Ａの画像に適用されたアイシャドウミドルアイアドオンの画像である。
図２７Ｄは、本明細書の実施形態にかかる目化粧アドオン方法を使用して図２７Ａの画像に適用されたアイコーナー化粧アドオンの画像である。
図２７Ｅは、本明細書の実施形態にかかる目化粧アドオン方法を使用して図２７Ａの画像に適用されたアイテール化粧アドオンの画像である。
図２７Ｆは、本明細書の実施形態にかかる目化粧アドオン方法を使用して図２７Ａの画像に適用されたまつげ化粧アドオンの画像である。
図２８Ｂは、本明細書の目化粧アドオン方法の実施形態において使用するためのアイシャドウミドルテンプレートの表現である。
図２８Ｃは、本明細書の目化粧アドオン方法の実施形態において使用するためのアイシャドウコーナーテンプレートの表現である。
図２８Ｄは、本明細書の目化粧アドオン方法の実施形態において使用するためのアイシャドウテールテンプレートの表現である。
図２８Ｅは、本明細書の目化粧アドオン方法の実施形態において使用するためのまつげテンプレートの表現である。
以下の詳細な説明は、化粧試用プログラムが現実的な試用外見のための一貫したより良い色付けを提供するように、化粧除去の方法を実行するための好ましい実施形態、およびユーザの入力画像からそれを行うためのシステムを含む。仮想除去方法に加えて、化粧の仮想アドオン、および少なくとも１つの訓練されたニューラルネットワークモデル、化粧データベースおよび化粧注釈システムに基づく化粧品のパーソナライズされた推薦のためのシステムおよび方法も提供される。推薦システムは、化粧品データベース内の製品およ
びユーザからの入力画像に基づいて、ユーザへのパーソナライズされた段階的な化粧指示を生成することができる。また、仮想化粧チュートリアルを提供する方法と、ユーザの顔を有する入力画像に仮想出力効果を提供する方法も含まれる。そのような技術は、本明細書の図面に示され且つ図３７に要約されるように、独立してまたは共同で使用することができる。さらに、仮想化粧試用（ｔｒｙ－ｏｎ）または仮想除去方法において使用するための明るさの調整および色の較正方法、入力画像ビデオにおける高速移動に関連付けられた遅延を減らし且つ動作不足による揺れを軽減する方法、および上記のような方法によって使用するための注釈システムも含むことができる高速顔検出およびランドマーク追跡のための方法も記載される。
びユーザからの入力画像に基づいて、ユーザへのパーソナライズされた段階的な化粧指示を生成することができる。また、仮想化粧チュートリアルを提供する方法と、ユーザの顔を有する入力画像に仮想出力効果を提供する方法も含まれる。そのような技術は、本明細書の図面に示され且つ図３７に要約されるように、独立してまたは共同で使用することができる。さらに、仮想化粧試用（ｔｒｙ－ｏｎ）または仮想除去方法において使用するための明るさの調整および色の較正方法、入力画像ビデオにおける高速移動に関連付けられた遅延を減らし且つ動作不足による揺れを軽減する方法、および上記のような方法によって使用するための注釈システムも含むことができる高速顔検出およびランドマーク追跡のための方法も記載される。
本明細書で使用する場合、「化粧」は、１つの種類または１つの場所のみを指すように指定されていない限り、顔画像の単一の場所における単一の種類の化粧もしくは複数の種類の化粧または複数の場所にある単一の種類の化粧もしくは複数の種類の化粧を包含する。また、本明細書で使用される、学習データまたは訓練データにおけるユーザまたは人々の「顔画像」への言及は、その範囲内に顔画像の写真とビデオの両方を含み、孤立した画像（単一の写真または単一のビデオフレームなど）または複数の画像（繰り返し写真、ビデオ全体または複数のフレームを有するビデオの一部など）とすることができ、特に指定されない限り、写真のみ、ビデオのみまたは単一の画像のみに限定されると解釈されるべきではない。本明細書の写真およびビデオは、デジタルであることが好ましい。そのような写真またはビデオは、本明細書の方法およびシステムへの「入力画像」（ＩＩ、ＩＩ’）として使用することができ、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、もしくはスマートフォンデジタルビデオカメラまたは入力画像を提供することができる同様の装置とすることができるユーザインターフェースを介して本明細書の方法およびシステムにおいて使用するために伝達することができる。
強化されたパーソナライズされたチュートリアル用の仮想顔化粧シミュレーション
本開示における仮想顔化粧シミュレーションは、以下の技術を使用する。それぞれヒストグラムマッチングを有するＨＳＶ色空間または固有分解。ＨＳＶ色空間は、ＲＧＢカラーモデルとは別に色を評価するための周知の代替モデルである。ＲＧＢモデルは、デカルト（キューブ）表現として表示される。ＨＳＶカラーモデルは、ＲＧＢモデルの幾何学的形状を再配置し、通常、人間が知覚する方法により近い方法で色をより適切に表示することにより、より直感的で知覚的に関連する円錐または円筒座標表現のいずれかとして表される。「ＨＳＶ」は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、および色値（Ｖａｌｕｅ）を表し、ＨＳＢと呼ばれることもある（「Ｂ」は、明るさ（Ｂｒｉｇｈｔｎｅｓｓ）を表す）。
図１は、ＨＳＶ色空間を示している。図１における各ＨＳＶ代表円筒では、「色相」は、「色相」とラベル付けされた回転矢印によって図１に示すように、中心垂直軸の周りの角度によって測定される。「彩度」（Ｃｈｒｏｍａ）とラベル付けされた矢印によって示される図１における円筒の軸Ａ－Ａ’からの横方向距離は、「彩度」（Ｓａｔｕｒａｔｉｏｎ）に対応する。軸Ａ－Ａ’に沿って測定される距離は、「明るさ」または「明度」（Ｌｉｇｈｔｎｅｓｓ）とも呼ばれる「色値」に対応する。
ＨＳＶ色空間と色相、彩度、および色値の定義を示す図１を参照すると、色相は、０から３６０度まで全周にわたる範囲の一部としてその角度範囲を参照して記載されることができる色の種類を表す。彩度は、色がどの程度グレースケールと異なるかを示す。すなわち、彩度が低いほど、色あせまたはグレーに見える。色値は、色の明るさのレベルを表し、値０は完全に暗く、値２５５は完全に明るい。
ＨＳＶモデルは、幾何学的戦略によって導出されることができる。ＨＳＶモデルは、垂直軸に沿ってその真上に「白」を有して「黒」が原点に位置するように、そのコーナーに傾斜した、Ｒ、Ｇ、Ｂの色指定において赤、緑および青の構成量を有する、ＲＧＢキューブから導出されることができる。傾斜したＲＧＢキューブを取り、それを中立軸に対して垂直な「色度平面」に投影すると、投影は、そのコーナーに赤、黄、緑、シアン、青およびマゼンタの色を有する、六角形の形状を取る。図２は、色度平面Ｐに投影されたＲＧＢ傾斜キューブＣを示している。
色相は、おおよそ投影における所定点に対するベクトルの角度として測定されるが、彩度は、おおよそ原点からの点の距離である。そして、色値は、色の最大成分として定義される。したがって、彩度は、明度に対する彩度として定義される。数学的には、ＲＧＢから色相、彩度、および色値の色空間に変換する変換式は、例えば式（１ａ）において以下に記述される。
ＨＳＶ色空間の使用に加えて、本発明は、ヒストグラムマッチングを使用する。画像処理において、ヒストグラムマッチングまたはヒストグラム指定とは、そのヒストグラムが指定または参照ヒストグラムと一致するように１つの画像を変換することである。周知のヒストグラム均等化方法は、指定または参照ヒストグラムが均一に分布する特殊なケースである。数学的には、グレースケールの２つの画像（すなわち、入力画像および参照画像）とそれぞれのヒストグラムが与えられた場合、各ヒストグラムの累積分布を計算することができる。入力画像ヒストグラムの場合はＦ１（）、参照画像ヒストグラムの場合はＦ２（）。各グレーレベルＧ１∈［０，２５５］について、Ｆ１（Ｇ１）＝Ｆ２（Ｇ２）のグレーレベルＧ２を見つけることができる。これは、以下のヒストグラムマッチング関数：Ｍ（Ｇ１）＝Ｇ２の結果である。最後に、関数Ｍ（）を入力画像の各画素に適用することができる。
また、上記のように、ＨＳＶ色空間およびヒストグラムマッチングに加えて、本発明は、固有分解を使用する。固有画像を復元するタスクは、与えられた入力画像を、その材料依存特性、通常は、反射率と、照明やシェーディングなどの光依存特性の別個の成分に分解することである。目領域画像を例にとると、眉毛やまつげを含まない顔の皮膚全体が、ほぼ同じ材料および色を有すると考えることができる。理想的には、反射率成分は、化粧品を塗布した後の全ての化粧色情報を含みながら、裸の顔に１色のみを含む必要がある。反対に、シェーディング成分またはチャネルは、顔が同じ画像内で基本的な形状を保持す
るため、顔と目の形状情報を保持し、化粧を適用してもしなくてもほとんど変化しない。固有分解とは、分離された成分に基づいて初期画像を再構築することができるように、これらの成分を分離する能力である。
るため、顔と目の形状情報を保持し、化粧を適用してもしなくてもほとんど変化しない。固有分解とは、分離された成分に基づいて初期画像を再構築することができるように、これらの成分を分離する能力である。
エネルギー関数を詳細に紹介する前に、ここで表記法を最初に指定する。与えられた画像Ｉに対して、Ｉ＝ｓ×Ｒであるように反射率Ｒおよびシェーディングｓの２つの成分を識別する必要がある。Ｉｉ、Ｒｉおよびｓｉは、それぞれ、上記の３つの成分のそれぞれの位置ｉにおける画素値を個別に表す。ここで、ＩｉおよびＲｉは、次元３の３次元ベクトルであり、ｓｉは、次元１のベクトルである。関係Ｉｉ＝ｓｉ×Ｒｉは、全てのカラーチャネル（Ｒ，Ｇ，Ｂ）について保持する必要があるため、Ｒｉの方向は、既に既知である。すなわち、Ｒｉは、
を有する
として書き換えることができ、ｒ＝（ｒ１，・・・・・・，ｒＮ）は、解くべき唯一の未知の変数である。ここで、Ｉｉ／｜｜Ｉｉ｜｜は、Ｒｉの方向であり、ｒ＝（ｒ１，・・・・ｒＮ）は、その方向におけるＲｉの振幅である。Ｒは、３次元ベクトルを表すため、この式は、Ｒを１次元ベクトルｒに変換する。以下の部分では、ｒが取得されると、Ｒもまた、ｒにその方向Ｉｉ／｜｜Ｉｉ｜｜を乗算することによってわかることから、ｒはＲを表すことがある。したがって、最適化の問題は、Ｎ個の変数の検索に縮小される。ここで、Ｎは、画像Ｉの画素の総数である。シェーディング成分は、ｓｉ＝｜｜Ｉｉ｜｜ｒｉを使用して計算することができる。
本明細書のエネルギー関数は、以下に記載する２つの項（事前分布）（すなわち、シェーディング事前分布（Ｅｓ）とグローバルスパース反射率事前分布（Ｅｃｌ））に基づいて記述されており、それらの事前分布、すなわち、２つの成分は、以下で詳細に説明される。上記のように、
は、Ｒｉの方向であり、ｒ＝（ｒ１，・・・・・・，ｒＮ）は、その方向におけるＲｉの振幅である。Ｒは、３次元ベクトルを表すため、式は、Ｒを１次元ベクトルｒに変換する。以下のエネルギー関数式では、上記のようにｒが取得されると、ｒにＲの方向Ｉｉ／｜｜Ｉｉ｜｜を乗算することによってＲがわかることから、ｒは、Ｒを表すために使用される。
以下の式では、各αｉのα（α１，α２，α３，．．．αＮ）は、画素ｉのクラスタメンバーシップ番号を表し、αｉは、１からＣである。例えば、クラスタ番号を５に設定すると、各画素は、１から５のクラスタメンバーシップ番号によって示される。
エネルギー関数は、シェーディング事前分布（Ｅｓ）およびグローバルスパース反射率
事前分布（Ｅｃｌ）の関数として表されることが好ましい。
事前分布（Ｅｃｌ）の関数として表されることが好ましい。
Ａ．シェーディング事前分布（Ｅｓ）：画像のシェーディングは、本明細書では画像上で滑らかに変化することが期待され、以下のペアワイズ因子において符号化される。
ここで、４連結画素グラフを使用して、ｉ～ｊ内で示される近傍関係を符号化する。この評価では、ＱおよびＰがエッジを共有する場合、画素Ｑは、指定された画素Ｐの４近傍と解釈される。画素Ｐの４近傍（すなわち、画素Ｐ２、Ｐ４、Ｐ６およびＰ８）が図２０に代表的な形式で示されている。各画素Ｐについて、その４近傍間の上記ペアワイズ値Ｅｓ（ｒ）を計算することができる。４連結画素グラフは、各画素が４近傍のペアワイズ値の合計値を有する画像サイズのマトリックスである。例えば、画素Ｐの値は、Ｅｓ（Ｐ，Ｐ２）＋Ｅｓ（Ｐ，Ｐ４）＋Ｅｓ（Ｐ，Ｐ６）＋Ｅｓ（Ｐ，Ｐ８）である。
Ｂ．グローバルスパース反射率事前分布（Ｅｃｌ）：この項は含まれており、反射率のグローバルポテンシャルとして機能し、さらに、いくつかの反射率クラスタへの分解を促進する。それぞれが
によって示されるＣ個の異なる反射率クラスタがあると仮定すると、全ての反射率画素（ｒｅｆｌｅｃｔａｎｃｅ ｐｉｘｅｌ）は、クラスタの１つに属し、変数αｉを使用したクラスタメンバーシップによって示される。ここで、
である。これは、以下のエネルギー項に要約される。ここで、ｒおよびｉは、上記定義したとおりである。
ここでは、連続ｒ変数と離散α変数の両方が混合される。これは、クラスタ平均が画像内の全ての画素の割り当てに依存するため、グローバルポテンシャルを表す。固定αの場合、この項は、ｒにおいて凸であり、固定ｒの場合、αの最適値は、単純な割り当て問題である。反射率クラスタ
の平均は、以下のようにｒおよびαが与えられると最適に決定される。
一実施形態では、本開示は、上記の技術を使用し、固有の画像分解またはＨＳＶカラーチャネル変換、およびそれぞれ目領域および口領域からの仮想化粧除去のためのヒストグラムマッチングベースのフレームワークを提供する。通常、顧客が化粧品店で買い物をするとき、ほとんどの状況において顔に化粧をする。本開示のシステムを用いると、顧客は、新たな化粧を試すために化粧を除去する必要がない。代わりに、顧客は、コンピュータで強化された合成画像技術を使用して、化粧を仮想的に除去し、新たな化粧を仮想的に試すことができる。
図３は、一般に実施形態１０００と呼ばれる、本開示の実施形態にかかる、化粧を仮想的に除去する方法のフロー図を示している。図３を参照すると、ステップ１０１０において、入力がユーザによって取得される。ユーザ入力は、モバイル装置を使用してユーザによってキャプチャされたまたは本開示のシステムにアップロードされた、単一の画像、繰り返し写真、単一のビデオフレームまたは複数のフレームを有するビデオを含む、用語が本明細書において定義されている任意の顔画像とすることができる。顔画像は、取得されると、ユーザ入力から検出または識別される。除去方法では、１つの画像のみが入力され、画像がアップロードされると顔が検出されることが好ましいが、本発明は、１つの画像入力のみに限定されない。
画像の顔が検出されると、ステップ１０２０において、入力画像を使用して顔ランドマークが探索される。ランドマークは、あごの上部、各目の外側縁、各眉の内側縁など、事前設定されて選択されることができる。そのようなランドマークは、全ての顔に共通しているため、顔前景のカラー画像において基準点（例えば、鼻の先端、口および目のコーナー）の正確な特定を使用して検出および評価される。
ステップ１０３０において、例えば、ランドマーク検出アルゴリズムを利用して、ランドマークの基準点の位置を探索し、それを介して口領域および目領域画像を抽出することができる。この目的のために本明細書で有用な適切なランドマーク検出ソフトウェアおよび関連する訓練セットは、ＯｐｅｎＣＶ（すなわち、opencv.org）において見つけることができる。ｄｌｉｂランドマーク検出（http://dlib.net/face_landmark_detection.py.htmlを参照）やＧｉａｒａｎ，Ｉｎｃ．ランドマーク検出など、追加のソフトウェアおよ
び顔認識プロセスも使用することができる。顔検出のための、Ｐｙｔｈｏｎ、ｄｌｉｂおよびＨＯＧなどの、ならびに、基準点のランドマーク検出および識別のための、V. Kazemi et al., “One Millisecond Face Alignment with an Ensemble of Regression Trees,” KTH, Royal Institute of Technology, Computer Vision and Active Perception Lab, Stockholm, Sweden (2014)などの、多くの適切な市販およびオープンソースのソフトウェアが存在する。本明細書における使用に好ましいのは、Ｇｉａｒａｎ，Ｉｎｃ．ソフトウェアである。
び顔認識プロセスも使用することができる。顔検出のための、Ｐｙｔｈｏｎ、ｄｌｉｂおよびＨＯＧなどの、ならびに、基準点のランドマーク検出および識別のための、V. Kazemi et al., “One Millisecond Face Alignment with an Ensemble of Regression Trees,” KTH, Royal Institute of Technology, Computer Vision and Active Perception Lab, Stockholm, Sweden (2014)などの、多くの適切な市販およびオープンソースのソフトウェアが存在する。本明細書における使用に好ましいのは、Ｇｉａｒａｎ，Ｉｎｃ．ソフトウェアである。
本明細書の方法およびシステムでは様々な領域および基準点を使用することができるが、抽出される第１および／または第２の領域とそのような領域のうちの１つが固有に分解されることを示す好ましい実施形態を説明する目的で、以下の例は、以下のように目および口領域を使用するようなステップを示している。目領域１０４０Ａについては、例えば、固有の画像分解技術がステップ１０４５において利用され、目領域のシェーディングおよび反射率チャネルを回復する。次に、ステップ１０５０Ａにおいて、シェーディングチャネルおよび反射率チャネルがヒストグラムマッチングに別個に供給され、目領域において化粧が除去された画像を取得する。唇／口領域１０４０Ｂについては、例えば、画像が最初にＨＳＶカラーチャネルに転送、すなわち変換され、異なる照明条件に関して異なるヒストグラムマッチング手順がＨチャネル、Ｓチャネル、Ｖチャネルに別個に適用される。唇色を除去するために、「彩度」および「色値」の特定の参照ヒストグラムが、唇に化粧を有しない顔画像の収集されたデータセットから学習された。それらの事前定義された唇ヒストグラムを使用して、検出された唇ヒストグラムを、化粧を有しない対応するヒストグラムとマッチングすることにより、入力唇化粧が除去されることができた。唇チャネルの場合、ヒストグラムを使用してそれを表現する必要はなく、「色相」チャネルの手順が事前に訓練された色値と比較した各画素の「色相」チャネルとして設定されるように、「色相」チャネルが通常は１つの値のみを有する唇領域として使用される。
ステップ１０５０Ｂでは、異なるＨチャネル、Ｓチャネル、およびＶチャネルが、必要に応じてヒストグラムマッチングまたは画素マッチングに供給される。チャネルは、唇／口領域において化粧が除去された画像を取得するために、個別に供給される。
ステップ１０６０では、ステップ１０５０Ａおよび１０５０Ｂから得られた画像は、唇領域および目領域からあらゆる顔の化粧が除去された画像を形成するように、一方を他方の上にオーバーレイすることによって合成される。これらの技術を使用してさらに多くの領域を分析した場合、それらは、これらの領域にオーバーレイされることもできる。
目領域１０４０Ａについては、２つの事前項を組み合わせてエネルギー関数を形成する。エネルギー関数を解くことにより、反射率画像およびシェーディング画像の最適化された分解を見つけることができる。２つの事前分布は、シェーディングチャネルおよび反射率チャネルにスムージング制約を提供する。画像のシェーディングは、画像上で滑らかに変化することができ、４連結画素グラフを使用して近傍関係を符号化する。後のグローバルスパース反射率事前分布は、反射率画像に存在するカラークラスタの数を制限する。それは、異なる材料反射率の混合を可能にし、それにより可能な化粧色の多様性、および数学的にはクラスタを維持する。
本開示のシステムおよび方法では、同じ実施形態に従って、唇領域画像がＨＳＶ色空間に変換される。実験から、本明細書の発明者は、以下を観察した。「色相」チャネルは、通常、照明条件が変化したときまたは明るい口紅が適用されたときに変化し、赤い口紅を塗ると「彩度」チャネルが変化し、紫または暗い色が適用されると、「色値」または「明るさ」が変化する。これらの観察に基づいて、検出されたときに異なる色の口紅によって対応するチャネルを編集することができる。唇色を除去するために、「彩度」および「色値」の特定の参照ヒストグラムは、収集された非化粧唇データセットから学習することができる。これらの事前定義された唇ヒストグラムを使用して、検出された唇ヒストグラムを対応する非化粧ヒストグラムとマッチングすることにより、入力唇化粧を除去することができる。「色相」チャネルの場合、唇領域は、通常、１つの値のみを有し、ヒストグラムによって表す必要はないことに留意されたい。
異なる照明条件下では、唇が異なって見えることに留意されたい。したがって、本開示のシステムは、照明条件を考慮して、より現実的な除去色予測を提供する。唇の除去に使
用するために、皮膚色データセットは、標準の唇色と比較して対応する唇色のシフトを伴う異なる照明条件下で収集される。このデータセットを用いて、本開示のシステムは、最初に入力皮膚色を抽出し、この特定の照明条件下で対応する唇色シフトを見つける。次に、最終的に修正された除去唇色が、検出された色シフトとともに提供される。皮膚色データセットは、他の除去領域には必要ないが、唇化粧除去のガイダンスのために収集される。データセットがない場合、事前定義された色を使用して唇を検出することもできる。
用するために、皮膚色データセットは、標準の唇色と比較して対応する唇色のシフトを伴う異なる照明条件下で収集される。このデータセットを用いて、本開示のシステムは、最初に入力皮膚色を抽出し、この特定の照明条件下で対応する唇色シフトを見つける。次に、最終的に修正された除去唇色が、検出された色シフトとともに提供される。皮膚色データセットは、他の除去領域には必要ないが、唇化粧除去のガイダンスのために収集される。データセットがない場合、事前定義された色を使用して唇を検出することもできる。
目領域の化粧を除去する場合、状況は、通常は統一された１色のみを有する唇領域よりもはるかに複雑である。したがって、目領域については、固有の画像分解技術を導入して、形状および照明によって生じる固有の色情報とシェーディング情報とを最初に分離する。反射率画像およびシェーディング画像が取得された後、ヒストグラムマッチング技術が適用されて化粧を除去する。目領域の参照ヒストグラムは、唇領域の参照ヒストグラムとは異なる方法で生成される。目領域については、抽出されたヒストグラムを特定の基準に基づいてフィルタリングすることにより、参照ヒストグラムが取得される。目化粧（アイシャドウ、アイライナー、マスカラ）の化粧色は、皮膚色と異なる必要があり、目領域の皮膚色と比較して少数の部分であると見なされる。したがって、各色とその割合に閾値が設定される。閾値は、化粧色が皮膚色と比較して少数の色であるという仮定であるため、潜在的な化粧色を判定するために使用されるスケールであり、そのため、閾値は、少量の色を見つけるために適用される。
一実施形態では、本開示のシステムは、本発明のこの態様を作動させるための適切なコードとして本明細書に組み込まれている付録Ａに示される擬似コードに従って要約されることができる。本明細書の各付録は、本明細書の一部であるが、本文を読みやすく理解しやすくするために主要な本文から分離される。
図４Ａおよび図４Ｂは、分解反射率画像（図４Ａ）および分解シェーディング画像（図４Ｂ）の例を示している。図４Ａの反射率画像は、化粧品の色情報を含む３チャネルＲＧＢ画像であり、シェーディング画像は、グレー画像である。そして、２つの分解画像の両方にヒストグラムマッチングが適用され、除去された画像を取得する。図５Ａおよび図５Ｂは、化粧除去反射率画像（図５Ａ）および化粧除去シェーディング画像（図５Ｂ）の例を示している。そして、図５Ａおよび図５Ｂの２つの画像が乗算（オーバーレイ）され、図５Ｃに示すように、除去された目領域画像を生成する。図６Ａおよび図６Ｂは、目領域における化粧除去の例を示している。オーバーレイは、各画素における２つのレイヤーの色値の乗算を含む。
本明細書の他の実施形態では、顔の特徴抽出のためにランドマークを使用し、特に唇領域抽出での使用に好ましいランドマーク検出技術は、入力画像が顔領域、特に唇のジェスチャ（口をすぼめたキス顔または大きく歪んだ笑顔）を有するものなどの唇または唇領域内に閉塞を有する唇（指先、歯、舌または唇を覆う任意のオブジェクト）を検出するのが困難な状況を含むことができる状況を考慮するように強化される。そのような状況では、ランドマークのみの使用は、通常、正確な唇領域などの正確な顔領域を提供しない。本実施形態は、色情報を利用して、ランドマーク検出結果をさらに改善し、好ましい最適な唇領域などの最適な顔領域を取得および検出する。以下の方法は、唇領域に関して説明されるが、類推によって他の顔領域に使用することができることを理解すべきである。
一般に、唇領域と顔皮膚の背景との間の色の相違は大幅に異なり、異なる色付けを有する異なる人々によって多少異なる場合もある。したがって、様々な色の相違に適応するために、唇のセグメンテーション方法を提案する必要がある。
したがって、本発明は、ガウス混合モデル（ＧＭＭ）技術を使用する。ＧＭＭは、全体
の母集団内の正規分布の部分母集団を表す確率モデルである。一般に、混合モデルは、データ点がどの部分母集団に属するかを知る必要はないため、モデルは部分母集団を自動的に学習することができる。
の母集団内の正規分布の部分母集団を表す確率モデルである。一般に、混合モデルは、データ点がどの部分母集団に属するかを知る必要はないため、モデルは部分母集団を自動的に学習することができる。
ＧＭＭは、混合成分重み、および成分平均と分散／共分散という２種類の値によってパラメータ化される。Ｋ成分を有するＧＭＭの場合、ｋ番目の成分は、μｋの平均およびσｋの分散を有する。混合成分重みは、成分Ｃｋの場合にφｋとして定義され、合計確率分布が１に正規化されるように、Σｋ
（ｉ＝１）Φｋ＝１という制約を有する。
本発明では、ＧＭＭカラーモデルに基づく顔画像から唇領域を抽出する方法が提供される。この方法は、色付き唇をプレーン唇に置き換える化粧除去方法、または既存の唇領域を除去して他の色付き唇領域に置き換える化粧アドオン方法で使用することができる。多くの場合、ランドマーク検出は、特に歪みまたはオクルージョンに基づいて真の唇領域を提供しないことがあるため、この方法の目標は、ランドマーク解析結果に基づいて唇領域を改良することである。
本方法は、本明細書で述べたように、顔ランドマーク検出を最初に使用して、入力画像から顔領域および顔ランドマークを検出する。これは図２１に示されている。示されるように、ランドマークプロトコル２において全ての顔ランドマークをマークするために番号が割り当てられる。これから、図２２に示すように関心のある顔領域４（この例では唇領域）が取得され、非顔背景６が除去されてＧＭＭモデルを構築する。図２２の顔マスクＭを参照のこと。非顔背景を除去する精度は、最終的な唇セグメンテーション結果の取得にほとんど影響しない。ここで、人間の知覚との永続性のために、Ｌ＊ａ＊ｂ＊色空間が選択される。ＧＭＭモデルの成分の数は、発明者の経験的研究に基づいて３に設定されるが、本発明が３つの成分を有するＧＭＭに限定されると見なされることがないように、効果を大幅に変更せずに４、５、６などの他の値を使用することができる。
顔色（complexion）ＧＭＭは、Ｌ＊ａ＊ｂ＊色空間において構築された。顔の下部の各画素ｉに対して、与えられた色値ｘｉ＝（Ｌｉ，ａｉ，ｂｉ）、および３次元のＬ＊ａ＊ｂ＊色値が存在し、顔色混合モデルから生成されるその顔色確率は以下のように計算される。
ここで、πｋ，μｋ，σｋは、混合モデルにおけるｋ番目のガウス成分の重み、平均および共分散をそれぞれ表す。これは、図２３に示すように、関連する皮膚領域４の確率マップ８を生成するために使用される。皮膚領域の確率マップは、色が暗いほど皮膚が暗い色である確率が低く、暗い部分が唇領域を表す確率が高いことを示している。確率マップを取得した後、反復閾値法を使用して初期唇バイナリ画像を取得する。使用される好ましいそのような反復閾値法の１つは、“A threshold selection method from gray-level histograms,” IEEE Transactions On Systems, Man, And Cybernetics, 9.1 (1979), pp.
62-66に記載されたようなＮｏｂｕｙｕｋｉ Ｏｔｓｕのものであり、関連部分において本明細書に組み込まれる。
62-66に記載されたようなＮｏｂｕｙｕｋｉ Ｏｔｓｕのものであり、関連部分において本明細書に組み込まれる。
従来の唇検出方法では、通常、どの画素が唇領域に属するかまたは唇領域の外側にあるかを推定するために、固定閾値が使用される。しかしながら、唇と唇の周りの顔の皮膚の背景の色の相違は、人々によって大きく異なる可能性がある。さらに、場合によっては、唇と周囲の皮膚領域との相違は僅かである可能性がある。この問題は、本明細書では反復
検出方法によって対処される。まず、Ｏｔｓｕの方法などの閾値方法を使用して基準閾値を見つけ、その基準閾値に基づいて、オフセットの配列を使用して基準閾値を調整する。ここで、以下のとおりである。
オフセット＝｛０、０．０５、０．１０、０．１５、０．１８、０．２、０．２２、０．２４、０．２５、０．２６、０．２７、０．２８、０．２９、０．３０、０．３１、０．３２、０．３３、０．３４、０．３５、０．３６、０．３７、０．３８、０．３９、０．４、０．５｝。
適用される閾値は、基準閾値からオフセットを差し引いた差である。
検出方法によって対処される。まず、Ｏｔｓｕの方法などの閾値方法を使用して基準閾値を見つけ、その基準閾値に基づいて、オフセットの配列を使用して基準閾値を調整する。ここで、以下のとおりである。
オフセット＝｛０、０．０５、０．１０、０．１５、０．１８、０．２、０．２２、０．２４、０．２５、０．２６、０．２７、０．２８、０．２９、０．３０、０．３１、０．３２、０．３３、０．３４、０．３５、０．３６、０．３７、０．３８、０．３９、０．４、０．５｝。
適用される閾値は、基準閾値からオフセットを差し引いた差である。
閾値よりも大きい各画素は０に設定され、それ以外の場合は２５５である。したがって、閾値が大きくなるほど、保存される画素が少なくなり、その他の画素は０である。異なる閾値技術を適用することにより、図２３のような確率マップから取得される図２４の２つの画像に示すように顔領域４に対して異なるバイナリ画像１０、１２が取得される。
反復ごとに、生成されたバイナリ画像を使用して、唇に関するいくつかの事前知識に基づいて唇領域を検出し、以下の標準の開発に使用した。
１． 唇領域の外部矩形の幅と高さの比は、特定の範囲を有する。その外部矩形は、上述した２値化後の白領域の全てを含むことができる最小の矩形に基づいている。幅と高さの比は、約０．７から約１０の間に設定される。
２． 唇領域の面積とその外部矩形との比は、特定の範囲を有する。唇領域の面積は、上記の２値化手順後の白領域である。例えば、図２４では、各画像の白領域は、検出された唇領域の面積を定義する。外部矩形は、白領域の全てを含むことができる最小の矩形である。唇領域の面積／矩形の面積の比は、約０．３から約０．９に設定される。
３． 唇領域の面積と顔の下部の面積の比は、特定の範囲を有する。図２１に示されているランドマークに示されているように、顔ランドマークが検出されると、顔の下部領域は、下部地点（地点７、地点１０）から地点３４まで続き、地点４から地点１４まで続くと定義されることができる。例えば、図２４のバイナリ画像を評価する場合、関連する画像領域は、ランドマークによって決定される顔の下部領域である。顔の下部領域の面積に対する唇領域の面積の比は、約０．１から約０．５である。
１． 唇領域の外部矩形の幅と高さの比は、特定の範囲を有する。その外部矩形は、上述した２値化後の白領域の全てを含むことができる最小の矩形に基づいている。幅と高さの比は、約０．７から約１０の間に設定される。
２． 唇領域の面積とその外部矩形との比は、特定の範囲を有する。唇領域の面積は、上記の２値化手順後の白領域である。例えば、図２４では、各画像の白領域は、検出された唇領域の面積を定義する。外部矩形は、白領域の全てを含むことができる最小の矩形である。唇領域の面積／矩形の面積の比は、約０．３から約０．９に設定される。
３． 唇領域の面積と顔の下部の面積の比は、特定の範囲を有する。図２１に示されているランドマークに示されているように、顔ランドマークが検出されると、顔の下部領域は、下部地点（地点７、地点１０）から地点３４まで続き、地点４から地点１４まで続くと定義されることができる。例えば、図２４のバイナリ画像を評価する場合、関連する画像領域は、ランドマークによって決定される顔の下部領域である。顔の下部領域の面積に対する唇領域の面積の比は、約０．１から約０．５である。
上記のパラメータを評価する際、唇領域の中心位置は、顔の下部の特定の領域内にある必要があり、唇領域の境界は、顔の下部の境界に到達してはならず、唇領域４の面積は、ほぼ図２５ａおよび図２５ｂを参照して説明した凸包である必要がある。図２５ａを評価する際、唇領域４の画像１４が示され、グレー領域１６は、白領域に凸包を形成せず、そのような画像は、凸ではないとして拒絶される。図２５ｂは、白領域から凸包を形成するものとして受け入れられるグレー領域２０を有する画像１８を提供する。
顔の下部の顔色確率マップを使用して唇領域を検出するために反復法を使用する。各反復において、バイナリ画像が上記の基準を満たす輪郭領域を含み且つ白領域が凸包構成を有するまで、基準閾値にオフセットが追加される。そのような基準が満たされると、検出された領域は、初期唇領域と見なされる。
通常、初期唇領域は、最適な画像ではない。唇に若干の皮膚画素を含むことがあり、初期唇から誤って唇画素が除去されることもある。問題をさらに解決し、唇を改良するために、最適化方法が使用される。具体的には、Ｌ＊ａ＊ｂ＊色空間では、初期唇領域と非唇領域の画素の色を使用して、それぞれ改良されたＧＭＭを構築する。各ＧＭＭの成分の数は３に設定される。２つのＧＭＭを使用して、背景確率マップおよび前景確率マップを計算する。唇領域の全体的な確率マップは、
であり、
ここで、ｐ（ｘｉ｜ｌｉｐ）およびｐ（ｘｉ｜ｎｏｎ＿ｌｉｐ）は、２つのＧＭＭから計算された対応する確率である。この方法で得られた唇領域全体の確率マップ２２は図２６に示されている。
ここで、ｐ（ｘｉ｜ｌｉｐ）およびｐ（ｘｉ｜ｎｏｎ＿ｌｉｐ）は、２つのＧＭＭから計算された対応する確率である。この方法で得られた唇領域全体の確率マップ２２は図２６に示されている。
全体的な唇領域確率マップを取得した後、Ｃａｎｎｙエッジ検出および輪郭平滑化を使用して、最終的な唇領域マスクを取得する。この技術は既知であり、J. Canny, “A computational approach to edge detection,” Readings in Computer Vision, (1987), pp.
184-203に記載されており、関連部分において本明細書に組み込まれる。
184-203に記載されており、関連部分において本明細書に組み込まれる。
Ｃａｎｎｙエッジ検出の後、多くのエッジ候補が存在する。結果として、唇領域の事前知識を使用して、最終エッジラインをフィルタリングする。具体的には、まず、白領域の最も左および右の地点を選択することにより、口の左および右コーナーを見つける。次に、左および右コーナーの間、および画素の各列に対して、画像領域が上から下にスキャンされ、上唇線および下唇線の最終エッジ画素としてそれぞれ最大の勾配を有する２つの画素が選択される。画素の列をスキャンするとき、最終エッジが滑らかになるように、隣接する各地点が小さな垂直範囲内（例えば、約－５画素から約＋５画素以内）にある必要があるという事前の制限が適用される。この方法のアルゴリズムは、上述したカラーベースの唇マスク抽出であり、付録Ｂの擬似コードで表される。
本方法は、実施形態３００として本明細書の図２６ａのフローチャートに示されている。本方法では、ステップ３１０においてユーザの画像が取得される。ステップ３２０において本明細書に説明されるように、顔ランドマークが検出される。次に、ステップ３３０において、唇のない領域からのデータを使用して皮膚色に基づくＧＭＭが訓練され、ステップ３４０において、上述したように顔の下部における唇の初期確率マップが作成される。ステップ３５０において、輪郭が上述した唇領域標準基準を満たすまで、画像二値化の閾値が調整される。唇領域が検出された場合、ＧＭＭは、ステップ３７０において、初期唇領域と非唇領域について訓練される。唇領域が検出されない場合、閾値は、基準を満たすように引き続き調整される。ステップ３７０の後、ステップ３８０において、２つの学習されたＧＭＭに基づいて改良された確率マップが作成される。そして、ステップ３９０において、エッジ検出アルゴリズムおよび唇形状の事前知識を用いて、唇の輪郭が滑らかにされる。最後に、ステップ３９５において、最適な唇領域が出力として抽出される。
唇製品および出力効果のテクスチャ生成
一実施形態では、本開示は、顔画像に様々な出力効果を提供する方法を提供する。本方法は、リップグロス、リッププランパー、リップスティックなどの口紅製品を含む様々な種類の製品に適用可能なテクスチャアドオン方法論を対象とする動的テクスチャ生成の形式で出力効果を提供する。例えば、艶、きらめき、ランダム照明、および膨らみを含む４つの異なる効果生成器および出力効果が可能であり、本明細書に含まれる。パラメータを調整してそれらを組み合わせることにより、テクスチャバリエーションの形式で他の多くの出力効果が生成されることができる。
化粧品会社は、様々な色とテクスチャの口紅製品を提供している。これらの会社の一部は、顧客が製品の色を確認するのに役立つように、ウェブサイトにおいて仮想試用ソリュ
ーションを提供している。例えば、最大の仮想試用サービスの１つであるＳｅｐｈｏｒａ（登録商標）の仮想アーティストは、人々がマウスをクリックするだけで何百もの口紅を試用することを可能にし、ユーザはまた、単にショップをクリックしてショッピングカートに選択項目を追加することもできる。
ーションを提供している。例えば、最大の仮想試用サービスの１つであるＳｅｐｈｏｒａ（登録商標）の仮想アーティストは、人々がマウスをクリックするだけで何百もの口紅を試用することを可能にし、ユーザはまた、単にショップをクリックしてショッピングカートに選択項目を追加することもできる。
化粧品が光沢、保湿、マットなどの異なるテクスチャを有する場合であっても、既存の仮想試用システムは、一般に、色の結果のみを提供する。唇に艶効果を生成するいくつかのアプローチがあるが、そのようなアプローチは、通常、光の変化に適応することができない事前定義されたマスクのみを適用する。
本開示のテクスチャ生成技術は、異なるテクスチャを生成するための４つの方法を含む。まず、本方法は、光沢効果を生成する。それは、唇の光分布を検出し、滑らかさと透明度を適用する。さらに、それは、この効果がさらに自然に見えるように、ランダムな反射を作成する。また、異なるパラメータを使用して、保湿、きらめき、またはサテンテクスチャを有する製品の艶効果を生成することができる。具体的には、少ない光沢効果を適用する場合、ユーザの唇の元のテクスチャを維持しながら低い透明度を使用する。この方法は、入力画像からの光分布を使用するため、生成されるテクスチャの変化は、光に依存し、これは既存の方法との差別化要因である。
図７は、本開示の実施形態にかかる口紅テクスチャ生成器のブロック図を示している。処理対象の顔を含むことができる入力画像は、３つの異なるテクスチャ生成器からの出力と混合される。図８は、各生成器の出力効果と、実際の唇画像の混合出力とを示している。この示された例は、パラメータと４つの異なる効果生成器の組み合わせとを調整することによって他の多数のテクスチャバリエーションを生成することができるため、テクスチャ生成器を限定するものではないことに留意されたい。透明度および艶効果を追加する詳細なアルゴリズムの擬似コードは、付録Ｃに提供されている。
図７では、顔を有する入力画像上に出力効果を生成する方法２０００の例が示されている。入力画像は、化粧を有する顔または化粧を有しない顔の画像とすることができる。ステップ２０１０において、この入力画像は、本明細書の他の場所で説明されているようなシステムに提供される。画像が顔、特に唇領域に化粧を有する場合、上記の化粧除去方法を使用して、必要に応じて化粧を除去して、ユーザの顔に所望の口紅シェードの真の色を適用することができる。顔画像もそのまま使用することができる。顔画像は、上記のランドマークなどの顔ランドマークを有し、使用されるシステムは、ユーザの顔画像から少なくとも１つまたは全ての顔ランドマークを探索する上述した適切なソフトウェアを有することによって構成される。ランドマークは、少なくとも１つの顔領域に関連付けられている。本明細書では、第１の例示的な実施形態における唇についてそのような出力効果が示されているため、顔画像は、顔画像の唇に関連付けられたランドマークを検出する必要があり、第１の顔領域は、唇領域を含む。
ランドマークの領域内の顔画像は、本明細書で説明されるように変換されることができ、探索された唇領域を含む顔領域は、唇領域の光分布（すなわち、照度）を検出および分析するために少なくとも１つのカラーチャネルに変換される。そうするために、評価されるチャネルは、彩度および色値チャネルであることが好ましいが、色相、反射率、シェーディング、照度、透明度または他の光反射特性などの他の特性がさらに評価されてもよい。好ましくは、少なくとも彩度および色値が明るさの範囲にわたって評価され、第１のカラーチャネルにおいて検出および分析されるが、上記のような他のチャネルもまた、図７のステップ２０２０に示されるように検出および分析されてもよい。
カラーチャネルは、様々な光分布にわたって本明細書に記載の技術を使用してヒストグ
ラムマッチングに供給され、好ましくはそれによって所望の出力効果を生成する所望の程度までの唇領域の光分布とは異なる値を含む様々な事前定義された光分布を有する様々な光分布のヒストグラムのデータセット内のヒストグラムを特定する。ステップ２０２５ａにおいて、所定範囲にわたる照度／明るさパラメータを使用して、ステップ２０２５ｂと同様に、様々な光沢効果または艶効果に対して様々な程度の透明度、滑らかさおよび／または艶を提供することができる。
ラムマッチングに供給され、好ましくはそれによって所望の出力効果を生成する所望の程度までの唇領域の光分布とは異なる値を含む様々な事前定義された光分布を有する様々な光分布のヒストグラムのデータセット内のヒストグラムを特定する。ステップ２０２５ａにおいて、所定範囲にわたる照度／明るさパラメータを使用して、ステップ２０２５ｂと同様に、様々な光沢効果または艶効果に対して様々な程度の透明度、滑らかさおよび／または艶を提供することができる。
ステップ２０３０ａにおいて、光分布から所望の程度のきらめきを有する事前定義されたヒストグラムを特定して、ステップ２０３０ｂのようにきらめき効果を生み出し、様々なレベルのきらめきを提供することができる。
ステップ２０４０ａにおいて、事前定義されたヒストグラムを特定して、ランダムな光分布を追加し、ステップ２０４０ｂのようにより自然な効果を生み出すことができる。
各例において、ステップ２０２５ａおよび２０２５ｂにおける第１の効果、例えば、光沢または艶のレベルについてのそのようなヒストグラムマッチング後、本方法は、出力効果を有する第１の画像を提供する。複数の出力効果が必要な場合は、２０４０ａおよび２０４０ｂにおけるシマーおよび／または自然効果またはそれらの組み合わせ（または、本開示が基づく当業者が理解するように望まれる追加の効果）を提供するためにステップ２０２０ならびに他の並列ステップ２０３０ａおよび２０３０ｂのうちのさらに１つは、それぞれが関連する出力効果を必要に応じて有する１つ以上の追加画像を提供するために繰り返されることができる。第１の出力効果を有する第１の画像および／またはそれぞれの出力効果を有する追加画像は、ステップ２０４０においてユーザの元の顔画像と組み合わされて混合され、ステップ２０５０において各出力効果がユーザの顔画像と組み合わされた結果画像を作成する。
膨らみ効果が必要な場合（２０５０ａ）、単独で、または他の出力効果を使用して、唇領域の顔ランドマークが検出された後、それらは唇領域において所定の比率で拡大される。これが完了すると、必要に応じて上記の技術を使用して、拡大された唇領域に好ましくは光沢（濡れを示唆する）出力効果が適用され、拡大された（膨らんだ）唇領域と艶が適用されるなどの任意の他の適用された出力効果を有する拡大画像が作成される。他の効果もまた、膨らみと組み合わされることができる。そして、膨らんだ唇領域と任意の他の適用された出力効果とを有する変更画像は、初期ユーザ画像の元の口領域にオーバーレイされて歪められる。最初にランドマークを処理する際、初期ユーザ写真の唇領域の初期領域に基づいて拡大率が計算され、初期唇領域のランドマーク内の画像が目標とする拡大ランドマークに向かって歪められる。そして、画像および出力効果を組み合わせることにより方法２０００において選択された、出力効果および／または膨らみ効果を有する全ての画像のオーバーレイを使用して、最終結果画像２０５０が生成される。
上述したように、画像を変換する前に、本明細書の化粧除去方法およびシステムを使用することにより、ユーザの顔画像の唇領域からの化粧を完了することができる。したがって、上述した出力効果の生成に加えて、化粧を有しない顔画像の唇領域は、上述したようにカラーチャネルに変換されることができ、その後、カラーチャネルは、様々な照明条件下でヒストグラムマッチングにも供給され、データセット内の商用色または他の色の口紅に対応する事前定義された化粧色を有するヒストグラムを特定し、色がより既存の化粧アップに適用するよりも真に一致し、色を有する画像がユーザの元の顔画像および終了効果によって生成されたユーザの任意の画像と組み合わせられ、事前定義された唇色および所望の出力効果を有する結果画像を提供するように、唇領域の唇に唇色が適用されたさらなる追加画像を取得することができる。
出力効果に関しては、透明度に基づいて様々な程度の透明度および滑らかさを組み込んで様々な光沢度を提供する出力効果を生み出す、事前定義された光分布を有するヒストグラムを提供することができる。事前定義されたヒストグラムの光分布はまた、様々な度合いのランダム反射率を追加して、より自然な効果である出力効果を提供することもできる。光沢効果である出力効果については、さらに様々な透明度および光沢を使用することができる。きらめきを提供するための事前定義された光分布効果も使用して、きらめきまたはシマー効果を生成することもできる。
図８は、入力画像ＩＩと、画像ＩＩから生成されるグラフィカルな照度プロファイルＢの形式で検出された光分布を示している。次に、データは、その後に元の顔画像ＩＩと混合されて示されるように唇領域ＬＲを有する結果画像を作成する、透明度および光沢の変化からの光沢レベルＣＥ、ランダム照明効果ＤＥおよびきらめき効果ＥＥを含む、上記の事前定義された出力効果にマッピングされる。示されるように膨らみ効果が必要な場合、図８に示す他の効果に使用されるランドマークは、膨らんだ唇を有する１つの出力画像を作成するために出力効果によって変更（拡大）された唇領域ＬＰがオーバーレイされて適用されるように、光沢ＣＥ、ランダム照明効果ＤＥまたはきらめき効果ＥＥを適用する前に唇領域において所定の比率で拡大される。
学習ベースのリアルタイム口紅テクスチャシミュレーション
さらなる実施形態では、深層畳み込みスタイル移行ネットワークを利用して３つの口紅テクスチャ、すなわち、マット、しっとりおよび光沢のある口紅テクスチャをシミュレートするテクスチャ生成器が本明細書で提供される。テクスチャスタイルの移行は、前処理された口紅色に忠実なまま、元の唇領域の入力光分布を異なる口紅テクスチャの望ましい分布に変更する輝度（ｌｕｍｉｎａｎｃｅ）レベルで動作する。そして、スタイルが変換された唇領域は、最終的な修正のために動的テクスチャ生成技術によって処理される。
既存の仮想試用技術は、入力唇領域の元の光分布に大きく依存しており、これは、入力画像と比較した輝度分布に大きな偏差を有するテクスチャのシミュレートにとって本質的に困難である。したがって、より現実的なテクスチャを生成するために、元の唇の輝度パターンは、マッピング関数を介して参照パターンにマッピングされる必要がある。そのようなマッピング関数は、手作業で明示的にモデル化するために高度に非線形で複雑でなければならない。このため、本明細書では、高度な非線形関数をモデル化する機能を有することが知られている深層学習モデルを使用してスタイル変換の問題を解決する。スタイル変換に関する研究は、特に深層学習領域において近年増加している。例えば、いくつかの出版物は、入力テクスチャやアートスタイルをリアルタイムで模倣する深層ネットワークの機能を実証している。例えば、Johnson, Justin et al. “Perceptual Losses for Real-Time Style Transfer and Super-Resolution,” ECCV (2016)、Zhang, Hang and Kristin J. Dana, “Multi-style Generative Network for Real-time Transfer,” CoRR abs/1703.06953 (2017)、およびLi, Chuan and Michael Wand, “Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks.” ECCV (2016)を参照のこと。
本テクスチャシミュレータ１００は、そのようなテクスチャの単一の参照画像が与えられると、任意の口紅テクスチャを学習することができ、図３６の代表的な成分フローチャートに示される。シミュレーションパイプラインは、訓練モジュール５２、前処理モジュール５０、モノチャネルスタイル移行（ＭＳＴ）モジュール５４および後処理モジュール５６の４つのモジュールから構成されている（図３６を参照）。所望の深層畳み込みニューラルネットワーク構造が与えられた場合、訓練モジュールは、任意の自己定義損失関数によって導かれる勾配降下を介して全ての隠れ重みおよびバイアスを学習する責を担う。
スタイル移行モデルは、クリエイティブコモンズ帰属ライセンスの下にあるかまたは社内データセットによって自己準備された任意の画像データセット５８に対して訓練されることができる。訓練モジュールの後、スタイル移行モデルは、残りのモジュールとともに使用する準備ができる。
スタイル移行モデルは、クリエイティブコモンズ帰属ライセンスの下にあるかまたは社内データセットによって自己準備された任意の画像データセット５８に対して訓練されることができる。訓練モジュールの後、スタイル移行モデルは、残りのモジュールとともに使用する準備ができる。
前処理モジュール５０は、唇色６０を所望の口紅色６２に変更することにより入力唇領域ＬＩ’を変更し、本明細書に記載の動的テクスチャ生成方法により輝度を向上させる。唇色が一致した場合、唇領域ＩＬｉｐ、および唇色画像ＩＣｏｌｏｒは、輝度（Ｌチャネル、ＩＬ）が全てのカラーチャネル（ａ＊チャネルおよびｂ＊チャネル、ＩａおよびＩｂ）から分離されるように、最初にＣＩＥＬＡＢ Ｌ＊ａ＊ｂ＊空間に変換される。
０≦｛Ｍｉｊ｝≦１の唇領域マスクＭが与えられた場合、唇色の一致は、以下の関係式として定義される。
ＩＬｉｐ Ｌ’＝α（ＩＬｉｐ Ｌ－μＬｉｐ Ｌ）＋μＣｏｌｏｒ Ｌ、ここで、０≦α≦１
ＩＬｉｐ Ｌ＝Ｍ＊ＩＬｉｐ Ｌ’＋（１－Ｍ）＊ＩＬｉｐ Ｌ
ＩＬｉｐ ａ＝Ｍ＊ＩＣｏｌｏｒ ａ＋（１－Ｍ）＊ＩＬｉｐ ａ
ＩＬｉｐ ｂ＝Ｍ＊ＩＣｏｌｏｒ ｂ＋（１－Ｍ）＊ＩＬｉｐ ｂ
操作１は、入力唇Ｌチャネルの平均画素値μＬｉｐ Ｌを、唇色画像μＣｏｌｏｒ Ｌのものにシフトし、これは、所望の口紅ＲＧＢ値のＣＩＥＬＡＢ空間Ｌ値と同じである。係数αは、アドオン唇色が肉眼でどれだけしっかり見えるかを制御する。ゼロαは、下方の全ての唇パターンを完全にカバーし、ユニットαは、全ての唇パターンを保持する。操作２から４は、カラー画像と唇画像チャネルとの間の加重合計により、ＣＩＥＬＡＢ空間における全てのチャネルを更新する。
ＩＬｉｐ Ｌ’＝α（ＩＬｉｐ Ｌ－μＬｉｐ Ｌ）＋μＣｏｌｏｒ Ｌ、ここで、０≦α≦１
ＩＬｉｐ Ｌ＝Ｍ＊ＩＬｉｐ Ｌ’＋（１－Ｍ）＊ＩＬｉｐ Ｌ
ＩＬｉｐ ａ＝Ｍ＊ＩＣｏｌｏｒ ａ＋（１－Ｍ）＊ＩＬｉｐ ａ
ＩＬｉｐ ｂ＝Ｍ＊ＩＣｏｌｏｒ ｂ＋（１－Ｍ）＊ＩＬｉｐ ｂ
操作１は、入力唇Ｌチャネルの平均画素値μＬｉｐ Ｌを、唇色画像μＣｏｌｏｒ Ｌのものにシフトし、これは、所望の口紅ＲＧＢ値のＣＩＥＬＡＢ空間Ｌ値と同じである。係数αは、アドオン唇色が肉眼でどれだけしっかり見えるかを制御する。ゼロαは、下方の全ての唇パターンを完全にカバーし、ユニットαは、全ての唇パターンを保持する。操作２から４は、カラー画像と唇画像チャネルとの間の加重合計により、ＣＩＥＬＡＢ空間における全てのチャネルを更新する。
モノチャネルスタイル移行（ＭＳＴ）モジュール５４は、前処理モジュール５０からＬチャネル画像を取り込み、スタイル移行深層ネットワーク６４を介して単一の推論を実行する。
スタイル移行ネットワークは、同量の畳み込みユニットおよび逆畳み込みユニットを有する、Johnson, Justin et al. “Perceptual Losses for Real-Time Style Transfer and Super-Resolution,” ECCV (2016)に記載されている一般的な自動エンコーダ構造を継
承する。各畳み込みまたは逆畳み込みユニットは、１つの畳み込みまたは逆畳み込み関数、１つの正規化関数、および１つの非線形活性化関数を含む順次操作として定義される。ネットワーク内の隠れ層（畳み込みまたは逆畳み込みユニット）の正確な数は、リアルタイムの唇テクスチャシミュレーション用に最適化されるパラメータとして扱われる。スタイル移行は、参照スタイル画像に従ってテクスチャと色の両方を合成するため、合成画像は、ＣＩＥＬＡＢ空間に変換され、Ｌチャネル６６のみ、すなわち、Gatys, Leon A. et al., “Preserving Color in Neural Artistic Style Transfer,” CoRRabs/ 1606.05897
(2016)に記載されている輝度のみの移行が後処理に使用される。
承する。各畳み込みまたは逆畳み込みユニットは、１つの畳み込みまたは逆畳み込み関数、１つの正規化関数、および１つの非線形活性化関数を含む順次操作として定義される。ネットワーク内の隠れ層（畳み込みまたは逆畳み込みユニット）の正確な数は、リアルタイムの唇テクスチャシミュレーション用に最適化されるパラメータとして扱われる。スタイル移行は、参照スタイル画像に従ってテクスチャと色の両方を合成するため、合成画像は、ＣＩＥＬＡＢ空間に変換され、Ｌチャネル６６のみ、すなわち、Gatys, Leon A. et al., “Preserving Color in Neural Artistic Style Transfer,” CoRRabs/ 1606.05897
(2016)に記載されている輝度のみの移行が後処理に使用される。
後処理モジュール５４は、動的テクスチャシミュレーションのためにＭＳＴモジュールから合成Ｌチャネル画像を取り込み、ＲＧＢ変換のために前処理モジュールからａチャネル画像およびｂチャネル画像６８、７０を取り込む。動的テクスチャシミュレーションモジュールは、出力効果に関して上述した動的テクスチャシミュレーションのセクションで説明した各テクスチャに従って、Ｌチャネルの輝度分布を調整する。最終画像７２は、システム内のＭＳＴモジュール５４に画像を通過させた後の後処理からの新たな所望の色６２および動的テクスチャ効果７４によって作成される。
レイヤー化目アドオン方法
唇領域などの上記の顔特徴に効果を適用することに加えて、本明細書の本発明は、唇領域に効果を追加するための上記と同様の技術を使用して、様々な目領域アドオン層から構築される目化粧効果を構築するための任意の方法４００を含む。
図２７ａ－図２７ｆに示すように、サンプル画像写真ＩＩ’’’を使用して、目化粧および／または目特徴の様々なセクションが写真ＩＩ’’’の目４２４にレイヤー化されることができる。図２７ａは、化粧が適用されていない顔４２６の入力画像ＩＩ’’’を示している。図２７ｂは、画像ＩＩ’’’の顔４２６に適用されるアイシャドウ層アドオン４２８を含む。図２７ｃは、画像ＩＩ’’’に適用されるミドルアイシャドウアドオン４３０を含む。図２７ｄは、画像ＩＩ’’’に適用されるアイコーナーアドオン４３２を含む。図２７ｅは、画像ＩＩ’’’に適用されるアイテールアドオン４３４を示し、図２７ｆは、画像ＩＩ’’’にも適用されるまつげアドオン４３６を含む。
これらの効果は、以下の方法を使用して生み出される。目テンプレートは、図２８ａ－図２８ｅに示すように作成され、各テンプレートは、それぞれ、アイシャドウテンプレート４３８（図２８ａ）、アイミドルテンプレート４４０（図２８ｂ）、アイコーナーテンプレート４４２（図２８ｃ）、アイテールテンプレート４４４（図２８ｄ）およびまつげテンプレート４４６（図２８ｅ）である。そのような各テンプレートは、ランドマークプロトコルに従ってテンプレート上の地点を使用してランドマークを手動でラベル付けすることによって作成される。例が図２９に示されており、地点４４８として特定される地点は、アイシャドウテンプレート４３８に適用される。地点４４８のランドマーク位置は、テキストファイルとして保存される。
アイシャドウアドオンを作成するために、フレームのランドマーク検出器から目領域のランドマークが抽出される。目領域は、３７から４２および４３から４８の関心のあるランドマークによってトリミングされる。検出された注釈付きランドマークから目領域の周りの線形補間によって１００地点が生成される（ランドマークは、本明細書で説明する注釈システムを使用して注釈を付けることができる）。これから、手動で注釈が付けられたランドマークに基づいて、アイシャドウテンプレートの周囲に１００地点が生成される。テンプレートは、フレームからテンプレートへ１００地点を順方向に歪めることによってフレームに適用される。順方向歪み、逆歪み、類似性変換、アフィン変換など、多くの利用可能な歪みアルゴリズムがある。好ましい実施形態では、アフィン変換を伴う順方向歪みが採用された。これに続いて、目領域画像が元のフレームにトリミングされて戻される。
このアイシャドウアプリケーションは、図３０に示すフローチャート１００００として示されている。ステップ１００１０において、ランドマークは、現在のフレームから検出され、ステップ１００２０において、目領域は、ランドマークからトリミングされる。同時に、またはそれより前に、アイシャドウテンプレートがロードされ、ステップ１００３０において、ランドマーク位置ファイル内のランドマークによって事前注釈が付けられる。そのような注釈付きのファイルおよびテンプレートは、学習データベースに保存される。ステップ１００４０において、ステップ１００３０の注釈付きランドマークに基づく線形補間によって目領域の周りに１００地点が生成される。ステップ１００５０において、ステップ１００１０から検出されたランドマークに基づく線形補間によって現在の画像フレームの目領域の周りに１００地点が生成される。ステップ１００４０におけるテンプレートからの１００地点は、ステップ１００５０からの画像内の目領域の１００地点に順方向に歪められる。これは、ステップ１００６０においてテンプレートが適用された目画像を作成し、テンプレートが画像上でトリミングされて、ステップ１００７０において適用されたアイシャドウのある画像フレームを表示する。
図３１は、上述したステップ１００１０から１００７０に類似するステップ１００１０ａから１００７０ａを示すフローチャートを示しているが、フローチャート１００００ａにおいて上述したステップの絵図を使用している。
ミドルアイシャドウアドオンを作成するために、目領域のランドマークが抽出される。目領域は、３８から３９、４１から４２、４４から４５、４７から４８の関心のあるランドマークによってトリミングされる。次に、検出されたランドマークから目領域の周りの線形補間によって５０地点が生成される。さらに、手動で注釈付けされたランドマークに基づいて、アイシャドウテンプレートの周りに５０地点が生成される。次に、フレームからテンプレートに５０地点を順方向に歪めることによってテンプレートがフレームに適用される。目領域画像は、元のフレームにトリミングされて戻され、アイシャドウ化粧がミドルアイシャドウアドオンとして適用されたフレームが作成される。
このミドルアイテンプレートアドオンは、実施形態２００００として図３２のフローチャートに示されている。ステップ２００１０において、ランドマークは、現在のフレーム（画像）から検出され、目領域は、ステップ２００２０において、ランドマークからトリミングされる。同時に、またはその前に、ステップ２００３０において、ミドルアイシャドウテンプレートがロードされ、ランドマーク位置ファイルによって事前に注釈が付けられる。次に、ステップ２００４０において、ステップ２００３０において注釈付けされたランドマークに基づく線形補間によって中間目領域の周りに５０地点が生成される。ステップ２００５０において、ステップ２００２０からのランドマークに基づく線形補間によって画像フレームの中間目領域の周りにも５０地点が生成される。そして、テンプレートは、画像フレーム上で順方向に歪められ、ステップ２００６０において、テンプレートが適用された目画像を作成し、アイシャドウが適用された目画像は、ステップ２００７０において画像フレームにトリミングされて戻される。
アイコーナーアドオンは、アイコーナーテンプレートを使用して、フレームのランドマーク検出器から目領域のランドマークを抽出することによって実行される。目領域は、３９から４１および４４から４５から４８の関心のあるランドマークによってトリミングされる。次に、検出されたランドマークから目のコーナー領域の周りの線形補間によって５０地点が生成される。さらに、手動で注釈付けされたランドマークに基づいて、アイコーナーシャドウテンプレートの周りに５０地点が生成される。テンプレートは、フレームからテンプレートに５０地点を順方向に歪めることにより、フレームに適用される。目領域画像は、元のフレームにトリミングされて戻され、目のコーナーの化粧が適用されたフレームが作成される。
このアイコーナーシャドウアプリケーションは、実施形態３００００に関して図３３に示されている。ステップ３００１０において、画像フレームからランドマークが検出され、ステップ３００２０において、目領域がランドマークからトリミングされる。同時に、またはそのステップの前に、ステップ３００３０において、テンプレートがロードされ、ランドマーク位置ファイルを使用してそのランドマークに事前注釈が付けられる。ステップ３００４０において、注釈付きランドマークに基づく線形補間によってコーナーアイ領域の周りに５０地点が生成される。さらに、ステップ３００５０において、ランドマークに基づく線形補間を使用して、画像フレームからトリミングされた画像領域のコーナーアイ領域の周りに５０地点が生成される。テンプレート地点は、フレーム画像地点上に順方向に歪められ、コーナーテンプレートが適用された目画像がステップ３００６０において作成される。コーナーアイシャドウが適用されたフレームは、画像フレームにトリミングされて戻され、ステップ３００７０においてコーナーアイシャドウが適用された顔が作成される。
アイテール領域は、フレームのランドマーク検出器を使用して目領域のランドマークを抽出することによって作成される。目領域は、３９から４１および４４から４５から４８の関心のあるランドマークによってトリミングされる。次に、検出されたランドマークからアイテール領域の周りの線形補間によって５０地点が生成される。また、保存されたファイル内の手動で注釈付けされたランドマークに基づいて、アイテールシャドウテンプレートの周りに５０地点が生成される。テンプレートは、フレームからテンプレートに５０地点を順方向に歪めることにより、フレームに適用される。目領域画像は、元のフレームにトリミングされて戻され、アイテール化粧が適用された画像フレームが作成される。
これは、実施形態４００００における図３４のフローチャートに示されている。ステップ４００１０において、ランドマークは、現在の画像フレーム内で検出され、目領域は、ステップ４００２０において、ランドマークからトリミングされる。同時に、またはそれより前に、ステップ４００３０において、ランドマーク位置ファイルから事前に注釈が付けられたランドマークを有するテールアイアドオンテンプレートがロードされる。ステップ４００４０において、テンプレート上の注釈付きランドマークに基づく線形補間によってアイテール領域の周りに５０地点が生成される。ステップ４００５０において、ランドマークに基づく線形補間を使用してトリミングされた画像フレームのアイテール領域の周りにさらに５０地点が生成される。ステップ４００６０において、テンプレートを画像フレームに順方向に歪め、テンプレートが適用された目画像を作成し、最後に画像フレームを画像フレームにトリミングして戻し、ステップ４００７０において適用されたアイテールシャドウ領域を有する顔を提供する。
まつげアドオンが目領域を使用して作成され、画像フレームのランドマーク検出器からランドマークを抽出する。目領域は、３７から４２および４３から４８の関心のあるランドマークによってトリミングされる。元のトリミングされた画像フレームにおいて検出されたランドマークから目領域の周りの線形補間によって１００地点が生成される。まつげテンプレートを使用して、手動で注釈付けされたランドマークに基づいて、まつげテンプレートの周りに１００地点が生成される。テンプレートは、フレームからテンプレートに１００地点を順方向に歪めることにより、フレームに適用される。そして、目領域画像が元のフレームに適用され、まつげ化粧が適用されたフレームが作成される。
このまつげアドオンは、実施形態５００００における図３５のフローチャートに示されている。ステップ５００１０において、現在の画像フレームからランドマークが検出される。ステップ５００２０において、目領域がランドマークからトリミングされる。同時に、またはそれより前に、ステップ５００３０において、まつげテンプレートがロードされ、テンプレートは、ランドマーク位置ファイルから事前に注釈が付けられたランドマークを有する。ステップ５００４０において、注釈付きランドマークに基づく線形補間によって目領域の周りに１００地点が生成される。さらに、ステップ５００５０において、元のトリミングされた画像フレームのランドマークに基づく線形補間によって目領域の周りにも１００地点が生成される。テンプレートは、ランドマークを使用して元の画像に順方向に歪められ、ステップ５００６０において、テンプレートが適用された目画像を作成する。そして、この画像は、ステップ５００７０において、まつげを有する顔画像を有する元の画像フレームにトリミングされて戻される。
上記のテンプレートアドオンにおいて、これらのテンプレートのランドマークプロトコルが図２１に示されている。全目領域の場合、ランドマーク３７から４２から左目について１００地点が生成され、ランドマーク４２から４８から右目について１００地点が生成される。中間目領域の場合、ランドマーク３８から４０、４１および４２から左目に対して５０地点が生成され、ランドマーク４４から４５、４７および４８から右目に対して５０地点が生成される。アイコーナー領域の場合、ランドマーク３９から４１から左目に対
しておよびランドマーク３０から４１から右目に対して３０地点が生成される。線形補間は、以下の式にしたがう。
しておよびランドマーク３０から４１から右目に対して３０地点が生成される。線形補間は、以下の式にしたがう。
２つの地点（ｘ０，ｆ（ｘ０）），（ｘ１，ｆ（ｘ１））が与えられた場合、２つの地点を補間する線が以下のように表される。
順方向歪みの場合、ソース画像は、参照として使用される画像である。この画像の幾何学的形状は変更されず、Ｓとして示される。ターゲット画像は、参照画像を変換することによって取得され、Ｔとして示される。以下のパラメータが使用される。
（ｘ，ｙ）：参照画像内の点の座標
（ｕ，ｖ）：ターゲット画像内の点の座標
ｆ、ｇまたはＦ、Ｇ：変換関数のｘおよびｙ成分
ｙｍｉｎ、ｙｍａｘ：ｙの最小値および最大値
ｘｍｉｎ、ｘｍａｘ：ｘの最小値および最大値
ｙ＝ｙｍｉｎからｙｍａｘの場合
ｘ＝ｘｍｉｎからｘｍａｘの場合
ｕ＝ｆ（ｘ，ｙ）、およびｖ＝ｇ（ｘ，ｙ）
ソースＳ（ｘ，ｙ）の画素は、Ｔ（ｕ，ｖ）にコピーされる。
（ｘ，ｙ）：参照画像内の点の座標
（ｕ，ｖ）：ターゲット画像内の点の座標
ｆ、ｇまたはＦ、Ｇ：変換関数のｘおよびｙ成分
ｙｍｉｎ、ｙｍａｘ：ｙの最小値および最大値
ｘｍｉｎ、ｘｍａｘ：ｘの最小値および最大値
ｙ＝ｙｍｉｎからｙｍａｘの場合
ｘ＝ｘｍｉｎからｘｍａｘの場合
ｕ＝ｆ（ｘ，ｙ）、およびｖ＝ｇ（ｘ，ｙ）
ソースＳ（ｘ，ｙ）の画素は、Ｔ（ｕ，ｖ）にコピーされる。
上記のように、化粧の除去および適用の方法、ならびに適用された最終効果およびテクスチャシミュレーションは、独立してまたは全体の方法およびシステムにおいて使用することができ、以下に示す様々な強化された技術によって補足されることができる。図３７は、本明細書の方法およびシステムの実施形態のいくつかの組み合わせ５００の一般的なフローチャートを示している。入力画像ＩＩ、ＩＩ’（ここで定義）は、ユーザインターフェース（ＵＩ）を介してユーザによって提供されることができる。ユーザインターフェースは、好ましくは、本明細書で定義されるデジタル入力画像を伝達することができる。入力画像ＩＩ、ＩＩ’は、本開示（２００、８０００）に記載されるように処理されて装置および色が較正され、本明細書３００、３０００に記載される様々なランドマーク検出および注釈方法を使用して、ランドマークが検出および／または特定および注釈付けされる。入力画像ＩＩ、ＩＩ’を提供する場合、ユーザは、例えば、ユーザが最初に化粧を除去する必要がある場合に入力画像から化粧を仮想的に除去する方法１０００を含む、本明細書で説明する仮想化粧除去方法およびシステムを使用することを選択することができる。除去が不要なように入力画像が化粧なしで送信される場合、もしくは本明細書の方法を使用して化粧が除去された場合、またはユーザが１つ以上の場所で化粧を除去せずにアドオンプログラムを使用する必要がある場合、入力画像は、必要に応じて化粧サービス（ＭＳ）に送信され、本明細書のシステムおよび方法で説明するように、化粧試用、出力終了効果、またはテクスチャシミュレーションのいずれかを行うことができる。例えば、仮想試用を使用して、実施形態４００に記載されているように、１つ以上の特定のサブ方法１００００、２００００、３００００、４００００および５００００を含む、単一または複数の種類のおよびレイヤー化目化粧アドオンの目化粧仮想アプリケーションを適用することができる。あるいは、任意の膨らみ効果および／または唇テクスチャシミュレーション（方法１００のような）を含む、本明細書に記載の唇化粧色および／または出力終了効果（方法２０００を参照）は、化粧サービスによって使用されることができる。
そのような方法およびシステムは、単独で、または本明細書で説明するものを含む他の
方法または技術とともに使用して、そのような仮想化粧シミュレーションおよび／または出力終了効果の１つ以上が適用された結果画像ＲＩの仮想出力を作成することができる（結果画像の提供を含み、化粧は除去され、さらに化粧は適用されない）。
方法または技術とともに使用して、そのような仮想化粧シミュレーションおよび／または出力終了効果の１つ以上が適用された結果画像ＲＩの仮想出力を作成することができる（結果画像の提供を含み、化粧は除去され、さらに化粧は適用されない）。
様々な方法を使用する場合、そのような方法は、システムメモリＳＭへのデータの記憶を可能にする図３８に示すシステム６００、システムのユーザによってユーザインターフェースＵＩから送信された本明細書に記載の入力画像ＩＩ、ＩＩ’を受信する、仮想除去および／または化粧試用またはそれへの出力効果を実行するためのプログラム可能な命令を実行することができるコントローラＣを有する化粧サービスＭＳを使用して実行されることができる。
深層学習ベースのパーソナライズされた化粧推薦
深層学習ベースのパーソナライズされた化粧推薦は、非常に詳細な段階的化粧指示をユーザに提供することができる。これを達成するために、化粧注釈システムは、プロの化粧をしている人を含む入力画像から段階的な化粧情報を記録する。さらに、上述した仮想顔化粧ウォッシュオフ（化粧除去方法およびシステム）は、深層学習用の入力データベースを生成するように適合され、これは、深層学習モデルを訓練するために化粧前後に十分な写真を収集する上で最も難しいことの１つである。
様々な種類の化粧品とそのような種類の化粧品の様々なブランドが利用可能であり、より多くが絶えず発売されているため、個人に適した製品を推薦することは困難であるが、化粧品メーカーと売り手にとって非常に重要なセールスポイントである。顧客は、製品の組み合わせについての詳細を知り、完成外見を作成して、単一の製品の必然的な効果に関する情報（例えば、Ｂｅａｕｔｙ Ｙｏｕｔｕｂｅｒｓ、ＳｅｐｈｏｒａのＢｅａｕｔｙ
Ｂｏａｒｄ）だけでなく、適用時にそのような化粧品がどのように見えるかを評価したい。パーソナライズされた化粧推薦に対する既存のアプローチは、ほとんど化粧の専門家からアドバイスを求めることを対象としている。
Ｂｏａｒｄ）だけでなく、適用時にそのような化粧品がどのように見えるかを評価したい。パーソナライズされた化粧推薦に対する既存のアプローチは、ほとんど化粧の専門家からアドバイスを求めることを対象としている。
本開示の化粧推薦システムは、異なる推薦システムにおける深層学習モデルの成功のため、深層学習に基づいている。さらに、詳細な推薦事項について、開示された方法論は、各ステップにおいて化粧品を生成し、ユーザにそれをどのように適用すべきかも説明する。特に、本開示の化粧推薦システムは、出力としてＲＧＢカラー値を生成し、データベース上の最も近い出力を選択することにより製品がユーザに表示され、これは、事前定義された結果の小さなセットのみを生成する従来の方法と比較して大幅に進歩した方法である。本開示における入力データはまた、他の方法論で使用されるものとも異なる。本発明は、学習中に最良の特徴を抽出することができるように、深層学習モデルの入力として専門的に適用されるプロモデルの顔および化粧外見のみを使用する方法およびシステムを提供する。
図９は、本開示の実施形態にかかる深層学習モデル訓練システム４０００のブロック図を示している。化粧が適用された顔画像データベース４０１０は、以下でさらに説明されるように、プロの化粧が使用され、本開示の化粧注釈システム５０００を使用して段階的な化粧データが注釈付けされる比較的広く代表的な画像を提供する。化粧付きデータベース４０１０はまた、上述したように、仮想顔化粧ウォッシュオフ（化粧除去方法およびシステム）を処理した後の深層学習訓練のさらなる入力データにもなり、これは、アルゴリズムを機能させる最も重要な原則の１つである。一実施形態では、システム４０００は、これらの画像が深層学習訓練で使用する入力データとなり得るように、化粧なしの顔画像４０２０ａ、または４０２０ｂのように化粧が仮想的に除去された顔画像を生成する。非化粧顔画像を生成するための化粧ウォッシュオフまたは除去の独自の使用は、システムを
より堅牢にするが、訓練から生じる深層学習モデル（ＤＬＭ）４０４０を訓練するために化粧前後の画像を十分に収集するための深層学習訓練の問題を解決する最も難しい部分の解決策も表す。したがって、化粧のある様々な画像を収集することができ、化粧なしでかなりの数の画像を使用する代わりに、化粧除去方法を使用して、ステップ４０３０における訓練の入力データとして使用される化粧が適用されていない多数の画像を生成することができる。
より堅牢にするが、訓練から生じる深層学習モデル（ＤＬＭ）４０４０を訓練するために化粧前後の画像を十分に収集するための深層学習訓練の問題を解決する最も難しい部分の解決策も表す。したがって、化粧のある様々な画像を収集することができ、化粧なしでかなりの数の画像を使用する代わりに、化粧除去方法を使用して、ステップ４０３０における訓練の入力データとして使用される化粧が適用されていない多数の画像を生成することができる。
モデル訓練では、Ｃａｆｆｅ（登録商標）、Ｃａｆｆｅ２（登録商標）またはＰｙｔｏｒｃｈ（登録商標）などの深層学習フレームワーク４０３５を使用して、画像分類と画像セグメンテーションのための様々な種類の深層学習アーキテクチャをサポートする。そのようなフレームワークは、様々なニューラルネットワークパターンと、完全に接続されたニューラルネットワーク設計とをサポートする。例えば、Ｃａｆｆｅ（登録商標）フレームワークを使用した訓練では、ニューラルネットワークを定義する訓練プロトタイプを入力する必要もある。元々顔認識用に設計されたニューラルネットワークは、それぞれが人の外見に関連しているため、化粧推薦に適合させることができる。
図１０Ａ－図１０Ｄは、本開示の実施形態にかかる化粧注釈システム５０００のより詳細な出力例を示している。化粧注釈システム５０００を通じて、デジタル化された化粧情報を生成することができ、この情報は、ステップ４０４５における深層学習訓練の入力データとして使用することができる。化粧注釈システムの擬似コードは、付録Ｄに提供されている。当業者は、本開示に基づいて、ニューラルネットワークを生成することができる様々な種類のソースソフトウェアに基づいて、この目的のために他の種類のニューラルネットワークを開発することができることを理解するであろう。図１０Ａでは、化粧が適用された顔の画像にマーク（注釈）が付けられ、本明細書の他の場所で説明されているアイシャドウテンプレート（１）、テールシャドウ（２）、ミドルアイシャドウ（３）、コーナーアイシャドウ（４）およびまつげ効果（５）について、シェードと色およびテクスチャの出力効果（出力効果）とを変化させるために番号１－５によって特定される領域がテンプレートとして特定および使用される。テンプレートを形成して注釈を付ける方法は、以下でさらに説明される。図１０Ｂでは、化粧を有する画像（上記のように注釈が付けられている）は、唇色注釈のテンプレートとしても使用され、図１０Ｃは、示されるようにラベル付けされた色と、対応する離散値によって特定された出力効果またはテクスチャとともに、関連する唇テクスチャ注釈（出力効果）を示している。そのような効果および色は、本明細書の方法を使用して適用することができるが、訓練データについては、そのような注釈付き画像がデータ参照セットで使用される。図１０Ｄは、全体的なスタイル（示される自然なスタイルおよびスモーキースタイル）で分類された画像を提供する。
図１１では、化粧推薦システムは、データベース内の実際の製品を使用して、パーソナライズされた段階的な化粧指示を生成する。異なる化粧スタイル４０４０の訓練済みモデルは、深層学習システム４０００および注釈システム５０００から取得されることができ、化粧推薦システム６０００に入力して、パーソナライズされた化粧推薦７０５０を提供することができ、以下で説明するように、必要に応じて仮想化粧チュートリアルを提供することもできる。化粧推薦７０５０は、訓練済みシステムおよび訓練済みモデル４０４０などのモデルの化粧推薦器７０２０から導出されることができるが、推薦システムによって使用するためだけに他の訓練済みモデルを作成することもできる。製品マッチング７０３０はまた、化粧データベース７０４５（図１１に示すように、同じデータベース）と同じまたは異なることができる化粧品データベースを使用して使用することもできる。化粧推薦器および／または製品マッチングは、パーソナライズされた化粧推薦７０５０をもたらすことができる。仮想チュートリアルはまた、セグメント化されたビデオ経路を使用して生成することができ、または以下で説明するように美容製品データベースの訓練済み製品分類器を使用した製品の検索および特定から情報を取得することもできる。
仮想化粧チュートリアル
一実施形態では、本開示は、ビデオをキーステップに自動的に要約し、使用済みの全ての製品を抽出し、購入リンクを見つけ、オンラインで製品を注文する必要なくまたは小売店で製品をテストする必要なく、仮想試用チュートリアルを提供することができる仮想化粧チュートリアルシステム７０００を提供する。図１２は、本開示の実施形態にかかる仮想化粧チュートリアルシステムを示すフローチャートである。
ビデオおよび／または写真共有ウェブサイト（例えば、ＹｏｕＴｕｂｅ（登録商標）およびＩｎｓｔａｇｒａｍ（登録商標））において化粧アーティストをフォローすることは、多くの現代のソーシャルメディアプラットフォームにとって不可欠な部分である。ビデオチュートリアルは、消費者が化粧のヒントを得て美容製品を発見するための優れた方法であるが、そのようなビデオを見つけて使用するのは時間がかかり、視聴者のユーザが外見を再現するのは困難である。フォローアップして全ての使用済み製品のリンクを見つけるために、消費者は、ビデオを何度も一時停止し、ビデオで紹介された各製品を見つけ、製品名を書き留め、オンラインの購入リンクを見つけなければならない。本開示では、入力化粧チュートリアルビデオ７０１０について、仮想化粧チュートリアルシステムは、チュートリアルビデオをキーステップ７０２０に分割することによって自動的に要約し、チュートリアルビデオ７０３０において使用または導入される全ての製品を特定および／または抽出することができ、そのそれぞれは、製品をオンラインで注文したり小売店で製品をテストしたりする必要なく、仮想化粧試用チュートリアル７０５０に対して概要が一般に使用される化粧チュートリアル概要７０４０を提供するための購入リンクを見つけるために使用することができる。
一実施形態では、ステップ７０２０において、ビデオをセグメントに分割した（７０２０ａ）後、キーフレームが選択され（７０２０ｂ）、化粧製がフィルタリングおよび指定した化粧関連基準を使用して検出され、化粧チュートリアルビデオ７０４０の段階的な概要が生成される。ステップ７０２０におけるキーフレームの選択は、例えば、おそらく化粧アプリケーションの実行中にのみ存在する手の動きまたは手で覆われた顔などの動作および挙動量などの定量化可能な測定に基づいており、ステップの各キーフレームは、通常、明確であって閉塞されていない顔によって表示される。ビデオデータからキーフレームを選択する方法は、以下のステップを含む。ビデオデータをセグメントに分割し（７０２０ａ）、フレーム差、色ヒストグラム、および／またはカメラの動きに基づく一般的なビデオキーフレーム検出方法を使用して、候補キーフレームのセットを生成し（７０２０ｂ）、例えば、正面顔、顔のオクルージョン（ｏｃｃｌｕｓｉｏｎ）、手の動き、および／または顔面表情（通常は笑顔を有する）、および前のキーフレームと次のキーフレームとの間に異なる化粧が存在するかどうかなど、特定の化粧関連基準に基づいて最終キーフレームを選択する。
製品検出
製品検出ステップ７０３０の場合、場合によっては、化粧アーティストは、各製品が最初に紹介されたときに製品の名前を画面に表示するか、ビデオの全ての製品を説明の一部としてリスト化することがある。したがって、本開示のシステムは、前の手順で検出されたキーフレームの周囲の文字を検出し、光学文字認識技術を実行して、７０３０ｂのように１つ以上の名前と関連製品を認識することができる。他の場合では、ビデオに製品名が追加されていない場合、本開示のシステムは、通常、ビデオ画像内の顔の近くに存在するおよび／または同様のジェスチャによって手で保持される製品７０３０ａを（例えば、そのボトル、チューブ、または箱を介して）最初に特定することができる。そして、製品の
画像は、ステップ７０３０ｃにおいて製品を認識するために美容製品データベース７０４５からのデータを分類した訓練済み分類器７０３５に供給されることができる。最悪のシナリオでは、製品が認識できない場合、システムは、ビデオ概要のキーフレームとして不明な製品を含むフレームを返してもよい。
画像は、ステップ７０３０ｃにおいて製品を認識するために美容製品データベース７０４５からのデータを分類した訓練済み分類器７０３５に供給されることができる。最悪のシナリオでは、製品が認識できない場合、システムは、ビデオ概要のキーフレームとして不明な製品を含むフレームを返してもよい。
製品検出７０３０および／またはビデオ分割７０２０のそれぞれは、仮想化粧チュートリアルシステムにおいて使用して、化粧チュートリアル概要７０４０を生成し、仮想化粧チュートリアル７０５０を生成することができる。上記の取得したビデオ概要により、システムは、仮想化粧チュートリアル７０５０を介して一連の仮想試用オプションを自動的に生成することができ、これは、ユーザが製品をオンラインで注文したり小売店でテストしたりする必要なく段階的に外見を再現することを可能にする。
デジタル化粧品のカラーマッチング
ロバストな明るさ制御
一実施形態では、本開示は、カメラによってキャプチャされた顔を自動的に検出し、検出された顔の皮膚色に従って顔の明るさをロバストに調整する、本明細書ではシステム８０００と一般に呼ばれるシステムを提供する。このシステムは、サーバビデオのリアルタイムアプリケーションをターゲットにして、ちらつきを防ぎ、調整プロセスをスムーズにする。
一般に、カメラハードウェアの自動明るさ制御は、通常、ユーザの顔の明るさを調整することができない。したがって、自動明るさ制御を含むそのようなハードウェアは、仮想化粧アプリケーションには適さないことがある。デジタルカメラでキャプチャされた人の顔の適切な明るさを維持するために、明るさ制御アルゴリズムが必要である。適切な明るさを達成する一般的な方法の１つは、ＬＥＤなどの追加光源を使用することである。しかしながら、ハードウェア光源は、制限を有することがある。この実施形態では、ユーザの顔の明るさ制御は、主にソフトウェアレベルで実行される。
図１４を参照すると、この実施形態では、顔８０１０を有するビデオフレームの形態の入力が、顔を検出して明るさを調整するシステム８０００に入力されると、画像内の顔位置および形状を取得するために、ステップ８０２０において、顔ランドマーク検出アルゴリズムを使用して入力画像から顔領域および顔ランドマークを検出する。次に、システムは、画像からのランドマーク情報に基づいて皮膚色推定器８０３０を使用して、顔の正規化された皮膚色を推定する。顔ランドマークが検出された他の経路８０４０では、システムは、異なる重み係数を顔領域、画像中心領域、および境界領域に割り当て、画像８０４５の平均明るさを計算する。次に、平均明るさが推定皮膚色８０５５と比較され、補正係数を出力する。多項式変換を使用する曲線変換８０５０は、上記の手順で計算された補正係数に従って画像に適用される。そして、結果画像は、仮想化粧アドオンなどの後処理８０６０において使用する準備ができている。
曲線変換８０５０はまた、図１５を参照して生成することもできる。ビデオリアルタイムのデジタル化粧品アプリケーションを対象とする場合、ちらつきや突然の変化を避けるために、明るさレベルを可能な限り一定に保つ必要がある。したがって、応答曲線８０５０ａが作成され、明るさ制御システム８０００に追加される。これにより、時間領域で補正係数８０５０ｂが平滑化され、出力として安定した明るさ制御ビデオ８０５０ｃが提供される。
画像を処理して明るさを調整するために、数学的な変換式が必要である。一実施形態で
は、以下の曲線変換フィルタを使用することができる。
Ｐｏ＝（１－α）Ｐｉ＋αＰｉ ２ （６ａ）
は、以下の曲線変換フィルタを使用することができる。
Ｐｏ＝（１－α）Ｐｉ＋αＰｉ ２ （６ａ）
カメラで撮影されたユーザの顔を自動的に検出し、検出された顔の皮膚色に応じて顔の明るさをロバストに調整する上記の方法システムおよび方法８０００では、ステップ８０３０において、ロバストな皮膚色推定器が使用される。図１３は、皮膚色推定器８０３０の実施形態として使用されることができる本開示の一実施形態にかかる皮膚色推定のためのプロセスを示している。この実施形態では、皮膚色推定のためのアルゴリズムが付録Ｅに提供されている。この実施形態では、アルゴリズムに従って、本方法は、入力画像ＩＩ’を受信し、上述した技術を使用するランドマーク検出（ＬＤ）、ならびに必要に応じて上述した化粧除去方法およびシステムで実行することができる成分除去（ＭＲ）を使用する。次に、ＲＧＤとグレースケール分析の両方を使用して、ヒストグラム分析ＨＡが実行される。この目的に有用な技術は、化粧除去プロセスおよびシステムに関連して上記で説明されている。投票（評価）スキームを使用して、忠実な皮膚色画素ＳＣＰを生成する（付録Ｆを参照）。
図１４および図１５は、システム８０００を参照して上述した本開示の一実施形態にかかる、曲線変換を使用して画像の明るさを調整する方法を示すフロー図である。一実施形態では、明るさ制御のためのアルゴリズムは、付録ＥおよびＦの文脈で提供されている。
色の一貫性
一実施形態では、本開示は、シーンの色を正確に検出するためにカラーマッチングを実行するために色の一貫性を維持するためのシステム９０００と一般的に呼ばれるシステムを提供する。システム９０００は、色参照チャートを自動的に検出し、検出された情報を使用してカメラのハードウェア設定を調整する。そして、システムは、追加の高度なソフトウェア較正を実行して、色の一貫性を維持するために、本明細書のゴールデン標準システムを満たす。そして、この実施形態のシステムは、シーン色を正確に検出するためにカラーマッチングを実行することができる。
コンピュータビジョンの問題は、観察された画像をもたらす基礎となる世界を推定することである。この問題のサブセットの１つは、色の一貫性である。すなわち、シーンの光源の色と、白色光下で見られるシーン内のオブジェクトの色を推定する。一貫性は、画像の背後にある真の世界を復元することを目的としている。色の一貫性の問題は、人の目とコンピュータプリケーションの両方にとって常に課題である。
図１６は、本開示の一実施形態にかかるシステム９０００の色一貫性方法および関連するアルゴリズムのフロー図を示している。本開示で使用される色一貫性アルゴリズムは、環境光によってシーンに投じられる照明を推定することができる。アルゴリズムはまた、異なる環境条件で不変であるオブジェクトの実際の色（反射率）を復元することもできる。本方法は、カメラの副作用の較正、光源から生じる色の補償、および現実世界の製品のグラウンドトゥルースカラーの特定に使用することができる。
ハードウェア色較正アルゴリズム
システム９０００の一実施形態では、色の一貫性を達成するために、色較正のシステムが構築される。ターゲットは、カメラにアクセス可能なリアルタイムビデオアプリケーションであるため、システム全体をリアルタイムフレームワーク上に構築することができる。ユーザは、入力９０１０として、デジタルビデオ機能を備えたカメラ、またはリアルタイムデジタルビデオを提供するように構成されたカメラを有する他の装置を使用する。上
記のように、ビデオフレーム９０１５は、分離入力とすることができる。ユーザが任意の適切な入力技術を使用して色較正要求を開始したとき。それに応じて、システムは、ステップ９０２０において、特定の位置に色参照チャートを表示するようにユーザに要求する。較正システムは、色参照チャート９０２０を自動的に検出し、ステップ９０２５において、各色パッチの画素値を読み取る。次に、システムは、観察されたカラーチャートを、データベースに保存されているゴールデン参照システム９０３０ａの下でキャプチャされた参照値９０３０と比較する。比較結果を使用して、較正システムは、オペレーティングシステムに組み込まれたＳＤＫを使用するウェブカメラなどのビデオキャプチャ装置に制御信号を送信する。システムは、ステップ９０４０において、ＩＳＯ速度、ホワイトバランス、シャッタスピード、色相、明るさ、コントラスト、およびゲインなどの全てのカメラパラメータをそれに応じて調整し、ゴールデンシステムの基準値を満たす。この較正は、連続的なフィードバックプロセスとして機能し、較正システムは、キャプチャされた新たなフレームに従って、較正制御信号をカメラに継続的に送信する。最終的に、全ての制御パラメータが動的なバランスを達成し、キャプチャされたフレームの色参照チャートの画素値が参照値に非常に近くなる。
記のように、ビデオフレーム９０１５は、分離入力とすることができる。ユーザが任意の適切な入力技術を使用して色較正要求を開始したとき。それに応じて、システムは、ステップ９０２０において、特定の位置に色参照チャートを表示するようにユーザに要求する。較正システムは、色参照チャート９０２０を自動的に検出し、ステップ９０２５において、各色パッチの画素値を読み取る。次に、システムは、観察されたカラーチャートを、データベースに保存されているゴールデン参照システム９０３０ａの下でキャプチャされた参照値９０３０と比較する。比較結果を使用して、較正システムは、オペレーティングシステムに組み込まれたＳＤＫを使用するウェブカメラなどのビデオキャプチャ装置に制御信号を送信する。システムは、ステップ９０４０において、ＩＳＯ速度、ホワイトバランス、シャッタスピード、色相、明るさ、コントラスト、およびゲインなどの全てのカメラパラメータをそれに応じて調整し、ゴールデンシステムの基準値を満たす。この較正は、連続的なフィードバックプロセスとして機能し、較正システムは、キャプチャされた新たなフレームに従って、較正制御信号をカメラに継続的に送信する。最終的に、全ての制御パラメータが動的なバランスを達成し、キャプチャされたフレームの色参照チャートの画素値が参照値に非常に近くなる。
ソフトウェア色較正アルゴリズム
次に、較正システムは、ＲＧＢチャネルで曲線変換を個別に計算し、フレームに適用し、これは、ステップ９０５０および９０６０において最終的な詳細な較正として機能する。最後に、キャプチャされたフレームは、色の一貫性を達成し、ステップ９０７０において、カラーマッチングのために既に準備される。画像を変更して色を較正するために、３次多項式を使用して３つのチャネルで変換プロセスをシミュレートすることができる。３次多項式を使用すると、画素値の異なる範囲で変換を異なる方法で変更することができ、柔軟性が向上する。実験により、ＲＧ、ＲＢ、およびＧＢなどの相互チャネル項は、出力にあまり影響を与えないことが観察されている。したがって、これらの項を省略して、多項式チャネルを独立させることができる。赤チャネルを例にとると、変換方程式は、以下のように記述することができる。
Ｒｏ＝Ｃｒ０＋Ｃｒ１Ｒｉ＋Ｃｒ２Ｒｉ ２＋Ｃｒ３Ｒｉ ３ （１）
ここで、Ｒｏは、出力赤チャネル画素値であり、Ｒｉは、入力赤チャネル画素値であり、Ｃｒは、多項式の係数（定数の場合もある）である。上記関数は、以下のように行列形式で記述することができる。
Ａｘ＋ｂ＝０ （２）
未知の定数Ｃの数よりもはるかに大きい２４の観測があるため、解くべき過剰判定システムがある。問題は、最小二乗法を使用して解決できる回帰問題に変換される。目的関数は、以下のように記述することができる。
ここで、Ｒ１・・・Ｒｎは、観測値であり、Ｃｒは、解くべき係数であり、Ｒｒｅｆは
、ゴールデンシステムによる基準値であり、ｎは、カラーパッチの観測値の数（この場合は２４）である。
Ｒｏ＝Ｃｒ０＋Ｃｒ１Ｒｉ＋Ｃｒ２Ｒｉ ２＋Ｃｒ３Ｒｉ ３ （１）
ここで、Ｒｏは、出力赤チャネル画素値であり、Ｒｉは、入力赤チャネル画素値であり、Ｃｒは、多項式の係数（定数の場合もある）である。上記関数は、以下のように行列形式で記述することができる。
Ａｘ＋ｂ＝０ （２）
未知の定数Ｃの数よりもはるかに大きい２４の観測があるため、解くべき過剰判定システムがある。問題は、最小二乗法を使用して解決できる回帰問題に変換される。目的関数は、以下のように記述することができる。
、ゴールデンシステムによる基準値であり、ｎは、カラーパッチの観測値の数（この場合は２４）である。
Ｒ、ＧおよびＢの各チャネルのＣ係数を解いた後、色の一貫性の誤差を最小限に抑えるためにハードウェア較正後に画像を処理するために使用することができる係数の完全なセットがある。最後に、ハードウェアとソフトウェアの較正の後、ビデオフレームは、カラーマッチアルゴリズムなど、さらなる色ベースのアプリケーションへの準備ができる。
他の色一貫性アルゴリズムと比較して、本発明の方法は、基準カラーチャートをグラウンドトゥルース基準として使用するため、結果の色一貫性アルゴリズムからの出力は、任意のグラウンドトゥルースデータを有しない多くの仮定と統計的結論に基づくソフトウェアベースの方法よりもはるかに正確である。さらにまた、我々のアルゴリズムは、一度較正され、リアルタイムでビデオに適用されることができる。
カラーマッチング
上記の色較正の後、全ての色は、基準としてのゴールデンシステムに従って較正される。その後、出力フレームを使用して、シーン内の正確な色を認識することができるカラーマッチングを実行することができる。例えば、システムは、口紅色を認識するために使用することができる。
色をその基準値と一致させるために、定量化された色差式が非常に重要である。色は、人の目で認識される方法とは非常に異なって表示されるため、色差の定量化は、一般に難題である。人が電子装置において見る色のほとんどは、ｓＲＧＢ色空間に基づいている。したがって、色差の最も一般的な解決策は、色空間で距離を計算することである。例えば、ＲＧＢ色空間のユークリッド距離は、以下のように表すことができる。
ＲＧＢのユークリッド距離に加えて、多くの色距離式は、ＨＳＶなどの他の色空間を使用し、それに応じて空間距離を計算することができる。しかしながら、全ての色距離式は、基本的な計算の精神と範囲から逸脱することなく、単純なユークリッド距離を使用した上記の式の本質的に単純な変更である。色距離の式はどれも、人の色知覚の不均一な動作を説明する傾向はない。したがって、方程式は、同じ色測定で人の目とは異なる結果をもたらす可能性がある。
国際照明委員会（ＣＩＥ）は、ＣＩＥ７６、ＣＩＥ９４、およびＣＩＥ２０００などの多くの色差式を作成し、人の目に近い色差を定量化することを目指している。ＣＩＥ９４の定義は、知覚の均一性の問題を適切に解決しないため、ＣＩＥＤＥ２０００では、ＣＩＥは、その定義を改良し、５つの修正を追加した。ＣＩＥＤＥ２０００は、値がＣＩＥＬａｂ色空間から計算されるＬＣＨ（明度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｃｈｒｏｍａ）、および色相（Ｈｕｅ））色空間に基づいている。ＣＩＥＤＥ２０００色差は、不均一性の原因であり、人の知覚により近いものである。
ハイライト除去による色測定
一実施形態では、本開示は、画像に示されるオブジェクト上の反射光を除去することにより入力画像の支配的な色を計算するための色測定アルゴリズムを提供する。入力画像の
中心により多くの焦点を与えることができるように、オブジェクトの局所性が考慮される。
中心により多くの焦点を与えることができるように、オブジェクトの局所性が考慮される。
色の一貫性が保証されていても、まだ解決すべき問題が残っている。例えば、現実世界の写真では光の反射が見える。所望の正確な色を得るために、反射光を消去し、オブジェクトの主要な色を測定する必要がある。
図１７は、本開示の一実施形態による色測定システムを示すブロック図である。図１７に示すように、入力画像ＩＩ’’は、ステップ２１０においてＨＳＶ色空間に変換される。ここで、ＨＳＶ色空間は、上述したＲＧＢ色空間における地点の最も一般的な円筒座標表現である。
前述のように、色相、彩度、および色値は、図１に示すようにＨＳＶ色空間において定義されることができる。色相は、色の種類を表し、０から３６０度の角度範囲で表すことができる。彩度は、色がグレーと異なる度合いを示し、彩度が低いほど、色あせたように見える。色値は、色の明るさを表し、０は完全に暗く、２５５は完全に明るい。
ＨＳＶ色空間の画像を取得した後、ステップ２２０において画像のヒストグラムを計算することができる。ヒストグラムは、数値データの分布をグラフィカルに表現したものである。それは、連続変数（量的変数）の確率分布の推定値であり、Ｋａｒｌ Ｐｅａｒｓｏｎによって最初に導入された。それは、一種の棒グラフである。ヒストグラムを作成するために、第１のステップは、値の範囲を「ビン化」することである。すなわち、値の範囲全体を一連の間隔に分割し、各間隔に含まれる値の数をカウントする。ビンは、通常、変数の連続した重複しない間隔として指定される。ビン（間隔）は、隣接している必要があり、多くの場合（同じである必要はないが）に同じサイズである。
入力画像のヒストグラムを取得した後、３Ｄ畳み込みを使用して各ビンの加重平均を計算し、上位２つの値を返すことができる。畳み込みは、以下の式（５）のように、１つの関数ｇが他の関数ｆにシフトされるため、１つの関数のオーバーラップ量を表す積分である。ＨＳＶ色空間は３次元であるため、式（６）は、３Ｄ畳み込みに使用される。さらに、ＨＳＶ色空間の色相値は、円柱表現を有するため、巡回畳み込みを使用して、隣接するビンの全ての値を考慮する。式（７）は、色相値の明確な周期的総和である畳み込み行列ｇτを示している。
局所性はまた、ステップ２３０において重み付けされた２次元（２Ｄ）畳み込みによっ
て計算され、上位２つの値の局所性を比較して入力画像の中心にあるオブジェクトにさらに焦点を当てることにより、ステップ２４０において最終戻り値を決定する。図１８は、本開示の実施形態にかかる色測定システムを使用して抽出された入力画像Ｆ、Ｇ、Ｈおよびその主要色Ｆ’、Ｇ’、Ｈ’を示している。色測定システムの擬似コードは、付録Ｇに提供されている。
て計算され、上位２つの値の局所性を比較して入力画像の中心にあるオブジェクトにさらに焦点を当てることにより、ステップ２４０において最終戻り値を決定する。図１８は、本開示の実施形態にかかる色測定システムを使用して抽出された入力画像Ｆ、Ｇ、Ｈおよびその主要色Ｆ’、Ｇ’、Ｈ’を示している。色測定システムの擬似コードは、付録Ｇに提供されている。
自動化された高速顔検出およびランドマーク追跡
本開示のこの部分において、実施形態は、ランドマークの揺れおよび遅延の問題を解決するためのグローバル学習降下正規化（ＧＬＤＲ）モデルに基づく新たなアルゴリズムを使用した顔ランドマークの新規フレームワークを示している。この実施形態はまた、ランドマークの正確さを確認するパッチ係数計算も有する。
一実施形態では、本開示は、高速顔ランドマークの検出および追跡のためのフレームワークに関する。本開示は、さらに、顔の速い動きにおける遅延の問題および人がビデオ内に静止しているときのランドマークの揺れの問題を解決する方法に関する。
一実施形態では、本発明は、顔ランドマーク検出のためのフレームワークを提供する。特に、本発明は、マルチスケールグローバル検出器で遅延問題を解決する方法に関し、また、フレームワークをさらに高速化してランドマークのドリフト問題を減らすための現在のフレームの初期形状としての現在の境界ボックスへのローカルランドマークとして異なるスケール画像およびパッチ相関マッチを使用した高速線形回帰を使用する方法に関する。
この方法の第１の実施形態では、画像は、２次元（２ｄ）カメラによってキャプチャされる。次に、異なるスケール画像で画像ピラミッドが作成される。顔の境界ボックスは、画像ピラミッド上のスライディングウィンドウおよびＳＶＭによる勾配特徴のヒストグラムを使用する。
さらなる実施形態では、ボックスの内側に顔がある場合、境界ボックスの内側の顔ランドマークを検出する異なる縮尺画像でいくつかのグローバル顔ランドマーク検出器（ＧＬＤＲモデル）が使用される。グローバル検出器は、顔の検出時に特徴が既に存在するため、特徴として勾配のヒストグラムを使用する。次に、ランドマーク検出に対するノイズの影響を除去するために、ランドマーク位置が画像ピラミッド全体で正規化される。
本発明の開示のさらなる実施形態では、ランドマークの正確性は、訓練されたニューラルネットワークモデルによって検証され、その後、ランドマークを中心とするパッチが抽出される。ランドマークは、次のフレームの初期形状として現在のフレームで使用される。グローバル顔ランドマーク検出器によって検出された後、パッチは、ランドマーク平均シフトフィッティングを使用してフィッティングされる。相関係数は、各パッチのコンピュータであり、悪いランドマークは消える。そして、プロセスは、最初の第１の実施形態に戻る。
図１９は、顔ランドマークの検出を最適化する全体的なプロセスの概要を示すフロー図である。本方法は、図１９における方法３０００を参照して説明され、最初に、ステップ３０１０において２Ｄカメラを使用して画像がキャプチャされる。
３０２０を参照すると、第１のフレームは、画像フレームとして識別される。これは、異なるスケールで生成された画像ピラミッドを使用して実行することができる。現在のフレームに以前のランドマークがある場合、３０４０において顔が検出され、スライドウィ
ンドウを備えたマルチスケールグローバル検出器を使用して画像をスキャンして（３０５０）顔ランドマークを検出し、さらに３０５０において、各関心領域について、勾配のヒストグラムが計算され、サポートベクターマシンモデル３０６０への入力として使用され、どの部分がパッチ抽出およびフィッティングの目的領域であるかを判定する。N. Dalal
and B. Triggs, “Histograms of oriented gradients for human detection,” CVPR, pp. 886-893 (2005)、およびC. Cortes and V. Vapnik, “Support-vector networks,” Machine Learning, pp. 273-297 (1995)を参照のこと。次に、３０７０において、ウィンドウをダウンサンプリングして領域をより正確にする。顔が検出されない場合、フレームを検出するために画像ピラミッドで制約付き平均シフト３０３０が使用され、以前のランドマークが存在する場合、３０５０において、グローバル検出器の初期形状として使用することができる。現在のフレームに以前のランドマークがある場合、３０３５において、以前のランドマークを使用して、教師付き降下法（ＳＤＭ）の初期ランドマークとして現在の境界ボックスに位置合わせする。
ンドウを備えたマルチスケールグローバル検出器を使用して画像をスキャンして（３０５０）顔ランドマークを検出し、さらに３０５０において、各関心領域について、勾配のヒストグラムが計算され、サポートベクターマシンモデル３０６０への入力として使用され、どの部分がパッチ抽出およびフィッティングの目的領域であるかを判定する。N. Dalal
and B. Triggs, “Histograms of oriented gradients for human detection,” CVPR, pp. 886-893 (2005)、およびC. Cortes and V. Vapnik, “Support-vector networks,” Machine Learning, pp. 273-297 (1995)を参照のこと。次に、３０７０において、ウィンドウをダウンサンプリングして領域をより正確にする。顔が検出されない場合、フレームを検出するために画像ピラミッドで制約付き平均シフト３０３０が使用され、以前のランドマークが存在する場合、３０５０において、グローバル検出器の初期形状として使用することができる。現在のフレームに以前のランドマークがある場合、３０３５において、以前のランドマークを使用して、教師付き降下法（ＳＤＭ）の初期ランドマークとして現在の境界ボックスに位置合わせする。
上記のように、ＧＬＤＲモデル３０５０は、顔ランドマークを検出するために使用される。回帰木（V. Kazemi and J. Sullivan, “One millisecond face alignment with an ensemble of regression tress,” CVPR (2014)を参照のこと）、ローカルバイナリ特徴
の回帰（S. Ren, et al., “Face Alignment at 3000 FPS via Regressing Local Binary
Features,” CVPR (2014)を参照のこと）、教師あり降下法（X. Xiong et al., “Supervised descent method and its applications to face alignment,” CVPR (2013)を参照のこと）など、グローバル検出器として使用することができる多くの方法がある。本発明において、好ましいＧＬＤＲ方法は、顔ランドマークを検出するためのグローバル検出方法としてのＨＯＧであり、検出をより正確にするために、ＳＤＭの第２の特徴として点分布モデル（Ｐｏｉｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍｏｄｅｌ）を使用することも好ましい（T. Baltrusaitis, et al., “Constrained local neural fields for robust facial landmark detection in the wild,” ICCV Workshops (2013)を参照のこと）。新たな数式は、以下のように作成される。
変数ｘは、点分布モデルによって計算されたパラメータである。Ｈは、ランドマークの勾配のヒストグラムを表す。Ｈ（ｘ＊）は、グラウンドトゥルースランドマークの位置のＨＯＧ特徴である。点分布モデルに基づいてパラメータｐを使用して形状を計算することができる。推定の式は、以下のとおりである。
ここで、ｓはスケールであり、Ｒは回転ベクトルであり、φは定数行列であるｎ個の固有ベクトルを保持する形状部分空間行列であり、ｑは非剛体形状パラメータであり、ｔは平行移動である。したがって、以下のようにパラメータベクトルｐを取得することができる。
ここで、ｓ、Ｒ、およびｔは、グローバルパラメータであり、ｑはローカルパラメータである。方程式（１）は、オブジェクト方程式であり、望ましいのはオブジェクト方程式の結果を最小化することができるパラメータである。Ｈが２階微分可能であると仮定すると、２次のテイラー展開が式（１）の左に使用される。
ここで、ＪおよびＨは、ｐで評価されたｆのヤコビ行列およびヘッセ行列である。第１の更新は、ｘをゼロに設定し、それに関して方程式（１）を微分することによって計算される。
形状ｘの更新中にパラメータｐを更新することが好ましい。点分布モデル（ＰＤＭ）に基づいて、更新パラメータは、以下のように更新形状に基づいて容易に取得される。
ここで、ＨｐはＰＤＭのヘッセ行列であり、ＪｐはＰＤＭのヤコビ行列である。Ｘｃは現在の形状である。次に、ｐの更新が計算される。
の回帰（S. Ren, et al., “Face Alignment at 3000 FPS via Regressing Local Binary
Features,” CVPR (2014)を参照のこと）、教師あり降下法（X. Xiong et al., “Supervised descent method and its applications to face alignment,” CVPR (2013)を参照のこと）など、グローバル検出器として使用することができる多くの方法がある。本発明において、好ましいＧＬＤＲ方法は、顔ランドマークを検出するためのグローバル検出方法としてのＨＯＧであり、検出をより正確にするために、ＳＤＭの第２の特徴として点分布モデル（Ｐｏｉｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍｏｄｅｌ）を使用することも好ましい（T. Baltrusaitis, et al., “Constrained local neural fields for robust facial landmark detection in the wild,” ICCV Workshops (2013)を参照のこと）。新たな数式は、以下のように作成される。
ｘはｐによって記述することができるため、最終的な方程式は、以下とすることができる。
そして、新たなオブジェクト関数は、以下のようになる。
ガウスニュートン法は、ＳＤＭが新たなオブジェクト関数を最適化するのと同じように使用することができる。
したがって、一実施形態では、このステップの訓練アルゴリズムは以下のようにすることができる。
検出されたランドマークおよびパラメータが取得された後、パッチが抽出され、既に利用可能なパラメータがランドマーク平均シフトフィッティング３０６０を実行するために使用される。ランドマークは、新たなパラメータｐを計算するための特徴としてローカルパッチが使用されるように、滑らかであることが好ましい。正規化ランドマーク平均シフト法に基づいて、更新パラメータが取得される（J. Saragih et al., “Deformable Model Fitting by Regularized Landmark Mean-Shift,” IJCV (2011)を参照のこと）。
ここで、Ｊはベクトルｐに対するヤコビ行列であり、ｐの事前分布であり、ｖはパッチ上の平均シフトベクトルであり、ｐ０はＳＤＭから計算できるｐの初期推定値である。ガウス分布ｐ（ｐ）Ｎ（ｑ；０；Λ）では、では、Λ－１は、ｐの事前分布を示す行列である。ｖ＝［ｖ１，ｖ２，．．．ｖｎ］Ｔは、ガウスカーネル密度推定量によって以下のように表される平均シフトベクトルである。
ここで、関数Ｎはガウス分布であり、ｘｉ
ｃは、以前のステップで計算されるｘの現在の推定値である。
ランドマーク位置は、画像ピラミッド全体で正規化される（３０６５）。
ランドマークが生成された後、３層ニューラルネットワークモデルが正確性検証モデル３０７０として使用され、誤形状がフィルタリングされる。ニューラルネットワーク層は、畳み込み層、アップサンプル層、およびマッピング層であることが好ましい。
次に、パッチの各ペアの相関係数を計算することにより、以前のパッチと現在のパッチ
が照合される。次に、現在のパッチで最適な関心領域が選択され、その中心が最終ランドマークとして作成される（３０９０）。さらに、相関係数を使用して、どのランドマークが隠されているかを分類することもできる。計算関数は、好ましくは以下のとおりである。
が照合される。次に、現在のパッチで最適な関心領域が選択され、その中心が最終ランドマークとして作成される（３０９０）。さらに、相関係数を使用して、どのランドマークが隠されているかを分類することもできる。計算関数は、好ましくは以下のとおりである。
比較
したがって、新たなアルゴリズムが開発され、３０５０におけるようなＧＬＤＲの好ましい方法として点分布モデルとともにＳＤＭを組み込むことができる。しかしながら、本明細書の好ましいフレームワークとＧＬＤＲモデルは、どちらも以前のモデルとは異なる。ＳＤＭを使用して式（１５）を最適化するが、オブジェクト関数の変数は、点分布モデルによって計算されるパラメータであり、グラウンドトゥルースからノイズをフィルタリングして、ビデオのランドマークをより安定させる。さらにまた、異なるスケーリングされた画像によってＳＤＭを使用することにより、ノイズが低減される。ＳＤＭの初期ランドマークは、前のフレームから現在の境界ボックスまでのランドマークに位置合わせされる。さらに、フレームワークは、前述のBaltrusaitis et al.に記載されている点分布を
使用する従来のＧＬＤＲのようなローカル検出器ではなく、グローバル検出器であるＧＬＤＲモデルを使用する。したがって、現在の方法を使用した性能は、顔が非常に高速に回転する場合の遅延の問題はない。新たなフレームワークは、どのランドマークが隠されているかを検出するパッチ係数一致モジュールを備えているため、さらにスマートである。
使用する従来のＧＬＤＲのようなローカル検出器ではなく、グローバル検出器であるＧＬＤＲモデルを使用する。したがって、現在の方法を使用した性能は、顔が非常に高速に回転する場合の遅延の問題はない。新たなフレームワークは、どのランドマークが隠されているかを検出するパッチ係数一致モジュールを備えているため、さらにスマートである。
本明細書の様々なシステムおよび方法について、図３８に示されるような一般的なシステム構造を使用し、方法を様々な方法（図３７など）で、または上述した他の技術および改良と組み合わせることができる。図３８に示すように、メモリ機能（クラウドまたはハードウェアサーバベース）を使用して、アイテンプレート、グラウンドトゥルースデータ、製品データ、スタイルおよび化粧の外見情報、ユーザ情報、あらゆる種類の訓練および学習情報、およびシステムが操作に必要とする他の情報を含む、本明細書に記載されている全ての様々なデータおよびデータセットを好ましくはセキュアな場所に記憶することができる。データは、上記のアルゴリズムおよび擬似コードに基づいてプログラム可能なシステムソフトウェアからアクセス可能であり、本明細書のコントローラのプロセッサで実行可能である必要がある。
そのようなシステムの実装では、様々な種類の適切なハードウェアまたはソフトウェアを使用することができる。システムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）ＯＳ、Ａｐｐｌｅ ＯＳ Ｘ（登録商標）、Ａｐｐｌｅ ｉＯＳ（登録商標）プラットフォーム、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（登録商標）プラットフォーム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、およびＵＮＩＸ（登録商標）オペレーティングシステムの他の変形などのオペレーティングシステム（ＯＳ）を実行する能力を備えた任意のシステム構造で実行することができる。
説明した機能の一部または全ては、ユーザ装置上のソフトウェアおよび／またはハードウェアに実装することができる。ユーザ装置は、適切なユーザインターフェースを含む必要があり、上記のように、デジタルカメラおよび／またはデジタルビデオ能力を有する携帯電話（スマートフォン）とすることができる。さらに、好ましくは、カメラ、無線装置、情報機器、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、または他のコンピューティング装置を有し、本明細書で説明する機能を実行することができる汎用コンピュータまたは特殊用途ハードウェア装置として動作する、スマート／デジタ
ル時計、スマートミラー、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲーム機器、音楽プレーヤー、仮想現実ゴーグル、ラップトップ、パームトップ、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、ホームアシスタント（Ａｌｅｘａ（登録商標）またはＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（登録商標）など）を使用することができる。
ル時計、スマートミラー、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲーム機器、音楽プレーヤー、仮想現実ゴーグル、ラップトップ、パームトップ、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、ホームアシスタント（Ａｌｅｘａ（登録商標）またはＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（登録商標）など）を使用することができる。
ソフトウェアは、処理ユニット、システムメモリ、およびシステムメモリを含む様々なシステムコンポーネントを処理ユニットに結合するシステムバスを含むコンピュータの形式で汎用コンピューティング装置上に実装されてもよい。追加または代替として、機能の一部または全てをリモートで、クラウド内で、またはソフトウェア・アズ・ア・サービス（例えば、化粧サービスなど）を介して実行することができる。例えば、ユーザの装置およびそのユーザインターフェースと通信する上述したような１つ以上のリモートサーバまたは他の装置上で仮想除去および化粧仮想シミュレーションおよびアドオン機能および関連機能を実行することができる。リモート機能は、十分なメモリ、データストレージ、処理能力を備え、サーバクラスのオペレーティングシステム（例えば、Ｏｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、ＧＮＵ／Ｌｉｎｕｘ（登録商標）、およびＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）ＯＳファミリなど）を実行するサーバクラスのコンピュータ上で実行することができる。
システムは、メモリに記憶され、プロセッサで実行される複数のソフトウェア処理モジュールを含むことができる。例として、プログラムモジュールは、１つ以上のプロセッサが命令を実行することを可能にするように機械語またはオブジェクトコードに変換される１つ以上の適切なプログラミング言語の形態とすることができる。ソフトウェアは、本明細書で提供されるアルゴリズムおよび擬似コードに基づいて、適切なプログラミング言語またはフレームワークで実装された、スタンドアロンアプリケーションの形態とすることができる。
本明細書で説明する技術の方法ステップは、入力画像および他の関連データを操作して出力を生成することにより機能を実行するように１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行することができる。方法ステップはまた、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用ロジック回路によって実行することもでき、装置は、専用ロジック回路として実装することもできる。モジュールは、その機能を実装するコンピュータプログラムおよび／またはプロセッサ／特殊回路の一部を参照することができる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用マイクロプロセッサの両方を含む。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受信する。コンピュータの重要な要素は、命令を実行するプロセッサと、命令とデータを記憶する１つ以上のメモリ装置である。コンピュータプログラムの命令およびデータを具体化するのに適した情報担体は、例として、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリ装置などの半導体メモリ装置、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを例として含む、あらゆる形態の不揮発性メモリを含む。１つ以上のメモリは、プロセッサによって実行されると、モジュール、エンジン、および本明細書に記載される他のコンポーネントを形成してコンポーネントに関連する機能を実行する、メディア資産（オーディオ、ビデオ、グラフィック、インターフェース要素、および／または他のメディアファイルなど）、構成ファイル、および／または命令を記憶することができる。プロセッサおよびメモリは、特別な目的のロジック回路で補完するか、組み込むことができる。そのようなプロセ
ッサはまた、本明細書で説明される実行可能な学習ツールおよびシステムを作動させることができる。
ッサはまた、本明細書で説明される実行可能な学習ツールおよびシステムを作動させることができる。
様々な実装において、ユーザ装置は、好ましくは、本明細書に記載の機能の実行を促進するウェブブラウザ、ネイティブアプリケーション、またはその両方へのアクセスを有する装置への何らかのアクセスまたは通信を含む。ウェブブラウザは、ウェブページ要求によって装置がウェブページまたは他のダウンロード可能なプログラム、アプレット、またはドキュメントを（例えば、サーバから）要求することを可能にする。ウェブページの一例は、表示、実行、再生、処理、ストリーミング、および／または記憶されることができるコンピュータ実行可能または解釈可能な情報、グラフィック、サウンド、テキスト、および／またはビデオを含み、他のウェブページへのリンクまたはポインタを含むことができるデータファイルである。１つの実装では、装置のユーザは、サーバにウェブページを手動で要求する。あるいは、装置は、ウェブブラウザで自動的に要求を行う。市販のウェブブラウザソフトウェアの例は、Ｇｏｏｇｌｅ（登録商標）Ｃｈｒｏｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｍｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、およびＡｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）を含む。
いくつかの実装では、ユーザ装置は、化粧サービスで動作するアプリケーションなどのクライアントソフトウェアを含むことができる。クライアントソフトウェアは、明るさ調整や色較正を含む、ならびにテンプレートや他のユーザデータの記憶を可能にする、本明細書で説明する機能の実装と実行を提供する機能を装置に提供することができる。クライアントソフトウェアは、様々な形式で実装することができ、例えば、装置にダウンロードされてウェブブラウザと連動して実行されるネイティブアプリケーション、ウェブページ、ウィジェット、および／またはＪａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、．Ｎｅｔ、Ｓｉｌｖｅｒｌｉｇｈｔ、Ｆｌａｓｈ、および／または他のアプレットやプラグインの形式とすることができる。クライアントソフトウェアおよびウェブブラウザは、単一のクライアント／サーバインターフェースの一部とすることができ、例えば、クライアントソフトウェアは、ウェブブラウザまたは他のフレームワークまたはオペレーティングシステムへのプラグインとして実装することができる。これらに限定されるものではないが、ウィジェットフレームワークやアプレット技術を含む他の適切なクライアントソフトウェアアーキテクチャも、クライアントソフトウェアによって使用することができる。
通信ネットワークは、装置を１つ以上のサーバに接続したり、相互に接続したりすることができる。通信は、例えば、標準電話回線、ＬＡＮまたはＷＡＮリンク（例えば、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、無線リンク（８０２．１１（Ｗｉ－Ｆｉ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡなど）の媒体を介して行うことができる。他の通信媒体も可能である。ネットワークは、ＴＣＰ／ＩＰプロトコル通信、およびウェブブラウザによって行われたＨＴＴＰ／ＨＴＴＰＳ要求を伝送することができ、クライアントとサーバとの間の接続は、そのようなＴＣＰ／ＩＰネットワークを介して通信することができる。他の通信プロトコルも可能である。
システムはまた、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境でも実行することができる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に配置されることができる。装置の容量と必要なデータ処理能力の量に応じて、本明細書で説明したもの以外の他の種類のシステムハードウェアおよびソフトウェアも使用することができる。システムはまた、上記のような、本明細書で
説明するようなハードウェアを有する１つ以上のコンピュータで動作する、仮想化オペレーティングシステムを実行する１つ以上の仮想マシンで実装することもできる。
説明するようなハードウェアを有する１つ以上のコンピュータで動作する、仮想化オペレーティングシステムを実行する１つ以上の仮想マシンで実装することもできる。
場合によっては、リレーショナルデータベースまたは他の構造化データベースは、例えば処理用のデータを記憶するデータベース管理システムなどの機能を提供することができる。データベースの例は、カリフォルニア州レッドウッドショアーズのＯＲＡＣＬＥ（登録商標） Ｃｏｒｐ．が提供するＭｙＳＱＬ（登録商標）データベースサーバまたはＯＲＡＣＬＥデータベースサーバ、カリフォルニア州バークレーのＰｏｓｔｇｒｅＳＱＬ Ｇｌｏｂａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｒｏｕｐが提供するＰｏｓｔｇｒｅＳＱＬデータベースサーバ、またはＩＢＭが提供するＤＢ２データベースサーバを含む。
また、システムおよび方法の実装は、１つ以上の製品上またはその中に組み込まれた１つ以上のコンピュータ可読プログラムとして提供することができることに留意すべきである。プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置による実行のための適切な受信装置への送信のための情報を符号化するために生成された機械生成電気、光学、または電磁信号について符号化されることができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、またはそれらの１つ以上の組み合わせとすることができるか、またはそれらに含まれることができる。さらに、コンピュータ記憶媒体は、伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号に符号化されたコンピュータプログラム命令のソースまたは目的とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）とすることができるか、またはそれらに含まれることができる。
当業者は、その広範な発明概念から逸脱することなく、上述した実施形態に変更を加えることができることを理解するであろう。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、添付の特許請求の範囲によって定義される本発明の精神および範囲内の変更を網羅するものと理解される。
付録Ａ：
付録Ｂ
付録Ｃ：
付録Ｄ：
付録Ｅ：
付録Ｆ：
付録Ｇ：
付録Ａ：
本方法の第１の領域は、好ましくは目領域を含み、第２の領域は、好ましくは唇領域を含む。第１の領域の第１のチャネルをヒストグラムマッチングに供給する前の第１の領域の化粧の種類は、好ましくは、顔画像の第２の領域をカラーチャネルに変換する前の第２の領域の化粧の種類とは異なる。カラーチャネルは、色相チャネル、彩度チャネル、および色値チャネルを含むことができる。
また、システムおよび方法の実装は、１つ以上の製品上またはその中に組み込まれた１つ以上のコンピュータ可読プログラムとして提供することができることに留意すべきである。プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置による実行のための適切な受信装置への送信のための情報を符号化するために生成された機械生成電気、光学、または電磁信号について符号化されることができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、またはそれらの１つ以上の組み合わせとすることができるか、またはそれらに含まれることができる。さらに、コンピュータ記憶媒体は、伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号に符号化されたコンピュータプログラム命令のソースまたは目的とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）とすることができるか、またはそれらに含まれることができる。
なお本開示は以下の項を含む実施形態を含むが、本開示はこれらの項に限定されるものではない。
（項１）
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像から少なくとも第１の領域および前記第１の領域とは異なる第２の領域を含む顔ランドマークを探索することと、
前記顔画像の前記第１の領域を、反射率チャネルおよびシェーディングチャネルを含む第１のチャネルに分解することと、
前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給して前記第１の領域において化粧が除去された第１の画像を取得することと、
前記顔画像の前記第２の領域を、色相チャネル、彩度チャネル、および色値チャネルを含むカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルを前記ヒストグラムマッチングに供給して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の画像と前記第２の画像とを組み合わせて前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
それぞれが異なる照明条件下での各顔画像の対応する第２の領域に化粧を有せず、事前定義されたヒストグラムを含む顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを前記事前定義されたヒストグラムのうちの対応するものとマッチングして前記第２の画像を取得することとを含む、方法。
（項２）
前記反射率チャネルが、前記顔画像の材料依存特性を含み、前記シェーディングチャネルが、前記顔画像の光依存特性を含む、項１に記載の方法。
（項３）
前記反射率チャネルが、１色のみを含み、前記シェーディングチャネルが、前記第１の領域の形状情報を保存する、項２に記載の方法。
（項４）
前記第１の領域が、目領域を含み、前記第２の領域が、唇領域を含む、項１に記載の方法。
（項５）
前記第１の領域の前記第１のチャネルを前記ヒストグラムマッチングに供給する前の前記第１の領域の化粧の種類が、前記顔画像の前記第２の領域をカラーチャネルに変換する前の前記第２の領域の化粧の種類とは異なる、項１に記載の方法。
（項６）
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、項１に記載の方法。
（項７）
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像の領域内の顔ランドマークを探索することと、
前記顔画像の前記領域を、色相チャネル、彩度チャネル、および色値チャネルから選択されるカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルをヒストグラムマッチングに供給して、前記領域において化粧が除去された結果画像を取得することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
事前定義されたヒストグラムを含む、化粧なしの顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを、前記事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含む、方法。
（項８）
前記ユーザの顔画像の前記領域が、唇領域を含む、項７に記載の方法。
（項９）
前記顔画像の前記領域をカラーチャネルに変換する前の前記顔画像の化粧が、口紅またはリップグロスである、項８に記載の方法。
（項１０）
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、項７に記載の方法。
（項１１）
さらに、
皮膚色データセットを収集することであって、標準唇色と比較して異なる照明条件についての対応する唇色シフトを有するそのような異なる照明条件下での皮膚色データが収集される、収集することと、
前記ユーザの画像から入力皮膚色を抽出することと、
前記皮膚色データセットを使用して前記入力皮膚色の特定の照明条件下での前記入力皮膚色の対応する唇色シフトを検出することと、
前記ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、前記最終修正唇色が、前記検出された色シフトを有する、項７に記載の方法。
（項１２）
入力画像から化粧を検出および除去するシステムであって、
ユーザインターフェースから化粧が適用された入力画像を受信し、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、を行うことができるように構成される、システム。
（項１３）
前記システムが、システムメモリおよびシステムプロセッサを有するコントローラを備え、前記コントローラが、前記入力画像を受信し、化粧を有しない前記顔のヒストグラムのデータセットおよび異なる照明条件下での前記顔のヒストグラムのデータセットを受信および／または前記システムメモリに記憶するように構成され、前記システムプロセッサが、顔画像を検出して顔ランドマークを探索することができるプログラミング命令を実行することができる、項１２に記載のシステム。
（項１４）
前記システムプロセッサが、前記入力画像の前記第１の領域の前記第１のチャネルへの分解および前記第１の領域の前記第１のチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができ、
前記システムプロセッサが、前記顔画像の前記第２の領域のカラーチャネルへの変換および異なる照明条件下での前記カラーチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができる、項１３に記載のシステム。
（項１５）
前記ユーザインターフェースが、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、またはスマートフォンデジタルビデオカメラである、項１４に記載のシステム。
（項１６）
顔を有する入力画像上に出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第１の領域を含み、前記第１の領域に関連付けられたランドマークが唇色を有する前記顔画像の唇に関連付けられ、前記第１の領域が唇領域を含む、探索することと、
（ｃ）前記画像の前記唇領域を少なくとも１つのカラーチャネルに変換し、前記唇領域の光分布を検出および分析することと、
（ｄ）変化する光分布にわたって前記少なくとも１つのカラーチャネルをヒストグラムマッチングに供給し、前記唇領域の前記光分布から変化する事前定義された光分布を有するヒストグラムを特定することにより、少なくとも１つの第１の出力効果を生成することと、
（ｅ）前記出力効果を前記第１の画像と組み合わせて、前記唇色と唇に適用された前記少なくとも１つの第１の出力効果とを有する第１の結果画像を提供することとを含む、方法。
（項１７）
前記少なくとも１つのカラーチャネルが、彩度チャネルおよび／または色値チャネルを含む、項１６に記載の方法。
（項１８）
前記変換ステップ（ｃ）の前に、前記方法が、さらに、前記ユーザの顔画像の前記唇領域から化粧を除去するステップを含む、項１６に記載の方法。
（項１９）
前記顔ランドマークが第２の領域を含み、前記第２の領域における前記ランドマークが前記顔画像の目と関連付けられ、前記第２の領域が目領域を含み、前記方法が、さらに、 （ｆ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｇ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に少なくとも１つの第２の出力効果を生成することと、
（ｈ）前記第１の結果画像を前記第２の画像および前記少なくとも１つの第２の出力効果と組み合わせ、前記事前定義された唇色および前記唇に対する前記少なくとも１つの第１の出力効果および前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、項１６に記載の方法。
（項２０）
前記少なくとも１つの第１のチャネルが、シェーディングまたは反射率のうちの１つを含む、項１９に記載の方法。
（項２１）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および滑らかさを追加し、前記少なくとも１つの第１の出力効果が、光沢効果を含む、項１６に記載の方法。
（項２２）
前記光沢効果が、前記透明度のレベルによって変化する、項２１に記載の方法。
（項２３）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、ランダムな反射率を追加し、前記少なくとも１つの出力効果が、自然効果を含む、項１６に記載の方法。
（項２４）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含む、項１６に記載の方法。
（項２５）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、きらめきを追加し、前記少なくとも１つの出力効果が、きらめき効果を含む、項１６に記載の方法。
（項２６）
前記ステップ（ｄ）および（ｅ）を繰り返して、前記第１の画像に少なくとも１つの異なる出力効果を生み出し、前記第１の画像における前記少なくとも１つの異なる出力効果のうちの１つを有する各結果画像が、前記第１の結果画像と組み合わせられ、前記少なくとも１つの第１の出力効果と、前記第１の画像に対する前記少なくとも１つの異なる出力効果のそれぞれとを有する最終結果画像を提供する、項１６に記載の方法。
（項２７）
前記方法が、さらに、ステップ（ｂ）の後に、前記唇領域の面積を計算し、前記唇領域の面積を所定の比率で拡大して目標拡大ランドマークを提供し、前記少なくとも１つの第１の出力効果に加えて膨らみ出力効果を生み出すことと、前記膨らみ出力効果を前記少なくとも１つの第１の出力効果および前記第１の画像と組み合わせて歪ませ、前記唇に適用された唇色、前記膨らみ出力効果および前記少なくとも１つの第１の出力効果を有する前記第１の結果画像を提供することとを含む、項１６に記載の方法。
（項２８）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含み、前記結果画像が、膨らんで艶のある外観を含む、項２７に記載の方法。
（項２９）
顔を有する入力画像に対する出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第２の領域を含み、前記第２の領域に関連付けられたランドマークが前記顔画像の目に関連付けられ、前記第２の領域が目領域を含む、探索することと、
（ｃ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｄ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に対して少なくとも１つの第２の出力効果を生成することと、
（ｅ）前記顔画像を前記少なくとも１つの第２の出力効果と組み合わせ、前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、方法。
（項３０）
高速顔検出およびランドマーク追跡のための方法であって、
２次元カメラを使用して入力画像をキャプチャすることと、
異なるスケールの画像を使用して画像ピラミッドを作成することと、
スライディングウィンドウおよびサポートベクターマシンを使用して勾配のヒストグラム特徴を適用して前記画像ピラミッドの画像上で顔の境界ボックスを見つけることと、
グローバル学習降下正規化モデルに基づく１つ以上の顔のランドマーク検出器を使用して、顔が存在する場合に前記境界ボックス内の前記顔を検出することとを含む、方法。
（項３１）
さらに、パッチを抽出し、ランドマーク平均シフトフィッティングを前記画像に適用してランドマークを平滑化し、前記画像ピラミッドにわたるランドマーク位置を正規化することと、３層ニューラルネットワークモデルを正確性検証モデルとして適用して誤形状をフィルタリングし、最終ランドマークを関連付けて選択することとを含む、項３０に記載の方法。
（項３２）
前記ニューラルネットワークの３層が、畳み込み層、アップサンプル層およびマッピング層である、項３１に記載の方法。
（項３３）
さらに、点分布モデルを使用してグラウンドトゥルースデータセットからノイズをフィルタリングしてランドマークビデオをより安定にすることを含む、高速移動に関連付けられた遅延を減らし、移動不足に関連付けられた揺れを減らすステップを含む、項３０に記載の方法。
（項３４）
顔画像に目化粧アドオン効果を仮想的に提供する方法であって、
（ａ）目の少なくとも１つの目化粧特徴のテンプレートを作成し、前記目化粧特徴に関連する前記テンプレート上のランドマーク地点に手動で注釈を付け、前記ランドマーク地点の場所をテキストファイルとして保存することと、
（ｂ）画像フレームのランドマーク検出器を使用して顔画像の目領域のランドマークを抽出することと、
（ｃ）前記画像の前記目領域をトリミングして、前記テンプレートの前記目化粧特徴に関連する前記ランドマークに基づいて画像フレームを作成することと、
（ｄ）前記画像フレームの前記目領域上の前記検出された抽出ランドマークから前記目領域の周りの線形補間によって地点を生成することと、
（ｅ）前記テンプレートの注釈付きランドマークに基づいて前記テンプレートの周りの地点を生成することと、
（ｆ）順方向歪みにより前記テンプレートを前記画像フレームに適用し、前記適用されたテンプレートから前記目化粧特徴を有する目領域画像フレームを作成することと、
（ｇ）前記目領域画像フレームを元の顔画像にトリミングして戻し、前記目化粧特徴を有する顔画像を作成することとを含む、方法。
（項３５）
前記目化粧特徴が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴から選択される、項３４に記載の方法。
（項３６）
ステップ（ａ）が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴のそれぞれについてテンプレートを作成することを含み、前記方法が、さらに、前記テンプレートにおける前記目特徴のうちの２つ以上について顔画像に対してステップ（ｂ）から（ｇ）を繰り返すことと、前記顔画像における２つ以上の特徴を組み合わせて合成目化粧外見を作成することとを含む、項３５に記載の方法。
（項３７）
顔画像に口紅テクスチャを仮想的に提供する方法であって、
深層畳み込みニューラルネットワーク構造を有する訓練モジュールを備えるテクスチャシミュレータを提供することと、
前処理モジュールにおいて入力唇領域を処理し、所望の口紅色のＬ ＊ ａ ＊ ｂ ＊ 色空間の輝度チャネルと重み付きカバレッジ係数とを使用して前記所望の口紅色および輝度向上を有するように前記入力唇領域を変更して輝度分布とシミュレートされた動的テクスチャとを有するＬチャネル画像を作成し、ａ ＊ チャネルおよびｂ ＊ チャネルについて入力画像をＲＧＢからＬ ＊ ａ ＊ ｂ ＊ 空間色に処理することと、
前記前処理モジュールから、訓練モジュールを使用して画像データセットに対して訓練されたモノチャネルスタイル移行モジュールに前記Ｌチャネル画像を供給し、前記データセットにおける参照スタイル画像に基づいて合成色およびテクスチャを有する合成Ｌチャネル画像を作成することと、
動的テクスチャシミュレーションを有する前記合成Ｌチャネル画像と、ＲＧＢ変換のための前記前処理モジュールからのａ ＊ チャネル画像およびｂ ＊ チャネル画像とを、ＲＧＢ変換のための後処理モジュールにおいてさらに処理することとを含む、方法。
なお本開示は以下の項を含む実施形態を含むが、本開示はこれらの項に限定されるものではない。
（項１）
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像から少なくとも第１の領域および前記第１の領域とは異なる第２の領域を含む顔ランドマークを探索することと、
前記顔画像の前記第１の領域を、反射率チャネルおよびシェーディングチャネルを含む第１のチャネルに分解することと、
前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給して前記第１の領域において化粧が除去された第１の画像を取得することと、
前記顔画像の前記第２の領域を、色相チャネル、彩度チャネル、および色値チャネルを含むカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルを前記ヒストグラムマッチングに供給して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の画像と前記第２の画像とを組み合わせて前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
それぞれが異なる照明条件下での各顔画像の対応する第２の領域に化粧を有せず、事前定義されたヒストグラムを含む顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを前記事前定義されたヒストグラムのうちの対応するものとマッチングして前記第２の画像を取得することとを含む、方法。
（項２）
前記反射率チャネルが、前記顔画像の材料依存特性を含み、前記シェーディングチャネルが、前記顔画像の光依存特性を含む、項１に記載の方法。
（項３）
前記反射率チャネルが、１色のみを含み、前記シェーディングチャネルが、前記第１の領域の形状情報を保存する、項２に記載の方法。
（項４）
前記第１の領域が、目領域を含み、前記第２の領域が、唇領域を含む、項１に記載の方法。
（項５）
前記第１の領域の前記第１のチャネルを前記ヒストグラムマッチングに供給する前の前記第１の領域の化粧の種類が、前記顔画像の前記第２の領域をカラーチャネルに変換する前の前記第２の領域の化粧の種類とは異なる、項１に記載の方法。
（項６）
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、項１に記載の方法。
（項７）
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像の領域内の顔ランドマークを探索することと、
前記顔画像の前記領域を、色相チャネル、彩度チャネル、および色値チャネルから選択されるカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルをヒストグラムマッチングに供給して、前記領域において化粧が除去された結果画像を取得することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
事前定義されたヒストグラムを含む、化粧なしの顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを、前記事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含む、方法。
（項８）
前記ユーザの顔画像の前記領域が、唇領域を含む、項７に記載の方法。
（項９）
前記顔画像の前記領域をカラーチャネルに変換する前の前記顔画像の化粧が、口紅またはリップグロスである、項８に記載の方法。
（項１０）
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、項７に記載の方法。
（項１１）
さらに、
皮膚色データセットを収集することであって、標準唇色と比較して異なる照明条件についての対応する唇色シフトを有するそのような異なる照明条件下での皮膚色データが収集される、収集することと、
前記ユーザの画像から入力皮膚色を抽出することと、
前記皮膚色データセットを使用して前記入力皮膚色の特定の照明条件下での前記入力皮膚色の対応する唇色シフトを検出することと、
前記ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、前記最終修正唇色が、前記検出された色シフトを有する、項７に記載の方法。
（項１２）
入力画像から化粧を検出および除去するシステムであって、
ユーザインターフェースから化粧が適用された入力画像を受信し、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、を行うことができるように構成される、システム。
（項１３）
前記システムが、システムメモリおよびシステムプロセッサを有するコントローラを備え、前記コントローラが、前記入力画像を受信し、化粧を有しない前記顔のヒストグラムのデータセットおよび異なる照明条件下での前記顔のヒストグラムのデータセットを受信および／または前記システムメモリに記憶するように構成され、前記システムプロセッサが、顔画像を検出して顔ランドマークを探索することができるプログラミング命令を実行することができる、項１２に記載のシステム。
（項１４）
前記システムプロセッサが、前記入力画像の前記第１の領域の前記第１のチャネルへの分解および前記第１の領域の前記第１のチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができ、
前記システムプロセッサが、前記顔画像の前記第２の領域のカラーチャネルへの変換および異なる照明条件下での前記カラーチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができる、項１３に記載のシステム。
（項１５）
前記ユーザインターフェースが、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、またはスマートフォンデジタルビデオカメラである、項１４に記載のシステム。
（項１６）
顔を有する入力画像上に出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第１の領域を含み、前記第１の領域に関連付けられたランドマークが唇色を有する前記顔画像の唇に関連付けられ、前記第１の領域が唇領域を含む、探索することと、
（ｃ）前記画像の前記唇領域を少なくとも１つのカラーチャネルに変換し、前記唇領域の光分布を検出および分析することと、
（ｄ）変化する光分布にわたって前記少なくとも１つのカラーチャネルをヒストグラムマッチングに供給し、前記唇領域の前記光分布から変化する事前定義された光分布を有するヒストグラムを特定することにより、少なくとも１つの第１の出力効果を生成することと、
（ｅ）前記出力効果を前記第１の画像と組み合わせて、前記唇色と唇に適用された前記少なくとも１つの第１の出力効果とを有する第１の結果画像を提供することとを含む、方法。
（項１７）
前記少なくとも１つのカラーチャネルが、彩度チャネルおよび／または色値チャネルを含む、項１６に記載の方法。
（項１８）
前記変換ステップ（ｃ）の前に、前記方法が、さらに、前記ユーザの顔画像の前記唇領域から化粧を除去するステップを含む、項１６に記載の方法。
（項１９）
前記顔ランドマークが第２の領域を含み、前記第２の領域における前記ランドマークが前記顔画像の目と関連付けられ、前記第２の領域が目領域を含み、前記方法が、さらに、 （ｆ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｇ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に少なくとも１つの第２の出力効果を生成することと、
（ｈ）前記第１の結果画像を前記第２の画像および前記少なくとも１つの第２の出力効果と組み合わせ、前記事前定義された唇色および前記唇に対する前記少なくとも１つの第１の出力効果および前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、項１６に記載の方法。
（項２０）
前記少なくとも１つの第１のチャネルが、シェーディングまたは反射率のうちの１つを含む、項１９に記載の方法。
（項２１）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および滑らかさを追加し、前記少なくとも１つの第１の出力効果が、光沢効果を含む、項１６に記載の方法。
（項２２）
前記光沢効果が、前記透明度のレベルによって変化する、項２１に記載の方法。
（項２３）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、ランダムな反射率を追加し、前記少なくとも１つの出力効果が、自然効果を含む、項１６に記載の方法。
（項２４）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含む、項１６に記載の方法。
（項２５）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、きらめきを追加し、前記少なくとも１つの出力効果が、きらめき効果を含む、項１６に記載の方法。
（項２６）
前記ステップ（ｄ）および（ｅ）を繰り返して、前記第１の画像に少なくとも１つの異なる出力効果を生み出し、前記第１の画像における前記少なくとも１つの異なる出力効果のうちの１つを有する各結果画像が、前記第１の結果画像と組み合わせられ、前記少なくとも１つの第１の出力効果と、前記第１の画像に対する前記少なくとも１つの異なる出力効果のそれぞれとを有する最終結果画像を提供する、項１６に記載の方法。
（項２７）
前記方法が、さらに、ステップ（ｂ）の後に、前記唇領域の面積を計算し、前記唇領域の面積を所定の比率で拡大して目標拡大ランドマークを提供し、前記少なくとも１つの第１の出力効果に加えて膨らみ出力効果を生み出すことと、前記膨らみ出力効果を前記少なくとも１つの第１の出力効果および前記第１の画像と組み合わせて歪ませ、前記唇に適用された唇色、前記膨らみ出力効果および前記少なくとも１つの第１の出力効果を有する前記第１の結果画像を提供することとを含む、項１６に記載の方法。
（項２８）
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含み、前記結果画像が、膨らんで艶のある外観を含む、項２７に記載の方法。
（項２９）
顔を有する入力画像に対する出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第２の領域を含み、前記第２の領域に関連付けられたランドマークが前記顔画像の目に関連付けられ、前記第２の領域が目領域を含む、探索することと、
（ｃ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｄ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に対して少なくとも１つの第２の出力効果を生成することと、
（ｅ）前記顔画像を前記少なくとも１つの第２の出力効果と組み合わせ、前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、方法。
（項３０）
高速顔検出およびランドマーク追跡のための方法であって、
２次元カメラを使用して入力画像をキャプチャすることと、
異なるスケールの画像を使用して画像ピラミッドを作成することと、
スライディングウィンドウおよびサポートベクターマシンを使用して勾配のヒストグラム特徴を適用して前記画像ピラミッドの画像上で顔の境界ボックスを見つけることと、
グローバル学習降下正規化モデルに基づく１つ以上の顔のランドマーク検出器を使用して、顔が存在する場合に前記境界ボックス内の前記顔を検出することとを含む、方法。
（項３１）
さらに、パッチを抽出し、ランドマーク平均シフトフィッティングを前記画像に適用してランドマークを平滑化し、前記画像ピラミッドにわたるランドマーク位置を正規化することと、３層ニューラルネットワークモデルを正確性検証モデルとして適用して誤形状をフィルタリングし、最終ランドマークを関連付けて選択することとを含む、項３０に記載の方法。
（項３２）
前記ニューラルネットワークの３層が、畳み込み層、アップサンプル層およびマッピング層である、項３１に記載の方法。
（項３３）
さらに、点分布モデルを使用してグラウンドトゥルースデータセットからノイズをフィルタリングしてランドマークビデオをより安定にすることを含む、高速移動に関連付けられた遅延を減らし、移動不足に関連付けられた揺れを減らすステップを含む、項３０に記載の方法。
（項３４）
顔画像に目化粧アドオン効果を仮想的に提供する方法であって、
（ａ）目の少なくとも１つの目化粧特徴のテンプレートを作成し、前記目化粧特徴に関連する前記テンプレート上のランドマーク地点に手動で注釈を付け、前記ランドマーク地点の場所をテキストファイルとして保存することと、
（ｂ）画像フレームのランドマーク検出器を使用して顔画像の目領域のランドマークを抽出することと、
（ｃ）前記画像の前記目領域をトリミングして、前記テンプレートの前記目化粧特徴に関連する前記ランドマークに基づいて画像フレームを作成することと、
（ｄ）前記画像フレームの前記目領域上の前記検出された抽出ランドマークから前記目領域の周りの線形補間によって地点を生成することと、
（ｅ）前記テンプレートの注釈付きランドマークに基づいて前記テンプレートの周りの地点を生成することと、
（ｆ）順方向歪みにより前記テンプレートを前記画像フレームに適用し、前記適用されたテンプレートから前記目化粧特徴を有する目領域画像フレームを作成することと、
（ｇ）前記目領域画像フレームを元の顔画像にトリミングして戻し、前記目化粧特徴を有する顔画像を作成することとを含む、方法。
（項３５）
前記目化粧特徴が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴から選択される、項３４に記載の方法。
（項３６）
ステップ（ａ）が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴のそれぞれについてテンプレートを作成することを含み、前記方法が、さらに、前記テンプレートにおける前記目特徴のうちの２つ以上について顔画像に対してステップ（ｂ）から（ｇ）を繰り返すことと、前記顔画像における２つ以上の特徴を組み合わせて合成目化粧外見を作成することとを含む、項３５に記載の方法。
（項３７）
顔画像に口紅テクスチャを仮想的に提供する方法であって、
深層畳み込みニューラルネットワーク構造を有する訓練モジュールを備えるテクスチャシミュレータを提供することと、
前処理モジュールにおいて入力唇領域を処理し、所望の口紅色のＬ ＊ ａ ＊ ｂ ＊ 色空間の輝度チャネルと重み付きカバレッジ係数とを使用して前記所望の口紅色および輝度向上を有するように前記入力唇領域を変更して輝度分布とシミュレートされた動的テクスチャとを有するＬチャネル画像を作成し、ａ ＊ チャネルおよびｂ ＊ チャネルについて入力画像をＲＧＢからＬ ＊ ａ ＊ ｂ ＊ 空間色に処理することと、
前記前処理モジュールから、訓練モジュールを使用して画像データセットに対して訓練されたモノチャネルスタイル移行モジュールに前記Ｌチャネル画像を供給し、前記データセットにおける参照スタイル画像に基づいて合成色およびテクスチャを有する合成Ｌチャネル画像を作成することと、
動的テクスチャシミュレーションを有する前記合成Ｌチャネル画像と、ＲＧＢ変換のための前記前処理モジュールからのａ ＊ チャネル画像およびｂ ＊ チャネル画像とを、ＲＧＢ変換のための後処理モジュールにおいてさらに処理することとを含む、方法。
Claims (78)
- 顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像から少なくとも第１の領域および前記第１の領域とは異なる第２の領域を含む顔ランドマークを探索することと、
前記顔画像の前記第１の領域を第１のチャネルに分解することと、
前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給して前記第１の領域において化粧が除去された第１の画像を取得することと、
前記顔画像の前記第２の領域をカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルを前記ヒストグラムマッチングに供給して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の画像と前記第２の画像とを組み合わせて前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することとを含む、方法。 - 前記第１のチャネルが、反射率チャネルおよびシェーディングチャネルを含む、請求項１に記載の方法。
- 前記反射率チャネルが、前記顔画像の材料依存特性を含み、前記シェーディングチャネルが、前記顔画像の光依存特性を含む、請求項２に記載の方法。
- 前記反射率チャネルが、１色のみを含み、前記シェーディングチャネルが、前記第１の領域の形状情報を保存する、請求項３に記載の方法。
- 前記第１の領域が、目領域を含み、前記第２の領域が、唇領域を含む、請求項１に記載の方法。
- 前記第１の領域の前記第１のチャネルを前記ヒストグラムマッピングに供給する前の前記第１の領域の化粧の種類が、前記顔画像の前記第２の領域をカラーチャネルに変換する前の前記第２の領域の化粧の種類とは異なる、請求項１に記載の方法。
- 前記カラーチャネルが、色相チャネル、彩度チャネル、および色値チャネルを含む、請求項１に記載の方法。
- 前記カラーチャネルをヒストグラムマッチングに供給することが、
それぞれが異なる照明条件下での各顔画像の対応する第２の領域に化粧を有せず、事前定義されたヒストグラムを含む顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを前記事前定義されたヒストグラムのうちの対応するものとマッチングして前記第２の画像を取得することとを含む、請求項１に記載の方法。 - 前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、請求項８に記載の方法。
- 顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像の領域内の顔ランドマークを探索することと、
前記顔画像の前記領域を別個のチャネルに分解することと、
前記領域の前記別個のチャネルをヒストグラムマッチングに供給して前記領域において化粧が除去された結果画像を取得することとを含む、方法。 - 前記ユーザの顔画像の前記領域が、目領域を含む、請求項１０に記載の方法。
- 前記画像を分解する前の前記ユーザの顔画像の化粧が、目の化粧を含む、請求項１１に記載の方法。
- 前記別個のチャネルが、反射率チャネルおよびシェーディングチャネルを含む、請求項１０に記載の方法。
- 前記反射率チャネルが、前記顔画像の材料依存特性を含み、前記シェーディングチャネルが、前記顔画像の光依存特性を含む、請求項１０に記載の方法。
- 前記反射率チャネルが、１色のみを含み、前記シェーディングチャネルが、前記第１の領域の形状情報を保存する、請求項１０に記載の方法。
- 顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像の領域内の顔ランドマークを探索することと、
前記顔画像の前記領域をカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルをヒストグラムマッチングに供給して、前記領域において化粧が除去された結果画像を取得することとを含む、方法。 - 前記ユーザの顔画像の前記領域が、唇領域を含む、請求項１６に記載の方法。
- 前記顔画像の前記領域をカラーチャネルに変換する前の前記顔画像の化粧が、口紅またはリップグロスである、請求項１７に記載の方法。
- 前記カラーチャネルが、色相チャネル、彩度チャネル、および色値チャネルを含む、請求項１６に記載の方法。
- 前記カラーチャネルをヒストグラムマッチングに供給することが、
事前定義されたヒストグラムを含む、化粧なしの顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを、前記事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含む、請求項１６に記載の方法。 - 前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、請求項２０に記載の方法。
- さらに、
皮膚色データセットを収集することであって、標準唇色と比較して異なる照明条件についての対応する唇色シフトを有するそのような異なる照明条件下での皮膚色データが収集される、収集することと、
前記ユーザの画像から入力皮膚色を抽出することと、
前記皮膚色データセットを使用して前記入力皮膚色の特定の照明条件下での前記入力皮膚色の対応する唇色シフトを検出することと、
前記ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、前記最終修正唇色が、前記検出された色シフトを有する、請求項１６に記載の方法。 - 入力画像から化粧を検出および除去するシステムであって、
ユーザインターフェースから化粧が適用された入力画像を受信し、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、を行うことができるように構成される、システム。 - 前記システムが、システムメモリおよびシステムプロセッサを有するコントローラを備え、前記コントローラが、前記入力画像を受信し、化粧を有しない前記顔のヒストグラムのデータセットおよび異なる照明条件下での前記顔のヒストグラムのデータセットを受信および／または前記メモリに記憶するように構成され、前記システムプロセッサが、顔画像を検出して顔ランドマークを探索することができるプログラミング命令を実行することができる、請求項２３に記載のシステム。
- 前記プロセッサが、前記入力画像の前記第１の領域の前記第１のチャネルへの分解および前記第１の領域の前記第１のチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができ、
前記プロセッサが、前記顔画像の前記第２の領域のカラーチャネルへの変換および異なる照明条件下での前記カラーチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができる、請求項２４に記載のシステム。 - 前記ユーザインターフェースが、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、またはスマートフォンデジタルビデオカメラである、請求項２３に記載のシステム。
- 顔を有する入力画像上に出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第１の領域を含み、前記第１の領域に関連付けられたランドマークが唇色を有する前記顔画像の唇に関連付けられ、前記第１の領域が唇領域を含む、探索することと、
（ｃ）前記画像の前記唇領域を少なくとも１つのカラーチャネルに変換し、前記唇領域の光分布を検出および分析することと、
（ｄ）変化する光分布にわたって前記少なくとも１つのカラーチャネルをヒストグラムマッチングに供給し、前記唇領域の前記光分布から変化する事前定義された光分布を有するヒストグラムを特定することにより、少なくとも１つの第１の出力効果を生成することと、
（ｅ）前記出力効果を前記第１の画像と組み合わせて、前記唇色と唇に適用された前記少なくとも１つの第１の出力効果とを有する第１の結果画像を提供することとを含む、方
法。 - 前記少なくとも１つのカラーチャネルが、彩度チャネルおよび／または色値チャネルを含む、請求項２７に記載の方法。
- 前記変換ステップ（ｃ）の前に、前記方法が、さらに、前記ユーザの顔画像の前記唇領域から化粧を除去するステップを含む、請求項２７に記載の方法。
- 前記顔ランドマークが第２の領域を含み、前記第２の領域における前記ランドマークが前記顔画像の目と関連付けられ、前記第２の領域が目領域を含み、前記方法が、さらに、
（ｆ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｇ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に少なくとも１つの第２の出力効果を生成することと、
（ｈ）前記第１の結果画像を前記第２の画像および前記少なくとも１つの第２の出力効果と組み合わせ、前記事前定義された唇色および前記唇に対する前記少なくとも１つの第１の出力効果および前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、請求項２７に記載の方法。 - 前記少なくとも１つの第１のチャネルが、シェーディングまたは反射率のうちの１つを含む、請求項３０に記載の方法。
- 前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および滑らかさを追加し、前記少なくとも１つの第１の出力効果が、光沢効果を含む、請求項２７に記載の方法。
- 前記光沢効果が、前記透明度のレベルによって変化する、請求項３２に記載の方法。
- 前記事前定義された光分布を有する前記ヒストグラムの光分布が、ランダムな反射率を追加し、前記少なくとも１つの出力効果が、自然効果を含む、請求項２７に記載の方法。
- 前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含む、請求項２７に記載の方法。
- 前記事前定義された光分布を有する前記ヒストグラムの光分布が、きらめきを追加し、前記少なくとも１つの出力効果が、きらめき効果を含む、請求項２７に記載の方法。
- 前記ステップ（ｄ）および（ｅ）を繰り返して、前記第１の画像に少なくとも１つの異なる出力効果を生み出し、前記第１の画像における前記少なくとも１つの異なる出力効果のうちの１つを有する各結果画像が、前記第１の結果画像と組み合わせられ、前記少なくとも１つの第１の出力効果と、前記第１の画像に対する前記少なくとも１つの異なる出力効果のそれぞれとを有する最終結果画像を提供する、請求項２７に記載の方法。
- 前記方法が、さらに、ステップ（ｂ）の後に、前記唇領域の面積を計算し、前記唇領域の面積を所定の比率で拡大して目標拡大ランドマークを提供し、前記少なくとも１つの第１の出力効果に加えて膨らみ出力効果を生み出すことと、前記膨らみ出力効果を前記少なくとも１つの第１の出力効果および前記第１の画像と組み合わせて歪ませ、前記唇に適用
された唇色、前記膨らみ出力効果および前記少なくとも１つの第１の出力効果を有する前記第１の結果画像を提供することとを含む、請求項２７に記載の方法。 - 前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含み、前記結果画像が、膨らんで艶のある外観を含む、請求項３８に記載の方法。
- 顔を有する入力画像に対する出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第２の領域を含み、前記第２の領域に関連付けられたランドマークが前記顔画像の目に関連付けられ、前記第２の領域が目領域を含む、探索することと、
（ｃ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｄ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に対して少なくとも１つの第２の出力効果を生成することと、
（ｅ）第１の結果画像を第２の画像および前記少なくとも１つの第２の出力効果と組み合わせ、事前定義された唇色および目に対する少なくとも１つの第１の出力効果および前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、方法。 - 化粧推薦システムであって、
変化する化粧スタイルを提供するための少なくとも１つの訓練されたニューラルネットワークモデルと、
化粧品データベースと、
化粧注釈システムとを備え、
前記化粧推薦システムが、前記注釈システムによって注釈付けされた前記少なくとも１つの訓練されたニューラルネットワーク内のデータおよび／または前記化粧品データベースからの推薦品に基づいて、ユーザへのパーソナライズされた段階的な化粧指示を生成することができ、前記ユーザの入力画像に基づいて前記ユーザに仮想化粧アプリケーションを段階的に表示することができる、化粧推薦システム。 - 前記少なくとも１つの訓練されたモデルが、深層学習フレームワークから導出される、請求項４０に記載のシステム。
- 前記深層学習フレームワークが、
選択された化粧スタイルが適用された顔画像、および
前記化粧注釈システムからの出力グラウンドトゥルースデータ
を含むデータ入力を受信する、請求項４１に記載のシステム。 - 前記注釈システムが、選択された化粧スタイルが適用された顔画像に注釈を付け、前記注釈付き顔画像が、前記ニューラルネットワークの訓練データを提供する、請求項４０に記載のシステム。
- 前記化粧スタイルが、手動で選択されて注釈付けされる、請求項４４に記載のシステム。
- 入力画像がユーザのビデオからのフレームである、請求項４０に記載のシステム。
- さらに、少なくとも１つの仮想化粧チュートリアルを備える、請求項４０に記載のシステム。
- 前記段階的な指示が、
（ａ）第１の種類の化粧用の第１の選択された色を表示することと、
（ｂ）前記選択された色の化粧の種類を前記ユーザの顔の入力画像の対応する領域に仮想的に適用することとを含む、請求項４０に記載のシステム。 - 前記ステップ（ａ）および（ｂ）が、少なくとも１つのさらなる選択された色および少なくとも１つの第２の種類の化粧について繰り返され、前記推薦システムにおけるデータに基づいて前記ユーザの入力画像に対して所望の化粧外見を生み出す、請求項４８に記載のシステム。
- さらに、前記入力画像の明るさを調整するシステムを備え、前記明るさを調整するシステムが、皮膚色推定器を使用して、前記ユーザの入力画像内の顔の正規化皮膚色を推定し、顔ランドマークを検出し、顔領域、画像中心領域および境界領域に対して異なる重み係数を割り当て、前記入力画像の平均明るさを計算し、前記平均明るさを前記推定された正規化皮膚色と比較して補正係数を生成し、前記補正係数に従って多項式変換を使用して前記入力画像に曲線変換を適用するように構成される、請求項４０に記載のシステム。
- 仮想化粧の試用または除去方法に有用な入力画像の明るさを調整するシステムであって、
皮膚色推定器を使用してユーザの入力画像における顔の正規化皮膚色を推定するステップと、
顔ランドマークを検出し、重み係数を顔領域、画像中心領域および境界領域に割り当てるステップと、
前記入力画像の平均明るさを計算するステップと、
前記平均明るさを前記顔の前記推定された正規化皮膚色と比較して補正係数を生成するステップと、
前記補正係数に従って多項式変換を使用して曲線変換を前記入力画像に適用するステップとを実行するように構成されたソフトウェアを有する、システム。 - 較正色を提供するシステムであって、
デジタルカメラを有する装置から受信したユーザの入力画像に応じてカラーパッチを有する色参照チャートを自動的に検出するステップと、
前記カラーパッチのそれぞれの画素値を読み取るステップと、
前記色参照チャートからの検出された情報を、ゴールデン標準システムに基づいてキャプチャされた記憶された色参照チャートの画素値と比較するステップと、
前記入力画像が前記ゴールデン標準システムに合わせて変更されて色の一貫性を維持するように前記カメラの較正パラメータを制御システムに送信するステップとを実行するように構成されたシステム。 - 前記較正色を提供するシステムによって較正された色が、オブジェクトの色を判定し、製品の色を判定し、ユーザに適用される化粧品の色を判定し、色の変化を評価するために使用することができる、請求項５２に記載のシステム。
- 仮想化粧チュートリアルを提供する方法であって、
１つ以上の既存の化粧ビデオからキーフレームを選択すること、および／または
選択されたキーフレームにおける製品名文字の検出、製品名を探索するための文字認識
の使用、または製品データベース内の製品を評価する訓練された製品分類器から導出された分類器による製品の探索によって既存の化粧ビデオにおける製品名を検出することと、
選択されたキーフレームからの化粧情報および化粧チュートリアル概要において検出された製品名を要約することと、
前記化粧チュートリアル概要に基づいて仮想化粧チュートリアルを生成することとを含む、方法。 - 前記キーフレームが、
前記１つ以上の既存の化粧ビデオからのビデオデータをセグメントに分割し、
フレームの相違、色ヒストグラムおよび／またはカメラの動きに基づいて一組の候補キーフレームを生成し、
一組の基準と前のフレームまたは後のフレームに対する異なる種類の化粧があるかどうかとに基づいて最終キーフレームを選択する
ことによって選択される、請求項５４に記載の方法。 - 高速顔検出およびランドマーク追跡のための方法であって、
２次元カメラを使用して入力画像をキャプチャすることと、
異なるスケールの画像を使用して画像ピラミッドを作成することと、
スライディングウィンドウおよびサポートベクターマシンを使用して勾配のヒストグラム特徴を適用して前記画像ピラミッドの画像上で顔の境界ボックスを見つけることと、
グローバル学習降下正規化モデルに基づく１つ以上の顔のランドマーク検出器を使用して、顔が存在する場合に前記境界ボックス内の前記顔を検出することとを含む、方法。 - さらに、パッチを抽出し、ランドマーク平均シフトフィッティングを前記画像に適用してランドマークデータを平滑化し、前記画像ピラミッドにわたるランドマーク位置を正規化することと、３層ニューラルネットワークモデルを正確性検証モデルとして適用して誤形状をフィルタリングし、最終ランドマークを関連付けて選択することとを含む、請求項５６に記載の方法。
- 前記ニューラルネットワークの３層が、畳み込み層、アップサンプル層およびマッピング層である、請求項５７に記載の方法。
- さらに、点分布モデルを使用してグラウンドトゥルースデータセットからノイズをフィルタリングしてランドマークビデオをより安定にすることを含む、高速移動に関連付けられた遅延を減らし、移動不足に関連付けられた揺れを減らすステップを含む、請求項５６に記載の方法。
- 顔画像から唇領域を抽出する方法であって、
（ａ）入力顔画像上の顔ランドマークを使用して顔領域を探索することと、
（ｂ）前記ランドマークを使用して前記顔領域を取得して非顔背景を除去することと、
（ｃ）各画素がＬ＊ａ＊ｂ＊空間における色値を有するＬ＊ａ＊ｂ＊空間を使用して顔色に基づくガウス混合モデルを前記入力顔画像の下部に適用し、前記入力顔画像の一部における各画素の確率を計算して基準閾値以上であるかどうかを判定し、前記顔領域が検出される前記顔画像の一部における皮膚領域の確率マップを生成することと、
（ｄ）前記確率顔マップから初期顔領域バイナリ画像を生成することと、
（ｅ）反復法を使用して前記基準閾値を調整し、改良バイナリ画像を判定することと、
（ｆ）事前に決定された基準に基づいて各反復において前記改良バイナリ画像を評価し、前記改良バイナリ画像を使用して前記顔領域を検出することとを含む、方法。 - 前記ガウス混合モデルが３つの成分を有する、請求項６０に記載の方法。
- 前記閾値が、配列を使用してオフセットによって調整され、前記基準閾値を繰り返し改良する、請求項６０に記載の方法。
- 前記事前に決定された基準が、前記顔領域の周りの外部矩形の幅と高さの比、前記顔領域の面積と前記外部矩形の面積との比、および前記顔領域の面積と前記顔画像の一部の面積との比のうちの１つ以上を含む、請求項６０に記載の方法。
- 前記顔領域が、唇領域であり、前記顔画像の一部が、前記顔画像の下部である、請求項６０に記載の方法。
- さらに、改良ガウス混合モデルにおける前記初期顔領域および前記非顔領域の画素のＬ＊ａ＊ｂ＊色空間色を使用することと、前記初期顔領域および前記非顔領域の確率マップを計算することと、前記顔領域の検出に使用する前記ガウス混合モデルを使用して全体的な確率マップを作成することとを含む、請求項６０に記載の方法。
- さらに、エッジ検出および輪郭化を使用して前記全体的な確率マップを平滑化することを含む、請求項６５に記載の方法。
- 顔画像に目化粧アドオン効果を仮想的に提供する方法であって、
（ａ）目の少なくとも１つの目化粧特徴のテンプレートを作成し、前記目化粧特徴に関連する前記テンプレート上のランドマーク地点に手動で注釈を付け、前記ランドマーク地点の場所をテキストファイルとして保存することと、
（ｂ）画像フレームのランドマーク検出器を使用して顔画像の目領域のランドマークを抽出することと、
（ｃ）前記画像の前記目領域をトリミングして、前記テンプレートの前記目化粧特徴に関連する前記ランドマークに基づいて画像フレームを作成することと、
（ｄ）前記画像フレームの前記目領域上の前記検出された抽出ランドマークから前記目領域の周りの線形補間によって地点を生成することと、
（ｅ）前記テンプレートの注釈付きランドマークに基づいて前記テンプレートの周りの地点を生成することと、
（ｆ）順方向歪みにより前記テンプレートを前記画像フレームに適用し、前記適用されたテンプレートから前記目化粧特徴を有する目領域画像フレームを作成することと、
（ｇ）前記目領域画像フレームを元の顔画像にトリミングして戻し、前記目化粧特徴を有する顔画像を作成することとを含む、方法。 - 前記目化粧特徴が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴から選択される、請求項６７に記載の方法。
- ステップ（ａ）が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴のそれぞれについてテンプレートを作成することを含み、前記方法が、さらに、前記テンプレートにおける前記目特徴のうちの２つ以上について顔画像に対してステップ（ｂ）から（ｇ）を繰り返すことと、前記顔画像における２つ以上の特徴を組み合わせて合成目化粧外見を作成することとを含む、請求項６８に記載の方法。
- 顔画像に口紅テクスチャを仮想的に提供する方法であって、
深層畳み込みニューラルネットワーク構造を有する訓練モジュールを備えるテクスチャシミュレータを提供することと、
前処理モジュールにおいて入力唇領域を処理し、所望の口紅色のＬ＊ａ＊ｂ＊色空間の輝度チャネルと重み付きカバレッジ係数とを使用して前記所望の口紅色および輝度向上を有するように前記入力唇領域を変更して輝度分布とシミュレートされた動的テクスチャとを有するＬチャネル画像を作成し、ａ＊チャネルおよびｂ＊チャネルについて入力画像をＲＧＢからＬ＊ａ＊ｂ＊空間色に処理することと、
前記前処理モジュールから、訓練モジュールを使用して画像データセットに対して訓練されたモノチャネルスタイル移行モジュールに前記Ｌチャネル画像を供給し、前記データセットにおける参照スタイル画像に基づいて合成色およびテクスチャを有する合成Ｌチャネル画像を作成することと、
動的テクスチャシミュレーションを有する前記合成Ｌチャネル画像と、ＲＧＢ変換のための前記前処理モジュールからのａ＊チャネル画像およびｂ＊チャネル画像とを、ＲＧＢ変換のための後処理モジュールにおいてさらに処理することとを含む、方法。 - 入力画像を使用した仮想化粧除去および仮想化粧適用のためのシステムであって、
ユーザインターフェースから化粧が適用された入力画像を受信し、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、
前記化粧が除去された前記結果顔画像の前記第１の領域に対して所定種類の化粧を仮想的に適用し、および／または前記化粧が除去された前記結果顔画像の前記第２の領域に対して第２の種類の化粧を適用することと、を行うことができるように構成される、システム。 - 前記第１の種類の化粧が、仮想化粧アドオンであり、前記第２の種類の化粧が、仮想口紅である、請求項７１に記載のシステム。
- 前記システムが、さらに、前記第１の種類の化粧および／または前記第２の種類の化粧に出力終了効果を提供することができる、請求項７２に記載のシステム。
- 前記システムが、さらに、前記第２の種類の化粧にシミュレートされたテクスチャを提供することができる、請求項７３に記載のシステム。
- 入力画像を使用した仮想化粧除去および仮想化粧適用のための方法であって、
ユーザインターフェースから化粧が適用された入力画像を受信することと、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを
使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、
前記化粧が除去された前記結果顔画像の前記第１の領域に対して所定種類の化粧を仮想的に適用し、および／または前記化粧が除去された前記結果顔画像の前記第２の領域に対して第２の種類の化粧を適用することとを含む、方法。 - 前記第１の種類の化粧が、仮想化粧アドオンであり、前記第２の種類の化粧が、仮想口紅である、請求項７５に記載の方法。
- 前記システムが、さらに、前記第１の種類の化粧および／または前記第２の種類の化粧に出力終了効果を提供することができる、請求項７５に記載の方法。
- 前記システムが、さらに、前記第２の種類の化粧にシミュレートされたテクスチャを提供することができる、請求項７７に記載のシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024098425A JP2024120013A (ja) | 2017-07-13 | 2024-06-19 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762531929P | 2017-07-13 | 2017-07-13 | |
| US62/531,929 | 2017-07-13 | ||
| PCT/US2018/042175 WO2019014646A1 (en) | 2017-07-13 | 2018-07-13 | REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING |
| JP2019566775A JP7200139B2 (ja) | 2017-07-13 | 2018-07-13 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019566775A Division JP7200139B2 (ja) | 2017-07-13 | 2018-07-13 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024098425A Division JP2024120013A (ja) | 2017-07-13 | 2024-06-19 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023036784A true JP2023036784A (ja) | 2023-03-14 |
Family
ID=64999954
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019566775A Active JP7200139B2 (ja) | 2017-07-13 | 2018-07-13 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
| JP2022204236A Pending JP2023036784A (ja) | 2017-07-13 | 2022-12-21 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
| JP2024098425A Pending JP2024120013A (ja) | 2017-07-13 | 2024-06-19 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019566775A Active JP7200139B2 (ja) | 2017-07-13 | 2018-07-13 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024098425A Pending JP2024120013A (ja) | 2017-07-13 | 2024-06-19 | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 |
Country Status (7)
| Country | Link |
|---|---|
| US (5) | US10939742B2 (ja) |
| EP (1) | EP3652701A4 (ja) |
| JP (3) | JP7200139B2 (ja) |
| KR (1) | KR20200026808A (ja) |
| CN (1) | CN111066060B (ja) |
| TW (1) | TW201931179A (ja) |
| WO (1) | WO2019014646A1 (ja) |
Families Citing this family (123)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9544598B2 (en) | 2010-09-10 | 2017-01-10 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| WO2019010134A1 (en) | 2017-07-03 | 2019-01-10 | Hunsmann Margrit Sieglinde | COLOR MOTOR |
| TW201931179A (zh) | 2017-07-13 | 2019-08-01 | 美商美國資生堂公司 | 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法 |
| US11410400B2 (en) | 2017-12-29 | 2022-08-09 | Pcms Holdings, Inc. | Method and system for maintaining color calibration using common objects |
| US10755447B2 (en) * | 2018-04-19 | 2020-08-25 | Adobe Inc. | Makeup identification using deep learning |
| JP7135472B2 (ja) * | 2018-06-11 | 2022-09-13 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及び表示制御プログラム |
| US10571799B1 (en) * | 2018-08-27 | 2020-02-25 | Asml Us, Llc | Hessian-free calculation of product of Hessian matrix and vector for lithography optimization |
| US10685470B2 (en) * | 2018-09-12 | 2020-06-16 | Adobe Inc. | Generating and providing composition effect tutorials for creating and editing digital content |
| US11940978B2 (en) * | 2018-09-19 | 2024-03-26 | International Business Machines Corporation | Distributed platform for computation and trusted validation |
| US11032063B2 (en) | 2018-09-19 | 2021-06-08 | International Business Machines Corporation | Distributed platform for computation and trusted validation |
| JP6949795B2 (ja) * | 2018-09-25 | 2021-10-13 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
| US11803974B2 (en) * | 2018-10-05 | 2023-10-31 | The Trustees Of Princeton University | Automated system to measure multi-animal body part dynamics |
| JP7412348B2 (ja) * | 2018-10-29 | 2024-01-12 | サターン ライセンシング エルエルシー | 表示装置、及び表示制御方法 |
| US10846518B2 (en) * | 2018-11-28 | 2020-11-24 | National Yunlin University Of Science And Technology | Facial stroking detection method and system thereof |
| US10664642B1 (en) * | 2018-11-30 | 2020-05-26 | International Business Machines Corporation | Constructing via meshes for high performance routing on silicon chips |
| US11908234B2 (en) * | 2018-11-30 | 2024-02-20 | Interdigital Vc Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
| US11961224B2 (en) * | 2019-01-04 | 2024-04-16 | Stella Surgical | Device for the qualitative evaluation of human organs |
| CN109784281A (zh) * | 2019-01-18 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于人脸特征的产品推荐方法、装置及计算机设备 |
| CN111582005B (zh) * | 2019-02-18 | 2023-08-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| US10949649B2 (en) * | 2019-02-22 | 2021-03-16 | Image Metrics, Ltd. | Real-time tracking of facial features in unconstrained video |
| KR20200106113A (ko) * | 2019-02-26 | 2020-09-11 | 주식회사 틸투원 | 컨볼루션 뉴럴 네트워크 모델을 이용한 이미지의 원색 복원 장치 및 방법 |
| CN109961488A (zh) * | 2019-03-25 | 2019-07-02 | 中国银联股份有限公司 | 一种实物图像生成方法及装置 |
| US11182963B2 (en) * | 2019-04-03 | 2021-11-23 | Posnap, Inc. | Computerized system and method for providing a mobile augmented reality item display and selection experience |
| JP7417631B2 (ja) * | 2019-04-23 | 2024-01-18 | ロレアル | 畳み込みニューラルネットワークベースのランドマークトラッカ |
| US11218668B2 (en) * | 2019-05-09 | 2022-01-04 | Present Communications, Inc. | Video conferencing method |
| US11902708B2 (en) * | 2019-05-09 | 2024-02-13 | Present Communications, Inc. | Method for generating a synthetic skin model |
| US11069094B1 (en) * | 2019-05-13 | 2021-07-20 | Facebook, Inc. | Generating realistic makeup in a digital video stream |
| CN110223218B (zh) * | 2019-05-16 | 2024-01-12 | 北京达佳互联信息技术有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN110363704B (zh) * | 2019-05-29 | 2023-01-03 | 西北大学 | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 |
| CN113924603A (zh) * | 2019-06-11 | 2022-01-11 | Oppo广东移动通信有限公司 | 使用面部组分特定局部细化于面部界标检测的方法及系统 |
| US11348334B1 (en) * | 2019-06-30 | 2022-05-31 | George Douglas MacEwen | Methods and systems for skin color matching using an imaging device and a controlled light source |
| US11191342B2 (en) * | 2019-07-18 | 2021-12-07 | L'oreal | Techniques for identifying skin color in images having uncontrolled lighting conditions |
| WO2021031147A1 (en) * | 2019-08-21 | 2021-02-25 | L'oreal | Computing device, method and apparatus for recommending at least one of makeup palette or hair coloration scheme |
| US11488359B2 (en) | 2019-08-28 | 2022-11-01 | Snap Inc. | Providing 3D data for messages in a messaging system |
| US11457196B2 (en) | 2019-08-28 | 2022-09-27 | Snap Inc. | Effects for 3D data in a messaging system |
| KR102624635B1 (ko) * | 2019-08-28 | 2024-01-15 | 스냅 인코포레이티드 | 메시징 시스템에서의 3d 데이터 생성 |
| CN110619598B (zh) * | 2019-09-03 | 2023-04-18 | 云南白药集团健康产品有限公司 | 一种图像处理方法、装置及系统 |
| JP2021043797A (ja) * | 2019-09-12 | 2021-03-18 | フリュー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US11323627B2 (en) | 2019-09-12 | 2022-05-03 | Samsung Electronics Co., Ltd. | Method and electronic device for applying beauty effect setting |
| CN110689479B (zh) * | 2019-09-26 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 一种人脸上妆方法、装置、设备及介质 |
| EP3971820A4 (en) | 2019-09-30 | 2022-08-10 | Beijing Sensetime Technology Development Co., Ltd. | IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE |
| CN110728620A (zh) * | 2019-09-30 | 2020-01-24 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和电子设备 |
| CN112733570B (zh) * | 2019-10-14 | 2024-04-30 | 北京眼神智能科技有限公司 | 眼镜检测的方法、装置、电子设备及存储介质 |
| CN110796593A (zh) * | 2019-10-15 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、介质及电子设备 |
| CN110895809B (zh) * | 2019-10-18 | 2022-07-15 | 中国科学技术大学 | 准确提取髋关节影像中关键点的方法 |
| CN110738654B (zh) * | 2019-10-18 | 2022-07-15 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
| US11030782B2 (en) * | 2019-11-09 | 2021-06-08 | Adobe Inc. | Accurately generating virtual try-on images utilizing a unified neural network framework |
| CN111091610B (zh) * | 2019-11-22 | 2023-04-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| US11403788B2 (en) | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| CN111062260B (zh) * | 2019-11-25 | 2024-03-05 | 杭州绿度信息技术有限公司 | 一种面部整容推荐方案自动生成方法 |
| CN110956595B (zh) * | 2019-11-29 | 2023-11-24 | 广州酷狗计算机科技有限公司 | 一种人脸美型处理的方法、装置、系统及存储介质 |
| US20210182950A1 (en) * | 2019-12-16 | 2021-06-17 | Myntra Designs Private Limited | System and method for transforming images of retail items |
| US11216922B2 (en) | 2019-12-17 | 2022-01-04 | Capital One Services, Llc | Systems and methods for recognition of user-provided images |
| CN112991147B (zh) * | 2019-12-18 | 2023-10-27 | 抖音视界有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| JP2021114111A (ja) * | 2020-01-17 | 2021-08-05 | Ｎｅｃソリューションイノベータ株式会社 | 撮像支援装置、撮像支援方法、及びプログラム |
| EP4049235A4 (en) * | 2020-01-23 | 2023-01-11 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND ELECTRONIC DEVICE CONTROL METHOD |
| US11922540B2 (en) | 2020-02-14 | 2024-03-05 | Perfect Mobile Corp. | Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames |
| US11404086B2 (en) | 2020-02-14 | 2022-08-02 | Perfect Mobile Corp. | Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames |
| US11508148B2 (en) * | 2020-03-18 | 2022-11-22 | Adobe Inc. | Automatic makeup transfer using semi-supervised learning |
| CN111345803B (zh) * | 2020-03-20 | 2022-04-12 | 浙江大学城市学院 | 一种基于移动设备摄像头的心率变异性测量方法 |
| US11676354B2 (en) | 2020-03-31 | 2023-06-13 | Snap Inc. | Augmented reality beauty product tutorials |
| CN115699130A (zh) * | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
| US11521334B2 (en) | 2020-04-01 | 2022-12-06 | Snap Inc. | Augmented reality experiences of color palettes in a messaging system |
| CN113496459A (zh) * | 2020-04-01 | 2021-10-12 | 华为技术有限公司 | 辅助化妆方法、终端设备、存储介质及程序产品 |
| US11915305B2 (en) | 2020-04-01 | 2024-02-27 | Snap Inc. | Identification of physical products for augmented reality experiences in a messaging system |
| CN111612687B (zh) * | 2020-04-22 | 2023-04-18 | 杭州电子科技大学 | 一种人脸图像自动上妆方法 |
| CN111523473B (zh) * | 2020-04-23 | 2023-09-26 | 北京百度网讯科技有限公司 | 口罩佩戴识别方法、装置、设备和可读存储介质 |
| KR20210070377A (ko) * | 2020-04-29 | 2021-06-14 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 이미지 처리 방법 및 장치 |
| CN111586428A (zh) * | 2020-04-30 | 2020-08-25 | 永康精信软件开发有限公司 | 具有虚拟人物上妆功能的化妆品直播系统及方法 |
| CN111640057B (zh) * | 2020-05-25 | 2022-04-15 | 武汉理工大学 | 基于隐藏变量解耦的人脸图像局部特征迁移网络及方法 |
| KR102503711B1 (ko) * | 2020-05-26 | 2023-02-24 | 문명일 | 데이터베이스 연동 얼굴 분석 시스템 및 그것의 화면 표시 제어 방법 |
| CN111601129B (zh) * | 2020-06-05 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 控制方法、装置、终端及存储介质 |
| KR102223753B1 (ko) * | 2020-06-05 | 2021-03-05 | 주식회사 픽스트리 | 얼굴 이미지 개선 방법 및 장치 |
| US11423652B2 (en) | 2020-06-10 | 2022-08-23 | Snap Inc. | Adding beauty products to augmented reality tutorials |
| US11580682B1 (en) * | 2020-06-30 | 2023-02-14 | Snap Inc. | Messaging system with augmented reality makeup |
| JP7499362B2 (ja) * | 2020-06-30 | 2024-06-13 | ロレアル | パーソナライズされた正確な仮想メイクアップトライオンのためのシステム及び方法 |
| FR3115146B1 (fr) * | 2020-10-14 | 2022-10-28 | Oreal | systeme et procédé d'essayage de maquillage virtuel précis et personnalisé |
| CN111815533B (zh) * | 2020-07-14 | 2024-01-19 | 厦门美图之家科技有限公司 | 妆容处理方法、装置、电子设备和可读存储介质 |
| TWI768478B (zh) * | 2020-09-25 | 2022-06-21 | 宏碁股份有限公司 | 適應性調用外部硬體資源的方法 |
| KR102416554B1 (ko) * | 2020-10-08 | 2022-07-05 | 주식회사 써머캣 | 이미지에 포함된 얼굴 윤곽을 보정하기 위한 장치 및 이의 작동 방법 |
| US11361515B2 (en) * | 2020-10-18 | 2022-06-14 | International Business Machines Corporation | Automated generation of self-guided augmented reality session plans from remotely-guided augmented reality sessions |
| BR102020022162A2 (pt) * | 2020-10-29 | 2022-05-10 | Botica Comercial Farmacêutica Ltda. | Método de detecção e segmentação da região labial |
| CN112308769B (zh) * | 2020-10-30 | 2022-06-10 | 北京字跳网络技术有限公司 | 图像合成方法、设备及存储介质 |
| WO2022098087A1 (ko) * | 2020-11-03 | 2022-05-12 | 주식회사 메디트 | 데이터 처리 장치 및 데이터 처리 방법 |
| KR102395083B1 (ko) * | 2020-11-18 | 2022-05-10 | 주식회사 에스알유니버스 | 인공지능을 활용한 가상 얼굴 생성 방법 및 장치 |
| US12079306B2 (en) * | 2020-11-20 | 2024-09-03 | Mediatek Inc. | Methods and apparatuses of contrastive learning for color constancy |
| KR20220073444A (ko) | 2020-11-26 | 2022-06-03 | 삼성전자주식회사 | 오브젝트 추적 방법, 장치 및 그 방법을 수행하는 단말기 |
| WO2022120202A1 (en) * | 2020-12-04 | 2022-06-09 | Skin Posi Inc. | Systems and methods to order cosmetic products in a skincare routine to maximize product efficacy |
| CN112651322B (zh) * | 2020-12-22 | 2024-05-24 | 北京眼神智能科技有限公司 | 脸颊遮挡检测方法、装置及电子设备 |
| US11659193B2 (en) * | 2021-01-06 | 2023-05-23 | Tencent America LLC | Framework for video conferencing based on face restoration |
| CN112750531A (zh) * | 2021-01-21 | 2021-05-04 | 广东工业大学 | 一种中医自动化望诊系统、方法、设备和介质 |
| CN112767285B (zh) * | 2021-02-23 | 2023-03-10 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| KR20230147649A (ko) * | 2021-02-23 | 2023-10-23 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 이미지 처리 방법, 장치, 전자 기기 및 기억 매체 |
| CN112766234B (zh) * | 2021-02-23 | 2023-05-12 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112819017B (zh) * | 2021-03-09 | 2022-08-16 | 遵义师范学院 | 基于直方图的高精度色偏图像识别方法 |
| WO2022195323A1 (en) * | 2021-03-15 | 2022-09-22 | One Game Studio S.A.P.I De C.V. | System and method to interpret a surround of a user to generate an augmented reality environment |
| CN113298936B (zh) * | 2021-06-01 | 2022-04-29 | 浙江大学 | 一种基于深度学习的多rgb-d全脸材质恢复方法 |
| CN113362422B (zh) * | 2021-06-08 | 2022-07-05 | 武汉理工大学 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
| CN113435443B (zh) * | 2021-06-28 | 2023-04-18 | 中国兵器装备集团自动化研究所有限公司 | 一种从视频中自动识别地标的方法 |
| CN113313811B (zh) * | 2021-06-29 | 2024-06-28 | 完美世界(北京)软件科技发展有限公司 | 一种光照处理方法、装置、电子设备及存储介质 |
| CN113449657B (zh) * | 2021-07-05 | 2022-08-30 | 中山大学 | 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 |
| US11373059B2 (en) * | 2021-07-23 | 2022-06-28 | MIME, Inc. | Color image analysis for makeup color prediction model |
| CN113592880A (zh) * | 2021-07-30 | 2021-11-02 | 复旦大学 | 一种基于高斯混合模型的唇部分割方法 |
| KR102377222B1 (ko) * | 2021-08-13 | 2022-03-23 | 주식회사 에이아이네이션 | 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치 |
| CN113837020B (zh) * | 2021-08-31 | 2024-02-02 | 北京新氧科技有限公司 | 一种化妆进度检测方法、装置、设备及存储介质 |
| CN113837017B (zh) * | 2021-08-31 | 2022-11-04 | 北京新氧科技有限公司 | 一种化妆进度检测方法、装置、设备及存储介质 |
| CN115731142A (zh) * | 2021-08-31 | 2023-03-03 | 北京新氧科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN115829827A (zh) * | 2021-09-16 | 2023-03-21 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、设备及介质 |
| WO2023069086A1 (en) * | 2021-10-20 | 2023-04-27 | Innopeak Technology, Inc. | System and method for dynamic portrait relighting |
| US11995757B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Customized animation from video |
| US12020358B2 (en) * | 2021-10-29 | 2024-06-25 | Snap Inc. | Animated custom sticker creation |
| CN114220172A (zh) * | 2021-12-16 | 2022-03-22 | 云知声智能科技股份有限公司 | 一种唇动识别的方法、装置、电子设备和存储介质 |
| CN116484932B (zh) * | 2022-01-14 | 2024-09-06 | 腾讯科技（深圳）有限公司 | 妆容迁移模型的训练方法、装置及妆容迁移方法、装置 |
| JP7308318B1 (ja) | 2022-03-04 | 2023-07-13 | 株式会社Zozo | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP7308317B1 (ja) | 2022-03-04 | 2023-07-13 | 株式会社Zozo | 情報処理装置、情報処理方法及び情報処理プログラム |
| US20230289930A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Company, Ltd. | Systems and Methods for Lightweight Machine Learning for Image Illumination Control |
| CN114663552B (zh) * | 2022-05-25 | 2022-08-16 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| CN115243033A (zh) * | 2022-06-30 | 2022-10-25 | 东莞华贝电子科技有限公司 | 一种偏色检测方法、装置、电子设备和存储介质 |
| KR102515436B1 (ko) * | 2022-08-01 | 2023-03-29 | 주식회사 어썸커머스 | 인공지능 기반 얼굴 메이크업 처리 방법, 장치 및 시스템 |
| TWI835238B (zh) * | 2022-08-05 | 2024-03-11 | 瑞昱半導體股份有限公司 | 影像處理方法及影像處理裝置 |
| WO2024050760A1 (en) * | 2022-09-08 | 2024-03-14 | Intel Corporation | Image processing with face mask detection |
| CN118132842B (zh) * | 2024-03-07 | 2024-09-03 | 浙江百姿化妆品股份有限公司 | 一种基于物联网的口红配色选择分析系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004283357A (ja) * | 2003-03-20 | 2004-10-14 | Kao Corp | 肌のシミュレーション画像の形成方法 |
| JP2012190287A (ja) * | 2011-03-10 | 2012-10-04 | Omron Corp | 画像処理装置、画像処理方法、および制御プログラム |
Family Cites Families (105)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW511040B (en) | 1999-07-07 | 2002-11-21 | Fd Man Inc | Color cosmetic selection system |
| FR2799022B1 (fr) | 1999-09-29 | 2002-02-01 | Oreal | Dispositif d'aide au maquillage et ensemble constitue d'un tel dispositif et d'un dispositif permettant de delivrer un produit ayant une brdf predeterminee, selectionne par le dispositif d'aide au maquillage |
| AU4521201A (en) | 1999-12-10 | 2001-06-25 | Jerry W. Lennon | Customer image capture and use thereof in a retailing system |
| FR2802679B1 (fr) | 1999-12-21 | 2002-02-08 | Oreal | Systeme et procede d'analyse et de simulation previsionnelle de l'evolution d'une zone pileuse, et plus particulierement du cuir chevelu humain |
| US10755286B2 (en) | 2000-08-24 | 2020-08-25 | Facecake Marketing Technologies, Inc. | Targeted marketing system and method |
| US7337127B1 (en) | 2000-08-24 | 2008-02-26 | Facecake Marketing Technologies, Inc. | Targeted marketing system and method |
| US9064344B2 (en) | 2009-03-01 | 2015-06-23 | Facecake Technologies, Inc. | Image transformation systems and methods |
| JP2002131135A (ja) | 2000-10-20 | 2002-05-09 | Kao Corp | 基準色票およびメイクシミュレーション装置 |
| US7437344B2 (en) | 2001-10-01 | 2008-10-14 | L'oreal S.A. | Use of artificial intelligence in providing beauty advice |
| US7324668B2 (en) | 2001-10-01 | 2008-01-29 | L'oreal S.A. | Feature extraction in beauty analysis |
| US6761697B2 (en) | 2001-10-01 | 2004-07-13 | L'oreal Sa | Methods and systems for predicting and/or tracking changes in external body conditions |
| US7634103B2 (en) | 2001-10-01 | 2009-12-15 | L'oreal S.A. | Analysis using a three-dimensional facial image |
| JP2003187230A (ja) * | 2001-12-14 | 2003-07-04 | Kao Corp | 撮影画像処理装置および化粧シミュレーション装置 |
| JP3993029B2 (ja) * | 2002-06-24 | 2007-10-17 | デジタルファッション株式会社 | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 |
| US7773091B2 (en) | 2004-09-07 | 2010-08-10 | L'oreal | Method and device for generating a synthesized image of at least one fringe of lashes |
| WO2006034256A2 (en) * | 2004-09-17 | 2006-03-30 | Cyberextruder.Com, Inc. | System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images |
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US7948481B2 (en) | 2005-03-01 | 2011-05-24 | Nissi Vilcovsky | Devices, systems and methods of capturing and displaying appearances |
| JP2006254309A (ja) | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | 撮影システム |
| FR2883395B1 (fr) * | 2005-03-16 | 2007-06-01 | Marie Anne Senckeisen | Procede d'assistance au maquillage en temps reel et son dispositif de mise en oeuvre |
| US7319467B2 (en) | 2005-03-29 | 2008-01-15 | Mitsubishi Electric Research Laboratories, Inc. | Skin reflectance model for representing and rendering faces |
| KR101363691B1 (ko) * | 2006-01-17 | 2014-02-14 | 가부시키가이샤 시세이도 | 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램 |
| US7634108B2 (en) | 2006-02-14 | 2009-12-15 | Microsoft Corp. | Automated face enhancement |
| JP4753025B2 (ja) | 2006-03-22 | 2011-08-17 | 花王株式会社 | メイクアップシミュレーション方法 |
| US8660319B2 (en) | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| US8620038B2 (en) | 2006-05-05 | 2013-12-31 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| GB2451050B (en) | 2006-05-05 | 2011-08-31 | Parham Aarabi | Method, system and computer program product for automatic and semiautomatic modification of digital images of faces |
| CN101668451B (zh) | 2007-03-08 | 2012-05-30 | 惠普开发有限公司 | 用于基于从图像估计的皮肤色彩推荐产品的方法和系统 |
| JP2009064423A (ja) * | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
| US20090234716A1 (en) | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
| US8005270B2 (en) | 2008-04-11 | 2011-08-23 | Youdocs Llc | System and method for determining an objective measure of human beauty |
| US20090290791A1 (en) * | 2008-05-20 | 2009-11-26 | Holub Alex David | Automatic tracking of people and bodies in video |
| CA2651539C (en) | 2008-07-18 | 2016-07-05 | Modiface Inc. | Method and apparatus for hair colour simulation |
| JP2010086036A (ja) | 2008-09-29 | 2010-04-15 | Fujifilm Corp | 診断装置及び診断方法 |
| US8725560B2 (en) | 2009-02-02 | 2014-05-13 | Modiface Inc. | Method and system for simulated product evaluation via personalizing advertisements based on portrait images |
| US9965778B2 (en) | 2009-02-02 | 2018-05-08 | Modiface Inc. | System and method for the indication of modification region boundaries on facial images |
| JP2010211308A (ja) * | 2009-03-06 | 2010-09-24 | Fujifilm Corp | メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム |
| US8823934B2 (en) | 2009-03-27 | 2014-09-02 | Brightex Bio-Photonics Llc | Methods and systems for imaging and modeling skin using polarized lighting |
| JP5544764B2 (ja) * | 2009-06-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8498456B2 (en) | 2009-07-13 | 2013-07-30 | Stylecaster, Inc. | Method and system for applying cosmetic and/or accessorial enhancements to digital images |
| US8550818B2 (en) | 2010-05-21 | 2013-10-08 | Photometria, Inc. | System and method for providing and modifying a personalized face chart |
| JP4760999B1 (ja) | 2010-10-29 | 2011-08-31 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
| US8711175B2 (en) | 2010-11-24 | 2014-04-29 | Modiface Inc. | Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images |
| JP5656603B2 (ja) | 2010-12-14 | 2015-01-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびそのプログラム |
| KR101733512B1 (ko) * | 2010-12-22 | 2017-05-10 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
| JP2012181688A (ja) | 2011-03-01 | 2012-09-20 | Sony Corp | 情報処理装置、情報処理方法、情報処理システムおよびプログラム |
| US8478077B2 (en) | 2011-03-20 | 2013-07-02 | General Electric Company | Optimal gradient pursuit for image alignment |
| KR101850527B1 (ko) | 2011-03-25 | 2018-04-19 | 삼성전자주식회사 | 휴대용 디바이스 및 휴대용 디바이스의 무선 전력 충전 시스템 |
| US8804122B2 (en) | 2011-09-22 | 2014-08-12 | Brightex Bio-Photonics Llc | Systems and methods for determining a surface profile using a plurality of light sources |
| US8983203B2 (en) | 2011-10-14 | 2015-03-17 | Ulsee Inc. | Face-tracking method with high accuracy |
| JP2015507241A (ja) * | 2011-12-04 | 2015-03-05 | デジタル メイクアップ リミテッドＤｉｇｉｔａｌ Ｍａｋｅｕｐ Ｌｔｄ | デジタルメイクアップ |
| US8634647B2 (en) | 2011-12-07 | 2014-01-21 | Elwha Llc | Informational data indicative of a possible non-imaged portion of a region of interest |
| US20130159895A1 (en) | 2011-12-15 | 2013-06-20 | Parham Aarabi | Method and system for interactive cosmetic enhancements interface |
| US8908904B2 (en) * | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
| US9118876B2 (en) | 2012-03-30 | 2015-08-25 | Verizon Patent And Licensing Inc. | Automatic skin tone calibration for camera images |
| US9104908B1 (en) | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
| US9111134B1 (en) | 2012-05-22 | 2015-08-18 | Image Metrics Limited | Building systems for tracking facial features across individuals and groups |
| US9460462B1 (en) | 2012-05-22 | 2016-10-04 | Image Metrics Limited | Monetization using video-based simulation of cosmetic products |
| US9449412B1 (en) | 2012-05-22 | 2016-09-20 | Image Metrics Limited | Adaptive, calibrated simulation of cosmetic products on consumer devices |
| US9224248B2 (en) | 2012-07-12 | 2015-12-29 | Ulsee Inc. | Method of virtual makeup achieved by facial tracking |
| US9262869B2 (en) | 2012-07-12 | 2016-02-16 | UL See Inc. | Method of 3D model morphing driven by facial tracking and electronic device using the method the same |
| US9182813B2 (en) | 2012-08-10 | 2015-11-10 | Ulsee Inc. | Image-based object tracking system in 3D space using controller having multiple color clusters |
| US8910082B2 (en) | 2012-08-10 | 2014-12-09 | Modiface Inc. | Method and system for modification of digital images through rotational cascading-effect interface |
| TWI582708B (zh) | 2012-11-22 | 2017-05-11 | 緯創資通股份有限公司 | 臉部表情控制系統、表情控制之方法及其電腦系統 |
| US9317136B2 (en) | 2013-01-10 | 2016-04-19 | UL See Inc. | Image-based object tracking system and image-based object tracking method |
| EP2953090A4 (en) | 2013-02-01 | 2016-05-25 | Panasonic Ip Man Co Ltd | MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE |
| JP6008323B2 (ja) | 2013-02-01 | 2016-10-19 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| CN105209870B (zh) | 2013-03-15 | 2018-11-20 | Matchco公司 | 用于指定和配制定制的外用制剂的系统和方法 |
| CN105229673B (zh) | 2013-04-03 | 2021-12-03 | 诺基亚技术有限公司 | 一种装置和相关联的方法 |
| JP6396890B2 (ja) | 2013-04-08 | 2018-09-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
| WO2014170886A1 (en) * | 2013-04-17 | 2014-10-23 | Digital Makeup Ltd | System and method for online processing of video images in real time |
| WO2014190509A1 (en) | 2013-05-29 | 2014-12-04 | Nokia Corporation | An apparatus and associated methods |
| EP3000386B1 (en) | 2013-06-28 | 2021-01-20 | Panasonic Intellectual Property Corporation of America | Skin function evaluation device and skin evaluation method |
| GB2518589B (en) | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
| US9779527B2 (en) | 2013-08-15 | 2017-10-03 | Xiaomi Inc. | Method, terminal device and storage medium for processing image |
| WO2015029392A1 (ja) | 2013-08-30 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| WO2015052706A1 (en) | 2013-10-13 | 2015-04-16 | Inuitive Ltd. | Hands on computerized emulation of make up |
| FR3015872B1 (fr) | 2013-12-27 | 2017-03-24 | Oreal | Dispositif de maquillage comportant une pluralite d'encres cosmetiques |
| US9687155B2 (en) | 2014-02-20 | 2017-06-27 | Modiface Inc. | System, method and application for skin health visualization and quantification |
| US10339685B2 (en) * | 2014-02-23 | 2019-07-02 | Northeastern University | System for beauty, cosmetic, and fashion analysis |
| US9501689B2 (en) | 2014-03-13 | 2016-11-22 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| JP6331515B2 (ja) | 2014-03-13 | 2018-05-30 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
| US9760935B2 (en) | 2014-05-20 | 2017-09-12 | Modiface Inc. | Method, system and computer program product for generating recommendations for products and treatments |
| US9665984B2 (en) | 2014-07-31 | 2017-05-30 | Ulsee Inc. | 2D image-based 3D glasses virtual try-on system |
| GB201414144D0 (en) * | 2014-08-08 | 2014-09-24 | Imagination Tech Ltd | Relightable texture for use in rendering an image |
| US20160042557A1 (en) | 2014-08-08 | 2016-02-11 | Asustek Computer Inc. | Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system |
| US10002452B2 (en) | 2014-10-07 | 2018-06-19 | Cyberlink Corp. | Systems and methods for automatic application of special effects based on image attributes |
| KR102214918B1 (ko) | 2014-10-21 | 2021-02-10 | 삼성전자주식회사 | 얼굴 인식 방법 및 장치 |
| EP3017755A1 (en) | 2014-11-04 | 2016-05-11 | Samsung Electronics Co., Ltd. | Electronic device, and method for analyzing face information in electronic device |
| US10083345B2 (en) | 2015-05-05 | 2018-09-25 | Myongsu Choe | Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis |
| US20160357578A1 (en) | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Method and device for providing makeup mirror |
| US10121055B1 (en) | 2015-09-08 | 2018-11-06 | Carnegie Mellon University | Method and system for facial landmark localization |
| US9633250B2 (en) | 2015-09-21 | 2017-04-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating locations of facial landmarks in an image of a face using globally aligned regression |
| US9576351B1 (en) | 2015-11-19 | 2017-02-21 | Adobe Systems Incorporated | Style transfer for headshot portraits |
| US9984282B2 (en) | 2015-12-10 | 2018-05-29 | Perfect Corp. | Systems and methods for distinguishing facial features for cosmetic application |
| JP6200483B2 (ja) | 2015-12-23 | 2017-09-20 | 株式会社オプティム | 画像処理システム、画像処理方法、および画像処理プログラム |
| US10162997B2 (en) | 2015-12-27 | 2018-12-25 | Asustek Computer Inc. | Electronic device, computer readable storage medium and face image display method |
| EP3423990A1 (en) * | 2016-03-02 | 2019-01-09 | Holition Limited | Locating and augmenting object features in images |
| US10614567B2 (en) * | 2016-07-25 | 2020-04-07 | Case Western Reserve University | Quantifying mass effect deformation with structural radiomics in brain tumor patients |
| US11315173B2 (en) * | 2016-09-15 | 2022-04-26 | GlamST LLC | Applying virtual makeup products |
| CN106682958A (zh) * | 2016-11-21 | 2017-05-17 | 汕头市智美科技有限公司 | 一种虚拟试妆方法及装置 |
| US10068135B2 (en) | 2016-12-22 | 2018-09-04 | TCL Research America Inc. | Face detection, identification, and tracking system for robotic devices |
| KR20190129064A (ko) | 2017-03-07 | 2019-11-19 | 시쉐이도 아메리카스 코포레이션 | 맞춤형 국소제를 조정하기 위한 시스템 및 방법 |
| TW201931179A (zh) | 2017-07-13 | 2019-08-01 | 美商美國資生堂公司 | 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法 |
| US10750453B2 (en) | 2017-09-07 | 2020-08-18 | Ofinno, Llc | Sounding reference signal transmission for uplink beam management |
-
2018
- 2018-07-13 TW TW107124321A patent/TW201931179A/zh unknown
- 2018-07-13 KR KR1020197036633A patent/KR20200026808A/ko not_active Application Discontinuation
- 2018-07-13 US US16/035,509 patent/US10939742B2/en active Active
- 2018-07-13 WO PCT/US2018/042175 patent/WO2019014646A1/en unknown
- 2018-07-13 CN CN201880042814.8A patent/CN111066060B/zh active Active
- 2018-07-13 JP JP2019566775A patent/JP7200139B2/ja active Active
- 2018-07-13 EP EP18832841.3A patent/EP3652701A4/en active Pending
-
2019
- 2019-05-03 US US16/403,274 patent/US11039675B2/en active Active
- 2019-06-11 US US16/438,341 patent/US11000107B2/en active Active
- 2019-09-26 US US16/584,310 patent/US11344102B2/en active Active
-
2022
- 2022-05-29 US US17/827,750 patent/US20220386759A1/en active Pending
- 2022-12-21 JP JP2022204236A patent/JP2023036784A/ja active Pending
-
2024
- 2024-06-19 JP JP2024098425A patent/JP2024120013A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004283357A (ja) * | 2003-03-20 | 2004-10-14 | Kao Corp | 肌のシミュレーション画像の形成方法 |
| JP2012190287A (ja) * | 2011-03-10 | 2012-10-04 | Omron Corp | 画像処理装置、画像処理方法、および制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11344102B2 (en) | 2022-05-31 |
| KR20200026808A (ko) | 2020-03-11 |
| US20190014884A1 (en) | 2019-01-17 |
| CN111066060B (zh) | 2024-08-02 |
| US20190269224A1 (en) | 2019-09-05 |
| CN111066060A (zh) | 2020-04-24 |
| US20190289986A1 (en) | 2019-09-26 |
| WO2019014646A1 (en) | 2019-01-17 |
| EP3652701A1 (en) | 2020-05-20 |
| US20220386759A1 (en) | 2022-12-08 |
| US10939742B2 (en) | 2021-03-09 |
| JP2024120013A (ja) | 2024-09-03 |
| US11000107B2 (en) | 2021-05-11 |
| JP7200139B2 (ja) | 2023-01-06 |
| EP3652701A4 (en) | 2021-11-03 |
| TW201931179A (zh) | 2019-08-01 |
| US20200015575A1 (en) | 2020-01-16 |
| JP2020526809A (ja) | 2020-08-31 |
| US11039675B2 (en) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7200139B2 (ja) | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 | |
| US11741639B2 (en) | Locating and augmenting object features in images | |
| US10796480B2 (en) | Methods of generating personalized 3D head models or 3D body models | |
| CN109690617B (zh) | 用于数字化妆镜的系统和方法 | |
| US20170372505A1 (en) | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| JP2020526809A5 (ja) | ||
| Liang et al. | Facial skin beautification using adaptive region-aware masks | |
| WO2016011834A1 (zh) | 一种图像处理方法及系统 | |
| KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| Ma et al. | A lighting robust fitting approach of 3D morphable model for face reconstruction | |
| Zhang et al. | Monocular face reconstruction with global and local shape constraints | |
| Liang et al. | Adaptive label propagation for facial appearance transfer | |
| US20240005581A1 (en) | Generating 3d facial models & animations using computer vision architectures | |
| Zhao | 3D Human Face Reconstruction and 2D Appearance Synthesis | |
| Jorstad | Measuring deformations and illumination changes in images with applications to face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240619 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240821 |