CN109671142A - 一种智能美妆方法及智能美妆镜 - Google Patents

一种智能美妆方法及智能美妆镜 Download PDF

Info

Publication number
CN109671142A
CN109671142A CN201811402312.XA CN201811402312A CN109671142A CN 109671142 A CN109671142 A CN 109671142A CN 201811402312 A CN201811402312 A CN 201811402312A CN 109671142 A CN109671142 A CN 109671142A
Authority
CN
China
Prior art keywords
model
makeups
face
opengl
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811402312.XA
Other languages
English (en)
Other versions
CN109671142B (zh
Inventor
史凯
汪俊
吴剑骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tupu Intelligent Technology Co Ltd
Original Assignee
Nanjing Tupu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tupu Intelligent Technology Co Ltd filed Critical Nanjing Tupu Intelligent Technology Co Ltd
Priority to CN201811402312.XA priority Critical patent/CN109671142B/zh
Publication of CN109671142A publication Critical patent/CN109671142A/zh
Application granted granted Critical
Publication of CN109671142B publication Critical patent/CN109671142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A45D42/10—Shaving mirrors illuminated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种智能美妆方法及智能美妆镜，美妆方法包括：采集当前视频帧；检测当前视频帧是否有人脸，返回特征点位置信息；根据特征点位置信息，生成和当前用户脸部特征一致的3D模型；利用平行光源正交投影，使3D模型在视频帧成像位置生成投影，产生视觉差，使得从OpenGL空间观察，3D模型完全遮挡住视频图像帧人脸；利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置，并将3D模型渲染效果设置为透明；根据人脸特定两点位置距离，计算用户和OpenGL观察点距离，根据此距离计算3D模型缩放比例，根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转，生成人脸动作下的实时试妆效果。本发明实现了不影响试妆效果同时提升性能。

Description

一种智能美妆方法及智能美妆镜
技术领域
本发明涉及人工智能技术领域，具体涉及一种智能美妆方法及智能美妆镜。
背景技术
现有虚拟试妆技术软件基于人脸追踪和渲染引擎进行实现，人脸追踪获取人脸关键点信息后利用Unity或虚幻等第三方渲染引擎进行根据关键点位置渲染不同产品的方式实现。采用结构为“人脸追踪+第三方引擎渲染贴图”，硬件基于普通屏幕的安卓触控显示屏，外加普通白色补光灯，外置电源灯实现试妆镜实体。
目前技术存在的缺点：
1)人脸追踪效率低，在Android系统，RK3288芯片环境下单帧追踪需要耗时20ms左右，并且目前虚拟试妆使用的人脸追踪技术都是基于68、83或者106关键点的，其中很多关键点是没有作用的，实际上只需要嘴巴，眼睛，眉毛，鼻子等五官的关键点即可，多余的点会造成性能的浪费。
2)第三方渲染引擎导致APP包体过大，运行卡顿。Unity等引擎因为方便制作粒子特效等被广泛用于大型游戏制作，虚拟试妆技术涉及不到复杂的动画特效，依赖于第三方引擎会造成运行试妆APP如同加载大型网游一样有卡顿感，加载也会极其慢。
3)目前市面很多虚拟试妆技术，试妆特效采用伪3D方法，将2D贴图渲染至画面，加上了特定的偏转角，此种做法不如3D逼真，在转脸以及头部转动时会有不贴合以及如同贴纸一样的效果，缺乏实际使用意义。
4)普通屏幕不具备镜面特质，用户把试妆镜当普通镜面时，会有色差以及明亮度上的差别，如同在用手机屏幕照镜子一样。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种智能美妆方法及智能美妆镜，不影响试妆效果同时提升性能。
技术方案：本发明所述的智能美妆方法，包括如下步骤：
(1)采集当前视频帧；
(2)检测当前视频帧是否有人脸：若检测结果为是，人脸检测追踪返回特征点位置信息；若检测结果为否，继续进行检测；
(3)根据特征点位置信息，对标准模型进行实时融合变形操作，生成和当前用户脸部特征一致的3D模型；
(4)将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处，利用平行光源正交投影，使3D模型在视频帧成像位置生成投影，产生视觉差，使得从 OpenGL空间观察，3D模型完全遮挡住视频图像帧人脸；
(5)利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置，并将3D 模型渲染效果设置为透明；
(6)根据人脸特定两点位置距离，计算用户和OpenGL观察点距离，根据此距离计算3D模型缩放比例，根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转，生成人脸动作下的实时试妆效果。
进一步地，所述步骤(2)中对检测到的人脸范围进行人脸关键点识别，通过人脸追踪获取68个特征点位置信息。
进一步地，所述步骤(3)中融合变形操作是指建立12组变换范围在0～1的动作，动作最小程度对应3D模型变形程度为0，动作最大程度对应3D模型变换程度为1；按照人脸追踪获取的68个特征点位置信息，在3D模型上放置对应的关键点标记，保证人脸追踪点与3D模型关键点标记一一对应。
进一步地，所述OpenGL Shader渲染美妆产品包括美妆产品的品牌、材质、色号、样式，渲染透明度设置为可控。
本发明还提供用于实现上述智能美妆方法的智能美妆镜，包括壳体、镜面屏幕、摄像头、支架、补光系统、开发板，所述镜面屏幕安装在壳体表面，所述支架支撑在壳体背面，所述摄像头和补光系统设置在镜面屏幕上并与壳体内的开发板相连；所述摄像头用于采集当前视频帧并传输至开发板，所述开发板存储有计算机程序用于执行所述步骤 (2)至步骤(6)。
进一步地，所述开发板存储的计算机程序还包括教学模式、在线商城模式、补光镜面模式；
智能美妆镜开启时首先选择是否打开教学模式：若选择是，镜面屏幕小窗播放教学视频，播放完成后打开在线商城模式，弹出窗口为用户提供教学视频配套产品的购买；若选择否，智能美妆镜提示是否打开试妆模式；
若选择打开试妆模式，执行所述步骤(1)至(6)，若选择不打开试妆模式，则进入补光镜面模式，并循环进行是否打开试妆模式的判断
有益效果：与现有技术相比，本发明的优点在于：本发明提供的智能美妆方法及智能美妆镜，克服传统算法劣势，采用深度学习使低成本小体积高性能成为可能；抛弃不必要点位，人脸追踪采用68关键点，不需要像现在市面已有技术使用的106关键点，可提高至单帧追踪耗时2ms，相对于现有技术在RK3288主板每帧速率最快为20ms，性能提升了10倍。
现有技术中渲染方面基于Unity3D或虚幻等第三方引擎进行渲染，采用伪3D方法进行贴图；本申请摒弃第三方引擎，利用源生OpenGL方法进行3D实时渲染，提升性能，并且配合融合变形技术，单帧实现“捏脸”时间低于0.5ms。
因为人脸具有对称性，可将左眼眼宽和右眼眼宽、左嘴角上扬和右嘴角上扬、左鼻翼位置和右鼻翼位置合并，统一以左侧五官为计算依据，可将15组融合变形缩减至现在的12组。
本申请采用的人脸检测追踪技术，基于深度学习，精准检测人脸并对人脸68关键特征点进行实时追踪，精准度在LFPW，AFW测试集均达99.5％，成本降低75％。通过3D渲染算法实时虚拟试妆，OpenGL从底层处理图像，使试妆算法在安卓RK3288 开发板运行流畅。
硬件设计将镜面屏幕技术和开发版融合，使得家用镜面材质能够和屏幕兼容，抛弃传统试妆镜采用普通屏幕作为材质，更具有真实感。
附图说明
图1为本发明智能美妆镜的结构示意图；
图2为本发明智能美妆方法的流程图；
图3为本发明人脸追踪方法的流程图；
图4为特征点位置图；
图5为本发明的功能模块图。
具体实施方式
下面通过对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施例1：如图1所示的智能美妆镜，包括安卓RK3288开发板、1080P罗技高清摄像头2、15寸镜面屏幕1、钛合金金属背壳及支架4，镜面屏幕安装在壳体表面，支架支撑在壳体背面，摄像头和补光系统3设置在镜面屏幕上并与壳体内的开发板相连；摄像头用于采集当前视频帧并传输至开发板，开发板存储有计算机程序用于教学模式、在线商城模式、补光镜面模式、试妆模式。
如图2所示，用户日常使用智能美妆镜时，可选择是否打开教学模式，如果否，那就是一面普通镜面，正常使用；如果选择是，那么会进入小窗网红教学模式，用户可选择相关网红或特定妆容教学，并获得推荐相关产品购买渠道。在此过程中，用户也可选择是否打开虚拟试妆模式，如果开启虚拟试妆模式，利用人脸追踪算法和AR渲染算法将虚拟妆容效果实时在人脸相关位置进行渲染。如果用户同时开启了美妆教学和虚拟试妆两个模式，会在上妆结束时提供给用户本次实际化妆效果和网红标准妆容效果对比得分，以及修正建议。整个流程中，用户都可以选择打开补光镜面模式，可实时模拟不同场景的光线强度，色温等。
试妆模式首先根据摄像头获取实时画面人脸信息，进行追踪68个关键特征点，再利用图形学渲染技术，将美妆产品的3D模型利用视觉差实时渲染至屏幕人脸相应位置，完成试妆过程。将此套算法流程，运行于国产安卓开发主板RK3288开发板上，再结合镜面屏幕技术，将其融合到日常镜面中，从底层打造新一代智能家居新产品。
A.算法模块
a)通过人脸追踪实际获取68特征点位置，以及测量不同人脸的特征信息，如眼间距，口鼻距，脸宽，腮宽等，如图4所示。
本申请采用源生OpenGL+3D标准人头模型+12组融合变形技术(如下表所示)打造完全3D的美妆效果，利用人脸的对称性将融合变形组数进行算法优化，将组数缩减至12组。
表格1融合变形技术
融合变形编号 融合变形位置 融合变形关键点组
1 上下唇距离 62-66
2 下巴 66-8
3 左眼上下眼皮距离 37-41
4 右眼上下眼皮距离 44-46
5 眼间距 39-42
6 眼宽 36-39
7 左眉毛高度 20-40
8 右眉毛高度 23-47
9 鼻长 27-33
10 鼻翼 31-39
11 嘴角上扬 48-8
12 嘴宽 48-54
b)3D人头模型自动生成：根据上一步获得的人脸信息数据，利用FBX类型3D模型特有的融合变形技术，对标准模型进行实时变形操作，生成和当前用户脸部特征一致的3D模型。
c)将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处，利用平行光源正交投影，使3D模型在视频帧成像位置生成投影，产生视觉差。此时从OpenGL空间观察的看，3D模型是完全遮挡视频帧人脸的。
d)美妆产品匹配：根据3D人头模型不同的位置，利用OpenGL Shader渲染不同的美妆产品材质，并将3D人头模型材质设置渲染效果为透明，这样就可以通过步骤c中视觉差看到美妆产品和视频帧人脸的融合，实现上妆效果。
e)根据人脸追踪点，其中特定两点位置距离，计算用户和OpenGL观测点距离(人脸和美妆镜距离)，根据此距离计算3D模型缩放比例。根据人脸追踪返回的空间偏转角角度，对模型进行空间转角，实现扭头，转脸等动作下的美妆效果。
B.设计模块
a)3D模型自动变形技术：FBX类型3D模型具有融合变形功能，做出12组可变范围在0-1的融合变形，如张闭嘴，张嘴时融合变形参数为最大值1，闭嘴时为0。以供程序计算当前每组变形程度来控制模型变形。
b)3D模型对应68关键点技术：在FBX的3D模型上按照人脸追踪的68关键点位置放置对应序号的关键点标记，以达到人脸追踪点和模型标记点一一对应。
c)美妆材质设计：生成不同品牌，不同款式的美妆产品材质，色号，样式保持一致，透明度为程序可控，以便调节上妆浓度。
本申请中人脸检测追踪技术采用了深度学习算法：
a)循环神经网络(RNN)提供核心技术进行训练数据集
循环神经网络(RNN)是一类用于处理序列数据的神经网络，可以扩展到更长的序列，亦能处理可变长度的序列。对已经标注好人脸关键点绝对坐标值的10万样本的训练集进行训练的时候，遵循隐藏单元之间存在循环连接，但读取整个序列后产生单个输出的设计模式。通过训练集样本的人脸关键点数据提取特征值并经序列化处理后，通过设计好的循环神经网络结构，得到最终的训练模型；
b)随机森林方法提供局部二值特征处理
随机森林是由多层次的多组二叉决策树构成。通过样本数据训练模型以及利用模型识别人脸关键点的过程中，需要使用随机森林数据结构处理局部二值特征的提取及归一化操作。在训练的时候，利用已有的人脸关键点绝对坐标，提取图像中对应坐标的像素值，通过随机森林的数据结构得到所有结点的数据信息，提供给循环神经网络使用，并最终以回归矩阵的形式存储在模型文件；在使用模型识别人脸关键点的时候，根据已有的回归矩阵取得带检测图片粗略的人脸关键点位信息，并通过模型的计算和随机森林结构的决策优化得到最终识别到的人脸关键点信息。
c)支持向量机(SVM)算法，支持跨平台操作
该算法用于在实时识别人脸的过程中，用于判定当前帧识别到的人脸关键点是否出现飘逸或者大的误差，如果识别误差较大，则下一帧回重新启动人脸检测以纠正。在训练模型的过程中增加误差判定位，用以在训练过程中将支撑向量机模型融入整体模型中；在识别的时候，会将识别好的人脸关键点信息送入支撑向量机模型中，用于误差判定。
如图5所示，本发明同时为用户提供妆容推荐、实时虚拟试妆、美妆教学、上妆完整度分析、每日肤质分析、在线下单等功能；补光灯圈提供不同场景光线模拟，让上妆护肤更智能简便科学。基于用户行为大数据分析，为美妆产品合作商进行精准投放推荐广告，将合适的产品推荐给对的人。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (6)

1.一种智能美妆方法，其特征在于，包括如下步骤：
（1）采集当前视频帧；
（2）检测当前视频帧是否有人脸：若检测结果为是，人脸检测追踪返回特征点位置信息；若检测结果为否，继续进行检测；
（3）根据特征点位置信息，对标准模型进行实时融合变形操作，生成和当前用户脸部特征一致的3D模型；
（4）将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处，利用平行光源正交投影，使3D模型在视频帧成像位置生成投影，产生视觉差，使得从OpenGL空间观察，3D模型完全遮挡住视频图像帧人脸；
（5）利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置，并将3D模型渲染效果设置为透明；
（6）根据人脸特定两点位置距离，计算用户和OpenGL观察点距离，根据此距离计算3D模型缩放比例，根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转，生成人脸动作下的实时试妆效果。
2.根据权利要求1所述的智能美妆方法，其特征在于：所述步骤（2）中对检测到的人脸范围进行人脸关键点识别，通过人脸追踪获取68个特征点位置信息。
3.根据权利要求2所述的智能美妆方法，其特征在于：所述步骤（3）中融合变形操作是指建立12组变换范围在0~1的动作，动作最小程度对应3D模型变形程度为0，动作最大程度对应3D模型变换程度为1；按照人脸追踪获取的68个特征点位置信息，在3D模型上放置对应的关键点标记，保证人脸追踪点与3D模型关键点标记一一对应。
4.根据权利要求1所述的智能美妆方法，其特征在于：所述OpenGL Shader渲染美妆产品包括美妆产品的品牌、材质、色号、样式，渲染透明度设置为可控。
5.一种用于实现权利要求1至4任一所述智能美妆方法的智能美妆镜，其特征在于：包括壳体、镜面屏幕、摄像头、支架、补光系统、开发板，所述镜面屏幕安装在壳体表面，所述支架支撑在壳体背面，所述摄像头和补光系统设置在镜面屏幕上并与壳体内的开发板相连；所述摄像头用于采集当前视频帧并传输至开发板，所述开发板存储有计算机程序用于执行所述步骤（2）至步骤（6）。
6.根据权利要求5所述的智能美妆镜，其特征在于：所述开发板存储的计算机程序还包括教学模式、在线商城模式、补光镜面模式；
智能美妆镜开启时首先选择是否打开教学模式：若选择是，镜面屏幕小窗播放教学视频，播放完成后打开在线商城模式，弹出窗口为用户提供教学视频配套产品的购买；若选择否，智能美妆镜提示是否打开试妆模式；
若选择打开试妆模式，执行所述步骤（1）至（6），若选择不打开试妆模式，则进入补光镜面模式，并循环进行是否打开试妆模式的判断。
CN201811402312.XA 2018-11-23 2018-11-23 一种智能美妆方法及智能美妆镜 Active CN109671142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811402312.XA CN109671142B (zh) 2018-11-23 2018-11-23 一种智能美妆方法及智能美妆镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811402312.XA CN109671142B (zh) 2018-11-23 2018-11-23 一种智能美妆方法及智能美妆镜

Publications (2)

Publication Number Publication Date
CN109671142A true CN109671142A (zh) 2019-04-23
CN109671142B CN109671142B (zh) 2023-08-04

Family

ID=66142158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811402312.XA Active CN109671142B (zh) 2018-11-23 2018-11-23 一种智能美妆方法及智能美妆镜

Country Status (1)

Country Link
CN (1) CN109671142B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110347134A (zh) * 2019-07-29 2019-10-18 南京图玩智能科技有限公司 一种ai智能水产养殖样本识别方法及养殖系统
CN110782309A (zh) * 2019-09-23 2020-02-11 苏州浩哥文化传播有限公司 一种基于光线影像分析的美妆用品推荐系统及其工作方法
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法
CN112015934A (zh) * 2020-08-27 2020-12-01 华南理工大学 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN112418132A (zh) * 2020-12-01 2021-02-26 江西台德智慧科技有限公司 一种智能美妆镜和智能美妆系统
CN112800884A (zh) * 2021-01-15 2021-05-14 深圳市鑫海创达科技有限公司 一种基于化妆镜的智能辅助方法
CN112932055A (zh) * 2020-01-08 2021-06-11 广东沁彩化妆品科技有限公司 一种智能口红
CN113780047A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 虚拟试妆的方法、装置、电子设备和存储介质
CN114466218A (zh) * 2022-02-18 2022-05-10 广州方硅信息技术有限公司 直播视频人物跟踪方法、装置、设备及存储介质
WO2022232404A1 (en) * 2021-04-30 2022-11-03 L'oreal Integrated cosmetic design applicator
US11544876B2 (en) 2021-04-30 2023-01-03 L'oreal Integrated cosmetic design applicator
FR3125949A1 (fr) * 2021-08-03 2023-02-10 L'oreal applicateur de dessin cosmétique intÉgrÉ
CN117834838A (zh) * 2024-03-05 2024-04-05 成都白泽智汇科技有限公司 一种双目视觉检测投影设备及检测投影方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101763636A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN107958479A (zh) * 2017-12-26 2018-04-24 南京开为网络科技有限公司 一种移动端3d人脸增强现实实现方法
CN108171143A (zh) * 2017-12-25 2018-06-15 深圳市美丽控电子商务有限公司 美妆方法、智能镜及存储介质
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101763636A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN108171143A (zh) * 2017-12-25 2018-06-15 深圳市美丽控电子商务有限公司 美妆方法、智能镜及存储介质
CN107958479A (zh) * 2017-12-26 2018-04-24 南京开为网络科技有限公司 一种移动端3d人脸增强现实实现方法
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069716B (zh) * 2019-04-29 2022-03-18 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110069716A (zh) * 2019-04-29 2019-07-30 清华大学深圳研究生院 一种美妆推荐方法、系统及计算机可读存储介质
CN110347134A (zh) * 2019-07-29 2019-10-18 南京图玩智能科技有限公司 一种ai智能水产养殖样本识别方法及养殖系统
CN110782309A (zh) * 2019-09-23 2020-02-11 苏州浩哥文化传播有限公司 一种基于光线影像分析的美妆用品推荐系统及其工作方法
CN112932055A (zh) * 2020-01-08 2021-06-11 广东沁彩化妆品科技有限公司 一种智能口红
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法
CN112015934A (zh) * 2020-08-27 2020-12-01 华南理工大学 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN112015934B (zh) * 2020-08-27 2022-07-26 华南理工大学 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN112418132A (zh) * 2020-12-01 2021-02-26 江西台德智慧科技有限公司 一种智能美妆镜和智能美妆系统
CN113780047A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 虚拟试妆的方法、装置、电子设备和存储介质
CN112800884A (zh) * 2021-01-15 2021-05-14 深圳市鑫海创达科技有限公司 一种基于化妆镜的智能辅助方法
CN112800884B (zh) * 2021-01-15 2024-04-30 深圳市鑫海创达科技有限公司 一种基于化妆镜的智能辅助方法
WO2022232404A1 (en) * 2021-04-30 2022-11-03 L'oreal Integrated cosmetic design applicator
US11544876B2 (en) 2021-04-30 2023-01-03 L'oreal Integrated cosmetic design applicator
FR3125949A1 (fr) * 2021-08-03 2023-02-10 L'oreal applicateur de dessin cosmétique intÉgrÉ
CN114466218A (zh) * 2022-02-18 2022-05-10 广州方硅信息技术有限公司 直播视频人物跟踪方法、装置、设备及存储介质
CN114466218B (zh) * 2022-02-18 2024-04-23 广州方硅信息技术有限公司 直播视频人物跟踪方法、装置、设备及存储介质
CN117834838A (zh) * 2024-03-05 2024-04-05 成都白泽智汇科技有限公司 一种双目视觉检测投影设备及检测投影方法
CN117834838B (zh) * 2024-03-05 2024-05-14 成都白泽智汇科技有限公司 一种双目视觉检测投影设备及检测投影方法

Also Published As

Publication number Publication date
CN109671142B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109671142A (zh) 一种智能美妆方法及智能美妆镜
Wood et al. Rendering of eyes for eye-shape registration and gaze estimation
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
US10573091B2 (en) Systems and methods to create a virtual object or avatar
CN105556508B (zh) 虚拟镜子的装置、系统和方法
CN105354876B (zh) 一种基于移动终端的实时立体试衣方法
CN100468463C (zh) 用于处理图像的方法、装置
CN101339606B (zh) 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN108460398B (zh) 图像处理方法、装置、云处理设备
US11900569B2 (en) Image-based detection of surfaces that provide specular reflections and reflection modification
CN109840825A (zh) 基于用户的物理特征的推荐系统
CN109784281A (zh) 基于人脸特征的产品推荐方法、装置及计算机设备
CN110363867A (zh) 虚拟装扮系统、方法、设备及介质
CN109410298A (zh) 一种虚拟模型的制作方法及表情变化方法
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
CN109377557A (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN110717391A (zh) 一种基于视频图像的身高测量方法、系统、装置和介质
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN109284778A (zh) 人脸颜值计算方法、计算装置及电子设备
Zhang et al. Facial expression cloning with elastic and muscle models
CN110443872B (zh) 一种具备动态纹理细节的表情合成方法
CN112116699A (zh) 一种基于3d人脸跟踪的实时真人虚拟试发方法
Li et al. EyeNeRF: a hybrid representation for photorealistic synthesis, animation and relighting of human eyes
CN105184273B (zh) 一种基于asm的动态图像正面人脸重建系统及方法
Lin et al. eHeritage of shadow puppetry: creation and manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An intelligent beauty method and intelligent beauty mirror

Granted publication date: 20230804

Pledgee: Jiangsu Zijin Rural Commercial Bank Co.,Ltd. Yuhuatai sub branch

Pledgor: NANJING TUWAN INTELLIGENT TECHNOLOGY Co.,Ltd.

Registration number: Y2024320000004