CN109671142B - 一种智能美妆方法及智能美妆镜 - Google Patents
一种智能美妆方法及智能美妆镜 Download PDFInfo
- Publication number
- CN109671142B CN109671142B CN201811402312.XA CN201811402312A CN109671142B CN 109671142 B CN109671142 B CN 109671142B CN 201811402312 A CN201811402312 A CN 201811402312A CN 109671142 B CN109671142 B CN 109671142B
- Authority
- CN
- China
- Prior art keywords
- model
- face
- mirror
- opengl
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002537 cosmetic Substances 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000009877 rendering Methods 0.000 claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims abstract description 4
- 238000011161 development Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000005477 standard model Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 210000000214 mouth Anatomy 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D42/00—Hand, pocket, or shaving mirrors
- A45D42/08—Shaving mirrors
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D42/00—Hand, pocket, or shaving mirrors
- A45D42/08—Shaving mirrors
- A45D42/10—Shaving mirrors illuminated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Finance (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种智能美妆方法及智能美妆镜,美妆方法包括:采集当前视频帧;检测当前视频帧是否有人脸,返回特征点位置信息;根据特征点位置信息,生成和当前用户脸部特征一致的3D模型;利用平行光源正交投影,使3D模型在视频帧成像位置生成投影,产生视觉差,使得从OpenGL空间观察,3D模型完全遮挡住视频图像帧人脸;利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置,并将3D模型渲染效果设置为透明;根据人脸特定两点位置距离,计算用户和OpenGL观察点距离,根据此距离计算3D模型缩放比例,根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转,生成人脸动作下的实时试妆效果。本发明实现了不影响试妆效果同时提升性能。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种智能美妆方法及智能美妆镜。
背景技术
现有虚拟试妆技术软件基于人脸追踪和渲染引擎进行实现,人脸追踪获取人脸关键点信息后利用Unity或虚幻等第三方渲染引擎进行根据关键点位置渲染不同产品的方式实现。采用结构为“人脸追踪+第三方引擎渲染贴图”,硬件基于普通屏幕的安卓触控显示屏,外加普通白色补光灯,外置电源灯实现试妆镜实体。
目前技术存在的缺点:
1)人脸追踪效率低,在Android系统,RK3288芯片环境下单帧追踪需要耗时20ms左右,并且目前虚拟试妆使用的人脸追踪技术都是基于68、83或者106关键点的,其中很多关键点是没有作用的,实际上只需要嘴巴,眼睛,眉毛,鼻子等五官的关键点即可,多余的点会造成性能的浪费。
2)第三方渲染引擎导致APP包体过大,运行卡顿。Unity等引擎因为方便制作粒子特效等被广泛用于大型游戏制作,虚拟试妆技术涉及不到复杂的动画特效,依赖于第三方引擎会造成运行试妆APP如同加载大型网游一样有卡顿感,加载也会极其慢。
3)目前市面很多虚拟试妆技术,试妆特效采用伪3D方法,将2D贴图渲染至画面,加上了特定的偏转角,此种做法不如3D逼真,在转脸以及头部转动时会有不贴合以及如同贴纸一样的效果,缺乏实际使用意义。
4)普通屏幕不具备镜面特质,用户把试妆镜当普通镜面时,会有色差以及明亮度上的差别,如同在用手机屏幕照镜子一样。
发明内容
发明目的:本发明目的在于针对现有技术的不足,提供一种智能美妆方法及智能美妆镜,不影响试妆效果同时提升性能。
技术方案:本发明所述的智能美妆方法,包括如下步骤:
(1)采集当前视频帧;
(2)检测当前视频帧是否有人脸:若检测结果为是,人脸检测追踪返回特征点位置信息;若检测结果为否,继续进行检测;
(3)根据特征点位置信息,对标准模型进行实时融合变形操作,生成和当前用户脸部特征一致的3D模型;
(4)将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处,利用平行光源正交投影,使3D模型在视频帧成像位置生成投影,产生视觉差,使得从 OpenGL空间观察,3D模型完全遮挡住视频图像帧人脸;
(5)利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置,并将3D 模型渲染效果设置为透明;
(6)根据人脸特定两点位置距离,计算用户和OpenGL观察点距离,根据此距离计算3D模型缩放比例,根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转,生成人脸动作下的实时试妆效果。
进一步地,所述步骤(2)中对检测到的人脸范围进行人脸关键点识别,通过人脸追踪获取68个特征点位置信息。
进一步地,所述步骤(3)中融合变形操作是指建立12组变换范围在0~1的动作,动作最小程度对应3D模型变形程度为0,动作最大程度对应3D模型变换程度为1;按照人脸追踪获取的68个特征点位置信息,在3D模型上放置对应的关键点标记,保证人脸追踪点与3D模型关键点标记一一对应。
进一步地,所述OpenGL Shader渲染美妆产品包括美妆产品的品牌、材质、色号、样式,渲染透明度设置为可控。
本发明还提供用于实现上述智能美妆方法的智能美妆镜,包括壳体、镜面屏幕、摄像头、支架、补光系统、开发板,所述镜面屏幕安装在壳体表面,所述支架支撑在壳体背面,所述摄像头和补光系统设置在镜面屏幕上并与壳体内的开发板相连;所述摄像头用于采集当前视频帧并传输至开发板,所述开发板存储有计算机程序用于执行所述步骤 (2)至步骤(6)。
进一步地,所述开发板存储的计算机程序还包括教学模式、在线商城模式、补光镜面模式;
智能美妆镜开启时首先选择是否打开教学模式:若选择是,镜面屏幕小窗播放教学视频,播放完成后打开在线商城模式,弹出窗口为用户提供教学视频配套产品的购买;若选择否,智能美妆镜提示是否打开试妆模式;
若选择打开试妆模式,执行所述步骤(1)至(6),若选择不打开试妆模式,则进入补光镜面模式,并循环进行是否打开试妆模式的判断
有益效果:与现有技术相比,本发明的优点在于:本发明提供的智能美妆方法及智能美妆镜,克服传统算法劣势,采用深度学习使低成本小体积高性能成为可能;抛弃不必要点位,人脸追踪采用68关键点,不需要像现在市面已有技术使用的106关键点,可提高至单帧追踪耗时2ms,相对于现有技术在RK3288主板每帧速率最快为20ms,性能提升了10倍。
现有技术中渲染方面基于Unity3D或虚幻等第三方引擎进行渲染,采用伪3D方法进行贴图;本申请摒弃第三方引擎,利用源生OpenGL方法进行3D实时渲染,提升性能,并且配合融合变形技术,单帧实现“捏脸”时间低于0.5ms。
因为人脸具有对称性,可将左眼眼宽和右眼眼宽、左嘴角上扬和右嘴角上扬、左鼻翼位置和右鼻翼位置合并,统一以左侧五官为计算依据,可将15组融合变形缩减至现在的12组。
本申请采用的人脸检测追踪技术,基于深度学习,精准检测人脸并对人脸68关键特征点进行实时追踪,精准度在LFPW,AFW测试集均达99.5%,成本降低75%。通过3D渲染算法实时虚拟试妆,OpenGL从底层处理图像,使试妆算法在安卓RK3288 开发板运行流畅。
硬件设计将镜面屏幕技术和开发版融合,使得家用镜面材质能够和屏幕兼容,抛弃传统试妆镜采用普通屏幕作为材质,更具有真实感。
附图说明
图1为本发明智能美妆镜的结构示意图;
图2为本发明智能美妆方法的流程图;
图3为本发明人脸追踪方法的流程图;
图4为特征点位置图;
图5为本发明的功能模块图。
具体实施方式
下面通过对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
实施例1:如图1所示的智能美妆镜,包括安卓RK3288开发板、1080P罗技高清摄像头2、15寸镜面屏幕1、钛合金金属背壳及支架4,镜面屏幕安装在壳体表面,支架支撑在壳体背面,摄像头和补光系统3设置在镜面屏幕上并与壳体内的开发板相连;摄像头用于采集当前视频帧并传输至开发板,开发板存储有计算机程序用于教学模式、在线商城模式、补光镜面模式、试妆模式。
如图2所示,用户日常使用智能美妆镜时,可选择是否打开教学模式,如果否,那就是一面普通镜面,正常使用;如果选择是,那么会进入小窗网红教学模式,用户可选择相关网红或特定妆容教学,并获得推荐相关产品购买渠道。在此过程中,用户也可选择是否打开虚拟试妆模式,如果开启虚拟试妆模式,利用人脸追踪算法和AR渲染算法将虚拟妆容效果实时在人脸相关位置进行渲染。如果用户同时开启了美妆教学和虚拟试妆两个模式,会在上妆结束时提供给用户本次实际化妆效果和网红标准妆容效果对比得分,以及修正建议。整个流程中,用户都可以选择打开补光镜面模式,可实时模拟不同场景的光线强度,色温等。
试妆模式首先根据摄像头获取实时画面人脸信息,进行追踪68个关键特征点,再利用图形学渲染技术,将美妆产品的3D模型利用视觉差实时渲染至屏幕人脸相应位置,完成试妆过程。将此套算法流程,运行于国产安卓开发主板RK3288开发板上,再结合镜面屏幕技术,将其融合到日常镜面中,从底层打造新一代智能家居新产品。
A.算法模块
a)通过人脸追踪实际获取68特征点位置,以及测量不同人脸的特征信息,如眼间距,口鼻距,脸宽,腮宽等,如图4所示。
本申请采用源生OpenGL+3D标准人头模型+12组融合变形技术(如下表所示)打造完全3D的美妆效果,利用人脸的对称性将融合变形组数进行算法优化,将组数缩减至12组。
表格1融合变形技术
融合变形编号 | 融合变形位置 | 融合变形关键点组 |
1 | 上下唇距离 | 62-66 |
2 | 下巴 | 66-8 |
3 | 左眼上下眼皮距离 | 37-41 |
4 | 右眼上下眼皮距离 | 44-46 |
5 | 眼间距 | 39-42 |
6 | 眼宽 | 36-39 |
7 | 左眉毛高度 | 20-40 |
8 | 右眉毛高度 | 23-47 |
9 | 鼻长 | 27-33 |
10 | 鼻翼 | 31-39 |
11 | 嘴角上扬 | 48-8 |
12 | 嘴宽 | 48-54 |
b)3D人头模型自动生成:根据上一步获得的人脸信息数据,利用FBX类型3D模型特有的融合变形技术,对标准模型进行实时变形操作,生成和当前用户脸部特征一致的3D模型。
c)将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处,利用平行光源正交投影,使3D模型在视频帧成像位置生成投影,产生视觉差。此时从OpenGL空间观察的看,3D模型是完全遮挡视频帧人脸的。
d)美妆产品匹配:根据3D人头模型不同的位置,利用OpenGL Shader渲染不同的美妆产品材质,并将3D人头模型材质设置渲染效果为透明,这样就可以通过步骤c中视觉差看到美妆产品和视频帧人脸的融合,实现上妆效果。
e)根据人脸追踪点,其中特定两点位置距离,计算用户和OpenGL观测点距离(人脸和美妆镜距离),根据此距离计算3D模型缩放比例。根据人脸追踪返回的空间偏转角角度,对模型进行空间转角,实现扭头,转脸等动作下的美妆效果。
B.设计模块
a)3D模型自动变形技术:FBX类型3D模型具有融合变形功能,做出12组可变范围在0-1的融合变形,如张闭嘴,张嘴时融合变形参数为最大值1,闭嘴时为0。以供程序计算当前每组变形程度来控制模型变形。
b)3D模型对应68关键点技术:在FBX的3D模型上按照人脸追踪的68关键点位置放置对应序号的关键点标记,以达到人脸追踪点和模型标记点一一对应。
c)美妆材质设计:生成不同品牌,不同款式的美妆产品材质,色号,样式保持一致,透明度为程序可控,以便调节上妆浓度。
本申请中人脸检测追踪技术采用了深度学习算法:
a)循环神经网络(RNN)提供核心技术进行训练数据集
循环神经网络(RNN)是一类用于处理序列数据的神经网络,可以扩展到更长的序列,亦能处理可变长度的序列。对已经标注好人脸关键点绝对坐标值的10万样本的训练集进行训练的时候,遵循隐藏单元之间存在循环连接,但读取整个序列后产生单个输出的设计模式。通过训练集样本的人脸关键点数据提取特征值并经序列化处理后,通过设计好的循环神经网络结构,得到最终的训练模型;
b)随机森林方法提供局部二值特征处理
随机森林是由多层次的多组二叉决策树构成。通过样本数据训练模型以及利用模型识别人脸关键点的过程中,需要使用随机森林数据结构处理局部二值特征的提取及归一化操作。在训练的时候,利用已有的人脸关键点绝对坐标,提取图像中对应坐标的像素值,通过随机森林的数据结构得到所有结点的数据信息,提供给循环神经网络使用,并最终以回归矩阵的形式存储在模型文件;在使用模型识别人脸关键点的时候,根据已有的回归矩阵取得带检测图片粗略的人脸关键点位信息,并通过模型的计算和随机森林结构的决策优化得到最终识别到的人脸关键点信息。
c)支持向量机(SVM)算法,支持跨平台操作
该算法用于在实时识别人脸的过程中,用于判定当前帧识别到的人脸关键点是否出现飘逸或者大的误差,如果识别误差较大,则下一帧回重新启动人脸检测以纠正。在训练模型的过程中增加误差判定位,用以在训练过程中将支撑向量机模型融入整体模型中;在识别的时候,会将识别好的人脸关键点信息送入支撑向量机模型中,用于误差判定。
如图5所示,本发明同时为用户提供妆容推荐、实时虚拟试妆、美妆教学、上妆完整度分析、每日肤质分析、在线下单等功能;补光灯圈提供不同场景光线模拟,让上妆护肤更智能简便科学。基于用户行为大数据分析,为美妆产品合作商进行精准投放推荐广告,将合适的产品推荐给对的人。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上作出各种变化。
Claims (4)
1.一种智能美妆方法,其特征在于,包括如下步骤:
(1)采集当前视频帧;
(2)检测当前视频帧是否有人脸:若检测结果为是,人脸检测追踪返回特征点位置信息,对检测到的人脸范围进行人脸关键点识别,通过人脸追踪获取68个特征点位置信息;若检测结果为否,继续进行检测;
(3)根据特征点位置信息,对标准模型进行实时融合变形操作,包括建立12组变换范围在0~1的动作,动作最小程度对应3D模型变形程度为0,动作最大程度
对应3D模型变换程度为1;按照人脸追踪获取的68个特征点位置信息,在3D模型上放置对应的关键点标记,保证人脸追踪点与3D模型关键点标记一一对应,生成和当前用户脸部特征一致的3D模型;
(4)将3D模型空间位置放置于OpenGL空间观察位置和视频帧成像位置中间处,利用平行光源正交投影,使3D模型在视频帧成像位置生成投影,产生视觉差,使得从OpenGL空间观察,3D模型完全遮挡住视频图像帧人脸;
(5)利用OpenGL Shader将美妆产品渲染至3D模型相应的特征点位置,并将3D模型渲染效果设置为透明;
(6)根据人脸特定两点位置距离,计算用户和OpenGL观察点距离,根据此距离计算3D模型缩放比例,根据人脸追踪返回的空间偏转角信息对3D模型进行实时偏转,生成人脸动作下的实时试妆效果。
2.根据权利要求1所述的智能美妆方法,其特征在于:所述OpenGL Shader渲染美妆产品包括美妆产品的品牌、材质、色号、样式,渲染透明度设置为可控。
3.一种用于实现权利要求1或2所述智能美妆方法的智能美妆镜,其特征在于:包括壳体、镜面屏幕、摄像头、支架、补光系统、开发板,所述镜面屏幕安装在壳体表面,所述支架支撑在壳体背面,所述摄像头和补光系统设置在镜面屏幕上并与壳体内的开发板相连;所述摄像头用于采集当前视频帧并传输至开发板,所述开发板存储有计算机程序用于执行所述步骤(2)至步骤(6)。
4.根据权利要求3所述的智能美妆镜,其特征在于:所述开发板存储的计算机程序还包括教学模式、在线商城模式、补光镜面模式;
智能美妆镜开启时首先选择是否打开教学模式:若选择是,镜面屏幕小窗播放教学视频,播放完成后打开在线商城模式,弹出窗口为用户提供教学视频配套产品的购买;若选择否,智能美妆镜提示是否打开试妆模式;
若选择打开试妆模式,执行所述步骤(1)至(6),若选择不打开试妆模式,则进入补光镜面模式,并循环进行是否打开试妆模式的判断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811402312.XA CN109671142B (zh) | 2018-11-23 | 2018-11-23 | 一种智能美妆方法及智能美妆镜 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811402312.XA CN109671142B (zh) | 2018-11-23 | 2018-11-23 | 一种智能美妆方法及智能美妆镜 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109671142A CN109671142A (zh) | 2019-04-23 |
CN109671142B true CN109671142B (zh) | 2023-08-04 |
Family
ID=66142158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811402312.XA Active CN109671142B (zh) | 2018-11-23 | 2018-11-23 | 一种智能美妆方法及智能美妆镜 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109671142B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069716B (zh) * | 2019-04-29 | 2022-03-18 | 清华大学深圳研究生院 | 一种美妆推荐方法、系统及计算机可读存储介质 |
CN110347134A (zh) * | 2019-07-29 | 2019-10-18 | 南京图玩智能科技有限公司 | 一种ai智能水产养殖样本识别方法及养殖系统 |
CN110782309A (zh) * | 2019-09-23 | 2020-02-11 | 苏州浩哥文化传播有限公司 | 一种基于光线影像分析的美妆用品推荐系统及其工作方法 |
CN112932055A (zh) * | 2020-01-08 | 2021-06-11 | 广东沁彩化妆品科技有限公司 | 一种智能口红 |
CN111553220A (zh) * | 2020-04-21 | 2020-08-18 | 海信集团有限公司 | 一种智能设备及数据处理方法 |
CN112015934B (zh) * | 2020-08-27 | 2022-07-26 | 华南理工大学 | 基于神经网络和Unity的智能发型推荐方法、装置及系统 |
CN112418132A (zh) * | 2020-12-01 | 2021-02-26 | 江西台德智慧科技有限公司 | 一种智能美妆镜和智能美妆系统 |
CN113780047A (zh) * | 2021-01-11 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 虚拟试妆的方法、装置、电子设备和存储介质 |
CN112800884B (zh) * | 2021-01-15 | 2024-04-30 | 深圳市鑫海创达科技有限公司 | 一种基于化妆镜的智能辅助方法 |
US11544876B2 (en) | 2021-04-30 | 2023-01-03 | L'oreal | Integrated cosmetic design applicator |
FR3125949B1 (fr) * | 2021-08-03 | 2023-08-18 | Oreal | applicateur de dessin cosmétique intÉgrÉ |
WO2022232404A1 (en) * | 2021-04-30 | 2022-11-03 | L'oreal | Integrated cosmetic design applicator |
CN114466218B (zh) * | 2022-02-18 | 2024-04-23 | 广州方硅信息技术有限公司 | 直播视频人物跟踪方法、装置、设备及存储介质 |
CN117834838B (zh) * | 2024-03-05 | 2024-05-14 | 成都白泽智汇科技有限公司 | 一种双目视觉检测投影设备及检测投影方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101371272A (zh) * | 2006-01-17 | 2009-02-18 | 株式会社资生堂 | 化妆模拟系统,化妆模拟装置,化妆模拟方法,以及化妆模拟程序 |
CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
CN105556508A (zh) * | 2013-08-04 | 2016-05-04 | 艾斯适配有限公司 | 虚拟镜子的装置、系统和方法 |
CN106303706A (zh) * | 2016-08-31 | 2017-01-04 | 杭州当虹科技有限公司 | 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法 |
CN106920274A (zh) * | 2017-01-20 | 2017-07-04 | 南京开为网络科技有限公司 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
CN107820591A (zh) * | 2017-06-12 | 2018-03-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
CN108171143A (zh) * | 2017-12-25 | 2018-06-15 | 深圳市美丽控电子商务有限公司 | 美妆方法、智能镜及存储介质 |
CN108805090A (zh) * | 2018-06-14 | 2018-11-13 | 广东工业大学 | 一种基于平面网格模型的虚拟试妆方法 |
-
2018
- 2018-11-23 CN CN201811402312.XA patent/CN109671142B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101371272A (zh) * | 2006-01-17 | 2009-02-18 | 株式会社资生堂 | 化妆模拟系统,化妆模拟装置,化妆模拟方法,以及化妆模拟程序 |
CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
CN105556508A (zh) * | 2013-08-04 | 2016-05-04 | 艾斯适配有限公司 | 虚拟镜子的装置、系统和方法 |
CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
CN106303706A (zh) * | 2016-08-31 | 2017-01-04 | 杭州当虹科技有限公司 | 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法 |
CN106920274A (zh) * | 2017-01-20 | 2017-07-04 | 南京开为网络科技有限公司 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
CN107820591A (zh) * | 2017-06-12 | 2018-03-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
CN108171143A (zh) * | 2017-12-25 | 2018-06-15 | 深圳市美丽控电子商务有限公司 | 美妆方法、智能镜及存储介质 |
CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
CN108805090A (zh) * | 2018-06-14 | 2018-11-13 | 广东工业大学 | 一种基于平面网格模型的虚拟试妆方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109671142A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671142B (zh) | 一种智能美妆方法及智能美妆镜 | |
Wood et al. | Rendering of eyes for eye-shape registration and gaze estimation | |
CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
CN101055646B (zh) | 用于处理图像的方法和装置 | |
Tome et al. | Selfpose: 3d egocentric pose estimation from a headset mounted camera | |
CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
US11462000B2 (en) | Image-based detection of surfaces that provide specular reflections and reflection modification | |
US20180374261A1 (en) | Rendering glasses shadows | |
CN107924579A (zh) | 生成个性化3d头部模型或3d身体模型的方法 | |
CN204576413U (zh) | 一种基于自然用户界面的互联网智能镜 | |
WO2023155533A1 (zh) | 一种图像驱动方法、装置、设备和介质 | |
CN116630495A (zh) | 基于aigc算法的虚拟数字人模型规划系统 | |
Fang et al. | Facial makeup transfer with GAN for different aging faces | |
Marino et al. | Background-aware colorization technique for augmented reality applications | |
CN113781271A (zh) | 化妆教学方法及装置、电子设备、存储介质 | |
Wang et al. | Expression-aware neural radiance fields for high-fidelity talking portrait synthesis | |
Liu | Light image enhancement based on embedded image system application in animated character images | |
Laishram et al. | High-quality face caricature via style translation | |
Chanchua et al. | DeltaFace: fully automatic 3D facial cosmetic surgery simulation | |
CN114185431B (zh) | 一种基于mr技术的智能媒体交互方法 | |
CN115981467B (zh) | 一种图像合成参数确定方法、图像合成方法及装置 | |
Wood | Gaze Estimation with Graphics | |
WO2023075771A1 (en) | Avatar training images for training machine learning model | |
TW202307792A (zh) | 使用在已呈現虛擬化身訓練影像上訓練之機器學習模型來為頭戴式顯示器穿戴者臉部表情作混合形狀權重預測之技術 | |
Zhou et al. | An Implementation of Multimodal Fusion System for Intelligent Digital Human Generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An intelligent beauty method and intelligent beauty mirror Granted publication date: 20230804 Pledgee: Jiangsu Zijin Rural Commercial Bank Co.,Ltd. Yuhuatai sub branch Pledgor: NANJING TUWAN INTELLIGENT TECHNOLOGY Co.,Ltd. Registration number: Y2024320000004 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |