CN108805090A - 一种基于平面网格模型的虚拟试妆方法 - Google Patents

一种基于平面网格模型的虚拟试妆方法 Download PDF

Info

Publication number
CN108805090A
CN108805090A CN201810615614.9A CN201810615614A CN108805090A CN 108805090 A CN108805090 A CN 108805090A CN 201810615614 A CN201810615614 A CN 201810615614A CN 108805090 A CN108805090 A CN 108805090A
Authority
CN
China
Prior art keywords
texture
model
plane
plane gridding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810615614.9A
Other languages
English (en)
Other versions
CN108805090B (zh
Inventor
何汉武
刘家远
李晋芳
陈基荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810615614.9A priority Critical patent/CN108805090B/zh
Publication of CN108805090A publication Critical patent/CN108805090A/zh
Application granted granted Critical
Publication of CN108805090B publication Critical patent/CN108805090B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于平面网格模型的虚拟试妆方法，包括下述步骤：S1，导入化妆品效果照片，并进行平面网格模型的处理；S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；本发明利用人脸识别与追踪、人脸特征点提取、图像处理等技术，可以有效地达到对视频中的人脸进行动态上妆效果，从而达到虚拟试妆的功能，试妆者可以灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，这样可以给试妆者带来较好的方便性和简洁性，降低化妆成本，具有较好的应用价值。

Description

一种基于平面网格模型的虚拟试妆方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种基于平面网格模型的虚拟试妆方法。
背景技术
随着VR(虚拟现实)、AR(增强现实)等先进技术的迅速发展，利用虚拟现实技术可以给试妆者提供较好的化妆效果，在科研中成为一个有趣的研究问题。虚拟现实技术是指利用计算机系统辅助及其图像处理技术形象地展现人脸不同部位进行化妆时的效果。虚拟现实技术是20世纪60年代初首次提出的，通过用户各个器官(视觉、触觉、听觉、嗅觉等)，可以带来更加真实和逼真的体验，该技术广泛应用于各个领域。近几年，不断有“虚拟试妆”的相关软件或应用被开发设计出来，并被广泛的推广，例如巴黎欧莱雅、LVMH旗下的美妆零售连锁店Sephora(丝芙兰)等企业都纷纷与专业的VR软件开发公司合作，先后推出了“虚拟试妆”相关软件，但是，这些软件是动态地对图像进行处理，采用的是贴图的方式，因而受到环境影响比较大，并且局限于指定的产品，而最主要的问题在于只能适用于特征比较明显的脸部区域，例如嘴部、眼部等，不能适用于非特征区域，因此对试妆区域有较大的局限性。现有技术中，专利CN201710390963.0公开了一种试妆方法、系统及设备，该专利是对视频流中每一帧人脸图像需要上妆的部位进行计算、上妆，然后将上妆后的部位叠加到原始图像，此专利中提出通过上妆指令确定需要上妆的至少一个目标面部部位，并且对目标面部部位所对应的关键点的像素点，勾画出各个目标面部部位的轮廓，并不能实时得到上妆后的真实效果，也达不到对现有化妆品进行试妆的效果。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于平面网格模型的虚拟试妆方法，该方法利用人脸识别与追踪、人脸特征点提取、图像处理等技术，可以有效地达到对视频中的人脸进行动态上妆效果，从而达到虚拟试妆的功能，试妆者可以灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，这样可以给试妆者带来较好的方便性和简洁性，降低化妆成本，具有较好的应用价值。
本发明的目的通过下述技术方案实现：
一种基于平面网格模型的虚拟试妆方法，包括下述步骤：
S1，导入化妆品效果照片，并进行平面网格模型的处理；
S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；为了保证平面网格模型的纹理与提取到的特征点进行映射，因此将平面网格模型制作成含有68个顶点的平面网格模型；将构建好的平面网格模型导出为OBJ的文件格式，然后导入Unity3D引擎中并给平面网格模型赋予材质，为其设置两个纹理，即主纹理和掩膜纹理，其中主纹理为标准人脸图片，掩膜纹理用来控制主纹理在平面网格中的显示区域，则需要这两个纹理大小相同；掩膜纹理控制主纹理具体方法为：分别获取该两个纹理的R、G、B、A四个通道，然后通过掩膜纹理的四个通道与主纹理的A通道进行分层操作，采用单一的线性叠加模型如下述公式(1)所示，从而达到掩膜纹理控制主纹理显示的效果：
(1)式中，Cd、Cm分别为主纹理和掩膜纹理对应的颜色分量，Cp为所生产化妆人脸图像的颜色分量，i为对应像素点的下标，k表示控制颜色分量的扰动参数，其默认值为1，d为掩膜纹理的像素区域；
S1.2，网格模型纹理的多边形填充；采用扫描线算法对主纹理进行多边形区域填充，根据S1.1中的平面网格模型的68个顶点纹理坐标，确定需要进行填充的多边形区域，然后从上到下对多边形区域进行扫描，在扫描过程中，先确定扫描线与填充区域边界的交点，并按x轴坐标排序，使其两两成对作为两个端点，然后将填充色应用于每一条扫描线的像素上；
S1.3，填充纹理的逻辑运算；对多边形纹理进行逻辑运算从而达到网格模型掩膜纹理控制模型主纹理的显示区域，多边形纹理的逻辑运算通常是处理二值图像，故在多边形填充时，为多边形填充的是白色，图像之间的逻辑运算主要采用异或运算，设A和B表示两幅多边形图像，像素之间保留A中不属于B的区域，即图像A中第m个区域中存在至少一个这样的像素，该像素也存在于图像B中，则将图像B中存在的像素只留下属于A但不属于B的区域；
S2，提取视频中的人脸特征点，并进行视频帧序列中人脸区域处理；
S2.1，视频帧序列中人脸的光照补偿；采用Gamma函数对光照补偿，Gamma函数矫正通常对γ值进行选取，图像中每个像素均以同一个γ值进行矫正，如下述公式(2)所示：
(2)式中，O(x,y)为输出图像，F(x,y)为源图像，通过伽马参数γ对图像的高光部分和暗调部分进行扩展和压缩；
利用光照分量在图片中的分布情况，选择性地调整伽马参数γ，对光照分量M(x,y)的提取采用高斯函数G(x)与源图像F(x,y)进行卷积，如下述公式(3)和(4)所示：
M(x,y)＝F(x,y)×G(x), (4)
从而得到伽马参数γ，如下述公式(5)所示：
其中，高斯函数的卷积核选择13*13的卷积核；
S2.2，人脸特征点提取；采用OpenCV的Harr级联分类检测器进行人脸定位和追踪，然后调用Dlib的特征点检测方法进行提取和对齐；Dlib开源库完成人脸特征点提取，获取人脸上的68个特征点，并根据已经提取到的68个特征点位置，进行对额头区域依据美学标准三庭五眼进行等比例估算；
S3，通过步骤S2.2中提取的人脸特征点与S1.3中的平面网格模型进行纹理坐标映射，从而得到对视频人脸的上妆合成图；
纹理坐标映射是指三维模型的顶点坐标在二维纹理中找到对应的纹理位置，只需确定模型68个顶点坐标和模型纹理坐标的对应关系即可；设V(D)为网格模型顶点坐标集，F(D)为获取视频中的人脸特征点坐标集，CameraWidth为摄像头获取视频的宽度，CameraHeigth为摄像头获取视频的高度，ε为映射时的扰动误差，则可得到F(D)映射到V(D)的计算公式如式(6)和式(7)所示：
V(D).x＝F(D).x/CameraWidth+ε， (6)
V(D).y＝F(D).y/CameraHeight+ε， (7)
而模型的纹理坐标则是获取标准人脸纹理中的特征点的坐标，设UV(D)为网格模型纹理坐标集，FaceUV(D)为获取到的标准人脸纹理特征点坐标集，TexWidth为纹理的宽度，TexHeigth为纹理的高度，则可得到F(D)映射到V(D)的计算公式如式(8)和式(9)所示：
UV(D).x＝FaceUV(D).x/TexWidth， (8)
UV(D).y＝(TexHeigth-FaceUV(D).y)/TexHeigth； (9)
S4，上妆合成图的效果展示。
本发明与现有技术相比具有以下的有益效果：
(1)本发明利用人脸识别与追踪、人脸特征点提取、图像处理等技术，可以有效地达到对视频中的人脸进行动态上妆效果，从而达到虚拟试妆的功能，试妆者可以灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，这样可以给试妆者带来较好的方便性和简洁性，降低化妆成本，具有较好的应用价值；
(2)本发明在试妆应用过程中，试妆者可灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，具有方便性和简洁性；利用了Gamma矫正对视频进行光照补偿，并且公开了平面网格纹理坐标与特征点坐标的映射关系；通过进行光照补偿，可以提高人脸识别准确率，同时也优化了试妆效果。
附图说明
图1为本发明的整体流程图；
图2为本发明平面网格模型的示意图；
图3为本发明赋予材质的平面网格模型示意图；
图4为本发明网格模型纹理的多边形填充效果图；
图5为本发明填充纹理的逻辑运算效果图；
图6为本发明的不同卷积核效果图；
图7为本发明的人脸特征点提取流程图；
图8为本发明的人脸特征点提取效果图；
图9为本发明的纹理坐标映射流程图；
图10为本发明的上妆合成图的效果展示图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1～10所示，一种基于平面网格模型的虚拟试妆方法，导入化妆品效果照片作为网格模型的主纹理，记作D，根据模型主纹理坐标动态生成的掩膜纹理，记作M；通过提取到视频中的人脸特征点与网格模型进行纹理映射,从而得到对视频人脸的上妆合成图，记作S；其中为了消除环境光照的影响，对视频进行光照补偿；整体流程图如图1所示。
具体包括下述步骤：
S1，导入化妆品效果照片，并进行平面网格模型的处理；
S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式有多种：多边形建模、曲面建模、合成建模、面片建模、NURBS建模等，在本发明中的建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；为了保证平面网格模型的纹理与提取到的特征点进行映射，因此将平面网格模型制作成含有68个顶点的平面网格模型；将构建好的平面网格模型导出为OBJ的文件格式，然后导入Unity3D引擎中并给平面网格模型赋予材质，如图2平面网格模型的示意图和图3赋予材质的平面网格模型示意图所示，为其设置两个纹理，即主纹理和掩膜纹理，其中主纹理为标准人脸图片，掩膜纹理用来控制主纹理在平面网格中的显示区域，则需要这两个纹理大小相同；掩膜纹理控制主纹理具体方法为：分别获取该两个纹理的R、G、B、A四个通道，然后通过掩膜纹理的四个通道与主纹理的A通道进行分层操作，采用单一的线性叠加模型如下述公式(1)所示，从而达到掩膜纹理控制主纹理显示的效果：
(1)式中，Cd、Cm分别为主纹理和掩膜纹理对应的颜色分量，Cp为所生产化妆人脸图像的颜色分量，i为对应像素点的下标，k表示控制颜色分量的扰动参数，其默认值为1，d为掩膜纹理的像素区域；
S1.2，网格模型纹理的多边形填充；对多边形的填充算法主要分为两大类：种子填充算法和扫描线算法，种子填充算法使用了递归,需要大量栈空间来存储相邻的点，因此效率不高，而扫描线算法只需要将每个水平像素的起始点位置压入一个特殊栈，而不需要将所有相邻的点都压入堆栈，从而可以节省堆栈空间，考虑到运行效率，本发明采用扫描线算法对主纹理进行多边形区域填充，根据S1.1中的平面网格模型的68个顶点纹理坐标，确定需要进行填充的多边形区域，然后从上到下对多边形区域进行扫描，在扫描过程中，先确定扫描线与填充区域边界的交点，并按x轴坐标排序，使其两两成对作为两个端点，然后将填充色应用于每一条扫描线的像素上，具体填充效果如图4所示；
S1.3，填充纹理的逻辑运算；对多边形纹理进行逻辑运算从而达到网格模型掩膜纹理控制模型主纹理的显示区域，多边形纹理的逻辑运算通常是处理二值图像，故在多边形填充时，为多边形填充的是白色，图像之间常用的逻辑运算主要包括与(AND)、或(OR)、非(NOT)、或非(ORNOT)、与非(ANDNOT)、异或(XOR)，本发明图像之间的逻辑运算主要采用异或运算，设A和B表示两幅多边形图像，像素之间保留A中不属于B的区域，即图像A中第m个区域中存在至少一个这样的像素，该像素也存在于图像B中，则将图像B中存在的像素只留下属于A但不属于B的区域，具体填充效果如图5所示；
S2，提取视频中的人脸特征点，并进行视频帧序列中人脸区域处理；
S2.1，视频帧序列中人脸的光照补偿；在本发明中对光照进行补偿有两个主要作用,一是提高人脸识别精确度,二是优化试妆显示效果，本发明考虑对视频采集效率以及计算复杂度等因素，采用Gamma函数对光照补偿，Gamma函数矫正通常对γ值进行选取，图像中每个像素均以同一个γ值进行矫正，如下述公式(2)所示：
(2)式中，O(x,y)为输出图像，F(x,y)为源图像，通过伽马参数γ对图像的高光部分和暗调部分进行扩展和压缩；
利用光照分量在图片中的分布情况，选择性地调整伽马参数γ，对光照分量M(x,y)的提取采用高斯函数G(x)与源图像F(x,y)进行卷积，如下述公式(3)和(4)所示：
M(x,y)＝F(x,y)XG(x), (4)
从而得到伽马参数γ，如下述公式(5)所示：
其中，高斯函数的卷积核选择13*13的卷积核；根据不同高斯函数的卷积核大小得到的光照分量图不同，如图6所示，当选择13*13大小的卷积核时对光照的补偿效果较好；
S2.2，人脸特征点提取；采用OpenCV的Harr级联分类检测器进行人脸定位和追踪，然后调用Dlib的特征点检测方法进行提取和对齐；Dlib开源库完成人脸特征点提取，获取人脸上的68个特征点，Dlib开源库里面包含许多常用的机器学习算法，例如:3D点云、SURF特征、贝叶斯分类、SVM、深度学习、多种回归等算法，它被广泛应用于工业界和学术界，本发明将Harr级联分类检测器和Dlib开源库两者一起使用可大大提高检测速度，从而实现较好的试妆效果，若只利用Dlib进行人脸检测和特征点提取，则检测速度太慢，比如640*480分辨率的图像，需要0.15s左右的时间，而本发明将两者结合起来，对640*480分辨率的图片进行检测，时间消耗仅为70ms左右，极大地提高了运行效率，具体人脸特征点提取流程图如图7所示；根据已经提取到的68个特征点位置，并依据三庭五眼的美学标准对额头区域进行等比例估算，具体效果如图8所示；
S3，通过步骤S2.2中提取的人脸特征点与S1.3中的平面网格模型进行纹理坐标映射，从而得到对视频人脸的上妆合成图；
纹理坐标映射是指三维模型的顶点坐标在二维纹理中找到对应的纹理位置，只需确定模型68个顶点坐标和模型纹理坐标的对应关系即可；设V(D)为网格模型顶点坐标集，F(D)为获取视频中的人脸特征点坐标集，CameraWidth为摄像头获取视频的宽度，CameraHeigth为摄像头获取视频的高度，ε为映射时的扰动误差，则可得到F(D)映射到V(D)的计算公式如式(6)和式(7)所示：
V(D)·x＝F(D)·x/CameraWidth+ε， (6)
V(D)·y＝F(D)·y/CameraHeight+ε， (7)
而模型的纹理坐标则是获取标准人脸纹理中的特征点的坐标，设UV(D)为网格模型纹理坐标集，FaceUV(D)为获取到的标准人脸纹理特征点坐标集，TexWidth为纹理的宽度，TexHeigth为纹理的高度，则可得到F(D)映射到V(D)的计算公式如式(8)和式(9)所示：
UV(D).x＝FaceUV(D).x/TexWidth， (8)
UV(D).y＝(TexHeigth-FaceUV(D).y)/TexHeigth； (9)
具体纹理坐标映射流程图如图9所示；
S4，上妆合成图的效果展示，如图10所示。
本发明利用人脸识别与追踪、人脸特征点提取、图像处理等技术，可以有效地达到对视频中的人脸进行动态上妆效果，从而达到虚拟试妆的功能，试妆者可以灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，这样可以给试妆者带来较好的方便性和简洁性，降低化妆成本，具有较好的应用价值；在试妆应用过程中，试妆者可灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，具有方便性和简洁性；利用了Gamma矫正对视频进行光照补偿，并且公开了平面网格纹理坐标与特征点坐标的映射关系；通过进行光照补偿，可以提高人脸识别准确率，同时也优化了试妆效果。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于平面网格模型的虚拟试妆方法，其特征在于，包括下述步骤：
S1，导入化妆品效果照片，并进行平面网格模型的处理；
S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；为了保证平面网格模型的纹理与提取到的特征点进行映射，因此将平面网格模型制作成含有68个顶点的平面网格模型；将构建好的平面网格模型导出为OBJ的文件格式，然后导入Unity3D引擎中并给平面网格模型赋予材质，为其设置两个纹理，即主纹理和掩膜纹理，其中主纹理为标准人脸图片，掩膜纹理用来控制主纹理在平面网格中的显示区域，则需要这两个纹理大小相同；掩膜纹理控制主纹理具体方法为：分别获取该两个纹理的R、G、B、A四个通道，然后通过掩膜纹理的四个通道与主纹理的A通道进行分层操作，采用单一的线性叠加模型如下述公式(1)所示，从而达到掩膜纹理控制主纹理显示的效果：
(1)式中，Cd、Cm分别为主纹理和掩膜纹理对应的颜色分量，Cp为所生产化妆人脸图像的颜色分量，i为对应像素点的下标，k表示控制颜色分量的扰动参数，其默认值为1，d为掩膜纹理的像素区域；
S1.2，网格模型纹理的多边形填充；采用扫描线算法对主纹理进行多边形区域填充，根据S1.1中的平面网格模型的68个顶点纹理坐标，确定需要进行填充的多边形区域，然后从上到下对多边形区域进行扫描，在扫描过程中，先确定扫描线与填充区域边界的交点，并按x轴坐标排序，使其两两成对作为两个端点，然后将填充色应用于每一条扫描线的像素上；
S1.3，填充纹理的逻辑运算；对多边形纹理进行逻辑运算从而达到网格模型掩膜纹理控制模型主纹理的显示区域，多边形纹理的逻辑运算通常是处理二值图像，故在多边形填充时，为多边形填充的是白色，图像之间的逻辑运算主要采用异或运算，设A和B表示两幅多边形图像，像素之间保留A中不属于B的区域，即图像A中第m个区域中存在至少一个这样的像素，该像素也存在于图像B中，则将图像B中存在的像素只留下属于A但不属于B的区域；
S2，提取视频中的人脸特征点，并进行视频帧序列中人脸区域处理；
S2.1，视频帧序列中人脸的光照补偿；采用Gamma函数对光照补偿，Gamma函数矫正通常对γ值进行选取，图像中每个像素均以同一个γ值进行矫正，如下述公式(2)所示：
(2)式中，O(x,y)为输出图像，F(x,y)为源图像，通过伽马参数γ对图像的高光部分和暗调部分进行扩展和压缩；
利用光照分量在图片中的分布情况，选择性地调整伽马参数γ，对光照分量M(x,y)的提取采用高斯函数G(x)与源图像F(x,y)进行卷积，如下述公式(3)和(4)所示：
M(x,y)＝F(x,y)×G(x)， (4)
从而得到伽马参数γ，如下述公式(5)所示：
其中，高斯函数的卷积核选择13*13的卷积核；
S2.2，人脸特征点提取；采用OpenCV的Harr级联分类检测器进行人脸定位和追踪，然后调用Dlib的特征点检测方法进行提取和对齐；Dlib开源库完成人脸特征点提取，获取人脸上的68个特征点，并根据已经提取到的68个特征点位置，进行对额头区域依据美学标准三庭五眼进行等比例估算；
S3，通过步骤S2.2中提取的人脸特征点与S1.3中的平面网格模型进行纹理坐标映射，从而得到对视频人脸的上妆合成图；
纹理坐标映射是指三维模型的顶点坐标在二维纹理中找到对应的纹理位置，只需确定模型68个顶点坐标和模型纹理坐标的对应关系即可；设V(D)为网格模型顶点坐标集，F(D)为获取视频中的人脸特征点坐标集，CameraWidth为摄像头获取视频的宽度，CameraHeigth为摄像头获取视频的高度，ε为映射时的扰动误差，则可得到F(D)映射到V(D)的计算公式如式(6)和式(7)所示：
V(D).x＝F(D).x/CameraWidth+ε， (6)
V(D).y＝F(D).y/CameraHeight+ε， (7)
而模型的纹理坐标则是获取标准人脸纹理中的特征点的坐标，设UV(D)为网格模型纹理坐标集，FaceUV(D)为获取到的标准人脸纹理特征点坐标集，TexWidth为纹理的宽度，TexHeigth为纹理的高度，则可得到F(D)映射到V(D)的计算公式如式(8)和式(9)所示:
UV(D).x＝FaceUV(D).x/TexWidth， (8)
UV(D).y＝(TexHeigth-FaceUV(D).y)/TexHeigth； (9)
S4，上妆合成图的效果展示。
CN201810615614.9A 2018-06-14 2018-06-14 一种基于平面网格模型的虚拟试妆方法 Expired - Fee Related CN108805090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810615614.9A CN108805090B (zh) 2018-06-14 2018-06-14 一种基于平面网格模型的虚拟试妆方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810615614.9A CN108805090B (zh) 2018-06-14 2018-06-14 一种基于平面网格模型的虚拟试妆方法

Publications (2)

Publication Number Publication Date
CN108805090A true CN108805090A (zh) 2018-11-13
CN108805090B CN108805090B (zh) 2020-02-21

Family

ID=64086138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810615614.9A Expired - Fee Related CN108805090B (zh) 2018-06-14 2018-06-14 一种基于平面网格模型的虚拟试妆方法

Country Status (1)

Country Link
CN (1) CN108805090B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671142A (zh) * 2018-11-23 2019-04-23 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
CN109859134A (zh) * 2019-01-30 2019-06-07 珠海天燕科技有限公司 一种美妆素材的处理方法及终端
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
WO2020113998A1 (zh) * 2018-12-07 2020-06-11 北京京东尚科信息技术有限公司 基于增强现实的着色方法、装置、电子设备与存储介质
CN111861632A (zh) * 2020-06-05 2020-10-30 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备及可读存储介质
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN113628132A (zh) * 2021-07-26 2021-11-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114155569A (zh) * 2021-08-31 2022-03-08 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN116612211A (zh) * 2023-05-08 2023-08-18 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202041956U (zh) * 2011-05-06 2011-11-16 周勇 一种模拟化妆系统
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆系统
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法
CN107705240A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 虚拟试妆方法、装置和电子设备
CN207097055U (zh) * 2017-07-21 2018-03-13 汕头市智美科技有限公司 一种虚拟试妆设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202041956U (zh) * 2011-05-06 2011-11-16 周勇 一种模拟化妆系统
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆系统
CN107705240A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 虚拟试妆方法、装置和电子设备
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法
CN207097055U (zh) * 2017-07-21 2018-03-13 汕头市智美科技有限公司 一种虚拟试妆设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何伟: "基于Linux的虚拟试妆系统设计", 《中国大学生电子设计文章竞赛2011》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671142A (zh) * 2018-11-23 2019-04-23 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
CN109671142B (zh) * 2018-11-23 2023-08-04 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
WO2020113998A1 (zh) * 2018-12-07 2020-06-11 北京京东尚科信息技术有限公司 基于增强现实的着色方法、装置、电子设备与存储介质
US11348309B2 (en) 2018-12-07 2022-05-31 Beijing Jingdong Shangke Information Technology Co., Ltd. Augmented reality-based coloring method and apparatus, electronic device and storage medium
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
CN109859134A (zh) * 2019-01-30 2019-06-07 珠海天燕科技有限公司 一种美妆素材的处理方法及终端
CN111861632B (zh) * 2020-06-05 2023-06-30 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备及可读存储介质
CN111861632A (zh) * 2020-06-05 2020-10-30 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备及可读存储介质
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN113628132A (zh) * 2021-07-26 2021-11-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114155569B (zh) * 2021-08-31 2022-11-04 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN114155569A (zh) * 2021-08-31 2022-03-08 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN116612211A (zh) * 2023-05-08 2023-08-18 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法
CN116612211B (zh) * 2023-05-08 2024-02-02 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法

Also Published As

Publication number Publication date
CN108805090B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN106127859B (zh) 一种移动增强现实型涂鸦绘本的真实感生成方法
US11961200B2 (en) Method and computer program product for producing 3 dimensional model data of a garment
CN108876931B (zh) 三维物体颜色调整方法、装置、计算机设备及计算机可读存储介质
Lu et al. Illustrative interactive stipple rendering
CN108305312A (zh) 3d虚拟形象的生成方法和装置
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN106600712B (zh) 一种基于二维图像的纹理替换方法
CN102509357B (zh) 基于笔触的铅笔素描模拟和绘制系统
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
EP4036790A1 (en) Image display method and device
JP3626144B2 (ja) 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム
CN104063888B (zh) 一种基于非真实感的波谱艺术风格绘制方法
CN104091366B (zh) 基于二维阴影信息的三维模型智能数字化生成方法和系统
CN113628327A (zh) 一种头部三维重建方法及设备
CN109712223A (zh) 一种基于纹理合成的三维模型自动上色方法
CN108564619A (zh) 一种基于两张照片的真实感三维人脸重建方法
WO2020104990A1 (en) Virtually trying cloths & accessories on body model
CN107590858A (zh) 基于ar技术的医学样品展示方法和计算机设备、存储介质
Zhao et al. Research on the application of computer image processing technology in painting creation
CN109308380A (zh) 基于非真实感的刺绣艺术风格模拟方法
CN104091318B (zh) 一种中国手语视频过渡帧的合成方法
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법
CN105869203B (zh) 一种三维场景的彩铅风格处理方法
CN114596213A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200221

Termination date: 20200614

CF01 Termination of patent right due to non-payment of annual fee