CN107229905B - 嘴唇渲染颜色的方法、装置及电子设备 - Google Patents

嘴唇渲染颜色的方法、装置及电子设备 Download PDF

Info

Publication number
CN107229905B
CN107229905B CN201710312352.4A CN201710312352A CN107229905B CN 107229905 B CN107229905 B CN 107229905B CN 201710312352 A CN201710312352 A CN 201710312352A CN 107229905 B CN107229905 B CN 107229905B
Authority
CN
China
Prior art keywords
lip
layer
rendering
lips
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710312352.4A
Other languages
English (en)
Other versions
CN107229905A (zh
Inventor
张硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201710312352.4A priority Critical patent/CN107229905B/zh
Priority to PCT/CN2017/104367 priority patent/WO2018201662A1/zh
Publication of CN107229905A publication Critical patent/CN107229905A/zh
Application granted granted Critical
Publication of CN107229905B publication Critical patent/CN107229905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Cosmetics (AREA)

Abstract

本申请提供一种嘴唇渲染颜色的方法、装置及电子设备,该方法包括:对图像进行识别确定嘴唇渲染区域;根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图;生成的效果图不仅能够显现嘴唇中的纹理,还能够模拟出人在真实场景下涂上口红后具有的光泽,无需涂抹口红即可体验真实的试色效果。

Description

嘴唇渲染颜色的方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及嘴唇渲染颜色的方法、装置及电子设备。
背景技术
选择口红的色号是选购口红时很重要的一个环节,一般是通过试色挑选颜色,目前常用的试色方式是将口红涂在手上或嘴唇上。涂在手上试色的方式虽然简单,但是无法准确判断口红涂在嘴唇上的效果;而涂在嘴唇上的方式,介于卫生等问题,通常是由导购人员使用工具为客户涂抹上色,整个过程十分繁琐,且需要一对一的服务。而不管是哪种方式,都需要有口红可以用来试,所以通常需要客户到实体柜台进行试色,试完后还需要卸掉口红。可见传统的试色方式都不方便。
而对图像的嘴唇部位进行颜色替换的方式,使得唇部看起来是一个平整的颜色,不能显示人真实涂抹口红时的状态,试色效果不佳。
发明内容
有鉴于此,本申请提供一种嘴唇渲染颜色的方法、装置及电子设备。
具体地,本申请是通过如下技术方案实现的:
一种嘴唇渲染颜色的方法,包括以下步骤:
对图像进行识别确定嘴唇渲染区域;
根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
一个实施例中,所述根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图的步骤包括:
获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
将第一像素与第二像素渲染到图像上得到效果图。
一个实施例中,所述根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层的步骤包括:
将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
一个实施例中,所述对图像进行识别确定嘴唇渲染区域的步骤包括:
对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域。
一个实施例中,所述对嘴唇特征点进行三角化处理得到嘴唇轮廓区域的步骤包括:
根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;
当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;
当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
本申请还公开了一种嘴唇渲染颜色的装置,包括:
区域模块,用于对图像进行识别确定嘴唇渲染区域;
渲染模块,用于根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;及
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;及
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
一个实施例中,所述渲染模块包括:
取色单元,用于获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
混色单元,用于将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
渲染单元,用于将第一像素与第二像素渲染到图像上得到效果图。
一个实施例中,所述渲染模块,还用于将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
一个实施例中,所述区域模块包括:
取点单元,用于对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
区域单元,用于对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
模糊单元,用于以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域;
所述区域单元,还用于根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;及
当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;及
当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
本申请还公开了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对图像进行识别确定嘴唇渲染区域;
根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
本发明根据色号信号对图像中的嘴唇区域进行颜色渲染,并对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光图层与图像所在图层进行变亮混合得到变亮混合图层,以模拟涂抹口红后局部有反光的高光效果,根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图,生成的效果图不仅能够显现嘴唇中的纹理,还能够模拟出人在真实场景下涂上口红后具有的光泽,无需涂抹口红即可体验真实的试色效果。
附图说明
图1是本申请一示例性实施例示出的一种嘴唇渲染颜色的方法的流程图;
图2是本申请一示例性实施例示出的对图像进行识别确定嘴唇渲染区域的细化流程图;
图3是从人脸图像中提取特征点的示意图;
图4a是对嘴唇处于张开状态时的特征点进行三角化处理的示意图;
图4b是对嘴唇处于闭合状态时的特征点进行三角化处理的示意图;
图4c是本申请嘴唇渲染区域的效果图;
图4d是本申请生成的着色嘴唇图层的效果图;
图5是本申请一示例性实施例示出的将变亮混合图层与着色嘴唇图层进行叠加混合的细化流程图;
图6是本申请一示例性实施例示出的对嘴唇特征点进行三角化处理得到嘴唇轮廓区域的细化流程图;
图7是本申请一示例性实施例示出的一种嘴唇渲染颜色的装置的逻辑框图;
图8是本申请一示例性实施例示出的渲染模块的细化逻辑框图;
图9是本申请一示例性实施例示出的区域模块的细化逻辑框图;
图10是本申请一示例性实施例示出电子装置效果图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本申请一示例性实施例示出的一种嘴唇渲染颜色的方法的流程图;如图1所示,该方法可以包括步骤S110至S140:
步骤S110:对图像进行识别确定嘴唇渲染区域;
在接收到图像时,可以对图像进行人脸检测,以确定图像中是否存在人脸并定位人脸位置,再从人脸中识别出嘴唇,以嘴唇所在区域作为嘴唇渲染区域;其中,可以通过神经网络、色彩识别、区域分割、关键点检测等多种方式从图像中识别出人脸嘴唇,本申请一实施例提供的确定嘴唇渲染区域的方式如图2所示,所述对图像进行识别确定嘴唇渲染区域的步骤包括:
步骤S211:对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
步骤S212:对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
步骤S213:以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域。
人脸对应的特征点如图3所示,由于本申请仅对嘴唇部分进行渲染处理,因此,可以仅提取人脸嘴唇301对应的框302中的特征点,特征点的数量可以有任意多个,本申请对特征点的数量不做限定,为了便于描述,接下来以20个特征点为例进行说明,如图4a所示,外圈点12个、内圈点8个,可以采用外圈点顺次相连组成大多边形、内圈点顺次相连组成小多边形,2个多边形嵌套,以大多边形与小多边形间的多边形圈为嘴唇轮廓区域;为了便于程序描述,本实施例以外圈点和/或内圈点的特征点组成的三角形表示嘴唇轮廓区域。从图4a、图4b中可以看出,由特征点连线描绘出的嘴唇轮廓区域边缘锐利,没有真实唇形平滑,且嘴唇(口红)与皮肤的颜色在交界处是渐变过渡的,为了能够更贴近真实嘴唇的形状及上色效果,本申请一实施例通过对嘴唇轮廓区域边缘进行平滑和/或模糊处理,以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域,如图4c所示。模糊处理的方法有多种,例如,高斯算子、拉普拉斯高斯算子等,以本申请一实施例采用高斯算子为例,以A像素及其左右各4个像素共9个像素为一组,以这9个像素的RGB值进行高斯算子加权运算(横向运算),得到该A像素的RGB值,再以该A像素及其上下各4个像素共9个像素为一组,以这9个像素的RGB值进行高斯算子加权运算(竖向运算),得到该A像素的RGB值。嘴唇轮廓区域边缘的像素均作为A像素,采用GPU(Graphics ProcessingUnit,图形处理器)同时进行上述运算,处理速度快,当然,为了增强效果,也可以再重复进行上述运算(一次横向运算+一次竖向运算为一次运算)。从而嘴唇渲染区域从中间向边缘以渐变色过渡,对嘴唇渲染区域上色时,能更加自然的贴近真实涂抹口红的效果,从而嘴唇渲染区域从图像中抠取的初始嘴唇图层能更加贴近真实嘴唇。
步骤S120:根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
色号信息包括颜色的名称、对应的RGB值等,色号信息可以是根据用户的指令生成的,也可以是系统根据历史数据、用户肤色等信息自动生成的,当然,不同厂商对同一名称颜色的口红使用的RGB值也可能不同,例如,不同品牌的珊瑚色口红的颜色对应的RGB值就可能不同,所以,颜色的名称可以包含品牌、色号等信息,以方便用户使用,可以在系统中将颜色的名称与RGB值对应,以根据RGB值对嘴唇渲染区域上色生成着色嘴唇图层,如图4d所示。对嘴唇渲染区域上色的方式有多种,可以逐一像素进行处理,也可以按区域进行处理,为了提高上色的速度,本申请一实施例所述根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层的步骤包括:
将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
例如,选择珊瑚色对嘴唇渲染区域上色,即将珊瑚色的RGB值与嘴唇渲染区域的RGB值混合,例如,黑色的RGB值分别为0、0、0,白色的RGB值分别为255、255、255,珊瑚色的RGB值分别为255、127、80,由于R、G、B各值的取值范围是0-255,为了便于计算,将RGB值转化成0-1间的数,例如,黑色的RGB值为0、0、0,白色的RGB值分别为1、1、1,珊瑚色的RGB值分别为1、0.498、0.314,进行混合时将像素的RGB值与珊瑚色的RGB值相乘即可,例如,为白色上珊瑚色后的RGB值分别为1、0.498、0.314,为黑色上珊瑚色后的RGB值为0、0、0,区域整体渲染的处理方式可以大大提高上色速度。
步骤S130:从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
人的嘴唇会对光有反射(反光),当涂了口红、唇油等在嘴唇上形成釉层后反光(高光)会更明显,仅在图像中对嘴唇渲染区域上色不能达到形成高光的效果,对此,本申请提出为嘴唇增加高光的方案,当然,可以采用自动匹配高光等方式,为了增强高光真实感,本申请一实施例采用将嘴唇原本反光效果增强的方式生成高光;从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,本实施例采用的灰度化是指使像素的R值=G值=B值,可以根据R值、G值或者B值进行灰度化,也可以根据某一比例对RGB整体进行灰度化,本申请对此不作限制,灰度化后调整色阶(包括gamma矫正)以增强明暗对比,例如,将灰度化后像素的RGB值映射到50-150的区间内,再还原到0-255,使原本RGB值在0-50范围内的像素最终变成0,原本RGB值在150-255范围内的像素最终变成255,RGB值在50-150的像素也增强了明暗对比,使暗的像素更暗、亮的像素更亮,从而形成高光的效果。以对初始嘴唇图层中4个像素进行灰度化后调整色阶为例,若RGB值为(40,40,70)、(70,40,70)、(140,70,140)、(200,140,200),根据将RGB值按照(0.3,0.59,0.11)进行灰度化后为(43,43,43)、(52,52,52)、(99,99,99)、(165,165,165),将上述RGB值映射到50-150的区间并结合gamma矫正:(43-50)÷(150-50)=-0.07(小于0时取0),(52-50)÷(150-50)=0.02,(99-50)÷(150-50)=0.49,(165-50)÷(150-50)=1.15(大于1时取1),计算结果为(0,0,0)、(0.02,0.02,0.02)、(0.49,0.49,0.49)、(1,1,1);还原到0-255:0→0,0.02→5,0.49→125,1→255,即调整色阶后的RGB值为(0,0,0)、(5,5,5)、(125,125,125)、(255,255,255)。将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层,为原嘴唇图层增添高光效果。
步骤S140:根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
实际涂抹口红后,还是能看到嘴唇上的纹理,口红效果也与唇色有一定关系,为此,本申请采用预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,使得效果图中能看到真实涂沫口红后应有的光泽及纹理。
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合的方式有多种,例如,如公式(1)所示的预设算法,
Figure BDA0001287503010000091
其中,a表示着色嘴唇图层中像素的RGB值,b表示着变亮混合图层中像素的RGB值。然而,由图4d可知,着色嘴唇图层中除嘴唇部分外,其它区域为黑色,而黑色的RGB值分别为0、0、0,白色的RGB值分别为255、255、255(使用公式(1)时是将RGB值转化成0-1间的数进行计算的,R值、G值、B值独立计算),显然,采用公式(1)进行叠加混合将使图像中嘴唇以外区域的像素值也发生改变,对此,如图5所示,本申请一实施例提出的根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图的步骤包括:
步骤S541:获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
步骤S542:将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
步骤S543:将第一像素与第二像素渲染到图像上得到效果图。
上述步骤S541及步骤S542可以理解为如公式(2)所示的预设算法,
Figure BDA0001287503010000092
其中,a表示着色嘴唇图层中像素的RGB值,b表示着变亮混合图层中像素的RGB值。公式(2)中的0.5即为与着色嘴唇图层的像素值进行对比的预设阈值,预设阈值可以任意设定,例如为0.5或0.8等,本申请对此不作限定,可以理解的,公式(2)中也可以采用其它类型的混合公式。由于黑色的RGB值分别为0、0、0,显然,图4d中除嘴唇部分外的黑色区域将显示变亮混合图层中的区域,当然,也可以对嘴唇部分以外的区域采用其它方式进行美肤或增加化妆效果;嘴唇部分根据公式(2)进行计算,其中部分像素值为变亮混合图层中对应位置的像素值,部分像素值为着色嘴唇图层与变亮混合图层中像素的混合结果,从而,最终的效果图中能够显示口红效果、真实涂沫口红后应有的光泽及纹理。
进一步地,由于人的嘴唇有张开和闭合等状态,针对不同状态本申请提出了不同的处理方式,如图6所示,所述对嘴唇特征点进行三角化处理得到嘴唇轮廓区域的步骤包括:
步骤S611:根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;
步骤S612:当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;
步骤S613:当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
判断嘴唇是否处于张开状态的方式有多种,例如,通过比较像素RGB值区分嘴唇、牙齿等以判断嘴唇是否处于张开状态,然而目前的判断方式计算方法都较复杂,本申请提出根据内圈各特征点的位置关系判断嘴唇是否处于张开状态,嘴唇处于张开状态或闭合状态时,内圈各特征点间距的变化较明显,如图4a、图4b所示,可以根据特征点414、415、416、418、419、420的分布状态判断嘴唇是否处于张开状态,例如,计算特征点414、415、416纵坐标的第一平均值,特征点418、419、420纵坐标的第二平均值,比较第一平均值与第二平均值的差值是否小于预设阈值(例如,为2像素、5像素等);当然,也可以分别计算特征点414与420、415与419、416与418纵坐标的差值是否小于预设阈值,大于预设阈值可以判断嘴唇处于张开状态(如图4a所示),否则可以判断嘴唇处于闭合状态(如图4b所示)。进一步地,针对嘴唇处于张开状态或闭合状态可以采用不同的三角化处理方式,如图4a所示,当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域,例如,以特征点401、402、413组成一个三角形,再以402、413、414组成下一个三角形,依次循环到所有的特征点,三角形组成闭合区域且不重叠,得到嘴唇轮廓区域。若在嘴唇闭合状态仍以外圈点和内圈点组合的方式进行三角化处理,因内圈点位置交错可能出现部分区域重叠的三角形,而以三角形为区域对嘴唇轮廓区域上色时,将导致重叠的部分重复上色、颜色变深。为此,如图4b所示,当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域,例如,以特征点401、402、412组成一个三角形,再以402、412、403组成下一个三角形,依次循环到所有的外圈点,三角形组成闭合区域且不重叠,得到嘴唇轮廓区域。从而,通过上述对嘴唇闭合状态的区分处理,不仅可以提高获取嘴唇轮廓区域的效率,还可以保证上色效果。
与前述嘴唇渲染颜色的方法的实施例相对应,本申请还提供了嘴唇渲染颜色的装置的实施例。
请参考图7,图7是本申请一示例性实施例示出的一种嘴唇渲染颜色的装置700的逻辑框图;如图7所示,该嘴唇渲染颜色的装置700可以包括区域模块710及渲染模块720:
区域模块710,用于对图像进行识别确定嘴唇渲染区域;
渲染模块720,用于根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;及
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;及
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
如图8所示,所述渲染模块720包括:
取色单元721,用于获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
混色单元722,用于将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
渲染单元723,用于将第一像素与第二像素渲染到图像上得到效果图。
进一步的,所述渲染模块720,还用于将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
如图9所示,所述区域模块710包括:
取点单元711,用于对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
区域单元712,用于对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
模糊单元713,用于以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域;
所述区域单元712,还用于根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;及
当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;及
当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
与前述嘴唇渲染颜色的方法的实施例相对应,本申请还提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对图像进行识别确定嘴唇渲染区域;
根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图。
如图10所示,本申请的电子设备可以是安装有嘴唇渲染颜色功能应用软件的电子设备100,通过在电子设备100中安装该应用软件即可对图像中的嘴唇渲染颜色,该图像可以是通过摄像头101获取的,也可以是电子设备100中存储的,或者通过其它途径获取的图像。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种嘴唇渲染颜色的方法,其特征在于,包括以下步骤:
对图像进行识别确定嘴唇渲染区域;
根据口红的色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图,所述效果图用于显示嘴唇涂抹所述口红后的状态;
其中,所述根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图的步骤包括:
获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
将第一像素与第二像素渲染到图像上得到效果图。
2.如权利要求1所述的嘴唇渲染颜色的方法,其特征在于,所述根据色号信息对嘴唇渲染区域上色生成着色嘴唇图层的步骤包括:
将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
3.如权利要求1至2中任一项所述的嘴唇渲染颜色的方法,其特征在于,所述对图像进行识别确定嘴唇渲染区域的步骤包括:
对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域。
4.如权利要求3所述的嘴唇渲染颜色的方法,其特征在于,所述对嘴唇特征点进行三角化处理得到嘴唇轮廓区域的步骤包括:
根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;
当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;
当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
5.一种嘴唇渲染颜色的装置,其特征在于,包括:
区域模块,用于对图像进行识别确定嘴唇渲染区域;
渲染模块,用于根据口红的色号信息对嘴唇渲染区域上色生成着色嘴唇图层;及
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;及
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图,所述效果图用于显示嘴唇涂抹所述口红后的状态;
其中,所述渲染模块包括:
取色单元,用于获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
混色单元,用于将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
渲染单元,用于将第一像素与第二像素渲染到图像上得到效果图。
6.如权利要求5所述的嘴唇渲染颜色的装置,其特征在于,所述渲染模块,还用于将嘴唇渲染区域各像素的像素值与色号信息中的像素值相乘得到着色嘴唇图层。
7.如权利要求5至6中任一项所述的嘴唇渲染颜色的装置,其特征在于,所述区域模块包括:
取点单元,用于对图像进行人脸检测以识别人脸图像,从人脸图像中提取嘴唇特征点;
区域单元,用于对嘴唇特征点进行三角化处理得到嘴唇轮廓区域;
模糊单元,用于以嘴唇轮廓区域内为白色、嘴唇轮廓区域外为黑色,对嘴唇轮廓区域进行模糊处理,生成嘴唇渲染区域;
所述区域单元,还用于根据嘴唇特征点中内圈点的分布状态判断嘴唇是否处于张开状态;及
当嘴唇不处于张开状态时,对嘴唇特征点中的外圈点进行三角化处理得到嘴唇轮廓区域;及
当嘴唇处于张开状态时,以外圈点和内圈点组合的方式进行三角化处理得到嘴唇轮廓区域。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对图像进行识别确定嘴唇渲染区域;
根据口红的色号信息对嘴唇渲染区域上色生成着色嘴唇图层;
从图像中提取嘴唇渲染区域对应的初始嘴唇图层,对初始嘴唇图层灰度化后调整色阶得到高光嘴唇图层,将高光嘴唇图层与图像所在图层进行变亮混合得到变亮混合图层;
根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图,所述效果图用于显示嘴唇涂抹所述口红后的状态;
其中,所述根据预设算法将变亮混合图层与着色嘴唇图层进行叠加混合,得到嘴唇渲染颜色后的效果图的步骤包括:
获取着色嘴唇图层的像素值小于预设阈值的浅像素位置信息,将变亮混合图层中与浅像素位置对应的像素值作为第一像素;
将着色图层中大于或等于预设阈值的像素值与高光嘴唇图层中对应的像素值根据预设算法进行叠加混合得到第二像素;
将第一像素与第二像素渲染到图像上得到效果图。
CN201710312352.4A 2017-05-05 2017-05-05 嘴唇渲染颜色的方法、装置及电子设备 Active CN107229905B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710312352.4A CN107229905B (zh) 2017-05-05 2017-05-05 嘴唇渲染颜色的方法、装置及电子设备
PCT/CN2017/104367 WO2018201662A1 (zh) 2017-05-05 2017-09-29 嘴唇渲染颜色的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710312352.4A CN107229905B (zh) 2017-05-05 2017-05-05 嘴唇渲染颜色的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107229905A CN107229905A (zh) 2017-10-03
CN107229905B true CN107229905B (zh) 2020-08-11

Family

ID=59934218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312352.4A Active CN107229905B (zh) 2017-05-05 2017-05-05 嘴唇渲染颜色的方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN107229905B (zh)
WO (1) WO2018201662A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062510B (zh) * 2017-11-17 2022-02-11 维库(厦门)信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN108073930A (zh) * 2017-11-17 2018-05-25 维库(厦门)信息技术有限公司 一种基于多个不规则roi的目标检测和跟踪方法
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108846320A (zh) * 2018-05-25 2018-11-20 广州久邦世纪科技有限公司 一种唇色自动着色的图像处理方法及其系统
CN108875594B (zh) * 2018-05-28 2023-07-18 腾讯科技(深圳)有限公司 一种人脸图像的处理方法、装置以及存储介质
CN108874145B (zh) * 2018-07-04 2022-03-18 深圳美图创新科技有限公司 一种图像处理方法、计算设备及存储介质
CN110728618B (zh) * 2018-07-17 2023-06-27 淘宝(中国)软件有限公司 虚拟试妆的方法、装置、设备及图像处理方法
CN111507143B (zh) * 2019-01-31 2023-06-02 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN109887062B (zh) * 2019-03-14 2023-05-16 网易(杭州)网络有限公司 渲染方法、装置、设备及存储介质
CN112308944A (zh) * 2019-07-29 2021-02-02 丽宝大数据股份有限公司 仿真唇妆的扩增实境显示方法
CN110738626B (zh) * 2019-10-24 2022-06-28 广东三维家信息科技有限公司 渲染图的优化方法、装置及电子设备
CN110992248B (zh) * 2019-11-27 2021-03-19 腾讯科技(深圳)有限公司 唇妆特效的显示方法、装置、设备及存储介质
CN113450367A (zh) * 2020-03-24 2021-09-28 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111738914B (zh) * 2020-07-29 2023-09-12 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN111881850A (zh) * 2020-07-30 2020-11-03 云知声智能科技股份有限公司 口红试色方法、装置及设备
CN111986131B (zh) * 2020-07-31 2024-03-12 北京达佳互联信息技术有限公司 图像合成方法、装置及电子设备
CN112837405A (zh) * 2020-12-04 2021-05-25 佛山欧神诺云商科技有限公司 一种动态建模实现方法、电子设备、存储介质
CN113763109A (zh) * 2021-02-03 2021-12-07 北京沃东天骏信息技术有限公司 物品推荐方法、装置、设备及存储介质
CN112954206B (zh) * 2021-02-05 2022-08-16 上海富彭展览展示服务有限公司 一种虚拟妆容的显示方法、系统、装置及其存储介质
CN112767285B (zh) * 2021-02-23 2023-03-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113476844A (zh) * 2021-07-05 2021-10-08 网易(杭州)网络有限公司 游戏中的特效处理方法、装置、电子设备及存储介质
CN113781464B (zh) * 2021-09-17 2024-05-07 平安科技(深圳)有限公司 嘴唇润燥检测方法、装置、计算机设备及存储介质
CN113920207B (zh) * 2021-09-28 2023-07-11 海南电网有限责任公司澄迈供电局 一种停电计划分析系统
CN114119848B (zh) * 2021-12-05 2024-05-14 北京字跳网络技术有限公司 一种模型渲染方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214766B1 (en) * 2008-07-09 2012-07-03 Adobe Systems Incorporated Method and system for preview control for image adjustment
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
US9230312B2 (en) * 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
CN102332170B (zh) * 2011-07-26 2013-06-12 深圳万兴信息科技股份有限公司 一种计算机素描画的生成方法和系统
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN106251191A (zh) * 2016-07-15 2016-12-21 深圳市金立通信设备有限公司 一种终端屏幕的显示控制方法及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214766B1 (en) * 2008-07-09 2012-07-03 Adobe Systems Incorporated Method and system for preview control for image adjustment
US9230312B2 (en) * 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法

Also Published As

Publication number Publication date
WO2018201662A1 (zh) 2018-11-08
CN107229905A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN107229905B (zh) 嘴唇渲染颜色的方法、装置及电子设备
US9449412B1 (en) Adaptive, calibrated simulation of cosmetic products on consumer devices
US7817159B2 (en) Digital painting
US9142054B2 (en) System and method for changing hair color in digital images
EP2478695B1 (en) System and method for image processing and generating a body model
JP4753025B2 (ja) メイクアップシミュレーション方法
US10892166B2 (en) System and method for light field correction of colored surfaces in an image
CN111861632B (zh) 虚拟试妆方法、装置、电子设备及可读存储介质
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
Jeong et al. An efficient re-coloring method with information preserving for the color-blind
CN110728618A (zh) 虚拟试妆的方法、装置、设备及图像处理方法
CN112308944A (zh) 仿真唇妆的扩增实境显示方法
JP7463774B2 (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
CN113436284A (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN110610504A (zh) 基于骨架与色调的铅笔画生成方法及装置
Meylan Tone mapping for high dynamic range images
JP6128356B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6711020B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
Zubiaga et al. Matcap decomposition for dynamic appearance manipulation
US20110280440A1 (en) Method and Apparatus Pertaining to Rendering an Image to Convey Levels of Confidence with Respect to Materials Identification
CN113344838A (zh) 图像融合方法、装置、电子设备及可读存储介质
CN114596213A (zh) 一种图像处理方法及装置
Chamaret et al. Harmony-guided image editing
Luksch Realtime HDR rendering
US20230298248A1 (en) Texture Interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200316

Address after: 510530 Guangdong city of Guangzhou province YUNPU Whampoa district four Road No. 6

Applicant after: GUANGZHOU SHIYUAN ELECTRONICS Co.,Ltd.

Address before: 510530 Guangdong city of Guangzhou province YUNPU Whampoa district four Road No. 6

Applicant before: GUANGZHOU SHIYUAN ELECTRONICS Co.,Ltd.

Applicant before: GUANGZHOU RUIXIN ELECTRONICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant