CN112508777A - 一种美颜方法、电子设备及存储介质 - Google Patents
一种美颜方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112508777A CN112508777A CN202011507150.3A CN202011507150A CN112508777A CN 112508777 A CN112508777 A CN 112508777A CN 202011507150 A CN202011507150 A CN 202011507150A CN 112508777 A CN112508777 A CN 112508777A
- Authority
- CN
- China
- Prior art keywords
- target
- facial
- user
- cheek
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000001815 facial effect Effects 0.000 claims abstract description 206
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 67
- 239000002537 cosmetic Substances 0.000 claims abstract description 8
- 230000003796 beauty Effects 0.000 claims description 73
- 210000001508 eye Anatomy 0.000 claims description 26
- 210000000056 organ Anatomy 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 17
- 210000001331 nose Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000227 grinding Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理技术领域，特别涉及一种美颜方法、电子设备及存储介质，通过脸型、五官在美颜模板库中匹配美颜模板，美颜模板库中的每个美颜模板为一个化妆或美颜后的人脸图像，进而使得不同美颜模板中的模特可以根据自身脸型、五官特点，选择不同风格的妆容，使用不同款式的化妆品，例如口红、眼影、粉底等；用户在拍摄短视频进行美颜时，根据用户的脸型和五官类型，对每个人脸图像和用户人脸图像进行脸型匹配和五官匹配，即根据用户的脸型、五官特点，选择与用户脸型、五官最为契合的一个或多个人脸图像作为目标美颜模板。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种美颜方法、电子设备及存储介质。
背景技术
用户在APP拍摄短视频时，APP会给用户提供美颜功能，现有的美颜功能包括不同风格的滤镜，不同程度的磨皮、瘦脸、大眼，不同颜色深浅程度的口红、腮红等。以抖音为例，用户在拍摄短视频时进行美颜，当使用滤镜功能时，用户可以点击屏幕下方提供的不同模板，以此来改变用户拍摄的滤镜风格。当使用磨皮、瘦脸、大眼功能时，用户可以拖动屏幕下方的调节框来指定美颜的程度(0％-100％)。当使用口红和腮红功能时，用户同样是拖动屏幕下方的调节框，来指定口红和腮红的颜色深浅度(0％-100％)。最终，用户选定合适的滤镜模板、磨皮、瘦脸等美颜风格后，以此美颜效果为基础进行短视频拍摄。
现有的美颜拍摄方法，重点提供磨皮、瘦脸等功能，并未提供完备的妆容美颜功能，例如涂口红、涂眼影、擦粉底等，虽然有些APP提供了口红和腮红功能，但是该功能过于简单，只是在用户的嘴部和脸部进行着色，且色调较单一，用户需要依赖自己的主观判断调整颜色的深浅程度，个性化推荐和自动化美颜功能有待改善。
发明内容
本发明实施方式的目的在于提供一种美颜方法、电子设备及存储介质，解决了现有技术中美颜功能只是在用户的嘴部或脸部进行着色，且色调较单一，用户需要依赖自己的主观判断调整颜色的深浅程度，个性化推荐和自动化美颜功能有待改善的问题。
为解决上述技术问题，第一方面，本发明的实施方式提供了一种美颜方法，包括：
获取用户人脸图像；
对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板；其中，所述美颜模板库中预先存储有多个美颜模板，每个所述美颜模板为一个已美颜的人脸图像；
根据所述目标美颜模板对所述用户人脸图像进行美颜。
第二方面，本发明实施例提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面实施例所述美颜方法的步骤。
第三方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述美颜方法的步骤。
本发明实施方式相对于现有技术而言，通过预先设置若干个美颜模板，每个美颜模板是一位化妆后的模特人脸图片，可以使得不同美颜模板中的模特根据自身特点，使用不同款式的化妆品，例如口红、眼影、粉底等，进而使推荐的目标美颜模板更符合当下审美风格，并且可使用户体验进行不同款式化妆品的化妆效果；用户在拍摄短视频进行美颜时，根据用户的脸型和五官类型，对用户人脸图像和模特人脸图像进行脸型匹配和五官匹配，选择与用户脸型、五官最为契合的美颜模板作为目标美颜模板，以匹配到最符合自身特征的化妆风格的目标美颜模板。
另外，每个所述美颜模板的各个五官和脸颊均已美颜；
所述根据所述目标美颜模板对所述用户人脸图像进行美颜，具体包括：
将所述目标美颜模板推送给用户；
基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊，将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上。
另外，所述对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板，具体包括：
基于预先训练好的相似度模型，计算所述用户人脸图像与所述美颜模板库中所有美颜模板的脸型相似度值和五官相似度值，所述五官相似度值包括眼睛相似度值、嘴巴相似度值、鼻子相似度值、眉毛相似度值和耳朵相似度值；
将所述脸型相似度值和所述五官相似度值叠加得到所述用户人脸图像和所述美颜模板的相似度总值；
基于所述用户人脸图像和所述美颜模板的相似度总值大小对所述美颜模板进行前后排序，选择排在最前的一个或多个美颜模板作为目标美颜模板。
另外，所述对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配前，还包括：
收集不同脸型类型、不同五官类型、不同妆容、不同化妆品款式的人脸图像，将所述人脸图像两两配对并进行标注，得到训练数据集；其中，所述标注包括两个人脸图像的五官相似度值和脸型相似度值；
构建卷积神经网络模型，所述卷积神经网络模型包括依次连接的输入层、第一卷积池化层、第一个拼接层、第二卷积池化层、第二拼接层、全连接层和输出层；其中，所述第一卷积池化层包括第一预设数目个不同尺寸的卷积核，所述第二卷积池化层包括第二预设数目个不同尺寸的卷积核；
基于所述训练数据集和所述卷积神经网络模型进行训练，得到用于计算两个人脸图像的脸型相似度值和五官相似度值的相似度模型。
另外，
所述基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊，具体包括：
确定用户在选择目标五官或目标脸颊时屏幕感应到的屏幕触点；
确定所述屏幕触点在目标美颜模板中的坐标，以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离；
将与所述屏幕触点距离最小的五官或脸颊作为用户选定的目标五官或目标脸颊；
基于目标五官或目标脸颊所在的最小矩形框截取目标五官或目标脸颊。
另外，
所述以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离，具体包括：
计算所述屏幕触点与各个五官、脸颊的中心点和极值点的距离；其中，所述中心点为五官或脸颊所在最小矩形框的中心点，所述极值点包括五官或脸颊所在最小矩形框的顶边中点和底边中点；
确定五官或脸颊与所述屏幕触点的距离为：
distance＝0.3*dmin+0.5*dmid+0.2*dmax，或
distance＝(dmin+dmid+dmax)/3；
其中，dmin表示屏幕触点到最近的极值点的距离，dmax表示屏幕触点到最远的极值点的距离，dmid表示屏幕触点到中心点的距离。
另外，所述将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上，具体包括：
确定用户人脸图像中两只眼睛的中心点，所述中心点为眼睛所在最小矩形框的中心点；
根据两只眼睛的所述中心点的连线与水平方向的夹角确定所述目标五官或目标脸颊的旋转角度；
在所述用户人脸图像上确定与所述目标五官或目标脸颊对应的用户五官或脸颊的矩形框，基于用户五官或脸颊的矩形框对所述目标五官或目标脸颊在长度和宽度方向进行拉伸，以使所述目标五官或目标脸颊与对应的用户五官或脸颊的长度和宽度相等。
另外，所述基于用户五官的矩形框对所述目标五官或目标脸颊在长度和宽度方向进行拉伸后，还包括：
逐一连接从所述目标五官或目标脸颊提取的各关键点，得到目标五官或目标脸颊曲线；
将用户五官的矩形框内且位于目标五官或目标脸颊曲线所围区域之外的像素点作为非目标五官或目标脸颊的像素点，将所述非目标五官或目标脸颊的像素点的像素值调整为所述用户人脸图像中脸部区域的像素值。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明实施例的一种美颜方法流程图；
图2是根据本发明实施例采用的卷积神经网络模型结构示意图；
图3是根据本发明实施例方法截取目标五官或目标脸颊流程图；
图4是根据本发明实施例方法将美颜模板中的目标五官或目标脸颊叠加到用户人脸图像对应的五官或脸颊流程图；
图5为根据本发明实施例的曲线拟合示意图；
图6是根据本发明第二实施例的一种服务器结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
现有的APP美颜重点提供磨皮、瘦脸等功能，并未提供完备的妆容美颜功能，例如涂口红、涂眼影、擦粉底等。虽然也有一些APP提供了口红和腮红功能，但是该功能过于简单，只是在用户的嘴部和脸部进行着色，且色调较单一，用户也只能简单调整颜色的深浅程度；用户需要依赖自己的主观判断进行美颜，个性化推荐美颜功能有待改善。
因此，本发明实施例提供一种美颜方法、电子设备及存储介质，用户在使用美颜功能时，通过对用户人脸图像和美颜模板库中美颜模板进行脸型匹配和五官匹配，美颜模板为已美颜的人脸图像，进而使推荐的目标美颜模板更符合当下审美风格。以下将通过多个实施例进行展开说明和介绍。
本发明的第一实施方式涉及一种美颜方法。具体流程如图1中所示，包括：
步骤S1、获取用户人脸图像；通过摄像头拍摄用户的人脸所在区域，提取用户人脸图像；
步骤S2、对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板；其中，所述美颜模板库中预先存储有多个美颜模板，每个所述美颜模板为一个已美颜的人脸图像；
具体地，本实施例会预先建立美颜模板库，美颜模板库中的每个美颜模板为一个化妆或美颜后的人脸图像，可以选择模特或明星的人连图像，进而使得不同美颜模板中的模特或明星可以根据自身脸型、五官特点，选择不同风格的妆容，使用不同款式的化妆品，例如口红、眼影、粉底等；用户在拍摄短视频进行美颜时，根据用户的脸型和五官类型，对每个人脸图像和用户人脸图像进行脸型匹配和五官匹配，即根据用户的脸型、五官特点，选择与用户脸型、五官最为契合的一个或多个人脸图像作为目标美颜模板。
步骤S3、根据所述目标美颜模板对所述用户人脸图像进行美颜。
具体地，用户在拍摄短视频进行美颜时，根据用户的脸型和五官类型，对用户人脸图像和人脸图像进行脸型匹配和五官匹配，根据自身与模特脸部特征匹配寻找到最符合自身风格的化妆风格的目标美颜模板，将目标美颜模板展示在给用户，用户可以参考推荐结果和个人喜好，选择不同的美颜模板进行美颜。
步骤S31、将所述目标美颜模板推送给用户；
步骤S32、基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊；
步骤S33、将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上。
具体地，在截取目标五官或目标脸颊时，作为一种优选的实施方式，确定目标五官或目标脸颊的最小矩形框，截取该目标五官或目标脸颊的最小矩形框，以得到目标五官或目标脸颊的截图。
具体地，每个所述美颜模板的各个五官均已美颜，在选择某个模板进行美颜时，用户可以只点击美颜模板中模特的具体五官或脸颊，例如嘴、眼睛、脸颊、眉毛等，根据用户的选择，截取目标五官或目标脸颊后，对该目标五官或目标脸颊对应图像进行旋转，拉伸等操作，将模特的该目标五官或目标脸颊渲染到用户的对应五官或脸颊上，以达到妆容美颜的效果。例如，当用户点击美颜模板中模特的嘴，将模特的嘴截取后调整叠加到用户嘴上，从美颜效果来看相当于用户涂抹了和模特同款式的口红，由于美颜模板是通过脸型匹配和五官匹配得到的，因此，截取到的目标五官或目标脸颊与用户对应的五官或脸颊的差异性很小，将目标五官或脸颊叠加到所述用户人脸图像对应的五官上后，对用户美颜后的识别性影响也很小。
在上述实施例的基础上，作为一种优选的实施方式，所述对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板，具体包括：
基于预先训练好的相似度模型，计算所述用户人脸图像与所述美颜模板库中所有美颜模板的脸型相似度值和五官相似度值，所述五官相似度值包括眼睛相似度值、嘴巴相似度值、鼻子相似度值、眉毛相似度值和耳朵相似度值；
将所述脸型相似度值和所述五官相似度值叠加得到所述用户人脸图像和所述美颜模板的相似度总值；
基于所述用户人脸图像和所述美颜模板的相似度总值大小对所述美颜模板进行前后排序，选择排在最前的一个或多个美颜模板作为目标美颜模板。
具体地，在美颜之前，要收集一部分美颜模板数据，每个美颜模板是一位化妆的人脸图像，该人脸图像为模特的正脸照，为了尽可能多的覆盖，可以收集不同脸型、不同五官类型、不同妆容、不同化妆品款式的模板。为了统一尺度，方便计算，在收集模板时要保持模特的脸部正视前方，两眼的连线和水平线平行。收集方式可采用网络下载、定制化拍摄等方式。将美颜模板存入数据库待使用。
为了更全面、更准确的捕获图像特征、计算相似度，本实施例采用基于卷积神经网络的算法，进行相似度计算。详细计算步骤如下：
对所有美颜模板(人脸图像)两两配对进行标注得到训练数据集。CNN模型输入的每一条训练数据是一对图片，即两个人脸图像，相应的标签是1个6维的向量，分别代表输入图片对中两个模特的鼻子、嘴巴、眼睛、眉毛、耳朵、脸型的相似性，每个部位的相似性取值范围是[0，20]，值越大代表该部位越相似。
由于输入图像的尺寸可能不同，并且涉及到嘴巴、鼻子、眼睛、眉毛和脸型等，不同五官的尺寸不同，视野域不同，因此，本实施例中自行组建了卷积神经网络模型，结构如图2中所示，该卷积神经网络模型的输入层是待比较的两张图片，之后依次连接1个卷积池化层(即第一卷积池化层)、1个拼接层(即第一拼接层)、1个卷积池化层(即第二卷积池化层)、1个拼接层(即第二拼接层)，1个全连接层，最后是输出层。输出层是6维的向量，表示输入的两张图片在6个部位(鼻子、嘴巴、眼睛、眉毛、耳朵、脸型)的相似性分值。进行比较的两张图片为图像1和图像2，以下是卷积神经网络模型的详细结构和训练步骤：
(a)、由于输入图像的尺寸可能不同，因此需要先将两张图片rescale到统一尺寸，例如512*512像素；
(b)、本实施例要比较的是两个人脸的相似度，涉及到嘴巴、鼻子、眼睛、眉毛和脸型、不同五官的尺寸不同，视野域不同，因此，第一卷积池化层包括第一预设数目个不同尺寸的卷积核，如4个不同尺寸的卷积核，使用4种不同尺寸的卷积核对两张图像分别进行卷积。卷积核尺寸为1*1、3*3、5*5、7*7，进行max pooling以后，将4个卷积核对应的featuremap进行拼接；
(c)、第二卷积池化层包括第二预设数目个不同尺寸的卷积核，如3个不同尺寸的卷积核，对拼接后的feature map使用3种不同尺寸的卷积核进行卷积处理，尺寸分别为1*1、3*3、5*5，进行max pooling，每张图像得到3个feature map。同样，考虑到不同的五官相似性比较时视野域不同，为了得到更全面的比较效果，将两张图片的3个feature map分别进行拼接，转化为一维向量，再将9个1维向量拼接。为了提高计算效率，降低特征维度，在拼接时要先进行降采样再拼接。
(d)、拼接后的一维向量连接到全连接层，再连接到输出层。输出层的维度是6，代表了两张图片的6部分(鼻子，嘴巴，眼睛，眉毛，耳朵、脸型)的相似度分值。本实施例的损失函数为均方误差损失函数。
利用训练数据集训练上述的卷积神经网络模型。训练完毕后卷积神经网络模型可以用来对两张图片进行相似度值计算。当用户在美颜时，利用训练好的卷积神经网络模型，计算用户人脸图像和美颜模板库中所有美颜模板的相似度，用户人脸图像和每个美颜模板的相似度总值是由5个部分(耳朵、鼻子，嘴巴，眼睛，眉毛，脸型)的相似度值相加得到。对相似度总值大小进行排序，按照排序顺序依次将对应美颜模板输出在屏幕下方展示给用户。
在上述实施例的基础上，作为一种优选的实施方式，所述基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊，如图3中所示，具体包括：
步骤S321、确定用户在选择目标五官或目标脸颊时屏幕感应到的屏幕触点；
步骤S322、确定所述屏幕触点在目标美颜模板中的坐标，以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离；
步骤S323、将与所述屏幕触点距离最小的五官或脸颊作为用户选定的目标五官或目标脸颊；
步骤S324、基于目标五官或目标脸颊所在的最小矩形框截取目标五官或目标脸颊。
具体地，用户获取推荐的美颜模板以后，可以根据自己的喜好选择某个美颜模板中的某个五官部位或脸颊进行局部化妆美颜。用户在点击时，可能由于屏幕尺寸、用户的手型不统一，屏幕触点与所选的目标五官或目标脸颊所在区之间可能会有一定的误差。例如，用户想点击模特的嘴巴，但是点击位置并没有准确的落到嘴巴的轮廓内，会有一定的偏差，因此需要设计个性化算法来忽略误差，准确截取用户选定的五官部位或脸颊。
本实施例中，通过得到用户在选择目标五官或脸颊时屏幕感应到的屏幕触点，计算该屏幕触点与各个五官、脸颊的距离，计算屏幕触点到各个五官、脸颊的距离，距离最小的五官或脸颊，即为用户选定的目标五官或目标脸颊。
在上述实施例的基础上，作为一种优选的实施方式，所述以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离，具体包括：
计算所述屏幕触点与各个五官、脸颊的中心点和极值点的距离；其中，所述中心点为五官或脸颊所在最小矩形框的中心点，所述极值点包括五官或脸颊所在最小矩形框的顶边中点和底边中点；
基于以下两种算法确定五官或脸颊与所述屏幕触点的距离为：
算法1：distance＝0.3*dmin+0.5*dmid+0.2*dmax，或
算法2：distance＝(dmin+dmid+dmax)/3；
其中，dmin表示屏幕触点到最近的极值点的距离，dmax表示屏幕触点到最远的极值点的距离，dmid表示屏幕触点到中心点的距离。
本实施例中，首先得到用户选定美颜模板的人脸图像关键点检测数据，该数据已经事先存储在数据库中，可直接调用，该关键点即为一个中心点和两个极值点。
具体地，dmid可以比较准确的定位用户的指定五官，但是如果个别关键点计算有误，会导致中心点发生偏离，这时候只用dmid就会造成误差。而个别关键点计算有误并不会影响dmin和dmax，因此dmin和dmax可以作为dmid的补充来有效的消解误差。而dmin又比dmax更直接的反应了用户的指定五官信息，因此，在算法1中dmid、dmin和dmax的权值分别为0.5、0.3和0.2。
将美颜模板上的目标五官或目标脸颊截取后，需要将截取的图像调整并叠加到用户对应的五官或脸颊上。可以针对嘴巴、眼睛、鼻子、眉毛、耳朵、脸颊等分别进行调整和叠加，这里以嘴巴举例。当用户点击了模板中模特的嘴巴，在截取模特的嘴部图像后，要叠加到用户的嘴部，形成用户涂抹同款式口红的美颜效果。由于模板图像和用户图像的尺寸、角度，形状不同，因此要对截取的模特五官图像进行调整。
在上述实施例的基础上，作为一种优选的实施方式，所述将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上，如图4中所示，具体包括：
步骤S331、确定用户人脸图像中两只眼睛的中心点，所述中心点为眼睛所在最小矩形框的中心点；
步骤S332、根据两只眼睛的所述中心点的连线与水平方向的夹角确定所述目标五官或目标脸颊的旋转角度；
步骤S333、在所述用户人脸图像上确定与所述目标五官或目标脸颊对应的用户五官或脸颊的矩形框，基于用户五官或脸颊的矩形框对所述目标五官或目标脸颊在长度和宽度方向进行拉伸，以使所述目标五官或目标脸颊与对应的用户五官或脸颊的长度和宽度相等；
步骤S334、逐一连接从所述目标五官或目标脸颊提取的各关键点，得到目标五官或目标脸颊曲线；
将用户五官的矩形框内且位于目标五官或目标脸颊曲线所围区域之外的像素点作为非目标五官或目标脸颊的像素点，将所述非目标五官或目标脸颊的像素点的像素值调整为所述用户人脸图像中脸部区域的像素值。
具体地，在本实施例中，以嘴巴为例，首先需要通过人脸关键点检测方法，定位出用户人脸图像中面部的关键区域位置，计算用户两只眼睛的中心点连线和水平方向的夹角，将模特的嘴巴截图按照夹角方向进行旋转。
根据人脸关键点检测方法，在用户人脸图像中确定多个关键点，然后将确定的关键点进行连线，区分出五官、脸颊所在的关键区域位置。需要说明的是，上述人脸关键点点定位算法可以是但不限于ASM算法(ActiveShapeModel，基于点分布模型的关键点定位算法)、AAM算法(ActiveAppearanceModel，主动形状模型)、CLM算法(Constrainedlocalmodel，人脸点检测算法)、cascadedRegression级联回归算法或CNN算法模型(ConvolutionalNeuralNetworks，卷积神经网络)等可以实现人脸关键点定位的任何一种算法，本实施例在此不作限制。
确定用户嘴巴轮廓的最小矩形框，根据最小矩形框的长度和宽度，对模特的嘴巴截图矩形框在两个方向进行拉伸，使得模特嘴巴截图矩形框和用户嘴巴矩形框的长度和宽度相等。
根据目标美颜模板中嘴巴的关键点坐标进行曲线拟合，如图5中所示，本实施例中采用多项式拟合，多项式最高次数为6。为了提高效率，该曲线可以事先计算好并存储在数据库中。计算模特嘴巴截图中各个点位于在曲线的位置，如像素点在曲线内，则该点为嘴巴，不做处理。如像素点在曲线外，则该点为非嘴巴区域，通过滤波操作将该点的像素值调整为用户的脸部像素值，即将矩形框内嘴巴曲线之外的像素点的像素值调整为用户的脸部像素值。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第二实施方式涉及一种服务器，如图6所示，包括处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述美颜方法的步骤。例如包括：
步骤S1、获取用户人脸图像；
步骤S2、对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板；其中，所述美颜模板库中预先存储有多个美颜模板，每个所述美颜模板为一个已美颜的人脸图像；
步骤S3、根据所述目标美颜模板对所述用户人脸图像进行美颜。
其中，存储器和处理器采用通信总线方式连接，通信总线可以包括任意数量的互联的总线和桥，通信总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在通信总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第三实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现如上述各实施例所述美颜方法的步骤。例如包括：
步骤S1、获取用户人脸图像；
步骤S2、对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板；其中，所述美颜模板库中预先存储有多个美颜模板，每个所述美颜模板为一个已美颜的人脸图像；
步骤S3、根据所述目标美颜模板对所述用户人脸图像进行美颜。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种美颜方法，其特征在于，包括：
获取用户人脸图像；
对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板；其中，所述美颜模板库中预先存储有多个美颜模板，每个所述美颜模板为一个已美颜的人脸图像；
根据所述目标美颜模板对所述用户人脸图像进行美颜。
2.根据权利要求1所述的美颜方法，其特征在于，每个所述美颜模板的各个五官和脸颊均已美颜；
所述根据所述目标美颜模板对所述用户人脸图像进行美颜，具体包括：
将所述目标美颜模板推送给用户；
基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊，将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上。
3.根据权利要求1所述的美颜方法，其特征在于，所述对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配，基于所述用户人脸图像和所述美颜模板的脸型匹配和五官匹配结果在所述美颜模板库中确定目标美颜模板，具体包括：
基于预先训练好的相似度模型，计算所述用户人脸图像与所述美颜模板库中所有美颜模板的脸型相似度值和五官相似度值，所述五官相似度值包括眼睛相似度值、嘴巴相似度值、鼻子相似度值、眉毛相似度值和耳朵相似度值；
将所述脸型相似度值和所述五官相似度值叠加得到所述用户人脸图像和所述美颜模板的相似度总值；
基于所述用户人脸图像和所述美颜模板的相似度总值大小对所述美颜模板进行前后排序，选择排在最前的一个或多个美颜模板作为目标美颜模板。
4.根据权利要求3所述的美颜方法，其特征在于，所述对所述用户人脸图像与美颜模板库中所有美颜模板进行脸型匹配和五官匹配前，还包括：
收集不同脸型类型、不同五官类型、不同妆容、不同化妆品款式的人脸图像，将所述人脸图像两两配对并进行标注，得到训练数据集；其中，所述标注包括两个人脸图像的五官相似度值和脸型相似度值；
构建卷积神经网络模型，所述卷积神经网络模型包括依次连接的输入层、第一卷积池化层、第一个拼接层、第二卷积池化层、第二拼接层、全连接层和输出层；其中，所述第一卷积池化层包括第一预设数目个不同尺寸的卷积核，所述第二卷积池化层包括第二预设数目个不同尺寸的卷积核；
基于所述训练数据集和所述卷积神经网络模型进行训练，得到用于计算两个人脸图像的脸型相似度值和五官相似度值的相似度模型。
5.根据权利要求2所述的美颜方法，其特征在于，所述基于用户选择在所述目标美颜模板上截取目标五官或目标脸颊，具体包括：
确定用户在选择目标五官或目标脸颊时屏幕感应到的屏幕触点；
确定所述屏幕触点在目标美颜模板中的坐标，以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离；
将与所述屏幕触点距离最小的五官或脸颊作为用户选定的目标五官或目标脸颊；
基于目标五官或目标脸颊所在的最小矩形框截取目标五官或目标脸颊。
6.根据权利要求5所述的美颜方法，其特征在于，所述以分别计算所述屏幕触点与目标美颜模板中各个五官和脸颊的距离，具体包括：
计算所述屏幕触点与各个五官、脸颊的中心点和极值点的距离；其中，所述中心点为五官或脸颊所在最小矩形框的中心点，所述极值点包括五官或脸颊所在最小矩形框的顶边中点和底边中点；
确定五官或脸颊与所述屏幕触点的距离为：
distance＝0.3*dmin+0.5*dmid+0.2*dmax，或
distance＝(dmin+dmid+dmax)/3；
其中，dmin表示屏幕触点到最近的极值点的距离，dmax表示屏幕触点到最远的极值点的距离，dmid表示屏幕触点到中心点的距离。
7.根据权利要求5所述的美颜方法，其特征在于，所述将所述目标五官或目标脸颊叠加到所述用户人脸图像对应的五官或脸颊上，具体包括：
确定用户人脸图像中两只眼睛的中心点，所述中心点为眼睛所在最小矩形框的中心点；
根据两只眼睛的所述中心点的连线与水平方向的夹角确定所述目标五官或目标脸颊的旋转角度；
在所述用户人脸图像上确定与所述目标五官或目标脸颊对应的用户五官或脸颊的矩形框，基于用户五官或脸颊的矩形框对所述目标五官或目标脸颊在长度和宽度方向进行拉伸，以使所述目标五官或目标脸颊与对应的用户五官或脸颊的长度和宽度相等。
8.根据权利要求7所述的美颜方法，其特征在于，所述基于用户五官的矩形框对所述目标五官或目标脸颊在长度和宽度方向进行拉伸后，还包括：
逐一连接从所述目标五官或目标脸颊提取的各关键点，得到目标五官或目标脸颊曲线；
将用户五官的矩形框内且位于目标五官或目标脸颊曲线所围区域之外的像素点作为非目标五官或目标脸颊的像素点，将所述非目标五官或目标脸颊的像素点的像素值调整为所述用户人脸图像中脸部区域的像素值。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一项所述美颜方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述美颜方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507150.3A CN112508777A (zh) | 2020-12-18 | 2020-12-18 | 一种美颜方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507150.3A CN112508777A (zh) | 2020-12-18 | 2020-12-18 | 一种美颜方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508777A true CN112508777A (zh) | 2021-03-16 |
Family
ID=74922589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507150.3A Pending CN112508777A (zh) | 2020-12-18 | 2020-12-18 | 一种美颜方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508777A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421197A (zh) * | 2021-06-10 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种美颜图像的处理方法及其处理系统 |
| CN116071804A (zh) * | 2023-01-18 | 2023-05-05 | 北京六律科技有限责任公司 | 人脸识别的方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105068748A (zh) * | 2015-08-12 | 2015-11-18 | 上海影随网络科技有限公司 | 触屏智能设备的摄像头实时画面中用户界面交互方法 |
| JP2016139381A (ja) * | 2015-01-29 | 2016-08-04 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| CN108021308A (zh) * | 2016-10-28 | 2018-05-11 | 中兴通讯股份有限公司 | 图像处理方法、装置及终端 |
| CN109242765A (zh) * | 2018-08-31 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置和存储介质 |
| CN109584151A (zh) * | 2018-11-30 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 人脸美化方法、装置、终端及存储介质 |
| CN110110118A (zh) * | 2017-12-27 | 2019-08-09 | 广东欧珀移动通信有限公司 | 妆容推荐方法、装置、存储介质及移动终端 |
| CN110545386A (zh) * | 2019-09-25 | 2019-12-06 | 上海掌门科技有限公司 | 用于拍摄图像的方法和设备 |
| CN111783511A (zh) * | 2019-10-31 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 美妆处理方法、装置、终端以及存储介质 |
-
2020
- 2020-12-18 CN CN202011507150.3A patent/CN112508777A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016139381A (ja) * | 2015-01-29 | 2016-08-04 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| CN105068748A (zh) * | 2015-08-12 | 2015-11-18 | 上海影随网络科技有限公司 | 触屏智能设备的摄像头实时画面中用户界面交互方法 |
| CN108021308A (zh) * | 2016-10-28 | 2018-05-11 | 中兴通讯股份有限公司 | 图像处理方法、装置及终端 |
| CN110110118A (zh) * | 2017-12-27 | 2019-08-09 | 广东欧珀移动通信有限公司 | 妆容推荐方法、装置、存储介质及移动终端 |
| CN109242765A (zh) * | 2018-08-31 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置和存储介质 |
| CN109584151A (zh) * | 2018-11-30 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 人脸美化方法、装置、终端及存储介质 |
| CN110545386A (zh) * | 2019-09-25 | 2019-12-06 | 上海掌门科技有限公司 | 用于拍摄图像的方法和设备 |
| CN111783511A (zh) * | 2019-10-31 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 美妆处理方法、装置、终端以及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421197A (zh) * | 2021-06-10 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种美颜图像的处理方法及其处理系统 |
| CN116071804A (zh) * | 2023-01-18 | 2023-05-05 | 北京六律科技有限责任公司 | 人脸识别的方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Geometry-aware face completion and editing | |
| US10799010B2 (en) | Makeup application assist device and makeup application assist method | |
| CN110110118B (zh) | 妆容推荐方法、装置、存储介质及移动终端 | |
| US9142054B2 (en) | System and method for changing hair color in digital images | |
| US9058765B1 (en) | System and method for creating and sharing personalized virtual makeovers | |
| US8908904B2 (en) | Method and system for make-up simulation on portable devices having digital cameras | |
| US10789748B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium storing image processing program | |
| WO2019228167A1 (zh) | 一种辅助化妆方法、装置及智能镜 | |
| US20100189357A1 (en) | Method and device for the virtual simulation of a sequence of video images | |
| CN108537126B (zh) | 一种人脸图像处理方法 | |
| WO2007128117A1 (en) | Method. system and computer program product for automatic and semi-automatic modification of digital images of faces | |
| JP7278724B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| US10512321B2 (en) | Methods, systems and instruments for creating partial model of a head for use in hair transplantation | |
| CN111783511A (zh) | 美妆处理方法、装置、终端以及存储介质 | |
| CN112508777A (zh) | 一种美颜方法、电子设备及存储介质 | |
| WO2021197186A1 (zh) | 辅助化妆方法、终端设备、存储介质及程序产品 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| US11882918B2 (en) | Make-up assistance method and apparatus and smart mirror | |
| KR20220026252A (ko) | 이동 단말기, 서버 및 뷰티 스타일의 합성 방법 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| US10152827B2 (en) | Three-dimensional modeling method and electronic apparatus thereof | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN108171716B (zh) | 基于自适应跟踪框分割的视频人物装扮方法及装置 | |
| CN112802031A (zh) | 一种基于三维人头跟踪的实时虚拟试发方法 | |
| CN115631516A (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |