CN114998115A - 图像美化处理方法、装置及电子设备 - Google Patents
图像美化处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114998115A CN114998115A CN202210454055.4A CN202210454055A CN114998115A CN 114998115 A CN114998115 A CN 114998115A CN 202210454055 A CN202210454055 A CN 202210454055A CN 114998115 A CN114998115 A CN 114998115A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- target
- template
- texture mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 224
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000000694 effects Effects 0.000 claims abstract description 24
- 210000000697 sensory organ Anatomy 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 abstract description 4
- 238000005192 partition Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 27
- 210000001508 eye Anatomy 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000005291 magnetic effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241000167686 Reichardia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了图像美化处理方法、装置及电子设备，所述方法包括：获取纹理贴图模板，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行适配调整，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图；根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。通过本申请实施例，能够实现分区域的“磨皮”等美化处理效果，并且较少占用硬件资源，便于在移动端落地实现。
Description
技术领域
本申请涉及图像美化技术领域，特别是涉及图像美化处理方法、装置及电子设备。
背景技术
日常生活中有大量带有人脸的视频和照片等需要进行人脸美化处理，另外，人脸美化同时也是直播、短视频和人像处理软件的必备功能。传统的人脸美化方法主要是使用保边滤波或图像处理的算法对人脸及全图进行“磨皮”处理，同时通过LUT(Look up Table，颜色查找表)调色法或图像处理的算法对图像进行美白。然而，这些算法同时对整个图像的全图进行统一的“磨皮”处理，这可能会导致背景区域变得模糊，脸部的“磨皮”效果也可能会显得不够真实，等等。
因此，如何获得更好的“磨皮”等美化处理效果，成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了图像美化处理方法、装置及电子设备，能够实现分区域的“磨皮”等美化处理效果，并且较少占用硬件资源，便于在移动端落地实现。
本申请提供了如下方案：
一种图像美化处理方法，其特征在于，包括：
获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
一种直播画面处理方法，包括：
从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
一种虚拟试用画面处理方法，包括：
接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
一种图像美化处理装置，包括：
纹理贴图模板获取单元，用于获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
网格剖分单元，用于在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
一种直播画面处理装置，包括：
第一目标图像确定单元，用于从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
第一网格剖分单元，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第一模板读取单元，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第一映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第一分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
一种虚拟试用画面处理装置，包括：
第二目标图像确定单元，用于接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
第二网格剖分单元，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第二模板读取单元，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第二映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第二分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
通过本申请实施例，在对人脸图像进行“磨皮”等美化处理时，为了获得更好的“磨皮”效果，可以从具体的目标图像中识别出多种不同语义的区域，然后进行分区域的“磨皮”美化。其中，在进行区域识别时，采用了基于纹理贴图进行识别的方案，也即，首先根据模板人脸图像，进行人脸关键点识别以及网格剖分图的构造，之后，可以在此基础上生成纹理贴图模板，用以通过不同的颜色属性，对所述网格剖分图中多种不同语义的区域进行表达。之后，针对具体需要美化处理的目标图像，从中判断出存在人脸图像之后，也可以进行多个人脸关键点的识别，以及网格剖分图的生成，之后，不需要通过机器学习的方式将具体的人脸关键点连接成具体具有某种语义(例如，左眼)的区域，而是直接将目标图像中识别出的多个人脸关键点映射到纹理贴图模板中，并且可以根据所述目标图像中同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行缩放、拉伸、移位等处理，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图。进而，可以以该目标纹理贴图为准，对目标图像进行分区域的“磨皮”美化处理。由于上述对纹理贴图模板进行适配调整的过程，相对于通过机器学习算法进行计算的过程而言，在保证准确性的同时，可以降低计算难度，因此，对终端设备的计算资源占用较少，效率比较高，便于在移动端等硬件资源有限的设备上实现实时的分区域“磨皮”美化。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统架构的示意图；
图2是本申请实施例提供的第一方法的流程图；
图3是本申请实施例提供的纹理贴图模板的示意图；
图4是本申请实施例提供的变形处理后的纹理贴图的示意图；
图5是本申请实施例提供的分区域美化处理流程的示意图；
图6是本申请实施例提供的第二方法的流程图；
图7是本申请实施例提供的第三方法的流程图；
图8是本申请实施例提供的第一装置的示意图；
图9是本申请实施例提供的第二装置的示意图；
图10是本申请实施例提供的第三装置的示意图；
图11是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，为了避免在进行人脸美化的过程中，降低对背景等其他区域的图像的影响，可以采用分区域的处理方式，也即，可以从图像中识别出属于人脸的区域，人脸中的五官区域、皮肤区域，人脸与背景的过渡区域，以及非人脸的背景区域，等等，然后，分别使用不同的方式进行美化处理。例如，五官区域不进行“磨皮”处理或者磨皮系数较低，皮肤区域进行“磨皮”处理，人脸与背景的过渡区域的“磨皮”参数平滑过渡逐渐降低，纯背景区域不进行“磨皮”处理，等等。
若要达到上述目的，则需要从一张具体的图像中识别出多种不同类型的区域，然后才能进行分区域按照不同的策略进行“磨皮”处理。在从图像中进行不同类型的区域识别时，如果是简单地区分出人脸区域与非人脸区域，通常是比较容易实现的，但是，如果想要达到更好的美化效果，可能还需要将人脸区域进一步细分为五官区域、皮肤区域、人脸与背景的过渡区域，等等。
本申请发明人在实现本申请的过程中发现，为了能够从图像中识别出上述多种不同类型的区域，一种实现方案可以是，通过基于深度学习的方法进行人脸区域，五官区域，背景区域等部分的分割，然后进行分区域的“磨皮”。这种方法虽然可以达到从图像中划分出多种不同类型区域的目的，但深度学习进行分割会引入较大的计算量。而在实际应用中，用户通常是在移动端等场景中需要进行实时的人脸美化，例如，在直播过程中进行美化，或者，在拍照过程中对摄像头采集到的人脸图像进行美化，等等。这些场景都需要为用户提供实时的美化效果，但是，移动端内存、CPU(Central Processing Unit，中心处理器)、GPU(Graphics Processing Unit，图形处理器)都比较有限，基于深度学习的图像区域划分会对上述硬件资源造成较大的占用，以至于美化处理的速度较慢，无法保证在移动端全机型中实时运行。
为了更快速地实现对图像中多种不同类型区域的识别及划分，在本申请实施例中，可以通过预定义人脸图像剖分，引入一个预先制作的人脸Mask图(也即纹理贴图，该Mask图可以作为模板来使用，因此，也可以称为纹理贴图模板)，来区分人脸皮肤区域、五官区域和背景等多种不同区域。例如，可以制作一张图片，通过不同的颜色属性，对不同类型的区域进行区分表达。作为举例而非限定，眼睛、嘴巴等五官区域用白色表达，皮肤区域用黄色表达，人脸与背景的过渡区域用棕色表达，等等。当然，该纹理贴图模板是根据模板人脸图像进行人脸关键点识别以及网格剖分后制作出来的，因此，还同时存储了人脸关键点在纹理贴图模板上的纹理坐标(uv坐标)信息(也即，在生成纹理贴图模板的过程中，可以同时存储一个文本文件，这个文本文件标记了每个人脸关键点的纹理坐标，也就是每个人脸关键点在纹理贴图模板上应该查找的位置)。这样，后续在具体运行状态下针对具体摄像头采集到的包含人脸的目标图像进行美化的过程中，可以利用这种纹理贴图模板和纹理坐标信息，快速确定出目标图像中多种不同类型的区域的位置。例如，可以从目标图像中识别出多个人脸关键点，进行网格剖分后，可以将人脸关键点映射到纹理贴图模板中。在映射的过程中，由于具体的人脸关键点也可以带有语义信息，例如，左眼周围可以识别出一圈关键点，这些关键点都具有与“左眼”相关的语义，等等。这样，在映射到纹理贴图模板后，可以通过对纹理贴图模板中对应语义的区域进行图像变形(image warp)(如拉伸、缩放等)处理，使得对应语义的区域大小符合当前目标图像中人脸图像的情况。完成区域大小的匹配之后，即可实现对目标图像中各种不同语义的区域的定位以及划分。从而在能够划分出多种不同区域的同时，还可以保证实现的速度非常快。实验证明，即使在移动端普通中端机型中运行，也只需要几毫秒的计算时间，从而可以实时应用在全系列移动端、PC端、服务端等多种不同配置的设备平台上。
另外，在具体实现时，还可以引入更多的人脸美化功能，如图像锐化、对比度增强、祛法令纹、祛黑眼圈、亮眼、白牙、牙齿整齐矫正、皮肤祛瑕疵等等，从而形成一套丰富的人脸美化系统供用户选择和调节。在某些运行速度较慢的移动端中低端机型，可以开启或者关闭其中部分功能来加快运行速度，而在高端机型中，则可以开启更多的功能，来获得更丰富的美化效果，等等。
从系统架构角度而言，如图1所示，本申请实施例可以在某个专门的图像美化工具中，或者直播、视频会议、AR试妆试穿等工具中，实现具体根据预先制作的纹理贴图模板来快速识别图像中多种类型的区域，并进行多区域“磨皮”等美化功能。或者，在同一系统平台(例如，商品信息服务系统等)中包括多种不同的应用模块(例如，直播、AR试穿试妆，等等)，而这些应用模块中都可能需要用到人脸美化功能的情况下，也可以将本申请实施例提供的人脸美化能力封装为SDK(Software Development Kit，软件开发工具包)，并提供给系统中多种不同的应用模块(例如，直播、AR试妆试穿等等)来使用，避免各应用模块分别去实现具体能力过程中带来的重复开发等情况发生。相应的，用户在通过具体系统应用程序客户端使用上述各种应用模块提供的服务的过程中，具体的应用模块便可以在接收具体终端设备采集的图像的过程中，根据预先制作的纹理贴图模板来快速识别图像中多种类型的区域，并进行多区域“磨皮”等美化功能。
下面对本申请实施例提供的具体实现方案进行详细介绍。
实施例一
首先，本申请实施例一提供了一种图像美化处理方法，参见图2，该方法可以包括：
S201：获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达。
其中，模板人脸图像可以是任意的人脸图像，当然，可以尽量选择标准脸型的模特等拍摄的照片作为模板人脸图像，或者，也可以使用3D合成或者图像合成(GAN)的虚拟人物的人脸图像作为模板人脸图像。在本申请实施例中，通常只需要一个模板人脸图像即可，或者，也可以根据不同的人群选择不同的模板人脸图像，生成不同的纹理贴图模板，等等。
在确定出模板人脸图像之后，可以首先对模板人脸图像进行人脸关键点识别，并构建出网格剖分图(例如，常用的可以是三角剖分)。其中，人脸关键点识别的目的是从人脸图像中识别出一定数量的关键点，例如，检测人脸五官与轮廓的关键点及位置，这些关键点通常可以具有对应的语义，例如，包括人脸轮廓、眼睛、眉毛、嘴唇、鼻子等各种部位的关键点。另外，在同一算法中，不同的人脸图像监测出的人脸关键点的数量是相同的，同一语义对应的人脸关键点的数量通常也是相同的。但是，这些轮廓都是用离散的点来进行表达，例如，左眼周围识别出多个关键点，右眼周围识别出多个关键点，等等。这些关键点之间的距离通常是相对比较远的，因此，如果要想具体“画出”具体的“眼睛”等区域，还需要将同一语义的多个关键点连接起来。而这个连接起来的过程，可以如前文所述，采用深度学习的方法来做图像分割，但是，这个过程会比较繁琐，耗时较长。因此，本申请实施例中，采用了基于纹理贴图模板的方法来进行快速实现。
在介绍具体生成纹理贴图模板的方式之前，首先需要说明的是，除了在对模板人脸图像进行处理时需要进行人脸关键点识别以及网格剖分图的构建，在后续在具体运行状态下对实际采集到的图像进行美化过程中，也需要进行人脸关键点识别以及网格剖分图的构建，并且，两个过程中使用的算法需要保持一致，以实现从实际采集到的图像中识别出的人脸关键点到纹理贴图模板中的映射。
而在进行人脸关键点识别时，常见的机器学习模型输出的人脸关键点集合S一般仅仅覆盖人脸眉毛以下的五官和人脸边缘部分。而为了覆盖人脸所有的区域，在本申请的优选实施例中，还可以对上述集合S进行扩充成集合Sext。例如，在利用已有的机器学习模型识别出第一数量的基础关键点，组成集合S之后，可以在该基础关键点集合的基础上，向外拓展，获取到第二数量的拓展关键点，这样，可以将基础关键点与拓展关键点组合为关键点集合Sext。其中，人脸剖分可以是由集合Sext中的点进行三角形(或者其他形状)连接而成，关键点扩充一般采用某种数学计算或者拓扑规则生成，具体生成方式不做限定。
例如，图3(A)展示了一种剖分图，可见，图中不能有效覆盖人脸额头和人脸脖子皮肤区域，该剖分图在实际运行中难以对人脸相关的皮肤区域做区分，因此不是有效的剖分图。而图3(B)中的剖分图很好地覆盖了五官，脸部和脖子区域等皮肤，也是本申请实施例所采用的剖分图。当然，该图3(B)仅作为举例而非限定，只要能够做到很好覆盖脸部和脖子区域的皮肤以及五官的剖分都是可以采用的。
在针对具体的模板人脸图像得到多个人脸关键点以及网格剖分图之后，可以将这种网格剖分图提供给制图人员，制图人员可以利用相关的作图工具，绘制出纹理贴图(Mask图)模板。其中，在绘制时，可以区分出五官区域、皮肤区域、人脸与背景的过渡区域等多种区域，具体的，五官区域可以细分为眉毛、眼睛、嘴巴等区域。也即，划分出的区域可以对应各自的语义，另外，还可以在纹理贴图模板中通过不同的颜色属性等对各种不同语义的区域进行差异化表达。目的是保证实现时能够识别不同区域，从而对不同区域采用不同的磨皮程度。例如，对于前述图3(B)中所示的剖分图，生成的问题贴图模板可以如图3(C)所示，可以将五官区域31置为白色，皮肤区域32为黄色，过渡区域33为棕色。当然，mask图的颜色和样式可以是任意的，只要能够覆盖对应的剖分图即可。
得到纹理贴图模板之后，相当于获得了多种不同语义的区域的大小，以及在模板人脸图像中的位置，另外，由于这种纹理贴图模板是基于网格剖分图生成的，因此，还隐含了模板人脸图像中人脸关键点的位置。
S202：在需要对目标图像进行执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图。
在得到具体的纹理贴图模板之后，便可以利用该模板实现对具体运行状态下采集到的目标图像中的人脸多区域划分。其中，目标图像可以是在具体应用(例如，直播，拍照等)中实时采集到的图像，或者还可以是用户从相册等文件夹中选择的已有照片、视频等。
在确定出目标图像后，可以首先从目标图像中识别出人脸关键点，并生成网格剖分图。其中，具体识别人脸关键点的方法与对模板人脸图像进行识别时的算法可以是相同的，因此，识别出的人脸关键点的数量，以及同一语义对应的人脸关键点的数量都可以是相同的。当然，不同人物由于脸型、五官的大小、分布等情况会有所不同，因此，对于不同的人脸图像而言，同一语义对应的多个人脸关键点的分布情况是不同的。
S203：将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图。
在获得了当前目标图像中的人脸关键点，以及网格剖分图之后，可以将该剖分图与纹理贴图模板对应起来，例如，可以通过图像渲染的方式将当前目标图像与纹理贴图模板中的人脸对应起来，通过GPU渲染得到上屏的目标纹理贴图(其中，具体的纹理贴图不需要展示给用户，因此，这里所述的“上屏”主要是指展示到离线屏幕(FBO,Frame BufferObject)上，以供程序从中读取数据，但不需要真正展示给用户)，这个目标纹理贴图是分区域“磨皮”的基础。
其中，具体在将目标图像与纹理贴图模板对应起来时，可以通过以下方式来进行：首先，可以将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，然后，可以根据所述目标图像中同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行适配调整处理，得到各区域在形状特征(包括大小、形状、距离等)上与所述目标图像相匹配的目标纹理贴图。也就是说，在纹理贴图模板中，各个区域的形状特征表达了模板人脸图像中，各区域的大小、形状位置等信息，例如，可以表达出左眼的位置以及大小，等等，因此，纹理贴图模板中，具有“左眼”语义的多个人脸关键点通常会分布在“左眼”区域的边缘线上。但是，实际运行状态中监测到的人脸图像，其脸型、五官的大及分布等与模板人脸图像是不同的，例如，某目标图像中的人物，其眼睛可能比模板人脸图像中的眼睛要小，嘴巴可能比模板人脸图像中的嘴巴要大，等等。因此，目标图像的关键点通过纹理uv坐标来从纹理贴图模板中查找到对应的图像位置，然后通过图像变形(image warp)(如拉伸、缩放等)来将纹理贴图模板匹配到目标图像的人脸上。这个过程一般是通过GPU来进行的，因为GPU可以并行处理，在移动端处理速度非常迅速。
这样，通过对纹理贴图模板中各种语义的区域进行图像变形(image warp)(如拉伸、缩放等)等处理之后，可以得到与目标图像中的人脸图像相匹配的目标纹理贴图。例如，假设实际采集到的目标图像中的人脸图像如图4(A)所示，则在进行人脸关键点识别生成网格剖分图，并与纹理贴图模板(如图4(B)所示)进行匹配后，生成的目标纹理贴图可以如图4(C)所示，可见，眼睛、嘴巴、皮肤等区域的形状、大小、位置等，都与纹理贴图模板发生了变化，以更好地表达目标图像中人脸各区域的大小、位置、形状等特征。
这里需要说明的是，为了对移动端的计算效率做优化，可以限制最多处理的人脸数目，例如，可以限制为最多四人脸，当然，实际情况下可以是任意数目的人脸，也可以不做具体限制，具体取决于计算效率的要求。
S204：根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
在获取到关于目标图像中的人脸对应的目标纹理贴图后，由于其可以表达出目标图像中人脸具体的五官区域、皮肤区域、过渡区域等各自的位置、大小、形状等，因此，可以以此为准实现分区域的美化处理，例如，在本申请实施例中，主要是“磨皮”处理，也即，通常只有皮肤区域或者过渡区域的颜色等需要处理，五官部分可以按照较小的系数处理或者不处理，而对于、背景等都可以不必进行“磨皮”处理，以使得处理后的图像看上去更加清楚真实，皮肤部分磨的更加光滑，背景部分不处理更加清晰。
其中，具体在根据目标纹理贴图进行分区域的人脸美化时，可以有多种实现方式，例如，可以直接在目标图像的原图基础上，按照目标纹理贴图中的区域信息，进行分区域的美化处理即可。或者，在可选的方式下，还可以首先对所述目标图像的原始图像进行模糊处理，得到所述目标图像的模糊图像，然后，根据所述原始图像以及所述模糊图像，获取方差图像，所述方差图像用于表达所述目标图像边缘的高频部分(边缘部分)；这样，可以根据所述原始图像、所述模糊图像、所述方差图像，以及所述目标纹理贴图中表达的关于各区域的特征信息，对所述目标图像进行分区域的美化处理。
也就是说，具体实现时，可以首先对目标图像的原图进行人脸检测，判断是否包含人脸，如果包含人脸则进入以下算法流程，否则不进入算法流程。接着，如果包含人脸，则可以对图像做模糊处理，作为举例，本申请实施例可以采用均值模糊，也可以采用高斯模糊或其他模糊方法，从而可以得到原图模糊之后的模糊图。例如，假设原图如图5中的51处所示，经过模糊处理后，可以如图5中的52所示。之后，可以对原图和模糊图经过一系列作差等图像处理算法得到方差图，具体可以如图5中的53处所示。方差图本质上是原图的高频部分，也就是图像边缘部分。至于方差图的求解手段，有很多种方法，具体不做限定。
另外，在更为优选的实施方式下，还可以通过对所述方差图像中的高频噪声进行平滑处理，得到平滑的方差图像，然后，可以根据所述原始图像、所述模糊图像、所述平滑的方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
也就是说，对前文求得的方差图做模糊，作为举例而非限定，可以采用均值模糊，也可以采用高斯模糊或其他模糊算法。对方差图做模糊的主要目的是对方差图中一些细碎的高频噪声进行平滑，从而起到抑制噪声的目的，当然，也可以采用其他抑制噪声的图像处理算法。例如，如图5中的54处所示，其为进行平滑之后的方差图。
在进行上述获取模糊图、方差图、平滑处理等过程中，还可以同时确定出目标图像对应的目标纹理贴图。在得到目标图像的原图、模糊图、平滑的方差图、目标纹理贴图之后，可以通过一些图像算法对原图进行分区域“磨皮”。例如，人脸分区域“磨皮”程度大小排序可以为：皮肤＞五官＞背景，背景部分不进行“磨皮”处理，五官部分磨皮系数较低。这种分区域“磨皮”的方式下，可以使得目标图像中的背景部分更加清晰和真实，提升整体上的美化效果。
当然，在实际应用中，在进行分区域“磨皮”相关的美化处理后，人脸图像边缘的高频部分可能会有所丢失。因此，在可选的方式下，还可以对分区域“磨皮”图像做边缘增强处理。其中，边缘增强算法可以是任意的图像处理算法，当然，在进行边缘增强时需要注意的是，尽量不要添加过多的边缘高频噪声。而在本申请实施例中，由于之前获得了原始图像的方差图像，并且可以对方差图像进行平滑处理，该处理可以起到抑制噪声的作用，因此，在进行边缘增强时，可以根据所述平滑的方差图像对分区域“磨皮”美化后的图像进行边缘增强处理，以避免引入过多的边缘噪声。从效果对比上来看，传统的边缘增强效果，由于增强边缘引入的噪声比较多，在额头等比较大面积的皮肤处可能会出现比较多的细小纹路。而本申请实施例中由于可以通过对方差图进行平滑处理，因此，可以尽量抑制高频噪声的添加，从而使得额头等区域的噪声(纹路)比较少。另外，在使用传统给的边缘增强方案时，人脸的下巴等位置部分可能会较为模糊，而本申请实施例中，下巴等区域则相对更加清楚。
另外，在实际应用中，由于具体的应用场景中可能不仅具有“磨皮”这样一种美化需求，同时还可能存在其他的多种美化需求，因此，本申请实施例提供的人脸美化系统不仅仅可以包括如上的分区域人脸“磨皮”部分，还可以包括美白、图像锐化、对比度增强、祛法令纹、祛黑眼圈、亮眼、白牙、牙齿整齐矫正、皮肤祛瑕疵等功能。
这样，本系统作为一个完整的人脸智能美化系统，用户可选择应用其中部分美化功能，也可以选择所选功能的参数大小来调节优化对应效果。例如，可以在客户端向用户提供调节美化系统部分功能的界面，用户可以根据具体终端设备的性能等情况，通过该界面选择使用或者不使用哪些功能，对于使用的功能，还可以通过调节按钮对调节的参数进行选择，等等。这样，使得本系统可以实时运行在不同的移动端、PC端、服务端等设备平台上，有较高的性能优势。
总之，通过本申请实施例，在对人脸图像进行“磨皮”等美化处理时，为了获得更好的“磨皮”效果，可以从具体的目标图像中识别出多种不同语义的区域，然后进行分区域的“磨皮”美化。其中，在进行区域识别时，采用了基于纹理贴图进行识别的方案，也即，首先根据模板人脸图像，进行人脸关键点识别以及网格剖分图的构造，之后，可以在此基础上生成纹理贴图模板，用以通过不同的颜色属性，对所述网格剖分图中多种不同语义的区域进行表达。同时，该纹理贴图模板还可以关联有人脸关键点的纹理坐标信息。这样，针对具体需要美化处理的目标图像，从中判断出存在人脸图像之后，也可以进行多个人脸关键点的识别，以及网格剖分图的生成，之后，不需要通过机器学习的方式将具体的人脸关键点连接成具体具有某种语义(例如，左眼)的区域，而是直接将目标图像中识别出的多个人脸关键点映射到纹理贴图模板中，并且可以根据所述目标图像中同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形(缩放、拉伸等)处理，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图。进而，可以以该目标纹理贴图为准，对目标图像进行分区域的“磨皮”美化处理。由于上述对纹理贴图模板进行适配调整的过程，相对于通过机器学习算法进行计算的过程而言，在保证准确性的同时，可以降低计算难度，因此，对终端设备的计算资源占用较少，效率比较高，便于在移动端等硬件资源有限的设备上实现实时的分区域“磨皮”美化。
需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
实施例二
该实施例二是针对本申请实施例提供的方案在直播场景中的应用，提供了一种直播画面处理方法，参见图6，该方法可以包括：
S601：从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
S602：从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
S603：读取预先保存的纹理贴图模板，所述纹理贴图模板是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
S604：将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行适配调整，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图；
S605：根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
实施例三
该实施例二是针对本申请实施例提供的方案在AR试妆等场景中的应用，提供了一种虚拟试用画面处理方法，参见图7，该方法具体可以包括：
S701：接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
S702：从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
S703：读取预先保存的纹理贴图模板，所述纹理贴图模板是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
S704：将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行适配调整，得到各区域的形状特征与所述目标图像相匹配的目标纹理贴图；
S705：根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
关于该上述实施例二、三中的未详述部分，可以参见实施例一以及本说明书中其他部分中的记载，这里不再赘述。
与实施例一相对应，本申请实施例还提供了一种图像美化处理装置，参见图8，该装置可以包括：
纹理贴图模板获取单元801，用于获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
网格剖分单元802，用于在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
映射单元803，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
分区域美化处理单元804，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
其中，所述多种不同语义的区域包括五官区域，脸部皮肤区域，以及脸部与背景的过渡区域。
具体的，可以通过以下方式对所述模板人脸图像或所述目标图像进行人脸关键点识别：
利用人脸关键点识别算法，识别出位于人脸区域范围内的第一数量的基础关键点，所述基础关键点关联有语义信息；
基于所述基础关键点向所述人脸区域范围外确定第二数量的拓展关键点，并为所述拓展关键点赋予对应的语义，将所述基础关键点以及所述拓展关键点确定为所述人脸关键点。
具体实现时，该装置还可以包括：
模糊处理单元，用于对所述目标图像的原始图像进行模糊处理，得到所述目标图像的模糊图像；
方差图像获取单元，用于根据所述原始图像以及所述模糊图像，获取方差图像，所述方差图像用于表达所述目标图像边缘的高频部分；
所述分区域美化处理单元具体可以用于：
根据所述原始图像、所述模糊图像、所述方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
另外，该装置还可以包括：
平滑处理单元，用于通过对所述方差图像中的高频噪声进行平滑处理，得到平滑的方差图像；
所述分区域美化处理单元具体可以用于：
根据所述原始图像、所述模糊图像、所述平滑的方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
再者，该装置还可以包括：
边缘增强处理单元，用于在进行所述美化处理后，根据所述平滑的方差图像对美化后的图像进行边缘增强处理。
与实施例二相对应，本申请实施例还提供了一种直播画面处理装置，参见图9，该装置可以包括：
第一目标图像确定单元901，用于从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
第一网格剖分单元902，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第一模板读取单元903，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第一映射单元904，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第一分区域美化处理单元905，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
与实施例三相对应，本申请实施例还提供了一种虚拟试用画面处理装置，参见图10，该装置可以包括：
第二目标图像确定单元1001，用于接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
第二网格剖分单元1002，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第二模板读取单元1003，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第二映射单元1004，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第二分区域美化处理单元1005，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
其中，图11示例性的展示出了电子设备的架构，例如，设备1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。
参照图11，设备1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)的接口1112，传感器组件1114，以及通信组件1116。
处理组件1102通常控制设备1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1102可以包括一个或多个处理器1120来执行指令，以完成本公开技术方案提供的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理部件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。
存储器1104被配置为存储各种类型的数据以支持在设备1100的操作。这些数据的示例包括用于在设备1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1106为设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为设备1100生成、管理和分配电力相关联的组件。
多媒体组件1108包括在设备1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。
I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1114包括一个或多个传感器，用于为设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到设备1100的打开/关闭状态，组件的相对定位，例如所述组件为设备1100的显示器和小键盘，传感器组件1114还可以检测设备1100或设备1100一个组件的位置改变，用户与设备1100接触的存在或不存在，设备1100方位或加速/减速和设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1116被配置为便于设备1100和其他设备之间有线或无线方式的通信。设备1100可以接入基于通信标准的无线网络，如WiFi，或2G、3G、4G/LTE、5G等移动通信网络。在一个示例性实施例中，通信部件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由设备1100的处理器1120执行以完成本公开技术方案提供的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的图像美化处理方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种图像美化处理方法，其特征在于，包括：
获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
2.根据权利要求1所述的方法，其特征在于，
所述多种不同语义的区域包括五官区域，脸部皮肤区域，以及脸部与背景的过渡区域。
3.根据权利要求1所述的方法，其特征在于，
通过以下方式对所述模板人脸图像或所述目标图像进行人脸关键点识别：
利用人脸关键点识别算法，识别出位于人脸区域范围内的第一数量的基础关键点，所述基础关键点关联有语义信息；
基于所述基础关键点向所述人脸区域范围外确定第二数量的拓展关键点，并为所述拓展关键点赋予对应的语义，将所述基础关键点以及所述拓展关键点确定为所述人脸关键点。
4.根据权利要求1所述的方法，其特征在于，还包括：
对所述目标图像的原始图像进行模糊处理，得到所述目标图像的模糊图像；
根据所述原始图像以及所述模糊图像，获取方差图像，所述方差图像用于表达所述目标图像边缘的高频部分；
所述根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，包括：
根据所述原始图像、所述模糊图像、所述方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
5.根据权利要求4所述的方法，其特征在于，还包括：
通过对所述方差图像中的高频噪声进行平滑处理，得到平滑的方差图像；
所述根据所述原始图像、所述模糊图像、所述方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理，包括：
根据所述原始图像、所述模糊图像、所述平滑的方差图像，以及所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
6.根据权利要求5所述的方法，其特征在于，还包括：
在进行所述美化处理后，根据所述平滑的方差图像对美化后的图像进行边缘增强处理。
7.一种直播画面处理方法，其特征在于，包括：
从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
8.一种虚拟试用画面处理方法，其特征在于，包括：
接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
9.一种图像美化处理装置，其特征在于，包括：
纹理贴图模板获取单元，用于获取纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
网格剖分单元，用于在需要对目标图像执行与人脸美化相关的处理时，从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
10.一种直播画面处理装置，其特征在于，包括：
第一目标图像确定单元，用于从采集到的直播画面中确定多帧需要执行与人脸美化相关处理的目标图像；
第一网格剖分单元，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第一模板读取单元，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第一映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第一分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理。
11.一种虚拟试用画面处理装置，其特征在于，包括：
第二目标图像确定单元，用于接收到通过虚拟现实方式获取目标商品的试用效果的请求后，对目标人物进行图像采集，并从采集到的图像中确定多帧需要执行与人脸美化相关处理的目标图像；
第二网格剖分单元，用于从所述目标图像中识别出多个人脸关键点，并生成网格剖分图；
第二模板读取单元，用于读取预先保存的纹理贴图模板，所述纹理贴图模板关联有人脸关键点的纹理坐标信息，是根据模板人脸图像的人脸关键点识别结果以及网格剖分图生成的，用于对所述模板人脸图像中多种不同语义的区域进行差异化表达；
第二映射单元，用于将所述目标图像对应的多个人脸关键点映射到所述纹理贴图模板中，并根据同一语义的多个人脸关键点在所述纹理贴图模板中的映射位置，对所述纹理贴图模板中对应语义的区域进行图像变形处理，得到各区域的形状特征与所述目标图像中的人脸图像相匹配的目标纹理贴图；
第二分区域美化处理单元，用于根据所述目标纹理贴图，对所述目标图像进行分区域的美化处理，以便在美化处理后的目标图像基础上，叠加展示关于所述目标商品的试用效果图像。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至8任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210454055.4A CN114998115A (zh) | 2022-04-27 | 2022-04-27 | 图像美化处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210454055.4A CN114998115A (zh) | 2022-04-27 | 2022-04-27 | 图像美化处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114998115A true CN114998115A (zh) | 2022-09-02 |
Family
ID=83024825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210454055.4A Pending CN114998115A (zh) | 2022-04-27 | 2022-04-27 | 图像美化处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998115A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051535A1 (zh) * | 2022-09-06 | 2024-03-14 | 北京字跳网络技术有限公司 | 直播图像帧处理方法、装置、设备、可读存储介质及产品 |
-
2022
- 2022-04-27 CN CN202210454055.4A patent/CN114998115A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051535A1 (zh) * | 2022-09-06 | 2024-03-14 | 北京字跳网络技术有限公司 | 直播图像帧处理方法、装置、设备、可读存储介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929651B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110675310B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN108764091B (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
| CN108898546B (zh) | 人脸图像处理方法、装置及设备、可读存储介质 | |
| US11488293B1 (en) | Method for processing images and electronic device | |
| CN107818543B (zh) | 图像处理方法及装置 | |
| CN107798654B (zh) | 图像磨皮方法及装置、存储介质 | |
| CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110599410B (zh) | 图像处理的方法、装置、终端及存储介质 | |
| US11403789B2 (en) | Method and electronic device for processing images | |
| CN111066026B (zh) | 用于向图像数据提供虚拟光调节的技术 | |
| CN114007099A (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| CN107977934A (zh) | 图像处理方法及装置 | |
| CN107730448A (zh) | 基于图像处理的美颜方法及装置 | |
| CN113409342A (zh) | 图像风格迁移模型的训练方法、装置及电子设备 | |
| CN110580733A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN105574834B (zh) | 图像处理方法及装置 | |
| CN113822798B (zh) | 生成对抗网络训练方法及装置、电子设备和存储介质 | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114998115A (zh) | 图像美化处理方法、装置及电子设备 | |
| CN113160099B (zh) | 人脸融合方法、装置、电子设备、存储介质及程序产品 | |
| CN112184540A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111373409A (zh) | 获取颜值变化的方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |