CN113205568A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113205568A
CN113205568A CN202110480567.3A CN202110480567A CN113205568A CN 113205568 A CN113205568 A CN 113205568A CN 202110480567 A CN202110480567 A CN 202110480567A CN 113205568 A CN113205568 A CN 113205568A
Authority
CN
China
Prior art keywords
face
image
target object
skin
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110480567.3A
Other languages
English (en)
Other versions
CN113205568B (zh
Inventor
郭赛南
杨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110480567.3A priority Critical patent/CN113205568B/zh
Publication of CN113205568A publication Critical patent/CN113205568A/zh
Priority to US17/568,156 priority patent/US11488293B1/en
Priority to EP22150514.2A priority patent/EP4083904A1/en
Priority to MX2022001461A priority patent/MX2022001461A/es
Application granted granted Critical
Publication of CN113205568B publication Critical patent/CN113205568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：对于包含目标对象的原始图像，对该目标对象的皮肤区域进行平滑处理，得到第一图像；基于该目标对象的脸部面积，确定与该脸部面积对应的皮肤纹理素材；渲染该皮肤纹理素材，得到与该目标对象对应的脸部纹理图像，该脸部纹理图像的脸部关键点信息和脸部姿态信息均与该目标对象相匹配；将该脸部纹理图像和该第一图像进行融合，得到第二图像。本公开能够在对原始图像进行磨皮后，还原面部纹理细节，在不引入图像噪声的基础上削弱磨皮带来的假面感，从而改善图像处理效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展和终端功能的多样化，用户可以利用终端进行自拍(即拍摄自己的人像照片)，在自拍完毕后还可以对拍摄得到的图像进行磨皮处理，以去除图像中人脸的瑕疵。在通常的人脸磨皮美化算法中，通过对人脸进行较高强度的低通滤波处理，来提升人脸的光滑度和均匀感，从而达到磨皮效果，但这样也会直接导致面部皮肤纹理的缺失，使得假面感较强。
在上述基础上，通过在磨皮处理后再增加一些锐化操作，能够在磨皮后的图像中再加回部分高频信息，以提升人像美化的真实感。例如，USM(Unsharp Masking，反锐化掩膜)是一种常用的锐化算法，主要思路是基于原始图像与低频信号之间的差值获取到高频信号，再在原始图像上按照特定权重系数来叠加高频信号。由于USM锐化算法会导致明显的边缘效应，容易增加图像噪声，并且在参数调整不合适的情况下，反而会将磨皮时已去除的人脸瑕疵重新加回，导致图像处理准确度低、效果差。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少提升图像处理准确度和图像处理效果。本公开的技术方案如下：
根据本公开实施例的一方面，提供一种图像处理方法，包括：
对于包含目标对象的原始图像，对所述目标对象的皮肤区域进行平滑处理，得到第一图像；
基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材；
渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像，所述脸部纹理图像的脸部关键点信息和脸部姿态信息均与所述目标对象相匹配；
将所述脸部纹理图像和所述第一图像进行融合，得到第二图像。
在一种可能实施方式中，所述基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材包括：
基于所述脸部面积所属的脸部面积范围，确定与所述脸部面积范围对应的分辨率范围，所述脸部面积范围的中值与所述分辨率范围的中值呈正相关；
获取分辨率位于所述分辨率范围的所述皮肤纹理素材。
在一种可能实施方式中，所述渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像包括：
获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
根据所述脸部关键点信息和所述脸部姿态信息对所述皮肤纹理素材进行渲染，得到目标纹理素材；
将所述目标纹理素材与所述原始图像进行融合，得到所述脸部纹理图像。
在一种可能实施方式中，所述根据所述脸部关键点信息和所述脸部姿态信息对所述皮肤纹理素材进行渲染，得到目标纹理素材包括：
获取所述皮肤纹理素材对应的标准关键点信息；
基于所述脸部关键点信息和所述标准关键点信息，确定所述皮肤纹理素材的各个标准关键点与所述目标对象的各个脸部关键点之间的对应关系；
根据所述对应关系和所述脸部姿态信息，对所述皮肤纹理素材进行纹理贴图，得到所述目标纹理素材。
在一种可能实施方式中，所述对所述目标对象的皮肤区域进行平滑处理，得到第一图像包括：
获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
基于所述脸部姿态信息，获取所述目标对象的姿态权重图像，所述姿态权重图像中每个像素点的像素值用于表示所述原始图像中对应像素点的姿态权重参数，所述姿态权重参数用于表示像素点相对于所述脸部姿态信息的重要程度；
基于所述姿态权重图像，对所述皮肤区域进行平滑处理，得到所述第一图像。
在一种可能实施方式中，所述脸部姿态信息为所述目标对象的脸部姿态欧拉角，所述基于所述脸部姿态信息，获取所述目标对象的姿态权重图像包括：
基于所述脸部姿态欧拉角的取值符号，获取所述目标对象的脸部朝向掩码图，所述脸部朝向掩码图用于区分所述目标对象的脸部朝向是朝前还是朝后；
获取所述脸部区域中每个像素点到面部中线的距离；
基于所述脸部朝向掩码图和所述距离，获取所述姿态权重图像。
在一种可能实施方式中，所述基于所述脸部朝向掩码图和所述距离，获取所述姿态权重图像包括：
对所述脸部区域中的每个像素点，将所述距离与所述脸部朝向掩码图中对应像素点的像素值相乘，得到第一数值；
将所述第一数值与第一系数相乘，得到第二数值，所述第一系数为像素点到面部中线的距离的调整因子，所述第一系数大于或等于0且小于或等于1；
将第二系数与所述第二数值相减，得到所述姿态权重图像中对应像素点的像素值，所述第二系数等于1。
在一种可能实施方式中，所述基于所述姿态权重图像，对所述皮肤区域进行平滑处理，得到所述第一图像包括：
获取所述原始图像的皮肤区域图，所述皮肤区域图用于指示所述原始图像中所述目标对象的所述皮肤区域；
基于二维高斯模糊函数，分别对所述皮肤区域图和所述姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图；
对所述原始图像、所述平滑肤色图和所述平滑姿态权重图进行融合，得到所述第一图像。
在一种可能实施方式中，所述将所述脸部纹理图像和所述第一图像进行融合，得到第二图像之前，所述方法还包括：
获取所述原始图像的头发区域图、被遮挡脸部区域图和所述脸部区域的平均亮度参数，所述头发区域图用于指示所述原始图像中所述目标对象的头发区域，所述被遮挡脸部区域图用于指示所述原始图像中所述目标对象的被遮挡的脸部区域；
所述将所述脸部纹理图像和所述第一图像进行融合，得到第二图像包括：
基于所述头发区域图、所述被遮挡脸部区域图、所述第一图像、所述脸部纹理图像和所述平均亮度参数，获取所述第二图像。
在一种可能实施方式中，所述基于所述头发区域图、所述被遮挡脸部区域图、所述第一图像、所述脸部纹理图像和所述平均亮度参数，获取所述第二图像包括：
将所述头发区域图、所述被遮挡脸部区域图、所述第一图像和所述脸部纹理图像中对应位置像素点的像素值相乘，得到第三图像；
将所述第三图像中各个像素点的像素值均与所述平均亮度参数相乘，得到所述第二图像。
根据本公开实施例的另一方面，提供一种图像处理装置，包括：
平滑单元，被配置为执行对于包含目标对象的原始图像，对所述目标对象的皮肤区域进行平滑处理，得到第一图像；
确定单元，被配置为执行基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材；
渲染单元，被配置为执行渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像，所述脸部纹理图像的脸部关键点信息和脸部姿态信息均与所述目标对象相匹配；
融合单元，被配置为执行将所述脸部纹理图像和所述第一图像进行融合，得到第二图像。
在一种可能实施方式中，所述确定单元被配置为执行：
基于所述脸部面积所属的脸部面积范围，确定与所述脸部面积范围对应的分辨率范围，所述脸部面积范围的中值与所述分辨率范围的中值呈正相关；
获取分辨率位于所述分辨率范围的所述皮肤纹理素材。
在一种可能实施方式中，所述渲染单元包括：
第一获取子单元，被配置为执行获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
渲染子单元，被配置为执行根据所述脸部关键点信息和所述脸部姿态信息对所述皮肤纹理素材进行渲染，得到目标纹理素材；
融合子单元，被配置为执行将所述目标纹理素材与所述原始图像进行融合，得到所述脸部纹理图像。
在一种可能实施方式中，所述渲染子单元被配置为执行：
获取所述皮肤纹理素材对应的标准关键点信息；
基于所述脸部关键点信息和所述标准关键点信息，确定所述皮肤纹理素材的各个标准关键点与所述目标对象的各个脸部关键点之间的对应关系；
根据所述对应关系和所述脸部姿态信息，对所述皮肤纹理素材进行纹理贴图，得到所述目标纹理素材。
在一种可能实施方式中，所述平滑单元包括：
第二获取子单元，被配置为执行获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
第三获取子单元，被配置为执行基于所述脸部姿态信息，获取所述目标对象的姿态权重图像，所述姿态权重图像中每个像素点的像素值用于表示所述原始图像中对应像素点的姿态权重参数，所述姿态权重参数用于表示像素点相对于所述脸部姿态信息的重要程度；
平滑子单元，被配置为执行基于所述姿态权重图像，对所述皮肤区域进行平滑处理，得到所述第一图像。
在一种可能实施方式中，所述脸部姿态信息为所述目标对象的脸部姿态欧拉角，所述第三获取子单元包括：
第一获取子子单元，被配置为执行基于所述脸部姿态欧拉角的取值符号，获取所述目标对象的脸部朝向掩码图，所述脸部朝向掩码图用于区分所述目标对象的脸部朝向是朝前还是朝后；
第二获取子子单元，被配置为执行获取所述脸部区域中每个像素点到面部中线的距离；
第三获取子子单元，被配置为执行基于所述脸部朝向掩码图和所述距离，获取所述姿态权重图像。
在一种可能实施方式中，所述第三获取子子单元被配置为执行：
对所述脸部区域中的每个像素点，将所述距离与所述脸部朝向掩码图中对应像素点的像素值相乘，得到第一数值；
将所述第一数值与第一系数相乘，得到第二数值，所述第一系数为像素点到面部中线的距离的调整因子，所述第一系数大于或等于0且小于或等于1；
将第二系数与所述第二数值相减，得到所述姿态权重图像中对应像素点的像素值，所述第二系数等于1。
在一种可能实施方式中，所述平滑子单元被配置为执行：
获取所述原始图像的皮肤区域图，所述皮肤区域图用于指示所述原始图像中所述目标对象的所述皮肤区域；
基于二维高斯模糊函数，分别对所述皮肤区域图和所述姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图；
对所述原始图像、所述平滑肤色图和所述平滑姿态权重图进行融合，得到所述第一图像。
在一种可能实施方式中，所述装置还包括：
获取单元，被配置为执行获取所述原始图像的头发区域图、被遮挡脸部区域图和所述脸部区域的平均亮度参数，所述头发区域图用于指示所述原始图像中所述目标对象的头发区域，所述被遮挡脸部区域图用于指示所述原始图像中所述目标对象的被遮挡的脸部区域；
所述融合单元包括：
第四获取子单元，被配置为执行基于所述头发区域图、所述被遮挡脸部区域图、所述第一图像、所述脸部纹理图像和所述平均亮度参数，获取所述第二图像。
在一种可能实施方式中，所述第四获取子单元被配置为执行：
将所述头发区域图、所述被遮挡脸部区域图、所述第一图像和所述脸部纹理图像中对应位置像素点的像素值相乘，得到第三图像；
将所述第三图像中各个像素点的像素值均与所述平均亮度参数相乘，得到所述第二图像。
根据本公开实施例的另一方面，提供一种电子设备，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行上述一方面的任一种可能实施方式中的图像处理方法。
根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的至少一条指令由电子设备的一个或多个处理器执行时，使得所述电子设备能够执行上述一方面的任一种可能实施方式中的图像处理方法。
根据本公开实施例的另一方面，提供一种计算机程序产品，包括一条或多条指令，所述一条或多条指令可以由电子设备的一个或多个处理器执行，使得所述电子设备能够执行上述一方面的任一种可能实施方式中的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过在对原始图像中目标对象的皮肤区域进行平滑处理后，选取尺度与脸部面积相匹配的皮肤纹理素材，以生成能随目标对象的脸部姿态而变化的脸部纹理图像，将这一脸部纹理图像叠加至平滑后的第一图像，使得最终获取的第二图像在具有较好脸部磨皮效果的基础上，还原了较多的脸部纹理细节，从而提升了图像处理准确度、改善了图像处理效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的实施环境示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程图；
图3是根据一示例性实施例示出的一种图像处理方法的流程图；
图4是本公开实施例提供的一种图像处理方法的原理性流程图；
图5是根据一示例性实施例示出的一种图像处理装置的逻辑结构框图；
图6示出了本公开一个示例性实施例提供的终端的结构框图；
图7是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
以下，对本公开实施例所涉及的术语进行解释说明：
平滑处理(Smoothing)：本公开实施例所涉及的“平滑处理”或“平滑”均是指对图像所进行的平滑操作，也即修改一张待处理的图像中部分像素点(例如位于皮肤区域的像素点)的像素值，使得图像更加的平缓化和连续化，或者减少或删除图像中的噪点(或离群点)。平滑处理相当于低通滤波的过程，会突出图像的宽大区域、低频成分、主干部分，也会抑制图像噪声和高频干扰成分，能够使得图像亮度趋于平缓渐变，减小突变梯度，改善图像质量，但通常会导致图像边缘模糊化。平滑处理的方式包括但不限于：高斯模糊法、邻域平均法(均值滤波法)、超限像素平滑法、双边滤波法、中值滤波法、表面模糊等。
高斯模糊(Gaussian Blur)：也叫高斯平滑，是一项图像平滑技术，通常用于减少图像噪声以及降低细节层次。通过高斯模糊技术进行平滑后的图像，其视觉效果就像是经过一个毛玻璃在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。图像与圆形方框模糊做卷积将会生成更加精确的焦外成像效果。由于高斯函数的傅立叶变换是另外一个高斯函数，所以高斯模糊对于图像来说就是一个低通滤波器。
脸部姿态信息：脸部姿态信息用于表示目标对象的面部旋转情况，也即是指用于描述目标对象的脸部朝向的角度信息。脸部姿态信息一般可以用旋转矩阵、旋转向量、四元数或欧拉角这四种形式来进行表示(这四个量之间本身也可以互相转换)。欧拉角也称为脸部姿态欧拉角，分别包括三个角度(pitch，yaw，roll)。其中，pitch为俯仰角，表示脸部绕x轴旋转的角度，pitch可以形象地表示为“点头”的角度；yaw为偏航角，表示脸部绕y轴旋转的角度，yaw可以形象地表示为“摇头”的角度；roll为翻滚角，表示脸部绕z轴旋转的角度，roll可以形象地表示为“歪头/摆头”的角度。本公开实施例中主要涉及欧拉角中的偏航角yaw。
羽化：羽化原理是令选区(也即皮肤区域)内外衔接部分虚化，起到渐变的作用从而达到自然衔接的效果。在本公开实施例中化用“羽化”一词，是指利用平滑手段对皮肤区域进行磨皮后，使得皮肤区域与非皮肤区域之间的过渡部分自然衔接的效果。
尺度：信号的尺度空间是指通过一系列单参数、宽度递增的高斯滤波器将原始信号滤波得到一组低频信号，而图像的尺度空间则是指以图像数据作为上述原始信号。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知识图像中物体尺度，需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。通常，会将图像构建为一系列不同尺度的图像集，在不同的尺度中去检测感兴趣的特征。比如：在Harr(哈尔)特征检测脸部的时候，因为计算机并不知道图像中脸部的尺寸，所以需要生成一系列不同大小的图像组成的图像金字塔，扫描其中每一幅图像来寻找可能的脸部。图像的金字塔化能高效地对图像进行多尺度的表达，图像金字塔化的一般步骤包括：首先，图像经过一个低通滤波器进行平滑，然后，对平滑后的图像进行抽样(一般抽样比例在水平和竖直方向上都为1/2)，从而得到一系列的缩小的图像。本公开实施例所涉及的“尺度”一词是指纹理素材在尺度空间下的尺度，换言之，也特指纹理素材的分辨率。
分辨率：本公开实施例所涉及的“分辨率”均是指图像分辨率，也即指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch，像素每英寸)。图像分辨率用于指示图像的清晰度，分辨率越大代表图像清晰度越高，分辨率越小代表图像清晰度越低。
在相关技术中，用户可以利用终端进行自拍(即拍摄自己的人像照片)，在自拍完毕后还可以对拍摄得到的图像进行磨皮处理，以去除图像中脸部的瑕疵。在通常的脸部磨皮美化算法中，通过对脸部进行较高强度的低通滤波处理，来提升脸部的光滑度和均匀感，从而达到磨皮效果，但这样也会直接导致面部皮肤纹理的缺失，使得假面感较强。
在上述基础上，通过在磨皮处理后再增加一些锐化操作，能够在磨皮后的图像中再加回部分高频信息，以提升人像美化的真实感，但是直接执行锐化操作会引入大量的图像噪声，从而使得去瑕疵的效果变差。
例如，USM(Unsharp Masking，反锐化掩膜)是一种常用的锐化算法，主要思路是基于原始图像与低频信号之间的差值获取到高频信号，再在原始图像上按照特定权重系数来叠加高频信号。由于USM锐化算法会导致明显的边缘效应，容易增加图像噪声，并且在参数调整不合适的情况下，反而会将磨皮时已去除的脸部瑕疵重新加回，导致图像处理准确度低、效果差。此外，由于高频信息需要通过低频信号来获取，而计算低频信号所需的各项参数均需要进行精细调整，导致总体锐化过程的流程繁琐复杂。
有鉴于此，本公开实施例提供一种图像处理方法，能够通过叠加脸部纹理图像来补充由于磨皮操作所损失的面部纹理细节信息，从而改善了在传统磨皮处理后人像由于面部纹理缺失而产生的假面感，也即提高了人像美化的真实感。此外，还能够锁定原始图像中的脸部区域来进行精细处理，不会影响其他非脸部区域(例如背景区域、头发区域、手部区域等)，并且在脸部区域与非脸部区域中能够达到平缓过渡，使得人像美化具有更加自然和谐的处理效果。
需要说明的是，本公开实施例所涉及的目标对象，可以是人物、动物或者卡通人物、虚拟角色、虚拟对象等，本公开实施例不对目标对象的类型进行具体限定。
图1是根据一示例性实施例示出的一种图像处理方法的实施环境示意图，参见图1，在该实施环境中可以包括终端101和服务器102，终端101和服务器102均为一种电子设备，下面进行详述。
终端101可以是任一支持图像处理工作的电子设备，在终端101上安装有用于处理图像的应用程序，例如，该应用程序可以包括修图应用、拍照应用、短视频应用、直播应用或者社交应用中的至少一项，在该应用程序中可以嵌入用于处理图像的执行代码，使得当用户向应用程序输入包含目标对象的原始图像时，能够通过上述执行代码，在对该目标对象的皮肤区域进行平滑处理，达到磨皮美颜效果之后，再利用预存的皮肤纹理素材，向磨皮后得到的第一图像中再加入与目标对象对应的纹理细节，以弱化磨皮操作所带来假面感，从而提升人像美化的真实感。
终端101和服务器102可以通过有线网络或无线网络相连。
服务器102可以是用于为上述应用程序提供后台服务的电子设备，服务器102可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器102可以承担主要图像处理工作，终端101可以承担次要图像处理工作；或者，服务器102承担次要图像处理工作，终端101承担主要图像处理工作；或者，终端101和服务器102两者之间采用分布式计算架构协同执行图像处理工作。
在一些实施例中，终端101独立执行该图像处理方法，能够减轻服务器102的计算负载，避免在处理图像的过程中占用服务器102的处理资源。
在一些实施例中，终端101通过与服务器102之间的信息交互，协作执行该图像处理方法，也即是说：终端101在采集原始图像之后，根据用户对磨皮功能选项的触发操作，向服务器102发送携带该原始图像的磨皮美化指令，服务器102响应于该磨皮美化指令，对该原始图像进行先平滑处理、再叠加皮肤纹理素材的操作，得到第二图像，并将该第二图像发送至终端101。此时能够将部分图像处理工作迁移至服务器102，以维护终端上较高的系统性能。
可选地，终端101可以泛指多个终端中的一个，终端101的设备类型包括但不限于：车载终端、电视机、智能手机、智能音箱、平板电脑、电子书阅读器、MP3(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机或者台式计算机中的至少一种。以下实施例，以终端包括智能手机来进行举例说明。
本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端101可以仅为一个，或者上述终端101为几十个或几百个，或者更多数量。本公开实施例对终端101的数量和设备类型不加以限定。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，参见图2，该图像处理方法应用于电子设备，该实施例包括以下步骤。
在步骤201中，对于包含目标对象的原始图像，对该目标对象的皮肤区域进行平滑处理，得到第一图像。
在步骤202中，基于该目标对象的脸部面积，确定与该脸部面积对应的皮肤纹理素材。
在步骤203中，渲染该皮肤纹理素材，得到与该目标对象对应的脸部纹理图像，该脸部纹理图像的脸部关键点信息和脸部姿态信息均与该目标对象相匹配。
在步骤204中，将该脸部纹理图像和该第一图像进行融合，得到第二图像。
本公开实施例提供的方法，通过在对原始图像中目标对象的皮肤区域进行平滑处理后，选取尺度与脸部面积相匹配的皮肤纹理素材，以生成能随目标对象的脸部姿态而变化的脸部纹理图像，将这一脸部纹理图像叠加至平滑后的第一图像，使得最终获取的第二图像在具有较好脸部磨皮效果的基础上，还原了较多的脸部纹理细节，从而提升了图像处理准确度、改善了图像处理效果。
在一种可能实施方式中，基于该目标对象的脸部面积，确定与该脸部面积对应的皮肤纹理素材包括：
基于该脸部面积所属的脸部面积范围，确定与该脸部面积范围对应的分辨率范围，该脸部面积范围的中值与该分辨率范围的中值呈正相关；
获取分辨率位于该分辨率范围的该皮肤纹理素材。
在一种可能实施方式中，渲染该皮肤纹理素材，得到与该目标对象对应的脸部纹理图像包括：
获取该目标对象的脸部关键点信息和脸部姿态信息，该脸部姿态信息用于表示该目标对象的面部旋转情况；
根据该脸部关键点信息和该脸部姿态信息对该皮肤纹理素材进行渲染，得到目标纹理素材；
将该目标纹理素材与该原始图像进行融合，得到该脸部纹理图像。
在一种可能实施方式中，根据该脸部关键点信息和该脸部姿态信息对该皮肤纹理素材进行渲染，得到目标纹理素材包括：
获取该皮肤纹理素材对应的标准关键点信息；
基于该脸部关键点信息和该标准关键点信息，确定该皮肤纹理素材的各个标准关键点与该目标对象的各个脸部关键点之间的对应关系；
根据该对应关系和该脸部姿态信息，对该皮肤纹理素材进行纹理贴图，得到该目标纹理素材。
在一种可能实施方式中，对该目标对象的皮肤区域进行平滑处理，得到第一图像包括：
获取该目标对象的脸部关键点信息和脸部姿态信息，该脸部姿态信息用于表示该目标对象的面部旋转情况；
基于该脸部姿态信息，获取该目标对象的姿态权重图像，该姿态权重图像中每个像素点的像素值用于表示该原始图像中对应像素点的姿态权重参数，该姿态权重参数用于表示像素点相对于该脸部姿态信息的重要程度；
基于该姿态权重图像，对该皮肤区域进行平滑处理，得到该第一图像。
在一种可能实施方式中，该脸部姿态信息为该目标对象的脸部姿态欧拉角，基于该脸部姿态信息，获取该目标对象的姿态权重图像包括：
基于该脸部姿态欧拉角的取值符号，获取该目标对象的脸部朝向掩码图，该脸部朝向掩码图用于区分该目标对象的脸部朝向是朝前还是朝后；
获取该脸部区域中每个像素点到面部中线的距离；
基于该脸部朝向掩码图和该距离，获取该姿态权重图像。
在一种可能实施方式中，基于该脸部朝向掩码图和该距离，获取该姿态权重图像包括：
对该脸部区域中的每个像素点，将该距离与该脸部朝向掩码图中对应像素点的像素值相乘，得到第一数值；
将该第一数值与第一系数相乘，得到第二数值，该第一系数为像素点到面部中线的距离的调整因子，该第一系数大于或等于0且小于或等于1；
将第二系数与该第二数值相减，得到该姿态权重图像中对应像素点的像素值，该第二系数等于1。
在一种可能实施方式中，基于该姿态权重图像，对该皮肤区域进行平滑处理，得到该第一图像包括：
获取该原始图像的皮肤区域图，该皮肤区域图用于指示该原始图像中该目标对象的该皮肤区域；
基于二维高斯模糊函数，分别对该皮肤区域图和该姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图；
对该原始图像、该平滑肤色图和该平滑姿态权重图进行融合，得到该第一图像。
在一种可能实施方式中，将该脸部纹理图像和该第一图像进行融合，得到第二图像之前，该方法还包括：
获取该原始图像的头发区域图、被遮挡脸部区域图和该脸部区域的平均亮度参数，该头发区域图用于指示该原始图像中该目标对象的头发区域，该被遮挡脸部区域图用于指示该原始图像中该目标对象的被遮挡的脸部区域；
将该脸部纹理图像和该第一图像进行融合，得到第二图像包括：
基于该头发区域图、该被遮挡脸部区域图、该第一图像、该脸部纹理图像和该平均亮度参数，获取该第二图像。
在一种可能实施方式中，基于该头发区域图、该被遮挡脸部区域图、该第一图像、该脸部纹理图像和该平均亮度参数，获取该第二图像包括：
将该头发区域图、该被遮挡脸部区域图、该第一图像和该脸部纹理图像中对应位置像素点的像素值相乘，得到第三图像；
将该第三图像中各个像素点的像素值均与该平均亮度参数相乘，得到该第二图像。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是根据一示例性实施例示出的一种图像处理方法的流程图，如图3所示，图像处理方法用于电子设备中，该实施例包括以下步骤。
在步骤301中，终端获取包含目标对象的原始图像。
该终端可以是任一支持图像处理工作的电子设备，在终端上安装有用于处理图像的应用程序，例如，该应用程序可以包括修图应用、拍照应用、短视频应用、直播应用或者社交应用中的至少一项。
在一些实施例中，该原始图像可以是终端调用摄像头组件拍摄的人像照片，比如，用户在应用程序中触发拍摄指令，终端操作系统响应于该拍摄指令调用摄像头组件采集一张原始图像，当然，该原始图像也可以是终端从本地数据库中读取的脸部图像，还可以是终端从云端数据库中加载的脸部图像，本公开实施例不对原始图像的获取方式进行具体限定。
在一些实施例中，该原始图像还可以是终端在本地数据库中存储的视频内的任何一帧图像，还可以是终端从云端数据库中加载的视频内的任何一帧图像，本公开实施例不对此进行具体限定。
在本公开实施例中，仅以目标对象为人物、原始图像为人像为例进行说明，在另一些实施例中，该目标对象还可以是动物(如猫、狗等)、卡通人物、虚拟角色、虚拟对象等，本公开实施例不对目标对象的类型进行具体限定
在一些实施例中，当用户确定对原始图像拍摄或选择完成时，可以触发图像处理指令，使得终端响应于该图像处理指令执行下述步骤302，可选地，该图像处理指令中携带该原始图像，可选地，该图像处理指令可以由该应用程序中的磨皮功能选项触发，触发方式包括点击操作、双击操作、长按操作、向某一指定方向执行拖拽操作等，本公开实施例对此不进行具体限定。
在一个示例性场景中，用户在终端上启动拍照应用并点击拍照功能选项后，终端调用摄像头组件拍摄得到一张原始图像，并在拍照应用中显示该原始图像，同时提供对该原始图像的至少一种美化功能选项，例如：磨皮功能选项、瘦脸功能选项、美妆功能选项、滤镜功能选项、贴纸功能选项、魔法表情功能选项等，用户在点击上述磨皮功能选项后，触发该图像处理指令，执行下述步骤302。
在步骤302中，终端响应于对该原始图像的图像处理指令，获取该原始图像的头发区域图、被遮挡脸部区域图和皮肤区域图。
其中，该头发区域图用于指示该原始图像中该目标对象的头发区域。
可选地，该头发区域图也可以是一个与原始图像尺寸相同的数字矩阵，矩阵中的每一个元素代表原始图像中对应位置的像素点属于头发区域的概率，此时该头发区域图也可称为头发概率图。在一个示例中，如果上述数字矩阵中仅采用二值化的概率取值，那么该头发区域图也即是一张二值图像，例如，在二值图像中取值为1的像素点属于头发区域，取值为0的像素点属于非头发区域，或者，在二值图像中取值为1的像素点属于非头发区域，取值为0的像素点属于头发区域，本公开实施例对此不进行具体限定。
在一些实施例中，终端可以利用深度神经网络来提取该头发区域图，比如，终端将该原始图像输入该深度神经网络，通过该深度神经网络中串联的多个隐藏层对该原始图像进行加权处理，由最后一个隐藏层输出该头发区域图。该深度神经网络可以包括DNN(DeepNeural Network，深度神经网络)、VGGNet(Visual Geometry Group Network，视觉几何组网络)、ResNet(Residual Neural Network，残差神经网络)等，本公开实施例对此不作限定。
其中，该被遮挡脸部区域图用于指示该原始图像中该目标对象的被遮挡的脸部区域。
可选地，该被遮挡脸部区域图也可以是一个与原始图像尺寸相同的数字矩阵，矩阵中的每一个元素代表原始图像中对应位置的像素点属于脸部区域并且被遮挡的概率，此时该被遮挡脸部区域图也可以称为脸部遮挡概率图。在一个示例中，如果上述数字矩阵中仅采用二值化的概率取值，那么该被遮挡脸部区域图也即是一张二值图像，例如，在二值图像中取值为1的像素点属于被遮挡的脸部区域，取值为0的像素点不属于被遮挡的脸部区域，或者，在二值图像中取值为1的像素点不属于被遮挡的脸部区域，取值为0的像素点属于被遮挡的脸部区域，本公开实施例对此不进行具体限定。
在一些实施例中，终端可以利用深度神经网络来提取该被遮挡脸部区域图，比如，终端将该原始图像输入该深度神经网络，通过该深度神经网络中串联的多个隐藏层对该原始图像进行加权处理，由最后一个隐藏层输出该被遮挡脸部区域图。该深度神经网络可以包括DNN、VGGNet、ResNet等，本公开实施例对此不作限定。
其中，该皮肤区域图用于指示该原始图像中该目标对象的皮肤区域。
可选地，该皮肤区域图也可以是一个与原始图像尺寸相同的数字矩阵，矩阵中的每一个元素代表原始图像中对应位置的像素点属于皮肤区域的概率，此时该皮肤区域图也可以称为肤色概率图。在一个示例中，如果上述数字矩阵中仅采用二值化的概率取值，那么该皮肤区域图也即是一张二值图像，例如，在二值图像中取值为1的像素点属于皮肤区域，取值为0的像素点属于非皮肤区域，或者，在二值图像中取值为1的像素点属于非皮肤区域，取值为0的像素点属于皮肤区域，本公开实施例对此不进行具体限定。
在一些实施例中，终端可以利用深度神经网络来提取该皮肤区域图，比如，终端将该原始图像输入该深度神经网络，通过该深度神经网络中串联的多个隐藏层对该原始图像进行加权处理，由最后一个隐藏层输出该皮肤区域图。该深度神经网络可以包括DNN、VGGNet、ResNet等，本公开实施例对此不作限定。
需要说明的是，上述提取头发区域图、被遮挡脸部区域图和皮肤区域图的深度神经网络，可以是一个整体的深度神经网络，从而向整体的深度神经网络中输入原始图像，由整体的深度神经网络输出上述头发区域图、被遮挡脸部区域图和皮肤区域图这三张图像，能够简化图像处理流程，或者，也可以是三个不同的深度神经网络，从而分别利用单独的深度神经网络来提取不同的图像，能够加强提取各个图像时的针对性，本公开实施例对此不进行具体限定。
在一个示例性场景中，上述整体的深度神经网络可以是一个语义分割模型，终端向语义分割模型中输入原始图像后，由该语义分割模型对该原始图像进行语义分割，识别出该原始图像中的头发区域、被遮挡的脸部区域和皮肤区域，并输出对应的头发区域图、被遮挡脸部区域图和皮肤区域图。可选地，该语义分割模型可以是FCN(Fully ConvolutionalNetworks，全卷积网络)、U-net(U形结构的卷积神经网络)、SegNet(语义分割网络)、LinkNet(连接网络)等，本公开实施例不对语义分割模型的类型进行具体限定。
在步骤303中，终端获取该目标对象的脸部关键点信息和脸部姿态信息。
其中，该脸部关键点信息用于表示该目标对象的各个脸部关键点的三维空间坐标。可选地，上述各个脸部关键点的数量可以是任一大于0的数值，例如该脸部关键点的数量为5个、68个、128个等，本公开实施例不对脸部关键点的数量进行具体限定。
其中，该脸部姿态信息用于表示该目标对象的面部旋转情况，也即该脸部姿态信息用于描述目标对象的脸部朝向的角度信息。可选地，该脸部姿态信息包括下述至少一项：旋转矩阵、旋转向量、四元数或脸部姿态欧拉角，本公开实施例对此不进行具体限定。
在一些实施例中，终端对该原始图像进行脸部关键点检测，得到脸部关键点图，将该脸部关键点图中各个脸部关键点的二维图像坐标，从像素坐标系转换到世界坐标系，即可得到各个脸部关键点的三维空间坐标(也即脸部关键点信息)。可选地，在获取上述脸部关键点信息时，还会附带求解出一个脸部姿态的旋转矩阵，基于该旋转矩阵可以转换得到脸部姿态欧拉角(也即脸部姿态信息)。
在上述过程中，通过获取脸部关键点信息和脸部姿态信息，相当于获取到了脸部的空间坐标信息，在脸部关键点信息的基础上能够便于计算脸部面积，在脸部姿态信息的基础上能够便于生成姿态权重图像，从而方便了整体的图像处理流程。
在一些实施例中，终端利用深度神经网络来提取该脸部关键点信息和脸部姿态信息，比如，终端将该原始图像输入该深度神经网络，通过该深度神经网络中串联的多个隐藏层对该原始图像进行加权处理，由最后一个隐藏层输出脸部关键点图，并基于该脸部关键点图进行后处理，得到该脸部关键点信息和脸部姿态信息。可选地，该深度神经网络可以包括DCNN(Deep Convolutional Neural Networks，深度卷积神经网络)模型、TCDCN(Tasks-Constrained Deep Convolutional Networks，多任务约束的深度卷积网络)、MTCNN(Multi-Task Cascaded Convolutional Neural Networks，多任务级联卷积神经网络)等，本公开实施例对此不作限定。
在一些实施例中，终端还可以利用脸部关键点检测算法来进行脸部关键点检测，比如，该脸部关键点检测算法可以包括ASM(Active Shape Models，主动形状模型)、AAM(Active Appearance Models，主动外观模型)、CPR(Cascaded Pose Regression，级联姿势回归)等，本公开实施例不对脸部关键点检测算法的类型进行具体限定，从而能够简化脸部关键点检测过程的流程。在基于上述脸部关键点检测算法检测出各个脸部关键点的二维图像坐标后，同样从像素坐标系转换到世界坐标系，即可得到各个脸部关键点的三维空间坐标(也即脸部关键点信息)，并根据脸部姿态的旋转矩阵，能够获取到脸部姿态欧拉角(也即脸部姿态信息)。
在步骤304中，终端基于该脸部姿态信息，获取该原始图像的姿态权重图像。
其中，该姿态权重图像中每个像素点的像素值用于表示该原始图像中对应像素点的姿态权重参数，该姿态权重参数用于表示像素点相对于该脸部姿态信息的重要程度。
在一些实施例中，以该脸部姿态信息为该目标对象的脸部姿态欧拉角为例进行说明，终端可以基于该脸部姿态欧拉角的取值符号，获取该目标对象的脸部朝向掩码图，该脸部朝向掩码图用于区分该目标对象的脸部朝向是朝前还是朝后；获取该脸部区域中每个像素点到面部中线的距离；基于该脸部朝向掩码图和该距离，获取该姿态权重图像。
其中，脸部姿态欧拉角简称为欧拉角，分别包括三个角度(pitch，yaw，roll)。其中，pitch为俯仰角，表示脸部绕x轴旋转的角度，pitch可以形象地表示为“点头”的角度；yaw为偏航角，表示脸部绕y轴旋转的角度，yaw可以形象地表示为“摇头”的角度；roll为翻滚角，表示脸部绕z轴旋转的角度，roll可以形象地表示为“歪头/摆头”的角度。
在一个示例性场景中，仅考虑脸部姿态欧拉角中的偏航角yaw，偏航角yaw是一个携带符号的角度值，取值符号的正负代表了目标对象的脸部朝向，在一种可能的坐标系中，取值为正代表脸部朝向为朝前，取值为负代表脸部朝向为朝后，当然，在另一种可能的坐标系中，取值为正代表脸部朝向为朝后，取值为负代表脸部朝向为朝前，本公开实施例对此不进行具体限定。
假设取值为正代表脸部朝向为朝前，取值为负代表脸部朝向为朝后，终端在获取脸部姿态欧拉角的偏航角yaw之后，若该偏航角yaw大于或等于0，说明偏航角yaw的取值符号为“+”(也即取值为正)，目标对象的脸部朝向为朝前，将该脸部朝向掩码图中各个像素点的像素值均设置为1。反之，若该偏航角yaw小于0，说明偏航角yaw的取值符号为“-”(也即取值为负)，目标对象的脸部朝向为朝后，将该脸部朝向掩码图中各个像素点的像素值均设置为0。
在一些实施例中，终端在获取每个像素点到面部中线的距离时，可以在各个脸部关键点中，取位于鼻尖的脸部关键点与位于山根的脸部关键点(或者位于下颌的脸部关键点)，通过上述两个脸部关键点能够确定一条直线作为面部中线。进一步地，对每个像素点，获取每个像素点到面部中线的距离(点到线的距离)，并与偏航角yaw相乘，得到一个携带符号的有向距离。
在一些实施例中，终端在获取姿态权重图像时，可以采用上述距离对脸部朝向掩码图进行加权，也即是说：对该脸部区域中的每个像素点，将该像素点到面部中线的该距离与该脸部朝向掩码图中对应像素点的像素值相乘，得到第一数值；将该第一数值与第一系数β相乘，得到第二数值，该第一系数β为像素点到面部中线的距离的调整因子，该第一系数β大于或等于0且小于或等于1；将第二系数α与该第二数值相减，得到该姿态权重图像中对应像素点的像素值，该第二系数α等于1。
在上述过程中，通过利用各个像素点到面部中线的距离，为脸部朝向掩码图进行加权，能够使得姿态权重图像中的各个像素值蕴含更加丰富的信息，即不仅能够体现出脸部朝向是朝前还是朝后，而且能够体现出各个像素点是偏向面中的像素点还是偏向边缘的像素点，使得姿态权重图像具有更强的表达能力，在另一些实施例中，终端也可以不对该脸部朝向掩码图进行加权，也即直接采用该脸部朝向掩码图为该姿态权重图像，从而能够简化图像处理流程。
例如，假设脸部朝向掩码图表示为mfaceD，每个像素点到面部中线的距离表示为l，则姿态权重图像Pf表示为：Pf＝α-β·l·mfaceD，其中，第二系数α＝1，第一系数β为可供调节的经验参数。
在上述过程中，以该脸部姿态信息为该目标对象的脸部姿态欧拉角为例示出了获取姿态权重图像的流程，通过采取脸部姿态欧拉角作为脸部姿态信息，能够更加快速、方便地获取该姿态权重图像。而考虑脸部姿态欧拉角中的偏航角yaw，能够简化图像处理流程，减轻终端的计算负载，可选地，也可以全面考虑脸部姿态欧拉角中的三个角度值，能够针对六种不同脸部朝向(前后、左右、上下)分别设置不同的姿态权重参数，使得图像处理的精确度进一步提升。
可选地，除了脸部姿态欧拉角之外，该脸部姿态信息还可以包括旋转矩阵、旋转向量、四元数等，本公开实施例不对脸部姿态信息的表达方式进行具体限定。
在步骤305中，终端基于二维高斯模糊函数，分别对该皮肤区域图和该姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图。
在一些实施例中，对于皮肤区域图或者姿态权重图像中的任一像素点(x，y)，终端基于二维高斯模糊函数对该任一像素点进行平滑处理，该二维高斯模糊函数G(x，y)的表达式如下：
Figure BDA0003049069270000201
其中，σ为高斯分布的标准偏差。
换言之，以皮肤区域图为例，在进行高斯模糊时，相当于由分布不为零的像素组成的卷积矩阵与皮肤区域图做变换，平滑肤色图中每个像素点的像素值都是皮肤区域图中对应位置的像素点的周围相邻像素值的加权平均，在加权平均时，距离对应位置的像素点越近权重越大，距离对应位置的像素点越远权重越小。
在上述过程中，终端通过对该皮肤区域图和姿态权重图像进行平滑处理，能够通过二维高斯模糊来实现对该皮肤区域图和姿态权重图像的羽化效果，达到更加平缓的过渡效果，高斯模糊具有计算效率高、计算速度快等优点。
在一些实施例中，终端也可以利用邻域平均法(均值滤波法)、超限像素平滑法、保边滤波法、中值滤波法、卷积法等其他平滑方式，分别对该皮肤区域图和姿态权重图像进行平滑处理，本公开实施例对此不进行具体限定。
在步骤306中，终端基于该脸部关键点信息，获取该目标对象的脸部面积以及该脸部区域的平均亮度参数。
在一些实施例中，终端基于该脸部关键点信息能够确定出原始图像中目标对象的脸部轮廓，并将该脸部轮廓所围成的区域的面积获取为该脸部面积，或者，终端直接将上述步骤302中皮肤区域图中所指示的皮肤区域中属于脸部皮肤的区域面积获取为该脸部面积。
在一些实施例中，终端在原始图像中确定该脸部区域后，提取位于该脸部区域中各个像素点的亮度值，并将各个像素点的亮度值的平均值获取为该平均亮度参数。
在步骤307中，终端基于该目标对象的脸部面积，确定与该脸部面积对应的皮肤纹理素材。
在一些实施例中，终端预存有候选的至少一个皮肤纹理素材，这些皮肤纹理素材可以是由技术人员进行绘制的人物脸部标准皮肤的纹理素材，并随机选取一个预存的皮肤纹理素材作为与该脸部面积对应的皮肤纹理素材，这样能够简化皮肤纹理素材的获取流程。
在一些实施例中，上述皮肤纹理素材具有不同层级的分辨率(也即尺度)，终端可以基于上述步骤306中获取的脸部面积所属的脸部面积范围，确定与该脸部面积范围对应的分辨率范围，其中，该脸部面积范围的中值与该分辨率范围的中值呈正相关；获取分辨率位于该分辨率范围的该皮肤纹理素材。
在上述过程中，相当于按照分辨率取值的不同，将预存的各个皮肤纹理素材划分至位于不同分辨率范围的素材集合，并且，每个分辨率范围都对应于一个脸部面积范围，可选地，保证分辨率范围的中值取值越大时，对应的脸部面积范围的中值也取值越大，这样既可根据目标对象的脸部面积所落入的脸部面积范围，确定与该脸部面积范围对应的分辨率范围，并从该分辨率范围对应的素材集合中随机选取得到该皮肤纹理素材，从而能够根据目标对象的脸部面积的不同尺寸，选择分辨率与尺寸更加匹配的皮肤纹理素材，能够使得后续渲染得到的脸部纹理图像更加自然而不会产生违和感。
在一些实施例中，终端响应于该脸部面积大于第一面积阈值，确定第一皮肤纹理素材；响应于该脸部面积小于或等于该第一面积阈值且大于第二面积阈值，确定第二皮肤纹理素材，该第二皮肤纹理素材的分辨率小于该第一皮肤纹理素材的分辨率；响应于该脸部面积小于或等于该第二面积阈值，确定第三皮肤纹理素材，该第三皮肤纹理素材的分辨率小于该第二皮肤纹理素材的分辨率。
其中，该第一面积阈值、第二面积阈值均为大于0的数值，且第一面积阈值大于第二面积阈值。
在一些实施例中，将皮肤纹理素材按照分辨率的不同划分为三个尺度。第一个尺度中皮肤纹理素材的分辨率大于第一分辨率阈值，即，第一个尺度对应的皮肤纹理素材称为第一皮肤纹理素材；第二个尺度中皮肤纹理素材的分辨率小于或等于第一分辨率阈值且大于第二分辨率阈值，即，第二个尺度对应的皮肤纹理素材称为第二皮肤纹理素材；在第三个尺度中皮肤纹理素材的分辨率小于或等于第二分辨率阈值，即，第三个尺度对应的皮肤纹理素材称为第三皮肤纹理素材。其中，该第一分辨率阈值、第二分辨率阈值均为大于0的数值，且第一分辨率阈值大于第二分辨率阈值。
在一些实施例中，终端在同一个尺度内的皮肤纹理素材中进行选择时，可以从本尺度内的所有皮肤纹理素材中随机采样一张皮肤纹理素材，或者，终端还可以获取目标对象的属性信息，并在本尺度内的所有皮肤纹理素材中选择与该属性信息对应的皮肤纹理素材，可选地，该属性信息包括但不限于：性别、年龄段、人种等。
可选地，以该属性信息为性别为例，目标对象的性别可以由逻辑回归模型等二分类模型来进行提取，也即将原始图像输入到逻辑回归模型中，通过该逻辑回归模型预测出“目标对象是否为男性”的概率，如果模型输出的概率大于设定阈值，则将目标对象的性别确定为男性，否则，将目标对象的性别确定为女性。同理，目标对象的年龄段、人种等属性信息均可以通过二分类模型或多分类模型来进行提取，本公开实施例不对此进行具体限定。
在一个示例性实施例中，以属性信息为性别为例，在每一个尺度的皮肤纹理素材中，均包含一张男性的皮肤纹理素材和一张女性的皮肤纹理素材，在根据脸部面积所属的脸部面积范围选择出对应的分辨率范围(即分辨率尺度)之后，根据目标对象的属性信息，假设该属性信息为男性，则将对应的分辨率尺度中选择男性的皮肤纹理素材。
在一个示例性场景中，假设第一面积阈值为T1，第二面积阈值为T2，脸部面积为Af，而终端预存有三张不同尺度的皮肤纹理素材S1、S2和S3，则终端具有执行逻辑：若脸部面积Af＞T1，则选择尺度最大的皮肤纹理素材S1；若脸部面积T1≥Af＞T2，则选择尺度适中的皮肤纹理素材S2；若脸部面积Af≤T2，则选择尺度最小的皮肤纹理素材S3。
在上述过程中，通过按照分辨率将皮肤纹理素材划分成不同的层级，并将不同层级与不同的脸部面积范围构建对应关系，使得针对不同大小和分辨率的目标对象的脸部，能够有针对性地选择不同尺度的皮肤纹理素材，能够使得后续渲染得到的脸部纹理图像更加贴合于目标对象。
在步骤308中，终端渲染该皮肤纹理素材，得到与该目标对象对应的脸部纹理图像。
其中，该脸部纹理图像的脸部关键点信息和脸部姿态信息均与该目标对象相匹配。
在一些实施例中，终端根据该脸部关键点信息和该脸部姿态信息对该皮肤纹理素材进行渲染，得到目标纹理素材；将该目标纹理素材与该原始图像进行融合，得到该脸部纹理图像。
在上述过程中，通过利用脸部的空间坐标信息对皮肤纹理素材进行渲染，得到渲染后的目标纹理素材，能够将原本标准化的皮肤纹理素材改变为贴合于目标对象的五官及姿态的目标纹理素材，也即使得该目标纹理素材具有更好的贴合性。进一步地，通过针对不同大小的脸部面积，选择不同尺度的皮肤纹理素材进行分级渲染，能够在保证目标纹理素材贴合于目标对象的五官及姿态的基础上，还更加贴合于目标对象本身脸部的尺寸与分辨率。因此，上述目标纹理素材可以形象地称为“脸部随动纹理图”。
在一些实施例中，终端在渲染皮肤纹理素材时，可以获取该皮肤纹理素材对应的标准关键点信息；基于该脸部关键点信息和该标准关键点信息，确定该皮肤纹理素材中各个标准关键点与该目标对象的各个脸部关键点之间的对应关系；根据该对应关系和该脸部姿态信息，对该皮肤纹理素材进行纹理UV贴图，得到该目标纹理素材。
在上述过程中，由于脸部关键点信息和标准关键点信息中，脸部对应位置的关键点具有相同的索引编号，因此根据索引编号即可建立皮肤纹理素材中各个标准关键点与该目标对象的各个脸部关键点之间的对应关系，从而根据这一对应关系以及用于表示面部旋转情况的该脸部姿态信息，即可精准地将标准姿态的皮肤纹理素材进行UV贴图，形成与目标对象的脸部关键点信息和脸部姿态信息均匹配的目标纹理素材，能够使得目标纹理素材更加自然，避免由于目标纹理素材的脸部纹理走向与目标对象的姿态或者脸部关键点不符所导致的违和感。
在一些实施例中，终端在将该目标纹理素材与该原始图像进行融合时，可以使用线性光叠加的方式进行融合，例如，假设原始图像为I，目标纹理素材为Ts，则脸部纹理图像It可以表示为：It＝I+2.0×Ts-1.0，使得目标纹理素材与原始图像能够具有更好地融合效果。
在一些实施例中，除了上述按照线性光叠加的方式进行融合之外，还可以将直接该目标纹理素材与该原始图像中对应位置的像素点进行按元素相加，得到该脸部纹理图像，从而能够节约终端的计算资源。
在步骤309中，终端基于原始图像、头发区域图、被遮挡脸部区域图、平滑肤色图、平滑姿态权重图、脸部纹理图像和该平均亮度参数，获取第二图像。
在一些实施例中，终端可以将上述步骤306获取的平均亮度参数扩展成一个与原始图像尺寸相同的亮度图，亮度图中每个像素点的取值均为该平均亮度参数，并对于该亮度图、上述步骤301获取的原始图像、上述步骤302获取的头发区域图和被遮挡脸部区域图、上述步骤305获取的平滑肤色图和平滑姿态权重图以及上述步骤308获取的脸部纹理图像，将上述七张大小相同的图像中对应位置的像素点的像素值进行按元素相乘，得到该第二图像。
在一些实施例中，终端也可以不考虑头发区域图、被遮挡脸部区域图和平均亮度参数，而是先对该原始图像、该平滑肤色图和该平滑姿态权重图进行融合，得到该第一图像，再将该脸部纹理图像和该第一图像进行融合，得到第二图像，从而能够简化图像处理的流程。
可选地，服务器在对该原始图像、该平滑肤色图和该平滑姿态权重图进行融合时，可以采取下述方式：将该原始图像、该平滑肤色图和该平滑姿态权重图对应位置的像素点进行按元素相乘，得到该第一图像。
可选地，服务器在对该脸部纹理图像和该第一图像进行融合时，可以采取下述方式：将该第一图像和该脸部纹理图像中对应位置的像素点进行按元素相乘，得到该第二图像。
上述获取第一图像的过程，也即终端基于该姿态权重图像，对该皮肤区域进行平滑处理，得到该第一图像的过程。通过在获取第一图像时引入姿态权重图像，使得在对皮肤区域进行平滑处理时，能够考虑到各个脸部像素点朝向和与面部中线之间的距离因素，能够达到更好的平滑效果。
在一些实施例中，除了利用姿态权重图像引入姿态加权机制之外，终端对于包含目标对象的原始图像，还可以采用其他平滑方式来对该原始图像中该目标对象的皮肤区域进行平滑处理，得到第一图像。比如，上述其他平滑方式包括但不限于：邻域平均法(均值滤波法)、超限像素平滑法、保边滤波法、中值滤波法、卷积法等，本公开实施例对此不作具体限定。
在一些实施例中，在考虑了上述头发区域图、被遮挡脸部区域图和平均亮度参数时，上述步骤308相当于：基于该头发区域图、被遮挡脸部区域图、该第一图像、该脸部纹理图像和该平均亮度参数，获取该第二图像。
可选地，终端可以执行如下操作：将该头发区域图、该被遮挡脸部区域图、该第一图像和该脸部纹理图像中对应位置像素点的像素值相乘(即按元素相乘)，得到第三图像；将该第三图像中各个像素点的像素值均与该平均亮度参数相乘，得到该第二图像，从而能够使得各个图像能够在自身充分融合的基础上，不会丢失平均亮度参数这一重要信息。
在上述过程中，通过在获取第二图像时，引入头发区域图、被遮挡脸部区域图和平均亮度参数等因素，能够使得最终在第二图像中，并不会对头发区域及被遮挡的脸部区域添加纹理细节，也即仅针对平滑处理后、未被遮挡的脸部皮肤区域添加纹理细节，避免出现第二图像中头发变形、被遮挡的脸部区域变形的问题，且保证添加的纹理细节与原本的脸部的平均亮度参数相符合，避免出现第二图像中肤色忽明忽暗的问题。
图4是本公开实施例提供的一种图像处理方法的原理性流程图，请参考图4，输入原始图像I，执行下述步骤：步骤一、利用训练过的深度神经网络获取头发区域图Ph；步骤二、利用训练过的深度神经网络获取被遮挡脸部区域图Po；步骤三、利用训练过的深度神经网络获取皮肤区域图Ps；步骤四、利用训练过的深度神经网络获取脸部的空间坐标信息，分别包括脸部关键点信息Kf和脸部姿态信息Kopse；步骤五、基于脸部姿态信息Kopse获取脸部朝向掩码图mfaceD，计算每个像素点到面部中线的距离l，基于公式Pf＝α-β·l·mfaceD生成姿态权重图像Pf；步骤六、基于脸部关键点信息Kf计算脸部面积Af，并获取脸部区域的平均亮度参数Lf；步骤七、使用二维高斯模糊函数，分别对姿态权重图像Pf和皮肤区域图Ps进行羽化(即平滑)，得到平滑姿态权重图和平滑肤色图；步骤八、针对不同脸部面积Af选取不同的皮肤纹理素材进行分级渲染，得到渲染后的目标纹理素材Ts；步骤九、将目标纹理素材Ts使用线性光叠加的方式叠加至原始图像I上，得到脸部纹理图像It，其中，It＝i+2.0×Ts-1.0；步骤十、基于上述步骤一、二、六、七、九以及原始图像，获取最终的面部纹理叠加结果(也即第二图像)。
在上述过程中，在对脸部皮肤进行磨皮后，利用技术人员设计的皮肤纹理素材，能够向磨皮后纹理缺失的图像中增加对应的面部纹理细节，使得在对脸部进行磨皮、去瑕疵之后还能够保有纹理，使得磨皮效果更加自然真实，且避免了由USM锐化算法所导致的增加图像噪声的问题。在一些实施例中，还可以利用深度神经网络，端到端地自动生成相对真实自然的皮肤纹理。此外，通过使用脸部姿态信息和平均亮度参数，更加合理地考虑到了不同姿态和亮度下的面部状态，使得叠加纹理的效果更加自然、不突兀。此外，利用深度神经网络能够更加精细地划分出脸部区域，保证非脸部区域不受影响。
本公开实施例提供的方法，通过在对原始图像中目标对象的皮肤区域进行平滑处理后，选取尺度与脸部面积相匹配的皮肤纹理素材，以生成能随目标对象的脸部姿态而变化的脸部纹理图像，将这一脸部纹理图像叠加至平滑后的第一图像，使得最终获取的第二图像在具有较好脸部磨皮效果的基础上，还原了较多的脸部纹理细节，从而提升了图像处理准确度、改善了图像处理效果。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图5是根据一示例性实施例示出的一种图像处理装置的逻辑结构框图，请参考图5，该装置包括：
平滑单元501，被配置为执行对于包含目标对象的原始图像，对该目标对象的皮肤区域进行平滑处理，得到第一图像；
确定单元502，被配置为执行基于该目标对象的脸部面积，确定与该脸部面积对应的皮肤纹理素材；
渲染单元503，被配置为执行渲染该皮肤纹理素材，得到与该目标对象对应的脸部纹理图像，该脸部纹理图像的脸部关键点信息和脸部姿态信息均与该目标对象相匹配；
融合单元504，被配置为执行将该脸部纹理图像和该第一图像进行融合，得到第二图像。
本公开实施例提供的装置，通过在对原始图像中目标对象的皮肤区域进行平滑处理后，选取尺度与脸部面积相匹配的皮肤纹理素材，以生成能随目标对象的脸部姿态而变化的脸部纹理图像，将这一脸部纹理图像叠加至平滑后的第一图像，使得最终获取的第二图像在具有较好脸部磨皮效果的基础上，还原了较多的脸部纹理细节，从而提升了图像处理准确度、改善了图像处理效果。
在一种可能实施方式中，该确定单元502被配置为执行：
基于该脸部面积所属的脸部面积范围，确定与该脸部面积范围对应的分辨率范围，该脸部面积范围的中值与该分辨率范围的中值呈正相关；
获取分辨率位于该分辨率范围的该皮肤纹理素材。
在一种可能实施方式中，基于图5的装置组成，该渲染单元503包括：
第一获取子单元，被配置为执行获取该目标对象的脸部关键点信息和脸部姿态信息，该脸部姿态信息用于表示该目标对象的面部旋转情况；
渲染子单元，被配置为执行根据该脸部关键点信息和该脸部姿态信息对该皮肤纹理素材进行渲染，得到目标纹理素材；
融合子单元，被配置为执行将该目标纹理素材与该原始图像进行融合，得到该脸部纹理图像。
在一种可能实施方式中，该渲染子单元被配置为执行：
获取该皮肤纹理素材对应的标准关键点信息；
基于该脸部关键点信息和该标准关键点信息，确定该皮肤纹理素材的各个标准关键点与该目标对象的各个脸部关键点之间的对应关系；
根据该对应关系和该脸部姿态信息，对该皮肤纹理素材进行纹理贴图，得到该目标纹理素材。
在一种可能实施方式中，基于图5的装置组成，该平滑单元501包括：
第二获取子单元，被配置为执行获取该目标对象的脸部关键点信息和脸部姿态信息，该脸部姿态信息用于表示该目标对象的面部旋转情况；
第三获取子单元，被配置为执行基于该脸部姿态信息，获取该目标对象的姿态权重图像，该姿态权重图像中每个像素点的像素值用于表示该原始图像中对应像素点的姿态权重参数，该姿态权重参数用于表示像素点相对于该脸部姿态信息的重要程度；
平滑子单元，被配置为执行基于该姿态权重图像，对该皮肤区域进行平滑处理，得到该第一图像。
在一种可能实施方式中，该脸部姿态信息为该目标对象的脸部姿态欧拉角，该第三获取子单元包括：
第一获取子子单元，被配置为执行基于该脸部姿态欧拉角的取值符号，获取该目标对象的脸部朝向掩码图，该脸部朝向掩码图用于区分该目标对象的脸部朝向是朝前还是朝后；
第二获取子子单元，被配置为执行获取该脸部区域中每个像素点到面部中线的距离；
第三获取子子单元，被配置为执行基于该脸部朝向掩码图和该距离，获取该姿态权重图像。
在一种可能实施方式中，该第三获取子子单元被配置为执行：
对该脸部区域中的每个像素点，将该距离与该脸部朝向掩码图中对应像素点的像素值相乘，得到第一数值；
将该第一数值与第一系数相乘，得到第二数值，该第一系数为像素点到面部中线的距离的调整因子，该第一系数大于或等于0且小于或等于1；
将第二系数与该第二数值相减，得到该姿态权重图像中对应像素点的像素值，该第二系数等于1。
在一种可能实施方式中，该平滑子单元被配置为执行：
获取该原始图像的皮肤区域图，该皮肤区域图用于指示该原始图像中该目标对象的该皮肤区域；
基于二维高斯模糊函数，分别对该皮肤区域图和该姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图；
对该原始图像、该平滑肤色图和该平滑姿态权重图进行融合，得到该第一图像。
在一种可能实施方式中，基于图5的装置组成，该装置还包括：
获取单元，被配置为执行获取该原始图像的头发区域图、被遮挡脸部区域图和该脸部区域的平均亮度参数，该头发区域图用于指示该原始图像中该目标对象的头发区域，该被遮挡脸部区域图用于指示该原始图像中该目标对象的被遮挡的脸部区域；
该融合单元504包括：
第四获取子单元，被配置为执行基于该头发区域图、该被遮挡脸部区域图、该第一图像、该脸部纹理图像和该平均亮度参数，获取该第二图像。
在一种可能实施方式中，该第四获取子单元被配置为执行：
将该头发区域图、该被遮挡脸部区域图、该第一图像和该脸部纹理图像中对应位置像素点的像素值相乘，得到第三图像；
将该第三图像中各个像素点的像素值均与该平均亮度参数相乘，得到该第二图像。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该图像处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以电子设备为终端为例进行说明，图6示出了本公开一个示例性实施例提供的终端的结构框图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本公开中各个实施例提供的图像处理方法。
在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图7是本公开实施例提供的一种电子设备的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)701和一个或一个以上的存储器702，其中，该存储器702中存储有至少一条程序代码，该至少一条程序代码由该处理器701加载并执行以实现上述各个实施例提供的图像处理方法。当然，该电子设备700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备700还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括至少一条指令的存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由电子设备中的处理器执行以完成上述实施例中的图像处理方法。可选地，上述存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述各个实施例提供的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对于包含目标对象的原始图像，对所述目标对象的皮肤区域进行平滑处理，得到第一图像；
基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材；
渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像，所述脸部纹理图像的脸部关键点信息和脸部姿态信息均与所述目标对象相匹配；
将所述脸部纹理图像和所述第一图像进行融合，得到第二图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材包括：
基于所述脸部面积所属的脸部面积范围，确定与所述脸部面积范围对应的分辨率范围，所述脸部面积范围的中值与所述分辨率范围的中值呈正相关；
获取分辨率位于所述分辨率范围的所述皮肤纹理素材。
3.根据权利要求1所述的方法，其特征在于，所述渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像包括：
获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
根据所述脸部关键点信息和所述脸部姿态信息对所述皮肤纹理素材进行渲染，得到目标纹理素材；
将所述目标纹理素材与所述原始图像进行融合，得到所述脸部纹理图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的皮肤区域进行平滑处理，得到第一图像包括：
获取所述目标对象的脸部关键点信息和脸部姿态信息，所述脸部姿态信息用于表示所述目标对象的面部旋转情况；
基于所述脸部姿态信息，获取所述目标对象的姿态权重图像，所述姿态权重图像中每个像素点的像素值用于表示所述原始图像中对应像素点的姿态权重参数，所述姿态权重参数用于表示像素点相对于所述脸部姿态信息的重要程度；
基于所述姿态权重图像，对所述皮肤区域进行平滑处理，得到所述第一图像。
5.根据权利要求4所述的方法，其特征在于，所述脸部姿态信息为所述目标对象的脸部姿态欧拉角，所述基于所述脸部姿态信息，获取所述目标对象的姿态权重图像包括：
基于所述脸部姿态欧拉角的取值符号，获取所述目标对象的脸部朝向掩码图，所述脸部朝向掩码图用于区分所述目标对象的脸部朝向是朝前还是朝后；
获取所述脸部区域中每个像素点到面部中线的距离；
基于所述脸部朝向掩码图和所述距离，获取所述姿态权重图像。
6.根据权利要求4所述的方法，其特征在于，所述基于所述姿态权重图像，对所述皮肤区域进行平滑处理，得到所述第一图像包括：
获取所述原始图像的皮肤区域图，所述皮肤区域图用于指示所述原始图像中所述目标对象的所述皮肤区域；
基于二维高斯模糊函数，分别对所述皮肤区域图和所述姿态权重图像进行平滑处理，得到平滑肤色图和平滑姿态权重图；
对所述原始图像、所述平滑肤色图和所述平滑姿态权重图进行融合，得到所述第一图像。
7.一种图像处理装置，其特征在于，包括：
平滑单元，被配置为执行对于包含目标对象的原始图像，对所述目标对象的皮肤区域进行平滑处理，得到第一图像；
确定单元，被配置为执行基于所述目标对象的脸部面积，确定与所述脸部面积对应的皮肤纹理素材；
渲染单元，被配置为执行渲染所述皮肤纹理素材，得到与所述目标对象对应的脸部纹理图像，所述脸部纹理图像的脸部关键点信息和脸部姿态信息均与所述目标对象相匹配；
融合单元，被配置为执行将所述脸部纹理图像和所述第一图像进行融合，得到第二图像。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行所述指令，以实现如权利要求1至权利要求6中任一项所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的至少一条指令由电子设备的一个或多个处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像处理方法。
10.一种计算机程序产品，其特征在于，包括一条或多条指令，所述一条或多条指令由电子设备的一个或多个处理器执行，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像处理方法。
CN202110480567.3A 2021-04-30 2021-04-30 图像处理方法、装置、电子设备及存储介质 Active CN113205568B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110480567.3A CN113205568B (zh) 2021-04-30 2021-04-30 图像处理方法、装置、电子设备及存储介质
US17/568,156 US11488293B1 (en) 2021-04-30 2022-01-04 Method for processing images and electronic device
EP22150514.2A EP4083904A1 (en) 2021-04-30 2022-01-07 Method and apparatus for beautifying selfies
MX2022001461A MX2022001461A (es) 2021-04-30 2022-02-02 Metodo para procesar imagenes y dispositivo electronico.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480567.3A CN113205568B (zh) 2021-04-30 2021-04-30 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113205568A true CN113205568A (zh) 2021-08-03
CN113205568B CN113205568B (zh) 2024-03-19

Family

ID=77028095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480567.3A Active CN113205568B (zh) 2021-04-30 2021-04-30 图像处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11488293B1 (zh)
EP (1) EP4083904A1 (zh)
CN (1) CN113205568B (zh)
MX (1) MX2022001461A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658313A (zh) * 2021-09-09 2021-11-16 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
CN113763284A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113791914A (zh) * 2021-11-17 2021-12-14 腾讯科技（深圳）有限公司 对象处理方法、装置、计算机设备、存储介质及产品
CN114757951A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 体征数据的融合方法、数据融合设备以及可读存储介质
CN115601811A (zh) * 2022-10-17 2023-01-13 北京京东拓先科技有限公司（Cn） 面部痤疮的检测方法和装置
CN116245754A (zh) * 2022-12-29 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
WO2023138468A1 (zh) * 2022-01-21 2023-07-27 北京字跳网络技术有限公司 虚拟物体的生成方法、装置、设备及存储介质
CN116563098A (zh) * 2022-06-20 2023-08-08 广州视源电子科技股份有限公司 图像处理方法、装置及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961188B2 (en) * 2022-06-08 2024-04-16 Adobe Inc. Neural networks to generate appearance-responsive material map sets in digital graphical environments
CN117274498A (zh) * 2023-10-16 2023-12-22 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267443A1 (en) * 2006-05-05 2008-10-30 Parham Aarabi Method, System and Computer Program Product for Automatic and Semi-Automatic Modification of Digital Images of Faces
US20110115786A1 (en) * 2009-11-16 2011-05-19 Sony Corporation Image processing apparatus, image processing method, and program
TW201620298A (zh) * 2014-11-21 2016-06-01 恆景科技股份有限公司 適用於雙模式影像裝置的影像處理系統
CN107945135A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109325924A (zh) * 2018-09-20 2019-02-12 广州酷狗计算机科技有限公司 图像处理方法、装置、终端及存储介质
CN110717867A (zh) * 2019-09-04 2020-01-21 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017041295A1 (en) * 2015-09-11 2017-03-16 Intel Corporation Real-time face beautification features for video images
CN107492079A (zh) 2017-08-28 2017-12-19 维沃移动通信有限公司 一种图像磨皮方法及移动终端
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN112884637B (zh) 2021-01-29 2023-04-07 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267443A1 (en) * 2006-05-05 2008-10-30 Parham Aarabi Method, System and Computer Program Product for Automatic and Semi-Automatic Modification of Digital Images of Faces
US20110115786A1 (en) * 2009-11-16 2011-05-19 Sony Corporation Image processing apparatus, image processing method, and program
TW201620298A (zh) * 2014-11-21 2016-06-01 恆景科技股份有限公司 適用於雙模式影像裝置的影像處理系統
CN107945135A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109325924A (zh) * 2018-09-20 2019-02-12 广州酷狗计算机科技有限公司 图像处理方法、装置、终端及存储介质
CN110717867A (zh) * 2019-09-04 2020-01-21 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658313A (zh) * 2021-09-09 2021-11-16 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
CN113658313B (zh) * 2021-09-09 2024-05-17 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
CN113763284A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113791914A (zh) * 2021-11-17 2021-12-14 腾讯科技（深圳）有限公司 对象处理方法、装置、计算机设备、存储介质及产品
WO2023138468A1 (zh) * 2022-01-21 2023-07-27 北京字跳网络技术有限公司 虚拟物体的生成方法、装置、设备及存储介质
CN114757951A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 体征数据的融合方法、数据融合设备以及可读存储介质
CN116563098A (zh) * 2022-06-20 2023-08-08 广州视源电子科技股份有限公司 图像处理方法、装置及设备
CN115601811A (zh) * 2022-10-17 2023-01-13 北京京东拓先科技有限公司（Cn） 面部痤疮的检测方法和装置
CN116245754A (zh) * 2022-12-29 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN116245754B (zh) * 2022-12-29 2024-01-09 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP4083904A1 (en) 2022-11-02
CN113205568B (zh) 2024-03-19
MX2022001461A (es) 2022-11-01
US11488293B1 (en) 2022-11-01
US20220351346A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN113205568B (zh) 图像处理方法、装置、电子设备及存储介质
CN109978989B (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
CN111091576B (zh) 图像分割方法、装置、设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN108305236B (zh) 图像增强处理方法及装置
CN107945163B (zh) 图像增强方法及装置
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN109325924B (zh) 图像处理方法、装置、终端及存储介质
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN111680758B (zh) 图像训练样本生成方法和装置
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111738914A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN114612283A (zh) 图像处理方法、装置、电子设备及存储介质
CN114140342A (zh) 图像处理方法、装置、电子设备及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113642359A (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN111639639A (zh) 检测文本区域的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant