CN112330574B - 人像修复方法、装置、电子设备及计算机存储介质 - Google Patents

人像修复方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112330574B
CN112330574B CN202011386894.4A CN202011386894A CN112330574B CN 112330574 B CN112330574 B CN 112330574B CN 202011386894 A CN202011386894 A CN 202011386894A CN 112330574 B CN112330574 B CN 112330574B
Authority
CN
China
Prior art keywords
image
face
face image
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011386894.4A
Other languages
English (en)
Other versions
CN112330574A (zh
Inventor
杨定东
严琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TetrasAI Technology Co Ltd
Original Assignee
Shenzhen TetrasAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TetrasAI Technology Co Ltd filed Critical Shenzhen TetrasAI Technology Co Ltd
Priority to CN202011386894.4A priority Critical patent/CN112330574B/zh
Publication of CN112330574A publication Critical patent/CN112330574A/zh
Priority to JP2023537450A priority patent/JP2023539691A/ja
Priority to PCT/CN2021/090296 priority patent/WO2022110638A1/zh
Priority to KR1020237009537A priority patent/KR20230054432A/ko
Application granted granted Critical
Publication of CN112330574B publication Critical patent/CN112330574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种人像修复方法、装置、电子设备及计算机存储介质，其中，该方法包括：获取待修复人脸图像；提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。本申请实施例有利于提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。

Description

人像修复方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种人像修复方法、装置、电子设备及计算机存储介质。
背景技术
现有的摄像设备在进行图像采集时，受制于自身设计、环境、摄像人员的操作等因素，会存在成像效果不理想的情况，尤其是人像的拍摄，人像噪声大、模糊、局部形变是常见的问题。虽然在改善成像质量上有超分辨率、降噪、亮度调节、饱和度调节等技术，但其运用在人像上的效果却不够理想，而专门针对人像而设计的美颜、人像虚化、人像打光等技术，虽然能够改善整体的视觉效果，但是很难从根本上改善人像的清晰度。目前学术界针对人像成像效果或质量提出了假想技术、超分辨技术和盲修复技术，然而，因为种种限制，其对人像质量的修复效果仍然不佳。
发明内容
针对上述问题，本申请提供了一种人像修复方法、装置、电子设备及存储介质，有利于提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。
为实现上述目的，本申请实施例第一方面提供了一种人像修复方法，该方法包括：获取待修复人脸图像；提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
本申请实施例，通过对待修复人脸图像进行亮度通道提取，基于提取出的亮度通道进行人像修复得到亮度通道被修复的目标人脸图像，然后进行颜色通道的融合得到修复完成的第一人脸修复图像，再对第一人脸修复图像进行颜色矫正、缩放等图像变换处理，使得到的第二人脸修复图像保持待修复人脸图像的颜色信息和待修复人脸图像缩放前的分辨率，从而有利于修复存在噪声、模糊、形变等问题的人脸图像，提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。
结合第一方面，在一种可能的实施方式中，所述提取所述待修复人脸图像的亮度通道，包括：在所述待修复人脸图像的格式为第一格式的情况下，提取所述待修复人脸图像的所述亮度通道；或在所述待修复人脸图像的格式为第二格式的情况下，将所述待修复人脸图像的格式转换为所述第一格式，提取格式转换后的所述待修复人脸图像的所述亮度通道。
本申请实施例，由于是基于亮度通道对待修复人脸进行人像修复，对于能够直接提取亮度通道的第一格式的待修复人脸图像，可直接进行亮度通道的提取，对于不能够直接提取亮度通道的第二格式的待修复人脸图像，将其转换为第一格式后再进行亮度通道的提取，以保证多种格式的待修复人脸图像均可基于亮度通道进行人像修复，从而有利于提高在待修复人脸图像格式上的适用性。
结合第一方面，在一种可能的实施方式中，所述基于所述亮度通道进行人像修复，得到目标人脸图像，包括：将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像。
本申请实施例，采用训练好的神经网络模型进行人像修复，有利于修复光照不佳、抖动、失焦、数码变焦等问题导致噪声、模糊、形变的待修复人脸图像，提升人五官、毛发、皮肤的清晰度和纹理细节。
结合第一方面，在一种可能的实施方式中，所述神经网络模型包括第一网络、第二网络、第三网络和第四网络，所述第二网络包括N个模糊上采样模块，所述N个模糊上采样模块中每个模糊上采样模块中的模糊上采样包括模糊(Blur)卷积，所述模糊卷积的卷积核的权重是预先设定的固定值，其中，N为大于1的整数，所述神经网络模型在所述第一网络的输入、所述第二网络的输出以及所述第三网络的输出处存在捷径连接(shortcut)，在所述第一网络的输出以及所述第四网络的输出处存在捷径连接。
本申请实施例，第一网络的输入、第二网络的输出以及第三网络的输出为最高分辨率尺度，第一网络的输出以及第四网络的输出为最低分辨率尺度，在最高分辨率尺度和最低分辨率尺度上进行捷径连接，有利于防止神经网络模型过拟合，在训练中可使迭代速度更快；模糊上采样中带有模糊卷积操作，其采用的卷积核的权重从神经网络模型训练之初就是固定的，其作用相当于低通滤波器，在图像修复的过程中有利于生成平滑自然的轮廓和毛发。
结合第一方面，在一种可能的实施方式中，所述将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像，包括：采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像。
本申请实施例中，采用第一网络进行编码以缩小输入的亮度通道的尺寸，并提取目标特征图，第二网络在解码过程中对亮度通道的尺寸进行恢复，同时，第三网络在在解码过程中有利于保证神经网络模型的稳定性，最终可得到亮度通道被修复的目标人脸图像。
结合第一方面，在一种可能的实施方式中，所述采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图，包括：将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
本申请实施例中，由于第四网络采用了残差块的结构，有利于对高层特征进行提取，以捷径连接将第一网络的输出和第四网络的输出叠加，一方面可防止神经网络模型过拟合，另一方面可丰富特征信息。
结合第一方面，在一种可能的实施方式中，所述采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像，包括：将所述目标特征图输入所述第二网络中的所述N个模糊上采样模块进行模糊上采样，得到第二特征图；将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图；将所述亮度通道、所述第二特征图及所述第三特征图进行叠加得到所述目标人脸图像。
本申请实施例中，第二网络采用N个模糊上采样模块进行模糊上采样，在恢复目标特征图尺寸的同时，有利于生成平滑自然的轮廓和毛发；第三网络对第二网络中第1至第(N-1)个模糊上采样模块输出的特征图进行上采样，有利于保证神经网络模型的稳定性，以捷径连接将第一网络的输入、第二网络的输出和第三网络的输出叠加，一方面可防止神经网络模型过拟合，另一方面有利于丰富特征信息，提高目标人脸图像的修复质量。
结合第一方面，在一种可能的实施方式中，所述第三网络包括(N-1)个上采样模块；所述将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图，包括：对所述N个模糊上采样模块中第1个模糊上采样模块输出的特征图的通道数进行压缩，得到第一压缩特征图；将所述第一压缩特征图输入所述(N-1)个上采样模块中的第1个上采样模块进行上采样；将所述N个模糊上采样模块中第i个模糊上采样模块输出的特征图的通道数进行压缩，得到第二压缩特征图；其中，i为大于1且小于N的整数；将所述(N-1)个上采样模块中第(i-1)个上采样模块输出的特征图与所述第二压缩特征图进行叠加，并将叠加后得到的特征图输入所述(N-1)个上采样模块中第i个上采样模块进行上采样；经过所述(N-1)个上采样模块的处理，得到所述第三特征图。
本申请实施例中，对N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图的通道数进行压缩，有利于保证第三网络中每个上采样模块的输入的通道数都相同，从而有利于提高神经网络模型的稳定性。
结合第一方面，在一种可能的实施方式中，所述获取待修复人脸图像，包括：对采集的原始图像进行人脸检测；基于检测出的人脸在所述原始图像中的位置裁剪出人脸图像；对所述人脸图像进行缩放，得到所述待修复人脸图像。
本申请实施例中，针对用户采集的原始图像，进行人脸检测后再裁剪出人脸图像，将人脸图像缩放到固定尺寸，有利于实现对较大尺寸人脸图像的修复。
结合第一方面，在一种可能的实施方式中，在对所述人脸图像进行缩放，得到所述待修复人脸图像之后，所述方法还包括：对所述原始图像进行人像分割，得到人像掩码；在得到第二人脸修复图像之后，所述方法还包括：对所述人像掩码的边缘进行高斯模糊；基于所述人脸图像在所述原始图像中裁剪的位置及所述人像掩码将所述第二人脸修复图像中的人脸贴回裁剪后的所述原始图像，完成所述原始图像的修复。
本申请实施例中，基于人脸图像在原始图像中裁剪的位置以及人像掩码可以确定人脸在原始图像中的位置，如此便可将第二人脸修复图像中经过修复的人脸贴回原始图像中，而背景部分依旧采用原始图像中的背景，在贴回人脸之前对人像掩码的边缘进行高斯模糊，能够使最终的修复图像更平滑自然。
结合第一方面，在一种可能的实施方式中，所述对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像，包括：对所述第一人脸修复图像进行颜色矫正；确定缩放的倍率；若缩放的倍率大于预设倍率，则采用超分辨率技术对颜色矫正后的所述第一人脸修复图像进行缩放，得到所述第二人脸修复图像。
本申请实施例中，对于第一人脸修复图像，对其进行颜色矫正，并对颜色矫正后的第一人脸修复图像进行缩放，将其尺寸恢复到裁剪出的人脸图像的尺寸，即得到质量较佳的第二人脸修复头像。当对第一人脸修复图像进行缩放的倍率超过预设别率时，采用超分辨率技术进行缩放，有利于提高第二人脸修复图像的分辨率。
结合第一方面，在一种可能的实施方式中，在获取待修复人脸图像之前，所述方法还包括：构建样本图像对；所述样本图像对包括第一人脸图像和基于所述第一人脸图像得到的第二人脸图像；将所述样本图像对输入神经网络进行训练，输出所述第二人脸图像的修复图像；根据所述修复图像与所述第一人脸图像确定目标损失；对所述神经网络的参数进行调整，以最小化所述目标损失，获得所述神经网络模型。
本申请实施例中，采用成对的样本图像训练神经网络，该样本图像对中存在退化图像，该退化图像与实际采集的存在画质问题的图像十分接近，用这样的样本图像对训练神经网络有利于提高神经网络模型的泛化性；最小化目标损失可使得神经网络模型输出的修复图像尽可能接近第一人脸图像的质量，并增加对修复图像轮廓和毛发等细节的处理。
结合第一方面，在一种可能的实施方式中，所述目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种。
本申请实施例中，采用目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种来训练神经网络模型，可使得神经网络模型从整体上对退化图像存在的多种问题进行修复，提高人像修复的质量。
结合第一方面，在一种可能的实施方式中，所述构建样本图像对，包括：获取预设的所述第一人脸图像；若所述第一人脸图像的画质不存在退化，则对所述第一人脸图像进行大气扰动退化，得到第一退化图像；对所述第一退化图像进行下采样，得到目标退化图像；对所述目标退化图像进行上采样，得到第二退化图像；根据所述第二退化图像得到第三退化图像；采用预设压缩质量参数对所述第三退化图像进行压缩，得到第四退化图像；在所述第四退化图像中确定出矩形区域，并确定所述矩形区域在所述第一人脸图像中对应的目标区域；采用所述目标区域内的像素值对所述矩形区域内对应的像素值进行替换，得到所述第二人脸图像，以所述第一人脸图像和所述第二人脸图像构建所述样本图像对；或若所述第一人脸图像的画质存在退化，则以两张所述第一人脸图像构建所述样本图像对，并将两张中的任一张确定为所述第二人脸图像。
本申请实施例中，对第一人脸图像的画质进行判断，若第一人脸图像本身比较清晰，其画质不存在退化，则对第一人脸图像一系列退化处理，以合成一张存在退化问题的第二人脸图像，使得第二人脸图像与实际采集的退化图像相似，以模拟对真实退化图像进行修复的场景；若第一人脸图像本身就存在退化问题，则不需要对其进行退化处理，可直接采用两张第一人脸图像构成样本图像对来模拟对真实退化图像进行修复的场景。
结合第一方面，在一种可能的实施方式中，所述根据所述第二退化图像得到第三退化图像，包括：在所述第二退化图像的亮度通道加噪声，并对所述第二退化图像进行非局部平均去噪，得到所述第三退化图像；或者，对所述第二退化图像进行模糊操作，得到第五退化图像；在所述第五退化图像的亮度通道加噪声，并对所述第五退化图像进行非局部平均去噪，得到所述第三退化图像。
本申请实施例中，采用模糊操作、噪声叠加、非局部平均去噪等方式对第二退化图像进行多种退化处理，有利于使得第三退化图像存在多种退化问题，以在后续使用存在多种退化问题的图像来训练神经网络模型。
本申请实施例第二方面提供了一种人像修复装置，该装置包括：
图像获取模块，用于获取待修复人脸图像；
人像修复模块，用于提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；
图像融合模块，用于将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；
图像调整模块，用于对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述第一方面任一种实施方式中的步骤。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述第一方面任一种实施方式中的步骤。
可以看出，本申请实施例通过获取待修复人脸图像；提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。这样通过对待修复人脸图像进行亮度通道提取，基于提取出的亮度通道进行人像修复得到亮度通道被修复的目标人脸图像，然后进行颜色通道的融合得到修复完成的第一人脸修复图像，再对第一人脸修复图像进行颜色矫正、缩放等图像变换处理，使得到的第二人脸修复图像保持待修复人脸图像的颜色信息和待修复人脸图像缩放前的分辨率，从而有利于修复存在噪声、模糊、形变等问题的人脸图像，提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用环境的示意图；
图2为本申请实施例提供的一种人像修复方法的流程示意图；
图3为本申请实施例提供的一种神经网络模型的结构示意图；
图4为本申请实施例提供的一种对特征图进行解码的示意图；
图5为本申请实施例提供的一种构建样本图像对的示意图；
图6为本申请实施例提供的一种替换像素值的示意图；
图7为本申请实施例提供的另一种人像修复方法的流程示意图；
图8为申请实施例提供的一种人像修复装置的结构示意图；
图9为申请实施例提供的另一种人像修复装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
本申请实施例提出一种针对人脸图像进行人像修复的方案，有利于提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。具体可基于图1所示的应用环境实施，如图1所示，该应用环境包括图像采集设备和服务器，图像采集设备可以是手机、平板、相机、摄像机等，服务器可以是独立的物理服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。具体的，图像采集设备用于拍摄或采集图像，该图像可以是单独的照片，也可以是视频，例如：用户的自拍、安防监控场景下采集的监控视频等，由于图像采集设备在拍摄时存在光照不佳、抖动、失焦、数码变焦等状况，使得图像中的人脸存在噪声、模糊、形变等各种问题，此时，用户可通过图像采集设备向服务器发送人像修复请求，以请求服务器对图像中的人脸进行修复，服务器在接收到图像采集设备采集的图像后，执行人脸检测、人脸分割、人脸修复等一系列操作，最终输出人脸修复完成的图像。应当理解的，服务器上可部署人脸检测、人脸分割、人脸修复等模型，服务器可通过调用这些模型实现人像修复的整个过程。需要说明的是，本申请实施例提出的人像修复方法可以由服务器执行，也可以由图像采集设备执行，比如将人脸修复等模型部署在图像采集设备。
以下结合相关附图对本申请实施例提供的人像修复方法进行详细阐述。
请参见图2，图2为本申请实施例提供的一种人像修复方法的流程示意图，应用于服务器，如图2所示，包括步骤S21-S24：
S21，获取待修复人脸图像。
本申请具体实施例中，待修复人脸图像是指基于成像不佳的原始图像得到的、直接用于修复的人脸图像，对于图像采集设备采集的原始图像，采用人脸检测算法对其进行人脸检测，基于检测出的人脸在原始图像中的位置裁剪出人脸图像，例如：可采用FasterR-CNN(Faster Region-Convolutional Neural Networks，更快速的候选区域卷积神经网络检测器)、YOLO(You Only Look Once，一瞥目标检测器)等进行人脸检测，基于人脸检测框裁剪出正方形的人脸图像，对于裁剪出的人脸图像，将其缩放到预设尺寸即得到待修复人脸图像，可实现对较大尺寸人脸图像的修复，比如分辨率896*896，然后采用人像分割技术从图像采集设备采集的原始图像中分割出人像和背景的掩码，记掩码矩阵为M，其中，人像掩码表示为1，背景部分表示为0。
S22，提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像。
本申请具体实施例中，目标人脸图像是指对待修复人脸图像进行亮度通道修复得到的图像，在待修复人脸图像的格式为第一格式的情况下，提取待修复人脸图像的亮度通道，基于该亮度通道进行人像修复，得到目标人脸图像，在待修复人脸图像的格式为第二格式的情况下，将待修复人脸图像的格式转换为第一格式，然后提取格式转换后的待修复人脸图像的亮度通道，基于该亮度通道进行人像修复，得到目标人脸图像。其中，第一格式是指YUV格式，第二格式是指RGB格式，简而言之，针对YUV格式的待修复人脸图像，可直接提取亮度通道，针对RGB格式的待修复人脸图像，需要转换为第一格式后再提取亮度通道，这样可以保证多种格式的待修复人脸图像均可基于亮度通道进行人像修复，对待修复人脸图像格式的适用性更广。
在一种可能的实施方式中，上述基于所述亮度通道进行人像修复，得到目标人脸图像，包括：将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像。
具体的，采用训练好的神经网络模型进行人像修复，神经网络模型的结构如图3所示，主要包括第一网络、第二网络、第三网络和第四网络，对于待修复人脸图像经过输入层提取出亮度通道，第一网络采用多个下采样模块进行编码，第四网络对第一网络的输出进行高层特征提取，第二网络和第三网络对第一网络的输出和第四网络的输出的叠加进行解码，第一网络的输入、第二网络的输出和第三网络的输出的叠加经过输出层的处理得到与待修复人脸图像尺寸相同的目标人脸图像，该目标人脸图像是指亮度通道被修复的人脸图像，最终将目标人脸图像与待修复人脸图像的颜色通道融合输出第一人脸修复图像。其中，第二网络包括N个模糊上采样模块，N个模糊上采样模块中每个模糊上采样模块中的模糊上采样包括模糊卷积，模糊卷积的卷积核的权重是预先设定的固定值，神经网络模型在第一网络的输入、第二网络的输出以及第三网络的输出处存在捷径连接，在第一网络的输出以及第四网络的输出处存在捷径连接。第一网络的输入、第二网络的输出以及第三网络的输出为最高分辨率尺度，第一网络的输出以及第四网络的输出为最低分辨率尺度，在最高分辨率尺度和最低分辨率尺度上进行捷径连接，有利于防止神经网络模型过拟合，在训练中可使迭代速度更快；模糊上采样中带有模糊卷积操作，其采用的卷积核的权重从神经网络模型训练之初就是固定的，其作用相当于低通滤波器，在图像修复的过程中有利于生成平滑自然的轮廓和毛发。这样的神经网络模型有利于修复光照不佳、抖动、失焦、数码变焦等问题导致噪声、模糊、形变的待修复人脸图像，提升人五官、毛发、皮肤的清晰度和纹理细节。
在一种可能的实施方式中，上述将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像，包括：采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像。
本申请具体实施例中，采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图，包括：将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
其中，第一特征图是指经过第一网络中多个下采样模块的下采样后得到的低分辨率特征图，高层特征图是指采用第四网络进行深度特征提取后得到的特征图，对于第一特征图和高层特征图通过捷径连接进行叠加，得到目标特征图。应当理解的，以捷径连接将第一网络的输出和第四网络的输出叠加，一方面可防止神经网络模型过拟合，另一方面可丰富特征信息；第四网络可以是残差块，残差块是残差网络中的常规设定，在深度特征或高层特征的提取上有着很好地表现。
本申请具体实施例中，如图4所示，上述采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像，包括：
S41，将所述目标特征图输入所述第二网络中的所述N个模糊上采样模块进行模糊上采样，得到第二特征图；
S42，将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图；
S43，将所述亮度通道、所述第二特征图及所述第三特征图进行叠加得到所述目标人脸图像。
其中，第二网络中的模糊上采样模块与第一网络中的下采样模块呈对称结构，用于还原目标特征图的尺寸，第二特征图是指经过N个模糊上采样模块的模糊上采样后得到的特征图。每个模糊上采样模块中的卷积层采用标准卷积-模糊卷积-标准卷积的方式进行卷积处理。如图3所示，N个模糊上采样模块的处理顺序从左往右依次为第1个模糊上采样模块、第2个模糊上采样模块、第3个模糊上采样模块…第N个模糊上采样模块，针对N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图，输入第三网络进行上采样，第三特征图即经过第三网络上采样后输出的特征图，将高分辨率的亮度通道、第二特征图及第三特征图进行叠加即可得到目标人脸图像。第三网络对第二网络中第1至第(N-1)个模糊上采样模块输出的特征图进行上采样，有利于保证神经网络模型的稳定性，以捷径连接将第一网络的输入、第二网络的输出和第三网络的输出叠加，一方面可防止神经网络模型过拟合，另一方面有利于丰富特征信息，提高目标人脸图像的修复质量。
在一种可能的实施方式中，所述第三网络包括(N-1)个上采样模块；上述将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图，包括：对所述N个模糊上采样模块中第1个模糊上采样模块输出的特征图的通道数进行压缩，得到第一压缩特征图；将所述第一压缩特征图输入所述(N-1)个上采样模块中的第1个上采样模块进行上采样；将所述N个模糊上采样模块中第i个模糊上采样模块输出的特征图的通道数进行压缩，得到第二压缩特征图；其中，i为大于1且小于N的整数；将所述(N-1)个上采样模块中第(i-1)个上采样模块输出的特征图与所述第二压缩特征图进行叠加，并将叠加后得到的特征图输入所述(N-1)个上采样模块中第i个上采样模块进行上采样；经过所述(N-1)个上采样模块的处理，得到所述第三特征图。
其中，请继续参见图3，第三网络中的(N-1)个上采样模块的处理顺序从左至右依次为第1个上采样模块、第2个上采样模块…第(N-1)个上采样模块，每个上采样模块中的上采样采用标准卷积完成，对于第1至第(N-1)个模糊上采样模块输出的特征图，在输入第三网络的上采样模块前，先对其进行通道数的压缩，使得每个上采样模块输入的特征图的通道数相同。具体的，第一压缩特征图即对第1个模糊上采样模块输出的特征图进行通道数压缩后得到的特征图，第二特征图即对第i个模糊上采样模块输出的特征图进行通道数压缩后得到的特征图，第1个上采样模块由于不存在前一个上采样模块，则可直接对第1个模糊上采样模块输出的特征图进行通道数压缩，并将第一压缩特征图输入第1个上采样模块进行上采样，第i个上采样模块由于其存在前一个上采样模块(即第(i-1)个上采样模块)，则第i个上采样模块的输入为第(i-1)个上采样模块输出的特征图与第i个模糊上采样模块输出并压缩后的特征图的叠加，简而言之，第2个上采样模块的输入为第1个上采样模块输出的特征图与第2个模糊上采样模块输出并压缩后的特征图的叠加、第3个上采样模块的输入为第2个上采样模块输出的特征图与第3个模糊上采样模块输出并压缩后的特征图的叠加、第(N-1)个上采样模块的输入为第N-2个上采样模块输出的特征图与第(N-1)个模糊上采样模块输出并压缩后的特征图的叠加，如此经过第三网络中(N-1)个上采样模块的上采样处理，最终输出第三特征图。对第1至第(N-1)个模糊上采样模块输出的特征图的通道数进行压缩，有利于保证第三网络中每个上采样模块的输入的通道数都相同，从而有利于提高神经网络模型的稳定性。
S23，将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像第一人脸修复图像。
本申请具体实施例中，第一人脸修复图像是指经过神经网络模型修复和颜色通道融合得到的人脸图像，对于亮度通道被修复的目标人脸图像，分别计算其与待修复人脸图像的颜色通道的比例信息，按照计算出的比例将目标人脸图像与待修复人脸图像的颜色通道融合以实现图像增强，最终输出第一人脸修复图像。
S24，对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
本申请具体实施例中，对于第一人脸修复图像，对其进行局部颜色矫正，并对颜色矫正后的第一人脸修复图像进行缩放，将其尺寸恢复到步骤S21中裁剪出的人脸图像的尺寸，即得到质量较佳的第二人脸修复图像，有利于提高第二人脸修复图像的分辨率。首先，根据第一人脸修复图像的尺寸和裁剪出的人脸图像的尺寸确定当前需要缩放的倍率，若缩放的倍率超过1.5倍，则采用超分辨率技术进行2倍的缩放来恢复第一人脸修复图像的尺寸，例如：可以采用SRCNN(Super-Resolution Convolutional Neural Network，超分辨率重建卷积神经网络)等进行缩放。
在一种可能的实施方式中，在得到第二人脸修复图像之后，所述方法还包括：
对所述人像掩码的边缘进行高斯模糊；基于所述人脸图像在所述原始图像中裁剪的位置及所述人像掩码将所述第二人脸修复图像中的人脸贴回裁剪后的所述原始图像，完成所述原始图像的修复。
其中，基于人脸图像在原始图像中裁剪的位置以及人像掩码可以确定人脸在原始图像中的位置，如此便可将第二人脸修复图像中经过修复的人脸贴回裁剪后原始图像中，而背景部分依旧采用原始图像中的背景，在贴回人脸之前基于掩码矩阵M对人像掩码的边缘进行高斯模糊，能够使最终的修复图像更平滑自然。
在一种可能的实施方式中，在获取待修复人脸图像之前，所述方法还包括：构建样本图像对；所述样本图像对包括第一人脸图像和基于所述第一人脸图像得到的第二人脸图像；将所述样本图像对输入神经网络进行训练，输出所述第二人脸图像的修复图像；根据所述修复图像与所述第一人脸图像确定目标损失；对所述神经网络的参数进行调整，以最小化所述目标损失，获得所述神经网络模型。
其中，神经网络模型的训练采用成对的图像，即样本图像对中的第一人脸图像和第二人脸图像，第一人脸图像是指预先准备好的图像，第二人脸图像是指对基于第一人脸图像得到的存在画质问题的退化图像，例如：失焦模糊、噪声、压缩损失、采样锯齿、ISP(Image Signal Processor，图像信号处理器)去噪残留等。第二人脸图像可以是与第一人脸图像完全相同的人脸图像；也可以是对第一人脸图像进行退化处理得到的人脸图像，二者除了画质有无退化外，其他信息完全相同，这样的样本图像对在实际采集的图像中很难找到，因此需要基于第一人脸图像合成第二人脸图像。对于构建好的样本图像对，将其输入神经网络进行训练，采用上述步骤S22和S23中所示的方法对第二人脸图像中的人脸进行修复得到第二人脸图像的修复图像，然后基于该修复图像与第一人脸图像计算目标损失，目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种，基于目标损失对神经网络的参数进行调整，通过最小化目标损失得到训练好的神经网络模型。
其中，回归损失L1＝||X-Y||1，X表示神经网络输出的修复图像，Y表示第一人脸图像，回归损失用于最小化修复图像与第一人脸图像对应像素点之间的L1距离、处理噪声以及保持最终恢复的图像的颜色等信息。
感知损失
Figure BDA0002809320420000101
感知损失用于最小化修复图像与第一人脸图像在深度特征空间上的L1距离，可使得修复图像在视觉上更真实、自然，深度特征空间可通过训练好的VGG(Visual Geometry Group，视觉几何组)网络提取，l表示VGG特征的层数。
生成对抗损失LGAN＝-Fminus(areal,D(X))+Fplus(afake,D(X))，生成对抗损失利用判别器对修复图像与第一人脸图像进行鉴别，用来增加修复图像的清晰度及增加图像的细节纹理，Fminus和Fplus表示偏度中一正一负两个度量函数，areal和afake是两个固定的锚值，D为判别器，D(X)表示判别器对修复图像的判别结果，是一个长度为51的向量。
上下文损失LCX(X,Y)＝∑l∈S-logCX(Φ1(X),Φ1(Y))，上下文损失用于计算修复图像与第一人脸图像在特征空间上的余弦距离，并最小化余弦距离的多样性，通过与第一人脸图像之间的损失来保证最终恢复的图像内容上的一致性。具体的，CX表示计算出的余弦距离，Φ表示特征提取网络，可以是VGG网络，l同样表示特征的层数，S表示需要计算的特征层数，通常情况下S＝{3,4}，即主要由在怎样的尺度上计算上下文损失确定。
该实施方式中，采用成对的样本图像训练神经网络，该样本图像对中存在退化图像，该退化图像与实际采集的存在画质问题的图像十分接近，用这样的样本图像对训练神经网络有利于提高神经网络模型的泛化性；最小化目标损失可使得神经网络模型输出的修复图像尽可能接近第一人脸图像的质量，并增加对修复图像轮廓和毛发等细节的处理。采用目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种来训练神经网络模型，可使得神经网络模型从整体上对退化图像存在的多种问题进行修复，提高人像修复的质量。
在一种可能的实施方式中，如图5所示，所述构建样本图像对，包括：
S501，获取预设的所述第一人脸图像；
S502，判断所述第一人脸图像的画质是否存在退化；
若是，则执行步骤S503；若否，则执行步骤S504。
S503，以两张所述第一人脸图像构建所述样本图像对，并将两张中的任一张确定为所述第二人脸图像；
S504，对所述第一人脸图像进行大气扰动退化，得到第一退化图像；
S505，对所述第一退化图像进行下采样，得到目标退化图像；
S506，对所述目标退化图像进行上采样，得到第二退化图像；
S507，根据所述第二退化图像得到第三退化图像；
S508，采用预设压缩质量参数对所述第三退化图像进行压缩得到第四退化图像；
S509，在所述第四退化图像中确定出矩形区域，并确定所述矩形区域在所述第一人脸图像中对应的目标区域；
S510，采用所述目标区域内的像素值对所述矩形区域内对应的像素值进行替换，得到所述第二人脸图像，以所述第一人脸图像和所述第二人脸图像构建所述样本图像对。
其中，对于第一人脸图像，先对其画质进行判断，判断其画质是否存在退化，画质存在退化则不需要进行退化处理，以两张第一人脸图像构建样本图像对，并将两张中的任一张确定为第二人脸图像，画质不存在退化，则对其进行退化处理，具体可采用预设算法实现，输入第一人脸图像，若最终返回原第一人脸图像，则说明第一人脸图像本身画质存在退化，若不返回，则在第一人脸图像上以一定概率进行大气扰动，得到第一退化图像，对第一退化图像进行0-8倍的下采样，得到低分辨率的目标退化图像，对目标退化图像进行相应的上采样，得到与第一退化图像分辨率相同的第二退化图像，在第二退化图像的亮度通道上加噪声，并进行非局部平均去噪，得到第三退化图像，可选的，还可以先对第二退化图像进行模糊操作，得到相应的退化图像(即第五退化图像)，在该退化图像的亮度通道加噪声，并进行非局部平均去噪，得到第三退化图像。采用模糊操作、噪声叠加、非局部平均去噪等方式对第二退化图像进行多种退化处理，有利于使得第三退化图像存在多种退化问题，以在后续使用存在多种退化问题的图像来训练神经网络模型。针对第三退化图像，采用预设压缩质量参数进行JPEG压缩操作，其中，压缩质量参数可根据实际情况设定，对于压缩后得到的第四退化图像，如图6所示，随机选取一个矩形区域，并在第一人脸图像中选取出该区域对应的目标区域，用目标区域内的像素值对矩形区域内的像素值进行替换，即完成退化图像的合成，得到第二人脸图像，由第一人脸图像和第二人脸图像构成一个样本图像对。该实施方式由于采用了上述更为复杂的图像合成方法进行训练图像的合成，相比现有的合成方法，其得到的第二人脸图像更接近于实际退化的图像。
该实施方式中，对第一人脸图像的画质进行判断，若第一人脸图像本身比较清晰，其画质不存在退化，则对第一人脸图像一系列退化处理，以合成一张存在退化问题的第二人脸图像，使得第二人脸图像与实际采集的退化图像相似，以模拟对真实退化图像进行修复的场景；若第一人脸图像本身就存在退化问题，则不需要对其进行退化处理，可直接采用两张第一人脸图像构成样本图像对来模拟对真实退化图像进行修复的场景。
可以看出，本申请实施例通过获取待修复人脸图像；提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。这样通过对待修复人脸图像进行亮度通道提取，基于提取出的亮度通道进行人像修复得到亮度通道被修复的目标人脸图像，然后进行颜色通道的融合得到修复完成的第一人脸修复图像，再对第一人脸修复图像进行颜色矫正、缩放等图像变换处理，使得到的第二人脸修复图像保持待修复人脸图像的颜色信息和待修复人脸图像缩放前的分辨率，从而有利于修复存在噪声、模糊、形变等问题的人脸图像，提升修复后的人脸图像的质量，提高人脸图像的整体修复效果。
请参见图7，图7为本申请实施例提供的另一种人像修复方法的流程示意图，如图7所示，包括步骤S71-S76：
S71，获取待修复人脸图像；
S72，在所述待修复人脸图像的格式为第一格式的情况下，提取所述待修复人脸图像的亮度通道，并执行步骤S74；
S73，在所述待修复人脸图像的格式为第二格式的情况下，将所述待修复人脸图像的格式转换为所述第一格式，提取格式转换后的所述待修复人脸图像的所述亮度通道；
S74，基于所述亮度通道进行人像修复，得到目标人脸图像；
S75，将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；
S76，对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
其中，上述步骤S71-S76的具体实施方式，在图2-图6所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。
基于图2-图6所示方法实施例的描述，本申请实施例还提供一种人像修复装置，请参见图8，图8为本申请实施例提供的一种人像修复装置的结构示意图，如图8所示，该装置包括：
图像获取模块81，用于获取待修复人脸图像；
人像修复模块82，用于提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；
图像融合模块83，用于将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；
图像调整模块84，用于对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
在一种可能的实施方式中，在提取所述待修复人脸图像的亮度通道方面，人像修复模块82具体用于：
在所述待修复人脸图像的格式为第一格式的情况下，提取所述待修复人脸图像的所述亮度通道；或在所述待修复人脸图像的格式为第二格式的情况下，将所述待修复人脸图像的格式转换为所述第一格式，提取格式转换后的所述待修复人脸图像的所述亮度通道。
在一种可能的实施方式中，在基于所述亮度通道进行人像修复，得到目标人脸图像方面，人像修复模块82具体用于：
将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像。
在一种可能的实施方式中，所述神经网络模型包括第一网络、第二网络、第三网络和第四网络，所述第二网络包括N个模糊上采样模块，所述N个模糊上采样模块中每个模糊上采样模块中的模糊上采样包括模糊卷积，所述模糊卷积的卷积核的权重是预先设定的固定值，其中，N为大于1的整数，所述神经网络模型在所述第一网络的输入、所述第二网络的输出以及所述第三网络的输出处存在捷径连接，在所述第一网络的输出以及所述第四网络的输出处存在捷径连接。
在一种可能的实施方式中，在将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像方面，人像修复模块82具体用于：
采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像。
在一种可能的实施方式中，在采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图方面，人像修复模块82具体用于：
将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
在一种可能的实施方式中，在采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像方面，人像修复模块82具体用于：
将所述目标特征图输入所述第二网络中的所述N个模糊上采样模块进行模糊上采样，得到第二特征图；将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图；将所述亮度通道、所述第二特征图及所述第三特征图进行叠加得到所述目标人脸图像。
在一种可能的实施方式中，所述第三网络包括(N-1)个上采样模块；在将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图方面，人像修复模块82具体用于：
对所述N个模糊上采样模块中第1个模糊上采样模块输出的特征图的通道数进行压缩，得到第一压缩特征图；将所述第一压缩特征图输入所述(N-1)个上采样模块中的第1个上采样模块进行上采样；将所述N个模糊上采样模块中第i个模糊上采样模块输出的特征图的通道数进行压缩，得到第二压缩特征图；其中，i为大于1且小于N的整数；将所述(N-1)个上采样模块中第(i-1)个上采样模块输出的特征图与所述第二压缩特征图进行叠加，并将叠加后得到的特征图输入所述(N-1)个上采样模块中第i个上采样模块进行上采样；经过所述(N-1)个上采样模块的处理，得到所述第三特征图。
在一种可能的实施方式中，在获取待修复人脸图像方面，图像获取模块81具体用于：
对采集的原始图像进行人脸检测；基于检测出的人脸在所述原始图像中的位置裁剪出人脸图像；对所述人脸图像进行缩放，得到所述待修复人脸图像。
在一种可能的实施方式中，图像获取模块81还用于：对所述原始图像进行人像分割，得到人像掩码；
在一种可能的实施方式中，图像调整模块84还用于：
对所述人像掩码的边缘进行高斯模糊；基于所述人脸图像在所述原始图像中裁剪的位置及所述人像掩码将所述第二人脸修复图像中的人脸贴回裁剪后的所述原始图像，完成所述原始图像的修复。
在一种可能的实施方式中，在对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像方面，图像调整模块84具体用于：
对所述第一人脸修复图像进行颜色矫正；确定缩放的倍率；若缩放的倍率大于预设倍率，则采用超分辨率技术对颜色矫正后的所述第一人脸修复图像进行缩放，得到所述第二人脸修复图像。
在一种可能的实施方式中，如图9所示，该装置还包括模型构建模块85，模型构建模块85用于：
构建样本图像对；所述样本图像对包括第一人脸图像和基于所述第一人脸图像得到的第二人脸图像；将所述样本图像对输入神经网络进行训练，输出所述第二人脸图像的修复图像；根据所述修复图像与所述第一人脸图像确定目标损失；对所述神经网络的参数进行调整，以最小化所述目标损失，获得所述神经网络模型。
在一种可能的实施方式中，所述目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种。
在一种可能的实施方式中，在构建样本图像对方面，模型构建模块85具体用于：
获取预设的所述第一人脸图像；若所述第一人脸图像的画质不存在退化，则对所述第一人脸图像进行大气扰动退化，得到第一退化图像；对所述第一退化图像进行下采样，得到目标退化图像；对所述目标退化图像进行上采样，得到第二退化图像；根据所述第二退化图像得到第三退化图像；采用预设压缩质量参数对所述第三退化图像进行压缩，得到第四退化图像；在所述第四退化图像中确定出矩形区域，并确定所述矩形区域在所述第一人脸图像中对应的目标区域；采用所述目标区域内的像素值对所述矩形区域内对应的像素值进行替换，得到所述第二人脸图像，以所述第一人脸图像和所述第二人脸图像构建所述样本图像对；或若所述第一人脸图像的画质存在退化，则以两张所述第一人脸图像构建所述样本图像对，并将两张中的任一张确定为所述第二人脸图像。
在一种可能的实施方式中，在根据所述第二退化图像得到第三退化图像方面，模型构建模块85具体用于：
在所述第二退化图像的亮度通道加噪声，并对所述第二退化图像进行非局部平均去噪，得到所述第三退化图像；或者，对所述第二退化图像进行模糊操作，得到第五退化图像；在所述第五退化图像的亮度通道加噪声，并对所述第五退化图像进行非局部平均去噪，得到所述第三退化图像。
根据本申请的一个实施例，图8或图9所示的人像修复装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于人像修复装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8或图9中所示的人像修复装置设备，以及来实现本申请实施例的人像修复方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图10，该电子设备至少包括处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。其中，电子设备内的处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004可通过总线或其他方式连接。
计算机存储介质1004可以存储在电子设备的存储器中，所述计算机存储介质1004用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器1001可以用于进行一系列人像修复处理：获取待修复人脸图像；提取所述待修复人脸图像的亮度通道，基于所述亮度通道进行人像修复，得到目标人脸图像；将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像。
再一个实施例中，处理器1001执行所述提取所述待修复人脸图像的亮度通道，包括：在所述待修复人脸图像的格式为第一格式的情况下，提取所述待修复人脸图像的所述亮度通道；或在所述待修复人脸图像的格式为第二格式的情况下，将所述待修复人脸图像的格式转换为所述第一格式，提取格式转换后的所述待修复人脸图像的所述亮度通道。
再一个实施例中，处理器1001执行所述基于所述亮度通道进行人像修复，得到目标人脸图像，包括：将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像。
再一个实施例中，所述神经网络模型包括第一网络、第二网络、第三网络和第四网络，所述第二网络包括N个模糊上采样模块，所述N个模糊上采样模块中每个模糊上采样模块中的模糊上采样包括模糊卷积，所述模糊卷积的卷积核的权重是预先设定的固定值，其中，N为大于1的整数，所述神经网络模型在所述第一网络的输入、所述第二网络的输出以及所述第三网络的输出处存在捷径连接，在所述第一网络的输出以及所述第四网络的输出处存在捷径连接。
再一个实施例中，处理器1001执行所述将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像，包括：采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像。
再一个实施例中，处理器1001执行所述采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图，包括：将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
再一个实施例中，处理器1001执行所述采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像，包括：
将所述目标特征图输入所述第二网络中的所述N个模糊上采样模块进行模糊上采样，得到第二特征图；将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图；将所述亮度通道、所述第二特征图及所述第三特征图进行叠加得到所述目标人脸图像。
再一个实施例中，所述第三网络包括(N-1)个上采样模块；处理器1001执行所述将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图，包括：对所述N个模糊上采样模块中第1个模糊上采样模块输出的特征图的通道数进行压缩，得到第一压缩特征图；将所述第一压缩特征图输入所述(N-1)个上采样模块中的第1个上采样模块进行上采样；将所述N个模糊上采样模块中第i个模糊上采样模块输出的特征图的通道数进行压缩，得到第二压缩特征图；其中，i为大于1且小于N的整数；将所述(N-1)个上采样模块中第(i-1)个上采样模块输出的特征图与所述第二压缩特征图进行叠加，并将叠加后得到的特征图输入所述(N-1)个上采样模块中第i个上采样模块进行上采样；经过所述(N-1)个上采样模块的处理，得到所述第三特征图。
再一个实施例中，处理器1001执行所述获取待修复人脸图像，包括：对采集的原始图像进行人脸检测；基于检测出的人脸在所述原始图像中的位置裁剪出人脸图像；对所述人脸图像进行缩放，得到所述待修复人脸图像。
再一个实施例中，在对所述人脸图像进行缩放，得到所述待修复人脸图像之后，处理器1001还用于执行：对所述原始图像进行人像分割，得到人像掩码；在得到第二人脸修复图像之后，处理器1001还用于执行：对所述人像掩码的边缘进行高斯模糊；基于所述人脸图像在所述原始图像中裁剪的位置及所述人像掩码将所述第二人脸修复图像中的人脸贴回裁剪后的所述原始图像，完成所述原始图像的修复。
再一个实施例中，处理器1001执行所述对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像，包括：对所述第一人脸修复图像进行颜色矫正；确定缩放的倍率；若缩放的倍率大于预设倍率，则采用超分辨率技术对颜色矫正后的所述第一人脸修复图像进行缩放，得到所述第二人脸修复图像。
再一个实施例中，在获取待修复人脸图像之前，处理器1001还用于执行：构建样本图像对；所述样本图像对包括第一人脸图像和基于所述第一人脸图像得到的第二人脸图像；将所述样本图像对输入神经网络进行训练，输出所述第二人脸图像的修复图像；根据所述修复图像与所述第一人脸图像确定目标损失；对所述神经网络的参数进行调整，以最小化所述目标损失，获得所述神经网络模型。
再一个实施例中，所述目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种。
再一个实施例中，处理器1001执行所述构建样本图像对，包括：获取预设的所述第一人脸图像；若所述第一人脸图像的画质不存在退化，则对所述第一人脸图像进行大气扰动退化，得到第一退化图像；对所述第一退化图像进行下采样，得到目标退化图像；对所述目标退化图像进行上采样，得到第二退化图像；根据所述第二退化图像得到第三退化图像；采用预设压缩质量参数对所述第三退化图像进行压缩，得到第四退化图像；在所述第四退化图像中确定出矩形区域，并确定所述矩形区域在所述第一人脸图像中对应的目标区域；采用所述目标区域内的像素值对所述矩形区域内对应的像素值进行替换，得到所述第二人脸图像，以所述第一人脸图像和所述第二人脸图像构建所述样本图像对；或若所述第一人脸图像的画质存在退化，则以两张所述第一人脸图像构建所述样本图像对，并将两张中的任一张确定为所述第二人脸图像。
再一个实施例中，处理器1001执行所述根据所述第二退化图像得到第三退化图像，包括：在所述第二退化图像的亮度通道加噪声，并对所述第二退化图像进行非局部平均去噪，得到所述第三退化图像；或者，对所述第二退化图像进行模糊操作，得到第五退化图像；在所述第五退化图像的亮度通道加噪声，并对所述第五退化图像进行非局部平均去噪，得到所述第三退化图像。
示例性的，上述电子设备可以是电脑、电脑主机、服务器、云服务器、服务器集群，还可以是摄像头、摄像机等任意图像采集设备，等等，电子设备可包括但不仅限于处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004，输入设备1002可以是键盘、触摸屏等，输出设备1003可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器1001执行计算机程序时实现上述的人像修复方法中的步骤，因此上述人像修复方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器1001的计算机存储介质。在一个实施例中，可由处理器1001加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关人像修复方法的相应步骤。
示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的人像修复方法中的步骤，因此上述人像修复方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种人像修复方法，其特征在于，所述方法包括：
获取待修复人脸图像；
提取所述待修复人脸图像的亮度通道，将所述亮度通道输入训练好的神经网络模型进行人像修复，得到目标人脸图像；所述神经网络模型包括第一网络、第二网络、第三网络和第四网络；
将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；
对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像；
所述将所述亮度通道输入训练好的神经网络模型进行人像修复，得到所述目标人脸图像，包括：
采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；
采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像；
所述采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图，包括：
将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；
采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；
将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待修复人脸图像的亮度通道，包括：
在所述待修复人脸图像的格式为第一格式的情况下，提取所述待修复人脸图像的所述亮度通道；或
在所述待修复人脸图像的格式为第二格式的情况下，将所述待修复人脸图像的格式转换为所述第一格式，提取格式转换后的所述待修复人脸图像的所述亮度通道。
3.根据权利要求1或2所述的方法，其特征在于，所述第二网络包括N个模糊上采样模块，所述N个模糊上采样模块中每个模糊上采样模块中的模糊上采样包括模糊卷积，所述模糊卷积的卷积核的权重是预先设定的固定值，其中，N为大于1的整数，所述神经网络模型在所述第一网络的输入、所述第二网络的输出以及所述第三网络的输出处存在捷径连接，在所述第一网络的输出以及所述第四网络的输出处存在捷径连接。
4.根据权利要求3所述的方法，其特征在于，所述采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像，包括：
将所述目标特征图输入所述第二网络中的所述N个模糊上采样模块进行模糊上采样，得到第二特征图；
将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图；
将所述亮度通道、所述第二特征图及所述第三特征图进行叠加得到所述目标人脸图像。
5.根据权利要求4所述的方法，其特征在于，所述第三网络包括(N-1)个上采样模块；所述将所述N个模糊上采样模块中第1至第(N-1)个模糊上采样模块输出的特征图输入所述第三网络进行上采样，得到第三特征图，包括：
对所述N个模糊上采样模块中第1个模糊上采样模块输出的特征图的通道数进行压缩，得到第一压缩特征图；
将所述第一压缩特征图输入所述(N-1)个上采样模块中的第1个上采样模块进行上采样；
将所述N个模糊上采样模块中第i个模糊上采样模块输出的特征图的通道数进行压缩，得到第二压缩特征图；其中，i为大于1且小于N的整数；
将所述(N-1)个上采样模块中第(i-1)个上采样模块输出的特征图与所述第二压缩特征图进行叠加，并将叠加后得到的特征图输入所述(N-1)个上采样模块中第i个上采样模块进行上采样；
经过所述(N-1)个上采样模块的处理，得到所述第三特征图。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取待修复人脸图像，包括：
对采集的原始图像进行人脸检测；
基于检测出的人脸在所述原始图像中的位置裁剪出人脸图像；
对所述人脸图像进行缩放，得到所述待修复人脸图像。
7.根据权利要求6所述的方法，其特征在于，在对所述人脸图像进行缩放，得到所述待修复人脸图像之后，所述方法还包括：
对所述原始图像进行人像分割，得到人像掩码；
在得到第二人脸修复图像之后，所述方法还包括：
对所述人像掩码的边缘进行高斯模糊；
基于所述人脸图像在所述原始图像中裁剪的位置及所述人像掩码将所述第二人脸修复图像中的人脸贴回裁剪后的所述原始图像，完成所述原始图像的修复。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像，包括：
对所述第一人脸修复图像进行颜色矫正；
确定缩放的倍率；
若缩放的倍率大于预设倍率，则采用超分辨率技术对颜色矫正后的所述第一人脸修复图像进行缩放，得到所述第二人脸修复图像。
9.根据权利要求1-5任一项所述的方法，其特征在于，在获取待修复人脸图像之前，所述方法还包括：
构建样本图像对；所述样本图像对包括第一人脸图像和基于所述第一人脸图像得到的第二人脸图像；
将所述样本图像对输入神经网络进行训练，输出所述第二人脸图像的修复图像；
根据所述修复图像与所述第一人脸图像确定目标损失；
对所述神经网络的参数进行调整，以最小化所述目标损失，获得所述神经网络模型。
10.根据权利要求9所述的方法，其特征在于，所述目标损失包括回归损失、感知损失、生成对抗损失以及上下文损失中的至少一种。
11.根据权利要求9所述的方法，其特征在于，所述构建样本图像对，包括：
获取预设的所述第一人脸图像；
若所述第一人脸图像的画质不存在退化，则对所述第一人脸图像进行大气扰动退化，得到第一退化图像；
对所述第一退化图像进行下采样，得到目标退化图像；
对所述目标退化图像进行上采样，得到第二退化图像；
根据所述第二退化图像得到第三退化图像；
采用预设压缩质量参数对所述第三退化图像进行压缩，得到第四退化图像；
在所述第四退化图像中确定出矩形区域，并确定所述矩形区域在所述第一人脸图像中对应的目标区域；
采用所述目标区域内的像素值对所述矩形区域内对应的像素值进行替换，得到所述第二人脸图像，以所述第一人脸图像和所述第二人脸图像构建所述样本图像对；或
若所述第一人脸图像的画质存在退化，则以两张所述第一人脸图像构建所述样本图像对，并将两张中的任一张确定为所述第二人脸图像。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第二退化图像得到第三退化图像，包括：
在所述第二退化图像的亮度通道加噪声，并对所述第二退化图像进行非局部平均去噪，得到所述第三退化图像；
或者，
对所述第二退化图像进行模糊操作，得到第五退化图像；
在所述第五退化图像的亮度通道加噪声，并对所述第五退化图像进行非局部平均去噪，得到所述第三退化图像。
13.一种人像修复装置，其特征在于，所述装置包括：
图像获取模块，用于获取待修复人脸图像；
人像修复模块，用于提取所述待修复人脸图像的亮度通道，将所述亮度通道输入训练好的神经网络模型进行人像修复，得到目标人脸图像；所述神经网络模型包括第一网络、第二网络、第三网络和第四网络；
图像融合模块，用于将所述目标人脸图像与所述待修复人脸图像的颜色通道融合，得到第一人脸修复图像；
图像调整模块，用于对所述第一人脸修复图像进行图像变换处理，得到第二人脸修复图像；
在将所述亮度通道输入训练好的神经网络模型进行人像修复，得到目标人脸图像方面，所述人像修复模块具体用于：采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图；采用所述第二网络和所述第三网络对所述目标特征图进行解码操作，得到所述目标人脸图像；
在采用所述第一网络对所述亮度通道进行编码操作，得到目标特征图方面，所述人像修复模块具体用于：将所述亮度通道输入所述第一网络进行下采样，得到第一特征图；采用所述第四网络对所述第一特征图进行高层特征提取，得到高层特征图；将所述第一特征图与所述高层特征图进行叠加，得到所述目标特征图。
14.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-12任一项所述的方法。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-12任一项所述的方法。
CN202011386894.4A 2020-11-30 2020-11-30 人像修复方法、装置、电子设备及计算机存储介质 Active CN112330574B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011386894.4A CN112330574B (zh) 2020-11-30 2020-11-30 人像修复方法、装置、电子设备及计算机存储介质
JP2023537450A JP2023539691A (ja) 2020-11-30 2021-04-27 人物画像修復方法、装置、電子機器、記憶媒体及びプログラム製品
PCT/CN2021/090296 WO2022110638A1 (zh) 2020-11-30 2021-04-27 人像修复方法、装置、电子设备、存储介质和程序产品
KR1020237009537A KR20230054432A (ko) 2020-11-30 2021-04-27 인물 이미지 복원 방법, 장치, 전자 기기, 기억 매체 및 프로그램 제품

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011386894.4A CN112330574B (zh) 2020-11-30 2020-11-30 人像修复方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112330574A CN112330574A (zh) 2021-02-05
CN112330574B true CN112330574B (zh) 2022-07-12

Family

ID=74308400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011386894.4A Active CN112330574B (zh) 2020-11-30 2020-11-30 人像修复方法、装置、电子设备及计算机存储介质

Country Status (4)

Country Link
JP (1) JP2023539691A (zh)
KR (1) KR20230054432A (zh)
CN (1) CN112330574B (zh)
WO (1) WO2022110638A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330574B (zh) * 2020-11-30 2022-07-12 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质
CN112862852A (zh) * 2021-02-24 2021-05-28 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN113034393A (zh) * 2021-03-25 2021-06-25 北京百度网讯科技有限公司 照片修复方法、装置、设备以及存储介质
CN115222606A (zh) * 2021-04-16 2022-10-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN113222874B (zh) * 2021-06-01 2024-02-02 平安科技（深圳）有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质
CN113763268B (zh) * 2021-08-26 2023-03-28 中国科学院自动化研究所 人脸图像盲修复方法及系统
CN113793286B (zh) * 2021-11-18 2022-05-10 成都索贝数码科技股份有限公司 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN114782291B (zh) * 2022-06-23 2022-09-06 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN115294055A (zh) * 2022-08-03 2022-11-04 维沃移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质
CN115376188B (zh) * 2022-08-17 2023-10-24 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
CN115760646B (zh) * 2022-12-09 2024-03-15 中山大学·深圳 一种针对不规则孔洞的多模态人脸图像修复方法和系统
CN116782041B (zh) * 2023-05-29 2024-01-30 武汉工程大学 一种基于液晶微透镜阵列的图像质量提高方法及系统
CN117593462B (zh) * 2023-11-30 2024-06-07 约翰休斯(宁波)视觉科技有限公司 三维空间场景的融合方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004372A (ja) * 1998-06-17 2000-01-07 Konica Corp 画像復元装置及び画像出力装置
CN105931211A (zh) * 2016-04-19 2016-09-07 中山大学 一种人脸图像美化方法
CN107301625A (zh) * 2017-06-05 2017-10-27 天津大学 基于亮度融合网络的图像去雾算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469407B (zh) * 2015-11-30 2018-06-22 华南理工大学 一种基于改进的引导滤波器的人脸图像图层分解方法
US10269121B2 (en) * 2017-04-27 2019-04-23 Intel Corporation Fast color based and motion assisted segmentation of video into region-layers
CN111402135B (zh) * 2020-03-17 2023-06-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112330574B (zh) * 2020-11-30 2022-07-12 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004372A (ja) * 1998-06-17 2000-01-07 Konica Corp 画像復元装置及び画像出力装置
CN105931211A (zh) * 2016-04-19 2016-09-07 中山大学 一种人脸图像美化方法
CN107301625A (zh) * 2017-06-05 2017-10-27 天津大学 基于亮度融合网络的图像去雾算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Modified Color Brightness preserving Bi-Histogram Equalization with Variable Enhancement Degree for Restoration of Skin Color》;Susanta Kumar Rout 等;《2015 International Conference on Information Technology》;20151231;全文 *
《融合全局与局部区域亮度的逆光图像增强算法》;郭倩 等;《信号处理》;20180228;第34卷(第2期);全文 *

Also Published As

Publication number Publication date
JP2023539691A (ja) 2023-09-15
WO2022110638A1 (zh) 2022-06-02
CN112330574A (zh) 2021-02-05
KR20230054432A (ko) 2023-04-24

Similar Documents

Publication Publication Date Title
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN111476737B (zh) 一种图像处理方法、智能设备及计算机可读存储介质
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN113284073B (zh) 一种图像修复方法、装置及存储介质
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
WO2022206202A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
Liang et al. Improved non-local iterative back-projection method for image super-resolution
Liu et al. Face super-resolution reconstruction based on self-attention residual network
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN114049278A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN116012232A (zh) 图像处理方法、装置及存储介质、电子设备
CN113902611A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN112966639A (zh) 车辆检测方法、装置、电子设备及存储介质
CN112200817A (zh) 基于图像的天空区域分割和特效处理方法、装置及设备
CN116703777A (zh) 一种图像处理方法、系统、存储介质及电子设备
US20230060988A1 (en) Image processing device and method
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN114972096A (zh) 人脸图像优化方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039692

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant