CN113628144A - 人像修复方法、装置、电子设备及存储介质 - Google Patents

人像修复方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113628144A
CN113628144A CN202110981765.8A CN202110981765A CN113628144A CN 113628144 A CN113628144 A CN 113628144A CN 202110981765 A CN202110981765 A CN 202110981765A CN 113628144 A CN113628144 A CN 113628144A
Authority
CN
China
Prior art keywords
image
preset
portrait
features
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110981765.8A
Other languages
English (en)
Inventor
陈进山
周铭柯
李启东
邹嘉伟
李志阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202110981765.8A priority Critical patent/CN113628144A/zh
Publication of CN113628144A publication Critical patent/CN113628144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请实施例提供了一种人像修复方法、装置、电子设备及存储介质，涉及图像处理技术领域。方法包括：将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像；采用预设修复模型分别提取待修复图像的特征、先验人像图像的特征；根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像，从而提高了人像修复图中人像的细节清晰度，减小了人像的五官形变。

Description

人像修复方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种人像修复方法、装置、电子设备及存储介质。
背景技术
随着人们日趋严格的审美需求，人像修复技术也越来越受到人们的关注。人像修复技术是一种能够提升人像照片的细节和清晰度的技术，能够在一定程度上还原画质受损严重或清晰度较差的人像照片的细节。人像修复技术的应用场景非常广泛，例如修复早期拍摄设备拍摄的人像照片，修复通过多次扫描、翻拍的人像照片，修复经过多次网络转载和压缩的人像照片，修复由低清监控摄像头拍摄的人像等。
现有的人像修复方案大多数是基于生成对抗网络(Generative AdversarialNets，GANs)对人像进行修复。生成对抗网络包括生成器网络和判别器网络，生成器网络不断捕捉训练库中的数据产生新的样本，判别器网络判别生成器网络提供的数据是否足够真实，两个网络相互竞争，使得生成器网络生成的样本越来越真实，从而完成对人像的修复。
然而，基于生成对抗网络得到的人像修复图容易产生细节形变，导致细节不清晰等问题。
发明内容
有鉴于此，本申请的目的在于提供人像修复方法、装置、电子设备和计算机可读存储介质，以提高人像修复图中人像的细节清晰度，减小人像的形变。
第一方面，本申请提供一种人像修复方法，包括：
将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像；
采用预设修复模型分别提取待修复图像的特征、先验人像图像的特征；
根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
在可选的实施方式中，根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像，包括：
采用预设修复模型中预设融合算法，将先验人像图像的特征中预设位置的特征融合到待修复图像中对应位置的特征中，获取融合特征；
根据融合特征，输出修复后的图像。
在可选的实施方式中，预设位置至少包括以下一项或多项：五官区域、头发区域。
在可选的实施方式中，将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像之前，还包括：
采用预设算法检测获取初始图像中的人脸点集；
根据人脸点集，计算获取初始图像的外接矩形，并拓展获取裁切矩形；
根据裁切矩形获取人脸旋转角度，并裁切获取待修复图像。
在可选的实施方式中，预设修复模型根据样本图像和预设神经网络训练获取，样本图像包括：符合筛选条件的人脸图像。
在可选的实施方式中，符合筛选条件的人脸图像包括：数据扰动后的人脸图像，数据扰动包括下述一项或多项：噪声、马赛克、模糊。
在可选的实施方式中，该方法还包括：
根据修复后的图像和预设收敛函数，对预设修复模型的参数进行更新，获取更新的预设修复模型。
第二方面，本申请提供一种人像修复装置，包括：
图像输入模块，用于将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像；
特征提取模块，用于采用预设修复模型分别提取待修复图像的特征、先验人像图像的特征；
特征融合模块，用于根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
在可选的实施方式中，特征融合模块具体用于采用预设修复模型中预设融合算法，将先验人像图像的特征中预设位置的特征融合到待修复图像中对应位置的特征中，获取融合特征；根据融合特征，输出修复后的图像。
在可选的实施方式中，预设位置至少包括以下一项或多项：五官区域、头发区域。
在可选的实施方式中，装置还包括：待修复图像获取模块，用于采用预设算法检测获取初始图像中的人脸点集；根据人脸点集，计算获取初始图像的外接矩形，并拓展获取裁切矩形；根据裁切矩形获取人脸旋转角度，并裁切获取待修复图像。
在可选的实施方式中，预设修复模型根据样本图像和预设神经网络训练获取，样本图像包括：符合筛选条件的人脸图像。
在可选的实施方式中，符合筛选条件的人脸图像包括：数据扰动后的人脸图像，数据扰动包括下述一项或多项：噪声、马赛克、模糊。
在可选的实施方式中，装置还包括：更新模块，用于根据修复后的图像和预设收敛函数，对预设修复模型的参数进行更新，获取更新的预设修复模型。
第三方面，本申请提供一种电子设备，电子设备包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如前述实施方式任一方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述实施方式任一方法的步骤。
本申请实施例提供的人像修复方法中，首先基于待修复图像通过生成网络生成先验人像图像，然后分别提取待修复图像的特征、先验人像图像的特征，由于待修复图像中人像的五官位置以及形状未形变，先验人像图像中人像的细节较为清晰，因此采用预设修复模型中预设融合算法对待修复图像的特征和先验人像图像的特征进行特征融合后，能够提显著高人像修复图中人像的细节清晰度，并且避免修复后的人像发生五官形变。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的人像修复方法的流程图；
图2示出了本申请实施例所提供的一种预设修复模型的示意图；
图3示出了本申请实施例所提供的一种人像修复装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在对本申请的实施例进行具体说明之前，先对本申请的应用场景进行介绍。
随着人们日趋严格的审美需求，人像修复技术也越来越受到人们的关注。人像修复技术是一种能够提升人像照片的细节和清晰度的技术，能够在一定程度上还原画质受损严重或清晰度较差的人像照片的细节。人像修复技术的应用场景非常广泛，例如修复早期拍摄设备拍摄的人像照片，修复通过多次扫描、翻拍的人像照片，修复经过多次网络转载和压缩的人像照片，修复由低清监控摄像头拍摄的人像等。
现有的人像修复方案大致分为两类，第一类为传统的图像处理方案，例如对人像进行去噪、去模糊等。第二类是基于生成对抗网络(Generative Adversarial Nets，GANs)对人像进行修复。生成对抗网络包括生成器网络和判别器网络，生成器网络不断捕捉训练库中的数据产生新的样本，判别器网络判别生成器网络提供的数据是否足够真实，两个网络相互竞争，使得生成器网络生成的样本越来越真实，从而完成对人像的修复。
然而，传统的图像处理方案鲁棒性不足，对于实际需求中的复杂场景，例如暗环境多噪声，强光照等，需要设置不同的参数进行调整，操作较为繁琐；而基于生成对抗网络得到的人像修复图容易产生五官形变，细节不清晰等问题。
为了解决这些问题，本申请实施例提供了一种人像修复方法、装置、电子设备和计算机可读存储介质，能够提高人像修复图中人像的细节清晰度，减小人像的细节形变。
请参阅图1，本申请提供一种人像修复方法，该方法可以由终端设备执行，例如手机、平板电脑等，也可以由其他具有处理能力的设备执行，在此不作限制。具体地，该方法包括：
S101：将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像。
可选地，待修复图像中可以仅包含待修复的目标人像，如此便于减小其他人像的干扰，提高人像修复的效率。当然，这里只是示例性说明，待修复图像中也可以除待修复的目标人像之外的其他人像，本申请对此不做特别限定。
预设修复模型可以包括StyleGAN2网络结构，StyleGAN2是一种可以根据输入的不同参数生成不同风格人脸的网络结构，生成的人像清晰度和画质均较高，这里的风格是指人脸的表情、朝向、发型、肤色、光照等。本申请实施例中，可以将待修复图像输入StyleGAN2的编码器和生成网络中，StyleGAN2的编码器提取待修复图像中的参数信息并输入生成网络，以使生成网络根据参数信息生成先验人像图像，先验人像图像即生成网络根据输入的参数生成的人像图像。
如此，根据待修复图像的信息可以生成清晰度和画质均较高的先验人像图像，以便于对后续融合先验人像图像和待修复图像中的特征，从而提高人像修复的清晰度的画质。
S102：采用预设修复模型分别提取待修复图像的特征、先验人像图像的特征。
可选地，预设修复模型还可以包括第一编码器和第二编码器，其中，第一编码器可以提取待修复图像的特征，第二编码器可以提取先验人像图像的特征。
需要说明的是，待修复图像中的人像五官未形变，即五官的形状、位置特征较为逼真，而先验人像图像中的五官细节较为清晰，因此，可以通过第一编码器提取待修复图像中五官的形状、位置等特征，通过第二编码器提取先验人像图像中五官的细节特征，例如发丝、睫毛、纹理等，以使得对先验人像图像中五官的细节和待修复图像中五官的形状、位置等特征融合后，得到的修复后的人像五官不发生形变，且五官的清晰度较高。
S103：根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
可选地，待修复图像的特征可以为五官的形状特征、位置特征等，先验人像图像的特征可以为五官的细节特征。
举例说明，假设待修复图像的特征为featx，先验人像图像的特征可以为featprior，预设融合算法为fuse_module，则预设融合算法可以为：
Figure BDA0003229382160000091
其中，α和β为融合算法中的可调参数，可以根据需求设定，或通过训练网络经过多次训练得到，本申请对此不做特别限定。如此，通过指数函数将先验人像图像的特征计算到0至1的范围内引导修复待修复图像中人像的五官细节，可以使得修复后的人像五官更加清晰，且避免发生形变，修复效果更加逼真。
另外，可选地，根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像，具体可以包括：根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，得到融合后的特征；将融合后的特征输入解码器，对融合后的特征进行解码，得到修复后的图像并输出。
请参阅图2，图2为本申请实施例提供的一种人像修复方法的流程示意图，先将待修复图像输入预设修复模型中StyleGAN2网络结构的编码器和生成网络，编码器提取待修复图像中的参数信息并输入生成网络，生成网络根据参数信息生成先验人像图像；然后预设修复模型通过第一编码器提取待修复图像的特征，通过第二编码器提取先验人像图像的特征；最后预设修复模型通过预设融合算法对待修复图像的特征和先验人像图像的特征进行特征融合，得到融合后的特征；将融合后的特征输入解码器，对融合后的特征进行解码，得到修复后的图像并输出。
本申请实施例提供的人像修复方法，首先基于待修复图像通过生成网络生成先验人像图像，然后分别提取待修复图像的特征、先验人像图像的特征，由于待修复图像中人像的五官位置以及形状未形变，先验人像图像中人像的五官细节较为清晰，因此采用预设修复模型中预设融合算法对待修复图像的特征和先验人像图像的特征进行特征融合后，能够提显著高人像修复图中人像的五官清晰度，并且避免修复后的人像发生五官形变，另外也无需根据场景和环境的变换调整参数，操作较为简单。
在可选的实施方式中，根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像，包括：采用预设修复模型中预设融合算法，将先验人像图像的特征中预设位置的特征融合到待修复图像中对应位置的特征中，获取融合特征；根据融合特征，输出修复后的图像。
可选地，上述预设位置可以是想要修复的细节的区域，可以预先进行配置或设置。
举例说明，在可选的实施方式中，预设位置至少包括以下一项或多项：五官区域、头发区域。具体地，五官区域包括：眉、眼、鼻、口、耳所在的区域，头发区域包括头发所在的区域。
相应地，先验人像图像的特征中预设位置的特征可以包括：先验人像图像中五官区域的细节特征。如此，有利于提高修复后的图形中人像五官细节的清晰度。
例如，采用预设修复模型中预设融合算法，将先验人像图像眼睛处的眼睫毛形态融合到待修复图像眼睛处，将先验人像图像嘴唇处的纹理融合到待修复图像嘴唇处，将先验人像图像眉毛的颜色融合到待修复图像眉毛处。当然，这里只是示例性说明，并不代表本申请局限于此。
需要说明的是，当预设位置为头发区域时，先验人像图像头发区域的特征可以为发丝的颜色，长度，粗细等。
在可选的实施方式中，将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像之前，还包括：采用预设算法检测获取初始图像中的人脸点集；根据人脸点集，计算获取初始图像的外接矩形，并拓展获取裁切矩形；根据裁切矩形获取人脸旋转角度，并裁切获取待修复图像。
需要说明的是，上述人脸点集可以仅包括待修复的人脸的点集，也可能存在一个或多个人脸的人脸点集，本申请不作限制。
可选地，预设算法可以为基于CNN(Convolutional Neural Networks，卷积神经网络)的人脸检测算法和人脸对齐算法，基于CNN的人脸检测算法例如libfacedetection算法、MTCNN(Multi-task Cascaded Convolutional Networks，多任务级联卷积神经网络)、Compact Cascade CNN算法等，基于CNN的人脸对齐算法例如CSR(Cascaded ShapeRegressor，级联形状回归)，PRNet等，本申请对此不做限定。
采用预设算法可以检测获取初始图像中的人脸点集，可选地，初始图像中的人脸点集可以表征出是图像中人脸的姿势，人脸形状等信息。计算人脸点集所表征的人脸形状的外接矩形，向外拓展即可得到人脸的裁切矩形，若初始图像中的人像不水平，例如歪着头、昂头、躺着等，则得到的裁切矩形也不水平，比较裁切矩形和预设的标准矩形可以得到初始图像中人脸相对于水平的旋转角度，其中，预设的标准矩形可以为预先设定的处于水平的标准矩形。
可选地，根据裁切矩形获取人脸旋转角度，并裁切获取待修复图像，包括：从初始图像中裁切获取初始人像；根据人脸旋转角度对初始人像进行旋转，以摆正初始人像；将人脸点集转换至摆正后的初始人像的坐标中，并根据转换坐标后的人脸点集的坐标从初始人像中抠取待修复图像。即修复图像为摆正的人脸图像。当然，这里只是示例性说明，并不代表本申请局限于此。
在可选的实施方式中，预设修复模型根据样本图像和预设神经网络训练获取，样本图像包括：符合筛选条件的人脸图像。
具体地，预设神经网络可以为卷积神经网络(CNN，Convolutional NeuralNetworks)，卷积神经网络可以对待修复图像和先验人像图像分别进行多次卷积处理以提取待修复图像中的特征和先验人像图像中的特征，然后将待修复图像中的特征和先验人像图像中的特征输入特征融合模块，以通过预设融合算法对待修复图像中的特征和先验人像图像中的特征进行特征融合。
预设修复模型可以基于样本图像对卷积神经网络模型进行多次训练后得到，其中样本图像为符合筛选条件的人脸图像，在本申请实施例中，即数据扰动后的人脸图像，数据扰动包括下述一项或多项：噪声、马赛克、模糊。
例如，人脸图像为优质人像画质图，对优质人像画质图进行噪声、马赛克、模糊等降低图像画质的数据扰动，得到的图像即为符合筛选条件的人脸图像。需要说明的是，优质人像画质图为无噪声的高清人像图。
如此，将无噪声的高清人像图进行数据扰动后作为样本图像输入卷积神经网络进行训练，使得通过卷积神经网络输出的修复后的人像图可以与高清人像图进行对比，并根据比较结果优化卷积神经网络中的参数，提高人像修复的修复效果。
在可选的实施方式中，方法还包括：根据修复后的图像和预设收敛函数，对预设修复模型的参数进行更新，获取更新的预设修复模型。
具体地，预设收敛函数可以为损失函数，例如L1 loss、Perceptual loss、Identity loss、Global D Loss、Facial D Loss等，本申请不做具体限定。
可选地，可以根据修复后的图像和数据扰动前的人脸图像，计算损失函数，即比较修复后的图像与前述无噪声的高清人像图，根据比较结果得到损失函数，损失函数通可以过梯度反传不断更新CNN的网络参数，是提高人像修复的效果。
以L1 Loss为例，设修复后的图像为G(E(x))，高清人像图为
Figure BDA0003229382160000141
则L1Loss为：
Figure BDA0003229382160000142
再以Perceptual Loss为例，Perceptual Loss采用vgg-19网络进行计算，能够更好恢复人像肤色、质感、细节信息，若设修复后的图像为y，高清人像图为
Figure BDA0003229382160000143
则PerceptualLoss为：
Figure BDA0003229382160000144
再以Identity loss为例，若设修复后的图像为y，高清人像图为
Figure BDA0003229382160000145
regc()为特征提取函数，则Identity loss为：
Figure BDA0003229382160000146
可选地，还可以采用判别网络计算损失函数。判别网络主要分为全局D判别网络和局部D判别网络，其中，两个D网络结构和StyleGAN2类似，局部D判别网络通过人脸点集裁剪出眼睛、嘴巴、眉毛三个部位，然后统一到预设尺度再输入判别网络计算损失函数，计算公式为：
Figure BDA0003229382160000147
其中，Dg代表全局D判别网络，Dlocal代表局部D判别网络，Softplus代表函数：log(1+ex)，comp代表五官区域，例如眼睛、嘴巴、眉毛，
Figure BDA0003229382160000148
代表高清人像图对应的五官区域，例如眼睛、嘴巴、眉毛。
采用判别网络可以确保修复后人脸可以更加真实、局部五官信息更加清晰、细节丰富。
请参阅图3，本申请提供一种人像修复装置30，包括：
图像输入模块301，用于将待修复图像输入预设修复模型，根据预设修复模型中的生成网络，获取先验人像图像。
特征提取模块302，用于采用预设修复模型分别提取待修复图像的特征、先验人像图像的特征。
特征融合模块303，用于根据待修复图像的特征、先验人像图像的特征，采用预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
在可选的实施方式中，特征融合模块303具体用于采用预设修复模型中预设融合算法，将先验人像图像的特征中预设位置的特征融合到待修复图像中对应位置的特征中，获取融合特征；根据融合特征，输出修复后的图像。
在可选的实施方式中，预设位置至少包括以下一项或多项：五官区域、头发区域。
在可选的实施方式中，装置还包括：待修复图像获取模块，用于采用预设算法检测获取初始图像中的人脸点集；根据人脸点集，计算获取初始图像的外接矩形，并拓展获取裁切矩形；根据裁切矩形获取人脸旋转角度，并裁切获取待修复图像。
在可选的实施方式中，预设修复模型根据样本图像和预设神经网络训练获取，样本图像包括：符合筛选条件的人脸图像。
在可选的实施方式中，符合筛选条件的人脸图像包括：数据扰动后的人脸图像，数据扰动包括下述一项或多项：噪声、马赛克、模糊。
在可选的实施方式中，装置还包括：更新模块，用于根据修复后的图像和预设收敛函数，对预设修复模型的参数进行更新，获取更新的预设修复模型。
本申请实施例所提供的人像修复装置30可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
请参阅图4，本申请实施例提供了一种电子设备40，包括：处理器401、存储介质402和总线403，存储介质402存储有处理器401可执行的机器可读指令，当电子设备40运行时，处理器401与存储介质402之间通过总线403通信，处理器401执行机器可读指令，以执行如前述任一实施方式的步骤。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述实施方式任一方法的步骤。
具体实现可参见方法实施例，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种人像修复方法，其特征在于，包括：
将待修复图像输入预设修复模型，根据所述预设修复模型中的生成网络，获取先验人像图像；
采用所述预设修复模型分别提取所述待修复图像的特征、所述先验人像图像的特征；
根据所述待修复图像的特征、所述先验人像图像的特征，采用所述预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待修复图像的特征、所述先验人像图像的特征，采用所述预设修复模型中预设融合算法进行特征融合，输出修复后的图像，包括：
采用所述预设修复模型中预设融合算法，将所述先验人像图像的特征中预设位置的特征融合到所述待修复图像中对应位置的特征中，获取融合特征；
根据所述融合特征，输出修复后的图像。
3.根据权利要求2所述的方法，其特征在于，所述预设位置至少包括以下一项或多项：五官区域、头发区域。
4.根据权利要求1所述的方法，其特征在于，所述将待修复图像输入预设修复模型，根据所述预设修复模型中的生成网络，获取先验人像图像之前，还包括：
采用预设算法检测获取初始图像中的人脸点集；
根据所述人脸点集，计算获取所述初始图像的外接矩形，并拓展获取裁切矩形；
根据所述裁切矩形获取人脸旋转角度，并裁切获取所述待修复图像。
5.根据权利要求1所述的方法，其特征在于，所述预设修复模型根据样本图像和预设神经网络训练获取，所述样本图像包括：符合筛选条件的人脸图像。
6.根据权利要求5所述的方法，其特征在于，所述符合筛选条件的人脸图像包括：数据扰动后的人脸图像，所述数据扰动包括下述一项或多项：噪声、马赛克、模糊。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
根据所述修复后的图像和预设收敛函数，对所述预设修复模型的参数进行更新，获取更新的预设修复模型。
8.一种人像修复装置，其特征在于，包括：
图像输入模块，用于将待修复图像输入预设修复模型，根据所述预设修复模型中的生成网络，获取先验人像图像；
特征提取模块，用于采用所述预设修复模型分别提取所述待修复图像的特征、所述先验人像图像的特征；
特征融合模块，用于根据所述待修复图像的特征、所述先验人像图像的特征，采用所述预设修复模型中预设融合算法进行特征融合，输出修复后的图像。
9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一方法的步骤。
CN202110981765.8A 2021-08-25 2021-08-25 人像修复方法、装置、电子设备及存储介质 Pending CN113628144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110981765.8A CN113628144A (zh) 2021-08-25 2021-08-25 人像修复方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110981765.8A CN113628144A (zh) 2021-08-25 2021-08-25 人像修复方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113628144A true CN113628144A (zh) 2021-11-09

Family

ID=78387669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110981765.8A Pending CN113628144A (zh) 2021-08-25 2021-08-25 人像修复方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113628144A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028153A (zh) * 2019-12-09 2020-04-17 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN111179366A (zh) * 2019-12-18 2020-05-19 深圳先进技术研究院 基于解剖结构差异先验的低剂量图像重建方法和系统
CN111915691A (zh) * 2019-05-07 2020-11-10 上海科技大学 基于神经网络的图像处理系统、方法、终端、及介质
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915691A (zh) * 2019-05-07 2020-11-10 上海科技大学 基于神经网络的图像处理系统、方法、终端、及介质
CN111028153A (zh) * 2019-12-09 2020-04-17 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN111179366A (zh) * 2019-12-18 2020-05-19 深圳先进技术研究院 基于解剖结构差异先验的低剂量图像重建方法和系统
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张素素;倪建成;周子力;侯杰;: "融合语义标签和噪声先验的图像生成", 计算机应用, no. 05 *
戢凯;王晓峰;: "融合暗通道和颜色衰减先验的图像去雾算法", 现代计算机(专业版), no. 22 *

Similar Documents

Publication Publication Date Title
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
CN106910247B (zh) 用于生成三维头像模型的方法和装置
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
CN107886032B (zh) 终端设备、智能手机、基于脸部识别的认证方法和系统
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2022528294A (ja) 深度を利用した映像背景減算法
CN111754415B (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN109598210B (zh) 一种图片处理方法和装置
KR20190053602A (ko) 얼굴 인증 방법 및 장치
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN110807427A (zh) 一种视线追踪方法、装置、计算机设备和存储介质
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
CN110956691A (zh) 一种三维人脸重建方法、装置、设备及存储介质
CN109410138B (zh) 修饰双下巴的方法、装置和系统
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN114782864B (zh) 一种信息处理方法、装置、计算机设备及存储介质
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
CN113628144A (zh) 人像修复方法、装置、电子设备及存储介质
CN113556471B (zh) 证件照生成方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination