CN111507914B - 人脸修复模型的训练方法、修复方法、装置、设备和介质 - Google Patents
人脸修复模型的训练方法、修复方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111507914B CN111507914B CN202010280026.1A CN202010280026A CN111507914B CN 111507914 B CN111507914 B CN 111507914B CN 202010280026 A CN202010280026 A CN 202010280026A CN 111507914 B CN111507914 B CN 111507914B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- model
- quality
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 115
- 230000006870 function Effects 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000008439 repair process Effects 0.000 claims description 88
- 230000006837 decompression Effects 0.000 claims description 67
- 230000015654 memory Effects 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 24
- 238000007906 compression Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 24
- 230000015556 catabolic process Effects 0.000 claims description 23
- 238000006731 degradation reaction Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 47
- 230000000694 effects Effects 0.000 description 37
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种人脸修复模型的训练方法、修复方法、装置、设备和介质，涉及图像处理技术领域，尤其涉及基于人工智能的人脸修复技术。具体实现方案为：获取第一画质人脸图像和第二画质人脸图像的样本对，样本对的第二画质人脸图像作为监督图像；将样本对的第一画质人脸图像输入人脸修复模型进行训练；基于至少两个损失函数，分别计算人脸修复模型的输出图像与监督图像之间的至少两种损失关系；如果确定至少两种损失关系不满足设定收敛要求，则调整人脸修复模型的模型参数并继续进行训练，直至确定至少两种损失关系满足设定收敛要求，则确定人脸修复模型训练完成。通过样本对和至少两个损失函数训练人脸修复模型，提高人脸修复的精确性。
Description
技术领域
本申请实施例涉及图像处理技术领域，具体涉及基于人工智能的人脸修复技术。
背景技术
现在图像修复技术的发展迅速，能将很多低质图像修复成为高质图像。图像修复技术的一个重要应用场景就是人脸图像的修复，用于对低质人脸图像进行处理和修复，得到清晰的人脸图像。
当采用机器学习模型对人脸图像进行修复时，主要方法是采用低质人脸图像和高清人脸图像作为样本对，通过大量样本对进行机器学习模型的训练，从而利用训练好的机器学习模型进行人脸图像的修复。
但是现有技术存在的问题是：真实的低质人脸图像和高清人脸图像的样本对很难构建和获取，目前都是使用高清人脸数据进行模糊等退化来得到低质人脸图像，从而构建样本对。所以训练的样本与真实低质人脸图像的数据分布不同，导致机器学习模型在真实线上进行低质人脸图像修复时，修复效果不理想。
发明内容
本申请实施例提供了一种人脸修复模型的训练方法、修复方法、装置、设备和介质，以改善人脸修复模型的修复效果。
第一方面，本申请实施例公开了一种人脸修复模型的训练方法，该方法包括：
获取第一画质人脸图像和第二画质人脸图像的样本对，其中，所述样本对的第二画质人脸图像作为监督图像；
将所述样本对的第一画质人脸图像输入人脸修复模型进行训练；
基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系；
如果确定至少两种损失关系不满足设定收敛要求，则调整所述人脸修复模型的模型参数并继续进行训练，直至确定所述至少两种损失关系满足设定收敛要求，则确定所述人脸修复模型训练完成。
上述申请中的一个实施例具有如下优点或有益效果：采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，基于至少两个损失函数，计算人脸修复模型的输出图像与第二画质人脸图像之间的损失关系，根据多个维度的损失关系判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
另外，根据本申请上述实施例的人脸修复模型的训练方法，还可以具有如下附加的技术特征：
可选的，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系之前，还包括：
将所述至少两个损失函数进行加权组合，以确定总损失函数；
相应的，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系包括：
基于总损失函数计算所述人脸修复模型的输出图像与所述监督图像之间的损失值，用于表示所述至少两种损失关系。
上述申请中的一个实施例具有如下优点或有益效果：根据至少两个损失函数的加权组合，得到总损失函数。根据总损失函数确定人脸修复模型的输出图像与第二画质人脸图像之间的损失关系。减小了单一损失函数计算损失关系的误差，提高人脸修复的精确性，改善人脸修复模型的修复效果。
可选的，所述损失函数包括下述至少两类：均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数。
上述申请中的一个实施例具有如下优点或有益效果：在均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数中选择损失函数，能从不同角度来确定损失关系，反映更接近真实情况的损失关系。
可选的，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练之前，还包括：
将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
上述申请中的一个实施例具有如下优点或有益效果：通过去压缩处理减少第一画质人脸图像上无关信息对人脸修复的影响，实现图像信息归一化，使真实的待修复第一画质人脸图像与训练样本中的第一画质人脸图像的数据分布相近，提高人脸修复模型在真实线上数据的表现能力，改善人脸修复模型的修复效果。
可选的，将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理之前，还包括：
获取第二画质图像，并将所述第一画质图像进行压缩退化处理，以获得退化第一画质图像；
将所述退化第一画质图像和所述第二画质图像作为去压缩样本对，输入去压缩模型进行训练。
上述申请中的一个实施例具有如下优点或有益效果：由第二画质图像处理得到退化第一画质图像来训练去压缩模型，保证去压缩模型的去压缩效果，进一步提高人脸修复效率。
可选的，获取第二画质图像，并将所述第二画质图像进行压缩退化处理，以获得退化第一画质图像包括：
对第二画质视频采用设定值的固定码率系数进行压缩处理；
从所述第二画质视频中抽取设定数量的帧作为所述第二画质图像，并从压缩处理后的视频中抽取设定数量的对应帧作为所述退化第一画质图像。
上述申请中的一个实施例具有如下优点或有益效果：从第二画质视频中获取第二画质图像，并通过设定的固定码率系数得到退化第一画质图像，保证退化第一画质图像的退化质量，实现去压缩模型的去压缩效果。
可选的，获取第一画质人脸图像和第二画质人脸图像的样本对包括：
获取第二画质人脸图像；
将所述第二画质人脸图像进行质量退化处理，以形成所述第一画质人脸图像。
上述申请中的一个实施例具有如下优点或有益效果：通过第二画质图像得到对应的第一画质人脸图像，保证第一画质人脸图像在修复后，存在真实第二画质图像用于监督，以便于对模型的训练。
可选的，所述样本对中还包括人脸图像关键点特征。
上述申请中的一个实施例具有如下优点或有益效果：根据人脸图像关键点特征提高人脸修复精度，改善人脸图像的修复效果。
可选的，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练包括：
将所述样本对中的人脸图像关键点特征作为第四个通道特征，与第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入所述人脸修复模型进行训练；其中，所述人脸图像关键点特征为人脸关键点坐标的数组。
上述申请中的一个实施例具有如下优点或有益效果：在三通道特征中添加人脸图像关键点特征作为第四个通道特征，使人脸修复时考虑到人脸关键点，提高人脸修复精度，改善人脸修复模型的修复效果。
可选的，获取第一画质人脸图像和第二画质人脸图像的样本对之后，还包括：
将所述第一画质人脸图像输入关键点提取模型进行识别，以确定所述第一画质人脸图像中的人脸图像关键点特征。
上述申请中的一个实施例具有如下优点或有益效果：通过关键点提取模型识别人脸图像关键点，避免关键点特征遗漏，提高人脸图像修复精度。
可选的，所述人脸修复模型为U-net模型，所述U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层，各所述卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入。
上述申请中的一个实施例具有如下优点或有益效果：采用添加残差单元的U-net模型，对低质人脸图像进行修复，提高模型的计算精度和计算效率，改善人脸图像修复效果。
第二方面，本申请实施例公开了一种人脸图像的修复方法，该方法包括：
获取待修复第一画质人脸图像；
将所述待修复第一画质人脸图像输入人脸修复模型进行处理，其中，所述人脸修复模型采用第一方面所述的人脸修复模型的训练方法进行训练而得；
获取所述人脸修复模型输出的第二画质人脸图像。
上述申请中的一个实施例具有如下优点或有益效果：将待修复第一画质人脸图像输入人脸修复模型，得到第二画质人脸图像，减少人脸图像修复的操作步骤，提高人脸图像修复效率，且人脸修复模型经训练得出，有效改善了人脸图像的修复效果。
另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附加的技术特征：
可选的，将所述待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：
将所述待修复第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
上述申请中的一个实施例具有如下优点或有益效果：通过去压缩处理减少第一画质人脸图像上无关信息对人脸修复的影响，实现图像信息归一化，使真实的待修复第一画质人脸图像与训练样本中的第一画质人脸图像的数据分布相近，提高人脸修复模型在真实线上数据的表现能力，改善人脸修复模型的修复效果。
可选的，所述去压缩模型采用第一画质图像和第二画质图像的去压缩样本对训练而得，且所述去压缩样本对中的第一画质图像采用所述第二画质图像进行压缩退化处理而得。
上述申请中的一个实施例具有如下优点或有益效果：由第二画质图像处理得到退化第一画质图像来训练去压缩模型，保证去压缩模型的去压缩效果，进一步提高人脸修复效率。
可选的，将所述待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：
将所述待修复第一画质人脸图像输入关键点提取模型进行人脸图像关键点特征的识别；
相应的，将所述待修复第一画质人脸图像输入人脸修复模型进行处理包括：
将所述人脸图像关键点特征与所述待修复第一画质人脸图像，一并输入所述人脸修复模型进行处理。
上述申请中的一个实施例具有如下优点或有益效果：获取人脸图像关键点特征，并与待修复第一画质人脸图像一并输入人脸修复模型中，使人脸修复时考虑到人脸关键点，提高人脸修复精度，改善人脸修复模型的修复效果。
可选的，将所述人脸图像关键点特征与所述待修复第一画质人脸图像，一并输入所述人脸修复模型进行处理包括：
将所述人脸图像关键点特征作为第四个通道特征，与所述待修复第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入所述人脸修复模型进行处理；其中，所述人脸图像关键点特征为人脸关键点坐标的数组。
上述申请中的一个实施例具有如下优点或有益效果：向人脸修复模型输入四通道特征，提高人脸图像修复的计算精度和计算效率，改善人脸图像的修复效果。
第三方面，本申请实施例公开了一种人脸修复模型的训练装置，该装置包括：
样本对获取模块，用于获取第一画质人脸图像和第二画质人脸图像的样本对，其中，所述样本对的第二画质人脸图像作为监督图像；
第一画质人脸图像输入模块，用于将所述样本对的第一画质人脸图像输入人脸修复模型进行训练；
损失关系计算模块，用于基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系；
人脸修复模型训练模块，用于如果确定至少两种损失关系不满足设定收敛要求，则调整所述人脸修复模型的模型参数并继续进行训练，直至确定所述至少两种损失关系满足设定收敛要求，则确定所述人脸修复模型训练完成。
第四方面，本申请实施例公开了一种人脸图像的修复装置，该装置包括：
第一画质人脸图像获取模块，用于获取待修复第一画质人脸图像；
第一画质人脸图像处理模块，用于将所述待修复第一画质人脸图像输入人脸修复模型进行处理，其中，所述人脸修复模型采用第三方面所述的人脸修复模型的训练装置；
第二画质人脸图像获取模块，用于获取所述人脸修复模型输出的第二画质人脸图像。
第五方面，本申请实施例公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的人脸修复模型的训练方法或第二方面所述的人脸图像的修复方法。
第六方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面的人脸修复模型的训练方法或第二方面的人脸图像的修复方法。
上述申请中的一个实施例具有如下优点或有益效果：采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，基于至少两个损失函数，计算人脸修复模型的输出图像与第二画质人脸图像之间的损失关系，根据损失关系判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的一种人脸修复模型的训练方法的流程示意图；
图2是根据本申请第一实施例的低质人脸图像示意图；
图3是根据本申请第一实施例的U-net模型的结构示意图；
图4是根据本申请第二实施例的一种人脸修复模型的训练方法的流程示意图；
图5是根据本申请第二实施例的人脸修复模型训练的流程示意图；
图6是根据本申请第三实施例的一种人脸图像的修复方法的流程示意图；
图7是根据本申请第三实施例的人脸图像修复的流程示意图；
图8是根据本申请第四实施例的一种人脸修复模型的训练装置的结构示意图；
图9是根据本申请第五实施例的一种人脸图像的修复装置的结构示意图；
图10是用来实现本申请实施例的人脸修复模型的训练方法的电子设备的框图；
图11是用来实现本申请实施例的人脸图像的修复方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例提供的一种人脸修复模型的训练方法的流程示意图，本实施例用于对第一画质人脸图像进行修复的模型训练的情况，该方法可以由一种人脸修复模型的训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具体计算能力的电子设备中。如图1所示，本实施例提供的一种人脸修复模型的训练方法可以包括：
S110、获取第一画质人脸图像和第二画质人脸图像的样本对，其中，样本对的第二画质人脸图像作为监督图像。
其中，第一画质人脸图像和第二画质人脸图像为画质不同的人脸图像，第一画质相对于第二画质的感知质量更差。画质的感知质量可通过人的综合感知指标来确定，人的综合感知指标例如包括轮廓边缘清晰度、纹理细节清晰度和颜色变化梯度等。通常，第一画质人脸图像可对应至低质人脸图像，第二画质人脸图像可对应至高清人脸图像。可采集真实的高清人脸图像和对应的低质人脸图像作为样本对，低质人脸图像为人脸修复模型的输入图像，高清人脸图像为人脸修复模型输出图像的监督图像，用于在模型训练过程中监督输出图像的修复效果。
本实施例中，可选的，获取第一画质人脸图像和第二画质人脸图像的样本对包括：获取第二画质人脸图像；将第二画质人脸图像进行质量退化处理，以形成第一画质人脸图像。
可选的，先获取真实的高清人脸图像，再将高清人脸图像进行质量退化处理，得到与高清人脸图像对应的低质人脸图像，作为人脸修复模型的输入图像。可以采用上下采样退化或高斯模糊退化等方式来得到低质人脸图像。例如，图2为本申请实施例第一画质人脸图像示意图。这样设置的有益效果在于，使高清人脸图像与低质人脸图像相互对应，便于通过高清人脸图像对修复后的低质人脸图像进行监督，改善人脸修复模型的修复效果。本实施例中，对高清人脸图像的质量退化处理方式不做具体限定。
本实施例中，可选的，样本对中还一步增设了人脸图像关键点特征。
具体的，样本对中可以包括低质人脸图像、高清人脸图像和人脸图像关键点特征，人脸图像关键点特征为人脸上各关键点的坐标数组，可以表示为(x，y)的二维坐标数组。这样设置的有益效果在于，在样本对中增加人脸图像关键点特征，可以在修复人脸图像时根据人脸图像关键点特征提高人脸修复精度，改善人脸图像的修复效果。
本实施例中，可选的，获取第一画质人脸图像和第二画质人脸图像的样本对之后，还包括：将第一画质人脸图像输入关键点提取模型进行识别，以确定第一画质人脸图像中的人脸图像关键点特征。
具体的，可以根据低质人脸图像和关键点提取模型获取人脸图像关键点特征，人脸图像关键点特征为人脸图像上关键点的坐标数组，关键点提取模型是指输入一张人脸图像，将人脸的脸部轮廓、鼻子、嘴部和眼部等部位中的关键点检测出来，并输出N个坐标点，得到坐标点的位置，利用该位置可以绘制出人脸关键点图像。例如，设置关键点提取模型可以输出150个关键点坐标，将低质人脸图像输入关键点提取模型中，模型会输出150个坐标点，根据该150个坐标，可以在一张全黑的图像上绘制出150个白色点，这些白色点构建成了人脸关键点图像，可以对人脸修复提供有效的监督。这样设置的有益效果在于，通过关键点提取模型识别人脸图像关键点，避免关键点特征遗漏，提高人脸图像修复精度。
S120、将样本对的第一画质人脸图像输入人脸修复模型进行训练。
其中，将样本对中的低质人脸图像输入到人脸修复模型中，经过人脸修复模型的处理，得到清晰度高的输出图像。
本实施例中，可选的，人脸修复模型为U-net模型。U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层。优选的是，各卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入。
具体的，人脸修复模型可以是U-net模型，U-net模型中可以包括至少两级下采样卷积层和至少两级上采样卷积层，卷积层用于对每级的输入图像进行特征提取，各卷积层之间可以采用残差单元进行连接，残差单元用于计算前级卷积层输出结果的残差结果，并将残差结果作为后级卷积层的输入。图3为本申请实施例中U-net模型的结构示意图。图3中包括三个下采样卷积单元301和三个上采样卷积单元302。三个下采样卷积单元301所处理的图像清晰度逐级下降，每个下采样卷积单元301的输出结果作为下一个下采样卷积单元301的输入结果。三个上采样卷积单元302处理的图像清晰度逐级增加，每个上采样卷积单元302的输出结果作为下一个上采样卷积单元302的输入结果。
下采样卷积单元301会将输出结果传输给同分辨率的上采样卷积单元302。上采样卷积单元302对从前一级卷积单元获得的输入数据进行上采样卷积处理，然后将上采样卷积结果与下采样卷积单元301传输的输出结果进行拼接，向下一层卷积单元传输。最后一层上采样卷积单元302的输出结果作为当前U-net模型最后的输出图像。
在U-net模型中，相邻卷积单元之间设置有残差单元303，残差单元303用于处理前一级卷积单元的输出结果，根据前一级卷积单元的输出结果计算残差结果，并将残差结果输入到下一级卷积单元。例如，可以在两个下采样卷积单元301之间、下采样卷积单元301和上采样卷积单元302之间、以及两个上采样卷积单元302之间设置残差单元303。这样设置的有益效果在于，U-net网络结构具有很好的传播梯度，可以增加感受野，模型效果相比于没有下采样的网络结构能更好地完成人脸修复任务。根据U-net模型中的多个下采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像清晰度处理的准确性和效率，有利于改善人脸图像的修复效果。
本实施例中，可选的，将样本对的第一画质人脸图像输入人脸修复模型进行训练包括：将样本对中的人脸图像关键点特征作为第四个通道特征，与第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入人脸修复模型进行训练；其中，人脸图像关键点特征为人脸关键点坐标的数组。
具体的，将低质人脸图像输入到人脸修复模型中，输入数据为RGB(Red GreenBlue，红绿蓝)三通道特征。将样本对中的人脸图像关键点特征作为第四个通道特征，与低质人脸图像的三通道特征进行拼接，即将人脸关键点图像与低质人脸图像合并输入，形成四通道特征。将四通道特征输入到人脸修复模型中，利用人脸关键点的先验知识，得到输出图像。这样设置的有益效果在于，在三通道特征中添加人脸图像关键点特征作为第四个通道特征，将四通道特征整体通过当前卷积层进行处理，并输出给下一个卷积层，从而通过人脸关键点对人脸修复提供有效监督，提高人脸修复精度，改善人脸修复模型的修复效果。
S130、基于至少两个损失函数，分别计算人脸修复模型的输出图像与监督图像之间的至少两种损失关系。
其中，在模型训练的过程中，使用至少两个损失函数，分别计算人脸修复模型的输出图像与真实的高清人脸图像之间的损失关系，每个损失函数可以对应一种损失关系。
本实施例中，可选的，损失函数包括下述至少两类：均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数。
具体的，可以采用均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数中的任意两种，或采用上述三种函数作为损失函数。可以利用均方误差函数计算真实高清人脸图像与输出图像之间的损失值；利用已经训练好的感知损失函数，对真实高清人脸图像与输出高清图像进行特征提取，获取特征的感知损失值；利用生成式对抗网络的判别误差函数来判别真实高清人脸图像与输出图像之间的损失值。这样设置的有益效果在于，利用不同的损失函数，提高损失关系的计算精度，减小计算误差，实现对人脸修复模型的训练。
本实施例中，可选的，基于至少两个损失函数，分别计算人脸修复模型的输出图像与监督图像之间的至少两种损失关系之前，还包括：将至少两个损失函数进行加权组合，以确定总损失函数；相应的，基于至少两个损失函数，分别计算人脸修复模型的输出图像与监督图像之间的至少两种损失关系包括：基于总损失函数计算人脸修复模型的输出图像与监督图像之间的损失值，用于表示至少两种损失关系。
具体的，将至少两个损失函数进行加权组合，得到总损失函数，利用总损失函数计算人脸修复模型的输出图像与监督图像之间最终的损失值。例如，采用均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数作为损失函数，均方误差函数为A，基于卷积神经网络的感知损失函数为B，生成式对抗网络的判别误差函数为C，这三个函数的加权比为100:10:1，则总损失函数为100A+10B+C，实现在端对端的均方误差函数的基础上，使用已经训练好的感知损失函数进行特征提取，利用特征的感知损失进一步提升模型修复能力，与此同时，使用生成式对抗网络的判别误差函数来提升模型输出图像的“真实性”。根据总损失函数可以得到一个损失值，至少两个损失函数的损失关系由损失值表示。这样设置的有益效果在于，减小了单一损失函数计算损失关系的误差，提高人脸修复的精确性，改善人脸修复模型的修复效果，根据总损失值得到各损失函数的损失关系，减小了损失关系的计算量，提高计算效率。
S140、如果确定至少两种损失关系不满足设定收敛要求，则调整人脸修复模型的模型参数并继续进行训练，直至确定至少两种损失关系满足设定收敛要求，则确定人脸修复模型训练完成。
其中，在得到输出图像与监督图像之间的至少两种损失关系后，将损失关系分别与设定收敛要求进行比较，若损失关系满足设定收敛要求，则人脸修复模型训练完成；若损失关系不满足设定收敛要求，则根据损失关系反向调整人脸修复模型的模型参数，优化人脸修复模型并继续进行训练，直至确定损失关系满足设定收敛要求，则确定人脸修复模型训练完成。
上述申请中的一个实施例具有如下优点或有益效果：采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，基于至少两个损失函数，计算人脸修复模型的输出图像与高清人脸图像之间对应的损失关系，根据多个维度的损失关系来判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，更能反映真实的损失情况，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
第二实施例
图4是根据本申请第二实施例提供的一种人脸修复模型的训练方法的流程示意图，本实施例为上述实施例的进一步优化。如图4所示，本实施例提供的一种人脸修复模型的训练方法可以包括：
S410、获取第一画质人脸图像和第二画质人脸图像的样本对，其中，样本对的第二画质人脸图像作为监督图像。
S420、将样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
其中，在得到低质人脸图像后，将低质人脸图像输入到去压缩模型中，对低质人脸图像进行压缩噪声的去除处理，去压缩模型可以去除低质人脸图像中的块状噪声，得到归一化后的低质人脸图像，减少低质人脸图像上无关信息对人脸修复的影响，改善人脸修复模型的修复效果。
本实施例中，可选的，将样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理之前，还包括：获取第二画质图像，并将第二画质图像进行压缩退化处理，以获得退化第一画质图像；将退化第一画质图像和第二画质图像作为去压缩样本对，输入去压缩模型进行训练。
具体的，退化第一画质图像可对应为退化低质图像，第二画质图像可对应为高清图像。采用退化低质图像和真实的高清图像对去压缩模型进行训练，退化低质图像由高清图像进行压缩退化处理得到。去压缩模型可以采用基于VDSR(超深分辨率网络，Very DeepSuper-Resolution Network)结构的模型，将退化低质图像和真实的高清图像作为样本对，进行端对端的训练，将根据退化低质图像所得到的高清输出图像与真实的高清图像进行约束，完成去压缩模型的训练。这样设置的有益效果在于，由高清图像处理得到退化低质图像来训练去压缩模型，保证去压缩模型的去压缩效果，进一步提高人脸修复效率。
本实施例中，可选的，获取第二画质图像，并将第二画质图像进行压缩退化处理，以获得退化第一画质图像包括：对第二画质视频采用设定值的固定码率系数进行压缩处理；从第二画质视频中抽取设定数量的帧作为第二画质图像，并从压缩处理后的视频中抽取设定数量的对应帧作为退化第一画质图像。
具体的，第二画质视频可以是高清视频，训练去压缩模型的高清图像样本可以从高清视频中获取，采用设定值的CRF(Constant Rate Factor，固定码率系数)，例如，采用CRF45码率，对高清视频进行压缩处理。从高清视频中抽取设定数量的帧作为高清图像的样本，从压缩处理后的视频中抽取设定数量的对应帧作为退化低质图像的样本。例如，选取高清视频的第一帧图像作为高清图像，则从压缩处理后的视频中抽取第一帧图像作为与高清图像对应的退化低质图像。根据相互对应的退化低质图像和高清图像，对去压缩模型进行训练。这样设置的有益效果在于，保证退化低质图像的退化质量，以及与高清图像的对应关系，实现去压缩模型的去压缩效果，利用去压缩模型可以将样本中的低质人脸图像和真实的低质人脸图像的数据分布拉近，提高人脸修复模型在真实线上数据的表现能力。
S430、将样本对的第一画质人脸图像输入人脸修复模型进行训练。
S440、基于至少两个损失函数，分别计算人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系。
S450、如果确定至少两种损失关系不满足设定收敛要求，则调整人脸修复模型的模型参数并继续进行训练，直至确定至少两种损失关系满足设定收敛要求，则确定人脸修复模型训练完成。
其中，将去压缩后的低质人脸图像输入到人脸修复模型中，根据损失函数得出低质人脸图像与高清人脸图像的损失关系，将损失关系与设定收敛要求进行比较，判断人脸修复模型是否训练完成。图5为人脸修复模型训练的流程示意图。先训练去压缩伪影模型，即去压缩模型，再训练人脸关键点检测模型，即关键点提取模型。将去压缩模型与关键点提取模型的输出结果作为人脸修复模型的输入，进行训练数据集的构建。在训练完成关键点提取模型后，设计人脸修复模型结构和损失函数，将事先构建的训练数据集输入到设计好的人脸修复模型中进行训练，根据训练结果对人脸修复模型进行优化。
上述申请中的一个实施例具有如下优点或有益效果：采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，对第一画质人脸图像进行去压缩处理，得到归一化数据的第一画质人脸图像，使样本中的第一画质人脸图像和真实的第一画质人脸图像的数据分布拉近，提高人脸修复模型在真实线上数据的表现能力。基于至少两个损失函数，计算人脸修复模型的输出图像与高清人脸图像之间的至少两种损失关系，根据损失关系判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
第三实施例
图6是根据本申请第三实施例提供的一种人脸图像的修复方法的流程示意图，本实施例用于根据第一画质人脸图像生成第二画质人脸图像的情况，该方法可以由一种人脸图像的修复装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具备计算能力的电子设备中。如图6所示，本实施例提供的一种人脸图像的修复方法可以包括：
S610、获取待修复第一画质人脸图像。
其中，待修复第一画质人脸图像可以是待修复低质图像，待修复低质图像为输入图像。
S620、将待修复第一画质人脸图像输入人脸修复模型进行处理，其中，人脸修复模型采用上述任意实施例的人脸修复模型的训练方法进行训练而得。
其中，将待修复低质人脸图像输入到预先训练的人脸修复模型中。
本实施例中，可选的，将待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：将待修复第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
具体的，将待修复低质人脸图像输入到预先训练的去压缩模型中，去压缩模型对待修复低质人脸图像进行压缩噪声的去除处理，再将去压缩后的待修复低质人脸图像输入到人脸修复模型中。这样设置的有益效果在于，通过去压缩模型对人脸修复模型在训练和使用时的输入图像进行统一的前处理，使去压缩后的待修复低质人脸图像与训练样本中去压缩后的低质人脸图像的数据分布相近，提高人脸修复模型在真实线上数据的表现能力，改善人脸图像的修复效果。
本实施例中，可选的，去压缩模型采用第一画质图像和第二画质图像的去压缩样本对训练而得，且去压缩样本对中的第一画质图像采用第二画质图像进行压缩退化处理而得。
具体的，由真实的高清图像处理得到退化低质图像来训练去压缩模型，利用高清图像和退化低质图像进行端对端训练，将去压缩模型的高清输出图像与真实的高清图像进行约束，提高去压缩模型的去压缩效果，进一步提高人脸修复效率。
本实施例中，可选的，将待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：将待修复第一画质人脸图像输入关键点提取模型进行人脸图像关键点特征的识别；相应的，将待修复第一画质人脸图像输入人脸修复模型进行处理包括：将人脸图像关键点特征与待修复第一画质人脸图像，一并输入人脸修复模型进行处理。
具体的，将待修复低质人脸图像输入到预先训练的关键点提取模型中，对待修复低质人脸图像进行人脸图像关键点特征的识别，得到人脸图像关键点特征。将人脸图像关键点特征与待修复低质人脸图像作为输入数据，一并输入到人脸修复模型中，对待修复低质人脸图像进行处理。这样设置的有益效果在于，人脸修复模型在工作时可以考虑到人脸关键点，提高人脸修复精度，改善人脸修复模型的修复效果。
本实施例中，可选的，将人脸图像关键点特征与待修复第一画质人脸图像，一并输入人脸修复模型进行处理包括：将人脸图像关键点特征作为第四个通道特征，与待修复第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入人脸修复模型进行处理；其中，人脸图像关键点特征为人脸关键点坐标的数组。
具体的，在得到人脸图像关键点特征后，将人脸图像关键点特征与待修复低质人脸图像的三通道特征合并为四通道特征，并输入到人脸修复模型中，提高人脸图像修复的计算精度和计算效率，改善人脸图像的修复效果。
S630、获取人脸修复模型输出的第二画质人脸图像。
其中，图7为人脸图像修复的流程示意图。待修复低质图像先输入到去压缩伪影模型中，即输入到去压缩模型中。去压缩模型将输出图像发送给人脸关键点检测模型，即关键点提取模型，并发送给人脸修复模型。关键点提取模型根据识别出来的人脸关键点绘制人脸关键点图像，发送给人脸修复模型。人脸修复模型接收到去压缩模型的输出图像和关键点提取模型的人脸关键点图像，将去压缩模型的输出图像和人脸关键点图像进行拼接，根据拼接后的四通道特征，输出高清人脸图像。
上述申请中的一个实施例具有如下优点或有益效果：将待修复第一画质人脸图像输入人脸修复模型，得到第二画质人脸图像，减少人脸图像修复的操作步骤，提高人脸图像修复效率，且人脸修复模型经训练得出，有效改善了人脸图像的修复效果。
第四实施例
图8是根据本申请第四实施例提供的一种人脸修复模型的训练装置的结构示意图，可执行本申请实施例所提供的人脸修复模型的训练方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置800可以包括：
样本对获取模块801，用于获取第一画质人脸图像和第二画质人脸图像的样本对，其中，样本对的第二画质人脸图像作为监督图像；
第一画质人脸图像输入模块802，用于将样本对的第一画质人脸图像输入人脸修复模型进行训练；
损失关系计算模块803，用于基于至少两个损失函数，分别计算人脸修复模型的输出图像与监督图像之间的至少两种损失关系；
人脸修复模型训练模块804，用于如果确定至少两种损失关系不满足设定收敛要求，则调整人脸修复模型的模型参数并继续进行训练，直至确定至少两种损失关系满足设定收敛要求，则确定人脸修复模型训练完成。
可选的，该装置还包括：
总损失函数确定模块，用于将至少两个损失函数进行加权组合，以确定总损失函数；
相应的，损失关系计算模块803，具体用于：
基于总损失函数计算人脸修复模型的输出图像与监督图像之间的损失值，用于表示所述至少两种损失关系。
可选的，损失函数包括下述至少两类：均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数。
可选的，该装置还包括：
第一画质人脸图像去压缩模块，用于将样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
可选的，该装置还包括：
退化第一画质图像获取模块，用于获取第二画质图像，并将第二画质图像进行压缩退化处理，以获得退化第一画质图像；
去压缩模型训练模块，用于将退化第一画质图像和第二画质图像作为去压缩样本对，输入去压缩模型进行训练。
可选的，退化第一画质图像获取模块，具体用于：
对第二画质视频采用设定值的固定码率系数进行压缩处理；
从第二画质视频中抽取设定数量的帧作为第二画质图像，并从压缩处理后的视频中抽取设定数量的对应帧作为退化第一画质图像。
可选的，样本对获取模块801，具体用于：
获取第二画质人脸图像；
将第二画质人脸图像进行质量退化处理，以形成第一画质人脸图像。
可选的，样本对中还包括人脸图像关键点特征。
可选的，第一画质人脸图像输入模块802，具体用于：
将样本对中的人脸图像关键点特征作为第四个通道特征，与第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入人脸修复模型进行训练；其中，人脸图像关键点特征为人脸关键点坐标的数组。
可选的，该装置还包括：
关键点特征确定模块，用于将第一画质人脸图像输入关键点提取模型进行识别，以确定第一画质人脸图像中的人脸图像关键点特征。
可选的，人脸修复模型为U-net模型，U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层，各卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入输出。
上述申请中的一个实施例具有如下优点或有益效果：采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，基于至少两个损失函数，计算人脸修复模型的输出图像与高清人脸图像之间的至少两种损失关系，根据损失关系判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
第五实施例
图9是根据本申请第五实施例提供的一种人脸图像的修复装置的结构示意图，可执行本申请实施例所提供的人脸图像的修复方法，具备执行方法相应的功能模块和有益效果。如图9所示，该装置900可以包括：
第一画质人脸图像获取模块901，用于获取待修复第一画质人脸图像；
第一画质人脸图像处理模块902，用于将待修复第一画质人脸图像输入人脸修复模型进行处理，其中，人脸修复模型采用第四实施例的人脸修复模型的训练装置；
第二画质人脸图像获取模块903，用于获取人脸修复模型输出的第二画质人脸图像。
可选的，该装置还包括：
待修复第一画质人脸图像去压缩模块，用于将待修复第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
可选的，去压缩模型采用第一画质图像和第二画质图像的去压缩样本对训练而得，且去压缩样本对中的第一画质图像采用第二画质图像进行压缩退化处理而得。
可选的，该装置还包括：
关键点特征识别模块，用于将待修复第一画质人脸图像输入关键点提取模型进行人脸图像关键点特征的识别；
相应的，第一画质人脸图像处理模块902，具体用于：
将人脸图像关键点特征与待修复第一画质人脸图像，一并输入人脸修复模型进行处理。
可选的，第一画质人脸图像处理模块902，还具体用于：
将人脸图像关键点特征作为第四个通道特征，与待修复第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入人脸修复模型进行处理；其中，人脸图像关键点特征为人脸关键点坐标的数组。
上述申请中的一个实施例具有如下优点或有益效果：将待修复低质人脸图像输入人脸修复模型，得到高清人脸图像，减少人脸图像修复的操作步骤，提高人脸图像修复效率，且人脸修复模型经训练得出，有效改善了人脸图像的修复效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的人脸修复模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸修复模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸修复模型的训练方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸修复模型的训练方法对应的程序指令/模块。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸修复模型的训练方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸修复模型的训练方法的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至人脸修复模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸修复模型的训练方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与人脸修复模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，采用第二画质人脸图像对第一画质人脸图像的修复结果进行监督，基于至少两个损失函数，计算人脸修复模型的输出图像与第二画质人脸图像之间的至少两种损失关系，根据损失关系判断人脸修复模型是否训练完成。减小了人脸修复模型的输出图像与第二画质人脸图像之间的差距，提高人脸修复的精确性和效率，改善人脸修复模型的修复效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图11所示，是根据本申请实施例的人脸图像的修复方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1101为例。
存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸图像的修复方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸图像的修复方法。
存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸图像的修复方法对应的程序指令/模块。处理器1101通过运行存储在存储器1102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸图像的修复方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸图像的修复方法的电子设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至人脸图像的修复方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸图像的修复方法的电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。
输入装置1103可接收输入的数字或字符信息，以及产生与人脸图像的修复方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，将待修复第一画质人脸图像输入人脸修复模型，得到第二画质人脸图像，减少人脸图像修复的操作步骤，提高人脸图像修复效率，且人脸修复模型经训练得出，有效改善了人脸图像的修复效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种人脸修复模型的训练方法，其特征在于，包括：
获取第一画质人脸图像和第二画质人脸图像的样本对，其中，所述样本对的第二画质人脸图像作为监督图像；
将所述样本对的第一画质人脸图像输入人脸修复模型进行训练；其中，所述人脸修复模型为U-net模型，所述U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层，各所述卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入；
基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系；
如果确定所述至少两种损失关系不满足设定收敛要求，则调整所述人脸修复模型的模型参数并继续进行训练，直至确定所述至少两种损失关系满足设定收敛要求，则确定所述人脸修复模型训练完成。
2.根据权利要求1所述的方法，其特征在于，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系之前，还包括：
将所述至少两个损失函数进行加权组合，以确定总损失函数；
相应的，基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系包括：
基于所述总损失函数计算所述人脸修复模型的输出图像与所述监督图像之间的损失值，于表示所述至少两种损失关系。
3.根据权利要求1或2所述的方法，其特征在于，所述损失函数包括下述至少两类：均方误差函数、基于卷积神经网络的感知损失函数、以及生成式对抗网络的判别误差函数。
4.根据权利要求1所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练之前，还包括：
将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
5.根据权利要求4所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理之前，还包括：
获取第二画质图像，并将所述第二画质图像进行压缩退化处理，以获得退化第一画质图像；
将所述退化第一画质图像和所述第二画质图像作为去压缩样本对，输入去压缩模型进行训练。
6.根据权利要求5所述的方法，其特征在于，获取第二画质图像，并将所述第二画质图像进行压缩退化处理，以获得退化第一画质图像包括：
对第二画质视频采用设定值的固定码率系数进行压缩处理；
从所述第二画质视频中抽取设定数量的帧作为所述第二画质图像，并从压缩处理后的视频中抽取设定数量的对应帧作为所述退化第一画质图像。
7.根据权利要求1或4所述的方法，其特征在于，获取第一画质人脸图像和第二画质人脸图像的样本对包括：
获取第二画质人脸图像；
将所述第二画质人脸图像进行质量退化处理，以形成所述第一画质人脸图像。
8.根据权利要求1所述的方法，其特征在于，所述样本对中还包括人脸图像关键点特征。
9.根据权利要求8所述的方法，其特征在于，将所述样本对的第一画质人脸图像输入人脸修复模型进行训练包括：
将所述样本对中的人脸图像关键点特征作为第四个通道特征，与第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入所述人脸修复模型进行训练；其中，所述人脸图像关键点特征为人脸关键点坐标的数组。
10.根据权利要求8所述的方法，其特征在于，获取第一画质人脸图像和第二画质人脸图像的样本对之后，还包括：
将所述第一画质人脸图像输入关键点提取模型进行识别，以确定所述第一画质人脸图像中的人脸图像关键点特征。
11.一种人脸图像的修复方法，其特征在于，包括：
获取待修复第一画质人脸图像；
将所述待修复第一画质人脸图像输入人脸修复模型进行处理，其中，所述人脸修复模型采用权利要求1-10任一项所述的人脸修复模型的训练方法进行训练而得；
获取所述人脸修复模型输出的第二画质人脸图像。
12.根据权利要求11所述的方法，其特征在于，将所述待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：
将所述待修复第一画质人脸图像输入去压缩模型进行压缩噪声的去除处理。
13.根据权利要求12所述的方法，其特征在于，所述去压缩模型采用第一画质图像和第二画质图像的去压缩样本对训练而得，且所述去压缩样本对中的第一画质图像采用所述第二画质图像进行压缩退化处理而得。
14.根据权利要求11-13任一所述的方法，其特征在于，将所述待修复第一画质人脸图像输入人脸修复模型进行处理之前，还包括：
将所述待修复第一画质人脸图像输入关键点提取模型进行人脸图像关键点特征的识别；
相应的，将所述待修复第一画质人脸图像输入人脸修复模型进行处理包括：
将所述人脸图像关键点特征与所述待修复第一画质人脸图像，一并输入所述人脸修复模型进行处理。
15.根据权利要求14所述的方法，其特征在于，将所述人脸图像关键点特征与所述待修复第一画质人脸图像，一并输入所述人脸修复模型进行处理包括：
将所述人脸图像关键点特征作为第四个通道特征，与所述待修复第一画质人脸图像的三通道特征进行拼接，将拼接后的四通道特征输入所述人脸修复模型进行处理；其中，所述人脸图像关键点特征为人脸关键点坐标的数组。
16.一种人脸修复模型的训练装置，其特征在于，包括：
样本对获取模块，用于获取第一画质人脸图像和第二画质人脸图像的样本对，其中，所述样本对的第二画质人脸图像作为监督图像；
第一画质人脸图像输入模块，用于将所述样本对的第一画质人脸图像输入人脸修复模型进行训练；其中，所述人脸修复模型为U-net模型，所述U-net模型包括至少两级下采样卷积层和至少两级上采样卷积层，各所述卷积层之间采用残差单元连接，用于计算前级卷积层输出结果的残差结果并作为后级卷积层的输入；
损失关系计算模块，用于基于至少两个损失函数，分别计算所述人脸修复模型的输出图像与所述监督图像之间的至少两种损失关系；
人脸修复模型训练模块，用于如果确定所述至少两种损失关系不满足设定收敛要求，则调整所述人脸修复模型的模型参数并继续进行训练，直至确定所述至少两种损失关系满足设定收敛要求，则确定所述人脸修复模型训练完成。
17.一种人脸图像的修复装置，其特征在于，包括：
第一画质人脸图像获取模块，用于获取待修复第一画质人脸图像；
第一画质人脸图像处理模块，用于将所述待修复第一画质人脸图像输入人脸修复模型进行处理，其中，所述人脸修复模型采用权利要求16所述的人脸修复模型的训练装置；
第二画质人脸图像获取模块，用于获取所述人脸修复模型输出的第二画质人脸图像。
18.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的人脸修复模型的训练方法或权利要求11-15中任一项所述的人脸图像的修复方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的人脸修复模型的训练方法或权利要求11-15中任一项所述的人脸图像的修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280026.1A CN111507914B (zh) | 2020-04-10 | 2020-04-10 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280026.1A CN111507914B (zh) | 2020-04-10 | 2020-04-10 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507914A CN111507914A (zh) | 2020-08-07 |
| CN111507914B true CN111507914B (zh) | 2023-08-08 |
Family
ID=71869275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010280026.1A Active CN111507914B (zh) | 2020-04-10 | 2020-04-10 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507914B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
| CN113128389A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
| CN113177892A (zh) * | 2021-04-29 | 2021-07-27 | 北京百度网讯科技有限公司 | 生成图像修复模型的方法、设备、介质及程序产品 |
| CN113222144B (zh) * | 2021-05-31 | 2022-12-27 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN113362229B (zh) * | 2021-07-06 | 2022-07-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN113284073B (zh) * | 2021-07-08 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种图像修复方法、装置及存储介质 |
| CN113763268B (zh) * | 2021-08-26 | 2023-03-28 | 中国科学院自动化研究所 | 人脸图像盲修复方法及系统 |
| CN113688752B (zh) * | 2021-08-30 | 2024-02-02 | 厦门美图宜肤科技有限公司 | 人脸色素检测模型训练方法、装置、设备及存储介质 |
| CN116309160B (zh) * | 2023-03-10 | 2024-04-12 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN107578017A (zh) * | 2017-09-08 | 2018-01-12 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN107633218A (zh) * | 2017-09-08 | 2018-01-26 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN107958246A (zh) * | 2018-01-17 | 2018-04-24 | 深圳市唯特视科技有限公司 | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 |
| CN108416343A (zh) * | 2018-06-14 | 2018-08-17 | 四川远鉴科技有限公司 | 一种人脸图像识别方法及装置 |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| CN108615228A (zh) * | 2018-05-09 | 2018-10-02 | 上海理工大学 | 基于混合神经网络的人脸图像补全方法 |
| CN108776904A (zh) * | 2018-05-22 | 2018-11-09 | 深圳壹账通智能科技有限公司 | 一种广告消息的展示方法及其设备 |
| CN108898087A (zh) * | 2018-06-22 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 人脸关键点定位模型的训练方法、装置、设备及存储介质 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109902767A (zh) * | 2019-04-11 | 2019-06-18 | 网易（杭州）网络有限公司 | 模型训练方法、图像处理方法及装置、设备和介质 |
| CN109961407A (zh) * | 2019-02-12 | 2019-07-02 | 北京交通大学 | 基于人脸相似性的人脸图像修复方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064712B2 (en) * | 2007-01-24 | 2011-11-22 | Utc Fire & Security Americas Corporation, Inc. | System and method for reconstructing restored facial images from video |
| US20100315424A1 (en) * | 2009-06-15 | 2010-12-16 | Tao Cai | Computer graphic generation and display method and system |
-
2020
- 2020-04-10 CN CN202010280026.1A patent/CN111507914B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN107578017A (zh) * | 2017-09-08 | 2018-01-12 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN107633218A (zh) * | 2017-09-08 | 2018-01-26 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN107958246A (zh) * | 2018-01-17 | 2018-04-24 | 深圳市唯特视科技有限公司 | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| CN108615228A (zh) * | 2018-05-09 | 2018-10-02 | 上海理工大学 | 基于混合神经网络的人脸图像补全方法 |
| CN108776904A (zh) * | 2018-05-22 | 2018-11-09 | 深圳壹账通智能科技有限公司 | 一种广告消息的展示方法及其设备 |
| CN108416343A (zh) * | 2018-06-14 | 2018-08-17 | 四川远鉴科技有限公司 | 一种人脸图像识别方法及装置 |
| CN108898087A (zh) * | 2018-06-22 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 人脸关键点定位模型的训练方法、装置、设备及存储介质 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109961407A (zh) * | 2019-02-12 | 2019-07-02 | 北京交通大学 | 基于人脸相似性的人脸图像修复方法 |
| CN109902767A (zh) * | 2019-04-11 | 2019-06-18 | 网易（杭州）网络有限公司 | 模型训练方法、图像处理方法及装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| Christian Ledig等."Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network".《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》.2017,第 4681-4690页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507914A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507914B (zh) | 人脸修复模型的训练方法、修复方法、装置、设备和介质 | |
| EP3872766A2 (en) | Method and device for processing image, related electronic device and storage medium | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| CN110648294A (zh) | 图像修复方法、装置及电子设备 | |
| JP2023531350A (ja) | サンプル画像を増分する方法、画像検出モデルの訓練方法及び画像検出方法 | |
| CN116228867B (zh) | 位姿确定方法、装置、电子设备、介质 | |
| CN111553840B (zh) | 图像超分辨的模型训练和处理方法、装置、设备和介质 | |
| CN111768466B (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN112967196A (zh) | 图像修复方法及装置、电子设备和介质 | |
| CN112561879A (zh) | 模糊度评价模型训练方法、图像模糊度评价方法及装置 | |
| CN111523467B (zh) | 人脸跟踪方法和装置 | |
| CN112967355A (zh) | 图像填充方法及装置、电子设备和介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| CN111814636A (zh) | 一种安全带检测方法、装置、电子设备及存储介质 | |
| CN113962845B (zh) | 图像处理方法、图像处理装置、电子设备以及存储介质 | |
| CN116309158A (zh) | 网络模型的训练方法、三维重建方法、装置、设备和介质 | |
| US20230115765A1 (en) | Method and apparatus of transferring image, and method and apparatus of training image transfer model | |
| CN114724144B (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
| CN110738261A (zh) | 图像分类和模型训练方法、装置、电子设备及存储介质 | |
| KR102612354B1 (ko) | 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 | |
| CN111967299B (zh) | 无人机巡检方法、装置、设备及存储介质 | |
| KR20220146663A (ko) | 비디오 복구 방법, 장치, 기기, 매체 및 컴퓨터 프로그램 | |
| CN112529154A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |