CN112581370A - 人脸图像的超分辨率重建模型的训练及重建方法 - Google Patents

人脸图像的超分辨率重建模型的训练及重建方法 Download PDF

Info

Publication number
CN112581370A
CN112581370A CN202011582052.6A CN202011582052A CN112581370A CN 112581370 A CN112581370 A CN 112581370A CN 202011582052 A CN202011582052 A CN 202011582052A CN 112581370 A CN112581370 A CN 112581370A
Authority
CN
China
Prior art keywords
super
image
resolution reconstruction
reconstruction model
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011582052.6A
Other languages
English (en)
Inventor
姚佳丽
胡旭阳
李瑮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202011582052.6A priority Critical patent/CN112581370A/zh
Publication of CN112581370A publication Critical patent/CN112581370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及人脸图像的超分辨率重建模型的训练及重建方法，所述训练方法包括获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。

Description

人脸图像的超分辨率重建模型的训练及重建方法
技术领域
本发明涉及图像处理技术领域，具体涉及人脸图像的超分辨率重建模型的训练及重建方法。
背景技术
在一些人员复杂的场所中，比如游乐场、大型商场等，容易发生违法事件，因此经常需要从监控图像中查找一些可能具有特殊身份的人。但由于环境光照不稳定、行人姿态表情多样、与摄像头之间的距离比较远、摄像头成像分辨率的局限性等客观原因，会导致图像中的行人无法被准确识别。人脸作为人身份特征的最敏感区域，成为对特定身份识别的最关键部位，因此，如何将低分辨率、低清晰度、带有噪声和光污染后的人脸重建出高分辨率、高清晰度的图像，以辅助进一步的人脸识别和分析任务，成为监控领域中人脸图像的超分辨率(Face Super-resolution，简称为Face SR)重建的目标。
现有图像的超分辨率重建方法一般是使用插值算法对原始图像进行上采样，从而获得分辨率放大后的图像。这样操作之后得到的图像的分辨率虽然被放大了，但是原始图像上存在的噪声也被放大了，反而不利于后续的任务。另外，目前部分方案可以做到既能提升图像的分辨率，也能去除原始图像中的噪声，但是大部分是针对通用场景的图像，比如自然风景图像。然而由于人脸区域带有很明显的类别特征，若将用于通用场景图像的超分辨率重建方法直接应用到人脸图像中其重建效果甚微。
发明内容
有鉴于此，本发明实施例提供了一种人脸图像的超分辨率重建模型的训练及重建方法，以解决将通用场景下的超分辨率重建方法直接应用到人脸图像中重建效率甚微的问题。
根据第一方面，本发明实施例提供了一种人脸图像的超分辨率重建模型的训练方法，包括：
获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；
计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；
根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，在对超分辨率重建模型的训练过程中，结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。
结合第一方面，在第一方面第一实施方式中，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，包括：
获取所述第二样本图像的亮度重建数据，所述亮度重建数据为所述超分辨重建模型对所述第二样本图像的亮度数据进行重建得到的；
基于所述第二样本图像的亮度重建数据以及所述第一样本图像的亮度数据，确定像素损失；
利用所述像素损失以及所述人脸先验信息损失，确定联合损失；
基于所述联合损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，将人脸先验信息损失与像素损失结合得到联合损失，并用联合损失对模型进行训练，保证了训练得到的重建模型对人脸重建的效果。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述联合损失采用如下公式计算得到：
lsr＝β1l1+β2l2，
Figure BDA0002866111330000021
Figure BDA0002866111330000022
其中，l1为所述像素损失，l2为所述人脸先验信息损失，β1、β2为对应的权重，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，
Figure BDA0002866111330000031
为所述第一样本图像的亮度数据，Ilr为所述第二样本图像，
Figure BDA0002866111330000032
为所述第二样本图像的亮度重建数据，Isr为所述第一重建图像，
Figure BDA0002866111330000033
为所述第一样本图像的人脸先验信息，
Figure BDA0002866111330000034
为所述第一重建图像的人脸先验信息。
结合第一方面，在第一方面第三实施方式中，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，还包括：
基于所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标教师超分辨率重建模型；
对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型；
对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，通过使用目标教师超分辨率重建模型训练目标学生超分辨率重建模型，既能够仅可能保持接近目标教师超分辨率重建模型的超分效果，由于目标学生超分辨率重建模型的网络参数量小于目标教师超分辨率重建模型的网络参数量，从而又提升了落地应用的可能性。
结合第一方面第三实施方式，在第一方面第四实施方式中，所述对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型，包括：
利用所述目标教师超分辨率重建模型，确定所述初始学生超声分辨率重建模型的网络结构；
确定所述初始学生超分辨率重建模型中各个卷积层的卷积核通道数；
基于确定出的卷积核通道数，从所述目标教师超分辨率重建模型对应卷积层中提取相应卷积核通道数的参数，以对所述确定出的卷积核通道数的参数进行初始化；
初始化所述初始学生超分辨率重建模型中其他层的参数，以确定所述初始学生超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，由于影响模型推断速度的各个因素中卷积核通道数的影响较大，因此，通过对卷积核通道数的参数量进行压缩，既能够减少学生超分辨率重建模型的网络参数量，又可以提升训练得到的目标学生超分辨率重建模型的超分处理效率。
结合第一方面第四实施方式，在第一方面第五实施方式中，所述对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型，包括：
获取第三样本图像以及所述第三样本图像对应的第四样本图像，所述第三样本图像的分辨率高于所述第四样本图像的分辨率；
将所述第四样本图像分别输入所述目标教师超分辨率重建模型以及所述初始学生超分辨率重建模型中，分别进行特征提取，以得到第一特征以及第二特征；
利用所述第一特征以及所述第二特征，确定特征损失；
利用所述第三样本图像以及所述初始学生超分辨率重建模型输出的第二重建图像，确定重建损失；
基于所述特征损失以及所述重建损失，对所述初始学生超分辨率重建模型的参数进行调整，以确定目标学生超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，将特征损失与重建损失结合对初始学生超分辨率重建模型进行训练，可以保证目标学生超分辨率重建模型的超分重建效果。
结合第一方面，或第一方面第一实施方式至第五实施方式中任一项，在第一方面第六实施方式中，所述将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像，包括：
提取所述第二样本图像的亮度数据、色彩数据以及饱和度数据；
对将所述第二样本图像的亮度数据输入所述超分辨率重建模型进行处理，得到所述第二样本图像的亮度重建数据；
对所述第二样本图像的色彩数据以及饱和度数据进行上采样处理，得到色彩重建数据以及饱和度重建数据；
基于所述亮度重建数据、所述色彩重建数据以及所述饱和度重建数据，确定所述第一重建图像。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，利用第二样本图像的亮度数据进行模型训练，可以减少颜色对人脸细节重建的影响。
结合第一方面，在第一方面第七实施方式中，所述计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失，包括：
分别计算所述第一重建图像以及所述第一样本图像的人脸关键点热力图；
基于计算得到的人脸关键点热力图，确定所述人脸先验信息损失。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，通过人脸先验信息来恢复人脸上立体的边缘和形状，减少超分后人脸的变形和模糊性，同时加上人脸结构信息也有利于提升人脸身份保持的精度，因此，利用人脸关键点热力图确定人脸先验信息损失，保证后续训练得到的目标学生超分辨率重建模型的超分重建效果。
结合第一方面，在第一方面第八实施方式中，所述获取第一样本图像以及所述第一样本图像对应的第二样本图像，包括：
获取所述第一样本图像；
将所述第一样本图像输入图像生成网络中，确定所述第二样本图像。
本发明实施例提供的人脸图像的超分辨率重建模型的训练方法，通过对高分辨率图像通过学习的方式获得对应的低分辨率样本图像，这种方式经济有效，大大降低了人力成本和时间消耗，而且通过这种方式获得的样本图像训练得到的目标超分辨率重建模型可以提升其在真实低分辨率人脸图像上的泛化性能。
根据第二方面，本发明实施例还提供了一种人脸图像的超分辨率重建方法，包括：
获取待处理图像；
将所述待处理图像输入目标超分辨率重建模型中，得到目标重建图像，所述目标超分辨率重建模型是根据本发明第一方面或第一方面任一项实施方式中所述的人脸图像的超分辨率重建模型的训练方法训练得到的。
本发明实施例提供的人脸图像的超分辨率重建方法，利用上述实施方式中训练得到的目标超分辨率重建模型对待处理图像进行人脸图像的重建，可以达到较好的重建效果。
结合第二方面，在第二方面第一实施方式中，所述重建方法还包括：
对所述目标重建图像进行目标识别，确定所述待处理图像的识别信息；
或，
将所述目标重建图像与所述待处理图像进行融合，确定目标图像。
本发明实施例提供的人脸图像的超分辨率重建方法，在得到目标重建图像的基础上，可以进行目标识别以及图像融合处理，相应得到准确的识别信息以及目标图像。
根据第三方面，本发明实施例还提供了一种人脸图像的超分辨率重建模型的训练装置，包括：
第一获取模块，用于获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
第一重建模块，用于将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；
计算模块，用于计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；
更新模块，用于根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
本发明实施例提供的人脸图像的超分辨率重建模型的训练装置，在对超分辨率重建模型的训练过程中，结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。
根据第四方面，本发明实施例还提供了一种人脸图像的超分辨率重建装置，包括：
第二获取模块，用于获取待处理图像；
第二重建模块，用于将所述待处理图像输入目标超分辨率重建模型中，得到目标重建图像，所述目标超分辨率重建模型是根据本发明第一方面，或第一方面任一项实施方式中所述的人脸图像的超分辨率重建模型的训练方法训练得到的。
本发明实施例提供的人脸图像的超分辨率重建装置，利用上述实施方式中训练得到的目标超分辨率重建模型对待处理图像进行人脸图像的重建，可以达到较好的重建效果。
根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的人脸图像的超分辨率重建模型的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的人脸图像的超分辨率重建方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的人脸图像的超分辨率重建模型的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的人脸图像的超分辨率重建方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图；
图2是根据本发明实施例的超分辨率重建模型的结构示意图；
图3是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图；
图4是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图；
图5是根据本发明实施例的图像生成网络的结构示意图；
图6是根据本发明实施例的图像生成网络的网络架构示意图；
图7是根据本发明实施例的超分辨率重建模型的训练流程示意图；
图8是根据本发明实施例的人脸图像的超分辨率重建方法的流程图；
图9是根据本发明实施例的人脸图像的超分辨率重建模型的训练装置的结构框图；
图10是根据本发明实施例的人脸图像的超分辨率重建装置的结构框图；
图11是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明实施例，提供了一种人脸图像的超分辨率重建模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种人脸图像的超分辨率重建模型的训练方法，可用于电子设备，如监控设备、电脑、手机、平板电脑等，图1是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取第一样本图像以及第一样本图像对应的第二样本图像。
其中，所述第一样本图像的分辨率高于所述第二样本图像的分辨率。
第一样本图像为高分辨率的人脸图像，第二样本图像为与第一样本图像对应的低分辨率的人脸图像。可以通过电子设备获取到高分辨率的人脸图像，即获取第一样本图像，再利用图像生成网络对第一样本图像进行学习，生成低分辨率的人脸图像，从而得到第二样本图像。
对于第二样本图像的获取，可以是电子设备训练超分辨重建模型时，在线生成的；也可以是电子设备离线生成第二样本图像，得到第一训练图像集以及对应的第二训练图像集，在需要训练超分辨率重建模型时，分别从第一图像集以及第二训练图像集中提取出相应的样本图像，即可得到第一样本图像以及第二样本图像。
在实施例在电子设备获取第一样本图像以及第二样本图像的具体方式及时机并不做任何限制，具体可以根据实际情况进行相应的设置。
S12，将第二样本图像输入超分辨率重建模型中，得到第一重建图像。
超分辨率重建模型的输入为低分辨率图像，输出为对低分辨率图像重建后的重建图像。其中，超分辨率重建模型的具体结构细节在本实施例中并不做任何限制，具体可以根据需求进行相应的选择即可。
例如，图2示出了超分辨率重建模型的结构示意图。所述的超分辨率重建模型包括16个残差模块(即，ResBlock块)、卷积层(Conv层)、激活函数层(lRelu层)以及亚像素卷积层(subpixel convolution层)，每个残差模块包括卷积层、激活函数层以及卷积层。
关于该步骤具体将在下文中进行详细描述。
S13，计算第一重建图像以及第一样本图像的先验信息，并确定人脸先验信息损失。
第一样本图像的先验信息可以是人脸关键点热力图，也可以是人脸分析图等等，在此对先验信息的具体类型并不限制。其中，与通用场景下的图像不同的是，人脸天生的带有一些先验信息，利用这些先验信息来恢复人脸上立体的边缘和形状，减少超分后人脸的变形和模糊性，可以提高超分效果。
其中，第一样本图像的先验信息可以是事先存储在电子设备中的，也可以是电子设备从外界获取到的等等，具体可以根据实际情况进行相应的选择。电子设备在上述S12中得到第一重建图像之后，可以通过对第一重建图像进行先验信息的计算，并比较第一重建图像的先验信息与第一样本图像的先验信息的差异，从而确定出人脸先验信息损失。
S14，根据人脸先验信息损失，对超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
电子设备在确定出人脸先验信息损失之后，可以直接利用人脸先验信息损失对超分辨率重建模型进行训练，更新超分辨率重建模型的参数；也可以是在人脸先验信息损失的基础上，再结合超分辨率重建模型自身的重建损失，对超分辨重建模型进行训练，更新超分辨重建模型的参数等等。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的人脸图像的超分辨率重建模型的训练方法，在对超分辨率重建模型的训练过程中，结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。
在本实施例中提供了一种人脸图像的超分辨率重建模型的训练方法，可用于电子设备，如监控设备、电脑、手机、平板电脑等，图3是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图，如图3所示，该流程包括如下步骤：
S21，获取第一样本图像以及所述第一样本图像对应的第二样本图像。
其中，所述第一样本图像的分辨率高于所述第二样本图像的分辨率。
详细请参见图1所示实施例的S11，在此不再赘述。
S22，将第二样本图像输入超分辨率重建模型中，得到第一重建图像。
具体地，上述S22可以包括如下步骤：
S221，提取第二样本图像的亮度数据、色彩数据以及饱和度数据。
电子设备利用第一样本图像HR以及第二样本图像LR的亮度数据对超分辨率重建模型进行训练，那么，电子设备就需要对第二样本图像LR进行通道分离，提取第二样本图像LR的亮度数据、色彩数据以及饱和度数据。
例如，当第一样本图像HR以及第二样本图像LR为RGB图像时，电子设备可以图像格式转换，得到第一样本图像的亮度数据
Figure BDA0002866111330000101
以及第二样本图像的亮度数据
Figure BDA0002866111330000102
相应地，还可以得到第二样本图像的色彩数据
Figure BDA0002866111330000103
以及饱和度数据
Figure BDA0002866111330000104
S222，将第二样本图像的亮度数据输入所述超分辨率重建模型进行处理，得到第二样本图像的亮度重建数据。
电子设备利用样本图像的Y域数据对超分辨率重建模型进行训练，具体地，电子设备将第二样本图像的亮度数据
Figure BDA0002866111330000111
输入超分辨率重建模型中，得到第二样本图像的亮度重建数据
Figure BDA0002866111330000112
S223，对第二样本图像的色彩数据以及饱和度数据进行上采样处理，得到色彩重建数据以及饱和度重建数据。
电子设备对第二样本图像的色彩数据
Figure BDA0002866111330000113
以及饱和度数据
Figure BDA0002866111330000114
分别上采样X倍，得到色彩重建数据以及饱和度重建数据。
S224，基于亮度重建数据、色彩重建数据以及饱和度重建数据，确定第一重建图像。
电子设备通过上述步骤就可以得到第二样本图像对应的亮度重建数据
Figure BDA0002866111330000115
色彩重建数据以及饱和度重建数据。进一步地，电子设备基于上述三个重建数据再利用图像格式转换，例如，将YUV的图像格式转换为RGB的图像格式转换，就可以确定第一重建图像。
利用第二样本图像的亮度数据进行模型训练，可以减少颜色对人脸细节重建的影响。具体地，利用亮度数据做超分重建，可以避免重建出偏色的人脸，所以只利用第二样本图像的亮度数据进行模型训练；进一步地，为了保证输出的人脸的色彩与输入一致，直接采用输入的色彩数据以及饱和度数据进行上采样之后，与亮度重建数据合并，从而得到的第一重建图像会保留与输入一致的人脸色彩。
S23，计算第一重建图像以及第一样本图像的先验信息，并确定人脸先验信息损失。
在本实施例中，以先验信息为人脸关键点热力图为例进行描述。
具体地，上述S23可以包括如下步骤：
S231，分别计算第一重建图像以及第一样本图像的人脸关键点热力图。
例如，电子设备借助Dlib库生成人脸的68个关键点，针对每个关键点计算点热图，生成相应的人脸关键点热力图。具体地，电子设备可以分别提取第一重建图像以及第一样本图像的68个人脸关键点，再计算各个人脸关键点的热图，得到人脸关键点热力图。
S232，基于计算得到的人脸关键点热力图，确定人脸先验信息损失。
电子设备在上述S231以及S233中得到与第一重建图像以及第一样本图像对应的人脸关键点热力图之后，可以计算两者的差异，确定人脸先验信息损失。
例如，可以采用如下公式计算人脸先验信息损失l2：
Figure BDA0002866111330000121
其中，l2为所述人脸先验信息损失，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，Isr为所述第一重建图像，
Figure BDA0002866111330000122
为所述第一样本图像的人脸先验信息，
Figure BDA0002866111330000123
为所述第一重建图像的人脸先验信息。
通过人脸先验信息来恢复人脸上立体的边缘和形状，减少超分后人脸的变形和模糊性，同时加上人脸结构信息也有利于提升人脸身份保持的精度，因此，利用人脸关键点热力图确定人脸先验信息损失，保证后续训练得到的目标学生超分辨率重建模型的超分重建效果。
S24，根据人脸先验信息损失，对超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
本实施例中，将人脸先验信息损失与超分辨率重建模型的自身重建损失联合，对超分辨率重建模型进行训练，以对超分辨率重建模型的参数进行更新。
具体地，上述S24可以包括如下步骤：
S241，获取第二样本图像的亮度重建数据。
其中，所述亮度重建数据为超分辨重建模型对第二样本图像的亮度数据进行重建得到的。
如上文所述，电子设备利用样本数据的亮度数据对超分辨重建模型进行训练，相应地，超分辨重建模型输出亮度重建数据。
S242，基于第二样本图像的亮度重建数据以及第一样本图像的亮度数据，确定像素损失。
电子设备可以利用图像格式转换的方式，提取第一样本图像的亮度数据。例如，当第一样本图像为RGB图像时，电子设备利用将RGB格式转换为YUV格式转换，提取第一样本图像的亮度数据。电子设备通过第二样本图像的亮度重建数据与第一样本图像的亮度数据的差异，确定像素损失l1。
例如，可以采用如下公式确定像素损失：
Figure BDA0002866111330000131
其中，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，
Figure BDA0002866111330000132
为所述第一样本图像的亮度数据，Ilr为所述第二样本图像，
Figure BDA0002866111330000133
为所述第二样本图像的亮度重建数据。
S243，利用像素损失以及人脸先验信息损失，确定联合损失。
电子设备在确定像素损失以及人脸先验信息损失之后，可以对两者进行加权求和，确定联合损失。
其中，所述联合损失采用如下公式计算得到：
lsr＝β1l1+β2l2，
其中，l1为所述像素损失，l2为所述人脸先验信息损失，β1、β2为对应的权重。
S244，基于联合损失，对超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
电子设备利用上述S243中计算得到的联合损失，对超分辨率重建模型进行训练，以更新超分辨率重建模型的参数，确定目标超分辨率重建模型。
本实施例提供的人脸图像的超分辨率重建模型的训练方法，将人脸先验信息损失与像素损失结合得到联合损失，并用联合损失对模型进行训练，保证了训练得到的重建模型对人脸重建的效果。
在本实施例中提供了一种人脸图像的超分辨率重建模型的训练方法，可用于电子设备，如监控设备、电脑、手机、平板电脑等，图4是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图，如图4所示，该流程包括如下步骤：
S31，获取第一样本图像以及所述第一样本图像对应的第二样本图像。
其中，所述第一样本图像的分辨率高于所述第二样本图像的分辨率。
由于从实际相机采集到的高分辨率人脸HR和低分辨率的人脸LR作为训练数据集，这两个数据集是不对齐的，即不存在一张HR人脸图像对应的LR人脸图像。使用网络构建训练数据集大大减少了人力成本，相比人工摆拍或者制作同一个人的高低分辨率图像要简便和经济。该部分主要目的在于：在高分辨图像的基础上，合成与真实相机采集到的低分辨率图像分布相近的图像。
具体地，上述S31可以包括如下步骤：
S311，获取第一样本图像。
其中，监控设备采集到人员图像，可以将人员图像发送给电子设备，电子设备利用人脸识别网络识别出人员图像中的人脸区域，并从人员图像中截取出人脸区域，即可得到所述的第一样本图像。
S312，将第一样本图像输入图像生成网络中，确定第二样本图像。
图像生成网络可以是对抗网络，也可以是其他网络，在此对图像生成网络的具体网络结构并不做任何限制，只需保证其能够在高分辨率图像的基础上生成相应的低分辨率图像即可。其中，所述图像生成网络的输入为高分辨率图像(即，第一样本图像)，输出为低分辨率图像(即，第二样本图像)。
以图像生成网络为对抗网络为例，该图像生成网络包括生成器，以及图像生成网络训练过程中的判别器。所述的判别器仅在图像生成网络的训练过程中使用，在图像生成过程中只需要用到图像生成网络的生成器即可。
例如，图5示出了图像生成网络中残差模块的示意图。其中，虚线左侧的残差模块用于表示生成器降采样提取高分辨率图像特征，虚线右侧的残差模块用于判别器升采样获得低分辨率图像。
由于降质形式是多种多样的，一幅给定的HR图像可以获得很多种LR图像，将生成器的第一层输入设计为HR图像接连一个噪声向量后的数据，这样可以生成具有不同降质风格的LR。假设HR图像的分辨率为c*Hhr*Whr，则生成器第一层的输入张量大小为N*(C+1)*Hhr*Whr。其中，C为通道数，N为输入生成器的高分辨率图像的数量。
如图5所述，所述的图像生成网络的网络结构为encoder-decoder架构，包含8个残差模块，两两一组构成残差模块组，卷积核通道数分别是[64，64，128，128，256，256，64，64]，将输入经过两次降采样(pooling)得到24*24大小的特征层，再经过一次升采样(pixelshuffle)得到48*48的LR图像。判别器包含6个残差模块，并且不带BatchNorm层(批归一化层)。卷积核通道数分别是[128，128，256，256，512，512]，将输入经过四次降采样到3*3，得到N*512*3*3的特征图，使用全连接层得到N*128的特征图，再经过ReLU激活层，最后经过全连接层得到N*1，进行判别。
如图6所示，图6中的实线箭头表示训练和推断均要进行的步骤，虚线箭头表示仅训练时需要进行步骤。具体地，在训练过程中，利用高分辨率图像以及生成网络生成的低分辨率图像计算像素损失，再基于判别网络的判别结果计算对抗损失，联合像素损失以及对抗损失对对抗网络进行训练。在推断过程中，电子设备可以利用对抗网络先生成低分辨率的样本图像，再利用高分辨率的样本图像与低分辨率的样本图像组成样本对，对超分辨率重建模型进行训练。
在图像生成网络的训练过程中所用到的损失函数包括两个部分，分别为对抗损失lgan以及像素损失lmse两部分，将这两部分损失进行加权求和得到联合损失。其中，对抗损失可以通过计算生成器所生成的低分辨率图像与真实的低分辨率图像的差异确定，像素损失可以是用来计算生成的低分辨率图像与高分辨率图像经过映射处理后的图像的损失，要求生成的低分辨率图像与高分辨率图像在人脸ID、姿态即表情等方面的一致性。
例如，联合损失可以采用如下公式计算得到：
ldrgan＝α1lmse+α2lgan
Figure BDA0002866111330000151
Figure BDA0002866111330000152
其中，α1和α2分别表示各部分损失的权重，W和H分别表示低分辨率人脸图像的宽和高，Ihr表示高分辨率人脸图像，Ilr表示真实的低分辨率人脸图像，
Figure BDA0002866111330000153
表示网络生成的低分辨率人脸图像，F表示将HR图像映射到LR图像的函数，这里使用平均池化的方法，G表示生成器网络，D表示判别网络，θD和θG分别表示D和G的网络参数。在本实施例中，为了强调生成的效果，因此要求α2lgan＞α1lmse。
通过对高分辨率图像通过学习的方式获得对应的低分辨率样本图像，这种方式经济有效，大大降低了人力成本和时间消耗，而且通过这种方式获得的样本图像训练得到的目标超分辨率重建模型可以提升其在真实低分辨率人脸图像上的泛化性能。
S32，将第二样本图像输入超分辨率重建模型中，得到第一重建图像。
详细请参见图3所示实施例的S22，在此不再赘述。
S33，计算第一重建图像以及第一样本图像的先验信息，并确定人脸先验信息损失。
详细请参见图3所示实施例的S23，在此不再赘述。
S34，根据人脸先验信息损失，对超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
在图3所示实施例中，通过对超分辨率重建模型进行训练，确定目标超分辨率重建模型。在本实施例中，将该目标超分辨率重建模型称之为目标教师超分辨率重建模型，再利用目标教师超分辨率重建模型指导学生超分辨率重建模型的训练。由于前端设备处理能力的限制，目标教师超分辨率重建模型的网络参数量较大，在前端设备应用时，会出现效率较低的问题。基于此，在本实施例中训练得到的学生超分辨率重建模型的网络参数小于目标教师超分辨率重建模型的网络参数。
例如，图7示出了目标教师超分辨率重建模型与目标学生超分辨率重建模型的训练过程示意图。具体地，电子设备先利用图像生成网络(DrGAN)生成与高分辨率人脸图像对应的低分辨率人脸图像，形成样本图像对；其次，再利用样本图像对训练教师超分辨率重建模型，得到目标教师超分辨率重建模型(Mteacher)；最后，利用目标教师超分辨率重建模型指导学生超分辨率重建模型的训练，确定目标学生超分辨率重建模型(Mstudent)。
其中，图7中的实线箭头表示训练和推断均要进行的步骤，虚线箭头表示仅训练时需要进行的步骤。在实际推断过程中，可以根据输入图像的大小，选择使用目标教师超分辨率重建模型，还是使用目标学生超分辨率重建模型，在本实施例中并不限定具体采用何种超分辨率重建模型对输入的图像进行超分辨率重建。
具体地，上述S34可以包括如下步骤：
S341，基于人脸先验信息损失，对超分辨率重建模型的参数进行更新，以确定目标教师超分辨率重建模型。
如上文所述，电子设备可以利用人脸先验信息损失与像素损失确定联合损失，再利用联合损失对超分辨率重建模型的参数进行更新，确定目标教师超分辨率重建模型。
S342，对目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型。
电子设备在确定目标教师超分辨率重建模型之后，确定初始学生超分辨率重建模型的网络结构，其网络结构与目标教师超分辨率重建模型的网络结构相同。不同的是，初始学生超分辨率重建模型的网络参数量小于目标教师超分辨率重建模型的网络参数量。
具体地，由于目标教师超分辨率重建模型的网络参数量较大，直接应用在监控场景下一般无法满足要求，因此，在本实施例中，将目标教师超分辨率重建模型使用知识蒸馏的方法对其网络参数进行压缩，所得到的初始学生超分辨率重建模型的参数量更少，从而能够加速人脸超分模型的推断，使得在监控场景下获得落地应用的可能。所述的知识蒸馏即通过匹配输出层对数分布，将目标教师超分辨率重建模型的知识迁移到初始学生超分辨率重建模型中，以提升学生超分辨率重建模型的性能。
其中，影响模型推断速度的各个因素中，网络深度、卷积核通道数是影响最大的，因此，可以对这些参数进行压缩，得到初始学生超分辨率重建模型。
作为本实施例的一种可选实施方式，上述S342可以包括如下步骤：
(1)利用目标教师超分辨率重建模型，确定初始学生超声分辨率重建模型的网络结构。
如上文所述，初始学生超分辨率重建模型的网络结构与目标教师超分辨率重建模型的网络结构相同。
(2)确定初始学生超分辨率重建模型中各个卷积层的卷积核通道数。
在本实施例中，选择对目标教师超分辨率重建模型中各卷积层中的卷积核通道数进行压缩。具体地，若目标教师超分辨率重建模型Mteacher中残差模块ResBlock的各个卷积层中卷积核通道数为Cteacher。例如，可以将初始学生超分辨率重建模型中残差模块的各个卷积层中卷积核通道数Cstudent压缩为对应Mteacher模型中卷积核通道数的一半。以模型的卷积核通道数Cstudent＝48为例，进行后续初始学生超分辨率重建模型的训练。
(3)基于确定出的卷积核通道数，从目标教师超分辨率重建模型对应卷积层中提取相应卷积核通道数的参数，以对确定出的卷积核通道数的参数进行初始化。
在上述步骤(2)中确定出模型的卷积核通道数为Cstudent之后，电子设备在对Mstudent模型中的参数进行初始化时，可以使用Mteacher模型中残差模块ResBlock的各个卷积层中卷积核的前Cstudent通道数的参数初始化Mstudent模型。
(4)初始化初始学生超分辨率重建模型中其他层的参数，以确定初始学生超分辨率重建模型。
电子设备在对初始学生超分辨率重建模型中其他层的参数进行初始化时，可以采用随机初始化方式，也可以采用xavier方法，在此对其并不做任何限制。
由于影响模型推断速度的各个因素中卷积核通道数的影响较大，因此，通过对卷积核通道数的参数量进行压缩，既能够减少学生超分辨率重建模型的网络参数量，又可以提升训练得到的目标学生超分辨率重建模型的超分处理效率。
S343，对初始学生超分辨率重建模型进行训练，以调整初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型。
电子设备训练初始学生超分辨率重建模型的训练数据可以与训练目标教师超分辨率重建模型的训练数据一致，在训练时计算相应的损失，基于计算出的损失对初始学生超分辨率重建模型的参数进行调整，以确定出目标学生超分辨率重建模型。
在本实施例的一些可选实施方式中，上述S343可以包括如下步骤：
(1)获取第三样本图像以及所述第三样本图像对应的第四样本图像，所述第三样本图像的分辨率高于所述第四样本图像的分辨率。
其中，关于第三样本图像以及第四样板图像的获取方式可以参见本实施例的S31中关于第一样本图像以及第二样本图像的详细描述，在此不再赘述。
(2)将第四样本图像分别输入目标教师超分辨率重建模型以及初始学生超分辨率重建模型中，分别进行特征提取，以得到第一特征以及第二特征。
具体地，在超分的任务中，超分模型输出是一个确定的图像，不是概率分布，因此很难从Mteacher模型的输出图像中提取背景知识用来提升Mstudent模型的性能。基于此，在本申请中，通过匹配Mteacher模型中间层的特征分布，中间层包含更多的卷积核通道数，可转移的信息更加丰富。因此，将第四样本图像分别输入目标教师超分辨率重建模型以及初始学生超分辨率重建模型中分别进行特征提取，得到对应的第一特征以及第二特征。
(3)利用第一特征以及所述第二特征，确定特征损失。
所述的特征损失也可以称之为中间参数的蒸馏损失，例如，特征损失ldistill可以采用如下公式计算得到：
Figure BDA0002866111330000191
其中，T表示用来进行知识渗流的网络层的数量，t表示选择用来进行知识蒸馏的网络层编号，ft表示一个学习的1x1卷积层，用来将Mteacher中用来进行知识蒸馏的网络层提取的特征映射为Mstudent中同样维度的特征，共同优化θS和ft，使蒸馏损失最小化。
(4)利用第三样本图像以及初始学生超分辨率重建模型输出的第二重建图像，确定重建损失。
重建损失是用于表示学生超分辨率重建模型自身重建的损失，在该损失计算时需要利用第三样本图像以及该重建模型输出的第二重建图像。具体地，重建损失可以采用如下公式计算得到：
Figure BDA0002866111330000192
其中，w′、H′分别为第三样本图像的宽度以及高度，Ihr为第三样本图像，
Figure BDA0002866111330000193
为所述第三样本图像的亮度数据，Ilr为所述第四样本图像，
Figure BDA0002866111330000194
为所述第四样本图像的亮度重建数据。
(5)基于特征损失以及重建损失，对初始学生超分辨率重建模型的参数进行调整，以确定目标学生超分辨率重建模型。
电子设备可以计算特征损失与重建损失的联合损失，再利用联合损失对初始学生超分辨率重建模型的参数进行调整，确定目标学生超分辨率重建模型。其中，联合损失可以采用如下公式计算得到：
ltotal＝λ1ldistill+λ2lrecon
其中，λ1和λ2为两个损失的权重。
例如，λ1和λ2取值分别为1和0.01，超分辨率重建模型具体结构采用SRRESNET结构，选择用来进行知识蒸馏的层为[16，20，24]。需要说明的是，在该结构中，包括16个残差模块，每个残差模块均不包含BatchNorm层，以减少由于BatchNorm层在模型训练过程中所带来的色斑以及收敛较慢的问题。
将特征损失与重建损失结合对初始学生超分辨率重建模型进行训练，可以保证目标学生超分辨率重建模型的超分重建效果。所述的训练方法通过使用目标教师超分辨率重建模型的中间参数的约束训练得到的目标学生超分辨率重建模型，既能够尽可能保持接近大网络模型的超分效果，也提升了落地应用的可能性。
本实施例提供的人脸图像的超分辨率重建模型的训练方法，通过使用目标教师超分辨率重建模型训练目标学生超分辨率重建模型，既能够仅可能保持接近目标教师超分辨率重建模型的超分效果，由于目标学生超分辨率重建模型的网络参数量小于目标教师超分辨率重建模型的网络参数量，从而又提升了落地应用的可能性。
根据本发明实施例，提供了一种人脸图像的超分辨率重建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种人脸图像的超分辨率重建方法，可用于电子设备，如监控设备、电脑、手机、平板电脑等，图8是根据本发明实施例的人脸图像的超分辨率重建模型的训练方法的流程图，如图8所示，该流程包括如下步骤：
S41，获取待处理图像。
在实际应用中，获取到一张带有行人的图像，可以先利用人脸检测网络获取人脸区域，然后从行人图像中截取出人脸区域，得到所述的待处理图像。
S42，将待处理图像输入目标超分辨率重建模型中，得到目标重建图像。
其中，所述目标超分辨率重建模型是根据上述任一项实施方式中所述的人脸图像的超分辨率重建模型的训练方法训练得到的。
所述的目标超分辨率重建模型可以是上述实施例中所述的目标教师超分辨率重建模型，也可以是目标学生超分辨率重建模型。在实际应用中，具体采用哪种模型进行超分重建，与输入的待处理图像的大小相关。若待处理图像较小，就可以直接利用目标教师超分辨率重建模型进行超分重建，得到高分辨率图像；若待处理图像较大，就可以利用目标学生超分辨率重建模型进行超分重建，得到高分辨率图像。
关于目标教师超分辨率重建模型，以及目标学生超分辨率重建模型的具体细节请参见上文所述，在此不再赘述。
在本实施例的一些可选实施方式中，电子设备在得到目标重建图像之后，可以对目标重建图像进行目标识别，确定待处理图像的识别信息；或者，也可以将目标重建图像与待处理图像进行融合，确定目标图像。
本实施例提供的人脸图像的超分辨率重建方法，利用上述实施方式中训练得到的目标超分辨率重建模型对待处理图像进行人脸图像的重建，可以达到较好的重建效果。
在本实施例中还提供了一种人脸图像的超分辨率重建模型的训练装置，以及人脸图像的超分辨率重建模型的训练，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种人脸图像的超分辨率重建模型的训练装置，如图9所示，包括：
第一获取模块51，用于获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
第一重建模块52，用于将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；
计算模块53，用于计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；
更新模块54，用于根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
本实施例提供的人脸图像的超分辨率重建模型的训练装置，在对超分辨率重建模型的训练过程中，结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。
本实施例提供一种人脸图像的超分辨率重建装置，如图10所示，包括：
第二获取模块61，用于获取待处理图像；
第二重建模块62，用于将所述待处理图像输入目标超分辨率重建模型中，得到目标重建图像，所述目标超分辨率重建模型是根据本发明第一方面，或第一方面任一项实施方式中所述的人脸图像的超分辨率重建模型的训练方法训练得到的。
本实施例提供的人脸图像的超分辨率重建装置，利用上述实施方式中训练得到的目标超分辨率重建模型对待处理图像进行人脸图像的重建，可以达到较好的重建效果。
本实施例中的人脸图像的超分辨率重建模型的训练装置以及人脸图像的超分辨率重建装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图9所示的人脸图像的超分辨率重建模型的训练装置，或图10所示的人脸图像的超分辨率重建装置。
请参阅图11，图11是本发明可选实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器71，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口73，存储器74，至少一个通信总线72。其中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图9或10所描述的装置，存储器74中存储应用程序，且处理器71调用存储器74中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线72可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器74可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器74还可以包括上述种类的存储器的组合。
其中，处理器71可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器74还用于存储程序指令。处理器71可以调用程序指令，实现如本申请图1、3以及4实施例中所示的人脸图像的超分辨率重建模型的训练方法，或如本申请图8实施例中所示的人脸图像的超分辨率重建方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的人脸图像的超分辨率重建模型的训练方法，或人脸图像的超分辨率重建方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (13)

1.一种人脸图像的超分辨率重建模型的训练方法，其特征在于，包括：
获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；
计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；
根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
2.根据权利要求1所述的训练方法，其特征在于，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，包括：
获取所述第二样本图像的亮度重建数据，所述亮度重建数据为所述超分辨重建模型对所述第二样本图像的亮度数据进行重建得到的；
基于所述第二样本图像的亮度重建数据以及所述第一样本图像的亮度数据，确定像素损失；
利用所述像素损失以及所述人脸先验信息损失，确定联合损失；
基于所述联合损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。
3.根据权利要求2所述的训练方法，其特征在于，所述联合损失采用如下公式计算得到：
lsr＝β1l1+β2l2，
Figure FDA0002866111320000011
Figure FDA0002866111320000012
其中，l1为所述像素损失，l2为所述人脸先验信息损失，β1、β2为对应的权重，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，
Figure FDA0002866111320000013
为所述第一样本图像的亮度数据，Ilr为所述第二样本图像，
Figure FDA0002866111320000014
为所述第二样本图像的亮度重建数据，Isr为所述第一重建图像，
Figure FDA0002866111320000015
为所述第一样本图像的人脸先验信息，
Figure FDA0002866111320000021
为所述第一重建图像的人脸先验信息。
4.根据权利要求1所述的训练方法，其特征在于，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，还包括：
基于所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标教师超分辨率重建模型；
对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型；
对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型。
5.根据权利要求4所述的训练方法，其特征在于，所述对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型，包括：
利用所述目标教师超分辨率重建模型，确定所述初始学生超声分辨率重建模型的网络结构；
确定所述初始学生超分辨率重建模型中各个卷积层的卷积核通道数；
基于确定出的卷积核通道数，从所述目标教师超分辨率重建模型对应卷积层中提取相应卷积核通道数的参数，以对所述确定出的卷积核通道数的参数进行初始化；
初始化所述初始学生超分辨率重建模型中其他层的参数，以确定所述初始学生超分辨率重建模型。
6.根据权利要求5所述的训练方法，其特征在于，所述对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型，包括：
获取第三样本图像以及所述第三样本图像对应的第四样本图像，所述第三样本图像的分辨率高于所述第四样本图像的分辨率；
将所述第四样本图像分别输入所述目标教师超分辨率重建模型以及所述初始学生超分辨率重建模型中，分别进行特征提取，以得到第一特征以及第二特征；
利用所述第一特征以及所述第二特征，确定特征损失；
利用所述第三样本图像以及所述初始学生超分辨率重建模型输出的第二重建图像，确定重建损失；
基于所述特征损失以及所述重建损失，对所述初始学生超分辨率重建模型的参数进行调整，以确定目标学生超分辨率重建模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像，包括：
提取所述第二样本图像的亮度数据、色彩数据以及饱和度数据；
将所述第二样本图像的亮度数据输入所述超分辨率重建模型进行处理，得到所述第二样本图像的亮度重建数据；
对所述第二样本图像的色彩数据以及饱和度数据进行上采样处理，得到色彩重建数据以及饱和度重建数据；
基于所述亮度重建数据、所述色彩重建数据以及所述饱和度重建数据，确定所述第一重建图像。
8.根据权利要求1所述的训练方法，其特征在于，所述计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失，包括：
分别计算所述第一重建图像以及所述第一样本图像的人脸关键点热力图；
基于计算得到的人脸关键点热力图，确定所述人脸先验信息损失。
9.根据权利要求1所述的训练方法，其特征在于，所述获取第一样本图像以及所述第一样本图像对应的第二样本图像，包括：
获取所述第一样本图像；
将所述第一样本图像输入图像生成网络中，确定所述第二样本图像。
10.一种人脸图像的超分辨率重建方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入目标超分辨率重建模型中，得到目标重建图像，所述目标超分辨率重建模型是根据权利要求1-9中任一项所述的人脸图像的超分辨率重建模型的训练方法训练得到的。
11.根据权利要求10所述的重建方法，其特征在于，所述重建方法还包括：
对所述目标重建图像进行目标识别，确定所述待处理图像的识别信息；
或，
将所述目标重建图像与所述待处理图像进行融合，确定目标图像。
12.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-9中任一项所述的人脸图像的超分辨率重建模型的训练方法，或执行权利要求10或11所述的重建方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-9中任一项所述的人脸图像的超分辨率重建模型的训练方法，或执行权利要求10或11所述的重建方法。
CN202011582052.6A 2020-12-28 2020-12-28 人脸图像的超分辨率重建模型的训练及重建方法 Pending CN112581370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011582052.6A CN112581370A (zh) 2020-12-28 2020-12-28 人脸图像的超分辨率重建模型的训练及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011582052.6A CN112581370A (zh) 2020-12-28 2020-12-28 人脸图像的超分辨率重建模型的训练及重建方法

Publications (1)

Publication Number Publication Date
CN112581370A true CN112581370A (zh) 2021-03-30

Family

ID=75140422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011582052.6A Pending CN112581370A (zh) 2020-12-28 2020-12-28 人脸图像的超分辨率重建模型的训练及重建方法

Country Status (1)

Country Link
CN (1) CN112581370A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392791A (zh) * 2021-06-24 2021-09-14 厦门美图之家科技有限公司 一种皮肤预测处理方法、装置、设备及存储介质
CN113411425A (zh) * 2021-06-21 2021-09-17 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113808021A (zh) * 2021-09-17 2021-12-17 北京金山云网络技术有限公司 图像处理及其模型训练方法、装置及电子设备
CN114004772A (zh) * 2021-09-30 2022-02-01 阿里巴巴（中国）有限公司 图像处理方法、图像合成模型的确定方法、系统及设备
CN114118303A (zh) * 2022-01-25 2022-03-01 中科视语(北京)科技有限公司 基于先验约束的人脸关键点检测方法及装置
CN114723611A (zh) * 2022-06-10 2022-07-08 季华实验室 图像重建模型训练方法、重建方法、装置、设备及介质
CN114936969A (zh) * 2022-06-01 2022-08-23 西安商汤智能科技有限公司 热图像重建方法、网络的训练方法、装置、设备及介质
CN114979088A (zh) * 2022-07-05 2022-08-30 颜青 一种基于智能辅助系统心理咨询方法和系统
WO2023115697A1 (zh) * 2021-12-20 2023-06-29 深圳市中兴微电子技术有限公司 图像重建模型的训练方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN112001313A (zh) * 2020-08-25 2020-11-27 北京深醒科技有限公司 一种基于属性化关键点的图像识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN112001313A (zh) * 2020-08-25 2020-11-27 北京深醒科技有限公司 一种基于属性化关键点的图像识别方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411425A (zh) * 2021-06-21 2021-09-17 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113411425B (zh) * 2021-06-21 2023-11-07 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113392791A (zh) * 2021-06-24 2021-09-14 厦门美图之家科技有限公司 一种皮肤预测处理方法、装置、设备及存储介质
CN113808021A (zh) * 2021-09-17 2021-12-17 北京金山云网络技术有限公司 图像处理及其模型训练方法、装置及电子设备
CN114004772A (zh) * 2021-09-30 2022-02-01 阿里巴巴（中国）有限公司 图像处理方法、图像合成模型的确定方法、系统及设备
WO2023115697A1 (zh) * 2021-12-20 2023-06-29 深圳市中兴微电子技术有限公司 图像重建模型的训练方法、装置、存储介质及电子装置
CN114118303A (zh) * 2022-01-25 2022-03-01 中科视语(北京)科技有限公司 基于先验约束的人脸关键点检测方法及装置
CN114118303B (zh) * 2022-01-25 2022-04-29 中科视语(北京)科技有限公司 基于先验约束的人脸关键点检测方法及装置
CN114936969A (zh) * 2022-06-01 2022-08-23 西安商汤智能科技有限公司 热图像重建方法、网络的训练方法、装置、设备及介质
CN114723611A (zh) * 2022-06-10 2022-07-08 季华实验室 图像重建模型训练方法、重建方法、装置、设备及介质
CN114979088A (zh) * 2022-07-05 2022-08-30 颜青 一种基于智能辅助系统心理咨询方法和系统
CN114979088B (zh) * 2022-07-05 2024-04-30 颜青 一种基于智能辅助系统心理咨询方法和系统

Similar Documents

Publication Publication Date Title
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
CN108921782B (zh) 一种图像处理方法、装置及存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
Zhang et al. Semantic-aware dehazing network with adaptive feature fusion
JP2022533464A (ja) 三次元モデルの生成方法及び装置、コンピュータ機器並びに記憶媒体
CN111445410A (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN116109798A (zh) 图像数据处理方法、装置、设备及介质
KR101977067B1 (ko) 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN115272527A (zh) 基于色盘对抗网络的图像上色方法
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication