CN112801912B - 一种人脸图像复原方法、系统、装置及存储介质 - Google Patents
一种人脸图像复原方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN112801912B CN112801912B CN202110173430.3A CN202110173430A CN112801912B CN 112801912 B CN112801912 B CN 112801912B CN 202110173430 A CN202110173430 A CN 202110173430A CN 112801912 B CN112801912 B CN 112801912B
- Authority
- CN
- China
- Prior art keywords
- face
- feature map
- network
- sub
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 description 16
- 238000006731 degradation reaction Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像复原方法、系统、装置及存储介质，其中方法包括：获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；所述人脸复原子网络在训练过程中，引入人脸识别子网络；所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数。本发明通过引入人脸识别子网络来克服人脸复原后的个体身份特征不准确的问题，对于人脸复原子网络的输出图像，重新输入到人脸识别子网络中，对特征的逐步提取，并反馈至人脸复原子网络中，以提升图像复原能力，可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸图像复原方法、系统、装置及存储介质。
背景技术
人脸图像广泛存在于我们的生活中，但由于摄影或储存过程中的不确定性，导致图片会被一种或多种退化所侵害，包含图像低分辨率、运动模糊、失焦模糊、噪声等。在许多场景中，这些图像退化可能会同时出现，造成人脸图像的大幅度损坏，以至于对人脸的个体身份特征造成很大的影响。因此，人脸图像复原，是将拥有一种或多种退化的图像进行修复，恢复出高分辨率且清晰的人脸图像。
近几年来，以数字图像处理学科为基础的计算机视觉在科学研究，社会生产以及人们的日常生活中都得到了广泛的应用，例如在远程监控，智能交通，遥感，医学，军事国防等领域。然而，在这些场景中，所拍摄的人脸图像和视频容易受到多种图像退化作用，例如摄像头抖动、镜头污秽、图像压缩等，使得图像成像模糊、噪声干扰、分辨率低下，能见度下降,极大的限制了复杂场景中视觉处理算法的性能,例如人脸识别，人脸检测等等，因此，去除人脸图像上的图像退化成为了一个不可缺少的课题。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种人脸图像复原方法、系统、装置及存储介质。
本发明所采用的技术方案是：
一种人脸图像复原方法，包括以下步骤：
获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；
所述人脸复原子网络在训练过程中，引入人脸识别子网络；
所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数。
进一步，在人脸复原子网络在训练过程中，还引入了长跳跃连接；
所述长跳跃连接用于将所述人脸复原子网络和所述人脸识别子网络提取的语义特征进行融合，以加强将所述人脸复原子网络和所述人脸识别子网络对特征的学习和传播能力；
在对所述人脸复原子网络训练结束后，包括：
保留所述人脸复原子网络，去除所述人脸识别子网络。
进一步，所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，包括：
将复原后的人脸图像输入所述人脸识别子网络进行特征提取；
根据提取的特征预测出所述人脸图像的个体身份标签，根据预测的个体身份标签与真实标签计算损失函数；
将所述损失函数产生的梯度反向传播至所述人脸复原子网络，指导所述人脸复原子网络学习生成具有相同个体身份特征识别的能力。
进一步，所述人脸复原子网络包括复合残差网络，所述复合残差网络包括多个残差模块，每个残差模块提取不同深层的特征，所述人脸复原子网络对人脸图像进行复原的步骤，包括：
输入人脸图像I，对所述人脸图像I进行卷积处理，得到输出特征图X0；
将所述得到输出特征图X0输入第一个残差模块RBLK1中，得到输出特征图X1；
依次将上一个残差模块输出的特征图输入下一个残差模块，得到对应的特征图；
经过第n个残差模块后，得到输出特征图Xn，将特征图X0与特征图Xn进入融合，得到特征图Xn+1；
对所述特征图Xn+1进行上采样，得到特征图Xn+2；
对所述特征图Xn+2进行卷积处理，得到复原的人脸图像R。
进一步，所述人脸识别子网络对复原的人脸图像R进行特征提取的步骤，包括：
A1、将复原的人脸图像R和真实的高清人脸图像G进行卷积处理后，获得特征图Y1；
A2、对特征图Y1进行融合处理：对特征图Y1进行经过平均池化操作和最大池化操作后，获得特征图Y2和特征图Y3，将特征图Y2和特征图Y3进行融合获得特征图Y4；
A3、对特征图Y4进行分裂处理：对特征图Y4进行卷积处理，获得特征图Y5，将特征图Y5根据通道数一分为二，得到特征图Y6和特征图Y7，将特征图Y6和特征图Y7通过MAX操作函数获得特征图Y8；
A4、对特征图Y8进行分裂处理，获得特征图Y9；对特征图Y9进行分裂处理，获得特征图Y10；对特征图Y10进行分裂处理，获得特征图Y11；对特征图Y11进行分裂处理，获得特征图Y12；
A5、对特征图Y12进行融合处理，获得特征图Y13；
A6、将步骤A3-A5合并为一个MFM模块，作为第一个MFM模块，将特征图Y13与特征图X15进行融合获得特征图Y14；
A7、将特征图Y14输入第二个MFM模块，获得特征图Y15；
A8、将特征图Y15输入第三个MFM模块，获得特征图Y16，所述第三个MFM模块不包括池化层；
A9、将特征图Y16输入第三个MFM模块，获得特征图Y17；
A10、将特征图Y17输入第一个全连接层，获得特征图Y18；
A11、将特征图Y18输入第二个全连接层，获得预测个体身份标签Y19。
进一步，所述根据预测的个体身份标签与真实标签计算损失函数，包括：
根据预测的个体身份标签值与真实的人脸图像个体身份标签值D求交叉熵损失误差；
求解公式如下：
其中d为数据集的标签值，di为数据集中的第i个标签值，与其他所有的标签值dj计算交叉熵损失误差，而深度人脸识别监督的损失Lrec为复原后的人脸图像预测标签与真实的人脸图像标签共同的交叉熵损失误差的加权和，α1和α2为权重。
进一步，对所述人脸复原子网络训练的步骤中还包括对训练样本预处理的步骤，包括：
获取数据集，随机从所述数据集中获取图像对，对所述图像对进行变换处理，所述变换处理包括角度旋转处理、尺寸缩放处理和镜像处理中的至少一种；
对所述图像对进行正则化处理。
本发明所采用的另一技术方案是：
一种人脸图像复原系统，包括：
图像复原模块，用于获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；
所述人脸复原子网络在训练过程中，引入人脸识别子网络；
所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数。
本发明所采用的另一技术方案是：
一种人脸图像复原装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过引入人脸识别子网络来克服人脸复原后的个体身份特征不准确的问题，对于人脸复原子网络的输出图像，重新输入到人脸识别子网络中，对特征的逐步提取，并反馈至人脸复原子网络中，以提升图像复原能力。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种人脸图像复原方法的整体流程图；
图2是本发明实施例中CelebA数据集的图像样本示意图；
图3是本发明实施例中残差模块的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
目前的人脸复原方法主要包括三种类型，第一种是假设图像处于单一的退化结果，比如人脸图像的超分辨率、人脸图像的去模糊等；第二种是假设图像处于多种退化结果，比如人脸图像的超分辨率与去模糊同时进行；第三种是假设图像处于多种退化结果，方法不仅要将多种退化结果去除，同时还要将人脸的个体身份特征保留下来，以防止个体身份特征的混淆，降低了人脸识别的准确率。
针对第一种类型，ChryAoA等人和Ahen等人分别使用人脸关键点检测和人脸语义标签来辅助深度模型对人脸图像进行去模糊。另外，Jin等人使用新型的重采样方法来改进深度模型对于人脸图像去模糊的能力。对于单独的人脸图像超分辨率，Yu等人和Bulat等人都使用了人脸的关键点来生成热力图作为超分辨率的先验，同时Bulat等人还是用生成对抗网络来解决人脸的大角度偏移。
针对第二种类型，Liu等人使用贝叶斯的方法同时估计模糊核、噪声水平和进行视频帧的超分辨率过程。Xu等人使用一种类别相关的先验来训练一个多类别的生成对抗网络，从而复原模糊且低分辨率的人脸图片。Zhou等人提出了一种特殊结构的双通道卷积神经网络来提取鲁棒的人脸特征表示来复原模糊且低分辨率的人脸图像。Zhang等人使用深度卷积网络的门融合，将去模糊分支和超分辨率分支中的特征映射进行门融合，再将特征进行重构，进而同时去模糊和超分辨率。
针对第三种类型，即人脸图像经过多种退化后，通过深度学习解决退化问题，生成高分辨率且清晰的人脸图像，同时还要一定程度上保持人脸的个体身份特征的一致性，即复原输出的人脸图像，是否与输入退化的人脸图像相似。Aong等人使用额外的人脸数据库来对复原后的人脸局部进行修复。而Li等人使用额外的相同个体的人脸图，经过矫正网络后，生成与待复原的人脸图拥有相同姿势，再将两张图同时经过重构网络生成高分辨率且清晰的人脸图。最近，Huang等人使用人脸验证模型来辅助人脸超分辨率，具体是将复原后的人脸图像经过人脸验证模型判断是否与真实图像足够相似，来优化人脸复原模型对于人脸的个体身份特征的恢复。
如图1所示，本实施例提供一种基于深度人脸识别监督的人脸复原方法，包括以下步骤：
S1、在构建训练集时，收集已公开的人脸数据集CelebA，将高清的人脸图像经过人脸对齐、人脸框提取、图像模糊、图像下采样、图像加噪声步骤生成对应的模糊且低分辨率的人脸图像。
S2、对输入的人脸图像进行预处理时，首先从训练集中随机选取图像，但不是直接将图像放入网络中进行训练，而是事先对图像进行合理的处理。为了提高网络对于不同图像的鲁棒性，首先将图像进行仿射变换，比如旋转，放大和缩小。然后，对得到的图像进行切片，切片大小为16*16，作为模型的最终输入图片。最后，为了使得网络可以更好地收敛，还必须对图像进行归一化处理。
S3、人脸复原过程，将低清的人脸图像输入到包含多个残差模块组成的人脸复原子网络中进行处理，得到复原后的高清人脸图像。
S4、引入人脸识别监督，将复原后的高清人脸图像输入到人脸识别子网络中进行处理，得到预测的人脸个体标签值。
S5、使用长跳跃连接，将人脸复原子网络中的中低层语义特征图与人脸识别子网络中的中低层语义特征图相加后，经过一个卷积层融合后，输入到人脸识别子网络中，用于加强人脸识别子网络的特征提取能力。
S6、使用真实的人脸个体标签值对预测的人脸标签值进行监督，即深层人脸识别监督，以优化网络参数。
首先对输入图片进行放射变换，随机切片，归一化处理，预处理完成后输入到网络中。该网络是由一个人脸复原子网络和一个人脸识别子网络构成的，同时引入长跳跃连接，使得两个子网络能够在不同语义特征之间进行融合，加强两个子网络对特征的学习和传播能力。人脸复原子网络是本实施例的主要结构，负责将输入的低分辨率且模糊的人脸图像复原成高分辨率且清晰的人脸图像，输出复原后的人脸图像。而人脸识别子网络是本实施例的辅助结构，负责将输入的复原后人脸图像进行特征提取，并且预测出人脸图像的个体身份标签与真实标签计算交叉熵损失，将损失函数产生的梯度反向传播，一方面是通过复原的人脸图像为媒介，将深度人脸识别监督信息传送到人脸复原子网络，指导其复原出原有的个体身份特征信息；另一方面是通过长跳跃连接为桥梁，将人脸识别子网络的低级语义特征传送到人脸复原子网络，指导其复原出拥有丰富的人脸细节信息，以免细节信息的过度丢失。长跳跃连接不仅在特征前向传播的过程中，加速网络的训练，而且在梯度的反向传播的过程中，让梯度更流畅地在网络中传播，让不同子网络的语义信息进行融合，同时防止梯度消失与梯度爆炸。最后，在训练的过程中，长跳跃连接与人脸识别子网络起到辅助人脸复原子网络的训练和学习过程，将人脸的细节特征与人脸识别监督信息引入到人脸复原子网络中，加强其复原的能力。而在训练结束后，只需要保留人脸复原子网络即可，将长跳跃连接与人脸识别子网络剥离，从而不影响人脸复原子网络的推理速度，又能提高其复原能力。
本实施例基于深度人脸识别监督的人脸图像复原方法，具体包括了如下主要技术要点：
1.目前公开的数据集中，大部分都是只包含高分辨率且清晰的人脸图像，但是在真实的场景中，由于各种外力和传输过程，比如摄像头抖动、图像压缩等，人脸图像会受到多种退化效果的影响，因此，如果要使得训练出来的网络可以更好地复原真实场景的人脸图像的话，需要使用包含多种退化效果的人脸图像的数据集来训练网络，因此收集训练集对网络的训练至关重要。根据目前已有的工作来看，训练数据集的收集可以通过如下方式：
(1)直接收集现有的公开数据集，如CelebA，如图2所示，该数据集中包含了大量的不同姿势、不同性别的人脸图像，更具挑战性。通过对该数据集的人脸对齐、人脸框提取、图像模糊、图像下采样、图像加噪声后，生成模糊且低分辨率的16*16人脸图像与清晰且高分辨率的64*64人脸图像对(分别对应图2第一和第二行所示)，可以直接用到网络训练中。
(2)根据数据集中不同个体身份标签的数量，将数据集分成三个部分，第一部分中每个身份标签至少包含10张图及以上，第二部分每个身份标签包含7至9张图片，第三部分每个身份标签包含6张图及以下。将三部分数据集分别作为本发明的训练数据集193569张，验证数据集4372张，测试数据集4658张。
2.训练样本预处理，训练样本如果直接输入网络中训练，会产生两个主要的问题，一个是图像数量较少，在训练过程中可能无法使较大容量的神经网络模型收敛；另一个问题是图像的像素取值范围是[0,255]，直接采用这个取值范围的输入不利于网络的收敛，因此，在将图像输入到网络前，需要采取以下两个预处理步骤：
(1)随机选取训练数据集的图像对，将图像对进行变换，如小角度旋转，小范围放大或缩小，镜像处理，但是需要保持输入图像大小为16*16，真实图像大小为64*64。这样处理相当于对训练数据集进行扩充，因为在实际情况中，由于各种原因，可以收集到的数据集往往很少，而训练集的缺乏是对网络训练非常不利的，因此需要进行这样一个预处理步骤使得数据集可以增加，使得训练出来的网络可以降低过拟合的风险。
(2)将图像对进行正则化处理，这是由于图像的取值范围是0-255，网络直接学习[0,255]到[0,255]的映射的话，会比学习[0,1]到[0,1]的映射收敛更慢，所以可以采用以下的归一化手段，对于输入图像I：
Inorm＝I/255,
其中Inorm为归一化后的图像。
3.人脸复原的过程，如图1左半边子网络所示，首先将经过预处理的低分辨率且模糊的人脸图像输入到一个卷积层中进行初步的特征提取，然后将该特征输入到包含多个残差模块的复合残差网络中进行处理，每个残差模块可以提取到不同深层的特征，浅层的特征更好地保留了原图像的细节信息，而深层特征得到的是图像的寓意信息，在相同层次中，不同通道对应的是图像中不同模式，因此该复合残差网络后可以对人脸图像的多层次特征进行提取和学习，该复合残差网络的具体结构如下：
(1)输入图像I，将I经过一个卷积层conv0和一个激活函数relu，卷积核大小为9*9，步长为1，得到输出特征图X0；
(2)将特征图X0输入残差模块RBLK1中，如图3所示，RBLK1包含两个卷积层，可以表达为如下公式：
H(x)＝F(x)+x，
每个卷积层的卷积核大小为3*3，步长为1，两个卷积层中间接一个激活函数relu，经过两层卷积后的输出特征(残差)与该模块RBLK1的输入进行相加，得到RBLK1的输出特征图X1；
(3)与步骤2)类似，特征图X1再经过31个相同的残差模块，得到特征图X2,X3,…,X32，再将X0与X32相加，得到特征图X33；
(4)将X33输入一个卷积层，卷积核大小为3*3，步长为1，得到特征图X34；
(5)将X34输入上采样模块Upsample中，Upsample包含两个卷积层与两个pixelshuffle层，每个卷积层后面接一个上采率为2倍的pixel shuffle层，卷积核大小为3*3，步长为1，最终得到特征图X35；
(6)将X35输入一个卷积层，卷积核大小为9*9，步长为1，得到复原后的输出人脸图像R。
对低分辨率和模糊的人脸图像进行如此多的残差模块的特征提取和学习，主要是因为图像特征被多种退化效果影响后，不能轻易地提取出有用的特征信息，所以需要若干个残差模块，对图像进行深度特征提取，而这些残差模块所提取到的特征都具备不一样的信息，这些信息能够对图像的复原过程是非常重要的。
4.人脸识别的过程，如图1右半边子网络所示，将经过人脸复原子网络恢复的人脸图像输入到一个卷积层中进行初步的特征提取，然后将该特征输入到包含多个MFM模块的网络中进行处理，每个MFM模块可以提取到不同深层的特征，而其使用MAX函数过滤掉一部分信息，以在获取细节信息和寓意信息的同时还去除掉无用的信息，该网络的具体结构如下：
(1)输入复原后的输出人脸图像R和真实的高清人脸图像G，经过一个卷积层conv1，卷积层的卷积核大小为5*5，步长为1，得到特征图Y1；
(2)将Y1输入一个池化层Pool1，池化层将特征图并行经过平均池化操作和最大池化操作后，分别得到特征图Y2和Y3，再将两个特征图相加，得到特征图Y4；
(3)将Y4输入第一个MFM层，包含一个卷积层，卷积核大小为3*3，步长为1，输出特征图Y5，将Y5根据通道数一分为二，得到Y6和Y7，通过一个MAX操作函数，输出Y6和Y7中较大的元素，得到特征图Y8；
(4)将Y8输入第二个MFM层，与3)类似，获得特征图Y9；
(5)将Y4与Y9相加，获得特征图Y10；
(6)将Y10输入第三个MFM层，与3)类似，获得特征图Y11；
(7)将Y11输入第四个MFM层，与3)类似，获得特征图Y12；
(8)将Y12输入第二个池化层Pool2，与2)类似，获得特征图Y13；
(9)将步骤3)、4)、5)、6)、7)、8)合并为一个MFM模块，作为第一个MFM模块，将Y13与人脸复原的过程中的第15个RBLK的特征图X15，两个特征图拼接起来后，输入到一个卷积层，卷积核为3*3，步长为1，得到特征图Y14；
(10)将Y14输入第二个MFM模块，获得特征图Y15；
(11)将Y15输入第三个MFM模块，其中此模块不包含池化层，获得特征图Y16；
(12)将Y16输入第四个MFM模块，获得特征图Y17；
(13)将Y17输入第一个全连接层，特征维度为256，获得特征图Y18；
(14)将Y18输入第二个全连接层，特征维度为训练集的个体数8369，获得预测个体标签Y19。
5.对网络进行像素保真监督，如图1所示，计算复原后的人脸图像R与真实的人脸图像G求平均绝对误差：
其中N为数据集的大小。此像素保真监督能够指导复原子网络恢复出高分辨率且清晰的人脸图像，将梯度反向传播到人脸复原的子网络中。
6.对网络进行深度人脸识别监督，如图1所示，将复原后的人脸图像R和真实的人脸图像G输入到人脸识别子网络中，得到预测的个体身份标签值与真实的人脸图像个体身份标签值D求交叉熵损失误差，
其中d为数据集的标签值，di为数据集中的第i个标签值，与其他所有的标签值dj计算交叉熵损失误差，而深度人脸识别监督的损失Lrec为复原后的人脸图像预测标签与真实的人脸图像标签共同的交叉熵损失误差的加权和，其中α1和α2为权重，在训练的时候都设置为1。然后将深度人脸识别监督的梯度沿着人脸识别子网络传送到人脸复原子网络，指导网络学习生成具有相同个体身份特征的能力。
综上所述，本实施例与现有的技术相比，具有以下优点：
(1)本实施例可以很好地应对带多个退化效果的人脸图像，在真实的人脸识别场景下，受到光线、设备质量、设备抖动等因素的影响，拍摄出来的人脸图像往往是包含多个退化效果的，因此很自然的想法就是让网络能够拥有同时处理多种退化效果型并且还能保持人脸个体身份特征的能力，这就是使用人脸复原子网络与人脸识别子网络级联的主要原因，人脸复原子网络中的每个RBLK之间协同去除输入图像的各种退化效果，传递到后面的上采样模块Upsample中进行分辨率扩大四倍，这是一个不断的对图像进行微调的过程。同时，在每一个RBLK中，采用的是残差单元，主要是为了在网络加深的时候，避免梯度消失的问题。
(2)本实施例引入人脸识别子网络来克服人脸复原后的个体身份特征不准确的问题，对于人脸复原子网络的输出图像，重新输入到人脸识别子网络中，通过多个MFM模块对特征的逐步提取，获得输入图像的预测个体标签与真实标签计算交叉熵损失，判断复原后的人脸图像是否还是同一个个体标签类型。
(3)本实施例使用一个长的跳跃连接，将人脸复原子网络的中低级语义特征与人脸识别子网络的低级语义特征相融合，以加强人脸识别子网络对于复原后图像的特征提取。人脸识别子网络在训练的过程中，一方面可以从复原后的图像中提取特征，另一方面还能从复原子网络中的中低级语义特征获得更多人脸的语义信息，从而指导人脸识别子网络更好地训练，即保留了大量细节信息的特征可以传输到网络后面，以免细节信息的过度丢失。
(4)本实施例采用人脸复原子网络与人脸识别子网络相结合的方式，在深度网络的前向传播过程中人脸复原子网络的输出让人脸识别子网络学习到更多人脸的特征细节，而在深度网络的反向传播过程中人脸识别子网络给人脸复原子网络提供了深度人脸识别监督信息，同时长的跳跃连接也加强了上述特征学习和传播过程，使得人脸复原子网络不仅恢复出高清的人脸图像，而且还保持原有的人脸个体身份特征，使得复原后的人脸图像能够在多数人脸识别、人脸检测的场景中良好的使用。
本实施例还提供一种人脸图像复原系统，包括：
图像复原模块，用于获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；
所述人脸复原子网络在训练过程中，引入人脸识别子网络；
所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数。
本实施例的一种人脸图像复原系统，可执行本发明方法实施例所提供的一种人脸图像复原方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还包括一种人脸图像复原装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种人脸图像复原装置，可执行本发明方法实施例所提供的一种人脸图像复原方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上所述的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种人脸图像复原方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种人脸图像复原方法，其特征在于，包括以下步骤：
获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；
所述人脸复原子网络在训练过程中，引入人脸识别子网络；
所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数；所述人脸复原子网络包括复合残差网络，所述复合残差网络包括多个残差模块，每个残差模块提取不同深层的特征，所述人脸复原子网络对人脸图像进行复原的步骤，包括：
输入人脸图像I，对所述人脸图像I进行卷积处理，得到输出特征图X0；
将所述得到输出特征图X0输入第一个残差模块RBLK1中，得到输出特征图X1；
依次将上一个残差模块输出的特征图输入下一个残差模块，得到对应的特征图；
经过第n个残差模块后，得到输出特征图Xn，将特征图X0与特征图Xn进入融合，得到特征图Xn+1；
对所述特征图Xn+1进行上采样，得到特征图Xn+2；
对所述特征图Xn+2进行卷积处理，得到复原的人脸图像R；
所述人脸识别子网络对复原的人脸图像R进行特征提取的步骤，包括：
A1、将复原的人脸图像R和真实的高清人脸图像G进行卷积处理后，获得特征图Y1；
A2、对特征图Y1进行融合处理：对特征图Y1进行经过平均池化操作和最大池化操作后，获得特征图Y2和特征图Y3，将特征图Y2和特征图Y3进行融合获得特征图Y4；
A3、对特征图Y4进行分裂处理：对特征图Y4进行卷积处理，获得特征图Y5，将特征图Y5根据通道数一分为二，得到特征图Y6和特征图Y7，将特征图Y6和特征图Y7通过MAX操作函数获得特征图Y8；
A4、对特征图Y8进行分裂处理，获得特征图Y9；对特征图Y9进行分裂处理，获得特征图Y10；对特征图Y10进行分裂处理，获得特征图Y11；对特征图Y11进行分裂处理，获得特征图Y12；
A5、对特征图Y12进行融合处理，获得特征图Y13；
A6、将步骤A3-A5合并为一个MFM模块，作为第一个MFM模块，将特征图Y13与特征图X15进行融合获得特征图Y14；
A7、将特征图Y14输入第二个MFM模块，获得特征图Y15；
A8、将特征图Y15输入第三个MFM模块，获得特征图Y16，所述第三个MFM模块不包括池化层；
A9、将特征图Y16输入第三个MFM模块，获得特征图Y17；
A10、将特征图Y17输入第一个全连接层，获得特征图Y18；
A11、将特征图Y18输入第二个全连接层，获得预测个体身份标签Y19。
2.根据权利要求1所述的一种人脸图像复原方法，其特征在于，在人脸复原子网络在训练过程中，还引入了长跳跃连接；
所述长跳跃连接用于将所述人脸复原子网络和所述人脸识别子网络提取的语义特征进行融合，以加强将所述人脸复原子网络和所述人脸识别子网络对特征的学习和传播能力；
在对所述人脸复原子网络训练结束后，包括：
保留所述人脸复原子网络，去除所述人脸识别子网络。
3.根据权利要求1所述的一种人脸图像复原方法，其特征在于，所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，包括：
将复原后的人脸图像输入所述人脸识别子网络进行特征提取；
根据提取的特征预测出所述人脸图像的个体身份标签，根据预测的个体身份标签与真实标签计算损失函数；
将所述损失函数产生的梯度反向传播至所述人脸复原子网络，指导所述人脸复原子网络学习生成具有相同个体身份特征识别的能力。
4.根据权利要求3所述的一种人脸图像复原方法，其特征在于，所述根据预测的个体身份标签与真实标签计算损失函数，包括：
根据预测的个体身份标签值与真实的人脸图像个体身份标签值D求交叉熵损失误差；
求解公式如下：
其中d为数据集的标签值，di为数据集中的第i个标签值，与其他所有的标签值dj计算交叉熵损失误差，而深度人脸识别监督的损失Lrec为复原后的人脸图像预测标签与真实的人脸图像标签共同的交叉熵损失误差的加权和，α1和α2为权重。
5.根据权利要求1所述的一种人脸图像复原方法，其特征在于，对所述人脸复原子网络训练的步骤中还包括对训练样本预处理的步骤，包括：
获取数据集，随机从所述数据集中获取图像对，对所述图像对进行变换处理，
所述变换处理包括角度旋转处理、尺寸缩放处理和镜像处理中的至少一种；
对所述图像对进行正则化处理。
6.一种人脸图像复原系统，其特征在于，包括：
图像复原模块，用于获取待复原的人脸图像，采用经过训练的人脸复原子网络对所述人脸图像进行复原，获得复原的人脸图像；
所述人脸复原子网络在训练过程中，引入人脸识别子网络；
所述人脸识别子网络对复原的人脸图像进行特征提取，根据提取的特征对所述人脸复原子网络进行识别监督，以优化所述人脸复原子网络的网络参数；所述人脸复原子网络包括复合残差网络，所述复合残差网络包括多个残差模块，每个残差模块提取不同深层的特征，所述人脸复原子网络对人脸图像进行复原的步骤，包括：
输入人脸图像I，对所述人脸图像I进行卷积处理，得到输出特征图X0；
将所述得到输出特征图X0输入第一个残差模块RBLK1中，得到输出特征图X1；
依次将上一个残差模块输出的特征图输入下一个残差模块，得到对应的特征图；
经过第n个残差模块后，得到输出特征图Xn，将特征图X0与特征图Xn进入融合，得到特征图Xn+1；
对所述特征图Xn+1进行上采样，得到特征图Xn+2；
对所述特征图Xn+2进行卷积处理，得到复原的人脸图像R；
所述人脸识别子网络对复原的人脸图像R进行特征提取的步骤，包括：
A1、将复原的人脸图像R和真实的高清人脸图像G进行卷积处理后，获得特征图Y1；
A2、对特征图Y1进行融合处理：对特征图Y1进行经过平均池化操作和最大池化操作后，获得特征图Y2和特征图Y3，将特征图Y2和特征图Y3进行融合获得特征图Y4；
A3、对特征图Y4进行分裂处理：对特征图Y4进行卷积处理，获得特征图Y5，将特征图Y5根据通道数一分为二，得到特征图Y6和特征图Y7，将特征图Y6和特征图Y7通过MAX操作函数获得特征图Y8；
A4、对特征图Y8进行分裂处理，获得特征图Y9；对特征图Y9进行分裂处理，获得特征图Y10；对特征图Y10进行分裂处理，获得特征图Y11；对特征图Y11进行分裂处理，获得特征图Y12；
A5、对特征图Y12进行融合处理，获得特征图Y13；
A6、将步骤A3-A5合并为一个MFM模块，作为第一个MFM模块，将特征图Y13与特征图X15进行融合获得特征图Y14；
A7、将特征图Y14输入第二个MFM模块，获得特征图Y15；
A8、将特征图Y15输入第三个MFM模块，获得特征图Y16，所述第三个MFM模块不包括池化层；
A9、将特征图Y16输入第三个MFM模块，获得特征图Y17；
A10、将特征图Y17输入第一个全连接层，获得特征图Y18；
A11、将特征图Y18输入第二个全连接层，获得预测个体身份标签Y19。
7.一种人脸图像复原装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-5任一项所述方法。
8.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110173430.3A CN112801912B (zh) | 2021-02-09 | 2021-02-09 | 一种人脸图像复原方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110173430.3A CN112801912B (zh) | 2021-02-09 | 2021-02-09 | 一种人脸图像复原方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801912A CN112801912A (zh) | 2021-05-14 |
| CN112801912B true CN112801912B (zh) | 2023-10-31 |
Family
ID=75814857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110173430.3A Active CN112801912B (zh) | 2021-02-09 | 2021-02-09 | 一种人脸图像复原方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801912B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658076B (zh) * | 2021-08-18 | 2022-08-02 | 中科天网（广东）科技有限公司 | 基于特征纠缠调制的图像复原方法、装置、设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN111429403A (zh) * | 2020-02-26 | 2020-07-17 | 北京航空航天大学杭州创新研究院 | 一种基于机器视觉的汽车齿轮成品缺陷检测方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN112132959A (zh) * | 2020-09-25 | 2020-12-25 | 东北石油大学 | 数字岩心图像处理方法、装置、计算机设备及存储介质 |
| CN112232309A (zh) * | 2020-12-08 | 2021-01-15 | 飞础科智慧科技(上海)有限公司 | 用于热像人脸识别的方法、电子设备和存储介质 |
-
2021
- 2021-02-09 CN CN202110173430.3A patent/CN112801912B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN111429403A (zh) * | 2020-02-26 | 2020-07-17 | 北京航空航天大学杭州创新研究院 | 一种基于机器视觉的汽车齿轮成品缺陷检测方法 |
| CN112132959A (zh) * | 2020-09-25 | 2020-12-25 | 东北石油大学 | 数字岩心图像处理方法、装置、计算机设备及存储介质 |
| CN112232309A (zh) * | 2020-12-08 | 2021-01-15 | 飞础科智慧科技(上海)有限公司 | 用于热像人脸识别的方法、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络改进的图像自动分割方法;温佩芝;苗渊渊;周迎;冯丽园;;计算机应用研究(09);第294-298页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801912A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Multi-scale boosted dehazing network with dense feature fusion | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| CN111199522B (zh) | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN112801901B (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN113592736B (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
| Zhang et al. | Gated fusion network for degraded image super resolution | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| Ye et al. | Depth super-resolution with deep edge-inference network and edge-guided depth filling | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| Niu et al. | Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding | |
| CN113269722A (zh) | 生成对抗网络的训练方法、及高分辨率图像重建方法 | |
| Fang et al. | High-resolution optical flow and frame-recurrent network for video super-resolution and deblurring | |
| Wang et al. | Joint framework for single image reconstruction and super-resolution with an event camera | |
| CN113421186A (zh) | 使用生成对抗网络的非监督视频超分辨率的设备和方法 | |
| CN116385283A (zh) | 一种基于事件相机的图像去模糊方法及系统 | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| CN112801912B (zh) | 一种人脸图像复原方法、系统、装置及存储介质 | |
| Lee et al. | Wide receptive field and channel attention network for jpeg compressed image deblurring | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Zhang et al. | Iterative multi‐scale residual network for deblurring | |
| Dong et al. | GAN Based Image Inpainting Methods: A Taxonomy | |
| Ranganath et al. | Recurrent nerual imaging: An evolutionary approach for mixed possion-gaussian image denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |