CN113160061A - 一种由模糊监控视频重建高分辨率人脸图像的方法与系统 - Google Patents

一种由模糊监控视频重建高分辨率人脸图像的方法与系统 Download PDF

Info

Publication number
CN113160061A
CN113160061A CN202110539509.3A CN202110539509A CN113160061A CN 113160061 A CN113160061 A CN 113160061A CN 202110539509 A CN202110539509 A CN 202110539509A CN 113160061 A CN113160061 A CN 113160061A
Authority
CN
China
Prior art keywords
image
face
module
network
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110539509.3A
Other languages
English (en)
Other versions
CN113160061B (zh
Inventor
鲍虎军
王小龙
徐晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110539509.3A priority Critical patent/CN113160061B/zh
Publication of CN113160061A publication Critical patent/CN113160061A/zh
Application granted granted Critical
Publication of CN113160061B publication Critical patent/CN113160061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种由模糊监控视频重建高分辨率人脸图像的方法与系统，具体过程包括：1、采用人脸检测技术提取监控视频中人脸图像，并对图像进行直方图均衡、尺寸调整等预处理；2、构建级联生成式对抗网络模型，实现了端到端的模糊人脸重建功能，该模型包含1个图像增强模块、2个图像放大模块和1个图像优化模块，分别实现了模糊人脸图像的增强、图像放大功能和图像优化功能；3、基于编解码网络结构构建了级联生成式对抗网络模型中的功能模块，实现在人脸图像各层次特征中填充特征细节，并通过正反馈结构保留模糊人脸图像中原始特征。

Description

一种由模糊监控视频重建高分辨率人脸图像的方法与系统
技术领域
本发明涉及利用常规监控摄像头采集视频数据，利用图像处理及深度学习技术，实现监控视频图像中模糊人脸重建。
背景技术
当前，采用深度学习技术重建模糊人脸图像具有较高的实用价值，因此是当前研究的热点和难点。大量监控设备的敷设是维护社会稳定的有力措施，但是监控设备录制视频容易受到物体运动、天气、距离及光照等因素的影响，导致监控捕捉得到人脸图像存在模糊难辨的问题，一定程度上增加了识别的难度。目前，基于生成式深度学习模型，以高精度重建监控视频模糊人脸图像为目标的研究少，缺乏具有较高实用价值的研究成果。
为此，本发明基于生成式对抗网络在生成高清人脸方面的技术优势，采用级联式网络结构模型，在确保最大程度保留原始模糊人脸图像五官、面部轮廓等重要特征的基础上，实现人脸图像增强、细节特征填充、放大及优化功能，从而实现了高精度重建监控视频中模糊人脸图像。
发明内容
为了提高人脸识别性能，本发明提出一种由模糊监控视频重建高分辨率人脸图像的方法与系统，该方法基于监控摄像头拍摄视频，实现对监控视频中模糊人脸图像的重建。
本发明的目的是通过以下技术方案来实现的：
本发明的其中一个目的在于提供一种由模糊监控视频重建高分辨率人脸图像的方法，包括以下步骤：
1)检测视频帧图像中人面部区域，得到模糊人脸图像；
2)对模糊人脸图像进行预处理，包括尺寸调整及直方图均衡；
3)利用由图像增强模块、一级图像放大模块、二级图像放大模块和图像优化模块构建的级联模糊人脸重建模型，得到高分辨率人脸图像；具体为：
3.1)图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出增强人脸图像；
3.2)一级图像放大模块：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像；
3.3)二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像；
3.4)图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像。
本发明的另一个目的在于提供一种基于上述方法的由模糊监控视频重建高分辨率人脸图像的系统，包括：
人脸图像提取模块，其用于检测视频帧图像中人面部区域，获得模糊人脸图像；
人脸图像预处理模块，其用于对获取得到的人脸图像模块进行预处理，包括尺寸调整及直方图均衡；
级联模糊人脸重建模型模块，其用于将预处理后的模糊人脸图像进行增强、放大和优化，得到高分辨率人脸图像；所述的级联模糊人脸重建模型模块包括：
图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出增强人脸图像；
一级图像放大模块：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像；
二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像；
图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像。
与现有技术相比，本发明的优势在于：
(1)基于生成式网络模型，提供了一种端到端的监控视频模糊人脸图像重建方法，采用多任务和有指导的方式对级联模型进行训练，实现了高精度恢复监控视频模糊人脸的能力，具备较高的实用价值；
(2)在图像增强模块中采用蒙版的方式，在滤除高频噪声干扰的同时，实现了随机调整输入模型图像的质量，增加了模型学习的难度，防止模型过拟合的同时，增强了该模糊人脸重建模型的鲁棒性；
(3)通过引入AdaIN结构(风格转换结构)和随机噪声，对图像增强阶段和图像放大阶段人脸部细节特征进行补充，提升了重建人脸图像的真实感；
(4)基于多任务的模型训练方式，实现通过第一级人脸放大模块同时输出人脸图像分割和人脸图像放大结果，并将输出结果作为第二级人脸放大模块的输入，最大程度上保留监控视频模糊人脸的五官特征；
(5)编解码网络结构中采用正反馈结构，将编码网络图像特征连接到解码网络图像特征，减少编解码过程中的信息损失，减少监控视频模糊人脸五官特征的损失。
附图说明
图1是本发明的模糊人脸重建流程示意图；
图2是本发明实施例中的图像增强模块结构示意图；
图3是本发明实施例中的一级图像放大模块结构示意图；
图4是本发明实施例中的二级图像放大模块结构示意图；
图5是本发明实施例中的图像优化模块结构示意图；
图6是本发明实施例中的判别网络模型结构示意图。
具体实施方式
下面结合附图对本发明进行进一步的描述。
一种由模糊监控视频重建高分辨率人脸图像的方法，如图1所示，包括以下步骤：
(1)模糊人脸图像提取：采用MTCNN模型从监控视频中提取人脸图像。
facei＝MTCNN(framei) (1)
式中，framei表示视频第i帧图像，facei表示从视频第i帧图像提取得到的人脸图像。
(2)模糊人脸图像预处理：对监控视频帧图像进行直方图均衡以及尺寸调整，如公式2、3所示：
face_resizei＝Scale(facei) (2)
face_enhi＝Hist(face_resizei) (3)
式中，Scale()表示图像尺寸调整函数，Hist()表示直方图均衡函数，face_resizei表示尺寸调整后的人脸图像，face_enhi表示直方图均衡后的人脸图像，下角标i表示该人脸图像属于视频中第i帧图像。
(3)级联模糊人脸重建模型。该模型包括图像增强模块、图像放大模块及图像优化模块。其中，所有模块均采用编解码网络结构和AdaIN结构，构成端到端的模糊人脸重建模型。
(3.1)图像增强模块。其结构如图2所示，主要用于：1、消除模糊人脸图像中存在的噪声，完成图像信号的初步提纯；2、在模块中添加人脸蒙版层，用于控制模型训练的难度系数，实现根据不同要求调节模型生成人脸图像能力。
其工作过程为：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出增强人脸图像，用下述公式表示：
Figure BDA0003071138990000041
Figure BDA0003071138990000042
公式4、5中，Facemask()表示人脸蒙版函数，其实现形式如公式6所示，FaceEnh()表示图像增强模块，其中包含了第一编解码网络和图像优化层。
Figure BDA0003071138990000043
表示经过人脸蒙版层处理后的图像，
Figure BDA0003071138990000044
表示图像增强模块输出结果，noise表示输入随机噪声。在步骤(3.1.1)至步骤(3.1.3)中将分别对公式4、5的具体实现形式进行阐述。
(3.1.1)人脸蒙版层采用低通滤波器实现，如公式6所示：
Figure BDA0003071138990000045
公式6中，LPF表示低通滤波器，m1、m2表示滤波器尺度，pic表示目标图像。
(3.1.2)图像增强模块中采用第一编解码网络和正反馈结构，最大程度上保留原始模糊人脸图像特征，并实现人脸细节特征补充。
本实施例中，第一编解码网络结构由3个编码器和3个解码器级联构成，计算公式为：
Figure BDA0003071138990000046
Figure BDA0003071138990000047
公式7、8中，encoder()、decoder()分别表示编解码器，feat表示编解码器输入特征，feati，i∈[1,6]，括号内的feati作为输入特征，括号外的feati作为输出特征，noise表示在编解码过程中注入随机噪声；feat6作为第一编解码网络的输出。
其中，编解码器采用公式9、10所示形式实现。
encoder(feati)＝downsample(ResNet(feati,noise)) (9)
decoder(feati)＝upsample(ResNet(feati,noise)) (10)
公式9、10中，downsample()、upsample()分别表示特征降采样和特征插值函数，ResNet()表示残差网络结构，feati表示输入特征。
(3.1.3)增强模块最后一层添加图像优化层。
Figure BDA0003071138990000051
其中，refinelayer()表示图像优化层，采用3层残差网络模块实现。
Figure BDA0003071138990000052
表示增强模块输出图像，feat6表示图像增强模块中第一编解码网络的输出特征。
(3.2)图像放大模块。主要用于对模糊人脸图像的放大和细节特征填充。该模块包含两级级联放大子网络模块，分别实现对图像的倍次放大。
Figure BDA0003071138990000053
Figure BDA0003071138990000054
公式12、13表示两级级联放大模块基本形式，FaceAmp1()表示对图像进行第一级放大，FaceAmp2()表示对图像进行第二级放大，
Figure BDA0003071138990000055
表示人脸图像五官区域分割二值图像集合。在步骤(3.2.1)至步骤(3.2.2)中将分别对公式12、13的实现形式进行阐述。
(3.2.1)一级图像放大模块，其结构如图3所示。工作方式为：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像。
其采用的第二编解码网络结构具体形式如公式14至17所示。
Figure BDA0003071138990000056
Figure BDA0003071138990000057
encoder(feati)＝downsample(ResNet(feati,noise)) (16)
decoder(feati)＝upsample(ResNet(feati,noise)) (17)
其中，encoder()、decoder()分别表示编码器和解码器，feat表示编解码器输入特征，feati，i∈[1,7]，括号内的feati作为输入特征，括号外的feati作为输出特征；noise表示在编解码过程中注入的随机噪声，其中feat7作为第二编解码网络的输出。
在此基础上，进一步利用图像优化层和人脸分割层对第二编解码网络输出结果进行图像优化和人脸五官区域分割，如公式18、19所示。
Figure BDA0003071138990000058
Figure BDA0003071138990000059
公式18、19中，refinelayer()、faceseglayer()分别表示图像优化层和人脸分割层，分别采用3层残差网络模块实现。
Figure BDA0003071138990000061
和
Figure BDA0003071138990000062
分别表示图像优化层和人脸分割层输出结果。feat7表示一级图像放大模块中第二编解码网络输出特征。
(3.2.2)二级图像放大模块，其结构如图4所示。工作方式为：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像。
其采用的第三编解码网络具体形式如公式14至17所示，同时将一级图像放大模块输出的一级人脸放大图像和人脸五官区域分割结果作为输入，其形式如公式13所示。
将第三编解码网络输出特征再经过优化层处理后输出结果，如公式20所示。
Figure BDA0003071138990000063
公式20中，
Figure BDA0003071138990000064
表示二级图像放大模块输出结果。feat7表示二级图像放大模块中第三编解码网络输出特征。
(3.3)图像优化模块，其结构如图5所示，其用于提升图像质量，主要由第四编解码网络和图像优化层构成，工作方式为：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像。其构成形式如公式7至11所示。
Figure BDA0003071138990000065
公式21中，FaceRef()表示图像优化模块。
Figure BDA0003071138990000066
表示图像优化模块输出结果。
(4)判别网络模型，其结构如图6所示，在训练级联模糊人脸重建模型时使用，用于判别级联人脸重建模型输出人脸是否符合要求，与级联人脸重建模型构成了生成式对抗网络。
Figure BDA0003071138990000067
公式22中，res表示人脸是否准确的置信度，Dis()表示判别网络模型，主要由特征降采样网络和sigmoid()层构成，如公式23、24所示。
Figure BDA0003071138990000068
res＝sigmoid(featDis) (24)
公式23、24中，featDis表示判别网络模型中的特征采样网络的输出结果，downsample()表示特征降采样，ResNet()表示残差网络模块，sigmoid()表示激活函数，res表示人脸是否准确的置信度。
本实施例中，上述中存在可训练参数的模块或算法均需要训练，采用多任务和有指导训练方式，训练好的级联模糊人脸重建模型可以直接通过下述步骤输出高分辨率人脸图像：
1)检测视频帧图像中人面部区域，得到模糊人脸图像face＝MTCNN(frame)。
2)对模糊人脸图像进行预处理，包括尺寸调整face_resize＝Scale(face)及直方图均衡face_enh＝Hist(face_resize)。
3)利用由图像增强模块、一级图像放大模块、二级图像放大模块和图像优化模块构建的级联模糊人脸重建模型，得到高分辨率人脸图像；具体为：
3.1)图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，得到经过人脸蒙版层处理后的图像
Figure BDA0003071138990000071
然后采用第一编解码网络和图像优化层输出增强人脸图像
Figure BDA0003071138990000072
3.2)一级图像放大模块：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像
Figure BDA0003071138990000073
3.3)二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像
Figure BDA0003071138990000074
3.4)图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像
Figure BDA0003071138990000075
与前述的由模糊监控视频重建高分辨率人脸图像的方法的实施例相对应，本申请还提供了一种由模糊监控视频重建高分辨率人脸图像的系统的实施例，其至少包括：
人脸图像提取模块，其用于检测视频帧图像中人面部区域，获得模糊人脸图像；
人脸图像预处理模块，其用于对获取得到的人脸图像模块进行预处理，包括尺寸调整及直方图均衡；
级联模糊人脸重建模型模块，其用于将预处理后的模糊人脸图像进行增强、放大和优化，得到高分辨率人脸图像；所述的级联模糊人脸重建模型模块包括：
图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出增强人脸图像；
一级图像放大模块：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像；
二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像；
图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像。
为了实现端到端的训练，该系统还包括：
判别网络模型模块，由特征降采样网络和激活函数层构成，与所述的级联模糊人脸重建模型模块构成生成式对抗网络；
训练模块，其基于判别网络模型模块，对级联模糊人脸重建模型模块进行训练。
在本发明的一项具体实施中，所述的第一编码网络采用3个编码器和3个解码器组合，第二编码网络采用3个编码器和4个解码器组合，第三编码网络采用3个编码器和4个解码器组合，第四编码网络采用3个编码器和3个解码器组合。
关于上述实施例中的系统，其中各个单元或模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为级联模糊人脸重建模型模块，可以是或者也可以不是物理上分开的。另外，在本发明中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的模块或单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。
在本发明的一项具体实施中，按照附图1的流程，可依次获得图2-5所给出的人脸图像结果，首先将调整好尺寸和直方图均衡的模糊人脸图像作为图2的输入，可从输出图像中看出原始图像得到了明显的增强效果。进一步使用两级图像放大模块依次放大图像，在放大过程中通过更多的人脸特征细节填充避免了像素损失，最后经图5优化后得到了高分辨率的人脸图像，清晰度高，效果好。
以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，包括以下步骤：
1)检测视频帧图像中人面部区域，得到模糊人脸图像；
2)对模糊人脸图像进行预处理，包括尺寸调整及直方图均衡；
3)利用由图像增强模块、一级图像放大模块、二级图像放大模块和图像优化模块构建的级联模糊人脸重建模型，得到高分辨率人脸图像；具体为：
3.1)图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出人脸增强图像；
3.2)一级图像放大模块：将人脸增强图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像；
3.3)二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像；
3.4)图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出高分辨率人脸图像。
2.根据权利要求1所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，所述的级联模糊人脸重建模型在训练时，通过判别网络模型，与所述的级联模糊人脸重建模型构成生成式对抗网络，对级联模糊人脸重建模型进行训练。
3.根据权利要求2所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，将级联模糊人脸重建模型输出的结果作为判别网络模型的输入，计算人脸是否准确的置信度；所述的判别网络模型由特征降采样网络和激活函数层构成，计算公式为：
Figure FDA0003071138980000011
res＝sigmoid(featDis) (24)
其中，
Figure FDA0003071138980000012
表示级联模糊人脸重建模型输出的结果，featDis表示判别网络模型中的特征采样网络的输出结果，downsample()表示特征降采样，ResNet()表示残差网络结构，sigmoid()表示激活函数，res表示置信度。
4.根据权利要求1所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，所述的第一编解码网络和第四编码网络由3个编码器和3个解码器级联构成，计算公式为：
Figure FDA0003071138980000021
Figure FDA0003071138980000022
其中，encoder()、decoder()分别表示编码器和解码器，feat表示输入特征，feati，i∈[1,6]，括号内的feati作为输入特征，括号外的feati作为输出特征；noise表示在编解码过程中注入的随机噪声，feat6作为第一或第四编解码网络的输出。
5.根据权利要求1所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，所述的图像增强模块中的人脸蒙板层采用低通滤波器实现，公式为：
Figure FDA0003071138980000023
式中，LPF表示低通滤波器，m1、m2表示滤波器尺度，pic表示目标图像，Facemask表示人脸蒙版结果。
6.根据权利要求1所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，所述的第二编解码网络和第三编码网络由3个编码器和4个解码器级联构成，计算公式为：
Figure FDA0003071138980000024
Figure FDA0003071138980000025
其中，encoder()、decoder()分别表示编码器和解码器，feat表示编解码器输入特征，feati，i∈[1,7]，括号内的feati作为输入特征，括号外的feati作为输出特征；noise表示在编解码过程中注入的随机噪声，其中feat7作为第二或第三编解码网络的输出。
7.根据权利要求4或6所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，所述的编码器和解码器的公式表示为：
encoder(feati)＝downsample(ResNet(feati,noise)) (9)
decoder(feati)＝upsample(ResNet(feati,noise)) (10)
其中，downsample()、upsample()分别表示特征降采样和特征插值函数，ResNet()表示残差网络结构，feati表示输入特征。
8.根据权利要求1所述的由模糊监控视频重建高分辨率人脸图像的方法，其特征在于，在一级图像放大模块中，将第二编解码网络的输出结果分别作为图像优化层和人脸分割层的输入，得到一级人脸放大图像和人脸分割图像。
9.一种基于权利要求1所述方法的由模糊监控视频重建高分辨率人脸图像的系统，其特征在于，包括：
人脸图像提取模块，其用于检测视频帧图像中人面部区域，获得模糊人脸图像；
人脸图像预处理模块，其用于对获取得到的人脸图像模块进行预处理，包括尺寸调整及直方图均衡；
级联模糊人脸重建模型模块，其用于将预处理后的模糊人脸图像进行增强、放大和优化，得到高分辨率人脸图像；所述的级联模糊人脸重建模型模块包括：
图像增强模块：首先对预处理后的模糊人脸图像进行人脸蒙板层处理，然后采用第一编解码网络和图像优化层输出增强人脸图像；
一级图像放大模块：将增强人脸图像作为输入，采用第二编解码网络、图像优化层和人脸分割层输出一级人脸放大图像和人脸分割图像；
二级图像放大模块：将一级人脸放大图像和人脸分割图像作为输入，采用第三编解码网络和图像优化层输出二级人脸放大图像；
图像优化模块：将二级人脸放大图像作为输入，引入随机噪声，采用第四编解码网络和图像优化层输出重建后的高分辨率人脸图像。
10.根据权利要求9所述的由模糊监控视频重建高分辨率人脸图像的系统，其特征在于，还包括：
判别网络模型模块，由特征降采样网络和激活函数层构成，与所述的级联模糊人脸重建模型模块构成生成式对抗网络；
训练模块，其基于判别网络模型模块，对级联模糊人脸重建模型模块进行训练。
CN202110539509.3A 2021-05-18 2021-05-18 一种由模糊监控视频重建高分辨率人脸图像的方法与系统 Active CN113160061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539509.3A CN113160061B (zh) 2021-05-18 2021-05-18 一种由模糊监控视频重建高分辨率人脸图像的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539509.3A CN113160061B (zh) 2021-05-18 2021-05-18 一种由模糊监控视频重建高分辨率人脸图像的方法与系统

Publications (2)

Publication Number Publication Date
CN113160061A true CN113160061A (zh) 2021-07-23
CN113160061B CN113160061B (zh) 2022-04-19

Family

ID=76876323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539509.3A Active CN113160061B (zh) 2021-05-18 2021-05-18 一种由模糊监控视频重建高分辨率人脸图像的方法与系统

Country Status (1)

Country Link
CN (1) CN113160061B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
WO2020231401A1 (en) * 2019-05-13 2020-11-19 Huawei Technologies Co., Ltd. A neural network for head pose and gaze estimation using photorealistic synthetic data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
WO2020231401A1 (en) * 2019-05-13 2020-11-19 Huawei Technologies Co., Ltd. A neural network for head pose and gaze estimation using photorealistic synthetic data
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法

Also Published As

Publication number Publication date
CN113160061B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN112348766B (zh) 一种用于监控视频增强的渐进式特征流深度融合网络
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN110059768A (zh) 用于街景理解的融合点与区域特征的语义分割方法及系统
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN114093013B (zh) 一种深度伪造人脸逆向溯源方法及系统
Yin et al. Dynamic difference learning with spatio-temporal correlation for deepfake video detection
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117409476A (zh) 一种基于事件相机的步态识别的方法
CN113160061B (zh) 一种由模糊监控视频重建高分辨率人脸图像的方法与系统
CN113269167B (zh) 一种基于图像分块打乱的人脸伪造检测方法
CN114612456B (zh) 一种基于深度学习的钢坯自动语义分割识别方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN114005157A (zh) 一种基于卷积神经网络的像素位移向量的微表情识别方法
CN110188706B (zh) 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN111950496A (zh) 一种蒙面人身份识别方法
CN113688715A (zh) 面部表情识别方法及系统
CN113435315A (zh) 一种基于双路神经网络特征聚合的表情识别方法
CN116385837B (zh) 基于掩码自编码器进行远程生理测量的自监督预训练方法
Maity et al. A Survey on Super Resolution for video Enhancement Using GAN
CN117690118A (zh) 一种基于深度伪造产物检测模型的检测方法及其系统
CN116385259A (zh) 基于gan网络的图像风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant