CN109671023B - 一种人脸图像超分辨率二次重建方法 - Google Patents
一种人脸图像超分辨率二次重建方法 Download PDFInfo
- Publication number
- CN109671023B CN109671023B CN201910066657.0A CN201910066657A CN109671023B CN 109671023 B CN109671023 B CN 109671023B CN 201910066657 A CN201910066657 A CN 201910066657A CN 109671023 B CN109671023 B CN 109671023B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- face
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000002776 aggregation Effects 0.000 claims abstract description 11
- 238000004220 aggregation Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims abstract description 5
- 238000013441 quality evaluation Methods 0.000 claims abstract 4
- 230000006870 function Effects 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims 2
- 239000003086 colorant Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000013210 evaluation model Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 8
- 238000001303 quality assessment method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像超分辨率二次重建方法，首先对采集的监控视频进行人脸检测与目标提取，获得一定量(20‑30帧)的目标人脸图像，基于评估模型对获取的图像进行质量评估，择优选择多帧(3‑5帧)。其次对上述结果进行超分辨率重建，使多帧图像合成为一高质量虚拟图像。再次构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于学习高分辨率样本图像与相应低分辨图像的映射关系；该模型以去除池化层的inception结构为基础，采用了降低学习难度的残差学习思想，使用了可以全面提取特征的多尺度聚合模块并加入反卷积层代替插值操作。最后用第三步的训练模型对第二步进行训练，得到高分辨率人脸图像。本发明能在可控的训练时间内，提高重建效果。
Description
技术领域
本发明涉及图像处理和计算机视觉技术，具体涉及人脸图像超分辨率二次重建方法。
背景技术
近年来，公共场所的安全问题一直是一个备受人们关注的问题，特别是在人口密集的场所。国家为了城市管理和治安防控，提出了天网工程。因此，以后的监控系统会越来越普及。
由于拍摄距离和角度及监控设备本身的分辨率等问题，产生的人脸图像有时会模糊、残缺、噪声多、尺寸小，影响识别。
超分辨率重建就是由一幅或多幅低分辨率图像通过软件方法处理得到高分辨率图像，以利于识别。
现在常用的超分辨率重建技术可以概括为以下两种：基于重构和基于学习。
其中基于重构的方法通过对图像采集的过程建模，再利用一些从图像中获取的先验知识来约束求解过程。主要的重建模型框架有以傅里叶变换为基础框架(Tsai andHuang,1984)、迭代反投影法(Irani and Peleg,1991)、凸集投影法(Stark and Oskoui,1989)、最大似然法(Tom and Katsaggelos,1994)、最大后验估计法(Schulltz andStevenson,1996；Yuan et al.,2010)等,当前绝大多数超分辨率重建方法都是以这些模型方法中的一个或多个为基础在不同的理论和应用方面的进一步发展。
传统的思路为先求解运动位移矢量和模糊函数的参数后再进行超分辨率重建。后来，学者们提出对参数矢量和超分辨率图像进行联合求解，如沈焕锋将图像配准直接在高分辨率图像网格上进行，Segall等提出了对运动参数和超分辨率图像同时求解的方法等。这些方法利用参数与超分辨率图像之间的关系相互制约、相互促进、逐步迭代，使得求解向着有利的方向发展，得到最终的参数及超分辨率图像的最优解。
基于学习的方法为通过学习高低分辨率图像之间的映射关系对低分辨率图像进行超分辨率重建。其中，基于深度学习的方法比传统的方法具有更强大的表征能力脱颖而出，特别是从卷积神经网络引入超分辨率重建开始(Dong，Loy C，He K，et al.2014)。
发明内容
本发明的目的是将从监控视频中获得的低分辨率人脸图像进行重建，恢复图像的细节，以利于人脸识别，为此提出了一种人脸图像超分辨率二次重建方法。
本发明采用的技术方案是：人脸图像超分辨率二次重建方法包括以下步骤：
步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像；步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量相对较好的虚拟人脸图像；步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习。步骤4,利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。
进一步，所述步骤1具体包括：
步骤1.1，首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频；然后对一小段时间内目标人脸进行检测和提取，得到多帧目标人脸图像。
步骤1.2，通过图像质量评估模型择优选择多帧，图像质量评估模型具体内容为：
①通过矩阵的对称性来评估图像的正面性；
②通过矩阵的核范数来表示图像的清晰度；图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度。由于图像的秩近似为矩阵的核范数，所以使用核范数来表示图像的清晰度；
③利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度；
④利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小；
通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧(左右)与参考图像的运动变化最小的图像。
进一步，所述步骤2具体包括：
步骤2.1，先对择优选择出的多帧图像进行灰度化处理，减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量。
步骤2.2，使用基于重构的方法对多帧人脸图像进行超分辨率重建；多帧人脸图像超分辨率重建方法主要过程如下：
步骤2.2.1，使用运动估计方法,如光流法来对多帧人脸图像进行配准。
步骤2.2.2，对模糊函数进行求解，即对成像系统的PSF进行估计。
步骤2.2.3，选择合适的图像超分辨率重建模型，如最大后验估计方法。
步骤2.2.4，对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解，得到最优解。
进一步，所述步骤3为构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，如图2所示。
MRES模型主要包括以下内容：
①多尺度聚合模块：如图3所示，以inception结构为基础进行改变。具体变化为去除其中的池化层，并在5*5和3*3的卷积层前再添加一个1*1的卷积层。变化后的多尺度聚合模块同时使用不同大小的卷积核，可以提取不同的特征，增加了特征的多样性，并通过过滤器级联来融合来实现特征融合。
②残差块：如图4所示，采用残差学习的思想，即通过添加一个恒等映射x将学习目标H(x)＝F(x)+x变为F(x)，其中F(x)为输入图像与输出图像之间的差别，即残差。通过这种方法学习到的残差图像比较稀疏，大部分值都为0或者比较小，因此收敛速度快。残差网络可以加深网络深度，特征的等级随着网络深度加深变高。极其深的深度使该网络拥有及强大的表达能力。
③反卷积层：加入反卷积层后的网络，不需要先将输入的图片进行插值，即直接将低分辨率图像映射到高分辨率图像，加快了运行速度。如图5所示，卷积所增加的padding，全部为0，卷积后的图像是4*4，比原图2*2大了。
④激活函数：选用的激活函数为PReLU，激活函数的引入是为了增加神经网络模型的非线性。
PReLU的函数公式为f(x)＝max(ax,x)，函数图像如图6所示：
进一步，所述步骤4具体包括：
利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。
训练过程为通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现，得到需要的估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中W为第i层卷积神经网络的系数，B是第i层卷积神经网络的偏置向量，其中i＝1，…，n；n为卷积神经网络的层数。这里的损失函数可以取均方损失函数MSE。
本发明的有益效果是：
高分辨率重建图像意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取高分辨率重建图像具有重要的现实意义。因此这里提出一种通过软件的办法，即人脸图像超分辨率二次重建方法。利用图像质量评估的方法，选择相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的人脸图像，为进一步的操作打下基础。利用多帧图像超分辨率重建可以有效的利用视频中的时间信息，将其转换为空间信息。利用基于MRES模型的单帧超分辨率重建可以有效快速的恢复细节。该模型通过多尺度聚合模块添加了网络的宽度，通过残差学习的思想增加了网络的深度，通过激活函数增加了神经网络模型的非线性，即网络的学习能力得到了加强，提升超分辨率的重建效果。该模型又通过反卷积层代替输入图像插值的步骤，加快了运行速度。人脸图像超分辨率二次重建方法，能有效的降低重建及人脸识别难度，并提高其准确性。这种通过图像处理技术来提高监控视频下人脸重建效果，以利于人脸识别的技术，既能够在保留原有监控的条件下提高人脸的质量，也为后期监控视频中的人脸识别提供基础，为大规模监控及人脸识别提供技术支撑。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细说明：
图1是人脸图像超分辨率二次重建流程图。
图2是MRES模型图。
图3是多尺度聚合模型图。
图4是残差块模型图。
图5是反卷积层图。
图6是激活函数PRelu图。
图7是监控视频下某两帧包含人脸图像的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为人脸图像超分辨率二次重建流程图，其中人脸检测与目标提取的目的是为了获取目标人脸图像；图像质量评估包括对人脸图像正面性、清晰度、光照强度、尺寸大小、运动变化大小的评估，目的为择优选择多帧；超分辨率重建具体包括两部分，多帧超分辨率重建及基于MRES模型的单帧超分辨率重建；最终可以实现对监控视频中人脸图像的重建。
步骤1：获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像。
(1)调整摄像头摆放位置，获取复杂场景下监控视频中人脸图像序列。
首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频。
(2)获取视频帧，并进行人脸检测。
首先选取一小段时间内的视频，先选择第一帧作为关键帧，并且每秒获取一帧，得到相应的视频帧。其次在视频帧中使用MTCNN算法对目标人脸进行检测和提取。
(3)对目标人脸图像进行质量评估，包括正面性、清晰度、光照强度、尺寸大小、运动变化大小，使用加权和归一的方式来作为综合评价依据，从而能够有效选择较高质量的多帧来进行多帧超分辨率重建。
其中图像进行质量评估具体包括：
①通过矩阵的对称性来评估图像的正面性
由于人脸图像的对称性与矩阵的对称性是一致的，所以可以通过矩阵的对称性来评估图像的正面性。矩阵的对称性可以通过以下公式表示：
其中Y为人脸图像，Yi为第i帧人脸图像，P、Q为两个对角常数矩阵，是常系数。显然A的值越小，图像就越对称。
②通过矩阵的核范数来表示图像的清晰度
图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度。由于图像的秩近似为矩阵的核范数，所以使用核范数B来表示图像的清晰度，其中核范数的表达式为：
B＝||Yi||* (2)
③利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度
其中Y＝krR+kgG+kbB,其中kr,kg,kb为加权因子，且kr+kg+kb＝1。
④利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小
通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧(左右)与参考图像的运动变化最小的图像。
步骤2：首先对择优选择出的多帧图像进行图像灰度化，再进行多帧超分辨率重建，生成一质量较高的虚拟单帧人脸图像。
(1)将选择出的多帧图像进行灰度化处理，既可以减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量。
(2)接着采用多帧超分辨率重建的方法生成一副较高质量的虚拟单帧人脸图像。多帧人脸图像超分辨率重建方法主要过程如下：
1)图像配准。使用运动估计方法,如光流法来对多帧人脸图像进行配准。
2)模糊函数求解。即对成像系统的PSF进行估计。
3)选择重建模型。选择合适的图像超分辨率重建模型，如最大后验估计方法。
4)参数联合求解。对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解，得到最优解。
步骤3：构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES,并对样本进行训练。
(1)MRES模型如图2所示。
MRES模型具体包含以下内容：
①多尺度聚合模块：如图3所示，以inception结构为基础进行改变。具体变化为去除其中的池化层，并在5*5和3*3的卷积层前再添加一个1*1的卷积层。变化后的多尺度聚合模块同时使用不同大小的卷积核，可以提取不同的特征，增加了特征的多样性，并通过过滤器级联来融合来实现特征融合。
②残差块：如图4所示，采用残差学习的思想，即通过添加一个恒等映射x将学习目标H(x)＝F(x)+x变为F(x)，其中F(x)为输入图像与输出图像之间的差别，即残差。通过这种方法学习到的残差图像比较稀疏，大部分值都为0或者比较小，因此收敛速度快。残差网络可以加深网络深度，特征的等级随着网络深度加深变高。极其深的深度使该网络拥有及强大的表达能力。
③反卷积层：如图5所示，加入反卷积层后的网络，不需要先将输入的图片进行插值，即直接将低分辨率图像映射到高分辨率图像，加快了运行速度。如图5所示，卷积所增加的padding，全部为0，卷积后的图像是4*4，比原图2*2大了。
④激活函数：如图6所示，选用的激活函数为PReLU，激活函数的引入是为了增加神经网络模型的非线性。
PReLU的函数公式为f(x)＝max(ax,x)，函数图像如图6所示。
(2)MRES模型的训练。
基于卷积神经网络的方法为通过学习高低分辨率图像之间的映射关系对低分辨率图像进行超分辨率重建。映射函数F需要估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中W是第i(i＝1,,,,n)层卷积神经网络的系数，B是第i层卷积神经网络的偏置向量，n为卷积神经网络的层数。这是通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现的。这里的损失函数可以取均方损失函数MSE。
网络训练时，可以输入不同尺寸的图像，以使得网络可以适用于不同的输入图像尺寸。具体方法为将几个指定比例的训练数据集合并为一个大数据集，并将其作为训练样本进行训练。
优选实施例：
本发明的一个最优具体实施方式：调整摄像头摆放位置，使其尽可能在复杂场景下可以获取人脸较正面图像的视频。对目标人脸图像进行质量评估时，使用加权和归一人脸图像正面性、清晰度、光照强度、尺寸、运动变化强度的方式来作为综合评价依据，直观的选择较高质量的多帧来进行多帧超分辨率重建。进行多帧超分辨率重建时，可以将配准参数、模糊参数和超分辨率图像进行联合求解，提高重建的准确性。在此基础上可以使用基于卷积神经网络的模型MRES学习高低分辨率图像之间的映射关系F对低分辨率图像进行第二次超分辨率重建。通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现，得到需要的估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中W是第i层卷积神经网络的系数，B是第i层卷积神经网络的偏置向量，其中i＝1，…，n；n为卷积神经网络的层数。这里的损失函数可以取均方损失函数MSE。网络训练时，还可以输入不同尺寸的图像，以使得网络可以适用于不同的输入图像尺寸。具体方法为将几个指定比例的训练数据集合并为一个大数据集，并将其作为训练样本进行训练。
经上述步骤，最终实现了对监控视频中人脸图像的超分辨率重建。
综上所述，本发明的一种人脸图像超分辨率二次重建方法，属于计算机视觉和图像处理领域。本方法共包含四步，第一步对采集的监控视频进行人脸检测与目标提取，获得一定量(20-30帧)的目标人脸图像，基于评估模型对获取的图像进行质量评估，择优选择多帧(3-5帧)；第二步对优选的多帧图像进行超分辨率一次重建，具体为将多帧图像的时间信息转换为有效的空间信息，以使多帧人脸图像合成为一质量相对较好的虚拟人脸图像；第三步构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习。该模型以去除了池化层的inception结构为基础，采用残差学习思想，以多尺度聚合模块和反卷积层的使用为特色。残差学习即只进行高低分辨率图像之间的差别学习，由此降低学习难度。多尺度聚合模块首先采用不同大小的卷积核，以进行全面特征提取提取更全面，并在每一非1*1卷积层之前添加一个1*1的卷积层进行降维，以大幅减少参数量。在模型的最后使用反卷积层代替插值步骤，以减少训练时间。第四步利用第三步获得的训练模型对第二步的结果进行训练，得到最终的高分辨率人脸图像。
总结而言，本方法通过人脸图像超分辨率二次重建，能够在在可控的训练时间内，提高重建效果，为监控视频中低分辨率人脸重建提供了新思路和新方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (6)
1.人脸图像超分辨率二次重建方法，其特征在于，包括以下步骤：
步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些正面、清晰、光照强度好、尺寸大、运动变化小的图像；步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量好的虚拟人脸图像；步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建MRES模型，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习；步骤4,训练得到最终的高分辨率人脸图像；
所述步骤3的MRES模型按照模型搭建过程依次包括以下内容：
多尺度聚合模块：以inception结构为基础进行改变；具体变化为去除其中的池化层，并在5*5和3*3的卷积层前再添加一个1*1的卷积层，变化后的多尺度聚合模块同时使用不同大小的卷积核，可以提取不同的特征，增加了特征的多样性，并通过过滤器级联融合来实现特征融合；
残差块：采用残差学习的思想，即通过添加一个恒等映射x将学习目标H(x)＝F(x)+x变为F(x)，其中F(x)为输入图像与输出图像之间的差别，即残差；通过这种方法学习到的残差图像稀疏；
反卷积层：加入反卷积层后的网络，不需要先将输入的图片进行插值，即直接将低分辨率图像映射到高分辨率图像，加快了运行速度；卷积所增加的padding，全部为0，卷积后的图像是4*4，而原图是2*2；
激活函数：选用的激活函数为PReLU，激活函数的引入是为了增加神经网络模型的非线性；PReLU的函数公式为f(x)＝max(ax,x)。
2.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1具体包括：
首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频，然后对一小段时间内目标人脸进行检测和提取，得到目标人脸图像；其次通过图像质量评估模型择优选择多帧。
3.根据权利要求2所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1目标人脸图像进行质量评估的具体内容为：
通过矩阵的对称性来评估图像的正面性；
通过矩阵的核范数来表示图像的清晰度；图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度；由于图像的秩近似为矩阵的核范数，所以使用核范数来表示图像的清晰度；
利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度；
利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小；
通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧与参考图像的运动变化最小的图像。
4.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤2的具体过程为：
步骤2.1，先对择优选择出的多帧图像进行灰度化处理，减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量；
步骤2.2，使用基于重构的方法对多帧人脸图像进行超分辨率重建；多帧人脸图像超分辨率重建方法主要过程如下：
步骤2.2.1，使用运动估计方法来对多帧人脸图像进行配准；
步骤2.2.2，对模糊函数进行求解，即成像系统的PSF进行估计；
步骤2.2.3，选择合适的图像超分辨率重建模型；
步骤2.2.4，对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解，得到最优解。
5.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤4中，利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。
6.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤4的具体训练过程为：
通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现，得到需要的估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中Wi为第i层卷积神经网络的系数，Bi是第i层卷积神经网络的偏置向量，其中i＝1，…，n；n为卷积神经网络的层数，这里的损失函数可以取均方损失函数MSE；
网络训练时，可以输入不同尺寸的图像，以使得网络可以适用于不同的输入图像尺寸，具体方法为将几个指定比例的训练数据集合并为一个大数据集，并将其作为训练样本进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910066657.0A CN109671023B (zh) | 2019-01-24 | 2019-01-24 | 一种人脸图像超分辨率二次重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910066657.0A CN109671023B (zh) | 2019-01-24 | 2019-01-24 | 一种人脸图像超分辨率二次重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109671023A CN109671023A (zh) | 2019-04-23 |
| CN109671023B true CN109671023B (zh) | 2023-07-21 |
Family
ID=66149767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910066657.0A Active CN109671023B (zh) | 2019-01-24 | 2019-01-24 | 一种人脸图像超分辨率二次重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109671023B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110136066B (zh) * | 2019-05-23 | 2023-02-24 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
| CN110458802A (zh) * | 2019-06-28 | 2019-11-15 | 天津大学 | 基于投影权值归一化的立体图像质量评价方法 |
| CN111161329B (zh) * | 2019-09-10 | 2023-06-20 | 沈阳工业大学 | 利用联合配准改善图像人脸个体配准性能方法及系统 |
| CN110705699B (zh) * | 2019-10-18 | 2022-05-31 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN112712470B (zh) * | 2019-10-25 | 2024-09-06 | 华为技术有限公司 | 一种图像增强方法及装置 |
| CN110889895B (zh) * | 2019-11-11 | 2023-01-03 | 南昌大学 | 一种融合单帧重建网络的人脸视频超分辨率重建方法 |
| CN110930309B (zh) * | 2019-11-20 | 2023-04-18 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN110991310B (zh) * | 2019-11-27 | 2023-08-22 | 北京金山云网络技术有限公司 | 人像检测方法、装置、电子设备及计算机可读介质 |
| CN110991355A (zh) * | 2019-12-06 | 2020-04-10 | 北京理工大学 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
| CN111860091B (zh) * | 2020-01-22 | 2025-02-14 | 北京嘀嘀无限科技发展有限公司 | 人脸图像评估方法和系统、服务器和计算机可读存储介质 |
| CN111273581B (zh) * | 2020-01-23 | 2021-11-09 | 深圳市大拿科技有限公司 | 一种智能衣柜的控制方法及相关产品 |
| DE102021105217A1 (de) * | 2020-03-11 | 2021-09-16 | Mediatek Inc. | Bildgeführte Anpassung für Super-Auflösungs-Operationen |
| CN111523513B (zh) * | 2020-05-09 | 2023-08-18 | 深圳市华百安智能技术有限公司 | 通过大数据筛选进行人员入户安全验证的工作方法 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN111899281B (zh) * | 2020-07-15 | 2023-10-31 | 北京和利时系统工程有限公司 | 一种基于行为树的辅助监控系统控制策略实现方法及系统 |
| CN111860400B (zh) * | 2020-07-28 | 2024-06-07 | 平安科技（深圳）有限公司 | 人脸增强识别方法、装置、设备及存储介质 |
| CN114448952B (zh) * | 2020-10-19 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 流媒体数据的传输方法和装置、存储介质及电子设备 |
| RU2764395C1 (ru) | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| TWI765589B (zh) * | 2021-03-02 | 2022-05-21 | 鴻海精密工業股份有限公司 | 異常檢測方法、電腦裝置及儲存介質 |
| CN113822802A (zh) * | 2021-07-05 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 基于显微镜的超分辨率方法、装置、设备及介质 |
| CN113869282B (zh) * | 2021-10-22 | 2022-11-11 | 马上消费金融股份有限公司 | 人脸识别方法、超分模型训练方法及相关设备 |
| CN114972032A (zh) * | 2022-06-06 | 2022-08-30 | 厦门理工学院 | 一种基于深度学习的图像超分辨率重建方法及系统 |
| CN116433812B (zh) * | 2023-06-08 | 2023-08-25 | 海马云（天津）信息技术有限公司 | 利用2d人脸图片生成虚拟人物的方法和装置 |
| CN116797462B (zh) * | 2023-08-18 | 2023-10-24 | 深圳市优森美科技开发有限公司 | 基于深度学习的实时视频超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631408A (zh) * | 2015-12-21 | 2016-06-01 | 小米科技有限责任公司 | 基于视频的面孔相册处理方法和装置 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
-
2019
- 2019-01-24 CN CN201910066657.0A patent/CN109671023B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631408A (zh) * | 2015-12-21 | 2016-06-01 | 小米科技有限责任公司 | 基于视频的面孔相册处理方法和装置 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的视频超分辨率研究与应用;汪浩;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180415(第4期);第1-66页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109671023A (zh) | 2019-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| Yan et al. | Attention-guided network for ghost-free high dynamic range imaging | |
| Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
| Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN110188835B (zh) | 基于生成式对抗网络模型的数据增强行人再识别方法 | |
| CN114494050B (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN111901532B (zh) | 基于循环神经网络迭代策略的视频稳定方法 | |
| CN110490804A (zh) | 一种基于生成对抗网络的生成超分辨图像的方法 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| Wang et al. | Image super-resolution using a improved generative adversarial network | |
| CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和系统 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN114511487A (zh) | 图像融合方法及装置、计算机可读存储介质、终端 | |
| CN117670719A (zh) | 一种去模糊多曝光图像融合方法、系统及介质 | |
| CN117576755A (zh) | 一种超光谱人脸融合与识别方法、电子设备及存储介质 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
| Deng et al. | Selective kernel and motion-emphasized loss based attention-guided network for HDR imaging of dynamic scenes | |
| CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
| CN117237207A (zh) | 针对动态场景的无鬼影高动态范围光场成像方法 | |
| CN117196940A (zh) | 一种基于卷积神经网络的适用于真实场景图像的超分辨率重构方法 | |
| CN116579940A (zh) | 一种基于卷积神经网络的实时低照度图像增强方法 | |
| CN116862965A (zh) | 一种基于稀疏表征的深度补全方法 | |
| CN111968039A (zh) | 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240308 Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Patentee after: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd. Country or region after: China Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301 Patentee before: JIANGSU University Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240618 Address after: No. 301, 3rd Floor, Building 1, No. 33 Yongnan Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000 Patentee after: Zhuhai Nortel Maixi Intelligent Technology Co.,Ltd. Country or region after: China Address before: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Patentee before: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |