CN113205005A - 一种面向低光照低分辨率的人脸图像幻构方法 - Google Patents

一种面向低光照低分辨率的人脸图像幻构方法 Download PDF

Info

Publication number
CN113205005A
CN113205005A CN202110388681.3A CN202110388681A CN113205005A CN 113205005 A CN113205005 A CN 113205005A CN 202110388681 A CN202110388681 A CN 202110388681A CN 113205005 A CN113205005 A CN 113205005A
Authority
CN
China
Prior art keywords
low
image
face
illumination
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110388681.3A
Other languages
English (en)
Other versions
CN113205005B (zh
Inventor
胡瑞敏
肖晶
丁新
方婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110388681.3A priority Critical patent/CN113205005B/zh
Publication of CN113205005A publication Critical patent/CN113205005A/zh
Application granted granted Critical
Publication of CN113205005B publication Critical patent/CN113205005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种面向低光照低分辨率人脸图像幻构方法，基于低光照图像特点，通过提出改进的密集U型网络将低光照的图像进行亮度增强，生成初步的亮度增强图像；基于人脸图像特征，通过提出级联的漏斗网络，依次生成人脸结构特征图，人脸细节特征图，约束人脸图像的生成；通过级联的密集U型网络依次生成整张人脸图和人脸细节信息。将初步的亮度增强图像和约束表达的人脸图像进行融合，并通过级联的卷积模块，重建出高清晰度高分辨率的人脸图像。本发明可提高低光照任意低分辨率人脸图像的清晰度，能广泛应用于监控，摄影等领域。

Description

一种面向低光照低分辨率的人脸图像幻构方法
技术领域
本发明属于图像超分领域，特别涉及一种面向低光照低分辨率的人脸图像幻 构方法。
背景技术
在实际监控系统中，由于拍摄距离以及光照等等环境影响，所获取的往往是 低光照和低分辨率的人脸图像，难以满足实际需求。如何改善图像的质量，提高 人脸的分辨率并且优化图像光照，从而提升图像的清晰度和辨识度是极具挑战的 研究。人脸幻构算法是解决以上问题的较经济且重要的解决方案之一。该算法通 过解析所获取低质量人脸的图像特征，结合人脸样本库的训练模型，从而构建出 高清晰高分辨率人脸图像。
已有的人脸幻构算法(文献1，文献2)通过搭建深度学习网络，并引入图 像的小波分解以及人脸特征信息对图像信息进行充分挖掘，更好地表达出清晰精 细的特征纹理，从而较好地提升模型图像地重建性能。但是该类方法将低质量人 脸图像设定为某固定尺度以及理想的光照质量，在实际应用过程中，很难适用于 姿态各异，尺度变化以及环境干扰等条件下的人脸图像，具有很大的局限性。
相关文献如下：
[1]J.Jiang,R.Hu,Z.Wang,and Z.Han,“Noise robust face hallucination vialocality-constrained representation,”IEEE Transactions on Multimedia,vol.16,no.5, pp.1268–128
[2]C.Ma,Z.Jiang,Y.Rao,J.Lu,and J.Zhou,“Deep face super-resolutionwith iterative collaboration between attentive recovery and landmarkestimation,”in IEEE Conference on Computer Vision and Pattern Recognition(CVPR),June 20
发明内容
为了解决以上所存在的技术问题，本发明提出了一种面向低质量图像的任意 尺度低光照人脸图像幻构技术，该方法基于低质量人脸图像的两个特点：“人脸 特征检测”和“人脸纹理信息相关”，设计了一种端到端结合注意力模块(Attention Module，AM)，人脸增强模块(Face Enhancement Module，FEM)以及亮度增 强模块(Low-light EnhancementModule，LEM)三模块的增强网络。
本发明的技术方案是一种面向低光照低分辨率人脸图像的重建方法，基于人 脸图像特征，通过结合注意力模块，人脸增强模块以及亮度增强模块来适用于低 光照任意尺度人脸图像的表达能力，重建实现过程如下，
步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特 征提取；
步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合 三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联 的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
进一步的，步骤1的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人 脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数CRF进行亮度 以及亮度所引起噪声的图像仿真，仿真函数为
Figure BDA0003015546800000021
其中f表示的 CRF中所标注的201个曲线，DM表示去马赛克函数，Γ是低光照的强度，L是原 始图，n(L)表示图像噪声；通过该仿真函数，将自然图像转化为低光照人脸；然 后采用双三次线性下采样k倍，得到低分辨率低光照人脸图像Il，并将低分辨率 低光照人脸图像Il作为残差网络的输入数据；
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图 像的特征Ifeat。
进一步的，所述残差网络包括两个级联的卷积层单元，其中每个单元包括三 个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中 特征图分辨率的放大。
进一步的，步骤2的具体实现方式如下；
步骤2.1，残差网络提取的特征数据Ifeat输入注意力模块；首先注意力模块是 定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性 约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图 Is和人脸五官轮廓的特征图Id；
步骤2.2，特征数据Ifeat输入人脸增强模块，通过一个密集U型网络，并与人 脸位置特征图Is进行逐像素相乘，得到人脸幻构的输出结果I′f；然后，I′f输入另 一个相同结构的密集U型网络，并与人脸五官轮廓特征图Id进行逐像素相乘，然 后与I′f进行相加，生成出人脸幻构的优化结果If；
步骤2.3，特征数据Ifeat同时输入亮度增强模块，通过一个相同结构的密集U 型网络，生成出亮度增强的初步结果Iw。
进一步的，所述沙漏网络包括m个级联的残差卷积单元，残差卷积单元基本 单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，残差单 元为对称的两两连接结构，m为偶数。
进一步的，所述密集U型网络包括用于特征提取的级联的l对两两关联连接 并对称的卷积层单元和反卷积层单元，一个特征拼接和级联多个卷积层的重建单 元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷 积层和两个卷积层，反卷积层适用于特征的进一步强化；同时为了强化输出与传 递过程的特征之间的关联，在前l-1个反卷积层单元分别外接了反卷积特征提取； 其中特征拼接是将外接反卷积生成特征与最后一个反卷积单元的输出特征进行 拼接。
进一步的，还包括步骤4，采用验证集和测试集分别验证和测试人脸幻构的 图像性能，并将图像的峰值信噪比PSNR和结构相似度SSIM作为图像质量客观 指标评价标准。
采用以上技术方案，本发明可适用于监控或者拍摄环境下，受到低光照和距 离因素等降质影响，导致人脸图像不清晰，人脸特征表达不明等情况的问题，从 而提升低质量人脸图像的辨识能力。与现有技术相比较，本发明具有以下有点和 效果：
1)与现有技术相比，本发明面向了一个新的研究课题，即实际拍摄的低质量人 脸图像会同时受到低光照和不同尺度低分辨率的影响，从而不易幻构重建的 问题。
2)与现有技术相比，本发明提出了一个基于注意力模块，亮度增强模块以及人 脸增强模块特征融合的人脸幻构框架。
3)与现有技术相比，本发明引入人脸特征，且利用其特性约束人脸图像增强， 实现低质量的人脸幻构技术，恢复人脸细节，提升人脸辨识度和清晰度，可 应用于实际的人脸图像。
附图说明
图1是本发明实施例的主流程图。
图2是本发明实施例的网络结构图。
图3是本发明实施例的密集U型网络。
图4是本发明实施例的沙漏网络。
具体实施方式
为了便于相关领域技术人员理解和实施本发明，下面结合附图即实施例对本 发明作进一步的详细描述，此处所描述的实施示例仅用于说明和解释本发明，并 不用于限定本发明。
本发明的技术方案是一种面向低光照低分辨率人脸图像的重建方法，基于人 脸图像特征，通过结合注意力模块，人脸增强模块以及亮度增强模块来适用于低 光照任意尺度人脸图像的表达能力。首先，对低质量人脸图像的浅层特征提取， 采用残差网络对图像解析和特征提取，为接下来的模型增强提供特征信息；然后， 融合注意力模块，人脸增强模块以及亮度增强模块三部分同时优化表达的图像特 征，并通过注意力模块约束人脸幻构；最后，将人脸增强模块和亮度增强模块的 特征拼接，并输入残差网络，获得最终的高分辨率亮度增强的清晰人脸图像。
本实施例采用1个NVIDIA GTX1080ti GPU来进行运行实验，训练数据来自 公共的人脸数据集CelebA，CelebA是一个采集自互联网的数据集，该数据集 囊括了超过20万张人脸图像，涵盖了各种姿态，人脸尺度和背景信息的图像数 据。其高分辨率图像的大小设置为256x256。实施例随机选择23000张人脸，分 别将20000、1000和2000张图像作为训练集，验证集和测试样本。由于深度学 习人脸幻构方法的性能与测试图像和训练图像的相似性相关，其实施例在公开人 脸数据集Helen上进行了额外的测试，以确保本发明的鲁棒性和泛化性。
参见图1，本发明实施例提供了一种面向低质量人脸图像的幻构方法包括以 下步骤：
步骤1，低质量人脸图像的特征提取，采用残差网络对图像解析和特征提取， 包括以下子步骤：
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的 人脸图像，分别设置为训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数(Camera ResponseFunction，CRF)进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
Figure BDA0003015546800000051
其中f表示的CRF中所标注的201个曲线，DM表示去马赛克 函数，Γ是低光照的强度，L是原始图，n(L)表示图像噪声。通过该仿真函数，将 自然图像转化为低光照人脸。然后采用双三次线性下采样4倍得到低分辨率低光 照人脸图像。从而形成了低分辨率低光照人脸图像与原始高分辨率人脸图像块， 其中低分辨率低光照人脸图像Il作为残差网络的输入数据。
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸 图像的特征Ifeat。
参见图2，实施例中，用于特征提取的残差网络包括两个级联的卷积层单元， 其中每个单元包括三个级联的卷积层(CNN,Convolution Neural Network)以及 一个子像素卷积层(Sub-pixel Convolution)，其中子像素卷积层主要用于图像超分 过程中特征图分辨率的两倍放大。
步骤2.人脸图像通过注意力模块，人脸增强模块和亮度增强模块进一步解 析图像特征。
参见图2，本步骤具体包括以下子步骤，
步骤2.1，残差网络提取的特征数据Ifeat同时输入图2的注意力模块，人脸 增强模块和亮度增强模块，首先注意力模块是定位人脸位置，以及训练出人脸和 五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，注意力模块包括两个级联的 沙漏网络Hourglass，如图4)，分别训练出人脸位置的特征图Is和人脸五官轮廓 的特征图Id。其中沙漏网络包括8个级联的残差卷积单元，残差卷积单元参考残 差网络的基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法 连接，而为了加强网络中的特征关联，将级联的8个残差单元中间对称的两两连 接。同时由于人脸位置囊括了人脸五官，因此人脸五官的特征图Id的生成应该在 人脸位置的特征图Is的有效信息范围内，受到Is的生成约束。
步骤2.2，特征数据Ifeat输入人脸增强模块，通过一个如图3的密集U型网 络，并与人脸位置特征图Is进行逐像素相乘，得到人脸幻构的输出结果I′f。在生 成的过程中，由于人脸位置特征图Is从语义层面标定了人脸位置以及人脸的大致 轮廓，因此人脸的像素生成受到了位置特征图Is的语义约束。其中密集U型网络 包括主要用于特征提取的4对两两关联连接并对称的卷积层单元和反卷积层单 元，一个特征拼接和一个3卷积层的重建单元，卷积层单元包括两个卷积层和一 个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于 特征的进一步强化。同时为了强化输出与传递过程的特征之间的关联，我们在前 三个反卷积层单元分辨外接了一个反卷积特征提取，分别包括3个，2个和1个 反卷积层；其中，特征拼接是将用于强化输出和关联的三个反卷积特征提取单元 的生成特征与第四个反卷积单元的输出特征进行拼接。然后，I f输入另一个相同 结构的密集U型网络，并与人脸五官轮廓特征图Id进行逐像素相乘，然后与I′f进 行相加，生成出人脸幻构的优化结果If。类似于Is的语义约束，人脸五官轮廓特 征图Id也从语义层面标定了人脸五官的位置和轮廓，因此人脸的五官细节的像素 生成受到了Id的语义约束。
步骤2.3，特征数据Ifeat同时输入了亮度增强模块，通过一个同上结构的密 集U型网络，生成出亮度增强的初步结果Iw。
步骤3，在三个模块相互约束下，生成出两个中间结果，人脸位置约束下的 人脸信息If和亮度增强的初步结果Iw；将两个结果通过特征拼接，输入到级联的 三个卷积层网络，生成出最终的人脸幻构结果Ifinal。
步骤4，人脸幻构的图像性能评价
步骤4.1，采用步骤1.1所获得验证集和测试集分别验证和测试人脸幻构的图 像性能，采用图像的峰值信噪比PSNR和结构相似度SSIM作为图像质量客观指 标评价标准。其中为了进一步验证图像中尺度不一的人脸的信息，通过检测算法 标注出单独的人脸框，并测试人脸的客观指标PSNR-face和SSIM-face。
步骤4.2，对比算法采用亮度增强算法SID，人脸幻构算法Wavelet-SRNet， Super-FAN和DIC。这些算法都通过我们的仿真训练数据集，在充分训练的情况 下，测试相应的测试集，进行客观指标比较。测试显示本发明的实验结果在人脸 细节要更清晰，干扰噪声更少。
基于本发明执行步骤1～3所得的结果，在表1中可以看出，在客观指标PSNR，SSIM，PSNR-face，SSIM-face这些指标上，几乎都要优于其他对比算法。
Figure BDA0003015546800000071
表1人脸幻构算法的各客观指标，测试数据集是CelebA，最好的结果以粗 体显示。
可见，本发明提出的一种针对低光照任意尺度的低分辨率人脸图像的幻构重 建模型，在该模型下，低质量的人脸图像得以显著表达，且可以实现任意尺度的 低分辨率低光照人脸图像的重建。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机技 术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应的计算 机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应 当在本发明的保护范围内。
在一些可能的实施例中，提供一种面向低光照低分辨率人脸图像幻构系统， 包括以下单元，
特征提取单元，用于获取低分辨率低光照人脸图像，采用残差网络对图像进 行解析和特征提取；
特征融合单元，用于分别构建注意力模块、人脸增强模块以及亮度增强模块， 通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
重建单元，用于将人脸增强模块和亮度增强模块输出的特征进行拼接，并输 入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
特征提取单元的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的 人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数CRF进行亮度 以及亮度所引起噪声的图像仿真，仿真函数为
Figure BDA0003015546800000081
其中f表示的 CRF中所标注的201个曲线，DM表示去马赛克函数，Γ是低光照的强度，L是原 始图，n(L)表示图像噪声；通过该仿真函数，将自然图像转化为低光照人脸；然 后采用双三次线性下采样k倍，得到低分辨率低光照人脸图像Il，并将低分辨率 低光照人脸图像Il作为残差网络的输入数据；
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸 图像的特征Ifeat。
特征融合单元的具体实现方式如下；
步骤2.1，残差网络提取的特征数据Ifeat输入注意力模块；首先注意力模块 是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒 性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征 图Is和人脸五官轮廓的特征图Id；
步骤2.2，特征数据Ifeat输入人脸增强模块，通过一个密集U型网络，并与 人脸位置特征图Is进行逐像素相乘，得到人脸幻构的输出结果I′f；然后，I′f输入 另一个相同结构的密集U型网络，并与人脸五官轮廓特征图Id进行逐像素相乘， 然后与I′f进行相加，生成出人脸幻构的优化结果If；
步骤2.3，特征数据Ifeat同时输入亮度增强模块，通过一个相同结构的密集U 型网络，生成出亮度增强的初步结果Iw。
各单元的具体实现方式与各步骤相应，本发明不予撰述。
在一些可能的实施例中，提供一种面向低质量人脸幻构系统，包括处理器和 存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如 上所述的一种面向人脸图像的任意低光照和低分辨率重建方法。
在一些可能的实施例中，提供一种面向低质量人脸幻构系统，包括可读存储 介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如 上所述的一种面向人脸图像的任意低光照和低分辨率重建方法。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技 术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用 类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的 范围。

Claims (8)

1.一种面向低光照低分辨率的人脸图像幻构方法，其特征在于，包括如下步骤：
步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；
步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
2.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤1的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数CRF进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
Figure FDA0003015546790000011
其中f表示的CRF中所标注的201个曲线，DM表示去马赛克函数，Γ是低光照的强度，L是原始图，n(L)表示图像噪声；通过该仿真函数，将自然图像转化为低光照人脸；然后采用双三次线性下采样k倍，得到低分辨率低光照人脸图像Il，并将低分辨率低光照人脸图像Il作为残差网络的输入数据；
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征Ifeat。
3.如权利要求1或2所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中特征图分辨率的放大。
4.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤2的具体实现方式如下；
步骤2.1，残差网络提取的特征数据Ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图Is和人脸五官轮廓的特征图Id；
步骤2.2，特征数据Ifeat输入人脸增强模块，通过一个密集U型网络，并与人脸位置特征图Is进行逐像素相乘，得到人脸幻构的输出结果I′f；然后，I′f输入另一个相同结构的密集U型网络，并与人脸五官轮廓特征图Id进行逐像素相乘，然后与I′f进行相加，生成出人脸幻构的优化结果If；
步骤2.3，特征数据Ifeat同时输入亮度增强模块，通过一个相同结构的密集U型网络，生成出亮度增强的初步结果Iw。
5.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤3的具体实现方式如下；
将人脸位置约束下的人脸信息If和亮度增强的初步结果Iw进行特征拼接，输入到级联的三个卷积层网络，生成出最终的人脸幻构结果Ifinal。
6.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述沙漏网络包括m个级联的残差卷积单元，残差卷积单元基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，残差单元为对称的两两连接结构，m为偶数。
7.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述密集U型网络包括用于特征提取的级联的l对两两关联连接并对称的卷积层单元和反卷积层单元，一个特征拼接和级联多个卷积层的重建单元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于特征的进一步强化；同时为了强化输出与传递过程的特征之间的关联，在前l-1个反卷积层单元分别外接了反卷积特征提取；其中特征拼接是将外接反卷积生成特征与最后一个反卷积单元的输出特征进行拼接。
8.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：还包括步骤4，采用验证集和测试集分别验证和测试人脸幻构的图像性能，并将图像的峰值信噪比PSNR和结构相似度SSIM作为图像质量客观指标评价标准。
CN202110388681.3A 2021-04-12 2021-04-12 一种面向低光照低分辨率的人脸图像幻构方法 Active CN113205005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110388681.3A CN113205005B (zh) 2021-04-12 2021-04-12 一种面向低光照低分辨率的人脸图像幻构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110388681.3A CN113205005B (zh) 2021-04-12 2021-04-12 一种面向低光照低分辨率的人脸图像幻构方法

Publications (2)

Publication Number Publication Date
CN113205005A true CN113205005A (zh) 2021-08-03
CN113205005B CN113205005B (zh) 2022-07-19

Family

ID=77026632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110388681.3A Active CN113205005B (zh) 2021-04-12 2021-04-12 一种面向低光照低分辨率的人脸图像幻构方法

Country Status (1)

Country Link
CN (1) CN113205005B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备
CN110706155A (zh) * 2019-09-12 2020-01-17 武汉大学 一种视频超分辨率重建方法
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN111382618A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及系统
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112307939A (zh) * 2020-10-28 2021-02-02 上海交通大学 一种利用位置掩码注意力机制的视频帧增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备
CN111382618A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN110706155A (zh) * 2019-09-12 2020-01-17 武汉大学 一种视频超分辨率重建方法
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及系统
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112307939A (zh) * 2020-10-28 2021-02-02 上海交通大学 一种利用位置掩码注意力机制的视频帧增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGXING CAO.ET AL: ""Attention-Aware Face Hallucination via Deep Reinforcement Learning"", 《ARXIV:1708.03132V1》 *
徐石等: ""基于多尺度递归密集网络的单图像超分辨率算法"", 《山西大学学报（自然科学版）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113205005B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
Chen et al. Real-world single image super-resolution: A brief review
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN112308200B (zh) 神经网络的搜索方法及装置
Ma et al. Structure-preserving image super-resolution
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Li et al. Deep learning methods in real-time image super-resolution: a survey
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN117197627B (zh) 一种基于高阶退化模型的多模态图像融合方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN114022506B (zh) 一种边缘先验融合多头注意力机制的图像修复方法
Liu et al. Face super-resolution reconstruction based on self-attention residual network
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
Li et al. Image reflection removal using end‐to‐end convolutional neural network
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN112508786B (zh) 面向卫星图像的任意尺度超分辨率重建方法及系统
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
Soufi et al. Study of Deep Learning-based models for Single Image Super-Resolution.
WO2023206343A1 (zh) 一种基于图像预训练策略的图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant