CN110991355A - 基于残差反投影神经网络对齐人脸图像的超分辨率方法 - Google Patents
基于残差反投影神经网络对齐人脸图像的超分辨率方法 Download PDFInfo
- Publication number
- CN110991355A CN110991355A CN201911240207.5A CN201911240207A CN110991355A CN 110991355 A CN110991355 A CN 110991355A CN 201911240207 A CN201911240207 A CN 201911240207A CN 110991355 A CN110991355 A CN 110991355A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- feature map
- residual
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于残差反投影神经网络对齐人脸图像的超分辨率方法，属于图像处理技术领域。采用迭代反投影与深度学习神经网络相结合的方式，通过三个步骤将超低分辨率人脸图像放大8倍。(1)将超低分辨率人脸图像输入到神经网络中，提取深度特征，同时采用反卷积网络将低分辨率特征图放大到128x128大小。(2)将步骤(1)得到的128*128大小的特征图输入到神经网络的残差反投影单元中，通过不断的迭代，得到补偿后的128*128高分辨率特征图(3)将步骤(2)得到的高分辨率特征图经过卷积层生成最终的128*128高分辨率图像。本方法模块清晰、步骤简单，超分辨率的效果和效率满足实际低分辨率人脸图像的超分辨率要求。
Description
技术领域
本发明涉及基于残差反投影神经网络对齐人脸图像的超分辨率方法，属于图像处理技术领域。
技术背景
在计算机视觉的研究领域中，人脸图像超分辨率一直是一个重要的子课题，不仅其自身有许多的现实应用场景，同时也是其他研究课题的基础。
从现实意义角度出发，许多智能化的应用都离不开人脸图像超分辨率技术的支撑，最主要的应用莫过于城市监控系统：随着经济高速发展，我们身边的视频监控摄像头越来越多，这些摄像头主要用来建设城市视频监控系统，在公安机关刑事侦查业务中发挥着重要作用。然而在实际的摄像头采集人脸过程中，人脸信息常常难以直接辨识，主要原因是：一方面摄像头和人脸距离通常较远，低分辨率的目标图像难以提供足够的可供识别的细节信息；另一方面视频监控系统中光学器件模糊，现场环境、传输压缩噪声等干扰，使目标对象的细节信息出现误差，难以提供人脸辨识所需要的特征信息。因此，对实际的低分辨率人脸图像进行分辨率提升处理，进而提升目标图像的可辨识度是视频监控业务的核心技术需求。
从科学研究角度出发，随着人工智能技术的快速发展，计算机视觉任务作为其核心之一，也在不断向前发展。经典的视觉任务研究如图像分类、目标检测、人脸识别日渐成熟，其前提都是需要提供高分辨率的图像，人脸图像属于其中的子集。因此人脸图像的超分辨率研究可以看做以上等高级视觉任务的基础，提供更高清的图像，能够使图像分类的结果更准确，目标检测的检测准确率更高，人脸识别的识别率更高。在进行真实图像的其他视觉任务之前，通过超分辨率方法提高图像的质量。
人脸图像超分辨率技术(Face Super-Resolution，FSR)，属于特定类别的单图像超分辨率技术(Single Image Super Resolution，SISR)。其目标是利用算法处理低分辨率人脸图像(Low Resolution，LR)，提高图像分辨率，从而得到清晰地高分辨率人脸图像(High Resolution，HR)。超分辨率是从低分辨率图像向高分辨率图像反向求解的算法，由于图像降质过程中高频信息的丢失导致图像先验信息的不足，造成超分辨率求解是一个多解得病态问题，而对病态问题的求解，也是众多研究领域中一直所关注的难点与热点问题，具有很高的学术研究价值。
发明内容
本发明的目的是针对现有对齐的低分辨率人脸图像视觉效果差，难以应用到存在的人脸分析系统中，为了放大超低分辨率人脸图像，提出基于残差反投影神经网络对齐人脸图像的超分辨率方法。
本发明是通过以下技术方案实现的。
所述基于残差反投影神经网络对齐人脸图像的超分辨率方法，包括如下步骤：
步骤1、对低分辨率人脸图像进行裁剪，得到裁剪出人脸区域的人脸图像；
其中，人脸图像中的人脸区域大小为16像素；
步骤2、对步骤1裁剪出人脸区域的人脸图像进行高度对齐处理，使得人脸图像的眼睛在一条水平直线上，得到高度对齐后的人脸图像；
步骤3、使用sober算子提取步骤2得到的“高度对齐后的人脸图像”的边缘图；
步骤4、将步骤3提取的边缘图与“高度对齐后的人脸图像”进行通道合并，得到通道合并后的图像；
步骤5、提取步骤4通道合并后的图像的深度特征，并使用迭代反投影的方式将低分辨率图像的特征图放大到128*128大小，得到128*128特征图，具体包括如下子步骤：
步骤5.1使用神经网络的3*3卷积层提取“步骤4通道合并后的图像”的256维深度特征；
步骤5.2使用1*1卷积层将步骤5.1提取的256维深度特征映射为64维特征；
步骤5.3使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将64维特征放大到128*128大小，得到128*128特征图；
步骤6、使用卷积核大小为12*12，步长为8，填充为2*2的卷积层将128*128大小的特征图下采样回16*16大小，与步骤5.2提取的64维特征相减得到残差特征图；
步骤7、使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将残差特征图放大到128*128大小，与步骤5得到的128*128特征图相加得到补偿之后的特征图，并称该特征图为残差迭代反投影；
步骤8、提取步骤7得到的残差迭代反投影的边缘图，并将其加到超分辨率的重建，具体为：使用3*3的卷积核提取残差迭代反投影的边缘图，使用边缘图的标签图像监督边缘图的生成；
步骤9、将步骤8生成的边缘图与步骤7生成的残差迭代反投影合并，并使用卷积层生成最终的高分辨率人脸图像，使用高分辨率人脸标签图像进行有监督的训练；
至此，从步骤1到步骤9，完成了基于残差反投影神经网络对齐人脸图像的超分辨率方法。
有益效果
本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，与现有对齐人脸图像的超分辨率方法相比，具有如下有益效果：
1.使用本发明产生的高分辨率人脸图像峰值信噪比更高(PSNR)；
2.使用本发明产生的高分辨率人脸图像结构相似度更高(SSIM)；
3.使用本发明产生的高分辨率人脸图像可视化效果更好。
附图说明
图1是本发明基于残差反投影神经网络对齐人脸图像的超分辨率方法具体实施时的流程图；
图2是人脸图像超分辨率可视化结果。
具体实施方式
下面结合附图及具体实施例，对本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法进行详细阐述。
实施例1
本实例阐述了本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法具体实施。
本发明对齐人脸图像的超分辨率方法具体实施时，使用开源的人脸图像数据集celebA数据集进行试验，该数据集共包含20万张正面人脸图像。我们随机采样了5000张人脸图像作为验证集，1000张人脸图像作为测试集，其余人脸图像作为验证集。除使用的数据集不同之外，对于神经网络的训练，验证以及测试步骤都是一致的。本发明所采取的实验环境：硬件系统为TiTan X独立显卡，显存为12G，软件系统为ubuntu14.04，使用pythonpytorch框架。使用峰值信噪比(PSNR)，与结构相似性度量(SSIM)作为超分辨率评价指标
本发明所述对齐人脸图像的超分辨率方法，具体实施步骤如图1所示。
从图1中可以看出，所述超分辨率方法包括如下步骤：
步骤1)我们对人脸图像数据集做统一的预处理，裁剪出人脸部分的128*128大小的人脸区域图像
步骤2)对步骤1裁剪出人脸区域的人脸图像进行高度对齐处理，使得人脸图像的眼睛在一条水平直线上，得到高度对齐后的人脸图像；
步骤3)使用sober算子提取步骤2得到的“高度对齐后的人脸图像”的边缘图；
步骤4)将步骤3)提取的边缘图与“高度对齐后的人脸图像”同时使用双三次差值下采样的方式下采样到16*16大小；
步骤5)将步骤4)下采样得到的边缘图与“高度对齐的人脸图像”进行通道上的合并。
步骤6)提取步骤5通道合并后的图像的深度特征，并使用迭代反投影的方式将低分辨率图像的特征图放大到128*128大小。具体的使用神经网络的3*3卷积层提取输入图像的256维深度特征，使用1*1卷积层将256特征映射为64维特征。随后使用卷积核大小为12*12，步长为8，填充为2*2的反卷积层放大特征到128*128大小。
步骤7)使用同样参数的卷积层将128*128大小的特征图下采样回16*16大小，与输入的特征图相减得到残差特征图；
步骤8)使用反卷积层将残差特征图放大到128*128大小，与上一步得到的128*128特征图相加得到补偿之后的特征图。如此便称为残差迭代反投影。同样的迭代过程一共进行7次；
步骤9)提取步骤8得到的高分辨率特征图的边缘图，并将其加到超分辨率的重建过程中。具体的我们使用3*3的卷积核提取128*128特征图的边缘图，使用边缘图的标签图像监督边缘图的生成；
步骤10)将步骤9生成的边缘图与步骤8生成的特征图合并，并使用卷积层生成最终的高分辨率人脸图像。
具体超分辨率结果展示：
我们在1000张低分辨率人脸图像测试集上做了测试，并与当前做最好的超分辨率方法LapSRN，DBPN，URDGN，CBN做了比较，结果如下表1所示。
表1人脸图像超分辨率测试结果
| Methods | Bicubic | LapSRN | DBPN | URDGN | CBN | Ours |
| PSNR(dB) | 22.2025 | 23.9884 | 24.0100 | 23.6326 | 23.8004 | 24.2391 |
| SSIM | 0.5653 | 0.6810 | 0.6812 | 0.6710 | 0.6723 | 0.6921 |
由表1的定量指标可以看出，我们的基于残差反投影神经网络对齐人脸图像的超分辨率方法在峰值信噪比(PSNR)和结构相似度(SSIM)两个评价指标上，均高于当前最好的超分辨率方法，其中在PSNR上比传统的双三次差值(bicubic)的方法高了2.03dB，比当前最好方法DBPN高了0.22dB，同时在SSIM评价指标上，比双三次差值的方法高了0.13，比当前最好方法DBPN高了0.011。
除定量评价之外，我们与当前最好的超分辨率方法LapSRN，DBPN，URDGN，CBN做了定性的可视化比较，如图2“人脸图像超分辨率可视化”所示，我们的基于残差反投影神经网络对齐人脸图像的超分辨率方法生成的高分辨率人脸图像，结构与原图更加一致，同时细节信息更丰富。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (5)
1.基于残差反投影神经网络对齐人脸图像的超分辨率方法，其特征在于：包括如下步骤：
步骤1、对低分辨率人脸图像进行裁剪，得到裁剪出人脸区域的人脸图像；
步骤2、对步骤1裁剪出人脸区域的人脸图像进行高度对齐处理，使得人脸图像的眼睛在一条水平直线上，得到高度对齐后的人脸图像；
步骤3、使用sober算子提取步骤2得到的“高度对齐后的人脸图像”的边缘图；
步骤4、将步骤3提取的边缘图与“高度对齐后的人脸图像”进行通道合并，得到通道合并后的图像；
步骤5、提取步骤4通道合并后的图像的深度特征，并使用迭代反投影的方式将低分辨率图像的特征图放大到128*128大小，得到128*128特征图；
步骤6、使用卷积核大小为12*12，步长为8，填充为2*2的卷积层将128*128特征图下采样回16*16大小，得到残差特征图；
步骤7、使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将残差特征图放大到128*128大小，与步骤5得到的128*128特征图相加得到补偿之后的特征图，并称该特征图为残差迭代反投影；
步骤8、提取步骤7得到的残差迭代反投影的边缘图，并将其加到超分辨率的重建，生成边缘图；
步骤9、将步骤8生成的边缘图与步骤7生成的残差迭代反投影合并，并使用卷积层生成最终的高分辨率人脸图像，使用高分辨率人脸标签图像进行有监督的训练。
2.如权利要求1所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，其特征在于：步骤1中，人脸图像中的人脸区域大小为16像素。
3.如权利要求1所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，其特征在于：步骤5，具体包括如下子步骤：
步骤5.1使用神经网络的3*3卷积层提取“步骤4通道合并后的图像”的256维深度特征；
步骤5.2使用1*1卷积层将步骤5.1提取的256维深度特征映射为64维特征；
步骤5.3使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将64维特征放大到128*128大小，得到128*128特征图。
4.如权利要求1所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，其特征在于：步骤6中的残差特征图使用卷积核大小为12*12，步长为8，填充为2*2的卷积层将128*128特征图下采样回16*16大小，与步骤5.2提取的64维特征相减得到。
5.如权利要求1所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，其特征在于：步骤8，具体为：使用3*3的卷积核提取残差迭代反投影的边缘图，使用边缘图的标签图像监督边缘图的生成。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911240207.5A CN110991355A (zh) | 2019-12-06 | 2019-12-06 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
| CN202011281052.2A CN112200152B (zh) | 2019-12-06 | 2020-11-16 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911240207.5A CN110991355A (zh) | 2019-12-06 | 2019-12-06 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110991355A true CN110991355A (zh) | 2020-04-10 |
Family
ID=70090657
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911240207.5A Withdrawn CN110991355A (zh) | 2019-12-06 | 2019-12-06 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
| CN202011281052.2A Active CN112200152B (zh) | 2019-12-06 | 2020-11-16 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011281052.2A Active CN112200152B (zh) | 2019-12-06 | 2020-11-16 | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110991355A (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109325915B (zh) * | 2018-09-11 | 2022-11-08 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| CN109671023B (zh) * | 2019-01-24 | 2023-07-21 | 江苏大学 | 一种人脸图像超分辨率二次重建方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
-
2019
- 2019-12-06 CN CN201911240207.5A patent/CN110991355A/zh not_active Withdrawn
-
2020
- 2020-11-16 CN CN202011281052.2A patent/CN112200152B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200152B (zh) | 2024-04-26 |
| CN112200152A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
| CN110647874B (zh) | 一种端到端的血细胞识别模型构造方法及应用 | |
| CN110853022B (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
| CN109145745B (zh) | 一种遮挡情况下的人脸识别方法 | |
| CN109325915B (zh) | 一种用于低分辨率监控视频的超分辨率重建方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| CN109903282B (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN115393698A (zh) | 一种基于改进dpn网络的数字图像篡改检测方法 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN114118123A (zh) | 荧光染色的尿脱落细胞识别方法及系统 | |
| CN112200152B (zh) | 基于残差反投影神经网络对齐人脸图像的超分辨率方法 | |
| CN111598144A (zh) | 图像识别模型的训练方法和装置 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN116385957A (zh) | 一种x光图像违禁品检测方法、装置、设备及介质 | |
| Ji et al. | No-reference image quality assessment for dehazed images | |
| Li et al. | V-ShadowGAN: generative adversarial networks for removing and generating shadows associated with vehicles based on unpaired data | |
| Li et al. | A practical residual block-based no-reference quality metric for neutron radiographic images | |
| CN113706449B (zh) | 基于病理图像的细胞分析方法、装置、设备及存储介质 | |
| CN113327210B (zh) | 测井图像填补方法、装置、介质及电子设备 | |
| Ramadhan et al. | Analysis Of Srgan To Upscaling Cctv Image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200410 |