CN111626937A - 一种人像超分辨率重建方法 - Google Patents

一种人像超分辨率重建方法 Download PDF

Info

Publication number
CN111626937A
CN111626937A CN202010464604.7A CN202010464604A CN111626937A CN 111626937 A CN111626937 A CN 111626937A CN 202010464604 A CN202010464604 A CN 202010464604A CN 111626937 A CN111626937 A CN 111626937A
Authority
CN
China
Prior art keywords
portrait
resolution
image
super
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010464604.7A
Other languages
English (en)
Inventor
贾宇
沈宜
张家亮
陈鹏
董弋粲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanglian Anrui Network Technology Co ltd
Original Assignee
Chengdu 30kaitian Communication Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu 30kaitian Communication Industry Co ltd filed Critical Chengdu 30kaitian Communication Industry Co ltd
Priority to CN202010464604.7A priority Critical patent/CN111626937A/zh
Publication of CN111626937A publication Critical patent/CN111626937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人像超分辨率重建方法,包括如下步骤:步骤1,获取人像高分辨率图像;步骤2,对获取的人像高分辨率图像重建,以得到与之对应的人像低分辨率图像;步骤3,对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理;步骤4,把图像预处理后的人像高分辨率图像和与之对应的人像低分辨率图像作为成对人像,将所述成对人像输入深度神经网络进行训练,学习人像低分辨率图像与人像高分辨率图像之间的特征映射,训练完成后得到人脸图片超分辨重建模型;步骤5,将测试图像输入人脸图片超分辨重建模型进行人脸图片超分辨重建。本发明实现了基于深度神经网络的人像超分辨率重建方法。

Description

一种人像超分辨率重建方法
技术领域
本发明涉及人脸超分辨率重建的技术,特别涉及一种基于人脸选取与人脸修改相结合、网络结构修整的多通道的人像超分辨率重建方法。
背景技术
图像超分辨率(SR)问题,尤其是单一图像超分辨率(SISR)问题,在近几十年中已经受到了广泛的研究关注。SISR问题旨在从一个单一低分辨率图像中重构出一个高分辨率图像。通常情况下,低分辨率图像和原始的高分辨率图像可根据情境而产生变化。传统算法是采用插值的方式填充图像变换时像素之间的空隙,存在着得到的图像质量不高,放大后锯齿的情况。
发明内容
本发明的目的是提供一种人像超分辨率重建方法,该方法基于人像低-高分辨率图像成对重建、基于深度学习的SR通过神经网络直接学习人像低分辨率图像到人像高分辨率图像的特征映射,用于对互联网新媒体传播通道中传播的人脸图片、视频中人像图片等视图像进行超分辨重建。
本发明采用的技术方案为:一种人像超分辨率重建方法,包括如下步骤:
步骤1,获取人像高分辨率图像;
步骤2,对获取的人像高分辨率图像重建,以得到与之对应的人像低分辨率图像;
步骤3,对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理;
步骤4,把图像预处理后的人像高分辨率图像和与之对应的人像低分辨率图像作为成对人像,将所述成对人像输入深度神经网络进行训练,学习人像低分辨率图像与人像高分辨率图像之间的特征映射,训练完成后得到人脸图片超分辨重建模型;
步骤5,将测试图像输入人脸图片超分辨重建模型进行人脸图片超分辨重建。
进一步地,步骤1中获取的人像高分辨率图像为从网络中下载的无损人脸图片。
进一步地,步骤2中,对获取的人像高分辨率图像进行重建的方法包括:散焦模糊、随机旋转、仿射变换和双三次插值编码。
进一步地,步骤2中,采用多线程的方式对获取的人像高分辨率图像进行重建。
进一步地,步骤3中对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理的方法为:先将人像高分辨率图像和人像低分辨率图像拆分成红绿蓝RGB三通道,然后转化为YCbCr格式。
进一步地,步骤4中的深度神经网络为:依次连接的1个通用卷积层、4个残差块、1个通用卷积层、若干上采样层和1个通用卷积层;其中,
所述通用卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层;
所述残差块包括1个所述通用卷积层,设置的激活函数为ReLU,并采用正则化规范处理;每两层残差块之间增加一个捷径,即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射,以进行残差计算;
所述上采样层包括1个特殊卷积层,其后进行像素缩放,设置的激活函数为ReLU,并采用正则化规范处理;所述特殊卷积层为一个卷积核大小为3×3、步长为1、输出通道为512的卷积层。
进一步地,所述深度神经网络采用L1范数损失函数作为损失函数。
进一步地,步骤4中在所述深度神经网络训练过程中,学习率随着迭代次数逐步衰减。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明基于人像低-高分辨率图像成对重建、基于深度学习的SR通过神经网络直接学习人像低分辨率图像到人像高分辨率图像的特征映射,从而实现了基于深度神经网络的人像超分辨率重建方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
本实施例提供的一种人像超分辨率重建方法,包括如下步骤:
步骤1,获取人像高分辨率图像:可以通过网络爬虫技术从互联网中下载无损人脸图片作为本实施例需要的人像高分辨率图像。
步骤2,对获取的人像高分辨率图像重建,以得到与之对应的人像低分辨率图像;为了提高效率,本实施例采用多线程的方式对获取的人像高分辨率图像进行重建,保证每一张图像快速而独立地进行人像高分辨图像到人像低分辨图像的转换;具体地,对获取的人像高分辨率图像进行重建的方法包括:
步骤2.1,散焦模糊:散焦模糊在摄影上又称景深,通过更大的光圈来收集光线增加人像高分辨率图像的亮度,以便后续得到模糊的人像低分辨率图像。
步骤2.2,随机旋转:首先获得经过步骤2.1处理后的图像像素中心点,通过随机设定旋转的角度进行旋转,其中角度为正则表示逆时针旋转,角度为负表示逆时针旋转。
步骤2.3,仿射变换:对步骤2.2处理后的图像进行放射变换,实现该图像从二维坐标到二维坐标之间的线性变换,且保持二维图像的平直性和平行性。
步骤2.4,双三次插值编码:通过双三次插值编码对步骤2.3处理后的图像进行缩放。本实施例设定缩放因子为4,即可以将人像高分辨率图像压缩为4倍的人像低分辨率图像。
步骤3,对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理;具体地:先将人像高分辨率图像和人像低分辨率图像拆分成红绿蓝RGB三通道,然后转化为YCbCr格式;其中Y表示明亮度,也就是灰阶值;Cb反映的是红绿蓝RGB三通道中蓝色部分与亮度值之间的差异;Cr反映的是红绿蓝RGB三通道中红色部分与亮度值之间的差异。
步骤4,把图像预处理后的人像高分辨率图像和与之对应的人像低分辨率图像作为成对人像,将所述成对人像输入深度神经网络进行训练,学习人像低分辨率图像与人像高分辨率图像之间的特征映射,训练完成后得到人脸图片超分辨重建模型;
所述深度神经网络为:依次连接的1个通用卷积层、4个残差块、1个通用卷积层、若干上采样层和1个通用卷积层;也就是说,成对人像通过1个通用卷积层提取特征,其后输出到4个残差块,再次通过1个通用卷积层提取特征,接着通过上采样层放大,最后再跟着1个通用卷积层。
其中,
所述通用卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层;
所述残差块包括1个所述通用卷积层,设置的激活函数为ReLU,并采用正则化规范处理;每两层残差块之间增加一个捷径,即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射,以进行残差计算;通过残差计算,可以解决可能存在的梯度消失,网络退化的问题。
所述上采样层包括1个特殊卷积层,其后进行像素缩放,缩放倍数可以设置为2,设置的激活函数为ReLU,并采用正则化规范处理;所述特殊卷积层为一个卷积核大小为3×3、步长为1、输出通道为512的卷积层。上采样层可以执行2-3次。
在成对人像输入深度神经网络进行训练前,预先设置模型参数,包括:模型名称、激活函数的选择,以及每轮训练输入的成对人像的数量。也就是说,可以将步骤1~3得到的成对人像分为若干个批次,以数据量较小的一块块进行训练可以节约时间;另外,可以设置在进行多少个批次的训练后进行测试。其中,每轮训练输入的成对人像的数量,可以根据配置的线程数量、GPU数量等进行设置。
损失函数通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习,极为重要。在本实施例中,所述深度神经网络采用L1范数损失函数作为损失函数,它能把目标值与估计值的绝对差值的总和最小化,公式如下:
Figure BDA0002512171460000061
其中,
Figure BDA0002512171460000062
表示目标值,y表示估计值。此处目标值为高分辨图像,估计值为低分辨图像,由于目标值存在噪点,对数据来说即为噪点,而L1范数损失函数因为是绝对差值的总和最小化,所以能够非常好的处理数据中的异常值。
在训练过程中,可能出现训练集的损失下降到一定的程度后就不在下降了,这和学习率的设定值息息相关,因为学习率决定着目标函数的损失能收敛到局部最小值。面对这种情况,采用学习率随着迭代次数逐步衰减的方式来让损失能收敛到局部最小值,例如,在整个数据集上5轮迭代训练后学习率减半,下降至设定值后就不在下降了,一般可以设定其中初始学习率为1e-4,最终学习率为1e-5。另外,还需要时刻记录损失的变化来观察模型是否达到拟合,保存模型中间的输出结果,,以防止服务器宕机的状况。
步骤5,将测试图像输入人脸图片超分辨重建模型进行人脸图片超分辨重建。测试图像输入人脸图片超分辨重建模型进行的处理过程与前述训练过程类似,在此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种人像超分辨率重建方法,其特征在于,包括如下步骤:
步骤1,获取人像高分辨率图像;
步骤2,对获取的人像高分辨率图像重建,以得到与之对应的人像低分辨率图像;
步骤3,对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理;
步骤4,把图像预处理后的人像高分辨率图像和与之对应的人像低分辨率图像作为成对人像,将所述成对人像输入深度神经网络进行训练,学习人像低分辨率图像与人像高分辨率图像之间的特征映射,训练完成后得到人脸图片超分辨重建模型;
步骤5,将测试图像输入人脸图片超分辨重建模型进行人脸图片超分辨重建。
2.根据权利要求1所述的人像超分辨率重建方法,其特征在于,步骤1中获取的人像高分辨率图像为从网络中下载的无损人脸图片。
3.根据权利要求1所述的人像超分辨率重建方法,其特征在于,步骤2中,对获取的人像高分辨率图像进行重建的方法包括:散焦模糊、随机旋转、仿射变换和双三次插值编码。
4.根据权利要求1或3所述的人像超分辨率重建方法,其特征在于,步骤2中,采用多线程的方式对获取的人像高分辨率图像进行重建。
5.根据权利要求1所述的人像超分辨率重建方法,其特征在于,步骤3中对人像高分辨率图像和与之对应的人像低分辨率图像进行图像预处理的方法为:先将人像高分辨率图像和人像低分辨率图像拆分成红绿蓝RGB三通道,然后转化为YCbCr格式。
6.根据权利要求1所述的人像超分辨率重建方法,其特征在于,步骤4中的深度神经网络为:依次连接的1个通用卷积层、4个残差块、1个通用卷积层、若干上采样层和1个通用卷积层;其中,
所述通用卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层;
所述残差块包括1个所述通用卷积层,设置的激活函数为ReLU,并采用正则化规范处理;每两层残差块之间增加一个捷径,即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射,以进行残差计算;
所述上采样层包括1个特殊卷积层,其后进行像素缩放,设置的激活函数为ReLU,并采用正则化规范处理;所述特殊卷积层为一个卷积核大小为3×3、步长为1、输出通道为512的卷积层。
7.根据权利要求6所述的人像超分辨率重建方法,其特征在于,所述深度神经网络采用L1范数损失函数作为损失函数。
8.根据权利要求7所述的人像超分辨率重建方法,其特征在于,步骤4中在所述深度神经网络训练过程中,学习率随着迭代次数逐步衰减。
CN202010464604.7A 2020-05-28 2020-05-28 一种人像超分辨率重建方法 Pending CN111626937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464604.7A CN111626937A (zh) 2020-05-28 2020-05-28 一种人像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464604.7A CN111626937A (zh) 2020-05-28 2020-05-28 一种人像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111626937A true CN111626937A (zh) 2020-09-04

Family

ID=72259179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464604.7A Pending CN111626937A (zh) 2020-05-28 2020-05-28 一种人像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111626937A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313777A (zh) * 2021-07-29 2021-08-27 杭州博雅鸿图视频技术有限公司 一种图像压缩处理方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844743A (zh) * 2017-09-28 2018-03-27 浙江工商大学 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108932495A (zh) * 2018-07-02 2018-12-04 大连理工大学 一种汽车前脸参数化模型全自动生成方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN109598191A (zh) * 2018-10-23 2019-04-09 北京市商汤科技开发有限公司 行人重识别残差网络训练方法及装置
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844743A (zh) * 2017-09-28 2018-03-27 浙江工商大学 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108932495A (zh) * 2018-07-02 2018-12-04 大连理工大学 一种汽车前脸参数化模型全自动生成方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN109598191A (zh) * 2018-10-23 2019-04-09 北京市商汤科技开发有限公司 行人重识别残差网络训练方法及装置
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313777A (zh) * 2021-07-29 2021-08-27 杭州博雅鸿图视频技术有限公司 一种图像压缩处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
US10579908B2 (en) Machine-learning based technique for fast image enhancement
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN109785252B (zh) 基于多尺度残差密集网络夜间图像增强方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN113902658B (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN111626937A (zh) 一种人像超分辨率重建方法
CN113592965A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116245968A (zh) 基于Transformer的LDR图像生成HDR图像的方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN112070676B (zh) 一种双通道多感知卷积神经网络的图片超分辨率重建方法
You et al. CNN-Based Local Tone Mapping in the Perceptual Quantization Domain
Wang et al. Reconstructed densenets for image super-resolution
KR102488037B1 (ko) 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치
Lin et al. Deep learning based video super-resolution and its application in video conferences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220518

Address after: 518000 22nd floor, building C, Shenzhen International Innovation Center (Futian science and Technology Plaza), No. 1006, Shennan Avenue, Xintian community, Huafu street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen wanglian Anrui Network Technology Co.,Ltd.

Address before: Floor 4-8, unit 5, building 1, 333 Yunhua Road, high tech Zone, Chengdu, Sichuan 610041

Applicant before: CHENGDU 30KAITIAN COMMUNICATION INDUSTRY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200904

RJ01 Rejection of invention patent application after publication