CN111260552B - 一种基于递进学习的图像超分辨率方法 - Google Patents
一种基于递进学习的图像超分辨率方法 Download PDFInfo
- Publication number
- CN111260552B CN111260552B CN202010023379.3A CN202010023379A CN111260552B CN 111260552 B CN111260552 B CN 111260552B CN 202010023379 A CN202010023379 A CN 202010023379A CN 111260552 B CN111260552 B CN 111260552B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- training
- network
- image super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000750 progressive effect Effects 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 74
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 16
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于递进学习的图像超分辨率方法,该方法包括如下步骤:(1)获取成对的低分辨率和高分辨率图像,生成训练样本;(2)构建图像超分辨率网络,所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像;(3)确定度量高分辨率图像局部细节特征的局部细节度量;(4)确定随训练次数递进增加的难度系数,结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重;(5)基于自适应权重定义图像超分辨率网络的加权损失函数;(6)利用优化器最小化加权损失函数,训练图像超分辨率网络;(7)获得用于图像超分辨率的图像超分辨率网络。与现有技术相比,本发明鲁棒性高,泛化能力强,计算时间短,实现方便。
Description
技术领域
本发明涉及一种图像超分辨率方法,尤其是涉及一种基于递进学习的图像超分辨率方法。
背景技术
图像超分辨任务旨在根据成像系统中退化的低分辨率图像重建出高分辨率的图像。在自然条件下,成像系统会受到内在和外在等多种因素的干扰,因此图像退化过程会是多种退化情形的组合。此外,图像本身具有很强的非局部相似性,因此我们不仅可以通过额外样本学习图像间的局部相似性,更应该通过模型充分开发图像本身的非局部相似性。传统的非学习方法通过建模图像的退化过程,利用先验知识和优化方法来复原图像。然而这些方法针对不同的任务需要人工设置参数,由于它们的非全自动缺陷,在应用中会产生昂贵的人力成本。此外非学习方法的实现一般是通过一个迭代框架,因此在测试的时候图像超分辨率时间较长。新的基于学习的方法通过构建网络来模拟图像超分辨率过程,并利用大量训练样本来训练网络。基于学习的方法在图像超分辨率任务上产生了非常客观的效果,其一是因为基于学习的方法通过大量的样本可以学习图像的局部相似性特征,因此可以大大提升图像超分辨率质量;其二是因为基于学习的方法可以通过深度学习框架并行实现,所以在测试的时候会大大缩短图像超分辨率时间。然而在实际测试中,基于学习的图像超分辨率方法依然存在着如下两方面的挑战:
(1)针对同一图像超分辨率任务中的不同样本,利用学习方法得到的结果差异很大,这是因为同一图像中不同像素的条件分布各不同,因此学习方法的鲁棒性不够。
(2)针对不同的图像超分辨率任务,基于学习的方法缺乏适应不同任务的灵活性,这是因为不同任务下退化图像像素分布的差异很大,因此学习方法的泛化能力不够。
经过对现有文献的调研发现,通过充分开发图像本身的非局部相似性,可以很大程度上提升图像超分辨率方法的鲁棒性。此外,设计有效的网络结构,可以提高学习方法的泛化能力。然而如何提高学习方法的鲁棒性和泛化能力仍然是一个开放性的挑战。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于递进学习的图像超分辨率方法。
本发明的目的可以通过以下技术方案来实现:
一种基于递进学习的图像超分辨率方法,该方法包括如下步骤:
(1)获取成对的低分辨率和高分辨率图像,生成训练样本;
(2)构建图像超分辨率网络,所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像;
(3)确定度量高分辨率图像局部细节特征的局部细节度量;
(4)确定随训练次数递进增加的难度系数,结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重;
(5)基于自适应权重定义图像超分辨率网络的加权损失函数;
(6)利用优化器最小化加权损失函数,训练图像超分辨率网络;
(7)获得用于图像超分辨率的图像超分辨率网络。
步骤(2)图像超分辨率网络采用神经网络。
步骤(3)高分辨率图像的局部细节度量通过如下方式获得:
m(IHR)=||min{|DIHR|-1/β,0}||,
其中,IHR为高分辨率图像,m(IHR)为高分辨率图像的局部细节度量,|DIHR|为高分辨率图像的差分矩阵,具体地,对于高分辨率图像中的任意一个像素pc,ph表示pc右边的像素,pv表示pc下方的像素,则该高分辨率图像在pc处差分的模为水平方向差分的模和垂直方向差分的模之和,即|pc-ph|+|pc-pv|,将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模,组成矩阵|DIHR|,min{|DIHR|-1/β,0}表示对|DIHR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵,β为阈值常数。
步骤(4)中难度系数确定为:
c(t)为第t次训练的难度系数,T为设定常数。
步骤(4)训练样本的自适应权重确定为:
wi(t)为第t次训练第i个训练样本的难度系数,为训练样本中第i个高分辨率图像,/>为第i个高分辨率图像的局部细节度量,sigmoid(x)为基于变量x的函数,sigmoid(x)=1/(1+e-x),e为自然常数。
步骤(5)加权损失函数为:
其中,wi(t)为第t次训练第i个训练样本的难度系数,N为训练样本的总个数,为训练样本中第i个高分辨率图像,/>为图像超分辨率网络输出的对应于/>的高分辨率图像,/>表示/>和/>的感知损失,γ为图像超分辨率网络的超参数。
步骤(6)训练图像超分辨率网络过程中判断是否到达最大训练步数,若是则执行步骤(7),否则返回步骤(4)更新训练样本的自适应权重并继续执行步骤(5)~(6)。
与现有技术相比,本发明具有如下优点:
(1)本发明利用递进学习的思想来训练网络,具体体现在:首先设计了一种度量图像局部细节特征的方法,该方法通过计算图像像素点和相邻像素的差来度量图像的局部细节;
其次,希望网络在训练的初始阶段学习图像的简单信息,随着训练次数的增加,网络递进地学习更加复杂的图像信息,因此定义了一个和训练次数有关的难度系数,通过控制难度系数,网络在初始训练阶段专注于学习图像的全局特征,即图像的光滑信息,随着训练次数的增加和难度系数的逐渐改变,具有更多细节特征的图像其权重逐渐变大,网络渐变为更专注于学习图像的局部细节特征;
由此,将局部细节度量与难度系数结合得到的每一次训练过程中各训练样本的自适应权重使得网络随着训练步数的增加能够更注重学习图像的细节特征,本发明方法训练的图像超分辨率网络鲁棒性高,泛化能力强。
(2)本发明具有全自动、计算时间短、实现方便等优势。
附图说明
图1为本发明基于递进学习的图像超分辨率方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种基于递进学习的图像超分辨率方法,该方法包括如下步骤:
步骤1:获取成对的低分辨率和高分辨率图像,生成训练样本,具体地,高分辨率图像首先通过模糊、噪化、下采样等操作生成低分辨率图像,将低分辨率图像和相应的高分辨率图像组合形成一对训练样本;利用数据增广技术將训练图像进行翻转和旋转,生成大量训练样本。这些准备好的样本将用于后续网络训练。
步骤2:构建图像超分辨率网络,所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像,图像超分辨率网络采用神经网络。
步骤3:确定度量高分辨率图像局部细节特征的局部细节度量:
基于递进学习的思想,本发明希望网络在初始训练阶段专注于学习图像的全局特征,即图像的光滑信息。随着学习的推进,网络开始更专注于学习图像的局部细节特征。因此我们设计了一种度量图像局部细节特征的方法,该方法通过计算图像像素点和相邻像素的差来度量图像的局部细节,具体的,高分辨率图像的局部细节度量通过如下方式获得:
m(IHR)=||min{|DIHR|-1/β,0}||,
其中,IHR为高分辨率图像,m(IHR)为高分辨率图像的局部细节度量,|DIHR|为高分辨率图像的差分矩阵,具体地,对于高分辨率图像中的任意一个像素pc,ph表示pc右边的像素,pv表示pc下方的像素,则该高分辨率图像在pc处差分的模为水平方向差分的模和垂直方向差分的模之和,即|pc-ph|+|pc-pv|,将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模,组成矩阵|DIHR|,min{|DIHR|-1/β,0}表示对|DIHR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵,β为阈值常数。
步骤4:为了使网络在训练的初始阶段学习图像的简单信息,随着训练次数的增加,网络递进地学习更加复杂的图像信息,因此,该步骤首先确定随训练次数递进增加的难度系数,然后,结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重。
上述难度系数确定为:
c(t)为第t次训练的难度系数,T为设定常数。
其次,训练样本的自适应权重确定为:
wi(t)为第t次训练第i个训练样本的难度系数,为训练样本中第i个高分辨率图像,/>为第i个高分辨率图像的局部细节度量,sigmoid(x)为基于变量x的函数,sigmoid(x)=1/(1+e-x),e为自然常数。
通过上述过程,在训练的初始阶段,难度系数接近0,这时候简单图像的权重很大而复杂图像的权重很小,因此网络更偏向于学习图像的光滑信息。随着训练深入,复杂图像的权重逐渐增大,因此网络更注重学习图像的细节特征。
步骤5:基于自适应权重定义图像超分辨率网络的加权损失函数,具体为:
其中,wi(t)为第t次训练第i个训练样本的难度系数,N为训练样本的总个数,为训练样本中第i个高分辨率图像,/>为图像超分辨率网络输出的对应于/>的高分辨率图像,/>表示/>和/>的感知损失,γ为图像超分辨率网络的超参数。
通过优化该损失函数,可以控制网络在不同阶段的注意力。即在早期阶段学习简单信息,随着训练步数的增加,逐渐开始学习复杂信息。
步骤6:利用优化器最小化加权损失函数,训练图像超分辨率网络,训练过程中判断是否到达最大训练步数,若是则执行步骤7,否则返回步骤4更新训练样本的自适应权重并继续执行步骤5~6。
步骤7:获得用于图像超分辨率的图像超分辨率网络,在应用阶段,图像超分辨率网络输入为低分辨率的图像,输出为高分辨率的图像,整个过程是全自动,不需要人工干预,并且执行速度很快。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (5)
1.一种基于递进学习的图像超分辨率方法,其特征在于,该方法包括如下步骤:
(1)获取成对的低分辨率和高分辨率图像,生成训练样本;
(2)构建图像超分辨率网络,所述的图像超分辨率网络用于输入低分辨率图像并输出高分辨率图像;
(3)确定度量高分辨率图像局部细节特征的局部细节度量;
(4)确定随训练次数递进增加的难度系数,结合局部细节度量与难度系数确定每一次训练过程中各训练样本的自适应权重;
(5)基于自适应权重定义图像超分辨率网络的加权损失函数;
(6)利用优化器最小化加权损失函数,训练图像超分辨率网络;
(7)获得用于图像超分辨率的图像超分辨率网络;
步骤(3)高分辨率图像的局部细节度量通过如下方式获得:
m(IHR)=||min{|DIHR|-1/β,0}||,
其中,IHR为高分辨率图像,m(IHR)为高分辨率图像的局部细节度量,|DIHR|为高分辨率图像的差分矩阵,具体地,对于高分辨率图像中的任意一个像素pc,ph表示pc右边的像素,pv表示pc下方的像素,则该高分辨率图像在pc处差分的模为水平方向差分的模和垂直方向差分的模之和,即|pc-ph|+|pc-pv|,将高分辨率图像中的每个像素分别进行取差分操作得到各个像素点的差分的模,组成矩阵|DIHR|,min{|DIHR|-1/β,0}表示对|DIHR|矩阵各元素减去1/β后逐元素与0比较取较小值得到的矩阵,β为阈值常数;
步骤(4)中难度系数确定为:
c(t)为第t次训练的难度系数,T为设定常数;
步骤(4)训练样本的自适应权重确定为:
2.根据权利要求1所述的一种基于递进学习的图像超分辨率方法,其特征在于,步骤(2)图像超分辨率网络采用神经网络。
5.根据权利要求1所述的一种基于递进学习的图像超分辨率方法,其特征在于,步骤(6)训练图像超分辨率网络过程中判断是否到达最大训练步数,若是则执行步骤(7),否则返回步骤(4)更新训练样本的自适应权重并继续执行步骤(5)~(6)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010023379.3A CN111260552B (zh) | 2020-01-09 | 2020-01-09 | 一种基于递进学习的图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010023379.3A CN111260552B (zh) | 2020-01-09 | 2020-01-09 | 一种基于递进学习的图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260552A CN111260552A (zh) | 2020-06-09 |
CN111260552B true CN111260552B (zh) | 2023-05-30 |
Family
ID=70953933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010023379.3A Active CN111260552B (zh) | 2020-01-09 | 2020-01-09 | 一种基于递进学习的图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260552B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016507B (zh) * | 2020-09-07 | 2023-10-31 | 平安科技(深圳)有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN110047038A (zh) * | 2019-02-27 | 2019-07-23 | 南京理工大学 | 一种基于层级递进网络的单图像超分辨重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102184755B1 (ko) * | 2018-05-31 | 2020-11-30 | 서울대학교 산학협력단 | 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법 |
-
2020
- 2020-01-09 CN CN202010023379.3A patent/CN111260552B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN110047038A (zh) * | 2019-02-27 | 2019-07-23 | 南京理工大学 | 一种基于层级递进网络的单图像超分辨重建方法 |
Non-Patent Citations (2)
Title |
---|
基于关键点逐层重建的人脸图像超分辨率方法;傅天宇;金柳颀;雷震;李子青;信号处理;第32卷(第7期);834-841 * |
基于学习的地震剖面超分辨率重建方法研究;刘旭跃;黄骏;;物探化探计算技术;第40卷(第01期);20-26 * |
Also Published As
Publication number | Publication date |
---|---|
CN111260552A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884001B (zh) | 碳钢石墨化自动评级方法和系统 | |
CN112766334A (zh) | 一种基于伪标签域适应的跨域图像分类方法 | |
CN110119760B (zh) | 一种基于层次化多尺度循环神经网络的序列分类方法 | |
CN112819063B (zh) | 一种基于改进的Focal损失函数的图像识别方法 | |
CN110751644A (zh) | 道路表面裂纹检测方法 | |
CN111260552B (zh) | 一种基于递进学习的图像超分辨率方法 | |
Song et al. | S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network | |
CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
CN113627597B (zh) | 一种基于通用扰动的对抗样本生成方法及系统 | |
CN107730459A (zh) | 一种基于非线性动态系统的图像去模糊方法 | |
CN113012066B (zh) | 基于参数化玻色采样的量子线路学习方法及图像模糊方法 | |
JP2023532755A (ja) | 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム | |
CN109345497A (zh) | 基于模糊算子的图像融合处理方法及系统、计算机程序 | |
Padhy et al. | Image classification in artificial neural network using fractal dimension | |
CN116108751A (zh) | 基于图神经网络的材料应力应变曲线预测模型及其构建方法和预测方法 | |
CN115861930A (zh) | 一种基于层级差异特征聚合的人群计数网络建模方法 | |
CN110443860B (zh) | 一种利用人工智能实现颜色对结构色设计的方法 | |
KR102224466B1 (ko) | 기계학습을 이용한 페로브스카이트의 구조 분석 방법 | |
CN114998706B (zh) | 一种基于强化学习决策区域细划分的图像目标检测方法 | |
Li et al. | Training super-resolution network with difficulty-based adaptive sampling | |
Takemoto et al. | Automatic Font Generation For Early-Modern Japanese Printed Books | |
CN112926619B (zh) | 一种高精度水下激光目标识别系统 | |
CN110211036A (zh) | 一种基于智能先验的图像超分辨率重建方法及装置 | |
CN116486273B (zh) | 一种小样本遥感图像水体信息提取方法 | |
Ji et al. | Non-local network routing for perceptual image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |