CN112991174A - 一种提高单帧红外图像分辨率的方法与系统 - Google Patents
一种提高单帧红外图像分辨率的方法与系统 Download PDFInfo
- Publication number
- CN112991174A CN112991174A CN202110272617.9A CN202110272617A CN112991174A CN 112991174 A CN112991174 A CN 112991174A CN 202110272617 A CN202110272617 A CN 202110272617A CN 112991174 A CN112991174 A CN 112991174A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- gradient
- hyper
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种提高单帧红外图像分辨率的方法与系统，其中所述方法包括：步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。该方法与系统可以提升整体的超分重建的质量，更好地保留了图像中的结构信息。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种红外图像的超分辨率处理方法。
背景技术
红外成像系统由于具备较好的穿透成像效果，能够在黑夜、雨、雾等光照不足和复杂气象环境下捕捉环境信息，广泛应用于军事、医疗、公共安全等领域。然而，相比于可见光传感器动辄百万像素的分辨率，红外成像系统的分辨率远远难以满足实际应用的需求。而通过物理方法，即通过缩小像元尺寸和扩大探测器矩阵等硬件方法来提高红外图像分辨率，会成倍增加产品成本。更重要的是，在军事领域等应用场景中对成像系统体积、重量有严格限制的情况下，通过物理方法提升分辨率是一条不可行的途径。因此，通过软件算法提升红外图像的分辨率是当前最有前景的技术途径。
受益于深度学习技术的飞速发展，可见光图像的超分辨率取得了相当不错的效果。FSRCNN采用小卷积核和共享的深层网络结构，得到一种快速的超分网络；SRResNet和EDSR利用亚像素卷积层和残差学习在低分辨率空间提取特征，并使用子像素卷积层对LR特征进行放大。SRGAN基于生成对抗的思想，将超分辨率的质量提升到一个新的高度；ESRGAN通过多个环节的改进进一步加快了模型训练的速度，提高了超分图像的质量。
然而，直接采用上述超分技术对红外图像进行超分辨率时，依然存在着较多的问题。这些问题主要与红外图像的特征相关，具体表现为：(1)由于红外成像系统和成像技术的限制，红外图像通常呈现出分辨率低、对比度弱、高频细节少等特点；(2)由于室外红外图像存在较大的视差，即前景与背景有较大的景深差异，传统的超分辨率方法容易破坏图像中原有的结构信息，从而形成伪影或几何畸变；(3)由于地表与目标温度高于背景温度，以及红外波段辐射各向同性扩散等原因，造成室外红外图像对比度低，外加水汽吸收、大气散射等因素使得红外图像进一步模糊，在视觉上呈现出可见光图像中的薄雾特征。
采用传统的图像超分辨率方法，由于薄雾模糊、对比度低等原因，往往难以充分挖掘高频信息，从而难以较好地恢复出细节信息；同时由于大的视差，在图像进行大比例的超分辨率时(例如4×4倍以上)，细节结构信息保留不好，会出现伪影或者几何畸变。
发明内容
针对现有技术存在的上述缺陷和不足，本发明提供一种单帧红外图像超分辨率方法与系统，至少部分解决现有技术中存在的问题，本方法能够对红外图像进行低对比度增强，并充分挖掘高频信息，同时较好地保留结构特征，因此可以提升红外图像的超分辨率质量。
本发明的一种提高单帧红外图像分辨率的方法，其特征在于，包括：
步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。
进一步地，其中所述步骤2中的图像超分分支具体包括图像超分网络，所述图像超分网络包括由多级残差网络和密集连接构成的RRDB模块，用于执行图像超分辨率，得到初始超分辨率图像。
进一步地，所述步骤2中的梯度超分分支还包括去雾处理，具体包括：
步骤2.1：采用暗通道先验模型搭建去雾模型，其数学模型表示为：
其中，c∈(r,g,b)是指rgb三个颜色通道，Ω(x)是以x为中心的窗口，代表局部区域，Jc(y)是原图，Jd(x)是暗通道图；
步骤2.2：根据有雾图模型，得到窗口内的透射值估计：
其中，Ic(y)是含雾原图，是已知量；Ac是全球大气光值，是未知量；ω是去雾率，取值为区间[0,1]，默认取值为0.95；
步骤2.3：根据所述A和所述t(x)，根据有雾图模型，计算得到去雾后的图像，公式如下：
其中，I(x)是原图，A是估计的全球大气光值，t(x)是式(2)估计的窗口内透射光率，to是最低透射光率。
进一步地，所述步骤2中的梯度超分分支还包括对经过去雾处理的梯度图进行梯度提取步骤，进而通过一个梯度超分网络实现对梯度图的超分辨率重建，得到梯度超分辨率图像。
进一步地，梯度超分网络在超分重建过程中融合了图像超分过程中的多级特征，而不是加入多层特征提取层来重新从梯度图提取特征。
进一步地，步骤3中的融合步骤采用一个多层卷积神经网络，通过训练获得对应的权重矩阵，进而确定初始超分辨率图像和梯度超分辨率图像各自占的比重。
进一步地，所述图像超分网络和梯度超分网络的损失函数由5个部分构成，具体包括：用于表征超分辨率图像与真实高分图像之间的绝对误差的L1损失函数、用于表征超分图像第i层特征φi与真实高分图像对应层特征之间的误差的感知损失、GNA损失以及用于衡量梯度超分网络中生成的SR梯度特征图与真实梯度特征图之间的绝对误差的梯度损失，其中，
L1损失为：Lpix＝EI||G(ILR)-IHR||1，
感知损失为：Lper＝EI||φi(G(ILR))-φi(IHR)||1，
GAN损失为：LDis＝-EI[log(1-D(ISR))]-EI[log(D(IHR))]，
LAdv＝-EI[logD(G(ILR))]，
梯度损失为：LGM＝EI||M(G(ILR))-M(IHR)||1，
结合以上各类损失，得到整体的损失函数为：
L＝aLpix+bLper+cLDis+dLAdv+eLGM
其中a、b、c、d、e为加权参数，且a+b+c+d+e＝1，
上述公示中ILR是低分辨率图像，IHR是真实的高分辨率图像，ISR是超分辨率后的图像，G(·)是超分过程，M(·)是梯度计算过程，φi(·)是第i层神经网络未经激活层输出的特征，D(·)为对抗生成网络(GAN)的对抗过程，||·||1是1范数。
本申请还提供了一种采用上述方法提高单帧红外图像分辨率的系统，该系统包括：输入模块，用于获取单帧低分辨率红外图像数据；数据处理模块，用于将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；融合模块，用于将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。
进一步地，数据处理模块包括所述图像超分分支和所述梯度超分分支。
进一步地，图像超分分支包括一个类似ESRGAN的图像超分网络，用于执行图像超分辨率得到初始超分辨率图像。
进一步地，梯度超分分支包括去雾模块，用于执行所述去雾处理。
进一步地，梯度超分分支还包括梯度超分网络，用于执行梯度图的超分辨率重建，得到梯度超分辨率图像。
进一步地，梯度超分分支在执行梯度图的超分重建过程中，引入了图像超分分支提取的多级特征，以提高梯度超分重建的效果。
进一步地，所述融合模块采用多层卷积神经网络确定初始超分辨率图像和梯度超分辨率图像等各个数据各自占的比重，获得对应的权重矩阵。
本申请在深入分析红外图像典型特征的基础上，针对传统算法在红外图像上超分重建效果差的问题，提出了一种新的深度神经网络结构，实现单帧红外图像的高质量超分重建。主要采用：(1)通过去雾处理，将原图中的细节信息充分暴露；(2)通过梯度重建网络超分高频信息；(3)在设计损失函数时充分考虑结构信息，以更好地保留细微结构的几何特征。
本申请能够对红外图像进行低对比度增强，并充分挖掘高频信息，同时较好地保留结构特征，因此可以提升红外图像的超分辨率质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请的总体流程示意图。
图2为本申请的系统架构图。
图3为本申请的红外图像去雾处理效果图。
图4为本申请的整体网络结构示意图。
图5为RRDB模块示意图。
图6(a)和图6(b)为Grad模块的网络结构示意图。
图7为融合模块的具体结构图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细描述。
本发明提供一种提高单帧红外图像分辨率的方法，其总体流程如图1所示。输入的单帧低分辨率红外图像分为两路。一路送入图像超分分支，通过图像超分网络进行超分重建。其中，图像超分网络借鉴ESRGAN的基本结构。另一路送入梯度超分分支，首先对红外图像进行去雾处理以增强图像的细节信息，然后提取梯度图像，进而通过梯度超分网络对梯度图像进行超分重建。在梯度超分过程中，梯度超分网络在多个层级引入图像超分网络中提取的多层特征。最后，梯度超分重建结果与图像超分重建结果融合，形成高质量的高分图像。为了保持细节结构在超分后的结构特征，在设计损失函数时，本发明也充分考虑了结构信息，通过增加梯度损失，对图像的超分辨率施加了二次约束，以更好地保留图像中的结构信息。
本发明提供一种提高单帧红外图像分辨率的系统，其结构如图2所示，该系统包括：输入模块，用于获取单帧低分辨率红外图像数据；数据处理模块，用于将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到初始超分图像和梯度超分图像；融合模块，用于将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。
鉴于红外图像通常比较模糊，呈现出薄雾效果，从而使得细节特征不明显。为了梯度提取能够更好地恢复出图像细节，本发明在进行梯度提取之前，先进行去雾处理。
去雾模型采用暗通道先验模型，所谓暗通道先验是指在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。用数学模型表示为：
其中，c∈(r,g,b)是指rgb三个颜色通道，Ω(x)是以x为中心的窗口，代表局部区域，Jc(y)是原图，Jd(x)是暗通道图。
进而根据有雾图模型，得到窗口内的透射值估计：
其中，Ic(y)是含雾原图，是已知量；Ac是全球大气光值，是未知量；ω是去雾率，取值为区间[0,1],默认取值为0.95。
在实际中，我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下：
1)从暗通道图中按照亮度的大小取前0.1％的像素；
2)在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。
在A和t(x)得到后，即可根据有雾图模型，计算得到去雾后的图像，公式如下：
其中，I(x)是原图，A是估计的全球大气光值，t(x)是式(2)估计的窗口内透射光率，to是最低透射光率。
采用窗口半径15，去雾率ω后，处理前后的结果如图3所示。
本发明提供的整体网络结构如图4所示。输入信号分为两路，一路送入图像超分网络，一路经过去雾处理和梯度提取送入梯度超分网络，经过图像超分网络和梯度超分网络处理之后，分别得到初始超分图像和超分梯度图，并通过Fusion模块融合得到高质量的超分图像。其中，图像超分网络为ESRGAN的网络结构，具体包括Conv模块和与所述Conv模块级联的若干个RRDB模块，RRDB模块的输出结果作为Concat模块的输入，Concat模块级联Conv模块，其结果作为Upsample模块的输入，最后和Conv模块连接；其中，所述Conv模块为3×3的卷积模块，所述Concat模块为特征合并模块，所述Upsample模块为2倍率上采样模块，梯度提取为sobel算子提取梯度。通过图像超分网络可以得到初始超分辨率图像。
梯度超分网络具体包括依次连接的Conv模块、若干个Grad模块+Conv模块组合、Conv模块、Upsample模块和Conv模块；其中，所述Conv模块为3×3的卷积模块，所述Concat模块为特征合并模块，所述Upsample模块为2倍率上采样模块，梯度提取为sobel算子提取梯度。通过梯度超分网络可以得到梯度超分辨率图像。
所述RRDB模块、Grad模块和Fusion模块将在后续详细介绍。值得注意的是，梯度超分网络集成了来自图像超分网络的多个中间层表征。
RRDB(Residual-in-Residual Dense Block)模块是ESRGAN网络的基本模块，由多级残差网络和密集连接构成，具体如图5所示，RRDB模块包括若干个Conv模块+LReLU模块组，这些模块组经过密集连接之后得到的结果输入Conv模块，作为RRDB模块的最终输出结果。其中，Conv模块为3×3的卷积模块，LReLU模块是现有技术中的激活函数模块。
如图4所示，在每两个RRDB之间有个Grad模块用于梯度图的高级特征提取，该Grad的模块可以是Residual模块，也可以是Bottleneck模块，可以选用。效果并没有明显优劣，都可以作为实用例。Residual模块和Bottleneck模块的网络结构分别为图6(a)和图6(b)所示。
Fusion模块融合利用初始超分图像和超分梯度图。融合模块实际上是确定初始超分图像和超分梯度图各自占的比重，即获得两个权重矩阵WESRGAN和WGran，其网络结构如图7所示，包括依次级联的Concat模块、第一Conv模块和第二Conv模块。所述Conv模块为3×3的卷积模块，所述Concat模块为特征合并模块。
本发明所述图像超分网络和梯度超分网络的损失函数包括L1损失、感知损失、GAN损失和梯度损失如下几个部分：
(1)L1损失
用于表征超分图像与真实高分图像之间的绝对误差，其具体形式为：
Lpix＝EI||G(ILR)-IHR||1 (4)
(2)感知损失
用于表征超分图像第i层特征φi与真实高分图像对应层特征之间的误差，其具体形式为：
Lper＝EI||φi(G(ILR))-φi(IHR)||1 (5)
(3)GAN损失
LDis＝-EI[log(1-D(ISR))]-EI[log(D(IHR))] (6)
LAdv＝-EI[logD(G(ILR))] (7)
(4)梯度损失
用于衡量梯度超分网络中生成的SR梯度特征图与真实梯度特征图之间的绝对误差。其具体形式为：
LGM＝EI||M(G(ILR))-M(IHR)||1 (8)
(5)结合以上各类损失，得到整体的损失函数为：
L＝aLpix+bLper+cLDis+dLAdv+eLGM (9)
其中a、b、c、d、e为加权参数，且a+b+c+d+e＝1，
上述公示中ILR是低分辨率图像，IHR是真实的高分辨率图像，ISR是超分辨率后的图像，G(·)是超分过程，M(·)是梯度计算过程，φi(·)是第i层神经网络未经激活层输出的特征，D(·)为对抗生成网络(GAN)的对抗过程，||·||1是1范数。
可见，本发明在充分分析红外图像特征的基础上，提出了一种基于深度神经网络的提高单帧红外图像超分辨率方法与系统，通过以下方式显著提高了红外图像处理的精度：
(1)提出一种双分支的深度神经网络，其中一路对采用类似于ESRGAN的网络直接对图像进行超分辨，另一路对梯度图像进行超分辨率，最后将两路超分的结果进行融合，使红外图像的细节信息得到更好地强调。
(2)鉴于红外图像通常比较模糊，呈现出薄雾效果，从而使得细节特征不明显。为了梯度提取能够更好地恢复出图像细节，本发明在进行梯度提取之前，先进行去雾处理。本发明采用基于暗通道的方法进行去雾处理，得到了较好的效果，使红外图像细节得以凸显。
(3)梯度图像的超分辨率融合利用了图像超分过程中的多级特征，即将图像超分网络的中间层特征送入梯度超分网络，而不是加入多层特征提取层，从而降低了模型复杂度和计算消耗，并提升梯度超分网络的效果。
(4)图像超分网络采用了由多级残差网络和密集连接构成的RRDB模块，特征表达能力更强。
(5)梯度超分模块采用Grad模块进行梯度图的高级特征提取。
(6)Fusion模块采用多层卷积融合利用初始超分图像和超分梯度图。
(7)定义的损失函数综合考虑了L1损失、感知损失、GAN损失和梯度损失，特别是充分考虑了结构信息，通过增加梯度损失，对图像的超分辨率施加了二次约束，以更好地保留图像中的结构信息。
关于有雾图模型，即暗通道去雾模型，请参见文献“Single Image Haze RemovalUsing Dark Channel Prior”的介绍，在此不再赘述。
以上仅为本发明的具体实施方式，但是本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明所披露的发明构思和技术方案的范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求书所限定的为准。
Claims (10)
1.一种提高单帧红外图像分辨率的方法，其特征在于，包括：
步骤1：获取单帧低分辨率红外图像数据；
步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行图像超分处理和梯度超分处理，分别得到图像超分重建结果和梯度超分重建结果；
步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。
2.根据权利要求1所述的方法，其特征在于：所述步骤2中的图像超分分支包括图像超分网络，所述图像超分网络包括由多级残差网络和密集连接构成的RRDB模块，用于执行图像超分辨率，得到初始超分辨率图像。
3.根据权利要求1或2所述的方法，其特征在于：所述步骤2中的梯度超分分支还包括去雾处理，具体包括：
步骤2.1：采用暗通道先验模型搭建去雾模型，其数学模型表示为：
其中，c∈(r,g,b)是指rgb三个颜色通道，Ω(x)是以x为中心的窗口，代表局部区域，Jc(y)是原图，Jd(x)是暗通道图；
步骤2.2：根据有雾图模型，得到窗口内的透射值估计：
其中，Ic(y)是含雾原图，是已知量；Ac是全球大气光值，是未知量；ω是去雾率，取值为区间[0,1]，默认取值为0.95；
步骤2.3：根据所述A和所述t(x)，根据有雾图模型，计算得到去雾后的图像，公式如下：
其中，I(x)是原图，A是估计的全球大气光值，t(x)是式(2)估计的窗口内透射光率，to是最低透射光率。
4.根据权利要求3所述的方法，其特征在于：所述步骤2中的梯度超分分支还包括对经过去雾处理的梯度图进行梯度提取步骤，进而通过一个梯度超分网络实现对梯度图的超分辨率重建，得到梯度超分辨率图像。
5.根据权利要求4所述的方法，其特征在于：所述梯度超分网络在超分重建过程中融合了图像超分过程中提取的多级特征，而不是加入多层神经网络从梯度图重新提取多层特征。
6.根据权利要求5所述的方法，其特征在于：所述步骤3中的融合步骤采用一个多层卷积神经网络，通过训练获得对应的权重矩阵，进而确定初始超分辨率图像和梯度超分辨率图像各自占的比重。
7.根据权利要求1-6任一项所述的方法，其特征在于：所述图像超分网络和梯度超分网络的损失函数由5个部分构成，具体包括：表征超分辨率图像与真实高分图像之间的绝对误差的L1损失函数、表征超分图像第i层特征φi与真实高分图像对应层特征之间的误差的感知损失、GNA损失和用于衡量梯度超分网络中生成的SR梯度特征图与真实梯度特征图之间的绝对误差的梯度损失，其中：
L1损失为：Lpix＝EI||G(ILR)-IHR||1，
感知损失为：Lper＝EI||φi(G(ILR))-φi(IHR)||1，
GAN损失为：LDis＝-EI[log(1-D(ISR))]-EI[log(D(IHR))]，
LAdv＝-EI[logD(G(ILR))]，
梯度损失为：LGM＝EI||M(G(ILR))-M(IHR)||1，
结合以上各类损失，得到整体的损失函数为：
L＝aLpix+bLper+cLDis+dLAdv+eLGM
其中a、b、c、d、e为加权参数，且a+b+c+d+e＝1，
上述公示中ILR是低分辨率图像，IHR是真实的高分辨率图像，ISR是超分辨率后的图像，G(·)是超分过程，M(·)是梯度计算过程，φi(·)是第i层神经网络未经激活层输出的特征，D(·)为对抗生成网络的对抗过程，||·||1是1范数。
8.一种采用权利要求1-7任一项所述方法提高单帧红外图像分辨率的系统，其特征在于：包括：
输入模块，用于获取单帧低分辨率红外图像数据；
数据处理模块，用于将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行图像超分处理和梯度超分处理，分别得到图像超分重建结果和梯度超分重建结果；
融合模块，用于将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。
9.根据权利要求8所述的系统，其特征在于：所述数据处理模块包括所述图像超分分支和所述梯度超分分支。
10.根据权利要求9所述的系统，其特征在于：所述梯度超分分支包括去雾模块，用于执行所述去雾处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272617.9A CN112991174A (zh) | 2021-03-13 | 2021-03-13 | 一种提高单帧红外图像分辨率的方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272617.9A CN112991174A (zh) | 2021-03-13 | 2021-03-13 | 一种提高单帧红外图像分辨率的方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112991174A true CN112991174A (zh) | 2021-06-18 |
Family
ID=76335187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110272617.9A Pending CN112991174A (zh) | 2021-03-13 | 2021-03-13 | 一种提高单帧红外图像分辨率的方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991174A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051344A1 (en) * | 2021-09-30 | 2023-04-06 | Subtle Medical, Inc. | Ultra-high resolution ct reconstruction using gradient guidance |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN108090872A (zh) * | 2017-12-18 | 2018-05-29 | 武汉大学 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 |
| CN110135386A (zh) * | 2019-05-24 | 2019-08-16 | 长沙学院 | 一种基于深度学习的人体动作识别方法和系统 |
| CN110889895A (zh) * | 2019-11-11 | 2020-03-17 | 南昌大学 | 一种融合单帧重建网络的人脸视频超分辨率重建方法 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| WO2021022929A1 (zh) * | 2019-08-08 | 2021-02-11 | 齐鲁工业大学 | 一种单帧图像超分辨率重建方法 |
-
2021
- 2021-03-13 CN CN202110272617.9A patent/CN112991174A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN108090872A (zh) * | 2017-12-18 | 2018-05-29 | 武汉大学 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN110135386A (zh) * | 2019-05-24 | 2019-08-16 | 长沙学院 | 一种基于深度学习的人体动作识别方法和系统 |
| WO2021022929A1 (zh) * | 2019-08-08 | 2021-02-11 | 齐鲁工业大学 | 一种单帧图像超分辨率重建方法 |
| CN110889895A (zh) * | 2019-11-11 | 2020-03-17 | 南昌大学 | 一种融合单帧重建网络的人脸视频超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHENG MA: "Structure-Preserving Super Resolution With Gradient Guidance", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| KAIMING HE: "Single Image Haze Removal Using Dark Channel Prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051344A1 (en) * | 2021-09-30 | 2023-04-06 | Subtle Medical, Inc. | Ultra-high resolution ct reconstruction using gradient guidance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| JP3328934B2 (ja) | 像を融合する方法およびその装置 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN109447930B (zh) | 小波域光场全聚焦图像生成算法 | |
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN109035155B (zh) | 一种光晕去除的多曝光图像融合方法 | |
| CN112508812B (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN115115516B (zh) | 基于Raw域的真实世界视频超分辨率的构建方法 | |
| CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| CN115035011B (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| Liu et al. | Learning noise-decoupled affine models for extreme low-light image enhancement | |
| Honnutagi et al. | Fusion-based underwater image enhancement by weight map techniques | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| CN117952883A (zh) | 一种基于双边网格和显著性引导的逆光图像增强方法 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN112991174A (zh) | 一种提高单帧红外图像分辨率的方法与系统 | |
| CN113724139A (zh) | 基于二重判别器生成对抗网络的无监督的红外单图超分 | |
| Wang et al. | Underwater image quality optimization: Researches, challenges, and future trends | |
| Xu et al. | Swin transformer and ResNet based deep networks for low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |