CN114092330B - 一种轻量化多尺度的红外图像超分辨率重建方法 - Google Patents
一种轻量化多尺度的红外图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN114092330B CN114092330B CN202111384502.5A CN202111384502A CN114092330B CN 114092330 B CN114092330 B CN 114092330B CN 202111384502 A CN202111384502 A CN 202111384502A CN 114092330 B CN114092330 B CN 114092330B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- training
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000015556 catabolic process Effects 0.000 claims abstract description 7
- 238000006731 degradation reaction Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000003062 neural network model Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 28
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 230000006798 recombination Effects 0.000 claims description 7
- 238000005215 recombination Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种轻量化多尺度红外图像超分辨率重建方法，属于图像超分辨率重建技术领域，为解决现有技术的问题，该方法构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块。准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；训练网络模型：将步骤2中准备好的数据集的低分辨率图像输入到步骤1中构建的神经网络模型进行训练；最小化损失函数值:通过最小化网络输出图像与标签的损失函数直到训练次数达到设定阈值或损失函数的值到达设定范围内；对模型进行训练和微调；保存模型：将最终确定的模型参数进行固化，需要进行超分辨率重建时，直接将图像输入到网络中。
Description
技术领域
本发明涉及一种轻量化多尺度红外图像超分辨率重建方法，属于图像超分辨率重建技术领域。
背景技术
超分辨率图像重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的过程。图像超分辨率重建已应用于医学成像、安全监控﹑改善遥感图像质量、图像压缩和目标检测领域。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手。然而，现有的超分辨率重建方法存在参数较多、占用内存高、计算量大、单一尺度等问题，不能够运用到移动端或者做到实时处理的目的。
中国发明专利申请号为:“CN201810535634.5”，专利名称为：《一种基于改进的稠密卷积神经网络的超分辨率重建方法》，此发明将稠密卷积神经网络结构(DenseConvolutional Network,DenseNet)的思想应用到单帧图像的超分辨率重建,并在DenseNet结构的基础上改进了网络结构，减小了一定的参数，但此方法占用内存高，计算量大，不适合在一般的电脑或者移动端使用。
发明内容
本发明针对现有超分辨率网络参数量大、计算量大、内存高和不适用于移动端的问题，提供一种轻量化多尺度残差网络的超分辨率图像重建方法。可以有效保证图像重建后的效果，同时做到了网络参数少、处理速度快、可移植性强。
本发明解决技术问题的方案是：
一种轻量化多尺度红外图像超分辨率重建方法，包括步骤如下：
步骤1，构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由八个相同的轻量化多尺度残差块堆叠组成，用以进一步获取图像深层信息；信息融合模块对不同级别的深层信息进行融合和筛选；上采样模块将浅层特征和深层特征融合后，再进行像素重组，最后获得超分辨率图像；
步骤2，准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；
步骤3，训练网络模型：将步骤2中准备好的数据集的低分辨率图像输入到步骤1中构建的神经网络模型进行训练；
步骤4，最小化损失函数值:通过最小化网络输出图像与标签的损失函数直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数；
步骤5，微调模型：对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力；
步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行超分辨率重建时，直接将图像输入到网络中即可得到最终的图像。
步骤1中所述浅层特征提取模块使用两个3×3卷积层；深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1×1卷积组成，先采用3×3组卷积层一和5×5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1×1卷积层一和1×1卷积层二进行特征融合，再将融合特征通过3×3组卷积层二和5×5组卷积层二进一步提取多尺度特征，再使用1×1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征；特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1×1卷积进行筛选和融合；上采样模块先用一个3×3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3×3卷积输出结果图；网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
步骤2中所述在图像预处理过程中，均使用双三次下采样对图像进行模拟降质，将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对。
步骤3中所述在训练过程中数据集使用DIV2K；将同一张图片的高低分辨率图像进行同样的随机翻转、旋转操作，并将低分辨率图像作为整个网络的输入，将高分辨率图像作为标签。然后使用Flir红外图像数据集，通过与可见光数据集相同的预处理后，对网络进行调整以适应红外图像超分辨率重建。
步骤4中所述损失值由损失函数求取，损失函数选择使用结构相似性和像素损失的组合函数；得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。
步骤5中所述在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
本发明的有益效果：
1、本发明基于深度学习的思想，利用可见光数据集进行高低分辨率图像之间的模型预训练，再利用少量红外图像数据集训练得到效果良好的红外超分辨率重建网络，大大降低了对红外成像设备的成像技术要求。
2、本发明设计了一种轻量化多尺度残差块提取低分辨率图像的特征，能够充分利用低分辨率图像的多层次、多尺度细节信息。其次，引入注意力机制能在网络较浅的情况下更充分的提取低分辨率图像中的特征信息。
3、在网络中通过添加跳跃连接有助于渐少网络参数，使得网络的深度变浅，网络参数的数量较少，最终使得整个网络实现结构简单，重建效率高。
附图说明
图1为本发明一种轻量化多尺度图像超分辨率重建方法流程图。
图2为本发明一种轻量化多尺度图像超分辨率重建方法网络结构图。
图3为本发明所述的每一个轻量化多尺度残差块的具体组成。
具体实施方式
下面结合附图以及实施例对本发明进行详细说明。
如图1和2所示，一种轻量化多尺度红外图像超分辨率重建方法，该方法具体包括如下步骤：
步骤1，构建网络模型。
整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块。浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由八个相同的轻量化多尺度残差块堆叠组成，用以进一步获取图像深层信息；信息融合模块对不同级别的深层信息进行融合和筛选；上采样模块将浅层特征和深层特征融合后，再进行像素重组，最后获得超分辨率图像。
所述浅层特征提取模块使用两个3×3卷积层；
如图3所示，所述深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1×1卷积组成，先采用3×3组卷积层一和5×5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1×1卷积层一和1×1卷积层二进行特征融合，再将融合特征通过3×3组卷积层二和5×5组卷积层二进一步提取多尺度特征，再使用1×1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征。
所述特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1×1卷积进行筛选和融合；
上采样模块先用一个3×3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3×3卷积输出结果图。
网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
步骤2，准备数据集。
在训练过程中，可见光数据集使用DIV2K，然后使用Flir红外图像数据集，通过图像的预处理后，可见光数据集用于对模型进行预训练，红外数据集用于对模型的参数进行进一步调整以适应红外图像超分辨率重建任务。
所述图像预处理过程，均使用双三次下采样对图像进行模拟降质，将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对。
步骤3，训练网络模型。
利用可见光数据集学习低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，然后将红外图像输入超分辨率重建模型，得到信息更为丰富的图像。
步骤4，最小化损失函数值。
通过最小化网络输出图像与标签的损失函数直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数。在训练过程中损失函数选择感知损失和像素损失的组合。得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。
步骤5，微调模型。对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力。
在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
步骤6，保存模型参数。
将最终确定的模型参数进行固化，之后需要进行超分辨率重建时，直接将图像输入到网络中即可得到最终的图像。
实施例：
步骤1中所述浅层特征提取模块使用两个3×3卷积层；深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1×1卷积组成，先采用3×3组卷积层一和5×5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1×1卷积层一和1×1卷积层二进行特征融合，再将融合特征通过3×3组卷积层二和5×5组卷积层二进一步提取多尺度特征，再使用1×1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征；特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1×1卷积进行筛选和融合；上采样模块先用一个3×3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3×3卷积输出结果图。网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
步骤2中所述可见光数据集使用DIV2K。数据集包含1000张高清图(2K分辨率)，其中800张作为训练，100张作为验证，100张作为测试。选择一定的倍数(如2倍、3倍、4倍等)对其中的高分辨率图像进行下采样,获得低分辨率图像。为了扩充数据量，随即对图像进行翻转、旋转变换。Flir数据集包含8000张红外图像，其中6000张作为训练，1000张作为验证。预处理方式同可见光数据集相同，利用可见光数据集获得获得图像超分辨率重建模型，然后将红外图像输入超分辨率重建模型，得到信息更为丰富的图像。
步骤3中所述对于每一张训练图片加入噪声，作为整个网络的输入。目的是让网络学习更好的特征提取能力，最终达到更好的重建效果。
步骤4中所述网络的输出与标签计算损失函数，通过最小化损失函数达到更好的超分辨率重建效果。损失函数选择结构相似性和像素损失。结构相似性计算公式如下所示：
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中，l(x,y)表示亮度对比函数，c(x,y)表示对比度对比函数，s(x,y)表示结构对比函数。三个函数的定义如下所示：
在实际应用中，α、β和γ均取值为1，C3为0.5C2，因此结构相似性公式可以表示为：
x和y分别表示两张图像中大小为N×N的窗口的像素点，μx和μy分别表示x和y的均值，可作为亮度估计；σx和σy分别表示x和y的方差，可作为对比度估计；σxy表示x和y的协方差，可作为结构相似性度量。c1和c2为极小值参数，可避免分母为0，通常分别取0.01和0.03。所以根据定义，整个图像的结构相似性计算方式如下所示：
X和Y分别表示待比较的两张图像，MN为窗口总数量，xij和yij为两张图片中各局部窗口。结构相似性具有对称性，其数值范围在[0,1]之间，数值越接近于1，结构相似性越大，两图像的差异越小。一般情况下，通过网络优化直接缩小其与1之间的差值即可，结构相似性损失如下所示：
SSIMloss＝1-MSSIM(L,O)
L和O分别表示标签和网络的输出。通过优化结构相似性损失，可逐步缩小输出图像与输入图像结构上的差异，使得图像在亮度、对比度上更相近，直觉感知上也更相近，生成图像质量较高。
像素损失损失定义如下所示：
out和label代表网络的输出和标签。
总的损失函数定义为：
Tloss＝Ploss+SSIMloss
步骤5中所述在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
步骤6中所述将网络训练完成后，需要将网络中所有参数保存，之后输入任意大小的图像均可获得超分辨率重建结果。
本发明通过改进了网络结构，减小了一定的参数，计算量小，此方法所占用内存小。适合在一般的电脑或者移动端使用。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：
从表中可知，本发明提出的方法不仅拥有更少的参数量和计算量，还有更高的峰值信噪比和结构相似性两个指标，这些指标进一步说明本发明不仅更轻量还有着更好的超分辨率重建质量。
Claims (5)
1.一种轻量化多尺度红外图像超分辨率重建方法，其特征是，该方法包括步骤如下：
步骤1，构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由八个相同的轻量化多尺度残差块堆叠组成，用以进一步获取图像深层信息；信息融合模块对不同级别的深层信息进行融合和筛选；上采样模块将浅层特征和深层特征融合后，再进行像素重组，最后获得超分辨率图像；
步骤2，准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；
步骤3，训练网络模型：将步骤2中准备好的数据集的低分辨率图像输入到步骤1中构建的神经网络模型进行训练；
步骤4，最小化损失函数值:通过最小化网络输出图像与标签的损失函数直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数；
步骤5，微调模型：对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力；
步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行超分辨率重建时，直接将图像输入到网络中即可得到最终的图像；
步骤1中所述浅层特征提取模块使用两个3×3卷积层；深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1×1卷积组成，先采用3×3组卷积层一和5×5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1×1卷积层一和1×1卷积层二进行特征融合，再将融合特征通过3×3组卷积层二和5×5组卷积层二进一步提取多尺度特征，再使用1×1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征；特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1×1卷积进行筛选和融合；上采样模块先用一个3×3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3×3卷积输出结果图；网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
2.根据权利要求1所述的一种轻量化多尺度红外图像超分辨率重建方法，其特征在于，步骤2中均使用双三次下采样对图像进行模拟降质，将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对。
3.根据权利要求1所述的一种轻量化多尺度红外图像超分辨率重建方法，其特征在于，步骤3中，在训练过程中数据集使用DIV2K；将同一张图片的高低分辨率图像进行同样的随机翻转、旋转操作，并将低分辨率图像作为整个网络的输入，将高分辨率图像作为标签；然后使用Flir红外图像数据集，通过与可见光数据集相同的预处理后，对网络进行调整以适应红外图像超分辨率重建。
4.根据权利要求1所述的一种轻量化多尺度红外图像超分辨率重建方法，其特征在于，步骤4中所述损失值由损失函数求取，损失函数选择使用结构相似性和像素损失的组合函数；得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。
5.根据权利要求1所述的一种轻量化多尺度红外图像超分辨率重建方法，其特征在于，步骤5中，在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384502.5A CN114092330B (zh) | 2021-11-19 | 2021-11-19 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384502.5A CN114092330B (zh) | 2021-11-19 | 2021-11-19 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114092330A CN114092330A (zh) | 2022-02-25 |
| CN114092330B true CN114092330B (zh) | 2024-04-30 |
Family
ID=80302533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111384502.5A Active CN114092330B (zh) | 2021-11-19 | 2021-11-19 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092330B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581560B (zh) * | 2022-03-01 | 2024-04-16 | 西安交通大学 | 基于注意力机制的多尺度神经网络红外图像彩色化方法 |
| CN114663288A (zh) * | 2022-04-11 | 2022-06-24 | 桂林电子科技大学 | 一种单轴向头部mri超分辨率重建方法 |
| CN114708148A (zh) * | 2022-04-12 | 2022-07-05 | 中国电子技术标准化研究院 | 一种基于迁移学习的红外图像超分辨率重建方法 |
| CN114913069B (zh) * | 2022-04-26 | 2024-05-03 | 上海大学 | 一种基于深度神经网络的红外图像超分辨率重建方法 |
| CN115100039B (zh) * | 2022-06-27 | 2024-04-12 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
| CN115239557B (zh) * | 2022-07-11 | 2023-10-24 | 河北大学 | 轻量化的x光图像超分辨率重建方法 |
| CN115810139B (zh) * | 2022-12-16 | 2023-09-01 | 西北民族大学 | 一种spect图像的目标区域识别方法及系统 |
| CN116402679B (zh) * | 2022-12-28 | 2024-05-28 | 长春理工大学 | 一种轻量级红外超分辨率自适应重建方法 |
| CN116128727B (zh) * | 2023-02-02 | 2023-06-20 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、系统、设备及介质 |
| CN116310959B (zh) * | 2023-02-21 | 2023-12-08 | 南京智蓝芯联信息科技有限公司 | 一种复杂场景下低质量摄像机画面识别方法及系统 |
| CN117252936A (zh) * | 2023-10-04 | 2023-12-19 | 长春理工大学 | 一种适配多种训练策略的红外图像彩色化方法及系统 |
| CN117172134B (zh) * | 2023-10-19 | 2024-01-16 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法 |
| CN117611954B (zh) * | 2024-01-19 | 2024-04-12 | 湖北大学 | 一种红外视频图像有效性评价方法、设备及存储设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112991173A (zh) * | 2021-03-12 | 2021-06-18 | 西安电子科技大学 | 基于双通道特征迁移网络的单帧图像超分辨率重建方法 |
| WO2021135773A1 (zh) * | 2020-01-02 | 2021-07-08 | 苏州瑞派宁科技有限公司 | 图像重建方法、装置、设备、系统及计算机可读存储介质 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
-
2021
- 2021-11-19 CN CN202111384502.5A patent/CN114092330B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021135773A1 (zh) * | 2020-01-02 | 2021-07-08 | 苏州瑞派宁科技有限公司 | 图像重建方法、装置、设备、系统及计算机可读存储介质 |
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112991173A (zh) * | 2021-03-12 | 2021-06-18 | 西安电子科技大学 | 基于双通道特征迁移网络的单帧图像超分辨率重建方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于亮度通道细节增强的低照度图像处理;蒋一纯;詹伟达;朱德鹏;激光与光电子学进展;20200921;第58卷(第004期);全文 * |
| 基于径向基函数神经网络的超分辨率图像重建;朱福珍;李金宗;朱兵;李冬冬;杨学峰;光学精密工程;20100615;第18卷(第6期);全文 * |
| 改进多尺度的Retinex红外图像增强;魏然然;詹伟达;朱德鹏;田永;液晶与显示;20210315;第36卷(第003期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114092330A (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114092330B (zh) | 一种轻量化多尺度的红外图像超分辨率重建方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN114331831A (zh) | 一种轻量化的单张图像超分辨率重建方法 | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN111028150A (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN113516601A (zh) | 基于深度卷积神经网络与压缩感知的图像恢复技术 | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN116468645A (zh) | 一种对抗性高光谱多光谱遥感融合方法 | |
| CN110930308B (zh) | 一种图像超分辨生成网络的结构搜索方法 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| CN113298744B (zh) | 一种端到端的红外与可见光图像融合方法 | |
| CN111553856A (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| CN112785502A (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |