CN113160058B - 一种结合分割图的热成像超分辨率重建方法及存储介质 - Google Patents
一种结合分割图的热成像超分辨率重建方法及存储介质 Download PDFInfo
- Publication number
- CN113160058B CN113160058B CN202110466540.9A CN202110466540A CN113160058B CN 113160058 B CN113160058 B CN 113160058B CN 202110466540 A CN202110466540 A CN 202110466540A CN 113160058 B CN113160058 B CN 113160058B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- thermal imaging
- resolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 230000001965 increasing effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合分割图的热成像超分辨率重建方法及存储介质，搭建网络模型，并训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建。本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
Description
技术领域
本发明属于图像处理的技术领域，具体涉及一种结合分割图的热成像超分辨率重建方法及存储介质。
背景技术
为了更加有效地控制疫情，在许多公共场合放置了智能防疫设备，大幅度地减少了工作人员与被测人员的接触，而且能提高在大量人员流动的环境下测试效率。基于热成像技术开发的测温设备是智能防疫设备中最常用的一类，具有非接触、精确、范围广等优势，大大的避免了测温过程中产生感染的情况。热成像图像是利用目标的红外辐射信息生成人眼可见的图像，广泛应用于监测、医疗等领域，同时，热成像图像是需要通过外部设备和已有的成像技术进行采集，这就限制了图像的成像效果。
目前，大多数热成像图像都存在分辨率较低的问题。早期，多数解决方法都是在传统图像处理的基础上进行技术拓展，例如图像插值算法，核心思想是通过对低分辨率热成像与高分辨率热成像之间的像素点映射关系进行建模，用低分辨率图像上的像素点拟合出高分辨率图像上的像素点，该方法的优点是重建速度快。但缺点是处理方法过于简单粗暴，导致重建的高分辨率图像较为粗糙。
近几年，随着深度学习技术的崛起，基于深度学习的超分辨率技术也逐渐成熟、有效，这类方法比早期方法更加注重生成的高分辨率图像的细节问题，技术思想主要是通过设计具有针对性的网络模块构建出深度神经网络，利用低分辨率图像作为输入，映射得到重建之后的高分辨率图像，增强特征信息的表达能力，弥补早期方法处理粗糙的部分，从而取得了令人满意的效果。
目前，大多数基于深度学习的热成像超分辨率算法生成的高分辨率图像在轮廓边缘出现模糊，结构上失真，导致重建的高分辨率图像不够细腻，影响后续应用开发。因此，急需提出一种简单有效的，能提高分辨率图像的细腻度的热成像超分辨率重建方法，增加高分辨图像的轮廓信息，提升重建效果。
发明内容
本发明的目的在于提供一种结合分割图的热成像超分辨率重建方法及存储介质，旨在解决上述问题。本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
本发明主要通过以下技术方案实现：
一种结合分割图的热成像超分辨率重建方法，包括以下步骤：
步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；
步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建；
步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。
所述热成像重建特征提取分支用于提取低分辨率热成像图像的深度特征信息，并预测出高分辨率热成像图像；所述可见光图像分割特征提取分支用于提取可见光图像的像素级特征信息。本发明中的激活函数层采用泄露修正线性单元层。
为了更好地实现本发明，进一步地，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。
为了更好地实现本发明，进一步地，所述多重残差模块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接，增强全局特征和局部特征的耦合性，减弱特征信息。
所述可见光图像分割特征提取分支主要提取可见光图像的像素级特征信息，尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。
为了更好地实现本发明，进一步地，所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层。
为了更好地实现本发明，进一步地，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。
所述尺度梯度变化块通过使用不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，增加特征信息对目标尺度的泛化性，使特征信息更加适用于实际场景。所述尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。
本发明提出的尺度梯度变化块从整个网络的最大分辨率开始操作，最大程度的做到了不丢失细节信息，再不断的反卷积恢复高分辨率，直至达到分割图需要的分辨率，这样得到的特征信息包含的信息更加完整。所述尺度梯度变化块采用拼接的方式多次融合，保留了每种尺度下的全局信息和局部信息，能提高模型的泛化性。
为了更好地实现本发明，进一步地，所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，然后使用三层反卷积层进行上采样，且上采样倍数成梯度变化，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。
所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，一定程度上减少参数计算量，然后使用三层反卷积层进行上采样，上采样倍数成梯度变化，这样操作能减少上采样操作的粗糙性，增加上采样之后特征的表达能力，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，增加分割图的分类精度，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。
所述尺度梯度变化块是用于分割图特征提取分支中提高分辨率，增强表达能力的模块。输入到模块中的特征信息是网络结构能达到的最高分辨率，结合热成像图像超分辨率重建的任务特性，热成像图像分辨率比普通的可见光图像的分辨率还要低，需要的细节信息更多，如果在原有的可见光图像分辨率像已有的分割技术一样大幅度下采样，将会导致分割图包含的细节信息不足以弥补热成像图像超分辨率重建任务，后续使用反卷积操作也不能重建。所以，在尺度梯度变化块的开端就最大程度的保留分辨率。其次，虽然保留了最高的分辨率信息，但反卷积操作只能针对全局图像粗糙的进行上采样，局部细节缺失，现有的融合方式是在原特征信息上多次增强局部重要特征点的权重，但模型学习会因局部特征点权重偏移过多，导致特征产生退化现象，不能解决特征粗糙的问题。所以，本发明采用拼接的方式融合尺度梯度变化的特征信息，保留了每种尺度下的全局信息和局部信息，保证分割图保留不同层次的特征细节信息，减弱过于强调某些特征信息而导致分割图特征信息不均匀的情况，从能提高特征信息的泛化性和表达能力，更大程度地增加重建特征缺失的细节信息。
为了更好地实现本发明，进一步地，所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层。
为了更好地实现本发明，进一步地，所述步骤S300中，所述损失函数采用三种损失函数，且分别为分割损失函数、像素级位置损失函数以及对抗损失函数。
为了更好地实现本发明，进一步地，所述分割损失函数采用柔性最大值损失函数，所述像素级位置损失函数采用L1损失函数，所述对抗损失函数采用相对平均损失函数。
一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的热成像超分辨率重建方法。
本发明的有益效果：
(1)本发明中的尺度梯度变化块，结合分割任务的目标，设计并搭建不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，将不同感受野融合在一起，大大提高特征信息对目标尺度的泛化性；
(2)本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
附图说明
图1为本发明整体的网络结构示意图；
图2为特征提取部分的结构示意图；
图3为多重残差块的结构示意图；
图4为尺度梯度变化块的结构示意图；
图5为重建图像判断部分的结构示意图。
具体实施方式
实施例1：
一种结合分割图的热成像超分辨率重建方法，包括以下步骤：
步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；
步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；如图1所示，所述网络模型包括特征提取部分和重建图像判断部分，首先，通过特征提取部分提取低分辨率热成像图像和可见光图像的深度特征，然后，通过重建图像判断部分对深度特征进行高分辨率重建；
步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。
本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
实施例2：
本实施例是在实施例1的基础上进行优化，如图2所示，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息；所述热成像重建特征提取分支用于提取低分辨率热成像图像的深度特征信息，并预测出高分辨率热成像图像；所述可见光图像分割特征提取分支用于提取可见光图像的像素级特征信息。
进一步地，如图2所示，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。
进一步地，如图3所示，所述多重残差模块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接。
进一步地，如图2所示，所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层。
进一步地，如图4所示，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。
进一步地，如图4所示，所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，一定程度上减少参数计算量，然后使用三层反卷积层进行上采样，上采样倍数成梯度变化，这样操作能减少上采样操作的粗糙性，增加上采样之后特征的表达能力，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，增加分割图的分类精度，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。
本发明中的尺度梯度变化块，结合分割任务的目标，设计并搭建不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，将不同感受野融合在一起，大大提高特征信息对目标尺度的泛化性。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，如图5所示，所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
一种结合分割图的热成像超分辨率重建方法，包括以下步骤：
采集并标注高、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，按照标准数据集格式整理成训练样本集；
如图1所示，设计并搭建热成像超分辨率重建深度网络模型，分为特征提取部分和重建图像判断部分，首先特征提取部分提取热成像图像和可见光图像的深层特征，然后由图像重建部分对深度特征进行高分辨率重建，最后迭代计算。
进一步地，如图2所示，所述的特征提取部分采用双分支结构，分为热成像重建特征提取分支和可见光图像分割特征提取分支。
进一步地，如图2所示，重建特征提取分支结构包括从前至后设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层，该部分网络主要提取低分辨率热成像图像的深度特征信息，预测出高分辨率热成像图像。
进一步地，如图2所示，可见光图像分割特征提取分支包括从前至后设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层，这部分网络主要提取可见光图像的像素级特征信息，尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。
进一步地，如图5所示，所述的重建图像判断部分分为两个分支，一个分支用于判断预测重建图与标注高分辨率图像之间的差异，另外一个分支用于判断预测分割图与标注分割图之间的差异，多任务进行训练学习。
进一步地，如图3所示，所述的多重残差模块包括从前至后设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层。与已有的残差块对比，多重残差模块中使用更多次跳跃连接，融合不同层次卷积的信息，从而增强全局特征和局部特征的耦合性，减弱特征信息。
进一步地，如图4所示，所述的尺度梯度变化块包括从前至后设置的卷积层、批归一化层、反卷积层、特征拼接层，通过使用不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，增加特征信息对目标尺度的泛化性，使特征信息更加适用于实际场景。
进一步地，网络模型采用三种损失函数，分为分割损失函数、像素级位置损失函数以及对抗损失函数。
网络前向计算时需计算损失值，从而优化模型的权重参数。使用分割损失函数采用柔性最大值损失函数，计算预测分割图与标注分割图之间的差异，计算公式如下：
其中，N表示批处理大小，j表示批处理样本的索引，而i表示分割图上像素点的索引，yi为像素点索引为i的真实标签值，而si是像素点索引为i对应的预测概率值，按像素点计算出损失值。
像素级位置损失函数采用L1损失函数，用于计算预测重建高分辨率热成像图像与标注高分辨率热成像图像之间的像素点位置差异值，计算公式如下：
其中，表示预测的高分辨率热成像图像，而O为标注的高分辨率热成像图像，k为样本索引。
最后对抗损失函数采用相对平均损失函数，用于判断生成的高分辨率热成像图像与标注的高分辨率热成像图像之间的区别，计算公式如下：
公式中表示重建图像判断部分网络输出的预测特征信息，E为均值计算公式。总的损失函数表达式如下：
L＝Lseg+Lreg+LD
进一步地，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，测试最终的模型。
最后按照设定的训练策略学习网络模型，直至损失值收敛，得到最后的模型。开发应用时，不需要重建图像判断部分网络，直接由特征提取部分网络输出效果图。
本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (7)
1.一种结合分割图的热成像超分辨率重建方法，其特征在于，包括以下步骤：
步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；
步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建；所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层；
步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛；
所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层；
所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，然后使用三层反卷积层进行上采样，且上采样倍数成梯度变化，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。
2.根据权利要求1所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。
3.根据权利要求2所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述多重残差块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接。
4.根据权利要求1-3任一项所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。
5.根据权利要求1所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述步骤S300中，所述损失函数采用三种损失函数，且分别为分割损失函数、像素级位置损失函数以及对抗损失函数。
6.根据权利要求5所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述分割损失函数采用柔性最大值损失函数，所述像素级位置损失函数采用L1损失函数，所述对抗损失函数采用相对平均损失函数。
7.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466540.9A CN113160058B (zh) | 2021-04-28 | 2021-04-28 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466540.9A CN113160058B (zh) | 2021-04-28 | 2021-04-28 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160058A CN113160058A (zh) | 2021-07-23 |
| CN113160058B true CN113160058B (zh) | 2024-02-09 |
Family
ID=76871837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110466540.9A Active CN113160058B (zh) | 2021-04-28 | 2021-04-28 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160058B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763501B (zh) * | 2021-09-08 | 2024-02-27 | 上海壁仞智能科技有限公司 | 图像重建模型的迭代方法和图像重建方法 |
| CN113744265B (zh) * | 2021-11-02 | 2022-02-01 | 成都东方天呈智能科技有限公司 | 一种基于生成对抗网络的异常检测系统、方法和存储介质 |
| CN114494186B (zh) * | 2022-01-25 | 2022-11-08 | 国网吉林省电力有限公司电力科学研究院 | 一种高压输变电线路电气设备的故障检测方法 |
| CN114973386B (zh) * | 2022-08-01 | 2022-11-04 | 成都市威虎科技有限公司 | 一种深度挖掘混合特征的工地场景人脸目标检测方法 |
| CN115439483B (zh) * | 2022-11-09 | 2023-03-24 | 四川川锅环保工程有限公司 | 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
| CN104156733A (zh) * | 2014-08-12 | 2014-11-19 | 中国人民解放军理工大学 | 一种基于多尺度结构特征的地基云状识别方法 |
| CN108961180A (zh) * | 2018-06-22 | 2018-12-07 | 理光软件研究所（北京）有限公司 | 红外图像增强方法及系统 |
| CN109740448A (zh) * | 2018-12-17 | 2019-05-10 | 西北工业大学 | 基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法 |
| CN112446828A (zh) * | 2021-01-29 | 2021-03-05 | 成都东方天呈智能科技有限公司 | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 |
-
2021
- 2021-04-28 CN CN202110466540.9A patent/CN113160058B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279935A (zh) * | 2013-06-09 | 2013-09-04 | 河海大学 | 基于map算法的热红外遥感图像超分辨率重建方法及系统 |
| CN104156733A (zh) * | 2014-08-12 | 2014-11-19 | 中国人民解放军理工大学 | 一种基于多尺度结构特征的地基云状识别方法 |
| CN108961180A (zh) * | 2018-06-22 | 2018-12-07 | 理光软件研究所（北京）有限公司 | 红外图像增强方法及系统 |
| CN109740448A (zh) * | 2018-12-17 | 2019-05-10 | 西北工业大学 | 基于相关滤波和图像分割的航拍视频目标鲁棒跟踪方法 |
| CN112446828A (zh) * | 2021-01-29 | 2021-03-05 | 成都东方天呈智能科技有限公司 | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Edge focused super-resolution of thermal images;Yannick Wend Kuni Zoetgnande等;《2019 International Joint Conference on Neural Networks》;正文1-8 * |
| 基于随机森林的红外图像超分辨力算法;王成凯等;《太赫兹科学与电子信息学报》;第18卷(第4期);665-671+686 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160058A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160058B (zh) | 一种结合分割图的热成像超分辨率重建方法及存储介质 | |
| Zheng et al. | Ultra-high-definition image dehazing via multi-guided bilateral learning | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| WO2021093620A1 (en) | Method and system for high-resolution image inpainting | |
| CN109241972B (zh) | 基于深度学习的图像语义分割方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| Fan et al. | Multiscale low-light image enhancement network with illumination constraint | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN113379709B (zh) | 一种基于稀疏多尺度体素特征融合的三维目标检测方法 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN112446828B (zh) | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 | |
| CN114972748B (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
| CN112434586A (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
| CN109815931A (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| CN111179196A (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| Chen et al. | A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid | |
| CN113269774B (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
| CN113269672B (zh) | 一种超分辨率的细胞图像构建方法和系统 | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN117197438A (zh) | 一种基于视觉显著性的目标检测方法 | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| CN117173412A (zh) | 一种基于CNN和Transformer融合网络的医学图像分割方法 | |
| CN116342446A (zh) | 多聚焦图像融合方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |