CN117611954B - 一种红外视频图像有效性评价方法、设备及存储设备 - Google Patents

一种红外视频图像有效性评价方法、设备及存储设备 Download PDF

Info

Publication number
CN117611954B
CN117611954B CN202410081494.4A CN202410081494A CN117611954B CN 117611954 B CN117611954 B CN 117611954B CN 202410081494 A CN202410081494 A CN 202410081494A CN 117611954 B CN117611954 B CN 117611954B
Authority
CN
China
Prior art keywords
image
module
network
infrared
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410081494.4A
Other languages
English (en)
Other versions
CN117611954A (zh
Inventor
金辉阳
邓鹤鸣
张力夫
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University
Original Assignee
Hubei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University filed Critical Hubei University
Priority to CN202410081494.4A priority Critical patent/CN117611954B/zh
Publication of CN117611954A publication Critical patent/CN117611954A/zh
Application granted granted Critical
Publication of CN117611954B publication Critical patent/CN117611954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及图像处理领域，公开了一种红外视频图像有效性评价方法、设备及存储设备，方法包括以下步骤：获取红外视频图像数据，并进行预处理，得到预处理后的数据集；构建基于混合深度残差的红外视频图像评价网络；所述网络包括ResNet模块和RedNet模块；利用预处理后的数据集训练所述红外视频图像评价网络，得到训练完成的网络；将待识别图像输入至训练完成的网络，得到待评估图像的有效性评估结果。本发明有益效果是：较好地分析低温环境下所拍摄图像的有效性，以便进行下一步的图像处理。

Description

一种红外视频图像有效性评价方法、设备及存储设备
技术领域
本发明属于图像处理领域，具体涉及一种红外视频图像有效性评价方法、设备及存储设备。
背景技术
红外视频图像已经成为常规配置，用于电气发热故障识别、火灾探测和热红外生物探测等领域，在大雾和冰雪等恶劣气象条件下，红外视频图像可能被雪花和大雾所干扰，识别程度低，给红外视频图像监测带来系列问题。因此对红外视频图像进行有效性的评价，筛选出有用的图片，以便进行进一步图像处理是目前应用红外图像之前必须的一种技术手段，然而目前有关红外图像有效性，缺乏对大雾、冰雪等恶劣天气下的评价和筛选。
发明内容
为了解决目前缺乏大雾、冰雪天气下红外图像有效性评价的技术问题，本申请提供一种红外视频图像有效性评价方法、设备及存储设备，其中方法可以有效地提升对大雾和冰雪等恶劣气象条件图像处理问题，并能够快速和准确地筛选出红外视频图像，为后续的分析处理提供高质量的本底数据，为进一步探测提供参考。
具体地，方法具体包括以下步骤：
S1、获取红外视频图像数据，并进行预处理，得到预处理后的数据集；
S2、构建基于混合深度残差的红外视频图像评价网络；所述网络包括ResNet模块和RedNet模块；
S3、利用预处理后的数据集训练所述红外视频图像评价网络，得到训练完成的网络；
S4、将待识别图像输入至训练完成的网络，得到待评估图像的有效性评估结果。
进一步地，所述预处理包括：温度补偿校正、图像变换和大小调整；所述温度补偿校正具体如下式：
其中，R(T)表示温度为T时的探测器的输出响应，R 0表示参考温度下的探测器响应，Ea表示激活能，为每温度单位变化的电信号系数，k为玻尔兹曼常数，β 1、β 2表示温度补偿系数。
进一步地，所述RedNet模块用于实现图像从低分辨率到高分辨率的转换。
进一步地，所述RedNet模块包括：输入层、编码器、解码器、上采样层和重建层。
进一步地，所述编码器由多个轻量级卷积层和池化层交替堆叠而成；所述解码器由多个反卷积层、卷积层和激活函数组成；所述编码器和所述解码器之间采用跳跃连接。
进一步地，所述ResNet模块基于残差连接网络结构搭建，包括IB单元和CB单元；将IB单元和CB单元按不同的个数连接，构造成不同的残差块，不同残差块的堆叠形成ResNet模块。
进一步地，步骤S4的具体过程为：
S41、将待识别图像进行预处理后，得到预处理后的图像；
S42、预处理后的图像经过RedNet模块处理后，得到高分辨率图像；
S43、高分辨率图像经过去雾处理后，得到去雾图像；
S44、去雾图像经过ResNet模块，得到最终有效性评估结果。
进一步地，采用交叉熵函数作为RedNet模块的训练损失函数，如下：
式中，i表示第i张图片，[·]表示RedNet模块的处理；g i表示真实的高分辨率红外图像矩阵；s i[g i]表示网络的预测红外图片输出矩阵，k是红外图像数据集中的类数；s i[k]表示将数据集类数输入至RedNet模块后的输出；N表示训练图像的个数；
采用交叉熵函数作为ResNet模块的训练损失函数如下：
式中，C为交叉熵损失函数；n为总图片数量；x为红外图像特征向量的维度；y为训练图像的真实标签；a为输出为有效红外图片的概率。
一种存储设备，所述存储设备存储指令及数据用于实现一种红外视频图像有效性评价方法。
一种红外视频图像有效性评价设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种红外视频图像有效性评价方法。
本发明提供的有益效果是：
（1）使用RedNet作为首层网络，在RedNet的输出上，接入ResNet模型，兼顾RedNet的高效性和ResNet的准确性，从而保持较小的模型体积和计算量，也能提升红外图像有效性评估的表现能力；
（2）红外图像分辨率较低，使用RedNet网络实现从低质量输入图像到高质量恢复图像的转换，能够有效提高图像分辨率，使得后层网络可以充分发挥其深层网络的优势，捕捉到更复杂的图像结构和特征，从而提供更好的处理效果；
（3）引入残差连接，使得梯度能够更加顺利地传播回浅层，缓解了梯度消失问题，有助于训练更深的网络；
（4）构建深层的模型，能够有效地提取图像的特征，从而提升模型的评估的准确率；
（5）通过残差连接，网络可以将前一层的特征直接传递给后一层，使得网络更加高效，能降低过拟合风险，并且减少了网络中的参数数量和计算量。
附图说明
图1为本发明方法流程示意图；
图2为RedNet网络结构示意图；
图3为ResNet残差网络结构图；
图4是本发明硬件设备工作示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明提供了一种红外视频图像有效性评价方法、设备及存储设备。
请参考图1，图1是本发明方法流程示意图；
一种红外视频图像有效性评价方法，包括以下步骤：
S1、获取红外视频图像数据，并进行预处理，得到预处理后的数据集；
需要说明的是，所述预处理包括：温度补偿校正、图像变换和大小调整。
作为一种实施例而言，对图像的预处理如下：
对于一个红外焦平面探测器来说，其输出响应可以由下式来表示：
其中，R(T)表示温度为T时的探测器的输出响应，R 0表示参考温度下的探测器响应，Ea表示激活能，k为玻尔兹曼常数。
红外焦平面探测器在低温环境下成像（介于-30℃到-10℃之间）时，由于探测器响应的非线性，图像上会出现目标与背景的模糊现象，严重影响了红外焦平面探测器所拍摄的图像质量。要减小非均匀性，可采用补偿算法对红外图像进行环境温度补偿。经过补偿后的公式如下：
其中，a 11、a 12、a 13、b 11、b 21、b 31均为温度补偿系数。
步骤S11：在低温下对红外图像进行环境温度补偿的校正：
（1）当环境温度高于-10℃时，无需进行温度补偿处理。
此时，a 11、b 11=1，a 12=a 13=b 21=b 31=0。
（2）当环境温度介于-30℃到-10℃之间时，需要加入补偿系数。如果探测器仍能够正常工作，则该探测器可以被认为具有可用性。此时需要采用相应的非线性变换来降低其不可用性。添加一个补偿系数，通过非线性拟合来近似描述红外辐射强度与温度之间的关系，该补偿系数为：。
（3）在更低温条件下，如果探测器不能正常工作，则应直接判定为无效。此时，a 11=b 11=a 12=a 13=b 21=b 31=0。
以下式子即可综合涵盖三种状况：
由上述情况作为已知条件，对加入校正系数后的方程进行拟合，以测试传感器为例，补偿后的表达式如下：
在-30℃至-10℃温区内，探测器能有效抵消低温造成的响应偏差，且该校正参数不影响正常作用区间内的探测器响应，从而优化了图像质量：
步骤S12：进行图像灰度化消除冗余信息，将彩色图像转化为灰度图像，具体为：Gray＝0 .299*R+0 .578*G+0 .114*B
其中：R为图像红色通道分量；G为图像绿色通道分量；B为图像蓝色通道分量；Gray为图像灰度图像；
步骤S13：利用双线性插值法，调整图像大小为一致，具体为:
其中：表示二维函数在整数坐标/>处的取值。u,v表示相对于整数坐标/>的偏移量，用于指定插值点的位置，/>分别表示四个相邻点的函数取值按一定权重进行加权。/>表示通过对整数坐标/>附近的四个点进行插值，得到坐标为/>处的函数取值。
S2、构建基于混合深度残差的红外视频图像评价网络；所述网络包括ResNet模块和RedNet模块；
请参考图2，图2为RedNet网络结构示意图。
关于RedNet模块：
作为一种实施例而言，所述RedNet是采用了编码器-解码器网络结构进行图像超分辨率重建，同时也引入了残差连接。
需要说明的是，所述RedNet模块用于实现图像从低分辨率到高分辨率的转换。
需要说明的是，所述RedNet模块包括：输入层、编码器、解码器、上采样层和重建层。
所述编码器由多个轻量级卷积层和池化层交替堆叠而成；
需要说明的是，通过这些层的组合，编码模块可以逐步缩小输入图像的尺寸，并提取支柱绝缘子的特征信息。这些特征包括红外图像的边缘、纹理、颜色等内容，可以帮助解码模块更好地重建高分辨率图像。
所述解码器由多个反卷积层、卷积层和激活函数组成；所述编码器和所述解码器之间采用跳跃连接。
需要说明的是，通过这些操作可以实现特征图的上采样、特征融合和细节重建等功能。在解码过程中，使用跳跃连接（skip connection）的方式将编码模块和解码模块中的不同层之间进行连接，以帮助更好地传递信息和复原细节。
最后，通过进一步的卷积层和激活函数，有助于传递更多的细节信息，并提高RedNet网络的重建能力。将融合后的特征图转换为高分辨率图像。这些操作可以增强红外图像的细节，并尽可能地恢复原始红外图像中支柱绝缘子（本发明以输电线路绝缘子图像为例）的细微结构；
请参考图3，图3是ResNet残差网络结构示意图；
关于ResNet模块：
需要说明的是，所述ResNet模块基于残差连接网络结构搭建，包括IB(IdentityBlock，恒等块)单元和CB(Conv Block，卷积块)单元；将IB单元和CB单元按不同的个数连接，构造成不同的残差块，不同残差块的堆叠形成ResNet模块。
作为一种实施例而言，本发明中采用的是ResNet-50网络，并引入残差块。
所述ResNet-50深度残差网络由依次连接的输入层、卷积层、残差块、池化层、全连接层、softmax构成；
关于上述IB单元的构建，具体过程如下：
IB构建中输入支柱绝缘子特征通过1x1的卷积核进行降维，然后通过BN（批量归一化，Batch Normalization）层，最后通过Relu激活函数层，进行非线性变换；再通过3x3的卷积核进行特征提取，然后通过BN层，保持输出通道数与输入通道数相同；
将编码器和解码器的输出相加，得到最终的IB单元（恒等块）输出，保持特征图的尺寸不变，同时引入非线性变换和通道数的调整；
关于上述CB单元的构建，具体过程如下：
构造CB单元，第一个卷积层的核大小为1x1，对特征图进行降采样操作，使得特征图尺寸减小，同时通道数增加；第二个卷积层的核大小为3x3，用于提取局部信息和特征；最后一个卷积层的核大小为1x1，用于恢复通道数；
所述残差块由堆叠4个残差网络块构成，所述残差网络块由恒等块和卷积块构成，恒等块由三个卷积层组成，其中第一个和第三个卷积层的卷积核大小为1x1，而第二个卷积层的卷积核大小为3x3；卷积块由包含一个尺寸为1x1的卷积层和恒等块中的三个卷积层构成；所述池化层对所述残差块的输出进行自适应平均池化。
需要说明的是，在本发明中，残差网络块1、残差网络块2、残差网络块3、残差网络块4中均包含一个CB单元，而IB单元数量分别为3、4、6、3个。在每个残差块中，恒等块和卷积块的输出通过残差连接相加，使得信息能够直接跳过卷积块，从而避免了梯度消失和信息丢失问题，并有助于ResNet-50网络的训练和优化；
S3、利用预处理后的数据集训练所述红外视频图像评价网络，得到训练完成的网络；
需要说明的是，网络训练的过程具体如下：
利用交叉熵损失函数作为代价函数训练ResNet-50深度残差网络模型，具体为：
式中，i表示第i张图片，[·]表示RedNet模块的处理；g i表示真实的高分辨率红外图像矩阵；s i[g i]表示网络的预测红外图片输出矩阵，k是红外图像数据集中的类数；s i[k]表示将数据集类数输入至RedNet模块后的输出；N表示训练图像的个数；
采用交叉熵函数作为ResNet模块的训练损失函数如下：
式中，C为交叉熵损失函数；n为总图片数量；x为红外图像特征向量的维度；y为训练图像的真实标签；a为输出为有效红外图片的概率。
作为一种实施例而言，本发明采取交叉验证选取最佳模型，具体为：将样本集随机划分为k份，k-1份作为训练集，1份作为验证集，依次轮换训练集和验证集k次，选取验证误差最小的模型为最佳模型并保存；
S4、将待识别图像输入至训练完成的网络，得到待评估图像的有效性评估结果。
需要说明的是，步骤S4的具体过程为：
S41、将待识别图像进行预处理后，得到预处理后的图像；
S42、预处理后的图像经过RedNet模块处理后，得到高分辨率图像；
S43、高分辨率图像经过去雾处理后，得到去雾图像；
S44、去雾图像经过ResNet模块，得到最终有效性评估结果。
作为一种实施例而言，整个过程如下：
输入红外图像被送入RedNet的编码器部分，通过卷积和池化层逐渐提取特征并减小分辨率，降低计算复杂性，提高网络的运行速度和效率；
在RedNet的解码器部分，使用上采样和卷积层逐渐恢复红外图像的分辨率，并进行细节重建，使得图像更加清晰，同时增强对支柱绝缘子细节的表达，提高网络的性能和效果；
采用基于残差连接网络结构搭建的ResNet-50网络，构成第一层ResNet-50网络，进行雪花噪声的判断，若该张红外图像中支柱绝缘子的特征完整，则图像中支柱绝缘子被判定为没有雪花等噪声干扰，并将初步判定为有效的红外图片输出至下一层，达到红外图像初步筛选的效果。这些残差块的堆叠让ResNet-50模型能够有效地学习支柱绝缘子的特征表示，同时能够解决深层网络中的梯度消失问题，使得模型在初步筛选时具有较高的准确性；
搭建的第一层网络（RedNet模块）输出判定为有效的图片经过去雾算法后作为第二层网络的输入，将第二层网络的输出作为最终的输出，所述RedNet网络用于丰富红外图像的细节信息，提高图像质量，所述第二层网络的作用为红外视频图像 有效性最终的评估；
作为一种实施例而言，本发明采用ACE算法作为去雾算法的实施过程，当然，还可以采用其它算法进行实现，本申请不用以限定。
请参考图4，图4是本发明硬件设备工作示意图。
所述硬件设备具体包括：一种红外视频图像有效性评价设备401、处理器402及存储设备403。
一种红外视频图像有效性评价设备401：所述一种红外视频图像有效性评价设备401实现所述一种红外视频图像有效性评价方法。
处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种红外视频图像有效性评价方法。
存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种红外视频图像有效性评价方法。
本发明的有益效果是：
（1）使用RedNet作为首层网络，在RedNet的输出上，接入ResNet模型，兼顾RedNet的高效性和ResNet的准确性，从而保持较小的模型体积和计算量，也能提升红外图像有效性评估的表现能力；
（2）红外图像分辨率较低，使用RedNet网络实现从低质量输入图像到高质量恢复图像的转换，能够有效提高图像分辨率，使得后层网络可以充分发挥其深层网络的优势，捕捉到更复杂的图像结构和特征，从而提供更好的处理效果；
（3）引入残差连接，使得梯度能够更加顺利地传播回浅层，缓解了梯度消失问题，有助于训练更深的网络；
（4）构建深层的模型，能够有效地提取图像的特征，从而提升模型的评估的准确率；
（5）通过残差连接，网络可以将前一层的特征直接传递给后一层，使得网络更加高效，能降低过拟合风险，并且减少了网络中的参数数量和计算量。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种红外视频图像有效性评价方法，其特征在于：包括以下步骤：
S1、获取红外视频图像数据，并进行预处理，得到预处理后的数据集；
S2、构建基于混合深度残差的红外视频图像评价网络；所述网络包括ResNet模块和RedNet模块；
所述RedNet模块包括：输入层、编码器、解码器、上采样层和重建层；
所述编码器由多个轻量级卷积层和池化层交替堆叠而成；所述解码器由多个反卷积层、卷积层和激活函数组成；所述编码器和所述解码器之间采用跳跃连接；
所述ResNet模块基于残差连接网络结构搭建，包括恒等块和卷积块；将恒等块和卷积块按不同的个数连接，构造成不同的残差块，不同残差块的堆叠形成ResNet模块；
S3、利用预处理后的数据集训练所述红外视频图像评价网络，得到训练完成的网络；
S4、将待识别图像输入至训练完成的网络，得到待评估图像的有效性评估结果；
步骤S4的具体过程为：
S41、将待识别图像进行预处理后，得到预处理后的图像；
S42、预处理后的图像经过RedNet模块处理后，得到高分辨率图像；
S43、高分辨率图像经过去雾处理后，得到去雾图像；
S44、去雾图像经过ResNet模块，得到最终有效性评估结果。
2.如权利要求1所述的一种红外视频图像有效性评价方法，其特征在于：所述预处理包括：温度补偿校正、图像变换和大小调整；所述温度补偿校正具体如下式：
其中，R(T)表示温度为T时的探测器的输出响应，R 0表示参考温度下的探测器响应，Ea表示激活能，为每温度单位变化的电信号系数，k为玻尔兹曼常数，β 1、β 2表示温度补偿系数。
3.如权利要求1所述的一种红外视频图像有效性评价方法，其特征在于：所述RedNet模块用于实现图像从低分辨率到高分辨率的转换。
4.如权利要求1所述的一种红外视频图像有效性评价方法，其特征在于：采用交叉熵函数作为RedNet模块的训练损失函数，如下：
式中，i表示第i张图片，[·]表示RedNet模块的处理；g i表示真实的高分辨率红外图像矩阵；s i[g i]表示网络的预测红外图片输出矩阵，k是红外图像数据集中的类数；s i[k]表示将数据集类数输入至RedNet模块后的输出；N表示训练图像的个数；
采用交叉熵函数作为ResNet模块的训练损失函数如下：
式中，C为交叉熵损失函数；n为总图片数量；x为红外图像特征向量的维度；y为训练图像的真实标签；a为输出为有效红外图片的概率。
5.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1~4任一项所述的一种红外视频图像有效性评价方法。
6.一种红外视频图像有效性评价设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1~4任一项所述的一种红外视频图像有效性评价方法。
CN202410081494.4A 2024-01-19 2024-01-19 一种红外视频图像有效性评价方法、设备及存储设备 Active CN117611954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410081494.4A CN117611954B (zh) 2024-01-19 2024-01-19 一种红外视频图像有效性评价方法、设备及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410081494.4A CN117611954B (zh) 2024-01-19 2024-01-19 一种红外视频图像有效性评价方法、设备及存储设备

Publications (2)

Publication Number Publication Date
CN117611954A CN117611954A (zh) 2024-02-27
CN117611954B true CN117611954B (zh) 2024-04-12

Family

ID=89950250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410081494.4A Active CN117611954B (zh) 2024-01-19 2024-01-19 一种红外视频图像有效性评价方法、设备及存储设备

Country Status (1)

Country Link
CN (1) CN117611954B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
KR102240127B1 (ko) * 2020-10-13 2021-04-14 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法
CN116127175A (zh) * 2022-06-28 2023-05-16 湖南科技大学 一种基于多模态特征融合的移动应用分类与推荐方法
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、系统、设备及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12003386B2 (en) * 2018-07-03 2024-06-04 Kabushiki Kaisha Ubitus Method for enhancing quality of media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
KR102240127B1 (ko) * 2020-10-13 2021-04-14 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法
CN116127175A (zh) * 2022-06-28 2023-05-16 湖南科技大学 一种基于多模态特征融合的移动应用分类与推荐方法
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、系统、设备及终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections;Yan Zou et al.;《Optics and Lasers in Engineering》;20211231;全文 *
Systematic infrared image quality improvement using deep learning based techniques;Huaizhong Zhang et al.;《SPIE Remote Sensing》;20161026;全文 *
基于多层连接卷积神经网络的单帧图像超分辨重建;贺瑜飞;高宏伟;;计算机应用与软件;20190512(05);全文 *
基于生成对抗网络的单帧红外图像超分辨算法;邵保泰;汤心溢;金璐;李争;;红外与毫米波学报;20180815(04);全文 *
轻量级单张红外图像超分辨率重建方法研究;莫非;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230115;全文 *

Also Published As

Publication number Publication date
CN117611954A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN108830796A (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN102243711A (zh) 一种基于邻域嵌套的图像超分辨率重建方法
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN103455988A (zh) 基于结构自相似性与稀疏表示的超分辨率图像重构方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN118365543A (zh) 一种基于改进EnlightenGAN的裂缝图像阴影去除方法
CN117689617A (zh) 基于去雾约束网络和串联多尺度注意力的绝缘子检测方法
CN117611954B (zh) 一种红外视频图像有效性评价方法、设备及存储设备
CN116664587A (zh) 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant