CN113256526A - 一种红外图像增强方法、装置、设备及存储介质 - Google Patents
一种红外图像增强方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113256526A CN113256526A CN202110572954.XA CN202110572954A CN113256526A CN 113256526 A CN113256526 A CN 113256526A CN 202110572954 A CN202110572954 A CN 202110572954A CN 113256526 A CN113256526 A CN 113256526A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- image enhancement
- initial
- neural network
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 68
- 230000009467 reduction Effects 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种红外图像增强方法、装置、设备及存储介质，该方法包括：通过红外热成像仪采集初始红外图像；使用图像增强算法处理初始红外图像，获取增强去燥后的红外图像，并将其与初始红外图像一一对应作为训练数据集；构建红外图像增强降噪神经网络；红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留初始红外图像中的细节和纹理；利用训练数据集训练红外图像增强降噪神经网络，直至网络收敛；将待处理红外图像输入至训练好的红外图像增强降噪神经网络，输出处理后的红外图像。这样可以保留初始低质量红外图像中的细节和纹理，有效去除噪声，简单快捷地获取高质量红外图像。
Description
技术领域
本发明涉及红外图像处理领域，特别是涉及一种红外图像增强方法、装置、设备及存储介质。
背景技术
红外图像是通过红外热成像仪利用探测器将红外辐射能转换成电信号，经放大处理、转换或标准视频信号在电视屏或监测器显示的红外热像图。由于红外图像是通过“测量”物体向外辐射的热量而获得的，其与可见光图像相比有以下特点：分辨率差、对比度低、信噪比低、视觉效果模糊、信息量少等特点。
红外图像在成像的各个环节都会受到外界的影响而产生噪声，比如由于热传导效应及空气的散射，导致图像边缘较为模糊，对比度低，并且会有温度分布不均引起的散斑噪声，同时由于探测器增益影响、内部电子线路影响等，还会出现椒盐噪声和条纹噪声，严重影响视觉效果以及后续高级功能的实现。
在实际应用中，通常会采用传统的滤波方法对原始的红外图像进行处理，其特点是计算速度快、易实现，可满足红外成像实时性的要求，比如均值滤波、双边滤波等。但是此类方法的处理效果一般，与稀疏表达等图像处理方法相比有较大差距，而这些能够取得较好的处理效果的方法往往计算复杂，对设备的算力有较大要求，不能满足实际需求。
因此，如何简单获取高质量的红外图像，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种红外图像增强方法、装置、设备及存储介质，可以保留初始低质量红外图像中的细节和纹理，有效去除噪声，简单快捷地获取高质量红外图像。其具体方案如下：
一种红外图像增强方法，包括：
通过红外热成像仪采集初始红外图像；
使用图像增强算法处理所述初始红外图像，获取增强去燥后的红外图像，并将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集；
构建红外图像增强降噪神经网络；所述红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留所述初始红外图像中的细节和纹理；
利用所述训练数据集训练所述红外图像增强降噪神经网络，直至网络收敛；
将待处理红外图像输入至训练好的所述红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
优选地，在本发明实施例提供的上述红外图像增强方法中，所述使用图像增强算法处理所述初始红外图像，包括：
使用模板匹配的方法抑制所述初始红外图像中的条纹噪声；
使用非局部小波变换算法去除所述初始红外图像中的椒盐噪声；
使用加权稀疏编码方法对所述初始红外图像进行重构。
优选地，在本发明实施例提供的上述红外图像增强方法中，在所述将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集之后，还包括：
计算增强去燥后的红外图像与对应的所述初始红外图像之间的像素变化水平；
若所述像素变化水平在设定阈值范围之外，则将所述像素变化量对应的图像数据从所述训练数据集中剔除。
优选地，在本发明实施例提供的上述红外图像增强方法中，所述残差模块位于编码器组件内；所述注意力模块位于解码器组件内；
在所述残差模块中，输入的初始特征在经过两个卷积层卷积之后与所述初始特征进行融合得到所述残差模块提取的特征。
优选地，在本发明实施例提供的上述红外图像增强方法中，所述上下文模块位于编码器和解码器之间；
在所述上下文模块中，采用多个不同膨胀率的膨胀卷积来扩展接收场，并将不同接收场提取的特征进行融合。
优选地，在本发明实施例提供的上述红外图像增强方法中，在所述红外图像增强降噪神经网络中，经过所述多尺度编解码器体系结构的编码解码过程之后，重建的特征反馈到最后一个用于恢复图像的卷积层，输出的图像使用长连接与输入的所述初始红外图像进行融合，以得到所述增强去燥后的红外图像。
优选地，在本发明实施例提供的上述红外图像增强方法中，所述训练所述红外图像增强降噪神经网络，包括：
对L1损失函数、L2损失函数和感知损失函数进行加权作为总的损失函数来训练所述红外图像增强降噪神经网络。
本发明实施例还提供了一种红外图像增强装置，包括：
图像采集模块，用于通过红外热成像仪采集初始红外图像；
图像增强模块，用于使用图像增强算法处理所述初始红外图像，获取增强去燥后的红外图像，并将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集；
网络构建模块，用于构建红外图像增强降噪神经网络；所述红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留所述初始红外图像中的细节和纹理；
网络训练模块，用于利用所述训练数据集训练所述红外图像增强降噪神经网络，直至网络收敛；
图像处理模块，用于将待处理红外图像输入至训练好的所述红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
本发明实施例还提供了一种红外图像增强设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述红外图像增强方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述红外图像增强方法。
从上述技术方案可以看出，本发明所提供的一种红外图像增强方法，包括：通过红外热成像仪采集初始红外图像；使用图像增强算法处理初始红外图像，获取增强去燥后的红外图像，并将增强去燥后的红外图像与初始红外图像一一对应作为训练数据集；构建红外图像增强降噪神经网络；红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留初始红外图像中的细节和纹理；利用训练数据集训练红外图像增强降噪神经网络，直至网络收敛；将待处理红外图像输入至训练好的红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
本发明提供的上述红外图像增强方法中构建的红外图像增强降噪神经网络可以有效地去除红外图像中的噪声，从复杂的图像中提取相关特征，适应空间纹理和边缘，网络中设计的编码器-解码器结构能够捕获多尺度信息，同时结合了残差模块、上下文模块、注意力模块，能够有效的保留初始低质量红外图像中的细节和纹理，该网络中无特殊算子，模型小，计算速度快，通用性强，易移植到低端AI芯片，支持目前市场上的主流应用平台，有应用潜力；另外，本发明将图像增强算法与神经网络学习相结合并应用于红外图像增强，可以解决高质量红外图像数据无法获取的问题，使神经网络训练数据集制作简单，有效提升网络训练效果，提升网络性能，进而简单快捷地获取高质量的红外图像。此外，本发明还针对红外图像增强方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的红外图像增强方法的流程图；
图2为本发明实施例提供的红外图像增强降噪神经网络的结构示意图；
图3为本发明实施例提供的残差模块的结构示意图；
图4为本发明实施例提供的上下文模块的结构示意图；
图5为本发明实施例提供的有1个输入时的注意力模块的结构示意图；
图6为本发明实施例提供的有2个输入时的注意力模块的结构示意图；
图7为本发明实施例提供的包含2层编码解码结构的红外图像增强降噪神经网络的结构示意图；
图8为本发明实施例提供的红外图像增强降噪测试图；
图9为本发明实施例提供的红外图像增强降噪结果图；
图10为本发明实施例提供的红外图像增强装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种红外图像增强方法，如图1所示，包括以下步骤：
S101、通过红外热成像仪采集初始红外图像；
在实际应用中，通过各种红外成像仪器进行数据采集，如手持红外仪、固定红外摄像头等设备。通过拍摄记录不同时间、不同场景、不同环境的14bit红外数据，并将数据从设备导出。注意，采集的不是红外原始数据，是由光电信号转换生成的数字图像并且做了初步高低温下的非均性校正，此过程可使得各像元输出响应基本一致，但未去除条纹噪声、散斑、镜头阴影等影响，成像质量较低。可转换为png、jpg等常见的图片格式查看成像效果。在上述步骤S101中可以收集至少万余张低质量的初始红外图像作为待处理数据。
S102、使用图像增强算法处理初始红外图像，获取增强去燥后的红外图像，并将增强去燥后的红外图像与初始红外图像一一对应作为训练数据集；
需要说明的是，初始红外图像通过图像增强处理后，能获得舒适的视觉成像效果。使用计算代价大效果好的图像增强算法处理初始红外图像数据，可获取高质量的红外图像数据。处理过程主要是针对单帧的红外图像中的空域和频域噪声进行处理，这里可以使用单个复杂度较高的增强去噪算法或多个增强去噪算法进行组合，因为红外图像数据中常常不止存在一种类型的噪声，单一的方法很难直接得到清晰度较好的图像数据。高质量的红外图像数据集可以有效的提升红外图像增强降噪神经网络的训练效果，提升网络性能。
S103、构建红外图像增强降噪神经网络；红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留初始红外图像中的细节和纹理；
需要注意的是，由于在红外图像的增强去噪中，希望最后输出的图像中含有较少的噪声，去除模糊，同时要保留和恢复更多的细节边缘信息，这样才能取得较好视觉成像效果，而基于深度卷积编码-解码框架可以使得在反向过程中，信息可直接从顶层传递到底层，能够更好保留红外图像的关键细节和纹理信息，所以红外图像增强降噪神经网络的主体框架设计主要采用多尺度编解码器体系结构。该红外图像增强降噪神经网络属于轻量级神经网络，无特殊算子，模型小，计算速度快，通用性强。
S104、利用训练数据集训练红外图像增强降噪神经网络，直至网络收敛；
S105、将待处理红外图像输入至训练好的红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
在本发明实施例提供的上述红外图像增强方法中，构建的红外图像增强降噪神经网络可以有效地去除红外图像中的噪声，从复杂的图像中提取相关特征，适应空间纹理和边缘，网络中设计的编码器-解码器结构能够捕获多尺度信息，同时结合了残差模块、上下文模块、注意力模块，能够有效的保留初始低质量红外图像中的细节和纹理，该网络中无特殊算子，模型小，计算速度快，通用性强，易移植到低端AI芯片，支持目前市场上的主流应用平台，有应用潜力；另外，本发明将图像增强算法与神经网络学习相结合并应用于红外图像增强，可以解决高质量红外图像数据无法获取的问题，使神经网络训练数据集制作简单，有效提升网络训练效果，提升网络性能，进而简单快捷地获取高质量的红外图像。
在具体实施时，在本发明实施例提供的上述红外图像增强方法中，步骤S102使用图像增强算法处理初始红外图像，具体可以包括：首先使用模板匹配的方法抑制初始红外图像中的条纹噪声；然后使用非局部小波变换算法去除初始红外图像中的椒盐噪声；最后使用加权稀疏编码方法对初始红外图像进行重构，减少模糊增强细节，提升红外图像清晰度，最终获得一张视觉感觉较好，去噪后的清晰度较高的高质量红外图像数据。
由于在获取的初始红外图像中，并不是所有的初始红外图像都是低质量的，在合适的拍摄条件下，获取的图像数据本身就是高增益的，这样的图像数据即使经过了一系列的处理流程后，也不会产生较大的变化，很难有进一步的提升。在处理前后，红外图像数据的变化极小，当训练数据中存在大量这样的图像数据时，不利于网络的训练，所以需要将其从数据集中剔除。在具体实施时，在本发明实施例提供的上述红外图像增强方法中，在执行步骤S102将增强去燥后的红外图像与初始红外图像一一对应作为训练数据集之后，还可以包括：计算增强去燥后的红外图像与对应的初始红外图像之间的像素变化水平；若像素变化水平在设定阈值范围之外，则将像素变化量对应的图像数据从训练数据集中剔除。具体地，计算图像的像素变化水平，过程是对将一对处理前后的图像(即增强去燥后的红外图像与对应的初始红外图像)中数据做差，并求平方和，然后再求其在每个像素点上的均值，用这个均值表示图像的像素变化水平。设定合适的阈值范围，可以筛选掉变化水平较低的图像数据。
在具体实施时，在本发明实施例提供的上述红外图像增强方法中，如图2所示，残差模块位于编码器组件内；残差模块用来提取不同尺度的特征。这种残差结构可以增强信息流，提高网络的表示能力。如图3所示，在残差模块中，输入的初始特征在经过两个卷积层卷积之后与输入的初始特征进行融合，得到残差模块提取的特征。输入的初始特征可视为低层次的浅层特征，经过两层卷积后的为提取到的高层次抽象的特征，最后通过将这两项提取信息相加进行融合，使得该模块提取的特征中既包含高层抽象信息，同时也能够保留低级的浅层细节特征，增强信息流，提高网络的表达能力。
在具体实施时，在本发明实施例提供的上述红外图像增强方法中，如图2所示，上下文模块位于编码器和解码器之间。需要说明的是，由于多尺度信息对于图像增强和去噪等提升图像质量的任务很重要，网络中经常会采用下采样操作。但是当图像的空间分辨率较小时，容易破坏图像的空间结构，使得信息丢失，不利于特征的重建。尤其是对于红外图像，常用的红外镜头分辨率相对于可见光的分辨率来说都是较低的，图像信息是少于可见光的，所以信息的丢失会极大的影响特征重建结果。为了不破坏图像结构，除了限制下采样操作的次数之外，本发明在编码器和解码器之间的最小尺度中引入了一个上下文模块，该上下文模块可以在不进一步降低空间分辨率的情况下增加接收场和捕获多尺度信息。如图4所示，在上下文模块中，使用了几个不同膨胀率的膨胀卷积替代下采样，它可以在不增加参数数量或破坏结构的情况下扩展接收场。然后，将从不同接收场提取的特征进行融合来估计输出。在融合设置中，使用1×1卷积使融合特征的输出通道等于原始输入特征的输出通道。最后，在输入特征和输出特征之间应用长连接以防止信息阻塞。
在具体实施时，在本发明实施例提供的上述红外图像增强方法中，如图2所示，注意力模块位于解码器组件内。需要说明的是，由于红外图像增强降噪神经网络是端到端的，根据经验，图像增强往往不能只关注局部信息，还需要关注全局信息，本发明将一种像素级的注意力模块添加在解码过程中。该注意力模块参数极少，可以有效地通过二阶特征乘法提高网络的特征表征能力，使得网络在相同的计算负载下获得更高的性能。该注意力模块相当于对不同通道的特征做加权均值滤波器，对特征中的不同像素点赋予不同的权值，能更好的保留图像的细节。如图5和6所示，分别为有一个和两个输入时的注意力模块的结构示意图。
在具体实施时，在本发明实施例提供的上述红外图像增强方法中，如图7所示，在完整的红外图像增强降噪神经网络中，首先使用一个卷积层进行初始特征提取，然后将这些特征输入到一个多尺度编解码器体系结构中，在网络中依次引入使用了残差模块、上下文模块、注意力模块，经过编码解码的过程之后，将重建的特征反馈到最后一个卷积层，以恢复图像，最后通过使用长连接将解码输出的图像和输入的初始红外图像进行融合，得到增强去噪后的红外图像。图7中注意力模块输出的为加权系数，为了更清晰的绘制示意图，这里将注意力模块最后相乘的操作放到模块外绘制。此外，根据初始图像的分辨率或其他考虑，本发明还可以选择搭建更高层数的网络。
除了网络体系结构外，损失函数对网络性能至关重要。通常在图像处理网络中会使用L1、L2、感知损失等损失函数。一般来说，L1和L2是图像增强网络中最常用的两种损失函数。L2损失对高斯噪声有很好的置信度，L1损失对异常值有较好的容忍度，感知损失是将神经网络提取出的特征，作为目标函数的一部分，通过比较待生成的图片经过网络的特征值与目标图片经过网络的特征值，使得待生成的图片与目标图片在语义上更加相似，有利于增强网络保留细节和纹理的能力。在真实的红外图像中，图像中全局噪声不总是符合高斯分布的，会存在异常值，在局部通常可以近似拟合为高斯分布。因此，为了取得更好的增强和去噪效果，在具体实施时，在本发明实施例提供的上述红外图像增强方法中，步骤S104训练红外图像增强降噪神经网络，具体可以包括：对L1损失函数、L2损失函数和感知损失函数进行加权作为总的损失函数来训练红外图像增强降噪神经网络。
在训练红外图像增强降噪神经网络之后，可以直接使用训练好的红外图像增强降噪神经网络对待测试初始红外图像进行处理，以得到增强去燥后的红外图像。图8示出了红外图像增强降噪测试图，可以看出图8为低质量的红外图像。将图8输入至训练好的红外图像增强降噪神经网络进行处理，得到了图9示出的红外图像增强降噪结果图，可以看出图9为高质量的红外图像。
基于同一发明构思，本发明实施例还提供了一种红外图像增强装置，由于该装置解决问题的原理与前述一种红外图像增强方法相似，因此该装置的实施可以参见红外图像增强方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的红外图像增强装置，如图10所示，具体包括：
图像采集模块11，用于通过红外热成像仪采集初始红外图像；
图像增强模块12，用于使用图像增强算法处理初始红外图像，获取增强去燥后的红外图像，并将增强去燥后的红外图像与初始红外图像一一对应作为训练数据集；
网络构建模块13，用于构建红外图像增强降噪神经网络；红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留初始红外图像中的细节和纹理；
网络训练模块14，用于利用训练数据集训练红外图像增强降噪神经网络，直至网络收敛；
图像处理模块15，用于将待处理红外图像输入至训练好的红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
在本发明实施例提供的上述红外图像增强装置中，可以通过上述五个模块的相互作用，保留初始低质量红外图像中的细节和纹理，有效去除噪声，简单快捷地获取高质量红外图像。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种红外图像增强设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的红外图像增强方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的红外图像增强方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种红外图像增强方法，包括：通过红外热成像仪采集初始红外图像；使用图像增强算法处理初始红外图像，获取增强去燥后的红外图像，并将增强去燥后的红外图像与初始红外图像一一对应作为训练数据集；构建红外图像增强降噪神经网络；红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留初始红外图像中的细节和纹理；利用训练数据集训练红外图像增强降噪神经网络，直至网络收敛；将待处理红外图像输入至训练好的红外图像增强降噪神经网络进行处理，输出处理后的红外图像。本发明构建的红外图像增强降噪神经网络可以有效地去除红外图像中的噪声，从复杂的图像中提取相关特征，适应空间纹理和边缘，网络中设计的编码器-解码器结构能够捕获多尺度信息，同时结合了残差模块、上下文模块、注意力模块，能够有效的保留初始低质量红外图像中的细节和纹理，该网络中无特殊算子，模型小，计算速度快，通用性强，易移植到低端AI芯片，支持目前市场上的主流应用平台，有应用潜力；另外，本发明将图像增强算法与神经网络学习相结合并应用于红外图像增强，可以解决高质量红外图像数据无法获取的问题，使神经网络训练数据集制作简单，有效提升网络训练效果，提升网络性能，进而简单快捷地获取高质量的红外图像。此外，本发明还针对红外图像增强方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的红外图像增强方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种红外图像增强方法，其特征在于，包括：
通过红外热成像仪采集初始红外图像；
使用图像增强算法处理所述初始红外图像，获取增强去燥后的红外图像，并将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集；
构建红外图像增强降噪神经网络；所述红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留所述初始红外图像中的细节和纹理；
利用所述训练数据集训练所述红外图像增强降噪神经网络，直至网络收敛；
将待处理红外图像输入至训练好的所述红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
2.根据权利要求1所述的红外图像增强方法，其特征在于，所述使用图像增强算法处理所述初始红外图像，包括：
使用模板匹配的方法抑制所述初始红外图像中的条纹噪声；
使用非局部小波变换算法去除所述初始红外图像中的椒盐噪声；
使用加权稀疏编码方法对所述初始红外图像进行重构。
3.根据权利要求2所述的红外图像增强方法，其特征在于，在所述将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集之后，还包括：
计算增强去燥后的红外图像与对应的所述初始红外图像之间的像素变化水平；
若所述像素变化水平在设定阈值范围之外，则将所述像素变化量对应的图像数据从所述训练数据集中剔除。
4.根据权利要求3所述的红外图像增强方法，其特征在于，所述残差模块位于编码器组件内；所述注意力模块位于解码器组件内；
在所述残差模块中，输入的初始特征在经过两个卷积层卷积之后与所述初始特征进行融合，得到所述残差模块提取的特征。
5.根据权利要求4所述的红外图像增强方法，其特征在于，所述上下文模块位于编码器和解码器之间；
在所述上下文模块中，采用多个不同膨胀率的膨胀卷积来扩展接收场，并将不同接收场提取的特征进行融合。
6.根据权利要求5所述的红外图像增强方法，其特征在于，在所述红外图像增强降噪神经网络中，经过所述多尺度编解码器体系结构的编码解码过程之后，重建的特征反馈到最后一个用于恢复图像的卷积层，输出的图像使用长连接与输入的所述初始红外图像进行融合，以得到所述增强去燥后的红外图像。
7.根据权利要求6所述的红外图像增强方法，其特征在于，所述训练所述红外图像增强降噪神经网络，包括：
对L1损失函数、L2损失函数和感知损失函数进行加权作为总的损失函数来训练所述红外图像增强降噪神经网络。
8.一种红外图像增强装置，其特征在于，包括：
图像采集模块，用于通过红外热成像仪采集初始红外图像；
图像增强模块，用于使用图像增强算法处理所述初始红外图像，获取增强去燥后的红外图像，并将所述增强去燥后的红外图像与所述初始红外图像一一对应作为训练数据集；
网络构建模块，用于构建红外图像增强降噪神经网络；所述红外图像增强降噪神经网络的主体结构为结合残差模块、上下文模块和注意力模块的多尺度编解码器体系结构，用于保留所述初始红外图像中的细节和纹理；
网络训练模块，用于利用所述训练数据集训练所述红外图像增强降噪神经网络，直至网络收敛；
图像处理模块，用于将待处理红外图像输入至训练好的所述红外图像增强降噪神经网络进行处理，输出处理后的红外图像。
9.一种红外图像增强设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的红外图像增强方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的红外图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572954.XA CN113256526A (zh) | 2021-05-25 | 2021-05-25 | 一种红外图像增强方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572954.XA CN113256526A (zh) | 2021-05-25 | 2021-05-25 | 一种红外图像增强方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256526A true CN113256526A (zh) | 2021-08-13 |
Family
ID=77184375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110572954.XA Pending CN113256526A (zh) | 2021-05-25 | 2021-05-25 | 一种红外图像增强方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256526A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| WO2020093782A1 (en) * | 2018-11-08 | 2020-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
| CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN111373439A (zh) * | 2020-02-10 | 2020-07-03 | 香港应用科技研究院有限公司 | 使用cnn进行图像分割的方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
| CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及系统 |
| CN112465707A (zh) * | 2019-09-06 | 2021-03-09 | 浙江宇视科技有限公司 | 红外图像条纹噪声的处理方法、装置、介质及电子设备 |
-
2021
- 2021-05-25 CN CN202110572954.XA patent/CN113256526A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020093782A1 (en) * | 2018-11-08 | 2020-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN112465707A (zh) * | 2019-09-06 | 2021-03-09 | 浙江宇视科技有限公司 | 红外图像条纹噪声的处理方法、装置、介质及电子设备 |
| CN111373439A (zh) * | 2020-02-10 | 2020-07-03 | 香港应用科技研究院有限公司 | 使用cnn进行图像分割的方法 |
| CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及系统 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| OREST KUPYN等: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 10 * |
| XINTAO WANG等: "EDVR: Video Restoration with Enhanced Deformable Convolutional Networks", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, pages 1 - 10 * |
| ZE-MING CHEN等: "BLIND MOTION DEBLURRING VIA INCEPTIONRESDENSENET BY USING GAN MODEL", 《ICASSP 2019》, pages 1 - 5 * |
| 刘绪娇: "基于加权稀疏与加权核范数最小化的图像去噪", 《海峡科技与产业》 * |
| 刘绪娇: "基于加权稀疏与加权核范数最小化的图像去噪", 《海峡科技与产业》, 30 June 2020 (2020-06-30), pages 55 - 59 * |
| 龙钧宇等: "基于小波包变换的非局部均值去噪方法", 《计算机与现代化》 * |
| 龙钧宇等: "基于小波包变换的非局部均值去噪方法", 《计算机与现代化》, 30 November 2013 (2013-11-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
| Claus et al. | Videnn: Deep blind video denoising | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| US9159121B2 (en) | Method for image denoising | |
| CN106846268B (zh) | 一种高斯-脉冲混合图像噪声去除方法 | |
| CN111192226B (zh) | 一种图像融合去噪方法及装置、系统 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN110557521B (zh) | 视频去雨的方法、装置、设备及计算机可读存储介质 | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| Choi et al. | Reconstructing interlaced high-dynamic-range video using joint learning | |
| Lu et al. | Progressive joint low-light enhancement and noise removal for raw images | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| He et al. | Atmospheric turbulence mitigation based on turbulence extraction | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN116823694B (zh) | 基于多聚焦信息整合的红外与可见光图像融合方法及系统 | |
| CN110930311B (zh) | 一种提高红外图像与可见光图像融合的信噪比方法与装置 | |
| Thiruvikraman et al. | A survey on haze removal techniques in satellite images | |
| Zhu et al. | Multiscale channel attention network for infrared and visible image fusion | |
| Chen et al. | End-to-end single image enhancement based on a dual network cascade model | |
| Yogananda et al. | Graph laplacian regularization with sparse coding in secure image restoration and representation for Internet of Things. | |
| US11983853B1 (en) | Techniques for generating training data for machine learning enabled image enhancement | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN113192101A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |
|
| RJ01 | Rejection of invention patent application after publication |