CN113724164A - 一种基于融合重构制导滤波的可见光图像噪声去除方法 - Google Patents
一种基于融合重构制导滤波的可见光图像噪声去除方法 Download PDFInfo
- Publication number
- CN113724164A CN113724164A CN202111013603.1A CN202111013603A CN113724164A CN 113724164 A CN113724164 A CN 113724164A CN 202111013603 A CN202111013603 A CN 202111013603A CN 113724164 A CN113724164 A CN 113724164A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- visible light
- guidance
- nir
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001914 filtration Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 230000001502 supplementing effect Effects 0.000 claims abstract description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003706 image smoothing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Abstract
本发明一种基于融合重构制导滤波的可见光图像噪声去除方法，首先获取同一场景的近红外和可见光拍摄的两种图像，在可见光图像带有噪声的情况下，将可见光图像切分成RGB三部分，然后将每个RGB分量首先通过维纳滤波模糊后与近红外图像进行分别融合，在规定融合图像整体灰度范围的条件下补充融合图像细节形成制导图像，最后利用该制导图像对原始带噪声的可见光图像进行整体制导滤波去除噪声并保留清晰的细节。本发明提出的方法不会因为平滑细节而破坏图像观感，因此在强噪声条件下表现优秀。
Description
技术领域
本发明涉及图像处理领域，具体是涉及一种基于融合重构制导滤波的可见光 图像噪声去除方法。
背景技术
图像去噪在图像处理中具有重要意义。噪声去除的难点是如何在保 持边缘的同时有效地去除噪声。噪声和细节都属于高频成分，因此在单 个图像中很难区分噪声和细节。在过去的几十年里，人们提出了不同的 图像去噪方法，有一些著名而有效的方法，如TV正则化，基于SVD的 方法，块匹配和3D滤波(BM3D)和深度学习方法，每一种方法都有其优点和局限性。
TV正则化模型通常由正则化项和保真项组成，正则化项描述图像的 先验性，保真项使得恢复后的图像区别于噪声图像；同时，基于TV模 型的方法需要迭代求解，且耗时较长。
基于SVD的方法利用清晰图像的低阶特征去噪，对噪声图像进行奇 异值分解后，选取对角矩阵的部分特征值进行恢复；然而，图像噪声通 常是加性噪声，去噪问题可识别为逆问题，很难估计清晰图像的秩；同 时，基于SVD的方法也非常昂贵。
BM3D方法是一种基于增强稀疏表现的变换域方法，BM3D的过程包括 两个主要步骤，基本估算和最终估算；每个主要步骤又分为三个小步骤， 分别是分组、协同硬阈值和叠加；BM3D算法包括非局部方法和变换方法。 该算法的主要计算工作是在相似块的搜索和匹配，在时间上几乎是 NL-Means的3倍大，既复杂又耗时。
深度学习技术在图像去噪领域得到了广泛的关注。深度学习技术在 图像去噪中的应用包括加入白噪声图像去噪、真实噪声图像去噪、盲去 噪和混合噪声图像去噪。虽然深度学习在图像去噪领域有很好的表现， 但仍然存在一些挑战。去噪网络越深层，需要的内存资源就越多，对于 一些去噪任务，深度去噪网络并不是一种稳定的解决方案；真实的噪声 图像难以捕获，会导致训练样本不足。
还有一种有用的去噪滤波器叫做制导图像滤波器(GIF)。GIF的主要 思想是使用参考图像作为“制导图像”，通过制导滤波，噪声图像的像 素值会向制导图像靠拢；也就是说，如果制导图像是一幅清晰的图像， 则可以从噪声图像中去除噪声。因此，制导图像的质量是该方法最重要 的因素，但如何获得良好的制导图像是一个难题。目前，近红外与RGB图像的融合受到了广泛的关注，这种方法经常被用来增加图像的细节， 因为近红外灰度图像具有精细细节和清晰结构所以可以获得更多细节。 有研究使用近红外图像作为制导图像利用GIF方法去除RGB图像内的噪 声。近红外图像视觉效果非常接近人类的视觉，但比起RGB图像，由于 近红外图像和RGB图像光谱不同，近红外图像的对象有奇异的梯度比； 当使用近红外图像来制导RGB图像时，虽然在一定程度上可以降低噪声， 但这种极端的梯度会导致失真。相同的场景信息被两个不同的波段记 录，这会导致制导过程中出现虚假梯度或缺失梯度，影响滤波器的效果， 滤波结果会出现失真。
专利申请文件CN111476732A，公开了一种利用高斯算子作为核心计算核的 方法，同步让该计算核在近红外图像和可见光图像上同步工作，当用核内近红外 图像去引导可见光图像时能够起到一定的去噪效果。但是同样缺陷也很明显：1) 仅仅从灰度的层面来区分图像噪声太过于简陋，因为图像噪声和图像细节同属于 高频分量，很多时候二者不好区分，因此仅仅从灰度来考虑不能实现最好的去噪 效果；2)高斯计算核本质上是一种低通滤波器，其保留的是图像中的低频部分， 因此为了得到高频部分的噪声信息，一定要进行一步原图减去高斯计算核处理后 图像的过程，增加了计算量。
发明内容
为解决上述技术问题，本发明提供了一种基于融合重构制导滤波的可见 光图像噪声去除方法，通过对噪声图像和近红外图像进行预处理，精确的定 位到可见光图像上噪声点位置以及噪声大小，构造了一个用来进行制导滤波的精 确制导图，得到的制导图像同时具有双频图像的所有特征和梯度信息，既能消除 噪声，又能在滤波时能有效地保留图像的细节信息。
本发明所述的一种基于融合重构制导滤波的可见光图像噪声去除方 法，其步骤为：
步骤1、获取同一场景拍摄的近红外图像Inir和可见光噪声图像Irgb；
步骤2、对可见光图像进行预处理，将可见光图像切分成RGB三部分，将每个RGB 分量构成的灰度图像分别通过维纳滤波，去除灰度图像中的噪声梯度，分别 得到去梯度图像Iwinne；
步骤3、对去梯度图像Iwinne进行TV图像平滑，去除被错误识别的纹理；
步骤4、对近红外图像Inir进行纹理和细节的提取，融合步骤3中经过处理得到 的图像的颜色信息和近红外图像的纹理信息，得到新的制导图像；
步骤5、利用新的制导图像对步骤1中的可见噪声光图像进行噪声去除 及边缘增强，得到最终制导图像。
进一步的，步骤2中，通过维纳滤波去除灰度图像中的噪声梯度：
其中
和
分别为以(x，y)为中心的像素的均值和方差，g(x，y)为可见光噪 声图像Ir的像素值，
为噪声图像中所有像素的方差，
和
分别表示可见 光噪声图像的方差和均值，
和
定义如下：
M和N是窗口Ω以点(x，y)为中心的高度和宽度。
进一步的，步骤3中，对去梯度图像进行TV图像平滑，将去梯度图 像Iwinner作为输入图像，P为输出图像，P通过求解：
其中，
为保真度项，k为P中的像素阶数，λ表示为正则化项 权重因子，C(P)是正则化项，表示为：
通过求解上述公式，对P进行平滑，去除噪声引起的纹理。
进一步的，步骤4中，将近红外图像Inir和输出图像P通过小波变换分解，再通 过逆变换融合在一起，得到新的制导图像
其中图像的小波分解表示为：
其中x和τ分别是缩放和平移参数，ψ表示为小波分解中的子小波
的 个数，τ表示时间单位，s表示频率单位，d表示积分项，图像f(x)可以通过 恢复来恢复：
其中Wψ(s，τ)是f(x)的分解，cψ是分解出来的小包的数量。
进一步的，步骤5中的具体流程为：
步骤5-1、分别以步骤4得到的三个新的指导图像作为导向图像，在 可见光噪声图像Irgb的三个通道上使用GDGIF去噪，得到去噪后的图像 VIGDGIF；
步骤5-2、对去噪后的图像VIGDGIF通过拉普拉斯金字塔补充制导图像中缺失 的细节，增强去噪后图像VIGDGIF的边缘。
进一步的，增加去噪后图像边缘的具体步骤为：
步骤5-2-1、将VIGDGIF从RGB颜色空间转换为YUV颜色空间；YUV颜色 空间的三个通道是独立的，Y通道的值表示图像的亮度，U和V表示图 像的色度，RGB与YUV颜色空间之间的转换表示为：
R表示红色通道、G表示绿色通道、B表示蓝色通道，将VIGDGIF的三个通 道分别表示为YVi、UVi、VVi；
步骤5-2-2、利用拉普拉斯金字塔将YVi和近红外图像Inir分解成不同 的层；为了增强VIGDGIF的边缘和细节，提出了一种融合规则，以确保融 合图像的细节优于VIGDGIF；所述融合规则为：比较了YVi和Inir在同一层的 像素值，如果YVi中的值大于Inir中的值，则表示这条边很好，不执行任何 操作；否则，这意味着边缘不够牢固，用10％的近红外Inir分量和90％的YVi分量替换这些弱边；将YVi层与Inir层融合后，对拉普拉斯金字塔进行逆变 换，得到新的Y分量Yf；
步骤5-2-3、将新的亮度分量Yf和色度分量UVi和VVi转换为RGB颜色 空间，得到最终制导图像。
本发明所述的有益效果为：本发明所述的方法通过对近红外图像和可见光噪 声图像进行预处理计算，利用近红外图像噪声小、可见光图像色彩正确的双方优 势，创新性的构造出一幅可用于精确定位可见光图像中噪声大小和位置的制导图 像，该制导图像不仅包含了近红外图像中的全部图像细节，也包含了可见光图像 中的色彩参考信息，将该制导图像应用于可见光图像的三个通道分别进行点对点 对应滤波可以将可见光图像中的噪声全部去除并保留可见光图像的所有细节，不 会噪声图像因去噪带来的模糊现象，在去噪的同时不会破坏可见光图像的色彩。 该方法去噪效果领先，计算方便快捷，效果突出。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附 图，对本发明作进一步详细的说明。
图1为本发明所述方法的流程图；
图2为制导图像的重建过程示意图；
图3为重建制导图像过程中的图像，其中a小图为清晰图像、b小 图为清晰灰度图像、c小图近红外光谱图像、d小图为有噪声的灰度图 像、e小图为去噪后的灰度图像、f小图为新的制导图像；
图4为近红外和可见光图像上的拉普拉斯分解示意图；
图5为噪声去除和边缘增强过程示意图。
具体实施方式
如图1所示，本发明所述的一种基于融合重构制导滤波的可见光图像 噪声去除方法，其步骤为:
步骤1、获取同一场景拍摄的近红外图像Inir和可见光噪声图像Irgb；
步骤2、对可见光图像进行预处理，将可见光图像切分成RGB三部分，将每个RGB 分量构成的灰度图像分别通过维纳滤波，去除灰度图像中的噪声梯度，得到 去梯度图像Iwinne；
步骤3、对去梯度图像Iwinne进行TV图像平滑，去除被错误识别的纹理；
步骤4、对近红外图像进行纹理和细节的提取，融合灰度图像Ir的颜色信息和 近红外图像的纹理信息，得到新的制导图像；
步骤5、利用新的制导图像对步骤1中的可见光图像进行噪声去除及边 缘增强，得到最终制导图像。
制导图像的重建以近红外图像和可见光噪声图像为基础层。可见光 噪声图像分为红色、绿色和蓝色三个通道，三个通道的图像分别记录为 Ir，Ig和Ib。以Ir为例，整个过程如图2所示。
步骤2中，灰度图像Ir通常具有不同程度的噪声，不能直接作为理想 的制导图像，图像具有红色通道的颜色信息，但被噪声污染；通过维纳 滤波去除灰度图像Ir中的噪声梯度:
其中
和
分别为以(x，y)为中心的像素的均值和方差，g(x，y)为噪声 图像Ir的像素值，
为噪声图像Ir中所有像素的方差，，
和
分别表示可 见光噪声图像的方差和均值，
和
定义如下：
M和N是窗口Ω以点(x，y)为中心的高度和宽度。
如果
远小于
则
接近于零，则式(1)表示为
这意味着 g(x，y)具有特征和细节区域需要被保护；如果
接近
则式(1)表示为 
维纳滤波器等效为平坦区域的均值滤波器。
维纳滤波器是一种统计方法，其结果在图像统计平均意义上是最优的，因此， 维纳滤波作为对不同图像的预处理具有较好的通用性和较好的效果。维纳滤波器 的预处理，可以去除平坦区域的噪声梯度。然而，一些高噪声水平的平坦区域也 可能有较大的梯度，它可能会被错误地识别为维纳滤波保存的纹理。
步骤3中，经过维纳滤波预处理，我们得到了一幅噪声梯度不太明显 的可见光图像，去梯度图像Iwinne中被错误识别的纹理应该被删除；为了 保护原有的纹理，去除错误识别的纹理，对去梯度图像Iwinne进行TV模 型图像平滑，我们定义去梯度图像Iwinne作为输入图像，P为输出图像， P通过求解：
其中，
为保真度项，k为P中的像素阶数，λ表示为正则化项 权重因子、其取值范围为[0，1]通常情况下取0.5，C(P)是正则化项，表示为：
通过求解上述公式，对P进行平滑，去除噪声引起的纹理。
步骤4中，对灰度图像进行平滑处理后，去除平滑区域的噪声梯度。 虽然灰度图像Ir的噪声水平很低，但Ir由于纹理的丢失而不能成为理想 的制导图像。维纳滤波和平滑操作丢失了灰度图像Ir平坦区域的细节和 纹理信息。在大多数场景中，可以获得更低噪声的近红外图像，从近红 外图像中提取纹理和细节，以重建制导图像。通过融合Ir的颜色信息和 近红外图像的纹理信息，新的制导图像既能去除噪声，又能保留原始的 细节信息和颜色信息。
对彩色噪声图像进行预处理后，图像细节丢失。得益于更多的信息 源，Ir中丢失的纹理可以从近红外图像中恢复。然后通过将两幅图像融 合成一幅新的制导图像。新制导图像能保持原有的颜色和细节，且无噪 声。
将近红外图像Inir和输出图像P通过小波变换分解，再通过逆变换融合在一 起，得到新的制导图像
其中图像的小波分解表示为：
其中x和τ分别是缩放和平移参数，每个基函数都是一个被称为母小波的 函数的缩放和翻译版本，意味着用一个小波包将原函数拆分成了多个用这个 小波包可以描述的小波包集合，叫作母小包；ψ表示为小波分解中的子小波 
的个数，因为公式中有积分符号，所以可以看出，原函数f(x)用子 小波
对其进行了小波分解，也就是利用一个规定的小波对原函数f(x) 进行小波分解过程，其中的τ表示时间单位，s表示频率单位(因为小波分解 的核心是从时间和频率两个尺度上共同作用，所以小波包中要包含时间单位和频 率单位)，d表示积分项，也就是将原函数f(x)在小波分解的过程中总体拆 分出来的最细单位，图像f(x)可以通过恢复来恢复：
其中Wψ(s，τ)是f(x)的分解，cψ对应的就是在得到小波变换后要如何用小 波逆变换的方法将原函数恢复出来，因为上面解释了原函数可以用一个子小包分 解成多个小包集合，恢复原函数的时候就要将这些小包都求和(所以公式中有一 个二维积分)，求和之后需要除以小包的数量，所以该参数就是分解出来的小包 的数量。
小波变换是对图像进行多尺度、多分辨率分解的一种方法，它可以 对图像的任何细节进行聚焦，在像素级图像融合中得到了广泛的应用。
小波融合具有良好的重构能力。保证了可见光和近红外信号在分解 过程中不存在信息丢失和冗余。利用小波分解将图像分解为平均图像和 细节图像的组合。该方法易于提取原始图像的结构信息和细节信息，可 以得到理想的导向图像Gnir。融合后的图像Gnir/r包含了近红外Inir的细节 和图像Ir中红色通道的颜色信息。一些物体在Inir中看起来更亮的问题可 以通过融合图像P来替代，使其更接近它们在彩色中所做的。
图3中的新制导图像几乎恢复了清晰灰度图像中的所有目标，制导 图像中的纹理得到较好的保留，对近红外高反射的物体进行了修改，与 近红外图像相比，结果更接近于清晰红色通道的灰度图像。对近红外图 像中含有纹理和目标的制导图像进行重建后，去噪效果更理想。
步骤5中，在得到理想的制导图像后，可以用GIF去噪。经过前面的 步骤对可见光噪声图像的三个通道分别进行相同的处理，分别得到新的制导图像 Gnir/r、Gnir/g和Gnir/b。为了更好地保持图像的细节，我们分别以新的制导 图像Gnir/r、Gnir/g和Gnir/b作为导向图像，在可见光噪声图像Irgb的三个通道 上使用GDGIF。以Gnir/r为例。当彩色图像转换为灰度图像时，不同颜色 的区域在灰度图像中会有不同的值。灰度图像的梯度变化反映了彩色图 像的颜色变化。RGB图像中相同颜色的区域是灰色的平坦区域，GIF通 过对该区域的值进行平均来去除噪声。在GIF之后，Inir中的大部分像素 值都接近于清晰的灰度图像。但仍有一些物体在近红外图像中具有高反 射性。它看起来比清晰的灰色图像要高得多。
Gnir/r为近红外Inir与去噪后的图像Ir的融合，Inir中远离清晰灰度图像 的像素被Ir去噪图像中的像素替换。与Inir和Ir相比，Gnir/r中的像素更接 近于清晰彩色图像的灰度图像。Gnir/r的梯度反映了RGB图像的颜色变化， 对同颜色的像素进行平均滤波去噪。经过GDGIF去噪后，颜色恢复，将 去噪后的图像标记为VIGDGIF。
虽然实现了去噪后的图像VIGDGIF，但仍有一些细节缺失。拉普拉斯金 字塔可以补充制导图像中缺失的一些细节，增强去噪后图像的边缘。首 先，将VIGDGIF从RGB颜色空间转换为YUV颜色空间；YUV颜色空间的三个 通道是独立的。Y通道的值表示图像的亮度。U和V表示图像的色度。 RGB与YUV颜色空间之间的转换表示为:
我们将VIGDGIF的三个通道分别表示为YVi、UVi、VVi，然后利用拉普 拉斯金字塔将YVi和近红外图像Inir分解成不同的层。当我们对图像进行拉 普拉斯分解时，图像被分解成多个不同空间频段的图像。这个过程如图 4所示。
为了增强VIGDGIF的边缘和细节，提出了一种融合规则，以确保融合图 像的细节优于VIGDGIF。比较了YVi和Inir在同一层的像素值。如果YVi中的值 大于Inir中的值，则表示这条边很好，不执行任何操作。否则，这意味着 边缘不够牢固。我们用10％的近红外Inir分量和90％的YVi分量替换这些弱 边。将YVi层与Inir层融合后，对拉普拉斯金字塔进行逆变换，得到新的Y 分量Yf。
最后，我们根据公式(9)将新的亮度分量Yf和色度分量UVi和VVi转换 为RGB颜色空间。完整的过程如图5所示，得到最终制导图像。
虽然进行了两次拉普拉斯变换，但它们可以并行计算，且拉普拉斯 变换只涉及简单的矩阵运算，不占据过多计算资源。
以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利 用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。
Claims (6)
1.一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，所述方法的步骤为：
步骤1、获取同一场景拍摄的近红外图像Inir和可见光噪声图像Irgb；
步骤2、对可见光图像进行预处理，将可见光图像切分成RGB三部分，将每个RGB分量构成的灰度图像分别通过维纳滤波，去除灰度图像中的噪声梯度，分别得到去梯度图像Iwinne；
步骤3、对去梯度图像Iwinne进行TV图像平滑，去除被错误识别的纹理；
步骤4、对近红外图像Inir进行纹理和细节的提取，融合步骤3中经过处理得到的图像的颜色信息和近红外图像的纹理信息，得到新的制导图像；
步骤5、利用新的制导图像对步骤1中的可见噪声光图像进行噪声去除及边缘增强，得到最终制导图像。
2.根据权利要求1所述的一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，步骤2中，通过维纳滤波去除灰度图像中的噪声梯度：
其中
和
分别为以(x，y)为中心的像素的均值和方差，g(x，y)为可见光噪声图像通道分量的像素值，
为噪声图像中所有像素的方差，
和
分别表示可见光噪声图像的方差和均值，
和
定义如下：
M和N是窗口Ω以点(x，y)为中心的高度和宽度。
3.根据权利要求1所述的一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，步骤3中，对去梯度图像进行TV图像平滑，将去梯度图像Iwinne作为输入图像，P为输出图像，P通过求解：
其中，
为保真度项，k为P中的像素阶数，λ表示为正则化项权重因子，C(P)是正则化项，表示为：
通过求解上述公式，对P进行平滑，去除噪声引起的纹理。
4.根据权利要求2所述的一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，步骤4中，将近红外图像Inir和输出图像P通过小波变换分解，再通过逆变换融合在一起，得到新的制导图像；其中图像的小波分解表示为：
其中x和τ分别是缩放和平移参数ψ表示为小波分解中的子小波
的个数，τ表示时间单位，s表示频率单位，d表示积分项，图像f(x)可以通过恢复来恢复：
其中Wψ(s，τ)是f(x)的分解，cψ是分解出来的小包的数量。
5.根据权利要求1所述的一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，步骤5中的具体流程为：
步骤5-1、分别以步骤4得到的三个新的指导图像作为导向图像，在可见光噪声图像Irgb的三个通道上使用GDGIF去噪，得到去噪后的图像VIGDGIF；
步骤5-2、对去噪后的图像VIGDGIF通过拉普拉斯金字塔补充制导图像中缺失的细节，增强去噪后图像VIGDGIF的边缘。
6.根据权利要求5所述的一种基于融合重构制导滤波的可见光图像噪声去除方法，其特征在于，增加去噪后图像边缘的具体步骤为：
步骤5-2-1、将VIGDGiF从RGB颜色空间转换为YUV颜色空间；YUV颜色空间的三个通道是独立的，Y通道的值表示图像的亮度，U和V表示图像的色度，RGB与YUV颜色空间之间的转换表示为：
R表示红色通道、G表示绿色通道、B表示蓝色通道，将VIGDGIF的三个通道分别表示为YVi、UVi、VVi；
步骤5-2-2、利用拉普拉斯金字塔将YVi和近红外图像Inir分解成不同的层；比较YVi和Inir在同一层的像素值，如果YVi中的值大于Inir中的值，则表示这条边很好，不执行任何操作；否则，这意味着边缘不够牢固，用10％的近红外Inir分量和90％的YVi分量替换这些弱边；将YVi层与Inir层融合后，对拉普拉斯金字塔进行逆变换，得到新的Y分量Yf；
步骤5-2-3、将新的亮度分量Yf和色度分量UVi和VVi转换为RGB颜色空间，得到最终制导图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013603.1A CN113724164A (zh) | 2021-08-31 | 2021-08-31 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013603.1A CN113724164A (zh) | 2021-08-31 | 2021-08-31 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724164A true CN113724164A (zh) | 2021-11-30 |
Family
ID=78679930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111013603.1A Pending CN113724164A (zh) | 2021-08-31 | 2021-08-31 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724164A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115553A (zh) * | 2022-08-26 | 2022-09-27 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜图像降噪处理方法、电子设备及系统 |
| CN116977154A (zh) * | 2023-09-22 | 2023-10-31 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
| CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254313A (zh) * | 2011-07-14 | 2011-11-23 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
| CN105069768A (zh) * | 2015-08-05 | 2015-11-18 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN106952245A (zh) * | 2017-03-07 | 2017-07-14 | 深圳职业技术学院 | 一种航拍可见光图像的处理方法和系统 |
| CN107292860A (zh) * | 2017-07-26 | 2017-10-24 | 武汉鸿瑞达信息技术有限公司 | 一种图像处理的方法及装置 |
| US20190188838A1 (en) * | 2016-10-08 | 2019-06-20 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method, Device and System for Image Fusion |
| US20190318463A1 (en) * | 2016-12-27 | 2019-10-17 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
| CN111080568A (zh) * | 2019-12-13 | 2020-04-28 | 兰州交通大学 | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 |
| CN111476732A (zh) * | 2020-04-03 | 2020-07-31 | 江苏宇特光电科技股份有限公司 | 一种图像融合及去噪的方法及系统 |
| CN111507930A (zh) * | 2020-06-18 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 图像融合方法、装置、存储介质和计算机设备 |
| CN111667446A (zh) * | 2020-06-01 | 2020-09-15 | 上海富瀚微电子股份有限公司 | 图像处理方法 |
| CN112184604A (zh) * | 2020-09-15 | 2021-01-05 | 杭州电子科技大学 | 一种基于图像融合的彩色图像增强方法 |
| JP2021078074A (ja) * | 2019-11-13 | 2021-05-20 | 日本電気株式会社 | 映像処理装置、映像処理方法およびプログラム |
-
2021
- 2021-08-31 CN CN202111013603.1A patent/CN113724164A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254313A (zh) * | 2011-07-14 | 2011-11-23 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
| CN105069768A (zh) * | 2015-08-05 | 2015-11-18 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| US20190188838A1 (en) * | 2016-10-08 | 2019-06-20 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method, Device and System for Image Fusion |
| US20190318463A1 (en) * | 2016-12-27 | 2019-10-17 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
| CN106952245A (zh) * | 2017-03-07 | 2017-07-14 | 深圳职业技术学院 | 一种航拍可见光图像的处理方法和系统 |
| CN107292860A (zh) * | 2017-07-26 | 2017-10-24 | 武汉鸿瑞达信息技术有限公司 | 一种图像处理的方法及装置 |
| JP2021078074A (ja) * | 2019-11-13 | 2021-05-20 | 日本電気株式会社 | 映像処理装置、映像処理方法およびプログラム |
| CN111080568A (zh) * | 2019-12-13 | 2020-04-28 | 兰州交通大学 | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 |
| CN111476732A (zh) * | 2020-04-03 | 2020-07-31 | 江苏宇特光电科技股份有限公司 | 一种图像融合及去噪的方法及系统 |
| CN111667446A (zh) * | 2020-06-01 | 2020-09-15 | 上海富瀚微电子股份有限公司 | 图像处理方法 |
| CN111507930A (zh) * | 2020-06-18 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 图像融合方法、装置、存储介质和计算机设备 |
| CN112184604A (zh) * | 2020-09-15 | 2021-01-05 | 杭州电子科技大学 | 一种基于图像融合的彩色图像增强方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115553A (zh) * | 2022-08-26 | 2022-09-27 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜图像降噪处理方法、电子设备及系统 |
| CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
| CN116977154A (zh) * | 2023-09-22 | 2023-10-31 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
| CN116977154B (zh) * | 2023-09-22 | 2024-03-19 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| Vanmali et al. | Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility | |
| Jian et al. | Multi-scale image fusion through rolling guidance filter | |
| Ancuti et al. | Enhancing underwater images and videos by fusion | |
| CN113724164A (zh) | 一种基于融合重构制导滤波的可见光图像噪声去除方法 | |
| CN111968054A (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
| Shen et al. | Convolutional neural pyramid for image processing | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| Mohan et al. | Underwater image enhancement based on histogram manipulation and multiscale fusion | |
| CN111080686A (zh) | 用于自然场景中图像高光去除的方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| Gao et al. | Single fog image restoration with multi-focus image fusion | |
| Zhang et al. | Colorful image enhancement algorithm based on guided filter and Retinex | |
| Kumar et al. | Enhancing scene perception using a multispectral fusion of visible–near‐infrared image pair | |
| Fahim et al. | Single image dehazing using end-to-end deep-dehaze network | |
| Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
| CN112927160B (zh) | 一种基于深度Retinex的单张低光图像增强方法 | |
| Yin et al. | Multiscale fusion algorithm for underwater image enhancement based on color preservation | |
| Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
| Gao et al. | Single fog image restoration via multi-scale image fusion | |
| Gasparyan et al. | Iterative retinex-based decomposition framework for low light visibility restoration | |
| Thayammal et al. | Performance analysis of image denoising using deep convolutional neural network | |
| Elhefnawy et al. | Effective visibility restoration and enhancement of air polluted images with high information fidelity | |
| Majeeth et al. | A Novel Algorithm to Remove Gaussian Noise in an Image | |
| Shi et al. | Underwater image enhancement based on adaptive color correction and multi-scale fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |