CN116385312A - 基于相位相关的低照度图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于相位相关的低照度图像去噪方法，包括以下几个步骤：提取图像边缘信息：对每一帧图像进行边缘滤波，提取图像的有效边缘信息；边缘图相位相关：相邻两帧图像进行边缘滤波，滤波之后的两帧图像进行相位相关运算，得到两帧图像的位移量；多帧图像相关约束：对配准之后的多帧图像进行同源信号约束以及全局相关约束，构建互相关方程；求解互相关方程：根据互相关最大化优化方程以及梯度最大化方程求解互相关方程，并保留当前帧的解，带入下一帧的互相关方程中实现去噪图像的迭代更新。本发明能够在兼顾计算速度和算法稳定性的同时，在低照度场景下有效的去除低照度图像的各类噪声，还原真实场景，使场景清晰，细节得到增强。

Description

基于相位相关的低照度图像去噪方法

技术领域

本发明属于图像去噪及增强技术领域，具体为一种基于相位相关的低照度图像去噪方法。

背景技术

噪声是图像干扰的重要原因。尤其是在低照度场景下，采集相机会有许多类型的噪声干扰图像质量。这些噪声可能在传输中产生,也可能在量化等处理中产生。这些噪声有加性噪声，成性噪声等等。图像去噪常用的方法有：

(1)基于滤波的方法：滤波大致可分为空域滤波、时域滤波和变换域滤波。中值滤波和均值滤波都是最常见的空域滤波器，其基本原理是用滤波窗口的中值或者均值来代替，可以消除孤立的噪声点；经典的时域滤波通过多帧的时间相关性噪声的抑制；变换域滤波是将空域转换到频率域，再使用频域滤波器来去除噪声的方法。

(2)基于模型的方法：基于模型的方法是将拍摄的图像与噪声的分布分别进行建模，利用模型分布进行先验，从而获得清晰图像和优化算法。比较成功的图像先验模型有：非局部自相似(NSS)模型，稀疏模型，梯度模型和马尔可夫随机场(MRF)模型。它们拥有出色的去噪能力，但这些方法的计算量都比较大，部分参数人工选择较为困难等问题

(3)基于学习的方法：基于学习的方法侧重于学习有噪声图像到干净图像的潜在映射，可以分为传统的基于学习的方法和基于深度网络的学习方法。近年来，由于基于深度网络的方法比基于滤波、基于模型和传统的基于学习的方法获得了更有前景的去噪结果，它们已成为主流方法。

图像去噪的其他方法，比如同一图像中可以表征为许多相似块的图像块集合，可以运用基于块匹配的BM3D算法，但是这类算法计算过于复杂，且无法适应更强噪声的图像或者参数设置不当出现扭曲的问题。

综上所述，现有技术存在的问题可以总结为：去噪效果差；边缘模糊；计算量复杂；参数过多等问题。

发明内容

本发明的目的在于提供一种基于相位相关的低照度图像去噪方法，能够兼顾噪声图像的去噪效果和计算的复杂度，在低照度强噪声场景下快速去噪，恢复图像损失的细节并对细节增强。

实现本发明目的的技术方案为：一种基于相位相关的低照度图像去噪方法，包括如下步骤：

(10)提取图像边缘信息：对每一帧图像进行边缘滤波，提取图像的有效边缘信息；

(20)边缘图相位相关：对相邻两帧边缘图像进行相位相关运算，计算图像序列的配准点；

(30)多帧图像相关约束分析：对配准之后的多帧图像进行同源信号约束以及全局相关约束，构建互相关方程；

(40)求解互相关方程，对噪声图像进行迭代更新：根据互相关最大化优化方程以及梯度最大化方程求解互相关方程，并保留当前帧的解，带入下一帧的互相关方程中实现去噪图像的迭代更新。

优选地，所述步骤(10)提取图像边缘信息的具体步骤为：

(11)方向滤波：

对输入的原始图像分别在0°、45°、90°、135°四个方向进行方向滤波，得到四个方向的方向滤波图I₀、I₄₅、I₉₀、I₁₃₅；

(12)计算边缘图像：

根据四个方向的方向滤波图，计算边缘图像，所述边缘图像具体表示为：

I_s＝(|I₀|+|I₄₅|+|I₉₀|+|I₁₃₅|)/4

(13)阈值分割：

将边缘图像I_s与全局二值化阈值Th作比较，将边缘图像I_s中小于Th的像素归0。

优选地，所述步骤(20)边缘图像相位相关，计算配准点的具体步骤包括：

(21)图像空域平移：

相邻两帧边缘图像分别为f₂(x,y),f₁(x,y)，且f₂(x,y)由f₁(x,y)平移(dx,dy)得到，即满足如下关系式：

f₂(x,y)＝f₁(x-dx,y-dy)

(22)空域转换到频域：

将两帧边缘图像反映到频域，具体为：

F₂(u,v)＝F₁(u,v)*e^{-i*2π*(u*dx+v*dy)}

其中，F₂(u,v)为边缘图像f₂(x,y)的频域图像，F₁(u,v)为边缘图像f₁(x,y)的频域图像；

(23)计算互功率谱得到配准点：

将图像的频域形式左边除以右边,得到互功率谱,其形式为:

通过求取互功率谱的傅立叶反变换,得到一个狄拉克函数,再寻找函数峰值点对应的坐标,即可得到所要求得的配准点；

(24)配准点全局信号时间相关联：

根据步骤(23)得到的配准点实现相邻两帧之间的配准，则图像序列表征为：

I(t)＝I(t’)

式中，I表示图像序列，t表示时间，t’表示不同时间。

优选地，步骤(30)对配准之后的多帧图像进行全局相关约束，构建互相关方程步骤包括：

(31)构建同源信号约束方程关联边缘信号

在低照度场景下，有效的信号是淹没在噪声中，即：

I＝S+N

I为图像，S为场景信号，场景信号具体为步骤(12)求出来的边缘信号，N为噪声；

在空间分布上低照度图像表征为：

I(x,y)＝S(x_s,y_s)+N(x,y)

I(x,y)表示一张低照度图像的空间分布，(x_s,y_s)表示边缘信号的空间分布，N(x,y)表示噪声的空间分布；

根据步骤(24)得到的图像序列中全局信号的时间分布，确定边缘信号的同源信号约束方程：

S(x_s,y_s,t)＝S(x_s,y_s,t’)

噪声在时间相关性表示为：

N(x,y,t)＝N(x’,y’,t’)

(32)构建全局关联约束方程求解像素真实坐标

根据步骤(31)得到的边缘信号的同源信号约束方程，根据相关性构建边缘信号的全局信号约束方程：

Proj将有效信号的每个像素映射为一个以同源信号为变量的方程，i(t)，j(t)表示像素位置的时间分布；

(33)低照度图像在空间上的分布表示为:

I(x,y)＝S(x_s,y_s)+N(x,y)

根据构建的同源信号约束方程，低照度图像在空间上的分布进一步表示为：

I(x,y,t’)＝S(x_s,y_s,t)+N(x’,y’,t’)

根据步骤(32)构建的全局关联约束方程，对S(x_s,y_s,t)进行求解，上式表示为：

式中，

表示边缘信号的全局关联约束方程，I(x,y,t’)表示为低照度图像。

优选地，根据互相关最大化优化方程以及梯度最大化方程优化求解互相关方程：

(41)构建互相关最大化优化方程：

互相关最大化表征为：

(42)构建梯度最大化方程增强图像：

梯度最大化表征为：

max2←grad{I(x,y)}

(43)求解互相关方程，重构去噪图像：

根据步骤(41)互相关最大化优化方程和步骤(42)梯度最大化方程求解步骤(33)中的互相关方程，重构出清晰无噪声的图像。

优选地，联立互相关方程和优化方程：

求解出

i，j表示了最后低照度图像去噪后图像像素的位置，无噪声图像表示为：

I(i(t),j(t))。

本发明与现有技术相比，其显著优点为：

1、去噪效果明显：本发明可应对多种类型的噪声，与传统去噪算法一种滤波窗口只能针对一种噪声的情况相比，本发明可同时应对多种类型的噪声。

2、针对运动场景：现有算法多事情况下只能处理单帧图像，如果是连续帧图像则鲜果较差。本发明通过相位相关计算多帧图像的位移量，估算出相机运动参数，在保证去噪的同时，不会受到相机运动状态的影响。

3、信息损失小：传统的去噪算法在去噪的同时，或多或少会损失一些边缘信息，且噪声越强损失越严重。本发明对边缘有一定的保护作用，细节损失较小。

附图说明

图1为基于相位相关的低照度图像去噪方法流程图。

图2为含噪声的原图。

图3为噪声提取的边缘图像。

图4为任意两帧图像配准点。

图5为各帧全局信号配准点的位置信息。

图6为互相关方程的初步解。

图7为互相关方程的优化解。

图8为去噪图像。

具体实施方式

如图1所示，一种基于相位相关的低照度图像去噪方法，包括如下步骤：

(10)提取图像边缘信息：对每一帧图像进行边缘滤波，提取图像的有效边缘信息，具体步骤为：

图像边缘是图像的有用信息，即使是在噪声中图像边缘也具有一定的不变性质，通过这个性质可以提取出噪声图像中场景的边缘。

(11)方向滤波：

对输入的原始图像分别在0°、45°、90°、135°四个方向进行方向滤波，得到四个方向的方向滤波图I₀、I₄₅、I₉₀、I₁₃₅，

(12)计算边缘图像：

根据上一个步骤计算的四个方向的方向滤波图，边缘图像表示为：

I_s＝(|I₀|+|I₄₅|+|I₉₀|+|I₁₃₅|)/4

(13)阈值分割：

对边缘图像I_s计算全局二值化阈值Th，小于Th的像素归0，减小噪声对后续计算的影响。

噪声图像以及边缘提取图像如图2和图3所示。

在图2中，原图含有大量噪声，场景信息几乎不可辨。

在图3中，原图根据(10)计算出图像边缘，可以看出在图3中，信号的边缘得到了比较好的提取，噪声得到了抑制。

(20)边缘图相位相关：对相邻两帧边缘图像进行相位相关运算，计算图像序列的配准点，具体步骤包括：

(21)图像空域平移：

假设两幅图像表示为f₂(x,y),f₁(x,y)，且f₂(x,y)是由f₁(x,y)平移(dx,dy)得到，即满足如下关系式：

f₂(x,y)＝f₁(x-dx,y-dy)

(22)空域转换到频域：

将空域图像反映到频域，其形式为：

F₂(u,v)＝F₁(u,v)*e^{-i*2π*(u*dx+v*dy)}

(23)计算互功率谱：

将图像的频域形式左边除以右边,得到互功率谱,其形式为:

通过求取互功率谱的傅立叶反变换,得到一个狄拉克函数(脉冲函数),再寻找函数峰值点对应的坐标,即可得到我们所要求得的配准点。

图4就是所求得到的配准点。

(24)配准点全局信号时间相关联：

根据步骤23得到的配准点实现相邻两帧之间的配准，则图像序列表征为：

I(t)＝I(t’)

式子中I表示图像序列，t表示时间，t’表示不同时间，该式子把一系列孤立的图像序列关联成一个整体，图像序列具有时间相关性。

(30)多帧图像相关约束分析：对配准之后的多帧图像进行同源信号约束以及全局相关约束，构建互相关方程，具体步骤如下：

(31)构建同源信号约束方程关联边缘信号

在低照度场景下，其有效的信号是淹没在噪声中，即：

I为图像，S为场景信号，这里可以表示为步骤12求出来的边缘信号，N为噪声；在空间分布上低照度图像可以表征为

I(x,y)＝S(x_s,y_s)+N(x,y)

I(x,y)表示了一张低照度图像的空间分布，(x_s,y_s)表示了边缘信号的空间分布，N(x,y)表示了噪声的空间分布。

S作为全局信号的重要部分，在空间分布上具有稳定性，步骤24得到了图像序列中全局信号的时间分布，由此可以推出边缘信号的时间相关性：

S(x_s,y_s,t)＝S(x_s,y_s,t’)

这个式子表明了边缘信号，其空间分布是保持不变的，边缘信号具有时间相关性。即，边缘信号具有同源约束，这个方程就是边缘信号的同源信号约束方程。

对于噪声来说，噪声具有随机性，在空间上噪声是随机分布的，即：

N(x,y)＝N(x’,y’)

且，由于其空间上的随机性，噪声在时间上不具有相关性，当前帧的噪声可能在下一帧就发生了改变，所以噪声在时间相关性可以表示为：

N(x,y,t)＝N(x’,y’,t’)

由此可以看出，噪声不具备同源信号约束，无法构建同源信号约束方程，但噪声的空间上和时间上的分布可以用上式表示。

图5为各帧同源信号配准点的位置信息。

(32)构建全局关联约束方程求解像素真实坐标

根据步骤31得到的边缘信号的同源信号约束方程，分析了边缘信号在空间上和时间上的分布情况，根据其相关性构建边缘信号的全局信号约束方程：

图像中任一像素的灰度值背后对应着一个复杂的物理过程，每个边缘信号对应的像素位置(x_s,y_s)都可映射为一个方程，物理过程中任一相关参量都可以作为方程内的变量。Proj将有效信号的每个像素映射为一个以同源信号为变量的方程，利用同源信号相关性，求解出边缘信号的在真实场景中像素的真实位置，将每个关联像素位置关系精确计算出来。i(t)，j(t)就是像素位置的时间分布。

(33)根据步骤31，低照度图像在空间上的分布可以表示为:

I(x,y)＝S(x_s,y_s)+N(x,y)

根据步骤31构建的同源信号约束方程，上式可以表示为：

I(x,y,t’)＝S(x_s,y_s,t)+N(x’,y’,t’)

根据步骤32构建的全局关联约束方程，对S(x_s,y_s,t)进行求解，上式可表示为：

该式子就是真实像素空间分布和时间分的互相关方程，

表示边缘信号的全局关联约束方程，其结果表示为/>

蕴含着真实像素的时间分布，但噪声不具备相关性，无法带入全局关联约束方程中，所以最后的求解中依然包含着噪声的分布。所以低照度图像表示为：I(x,y,t’)。

图6为重构信号方程初次的解，可以看出解的分布差异较大，并不是十分精确。

(40)求解互相关方程，对噪声图像进行迭代更新：根据互相关最大化优化方程以及梯度最大化方程求解互相关方程，并保留当前帧的解，带入下一帧的互相关方程中实现去噪图像的迭代更新，具体步骤为：

(41)构建互相关最大化优化方程减少噪声

互相关最大化是对重点区域建立方程以求解，这里的重点区域就是边缘信号。减少求解方程总数量，保证最小计算量下的最佳效果。

互相关最大化表征为：

在互相关最大化方程中，边缘信号作为一种同源信号具有相关性，它所产生的信息冗余，使得构造出的方程个数远大于变量个数，确保了强噪声中同源信号的精确计算。但是噪声具有空间上和时间的随机性，不具备同源信号的相相关性，所以噪声在求解中无法互相关最大化，噪声信号也就无解了。但蕴含在场景边缘的噪声因为边缘的影响，依然无法去除。

(42)构建梯度最大化方程增强图像

梯度最大化是利用场景信号的互相关最大化求解结果，对场景之外的其他区域以及场景的边缘进行二次求解，保证全局性计算结果以及进一步消除边缘附近的噪声信号。梯度最大化可表征为：

max2←grad{I(x,y)}

边缘信号梯度分布明显区别于噪声，且梯度分布具有一致性。利用梯度最大化破坏了噪声的相关性，直接抑制掉。

(43)求解互相关方程，重构去噪图像：

根据步骤(41)互相关最大化优化方程和步骤(42)梯度最大化方程求解步骤(33)中的互相关方程，由此重构出清晰无噪声的图像。

步骤(33)中的方程互相关方程，表示为：

在重构信号i中(x,y)依然不是最优解，但是利用步骤(41)互相关最大化优化方程和步骤(42)梯度最大化方程这两个优化方程，可以对步骤(33)中的互相关方程优化求解，联立互相关方程和优化方程：

最后求解出

i，j表示了最后低照度图像去噪后图像像素的位置，/>

表示这个位置是时间相关的，最后无噪声图像可以表示为：

I(i(t),j(t))

这一帧的解任然可以带入下一帧的互相关方程中，实现去噪图像的迭代更新。

图7为互相关方程经过互相关最大化优化方程和梯度最大化优化方程优化求得的解，可以看出解的分布差异变小，数值较精确。

图8为迭代更新的清晰无噪声的图像，基本已经达到了去噪的效果。

Claims (6)

1.一种基于相位相关的低照度图像去噪方法，其特征在于，包括如下步骤：

(10)提取图像边缘信息：对每一帧图像进行边缘滤波，提取图像的有效边缘信息；

(20)边缘图相位相关：对相邻两帧边缘图像进行相位相关运算，计算图像序列的配准点；

(30)多帧图像相关约束分析：对配准之后的多帧图像进行同源信号约束以及全局相关约束，构建互相关方程；

(40)求解互相关方程，对噪声图像进行迭代更新：根据互相关最大化优化方程以及梯度最大化方程求解互相关方程，并保留当前帧的解，带入下一帧的互相关方程中实现去噪图像的迭代更新。

2.根据权利1要求所述的基于相位相关的低照度图像去噪方法，其特征在于，所述步骤(10)提取图像边缘信息的具体步骤为：

(11)方向滤波：

对输入的原始图像分别在0°、45°、90°、135°四个方向进行方向滤波，得到四个方向的方向滤波图I₀、I₄₅、I₉₀、I₁₃₅；

(12)计算边缘图像：

根据四个方向的方向滤波图，计算边缘图像，所述边缘图像具体表示为：

I_s＝(|I₀|+|I₄₅|+|I₉₀|+|I₁₃₅|)/4

(13)阈值分割：

将边缘图像I_s与全局二值化阈值Th作比较，将边缘图像I_s中小于Th的像素归0。

3.根据权利要求1所述的基于相位相关的低照度图像去噪方法，其特征在于，所述步骤(20)边缘图像相位相关，计算配准点的具体步骤包括：

(21)图像空域平移：

相邻两帧边缘图像分别为f₂(x，y)，f₁(x，y)，且f₂(x，y)由f₁(x，y)平移(dx，dy)得到，即满足如下关系式：

f₂(x，y)＝f₁(x-dx，y-dy)

(22)空域转换到频域：

将两帧边缘图像反映到频域，具体为：

F₂(u，v)＝F₁(u，v)*e^{-i*2π*(u*dx+v*dy)}

其中，F₂(u，v)为边缘图像f₂(x，y)的频域图像，F₁(u，v)为边缘图像f₁(x，y)的频域图像；

(23)计算互功率谱得到配准点：

将图像的频域形式左边除以右边，得到互功率谱，其形式为：

通过求取互功率谱的傅立叶反变换，得到一个狄拉克函数，再寻找函数峰值点对应的坐标，即可得到所要求得的配准点；

(24)配准点全局信号时间相关联：

根据步骤(23)得到的配准点实现相邻两帧之间的配准，则图像序列表征为：

I(t)＝I(t’)

式中，I表示图像序列，t表示时间，t’表示不同时间。

4.根据权利要求3所述的基于相位相关的低照度图像去噪方法，其特征在于，步骤(30)对配准之后的多帧图像进行全局相关约束，构建互相关方程步骤包括：

(31)构建同源信号约束方程关联边缘信号

在低照度场景下，有效的信号是淹没在噪声中，即：

I＝S+N

I为图像，S为场景信号，场景信号具体为步骤(12)求出来的边缘信号，N为噪声；

在空间分布上低照度图像表征为：

I(x，y)＝S(x_s，y_s)+N(x，y)

I(x，y)表示一张低照度图像的空间分布，(x_s，y_s)表示边缘信号的空间分布，N(x，y)表示噪声的空间分布；

根据步骤(24)得到的图像序列中全局信号的时间分布，确定边缘信号的同源信号约束方程：

S(x_s，y_s，t)＝S(x_s，y_s，t’)

噪声在时间相关性表示为：

N(x，y，t)＝N(x′，y′，t’)

(32)构建全局关联约束方程求解像素真实坐标

根据步骤(31)得到的边缘信号的同源信号约束方程，根据相关性构建边缘信号的全局信号约束方程：

Proj将有效信号的每个像素映射为一个以同源信号为变量的方程，i(t)，j(t)表示像素位置的时间分布；

(33)低照度图像在空间上的分布表示为：

I(x，y)＝S(x_s，y_s)+N(x，y)

根据构建的同源信号约束方程，低照度图像在空间上的分布进一步表示为：

I(x，y，t’)＝S(x_s，y_s，t)+N(x′，y′，t’)

根据步骤(32)构建的全局关联约束方程，对S(x_s，y_s，t)进行求解，上式表示为：

式中，

表示边缘信号的全局关联约束方程，I(x，y，t’)表示为低照度图像。

5.根据权利要求4所述的基于相位相关的低照度图像去噪方法，其特征在于，根据互相关最大化优化方程以及梯度最大化方程优化求解互相关方程：

(41)构建互相关最大化优化方程：

互相关最大化表征为：

(42)构建梯度最大化方程增强图像：

梯度最大化表征为：

max2←grad{I(x，y)}

(43)求解互相关方程，重构去噪图像：

根据步骤(41)互相关最大化优化方程和步骤(42)梯度最大化方程求解步骤(33)中的互相关方程，重构出清晰无噪声的图像。

6.根据权利要求4所述的基于相位相关的低照度图像去噪方法，其特征在于，联立互相关方程和优化方程：

求解出

i，j表示了最后低照度图像去噪后图像像素的位置，无噪声图像表示为：

I(i(t)，j(t))。

Images