CN109166083A - 一种用于去除水下图像气泡噪声的方法 - Google Patents

Abstract

本发明涉及一种用于去除水下图像气泡噪声的方法，属于图像处理技术领域，技术方案包括以下步骤：对读取的视频帧图像进行降噪预处理；计算视频中背景运动量；计算气泡光流场，得到气泡存在的区域；对气泡遮挡区域进行修复。本发明能够有效地去除水下图像中的噪声干扰，针对背景运动量进行了补偿，在水下摄像机存在晃动时，仍能保证较好的气泡噪声去除效果。

Description

一种用于去除水下图像气泡噪声的方法

技术领域

本发明属于图像处理技术领域，具体涉及一种用于去除水下图像气泡噪声的方法。

背景技术

随着人们对海洋资源的不断开发利用，用水下机器人进行海底世界的探索及水下作业是重要手段之一。因此需要开发更为先进的水下机器人视觉技术进行水中目标的准确定位与跟踪，其中对水下图像的清晰化处理技术至关重要。舰船、鱼雷和螺旋桨等高速运动时，由于空化效应会产生大量气泡，导致目标被遮挡，信息严重丢失；水下焊接作业时焊接点的高温使水汽化而产生气泡，焊缝信息被遮挡，对焊缝的定位和焊接路径规划产生严重的干扰。因此，对图像增强处理，去除水下图像中的气泡噪声是亟待解决的问题。

发明内容

本发明的目的是为解决水下图像中常见的气泡噪声干扰问题，而提出了一种用于去除水下图像气泡噪声的方法。

一种用于去除水下图像气泡噪声的方法，包括以下步骤：

S1：对读取的视频帧图像进行高斯滤波降噪预处理；

S2：计算预处理后视频中背景运动量的大小和方向；

S3：计算气泡光流场，得到的结果与背景运动量进行对比，得到气泡遮挡区域；

S4：利用相邻帧图像信息对气泡遮挡区域进行修复。

所述步骤S1的具体方法如下：

选用二维高斯函数G(x,y)构造二维卷积算子，与原始图像f(x,y)进行卷积运算，得到滤波后的图像I(x,y)：

I(x,y)＝G(x,y)*f(x,y)

其中，x为横轴图像坐标，y为纵轴图像坐标，σ₁为横轴方向标准差，σ₂为纵轴方向标准差，ρ为相关系数，μ₁为横轴方向均值，μ₂为纵轴方向均值。

所述步骤S2的具体方法如下：

1)用Shi-Tomasi角点检测算法计算出图像中的特征点；

2)用金字塔LK光流法计算出所有特征点的光流；

3)分两步去除非背景点的光流；

4)根据步骤3)之后剩余的光流计算背景运动量大小和方向。

S2中所述步骤3)具体为：

第一步，计算所有n个光流矢量方向角θ的均值和标准差σ_θ：

如果光流的方向角θ_i在范围内，则保留该光流，否则去除该光流；

第二步，计算第一步剩余的m个光流矢量模p的均值和标准差σ_p：

如果光流的模数p在范围内，则保留该光流，否则去除该光流。

S2中所述步骤4)具体为：计算步骤3)之后剩余的k个光流矢量模p的平均值和方向角θ的平均值

背景运动的齐次变换矩阵B为：

所述步骤S3的具体方法如下：

步骤S3的具体方法如下：

对S1步骤中得到的图像，用HS光流法计算气泡光流场，具体过程为：

(1)光流算法假设瞬时灰度值不变，若t时刻，像素点(x,y)处的灰度值为E(x,y,t)，经过时间Δt后，可以得到下式：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

(2)对上式两边求导，可得到光流约束方程：

其中，u、v分别为像素点光流沿x、y方向的分量；

(3)根据HS光流法相邻像素点之间具有相似的光流的假设，得到一组光流方程组，利用最小二乘法计算出方程组的解，即为该像素点的光流；

HS光流法计算得到的结果中包含背景和气泡中所有像素点的光流，将该结果与背景运动量进行对比，若光流的方向角在范围内，并且矢量模在范围内，则为背景点，否则为气泡。得到二值化的气泡遮挡区域图像E(x,y)：

所述步骤S4的具体方法如下：

(1)在第n帧图像中，(xⁿ,yⁿ)是气泡遮挡区域里的一个像素点，在与其相距m帧的图像中，对应的像素点为(x^n-m,y^n-m)和(x^n+m,y^n+m)。利用背景运动的齐次变换矩阵B将两帧图像对齐：

(2)计算邻帧图像的修复优先权。

第n帧图像中被气泡遮挡的区域为Aⁿ，将其向外扩充w个像素后得到的环形区域为Rⁿ，在与该帧图像相距m帧的图像中，对应的环形区域为R^n+m。计算Rⁿ和R^n+m中相对应像素点之间的灰度差，计算上述灰度差的平均值，平均值越小，则该帧图像优先权越大。

(3)在优先权最高的图像中查找(xⁿ,yⁿ)对应的像素点，如果这个像素是已知的，则直接将其灰度值复制到当前帧中，若信息未知，则到优先权低一级的图像中查找并进行灰度值复制，以此类推，直到所有像素点修复完成。

有益效果

本发明提供的用于去除水下图像气泡噪声的方法，能够有效地去除水下图像中的噪声干扰，针对背景运动量进行了补偿，在水下摄像机存在晃动时，仍能保证较好的气泡噪声去除效果。

附图说明

图1为水下图像气泡噪声去除方法流程图。

具体实施方式

一种用于去除水下图像气泡噪声的方法，包括以下步骤：

S1：对读取的视频帧图像进行高斯滤波降噪预处理；

S2：计算预处理后视频中背景运动量的大小和方向；

S3：计算气泡光流场，得到的结果与背景运动量进行对比，得到气泡遮挡区域；

S4：利用相邻帧图像信息对气泡遮挡区域进行修复。

所述步骤S1的具体方法如下：

选用二维高斯函数G(x,y)构造二维卷积算子，与原始图像f(x,y)进行卷积运算，得到滤波后的图像I(x,y)：

I(x,y)＝G(x,y)*f(x,y)

其中，x为横轴图像坐标，y为纵轴图像坐标，σ₁为横轴方向标准差，σ₂为纵轴方向标准差，ρ为相关系数，μ₁为横轴方向均值，μ₂为纵轴方向均值。

所述步骤S2的具体方法如下：

1)用Shi-Tomasi角点检测算法计算出图像中的特征点；

2)用金字塔LK光流法计算出所有特征点的光流；

3)分两步去除非背景点的光流；

4)根据步骤3)之后剩余的光流计算背景运动量大小和方向。

S2中所述步骤3)具体为：

第一步，计算所有n个光流矢量方向角θ的均值和标准差σ_θ：

如果光流的方向角θ_i在范围内，则保留该光流，否则去除该光流；

第二步，计算第一步剩余的m个光流矢量模p的均值和标准差σ_p：

如果光流的模数p在范围内，则保留该光流，否则去除该光流。

S2中所述步骤4)具体为：计算步骤3)之后剩余的k个光流矢量模p的平均值和方向角θ的平均值

背景运动的齐次变换矩阵B为：

所述步骤S3的具体方法如下：

步骤S3的具体方法如下：

对S1步骤中得到的图像，用HS光流法计算气泡光流场，具体过程为：

(1)光流算法假设瞬时灰度值不变，若t时刻，像素点(x,y)处的灰度值为E(x,y,t)，经过时间Δt后，可以得到下式：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

(2)对上式两边求导，可得到光流约束方程：

其中，u、v分别为像素点光流沿x、y方向的分量；

(3)根据HS光流法相邻像素点之间具有相似的光流的假设，得到一组光流方程组，利用最小二乘法计算出方程组的解，即为该像素点的光流；

HS光流法计算得到的结果中包含背景和气泡中所有像素点的光流，将该结果与背景运动量进行对比，若光流的方向角在范围内，并且矢量模在范围内，则为背景点，否则为气泡。得到二值化的气泡遮挡区域图像E(x,y)：

所述步骤S4的具体方法如下：

(1)在第n帧图像中，(xⁿ,yⁿ)是气泡遮挡区域里的一个像素点，在与其相距m帧的图像中，对应的像素点为(x^n-m,y^n-m)和(x^n+m,y^n+m)。利用背景运动的齐次变换矩阵B将两帧图像对齐：

(2)计算邻帧图像的修复优先权。

第n帧图像中被气泡遮挡的区域为Aⁿ，将其向外扩充w个像素后得到的环形区域为Rⁿ，在与该帧图像相距m帧的图像中，对应的环形区域为R^n+m。计算Rⁿ和R^n+m中相的对应像素点之间的灰度差，计算上述灰度差的平均值，平均值越小，则该帧图像优先权越大。

(3)在优先权最高的图像中查找(xⁿ,yⁿ)对应的像素点，如果这个像素是已知的，则直接将其灰度值复制到当前帧中，若信息未知，则到优先权低一级的图像中查找并进行灰度值复制，以此类推，直到所有像素点修复完成。

Claims (7)

1.一种用于去除水下图像气泡噪声的方法，其特征在于，包括以下步骤：

S1：对读取的视频帧图像进行高斯滤波降噪预处理；

S2：计算预处理后视频中背景运动量的大小和方向；

S3：计算气泡光流场，得到的结果与背景运动量进行对比，得到气泡遮挡区域；

S4：利用相邻帧图像信息对气泡遮挡区域进行修复。

2.根据权利要求1所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤S1的具体方法如下：

选用二维高斯函数G(x,y)构造二维卷积算子，与原始图像f(x,y)进行卷积运算，得到滤波后的图像I(x,y)：

I(x,y)＝G(x,y)*f(x,y)

其中，x为横轴图像坐标，y为纵轴图像坐标，σ₁为横轴方向标准差，σ₂为纵轴方向标准差，ρ为相关系数，μ₁为横轴方向均值，μ₂为纵轴方向均值。

3.根据权利要求1所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤S2的具体方法如下：

1)用Shi-Tomasi角点检测算法计算出图像中的特征点；

2)用金字塔LK光流法计算出所有特征点的光流；

3)分两步去除非背景点的光流；

4)根据步骤3)之后剩余的光流计算背景运动量大小和方向。

4.根据权利要求3所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤3)具体为：

第一步，计算所有n个光流矢量方向角θ的均值和标准差σ_θ：

如果光流的方向角θ_i在范围内，则保留该光流，否则去除该光流；

第二步，计算第一步剩余的m个光流矢量模p的均值和标准差σ_p：

如果光流的模数p在范围内，则保留该光流，否则去除该光流。

5.根据权利要求4所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤4)具体为：计算步骤3)之后剩余的k个光流矢量模p的平均值和方向角θ的平均值

背景运动的齐次变换矩阵B为：

6.根据权利要求1所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤S3的具体方法如下：

步骤S3的具体方法如下：

对S1步骤中得到的图像，用HS光流法计算气泡光流场，具体过程为：

(1)光流算法假设瞬时灰度值不变，若t时刻，像素点(x,y)处的灰度值为E(x,y,t)，经过时间Δt后，可以得到下式：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)

(2)对上式两边求导，可得到光流约束方程：

其中，u、v分别为像素点光流沿x、y方向的分量；

(3)根据HS光流法相邻像素点之间具有相似的光流的假设，得到一组光流方程组，利用最小二乘法计算出方程组的解，即为该像素点的光流；

HS光流法计算得到的结果中包含背景和气泡中所有像素点的光流，将该结果与背景运动量进行对比，若光流的方向角在范围内，并且矢量模在范围内，则为背景点，否则为气泡，得到二值化的气泡遮挡区域图像E(x,y)：

7.根据权利要求1所述的用于去除水下图像气泡噪声的方法，其特征在于，所述步骤S4的具体方法如下：

(1)在第n帧图像中，(xⁿ,yⁿ)是气泡遮挡区域里的一个像素点，在与其相距m帧的图像中，对应的像素点为(x^n-m,y^n-m)和(x^n+m,y^n+m)，利用背景运动的齐次变换矩阵B将两帧图像对齐：

(2)计算邻帧图像的修复优先权：

第n帧图像中被气泡遮挡的区域为Aⁿ，将其向外扩充w个像素后得到的环形区域为Rⁿ，在与该帧图像相距m帧的图像中，对应的环形区域为R^n+m，计算Rⁿ和R^n+m中相的对应像素点之间的灰度差，计算上述灰度差的平均值，平均值越小，则该帧图像优先权越大；

(3)在优先权最高的图像中查找(xⁿ,yⁿ)对应的像素点，如果这个像素是已知的，则直接将其灰度值复制到当前帧中，若信息未知，则到优先权低一级的图像中查找并进行灰度值复制，以此类推，直到所有像素点修复完成。