CN112862876A - 一种用于水下机器人的实时深海视频图像增强方法 - Google Patents

Abstract

本发明提供了一种用于水下机器人的实时深海视频图像增强方法，所述方法包括以下步骤：通过拍摄设备采集深海视频图像，并从所述深海视频图像中提取所有的关键帧图像；将所述关键帧图像的饱和度、亮度、红色与最大蓝绿色通道差异值作为线性景深模型的输入，输出所述关键帧图像对应的景深图；由所述景深图独立获取所述关键帧图像的背景光和传输地图，通过所述背景光、传输地图结合水下成像模型实现对所述关键帧图像的增强。通过本发明可以针对性地解决深海视频图像模糊和清晰度低等问题，实现对深海视频图像的快速实时增强。

Description

一种用于水下机器人的实时深海视频图像增强方法

技术领域

本发明涉及水下图像增强技术领域，更具体地，涉及一种用于水下机器人的实时深海视频图像增强方法。

背景技术

海洋拥有丰富的资源，探索开发海洋可以满足人类发展的需求。水下机器人因其操纵灵活智能化高等特点被广泛应用于深海探测，通过拍摄水下实时图像不仅可以实现水下机器人在线目标识别与追踪，同时也可以将采集的深海视频进行离线分析为进一步深入研究深海提供坚实的材料依据。

受海洋环境影响，海水对光的吸收及水中浮游生物对光的散射，会导致采集的深海图像出现雾化、色偏和清晰度低等问题。获得画面清晰内容真实的图像是实现深海精准视觉探测的前提，现有的水下图像增强方法主要是针对自然光照射下的水下场景提出，对于单一人造光源照射下获得的深海图像，增强效果达不到要求。

发明内容

本发明的目的在于提供一种用于水下机器人的实时深海视频图像增强方法，以针对性地解决深海视频图像模糊和清晰度低等问题。

为解决上述技术问题，本发明采用的技术方案是：一种用于水下机器人的实时深海视频图像增强方法，所述方法包括以下步骤：

步骤S1：通过拍摄设备采集深海视频图像，并从所述深海视频图像中提取所有的关键帧图像；

步骤S2：将所述关键帧图像的饱和度、亮度、红色与最大蓝绿色通道差异值作为线性景深模型的输入，输出所述关键帧图像对应的景深图；

步骤S3：由所述景深图独立获取所述关键帧图像的背景光和传输地图，通过所述背景光、传输地图结合水下成像模型实现对所述关键帧图像的增强。

优选的，步骤S1中，所述拍摄设备由水下机器人进行搭载，所述水下机器人上还搭载有Nvidia Jetson TX2嵌入式处理器。

优选的，步骤S1中，从所述深海视频图像中提取所有的关键帧图像具体包括以下步骤：

步骤S11：将深海视频图像的第一帧图像作为参考帧图像，接着有序提取深海视频图像中的当前帧图像；

步骤S12：通过下式计算所述参考帧图像和当前帧图像的结构相似性：

式中，μ_a为参考帧图像a的均值，μ_b为当前帧图像b的均值，σ_ab为参考帧图像a和当前帧图像b之间的相关系数，σ_a为参考帧图像a的方差，σ_b为当前帧图像b的方差，C₁、C₂为调节常数；

步骤S13：将SSIM(a,b)的值与结构相似性范围作比较，若SSIM(a,b)的值在结构相似性范围内，则该当前帧图像为非关键帧图像，若SSIM(a,b)的值在结构相似性范围外，则提取该当前帧图像为关键帧图像；

步骤S14：将该关键帧图像替换原来的参考帧图像，作为新的参考帧图像，依次循环获取下一关键帧图像，直至深海视频图像采集结束。

优选的，步骤S2中，所述线性景深模型的构建具体包括以下步骤：

步骤S21：获取每个关键帧图像所对应的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)；

其中，所述sd(x)、Sat(x)、Val(x)均为m×n矩阵，m为关键帧图像的高度，n为关键帧图像的宽度，x＝(α,β)表示像素点x在图像(α,β)位置上；

步骤S22：基于数学统计分析，初步建立如下线性景深模型：

sd(x)＝u₀+u₁Sat(x)+u₂Val(x)+u₃M(x)

式中，所述u₀、u₁、u₂、u₃为线性景深模型的相关系数；

将每个关键帧图像的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)代入上式，获取每个关键帧图像所对应的原始相关系数u_0i、u_1i、u_2i、u_3i，其中i为关键帧图像编号，设关键帧图像数量为N，则i取值范围1至N；

步骤S23：将所有关键帧图像的原始相关系数对应相加，再取平均值作为最终景深模型的相关系数u₀、u₁、u₂、u₃：

式中，j为相关系数的编号，取值为0或1或2或3。

优选的，步骤S3中，获取所述关键帧图像的背景光具体包括以下步骤：

步骤S311：将建立的景深图sd(x)中前0.1％最大像素值所对应的像素点坐标集合，作为背景光位置候选集R：

式中，p_0.1％为景深图中前0.1％最大像素值集合，k∈{0,1,2,.....,|p_0.1％}，其中|p_0.1％|为景深图中0.1％像素点的数量规模；

步骤S312：将背景光位置候选集R中的所有坐标映射至对应的原始关键帧图像上，获得对应的像素点坐标集T；

步骤S313：选择像素点坐标集T中像素值的最大值作为最终估计的背景光B^c：

式中，

为坐标集T中所有的像素值，c＝{R,G,B}为原始关键帧图像的三个颜色通道。

优选的，步骤S3中，获取所述关键帧图像的传输地图具体包括以下步骤：

步骤S321：根据下式计算关键帧图像上最近点到拍摄设备上的距离d₀：

其中，

式中，I^c(x)为像素点x的像素值；

步骤S322：根据下式计算实际水下场景与拍摄设备之间的距离d(x)：

d(x)＝D_∞(sd(x)+d₀)

式中，D_∞为距离转换系数；

步骤S323：根据获取的距离d(x)计算获取关键帧图像的传输地图t^c(x)：

t^c(x)＝Nrer(λ)^d(x)

式中，λ为光波波长，Nrer(λ)为标准化残余能量比。

优选的，步骤S3中，通过下式的水下成像模型计算增强后的关键帧图像I^c：

优选的，所述步骤S3后还包括以下步骤:

步骤S4：对增强后的关键帧图像进行实时目标检测，将检测结果传输至所述水下机器人的主控单元进行后续处理，同时将拍摄设备采集的深海视频图像保存至本地。

与现有技术相比，本发明达到的有益效果是：

本发明提供一种用于水下机器人的实时深海视频图像增强方法，由于在连续的深海视频图像中相邻数帧图像之间存在很高的相似性，通过关键帧图像的选择，提取有效信息，利于降低计算成本和节约系统资源；通过建立线性景深模型求出关键帧图像对应的景深图，线性模型能够保留原始关键帧图像的边缘和轮廓信息，确保图像关键特征不会丢失；通过景深图独立计算背景光与传输地图，有效避免误差积累，有效地纠正深海图像色偏去除模糊，还原深海场景中物体的原有色彩，实现多场景下的深海图像增强；此外，通过关键帧图像的提取和线性景深模型的求解速度相结合，便于实现对深海视频图像的快速实时增强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的实时深海视频图像增强方法流程图；

图2是本发明的关键帧图像提取流程图；

图3是本发明的关键帧图像增强流程图；

图4是本发明的关键帧图像背景光估计示意图；

图5是本发明的整体工作流程图；

具体实施方式

为了更好理解本发明技术内容，下面提供具体实施例，并结合附图对本发明做进一步的说明:

参见图1-图5，本发明提供一种用于水下机器人的实时深海视频图像增强方法，所述方法包括以下步骤：

步骤S1：通过拍摄设备采集深海视频图像，并从所述深海视频图像中提取所有的关键帧图像；

具体的，所述拍摄设备由水下机器人进行搭载，水下机器人因其操纵灵活智能化高等特点被广泛应用于深海探测，水下机器人下潜后通过拍摄设备实时采集深海视频图像，其中拍摄设备可以为水下相机或其他具备拍摄功能的设备，在水下机器人下潜后，水下相机可以不间断的对水下场景图像进行拍摄，从而获得视频频帧可达到20-30FPS的所需深海视频图像。另外，由于水下机器人受体积和功耗限制，只能携带低功耗小型处理器。因此，所述水下机器人上还搭载有Nvidia Jetson TX2嵌入式处理器，作为水下机器人水下实时视频图像增强平台，能够较好地辅助水下机器人进行深海视觉探测。

具体的，如图2所示，因水下机器人进行水下探测时速度往往较慢，所采集的视频中相邻帧图像之间会存在很高的相似性，若对每一帧图像都进行增强会增加硬件计算负荷和系统消耗。同时也会造成重复增强，没有意义。因此，在步骤S1中，需从所述深海视频图像中提取所有的关键帧图像，具体包括以下步骤：

步骤S11：将深海视频图像的第一帧图像作为参考帧图像，接着有序提取深海视频图像中的当前帧图像；

步骤S12：通过下式计算所述参考帧图像和当前帧图像的结构相似性：

式中，μ_a为参考帧图像a的均值，μ_b为当前帧图像b的均值，σ_ab为参考帧图像a和当前帧图像b之间的相关系数，σ_a为参考帧图像a的方差，σ_b为当前帧图像b的方差，C₁、C₂为调节常数；

需要说明的是，将SSIM(a,b)的数值越大，表明参考帧图像和关键帧图像之间的结构相似性越高。

步骤S13：将SSIM(a,b)的值与预设的结构相似性范围[0.8,1]作比较，若SSIM(a,b)的值在结构相似性范围[0.8,1]内，则该当前帧图像为非关键帧图像，若SSIM(a,b)的值在结构相似性范围[0.8,1]外，则提取该当前帧图像为关键帧图像；

步骤S14：将该关键帧图像替换原来的参考帧图像，作为新的参考帧图像，依次循环获取下一关键帧图像，直至深海视频图像采集结束。

通过上述关键帧图像的提取，获取有效信息，有利于降低计算成本和节约系统资源；

步骤S2：将所述关键帧图像的饱和度、亮度、红色与最大蓝绿色通道差异值作为线性景深模型的输入，输出所述关键帧图像对应的景深图；

具体的，步骤S2中，所述线性景深模型的构建具体包括以下步骤：

步骤S21：获取每个关键帧图像所对应的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)；其中：

通过模糊图像融合算法直接获取得每个关键帧图像原始的景深图sd(x)；

通过将每个关键帧图像转换到HSV(Hue,Saturation,Value)颜色空间，可经下式获得每个关键帧图像图像的饱和度和亮度：

Sat(x)＝(HSV[:,:,1])/255，Val(x)＝(HSV[:,:,2])/255

对求得的饱和度和亮度进行归一化处理，将图像像素映射到[0,1]范围内。

R、G、B为彩色图像的三个通道。通过将深海图像进行通道分离，由下式计算获取每个关键帧图像红色与最大蓝绿色通道的差异值：

其中，上述sd(x)、Sat(x)、Val(x)均为m×n矩阵，m为关键帧图像的高度，n为关键帧图像的宽度，x＝(α,β)表示像素点x在图像(α,β)位置上；

步骤S22：基于数学统计分析可得，图像景深与自身饱和度及红色与最大蓝绿色通道差异值呈正相关分布，与自身亮度呈负相关分布。基于统计结果，初步建立如下线性景深模型：

sd(x)＝u₀+u₁Sat(x)+u₂Val(x)+u₃M(x)

式中，未知数u₀、u₁、u₂、u₃为线性景深模型的相关系数；通过将景深模型设定为线性，保证原始深海图像的边缘和轮廓特征不会发生丢失。

将每个关键帧图像的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)代入上式，获取每个关键帧图像所对应的原始相关系数u_0i、u_1i、u_2i、u_3i，其中i为关键帧图像编号，设关键帧图像数量为N，则i取值范围1至N；

步骤S23：将所有关键帧图像的原始相关系数对应相加，再取平均值作为最终景深模型的相关系数u₀、u₁、u₂、u₃：

式中，j为相关系数的编号，取值为0或1或2或3。

将最终景深模型的相关系数u₀、u₁、u₂、u₃代入线性景深模型中，完成线性景深模型的建立，然后将每个关键帧图像所对应的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)代入建立好的线性景深模型中，获得每个关键帧图像所对应的最终的景深图sd(x)；

步骤S3：如图3所示，由所述景深图独立获取所述关键帧图像的背景光和传输地图，通过所述背景光、传输地图结合水下成像模型实现对所述关键帧图像的增强。

具体的，步骤S3中，获取所述关键帧图像的背景光具体包括以下步骤：

步骤S311：将建立的景深图sd(x)中前0.1％最大像素值所对应的像素点坐标集合，作为背景光位置候选集R：

式中，p_0.1％为景深图中前0.1％最大像素值集合，k∈{0,1,2,.....,|p_0.1％}，其中|p_0.1％|为景深图中0.1％像素点的数量规模；通过将景深图上像素值前0.1％最大值所对应的像素点坐标x集，可以避免一些噪声点影响。

步骤S312：将背景光位置候选集R中的所有坐标映射至对应的原始关键帧图像上，获得对应的像素点坐标集T，具体如图4所示；

步骤S313：选择像素点坐标集T中像素值的最大值作为最终估计的背景光B^c：

式中，

为坐标集T中所有的像素值，c＝{R,G,B}为原始关键帧图像的三个颜色通道。

具体的，步骤S3中，获取所述关键帧图像的传输地图具体包括以下步骤：

步骤S321：根据下式计算关键帧图像上最近点到拍摄设备上的距离d₀：

其中，

式中，I^c(x)为像素点x的像素值；

步骤S322：根据下式计算实际水下场景与拍摄设备之间的距离d(x)：

d(x)＝D_∞(sd(x)+d₀)

式中，D_∞为距离转换系数；

步骤S323：根据获取的距离d(x)计算获取关键帧图像的传输地图t^c(x)：

t^c(x)＝Nrer(λ)^d(x)

式中，λ为光波波长，Nrer(λ)为标准化残余能量比。

以上通过景深图独立计算背景光与传输地图，有效避免误差积累，有效地纠正深海图像色偏去除模糊，利于还原深海场景中物体的原有色彩，实现多场景下的深海图像增强；

具体的，步骤S3中，通过下式的水下成像模型计算增强后的关键帧图像I^c：

进一步的，如图5所示，所述步骤S3后还包括以下步骤:

步骤S4：对增强后的关键帧图像进行实时目标检测，将检测结果传输至所述水下机器人的主控单元进行后续处理，便于水下机器人根据程序设置进行相应的在线运动控制，同时将拍摄设备采集的深海视频图像保存至本地，便于上浮后进行离线分析。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种用于水下机器人的实时深海视频图像增强方法，其特征在于，所述方法包括以下步骤：

步骤S1：通过拍摄设备采集深海视频图像，并从所述深海视频图像中提取所有的关键帧图像；

步骤S2：将所述关键帧图像的饱和度、亮度、红色与最大蓝绿色通道差异值作为线性景深模型的输入，输出所述关键帧图像对应的景深图；

步骤S3：由所述景深图独立获取所述关键帧图像的背景光和传输地图，通过所述背景光、传输地图结合水下成像模型实现对所述关键帧图像的增强。

2.根据权利要求1所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S1中，所述拍摄设备由水下机器人进行搭载，所述水下机器人上还搭载有NvidiaJetson TX2嵌入式处理器。

3.根据权利要求1所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S1中，从所述深海视频图像中提取所有的关键帧图像具体包括以下步骤：

步骤S11：将深海视频图像的第一帧图像作为参考帧图像，接着有序提取深海视频图像中的当前帧图像；

步骤S12：通过下式计算所述参考帧图像和当前帧图像的结构相似性：

式中，μ_a为参考帧图像a的均值，μ_b为当前帧图像b的均值，σ_ab为参考帧图像a和当前帧图像b之间的相关系数，σ_a为参考帧图像a的方差，σ_b为当前帧图像b的方差，C₁、C₂为调节常数；

步骤S13：将SSIM(a,b)的值与结构相似性范围作比较，若SSIM(a,b)的值在结构相似性范围内，则该当前帧图像为非关键帧图像，若SSIM(a,b)的值在结构相似性范围外，则提取该当前帧图像为关键帧图像；

步骤S14：将该关键帧图像替换原来的参考帧图像，作为新的参考帧图像，依次循环获取下一关键帧图像，直至深海视频图像采集结束。

4.根据权利要求1所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S2中，所述线性景深模型的构建具体包括以下步骤：

步骤S21：获取每个关键帧图像所对应的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)；

其中，所述sd(x)、Sat(x)、Val(x)均为m×n矩阵，m为关键帧图像的高度，n为关键帧图像的宽度，x＝(α,β)表示像素点x在图像(α,β)位置上；

步骤S22：基于数学统计分析，初步建立如下线性景深模型：

sd(x)＝u₀+u₁Sat(x)+u₂Val(x)+u₃M(x)

式中，所述u₀、u₁、u₂、u₃为线性景深模型的相关系数；

将每个关键帧图像的饱和度Sat(x)、亮度Val(x)、红色与最大蓝绿色通道差异值M(x)、原始的景深图sd(x)代入上式，获取每个关键帧图像所对应的原始相关系数u_0i、u_1i、u_2i、u_3i，其中i为关键帧图像编号，设关键帧图像数量为N，则i取值范围1至N；

步骤S23：将所有关键帧图像的原始相关系数对应相加，再取平均值作为最终景深模型的相关系数u₀、u₁、u₂、u₃：

式中，j为相关系数的编号，取值为0或1或2或3。

5.根据权利要求4所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S3中，获取所述关键帧图像的背景光具体包括以下步骤：

步骤S311：将建立的景深图sd(x)中前0.1％最大像素值所对应的像素点坐标集合，作为背景光位置候选集R：

式中，p_0.1％为景深图中前0.1％最大像素值集合，k∈{0,1,2,.....,|p_0.1％|}，其中|p_0.1％|为景深图中0.1％像素点的数量规模；

步骤S312：将背景光位置候选集R中的所有坐标映射至对应的原始关键帧图像上，获得对应的像素点坐标集T；

步骤S313：选择像素点坐标集T中像素值的最大值作为最终估计的背景光B^c：

式中，

为坐标集T中所有的像素值，c＝{R,G,B}为原始关键帧图像的三个颜色通道。

6.根据权利要求5所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S3中，获取所述关键帧图像的传输地图具体包括以下步骤：

步骤S321：根据下式计算关键帧图像上最近点到拍摄设备上的距离d₀：

其中，

式中，I^c(x)为像素点x的像素值；

步骤S322：根据下式计算实际水下场景与拍摄设备之间的距离d(x)：

d(x)＝D_∞(sd(x)+d₀)

式中，D_∞为距离转换系数；

步骤S323：根据获取的距离d(x)计算获取关键帧图像的传输地图t^c(x)：

t^c(x)＝Nrer(λ)^d(x)

式中，λ为光波波长，Nrer(λ)为标准化残余能量比。

7.根据权利要求6所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，步骤S3中，通过下式的水下成像模型计算增强后的关键帧图像I^c：

8.根据权利要求2所述的一种用于水下机器人的实时深海视频图像增强方法，其特征在于，所述步骤S3后还包括以下步骤:

步骤S4：对增强后的关键帧图像进行实时目标检测，将检测结果传输至所述水下机器人的主控单元进行后续处理，同时将拍摄设备采集的深海视频图像保存至本地。

Images