CN117975254B - 一种基于双目图像的着生藻类监测方法及系统 - Google Patents

Abstract

本发明提出了一种基于双目图像的着生藻类监测方法及系统，属于水生态环境监测领域，方法包括：S1、采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集；S2、采用数据集训练基于深度学习的着生藻类语义分割模型；S3、采集双目序列图像数据，进行矫正处理并重建双目图像数据，得到重建后的双目图像；S4、使用训练好的着生藻类语义分割模型在重建后的双目图像上进行着生藻类覆盖度检测和着生藻类生长高度检测；S5、根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。本申请对着生藻类的实时监测，根据着生藻类的覆盖度和生长高度计算出监测指标，为着生藻类生态系统的综合评估提供了数据支持。

Description

一种基于双目图像的着生藻类监测方法及系统

技术领域

本发明涉及水生态环境监测技术领域，尤其涉及一种基于双目图像的着生藻类监测方法及系统。

背景技术

着生藻类是生长在水底、沿岸、水草或其他水中突出物、漂浮物上的藻类，是水生态系统中重要的生物组成部分和初级生产者之一，其暴发增殖死亡后上浮会对水体的水质和其他生物造成巨大影响。需要设计一种有效的方法来对水体内着生藻类的生长情况进行原位监测。

在现有技术中，由于水生态环境较为复杂，难以实时监测，无法及时发现着生藻类的异常增长。现有专利CN110220845B公开了一种着生藻生长带的原位监测方法及装置，其采用水上相机分析着生藻类的覆盖度指标和生长高度指标，但是由于水上相机受光照、天气、水浪等影响较大，计算出的着生藻类覆盖度指标变化幅度较大，且水下相机拍摄的画面中存在悬浮物、鱼类、泥沙等现象，会影响计算精度。同时，采用直接识别特定标定物体孔洞的方式计算着生藻类的生长高度，其指标与实际情况也存在较大的偏差。

因此，寻找一种既能够对水下着生藻类的生长情况及时监测，又能够准确计算出着生藻类监测指标的方法，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明提出了一种基于双目图像的着生藻类监测方法及系统，首先，采集和标注水下双目相机拍摄的着生藻类图像数据，并训练着生藻类语义分割模型，然后对双目序列图像数据进行矫正和重建，最后基于重建后的双目图像计算着生藻类的覆盖度、生长高度、生物量等监测指标，并对其生长高度、覆盖率和生物量等指标进行综合评估，及时发现着生藻类的生长变化趋势。

本发明的技术方案是这样实现的：

第一方面，本发明提供了一种基于双目图像的着生藻类监测方法，包括以下步骤：

S1、采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集；

S2、采用数据集训练基于深度学习的着生藻类语义分割模型；

S3、采集双目序列图像数据，对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像I_str；

S4、使用训练好的着生藻类语义分割模型在重建后的双目图像I_str上进行着生藻类覆盖度检测和着生藻类生长高度检测；

S5、根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。

在以上技术方案的基础上，优选的，所述着生藻类覆盖度检测具体包括：

将重建后的双目图像I_str切分为左视图I_str ^l和右视图I_str ^r；

将左视图I_str ^l输入至训练好的着生藻类语义分割模型，检测出左视图I_str ^l的着生藻类分布区域，得到单通道的BMask图像；

在左视图I_str ^l上采用多边形划线方式选定着生藻类的监控区域，并统计监控区域内着生藻类的像素面积；

根据监控区域的像素面积和监控区域内检测的着生藻类的像素面积，得到着生藻类的覆盖度指标。

在以上技术方案的基础上，优选的，所述着生藻类生长高度检测具体包括：

根据左视图I_str ^l和右视图I_str ^r进行双目图像匹配操作，计算视差图像I_d；

对视差图像I_d进行加权最小二乘滤波，得到稠密的视差图像I_d ^W；

基于稠密的视差图像I_d ^W结合水下双目相机中左相机的标定参数，计算稠密三维点云数据I_D ^l；

对稠密三维点云数据I_D ^l中点云数据进行滤波处理，设置Z方向阈值，并删除稠密三维点云数据I_D ^l中Z坐标小于0和大于Z方向阈值的点云数据；

以单通道的BMask图像为掩膜统计稠密三维点云数据I_D ^l中Z坐标平均值，所述Z坐标平均值为相机视角着生藻类的高度；

计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度；

根据相机视角着生藻类的高度和着生藻类的相对高度得到着生藻类的生长高度指标。

在以上技术方案的基础上，优选的，所述计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度，具体包括：

在左视图I_str ^l中框选标定杆的检测区域R_e，从左视图I_str ^l中截取检测区域R_e的图像，对图像/>进行预处理和边缘检测，得到边缘图像I_edge；

对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点；

根据校验后的凸缺陷点确定图像中标定杆的十字中心点，并根据标定杆的十字中心点得到着生藻类的相对高度。

在以上技术方案的基础上，优选的，所述对图像进行预处理和边缘检测，具体包括：

将图像按照预设尺寸进行缩放处理并转换成灰度图像，得到图像I_gray；

对图像I_gray进行中值滤波去噪，并采用CLAHE算法进行对比度拉伸操作，得到拉伸后的图像；

使用高斯模糊算法对拉伸后的图像进行处理，得到图像I_re ^E；

在图像I_re ^E上计算OTSU阈值，并根据OTSU阈值以及预设的第一阈值系数和第二阈值系数进行计算，得到高低阈值；

使用Canny边缘检测方法从图像I_re ^E中提取出标定杆的边缘特征，并进行形态学膨胀操作，得到边缘图像I_edge。

在以上技术方案的基础上，优选的，所述对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点，具体包括：

计算边缘图像I_edge的所有外轮廓{O_i}，并找到最大外轮廓O₁；

对最大外轮廓O₁进行凸包检测，得到凸包的集合{A_i}；

根据凸包的集合{A_i}对最大外轮廓O₁进行凸缺陷检测，得到凸缺陷点集合{B_i|B_i=ID_i ^S，ID_i ^E，ID_i ^F，D_i}，其中ID_i ^S表示第i个凸缺陷点在最大外轮廓O₁中的起始点索引，ID_i ^E表示第i个凸缺陷点在最大外轮廓O₁中的结束点索引，ID_i ^F表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点索引，D_i表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点与最大外轮廓O₁的像素距离；

分别计算凸包的集合{A_i}中任意两个凸包之间的像素距离d₁，根据像素距离d₁进行凸包间距检验，当像素距离d₁小于预设第一阈值时，计算两个凸包之间的中心点，将中心点代替两个凸包作为新的凸包并形成集合{F_i}；其中集合{F_i}中还包括像素距离d₁大于第一预设阈值的凸包；

设置第二阈值，随机选取凸缺陷点集合{B_i}中一个凸缺陷点作为起始点，从起始点开始遍历，直至凸缺陷点集合{B_i}中的全部凸缺陷点均被遍历，将凸缺陷点集合{B_i}中凸缺陷点到最大外轮廓O₁的像素距离小于第二阈值的凸缺陷点进行删除，得到集合{C_i}；

依次计算集合{C_i}中相邻两个凸缺陷点之间的像素距离d₂，当像素距离d₂小于预设第一阈值时，计算两个凸缺陷点之间的中心点，将中心点代替两个凸缺陷点作为新的凸缺陷点并形成形成集合{P_i}；其中集合{P_i}中还包括像素距离d₂大于第一预设阈值的凸缺陷点；

根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点。

在以上技术方案的基础上，优选的，所述根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点，具体包括：

步骤a、构建集合{P_i}中任意凸缺陷点对应的结构体，所述结构体包括点ID和点校验命中次数count；

步骤b、设置第三阈值，依次计算集合{P_i}中任意两个凸缺陷点之间的间距d₃，如果间距d₃小于第三阈值，则将点校验命中次数count加1；

步骤c、将点校验命中次数count按照从小到大的顺序进行排列，形成label序列；

步骤d、若label[0]的count数值与集合{P_i}的个数不同，则删除label[0]中ID对应的凸缺陷点；

步骤e、重复步骤b-d，直至步骤d中label[0]中count数值与集合{P_i}的个数相同；

步骤f、计算集合{F_i}中凸包与对应集合{P_i}中凸缺陷点之间的像素距离d₄，若像素距离d₄小于第二阈值，则删除集合{P_i}中的凸缺陷点；

步骤g、按照顺时针方向，从集合{P_i}中第二个凸缺陷点开始，依次将当前凸缺陷点、上一个凸缺陷点和下一个凸缺陷点组成三角形，并计算当前凸缺陷点与相邻两个凸缺陷点之间的夹角θ，设置第四阈值和第五阈值，若θ小于第四阈值或大于第五阈值，则删除当前凸缺陷点；

步骤h、按照步骤g，遍历验证集合{P_i}中所有凸缺陷点，得到校验后的凸缺陷点。

在以上技术方案的基础上，优选的，所述根据校验后的凸缺陷点确定图像中标定杆的十字中心点，具体包括：

将所有校验后的凸缺陷点进行排序，形成凸缺陷点序列；

分别计算凸缺陷点序列中任意两个凸缺陷点的宽度差，并将宽度差的平均值作为十字中心点的X坐标；

分别计算两个凸缺陷点在垂直方向上的距离差，将垂直方向上的距离差作为十字中心点的Y坐标。

更进一步优选的，所述着生藻类监测指标包括着生藻类覆盖度变化率指标、着生藻类生长高度变化率指标和着生藻类生物量变化率指标，步骤S5具体包括：根据着生藻类覆盖度指标和着生藻类生长高度指标计算着生藻类的体积以及着生藻类的生物量指标；

通过当前时刻的着生藻类覆盖度指标和上一时刻着生藻类覆盖度指标确定着生藻类覆盖度变化率指标；

通过当前时刻的着生藻类生长高度和上一时刻着生藻类生长高度确定着生藻类生长高度变化率指标；

根据当前时刻的着生藻类生物量指标和上一时刻着生藻类生物量指标确定着生藻类生物量变化率指标。

第二方面，本发明提供了一种基于双目图像的着生藻类监测系统，采用如上述所述的着生藻类监测方法，包括：

语义分割模块，其配置为采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集，采用数据集训练基于深度学习的着生藻类语义分割模型；

重建模块，其配置为采集双目序列图像数据，并对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像；

着生藻类覆盖度检测模块，其配置为使用训练好的着生藻类语义分割模型对重建后的双目图像进行着生藻类覆盖度检测；

着生藻类生长高度检测模块，其配置为利用双目图像匹配技术获得三维数据，在着生藻类覆盖区域进行着生藻类生长高度检测；

着生藻类监测模块，其配置为根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。

本发明的着生藻类监测方法相对于现有技术具有以下有益效果：

（1）着生藻类监测指标全部通过水下双目相机来完成，只需保证水下双目相机完全在水平面以下即可，不受天气和水浪的影响；

（2）为了解决水下双目相机拍摄的画面中存在悬浮物、鱼类、泥沙等问题，通过RPCA算法，从多帧双目图像数据中计算了它的低秩矩阵,并重建了不包含悬浮物、鱼类和泥沙等干扰的单张双目图像数据，为后面分析着生藻类覆盖度指标和生长高度指标提供了稳定的图像来源，极大地提高了着生藻类监测指标的稳定性；

（3）相比水上相机通过RGB颜色分量变化方式来计算着生藻类的覆盖度指标，基于水下双目相机的着生藻类语义分割模型能够获得更加精确和稳定的着生藻类覆盖度指标；

（4）通过水下双目图像能够较精确地计算出水下双目相机视角下着生藻类覆盖区域内的平均生长高度，并结合标定杆计算出着生藻类的相对生长高度，根据着生藻类覆盖区域内的平均生长高度和着生藻类的相对生长高度获得更加精确和稳定的着生藻类生长高度指标，提高了着生藻类监测指标的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的着生藻类监测方法的流程图；

图2为本发明的着生藻类监测方法的着生藻类语义分割模型训练的流程框图；

图3为本发明的着生藻类监测方法的水下双目相机的双目图像处理方法流程框图；

图4为本发明的着生藻类监测方法的双目序列图像的重建流程框图；

图5为本发明的着生藻类监测方法的预处理流程框框图；

图6为本发明的着生藻类监测方法的低秩矩阵计算流程框图；

图7为本发明的着生藻类监测方法的根据低秩矩阵重建水下双目图像流程框图；

图8为本发明的着生藻类监测方法的着生藻类生长高度检测流程框图；

图9为本发明的着生藻类监测方法的着生藻类相对高度流程框图；

图10为本发明的着生藻类监测方法的预处理和边缘检测流程框图；

图11为本发明的着生藻类监测方法的特征点校验流程框图；

图12为本发明的着生藻类监测方法的标定杆十字中心点示意图；

图13为本发明的着生藻类监测方法的标定杆十字中心点计算流程框图；

图14为本发明的着生藻类监测方法的水下标定杆示意图；

图15为本发明的着生藻类监测方法的着生藻类监测指标计算流程框图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明公开了一种基于双目图像的着生藻类监测方法，包括以下步骤：

S1、采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集。

通过采用水下双目相机对着生藻类进行拍摄，使着生藻类监测不受天气因素的干扰，如下雨、有雾天气等原因造成的拍摄不清以及水浪造成的影响等。

S2、采用数据集训练基于深度学习的着生藻类语义分割模型。

如图2所示，可以理解的，数据集包括训练集和测试集，使用训练集基于深度学习网络训练着生藻类语义分割模型，并使用测试集对着生藻类语义分割模型进行测试，当训练的着生藻类语义分割模型效果满足要求时，则得到训练好的着生藻类语义分割模型，通过训练集和测试集提高着生藻类语义模型对着生藻类图像识别的准确性，实现水下着生藻类自动化检测，减少人工检测误差，快速获取着生藻类的监测结果。

S3、采集双目序列图像数据，对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像I_str。

如图3和图4所示，图3为水下双目相机的双目图像处理方法流程框图，图4为双目序列图像的重建流程框图，进一步的，步骤S3包括：

S31、使用水下双目相机同时采集不同姿态的多帧标定板图像数据并进行标定，获取水下双目相机的内外参数；

S32、根据水下双目相机的内参数分别对水下双目相机采集的双目图像数据进行畸变矫正处理和极线对齐处理，并进行左右拼接形成双目序列图像；

S33、对双目序列图像进行预处理，并计算预处理后双目序列图像的低秩矩阵；

S34、通过双目序列图像的低秩矩阵重建双目图像数据，得到重建后的双目图像I_str。

可以理解的，重建后的双目图像不含悬浮物、鱼类和泥沙等干扰信息。

通过水下双目相机获取着生藻类的双目序列图像，保证水下双目相机能够实时获取着生藻类的图像，不受天气和水浪的影响，通过对水下双目相机进行标定、畸变矫正和极线对齐处理，消除相机镜头畸变和图像对齐问题，从而提高双目图像的质量和准确性，并对单张双目图像进行预处理，例如去噪、增强和配准等操作，提高图像的质量和清晰度；通过计算双目序列图像的低秩矩阵并进行图像重建，排除环境干扰因素如悬浮物、鱼类和泥沙等以生成无干扰因素的图像，以便更好地观察和分析着生藻类的分布和生长情况。

在本申请一实施例中，水下双目相机每分钟同步采集2张图像，即左右相机分别采集2张图像，持续采集30分钟，合计左相机采集60张水下着生藻类图像，右相机采集60张水下着生藻类图像，对每次同步采集的左右相机图像数据分别进行畸变矫正处理，并按照左右顺序拼接成一副完整的图像Img；

将所有同步采集的左右相机图像数据进行矫正处理并拼接后得到双目序列图像矫正后的图像序列ImgList；

对图像序列ImgList中的图像进行预处理，并计算低秩矩阵LAhat、UAhat和VAhat；

通过低秩矩阵LAhat、UAhat和VAhat重建水下双目图像，得到重建后的双目图像I_str。

如图5所示，进一步的，预处理具体包括：

对图像序列ImgList中的图像进行缩放处理，得到缩放后的双目图像；

对缩放后的双目图像进行中值滤波处理，并进行清晰度增强操作，如使用USM算法进行增强；

将清晰度增强后的双目图像进行颜色空间转换，得到预处理后的双目图像；

对图像序列ImgList中的所有图像进行以上预处理操作，得到预处理后的双目图像序列Imgstereo。

可以理解的，由于图像序列ImgList中的图像是左右拼接方式，高为height，宽为width，因此在进行缩放处理时需要分别计算高度方向和宽度方向的缩放倍率，如高方向缩放倍率为Sh=height/512，宽方向缩放倍率为Sw=width/(2*512)，图像缩放倍率为S=max(Sh,Sw)，若图像缩放后区域不足则使用像素（114，114，114）进行填充。

优选的，在进行颜色空间转换时可以将清晰度增强后的双目图像从RGB颜色空间转换到LUV颜色空间，以便更好的识别出图像中着生藻类的生长情况。

通过对图像序列ImgList进行缩放处理使图像的尺寸适应特定的需求，减少数据存储的同时提高图像的质量和适用性；通过中值滤波处理有效地去除图像中的椒盐噪声等噪声干扰，提高图像的清晰度和质量，并利用清晰度增强操作突出图像中的细节和边缘，使图像更加清晰。

如图6所示，在本申请一实施例中，所述计算低秩矩阵LAhat、UAhat和VAhat，具体包括：

分别构造三个单通道的图像序列，包括

将预处理后的双目图像序列Imgstereo进行通道分离，并分别存入单通道的图像序列，得到LList、UList和VList；

分别计算LList、UList和VList的低秩矩阵，得到低秩矩阵LAhat、UAhat和VAhat。

优选的，通过RPCA算法（Robust Principal Component Analysis）来计算图像序列的低秩矩阵，利用IALM（Inexact ALM非精确拉格朗日乘子法）算法对其求解，得到低秩矩阵LAhat、UAhat和VAhat。

如图7所示，在本申请的进一步实施例中，所述通过低秩矩阵LAhat、UAhat和VAhat重建水下双目图像，具体包括：

计算低秩矩阵LAhat的均值，得到单通道图像LMAhat；

计算低秩矩阵UAhat的均值，得到单通道图像UMAhat；

计算低秩矩阵VAhat的均值，得到单通道图像VMAhat；

将LMAhat、UMAhat和VMAhat这三个单通道图像合并成一个3通道的图像，得到合成图像；

将合成图像的颜色空间转换到RGB色彩空间，得到重建后的双目图像I_str。

通过计算低秩矩阵的均值得到单通道图像LMAhat、UMAhat和VMAhat，有效地降低图像中的噪声和干扰，改善图像的质量和清晰度，将LMAhat、UMAhat和VMAhat这三个单通道图像合并成一个3通道的图像，然后将其转换到RGB色彩空间，对水下双目图像进行重建，使重建后的双目图像I_str不包含悬浮物、鱼类和泥沙等干扰因素，提高重建后双目图像的视觉效果，便于及时了解水下着生藻类的生长情况。

S4、使用训练好的着生藻类语义分割模型在重建后的双目图像I_str上进行着生藻类覆盖度检测和着生藻类生长高度检测。

在本申请一实施例中，所述着生藻类覆盖度检测具体包括：

将重建后的双目图像I_str切分为左视图I_str ^l和右视图I_str ^r；

将左视图I_str ^l输入至训练好的着生藻类语义分割模型，检测出左视图I_str ^l的着生藻类分布区域，得到单通道的BMask图像；

在左视图I_str ^l上采用多边形划线方式选定着生藻类的监控区域，并统计监控区域内着生藻类的像素面积；

根据监控区域的像素面积和监控区域内检测的着生藻类的像素面积，得到着生藻类的覆盖度指标。

可以理解的，单通道的BMask图像中像素值为255的区域为检测的着生藻类区域，其他区域的像素值为0。

通过将左视图输入训练好的着生藻类语义分割模型自动检测出着生藻类的分布区域，并采用着生藻类语义分割模型对重建后的双目图像I_str进行检测，提高了着生藻类区域检测的准确性，利用多边形划线方式选定着生藻类的监控区域，并统计监控区域内检测的着生藻类的像素面积实现对着生藻类的实时监测，及时获取观测范围内着生藻类的覆盖度信息，通过统计监控区域内着生藻类的像素面积将着生藻类的覆盖度量化为指标，为着生藻类生长情况的评估和分析提供了量化的数据支持。

具体的，着生藻类区域的覆盖度指标=监控区域内检测的着生藻类的像素面积/监控区域的像素面积。

如图8所示，在本申请一实施例中，所述着生藻类生长高度检测具体包括：

根据左视图I_str ^l和右视图I_str ^r进行双目图像匹配操作，计算视差图像I_d；

对视差图像I_d进行加权最小二乘滤波，得到稠密的视差图像I_d ^W；

基于稠密的视差图像I_d ^W结合水下双目相机中左相机的标定参数，计算稠密三维点云数据I_D ^l；

对稠密三维点云数据I_D ^l中点云数据进行滤波处理，设置Z方向阈值，并删除稠密三维点云数据I_D ^l中Z坐标小于0和大于Z方向阈值的点云数据；

以单通道的BMask图像为掩膜统计稠密三维点云数据I_D ^l中Z坐标平均值，所述Z坐标平均值为相机视角着生藻类的高度；

计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度；

根据相机视角着生藻类的高度和着生藻类的相对高度得到着生藻类的生长高度指标。

通过双目图像匹配操作和计算视差图像，结合加权最小二乘滤波和稠密三维点云数据的计算，实现对着生藻类的高度进行精准的测量，从而获取准确的生长高度指标；基于稠密的视差图像和三维点云数据的计算获取着生藻类的三维信息，包括其在空间中的位置和高度，便于及时了解着生藻类的生长状态和分布情况；结合左视图中标定杆的位置和着生藻类的相对高度，准确地计算出着生藻类的实际生长高度。

优选的，采用SGBM（semi-global block matching）算法计算视差图像I_d。

可以理解的，将相机视角着生藻类的高度与着生藻类的相对高度相加可以得到着生藻类生长高度指标。

如图9所示，在本申请一实施例中，所述计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度，具体包括：

在左视图I_str ^l中框选标定杆的检测区域R_e，从左视图I_str ^l中截取检测区域R_e的图像，对图像/>进行预处理和边缘检测，得到边缘图像I_edge；

对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点；

根据校验后的凸缺陷点确定图像中标定杆的十字中心点，并根据标定杆的十字中心点得到着生藻类的相对高度。

通过重建后的双目图像I_str精确地计算出水下双目相机视角下着生藻类覆盖区域内的平均生长高度，并结合标定杆计算出着生藻类的相对生长高度，根据着生藻类覆盖区域内的平均生长高度和着生藻类的相对生长高度获得更加精确和稳定的着生藻类生长高度指标，提高了着生藻类监测指标的稳定性。

如图10所示，在本申请一实施例中，所述对图像进行预处理和边缘检测，具体包括：

将图像按照预设尺寸进行缩放处理并转换成灰度图像，得到图像I_gray；

对图像I_gray进行中值滤波去噪，并采用CLAHE算法进行对比度拉伸操作，得到拉伸后的图像；

使用高斯模糊算法对拉伸后的图像进行处理，得到图像I_re ^E；

在图像I_re ^E上计算OTSU阈值，并根据OTSU阈值以及预设的第一阈值系数和第二阈值系数进行计算，得到高低阈值；

使用Canny边缘检测方法从图像I_re ^E中提取出标定杆的边缘特征，并进行形态学膨胀操作，得到边缘图像I_edge。

通过预处理步骤中的缩放、灰度转换、中值滤波、对比度拉伸和高斯模糊等操作，有效去除图像中的噪声和干扰，改善图像的质量；采用CLAHE算法进行对比度拉伸操作，增强图像的对比度，使得图像中的细节更加清晰；根据OTSU阈值以及预设的第一阈值系数和第二阈值系数计算高低阈值，使得阈值的计算更加自适应，适用于不同类型的图像和环境；通过计算OTSU阈值和使用Canny边缘检测方法，有效地从图像I_re ^E中提取出标定杆的边缘特征，结合形态学膨胀操作，连接断开的边缘，增强标定杆轮廓的完整性，提高边缘检测的准确性和稳定性。

如图11所示，在本申请一实施例中，所述对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点，具体包括：

计算边缘图像I_edge的所有外轮廓{O_i}，并找到最大外轮廓O₁；

对最大外轮廓O₁进行凸包检测，得到凸包的集合{A_i}；

根据凸包的集合{A_i}对最大外轮廓O₁进行凸缺陷检测，得到凸缺陷点集合{B_i|B_i=ID_i ^S，ID_i ^E，ID_i ^F，D_i}，其中ID_i ^S表示第i个凸缺陷点在最大外轮廓O₁中的起始点索引，ID_i ^E表示第i个凸缺陷点在最大外轮廓O₁中的结束点索引，ID_i ^F表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点索引，D_i表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点与最大外轮廓O₁的像素距离；

分别计算凸包的集合{A_i}中任意两个凸包之间的像素距离d₁，根据像素距离d₁进行凸包间距检验，当像素距离d₁小于预设第一阈值时，计算两个凸包之间的中心点，将中心点代替两个凸包作为新的凸包并形成集合{F_i}；其中集合{F_i}中还包括像素距离d₁大于第一预设阈值的凸包；

设置第二阈值，随机选取凸缺陷点集合{B_i}中一个凸缺陷点作为起始点，从起始点开始遍历，直至凸缺陷点集合{B_i}中的全部凸缺陷点均被遍历，将凸缺陷点集合{B_i}中凸缺陷点到最大外轮廓O₁的像素距离小于第二阈值的凸缺陷点进行删除，得到集合{C_i}；

依次计算集合{C_i}中相邻两个凸缺陷点之间的像素距离d₂，当像素距离d₂小于预设第一阈值时，计算两个凸缺陷点之间的中心点，将中心点代替两个凸缺陷点作为新的凸缺陷点并形成形成集合{P_i}；其中集合{P_i}中还包括像素距离d₂大于第一预设阈值的凸缺陷点；

根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点。

通过计算外轮廓、最大外轮廓的凸包检测和凸缺陷检测，准确地获取边缘图像中的凸缺陷点集合{B_i}，设置预设第一阈值和第二阈值，对凸缺陷点集合{B_i}进行凸包间距检验和凸缺陷点进行筛选，去除一些不必要的凸缺陷点，减少凸缺陷点数据量并提高了凸缺陷点的质量，同时，通过计算凸缺陷点之间的像素距离，提高凸缺陷点的稳定性和鲁棒性，使得凸缺陷点集合{B_i}中凸缺陷点的提取更加可靠，不易受到图像噪声和变化的影响。

在本申请一实施例中，所述根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点，具体包括：

步骤a、构建集合{P_i}中任意凸缺陷点对应的结构体，所述结构体包括点ID和点校验命中次数count；

步骤b、设置第三阈值，依次计算集合{P_i}中任意两个凸缺陷点之间的间距d₃，如果间距d₃小于第三阈值，则将点校验命中次数count加1；

步骤c、将点校验命中次数count按照从小到大的顺序进行排列，形成label序列；

步骤d、若label[0]的count数值与集合{P_i}的个数不同，则删除label[0]中ID对应的凸缺陷点；

步骤e、重复步骤b-d，直至步骤d中label[0]中count数值与集合{P_i}的个数相同；

步骤f、计算集合{F_i}中凸包与对应集合{P_i}中凸缺陷点之间的像素距离d₄，若像素距离d₄小于第二阈值，则删除集合{P_i}中的凸缺陷点；

步骤g、按照顺时针方向，依次从集合{P_i}中第二个凸缺陷点开始，将当前凸缺陷点、上一个凸缺陷点和下一个凸缺陷点组成三角形，并计算当前凸缺陷点与相邻两个凸缺陷点之间的夹角θ，设置第四阈值和第五阈值，若θ小于第四阈值或大于第五阈值，则删除当前凸缺陷点；

步骤h、按照步骤g，遍历验证集合{P_i}中所有凸缺陷点，得到校验后的凸缺陷点。

可以理解的，label[0]是label序列的第一个元素，根据实际使用需求设置第四阈值和第五阈值，如当夹角θ大于设置的第四阈值80度，并且小于设置的第五阈值110度，那么认为当前凸缺陷点是有效的，依次对集合{P_i}中所有的凸缺陷点进行校验，删除不满足要求的凸缺陷点，其中第四阈值和第五阈值可以根据实际使用需求进行设置，本申请并不对此进行具体限制。

通过构建集合{P_i}中任意凸缺陷点对应的结构体，并按照特定的校验规则对凸缺陷点进行筛选和排列，删除了错误的凸缺陷点，并确保最终得到的凸缺陷点集合具有较高的质量和可靠性；通过设置第三阈值，对集合{P_i}中任意两个凸缺陷点之间的间距进行计算和校验，排除一些不必要的凸缺陷点，从而降低凸缺陷点的误检率，使得最终得到的凸缺陷点更加精确和可靠；通过对集合{P_i}中的凸缺陷点进行像素距离和夹角的校验，提高凸缺陷点的鲁棒性，使得最终得到的凸缺陷点对图像变化和噪声具有一定的抵抗能力；通过多次筛选和校验，可以有效地对凸缺陷点进行细致的校验和修正，从而得到更加可靠和准确的凸缺陷点。

在本申请一实施例中，所述根据校验后的凸缺陷点确定图像中标定杆的十字中心点，具体包括：

将所有校验后的凸缺陷点进行排序，形成凸缺陷点序列；

分别计算凸缺陷点序列中任意两个凸缺陷点的宽度差，并将宽度差的平均值作为十字中心点的X坐标；

分别计算两个凸缺陷点在垂直方向上的距离差，将垂直方向上的距离差作为十字中心点的Y坐标。

通过计算凸缺陷点的宽度差和垂直方向上的距离差，精确确定图像中标定杆的十字中心点的坐标；通过计算和排序凸缺陷点对图像中标定杆位置的自动化处理，减少人工干预，提高对十字中心点坐标的准确性和可靠性，确保了标定杆位置的精准度和稳定性。

具体的，如图12和13所示，图中A（A1~A8）表示凸包，B（B1~B4）表示凸缺陷点，对所有凸缺陷点进行排序，B1表示为左上角凸缺陷点；B2表示为右上角凸缺陷点；B3表示为左下角凸缺陷点；B4表示为右下角凸缺陷点。

1）如果找到4个凸缺陷点，那么直接计算B1与B4线段和B2与B3线段的交点，该交点即为标定杆十字中心点。

2）如果找到任意3个凸缺陷点，以B3、B1和B2为例进行说明标定杆十字中心点的过程：

将B2和B3组成线段，计算B1在该线段上的投影点，该点即为标定杆十字中心点。

3）如果找到2个对角线的凸缺陷点，例如：B1和B4或B2和B3，以B1和B4为例进行说明，Ptb1表示B1的点坐标，Ptb4表示B4的点坐标：

计算X方向上B1与B4的距离w=Ptb4.x-Ptb1.x；

计算Y方向上B1与B4的距离h=Ptb4.y-Ptb1.y；

估算的标定杆十字中心点坐标为（Ptb1.x+w/2,Ptb1.y+h/2)。

4）如果找到2个平行的凸缺陷点，例如：B1和B2、B3和B4、B1和B3或B2和B4，以B1和B3为例进行说明，Ptb1表示B1的点坐标，Ptb3表示B3的点坐标：

将B1和B3组成垂直线段，先计算h=Ptb3.y-Ptb1.y，然后由Ptb1.y+h/2可以快速估算出标定杆十字中心点Y坐标数值；

优选的，设置Y方向阈值为5，分别从凸包中找出与B1 Y方向的偏差小于阈值的点（A3和A4）和B3 Y方向的偏差小于阈值的点(A5和A6)；

分别计算A3与B1和B1与A4的像素距离Distb1a3和Distb1a4，Distb1a4减去Distb1a3得到B1 X方向的宽度wb1。

同理计算B3 X方向的宽度wb3，标定杆十字中心点X坐标数值为（wb1+wb3)/4。

5）如果仅找到1个凸缺陷点，以B1为例进行说明，Ptb1表示B1的点坐标：

设置Y方向阈值5，分别从凸点中找出与B1 Y方向的偏差小于阈值的点A3和A4；

分别计算A3与B1和B1与A4的像素距离Dista3b1和Distb1a4，Distb1a4减去Dista3b1得到B1 X方向的宽度wb1。标定杆理论上是用同等规格的型材制成，因此，其高度也可粗略估算为wb1，这样标定杆十字中心点的坐标可估算为（Ptb1.x+wb1/2,Ptb1.y+wb1/2）。

如图14所示，图14是水下标定杆的示意图，进一步的，根据标定杆的十字中心点得到着生藻类的相对高度，具体包括：

从稠密三维点云数据I_D ^l中找出标定杆十字中心点的Z轴坐标，得到着生藻类覆盖面到标定杆的高度，记作b；

将标定杆到水底的高度记作a，将a减去b得到着生藻类的相对高度，记作c。

可以理解的，通过计算标定杆的十字中心点，可以得到着生藻类相对水底的覆盖高度，标定杆中心点到水底的高度a是加工时进行了精确测量的，是已知的。

S5、根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。

如图15所示，具体的，所述着生藻类监测指标包括着生藻类覆盖度变化率指标、着生藻类生长高度变化率指标和着生藻类生物量变化率指标，步骤S5具体包括：根据着生藻类覆盖度指标和着生藻类生长高度指标计算着生藻类的体积以及着生藻类的生物量指标；

通过当前时刻的着生藻类覆盖度指标和上一时刻着生藻类覆盖度指标确定着生藻类覆盖度变化率指标；

通过当前时刻的着生藻类生长高度和上一时刻着生藻类生长高度确定着生藻类生长高度变化率指标；

根据当前时刻的着生藻类生物量指标和上一时刻着生藻类生物量指标确定着生藻类生物量变化率指标。

其中，根据“10⁹um³≈1mg鲜藻重的换算关系”把着生藻类的体积换算成生物量（mg/L,湿重）。

通过引入着生藻类覆盖度变化率指标、生长高度变化率指标和生物量变化率指标，对着生藻类的生长状态进行定量化分析，不仅能够反映着生藻类的覆盖情况，还能够对其生长高度和生物量进行综合评估；通过对着生藻类覆盖度、生长高度和生物量的变化率进行监测，及时发现着生藻类生态环境中的变化，分析出着生藻类的生长演变趋势。

本发明还公开了一种基于双目图像的着生藻类监测系统，采用如上述所述的着生藻类监测方法，包括：

语义分割模块，其配置为采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集，采用数据集训练基于深度学习的着生藻类语义分割模型；

重建模块，其配置为采集双目序列图像数据，并对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像；

着生藻类覆盖度检测模块，其配置为使用训练好的着生藻类语义分割模型对重建后的双目图像进行着生藻类覆盖度检测；

着生藻类生长高度检测模块，其配置为利用双目图像匹配技术获得三维数据，在着生藻类覆盖区域进行着生藻类生长高度检测；

着生藻类监测模块，其配置为根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于双目图像的着生藻类监测方法，其特征在于，包括以下步骤：

S1、采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集；

S2、采用数据集训练基于深度学习的着生藻类语义分割模型；

S3、采集双目序列图像数据，对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像I_str；

S4、使用训练好的着生藻类语义分割模型在重建后的双目图像I_str上进行着生藻类覆盖度检测和着生藻类生长高度检测；

S5、根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标；

步骤S3包括：

S31、使用水下双目相机同时采集不同姿态的多帧标定板图像数据并进行标定，获取水下双目相机的内外参数；

S32、根据水下双目相机的内参数分别对水下双目相机采集的双目图像数据进行畸变矫正处理和极线对齐处理，并进行左右拼接形成双目序列图像；

S33、对双目序列图像进行预处理，并计算预处理后双目序列图像的低秩矩阵；

S34、通过双目序列图像的低秩矩阵重建双目图像数据，得到重建后的双目图像I_str；

其中，左右拼接形成双目序列图像矫正后的图像序列ImgList，预处理具体包括：

对图像序列ImgList中的图像进行缩放处理，得到缩放后的双目图像；

对缩放后的双目图像进行中值滤波处理，并进行清晰度增强操作；

将清晰度增强后的双目图像进行颜色空间转换，得到预处理后的双目图像；

对图像序列ImgList中的所有图像进行以上预处理操作，得到预处理后的双目图像序列Imgstereo；

其中，计算预处理后双目序列图像的低秩矩阵包括计算低秩矩阵LAhat、UAhat和VAhat，具体包括：

分别构造三个单通道的图像序列，包括

将预处理后的双目图像序列Imgstereo进行通道分离，并分别存入单通道的图像序列，得到LList、UList和VList；

分别计算LList、UList和VList的低秩矩阵，得到低秩矩阵LAhat、UAhat和VAhat；

所述着生藻类覆盖度检测具体包括：

将重建后的双目图像I_str切分为左视图I_str ^l和右视图I_str ^r；

将左视图I_str ^l输入至训练好的着生藻类语义分割模型，检测出左视图I_str ^l的着生藻类分布区域，得到单通道的BMask图像；

在左视图I_str ^l上采用多边形划线方式选定着生藻类的监控区域，并统计监控区域内着生藻类的像素面积；

根据监控区域的像素面积和监控区域内检测的着生藻类的像素面积，得到着生藻类的覆盖度指标；

所述着生藻类生长高度检测具体包括：

根据左视图I_str ^l和右视图I_str ^r进行双目图像匹配操作，计算视差图像I_d；

对视差图像I_d进行加权最小二乘滤波，得到稠密的视差图像I_d ^W；

基于稠密的视差图像I_d ^W结合水下双目相机中左相机的标定参数，计算稠密三维点云数据I_D ^l；

对稠密三维点云数据I_D ^l中点云数据进行滤波处理，设置Z方向阈值，并删除稠密三维点云数据I_D ^l中Z坐标小于0和大于Z方向阈值的点云数据；

以单通道的BMask图像为掩膜统计稠密三维点云数据I_D ^l中Z坐标平均值，所述Z坐标平均值为相机视角着生藻类的高度；

计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度；

根据相机视角着生藻类的高度和着生藻类的相对高度得到着生藻类的生长高度指标。

2.如权利要求1所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述计算左视图I_str ^l中标定杆的位置，根据左视图I_str ^l中标定杆的位置和左相机视角着生藻类的高度得到着生藻类的相对高度，具体包括：

在左视图I_str ^l中框选标定杆的检测区域R_e，从左视图I_str ^l中截取检测区域R_e的图像，对图像/>进行预处理和边缘检测，得到边缘图像I_edge；

对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点；

根据校验后的凸缺陷点确定图像中标定杆的十字中心点，并根据标定杆的十字中心点得到着生藻类的相对高度。

3.如权利要求2所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述根据校验后的凸缺陷点确定图像中标定杆的十字中心点，具体包括：

将所有校验后的凸缺陷点进行排序，形成凸缺陷点序列；

分别计算凸缺陷点序列中任意两个凸缺陷点的宽度差，并将宽度差的平均值作为十字中心点的X坐标；

分别计算两个凸缺陷点在垂直方向上的距离差，将垂直方向上的距离差作为十字中心点的Y坐标。

4.如权利要求3所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述对边缘图像I_edge进行特征点检测和特征点校验得到校验后的凸缺陷点，具体包括：

计算边缘图像I_edge的所有外轮廓{O_i}，并找到最大外轮廓O₁；

对最大外轮廓O₁进行凸包检测，得到凸包的集合{A_i}；

根据凸包的集合{A_i}对最大外轮廓O₁进行凸缺陷检测，得到凸缺陷点集合{B_i|B_i=ID_i ^S，ID_i ^E，ID_i ^F，D_i}，其中ID_i ^S表示第i个凸缺陷点在最大外轮廓O₁中的起始点索引，ID_i ^E表示第i个凸缺陷点在最大外轮廓O₁中的结束点索引，ID_i ^F表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点索引，D_i表示第i个凸缺陷点在最大外轮廓O₁中距离凸包最远点与最大外轮廓O₁的像素距离；

分别计算凸包的集合{A_i}中任意两个凸包之间的像素距离d₁，根据像素距离d₁进行凸包间距检验，当像素距离d₁小于预设第一阈值时，计算两个凸包之间的中心点，将中心点代替两个凸包作为新的凸包并形成集合{F_i}；其中集合{F_i}中还包括像素距离d₁大于第一预设阈值的凸包；

设置第二阈值，随机选取凸缺陷点集合{B_i}中一个凸缺陷点作为起始点，从起始点开始遍历，直至凸缺陷点集合{B_i}中的全部凸缺陷点均被遍历，将凸缺陷点集合{B_i}中凸缺陷点到最大外轮廓O₁的像素距离小于第二阈值的凸缺陷点进行删除，得到集合{C_i}；

依次计算集合{C_i}中相邻两个凸缺陷点之间的像素距离d₂，当像素距离d₂小于预设第一阈值时，计算两个凸缺陷点之间的中心点，将中心点代替两个凸缺陷点作为新的凸缺陷点并形成形成集合{P_i}；其中集合{P_i}中还包括像素距离d₂大于第一预设阈值的凸缺陷点；

根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点。

5.如权利要求4所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述根据集合{F_i}和集合{P_i}进行特征点校验得到校验后的凸缺陷点，具体包括：

步骤a、构建集合{P_i}中任意凸缺陷点对应的结构体，所述结构体包括点ID和点校验命中次数count；

步骤b、设置第三阈值，依次计算集合{P_i}中任意两个凸缺陷点之间的间距d₃，如果间距d₃小于第三阈值，则将点校验命中次数count加1；

步骤c、将点校验命中次数count按照从小到大的顺序进行排列，形成label序列；

步骤d、若label[0]的count数值与集合{P_i}的个数不同，则删除label[0]中ID对应的凸缺陷点；

步骤e、重复步骤b-d，直至步骤d中label[0]中count数值与集合{P_i}的个数相同；

步骤f、计算集合{F_i}中凸包与对应集合{P_i}中凸缺陷点之间的像素距离d₄，若像素距离d₄小于第二阈值，则删除集合{P_i}中的凸缺陷点；

步骤g、按照顺时针方向，从集合{P_i}中第二个凸缺陷点开始，依次将当前凸缺陷点、上一个凸缺陷点和下一个凸缺陷点组成三角形，并计算当前凸缺陷点与相邻两个凸缺陷点之间的夹角θ，设置第四阈值和第五阈值，若θ小于第四阈值或大于第五阈值，则删除当前凸缺陷点；

步骤h、按照步骤g，遍历验证集合{P_i}中所有凸缺陷点，得到校验后的凸缺陷点。

6.如权利要求2所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述对图像进行预处理和边缘检测，具体包括：

将图像按照预设尺寸进行缩放处理并转换成灰度图像，得到图像I_gray；

对图像I_gray进行中值滤波去噪，并采用CLAHE算法进行对比度拉伸操作，得到拉伸后的图像；

使用高斯模糊算法对拉伸后的图像进行处理，得到图像I_re ^E；

在图像I_re ^E上计算OTSU阈值，并根据OTSU阈值以及预设的第一阈值系数和第二阈值系数进行计算，得到高低阈值；

使用Canny边缘检测方法从图像I_re ^E中提取出标定杆的边缘特征，并进行形态学膨胀操作，得到边缘图像I_edge。

7.如权利要求1所述的一种基于双目图像的着生藻类监测方法，其特征在于，所述着生藻类监测指标包括着生藻类覆盖度变化率指标、着生藻类生长高度变化率指标和着生藻类生物量变化率指标，步骤S5具体包括：根据着生藻类覆盖度指标和着生藻类生长高度指标计算着生藻类的体积以及着生藻类的生物量指标；

通过当前时刻的着生藻类覆盖度指标和上一时刻着生藻类覆盖度指标确定着生藻类覆盖度变化率指标；

通过当前时刻的着生藻类生长高度和上一时刻着生藻类生长高度确定着生藻类生长高度变化率指标；

根据当前时刻的着生藻类生物量指标和上一时刻着生藻类生物量指标确定着生藻类生物量变化率指标。

8.一种基于双目图像的着生藻类监测系统，其特征在于，采用如权利要求1-7任一项所述的着生藻类监测方法，包括：

语义分割模块，其配置为采集水下双目相机拍摄的着生藻类图像数据并进行mask标注，建立数据集，采用数据集训练基于深度学习的着生藻类语义分割模型；

重建模块，其配置为采集双目序列图像数据，对双目序列图像数据进行矫正处理并重建双目图像数据，得到重建后的双目图像；

着生藻类覆盖度检测模块，其配置为使用训练好的着生藻类语义分割模型对重建后的双目图像进行着生藻类覆盖度检测；

着生藻类生长高度检测模块，其配置为利用双目图像匹配技术获得三维数据，在着生藻类覆盖区域进行着生藻类生长高度检测；

着生藻类监测模块，其配置为根据着生藻类覆盖度和着生藻类的生长高度计算着生藻类监测指标。