CN111640152A - 一种鱼类生长监控方法和系统 - Google Patents

Abstract

本发明涉及一种鱼类生长监控方法和系统，属于鱼类养殖技术领域。包括：1)利用摄像头采集含有目标鱼的二维图像，并检测出目标鱼在摄像头中的位置，完成鱼类目检测，获得鱼类目标框；3)对目标框进行边缘提取和连通区域求解，获取目标框内鱼所有像素的集合U，集合U内所有像素{x_i，y_i}都是构成鱼的像素点；4)对集合U内每个像素进行视差匹配，获取其视差值，并进行优化处理；5)利用摄像头参数及其成像原理，根据每个像素点优化后的视差值算出鱼到摄像头的距离；6)根据所述目标鱼图像中鱼的长度及步骤5)中算出的鱼到摄像头的距离求解出鱼的真实长度，实现鱼类生长监控。

Description

一种鱼类生长监控方法和系统

技术领域

本发明涉及鱼类养殖技术领域，具体地说，涉及一种鱼类生长监控方法和系统。

背景技术

当下，随着我国自动化和计算机技术发展日渐成熟，水产养殖业的传统监控方法出现诸多问题(如人力成本高、监控数据难测等)，传统的养殖业鱼类生长监控，基本还是采用手工测量或者利用鱼类形态特点进行按大小分类测量。前者耗费人力资源效率低下，后者结果不够准确。

以上问题可以通过物联网技术和机器视觉技术改善。目前有公布号为CN110476871A的专利公开了一种养殖鱼类生长监测系统，可以对鱼类生长状况进行实时非接触式监测；公布号为CN104969885A的专利公开了一种海水网箱养鱼系统及方法，可在无人操作的情况下完成检测，使工作人员更加实时了解养殖鱼类的生长环境及生长状态。

但以上现有技术均无法实现对鱼的精确测量，而随着越来越大规模的鱼类养殖要求与更加精确的要求，亟需一种更加精确的、高效的、全自动化的方法或系统来实现鱼类养殖的监控。

发明内容

本发明的目的是提供一种鱼类生长监控方法和系统，解决了高精度、高效率、实时精确的全自动化的鱼养殖监测目的。

为了实现上述目的，第一方面，本发明提供的鱼类生长监控方法，包括以下步骤：

1)利用摄像头采集含有目标鱼的二维图像，并检测出目标鱼在摄像头中的位置，完成鱼类目检测，获得鱼类目标框；

2)对目标框进行边缘提取和连通区域求解，获取目标框内鱼的所有像素的精确集合U，集合U内所有像素{x_i，y_i}都是构成鱼的像素点；

3)对集合U内每个像素进行视差匹配，获取其视差值，并进行优化处理；

4)利用摄像头参数及其成像原理，根据每个像素点优化后的视差值算出鱼到摄像头的距离；

5)根据所述目标鱼图像中鱼的长度及步骤4)中算出的鱼到摄像头的距离求解出鱼的真实长度，实现鱼类生长监控。

第二方面，本发明提供的鱼类生长监控系统包括目标检测模块、立体匹配模块、后端优化模块和计算模块；

所述目标检测模块用于检测鱼的种类；

所述立体匹配模块用于获取鱼类像素点集合内的各像素点的视差；

所述后端优化模块用于对于视差匹配结果进行优化；

所述计算模块用于计算鱼的真实长度。

与现有技术相比，本发明的有益之处在于：

通过本发明的方法和系统可以精确获取鱼的种类和长度，将长度和种类进行匹配，由于每种鱼的生长状况不一致，结合每个鱼种类对应的生长状况，可以很快判断该鱼是否正常生长。

附图说明

图1为本发明实施例中鱼类生长监控系统的结构示意图；

图2为本发明实施例中各个像素点到摄像头的距离depth的求解原理图；

图3为本发明实施例中鱼的真实长度的求解原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

实施例

参见图1，本实施例的鱼类生长监控系统001设置于无人船下或者固定养殖场内，其包括：目标检测模块100、立体匹配模块200、后端优化模块300和计算模块400，还包括与上述各模块通讯连接的双目摄像头和服务器(或嵌入式处理器)。

基于上述监控系统对养殖场中的鱼进行实时监测的方法包括以下步骤：

S100，利用摄像头采集目标鱼图像，并获取目标鱼在摄像头中的位置。

S200，根据目标鱼图像，进行目标框标注，并完成鱼类目检测，该步骤具体包括：

S201，获取养殖场内包含鱼的图片，对所有图片中的鱼进行类别标记，得到鱼类样本训练集；

S202，将训练集中样本输入神经网络中进行训练，得到鱼类目标检测模型；

S203，将目标鱼图像输入所述鱼类目标检测模型中得到鱼的种类。

以上步骤S100和S200中，对于摄像头中的鱼类，可以通过YOLO目标检测算法精确获取目标鱼在摄像头中的位置。在使用YOLO目标检测算法前，首先制作训练集，其中包括养殖场内部鱼类图片，并进行目标框标注，以供YOLO目标检测算法学习网络参数，并用于完成鱼类目标检测。

YOLO目标检测算法会回归出目标矩形框(x，y，w，h，i)，其中(x，y)代表矩形框中心在整体像素坐标系下的坐标，(w，h)代表矩形框的宽和高，(i)代表目标属性，此为鱼的种类。

S300，对目标框进行边缘提取和连通区域求解，获取目标框内鱼所有像素的集合U，集合U内所有像素{x_i，y_i}都是构成鱼的像素点。

以上步骤可以利用SOBEL算子进行边缘提取、膨胀腐蚀处理以及连通区域求解(默认最大连通区域是鱼)。

S400，对集合U内每个像素进行视差匹配，获取其视差值，并进行优化处理。

S500，利用摄像头参数及其成像原理，根据每个像素点优化后的视差值算出鱼到摄像头的距离；

在获得鱼在二维图像中的所有像素坐标后，利用双目摄像头和SGBM算法进行立体匹配。首先利用标定板和张正友标定法获取双目摄像头在水下的内外参数，再用Bouguet算法进行相机图片矫正(避免畸变)。

获取双目摄像头参数后，利用SGBM对于上述鱼类像素点集合U的所有像素进行视差匹配计算，获取其视差值d。获得视差值后，对U内所有像素点有(x_i，y_i，d)。

对于获取的视差结果，进行后端优化(设置阈值法和双线性插值)，设置阈值(D_min，D_max)，对于d>D_max或者d<D_min的像素点(x_i，y_i)，将其认为误匹配点，通过双线性插值的方法，重新求解出新的视差值d_new，赋予该点(x_i，y_i，d＝d_new)。

最后利用摄像头参数和其成像原理，根据每个像素点的视差值d，算出其到摄像头的距离(深度)depth，其原理如图2所示，x_left和x_right为真实点在左目和右目摄像头的坐标，B(Baseline)为摄像头基线参数，O_left和O_right为双目光心，f为焦距。可以通过公式depth＝f*B/(x_left-x_right)求解深度depth。

获取各个像素点的depth后，通过求平均求解出集合U内所有像素点到摄像头的平均距离D，以该平均距离D作为鱼到摄像头的距离。

S600，根据目标鱼图像中鱼的长度及步骤S500中算出的鱼到摄像头的距离求解出鱼的真实长度，实现鱼类生长监控。

可以通过平均距离D、图片中鱼的近似长度w和相似三角形原理，求解出图像中所有目标鱼的长度。其中估算原理如图3所示，L为鱼的实际尺寸，(u_0,v_1),(u_0,v_0),(u_1,v_1),(u_1,v_0)为鱼在相机中的像素坐标，w＝(u_1-u_0),也是U集合中，w＝(x_max-x_min)，x_max为U中最大横坐标，x_min为最小横坐标。已知Z为平均深度D，0为摄像机光心，f为焦距，根据相似三角形原理可以通过公式L＝w(Z-f)/f求解出目标鱼类的长度L。

至此通过本实施例的监控系统获取了目标鱼类的真实长度信息，且本系统所有算法具有实时、精确的高效特点。

Claims (8)

1.一种鱼类生长监控方法，其特征在于，包括以下步骤：

1)利用摄像头采集含有目标鱼的二维图像，并检测出目标鱼在摄像头中的位置，完成鱼类目检测，获得鱼类目标框；

2)对目标框进行边缘提取和连通区域求解，获取目标框内鱼所有像素的集合U，集合U内所有像素{x_i，y_i}都是构成鱼的像素点；

3)对集合U内每个像素进行视差匹配，获取其视差值，并进行优化处理；

4)利用摄像头参数及其成像原理，根据每个像素点优化后的视差值算出鱼到摄像头的距离；

5)根据所述目标鱼图像中鱼的长度及步骤4)中算出的鱼到摄像头的距离求解出鱼的真实长度，实现鱼类生长监控。

2.根据权利要求1所述的鱼类生长监控方法，其特征在于，步骤1)中鱼类目检测方法包括：

1-1)获取养殖场内包含鱼的图片，对所有图片中的鱼进行类别标记，得到鱼类样本训练集；

1-2)将训练集中样本输入神经网络中进行训练，得到鱼类目标检测模型；

1-3)将目标鱼图像输入所述鱼类目标检测模型中得到鱼的种类。

3.根据权利要求2所述的鱼类生长监控方法，其特征在于，步骤1)中，利用YOLO算法回归出所述的目标框(x，y，w，h，i)，其中(x，y)代表矩形框中心在整体像素坐标系下的坐标，(w，h)代表矩形框的宽和高，(i)代表目标属性，此为鱼的种类。

4.根据权利要求1所述的鱼类生长监控方法，其特征在于，步骤2)中，利用SOBEL算子进行边缘提取，并进行膨胀腐蚀处理；连通区域求解默认最大连通区域时鱼。

5.根据权利要求1所述的鱼类生长监控方法，其特征在于，步骤3)中对视差值进行优化处理的方法包括：

设置阈值(D_min，D_max)，对于d>D_max或者d<D_min的像素点(x_i，y_i)，将其认为误匹配点，通过双线性插值的方法，重新求解出新的视差值d_new，赋予该点(x_i，y_i，d＝d_new)。

6.根据权利要求1所述的鱼类生长监控方法，其特征在于，步骤4)包括：

4-1)利用摄像头参数及其成像原理，根据每个像素点的视差值d，算出各个像素点到摄像头的距离depth；

4-2)获取各个像素点的depth后，通过求平均获得集合U内所有像素点到摄像头的平均距离D，以该距离D作为鱼到摄像头的距离。

7.根据权利要求6所述的鱼类生长监控方法，其特征在于，步骤4-1)中，通过以下公式求解距离depth：

depth＝f*B/(x_left-x_right)

其中，x_left和x_right为真实点在左目和右目摄像头的坐标；B为摄像头基线参数，f为焦距。

8.一种鱼类生长监控系统，其特征在于，包括目标检测模块、立体匹配模块、后端优化模块和计算模块；

所述目标检测模块用于检测鱼的种类；

所述立体匹配模块用于获取鱼类像素点集合内的各像素点的视差；

所述后端优化模块用于对于视差匹配结果进行优化；

所述计算模块用于计算鱼的真实长度。

Images