CN116452967A - 基于机器视觉的鱼游动速度识别方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的鱼游动速度识别方法，属于水产养殖领域，包括以下步骤：S1、采集视频信息，基于采集的视频信息构建鱼体目标检测模型；S2、构建鱼体目标跟踪模型，基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄，得到鱼体图像；S3、基于所述鱼体图像计算鱼游动速度。本发明的优点是：通过两个垂直摆放的摄像头，采用目标检测技术和目标跟踪技术，检测鱼在三维空间中的游动距离及速度，对鱼无接触进行速度检测，效率高且检测精准，操作难度低，检测出的速度为养殖户提供发现鱼活动异常及环境异常提供判断条件，为养殖户科学养殖具有重要的意义。

Description

基于机器视觉的鱼游动速度识别方法

技术领域

本发明涉及一种基于机器视觉的鱼游动速度识别方法，属于水产养殖领域。

背景技术

近年来，针对鱼游动速度检测，国内外学者不断研究并取得了一定成果。

专利公告号：CN104381170B，发明名称：一种鱼类突进游泳速度测试方法，通过鱼类游泳测试装置对鱼类突进游泳速度进行测试，游泳测试装置包括：外水箱，环道，试验段，螺旋桨，变频电机等，统计测试数据。该方法需将鱼捕捞上来进行实验，对鱼的伤害较大；

专利公告号为CN213603835U，发明名称为：一种鱼类偏好游泳速度测定装置” ，其提及了水槽内设置有两个对称分布的倾斜板,这两个倾斜板的两端之间均连接有格栅,所述的倾斜板和格栅共同形成横断面呈梯形的测速水道,与所述测速水道相配有同样呈梯形的顶部透明盖体,在透明盖体上设置有多条相互平行的区域界线,在水槽内还设置有位于测速水道较小一端的水泵,同时在测速水道内还设置有顶部敞开的内拦网,在所述测速水道的上方设置有摄像头。该方式工作效率较低，在一定程度上造成了能源的浪费，并且需要占据较大的空间。

专利公开号为CN106355589A，发明名称为：一种工厂化循环水养殖鱼类游动速度估算系统及方法，通过水池上方的近红外相机、近红外光源和处理设备,近红外光源,用于在处理设备的控制下为近红外相机补光;红外相机,用于在处理设备的控制下采集鱼体的近红外图像;处理设备根据两幅近红外图像中同一鱼体的位置计算欧氏距离以及所述鱼体游动的相对速度，该方法中的距离检测只能检测出鱼游动的水平距离，鱼游动的垂直距离无法检测，所以速度检测的不够精确。

现有的鱼游动速度检测，一部分是通过各种物理装置检测，此类方法操作难度大，效率低。一部分通过单一摄像头进行检测，只能检测到鱼在水平方向的游动距离及速度，因此检测结果不准确，

发明内容

为克服现有技术的缺陷，本发明提供一种基于机器视觉的鱼游动速度识别方法，本发明的技术方案是：

一种基于机器视觉的鱼游动速度识别方法，包括以下步骤：

S1、采集视频信息，基于采集的视频信息构建鱼体目标检测模型；

S2、构建鱼体目标跟踪模型，基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄，得到鱼体图像；

S3、基于所述鱼体图像计算鱼游动速度；

所述的步骤S1包括：

S1-1、构建鱼体目标检测图像数据集，具体为：采集鱼体上方和侧方的图像，并对鱼体上方和侧方图像进行数据标注，得到标注后图像数据；对标注后图像数据按照预设比例划分为训练集、验证集和测试集，得到鱼体目标检测图像数据集；

S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练，具体为：对鱼体目标检测图像数据集进行预处理，得到预处理后图像；将预处理后图像输入至YOLOv7网络，对YOLOv7网络进行训练，得到鱼体目标检测模型。

所述的步骤S3具体为：

S3-1、获得鱼的游动距离，具体为：

通过目标检测模型和目标跟踪模型对鱼体进行跟踪，获得两帧图像中的鱼中心点的坐标，利用第一防水摄像头获取鱼体俯视图，利用第二防水摄像头获取鱼体正视图，其中，包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，通过第一防水摄像头和第二防水摄像头的相互垂直摆放，获得一个三维立体空间；

计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标；第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出，第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出；第一帧图像中鱼在第一防水摄像头中的中心点坐标为（x1,y1），鱼在第二防水摄像头中的中心点坐标为（x1,z1），所以鱼在三维空间中的位置为（x1,y1,z1），第二帧图像中鱼在第一防水摄像头中的中心点坐标为（x2,y2），鱼在第二防水摄像头中的中心点坐标为（x2,z2），所以鱼在三维空间中的位置为（x2,y2,z2），通过以下公式求出鱼在两帧图像之间的游动距离s，

；

S3-2、获得第一帧图像和第二帧图像之间的时间差：

第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同，当接收第一帧图像时，进行鱼体目标检测处理，检测结束后获取处理时间t1，接收第二帧图像时，继续进行鱼体目标检测处理，检测结束后获取处理时间t2，处理第一帧图像和第二帧图像之间的时间差，即为游动时间，游动速度即为游动距离/游动时间;

S3-3、实验确定速度基准：获取十条正常的鱼在正常环境状态下的游动速度v0，设置为基准速度；

S3-4、检测鱼游动速度判定识别结果：将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存，检测每两帧图像之间的游动距离和时间差，求出游动速度，将游动速度和两帧图像中的第二帧的处理时间保存，然后过滤异常速度，最后输出鱼在预设时间之内的游动速度；

在所述的步骤S3-4中，过滤异常速度的具体步骤为：

当速度v和速度基准差距在四倍以上时，标记为异常速度，当/>在相邻20组数据中占比小于10%时，删除该速度；

输出鱼在预设时间段内的游动速度，包括5秒钟，10秒钟，30秒钟，1分钟，10分钟，30分钟，1小时内的平均速度，假设获取t0时间内的游动速度，获取当前时间tx,则tx-t0时刻的速度为v1，依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度：

，其中，tx-t0时刻到tx时刻共有n个速度，vn表示最后一个速度。

本发明的优点是：通过两个垂直摆放的摄像头，采用目标检测技术和目标跟踪技术，检测鱼在三维空间中的游动距离及速度，对鱼无接触进行速度检测，效率高且检测精准，操作难度低，检测出的速度为养殖户提供发现鱼活动异常及环境异常提供判断条件，为养殖户科学养殖具有重要的意义。

附图说明

图1是本发明的流程示意图。

图2是本发明的第一防水摄像头获取鱼体的示意图（俯视图）。

图3是本发明的第二防水摄像头获取的鱼体示意图（侧视图）。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

参见图1至图3，本发明涉及一种基于机器视觉的鱼游动速度识别方法，包括以下步骤：

S1、采集视频信息，基于采集的视频信息构建鱼体目标检测模型；

S2、构建鱼体目标跟踪模型，基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄，得到鱼体图像；在本实施例中，鱼体目标跟踪模型构建是基于StrongSort构建的，以下是基于StrongSort构建鱼体目标跟踪模型的具体步骤：

数据收集：收集包含鱼类的视频数据，并手动标注每条鱼的位置和大小。

数据预处理：将标注数据转换成目标框格式，并进行数据增强，如随机裁剪、缩放和翻转等操作，以扩充数据集并提高模型的鲁棒性。

模型选择：选择合适的基于深度学习的目标检测模型作为基础模型，本实施例中使用的是YOLOv7。在此基础上，使用StrongSort算法对检测到的目标进行多目标跟踪。

模型训练：使用预处理后的数据集训练目标检测模型，并使用StrongSort算法对检测到的目标进行跟踪。在训练过程中，可以使用交叉验证等技术来评估模型的性能并进行调优。

模型测试：使用测试数据集对训练好的模型进行测试，评估其目标检测和跟踪性能。可以使用常见的指标，如准确率、召回率、平均精度等来评估模型的性能。

模型部署：将训练好的模型部署到实际应用中，并对其性能进行监控和优化。

通过以上步骤，基于StrongSort的鱼体目标跟踪模型可以较为准确地识别和跟踪鱼类。

通过简单地在DeepSORT中装备各方面的先进组件，产生了StrongSORT，它可以在流行基准MOT17和MOT20上实现新的SOTA。StrongSORT中提出了两种轻量级、即插即用、模型无关、外观无关的算法来优化跟踪结果，首先，为了更好地利用全局信息，有几种方法提出使用全局链接模型将短轨迹与轨迹相关联，它们通常生成精确但不完整的轨迹，并将它们与全局信息相关联，尽管这些方法显著提高了跟踪性能，但它们都依赖于计算密集型模型，特别是外观特征，相比之下，提出了一种无外观链接模型(AFLink)，该模型仅利用时空信息来预测两个输入的tracklet是否属于同一个ID。其次，线性插值被广泛用于补偿漏检，然而，它忽略了运动信息，这限制了插值位置的准确性，为了解决这一问题，提出了高斯平滑插值算法(GSI)，该算法使用高斯过程回归算法来增强插值。

S3、基于所述鱼体图像计算鱼游动速度；

所述的步骤S1包括：

S1-1、构建鱼体目标检测图像数据集，具体为：采集鱼体上方和侧方的图像，并对鱼体上方和侧方图像进行数据标注，得到标注后图像数据；对标注后图像数据按照预设比例划分为训练集、验证集和测试集，得到鱼体目标检测图像数据集；

在本实施例中，将通过YOLOv7网络构建鱼体目标检测模型，利用边缘设备获取收集的上方与侧方鱼体图像，通过labelimg软件进行鱼体目标检测人工数据标注，根据名称从数据集原有的标注文件中匹配出每幅图像的标注信息，转换成YOLO标注格式文件，最后对所有图像数据按照80%、10%、10%的比例划分训练集、验证集、测试集，最终形成鱼体目标检测图像数据集。

鱼体目标检测模型的训练方法包括：对鱼体目标检测图像数据集进行预处理，得到预处理后图像；将预处理后图像输入至YOLOv7网络，对YOLOv7网络进行训练，得到鱼体目标检测模型。在本实施例中，如图2和图3所示，YOLOv7网络由三个部分组成：input，backbone和head，其中backbone用于提取特征，head用于预测。根据图2的架构图走一遍网络流程：先对输入的图片预处理，对齐成640*640大小的RGB图片，输入到backbone网络中，根据backbone网络中的三层输出，在head层通过backbone网络继续输出三层不同size大小的feature map（以下简称fm），经过RepVGG block和conv，对图像检测的三类任务（分类、前后背景分类、边框）预测，输出最后的结果。

S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练，具体为：对鱼体目标检测图像数据集进行预处理，得到预处理后图像；将预处理后图像输入至YOLOv7网络，对YOLOv7网络进行训练，得到鱼体目标检测模型。

所述的步骤S3具体为：

S3-1、获得鱼的游动距离，具体为：

通过目标检测模型和目标跟踪模型对鱼体进行跟踪，获得两帧图像中的鱼中心点的坐标，利用第一防水摄像头获取鱼体俯视图，利用第二防水摄像头获取鱼体正视图，其中，包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，通过第一防水摄像头和第二防水摄像头的相互垂直摆放，获得一个三维立体空间；其中，第一防水摄像头和第二防水摄像头帧率是固定的，比如25fps，表示一秒钟有25帧画面，所以两帧图像之间的时间间隔为1/25=0.04秒，但是由于每帧图像需要进行检测识别，所以两帧图像之间的间隔为0.04秒+处理时间；

计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标；第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出，第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出；第一帧图像中鱼在第一防水摄像头中的中心点坐标为（x1,y1），鱼在第二防水摄像头中的中心点坐标为（x1,z1），所以鱼在三维空间中的位置为（x1,y1,z1），第二帧图像中鱼在第一防水摄像头中的中心点坐标为（x2,y2），鱼在第二防水摄像头中的中心点坐标为（x2,z2），所以鱼在三维空间中的位置为（x2,y2,z2），通过以下公式求出鱼在两帧图像之间的游动距离s，

；

S3-2、获得第一帧图像和第二帧图像之间的时间差：

第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同，当接收第一帧图像时，进行鱼体目标检测处理，检测结束后获取处理时间t1，接收第二帧图像时，继续进行鱼体目标检测处理，检测结束后获取处理时间t2，处理第一帧图像和第二帧图像之间的时间差，即为游动时间，游动速度即为游动距离/游动时间;

S3-3、实验确定速度基准：获取十条正常的鱼在正常环境状态下的游动速度v0，设置为基准速度；水族箱：使用200升的水族箱。

正常环境状态具体指：

水温：维持水温在18℃-28℃之间。在实验过程中，应使用温度计监测水温，并根据需要加热或降温。

水质：水质的影响因素较多，包括水中的溶氧量、氨氮、亚硝酸盐、硝酸盐、pH值等，这些参数都可能影响鱼的生长和游动。因此，使用过滤装置、水泵等设备维护水质达标；

光照：模拟鱼类自然生境的光照条件，提供足够的自然光进行照射。

饲料：应根据金鱼的饮食习惯提供适宜的饲料。

S3-4、检测鱼游动速度判定识别结果：将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存，检测每两帧图像之间的游动距离和时间差，求出游动速度，将游动速度和两帧图像中的第二帧的处理时间保存，然后过滤异常速度，最后输出鱼在预设时间之内的游动速度；

在所述的步骤S3-4中，过滤异常速度的具体步骤为：

当速度v和速度基准差距在四倍以上时，标记为异常速度，当/>在相邻20组数据中占比小于10%时，删除该速度。

输出鱼在预设时间段内的游动速度，包括5秒钟，10秒钟，30秒钟，1分钟，10分钟，30分钟，1小时内的平均速度，假设获取t0时间内的游动速度，获取当前时间tx,则tx-t0时刻的速度为v1，依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度：

；其中，tx-t0时刻到tx时刻共有n个速度，vn表示最后一个速度。

本发明将测出鱼在一段时间之内的游动速度，包括5秒钟，10秒钟，30秒钟，1分钟，10分钟，30分钟，1小时内的平均速度，通过对鱼游动速度的检测，可以及时发现鱼饥饿、鱼病等内部问题，水质恶化、水中缺氧、设备漏电等外部问题，使水产养殖更加科学化、规范化，促进水产养殖业的发展。

本发明可用其他水生动物替换鱼类，检测其他水生动物的速度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于机器视觉的鱼游动速度识别方法，其特征在于，包括以下步骤：

S1、采集视频信息，基于采集的视频信息构建鱼体目标检测模型；

S2、构建鱼体目标跟踪模型，基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄，得到鱼体图像；

S3、基于所述鱼体图像计算鱼游动速度；

所述的步骤S1包括：

S1-1、构建鱼体目标检测图像数据集，具体为：采集鱼体上方和侧方的图像，并对鱼体上方和侧方图像进行数据标注，得到标注后图像数据；对标注后图像数据按照预设比例划分为训练集、验证集和测试集，得到鱼体目标检测图像数据集；

S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练，具体为：对鱼体目标检测图像数据集进行预处理，得到预处理后图像；将预处理后图像输入至YOLOv7网络，对YOLOv7网络进行训练，得到鱼体目标检测模型。

2.根据权利要求1所述的基于机器视觉的鱼游动速度识别方法，其特征在于，所述的步骤S3具体为：

S3-1、获得鱼的游动距离，具体为：

通过目标检测模型和目标跟踪模型对鱼体进行跟踪，获得两帧图像中的鱼中心点的坐标，利用第一防水摄像头获取鱼体俯视图，利用第二防水摄像头获取鱼体正视图，其中，包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像，通过第一防水摄像头和第二防水摄像头的相互垂直摆放，获得一个三维立体空间；

计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标；第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出，第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出；第一帧图像中鱼在第一防水摄像头中的中心点坐标为（x1,y1），鱼在第二防水摄像头中的中心点坐标为（x1,z1），所以鱼在三维空间中的位置为（x1,y1,z1），第二帧图像中鱼在第一防水摄像头中的中心点坐标为（x2,y2），鱼在第二防水摄像头中的中心点坐标为（x2,z2），所以鱼在三维空间中的位置为（x2,y2,z2），通过以下公式求出鱼在两帧图像之间的游动距离s，

；

S3-2、获得第一帧图像和第二帧图像之间的时间差：

第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同，当接收第一帧图像时，进行鱼体目标检测处理，检测结束后获取处理时间t1，接收第二帧图像时，继续进行鱼体目标检测处理，检测结束后获取处理时间t2，处理第一帧图像和第二帧图像之间的时间差，即为游动时间，游动速度即为游动距离/游动时间;

S3-3、实验确定速度基准：获取十条正常的鱼在正常环境状态下的游动速度v0，设置为基准速度；

S3-4、检测鱼游动速度判定识别结果：将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存，检测每两帧图像之间的游动距离和时间差，求出游动速度，将游动速度和两帧图像中的第二帧的处理时间保存，然后过滤异常速度，最后输出鱼在预设时间之内的游动速度。

3.根据权利要求2所述的基于机器视觉的鱼游动速度识别方法，其特征在于，在所述的步骤S3-4中，过滤异常速度的具体步骤为：

当速度v和速度基准差距在四倍以上时，标记为异常速度，当/>在相邻20组数据中占比小于10%时，删除该速度；

输出鱼在预设时间段内的游动速度，包括5秒钟，10秒钟，30秒钟，1分钟，10分钟，30分钟，1小时内的平均速度，假设获取t0时间内的游动速度，获取当前时间tx,则tx-t0时刻的速度为v1，依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度：

，其中，tx-t0时刻到tx时刻共有n个速度，vn表示最后一个速度。