CN112802064A - 一种水利枢纽鱼道视觉识别系统 - Google Patents

Abstract

本申请涉及一种水利枢纽鱼道视觉识别系统，它包括过鱼通道、水下相机、补偿光源和鱼类分析工作站；所述过鱼通道整体为X形，通道入口和通道出口到通道中部位置都是由大截面逐渐收缩为小截面；所述通道中部设置两侧有矩形玻璃槽；所述水下相机和补偿光源设置在矩形玻璃槽中，并通过数据传输线与鱼类分析工作站连接。本发明通过水下相机采集鱼类图信息，并发送给鱼类分析工作站，对鱼种类进行AI识别，同时进行鱼类数量统计、鱼类体积尺寸估算、鱼类行进速度监控、鱼类活跃信息监测。

Description

一种水利枢纽鱼道视觉识别系统

技术领域

本申请涉及水下目标识别与检测技术领域，具体涉及一种水利枢纽鱼道视觉识别系统。

背景技术

水利设施的修建给我们的生产生活带来了极大的便利，也带来巨大经济社会效益，但是，拦水坝等水利工程阻碍了原河道中鱼类的洄游和营养物质的传输，对鱼类资源产生负面影响，严重破坏了鱼类栖息地并导致水生生物多样性的下降。为降低水利设施产生的负面影响，在修建有拦河坝等水利工程的地方的同时修建了包括鱼道在内的多种过鱼设施，以恢复河流连通性并帮助鱼类完成其生活史，实现坝上坝下种群的基因交流，可有效保护天然渔业资源、保障水生生态系统的连续性和多样性。鱼道过鱼效果是衡量鱼道建设价值和优化改造的依据，如何有效监测鱼道是判断其过鱼效果的关键所在。

鱼道的过鱼效果按监测方式可分为两大类，即直接法和间接法。

(1)直接法包括张网法、堵截法、电捕鱼法等。直接法通过直接捕获鱼类能准确得到鱼道过鱼的种类、数量、大小等数据，但存在的缺点也很明显，一是对鱼体产生一定的伤害，二是监测过程较为繁琐且电捕鱼法还存在一定的安全隐患。直接法不适合长期监测使用。

(2)间接法包括视频监测、水声学监测、遥测法和其他方法等。间接法的监测方式种类较多，大都存在不同程度的易受外界因素干扰的缺点，获取的数据准确度较直接法低，但间接法数据获取方式更加简单，能做到长期不间断监测，获得数据的种类更加全面。

发明内容

本发明的目的在于，提供一种水利枢纽鱼道视觉识别系统，对过鱼通道内的鱼种类进行AI识别，同时进行鱼类数量统计、鱼类体积尺寸估算、鱼类行进速度监控、鱼类活跃信息监测。

本发明采取的技术方案是：

一种水利枢纽鱼道视觉识别系统，包括过鱼通道、水下相机、补偿光源和鱼类分析工作站；所述过鱼通道为X型结构，通道入口和通道出口到通道中部位置都是由大截面逐渐收缩为小截面；所述通道中部设置两侧有矩形玻璃槽，所述矩形玻璃槽与过鱼通道活动连接；所述水下相机设置在通道中部一侧的矩形玻璃槽中，所述补偿光源设置在通道中部另一侧的矩形玻璃槽中，所述水下相机和补偿光源均设置有多个，并且一一对应设置；所述水下相机和补偿光源通过数据传输线与鱼类分析工作站连接。

进一步地，所述水下相机垂直排列在矩形玻璃槽中。

进一步地，所述补偿光源垂直排列在矩形玻璃槽中。

进一步地，所述水下相机和补偿光源在高度上交替设置，所述水下相机的位置高于对应补偿光源的位置。

进一步地，所述补偿光源的亮度随深度的增加而增加。

进一步地，所述水下相机和补偿光源设置有9个。

一种水利枢纽鱼道视觉识别系统的识别方法，包括如下步骤：

S101：水下相机采集到第一帧鱼类图像后，将图像发送至鱼类分析工作站，鱼类分析工作站将获取的鱼类图像传入预先的训练好的深度学习识别模型，得到图像中每条鱼的类别、位置并进行计数，同时将位置以矩形检测框的形式表达出来；所述矩形检测框对角线长度即为鱼的尺寸；

S102：使用卡尔曼滤波算法为每条鱼分配跟踪器并记录当前位置，同时预测每条鱼的下一帧位置；

S103：水下相机采集到第二帧鱼类图像后，重复步骤S101，使用卡尔曼滤波算法进行分析，对第二帧鱼类图像相对第一帧鱼类图像中增加的鱼分配新的跟踪器；

S104：使用匈牙利匹配算法进行分析，判断第二帧鱼类图像相对第一帧鱼类图像是否有消失的鱼，并清除消失的鱼的跟踪器；

S105：记录下每条鱼在每帧图像中的行动轨迹，通过计算轨迹长度与所经历的帧数，计算出鱼的游动速度。

进一步地，所述步骤S105的具体方法是：将步骤S101中得到的每条鱼的位置点坐标存入坐标轴中，将各点连接起来得到每条鱼的行动轨迹，轨迹长度为首末位置的坐标差，鱼的游动速度＝轨迹长度÷(坐标点个数×相机的采样频率)。

进一步地，还包括步骤S106：对步骤S101和步骤S105中得到的鱼的尺寸和游动速度进行标定，所述矩形检测框对角线长度单位和轨迹长度单位均为像素，通过标定将像素单位转换为长度单位。

进一步地，所述步骤106中标定的具体方法为：使用一根单位长度的物体，通过步骤S101获取所述物体矩形检测框对角线长度，得出标定值。

本发明的有益效果在于：

(1)X型结构的过鱼通道将鱼群集中至通道中部的小截面，选取鱼道最小截面处的整个截面作为图像采集区域，利用水下相机进行鱼类图像捕捉，可提高水下相机的拍摄面积覆盖率，避免水下相机存在拍摄死角导致数据采集不全面、影响数据分析精度；同时也减少水下相机的铺设数量，降低施工难度。

(2)每台水下相机对应设置有补偿光源，补偿光源对水下相机进行光源补偿，可提高水下相机拍摄图像的清晰度，便于后期对数据进行分析处理；多个水下相机和补偿光源分别垂直排列在通道中部两侧的矩形玻璃槽中，用于捕捉不同水深的图像；补偿光源的亮度随着深度的增加而增加，越靠近过鱼通道底部，补偿光源的亮度越高，使整个图像采集区域的光线亮度保持一致。

(3)水下相机和补偿光源在高度上交替设置，水下相机的位置高于对应补偿光源的位置，避免补偿光源在水下相机工作的过程中直射水下相机的镜头，造成局部严重曝光；通过水下相机和补偿光源配合，提高系统的环境适应性，可采集白天、黑夜等多种场景下鱼类信息。

(4)水下相机通过数据传输线将拍摄到的图像传送给鱼类分析工作站，鱼类分析工作站对鱼种类进行AI识别，同时进行鱼类数量统计、鱼类体积尺寸估算、鱼类行进速度监控、鱼类活跃信息监测，为建立鱼类数据库和知识图谱、河湖健康评估提供数据支撑。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例的结构示意图。

图2为本发明实施例过鱼通道的结构示意图。

图3为本发明实施例的系统监测图像。

图4为本发明实施例鱼类分析工作站的鱼类数量统计表。

附图标记解释：1.过鱼通道、2.水下相机、3.补偿光源、4.鱼类分析工作站、5.通道入口、6.通道出口、7.矩形玻璃槽。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

实施例1：

如图1和图2所示，一种水利枢纽鱼道视觉识别系统，包括过鱼通道1、水下相机2、补偿光源3和鱼类分析工作站4；所述过鱼通道1为X型结构，通道入口5和通道出口6到通道中部位置都是由大截面逐渐收缩为小截面；所述通道中部设置两侧有矩形玻璃槽7，所述矩形玻璃槽7与过鱼通道1活动连接；所述水下相机2设置在通道中部一侧的矩形玻璃槽7中，所述补偿光源3设置在通道中部另一侧的矩形玻璃槽7中，所述水下相机2和补偿光源3均设置有多个，并且一一对应设置；所述水下相机2和补偿光源3通过数据传输线与鱼类分析工作站4连接。

所述过鱼通道1为X型结构，通道入口5和通道出口6处面截面积大，通道中部截面积小。选取过鱼通道1最小截面处的整个截面作为图像采集区域，利用水下相机2进行鱼类图像捕捉，鱼群由通道入口5进入过鱼通道1，随着过鱼通道1截面积逐渐减小，鱼群被集中至通道中部的图像采集区域，便于水下相机2采集图像，提高水下相机2的拍摄面积覆盖率，避免水下相机2存在拍摄死角导致数据采集不全面、影响数据分析精度；同时也减少水下相机2的铺设数量，降低施工难度。

水下相机2和补偿光源3均设置在通道中部两侧的矩形玻璃槽7中，可随矩形玻璃槽7一同取下，便于进行水下相机2和补偿光源3的维修或更换，同时也能够随时对矩形玻璃槽7进行清理或更换，防止污渍长时间累积影响水下相机2的拍摄效果。每台水下相机2对应设置有补偿光源3，补偿光3对水下相机2进行光源补偿，可提高水下相机2拍摄图像的清晰度，便于后期对数据进行分析处理；通过水下相机2和补偿光源3配合，提高系统的环境适应性，可采集白天、黑夜等多种场景下鱼类信息。

在实施例1中，所述水下相机2和补偿光源3均设置有9个，并且垂直排列在矩形玻璃槽7中，可用于捕捉不同水深的图像。所述水下相机2和补偿光源3在高度上交替设置，所述水下相机2的位置高于对应补偿光源3的位置，避免补偿光源在水下相机工作的过程中直射水下相机的镜头，造成局部严重曝光。由于越靠近鱼道底部，鱼道内的亮度越低，因此所述补偿光源3的亮度随深度的增加而增加，越靠近过鱼通道底部，补偿光源3的亮度越高，补偿光源3的亮度可由鱼类分析工作站4控制，使整个图像采集区域的光线亮度保持一致，有利于水下相机2进行拍摄。

实施例2：

一种水利枢纽鱼道视觉识别系统的识别方法，包括如下步骤：

S101：水下相机2采集到第一帧鱼类图像后，将图像发送至鱼类分析工作站4，鱼类分析工作站4将获取的鱼类图像传入预先的训练好的深度学习识别模型，得到图像中每条鱼的类别、位置并进行计数，同时将位置以矩形检测框的形式表达出来；所述矩形检测框对角线长度即为鱼的尺寸；

S102：使用卡尔曼滤波算法为每条鱼分配跟踪器并记录当前位置，同时预测每条鱼的下一帧位置；

S103：水下相机2采集到第二帧鱼类图像后，重复步骤S101，使用卡尔曼滤波算法进行分析，对第二帧鱼类图像相对第一帧鱼类图像中增加的鱼分配新的跟踪器；

S104：使用匈牙利匹配算法进行分析，判断第二帧鱼类图像相对第一帧鱼类图像是否有消失的鱼，并清除消失的鱼的跟踪器；

S105：记录下每条鱼在每帧图像中的行动轨迹，通过计算轨迹长度与所经历的帧数，计算出鱼的游动速度。

在实施例2中，所述步骤S105的具体方法是：将步骤S101中得到的每条鱼的位置点坐标存入坐标轴中，将各点连接起来得到每条鱼的行动轨迹，轨迹长度为首末位置的坐标差，鱼的游动速度＝轨迹长度÷(坐标点个数×相机的采样频率)。

实施例2还包括步骤S106：对步骤S101和步骤S105中得到的鱼的尺寸和游动速度进行标定，所述矩形检测框对角线长度单位和轨迹长度单位均为像素，通过标定将像素单位转换为长度单位。所述步骤106中标定的具体方法为：使用一根单位长度的物体，通过步骤S101获取所述物体矩形检测框对角线长度，得出标定值。根据所述标定的具体方法，得到标定结果为1像素＝2mm。

如图3和图4所示，结合本发明实施例1和实施例2，可对过鱼通道1内的鱼群进行AI识别，同时进行鱼类数量统计、鱼类体积尺寸估算、鱼类行进速度监控、鱼类活跃信息监测。表1为结合本发明实施例1和实施例2所得到的鱼类分析工作站4的分析结果统计表。

表1鱼类分析工作站4部分分析结果统计表

根据标定结果，1像素＝2mm；根据标定值将鱼类大小和游动速度进行标定，可令分析结果更加直观。鱼类型准确率用于描述图像中的鱼所属鱼类的可能性，所述鱼类型准确率大小约接近1，则可能性越高。通过图4可得到鱼类数量统计、鱼类数量的变化规律以及鱼类活跃信息等数据；通过表1可获得鱼类体积尺寸估算、鱼类行进速度等数据。鱼类分析工作站4的分析结果可为建立鱼类数据库和知识图谱、河湖健康评估提供数据支撑。

本发明实施例利用X型结构的过鱼通道1将鱼群集中至通道中部的小截面，提高水下相机2的拍摄面积覆盖率，避免水下相机2存在拍摄死角，导致数据采集不全面、影响数据分析精度；同时也减少水下相机2的铺设数量，降低施工难度。通过水下相机2和补偿光源3配合，提高系统的环境适应性，可采集白天、黑夜等多种场景下鱼类信息。水下相机2通过数据传输线将拍摄到的图像传送给鱼类分析工作站4，鱼类分析工作站4对鱼种类进行AI识别，同时进行鱼类数量统计、鱼类体积尺寸估算、鱼类行进速度监控、鱼类活跃信息监测，为建立鱼类数据库和知识图谱、河湖健康评估提供数据支撑。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种水利枢纽鱼道视觉识别系统，其特征在于，包括过鱼通道、水下相机、补偿光源和鱼类分析工作站；所述过鱼通道为X型结构，通道入口和通道出口到通道中部位置都是由大截面逐渐收缩为小截面；所述通道中部设置两侧有矩形玻璃槽，所述矩形玻璃槽与过鱼通道活动连接；所述水下相机设置在通道中部一侧的矩形玻璃槽中，所述补偿光源设置在通道中部另一侧的矩形玻璃槽中，所述水下相机和补偿光源均设置有多个，并且一一对应设置；所述水下相机和补偿光源通过数据传输线与鱼类分析工作站连接。

2.根据权利要求1所述的一种水利枢纽鱼道视觉识别系统，其特征在于，所述水下相机垂直排列在矩形玻璃槽中。

3.根据权利要求1所述的一种水利枢纽鱼道视觉识别系统，其特征在于，所述补偿光源垂直排列在矩形玻璃槽中。

4.根据权利要求1所述的一种水利枢纽鱼道视觉识别系统，其特征在于，所述水下相机和补偿光源在高度上交替设置，所述水下相机的位置高于对应补偿光源的位置。

5.根据权利要求1所述的一种水利枢纽鱼道视觉识别系统，其特征在于，所述补偿光源的亮度随深度的增加而增加。

6.一种水利枢纽鱼道视觉识别系统的识别方法，其特征在于，包括如下步骤：

S101：水下相机采集到第一帧鱼类图像后，将图像发送至鱼类分析工作站，鱼类分析工作站将获取的鱼类图像传入预先的训练好的深度学习识别模型，得到图像中每条鱼的类别、位置并进行计数，同时将位置以矩形检测框的形式表达出来；所述矩形检测框对角线长度即为鱼的尺寸；

S102：使用卡尔曼滤波算法为每条鱼分配跟踪器并记录当前位置，同时预测每条鱼的下一帧位置；

S103：水下相机采集到第二帧鱼类图像后，重复步骤S101，使用卡尔曼滤波算法进行分析，对第二帧鱼类图像相对第一帧鱼类图像中增加的鱼分配新的跟踪器；

S104：使用匈牙利匹配算法进行分析，判断第二帧鱼类图像相对第一帧鱼类图像是否有消失的鱼，并清除消失的鱼的跟踪器；

S105：记录下每条鱼在每帧图像中的行动轨迹，通过计算轨迹长度与所经历的帧数，计算出鱼的游动速度。

7.根据权利要求6所述的一种水利枢纽鱼道视觉识别系统的识别方法，其特征在于，所述步骤S105的具体方法是：将步骤S101中得到的每条鱼的位置点坐标存入坐标轴中，将各点连接起来得到每条鱼的行动轨迹，轨迹长度为首末位置的坐标差，鱼的游动速度 = 轨迹长度÷（坐标点个数×相机的采样频率）。

8.根据权利要求6所述的一种水利枢纽鱼道视觉识别系统的识别方法，其特征在于，还包括步骤S106：对步骤S101和步骤S105中得到的鱼的尺寸和游动速度进行标定，所述矩形检测框对角线长度单位和轨迹长度单位均为像素，通过标定将像素单位转换为长度单位。

9.根据权利要求8所述的一种水利枢纽鱼道视觉识别系统的识别方法，其特征在于，所述步骤106中标定的具体方法为：使用一根单位长度的物体，通过步骤S101获取所述物体矩形检测框对角线长度，得出标定值。

Images