CN110866943A - 用于水质监测的鱼类位置跟踪方法 - Google Patents

Abstract

本发明公开了一种用于水质监测的鱼类位置跟踪方法，涉及水质监测领域，该方法基于传统目标检测方法改进而来的背景建模算法，并辅以一定的形态学操作，用于计算机视觉技术中的鱼体目标的检测，并结合卡尔曼滤波算法实现目标鱼体的跟踪，便于计算鱼群的多种运动参数指标，直观地显示鱼群的行为变化，为研究青鳉鱼运动特征与水质状态之间的关系奠定基础；实验结果表明该算法能够准确地提取运动中的鱼体目标，跟踪算法能很好地实现目标鱼群的跟踪，不但能够准确地提取运动中的鱼体目标，对静止的鱼体目标也有很好的效果。

Description

用于水质监测的鱼类位置跟踪方法

技术领域

本发明涉及水质监测领域，尤其是一种用于水质监测的鱼类位置跟踪方法。

背景技术

青鳉鱼是一种对有机污染物敏感、重金属污染物有一定反应能力的鱼类，它的行为变化可以从一定程度上反映水质的状态，因此常被用于进行水质监测。如何将青鳉鱼的行为变化转化为计算机能够分析的信号，是一个被广泛研究的课题，但鱼类的不规律游动和非刚体的运动模式给计算机视觉技术中的鱼体目标检测带来了巨大的挑战，目前还没有较好的解决办法。

发明内容

本发明人针对上述问题及技术需求，提出了一种用于水质监测的鱼类位置跟踪方法，本发明的技术方案如下：

一种用于水质监测的鱼类位置跟踪方法，该方法包括：

采集受试鱼类在待检测水体中活动的视频序列，获取视频序列中第i帧的灰度图像；

利用灰度图像和背景模型做差提取第i帧中的前景目标图像，背景模型是基于kNN算法利用历史图像帧建立得到的；

使用自适应动态阈值法处理前景目标图像得到二值化图像；

对二值化图像进行形态学处理得到处理后二值化图像；

对处理后二值化图像进行轮廓检测得到受试鱼类的检测坐标位置；

若第i帧为视频序列中的第一帧，则确定第i帧中的受试鱼类的目标位置即为检测坐标位置，并建立并初始化卡尔曼预测器，令i＝i+1并再次执行获取视频序列中第i帧的灰度图像的步骤；

若第i帧不为视频序列中的第一帧，则利用第i-1帧的卡尔曼预测器预测得到第i帧中受试鱼类的预测坐标位置，根据预设策略对预测坐标位置和检测坐标位置进行关联得到第i帧中的受试鱼类的目标位置；更新得到第i帧的卡尔曼预测器，令i＝i+1并再次执行获取视频序列中第i帧的灰度图像的步骤。

其进一步的技术方案为，在利用灰度图像和背景模型做差提取第i帧中的前景目标图像之前，方法还包括：

检测第i帧的采集时刻属于预设的白天时段还是夜间时段；

若第i帧的采集时刻属于预设的白天时段，则确定采用第一模型作为背景模型，第一模型是基于kNN算法利用M个在预设的白天时段采集到的历史图像帧建立得到的；

若第i帧的采集时刻属于预设的夜间时段，则确定采用第二模型作为背景模型，第二模型是基于kNN算法利用N个在预设的夜间时段采集到的历史图像帧建立得到的。

其进一步的技术方案为，该方法还包括：

若从二值化图像中分割得到的受试鱼类的检测坐标位置的数量超过预定阈值；

则更新背景模型，并利用更新后的背景模型执行灰度图像和背景模型做差提取第i帧中的前景目标图像的步骤。

本发明的有益技术效果是：

本申请公开了一种用于水质监测的鱼类位置跟踪方法，以鱼类模式生物青鳉鱼为研究目标，计算机视觉为辅助实现青鳉鱼的实时识别，本方法基于传统目标检测方法改进而来的背景建模算法，并辅以一定的形态学操作，用于计算机视觉技术中的鱼体目标的检测，并结合卡尔曼滤波算法实现目标鱼体的跟踪，便于计算鱼群的多种运动参数指标，直观地显示鱼群的行为变化，为研究青鳉鱼运动特征与水质状态之间的关系奠定基础。

实验结果表明该算法能够准确地提取运动中的鱼体目标，跟踪算法能很好地实现目标鱼群的跟踪。不但能够准确地提取运动中的鱼体目标，对静止的鱼体目标也有很好的效果。

同时该算法运行速度快，计算成本低，适用于工控环境。此外，该算法可随运行时间的变化和背景的变化进行自适应背景模型更新，这样的更新机制保证该算法具有较强的环境适应能力，可广泛适用于鱼类生物监测设备，为业务化运行提供了技术保障，为未来鱼类生物监测设备打下坚实的技术基础。

附图说明

图1是本申请公开的用于水质监测的鱼类位置跟踪方法的方法流程图。

图2是在一次实验过程中得到的背景模板。

图3是利用图2的背景模板得到的分割结果。

图4是基于图2的背景模板利用本申请的方法最终得到的检测结果。

图5是在又一次实验过程中对图2的背景模板自适应更新后的背景模板。

图6是利用图5的背景模板得到的分割结果。

图7是基于图5的背景模板利用本申请的方法最终得到的检测结果。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种用于水质监测的鱼类位置跟踪方法，该方法在进行鱼类位置跟踪之前，首先需要建立背景模型：

采集受试鱼类在待检测水体中的活动视频，从活动视频中选取上百个甚至上千个历史图像帧，这些历史图像帧中带有前景/背景标签，选用kNN(k-NearestNeighbor，k最近邻)算法综合这些历史图像帧中带有大量背景标签的像素点来建成背景模型。实际操作时，可以根据背景复杂程度以及去除背景的效果来对背景建模的历史图像帧的数量进行设置。

在建成背景模型后，可以利用背景模型进行鱼类位置跟踪，包括如下步骤，请参考图1所示的流程图：

(1)采集受试鱼类在待检测水体中活动的视频序列，对于视频序列中的每一帧图像，首先进行图像预处理，包括缩小图片尺寸以及去除图像边缘干扰，预处理可以加快图片的处理速度。

(2)获取视频序列中第i帧图像并生成灰度图像。

(3)利用灰度图像和背景模型做差提取第i帧中的前景目标图像。

(4)使用自适应动态阈值法处理前景目标图像得到二值化图像。

(5)处理后的图像可能存在有缺失的黑点等，会带来提取的二值化图像中存在小部分断裂或者空洞，因此需要对二值化图像进行形态学处理，通过开闭运算去除图像中的噪声、弥合断裂消除空洞，得到处理后二值化图像。

(6)对处理后二值化图像进行轮廓检测得到受试鱼类的检测坐标位置。在轮廓检测过程中，筛选掉检测出的面积小于预定面积的轮廓，提高检测准确性。

(7)利用卡尔曼预测器对检测出的受试鱼类进行跟踪，在跟踪过程中可能出现理解跟踪、新目标出现跟踪、遮挡跟踪、分裂跟踪和目标丢失的情况，这时需要将之前的视频帧的跟踪轨迹进行关联给出当前帧每个受试鱼类的目标位置。也即：

若第i帧为视频序列中的第一帧，则确定第i帧中的受试鱼类的目标位置即为检测坐标位置。并基于这一帧的目标位置建立并初始化卡尔曼预测器，令i＝i+1再次执行步骤(2)-(7)对下一帧进行处理；

若第i帧不为视频序列中的第一帧，则利用第i-1帧的卡尔曼预测器预测得到第i帧中受试鱼类的预测坐标位置，根据预设策略对预测坐标位置和检测坐标位置进行关联得到第i帧中的受试鱼类的目标位置。并基于这一帧的目标位置更新得到第i帧的卡尔曼预测器，令i＝i+1再次执行步骤(2)-(7)对下一帧进行处理。其中，预设策略可以是基于kuhn-Munkres算法进行数据关联。

通过将连续各帧的目标位置连接即能追踪得到受试鱼类的运动轨迹，从而可以准确计算鱼群的运动参数，直观地显示鱼群运行行为的变化情况，一定程度上反映水质的状态。直到追踪到最后一帧，则流程结束。

在上述方法中，考虑到在实际视频拍摄中，背景不可能一直处于稳定状态，因此需要对背景模型进行更新，本申请提供如下两种机制，实际使用时可以采用其中任意一种，或者都采用：

1、在本申请中，当利用受试鱼类进行水质监测时，白天处于自然光或灯光照射，而晚上为了不影响鱼的生物钟则使用无红曝红外技术，增加低照度下视频清晰度，因此白天夜晚的背景是存在明显区别的，因此在本申请中，在进行背景建模时，会建立与预设的白天时段对应的第一模型以及与预设的夜间时段对应的第二模型，该预设的白天时段对应实际实验过程中采用自然光或灯光照射的时段，预设的夜间时段对应实际实验过程中采用无红曝红外光照射的时段。也即：选用kNN算法综合M个在预设的白天时段采集到的历史图像帧中带有大量背景标签的像素点来建成第一模型。选用kNN算法综合N个在预设的夜间时段采集到的历史图像帧中带有大量背景标签的像素点来建成第二模型。

则在步骤(3)利用背景模型之前，首先需要确定选用的背景模型，则检测第i帧的采集时刻属于预设的白天时段还是夜间时段，若第i帧的采集时刻属于预设的白天时段，则确定采用第一模型作为背景模型，若第i帧的采集时刻属于预设的夜间时段，则确定采用第二模型作为背景模型。

或者，不每次都进行检测判断，而是设置时间的阈值进行切换，当从第二模型切换至第一模型后的时长达到预设的白天时段的总时长时，切换至使用第二模型；当从第一模型切换至第二模型后的时长达到预设的夜间时段的总时长时，切换至使用第一模型，以此循环。

2、若步骤(6)从二值化图像中分割得到的受试鱼类的检测坐标位置的数量超过预定阈值，该预定阈值与受试鱼类的总条数有关，可以与受试鱼类的总条数相同或略大于受试鱼类的总条数。当受试鱼类的检测坐标位置的数量超过预定阈值时，表示检测出的受试鱼类的数量明显多于实际数量，则更新背景模型，可以通过选取较新的历史图像帧更新背景模型，然后利用更新后的背景模型重新执行步骤(3)进行计算。

为了验证本方法在实际应用中的表现，本申请利用上述方法对时长2小时的青鳉鱼游动视频进行解析，请参考图2为根据历史图像帧建立的背景模型，可以看出该背景模型已经很接近理想中的真实背景，除了两条青鳉鱼，这两条青鳉鱼在背景中出现是因为它们的长期静止，但对之后的目标检测影响不大，因为除非有青鳉鱼在完全相同的位置静止才会影响检测结果，使算法无法识别静止的鱼，但这种情况概率很低，可以排除。从图3可以看出检测出的青鳉鱼鱼体较为完整，虽然有少许空洞，但在可填补范围之内，另外在图像两侧边缘可见少许被标为前景的噪声，这些噪声应该是青鳉鱼在鱼缸边缘被玻璃倒影所致，往往面积不大，可以通过所识别到的物体大小进行筛选剔除。最后再得到受试鱼类的目标位置并框出的结果如图4所示，可以看出所有受试鱼都被正确的检测出来并予以框出。

在该方法运行一段时间后，自适应更新后的背景模板如图5所示，对比图2可以看出，该背景模型相比对图2更接近理想中的真实背景，除了圈出的一条鱼，因为该鱼从起始的背景模板到后续的视频帧中只随水流移动了一段极小的距离，几乎保持静止。但从图6可以看出，这条鱼仍然被检测出来了，最终得到的受试鱼类的目标位置并框出的结果如图7所示，可以看出该方法在长时间运行后，检测效果依然良好，所有受试鱼类都被准确检测出来了，包括图5框出来的那条几乎静止的鱼，这也证明了本方法对静止的物体也有较高的识别精度。同时也表明较好的背景模型更新机制也有利于提高算法检测精度。在长时间检测中，算法运行效率高，平均能达到3ms/帧，有助于算法的实时运行。

基于本申请这种高精度的目标识别和位置检测，结合卡尔曼预测器可以得到精确的运动轨迹。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (3)

1.一种用于水质监测的鱼类位置跟踪方法，其特征在于，所述方法包括：

采集受试鱼类在待检测水体中活动的视频序列，获取所述视频序列中第i帧的灰度图像；

利用所述灰度图像和背景模型做差提取第i帧中的前景目标图像，所述背景模型是基于kNN算法利用历史图像帧建立得到的；

使用自适应动态阈值法处理所述前景目标图像得到二值化图像；

对所述二值化图像进行形态学处理得到处理后二值化图像；

对所述处理后二值化图像进行轮廓检测得到受试鱼类的检测坐标位置；

若第i帧为所述视频序列中的第一帧，则确定第i帧中的受试鱼类的目标位置即为所述检测坐标位置，并建立并初始化卡尔曼预测器，令i＝i+1并再次执行所述获取所述视频序列中第i帧的灰度图像的步骤；

若第i帧不为所述视频序列中的第一帧，则利用第i-1帧的卡尔曼预测器预测得到第i帧中受试鱼类的预测坐标位置，根据预设策略对所述预测坐标位置和所述检测坐标位置进行关联得到第i帧中的受试鱼类的目标位置；更新得到第i帧的卡尔曼预测器，令i＝i+1并再次执行所述获取所述视频序列中第i帧的灰度图像的步骤。

2.根据权利要求1所述的鱼类行为检测方法，其特征在于，在利用所述灰度图像和背景模型做差提取第i帧中的前景目标图像之前，所述方法还包括：

检测第i帧的采集时刻属于预设的白天时段还是夜间时段；

若第i帧的采集时刻属于预设的白天时段，则确定采用第一模型作为所述背景模型，所述第一模型是基于kNN算法利用M个在预设的白天时段采集到的历史图像帧建立得到的；

若第i帧的采集时刻属于预设的夜间时段，则确定采用第二模型作为所述背景模型，所述第二模型是基于kNN算法利用N个在预设的夜间时段采集到的历史图像帧建立得到的。

3.根据权利要求1所述的鱼类行为检测方法，其特征在于，所述方法还包括：

若从所述二值化图像中分割得到的受试鱼类的检测坐标位置的数量超过预定阈值；

则更新所述背景模型，并利用更新后的背景模型执行所述灰度图像和背景模型做差提取第i帧中的前景目标图像的步骤。

Images