CN110702869A - 基于视频图像解析的鱼类应激回避行为水质监测方法 - Google Patents

Abstract

本发明公开了一种基于视频图像解析的鱼类应激回避行为水质监测方法，涉及水质监测领域，该方法基于生物行为与计算机视觉，研究水环境中生物行为与毒理学之间的对应关系，对高帧率、高清晰度的视频信息进行分析处理，得到鱼的运动轨迹以及骨架信息，通过对骨架信息和运动轨迹的进一步分析计算得到各类受水质情况影响的行为数据，解析并综合不同类别的行为数据得到可靠的水质监测结果。

Description

基于视频图像解析的鱼类应激回避行为水质监测方法

技术领域

本发明涉及水质监测领域，尤其是一种基于视频图像解析的鱼类应激回避行为水质监测方法。

背景技术

水是生命的源泉，饮用安全的水是人类生存的根本。我国水安全问题突出，水资源短缺，并且水环境突发性污染事故交织复杂。当前，饮用水的水质安全已经成为水环境的热点。水质直接关系到饮用水的安全，与人们的生产生活息息相关，但由于近年来，我国地表水水质的逐渐恶化，水源水质也存在较大的安全风险，常规污染物、有毒藻类、有毒污染物等经常会对水源造成污染，给饮用水水质安全带来极大的隐患。因此如何监测并对源水水质安全进行有效监测预警及识别溯源，成为当前水质监测的重要问题。

目前，水质监测和评估的方法主要有理化分析和生物监测两大类，与理化分析相比，生物监测方法具有直观可靠、经济实用以及准确全面等特点，能反应环境的长期污染情况，可用于水质的综合评价，同时兼备预警功能。生物监测方法主要是通过生物传感器监测水体内受试水生生物不同水平上的生物学指标变化，受试水生生物对有毒物质暴露的一种典型“应激”状态是突然“兴奋”，随着毒性的增加或累积，受试水生生物随后运动状态强度迅速减弱，乃至最终的死亡，因此，受试水生生物的运动行为的改变是实现水质有毒物质污染事件监测和预警的重要手段。在现有利用生物监测方法时，通常由实验人员通过眼睛观察受试水生生物的行为特征，受人的主观判断影响比较大，通常会导致获取的信息具有极大的不可靠性，从而导致不能及时有效地发现实验过程中出现的问题，并且还会耗费大量的人力和时间。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于视频图像解析的鱼类应激回避行为水质监测方法，本发明的技术方案如下：

一种基于视频图像解析的鱼类应激回避行为水质监测方法，该方法包括：

摄像头采集受试鱼类在装有待测水体的检测池中的原始视频信号并发送给视频采集卡；

对于原始视频信号中的每一个视频帧，视频采集卡从视频帧中提取出目标区域的图像信息和坐标信息并输出给工控机，目标区域是受试鱼类所在的区域，目标区域的坐标信息是目标区域在检测池的预定坐标系中的坐标信息；

工控机对目标区域的图像信息进行图像识别得到受试鱼类的骨架信息和受试鱼类在目标区域中的质心位置，并根据受试鱼类在目标区域中的质心位置以及目标区域的坐标信息确定受试鱼类的质心坐标；

工控机根据连续多个视频帧识别得到的骨架信息确定受试鱼类的组织器官运动频率，组织器官运动频率包括呼吸频率、胸鳍摆动频率和尾鳍摆动频率中的至少一种；

工控机根据连续多个视频帧识别得到的质心坐标确定受试鱼类的运动轨迹，并根据运动轨迹确定受试鱼类的运动模式数据，运动模式数据包括游动速度、游动加速度和回头次数中的至少一种；

利用第一预定算法对获取到的受试鱼类的每一类行为数据进行异常分析确定分析结果，受试鱼类的行为数据包括受试鱼类的组织器官运动频率和运动模式数据中的每一类数据；

利用第二预定算法对各类行为数据的分析结果进行综合，得到对待测水体的水质监测结果。

其进一步的技术方案为，检测池中设置有至少两条受试鱼类，目标区域的图像信息中包括至少两条受试鱼类的图像，则方法还包括：工控机计算目标区域的图像信息的交叉熵，并根据计算得到的交叉熵确定受试鱼类的聚散程度；则受试鱼类的行为数据还包括受试鱼类的聚散程度。

其进一步的技术方案为，根据连续多个视频帧识别得到的骨架信息确定受试鱼类的组织器官运动频率，包括：

根据单位时间内鱼鳃和骨架中心线的角度变化确定呼吸频率；

和/或，根据单位时间内胸鳍和骨架中心线之间的夹角变化确定胸鳍摆动频率；

和/或，根据单位时间内尾鳍和骨架中心线的交叉位移次数确定尾鳍摆动频率。

其进一步的技术方案为，根据运动轨迹确定受试鱼类的运动模式数据，包括：

根据单位时间内游动距离确定游动速度；

和/或，根据单位时间内游动距离确定游动速度，根据游动速度变化确定游动加速度；

和/或，根据运动轨迹的游动方向变化次数确定回头次数。

其进一步的技术方案为，第一预定算法采用AFD和Unwinding算法。

其进一步的技术方案为，第二预定算法采用Adaboost或Boosting算法。

本发明的有益技术效果是：

本申请公开了一种基于视频图像解析的鱼类应激回避行为水质监测方法，该方法基于生物行为与计算机视觉，研究水环境中生物行为与毒理学之间的对应关系，对高帧率、高清晰度的视频信息进行分析处理，得到鱼的运动轨迹以及骨架信息，通过对骨架信息和运动轨迹的进一步分析计算得到各类受水质情况影响的行为数据，解析并综合不同类别的行为数据得到可靠的水质监测结果。

附图说明

图1是本申请公开的鱼类应激回避行为水质监测方法的方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于视频图像解析的鱼类应激回避行为水质监测方法，请参考图1所示的流程图，该方法包括如下步骤:

S1，摄像头采集受试鱼类在装有待测水体的检测池中的原始视频信号并发送给视频采集卡。受试鱼类通常采用青鳉鱼。

考虑到每条鱼的个体存在差异，这主要表现为有的鱼自身比较强壮，而有的鱼个体比较弱，在毒性实验时，同一种污染物环境，强壮的鱼最终没有死，而弱小的鱼可能最终面临死亡的结果，为了消除这种差异性，通常在检测池中设置至少两条受试鱼类以进行综合判断，这也是符合毒理学平行实验的要求的。本申请以包含多条受试鱼类为例进行说明。

S2，视频采集卡接收摄像头采集到的原始视频信号。对于原始视频信号中的每一个视频帧，视频采集卡通过图像分割等方法从视频帧中识别出目标区域，目标区域是受试鱼类所在的区域，当检测池那个包含多条鱼时，识别出的目标区域也可能包含多条鱼。视频采集卡将目标区域的图像信息和坐标信息输出给工控机，目标区域的坐标信息是目标区域在检测池的预定坐标系中的坐标信息，该预定坐标系是以检测池为基础预先构建的虚拟坐标系。

本申请将目标区域的信息提取放在视频采集卡端完成，可以有效减少后续工控机的计算复杂度，使得该方法最终可以达到业务化运行的水平。同时考虑到实际工控机的性能通常不会太好，在软件设计的时候还采用了线程安全队列，视频采集卡输出的所有数据都先直接存储入线程安全队列中，软件最终每一分钟给出一个算法判断的结果，因此即使在短时间内处理不完采集到的数据，在一分钟内也可以将队列中的数据计算完成。从软件开发的技术角度来看，目前已经具备高通量实时处理的开发能力，且是完全可行的。

S3，工控机接收目标区域的图像信息和坐标信息，对目标区域的图像信息进行去噪处理，以消除噪声及冗余信息，避免噪声对后续图像识别带来的影响。

S4，工控机对目标区域的图像信息进行图像识别得到受试鱼类的骨架信息，骨架信息可以采用现有的边缘检测算法提取得到。

S5，工控机对目标区域的图像信息进行图像识别得到受试鱼类在目标区域中的质心位置，并根据受试鱼类在目标区域中的质心位置以及目标区域的坐标信息确定受试鱼类在检测池的预定坐标系中的质心坐标。

S6，在目标区域中包含多条受试鱼类的情况下，工控机计算目标区域的图像信息的交叉熵，并根据计算得到的交叉熵确定受试鱼类的聚散程度。根据实验可知，在中毒情况下，受试鱼类往往呈现聚集状态；在未中毒情况下往往呈现分散状态。

上述步骤S4-S6是并列的，没有执行先后关系。工控机按照时间顺序依次获取到各个视频帧中的目标区域的图像信息和坐标信息进行处理后，对连续多个视频帧的数据进行处理，包括：

S7，根据连续多个视频帧识别得到的骨架信息确定受试鱼类的组织器官运动频率，组织器官运动频率包括呼吸频率、胸鳍摆动频率和尾鳍摆动频率中的至少一种。本申请以上述三种频率均包括为例，首先确定受试鱼类的骨架信息中的关键点的信息，关键点包括鱼鳃、胸鳍和尾鳍，同时确定骨架中心线，则：根据单位时间内鱼鳃和骨架中心线的角度变化确定呼吸频率，根据单位时间内胸鳍和骨架中心线之间的夹角变化确定胸鳍摆动频率，根据单位时间内尾鳍和骨架中心线的交叉位移次数确定尾鳍摆动频率。从而可以得到呼吸频率随着时间的变化曲线、胸鳍摆动频率随着时间的变化曲线，以及尾鳍摆动频率随着时间的变化曲线。

S8，根据连续多个视频帧识别得到的质心坐标确定受试鱼类的运动轨迹。并根据运动轨迹确定受试鱼类的运动模式数据，运动模式数据包括游动速度、游动加速度和回头次数中的至少一种。本申请以同时包含上述三种运动模式数据为例，其计算方式是：根据单位时间内游动距离确定游动速度；根据游动速度变化确定游动加速度；根据运动轨迹的游动方向变化次数确定回头次数。由此可以得到游动速度随着时间的变化曲线、游动加速度随着时间的变化曲线，以及回头次数随着时间的变化曲线。

同样的，根据连续多个视频帧得到聚散程度得到聚散程度随着时间的变化曲线。

S9，利用第一预定算法对获取到的受试鱼类的每一类行为数据进行异常分析确定分析结果，受试鱼类的行为数据包括受试鱼类的组织器官运动频率和运动模式数据中的每一类数据。则得到受试鱼类的聚散程度的基础上，受试鱼类的行为数据还包括聚散程度。

在对行为数据进行异常分析时，FFT方法不能凸显行为数据的异常变化；小波变换虽然可以同时从时域和频域上对行为数据进行解析，但小波基的选择往往会受到个体的差异影响而不具有自适应性，对于实时精确时频分析比较困难；EMD的方法能够得到本征模态函数分量，但一维信号被分解后各个分量不具有可解释性。因此本申请中的第一预定算法采用AFD和Unwinding算法，经验证，这一算法可以有效解决上述常规算法存在的问题。AFD算法可以在时域和频域上同时分析一维的行为数据，来判断行为数据中是否有异常信息，如果有的话，可以初步判断鱼已经中毒了。

S10，利用第二预定算法对各类行为数据的分析结果进行综合，得到对待测水体的水质监测结果。根据实验发现，不同的水质情况会对受试鱼类的不同指标有影响，比如，重金属会对受试鱼类的呼吸频率产生极大地影响；而有机污染物主要会对受试鱼类的胸鳍摆动频率和尾鳍摆动频率产生影响；受试鱼类的其他的行为数据同样会在一定程度上反应出污染物对水质的影响情况。单一的行为数据的分析结果是不可靠的，因此本申请通过第二预定算法综合各类行为数据的分析结果，可以得到可靠的水质监测结果。本申请中的第二预定算法采用Adaboost或Boosting算法。

另一方面，鱼是具有生物钟的，晚上会睡觉，清晨会醒来，而晚上睡觉的过程与重金属污染物的作用效果几乎一致，早晨清醒的过程与有机污染物的作用效果也是一样的，本申请通过adaboost或者boosting算法也可以避免这种误判情况。

进一步的，为了符合毒理学实验的标准流程，在通过每条受试鱼类分析得到待测水体的水质监测结果后，综合各条受试鱼类的水质监测结果以得到最终的结果。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频图像解析的鱼类应激回避行为水质监测方法，其特征在于，所述方法包括：

摄像头采集受试鱼类在装有待测水体的检测池中的原始视频信号并发送给视频采集卡；

对于所述原始视频信号中的每一个视频帧，所述视频采集卡从所述视频帧中提取出目标区域的图像信息和坐标信息并输出给工控机，所述目标区域是所述受试鱼类所在的区域，目标区域的坐标信息是所述目标区域在所述检测池的预定坐标系中的坐标信息；

所述工控机对目标区域的图像信息进行图像识别得到受试鱼类的骨架信息和受试鱼类在目标区域中的质心位置，并根据受试鱼类在目标区域中的质心位置以及所述目标区域的坐标信息确定受试鱼类的质心坐标；

所述工控机根据连续多个视频帧识别得到的骨架信息确定受试鱼类的组织器官运动频率，所述组织器官运动频率包括呼吸频率、胸鳍摆动频率和尾鳍摆动频率中的至少一种；

所述工控机根据连续多个视频帧识别得到的质心坐标确定受试鱼类的运动轨迹，并根据所述运动轨迹确定受试鱼类的运动模式数据，所述运动模式数据包括游动速度、游动加速度和回头次数中的至少一种；

利用第一预定算法对获取到的受试鱼类的每一类行为数据进行异常分析确定分析结果，受试鱼类的所述行为数据包括受试鱼类的组织器官运动频率和运动模式数据中的每一类数据；

利用第二预定算法对各类行为数据的分析结果进行综合，得到对所述待测水体的水质监测结果。

2.根据权利要求1所述的方法，其特征在于，所述检测池中设置有至少两条受试鱼类，所述目标区域的图像信息中包括所述至少两条受试鱼类的图像，则所述方法还包括：所述工控机计算所述目标区域的图像信息的交叉熵，并根据计算得到的交叉熵确定受试鱼类的聚散程度；则所述受试鱼类的所述行为数据还包括受试鱼类的聚散程度。

3.根据权利要求1所述的方法，其特征在于，所述根据连续多个视频帧识别得到的骨架信息确定受试鱼类的组织器官运动频率，包括：

根据单位时间内鱼鳃和骨架中心线的角度变化确定所述呼吸频率；

和/或，根据单位时间内胸鳍和骨架中心线之间的夹角变化确定所述胸鳍摆动频率；

和/或，根据单位时间内尾鳍和骨架中心线的交叉位移次数确定所述尾鳍摆动频率。

4.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹确定受试鱼类的运动模式数据，包括：

根据单位时间内游动距离确定所述游动速度；

和/或，根据单位时间内游动距离确定所述游动速度，根据游动速度变化确定所述游动加速度；

和/或，根据所述运动轨迹的游动方向变化次数确定所述回头次数。

5.根据权利要求1-4任一所述的方法，其特征在于，所述第一预定算法采用AFD和Unwinding算法。

6.根据权利要求1-4任一所述的方法，其特征在于，所述第二预定算法采用Adaboost或Boosting算法。

Images