CN106338590A - 一种基于计算机视觉监测鱼类生命体征的水质监测方法 - Google Patents

Abstract

本发明提供了一种基于计算机视觉监测鱼类生命体征的在线水质监测方法，其利用一种非接触式的计算机视觉观察方法，以对水质变化敏感的青鳉鱼为模式生物，实时监测其生命体征，包括作为生理特征的呼吸频率和呼吸幅值，以及作为运动特征的胸鳍摆动频率、尾鳍摆动频率、摆动幅值。通过青鳉鱼生命体征来实现对水质的监测。本发明方法可靠且实现简单，具有实时性，可靠性等优点，能为生物式水质监测和预警的发展提供一定支持与参考。

Description

一种基于计算机视觉监测鱼类生命体征的水质监测方法

技术领域

本发明涉及图像处理、计算机视觉、模式识别领域，尤其涉及一种水生模式生物青鳉鱼的生命体征的在线水质监测方法。

背景技术

随着工业与农业的快速发展，污染物超标排放问题日趋严重，造成水质显著下降，严重影响了人们的日常生活。为了可持续发展，水污染的防治问题被提高到了关系到民族生死存亡的高度。对于水污染的防治问题，首先需要解决的则是对水质的有效监测。实现及时准确的水质安全预警，这对保障人民饮用水的安全和预防疾病的传播具有重要的现实意义。

传统的水质监测方法主要以理化方法为主，相关技术已较为成熟并能对水质情况进行准确的判断。然而，理化方法所耗成本高并且很难满足在线监测与预警的需求。为此，基于生物监测的水质监测方法被提出以期望实现具有成本低、准确性高且具有在线监测与预警功能的水质监测系统。生物监测主要利用生物对环境污染或环境变化所产生的反应来直接或间接的体现水质的污染情况。

对鱼类生物的监测是应用最早的生物监测方法之一。目前以鱼类为模式生物的水质监测系统主要是通过实时监控和分析鱼类生物个体或群落的行为，通过其运动参数来进行评判水质的污染程度。由于仅从鱼类的运动特征方面来评判水质的污染程度有一定的局限性，因此需要引进对鱼类生理特征的监测，从而从多方面综合评定水质污染程度。

发明内容

本发明的目的在于提供一种可实时监测青鳉鱼生命体征的水质监测方法。

本发明通过以下技术方案实现。

一种基于计算机视觉的水质监测方法，包括以下步骤：

图像采集，以获得对水质变化敏感的鱼类的图像；

前景检测，以获得所述鱼类的图像的二值化轮廓图；

生命体征检测，以获得所述鱼类的生命体征，从而评定水质的污染程度；

其中，所述生命体征包括运动特征和生理特征，所述运动特征包括所述鱼类的胸鳍和尾鳍摆动频率和/或摆动幅度，所述生理特征包括所述鱼类的呼吸频率和/或呼吸深度。

优选地，所述图像采集的步骤获得的所述图像包括：包述鱼类的胸鳍、尾鳍区域，以及鱼鳃组织区域。

优选地，所述前景检测的步骤进一步包括以下步骤：

预先保存无鱼状态下的背景图像；

采集包括所述鱼类的图像；

用所采集到的图像与背景图像进行图像矩阵减运算，得到背景剪除后的图像；

将背景剪除后的图像转换成灰度图，并运用OTSU（大津法）进行自适应二值化，分割得到所述鱼类的目标；

去除少量噪声。

优选地，所述运动特征检测包括以下步骤：建立骨架模型；骨架提取；定位骨架上关键点；计量所述鱼类的胸鳍和尾鳍摆动频率；

其中，所述关键点包括鱼头点、胸鳍参考点、胸鳍根部参考点、胸鳍末梢端点、鱼尾参考点1、鱼尾参考点2、鱼尾端点。

优选地，所述胸鳍摆动频率通过统计一段时间内胸鳍摆动角度变化计算；所述胸鳍摆动角度 θ通过胸鳍参考点A、胸鳍根部端点B、胸鳍末梢端点C三点组成向量、，进而利用向量夹角公式得到；同理，对于青鳉鱼鱼尾摆动角度，也可以据此方法得出；

所述胸鳍和尾鳍摆动频率，通过统计一段时间T内摆动角度的峰值数量，统计出摆动次数n，利用下式可计算得到：

其中f为摆动频率。

优选地，所述生理特征的检测包括观测每一时刻青鳉鱼鱼鳃所收缩或舒张状态，统计所述鱼类一段时间内的呼吸频率。

优选地，采用基于颜色特征的支持向量机鱼鳃估计算法估计所述鱼类的鱼鳃区域；所述基于颜色特征的支持向量机鱼鳃估计算法进一步包括：将RGB颜色空间转换至HSV、Lab、YCrCb颜色空间，取HSV中S通道和Lab中a通道以及YCrCb中的Cr通道组合成S、a、Cr三个特征向量进而作为SVM分类器的训练输入特征；根据鱼鳃轮廓，可计算其轮廓面积。

优选地，在时间T内，呼吸次数n根据鱼鳃轮廓面积在时间T内的极大/小值的个数来统计；所述鱼类的呼吸频率f _i 由如下式得出：

呼吸深度由下式计算得出：

其中A _{i max}和A _{i min}分别表示所述鱼类在第i个呼吸周期内鱼鳃轮廓面积的极大值和极小值。

优选地，所述对水质变化敏感的鱼类为青鳉鱼。

本发明还提供了一种用于实现根据以上技术方案中任一项所述的基于计算机视觉的水质监测方法的装置，包括：

目标容器，包括内容器与外容器；所述内容器用于限制青鳉鱼的活动范围以便图像采集，其紧靠所述外容器，且内容器四壁倾斜于底面法向量8度，可以用于适应摄像头视场角；所述外容器包含整个内容器，提供氧气支撑鱼类正常生存；

图像采集模块，采用基于单目摄像头的视频采集装置，并且摄像头安置于所述目标容器的正下方；

计算机系统，其从所述图像采集模块获得采集的图像，并对该图像进行处理。

本发明方法可靠且实现简单，能通过计算机视觉的方法非接触式地观测到青鳉鱼生命体征，具有实时性，可靠性等优点。

附图说明

图1为图像采集设备与青鳉鱼活动所在的目标容器。

图2为青鳉鱼图与其鱼鳃检测结果图。

图3为青鳉鱼图与鱼体检测结果图。

图4为青鳉鱼骨架模型图。

图5为青鳉鱼骨架提取结果图。

图6为骨架拆分图。

图7为胸鳍参考点定位图。

图8为胸鳍参考点定位算法描述流程图。

图9为青鳉鱼关键点提取结果图。

图10为青鳉鱼胸鳍摆动角度计量方法图。

具体实施方式

以下将结合附图来对本发明进行说明。

本发明是一种基于计算机视觉监测鱼类生命体征的在线水质监测方法，主要包括图像采集，前景检测，青鳉鱼生命体征检测的步骤。

如图1与图2所示，所述图像采集步骤采用了一种基于单目摄像头的视频采集装置，根据青鱂鱼的生物体征（鱼鳃、胸鳍和尾鳍）的分布情况，选择最合理的摄像头安置角度。传统的观测方式大多选择将摄像头安置于观测目标所在目标容器的正上方或者侧面，然而对青鳉鱼鱼鳃组织的观测，传统方式显然难以满足。发明人经长期反复的试验测试，发现将摄像头安置于目标容器的正下方可以准确的捕捉到青鳉鱼的胸鳍、尾鳍区域，且在大多数情况下能完整的捕捉到青鳉鱼鱼鳃组织区域。

所述的目标容器分为内容器与外容器两部分，所述内容器用于限制青鳉鱼的活动范围以便图像采集，其紧靠所述外容器，且内容器四壁倾斜于底面法向量8度，可以用于适应摄像头视场角。所述外容器包含整个内容器，包含3L水溶液，可以提供充足的氧气支撑青鳉鱼正常生存。

所述摄像头为德国TIS公司所生产的一款定焦CCD相机，并配置了一款12mm焦距的工业高清镜头，由美国AZURE Photonics公司开发，其视场角为12度，最高可将图像放大2倍且不会产生图像畸变。其分辨率为640*480；帧率最高为60fps；图像质量为32位彩色图。

图3为所述前景检测所得到的青鳉鱼目标，本发明前景检测方法包括如下步骤：

1)预先保存无鱼状态下的背景图像。

2)利用图像采集模块采集图像。

3)用图像采集模块所采集到的图像与背景图像进行图像矩阵减运算，得到背景剪除后的图像。

4)将背景剪除后的图像转换成灰度图，并运用OTSU（大津法）进行自适应二值化，分割得到青鳉鱼目标。

5) 去除少量噪声。

所述青鳉鱼生命体征检测包括青鳉鱼运动特征检测以及青鳉鱼生理特征检测。

所述青鳉鱼生理特征检测主要观测每一时刻青鳉鱼鱼鳃所收缩或舒张状态，并统计青鳉鱼一段时间内的呼吸频率和/或呼吸深度。如图2所示，由于青鳉鱼鱼鳃颜色特征明显，所以所述青鳉鱼生理特征检测采用基于颜色特征的支持向量机鱼鳃估计算法，以估计青鳉鱼鱼鳃区域。所述基于颜色特征的支持向量机鱼鳃估计算法，将RGB颜色空间转换至HSV、Lab、YCrCb颜色空间，取HSV中S通道和Lab中a通道以及YCrCb中的Cr通道组合成S、a、Cr三个特征向量进而作为SVM分类器的训练输入特征。所述HSV颜色空间分别表示色调Hue、饱和度Saturation和明度Value，饱和度S通道体现了色彩的鲜艳程度，可从像素点色彩鲜艳程度方面表征鱼鳃。所述Lab颜色空间中L表示明度Luminosity，a表示洋红至绿色的范围，b则表示黄色至蓝色的范围，从而颜色通道a可一定反映鱼鳃V形区域特点。所述YCrCb颜色空间中的Cr和Cb通道分别反映RGB输入信号中红色部分以及蓝色部分与RGB信号亮度值间的差异，从而Cr也能较好的代表鱼鳃区域颜色特征。所述SVM分类器以约15000个正样本和20000个负样本进行训练，得到青鳉鱼鱼鳃SVM分类器。利用SVM分类器可以准确的估计青鳉鱼鱼鳃区域。根据鱼鳃轮廓，可计算其轮廓面积。在时间T内，呼吸次数n可根据鱼鳃轮廓面积在时间T内的极大（小）值的个数来统计。青鱂鱼的呼吸频率f _i 可由如下式得出：

呼吸深度由下式计算得出：

其中A _imax和A _imin分别表示所述鱼类在第i个呼吸周期内鱼鳃轮廓面积的最大值和最小值。

所述青鳉鱼运动特征检测是观测一段时间内青鳉鱼胸鳍和尾鳍的摆动幅度和/或摆动频率。所述青鳉鱼运动特征检测包括建立青鳉鱼骨架模型、骨架提取、定位骨架上关键点、计量青鳉鱼胸鳍和尾鳍摆动频率四部分。如图4所示，所述青鳉鱼骨架模型由鱼体骨架和七个关键点组成，所述关键点分别为鱼头点、胸鳍参考点、胸鳍根部参考点、胸鳍末梢端点、鱼尾参考点1、鱼尾参考点2、鱼尾端点。所述骨架提取采用形态学细化算法，可得到单一的较为完整的鱼体骨架结构，如图5所示。所述定位骨架上关键点指在经过骨架提取得到的骨架上确定青鳉鱼骨架模型的关键点。由于鱼体骨架本身并不具有方向性，它仅仅是一系列单像素邻接点的集合。青鳉鱼骨架模型却是一个拓扑序列，由鱼头开始有序的延伸至鱼尾端点。所述胸鳍参考点如图6中所示，通过胸鳍参考点将青鳉鱼鱼体骨架图G进行拆分，生成以胸鳍参考点作为拓扑序列起始点的子图A和以鱼头为拓扑序列起始点的子图B，满足G=A∪B。如图7，结合青鳉鱼鱼鳃提取算法，计算鱼鳃区域与骨架点集的交集，从而能将鱼体骨架拆分成三部分：胸鳍参考点至鱼尾末端点的区域A；鱼鳃区域与骨架相交的区域B；鱼头所在的区域C，满足G=A∪B∪C。胸鳍参考点至鱼尾末端点所在的区域A所含点个数远大于鱼头所在区域C所含点数，即A>C。进而计算区域A与鱼鳃区域与骨架相交的区域B点集合间的欧氏距离如下式：

取鱼鳃区域与骨架相交的区域B中与胸鳍参考点至鱼尾末端点的区域A距离最近的点p作为胸鳍参考点，具体胸鳍参考点的确定如图8所示。如图9，所述胸鳍根部参考点、胸鳍末梢端点、鱼尾参考点1、鱼尾参考点2、鱼尾端点，通过遍历以所述胸鳍参考点为起始点所构建的有向连通图后，根据各关键点的拓扑特性依次确定。其中所述胸鳍根部参考点为出度大于2的点，所述胸鳍末梢端点为由胸鳍根部参考点为起始点，并且所在的连通序列中出度为0的点。所述鱼尾参考点1、鱼尾参考点2分别为所在的有向连通图中深度为总深度的1/2和3/4的点。所述鱼尾端点则为所在的有向连通图中按广度优先遍历最后遍历的点。所述胸鳍摆动频率通过统计一段时间内胸鳍摆动角度变化计算。所述胸鳍摆动角度θ通过胸鳍参考点A、胸鳍根部端点B、胸鳍末梢端点C三点组成向量、，如图10，进而利用向量夹角公式：

可以得到。

同理，对于青鳉鱼鱼尾摆动角度，也可以据此方法得出。所述胸鳍和尾鳍摆动频率，通过统计一段时间T内摆动角度的峰值数量，统计出摆动次数n，利用下式可计算得到:

其中f为摆动频率。所述青鳉鱼胸鳍和尾鳍摆动幅值计算方程如式：

其中φ _{i max}和φ _{i min}为某个周期i内，青鳉鱼胸鳍、尾鳍的最大摆动角度和最小摆动角度。

Claims (10)

1.一种基于计算机视觉的水质监测方法，包括以下步骤：

图像采集，以获得对水质变化敏感的鱼类的图像；

前景检测，以获得所述鱼类的图像的二值化轮廓图；

生命体征检测，以获得所述鱼类的生命体征，从而评定水质的污染程度；

其特征在于，所述生命体征包括运动特征和生理特征，所述运动特征包括所述鱼类的胸鳍和尾鳍摆动频率和/或摆动幅度，所述生理特征包括所述鱼类的呼吸频率和/或呼吸深度。

2.根据权利要求1所述的水质监测方法，其特征在于，所述图像采集的步骤获得的所述图像包括：包述鱼类的胸鳍、尾鳍区域，以及鱼鳃组织区域。

3.根据权利要求1所述的水质监测方法，其特征在于，所述前景检测的步骤进一步包括以下步骤：

预先保存无鱼状态下的背景图像；

采集包括所述鱼类的图像；

用所采集到的图像与背景图像进行图像矩阵减运算，得到背景剪除后的图像；

将背景剪除后的图像转换成灰度图，并运用OTSU（大津法）进行自适应二值化，分割得到所述鱼类的目标；

去除少量噪声。

4.根据权利要求1所述的水质监测方法，其特征在于，所述运动特征检测包括以下步骤：建立骨架模型；骨架提取；定位骨架上关键点；计量所述鱼类的胸鳍和尾鳍摆动频率；

其中，所述关键点包括鱼头点、胸鳍参考点、胸鳍根部参考点、胸鳍末梢端点、鱼尾参考点1、鱼尾参考点2、鱼尾端点。

5.根据权利要求4所述的水质监测方法，其特征在于，所述胸鳍摆动频率通过统计一段时间内胸鳍摆动角度变化计算；所述胸鳍摆动角度 θ通过胸鳍参考点A、胸鳍根部端点B、胸鳍末梢端点C三点组成向量、，进而利用向量夹角公式得到；同理，对于青鳉鱼鱼尾摆动角度，也可以据此方法得出；

所述胸鳍和尾鳍摆动频率，通过统计一段时间T内摆动角度的峰值数量，统计出摆动次数n，利用下式可计算得到：

其中f为摆动频率。

6.根据权利要求1所述的水质监测方法，其特征在于，所述生理特征的检测包括观测每一时刻青鳉鱼鱼鳃所收缩或舒张状态，统计所述鱼类一段时间内的呼吸频率。

7.根据权利要求6所述的水质监测方法，其特征在于，采用基于颜色特征的支持向量机鱼鳃估计算法估计所述鱼类的鱼鳃区域；所述基于颜色特征的支持向量机鱼鳃估计算法进一步包括：将RGB颜色空间转换至HSV、Lab、YCrCb颜色空间，取HSV中S通道和Lab中a通道以及YCrCb中的Cr通道组合成S、a、Cr三个特征向量进而作为SVM分类器的训练输入特征；根据鱼鳃轮廓，可计算其轮廓面积。

8.根据权利要求6所述的水质监测方法，其特征在于，在时间T内，呼吸次数n根据鱼鳃轮廓面积在时间T内的极大/小值的个数来统计；所述鱼类的呼吸频率f _i 由如下式得出：

呼吸深度由下式计算得出：

其中A _imax和A _imin分别表示所述鱼类在第i个呼吸周期内鱼鳃轮廓面积的极大值和极小值。

9.根据权利要求1-8中任一项所述的水质监测方法，其特征在于，所述对水质变化敏感的鱼类为青鳉鱼。

10.一种用于实现根据权利要求1-9中任一项所述的基于计算机视觉的水质监测方法的装置，其特征在于，包括：

目标容器，包括内容器与外容器；所述内容器用于限制青鳉鱼的活动范围以便图像采集，其紧靠所述外容器，且内容器四壁倾斜于底面法向量8度，可以用于适应摄像头视场角；所述外容器包含整个内容器，提供氧气支撑鱼类正常生存；

图像采集模块，采用基于单目摄像头的视频采集装置，并且摄像头安置于所述目标容器的正下方；

计算机系统，其从所述图像采集模块获得采集的图像，并对该图像进行处理。