CN106529434B - 基于视觉注意力模型的鱼群个体目标跟踪方法 - Google Patents

Abstract

一种基于计算机视觉的鱼目标实时检测跟踪方法，包括以下步骤：1)以鲫鱼作为生物检测对象对其进行实时监测；2)手动获取目标鱼的初始轮廓及跟踪该鱼的视野范围；3)目标鱼轮廓的提取和匹配跟踪；3.1)根据前一时刻目标鱼轮廓计算新的注意力区域；3.2)根据目标鱼注意力区域搜索目标鱼的轮廓；3.2.1)目标鱼注意力区域内聚类并找到目标鱼类别；3.2.2)对聚类检测到的鱼目标作进一步匹配跟踪。本发明的优势：本发明的群目标跟踪算法不但可以对区域范围内鱼目标进行实时性地跟踪，而且当跟踪目标发生交互阻塞时，依然可以准确跟踪目标，从而有效地避免身份丢失和交换。

Description

基于视觉注意力模型的鱼群个体目标跟踪方法

技术领域

本发明涉及生物水质检测的应用，通过模拟视觉的注意力机制，提出了一种对鱼群内的个体目标实时跟踪的方法。

背景技术

在正常水质下，水生生物(如鱼类)行为具有固定的模式。当鱼类生活的水环境发生变化时，它的行为也会表现出异常。比如，已有研究表明在鱼生活的水环境中添加制剂(如草甘膦、重金属和合成药物等)，会引起游速、呼吸频率、尾部摆动频率等行为参数的异常变化。因此，通过监测水环境内鱼类的异常行为，能对水质的异常作出预警。

这类生物式水质预警系统往往是通过置于水样上的摄像头，自动采集水样中鱼类行为，然后通过分析鱼类行为的视频数据，对水质可能存在的异常作出预警。与传统的物化监测方法比较，具有成本低和反应速度快等特点。因此，该类生物式水质监测系统已经在诸如自来水公司、水库等饮用水源地的水质监控领域得到广泛应用。

目前，常用的生物式水质监测系统中的监测生物往往选择1条鱼，比如斑马鱼或者红鲫鱼等。只采用1条鱼作为生物监测样本，好处是可以容易得到其行为参数，不利的是1条鱼的异常行为可能是由该个体生理状态引起，而非水质变化所导致。也就是说，如果水样中的鱼行为发生异常，难以确定该异常行为是何种原因导致。

为此，生物式水质检测系统需要同时监测水样中多条鱼的行为。然而，监测鱼群的行为首先需要区别出群体内的个体，才能得到每一个个体行为参数。鱼群在水样中的游动不可避免的存在相互遮挡情况，尤其是监测系统往往都需要实时给出预警信息，这要求系统能实时的跟踪群体内每一个体。已有的鱼群跟踪系统都不能实现实时跟踪，这给基于群体行为的水质监测系统带来了较大的技术困难。为此，本发明基于视觉的注意力模型，提出一种可以实时跟踪鱼群每一个体的算法。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于视觉注意力模型的鱼群个体目标跟踪方法。

视觉系统在复杂场景下跟踪目标运动时，其视野的注意焦点不仅能追随跟踪目标的移动，还能忽略焦点外的目标。本发明从视觉的选择力注意机制得到启发，将目标跟踪抽象为两个关键的计算。第一个计算是确定选择力注意的范围，第二个是选定注意力范围的目标，或者说在注意力范围内排除非跟踪目标。这两个计算通过彼此的交互，从而实现对目标的跟踪，即第一个计算的输出是第二个计算的输入，而第二个计算的输出为第一个计算的输入。

本发明的基于视觉注意力模型的鱼群个体目标跟踪方法，采用的技术方案是：

1.一种基于选择力注意的鱼群目标跟踪方法，所述检测跟踪方法包括以下步骤：

1)以鲫鱼群(4到8条)作为监测对象，通过摄像头获取鱼群行为实时视频，从而实现对群内的每一个体进行实时监测(图1)。先以跟踪鱼群内的其中1条目标鱼为例来描述算法流程。

2)算法初始化，手动获取目标鱼的初始轮廓以及跟踪该鱼的视野范围。

2.1)得到目标鱼的初始轮廓f₀。首先，暂停当前视频流播放，获取当前帧内目标鱼的轮廓。为此，通过人工找到当前帧的目标鱼，经由鼠标点击该目标鱼体的任意一点，从而获取该点击的坐标。根据该坐标点的颜色(RGB，红绿蓝)值，利用最近邻方法找到整个目标鱼的轮廓，其计算过程如下(图4-a)：

A1)得到由鼠标点击的目标鱼轮廓内任一像素点的颜色(RGB)值x₀；

A2)得到该像素点x₀的8个相邻像素点颜色，若相邻像素点与x₀的颜色差值在某个给定的范围内(本发明中设定RGB阈值差为(30,30,30))，则将其与x₀像素点连通，否则不连通。计算如下：

src(x¹,y¹)_r-loDiff_r≤src(x,y)_r≤src(x¹,y¹)_r+upDiff_r (1)

src(x¹,y¹)_g-loDiff_g≤src(x,y)_g≤src(x¹,y¹)_g+upDiff_g (2)

src(x¹,y¹)_b-loDiff_b≤src(x,y)_b≤src(x¹,y¹)_b+upDiff_b (3)

其中src(x¹,y¹)代表像素点src(x,y)的8个相邻像素点，upDiff、loDiff分别代表各颜色的上下阈值范围。

A3)检测相邻位置，继续步骤A2)操作。这个过程持续到已检测区域边界范围内的所有像素为止。

2.2)经由f₀得到跟踪目标鱼的初始注意力区域r₀。首先，得到f₀的边界，然后计算各边界点的中心点(c₀₀+c₀₁+…c_0n)/n，其中c_0n表示f₀的第n个边界像素点。然后，利用opencv里的膨胀函数dilate(其中opencv是一个基于开源发行的跨平台计算机视觉库，膨胀算法是用一个3*3的结构元素去扫描二值图像的每一个像素，用结构元素与其覆盖的图像作“与”运算，如果都为0，结构图像的该像素为0，否则为1，结果使二值图像扩大一圈)，以中心点为中心，将目标鱼轮廓膨胀为原来四倍的大小作为注意力区域的边界点。各个注意力区域边界点形成的范围就定义为注意力区域r₀。目标鱼在下一帧的位置就从该注意力区域确定。

3)由于鱼在不停的游动，因此跟踪当前时刻目标鱼的轮廓，需要利用到前一刻该目标鱼的位置信息。此外，由于鱼群游动时，鱼体不可避免会存在相互交错。因此，确定当前帧目标鱼的轮廓就可能发生身份错位。也就是说，会把鱼群内的其它鱼误当成目标鱼。为此，本发明提出基于视觉注意力模型的跟踪方法，从而实现在鱼群发生交错时能准确跟踪到目标鱼。

根据视觉的选择力注意机制，本发明将目标跟踪抽象为两个关键的计算。第一个计算是确定选择力注意的范围，第二个计算则是选定注意力范围的跟踪目标。这两个计算的流程为：

B1)初始化得到目标鱼的初始轮廓f₀以及初始注意力区域r₀。

B2)计算当前时刻目标鱼的的注意力区域r_t，r_t＝U(f_t-1)，其中f_t-1为前一时刻目标鱼的轮廓，U为第一个计算使用到的函数(该函数计算过程说明见3.1)流程见图5。

B3)计算当前时刻目标鱼的轮廓f_t,f_t＝S(r_t)，其中r_t为t时刻计算得到的目标鱼注意力区域，S为第二个计算使用到的函数(该函数计算过程说明见3.2)，流程见图5。

B4)循环B2)和B3)，从而实现对目标鱼的跟踪。

3.1)U函数是根据当前鱼轮廓得到新的注意力区域。由于鱼的游动速度一定，每一帧间的位移一般不超过10像素。因此，利用opencv里的膨胀函数dilate，以目标鱼的中心点为中心，将目标鱼轮廓膨胀为原轮廓的四倍，并以此大小作为注意力区域的边界点。

3.2)S函数是根据目标鱼的注意力区域r_t，搜索到目标鱼的轮廓f_t。首先在r_t内采用最近邻算法找到其中所有的鱼轮廓area(B_t)。需要注意的是，area(B_t)除了目标鱼外，也有可能包括非目标鱼。因此，本发明提出由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，剩下的便是当前时刻鱼的轮廓f_t。

3.2.1)在注意力区域r_t采用最近邻算法进行聚类，得到鱼轮廓area(B_t)，流程如下：

C1)随机选取k(＝5)个中心点，即聚类类别数；

C2)遍历所有像素点的颜色，即RGB值。将每个像素点划分到最近的中心点中；

C3)计算聚类后每个类别的平均值，并作为新的中心点；

C4)重复C2-C3过程，直到这k个中心点不再变化(收敛)，或执行了足够多的迭代步数。

由于鱼的颜色类似。因此，聚类后的这k类中，有一类一定属于鱼(图3，其中白色区域为有效类别)。

然而这k类中，哪一类属于鱼的区域还需要进行进一步计算(图4-b)。其计算过程如下：

D1)得到t-1时刻目标鱼的二值图像，目标鱼的像素值为1，其它则为0；

D2)计算各个类别的二值图与t-1时刻目标鱼二值图像的相似程度，取最相

似的类别作为鱼轮廓。其中，dif越小，图像越相似。图像相似的计算为：

其中，表示第k类二值图，src_f_i表示t-1时刻目标鱼二值图像，i为图中每一个像素点的索引。

3.2.2)由于鱼群在游动时，不可避免相互发生交错。因此，area(B_t)中除了被跟踪的目标鱼外，也有可能包括非目标鱼。因此，可由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，其流程如下：

E1)得到t-1时刻鱼f_t-1的中心点c₁；

E2)得到鱼轮廓B_t的中心点c₂；

E3)连接中心点c₁和中心点c₂得到直接L；

E4)将从沿着L进行平移，其面积与面积重合最大时停止移动；

E5)重合面积最大的区域就是当前t时刻的目标鱼轮廓范围。

4)多条鱼的跟踪：首先手动获取多条目标鱼的初始轮廓，然后根据步骤2)和步骤3)分别跟踪每一条目标鱼便可同时实现多条鱼的跟踪。

本发明的优势：本发明的群目标跟踪算法不但可以对区域范围内鱼目标进行实时性地跟踪，而且当跟踪目标发生交互阻塞时，依然可以准确跟踪目标，从而有效地避免身份丢失和交换。

附图说明

图1设备装置及提取轮廓示意图；

图2轮廓检测流程图；

图3最近邻分类算法分类结果示意图,其中，图3a是原图，图3b是聚类类别；

图4聚类分类筛选鱼目标示意图，图4a是鼠标操作选取第一帧轮廓,图4b1是前一帧目标鱼,图4b2是当前时刻聚类类别；

图5是目标鱼提取跟踪整体流程示意图。

图6是目标鱼跟踪匹配过程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于选择力注意的鱼群目标跟踪方法，包括以下步骤：

1)以鲫鱼群(4到8条)作为监测对象，通过摄像头获取鱼群行为实时视频，从而实现对群内的每一个体进行实时监测(图1)。先以跟踪鱼群内的其中1条目标鱼为例来描述算法流程。

2)算法初始化，手动获取目标鱼的初始轮廓以及跟踪该鱼的视野范围。

2.1)得到目标鱼的初始轮廓f₀。首先，暂停当前视频流播放，获取当前帧内目标鱼的轮廓。为此，通过人工找到当前帧的目标鱼，经由鼠标点击该目标鱼体的任意一点，从而获取该点击的坐标。根据该坐标点的颜色(RGB，红绿蓝)值，利用最近邻方法找到整个目标鱼的轮廓(图4-a)。本发明中通过所有像素点到该鼠标点颜色R的差值在(-30，30)内，且G、B的颜色差值同样在(-30,30)内，则把鼠标点与此像素点连通，从而找到目标鱼轮廓。

2.2)经由f₀得到跟踪目标鱼的初始注意力区域r₀。首先，得到f₀的边界，然后计算各边界点的中心点(c₀₀+c₀₁+…c_0n)/n，其中c_0n表示f₀的第n个边界像素点。然后，利用opencv里的膨胀函数dilate，以中心点为中心，将目标鱼轮廓膨胀为原轮廓的四倍，并以此大小作为注意力区域的边界点。各个注意力区域边界点形成的范围就定义为注意力区域r₀。目标鱼在下一帧的位置就从该注意力区域确定。

3)由于鱼在不停的游动，因此跟踪当前时刻目标鱼的轮廓，需要利用到前一刻该目标鱼的位置信息。此外，由于鱼群游动时，鱼体不可避免会存在相互交错。因此，确定当前帧目标鱼的轮廓就可能发生身份错位。也就是说，会把鱼群内的其它鱼误当成目标鱼。为此，本发明提出基于视觉注意力模型的跟踪方法，从而实现在鱼群发生交错时能准确跟踪到目标鱼。

根据视觉的选择力注意机制，本发明将目标跟踪抽象为两个关键的计算。第一个计算是确定选择力注意的范围，第二个计算则是选定注意力范围的跟踪目标。这两个计算的流程为：

B1)初始化得到目标鱼的初始轮廓f₀以及初始注意力区域r₀。

B2)计算当前时刻目标鱼的的注意力区域r_t，r_t＝U(f_t-1)，其中f_t-1为前一时刻目标鱼的轮廓，U为第一个计算使用到的函数，该函数计算过程说明见3.1)，流程见图5。

B3)计算当前时刻目标鱼的轮廓f_t,f_t＝S(r_t)，其中r_t为t时刻计算得到的目标鱼注意力区域，S为第二个计算使用到的函数，该函数计算过程说明见3.2)，流程见图5。

B4)循环B2)和B3)，从而实现对目标鱼的跟踪。

3.1)U函数是根据当前鱼轮廓得到新的注意力区域。由于鱼的游动速度一定，每一帧间的位移一般不超过10像素。因此，利用opencv里的膨胀函数dilate，以目标鱼的中心点为中心，将目标鱼轮廓膨胀为原轮廓的四倍，并以此大小作为注意力区域的边界点。

3.2)S函数是根据目标鱼的注意力区域r_t，搜索到目标鱼的轮廓f_t。首先在r_t内采用最近邻算法找到其中所有的鱼轮廓area(B_t)。需要注意的是，area(B_t)除了目标鱼外，也有可能包括非目标鱼。因此，本发明提出由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，剩下的便是当前时刻鱼的轮廓f_t。

3.2.1)在注意力区域r_t采用最近邻算法进行聚类，得到鱼轮廓area(B_t)，流程如下：

C1)随机选取k(＝5)个中心点，即聚类类别数；

C2)遍历所有像素点的颜色，即RGB值。将每个像素点划分到最近的中心点中；

C3)计算聚类后每个类别的平均值，并作为新的中心点；

C4)重复C2-C3过程，直到这k个中心点不再变化(收敛)，或执行了足够多的迭代步数。

由于鱼的颜色类似。因此，聚类后的这k类中，有一类一定属于鱼(图3，其中白色区域为有效类别)。

然而这k类中，哪一类属于鱼的区域还需要进行进一步计算(图4-b)。其计算过程如下：

D1)得到t-1时刻目标鱼的二值图像，目标鱼的像素值为1，其它则为0；

D2)重计算各个类别的二值图与t-1时刻目标鱼二值图像的相似程度，取最相似的类别作为鱼轮廓。

3.2.2)由于鱼群在游动时，不可避免相互发生交错。因此，area(B_t)中除了被跟踪的目标鱼外，也有可能包括非目标鱼。因此，可由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，其流程如下：

E1)得到t-1时刻鱼f_t-1的中心点c₁；

E2)得到鱼轮廓B_t的中心点c₂；

E3)连接中心点c₁和中心点c₂得到直接L；

E4)将从沿着L进行平移，其面积与面积重合最大时停止移动；

E5)重合面积最大的区域就是当前t时刻的目标鱼轮廓范围。

4)多条鱼的跟踪：首先手动获取多条目标鱼的初始轮廓，然后根据步骤2)和步骤3)分别跟踪每一条目标鱼便可同时实现多条鱼的跟踪。

Claims (1)

1.一种基于选择力注意的鱼群目标跟踪方法，包括以下步骤：

1)以鲫鱼群作为监测对象，通过摄像头获取鱼群行为实时视频，从而实现对群内的每一个体进行实时监测；

2)算法初始化，手动获取目标鱼的初始轮廓以及跟踪该鱼的视野范围；

2.1)得到目标鱼的初始轮廓f₀；首先，暂停当前视频流播放，获取当前帧内目标鱼的轮廓；为此，通过人工找到当前帧的目标鱼，经由鼠标点击该目标鱼体的任意一点，从而获取该点击的坐标；根据该坐标点的颜色值，利用最近邻方法找到整个目标鱼的轮廓，其计算过程如下：

A1)得到由鼠标点击的目标鱼轮廓内任一像素点的颜色值x₀；

A2)得到该像素点x₀的8个相邻像素点颜色，若相邻像素点与x₀的颜色差值在某个给定的范围内，设定颜色值阈值差为(30,30,30)，则将其与x₀像素点连通，否则不连通；计算如下：

src(x¹,y¹)_r-loDiff_r≤src(x,y)_r≤src(x¹,y¹)_r+upDiff_r (1)

src(x¹,y¹)_g-loDiff_g≤src(x,y)_g≤src(x¹,y¹)_g+upDiff_g (2)

src(x¹,y¹)_b-loDiff_b≤src(x,y)_b≤src(x¹,y¹)_b+upDiff_b (3)

其中src(x¹,y¹)代表像素点src(x,y)的8个相邻像素点，upDiff、loDiff分别代表各颜色的上下阈值范围；

A3)检测相邻位置，继续步骤(A2)操作；这个过程延续到已检测区域边界范围内的所有像素为止；

2.2)经由f₀得到跟踪目标鱼的初始注意力区域r₀；首先，得到f₀的边界，然后计算各边界点的中心点(c₀₀+c₀₁+…c_0n)/n，其中c_0n表示f₀的第n个边界像素点；然后，利用opencv里的膨胀函数dilate，其中opencv是一个基于开源发行的跨平台计算机视觉库，膨胀算法是用一个3*3的结构元素去扫描二值图像的每一个像素，用结构元素与其覆盖的图像作“与”运算，如果都为0，结构图像的该像素为0，否则为1，结果使二值图像扩大一圈；以中心点为中心，将目标鱼轮廓膨胀为原来四倍的大小作为注意力区域的边界点；各个注意力区域边界点形成的范围就定义为注意力区域r₀；目标鱼在下一帧的位置就从该注意力区域确定；

3)根据视觉的选择力注意机制，将目标跟踪抽象为两个关键的计算；第一个计算是确定选择力注意的范围，第二个计算则是选定注意力范围的跟踪目标；这两个计算的流程为：

B1)初始化得到目标鱼的初始轮廓f₀以及初始注意力区域r₀；

B2)计算当前时刻目标鱼的的注意力区域r_t，r_t＝U(f_t-1)，其中f_t-1为前一时刻目标鱼的轮廓，U为第一个计算使用到的函数，该函数计算过程说明见步骤3.1；

B3)计算当前时刻目标鱼的轮廓f_t,f_t＝S(r_t)，其中r_t为t时刻计算得到的目标鱼注意力区域，S为第二个计算使用到的函数，该函数计算过程说明见步骤3.2；

B4)循环B2)和B3)，从而实现对目标鱼的跟踪；

3.1)U函数是根据当前鱼轮廓得到新的注意力区域；利用opencv里的膨胀函数dilate，以目标鱼的中心点为中心，将目标鱼轮廓膨胀为原轮廓的四倍，并以此大小作为注意力区域的边界点；

3.2)S函数是根据目标鱼的注意力区域r_t，搜索到目标鱼的轮廓f_t；首先在r_t内采用最近邻算法找到其中所有的鱼轮廓area(B_t)；需要注意的是，area(B_t)除了目标鱼外，也有可能包括非目标鱼；因此，提出由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，剩下的便是当前时刻鱼的轮廓f_t；

3.2.1)在注意力区域r_t采用最近邻算法进行聚类，得到鱼轮廓area(B_t)，流程如下：

C1)随机选取k(＝5)个中心点，即聚类类别数；

C2)遍历所有像素点的颜色，即RGB值；将每个像素点划分到最近的中心点中；

C3)计算聚类后每个类别的平均值，并作为新的中心点；

C4)重复C2-C3过程，直到这k个中心点不再变化，或执行了足够多的迭代步数；

由于鱼的颜色类似；因此，聚类后的这k类中，有一类一定属于鱼；

然而这k类中，哪一类属于鱼的区域还需要进行进一步计算；其计算过程如下：

D1)得到t-1时刻目标鱼的二值图像，目标鱼的像素值为1，其它则为0；

D2)计算各个类别的二值图与t-1时刻目标鱼二值图像的相似程度，取最相似的类别作为鱼轮廓；其中，dif越小，图像越相似；图像相似的计算为：

其中，表示第k类二值图，src_f_i表示t-1时刻目标鱼二值图像，i为图中每一个像素点的索引；

3.2.2)由于鱼群在游动时，不可避免相互发生交错；因此，area(B_t)中除了被跟踪的目标鱼外，也有可能包括非目标鱼；因此，由上一刻目标鱼轮廓f_t-1排除所有不属于目标鱼的轮廓，其流程如下：

E1)得到t-1时刻鱼f_t-1的中心点c₁；

E2)得到鱼轮廓B_t的中心点c₂；

E3)连接中心点c₁和中心点c₂得到直接L；

E4)将从沿着L进行平移，其面积与面积重合最大时停止移动；

E5)重合面积最大的区域就是当前t时刻的目标鱼轮廓范围；

4)多条鱼的跟踪：首先手动获取多条目标鱼的初始轮廓，然后根据步骤2)和步骤3)分别跟踪每一条目标鱼便可同时实现多条鱼的跟踪。