CN103955688A - 一种基于计算机视觉的斑马鱼群检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的斑马鱼群检测与跟踪方法，属信息技术领域。该方法首先通过极值检测和局部区域椭圆拟合对鱼头区域进行定位和相关参数估算，然后结合卡尔曼预测和特征匹配对鱼群进行初始跟踪，最后根据检测和初始跟踪得到的信息，利用轨迹连接来处理鱼群运动中的遮挡问题。本发明的技术方案是：包括目标检测和目标跟踪两部分，其中目标检测包括尺度空间DoH斑点检测、椭圆拟合和椭圆约束三个步骤，目标跟踪包括运动预测、特征匹配和轨迹连接三个步骤。本发明的有益效果在于：能较好的处理鱼群的复杂运动带来的跟踪问题，具有跟踪准确，鲁棒性较强的优点。

Description

一种基于计算机视觉的斑马鱼群检测与跟踪方法

技术领域：

本发明涉及一种基于计算机视觉的斑马鱼群检测与跟踪方法，属信息技术领域。

背景技术：

自然界的群体运动因为其普遍性而倍受众多领域的科学家关注，作为生物群体中的一员，鱼群运动的力学及生物学机理中还有很多没有解决的问题,其中含有许多极具应用价值的领域。深入研究鱼群游动机理不仅对认识鱼类运动,而且对深入理解整个水生动物的生态与进化过程,系统了解其生物学作用和生命形式,都将具有重大的科学意义。

斑马鱼作为一种模式生物，它不仅具有与人类似的消化系统、循环系统等器官系统结构，而且和大多数哺乳动物享有基因和生理上的同源性，因此被广泛用于各个领域的研究。在各项研究中，通过获得斑马鱼群的运动轨迹，分析每条轨迹以及轨迹之间的关系，成为了研究斑马鱼群体行为的主要手段。但是，和其它生物群体不同，斑马鱼群的检测与跟踪中存在如下难点：

(1)检测方面：鱼的表观呈现变化的杆状，无法使用一个或几个模板来表示鱼的轮廓；其次，鱼在视频图像中的纹理信息较少，仅使用纹理特征来检测鱼的位置效果不佳；最后，当鱼群密度较大时，目标之间在图像中将会出现频繁的遮挡，很难从中检测出每个目标的位置。

(2)跟踪方面：鱼群在游动中存在复杂的运动状态，现有的运动模型不能完全模拟鱼群的复杂运动；其次，鱼群成员间相似度较高，使用单一特征很难对不同目标进行区分；最后，鱼群遮挡造成的检测错误将使跟踪轨迹出现断裂等问题，这将为跟踪带来很大的困难。

发明内容：

本发明的目的在于克服斑马鱼群检测与跟踪的难点，而提供一种基于计算机视觉的斑马鱼群检测与跟踪方法。

本发明的技术方案是：

包括目标检测和目标跟踪两部分，其中目标检测分为尺度空间DoH斑点检测、椭圆拟合和椭圆约束三个步骤，目标跟踪包括运动预测、特征匹配和轨迹连接三个步骤；具体如下：

(1)目标检测

a.尺度空间DoH斑点检测：设(x,y,s)表示图像在尺度空间的任一像素点，x,y为像素点坐标，s为像素点的尺度，该点对应的Hessian矩阵表示为：

上式中L_xx,L_yy,L_xy分别表示高斯滤波器和点(x,y)在尺度s上的卷积结果，该矩阵的行列式值表示为：

ΔM(x,y,s)＝(L_xx×L_yy-L_xy ²)×s⁴

多尺度斑点检测结果为Hessian矩阵在图像位置尺度和空间尺度的极值点：

(x₀,y₀,s₀)＝argminlocal_(x,y,s)(ΔM(x,y,s))

为了提高极值点的精确度，再对得到的每个极值点使用三线性插值方法来计算极值点对应的坐标和尺度值。

b.椭圆拟合：设极值点(x₀,y₀,s₀)对应的Hessian矩阵为M(x₀,y₀,s₀)，则矩阵的特征值和特征向量表示为：

上式中特征向量α₁,α₂分别对应特征值λ₁和λ₂(|λ₁|>|λ₂|)，特征值的比值记为r＝λ₁/λ₂。

以极值点(x₀,y₀)为中心，估算极值点区域的灰度变化并拟合椭圆。椭圆的长轴表示鱼头区域的长度，短轴width＝r×a表示鱼头区域的宽度，角度θ＝arctan(α_2x/α_1x)表示鱼头区域的朝向。椭圆区域和它周围区域的对比度变化表示为：

图3显示了椭圆拟合中的参数。

c.椭圆约束：椭圆拟合后将得到多个头部位置的候选区域，因为鱼头宽度值通常处于一定范围，首先使用宽度约束和尺度约束来去除因为噪音干扰产生的候选区域，宽度阈值和尺度阈值根据鱼的大小人工指定。经过宽度和尺度约束后，还有部分误检的候选区域，它们主要出现在鱼尾和鱼体部分，为了能够从这些候选区域中去除非头部区域，首先使用OUST方法对图像进行区域分割。设最佳分割阈值为t，ω₀和ω₁分别为背景像素和前景像素在图像中所占比例，u₀和u₁分别为背景和前景的灰度均值，则t值由下式确定：

t＝max[ω₀(t)×ω₁(t)×(u₀(t)-u₁(t))²]

根据分割的结果，使用对比度约束和角度约束来去除候选区域中的非头部区域。当对比度contrast>k×(u₁/u₀)时，该区域被认为是有效的头部区域，这里k作为对比度调节参数，这一约束能够有效去除鱼尾的候选区域。在对比度约束后，如果在一个分割区域中，存在两个以上候选区域cr₁,cr₂…cr_n，它们对应的方向角和对比度分别为θ₁,θ₂…θ_n和c₁,c₂…c_n，如果|θ_i-θ_j|<ε,1≤i,j≤n，说明有重复检测现象出现，在此情况下，保留对比度最大的候选区域删除其它候选区域。这一约束能够有效去除鱼体的候选区域，保证一个分割区域中只存在一个候选区域。

(2)目标跟踪

a.运动预测：首先使用卡尔曼滤波器进行运动预测，系统的状态方程和观测方程分别描述为：

x_k＝Fx_k-1+w_k

z_k＝H_kx_k+v_k

其中：F和H分表为目标的状态转移矩阵和观测矩阵，w_k和u_k分别代表状态变量和观测变量的噪声，它们均设为独立不相干的零均值高斯噪声。要估计k时刻的状态x_k，通过前一时刻估计的状态来预测当前时刻的状态。因为鱼在相邻图像间一般不会产生大的运动变化，这里用匀速运动模型来预测下一时刻的状态:

其中Δt表示相邻两帧图像的采样时间间隔,和分别表示k时刻模型对状态变量和误差协方差的先验估计；

在进行数据关联后，假设关联的观测变量为按照下式对当前时刻的状态进行更新：

其中，K_k为当前时刻的增益系数，它表示为：

对于卡尔曼滤波器预测失败的目标，使用补偿窗口对目标进行预测，补偿窗口为以椭圆中心为圆心，椭圆长轴的1.5倍长为半径的圆区域。

b.特征匹配：在上述运动预测中，需要进行状态变量和观测变量之间的数据关联，为了保证关联的准确性，使用特征匹配的方法完成数据关联。

首先进行特征计算，使用主动轮廓模型方法提取鱼头区域的轮廓，模型的初始区域为检测出的椭圆区域。设(x_i,y_i)为检测出的轮廓集合上任意一点，以椭圆中心点(x₀,y₀)为内端点，在方向角θ±15范围内寻找距离(x₀,y₀)最远的轮廓点(x_a,y_a)作为外端点。然后以垂直于内外端点连线的方向，作通过(x₀,y₀)的直线，设该直线与轮廓的交点为(x_b,y_b)和(x_c,y_c),则两点间的连线为分割线，分割线与轮廓组成的闭合区域为目标的匹配区域，内外端点连线及其方向为匹配区域的对齐线。

得到匹配区域之后，下一步将进行特征匹配。设k-1时刻得到的分割线为L_k-1,匹配区域为MR_k-1,则k时刻的分割线匹配为：

wm_k＝|Width(L_k)-Width(L_k-1)|

其中，Width表示分割线的宽度。

面积匹配为：

其中，△表示两个匹配区域根据对齐线对齐后的对称差集，Area表示区域的面积。

灰度匹配为：

其中，H表示区域的统计直方图。

最后的特征匹配结果为：

如果k时刻只有一个目标的匹配区域匹配成功，则把该目标作为关联的观测变量；如果有多个目标的匹配区域同时匹配成功，则选择特征值最小min(wm_k·am_k·gm_k)的一个目标作为关联的观测变量。

c.轨迹连接：鱼群在运动过程中会出现频繁的遮挡现象，这将引起检测错误；另外，由于鱼群运动的复杂性，会使运动预测失败。这两种情况都将出现相邻图像间的目标无法完全匹配而导致跟踪轨迹出现断裂。对这一问题，使用如下的轨迹处理方法：

如果发现关联观测变量的状态变量，则按照上述a步骤进行更新。并将该状态变量标记为有效状态。

如果发现没有关联观测变量的状态变量，则为该状态变量关联虚拟观测变量，按照进行更新，并将该状态变量标记为无效状态。若轨迹连续T₁帧还未关联到观测变量，则说明目标有很大概率停止不动，则将该轨迹标记为断裂状态，并且记录该轨迹最后一个有效状态变量关联的观测变量的出现时间et及位置ep为该轨迹的结束标记

如果发现没有关联状态变量的观测变量，首先对其进行跟踪的初始化操作，并且记录该观测变量的出现时间st及位置sp为新轨迹的开始标记，在接下来的跟踪中，该观测变量可能会出现两种情况:①如果观测变量是由错误检测产生的，则它将只会持续几帧时间，去除持续时间小于该长度的轨迹。②如果观测变量是由遮挡后重新出现的目标产生的，则将该轨迹标记为断裂状态。

经过上述处理后，进行轨迹连接操作，设Γ_i为一条有结束标记的断裂轨迹,Γ_j为一条有开始标记的断裂轨迹，定义如下约束：

时间约束：

上式表明：如果轨迹Γ_j的开始标记出现时间晚于轨迹Γ_i的结束标记出现时间，且时间差小于T₂，则两条轨迹满足时间约束。

空间约束

上式表明：如果轨迹Γ_i的结束位置与轨迹Γ_j的开始位置之间的距离小于D，则两条轨迹满足空间约束。

如果两条断裂轨迹同时满足时间约束和空间约束，则它们属于一条轨迹的轨迹片段。接下来，对这两条轨迹的结束标记和开始标记所表示的观测变量，按照上述b步骤进行特征匹配，如果匹配成功，则把两条轨迹进行连接。

本发明的有益效果在于：能较好的处理鱼群的复杂运动带来的跟踪问题，具有跟踪准确，鲁棒性较强的优点。

附图说明：

图1为本发明的实验装置示意图。

图2为本发明的流程示意图。

图3为轨迹连接示意图。

具体实施方式：

本实施例的检测与跟踪方法的具体步骤完全同发明内容部分描述的步骤。

本实施例的实验的装置示意图如图1所示，斑马鱼体长为2-3cm，鱼群游动在盛有浅水(3cm)的正方形鱼缸中，鱼缸大小为30cm×30cm。高速摄像机(IO Industries Flare4M180-CL)放置在鱼缸的正上方，保证能够拍摄到整个运动场景。摄像机的时间分辨率为60帧每秒，实验运行环境为：Intel I5 2.3GHz处理器，4G内存，GF9400显卡，Matlab2010。为了测试对不同鱼群的跟踪性能，我们选择不同密度的斑马鱼群分为三组：A1(10条)，A2(20条),A3(30条)，每组鱼群的视频包含500帧图像，视频图像的分辨率为2048×2040像素。

对每组鱼群视频的全部图像序列，首先进行多尺度DoH斑点检测，找出图像中的所有极值点，然后对每个极值点进行椭圆拟合，最后对所有椭圆进行宽度、尺度、对比度和角度约束，宽度阈值为16-24像素，尺度阈值为4-8，对比度参数k为0.3，角度参数θ为30度。在得到所有图像中的目标头部区域后，对图像这些目标区域进行运动预测和特征匹配，特征匹配参数σ_w，σ_a，σ_g分别设置为5,50,0.15，在得到的初始轨迹的基础上，使用轨迹连接进行断裂轨迹的连接，轨迹连接参数T₁，T₂，D分别设置为10,30,80。

本发明方法实际应用表明：不仅能较好的处理鱼群的复杂运动带来的跟踪问题，而且跟踪准确，鲁棒性较强。适宜斑马鱼群检测与跟踪。

Claims (1)

1.一种基于计算机视觉的斑马鱼群检测与跟踪方法，其特征在于该方法由目标检测和目标跟踪两部分构成，其中目标检测包括尺度空间DoH斑点检测、椭圆拟合和椭圆约束三个步骤，目标跟踪包括运动预测、特征匹配和轨迹连接三个步骤；该方法的具体步骤如下：

(1)尺度空间DoH斑点检测：设(x,y,s)表示图像在尺度空间的任一像素点，x,y为像素点坐标，s为像素点的尺度，该点对应的Hessian矩阵表示为：

上式中L_xx,L_yy,L_xy分别表示高斯滤波器和点(x,y)在尺度s上的卷积结果，该矩阵的行列式值表示为：

ΔM(x,y,s)＝(L_xx×L_yy-L_xy ²)×s⁴

尺度空间斑点检测结果为Hessian矩阵在图像位置尺度和空间尺度的极值点：

(x₀,y₀,s₀)＝argminlocal_(x,y,s)(ΔM(x,y,s))

再对得到的每个极值点使用三线性插值方法来计算极值点对应的坐标和尺度值；

(2)椭圆拟合：设极值点(x₀,y₀,s₀)对应的Hessian矩阵为M(x₀,y₀,s₀)，则矩阵的特征值和特征向量表示为：

上式中特征向量α₁,α₂分别对应特征值λ₁和λ₂(|λ₁|>|λ₂|)，特征值的比值记为r＝λ₁/λ₂；

以极值点(x₀,y₀)为中心，估算极值点区域的灰度变化并拟合椭圆；椭圆的长轴表示鱼头区域的长度，短轴width＝r×a表示鱼头区域的宽度，角度θ＝arctan(α_2x/α_1x)表示鱼头区域的朝向；椭圆区域和它周围区域的对比度变化表示为：

(3)椭圆约束：首先使用宽度约束和尺度约束来去除因为噪音干扰产生的候选区域，宽度阈值和尺度阈值根据鱼的大小人工指定；经过宽度和尺度约束后，用OUST方法对图像进行区域分割；设最佳分割阈值为t，ω₀和ω₁分别为背景像素和前景像素在图像中所占比例，u₀和u₁分别为背景和前景的灰度均值，则t值由下式确定：

t＝max[ω₀(t)×ω₁(t)×(u₀(t)-u₁(t))²]

根据分割的结果，当对比度contrast>k×(u₁/u₀)时，该区域被认为是有效的头部区域，这里k作为对比度调节参数；在对比度约束后，如果在一个分割区域中，存在两个以上候选区域cr₁,cr₂…cr_n，它们对应的方向角和对比度分别为θ₁,θ₂…θ_n和c₁,c₂…c_n，如果|θ_i-θ_j|<ε,1≤i,j≤n，保留对比度最大的候选区域删除其它候选区域；

(4)运动预测：使用卡尔曼滤波器进行运动预测，系统的状态方程和观测方程分别描述为：

x_k＝Fx_k-1+w_k

z_k＝H_kx_k+v_k

其中：F和H分表为目标的状态转移矩阵和观测矩阵，w_k和u_k分别代表状态变量和观测变量的噪声，它们均设为独立不相干的零均值高斯噪声；要估计k时刻的状态x_k，通过匀速运动模型来预测下一时刻的状态:

其中△t表示相邻两帧图像的采样时间间隔,和分别表示k时刻模型对状态变量和误差协方差的先验估计；

在进行数据关联后，设关联的观测变量为按照下式对当前时刻的状态进行更新:

其中，K_k为当前时刻的增益系数，它表示为：

对于卡尔曼滤波器预测失败的目标，使用补偿窗口对目标进行预测，补偿窗口为以椭圆中心为圆心，椭圆长轴的1.5倍为半径的圆区域；

(5)特征匹配：首先进行特征计算，使用主动轮廓模型方法提取鱼头区域的轮廓，模型的初始区域为检测出的椭圆区域；设(x_i,y_i)为检测出的轮廓集合上任意一点，以椭圆中心点(x₀,y₀)为内端点，在方向角θ±15度范围内寻找距离(x₀,y₀)最远的轮廓点(x_a,y_a)作为外端点；然后以垂直于内外端点连线的方向，作通过(x₀,y₀)的直线，设该直线与轮廓的交点为(x_b,y_b)和(x_c,y_c),则两点间的连线为分割线，分割线与轮廓组成的闭合区域为目标的匹配区域，内外端点连线及其方向为匹配区域的对齐线；

得到匹配区域之后，进行特征匹配；设k-1时刻得到的分割线为L_k-1,匹配区域为MR_k-1,则k时刻的分割线匹配为：

wm_k＝|Width(L_k)-Width(L_k-1)|

其中，Width表示分割线的宽度；

面积匹配为：

其中，△表示两个匹配区域根据对齐线对齐后的对称差集，Area表示区域的面积；

灰度匹配为：

其中，H表示区域的统计直方图；

最后的特征匹配结果为：

如果k时刻只有一个目标的匹配区域匹配成功，则把该目标作为关联的观测变量；如果有多个目标的匹配区域同时匹配成功，则选择特征值最小min(wm_k·am_k·gm_k)的一个目标作为关联的观测变量；

(6)轨迹连接：

首先对轨迹做如下处理：

如果发现关联观测变量的状态变量，则按照上述步骤(4)进行更新；并将该状态变量标记为有效状态；

如果发现没有关联观测变量的状态变量，则为该状态变量关联虚拟观测变量，按照进行更新，并将该状态变量标记为无效状态；若轨迹连续T₁帧还未关联到观测变量，则说明目标有很大概率停止不动，则将该轨迹标记为断裂状态，并且记录该轨迹最后一个有效状态变量关联的观测变量的出现时间et及位置ep为该轨迹的结束标记；

如果发现没有关联状态变量的观测变量，首先对其进行跟踪的初始化操作，并且记录该观测变量的出现时间st及位置sp为新轨迹的开始标记，在接下来的跟踪中，该观测变量会出现两种情况:①如果观测变量是由错误检测产生的，则它将只会持续几帧时间，去除持续时间小于该长度的轨迹；②如果观测变量是由遮挡后重新出现的目标产生的，则将该轨迹标记为断裂状态；

经过上述处理后，进行轨迹连接操作，设Γ_i为一条有结束标记的断裂轨迹,Γ_j为一条有开始标记的断裂轨迹，定义如下约束：

时间约束：

上式表明：如果轨迹Γ_j的开始标记出现时间晚于轨迹Γ_i的结束标记出现时间，且时间差小于T₂，则两条轨迹满足时间约束；

空间约束

上式表明：如果轨迹Γ_i的结束位置与轨迹Γ_j的开始位置之间的距离小于D，则两条轨迹满足空间约束；

如果两条断裂轨迹同时满足时间约束和空间约束，则它们属于一条轨迹的轨迹片段；接下来，对这两条轨迹的结束标记和开始标记所表示的观测变量，按照上述步骤(5)进行特征匹配，如果匹配成功，则把两条轨迹进行连接。