CN104766346A - 一种基于视频图像的斑马鱼跟踪方法 - Google Patents

Abstract

一种基于视频图像的斑马鱼跟踪方法，属信息技术领域。该方法通过斑马鱼图像的形状特点对斑马鱼的鱼头进行检测，根据鱼头区域的灰度分布计算鱼头方向，根据检测到的位置和方向信息，使用全局优化方法对相邻帧间的目标进行关联，完成斑马鱼的跟踪。方法包括目标检测和目标跟踪；目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算步骤；目标跟踪包括代价函数计算和全局优化关联步骤。有益效果在于：能同时检测出鱼头位置和方向信息，检测准确率高；无需用运动模型对鱼进行运动预测，简化了跟踪过程；能较好的处理鱼在运动中的遮挡问题，跟踪的稳定性高；能较好的处理斑马鱼跟踪中出现的问题，具有跟踪准确，鲁棒性较强的优点。

Description

一种基于视频图像的斑马鱼跟踪方法

技术领域：

本发明涉及一种基于视频图像的斑马鱼跟踪方法，属信息技术领域。

背景技术：

随着近年来计算机视觉技术的发展，基于视频图像的斑马鱼行为分析已经成为一个热门研究问题。要对斑马鱼进行行为分析，首先必须得到每一条游动的斑马鱼的轨迹信息，然后对这些信息进行统计分析来发现各种斑马鱼的运动规律，跟踪系统的鲁棒性和准确性直接影响着行为分析的效果。因此，斑马鱼跟踪是斑马鱼行为分析中的关键步骤。因为斑马鱼的身体结构具有非刚性特点，它的形状会不断发生变化。另外，斑马鱼在游动过程中存在相互遮挡的现象，这些问题为基于视频图像的斑马鱼跟踪带来了极大的困难。

目前常见的斑马鱼跟踪方法为基于运动信息的跟踪，它通过对检测到的每条斑马鱼进行运动状态的分析来预测下一时刻鱼的位置。该方法能够同时跟踪数量较多的斑马鱼，但是跟踪的准确性和稳定性不佳。

发明内容：

本发明的目的在于克服基于运行信息的斑马鱼跟踪的不足，提供一种简单而高效的斑马鱼跟踪方法。

本发明的基于视频图像的斑马鱼跟踪方法，其特征在于该方法由目标检测和目标跟踪两部分构成；其中：目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤；目标跟踪包括代价函数计算和全局优化关联两个步骤；该方法的具体步骤如下：

(1)运动区域分割

使用基于时域的中值滤波法对背景进行建模来获得运动区域，即：选取视频的前n帧图像的中值图像作为背景图像，通过对背景图像与输入图像的差分图像进行阈值化处理分割出图像中的运动区域：

$R_t=\{(x,y)\∈I||\underset{(I_1,...,I_n)}{\mathrm{median}}(x,y)-I_t(x,y)|>\}{T}_g$

式中：I_t(x,y)表示第t帧图像，表示由前n帧中值图像得到的背景图像，R_t(x,y)表示得到的运动区域；

(2)中心线提取

使用快速行进算法提取中心线，即：在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U，然后构造新的活动窄带，如此循环，得到整个平面上每个点的到达时间U，通过设置阈值T_u来消除中心线上的细小分支，最终的骨架S定义为：

C＝{(i,j)|max(|ux|,|uy|)＞T_u}

ux＝U(i+1,j)-U(i,j),uy＝U(i,j+1)-U(i,j)

上式中表示：当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于T_u时，该点为骨架点；T_u值越大，被忽略的细节越多；T_u值越小，被保留的细节越多；

(3)鱼头端点检测

中心线描述了运动区域的主体形状特征，线的端点表示鱼头或鱼尾位置；为排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点，对上一步得到的所有端点进行过滤，只有端点距离其最近交叉点的长度大于阈值T_l时，该端点才被认为是鱼头或鱼尾端点，否则过滤该端点；由于鱼的头部宽度大于尾部宽度，我们以得到的端点为圆心，以该点到区域边缘的最小距离为半径做圆，则圆的直径能够近似表示端点位置的区域宽度，然后通过设定的宽度阈值T_w来判定端点是否属于鱼头端点；

(4)鱼头方向计算

使用鱼头端点的Hessian矩阵来计算鱼头区域的方向，即：首先使用不同尺度生成的高斯模板对图像进行卷积运算，得到图像在各个尺度下的DoH响应值，然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵，设鱼头端点为(x,y),最大响应值的尺度为s，该尺度下对应的Hessian矩阵表示为：

$H(x,y,s)=\left[\begin{array}{cc}{L}_{\mathrm{xx}}& L_{\mathrm{xy}}\\ L_{\mathrm{xy}}& L_{\mathrm{yy}}\end{array}\right]$

令λ₁和λ₂(|λ₁|>|λ₂|)分别表示Hessian矩阵的特征值，对应的特征向量α₁和α₂分别表示(x,y)点曲率最大和最小的方向，则鱼头区域的方向表示为arctan(α₁/α₂)；

(5)代价函数计算

斑马鱼在相邻两帧图像中，同一目标的鱼头位置和方向的变化较小，不同目标的鱼头位置和方向变化较大，为在跟踪中使用这一规律，定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下：

$c_i{p}_j=\mathrm{\ω}\left(\frac{{\mathrm{pc}}_{\mathrm{ij}}}{{\mathrm{pc}}_{\max }}\right)+(1-\mathrm{\ω})\left(\frac{{\mathrm{dc}}_{\mathrm{ij}}}{{\mathrm{dc}}_{\max }}\right)$

这里pc_max和dc_max分别表示鱼在相邻帧间的最大方向变化和最大位置变化；pc_ij和dc_ij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化；ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重；

(6)全局优化关联

根据代价函数，利用全局优化方法对相邻帧目标进行关联，即：设前一帧目标数为n，当前帧目标数为m，则定义m行×n列的代价函数矩阵，并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联；如果已经关联过的前一帧目标，则从代价函数矩阵中删除该目标所在列；如果存在前一帧的目标没有被关联(n>m)，则在当前帧中保持该目标在前一帧中的状态；如果存在当前帧的目标没有被关联(n<m)，则忽略该目标；为减少关联数量，提高跟踪性能，定义一个最大遮挡距离阈值T_o，只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联，否则不进行关联。

本发明的有益效果在于：能够较好的处理斑马鱼跟踪中出现的问题，具有跟踪准确，鲁棒性较强的优点。

附图说明：

图1为本发明的流程示意图。

图2为中心线提取示意图。

图3为鱼头端点检测示意图。

具体实施方式：

本发明的技术方案包括目标检测和目标跟踪两部分；其中：目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤；目标跟踪包括代价函数计算和全局优化关联两个步骤；具体如下：

(1)目标检测

a.运动区域分割：由于实验室场景中一般只包含运动的斑马鱼和静态的背景，而且大多数斑马鱼在一个区域只停留较短的时间，因此，能使用基于时域的中值滤波法对背景进行建模来获得运动区域。首先选取视频的前n帧图像的中值图像作为背景图像，然后通过对背景图像与输入图像的差分图像进行阈值化处理即能分割出图像中的运动区域。

$R_t=\{(x,y)\&Element;I||\underset{(I_1,...,I_n)}{\mathrm{median}}(x,y)-I_t(x,y)|>\}{T}_g$

上式中I_t(x,y)表示第t帧图像，表示由前n帧中值图像得到的背景图像，R_t(x,y)表示得到的运动区域。

b.中心线提取：为了高效的描述鱼的线性结构，使用快速行进算法提取中心线。快速行进算法是是一种计算水平集函数的快速数值算法，它模拟水波在平面上的传播过程来计算波面到达每个像素点所需的时间。快速行进法基本思想是在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U，然后构造新的活动窄带。如此循环，就能够得到整个平面上每个点的到达时间U。快速行进算法具有运算速度快，鲁棒性较强的特点。由于运动区域形状复杂，通过快速行进法得到的区域中心线会带有毛刺，为了去除毛刺对后续分析的影响，我们设置阈值T_u来消除中心线上的细小分支。最终的骨架S定义为：

C＝{(i,j)|max(|ux|,|uy|)＞T_u}

ux＝U(i+1,j)-U(i,j),uy＝U(i,j+1)-U(i,j)

上式中表示当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于T_u时，该点为骨架点。T_u值越大，被忽略的细节越多；T_u值越小，被保留的细节越多。经过阈值处理后，鱼体中心线的主体结构得到保留，而细小的毛刺将被忽略。

c.鱼头端点检测：中心线描述了运动区域的主体形状特征，线的端点表示鱼头或鱼尾位置。无论中心线的形状如何变化，只要能够得到中心线的端点，这些端点一般均位于鱼头或鱼尾区域，为了进一步提高检测性能，排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点，我们对上一步得到的所有端点进行过滤，只有端点距离其最近交叉点的长度大于阈值T_l时，该端点才被认为是鱼头或鱼尾端点，否则过滤该端点。由于鱼的头部宽度大于尾部宽度，我们以得到的端点为圆心，以该点到区域边缘的最小距离为半径做圆，则圆的直径能近似表示端点位置的区域宽度，然后通过设定的宽度阈值T_w来判定端点是否属于鱼头端点。

d.鱼头方向计算：图像的Hessain矩阵能够描述图像的局部结构信息，Hessian矩阵的特征值和特征向量能用来表示区域正交方向上的曲率和方向。利用这一特性，我们使用鱼头端点的Hessian矩阵来计算鱼头区域的方向。首先使用不同尺度生成的高斯模板对图像进行卷积运算，得到图像在各个尺度下的DoH响应值，然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵。假设鱼头端点为(x,y),最大响应值的尺度为s，该尺度下对应的Hessian矩阵表示为：

$H(x,y,s)=\left[\begin{array}{cc}{L}_{\mathrm{xx}}& L_{\mathrm{xy}}\\ L_{\mathrm{xy}}& L_{\mathrm{yy}}\end{array}\right]$

令λ₁和λ₂(|λ₁|>|λ₂|)分别表示Hessian矩阵的特征值，对应的特征向量α₁和α₂分别表示(x,y)点曲率最大和最小的方向，则鱼头区域的方向能表示为arctan(α₁/α₂)。

(2)目标跟踪

a.代价函数计算：虽然斑马鱼的运动具有随机性，但是通过观察可以发现，在相邻两帧图像中，鱼头的运动状态与鱼头的位置和方向之间具有一定关系。这一关系主要表现为：在相邻两帧图像中，同一目标的鱼头位置和方向的变化较小，不同目标的鱼头位置和方向变化较大。为了在跟踪中使用这一规律，同时简化计算，定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下：

$c_i{p}_j=\mathrm{\&omega;}\left(\frac{{\mathrm{pc}}_{\mathrm{ij}}}{{\mathrm{pc}}_{\max }}\right)+(1-\mathrm{\&omega;})\left(\frac{{\mathrm{dc}}_{\mathrm{ij}}}{{\mathrm{dc}}_{\max }}\right)$

这里pc_max和dc_max分别表示鱼在相邻帧间的最大方向变化和最大位置变化；pc_ij和dc_ij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化；ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重。

b.全局优化关联：根据代价函数，利用全局优化方法对相邻帧目标进行关联。假设前一帧目标数为n，当前帧目标数为m，则定义m行×n列的代价函数矩阵，并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联。如果已经关联过的前一帧目标，则从代价函数矩阵中删除该目标所在列；如果存在前一帧的目标没有被关联(n>m)，则在当前帧中保持该目标在前一帧中的状态；如果存在当前帧的目标没有被关联(n<m)，则忽略该目标。为了减少关联数量，提高跟踪性能，我们定义一个最大遮挡距离阈值，只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联，否则不进行关联。

本发明方法实际应用表明：能够较好的处理斑马鱼复杂运动带来的跟踪问题，具有较好的跟踪效果，适宜于视频图像的斑马鱼跟踪。

Claims (1)

1.一种基于视频图像的斑马鱼跟踪方法，其特征在于该方法由目标检测和目标跟踪两部分构成；其中：目标检测包括运动区域分割、中心线提取、鱼头端点检测和鱼头方向计算四个步骤；目标跟踪包括代价函数计算和全局优化关联两个步骤；该方法的具体步骤如下：

(1)运动区域分割

使用基于时域的中值滤波法对背景进行建模来获得运动区域，即：选取视频的前n帧图像的中值图像作为背景图像，通过对背景图像与输入图像的差分图像进行阈值化处理分割出图像中的运动区域：

$R_t=\{(x,y)\&Element;I||\underset{(I_1,...,I_n)}{\mathrm{median}}(x,y)-I_t(x,y)|>T_g\}$

式中：I_t(x,y)表示第t帧图像，表示由前n帧中值图像得到的背景图像，R_t(x,y)表示得到的运动区域；

(2)中心线提取

使用快速行进算法提取中心线，即：在图像区域外围构造一个活动窄带,活动窄带内部点的到达时间U未定,当前传播边界利用逆向差分格式向内传播,凡是传播到的点,就冻结到达时间U，然后构造新的活动窄带，如此循环，得到整个平面上每个点的到达时间U，通过设置阈值T_u来消除中心线上的细小分支，最终的骨架S定义为：

C＝{(i,j)|max(|ux|,|uy|)＞T_u}

ux＝U(i+1,j)-U(i,j),uy＝U(i,j+1)-U(i,j)

上式中表示：当一个点与其领域x方向和y方向的两个点间到达时间U的最大差值大于T_u时，该点为骨架点；T_u值越大，被忽略的细节越多；T_u值越小，被保留的细节越多；

(3)鱼头端点检测

中心线描述了运动区域的主体形状特征，线的端点表示鱼头或鱼尾位置；为排除鱼体中除鱼头和鱼尾端点以外的其它分支上的端点，对上一步得到的所有端点进行过滤，只有端点距离其最近交叉点的长度大于阈值T_l时，该端点才被认为是鱼头或鱼尾端点，否则过滤该端点；由于鱼的头部宽度大于尾部宽度，我们以得到的端点为圆心，以该点到区域边缘的最小距离为半径做圆，则圆的直径能够近似表示端点位置的区域宽度，然后通过设定的宽度阈值T_w来判定端点是否属于鱼头端点；

(4)鱼头方向计算

使用鱼头端点的Hessian矩阵来计算鱼头区域的方向，即：首先使用不同尺度生成的高斯模板对图像进行卷积运算，得到图像在各个尺度下的DoH响应值，然后在鱼头端点位置搜索具有最大DoH响应值的尺度作为最终的Hessian矩阵，设鱼头端点为(x,y),最大响应值的尺度为s，该尺度下对应的Hessian矩阵表示为：

$H(x,y,s)=\left[\begin{array}{cc}{L}_{\mathrm{xx}}& L_{\mathrm{xy}}\\ L_{\mathrm{xy}}& L_{\mathrm{yy}}\end{array}\right]$

令λ₁和λ₂(|λ₁|>|λ₂|)分别表示Hessian矩阵的特征值，对应的特征向量α₁和α₂分别表示(x,y)点曲率最大和最小的方向，则鱼头区域的方向表示为arctan(α₁/α₂)；

(5)代价函数计算

斑马鱼在相邻两帧图像中，同一目标的鱼头位置和方向的变化较小，不同目标的鱼头位置和方向变化较大，为在跟踪中使用这一规律，定义当前帧中第i个目标和前一帧中第j个目标的代价函数如下：

$c_i{p}_j=\mathrm{\&omega;}\left(\frac{{\mathrm{pc}}_{\mathrm{ij}}}{{\mathrm{pc}}_{\max }}\right)+(1-\mathrm{\&omega;})\left(\frac{{\mathrm{dc}}_{\mathrm{ij}}}{{\mathrm{dc}}_{\max }}\right)$

这里pc_max和dc_max分别表示鱼在相邻帧间的最大方向变化和最大位置变化；pc_ij和dc_ij分别表示当前帧目标i和前一帧目标j之间的位置变化和方向变化；ω和(1-ω)分别表示位置变化率和方向变化率在代价函数中所占权重；

(6)全局优化关联

根据代价函数，利用全局优化方法对相邻帧目标进行关联，即：设前一帧目标数为n，当前帧目标数为m，则定义m行×n列的代价函数矩阵，并按照总代价函数值最小的原则选择当前帧中的n个目标与前一帧的目标进行关联；如果已经关联过的前一帧目标，则从代价函数矩阵中删除该目标所在列；如果存在前一帧的目标没有被关联(n>m)，则在当前帧中保持该目标在前一帧中的状态；如果存在当前帧的目标没有被关联(n<m)，则忽略该目标；为减少关联数量，提高跟踪性能，定义一个最大遮挡距离阈值T_o，只有当相邻帧目标间的距离变化小于最大遮挡距离时才进行数据关联，否则不进行关联。