CN111696138A - 一种自动对生物行为进行采集和跟踪以及分析的系统 - Google Patents

Abstract

本发明公开了一种自动对生物行为进行采集和跟踪以及分析的系统，其特征在于，包括：多模式视频数据采集系统，用于采集黑暗模式、灯光模式、自然光照模式下的生物行为视频数据；多目标跟踪系统，用于跟踪单个生物的形态和轨迹、多个生物的形态和轨迹以及多个生物相互接触期间的形态和轨迹；和生物行为分析系统，用于分析多个生物非接触时的行为以及接触时的行为。本发明的自动对生物行为进行采集和跟踪以及分析的系统，采用多模式多角度摄像头采集及分析实验生物视频数据，可以获得精确的生物形态跟踪以及生物行为识别，并且可以在多种模式下监测和分析实验生物的行为。

Description

一种自动对生物行为进行采集和跟踪以及分析的系统

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种自动对生物行为进行采集和跟踪以及分析的系统。

背景技术

科学实验中往往需要对生物的行为进行细致的分析研究，以此来探讨在特定情况下实验生物的反应，例如在药物研发过程中，探讨药物等对实验生物的作用。为了获得准确且可信的数据，往往需要对大批量的科学实验中的实验生物行为进行分析，因此需要进行大量的实验。传统的采用人工观测及记录生物实验数据的方法则有三个方面的缺陷：1)实验记录具有主观性；2)实验过程花费人力资源多；3)人眼易疲劳易产生记录偏差。而利用计算机视觉技术对生物行为实验进行监测及记录，有四个方面的优势：1)减少人工工作量，增加实验通量；2)有利于标准化实验策略及操作，减少实验误差；3)减少实验记录的认为偏差；4)获取人工方法不能观测到的行为数据。

2001年，荷兰Noldus提出EthoVision系统用于采集及分析小鼠等实验生物的行为。该系统为一整套摄像头、实验台、图像获取、计算机和算法组成的系统。其系统特点是：(1)从采集设备来看，该系统采用单CCD摄像头对准实验台上方采集实验生物视频数据；(2)从单个个体行为分析算法来看，该系统对实验生物目标进行背景减除后，跟踪生物的质心实现个体行为分析(如站立，移动等)；(3)从多个个体跟踪算法来看，该系统必须对生物个体进行颜色标记，然后通过颜色分析算法跟踪每个个体的位置，且当多个个体接触时，跟踪会出现失败的情况；(4)从多个个体行为分析来看，该系统不提供多个个体交互行为自动分析，且对多个个体接触的情况不提供行为分析结果。

然而，EthoVision系统没有多模式的数据采集和分析，也没有从多角度采集实验生物的视频数据，因此不能获取更细致的生物行为分析能力；对单个生物的行为分析，该系统分析算法只跟踪了生物目标的质心，不能对生物形态进行自动识别；对多个生物的行为分析，该系统要求采用人工标记的方法标记生物，不能对未标记的多个生物行为进行识别，而且对多个生物接触时的行为不能识别。

发明内容

基于此，有必要提供一种自动对生物行为进行采集和跟踪以及分析的系统，以解决不能更细致地进行生物行为分析，和不能对未标记的多个生物行为进行识别的问题。

一种自动对生物行为进行采集和跟踪以及分析的系统，其特征在于，系统包括：

多模式视频数据采集系统，包括正面透明且上方无盖的实验生物承载平台、两个摄像头、照明灯、一个可透气且可开合的暗箱，以及控制器和计算机，多模式视频数据采集系统用于采集黑暗模式、灯光模式、自然光照模式下的生物行为视频数据；

多目标跟踪系统，包括前景提取模块、生物目标数量计算模块、锚点提取模块、单个目标椭圆适配及跟踪模块、多个目标接触过程跟踪模块，以及轨迹生成模块，多目标跟踪系统用于跟踪单个生物的形态、多个生物的形态以及多个生物相互接触期间的形态；和

生物行为分析系统，包括椭圆模型参数提取模块、交互行为特征设计模块和行为识别模块，生物行为分析系统用于分析多个生物非接触时的行为以及接触时的行为。

在其中一个实施例中，两个摄像头均带有夜视功能，一个摄像头固定于实验生物承载平台上方并正对实验生物承载平台，另一个摄像头固定于实验生物承载平台前方并正对实验生物承载平台，照明灯置于实验生物承载平台的无盖面的四角，照明灯开启时，灯光直射实验生物承载平台的底部。

在其中一个实施例中，在黑暗模式下，实验生物承载平台置于暗箱内，暗箱闭合，照明灯关闭，摄像头启动夜视功能进行视频数据采集；在灯光模式下，实验生物承载平台置于暗箱内，暗箱闭合，照明灯开启，摄像头正常启动并进行视频数据采集；在自然光照模式下，实验生物承载平台置于暗箱内且暗箱打开，或者实验生物承载平台置于暗箱外，照明灯关闭，摄像头正常启动并进行视频数据采集。

在其中一个实施例中，两个摄像头同时采集到的图像数据被合并为一帧数据，采集到的数据自动实时保存，每个设定时段的视频保存为一个单独的视频文件。

在其中一个实施例中，前景提取模块用于将未放入生物目标之前采集到的图像设为背景图像B；将采集的生物视频的每一帧图像M与背景图像B分别帧差并二值化得到分割图像序列seg[m](m＝1～M)，二值化阈值设定为50；对分割图像序列的每一帧进行开操作，并对图像中连通区域像素面积小于阈值minArea的区域去除。

在其中一个实施例中，生物目标数量计算模块用于将相邻两帧中，有重叠的连通区域设置为关联区域，即：

其中，I(·)表示像素个数，comp表示连通区域，λ为系数；

生物目标数量计算模块还用于在获得所有前景区域的关联后，随机选取10帧，设置帧中连通区域与目标总数相等的连通区域目标数量为1，根据连通区域的关联性，计算所有帧中每一个连通区域的目标数量。

在其中一个实施例中，锚点提取模块用于对连通区域提取边缘轮廓，得到逆时针的轮廓点集合C，对每个轮廓上点计算曲率，曲率的计算采用如下公式：

其中

是向量

的方向，取值范围为(-π,π],同样α的取值范围也为(-π,π]。p⁺点是p点逆时针方向相隔k的点，p^-点是p点顺时针方向相隔k的点，k为常数，在本发明中，取0.1|C|；

锚点提取模块还用于获取曲率最大的点作为尖锐锚点，相邻两个尖锐锚点之间等间隔取点，得到侧边边缘锚点，尖锐锚点与侧边边缘锚点组成锚点集合A。

在其中一个实施例中，单个目标椭圆适配及跟踪模块用于将所有锚点集合A，采用最小二乘法对轮廓点进行椭圆拟合，获得椭圆模型参数:

s＝(x,y,a,b,γ)

其中，x,y为中心坐标，a为长半轴长度，b为短半轴长度，γ为方向。

在其中一个实施例中，多个目标接触过程跟踪模块用于将相邻两帧的锚点集合A_t和A_t+1采用两步匹配算法进行锚点的二分图匹配，第一步匹配尖锐锚点，第二步匹配侧边边缘锚点，匹配完成后分配A_t+1中锚点的身份；

将A_t+1中的相同身份的锚点采用最小二乘法进行椭圆拟合，获得椭圆参数；

依据锚点与椭圆的距离，重新调整A_t+1中锚点的身份；以及

一帧一帧地进行前述的操作，直至接触过程的所有帧都匹配完全，最终采用锚点的身份分配结果作为目标身份匹配。

在其中一个实施例中，轨迹生成模块用于联合单个目标椭圆适配及跟踪模块的结果和多个目标接触过程跟踪模块的结果，获得最终的跟踪轨迹及每一帧图像中椭圆的适配结果。

在其中一个实施例中，椭圆模型参数提取模块直接应用多目标跟踪系统输出的结果，将质心点与正向极点(即最大曲率的尖锐锚点相近的椭圆极值点)之间向量的方向作为正向，另一个椭圆极值点则作为反向极点。

在其中一个实施例中，交互行为特征设计模块按照下述计算式设计生物目标的交互行为特征：

(1)在第t帧中，目标i和目标j距离速度特征，包括:

[6]正向反向距离特征，即：

其中，(xⁿ,yⁿ)为正向极点，(x^t,yⁿ)为反向极点；

[7]质心距离特征，即：

其中，(x^c,y^c)为质心点；

[8]正向极点距离特征，即：

[9]质心运动速度特征，即：

[10]正向极点运动特征，即：

(2)第t帧中，形状特征包括：

[3]长短轴比特征，即：

[4]面积比特征，即：

(3)第t帧中，角度变化特征包括：

[1]两个目标之间的方向差值特征，即：

Δθ(t)＝|θ_i(t)-θ_j(t)|

[2]每个目标相邻两帧之间角度变化特征，即：

Δθ_i(t)＝θ_i(t)-θ_i(t-1)

(4)第t帧中，两个目标之间的相对位置特征，即：

其中，<·,·>表示内积，c_i表示目标i的质心坐标。

在其中一个实施例中，行为识别模块采用隐马尔科夫模型作为分类器对生物行为进行识别。

上述自动对生物行为进行采集和跟踪以及分析的系统，采用多模式多角度摄像头采集及分析实验生物视频数据，可以获得精确的生物形态跟踪以及生物行为识别，并且可以在多种模式下监测和分析实验生物的行为。本发明可以大大提高实验效率，降低人力成本，减少人为误差，提高实验准确度和可信性。

附图说明

图1为一个实施例中的自动对生物行为进行采集和跟踪以及分析的系统的结构框图；

图2为一个实施例中的多模式视频数据采集系统的结构框图；

图3为一个实施例中的多模式视频数据采集系统的采集结果示意图；和

图4为一个实施例中的多目标跟踪系统的跟踪结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，在一个实施例中提供了一种自动对生物行为进行采集和跟踪以及分析的系统，该系统可以但不限于应用例如在检测治疗帕金森综合症等药物有效性的实验场景。

该自动对生物行为进行采集和跟踪以及分析的系统包括多模式视频数据采集系统100、多目标跟踪系统200和生物行为分析系统300。

具体地，多模式视频数据采集系统100包括正面透明且上方无盖的实验生物承载平台101、两个摄像头102a和102b、四个LED照明灯103a、103b、103c和103d、一个可透气且可开合的暗箱104，以及控制器105和计算机106。两个摄像头均带有夜视功能，一个摄像头102a固定于实验生物承载平台101上方并正对实验生物承载平台101，另一个摄像头102b固定于实验生物承载平台101前方并正对实验生物承载平台101，四个照明灯分别置于实验生物承载平台101的无盖面的四角，照明灯开启时，灯光直射实验生物承载平台101的底部。计算机106通过控制器105控制照明灯的开启和关闭，以及控制摄像头的启动和关闭。

多模式视频数据采集系统用于采集黑暗模式、灯光模式、自然光照模式下的生物行为视频数据。在黑暗模式下，实验生物承载平台置于暗箱内，暗箱闭合，照明灯关闭，摄像头启动夜视功能进行视频数据采集；在灯光模式下，实验生物承载平台置于暗箱内，暗箱闭合，照明灯开启，摄像头正常启动并进行视频数据采集；在自然光照模式下，实验生物承载平台置于暗箱内且暗箱打开，或者实验生物承载平台置于暗箱外，照明灯关闭，摄像头正常启动并进行视频数据采集。前两种模式可用于长时间监测生物行为时，模拟昼夜光照变化，但昼夜时长可调节；后一种模式可用于真实昼夜光照变化的情况下长时间监测生物行为。

通过采用实时操作使得不同传感器间数据同步，两个摄像头同时采集到的图像数据被合并为一帧数据，采集到的数据自动实时保存，每个设定时段的视频保存为一个单独的视频文件。在本实施例中，设定时段为半个小时，即每半个小时的视频保存为一个单独的视频文件。在不同的实验中，设定时段可以根据实验需要调整。

多目标跟踪系统200包括前景提取模块201、生物目标数量计算模块202、锚点提取模块203、单个目标椭圆适配及跟踪模块204、多个目标接触过程跟踪模块205，以及轨迹生成模块206。多目标跟踪系统200用于跟踪单个生物的形态、多个生物的形态以及多个生物相互接触期间的形态。

前景提取模块201将未放入生物目标之前采集到的图像设为背景图像B；将采集的生物视频的每一帧图像M与背景图像B分别帧差并二值化得到分割图像序列seg[m](m＝1～M)，二值化阈值设定为50；对分割图像序列的每一帧进行开操作，并对图像中连通区域像素面积小于阈值minArea的区域去除。在本实施例中，实验对象为小鼠，minArea取2000。

生物目标数量计算模块202将相邻两帧中，有重叠的连通区域设置为关联区域，即：

其中，I(·)表示像素个数，comp表示连通区域，λ为系数；

生物目标数量计算模块202还用于在获得所有前景区域的关联后，随机选取10帧，设置帧中连通区域与目标总数相等的连通区域目标数量为1，根据连通区域的关联性，计算所有帧中每一个连通区域的目标数量。

锚点提取模块203采用锚点提取算法，锚点提取包括尖锐锚点的提取与侧边边缘锚点的提取，尖锐锚点的提取是通过计算连通区域的边缘轮廓点曲率，寻找曲率极大值点作为尖锐锚点；侧边边缘锚点是通过在相邻两个尖锐锚点间等间隔取点。锚点提取算法利用轮廓点曲率提取尖锐锚点以及利用尖锐锚点提取侧边边缘锚点，以实现生物部位的快速提取，提升算法效率。

具体地，锚点提取模块203对连通区域提取边缘轮廓，得到逆时针的轮廓点集合C，对每个轮廓上点计算曲率，曲率的计算采用如下公式：

其中

是向量

的方向，取值范围为(-π,π],同样α的取值范围也为(-π,π]。p⁺点是p点逆时针方向相隔k的点，p^-点是p点顺时针方向相隔k的点，k为常数，在本发明中，取0.1|C|.

锚点提取模块203还用于获取曲率最大的点作为尖锐锚点，相邻两个尖锐锚点之间等间隔取点，得到侧边边缘锚点，尖锐锚点与侧边边缘锚点组成锚点集合A。

单个目标椭圆适配及跟踪模块204将所有锚点集合A，采用最小二乘法对轮廓点进行椭圆拟合，获得椭圆模型参数:

s＝(x,y,a,b,γ)

其中，x,y为中心坐标，a为长半轴长度，b为短半轴长度，γ为方向。在本实施例中，采用小鼠鼻尖的方向作为正向。

多个目标接触过程跟踪模块205采用多个目标接触过程锚点流与椭圆结合的跟踪算法，接触过程中采用锚点的跟踪来最终实现生物目标的跟踪，采用椭圆拟合的方法对锚点进行分组以及对锚点标签进行修正，并对接触过程中生物目标的形态用拟合的椭圆进行跟踪。多个目标接触过程锚点流与椭圆结合的跟踪算法利用锚点的跟踪实现多个生物目标跟踪，以实现接触过程中多个目标的快速跟踪，提升算法效率，同时利用椭圆拟合的方法实现锚点的分组以及锚点标签的修正，以实现提升算法准确率的目的。

具体地，多个目标接触过程跟踪模块205将相邻两帧的锚点集合A_t和A_t+1采用两步匹配算法进行锚点的二分图匹配，第一步匹配尖锐锚点，第二步匹配侧边边缘锚点，匹配完成后分配A_t+1中锚点的身份；将A_t+1中的相同身份的锚点采用最小二乘法进行椭圆拟合，获得椭圆参数；依据锚点与椭圆的距离，重新调整A_t+1中锚点的身份；以及一帧一帧地进行前述的操作，直至接触过程的所有帧都匹配完全，最终采用锚点的身份分配结果作为目标身份匹配。

轨迹生成模块206联合单个目标椭圆适配及跟踪模块204的结果和多个目标接触过程跟踪模块205的结果，获得最终的跟踪轨迹及每一帧图像中椭圆的适配结果。

生物行为分析系统300包括椭圆模型参数提取模块301、交互行为特征设计模块302和行为识别模块303。生物行为分析系统300用于分析多个生物非接触时的行为以及接触时的行为。

利用椭圆对接触过程中生物目标的形态进行描述及跟踪，实现对接触过程中多个生物目标的状态估计，可以提高行为分析过程中的准确率。

椭圆模型参数提取模块301直接应用多目标跟踪系统200输出的结果，将质心点与正向极点(即最大曲率的尖锐锚点相近的椭圆极值点，本实施例中为小鼠鼻尖点)之间向量的方向作为正向，另一个椭圆极值点则作为反向极点(本实施例中为小鼠尾部点)。

交互行为特征设计，包含有距离速度特征、形状特征、角度变化特征、相对位置特征等多种类特征，可以实现行为识别准确率的提升。

交互行为特征设计模块302按照下述计算式设计生物目标的交互行为特征：

(1)在第t帧中，目标i和目标j距离速度特征，包括:

[11]正向反向距离特征，即：

其中，(xⁿ,yⁿ)为正向极点，(x^t,yⁿ)为反向极点；

[12]质心距离特征，即：

其中，(x^c,y^c)为质心点；

[13]正向极点距离特征，即：

[14]质心运动速度特征，即：

[15]正向极点运动特征，即：

(2)第t帧中，形状特征包括：

[5]长短轴比特征，即：

[6]面积比特征，即：

(3)第t帧中，角度变化特征包括：

[1]两个目标之间的方向差值特征，即：

Δθ(t)＝|θ_i(t)-θ_j(t)|

[2]每个目标相邻两帧之间角度变化特征，即：

Δθ_i(t)＝θ_i(t)-θ_i(t-1)

(4)第t帧中，两个目标之间的相对位置特征，即：

其中，<·,·>表示内积，c_i表示目标i的质心坐标。

本实施例中，行为识别模块303采用隐马尔科夫模型作为分类器对生物行为进行识别。其中，将行为分为8类，分别是：独处(solitary)、互相接近(approaching)、跟随(following)、远离(moving away)、撕咬(nape attack)、重叠(pinning)、嗅探(socialnose contact)、梳理(allogrooming)。其中，接触过程中的行为分析包括：撕咬(napeattack)、重叠(pinning)、嗅探(social nose contact)、梳理(allogrooming)。这样的设计提升了自动行为分析的种类数量，且能够对接触过程中的细致行为进行自动识别。

本发明的自动对生物行为进行采集和跟踪以及分析的系统有效地解决了同步从多角度以及多模式采集实验生物视频数据的问题；同时，跟踪系统中的算法有效地解决了单个生物的形态跟踪，多个生物的形态跟踪以及多个生物相互接触期间的形态跟踪；分析系统中的算法有效地解决了多个生物之间的交互行为分析，包括多个生物非接触时的行为以及接触时的行为。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种自动对生物行为进行采集和跟踪以及分析的系统，其特征在于，所述系统包括：

多模式视频数据采集系统，包括正面透明且上方无盖的实验生物承载平台、两个摄像头、照明灯、一个可透气且可开合的暗箱，以及控制器和计算机，所述多模式视频数据采集系统用于采集黑暗模式、灯光模式、自然光照模式下的生物行为视频数据；

多目标跟踪系统，包括前景提取模块、生物目标数量计算模块、锚点提取模块、单个目标椭圆适配及跟踪模块、多个目标接触过程跟踪模块，以及轨迹生成模块，所述多目标跟踪系统用于跟踪单个生物的形态和轨迹、多个生物的形态和轨迹以及多个生物相互接触期间的形态和轨迹；和

生物行为分析系统，包括椭圆模型参数提取模块、交互行为特征设计模块和行为识别模块，所述生物行为分析系统用于分析多个生物非接触时的行为以及接触时的行为。

2.根据权利要求1所述的系统，其特征在于，所述两个摄像头均带有夜视功能，一个摄像头固定于所述实验生物承载平台上方并正对所述实验生物承载平台，另一个摄像头固定于所述实验生物承载平台前方并正对所述实验生物承载平台，所述照明灯置于所述实验生物承载平台的无盖面的四角，所述照明灯开启时，灯光直射所述实验生物承载平台的底部。

3.根据权利要求2所述的系统，其特征在于，在黑暗模式下，所述实验生物承载平台置于所述暗箱内，所述暗箱闭合，所述照明灯关闭，所述摄像头启动夜视功能进行视频数据采集；在灯光模式下，所述实验生物承载平台置于所述暗箱内，所述暗箱闭合，所述照明灯开启，所述摄像头正常启动并进行视频数据采集；在自然光照模式下，所述实验生物承载平台置于所述暗箱内且所述暗箱打开，或者所述实验生物承载平台置于所述暗箱外，所述照明灯关闭，所述摄像头正常启动并进行视频数据采集。

4.根据权利要求2所述的系统，其特征在于，所述两个摄像头同时采集到的图像数据被合并为一帧数据，采集到的数据自动实时保存，每个设定时段的视频保存为一个单独的视频文件。

5.根据权利要求4所述的系统，其特征在于，所述前景提取模块用于将未放入生物目标之前采集到的图像设为背景图像B；将采集的生物视频的每一帧图像M与背景图像B分别帧差并二值化得到分割图像序列seg[m](m＝1～M)，二值化阈值设定为50；对分割图像序列的每一帧进行开操作，并对图像中连通区域像素面积小于阈值minArea的区域去除。

6.根据权利要求5所述的系统，其特征在于，所述生物目标数量计算模块用于将相邻两帧中，有重叠的连通区域设置为关联区域，即：

其中，I(·)表示像素个数，comp表示连通区域，λ为系数；

所述生物目标数量计算模块还用于在获得所有前景区域的关联后，随机选取10帧，设置帧中连通区域与目标总数相等的连通区域目标数量为1，根据连通区域的关联性，计算所有帧中每一个连通区域的目标数量。

7.根据权利要求6所述的系统，其特征在于，所述锚点提取模块用于对连通区域提取边缘轮廓，得到逆时针的轮廓点集合C，对每个轮廓上点计算曲率，曲率的计算采用如下公式：

其中

是向量

的方向，取值范围为(-π,π],同样α的取值范围也为(-π,π]。p⁺点是p点逆时针方向相隔k的点，p^-点是p点顺时针方向相隔k的点，k为常数，在本发明中，取0.1|C|；

所述锚点提取模块还用于获取曲率最大的点作为尖锐锚点，相邻两个尖锐锚点之间等间隔取点，得到侧边边缘锚点，尖锐锚点与侧边边缘锚点组成锚点集合A。

8.根据权利要求7所述的系统，其特征在于，所述单个目标椭圆适配及跟踪模块用于将所有锚点集合A，采用最小二乘法对轮廓点进行椭圆拟合，获得椭圆模型参数:

s＝(x,y,a,b,γ)

其中，x,y为中心坐标，a为长半轴长度，b为短半轴长度，γ为方向。

9.根据权利要求8所述的系统，其特征在于，所述多个目标接触过程跟踪模块用于将相邻两帧的锚点集合A_t和A_t+1采用两步匹配算法进行锚点的二分图匹配，第一步匹配尖锐锚点，第二步匹配侧边边缘锚点，匹配完成后分配A_t+1中锚点的身份；

将A_t+1中的相同身份的锚点采用最小二乘法进行椭圆拟合，获得椭圆参数；

依据锚点与椭圆的距离，重新调整A_t+1中锚点的身份；以及

一帧一帧地进行前述的操作，直至接触过程的所有帧都匹配完全，最终采用锚点的身份分配结果实现目标身份匹配。

10.根据权利要求9所述的系统，其特征在于，所述轨迹生成模块用于联合所述单个目标椭圆适配及跟踪模块的结果和所述多个目标接触过程跟踪模块的结果，获得最终的跟踪轨迹及每一帧图像中椭圆的适配结果。

11.根据权利要求10所述的系统，其特征在于，所述椭圆模型参数提取模块直接应用所述多目标跟踪系统输出的结果，将质心点与正向极点(即最大曲率的尖锐锚点相近的椭圆极值点)之间向量的方向作为正向，另一个椭圆极值点则作为反向极点。

12.根据权利要求11所述的系统，其特征在于，所述交互行为特征设计模块按照下述计算式设计所述生物目标的交互行为特征：

(1)在第t帧中，目标i和目标j距离速度特征，包括:

[1]正向反向距离特征，即：

其中，(xⁿ,yⁿ)为正向极点，(x^t,yⁿ)为反向极点；

[2]质心距离特征，即：

其中，(x^c,y^c)为质心点；

[3]正向极点距离特征，即：

[4]质心运动速度特征，即：

[5]正向极点运动特征，即：

(2)第t帧中，形状特征包括：

[1]长短轴比特征，即：

[2]面积比特征，即：

(3)第t帧中，角度变化特征包括：

[1]两个目标之间的方向差值特征，即：

Δθ(t)＝|θ_i(t)-θ_j(t)|

[2]每个目标相邻两帧之间角度变化特征，即：

Δθ_i(t)＝θ_i(t)-θ_i(t-1)

(4)第t帧中，两个目标之间的相对位置特征，即：

其中，<·,·>表示内积，c_i表示目标i的质心坐标。

13.根据权利要求12所述的系统，其特征在于，所述行为识别模块采用隐马尔科夫模型作为分类器对生物行为进行识别。

Images