CN110659544A

CN110659544A - 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法

Info

Publication number: CN110659544A
Application number: CN201810710605.8A
Authority: CN
Inventors: 高月芳; 田绪红; 钟志威; 王栋
Original assignee: South China Agricultural University
Current assignee: South China Agricultural University
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2020-01-07

Abstract

本发明公开了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。该方法首先基于目标跟踪算法获取奶牛运动轨迹，在此基础上，定义一个二元组(轨迹点，轨迹对)建模奶牛运动时序信息及其不同部位相对运动信息，最后通过支持向量机实现奶牛行为识别分类。该发明通过构建非参数时空上下文轨迹模型建模奶牛多个运动部位的时空相关性，进而获取奶牛动态行为模式。

Description

一种基于非参数时空上下文轨迹模型的奶牛行为识别方法

技术领域

本发明涉及视频处理和计算机视觉领域，尤其涉及一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。

背景技术

行为识别是计算机视觉领域重要基础性课题，对智能视频监控具有重要意义。近年来，国内外一些研究院所对行为识别问题进行深入研究，其中一个核心问题是如何对视频目标有效表达以反映其行为本质。虽然当前提出多种视频动态特征建模方法，但大都针对行人、车辆等，较难适应家畜动作行为。与上述目标相比，家畜不可控、行为难预测。此外，在室外养殖环境下，同一动作行为，类内表观差异大，数据来源多样(普通视频数据、红外数据等)，质量参差不齐，且存在大量噪声，现有方法很难实现此情况下目标视觉行为与动态特征的有效对齐。

轨迹表示方法通过建模目标运动轨迹以描述目标动态变化，该类方法不仅可捕获目标的局部运动，还可长时描述目标运动的状态变化与转变过程，这些优势使得其得到较大进展，不过该类方法仍存在一些不足：(1)完全依赖于运动轨迹，若目标表观变化显著导致跟踪漂移，会造成轨迹模型退化；(2)大多方法仅对单条轨迹独立分析，没有考虑不同轨迹间关联。而一个行为或动作一般由目标不同部位协调表达，借助这些关联信息可有效提高识别性能。

发明内容

本发明的目的是为了克服现有技术的缺陷，提出了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。本发明基于目标多个关键部位的运动轨迹，建模家畜运动时序信息及其不同部位相对运动信息，以增强目标不同部位之间时空上下文信息的利用，进而实现视觉行为与动态特征表达模型的有效对齐。

为实现上述目的，本发明设计了一种基于非参数时空上下文轨迹模型奶牛行为识别方法。具体包括三个部分：轨迹获取、轨迹表达和行为分类，具体为：首先基于目标跟踪算法获取其运动轨迹；然后以轨迹段为处理单元，提出一种非参数时空上下文轨迹模型建模家畜行为模式，该模型定义一个二元组(轨迹点，轨迹对)建模家畜运动时序信息及其不同部位相对运动信息；最后基于支持向量机实现奶牛行为的识别。

本发明的有益效果：

(1)采用非参数上下文时空轨迹模型不仅可以建模家畜运动时序信息及其不同部位相对运动信息，同时能很好地实现视觉行为与动态特征表达的统一，进而保持模型的判别性。

(2)本发明的轨迹特征表达模型能提高行为识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的基于非参数时空上下文轨迹模型奶牛行为识别方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。其主要包含三个步骤：轨迹获取、轨迹动态特征表达和目标运动行为识别。图1所示为本发明的方法流程图，具体为：首先把奶牛视频图像序列输入到目标跟踪器(如MEEM)中，并标定目标关键运动部位(奶牛头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄等)的初始化位置，并获取其一段时间的运动轨迹；然后基于非参数时空上下文轨迹模型实现轨迹的有效动态表达；在此基础上，基于SVM分类器对其进行分类。具体实现步骤如下：

(1)基于MEEM跟踪器的轨迹获取

首先把奶牛视频图像序列输入到MEEM跟踪器中，并标定奶牛头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄的初始化位置；在此基础上，对奶牛的头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄，进行跟踪，获取这些关节在每帧中的位置矩形框；最后对得到的位置矩形框进行处理，提取这些矩形框的中心点，进而构成目标关键部位的运动轨迹。

(2)轨迹动态特征表达

基于视频上下文信息和多条轨迹片段，该目标动态特征模型TM构建如下：

TM＝[TR，TP] (1)

其中TR、TP分别为轨迹点描述子和轨迹对描述子。

轨迹点模型TR以每帧全部轨迹点为整体，基于轨迹点位置、速度及加速度构建轨迹点描述子，可有效描述目标在当前帧的状态和运动特性：

TR＝[P，αδP(t)，βδ²P(t)] (2)

其中P＝{P_i}为跟踪区域的中心点坐标，P_i＝(p_x，p_y)，i＝1，2，L，n。δP(t)≈P(t)-P(t_-1)，δ²P(t)≈P(t₂)+P(t_-2)-2P(t)，权值参数α、β可通过训练优化获得。对TR多帧级联可建模该片段内奶牛活动。

轨迹对模型TP以每帧中轨迹点与轨迹点组成的轨迹点对(简称轨迹对)为对象，基于帧与帧之间的相对位移等成对轨迹特征信息，建模不同轨迹之间的关系，描述奶牛不同部位之间相对运动：

其中θ_t为第t帧从参考点到运动点的角度，

为归一化因子，表示位移总和。

由于模型TM既可描述奶牛运动的时序信息，又可描述奶牛不同部位的相对运动信息，故能反映奶牛运动的动态特性及其结构信息。

(3)目标行为识别

基于(2)获得的奶牛动态特征，结合SVM中的一对一方法多分类模型，对奶牛的行走、奔跑和爬跨三种行为进行分类训练，建立奶牛行为识别分类器，并对后续测试数据中的奶牛行为进行识别。

如下表所示为本发明实施例中基于非参数时空上下文轨迹模型的奶牛行为识别方法得到的识别结果。第一列对应不同行为的视频序列，最后一列为本发明算法实验结果，从中可以看出本发明可以获得鲁棒的行为识别结果。

以上对本发明所提供的实施例进行详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于非参数时空上下文轨迹模型的奶牛行为识别方法，其特征在于，该方法包含三个步骤：轨迹获取、轨迹建模和行为分类，具体为：首先基于目标跟踪算法对奶牛关键部位进行跟踪，以获取其运动轨迹；然后基于视频上下文信息和多条轨迹片段，构建非参数时空上下文轨迹模型建模奶牛多个运动部位的时空相关性，最后构建分类器对其行为进行识别。

2.根据权利要求1所述的方法，其特征在于，在行为特征表达时，为有效利用目标运动轨迹包含的丰富时空上下文信息，采用跟踪算法得到的目标多个运动部位运动轨迹，设计一个非参数时空上下文轨迹模型描述奶牛当前状态及其不同部位之间的相对运动，获取鲁棒的动态特征表达模型；在此基础上，建立支持向量机分类器对其行为进行识别。

3.根据权利要求1或2所述的方法，其特征在于，给定一段长度为n的多条运动轨迹片段及当前帧t，定义一个二元组(轨迹点，轨迹对)建模奶牛运动时序信息及其不同部位相对运动信息。其中，轨迹点模型包含了目标一段时间内的静态姿势和关键部位的运动信息(如速度、加速度等)，进而获取尽可能多的行为信息；轨迹对模型由两条轨迹对成对，在每个轨迹对中，第一条轨迹是参考点轨迹，它用于定义一个局部坐标框架；第二条是活动点轨迹，用于对行为活动描述，它主要利用成对的轨迹特征获取运动目标不同部位活动的复杂关系，并使用多帧轨迹，以在一个信息量更大的时间尺度上描述目标的运动行为。

4.根据权利要求1或2或3所述的方法，其特征在于，基于上述特征表达，获取稳定的且具有判别性的特征，然后构建支持向量机对其学习，进而实现奶牛各种行为的识别。