CN109377517A - 一种基于视频追踪技术的动物个体识别系统 - Google Patents

Abstract

本发明公开了一种基于视频追踪技术的动物个体识别系统，属于机器学习领域。基于图像视频处理技术，将多目标追踪思想应用于动物个体识别场景中，通过实时记录圈内各个动物的轨迹位置坐标，实现动物个体识别。在方案具体实施中，将深度学习中的Faster‑RCNN多目标检测模型与传统追踪算法卡尔曼滤波器结合，解决了多目标追踪应用中经常出现的遮挡，轨迹交叉，实时性差等难点问题。利用采集的海量圈养数据模型，训练出基于Faster‑RCNN模型的圈养动物检测模型。本发明能够有效地实现零接触，无应激，在动物个体最自然的状态下实现动物个体识别，并且安装设备可实施性强，具有非常强的实际应用价值。

Description

一种基于视频追踪技术的动物个体识别系统

技术领域

本发明所属机器学习领域，具体涉及一种基于视频追踪技术的动物个体识别系统。

背景技术

动物个体识别是进行动物日常管理的前提和基础，广泛应用于动物的日常饲养管理、动物保险，动物谱系、档案建立等方面。目前常用的识别动物个体的方法分为物理识别技术以及生物识别技术两大类：1)物理识别技术，环、标、缺刻法、刺纹法、烙印法、染料标记法、微电子芯片皮下掩埋法，无线射频识别(radiofrequency identification，RFID)技术等；2)生物技术：DNA识别技术，虹膜识别技术，足迹识别。脚环和翅标适用于禽类生物，在兽类中使用受限制。缺刻法、刺纹法、烙印法和微电子芯片皮下掩埋法会给动物造成一定损伤，不适用于目前福利养殖的大环境，对动物保护不利。染料标记法受制于动物生活场景，通常动物的生活场景较脏，染料的标记会被弄脏，磨损而不易识别。DNA等生物识别技术，识别价格昂贵，适用于个体数目少且价值比较高的珍稀动物，不适用于普通养殖的动物个体识别。RFID(radiofrequency identification，RFID)技术，常用于奶牛、猪等牲畜饲养场景，但脱落率较高，限制了一些实际应用场景。生物技术成本较高，适用于实验场景，实际饲养环境实现较困难。

[CN201680039011.8]公开了一种基于牛和奶牛的动物来识别个体动物的系统和方法，利用采集到的背部特征与图像进行匹配从而完成个体识别。当两头奶牛的背部花色特别相似的时候，该方法无法完成正确的个体识别。[CN201210137233.7]公开了一种属于分子生物学领域用于动物个体身份识别和/或肉产品溯源的条形码编制方法及其应用。[CN201120191489.7]公开了一种声表面波动物个体非接触识别系统属于实用新型专利。需要在每头牲畜身上粘贴声波识别标签，类似于标记方法，受饲养环境限制较大。[CN200820237737.5]公开了一种大型动物个体溯源虹膜识别中间件，用于连接虹膜摄像机和外部数据库，属于虹膜识别领域。[CN101447025]发明公开了一种大型动物虹膜识别方法，属于虹膜识别领域,利用图像处理相关方法完成动物虹膜的识别，实现个体追踪和肉品溯源。动物虹膜数据采集难度远远高于人类虹膜数据的采集，并且设备的成本较高，很难实际应用。[CN201710569030.8]公开了一种基于Gabor方向直方图和猪体毛发模式的猪个体识别方法。该方法利用了一种基于自适应分割和多阈值分割的目标提取方法提取每张图片中的多个猪只目标，与数据库中的猪只进行匹配，达到猪个体身份识别的目的。[CN201611187459.2]公开了基于机器视觉的猪个体识别与饮水行为分析方法。该项研究更侧重于猪个体的饮水行为分析，对于猪的个体识别方法提及较少。[CN201710544932.6]公开了一种无标记模式动物个体的自动识别方法。通过采集动物运动图像序列，建立图像背景模型，利用SVM实现分类识别。

综上，近年来基于图像的识别方法越来越多的用于动物个体识别，此类技术无需标记、适用范围广泛，且可观察到图像拍摄区域所有信息，越来越受到研究者的重视。基于图像的识别方法通常与视觉跟踪技术相结合，当动物个体在图像中出现频繁交叉后，很容易出现轨迹关联错误，导致识别出错。因此，针对图像视频技术，提出一种可应用于实际养殖场景的无接触式个体识别技术具有很强的使用价值。本发明提出了一种基于视频追踪技术的个体识别方法，利用深度学习算法中的Faster-RCNN目标检测模型，检测出视频中提取目标动物的多种特征，不再局限于背部、毛色特征，结合卡尔曼滤波器追踪实时追踪动物个体的位置信息，实时跟踪圈内饲养的动物，对其进行智能标号，记录相应的轨迹数据，实现圈内动物个体身份识别，有效解决实际应用过程中，多个动物互相遮挡，轨迹相互交叉等实际应用问题。

发明内容

本发明的目的在于提供能够有效地实现零接触，无应激，在动物个体最自然的状态下实现动物个体识别的一种基于视频追踪技术的动物个体识别系统。

本发明的目的通过如下技术方案来实现：

一种基于视频追踪技术的动物个体识别系统，分为两个部分：动物个体检测部分和动物个体追踪部分。首先采用基于深度学习的目标检测算法Faster R-CNN完成视频图像中动物个体的检测；而后结合快速简单的卡尔曼滤波算法，对检测得到的动物个体目标进行追踪。通过Faster R-CNN算法检测出当前帧动物个体的位置，作为卡尔曼滤波器的观测量，输入卡尔曼滤波器，预测下一帧动物个体出现的位置，利用正确动物个体位置信息更新卡尔曼滤波器参数，删除消失在跟踪视野中的目标，增加新出现在视野中目标，最终完成多目标的跟踪。

首先，动物个体检测部分。

第一步，设置抽帧率为30帧/秒，将视频保存为图像。

第二步，Faster-RCNN模型训练集制作。原始的Faster-RCNN目标检测模型是利用VOC数据集训练得出的，主要以人物，街道，车辆等日常应用场景中的目标检测，不适用于的本发明所应用的圈养动物目标识别场景，因此需要重新制作训练数据集。训练集数据利用Labelme软件对所有拍摄的圈舍动物图片中的动物个体进行标注，包括互相遮挡的动物个体，例如，只显示出头部，臀部等部分身体的动物个体，都进行标注。训练集数据包括不同光照条件下的数据，晴天，阴天，多种不同的光照对比度条件，明亮的，黑暗的图片。同时，将图片分别进行多角度旋转，模拟摄像头不同拍摄角度的照片，进而增大训练数据集容量，提高检测精度。

第三步，Faster-RCNN模型训练阶段。调用VGG16训练网络，进行loss计算，判断本次训练是否收敛。

第五步，50000反复迭代计算，loss数值收敛，得到基于Faster-RCNN的圈养动物目标检测模型。

其次，动物个体实时追踪部分。

第一步，将第一帧图像输入训练好的基于Faster-RCNN的圈养动物目标检测模型中。

第二步，检测模型输出的各个动物个体位置以及数量初始化卡尔曼滤波器的数目以及各个滤波器的状态矩阵和观测矩阵参数。

第三步，卡尔曼滤波对圈养动物进行追踪。假设圈舍里面有q个动物个体，在某一时刻k，它们的位置利用状态变量x₁(k),x₂(k),....,x_q(k)来描述。设每个时刻该动物的位置都是由上一时刻的位置递归计算而来，则

x_α(k)＝a_αx_α(k-1)+w_α(k-1),α＝1,2,3,...,q (1)

w_α表示独立的零均值白噪声。将上述q个独立动物的位置信息写成一阶向量方程，则圈养动物个体识别系统中各个动物位置的状态矩阵用方程(2)表示：

x(k)＝Ax(k-1)+w(k-1) (2)

其中，x(k)，x(k-1)和w(k-1)是(q×1)列向量，A是状态转换矩阵，q×q对角矩阵，

在k时刻，圈养动物Faster-RCNN检测模型通过动物个体识别检测输出一个位置，称为观测量，用变量y₁(k),y₂(k),y₃(k),....,y_r(k)表示，与状态矩阵x表示类似，写成观测矩阵的形式，如式(3)所示：

y(k)＝Cx(k)+v(k) (3)

其中，y(k)和v(k)是r×1列向量，x(k)是q×1行向量，C是一个r×q的观测矩阵，

用表示视频中各个动物位置的估计值，最优的位置预测值用表示，利用最小均方误差作为最优位置估计的判别准则，即令最小，可以得到卡尔曼滤波器追踪器的计算公式：

其中，G(k)为卡尔曼滤波器增益

G(k)＝AP(k|k-1)C^T[CP(k|k-1)C^T+R(k)]^-1

P(k+1|k)＝[A-G(k)C]P(k|k-1)A^T+Q(k-1)

其中，P(k)为卡尔曼滤波器的预测均方误差,Q(k)观测系统的噪声方差矩阵，R(k)为观测矩阵元素之间的协方差。

综上，在任意帧图像中，已知圈舍内动物上一帧图像的估计位置和当前帧中圈舍内动物位置的观测值，可以预测下一帧图像中，圈舍内动物的位置，从而实现有效跟踪。各个动物位置估计值依据前向传播方式，提前与系统矩阵A相乘，得到一个预测估计值与观测矩阵C相乘，得到该值与基于Faster-RCNN的圈养动物目标检测模型输出值之间的差值，即为测量误差，个测量误差与卡尔曼滤波器的增益矩阵G(k)相乘，结果相加，就得到了下一时刻各个动物位置的估计值

第四步，计算卡尔曼滤波器预测出各个动物位置的坐标与基于Faster-RCNN的圈养动物目标检测模型所检测出的各个动物位置之间的欧式距离，小于阈值的检测目标位置为有效位置，追踪成功，存储轨迹。

第五步，对存储轨迹的目标进行依次标号存储。

本发明的有益效果在于：

本发明基于图像视频处理技术，将多目标追踪思想应用于动物个体识别场景中，通过实时记录圈内各个动物的轨迹位置坐标，实现动物个体识别。在方案具体实施中，将深度学习中的Faster-RCNN多目标检测模型与传统追踪算法卡尔曼滤波器结合，解决了多目标追踪应用中经常出现的遮挡，轨迹交叉，实时性差等难点问题。利用采集的海量圈养数据模型，训练出基于Faster-RCNN模型的圈养动物检测模型。本发明能够有效地实现零接触，无应激，在动物个体最自然的状态下实现动物个体识别，并且安装设备可实施性强，具有非常强的实际应用价值。

附图说明

图1为圈舍摄像头安装示意图；

图2为圈养动物目标检测算法实验测试流程；

图3为训练阶段的Loss收敛图；

图4为猪舍的个体识别结果。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

实施例一：

一种基于视频追踪技术的动物个体识别系统，分为两个部分，动物个体检测部分和动物个体追踪部分，具体包括以下步骤：

(1)动物个体检测部分，

(1.1)设置抽帧率，将视频保存为图像；

(1.2)Faster-RCNN模型训练集制作；(1.3)Faster-RCNN模型训练调用训练网络，进行loss计算，判断本次训练是否收敛；

(1.4)反复迭代计算，loss数值收敛，得到基于Faster-RCNN的圈养动物目标检测模型；

(2)动物个体实时追踪部分，

(2.1)将第一帧图像输入训练好的基于Faster-RCNN的圈养动物目标检测模型中；

(2.2)检测模型输出的各个动物个体位置以及数量初始化卡尔曼滤波器的数目以及各个滤波器的状态矩阵和观测矩阵参数；

(2.3)卡尔曼滤波对圈养动物进行追踪；

(4)计算卡尔曼滤波器预测出各个动物位置的坐标与基于Faster-RCNN的圈养动物目标检测模型所检测出的各个动物位置之间的欧式距离，小于阈值的检测目标位置为有效位置，追踪成功，存储轨迹；

(5)第五步，对存储轨迹的目标进行依次标号存储。

步骤(1.2)所述的Faster-RCNN模型训练集制作，包括：

软件对所有拍摄的圈舍动物图片中的动物个体进行标注，包括互相遮挡的动物个体；训练集数据包括不同光照条件下的数据；将图片分别进行多角度旋转，模拟摄像头不同拍摄角度的照片。

步骤(2.3)所述的卡尔曼滤波对圈养动物进行追踪具体为：

(2.3.1)假设圈舍里面有q个动物个体，在某一时刻k，它们的位置利用状态变量x₁(k),x₂(k),....,x_q(k)来描述，设每个时刻该动物的位置都是由上一时刻的位置递归计算而来，则

x_α(k)＝a_αx_α(k-1)+w_α(k-1),α＝1,2,3,...,q (1)

w_α表示独立的零均值白噪声；

(2.3.2)将上述q个独立动物的位置信息写成一阶向量方程，则圈养动物个体识别系统中各个动物位置的状态矩阵用方程(2)表示：

x(k)＝Ax(k-1)+w(k-1) (2)

其中，x(k)，x(k-1)和w(k-1)是(q×1)列向量，A是状态转换矩阵，q×q对角矩阵，

(2.3.3)在k时刻，圈养动物Faster-RCNN检测模型通过动物个体识别检测输出一个位置，称为观测量，用变量y₁(k),y₂(k),y₃(k),....,y_r(k)表示，与状态矩阵x表示类似，写成观测矩阵的形式，如式(3)所示：

y(k)＝Cx(k)+v(k) (3)

其中，y(k)和v(k)是r×1列向量，x(k)是q×1行向量，C是一个r×q的观测矩阵，

用表示视频中各个动物位置的估计值，最优的位置预测值用表示；

(2.3.4)利用最小均方误差作为最优位置估计的判别准则，即令最小，可以得到卡尔曼滤波器追踪器的计算公式：

其中，G(k)为卡尔曼滤波器增益

G(k)＝AP(k|k-1)C^T[CP(k|k-1)C^T+R(k)]^-1

P(k+1|k)＝[A-G(k)C]P(k|k-1)A^T+Q(k-1)

其中，P(k)为卡尔曼滤波器的预测均方误差,Q(k)观测系统的噪声方差矩阵，R(k)为观测矩阵元素之间的协方差；

(2.3.5)各个动物位置估计值依据前向传播方式，提前与系统矩阵A相乘，得到一个预测估计值与观测矩阵C相乘，得到该值与基于Faster-RCNN的圈养动物目标检测模型输出值之间的差值为测量误差，测量误差与卡尔曼滤波器的增益矩阵G(k)相乘，结果相加，得到下一时刻各个动物位置的估计值

实施例二：

本发明实施环境为TensFlow1.3.0、CUDA8.0、cuDNN5.1、OpenCV2.4.13。具体实施过程分为两个阶段：目标检测网络训练阶段和具体应用阶段。

首先，目标检测网络训练阶段：

第一步：在圈舍上方的合适位置安装镜头。镜头应能采集到圈舍的整体图像。

第二步：设定采集时间间隔，每秒钟采集30张图片。

第三步：利用Labelme软件完成对采集图片中动物目标的标注，存储成.xml格式文件，构成圈舍动物目标检测的训练数据集。

第四步：利用圈舍动物的图片训练数据集重新训练Faster-RCNN检测模型，得到基于Faster-RCNN的圈养动物目标检测模型。

其次，具体应用阶段：

第一步，将实时拍摄的图片，批处理送入训练好的基于Faster-RCNN的圈养动物目标检测模型中，并将第一帧检测结果作为追踪轨迹的初始值，并利用该值初始化卡尔曼滤波器状态矩阵；

第二步，将检测出的当前时刻位置，输入卡尔曼滤波器，预测出下一时刻动物个体可能出现的位置。

第三步，利用预测位置与当前时刻检测出的位置之间的欧式距离确认各个目标具体位置，实现动物个体的准确追踪，选择欧氏距离最小的那组为正确匹配组，保存轨迹。

第四步，设置距离图片边缘30个像素的位置为进出观测场景的阈值，该阈值由实验得到，可以根据需要调整。当目标的速度方向是离开视野，并且已经达到离开视野阈值，则对该目标的卡尔曼跟踪器进行删除，同时删除该目标的ID号。当目标的速度方向是进入视野，并且已经达到进入视野阈值，则对该目标的卡尔曼跟踪器进行增加，同时增加该目标的ID号。

第五步，利用配对成功的目标位置参数，更新卡尔曼滤波器参数，进入一下帧视频处理。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于视频追踪技术的动物个体识别系统，其特征在于：分为两个部分，动物个体检测部分和动物个体追踪部分，具体包括以下步骤：

(1)动物个体检测部分，

(1.1)设置抽帧率，将视频保存为图像；

(1.2)Faster-RCNN模型训练集制作；(1.3)Faster-RCNN模型训练调用训练网络，进行loss计算，判断本次训练是否收敛；

(1.4)反复迭代计算，loss数值收敛，得到基于Faster-RCNN的圈养动物目标检测模型；

(2)动物个体实时追踪部分，

(2.1)将第一帧图像输入训练好的基于Faster-RCNN的圈养动物目标检测模型中；

(2.2)检测模型输出的各个动物个体位置以及数量初始化卡尔曼滤波器的数目以及各个滤波器的状态矩阵和观测矩阵参数；

(2.3)卡尔曼滤波对圈养动物进行追踪；

(4)计算卡尔曼滤波器预测出各个动物位置的坐标与基于Faster-RCNN的圈养动物目标检测模型所检测出的各个动物位置之间的欧式距离，小于阈值的检测目标位置为有效位置，追踪成功，存储轨迹；

(5)第五步，对存储轨迹的目标进行依次标号存储。

2.根据权利要求1所述的一种基于视频追踪技术的动物个体识别系统，其特征在于，步骤(1.2)所述的Faster-RCNN模型训练集制作，包括：

软件对所有拍摄的圈舍动物图片中的动物个体进行标注，包括互相遮挡的动物个体；训练集数据包括不同光照条件下的数据；将图片分别进行多角度旋转，模拟摄像头不同拍摄角度的照片。

3.根据权利要求1所述的一种基于视频追踪技术的动物个体识别系统，其特征在于，步骤(2.3)所述的卡尔曼滤波对圈养动物进行追踪具体为：

(2.3.1)假设圈舍里面有q个动物个体，在某一时刻k，它们的位置利用状态变量x₁(k),x₂(k),....,x_q(k)来描述，设每个时刻该动物的位置都是由上一时刻的位置递归计算而来，则

x_α(k)＝a_αx_α(k-1)+w_α(k-1),α＝1,2,3,...,q (1)

w_α表示独立的零均值白噪声；

(2.3.2)将上述q个独立动物的位置信息写成一阶向量方程，则圈养动物个体识别系统中各个动物位置的状态矩阵用方程(2)表示：

x(k)＝Ax(k-1)+w(k-1) (2)

其中，x(k)，x(k-1)和w(k-1)是(q×1)列向量，A是状态转换矩阵，q×q对角矩阵，

(2.3.3)在k时刻，圈养动物Faster-RCNN检测模型通过动物个体识别检测输出一个位置，称为观测量，用变量y₁(k),y₂(k),y₃(k),....,y_r(k)表示，与状态矩阵x表示类似，写成观测矩阵的形式，如式(3)所示：

y(k)＝Cx(k)+v(k) (3)

其中，y(k)和v(k)是r×1列向量，x(k)是q×1行向量，C是一个r×q的观测矩阵，

用表示视频中各个动物位置的估计值，最优的位置预测值用表示；

(2.3.4)利用最小均方误差作为最优位置估计的判别准则，即令最小，可以得到卡尔曼滤波器追踪器的计算公式：

其中，G(k)为卡尔曼滤波器增益

G(k)＝AP(k|k-1)C^T[CP(k|k-1)C^T+R(k)]^-1

P(k+1|k)＝[A-G(k)C]P(k|k-1)A^T+Q(k-1)

其中，P(k)为卡尔曼滤波器的预测均方误差,Q(k)观测系统的噪声方差矩阵，R(k)为观测矩阵元素之间的协方差；

(2.3.5)各个动物位置估计值依据前向传播方式，提前与系统矩阵A相乘，得到一个预测估计值 与观测矩阵C相乘，得到该值与基于Faster-RCNN的圈养动物目标检测模型输出值之间的差值为测量误差，测量误差与卡尔曼滤波器的增益矩阵G(k)相乘，结果相加，得到下一时刻各个动物位置的估计值