CN105809711B - 一种基于视频追踪的猪只运动大数据提取方法及其系统 - Google Patents

Abstract

本发明公开了一种基于视频追踪的猪只运动大数据提取系统，包括分布式硬件部署及基于此分布式硬件部署的猪场本地的猪只运动大数据采集模块、猪场本地服务器的猪只运动状态和参量提取模块以及系统总服务器的猪只运动大数据提取模块；本发明结合了远程通讯技术、数据采集与处理技术、视觉处理技术，实现了可长期的，实时的，远程的实现猪场猪只的监控和运动大数据提取、分析，大大地降低了劳动强度，所提取的运动大数据信息能够反映出猪只活动状况，可以实现对猪只活动的现场动态监测。

Description

一种基于视频追踪的猪只运动大数据提取方法及其系统

技术领域

本发明涉及分布式远程通讯技术、视频数据采集与处理技术领域，特别涉及一种基于视频追踪的猪只运动大数据提取方法及其系统。

背景技术

自然条件下猪只日常运动数据是猪只生长监控、生产性能分析的重要依据。过去由于条件所限对猪只运动数据的采集具有一定的困难。随着高清视频网络监控技术和图像处理分析技术的快速应用发展，利用机器视觉代替人眼对猪只运动数据进行采集与分析成为了可能，从而给我们利用运动数据研究种猪生产性能提供了新的技术手段。对实时监控视频中的猪只进行跟踪并提取出反映猪只运动的参量信息，能够为识别各种采食、排泄、站立、趴窝、慢走和跑动等行为的研究工作提供数据基础，从而识别出猪只的行为模式，猪只的运动参量以及行为模式通常能反映出猪只健康状况以及猪只的生产性能等。

过去，学者们开展了很多有关的尝试。Wei Xing Zhu等利用猪的跛行步态与正常步行步态的角度变化数据差别检测猪的跛行步态异常；Maciej Oczak等分析了猪只攻击行为的几个阶段的时间参量，识别出哪些前期行为最终会导致相互撕咬而哪些不会，以预测和防止猪只之间的攻击行为；S.Viazzi等通过平均强度和占领指数这两个运动信息，在每个侵略性情节的相互作用中利用线性判别研究出了猪只攻击性行为的连续自动检测方法；Shao等利用对象紧凑性、背前景的切换频率、斑点的占地面积比和矩不变量等4个参量评估猪的热适应情况。这些工作都是针对某个具体问题而提出单一参量的分析，而统一、简单、实用、通用的猪只运动大数据提取方法及系统目前尚未有系统的研究。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于视频追踪的猪只运动大数据提取方法及其系统。

本发明的目的通过如下技术方案实现：一种基于视频追踪的猪只运动大数据提取方法，包括以下步骤：

S1、基于猪场本地的猪只运动大数据采集模块实时监控猪只活动，获取猪只运动的原始视频大数据；

S2、通过猪只运动状态和参量提取模块，对猪只个体进行检测、识别和跟踪，包括图像数据与现实数据映射子模块，基于颜色特征与轮廓特征相结合的目标分割算法子模块，基于最短距离匹配法的猪只跟踪和状态参量提取子模块，运动位移、运动速度、运动加速度和运动角速度4个运动参量提取子模块；

S3、通过猪只运动大数据提取模块建立基于一定时空的猪只运动大数据提取方法及系统。

本发明的另一目的通过以下的技术方案来实现：一种基于视频追踪的猪只运动大数据提取系统，包括分布式硬件部署及基于此分布式硬件部署的猪场本地的猪只运动大数据采集模块、猪场本地服务器的猪只运动状态和参量提取模块以及系统总服务器的猪只运动大数据提取模块；

所述分布式硬件部署、各个猪场的本地服务器、远程系统总服务器和远程客户端；

猪场本地的猪只运动大数据采集模块包括猪场现场的监控节点、各个猪场的NVR服务器，基于高清摄像头实时监控猪只活动，获取猪只运动的原始视频大数据；

猪场本地服务器的猪只运动状态和参量提取模块，对猪只个体进行检测、识别和跟踪，提取后向远程的系统总服务器提交结果信息；

系统总服务器的猪只运动大数据提取模块，建立基于时空的猪只运动大数据；

远程客服端负责响应用户请求，从远端系统总服务器中调取相应的数据和结果。

所述猪场本地服务器的猪只运动状态和参量提取模块包括图像数据与现实数据映射子模块，基于颜色特征与轮廓特征相结合的目标分割算法子模块，基于最短距离匹配法的猪只跟踪和状态参量提取子模块，运动位移、运动速度、运动加速度和运动角速度4个运动参量提取子模块；

所述最短距离匹配法的状态参量提取方法为将猪只目标进行椭圆拟合，并用椭圆的圆心和相对于水平线的角度来数值化多目标猪只，实现猪只的跟踪，提取出猪只的状态参量信息，最终完成多目标猪只个体的运动位移、运动速度、运动加速度和运动角速度等运动参量的提取。

各个猪场本地服务器完成猪只运动大数据提取后实时向远程的系统总服务器提交相应的结果，系统总服务器获取到猪只实际场地运动大数据后，存储并统计猪只每小时每天每月每季的猪只运动大数据，建立猪只运动大数据库，存储每头猪长期的运动数据，为今后的猪只性能分析作基础。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明结合了远程通讯技术、数据采集与处理技术、视觉处理技术，实现了可长期的，实时的，远程的实现猪场猪只的监控和运动大数据提取、分析，大大地降低了劳动强度，所提取的运动大数据信息能够反映出猪只活动状况，可以实现对猪只活动的现场动态监测。

2、本发明的分布式策略突破传统的数据存储传输管理瓶颈，解决猪只监控数据在多时空下统一组织与有效管理的难题，在减少数据冗余的同时，支持多时空的数据访问和分级存储，增强系统普适性。

3、本发明的结构简单，方便易用，适合在养殖业上大规模部署应用。

附图说明

图1是本发明的系统流程图。

图2是本发明的分布式硬件部署图。

图3是本发明的猪只运动状态和参量提取流程图。

图4是本发明的猪只运动大数据提取流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明的硬件系统体系结构如附图1，该硬件系统根据猪场中的猪体型特征和生活习性，结合地形地貌，在一些具有科研教学价值环节的猪舍部署了具有云台控制、200像素的高清视频监控节点；并在两地各部署NVR服务器设备用于本地监控节点的管理与视频保存，实现了通过网络访问能对两地猪场各通道进行实时视频预览与云台控制，还可提供猪场本地、服务器端、客户端三地的实时视频预览、历史视频保存与备份。

图1所示为本发明的分布式硬件部署图，包括猪场现场的监控节点，各个猪场的NVR服务器，远程服务器和远程客户端。猪场现场的监控节点用于各个猪舍的实时监控与视频捕获；猪场NVR服务器用于存储监控节点所捕获的视频；猪场本地服务器用于对监控视频进行原始处理，包括对猪只的检测、识别和跟踪，提取猪只运动状态和参量；远程系统总服务器用于统计和保存猪只运动大数据；远程客户端用于执行用户的各种请求与应用。

图2所示为软件系统流程图。本发明的分布式软件系统由猪场运动大数据采集，猪只运动状态和参量提取以及猪只运动大数据提取三大模块组成。

图3所示为猪只运动状态和参量提取流程图，软件先对实时视频进行基于颜色特征和轮廓特征结合的目标检测识别，再基于最短距离匹配法对猪只进行跟踪，提取状态参量，根据每头猪只的状态参量提取猪只的运动速度、运动位移、运动加速度和运动角速度等运动参量信息。具体步骤如下：

(1)图像预处理，建立图像数据与实际数据间的映射关系

①在猪场拍摄区域放置标定板；

②建立图像点距与实际点距的映射关系。

(2)基于颜色特征和轮廓特征结合的目标检测识别

①将输入的图像映射到RGB、YUV、YCbCr色彩空间中，然后根据“前景与背景图像的

类间方差最大”为标准进行选择空间通道选择。

对于图像I(x,y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。假设图像的背景较暗，并且图像的大小为M*N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，上述各变量之间关系的公式分别为：

ω₀＝N₀/M*N

ω₁＝N₁/M*N

N₀+N₁=N*M

ω₀+ω₁＝1

μ＝ω₀*μ₀+ω₁*μ₁

g=ω₀*(μ₀-μ)²+ω₁*(μ₁-μ)²

得到等价公式：

g＝ω₀*ω₁*(μ₀-μ₁)²

采用遍历的方法得到使类间方差g最大的阈值T，即为所求。

②对所选择的的空间通道应用大津法进行猪只目标与背景的分割。

③本发明系统初始化的时候手工设定将猪栏食槽、水槽以及猪栏门等固定环境噪音排除，然后对大津法分割后的图像利用连通区域的消除、形态学腐蚀与膨胀等方法将环境中相对于猪只个体来说面积小得多的错误目标去除。

④对于存在轻度粘连的猪只目标，本发明应用基于颜色特征与轮廓特征结合的方法分割轻度粘连的猪只，采用prewitty算子捕获边缘信息。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘。

经典Prewitt算子认为，凡灰度新值大于或等于阈值的像素点都是边缘点，即选择适当的阈值T，若P(i,j)≥T，则(i,j)为边缘点，P(i,j)为边缘图像。

本发明先将基于颜色特征分割结果作为一个mask和原图叠加，既去除了环境干扰又保留了原图猪只的细节，然后对此进行5*5的高斯模糊和prewitty边缘检测提取到猪只的轮廓信息，为了强调边缘信息本文将边缘图像作了膨胀处理，再将基于颜色特征的mask叠加边缘信息，至此，颜色特征和轮廓特征已经结合在一起，粘连猪只由轮廓信息分割开来。

⑤对正确分割后猪只采用最小二乘法拟合椭圆。

(3)基于最短距离匹配法的猪只跟踪和状态参量提取

视频每一帧静止图像中的猪只目标识别出来之后，猪只i在t时刻的运动状态变量可以用以下三元组表示。

p_i ^t=[x_i ^t,y_i ^t,θ_i ^t]

其中，i表示每个猪只个体，t表示当前所记录的系统时间，x_i ^t和y_i ^t表示猪只椭圆中心坐标像素点的值，θ表示当前猪只椭圆长轴相对水平线的角度。

具体算法过程如下：

①系统首先初始化记录猪只运动状态变量p_i ^t、结构体容器P与每帧临时存放猪只信息的变量ptemp，设定猪身长L。读入视频第一帧时，根据分割算法得到的猪只椭圆的个数n随机派号p₁ ^t，p₂ ^t，p₃ ^t......，每个猪只个体的信息都放入容器P中。

②读入视频的下一帧，分割算法再次得到相同的猪只椭圆的个数n，用临时变量ptemp存放每个猪只个体的信息。容器P中每个p_i ^t＝[x_i ^t,y_i ^t,θ_i ^t]都与此帧的每个临时变量p_temp ^t+1＝[x_temp ^t+1,y_temp ^t+1,θ_temp ^t+1]计算欧氏距离Δ，若Δ满足则猪只跟踪匹配成功，此帧p^t+1 _temp的猪的标号temp替换为容器P中的p_i ^t的标号i，并用p^t+1 _temp替换p_i ^t,更新容器P，以便再下一帧的匹配。匹配不成功，则容器P依旧保留旧值p_i ^t。

③重复②中的过程，不断利用上一帧的p_i ^t得到当前帧的P^t+1 _i，直到用户退出系统。

④如果②中出现连续匹配不成功的次数大于30次，则返回①中重新初始化与重新派号，记录重新初始化的时间点。

(4)猪只运动参量提取

根据猪只元素结构体P_i ^t提取每一只猪的运动位移s、速度v、加速度a和角速度ω作为猪只运动特征数据，运动参量V可用如下四元组表示。

V＝[s,v,a,ω]

其中，四个运动参量的具体算法如下：

①t时刻物体的位置为(x^t _i,y^t _i)，t+1时刻物体的位置为(x^t+1 _i,y^t+1 _i)，则t时刻的状态到t+1时刻的状态的猪只位移可以表示为

②t时刻物体的位置为(x_i,y_i)，t+1时刻物体的位置为(x^t+1 _i,y^t+1 _i)，Δt表示t与t+1的时间差，则t时刻的状态到t+1时刻的状态的猪只运动速度v可以表示为

③t时刻猪只的速度为v^t _i，t+1时刻猪只的速度为v^t+1 _i，Δt表示t与t+1的时间差，则此时猪只的运动加速度a可以表示为

④t时刻的角度为θ^t _i，t+1时刻的角度为θ^t+1 _i，Δt表示t与t+1的时间差，则t时刻的状态到t+1时刻的状态的角速度ω可以表示为

图4所示为猪只运动大数据提取流程图。各个猪场本地服务器定期向系统总服务器传输本猪场监控猪只的运动数据，系统总服务器最终存储了每个猪只整个生长周期的运动大数据，建立运动大数据库，此数据库可作为进一步对猪只性能进行分析的基础。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于视频追踪的猪只运动大数据提取方法，其特征在于包括以下步骤：

S1、基于猪场本地的猪只运动大数据采集模块实时监控猪只活动，获取猪只运动的原始视频大数据；

S2、通过猪只运动状态和参量提取模块，对猪只个体进行检测、识别和跟踪；猪只运动状态和参量提取模块包括图像数据与现实数据映射子模块，基于颜色特征与轮廓特征相结合的目标分割算法子模块，基于最短距离匹配法的猪只跟踪和状态参量提取子模块，运动位移、运动速度、运动加速度和运动角速度4个运动参量提取子模块；

S3、通过猪只运动大数据提取模块建立基于一定时空的猪只运动大数据提取方法；

基于最短距离匹配法的猪只跟踪和状态参量提取过程如下：

视频每一帧静止图像中的猪只目标识别出来之后，猪只i在t时刻的运动状态变量用以下三元组表示：

p_i ^t＝[x_i ^t,y_i ^t,θ_i ^t]

其中，i表示每个猪只个体，t表示当前所记录的系统时间，x_i ^t和y_i ^t表示猪只椭圆中心坐标像素点的值，θ表示当前猪只椭圆长轴相对水平线的角度；

①首先初始化记录猪只运动状态变量p_i ^t、结构体容器P与每帧临时存放猪只信息的变量ptemp，设定猪身长L；读入视频第一帧时，根据分割算法得到的猪只椭圆的个数n随机派号p₁ ^t，p₂ ^t，p₃ ^t......，每个猪只个体的信息都放入容器P中；

②读入视频的下一帧，分割算法再次得到相同的猪只椭圆的个数n，用临时变量ptemp存放每个猪只个体的信息；容器P中每个p_i ^t＝[x_i ^t,y_i ^t,θ_i ^t]都与此帧的每个临时变量p_temp ^t+1＝[x_temp ^t+1,y_temp ^t+1,θ_temp ^t+1]计算欧氏距离Δ，若Δ满足则猪只跟踪匹配成功，此帧p^t+1 _temp的猪的标号temp替换为容器P中的p_i ^t的标号i，并用p^t+1 _temp替换p_i ^t,更新容器P，以便下一帧的匹配；匹配不成功，则容器P依旧保留旧值p_i ^t；

③重复②中的过程，不断利用上一帧的p_i ^t得到当前帧的P^t+1 _i；

④如果②中出现连续匹配不成功的次数大于30次，则返回①中重新初始化与重新派号，记录重新初始化的时间点。

2.一种基于视频追踪的猪只运动大数据提取系统，其特征在于包括分布式硬件部署及基于此分布式硬件部署的猪场本地的猪只运动大数据采集模块、猪场本地服务器的猪只运动状态和参量提取模块以及系统总服务器的猪只运动大数据提取模块；

猪场本地的猪只运动大数据采集模块包括猪场现场的监控节点、各个猪场的NVR服务器，基于高清摄像头实时监控猪只活动，获取猪只运动的原始视频大数据；

猪场本地服务器的猪只运动状态和参量提取模块，对猪只个体进行检测、识别和跟踪，提取后向远程的系统总服务器提交结果信息；

系统总服务器的猪只运动大数据提取模块，建立基于时空的猪只运动大数据；

远程客服端负责响应用户请求，从远端系统总服务器中调取相应的数据和结果；

所述猪场本地服务器的猪只运动状态和参量提取模块包括图像数据与现实数据映射子模块，基于颜色特征与轮廓特征相结合的目标分割算法子模块，基于最短距离匹配法的猪只跟踪和状态参量提取子模块，运动位移、运动速度、运动加速度和运动角速度4个运动参量提取子模块；

基于最短距离匹配法的猪只跟踪和状态参量提取过程如下：

视频每一帧静止图像中的猪只目标识别出来之后，猪只i在t时刻的运动状态变量用以下三元组表示：

p_i ^t＝[x_i ^t,y_i ^t,θ_i ^t]

其中，i表示每个猪只个体，t表示当前所记录的系统时间，x_i ^t和y_i ^t表示猪只椭圆中心坐标像素点的值，θ表示当前猪只椭圆长轴相对水平线的角度；

①首先初始化记录猪只运动状态变量p_i ^t、结构体容器P与每帧临时存放猪只信息的变量ptemp，设定猪身长L；读入视频第一帧时，根据分割算法得到的猪只椭圆的个数n随机派号p₁ ^t，p₂ ^t，p₃ ^t......，每个猪只个体的信息都放入容器P中；

②读入视频的下一帧，分割算法再次得到相同的猪只椭圆的个数n，用临时变量ptemp存放每个猪只个体的信息；容器P中每个p_i ^t＝[x_i ^t,y_i ^t,θ_i ^t]都与此帧的每个临时变量p_temp ^t+1＝[x_temp ^t+1,y_temp ^t+1,θ_temp ^t+1]计算欧氏距离Δ，若Δ满足则猪只跟踪匹配成功，此帧p^t+1 _temp的猪的标号temp替换为容器P中的p_i ^t的标号i，并用p^t+1 _temp替换p_i ^t,更新容器P，以便下一帧的匹配；匹配不成功，则容器P依旧保留旧值p_i ^t；

③重复②中的过程，不断利用上一帧的p_i ^t得到当前帧的P^t+1 _i；

④如果②中出现连续匹配不成功的次数大于30次，则返回①中重新初始化与重新派号，记录重新初始化的时间点。

3.根据权利要求2所述的基于视频追踪的猪只运动大数据提取系统，其特征在于：所述最短距离匹配法的状态参量提取方法为将猪只目标进行椭圆拟合，并用椭圆的圆心和相对于水平线的角度来数值化多目标猪只，实现猪只的跟踪，提取出猪只的状态参量信息，最终完成多目标猪只个体的运动位移、运动速度、运动加速度和运动角速度运动参量的提取。

4.根据权利要求2所述的基于视频追踪的猪只运动大数据提取系统，其特征在于：各个猪场本地服务器完成猪只运动大数据提取后实时向远程的系统总服务器提交相应的结果，系统总服务器获取到猪只实际场地运动大数据后，存储并统计猪只每小时、每天、每月、每季的猪只运动大数据，建立猪只运动大数据库，存储每头猪长期的运动数据，为今后的猪只性能分析作基础。