CN112288771A - 群体环境中多猪体运动轨迹提取和行为分析方法 - Google Patents

群体环境中多猪体运动轨迹提取和行为分析方法 Download PDF

Info

Publication number
CN112288771A
CN112288771A CN202011093852.1A CN202011093852A CN112288771A CN 112288771 A CN112288771 A CN 112288771A CN 202011093852 A CN202011093852 A CN 202011093852A CN 112288771 A CN112288771 A CN 112288771A
Authority
CN
China
Prior art keywords
pig
frame
pig body
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011093852.1A
Other languages
English (en)
Other versions
CN112288771B (zh
Inventor
梁云
张宇晴
吴奕涵
王栋
陈湘骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202011093852.1A priority Critical patent/CN112288771B/zh
Publication of CN112288771A publication Critical patent/CN112288771A/zh
Application granted granted Critical
Publication of CN112288771B publication Critical patent/CN112288771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种群体环境中多猪体运动轨迹提取和行为分析方法，包括下述步骤：改进已知的单目标跟踪算法，提出群体环境中同时跟踪多头生猪的算法；根据跟踪结果，提取每头猪每帧的中心点坐标，绘制每头猪的运动轨迹图和瞬时速度图；根据猪体的跟踪得到的目标框，提取感兴趣区域，分割出每头猪的目标轮廓，判断猪体当前形态特征为站立或趴卧；联合猪体运动轨迹、运动速度、轮廓形态，结合猪体运动规律和专家建议，判断每头猪在每个时间段的运动行为，主要包括：猪体站立、趴卧、缓慢行走、快速跑动、异常躁动。本发明展示了如何利用精准鲁棒的的跟踪算法监控群体环境中猪的行为，可实时检测猪的异常运动，辅助判断猪体健康状况。

Description

群体环境中多猪体运动轨迹提取和行为分析方法
技术领域
本发明涉及计算机视觉领域，更具体地说，涉及一种群体环境下跟踪多头猪体并确定其行为的方法。
背景技术
监控猪体行为是判断猪是否出现异常状态的关键环节，可以辅助判断猪体的健康状况，当前养殖场中普遍采用集中养殖的方式饲养生猪，养殖规模大且数量多，人工检测的方式难以及时发现猪体异常状态。本发明利用目标跟踪和视频分割的方式实时监控群体环境下的多目标猪体，利用目标跟踪获取猪体的运动轨迹形态和运动状态变化；利用视频分割获取猪体的外观轮廓，评估猪体姿态。最终实现了群体环境下猪体趴卧不动，静止站立，缓慢行走，快速跑动，异常躁动这五种典型行为的分析，可用于猪体日常行为监控和异常运动预警。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供了一种群体环境下跟踪多头猪体并确定其行为的方法，以基于粒子滤波的跟踪算法(RPT算法)为跟踪单头猪体的基本跟踪方法，改进了RPT算法中目标体尺的可变范围和目标有重叠区域时粒子采样方法，依据跟踪结果绘制目标猪体的运动轨迹图和运动速度变化图，记录猪体几乎静止不动、缓慢行走、快速运动的帧数和时间；利用Interaction-and-Propagation Networks，通过第一帧用户指定大致轮廓，后续帧帧间传播轮廓的方式，得到猪体的视频分割结果，并通过与标准数据库的相似度对比，判断猪体当前姿态为站立或者趴卧，最后结合猪体的运动轨迹形态，猪体的速度变化图和视频分割结果，判断猪体趴卧不动，静止站立，缓慢行走，快速跑动，异常躁动这五种典型行为。
为了达到上述目的，本发明采用以下技术方案：
本发明提供的一种群体环境中多猪体运动轨迹提取和行为分析方法，包括下述步骤：
利用已知单目标跟踪算法提出群体环境中同时跟踪多头生猪的算法，即在每头生猪目标区域及其紧邻区域内随机取样若干样本点，将这些样本点称之为粒子，按照离目标区域的距离确定背景粒子和前景粒子，根据粒子的分布情况确定每头生猪猪体的位置和大小，最后根据上一帧每头生猪的猪体体尺限制当前帧该猪体尺变化范围，得到当前帧每头生猪的目标跟踪结果；
根据目标跟踪结果，提取每头猪每帧的目标框中心点坐标，绘制每头猪的运动轨迹；根据每头猪相邻两帧中心位置的距离差值，确定运动猪体的瞬时速度，绘制猪体的速度变化图；每头猪的目标框序号与其对应轨迹图的序号和速度曲线序号保持一致；
通过猪在每个视频帧中的速度值，得到猪几乎静止不动的帧数和时间、猪缓慢行走的帧数和时间、猪快速运动的帧数和时间；
根据每帧每头生猪的跟踪得到的目标框，将目标框自身及其周围紧邻区域作为感兴趣区域，通过视频分割算法，获取每帧每头猪的像素级外观轮廓，建立猪体站姿和卧姿的标准数据库，对比猪体的外观轮廓和标准库中的数据的相似度，判断猪体的当前姿态为站立或者趴卧；
联合猪体的运动轨迹形态，运动速度变化和姿态变化特点，并根据专家知识，得到猪体正常走动和异常躁动时的行为特征，判断出猪体趴卧不动、静止站立、缓慢行走、快速跑动和异常躁动这五种典型行为。
作为优选的技术方案，利用已知单目标跟踪算法提出群体环境中同时跟踪多头生猪的算法时，需要改进目标重叠区域的采样方式并控制目标体尺的改变量，具体包括下述步骤：
改进原来基于粒子滤波的单目标跟踪方法，当两个猪体靠近时，目标框出现重叠区域，当重叠区域面积小于目标体尺面积的1/4时，避免在重叠区域内采样前景粒子；当重叠区域面积大于目标体尺的1/4且小于目标体尺面积的3/4时，只采样重叠区域内置信度很大的前景粒子；当重叠区域面积大于目标体尺的3/4时，两目标基本重合，按照正常状态采样前景粒子；背景粒子的采样、根据粒子位置与响应值判断物体位置的方式和基于粒子滤波的单目标跟踪方法保持一致。
记录视频帧长度和宽度值，以此定位轨迹绘制时的坐标轴区间；记录视频帧总数和猪的极限运动速度，定位猪体速度曲线的坐标轴区间；
通过跟踪算法，提取当前帧猪体目标框的长度和宽度，根据公式(1)计算目标猪体面积：
Area(i,j)＝length(i,j)*width(i,j) (1)
其中Area(i,j)、length(i,j)、width(i,j)分别为第i帧第j头猪体目标框的面积、长度和宽度；
根据上一帧和当前帧同一猪体的目标框的面积，计算相邻两帧面积的缩放比例，根据公式(2)将当前帧面积缩放比例控制在一定阈值内。
Figure BDA0002723014220000031
其中Area'(i,j)为控制缩放比例后第i帧第j头猪目标框的面积，
Figure BDA0002723014220000032
和
Figure BDA0002723014220000033
为相邻两帧面积可变化的阈值范围，W的含义为：如果
Figure BDA0002723014220000034
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框的
Figure BDA0002723014220000035
倍；如果
Figure BDA0002723014220000036
Figure BDA0002723014220000037
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框的
Figure BDA0002723014220000041
倍。
在每个视频帧中，用不同序号表示不同猪体的目标框。
作为优选的技术方案，在Matlab环境中得到跟踪算法跟踪结果每帧中心点坐标X值Y值的数据信息和视频序列中隐藏的时间信息，显示每头猪体的运动轨迹图，具体为：
解析由跟踪算法得到的跟踪结果，得到所有视频帧中每个被跟踪猪体的中心位置值，将每个猪体的中心位置值按照视频帧数存储在一个二维矩阵中；
将每个猪体对应的二维数组值映射到坐标轴，生成猪体的运动轨迹图，轨迹序号与猪体对应的目标框序号保持一致。
作为优选的技术方案，所述绘制猪体的速度变化图，具体为：
解析由跟踪算法得到的跟踪结果，根据公式(3)得到相邻两帧间同一猪体的位移量：
Figure BDA0002723014220000042
其中，dis(i,j)表示第i帧第j个目标相对第i-1帧的位移变化量，position(i,j,x)为第i帧第j个目标的横坐标，position(i,j,y)为第i帧第j个目标的纵坐标。
将每个猪体每帧的位移量存储在一个一维矩阵，根据公式(4)得到每帧猪体瞬时速度：
speed(i,j)＝dis(i,j)/t (4)
其中，speed(i,j)是第j个猪体在第i帧的速度，t为相邻两帧的时间间隔。
作为优选的技术方案，所述得到猪几乎静止不动的帧数和时间、猪缓慢行走的帧数和时间、猪快速运动的帧数和时间，具体为：
根据专家知识和文献资料确定猪体在几乎静止不动、缓慢运动、快速运动时的速度范围；
根据公式(5)(6)(7)记录以上三种行为持续的时间和帧数：
W(j)＝A(speed(i,j),α1,α2)i∈n (5)
T(j)＝A(speed(i,j),α2,α3)i∈n (6)
V(j)＝A(speed(i,j),α3,α4,)i∈n (7)
其中W(j)表示第j头猪，速度范围在α1到α2之间时几乎静止不动的帧数；T(j)表示第j头猪，速度范围在α2到α3之间时缓慢运动的帧数；V(j)表示第j头猪，速度范围在α3到α4之间时快速运动的帧数。
作为优选的技术方案，所述通过视频分割算法，获取每帧每头猪的像素级外观轮廓，具体为：
提取每头生猪的目标区域以及紧邻区域作为感兴趣区域，感兴趣区域的坐标范围计算方式如公式(8)所示：
Figure BDA0002723014220000051
其中x与y的对应感兴趣区域的横纵边界的坐标，α，β为中心点坐标，λ表示以目标中心为基准，向上下左右四个方向扩展的倍数，m1，m2为目标框的横向坐标范围，n1，n2为目标框的纵向坐标范围。
根据群体环境下每头猪的位置，在第一帧人为圈定每头猪的大致轮廓，利用Interaction Network，该网络可根据用户指定区域，精确分割前景物体，通过用户在第一帧指定的猪体大致轮廓，生成第一帧每个猪体的像素级外观轮廓分割结果。
利用Propagation Network，该网络的作用为将某一帧的分割结果，传播到后续相邻的帧。将第一帧猪体外观轮廓通过帧间传播的方式传递给后续视频帧，生成后续帧猪体外观轮廓分割结果。
收集猪体站立和趴卧的图像，整理出能够反映出猪体姿态的典型图像，建立猪体站卧姿标准数据库，对比猪体外观轮廓和标准库中轮廓的相似度，得到猪体站立和趴卧的二分类判定。
作为优选的技术方案，所述判断出猪体趴卧不动、静止站立、缓慢行走、快速跑动和异常躁动这五种典型行为，具体为：
猪体趴卧行为的判断：一段时间内猪体的运动轨迹图没有变化，猪体速度变化图在速度趋于0的位置处波动，猪体外观轮廓的姿态识别结果为卧姿；
猪体静止站立行为的判断：一段时间内猪体的轨迹图与速度图的与猪体趴卧时的相似，猪体外观轮廓的识别结果为站姿；
猪体缓慢行走行为的判断：一段时间内猪体的轨迹图变化较大，且轨迹特点为比较平滑的曲线，猪体速度曲线绝大部分位于猪体缓慢运动的范围内，外观轮廓的识别结果为站姿；
猪体快速跑动的判断：一段时间内猪体的轨迹特点和姿态与猪体缓慢运动时一致，速度曲线绝大部分位于猪体快速运动的范围内；
猪体异常运动的判断：一段时间内猪体的轨迹中包含螺旋状轨迹或含有大面积闭合曲线，猪体运动速度变化图有较大波动，外观识别结果为站姿或站卧交替。
作为优选的技术方案，绘制每头猪的运动轨迹时，轨迹图与视频序列的面积比为1:1。
作为优选的技术方案，所述单目标跟踪算法为基于粒子滤波的RPT算法。
作为优选的技术方案，所述视频分割算算法所用网络结构为Interaction-and-Propagation Networks。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明通过改进原有的RPT跟踪算法，提出了一种多目标跟踪群体环境中跟踪多头猪体并判断其行为的方法。改进目标重叠区域的采样方式并控制目标体尺的改变量，可以提高在猪体形态相似和相互遮挡时的跟踪鲁棒性。
2、本发明生成群体环境下猪体运动轨迹图和猪体运动速度图，运动轨迹图中可得到猪体行动路线；猪体运动速度图中可知猪体运动速度的变化趋势。
3、本发明利用视频分割方法分割出每帧每头猪的外观轮廓，可识别猪体的站姿和卧姿。
4、本发明还将自然条件猪体几乎静止不动，缓慢行走，快速运动的速度阈值与猪体运动速度图相结合，再联合运动轨迹图和猪体的姿态评估，判定猪体站立、趴卧、缓慢行走、快速跑动、异常躁动这五种典型行为。
附图说明
图1是群体环境中猪体运动轨迹提取和行为分析的流程图；
图2是群体环境中猪体的跟踪结果图；
图3是群体环境中猪体的运动轨迹图；
图4是群体环境中猪体运动速度图；
图5是群体环境中标记三种运动速度范围后的猪体速度图；
图6是群体环境中每头猪的外观轮廓分割结果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明群体环境下跟踪多头猪体并确定其行为的方法，其对于每个目标猪体为对基于粒子滤波的RPT单目标跟踪算法的改进，RPT跟踪算法并不属于此发明本身。
每个目标猪体的视频分割算法所选取的网络结构为Interaction-and-Propagation Networks，该网络结构不属于此发明本身。该视频分割方法可以用其他已知视频分割方法代替。
本发明的难点在于改进单目标跟踪算法，使之能完成对群体环境中多只猪的跟踪，保证猪群体形态相似性较高时，仍具有鲁棒的跟踪结果；利用跟踪结果提取猪体运动轨迹和速度图；根据视频分割算法提取猪体的外观轮廓，识别猪体姿态；联合猪体的运动轨迹形态，运动速度变化和猪体的姿态变化特点，并根据专家知识和文献资料，判断出猪体趴卧不动，静止站立，缓慢行走，快速跑动，异常躁动这五种典型行为。
本发明群体环境中多猪体运动轨迹提取和行为分析方法，包括下述步骤：
首先，利用已知单目标跟踪算法提出群体环境中同时跟踪多头生猪的算法。即在每头猪目标区域及其紧邻区域内随机取样若干样本点，将这些样本点称之为粒子，按照离目标区域的距离确定背景粒子和前景粒子，根据粒子的分布情况确定每头猪体的位置和大小，最后根据上一帧每头猪的猪体体尺限制当前帧该猪体尺变化范围，得到当前帧每头猪的目标跟踪结果；
其次，根据跟踪结果，提取每头猪每帧的目标框中心点坐标，绘制每头猪的运动轨迹，轨迹图与视频序列的面积比为1:1；根据每头猪相邻两帧中心位置的距离差值，确定运动猪体的瞬时速度，绘制猪体的速度变化图；每头猪的目标框序号与其对应轨迹图的序号和速度曲线的序号保持一致；
再次，通过猪在每个视频帧中的速度值，得到猪几乎静止不动的帧数和时间、猪缓慢行走的帧数和时间、猪快速运动的帧数和时间；
然后，根据每帧每头生猪的跟踪得到的目标框，将目标框自身及其周围紧邻区域作为感兴趣区域，通过视频分割算法，获取每帧每头猪的像素级外观轮廓。建立猪体站姿和卧姿的标准数据库，对比猪体的外观轮廓和标准库中的数据的相似度，判断猪体的当前姿态为站立或者趴卧；
最后，联合猪体的运动轨迹形态，运动速度变化和姿态变化特点，并根据专家知识，得到猪体正常走动和异常躁动时的行为特征，判断出猪体趴卧不动，静止站立，缓慢行走，快速跑动，异常躁动这五种典型行为。
在本申请单的另一个实施例中，群体环境中多猪体运动轨迹提取和行为分析方法具体包括下述步骤：
(1)播放视频并且显示多头猪的多目标跟踪算法的跟踪结果；
更为具体的，步骤(1)将单目标跟踪算法迁移到多目标时，需要改进目标重叠区域的采样方式并控制目标体尺的改变量，该算法包括下述步骤：
(1-1)由于群体环境下猪体的颜色和形态均比较相似，当两猪体相互靠近时易发生跟踪偏移和误跟现象，所以我们改进了原来基于粒子滤波的单目标跟踪方法，当两个猪体靠近时，目标框出现重叠区域，当重叠区域面积小于目标体尺面积的1/4时，避免在重叠区域内采样前景粒子；当重叠区域面积大于目标体尺的1/4且小于目标体尺面积的3/4时，只采样重叠区域内置信度很大的前景粒子；当重叠区域面积大于目标体尺的3/4时，两目标基本重合，按照正常状态采样前景粒子；背景粒子的采样、根据粒子位置与响应值判断物体位置的方式与基于粒子滤波的单目标跟踪方法保持一致。
(1-2)记录视频帧长度和宽度值，以此定位轨迹绘制时的坐标轴区间；记录视频帧总数和猪的极限运动速度，定位猪体速度曲线的坐标轴区间。
(1-3)通过跟踪算法，提取当前帧猪体目标框的长度和宽度，根据公式(1)计算目标猪体面积：
Area(i,j)＝length(i,j)*width(i,j) (1)
其中Area(i,j)、length(i,j)、width(i,j)分别为第i帧第j头猪体目标框的面积、长度和宽度。
(1-4)根据上一帧和当前帧同一猪体的目标框的面积，计算相邻两帧面积的缩放比例，根据公式(2)将当前帧面积缩放比例控制在一定阈值内。
Figure BDA0002723014220000101
其中Area'(i,j)为控制缩放比例后第i帧第j头猪目标框的面积，
Figure BDA0002723014220000102
和
Figure BDA0002723014220000103
为相邻两帧面积可变化的阈值范围，W的含义为：如果
Figure BDA0002723014220000104
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框面积的
Figure BDA0002723014220000105
倍；如果
Figure BDA0002723014220000106
Figure BDA0002723014220000107
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框面积的
Figure BDA0002723014220000108
倍。
(1-5)在每个视频帧中，用不同序号表示不同猪体的目标矩形框。
(2)在Matlab环境中得到跟踪算法跟踪结果每帧中心点坐标X值Y值的数据信息和视频序列中隐藏的时间信息，显示每头猪体的运动轨迹图。
更为具体的，上述步骤(2)包括下述步骤：
(2-1)解析由跟踪算法得到的跟踪结果，得到所有视频帧中每个被跟踪猪体的中心位置值(X值和Y值)，将每个猪体的中心位置值按照视频帧数存储在一个二维矩阵中。
(2-2)将每个猪体对应的二维数组值映射到坐标轴，生成猪体的运动轨迹图，轨迹序号与猪体对应的目标框序号保持一致。
(3)根据相邻两帧的每头猪体的中心位置差值，设置瞬时速度的计算算法，通过跟踪结果的X值、Y值，生成每头猪体的速度变化图。
3、更为具体的，步骤(3)中，绘制猪体速度变化图的算法包括下述步骤：
(3-1)解析由跟踪算法得到的跟踪结果，根据公式(3)得到相邻两帧间同一猪体的位移量：
Figure BDA0002723014220000111
其中，dis(i,j)表示第i帧第j个目标相对第i-1帧的位移变化量，position(i,j,x)为第i帧第j个目标的横坐标，position(i,j,y)为第i帧第j个目标的纵坐标。
(3-2)将每个猪体每帧的位移量存储在一个一维矩阵，根据公式(4)得到每帧猪体瞬时速度：
speed(i,j)＝dis(i,j)/t (4)
(4)通过专家知识和调研猪体的自然条件下的行为信息，设立猪体几乎静止不动、缓慢运动、快速跑动时的速度阈值范围。结合猪体的速度变化图，记录猪体在视频序列中发生以上三种运动行为的时间和帧数。
4、步骤(4)中记录猪体几乎静止不动、缓慢运动、快速运动的行为和帧数的算法包括下述步骤：
(4-1)根据专家知识和文献资料确定猪体在几乎静止不动、缓慢运动、快速运动时的速度范围。
(4-2)根据公式(5)(6)(7)记录以上三种行为持续的时间和帧数：
W(j)＝A(speed(i,j),α1,α2)i∈n (5)
T(j)＝A(speed(i,j),α2,α3)i∈n (6)
V(j)＝A(speed(i,j),α3,α4,)i∈n (7)
其中W(j)表示第j头猪，速度范围在α1到α2之间(几乎静止不动)的帧数；T(j)表示第j头猪，速度范围在α2到α3之间(缓慢运动)的帧数；V(j)表示第j头猪，速度范围在α3到α4之间(快速运动)的帧数。
(5)获取每帧每头猪的体尺信息和位置信息，提取感兴趣区域，利用视频分割方法获取猪体的外观轮廓，筛选猪站立趴卧的典型外观轮廓图，建立猪体姿态标准数据库，根据外观轮廓与猪体姿态标准库的相似度对比，分类分割结果，得到猪站立和趴卧两种姿态的二分类分割结果判定。
5、步骤(5)中获取每帧每个猪体外观轮廓的分割结果包括下述步骤：
(5-1)提取每头生猪的目标区域以及紧邻区域作为感兴趣区域，感兴趣区域的坐标范围计算方式如公式(8)所示：
Figure BDA0002723014220000121
其中x与y的对应感兴趣区域的横纵边界的坐标，α，β为中心点坐标，λ表示以目标中心为基准，向上下左右四个方向扩展的倍数，m1，m2为目标框的横向坐标范围，n1，n2为目标框的纵向坐标范围。
(5-2)根据群体环境下每头猪的位置，在第一帧人为圈定每头猪的大致轮廓，利用Interaction Network，该网络可根据用户指定区域，精确分割前景物体，通过用户在第一帧指定的猪体大致轮廓，生成第一帧每个猪体的像素级外观轮廓分割结果。
(5-3)利用Propagation Network，该网络的作用为将某一帧的分割结果，传播到后续相邻的帧。将第一帧猪体外观轮廓通过帧间传播的方式传递给后续视频帧，生成后续帧猪体外观轮廓分割结果。
(5-4)收集猪体站立和趴卧的图像，整理出能够反映出猪体姿态的典型图像，建立猪体站卧姿标准数据库，对比猪体外观轮廓和标准库中轮廓的相似度，得到猪体站立和趴卧的二分类判定。
(6)联合猪体运动轨迹形态、猪体运动速度变化图、猪体的站立和趴卧姿态持续时间，分析并统计每头猪体在所播放的视频序列中的行为状况，共包括猪体趴卧不动，静止站立，缓慢行走，快速跑动，异常躁动这五种典型行为。
6、步骤(6)联合猪体运动轨迹形态、运动速度变化图，和站立-趴卧姿态的猪体典型行为判定步骤如下：
(6-1)猪体趴卧行为的判断：一段时间内猪体的运动轨迹图没有变化，猪体速度变化图在速度趋于0的位置处波动，猪体外观轮廓的姿态识别结果为卧姿。
(6-2)猪体静止站立行为的判断：一段时间内猪体的轨迹图与速度图的与猪体趴卧时的相似，猪体外观轮廓的识别结果为站姿。
(6-3)猪体缓慢行走行为的判断：一段时间内猪体的轨迹图变化较大，且轨迹特点为比较平滑的曲线，猪体速度曲线绝大部分位于猪体缓慢运动的范围内，外观轮廓的识别结果为站姿。
(6-4)猪体快速跑动的判断：一段时间内猪体的轨迹特点和姿态与猪体缓慢运动时一致，速度曲线绝大部分位于猪体快速运动的范围内。
(6-5)猪体异常运动的判断：一段时间内猪体的轨迹中包含螺旋状轨迹或含有大面积闭合曲线，猪体运动速度变化图有较大波动，外观识别结果为站姿或站卧交替。
1)如图2-图5所示，根据本发明的记载的技术方案，参照图2所示某一帧中猪体跟踪结果图，图3所示视频序列中猪体的运动轨迹图，图4所示视频序列中猪体的运动速度图，可知图2中矩形框的标记和标号与图3所示运动轨迹，图4所示运动速度保持一致，6只猪的编号为1-6，并用深色双线，深色点线，深色虚线，浅色双线，浅色点线，浅色虚线标记。
图5所示为群体环境中标记三种运动状态后的猪体速度图；
1)图中由上至下第一条直线为缓慢运动和快速运动的临界点；
2)图中由上至下第二条直线为几乎静止不动和缓慢运动的临界点；
3)加号表示标记为快速运动的帧；
4)星号表示标记为缓慢运动的帧；
5)无标记表示几乎静止不动的帧。
图6所示为群体环境中猪体的外观轮廓分割结果；
1)每个框中的区域为当前帧中视频分割算法的采样区域；
2)当前帧中猪体姿态评估结果均为站姿。
本发明选用Li等人提出的RPT跟踪方法(RPT跟踪方法为以Reliable PatchTrackers:Robust Visual Tracking by Exploiting Reliable Patches为论文题目对应方法的简称)作为猪体目标跟踪的基本方法；选用Secoung等人提出的视频分割方法(以Fast User-Guided Video Object Segmentation by Interaction-and-PropagationNetworks为论文题目对应方法的简称)作为猪体视频分割的基本方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，包括下述步骤：
利用已知单目标跟踪算法提出群体环境中同时跟踪多头生猪的算法，即在每头生猪目标区域及其紧邻区域内随机取样若干样本点，将这些样本点称之为粒子，按照离目标区域的距离确定背景粒子和前景粒子，根据粒子的分布情况确定每头生猪的位置和大小，最后根据上一帧每头生猪的猪体体尺限制当前帧该猪体尺变化范围，得到当前帧每头生猪的目标跟踪结果；
根据目标跟踪结果，提取每头猪每帧的目标框中心点坐标，绘制每头猪的运动轨迹；根据每头猪相邻两帧中心位置的距离差值，确定运动猪体的瞬时速度，绘制猪体的速度变化图；每头猪的目标框序号与其对应轨迹图的序号和速度曲线序号保持一致；
通过猪在每个视频帧中的速度值，得到猪几乎静止不动的帧数和时间、猪缓慢行走的帧数和时间、猪快速运动的帧数和时间；
根据每帧每头生猪的跟踪得到的目标框，将目标框自身及其周围紧邻区域作为感兴趣区域，通过视频分割算法，获取每帧每头猪的像素级外观轮廓，建立猪体站姿和卧姿的标准数据库，对比猪体的外观轮廓和标准库中数据的相似度，判断猪体的当前姿态为站立或者趴卧；
联合猪体的运动轨迹形态，运动速度变化和姿态变化特点，并根据专家知识，得到猪体正常走动和异常躁动时的行为特征，判断出猪体趴卧不动、静止站立、缓慢行走、快速跑动和异常躁动这五种典型行为。
2.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，利用已知单目标跟踪算法提出群体环境中同时跟踪多头生猪的算法时，需要改进目标重叠区域的采样方式并控制目标体尺的改变量，具体包括下述步骤：
改进原来基于粒子滤波的单目标跟踪方法，当两个猪体靠近时，目标框出现重叠区域，当重叠区域面积小于目标体尺面积的1/4时，避免在重叠区域内采样前景粒子；当重叠区域面积大于目标体尺的1/4且小于目标体尺面积的3/4时，只采样重叠区域内置信度很大的前景粒子；当重叠区域面积大于目标体尺的3/4时，两目标基本重合，按照正常状态采样前景粒子；背景粒子的采样、根据粒子位置与响应值判断物体位置的方式和基于粒子滤波的单目标跟踪方法保持一致。
记录视频帧长度和宽度值，以此定位轨迹绘制时的坐标轴区间；记录视频帧总数和猪的极限运动速度，定位猪体速度曲线的坐标轴区间；
通过跟踪算法，提取当前帧猪体目标框的长度和宽度，根据公式(1)计算目标猪体面积：
Area(i,j)＝length(i,j)*width(i,j) (1)
其中Area(i,j)、length(i,j)、width(i,j)分别为第i帧第j头猪体目标框的面积、长度和宽度；
根据上一帧和当前帧同一猪体的目标框面积，计算相邻两帧面积的缩放比例，根据公式(2)将当前帧目标框面积缩放比例控制在一定阈值内。
Figure FDA0002723014210000021
其中Area'(i,j)为控制缩放比例后第i帧第j头猪目标框的面积，
Figure FDA0002723014210000022
和
Figure FDA0002723014210000023
为相邻两帧面积可变化的阈值范围，W的含义为：如果
Figure FDA0002723014210000024
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框面积的
Figure FDA0002723014210000025
倍；如果
Figure FDA0002723014210000027
Figure FDA0002723014210000026
则将第i帧第j个目标框的长和宽调整为第i-1帧第j个目标框面积的
Figure FDA0002723014210000028
倍。
在每个视频帧中，用不同序号显示不同猪体的目标框。
3.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，在Matlab环境中得到跟踪算法跟踪结果每帧中心点坐标X值Y值的数据信息和视频序列中隐藏的时间信息，显示每头猪的运动轨迹图，具体为：
解析由跟踪算法得到的跟踪结果，得到所有视频帧中每个被跟踪猪体的中心位置值，将每个猪体的中心位置值按照视频帧数存储在一个二维矩阵中；
将每个猪体对应的二维数组值映射到坐标轴，生成猪体的运动轨迹图，轨迹序号与猪体对应的目标框序号保持一致。
4.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述绘制猪体的速度变化图，具体为：
解析由跟踪算法得到的跟踪结果，根据公式(3)得到相邻两帧间同一猪体的位移量：
Figure FDA0002723014210000031
其中，dis(i,j)表示第i帧第j个目标相对第i-1帧的位移变化量，position(i,j,x)为第i帧第j个目标的横坐标，position(i,j,y)为第i帧第j个目标的纵坐标。
将每个猪体每帧的位移量存储在一个一维矩阵，根据公式(4)得到每帧猪体瞬时速度：
speed(i,j)＝dis(i,j)/t (4)
其中，speed(i,j)是第j个猪体在第i帧的速度，t为相邻两帧的时间间隔。
5.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述得到猪几乎静止不动的帧数和时间、猪缓慢行走的帧数和时间、猪快速运动的帧数和时间，具体为：
根据专家知识和文献资料确定猪体在几乎静止不动、缓慢运动、快速运动时的速度范围；
根据公式(5)(6)(7)记录以上三种行为持续的时间和帧数：
W(j)＝A(speed(i,j),α1,α2) i∈n (5)
T(j)＝A(speed(i,j),α2,α3) i∈n (6)
V(j)＝A(speed(i,j),α3,α4,) i∈n (7)
其中W(j)表示第j头猪，速度范围在α1到α2之间时几乎静止不动的帧数；T(j)表示第j头猪，速度范围在α2到α3之间时缓慢运动的帧数；V(j)表示第j头猪，速度范围在α3到α4之间时快速运动的帧数。
6.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述通过视频分割算法，获取每帧每头猪的像素级外观轮廓，具体为：
提取每头生猪的目标区域以及紧邻区域作为感兴趣区域，感兴趣区域的坐标范围计算方式如公式(8)所示：
Figure FDA0002723014210000041
其中x与y的对应感兴趣区域的横纵边界的坐标，α，β为中心点坐标，λ表示以目标中心为基准，向上下左右四个方向扩展的倍数，m1m2为目标框的横向坐标范围，n1n2为目标框的纵向坐标范围。
根据群体环境下每头猪的位置，在第一帧人为圈定每头猪的大致轮廓，利用Interaction Network，该网络可根据用户指定区域，精确分割前景物体，通过用户在第一帧指定的猪体大致轮廓，生成第一帧每个猪体的像素级外观轮廓分割结果。
利用Propagation Network，该网络的作用为将某一帧的分割结果，传播到后续相邻的帧。将第一帧猪体外观轮廓通过帧间传播的方式传递给后续视频帧，生成后续帧猪体外观轮廓分割结果。
收集猪体站立和趴卧的图像，整理出能够反映出猪体姿态的典型图像，建立猪体站卧姿标准数据库，对比猪体外观轮廓和标准库中轮廓的相似度，得到猪体站立和趴卧的二分类判定。
7.根据权利要求1所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述判断出猪体趴卧不动、静止站立、缓慢行走、快速跑动和异常躁动这五种典型行为，具体为：
猪体趴卧行为的判断：一段时间内猪体的运动轨迹图没有变化，猪体速度变化图在速度趋于0的位置处波动，猪体外观轮廓的姿态识别结果为卧姿；
猪体静止站立行为的判断：一段时间内猪体的轨迹图与速度图的与猪体趴卧时的相似，猪体外观轮廓的识别结果为站姿；
猪体缓慢运动行为的判断：一段时间内猪体的轨迹图变化较大，且轨迹特点为比较平滑的曲线，猪体速度曲线绝大部分位于猪体缓慢运动的范围内，外观轮廓的识别结果为站姿；
猪体快速跑动的判断：一段时间内猪体的轨迹特点和姿态与猪体缓慢运动时一致，速度曲线绝大部分位于猪体快速运动的范围内；
猪体异常运动的判断：一段时间内猪体的轨迹中包含螺旋状轨迹或含有大面积闭合曲线，猪体运动速度变化图有较大波动，外观识别结果为站姿或站卧交替。
8.根据权利要求1-7中任一项所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，绘制每头猪的运动轨迹时，轨迹图与视频序列的面积比为1:1。
9.根据权利要求1-7中任一项所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述单目标跟踪算法为基于粒子滤波的RPT算法。
10.根据权利要求1-7中任一项所述群体环境中多猪体运动轨迹提取和行为分析方法，其特征在于，所述视频分割算算法所用网络结构为Interaction-and-PropagationNetworks。
CN202011093852.1A 2020-10-14 2020-10-14 群体环境中多猪体运动轨迹提取和行为分析方法 Active CN112288771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011093852.1A CN112288771B (zh) 2020-10-14 2020-10-14 群体环境中多猪体运动轨迹提取和行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011093852.1A CN112288771B (zh) 2020-10-14 2020-10-14 群体环境中多猪体运动轨迹提取和行为分析方法

Publications (2)

Publication Number Publication Date
CN112288771A true CN112288771A (zh) 2021-01-29
CN112288771B CN112288771B (zh) 2022-03-25

Family

ID=74496202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011093852.1A Active CN112288771B (zh) 2020-10-14 2020-10-14 群体环境中多猪体运动轨迹提取和行为分析方法

Country Status (1)

Country Link
CN (1) CN112288771B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632749A (zh) * 2021-09-07 2021-11-12 华中农业大学 一种基于动物行为的猪身体状态监测方法
CN113963298A (zh) * 2021-10-25 2022-01-21 东北林业大学 基于计算机视觉的野生动物识别跟踪与行为检测系统、方法、设备及存储介质
CN114820692A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 跟踪目标的状态分析方法、装置、存储介质和终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160124513A1 (en) * 2014-01-07 2016-05-05 Softkinetic Software Human-to-Computer Natural Three-Dimensional Hand Gesture Based Navigation Method
CN107833240A (zh) * 2017-11-09 2018-03-23 华南农业大学 多跟踪线索引导的目标运动轨迹提取和分析方法
CN110321754A (zh) * 2018-03-28 2019-10-11 西安铭宇信息科技有限公司 一种基于计算机视觉的人体运动姿态纠正方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160124513A1 (en) * 2014-01-07 2016-05-05 Softkinetic Software Human-to-Computer Natural Three-Dimensional Hand Gesture Based Navigation Method
CN107833240A (zh) * 2017-11-09 2018-03-23 华南农业大学 多跟踪线索引导的目标运动轨迹提取和分析方法
CN110321754A (zh) * 2018-03-28 2019-10-11 西安铭宇信息科技有限公司 一种基于计算机视觉的人体运动姿态纠正方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEOUNG WUG OH ET.AL: "Fast User-Guided Video Object Segmentation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
梁 云 等: "部件级表观模型的目标跟踪方法", 《软件学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632749A (zh) * 2021-09-07 2021-11-12 华中农业大学 一种基于动物行为的猪身体状态监测方法
CN113963298A (zh) * 2021-10-25 2022-01-21 东北林业大学 基于计算机视觉的野生动物识别跟踪与行为检测系统、方法、设备及存储介质
CN114820692A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 跟踪目标的状态分析方法、装置、存储介质和终端

Also Published As

Publication number Publication date
CN112288771B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN112288771B (zh) 群体环境中多猪体运动轨迹提取和行为分析方法
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Ha et al. Neural-edge-based vehicle detection and traffic parameter extraction
CN107886086B (zh) 一种基于图像视频的目标动物检测方法及装置
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN100544446C (zh) 用于视频监控的实时运动检测方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN109344690B (zh) 一种基于深度相机的人数统计方法
CN110874592B (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN110415277A (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN113920453A (zh) 一种基于深度学习的猪只体尺体重估测方法
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN102346854A (zh) 前景物体检测方法和设备
CN109684986B (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
CN109063667A (zh) 一种基于场景的视频识别方式优化及推送方法
CN106056078B (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN113066064A (zh) 基于人工智能的锥束ct图像生物结构识别及三维重建系统
CN111640135A (zh) 一种基于硬件前端的tof摄像头行人计数方法
CN110307903A (zh) 一种家禽特定部位无接触温度动态测量的方法
CN114463724A (zh) 一种基于机器视觉的车道提取识别方法
CN110490161B (zh) 一种基于深度学习的圈养动物行为分析方法
CN109035296A (zh) 一种改进的视频中运动物体检测方法
CN117636268A (zh) 一种面向冰雪环境的无人机航拍自然驾驶数据集构建方法
CN108388883A (zh) 一种基于hog+svm的视频人数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant