CN109684953A - 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置 - Google Patents

基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置 Download PDF

Info

Publication number
CN109684953A
CN109684953A CN201811525576.4A CN201811525576A CN109684953A CN 109684953 A CN109684953 A CN 109684953A CN 201811525576 A CN201811525576 A CN 201811525576A CN 109684953 A CN109684953 A CN 109684953A
Authority
CN
China
Prior art keywords
pig
picture
image
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811525576.4A
Other languages
English (en)
Other versions
CN109684953B (zh
Inventor
鞠铁柱
苍岩
张兴福
付海玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaolong Stealth Technology Co Ltd
Original Assignee
Beijing Xiaolong Stealth Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaolong Stealth Technology Co Ltd filed Critical Beijing Xiaolong Stealth Technology Co Ltd
Priority to CN201811525576.4A priority Critical patent/CN109684953B/zh
Publication of CN109684953A publication Critical patent/CN109684953A/zh
Application granted granted Critical
Publication of CN109684953B publication Critical patent/CN109684953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例公开了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置，对于群养栏的猪只，对猪只进行拍照得到有序图片帧。通过目标检测算法检测出图片中出现的猪只，通过粒子滤波对猪只的位置进行预测，最后结合欧式距离的计算对猪只的图像进行匹配，将有序图片帧中同一猪只对应的图像采用相同的标签进行标记，得到目标有序图片帧。根据有序图片帧中的标记，可以对群养栏中任一猪只的行为进行跟踪，不需要人工去群养栏对猪只进行现场的人工检查，而仅需通过目标有序图片帧即可对猪只的行为进行分析，效率较高，对群养栏进行各个角度拍照的照片提供了对群养栏内猪只进行全面分析的基础，通过对猪只的追踪实现了对猪只行为的准确分析。

Description

基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
技术领域
本发明实施例涉及智能养殖技术领域，尤其是涉及一种基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置。
背景技术
随着电子信息技术在养殖领域的应用，很多养殖场所通过现代化的养殖设备对猪只进行圈养。例如，在圈养猪只的群养栏内设置对猪只体重进行监测的设备、对猪只进食情况进行监测的设备和自动供给猪只食物和水的设备。现代化的养殖设备大大降低了养殖过程中的人力成本，节省了资源。然而，现有的养殖设备中缺乏对猪只活动进行跟踪监测，对猪只的行为分析往往依赖定期人工检查，人工检查无法做到对每一猪只进行全面的检查，检查结果具有片面性且人工检查效率较低。
在实际应用中，发明人发现对猪只的行为分析往往依赖定期人工检查，仅能对人工检查这一时间段内猪只的活动进行监控，无法对猪只进行实时的追踪，导致无法及时发现猪只存在的问题且通过人工定期检查分析猪只行为具有片面性，分析结果不准确，效率低。
发明内容
本发明要解决对猪只的行为分析往往依赖定期人工检查，仅能对人工检查这一时间段内猪只的活动进行监控，无法对猪只进行实时的追踪，导致无法及时发现猪只存在的问题且通过人工定期检查分析猪只行为具有片面性，分析结果不准确，效率低的问题。
针对以上技术问题，本发明的实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，包括：
获取对群养栏中的猪只进行拍照得到的有序图片帧；
通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
输出所述目标有序图片帧。
本发明的实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的装置，包括：
获取模块，用于获取对群养栏中的猪只进行拍照得到的有序图片帧；
标记跟踪模块，用于通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
输出模块，用于输出所述目标有序图片帧。
本发明的实施例提供了一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行以上所述的方法。
本发明的实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行以上所述的方法。
本发明的实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置，对于群养栏的猪只，对猪只进行拍照得到有序图片帧。通过目标检测算法检测出图片中出现的猪只，通过粒子滤波对猪只的位置进行预测，最后结合欧式距离的计算对猪只的图像进行匹配，将有序图片帧中同一猪只对应的图像采用相同的标签进行标记，得到目标有序图片帧。根据有序图片帧中的标记，可以对群养栏中任一猪只的行为进行跟踪，不需要人工去群养栏对猪只进行现场的人工检查，而仅需通过目标有序图片帧即可对猪只的行为进行分析，效率较高，对群养栏进行各个角度拍照的照片提供了对群养栏内猪只进行全面分析的基础，通过对猪只的追踪实现了对猪只行为的准确分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的方法的流程示意图；
图2是本发明另一个实施例提供的基于目标检测和粒子滤波算法实现多目标跟踪的流程示意图；
图3是本发明另一个实施例提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的装置的结构框图；
图4是本发明另一个实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本实施例提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的方法的流程示意图，参见图1，该方法包括：
101：获取对群养栏中的猪只进行拍照得到的有序图片帧；
102：通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
103：输出所述目标有序图片帧。
本实施例提供的方法由用于通过上述步骤101-103提供的方法进行猪只跟踪，标记出不同猪只的设备执行，该设备可以是服务器或者专用的进行猪只跟踪标记的设备。
有序图片帧是对群养栏中的猪只进行拍照后，拍照得到的图片按照拍照的时间顺利排列得到图片序列。目标检测算法就是在给定的图片中精确找到物体所在位置，并标注出物体的类别，包括Faster R-CNN、R-FCN和SSD。以Faster R-CNN为例，通过对卷积神经网络CNN进行训练(例如，使用大量的已经标记出猪只位置的图片作为样本对卷积神经网络进行训练得到用于对猪只进行识别的模型)得到用于识别图片中猪只的模型。该模型标记出图片中猪只的位置，例如，标记出猪只图像左上角的坐标和对应的猪只所在区域的长度和宽度即可。
粒子滤波算法就是通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程。通过粒子滤波算法能够基于概率分布预测出某一帧图片的后一帧图片中各猪只出现的位置。
输出的目标有序图片帧中对不同的猪只添加了不同的标签，根据这些标签可以从各帧图片中识别出某一猪只，进而根据各帧图片中记录的猪只的行为对猪只进行分析，例如，分析猪只是否合群，以确定是否需要对该猪只更换群养栏。
此外，采用目标检测算法和粒子滤波算法对猪只进行跟踪，无论拍照时环境光线如何，均能使用本实施例提供的方法实现猪只的追踪，避免了因环境问题导致的追踪错误。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，对于群养栏的猪只，对猪只进行拍照得到有序图片帧。通过目标检测算法检测出图片中出现的猪只，通过粒子滤波对猪只的位置进行预测，最后结合欧式距离的计算对猪只的图像进行匹配，将有序图片帧中同一猪只对应的图像采用相同的标签进行标记，得到目标有序图片帧。根据有序图片帧中的标记，可以对群养栏中任一猪只的行为进行跟踪，不需要人工去群养栏对猪只进行现场的人工检查，而仅需通过目标有序图片帧即可对猪只的行为进行分析，效率较高，对群养栏进行各个角度拍照的照片提供了对群养栏内猪只进行全面分析的基础，通过对猪只的追踪实现了对猪只行为的准确分析。
进一步地，在上述实施例的基础上，还包括：
对于所述群养栏中的任一目标猪只，根据所述目标猪只的图像对应的标签，从所述目标有序图片帧中获取包含所述目标猪只的图像的图片序列，根据所述图片序列对所述目标猪只的行为进行分析，显示得到的分析结果。
对于群养栏中的任一目标猪只，由该猪只对应的标签找到记载了该目标猪只行为的所有图片，得到图片序列。可以人工对该图片序列进行分析，得到对该目标猪只行为分析的分析结果，也可以通过相应的软件或者模型对猪只的行为进行分析，进行行为分类，将分类的类别作为分析结果。当对该目标猪只的行为进行智能分析后，显示分析结果，以便工作人员能够通过显示的分析结果快速了解各猪只的行为。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，通过标记的标签实现了对任一目标猪只的行为分析，使得工作人员能够快速了解猪只的行为，便于管理。
进一步地，在上述各实施例的基础上，所述通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只对应的图像进行标记，得到目标有序图片帧，包括：
获取所述有序图片帧中的首帧图片，通过目标检测算法检测出所述首帧图片中各猪只的图像，用不同的标签对所述首帧图片中各猪只的图像进行标记；
循环执行图像跟踪标记操作，直到对所述有序图片帧中的每一帧图片中出现的猪只的图像进行了标记；
其中，所述图像跟踪标记操作包括：
从所述有序图片帧中获取相邻的两帧图片，作为目标图片组合；其中，在所述目标图片组合中，前一帧图片中出现的各猪只的图像已经进行了标记，且后一帧图片中出现的各猪只的图像未进行标记；
根据前一帧图片中出现的各猪只在前一帧图片中的位置，采用粒子滤波算法对前一帧图片中的各猪只的图像在后一帧图像中的位置进行预测，得到各猪只的图像对应的预测位置；
通过目标检测算法检测出后一帧图片中出现的各猪只的图像，得到后一帧图片中出现的各猪只的图像对应的对实际位置；
每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签，对后一帧图片中所述目标实际位置处的猪只的图像标记所述目标标签。
在对有序图片帧中的各图片标记标签的过程中，可以先将该有序图片帧的首帧图片中的猪只的图像进行标记。以进行了标记的图片为基准，通过图像跟踪标记操作对该图片后一帧图片进行标记，以此类推，直到对有序图片帧中的每一帧图片进行了标记。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，通过循环执行图像跟踪标记操作实现了对各帧中猪只的标记。
进一步地，在上述各实施例的基础上，所述对每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签，对后一帧图片中所述目标实际位置处的猪只的图像标记所述目标标签，包括：
每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签；
将后一帧图片中所述目标实际位置对应的坐标替换为所述预测位置对应的坐标，并对所述目标实际位置处的猪只的图像标记所述目标标签。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，对于满足欧式距离的与车位置和实际位置，将后一帧图片中的实际位置替换为预测位置后，再对猪只进行标记。
进一步地，在上述各实施例的基础上，所述图像跟踪标记操作，还包括：
判断后一帧图片中是否还存在没有标记的猪只的图像，若是，将没有标记的猪只的图像作为未标记图像；
对每一未标记图像，若根据所述有序图片帧中后一帧图片之前的图片判断所述未标记图像的移动方向是进入视野方向，且所述未标记图像进入了后一帧图片中的边界线内，则生成新增标签，对所述未标记图像标记所述新增标签；
其中，由每一帧图片的中距最近的边缘相距预设数量的像素的边缘像素点组成的线为图片的边界线。
预设数量的像素中的预设数量为设定值，例如，30个像素。对于一些还未出现在边界线以内的猪只的图像，在该图像进入边界线以内后，为该图像标记新增标签。当该图像的移动方向是进入视野方向，且由该图像有部分进入了边界线内，则为该图像标记新增标签。
其中，根据所述有序图片帧中后一帧图片之前的图片判断所述未标记图像的移动方向是进入视野方向，包括：通过目标检测算法、粒子滤波算法和欧式距离的计算匹配到在边界线以外的某一猪只的图像，由该图像的位置在各帧图片中的移动方向判断该图像是进入视野方向还是离开视野方向；若该图像的位置在各帧图片中随着时间靠近图片的中心点，则该图像的移动方向是进入视野方向。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，通过对未标记图像进行移动方向和是否进入边界线的判断为新增的图像增加了新的标签。
进一步地，在上述各实施例的基础上，所述图像跟踪标记操作，还包括：
对后一帧图片中每一个已经标记了标签的已标记图像，若根据所述有序图片帧中后一帧图片之前的图片判断所述已标记图像的移动方向是离开视野方向，且所述已标记图像完全位于后一帧图片中的边界线外，则删除所述已标记图像的标签。
其中，根据所述有序图片帧中后一帧图片之前的图片判断所述已标记图像的移动方向是离开视野方向，包括：通过目标检测算法、粒子滤波算法和欧式距离的计算匹配到在边界线以内的某一猪只的图像，由该图像的位置在各帧图片中的移动方向判断该图像是进入视野方向还是离开视野方向；若该图像的位置在各帧图片中随着时间远离图片的中心点，则该图像的移动方向是离开视野方向。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，通过对已标记图像进行移动方向和是否完全在边界线以外的判断为将离开视野的猪只的图像进行删除。
进一步地，在上述各实施例的基础上，所述获取对群养栏中的猪只进行拍照得到的有序图片帧，包括：
获取从不同角度对群养栏内的猪只进行拍照得到的图片，将在同一时刻进行拍照得到的图片通过图像拼接合成为全景图片，将按照时间顺序排列的全景照片作为所述有序图片帧。
本实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，全景照片包括了群养栏各角度的完整内容，将拼接的全景照片作为猪只跟踪的照片，实现了对群养栏猪只的全面跟踪，避免了某一猪只漏检的情况。
具体来说，本实施例提供的方法中，由安装在群养栏周围的拍照设备不停的对群养栏进行拍照，由各拍照设备得到的照片合成全景图片，得到作为猪只跟踪有序图片帧。利用目标检测和粒子滤波算法对有序图片帧中的图片进行处理，能够准确地对每一猪只进行跟踪，为对猪只的行为进行分析提供了基础。
图2为本实施例提供的基于目标检测和粒子滤波算法实现多目标跟踪的流程示意图，参见图2，本实施例中的目标检测算法为Faster R-CNN)，这种多目标跟踪的方法首先采用基于深度学习的目标检测算法Faster R-CNN；针对目标跟踪，采用快速简单的粒子滤波算法，对检测得到的目标框进行预测，通过欧氏距离进行相似性联合判定和跟踪框是否配对，并且对配对结果进行相应的更新，删除消失在跟踪视野中的目标，增加新出现在视野中目标，最终完成多目标的跟踪。该方法对各种复杂场景与不同天气下的多目标实现了跟踪，具有很高的鲁棒性。其包括以下步骤：
(1)读取视频帧；即读取视频，将视频逐帧输入到算法中；
(2)调用Faster R-CNN目标检测算法模型对视频帧进行检测，并将第一帧检测结果作为初始值；
(3)粒子滤波初始化；
(4)利用欧氏距离的方法对检测框与跟踪框的结果进行配对；
(5)将配对好的检测框作为粒子滤波的观测值输入，利用粒子滤波算法进行预测，并将预测坐标更新到跟踪框中；
(6)对跟踪框进行判断，消失在跟踪视野中的目标框进行删除，新进入视野的目标框进行新增。
对于上述步骤(2)，视频已经逐帧读入，调用基于深度学习的Faster R-CNN目标检测算法对该帧中的目标进行检测。目标检测算法模型在VOC数据集的预训练模型的基础上，对自己制作的数据集迭代50000次得到。该算法搭建环境为TensFlow1.3.0、CUDA8.0、cuDNN5.1、OpenCV2.4.13。该算法对输入图片的尺寸大小没有限制，置信度得分阈值为0.7，得到第i个物体的检测框是(xi,yi,wi,hi)，其中(xi,yi)为该检测框的左上角坐标，wi为该检测框的宽度，hi该检测框的高度，其中心点为(mx,my)。其中mx＝xi+wi/2，my＝yi+hi/2；
对于上述步骤(3)，根据第一帧检测结果，初始化粒子滤波。其中粒子滤波器的状态方程和观测方程:
状态方程为XK＝AXK-1+WK-1；观测方程为ZK＝HZK+VK，式中，XK表示K时刻系统的状态向量；ZK表示K时刻系统的观测向量；A表示状态转移矩阵；H表示观测矩阵；WK-1和VK表示高斯白噪声，二者互不相关，均值都为0。
对于步骤(4)，Faster R-CNN目标检测算法能够得到多个目标的检测框，通过公式计算欧式距离，将上一帧的目标与该帧的目标进行对应。确定各个目标的观测值。其中，计算检测框的范围由上一帧粒子滤波的预测值确定，这样减少计算量，缩小搜索范围，提高运算速度。
对于步骤(5)，上一步骤已经确定好各个目标在该帧的检测框，将该检测框作为粒子滤波的观测值输入到粒子滤波器中。并利用粒子滤波器的预测值，得到最终的追踪结果。
对于步骤(6)设置距离图片边缘30个像素的位置为进出观测场景的阈值，该阈值由实验得到，可以根据需要调整。当目标的速度方向是离开视野，并且已经达到离开视野阈值，则对该目标的粒子滤波跟踪器进行删除，同时删除该目标的ID号。当目标的速度方向是进入视野，并且已经达到进入视野阈值，则对该目标的粒子滤波跟踪器进行增加，同时增加该目标的ID号。
图3示出了本发明的实施例提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的装置的结构框图，参见图3，本实施例提供的对猪只进行声音检测的装置包括获取模块301、标记跟踪模块302和输出模块303，其中，
获取模块301，用于获取对群养栏中的猪只进行拍照得到的有序图片帧；
标记跟踪模块302，用于通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
输出模块303，用于输出所述目标有序图片帧。
本实施例提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的装置适用于上述实施例中提供的一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，在此不再赘述。
本发明的实施例提供了一种基于目标检测和粒子滤波算法进行猪只跟踪的装置，对于群养栏的猪只，对猪只进行拍照得到有序图片帧。通过目标检测算法检测出图片中出现的猪只，通过粒子滤波对猪只的位置进行预测，最后结合欧式距离的计算对猪只的图像进行匹配，将有序图片帧中同一猪只对应的图像采用相同的标签进行标记，得到目标有序图片帧。根据有序图片帧中的标记，可以对群养栏中任一猪只的行为进行跟踪，不需要人工去群养栏对猪只进行现场的人工检查，而仅需通过目标有序图片帧即可对猪只的行为进行分析，效率较高，对群养栏进行各个角度拍照的照片提供了对群养栏内猪只进行全面分析的基础，通过对猪只的追踪实现了对猪只行为的准确分析。
图4是示出本实施例提供的电子设备的结构框图。
参照图4，所述电子设备包括：处理器(processor)401、存储器(memory)402、通信接口(Communications Interface)403和总线404；
其中，
所述处理器401、存储器402、通信接口403通过所述总线404完成相互间的通信；
所述通信接口403用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取对群养栏中的猪只进行拍照得到的有序图片帧；通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；输出所述目标有序图片帧。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取对群养栏中的猪只进行拍照得到的有序图片帧；通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；输出所述目标有序图片帧。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取对群养栏中的猪只进行拍照得到的有序图片帧；通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；输出所述目标有序图片帧。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (10)

1.一种基于目标检测和粒子滤波算法进行猪只跟踪的方法，其特征在于，包括：
获取对群养栏中的猪只进行拍照得到的有序图片帧；
通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
输出所述目标有序图片帧。
2.根据权利要求1所述的方法，其特征在于，还包括：
对于所述群养栏中的任一目标猪只，根据所述目标猪只的图像对应的标签，从所述目标有序图片帧中获取包含所述目标猪只的图像的图片序列，根据所述图片序列对所述目标猪只的行为进行分析，显示得到的分析结果。
3.根据权利要求1所述的方法，其特征在于，所述通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只对应的图像进行标记，得到目标有序图片帧，包括：
获取所述有序图片帧中的首帧图片，通过目标检测算法检测出所述首帧图片中各猪只的图像，用不同的标签对所述首帧图片中各猪只的图像进行标记；
循环执行图像跟踪标记操作，直到对所述有序图片帧中的每一帧图片中出现的猪只的图像进行了标记；
其中，所述图像跟踪标记操作包括：
从所述有序图片帧中获取相邻的两帧图片，作为目标图片组合；其中，在所述目标图片组合中，前一帧图片中出现的各猪只的图像已经进行了标记，且后一帧图片中出现的各猪只的图像未进行标记；
根据前一帧图片中出现的各猪只在前一帧图片中的位置，采用粒子滤波算法对前一帧图片中的各猪只的图像在后一帧图像中的位置进行预测，得到各猪只的图像对应的预测位置；
通过目标检测算法检测出后一帧图片中出现的各猪只的图像，得到后一帧图片中出现的各猪只的图像对应的对实际位置；
每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签，对后一帧图片中所述目标实际位置处的猪只的图像标记所述目标标签。
4.根据权利要求3所述的方法，其特征在于，所述对每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签，对后一帧图片中所述目标实际位置处的猪只的图像标记所述目标标签，包括：
每一预测位置，判断后一帧图片中的实际位置中是否存在与所述预测位置之间的欧氏距离小于预设参考距离的目标实际位置，若是，获取前一帧图片中与所述预测位置对应的猪只的图片的标签，作为目标标签；
将后一帧图片中所述目标实际位置对应的坐标替换为所述预测位置对应的坐标，并对所述目标实际位置处的猪只的图像标记所述目标标签。
5.根据权利要求3所述的方法，其特征在于，所述图像跟踪标记操作，还包括：
判断后一帧图片中是否还存在没有标记的猪只的图像，若是，将没有标记的猪只的图像作为未标记图像；
对每一未标记图像，若根据所述有序图片帧中后一帧图片之前的图片判断所述未标记图像的移动方向是进入视野方向，且所述未标记图像进入了后一帧图片中的边界线内，则生成新增标签，对所述未标记图像标记所述新增标签；
其中，由每一帧图片的中距最近的边缘相距预设数量的像素的边缘像素点组成的线为图片的边界线。
6.根据权利要求5所述的方法，其特征在于，所述图像跟踪标记操作，还包括：
对后一帧图片中每一个已经标记了标签的已标记图像，若根据所述有序图片帧中后一帧图片之前的图片判断所述已标记图像的移动方向是离开视野方向，且所述已标记图像完全位于后一帧图片中的边界线外，则删除所述已标记图像的标签。
7.根据权利要求1所述的方法，其特征在于，所述获取对群养栏中的猪只进行拍照得到的有序图片帧，包括：
获取从不同角度对群养栏内的猪只进行拍照得到的图片，将在同一时刻进行拍照得到的图片通过图像拼接合成为全景图片，将按照时间顺序排列的全景照片作为所述有序图片帧。
8.一种基于目标检测和粒子滤波算法进行猪只跟踪的装置，其特征在于，包括：
获取模块，用于获取对群养栏中的猪只进行拍照得到的有序图片帧；
标记跟踪模块，用于通过目标检测算法和粒子滤波算法，对所述有序图片帧的各图片中同一猪只的图像标记同一标签，得到目标有序图片帧；
输出模块，用于输出所述目标有序图片帧。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一项所述的方法。
CN201811525576.4A 2018-12-13 2018-12-13 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置 Active CN109684953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811525576.4A CN109684953B (zh) 2018-12-13 2018-12-13 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811525576.4A CN109684953B (zh) 2018-12-13 2018-12-13 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置

Publications (2)

Publication Number Publication Date
CN109684953A true CN109684953A (zh) 2019-04-26
CN109684953B CN109684953B (zh) 2021-05-14

Family

ID=66186737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811525576.4A Active CN109684953B (zh) 2018-12-13 2018-12-13 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置

Country Status (1)

Country Link
CN (1) CN109684953B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378953A (zh) * 2019-07-17 2019-10-25 重庆市畜牧科学院 一种智能识别猪群圈内空间分布行为的方法
CN111860203A (zh) * 2020-06-28 2020-10-30 北京小龙潜行科技有限公司 基于图像和音频混合的异常猪只识别装置、系统和方法
CN113269109A (zh) * 2021-06-03 2021-08-17 重庆市畜牧科学院 基于视觉ai的猪只状态分析系统和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894381A (zh) * 2010-08-05 2010-11-24 上海交通大学 动态视频序列中多目标跟踪系统
US20120205553A1 (en) * 2009-06-18 2012-08-16 Performance Indicator, Llc. Photoluminescent markings with functional overlayers
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
CN104751367A (zh) * 2013-12-31 2015-07-01 南京理工大学常熟研究院有限公司 养猪场种猪养殖品质全程感知、测控与跟踪系统
CN105654509A (zh) * 2015-12-25 2016-06-08 燕山大学 基于复合深度神经网络的运动跟踪方法
CN105894008A (zh) * 2015-01-16 2016-08-24 广西卡斯特动漫有限公司 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
CN107798329A (zh) * 2017-10-29 2018-03-13 北京工业大学 基于cnn的自适应粒子滤波目标跟踪方法
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN108038408A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 智能跟踪方法及装置、存储介质及电子终端
CN108508782A (zh) * 2018-01-29 2018-09-07 江苏大学 基于arm的猪只行为跟踪识别监控装置及方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120205553A1 (en) * 2009-06-18 2012-08-16 Performance Indicator, Llc. Photoluminescent markings with functional overlayers
CN101894381A (zh) * 2010-08-05 2010-11-24 上海交通大学 动态视频序列中多目标跟踪系统
CN104751367A (zh) * 2013-12-31 2015-07-01 南京理工大学常熟研究院有限公司 养猪场种猪养殖品质全程感知、测控与跟踪系统
CN105894008A (zh) * 2015-01-16 2016-08-24 广西卡斯特动漫有限公司 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
CN105654509A (zh) * 2015-12-25 2016-06-08 燕山大学 基于复合深度神经网络的运动跟踪方法
CN108038408A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 智能跟踪方法及装置、存储介质及电子终端
CN107798329A (zh) * 2017-10-29 2018-03-13 北京工业大学 基于cnn的自适应粒子滤波目标跟踪方法
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN108508782A (zh) * 2018-01-29 2018-09-07 江苏大学 基于arm的猪只行为跟踪识别监控装置及方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378953A (zh) * 2019-07-17 2019-10-25 重庆市畜牧科学院 一种智能识别猪群圈内空间分布行为的方法
CN111860203A (zh) * 2020-06-28 2020-10-30 北京小龙潜行科技有限公司 基于图像和音频混合的异常猪只识别装置、系统和方法
CN111860203B (zh) * 2020-06-28 2023-09-01 北京小龙潜行科技有限公司 基于图像和音频混合的异常猪只识别装置、系统和方法
CN113269109A (zh) * 2021-06-03 2021-08-17 重庆市畜牧科学院 基于视觉ai的猪只状态分析系统和方法
CN113269109B (zh) * 2021-06-03 2023-12-05 重庆市畜牧科学院 基于视觉ai的猪只状态分析系统和方法

Also Published As

Publication number Publication date
CN109684953B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Wu et al. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Tseng et al. Detecting and counting harvested fish and identifying fish types in electronic monitoring system videos using deep convolutional neural networks
Lamb et al. A strawberry detection system using convolutional neural networks
CN113112504A (zh) 一种植物点云数据分割方法及系统
CN112131927B (zh) 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
CN109684953A (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN109658414A (zh) 一种猪只的智能盘点方法及装置
CN114387520A (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
Rong et al. Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN
Kim et al. Tomato harvesting robotic system based on Deep-ToMaToS: Deep learning network using transformation loss for 6D pose estimation of maturity classified tomatoes with side-stem
CN108334878A (zh) 视频图像检测方法和装置
Qiao et al. Data augmentation for deep learning based cattle segmentation in precision livestock farming
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN113191222A (zh) 水下鱼类目标检测方法及装置
CN113435355A (zh) 多目标奶牛身份识别方法及系统
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及系统
Sun et al. A visual tracking system for honey bee (hymenoptera: Apidae) 3D flight trajectory reconstruction and analysis
Lu et al. Citrus green fruit detection via improved feature network extraction
CN113822198A (zh) 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
Jovanović et al. Splash detection in fish Plants surveillance videos using deep learning
CN115457437A (zh) 作物识别方法、装置、系统及农药喷施机器人
CN115690778A (zh) 基于深度神经网络的成熟期水果的检测与跟踪计数的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant