CN110276778A - 动物进圈轨迹提取、统计模型构建、统计方法及装置 - Google Patents

动物进圈轨迹提取、统计模型构建、统计方法及装置 Download PDF

Info

Publication number
CN110276778A
CN110276778A CN201910379411.9A CN201910379411A CN110276778A CN 110276778 A CN110276778 A CN 110276778A CN 201910379411 A CN201910379411 A CN 201910379411A CN 110276778 A CN110276778 A CN 110276778A
Authority
CN
China
Prior art keywords
animal
lairage
track
obtains
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910379411.9A
Other languages
English (en)
Other versions
CN110276778B (zh
Inventor
王菽裕
李春国
宋俊芳
薛茹
张春玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xizang Minzu University
Original Assignee
Xizang Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xizang Minzu University filed Critical Xizang Minzu University
Priority to CN201910379411.9A priority Critical patent/CN110276778B/zh
Publication of CN110276778A publication Critical patent/CN110276778A/zh
Application granted granted Critical
Publication of CN110276778B publication Critical patent/CN110276778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种农牧区动物进圈轨迹提取、统计模型构建、统计方法及装置，利用标定后的摄像机获取动物进圈以及一对动物进圈检测面的视频后，对动物进圈的视频进行处理，获得进圈动物的轨迹后，采用训练好的SVM分类器对轨迹进行分类并统计，本发明提供的一种农牧区动物进圈统计模型构建及统计方法，通过设置了多种动物标签，不仅可以统计动物的数量，还能够统计动物的种类，解决了传统人工计数的低效问题；其次本发明提供的统计方法可以确保放牧结束之后，牦牛全部安全入圈，还可以为将来智慧牧场的发展，提供技术支持。

Description

动物进圈轨迹提取、统计模型构建、统计方法及装置
技术领域
本发明涉及动物进圈统计方法，具体涉及一种动物进圈轨迹提取、统计模型构建、统计方法及装置。
背景技术
对于农牧区的普通百姓，绝大部分家庭都有好几百只的动物，例如牦牛、羊等，农牧区草场面积非常巨大，如何高效又准确的统计得到放牧结束的牦牛数目，是一个对于牧民非常必需解决的问题。
现有技术中对于农牧区动物进行基于图像的计数方法比较少见，基本思路都是通过对动物进圈轨迹的提取，获得进圈动物的轨迹后进行进一步地处理以及计数；但是现有技术中，对于进圈动物的轨迹的提取采用的轨迹追踪方法，并没有考虑到农牧区环境特点，导致轨迹追踪过程复杂、效率低且不具有实时性，不适合对农牧区动物进圈轨迹追踪。
并且，在获得了农牧区的动物轨迹后，现有技术往往是直接对该轨迹进行计数，只能获得进圈动物的总数，而无法实现动物数量以及动物种类的统计。
发明内容
本发明的目的在于提供一种动物进圈轨迹提取、统计模型构建、统计方法及装置，用以解决现有技术中没有考虑到农牧区环境特点，导致动物进圈轨迹追踪过程复杂、效率低且不具有实时性的问题。
为了实现上述任务，本发明采用以下技术方案：
一种动物进圈轨迹提取方法，用于获得每个进圈动物的轨迹，所述的方法按照以下步骤执行：
步骤1、在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
步骤2、利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，所述的待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
步骤3、求取待处理视频序列的背景图像；
将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
步骤4、对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
步骤5、判断步骤4获得的每个动物的轨迹是否均经过了步骤2中获得的一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
进一步地，所述的步骤4对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹，具体包括：
步骤4.1、对所述前景图像视频序列中所有前景图像进行二值化，获得多幅二值化后的前景图像，所述的每幅二值化后的前景图像均包括多个连通域；
步骤4.2、对每幅二值化后的前景图像中连通域的参数进行判断，将参数不符合动物参数条件的连通域进行删除，其中所述的参数包括连通域长度以及连通域宽度，所述的动物参数条件包括连通域长度范围以及连通域宽度范围；
获得每幅二值化后的前景图像中的多个动物连通域；
步骤4.3、确定每幅二值化后的前景图像中的每个动物连通域的几何中心，获得每幅二值化后的前景图像中的多个动物中心；
步骤4.4、对相邻的两幅二值化后的前景图像中的每个动物中心进行轨迹跟踪，获得每个动物对应的一段子轨迹；
步骤4.5、重复执行步骤4.4直至对所有相邻的两幅二值化后的前景图像均进行了轨迹跟踪，获得每个动物对应的多段子轨迹；
步骤4.6、将每个动物对应的多段子轨迹进行拼接，获得每个动物的轨迹。
进一步地，所述的步骤4.2具体包括：
步骤4.2.1、对每幅二值化后的前景图像中的连通域设置外接矩形；
步骤4.2.2、判断每幅二值化后的前景图像中各外接矩形的长度是否符合连通域长度范围，判断每幅二值化后的前景图像中各外接矩形的宽度是否符合连通域宽度范围；
将外接矩形长度不符合连通域长度范围的连通域或外接矩形宽度不符合连通域宽度范围的连通域进行删除后，获得每幅二值化后的前景图像中的多个动物连通域。
进一步地，在所述的步骤4.4中对第n-1幅二值化后的前景图像中的多个动物中心与第n幅二值化后的前景图像中的多个动物中心进行轨迹跟踪，其中n∈N，N为步骤3中获得的前景图像的总数，具体包括：
步骤4.4.1、获得第n-1幅二值化后的前景图像中第i个动物中心的坐标，i＝1，2，…,I，I为步骤4.3中获得第n-1幅二值化后的前景图像中的动物中心的总数；
步骤4.4.2、获得第n幅二值化后的前景图像中所有动物中心的坐标；
步骤4.4.3、计算步骤4.4.1中第i个动物中心的坐标与步骤4.4.2中获得的每个动物中心的坐标之间的横坐标差值以及纵坐标差值；
步骤4.4.4、将满足坐标差值条件的第n幅二值化后的前景图像中一个动物中心作为子轨迹终点，所述的坐标差值条件为：
将第n-1幅二值化后的前景图像中第i个动物中心作为子轨迹起点；
步骤4.4.5、连接所述的子轨迹起点与所述的子轨迹终点，获得第i个动物对应的一段子轨迹；
步骤4.4.6、令i＝i+1，返回步骤4.4.1，直至i＝I时结束，获得I个动物中每个动物对应的一段子轨迹。
一种动物进圈统计模型构建方法，按照以下步骤执行：
步骤I、采用步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，所述的样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
步骤II、将所述的样本视频序列作为待处理视频序列，利用步骤3-步骤5对待处理视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
步骤III、为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
步骤IV、将所述的轨迹样本集作为输入，将所述的标签集作为输出，训练支持向量机，获得动物进圈统计模型。
一种动物进圈统计方法，采用步骤A至步骤D的方法执行，获得统计结果：
步骤A、采用步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
步骤B、将所述的待统计视频序列作为待处理视频序列，利用步骤3-步骤5对待处理视频序列进行轨迹提取，获得轨迹集；
步骤C、将所述的轨迹集输入动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
步骤D、对步骤C获得的所有动物名称标签进行统计，获得统计结果，所述的统计结果包括进圈动物的种类和数量。
一种动物进圈轨迹提取装置，包括视频采集模块以及视频背景获得模块，还包括检测面设置模块、轨迹跟踪模块以及轨迹筛选模块；
所述的检测面设置模块用于在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
所述的视频采集模块用于利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，所述的待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
所述的视频背景获得模块用于求取待处理视频序列的背景图像；
还用于将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
所述的轨迹跟踪模块用于对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
所述的轨迹筛选模块用于判断获得的每个动物的轨迹是否均经过了一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
一种动物进圈统计模型构建装置，包括所述的农牧区动物进圈轨迹提取装置、标签分配模块以及模型建立模块；
所述的农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，所述的样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
所述的农牧区动物进圈轨迹提取装置还用于对样本视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
所述的标签分配模块用于为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
所述的模型建立模块用于将所述的轨迹样本集作为输入，将所述的标签集作为输出，训练支持向量机，获得动物进圈统计模型。
一种动物进圈统计装置，包括所述的农牧区动物进圈轨迹提取装置、分类模块以及统计模块；
所述的农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
还用于对所述的待统计视频序列进行轨迹提取，获得轨迹集；
分类模块用于将所述的轨迹集输入动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
统计模块用于获得的所有动物名称标签进行统计，获得统计结果，所述的统计结果包括进圈动物的种类和数量。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的一种农牧区动物进圈轨迹提取方法，考虑到农牧区动物在进圈时必然会经过一段进圈区域，通过在空间中设置相互平行的一对动物进圈检测面后，利用标定后的摄像机采集图像，将动物进圈检测面通过投影变换为一对检测线，用于在图像上过滤进圈动物轨迹以及非进圈动物轨迹，提高了基于图像的动物进圈轨迹提取的效率，从而提高了实时性；
2、本发明提供的一种农牧区动物进圈轨迹提取方法，考虑到农牧区动物的体型特征，通过设置了动物参数条件用于筛选进圈动物，防止在轨迹提取时混入图像中其他对象(例如成片的草、石头等物体)，提高了动物进圈轨迹提取的准确率，并且减少了轨迹提取的计算量，提高了实时性；
考虑到农牧区动物活动背景单一，本发明采用多幅图像求取均值方法就能够实现快速地获得视频背景图像，提高了轨迹提取方法的效率以及实时性；
3、本发明提供的一种农牧区动物进圈轨迹提取方法，采用相邻帧轨迹追踪的方法，将满足坐标差值条件的点作为子轨迹的终点后，获得一段子轨迹，最终再将多段子轨迹进行拼接，提高了轨迹提取的准确率；
4、本发明提供的一种农牧区动物进圈统计模型构建及统计方法，通过设置了多种动物标签，不仅可以统计动物的数量，还能够统计动物的种类，解决了传统人工计数的低效问题；其次本发明提供的统计方法可以确保放牧结束之后，牦牛全部安全入圈，还可以为将来智慧牧场的发展，提供技术支持。
附图说明
图1为本发明的一个实施例中提供的动物进圈检测面设置示意图；
图2为本发明的一个实施例中提供的一幅待处理图像；
图3为本发明的一个实施例中提供的连通域的外接矩形示意图；
图4为本发明的一个实施例中提供的轨迹提取及检测线设置效果示意图。
具体实施方式
以下是发明人给出的具体实施例，用于对本发明的方案进行进一步地介绍。
实施例一
在本实施例中提供了一种农牧区动物进圈轨迹提取方法，用于获得每个进圈动物的轨迹。
在本实施例中，以西藏地区牧民的牦牛统计为例，获得进圈牦牛的轨迹。
所述的方法按照以下步骤执行：
步骤1、在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
在本步骤中，空间为实际检测区域所在的空间，即农牧区圈门以及圈门外侧所在的空间，在本步骤中，为了实现对动物进圈的检测，设定了动物进圈的检测空间，只要动物的轨迹经过这两个检测面，即动物的轨迹从圈门外侧进入至圈门内侧，就认定动物已经进圈了，从而实现对动物进圈轨迹的筛选，因此在实际三维场景下设置了两个固定位置的检测面，一个检测面位于圈门所在的垂直面，另外一个监测面与圈门平行位于圈门外侧，检测面可以是虚拟的检测面，也可以是真实的检测面，但是在本实施例中，为了不影响动物进圈的路线，将检测面设置为虚拟检测面。
在本实施例中，一个检测面位于圈门所在的垂直面，一个平行于圈门平面距离圈门外3米之外的垂直面，如图1所示为设置的检测面的正视图。
步骤2、在圈门外设置摄像机，标定摄像机；
利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，所述的待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
在本步骤中，获取动物进圈视频前，首先需要对摄像机进行标定，标定视频图像与实际检测区域的三维场景，采用张正友相机标定方法对摄像机进行标定。
在本步骤中，在圈门处架设摄像机，所述摄像机的拍摄范围覆盖圈门及圈门前方的范围；
在本实施例中，通过在牦牛圈的圈门附近区域架设的摄像机，获取圈门附近区域的视频；摄像机覆盖牦牛圈的圈门3米至3.5米范围。
由于摄像机的投影变换，一对相互平行的检测面在图像中就是两条平行的检测线，并且在摄像机的位置保持固定的情况下，检测线的位置一直固定，也就是说，在每幅前景图像上的检测线的位置都相同。
在本实施例中，采用标定后的摄像机获取牦牛进圈门的视频，其中一幅图像如图2所示，图2中一对相互平行的检测面经过投影变换后获得了两条平行的检测线。
在本发明中，考虑到农牧区动物在进圈时必然会经过一段进圈区域，通过在空间中设置相互平行的一对动物进圈检测面后，利用标定后的摄像机采集图像，将动物进圈检测面通过投影变换为一对检测线，用于在图像上过滤进圈动物轨迹以及非进圈动物轨迹，提高了基于图像的动物进圈轨迹提取的效率，从而提高了实时性。
在获得待处理视频序列之后，还可以对视频序列进行预处理，以增强图像对比图，便于目标识别与提取。
预处理包括对待处理视频序列进行图像增强以及去噪，在本实施例中，图像增强可以是对视频图像进行直方图均衡化，还可以是对视频图像进行灰度变换。优选地，选择直方图均衡化以增强视频图像的对比度。在本实施例中，图像去噪可以是均值去噪、中值去噪、低通滤波等方法，以减小噪声对视频图像的影响。
步骤3、求取待处理视频序列的背景图像；
将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
在本实施例中，获取预处理后的视频序列的背景图像可以是多帧图像平均法，可以是连续帧差法。
可选地，求取所述预处理后的视频序列中前M幅图像的平均图像，获得背景图像，M为60至100之间的整数。
在本实施例中，M的取值在实验中是100，这个数据越大，背景提取越精确，由于本发明提供的方法运用的场景简单，所以取值可以是60～100；
考虑到农牧区动物活动背景单一，采用多幅图像求取均值方法就能够实现快速地获得视频背景图像，提高了轨迹提取方法的效率以及实时性。
在本实施例中，利用图像减去背景图像的方法，去除图像中的干扰，获得多幅前景图像。
步骤4、对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
对动物进行轨迹标记获得多条轨迹的方法可以是基于特征概率密度的Mean-shift跟踪算法、基于目标颜色的跟踪算法等。
在本实施例中，为了适应农牧区动物轨迹跟踪，提高动物轨迹跟踪的准确率及效率，可选地，所述的步骤4对所述前景图像视频序列进行轨迹跟踪，获得多条轨迹，具体包括：
步骤4.1、对所述前景图像视频序列中所有前景图像进行二值化，获得多幅二值化后的前景图像，所述的每幅二值化后的前景图像均包括多个连通域；
在本实施例中，对前景图像做二值化处理，例如某一前景图像为[X]，前景图像规格为I×J，前景图像[X]中的(i,j)处的像素值记为f(i,j),如果f(i,j)大于阈值T1,则令f(i,j)＝255；如果f(i,j)小于阈值T1，则令f(i,j)＝0，其中阈值T1为经验值，在本实施例中，T1的取值为100；
步骤4.2、对每幅二值化后的前景图像中连通域的参数进行判断，将参数不符合动物参数条件的连通域进行删除，其中所述的参数包括连通域长度以及连通域宽度，所述的动物参数条件包括连通域长度范围以及连通域宽度范围；
获得每幅二值化后的前景图像中的多个动物连通域；
由于本实施例的目的是为了获取牦牛的轨迹，因此本步骤的目的是筛选出牦牛的连通域，而不是一些其他干扰的连通域，具体地可以通过连通域大小对连通域进行筛选，也可以是通过连通域的长度以及宽度对连通域进行筛选。
可选地，所述的步骤4.2具体包括：
步骤4.2.1、对每幅二值化后的前景图像中的连通域设置外接矩形；
步骤4.2.2、判断每幅二值化后的前景图像中各外接矩形的长度是否符合连通域长度范围，判断每幅二值化后的前景图像中各外接矩形的宽度是否符合连通域宽度范围；
将外接矩形长度不符合连通域长度范围的连通域或外接矩形宽度不符合连通域宽度范围的连通域进行删除后，获得每幅二值化后的前景图像中的多个动物连通域。
在本实施例中，通过外接矩形的长度以及宽度进一步地筛选目标，取其中一个连通域的外接矩形，其中外接矩形在图像坐标系下，长度记为a，宽记为b，a以及b均为正数，如果Aleft<a<Aright且Bleft<b<Bright,Aleft，Aright，Bleft以及Bright均为正数，将该连通域保留，否则该连通域剔除，重新调整处理筛选之后的连通域，在本实施例中Aleft，Aright，Bleft以及Bright均为经验值，分别取值为90，180，50，100。
本发明提供的一种农牧区动物进圈轨迹提取方法，考虑到农牧区动物的体型特征，通过设置了动物参数条件用于筛选进圈动物，防止在轨迹提取时混入图像中其他对象，提高了动物进圈轨迹提取的准确率，并且减少了轨迹提取的计算量，提高了实时性。
步骤4.3、确定每幅二值化后的前景图像中的每个动物连通域的几何中心，获得每幅二值化后的前景图像中的多个动物中心；
在本实施例中，通过对每个动物连通域运用计算几何距算法得到动物中心。
步骤4.4、对相邻的两幅二值化后的前景图像中的每个动物中心进行轨迹跟踪，获得每个动物对应的一段子轨迹；
在本实施例中，为了提高轨迹连线的精度，对于第n-1幅二值化后的前景图像中的多个动物中心与第n幅二值化后的前景图像中的多个动物中心进行轨迹跟踪，其中n∈N，N为步骤3中获得的前景图像的总数。
在本实施例中，以3幅前景图像为例，N＝3；
具体包括：
步骤4.4.1、获得第n-1幅二值化后的前景图像中第i个动物中心的坐标I为步骤4.3中获得第n-1幅二值化后的前景图像中的动物中心的总数；
在本实施例中，首先获得第1幅二值化后的前景图像的动物中心坐标，在第1幅二值化后的前景图像中一共有两个动物中心，那么在本步骤中，首先获取第1个动物中心的坐标
步骤4.4.2、获得第n幅二值化后的前景图像中所有动物中心的坐标，其中第n幅二值化后的前景图像中第j个动物中心为 J为步骤4.3中获得第n幅二值化后的前景图像中的动物中心的总数；
在本实施例中，获得第2幅二值化后的前景图像中所有动物中心的坐标，在本实施例中，第2幅二值化后的前景图像中一共3个动物中心，获取这三个动物中心坐标，
步骤4.4.3、计算步骤4.4.1中第i个动物中心的坐标与步骤4.4.2中每一个动物中心的坐标之间的横坐标差值以及纵坐标差值；
在本实施例中，计算坐标与坐标之间横坐标差值以及纵坐标差值；计算坐标与坐标之间横坐标差值以及纵坐标差值；计算坐标与坐标之间横坐标差值以及纵坐标差值；
步骤4.4.4、将满足坐标差值条件的第n幅二值化后的前景图像中一个动物中心作为子轨迹终点，所述的坐标差值条件为：
将第n-1幅二值化后的前景图像中第i个动物中心作为子轨迹起点；
在本实施例中，考虑到对牦牛进行识别，因此设定横坐标差值最小值、横坐标差值最大值、纵坐标差值最小值以及纵坐标差值最大值的取值分别为0，20，5，10。
在本实施例中，经过判断发现坐标与坐标之间横坐标差值以及纵坐标差值符合坐标差值条件，那么将第2幅图像中的第2个动物中心作为终点，将第1幅图像中的第1个动物中心作为起点。
步骤4.4.5、连接所述的子轨迹起点与所述的子轨迹终点，获得第i个动物中心的子轨迹；
在本实施例中，连接起点与终点，获得第1幅图像中的第1个动物中心的子轨迹
步骤4.4.6、令i＝i+1，返回步骤4.4.1，直至i＝I，获得I段子轨迹。
在本实例中，令i＝2，返回步骤4.4.1，再次获得第1幅二值化后的前景图像中第2个动物中心的坐标之后再获得第2幅二值化后的前景图像三个动物中心坐标
分别判断坐标与坐标之间的横坐标差值以及纵坐标差值后，发现坐标与坐标之间横坐标差值以及纵坐标差值符合坐标差值条件，那么将第2幅图像中的第3个动物中心作为终点，将第1幅图像中的第2个动物中心作为起点，连接起点和终点，获得第1幅图像中的第2个动物中心的子轨迹
步骤4.5、重复执行步骤4.4直至对所有相邻的两幅二值化后的前景图像均进行了轨迹跟踪，获得每个动物对应的多段子轨迹；
在本实施例中，再次循环，此时对第2幅二值化后的前景图像中的多个动物中心与第3幅二值化后的前景图像中的多个动物中心进行轨迹跟踪，其中第3幅二值化后的前景图像中包括3个动物中心，分别是
对于第2幅二值化后的前景图像中的第1个动物中心经过判断，发现与第3幅二值化后的前景图像中第1个动物中心的横坐标差值与纵坐标差值符合坐标差值条件，那么将第2幅图像中的第1个动物中心作为终点，将第3幅图像中的第1个动物中心作为起点，连接起点和终点，获得第2幅图像中的第1个动物中心的子轨迹
对于第2幅二值化后的前景图像中的第2个动物中心经过判断，发现与第3幅二值化后的前景图像中第2个动物中心的横坐标差值与纵坐标差值符合坐标差值条件，那么将第2幅图像中的第2个动物中心作为终点，将第3幅图像中的第2个动物中心作为起点，连接起点和终点，获得第2幅图像中的第2个动物中心的子轨迹
对于第2幅二值化后的前景图像中的第3个动物中心经过判断，发现与第3幅二值化后的前景图像中第3个动物中心的横坐标差值与纵坐标差值符合坐标差值条件，那么将第2幅图像中的第3个动物中心作为终点，将第3幅图像中的第3个动物中心作为起点，连接起点和终点，获得第2幅图像中的第3个动物中心的子轨迹
步骤4.6、将每个动物对应的多段子轨迹进行拼接，获得每个动物的轨迹。
综上，现在一共获得了5段子轨迹 以及需要对这5段子轨迹进行拼接，具体是将具有相同端点的子轨迹进行拼接，即获得3段轨迹，分别是：
第一轨迹：
第二轨迹：
第三轨迹：
本发明提供的一种农牧区动物进圈轨迹提取方法，采用相邻帧轨迹追踪的方法，将满足坐标差值条件的点作为子轨迹的终点后，获得一段子轨迹，最终再将多段子轨迹进行拼接，提高了轨迹提取的准确率。
步骤5、判断步骤4获得的每个动物的轨迹是否均经过了步骤2中获得的一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
在本实施例中，通过经过检测面投影变换得到的两条检测线，就可以判断牦牛是否进入圈门，在本实施例中，以西藏阿里地区改则县某牧民家牦牛进圈的视频为检测场景，利用牦牛圈门顶架设的摄像机获取牦牛进圈的第342帧的视频图像，参见图2，该视频的采样频率为25帧每秒，图像大小为720*288。图3为可疑目标的外接矩形，也就是可疑的牦牛目标。图4为在第342帧图像中的可疑目标经过100帧之后形成的轨迹信息；其中两条直线为对应于三维场景下的两个检测面。
在本实施例中，对视频1(时长300s)以及视频2(时长245s)分别进行轨迹提取实验，实验结果见表1。
表1轨迹提取的实验数据及结果
由表1可以看出本发明提供的轨迹提取方法提取准确率高达99％且轨迹提取时间满足实时性要求，因此本发明提供的轨迹提取方法的实时性较高。
实施例二
一种农牧区动物进圈统计模型构建方法，按照以下步骤执行：
步骤I、采用实施例一中步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，所述的样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
在本步骤中，动物种类可以是大牦牛以及小牦牛的同类但是不同大小的动物，也可以是羊、牦牛以及马等不同种类的动物。
在本实施例中，为了对藏民家中的牦牛进行统计，具体统计为牦牛一共多少头，大牦牛多少头，小牦牛多少头，因此将动物名称标签设计为大牦牛以及小牦牛。
步骤II、将所述的样本视频序列作为待处理视频序列，采用实施例一中的步骤3-步骤5对待处理视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
步骤III、为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
步骤IV、将所述的轨迹样本集作为输入，将所述的标签集作为输出，训练支持向量机，获得动物进圈统计模型。
在本实施例中，支持向量机分类器检测和统计的效果取决于训练正样本的数据量大小以及数据种类，通过采集合适数量，不同场景，不同动物种类的轨迹信息，经过支持向量机分类器训练得到最终的分类器，就可以统计不同动物种类的进圈数目。支持向量机分类器的训练依赖于轨迹信息，动物进圈的轨迹信息数据属于高维信息，高维信息可以准确描述各类动物进圈的特征，支持向量机分类器就可以充分使用这些特征信息，进行分类和统计
实施例三
一种农牧区动物进圈统计方法，采用步骤A至步骤D的方法执行，获得统计结果：
步骤A、采用实施例一中步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
步骤B、将所述的待统计视频序列作为待处理视频序列，采用实施例一中的步骤3-步骤5对待处理视频序列进行轨迹提取，获得轨迹集；
步骤C、将所述的轨迹集输入实施例二获得的动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
步骤D、对步骤C获得的所有动物名称标签进行统计，获得统计结果，所述的统计结果包括进圈动物的种类和数量。
在本实施例中，采用本发明提供的方法对实施例一中的视频1以及视频2中的牦牛进行统计，结果见表2。
表2经过SVM分类器检测到大小牦牛的数目实验结果
根据上述实验结果可知，利用本发明提供的统计方法实现了大牦牛数量的准确的统计，小牦牛数量的较为准确的统计，本发明提供的农牧区动物进圈统计方法能够实现对多种动物的数量以及类别的统计。
因此，本发明提供的一种农牧区动物进圈统计模型构建及统计方法，通过设置了多种动物标签，不仅可以统计动物的数量，还能够统计动物的种类，解决了传统人工计数的低效问题；其次本发明提供的统计方法可以确保放牧结束之后，牦牛全部安全入圈，还可以为将来智慧牧场的发展，提供技术支持。
实施例四
一种农牧区动物进圈轨迹提取装置，包括视频采集模块以及视频背景获得模块，还包括检测面设置模块、轨迹跟踪模块以及轨迹筛选模块；
检测面设置模块用于在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
视频采集模块用于利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
在本实施例中，视频采集模块可以是摄像机、智能手机等能够完成视频采集的设备。
视频背景获得模块用于求取待处理视频序列的背景图像；
还用于将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
轨迹跟踪模块用于对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
轨迹筛选模块用于判断获得的每个动物的轨迹是否均经过了一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
在本实施例中，视频背景获得模块、轨迹跟踪模块以及轨迹筛选模块可以集成在一个中央处理器上，也可以在远程云平台中实现。
实施例五
一种农牧区动物进圈统计模型构建装置，包括实施例四中的农牧区动物进圈轨迹提取装置、标签分配模块以及模型建立模块；
农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
农牧区动物进圈轨迹提取装置还用于对样本视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
标签分配模块用于为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
模型建立模块用于将轨迹样本集作为输入，将标签集作为输出，训练支持向量机，获得动物进圈统计模型。
在本实施例中，农牧区动物进圈统计模型构建装置可以搭建在远程云平台中，也可以搭建在农牧区现场设置的计算机中。
实施例六
一种农牧区动物进圈统计装置，包括实施例四的农牧区动物进圈轨迹提取装置、分类模块以及统计模块；
农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
还用于对待统计视频序列进行轨迹提取，获得轨迹集；
分类模块用于将轨迹集输入实施例五获得的动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
统计模块用于获得的所有动物名称标签进行统计，获得统计结果，统计结果包括进圈动物的种类和数量。
在本实施例中，农牧区动物进圈统计装置可以搭建在远程云平台中，也可以搭建在农牧区现场设置的计算机中。

Claims (9)

1.一种动物进圈轨迹提取方法，用于获得每个进圈动物的轨迹，其特征在于，所述的方法按照以下步骤执行：
步骤1、在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
步骤2、利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，所述的待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
步骤3、求取待处理视频序列的背景图像；
将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
步骤4、对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
步骤5、判断步骤4获得的每个动物的轨迹是否均经过了步骤2中获得的一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
2.如权利要求1所述的动物进圈轨迹提取方法，其特征在于，所述的步骤4对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹，具体包括：
步骤4.1、对所述前景图像视频序列中所有前景图像进行二值化，获得多幅二值化后的前景图像，所述的每幅二值化后的前景图像均包括多个连通域；
步骤4.2、对每幅二值化后的前景图像中连通域的参数进行判断，将参数不符合动物参数条件的连通域进行删除，其中所述的参数包括连通域长度以及连通域宽度，所述的动物参数条件包括连通域长度范围以及连通域宽度范围；
获得每幅二值化后的前景图像中的多个动物连通域；
步骤4.3、确定每幅二值化后的前景图像中的每个动物连通域的几何中心，获得每幅二值化后的前景图像中的多个动物中心；
步骤4.4、对相邻的两幅二值化后的前景图像中的每个动物中心进行轨迹跟踪，获得每个动物对应的一段子轨迹；
步骤4.5、重复执行步骤4.4直至对所有相邻的两幅二值化后的前景图像均进行了轨迹跟踪，获得每个动物对应的多段子轨迹；
步骤4.6、将每个动物对应的多段子轨迹进行拼接，获得每个动物的轨迹。
3.如权利要求2所述的动物进圈轨迹提取方法，其特征在于，所述的步骤4.2具体包括：
步骤4.2.1、对每幅二值化后的前景图像中的连通域设置外接矩形；
步骤4.2.2、判断每幅二值化后的前景图像中各外接矩形的长度是否符合连通域长度范围，判断每幅二值化后的前景图像中各外接矩形的宽度是否符合连通域宽度范围；
将外接矩形长度不符合连通域长度范围的连通域或外接矩形宽度不符合连通域宽度范围的连通域进行删除后，获得每幅二值化后的前景图像中的多个动物连通域。
4.如权利要求2所述的动物进圈轨迹提取方法，其特征在于，在所述的步骤4.4中对第n-1幅二值化后的前景图像中的多个动物中心与第n幅二值化后的前景图像中的多个动物中心进行轨迹跟踪，其中n∈N，N为步骤3中获得的前景图像的总数，具体包括：
步骤4.4.1、获得第n-1幅二值化后的前景图像中第i个动物中心的坐标，i＝1，2，…,I，I为步骤4.3中获得第n-1幅二值化后的前景图像中的动物中心的总数；
步骤4.4.2、获得第n幅二值化后的前景图像中所有动物中心的坐标；
步骤4.4.3、计算步骤4.4.1中第i个动物中心的坐标与步骤4.4.2中获得的每个动物中心的坐标之间的横坐标差值以及纵坐标差值；
步骤4.4.4、将满足坐标差值条件的第n幅二值化后的前景图像中一个动物中心作为子轨迹终点，所述的坐标差值条件为：
将第n-1幅二值化后的前景图像中第i个动物中心作为子轨迹起点；
步骤4.4.5、连接所述的子轨迹起点与所述的子轨迹终点，获得第i个动物对应的一段子轨迹；
步骤4.4.6、令i＝i+1，返回步骤4.4.1，直至i＝I时结束，获得I个动物中每个动物对应的一段子轨迹。
5.一种动物进圈统计模型构建方法，其特征在于，按照以下步骤执行：
步骤I、采用权利要求1中步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，所述的样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
步骤II、将所述的样本视频序列作为待处理视频序列，利用权利要求1-4任一项权利要求中的步骤3-步骤5对待处理视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
步骤III、为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
步骤IV、将所述的轨迹样本集作为输入，将所述的标签集作为输出，训练支持向量机，获得动物进圈统计模型。
6.一种动物进圈统计方法，其特征在于，采用步骤A至步骤D的方法执行，获得统计结果：
步骤A、采用权利要求1中步骤1-2的方法获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
步骤B、将所述的待统计视频序列作为待处理视频序列，利用权利要求1-4任一项权利要求中的步骤3-步骤5对待处理视频序列进行轨迹提取，获得轨迹集；
步骤C、将所述的轨迹集输入权利要求5获得的动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
步骤D、对步骤C获得的所有动物名称标签进行统计，获得统计结果，所述的统计结果包括进圈动物的种类和数量。
7.一种动物进圈轨迹提取装置，包括视频采集模块以及视频背景获得模块，其特征在于，还包括检测面设置模块、轨迹跟踪模块以及轨迹筛选模块；
所述的检测面设置模块用于在空间中设置一对动物进圈检测面，其中一个动物进圈检测面与圈门所在的面重合，另一个动物进圈检测面平行于圈门所在的面且位于圈门外侧；
所述的视频采集模块用于利用标定后的摄像机获取包括动物进圈以及一对动物进圈检测面的视频，得到待处理视频序列，所述的待处理视频序列的每幅图像中均包括由一对动物进圈检测面经过标定后获得的一对动物进圈检测线；
所述的视频背景获得模块用于求取待处理视频序列的背景图像；
还用于将待处理视频序列中每幅图像与背景图像做差，获得多幅前景图像，获得前景图像视频序列；
所述的轨迹跟踪模块用于对所述前景图像视频序列中的每个动物进行轨迹跟踪，获得每个动物的轨迹；
所述的轨迹筛选模块用于判断获得的每个动物的轨迹是否均经过了一对动物进圈检测线，将未均经过一对动物进圈检测线的动物的轨迹删除，获得每个进圈动物的轨迹。
8.一种动物进圈统计模型构建装置，其特征在于，包括如权利要求7所述的农牧区动物进圈轨迹提取装置、标签分配模块以及模型建立模块；
所述的农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，得到样本视频序列，所述的样本视频序列中包括多种动物，每种动物对应一个动物名称标签；
所述的农牧区动物进圈轨迹提取装置还用于对样本视频序列进行轨迹提取，获得多个进圈动物的轨迹，获得轨迹样本集；
所述的标签分配模块用于为轨迹样本集中每个进圈动物的轨迹分配动物名称标签，获得标签集；
所述的模型建立模块用于将所述的轨迹样本集作为输入，将所述的标签集作为输出，训练支持向量机，获得动物进圈统计模型。
9.一种动物进圈统计装置，其特征在于，包括如权利要求7所述的农牧区动物进圈轨迹提取装置、分类模块以及统计模块；
所述的农牧区动物进圈轨迹提取装置用于获取动物进圈以及一对动物进圈检测面的视频，获得待统计视频序列；
还用于对所述的待统计视频序列进行轨迹提取，获得轨迹集；
分类模块用于将所述的轨迹集输入权利要求8获得的动物进圈统计模型后，获得每个进圈动物的轨迹对应的动物名称标签；
统计模块用于获得的所有动物名称标签进行统计，获得统计结果，所述的统计结果包括进圈动物的种类和数量。
CN201910379411.9A 2019-05-08 2019-05-08 动物进圈轨迹提取、统计模型构建、统计方法及装置 Active CN110276778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910379411.9A CN110276778B (zh) 2019-05-08 2019-05-08 动物进圈轨迹提取、统计模型构建、统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910379411.9A CN110276778B (zh) 2019-05-08 2019-05-08 动物进圈轨迹提取、统计模型构建、统计方法及装置

Publications (2)

Publication Number Publication Date
CN110276778A true CN110276778A (zh) 2019-09-24
CN110276778B CN110276778B (zh) 2022-10-28

Family

ID=67959808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910379411.9A Active CN110276778B (zh) 2019-05-08 2019-05-08 动物进圈轨迹提取、统计模型构建、统计方法及装置

Country Status (1)

Country Link
CN (1) CN110276778B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508288A (zh) * 2011-10-18 2012-06-20 浙江工业大学 基于物联网技术的地震预测辅助系统
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN109697420A (zh) * 2018-12-17 2019-04-30 长安大学 一种面向城市交通的移动目标检测及跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508288A (zh) * 2011-10-18 2012-06-20 浙江工业大学 基于物联网技术的地震预测辅助系统
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN109697420A (zh) * 2018-12-17 2019-04-30 长安大学 一种面向城市交通的移动目标检测及跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨青等: "运动员动态信息捕捉系统研究与设计", 《昆明冶金高等专科学校学报》 *
白天等: "一种新颖的基于轨迹分析和类型识别的车流量统计方法", 《计算机应用与软件》 *

Also Published As

Publication number Publication date
CN110276778B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111640101B (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN109447169A (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN108986064B (zh) 一种人流量统计方法、设备及系统
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN108985169B (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN104504377B (zh) 一种公交车乘客拥挤程度识别系统及方法
CN102998316B (zh) 一种透明液体杂质检测系统及其检测方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN102084397B (zh) 图像处理设备、方法
CN103605983B (zh) 一种遗留物检测和跟踪方法
CN102592147A (zh) 一种人脸检测的方法和装置
CN103489012B (zh) 一种基于支持向量机的人群密集度检测方法及系统
CN106530281A (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN109492534A (zh) 一种基于Faster RCNN的跨场景多姿态的行人检测方法
CN106709438A (zh) 一种基于视频会议的人数统计方法
CN107358163A (zh) 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
CN105389561B (zh) 一种基于视频的公交车道检测方法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN106650593A (zh) 客流统计方法和装置
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN110866453B (zh) 基于卷积神经网络的实时人群稳定状态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant