CN109002791B - 一种基于视频自动跟踪奶牛反刍行为的系统及方法 - Google Patents

一种基于视频自动跟踪奶牛反刍行为的系统及方法 Download PDF

Info

Publication number
CN109002791B
CN109002791B CN201810761668.6A CN201810761668A CN109002791B CN 109002791 B CN109002791 B CN 109002791B CN 201810761668 A CN201810761668 A CN 201810761668A CN 109002791 B CN109002791 B CN 109002791B
Authority
CN
China
Prior art keywords
video
tracking
optical flow
processing module
cow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810761668.6A
Other languages
English (en)
Other versions
CN109002791A (zh
Inventor
宋怀波
姬存慧
牛满堂
李振宇
祝清梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN201810761668.6A priority Critical patent/CN109002791B/zh
Publication of CN109002791A publication Critical patent/CN109002791A/zh
Application granted granted Critical
Publication of CN109002791B publication Critical patent/CN109002791B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频自动跟踪奶牛反刍行为的系统及方法,该系统包括视频输入模块,LK光流法处理模块,数学形态学处理模块,KCF跟踪及显示模块;所述视频输入模块获取输入视频的前六帧、分辨率及帧率;所述LK光流法处理模块根据视频前六帧得到相应的光流场,将其合并后二值化;数学形态学处理模块将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标;KCF跟踪及显示模块根据得到的位置坐标对视频中的奶牛嘴部进行跟踪并显示出每一帧的跟踪结果。本发明还公开了一种基于视频自动跟踪奶牛反刍行为的方法。

Description

一种基于视频自动跟踪奶牛反刍行为的系统及方法
技术领域
本发明属于畜牧养殖技术领域,涉及一种基于视频自动跟踪奶牛反刍行为的系统及方法。
背景技术
奶牛一天反刍时间可长达8小时,每次反刍咀嚼时间为50~60秒,每天的反刍次数在 200~450次不一,要根据日粮中粗纤维的多少和长度来度,观察牛群时至少要有三分之一的牛在同时反刍才说明日粮中粗纤维的量够,否则就要注意了。一次反刍大约咀嚼40到60次左右。在奶牛养殖过程中,对奶牛的反刍行为进行跟踪十分重要,如果依靠人工去完成的话,费时费力,而且会存在一定的误差。
发明内容
本发明的目的在于提供一种基于视频自动跟踪奶牛反刍行为的系统及方法。
其具体技术方案为:
一种基于视频自动跟踪奶牛反刍行为的系统,包括视频输入模块,LK光流法处理模块,数学形态学处理模块,KCF跟踪及显示模块;所述视频输入模块获取输入视频的前六帧、分辨率及帧率;所述LK光流法处理模块根据视频前六帧得到相应的光流场,将其合并后二值化;数学形态学处理模块将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标;KCF跟踪及显示模块根据得到的位置坐标对视频中的奶牛嘴部进行跟踪并显示出每一帧的跟踪结果。
一种基于视频自动跟踪奶牛反刍行为的方法,包括以下步骤:
通过CCD摄像机拍摄的视频,经过预处理后输入树莓派3代B型开发板系统,即可获取输入视频的前六帧、分辨率及帧率。树莓派3代B型开发板系统中,经过LK光流法处理模块得到视频前六帧相应的光流场,将其合并后二值化;再经过数学形态学处理模块将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标;最后根据KCF跟踪及显示模块得到的位置坐标对视频中的奶牛嘴部进行跟踪,并显示出每一帧的跟踪结果。
与现有技术相比,本发明的有益效果为:
目前对于奶牛反刍行为的监测大多采用经验公式方法来进行判断,无法长时间、自动、高效地监测。本发明研究利用视频智能监测技术,开展奶牛反刍行为的自动监测方法研究,在获取奶牛嘴部区域的基础上,利用运动目标检测技术,实现奶牛反刍行为的智能识别与异常行为的监测。
国外已有的几种商用视频跟踪系统普遍十分昂贵,所有系统均将身体移动距离作为活动强度的指征参数,只有那些大的身体运动才能被检测到。就国内目前的技术现状而言,视频监测技术有了较为良好的发展,但是针对动物的目标检测方法只能将视频图像中的动物作为一个整体进行分割,动物身体区域的精细识别未见报道。
附图说明
图1为基于视频自动跟踪奶牛反刍行为的系统的原理图;
图2为基于视频自动跟踪奶牛反刍行为的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。
参照图1,一种基于视频自动跟踪奶牛反刍行为的系统,包括视频输入模块1,LK光流法处理模块2,数学形态学处理模块3,KCF跟踪及显示模块4;所述视频输入模块1获取输入视频的前六帧、分辨率及帧率;所述LK光流法处理模块2根据视频前六帧得到相应的光流场,将其合并后二值化;数学形态学处理模块3将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标; KCF跟踪及显示模块4根据得到的位置坐标对视频中的奶牛嘴部进行跟踪并显示出每一帧的跟踪结果。
如图2所示,一种基于视频自动跟踪奶牛反刍行为的方法,包括以下步骤:
先采用预设光流点间隔和大小的参数对输入的原始视频进行LK光流法处理,得到光流场;根据光流的模值对光流场进行灰度化处理,再进行Otsu算法,将灰度图二值化;对二值化图像进行形态学腐蚀和开运算操作,再筛选出符合要求的连通区域,得到奶牛嘴部区域;根据所得图像,即可得到奶牛嘴部的跟踪框;根据奶牛嘴部跟踪框和原始视频第一帧,初始化KCF跟踪框;之后根据视频的当前帧训练KCF跟踪器并更新监测目标;根据每帧的跟踪结果,输出跟踪视频。
具体方法如下:
输入原始图像;
利用光流法得到目标跟踪区域。
采集样本训练一个分类器。
再用分类器去判断跟踪到的是目标还是周围的背景信息
使用傅立叶变化对算法进行加速计算。
用分类器去判定下一帧预测区域中的跟踪目标。
将所得到的目标周围区域采集样本。
对下一帧预测区域再次进行相同的操作,实现目标的自动跟踪。
对前几帧图像利用LK光流法计算光流点,得到对应的矢量场。对得到的矢量场进行二值化。对得到的光流场进行形态学运算,得到目标跟踪区域。
利用Otsu算法对得到的矢量场进行二值化。
通过循环矩阵对样本进行采集。
设训练样本集(xi,yi),算法把跟踪问题抽象为一个线性回归模型的求解
w=(XHXλI)-1XHy
其中λ用于控制系统的结构复杂性,X=[x1,x2,…,xn]T的每一行表示一个向量,y是列向量。利用循环矩阵求解,根据循环矩阵能够被离散傅里叶矩阵对角化,使得矩阵求逆转换为特征值求逆的性质
能够将问题转换到频域进行运算,应用离散傅里叶变换(DFT)提高运算速度:
Figure GDA0003437574110000041
Figure GDA0003437574110000042
利用脊回归线性回归训练提速,再将线性转化为非线性,引入核函数把特征空间映射的高维空间进行提速。
训练样本和测试样本的核相关矩阵为
Kz=C(kXZ)
其中,kXZ是对称向量径向基核函数中的高斯函数。
利用脊回归更新分类器对下一帧预测区域再次进行相同的操作,实现目标的自动跟踪。
利用脊回归线性回归训练提速,再将线性转化为非线性,引入核函数把特征空间映射的高维空间进行提速。
训练样本和测试样本的核相关矩阵为
Kz=C(kXZ)
其中,kXZ是对称向量径向基核函数中的高斯函数,径向基核函数中如高斯核。
kxx′=g(C(x′)x)
其中g(x)是核函数,C(x′)是基于x′为第一行的循环矩阵。利用循环矩阵性质:
Figure GDA0003437574110000051
代入:
Figure GDA0003437574110000052
对于高斯核函数:
Figure GDA0003437574110000053
为了证明本发明算法的有益效果,进行了相关试验,在试验中分别使用KCF相关核滤波算法、Meanshift均值漂移算法、CT压缩跟踪算法三种算法对奶牛嘴部运动进行跟踪,并与MATLAB手动选取的点进行对比,通过比较处理检测精度、帧速度、丢包率、跟踪误差这四个评价指标对三种跟踪算法的结果进行评价。
根据试验结果,LK光流法一般情况下可以检测到奶牛嘴部,将坐标信息传递给跟踪算法。KCF相关核滤波算法、Meanshift均值漂移算法、CT压缩跟踪算法的咀嚼次数、丢包率结果如表1所示。
由表1可以看出,KCF相关核滤波算法正确检测帧数等于视频总帧数,丢包率为0.00%,检测精度为83.43%;Meanshift均值漂移算法正确检测帧数与视频总帧数有较大差距,丢包率为98.17%,检测精度为43.10%;CT压缩跟踪算法正确检测帧数均等于视频总帧数,丢包率也为0.00%,检测精度为87.85%。根据实验数据Meanshif均值漂移算法在跟踪奶牛嘴部时效果不好,容易丢失目标。而KCF相关核滤波算法、CT压缩跟踪算法跟踪稳定,丢包率为0.00%,效果较Meanshift均值漂移算法好,CT压缩跟踪算法得到的咀嚼次数更接近真实数值。
表1咀嚼次数、丢包率情况表
Figure GDA0003437574110000061
表2跟踪速度平均值结果
No.1(frame/s) No.2(frame/s) No.3(frame/s) Average(frame/s)
KCF 20.88 21.08 21.71 21.23
Meanshift 24.50 24.07 23.29 23.95
CT 1.37 1.26 22.80 1.32
表2是KCF相关核滤波算法、Meashift和CT压缩跟踪算法对对不同视频的处理速度; KCF相关核滤波算法平均一秒处理21.23帧,Meanshift均值漂移算法平均一秒处理23.95帧, CT压缩跟踪算法平均一秒处理1.32帧,但CT压缩跟踪算法处理视频No.3时,程序显示的速度结果与其余视频的结果差距过大,我们认为这一数据并不能真实反映出算法处理速度,故在计算平均值时没有计算在内。
从跟踪速度来说,Meanshift均值漂移算法最快,其次是KCF相关核滤波算法,最慢是 CT压缩跟踪算法;Meanshift均值漂移算法因无法准确跟踪目标,速度最快却无实际意义。
为了实现奶牛反刍行为的自动监测,本研究结合LK光流法与KCF相关核滤波算法、Meanshift均值漂移算法、CT压缩跟踪算法,实现了奶牛反刍行为的自动监测,所得到的主要结论如下:
1.LK光流法利用运动目标在图像序列间,即随着时间变化的特性,利用隔帧图像进行奶牛帧间运动差异特征的提取,结果表明,在奶牛其他身体部位运动干扰、鸟群侵入等干扰下,依然可以准确的找到奶牛的嘴部运动区域,为进行奶牛反刍行为的自动监测奠定了基础。
2.通过分析对比KCF相关核滤波算法、Meanshift均值漂移算法、CT压缩跟踪算法的监测效果发现,KCF算法准确率最高,在准确性要求较高的环境中,KCF相关核滤波算法最适合进行奶牛反刍行为的监测,其准确率可达83.43%。在实时性较高的环境,KCF相关核滤波算法最合适进行奶牛反刍行为的自动监测,其跟踪速度为21.23帧/s。
以上所述,仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (2)

1.一种基于视频自动跟踪奶牛反刍行为的系统,其特征在于,包括视频输入模块(1),LK光流法处理模块(2),数学形态学处理模块(3),KCF跟踪及显示模块(4);所述视频输入模块(1)获取输入视频的前六帧、分辨率及帧率;所述LK光流法处理模块(2)根据视频前六帧得到相应的光流场,将其合并后二值化;数学形态学处理模块(3)将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标;KCF跟踪及显示模块(4)根据得到的位置坐标对视频中的奶牛嘴部进行跟踪并显示出每一帧的跟踪结果。
2.一种基于视频自动跟踪奶牛反刍行为的方法,其特征在于,包括以下步骤:
通过CCD摄像机拍摄的视频,经过预处理后输入树莓派3代B型开发板系统,即可获取输入视频的前六帧、分辨率及帧率;此树莓派3代B型开发板系统中,经过LK光流法处理模块得到视频前六帧相应的光流场,将其合并后二值化;再经过数学形态学处理模块将二值化后的图像依次经过腐蚀、开运算、筛选面积、再次开运算和再次筛选面积,再根据连通域计算出奶牛嘴部的位置坐标;最后根据KCF跟踪及显示模块得到的位置坐标对视频中的奶牛嘴部进行跟踪,并显示出每一帧的跟踪结果。
CN201810761668.6A 2018-07-12 2018-07-12 一种基于视频自动跟踪奶牛反刍行为的系统及方法 Expired - Fee Related CN109002791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810761668.6A CN109002791B (zh) 2018-07-12 2018-07-12 一种基于视频自动跟踪奶牛反刍行为的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810761668.6A CN109002791B (zh) 2018-07-12 2018-07-12 一种基于视频自动跟踪奶牛反刍行为的系统及方法

Publications (2)

Publication Number Publication Date
CN109002791A CN109002791A (zh) 2018-12-14
CN109002791B true CN109002791B (zh) 2022-01-28

Family

ID=64599866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810761668.6A Expired - Fee Related CN109002791B (zh) 2018-07-12 2018-07-12 一种基于视频自动跟踪奶牛反刍行为的系统及方法

Country Status (1)

Country Link
CN (1) CN109002791B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084837B (zh) * 2019-05-15 2022-11-04 四川图珈无人机科技有限公司 基于无人机视频的目标检测与跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229054A (zh) * 2010-11-10 2013-07-31 希尔莱特有限责任公司 反刍动物呼气的处理
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106778555A (zh) * 2016-11-30 2017-05-31 石河子大学 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法
CN107492114A (zh) * 2017-06-12 2017-12-19 杭州电子科技大学 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080057596A1 (en) * 2006-08-30 2008-03-06 Wai Tak Law Colorimetric determination of somatic cell count in milk

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229054A (zh) * 2010-11-10 2013-07-31 希尔莱特有限责任公司 反刍动物呼气的处理
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106778555A (zh) * 2016-11-30 2017-05-31 石河子大学 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法
CN107492114A (zh) * 2017-06-12 2017-12-19 杭州电子科技大学 单目长时视觉跟踪方法的跟踪失败时的使用的重检方法
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Horn-Schunck 光流法的多目标反刍奶牛嘴部自动监测;宋怀波等;《农业工程学报》;20180515;第34卷(第10期);第163-171页 *
基于LK光流跟踪法的有效目标点增强跟踪;蒋菱等;《微型机与应用》;20150630;第34卷(第6期);第45-49页 *
基于改进的核相关滤波器的目标跟踪算法;秦晓飞等;《测控技术》;20171015;第36卷(第10期);第3-10页 *

Also Published As

Publication number Publication date
CN109002791A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
Jiang et al. Automatic behavior recognition of group-housed goats using deep learning
Hansen et al. Automated monitoring of dairy cow body condition, mobility and weight using a single 3D video capture device
US11568541B2 (en) System for high performance, AI-based dairy herd management and disease detection
Xiao et al. Cow identification in free-stall barns based on an improved Mask R-CNN and an SVM
Zhang et al. Development and validation of a visual image analysis for monitoring the body size of sheep
CN115830490A (zh) 一种群养生猪多目标跟踪及行为统计方法
Yujuan et al. Intelligent monitoring method of cow ruminant behavior based on video analysis technology
Huang et al. Deep learning-based cow tail detection and tracking for precision livestock farming
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
Li et al. Y-BGD: Broiler counting based on multi-object tracking
Li et al. Temporal aggregation network using micromotion features for early lameness recognition in dairy cows
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
CN109002791B (zh) 一种基于视频自动跟踪奶牛反刍行为的系统及方法
Nasiri et al. An automated video action recognition-based system for drinking time estimation of individual broilers
Tu et al. Tracking and monitoring of individual pig behavior based on YOLOv5-Byte
Tran et al. Pig Health Abnormality Detection Based on Behavior Patterns in Activity Periods using Deep Learning
Sivamani et al. Automatic posture detection of pigs on real-time using Yolo framework
Mao et al. Automatic detection of ruminant cows’ mouth area during rumination based on machine vision and video analysis technology
Sumi et al. Framework of cow calving monitoring system using video images
Chen et al. Automatic monitoring method of cow ruminant behavior based on spatio-temporal context learning
Bastiaansen et al. Continuous real-time cow identification by reading ear tags from live-stream video
Evangelista et al. YOLOv7 and DeepSORT for Intelligent Quail Behavioral Activities Monitoring
Wirthgen et al. Level-set based infrared image segmentation for automatic veterinary health monitoring
Sun et al. Pig target tracking algorithm based on multi-channel color feature fusion
Wang et al. A deep learning approach combining DeepLabV3+ and improved YOLOv5 to detect dairy cow mastitis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220128

CF01 Termination of patent right due to non-payment of annual fee