CN106778555B - 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法 - Google Patents

一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法 Download PDF

Info

Publication number
CN106778555B
CN106778555B CN201611090589.4A CN201611090589A CN106778555B CN 106778555 B CN106778555 B CN 106778555B CN 201611090589 A CN201611090589 A CN 201611090589A CN 106778555 B CN106778555 B CN 106778555B
Authority
CN
China
Prior art keywords
cow
chewing
image
matching
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611090589.4A
Other languages
English (en)
Other versions
CN106778555A (zh
Inventor
邓红涛
李伟
陈红莉
韩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shihezi University
Original Assignee
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shihezi University filed Critical Shihezi University
Priority to CN201611090589.4A priority Critical patent/CN106778555B/zh
Publication of CN106778555A publication Critical patent/CN106778555A/zh
Application granted granted Critical
Publication of CN106778555B publication Critical patent/CN106778555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，其特征在于包括以下内容：1)提取奶牛形状特征，并将提取的奶牛形状特征作为样本进行训练得到样本库；2)通过固定设置在奶牛休息区的视频采集装置获取记录有奶牛咀嚼动作的视频图像，对视频图像进行数据处理后与样本库进行匹配，完成奶牛头部活动区域模式分类及匹配；3)将匹配完成的视频图像作为新的样本导入样本库，采用新的样本库对后续视频图像重复步骤2)进行模式分类及匹配，直到所有视频图像处理完成，进入步骤4)；4)对奶牛嘴部动作进行定位，利用帧间差法判断奶牛反刍行为，统计咀嚼和吞咽次数。本发明可以广泛应用于奶牛健康状态的监控中。

Description

一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法
技术领域
本发明涉及一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，涉及动物行为监控领域。
背景技术
奶牛的反刍行为是反映奶牛个体状态的一个重要指标，反刍时间和每次反刍食团咀嚼次数及速度可以直观反映出奶牛的产奶量、繁殖周期和健康状态等指标。反刍变化是反映奶牛潜在问题的最早期征兆。通过对反刍行为的监控，可以及早发现疾病，提前预防、治疗，对维护奶牛健康、克服繁殖障碍、提高产奶量均具有重要作用。因此，奶牛反刍行为的监测对奶牛场至关重要。
国内外对奶牛反刍行为变化规律和影响因素有大量的研究，早期观察反刍行为时多以人工目测，手工记录为主，不但耗费大量时间，数据记录误差大，还无法推广应用。随着物联网技术的发展，传感器逐渐应用于动物行为监控领域中，通常依靠声音传感器或者压力传感器监测反刍动物生理信号，根据生理信号判断反刍行为。这种方法要求每个被监测对象都佩戴监测设备，不但影响动物的正常活动，还受电池使用时间、设备寿命影响，需要定期更换，运行成本较高；被监测对象和信号接收设备之间有距离限制，动物的活动范围受到设备限制；此外，这种监测设备只能判断检测对象的行为，比如区分所做动作是反刍还是喝水，不能区分动作的细节，只能记录每天反刍总计时间，但是反刍次数和每个食团咀嚼次数均无法记录。
发明内容
针对上述问题，本发明的目的是提供一种能够快速掌握奶牛健康状态的基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法。
为实现上述目的，本发明采取以下技术方案：一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，包括以下内容：1)提取奶牛形状特征，并将提取的奶牛形状特征作为样本进行训练得到样本库；2)通过固定设置在奶牛休息区的视频采集装置获取记录有奶牛咀嚼动作的视频图像，对视频图像进行数据处理后与样本库进行匹配，完成奶牛头部活动区域模式分类及匹配；3)将匹配完成的视频图像作为新的样本导入样本库，采用新的样本库对后续视频图像重复步骤2)进行模式分类及匹配，直到所有视频图像匹配完成，进入步骤4)；4)对奶牛嘴部动作进行定位，利用帧间差法判断奶牛反刍行为，统计咀嚼和吞咽次数。
进一步地，奶牛形状特征为不同状态下奶牛的眼、耳朵、鼻、耳标、毛色特征图片。
进一步地，所述步骤2)完成奶牛头部活动区域模式分类及匹配的具体过程为：利用奶牛的眼部、耳朵、耳标、鼻宽、毛色特征与样本库进行匹配，寻找待识别的视频图像中的特征点，确定奶牛五官位置；利用耳标大小和五官直接的距离确定奶牛头部姿态；根据五官位置和匹配结果将奶牛的面部分为左侧脸、右侧脸、左正面和右正面。
进一步地，所述步骤4)利用帧间差法判断奶牛反刍行为，统计咀嚼和吞咽次数的具体过程为：以眼和鼻为特征定位点，截取矩阵图像，利用帧间差法进行统计计数，在视频图像序列中选取连续的两帧图像，前一帧图像为pk-1(x,y)，当前帧图像为pk(x,y)，根据奶牛特征辨别图像中奶牛像素点和背景像素点，按照设定阈值求出当前帧奶牛像素点与背景像素点的差得到差值图像FD(x,y)，从差值图像中提取出完整的目标像素；计算前1帧图像与背景帧的差得到差值图像FG(x,y)，对比FD(x,y)和FG(x,y)得到目标像素的变化量f，奶牛咀嚼过程中，嘴部张合一次，目标像素的变化量发生正负一个周期变化；对目标像素变化量f进行数据处理、筛选，去除突变值，绘制每帧目标变化曲线，根据相邻两帧图像目标像素变化量曲线图波动计数，统计咀嚼和吞咽次数。
本发明由于采取以上技术方案，其具有以下优点：1、本发明通过视频采集装置监测奶牛的反刍行为，并对视频图像进行模型匹配和分类定位处理，统计奶牛在反刍过程中吞咽次数和每个食团咀嚼次数，与现有的人工检测相比，耗费较少，数据记录准确，可以准确获知奶牛反刍行为变化规律，通过反刍行为很好地监测奶牛的健康情况。2、本发明在整个监测过程中奶牛不需要佩戴任何电子设备，成本低，效率高，为数字化奶牛养殖提供一种高效数据采集和分析手段。本发明可以广泛应用于奶牛健康状态的监控中。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的奶牛咀嚼动作变化示意图，图(a)是奶牛咀嚼动作嘴部闭合图，图(b)是奶牛咀嚼动作嘴部稍微张开图，图(c)奶牛咀嚼动作嘴部部分张开图，图(d)是奶牛咀嚼动作嘴部全张开图；
图3是本发明的咀嚼次数统计流程示意图；
图4为本发明的相邻两帧图像目标像素变化量曲线图。
具体实施方式
以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。
如图1所示，本发明基于机器视觉实现奶牛反刍行为的检测，用于统计奶牛反刍时间、反刍吞咽次数及每个反刍食团咀嚼次数，包括以下内容：
1、提取奶牛形状特征，并将提取的奶牛形状特征作为样本进行训练得到样本库，奶牛形状特征为不同状态下奶牛的眼、耳、鼻、耳标、毛色图片。
2、通过固定设置在奶牛休息区的视频采集装置获取记录有奶牛咀嚼动作的视频图像，对视频图像进行去噪等数据处理后与样本库进行匹配，完成奶牛头部活动区域模式分类及匹配。
奶牛场休息区通常采用栏杆分区，每个分区只能一头奶牛进入，通过固定设置在每个分区的视频采集装置采集奶牛在分区内的不同状态，奶牛每秒咀嚼次数在1次左右，视频图像可以分析到每秒15帧以上，因此可以从连续的视频图像中判断奶牛咀嚼动作，分析每帧视频图像的视频动作，可以清晰的看到映咀嚼动作的全过程，确定奶牛和头部活动区域。
本发明利用奶牛的眼部、耳朵、耳标、鼻宽、毛色等特征，寻找识别图像中的特征点，确定奶牛五官位置。利用耳标大小和五官直接的距离确定奶牛头部姿态。并根据五官位置和匹配结果将奶牛的面部分为左侧脸、右侧脸、左正面和右正面。
3、将分析完成的视频图像作为新的样本导入样本库，采用新的样本库对后续视频图像重复步骤2进行模式分类及匹配，直到所有视频图像匹配完成，进入步骤4。
4、对奶牛嘴部动作进行定位，利用帧间差法判断奶牛反刍行为，统计咀嚼和吞咽次数。
本发明根据头部不同特征分类模型，建立咀嚼、吞咽动作轨迹特征，如图2所示为每隔2帧选取一幅视频图像，从视频图像中可以明显看出奶牛嘴部活动特征。奶牛反刍和吞咽过程中喉部鼓起明显的食团流，以喉部鼓包作为特征点，利用光流场法跟踪食团运动轨迹，上下为完整的一次反刍过程，中间间隔时间为一次食团咀嚼时间。按照喉部食团上下次数统计整个视频流中奶牛反刍吞咽次数。
如图3所示，本发明实施例以眼和鼻为特征定位点，截取矩阵图像，利用帧间差法进行统计计数，在视频图像序列中选取连续的两帧图像，前一帧图像为pk-1(x,y)，当前帧图像为pk(x,y)，根据奶牛特征辨别图像中奶牛和背景像素点，按照设定阈值求出当前帧奶牛像素点与背景像素点的差得到差值图像FD(x,y)，从差值图像中提取出完整的目标；计算前1帧图像与背景帧的差得到差值图像FG(x,y)，对比FD(x,y)和FG(x,y)得到目标像素的变化量f，奶牛咀嚼过程中，嘴部张合一次，目标的变化量发生正负一个周期变化；对目标像素变化量f进行数据处理、筛选，去除突变值，绘制每帧目标变化曲线，根据相邻两帧图像目标像素变化量曲线图波动计数，统计咀嚼和吞咽次数。
如图2为每隔2帧选取一幅图像，从图像中可以明显看出奶牛嘴部活动特征，对图像处理后，进行差分统计，统计10秒内150帧图像的目标像素的变化量f，绘制其曲线如图4所示，通过对曲线变化率进行统计，计算得到奶牛咀嚼次数。
上述各实施例仅用于说明本发明，其中方法的各实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (3)

1.一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，其特征在于包括以下内容：
1)提取奶牛形状特征，并将提取的奶牛形状特征作为样本进行训练得到样本库；
2)通过固定设置在奶牛休息区的视频采集装置获取记录有奶牛咀嚼动作的视频图像，对视频图像进行数据处理后与样本库进行匹配，完成奶牛头部活动区域模式分类及匹配；
3)将匹配完成的视频图像作为新的样本导入样本库，采用新的样本库对后续视频图像重复步骤2)进行模式分类及匹配，直到所有视频图像匹配完成，进入步骤4)；
4)对奶牛嘴部动作进行定位，利用帧间差法判断奶牛反刍行为，统计咀嚼和吞咽次数，具体过程为；
以眼和鼻为特征定位点，截取矩阵图像，利用帧间差法进行统计计数，在视频图像序列中选取连续的两帧图像，前一帧图像为 pk-1(x,y) ，当前帧图像为pk(x,y) ，根据奶牛特征辨别图像中奶牛像素点和背景像素点，按照设定阈值求出当前帧奶牛像素点与背景像素点的差得到差值图像FD(x,y)，从差值图像中提取出完整的目标像素；
计算前1帧图像与背景帧的差得到差值图像FG(x,y)，对比FD(x,y)和FG(x,y)得到目标像素的变化量f，奶牛咀嚼过程中，嘴部张合一次，目标像素的变化量发生正负一个周期变化；
对目标像素变化量f进行数据处理、筛选，去除突变值，绘制每帧目标变化曲线，根据相邻两帧图像目标像素变化量曲线图波动计数，统计咀嚼和吞咽次。
2.如权利要求1所述的一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，其特征在于，奶牛形状特征为不同状态下奶牛的眼、耳朵、鼻、耳标、毛色特征图片。
3.如权利要求2所述的一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法，其特征在于，所述步骤2)完成奶牛头部活动区域模式分类及匹配的具体过程为：
利用奶牛的眼部、耳朵、耳标、鼻宽、毛色特征与样本库进行匹配，寻找待识别的视频图像中的特征点，确定奶牛五官位置；
利用耳标大小和五官直接的距离确定奶牛头部姿态；
根据五官位置和匹配结果将奶牛的面部分为左侧脸、右侧脸、左正面和右正面。
CN201611090589.4A 2016-11-30 2016-11-30 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法 Active CN106778555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611090589.4A CN106778555B (zh) 2016-11-30 2016-11-30 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611090589.4A CN106778555B (zh) 2016-11-30 2016-11-30 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法

Publications (2)

Publication Number Publication Date
CN106778555A CN106778555A (zh) 2017-05-31
CN106778555B true CN106778555B (zh) 2020-04-07

Family

ID=58914242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611090589.4A Active CN106778555B (zh) 2016-11-30 2016-11-30 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法

Country Status (1)

Country Link
CN (1) CN106778555B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680080B (zh) * 2017-09-05 2020-02-21 翔创科技（北京）有限公司 牲畜的样本库建立方法和清点方法、存储介质和电子设备
CN108596014A (zh) * 2018-01-30 2018-09-28 邓昌顺 牲畜行为分析方法及装置
CN109002791B (zh) * 2018-07-12 2022-01-28 西北农林科技大学 一种基于视频自动跟踪奶牛反刍行为的系统及方法
WO2020095131A1 (en) * 2018-11-07 2020-05-14 Foss Analytical A/S Milk analyser for classifying milk
CN111583962B (zh) * 2020-05-12 2021-05-18 南京农业大学 一种基于声学分析的羊反刍行为监测方法
CN114640753B (zh) * 2022-04-01 2023-10-27 北京市疾病预防控制中心 基于实验视频处理的线虫咽泵运动频率自动识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103674857A (zh) * 2013-12-23 2014-03-26 中国科学院自动化研究所 基于机器视觉的牧草饲料检测系统和方法
CN105894536A (zh) * 2016-03-30 2016-08-24 中国农业大学 基于视频跟踪的禽畜行为分析方法及系统
CN106056106A (zh) * 2016-07-22 2016-10-26 内蒙古农业大学 一种草原放牧绵羊牧食行为检测系统及其检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103674857A (zh) * 2013-12-23 2014-03-26 中国科学院自动化研究所 基于机器视觉的牧草饲料检测系统和方法
CN105894536A (zh) * 2016-03-30 2016-08-24 中国农业大学 基于视频跟踪的禽畜行为分析方法及系统
CN106056106A (zh) * 2016-07-22 2016-10-26 内蒙古农业大学 一种草原放牧绵羊牧食行为检测系统及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于虚拟仪器的奶牛采食量检测系统的研究;梁素真;《中国优秀硕士学位论文全文数据库 农业科技辑》;20110715(第7期);摘要，第2章2.1，2.2，3.1节 *
基于视频分析的犊牛基本行为识别;孟凡昌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20161115(第11期);摘要，第2章2.1.2节，第4章4.3 *

Also Published As

Publication number Publication date
CN106778555A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778555B (zh) 一种基于机器视觉的奶牛反刍咀嚼、吞咽次数统计方法
CN104008367B (zh) 基于计算机视觉的育肥猪的自动行为分析系统及方法
Chen et al. Detection of aggressive behaviours in pigs using a RealSence depth sensor
EP2925121B1 (en) System and method for predicting the health outcome of a subject
Poursaberi et al. Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques
CA2949768C (en) Non-invasive multimodal biometrical identification system of animals
TWI687159B (zh) 魚苗計數系統及魚苗計數方法
CN113662530B (zh) 一种猪只生理生长状态监测预警方法
CN111259978A (zh) 一种融合多区域深度特征的奶牛个体身份识别方法
JP6915904B2 (ja) 牛の乗駕行動の判読システム
CN107133564A (zh) 一种工装工帽检测方法
Yang et al. Automated video analysis of sow nursing behavior based on fully convolutional network and oriented optical flow
CN110598658A (zh) 一种母猪哺乳行为的卷积网络识别方法
Martinez-Ortiz et al. Video tracking of dairy cows for assessing mobility scores
WO2023041904A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
CN110633681A (zh) 一种基于视频的离床检测方法
CN112287893B (zh) 一种基于音视频信息融合的母猪哺乳行为识别方法
Sumi et al. Framework of cow calving monitoring system using a single depth camera
Xi et al. Smart headset, computer vision and machine learning for efficient prawn farm management
WO2023201443A1 (en) Method and system for automated evaluation of animals
Sumi et al. Framework of Cow Calving Monitoring System Using Video Images
CN113068657B (zh) 一种智能化高效养猪方法及系统
Mishra et al. Convolutional Neural Network Method for Effective Plant Disease Prediction
Hyodo et al. Feature representation learning for calving detection of cows using video frames
CN111753640A (zh) 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant