CN104320618A - 一种基于行为特征谱联动的犊牛状态监测的装置和方法 - Google Patents

一种基于行为特征谱联动的犊牛状态监测的装置和方法 Download PDF

Info

Publication number
CN104320618A
CN104320618A CN201410570189.8A CN201410570189A CN104320618A CN 104320618 A CN104320618 A CN 104320618A CN 201410570189 A CN201410570189 A CN 201410570189A CN 104320618 A CN104320618 A CN 104320618A
Authority
CN
China
Prior art keywords
calf
behavior
parameter
information
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410570189.8A
Other languages
English (en)
Other versions
CN104320618B (zh
Inventor
何东健
赵凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN201410570189.8A priority Critical patent/CN104320618B/zh
Publication of CN104320618A publication Critical patent/CN104320618A/zh
Application granted granted Critical
Publication of CN104320618B publication Critical patent/CN104320618B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种基于行为特征谱联动的犊牛状态监测的装置和方法,包括双摄像机、交换机和计算机、外部控制器及外部执行器,摄像机通过交换机与计算机相连,摄像机采集犊牛活动视频作为监测系统的信号输入,计算机分析视频得到犊牛个体状态和行为信息并进行模糊推理得出控制量及报警参数,外部控制器与计算机通过串口连接并接收控制参数,调节外部执行器的工作参数以改善犊牛养殖环境,SIM通讯装置用于发送报警短信;本发明采用两台摄像机结合图像分析技术,对犊牛行为信息和状态参数进行全天候监测,并根据个体状态参数进行环境调控,解决畜牧生产中犊牛个体行为信息采集与利用的问题。

Description

一种基于行为特征谱联动的犊牛状态监测的装置和方法
技术领域
本专利属于奶牛个体行为状态监测技术领域,尤其涉及一种基于行为特征谱联动的犊牛状态监测的装置和方法,具有异常报警和环境控制功能。
背景技术
规模化奶牛养殖,是提高奶牛生产效率和生产水平,增加农民收入,提升乳制品质量安全水平,提升疫病防控能力,实现畜牧业与环境协调发展的有效途径。规模化养殖对饲养管理方式和方法提出了新的挑战和要求。由于奶牛中个体间存在年龄、胎次、泌乳阶段的差异,同时奶牛产奶量在个体间的差异大于品种间的差异,故奶牛的饲养必需照顾到个体,在采集个体状态信息的基础上,根据个体的不同情况制定不同的饲养方案。
目前已有的奶牛信息采集系统在奶牛颈部安装无线传感器节点,通过各种传感器获取奶牛的体温、加速度等参数,并监测出奶牛静止、慢走、爬跨等行为。以上研究提高了奶牛信息获取的效率及准确性,但是通常一种传感器只能监测单一的信息,系统硬件成本高,且奶牛养殖环境恶劣,传感器易脱落、丢失,更会对奶牛身体造成一定损伤,系统维护困难,难以推广应用到整个牛场;采集的信息多为奶牛外部物理参量,难以监测奶牛高级行为,更难以获知奶牛内在的病理、生理信息;同时现有控制系统只能对开放奶牛场进行粗略地环境调控,控制系统采用开环控制,以固定的阈值作为控制参数,而外部环境参数不稳定,因此系统难以工作在稳定的状态,能效高、控制效果难以保证。
此外,新生犊牛死亡率较高,故6月龄内的犊牛需置于犊牛栏中,以便精细饲养与管理,但针对犊牛的信息采集的自动化系统未见报道。目前奶牛场采取人工定时巡查的方式对犊牛进行看护,不仅浪费人力物力,难以保证犊牛的养殖环境,更难以及时发现犊牛异常病理行为,极易造成犊牛意外夭折。因此,有必要提供一种能够实现犊牛个体基本状态和行为信息采集并对其进行控制和异常报警的方法和装置。
动物外在行为是动物内在生理状态的直接表现,是管理人员做出饲养决策的重要参考依据。使用摄像机可以方便快捷地获取并记录动物外在行为,通过开发行为分析软件系统,即可自动化、智能化获取奶牛高级行为,并推断出生理状态。基于视频的动物行为分析及自动监测系统,是解决精细畜牧特别是犊牛精细照理的重要途径。
发明内容
为了克服上述现有技术的不足,本发明的目的是提供一种基于行为特征谱联动的犊牛状态监测的方法及装置,分别在犊牛围栏长轴和短轴方向安装两台数字摄像机,摄像机与计算机通过网线连接,可将犊牛视频图像实时传输到计算机;计算机通过分析犊牛行为视频,得出犊牛活跃度、采食次数、睡觉时长、呼吸率等生理及行为信息,对犊牛个体行为信息进行记录与分析,并使用这些参数进行模糊推理计算得出控制量,进行环境控制及报警,实现犊牛身体状态自动监测和调节。
为实现上述目的,本发明采用的技术方案是:一种基于行为特征谱联动的犊牛状态监测的装置,包括双目网络摄像机、计算机、外部控制器、SIM通讯装置、风扇及喷淋器;摄像机与计算机采用RJ45网线连接;计算机通过串口连接有外部控制器、SIM通讯装置,外部控制器与外部执行器相连;外部控制器内设有SIM通讯装置和控制板;外部执行器包括风扇、喷淋器、声光报警器。
所述的摄像机采用双目网络摄像机,网络摄像机作为监测系统的信号输入用于犊牛活动图像的采集。
所述的计算机通过对犊牛活动视频进行处理得到犊牛行为信息。
所述的计算机用于视频分析得到奶牛个体状态和行为信息并进行模糊推理得出控制量及报警参数。
所述的外部控制器接收控制参数调节外部执行器的工作参数以改善奶牛养殖环境。
所述的SIM通讯装置用于发送报警短信。
所述的摄像机的数量有两台,一台安装于犊牛围栏短轴方向并与长边平行,一台安装于长轴方向并与短边平行,两台摄像机的镜头视线与围栏中心点的夹角为90度。
本发明的双摄像机对目标进行摄像时,在与摄像机正对的围栏后方和侧方分别放置与地面垂直的红色幕布。
本发明的计算机通过网络交换机与双摄像机相连接,同时获取视频图像并进行分析处理,包括以下3个内容:1)监测犊牛的基本行为:卧倒、走动、跑跳;2)在监测犊牛的基本行为的基础上,当犊牛卧倒时,监测其呼吸状态参数及姿态调整信息;3)在第1)、2)内容的基础上,使用分层行为模型识别奶牛的高级行为。
本发明的计算机进行视频图像分析得出结果,还包括4)犊牛行为信息的利用。
所述的外部控制器包括单片机、光电耦合器、双向可控硅、继电器,光电耦合器输入端与单片机I/O口连接,输出端与双向可控硅的控制端、阳极连接;继电器与单片机另一I/O口连接,经三极管放大路控制继电器线圈的通断;单片机根据计算机的指令,输出对应的PWM调制波形,经光电耦合器和双向可控硅,控制外部执行器的工作参数;当单片机接收到报警指令时,继电器接通,控制外部执行器发出异常声光报警信号。
所述的SIM通讯装置包括主控板、电源电路、复位电路,电源电路经稳压芯片输出恒定电压到主控板的VCC和GND引脚;RC电路构成复位电路与主控板复位引脚连接,当系统上电后自动产生复位脉冲。SIM通讯装置根据计算机的指令,向指定的手机号发送异常报警短信。
一种基于行为特征谱联动的犊牛状态监测的方法,包括以下步骤:
一、监测犊牛的基本行为:卧倒、走动、跑跳;具体包括以下步骤:
1)犊牛目标检测
通过改进背景减去法实现,像素灰度值Gray是RGB各通道分量的线性求和,αβγ为求合系数,改变3个通道的系数,以改变目标与背景图像的对比度;
使用块匹配法计算图像的运动矢量场,按速度大小进行阈值分割得到运动目标的粗略区域D,以D内调整后的目标与背景差值作为图像调整的评价,令αβγ为区间[-1,1]某值,并保证三者和为1,对于每一组系数按式(1)计算得评价值P α,β,γ
式中:Bk为背景图像;Fr为包含动物目标的图像;Gray为图像灰度转换;abs为取绝对值函数;sum为求和函数;numel为计算矩阵中值为1的元素个数;
计算所有系数组合中P α,β,γ 的最大值及其对应的αβγ值,即为最佳调整参数,调整图像后再用背景减去法进行目标检测;
2)犊牛目标跟踪
目标检测得到二值图像f,使用矩形寻找方法得到奶牛躯干区域r,并从原图像中提取目标区域的RGB图像f 0 作为跟踪的基准图像。然后读取新一帧图像f n ,以r为中心向四周扩展得r p ,对r p 内所有子图像f m f 0 按式(2)进行差异度比对评价,以最接近f 0 的子位置作为目标的新区域r n
式中:gf 0 f 0 的灰度图像;gf m f m 的灰度图像;T为奶牛白色体斑灰度阈值;numel为计算矩阵中值为1的元素个数的函数;&为对图像进行按位与运算;L为图像比对评价值;
将当前帧的跟踪结果r n 作为下一帧的探索中心,实现实时稳定跟踪;
3)基本行为识别
使用犊牛外接矩形的特征进行基本行为的识别,根据犊牛目标外接矩形的大小Rs以及前后数帧中目标运动速度Vc经逻辑判定,决定犊牛当前的状态,判定法则如下:
如果:Vc<VT1且Rs<ST,则:姿态为卧倒;
如果:Vc<VT1且Rs≥ST,则:姿态为站立;
如果:Vc≥VT1且Vc<VT2,则:姿态为走动;
如果:Vc≥VT2,则:姿态为跑动;
其中VT1为静止与运动的速度分界值,VT2为走动和跑动的速度分界值,ST为卧倒与站立的外形大小分界值;
二、在监测犊牛的基本行为的基础上,当犊牛卧倒时,监测其呼吸状态参数及姿态调整信息,具体包括以下步骤:
1)计算图像速度场
通过解析光流约束方程计算图像点的相对运动速度:
式中:I为像素点(x, y)在时刻t的灰度值,I Ix方向上的偏导数,I y 为Iy方向上的偏导数,I I对时间t的偏导数,V x x方向速度分量、V y y方向速度分量;
对图像进行按不同维度差分计算得到I x I y I t
采用多次大律法分割出运动点,具体过程是:统计图像中每个像素点的运动速度大小得到矩阵VF0,对VF0使用大律法进行阈值分割得到VF1,若VF1中元素个数小于TN,则VF1中元素为干扰点,并从VF0中剔除VF1中对应的元素,继续对VF0进行分割;若VF1中元素个数大于TN,则VF1中元素为运动点,即分割完成;
2)绘制运动曲线,采用时实计算所有运动点的速度方向平均值实现,具体过程是,将速度方向分量进行三角合成得到速度方向值,单帧图像中所有运动点速度方向的平均值作为该帧图像的状态参数,对每帧进行记录并绘制得到运动曲线;
3)分析运动曲线,得到卧姿状态参数
统计1分钟内运动曲线的周期数为奶牛呼吸率;单个呼吸周期内运动曲线的最大值与最小值的差值为呼吸深度;
按以下规则判定奶牛特殊行为:
如果:单个呼吸周期持续时长>TT1且呼吸深度>TT2,则:发生深呼吸行为;
如果:运动曲线波动幅度>TT3,则:发生呼吸紊乱行为;
如果:整体运动速度均值>TT4且速度方向的方差>TT5,则:发生姿态调整行为;
三、犊牛高级行为的监测,具体包括以下步骤:
1)对犊牛进行行为分层分析
将犊牛行为按照语义上的描述分为3个层次:运动特征、基本行为和高级行为。其中运动特征是指组成基本行为的基本单元;基本行为是运动特征的有序组合;高级行为是由许多基本行为经过逻辑组合而形成的。
对犊牛行为进行划分,其中高级行为包括采食、睡觉行为,基本行为包括走动、奔跑行为,运动特征包括运动速度、方位信息,由低层的元素去产生和推导出高一层的元素,以达到大型动物行为分析的目的。若基本行为和运动特征中一个或多个元素满足一定的空间和时间约束条件,则可产生高级行为层元素;
2)犊牛与环境交互的监测
通过对象检测与识别将动物运动目标与关键物件从图像中标识出来。在动物活动区域内,围栏、料盆、水盆等物件处于静止状态且位置相对固定,故用图像分割及对象识别方法,再结合各自的位置信息加以识别。在识别出重要物件并记录位置等信息后,计算动物与物件的最大距离、最小距离、平均距离、接触像素数等参数,以描述动物与物件的相对关系并考查动物与场景中重要物件的交互行为。例如,动物与料盆的关系:靠近、远离、停留;动物与窝棚的关系:靠近、远离、在内、在外;
3)在步骤一、二的基础上,使用分层行为模型识别奶牛的高级行为
将步骤一、二中犊牛基本行为信息与动物-场景交互信息进行组合,根据包含犊牛行为特点的先验知识构造高级行为产生的约束条件,在约束条件下实现犊牛高级行为识别模型,设计模型的结构和参数,并实现模型算法,根据识别结果不断修正模型,实现奶牛睡觉、采食高级行为的监测;
四、犊牛行为信息的利用,具体包括以下步骤:
1)行为信息的归类
将监测到的行为信息划归为3类:行为异常、状态特征参数、日常行为参数。其中,行为异常包括:呼吸率过高、呼吸紊乱、姿态调整频繁、长时间处于卧倒状态、长时间未进食;状态特征参数包括:呼吸率、呼吸深度;日常行为参数包括:睡觉的时长与方位、站立时长与方位、进食次数与时间;
2)对行为信息的处理和利用
当监测到行为异常后,系统立即进行报警操作:控制外部执行器进行声光报警,通过SIM通讯装置发送报警短信;
状态特征参数被模糊化,经模糊推理计算得出控制量,通过外部控制器调节外部执行器的工作参数,以改善犊牛的养殖环境;
日常行为参数被实时记录,并录制相关的视频片段,以供管理人员查证,协助制定养殖策略,并作为奶牛牛群改良系统的信息源。
本发明的有益效果:
本发明采用网络摄像机,数字监控图像经过压缩并通过以太网进行传输,能够实现大范围、低成本布置,能够长时间、全天候工作,系统灵敏度高、抗干扰能力强;监测数据准确度高、可重复性强,本系统实现了高清图像实时采集及犊牛状态信息准确提取及监测。
本发明基于机器视觉进行图像处理,以监测犊牛行为,分析其状态信息,对奶牛养殖和环境调控的优化管理、提高奶牛产量和经济效益、改善动物福利具有重要意义。本系统实现无接触监测避免了犊牛对外来物的应激反应,同时结果准确高效,可节约大量人力物力,避免了人工主观因素对观测结果的影响,同时为奶牛养殖环境的调控提供了可靠依据。
本发明单次采集图像数据即可实现多个奶牛状态信息的获取,并对其进行深层次的分析,从不同侧面反映了个体犊牛身体状态,能够监测出传统传感器难以感知的高级异常行为。
本系统使用了模糊控制原理,可快速将环境参数控制到合理的范围,且不会出现以往技术中的过调节现象。本发明对外部执行器进行的智能控制,能够最大化节约电量,实现最大经济效益。
附图说明
图1是本发明的原理框图。
图2是本发明的双摄像机布置方式图。
图3是本发明的控制器中驱动电机调速电路原理图。
图4是本发明的犊牛行为自动监测、异常报警及环境调控的工作流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示,一种基于行为特征谱联动的犊牛状态监测的装置,包括双目网络摄像机、计算机、外部控制器、SIM通讯装置、风扇及喷淋器;摄像机与计算机采用RJ45网线连接;计算机通过串口连接有外部控制器、SIM通讯装置,外部控制器与外部执行器相连;外部控制器内设有SIM通讯装置和控制板;外部执行器包括风扇、喷淋器声光报警器。
所述的摄像机采用双目网络摄像机。网络摄像机作为监测系统的信号输入用于犊牛活动图像的采集。由两台网络摄像机组成的双目摄像机对犊牛进行连续实时图像获取,通过网线和交换机传输给计算机平台进行图像处理,计算机程序对采集的视频图像进行犊牛目标检测、目标跟踪后,监测出犊牛行为异常信息、状态特征参数、日常行为参数。
所述的计算机用于视频分析得到奶牛个体状态和行为信息并进行模糊推理得出控制量及报警参数。计算机与外部控制器通过串口连接,根据不同的行为信息,向外部控制器发送指令。出现行为异常时,通过声光报警器进行异常报警,并使用SIM通讯装置发送异常信息。
所述的外部控制器接收控制参数调节外部执行器的工作参数以改善奶牛养殖环境。计算机对状态特征参数进行模糊化,经模糊推理后得出控制量,由计算机输出到外部控制器。外部控制器中单片机根据控制量的大小,输出对应的PWM调制波形,经电路转化,控制风扇的转速和喷淋器工作流量,进行环境调控。
所述的SIM通讯装置用于发送报警短信。
所述的摄像机的数量有两台,一台安装于犊牛围栏短轴方向并与长边平行,一台安装于长轴方向并与短边平行,两台摄像机的镜头视线与围栏中心点的夹角为90度。
本发明的双摄像机对目标进行摄像时,在与摄像机正对的围栏后方和侧方分别放置与地面垂直的红色幕布。
本发明的计算机通过网络交换机与双摄像机相连接,同时获取视频图像并进行分析处理,包括以下3个内容:1)监测犊牛的基本行为:卧倒、走动、跑跳;2)在监测犊牛的基本行为的基础上,当犊牛卧倒时,监测其呼吸状态参数及姿态调整信息;3)在第1)、2)内容的基础上,使用分层行为模型识别奶牛的高级行为。
本发明的计算机进行视频图像分析得出结果,还包括4)犊牛行为信息的利用。
所述的外部控制器包括单片机、光电耦合器、双向可控硅、继电器,光电耦合器输入端与单片机I/O口连接,输出端与双向可控硅的控制端、阳极连接;继电器与单片机另一I/O口连接,经三极管放大路控制继电器线圈的通断;单片机根据计算机的指令,输出对应的PWM调制波形,经光电耦合器和双向可控硅,控制外部执行器的工作功率;当单片机接收到报警指令时,继电器接通,控制外部执行器发出异常声光报警信号。
所述的SIM通讯装置包括主控板、电源电路、复位电路,电源电路经稳压芯片输出恒定电压到主控板的VCC和GND引脚;RC电路构成复位电路与主控板复位引脚连接,当系统上电后自动产生复位脉冲。SIM通讯装置根据计算机的指令,向指定的手机号发送异常报警短信。
计算机对日常行为参数进行实时记录,并录制相关的视频片段,以供管理人员进一步查证,并作为奶牛牛群改良系统的信息源。
参见图2,是本发明的双摄像机布置方式图。一台安装于犊牛围栏短轴x方向并与长边平行,一台安装于长轴y方向并与短边平行,两台摄像机的镜头视线与围栏中心点的夹角为90度。图中,犊牛休息区1,犊牛活动区2,饲料盆3,饮水盆4,
犊牛经常于犊牛活动区2内进行采食、饮水、玩耍等活动;于犊牛休息区1内睡觉。由于活动区域宽度小于奶牛身长,故犊牛活动时,其身长方向基本平行于活动区域的长轴y。摄像机1垂直于围栏长轴y,架设高度为1m;摄像机2垂直于围栏短轴x,架设高度为1.8m。当犊牛处于围栏内,将同时被两台摄像机拍摄,即可获得同一时刻不同角度的奶牛视频信息,有利于提高犊牛行为监测的准确率。 
摄像机型号为海康威视DS-2CD893PFWD-E,镜头型号为TV2713D-IR,短轴x方向的摄像机镜头焦距为4mm,长轴y方向摄像机镜头焦距为5mm。
两台摄像机要求在同一时刻对犊牛目标从两个不同的方向进行视频图像采集,计算机每隔30分钟发出同步信号,对双摄像机的内置时钟进行同步。
如图3所示,是外部控制器中驱动电机转速调整电路原理图,PWM调制波形由控制器内单片机生成。电路中5为MOC3061型光电耦合器,具有光电隔离、过零触发、过零检测功能,6为BT136-600E型双向可控硅,最大工作电流/电压为4A/600V,8为交流220V电源。光电耦合器正向输入端①连接高电平,反向输入端②接收单片机发送的PWM调制波形;第1输出端④与双向可控硅的控制端G连接,并通过电阻与双向可控硅第1阳极T1连接,第2输出端与通过电阻与双向可控硅的第2阳极T2连接,光电耦合器端口③和⑤置空;驱动电机与电源串联,再并联到双向可控硅的第1阳极T1和第2阳极T2两端;RC回路用于双向可控硅关断过电压保护。
电路的工作原理是:单片机响应计算机的控制参数,在I/O口输出PWM调制波形,当光电耦合器反向输出端收到低电平时,光电耦合导通,同时触发双向可控硅,使驱动电机电路导通工作,给定时间内,驱动电机7得到的功率为:
式中:P(单位:KW)为驱动电机得到的功率;k为调制波形的占空比;U(单位:V)、I(单位:A)为可控硅在一个电源周期全导通时所对应的电流和电压的有效值。当UI为定值时,只要改变占空比k的大小即可控制功率的输出,从而达到调节电机转速的目的。
当驱动电机为风扇电机时,外部控制器调节风扇转速;当驱动电机为喷淋器加压电机时,外部控制器调节喷淋器工作流量。
如图4所示,是本发明的犊牛行为自动监测、异常报警及环境调控的工作流程图,包括以下步骤:
1)目标检测:首先使用帧间差值法计算奶牛的外接矩形,提取每帧图像中的局部背景,并进行拼接和求均值得到整体背景图像。然后定位奶牛躯干区域并实时跟踪,将每帧中的躯干区域作为目标监测的基准区域,使用动态RGB通道合成参数调整机制对目标和背景图像进行实时调整,对调整后的图像进行背景减去,使用基准区域对检测结果进行评价,最终确定最优参数组合,重新进行背景减去以完成目标检测;
2)目标跟踪:使用目标检测的结果,在新的一帧图像中,通过比较二值化图像的相似度,寻找与目标最接近的图像区域,作为新一帧图像中的目标区域。本例中对原目标区域向四周进行16像素扩展作为搜索区域,图像比较中二值化阈值为150;
3)基本行为的识别:在前后数帧中,若目标运动速度小于10像素/秒,则判定犊牛处于静立或卧倒姿态,此时若目标外接矩形的大小小于3万个像素点时,判定犊牛为卧倒,否则为静立。若目标运动速度大于50像素/秒,则判定犊牛处于走动或跑动状态,此时若犊牛的运动速度大于80像素/秒,判定犊牛为跑动,否则为走动;
4)监测卧姿状态信息,并进行环境调控:使用光流法计算侧卧犊牛视频图像的光流速度场;采用Horn-Schunck约束算法,终止误差0.01,迭代次数300次;使用大律法筛选出运动点,其中元素个数阈值TN=N/10(N为图像像素数);使用运动点运动方向均值绘制状态曲线;使用矩形窗函数对曲线进行分段拟合,计算得到曲线的周期并得出呼吸率;若5秒内呼吸周期持续时长的方差大于其均值的30%,则判定为呼吸紊乱;若当前运动速度均值大于前1分钟内速度均值的50%,则判定为姿态调整行为。
使用前1分钟中的呼吸率进行外部环境调控,奶牛呼吸率、呼吸率变化量及电机转速调整量这3个参数的变动区间分别为[30, 90]、[-20, 20]、[-0.5, 0.5](1为最大转速,0为风扇停止,负值为减速,正值为加速)。使用三角形隶属度函数分别将其映射到对应的模糊语言评价词集{NB,NM,NS,ZO,PS,PM,PB}。制定49条模糊推理规则,模糊控制规则的机理是控制电机转速的变化量(即加速度),制定原则是使奶牛呼吸率达到合理值(60次/分),经模糊推理后得到模糊语言评价,反映射得到电机转速的调整量,并由计算机串口发送到外部控制器,单片机响应接收到的串口数据,将调整量与当前转速叠加得到新的转速值,并在I/O口输出PWM调制波形;
5)高级行为监测:使用基本行为及犊牛与环境的交互信息监测高级行为。“睡觉”可由“呼吸”和“体态”2个基本行为层元素以及“速度”1个运动特征层元素产生,条件是“体态”为“侧卧”,“呼吸”频率小于阈值45次/分,“速度”大小为0;“采食”可由“体态”和“交互”2个行为层元素产生,条件是“体态”为“站立”,“交互”为“口部接触饲料盆”;
6)异常行为的判定及报警:满足以下条件时,判定为异常行为:
如果:呼吸率>80次/分,或者
如果:出现呼吸紊乱,或者
如果:姿态调整频度>4次/分,或者
如果:卧倒状态持续时间>3小时,或者
如果:卧倒状态时间/站立状态时间>0.6,或者
如果:进食间隔时间>5小时;
监测到异常后,计算机发送指命到外部控制器,控制继电器开合实现声光报警。同时计算机通过串口控制SIM通讯装置发送包含异常信息的报警短信;
7)记录日常行为信息:将睡觉的时长与方位、站立时长与方位、进食次数与时间以及相关的视频片断保存到计算机硬盘,供管理人员查询,并作为奶牛牛群改良系统的信息源;
8)停止监测:除非用户发出停止监测指令,否则该工作流程将持续不间断地循环运行。

Claims (7)

1.一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,包括双目网络摄像机、计算机、外部控制器、SIM通讯装置、风扇及喷淋器;摄像机与计算机采用RJ45网线连接;计算机通过串口连接有外部控制器、SIM通讯装置,外部控制器与外部执行器相连;外部控制器内设有SIM通讯装置和控制板;外部执行器包括风扇、喷淋器、声光报警器。
2.根据权利要求1所述的一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,所述的摄像机采用双目网络摄像机。
3.根据权利要求1所述的一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,所述的摄像机的数量有两台,一台安装于犊牛围栏短轴方向并与长边平行,另一台安装于长轴方向并与短边平行,两台摄像机的镜头视线与围栏中心点的夹角为90度。
4.根据权利要求1所述的一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,在与摄像机正对的围栏后方和侧方分别放置与地面垂直的红色幕布。
5.根据权利要求1所述的一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,所述的外部控制器中控制板包括单片机、光电耦合器、双向可控硅、继电器;所述的光电耦合器输入端与单片机I/O口连接,输出端与双向可控硅的控制端、阳极连接;所述的继电器与单片机另一I/O口连接,经三极管放大路控制继电器线圈的通断。
6.根据权利要求1所述的一种基于行为特征谱联动的犊牛状态监测的装置,其特征在于,所述的SIM通讯装置包括主控板、电源电路、复位电路,所述的电源电路由稳压芯片输出恒定电压到主控板的VCC和GND引脚;所述的复位电路由RC回路与主控板复位引脚连接,当系统上电后自动产生复位脉冲。
7.一种基于行为特征谱联动的犊牛状态监测的方法,其特征在于,包括以下步骤:
一、监测犊牛的基本行为:卧倒、走动、跑跳;具体包括以下步骤:
1)犊牛目标检测
使用块匹配法计算图像的运动矢量场,分割得到运动目标的粗略区域D,以D内调整后的目标与背景差值作为图像调整的评价,计算最佳系数组合做为最佳调整参数,调整图像后再用背景减去法进行目标检测;
2)犊牛目标跟踪
提取奶牛躯干区域作为跟踪的基准图像f 0 ,向四周扩展得r p ,对r p 内所有子图像进行差异度比对评价,以最接近f 0 的子位置作为目标的新区域,将当前帧的跟踪结果作为下一帧的探索中心,重复跟踪过程;
3)基本行为识别
使用犊牛外接矩形的特征进行基本行为的识别,根据犊牛目标外接矩形的大小Rs以及前后数帧中目标运动速度Vc经逻辑判定,决定犊牛当前的状态,判定法则如下:
如果:Vc<VT1且Rs<ST,则:姿态为卧倒;
如果:Vc<VT1且Rs≥ST,则:姿态为站立;
如果:Vc≥VT1且Vc<VT2,则:姿态为走动;
如果:Vc≥VT2,则:姿态为跑动;
其中VT1为静止与运动的速度分界值,VT2为走动和跑动的速度分界值,ST为卧倒与站立的外形大小分界值;
二、在监测犊牛的基本行为的基础上,当犊牛卧倒时,监测其呼吸状态参数及姿态调整信息,具体包括以下步骤:
1)计算图像速度场
解析光流约束方程计算图像点x方向速度分量V x 、y方向速度分量V y ,使用V x V y 计算速度大小,按速度大小采用多次大律法分割出运动点;
2)将速度方向分量进行三角合成得到速度方向值,单帧图像中所有运动点速度方向的平均值作为该帧图像的状态参数,对每帧进行记录并绘制得到运动曲线;
3)分析运动曲线,得到卧姿状态参数
统计1分钟内运动曲线的周期数为奶牛呼吸率;单个呼吸周期内运动曲线的最大值与最小值的差值为呼吸深度;
按以下规则判定奶牛特殊行为:
如果:单个呼吸周期持续时长>TT1且呼吸深度>TT2,则:发生深呼吸行为;
如果:运动曲线波动幅度>TT3,则:发生呼吸紊乱行为;
如果:整体运动速度均值>TT4且速度方向的方差>TT5,则:发生姿态调整行为;
三、犊牛高级行为的监测,具体包括以下步骤:
1)对犊牛进行行为分层分析
将犊牛行为按照语义上的描述分为3个层次:运动特征、基本行为和高级行为;
对犊牛行为进行划分,高级行为包括采食、睡觉行为,基本行为包括走动、奔跑行为,运动特征包括运动速度、方位信息;
2)犊牛与环境交互的监测
通过对象检测与识别将动物运动目标与关键物件从图像中标识出来;
在识别出重要物件并记录位置等信息后,计算动物与物件间的图像特征参数,描述动物与物件的相对关系并考查动物与场景中重要物件的交互行为;
3)在步骤一、二的基础上,使用分层行为模型识别奶牛的高级行为
将步骤一、二中犊牛基本行为信息与动物-场景交互信息进行组合,根据包含犊牛行为特点的先验知识构造高级行为产生的约束条件,在约束条件下实现犊牛高级行为识别模型,设计模型的结构和参数,并实现模型算法;
四、犊牛行为信息的利用,具体包括以下步骤:
1)行为信息的归类
监测到的行为信息划归为3类:行为异常、状态特征参数、日常行为参数;
其中,行为异常包括:呼吸率过高、呼吸紊乱、姿态调整频繁、长时间处于卧倒状态、长时间未进食;状态特征参数包括:呼吸率、呼吸深度;日常行为参数包括:睡觉的时长与方位、站立时长与方位、进食次数与时间;
2)对行为信息的处理和利用
当监测到行为异常后,系统立即进行报警操作:控制外部执行器进行声光报警,通过SIM通讯装置发送报警短信;
状态特征参数被模糊化,经模糊推理计算得出控制量,通过外部控制器调节外部执行器的工作参数,以改善犊牛的养殖环境;
日常行为参数被实时记录,并录制相关的视频片段,以供管理人员查证,协助制定养殖策略,并作为奶牛牛群改良系统的信息源。
CN201410570189.8A 2014-10-23 2014-10-23 一种基于行为特征谱联动的犊牛状态监测的装置和方法 Expired - Fee Related CN104320618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410570189.8A CN104320618B (zh) 2014-10-23 2014-10-23 一种基于行为特征谱联动的犊牛状态监测的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410570189.8A CN104320618B (zh) 2014-10-23 2014-10-23 一种基于行为特征谱联动的犊牛状态监测的装置和方法

Publications (2)

Publication Number Publication Date
CN104320618A true CN104320618A (zh) 2015-01-28
CN104320618B CN104320618B (zh) 2018-04-03

Family

ID=52375781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410570189.8A Expired - Fee Related CN104320618B (zh) 2014-10-23 2014-10-23 一种基于行为特征谱联动的犊牛状态监测的装置和方法

Country Status (1)

Country Link
CN (1) CN104320618B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774540A (zh) * 2016-12-01 2017-05-31 上海工程技术大学 一种基于视频识别的智能养殖控制系统及方法
CN107945456A (zh) * 2017-12-18 2018-04-20 翔创科技(北京)有限公司 牲畜监控系统
CN108175389A (zh) * 2017-12-22 2018-06-19 北京农业信息技术研究中心 一种多源信息融合奶牛行为监测系统及方法
CN108229351A (zh) * 2017-12-21 2018-06-29 深圳市欣博跃电子有限公司 一种动物养殖方法、动物养殖装置及电子设备
CN110163888A (zh) * 2019-05-30 2019-08-23 闽江学院 一种新型的运动分割模型数量检测方法
CN110738821A (zh) * 2019-09-27 2020-01-31 深圳市大拿科技有限公司 一种通过远程摄像告警方法及系统
CN111176350A (zh) * 2018-11-13 2020-05-19 财团法人资讯工业策进会 产量控制系统、方法及其非暂态计算机可读取媒体
CN111292504A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种通过图像识别进行安全告警方法及系统
CN111401182A (zh) * 2020-03-10 2020-07-10 北京海益同展信息科技有限公司 针对饲喂栏的图像检测方法和装置
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN112856170A (zh) * 2020-12-25 2021-05-28 河南科技大学 一种奶牛体况自动评分装置
CN113705528A (zh) * 2021-09-08 2021-11-26 内蒙古工业大学 一种时间预测方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN200956560Y (zh) * 2006-08-29 2007-10-03 盛永富 交流电机正反转控制继电器模块
CN102509085A (zh) * 2011-11-19 2012-06-20 江苏大学 基于轮廓不变矩特征的猪行走姿态识别系统和方法
CN103089679A (zh) * 2013-01-31 2013-05-08 韩春龙 大功率排气扇时基电路间歇控制装置
CN203087161U (zh) * 2012-12-26 2013-07-31 内蒙古伊利实业集团股份有限公司 一种用于奶牛降温的自动喷淋装置
CN103248703A (zh) * 2013-05-16 2013-08-14 中国农业大学 生猪行为自动监测系统及方法
CN203233809U (zh) * 2013-05-09 2013-10-16 苏州大学 一种农业大棚温湿控制系统
CN103488148A (zh) * 2013-09-24 2014-01-01 华北电力大学(保定) 一种基于物联网和计算机视觉的家畜行为智能监控系统
CN104008367A (zh) * 2014-05-08 2014-08-27 中国农业大学 基于计算机视觉的育肥猪的自动行为分析系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN200956560Y (zh) * 2006-08-29 2007-10-03 盛永富 交流电机正反转控制继电器模块
CN102509085A (zh) * 2011-11-19 2012-06-20 江苏大学 基于轮廓不变矩特征的猪行走姿态识别系统和方法
CN203087161U (zh) * 2012-12-26 2013-07-31 内蒙古伊利实业集团股份有限公司 一种用于奶牛降温的自动喷淋装置
CN103089679A (zh) * 2013-01-31 2013-05-08 韩春龙 大功率排气扇时基电路间歇控制装置
CN203233809U (zh) * 2013-05-09 2013-10-16 苏州大学 一种农业大棚温湿控制系统
CN103248703A (zh) * 2013-05-16 2013-08-14 中国农业大学 生猪行为自动监测系统及方法
CN103488148A (zh) * 2013-09-24 2014-01-01 华北电力大学(保定) 一种基于物联网和计算机视觉的家畜行为智能监控系统
CN104008367A (zh) * 2014-05-08 2014-08-27 中国农业大学 基于计算机视觉的育肥猪的自动行为分析系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于食品分析的奶牛呼吸频率与异常检测;赵凯旋;《农业机械学报》;20140612;第45卷(第10期);第258-263页 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774540A (zh) * 2016-12-01 2017-05-31 上海工程技术大学 一种基于视频识别的智能养殖控制系统及方法
CN107945456A (zh) * 2017-12-18 2018-04-20 翔创科技(北京)有限公司 牲畜监控系统
CN108229351B (zh) * 2017-12-21 2020-10-30 深圳市欣博跃电子有限公司 一种动物养殖方法、动物养殖装置及电子设备
CN108229351A (zh) * 2017-12-21 2018-06-29 深圳市欣博跃电子有限公司 一种动物养殖方法、动物养殖装置及电子设备
CN108175389A (zh) * 2017-12-22 2018-06-19 北京农业信息技术研究中心 一种多源信息融合奶牛行为监测系统及方法
CN111176350A (zh) * 2018-11-13 2020-05-19 财团法人资讯工业策进会 产量控制系统、方法及其非暂态计算机可读取媒体
CN110163888A (zh) * 2019-05-30 2019-08-23 闽江学院 一种新型的运动分割模型数量检测方法
CN110738821A (zh) * 2019-09-27 2020-01-31 深圳市大拿科技有限公司 一种通过远程摄像告警方法及系统
CN111292504A (zh) * 2020-01-23 2020-06-16 深圳市大拿科技有限公司 一种通过图像识别进行安全告警方法及系统
CN111401182A (zh) * 2020-03-10 2020-07-10 北京海益同展信息科技有限公司 针对饲喂栏的图像检测方法和装置
CN111401182B (zh) * 2020-03-10 2023-12-08 京东科技信息技术有限公司 针对饲喂栏的图像检测方法和装置
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法
CN112446348B (zh) * 2020-12-08 2022-05-31 电子科技大学 一种基于特征谱流的行为识别方法
CN112856170A (zh) * 2020-12-25 2021-05-28 河南科技大学 一种奶牛体况自动评分装置
CN113705528A (zh) * 2021-09-08 2021-11-26 内蒙古工业大学 一种时间预测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN104320618B (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN104320618B (zh) 一种基于行为特征谱联动的犊牛状态监测的装置和方法
Zheng et al. Automatic recognition of lactating sow postures from depth images by deep learning detector
Wu et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment
US11938614B2 (en) Control device for robot to tease pet and mobile robot
CN104008367B (zh) 基于计算机视觉的育肥猪的自动行为分析系统及方法
CN109145032A (zh) 一种蜜蜂养殖智能监测方法与系统
Chen et al. Classification of drinking and drinker-playing in pigs by a video-based deep learning method
Zhu et al. Recognition and drinking behaviour analysis of individual pigs based on machine vision
CN103475736B (zh) 一种传感器通信系统及其利用该系统进行监控的方法
Yang et al. Automated video analysis of sow nursing behavior based on fully convolutional network and oriented optical flow
CN102282570A (zh) 用于立体视场多动物行为特征的系统和方法
CN113785783B (zh) 一种牲畜分群系统及方法
CN112000051A (zh) 一种基于物联网的畜牧养殖管理系统
CN111640139A (zh) 一种基于鱼群行为时空特性的循环水养殖水质智能预警装置和方法
CN103674857A (zh) 基于机器视觉的牧草饲料检测系统和方法
Chen et al. A kinetic energy model based on machine vision for recognition of aggressive behaviours among group-housed pigs
US11532153B2 (en) Splash detection for surface splash scoring
CN110490161A (zh) 一种基于深度学习的圈养动物行为分析方法
US20230073738A1 (en) Method for Determining Biometric Data Relating to an Animal Based on Image Data
Liang et al. A benchmark for action recognition of large animals
Ding et al. Social density detection for suckling piglets based on convolutional neural network combined with local outlier factor algorithm
Ju et al. Video tracking to monitor turkey welfare
Liang et al. Tracking guided actions recognition for cows
CN115272943B (zh) 一种基于数据处理的畜牧家禽进食异常识别方法
Sun et al. Basic behavior recognition of yaks based on improved SlowFast network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180403

Termination date: 20181023

CF01 Termination of patent right due to non-payment of annual fee