CN110222664B - 一种基于视频活跃性分析的智能化猪圈养监视系统 - Google Patents

一种基于视频活跃性分析的智能化猪圈养监视系统 Download PDF

Info

Publication number
CN110222664B
CN110222664B CN201910509928.5A CN201910509928A CN110222664B CN 110222664 B CN110222664 B CN 110222664B CN 201910509928 A CN201910509928 A CN 201910509928A CN 110222664 B CN110222664 B CN 110222664B
Authority
CN
China
Prior art keywords
animal
ear tag
theta
monitoring system
activity analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910509928.5A
Other languages
English (en)
Other versions
CN110222664A (zh
Inventor
连卫民
王桂芝
孙汉卿
张建伟
李丹
权庆乐
刘征
张先哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Animal Husbandry and Economy
Original Assignee
Henan University of Animal Husbandry and Economy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Animal Husbandry and Economy filed Critical Henan University of Animal Husbandry and Economy
Priority to CN201910509928.5A priority Critical patent/CN110222664B/zh
Publication of CN110222664A publication Critical patent/CN110222664A/zh
Application granted granted Critical
Publication of CN110222664B publication Critical patent/CN110222664B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频活跃性分析的智能化猪圈养监视系统,针对畜牧业养殖圈养场景下动物行为的实例级别监视仍待提升的问题。该发明使用基于深度卷积神经网络的语义分割得到动物的遮罩;使用基于颜色显著度公式分割动物的带颜色耳标;针对语义分割的遮罩通过距离变换方法处理得到实例分割结果;依照实例分割的结果,使用距离优先方法和姿态约束条件将耳标与实例关联,得到动物骨骼模型;基于动物骨骼模型,得到其中心点位置及头部朝向的属性,加入感兴趣区域计数器;基于感兴趣计数器得出猪的咬尾判定方法。该发明利用监控视频信息,结合耳标信息,通过基于骨骼模型的感兴趣区域事件来对录像中需要注意的时间点进行标记。

Description

一种基于视频活跃性分析的智能化猪圈养监视系统
技术领域
本发明涉及畜牧业养殖圈养场景下的计算机视觉监视分析系统,特别是涉及一种基于视频活跃性分析的智能化猪圈养监视系统。
背景技术
畜牧业监控是响应大数据和人工智能概念的产业,近年来,很多圈养动物的棚子部署了视频监控,但其作用仅限于安防和人工观察动物习性。观察动物特殊行为的任务特性决定了人工观察动物习性的工作效率低下,一方面浪费了人力和时间,一方面还有漏检的可能性,这些因素进一步降低了视频监控的实际价值。导致上述矛盾的原因在于视频序列没有引入分析系统,没有关键时刻的标签,也没有参考性的数据。
目前使用物体检测器的方法不适用于动物的实例级别监视,即难以获得每一头动物的信息。基于物体检测器的方法大部分使用边界框,由于动物姿态和朝向不确定,基于边界框的方法难以监视动物的活跃性数据。使用语义分割的结果不能区分每一头动物,只能提供大致的遮罩,只有后处理才能实现实例级别的分割。若能实现实例级别的分割,即可进一步分析动物的活动。目前采用鲜艳颜色的耳标可以直接通过颜色分割算法得到遮罩,若饲养环境不允许出现鲜艳颜色,使用红外反光材料的耳标也能用于分割并得到位置。耳标和动物遮罩结合可以得知动物的朝向甚至头部方向。
目前使用深度卷积神经网络进行语义分割的任务已经十分成熟,大部分摄像头是安装在顶棚的,较高的机位能获得接近俯视的效果,使用预训练好的模型,仅需要标注少量样本进行继续训练的微调工作即可适配到各个场地。
发明内容
本发明克服了现有技术中畜牧业养殖圈养场景下动物行为的实例级别监视仍待提升的问题,提供一种能够辅助人工回放视频和提供计算机分析参考性数据的基于视频活跃性分析的智能化猪圈养监视系统。
本发明的技术解决方案是,提供一种具有以下结构的基于视频活跃性分析的智能化猪圈养监视系统:对透视变换后的视频进行基于视觉的处理和分析,含有以下步骤,步骤a,使用基于深度卷积神经网络的语义分割得到动物的遮罩;步骤b,使用基于颜色显著度公式分割动物的带颜色耳标;步骤c,针对语义分割的遮罩通过距离变换方法处理得到实例分割结果;步骤d,依照实例分割的结果,使用距离优先方法和姿态约束条件将耳标与实例关联,得到动物骨骼模型;步骤e,基于动物骨骼模型,得到其中心点位置及头部朝向的属性,加入感兴趣区域计数器;步骤f,基于感兴趣计数器得出猪的咬尾判定方法。
所述步骤a中使用的深度卷积神经网络符合以下端到端特征:1、输入图像为RGB彩色图像;2、输出图像是置信图或经过后处理的二值遮罩。
所述步骤b中颜色显著度数值是单通道的,基于RGB通道数值和目标颜色相似度相乘得到。
所述步骤c中针对二值图进行距离变换得到实例分割结果,通过阈值化分割出不再连通的二值遮罩。
所述步骤d中根据一个实例遮罩的最小外接矩形顺时针搜索,并根据评价函数选取最优的耳标,形成动物骨骼模型,具体步骤如下:步骤1、定位耳标,耳标的分割通过显著颜色方法实现,计算方法为:C(i,j)=max(Rij,Gij,Bij)-min(Rij,Gij,Bij),得到耳标连通域305后,逐个处理实例分割的连通域301;对连通域301逐个使用最小旋转包围框算法,得到一个旋转的包围框303,取其旋转角度θ开始寻找耳标305的位置,其中θ角度是x轴逆时针夹角,以一个先验值的长度开始,以1°为步进,顺时针取射线范围内的像素,假设包围框的中心为p(i,j),先验长度为t,则步进1中θ′=θ-1,线段终点位置为:p′(i,j)=p(i,j)+t(tcos(θ′),tsin(θ′)),以θ1=θ和θ2=θ±180方向分别执行一次确定线段终点位置的操作,±取符号条件为:θ2∈(-180,180),角度步进之后以终点位置插值来选取取样像素,下式中α是插值步进:psample(i,j)=p(i,j)+α*p′(i,j),之后,psample(i,j)=psample(floor(i),floor(j)),以此类推,直到搜索结束,若找到了耳标的连通域305,则进行评分:Loss=min((Δθ1*t′),(Δθ2*t′)),其中Δθ=|θ-θ′|,t′=t*α,最终取最低损失的候选结果,得到了关联的耳标和身体朝向θ;步骤2、构建动物骨骼模型的计算方法为:语义分割结果中,使用分水岭分割方法得到最大连通域范围302,以包围框中心点对θ角度延长至范围302,得到交点304,连接耳标305的连通域中点和304,计算出和身体θ方向的向量夹角306,将夹角306视为头旋转角度,以交点304到耳标的向量逆时针旋转90度,得到头部向量307,则动物骨骼模型建立完成。
所述步骤e中在头部、尾部或其他位置划分矩形或异形感兴趣区域,并通过交叠阈值判断位置关系。
所述步骤f中使用了交叠阈值来判定重合,并逐帧通过阈值结果对计数器进行累加和遗忘,进而对次数进行阈值判定来确定事件的发生;其中计数器的累加,使用交并比的方式衡量感兴趣区域的交叠程度,其公式为:
Figure GDA0003022923820000021
其中A、B是两个感兴趣区域,对IoU进行阈值化即可判定是否交叠,其中计数器的遗忘,使用遗忘因子和遗忘停止阈值来调整计数数值,当IoU大于交叠阈值时,计数器自加,Nnow是当前时刻的计数,Nprev是前一时刻的结果:Nnow=Nprev*β+1,当IoU小于交叠阈值时,直接清空计数器会影响灵敏度,自减的方式会导致事件在噪声中出现误检,无论IoU是否大于交叠阈值,都在每帧的判定前采用平滑的遗忘机制,其公式为:Nnow=Nprev*β+Threshmin(1-β),其中Nprev是上一帧时刻的计数值,Threshmin是遗忘停止阈值,β是遗忘因子,越大则更难以回落,越小越容易回落到Threshmin遗忘停止阈值。
与现有技术相比,本发明基于视频活跃性分析的智能化猪圈养监视系统具有以下优点:使用了深度卷积神经网络进行动物的语义遮罩提取,可以适应多种光照环境。当光照条件特殊时,可以基于预训练模型,针对现有光照条件,采集少量样本并标注,通过继续训练来提高当前光照条件的准确率使用了基于动物体型特征的实例分割方法,能够快速地对语义分割结果进行后处理。使用了动物骨骼模型,使用颜色耳标或者红外反光耳标进行动物头部的位置识别,进而构建动物的朝向,头部位置和尾部位置。
本发明提出的实例化方法和动物骨骼模型,可以通过在头部、尾部等自定义区域设置感兴趣区域计数器。基于感兴趣区域的重合来驱动计数器计数,进而通过统计和时域结合的方法产生事件信息。本发明在现有的圈养环境中方便地利用现有的监控视频信息,结合耳标信息,便可以通过基于骨骼模型的感兴趣区域事件来对录像中需要注意的时间点进行标记,方便用户高效地回放视频关键部分。
目前使用深度卷积神经网络进行语义分割的任务已经十分成熟,使用预训练好的模型,仅需要标注少量样本进行继续训练的微调工作即可适配到各个场地。基于上述调研,使用事件检测能够自动标记视频监控数据,标注需要注意的时间,还能在监控界面实时呈现分析结果,有很强的现实意义。从另一角度来说,使用计算机视觉实现自动的事件记录即便具有误报的可能性,考虑到其用途是进作为辅助人工回放视频和提供参考性数据,因此仍具有很强的现实意义。
附图说明
图1是本发明基于视频活跃性分析的智能化猪圈养监视系统中摄像头的安装位置示意图;
图2是本发明基于视频活跃性分析的智能化猪圈养监视系统中通过距离变换对连通域进行处理得到实例的示意图;
图3是本发明基于视频活跃性分析的智能化猪圈养监视系统中分析得到的动物骨骼模型示意图;
图4是本发明基于视频活跃性分析的智能化猪圈养监视系统中围栏形状和透视变换的示意图;
图5是本发明基于视频活跃性分析的智能化猪圈养监视系统中一种感兴趣区域的配置示意图;
图6是本发明基于视频活跃性分析的智能化猪圈养监视系统中咬尾现象发生时的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明基于视频活跃性分析的智能化猪圈养监视系统作进一步说明:本实施例中对透视变换后的视频进行基于视觉的处理和分析,含有以下步骤,步骤a,使用基于深度卷积神经网络的语义分割得到动物的遮罩;步骤b,使用基于颜色显著度公式分割动物的带颜色耳标;步骤c,针对语义分割的遮罩通过距离变换方法处理得到实例分割结果;步骤d,依照实例分割的结果,使用距离优先方法和姿态约束条件将耳标与实例关联,得到动物骨骼模型;步骤e,基于动物骨骼模型,得到其中心点位置及头部朝向的属性,进一步加入感兴趣区域计数器;步骤f,基于感兴趣计数器得出猪的咬尾判定方法。
所述步骤a中使用的深度卷积神经网络符合以下端到端特征:1、输入图像为RGB彩色图像;2、输出图像是置信图或经过后处理的二值遮罩。
所述步骤b中颜色显著度数值是单通道的,基于RGB通道数值和目标颜色相似度相乘得到。
所述步骤c中针对二值图进行距离变换得到距离图(实例分割结果),11111通过阈值化分割出不再连通的二值遮罩。
所述步骤d中根据一个实例遮罩的最小外接矩形顺时针搜索,并根据评价函数选取最优的耳标,形成动物骨骼模型,具体步骤如下:步骤1、定位耳标,耳标的分割通过显著颜色方法实现,计算方法为:C(i,j)=max(Rij,Gij,Bij)-min(Rij,Gij,Bij),得到耳标连通域305后,逐个处理实例分割的连通域301;对连通域301逐个使用最小旋转包围框算法,得到一个旋转的包围框303,取其旋转角度θ开始寻找耳标305的位置,其中θ角度是x轴逆时针夹角,以一个先验值的长度开始,以1°为步进,顺时针取射线范围内的像素,假设包围框的中心为p(i,j),先验长度为t,则步进1中θ′=θ-1,线段终点位置为:p′(i,j)=p(i,j)+t(tcos(θ′),tsin(θ′)),以θ1=θ和θ2=θ±180方向分别执行一次确定线段终点位置的操作,±取符号条件为:θ2∈(-180,180),角度步进之后以终点位置插值来选取取样像素,下式中α是插值步进:psample(i,j)=p(i,j)+α*p′(i,j),之后,psample(i,j)=psample(floor(i),floor(j)),以此类推,直到搜索结束,若找到了耳标的连通域305,则进行评分:Loss=min((Δθ1*t′),(Δθ2*t′)),其中Δθ=|θ-θ′|,t′=t*α,最终取最低损失的候选结果,得到了关联的耳标和身体朝向θ;步骤2、构建动物骨骼模型的计算方法为:语义分割结果中,使用分水岭分割方法得到最大连通域范围302,以包围框中心点对θ角度延长至范围302,得到交点304,连接耳标305的连通域中点和304,计算出和身体θ方向的向量夹角306,将夹角306视为头旋转角度,以交点304到耳标的向量逆时针旋转90度,得到头部向量307,则动物骨骼模型建立完成。
所述步骤e中在头部、尾部或其他位置划分矩形或异形感兴趣区域,并通过交叠阈值判断位置关系。
所述步骤f中使用了交叠阈值来判定重合,并逐帧通过阈值结果对计数器进行累加和遗忘,进而对次数进行阈值判定来确定事件的发生;其中计数器的累加,使用交并比的方式衡量感兴趣区域的交叠程度,其公式为:
Figure GDA0003022923820000041
其中A、B是两个感兴趣区域,对IoU进行阈值化即可判定是否交叠,其中计数器的遗忘,使用遗忘因子和遗忘停止阈值来调整计数数值,当IoU大于交叠阈值时,计数器自加,Nnow是当前时刻的计数,Nprev是前一时刻的结果:Nnow=Nprev*β+1,当IoU小于交叠阈值时,直接清空计数器会影响灵敏度,自减的方式会导致事件在噪声中出现误检,无论IoU是否大于交叠阈值,都在每帧的判定前采用平滑的遗忘机制,其公式为:Nnow=Nprev*β+Threshmin(1-β),其中Nprev是上一帧时刻的计数值,Threshmin是遗忘停止阈值,β是遗忘因子,越大则更难以回落,越小越容易回落到Threshmin遗忘停止阈值。
本发明提供一种用于圈养场地的视频监视系统,该系统基于视频活跃性分析,活跃性分析主要指一种视频结构化和量化分析结合的方法。本发明方法以计算机视觉、深度学习、信号处理为工具,具有较佳的科学性,也有较佳的现实意义。
为了实现上述系统,摄像机的安装位置是十分重要的因素,为了覆盖所有视野,本发明中推荐的安装方式如图1所示。图1标识的方式是在大棚或房顶101上以中轴线102方式或均匀分布的方式103安装摄像头,并保证视野覆盖了整个圈,为了直观呈现观察内容,参照图4左侧,是一种斜下角度俯瞰圈的示意。直接安装在圈顶部,可以实现近似图4右侧效果的图像。
图4还示意了圈区域通过透视变换成为矩形的对比,该操作在后续过程中展开说明。
首先,保证了机位能够完整捕捉整个圈范围后,可以对其进行语义分割操作。
参见图2,是通过语义分割得到动物遮罩后的二值化遮罩结果201,为了等效替代圈养动物,在此使用椭圆形表示。可以观察到,图2中,下方201是多个椭圆连通域互相连通的结果;上方201是椭圆结构的示意。
该图例201很好地重现了语义分割结果的特性,多个实例没有通过不同的连通域分隔开,而是粘连在一起。椭圆形是动物俯视的常见形状。根据椭圆的特性,可以采用距离变换方法分析实例位置。
参见图2,202是连通域经过距离变换后的结果,像素亮度表示了距离中心的距离。
本发明中,距离变换是基于欧氏距离变换的方法:Dist(p(i1,j1),p(i2,j2))=Max(|i1-i2|,|j1-j2|)
一种快速欧式距离变换的方法如下:整体分为两个阶段,第一阶段中,假定图像逐行扫描的滑窗方向是:行从上到下,逐行从左到右。如下矩阵所示,是3x3的方向计算模板:
Figure GDA0003022923820000051
p为窗口的中心。由于滑窗方向的特性,基于该模板,需要注意的是,p在计算前就会被q1赋值。因此,只需要计算q1,q2,q3,q4即可。
因此,有以下表达式:规定p=q0=dist0=p(i,j)=dist(i,j),即该点的值,那么基于该表达方式有:
dist1=p(i-1,j)+dist((i-1,j),(i,j))
dist2=p(i-1,j-1)+dist((i-1,j-1),(i,j))
dist3=p(i,j-1)+dist((i,j-1),(i,j))
dist4=p(i+1,j-1)+dist((i-1,j-1),(i,j))
基于上式,得到了q1,q2,q3,q4,进一步地,根据欧式距离变换方法,有:
p(i,j)=min(d0,d1,d2,d3,d4)
第二阶段则进行反向计算,即逐行扫描的滑动窗口方向改为行从下到上,逐行从右到左,继续计算q5,q6,q7,q8位置。
dist5=p(i+1,j)+dist((i+1,j),(1,j))
dist6=p(i+1,j+1)+dist((i+1,j+1),(i,j))
dist7=p(i,j+1)+dist((i,j+1),(i,j))
dist8=p(i-1,j+1)+dist((i-1,j+1),(i,j))
因此,得到最终结果:p(i,j)=min(d0,d5,d6,d7,d8),基于上述模板的计算步骤,得到距离变换结果202,灰度表示了距离。之后对灰度进行(0,1)归一化,假设没有人工设定,则认为阈值0。5,则得到图2中203的阈值化结果。
根据连通域分析原理,可以将不同的连通域视为每个动物的中心部分遮罩301。参见图3,开始建立动物骨骼模型,要建立骨骼模型,需要定位耳标,在此使用分割方法。耳标的分割分为红外图像直接阈值法和显著颜色两种方法,红外图像的方法中,由于阈值化较为简单,在此不赘述。对于显著颜色法,本发明提出了一种快速计算方法:C(i,j)=max(Rij,Gij,Bij)-min(Rij,Gij,Bij)
该方法不但能省略浮点运算加速处理,还能克服低光条件的干扰。得到耳标连通域305后,逐个处理实例分割的连通域301。对连通域301逐个使用最小旋转包围框算法,可以得到一个旋转的包围框303,取其旋转角度θ开始寻找耳标305的位置。θ角度是x轴逆时针夹角。以一个先验值的长度开始,以1°为步进,顺时针取射线范围内的像素。一种简便的方法为:假设包围框的中心为p(i,j),先验长度为t,则步进1中θ′=θ-1,线段终点位置为:p′(i,j)=p(i,j)+t(tcos(θ′),tsin(θ′)),以θ1=θ和θ2=θ±180方向分别执行一次确定线段终点位置的操作。±取符号条件为:θ2∈(-180,180),角度步进之后以终点位置插值来选取取样像素,下式中,α是插值步进:psample(i,j)=p(i,j)+α*p′(i,j),之后,psample(i,j)=psample(floor(i),floor(j)),以此类推,直到搜索结束。若找到了耳标的连通域305,则进行评分:Loss=min((Δθ1*t′),(Δθ2*t′),其中Δθ=|θ-θ′|,t′=t*α,最终取最低损失的候选结果,至此,得到了关联的耳标和身体朝向θ。
进一步构建动物骨骼模型,在语义分割结果中,使用分水岭分割方法,能够得到最大连通域范围302,以包围框中心点对θ角度延长至范围302,得到交点304。连接耳标305的连通域中点和304,计算出和身体θ方向的向量夹角306。将夹角306视为头旋转角度。以交点304到耳标的向量逆时针旋转90度,得到头部向量307。至此,动物骨骼模型建立完成。
为了将动物的位置对齐到俯视图中。需要对点进行透视变换:在此引入相机姿态标定时得到的的齐次坐标形势的变换矩阵M:
Figure GDA0003022923820000061
其中,θ表示透视变换时的旋转参数,而非动物模型的参数。tx,ty表示了透视变换的平移。对于点,有:
Figure GDA0003022923820000062
根据场地情况,该处理可以在动物模型构建完成后直接将实例连通域301的中心投影到观测的平面上。也可以在构建之前就投影。基于投影后的位置点,可以进行活跃性分析,主要内容是事件分析。对于活跃性分析,有运动速率分析:V=|Pprev(x,y)-Pnow(x,y)|*(1/FPS),FPS是指监控相机的视频流帧速率。倒数为一帧经历的时间。速率可以作为动物是否出现长时间呆在原地的统计结果,在活跃性分析中,更加重要的是动物间的事件:参见图5和图6。
为了判定事件的发生,引入事件计数器机制。事件计数器主要通过在动物骨骼模型的感兴趣位置上加入感兴趣区域。如猪的尾部感兴趣区域601和头部感兴趣区域602。对于感兴趣区域,一般认为交叠时出现事件,如猪的咬尾现象。在此使用交并比的方式衡量感兴趣区域的交叠程度:
Figure GDA0003022923820000063
其中,A,B是两个感兴趣区域。对IoU进行阈值化即可判定是否交叠。
单帧的交叠状态难以评判事件是否发生和结束,也难以保证在噪声化境中的正确率。因此,事件计数器机制基于一种遗忘算法:当IoU大于交叠阈值时,计数器自加,Nnow是当前时刻的计数,Nprev是前一时刻的结果:Nnow=Nprev*β+1,当IoU小于交叠阈值时,直接清空计数器会影响灵敏度,自减的方式会导致事件在噪声中出现误检。因此,无论IoU是否大于交叠阈值,都在每帧的判定前采用平滑的遗忘机制:Nnow=Nprev*β+Threshmin(1-β),其中,Nprev是上一帧时刻的计数值,Threshmin是遗忘停止阈值,β是遗忘因子,越大则更难以回落,越小越容易回落到Threshmin遗忘停止阈值。基于此,不但可以通过监视猪的尾部和头部区域来实现咬尾的事件检测,还可将感兴趣区域设定在饮水口和动物的头部来观察动物的饮水情况。

Claims (7)

1.一种基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述系统对透视变换后的视频进行基于视觉的处理和分析,具体含有以下步骤:
步骤a,使用基于深度卷积神经网络的语义分割得到动物的遮罩;
步骤b,使用基于颜色显著度公式分割动物的带颜色耳标;
步骤c,针对语义分割的遮罩通过距离变换方法处理得到实例分割结果;
步骤d,依照实例分割的结果,使用距离优先方法和姿态约束条件将耳标与实例关联,得到动物骨骼模型;
步骤e,基于动物骨骼模型,得到其中心点位置及头部朝向的属性,加入感兴趣区域计数器;
步骤f,使用交叠阈值来判定重合,并逐帧通过阈值结果对计数器进行累加和遗忘,进而对次数进行阈值判定来确定咬尾事件的发生;在每帧的判定前采用平滑的遗忘机制,其公式为:Nnow=Nprev*β+Threshmin(1-β),其中,Nnow是当前时刻的计数,Nprev是上一帧时刻的计数值,Threshmin是遗忘停止阈值,β是遗忘因子;当两个感兴趣区域的交并比大于交叠阈值时,计数器自加,Nnow=Nprev*β+1。
2.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤a中使用的深度卷积神经网络符合以下端到端特征:1、输入图像为RGB彩色图像;2、输出图像是置信图或经过后处理的二值遮罩。
3.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤b中颜色显著度数值是单通道的,基于RGB通道数值和目标颜色相似度相乘得到。
4.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤c中针对二值图进行距离变换得到实例分割结果,通过阈值化分割出不再连通的二值遮罩。
5.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤d中根据一个实例遮罩的最小外接矩形顺时针搜索,并根据评价函数选取最优的耳标,形成动物骨骼模型,具体步骤如下:步骤1、定位耳标,耳标的分割通过显著颜色方法实现,计算方法为:C(i,j)=max(Rij,Gij,Bij)-min(Rij,Gij,Bij),得到耳标连通域(305)后,逐个处理实例分割的连通域(301);对实例分割的连通域(301)逐个使用最小旋转包围框算法,得到一个旋转的包围框(303),取其旋转角度θ开始寻找耳标连通域(305)的位置,其中θ角度是x轴逆时针夹角,以一个先验值的长度开始,以1°为步进,顺时针取射线范围内的像素,假设包围框的中心为p(i,j),先验长度为t,则步进1中θ′=θ-1,线段终点位置为:p′(i,j)=p(i,j)+t(tcos(θ′),tsin(θ′)),以θ1=θ和θ2=θ±180方向分别执行一次确定线段终点位置的操作,±取符号条件为:θ2∈(-180,180),角度步进之后以终点位置插值来选取取样像素,下式中α是插值步进:psample(i,j)=p(i,j)+α*p′(i,j),之后,psample(i,j)=psample(floor(i),floor(j)),以此类推,直到搜索结束,若找到了耳标连通域(305),则进行评分:Loss=min((Δθ1*t′),(Δθ2*t′)),其中Δθ=|θ-θ′|,t′=t*α,最终取最低损失的候选结果,得到了关联的耳标和身体朝向θ;步骤2、构建动物骨骼模型的计算方法为:语义分割结果中,使用分水岭分割方法得到最大连通域范围(302),以包围框中心点对θ角度延长至范围(302),得到交点(304),连接耳标连通域(305)的连通域中点和所述交点(304),计算出和身体θ方向的向量夹角(306),将所述夹角(306)视为头旋转角度,以所述交点(304)到耳标的向量逆时针旋转90度,得到头部向量(307),则动物骨骼模型建立完成。
6.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤e中在头部、尾部或其他位置划分矩形或异形感兴趣区域,并通过交叠阈值判断位置关系。
7.根据权利要求1所述的基于视频活跃性分析的智能化猪圈养监视系统,其特征在于:所述步骤f中使用交并比的方式衡量感兴趣区域的交叠程度,其公式为:
Figure FDA0003064582860000021
其中A、B是两个感兴趣区域,对IoU进行阈值化即可判定是否交叠。
CN201910509928.5A 2019-06-13 2019-06-13 一种基于视频活跃性分析的智能化猪圈养监视系统 Expired - Fee Related CN110222664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509928.5A CN110222664B (zh) 2019-06-13 2019-06-13 一种基于视频活跃性分析的智能化猪圈养监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509928.5A CN110222664B (zh) 2019-06-13 2019-06-13 一种基于视频活跃性分析的智能化猪圈养监视系统

Publications (2)

Publication Number Publication Date
CN110222664A CN110222664A (zh) 2019-09-10
CN110222664B true CN110222664B (zh) 2021-07-02

Family

ID=67816837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509928.5A Expired - Fee Related CN110222664B (zh) 2019-06-13 2019-06-13 一种基于视频活跃性分析的智能化猪圈养监视系统

Country Status (1)

Country Link
CN (1) CN110222664B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222475B (zh) * 2020-01-09 2023-05-26 洛阳语音云创新研究院 猪咬尾检测方法、装置及存储介质
US11263454B2 (en) * 2020-05-25 2022-03-01 Jingdong Digits Technology Holding Co., Ltd. System and method for video-based pig counting in the crowd
CN111931766B (zh) * 2020-08-05 2021-11-16 郑州玛源网络科技有限公司 基于人工智能及bim的牛饮水槽自蓄水多视图处理方法
CN113095441A (zh) * 2021-04-30 2021-07-09 河南牧原智能科技有限公司 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN114305349B (zh) * 2022-03-14 2022-05-27 天津大学四川创新研究院 利用猪只感温变色耳标的温度检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243675A (zh) * 2015-09-28 2016-01-13 江苏农林职业技术学院 一种基于星状骨架模型的猪跛脚行走识别的方法
CN105654141A (zh) * 2016-01-06 2016-06-08 江苏大学 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN107527351A (zh) * 2017-08-31 2017-12-29 华南农业大学 一种融合fcn和阈值分割的哺乳母猪图像分割方法
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
CN108108700A (zh) * 2017-12-27 2018-06-01 江苏大学 一种基于弦轴变换的猪的特征区域识别方法
KR101899242B1 (ko) * 2017-03-27 2018-09-14 고려대학교 세종산학협력단 질감정보를 이용한 돈방의 배경 제거 방법 및 장치
CN109447082A (zh) * 2018-08-31 2019-03-08 武汉尺子科技有限公司 一种场景运动目标分割方法、系统、存储介质及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN109785337B (zh) * 2018-12-25 2021-07-06 哈尔滨工程大学 一种基于实例分割算法的栏内哺乳动物清点方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243675A (zh) * 2015-09-28 2016-01-13 江苏农林职业技术学院 一种基于星状骨架模型的猪跛脚行走识别的方法
CN105654141A (zh) * 2016-01-06 2016-06-08 江苏大学 基于Isomap和SVM算法的俯视群养猪个体识别方法
KR101899242B1 (ko) * 2017-03-27 2018-09-14 고려대학교 세종산학협력단 질감정보를 이용한 돈방의 배경 제거 방법 및 장치
CN107527351A (zh) * 2017-08-31 2017-12-29 华南农业大学 一种融合fcn和阈值分割的哺乳母猪图像分割方法
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
CN108108700A (zh) * 2017-12-27 2018-06-01 江苏大学 一种基于弦轴变换的猪的特征区域识别方法
CN109447082A (zh) * 2018-08-31 2019-03-08 武汉尺子科技有限公司 一种场景运动目标分割方法、系统、存储介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Individual Pig Detection and Tracking in Pig Farms;Lei Zhang,et al.;《sensors》;20190308;全文 *
基于视频追踪的猪只运动快速检测方法;肖德琴,等;《农业机械学报》;20161231;第47卷(第10期);全文 *

Also Published As

Publication number Publication date
CN110222664A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110222664B (zh) 一种基于视频活跃性分析的智能化猪圈养监视系统
CN110200598B (zh) 一种大型养殖场体征异常禽类检测系统及检测方法
US6678413B1 (en) System and method for object identification and behavior characterization using video analysis
CN111191486B (zh) 一种溺水行为识别方法、监控相机及监控系统
JP6320112B2 (ja) 情報処理装置、情報処理方法
US9898677B1 (en) Object-level grouping and identification for tracking objects in a video
Xie et al. Detecting trees in street images via deep learning with attention module
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110991315A (zh) 一种基于深度学习的安全帽佩戴状态实时检测方法
Saito et al. People detection and tracking from fish-eye image based on probabilistic appearance model
CN112926503A (zh) 一种基于矩形拟合的抓取数据集自动生成方法
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
US20180336694A1 (en) System and Method for Passive Tracking Based on Color Features
Gal Automatic obstacle detection for USV’s navigation using vision sensors
CN108288273B (zh) 基于多尺度耦合卷积网的铁路接触网异常目标自动检测法
Fei et al. Drowning detection based on background subtraction
Benedek et al. A dynamic MRF model for foreground detection on range data sequences of rotating multi-beam Lidar
CN113470093B (zh) 基于航拍图像处理的视频果冻效应检测方法、装置及设备
JP6851246B2 (ja) 物体検出装置
CA3194756A1 (en) Generating three-dimensional skeleton representations of aquatic animals using machine learning
Gao et al. Apple fruit detection and counting based on deep learning and trunk tracking
Dodds et al. Benchmarks for robotic soccer vision
CN113052118A (zh) 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
Chen et al. Morphological Validation of Animal-Skeleton Estimation Result

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210702

CF01 Termination of patent right due to non-payment of annual fee