CN105678806A - 一种基于Fisher判别的生猪行为轨迹自动跟踪方法 - Google Patents

一种基于Fisher判别的生猪行为轨迹自动跟踪方法 Download PDF

Info

Publication number
CN105678806A
CN105678806A CN201610008655.2A CN201610008655A CN105678806A CN 105678806 A CN105678806 A CN 105678806A CN 201610008655 A CN201610008655 A CN 201610008655A CN 105678806 A CN105678806 A CN 105678806A
Authority
CN
China
Prior art keywords
area
window
fisher
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610008655.2A
Other languages
English (en)
Other versions
CN105678806B (zh
Inventor
郑丽敏
张彧龙
方雄武
田立军
蒙万隆
程国栋
许姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201610008655.2A priority Critical patent/CN105678806B/zh
Publication of CN105678806A publication Critical patent/CN105678806A/zh
Application granted granted Critical
Publication of CN105678806B publication Critical patent/CN105678806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

本发明涉及一种基于Fisher判别的生猪行为轨迹自动跟踪方法。首先人工标记出生猪的轮廓区域,应用旋转法求出轮廓区域的最小外接矩形作为初始跟踪框,提取初始跟踪框附近相同大小矩形区域图像的梯度方向直方图特征值并进行打分,根据特征值和打分值建立混合Fisher判别预测模型,应用该预测模型和一种新的追踪策略寻找下一帧图像的最优匹配窗口作为跟踪框对生猪进行跟踪,当匹配效果降到临界值时会对预测模型进行抽样重训练。利用本发明可以实现复杂背景多头生猪共存下的单只猪的跟踪。

Description

一种基于Fisher判别的生猪行为轨迹自动跟踪方法
技术领域
本发明涉及模式识别和计算机视觉技术领域,尤其涉及一种基于Fisher判别的生猪行为轨迹自动跟踪方法。
背景技术
随着我国猪肉产量日益能够满足人们的生活需求,大家开始更加注重食品安全和质量、希望能够食用更加健康的食物,所以健康养殖的概念开始愈发受到社会的重视。
为了实现生猪的健康养殖,必须在饲养过程中关注生猪的动物福利,改善其健康状况,从而才能减少抗生素等药物的滥用,进而生产出安全健康的猪肉。
有多种评价指标可以用于评估动物福利的好坏,如生理指标、动物行为等。一般来讲获取生理指标的过程(如抽血)容易引起动物的应激反应,并且不能大量的进行数据采样。所以动物的行为反应是鉴别动物精神福利好坏的重要途径。
目前国内外对动物行为自动识别分为两种研究方向:通过计算机视觉来实现行为自动识别和通过传感器来实现行为自动识别。而使用传感器来获取动物行为的数据,不仅有着成本问题使其在大规模的实验时无法应用,并且动物佩戴时容易引起动物的应激行为,甚至会改变动物的行为。所以使用计算机视觉来进行动物行为自动识别是最合适的方案。
针对使用计算机视觉来进行动物行为自动识别,国内学者展开众多的研究工作。但是还存在着一些不足之处,如实际猪场养殖过程中光照多不均匀,且饲养密度大很容易形成相互遮挡,还有栏杆等干扰物,目前提出的方法尚且不能完美应对这些困难。
发明内容
本发明的目的是提供一种基于Fisher判别的生猪行为轨迹自动跟踪方法,为解决上述技术问题,本发明的主要技术内容如下:
一种基于Fisher判别的生猪行为轨迹自动跟踪方法,包括以下步骤:
(1)选取初始跟踪区域:在养猪场猪圈中采用俯拍的方式对同一围栏里的生猪进行视频采集,采集开始后从视频中抽取一帧图像并随机挑选一头生猪作为跟踪目标,人工标记出目标的轮廓区域,并用旋转法求出轮廓区域的最小外接矩形,此矩形框即为初始跟踪框,外接矩形是有大小(宽和高),有方向(矩形的宽所在边与x轴正半轴之间的夹角)的;
(2)建立预测模型:计算初始跟踪框附近相同大小矩形区域所对应图像的HOG特征值并进行打分,根据特征值和打分值建立Fisher判别预测模型;
(3)目标跟踪:对于下一帧图像,计算上一跟踪框附近相同大小矩形区域所对应图像的HOG特征值,并用训练好的预测模型进行打分,应用一种新的追踪策略选取出最优的矩形区域作为这一帧图像的跟踪框;
(4)模型修正:如果跟踪框所对应的打分值低于给定临界值(本发明中设为0.5),则需要对跟踪框附近相同大小矩形区域所对应的图像进行重新采样训练,直到跟踪框的打分值高于给定临界值(本发明中设为0.7)为止,接下来继续对下一帧图像进行跟踪,直到结束为止。
上述步骤(1)中用旋转法求取轮廓区域的最小外接矩形包括以下步骤:
(a)计算出目标轮廓区域的外接矩形R0,该外接矩形的中心坐标点为(x0,y0),宽度为w0,高度为h0,面积为S0;
(b)把轮廓坐标点绕着(x0,y0)点进行逆时针旋转,旋转角度为α(本发明中设为1度),如果旋转前坐标点为(x,y),旋转后的坐标点为(x’,y’),则有:
x'=(x-x0)×cosα-(y-y0)×sinα+x0
y'=(x-x0)×sinα+(y-y0)×cosα+y0
计算出此时轮廓区域的外接矩形R1,该外接矩形的中心坐标点为(x1,y1),宽度为W1,高度为H1,面积为S1;
(c)轮廓坐标点继续绕着(x0,y0)点进行旋转,旋转角度依然为α,计算出相应的外接矩形,则第i次旋转后的外接矩形为Ri,其中心坐标点为(xi,yi),宽度为Wi,高度为Hi,面积为Si;当旋转角度大于或等于90度时停止旋转;
(d)对比所有外接矩形的面积大小,面积最小的外接矩形则为该轮廓区域的最小外接矩形,设为Rj,把此外接矩形绕着(x0,y0)点顺时针旋转jα角度后则为原始轮廓区域的最小外接矩形,这个最小外接矩形即为初始跟踪框。
上述步骤(2)中计算矩形区域图像HOG特征值包括以下步骤:
(a)设定HOG的细胞单元(cell)大小为4*4,区间(block)大小为8*8,扫描步长为一个细胞单元(4*4),窗口(window)大小为16*16,所有将要计算HOG特征的区域都会被统一缩放并映射到该窗口(window)之中;
(b)把矩形区域图像压缩并映射到窗口(window)中,假设该矩形区域四个顶点坐标逆时针排列分别为(a1,b1)、(a2,b2)、(a4,b4)、(a3,b3),它们分别对应window中的(0,0)、(0,15)、(15,15)和(15,0)四个顶点,那么window中任意一点坐标(x0,y0)和对应的矩形区域坐标(x,y)之间的关系为:
x = a 3 - a 1 15 × x 0 + a 2 - a 1 15 × y 0 + a 1
y = b 3 - b 1 15 × x 0 + b 2 - b 1 15 × y 0 + b 1
这样就可以根据window中的像素坐标找到对应的矩形区域像素坐标,把该坐标的像素值直接赋给window中对应的像素中;
(c)计算窗口(window)的HOG特征值,该特征值即代表了对应矩形区域的特征值。
上述步骤(2)中建立Fisher判别模型包括以下步骤:
(a)在初始跟踪框附近随机挑选50个矩形图像区域作为正样本,50个矩形图像区域作为负样本,50个矩形图像区域作为回归样本;这些矩形区域和初始跟踪框大小相同、方向相同,其中正样本矩形区域和初始跟踪框之间的距离小于给定值thresh1,负样本矩形区域和初始跟踪框之间的距离介于给定值thresh2和thresh3之间,回归样本矩形区域和初始跟踪框之间的距离介于给定值thresh1和thresh2之间,计算这些样本的HOG特征值;本发明中thresh1的值设定为thresh2的值设定为(W值为初始跟踪框的宽度,H值为初始跟踪框的高度),thresh3的值设定为
(b)给样本进行打分,其中正样本都打1分,负样本都打0分,回归样本的打分依据为样本对应矩形区域和初始跟踪框之间的距离大小,距离为thresh1时打0分,距离为thresh2时打1分,那么距离为d时的打分为:
s c o r e = d t h r e s h 2 - t h r e s h 1 - t h r e s h 1 t h r e s h 2 - t h r e s h 1
(c)根据50个正样本和50个负样本的特征值和打分值建立二元Fisher判别预测模型;
(d)根据50个正样本和50个回归样本的特征值和打分值建立回归Fisher判别预测模型。
上述步骤(3)中对目标区域进行打分包含以下规则:
(a)应用二元Fisher判别预测模型对目标区域进行打分,得分设为score1;
(b)应用回归Fisher判别预测模型对目标区域进行打分,得分设为score2;
(c)目标区域的最终得分为:score=(score1+score2)/2。
上述步骤(3)中的目标跟踪包含以下步骤:
(a)把上一帧图像的跟踪区域作为本帧图像的初始目标区域;
(b)以初始目标区域的中心作为旋转中心,以3度为一个步长,顺时针、逆时针分别对目标区域进行5次旋转,可以得到原始目标区域、5个顺时针旋转区域、5个逆时针旋转区域总共11个候选区域,计算候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域;
(c)以上一步所得准跟踪区域中心点为中心,把该区域扩大为原来的1.2倍,方向不变,得到一个遍历区域;平移准跟踪区域,使得其左上角与得到的遍历区域左上角相重合,方向不变,得到滑动窗口;保持滑动窗口的方向不变,以恒定步长按照从上到下的顺序,从左到右遍历整个遍历区域,直到滑动窗口右下角与遍历区域的右下角相重合,共得到25个候选区域;假设跟踪区域的中心坐标为(x0,y0),宽为W,高为H,宽所在边与x轴之间的夹角为α,初始滑动窗口的中心坐标为(x,y),则有:
x=-0.1×W×cosα+0.1×H×sinα+x0
y=-0.1×W×sinα-0.1×H×cosα+y0
水平滑动步长为0.05W,垂直滑动步长为0.05H;当滑动窗口水平滑动i次,垂直滑动j次,它对应的矩形窗口中心坐标为(x’,y’),则有:
x'=(-0.1×W+0.05×W×i)×cosα-(-0.1×H+0.05×H×j)×sinα+x0
y'=(-0.1×W+0.05×W×i)×sinα+(-0.1×H+0.05×H×j)×cosα+y0
计算这25个候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域(作为下一次跟踪的初始目标区域);
(d)交替重复执行(b)(c)两步,直到求出的两个相邻准跟踪区域相重合为止,此时的准跟踪框即为本帧图像的跟踪区域。
上述步骤(4)中的重新采样训练包含以下训练准则:
(a)对于正样本,以图像跟踪框对应的图像区域作为一个正样本采取先进先出的方式插入到前30个正样本队列之中,同时保证原来的正样本队列后20个样本保持不变;
(b)对于负样本,重新随机选取50个负样本替换掉原来的所有负样本;
(c)对于回归样本,重新随机选取30个回归样本替换掉原来的前30个回归样本,同时保证原来的回归样本队列后20个样本保持不变;
(d)根据步骤2中的训练准则重新训练二元Fisher判别预测模型和回归Fisher判别模型。
本发明的优点
1、本发明将梯度方向直方图首次用于生猪目标检测,并证明其可以有效描述生猪轮廓特征。由于其能够弱化光照的干扰,且是一种基于边缘的特征,可以有效的解决光照不均匀和生猪之间颜色相似的问题。
2、本发明应用了一种在线学习混合Fisher判别模型,可以较好地解决生猪的之间遮挡及自身运动带来的形变问题。
3、本发明应用一种新的追踪策略用于生猪运动追踪,不仅会追踪生猪自身的位移还会追踪生猪身体角度的改变,可以有效提高追踪率。
4、本发明会对效果不理想的跟踪进行重训练,很好的适应一些突发状况。
附图说明
图1为本发明的方法流程图;
图2为方向梯度直方图算法示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的其具体实施方式、结构、特征及其功效,详细说明如后。
如图1所示,为一种基于Fisher判别的生猪行为轨迹自动跟踪方法,包括以下步骤:
(1)选取初始跟踪区域:在养猪场猪圈中采用俯拍的方式对同一围栏里的生猪进行视频采集,采集开始后从视频中抽取一帧图像并随机挑选一头生猪作为跟踪目标,人工标记出目标的轮廓区域,并用旋转法求出轮廓区域的最小外接矩形,此矩形框即为初始跟踪框,外接矩形是有大小(宽和高),有方向(矩形的宽所在边与x轴正半轴之间的夹角)的;
(2)建立预测模型:计算初始跟踪框附近相同大小矩形区域所对应图像的HOG特征值并进行打分,根据特征值和打分值建立Fisher判别预测模型;
(3)目标跟踪:对于下一帧图像,计算上一跟踪框附近相同大小矩形区域所对应图像的HOG特征值,并用训练好的预测模型进行打分,应用一种新的追踪策略选取出最优的矩形区域作为这一帧图像的跟踪框;
(4)模型修正:如果跟踪框所对应的打分值低于给定临界值(本发明中设为0.5),则需要对跟踪框附近相同大小矩形区域所对应的图像进行重新采样训练,直到跟踪框的打分值高于给定临界值(本发明中设为0.7)为止,接下来继续对下一帧图像进行跟踪,直到结束为止。
上述步骤(1)中用旋转法求取轮廓区域的最小外接矩形包括以下步骤:
(a)计算出目标轮廓区域的外接矩形R0,该外接矩形的中心坐标点为(x0,y0),宽度为w0,高度为h0,面积为S0;
(b)把轮廓坐标点绕着(x0,y0)点进行逆时针旋转,旋转角度为α(本发明中设为1度),如果旋转前坐标点为(x,y),旋转后的坐标点为(x’,y’),则有:
x'=(x-x0)×cosα-(y-y0)×sinα+x0
y'=(x-x0)×sinα+(y-y0)×cosα+y0
计算出此时轮廓区域的外接矩形R1,该外接矩形的中心坐标点为(x1,y1),宽度为W1,高度为H1,面积为S1;
(c)轮廓坐标点继续绕着(x0,y0)点进行旋转,旋转角度依然为α,计算出相应的外接矩形,则第i次旋转后的外接矩形为Ri,其中心坐标点为(xi,yi),宽度为Wi,高度为Hi,面积为Si,当旋转角度大于或等于90度时停止旋转;
(d)对比所有外接矩形的面积大小,面积最小的外接矩形则为该轮廓区域的最小外接矩形,设为Rj,把此外接矩形绕着(x0,y0)点顺时针旋转jα角度后则为原始轮廓区域的最小外接矩形,这个最小外接矩形即为初始跟踪框。
上述步骤(2)中需要计算矩形区域图像HOG特征值,HOG的主要原理是在一副图像中,局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。对一幅图像(要检测的目标或者扫描窗口)进行HOG特征提取的完整流程如下:
(1)灰度化,在图像的纹理强度中,局部的表层曝光贡献的比重较大,所以,这种压缩处理能够有效地降低图像局部的阴影和光照变化,因为颜色信息作用不大,所以通常先转化为灰度图;
(2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;其压缩公式为:
I(x,y)=I(x,y)gamma
(3)计算图像每个像素的梯度(包括大小和方向);主要是为了捕获轮廓信息,同时进一步弱化光照的干扰。其中像素梯度的计算方法为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
G ( x , y ) = G x ( x , y ) 2 + G y ( x , y ) 2
α ( x , y ) = tan - 1 ( G y ( x , y ) G x ( x , y ) )
最常用的方法是:首先用[-1,0,1]梯度算子对原图像做卷积运算,得到x方向(水平方向,以向右为正方向)的梯度分量,然后用[1,0,-1]T梯度算子对原图像做卷积运算,得到y方向(竖直方向,以向上为正方向)的梯度分量。然后再用以上公式计算该像素点的梯度大小和方向;
(4)将图像划分成小cells(例如6*6像素/cell);
(5)统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的描述符;具体做法是:我们将图像分成若干个“单元格cell”,例如每个cell为6*6个像素。假设我们采用9个bin的直方图来统计这6*6个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块,如图2所示:例如:如果这个像素的梯度方向是20-40度,直方图第2个区间的计数就加上该像素的梯度大小,这样,对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围),就可以得到这个cell的梯度方向直方图了,也就是该cell对应的9维特征向量;
(6)将每几个cell组成一个block(如下图所示3*3个cell组成一个block),一个block内所有cell的特征串联起来便得到该block的HOG特征。其中有一点值得注意就是这些区间是互有重叠的,这就意味着:每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符(向量)就称之为HOG描述符;
(7)将图像image内的所有block的HOG特征描述符串联起来就可以得到该image(你要检测的目标)的HOG特征描述符了;这个就是最终的可供分类使用的特征向量了。
上述过程总结如下:把样本图像分割为若干个像素的单元(cell),把梯度方向平均划分为9个区间(bin),在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计,得到一个9维的特征向量,每相邻的4个单元构成一个块(block),把一个块内的特征向量联起来得到36维的特征向量,用块对样本图像进行扫描,扫描步长为一个单元。最后将所有块的特征串联起来,就得到了物体的特征。例如,对于64*128的图像而言,每8*8的像素组成一个cell,每2*2个cell组成一个块,因为每个cell有9个特征,所以每个块内有4*9=36个特征,以8个像素为步长,那么,水平方向将有7个扫描窗口,垂直方向将有15个扫描窗口。也就是说,64*128的图片,总共有36*7*15=3780个特征。
具体包括以下步骤:
(a)设定HOG的细胞单元(cell)大小为4*4,区间(block)大小为8*8,扫描步长为一个细胞单元(4*4),窗口(window)大小为16*16,所有将要计算HOG特征的区域都会被统一缩放并映射到该窗口(window)之中。
(b)把矩形区域图像压缩并映射到窗口(window)中,假设该矩形区域四个顶点坐标逆时针排列分别为(a1,b1)、(a2,b2)、(a4,b4)、(a3,b3),它们分别对应window中的(0,0)、(0,15)、(15,15)和(15,0)四个顶点,那么window中任意一点坐标(x0,y0)和对应的矩形区域坐标(x,y)之间的关系为:
x = a 3 - a 1 15 × x 0 + a 2 - a 1 15 × y 0 + a 1
y = b 3 - b 1 15 × x 0 + b 2 - b 1 15 × y 0 + b 1
这样就可以根据window中的像素坐标找到对应的矩形区域像素坐标,把该坐标的像素值直接赋给window中对应的像素中。
(c)计算窗口(window)的HOG特征值,该特征值即代表了对应矩形区域的特征值。
上述步骤(2)中需要建立Fisher判别模型,Fisher判别预测模型的具体实现步骤如下:
(a)在初始跟踪框附近随机挑选50个矩形图像区域作为正样本,50个矩形图像区域作为负样本,50个矩形图像区域作为回归样本。这些矩形区域和初始跟踪框大小相同、方向相同,其中正样本矩形区域和初始跟踪框之间的距离小于给定值thresh1,负样本矩形区域和初始跟踪框之间的距离介于给定值thresh2和thresh3之间,回归样本矩形区域和初始跟踪框之间的距离介于给定值thresh1和thresh2之间,计算这些样本的HOG特征值。本发明中thresh1的值设定为thresh2的值设定为(W值为初始跟踪框的宽度,H值为初始跟踪框的高度),thresh3的值设定为
(b)给样本进行打分,其中正样本都打1分,负样本都打0分,回归样本的打分依据为样本对应矩形区域和初始跟踪框之间的距离大小,距离为thresh1时打0分,距离为thresh2时打1分,那么距离为d时的打分为:
s c o r e = d t h r e s h 2 - t h r e s h 1 - t h r e s h 1 t h r e s h 2 - t h r e s h 1
(c)根据50个正样本和50个负样本的特征值和打分值建立二元Fisher判别预测模型;
(d)根据50个正样本和50个回归样本的特征值和打分值建立回归Fisher判别预测模型。
上述步骤(3)中对目标区域进行打分包含以下规则:
(a)应用二元Fisher判别预测模型对目标区域进行打分,得分设为score1;
(b)应用回归Fisher判别预测模型对目标区域进行打分,得分设为score2;
(c)目标区域的最终得分为:score=(score1+score2)/2。
上述步骤(3)中的目标跟踪包含以下步骤:
(a)把上一帧图像的跟踪区域作为本帧图像的初始目标区域;
(b)以初始目标区域的中心作为旋转中心,以3度为一个步长,顺时针、逆时针分别对目标区域进行5次旋转,可以得到原始目标区域、5个顺时针旋转区域、5个逆时针旋转区域总共11个候选区域,计算候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域;
(c)以上一步所得准跟踪区域中心点为中心,把该区域扩大为原来的1.2倍,方向不变,得到一个遍历区域。平移准跟踪区域,使得其左上角与得到的遍历区域左上角相重合,方向不变,得到滑动窗口。保持滑动窗口的方向不变,以恒定步长按照从上到下的顺序,从左到右遍历整个遍历区域,直到滑动窗口右下角与遍历区域的右下角相重合,共得到25个候选区域。假设跟踪区域的中心坐标为(x0,y0),宽为W,高为H,宽所在边与x轴之间的夹角为α,初始滑动窗口的中心坐标为(x,y),则有:
x=-0.1×W×cosα+0.1×H×sinα+x0
y=-0.1×W×sinα-0.1×H×cosα+y0
水平滑动步长为0.05W,垂直滑动步长为0.05H;当滑动窗口水平滑动i次,垂直滑动j次,它对应的矩形窗口中心坐标为(x’,y’),则有:
x'=(-0.1×W+0.05×W×i)×cosα-(-0.1×H+0.05×H×j)×sinα+x0
y'=(-0.1×W+0.05×W×i)×sinα+(-0.1×H+0.05×H×j)×cosα+y0
计算这25个候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域(作为下一次跟踪的初始目标区域);
(d)交替重复执行(b)(c)两步,直到求出的两个相邻准跟踪区域相重合为止,此时的准跟踪框即为本帧图像的跟踪区域。
上述步骤(4)中的重新采样训练包含以下训练准则:
(a)对于正样本,以图像跟踪框对应的图像区域作为一个正样本采取先进先出的方式插入到前30个正样本队列之中,同时保证原来的正样本队列后20个样本保持不变;
(b)对于负样本,重新随机选取50个负样本替换掉原来的所有负样本;
(c)对于回归样本,重新随机选取30个回归样本替换掉原来的前30个回归样本,同时保证原来的回归样本队列后20个样本保持不变;
(d)根据步骤2中的训练准则重新训练二元Fisher判别预测模型和回归Fisher判别模型;
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (7)

1.一种基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于包括以下步骤:
(1)选取初始跟踪区域:在养猪场猪圈中采用俯拍的方式对同一围栏里的生猪进行视频采集,采集开始后从视频中抽取一帧图像并随机挑选一头生猪作为跟踪目标,人工标记出目标的轮廓区域,并用旋转法求出轮廓区域的最小外接矩形,此矩形框即为初始跟踪框,外接矩形是有大小(宽和高),有方向(矩形的宽所在边与x轴正半轴之间的夹角)的;
(2)建立预测模型:计算初始跟踪框附近相同大小矩形区域所对应图像的梯度方向直方图(HistogramofOrientedGradient,HOG)特征值并进行打分,根据特征值和打分值建立Fisher判别预测模型;
(3)目标跟踪:对于下一帧图像,计算上一跟踪框附近相同大小矩形区域所对应图像的HOG特征值,并用训练好的预测模型进行打分,选取出最优的矩形区域作为这一帧图像的跟踪框;
(4)模型修正:如果跟踪框所对应的打分值低于给定临界值,则需要对跟踪框附近相同大小矩形区域所对应的图像进行重新采样训练,直到跟踪框的打分值高于给定临界值为止,接下来继续对下一帧图像进行跟踪,直到结束为止。
2.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(1)中用旋转法求取轮廓区域的最小外接矩形包括以下步骤:
(2a)计算出目标轮廓区域的外接矩形R0,该外接矩形的中心坐标点为(x0,y0),宽度为w0,高度为h0,面积为S0;
(2b)把轮廓坐标点绕着(x0,y0)点进行逆时针旋转,旋转角度为α(本发明中设为1度),如果旋转前坐标点为(x,y),旋转后的坐标点为(x’,y’),则有:
x'=(x-x0)×cosα-(y-y0)×sinα+x0
y'=(x-x0)×sinα+(y-y0)×cosα+y0
计算出此时轮廓区域的外接矩形R1,该外接矩形的中心坐标点为(x1,y1),宽度为W1,高度为H1,面积为S1;
(2c)轮廓坐标点继续绕着(x0,y0)点进行旋转,旋转角度依然为α,计算出相应的外接矩形,则第i次旋转后的外接矩形为Ri,其中心坐标点为(xi,yi),宽度为Wi,高度为Hi,面积为Si;当旋转角度大于或等于90度时停止旋转;
(2d)对比所有外接矩形的面积大小,面积最小的外接矩形则为该轮廓区域的最小外接矩形,设为Rj,把此外接矩形绕着(x0,y0)点顺时针旋转jα角度后则为原始轮廓区域的最小外接矩形,这个最小外接矩形即为初始跟踪框。
3.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(2)中计算矩形区域图像HOG特征值包括以下步骤:
(3a)设定HOG的细胞单元(cell)大小为4*4,区间(block)大小为8*8,扫描步长为一个细胞单元(4*4),窗口(window)大小为16*16,所有将要计算HOG特征的区域都会被统一缩放并映射到该窗口(window)之中;
(3b)把矩形区域图像压缩并映射到窗口(window)中,假设该矩形区域四个顶点坐标逆时针排列分别为(a1,b1)、(a2,b2)、(a4,b4)、(a3,b3),它们分别对应window中的(0,0)、(0,15)、(15,15)和(15,0)四个顶点,那么window中任意一点坐标(x0,y0)和对应的矩形区域坐标(x,y)之间的关系为:
x = a 3 - a 1 15 × x 0 + a 2 - a 1 15 × y 0 + a 1
y = b 3 - b 1 15 × x 0 + b 2 - b 1 15 × y 0 + b 1
这样就可以根据window中的像素坐标找到对应的矩形区域像素坐标,把该坐标的像素值直接赋给window中对应的像素中;
(3c)计算窗口(window)的HOG特征值,该特征值即代表了对应矩形区域的特征值。
4.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(2)中建立Fisher判别模型包括以下步骤:
(4a)在初始跟踪框附近随机挑选50个矩形图像区域作为正样本,50个矩形图像区域作为负样本,50个矩形图像区域作为回归样本;这些矩形区域和初始跟踪框大小相同、方向相同,其中正样本矩形区域和初始跟踪框之间的距离小于给定值thresh1,负样本矩形区域和初始跟踪框之间的距离介于给定值thresh2和thresh3之间,回归样本矩形区域和初始跟踪框之间的距离介于给定值thresh1和thresh2之间,计算这些样本的HOG特征值;本发明中thresh1的值设定为thresh2的值设定为值为初始跟踪框的宽度,H值为初始跟踪框的高度),thresh3的值设定为
(4b)给样本进行打分,其中正样本都打1分,负样本都打0分,回归样本的打分依据为样本对应矩形区域和初始跟踪框之间的距离大小,距离为thresh1时打0分,距离为thresh2时打1分,那么距离为d时的打分为:
s c o r e = d t h r e s h 2 - t h r e s h 1 - t h r e s h 1 t h r e s h 2 - t h r e s h 1
(4c)根据50个正样本和50个负样本的特征值和打分值建立二元Fisher判别预测模型;
(4d)根据50个正样本和50个回归样本的特征值和打分值建立回归Fisher判别预测模型。
5.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(3)中对目标区域进行打分包含以下规则:
(5a)应用二元Fisher判别预测模型对目标区域进行打分,得分设为score1;
(5b)应用回归Fisher判别预测模型对目标区域进行打分,得分设为score2;
(5c)目标区域的最终得分为:score=(score1+score2)/2。
6.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(3)中的目标跟踪包含以下步骤:
(6a)把上一帧图像的跟踪区域作为本帧图像的初始目标区域;
(6b)以初始目标区域的中心作为旋转中心,以3度为一个步长,顺时针、逆时针分别对目标区域进行5次旋转,可以得到原始目标区域、5个顺时针旋转区域、5个逆时针旋转区域总共11个候选区域,计算候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域;
(6c)以上一步所得准跟踪区域中心点为中心,把该区域扩大为原来的1.2倍,方向不变,得到一个遍历区域;平移准跟踪区域,使得其左上角与得到的遍历区域左上角相重合,方向不变,得到滑动窗口;保持滑动窗口的方向不变,以恒定步长按照从上到下的顺序,从左到右遍历整个遍历区域,直到滑动窗口右下角与遍历区域的右下角相重合,共得到25个候选区域;假设跟踪区域的中心坐标为(x0,y0),宽为W,高为H,宽所在边与x轴之间的夹角为α,初始滑动窗口的中心坐标为(x,y),则有:
x=-0.1×W×cosα+0.1×H×sinα+x0
y=-0.1×W×sinα-0.1×H×cosα+y0
水平滑动步长为0.05W,垂直滑动步长为0.05H;当滑动窗口水平滑动i次,垂直滑动j次,它对应的矩形窗口中心坐标为(x’,y’),则有:
x'=(-0.1×W+0.05×W×i)×cosα-(-0.1×H+0.05×H×j)×sinα+x0
y'=(-0.1×W+0.05×W×i)×sinα+(-0.1×H+0.05×H×j)×cosα+y0
计算这25个候选区域所对应图像的HOG特征值,并由打分规则算出每个候选区域的打分值,选出得分最高的候选区域作为准跟踪区域;
(6d)交替重复执行(6b)(6c)两步,直到求出的两个相邻准跟踪区域相重合为止,此时的准跟踪框即为本帧图像的跟踪区域。
7.根据权利要求1所述的基于Fisher判别的生猪行为轨迹自动跟踪方法,其特征在于所述步骤(4)中的重新采样训练包含以下训练准则:
(7a)对于正样本,以图像跟踪框对应的图像区域作为一个正样本采取先进先出的方式插入到前30个正样本队列之中,同时保证原来的正样本队列后20个样本保持不变;
(7b)对于负样本,重新随机选取50个负样本替换掉原来的所有负样本;
(7c)对于回归样本,重新随机选取30个回归样本替换掉原来的前30个回归样本,同时保证原来的回归样本队列后20个样本保持不变;
(7d)根据步骤2中的训练准则重新训练二元Fisher判别预测模型和回归Fisher判别模型。
CN201610008655.2A 2016-01-07 2016-01-07 一种基于Fisher判别的生猪行为轨迹自动跟踪方法 Active CN105678806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610008655.2A CN105678806B (zh) 2016-01-07 2016-01-07 一种基于Fisher判别的生猪行为轨迹自动跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610008655.2A CN105678806B (zh) 2016-01-07 2016-01-07 一种基于Fisher判别的生猪行为轨迹自动跟踪方法

Publications (2)

Publication Number Publication Date
CN105678806A true CN105678806A (zh) 2016-06-15
CN105678806B CN105678806B (zh) 2019-01-08

Family

ID=56299226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610008655.2A Active CN105678806B (zh) 2016-01-07 2016-01-07 一种基于Fisher判别的生猪行为轨迹自动跟踪方法

Country Status (1)

Country Link
CN (1) CN105678806B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106780558A (zh) * 2016-12-27 2017-05-31 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN106981061A (zh) * 2017-03-06 2017-07-25 深圳市恒茂科技有限公司 一种焊点区域检测方法
CN107516102A (zh) * 2016-06-16 2017-12-26 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
CN107945223A (zh) * 2017-11-20 2018-04-20 成都霍比特科技有限公司 一种旋转倾斜式自动青蛙饲料投放器及视频分析方法
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达(北京)科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
CN109670398A (zh) * 2018-11-07 2019-04-23 北京农信互联科技集团有限公司 一种猪只图像的分析方法及设备
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110334618A (zh) * 2019-06-21 2019-10-15 河海大学 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN117095028A (zh) * 2023-09-01 2023-11-21 广州市星飞达电子科技有限公司 一种基于机器视觉的图像处理跟踪方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别系统
CN103413149B (zh) * 2013-09-06 2017-04-12 上海赛特斯信息科技股份有限公司 复杂背景中实现静态目标检测和识别的方法
CN105117720B (zh) * 2015-09-29 2018-08-28 江南大学 基于时空模型的目标尺度自适应跟踪方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516102A (zh) * 2016-06-16 2017-12-26 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
CN107516102B (zh) * 2016-06-16 2020-10-23 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
CN106709456B (zh) * 2016-12-27 2020-03-31 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106780558A (zh) * 2016-12-27 2017-05-31 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106780558B (zh) * 2016-12-27 2020-05-12 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达(北京)科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
CN108256394B (zh) * 2016-12-28 2020-09-25 中林信达(北京)科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
CN106981061A (zh) * 2017-03-06 2017-07-25 深圳市恒茂科技有限公司 一种焊点区域检测方法
CN107945223A (zh) * 2017-11-20 2018-04-20 成都霍比特科技有限公司 一种旋转倾斜式自动青蛙饲料投放器及视频分析方法
CN107945223B (zh) * 2017-11-20 2020-09-08 成都霍比特科技有限公司 一种旋转倾斜式自动青蛙饲料投放器及视频分析方法
CN109670398A (zh) * 2018-11-07 2019-04-23 北京农信互联科技集团有限公司 一种猪只图像的分析方法及设备
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110334618A (zh) * 2019-06-21 2019-10-15 河海大学 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法
CN110334618B (zh) * 2019-06-21 2022-08-05 河海大学 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN117095028A (zh) * 2023-09-01 2023-11-21 广州市星飞达电子科技有限公司 一种基于机器视觉的图像处理跟踪方法及系统
CN117095028B (zh) * 2023-09-01 2024-03-08 广州市星飞达电子科技有限公司 一种基于机器视觉的图像处理跟踪方法及系统

Also Published As

Publication number Publication date
CN105678806B (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN105678806A (zh) 一种基于Fisher判别的生猪行为轨迹自动跟踪方法
CN111695522B (zh) 一种平面内的旋转不变人脸检测方法、装置及存储介质
CN108510062A (zh) 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN107103320B (zh) 嵌入式医疗数据图像识别及集成方法
CN108388874B (zh) 基于图像识别与级联分类器的对虾形态参数自动测量方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN108256394A (zh) 一种基于轮廓梯度的目标跟踪方法
CN104103033B (zh) 图像实时处理方法
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN107122737A (zh) 一种道路交通标志自动检测识别方法
CN106940791B (zh) 一种基于低维方向梯度直方图的行人检测方法
CN107256547A (zh) 一种基于显著性检测的表面裂纹识别方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN107123188A (zh) 基于模板匹配算法和边缘特征的伤票识别与定位方法
CN106127205A (zh) 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN107506795A (zh) 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN112766184B (zh) 基于多层级特征选择卷积神经网络的遥感目标检测方法
CN104463240B (zh) 一种仪表定位方法及装置
CN101187984A (zh) 一种图像检测方法及装置
CN109670501B (zh) 基于深度卷积神经网络的物体识别与抓取位置检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant