CN106373146A - 一种基于模糊学习的目标跟踪方法 - Google Patents

一种基于模糊学习的目标跟踪方法 Download PDF

Info

Publication number
CN106373146A
CN106373146A CN201610952219.0A CN201610952219A CN106373146A CN 106373146 A CN106373146 A CN 106373146A CN 201610952219 A CN201610952219 A CN 201610952219A CN 106373146 A CN106373146 A CN 106373146A
Authority
CN
China
Prior art keywords
target
sample
similarity
frame image
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610952219.0A
Other languages
English (en)
Other versions
CN106373146B (zh
Inventor
周大可
徐勇
陈志轩
杨欣
王玉惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201610952219.0A priority Critical patent/CN106373146B/zh
Publication of CN106373146A publication Critical patent/CN106373146A/zh
Application granted granted Critical
Publication of CN106373146B publication Critical patent/CN106373146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Abstract

本发明公开了一种基于模糊学习的目标跟踪方法,该方法主要分为三部分,首先在跟踪器方面,使用稀疏表示算法对目标进行跟踪;然后在检测器方面,使用级联分类检测器(其中包含方差分类器、集合分类器、最近邻分类器)对目标位置进行检测;最后在学习更新方面,使用模糊学习器对跟踪器和检测器输出结果进行综合,根据时间连续性、空间唯一性、相似性、目标大小一致性四种约束的隶属度得到目标最终位置。本发明基于模糊学习的目标跟踪方法在保证实时性的同时对目标光照变化有很好的适应性,提高了学习器的判别能力,从而改善了算法的跟踪准确性和鲁棒性;对于目标跟踪的研究与实际应用的开发都具有重要的理论与实际意义。

Description

一种基于模糊学习的目标跟踪方法
技术领域
本发明涉及一种目标跟踪方法,特别是涉及一种基于模糊学习的目标跟踪方法,属于计算机图形学、数字图像处理以及模式识别技术领域。
背景技术
近年来随着计算机硬件水平的提高、成像技术和存储成本的降低,图像和视频信息在社会生活中得到了越来越广泛地应用,从而推动了计算机视觉技术(computervision)取得了飞速发展,其中基于视觉技术的目标跟踪因其适用环境广、自动化程度高、信息获取简单、包含信息丰富等优势在智能视频监控、人机交互、机器人等领域得到了广泛的应用。
视觉目标跟踪方法可以分为两大类,即基于视觉表征的方法和基于统计模型的方法。前者通常利用目标的一种或多种特征生成目标模型,并将目标跟踪看作寻找与目标模型最相似的区域的过程;而后者将目标跟踪转换成二分类问题,利用大量的目标图像和背景图像来训练分类器,分类器训练完成后,即可用来区分目标或是背景区域。其中后者充分利用了图像中的信息,包括目标信息和背景信息,因而具有更强的普适能力,对目标形变、光照影响、目标周围环境的变化等因素具有更强的鲁棒性,成为了目前跟踪领域发展的主流。文献(Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEEtransactions on pattern analysis and machine intelligence,2012,34(7):1409-1422)提出了基于半监督学习的跟踪-学习-检测(Tracking-Learning-Detection,TLD)算法,该算法利用跟踪模块与检测模块同时对目标进行定位,综合两者的结果得到目标的最终定位,利用P-N学习器对检测模块的分类器进行更新。不过该方法中,跟踪模块对于光照变化较为敏感且跟踪精度不高;P-N学习器规则简单,且采用简单的0-1硬分类方式,容易将错误样本引入分类器。
故此,需要提出一种新的目标跟踪方法,一方面能够克服TLD算法的缺点,另一方面能够对光照变化有很好的适应性。
发明内容
本发明所要解决的技术问题是:提供一种基于模糊学习的目标跟踪方法,在保证实时性的同时对目标光照变化有很好的适应性,提高了学习器的判别能力,从而改善了算法的跟踪准确性和鲁棒性。
本发明为解决上述技术问题采用以下技术方案:
一种基于模糊学习的目标跟踪方法,包括如下步骤:
步骤1,利用稀疏表示跟踪器对图像序列每一帧图像进行目标跟踪,得到各帧图像的目标;
步骤2,利用级联分类检测器对图像序列每一帧图像进行检测,得到各帧图像的目标;
步骤3,对步骤1和步骤2的检测结果进行综合,得到每一帧图像综合后的目标,根据时间连续性约束、空间唯一性约束、相似性约束、目标大小一致性约束,分别计算每一帧图像步骤2检测结果与综合后的目标位置之间的四个约束的隶属度,将四个约束的隶属度输入模糊学习器,进行模糊化,根据模糊规则进行模糊推理,求解模糊化,得到综合隶属度,将综合隶属度大于0.45的检测结果作为最终目标。
作为本发明的一种优选方案,所述步骤1的具体过程包括以下步骤:
步骤1-1,在图像序列的第一帧图像上,标定目标位置,提取目标特征,并对目标特征进行降维,利用降维后的目标特征初始化贝叶斯分类器的参数;
步骤1-2,从图像序列的第二帧图像开始,以前一帧图像的目标位置为参照,在下一帧图像上提取邻近区域,且邻近区域的中心与前一帧图像的目标位置中心重合,在邻近区域中按从上到下、从左到右均位移5%的方式遍历,得到与目标大小相同的样本,提取各样本的目标特征,对目标特征进行降维,利用贝叶斯分类器对降维后的目标特征进行检测,根据各样本与前一帧目标的相似性程度判断样本是不是目标,同时,更新贝叶斯分类器的参数。
作为本发明的一种优选方案,步骤1-2所述根据各样本与前一帧目标的相似性程度判断样本是不是目标的方法是:计算各样本与前一帧目标的相似性程度,相似性程度最大的样本即为目标;其中,相似性程度的计算公式为:
H ( v ) = l o g Π k = 1 K p ( v k | y = 1 ) p ( y = 1 ) Π k = 1 K p ( v k | y = 0 ) p ( y = 0 ) = Σ k = 1 K l o g p ( v k | y = 1 ) p ( v k | y = 0 )
其中,H(v)为相似性程度,K为样本的行数,vk为样本降维后的第k行,p(vk|y=1)、p(vk|y=0)分别为vk属于目标、背景的条件概率,p(y=1)、p(y=0)分别为样本属于目标、背景的概率。
作为本发明的一种优选方案,所述步骤2的具体过程包括以下步骤:
步骤2-1,在图像序列的第一帧图像上,标定目标位置,从第二帧图像开始,以前一帧图像的目标大小为参照,按从上到下、从左到右均位移10%的方式遍历,得到长宽均与目标长宽相同、均比目标长宽大20%、均比目标长宽小20%的样本,当样本大小小于20像素时,忽略不计;
步骤2-2,对第二帧图像,计算各样本的方差,将方差小于当前帧整体图像方差的50%的样本去除;
步骤2-3,将步骤2-2剩余样本送入组合分类器,预设基分类器的个数,对剩余样本进行平滑滤波降噪处理,然后在样本上选择13个像素点,在前一帧图像的目标的相应位置同样选择13个像素点,将样本上13个像素点的灰度值与前一帧图像的目标上13个像素点的灰度值一一比较,相同为1,不同为0,得到13位的二进制编码,将二进制编码映射为后验概率,计算所有基分类器输出的后验概率的均值,将均值大于0.5的样本保留;
步骤2-4,将步骤2-3保留样本送入最近邻分类器,将当前帧前面所有帧图像的目标作为正样本放入样本库,并按照各帧顺序进行排序,按照预设个数在目标周围提取负样本,同样放入样本库,对保留样本和样本库中所有样本进行归一化,计算归一化保留样本在归一化样本库中的保守相似度,当保守相似度大于预设阈值时,保留样本为目标;
步骤2-5,对剩下的所有帧图像,重复步骤2-2至步骤2-4对第二帧图像的操作,得到所有帧图像的目标。
作为本发明的一种优选方案,步骤2-4所述保守相似度的计算公式:
S r ( p , M ) = S + ( p , M ) S + ( p , M ) + S - ( p , M )
S + ( p , M ) = max p a + ∈ M S ( p , p a + )
S - ( p , M ) = max p b - ∈ M S ( p , p b - )
其中,Sr(p,M)为归一化保留样本p在归一化样本库M中的保守相似度,S+(p,M)、S-(p,M)分别为归一化保留样本与M中正样本、负样本的相似度,且S(p1,p2)=0.5[NCC(p1,p2)+1],其中,p1=p,p2=pa +或pb -,pa +、pb -分别为归一化正样本、负样本,n为归一化保留样本的像素个数,μ1、μ2分别为p1、p2的均值,σ1、σ2分别为p1、p2的标准差,p1(x)、p2(x)分别为归一化保留样本、归一化正样本或负样本第x个像素的灰度值。
作为本发明的一种优选方案,步骤3所述时间连续性约束的隶属度计算公式为:
u j , 1 = e - ( x j - x i - 1 ) 2 + ( y j - y i - 1 ) 2
其中,xi-1,yi-1分别为前一帧图像目标中心的横、纵坐标,i-1表示前一帧,xj,yj分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
作为本发明的一种优选方案,步骤3所述空间唯一性约束的隶属度计算公式为:
u j .2 = B j ∩ B i B j ∪ B i
其中,Bj为当前帧图像中经级联分类检测器判断为目标的样本矩形框,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,Bi为当前帧图像综合后目标矩形框,i表示当前帧,∩表示求两个矩形框的交集面积,∪表示求两个矩形框的并集面积。
作为本发明的一种优选方案,步骤3所述相似性约束的隶属度计算公式为:
uj,3=Sj r
其中,Sj r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
作为本发明的一种优选方案,步骤3所述目标大小一致性约束的隶属度计算公式为:
u j , 4 = e - | ( x j , 2 - x j , 1 ) * ( y j , 2 - y j , 1 ) - ( x i - 1 , 2 - x i - 1 , 1 ) * ( y i - 1 , 2 - y i - 1 , 1 ) |
其中,xj,1,yj,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标,xj,2,yj,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,xi-1,1,yi-1,1分别为前一帧图像目标左上角像素点的横、纵坐标,xi-1,2,yi-1,2分别为前一帧图像目标右下角像素点的横、纵坐标,i-1表示前一帧。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明采用基于稀疏表示算法的跟踪器,使用目标纹理的稀疏特征建立模型,从而在保证算法实时性以及抗遮挡能力的同时克服了算法对于光照变化的敏感性。
2、本发明利用级联分类器对目标位置进行全局搜索,在目标由于尺度变化或者位置突变导致跟踪错误的情况下,能够重新获取目标位置。
3、本发明采用基于多规则的模糊学习器,克服了由于简单的0-1分类导致的分类错误,提高了学习器的纠错能力,进而改善了算法的性能。
附图说明
图1是本发明基于模糊学习的目标跟踪方法的流程图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图1所示,为本发明基于模糊学习的目标跟踪方法的流程图。涉及稀疏表示跟踪器、级联分类检测器和模糊学习器三个部分,下面对三个部分分别进行详细说明。
1、稀疏表示跟踪器
跟踪器包括:利用稀疏表示技术提取目标特征、利用贝叶斯分类器确定目标位置。
在当前帧将上一帧目标区域(以跟踪窗为准)对应位置的邻近区域作为候选区域,邻近区域与目标区域的中心重合,且比目标区域大一圈,从上到下、从左到右对邻近区域进行遍历,上下、左右位移均为5%,得到与目标区域大小相同的样本。
使用稀疏矩阵提取出样本压缩后的特征:
V → = P → · X → - - - ( 1 )
其中,为提取的目标特征,是目标特征转换成的一维信号,为随机测量矩阵,为压缩后的最终降维特征。其中,的构建方式如下:
其中,s通过平均概率在2~4中随机选取。
使用原始特征以pk,nr为权值的加权和得到压缩特征,如公式(3),其中,Rects为邻近区域中提取的与目标大小相同的图像(或样本)中随机选取的图像块,NR为Rects的总个数,其值在2~4之间随机选取。
v k = Σ n r = 1 n r p k , n r Rects k , n r N R - - - ( 3 )
迭代计算出每一个样本与前一帧目标区域的相似性程度,相似程度最高的样本作为当前帧的目标区域。以贝叶斯准则作为相似性判据,并假设所有特征相互独立,见公式(4)。
H ( v ) = l o g Π k = 1 K p ( v k | y = 1 ) p ( y = 1 ) Π k = 1 K p ( v k | y = 0 ) p ( y = 0 ) = Σ k = 1 K l o g p ( v k | y = 1 ) p ( v k | y = 0 ) - - - ( 4 )
采样过程中,将趋于目标的样本视为正样本(Positive sample)并保留,远离目标的样本视为负样本(Negative sample)并舍去。y为随机变量,1和0分别为采样过程中得到的正样本和负样本的标签,且第一帧满足p(y=1)=p(y=0),则条件分布p(vk|y=1)和p(vk|y=0)符合高斯分布,见公式(5),其中μ1、σ1和μ0、σ0分别为目标(正样本)和背景(负样本)的均值、标准差。
p ( v k | y = 1 ) ~ G ( μ k 1 , σ k 1 ) p ( v k | y = 0 ) ~ G ( μ k 0 , σ k 0 ) - - - ( 5 )
计算出当前帧中H(v)相似性程度最大的样本作为当前帧的目标区域,并对相关系数进行更新,见公式(6)和(7)。
μ i 1 ← λμ i 1 + ( 1 - λ ) μ 1 - - - ( 6 )
σ i 1 ← λ ( σ i 1 ) 2 + ( 1 - λ ) ( σ 1 ) 2 + λ ( 1 - λ ) ( μ i 1 - μ 1 ) 2 - - - ( 7 )
式中,λ表示更新程度,选取λ=0.85。
2、级联分类检测器
检测器采用滑动窗的方法在图像中寻找目标,利用级联分类器输出结果,包含三部分:方差比较,组合分类器及最近邻分类器。每一部分都将筛选出更加可能的结果输入下一部分继续甄别,从而加快运行速度。
利用滑动窗从上到下、从左到右对每帧图像进行扫描,滑动窗的扫描策略为每次尺度变化1.2倍,比如前一帧图像的目标大小为100*100,那么当前帧滑动窗的大小为80*80、100*100、120*120,水平和垂直位移分别为宽度和高度的10%,最小框图大小为20pixels,小于20pixels的样本不考虑。
方差比较:对滑框窗扫描得到的样本计算灰度值方差:E(p2)-(E(p))2,使用积分图计算期望。将样本方差低于该帧整体图像方差50%的样本抛弃,本阶段可以去除大部分干扰的背景。
组合分类器:基于随机森林方式实现,由设定个数的基分类器组成。首先对经方差比较剩下的样本进行平滑滤波降噪处理,然后在样本上选择13个像素点,在前一帧目标图像的相应位置选择13个像素点,将样本上13个像素点的灰度值与前一帧目标图像上13个像素点的灰度值一一比较,相同为1,不同为0,得到13位的二进制编码,将该二进制编码映射为后验概率。对各基分类器输出的后验概率结果求均值,如果其大于0.5,将样本送入下一步,否则将被舍弃。
最近邻分类器:分别计算正样本最近邻域相似度S+、负样本最近邻域相似度S-、最近邻域50%的正样本相似度相对相似度Sc、保守相似度Sr,建立样本库,将当前帧前面所有帧得到的目标放入样本库M,预设背景个数为100,将100个背景也放入样本库,p+(a=1,…,A)和p-(b=1,…,B=100)分别代表目标样本和背景样本,μ1、μ2为p1、p2的均值,σ1、σ2为p1、p2的标准差。最后,如果SrNN,则样本p是目标,反之为背景。
S + ( p , M ) = max p a + ∈ M S ( p , p a + ) - - - ( 8 )
S - ( p , M ) = max p b - ∈ M S ( p , p b - ) - - - ( 9 )
S r ( p , M ) = S + ( p , M ) S + ( p , M ) + S - ( p , M ) - - - ( 11 )
S(p1,p2)=0.5[NCC(p1,p2)+1] (12)
S c = S 50 % + S 50 % + + S - - - - ( 13 )
N C C ( p 1 , p 2 ) = 1 n - 1 Σ x = 1 n ( p 1 ( x ) - μ 1 ) ( p 2 ( x ) - μ 2 ) σ 1 σ 2 - - - ( 14 )
3、模糊学习器
使用多重规则对候选样本进行判断,所建立的约束规则有:
(1)时间连续性约束:当前帧中目标位置,必然与其前一帧中的位置相近。利用逐帧跟踪的结果产生当前物体的位置,候选样本与前一帧目标位置距离越近,则该样本属于正样本的隶属度uj,1越高。
u j , 1 = e - ( x j - x i - 1 ) 2 + ( y j - y i - 1 ) 2 - - - ( 15 )
其中,xi-1,yi-1分别为前一帧图像目标中心的横、纵坐标,i-1表示前一帧,xj,yj分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
(2)空间唯一性约束:因为本算法采用的是单目标跟踪策略,所以在同一帧中目标只有一个可能的位置。综合检测器和跟踪器的结果,输出最可能的位置,候选样本与最可能的位置重合度越高,则该样本属于正样本的隶属度uj,2越高。
u j .2 = B j ∩ B i B j ∪ B i - - - ( 16 )
其中,Bj为当前帧图像中经级联分类检测器判断为目标的样本矩形框,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,Bi为当前帧图像综合后目标矩形框,i表示当前帧,∩表示求两个矩形框的交集面积,∪表示求两个矩形框的并集面积。
(3)相似性约束:利用目标外观的一致性,与样本集相似度越高,候选样本属于正样本的隶属度uj,3越高,使用最近邻分类器结果作为隶属度。
uj,3=Sj r (17)
其中,Sj r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
(4)目标大小一致性约束:利用目标大小的一致性,与目标之前大小越一致的候选样本属于正样本的隶属度uj,4越高。
u j , 4 = e - | ( x j , 2 - x j , 1 ) * ( y j , 2 - y j , 1 ) - ( x i - 1 , 2 - x i - 1 , 1 ) * ( y i - 1 , 2 - y i - 1 , 1 ) | - - - ( 18 )
其中,xj,1,yj,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标,xj,2,yj,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,xi-1,1,yi-1,1分别为前一帧图像目标左上角像素点的横、纵坐标,xi-1,2,yi-1,2分别为前一帧图像目标右下角像素点的横、纵坐标,i-1表示前一帧。
利用约束规则构建模糊学习器,对每一个送到学习器的样本根据约束规则确定其属于正样本的隶属度(取值为0~1),并对多个约束分配权值,最后综合多个隶属度,得到样本最终属于正样本的隶属度,之后进行阈值判断,大于阈值则放入正样本库,否则放入负样本库。
具体实现过程如下:
a.计算样本四个约束的隶属度,uj,1、uj,2、uj,3、uj,4
b.将四个隶属度作为模糊学习器的输入,进行模糊化;
c.利用建立的模糊规则进行模糊推理;
d.解模糊化,得到样本综合的隶属度;
e.进行阈值判断样本是否属于正样本,阈值设为0.45,大于阈值则为正样本。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (9)

1.一种基于模糊学习的目标跟踪方法,其特征在于,包括如下步骤:
步骤1,利用稀疏表示跟踪器对图像序列每一帧图像进行目标跟踪,得到各帧图像的目标;
步骤2,利用级联分类检测器对图像序列每一帧图像进行检测,得到各帧图像的目标;
步骤3,对步骤1和步骤2的检测结果进行综合,得到每一帧图像综合后的目标,根据时间连续性约束、空间唯一性约束、相似性约束、目标大小一致性约束,分别计算每一帧图像步骤2检测结果与综合后的目标位置之间的四个约束的隶属度,将四个约束的隶属度输入模糊学习器,进行模糊化,根据模糊规则进行模糊推理,求解模糊化,得到综合隶属度,将综合隶属度大于0.45的检测结果作为最终目标。
2.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,所述步骤1的具体过程包括以下步骤:
步骤1-1,在图像序列的第一帧图像上,标定目标位置,提取目标特征,并对目标特征进行降维,利用降维后的目标特征初始化贝叶斯分类器的参数;
步骤1-2,从图像序列的第二帧图像开始,以前一帧图像的目标位置为参照,在下一帧图像上提取邻近区域,且邻近区域的中心与前一帧图像的目标位置中心重合,在邻近区域中按从上到下、从左到右均位移5%的方式遍历,得到与目标大小相同的样本,提取各样本的目标特征,对目标特征进行降维,利用贝叶斯分类器对降维后的目标特征进行检测,根据各样本与前一帧目标的相似性程度判断样本是不是目标,同时,更新贝叶斯分类器的参数。
3.根据权利要求2所述基于模糊学习的目标跟踪方法,其特征在于,步骤1-2所述根据各样本与前一帧目标的相似性程度判断样本是不是目标的方法是:计算各样本与前一帧目标的相似性程度,相似性程度最大的样本即为目标;其中,相似性程度的计算公式为:
H ( v ) = l o g Π k = 1 K p ( v k | y = 1 ) p ( y = 1 ) Π k = 1 K p ( v k | y = 0 ) p ( y = 0 ) = Σ k = 1 K l o g p ( v k | y = 1 ) p ( v k | y = 0 )
其中,H(v)为相似性程度,K为样本的行数,vk为样本降维后的第k行,p(vk|y=1)、p(vk|y=0)分别为vk属于目标、背景的条件概率,p(y=1)、p(y=0)分别为样本属于目标、背景的概率。
4.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,所述步骤2的具体过程包括以下步骤:
步骤2-1,在图像序列的第一帧图像上,标定目标位置,从第二帧图像开始,以前一帧图像的目标大小为参照,按从上到下、从左到右均位移10%的方式遍历,得到长宽均与目标长宽相同、均比目标长宽大20%、均比目标长宽小20%的样本,当样本大小小于20像素时,忽略不计;
步骤2-2,对第二帧图像,计算各样本的方差,将方差小于当前帧整体图像方差的50%的样本去除;
步骤2-3,将步骤2-2剩余样本送入组合分类器,预设基分类器的个数,对剩余样本进行平滑滤波降噪处理,然后在样本上选择13个像素点,在前一帧图像的目标的相应位置同样选择13个像素点,将样本上13个像素点的灰度值与前一帧图像的目标上13个像素点的灰度值一一比较,相同为1,不同为0,得到13位的二进制编码,将二进制编码映射为后验概率,计算所有基分类器输出的后验概率的均值,将均值大于0.5的样本保留;
步骤2-4,将步骤2-3保留样本送入最近邻分类器,将当前帧前面所有帧图像的目标作为正样本放入样本库,并按照各帧顺序进行排序,按照预设个数在目标周围提取负样本,同样放入样本库,对保留样本和样本库中所有样本进行归一化,计算归一化保留样本在归一化样本库中的保守相似度,当保守相似度大于预设阈值时,保留样本为目标;
步骤2-5,对剩下的所有帧图像,重复步骤2-2至步骤2-4对第二帧图像的操作,得到所有帧图像的目标。
5.根据权利要求4所述基于模糊学习的目标跟踪方法,其特征在于,步骤2-4所述保守相似度的计算公式:
S r ( p , M ) = S + ( p , M ) S + ( p , M ) + S - ( p , M )
S + ( p , M ) = max p a + ∈ M S ( p , p a + )
S - ( p , M ) = max p b - ∈ M S ( p , p b - )
其中,Sr(p,M)为归一化保留样本p在归一化样本库M中的保守相似度,S+(p,M)、S-(p,M)分别为归一化保留样本与M中正样本、负样本的相似度,且S(p1,p2)=0.5[NCC(p1,p2)+1],其中,p1=p,p2=pa +或pb -,pa +、pb -分别为归一化正样本、负样本,n为归一化保留样本的像素个数,μ1、μ2分别为p1、p2的均值,σ1、σ2分别为p1、p2的标准差,p1(x)、p2(x)分别为归一化保留样本、归一化正样本或负样本第x个像素的灰度值。
6.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,步骤3所述时间连续性约束的隶属度计算公式为:
u j , 1 = e - ( x j - x i - 1 ) 2 + ( y j - y i - 1 ) 2
其中,xi-1,yi-1分别为前一帧图像目标中心的横、纵坐标,i-1表示前一帧,xj,yj分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
7.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,步骤3所述空间唯一性约束的隶属度计算公式为:
u j .2 = B j ∩ B i B j ∪ B i
其中,Bj为当前帧图像中经级联分类检测器判断为目标的样本矩形框,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,Bi为当前帧图像综合后目标矩形框,i表示当前帧,∩表示求两个矩形框的交集面积,∪表示求两个矩形框的并集面积。
8.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,步骤3所述相似性约束的隶属度计算公式为:
uj,3=Sj r
其中,Sj r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。
9.根据权利要求1所述基于模糊学习的目标跟踪方法,其特征在于,步骤3所述目标大小一致性约束的隶属度计算公式为:
u j , 4 = e - | ( x j , 2 - x j , 1 ) * ( y j , 2 - y j , 1 ) - ( x i - 1 , 2 - x i - 1 , 1 ) * ( y i - 1 , 2 - y i - 1 , 1 ) |
其中,xj,1,yj,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标,xj,2,yj,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标,j=1,…,J,J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数,xi-1,1,yi-1,1分别为前一帧图像目标左上角像素点的横、纵坐标,xi-1,2,yi-1,2分别为前一帧图像目标右下角像素点的横、纵坐标,i-1表示前一帧。
CN201610952219.0A 2016-10-27 2016-10-27 一种基于模糊学习的目标跟踪方法 Active CN106373146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610952219.0A CN106373146B (zh) 2016-10-27 2016-10-27 一种基于模糊学习的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610952219.0A CN106373146B (zh) 2016-10-27 2016-10-27 一种基于模糊学习的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106373146A true CN106373146A (zh) 2017-02-01
CN106373146B CN106373146B (zh) 2019-02-15

Family

ID=57894281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610952219.0A Active CN106373146B (zh) 2016-10-27 2016-10-27 一种基于模糊学习的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106373146B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844292A (zh) * 2017-10-31 2018-03-27 苏州乐米信息科技股份有限公司 一种跑酷游戏中相机曲线轨迹的控制方法及其系统
CN108257156A (zh) * 2018-01-24 2018-07-06 清华大学深圳研究生院 一种从视频中自动追踪目标物体的方法
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN108665479A (zh) * 2017-06-08 2018-10-16 西安电子科技大学 基于压缩域多尺度特征tld的红外目标跟踪方法
CN110097009A (zh) * 2019-05-05 2019-08-06 西安电子科技大学 基于双相关滤波和隶属度加权决策的深度目标跟踪方法
CN110135445A (zh) * 2018-02-02 2019-08-16 兴业数字金融服务(上海)股份有限公司 用于监控应用的状态的方法和装置
CN110363165A (zh) * 2019-07-18 2019-10-22 深圳大学 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN115661680A (zh) * 2022-11-15 2023-01-31 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070561A (zh) * 2019-03-13 2019-07-30 合肥师范学院 一种模糊视觉条件的图像增强与目标跟踪方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243381A1 (en) * 2010-02-05 2011-10-06 Rochester Institute Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104392466A (zh) * 2014-11-13 2015-03-04 南京航空航天大学 一种基于视觉显著原始目标的检测跟踪方法
CN104463907A (zh) * 2014-11-13 2015-03-25 南京航空航天大学 一种基于视觉显著性特征的自适应目标跟踪方法
CN104574439A (zh) * 2014-12-25 2015-04-29 南京邮电大学 一种融合卡尔曼滤波与tld算法的目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243381A1 (en) * 2010-02-05 2011-10-06 Rochester Institute Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof
CN104392466A (zh) * 2014-11-13 2015-03-04 南京航空航天大学 一种基于视觉显著原始目标的检测跟踪方法
CN104463907A (zh) * 2014-11-13 2015-03-25 南京航空航天大学 一种基于视觉显著性特征的自适应目标跟踪方法
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104574439A (zh) * 2014-12-25 2015-04-29 南京邮电大学 一种融合卡尔曼滤波与tld算法的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李俊等: "基于空时线索的TLD视频跟踪算法", 《信号处理》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665479A (zh) * 2017-06-08 2018-10-16 西安电子科技大学 基于压缩域多尺度特征tld的红外目标跟踪方法
CN107844292B (zh) * 2017-10-31 2021-07-16 苏州乐米信息科技股份有限公司 一种跑酷游戏中相机曲线轨迹的控制方法及其系统
CN107844292A (zh) * 2017-10-31 2018-03-27 苏州乐米信息科技股份有限公司 一种跑酷游戏中相机曲线轨迹的控制方法及其系统
CN108257156A (zh) * 2018-01-24 2018-07-06 清华大学深圳研究生院 一种从视频中自动追踪目标物体的方法
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN110135445A (zh) * 2018-02-02 2019-08-16 兴业数字金融服务(上海)股份有限公司 用于监控应用的状态的方法和装置
CN110097009A (zh) * 2019-05-05 2019-08-06 西安电子科技大学 基于双相关滤波和隶属度加权决策的深度目标跟踪方法
CN110097009B (zh) * 2019-05-05 2021-07-06 西安电子科技大学 基于双相关滤波和隶属度加权决策的深度目标跟踪方法
CN110363165A (zh) * 2019-07-18 2019-10-22 深圳大学 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN110363165B (zh) * 2019-07-18 2023-04-14 深圳大学 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN115661680A (zh) * 2022-11-15 2023-01-31 北京轨道未来空间科技有限公司 卫星遥感图像处理方法
CN115661680B (zh) * 2022-11-15 2023-04-07 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Also Published As

Publication number Publication date
CN106373146B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN106373146A (zh) 一种基于模糊学习的目标跟踪方法
CN106910186B (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN102521565B (zh) 低分辨率视频的服装识别方法及系统
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN109508710A (zh) 基于改进YOLOv3网络的无人车夜间环境感知方法
CN107622258A (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
CN109800629A (zh) 一种基于卷积神经网络的遥感图像目标检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN106204640A (zh) 一种运动目标检测系统及方法
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
CN108280397A (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN101713776A (zh) 一种基于神经网络的尿液中有形成分识别分类方法
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN104732215A (zh) 一种基于信息向量机的遥感影像海岸线提取方法
CN108664838A (zh) 基于改进rpn深度网络的端到端的监控场景行人检测方法
CN104077605A (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN109978882A (zh) 一种基于多模态融合的医疗影像目标检测方法
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant