CN108198206A - 基于多特征联合和Camshift算法结合的多目标跟踪方法 - Google Patents

基于多特征联合和Camshift算法结合的多目标跟踪方法 Download PDF

Info

Publication number
CN108198206A
CN108198206A CN201711402195.2A CN201711402195A CN108198206A CN 108198206 A CN108198206 A CN 108198206A CN 201711402195 A CN201711402195 A CN 201711402195A CN 108198206 A CN108198206 A CN 108198206A
Authority
CN
China
Prior art keywords
target
image
frame
blocked
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711402195.2A
Other languages
English (en)
Inventor
张斯尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Source Letter Photoelectric Polytron Technologies Inc
Original Assignee
Hunan Source Letter Photoelectric Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Source Letter Photoelectric Polytron Technologies Inc filed Critical Hunan Source Letter Photoelectric Polytron Technologies Inc
Priority to CN201711402195.2A priority Critical patent/CN108198206A/zh
Publication of CN108198206A publication Critical patent/CN108198206A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Abstract

本发明公开了一种基于多特征联合和Camshift结合的多目标跟踪方法,其涉及计算机视觉领域,该方法包括三个步骤:S1.基于背景差法和帧差法融合检测出多运动目标:多运动目标检测主要分为三步:1)初始化背景模型;2)利用帧差法背景更新,然后进行二值化;3)利用背景差法背景差分,然后将图像进行二值化。S2.将二值化的图像进行进一步的去噪;S3.基于Kalman滤波器和Camshift算法进行多运动目标跟踪。本发明方法其利用背景差法和帧差法融合检测出多运动目标提取了更加精确的运动目标,同时利用反复的形态学操作消除了运动检测过程中的大部分噪声;目标跟踪过程中可适应目标发生形变的情况,并且可在目标出现遮挡现象时也能够进行正确的跟踪,大大提高智能视频监控的准确性,增强其监控的稳定性,使其满足实时性需求。

Description

基于多特征联合和Camshift算法结合的多目标跟踪方法
技术领域
本发明涉及计算机视觉领域,特指基于多特征联合和Camshift算法结合的多目标跟踪方法。
背景技术
随着我国平安城市建设等各项政策的继续开展和深化,以及交通、教育、金融等各行业用户安防意识的不断增强,视频监控市场增长强劲,摄像头的数量快速增加,视频资源爆炸式增长。然而监控方式却仍然主要为人工监控,这就带来了很多问题,如监控人员疲劳、误报漏报多、录像检索困难、大量垃圾数据等,不能有效的利用视频监控系统的实时性。
为了解决上述众多问题,智能视频监控技术近几年来被提出并得到广泛研究和应用。智能视频监控系统将计算机视觉技术融入视频监控系统,对视频数据流进行自动检测、跟踪目标,分析目标的行为并进行相关记录,同时对视频监控系统进行实时控制,发出报警,使计算机代替人进行监控,给予视频监控系统智能性,变被动监控为主动监控。智能视频监控系统可以通过智能算法,完成全天候实时自动监控,同时有效降低误报率和漏报率,减少垃圾数据量。在事发之前就能够有效的进行报警,提示监控人员关注监控画面,事后提高视频内容检索速度,增强视频信息的可用性。综上所述,将现有大量的数字视频监控系统进行智能化的工作,己开始得到科研工作者、政府和商家的重视,有着很好的应用前景和研究价值。
目前,卡尔曼滤波器算法、Meanshift算法和Camshift算法是运动目标跟踪算法中集中比价成熟的算法。Bradski把Meanshift算法应用到连续序列图像的跟踪中,并称之为Camshift算法,此算法对不规则目标运动、图像噪声、虚假目标、光线变化都有较好的适应性,而且算法的实用性很好。但是当目标颜色和背景颜色相近或光照条件变化时,跟踪目标的准确性将受到很大的影响,在遇到运动目标出现遮挡的情况时容易陷入局部最大值,同时对快速运动目标往往会跟踪失败。
本发明针对智能视频监控系统中的多运动目标跟踪问题,结合安防的实际需求,研究准确、稳定、实时的多目标跟踪方法。本发明方法不仅适用于视频监控,还可应用于智能交通、医学诊断、智能工业机器人等领域。
发明内容
本发明的目的在于针对智能视频监控中多目标跟踪这个特定问题,提出一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,从而提高智能视频监控的准确性,增强其监控的稳定性,使其满足实时性需求。
为实现上述目的,本发明采取的技术方案是:
一种基于多特征联合与改进的Camshift结合的多运动目标跟踪方法,该方法包括如下步骤S1-S3:
S1采集视频图像,基于背景差法和帧差法融合检测出该视频图像的多运动目标;
S1.1初始化背景模型;
S1.2利用帧差法背景更新,然后将图像进行二值化;
S1.3利用背景差法背景差分,然后将图像进行二值化;
S2将二值化的图像进行进一步的去噪;
S3基于Kalman滤波器和Camshift算法进行多运动目标跟踪。
作为本发明技术方案的改进,进一步地,所述步骤S1.1中,使用多帧图像平均法计算出初始背景图像Bk(x,y,t):
上式中,Ik(x,y,k)表示第k帧图像在点(x,y)处的像素值,N为统计的帧数;
进一步地,在步骤S1.2中,首先使用当前帧与前一帧进行差分,得到帧差结果,即前景目标,并对其进行二值化,如下式:
其中,I(x,y,t+1)、I(x,y,t)分别为当前帧和前一帧图像,|I(x,y,t+1)-I(x,y,t)|为差分图像,T′为阈值;
然后利用B′(x,y,t+1)来进行背景更新,如下式进行:
上式中,α为更新因子,表示背景更新的快慢;
进一步地,在步骤S1.3中,将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分,得到前景运动区域。
作为本发明技术方案的改进,所述步骤S2包括对步骤S1获得的二值图像重复进行形态学中的开操作和闭操作,使二值图像噪声去除。
作为本发明技术方案的改进,所述步骤S3还包括以下内容:
S3.1利用Kalman滤波预测由步骤S2获得的运动前景目标在下一帧中的位置和大小;
S3.2采用基于Camshift算法进行目标跟踪;
S3.3根据步骤S3.2的跟踪算法计算得到的目标面积和巴氏系数(Bhattacharyya系数)判断目标是否存在遮挡以及遮挡的程度,再根据目标是否存在遮挡以及遮挡的程度进行相应的目标跟踪。
作为本发明技术方案的改进,所述步骤S3.1具体包括:
S3.1.1利用基于积木的特征提取方法提取步骤S2获得的精确的二值图像中目标的外接矩形、重心坐标、周长的特征信息;
S3.1.2根据所述外接矩形、重心坐标、周长的特征信息,使用卡尔曼滤波跟踪预测由步骤S2获得的运动前景目标在下一帧中的位置和大小,根据该位置和大小获得目标的外接矩形。
作为本发明技术方案的改进,所述步骤S3.2具体包括:
S3.2.1根据步骤S3.1中Kalman滤波预测获得的外接矩形来初始化搜索窗口;
S3.2.2将该搜索窗口内的RGB图像转换成HSV图像,并提取该HSV图像的H分量;
S3.2.3计算该搜索窗口内的目标颜色直方图,归一化得到概率分布图I(x,y),并将其作为查找表,将H通道图像上每一个像素点用它的像素值所对应的概率代替,得到概率投影图;
S3.2.4根据搜索窗口的大小和位置,计算搜索窗口的质心位置(xc,yc):
其中,
S3.2.5根据M00重新调整搜索窗的大小,如下面公式所示,移动窗口的中心位置到质心位置处;
其中,s表示窗口大小;
S3.2.6利用Meanshift算法判断中心位置是否收敛,若是不收敛,则返回到步骤S3.2.3,根据新的搜索窗口继续计算质心位置;直到收敛;若是收敛,则计算椭圆区域大小(w,l),此时窗口中心位置和大小为目标在当前帧中的质心位置和大小;
其中,搜索窗口的二阶矩为:
令:
因此可得目标椭圆区域的长轴和短轴的长度分别如下所示:
S3.3.1若是目标没有被遮挡,输出利用步骤S3.2中基于Camshift的跟踪算法获得目标的位置,并作为Kalman滤波跟踪的输入,预测下一帧的目标位置和大小,并返回到步骤S3.2,继续目标跟踪。
作为本发明技术方案的改进,所述步骤S3.3具体包括采用巴氏系数ρ(g)来判断目标是否存在遮挡,ρ(g)的值在0-1之间;设定一个阈值T2,如果ρ(g)≥T2,则说明目标没有被遮挡;如果ρ(g)<T2,则说明目标被遮挡;
若是目标没有被遮挡,输出利用步骤S3.2中基于Camshift的跟踪算法获得目标的位置,并作为Kalman滤波跟踪的输入,预测下一帧的目标位置和大小,并返回到步骤S3.2,继续目标跟踪;
若是ρ(g)<T2,则目标被遮挡,根据步骤S3.2中跟踪算法计算得到的目标面积判断目标遮挡的程度,再进行相应的目标跟踪。
与现有技术相比,本发明具有以下有益效果:
本发明方法实现了一种全自动的运动目标跟踪方法,其利用背景差法和帧差法融合检测出多运动目标提取了更加精确的运动目标,同时利用反复的形态学操作消除了运动检测过程中的大部分噪声;目标跟踪过程中可适应目标发生形变的情况,并且可在目标出现遮挡现象时也能够进行正确的跟踪,该方法计算效率较高,处理效果好。
附图说明
图1是本发明实施例所述多目标跟踪方法流程图。
具体实施方式
下面以普通多目标跟踪为例,结合附图对本发明的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法的具体实施例做进一步详细说明,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,该基于多特征联合和Camshift算法相结合的多目标跟踪方法主要包括三个步骤S1-S3:
S1基于背景差法和帧差法融合检测出多运动目标;
S2将二值化的图像进行进一步的去噪;
S3基于Kalman滤波器和Camshift算法进行多运动目标跟踪。
其中,所述帧差法(时间差分法)是一种利用连续或相隔一定帧数的图像的帧间差分来确定图像中的变化区域,从而进行运动目标检测的方法。通常帧差法将连续的两帧图像或多帧图像进行差分运算,然后对差分后的图像进行二值化并滤波,将可能的运动区域检测出来,从而检测出运动目标。
帧差法得到的差分图可以用如下公式表示:
Dk(x,y)=|Ik+1(x,y)-Ik(x,y)| (1)
其中Dk(x,y),Ik+1(x,y),Ik(x,y)分别为帧间差分图像,第k+1帧图像和第k帧图像;Tk(x,y)为二值化后的目标图像,T为预先设定的阈值。
在利用公式(1)计算出帧间差分图像Dk(x,y)后,再使用公式(2)进行二值化,最终可以得到对应的运动目标区域。
所述背景差法是一种利用视频流中的当前帧与预先建立的背景帧进行差分的方法,那些和背景图像不同的区域即为需要检测的目标。背景差法的关键在于如何获取背景图像,进行背景建模,并能保持对其进行更新,当能获得精确的背景图像时,帧差法的各种不足就完全被克服了。
背景差方法可用如下公式表示:
Dk(x,y)=|Ik(x,y)-Bk(x,y)| (3)
其中,Dk(x,y)、Ik(x,y)、Bk(x,y)分别为第k帧时的前景图像、帧图像和背景图像。
其中,多运动目标检测主要分为以下三步S1.1-S1.3:
S1.1初始化背景模型;
S1.2利用帧差法背景更新,然后进行二值化;
S1.3利用背景差法背景差分,然后将图像进行二值化。
其中,步骤S1.1中,使用多帧图像平均法计算出初始背景图像,记作Bk(x,y,t)。
上式中,Ik(x,y,k)表示第k帧图像在点(x,y)处的像素值,N为统计的帧数。
进一步,在步骤S1.2中,首先使用当前帧与前一帧进行差分,得到帧差结果,即前景目标,并进行二值化,如下式:
其中,I(x,y,t+1)、I(x,y,t)分别为当前帧和前一帧图像,|I(x,y,t+1)-I(x,y,t)|为差分图像,T′为阈值,该阈值用迭代法进行计算。
然后利用B′(x,y,t+1)来进行背景更新,如下式进行:
上式中,α为更新因子,表示背景更新的快慢。
对于阈值T′,如果阈值T′选取过大,会导致前景的运动物体被过滤成背景,造成检测的漏报;如果阈值T′选取的过小,又会导致有大量的背景噪声被检测成运动目标,造成大量的误报。而在实际应用中,由于光照、天气、运动目标的特性等变化,手动设定阈值显然不现实,因此这里本发明使用的迭代法为自适应迭代法,具体计算如下:
1.计算出图像的灰度统计直方图H[i]:
H[i]=ni i=0,1,...,L-1
其中L是图像灰度级的范围,目前通常使用L=256,ni是灰度为i的像素个数;
2.利用灰度直方图获取差分图的像素灰度值的最大值Max和最小值Min;
3.利用下面公式设定初始阈值T0,作为迭代的起点:
4.利用T0对差分图像进行分割,并根据下面公式分别计算背景区和前景区的平均灰度值Mb、Mf
5.计算新的迭代阈值,令:
6.如果T≠T0,令T=T0,转到步骤4;如果T=T0,算法结束。
如果新的阈值T和T0不相等,则令T0=T,继续迭代,直到计算出最终的阈值T′。使用自适应的阈值后,可以有效地根据图像的整体和局部信息进行二值化,获得良好的效果。
进一步地,在步骤S1.3中,将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分,得到前景运动区域,然后利用阈值T′进行二值化并得到D(x,y,t+1),在这里的阈值同样使用所述迭代阈值进行计算。
进一步地,所述步骤S2具体包括以下内容:
将运动区域检测后,要对运动区域进行运动物体分割。获得的二值图像通常由于噪声和背景细微变化的干扰往往不一定都是运动目标的完整轮廓,因此要对二值图像做一定的处理,来得到完整的运动目标的区域。对此,本发明使用了形态学的基本方法来对检测结果进行去噪,最后得到运动目标的清晰地二值图像。具体地,本发明在多目标检测中主要运用了形态学的基本方法,有腐蚀、膨胀、开操作和闭操作四种。
所述腐蚀的定义为:
该式指出B对A的腐蚀是一个用z平移的B包含在A中的所有的点z的集合。腐蚀的结果会缩小或细化二值图像中的物体,腐蚀可以看作形态学滤波的操作,它可以从图像中将一些较小的图像细节滤除,因此使用腐蚀操作可以去除目标检测图像中的一些干扰信息。
所述膨胀的定义为:
这个公式是以B关于它的原点的映像,并且以z对映像进行平移为基础的。与腐蚀不同,膨胀会扩大或粗化二值图像中的物体,连通断裂的连通片,填补检测物体的内部空洞等。
腐蚀则会缩小或细化二值图像中的物体,膨胀会扩大或粗化二值图像中的物体。所述开操作和闭操作则是对图像进行膨胀和腐烛的级联操作。开操作会平滑物体的轮廓,断开较窄处并消除细的突起物,闭操作也会平滑物体的轮廓,但是会填充较窄处,消除小的孔洞。
所述开操作的步骤是先腐蚀后膨胀,定义如下:
所述闭操作的步骤是先膨胀后腐烛,定义如下:
重复利用开操作和闭操作,就能使二值图像噪声去除,留下更为精确的运动目标区域。
进一步地,所述步骤S3具体包括以下内容S3.1-S3.3。
S3.1利用Kalman滤波预测由步骤S2获得的运动前景目标在下一帧中的位置和大小;
S3.1.1利用基于积木的特征提取方法提取步骤S2获得的精确的二值图像中目标的外接矩形、重心坐标、周长的特征信息;
S3.1.2根据所述外接矩形、重心坐标、周长的特征信息,使用卡尔曼滤波跟踪预测由步骤S2获得的运动前景目标在下一帧中的位置和大小,根据该位置和大小获得目标的外接矩形。
S3.2采用基于Camshift算法进行目标跟踪;
S3.2.1根据步骤S3.1中Kalman滤波预测获得的外接矩形来初始化搜索窗口;
S3.2.2将该搜索窗口内的RGB图像转换成HSV图像,并提取该HSV图像的H分量;
S3.2.3计算该搜索窗口内的目标颜色直方图,归一化得到概率分布图I(x,y),并将其作为查找表,将H通道图像上每一个像素点用它的像素值所对应的概率代替,得到概率投影图;
S3.2.4根据搜索窗口的大小和位置,计算搜索窗口的质心位置(xc,yc):
其中,
S3.2.5根据M00重新调整搜索窗的大小,如公式(5)所示,移动窗口的中心位置到质心位置处;
其中,s表示窗口大小;
S3.2.6利用Meanshift算法判断中心位置是否收敛,若是不收敛,则返回到步骤S3.2.3,根据新的搜索窗口继续计算质心位置;直到收敛;若是收敛,则计算椭圆区域大小(w,l),此时窗口中心位置和大小为目标在当前帧中的质心位置和大小。
其中,搜索窗口的二阶矩为:
令:
因此可得目标椭圆区域的长轴和短轴的长度分别如公式(8)和(9)所示:
S3.3根据步骤S3.2的跟踪算法计算得到的目标面积和巴氏系数(Bhattacharyya系数)判断目标是否存在遮挡以及遮挡的程度,再根据目标是否存在遮挡以及遮挡的程度进行相应的目标跟踪。
S3.3.1若是目标没有被遮挡,输出利用步骤S3.2中基于Camshift的跟踪算法获得目标的位置,并作为Kalman滤波跟踪的输入,预测下一帧的目标位置和大小,并返回到步骤S3.2,继续目标跟踪。
本发明中采用巴氏系数ρ(g)来判断目标是否存在遮挡。
其中,qn为目标模型的颜色直方图,pn(g)为由步骤S3.2.1的跟踪过程获得的当前图像帧中目标的颜色直方图,n表示直方图分量,g为由步骤S3.2的跟踪过程获得的当前图像帧的目标搜索窗口的中心位置,ρ(g)的值在0-1之间。
设定一个阈值T2,如果ρ(g)≥T2,则说明目标没有被遮挡;如果ρ(g)<T2,则说明目标被遮挡,本实施例中T2取0.6。
S3.3.2若是ρ(g)<T2,则目标被遮挡,根据步骤S3.2中跟踪算法计算得到的目标面积判断目标遮挡的程度,再进行相应的目标跟踪。
为了判定目标遮挡程度,需要设定一个最小的目标面积amin,amin的确定方法为:在判定目标被遮挡时,之前m帧图像内目标没有被遮挡,如果m≥15,取15帧图像,如果m<15,取m帧图像,利用步骤S3.2.6计算得到这些所取图像帧的目标椭圆区域的大小(w,l)可获得目标面积,记为areai(i为所取图像帧的个数),从中选取一个最小值,这个最小值的40%为amin。
如果area>amin,则说明遮挡不严重,此时记录当前跟踪图像帧中目标位置和大小,不利用Camshift目标跟踪算法得到的目标位置跟新Kalman滤波器,而是将Kalman滤波跟踪方法根据上一帧图像预测得到当前图像帧的目标位置和大小作为Kalman预测器的输入,预测下一帧目标的位置和大小,获取下一帧图像,根据预测目标的位置和大小设置搜索窗口的位置和大小,返回到步骤S3.2,继续目标跟踪。
如果area≤amin,则说明遮挡严重,同时判断目标连续被遮挡的帧数累加值e是否小于极限值E0,如果e<E0,此时目标的质心位置为上一帧中Kalman滤波预测目标的位置,此时不利用Camshift目标跟踪算法得到的目标位置更新Kalman滤波器,而是将Kalman滤波跟踪方法根据上一帧图像预测得到当前图像帧的目标位置和大小作为Kalman预测器的输入,预测下一帧目标的位置和大小,获取下一帧图像,根据预测目标的位置和大小设置搜索窗口的位置和大小,并作为基于Camshift目标跟踪的输入,返回到步骤S3.2,继续目标跟踪;如果e≥E0,则说明目标被遮挡的时间过长,则终止目标跟踪。
本发明中提出的方法实际上可嵌入FPGA实现,开发具有智能多目标跟踪的高清摄像监控系统。以上实施例仅起到解释本发明技术方案的作用,本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此,仅对上述实施例中具体的公式及算法进行简单替换,但其实质内容仍与本发明所述方法相一致的技术方案,均应属于本发明的保护范围。

Claims (7)

1.一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,包括以下步骤:
S1采集视频图像,基于背景差法和帧差法融合检测出该视频图像的多运动目标;
S1.1初始化背景模型;
S1.2利用帧差法背景更新,然后将图像进行二值化;
S1.3利用背景差法背景差分,然后将图像进行二值化;
S2将二值化的图像进行进一步的去噪;
S3基于Kalman滤波器和Camshift算法进行多运动目标跟踪。
2.如权利要求1所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,
进一步地,所述步骤S1.1中,使用多帧图像平均法计算出初始背景图像Bk(x,y,t):
上式中,Ik(x,y,k)表示第k帧图像在点(x,y)处的像素值,N为统计的帧数;
进一步地,在步骤S1.2中,首先使用当前帧与前一帧进行差分,得到帧差结果,即前景目标,并对其进行二值化,如下式:
其中,I(x,y,t+1)、I(x,y,t)分别为当前帧和前一帧图像,|I(x,y,t+1)-I(x,y,t)|为差分图像,T′为阈值;
然后利用B′(x,y,t+1)来进行背景更新,如下式进行:
上式中,α为更新因子,表示背景更新的快慢;
进一步地,在步骤S1.3中,将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分,得到前景运动区域。
3.如权利要求1所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,所述步骤S2包括对步骤S1获得的二值图像重复进行形态学中的开操作和闭操作,使二值图像噪声去除。
4.如权利要求1所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,
所述步骤S3还包括以下内容:
S3.1利用Kalman滤波预测由步骤S2获得的运动前景目标在下一帧中的位置和大小;
S3.2采用基于Camshift算法进行目标跟踪;
S3.3根据步骤S3.2的跟踪算法计算得到的目标面积和巴氏系数(Bhattacharyya系数)判断目标是否存在遮挡以及遮挡的程度,再根据目标是否存在遮挡以及遮挡的程度进行相应的目标跟踪。
5.如权利要求4所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,所述步骤S3.1具体包括:
S3.1.1利用基于积木的特征提取方法提取步骤S2获得的精确的二值图像中目标的外接矩形、重心坐标、周长的特征信息;
S3.1.2根据所述外接矩形、重心坐标、周长的特征信息,使用卡尔曼滤波跟踪预测由步骤S2获得的运动前景目标在下一帧中的位置和大小,根据该位置和大小获得目标的外接矩形。
6.如权利要求5所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,所述步骤S3.2具体包括:
S3.2.1根据步骤S3.1中Kalman滤波预测获得的外接矩形来初始化搜索窗口;
S3.2.2将该搜索窗口内的RGB图像转换成HSV图像,并提取该HSV图像的H分量;
S3.2.3计算该搜索窗口内的目标颜色直方图,归一化得到概率分布图I(x,y),并将其作为查找表,将H通道图像上每一个像素点用它的像素值所对应的概率代替,得到概率投影图;
S3.2.4根据搜索窗口的大小和位置,计算搜索窗口的质心位置(xc,yc):
其中,
S3.2.5根据M00重新调整搜索窗的大小,如下面公式所示,移动窗口的中心位置到质心位置处;
其中,s表示窗口大小;
S3.2.6利用Meanshift算法判断中心位置是否收敛,若是不收敛,则返回到步骤S3.2.3,根据新的搜索窗口继续计算质心位置;直到收敛;若是收敛,则计算椭圆区域大小(w,l),此时窗口中心位置和大小为目标在当前帧中的质心位置和大小;
其中,搜索窗口的二阶矩为:
令:
因此可得目标椭圆区域的长轴和短轴的长度分别如下所示:
S3.3.1若是目标没有被遮挡,输出利用步骤S3.2中基于Camshift的跟踪算法获得目标的位置,并作为Kalman滤波跟踪的输入,预测下一帧的目标位置和大小,并返回到步骤S3.2,继续目标跟踪。
7.如权利要求5所述的一种基于多特征联合和Camshift算法相结合的多目标跟踪方法,其特征在于,所述步骤S3.3具体包括采用巴氏系数ρ(g)来判断目标是否存在遮挡,ρ(g)的值在0-1之间;设定一个阈值T2,如果ρ(g)≥T2,则说明目标没有被遮挡;如果ρ(g)<T2,则说明目标被遮挡;
若是目标没有被遮挡,输出利用步骤S3.2中基于Camshift的跟踪算法获得目标的位置,并作为Kalman滤波跟踪的输入,预测下一帧的目标位置和大小,并返回到步骤S3.2,继续目标跟踪;
若是ρ(g)<T2,则目标被遮挡,根据步骤S3.2中跟踪算法计算得到的目标面积判断目标遮挡的程度,再进行相应的目标跟踪。
CN201711402195.2A 2017-12-22 2017-12-22 基于多特征联合和Camshift算法结合的多目标跟踪方法 Pending CN108198206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711402195.2A CN108198206A (zh) 2017-12-22 2017-12-22 基于多特征联合和Camshift算法结合的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711402195.2A CN108198206A (zh) 2017-12-22 2017-12-22 基于多特征联合和Camshift算法结合的多目标跟踪方法

Publications (1)

Publication Number Publication Date
CN108198206A true CN108198206A (zh) 2018-06-22

Family

ID=62583517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711402195.2A Pending CN108198206A (zh) 2017-12-22 2017-12-22 基于多特征联合和Camshift算法结合的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108198206A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348190A (zh) * 2018-12-05 2019-02-15 吉林大学 基于视频监控的摔倒监控系统及方法
CN109521420A (zh) * 2018-12-20 2019-03-26 西安电子科技大学 基于多特征匹配的多目标跟踪方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法
CN109919053A (zh) * 2019-02-24 2019-06-21 太原理工大学 一种基于监控视频的深度学习车辆停车检测方法
CN110503665A (zh) * 2019-08-22 2019-11-26 湖南科技学院 一种改进Camshift的目标跟踪算法
CN110634152A (zh) * 2019-08-08 2019-12-31 西安电子科技大学 一种基于背景建模和多帧确认的目标检测方法
CN110689555A (zh) * 2019-10-12 2020-01-14 四川航天神坤科技有限公司 基于前景检测的kcf跟踪目标丢失检测方法及系统
CN110751669A (zh) * 2019-09-24 2020-02-04 武汉科技大学 一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法及系统
CN110910416A (zh) * 2019-11-20 2020-03-24 河北科技大学 运动障碍物跟踪方法、装置及终端设备
CN111667503A (zh) * 2020-06-12 2020-09-15 中国科学院长春光学精密机械与物理研究所 基于前景检测的多目标跟踪方法、装置、设备及存储介质
CN112183420A (zh) * 2020-10-09 2021-01-05 杭州电子科技大学 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法
CN115937263A (zh) * 2023-02-27 2023-04-07 南昌理工学院 基于视觉的目标跟踪方法、系统、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204643A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于多特征联合与Mean Shift算法的多目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204643A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于多特征联合与Mean Shift算法的多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李彤: "智能视颊监控下的多目标跟踪技术研究", 《中国博士学位论文全文数据库(电子期刊) 信息科技辑》 *
闫钧华 等: "基于 Kalman 预测器的改进的 CAMShift 目标跟踪", 《中国惯性技术学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348190A (zh) * 2018-12-05 2019-02-15 吉林大学 基于视频监控的摔倒监控系统及方法
CN109521420B (zh) * 2018-12-20 2022-10-04 西安电子科技大学 基于多特征匹配的多目标跟踪方法
CN109521420A (zh) * 2018-12-20 2019-03-26 西安电子科技大学 基于多特征匹配的多目标跟踪方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法
CN109919053A (zh) * 2019-02-24 2019-06-21 太原理工大学 一种基于监控视频的深度学习车辆停车检测方法
CN110634152A (zh) * 2019-08-08 2019-12-31 西安电子科技大学 一种基于背景建模和多帧确认的目标检测方法
CN110634152B (zh) * 2019-08-08 2023-07-04 西安电子科技大学 一种基于背景建模和多帧确认的目标检测方法
CN110503665A (zh) * 2019-08-22 2019-11-26 湖南科技学院 一种改进Camshift的目标跟踪算法
CN110751669A (zh) * 2019-09-24 2020-02-04 武汉科技大学 一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法及系统
CN110689555B (zh) * 2019-10-12 2022-07-22 四川航天神坤科技有限公司 基于前景检测的kcf跟踪目标丢失检测方法及系统
CN110689555A (zh) * 2019-10-12 2020-01-14 四川航天神坤科技有限公司 基于前景检测的kcf跟踪目标丢失检测方法及系统
CN110910416A (zh) * 2019-11-20 2020-03-24 河北科技大学 运动障碍物跟踪方法、装置及终端设备
CN111667503A (zh) * 2020-06-12 2020-09-15 中国科学院长春光学精密机械与物理研究所 基于前景检测的多目标跟踪方法、装置、设备及存储介质
CN112183420A (zh) * 2020-10-09 2021-01-05 杭州电子科技大学 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法
CN112183420B (zh) * 2020-10-09 2024-04-19 杭州电子科技大学 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法
CN115937263A (zh) * 2023-02-27 2023-04-07 南昌理工学院 基于视觉的目标跟踪方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108198206A (zh) 基于多特征联合和Camshift算法结合的多目标跟踪方法
CN105678803B (zh) 基于w4算法和帧间差分的视频监控目标检测方法
Yang et al. Real-time multiple objects tracking with occlusion handling in dynamic scenes
CN105761261B (zh) 一种检测摄像头遭人为恶意破坏的方法
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN106851049A (zh) 一种基于视频分析的场景变更检测方法及装置
CN102663362B (zh) 一种基于灰度特征的运动目标检测方法
EP2549759A1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
CN108198205A (zh) 一种基于Vibe和Camshift算法的目标跟踪方法
Liu et al. Moving object detection and tracking based on background subtraction
CN106851302B (zh) 一种基于帧内编码压缩域的监控视频运动目标检测方法
CN112927262B (zh) 一种基于视频的相机镜头遮挡检测方法及系统
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
CN112561946B (zh) 一种动态目标检测方法
CN113297926A (zh) 行为检测识别方法及系统
WO2016019973A1 (en) Method for determining stationary crowds
Tang et al. Background subtraction using running Gaussian average and frame difference
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
Ekinci et al. Background estimation based people detection and tracking for video surveillance
CN110349178B (zh) 一种人体异常行为检测和识别系统及方法
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Kim et al. Background subtraction using generalised Gaussian family model
CN112561957B (zh) 一种目标对象的状态跟踪方法及装置
Fu Particle Filter Pedestrian Tracking Algorithm Based on Selected Region RGB Histogram
Fuentes et al. Tracking people for automatic surveillance applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180622