CN113379789A - 一种复杂环境下运动目标跟踪方法 - Google Patents

一种复杂环境下运动目标跟踪方法 Download PDF

Info

Publication number
CN113379789A
CN113379789A CN202110653186.0A CN202110653186A CN113379789A CN 113379789 A CN113379789 A CN 113379789A CN 202110653186 A CN202110653186 A CN 202110653186A CN 113379789 A CN113379789 A CN 113379789A
Authority
CN
China
Prior art keywords
pixel
target
image
pixel point
search window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110653186.0A
Other languages
English (en)
Other versions
CN113379789B (zh
Inventor
刘常杰
胡成成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110653186.0A priority Critical patent/CN113379789B/zh
Publication of CN113379789A publication Critical patent/CN113379789A/zh
Application granted granted Critical
Publication of CN113379789B publication Critical patent/CN113379789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂环境下运动目标跟踪方法,其包括:基于核密度估计,建立图像帧的背景模型,其中,所述背景模型包括像素点的含有核函数的HLBP特征模型;基于所述背景模型,获得图像帧序列中包含运动目标的目标区域颜色直方图;将所述颜色直方图作为改进的CAMShift算法的输入,经所述改进的CAMShift算法获得运动目标定位。本发明可在运动目标检测与跟踪的过程中同时满足实时性、准确性、稳定性和可靠性要求,同时该方法计算量较少,可克服光照变化、背景物体抖动、噪声干扰、背景色干扰、目标被遮挡等多种问题,适应多种复杂多变的场景。

Description

一种复杂环境下运动目标跟踪方法
技术领域
本发明涉及运动目标跟踪方法。
背景技术
运动目标跟踪是计算机视觉领域的一个重要问题,被广泛地应用于智能视频监控、智能交通管理、军事侦察等领域,它是指利用图像处理等技术对视频图像序列中的运动目标进行处理、分析和理解,从而找到所感兴趣的目标后续帧的位置的大小的过程。从目标模型角度区分,运动目标跟踪可以分为生成式模型方法和判别式模型方法。生成式模型方法在当前帧对目标区域建模,在下一帧寻找与模型最相似的区域作为预测位置,如卡尔曼滤波,MeanShift算法等。相比于生成式模型方法,判别式模型方法区分目标与背景,设计特征和分类器,从而在后续帧中寻找最优区域,比较经典的如相关滤波的方法。
目前主流的目标跟踪算法都是基于检测与跟踪相结合的方法。常见的运动目标检测方法包括背景减除法、光流场法和帧差法等,但在实际应用中,光照变化、摄像机抖动、遮挡、尺度变换等情况经常存在,单一的运动目标检测方法难以有效地适应室外复杂多变的场景下。
如利用运动目标沿着时间轴方向变化的光流特性来获得运动参数的光流法,其对噪声、遮挡等因素很敏感,计算量大,难以实现实时处理;或如利用背景的参数模型来近似背景图像的像素值,将当前帧与背景图像进行差分比较实现对运动区域的提取的背景减除法,其在光照变化、树叶抖动、摄像机抖动、噪声干扰等情况存在的情况下,具有应用局限性;或如利用连续两帧或多帧图像通过帧间相减和阈值变换实现的帧差法,其提取了目标的轮廓边界,目标内部产生空洞,从而会造成目标提取不完整。
因此如何保证在运动目标检测与跟踪的过程中满足实时性、准确性和稳定性要求,是一个亟待解决的问题。
发明内容
本发明的目的在于提出一种新的运动目标跟踪方法,其可在运动目标检测与跟踪的过程中同时满足实时性、准确性、稳定性和可靠性要求,同时该方法计算量较少,可克服光照变化、背景物体抖动、噪声干扰、背景色干扰、目标被遮挡等多种问题,适应多种复杂多变的场景。
本发明的技术方案如下:
一种复杂环境下运动目标跟踪方法,其包括:
获得视频数据的图像帧序列;
基于核密度估计,建立图像帧的背景模型,其中,所述背景模型包括像素点的含有核函数的HLBP特征模型;
基于所述背景模型,获得图像帧序列中包含运动目标的目标区域颜色直方图;
将所述颜色直方图作为改进的CAMShift算法的输入,经所述改进的CAMShift算法获得运动目标定位。
其中,所述HLBP特征是指基于Haar特性的LBP(Local Binary Pattern)纹理特征,即将Haar特征运用LBP方法描述出来的一种Haar型特征局部二元模式(Haar-like LocalBinary Pattern)。
根据本发明的一些优选实施方式,所述跟踪方法还包括对获得的所述图像帧序列进行预处理;
根据本发明的一些优选实施方式,所述跟踪方法还包括对所述改进的CAMShift算法得到的搜索结果进行抗遮挡处理,得到运动目标位置。
根据本发明的一些优选实施方式,所述背景模型还包括像素点的含有核函数的灰度特征模型和/或像素点在其邻域窗口内的含有核函数的灰度特征模型。
根据本发明的一些优选实施方式,所述颜色直方图的获得包括:
将当前帧图像与经所述背景模型获得的图像序列的像素二值图进行相与运算,获得只包括运动目标区域,其余区域灰度值为0的相与图像;
将所述相与图像转化至HSV空间,提取其H分量及V分量建立颜色直方图;
其中,所述像素二值图为将图像帧序列中,经所述背景模型确定为背景的像素点的灰度设置为0、将经所述背景模型确定为前景的像素点的灰度设置为255得到。
根据本发明的一些优选实施方式,所述改进的CAMShift算法包括:将目标区域内不同位置处的像素点赋予不同的权重。
根据本发明的一些优选实施方式,所述改进的CAMShift算法包括:在迭代过程中,下一帧图像的搜索窗口仅在上次计算的预测结果附近进行目标搜索。
根据本发明的一些优选实施方式,通过所述改进的CAMShift算法获得运动目标定位的过程包括:
将所述颜色直方图作为改进的CAMShift算法的输入,初始化搜索窗口;
将所述颜色直方图进行反向投影,计算其含有权重分配的颜色概率分布,并由此获得目标区域颜色概率分布图;
根据所述目标区域颜色概率分布图,在目标区域和/或目标区域附近选择搜索窗口,计算所述搜索窗口的零阶距和一阶距,进而确定搜索窗口的质心;
移动搜索窗口的中心至其质心处,并在不同位置处重复以上计算与移动过程,至搜索窗口中心与质心间的距离小于预设阈值Td或达到迭代次数,得到收敛的搜索结果;
通过收敛的搜索结果更新进行所述抗遮挡处理的滤波器,并通过更新后的滤波器对下一帧图像进行预测;
通过当前帧迭代得到的质心坐标在下一帧中更新CAMShift算法中的尺度参数并调整搜索窗口,下一帧仅在所述滤波器预测结果附近进行目标搜索。
根据本发明的一些优选实施方式,所述背景模型的建立包括:
进行基于核函数的像素点灰度特征建模,得到每个像素点的像素灰度概率密度函数P1
选择一个邻域窗口,进行基于核函数的该邻域窗口内的像素点灰度特征建模,获得该邻域窗口内的全部像素点的总灰度概率密度函数P2
进行基于核函数的像素点HLBP特征建模,获得其在HLBP特征中的观测模式的概率密度函数P3
选择不同特征的概率阈值T1,T2,T3,当满足条件P1(xt)>T1且P2(pt)>T2且P3(pt)>T3时,判定该像素点为背景;反之,判定其为前景。
根据本发明的一些优选实施方式,所述像素灰度概率密度函数P1通过下式得到:
Figure BDA0003112606990000041
其中,xt表示图像中横坐标为x、纵坐标为y的像素点(x,y)在t时刻的像素灰度,xi表示该像素点沿时间轴排列的第i个样本的像素灰度,Kσ(x)表示核函数,且满足Kσ(x)≥0,∫Kσ(x)dx=1,其中σ表示核窗宽。
根据本发明的一些优选实施方式,所述总灰度概率密度函数P2通过下式得到:
Figure BDA0003112606990000042
其中,xt,m表示t时刻以像素点(x,y)为中心点的领域窗口内任一像素点m的像素灰度值,xi,m表示该像素点m沿时间轴排列的第i个样本的像素灰度值。
根据本发明的一些优选实施方式,所述观测模式的概率密度函数P3通过下式得到:
Figure BDA0003112606990000043
其中,
Figure BDA0003112606990000044
表示两种HLBP模式pt、pi之间的卡方系数,pt表示像素点(x,y)在t时刻的观测模式,pi表示该像素点沿时间轴排列的第i个样本的观测模式。
根据本发明的一些优选实施方式,所述权重分配通过以下权重函数实现:
Figure BDA0003112606990000045
其中,k(x)表示核函数的轮廓函数,||.||表示模长,x表示像素点坐标;
则,基于该权重函数的目标区域的颜色概率分布qu(s0)如下:
Figure BDA0003112606990000046
其中,s0表示目标区域的中心位置像素点的灰度值,C表示一个标准化常量系数,满足
Figure BDA0003112606990000051
m表示颜色特征空间特征值的个数,b(si)表示灰度值索引函数,u表示目标模型的特征值,k(.)表示前述权重函数,h表示核函数的带宽,si表示该区域中第i个像素点的灰度值;
基于该权重函数的搜索窗口区域内的颜色概率分布pu(s)如下:
Figure BDA0003112606990000052
其中,s表示搜索窗口区域内中心位置像素点的灰度值,Ch表示一个标准化常量,且
Figure BDA0003112606990000053
根据本发明的一些优选实施方式,所述质心的位置(ui,vi)通过以下模型得到:
Figure BDA0003112606990000054
其中,M00表示搜索窗口的零阶距,M10表示u的一阶矩,M01表示v的一阶矩,且:
Figure BDA0003112606990000055
Figure BDA0003112606990000056
Figure BDA0003112606990000057
其中,(u,v)表示搜索窗口中像素点坐标,其中,u表示该像素点的横坐标,v表示该像素点的纵坐标,I(u,v)表示反向投影图中(u,v)对应的灰度值。
根据本发明的一些优选实施方式,所述抗遮挡处理包括:
通过Kalman滤波器获得目标的预测值,其中,预测方程设置如下:
Figure BDA0003112606990000058
Figure BDA0003112606990000059
滤波器的更新方程设置如下:
Figure BDA0003112606990000061
Figure BDA0003112606990000062
Figure BDA0003112606990000063
其中,
Figure BDA0003112606990000064
表示第k帧先验状态估计值,
Figure BDA0003112606990000065
表示第k帧和第k-1帧后验状态估计值,uk-1表示第k-1帧的控制增益,zk表示第k帧的测量值,A表示状态转移矩阵,B表示系统作用矩阵,P表示观测噪声协方差,Q表示过程激励噪声协方差,Kk表示滤波器增益,H表示观测矩阵,R表示测量噪声协方差;
获得当前目标区域与候选区域的巴氏距离d(s),如下:
Figure BDA0003112606990000066
其中,B(.)表示巴氏系数,pu(s)表示所述搜索窗口区域内的颜色概率分布,qu(s0)表示所述目标区域的颜色概率分布;
选择检测阈值TB,当TB>d(s)时,认为目标未被遮挡,则使用所述改进的CAMShift算法进行下一帧图像的目标搜索;否则,则认为目标发生遮挡干扰,将本次所得预测值作为新的目标位置,在预测位置附近通过所述改进的CAMShift算法对下一帧图像进行目标搜索。
本发明具备以下有益效果:
(1)本发明采用非参数核密度估计的方法,通过估计属于背景的概率实现运动目标的初步分析,相比于传统的帧差法、背景减除法等,提高了运动目标检测的准确性与可靠性。
(2)本发明在核密度估计的基础上,结合图像的HLBP特征,将Haar型局部二值纹理特征模式和颜色特征结合以用于核密度估计背景建模,有效地增强背景模型的噪声鲁棒性和灰度尺度不变性。
(3)本发明在核密度估计背景建模的基础上,将不包含背景颜色信息的目标区域窗口作为CAMShift算法的输入,有效地去除背景颜色信息的干扰;同时结合滤波算法,克服了运动目标运动过程中被遮挡等干扰;
(4)尽管CAMShift算法可以自动调整跟踪窗口大小,适应多尺度的跟踪需求,但当目标发生遮挡时,传统的CAMShift算法便会导致跟踪失败或者跟踪错误,同时由于仅基于色彩信息建立目标直方图,所以当目标颜色与背景颜色相近时,会导致下一帧搜索窗口出错;另一方面传统的基于核密度估计的背景建模与运动目标检测方法中,仅使用了图像的色彩或者灰度信息,其并不能满足实际的复杂场景的动/静目标分析需求,因此本发明在核密度估计建模中引入了新的HLBP特征,在优选方式中更是结合了多种特征进行运动目标的提取,并进一步采取了抗遮挡处理,可显著地提升目标跟踪的准确性并满足多种场景、多种运动形态下的跟踪需求。
附图说明
图1为本发明的一种具体实施流程图。
图2为本发明的一种具体建立背景模型的流程图。
图3为本发明的一种具体获得目标区域颜色直方的流程图。
图4为本发明的一种具体的运动目标跟踪过程流程图。
图5为本发明的一种具体的抗遮挡处理流程图。
图6为本发明实施例1所述建模后获得的背景图。
图7为本发明实施例1所述建模后获得的二值图。
图8为本发明实施例1所述当前帧与二值图相与后的相与图像。
图9为本发明实施例1所述视频图像序列的第14帧的跟踪效果图。
图10为本发明实施例1所述视频图像序列的第66帧的跟踪效果图。
图11为本发明实施例1所述视频图像序列的第171帧的跟踪效果图。
图12为本发明实施例1所述视频图像序列的第302帧的跟踪效果图。
图13为本发明实施例1所述视频图像序列的第459帧的跟踪效果图
具体实施方式
以下结合实施例和附图对本发明进行详细描述,但需要理解的是,所述实施例和附图仅用于对本发明进行示例性的描述,而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
根据本发明的技术方案,一种具体的运动目标跟踪方法实施方式包括如附图1所示的流程,具体如下:
S1对读取得到的图像进行预处理,获得预处理后的图像序列;
更具体的,其可包括如利用相机采集一段视频图像序列,对视频图像序列进行滤波、图像增强等预处理,去除图像噪声干扰,得到便于后续处理的视频图像序列。
S2基于预处理后的图像序列中像素的灰度特征及HLBP纹理特征,通过非参数估计中的核密度估计算法建立图像的背景模型,并分割前景与背景,获得含有运动目标的前景像素点的集合及图像的像素二值图;
更具体的,其可如附图2所示的流程实现,包括:
S21在所得预处理后的图像中,选定N帧视频图像序列作为样本,则沿着时间轴方向,可获得每个像素点的N个样本;
S22对每个像素点(x,y)进行基于核函数的灰度特征建模,可得到如下的每个像素点的像素灰度概率密度函数P1
Figure BDA0003112606990000081
其中,xt表示图像中横坐标为x、纵坐标为y的像素点(x,y)在t时刻的像素灰度,xi表示该像素点沿时间轴排列的第i个样本的像素灰度,Kσ(x)表示核函数,可进一步选择如Epanechnikov核函数、高斯核函数、三角核函数等,且满足Kσ(x)≥0,∫Kσ(x)dx=1,其中σ表示核窗宽;
S23选择一个大小为n×n的邻域窗口N(x,y),对每个像素点(x,y)进行基于核函数的该邻域窗口内的灰度特征建模,获得其邻域窗口内的总灰度概率密度函数P2,如下:
Figure BDA0003112606990000082
其中,xt,m表示t时刻以像素点(x,y)为中心点的领域窗口内任一像素点m的像素灰度值,xi,m表示该像素点m沿时间轴排列的第i个样本的像素灰度值;
S24对每个像素点(x,y)进行基于核函数的HLBP特征(即其在Haar型特征的基础上结合LBP特征得到的图像特征)建模,获得其在t时刻的观测模式pt的概率密度函数P3,如下:
Figure BDA0003112606990000091
其中,
Figure BDA0003112606990000092
表示两种HLBP模式pt、pi之间的卡方系数,pt表示像素点(x,y)在t时刻的观测模式,pi表示该像素点沿时间轴排列的第i个样本的观测模式;
S25选择不同特征的概率阈值T1,T2,T3,当满足条件P1(xt)>T1且P2(xt,n)>T2且P3(pt)>T3时,判定该像素点为背景;反之,判定其为前景;
S26若当前帧像素点(x,y)被判断为背景,则将其更新至背景样本集尾部,同时从样本队列中删除原来的队头样本;
S27重复上述过程S21-S26至获得图像中全部背景像素点和前景像素点;
S28设置全部背景像素点的像素值为0,全部前景像素点的像素值为255,获得像素二值图像,完成所述检测。
S3基于步骤S2获得前景像素点的集合及像素二值图,建立包括运动目标在内的目标区域颜色直方图;
更具体的,所述颜色直方图的建立可通过如附图3所示的流程实现,其包括:
S31根据步骤S28得到的像素二值图计算运动目标轮廓的最小外接矩形,将此包含运动目标的最小外接矩形区域作为目标区域,得到该矩形区域的四个端点坐标和中心点坐标;
S32将当前帧图像与经步骤S2得到的所述像素二值图进行如下的相与运算,获得相与图像:
255&I(x,y)=I(x,y);0&I(x,y)=0;
其中,I(x,y)表示当前帧图像中某像素点(x,y)的灰度值;
经上述相与运算后,所得相与图像只包括运动目标区域,其余区域灰度值为0;
S33将所得相与图像转化至HSV空间,并提取其转化后的H分量,且基于相与后的图像不包含背景颜色信息,在提取H分量的基础上,提取目标区域内的V分量,建立目标区域的颜色直方图。
S4基于所得目标区域的颜色直方图,通过改进的结合了Kalman滤波抗遮挡策略的CAMShift算法进行运动目标跟踪;更具体的,所述运动目标跟踪可通过如附图4所示的流程实现,其包括:
S41将经步骤S3获得的不包含背景颜色信息的目标区域作为改进CAMShift算法的输入,初始化搜索窗口;
S42将所得颜色直方图进行反向投影,计算其含权重分配的颜色概率分布,得到颜色概率分布图,其中,权重设置为目标区域内不同位置的像素具有不同的颜色权重,距离中心越远的像素颜色贡献度越低,更具体的,权重函数可设置如下:
Figure BDA0003112606990000101
其中,k(x)表示核函数的轮廓函数,||.||表示模长,x表示像素点;
则基于该权重函数的目标区域的颜色概率分布qu(s0)为:
Figure BDA0003112606990000102
其中,s0表示目标区域的中心位置像素点的灰度值,C表示一个标准化常量系数,满足
Figure BDA0003112606990000103
m表示颜色特征空间特征值的个数,b(si)表示灰度值索引函数,u表示目标模型的特征值,k(.)表示前述权重函数,h表示核函数的带宽;
则基于该权重函数的可能包含目标的搜索窗口区域内的颜色概率分布pu(s)为:
Figure BDA0003112606990000104
其中,s表示搜索窗口区域内中心位置像素点的灰度值,Ch表示一个标准化常量,且
Figure BDA0003112606990000111
S43根据步骤S42得到的颜色概率分布图,在目标区域和/或目标区域附近选择搜索窗口,计算搜索窗口的零阶距和一阶矩,获得搜索窗口的质心与大小;
其中,搜索窗口的零阶矩和一阶矩可分别通过下式计算得到:
Figure BDA0003112606990000112
Figure BDA0003112606990000113
Figure BDA0003112606990000114
其中,(u,v)表示搜索窗口中像素点坐标,其中,u表示该像素点的横坐标,v表示该像素点的纵坐标,I(u,v)表示反向投影得到的颜色概率分布图中像素点(u,v)对应的灰度值,M00表示搜索窗口的零阶距,M10表示u的一阶矩,M01表示v的一阶矩;
由此得到的此时搜索窗口质心的位置(ui,vi)为:
Figure BDA0003112606990000115
S44移动搜索窗口的中心到其质心处,重复步骤S43,直至搜索窗口中心与质心间的欧式距离小于预设阈值Td或达到迭代次数,得到收敛的搜索结果;
S45通过收敛的搜索结果更新进行抗遮挡处理的Kalman滤波器,并通过更新后的Kalman滤波器对下一帧图像进行预测;
S46利用当前帧迭代得到的质心坐标在下一帧中更新尺度参数并调整搜索窗口,更新或调整以使下一帧仅在Kalman滤波器预测结果附近进行CAMShift目标搜索为标准;
S5基于跟踪结果与抗遮挡处理,输出运动目标的位置和/或大小;
其中,所述抗遮挡处理除Kalman滤波外,还可通过如粒子滤波等滤波方式实现。
更具体的,所述抗遮挡处理可通过如附图5所示的流程实现,其包括:
S51记录步骤S45得到Kalman滤波器的预测值,其中Kalman滤波器的预测方程和更新方程设置如下:
预测方程:
Figure BDA0003112606990000121
Figure BDA0003112606990000122
更新方程:
Figure BDA0003112606990000123
Figure BDA0003112606990000124
Figure BDA0003112606990000125
其中,
Figure BDA0003112606990000126
表示第k帧先验状态估计值,
Figure BDA0003112606990000127
表示第k帧和第k-1帧后验状态估计值,uk-1表示第k-1帧的控制增益,zk表示第k帧的测量值,A表示状态转移矩阵,B表示系统作用矩阵,P表示观测噪声协方差,Q表示过程激励噪声协方差,Kk表示卡尔曼增益,H表示观测矩阵,R表示测量噪声协方差,
Figure BDA0003112606990000128
表示第k帧的先验估计协方差;
其中,在具体的实施例中,系统作用矩阵B、第k-1帧的控制增益uk-1可设置为0,系统状态的初始值可设置为0,初始协方差
Figure BDA0003112606990000129
可设置为10-6,假设运动目标在相邻两帧时间内(间隔时间为Δt)进行匀速运动,则状态转移矩阵A和观测矩阵H分别可设置如:
Figure BDA00031126069900001210
系统的过程激励噪声协方差Q和测量噪声协方差分别R可设置如:
Figure BDA00031126069900001211
在第k帧中,利用第k-1帧后验状态估计值
Figure BDA00031126069900001212
计算第k帧先验状态估计值
Figure BDA00031126069900001213
同时将CAMShift算法得到的收敛的搜索结果,即运动目标的质心位置作为观测值更新Kalman滤波算法中第k帧的测量值zk,利用zk来修正
Figure BDA00031126069900001214
以得到第k帧后验状态估计值
Figure BDA0003112606990000131
S52通过巴氏距离判断目标是否发生遮挡,其中,巴氏距离d(s)为:
Figure BDA0003112606990000132
其中,B(.)表示巴氏系数,pu(s)表示候选区域颜色概率分布,qu(s0)表示目标区域颜色概率分布;
S53选择阈值TB,当TB>d(s)时,认为目标未被遮挡,则使用所述改进的CAMShift算法进行下一帧图像的目标搜索;否则,则认为目标发生遮挡干扰,将Kalman滤波器的预测结果作为新的目标位置,下一帧在预测位置附近利用所述改进的CAMShift算法进行目标搜索。
S6获取下一帧图像,重复步骤S3~S5,在此过程中更新搜索窗口位置与大小,实现对视频图像序列中的运动目标的自动持续地跟踪。
实施例1
通过上述具体实施方式中的具体方案进行如下的仿真实验:
以柜子、盆栽、装饰物等放置物品作为背景,用细绳系住瓶装水,瓶装水在细绳的带动下沿着各方向来回晃动,在晃动的过程中,盆栽的叶子会因为瓶装水的接触擦过而晃动,瓶装水的角度、尺度也会发生变化,从而模拟复杂背景下的目标运动场景。
利用相机采集视频图像序列,在Visual Studio2015平台下,通过C++语言和OpenCV3.2.0库对本发明所涉及的方法进行验证。
其根据背景模型可得到如图6所示的背景图(为灰度图像)及图7所示的像素二值图(为黑白图像),进一步地,所得当前帧与二值图的相与图如图8(原始图像中背景为黑色、运动的物品为彩色)所示,所得视频图像序列的第14帧、第66帧、第171帧、第302帧和第459帧的跟踪效果图分别如图9-13(原始图像中各部分均为彩色)所示。
可以看出,本发明的背景建模与运动目标检测更加具有鲁棒性,目标跟踪的准确性与可靠性均有所提高。
以上实施例仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下的改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种复杂环境下运动目标跟踪方法,其特征在于:其包括:
获得视频数据的图像帧序列;
基于核密度估计,建立图像帧的背景模型,其中,所述背景模型包括像素点的含有核函数的HLBP特征模型;
基于所述背景模型,获得图像帧序列中包含运动目标的目标区域颜色直方图;
将所述颜色直方图作为改进的CAMShift算法的输入,经所述改进的CAMShift算法获得运动目标定位;
优选的,其还包括对获得的所述图像帧序列进行预处理;
优选的,其还包括对所述改进的CAMShift算法得到的搜索结果进行抗遮挡处理,得到运动目标位置。
2.根据权利要求1所述的跟踪方法,其特征在于:所述背景模型还包括像素点的含有核函数的灰度特征模型和/或像素点在其邻域窗口内的含有核函数的灰度特征模型。
3.根据权利要求1所述的跟踪方法,其特征在于:所述颜色直方图的获得包括:
将当前帧图像与经所述背景模型获得的图像序列的像素二值图进行相与运算,获得只包括运动目标区域,其余区域灰度值为0的相与图像;
将所述相与图像转化至HSV空间,提取其H分量及V分量建立颜色直方图;
其中,所述像素二值图为将图像帧序列中,经所述背景模型确定为背景的像素点的灰度设置为0、将经所述背景模型确定为前景的像素点的灰度设置为255得到。
4.根据权利要求1所述的跟踪方法,其特征在于:所述改进的CAMShift算法包括:将目标区域内不同位置处的像素点赋予不同的权重,和/或在迭代过程中,下一帧图像的搜索窗口仅在上次计算的预测结果附近进行目标搜索。
5.根据权利要求4所述的跟踪方法,其特征在于:通过所述改进的CAMShift算法获得运动目标定位的过程包括:
将所述颜色直方图作为改进的CAMShift算法的输入,初始化搜索窗口;
将所述颜色直方图进行反向投影,计算其含有权重分配的颜色概率分布,并由此获得目标区域颜色概率分布图;
根据所述目标区域颜色概率分布图,在目标区域和/或目标区域附近选择搜索窗口,计算所述搜索窗口的零阶距和一阶距,进而确定搜索窗口的质心;
移动搜索窗口的中心至其质心处,并在不同位置处重复以上计算与移动过程,至搜索窗口中心与质心间的距离小于预设阈值Td或达到迭代次数,得到收敛的搜索结果;
通过收敛的搜索结果更新进行所述抗遮挡处理的滤波器,并通过更新后的滤波器对下一帧图像进行预测;
通过当前帧迭代得到的质心坐标在下一帧中更新CAMShift算法中的尺度参数并调整搜索窗口,下一帧仅在所述滤波器预测结果附近进行目标搜索。
6.根据权利要求1-5中任一项所述的跟踪方法,其特征在于:所述背景模型的建立包括:
进行基于核函数的像素点灰度特征建模,得到每个像素点的像素灰度概率密度函数P1
选择一个邻域窗口,进行基于核函数的该邻域窗口内的像素点灰度特征建模,获得该邻域窗口内的全部像素点的总灰度概率密度函数P2
进行基于核函数的像素点HLBP特征建模,获得其在HLBP特征中的观测模式的概率密度函数P3
选择不同特征的概率阈值T1,T2,T3,当满足条件P1(xt)>T1且P2(xt,n)>T2且P3(pt)>T3时,判定该像素点为背景;反之,判定其为前景。
7.根据权利要求6所述的跟踪方法,其特征在于:所述像素灰度概率密度函数P1通过下式得到:
Figure FDA0003112606980000021
其中,xt表示图像中横坐标为x、纵坐标为y的像素点(x,y)在t时刻的像素灰度,xi表示该像素点沿时间轴排列的第i个样本的像素灰度,Kσ(x)表示核函数,且满足Kσ(x)≥0,∫Kσ(x)dx=1,其中σ表示核窗宽;
和/或,所述总灰度概率密度函数P2通过下式得到:
Figure FDA0003112606980000031
其中,xt,m表示t时刻以像素点(x,y)为中心点的领域窗口内任一像素点m的像素灰度值,xi,m表示该像素点m沿时间轴排列的第i个样本的像素灰度值;
和/或,所述观测模式的概率密度函数P3通过下式得到:
Figure FDA0003112606980000032
其中,
Figure FDA0003112606980000033
表示两种HLBP模式pt、pi之间的卡方系数,pt表示像素点(x,y)在t时刻的观测模式,pi表示该像素点沿时间轴排列的第i个样本的观测模式。
8.根据权利要求7所述的跟踪方法,其特征在于:所述改进的CAMShift算法包括:将所述颜色直方图进行反向投影,计算其含有权重分配的颜色概率分布,并由此获得目标区域颜色概率分布图,其中:
所述权重分配通过以下权重函数实现:
Figure FDA0003112606980000034
其中,k(x)表示核函数的轮廓函数,||·||表示模长,x表示像素点坐标;
则,基于该权重函数的目标区域的颜色概率分布qu(s0)如下:
Figure FDA0003112606980000035
其中,s0表示目标区域的中心位置像素点的灰度值,c表示一个标准化常量系数,满足
Figure FDA0003112606980000036
m表示颜色特征空间特征值的个数,b(si)表示灰度值索引函数,u表示目标模型的特征值,k(.)表示前述权重函数,h表示核函数的带宽,si表示该区域中第i个像素点的灰度值;
基于该权重函数的搜索窗口区域内的颜色概率分布pu(s)如下:
Figure FDA0003112606980000041
其中,s表示搜索窗口区域内中心位置像素点的灰度值,Ch表示一个标准化常量,且
Figure FDA0003112606980000042
9.根据权利要求8所述的跟踪方法,其特征在于:所述改进的CAMShift算法包括:根据所述目标区域颜色概率分布图,在目标区域和/或目标区域附近选择搜索窗口,计算所述搜索窗口的零阶距和一阶矩,获得搜索窗口的质心,其中,所述质心的位置(ui,vi)通过以下模型得到:
Figure FDA0003112606980000043
其中,M00表示搜索窗口的零阶距,M10表示u的一阶矩,M01表示v的一阶矩,且:
Figure FDA0003112606980000044
Figure FDA0003112606980000045
Figure FDA0003112606980000046
其中,(u,v)表示搜索窗口中像素点坐标,其中,u表示该像素点的横坐标,v表示该像素点的纵坐标,I(u,v)表示反向投影图中(u,v)对应的灰度值。
10.根据权利要求8所述的跟踪方法,其特征在于:所述抗遮挡处理包括:
通过Kalman滤波器获得目标的预测值,其中,预测方程设置如下:
Figure FDA0003112606980000047
Figure FDA0003112606980000048
滤波器的更新方程设置如下:
Figure FDA0003112606980000049
Figure FDA00031126069800000410
Figure FDA00031126069800000411
其中,
Figure FDA0003112606980000051
表示第k帧先验状态估计值,
Figure FDA0003112606980000052
表示第k帧和第k-1帧后验状态估计值,uk-1表示第k-1帧的控制增益,zk表示第k帧的测量值,A表示状态转移矩阵,B表示系统作用矩阵,P表示观测噪声协方差,Q表示过程激励噪声协方差,Kk表示滤波器增益,H表示观测矩阵,R表示测量噪声协方差;
获得当前目标区域和候选区域的巴氏距离d(s),如下:
Figure FDA0003112606980000053
其中,B(.)表示巴氏系数,pu(s)表示所述搜索窗口区域内的颜色概率分布,qu(s0)表示所述目标区域的颜色概率分布;
选择检测阈值TB,当TB>d(s)时,认为目标未被遮挡,则使用所述改进的CAMShift算法进行下一帧图像的目标搜索;否则,则认为目标发生遮挡干扰,将本次所得预测值作为新的目标位置,在预测位置附近通过所述改进的CAMShift算法对下一帧图像进行目标搜索。
CN202110653186.0A 2021-06-11 2021-06-11 一种复杂环境下运动目标跟踪方法 Active CN113379789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110653186.0A CN113379789B (zh) 2021-06-11 2021-06-11 一种复杂环境下运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110653186.0A CN113379789B (zh) 2021-06-11 2021-06-11 一种复杂环境下运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113379789A true CN113379789A (zh) 2021-09-10
CN113379789B CN113379789B (zh) 2022-12-27

Family

ID=77573870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110653186.0A Active CN113379789B (zh) 2021-06-11 2021-06-11 一种复杂环境下运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113379789B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808168A (zh) * 2021-09-18 2021-12-17 上海电机学院 一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法
CN116205914A (zh) * 2023-04-28 2023-06-02 山东中胜涂料有限公司 一种防水涂料生产智能监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930558A (zh) * 2012-10-18 2013-02-13 中国电子科技集团公司第二十八研究所 一种多特征融合的红外图像目标实时跟踪方法
CN108062762A (zh) * 2017-12-22 2018-05-22 湖南源信光电科技股份有限公司 一种基于核密度估计的目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930558A (zh) * 2012-10-18 2013-02-13 中国电子科技集团公司第二十八研究所 一种多特征融合的红外图像目标实时跟踪方法
CN108062762A (zh) * 2017-12-22 2018-05-22 湖南源信光电科技股份有限公司 一种基于核密度估计的目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
商家赫: "基于CamShift的无人机目标跟踪算法与应用研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技II辑》, 15 December 2020 (2020-12-15), pages 3 - 4 *
曹洁等: "融合纹理特征的Mean-shift抗遮挡目标跟踪算法", 《兰州理工大学学报》, no. 05, 15 October 2011 (2011-10-15) *
杨德红: "HLBP纹理特征Meah Shift目标跟踪算法", 《计算机工程与设计》, 30 April 2016 (2016-04-30) *
杨磊: "结合纹理特征的Camshift目标跟踪算法研究", 《电子设计工程》, 31 August 2018 (2018-08-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808168A (zh) * 2021-09-18 2021-12-17 上海电机学院 一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法
CN116205914A (zh) * 2023-04-28 2023-06-02 山东中胜涂料有限公司 一种防水涂料生产智能监测系统
CN116205914B (zh) * 2023-04-28 2023-07-21 山东中胜涂料有限公司 一种防水涂料生产智能监测系统

Also Published As

Publication number Publication date
CN113379789B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
US7756296B2 (en) Method for tracking objects in videos using forward and backward tracking
US9947077B2 (en) Video object tracking in traffic monitoring
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN101120382A (zh) 跟踪用相机获得的场景视频中的移动物体的方法
US20230334235A1 (en) Detecting occlusion of digital ink
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
CN108009529A (zh) 一种基于特征根和流体力学的森林火灾烟视频目标检测方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
JP2017522647A (ja) 背景追跡を介する物体追跡及びセグメント化の方法及び装置
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN111369570A (zh) 一种视频图像的多目标检测跟踪方法
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
CN117576380A (zh) 一种目标自主检测跟踪方法及系统
CN110147768B (zh) 一种目标跟踪方法及装置
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
CN110322474B (zh) 一种基于无人机平台的图像动目标实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant