CN112561945B - 一种动态背景目标跟踪方法 - Google Patents
一种动态背景目标跟踪方法 Download PDFInfo
- Publication number
- CN112561945B CN112561945B CN202011396132.2A CN202011396132A CN112561945B CN 112561945 B CN112561945 B CN 112561945B CN 202011396132 A CN202011396132 A CN 202011396132A CN 112561945 B CN112561945 B CN 112561945B
- Authority
- CN
- China
- Prior art keywords
- target
- particle
- histogram
- color
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动态背景目标跟踪方法。该方法为:首先手动选择跟踪目标作为初始的目标状态模板,在此目标附近放置粒子集,并通过状态转移模型得到k时刻的粒子集;然后计算初始目标模型的H‑S联合颜色直方图和梯度方向直方图,并利用Camshift算法对粒子集的每个粒子进行漂移,得到漂移后的粒子集;接着根据目标的H‑S联合颜色直方图和梯度方向直方图建立观测模型,通过观测模型判断每个粒子状态与实际状态的相似度,计算粒子权值并归一化,根据归一化的粒子权值进行粒子重采样;最后对重采样后的粒子加权求和,得到当前目标的估计状态,确定目标位置。本发明系统稳健性强、跟踪效果好、抗干扰能力强、计算量小、实时性强。
Description
技术领域
本发明涉及图像目标跟踪技术领域,特别是一种动态背景目标跟踪方法。
背景技术
运动目标的跟踪作为军事制导、安全监控等系统中的核心技术,是计算机视觉领域的一个研究热点。国内对视频运动目标检测和跟踪技术的研究相对较晚。近年来,国内许多研究机构在该领域也开展了大量研究工作,但是目前对视频目标跟踪理论和应用的研究还处于在一定的限制条件下设计特定方法的阶段,许多目标跟踪算法对复杂的背景或者变化的目标的跟踪常常会遇到很大的困难,甚至丢失目标导致跟踪失败,通常只适用于一些背景不太复杂、目标变换不大或者其他一些特定的工作场合。因此,如何有效、精准地表征目标,如何在运动目标发生变化和背景复杂地情况下实时精确地跟踪目标,是目前视频目标跟踪研究中的主要难题。
目前比较经典的跟踪算法有Meanshift、Camshift算法、粒子滤波、卡尔曼滤波算法等。Camshift比较简单,计算量较少,但是容易陷入局部最优,在背景比较复杂的视频中容易受到干扰,跟踪效果较差;粒子滤波运算复杂度较高,但是对于遮挡后再跟踪有比较好的效果。在复杂动态背景下,单一的传统跟踪算法并不能实现稳定的跟踪效果,因此多种跟踪算法融合的方式被提出并应用于实现稳定跟踪。
由于单一的传统目标跟踪算法在背景环境复杂时比较容易受到外界干扰,并且不可避免的存在目标被遮挡后难以继续跟踪的情况。此外,一些较为先进的基于深度学习的目标跟踪算法,需要事先训练大量样本集,而机场围界经过的运动目标类型较多,不利于统计样本,这些算法对平台性能要求较高,增加了应用成本。
发明内容
本发明的目的在于提供一种系统稳健性强、跟踪效果好、抗干扰能力强、计算量小、实时性强的基于粒子滤波与Camshift相结合的动态背景目标跟踪方法。
实现本发明目的的技术解决方案为:一种动态背景目标跟踪方法,包括以下步骤:
步骤1、手动选择跟踪目标作为初始的目标状态模板,并在跟踪目标所在区域放置粒子集;
步骤2、通过状态转移模型得到k时刻的粒子集;
步骤3、计算初始化后的目标状态模板的H-S联合颜色直方图和梯度方向直方图,并利用Camshift算法的迭代对k时刻粒子集中的每个粒子进行漂移,使粒子集中的粒子移动到目标当前所在的区域,得到漂移后的k时刻粒子集;
步骤4、根据目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,通过观测模型判断漂移后的k时刻粒子集中每个粒子状态与实际状态的相似度,然后计算粒子权值并归一化;
步骤5、对权值小于阈值e的粒子,利用随机采样法复制从粒子集中随机选取的粒子取代原粒子,完成粒子重采样,其中e=1/N;
步骤6、对重采样后的粒子加权求和,得到当前目标的估计状态,确定目标位置。
本发明与现有技术相比,其显著优点在于:(1)解决了遮挡物与目标颜色相似时对跟踪效果的干扰问题,系统有较强的稳健性;(2)在网格围栏与遮挡物较多的复杂背景中,跟踪过程基本不受网格干扰,跟踪效果好;(3)能够实时反映目标框位于遮挡物体处时目标所处的位置;(4)利用Camshift迭代每个粒子使其漂移到目标区域,计算量小,实时性强。
附图说明
图1为本发明动态背景目标跟踪方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。
结合图1,本发明一种动态背景目标跟踪方法,包括如下步骤:
步骤1、手动选择跟踪目标作为初始的目标状态模板,并在跟踪目标所在区域放置粒子集,具体如下:
在视频中手动选择需要跟踪的目标,作为初始的目标状态模板,在此目标附近随机放置粒子集取共有N个粒子样本。该粒子集为在目标附近通过加高斯噪声方式产生的N个粒子其中为各个粒子的初始权值,表示初始状态下编号为i的粒子。
步骤2、通过状态转移模型得到k时刻的粒子集,具体如下:
状态转移模型为:
xk=2xk-1-xk-2+ruk-1
步骤3、计算初始化后的目标状态模板的H-S联合颜色直方图和梯度方向直方图,并利用Camshift算法的迭代对k时刻粒子集中的每个粒子进行漂移,使粒子集中的粒子移动到目标当前所在的区域,得到漂移后的k时刻粒子集,具体如下:
步骤3.1、计算初始目标模型的H-S联合颜色直方图,具体如下:
将RGB图像空间转换成HSV图像空间,再对其中的H-S色调分量计算直方图,作为目标的颜色特征参数。由于在框选目标时,选择框的边界部分有可能是背景图像,因此利用核函数k(r)对初始目标模型的颜色分布直方图进行加权处理,使得随着像素远离目标模型中心,该像素所占权重逐渐减小。当像素在目标框边缘部分视,像素权重为0。增强了颜色特征模型的可靠性;
核函数k(r)为:
式中r为像素点到目标框中心的距离;
其中m为目标的颜色分布直方图的维数,N为目标区域内像素总数;h(xi)为像素点xi点对应颜色分布直方图中的值,δ[h(xi)-u]为单位冲击函数,根据xi点的颜色值是否位于第u个颜色分布直方图的区间内进行取值,若在则为1,否则为0;a为目标区域自适应变量,为目标框的宽和高;f为归一化因子;
分别构造跟踪目标的H分量直方图和S分量直方图,然后将上述两种直方图加权融合得到跟踪目标的H-S联合颜色直方图:
步骤3.2、利用Sobel算子计算框选目标区域的梯度方向直方图,具体如下:
Sobel算子的横向和纵向梯度模板分别为Gx、Gy:
利用Sobel算子的梯度模板计算图中目标区域所有像素点在x、y方向的梯度值,得到该框选目标在边缘区域的梯度幅值G和边缘方向θ为:
然后对各个方向上的梯度幅值进行统计,构造目标区域的梯度方向直方图,公式如下:
其中u为目标的颜色分布直方图的维数,N为目标区域内像素总数;θ(xi)为像素点xi点对应颜色分布直方图中的值,δ[θ(xi)-u]为单位冲击函数;
步骤3.3、利用Camshift算法的迭代对k时刻粒子集中的每个粒子进行漂移,使粒子移动到目标当前所在的区域,得到漂移后的k时刻粒子集,具体如下:
步骤3.3.1、计算方向投影,根据步骤3.1得到的目标区域的H-S联合颜色直方图,计算输入图像的颜色概率密度分布图,即用输入图像的一位置上像素值对应在直方图上的值来代替该像素值,并将该数值归一化到0-255范围;通过对输入图像中的每个像素均采用以上步骤,得到当前图像的颜色概率密度分布图,在颜色概率密度分布图中,图像的像素越大,代表该像素值出现的概率越大;
步骤3.3.2、在当前帧图像的联合概率密度分布图中设置粒子i的初始搜索窗口,如果是第一帧图像则通过手动选择的方式确定跟踪目标,如果是其他帧图像则利用上一帧图像最终得到的粒子i窗口的质心位置和大小来设置粒子i在当前帧图像中搜索窗口的位置和尺寸;
步骤3.3.3、计算粒子i搜索区域的零阶矩M00和一阶矩M10、M01,公式为:
其中(x,y)为粒子i的在搜索区域中的像素位置,I(x,y)为粒子i所在像素位置在图像的颜色概率密度分布图中的值;
步骤3.3.5、调整粒子i新的搜索窗口大小,具体如下:
计算(x,y)的二阶矩M20、M02、M11,公式为:
根据(x,y)的二阶矩M20、M02、M11调整粒子i新搜索窗口,公式为:
其中l和w分别为粒子i新的搜索窗口的高和宽,θ为方向角;
步骤3.3.6、判断此时点(x0,y0)与质心(xc,yc)的距离,若小于ε,或者n>nε,则停止迭代,并将当前搜索框的大小与质心位置作为下一帧图像的粒子i位置输入,然后进入步骤3.3.7;反之,则返回步骤3.3.3;其中ε和nε分别为事先设定好的距离阈值和最大迭代次数;
步骤4、根据目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,通过观测模型判断漂移后的k时刻粒子集中每个粒子状态与实际状态的相似度,然后计算粒子权值并归一化,具体如下:
步骤4.1、基于目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,具体如下:
其中,u=1,…,m,m为目标区域的颜色直方图的维数,ρ为Bhattacharyya系数:
其中β为加权系数;
步骤4.2、根据观测函数更新漂移后的k时刻粒子集中粒子的权值为:
步骤4.3、归一化漂移后的k时刻粒子集中粒子的权值为:
步骤5、对权值小于阈值e的粒子,利用随机采样法复制从粒子集中随机选取的粒子取代原粒子,完成粒子重采样,其中e=1/N;
对步骤4中权值小的粒子,利用随机采样法复制权值较大的粒子取代原粒子,完成粒子重采样,避免退化;
步骤6、对重采样后的粒子加权求和,得到当前目标的估计状态,确定目标位置;
当前时刻目标的估计状态的公式为:
本发明解决了遮挡物与目标颜色相似时对跟踪效果的干扰问题,系统有较强的稳健性;在网格围栏与遮挡物较多的复杂背景中,跟踪过程基本不受网格干扰,跟踪效果好;能够实时反映目标框位于遮挡物体处时目标所处的位置;利用Camshift迭代每个粒子使其漂移到目标区域,计算量小,实时性强。
Claims (5)
1.一种动态背景目标跟踪方法,其特征在于,包括以下步骤:
步骤1、手动选择跟踪目标作为初始的目标状态模板,并在跟踪目标所在区域放置粒子集,具体如下:
步骤2、通过状态转移模型得到k时刻的粒子集;
步骤3、计算初始化后的目标状态模板的H-S联合颜色直方图和梯度方向直方图,并利用Camshift算法的迭代对k时刻粒子集中的每个粒子进行漂移,使粒子集中的粒子移动到目标当前所在的区域,得到漂移后的k时刻粒子集,具体如下:
步骤3.1、计算初始目标模型的H-S联合颜色直方图,具体如下:
将RGB图像空间转换成HSV图像空间,对其中的H-S色调分量计算直方图,作为目标的颜色特征参数,利用核函数k(r)对初始目标模型的颜色分布直方图进行加权处理,使得随着像素远离目标模型中心,该像素所占权重逐渐减小,当像素在目标框边缘部分视,像素权重为0;
核函数k(r)为:
式中r为像素点到目标框中心的距离;
其中m为目标的颜色分布直方图的维数,N为目标区域内像素总数;h(xi)为像素点xi点对应颜色分布直方图中的值,δ[h(xi)-u]为单位冲击函数,根据xi点的颜色值是否位于第u个颜色分布直方图的区间内进行取值,若在则为1,否则为0;a为目标区域自适应变量,为目标框的宽和高;f为归一化因子;
分别构造跟踪目标的H分量直方图和S分量直方图,然后将上述两种直方图加权融合得到跟踪目标的H-S联合颜色直方图:
步骤3.2、利用Sobel算子计算框选目标区域的梯度方向直方图,具体如下:
Sobel算子的横向和纵向梯度模板分别为Gx、Gy:
利用Sobel算子的梯度模板计算图中目标区域所有像素点在x、y方向的梯度值,得到该框选目标在边缘区域的梯度幅值G和边缘方向θ为:
然后对各个方向上的梯度幅值进行统计,构造目标区域的梯度方向直方图,公式如下:
其中u为目标的颜色分布直方图的维数,N为目标区域内像素总数;θ(xi)为像素点xi点对应颜色分布直方图中的值,δ[θ(xi)-u]为单位冲击函数;
步骤3.3、利用Camshift算法的迭代对k时刻粒子集中的每个粒子进行漂移,使粒子移动到目标当前所在的区域,得到漂移后的k时刻粒子集,具体如下:
步骤3.3.1、计算方向投影,根据步骤3.1得到的目标区域的H-S联合颜色直方图,计算输入图像的颜色概率密度分布图,即用输入图像的一位置上像素值对应在直方图上的值来代替该像素值,并将该直方图上的值归一化到0-255之间;通过对输入图像中的每个像素均采用以上步骤,得到当前图像的颜色概率密度分布图,在颜色概率密度分布图中,图像的像素越大,代表该像素值出现的概率越大;
步骤3.3.2、在当前帧图像的联合概率密度分布图中设置粒子i的初始搜索窗口,如果是第一帧图像则通过手动选择的方式确定跟踪目标,如果是其他帧图像则利用上一帧图像最终得到的粒子i窗口的质心位置和大小来设置粒子i在当前帧图像中搜索窗口的位置和尺寸;
步骤3.3.3、计算粒子i搜索区域的零阶矩M00和一阶矩M10、M01,公式为:
其中(x,y)为粒子i的在搜索区域中的像素位置,I(x,y)为粒子i所在像素位置在图像的颜色概率密度分布图中的值;
步骤3.3.5、调整粒子i新的搜索窗口大小,具体如下:
计算(x,y)的二阶矩M20、M02、M11,公式为:
根据(x,y)的二阶矩M20、M02、M11调整粒子i新搜索窗口,公式为:
其中l和w分别为粒子i新的搜索窗口的高和宽,θ为方向角;
步骤3.3.6、判断此时点(x0,y0)与质心(xc,yc)的距离,若小于ε,或者n>nε,则停止迭代,并将当前搜索框的大小与质心位置作为下一帧图像的粒子i位置输入,然后进入步骤3.3.7;反之,则返回步骤3.3.3;其中ε和nε分别为事先设定好的距离阈值和最大迭代次数;
步骤4、根据目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,通过观测模型判断漂移后的k时刻粒子集中每个粒子状态与实际状态的相似度,然后计算粒子权值并归一化;
步骤5、对权值小于阈值e的粒子,利用随机采样法复制从粒子集中随机选取的粒子取代原粒子,完成粒子重采样,其中e=1/N;
步骤6、对重采样后的粒子加权求和,得到当前目标的估计状态,确定目标位置。
4.根据权利要求1所述的动态背景目标跟踪方法,其特征在于,步骤4所述根据目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,通过观测模型判断漂移后的k时刻粒子集中每个粒子状态与实际状态的相似度,然后计算粒子权值并归一化,具体如下:
步骤4.1、基于目标的H-S联合颜色直方图和梯度方向直方图建立观测模型,具体如下:
其中,u=1,…,m,m为目标区域的颜色直方图的维数,ρ为Bhattacharyya系数:
其中β为加权系数;
步骤4.2、根据观测函数更新漂移后的k时刻粒子集中粒子的权值为:
步骤4.3、归一化漂移后的k时刻粒子集中粒子的权值为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011396132.2A CN112561945B (zh) | 2020-12-03 | 2020-12-03 | 一种动态背景目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011396132.2A CN112561945B (zh) | 2020-12-03 | 2020-12-03 | 一种动态背景目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112561945A CN112561945A (zh) | 2021-03-26 |
CN112561945B true CN112561945B (zh) | 2022-09-13 |
Family
ID=75047532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011396132.2A Active CN112561945B (zh) | 2020-12-03 | 2020-12-03 | 一种动态背景目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112561945B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204651A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于改进的判决与生成联合模型的目标跟踪方法 |
CN107657628A (zh) * | 2017-09-20 | 2018-02-02 | 中国科学院长春光学精密机械与物理研究所 | 一种实时彩色目标跟踪方法 |
CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
-
2020
- 2020-12-03 CN CN202011396132.2A patent/CN112561945B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204651A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于改进的判决与生成联合模型的目标跟踪方法 |
CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
CN107657628A (zh) * | 2017-09-20 | 2018-02-02 | 中国科学院长春光学精密机械与物理研究所 | 一种实时彩色目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112561945A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111681197B (zh) | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 | |
Nasiri et al. | Infrared small target enhancement based on variance difference | |
CN109325935B (zh) | 一种基于无人机图像的输电线路检测方法 | |
CN110415208B (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
CN103262121A (zh) | 移动物体的检测和跟踪 | |
CN109919960B (zh) | 一种基于多尺度Gabor滤波器的图像连续边缘检测方法 | |
Li et al. | Road lane detection with gabor filters | |
CN101916446A (zh) | 基于边缘信息和均值移位的灰度目标跟踪算法 | |
CN110660065B (zh) | 一种红外故障检测识别算法 | |
CN105321189A (zh) | 基于连续自适应均值漂移多特征融合的复杂环境目标跟踪方法 | |
Chen et al. | A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery | |
CN112329764A (zh) | 一种基于tv-l1模型的红外弱小目标检测方法 | |
Arróspide et al. | Vehicle detection and tracking using homography-based plane rectification and particle filtering | |
CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 | |
CN112561945B (zh) | 一种动态背景目标跟踪方法 | |
CN111461999A (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 | |
Yi-Bo et al. | A survey on feature extraction of SAR images | |
CN112348853B (zh) | 基于红外显著性特征融合的粒子滤波跟踪的方法 | |
Li et al. | Depth segmentation using disparity and self-adaption fringe modulation analysis | |
Chi et al. | Concrete Application of Computer Virtual Image Technology in Modern Sports Training | |
Ma et al. | Gradient field divergence-based small target detection in infrared images | |
Jia et al. | Research on Intelligent Monitoring Technology of Traffic Flow Based on Computer Vision | |
Sun et al. | Image segmentation algorithm based on top-hat transformation | |
CN116958189B (zh) | 基于线段关联的运动点目标时空域轨迹跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |