CN111429485B - 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 - Google Patents

基于自适应正则化和高信度更新的跨模态滤波跟踪方法 Download PDF

Info

Publication number
CN111429485B
CN111429485B CN202010263626.7A CN202010263626A CN111429485B CN 111429485 B CN111429485 B CN 111429485B CN 202010263626 A CN202010263626 A CN 202010263626A CN 111429485 B CN111429485 B CN 111429485B
Authority
CN
China
Prior art keywords
visible light
cross
mode
correlation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263626.7A
Other languages
English (en)
Other versions
CN111429485A (zh
Inventor
宋克臣
冯明正
颜云辉
董洪文
仇越
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202010263626.7A priority Critical patent/CN111429485B/zh
Publication of CN111429485A publication Critical patent/CN111429485A/zh
Application granted granted Critical
Publication of CN111429485B publication Critical patent/CN111429485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自适应正则化和高信度更新的跨模态滤波跟踪方法，涉及视觉跟踪技术领域。首先，从输入的可见光和红外图像序列中确定搜索区域，并提取CN与HOG特征；其次，构建跨模态相关滤波模型并对模型进行优化，生成可见光模态下的相关滤波器和热模态下的相关滤波器；并对相关滤波器和提取的特征进行交叉相关计算得到可见光和热模态的响应图；融合响应图，得到较强的响应图；最后，设置高信度反馈更新机制对跨模态相关滤波模型进行判别更新，避免跟踪模型的失真与退化。本发明方法能够适应不同视频的特性，根据不同视频自适应地调整正则化权值，从而获得稳健的相关滤波器，进而有效提高在遮挡与恶劣天气下目标跟踪的准确性和鲁棒性。

Description

基于自适应正则化和高信度更新的跨模态滤波跟踪方法
技术领域
本发明涉及视觉跟踪技术领域，尤其涉及一种基于自适应正则化和高信度更新的跨模态滤波跟踪方法。
背景技术
目标跟踪是计算机视觉领域中一个备受关注的热点问题，具有许多实际应用场景，如视频监控、自主驾驶、人机交互、机器人控制等。目标跟踪的实质是在给定视频图像序列第一帧中目标的位置与尺寸后，在视频后续图像序列中预测给定目标的运行轨迹与尺寸。
目前基于可见光图像的目标跟踪技术已经取得很大的进展，但是在阴雨与雾霾等恶劣环境中，由于可见光谱对光照条件敏感，成像质量较差，基于可见光图像的跟踪性能往往不理想。而热红外相机对于光照条件并不是很敏感，并且具有很强的穿透力，因此，在阴雨与雾霾等恶劣环境中，热红外相机能够有效地捕捉目标。但是当温度非常相同的物体发生运动轨迹重叠(热交叉)的时候，热红外图像由于对温度比较敏感并不能清晰分辨两者，往往会丢失目标的边缘、几何和纹理等细节信息，从而追踪失败，而可见光图像中却含有丰富的细节信息，清晰分辨追踪的目标。因此，利用可见光与热红外两种模态数据的互补优势进行目标追踪，能够有效克服复杂的挑战场景和环境因素对目标跟踪的影响，从而提升跟踪的性能，开发能够有效的利用模态互补信息的跟踪器也将具有重要的意义。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于自适应正则化和高信度更新的跨模态滤波跟踪方法，实现在雾霾、遮挡等复杂环境中进行目标跟踪。
为解决上述技术问题，本发明所采取的技术方案是：基于自适应正则化和高信度更新的跨模态滤波跟踪方法，包括以下步骤：
步骤1、在输入的可见光与热红外图像序列中确定搜索区域的大小，并根据颜色模型与纹理模型提取搜索区域中可见光模态与热模态下的目标特征；所述的颜色模型为用颜色特征建立的特征直方图形成的模型，纹理模型为用纹理特征建立的特征直方图形成的模型；
所述提取搜索区域中的目标特征具体为：分别从可见光图像序列中提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征和颜色名称CN(Color Names)特征，从热红外图像序列中提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征；
步骤2、构建跨模态相关滤波模型并利用ADMM算法对模型进行优化，生成可见光模态下的相关滤波器和热模态下的相关滤波器；
步骤2-1、构建跨模态相关滤波模型；
构建t帧时的跨模态相关滤波模型，通过如下最小化目标函数表示：
其中，最小化目标函数的第一项为岭回归项，它表示各特征通道下的图像组成的训练集X＝[x1，x2，...，xK]与相关滤波器h＝[h1，h2，...，hK]进行卷积操作，表示在t帧图像时，第k个通道中的目标特征，y代表地面真实值高斯类形状标签，*代表卷积操作，k代表图像序列中某一个通道，K代表图像序列中通道的总数目；第二项与第三项分别为空间正则化与时间正则化；μ与λ均为正则化参数，w代表自适应正则化权重，ht-1表示t-1帧图像时的相关滤波器；最小化目标函数的第四项是对自适应正则化权重w的调整，wτ为参考的正则化权重；
步骤2-2、设计一种基于ADMM算法的高效解算器对跨模态相关滤波模型进行优化；
首先引入辅助变量g＝h，将最小化目标函数转换为如下公式所示：
其中，L(w，g，s)为拉格朗日函数，s表示拉格朗日乘子，γ表示步长参数；
进一步引入将转换后的最小化目标函数修改为如下公式所示：
最后对采用ADMM算法求解子问题h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT；
采用ADMM算法求解子问题h的具体方法为：
所述子问题h如下公式所示：
利用帕萨卡理论，将子问题h转化为如下公式所示：
在傅里叶域中求出并从/>的逆傅里叶变换得到h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT；
步骤3、分别计算可见光模态与热模态下的目标特征与相关滤波器的互相关值，进而得到可见光模态与热模态下的响应图；
根据计算可见光模态下的目标特征与相关滤波器的互相关值；根据/>计算热模态下的目标特征与相关滤波器的互相关值；
其中，和/>分别表示可见光模态与热模态下的目标特征与相关滤波器的互相关值；/>表示可见光模态下，k′通道目标特征的傅里叶变换；/>表示可见光模态下，k′通道的相关滤波器；Krgb表示可见光模态下的总通道数；/>表示热模态下，k″通道目标特征的傅里叶变换；/>表示热模态下，k″通道的相关滤波器；KT表示热模态下的总通道数；
分别对可见光模态与热模态下的目标特征与相关滤波器的互相关值和/>进行逆傅里叶变换，得到可见光模态与热模态下的响应图RRGB和RT；
步骤4、采用基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，进而对可见光模态与热模态下的响应图进行融合得到融合响应图，将融合响应图上最大响应点所在位置作为待跟踪目标的中心位置；
步骤4-1、基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，如下公式所示：
其中，αRGB为可见光模态的权值系数，αT为热模态的权值系数，δ表示修正系数，Z表示权值比率，RRGB(xt)、RT(xt)分别表示t帧图像时可见光模态与热模态的响应，RRGB(xt-1)、RT(xt-1)分别表示t-1帧图像时可见光模态与热模态的响应图；
通过可见光模态与热模态的权值系数进而得到最终的融合响应图R，如下公式所示：
R＝αRGBRRGB+αTRY
步骤4-2、将融合响应图R作为大小为D的搜索区域，根据公式寻找到融合响应图R中最大响应点的坐标，该坐标就是跟踪目标所在的中心位置，其中，(m，n)为搜索区域内的点坐标；
步骤5、设置高信度反馈更新机制对跨模态相关滤波模型进行判别更新；
步骤5-1、设置阈值半径J，确定融合响应图R中的最大响应值的周围区域DS；
根据公式寻找到融合响应图中的最大响应点的位置坐标(mmax，nmax)，其中，Rmax表示融合响应图中的最大响应值；
根据(m-mmax)2+(n-nmax)2＝J2确定最大响应值Rmax周围圆形区域DS；
步骤5-2、寻找搜索区域D中去除DS区域后(即D-DS区域)的最大响应值，并根据判别更新N值判断是否更新跨模态相关滤波模型；
根据寻找D-DS区域中的最大响应值/>并根据公式获得判别更新N值，从而判断是否更新跨模态相关滤波模型；其中，β为判别系数；
如果判别更新N值为负数，则根据利用学习率参数η在线更新跨模态相关滤波模型，其中/>代表t帧图像的更新模板模型，/>为t-1帧图像的更新模板模型，/>为t帧图像的观测值；否则，即N值为非负数，不更新跨模态相关滤波模型。
采用上述技术方案所产生的有益效果在于：本发明提供的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，涉及到特征提取、相关滤波和模型更新；
特征提取：特征选择是跟踪的关键步骤，正确选择特征可以显著提高复杂场景下的跟踪性能。本发明分别从可见光图像序列中提取HOG特征和CN特征，从热红外图像序列中提取HOG特征。该方法有效地结合了两类特征信息的优点，避免了参数的冗余。
相关滤波：相关滤波最早应用于信号处理，用来描述两个信号之间的相关性，或者说相似性。近些年来，相关滤波在目标跟踪领域中应用广泛，主要是其能够借助于傅里叶变换，快速计算大量的候选样本的响应值。本发明方法中用训练生成的相关滤波器与输入图像的特征计算互相关，从而得到各自模态的响应图，通过自适应权重融合方案，获取最终的响应图，响应图中最大响应值的点就表示输入图像上与相关滤波器最相似的位置。
模型更新：模型更新主要是更新观测模型，以适应目标表观的变化，防止跟踪过程发生漂移。模型更新没有一个统一的标准，通常认为目标的表观连续变化，所以常常逐帧更新模型。事实上，在复杂的遮挡和变形情况下，很容易检测到失效。基于故障检测图像的更新，跟踪器容易漂移。本发明方法中采用高信度反馈模型更新方法使跟踪器对动态的外观变化具有鲁棒性。
本发明方法能够适应不同视频的特性，并且根据不同视频自适应地调整正则化权值，从而获得稳健的相关滤波器；本发明采用的高信度判别模型更新策略与逐帧模型更新的策略相比，能够在遮挡、目标变形等复杂挑战环境中，有效地防止模型的退化，从而实现对目标的准确追踪。
附图说明
图1为本发明实施例提供的基于自适应正则化和高信度更新的跨模态滤波跟踪方法的流程图；
图2为本发明实施例提供的基于自适应正则化和高信度更新的跨模态滤波跟踪方法的框架图；
图3为本发明实施例提供的一种自适应正则化相关滤波示意图；
图4为本发明实施例提供的一种高信度反馈模型更新示意图；
图5为本发明实施例提供的本发明方法与现有技术中不同跟踪方法在RGBT234数据集上的精度与成功率的对比图；其中，(a)为精度对比图，(b)为成功率对比图；
图6为本发明实施例提供的本发明方法与现有技术中不同跟踪方法在RGBT210数据集上的精度与成功率对比图；其中，(a)为精度对比图，(b)为成功率对比图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例基于RGBT234数据集和RGBT210数据集，采用本发明的基于自适应正则化和高信度更新的跨模态滤波跟踪方法进行目标跟踪；
基于自适应正则化和高信度更新的跨模态滤波跟踪方法，如图1和2所示，包括以下步骤：
步骤1、在输入的可见光与热红外图像序列中确定搜索区域的大小，并根据颜色模型与纹理模型提取搜索区域中可见光模态与热模态下的目标特征；所述的颜色模型为用颜色特征建立的特征直方图形成的模型，纹理模型为用纹理特征建立的特征直方图形成的模型；
所述提取搜索区域中的目标特征具体为：分别从可见光图像序列中提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征和颜色名称CN(Color Names)特征，从热红外图像序列中提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征，这种提取方式有效地结合了两类特征信息的优点，避免了参数的冗余；
在本实施例中，搜索区域大小由确定，其中W与H代表目标的尺寸大小。其次，从视频帧中根据颜色模型与纹理模型提取此区域的特征，其中，颜色模型表示用颜色特征建立特征直方图形成的模型，纹理模型表示用纹理特征建立特征直方图形成的模型。具体的，从可见光图像序列中提取HOG特征和CN特征，从热红外图像序列中提取HOG特征。这不仅能够有效地结合了两类特征信息的优点，而且避免了参数的冗余。
步骤2、构建跨模态相关滤波模型并利用ADMM算法对模型进行优化，生成可见光模态下的相关滤波器和热模态下的相关滤波器；
步骤2-1、构建跨模态相关滤波模型；
构建t帧时的跨模态相关滤波模型，通过如下最小化目标函数表示：
其中，最小化目标函数的第一项为岭回归项，它表示各特征通道下的图像组成的训练集X＝[x1，x2，...，xK]与相关滤波器h＝[h1，h2，...，hK]进行卷积操作，表示在t帧图像时，第k个通道的目标特征，y代表地面真实值高斯类形状标签，*代表卷积操作，k代表图像序列中某一个通道，K代表图像序列中通道的总数目；第二项与第三项分别为空间正则化与时间正则化；μ与λ均为正则化参数，w代表自适应正则化权重，ht-1表示t-1帧图像时的相关滤波器；最小化目标函数的第四项是对自适应正则化权重w的调整，wτ为参考的正则化权重；
步骤2-2、设计一种基于ADMM算法的高效解算器对跨模态相关滤波模型进行优化；
首先引入辅助变量g＝h，将最小化目标函数转换为如下公式所示：
其中，L(w，g，s)为拉格朗日函数，s表示拉格朗日乘子，γ表示步长参数；
进一步引入将转换后的最小化目标函数修改为如下公式所示：
最后对采用ADMM(Alternating Direction Method of Multipliers，即交替方向乘子法)算法求解子问题h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT；
采用ADMM算法求解子问题h的具体方法为：
所述子问题h如下公式所示：
利用帕萨卡理论，将子问题h转化为如下公式所示：
在傅里叶域中求出并从/>的逆傅里叶变换得到h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT；
本实施例中，构建的跨模态相关滤波模型的追踪效果如图3所示，从图中可以看出，相比于固定正则化相关滤波模型，本发明提供的跨模态相关滤波模型在遮挡等复杂环境中追踪效果表现更好。
步骤3、分别计算可见光模态与热模态下的目标特征与相关滤波器的互相关值，进而得到可见光模态与热模态下的响应图；
根据计算可见光模态下的目标特征与相关滤波器的互相关值；根据/>计算热模态下的目标特征与相关滤波器的互相关值；
其中，和/>分别表示可见光模态与热模态下的目标特征与相关滤波器的互相关值；/>表示可见光模态下，k′通道目标特征的傅里叶变换；/>表示可见光模态下，k′通道的相关滤波器；Krgb表示可见光模态下的总通道数；/>表示热模态下，k″通道目标特征的傅里叶变换；/>表示热模态下，k″通道的相关滤波器；KT表示热模态下的总通道数；
分别对可见光模态与热模态下的目标特征与相关滤波器的互相关值和/>进行逆傅里叶变换，得到可见光模态与热模态下的响应图RRGB和RT；
步骤4、采用基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，进而对可见光模态与热模态下的响应图进行融合得到健壮的融合响应图，将融合响应图上最大响应点所在位置作为待跟踪目标的中心位置；
步骤4-1、基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，如下公式所示：
其中，αRGB为可见光模态的权值系数，αT为热模态的权值系数，δ表示修正系数，Z表示权值比率，RRGB(xt)、RT(xt)分别表示t帧图像时可见光模态与热模态的响应，RRGB(xt-1)、RT(xt-1)分别表示t-1帧图像时可见光模态与热模态的响应图；
通过可见光模态与热模态的权值系数进而得到最终的融合响应图R，如下公式所示：
R＝αRGBRRGB+αTRT
步骤4-2、将融合响应图R作为大小为D的搜索区域，根据公式寻找到融合响应图R中最大响应点的坐标，该坐标就是跟踪目标所在的中心位置，其中，(m，n)为搜索区域内的点坐标；
步骤5、设置高信度反馈更新机制对跨模态相关滤波模型进行判别更新；
步骤5-1、设置阈值半径J，确定融合响应图R中的最大响应值的周围区域DS；
根据公式寻找到融合响应图中的最大响应点的位置坐标(mmax，nmax)，其中，Rmax表示融合响应图中的最大响应值；
根据(m-mmax)2+(n-nmax)2＝J2确定最大响应值Rmax周围圆形区域DS；
步骤5-2、寻找搜索区域D中去除DS区域后(即D-DS区域)的最大响应值，并根据判别更新N值判断是否更新跨模态相关滤波模型；
根据寻找D-DS区域中的最大响应值/>并根据公式获得判别更新N值，从而判断是否更新跨模态相关滤波模型；其中，β为判别系数；
如果判别更新N值为负数，此时置信度较高，则根据利用学习率参数η在线更新跨模态相关滤波模型，其中/>代表t帧图像的更新模板模型，为t-1帧图像的更新模板模型，/>为t帧图像的观测值；否则，即N值为非负数，不更新跨模态相关滤波模型。
本实施例中，通过高信度反馈更新机制对跨模态相关滤波模型进行追踪的效果如图4所不。
本实施例中，RGBT234数据集与RGBT210数据集作为流行的跟踪基准，具有所有的地面真值注释和12种挑战属性，包括No Occlusion、Partial Occlusion、HeavyOcclusion、Low Illumination、Low Resolution、Thermal Crossover、Deformation、FastMotion、Scale Variation、Motion Blur、Camera Moving和Background Clutter。本实施例使用精度图和成功图这两个评估标准来评估本发明方法的性能，这两个评估标准的详细信息描述如下：
精度图(Precision Plot)：精度图表示在给定的阈值内，预测边界框与地面真值之间的中心位置误差(CLE)帧数的百分比。将RGBT234和RGBT210数据集中的每种跟踪方法的阈值设置为20像素。
成功图(Success Plot)：成功图是另一个有效的评价指标，是预测边界框与地面真实边界框重叠分数大于给定阈值的帧数百分比。
本实施例的实验结果如下所示：
如图3所示，本实施例在生成相关滤波模型时，分别采用自适应正则化与固定正则化进行效果对比，实验结果显示，自适应正则化在面对目标遮挡、快速运动等复杂环境时，追踪效果优异；如图4所示，在模型更新阶段时，分别采用高信度反馈判别更新与逐帧模型更新进行效果对比，结果显示，高信度反馈判别更新在面对目标遮挡、快速运动等复杂环境时，追踪效果优异。
如图5与图6所示，本实施例在RGBT234和RGBT210数据集上使用本发明方法与其他先进的追踪方法进行定量分析，结果显示本发明方法获得很好的效果。具体地，在RGBT234数据集上，本发明方法在PR/SR中分别达到了78.3％/58.1％，比第二好的跟踪器MANet高出0.6％/4.2％，同时，在RGBT210数据集上，本发明方法在PR/SR达到76.0％/54.6％，比排名第二的MANet追踪器提高了0.7％/2.9％，证明了本发明方法的有效性。
本实施例还针对RGBT234数据集中12种不同视频属性，对多种目标追踪算法进行定量分析，结果如表1所示，从表1可以看出，本发明方法在不同标准中展示了最佳的性能。
表1各方法在RGBT234数据集中12种属性下的精确度与成功度比较
KCF CFnet HssNet MCFTS DSST SRDCF SOWP
NO 57.5/44.9 72.4/55.4 39.3/26.2 56.0/41.5 69.9/52.9 81.7/62.7 80.1/50.2
PO 48.0/37.3 57.7/41.8 38.6/23.6 54.3/38.0 57.1/42.5 66.1/49.7 66.6/42.7
HO 36.6/26.4 37.9/27.2 23.9/15.5 41.1/28.4 41.3/29.8 49.4/35.4 54.7/35.4
LI 41.2/30.6 43.6/31.4 39.0/25.3 61.1/41.9 48.3/34.2 58.1/42.2 52.4/33.6
LR 45.0/30.8 48.1/33.9 47.7/23.5 53.0/31.5 57.2/28.5 61.0/42.6 67.9/42.1
TC 49.7/35.6 51.2/38.4 26.9/14.1 34.1/22.8 49.7/37.5 65.6/48.4 71.2/46.2
DEF 42.3/34.0 46.0/34.0 25.5/19.5 43.4/33.6 44.8/35.6 51.8/39.7 61.1/42.0
FM 35.3/24.5 36.3/25.3 27.2/16.1 33.2/22.2 34.6/24.5 44.4/29.8 57.9/33.5
SV 46.0/35.8 59.5/43.2 31.9/21.3 46.3/33.5 57.0/42.9 69.9/52.9 66.6/39.6
MB 33.6/26.0 38.4/29.3 23.2/14.5 36.0/25.7 35.7/28.1 54.4/42.2 59.8/39.9
CM 36.7/29.8 41.7/32.1 27.2/18.4 41.8/31.2 39.4/30.5 57.5/43.6 59.8/39.0
BC 33.7/23.3 36.2/25.7 35.4/19.2 44.1/28.3 46.2/31.8 44.9/33.2 52.8/33.6
All 44.8/34.1 52.0/37.9 33.0/20.8 49.1/34.6 52.7/39.0 62.1/46.2 64.2/41.1
表1续各方法在RGBT234数据集中12种属性下的精确度与成功度比较
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：包括以下步骤：
步骤1、在输入的可见光与热红外图像序列中确定搜索区域的大小，并根据颜色模型与纹理模型提取搜索区域中可见光模态与热模态下的目标特征；
所述提取搜索区域中的目标特征具体为：分别从可见光图像序列中提取方向梯度直方图HOG特征和颜色名称CN特征，从热红外图像序列中提取方向梯度直方图HOG特征；
步骤2、构建跨模态相关滤波模型并利用ADMM算法对模型进行优化，生成可见光模态下的相关滤波器和热模态下的相关滤波器；
步骤3、分别计算可见光模态与热模态下的目标特征与相关滤波器的互相关值，进而得到可见光模态与热模态下的响应图；
步骤4、采用基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，进而对可见光模态与热模态下的响应图进行融合得到融合响应图，将融合响应图上最大响应点所在位置作为待跟踪目标的中心位置；
步骤5、设置高信度反馈更新机制对跨模态相关滤波模型进行判别更新。
2.根据权利要求1所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：所述的颜色模型为用颜色特征建立的特征直方图形成的模型，纹理模型为用纹理特征建立的特征直方图形成的模型。
3.根据权利要求1所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：所述步骤2的具体方法为：
步骤2-1、构建跨模态相关滤波模型；
构建t帧时的跨模态相关滤波模型，通过如下最小化目标函数表示：
其中，最小化目标函数的第一项为岭回归项，它表示各特征通道下的图像组成的训练集X＝[x1，x2，...，xK]与相关滤波器h＝[h1，h2，...，hK]进行卷积操作，表示第t帧图像下，第k个通道的目标特征，y代表地面真实值高斯类形状标签，*代表卷积操作，k代表图像序列中某一个通道，K代表图像序列中通道的总数目；第二项与第三项分别为空间正则化与时间正则化；μ与λ均为正则化参数，w代表自适应正则化权重，ht-1表示t-1帧图像时的相关滤波器；最小化目标函数的第四项是对自适应正则化权重w的调整，wτ为参考的正则化权重；
步骤2-2、设计一种基于ADMM算法的高效解算器对跨模态相关滤波模型进行优化；
首先引入辅助变量g＝h，将最小化目标函数转换为如下公式所示：
其中，L(w，g，s)为拉格朗日函数，s表示拉格朗日乘子，γ表示步长参数；
进一步引入将转换后的最小化目标函数修改为如下公式所示：
最后对采用ADMM算法求解子问题h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT。
4.根据权利要求3所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：步骤2-2所述采用ADMM算法求解子问题h的具体方法为：
所述子问题h如下公式所示：
利用帕萨卡理论，将子问题h转化为如下公式所示：
在傅里叶域中求出并从/>的逆傅里叶变换得到h，进而得出可见光模态下的相关滤波器hrgb与热模态下的相关滤波器hT。
5.根据权利要求3所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：所述步骤3的具体方法为：
根据计算可见光模态下的目标特征与相关滤波器的互相关值；根据/>计算热模态下的目标特征与相关滤波器的互相关值；
其中，和/>分别表示可见光模态与热模态下的目标特征与相关滤波器的互相关值；/>表示可见光模态下，k′通道目标特征的傅里叶变换；/>表示可见光模态下，k′通道的相关滤波器；Krgb表示可见光模态下的总通道数；/>表示热模态下，k″通道目标特征的傅里叶变换；/>表示热模态下，k″特征通道的相关滤波器；KT表示热模态下的总通道数；
分别对可见光模态与热模态下的目标特征与相关滤波器的互相关值和/>进行逆傅里叶变换，得到可见光模态与热模态下的响应图RRGB和RT。
6.根据权利要求5所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：所述步骤4的具体方法为：
步骤4-1、基于KL散度的自适应加权集成方法对可见光模态与热模态进行权值分配，如下公式所示：
其中，αRGB为可见光模态的权值系数，αT为热模态的权值系数，δ表示修正系数，Z表示权值比率，RRGB(xt)、RT(xt)分别表示t帧图像时可见光模态与热模态的响应，RRGB(xt-1)、RT(xt-1)分别表示t-1帧图像时可见光模态与热模态的响应图；
通过可见光模态与热模态的权值系数进而得到最终的融合响应图R，如下公式所示：
R＝αRGBRRGB+αTRT
步骤4-2、将融合响应图R作为大小为D的搜索区域，根据公式寻找到融合响应图R中最大响应点的坐标，该坐标就是跟踪目标所在的中心位置，其中，(m，n)为搜索区域内的点坐标。
7.根据权利要求6所述的基于自适应正则化和高信度更新的跨模态滤波跟踪方法，其特征在于：所述步骤5的具体方法为：
步骤5-1、设置阈值半径J，确定融合响应图R中的最大响应值的周围区域DS；
根据公式寻找到融合响应图中的最大响应点的位置坐标(mmax，nmax)，其中，Rmax表示融合响应图中的最大响应值；
根据(m-mmax)2+(n-nmax)2＝J2确定最大响应值Rmax周围圆形区域DS；
步骤5-2、寻找搜索区域D中去除DS区域后(即D-DS区域)的最大响应值，并根据判别更新N值判断是否更新跨模态相关滤波模型；
根据寻找D-DS区域中的最大响应值/>并根据公式获得判别更新N值，从而判断是否更新跨模态相关滤波模型；其中，β为判别系数；
如果判别更新N值为负数，则根据利用学习率参数η在线更新跨模态相关滤波模型，其中/>代表t帧图像的更新模板模型，/>为t-1帧图像的更新模板模型，/>为t帧图像的观测值；否则，即N值为非负数，不更新跨模态相关滤波模型。
CN202010263626.7A 2020-04-07 2020-04-07 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 Active CN111429485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263626.7A CN111429485B (zh) 2020-04-07 2020-04-07 基于自适应正则化和高信度更新的跨模态滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263626.7A CN111429485B (zh) 2020-04-07 2020-04-07 基于自适应正则化和高信度更新的跨模态滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN111429485A CN111429485A (zh) 2020-07-17
CN111429485B true CN111429485B (zh) 2023-09-26

Family

ID=71557565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263626.7A Active CN111429485B (zh) 2020-04-07 2020-04-07 基于自适应正则化和高信度更新的跨模态滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN111429485B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802060B (zh) * 2021-01-29 2023-06-30 中山大学 一种单目标跟踪方法和装置
CN113838093B (zh) * 2021-09-24 2024-03-19 重庆邮电大学 基于空间正则化相关滤波器的自适应多特征融合跟踪方法
CN115641353B (zh) * 2022-12-22 2023-04-07 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754424A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于融合特征和自适应更新策略的相关滤波跟踪算法
KR101980653B1 (ko) * 2018-07-19 2019-05-21 한화시스템 주식회사 표적 탐지 및 추적 방법
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101980653B1 (ko) * 2018-07-19 2019-05-21 한화시스템 주식회사 표적 탐지 및 추적 방법
CN109754424A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于融合特征和自适应更新策略的相关滤波跟踪算法
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法

Also Published As

Publication number Publication date
CN111429485A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN109816689B (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN110427839B (zh) 基于多层特征融合的视频目标检测方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
Luo et al. Thermal infrared and visible sequences fusion tracking based on a hybrid tracking framework with adaptive weighting scheme
CN111627044B (zh) 基于深度网络的目标追踪攻击与防御方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111144364A (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN112085765A (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN111127519A (zh) 一种双模型融合的目标跟踪控制系统及其方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
Häger et al. Predicting disparity distributions
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN116051601A (zh) 一种深度时空关联的视频目标跟踪方法及系统
CN115984325A (zh) 一种靶向寻量时空正则化的目标跟踪方法
CN114842506A (zh) 一种人体姿态估计方法及系统
CN113379639B (zh) 一种复杂环境中红外目标抗干扰检测跟踪方法
CN115345845A (zh) 基于方向梯度直方图的特征融合烟幕干扰效能评估及处理方法及电子设备
CN114067240A (zh) 一种融合行人特性的在线更新策略行人单目标跟踪方法
CN114964206A (zh) 一种单目视觉里程计目标位姿检测方法
CN111242980B (zh) 一种面向点目标的红外焦平面盲元动态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant