CN113658227B - 一种基于协同低秩图模型的rgbt目标跟踪方法及系统 - Google Patents

一种基于协同低秩图模型的rgbt目标跟踪方法及系统 Download PDF

Info

Publication number
CN113658227B
CN113658227B CN202110987298.XA CN202110987298A CN113658227B CN 113658227 B CN113658227 B CN 113658227B CN 202110987298 A CN202110987298 A CN 202110987298A CN 113658227 B CN113658227 B CN 113658227B
Authority
CN
China
Prior art keywords
image block
rank
rgbt
target
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110987298.XA
Other languages
English (en)
Other versions
CN113658227A (zh
Inventor
李成龙
王笑笑
汤进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110987298.XA priority Critical patent/CN113658227B/zh
Publication of CN113658227A publication Critical patent/CN113658227A/zh
Application granted granted Critical
Publication of CN113658227B publication Critical patent/CN113658227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于协同低秩图模型的RGBT目标跟踪方法及系统，属于计算机视觉技术领域，解决现有技术的基于图模型的目标跟踪算法中相似性求解存在的可靠性低以及跟踪结果噪声高的问题；本发明的技术方案基于协同异质图模型的RGBT目标跟踪算法学习可靠的目标特征表示，改进基于图学习的方法中求解相似性矩阵的计算方式，学习到更可靠的相似性值，并且采用特征分解模型对原始输入特征进行分解，抑制噪声对跟踪结果的影响，同时对不同模态之间的异质性和协同性进行建模，有效利用不同模态的特征。

Description

一种基于协同低秩图模型的RGBT目标跟踪方法及系统
技术领域
本发明属于计算机视觉技术领域，涉及一种基于协同低秩图模型的RGBT目标跟踪方法及系统。
背景技术
基于图模型的目标跟踪是划分目标包围盒为互不重叠的图像块，并学习不同图像块的权重与底层特征融合以此获得可靠目标特征表示的算法，主要用于处理目标真值包围盒中含有的背景信息对跟踪结果造成的影响。该算法是将目标的包围盒划分成不相同的图像块集合，并且把它们看成节点构建协同图，通过模型学习不同图像块之间的关系，优化图结构、获得图像块权重以及相似性权重，并提取图像块的底层特征从而得到可靠的目标特征表示。
传统的目标跟踪是基于单模态下图像的，例如：可见光(波长0.4-0.7μm)图像包含丰富的几何和纹理细节，但是对光线敏感，在复杂场景和环境下图像质量急剧下降，如：雾霾和低光照等。而热红外(波长3-12μm)图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别伪装的能力。但是，该类图像的分辨率一般比较低，边缘模糊，且容易受温度分布影响。
因此，利用多种模态的天然互补性以及图学习获得可靠的目标特征表示，实现挑战场景和环境下具有鲁棒性的多模态目标跟踪。但是基于图模型如何学习可靠的相似性矩阵，进而获得可靠的目标特征表示对目标跟踪模型的鲁棒性和准确性尤为重要，现有方式存在着如下缺点：1)以往图学习的方法中对于相似性矩阵的求解存在问题，通常做法是利用图像块重构系数之间的距离直接表示图节点之间的相似性，即系数距离越小，图像块越相似，得到的相似性值越大。这种做法简单，但重构系数之间的距离一般是无法很好地表示节点之间的真实相似性关系；2)直接对原始输入特征进行学习，跟踪结果容易受到噪声的干扰；3)由于来自不同模态的数据不仅具有异质性还具有协同性，而以往的研究模型通常只考虑异质性，对于模态间的协同性并未进行建模。
文献Cross-Modal Ranking with Soft Consistency and Noisy Labels forRobust RGB-T Tracking(C Li，Computer Vision-ECCV 2018)，基于特征的重构系数求解相似性矩阵，未考虑当特征表示系数之间相差过小，获得的特征图之间难以区分，使得跟踪结果不准确的因素。
发明内容
本发明的目的在于如何设计一种基于协同低秩图模型的RGBT目标跟踪方法及系统，以解决现有技术的基于图模型的目标跟踪算法中相似性求解存在的可靠性低以及跟踪结果噪声高的问题。
本发明是通过以下技术方案解决上述技术问题的：
一种基于协同低秩图模型的RGBT目标跟踪方法，包括以下步骤：
S1、同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
步骤S1中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即/> 表示第i个图像块的权重；
所述的缩小框的尺寸为：(lx+0.2W,ly+0.2H,0.6W,0.6H)，扩大框的尺寸为：(lx-W′,ly-H′,W+2W′,H+2H′)，其中，(lx,ly,W,H)分别指目标的包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。
S2、同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
步骤S2中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：minD,E||D||2,1+α‖E‖1，s.t.X＝D+E，其中，低秩约束采用l2,1范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
minD,E,G‖D-G‖2,1+α‖E‖1+βrank(G)，s.t.X＝D+E，G代表协同性，E代表异质性，对G施加低秩约束，对E施加稀疏约束，‖D-G‖2,1代表通过l2,1范数实现对矩阵的低秩约束；‖E‖1是通过l1范数对噪声矩阵进行稀疏约束,rank(G)是对协同性矩阵施加低秩约束；
S3、构建基于协同低秩图模型的RGBT目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
所述的RGBT目标跟踪模型的公式如下：
其中，m∈{1，2，...，M}代表第m种模态，‖Dm-Gm‖2，1代表通过l2，1范数实现对第m种模态矩阵的低秩约束；‖Em‖1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(G)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；Γ＝[Γ1，Γ2，…，ΓM]T为参数向量，由第一次迭代后的重构误差决定；α，β，γ，δ，λ1和λ2表示正则化参数；⊙表示向量的点乘，即对应元素相乘；
步骤S3中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代Dm-Gm，G＝BC用以对协同性矩阵施加低秩分解，其中/> 通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；/>表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,sM与提取的特征结合，构成目标特征表示。
所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
S4、利用交替方向乘子法对步骤S2中的RGBT目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
本发明的技术方案基于协同异质图模型的RGBT目标跟踪算法学习可靠的目标特征表示，改进基于图学习的方法中求解相似性矩阵的计算方式，学习到更可靠的相似性值，并且采用特征分解模型对原始输入特征进行分解，抑制噪声对跟踪结果的影响，同时对不同模态之间的异质性和协同性进行建模，有效利用不同模态的特征。
一种基于协同低秩图模型的RGBT目标跟踪系统，包括：第一模块、第二模块、第三模块、第四模块；
所述的第一模块用于同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
第一模块中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即/> 表示第i个图像块的权重；
所述的缩小框的尺寸为：(lx+0.2W，ly+0.2H,0.6W，0.6H)，扩大框的尺寸为：(lx-W′，ly-H′，W+2W′，H+2H′)，其中，(lx，ly，W，H)分别指目标的包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。
所述的第二模块用于同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
第二模块中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：minD，E||D||2，1+α‖E‖1，s.t.X＝D+E，其中，低秩约束采用l2，1范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
minD，E，G‖D-G‖2，1+α‖E‖1+βrank(G)，s.t.X＝D+E，G代表协同性，E代表异质性，对G施加低秩约束，对E施加稀疏约束，‖D-G‖2,1代表通过l2,1范数实现对矩阵的低秩约束；‖E‖1是通过l1范数对噪声矩阵进行稀疏约束,rank(G)是对协同性矩阵施加低秩约束；
所述的第三模块用于构建基于协同低秩图模型的RGBT目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
所述的RGBT目标跟踪模型的公式如下：
其中，m∈{1,2,...,M}代表第m种模态，‖Dm-Gm‖2,1代表通过l2,1范数实现对第m种模态矩阵的低秩约束；‖Em‖1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(G)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；Γ＝[Γ1,Γ2,…,ΓM]T为参数向量，由第一次迭代后的重构误差决定；α,β,γ,δ,λ1和λ2表示正则化参数；⊙表示向量的点乘，即对应元素相乘；
第三模块中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代Dm-Gm，G＝BC用以对协同性矩阵施加低秩分解，其中/> 通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；/>表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,sM与提取的特征结合，构成目标特征表示。
所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
所述的第四模块用于利用交替方向乘子法对第二模块中的RGBT目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
本发明的优点在于：
本发明的技术方案基于协同异质图模型的RGBT目标跟踪算法学习可靠的目标特征表示，改进基于图学习的方法中求解相似性矩阵的计算方式，学习到更可靠的相似性值，并且采用特征分解模型对原始输入特征进行分解，抑制噪声对跟踪结果的影响，同时对不同模态之间的异质性和协同性进行建模，有效利用不同模态的特征。
附图说明
图1是本发明实施例一的基于协同低秩图模型的RGBT目标跟踪方法的多模态目标跟踪流程图；
图2是本发明实施例一的初始化种子节点的设置图，最外、中间和最内框分别代表扩展区域、目标区域和收缩区域。
图3是现有技术的SGT跟踪器与本发明实施例一的相似性求解方式的对比图，A框代表本发明的跟踪器，B框是SGT跟踪器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
如图1所示，多模态目标跟踪方法实施的流程包括如下步骤：
步骤1、同时输入配准的多模态视频序列，对每一帧图像对采取相同的操作；首先，同时对输入的可见光和热红外图像对进行划分，缩小框的尺寸为：(lx+0.2W,ly+0.2H,0.6W,0.6H)，扩大框的尺寸为：(lx-W′,ly-H′,W+2W′,H+2H′)，其中，(lx,ly,W,H)分别指目标包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。
如图2所示，把目标的包围盒划分成64个图像块，设置qm为初始化权重向量，令当第i个图像块的权重/>时，代表该图像块属于前景目标，反之，/>表示该图像块属于背景。根据初始帧的真值或后续帧的预测结果更新qm。假设目标包围盒的缩小框全为前景，即它们的权重向量/>包围盒与扩大框之间的全是背景，即/>另外，在跟踪过程中，设置指示向量Γ，当Γi＝1说明对该图像块属于目标或者背景区域，已经进行过判断。反之，当Γi＝0说明该图像块还未确定。
步骤2、采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，如下公式所示：minD,E||D||2,1+α‖E‖1，s.t.X＝D+E，其中，低秩约束采用l2,1范式，稀疏约束采用l1范式，通过特征分解，有效抑制噪声对跟踪结果的影响。根据数据来源以及成像原理的不同，可以判断不同模态之间的特征不仅存在异质性，而且存在协同性。所以，此处定义一个矩阵用G表示，并且规定它代表不同模态之间的协同性，并且改进相似性矩阵的计算方式，改进模型如下： s.t.Xm＝Dm+Em。其中m∈{1,2,...,M}代表第m种模态，‖Dm-Gm‖2,1代表通过l2,1范数实现对矩阵的低秩约束。‖Em‖1是通过l1范数对噪声矩阵进行稀疏约束。rank(G)是对协同性矩阵施加低秩约束。用来计算不同图像块之间的相似性。Γ＝[Γ1,Γ2,…,ΓM]T为参数向量，由第一次迭代后的重构误差决定。α,β,γ,δ,λ1和λ2表示正则化参数。⊙表示向量的点乘，即对应元素相乘。
步骤3、利用交替方向乘子法(ADMM)对上式进行求解优化(具体参见文献：Boyd S,Parikh N,Chu E.Distributed optimization and statistical learning via thealternating direction method of multipliers[M].Now Publishers Inc,2011)，因为采用ADMM算法求解，模型需为可分离，所以引入辅助变量取代Dm-Gm。另外，由于求解低秩约束需要用到奇异值分解(SVD，参见文献：A Singularly Valuable Decomposition:The SVD of a Matrix[J].The College Mathematics Journal,1996,27(1):2-23.),此处将低秩矩阵分解成两个低维子矩阵，即G＝BC，/> 最终模型如下：
接下来求解变量D、E、S、B、C和w。
为了便于求解，为辅助变量用以取代Dm-Gm，G＝BC用以对协同性矩阵施加低秩分解，其中/> 通过模型，得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8。/>表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,sM与提取的特征结合，构成目标特征表示。从而，对于第i个图像块，结合优化后的权重得到最终结果：/>δ为尺度参数，结合可见光和热红外特征的表示是：/>采用结构化支持向量机(S-SVM)进行跟踪(具体参见文献：Tsochantaridis I,Joachims T，HofmannT，et al.Large margin methods for structured and interdependent outputvariables[J].Journal of Machine Learning Research，2005，6(9))，预测出最终的结果。
由于虽然在整个式子中所有变量不能同时满足凸问题条件，但在每个子问题中，不同变量符合凸问题条件并且有一个闭合解，所以采用ADMM算法求解。
首先，统一划分目标的包围盒为不同的图像块，初始化种子点权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化为1，即全是前景，而包围盒与扩大框之间的全是背景，即/>
通过提出的模型优化图像块权重s1,s2,...,sM，并提取可见光的颜色和梯度特征以及热红外的灰度和梯度特征向量与提取的特征结合，构成目标特征表示。从而，对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：/>
将上述得到的目标特征表示输入到S-SVM中进行预测，通过最大化分类得分得到跟踪结果估计出最终的结果。
如图3所示，B框包围盒根据现有技术(具体参见文献：Li C L，Zhao N，Lu Y J，etal.Weighted sparse representation regularized graph learning for RGB-Tobjecttracking[C]//Proceedings of the Association for Computing MachineryInternational Conference on Multimedia.2017：1856-1864)的SGT方法计算的相似性。A框包围盒是根据本发明提出的方法方法计算的相似性。从图3可以很明显的看出，SGT由于计算的相似性不符合实际情况，很容易使模型发生漂移，影响后续跟踪结果。而本发明的方法，可以避免上述问题的产生，提高模型鲁棒性。
本发明改进基于图模型的目标跟踪算法中相似性求解方式，并同时对不同模态之间的异质性和协同性建模，有效利用不同模态的特征。另外，受到鲁棒主成分分析的启发，本发明使用特征分解将原始输入特征分解成低秩特征部分和稀疏噪声部分，协同利用多模态特征同时克服噪声影响。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，包括以下步骤：
S1、同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
S2、同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
S3、构建基于协同低秩图模型的RGBT目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
所述的RGBT目标跟踪模型的公式如下：
其中，m∈{1，2，...，M}代表第m种模态，||Dm-Gm||2，1代表通过l2，1范数实现对第m种模态矩阵的低秩约束；||Em||1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(G)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；Γ＝[Γ1，Γ2，...，ΓM]T为参数向量，由第一次迭代后的重构误差决定；α，β，γ，δ，λ1和λ2表示正则化参数；⊙表示向量的点乘，即对应元素相乘；
S4、利用交替方向乘子法对步骤S2中的RGBT目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
2.根据权利要求1所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S1中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即/> 表示第i个图像块的权重；
所述的缩小框的尺寸为：(lx+0.2W，ly+0.2H，0.6W，0.6H)，扩大框的尺寸为：(lx-W′，ly-H′，W+2W′，H+2H′)，其中，(lx，ly，W，H)分别指目标的包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。
3.根据权利要求2所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S2中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：minD，E||D||2，1+α||E||1，s.t.X＝D+E，其中，低秩约束采用l2，1范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
minD，E，G||D-G||2，1+α||E||1+βrank(G)，s.t.X＝D+E，G代表协同性，E代表异质性，对G施加低秩约束，对E施加稀疏约束，||D-G||2，1代表通过l2，1范数实现对矩阵的低秩约束；||E||1是通过l1范数对噪声矩阵进行稀疏约束，rank(G)是对协同性矩阵施加低秩约束。
4.根据权利要求1所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S3中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代Dm-Gm，G＝BC用以对协同性矩阵施加低秩分解，其中/>通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；/>表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1，s2，...，sM与提取的特征结合，构成目标特征表示。
5.根据权利要求4所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
6.一种基于协同低秩图模型的RGBT目标跟踪系统，其特征在于，包括：第一模块、第二模块、第三模块、第四模块；
所述的第一模块用于同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
所述的第二模块用于同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
所述的第三模块用于构建基于协同低秩图模型的RGBT目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
所述的RGBT目标跟踪模型的公式如下：
其中，m∈{1，2，...，M}代表第m种模态，||Dm-Gm||2，1代表通过l2，1范数实现对第m种模态矩阵的低秩约束；||Em||1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(G)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；Γ＝[Γ1，Γ2，...，ΓM]T为参数向量，由第一次迭代后的重构误差决定；α，β，γ，δ，λ1和λ2表示正则化参数；⊙表示向量的点乘，即对应元素相乘；
所述的第四模块用于利用交替方向乘子法对第二模块中的RGBT目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
7.根据权利要求6所述的一种基于协同低秩图模型的RGBT目标跟踪系统，其特征在于，第一模块中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即/> 表示第i个图像块的权重；
所述的缩小框的尺寸为：(lx+0.2W，ly+0.2H，0.6W，0.6H)，扩大框的尺寸为：(lx-W′，ly-H′，W+2W′，H+2H′)，其中，(lx，ly，W，H)分别指目标的包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。
8.根据权利要求7所述的一种基于协同低秩图模型的RGBT目标跟踪系统，其特征在于，第二模块中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：minD，E||D||2，1+α||E||1，s.t.X＝D+E，其中，低秩约束采用l2，1范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
minD，E，G||D-G||2，1+α||E||1+βrank(G)，s.t.X＝D+E，G代表协同性，E代表异质性，对G施加低秩约束，对E施加稀疏约束，||D-G||2，1代表通过l2，1范数实现对矩阵的低秩约束；||E||1是通过l1范数对噪声矩阵进行稀疏约束，rank(G)是对协同性矩阵施加低秩约束。
9.根据权利要求8所述的一种基于协同低秩图模型的RGBT目标跟踪系统，其特征在于，第三模块中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代Dm-Gm，G＝BC用以对协同性矩阵施加低秩分解，其中/>通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；/>表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1，s2，...，sM与提取的特征结合，构成目标特征表示。
10.根据权利要求9所述的一种基于协同低秩图模型的RGBT目标跟踪系统，其特征在于，所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
CN202110987298.XA 2021-08-26 2021-08-26 一种基于协同低秩图模型的rgbt目标跟踪方法及系统 Active CN113658227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110987298.XA CN113658227B (zh) 2021-08-26 2021-08-26 一种基于协同低秩图模型的rgbt目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110987298.XA CN113658227B (zh) 2021-08-26 2021-08-26 一种基于协同低秩图模型的rgbt目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN113658227A CN113658227A (zh) 2021-11-16
CN113658227B true CN113658227B (zh) 2024-02-20

Family

ID=78482119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110987298.XA Active CN113658227B (zh) 2021-08-26 2021-08-26 一种基于协同低秩图模型的rgbt目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN113658227B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513093A (zh) * 2015-12-10 2016-04-20 电子科技大学 一种基于低秩矩阵表示的目标跟踪方法
CN108492321A (zh) * 2018-03-26 2018-09-04 安徽大学 一种多模态目标跟踪方法及装置
CN108764177A (zh) * 2018-05-31 2018-11-06 安徽大学 一种基于低秩分解和表示联合学习的运动目标检测方法
CN110232705A (zh) * 2019-05-17 2019-09-13 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN113011438A (zh) * 2021-03-16 2021-06-22 东北大学 基于节点分类和稀疏图学习的双模态图像显著性检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935308B2 (en) * 2012-01-20 2015-01-13 Mitsubishi Electric Research Laboratories, Inc. Method for recovering low-rank matrices and subspaces from data in high-dimensional matrices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513093A (zh) * 2015-12-10 2016-04-20 电子科技大学 一种基于低秩矩阵表示的目标跟踪方法
CN108492321A (zh) * 2018-03-26 2018-09-04 安徽大学 一种多模态目标跟踪方法及装置
CN108764177A (zh) * 2018-05-31 2018-11-06 安徽大学 一种基于低秩分解和表示联合学习的运动目标检测方法
CN110232705A (zh) * 2019-05-17 2019-09-13 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN113011438A (zh) * 2021-03-16 2021-06-22 东北大学 基于节点分类和稀疏图学习的双模态图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
变分调整约束下的反向低秩稀疏学习目标跟踪;田丹;张国山;张娟瑾;;中国图象图形学报;20200616(06);78-85 *

Also Published As

Publication number Publication date
CN113658227A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US11501415B2 (en) Method and system for high-resolution image inpainting
Li et al. Deep attention-based classification network for robust depth prediction
CN106204522B (zh) 对单个图像的联合深度估计和语义标注
US9558268B2 (en) Method for semantically labeling an image of a scene using recursive context propagation
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN111684490A (zh) 动态对象实例检测、分割和结构映射的优化
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN111670457A (zh) 动态对象实例检测、分割和结构映射的优化
CN108898136B (zh) 一种跨模态图像显著性检测方法
CN111814884B (zh) 一种基于可变形卷积的目标检测网络模型的升级方法
US12067730B2 (en) Panoptic segmentation refinement network
CN117557579A (zh) 一种空洞金字塔协同注意力机制助力无监督超像素分割方法及系统
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN116152544A (zh) 基于残差增强空谱融合超图神经网络的高光谱图像分类方法
Choutas et al. Learning to fit morphable models
CN114596375A (zh) 产生重建影像的方法
CN108830320B (zh) 基于鉴别和鲁棒多特征提取的高光谱图像分类方法
CN113052242B (zh) 图像处理网络的训练方法及装置、图像处理方法及装置
Yao et al. AGO: accelerating global optimization for accurate stereo matching
CN113658227B (zh) 一种基于协同低秩图模型的rgbt目标跟踪方法及系统
CN109101978B (zh) 基于加权低秩矩阵恢复模型的显著性目标检测方法与系统
Ghosh et al. Robust simultaneous registration and segmentation with sparse error reconstruction
CN111259176A (zh) 融合有监督信息的基于矩阵分解的跨模态哈希检索方法
Sotiropoulos Handling variable shaped & high resolution images for multi-class classification problem
Carbajal-Degante et al. Active contours for multi-region segmentation with a convolutional neural network initialization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant