CN115272420B - 一种长时目标跟踪方法、系统及存储介质 - Google Patents
一种长时目标跟踪方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115272420B CN115272420B CN202211188338.5A CN202211188338A CN115272420B CN 115272420 B CN115272420 B CN 115272420B CN 202211188338 A CN202211188338 A CN 202211188338A CN 115272420 B CN115272420 B CN 115272420B
- Authority
- CN
- China
- Prior art keywords
- image
- thermal infrared
- visible light
- module
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供了一种长时目标跟踪方法、系统及存储介质,该长时目标跟踪系统包括数据读取模块、双光融合跟踪模块、单光级联检测模块和决策模块,所述双光融合跟踪模块包括图像特征对齐模块、特征融合模块、多跟踪器协同模型;所述单光级联检测模块包括方差检测器、集合检测器、最近邻检测器;所述数据读取模块用于从可见光和热红外摄像头读取可见光图像和热红外图像。本发明的有益效果是:本发明的长时目标跟踪方法及系统具有较高的跟踪精度、鲁棒性与实时性。
Description
技术领域
本发明涉及目标跟踪技术领域,尤其涉及一种长时目标跟踪方法、系统及存储介质。
背景技术
当前长时目标跟踪技术必须面对真实场景中的光照变化、目标消失再出现、剧烈的尺度变化等问题。为解决上述问题,基于跟踪与检测结合的长时跟踪方法主要是通过跟踪器进行短时跟踪, 检测器进行目标丢失时重捕获。
这种基于跟踪与检测结合的长时跟踪方法采用可见光图像作为唯一输入,其思想主要分为三个阶段,第一个阶段,跟踪器利用当前帧目标局部信息预测下一帧的目标状态,第二阶段是检测器利用当前帧全局信息预测下一帧的目标状态,第三个阶段是综合跟踪器和检测器的预测结果决策出下一帧的最优目标状态。
在数据的使用方面,现有的长时目标跟踪方法可以分为两类,一类是仅使用一种模态数据的跟踪方法,比如基于可见光的跟踪方法和基于热红外的跟踪方法;另一类是使用多种模态数据的跟踪方法,比如基于可见光-热红外的跟踪方法。第一类方法由于使用的数据类型有限,导致其应用场景受到很大限制;第二类方法使用了多种模态的数据,虽然可以应对更复杂的场景,但是输入数据的增加导致了计算量的增加。
背景技术的缺陷如下:
数据使用方面:现有的基于跟踪与检测结合的长时跟踪算法仅使用可见光图像作为输入,因可见光图像的成像特性,导致该类算法在夜晚、雨雾天等场景中难以取得满意的跟踪效果。
现有的双光特征融合的不足:现有的双光特征融合方法主要分为三类,一类是基于简单融合策略的方法 ,这些方法对双光图像特征通过逐元素相加和拼接等方式来实现特征的结合,该类方法忽略了不同模态的质量与相关性; 第二类是基于模态权重的融合方法,这些方法通过调节不同场景下可见光图像特征与热红外图像特征的权重来实现融合;第三类是基于注意力机制的融合方法 ,这些方法引入注意力机制来提高模型的局部或全局特征提取能力。而第二类和第三类特征融合方法直接对可见光和热红外图像特征进行融合操作,忽略了模态差异带来的不良影响,同时没有权衡好模态特有特征与模态共享特征的关系。
可见光和热红外图像对位置偏移的问题:现有的双光目标跟踪算法都假设可见光图像和热红外图像是严格对齐的,然而在实际场景中由于可见光摄像头和热红外摄像头的不同抖动程度、视差等因素的影响,导致获取的可见光和热红外图像对不是完全对齐的,也即存在位置偏移问题。位置偏移问题会严重影响跟踪算法的性能。
基于跟踪与检测相结合的长时跟踪算法运行速度的缺陷:现有的跟踪与检测结合的跟踪算法在目标丢失(目标运动出视野、目标被遮挡)时,采用全局搜索的检测器对丢失目标进行重捕获,也即通过滑动窗口遍历整幅可见光图像得到非常多的候选目标图像块,对这些候选图像块分别进行检测从而判断是否含有丢失的目标。当目标比较小时,需要检测的候选图像块数量非常庞大,从而导致算法运行速度慢。
发明内容
本发明提供了一种长时目标跟踪方法,包括如下步骤:
数据读取步骤:从可见光和热红外摄像头读取可见光图像和热红外图像;
图像特征对齐步骤:将可见光图像和热红外图像输入到一个离线训练好的特征对齐模块中,经过该特征对齐模块的处理使得可见光图像和热红外图像在特征层面上是完全对齐的,将可见光图像和热红外图像称为双光图像;
特征融合步骤:将对齐后的双光图像特征输入到一个离线训练好的特征融合模块中,在轻量特征融合模块中对双光图像特征进行空间和语义层级的融合;
作为本发明的进一步改进,在所述图像特征对齐步骤中,将可见光图像和热红外
图像输入到一个离线训练好的特征对齐模块中,输入的可见光图像特征和热红外图像特征
分别为和,将可见光图像特征作为参考特征,通过预测的偏移量来调整热红外图像特
征,调整后的热红外图像特征为,
表示将可见光图像特征与热红外图像特征沿通道维度进行拼接, 将拼接
的特征通过卷积操作预测出可见光与热红外特征点之间的偏移量, 操作根据
学习出来的偏移量对热红外图像特征进行调整,且 采用可形变卷积实现。
作为本发明的进一步改进,在所述特征融合步骤,,R为实数域,代表其为C×H×W维的实数张量,进行形状调整后得到四个嵌入特征,代表大小都为HW×C的张量,之后对和 、和分别进行
矩阵乘操作得到模态内的跨通道相似矩阵,
将语义模式传播矩阵分别与输入特征进行矩阵乘操作,从而得到在可见光和热红外图像中模态共享的语义信息,
可见光和热红外图像中模态共享的空间信息,
使用逐元素相加将模态共享的语义信息和空间特征信息与原特征进行融合,
作为本发明的进一步改进,在所述多跟踪器协同模型中,采用多个传统跟踪器与
一个深度学习类跟踪器进行协同跟踪,对于每一帧图像,n个传统跟踪器的预测结果为,深度学习类跟踪器的预测结果为,根据式(5-14)确定最终的预测结果,
在每隔m帧执行一次深度学习类跟踪器,中间帧只执行传统跟踪器,此时最终的预测结果由下式确定,
在集合检测器中,对个图像片的检测任务,将图像片加载到GPU内存中,将GPU中
的线程组织为个线程块,在GPU中,线程块中的每个线程负责计算该图像片上一对特
征点的像素比较值,每个线程块依据该比较值完成对一个图像片的检测;
在最近邻检测器中,对图像片计算其与先前帧中的正负样本的相似度值,依据该
相似度值对其进行检测分类,假设先前的正样本和负样本数量分别为和,对于个大小的图像片的检测任务,将这些图像片和正负样本加载到GPU内存中,将GPU中的
线程组织为个大小为的线程块;在GPU中,线程块中的每个线程负责
计算一个图像片与正样本或负样本上对应像素点的相似度值,每个线程块依据该相似度值
完成对一个图像片的检测。
本发明还提供了一种长时目标跟踪系统,包括数据读取模块、双光融合跟踪模块、单光级联检测模块和决策模块,
所述双光融合跟踪模块包括图像特征对齐模块、特征融合模块、多跟踪器协同模型;
所述单光级联检测模块包括方差检测器、集合检测器、最近邻检测器;
所述数据读取模块用于从可见光和热红外摄像头读取可见光图像和热红外图像,
作为本发明的进一步改进,所述图像特征对齐模块:用于对可见光图像和热红外图像进行处理,使得可见光图像和热红外图像在特征层面上是完全对齐的,将可见光图像和热红外图像称为双光图像;
所述特征融合模块:用于将对齐后的双光图像特征进行空间和语义层级的融合;
表示将可见光图像特征与热红外图像特征沿通道维度进行拼接, 将拼接
的特征通过卷积操作预测出可见光与热红外特征点之间的偏移量, 操作根据
学习出来的偏移量对热红外图像特征进行调整,且 采用可形变卷积实现。
作为本发明的进一步改进,在所述特征融合模块中,,R为实数
域,代表其为C×H×W维的实数张量,进行形状调整后得到四个嵌入特征,代表大小都为HW×C的张量,之后对和 、和分别进行
矩阵乘操作得到模态内的跨通道相似矩阵,
将语义模式传播矩阵分别与输入特征进行矩阵乘操作,从而得到在可见光和热红外图像中模态共享的语义信息,
可见光和热红外图像中模态共享的空间信息,
使用逐元素相加将模态共享的语义信息和空间特征信息与原特征进行融合,
作为本发明的进一步改进,在所述多跟踪器协同模型中,采用多个传统跟踪器与
一个深度学习类跟踪器进行协同跟踪,对于每一帧图像,n个传统跟踪器的预测结果为,深度学习类跟踪器的预测结果为,根据式(5-14)确定最终的预测结果,
在每隔m帧执行一次深度学习类跟踪器,中间帧只执行传统跟踪器,此时最终的预测结果由下式确定,
在集合检测器中,对个图像片的检测任务,将图像片加载到GPU内存中,将GPU中
的线程组织为个线程块,在GPU中,线程块中的每个线程负责计算该图像片上一对特
征点的像素比较值,每个线程块依据该比较值完成对一个图像片的检测;
在最近邻检测器中,对图像片计算其与先前帧中的正负样本的相似度值,依据该
相似度值对其进行检测分类,假设先前的正样本和负样本数量分别为和,对于个大小的图像片的检测任务,将这些图像片和正负样本加载到GPU内存中,将GPU中的
线程组织为个大小为的线程块;在GPU中,线程块中的每个线程负责
计算一个图像片与正样本或负样本上对应像素点的相似度值,每个线程块依据该相似度值
完成对一个图像片的检测。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现本发明的长时目标跟踪方法的步骤。
本发明的有益效果是:本发明的长时目标跟踪方法及系统具有较高的跟踪精度、鲁棒性与实时性。
附图说明
图1是本发明的长时目标跟踪系统原理图。
具体实施方式
本发明公开了一种长时目标跟踪方法,包括如下步骤:
数据读取步骤:从可见光和热红外摄像头读取可见光图像和热红外图像,在之后的处理中,可见光图像将作为检测算法的唯一输入,热红外图像和可见光图像将作为双光目标跟踪的输入;
图像特征对齐步骤:将可见光图像和热红外图像输入到一个离线训练好的特征对齐模块中,经过该特征对齐模块的处理使得可见光图像和热红外图像在特征层面上是完全对齐的,将可见光图像和热红外图像称为双光图像;
特征融合步骤:将对齐后的双光图像特征输入到一个离线训练好的特征融合模块中,在特征融合模块中对双光图像特征进行空间和语义层级的融合;
现有的基于跟踪与检测结合的长时跟踪算法仅使用可见光图像作为输入,因可见光图像的成像特性,导致该类算法在夜晚、雨雾天等场景中难以取得满意的跟踪效果。为了解决这个问题,本发明新增热红外图像作为额外的输入,如图1所示,本发明还公开了一种双光(可见光和热红外)目标跟踪与单光(可见光)检测相结合的长时目标跟踪系统,包括数据读取模块、双光融合跟踪模块、单光级联检测模块和决策模块,
所述双光融合跟踪模块包括图像特征对齐模块、特征融合模块、多跟踪器协同模型;
所述数据读取模块用于从可见光和热红外摄像头读取可见光图像和热红外图像,
所述图像特征对齐模块:用于对可见光图像和热红外图像进行处理,使得可见光图像和热红外图像在特征层面上是完全对齐的,将可见光图像和热红外图像称为双光图像;
所述特征融合模块:用于将对齐后的双光图像特征进行空间和语义层级的融合;
下面进行具体详细说明:
1. 图像特征对齐模块:
为解决可见光和热红外图像对位置偏移的问题,本发明在特征层级对热红外图像
特征进行调整,即通过监督学习的特征偏差来微调热红外图像特征。假设输入的可见光图
像特征和热红外图像特征分别为和,将可见光图像特征作为参考特征,通过预测的偏
移量来调整热红外图像特征,调整后的热红外图像特征为,
上式中,表示将可见光图像特征与热红外图像特征沿通道维度进行拼接,
将拼接的特征通过卷积操作预测出可见光与热红外特征点之间的偏移量, 操
作根据学习出来的偏移量对热红外图像特征进行调整,且 采用可形变卷积实现。
2. 特征融合模块:
为避免可见光和热红外模态差异带来的不良影响,本发明提出一种基于通道与空
间模式传播的特征融合方法。假设输入的可见光图像特征和热红外图像特征分别为和,且,对这些特征进行形状调整后得到,之后对和 、和分别进行矩阵乘操作得到模态内的跨通道相似矩阵,
与通道模式传播类似,基于模态共享的空间模式传播矩阵,我们可以得到可见光和热红外图像中模态共享的空间信息,
为了实现模态共享特征之间的相互补充,我们使用逐元素相加将模态共享的语义信息和空间特征信息与原特征进行融合,
综上,为了解决现有的双光特征融合不足的问题,本发明提出了一种基于模式传播的双光特征融合方法,通过模态间模式的相关性,可以在保护模态特有特征的同时实现模态共享特征间的充分交互,从而提高跟踪的性能。
本发明不同于背景技术的方法,本发明更准备的说是一种双光目标跟踪与单光检测相结合的跟踪方法,提出了一系列方法来兼顾跟踪质量和计算效率。在特征融合方面,现有的特征融合方法均采用的是模态数据直接交互(相加、通道拼接等)的方式,虽然实现了模态共享信息的增强,但该方式会对模态特有特征造成污染。本发明在实现模态共享特征的交互的同时,考虑了对模态特有特征的保护。
3. 多跟踪器协同模型:
为了解决传统跟踪器速度快但性能不高、深度学习类跟踪器性能高但速度慢的问题,我们提出一种传统跟踪器与深度学习类跟踪器相互协同的模型,该模型可以兼顾速度与精度。
在该模型中,我们采用多个传统跟踪器(将不使用卷积网络进行推理计算的跟踪
算法定义为传统跟踪器)与一个深度学习类跟踪器(将使用卷积网络进行推理计算的跟踪
算法定义为深度学习类跟踪器)进行协同跟踪。对于每一帧图像,n个传统跟踪器的预测结
果为,深度学习类跟踪器的预测结果为,根据式(5-14)确定最终的预测结果,
由于深度学习类跟踪器的运行速度慢,所以我们只在每隔m帧执行一次深度学习类跟踪器,中间帧只执行传统跟踪器,此时最终的预测结果由下式确定,
4. 基于OpenMP和Cuda的CPU-GPU异构并行加速方法
为了解决级联检测中检测器运行速度慢的问题,我们基于OpenMP对方差检测器进行CPU并行化加速,基于Cuda对集合检测器和最近邻检测器进行GPU并行化加速。
在集合检测器中,对个图像片的检测任务,将图像片加载到GPU内存中,将GPU中
的线程组织为个线程块,其中由下式确定。在GPU中,线程块中的每个线程负责
计算该图像片上一对特征点的像素比较值,每个线程块依据该比较值完成对一个图像片的
检测。
在最近邻检测器中,对图像片计算其与先前帧中的正负样本的相似度值,依据该
相似度值对其进行检测分类。假设先前的正样本和负样本数量分别为和,对于个大小的图像片的检测任务,将这些图像片和正负样本加载到GPU内存中,将GPU中的
线程组织为个大小为的线程块。在GPU中,线程块中的每个线程负责
计算一个图像片与正样本或负样本上对应像素点的相似度值,每个线程块依据该相似度值
完成对一个图像片的检测。
本发明的有益效果是:通过上述方案,此长时目标跟踪器具有较高的跟踪精度、鲁棒性与实时性。具体表述为:
(1)对长时目标跟踪任务,本发明提出一种长时目标跟踪系统(新的跟踪框架),将传统算法中的单光跟踪-单光检测的框架替换为双光融合跟踪-单光级联检测的跟踪框架,使跟踪算法在夜晚、雨雾天等复杂场景下具有更强的鲁棒性。
(2)针对可见光和热红外图像对位置偏移的问题,设计了一个图像特征对齐模块用于动态调整热红外图像特征,使得热红外图像特征与可见光图像特征在空间上对齐,使跟踪算法可以适用于图像不完全对齐的情况,扩大了跟踪算法的应用场景。
(3)针对模态差异给跟踪带来不良影响的问题,提出一种基于通道与空间模式传播的特征融合方法,该方法避免了可见光与热红外两种模态之间的直接交互,基于模态共享的语义与空间信息建模,提高了特征融合的有效性。
(4)提出多跟踪器协同模型,利用多个传统跟踪算法与深度学习类跟踪算法进行协同跟踪,兼顾了传统跟踪器的速度与深度学习类跟踪器的精度,使跟踪算法具有更高的精度与实时性。
(5)针对长时跟踪算法中检测器速度慢的问题,提出基于OpenMP与Cuda的CPU-GPU异构并行加速方案,对级联检测器中的方差检测器进行CPU并行加速,对集合检测器和最近邻检测器进行GPU并行加速,解决了检测器带来的速度瓶颈问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种长时目标跟踪方法,其特征在于,包括如下步骤:
数据读取步骤:从可见光和热红外摄像头读取可见光图像和热红外图像;
图像特征对齐步骤:将可见光图像和热红外图像输入到一个离线训练好的特征对齐模块中,经过该特征对齐模块的处理使得可见光图像和热红外图像在特征层面上是完全对齐的,将可见光图像和热红外图像称为双光图像;
特征融合步骤:将对齐后的双光图像特征输入到一个离线训练好的特征融合模块中,在轻量特征融合模块中对双光图像特征进行空间和语义层级的融合;
在所述特征融合步骤,,和分别表示可见光图像特征和热红外图
像特征,R为实数域,代表其为C×H×W维的实数张量,进行形状调整后得到四个嵌
入特征,代表大小都为HW×C的张量,之后对和 、和分
别进行矩阵乘操作得到模态内的跨通道相似矩阵,
将语义模式传播矩阵分别与输入特征进行矩阵乘操作,从而得到在可见光和热红外图像中模态共享的语义信息,
可见光和热红外图像中模态共享的空间信息,
使用逐元素相加将模态共享的语义信息和空间特征信息与原特征进行融合,
在每隔m帧执行一次深度学习类跟踪器,中间帧只执行传统跟踪器,此时最终的预测结果由下式确定,
4.根据权利要求1所述的长时目标跟踪方法,其特征在于,
在集合检测器中,对个图像片的检测任务,将图像片加载到GPU内存中,将GPU中的线
程组织为个线程块,在GPU中,线程块中的每个线程负责计算该图像片上一对特征点
的像素比较值,每个线程块依据该比较值完成对一个图像片的检测;
5.一种长时目标跟踪系统,其特征在于,包括数据读取模块、双光融合跟踪模块、单光级联检测模块和决策模块,
所述双光融合跟踪模块包括图像特征对齐模块、特征融合模块、多跟踪器协同模型;
所述单光级联检测模块包括方差检测器、集合检测器、最近邻检测器;
所述数据读取模块用于从可见光和热红外摄像头读取可见光图像和热红外图像,
在所述特征融合模块中,,和分别表示可见光图像特征和热红外
图像特征,R为实数域,代表其为C×H×W维的实数张量,进行形状调整后得到四
个嵌入特征,代表大小都为HW×C的张量,之后对和 、和分别进行矩阵乘操作得到模态内的跨通道相似矩阵,
将语义模式传播矩阵分别与输入特征进行矩阵乘操作,从而得到在可见光和热红外图像中模态共享的语义信息,
可见光和热红外图像中模态共享的空间信息,
使用逐元素相加将模态共享的语义信息和空间特征信息与原特征进行融合,
在每隔m帧执行一次深度学习类跟踪器,中间帧只执行传统跟踪器,此时最终的预测结果由下式确定,
9.根据权利要求5所述的长时目标跟踪系统,其特征在于,
在集合检测器中,对个图像片的检测任务,将图像片加载到GPU内存中,将GPU中的线
程组织为个线程块,在GPU中,线程块中的每个线程负责计算该图像片上一对特征点
的像素比较值,每个线程块依据该比较值完成对一个图像片的检测;
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现权利要求1-4中任一项所述的长时目标跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188338.5A CN115272420B (zh) | 2022-09-28 | 2022-09-28 | 一种长时目标跟踪方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188338.5A CN115272420B (zh) | 2022-09-28 | 2022-09-28 | 一种长时目标跟踪方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115272420A CN115272420A (zh) | 2022-11-01 |
CN115272420B true CN115272420B (zh) | 2023-01-17 |
Family
ID=83756985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211188338.5A Active CN115272420B (zh) | 2022-09-28 | 2022-09-28 | 一种长时目标跟踪方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115272420B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598739A (zh) * | 2020-12-25 | 2021-04-02 | 哈尔滨工业大学(深圳) | 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质 |
CN113077491A (zh) * | 2021-04-02 | 2021-07-06 | 安徽大学 | 基于跨模态共享和特定表示形式的rgbt目标跟踪方法 |
CN114022516A (zh) * | 2021-11-15 | 2022-02-08 | 安徽大学 | 一种基于高秩特征和位置注意力的双模态视觉跟踪方法 |
WO2022100470A1 (en) * | 2020-11-13 | 2022-05-19 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for target detection |
CN114998220A (zh) * | 2022-05-12 | 2022-09-02 | 湖南中医药大学 | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 |
CN115063329A (zh) * | 2022-06-10 | 2022-09-16 | 中国人民解放军国防科技大学 | 低光照环境下的可见光和红外图像融合增强方法及系统 |
CN115170605A (zh) * | 2022-06-15 | 2022-10-11 | 南京大学 | 基于多模态交互和多阶段优化的实时rgbt目标跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012203B (zh) * | 2021-04-15 | 2023-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN115100235B (zh) * | 2022-08-18 | 2022-12-20 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种目标跟踪方法、系统及存储介质 |
-
2022
- 2022-09-28 CN CN202211188338.5A patent/CN115272420B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022100470A1 (en) * | 2020-11-13 | 2022-05-19 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for target detection |
CN112598739A (zh) * | 2020-12-25 | 2021-04-02 | 哈尔滨工业大学(深圳) | 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质 |
CN113077491A (zh) * | 2021-04-02 | 2021-07-06 | 安徽大学 | 基于跨模态共享和特定表示形式的rgbt目标跟踪方法 |
CN114022516A (zh) * | 2021-11-15 | 2022-02-08 | 安徽大学 | 一种基于高秩特征和位置注意力的双模态视觉跟踪方法 |
CN114998220A (zh) * | 2022-05-12 | 2022-09-02 | 湖南中医药大学 | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 |
CN115063329A (zh) * | 2022-06-10 | 2022-09-16 | 中国人民解放军国防科技大学 | 低光照环境下的可见光和红外图像融合增强方法及系统 |
CN115170605A (zh) * | 2022-06-15 | 2022-10-11 | 南京大学 | 基于多模态交互和多阶段优化的实时rgbt目标跟踪方法 |
Non-Patent Citations (5)
Title |
---|
Object fusion tracking based on visible and infrared images: A comprehensive review;Xingchen Zhang 等;《Information Fusion》;20201130;第63卷;166-187 * |
Self-Supervised Cross-Modal Distillation for Thermal Infrared Tracking;Yufei Zha 等;《IEEE MultiMedia》;20220916;1-13 * |
Tracking-Learning-Detection;Zdenek Kalal 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20200131;第6卷(第1期);1-14 * |
基于深层网络的城市街道场景的语义分割的方法研究;陈聪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200215(第2期);I138-1431 * |
基于自适应空间特征融合的轻量化目标检测算法;罗禹杰 等;《激光与光电子学进展》;20220228;第59卷(第4期);0415004-1:11 * |
Also Published As
Publication number | Publication date |
---|---|
CN115272420A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
Xu et al. | A systematic review and analysis of deep learning-based underwater object detection | |
CN110910391B (zh) | 一种双模块神经网络结构视频对象分割方法 | |
CN111428575B (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
Zhou et al. | Underwater image enhancement method with light scattering characteristics | |
GB2553782A (en) | Predicting depth from image data using a statistical model | |
Tian et al. | Unsupervised learning of optical flow with CNN-based non-local filtering | |
CN111931603B (zh) | 基于竞合网络的双流卷积网络的人体动作识别系统及方法 | |
Zhou et al. | Underwater image restoration via information distribution and light scattering prior | |
KR20220052359A (ko) | 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측 | |
CN115170605A (zh) | 基于多模态交互和多阶段优化的实时rgbt目标跟踪方法 | |
WO2023236445A1 (zh) | 一种使用长曝光补偿的低光照图像增强方法 | |
CN115063648A (zh) | 一种绝缘子缺陷检测模型构建方法及系统 | |
Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
Huang et al. | Learning optical flow with R-CNN for visual odometry | |
Wu et al. | Direct sparse odometry with planes | |
Li et al. | Occlusion aware unsupervised learning of optical flow from video | |
CN115272420B (zh) | 一种长时目标跟踪方法、系统及存储介质 | |
CN111275751A (zh) | 一种无监督绝对尺度计算方法及系统 | |
CN115439738A (zh) | 一种基于自监督协同重构的水下目标检测方法 | |
WO2023049726A1 (en) | Processing video content using gated transformer neural networks | |
CN113096176B (zh) | 一种语义分割辅助的双目视觉无监督深度估计方法 | |
Zhang et al. | Unsupervised learning of monocular depth and large-ego-motion with multiple loop consistency losses | |
Dong et al. | Framework of degraded image restoration and simultaneous localization and mapping for multiple bad weather conditions | |
Liu et al. | Bilevel Generative Learning for Low-Light Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |