CN108520529A - 基于卷积神经网络的可见光和红外视频目标跟踪方法 - Google Patents

基于卷积神经网络的可见光和红外视频目标跟踪方法 Download PDF

Info

Publication number
CN108520529A
CN108520529A CN201810275647.3A CN201810275647A CN108520529A CN 108520529 A CN108520529 A CN 108520529A CN 201810275647 A CN201810275647 A CN 201810275647A CN 108520529 A CN108520529 A CN 108520529A
Authority
CN
China
Prior art keywords
tracking
target
filter
convolution
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810275647.3A
Other languages
English (en)
Inventor
肖刚
徐宁文
张星辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810275647.3A priority Critical patent/CN108520529A/zh
Publication of CN108520529A publication Critical patent/CN108520529A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

一种基于卷积神经网络的可见光和红外视频目标跟踪方法，首先基于已标记的第一帧图像，从可见光和红外图像的目标区域提取标准化的局部图像作为目标卷积滤波器；然后从可见光和红外图像中分别获取相对跟踪候选窗得到了具有特殊的权重的相关卷积滤波器，从而建立无需训练的卷积神经网络对预处理后的视频进行卷积处理，最后经总体去噪声得到最终的跟踪结果。本发明显著地提升了目标跟踪性能。

Description

基于卷积神经网络的可见光和红外视频目标跟踪方法
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于卷积神经网络的可见光和红外视频目标跟踪方法。
背景技术
现有目标跟踪方法根据外表模型的选择可以分为三类：生成式跟踪方法、判别式跟踪方法和混合式跟踪方法，其中基于生成式跟踪方法的基本思想是通过学习一个外表模型用于表示跟踪目标，然后跟踪方法依据最小的重构误差，选择与模型最相似的候选区域来确定跟踪结果，但基于对象的表观模型进行训练而不考虑背景信息，所以缺乏对于相似背景区域时可以稳定跟踪目标的能力，从而导致跟踪漂移；基于判别式跟踪方法被设计为寻找能够最好地将物体与背景分离的决策边界的二元分类问题，而不是建立一个模型来描述物体的表观特征，这样使得这类方法并从某种程度上可以解决跟踪漂移的问题，往往优于生成式跟踪方法，但这类方法需要足够的被正确标记的跟踪对象的样本；对生成方法和判别式方法进行混合的混合式跟踪方法可以结合两类方法的优点并从中受益，但该类方法需要通过生成方法的“判别式型训练”进行完成，这种训练模式需要一个参数来权衡生成方法和判别式方法，一旦混合式跟踪模型的不当混合会产生比单独的生成或判别式方法更差的结果。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于卷积神经网络的可见光和红外视频目标跟踪方法，基于可见光和红外视频融合的有效卷积神经网络的相关目标跟踪方法，采用两层的卷积神经网络通过使用卷积滤波器，提取可见光和红外视频的稀疏特征，能够有效解决目标遮挡、运动模糊和复杂背景等情况下的问题。
本发明是通过以下技术方案实现的：
本发明涉及一种基于卷积神经网络的可见光和红外视频目标跟踪方法，首先基于已标记的第一帧图像，从可见光和红外图像的目标区域提取标准化的局部图像作为目标卷积滤波器；然后从可见光和红外图像中分别获取相对跟踪候选窗得到了具有特殊的权重的相关卷积滤波器，从而建立无需训练的卷积神经网络对预处理后的视频进行卷积处理，最后经总体去噪声得到最终的跟踪结果。
本发明涉及一种实现上述方法的系统，包括：预处理模块、卷积神经网络模块以及目标跟踪模块，其中：预处理模块是基于可见光和红外视频进行预处理后，与卷积神经网络模块相连并传递图像特征信息，卷积神经网络获得这些图像信息进行卷积操作后，与跟踪模块相连传递目标跟踪特征信息，最后目标跟踪模块选取最合适的目标跟踪候选窗。
技术效果
与现有技术相比，本发明构建了独特的卷积滤波器包含两种类型，目标滤波器和相关滤波器。在第一帧中，方法使用一组归一化融合局部图像作为目标滤波器。在其他帧，方法使用相关模型，生成相关滤波器，将前景和背景信息相结合，构建精确的表观模型。基于此，该发明提供了特殊且有效的无需训练的两层卷积神经网络，并通过定性和定量评价的结果表明，这种无需训练的轻量级跟踪方法显著地提升了目标跟踪性能。
附图说明
图1为本发明构建的方法框架示意图；
图2为本发明涉及的相关跟踪方法示意图；
图3为本发明构建的相关跟踪方法候选窗类示意图；
图4为本发明涉及的Sequence1视频的跟踪结果示意图；
图中：(a)为#108帧、(b)为#340帧、(c)为#408帧、(d)为#476帧、(e)为#507帧、(f)为#536帧；
图5为本发明涉及的Sequence2视频的跟踪结果示意图；
图中：(a)为#230帧、(b)为#281帧、(c)为#312帧、(d)为#400帧、(e)为#506帧、(f)为#586帧；
图6为本发明涉及的Sequence3视频的跟踪结果示意图；
图中：(a)为#28帧、(b)为#44帧、(c)为#60帧、(d)为#65帧、(e)为#96帧、(f)为#120帧；
图7为本发明涉及的Sequence4视频的跟踪结果示意图；
图中：(a)为#3帧、(b)为#145帧、(c)为#189帧、(d)为#217帧、(e)为#287帧、(f)为#351帧；
图8为本发明涉及的Labman视频的跟踪结果示意图；
图中：(a)为#193帧、(b)为#252帧、(c)为#280帧、(d)为#300帧、(e)为#334帧、(f)为#352帧；
图9为本发明涉及的Intersection视频的跟踪结果示意图；
图中：(a)为#16帧、(b)为#51帧、(c)为#152帧、(d)为#185帧、(e)为#198帧、(f)为#226帧。
具体实施方式
如图1所示，目标跟踪的本质必须学习平移变化的能力，但算法同时需要利用卷积神经网络的平移不变性克服漂移问题。
本实施例首先基于已标记的第一帧图像，从可见光和红外图像的目标区域提取标准化的局部图像作为目标卷积滤波器；然后从可见光和红外图像中分别获取相对跟踪候选窗得到了具有特殊的权重的相关卷积滤波器，从而建立无需训练的卷积神经网络对预处理后的视频进行卷积处理，最后经总体去噪声得到最终的跟踪结果。
本实施例中图像候选窗所对应的局部图像之间的相关属性对于目标跟踪更为合理。与直接跟踪算法不同的是，相关跟踪算法有效地利用了图像候选窗所对应的局部图像之间的相关关系来进行物体表观建模，如图2所示，可以表示所有相关图像均与目标图像进行相对强度的确定。
所述的标准化的局部图像，即在第一帧中使用归一化融合得到的局部图像，经k-means算法聚类后生成，具体采用目标候选窗滤波器以大小为w×w的滑动窗口方式密集选取得到。
所述的相关卷积滤波器，即在非第一帧使用相对跟踪候选窗得到的局部图像，经k-means算法聚类后生成，模型基于上一帧的跟踪结果的重叠率将候选窗划分为六类：0、(0,0.3)、[0.3,0.6]、[0.6,0.8]、[0.8,0.9)和[0.9,1]，其中每类具有m个候选窗，具体为：即6md个相关卷积滤波器合并生成，其中：第r类候选窗中的第j个相关卷积滤波器该滤波器同时满足j≤m，r≤6，具有重叠内容的局部图像块经大小为w×w的滑动窗口密集选取得到。
所述的相对跟踪候选窗是指：通过相对模型，基于上一帧的跟踪结果的重叠率将候选窗划分为六类：0、(0,0.3)、[0.3,0.6]、[0.6,0.8]、[0.8,0.9)和[0.9,1]，其中每类具有m个候选窗。
所述的无需训练的卷积神经网络，包括：
①简单卷积层：根据相对跟踪候选窗的选取，通过目标卷积滤波器和相关卷积滤波器对不同帧的可见光和红外光图像，进行特征提取；
②优化层：采用稀疏向量近似特征，得到目标跟踪的特征解的输出层。
所述的稀疏向量为利用软阈值可以得到一个近似解f′＝sign(f)max(0，abs(f)-α)，其中：sign(f)表示获取向量f的符号，向量f经特征F向量化得到：
所述的特征F维度为(n-w+1)×(n-w+1)×d，通过六个根据目标卷积滤波器和相关卷积滤波器得到的完整特征图Fi生成，该第i个滤波器生成的完整特征图其中：I为经过预处理的跟踪图像，表示生成的第i个目标特征图，表示生成的第i个相关特征图，W为权重向量，分别给不同的相关卷积滤波器提供权重，其长度为6。
所述的目标特征图为目标滤波器对候选窗I进行卷积操作得到：其中：I为经过预处理的跟踪图像，表示卷积操作，表示生成的第i个目标特征图。
所述的相关特征图为相关滤波器对候选窗I进行卷积操作得到：其中：I为经过预处理的跟踪图像，表示卷积操作，表示生成的第i个相关特征图。
优选地，所述的稀疏向量f′作为表观模型需要不断更新，从而确保跟踪方法可以适应当前帧的目标情况，确保方法的鲁棒性；该更新是指：其中：β表示为更新参数，和意味第t帧和第t+1帧的表观模型。这种在线更新方案不仅可以快速使用目标的外观变化，利用快速更新卷积滤波器生成最合适的表观模型并且因为使用了第一帧保留的目标特征，因此可以保留目标特征，缓解了跟踪漂移问题。
所述的总体去噪声，基于粒子滤波方法，使用朴素贝叶斯方法确定一个后验概率确定，具体步骤包括：p(st|yt)∝p(yt|st)∫p(st|st-1)p(st-1|yt-1)dst-1，其中：st和yt分别表示是第t帧的目标状态和目标观察值，后验概率p(st|yt)是基于n个粒子进行估计的： δ()是狄拉克三角函数。
使用OTCBVS数据库、AIC数据库以及实验室拍摄的视频进行实验。这些数据库一共包括六个视频数据，其中Sequence 1、Sequeonce 2、Sequence 3和Sequence 4视频是来自OTCBVS数据库，而Labman是来自AIC数据库，剩余的Intersection是来自实验室自主拍摄的。这些视频数据有着不同的背景但同样种类的目标。这是因为红外视频利用热成像原理可以捕捉到热量与背景不同的目标，如果目标不具有这种特性，就无法在红外视频中捕捉到。这些视频有着对于每一帧目标位置的标签，以及每个视频序列的影响因素的注释，包括光照变化，部分遮挡，背景混乱和突然移动等，如图4所示。
本实施例采用以下方式进行定量分析指标：
①中心位置误差是计算真实中心点到跟踪窗口中心点的欧氏距离。中心误差的值范围均在0到1，而中心误差越小，跟踪效果越好。实际上中心误差只关注目标跟踪结果的位置而非大小，从而无法完整评判跟踪结果的准确性和适应性。
②重叠率是基于目标跟踪结果对应的区域和真实的区域的重合面积来评判跟踪效果的一个指标，虽然公式中使用跟踪窗口的面积计算重叠率，但实际上，使用窗口所占用的像素点来进行计算重叠率才是指标真正的含义。重叠率的值范围均在0到1，值越大，代表跟踪效果越好。
重叠率实际上是限制了跟踪结果的窗口大小。当尺度变化后，尽管跟踪窗口过大可以确保平均中心误差可以得到较理想的结果，但在计算重叠率中，分子确保但分母过大，仍然会导致重叠率降低的情况。因此实际上重叠率和平均中心误差彼此限制。
当重叠率大于一个给定的阈值(一般设为0.5)，这一帧的结果被视为跟踪成功。而成功率就是基于跟踪成功的数目而计算得到的。成功率的值范围均在0到1，成功率越大越好。
如表1～表4所示，分别代表对于可见光和红外视频使用平均中心误差、平均重叠率和平均成功率三个评判标准，算法通过进行数值比较从而完成的分析。其中，加黑色的字体表明算法在序列里面效果最好，下划线表明算法在序列里效果其次。
表1
表2
表3
表4
如图4～图9所示，分别显示了九个算法在六个视频序列中重要帧的跟踪结果，其中分别针对面临的目标遮挡、光线变化等问题。Sequence 1、Sequence 3和Intersection视频显示了目标出现部分遮挡甚至出现消失的现象。基于卷积神经网络的目标跟踪算法显示了稳定的跟踪效果，而包括CT、MIL、ASLA等优秀算法均产生一定的漂移现象。这主要是因为当目标被具有相似可见光特征的物体遮挡时，这些只依赖可见光视频生成的表观特征无法辨别目标。同时，FRDIF和MVMKF算法虽然使用可见光和红外视频，因为无法较准确地定位目标，无法解决严重的遮挡问题。Sequeonce 2视频展示了光线变化对跟踪算法的影响。视频中可以发现当白云移动时，会造成光线变化和阴影移动。而当目标走进阴影区域时，大多数经典算法如CT、IVT等无法完成跟踪，这是因为这些算法的表观模型无法适应复杂的光线变化。需要注意的是，这不能归咎于这些算法的建模失败。在其中在部分帧中，实际上无法用肉眼直接找到目标，但本文提供的多传感器融合算法可以进行准确的跟踪。同理，MVMKF算法也获得优异的跟踪结果。Sequence 4显示了相似背景对跟踪算法的影响。由于背景与目标颜色特征相似，跟踪算法容易出现跟丢目标(如MIL、TLD、CV)，或者跟错目标的情况(如MVMKF、ALSA)。因此基于背景和相关目标的特征提取的算法重要性也体现于此，本文算法能够正确准确的跟踪。尺度变化是一个在每个视频都会出现的问题，比如目标的由远及近或由近及远的运动，目标的大小会随之变化。在视频Sequence 1、Sequence 2和Sequence 4中，目标具有明显的变化。无法适应尺度变化的算法其重叠率也会很差。如CT算法和MVMKF算法提供相同大小的候选窗，因此无法适应尺度变化。相反卷积神经网络算法对尺度变化敏感，解决了尺度变化的问题。视频Labman提供了目标快速移动甚至产生图像模糊问题的情况，即在视频中目标突然左右摇头或者突然转头时，实验发现大多数的跟踪算法均可以得到较好的跟踪结果，与其他算法相比，卷积神经网络提供平移不变性的特点，因此基于卷积神经网络的算法对目标快速移动等问题具有鲁棒性。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于卷积神经网络的可见光和红外视频目标跟踪方法，其特征在于，首先基于已标记的第一帧图像，从可见光和红外图像的目标区域提取标准化的局部图像作为目标卷积滤波器；然后从可见光和红外图像中分别获取相对跟踪候选窗得到了具有特殊的权重的相关卷积滤波器，从而建立无需训练的卷积神经网络对预处理后的视频进行卷积处理，最后经总体去噪声得到最终的跟踪结果。
2.根据权利要求1所述的方法，其特征是，所述的标准化的局部图像，即在第一帧中使用归一化融合得到的局部图像，经k-means算法聚类后生成，具体采用目标候选窗滤波器以大小为w×w的滑动窗口方式密集选取得到。
3.根据权利要求1所述的方法，其特征是，所述的相关卷积滤波器，即在非第一帧使用相对跟踪候选窗得到的局部图像，经k-means算法聚类后生成，具体为：即6md个相关卷积滤波器合并生成，其中：第r类候选窗中的第j个相关卷积滤波器该滤波器同时满足j≤m，r≤6，具有重叠内容的局部图像块经大小为w×w的滑动窗口密集选取得到。
4.根据权利要求3所述的方法，其特征是，所述的相对跟踪候选窗是指：通过相对模型，基于上一帧的跟踪结果的重叠率将候选窗划分为六类：0、(0,0.3)、[0.3,0.6]、[0.6,0.8]、[0.8,0.9)和[0.9,1]，其中每类具有m个候选窗。
5.根据权利要求1所述的方法，其特征是，所述的无需训练的卷积神经网络，包括：
①简单卷积层：本层根据相对跟踪候选窗的选取，通过目标卷积滤波器和相关卷积滤波器对不同帧的可见光和红外光图像，进行特征提取；
②优化层：采用稀疏向量近似特征，得到目标跟踪的特征解的输出层。
6.根据权利要求5所述的方法，其特征是，所述的稀疏向量为 利用软阈值可以得到一个近似解f′＝sign(f)max(0，abs(f)-α)，其中：sign(f)表示获取向量f的符号，向量f经特征F向量化得到：
所述的特征F维度为(n-w+1)×(n-w+1)×d，通过六个根据目标卷积滤波器和相关卷积滤波器得到的完整特征图Fi生成，该第i个滤波器生成的完整特征图 其中：I为经过预处理的跟踪图像，表示生成的第i个目标特征图，表示生成的第i个相关特征图，W为权重3ws向量，分别给不同的相关卷积滤波器提供权重，其长度为6；
所述的目标特征图为目标滤波器对候选窗I进行卷积操作得到：其中：表示卷积操作，表示生成的第i个目标特征图；所述的相关特征图为相关滤波器对候选窗I进行卷积操作得到：其中：I为经过预处理的跟踪图像，表示卷积操作，表示生成的第i个相关特征图。
7.根据权利要求5或6所述的方法，其特征是，所述的稀疏向量f′作为表观模型需要不断更新，从而确保跟踪方法可以适应当前帧的目标情况，确保方法的鲁棒性；该更新是指：其中：β表示为更新参数，和意味第t帧和第t+1帧的表观模型。
8.根据权利要求1所述的方法，其特征是，所述的总体去噪声，基于粒子滤波方法，使用朴素贝叶斯方法确定一个后验概率确定，具体步骤包括：p(st|yt)∝p(yt|st)∫p(st|st-1)p(st-1|yt-1)dst-1，其中：st和yt分别表示是第t帧的目标状态和目标观察值，后验概率p(st|yt)是基于n个粒子进行估计的：δ()是狄拉克三角函数。
9.根据权利要求1所述的方法，其特征是，所述的最终的跟踪结果，通过以下方式进行定量分析指标：
①中心位置误差：计算真实中心点到跟踪窗口中心点的欧氏距离；
②重叠率：使用跟踪窗口的面积计算重叠率，基于目标跟踪结果对应的区域和真实的区域的重合面积来评判跟踪效果。
10.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：预处理模块、卷积神经网络模块以及目标跟踪模块，其中：预处理模块是基于可见光和红外视频进行预处理后，与卷积神经网络模块相连并传递图像特征信息，卷积神经网络获得这些图像信息进行卷积操作后，与跟踪模块相连传递目标跟踪特征信息，最后目标跟踪模块选取最合适的目标跟踪候选窗。
CN201810275647.3A 2018-03-30 2018-03-30 基于卷积神经网络的可见光和红外视频目标跟踪方法 Pending CN108520529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810275647.3A CN108520529A (zh) 2018-03-30 2018-03-30 基于卷积神经网络的可见光和红外视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810275647.3A CN108520529A (zh) 2018-03-30 2018-03-30 基于卷积神经网络的可见光和红外视频目标跟踪方法

Publications (1)

Publication Number Publication Date
CN108520529A true CN108520529A (zh) 2018-09-11

Family

ID=63430908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810275647.3A Pending CN108520529A (zh) 2018-03-30 2018-03-30 基于卷积神经网络的可见光和红外视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108520529A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543615A (zh) * 2018-11-23 2019-03-29 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN112418203A (zh) * 2020-11-11 2021-02-26 南京邮电大学 基于双线性汇合四流网络的鲁棒性rgb-t跟踪方法
CN112465867A (zh) * 2020-11-30 2021-03-09 南京莱斯电子设备有限公司 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN113221676A (zh) * 2021-04-25 2021-08-06 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
US20140233796A1 (en) * 2013-02-15 2014-08-21 Omron Corporation Image processing device, image processing method, and image processing program
CN104537392A (zh) * 2014-12-26 2015-04-22 电子科技大学 一种基于判别性语义部件学习的对象检测方法
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN105096285A (zh) * 2014-05-23 2015-11-25 南京理工大学 一种基于多核dsp的图像融合与目标跟踪系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233796A1 (en) * 2013-02-15 2014-08-21 Omron Corporation Image processing device, image processing method, and image processing program
CN103714548A (zh) * 2013-12-27 2014-04-09 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
CN105096285A (zh) * 2014-05-23 2015-11-25 南京理工大学 一种基于多核dsp的图像融合与目标跟踪系统
CN104537392A (zh) * 2014-12-26 2015-04-22 电子科技大学 一种基于判别性语义部件学习的对象检测方法
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIHUA ZHANG ET AL: ""Robust Visual Tracking via Convolutional Networks Without Training"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
NINGWEN XU ET AL: ""Relative Object Tracking Algorithm Based on Convolutional Neural Network for Visible and Infrared Video Sequences"", 《ICVR》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543615A (zh) * 2018-11-23 2019-03-29 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN109543615B (zh) * 2018-11-23 2022-10-28 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN112418203A (zh) * 2020-11-11 2021-02-26 南京邮电大学 基于双线性汇合四流网络的鲁棒性rgb-t跟踪方法
CN112418203B (zh) * 2020-11-11 2022-08-30 南京邮电大学 基于双线性汇合四流网络的鲁棒性rgb-t跟踪方法
CN112465867A (zh) * 2020-11-30 2021-03-09 南京莱斯电子设备有限公司 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN112465867B (zh) * 2020-11-30 2024-01-05 南京莱斯电子设备有限公司 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN113221676A (zh) * 2021-04-25 2021-08-06 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置
CN113221676B (zh) * 2021-04-25 2023-10-13 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置

Similar Documents

Publication Publication Date Title
Han et al. Dynamic scene semantics SLAM based on semantic segmentation
Niu et al. Unsupervised saliency detection of rail surface defects using stereoscopic images
CN106778664B (zh) 一种虹膜图像中虹膜区域的分割方法及其装置
Bertozzi et al. Pedestrian detection for driver assistance using multiresolution infrared vision
Luo et al. Aircraft target detection in remote sensing images based on improved YOLOv5
Min et al. A new approach to track multiple vehicles with the combination of robust detection and two classifiers
CN110135485A (zh) 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN102609686B (zh) 一种行人检测方法
CN103035013B (zh) 一种基于多特征融合的精确运动阴影检测方法
CN108520529A (zh) 基于卷积神经网络的可见光和红外视频目标跟踪方法
CN109919974A (zh) 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
Xu et al. Automatic building rooftop extraction from aerial images via hierarchical RGB-D priors
CN106296742A (zh) 一种结合特征点匹配的在线目标跟踪方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN113158943A (zh) 一种跨域红外目标检测方法
CN103761747B (zh) 一种基于加权分布场的目标跟踪方法
CN105260749A (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
Liu et al. Dynamic RGB-D SLAM based on static probability and observation number
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
Fan et al. Multi-task and multi-modal learning for rgb dynamic gesture recognition
CN113269089B (zh) 基于深度学习的实时手势识别方法及系统
Wang Multi-sensor fusion module for perceptual target recognition for intelligent machine learning visual feature extraction
Miao et al. Ds-depth: Dynamic and static depth estimation via a fusion cost volume
CN104517300A (zh) 基于颜色统计特征的视觉判别跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180911