CN112816474B - 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 - Google Patents

一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 Download PDF

Info

Publication number
CN112816474B
CN112816474B CN202110017726.6A CN202110017726A CN112816474B CN 112816474 B CN112816474 B CN 112816474B CN 202110017726 A CN202110017726 A CN 202110017726A CN 112816474 B CN112816474 B CN 112816474B
Authority
CN
China
Prior art keywords
rgb
hyperspectral
target
frame
clsmap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110017726.6A
Other languages
English (en)
Other versions
CN112816474A (zh
Inventor
刘桢杞
王心宇
钟燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110017726.6A priority Critical patent/CN112816474B/zh
Publication of CN112816474A publication Critical patent/CN112816474A/zh
Application granted granted Critical
Publication of CN112816474B publication Critical patent/CN112816474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。本发明设计了基于目标感知的深度孪生网络高光谱目标跟踪框架，相比于现有高光谱目标跟踪模型，本发明提升了算法处理速度以及精度。本发明设计了高光谱目标感知模型用以提取高光谱目标的语义特征，增加了网络对高光谱视频目标的表征能力。设计了自适应边界框预测模块，可以直接预测出目标的边界框。本发明可以解决用于深度学习模型训练的高光谱训练样本少的问题，相比于现有高光谱目标跟踪模型，本发明提升了算法处理速度以及精度。

Description

一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法
技术领域
本发明基于计算视觉技术处理领域，特别涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。
背景技术
视频目标跟踪由于其拥有广泛的应用一直是广大学者研究的热点。由于RGB视频目标跟踪对于与环境相似的目标不敏感，导致基于RGB视频的目标跟踪算法跟踪这类目标时容易失败。而高光谱视频拥有丰富的光谱信息，即使目标与环境相似(BackgroundClutters)，只要目标材质与环境不同，那么也能通过光谱信息来区分目标与环境，从而获得更好的跟踪结果。因此，高光谱视频在目标与其周围环境难以区分的情况下能够发挥重要的作用。在此基础上，高光谱视频目标跟踪也吸引了越来越多研究学者的关注。
与此同时，高光谱视频目标跟踪是一项艰巨的任务。其一，目前高光谱视频目标跟踪算法都是使用传统手工特征表征目标的特征，难以适应高时间-高空间-高光谱这种高维非线性三高影像。其二，现有的高光谱深度学习目标跟踪器都是基于伪彩色的跟踪器，没有使用高光谱的语义特征，难以表征出高光谱目标的特性。上述两类情况都会导致算法计算量大，处理速度慢。其三，现有的高光谱高算法多使用多尺度搜索或者生成多个候选区域的方法进行预测，这使得网络计算量进一步加大。由于上述几个问题存在，导致目前高光谱视频目标跟踪算法表现较差。
发明内容
本发明的目的在于提出一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。
本发明所提供的这种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，具有以下三个显著特点。一是设计了基于深度孪生网络的高光谱视频目标跟踪框架。二是设计了高光谱目标感知模块，利用高光谱语义特征表征高光谱目标，获取更有判别性的特征。三是设计自适应边界框预测模块，在不需要多尺度搜索与多个候选区域预测的情况下直接预测目标的尺度和位置，相比基于手工特征的高光谱跟踪器与基于伪彩色的跟踪器处理速度提升数十倍。
本发明提供基于目标感知的深度孪生网络高光谱视频目标跟踪方法，实现步骤如下：
步骤1，高光谱视频数据预处理；
步骤2，载入基于孪生网络的自适应边界框的RGB模型；
将高光谱视频帧中的任意三个波段提取出来组成伪彩色视频帧Yi_rgb输入RGB模型，得到RGB模型的最终输出(clsmap_rgb，locmap_rgb)，其中clsmap_rgb为分类特征图，locmap_rgb为最终的回归特征图，所述RGB模型由孪生网络构成，包括结构相同的模板分支1和搜索分支1，其具体结构包括骨干网络和多组自适应边界框预测模块，自适应边界框预测模块包括分类分支和回归分支；
步骤3，使用高光谱目标感知模块预测高光谱目标类别；
将高光谱视频帧输入高光谱目标感知模块，得到高光谱目标感知模块最终输出的分类特征图clsmap；所述高光谱目标感知模块由孪生网络构成，包括结构相同的模板分支2和搜索分支2，其具体结构包括骨干网络和多组高光谱目标感知预测模块，高光谱目标感知预测模块的结构与RGB模型的自适应边界框预测模块的分类分支的网络结构相同；
步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的clsmap_f；
步骤5，将得到clsmap_f输入到交叉熵损失函数中，输出loss值，反向传播loss值更新网络模型参数，最终得到优化后的网络模型fnetwork(·)；
步骤6，将包含待跟踪目标的高光谱视频帧Xi输入到网络模型fnetwork(·)中的模板分支，包括RGB模型的模板分支1以及高光谱目标感知模块的模板分支2，将后续帧Xi+1，Xi+2，Xi+3…Xi+n依次输入到网络模型fnetwork(·)的搜索分支，包括RGB模型的搜索分支2以及高光谱目标感知模块的搜索分支2，得到locmap_rgb与clsmap_f，通过clsmap_f预测出目标类别，通过locmap_rgb预测出目标的边界框，最终得到目标的跟踪结果。
进一步的，所述步骤1的实现方式如下，
步骤1.1，将高光谱视频数据转化为一帧帧连续的图像Xi；
步骤1.2，将含有目标的高光谱视频图像帧Xi全部resize成511×511×C大小的高光谱视频图像帧Yi，C为高光谱视频帧的通道数。
进一步的，RGB模型和高光谱目标感知模块中的骨干网络均为resnet50。
进一步的，所述步骤2的实现方式如下，
步骤2.1，将高光谱视频帧Yi中的任意三个波段提取出来组成伪彩色视频帧Yi_rgb输入RGB模型，RGB模型由孪生网络构成，模板帧Yi_rgb_t输入RGB孪生网络的模板分支1，模板帧Yi_rgb_t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_t，feature3_rgb_t，feature2_rgb_t；搜索帧Yi+n_rgb_s输入RGB孪生网络的搜索分支1，搜索帧Yi+n_rgb_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_s，feature3_rgb_s，feature2_rgb_s；
步骤2.2，将(feature2_rgb_t，feature2_rgb_s)，(feature3_rgb_t，feature3_rgb_s)，(feature4_rgb_t，feature4_rgb_s)分成3组分别通过3个自适应边界框预测模块输出3组结果(clsmap_rgb_2，locmap_rgb_2)，(clsmap_rgb_3，locmap_rgb_3)，(clsmap_rgb_4，locmap_rgb_4)；将三组结果分别加权融合得到RGB模型最终输出的(clsmap_rgb，locmap_rgb)。所述自适应边界框预测模块包含分类预测模块与回归预测模块，将模板帧特征与搜索帧特征分依次输入“卷积层-深度互相关卷积-分类预测头”得到分类特征图，将模板帧特征与搜索帧特征分依次输入“卷积层-深度互相关卷积-回归预测头”得到回归特征图。
Figure BDA0002887571770000041
Figure BDA0002887571770000042
其中，αi与βi是权重系数，clsmap_rgb是自适应边界框预测模块中加权融合后负责区分前景与背景的分类特征图，locmap_rgb是自适应边界框预测模块中加权融合后负责预测目标边界框的回归特征图。
进一步的，所述步骤3的实现方式如下，
步骤3.1，将高光谱视频帧Yi输入高光谱目标感知模块，高光谱目标感知模块由孪生网络构成，模板帧Yi_t输入高光谱目标感知模块的模板分支2，模板帧Yi__t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_t，feature3_t，feature2_t；搜索帧Yi+n_s输入高光谱目标感知模块的搜索分支2，搜索帧Yi+n_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_s，feature3_s，feature2_s；
步骤3.2，将(feature2_t，feature2_s)，(feature3_t，feature3_s)，(feature4_t，feature4_s)分成3组分别通过3个高光谱目标感知预测模块，输出3个结果clsmap_2，clsmap_3，clsmap_4；将三组结果分别加权融合得到高光谱目标感知模块最终输出的clsmap；
Figure BDA0002887571770000051
其中，λi是权重系数，clsmap是高光谱目标感知预测模块中加权融合后负责区分前景与背景的分类特征图。
进一步的，步骤4中clsmap_f的获取方式如下，
clsmap_f＝aclsmap+bclsmap_rgb
其中，a与b是权重参数。
本发明方法具有以下显著效果：(1)设计了基于目标感知的深度孪生网络高光谱视频目标跟踪模型，相比之前的基于手工特的高光谱视频跟踪算法以及基于伪彩色的高光谱视频跟踪算法推理速度提升数十倍；(2)设计高光谱目标感知模块提取高光谱语义信息，提升了模型对高光谱目标的判别性；(3)设计了基于自适应边界框的预测目标状态的方法，无需多尺度搜索以及多区域预测，减小了计算量，加快了推理速度。
附图说明
图1是本发明实施例1的步骤2中基于孪生网络的自适应边界框的RGB目标跟踪器示意图
图2是本发明实施例1的步骤3中的高光谱目标感知模块示意图。
图3是本发明实施例1的步骤2中自适应边界框预测模块示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例1：
本发明提供一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，包括以下步骤：
步骤1，高光谱视频数据预处理，本步骤进一步包括：
步骤1.1，将高视频数据转化为一帧帧连续的图像Xi。
步骤1.2，将含有目标的高视频图像帧Xi全部resize成511×511×C(C为高光谱视频的通道数)大小的高视频图像帧Yi。
步骤2，载入基于深度孪生网络的自适应边界框的RGB模型，本步骤进一步包括：
步骤2.1，将海量的RGB视频数据集构成训练集，载入RGB模型后，固定RGB模型参数，不参与梯度回传。将高光谱视频帧Yi中的任意三个波段提取出来组成伪彩色视频帧Yi_rgb输入RGB模型。RGB模型由孪生网络构成，模板帧Yi_rgb_t(假设Yi_rgb为模板帧，以跟踪目标A为中心裁剪出包含整个目标A的区域的Yi_rgb_t，大小为127×127×3)输入RGB孪生网络的模板分支1，模板帧Yi_rgb_t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_t，feature3_rgb_t，feature2_rgb_t。搜索帧Yi+n_rgb_s(以Yi+n_rgb为搜索帧，n>0，在Yi+n_rgb上搜索要跟踪的目标A，并以A为中心裁剪出包含整个目标A的区域Yi+n_rgb_s，大小为255×255×3)输入RGB孪生网络的搜索分支1，搜索帧Yi+n_rgb_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_s，feature3_rgb_s，feature2_rgb_s。
步骤2.2，将(feature2_rgb_t，feature2_rgb_s)，(feature3_rgb_t，feature3_rgb_s)，(feature4_rgb_t，feature4_rgb_s)分成3组分别通过3个自适应边界框预测模块输出3组结果(clsmap_rgb_2，locmap_rgb_2)，(clsmap_rgb_3，locmap_rgb_3)，(clsmap_rgb_4，locmap_rgb_4)。如图3所示，所述自适应边界框预测模块包含分类预测模块与回归预测模块，将模板帧特征与搜索帧特征分依次输入“卷积层-深度互相关卷积-分类预测头”得到分类特征图，将模板帧特征与搜索帧特征分依次输入“卷积层-深度互相关卷积-回归预测头”得到回归特征图。将三组结果分别加权融合得到RGB模型最终输出的(clsmap_rgb，locmap_rgb)。
Figure BDA0002887571770000071
Figure BDA0002887571770000072
其中，αi与βi是权重系数，clsmap_rgb是自适应边界框预测模块中加权融合后负责区分前景与背景的分类特征图，locmap_rgb是自适应边界框预测模块中加权融合后负责预测目标边界框的回归特征图。
步骤3，使用高光谱目标感知模块预测高光谱目标类别，本步骤进一步包括：
步骤3.1，将高光谱视频帧Yi输入高光谱目标感知模块。高光谱目标感知模块的前半部分由孪生网络构成，模板帧Yi_t(假设Yi为模板帧，以跟踪目标A为中心裁剪出包含整个目标A的区域的Yi_t，大小为127×127×C)输入高光谱目标感知模块的模板分支2，模板帧Yi_t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_t，feature3_t，feature2_t。搜索帧Yi+n_s(以Yi+n为搜索帧，n>0，在Yi+n上搜索要跟踪的目标A，并以A为中心裁剪出包含整个目标A的区域Yi+n_s，大小为255×255×C)输入高光谱目标感知模块的搜索分支2，搜索帧Yi+n_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_s，feature3_s，feature2_s。
步骤3.2，将(feature2_t，feature2_s)，(feature3_t，feature3_s)，(feature4_t，feature4_s)分成3组分别通过3个高光谱目标感知预测模块，所述高光谱目标感知预测模块包括“卷积层-深度互相关卷积-分类预测头”，输出3个分类特征图分别为clsmap_2，clsmap_3，clsmap_4。将三组结果分别加权融合得到高光谱目标感知模块最终输出的clsmap。
Figure BDA0002887571770000081
其中，λi是权重系数，clsmap是高光谱目标感知预测模块中加权融合后负责区分前景与背景的分类特征图。
步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的clsmap_f，本步骤进一步包括：
clsmap_f＝aclsmap+bclsmap_rgb
其中，a与b是权重参数。
步骤5，将得到clsmap_f输入到交叉熵损失函数中，输出loss值，反向传播loss值更新网络模型参数，最终得到优化后的网络模型fnetwork(·)。
步骤6，将包含待跟踪目标的高光谱视频帧Xi输入到网络模型fnetwork(·)中模板分支(包括RGB模型的模板分支1以及高光谱目标感知模块的模板分支2)，将后续帧Xi+1，Xi+2，Xi+3…Xi+n依次输入到网络模型fnetwork(·)的搜索分支(包括RGB模型的搜索分支1以及高光谱目标感知模块的搜索分支2)得到clsmap_f与locmap_rgb。通过clsmap_f预测出目标类别，通过locmap_rgb预测出目标的边界框，最终得到目标得跟踪结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于，包括以下步骤：
步骤1，高光谱视频数据预处理；
步骤2，载入基于孪生网络的自适应边界框的RGB模型；
将高光谱视频帧中的任意三个波段提取出来组成伪彩色视频帧Yi_rgb输入RGB模型，得到RGB模型的最终输出(clsmap_rgb，locmap_rgb)，其中clsmap_rgb为分类特征图，locmap_rgb为最终的回归特征图，所述RGB模型由孪生网络构成，RGB模型包括结构相同的模板分支1和搜索分支1，RGB模型的具体结构包括骨干网络和多组自适应边界框预测模块，自适应边界框预测模块包括分类分支和回归分支；
步骤3，使用高光谱目标感知模块预测高光谱目标类别；
将高光谱视频帧输入高光谱目标感知模块，得到高光谱目标感知模块最终输出的分类特征图clsmap；所述高光谱目标感知模块由孪生网络构成，高光谱目标感知模块包括结构相同的模板分支2和搜索分支2，高光谱目标感知模块的具体结构包括骨干网络和多组高光谱目标感知预测模块，高光谱目标感知预测模块的结构与分类分支的网络结构相同；
步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的特征clsmap_f；
步骤5，将得到的clsmap_f输入到交叉熵损失函数中，输出损失值loss，反向传播损失值loss更新网络模型参数，最终得到优化后的网络模型fnetwork(·)；
步骤6，将包含待跟踪目标的高光谱视频帧Xi输入到网络模型fnetwork(·)中的模板分支，包括RGB模型的模板分支1以及高光谱目标感知模块的模板分支2，将后续帧Xi+1，Xi+2，Xi+3…Xi+n依次输入到网络模型fnetwork(·)的搜索分支，包括RGB模型的搜索分支2以及高光谱目标感知模块的搜索分支2，得到locmap_rgb与clsmap_f，通过clsmap_f预测出目标类别，通过locmap_rgb预测出目标的边界框，最终得到目标的跟踪结果。
2.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤1的实现方式如下，
步骤1.1，将高光谱视频数据转化为一帧帧连续的图像Xi；
步骤1.2，将含有目标的高光谱视频图像帧Xi全部调整成511×511×C大小的高光谱视频图像帧Yi，C为高光谱视频帧的通道数。
3.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：RGB模型和高光谱目标感知模块中的骨干网络均为resnet50。
4.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述自适应边界框预测模块包含分类预测模块与回归预测模块，将模板帧特征与搜索帧特征同时输入“卷积层-深度互相关卷积-分类预测头”得到分类特征图，将模板帧特征与搜索帧特征同时输入“卷积层-深度互相关卷积-回归预测头”得到回归特征图。
5.如权利要求4所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤2的实现方式如下，
步骤2.1，将高光谱视频帧Yi中的任意三个波段提取出来组成伪彩色视频帧Yi_rgb输入RGB模型，RGB模型由孪生网络构成，模板帧Yi_rgb_t输入RGB孪生网络的模板分支1，模板帧Yi_rgb_t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_t，feature3_rgb_t，feature4_rgb_t；搜索帧Yi+n_rgb_s输入RGB孪生网络的搜索分支1，搜索帧Yi+n_rgb_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_rgb_s，feature3_rgb_s，feature4_rgb_s；
步骤2.2，将(feature2_rgb_t，feature2_rgb_s)，(feature3_rgb_t，feature3_rgb_s)，(feature4_rgb_t，feature4_rgb_s)分成3组分别通过3个自适应边界框预测模块输出3组结果(clsmap_rgb_2，locmap_rgb_2)，(clsmap_rgb_3，locmap_rgb_3)，(clsmap_rgb_4，locmap_rgb_4)；将三组结果分别加权融合得到RGB模型最终输出的(clsmap_rgb，locmap_rgb)；
Figure FDA0003340222950000031
Figure FDA0003340222950000032
其中，αi与βi是权重系数，clsmap_rgb是自适应边界框预测模块中加权融合后负责区分前景与背景的分类特征图，locmap_rgb是自适应边界框预测模块中加权融合后负责预测目标边界框的回归特征图。
6.如权利要求4所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤3的实现方式如下，
步骤3.1，将高光谱视频帧Yi输入高光谱目标感知模块，高光谱目标感知模块由孪生网络构成，模板帧Yi_t输入高光谱目标感知模块的模板分支2，模板帧Yi_t通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_t，feature3_t，feature4_t；搜索帧Yi+n_s输入高光谱目标感知模块的搜索分支2，搜索帧Yi+n_s通过由resnet50构成的backbone，分别从backbone的layer2，layer3，layer4输出特征feature2_s，feature3_s，feature4_s；
步骤3.2，将(feature2_t，feature2_s)，(feature3_t，feature3_s)，(feature4_t，feature4_s)分成3组分别通过3个高光谱目标感知预测模块，输出3个结果clsmap_2，clsmap_3，clsmap_4；将三组结果分别加权融合得到高光谱目标感知模块最终输出的clsmap；
Figure FDA0003340222950000041
其中，λi是权重系数，clsmap是高光谱目标感知预测模块中加权融合后负责区分前景与背景的分类特征图。
7.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：步骤4中clsmap_f的获取方式如下，
clsmap_f＝aclsmap+bclsmap_rgb
其中，a与b是权重参数。
CN202110017726.6A 2021-01-07 2021-01-07 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 Active CN112816474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110017726.6A CN112816474B (zh) 2021-01-07 2021-01-07 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110017726.6A CN112816474B (zh) 2021-01-07 2021-01-07 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112816474A CN112816474A (zh) 2021-05-18
CN112816474B true CN112816474B (zh) 2022-02-01

Family

ID=75868558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110017726.6A Active CN112816474B (zh) 2021-01-07 2021-01-07 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112816474B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723482B (zh) * 2021-08-20 2024-04-02 西安电子科技大学 基于多示例孪生网络的高光谱目标检测方法
CN116823891B (zh) * 2023-08-28 2023-11-17 江南大学 基于注意力和知识蒸馏的孪生高光谱图像跟踪方法和系统
CN117689692A (zh) * 2023-12-20 2024-03-12 中国人民解放军海军航空大学 注意力机制引导匹配关联的高光谱和rgb视频融合跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086648A (zh) * 2018-05-24 2018-12-25 同济大学 一种融合目标检测和特征匹配的目标跟踪方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111640136A (zh) * 2020-05-23 2020-09-08 西北工业大学 一种复杂环境中的深度目标跟踪方法
CN111915644A (zh) * 2020-07-09 2020-11-10 苏州科技大学 孪生导向锚框rpn网络的实时目标跟踪方法
CN112132856A (zh) * 2020-09-30 2020-12-25 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027972B (zh) * 2015-07-30 2022-03-15 北京市商汤科技开发有限公司 用于对象跟踪的系统和方法
CN105184778B (zh) * 2015-08-25 2018-04-24 广州视源电子科技股份有限公司 一种检测方法及装置
US11308350B2 (en) * 2016-11-07 2022-04-19 Qualcomm Incorporated Deep cross-correlation learning for object tracking
CN109063730B (zh) * 2018-06-22 2022-01-07 杭州电子科技大学 一种凸规划聚类水污染溯源方法
CN110443827B (zh) * 2019-07-22 2022-12-20 浙江大学 一种基于改进孪生网络的无人机视频单目标长期跟踪方法
US11227179B2 (en) * 2019-09-27 2022-01-18 Intel Corporation Video tracking with deep Siamese networks and Bayesian optimization
CN111179314B (zh) * 2019-12-30 2023-05-02 北京工业大学 一种基于残差密集孪生网络的目标跟踪方法
CN111898633B (zh) * 2020-06-19 2023-05-05 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086648A (zh) * 2018-05-24 2018-12-25 同济大学 一种融合目标检测和特征匹配的目标跟踪方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111640136A (zh) * 2020-05-23 2020-09-08 西北工业大学 一种复杂环境中的深度目标跟踪方法
CN111915644A (zh) * 2020-07-09 2020-11-10 苏州科技大学 孪生导向锚框rpn网络的实时目标跟踪方法
CN112132856A (zh) * 2020-09-30 2020-12-25 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Learning a Twofold Siamese Network for RGB-T Object Tracking;Yangliu Kuai等;《Journal of Circuits, Systems and Computers》;20201210;第30卷(第5期);全文 *
SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking;Dongyan Guo等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20201231;全文 *
SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks;Bo Li等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20191231;全文 *
基于目标感知特征筛选的孪生网络跟踪算法;陈志旺等;《光学学报》;20200510(第09期);全文 *
多尺度深度特征融合的变化检测;樊玮等;《中国图象图形学报》;20200415(第04期);全文 *

Also Published As

Publication number Publication date
CN112816474A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112816474B (zh) 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
Alam et al. Convolutional neural network for the semantic segmentation of remote sensing images
CN111881262B (zh) 基于多通道神经网络的文本情感分析方法
Xia et al. Cloud/snow recognition for multispectral satellite imagery based on a multidimensional deep residual network
CN108804453A (zh) 一种视音频识别方法及装置
Liu et al. DSS-TRM: Deep spatial–spectral transformer for hyperspectral image classification
CN110334584B (zh) 一种基于区域全卷积网络的手势识别方法
Zhao et al. High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning
Jiang et al. Tabcellnet: Deep learning-based tabular cell structure detection
Ding et al. A robust infrared and visible image fusion framework via multi-receptive-field attention and color visual perception
Pang et al. Multihead attention mechanism guided ConvLSTM for pixel-level segmentation of ocean remote sensing images
CN116933141B (zh) 一种基于多核图学习的多光谱激光雷达点云分类方法
Wu et al. Dynamic activation and enhanced image contour features for object detection
Varlik et al. Filtering airborne LIDAR data by using fully convolutional networks
Jiang et al. A massive multi-modal perception data classification method using deep learning based on internet of things
CN115170662A (zh) 基于yolov3和卷积神经网络的多目标定位方法
CN114550047A (zh) 一种行为速率引导的视频行为识别方法
Mangla et al. A novel key-frame selection-based sign language recognition framework for the video data
Zhang The Analysis of Intelligent Real-Time Image Acquisition System Based on Data Mining
KR102408545B1 (ko) 표층 중립화 기반의 언어 스타일 전이 방법 및 전자 장치
Ebrahimi et al. Rough Sets Theory with Deep Learning for Tracking in Natural Interaction with Deaf
Lu et al. CA-XTree: Age Estimation of Grouped Gradient Regression Tree with Local Channel Attention
Guo et al. Hyperspectral Image Classification of Tree Species with Low-Depth Features
Wu et al. Template Shift and Background Suppression for Visual Object Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant