CN115880337B - 基于重参数卷积和特征过滤器的目标跟踪方法与系统 - Google Patents

基于重参数卷积和特征过滤器的目标跟踪方法与系统 Download PDF

Info

Publication number
CN115880337B
CN115880337B CN202310121706.2A CN202310121706A CN115880337B CN 115880337 B CN115880337 B CN 115880337B CN 202310121706 A CN202310121706 A CN 202310121706A CN 115880337 B CN115880337 B CN 115880337B
Authority
CN
China
Prior art keywords
convolution
features
feature
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310121706.2A
Other languages
English (en)
Other versions
CN115880337A (zh
Inventor
王员云
杨文烩
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202310121706.2A priority Critical patent/CN115880337B/zh
Publication of CN115880337A publication Critical patent/CN115880337A/zh
Application granted granted Critical
Publication of CN115880337B publication Critical patent/CN115880337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法与系统，该方法包括：构建得到特征提取子网络；将多个卷积分支压缩成一个单一的卷积块以构建得到无批次归一化重参数卷积模块；构建得到特征融合网络，通过特征融合网络中的特征过滤器对目标模板深度特征以及搜索区域深度特征进行融合，以获得中间融合特征；将目标模板深度特征进行优化以获得最终的模板特征并进行融合得到分数预测图；对分数预测图中得分最高的目标候选块进行目标跟踪。本发明通过提出的特征提取子网和特征融合网络，获得丰富的通道和空间信息，从而对重要信息的特征进行增强以获得中间融合特征，提高相似度计算的准确性，实现更准确的跟踪效果。

Description

基于重参数卷积和特征过滤器的目标跟踪方法与系统
技术领域
本发明涉及计算机视觉与图像处理技术领域，特别涉及一种基于重参数卷积和特征过滤器的目标跟踪方法与系统。
背景技术
计算机视觉作为人工智能（AI）的重要组成部分，为科学技术的发展做出了巨大的贡献。其中，目标跟踪作为计算机视觉领域的经典研究课题，在人机交互、视频编辑等领域有着重要的应用。在真实的物体跟踪场景中，由于物体外观和场景变化的复杂性，实现精确的目标跟踪仍然是一个具有挑战性的问题。
近年来，随着深度学习技术的应用，目标跟踪算法的性能有了很大提高。其中，基于孪生网络的目标跟踪算法因其具有速度快、精度高以及在多种数据集上的优异性能，在目标跟踪领域受到了广泛关注。基于孪生网络的目标跟踪能够很好地计算两个分支输入的相似度。首先，在搜索区域内逐点进行目标模板匹配，然后在匹配结果中找到相似度最大的目标候选作为下一帧的目标位置。
基于孪生网络的跟踪器使用传统的卷积神经网络进行特征提取，传统的卷积神经网络通过卷积获得基于像素的非常精细的局部特征，而在增强局部特征时丢失了许多其它的固有信息(如位置信息和全局信息)，因此如何充分利用更多的内在信息是提高特征提取能力的关键。
现有的基于孪生网络的跟踪器，使用互相关联操作进行特征融合，以获得更好的跟踪性能。然而，此种特征融合方法忽略了全局空间背景，使得空间信息得不到充分利用，而空间信息对目标定位至关重要，这将导致丢失大量目标前景和背景的可辨别性信息，无法在剧烈的外观变化中实现精确跟踪目标。
发明内容
鉴于上述状况，本发明的主要目的是为了解决现有技术中，部分视觉跟踪算法由于没有充分捕获通道信息、全局空间上下文信息以及搜索区域分支中的重要信息，导致丢失大量目标前景与背景的可辨别性信息，进而导致无法在剧烈的外观变化中精确跟踪目标的问题。
本发明实施例提出一种基于重参数卷积和特征过滤器的目标跟踪方法，其中，所述方法包括如下步骤：
步骤一：在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；
步骤二：将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块；
步骤三：在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；
步骤四：将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；
步骤五：对分数预测图中得分最高的目标候选块进行目标跟踪。
本发明还提出一种基于重参数卷积和特征过滤器的目标跟踪系统，其中，应用如上所述的基于重参数卷积和特征过滤器的目标跟踪方法，所述系统包括：
第一构建模块，用于：
在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；
第二构建模块，用于：
将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块；
第一融合模块，用于：
在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；
第二融合模块，用于：
将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；
目标跟踪模块，用于：
对分数预测图中得分最高的目标候选块进行目标跟踪。
本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法，该方法包括：构建基于无批次归一化重参数卷积的特征提取子网络与基于特征过滤器的特征融合网络；双分支网络框架中的目标模板分支和搜索区域分支通过共享权重的特征提取子网络充分提取深度特征，在通道维度上对深度特征进行缩放，以增大感受野的同时获取丰富的通道信息来增强目标通道信息表示；
通过特征提取子网络获得了目标模板深度特征和搜索区域深度特征，将目标模板深度特征和搜索区域深度特征输入到特征过滤器中，特征过滤器在全局空间背景下对目标模板深度特征和搜索区域深度特征进行特征融合，在获得丰富的全局空间信息的同时输出中间融合特征，用于增强全局上下文信息的目标表示，也对重要信息的特征进行了增强；
将目标模板深度特征与目标模板图像信息引入到跟踪模型中，通过跟踪模型进行不断优化，得到最终的目标模板深度特征；基于特征过滤器的特征融合网络将最终的目标模板深度特征与中间融合特征进行再次融合，获得分数预测图；对分数预测图中得分最高的目标候选块进行目标跟踪。本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法，通过提出的特征提取子网络和特征融合网络，可获得丰富的通道和空间信息用于增强目标表征能力，从而对重要信息的特征进行增强以获得中间融合特征，进而提高相似度计算的准确性，实现更准确的跟踪效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的一种基于重参数卷积和特征过滤器的目标跟踪方法的流程图；
图2为本发明提出的一种基于重参数卷积和特征过滤器的目标跟踪方法的原理框架图；
图3为本发明中无批次归一化重参数卷积的结构原理示意图；
图4为本发明提出的一种基于重参数卷积和特征过滤器的目标跟踪系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1与图2，本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法，其中，所述方法包括如下步骤：
S101，在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络。
其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征。特征提取子网络利用所提出的无批次归一化重参数卷积取代前三层的深度卷积，在通道维度上对特征进行缩放，增大感受野并捕捉丰富的目标通道信息。
S102，将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块。
为了能对卷积分支进行压缩，将卷积分支中的批归一化删除，利用线性缩放层取代批归一化的位置，并在所有分支之后加入一个无批次归一化层。如图3所示，从图3中可以看出本发明中无批次归一化重参数卷积的结构图。重参数过程包括如下步骤：
S1021、将卷积分支中的批归一化删除，利用线性缩放层取代批归一化的位置，并在所有卷积分支之后分别加入一个无批次归一化层以实现对卷积分支的压缩。
在压缩前存在D个卷积分支，每个卷积分支进行N层卷积运算，每层卷积的通道数用
Figure SMS_1
表示，即
Figure SMS_2
，
Figure SMS_3
表示第N层卷积的通道数；
进行卷积操作的公式表述为：
Figure SMS_4
；
其中，
Figure SMS_6
表示卷积层的输入，
Figure SMS_8
表示第N层卷积层的输出，
Figure SMS_11
表示输入到输出的映射矩阵，
Figure SMS_7
，
Figure SMS_10
，
Figure SMS_12
表示实数集，
Figure SMS_13
表示输入的通道数，
Figure SMS_5
表示高度，
Figure SMS_9
表示宽度。
整个卷积分支输入到输出的映射矩阵表示为：
Figure SMS_14
；
其中，
Figure SMS_15
为第N层的映射矩阵。
S1022、在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放，用于增大感受野的同时以获得更丰富的通道信息。
在本步骤中，在重参数化卷积的过程中，将卷积分支中的批归一化删除，利用线性缩放层取代批归一化的位置。在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放的步骤中，线性缩放层的计算输出表示为：
Figure SMS_16
；
其中，
Figure SMS_17
表示通过线性缩放层后的输出，
Figure SMS_18
表示比例因子，
Figure SMS_19
表示第c个输出通道的卷积核。
S1023、将单个卷积分支中的N层压缩为一层，并依次对D个卷积分支进行压缩，以得到一个单一卷积块。
将单个卷积分支中的N层压缩为一层，并依次对D个卷积分支进行压缩，以得到一个单一卷积块的步骤中，进行压缩操作的公式表示为：
Figure SMS_20
；
其中，
Figure SMS_21
为第d个分支的权值，
Figure SMS_22
表示经过压缩操作之后的输出，
Figure SMS_23
表示第D个卷积分支的权值。
S1024、将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中。
其中，无批次归一化层的公式表示为：
Figure SMS_24
；
Figure SMS_25
；
其中，
Figure SMS_27
表示通过均值进行数据标准化得到的结果，
Figure SMS_30
表示通过标准差进行数据标准化得到的结果，
Figure SMS_32
和
Figure SMS_28
分别表示同一通道特征值的均值与标准差，
Figure SMS_31
为批处理维度上的索引，
Figure SMS_33
表示无批次归一化层的输出，
Figure SMS_34
表示无批次归一化层处理，
Figure SMS_26
表示比例因子，
Figure SMS_29
为可学习的移位变换参数。
S1025、将所述无批次归一化层的输出作为输入，输入到激活函数中以最终构建得到所述无批次归一化重参数卷积模块。
其中，对应有如下公式：
Figure SMS_35
；
其中，
Figure SMS_36
表示激活函数，
Figure SMS_37
为无批次归一化层的输出。如果输入大于0，直接返回作为输入提供的值；如果输入是0或更小，返回值为0。
S103，在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征。
具体的，步骤S103具体包括：
S1031、通过所述特征提取子网络对目标模板分支与搜索区域分支进行提取以得到目标模板深度特征以及搜索区域深度特征，将目标模板深度特征与搜索区域深度特征输入至特征过滤器中，特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询
Figure SMS_38
、键K和值V。
具体的，特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询
Figure SMS_39
、键K和值V的步骤中，对应有如下公式：
Figure SMS_40
；
Figure SMS_41
；
Figure SMS_42
；
其中，
Figure SMS_44
表示
Figure SMS_48
核的卷积算子，
Figure SMS_51
表示
Figure SMS_45
核的卷积算子，
Figure SMS_47
表示目标模板深度特征，
Figure SMS_50
表示搜索区域深度特征，
Figure SMS_52
，
Figure SMS_43
，
Figure SMS_46
，
Figure SMS_49
均为定值。
在本实施例中，
Figure SMS_53
分别设定为512，64和64。
Figure SMS_54
分别为
Figure SMS_55
和
Figure SMS_56
的特征维数。
S1032、对查询
Figure SMS_57
与键K进行一维卷积投影得到
Figure SMS_58
和
Figure SMS_59
，随后对
Figure SMS_60
和
Figure SMS_61
进行缩放点积运算。
对查询
Figure SMS_62
与键K进行一维卷积投影得到
Figure SMS_63
和
Figure SMS_64
，随后对
Figure SMS_65
和
Figure SMS_66
进行缩放点积运算的步骤中，对应有如下公式：
Figure SMS_67
；
其中，
Figure SMS_68
表示特征过滤器的注意力权重，
Figure SMS_69
表示归一化函数，
Figure SMS_70
表示转置操作。
S1033、通过对值V进行一维卷积投影得到
Figure SMS_71
，利用注意力权重
Figure SMS_72
对有利信息特征进行增强，以得到中间融合特征。
具体的，通过对值V进行一维卷积投影得到
Figure SMS_73
，利用注意力权重
Figure SMS_74
对有利信息特征进行增强，以得到中间融合特征的步骤中，对应有如下公式：
Figure SMS_75
；
其中，
Figure SMS_76
表示特征过滤器输出的中间融合特征。
S104，将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图。
在本步骤中，将所述目标模板深度特征与目标模板图像信息引入到跟踪模型中，通过跟踪模型进行不断的优化，得到最后所需的特征，即最终的模板特征。进一步的，特征融合网络利用互相关操作，将所述最终的模板特征与所述中间融合特征进行融合操作，进而得到最终的预测位置。
S105，对分数预测图中得分最高的目标候选块进行目标跟踪。
本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法，该方法包括：构建基于无批次归一化重参数卷积的特征提取子网络与基于特征过滤器的特征融合网络；双分支网络框架中的目标模板分支和搜索区域分支通过共享权重的特征提取子网络充分提取深度特征，在通道维度上对深度特征进行缩放，以增大感受野的同时获取丰富的通道信息来增强目标通道信息表示；
通过特征提取子网络获得了目标模板深度特征和搜索区域深度特征，将目标模板深度特征和搜索区域深度特征输入到特征过滤器中，特征过滤器在全局空间背景下对目标模板深度特征和搜索区域深度特征进行特征融合，在获得丰富的全局空间信息的同时输出中间融合特征，用于增强全局上下文信息的目标表示，也对重要信息的特征进行了增强；
将目标模板深度特征与目标模板图像信息引入到跟踪模型中，通过跟踪模型进行不断优化，得到最终的目标模板深度特征；基于特征过滤器的特征融合网络将最终的目标模板深度特征与中间融合特征进行再次融合，获得分数预测图；对分数预测图中得分最高的目标候选块进行目标跟踪。本发明提出一种基于重参数卷积和特征过滤器的目标跟踪方法，通过提出的特征提取子网和特征融合网络，可获得丰富的通道和空间信息用于增强目标表征能力，从而对重要信息的特征进行增强以获得中间融合特征，进而提高相似度计算的准确性，实现更准确的跟踪效果。
请参阅图4，本发明还提出一种基于重参数卷积和特征过滤器的目标跟踪系统，其中，应用如上所述的基于重参数卷积和特征过滤器的目标跟踪方法，所述系统包括：
第一构建模块，用于：
在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；
第二构建模块，用于：
将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块；
第一融合模块，用于：
在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；
第二融合模块，用于：
将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；
目标跟踪模块，用于：
对分数预测图中得分最高的目标候选块进行目标跟踪。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，所述方法包括如下步骤：
步骤一：在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；其中，无批次归一化重参数卷积模块的构建方法包括如下步骤：
在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放，用于增大感受野的同时以获得更丰富的通道信息；
将单个卷积分支中的N层压缩为一层，并依次对D个卷积分支进行压缩，以得到一个单一卷积块；
将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中；
将所述无批次归一化层的输出作为输入，输入到激活函数中以最终构建得到所述无批次归一化重参数卷积模块；
步骤二：在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；
步骤三：将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；
步骤四：对分数预测图中得分最高的目标候选块进行目标跟踪；
其中，所述步骤二具体包括：
通过所述特征提取子网络对目标模板分支与搜索区域分支进行提取以得到目标模板深度特征以及搜索区域深度特征，将目标模板深度特征与搜索区域深度特征输入至特征过滤器中，特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询
Figure QLYQS_1
、键K和值V；
对查询
Figure QLYQS_2
与键K进行一维卷积投影得到
Figure QLYQS_3
和
Figure QLYQS_4
，随后对
Figure QLYQS_5
和
Figure QLYQS_6
进行缩放点积运算；
通过对值V进行一维卷积投影得到
Figure QLYQS_7
，利用注意力权重
Figure QLYQS_8
对有利信息特征进行增强，以得到中间融合特征；
特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询
Figure QLYQS_9
、键K和值V的步骤中，对应有如下公式：
Figure QLYQS_10
；
Figure QLYQS_11
；
Figure QLYQS_12
；
其中，
Figure QLYQS_15
表示
Figure QLYQS_18
核的卷积算子，
Figure QLYQS_20
表示
Figure QLYQS_16
核的卷积算子，
Figure QLYQS_19
表示目标模板深度特征，
Figure QLYQS_22
表示搜索区域深度特征，
Figure QLYQS_23
，
Figure QLYQS_13
，
Figure QLYQS_17
，
Figure QLYQS_21
、
Figure QLYQS_24
和
Figure QLYQS_14
均为定值；
对查询
Figure QLYQS_25
与键K进行一维卷积投影得到
Figure QLYQS_26
和
Figure QLYQS_27
，随后对
Figure QLYQS_28
和
Figure QLYQS_29
进行缩放点积运算的步骤中，对应有如下公式：
Figure QLYQS_30
；
其中，
Figure QLYQS_31
表示特征过滤器的注意力权重，
Figure QLYQS_32
表示归一化函数，
Figure QLYQS_33
表示转置操作；
通过对值V进行一维卷积投影得到
Figure QLYQS_34
，利用注意力权重
Figure QLYQS_35
对有利信息特征进行增强，以得到中间融合特征的步骤中，对应有如下公式：
Figure QLYQS_36
；
其中，
Figure QLYQS_37
表示特征过滤器输出的中间融合特征。
2.根据权利要求1所述的一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，在压缩前存在D个卷积分支，每个卷积分支进行N层卷积运算，每层卷积的通道数用
Figure QLYQS_38
表示，即
Figure QLYQS_39
，
Figure QLYQS_40
表示第N层卷积的通道数；
进行卷积操作的公式表述为：
Figure QLYQS_41
；
其中，
Figure QLYQS_44
表示卷积层的输入，
Figure QLYQS_47
表示第N层卷积层的输出，
Figure QLYQS_49
表示输入到输出的映射矩阵，
Figure QLYQS_43
，
Figure QLYQS_46
，
Figure QLYQS_48
表示实数集，
Figure QLYQS_50
表示输入的通道数，
Figure QLYQS_42
表示高度，
Figure QLYQS_45
表示宽度；
整个卷积分支输入到输出的映射矩阵表示为：
Figure QLYQS_51
；
其中，
Figure QLYQS_52
为第N层的映射矩阵。
3.根据权利要求2所述的一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放的步骤中，线性缩放层的计算输出表示为：
Figure QLYQS_53
；
其中，
Figure QLYQS_54
表示通过线性缩放层后的输出，
Figure QLYQS_55
表示比例因子，
Figure QLYQS_56
表示第
Figure QLYQS_57
个输出通道的卷积核。
4.根据权利要求1所述的一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中的步骤中，无批次归一化层的公式表示为：
Figure QLYQS_58
；
Figure QLYQS_59
；
其中，
Figure QLYQS_62
表示通过均值进行数据标准化得到的结果，
Figure QLYQS_65
表示单一卷积块，
Figure QLYQS_67
和
Figure QLYQS_61
分别表示同一通道特征值的均值与标准差，
Figure QLYQS_64
为批处理维度上的索引，
Figure QLYQS_66
表示无批次归一化层的输出，
Figure QLYQS_68
表示无批次归一化层处理，
Figure QLYQS_60
表示比例因子，
Figure QLYQS_63
为可学习的移位变换参数；
将所述无批次归一化层的输出作为输入，输入到激活函数中的步骤中，对应有如下公式：
Figure QLYQS_69
；
其中，
Figure QLYQS_70
表示激活函数，
Figure QLYQS_71
表示对无批次归一化层的输出进行激活函数操作后的结果。
5.一种基于重参数卷积和特征过滤器的目标跟踪系统，其特征在于，应用如上述权利要求1至4任意一项所述的基于重参数卷积和特征过滤器的目标跟踪方法，所述系统包括：
第一构建模块，用于：
在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；
第二构建模块，用于：
将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块；
第一融合模块，用于：
在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；
第二融合模块，用于：
将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；
目标跟踪模块，用于：
对分数预测图中得分最高的目标候选块进行目标跟踪。
CN202310121706.2A 2023-02-16 2023-02-16 基于重参数卷积和特征过滤器的目标跟踪方法与系统 Active CN115880337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310121706.2A CN115880337B (zh) 2023-02-16 2023-02-16 基于重参数卷积和特征过滤器的目标跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310121706.2A CN115880337B (zh) 2023-02-16 2023-02-16 基于重参数卷积和特征过滤器的目标跟踪方法与系统

Publications (2)

Publication Number Publication Date
CN115880337A CN115880337A (zh) 2023-03-31
CN115880337B true CN115880337B (zh) 2023-05-30

Family

ID=85761189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310121706.2A Active CN115880337B (zh) 2023-02-16 2023-02-16 基于重参数卷积和特征过滤器的目标跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN115880337B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109678B (zh) * 2023-04-10 2023-06-13 南昌工程学院 基于上下文自注意力学习深度网络的目标跟踪方法与系统
CN117252904B (zh) * 2023-11-15 2024-02-09 南昌工程学院 基于长程空间感知与通道增强的目标跟踪方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366368A (zh) * 2013-06-21 2013-10-23 西南交通大学 消除阴影和高亮噪声的双梯柱体码本前景检测方法
CN112114665A (zh) * 2020-08-23 2020-12-22 西北工业大学 一种基于多模态融合的手部追踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9780856B2 (en) * 2015-01-16 2017-10-03 Hon Hai Precision Industry Co., Ltd. System and method for spatial on sub-band massive MIMO/BFN to provide a large number of orthogonal channels
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten
CN113705588B (zh) * 2021-10-28 2022-01-25 南昌工程学院 基于卷积自注意力模块的孪生网络目标跟踪方法与系统
CN114972711B (zh) * 2022-04-14 2024-09-20 重庆邮电大学 一种基于语义信息候选框的改进弱监督目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366368A (zh) * 2013-06-21 2013-10-23 西南交通大学 消除阴影和高亮噪声的双梯柱体码本前景检测方法
CN112114665A (zh) * 2020-08-23 2020-12-22 西北工业大学 一种基于多模态融合的手部追踪方法

Also Published As

Publication number Publication date
CN115880337A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN113705588B (zh) 基于卷积自注意力模块的孪生网络目标跟踪方法与系统
CN115880337B (zh) 基于重参数卷积和特征过滤器的目标跟踪方法与系统
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
Zuo et al. Learning contextual dependence with convolutional hierarchical recurrent neural networks
CN112132856B (zh) 一种基于自适应模板更新的孪生网络跟踪方法
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN116109678B (zh) 基于上下文自注意力学习深度网络的目标跟踪方法与系统
CN114694185B (zh) 一种跨模态目标重识别方法、装置、设备及介质
CN110543581A (zh) 基于非局部图卷积网络的多视图三维模型检索方法
Xu et al. SALMNet: A structure-aware lane marking detection network
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN113705641A (zh) 基于富上下文网络的高光谱图像分类方法
Wang Three-stream cross-modal feature aggregation network for light field salient object detection
Tan et al. Eco-tr: Efficient correspondences finding via coarse-to-fine refinement
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
Laskar et al. Geometric image correspondence verification by dense pixel matching
Xiang et al. Double-branch fusion network with a parallel attention selection mechanism for camouflaged object detection
Chen et al. StateNet: Deep state learning for robust feature matching of remote sensing images
Yan et al. ASNet: Adaptive Semantic Network Based on Transformer-CNN for Salient Object Detection in Optical Remote Sensing Images
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
Li et al. TA-YOLO: a lightweight small object detection model based on multi-dimensional trans-attention module for remote sensing images
Pavithra et al. An efficient seed points selection approach in dominant color descriptors (DCD)
Niu et al. Bidirectional feature learning network for RGB-D salient object detection
Liu et al. HDBN: A Novel Hybrid Dual-branch Network for Robust Skeleton-based Action Recognition
Wang et al. Sture: Spatial–temporal mutual representation learning for robust data association in online multi-object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant