CN111489361B - 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 - Google Patents
基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN111489361B CN111489361B CN202010234797.7A CN202010234797A CN111489361B CN 111489361 B CN111489361 B CN 111489361B CN 202010234797 A CN202010234797 A CN 202010234797A CN 111489361 B CN111489361 B CN 111489361B
- Authority
- CN
- China
- Prior art keywords
- neural network
- layer
- resnet22
- convolution
- deep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000002776 aggregation Effects 0.000 title claims abstract description 22
- 238000004220 aggregation Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 238000013519 translation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，包括：步骤1，构建一个步幅为8的ResNet22深度孪生神经网络，使用所述ResNet22深度孪生神经网络进行特征提取；步骤2，将目标图像和搜索图像输入到所述ResNet22深度孪生神经网络，目标图像和搜索图像经过所述ResNet22深度孪生神经网络分别生成对应的特征图；步骤3，将所述ResNet22深度孪生神经网络的不同的深层特征图聚合起来，提取多分支特征来协同推断目标对象的位置，为目标对象提供更全面的描述，以实现更加高效的跟踪。本发明能提取到目标物体的高级语义信息，能够保证特征映射的平移等价性，采用分层聚合的方式，提取多分支特征来协同推断目标定位。
Description
技术领域
本发明涉及人工智能、图像处理技术领域，特别涉及一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法。
背景技术
人类对周围信息的感知最低有80％是通过视觉获取的，可以说视觉是人类感知外部世界最重要的途径。因此，图片、视频等图像应用也成为了这个信息时代最重要的信息载体。如今异常火爆的图片应用、视频网站和短视频应用正说明了人民群众对图像应用的热情，这些应用社区每天会产生海量的图像资料，对这些图像资料的处理分析理解蕴含着巨大的价值，计算机视觉技术因此诞生。视觉目标跟踪作为计算机视觉技术中非常重要的一环，是许多高级计算机视觉任务的基础，在现代社会有着极为广泛的应用。
视觉目标跟踪的其主要目的是在一个视频序列中对某个指定目标物体(如在第一帧中框出这个物体)的位置进行预测，自动获得目标物体在整个视频序列中的位置信息，从而为场景识别、动作识别等更高级的计算机视觉任务提供重要的研究基础。目标跟踪方法发展至今已经有20多年的研究历史，为达到更好的跟踪精度、速度及鲁棒性，研究学者们做了许多的尝试。这些跟踪方法要么用相关滤波，如TLD、Struck、KCF等，只能在线学习(用当前视频中的数据)，严重限制了学习模型的丰富程度；要么用深度学习，并用随机梯度下降方法对网络进行微调，虽然能达到非常好的效果，但会大大降低跟踪速度，做不到实时跟踪。为了解决这些传统目标跟踪方法无法在精度和速度之间达到平衡的问题，Bertinetto基于孪生网络提出了一种新的全卷积孪生网络(Fully-Convolutional SiameseNetworks，SiamFC)作为基本的跟踪方法，这个网络可以在目标跟踪视频数据集上离线进行端到端的训练。而且SiamFC结构非常简单，也不需要在线更新，所以在速度上超过了实时跟踪要求，而且在多个评测数据集上达到了较高的性能。
发明内容
本发明提供了一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，其目的是为了解决SiamFC跟踪方法在强烈的光照变化、背景有类似物、目标发生快速移动和目标被遮挡等复杂环境下，会出现跟踪漂移甚至跟踪失败的问题。
为了达到上述目的，本发明的实施例提供了一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，包括：
步骤1，构建一个步幅为8的ResNet22深度孪生神经网络，使用所述ResNet22深度孪生神经网络进行特征提取；
步骤2，将目标图像和搜索图像输入到所述ResNet22深度孪生神经网络，目标图像和搜索图像经过所述ResNet22深度孪生神经网络分别生成对应的特征图；
步骤3，将所述ResNet22深度孪生神经网络的不同的深层特征图聚合起来，提取多分支特征来协同推断目标对象的位置，为目标对象提供更全面的描述，以实现更加高效的跟踪；
步骤4，将目标图像的特征图作为卷积核和搜索图像的特征图进行卷积运算生成响应图；
步骤5，响应图中值最大的点在搜索图像中对应的窗口即为预测的目标所在位置，通过双立方插值，将响应图变换成原始图像的大小，从而求得目标在搜索图像的位置。
其中，所述步骤1具体包括：
第一阶段使用步幅为2的7×7卷积层和最大池化层实现下采样，使得所述ResNet22深度孪生神经网络的总步幅达到4。
其中，所述步骤1还包括：
第二阶段设置有三个无填充残差单元，三个所述无填充残差单元的步幅都为1，所述ResNet22深度孪生神经网络的总步幅为4。
其中，所述步骤1还包括：
第三阶段设置有无填充下采样残差单元和三个所述无填充残差单元，所述无填充下采样残差单元的步幅为2，使得所述ResNet22深度孪生神经网络的总步幅为8，三个所述无填充残差单元保持所述ResNet22深度孪生神经网络的总步幅为8。
其中，所述步骤3具体包括：
从所述ResNet22深度孪生神经网络的conv1层、conv2_3层和conv3_4层三个分支中提取的多级特征，用于多尺度特征图聚合。
其中，所述步骤4具体包括：
conv1层，使用步幅为4的卷积，生成响应图F1(x)，conv2_3层，使用步幅为2的卷积，生成响应图F2(x)，conv3_4层，使用步幅为1的卷积，生成响应图F3(x)，所有响应图的大小相同，最终的输出结果F(x)由conv1层、conv2_3层和conv3_4层的响应图加权求和得到：
F(x)＝w1F1(x)+w2F2(x)+w3F3(x)。
本发明的上述方案有如下的有益效果：
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，消除了在孪生网络中卷积神经网络特征填充带来的位置偏好，能提取到目标物体的高级语义信息，能够保证特征映射的平移等价性，使用ResNet22深度孪生神经网络进行特征提取可以大大提升孪生网络跟踪方法的跟踪性能，聚合不同的深层特征图，构成目标物体的超特征表示，进一步提升了跟踪方法的鲁棒性。
附图说明
图1为本发明的架构图；
图2为本发明的无填充残差单元的示意图；
图3为本发明的无填充下采样残差单元的示意图；
图4为本发明的跟踪过程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的SiamFC跟踪方法在强烈的光照变化、背景有类似物、目标发生快速移动和目标被遮挡等复杂环境下，会出现跟踪漂移甚至跟踪失败的问题，提供了一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法。
如图1至图4所示，本发明的实施例提供了一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，包括：步骤1，构建一个步幅为8的ResNet22深度孪生神经网络，使用所述ResNet22深度孪生神经网络进行特征提取；步骤2，将目标图像和搜索图像输入到所述ResNet22深度孪生神经网络，目标图像和搜索图像经过所述ResNet22深度孪生神经网络分别生成对应的特征图；步骤3，将所述ResNet22深度孪生神经网络的不同的深层特征图聚合起来，提取多分支特征来协同推断目标对象的位置，为目标对象提供更全面的描述，以实现更加高效的跟踪；步骤4，将目标图像的特征图作为卷积核和搜索图像的特征图进行卷积运算生成响应图；步骤5，响应图中值最大的点在搜索图像中对应的窗口即为预测的目标所在位置，通过双立方插值，将响应图变换成原始图像的大小，从而求得目标在搜索图像的位置。
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，将目标图像和搜索图像输入所述ResNet22深度孪生神经网络，目标图像和搜索图像经过所述ResNet22深度孪生神经网络分别生成对应的特征图，目标图像的特征图大小为6×6×256，搜索图像的特征图大小为22×22×256，完成特征提取工作，其中目标图像生成的特征图在整个跟踪过程中只计算一遍，之后保持不变，将目标图像的特征图作为卷积核和搜索图像的特征图进行卷积运算生成响应图，响应图大小为17×17×1，响应图中值最大的点在搜索图像中对应的窗口即为预测的目标所在位置，由于池化层不断缩小尺寸，扩大感受野，导致无法获取目标的精细位置，因此，需要通过双立方插值，将响应图变换成目标图像的大小，从而求得目标在搜索图像的位置。由于视觉目标跟踪需要从低到高、从小到大、从细到粗的分辨率的丰富表示，即使在卷积神经网络的最后卷积层中提取有深度的特征，孤立的一层是不够的，合并和聚集这些丰富的表示可以提高识别的正确率和定位的精确度，所述ResNet22深度孪生神经网络的早期层次的特征主要集中在颜色、形状和纹理等低级信息上，是定位的必要条件，对复杂背景的干扰非常鲁棒，但缺乏语义信息，而来自后一层的特征具有更丰富的语义信息，这在一些极具挑战性的场景中是非常有用的，例如运动模糊、变形等，使用这些丰富的分层信息有助于跟踪，所述ResNet22深度孪生神经网络的不同的深层特征图从不同角度表征了目标物体，所述ResNet22深度孪生神经网络中不同的深层特征图的感受野变化很大，为了充分利用这些特征，聚合所述ResNet22深度孪生神经网络的不同的深层特征图，构成目标物体的超特征表示，进一步提升了所述基于孪生网络的深层特征聚合的实时视觉目标跟踪方法的鲁棒性。
其中，所述步骤1具体包括：第一阶段使用步幅为2的7×7卷积层和最大池化层实现下采样，使得所述ResNet22深度孪生神经网络的总步幅达到4。
其中，所述步骤1还包括：第二阶段设置有三个无填充残差单元，三个所述无填充残差单元的步幅都为1，所述ResNet22深度孪生神经网络的总步幅为4。
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，所述无填充残差单元由3个堆叠的卷积层和一个绕过他们的捷径连接组成，三个卷积层分别为1×1卷积层、3×3卷积层和1×1卷积层，1×1卷积层的作用是缩小和恢复输入的特征通道数，1×1卷积层不改变输入的特征分辨率，两个1×1卷积层的网络填充都为0，3×3卷积层使用大小为0的网络填充，为保证捷径连接和输出拥有相同的分辨率，对捷径连接进行裁剪处理，裁剪后的捷径连接与卷积层输出的特征分辨率和通道数都一致，直接相加形成整个所述无填充残差单元的输出，巧妙地消除了网络填充的影响。
其中，所述步骤1还包括：第三阶段设置有无填充下采样残差单元和三个所述无填充残差单元，所述无填充下采样残差单元的步幅为2，使得所述ResNet22深度孪生神经网络的总步幅为8，三个所述无填充残差单元保持所述ResNet22深度孪生神经网络的总步幅为8。
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，建立所述ResNet22深度孪生神经网络，表1展示了所述ResNet22深度孪生神经网络的详细结构，首先，选择以步幅为8构建一个所述ResNet22深度孪生神经网络，由22个加权卷积层组成，所述ResNet22深度孪生神经网络分为三个阶段，在第一个阶段，使用步幅为2的7×7卷积层和最大池化层实现下采样，使得所述ResNet22深度孪生神经网络总步幅达到4，第二个阶段包含3个所述无填充残差单元，每个所述无填充残差单元的步幅都为1，所以至此所述ResNet22深度孪生神经网络的总步幅依然为4，而在第三阶段，第一个单元为所述无填充下采样残差单元，所述无填充下采样残差单元的步幅为2，使得所述ResNet22深度孪生神经网络总步幅来到了8，当对特征图进行下采样时，特征图的通道数将增加一倍，以提高特征可分辨性，所述无填充下采样残差单元之后紧接3个所述无填充残差单元，保持网络总步幅为8，目标图像输出特征图的大小是6×6，每个特征图像素点从输入图像平面上的93×93像素大小的区域接收信号，所以输出特征图上神经元的感受野大小为目标图像大小的73％。
表1 ResNet22深度孪生神经网络架构
所述ResNet22深度孪生神经网络不仅能提取到目标物体的高级语义信息，而且能够保证特征映射的平移等价性，使用所述ResNet22深度孪生神经网络进行特征提取可以大大提升孪生网络跟踪方法的跟踪性能，所述无填充下采样残差单元的作用是缩小特征图的尺寸为输入的二分之一，同时使特征通道的数量增加一倍，3×3卷积层的步幅为1，网络填充为0，捷径连接卷积层的步幅为1，并进行裁剪处理，处理之后的快捷连接与卷积层输出的特征分辨率和通道数都一致，直接将它们相加，为了实现下采样，添加一个步幅为2的最大池化层到所述无填充下采样残差单元的输出，保持输出的尺寸为输入的二分之一。所述无填充残差单元和所述无填充下采样残差单元保持输出的尺寸不变，且输入的每一个像素都参与了特征运算，在没有特征填充的情况下，没有丢失任何一个像素的信息，保证了特征映射的不变性。
其中，所述步骤3具体包括：从所述ResNet22深度孪生神经网络的conv1层、conv2_3层和conv3_4层三个分支中提取的多级特征，用于多尺度特征图聚合。
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，利用conv1层、conv2_3层和conv3_4层三个分支中提取的多级特征，用于多尺度特征图聚合，对于所有选择的卷积层，目标图像生成的特征图都会被当作卷积核，并与搜索图像生成的特征图做卷积运算生成响应图，不同的卷积层使用不同的卷积步幅。
其中，所述步骤4具体包括：conv1层，使用步幅为4的卷积，生成响应图F1(x)，conv2_3层，使用步幅为2的卷积，生成响应图F2(x)，conv3_4层，使用步幅为1的卷积，生成响应图F3(x)，所有响应图的大小相同，最终的输出结果F(x)由conv1层、conv2_3层和conv3_4层的响应图加权求和得到：
F(x)＝w1F1(x)+w2F2(x)+w3F3(x)。
本发明的上述实施例所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，使用logistic loss进行训练，对于响应图中的每一个点u，其损失函数为：
l(y,u)＝log(1e-yu)
其中，y表示样本真实标签，它只有两个取值，相应位置是目标时，取+1，表示正样本，相应位置是非目标时，取-1，表示负样本，u是所述ResNet22深度孪生神经网络的预测值，通过损失函数和不断的后向传播更新网络参数，使得y和u越来越接近，而所述ResNet22深度孪生神经网络正负样本的确定，在输入搜索图像上，只要和目标的距离不超过R，那就算正样本，否则就是负样本，用公式表示如下：
其中，k为网络的总步长，c为目标的中心，u为响应图中最大值所在的位置，R为定义的半径。y[u]是用来计算得分图中每个点的损失值，而对于得分图整体的损失，则采用的是全部点的损失的均值，具体的损失函数形式如下：
其中，u∈D代表得分图中某个点的位置。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，其特征在于，包括：
步骤1，构建一个步幅为8的ResNet22深度孪生神经网络，使用所述ResNet22深度孪生神经网络进行特征提取；
第一阶段使用步幅为2的7×7卷积层和最大池化层实现下采样，使得所述ResNet22深度孪生神经网络的总步幅达到4；
第二阶段设置有三个无填充残差单元，三个所述无填充残差单元的步幅都为1，所述ResNet22深度孪生神经网络的总步幅为4；
第三阶段设置有无填充下采样残差单元和三个所述无填充残差单元，所述无填充下采样残差单元的步幅为2，使得所述ResNet22深度孪生神经网络的总步幅为8，三个所述无填充残差单元保持所述ResNet22深度孪生神经网络的总步幅为8；
所述无填充残差单元由3个堆叠的卷积层和一个绕过3个堆叠的卷积层的捷径连接组成，3个卷积层分别为1×1卷积层、3×3卷积层和1×1卷积层，1×1卷积层用于缩小和恢复输入的特征通道数，1×1卷积层不改变输入的特征分辨率，两个1×1卷积层的网络填充都为0，3×3卷积层使用大小为0的网络填充，对所述捷径连接进行裁剪处理，裁剪后的捷径连接与卷积层输出的特征分辨率和通道数都一致，直接相加形成整个所述无填充残差单元的输出；
步骤2，将目标图像和搜索图像输入到所述ResNet22深度孪生神经网络，目标图像和搜索图像经过所述ResNet22深度孪生神经网络分别生成对应的特征图；
步骤3，将所述ResNet22深度孪生神经网络的不同的深层特征图聚合起来，提取多分支特征来协同推断目标对象的位置，为目标对象提供更全面的描述，以实现更加高效的跟踪；
步骤4，将目标图像的特征图作为卷积核和搜索图像的特征图进行卷积运算生成响应图；
步骤5，响应图中值最大的点在搜索图像中对应的窗口即为预测的目标所在位置，通过双立方插值，将响应图变换成原始图像的大小，从而求得目标在搜索图像的位置。
2.根据权利要求1所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，其特征在于，所述步骤3具体包括：
从所述ResNet22深度孪生神经网络的conv1层、conv2_3层和conv3_4层三个分支中提取的多级特征，用于多尺度特征图聚合。
3.根据权利要求2所述的基于孪生网络的深层特征聚合的实时视觉目标跟踪方法，其特征在于，所述步骤4具体包括：
conv1层，使用步幅为4的卷积，生成响应图F 1(x)，conv2_3层，使用步幅为2的卷积，生成响应图F 2(x)，conv3_4层，使用步幅为1的卷积，生成响应图F 3(x)，所有响应图的大小相同，最终的输出结果F(x)由conv1层、conv2_3层和conv3_4层的响应图加权求和得到：
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010234797.7A CN111489361B (zh) | 2020-03-30 | 2020-03-30 | 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010234797.7A CN111489361B (zh) | 2020-03-30 | 2020-03-30 | 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489361A CN111489361A (zh) | 2020-08-04 |
| CN111489361B true CN111489361B (zh) | 2023-10-27 |
Family
ID=71797593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010234797.7A Active CN111489361B (zh) | 2020-03-30 | 2020-03-30 | 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489361B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785626A (zh) * | 2021-01-27 | 2021-05-11 | 安徽大学 | 一种基于多尺度特征融合的孪生网络小目标跟踪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018030048A1 (ja) * | 2016-08-08 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109543559A (zh) * | 2018-10-31 | 2019-03-29 | 东南大学 | 基于孪生网络和动作选择机制的目标跟踪方法及系统 |
| CN109978921A (zh) * | 2019-04-01 | 2019-07-05 | 南京信息工程大学 | 一种基于多层注意力机制的实时视频目标跟踪算法 |
| CN110245678A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种异构孪生区域选取网络及基于该网络的图像匹配方法 |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
| CN110782480A (zh) * | 2019-10-15 | 2020-02-11 | 哈尔滨工程大学 | 一种基于在线模板预测的红外行人跟踪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469299B (zh) * | 2016-08-31 | 2019-07-19 | 北京邮电大学 | 一种车辆搜索方法及装置 |
| US11308350B2 (en) * | 2016-11-07 | 2022-04-19 | Qualcomm Incorporated | Deep cross-correlation learning for object tracking |
| US20180129934A1 (en) * | 2016-11-07 | 2018-05-10 | Qualcomm Incorporated | Enhanced siamese trackers |
| US10740596B2 (en) * | 2016-11-08 | 2020-08-11 | Nec Corporation | Video security system using a Siamese reconstruction convolutional neural network for pose-invariant face recognition |
| US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
-
2020
- 2020-03-30 CN CN202010234797.7A patent/CN111489361B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018030048A1 (ja) * | 2016-08-08 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109543559A (zh) * | 2018-10-31 | 2019-03-29 | 东南大学 | 基于孪生网络和动作选择机制的目标跟踪方法及系统 |
| CN109978921A (zh) * | 2019-04-01 | 2019-07-05 | 南京信息工程大学 | 一种基于多层注意力机制的实时视频目标跟踪算法 |
| CN110245678A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种异构孪生区域选取网络及基于该网络的图像匹配方法 |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
| CN110782480A (zh) * | 2019-10-15 | 2020-02-11 | 哈尔滨工程大学 | 一种基于在线模板预测的红外行人跟踪方法 |
Non-Patent Citations (7)
| Title |
|---|
| Zhipeng Zhang等.Deeper and Wider Siamese Networks for Real-Time Visual Tracking.《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2020,正文第4594页第一栏第5段-第4596页第一栏第2段，图3. * |
| 一种基于孪生网络的高鲁棒性实时单目标 船舶跟踪方法;张云飞等;舰船科学技术;第41卷(第12期);第103-108页 * |
| 卫星视频中目标的快速检测算法研究;刘贵阳等;计算机系统应用;第27卷(第11期);第155-160页 * |
| 基于强跟踪UKF的视频目标跟踪算法;杨新欣等;电子测量技术;第39卷(第10期);第95-99页 * |
| 基于网络的智能视频监控系统的设计与实现;余腊生;能视频监控系统的设;第30卷(第16期);第3779-3882页 * |
| 梁浩.基于深度学习的目标跟踪算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第08期),第I138-1034页. * |
| 熊昌镇 ; 李言 ; .基于孪生网络的跟踪算法综述.工业控制计算机.2020,第33卷(第03期),第4-5页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489361A (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
| CN108090919B (zh) | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 | |
| CN112287940A (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN113011329B (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN110717851A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN110569851B (zh) | 门控多层融合的实时语义分割方法 | |
| CN111144329A (zh) | 一种基于多标签的轻量快速人群计数方法 | |
| CN111797841B (zh) | 一种基于深度残差网络的视觉显著性检测方法 | |
| CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
| CN112560865B (zh) | 一种室外大场景下点云的语义分割方法 | |
| CN114429491A (zh) | 一种基于事件相机的脉冲神经网络目标跟踪方法和系统 | |
| CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| WO2023036157A1 (en) | Self-supervised spatiotemporal representation learning by exploring video continuity | |
| CN111489361B (zh) | 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 | |
| CN112348033B (zh) | 一种协同显著性目标检测方法 | |
| CN115205768B (zh) | 一种基于分辨率自适应网络的视频分类方法 | |
| CN112115786A (zh) | 基于注意力U-net的单目视觉里程计方法 | |
| CN115578436A (zh) | 一种基于多级特征并行交互融合的单目深度预测方法 | |
| CN113780305B (zh) | 一种基于两种线索交互的显著性目标检测方法 | |
| CN111881794B (zh) | 一种视频行为识别方法及系统 | |
| CN113112522A (zh) | 基于可变形卷积和模板更新的孪生网络目标跟踪的方法 | |
| CN115511968B (zh) | 一种二维手部姿态估计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |