CN110443827B - 一种基于改进孪生网络的无人机视频单目标长期跟踪方法 - Google Patents

一种基于改进孪生网络的无人机视频单目标长期跟踪方法 Download PDF

Info

Publication number
CN110443827B
CN110443827B CN201910663615.5A CN201910663615A CN110443827B CN 110443827 B CN110443827 B CN 110443827B CN 201910663615 A CN201910663615 A CN 201910663615A CN 110443827 B CN110443827 B CN 110443827B
Authority
CN
China
Prior art keywords
target
tracking
frame
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910663615.5A
Other languages
English (en)
Other versions
CN110443827A (zh
Inventor
王进
段志钊
郑涛
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910663615.5A priority Critical patent/CN110443827B/zh
Publication of CN110443827A publication Critical patent/CN110443827A/zh
Application granted granted Critical
Publication of CN110443827B publication Critical patent/CN110443827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进孪生网络的无人机视频单目标长期跟踪方法，其分为离线训练与测试应用两个阶段。本发明方法实现了无人机视频单目标长期跟踪，克服了无人机视频目标小，特征少、相机运动幅度大导致跟踪失败和遮挡后无法找回目标的缺点，精度与效率远高于传统基于孪生网络的目标跟踪方法。

Description

一种基于改进孪生网络的无人机视频单目标长期跟踪方法
技术领域
本发明涉及视频目标跟踪技术领域，尤其涉及一种基于改进孪生网络的无人机视频单目标长期跟踪方法。
背景技术
视觉目标跟踪在计算机视觉领域是一个基础性但充满挑战的研究方向，被广泛应用于各种视觉研究中，比如无人驾驶、人机交互和视频监控等。无人机拍摄的视频普遍存在目标较小、相机移动速度快、目标遮挡、光照变换等干扰因素，因此对无人机拍摄的视频进行目标跟踪至今还是一个极具挑战的研究方向。国内外学者在该领域进行了大量研究，主要方法有以下几种：
1.基于滤波理论的跟踪
目标跟踪的过程中，基于滤波的跟踪方法早就有应用，就滤波的种类来看大体有粒子滤波、卡尔曼滤波和维纳滤波三种。然而实际场景中运动目标的轨迹往往是非线性、非高斯的，所以很难直接用滤波算法来实现对复杂场景的目标跟踪。
2.基于特征的目标跟踪方法
基于特征的跟踪是依靠提取目标的某些不变性特征，来分离视频图像中的目标，并根据不同目标的具体特征来进行分类。一般来说，这些数据或多或少的都会存在共同点，再利用这些特征与各帧图像匹配以完成对目标的跟踪。最常用的特征有颜色特征、边缘特征、灰度特征以及目标角点等。这种方法稳定性比较好。同时由于只使用了目标的部分特征，计算量小，具有较好的实时性，在工程实践中应用较广。但普遍存在对目标特征的提取难度较大及选择提取哪种目标特征的问题。
3.基于深度卷积神经网络的目标跟踪
最近几年，深度卷积神经网络在计算机视觉领域取得了显著的成功，比如分类任务、目标检测等任务。所以也有很多研究者将深度学习应用到目标跟踪任务上去，其中取得突破性的且能够达到实时要求的算法就是全卷积孪生网络，把目标跟踪任务当作相似性匹配任务，即利用外部训练数据训练一个卷积神经网络作为通用的匹配函数，再把匹配函数作为目标跟踪的图像特征提取器，来对目标模板与搜索区域进行匹配，进而实现跟踪目标。但是，现今的孪生网络一般都是采用AlexNet作为基本框架，其信息表征能力有限。其次，在相机快速移动时，孪生网络很难正确匹配目标。
针对以上技术的不足，本发明提出了一种基于改进孪生网络的无人机视频单目标长期跟踪方法，其以ResNet网络为基本框架提取特征，并以多层融合的RPN网络融合特征，进行相关性分析，精确匹配跟踪目标。并在发现目标跟丢后采用SIFT算法全图搜索匹配目标，从而能实现在目标经历长期遮挡后仍能找回原目标进行跟踪。
发明内容
本发明的目的在于提供一种基于改进孪生网络的无人机视频单目标长期跟踪方法，以解决现有技术在相机快速移动时跟丢目标、目标经历遮挡后无法找回目标的问题，同时为单目标跟踪提供了一种指导性的跟踪方法。
本发明的目的是通过以下技术方案来实现的：一种基于改进孪生网络的无人机视频单目标长期跟踪方法，该方法包括离线训练阶段和测试应用阶段：
1.离线训练阶段：
通过无人机拍摄跟踪目标视频。并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据。
特别的，对于每帧图片，计算目标框大小，当目标框面积小于400像素点时，将该图片放大两倍，达到将小目标放大的效果。
在上述每帧图片，分别以127、225两种大小采样框采集一个跟踪目标模板和一个搜索区域作为图像对。
将所有训练图像对分批次输入改进孪生网络进行训练。改进孪生网络由两个完全相同的ResNet神经网络和三个RPN特征提议网络组成。两个ResNet网络分别用于提取跟踪目标模板和搜索区域的特征。三个RPN模块分别级联在ResNet网络Conv3-3、Conv4-6和Conv5-3层，用于对两个ResNet网络从模板和搜索区域提取的不同层级的特征进行互相关分析。分析后RPN模块会在搜索特征图中进行跟踪目标置信度与目标位置预测。
特别的，所述ResNet网络，其核心思想是引入跨层连接，使浅层的权重也能直接传递给深层。
特别的，所述RPN网络模块以孪生ResNet网络的不同层作为输入，通过调整层调整输入尺寸后，输入给深度可分离互相关层计算匹配模板与搜索区域的互相关系数，最后分别得出搜索区域的前景与背景分类置信度得分和预测目标框位置。
特别的，所述深度可分离互相关层对卷积图谱采取逐通道计算互相关结果，这样有效降低了参数量，极大提升了算法速度。
2.测试应用阶段：
将未标注的待跟踪视频分帧，计算给定初始跟踪框面积，当目标框面积小于400像素点时，将该图片放大两倍。
对上述所有图片，以初始跟踪框中心作为裁剪中心，以边长分别为127正方形采样框裁剪图片作为跟踪目标模板输入ResNet特征提取网络提取模板特征，对于之后每一帧测试图片，以上一帧目标框中心作为裁剪中心，以边长225的正方形采样框裁剪图片作为搜索区域，输入ResNet特征提取网络提取搜索域特征。
输入搜索区域与模板图片经过训练好的改进孪生网络后输出跟踪目标的置信度。判断置信度是否大于事先设定阈值M，若大于则直接输出预测的跟踪目标位置。否则启用SIFT特征全图匹配跟踪目标，直至重新找到跟踪目标。然后输出跟踪目标位置。
特别的，上述操作尤其能够解决跟踪目标在经过长期遮挡后跟踪器无法找回目标重新跟踪以及相机快速移动导致跟踪目标丢失的问题，使得所述跟踪器能够克服遮挡与相机快速位移对目标进行长期跟踪。
在获得跟踪目标位置后，在对应原图上以跟踪目标位置为中心，边长127正方形采样框裁剪图片，重新替代原模板，实现模板的动态跟新。
特别的，上述操作有效克服了长期跟踪过程中跟踪目标外观发生变化，而使原模板失效，跟踪失败的问题，极大的地提升了跟踪器在长期跟踪过程中的稳定性。
本发明的有益效果是：本发明方法，解决了现有技术在对无人机视频进行跟踪过程中跟踪稳定性差、相机快速移动导致目标丢失、很难对复杂场景如遮挡情况进行长期跟踪的问题，实现了在相机快速移动导致目标丢失后以及目标经历遮挡后仍能找回跟踪目标，从而对复杂环境下的无人机视频场景长期跟踪的效果。所述跟踪方法精度与稳定性远高于传统的孪生网络跟踪器。
附图说明
图1是改进孪生网络框架图；
图2是ResNet网络最小单元块图；
图3是RPN网络模块结构图；
图4是深度可分离互相关层示意图；
图5是本发明方法训练阶段流程图；
图6是本发明方法测试应用阶段流程图；
图7a-7c是跟踪结果图。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步的描述。
本发明的基于改进孪生网络的无人机视频单目标长期跟踪方法，包括离线训练阶段和测试应用阶段。
1.离线训练阶段：
通过无人机拍摄跟踪目标视频。并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据。
特别的，对于每帧图片，计算目标框大小，当目标框面积小于400像素点时，将该图片放大两倍，达到将小目标放大的效果。
对上述所有图片，以目标框中心随机向四周偏移0-64个像素点后作为裁剪中心，以边长分别为127和225的正方形采样框裁剪图片，采集边长为127的正方形图片作为跟踪目标模板，边长为225的正方形图片作为搜索区域，每一张图片的一个跟踪目标模板和一个搜索区域对应作为一个图像对。
特别的，上述对裁剪中心的偏移操作有利于消除正样本始终位于图片正中心，导致网络给图像的中心位置分配更大的权重，网络学习到位置偏见的问题。从而消除了像ResNet这种不满足平移不变性的网络学习位置偏见的问题，使其也能应用到孪生网络跟踪器中，而且精度不下降。
特别的，为了提升网络对图像特征的表征能力，抛弃传统的AlexNet网络，采用ResNet深度神经网络作为基础网络提取特征，极大提升了网络对复杂场景的学习能力。
将所有训练图像对分批次输入改进孪生网络进行训练。改进孪生网络由两个完全相同的ResNet神经网络和三个RPN特征提议网络组成。两个ResNet网络分别用于提取跟踪目标模板和搜索区域的特征。三个RPN模块分别级联在ResNet网络Conv3-3、Conv4-6和Conv5-3层，用于对两个ResNet网络从模板和搜索区域提取的不同层级的特征进行互相关分析。分析后RPN模块会在搜索特征图中进行前景、背景分类与目标位置预测。改进孪生网络框架图如图1所示。
特别的，所述ResNet网络，其核心思想是引入跨层连接，使浅层的权重也能直接传递给深层。网络的一个最小单元块如下图2所示。其中，x表示上一层的输出特征图谱，F(x)表示经过当前一个残差学习模块得出的输出特征图谱。ResNet每个残差模块的下层输出为上一层的输出特征图谱x与经过当前一个残差学习模块得出的输出特征图谱F(x)的加和。ResNet网络根据网络深度由若干个残差学习模块串联而成。
特别的，以连接Conv3-3层RPN模块为例，上述RPN模块先提取孪生ResNet网络对应层模板帧输出F3(z)和检测帧输出F3(x)后有两个分支。第一个分支，通过1x1卷积层adj_1将F3(z)特征图通道数调整为4k*256，通过adj_2将F3(x)特征图通道数调整为256，然后输入深度可分离互相关层1计算模板特征图与搜索区域的互相关响应。根据响应最大区域外接矩形确定预测目标框位置。第二个分支，通过1x1卷积层adj_3将F3(z)特征图通道数调整为2k*256，通过adj_4将F3(x)特征图通道数调整为256，然后输入深度可分离互相关层2计算模板特征图与搜索区域的互相关响应。再用Softmax函数根据响应程度进行目标前景与背景分类，并给出分类结果的置信度。RPN网络模块结构图如图3所示。
特别的，上述深度可分离互相关层采用通道分离的机制，对每个通道将输入进行卷积计算得到。深度可分离互相关层示意图如下图4所示。计算公式如式1所示：
Figure BDA0002138505670000051
其中，Aw×h×2k表示互相关响应程度，
Figure BDA0002138505670000061
表示进过调整通道后的搜索区域特征图谱,
Figure BDA0002138505670000062
表示进过调整通道后的模板特征图谱。
特别的，所述深度可分离互相关层对卷积图谱采取逐通道计算互相关结果，有效降低了参数量，极大提升了算法速度。
特别的，由于深层网络中的层数比较多，网络的不同层能够获取的特征也具有很大的差别，浅层网络特征更关注于提取一些颜色、边缘等信息，而深层网络特征则更关注于目标的语义特征，因此有必要将深层网络的多层特征进行融合。本方法将三个RPN网络的输出采用线性加权的方式进行融合，然后将融合的目标分类置信度和预测目标框位置输出。融合公式如式2、式3所示：
Figure BDA0002138505670000063
Figure BDA0002138505670000064
式2中，Call表示各RPN模块融合后的分类得分，αi表示加权系数，Cl表示第l层连接的RPN模块输出的分类得分；
式3中，Ball表示各RPN模块融合后的预测目标框位置，βi表示加权系数，Bl表示第l层连接的RPN模块预测的目标框位置；
所述训练阶段流程图如图4所示。
2.测试应用阶段：
将未标注的待跟踪视频分帧，计算给定初始跟踪框面积，当目标框面积小于400像素点时，将该图片放大两倍；
对上述所有图片，以初始跟踪框中心随机向四周偏移0-64个像素点后作为裁剪中心，以边长分别为127正方形采样框裁剪图片作为跟踪目标模板输入ResNet特征提取网络提取模板特征，对于之后每一帧测试图片，以上一帧目标框中心随机向四周偏移0-64个像素点后作为裁剪中心，以边长225的正方形采样框裁剪图片作为搜索区域，输入ResNet特征提取网络提取搜索域特征。
输入搜索区域与模板图片经过训练好的改进孪生网络后输出跟踪目标的置信度。判断置信度是否大于事先设定阈值M，本发明在实验时采用M＝0.3。若大于则直接输出RPN模块预测的跟踪目标位置。否则启用SIFT特征全图匹配跟踪目标，直至重新找到跟踪目标。然后SIFT匹配到的目标位置。该操作尤其能够解决跟踪目标在经过长期遮挡后跟踪器无法找回目标重新跟踪的问题，使得所述跟踪器能够克服遮挡对目标进行长期跟踪。
在获得跟踪目标位置后，在对应原图上以跟踪目标位置为中心，边长127正方形采样框裁剪图片，重新替代原模板，实现模板的动态跟新。有效克服了长期跟踪过程中跟踪目标外观发生变化，而使原模板失效，跟踪失败的问题，极大的地提升了跟踪器在长期跟踪过程中的稳定性。
所述测试应用阶段流程图如图5所示。
所述方法测试的某个视频中连续三帧跟踪结果如下图7a、图7b、图7c所示。

Claims (6)

1.一种基于改进孪生网络的无人机视频单目标长期跟踪方法，包括离线训练阶段和测试应用阶段，其特征在于：
1.离线训练阶段：
步骤一、通过无人机拍摄跟踪目标视频，并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据；
步骤二、在上述每帧图片，分别以127、225两种大小采样框采集一个跟踪目标模板和一个搜索区域作为图像对；
步骤三、将所有训练图像对分批次输入改进孪生网络进行训练；改进孪生网络由两个完全相同的ResNet神经网络和三个RPN特征提议网络组成，两个ResNet网络分别用于提取跟踪目标模板和搜索区域的特征，三个RPN模块分别级联在ResNet网络Conv3-3、Conv4-6和Conv5-3层，用于对两个ResNet网络从模板和搜索区域提取的不同层级的特征进行互相关分析，分析后RPN模块会在搜索特征图中进行跟踪目标置信度与目标位置预测；
2.测试应用阶段：
步骤四、将未标注的待跟踪视频分帧，计算给定初始跟踪框面积，当目标框面积小于400像素点时，将该图片放大两倍；
步骤五、对上述所有图片，以初始跟踪框中心作为裁剪中心，以边长分别为127正方形采样框裁剪图片作为跟踪目标模板输入ResNet特征提取网络提取模板特征，对于之后每一帧测试图片，以上一帧目标框中心作为裁剪中心，以边长225的正方形采样框裁剪图片作为搜索区域，输入ResNet特征提取网络提取搜索域特征；
步骤六、输入搜索区域与模板图片经过训练好的改进孪生网络后输出跟踪目标的置信度；判断置信度是否大于事先设定阈值M，若大于则直接输出预测的跟踪目标位置，否则启用SIFT特征全图匹配跟踪目标，直至重新找到跟踪目标；然后输出跟踪目标位置。
2.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤二中，对于每帧图片，计算目标框大小，当目标框面积小于400像素点时，将该图片放大两倍。
3.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤三中所述ResNet网络引入跨层连接，使浅层的权重也能直接传递给深层。
4.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤三中所述RPN网络模块以孪生ResNet网络的不同层作为输入，通过调整层调整输入尺寸后，输入给深度可分离互相关层计算匹配模板与搜索区域的互相关系数，最后分别得出搜索区域的前景与背景分类置信度得分和预测目标框位置。
5.如权利要求4所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：所述深度可分离互相关层对卷积图谱采取逐通道计算互相关结果。
6.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤六中，在获得跟踪目标位置后，在对应原图上以跟踪目标位置为中心，边长127正方形采样框裁剪图片，重新替代原模板，实现模板的动态跟新。
CN201910663615.5A 2019-07-22 2019-07-22 一种基于改进孪生网络的无人机视频单目标长期跟踪方法 Active CN110443827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910663615.5A CN110443827B (zh) 2019-07-22 2019-07-22 一种基于改进孪生网络的无人机视频单目标长期跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910663615.5A CN110443827B (zh) 2019-07-22 2019-07-22 一种基于改进孪生网络的无人机视频单目标长期跟踪方法

Publications (2)

Publication Number Publication Date
CN110443827A CN110443827A (zh) 2019-11-12
CN110443827B true CN110443827B (zh) 2022-12-20

Family

ID=68431084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910663615.5A Active CN110443827B (zh) 2019-07-22 2019-07-22 一种基于改进孪生网络的无人机视频单目标长期跟踪方法

Country Status (1)

Country Link
CN (1) CN110443827B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992378B (zh) * 2019-12-03 2023-05-16 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN111369617B (zh) * 2019-12-31 2022-06-21 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111091582A (zh) * 2019-12-31 2020-05-01 北京理工大学重庆创新中心 一种基于深度神经网络的单视觉目标跟踪算法及系统
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN112287957A (zh) * 2020-01-22 2021-01-29 京东安联财产保险有限公司 目标匹配方法与装置
CN111341059A (zh) * 2020-02-06 2020-06-26 河南理工大学 基于深度分离和目标感知的早期野火烟雾检测方法和装置
CN111260682B (zh) 2020-02-10 2023-11-17 深圳市铂岩科技有限公司 目标对象的追踪方法、装置、存储介质和电子设备
CN111639551B (zh) * 2020-05-12 2022-04-01 华中科技大学 基于孪生网络和长短期线索的在线多目标跟踪方法和系统
CN112200827B (zh) * 2020-09-09 2023-06-09 天津津航技术物理研究所 一种基于由远及近场景的红外图像跟踪算法评价方法及平台
CN112308013B (zh) * 2020-11-16 2023-03-31 电子科技大学 一种基于深度学习的足球球员追踪方法
CN112464851A (zh) * 2020-12-08 2021-03-09 国网陕西省电力公司电力科学研究院 一种基于视觉感知的智能电网异物入侵检测方法及系统
CN112464001B (zh) * 2020-12-11 2022-07-05 厦门四信通信科技有限公司 一种物体移动跟踪方法、装置、设备及存储介质
CN112581502A (zh) * 2020-12-23 2021-03-30 北京环境特性研究所 一种基于孪生网络的目标跟踪方法
CN112816474B (zh) * 2021-01-07 2022-02-01 武汉大学 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法
CN113379797A (zh) * 2021-06-01 2021-09-10 大连海事大学 一种无人机观测目标的实时跟踪方法及系统
CN113344932B (zh) * 2021-06-01 2022-05-03 电子科技大学 一种半监督的单目标视频分割方法
CN114022510A (zh) * 2021-10-20 2022-02-08 浙江大立科技股份有限公司 一种基于内容检索的目标长时跟踪方法
CN113793358B (zh) * 2021-11-16 2022-05-31 长沙理工大学 一种目标跟踪定位方法、装置及计算机可读介质
CN114359336B (zh) * 2021-11-30 2023-04-07 南昌航空大学 基于光流和动态级联rpn的目标跟踪方法
CN114332157B (zh) * 2021-12-14 2024-05-24 北京理工大学 一种双阈值控制的长时跟踪方法
CN116309710B (zh) * 2023-02-27 2024-07-09 荣耀终端有限公司 目标追踪方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109543559A (zh) * 2018-10-31 2019-03-29 东南大学 基于孪生网络和动作选择机制的目标跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN109543559A (zh) * 2018-10-31 2019-03-29 东南大学 基于孪生网络和动作选择机制的目标跟踪方法及系统

Also Published As

Publication number Publication date
CN110443827A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443827B (zh) 一种基于改进孪生网络的无人机视频单目标长期跟踪方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
Spencer et al. Defeat-net: General monocular depth via simultaneous unsupervised representation learning
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
CN109102522A (zh) 一种目标跟踪方法及装置
CN112037269B (zh) 一种基于多域协同特征表达的视觉运动目标跟踪方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
CN112927264A (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
Zhou et al. Cross-weather image alignment via latent generative model with intensity consistency
CN111127519A (zh) 一种双模型融合的目标跟踪控制系统及其方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
Barroso-Laguna et al. Hdd-net: Hybrid detector descriptor with mutual interactive learning
CN117011381A (zh) 基于深度学习和立体视觉的实时手术器械位姿估计方法与系统
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
Yu et al. A unified transformer based tracker for anti-uav tracking
CN113132737A (zh) 基于泰勒解耦和记忆单元校正的视频预测方法
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
Zuo Visualization of Football Tactics with Deep Learning Models
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
Angelov et al. ARTOT: Autonomous real-Time object detection and tracking by a moving camera
Zhou et al. An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow
CN111681260A (zh) 一种面向无人机航拍影像的多目标跟踪方法及跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant