CN110298404A - 一种基于三重孪生哈希网络学习的目标跟踪方法 - Google Patents
一种基于三重孪生哈希网络学习的目标跟踪方法 Download PDFInfo
- Publication number
- CN110298404A CN110298404A CN201910591870.3A CN201910591870A CN110298404A CN 110298404 A CN110298404 A CN 110298404A CN 201910591870 A CN201910591870 A CN 201910591870A CN 110298404 A CN110298404 A CN 110298404A
- Authority
- CN
- China
- Prior art keywords
- hash
- target
- network
- sample
- triple
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三重孪生哈希网络学习的目标跟踪方法，涉及计算机视觉、目标跟踪及深度学习技术领域。该方法首先构建了一个三重孪生哈希网络，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成。在网络初始训练过程中，使用训练数据集和随机梯度下降反向传播算法对三重孪生哈希网络进行训练，训练完成后网络即可获得目标定位的初始能力。跟踪过程中则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。
Description
技术领域
本发明涉及计算机视觉、目标跟踪及深度学习技术领域。
背景技术
目标跟踪是计算机视觉领域中一项非常热门的研究课题，其研究内容是根据给定的一段视频片段自动识别出随后视频序列中要跟踪的目标对象，获取目标连续的位置、外观和运动等信息。目标跟踪广泛应用于军事与民用的智能监控、人机交互、交通监控等领域，具有很强的实用价值。尽管这个研究课题已经被研究了几十年，但它仍是一项具有挑战性的课题。在现实情况下，目标对象容易受到各种因素的干扰，例如光照变化、姿态变化、目标遮挡等，使得开发持续鲁棒的目标跟踪系统成为一项非常具有挑战性的问题。
过去几十年以来，目标跟踪的研究取得了长足的发展。从经典的均值漂移(MeanShift)、粒子滤波(Particle Filter)跟踪算法，到基于检测(Tracking-by-Detection)的跟踪算法及相关滤波(Correlation Filter)的跟踪算法，再到最近基于深度学习(DeepLearning)的跟踪算法。最近取得的研究进展主要是基于相关滤波的跟踪算法和基于深度学习的跟踪算法。相关滤波的跟踪算法于2012年提出，其主要原理是利用傅立叶变换快速实现学习和检测，学习检测过程快速、高效。Joao F.Henriques等提出了基于颜色梯度直方图(HOG)特征的核相关滤波方法，并提出了循环矩阵的求解，解决了密集采样问题，是目标跟踪最经典的相关滤波方法之一。但是相关滤波的方法也有一些缺陷，跟踪器使用的特征提取手段单一，表征能力不足，而且当目标快速移动、形状变化较大时，大量的具有背景干扰的负样本会对跟踪效果造成影响。最近的基于深度学习的目标跟踪算法主要分为三类：第一类是基于模板匹配的跟踪算法，最具代表性的是2016年Luca Bertinetto提出的全卷积孪生网络跟踪算法(Siamese-FC)；第二类是基于机器学习回归的算法，代表作是2016年David Held提出的基于回归网络的通用目标跟踪算法(GOTURN)；第三类是基于机器学习分类的算法，2015年Hyeonseob Nam提出的多域神经网络跟踪算法(MDNet)是其中一篇经典之作。但是深度学习方法也有一些不足之处，第一，深度学习对数据集的样本数量要求比较大，而在实际跟踪过程中存在数据量不够的问题；第二，训练过程中存在正负样本不平衡问题，特别地，正样本和困难负样本数据量较小很容易造成跟踪网络训练精度不高，从而导致跟踪精度的下降；第三，深度学习的全连接层结构决定了其训练过程含有非常大的参数量，给计算机带来极大的计算和存储开销。
发明内容
本发明的目的是提供一种基于三重孪生哈希网络学习的目标跟踪方法，它能有效地解决可有效解决传统深度学习直接利用全连接层计算而导致的占用内存空间大、参数计算量大的问题。
本发明的目的是通过以下技术方案来实现的：
步骤一、目标选取
从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；
步骤二、训练数据集生成
数据集生成分为两个步骤，首先是数据集的选取，然后是数据集的制作；选取大型分类识别视频数据集ImageNet Video，数据集的所有图像均标记对应的目标对象位置坐标信息；然后通过已知标签制作训练数据集，每一组训练数据集有三组图像对，分别是正样本、查询样本和困难负样本，这三组样本图片对均来源于同一个目标序列，选取其中1000组图像序列；将图像序列中标注框内部分作为查询样本，并归一化为127×127像素，同时在每一张查询样本周围按相同大小随机选取样本，具体选取规则是与查询样本交并比(IOU)大于0.8作为正样本，小于0.6但大于0.3作为困难负样本，分别生成100张正样本和100张困难负样本，最终生成600000组训练数据集；
步骤三、三重孪生哈希网络构建与初始化
三重孪生哈希网络由数据输入层、卷积特征提取层、哈希编码层三部分构成，卷积特征提取层采用Alexnet网络结构，即5层卷积层和2层全连接层，并采用第7层全连接层的1024个神经元节点作为特征表达；哈希编码层则使这1024个神经元节点，其集合表示为un，经过sgn函数，得到哈希码集合bn＝sgn(un)，各值为bi∈{+1,-1}，该网络损失函数设置为三重似然损失函数，定义为
其中，M为训练数据集的组数，这里设定M＝600000，θij表示哈希码bi和bj之间的内积，表示为q,p,h分别表示查询样本，正样本，困难负样本，α为设定偏值，这里设定α＝10，λ是正则化参数项，用来平衡三重似然损失函数，设定λ＝80，能够加速训练过程，并防止反向传播过程中梯度消失，N为1024个神经元节点；
构建完三重孪生哈希网络后，则用生成的训练数据集开始进行网络训练，训练时反向传播采用经典的随机梯度下降法，最终网络将输出与查询样本最大相似度的目标对象，获得对目标对象定位的初始能力；
步骤四、图像输入
在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；
步骤五、候选区域的生成
三重孪生哈希网络训练完毕后，选取跟踪图像序列的第一帧标注框内的图像作为待跟踪目标对象，尺寸归一化127×127像素，然后依次输入后续帧，尺寸为255×255像素，将每一帧都经过三重孪生区域推荐网络，其包含卷积特征提取层、相关滤波结构两部分，其中卷积特征提取层直接采用三重孪生哈希网络层中的卷积特征提取结构，并权值共享，将得到两种卷积特征，尺寸大小分别是22×22像素×128通道和6×6像素×128通道；相关滤波结构则将提取的卷积特征进行互相关操作，其具体操作是将22×22像素×128通道卷积特征与6×6像素×128通道卷积，得到17×17像素的响应热图，然后在较高响应相对应的输入图像帧周围，按照与样本0.8、1、1.2倍的尺寸大小，分别得到132个目标候选框与132个困难负样本候选框；
步骤六、目标定位
将步骤五中生成的所有候选框经过训练好的三重孪生哈希网络中进行前向传播，最终输出每个候选框与查询样本的相似度值，选取最大相似度值的候选框作为目标跟踪结果，目标定位完成；
步骤七、网络在线更新
根据步骤六得到的目标跟踪位置，再根据步骤二中所述步骤在目标位置周围生成100张正样本和100张困难负样本并连同当前目标对象构成一组训练数据，进行一次网络训练，实现对网络的微调更新，然后跳转到步骤四。
在初始网络训练过程中，使用训练数据集和随机梯度下降法对三重孪生哈希网络进行训练，训练完成后网络即可获得对目标对象进行定位的初始能力，跟踪过程中，则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。此外，在每次目标跟踪完成后，根据当前所确定的目标位置及生成的数据集对网络进行微调和更新，使得网络具备一定的同步调整能力。
所述卷积特征提取结构特征的三维尺寸分别为6×6像素×128通道与22×22像素×128通道。
因此，鉴于三重孪生网络强大的表征能力和哈希编码快速分类能力，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成。在网络初始训练过程中，使用训练数据集和随机梯度下降反向传播算法对三重孪生哈希网络进行训练，训练完成后网络即可获得目标定位的初始能力。跟踪过程中则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。此外，本发明方法不仅可以用于单目标跟踪，还可以用于复杂场景下的多目标跟踪。在初始网络训练过程中，使用训练数据集和随机梯度下降法对三重孪生哈希网络进行训练，训练完成后网络即可获得对目标对象进行定位的初始能力，跟踪过程中，则首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理，分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。此外，在每次目标跟踪完成后，根据当前所确定的目标位置及生成的数据集对网络进行微调和更新，使得网络具备一定的同步调整能力。
本发明的优点和积极效果：提出一种基于三重孪生神经网络的目标跟踪方法，该方法将目标跟踪问题转化为可更新的图像检索问题，使用训练数据集和随机梯度下降法离线训练了一个三重孪生神经网络模型，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成。卷积特征提取层采用Alexnet网络结构，即5层卷积层和2层全连接层，并采用第7层全连接层的1024个神经元节点作为特征表达，同时将1024个神经元进行哈希编码；哈希编码层则将第7层全连接层1024个神经元节点经过函数进行哈希编码。网络训练完成后，在跟踪过程中，首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。本发明利用大型视觉识别数据库Image Video作为训练数据集可有效解决样本量少的问题，输入训练数据集包括正样本、查询样本和困难负样本，不容易过拟合；由于采用了三重孪生神经网络，可有效解决正样本和困难负样本的挖掘，缩小正样本间的距离，增大困难负样本与正样本的距离，从而提高相似度计算的准确性，进而提升目标定位的精度；利用哈希编码实现图像表征的降维，有利于减少存储和计算开销，可有效解决深度学习直接利用全连接层计算而导致的占用内存空间大、参数计算量大的问题；同时采用三重孪生区域推荐网络避免了图像大量搜索，能够快速并有效的推荐候选框区域，从而实现更精准的目标跟踪。此外，本发明方法不仅可以用于单目标跟踪，通过对网络进行相应的改进(如输出端)，还可以扩展用于多目标的跟踪。
附图说明
图1为本发明三重孪生哈希网络结构图
图2为本发明三重孪生区域推荐网络结构图
图3为本发明的流程图
具体实施方式
本发明所述的方法可用于视觉目标跟踪的各种场合，包括军事和民用等领域，军事领域如无人飞行器、精确制导、空中预警等，民用领域如移动机器人、牵引变电所智能视频监控、智能交通系统等。
以牵引变电所智能视频监控为例：牵引变电所智能视频监控包含许多重要的自动分析任务，如入侵检测、行为分析，异常报警等，而这些工作的基础都要能够实现实时稳定的目标跟踪。可以采用本发明提出的跟踪方法实现，具体为，首先需要构建一个三重孪生哈希网络模型，该网络由数据输入层、卷积特征提取层、哈希编码层三部分构成，如图1所示，然后对监控视频训练进行人工标注，得到相应的训练数据集，然后采用该监控视频训练集与随机梯度下降法对该网络进行训练，然后在跟踪过程中，首先将输入图像通过三重孪生区域推荐网络得到相应的候选框，再将候选框输入三重孪生哈希网络进行正向处理分别计算每个候选框与查询样本的相似度，选择最高相似度的候选框作为跟踪目标对象，从而实现目标跟踪。此外，在每次目标跟踪完成后，根据当前所确定的目标位置及生成的数据集对网络进行微调和更新，使得网络具备一定的同步调整能力。由于采用了三重孪生神经网络，可有效解决正样本和困难负样本的挖掘，缩小正样本间的距离，增大困难负样本与正样本的距离，从而提高相似度计算的准确性，进而提升目标定位的精度；利用哈希编码实现图像表征的降维，有利于减少存储和计算开销，可有效解决深度学习直接利用全连接层计算而导致的占用内存空间大、参数计算量大的问题；同时采用三重孪生区域推荐网络避免了图像大量搜索，能够快速并有效的推荐候选框区域，从而实现更精准的目标跟踪。本发明能够处理复杂的跟踪场景，实现长时间实时准确的目标跟踪，解决跟踪过程中目标发生遮挡、漂移等问题。此外，本发明方法不仅可以用于单目标跟踪，还可以用于复杂场景下的多目标跟踪。
本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时目标跟踪应用。
Claims (3)
1.一种基于三重孪生哈希网络学习的目标跟踪方法，包括如下步骤：
步骤一、目标选取
从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；
步骤二、训练数据集生成
首先，选取大型分类识别视频数据集，数据集的所有图像均标记对应的目标对象位置坐标信息；然后，通过已知标签制作训练数据集，每一组训练数据集有三组图像对，分别是正样本、查询样本和困难负样本，这三组样本图像对均来源于同一个目标序列；选取其中1000组图像序列，将图像序列中标注框内的部分作为查询样本，并归一化为127×127像素，同时在每一张查询样本周围按相同大小随机选取样本，具体选取规则是与查询样本交并比IOU大于0.8作为正样本，小于0.6但大于0.3作为困难负样本，分别生成100张正样本和100张困难负样本，最终生成600000组训练数据集；
步骤三、三重孪生哈希网络构建与初始化
三重孪生哈希网络由数据输入层、卷积特征提取层、哈希编码层三部分构成，卷积特征提取层采用Alexnet网络结构，即5层卷积层和2层全连接层，并采用第7层全连接层的1024个神经元节点作为特征表达；哈希编码层则使这1024个神经元节点，其集合表示为un，经过sgn函数，得到哈希码集合bn＝sgn(un)，各值为bi∈{+1,-1}，该网络损失函数设置为三重似然损失函数，定义为
其中，M为训练数据集的组数，这里设定M＝600000，θij表示哈希码bi和bj之间的内积，表示为q,p,h分别表示查询样本，正样本，困难负样本，α为设定偏值，这里设定α＝10，λ是正则化参数项，用来平衡三重似然损失函数，设定λ＝80，能够加速训练过程，并防止反向传播过程中梯度消失，N为1024个神经元节点；
构建完三重孪生哈希网络后，则用生成的训练数据集开始进行网络训练，训练时反向传播采用经典的随机梯度下降法，最终网络将输出与查询样本最大相似度的目标对象，获得对目标对象定位的初始能力；
步骤四、图像输入
在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；
步骤五、候选区域的生成
三重孪生哈希网络训练完毕后，选取跟踪图像序列的第一帧标注框内的图像作为待跟踪目标对象，尺寸归一化127×127像素，然后依次输入后续帧，尺寸为255×255像素，将每一帧都经过三重孪生区域推荐网络，其包含卷积特征提取层、相关滤波结构两部分，其中卷积特征提取层直接采用三重孪生哈希网络层中的卷积特征提取结构，并权值共享，将得到两种卷积特征，尺寸大小分别是22×22像素×128通道和6×6像素×128通道；相关滤波结构则将提取的卷积特征进行互相关操作，其具体操作是将22×22像素×128通道卷积特征与6×6像素×128通道卷积，得到17×17像素的响应热图，然后在较高响应相对应的输入图像帧周围，按照与样本0.8、1、1.2倍的尺寸大小，分别得到132个目标候选框与132个困难负样本候选框；
步骤六、目标定位
将步骤五中生成的所有候选框经过训练好的三重孪生哈希网络中进行前向传播，最终输出每个候选框与查询样本的相似度值，选取最大相似度值的候选框作为目标跟踪结果，目标定位完成；
步骤七、网络在线更新
根据步骤六得到的目标跟踪位置，再根据步骤二所述的过程，在目标位置周围生成100张正样本和100张困难负样本并连同当前目标对象构成一组训练数据，进行一次网络训练，实现对网络的微调更新，然后跳转到步骤四。
2.根据权利要求1所述的一种基于三重孪生哈希网络学习的目标跟踪方法，其特征在于：在每次目标跟踪完成后，根据当前所确定的目标位置及生成的数据集对网络进行微调和更新，使得网络具备一定的同步调整能力。
3.根据权利要求1所述的一种基于三重孪生哈希网络学习的目标跟踪方法，其特征在于：所述卷积特征提取结构特征的三维尺寸分别为6×6像素×128通道与22×22像素×128通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591870.3A CN110298404B (zh) | 2019-07-02 | 2019-07-02 | 一种基于三重孪生哈希网络学习的目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591870.3A CN110298404B (zh) | 2019-07-02 | 2019-07-02 | 一种基于三重孪生哈希网络学习的目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110298404A true CN110298404A (zh) | 2019-10-01 |
| CN110298404B CN110298404B (zh) | 2020-12-29 |
Family
ID=68029946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910591870.3A Expired - Fee Related CN110298404B (zh) | 2019-07-02 | 2019-07-02 | 一种基于三重孪生哈希网络学习的目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298404B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN110942471A (zh) * | 2019-10-30 | 2020-03-31 | 电子科技大学 | 一种基于时空约束的长时目标跟踪方法 |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN111192291A (zh) * | 2019-12-06 | 2020-05-22 | 东南大学 | 一种基于级联回归与孪生网络的目标跟踪方法 |
| CN111275736A (zh) * | 2020-01-07 | 2020-06-12 | 中国科学院大学 | 一种基于目标场景一致性的无人机视频多目标跟踪方法 |
| CN111354019A (zh) * | 2020-03-31 | 2020-06-30 | 中国人民解放军军事科学院军事医学研究院 | 一种基于神经网络的视觉跟踪失效检测系统及其训练方法 |
| CN111640138A (zh) * | 2020-05-28 | 2020-09-08 | 济南博观智能科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
| CN111814604A (zh) * | 2020-06-23 | 2020-10-23 | 浙江理工大学 | 一种基于孪生神经网络的行人跟踪方法 |
| CN111915650A (zh) * | 2020-07-30 | 2020-11-10 | 齐鲁工业大学 | 基于改进孪生网络的目标跟踪方法及系统 |
| CN112037269A (zh) * | 2020-08-24 | 2020-12-04 | 大连理工大学 | 一种基于多域协同特征表达的视觉运动目标跟踪方法 |
| CN112101344A (zh) * | 2020-08-25 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种视频文本跟踪方法及装置 |
| CN112308106A (zh) * | 2019-11-15 | 2021-02-02 | 北京京邦达贸易有限公司 | 一种图像标注的方法及系统 |
| CN112488061A (zh) * | 2020-12-18 | 2021-03-12 | 电子科技大学 | 一种联合ads-b信息的多航空器检测与跟踪方法 |
| CN112861976A (zh) * | 2021-02-11 | 2021-05-28 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
| CN113298142A (zh) * | 2021-05-24 | 2021-08-24 | 南京邮电大学 | 一种基于深度时空孪生网络的目标跟踪方法 |
| CN113742525A (zh) * | 2021-08-16 | 2021-12-03 | 上海明略人工智能(集团)有限公司 | 自监督视频哈希学习方法、系统、电子设备及存储介质 |
| CN116665133A (zh) * | 2023-07-24 | 2023-08-29 | 山东科技大学 | 基于三元组网络的安全帽检测跟踪方法、设备及存储介质 |
| CN118093659A (zh) * | 2024-04-23 | 2024-05-28 | 天津南大通用数据技术股份有限公司 | 基于三输入网络与制高点树的数据库高维数据查询方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| CN106203350A (zh) * | 2016-07-12 | 2016-12-07 | 北京邮电大学 | 一种运动目标跨尺度跟踪方法和装置 |
| US20170293838A1 (en) * | 2016-04-06 | 2017-10-12 | Nec Laboratories America, Inc. | Deep high-order exemplar learning for hashing and fast information retrieval |
| CN107885764A (zh) * | 2017-09-21 | 2018-04-06 | 银江股份有限公司 | 基于多任务深度学习快速哈希车辆检索方法 |
| US20190161104A1 (en) * | 2017-11-28 | 2019-05-30 | Ansaldo Sts | Method, system and apparatus for controlling a vehicle |
-
2019
- 2019-07-02 CN CN201910591870.3A patent/CN110298404B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| US20170293838A1 (en) * | 2016-04-06 | 2017-10-12 | Nec Laboratories America, Inc. | Deep high-order exemplar learning for hashing and fast information retrieval |
| CN106203350A (zh) * | 2016-07-12 | 2016-12-07 | 北京邮电大学 | 一种运动目标跨尺度跟踪方法和装置 |
| CN107885764A (zh) * | 2017-09-21 | 2018-04-06 | 银江股份有限公司 | 基于多任务深度学习快速哈希车辆检索方法 |
| US20190161104A1 (en) * | 2017-11-28 | 2019-05-30 | Ansaldo Sts | Method, system and apparatus for controlling a vehicle |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN110942471A (zh) * | 2019-10-30 | 2020-03-31 | 电子科技大学 | 一种基于时空约束的长时目标跟踪方法 |
| CN110942471B (zh) * | 2019-10-30 | 2022-07-01 | 电子科技大学 | 一种基于时空约束的长时目标跟踪方法 |
| CN110796679B (zh) * | 2019-10-30 | 2023-04-07 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN112308106A (zh) * | 2019-11-15 | 2021-02-02 | 北京京邦达贸易有限公司 | 一种图像标注的方法及系统 |
| CN111192291A (zh) * | 2019-12-06 | 2020-05-22 | 东南大学 | 一种基于级联回归与孪生网络的目标跟踪方法 |
| CN111192291B (zh) * | 2019-12-06 | 2022-11-11 | 东南大学 | 一种基于级联回归与孪生网络的目标跟踪方法 |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN111275736A (zh) * | 2020-01-07 | 2020-06-12 | 中国科学院大学 | 一种基于目标场景一致性的无人机视频多目标跟踪方法 |
| CN111354019B (zh) * | 2020-03-31 | 2024-01-26 | 中国人民解放军军事科学院军事医学研究院 | 一种基于神经网络的视觉跟踪失效检测系统及其训练方法 |
| CN111354019A (zh) * | 2020-03-31 | 2020-06-30 | 中国人民解放军军事科学院军事医学研究院 | 一种基于神经网络的视觉跟踪失效检测系统及其训练方法 |
| CN111640138B (zh) * | 2020-05-28 | 2023-10-27 | 济南博观智能科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111640138A (zh) * | 2020-05-28 | 2020-09-08 | 济南博观智能科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
| CN111696136B (zh) * | 2020-06-09 | 2023-06-16 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
| CN111814604A (zh) * | 2020-06-23 | 2020-10-23 | 浙江理工大学 | 一种基于孪生神经网络的行人跟踪方法 |
| CN111915650B (zh) * | 2020-07-30 | 2023-08-11 | 齐鲁工业大学 | 基于改进孪生网络的目标跟踪方法及系统 |
| CN111915650A (zh) * | 2020-07-30 | 2020-11-10 | 齐鲁工业大学 | 基于改进孪生网络的目标跟踪方法及系统 |
| CN112037269A (zh) * | 2020-08-24 | 2020-12-04 | 大连理工大学 | 一种基于多域协同特征表达的视觉运动目标跟踪方法 |
| CN112101344A (zh) * | 2020-08-25 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种视频文本跟踪方法及装置 |
| CN112488061A (zh) * | 2020-12-18 | 2021-03-12 | 电子科技大学 | 一种联合ads-b信息的多航空器检测与跟踪方法 |
| CN112861976A (zh) * | 2021-02-11 | 2021-05-28 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
| CN112861976B (zh) * | 2021-02-11 | 2024-01-12 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
| CN113298142A (zh) * | 2021-05-24 | 2021-08-24 | 南京邮电大学 | 一种基于深度时空孪生网络的目标跟踪方法 |
| CN113298142B (zh) * | 2021-05-24 | 2023-11-17 | 南京邮电大学 | 一种基于深度时空孪生网络的目标跟踪方法 |
| CN113742525A (zh) * | 2021-08-16 | 2021-12-03 | 上海明略人工智能(集团)有限公司 | 自监督视频哈希学习方法、系统、电子设备及存储介质 |
| CN116665133A (zh) * | 2023-07-24 | 2023-08-29 | 山东科技大学 | 基于三元组网络的安全帽检测跟踪方法、设备及存储介质 |
| CN116665133B (zh) * | 2023-07-24 | 2023-10-13 | 山东科技大学 | 基于三元组网络的安全帽检测跟踪方法、设备及存储介质 |
| CN118093659A (zh) * | 2024-04-23 | 2024-05-28 | 天津南大通用数据技术股份有限公司 | 基于三输入网络与制高点树的数据库高维数据查询方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110298404B (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298404A (zh) | 一种基于三重孪生哈希网络学习的目标跟踪方法 | |
| Li et al. | Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| CN108764308A (zh) | 一种基于卷积循环网络的行人重识别方法 | |
| CN113221625B (zh) | 一种利用深度学习的局部特征对齐行人重识别方法 | |
| Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
| CN107688830B (zh) | 一种用于案件串并的现勘视觉信息关联图层生成方法 | |
| CN112199983A (zh) | 一种多层次筛选的长时间大范围行人再识别方法 | |
| CN113850189B (zh) | 一种应用于机动平台的嵌入式孪生网络实时跟踪方法 | |
| CN108520203A (zh) | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN103793922A (zh) | 一种特定姿态实时检测方法 | |
| CN112270286A (zh) | 一种抗阴影干扰的单色视频目标跟踪方法 | |
| CN112084895A (zh) | 一种基于深度学习的行人重识别方法 | |
| Wang et al. | Air quality classification and measurement based on double output vision transformer | |
| Jiang et al. | Dense high-resolution Siamese network for weakly-supervised change detection | |
| CN110688512A (zh) | 基于ptgan区域差距与深度神经网络的行人图像搜索算法 | |
| Leyva-Vallina et al. | Place recognition in gardens by learning visual representations: data set and benchmark analysis | |
| Xu et al. | Accurate and rapid localization of tea bud leaf picking point based on YOLOv8 | |
| CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
| CN115019342B (zh) | 一种基于类关系推理的濒危动物目标检测方法 | |
| CN114743045B (zh) | 一种基于双分支区域建议网络的小样本目标检测方法 | |
| Sinha et al. | Image retrieval using landmark indexing for indoor navigation | |
| CN116309715A (zh) | 多目标检测与跟踪方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201229 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |