CN108898620A - 基于多重孪生神经网络与区域神经网络的目标跟踪方法 - Google Patents
基于多重孪生神经网络与区域神经网络的目标跟踪方法 Download PDFInfo
- Publication number
- CN108898620A CN108898620A CN201810619827.9A CN201810619827A CN108898620A CN 108898620 A CN108898620 A CN 108898620A CN 201810619827 A CN201810619827 A CN 201810619827A CN 108898620 A CN108898620 A CN 108898620A
- Authority
- CN
- China
- Prior art keywords
- target
- neural network
- multiple twin
- regional
- twin neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 64
- 210000005036 nerve Anatomy 0.000 title abstract 5
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001251765 Progne Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
基于多重孪生神经网络与区域神经网络的目标跟踪方法，涉及计算机视觉技术。通过使用预训练的多重孪生神经网络，将目标跟踪问题转化为可更新的实例检索问题。同时采用预训练的区域神经网络，以解决目标丢失后的重检测问题。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪的。
Description
技术领域
本发明涉及计算机视觉技术，尤其是涉及基于多重孪生神经网络与区域神经网络的目标跟踪方法。
背景技术
人类感知世界一个重要来源就通过图像信息，研究表明人类获取外界信息中大约有80％～90％的信息来自于人类眼睛获取的图像信息。目标跟踪是图像信息理解中的一个常见视觉任务。目标跟踪在实际生活中有着丰富的应用，比如可以在用户提供的视频序列中对感兴趣的目标进行实时的跟踪；会议或会场管理人员可以利用来自动化的目标跟踪系统分析会场人员的行动模式从而做出更好的决策。因此，运用计算机视觉实现自动目标跟踪具有重要的现实意义。
目标跟踪是计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展。从经典的均值漂移(Meanshift)、粒子滤波(Particle Filter)跟踪算法，到基于检测(Tracking By Detection)的跟踪算法及相关滤波(Correlation Filter)的跟踪算法，再到最近基于深度学习(Deep Learning)的跟踪算法。最近主要取得的研究进展主要是基于相关滤波的跟踪算法以及基于深度学习的跟踪算法。相关滤波的跟踪算法的雏形于2012年提出，利用傅立叶变换快速实现学习和检测。学习检测过程高效，证明过程完备。利用快速傅立叶变换，CSK方法的跟踪帧率能达到几百帧。随后，提出了基于HOG特征的KCF方法，提出了循环矩阵的求解，解决了密集采样(Dense Sampling)的问题，是现存最典型的相关滤波类方法。后续还有考虑多尺度或颜色特征(Color Naming)的方法以及用深度学习提取的特征结合KCF的方法。从它的发展过程来看，考虑的尺度越来越多，特征信息也更加丰富，计算复杂度越来越高，但总体上说，相关滤波系列的跟踪方法在实时性上优势明显，采用哪种改进版本的方法视具体的应用而定。相关滤波的方法也有一些缺陷，比如目标的快速移动，形状变化大导致更多背景被学习进来等都会对CF系列方法造成影响。基于深度学习的目标跟踪算法，最初是把CNN学习到的特征，应用于相关滤波或Struck的跟踪框架，从而得到更好的跟踪结果。通过卷积网络提取的特征，更优于HOG或CN特征，但同时计算复杂度增加。CNN网络不同层的卷积输出都可以作为跟踪的特征，对于如何有效地利用深度学习的特征，M.Danelljan也做了大量的工作，提出对背景进行正则化处理的SRDCF。另一种基于深度学习的跟踪算法是通过搭建一个CNN网络结构，选择样本进行离线训练，在线微调网络实现目标跟踪，这类方法主要有MDNET、SANET。这两类方法的跟踪性能都有较大的提升，但由于保欢乐大量的参数都很难达到实时地跟踪效果。
发明内容
本发明的目的在于提供可通过使用预训练的多重孪生神经网络，将目标跟踪问题转化为可更新的实例检索问题，同时采用了预训练的区域神经网络，以解决目标丢失后的重检测问题的基于多重孪生神经网络与区域神经网络的目标跟踪方法。
本发明包括以下步骤：
1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸、目标的原始尺寸Co以及目标的搜索范围Cs；其中，代表一个矩形区域；目标的原始尺寸Co和目标的搜索范围Cs将作为多重孪生神经网络的输入，用于进行基于实例检索的目标跟踪，原始输入图像帧的尺寸Cf，将作为区域神经网络的输入，用于进行实现丢失目标的重检测；
2)基于步骤1)中定义的图像帧的尺寸Cf、目标的原始尺寸Co以及目标的搜索范围Cs，多重孪生神经网络有三个输入，分别为第一帧目标、当前面目标模板和当前帧搜索范围，分别将第一帧目标以及面目标模板输入尺寸定义为Co，当前帧搜索范围输入尺寸定义为Cs；
所述多重孪生神经网络使用视觉识别数据集ILSVRC_DET进行预训练，ILSVRC_DET数据集包含45万张图片，总共拥有30个类别，该数据集中的45万张图片被标记有类别信息与目标位置，多重孪生神经网络用于目标检索，第一个卷积层拥有96个11×11×3的卷积核，并输出96个原始图像的特征图，之后采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的，所述多重孪生神经网络采用实例检索的方法进行目标跟踪并采用全卷积结构和多分支并行结构，因此，用多重孪生神经网络进行目标跟踪比起一般的基于神经网络的目标跟踪方法有更好地实时性和分辨度，训练过程中采用的损失函数l为：
l(y,v)＝log(1+exp(-yv)) (1)
其中，y被称为目标标注，每一帧对应了一个目标标注，采用目标分割的方法进行目标标注，v代表一对样本之间的相似分数；
3)把步骤1)中定义的原始输入图像帧的尺寸Cf用于定义区域神经网络的输入尺寸，区域神经网络有且仅有一个输入并在仅在目标丢失的情况下使用，区域神经网络使用视觉识别数据集ILSVRC中常见得20个目标种类进行预训练，用于对丢失的目标进行重检测；
4)将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj；
5)对步骤4)中得到的候选目标进行互相关操作，同时判断多重孪生神经网络是否丢失目标，当所用的搜索帧与候选目标之间的差距过大时，判断为目标丢失；
6)根据步骤5)中得到的结果进行选择，若目标丢失，则通过区域神经网络进行重检测重新获取目标；若目标并未丢失，则直接通过计算获取最佳候选目标，实现目标跟踪。
在步骤2)中，所述多重孪生神经网络及其输入尺寸可包括以下子步骤：
(1)当目标图像不为Co时，对应的图像将缩放或扩大为Co。
(2)原始图像不可过小；
(3)发明所设计的深度神经网络中的最大池化层使用3*3的区域；
(4)发明所设计的深度神经网络总共拥有五个卷积层与两个池化层以及一个互相关层。
在步骤3)中，所述区域神经网络可包括以下子步骤：
(1)所设计的区域神经网络能够重检测常用的20类目标；
(2)所设计的区域神经网络在需要的时候可以重新训练从而实现更多目标的重检测。
在步骤4)中，所述将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj的具体方法可为：将步骤2)中多重孪生神经网络应用于实例检索，同时将产生的分数图转化到实数域产生新的独立损失函数L，来输出候选结果Cj(1≤j≤2)：
其中，u为分数图在实数域D中的结果，每一个目标标注y对应一个实数域结果。
在步骤5)中，所述互相关操作可包括以下子步骤：
(1)所使用的互相关算法为卷积算法；
(2)所使用的对两对候选目标采用分别判别的方式。
在步骤6)中，所述目标跟踪方法可包括以下子步骤：
(1)所使用的实例检索方法有三个尺度，基于原始输入目标大小进行变换；
(2)所使用的判断阈值的设置应该适当。
本发明通过使用预训练的多重孪生神经网络，将目标跟踪问题转化为可更新的实例检索问题。本发明同时采用了预训练的区域神经网络，以解决目标丢失后的重检测问题。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪。
本发明首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索，然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测，进一步辅助获取最终目标的位置，实现实时的目标跟踪的。
附图说明
图1为本发明实施例的整体网络结构示意图。
图2为本发明实施例的目标跟踪结果示意图。在图2中：
CF2对应为Chao Ma等人提出的方法(Chao Ma,Jia-Bin Huang,Xiaokang Yangand Ming-Hsuan Yang."Hierarchical Convolutional Features for VisualTracking."in Proc.IEEE Int.Conf.Comput.Vis.(ICCV),2015,pp.3074-3082.)；
SINT对应为Ran Tao等人提出的方法(Ran Tao,Efstratios Gavves,ArnoldW.M.Smeulders."Siamese Instance Search for Tracking."in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),2016,pp.1420–1429.)；
SRDCF对应为M.Danelljan等人提出的方法(M.Danelljan,G.Hager,F.S.Khan,andM.Felsberg,“Learning spatially regularized correlation filters for visualtracking,”in Proc.IEEE Int.Conf.Comput.Vis.(ICCV),2015,pp.4310–4318.)；
SiamFC对应为Luca Bertinetto等人提出的方法(Luca Bertinetto,JackValmadre, F.Henriques,Andrea Vedaldi,Philip H.S.Torr.“Fully-ConvolutionalSiamese Networks for Object Tracking.”in Proc.Eur.Comput.Vis.Conf.(ECCV)Workshops,2016,pp.850–865.)；
Staple对应为Luca Bertinetto等人提出的方法(Luca Bertinetto,JackValmadre,Stuart Golodetz,Ondrej Miksik,Philip H.S.Torr.“Staple:ComplementaryLearners for Real-Time Tracking.”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.(CVPR),2016,pp.1401-1409.)；
KCF对应为J.F.Henriques等人提出的方法(J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,“High-speed tracking with kernelized correlationfilters,”IEEE Trans.Pattern Anal.Mach.Intell.(TPAMI),vol.37,no.3,pp.583–596,2015.)。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明。
参见图1，本发明实施例的实施方式包括以下步骤：
1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸Cf(其中代表一个矩形区域)，目标的原始尺寸Co，以及目标的搜索范围Cs。其中目标的原始尺寸Co，以及目标的搜索范围Cs将作为多重孪生神经网络的输入，用于进行基于实例检索的目标跟踪。原始输入图像帧的尺寸Cf，将作为区域神经网络的输入，用于进行实现丢失目标的重检测。
2)基于步骤1)中定义的图像帧的尺寸Cf，目标的原始尺寸Co，以及目标的搜索范围Cs，多重孪生神经网络有三个输入，分别为第一帧目标，当前面目标模板，当前帧搜索范围，分别将第一帧目标以及面目标模板输入尺寸定义为Co，当前帧搜索范围输入尺寸定义为Cs。
该神经网络使用大型视觉识别数据集ILSVRC_DET进行预训练。ILSVRC_DET数据集包含45万张图片，总共拥有30个类别，该数据集中的45万张图片被标记有类别信息与目标位置。多重孪生神经网络用于目标检索，第一个卷积层拥有96个11×11×3的卷积核，并输出96个原始图像的特征图，之后采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的。该神经网络采用实例检索的方法进行目标跟踪并采用全卷积结构和多分支并行结构，因此，用该网络进行目标跟踪比起一般的基于神经网络的目标跟踪方法有更好的实时性和分辨度。训练过程中采用的损失函数l为
l(y,v)＝log(1+exp(-yv)) (1)
其中，y被称为目标标注，每一帧对应了一个目标标注，采用目标分割的方法进行目标标注，v代表一对样本之间的相似分数。
3)把步骤1)中定义的原始输入图像帧的尺寸Cf用于定义区域神经网络的输入尺寸，区域神经网络有且仅有一个输入并在仅在目标丢失的情况下使用，该神经网络使用大型视觉识别数据集ILSVRC中常见得20个目标种类进行预训练，用于对丢失的目标进行重检测。
4)将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj。
把步骤2)中多重孪生神经网络应用于实例检索，同时将产生的分数图转化到实数域产生新的独立损失函数L，来输出候选结果Cj(1≤j≤2)：
其中，u为分数图在实数域D中的结果，每一个目标标注对应了一个实数域结果。
5)对步骤4)中得到的候选目标进行互相关操作，同时判断多重孪生神经网络是否丢失目标。当所用的搜索帧与候选目标之间的差距过大时，判断为目标丢失。
6)根据步骤5)中得到的结果进行选择，若目标丢失，则通过区域神经网络进行重检测重新获取目标；若目标并未丢失，则直接通过计算获取最佳候选目标，实现目标跟踪。
在步骤2)中，多重孪生神经网络及其输入尺寸包括以下子步骤：
(1)当目标图像不为Co时，对应的图像将缩放或扩大为Co。
(2)原始图像不可过小。
(3)所设计的深度神经网络中的最大池化层使用3×3的区域。
(4)所设计的深度神经网络总共拥有五个卷积层与两个池化层以及一个互相关层。
在步骤3)中的区域神经网络可包括以下子步骤：
(1)所设计的区域神经网络能够重检测常用的20类目标。
(2)所设计的区域神经网络在需要的时候可以重新训练从而实现更多目标的重检测。
在步骤5)中，所述互相关操作可包括以下子步骤：
(1)所使用的互相关算法为卷积算法。
(2)所使用的对两对候选目标采用分别判别的方式。
在步骤6)中，所述目标跟踪方法可包括以下子步骤：
(1)所使用的实例检索方法有三个尺度，基于原始输入目标大小进行变换。
(2)所使用的判断阈值的设置应该适当。
针对视频序列使用多重孪生网络与区域神经网络相结合的方法获得视频序列当前帧的目标位置，实现目标跟踪。本发明整体网络结构示意图如图1所示。最终的目标跟踪结果示意图如图2所示。
表1
| 算法 | 精度 | 成功率 | 速度(每秒帧数) |
| 本发明 | 0.892 | 0.670 | 25 |
| CF2(2015) | 0.891 | 0.635 | 9 |
| SINT(2016) | 0.851 | 0.626 | 4 |
| SRDCF(2015) | 0.838 | 0.606 | 5 |
| SiamFC(2016) | 0.801 | 0.605 | 85 |
| Staple(2016) | 0.793 | 0.600 | 80 |
| KCF(2015) | 0.741 | 0.513 | 200 |
本发明与其余算法在CVPR2013数据集上的目标跟踪评价在表1中给出。
Claims (6)
1.基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于包括以下步骤：
1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸、目标的原始尺寸Co以及目标的搜索范围Cs；其中， 代表一个矩形区域；目标的原始尺寸Co和目标的搜索范围Cs将作为多重孪生神经网络的输入，用于进行基于实例检索的目标跟踪，原始输入图像帧的尺寸Cf，将作为区域神经网络的输入，用于进行实现丢失目标的重检测；
2)基于步骤1)中定义的图像帧的尺寸Cf、目标的原始尺寸Co以及目标的搜索范围Cs，多重孪生神经网络有三个输入，分别为第一帧目标、当前面目标模板和当前帧搜索范围，分别将第一帧目标以及面目标模板输入尺寸定义为Co，当前帧搜索范围输入尺寸定义为Cs；
所述多重孪生神经网络使用视觉识别数据集ILSVRC_DET进行预训练，ILSVRC_DET数据集包含45万张图片，总共拥有30个类别，该数据集中的45万张图片被标记有类别信息与目标位置，多重孪生神经网络用于目标检索，第一个卷积层拥有96个11×11×3的卷积核，并输出96个原始图像的特征图，之后采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的，所述多重孪生神经网络采用实例检索的方法进行目标跟踪并采用全卷积结构和多分支并行结构，因此，用多重孪生神经网络进行目标跟踪比起一般的基于神经网络的目标跟踪方法有更好地实时性和分辨度，训练过程中采用的损失函数l为：
l(y,v)＝log(1+exp(-yv))
其中，y被称为目标标注，每一帧对应了一个目标标注，采用目标分割的方法进行目标标注，v代表一对样本之间的相似分数；
3)把步骤1)中定义的原始输入图像帧的尺寸Cf用于定义区域神经网络的输入尺寸，区域神经网络有且仅有一个输入并在仅在目标丢失的情况下使用，区域神经网络使用视觉识别数据集ILSVRC中常见得20个目标种类进行预训练，用于对丢失的目标进行重检测；
4)将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj；
5)对步骤4)中得到的候选目标进行互相关操作，同时判断多重孪生神经网络是否丢失目标，当所用的搜索帧与候选目标之间的差距过大时，判断为目标丢失；
6)根据步骤5)中得到的结果进行选择，若目标丢失，则通过区域神经网络进行重检测重新获取目标；若目标并未丢失，则直接通过计算获取最佳候选目标，实现目标跟踪。
2.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤2)中，所述多重孪生神经网络及其输入尺寸包括以下子步骤：
(1)当目标图像不为Co时，对应的图像将缩放或扩大为Co；
(2)原始图像不可过小；
(3)发明所设计的深度神经网络中的最大池化层使用3×3的区域；
(4)发明所设计的深度神经网络总共拥有五个卷积层与两个池化层以及一个互相关层。
3.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤3)中，所述区域神经网络包括以下子步骤：
(1)所设计的区域神经网络能够重检测常用的20类目标；
(2)所设计的区域神经网络在需要的时候可以重新训练从而实现更多目标的重检测。
4.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤4)中，所述将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj的具体方法为：将步骤2)中多重孪生神经网络应用于实例检索，同时将产生的分数图转化到实数域产生新的独立损失函数L，输出候选结果Cj，其中，1≤j≤2)：
其中，u为分数图在实数域D中的结果，每一个目标标注y对应一个实数域结果。
5.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤5)中，所述互相关操作包括以下子步骤：
(1)所使用的互相关算法为卷积算法；
(2)所使用的对两对候选目标采用分别判别的方式。
6.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤6)中，所述目标跟踪方法包括以下子步骤：
(1)所使用的实例检索方法有三个尺度，基于原始输入目标大小进行变换；
(2)所使用的判断阈值的设置应该适当。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810619827.9A CN108898620B (zh) | 2018-06-14 | 2018-06-14 | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810619827.9A CN108898620B (zh) | 2018-06-14 | 2018-06-14 | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108898620A true CN108898620A (zh) | 2018-11-27 |
| CN108898620B CN108898620B (zh) | 2021-06-18 |
Family
ID=64345227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810619827.9A Active CN108898620B (zh) | 2018-06-14 | 2018-06-14 | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108898620B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948510A (zh) * | 2019-03-14 | 2019-06-28 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
| CN109977913A (zh) * | 2019-04-08 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种目标检测网络训练方法、装置及电子设备 |
| CN110135365A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于幻觉对抗网络的鲁棒目标跟踪方法 |
| CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
| CN110309729A (zh) * | 2019-06-12 | 2019-10-08 | 武汉科技大学 | 基于异常峰值检测和孪生网络的跟踪与重检测方法 |
| CN110570397A (zh) * | 2019-08-13 | 2019-12-13 | 创新奇智(重庆)科技有限公司 | 一种基于深度学习模版匹配算法检测成衣印花缺陷的方法 |
| CN110689556A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 跟踪方法、装置及智能设备 |
| CN110992378A (zh) * | 2019-12-03 | 2020-04-10 | 湖南大学 | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统 |
| CN111275736A (zh) * | 2020-01-07 | 2020-06-12 | 中国科学院大学 | 一种基于目标场景一致性的无人机视频多目标跟踪方法 |
| CN111291679A (zh) * | 2020-02-06 | 2020-06-16 | 厦门大学 | 一种基于孪生网络的目标特定响应注意力目标跟踪方法 |
| CN111339975A (zh) * | 2020-03-03 | 2020-06-26 | 华东理工大学 | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 |
| CN111738063A (zh) * | 2020-05-08 | 2020-10-02 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
| CN111768432A (zh) * | 2020-06-30 | 2020-10-13 | 中国科学院自动化研究所 | 基于孪生深度神经网络的动目标分割方法及系统 |
| CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
| CN113032957A (zh) * | 2021-02-22 | 2021-06-25 | 太原理工大学 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
| CN113130014A (zh) * | 2021-04-23 | 2021-07-16 | 华东交通大学 | 一种基于多分支神经网络的稀土萃取模拟方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469299A (zh) * | 2016-08-31 | 2017-03-01 | 北京邮电大学 | 一种车辆搜索方法及装置 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN107452025A (zh) * | 2017-08-18 | 2017-12-08 | 成都通甲优博科技有限责任公司 | 目标跟踪方法、装置及电子设备 |
| KR20180042011A (ko) * | 2016-10-17 | 2018-04-25 | 한화테크윈 주식회사 | 감시 방법 및 시스템 |
| US20180129934A1 (en) * | 2016-11-07 | 2018-05-10 | Qualcomm Incorporated | Enhanced siamese trackers |
-
2018
- 2018-06-14 CN CN201810619827.9A patent/CN108898620B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469299A (zh) * | 2016-08-31 | 2017-03-01 | 北京邮电大学 | 一种车辆搜索方法及装置 |
| KR20180042011A (ko) * | 2016-10-17 | 2018-04-25 | 한화테크윈 주식회사 | 감시 방법 및 시스템 |
| US20180129934A1 (en) * | 2016-11-07 | 2018-05-10 | Qualcomm Incorporated | Enhanced siamese trackers |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN107452025A (zh) * | 2017-08-18 | 2017-12-08 | 成都通甲优博科技有限责任公司 | 目标跟踪方法、装置及电子设备 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948510A (zh) * | 2019-03-14 | 2019-06-28 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
| CN109948510B (zh) * | 2019-03-14 | 2021-06-11 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
| CN109977913A (zh) * | 2019-04-08 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种目标检测网络训练方法、装置及电子设备 |
| CN109977913B (zh) * | 2019-04-08 | 2021-11-05 | 北京奇艺世纪科技有限公司 | 一种目标检测网络训练方法、装置及电子设备 |
| CN110135365A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于幻觉对抗网络的鲁棒目标跟踪方法 |
| CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
| CN110210551B (zh) * | 2019-05-28 | 2021-07-30 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
| CN110309729A (zh) * | 2019-06-12 | 2019-10-08 | 武汉科技大学 | 基于异常峰值检测和孪生网络的跟踪与重检测方法 |
| CN110570397A (zh) * | 2019-08-13 | 2019-12-13 | 创新奇智(重庆)科技有限公司 | 一种基于深度学习模版匹配算法检测成衣印花缺陷的方法 |
| CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
| CN110689556A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 跟踪方法、装置及智能设备 |
| CN110992378A (zh) * | 2019-12-03 | 2020-04-10 | 湖南大学 | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统 |
| CN111275736A (zh) * | 2020-01-07 | 2020-06-12 | 中国科学院大学 | 一种基于目标场景一致性的无人机视频多目标跟踪方法 |
| CN111291679A (zh) * | 2020-02-06 | 2020-06-16 | 厦门大学 | 一种基于孪生网络的目标特定响应注意力目标跟踪方法 |
| CN111291679B (zh) * | 2020-02-06 | 2022-05-27 | 厦门大学 | 一种基于孪生网络的目标特定响应注意力目标跟踪方法 |
| CN111339975A (zh) * | 2020-03-03 | 2020-06-26 | 华东理工大学 | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 |
| CN111339975B (zh) * | 2020-03-03 | 2023-04-21 | 华东理工大学 | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 |
| CN111738063A (zh) * | 2020-05-08 | 2020-10-02 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
| CN111738063B (zh) * | 2020-05-08 | 2023-04-18 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
| CN111768432A (zh) * | 2020-06-30 | 2020-10-13 | 中国科学院自动化研究所 | 基于孪生深度神经网络的动目标分割方法及系统 |
| CN111768432B (zh) * | 2020-06-30 | 2022-06-10 | 中国科学院自动化研究所 | 基于孪生深度神经网络的动目标分割方法及系统 |
| CN113032957A (zh) * | 2021-02-22 | 2021-06-25 | 太原理工大学 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
| CN113032957B (zh) * | 2021-02-22 | 2022-03-29 | 太原理工大学 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
| CN113130014A (zh) * | 2021-04-23 | 2021-07-16 | 华东交通大学 | 一种基于多分支神经网络的稀土萃取模拟方法及系统 |
| CN113130014B (zh) * | 2021-04-23 | 2023-02-07 | 华东交通大学 | 一种基于多分支神经网络的稀土萃取模拟方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108898620B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898620B (zh) | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 | |
| Hasan et al. | Learning temporal regularity in video sequences | |
| Tsironi et al. | An analysis of convolutional long short-term memory recurrent neural networks for gesture recognition | |
| Zhang et al. | Multimodal learning for facial expression recognition | |
| Munir et al. | Illumination invariant facial expression recognition using selected merged binary patterns for real world images | |
| Bilal et al. | A hybrid method using haar-like and skin-color algorithm for hand posture detection, recognition and tracking | |
| Zhang et al. | BoMW: Bag of manifold words for one-shot learning gesture recognition from kinect | |
| Dai et al. | Tan: Temporal aggregation network for dense multi-label action recognition | |
| Gammulle et al. | Coupled generative adversarial network for continuous fine-grained action segmentation | |
| SS et al. | Feed forward neural network based eye localization and recognition using hough transform | |
| Ayral et al. | Temporal stochastic softmax for 3d cnns: An application in facial expression recognition | |
| CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
| Zhao et al. | Cbph-net: A small object detector for behavior recognition in classroom scenarios | |
| Patil et al. | Performance analysis of static hand gesture recognition approaches using artificial neural network, support vector machine and two stream based transfer learning approach | |
| Shivakumara et al. | Fractional means based method for multi-oriented keyword spotting in video/scene/license plate images | |
| CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
| Tur et al. | Isolated sign recognition with a siamese neural network of RGB and depth streams | |
| CN114743133A (zh) | 一种轻量化的小样本视频分类识别方法及系统 | |
| Mohana et al. | Emotion recognition from facial expression using hybrid CNN–LSTM network | |
| Huang et al. | SVTN: Siamese visual tracking networks with spatially constrained correlation filter and saliency prior context model | |
| Lin et al. | CapsNet meets SIFT: A robust framework for distorted target categorization | |
| Sable et al. | An adaptive entropy based scale invariant face recognition face altered by plastic surgery | |
| Sharrma et al. | Vision based static hand gesture recognition techniques | |
| CN113887509B (zh) | 一种基于图像集合的快速多模态视频人脸识别方法 | |
| Kadhim et al. | Face recognition in multiple variations using deep learning and convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |