CN108257158B - 一种基于循环神经网络的目标预测与跟踪方法 - Google Patents
一种基于循环神经网络的目标预测与跟踪方法 Download PDFInfo
- Publication number
- CN108257158B CN108257158B CN201810255863.1A CN201810255863A CN108257158B CN 108257158 B CN108257158 B CN 108257158B CN 201810255863 A CN201810255863 A CN 201810255863A CN 108257158 B CN108257158 B CN 108257158B
- Authority
- CN
- China
- Prior art keywords
- layer
- net
- target
- frame
- multiplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 39
- 238000010606 normalization Methods 0.000 claims description 32
- 238000011176 pooling Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 241000282414 Homo sapiens Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于循环神经网络的目标预测与跟踪方法，首先根据当前视频帧提取特征信息，采用SFE‑Net+模型的单支网络得到1000维特征，将其输入到运动模型SM‑Net中，其次，时序结构的SM‑Net结合特征信息和上一帧目标所在的中心位置预测出目标在当前帧中的中心位置，然后采用随机采样方式在中心位置周围选取一定数量的候选框，最后输入到匹配模型SMT‑Net中与第一帧目标框逐个进行相似性判定，选取相似度最高的候选框，其在原始图像中所占的区域即为当前帧目标最终所在的区域。本发明可以在复杂情形下对物体进行跟踪。
Description
技术领域
本发明涉及视觉跟踪领域，特别是一种基于循环神经网络的目标预测与跟踪方法。
背景技术
视觉目标跟踪的核心任务是预测目标的运动轨迹，提取目标区域的有效特征，建立合适的匹配函数，完成视频序列中目标状态信息的捕捉。在医疗诊断方面，采用目标跟踪可以有效地分析器官、细胞的运动，为医生提供了辅助诊断信息；在智能交通方面，跟踪技术可以为车流量统计、行人违规行为检测、车辆超速监测、交通拥堵分析等提供有力的技术支持；在人机交互方面，跟踪技术为人类提供了一种新的与电脑非接触、灵活的交互方式，例如通过捕捉手势的运动轨迹进而识别以产生输入信息；在自动驾驶方面，视觉跟踪是主动安全驾驶中重要的一环，检测并跟踪当前行车前方的行人、车辆和动物等，通过实时收集与目标之间的距离信息控制制动装置以实现车辆在安全行车范围，可以减少事故发生概率。目标跟踪技术诞生于上世纪50年代，经过不断发展，逐步形成了基于概率模型和基于检测等两大目标跟踪方法。
基于概率模型的跟踪方法主要任务是学习目标的运动规律，根据运动特点建立数学模型并在实际数据上进行优化，最终完成视频序列中目标的位置预测，典型方法有粒子滤波、均值漂移等，该类方法运算速度快，在目标运动状态稳定且符合某种分布时跟踪性能显著，但目前仍无法有效地应对非特定目标的复杂运动，易受相似目标的干扰。
基于检测的跟踪方法得益于机器学习方法的不断成熟和应用，主要思想是将目标与背景当作两类对象区分，在有效范围内采用目标检测的方法选取相似度最高的区域。此类方法的主要工作在特征选取和匹配函数的设计上，常见的特征包括局部二值模式特征、方向梯度直方图以及目前流行的卷积特征，匹配函数主要有支持向量机分类器、基于深度学习的分类、聚类方法等。这类方法能有效克服复杂背景的干扰以应对目标形变、遮挡等问题，但无法有效解决快速运动问题且算法效率较低。
上述方法已经应用到了一些特定场景并取得了不错的跟踪效果。但是，当面临的跟踪任务包括各类复杂情况且相互作用时，例如存在形变、姿态变化、复杂运动等目标内在变化和光照变化、遮挡、背景杂乱等外在变化时，现有的方法还无法完全应对。
因此，本专利基于上述分析，构造一种基于循环神经网络的目标预测与跟踪方法，能够在复杂情形下良好地进行检测。
发明内容
有鉴于此，本发明的目的是提出一种基于循环神经网络的目标预测与跟踪方法，能够对复杂情形下的物体进行跟踪。
本发明采用以下方案实现：一种基于循环神经网络的目标预测与跟踪方法，具体包括以下步骤：
步骤S1：将当前帧输入特征提取模型SFE-Net+的单支网络获取深度特征；
步骤S2：将步骤S1获得的深度特征以及上一帧目标的中心位置输入运动模型SM-Net中，预测目标在当前帧中的中心位置，随机采样所述中心位置周围的候选框；
步骤S3：将步骤S2获得的候选框以及第一帧目标框输入匹配模型中逐一进行相似性判定，选取最高相似度的候选框，获得当前帧目标的最终位置区域。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：构建特征提取模型SFE-Net+；
步骤S12：将当前帧输入所述特征提取模型SFE-Net+的单支网络中，获得1000维特征。
进一步地，所述特征提取模型SFE-Net+的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第四层也为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、以及第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，用于防止梯度消失，加快网络训练深度，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个。
进一步地，步骤S2具体包括以下步骤：
步骤S21：构建运动模型SM-Net；
步骤S22：将步骤S12得到的1000维特征和上一帧目标的中心位置输入运动模型SM-Net中预测当前帧中目标的中心位置，用随机采样的方法在该中心位置周围获取设定数量的候选样本框。
进一步地，所述运动模型SM-Net的结构为：共设置20个LSTM单元，每个LSTM单元均包含一个基础记忆单元；每个LSTM单元均输出关于目标中心位置的预测和隐藏层信息。
进一步地，步骤S3具体包括以下步骤：
步骤S31：构建匹配模型SMT-Net；
步骤S32：将获得的候选框与第一帧目标框输入所述匹配模型SMT-Net中逐一进行相似性判定，选取最高相似度候选框，其在原始图像中所占的区域即为当前帧目标最终所在的区域。
进一步地，所述匹配模型的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第四层为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，用于防止梯度消失，加快网络训练深度，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个；
第九层为L1度量层，用以计算两个分支网络在第八层的特征单元之间的距离，其中计算采用下式：
dis＝|net1,fc-net2,fc|；
其中，net1,fc与net2,fc分别表示孪生网络的第一个分支网络和第二个分支网络分别得到的特征向量；
第十层为全连接层，将1000个特征单元映射为1个单元，判定两个输入是否为同一个类别，相同为1，不同则为0；
在所述匹配模型中，进行训练时采用以下的损失函数：
其中，N表示网络每次训练的样本数量，y表示两个输入样本间的标签。
与现有技术相比，本发明有以下有益效果：本发明提出了一种基于循环神经网络的目标预测与跟踪方法，采用SFE-Net+特征提取模型提取视频帧特征与上一帧中目标的中心坐标联合输入到LSTM模块(运动模型SM-Net)中进行学习，预测出当前帧目标的中心坐标，将其结合匹配模型SMT-Net进行匹配得到目标最终所在区域实现目标定位，该方法在快速运动、形变和遮挡这三种情况下具有良好的跟踪效果。
附图说明
图1为本发明方法流程示意图。
图2为本发明实施例中特征提取模型SFE-Net+和匹配模型SMT-Net的结构图。
图3为本发明实施例中运动模型SM-Net的网络结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1、图2以及图3所示，本实施例提供了一种基于循环神经网络的目标预测与跟踪方法，具体包括以下步骤：
步骤S1：将当前帧输入特征提取模型SFE-Net+的单支网络获取深度特征；
步骤S2：将步骤S1获得的深度特征以及上一帧目标的中心位置输入运动模型SM-Net中，预测目标在当前帧中的中心位置，随机采样所述中心位置周围的候选框；
步骤S3：将步骤S2获得的候选框以及第一帧目标框输入匹配模型中逐一进行相似性判定，选取最高相似度的候选框，获得当前帧目标的最终位置区域。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：构建特征提取模型SFE-Net+；
步骤S12：将当前帧输入所述特征提取模型SFE-Net+的单支网络中，获得1000维特征。
在本实施例中，所述特征提取模型SFE-Net+的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第四层也为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、以及第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，用于防止梯度消失，加快网络训练深度，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个。
在本实施例中，步骤S2具体包括以下步骤：
步骤S21：构建运动模型SM-Net；
步骤S22：将步骤S12得到的1000维特征和上一帧目标的中心位置输入运动模型SM-Net中预测当前帧中目标的中心位置，用随机采样的方法在该中心位置周围获取设定数量的候选样本框。
在本实施例中，所述运动模型SM-Net的结构为：共设置20个LSTM单元，每个LSTM单元均包含一个基础记忆单元；每个LSTM单元均输出关于目标中心位置的预测和隐藏层信息。
在本实施例中，步骤S3具体包括以下步骤：
步骤S31：构建匹配模型SMT-Net；
步骤S32：将获得的候选框与第一帧目标框输入所述匹配模型SMT-Net中逐一进行相似性判定，选取最高相似度候选框，其在原始图像中所占的区域即为当前帧目标最终所在的区域。
在本实施例中，所述匹配模型的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化，用于防止梯度消失，加快网络训练深度；
第四层为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，用于防止梯度消失，加快网络训练深度，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个；
第九层为L1度量层，用以计算两个分支网络在第八层的特征单元之间的距离，其中计算采用下式：
dis＝|net1,fc-net2,fc|；
其中，net1,fc与net2,fc分别表示孪生网络的第一个分支网络和第二个分支网络分别得到的特征向量；
第十层为全连接层，将1000个特征单元映射为1个单元，判定两个输入是否为同一个类别，相同为1，不同则为0；
在所述匹配模型中，进行训练时采用以下的损失函数：
其中，N表示网络每次训练的样本数量，y表示两个输入样本间的标签。
特别的，在本实施例中，以遮挡人脸检测为例，根据以上方法给出实例，具体包括以下步骤：
步骤1：将人脸当前帧输入特征提取模型SFE-Net+的单支网络获取特征，具体步骤如下：
步骤11：构建特征提取模型SFE-Net+。
特征提取模型SFE-Net+结构如下：
第一层为卷积层，获取低层特征；卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization，用于防止梯度消失，加快网络训练深度。
第二层为最大池化层，用于降低特征维度，防止模型过拟合；池化层尺寸为3×3，步长为2。
第三层为卷积层，获取抽象特征，卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization，用于防止梯度消失，加快网络训练深度。
第四层为最大池化层，用于降低特征维度；池化层尺寸为3×3，步长为2。
第五、六、七层均为卷积层，获取抽象特征，卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出都需要进行batch normalization正则化，第七层没有正则化操作。
第八层为全连接层，输出单元为1000个。
步骤12：把人脸当前帧输入特征提取模型SFE-Net+的单支中，获得1000维特征；
步骤2：将步骤1获得的特征及上一帧中人脸的中心位置输入运动模型SM-Net中，预测当前帧中人脸的中心位置，随机采样其周围的候选框。具体步骤如下：
步骤21：构建运动模型SM-Net。
运动模型SM-Net结构如下：
网络一共设置了20个LSTM单元，每个LSTM单元均含一个基础的记忆单元。每个LSTM网络输出关于人脸中心位置的预测和隐藏层信息。
步骤22：将当前带有人脸的视频帧的1000维特征和上一帧中人脸的中心位置输入运动模型SM-Net中预测当前帧中人脸的中心位置，用随机采样的方法在其中心位置周围获取一定数量样本框。
步骤3：将步骤2获得的候选框与第一帧人脸所在区域输入匹配模型中逐一进行相似性判定，选取最高相似度候选框，获得当前帧人脸最终所在的区域。具体步骤如下：
步骤31：构建匹配模型SMT-Net。
匹配模型SMT-Net结构如下：
第一层为卷积层，获取低层特征；卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization，用于防止梯度消失，加快网络训练深度。
第二层为最大池化层，用于降低特征维度，防止模型过拟合；池化层尺寸为3×3，步长为2。
第三层为卷积层，获取抽象特征，卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization，用于防止梯度消失，加快网络训练深度。
第四层为最大池化层，用于降低特征维度；池化层尺寸为3×3，步长为2。
第五、六、七层均为卷积层，获取抽象特征，卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出都需要进行batch normalization正则化，第七层没有正则化操作。
第八层为全连接层，输出单元为1000个。
第九层为L1度量层，计算两个分支网络在第八层的特征单元之间的距离：
dis＝|net1,fc-net2,fc|；
第十层为全连接层，将1000个特征单元映射为1个单元，判定两个输入是否为同一个类别，相同为1，不同则为0。
损失层采用对比损失函数(Contrastive Loss)进行训练：
步骤32：将获得的关于人脸的候选样本框集与第一帧中人脸所在区域输入匹配模型中逐一进行相似性判定，选取最高相似度候选框，获得当前帧中人脸最终所在的区域。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (1)
1.一种基于循环神经网络的目标预测与跟踪方法，其特征在于：包括以下步骤：
步骤S1：将当前帧输入特征提取模型SFE-Net+的单支网络获取深度特征；
步骤S2：将步骤S1获得的深度特征以及上一帧目标的中心位置输入运动模型SM-Net中，预测目标在当前帧中的中心位置，随机采样所述中心位置周围的候选框；
步骤S3：将步骤S2获得的候选框以及第一帧目标框输入匹配模型中逐一进行相似性判定，选取最高相似度的候选框，获得当前帧目标的最终位置区域；
所述步骤S1具体包括以下步骤：
步骤S11：构建特征提取模型SFE-Net+；
步骤S12：将当前帧输入所述特征提取模型SFE-Net+的单支网络中，获得1000维特征；
所述特征提取模型SFE-Net+的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化；
第四层也为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、以及第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个；
步骤S2具体包括以下步骤：
步骤S21：构建运动模型SM-Net；
步骤S22：将步骤S12得到的1000维特征和上一帧目标的中心位置输入运动模型SM-Net中预测当前帧中目标的中心位置，用随机采样的方法在该中心位置周围获取设定数量的候选样本框；
所述运动模型SM-Net的结构为：共设置20个LSTM单元，每个LSTM单元均包含一个基础记忆单元；每个LSTM单元均输出关于目标中心位置的预测和隐藏层信息；
步骤S3具体包括以下步骤：
步骤S31：构建匹配模型SMT-Net；
步骤S32：将获得的候选框与第一帧目标框输入所述匹配模型SMT-Net中逐一进行相似性判定，选取最高相似度候选框，其在原始图像中所占的区域即为当前帧目标最终所在的区域；
所述匹配模型的结构如下：
第一层为卷积层，用以获取低层特征；该层的卷积核尺寸为11×11，卷积核个数为96，步长为2；输出经过正则化函数Batch Normalization正则化；
第二层为最大池化层，用以降低特征维度，防止模型过拟合；该层的池化层尺寸为3×3，步长为2；
第三层为卷积层，用以获取抽象特征，该层的卷积核尺寸为5×5，卷积核个数为256，步长为1；输出经过正则化函数Batch Normalization正则化；
第四层为最大池化层，用以降低特征维度；该层的池化层尺寸为3×3，步长为2；
第五层、第六层、第七层均为卷积层，用以获取抽象特征，这三层的卷积核尺寸均为3×3，卷积核个数分别为192、192和128，第五层和第六层输出通过正则化函数batchnormalization正则化，第七层没有正则化操作；
第八层为全连接层，输出单元为1000个；
第九层为L1度量层，用以计算两个分支网络在第八层的特征单元之间的距离，其中计算采用下式：
dis＝|net1,fc-net2,fc|；
其中，net1,fc与net2,fc分别表示孪生网络的第一个分支网络和第二个分支网络分别得到的特征向量；
第十层为全连接层，将1000个特征单元映射为1个单元，判定两个输入是否为同一个类别，相同为1，不同则为0；
在所述匹配模型中，进行训练时采用以下的损失函数：
其中，N表示网络每次训练的样本数量，y表示两个输入样本间的标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810255863.1A CN108257158B (zh) | 2018-03-27 | 2018-03-27 | 一种基于循环神经网络的目标预测与跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810255863.1A CN108257158B (zh) | 2018-03-27 | 2018-03-27 | 一种基于循环神经网络的目标预测与跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108257158A CN108257158A (zh) | 2018-07-06 |
| CN108257158B true CN108257158B (zh) | 2021-11-30 |
Family
ID=62746310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810255863.1A Expired - Fee Related CN108257158B (zh) | 2018-03-27 | 2018-03-27 | 一种基于循环神经网络的目标预测与跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108257158B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191491B (zh) * | 2018-08-03 | 2020-09-08 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109325967B (zh) * | 2018-09-14 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、介质以及设备 |
| CN110972346B (zh) * | 2018-09-30 | 2021-06-04 | 珠海格力电器股份有限公司 | 数据处理方法及装置 |
| CN111127510B (zh) * | 2018-11-01 | 2023-10-27 | 杭州海康威视数字技术股份有限公司 | 一种目标对象位置的预测方法及装置 |
| CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
| CN110110649B (zh) * | 2019-05-02 | 2023-04-07 | 西安电子科技大学 | 基于速度方向的可选择性人脸检测方法 |
| CN110246160B (zh) * | 2019-06-20 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、设备及介质 |
| CN110287875B (zh) * | 2019-06-25 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、电子设备和存储介质 |
| CN110443829A (zh) * | 2019-08-05 | 2019-11-12 | 北京深醒科技有限公司 | 一种基于运动特征和相似度特征的抗遮挡跟踪算法 |
| CN110648531B (zh) * | 2019-09-19 | 2020-12-04 | 军事科学院系统工程研究院网络信息研究所 | 一种车载自组织网络中基于深度学习的节点移动性预测方法 |
| CN110706222B (zh) * | 2019-09-30 | 2022-04-12 | 杭州依图医疗技术有限公司 | 一种检测影像中骨骼区域的方法及装置 |
| CN110969112B (zh) * | 2019-11-28 | 2022-08-16 | 福州大学 | 跨摄像头场景下行人身份对齐方法 |
| CN112070036A (zh) * | 2020-09-11 | 2020-12-11 | 联通物联网有限责任公司 | 基于多帧图片的目标检测方法、装置及存储介质 |
| CN113240709B (zh) * | 2021-04-23 | 2022-05-20 | 中国人民解放军32802部队 | 基于对比学习的孪生网络目标跟踪方法 |
| CN114219828A (zh) * | 2021-11-03 | 2022-03-22 | 浙江大华技术股份有限公司 | 一种基于视频的目标关联方法、装置和可读存储介质 |
| CN114092743B (zh) * | 2021-11-24 | 2022-07-26 | 开普云信息科技股份有限公司 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
| CN114972415B (zh) * | 2021-12-28 | 2023-03-28 | 广东东软学院 | 机器人视觉跟踪方法、系统、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982559A (zh) * | 2012-11-28 | 2013-03-20 | 大唐移动通信设备有限公司 | 车辆跟踪方法及系统 |
| CN105844669A (zh) * | 2016-03-28 | 2016-08-10 | 华中科技大学 | 一种基于局部哈希特征的视频目标实时跟踪方法 |
| CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242266B2 (en) * | 2016-03-02 | 2019-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for detecting actions in videos |
-
2018
- 2018-03-27 CN CN201810255863.1A patent/CN108257158B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982559A (zh) * | 2012-11-28 | 2013-03-20 | 大唐移动通信设备有限公司 | 车辆跟踪方法及系统 |
| CN105844669A (zh) * | 2016-03-28 | 2016-08-10 | 华中科技大学 | 一种基于局部哈希特征的视频目标实时跟踪方法 |
| CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| Siamese Instance Search for Tracking;Ran Tao et al.;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;1420-1430 * |
| 基于深度学习的视频跟踪技术研究;覃亦华;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315;I138-1421 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108257158A (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108257158B (zh) | 一种基于循环神经网络的目标预测与跟踪方法 | |
| Chen et al. | Pothole detection using location-aware convolutional neural networks | |
| Alani et al. | Hand gesture recognition using an adapted convolutional neural network with data augmentation | |
| WO2021103868A1 (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| Tian et al. | A dual neural network for object detection in UAV images | |
| CN107748873B (zh) | 一种融合背景信息的多峰目标跟踪方法 | |
| CN108416780B (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| Zhuang et al. | Real‐time vehicle detection with foreground‐based cascade classifier | |
| CN108520203B (zh) | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 | |
| CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
| CN110097028B (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| KR102132407B1 (ko) | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 | |
| US11420623B2 (en) | Systems for determining object importance in on-road driving scenarios and methods thereof | |
| Haider et al. | Human detection in aerial thermal imaging using a fully convolutional regression network | |
| CN114202743A (zh) | 自动驾驶场景下基于改进faster-RCNN的小目标检测方法 | |
| CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| Li et al. | Multi-view vehicle detection based on fusion part model with active learning | |
| Nayan et al. | Real time detection of small objects | |
| Tao et al. | An adaptive frame selection network with enhanced dilated convolution for video smoke recognition | |
| Borhade et al. | Advanced driver assistance system | |
| Yuan et al. | A multi‐scale feature representation and interaction network for underwater object detection | |
| Yamamoto et al. | Nighttime Traffic Sign and Pedestrian Detection Using RefineDet with Time‐Series Information | |
| CN116152754A (zh) | 一种基于dcnn的高速公路事故判别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211130 |