CN107633529A - 一种深度卷积神经网单目标跟踪方法、设备及存储设备 - Google Patents

一种深度卷积神经网单目标跟踪方法、设备及存储设备 Download PDF

Info

Publication number
CN107633529A
CN107633529A CN201710814400.XA CN201710814400A CN107633529A CN 107633529 A CN107633529 A CN 107633529A CN 201710814400 A CN201710814400 A CN 201710814400A CN 107633529 A CN107633529 A CN 107633529A
Authority
CN
China
Prior art keywords
convolutional neural
depth convolutional
neural networks
training
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710814400.XA
Other languages
English (en)
Inventor
陈分雄
陶然
陈沁仪
黄华文
刘建林
尹关
唐曜曜
凌承昆
王典洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201710814400.XA priority Critical patent/CN107633529A/zh
Publication of CN107633529A publication Critical patent/CN107633529A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种深度卷积神经网单目标跟踪方法、设备及存储设备，所述方法包括步骤：对深度卷积神经网络进行预训练；训练后得到深度卷积神经网络模型参数；根据模型参数得到训练后的深度卷积神经网络；初始化训练后的深度卷积神经网络模型的末端网络层以突出跟踪目标特征；获取训练后并初始化后的深度卷积神经网络模型；通过高斯分布融合光流特征点来简化跟踪目标；将简化的跟踪目标输入训练后并初始化后的深度卷积神经网络模型得到输出结果；训练回归模型用于修正所述输出结果得到修正结果；使用修正结果更新深度卷积神经网络模型参数,得到最新的深度卷积神经网络模型。本发明在保证跟踪精度优势的情况下获得实用的算法处理速度。

Description

一种深度卷积神经网单目标跟踪方法、设备及存储设备
技术领域
本发明涉及深度学习技术领域，具体涉及一种深度卷积神经网单目标跟踪方法、设备及存储设备。
背景技术
人类对客观世界的感知有70％由视觉获取，使用计算机代替人类对世界进行感知、语义分析和理解是计算机视觉的最终目标。在计算机视觉领域，目标跟踪是关键技术。但是，在视频跟踪过程中目标的形变、尺寸变化、旋转、背景噪声、部分遮挡以及光照变化等使得对目标跟踪的研究仍具有很大的挑战性，这些外在因素影响了图像跟踪的精度。如何在获取较高跟踪精度的同时，还能保持图像的处理速度符合实用要求，就成为本领域亟待解决的问题。
发明内容
为了解决上述问题，本发明提供了一种深度卷积神经网单目标跟踪方法、设备及存储设备，通过将，从而有效解决上述问题。
本发明提供的技术方案是：一种深度卷积神经网单目标跟踪方法，所述方法包括步骤：对深度卷积神经网络进行预训练；训练后得到深度卷积神经网络模型参数；根据模型参数得到训练后的深度卷积神经网络；初始化训练后的深度卷积神经网络模型的末端网络层以突出跟踪目标特征；获取训练后并初始化后的深度卷积神经网络模型；通过高斯分布融合光流特征点来简化跟踪目标；将简化的跟踪目标输入训练后并初始化后的深度卷积神经网络模型得到输出结果；训练回归模型用于修正所述输出结果得到修正结果；使用修正结果更新深度卷积神经网络模型参数,得到最新的深度卷积神经网络模型。
本发明的有益效果是：本发明提供了一种深度卷积神经网单目标跟踪方法、设备及存储设备,通过在CNN模型中加入HM策略与BB回归模型，大幅提升了图像跟踪精度。然后使用高斯分布融合光流特征点优化提取候选框，在付出极少量跟踪精度(仍然保留了较大精度优势)的情况下大幅提升了算法处理速度，最终做到在保证跟踪精度优势的情况下获得实用的算法处理速度。
附图说明
图1是本发明实施例中深度卷积神经网单目标跟踪方法的整体流程图；
图2是本发明实施例中深度卷积神经网络模型构建示意图；
图3是本发明实施例中深度卷积神经网络模型批训练示意图；
图4是本发明实施例的通过高斯分布融合光流特征点来优化跟踪结果示意图；
图5是本发明实施例中加入HM(hard negative mining)策略及BB(bounding box)回归的跟踪效果对比图；
图6是本发明实施例中使用高斯分布融合光流特征点进行跟踪优化的效果图；
图7是本发明实施例的硬件设备工作示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述，下文中提到的具体技术细节，如：方法，设备等，仅为使读者更好的理解技术方案，并不代表本发明仅局限于以下技术细节。
本发明的实施例提供了一种深度卷积神经网单目标跟踪方法、设备及存储设备，通过将。请参阅图1，图1是本发明实施例中深度卷积神经网单目标跟踪方法的整体流程图，所述方法由一种深度卷积神经网单目标跟踪设备实现，具体步骤包括：
S101：对深度卷积神经网络进行预训练。
S102：训练后得到深度卷积神经网络模型参数；所述深度卷积神经网络模型参数为{W1,……,W5}。
S103：根据模型参数得到训练后的深度卷积神经网络。
S104：初始化训练后的深度卷积神经网络模型的末端网络层以突出跟踪目标特征，具体包括：根据具体的跟踪目标来初始化深度卷积神经网络模型参数W6, 这样就突出了跟踪目标的特征,淡化了无关特征。
S105：获取训练后并初始化后的深度卷积神经网络模型。
S106：通过高斯分布融合光流特征点来简化跟踪目标，具体包括：首先根据上一帧跟踪结果通过高斯分布来选取一些候选框，然后通过两帧之间的光流特征点来筛选出更有效的目标候选框，最后通过网络计算置信度确定跟踪结果。
S107：将简化的跟踪目标输入训练后并初始化后的深度卷积神经网络模型得到输出结果。
S108：训练回归模型用于修正所述输出结果得到修正结果，具体包括：所述回归模型为bounding box回归模型。
S109：使用修正结果更新深度卷积神经网络模型参数,得到最新的深度卷积神经网络模型，具体包括：使用历史跟踪结果更新深度卷积神经网络模型参数。
参见图2，图2是本发明实施例中深度卷积神经网络模型构建示意图，其中：201表示输入层，202表示第一卷积层，203表示第二卷积层，204表示第三卷积层，205表示第一全连接层，206表示第二全连接层，207表示第三全连接层。模型的具体构建步骤包括：构建202、203及204对输入图像进行降维；使用卷积核提取图像的通用深层特征；构建205及206将提取到的特征进行组合得到更具区分力的典型特征；构建207对典型特征做进一步组合，组合后的典型特征能够对图像的目标和背景进行区分。
参见图3，图3是本发明实施例中深度卷积神经网络模型批训练示意图，其中：301表示损失值轴，302表示批训练次数轴，303表示损失值曲线。由图中可见，随着批训练次数的增加，构建出的深度卷积神经网络模型的损失值也逐渐减小。
参见图4，图4是本发明实施例的通过高斯分布融合光流特征点来优化跟踪结果示意图，其中：401表示原始图像，402表示加入高斯分布融合光流特征点后的图像，403表示处理后确定的跟踪结果图像。从图中可见，经过高斯分布融合光流特征点处理后的图像得到了简化，突出了需要跟踪的结果。
参见图5，图5是本发明实施例中加入HM(hard negative mining)策略及 BB(bounding box)回归的跟踪效果对比图，其中：501表示中心位置准确率轴， 502表示中心像素误差阈值轴，503表示重叠成功率轴，504表示重叠率阈值轴， BaseCNN表示基本卷积神经网络的曲线，BaseCNN+HM表示加入了HM策略的基本卷积神经网络的曲线，BaseCNN+HM+BB表示加入了HM策略和BB回归的基本卷积神经网络的曲线。由图中可见，加入了HM策略和BB回归的基本卷积神经网络的跟踪效果最好。表1是BaseCNN+HM+BB与其他算法跟踪性能对比。其中，DP rate 表示跟踪位置精度成功率，OS rate表示跟踪重叠成功率，CLE表示跟踪结果中心点像素误差，FPS表示帧数。由表1可见，BaseCNN+HM+BB模型相较与其他算法在跟踪精度上有明显的优势。
表1
参见图6，图6是本发明实施例中使用高斯分布融合光流特征点进行跟踪优化的效果图，其中：601表示中心位置准确率轴，602表示中心像素误差阈值轴， 603表示重叠成功率轴，604表示重叠率阈值轴，605表示优化前重叠成功率曲线，606表示优化后重叠成功率曲线，607表示优化后中心位置准确率曲线，608 表示优化前中心位置准确率曲线。由图中可见，使用高斯分布融合光流特征点进行跟踪优化后，虽然稍微降低了跟踪精度，但是简化了处理数量，提升了处理速度。同时，跟踪精度差异在可接受范围内，对跟踪效果基本未构成实质影响。表2是CNN结合高斯分布融合光流特征点(LK)模型与其他模型跟踪性能的比较。对比表1与表2可见，优化后跟踪精度有了较小的损失，但在跟踪速度上有了显著的提升(5.5倍FPS)。
表2
参见图7，图7是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种深度卷积神经网单目标跟踪设备701、处理器702及存储设备703。
深度卷积神经网单目标跟踪设备701：所述一种深度卷积神经网单目标跟踪设备701实现所述一种深度卷积神经网单目标跟踪方法。
处理器702：所述处理器702加载并执行所述存储设备703中的指令及数据用于实现所述的一种深度卷积神经网单目标跟踪方法。
存储设备703：所述存储设备703存储指令及数据；所述存储设备703用于实现所述的一种深度卷积神经网单目标跟踪方法。
通过执行本发明的实施例，本发明权利要求里的所有技术特征都得到了详尽阐述。
区别于现有技术，本发明的实施例提供了一种深度卷积神经网单目标跟踪方法、设备及存储设备,通过在CNN模型中加入HM策略与BB回归模型，大幅提升了图像跟踪精度。然后使用高斯分布融合光流特征点优化提取候选框，在付出极少量跟踪精度(仍然保留了较大精度优势)的情况下大幅提升了算法处理速度，最终做到在保证跟踪精度优势的情况下获得实用的算法处理速度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度卷积神经网单目标跟踪方法，所述方法由一种深度卷积神经网单目标跟踪设备实现，其特征在于：包括以下步骤：对深度卷积神经网络进行预训练；训练后得到深度卷积神经网络模型参数；根据模型参数得到训练后的深度卷积神经网络；初始化训练后的深度卷积神经网络模型的末端网络层以突出跟踪目标特征；获取训练后并初始化后的深度卷积神经网络模型；通过高斯分布融合光流特征点来简化跟踪目标；将简化的跟踪目标输入训练后并初始化后的深度卷积神经网络模型得到输出结果；训练回归模型用于修正所述输出结果得到修正结果；使用修正结果更新深度卷积神经网络模型参数,得到最新的深度卷积神经网络模型。
2.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述深度卷积神经网络模型参数为{W1,……,W5}。
3.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述初始化深度卷积神经网络的末端网络层具体包括：根据具体的跟踪目标来初始化深度卷积神经网络模型参数W6。
4.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述回归模型为bounding box回归模型。
5.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述通过高斯分布融合光流特征点来简化跟踪目标具体包括：首先根据上一帧跟踪结果通过高斯分布来选取一些候选框，然后通过两帧之间的光流特征点来筛选出更有效的目标候选框，最后通过网络计算置信度确定跟踪结果。
6.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述更新深度卷积神经网络模型参数具体为：使用历史跟踪结果更新深度卷积神经网络模型参数。
7.如权利要求1所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述深度卷积神经网络模型的构建具体包括步骤：构建卷积层对输入图像进行降维；使用卷积核提取图像的通用深层特征；构建初始全连接层将提取到的特征进行组合得到更具区分力的典型特征；构建最终全连接层对典型特征做进一步组合。
8.如权利要求7所述的一种深度卷积神经网单目标跟踪方法，其特征在于：所述构建最终全连接层对典型特征做进一步组合后能够对图像的目标和背景进行区分。
9.一种存储设备，其特征包括：所述存储设备存储指令及数据用于实现权利要求1～8所述的一种深度卷积神经网单目标跟踪方法。
10.一种深度卷积神经网单目标跟踪设备，其特征在于：包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～8所述的一种深度卷积神经网单目标跟踪方法。
CN201710814400.XA 2017-09-11 2017-09-11 一种深度卷积神经网单目标跟踪方法、设备及存储设备 Pending CN107633529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710814400.XA CN107633529A (zh) 2017-09-11 2017-09-11 一种深度卷积神经网单目标跟踪方法、设备及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710814400.XA CN107633529A (zh) 2017-09-11 2017-09-11 一种深度卷积神经网单目标跟踪方法、设备及存储设备

Publications (1)

Publication Number Publication Date
CN107633529A true CN107633529A (zh) 2018-01-26

Family

ID=61100908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710814400.XA Pending CN107633529A (zh) 2017-09-11 2017-09-11 一种深度卷积神经网单目标跟踪方法、设备及存储设备

Country Status (1)

Country Link
CN (1) CN107633529A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765481A (zh) * 2018-05-25 2018-11-06 亮风台（上海）信息科技有限公司 一种单目视频的深度估计方法、装置、终端和存储介质
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673404A (zh) * 2009-10-19 2010-03-17 北京中星微电子有限公司 一种目标检测的方法和装置
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673404A (zh) * 2009-10-19 2010-03-17 北京中星微电子有限公司 一种目标检测的方法和装置
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765481A (zh) * 2018-05-25 2018-11-06 亮风台（上海）信息科技有限公司 一种单目视频的深度估计方法、装置、终端和存储介质
CN108765481B (zh) * 2018-05-25 2021-06-11 亮风台（上海）信息科技有限公司 一种单目视频的深度估计方法、装置、终端和存储介质
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置

Similar Documents

Publication Publication Date Title
Pang et al. Hierarchical dynamic filtering network for RGB-D salient object detection
Dong et al. Real-time high-performance semantic image segmentation of urban street scenes
Sun et al. Models matter, so does training: An empirical study of cnns for optical flow estimation
CN105512289B (zh) 基于深度学习和哈希的图像检索方法
Wang et al. Dynamic attention guided multi-trajectory analysis for single object tracking
Chen et al. On the over-smoothing problem of cnn based disparity estimation
Lee et al. Deep learning-based pupil center detection for fast and accurate eye tracking system
CN106407891A (zh) 基于卷积神经网络的目标匹配方法及装置
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
Feng et al. Encoder deep interleaved network with multi-scale aggregation for RGB-D salient object detection
CN107564007B (zh) 融合全局信息的场景分割修正方法与系统
Zhai et al. Optical flow estimation using channel attention mechanism and dilated convolutional neural networks
Ma et al. Flexible and generalized real photograph denoising exploiting dual meta attention
CN111125403B (zh) 一种基于人工智能的辅助设计绘图方法及系统
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
Chen et al. Multiframe-to-multiframe network for video denoising
CN111680702A (zh) 一种使用检测框实现弱监督图像显著性检测的方法
CN107633529A (zh) 一种深度卷积神经网单目标跟踪方法、设备及存储设备
Xu et al. AutoSegNet: An automated neural network for image segmentation
Mehta et al. Evrnet: Efficient video restoration on edge devices
Xiang et al. ReMoNet: Recurrent multi-output network for efficient video denoising
Chen et al. SCPA‐Net: Self‐calibrated pyramid aggregation for image dehazing
Nathan et al. Skeletonnetv2: A dense channel attention blocks for skeleton extraction
Jayasundara et al. Flowcaps: Optical flow estimation with capsule networks for action recognition
CN117094910A (zh) 基于非线性无激活网络的生成对抗网络图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180126

RJ01 Rejection of invention patent application after publication