CN107798329A - 基于cnn的自适应粒子滤波目标跟踪方法 - Google Patents

基于cnn的自适应粒子滤波目标跟踪方法 Download PDF

Info

Publication number
CN107798329A
CN107798329A CN201711042140.5A CN201711042140A CN107798329A CN 107798329 A CN107798329 A CN 107798329A CN 201711042140 A CN201711042140 A CN 201711042140A CN 107798329 A CN107798329 A CN 107798329A
Authority
CN
China
Prior art keywords
template
target
image
candidate
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711042140.5A
Other languages
English (en)
Other versions
CN107798329B (zh
Inventor
刘芳
黄光伟
路丽霞
王洪娟
王鑫
杨安喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201711042140.5A priority Critical patent/CN107798329B/zh
Publication of CN107798329A publication Critical patent/CN107798329A/zh
Application granted granted Critical
Publication of CN107798329B publication Critical patent/CN107798329B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于CNN的自适应粒子滤波目标跟踪方法，方法包括以下步骤：获取跟踪目标的前几帧视频图像；通过卷积神经网络来提取跟踪目标的深度特征，获得目标的深层次表达；基于仿射变换构建候选模板库，采用粒子滤波跟踪算法，将预测结果与候选模版库中的模板进行匹配，确定新的目标模版并自适应更新候选模板库，确定当前目标状态实现跟踪。本发明有效的提高了视频目标跟踪的性能，能够在遮挡、光照、尺度变化和目标快速运动的条件下稳定地跟踪目标，具有更高的目标跟踪精度和更强的鲁棒性。

Description

基于CNN的自适应粒子滤波目标跟踪方法
技术领域
本发明涉及一种视频目标跟踪方法，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术，特别涉及一种基于CNN的自适应粒子滤波目标跟踪方法。
背景技术
目标跟踪技术是计算机视觉研究领域中最重要的研究方向之一，广泛应用于军事侦查、交通监控、人群分析、动作识别等军事和民用领域。传统目标跟踪算法分为自底向上和自顶向下的处理方法。自底向上的处理方法又称为基于判别式模型的跟踪方法，它不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。自顶向下的处理方法又称为基于生成式模型的跟踪方法，依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。近年出现了一系列具有代表性的目标跟踪算法，其中基于判别式模型的方法包括：多示例学习法(MIL)、跟踪学习检测算法(TLD)、多任务跟踪法(MTT)、结构化输出跟踪(Struck)等。基于生成式模型的方法有：增量视觉跟踪算法、Fragment法、视觉跟踪分解法、粒子滤波跟踪算法等。上述跟踪算法几乎都是采用人为手工设计的特征(例如直方图、HOG、SIFT特征等)。通过大量实验表明手工设计的特征具有局限性，不能适用于所有被跟踪目标。深度学习的发展为自动学习特征提供了可能。深度学习跟踪(DLT)使用栈式降噪自编码器把深度模型运用在单目标跟踪任务上的跟踪算法，提出了“离线预训练+在线微调”的思路，很大程度的解决了跟踪中训练样本不足的问题。Li等人用深度网络通过大量训练集进行离线训练得到，利用离线的方式训练深度网络，然后使用训练好的模型在线跟踪目标；Wang等人使用SDAE从大量图像训练集中学习图像通用的特征表达；Hinton等人针对复杂目标图像利用2层卷积神经网络(Convolutional Neural Network，CNN)来学习其通用特征。近年来，基于深度学习的跟踪算法使得跟踪算法性能的大幅提升，但其在应对目标遮挡、形变等使目标表观发生变化的情况下，目前的跟踪算法性能提升的不大。
为了解决上述情形下跟踪算法的性能不足的问题，将深度学习与模板更新结合，从而更好的应对目标表观的变化，然后进行视频目标跟踪。当目标于运动过程中发生的外观等变化，跟踪模板需要作出相应的改变。几乎所有的模式匹配跟踪算法都是先提取目标的一些特征作为模板，然后在当前帧内寻找其特征和这个模板最相似的区域，因此模板是目标的唯一表示。由于目标在运动过程中可能被外界障碍物遮挡，也有可能由于自身的运动而发生外观变化，要想正确地跟踪目标，模板就需要作出相应的改变。因此，模板更新问题就成为目标跟踪的核心问题之一。
现有的方法存在的不足：一方面，已有方法没有充分利用到目标本身的深度特征信息，因此会丢失一部分特征信息，使得特征缺乏鲁棒性，进而影响视频目标跟踪的性能；另一方面，已有的模板更新策略并不能适用所有的场合，则当目标出现光照变化、姿态变化或发生遮挡时，更新策略会使预测模板和目标模板相差较大，容易导致跟踪失败。
发明内容
本发明的目的旨在解决上述技术缺陷，深度特征使用卷积神经网络网络提取目标特征，与粒子滤波跟踪算法结合，把目标的仿射运动模型引入到粒子滤波的模板更新过程中，设计了一种自适应的模板更新策略，进而提出一种在复杂条件下具有较高跟踪准确率和成功率的目标跟踪算法。
为达到上述目的，本发明采用的技术方案为基于CNN的自适应粒子滤波目标跟踪方法，该方法包括以下步骤：
S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的卷积神经网络用于提取目标特征；
S2：将视频转化图像帧输入系统；
S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：
S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标模板；
S3.2：将目标图像输入卷积神经网络计算其深度特征，作为目标模版；引入仿射运动模型对目标图像进行仿射变换并计算深度特征，作为候选模板；
S3.3：将目标模板及其仿射变换放入候选模板库中；
S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与初始模板进行比较，给每个粒子赋予权值；
S5：候选模板更新，具体步骤如下：
S5.1：选择权值分布前50％的粒子，计算它们的权值和即w；
S5.2：如果w>T，T为阈值，则使用跟踪输出位置作为新模板；如果w<T，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板。
S5.3：将新的目标模板及其仿射变换放入候选模板库中。
S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。
有益效果
根据本发明实施例的基于CNN的自适应粒子滤波目标跟踪算法方法，本方法在特征提取方面，通过卷积神经网络来提取跟踪目标的深度特征，获得目标的深层次表达。然后，基于仿射变换构建候选模版库，采用粒子滤波跟踪算法，将预测结果与候选模版库中的模板进行匹配，确定新的目标模版并自适应更新候选模版库，确定当前目标状态实现跟踪。仿真实验表明，本发明能够在遮挡、光照、尺度变化和目标快速运动的条件下稳定地跟踪目标，具有更高的目标跟踪精度和更强的鲁棒性。
附图说明
图1为本发明实施例的基于CNN的自适应粒子滤波目标跟踪算法方法的流程图；以及
图2为本发明一个实施例的一个卷积神经网络示意图；以及
图3为本发明一个实施例的目标模板更新策略流程图。
具体实施方式
本发明上述的和/或附加的方面和优点结合附图对实施例的描述中将变得明显和容易理解，下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，根据本发明基于稀疏自动编码器和支持向量机的图像分类方法，包括以下几个步骤：
S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的网络用于提取目标特征；
卷积神经网络首先进行离线训练，具体训练过程如下：
典型的卷积神经网络由输入层、卷积层、下采样层即池化层、全连接层和输出层组成。
1)输入原始图像X。本方法用Hi表示卷积神经网络第i层的特征图，H0＝X。假设是Hi卷积层，Hi的产生过程描述为：
其中：Wi表示第i层卷积核的权值向量；运算符号代表卷积核与第i-1层图像或者特征图进行卷积操作，卷积的输出与第i层的偏移向量bi相加，最终通过非线性的激励函数f得到第i层的特征图Hi。
2)依据一定的下采样规则对特征图进行下采样。设Hi是下采样层：
Hi＝subsampling(Hi-1)
下采样层的功能有两点：1)对特征图进行降维；2)在一定程度上保持特征的尺度不变特性。
3)经过多个卷积层和下采样层的交替传递，卷积神经网络依靠全连接网络对针对提取的特征进行分类，得到基于输入的概率分布。
S2：将视频转化图像帧输入系统；
S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：
S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标模板；
S3.2：将目标图像输入卷积神经网络计算其深度特征，引入仿射运动模型对目标图像进行仿射变换，作为候选模板；
本方法中以模板图像的中心点为坐标原点，建立坐标系，那么模板图像即目标图像表示为I(X)。模板图像中的像素点X＝(x,y)经仿射变换后，变为输入图像中的点Y，其中X和Y之间存在仿射关系：Y＝X+U。U为X和仿射系数a＝(a0,a1,a2,a3,a4,a5)的函数U(X,a)＝(u,v)。
其中，x和y是相对于模板图像中心的水平和垂直坐标，u和v表示仿射变换后图像在水平和垂直方向的变化量。
若用I(X+U(X,a))来表示模板图像I(X)经过放射变换后再输入图像的对应区域，则在灰度不变性前提下有以下公式成立：
I(X)＝I(X+U(X,a))
由此，利用仿射变换关系将模板图像和输入图像之间建立起了关系。
如果令看到仿射变换的三种特殊情况：
1)图像比例放大或膨胀；
2)图像围绕原点旋转θ角；
3)图像发生平移。
S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与模板进行比较，给每个粒子赋予权值；
以目标区域经过卷积神经网络提取的特征模板作为目标模板Ht1，以对目标图像进行仿射变换得到的图像经过卷积神经网络提取的特征模板作为候选模板Ht2，用Hp每个粒子所在区域的经过卷积神经网络提取的特征模板。以Ht与Hp之间的Bhattacharyya距离即巴氏系数作为相似性，通过相似性进而确定目标状态进行跟踪，其中，巴氏系数定义如下：
通过调整各粒子的权重大小和样本位置来近似实际的概率分布，以样本期望作为系统估计值。然后进行重采样，重新分布粒子的位置。
S5：候选模板更新，具体步骤如下：
S5.1：选择权值分布前50％的粒子，计算它们的权值和w；
通过对预测结果与目标模板的巴氏系数进行归一化，得到每个预测结果的权值，选择权值分布前50％的粒子，计算它们的权值和w。
S5.2：如果w>T(阈值)，则使用跟踪输出位置作为新模板；如果w<T，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板，具体步骤如下：
1)如果w>T(阈值，一般选择0.6-0.7)，则使用跟踪输出位置作为新的目标模板；如果w<T，则需要通过步骤S2、步骤S3从候选模板库重新确定新的目标模板；
2)将候选模板库中的某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和；
3)对候选模板库中的所有候选模板分别进行步骤S3的操作，选择其中权值和最大的候选模板作为新的目标模板；
S5.3：将新的目标模板及其仿射变换放入候选模板库中。
仿射变换能够描述3D空间中的目标到2D平面的成像过程，具体表现是各个方向的尺度变换、系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换等。仿射变换具有平移、旋转和缩放不变性。对于一个目标模板，分别进行左右旋转2°、放大1.1倍、缩小0.9倍的仿射变化，基于该仿射变换，定义候选模板库Z如下：
式中，表示候选模板库中第i个目标模板的j个仿射变换，N为候选模板库中的目标模板数，将新的目标模板及其仿射变换保存到Z中。
S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改替换和变形，本发明的范围有所附权利要求及其等同限定。

Claims (2)

1.基于CNN的自适应粒子滤波目标跟踪方法，其特征在于：该方法包括以下步骤，
S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的卷积神经网络用于提取目标特征；
S2：将视频转化图像帧输入系统；
S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：
S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标模板；
S3.2：将目标图像输入卷积神经网络计算其深度特征，作为目标模版；引入仿射运动模型对目标图像进行仿射变换并计算深度特征，作为候选模板；
S3.3：将目标模板及其仿射变换放入候选模板库中；
S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与初始模板进行比较，给每个粒子赋予权值；
S5：候选模板更新，具体步骤如下：
S5.1：选择权值分布前50％的粒子，计算它们的权值和即w；
S5.2：如果w>T，T为阈值，则使用跟踪输出位置作为新模板；如果w<T，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板；
S5.3：将新的目标模板及其仿射变换放入候选模板库中；
S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。
2.根据权利要求1所述的基于CNN的自适应粒子滤波目标跟踪方法，其特征在于：
S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的网络用于提取目标特征；
卷积神经网络首先进行离线训练，具体训练过程如下：
典型的卷积神经网络由输入层、卷积层、下采样层即池化层、全连接层和输出层组成；
1)输入原始图像X；本方法用Hi表示卷积神经网络第i层的特征图，H0＝X；假设是Hi卷积层，Hi的产生过程描述为：
<mrow> <msub> <mi>H</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中：Wi表示第i层卷积核的权值向量；运算符号代表卷积核与第i-1层图像或者特征图进行卷积操作，卷积的输出与第i层的偏移向量bi相加，最终通过非线性的激励函数f得到第i层的特征图Hi；
2)依据一定的下采样规则对特征图进行下采样；设Hi是下采样层：
Hi＝subsampling(Hi-1)
下采样层的功能有两点：1)对特征图进行降维；2)在一定程度上保持特征的尺度不变特性；
3)经过多个卷积层和下采样层的交替传递，卷积神经网络依靠全连接网络对针对提取的特征进行分类，得到基于输入的概率分布；
S2：将视频转化图像帧输入系统；
S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：
S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标模板；
S3.2：将目标图像输入卷积神经网络计算其深度特征，引入仿射运动模型对目标图像进行仿射变换，作为候选模板；
本方法中以模板图像的中心点为坐标原点，建立坐标系，那么模板图像即目标图像表示为I(X)；模板图像中的像素点X＝(x,y)经仿射变换后，变为输入图像中的点Y，其中X和Y之间存在仿射关系：Y＝X+U；U为X和仿射系数a＝(a0,a1,a2,a3,a4,a5)的函数U(X,a)＝(u,v)；
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>1</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>4</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>5</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>3</mn> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，x和y是相对于模板图像中心的水平和垂直坐标，u和v表示仿射变换后图像在水平和垂直方向的变化量；
若用I(X+U(X,a))来表示模板图像I(X)经过放射变换后再输入图像的对应区域，则在灰度不变性前提下有以下公式成立：
I(X)＝I(X+U(X,a))
由此，利用仿射变换关系将模板图像和输入图像之间建立起了关系；
如果令看到仿射变换的三种特殊情况：
1)图像比例放大或膨胀；
2)图像围绕原点旋转θ角；
3)A＝I，图像发生平移；
S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与模板进行比较，给每个粒子赋予权值；
以目标区域经过卷积神经网络提取的特征模板作为目标模板Ht1，以对目标图像进行仿射变换得到的图像经过卷积神经网络提取的特征模板作为候选模板Ht2，用Hp每个粒子所在区域的经过卷积神经网络提取的特征模板；以Ht与Hp之间的Bhattacharyya距离即巴氏系数作为相似性，通过相似性进而确定目标状态进行跟踪，其中，巴氏系数定义如下：
<mrow> <mi>&amp;rho;</mi> <mo>&amp;lsqb;</mo> <msub> <mi>H</mi> <mi>t</mi> </msub> <mo>,</mo> <msub> <mi>H</mi> <mi>p</mi> </msub> <mo>&amp;rsqb;</mo> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msqrt> <mrow> <msup> <mi>q</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msup> <msup> <mi>p</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msup> </mrow> </msqrt> </mrow>
通过调整各粒子的权重大小和样本位置来近似实际的概率分布，以样本期望作为系统估计值；然后进行重采样，重新分布粒子的位置；
S5：候选模板更新，具体步骤如下：
S5.1：选择权值分布前50％的粒子，计算它们的权值和w；
通过对预测结果与目标模板的巴氏系数进行归一化，得到每个预测结果的权值，选择权值分布前50％的粒子，计算它们的权值和w；
S5.2：如果w>T，则使用跟踪输出位置作为新模板；如果w<T，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板，具体步骤如下：
1)如果w>T，则使用跟踪输出位置作为新的目标模板；如果w<T，则需要通过步骤S2、步骤S3从候选模板库重新确定新的目标模板；
2)将候选模板库中的某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和；
3)对候选模板库中的所有候选模板分别进行步骤S3的操作，选择其中权值和最大的候选模板作为新的目标模板；
S5.3：将新的目标模板及其仿射变换放入候选模板库中；
仿射变换能够描述3D空间中的目标到2D平面的成像过程，具体表现是各个方向的尺度变换、系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换；仿射变换具有平移、旋转和缩放不变性；对于一个目标模板，分别进行左右旋转2°、放大1.1倍、缩小0.9倍的仿射变化，基于该仿射变换，定义候选模板库Z如下：
<mrow> <mi>Z</mi> <mo>=</mo> <msubsup> <mrow> <mo>{</mo> <msubsup> <mi>D</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> </mrow>
式中，表示候选模板库中第i个目标模板的j个仿射变换，N为候选模板库中的目标模板数，将新的目标模板及其仿射变换保存到Z中；
S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。
CN201711042140.5A 2017-10-29 2017-10-29 基于cnn的自适应粒子滤波目标跟踪方法 Expired - Fee Related CN107798329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711042140.5A CN107798329B (zh) 2017-10-29 2017-10-29 基于cnn的自适应粒子滤波目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711042140.5A CN107798329B (zh) 2017-10-29 2017-10-29 基于cnn的自适应粒子滤波目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107798329A true CN107798329A (zh) 2018-03-13
CN107798329B CN107798329B (zh) 2021-04-30

Family

ID=61548321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711042140.5A Expired - Fee Related CN107798329B (zh) 2017-10-29 2017-10-29 基于cnn的自适应粒子滤波目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107798329B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510523A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 一种建立获取目标物特征的模型和目标物搜索方法及装置
CN108921879A (zh) * 2018-05-16 2018-11-30 中国地质大学（武汉） 基于区域选择的CNN和Kalman滤波的运动目标跟踪方法及系统
CN109684953A (zh) * 2018-12-13 2019-04-26 北京小龙潜行科技有限公司 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN110472608A (zh) * 2019-08-21 2019-11-19 石翊鹏 图像识别跟踪处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800109A (zh) * 2012-07-16 2012-11-28 刘怡光 基于粒子滤波的机车信号灯跟踪方法
CN106127804A (zh) * 2016-06-17 2016-11-16 淮阴工学院 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法
CN106408591A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种抗遮挡的目标跟踪方法
CN107301657A (zh) * 2017-06-12 2017-10-27 西安交通大学 一种考虑目标运动信息的视频目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800109A (zh) * 2012-07-16 2012-11-28 刘怡光 基于粒子滤波的机车信号灯跟踪方法
CN106127804A (zh) * 2016-06-17 2016-11-16 淮阴工学院 基于稀疏深度去噪自编码器的rgb‑d数据跨模式特征学习的目标跟踪方法
CN106408591A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种抗遮挡的目标跟踪方法
CN107301657A (zh) * 2017-06-12 2017-10-27 西安交通大学 一种考虑目标运动信息的视频目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI JIARUI: "An Improved Particle Filter Tracking Algorithm", 《 PROCEEDINGS OF THE 2013 FIFTH INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION NETWORKING AND SECURITY》 *
徐喆等: "用于前车追踪的多特征融合粒子滤波算法改进", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510523A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 一种建立获取目标物特征的模型和目标物搜索方法及装置
CN108921879A (zh) * 2018-05-16 2018-11-30 中国地质大学（武汉） 基于区域选择的CNN和Kalman滤波的运动目标跟踪方法及系统
CN109684953A (zh) * 2018-12-13 2019-04-26 北京小龙潜行科技有限公司 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN110472608A (zh) * 2019-08-21 2019-11-19 石翊鹏 图像识别跟踪处理方法及系统

Also Published As

Publication number Publication date
CN107798329B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN106845478B (zh) 一种字符置信度的二次车牌识别方法及装置
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
Chen et al. One-stage CNN detector-based benthonic organisms detection with limited training dataset
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN107798329B (zh) 基于cnn的自适应粒子滤波目标跟踪方法
Yan et al. Combining the best of convolutional layers and recurrent layers: A hybrid network for semantic segmentation
Vijayakumar et al. Yolo-based object detection models: A review and its applications
Lu et al. Learning transform-aware attentive network for object tracking
CN106530330B (zh) 基于低秩稀疏的视频目标跟踪方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
Yang et al. Bubble detection in photoresist with small samples based on GAN augmentations and modified YOLO
CN113129332A (zh) 执行目标对象跟踪的方法和装置
Naeem et al. Multiple batches of motion history images (MB-MHIs) for multi-view human action recognition
CN112949765A (zh) 融合局部和全局信息的图像匹配方法
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
Permana et al. Hand movement identification using single-stream spatial convolutional neural networks
Lin et al. Ml-capsnet meets vb-di-d: A novel distortion-tolerant baseline for perturbed object recognition
Lai et al. Underwater target tracking via 3D convolutional networks
Tan et al. Affine-Transformation-Invariant Image Classification by Differentiable Arithmetic Distribution Module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210430