CN107977980B - 一种目标跟踪方法、设备以及可读介质 - Google Patents

一种目标跟踪方法、设备以及可读介质 Download PDF

Info

Publication number
CN107977980B
CN107977980B CN201711277147.5A CN201711277147A CN107977980B CN 107977980 B CN107977980 B CN 107977980B CN 201711277147 A CN201711277147 A CN 201711277147A CN 107977980 B CN107977980 B CN 107977980B
Authority
CN
China
Prior art keywords
target
feature
dimensional matrix
frame image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711277147.5A
Other languages
English (en)
Other versions
CN107977980A (zh
Inventor
白帅
董远
白洪亮
熊风烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feisou Technology Co ltd
Original Assignee
Beijing Feisou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feisou Technology Co ltd filed Critical Beijing Feisou Technology Co ltd
Priority to CN201711277147.5A priority Critical patent/CN107977980B/zh
Publication of CN107977980A publication Critical patent/CN107977980A/zh
Application granted granted Critical
Publication of CN107977980B publication Critical patent/CN107977980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标跟踪方法、设备以及介质，在获取包含有跟踪的目标的第一目标区域后，所述GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板获取所述目标在第二帧图像中的位置信息，然后所述GPU还根据所述参考特征和至少一个预设尺度模板获取所述目标在所述第二帧图像中的尺度信息，最后，再根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域。所述GPU具有复杂的数学和几何计算能力，在上述数据处理过程中，可以以并行的方式对数据进行处理，可以在保证精度的情况下，大幅度提高目标跟踪的运算速度。

Description

一种目标跟踪方法、设备以及可读介质
技术领域
本说明书涉及信息技术领域，尤其涉及一种目标跟踪方法、设备以及可读介质。
背景技术
目标跟踪问题，随着深度学习方法的崛起，效果越来越好，但伴随着的问题是运算量越来越大，所消耗的时间越来越长，以往，只要通过CPU的更新换代就可以很好地提高程序的执行速度。但随着大数据行业的兴起,简单的更新换代已经跟不上数据量和计算量的增长，于是通过分布式和并行的程序优化越来越受到重视。
具体的，对于CPU加速主要集中在多核性能和多线程的性能发挥，简单的如通过openmp将for循环进行并行化，但是由于cpu的核数有限，其指令集复杂，对于较少的数据运算会效果明显，但当运算量达到一定程度，会出现瓶颈。
发明内容
本说明书实施例提供一种目标跟踪方法、设备以及可读介质，以解决当数据量达到一定程度后现有技术中目标跟踪方法运算速度不够快的问题。
为解决上述技术问题，本说明书实施例是这样实现的：
本发明提供了一种目标跟踪方法，包括：
在第一帧图像中获取包含跟踪的目标的第一目标区域；
GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息，所述第二帧图像与所述第一帧图像在时间上相继；
所述GPU将所述参考特征与至少一个预设尺度模板进行匹配判断，确定所述目标在所述第二帧图像中的尺度信息；
所述GPU根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域。
优选的，在上述的目标跟踪方法中，所述GPU获取所述第一目标区域的参考特征，包括：
所述GPU获取所述第一目标区域的至少一种特征；
所述GPU根据所述至少一种特征确定所述目标的参考特征。
优选的，在上述的目标跟踪方法中，针对所述至少一种特征中的不同特征，所述GPU分别执行以下操作：
将该特征转换为第一N维矩阵，所述N为大于1的整数；
根据所述至少一种特征确定所述目标的参考特征，包括：
对所述至少一种特征转换后的至少一个第一N维矩阵求和，获取所述参考特征，所述参考特征为N维矩阵。
优选的，在上述的目标跟踪方法中，当该特征为神经网络特征时，将该特征转换为第一N维矩阵，包括：
通过主成成分分析方法对所述神经网络特征进行降维处理，获取第二N维矩阵，其中，所述神经网络特征为M维矩阵，M为大于N的整数；
通过傅里叶变换，将所述第二N维矩阵从时域转换为频域，获得第三N维矩阵；
对所述第三N维矩阵进行插值以获得所述第一N维矩阵。
优选的，在上述的目标跟踪方法中，通过主成成分分析方法对所述神经网络特征进行降维处理，包括：
对所述神经网络特征进行奇异值分解，以获取所述神经网络特征的酋矩阵；
根据所述酋矩阵获取降维矩阵，所述降维矩阵为N维矩阵；
根据所述降维矩阵与所述神经网络矩阵，获取所述第二N维矩阵。
优选的，在上述的目标跟踪方法中，将所述神经网络特征的奇异值从大到小进行排序，前N个奇异值的总和与所有奇异值的总和的比例大于等于预设比例。
优选的，在上述的目标跟踪方法中，在对所述第二N维矩阵进行傅里叶变换之前，还包括：
通过余弦窗函数提取所述第二N维矩阵的关键信息。
优选的，在上述的目标跟踪方法中，所述神经网络特征包括：卷积神经网络特征、循环神经网络特征以及深度神经网络特征中的任意一种。
优选的，在上述的目标跟踪方法中，对所述第三N维矩阵进行插值以获得所述第一N维矩阵，包括：
对所述第三N维矩阵进行至少一次高斯线性插值，以获得所述第一N维矩阵。
优选的，在上述的目标跟踪方法中，所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息，包括：
根据所述参考特征和特征模板，获取预测特征；
对所述预测特征进行傅里叶逆运算，获取时域预测特征；
对所述时域预测特征进行异步处理，获取所述目标在所述第二帧图像中的位置信息。
优选的，在上述的目标跟踪方法中，采用牛顿迭代法对所述时域预测特征进行异步处理。
优选的，在上述的目标跟踪方法中，根据第一预设数量的样本确定所述特征模板，所述样本为已确定的参考特征；所述第一帧图像与所述第一预设数量帧的图像在时间上相继。
优选的，在上述的目标跟踪方法中，当所述第一帧图像在视频中的编号小于等于所述第一预设数量时，将所述第一目标区域的参考特征加入至样本中，形成新的样本集。
优选的，在上述的目标跟踪方法中，当所述第一帧图像在视频中的编号大于所述第一预设数量时，利用所述第一目标区域的参考特征更新所述样本，形成新的样本集。
优选的，在上述的目标跟踪方法中，利用所述第一目标区域的参考特征更新所述样本，包括：
分别确定所述第一预设数量的样本与所述第一目标区域的参考特征之间的响应值；
根据所述响应值从小到大对所述第一预设数量的样本进行排序；
用所述第一目标区域的参考特征替换序列中的第一个样本，形成新的样本集。
优选的，在上述的目标跟踪方法中，新的样本集中各个样本的权重通过以下方法确定：
所述第一目标区域的参考特征的权重为预设学习率；
所述第一目标区域的参考特征加入样本集前的各个样本的权重通过以下公式获得：
该样本的权重＝该样本在更新前的样本集中的权重*(1-预设学习率)。
优选的，在上述的目标跟踪方法中，根据所述第一预设数量的样本确定所述特征模板，包括：
CPU根据所述第一预设数量的样本确定所述特征模板；
或
所述GPU根据所述第一预设数量的样本确定所述特征模板。
优选的，在上述的目标跟踪方法中，每第二预设数量帧图像更新一次所述特征模板。
优选的，在上述的目标跟踪方法中，根据第一预设数量的样本确定特征模板，包括：
采用预处理共轭梯度算法根据第一预设数量的样本确定特征模板。
本发明还提供了一种目标跟踪的设备，所述设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行以上所述的方法。
本发明更提供了一种计算机可读介质，所述介质存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的方法。
在本发明提供的一种目标跟踪方法、设备以及介质中，在获取包含有跟踪的目标的第一目标区域后，所述GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板获取所述目标在第二帧图像中的位置信息，然后所述GPU还根据所述参考特征和至少一个预设尺度模板获取所述目标在所述第二帧图像中的尺度信息，最后，再根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域。所述GPU具有复杂的数学和几何计算能力，在上述数据处理过程中，可以以并行的方式对数据进行处理，可以在保证精度的情况下，大幅度提高目标跟踪的运算速度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中目标跟踪方法的流程图；
图2为本发明一实施例中获取所述第一目标区域的参考特征的流程图；
图3为本发明一实施例中所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
本发明实施例提供了一种目标跟踪方法，如图1所示，图1为本发明一实施例中目标跟踪方法的流程图。所示目标跟踪方法包括：在第一帧图像中获取包含跟踪的目标的第一目标区域，如图1中的步骤S101；GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息，如图1中的步骤S103，其中，所述第二帧图像与所述第一帧图像在时间上相继；所述GPU将所述参考特征与至少一个预设尺度模板进行匹配判断，确定所述目标在所述第二帧图像中的尺度信息，如图1中的步骤S105；然后，所述GPU再根据所述目标在所述第二帧图像中的位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域，如图1中的步骤S107所示。
步骤S101，在第一帧图像中获取包含跟踪的目标的第一目标区域。
具体的，以预设搜索尺度为搜索尺度，以所述目标的中心为中心截取图片，从而获取所述第一目标区域。
在本发明一实施例中，CPU(Central Processing Unit，中央处理器)获取所述第一目标区域，并将所述第一目标区域发送给GPU(Graphics Processing Unit，图形处理器)。
步骤S103，GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息。
所述GPU在接收到所述第一目标区域后，获取所述第一目标区域的参考特征。具体的，如图2所示，图2为本发明一实施例中获取所述第一目标区域的参考特征的流程图。首先，在获取包含所述目标的第一目标区域后，获取所述第一目标区域的至少一种特征，如图2中的步骤S202。其中所述特征包括但不限于神经网络特征、方向梯度直方图(HOG，Histogram of Oriented Gradient)以及颜色特征中的任意一种或多种。
需要说明的是，所述CPU和GPU之间在通信的过程中的读写数据接口的限制，可以通过异步的方式进行加载，从而可以有效的提高所述CPU和GPU之间数据传输的速度。
然后根据所述至少一种特征，确定所述目标的参考特征。具体而言，当所述特征的数量大于1时，先将各个特征转换为维数相同的方阵，然后将各个方阵相加，从而获得所述第一目标区域的参考特征。
具体的，当所述特征的数量大于1时，针对各个不同的特征，分别执行以下操作：将该特征转换为一个第一N维矩阵，所述N为大于1的整数。如图2中的步骤S204。
每个特征均转换为一个第一N维矩阵，或者说，每一个特征对应一个第一N维矩阵。
进一步的，当所述特征为神经网络特征时，由于神经网络特征的运算量大，需要对所述神经网络特征进行处理，以加快其运算速度。具体的，先通过主成成分分析方法(principal component analysis，PCA)对所述神经网络特征进行降维处理，获取第二N维矩阵，需要说明的是所述神经网络矩阵为M维矩阵，且M为大于N的整数。
具体的，对所述神经网络特征进行奇异值分解，以获得所述神经网络特征的酋矩阵，然后根据所述酋矩阵获取降维矩阵，所述降维矩阵为N维矩阵。
所述降维矩阵的维数N通过以下方式确定：首先将所述神经网络特征的奇异值从大到小进行排序，序列中前N个奇异值的总和与所有奇异值的总和的比例大于等于预设比例。
在本发明一实施例中，所述预设比例可以为大于等于80％的任意值。例如可以为80％、82％、85％、90％以及95％等。以80％为例，例如，当所述神经网络特征为56维矩阵，在对其进行奇异值分解后，将其奇异值从大到小进行排序，若序列中的前16个奇异值的总和与所有奇异值的总和的比例即可达到80％，则其降维矩阵即为16维矩阵。
所述神经网络特征包括但不限于卷积神经网络特征、循环神经网络特征以及深度神经网络特征中的任意一种。当所述神经网络特征为卷积神经网络特征时，在对其进行降维处理前，还会对所述卷积神经网络特征进行简化处理，具体的，将其第三层特征和第十四层特征简化为第三层特征，并且通过所述第一目标区域来限制其搜索范围，以控制噪声特征的提取。从而可以进一步的提高运算速度。
然后，通过余弦窗函数提取所述第二N维矩阵的关键信息。
接下来，通过傅里叶变换，将经过所述余弦窗函数的所述第二N维矩阵从时域转换为频域，获得第三N维矩阵，也就是说，第二N维矩阵为时域矩阵，所述第三N维矩阵为频域矩阵。从而时域中的卷积运算转换为频域中的乘法运算和加法运算，进一步的提高运算速度。
需要说明的是，上述频域中的乘法运算和加法运算具有良好的独立性，通过GPU(图形处理器，Graphics Processing Unit)的cuda(Compute Unified DeviceArchitecture，统一计算架构)编程即可进行并行乘法运算、加法运算以及傅里叶运算，将串行运算转换为并行运算，进一步大大提高了运算速度。而并行运算并不会降低数据运算的精度。因此，本发明实施例所提供的目标跟踪算法可以在保证精度的前提下，提高运算的速度。
然后对所述第三N维矩阵进行插值以获得所述第一N维矩阵。具体的，在本发明一实施例中，采用至少一次高斯线性插值方法对所述第三N维矩阵进行插值。
然后对所述多个特征分别对应的多个第一N维矩阵求和，从而获取所述第一目标区域的参考特征，所述参考特征也为N维矩阵。如图2中的步骤S206。
需要说明的是，所述第一N维矩阵、第二N维矩阵以及第三N维矩阵中中的N均相同，即为所述降维矩阵的维数。
接下来，所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息。
具体的，如图3所示，图3为本发明一实施例中所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息的流程图。
首先，根据所述参考特征和特征模板，获取预测特征，如图3中的步骤S301。
具体的，首先确定特征模板。
具体的，根据第一预设数量的样本来确定所述特征模板，所述样本为该特征已经确定的参考特征，也就说，根据所述第一预设数量的参考特征来确定所述特征模板。所述第一帧图像与所述第一预设数量的图像在时间上相继。
在本发明实施例中，所述第一预设数量可以是大于1的任意数值，在本发明一实施例中，所述第一预设数量为50。当然，在本发明的其他实施例中，所述第一预设数量还可以是其他数值，例如为60、70、以及100等等。
当所述第一帧图像在视频中的编号小于等于所述第一预设数量时，也就是说此时，已经确定的参考特征的数量小于所述第一预设数量，也就是说，样本的数量还不够所述第一预设数量时，则将所述第一目标区域的参考特征直接加入至样本中，从而形成新的样本集。
当所述第一帧图像在视频中的编号大于所述第一预设数量时，也就是说此时样本的数量已经达到所述第一预设数量，此时，利用所述第一目标区域的参考特征来更新所述样本，从而形成新的样本集。具体的过程如下：
首先，分别确定所述第一预设数量的样本与所述第一目标区域的参考特征之间的响应值。
然后，根据所述响应值从小到大对所述第一预设数量的样本进行排序。
最后，用所述第一目标区域的参考特征替换序列中的第一个样本，形成新的样本集。
采用以上方法确定样本集，使得在目标跟踪的过程中，只需要保持所述第一预设数量个样本，减少了存储数量，进一步提高了运算速度。
进一步的，采用预处理共轭梯度算法根据所述第一预设数量的样本确定所述特征模板，在此过程中，每个样本均有一定的权重，具体的，新的各个样本的权重通过以下方法确定：
针对新加入的样本(所述第一目标区域的参考特征)，其权重为预设学习率；
在加入该样本之前的其他样本，其权重通过以下公式确定：
该样本的权重＝该样本在更新前的样本集中的权重*(1-预设学习率)。
所述预处理共轭梯度算法的迭代次数可以根据实际情况进行设计，进一步的，所述预处理共轭梯度算法的迭代次数可以是大于1的任意自然数。具体的，在本发明一实施例中，所述预处理共轭梯度算法的迭代次数可以设计为10次。当然，本发明并不以此为限，在本发明的其他实施例中，所述预处理共轭梯度算法的迭代次数还可以是其他数值。
进一步的，在本发明一实施例中，每第二预设数量帧图像更新一次所述特征模板。
所述第二预设数量也可以是大于1的任意数值，在本发明一实施例中，所述第二预设数量为5。
也就是说，经过5帧图像后，更新一次特征模板，所述特征模板根据存储的所述第一预设数量的样本确定。
需要说明的是，在本发明实施例中，根据所述第一预设数量的样本确定所述特征模板、更新所述样本集以及根据更新的样本集来确定更新的特征模板，可以在所述CPU上进行，也可以在所述GPU上进行。
接下来，对所述预测特征进行傅里叶逆变换，获取时域预测特征，如图3中的步骤S303。
最后，对所述时域预测特征进行异步处理，获取所述目标在所述第二帧图像中的位置信息，如图3中的步骤S305。
所述参考特征和特征模板均为N维矩阵，因此，所述时域预测特征也为N维矩阵，GPU对上述N维数据即可进行异步处理，具体的，采用牛顿迭代法对所述时域预测特征进行异步处理，从而确定所述目标在所述第二帧图像中的位置信息，具体而言，确定所述第二帧图像中与所述时域预测特征的响应值最大的点在所述第二帧图像中的坐标，该坐标即为所述目标的位置信息。
所述牛顿迭代法的迭代次数可以根据实际情况进行设计，进一步的，所述牛顿迭代法的迭代次数可以是大于1的任意自然数。具体的，在本发明一实施例中，所述牛顿迭代法的迭代次数可以设计为5次。当然，本发明并不以此为限，在本发明的其他实施例中，所述牛顿迭代法的迭代次数还可以是其他数值。
步骤S105，所述GPU将所述参考特征与至少一个预设尺度模板进行匹配判断，确定所述目标在所述第二帧图像中的尺度信息。
将所述参考特征与所述至少一个预设尺度模板进行匹配，并按照匹配度从大到小对所述至少一个预设尺度模板进行排序(基于同样的原理，还可以按照匹配度从小到大进行排序)，匹配度最高的预设尺度模板即为所述目标在所述第二帧图像中的尺度信息。
步骤S107，所述GPU根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域。
在确定所述第二目标区域后，可以利用目标跟踪的基准程序来验证上述方法确定的第二目标区域的准确度，并根据所述准确度调整所述学习率，以提高确定所述第二目标区域的精确度。
基于同样的思路，本说明书实施例还提供一种目标跟踪的设备，所述设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行上述的方法。
基于同样的思路，本说明书实施例还提供一种计算机可读介质，所述介质存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的方法。
在本发明实施例提供的目标跟踪方法、设备以及介质中，在获取包含有跟踪的目标的第一目标区域后，所述GPU获取所述第一目标区域的参考特征，并根据所述参考特征和特征模板获取所述目标在第二帧图像中的位置信息，然后所述GPU还根据所述参考特征和至少一个预设尺度模板获取所述目标在所述第二帧图像中的尺度信息，最后，再根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域。所述GPU具有复杂的数学和几何计算能力，在上述数据处理过程中，可以以并行的方式对数据进行处理，可以在保证精度的情况下，大幅度提高目标跟踪的运算速度。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种目标跟踪方法，其特征在于，包括：
在第一帧图像中获取包含跟踪的目标的第一目标区域；
GPU获取所述第一目标区域的至少一种特征；
所述GPU将所述第一目标区域的至少一种特征中的不同特征，转换为第一N维矩阵，所述N为大于1的整数，并对所述至少一种特征中的不同特征转换后的第一N维矩阵求和，获取所述第一目标区域的参考特征；
所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息，所述第二帧图像与所述第一帧图像在时间上相继；
所述GPU将所述参考特征与至少一个预设尺度模板进行匹配判断，确定所述目标在所述第二帧图像中的尺度信息；
所述GPU根据所述位置信息和尺度信息，确定所述目标在所述第二帧图像中的第二目标区域；
其中，当所述特征为神经网络特征时，将所述特征转换为第一N维矩阵，包括：
通过主成成分分析方法对所述神经网络特征进行降维处理，获取第二N维矩阵，其中，所述神经网络特征为M维矩阵，M为大于N的整数；
通过傅里叶变换，将所述第二N维矩阵从时域转换为频域，获得第三N维矩阵；
对所述第三N维矩阵进行插值以获得所述第一N维矩阵。
2.根据权利要求1所述的目标跟踪方法，其特征在于，通过主成成分分析方法对所述神经网络特征进行降维处理，包括：
对所述神经网络特征进行奇异值分解，以获取所述神经网络特征的酋矩阵；
根据所述酋矩阵获取降维矩阵，所述降维矩阵为N维矩阵；
根据所述降维矩阵与所述神经网络矩阵，获取所述第二N维矩阵。
3.根据权利要求2所述的目标跟踪方法，其特征在于，将所述神经网络特征的奇异值从大到小进行排序，前N个奇异值的总和与所有奇异值的总和的比例大于等于预设比例。
4.根据权利要求1所述的目标跟踪方法，其特征在于，在对所述第二N维矩阵进行傅里叶变换之前，还包括：
通过余弦窗函数提取所述第二N维矩阵的关键信息。
5.根据权利要求1所述的目标跟踪方法，其特征在于，所述神经网络特征包括：卷积神经网络特征、循环神经网络特征以及深度神经网络特征中的任意一种。
6.根据权利要求1所述的目标跟踪方法，其特征在于，对所述第三N维矩阵进行插值以获得所述第一N维矩阵，包括：
对所述第三N维矩阵进行至少一次高斯线性插值，以获得所述第一N维矩阵。
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述GPU根据所述参考特征和特征模板，获取所述目标在第二帧图像中的位置信息，包括：
根据所述参考特征和特征模板，获取预测特征；
对所述预测特征进行傅里叶逆运算，获取时域预测特征；
对所述时域预测特征进行异步处理，获取所述目标在所述第二帧图像中的位置信息。
8.根据权利要求7所述的目标跟踪方法，其特征在于，采用牛顿迭代法对所述时域预测特征进行异步处理。
9.根据权利要求7所述的目标跟踪方法，其特征在于，根据第一预设数量的样本确定所述特征模板，所述样本为已确定的参考特征；所述第一帧图像与所述第一预设数量帧的图像在时间上相继。
10.根据权利要求9所述的目标跟踪方法，其特征在于，当所述第一帧图像在视频中的编号小于等于所述第一预设数量时，将所述第一目标区域的参考特征加入至样本中，形成新的样本集。
11.根据权利要求9所述的目标跟踪方法，其特征在于，当所述第一帧图像在视频中的编号大于所述第一预设数量时，利用所述第一目标区域的参考特征更新所述样本，形成新的样本集。
12.根据权利要求11所述的目标跟踪方法，其特征在于，利用所述第一目标区域的参考特征更新所述样本，包括：
分别确定所述第一预设数量的样本与所述第一目标区域的参考特征之间的响应值；
根据所述响应值从小到大对所述第一预设数量的样本进行排序；
用所述第一目标区域的参考特征替换序列中的第一个样本，形成新的样本集。
13.根据权利要求10或11所述的目标跟踪方法，其特征在于，新的样本集中各个样本的权重通过以下方法确定：
所述第一目标区域的参考特征的权重为预设学习率；
所述第一目标区域的参考特征加入样本集前的各个样本的权重通过以下公式获得：
该样本的权重＝该样本在更新前的样本集中的权重*(1-预设学习率)。
14.根据权利要求10或11所述的目标跟踪方法，其特征在于，根据所述第一预设数量的样本确定所述特征模板，包括：
CPU根据所述第一预设数量的样本确定所述特征模板；
或
所述GPU根据所述第一预设数量的样本确定所述特征模板。
15.根据权利要求9所述的目标跟踪方法，其特征在于，每第二预设数量帧图像更新一次所述特征模板。
16.根据权利要求10所述的目标跟踪方法，其特征在于，根据第一预设数量的样本确定特征模板，包括：
采用预处理共轭梯度算法根据第一预设数量的样本确定特征模板。
17.一种目标跟踪的设备，所述设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行权利要求1至16中任一项所述的方法。
18.一种计算机可读介质，所述介质存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至16中任一项所述的方法。
CN201711277147.5A 2017-12-06 2017-12-06 一种目标跟踪方法、设备以及可读介质 Active CN107977980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711277147.5A CN107977980B (zh) 2017-12-06 2017-12-06 一种目标跟踪方法、设备以及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711277147.5A CN107977980B (zh) 2017-12-06 2017-12-06 一种目标跟踪方法、设备以及可读介质

Publications (2)

Publication Number Publication Date
CN107977980A CN107977980A (zh) 2018-05-01
CN107977980B true CN107977980B (zh) 2021-01-05

Family

ID=62009286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711277147.5A Active CN107977980B (zh) 2017-12-06 2017-12-06 一种目标跟踪方法、设备以及可读介质

Country Status (1)

Country Link
CN (1) CN107977980B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151439B (zh) * 2018-09-28 2020-07-31 上海爱观视觉科技有限公司 一种基于视觉的自动追踪拍摄系统及方法
CN109726847A (zh) * 2018-11-19 2019-05-07 北京三快在线科技有限公司 位置预测方法、装置、电子设备及可读存储介质
CN111010544B (zh) * 2019-12-18 2023-03-31 广州穗能通能源科技有限责任公司 配电房监控方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN106991689A (zh) * 2017-04-05 2017-07-28 西安电子科技大学 基于fhog和颜色特征的目标跟踪方法及gpu加速
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680558B (zh) * 2015-03-14 2017-07-28 西安电子科技大学 使用GPU硬件加速的Struck目标跟踪方法
US10019631B2 (en) * 2015-11-05 2018-07-10 Qualcomm Incorporated Adapting to appearance variations when tracking a target object in video sequence
CN106548491B (zh) * 2016-09-30 2019-09-27 深圳大学 一种图像配准方法、其图像融合方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN106991689A (zh) * 2017-04-05 2017-07-28 西安电子科技大学 基于fhog和颜色特征的目标跟踪方法及gpu加速
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪系统

Also Published As

Publication number Publication date
CN107977980A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
KR20200031163A (ko) 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체
US10922620B2 (en) Machine learning through parallelized stochastic gradient descent
CN107977980B (zh) 一种目标跟踪方法、设备以及可读介质
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN110929839B (zh) 训练神经网络的方法和装置、电子设备和计算机存储介质
CN111488985A (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN111461164B (zh) 样本数据集的扩容方法及模型的训练方法
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
CN115063875A (zh) 模型训练方法、图像处理方法、装置和电子设备
CN110807529A (zh) 一种机器学习模型的训练方法、装置、设备及存储介质
CN113409307A (zh) 基于异质噪声特性的图像去噪方法、设备及介质
CN115457365B (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN113887535B (zh) 模型训练方法、文本识别方法、装置、设备和介质
CN111860557A (zh) 图像处理方法及装置、电子设备及计算机存储介质
CN115935208A (zh) 一种数据中心设备多元时间序列运行数据在线分割方法、设备及介质
CN114972695A (zh) 一种点云生成方法、装置、电子设备及存储介质
CN113875228B (zh) 视频插帧方法及装置、计算机可读存储介质
CN114724144A (zh) 文本识别方法、模型的训练方法、装置、设备及介质
CN115021759A (zh) 一种基于二值最小二乘法的二值稀疏信号恢复方法及系统
CN111079705B (zh) 一种振动信号分类方法
Chen et al. Improving accuracy of evolving GMM under GPGPU-friendly block-evolutionary pattern
CN114463361A (zh) 网络模型训练方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant