CN109978920A - 一种目标跟踪方法及目标跟踪设备 - Google Patents

一种目标跟踪方法及目标跟踪设备 Download PDF

Info

Publication number
CN109978920A
CN109978920A CN201910244894.1A CN201910244894A CN109978920A CN 109978920 A CN109978920 A CN 109978920A CN 201910244894 A CN201910244894 A CN 201910244894A CN 109978920 A CN109978920 A CN 109978920A
Authority
CN
China
Prior art keywords
local manifolds
local
manifolds
target
motion blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910244894.1A
Other languages
English (en)
Inventor
曹黎俊
李翰
陈文林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Intelligence Technology (hunan) Co Ltd
Original Assignee
Zhongke Intelligence Technology (hunan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Intelligence Technology (hunan) Co Ltd filed Critical Zhongke Intelligence Technology (hunan) Co Ltd
Priority to CN201910244894.1A priority Critical patent/CN109978920A/zh
Publication of CN109978920A publication Critical patent/CN109978920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法及目标跟踪设备，用于提高目标跟踪的处理效率。目标跟踪方法包括：获取目标的输入图像；根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型；根据运动模型对目标进行跟踪。

Description

一种目标跟踪方法及目标跟踪设备
技术领域
本发明涉及视频领域，特别是涉及一种目标跟踪方法及目标跟踪设备。
背景技术
现有的大多数跟踪算法并没有针对图像模糊做特殊的处理，一般假设图像中并不存在模糊。而事实上，运动模糊在一些低质量视频或者低速摄像机拍摄的视频中非常常见，对于一些严重的图像模糊，如果跟踪算法不考虑模糊的影响，则很有可能导致跟踪失败。运动模糊造成目标跟踪困难的原因有两点，其一是模糊现象破坏了目标的表观特征，导致图像中目标的表现混入了背景的特征信息，其二是造成运动模糊的原因大多是目标相对于摄像机做复杂快速运动，而复杂的目标运动也是跟踪的一个难点问题，如果跟踪算法不考虑模糊表观和复杂运动这两点因素，那么在这些存在严重运动模糊的视频中很有可能失效。
为了克服视频中存在的严重模糊对跟踪造成的影响，第一种方法是首先对输入图像做去模糊处理，即进行图像复原，然后再进行跟踪；第二种方法是在跟踪算法的表观建模和运动模型上考虑模糊的因素，在模板匹配时将模板做模糊处理，从而避免对原始图像去模糊。
但是，第一种方法中使用图像复原需要进行图像反卷积处理等，会改变目标的表观特征，并且图像复原算法一般比较耗时，时间开销过大，第二种方法中无论图像是否有模糊跟踪策略都一样，造成跟踪效率低。
发明内容
本发明的目的是提供一种目标跟踪方法及跟踪设备，用于提高目标跟踪的处理效率。
为解决上述技术问题，本发明第一方面提供了一种目标跟踪方法，包括：
获取目标的输入图像；
根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型；
根据运动模型对目标进行跟踪。
进一步的，根据傅里叶分析算法对输入图像进行模糊检测，得到运动模糊结果，包括：
通过傅里叶分析算法对输入图像进行二维离散傅里叶变换，得到二维离散集；
通过无穷范数归一化对二维离散集进行处理，得到归一化集；
计算归一化集中所有元素的平均值，得到频域特征值；
判断频域特征值是否超过频域阈值；
当频域特征值超过频域阈值时，确定输入图像的运动模糊结果为运动模糊；
当频域特征值不超过频域阈值时，确定输入图像的运动模糊结果为非运动模糊。
进一步的，根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型，包括：
获取目标的表观流形，表观流形包括至少两个局部流形；
当输入图像的运动模糊结果为运动模糊时，从至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型；
当输入图像的运动模糊结果为非运动模糊时，从至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型；
根据观测模型计算得到目标的运动模型。
进一步的，从至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型，包括：
获取至少两个局部流形中每一个局部流形对应的特征参数；
根据特征参数计算得到每一个局部流形的匹配分数值；
从至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形；
根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型。
进一步的，从至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型，包括：
获取至少两个局部流形中每一个局部流形对应的特征参数；
根据特征参数计算得到每一个局部流形的匹配分数值；
当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对第一局部流形的对应的权值进行更新，得到新的局部流形；
当存在第二局部流形的匹配分数值不超过匹配阈值时，建立第三局部流形，将第三局部流形取代至少两个局部流形中权值最小的局部流形，得到新的局部流形；
从新的局部流形中选择任意一个局部流形，根据任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型。
本发明第二方面提供一种目标跟踪设备，包括：
获取模块，用于获取目标的输入图像；
模糊检测模块，用于根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
运动模型模块，用于根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型；
跟踪模块，用于根据运动模型对目标进行跟踪。
进一步的，
模糊检测模块，还用于通过傅里叶分析算法对输入图像进行二维离散傅里叶变换，得到二维离散集；
模糊检测模块，还用于通过无穷范数归一化对二维离散集进行处理，得到归一化集；
模糊检测模块，还用于计算归一化集中所有元素的平均值，得到频域特征值；
模糊检测模块，还用于判断频域特征值是否超过频域阈值；
模糊检测模块，还用于当频域特征值超过频域阈值时，确定输入图像的运动模糊结果为运动模糊；
模糊检测模块，还用于当频域特征值不超过频域阈值时，确定输入图像的运动模糊结果为非运动模糊。
进一步的，
获取模块，还用于获取目标的表观流形，表观流形包括至少两个局部流形；
运动模型模块，还用于当输入图像的运动模糊结果为运动模糊时，从至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型；
运动模型模块，还用于当输入图像的运动模糊结果为非运动模糊时，从至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型；
运动模型模块，还用于根据观测模型计算得到目标的运动模型。
进一步的，
获取模块，还用于获取至少两个局部流形中每一个局部流形对应的特征参数；
运动模型模块，还用于根据特征参数计算得到每一个局部流形的匹配分数值；
运动模型模块，还用于从至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形；
运动模型模块，还用于根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型。
进一步的，
获取模块，还用于获取至少两个局部流形中每一个局部流形对应的特征参数；
运动模型模块，还用于根据特征参数计算得到每一个局部流形的匹配分数值；
运动模型模块，还用于当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对第一局部流形的对应的权值进行更新，得到新的局部流形；
运动模型模块，还用于当存在第二局部流形的匹配分数值不超过匹配阈值时，建立第三局部流形，将第三局部流形取代至少两个局部流形中权值最小的局部流形，得到新的局部流形；
运动模型模块，还用于从新的局部流形中选择任意一个局部流形，根据任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型。
以上可知，本发明的目标跟踪方法是先获取目标的输入图像，根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果，根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型，再根据运动模型对目标进行跟踪。与目前的第一种方法相比，本发明的方法无需对输入图像进行去模糊的预处理，减少了目标跟踪的耗时；与第二种方法相比，本发明的方法是根据运动模糊结果得到运动模型的，对于输入图像是否有模糊跟踪策略是不同的，跟踪效率明显提升。因此，本发明的目标跟踪方法提高了的目标跟踪的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的目标跟踪方法的一个实施例的流程示意图；
图2为本发明实施例的模糊检测得到运动模糊结果的流程示意图；
图3为本发明实施例的目标跟踪方法的另一个实施例的流程示意图；
图4为本发明实施例的目标跟踪方法的又一个实施例的流程示意图；
图5为本发明实施例的目标跟踪系统的一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种目标跟踪方法及目标跟踪设备，用于提高目标跟踪的处理效率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的一种目标跟踪方法，包括：
101、获取目标的输入图像；
本实施例中，现有的大多数跟踪算法并没有针对图像模糊做特殊的处理，一般假设图像中并不存在模糊。而事实上，运动模糊在一些低质量视频或者低速摄像机拍摄的视频中非常常见，对于一些严重的图像模糊，如果跟踪算法不考虑模糊的影响，则很有可能导致跟踪失败。运动模糊造成目标跟踪困难的原因有两点，其一是模糊现象破坏了目标的表观特征，导致图像中目标的表现混入了背景的特征信息，其二是造成运动模糊的原因大多是目标相对于摄像机做复杂快速运动，而复杂的目标运动也是跟踪的一个难点问题，如果跟踪算法不考虑模糊表观和复杂运动这两点因素，那么在这些存在严重运动模糊的视频中很有可能失效。因此，本实施例中，需要先获取目标的输入图像，输入图像可以是视频图像中的多个帧。
102、根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
本实施例中，为了判断输入图像是否存在模糊现象，一个可以利用的事实是输入图像经过模糊后，高频分量会减小，即模糊实际上是对输入图像进行了低通滤波处理。为此，我们可以通过对输入图像做傅立叶分析，并提取反映输入图像频域的特征来帮助判断输入图像中是否存在模糊。因此，本实施例中根据傅里叶分析算法对输入图像进行运动模糊检测，就能得到运动模糊结果。
103、根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型；
本实施例中，基于粒子滤波框架跟踪算法是基于粒子滤波框架预先构建的，其特征是可以更好的处理非线性非高斯的运动模型。由于在步骤102对输入图像的运动模糊进行检查之后，得到运动模糊结果可能是运动模糊或者非运动模糊，那么针对不同的运动模糊结果，在预先构建基于粒子滤波框架跟踪算法时，可以针对不同的运动模糊结果构建不同的计算公式，从而能够根据运动模糊结果，得到运动模糊和非运动模糊状态下的目标的运动模型。
104、根据运动模型对目标进行跟踪。
本实施例中，在目标的运动模型建立之后，就可以按照运动模型实现目标的跟踪。
本发明实施例中，目标跟踪方法是先获取目标的输入图像，根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果，根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型，再根据运动模型对目标进行跟踪。与目前的第一种方法相比，本发明的方法无需对输入图像进行去模糊的预处理，减少了目标跟踪的耗时；与第二种方法相比，本发明的方法是根据运动模糊结果得到运动模型的，对于输入图像是否有模糊跟踪策略是不同的，跟踪效率明显提升。因此，本发明的目标跟踪方法提高了的目标跟踪的处理效率。
在以上图1的实施例中，说明了运动模糊检测是可以根据傅里叶分析算法来实现的，其具体的实现过程通过以下的实施例进行详细说明。
可选的，本发明的一些实施例中，如图2所示，根据傅里叶分析算法对输入图像进行模糊检测，得到运动模糊结果，包括：
201、通过傅里叶分析算法对输入图像进行二维离散傅里叶变换，得到二维离散集；
202、通过无穷范数归一化对二维离散集进行处理，得到归一化集；
203、计算归一化集中所有元素的平均值，得到频域特征值；
204、判断频域特征值是否超过频域阈值，当频域特征值超过频域阈值时，执行步骤205；当频域特征值不超过频域阈值时，执行步骤206；
205、确定输入图像的运动模糊结果为运动模糊；
206、确定输入图像的运动模糊结果为非运动模糊。
本发明实施例中，为了判断输入图像是否存在模糊现象，一个可以利用的事实是输入图像经过模糊后，高频分量会减小，即模糊实际上是对输入图像进行了低通滤波处理。为此，我们可以通过对输入图像做傅立叶分析，并提取反映输入图像的频域特征来帮助判断输入图像中是否存在模糊。首先我们使用傅里叶分析算法(fast fourier transform，FFT)对输入图像进行二维离散傅里叶变换(discrete fourier transform，DFT)，得到二维离散集If，然后通过无穷(L∞)范数归一化对二维离散集If进行处理，得到归一化集A。我们计算A中所有元素的平均值得到反映输入图像频域的特征的频域特征值f，f的计算公式为：
其中，aij表示A中的元素，n表示A中所有元素的数量；
判断频域特征值f是否超过频域阈值f0，f0是根据对图像进行多次的模糊判断训练从而确定，f0的取值越大，模糊检测的准确率越小；反之，则准确率越大，一般f0的合适取值范围为f0＝8.0×10-5～10.0×10-5之间，具体不做限定。当f超过f0时，确定输入图像的运动模糊结果为运动模糊；当f不超过f0时，确定输入图像的运动模糊结果为非运动模糊。
本发明实施例中，具体说明了如何根据傅里叶分析算法进行模糊检测的，利用傅里叶分析算法只需要对输入图像进行二维离散傅里叶变换，再进行归一化，在计算平均值，即可得到频域特征值，通过频域特征值来判断输入图像是否模糊，在进行目标跟踪之前，就能实现输入图像是否运动模糊的预先判断，减少了后续目标跟踪的难度。
在以上实施例中，介绍了运动模糊结果的得到方式，以及根据不同的运动模糊结果，利用基于粒子滤波框架跟踪算法可以得到目标的运动模型，下面通过实施例(一)和(二)对不同的运动模糊结果下，是如何得到运动模型的进行具体的说明。
(一)、输入图像的运动模糊结果为运动模糊；
请参阅图3，本发明实施例提供的一种目标跟踪方法，包括：
301、获取目标的输入图像；
详情请参考图1所示的实施例中的步骤101。
302、根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
详情请参考图2所示的实施例中的步骤201至206。
303、当输入图像的运动模糊结果为运动模糊时，获取目标的表观流形；
本实施例中，由于本发明的实施例中是基于粒子滤波框架跟踪算法的，在粒子滤波框架中，跟踪可以看作是一个贝叶斯状态空间推理问题，其计算公式如下：
p(Xt Ot)∝p(ot|Xt)∫p(Xt|Xt-1)p(Xt-1|Ot-1)dXt-1
其中，Ot＝{o1，o2，...，ot}表示的是一系列的观测合集，ot表示的是目标在t时刻的观测向量，Xt表示目标在t时刻的状态参数，由于目标跟踪最主要的信息信息是目标的位置和尺度，那么Xt主要包括四个变量，即Xt＝(xt，yt，ht，wt)，其中，xt和yt分别表示目标在x、y的位移，ht和wt分别表示方框(bounding box)的长度及宽度，p(ot|Xt)表示的是目标状态为Xt时观测ot的概率，即观测模型；
在以上的粒子滤波框架的基础上，由于当前的图像处理领域中，已经提出了基本表观模型，实验已经证明了该模型在一些复杂的条件下如姿态、光照变化以及杂乱背景等依然可以鲁棒的工作。但是经过扩展后，该模型可以更好的用于模糊目标的跟踪。高维非线性的表观数据可以转换到低维线性空间建模，这样能够更好的处理视角和光照等变化。通常使用具有局部结构的表观流形来对表观数据建模，假设目标的表观流形为M，可以分解为几个局部流形M1、M2、...、MN，需要说明的是，还可以为构建的每一个局部流形模型赋予权值ωi，t(i＝1～N)，其中N表示局部流形的个数，通常取值为3至5，本实施例中限定局部流形的个数不少于两个，具体的取值不做限定。每一个局部流形Mi表示目标在不同场景下的其中一种模态，并在低维子空间中通过在线方式学习得到，对应的特征向量和中心记为Ui和ui，满足条件和
一般在输入图像非运动模糊时，可以通过任意一个局部流形Mi来重构ot，重构的观测图像的计算公式如下：
重构的误差定义为重构的观测图像和原始观测图像ot之间距离||ei||，计算公式如下：
其中I表示高斯卷积核。
304、获取至少两个局部流形中每一个局部流形对应的特征参数；
本实施例中，在以上步骤303中描述的特征向量和中心Ui和ui，即表示局部流形的特征参数。
305、根据特征参数计算得到每一个局部流形的匹配分数值；
本实施例中，虽然目标的表观流形的分布使用一组局部流形来描述，但是每一时刻目标的表观只可能从一种流形模型中产生，因此我们需要从中找到与表观流形最匹配的局部流形，由于ot与Mi生成的概率与重构误差幅度成反比，定义ot与每一个局部流形的匹配分数值Sim(ot，Mi)，匹配分数值的大小介于0～1之间，Sim(ot，Mi)的计算公式为：
其中o1是一个常量参数，在输入图像存在运动模糊时，是与实际存在较大误差的，原始非模糊图像Id(x)和模糊后的图像Ib(x)可以简单的通过一个高斯卷积核kv联系起来，Ib(x)的计算公式如下：
其中，参数向量v决定了运动模糊的幅度和方向，k、关于向量v是对称的，即运动模糊的效果对于v和-v是相同的；
定义一组高斯卷积核来模拟不同的运动模糊效应：K＝{kθ，l|θ∈Θ，l∈L}，即假设运动模块仅由方向θ和幅度l控制，Θ表示运动模糊的方向集合，并且L表示运动模糊的幅度集合，并且
在检测到输入图像的运动模糊结果是运动模糊的情况下，匹配分数值Sim(ot，Mi)的计算公式如下：
或者，通过st＝Sim(ot，Mi*)来表示匹配分数。
306、从至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形；
本实施例中，在根据以上305步骤的匹配分数计算公式计算得到匹配分数值之后，根据以下最匹配的局部流形的计算公式：
选择匹配分数值最大的局部流形，作为最匹配的局部流形。
307、根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型；
本实施例中，基于粒子滤波框架的运动模糊计算公式如下：
在以上步骤304中，已经描述了局部流形的特征参数可以通过特征向量和中心Ui和ui来表示，α2是一个常量参数，因此，可以计算得到观测模型。
308、根据观测模型计算得到目标的运动模型；
本实施例中，在已经得到观测模型之后，通过将观测模型代入到预置的运动模型计算公式，就能得到运动模型p(Xt|Xt-1)，具体公式如下：
p(Xt|Xt-1)＝w1N(Xt-1，∑1)+w2N(Xt-1，∑2)
其中，N表示高斯分布，w1和w2是两个高斯函数各自的权值，对角协方差矩阵和其中σx1＞σx2，并且即高斯函数N(Xt-1，∑1)使用较大的∑1来描述突然运动，而高斯函数N(Xt-1，∑2)则使用较小的∑2来描述平缓的运动，其中w1和w2的计算方式如下：
ωi，t＝(1-pω)ωi，t-1+ρωBi，t
其中，ρω表示的是的学习速率，对于匹配的Mi*，对应的Bi，t＝1，其他的赋值为0。
309、根据运动模型对目标进行跟踪。
本实施例中，在目标的运动模型建立之后，就可以按照运动模型实现目标的跟踪。
本发明实施例中，详细的描述了在输入图像出现了运动模糊的时候，是如何确定最匹配的局部流形，从而根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式得到观测模型，从而计算得到运动模型，实现对目标的跟踪。
(二)、输入图像的运动模糊结果为非运动模糊。
请参阅图4，本发明实施例提供的一种目标跟踪方法，包括：
401、获取目标的输入图像；
详情请参考图1所示的实施例中的步骤101。
402、根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
详情请参考图2所示的实施例中的步骤201至206。
403、当输入图像的运动模糊结果为非运动模糊时，获取目标的表观流形；
详情请参考图3所示的实施例中的步骤303。
404、获取至少两个局部流形中每一个局部流形对应的特征参数；
详情请参考图3所示的实施例中的步骤304。
405、根据特征参数计算得到每一个局部流形的匹配分数值；
本实施例中，虽然目标的表观流形的分布使用一组局部流形来描述，但是每一时刻目标的表观只可能从一种流形模型中产生，因此我们需要从中找到与表观流形最匹配的局部流形，由于ot与Mi生成的概率与重构误差幅度成反比，定义ot与每一个局部流形的匹配分数值Sim(ot，Mi)(0～1)的计算公式为：
其中α1是一个常量参数，在输入图像存在运动模糊时，是与实际存在较大误差的，原始非模糊图像Id(x)和模糊后的图像Ib(x)可以简单的通过一个高斯卷积核kv联系起来，Ib(x)的计算公式如下：
其中，参数向量v决定了运动模糊的幅度和方向，kv关于向量v是对称的，即运动模糊的效果对于v和-v是相同的；
定义一组高斯卷积核来模拟不同的运动模糊效应：K＝{kθ，l|θ∈Θ，l∈L}，即假设运动模块仅由方向θ和幅度l控制，Θ表示运动模糊的方向集合，并且L表示运动模糊的幅度集合，并且
在检测到输入图像的运动模糊结果是运动模糊的情况下，匹配分数值Sim(ot，Mi)的计算公式如下：
或者，通过st＝Sim(ot，Mi*)来表示匹配分数。
406、当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对第一局部流形的对应的权值进行更新，得到新的局部流形；
本实施例中，由于本实施例中针对的是没有运动模糊的情况，那么在匹配分数值st＝Sim(ot，Mi*)大于匹配阈值s0时，将对应的局部流形记为第一局部流形，使用增量式算法对第一局部流形的对应的权值进行更新，得到新的局部流形。
407、当存在第二局部流形的匹配分数值不超过匹配阈值时，建立第三局部流形，将第三局部流形取代至少两个局部流形中权值最小的局部流形，得到新的局部流形；
本实施例中，在匹配分数值st＝Sim(ot，Mi*)不大于匹配阈值s0时，将对应的局部流形记为第二局部流形，形成建立新的第三局部流形，将第三局部流形取代所有的局部流形中权值最小的局部流形，得到新的局部流形。
408、从新的局部流形中选择任意一个局部流形，根据任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型；
本实施例中，基于粒子滤波框架的非运动模糊计算公式如下：
其中，特征参数可以通过特征向量和中心Ui和ui来表示，α2是一个常量参数，因此，可以计算得到观测模型。
409、根据观测模型计算得到目标的运动模型；
本实施例中，在已经得到观测模型之后，通过将观测模型代入到预置的运动模型计算公式，就能得到运动模型p(Xt|Xt-1)，具体公式如下：
p(Xt|Xt-1)＝w1N(Xt-1，∑1)+w2N(Xt-1，∑2)
其中，N表示高斯分布，w1和w2是两个高斯函数各自的权值，对角协方差矩阵和其中σx1＞σx2，并且σy1＞σy2，即高斯函数N(Xt-1，∑1)使用较大的∑1来描述突然运动，而高斯函数N(Xt-1，∑2)则使用较小的∑2来描述平缓的运动，其中w1和w2的计算方式如下：
ωi，t＝(1-ρω)ωi，t-1+ρωBi，t
其中，ρω表示的是的学习速率，对于匹配的Mi*，对应的Bi，t＝1，其他的赋值为0。
410、根据运动模型对目标进行跟踪。
本实施例中，在目标的运动模型建立之后，就可以按照运动模型实现目标的跟踪。
本发明实施例中，详细的描述了在输入图像没有运动模糊的时候，是如何更新局部流形，并且选择任意一个局部流形，与基于粒子滤波框架的运动模糊计算公式进行计算得到观测模型，从而计算得到运动模型，实现对目标的跟踪。
以上实施例中详细说明了目标跟踪方法，下面通过实施例对应用以上目标跟踪方法的目标跟踪设备进行说明。
请参考图5，本发明实施例提供一种目标跟踪设备，包括：
获取模块501，用于获取目标的输入图像；
模糊检测模块502，用于根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果；
运动模型模块503，用于根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型；
跟踪模块504，用于根据运动模型对目标进行跟踪。
本发明实施例中，获取模块501先获取目标的输入图像，模糊检测模块502根据傅里叶分析算法对输入图像进行运动模糊检测，得到运动模糊结果，运动模型模块503根据运动模糊结果，利用基于粒子滤波框架跟踪算法得到目标的运动模型，跟踪模块504再根据运动模型对目标进行跟踪。与目前的第一种方法相比，本发明的方法无需对输入图像进行去模糊的预处理，减少了目标跟踪的耗时；与第二种方法相比，本发明的方法是根据运动模糊结果得到运动模型的，对于输入图像是否有模糊跟踪策略是不同的，跟踪效率明显提升。因此，本发明的目标跟踪方法提高了的目标跟踪的处理效率。
可选的，如图5所示，本发明的一些实施例中，
模糊检测模块502，还用于通过傅里叶分析算法对输入图像进行二维离散傅里叶变换，得到二维离散集；
模糊检测模块502，还用于通过无穷范数归一化对二维离散集进行处理，得到归一化集；
模糊检测模块502，还用于计算归一化集中所有元素的平均值，得到频域特征值；
模糊检测模块502，还用于判断频域特征值是否超过频域阈值；
模糊检测模块502，还用于当频域特征值超过频域阈值时，确定输入图像的运动模糊结果为运动模糊；
模糊检测模块502，还用于当频域特征值不超过频域阈值时，确定输入图像的运动模糊结果为非运动模糊。
本发明实施例中，详情参考图2所示实施例中的步骤201至206，具体说明了模糊检测模块502如何根据傅里叶分析算法进行模糊检测的，利用傅里叶分析算法只需要对输入图像进行二维离散傅里叶变换，再进行归一化，在计算平均值，即可得到频域特征值，通过频域特征值来判断输入图像是否模糊，在进行目标跟踪之前，就能实现输入图像是否运动模糊的预先判断，减少了后续目标跟踪的难度。
可选的，如图5所示，本发明的一些实施例中，
获取模块501，还用于获取目标的表观流形，表观流形包括至少两个局部流形；
运动模型模块503，还用于当输入图像的运动模糊结果为运动模糊时，从至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型；
运动模型模块503，还用于当输入图像的运动模糊结果为非运动模糊时，从至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型；
运动模型模块503，还用于根据观测模型计算得到目标的运动模型。
可选的，如图5所示，本发明的一些实施例中，
运动模型模块503，还用于计算至少两个局部流形中每一个局部流形的匹配分数值；
运动模型模块503，还用于获取至少两个局部流形中每一个局部流形对应的特征参数；
运动模型模块503，还用于根据特征参数计算得到每一个局部流形的匹配分数值；
运动模型模块503，还用于从至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形
运动模型模块503，还用于根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型。
本发明实施例中，详细的描述了运动模型模块503在输入图像出现了运动模糊的时候，是如何确定最匹配的局部流形，从而根据最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式得到观测模型，从而计算得到运动模型，实现对目标的跟踪。
可选的，如图5所示，本发明的一些实施例中，
运动模型模块503，还用于获取至少两个局部流形中每一个局部流形对应的特征参数；
运动模型模块503，还用于根据特征参数计算得到每一个局部流形的匹配分数值；
运动模型模块503，还用于当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对第一局部流形的对应的权值进行更新，得到新的局部流形；
运动模型模块503，还用于当存在第二局部流形的匹配分数值不超过匹配阈值时，建立第三局部流形，将第三局部流形取代至少两个局部流形中权值最小的局部流形，得到新的局部流形；
运动模型模块503，还用于从新的局部流形中选择任意一个局部流形，根据任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型。
本发明实施例中，详细的描述了运动模型模块503在输入图像没有运动模糊的时候，是如何更新局部流形，并且选择任意一个局部流形，与基于粒子滤波框架的运动模糊计算公式进行计算得到观测模型，从而计算得到运动模型，实现对目标的跟踪。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
获取目标的输入图像；
根据傅里叶分析算法对所述输入图像进行运动模糊检测，得到运动模糊结果；
根据所述运动模糊结果，利用基于粒子滤波框架跟踪算法得到所述目标的运动模型；
根据所述运动模型对所述目标进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述根据傅里叶分析算法对所述输入图像进行模糊检测，得到运动模糊结果，包括：
通过傅里叶分析算法对所述输入图像进行二维离散傅里叶变换，得到二维离散集；
通过无穷范数归一化对所述二维离散集进行处理，得到归一化集；
计算所述归一化集中所有元素的平均值，得到频域特征值；
判断所述频域特征值是否超过频域阈值；
当所述频域特征值超过所述频域阈值时，确定所述输入图像的运动模糊结果为运动模糊；
当所述频域特征值不超过所述频域阈值时，确定所述输入图像的运动模糊结果为非运动模糊。
3.根据权利要求2所述的方法，其特征在于，所述根据所述运动模糊结果，利用基于粒子滤波框架跟踪算法得到所述目标的运动模型，包括：
获取所述目标的表观流形，所述表观流形包括至少两个局部流形；
当所述输入图像的运动模糊结果为运动模糊时，从所述至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型；
当所述输入图像的运动模糊结果为非运动模糊时，从所述至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型；
根据所述观测模型计算得到所述目标的运动模型。
4.根据权利要求3所述的方法，其特征在于，所述从所述至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型，包括：
获取所述至少两个局部流形中每一个局部流形对应的特征参数；
根据所述特征参数计算得到所述每一个局部流形的匹配分数值；
从所述至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形；
根据所述最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型。
5.根据权利要求3所述的方法，其特征在于，所述从所述至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型，包括：
获取所述至少两个局部流形中每一个局部流形对应的特征参数；
根据所述特征参数计算得到所述每一个局部流形的匹配分数值；
当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对所述第一局部流形的对应的权值进行更新，得到新的局部流形；
当存在第二局部流形的匹配分数值不超过所述匹配阈值时，建立第三局部流形，将所述第三局部流形取代所述至少两个局部流形中权值最小的局部流形，得到新的局部流形；
从所述新的局部流形中选择任意一个局部流形，根据所述任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型。
6.一种目标跟踪设备，其特征在于，包括：
获取模块，用于获取目标的输入图像；
模糊检测模块，用于根据傅里叶分析算法对所述输入图像进行运动模糊检测，得到运动模糊结果；
运动模型模块，用于根据所述运动模糊结果，利用基于粒子滤波框架跟踪算法得到所述目标的运动模型；
跟踪模块，用于根据所述运动模型对所述目标进行跟踪。
7.根据权利要求6所述的设备，其特征在于，
所述模糊检测模块，还用于通过傅里叶分析算法对所述输入图像进行二维离散傅里叶变换，得到二维离散集；
所述模糊检测模块，还用于通过无穷范数归一化对所述二维离散集进行处理，得到归一化集；
所述模糊检测模块，还用于计算所述归一化集中所有元素的平均值，得到频域特征值；
所述模糊检测模块，还用于判断所述频域特征值是否超过频域阈值；
所述模糊检测模块，还用于当所述频域特征值超过所述频域阈值时，确定所述输入图像的运动模糊结果为运动模糊；
所述模糊检测模块，还用于当所述频域特征值不超过所述频域阈值时，确定所述输入图像的运动模糊结果为非运动模糊。
8.根据权利要求7所述的设备，其特征在于，
所述获取模块，还用于获取所述目标的表观流形，所述表观流形包括至少两个局部流形；
所述运动模型模块，还用于当所述输入图像的运动模糊结果为运动模糊时，从所述至少两个局部流形中确定最匹配的局部流形，利用基于粒子滤波框架的运动模糊计算公式计算得到观测模型；
所述运动模型模块，还用于当所述输入图像的运动模糊结果为非运动模糊时，从所述至少两个局部流形中选择任意一个局部流形，利用基于粒子滤波框架的非运动模型计算公式计算得到观测模型；
所述运动模型模块，还用于根据所述观测模型计算得到所述目标的运动模型。
9.根据权利要求8所述的设备，其特征在于，
所述获取模块，还用于获取所述至少两个局部流形中每一个局部流形对应的特征参数；
所述运动模型模块，还用于根据所述特征参数计算得到所述每一个局部流形的匹配分数值；
所述运动模型模块，还用于从所述至少两个局部流形中选择匹配分数值最大的局部流形，作为最匹配的局部流形；
所述运动模型模块，还用于根据所述最匹配的局部流形及基于粒子滤波框架的运动模糊计算公式，得到观测模型。
10.根据权利要求8所述的设备，其特征在于，
所述获取模块，还用于获取所述至少两个局部流形中每一个局部流形对应的特征参数；
所述运动模型模块，还用于根据所述特征参数计算得到所述每一个局部流形的匹配分数值；
所述运动模型模块，还用于当存在第一局部流形的匹配分数值超过匹配阈值时，通过增量式算法对所述第一局部流形的对应的权值进行更新，得到新的局部流形；
所述运动模型模块，还用于当存在第二局部流形的匹配分数值不超过所述匹配阈值时，建立第三局部流形，将所述第三局部流形取代所述至少两个局部流形中权值最小的局部流形，得到新的局部流形；
所述运动模型模块，还用于从所述新的局部流形中选择任意一个局部流形，根据所述任意一个局部流形及基于粒子滤波框架的非运动模糊计算公式，得到观测模型。
CN201910244894.1A 2019-03-28 2019-03-28 一种目标跟踪方法及目标跟踪设备 Pending CN109978920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244894.1A CN109978920A (zh) 2019-03-28 2019-03-28 一种目标跟踪方法及目标跟踪设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244894.1A CN109978920A (zh) 2019-03-28 2019-03-28 一种目标跟踪方法及目标跟踪设备

Publications (1)

Publication Number Publication Date
CN109978920A true CN109978920A (zh) 2019-07-05

Family

ID=67081374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244894.1A Pending CN109978920A (zh) 2019-03-28 2019-03-28 一种目标跟踪方法及目标跟踪设备

Country Status (1)

Country Link
CN (1) CN109978920A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648355A (zh) * 2019-09-29 2020-01-03 中科智感科技(湖南)有限公司 一种图像跟踪方法、系统及相关装置
CN110675424A (zh) * 2019-09-29 2020-01-10 中科智感科技(湖南)有限公司 一种图像中目标物的跟踪方法、系统及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANWEI DING等: "Tracking Blurred Object with Data-Driven Tracker", 《2012 IEEE NINTH INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL-BASED SURVEILLANCE》 *
赵亮等: "基于流形的目标跟踪系统设计", 《电视技术》 *
邹国华: "振动环境下运动目标图像精确检测仿真", 《计算机仿真》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648355A (zh) * 2019-09-29 2020-01-03 中科智感科技(湖南)有限公司 一种图像跟踪方法、系统及相关装置
CN110675424A (zh) * 2019-09-29 2020-01-10 中科智感科技(湖南)有限公司 一种图像中目标物的跟踪方法、系统及相关装置

Similar Documents

Publication Publication Date Title
Suganuma et al. Attention-based adaptive selection of operations for image restoration in the presence of unknown combined distortions
CN113591795B (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
Li et al. SPM-BP: Sped-up PatchMatch belief propagation for continuous MRFs
CN105427333B (zh) 视频序列图像的实时配准方法、系统及拍摄终端
CN110378235A (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN102713938A (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
CN107968916A (zh) 一种适用于非固定场景的快速视频稳像方法
CN107945111A (zh) 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN106991396A (zh) 一种基于智慧路灯伴侣的目标接力跟踪算法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN113269682B (zh) 一种结合帧间信息的非均匀运动模糊视频复原方法
CN109035196A (zh) 基于显著性的图像局部模糊检测方法
CN110414571A (zh) 一种基于特征融合的网站报错截图分类方法
CN107767358A (zh) 一种图像中物体模糊度确定方法和装置
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN110136162A (zh) 无人机视角遥感目标跟踪方法及装置
CN109978920A (zh) 一种目标跟踪方法及目标跟踪设备
CN110276321A (zh) 一种遥感视频目标跟踪方法及系统
CN107360377B (zh) 一种车载视频稳像方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
Ning et al. Dual path networks for multi-person human pose estimation
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统
Tao et al. Measurement algorithm of notch length of plastic parts based on video
CN110322471A (zh) 全景视频浓缩的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705