CN101339664B - 一种目标跟踪方法及系统 - Google Patents

一种目标跟踪方法及系统 Download PDF

Info

Publication number
CN101339664B
CN101339664B CN2008101189960A CN200810118996A CN101339664B CN 101339664 B CN101339664 B CN 101339664B CN 2008101189960 A CN2008101189960 A CN 2008101189960A CN 200810118996 A CN200810118996 A CN 200810118996A CN 101339664 B CN101339664 B CN 101339664B
Authority
CN
China
Prior art keywords
target
characteristic
interest
point
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101189960A
Other languages
English (en)
Other versions
CN101339664A (zh
Inventor
王磊
邓亚峰
黄英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CN2008101189960A priority Critical patent/CN101339664B/zh
Publication of CN101339664A publication Critical patent/CN101339664A/zh
Application granted granted Critical
Publication of CN101339664B publication Critical patent/CN101339664B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种目标跟踪方法及系统,其中,方法包括:采集跟踪目标的视频图像;在未建立跟踪目标的目标模型时,对所述视频图像进行分析,获取所述视频图像中跟踪目标的完整目标对应的区域,根据所获取的完整目标对应的区域,建立跟踪目标的目标模型;在已建立跟踪目标的目标模型后,对所述视频图像进行分析,获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域;基于兴趣点检测和局部图像特征提取技术按照金字塔匹配算法,分别将每个候选目标区域的特征与所述目标模型进行匹配,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域。本发明提供的技术方案能够提高跟踪的成功率。

Description

一种目标跟踪方法及系统
技术领域
本发明涉及目标跟踪技术,尤其涉及一种存在遮挡情况下的目标跟踪方法及系统。
背景技术
目标跟踪是计算机视觉的重要研究领域,在视频监控、人机交互、出入控制等很多场合下都有着重要的应用。
遮挡是指运动目标的一部分甚至全部被背景中的物体挡住了,在图像中不可见。存在遮挡情况下的目标跟踪是目标跟踪技术的主要挑战之一,现有技术中尚不能很好的解决存在遮挡时的目标跟踪问题,因此跟踪过程中很容易失去目标而导致跟踪失败。
发明内容
有鉴于此,本发明中一方面提供一种目标跟踪方法,另一方面提供一种目标跟踪系统,以提高目标跟踪的成功率。
本发明所提供的目标跟踪方法,包括:
采集跟踪目标的视频图像;
在未建立跟踪目标的目标模型时,对所述视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域,在所述完整目标对应的区域内进行兴趣点检测、并得到N个兴趣点,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型;
在已建立跟踪目标的目标模型后,对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域、并对所有共K个候选目标区域中的第k个候选目标区域,在所述候选目标区域内进行兴趣点检测、并得到Mk个兴趣点,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征;
分别将每个候选目标区域的特征与所述目标模型按照金字塔匹配算法进行匹配,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域;
其中,N、K、k和Mk均为大于0的整数,且Mk≤N,1≤k≤K;
所述分别将每个候选目标区域内的特征与所述目标模型按照金字塔匹配算法进行匹配包括:
对第k个候选目标区域的特征
Figure GSB00000629289100021
和所述目标模型
Figure GSB00000629289100022
构造一个从粗到细或从细到粗的多层粒度空间、标记为l=0,1,…,L,其中,Pi和Qi分别为对应一个兴趣点的设定维数的局部图像特征向量;
在第l个粒度层,将所述局部图像特征向量的每维分别以nl为步长划分为lj个特征单元,用直方图来统计每个特征单元内的特征分布、并得到候选目标区域图像第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100023
和目标模型第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100024
0≤j≤lj
计算所述
Figure GSB00000629289100025
Figure GSB00000629289100026
在第l个粒度层的匹配度
Figure GSB00000629289100027
并得到 M ( H F k l , H F 0 l ) = Σ j = 1 L min ( H F k l ( j ) , H F 0 l ( j ) ) ;
计算所述
Figure GSB00000629289100029
Figure GSB000006292891000210
在所述多层粒度空间的匹配度K(Fk,F0)、并得到 K ( F k , F 0 ) = 1 n L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 n L - l + 1 M ( H F k l , H F 0 l ) ;
将所述K(Fk,F0)作为所述第k个候选目标区域的特征与所述目标模型的匹配结果;
其中,n为大于1的正整数。
该方法进一步包括:在所述匹配结果最大的候选目标区域为跟踪目标的完整目标对应的区域时,利用所述匹配结果最大的候选目标区域的特征更新所述目标模型。
所述对视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域为:对所述视频图像进行目标检测或根据所述视频图像中的手工标定,获取所述视频图像中跟踪目标的完整目标对应的区域。
所述对视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置为:根据所述视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置。
所述根据视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置为:根据视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,利用一阶自回归动态模型或高斯随机游走模型估计得到当前图像中跟踪目标的目标区域可能存在的位置。
本发明所提供的目标跟踪系统,包括:
采集跟踪目标的视频图像的模块;
在未建立跟踪目标的目标模型时,对所述图像采集单元采集到的视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域的模块,在所述完整目标对应的区域内进行兴趣点检测、并得到N个兴趣点的模块,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征的模块,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型的模块;
在已建立跟踪目标的目标模型后,对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置的模块,将所述目标区域可能存在的位置作为候选目标区域、并对所有共K个候选目标区域中的第k个候选目标区域的模块,在所述候选目标区域内进行兴趣点检测、并得到Mk个兴趣点的模块,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征的模块,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征的模块;
分别将每个候选目标区域的特征与所述目标模型按照金字塔匹配算法进行匹配的模块,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域的模块;
其中,N、K、k和Mk均为大于0的整数,且Mk≤N,1≤k≤K;
所述分别将每个候选目标区域内的特征与所述目标模型按照金字塔匹配算法进行匹配的模块包括:
对第k个候选目标区域的特征
Figure GSB00000629289100041
和所述目标模型
Figure GSB00000629289100042
构造一个从粗到细或从细到粗的多层粒度空间、标记为l=0,1,…,L的子模块,其中,Pi和Qi分别为对应一个兴趣点的设定维数的局部图像特征向量;
在第l个粒度层,将所述局部图像特征向量的每维分别以nl为步长划分为lj个特征单元的子模块,用直方图来统计每个特征单元内的特征分布、并得到候选目标区域图像第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100043
和目标模型第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100044
的子模块,0≤j≤lj
计算所述
Figure GSB00000629289100045
Figure GSB00000629289100046
在第l个粒度层的匹配度
Figure GSB00000629289100047
并得到 M ( H F k l , H F 0 l ) = Σ j = 1 L min ( H F k l ( j ) , H F 0 l ( j ) ) 的子模块;
计算所述
Figure GSB00000629289100049
Figure GSB000006292891000410
在所述多层粒度空间的匹配度K(Fk,F0)、并得到 K ( F k , F 0 ) = 1 n L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 n L - l + 1 M ( H F k l , H F 0 l ) 的子模块;
将所述K(Fk,F0)作为所述第k个候选目标区域的特征与所述目标模型的匹配结果的子模块;
其中,n为大于1的正整数。
所述对所述图像采集单元采集到的视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域的模块包括:对所述视频图像进行目标检测或根据所述视频图像中的人工标定,获取所述视频图像中跟踪目标的完整目标对应的区域的子模块。
所述对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置的模块包括:根据所述视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置的子模块。
从上述方案可以看出,本发明中在进行目标的跟踪匹配时,通过在得到的目标区域中提取兴趣点,并根据兴趣点获取局部图像特征,得到由局部图像特征集合构成的目标模型和候选目标区域图像,然后再将二者按照金字塔匹配算法进行匹配,从而完成了目标的跟踪过程。众所周知,在存在遮挡的情况下,候选目标区域中的兴趣点通常小于或等于完整目标对应的区域中的兴趣点,但本发明中基于兴趣点检测和金字塔匹配算法的跟踪匹配,不会因为匹配对象间的兴趣点不同而匹配失败,因此解决了存在遮挡情况的人脸跟踪问题,提高了目标跟踪的成功率。
附图说明
图1为本发明实施例中人脸跟踪方法的示例性流程图;
图2为本发明实施例中人脸跟踪系统的示例性结构图;
图3为图2所示系统中目标模型建立单元的内部结构图;
图4为图2所示系统中目标区域图像获取单元的内部结构图;
图5为图2所示系统中目标匹配单元的内部结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
图1为本发明实施例中人脸跟踪方法的示例性流程图。如图1所示,该流程包括如下步骤:
步骤101,采集跟踪目标的视频图像。
步骤102,判断当前是否已经建立跟踪目标的目标模型,如果没有,则执行步骤103;否则,执行步骤104。
步骤103,对所述视频图像进行分析,获取所述视频图像中跟踪目标的完整目标对应的区域,根据所获取的完整目标对应的区域,建立跟踪目标的目标模型。
本步骤中,可通过对跟踪目标的视频图像进行目标检测或手工标定,得到视频图像中跟踪目标的完整目标对应的区域。
此外,建立跟踪对象的目标模型的过程可以是:在完整目标对应的区域内进行兴趣点检测(Interest Point Detection),得到N个兴趣点,如{q0,q1,…,qN},以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,该局部图像特征的范围大小可根据实际需要进行设定,然后将这N个兴趣点对应的局部图像特征所构成的局部图像特征集合{Q0,Q1,…,QN},即
Figure GSB00000629289100061
作为跟踪目标的目标模型。其中,Qi为对应一个兴趣点的局部图像特征向量,该向量具有设定的维数,N为大于0的整数。
其中,兴趣点检测技术是一种提取图像中“显著“点的技术,具体实现时,可采用现有技术中的多种算子进行兴趣点检测并提取局部图像特征,例如,SIFT(尺度不变特征变换)算子、Harris-Laplace(哈里斯-拉普拉斯)算子等。这些算子可以提取图像中对图像缩放、旋转甚至仿射变换都保持不变的局部图像特征,在存在遮挡的情况下,这些局部图像特征对于目标跟踪就显得尤其重要了。
步骤104,对所述视频图像进行分析,获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域。
步骤105,分别将每个候选目标区域与目标模型进行匹配,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域。
本实施例中,为了与步骤103中所描述的目标模型进行匹配,可首先在每个候选目标区域内进行兴趣点检测,并提取每个兴趣点周围的局部图像特征,将各兴趣点对应的局部图像特征构成的集合作为各候选目标区域的特征与目标模型进行匹配。
例如:假设共有K个候选目标区域,则以其中的任一个候选目标区域,如第k个候选目标区域为例,可在该第k个候选目标区域内进行兴趣点检测,得到Mk个兴趣点,如
Figure GSB00000629289100071
以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合
Figure GSB00000629289100073
作为所述候选目标区域的特征。其中,Pi为对应一个兴趣点的具有设定维数的局部图像特征向量,K、k和Mk均为大于0的整数,且Mk≤N,1≤k≤K。
基于上述的兴趣点检测及局部图像特征的提取,本步骤中在将候选目标区域的特征与目标模型进行匹配时,可按照金字塔匹配算法进行匹配。金字塔匹配的核心思想是在多层次特征空间中寻找特征点之间的对应关系。具体来说,首先将特征空间按照由粗到细或由细到粗的原则划分成多层的粒度空间。然后,在某个具体的粒度层划分多个特征单元,如果两个特征落入同一个特征单元中,则认为两个特征在该层中匹配。最后将多层空间中得到的匹配加权起来就得到两个集合的特征匹配指数。加权过程中,在细粒度层得到的匹配将比粗粒度层得到的匹配拥有更大的权值。金字塔匹配用在跟踪问题中的优点在于较低的复杂度,同时和其他匹配方法相比,未找到对应关系的特征点不会对匹配结果产生干扰,这对有遮挡发生时或者跟踪过程中部分特征点检测不稳定的情况有较好的鲁棒性。本实施例中的具体实现过程可如下所示:
对每个候选目标区域的特征和所述目标模型,构造一个从粗到细或从细到粗的多层粒度空间。例如,对第k个候选目标区域的特征
Figure GSB00000629289100081
和所述目标模型构造一个从粗到细或从细到粗的多层粒度空间,假设标记为l=0,1,…,L。
在每个粒度层,对应候选目标区域的特征和所述目标模型所包含的局部图像特征向量的每维划分多个特征单元,用直方图来统计每个特征单元内的特征分布,得到该候选目标区域图像每个粒度层各特征单元内的特征个数和目标模型每个粒度层各特征单元内的特征个数。例如,在第l个粒度层,可以2l为步长划分lj个特征单元,用直方图来统计每个特征单元内的特征分布时,得到候选目标区域图像第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100083
和目标模型第l个粒度层第j个特征单元的特征个数
Figure GSB00000629289100084
0≤j≤lj。其中,步长的选择可以有多种方式,例如,在第l个粒度层,还可以nl为步长进行划分,其中,n为大于1的正整数,可见,2l为n=2时的一个特例。
之后,对所述候选目标区域图像每个粒度层各特征单元内的特征个数和目标模型每个粒度层各特征单元内的特征个数进行匹配,之后,得到该候选目标区域的特征与所述目标模型的匹配结果。例如,可首先计算每个粒度层的匹配度,以第l个粒度层为例,则
Figure GSB00000629289100085
Figure GSB00000629289100086
在第l个粒度层的匹配度
Figure GSB00000629289100087
为: M ( H F k l , H F 0 l ) = Σ j = 1 L min ( H F k l ( j ) , H F 0 l ( j ) ) . 然后计算所有粒度层的匹配度,则
Figure GSB00000629289100089
Figure GSB000006292891000810
在所述多层粒度空间的匹配度K(Fk,F0)为: K ( F k , F 0 ) = 1 2 L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 2 L - l + 1 M ( H F k l , H F 0 l ) , 计算得到的K(Fk,F0)即为第k个候选目标区域的特征与目标模型的匹配结果。其中,当以nl为步长划分特征单元时, K ( F k , F 0 ) = 1 n L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 n L - l + 1 M ( H F k l , H F 0 l ) .
进一步地,该流程中还可包括如下步骤:
步骤106,判断匹配结果最大的候选目标区域是否为跟踪目标的完整目标对应的区域,如果是,则执行步骤107;否则,结束当前流程。
步骤107,利用匹配结果最大的候选目标区域的特征更新目标模型。
以上对本发明实施例中的目标跟踪方法进行了详细描述,下面再对本发明实施例中的目标跟踪系统进行详细描述。
图2为本发明实施例中目标跟踪系统的示例性结构图。如图2所示,该系统包括:图像采集单元、目标模型建立单元、目标区域图像获取单元和目标匹配单元。
其中,图像采集单元用于采集跟踪目标的视频图像。
目标模型建立单元用于在未建立跟踪目标的目标模型时,对所述图像采集单元采集到的视频图像进行分析,获取所述视频图像中跟踪目标的完整目标对应的区域,根据所获取的完整目标对应的区域,建立跟踪目标的目标模型。具体实现时,可通过对跟踪目标的视频图像进行目标检测或根据所述视频图像中的手工标定,得到视频图像中跟踪目标的完整目标对应的区域。建立目标模型时,可在上述完整目标对应的区域内进行兴趣点检测,得到N个兴趣点,以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型。
目标区域图像获取单元用于在已建立跟踪目标的目标模型后,对所述视频图像进行分析,获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域。为了与前面所描述的目标模型进行匹配,可对所有共K个候选目标区域中的每个候选目标区域,如第k(1≤k≤K)个候选目标区域,在所述候选目标区域内进行兴趣点检测,得到Mk(Mk≤N)个兴趣点,以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征。
目标匹配单元用于分别将每个候选目标区域的特征与所述目标模型按照金字塔匹配算法进行匹配,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域。进一步地,在匹配结果最大的候选目标区域为跟踪目标的完整目标对应的区域时,可将该匹配结果最大的候选目标区域的特征发送给目标模型建立单元以更新所述目标模型。
具体实现时,目标模型建立单元的内部结构可有多种实现形式,图3为其中的一种内部结构图示意图。如图3所示,该目标模型建立单元可包括:目标区域获取子单元、兴趣点检测子单元和目标模型生成子单元。
其中,目标区域获取子单元用于在未建立跟踪目标的目标模型时,对所述视频图像进行目标检测或根据所述视频图像中的人工标定,获取所述视频图像中跟踪目标的完整目标对应的区域。
兴趣点检测子单元用于在所述跟踪目标的完整目标对应的区域内进行兴趣点检测,得到N个兴趣点。
目标模型生成子单元用于以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型。
具体实现时,目标区域图像获取单元的内部结构可有多种实现形式,图4为其中的一种内部结构图示意图。如图4所示,该目标区域图像获取单元可包括:候选目标区域获取子单元、兴趣点检测子单元和目标区域图像生成子单元。
其中,候选目标区域获取子单元用于在已建立跟踪目标的目标模型后,对所述视频图像进行分析,获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域。
兴趣点检测子单元用于对所有共K个候选目标区域中的第k个候选目标区域,在所述候选目标区域内进行兴趣点检测,得到Mk个兴趣点。
目标区域图像生成子单元用于以每个兴趣点为中心,提取所述兴趣点对应的局部图像特征,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征。
其中,目标区域图像获取单元中的兴趣点检测子单元和目标模型建立单元中的兴趣点检测子单元在物理上可以为同一个单元。目标区域图像获取单元中的目标区域图像生成子单元和目标模型建立单元中的目标模型生成子单元在物理上可以为同一个单元。
具体实现时,目标匹配单元的内部结构可有多种实现形式,图5为其中的一种内部结构图示意图。如图5所示,该目标匹配单元可包括:粒度空间划分子单元、直方图特征统计子单元和匹配计算子单元。
其中,粒度空间划分子单元用于对每个候选目标区域的特征和所述目标模型,构造一个从粗到细或从细到粗的多层粒度空间。
直方图特征统计子单元用于在每个粒度层,对应所述候选目标区域的特征和所述目标模型所包含的局部图像特征向量的每维划分多个特征单元,用直方图来统计每个特征单元内的特征分布,得到候选目标区域图像每个粒度层各特征单元内的特征个数和目标模型每个粒度层各特征单元内的特征个数。
匹配计算子单元用于对所述候选目标区域图像每个粒度层各特征单元内的特征个数和目标模型每个粒度层各特征单元内的特征个数进行匹配,得到所述候选目标区域的特征与所述目标模型的匹配结果。
综上可见,本发明中提出了一种在存在遮挡的情况下进行目标跟踪的有效方法。该方法通过兴趣点检测技术(Interest Point Detection)获取初始的目标图像上的所有“显著“特征点并提取对应的局部图像特征,这些局部图像特征通常在图像缩放、旋转甚至仿射变换时都保持不变。然后将所有候选目标区域的兴趣点处提取的局部图像特征与目标模型对应的局部图像特征进行金字塔特征匹配,最后根据匹配结果选择相似程度最大的候选区域作为当前目标的区域,从而解决了遮挡情况下的目标跟踪问题。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种目标跟踪方法,其特征在于,该方法包括:
采集跟踪目标的视频图像;
在未建立跟踪目标的目标模型时,对所述视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域,在所述完整目标对应的区域内进行兴趣点检测、并得到N个兴趣点,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型;
在已建立跟踪目标的目标模型后,对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置,将所述目标区域可能存在的位置作为候选目标区域、并对所有共K个候选目标区域中的第k个候选目标区域,在所述候选目标区域内进行兴趣点检测、并得到Mk个兴趣点,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征;
分别将每个候选目标区域的特征与所述目标模型按照金字塔匹配算法进行匹配,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域;
其中,N、K、k和Mk均为大于0的整数,且Mk≤N,1≤k≤K;
所述分别将每个候选目标区域内的特征与所述目标模型按照金字塔匹配算法进行匹配包括:
对第k个候选目标区域的特征
Figure FSB00000629289000011
和所述目标模型
Figure FSB00000629289000012
构造一个从粗到细或从细到粗的多层粒度空间、标记为l=0,1,…,L,其中,Pi和Qi分别为对应一个兴趣点的设定维数的局部图像特征向量;
在第l个粒度层,将所述局部图像特征向量的每维分别以nl为步长划分为lj个特征单元,用直方图来统计每个特征单元内的特征分布、并得到候选目标区域图像第l个粒度层第j个特征单元的特征个数
Figure FSB00000629289000013
和目标模型第l个粒度层第j个特征单元的特征个数
Figure FSB00000629289000021
0≤j≤lj
计算所述
Figure FSB00000629289000022
Figure FSB00000629289000023
在第l个粒度层的匹配度
Figure FSB00000629289000024
并得到 M ( H F k l , H F 0 l ) = Σ j = 1 L min ( H F k l ( j ) , H F 0 l ( j ) ) ;
计算所述
Figure FSB00000629289000027
在所述多层粒度空间的匹配度K(Fk,F0)、并得到 K ( F k , F 0 ) = 1 n L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 n L - l + 1 M ( H F k l , H F 0 l ) ;
将所述K(Fk,F0)作为所述第k个候选目标区域的特征与所述目标模型的匹配结果;
其中,n为大于1的正整数。
2.如权利要求1所述的方法,其特征在于,该方法进一步包括:在所述匹配结果最大的候选目标区域为跟踪目标的完整目标对应的区域时,利用所述匹配结果最大的候选目标区域的特征更新所述目标模型。
3.如权利要求1所述的方法,其特征在于,所述对视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域为:对所述视频图像进行目标检测或根据所述视频图像中的手工标定,获取所述视频图像中跟踪目标的完整目标对应的区域。
4.如权利要求1所述的方法,其特征在于,所述对视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置为:根据所述视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置。
5.如权利要求4所述的方法,其特征在于,所述根据视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置为:根据视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,利用一阶自回归动态模型或高斯随机游走模型估计得到当前图像中跟踪目标的目标区域可能存在的位置。
6.一种目标跟踪系统,其特征在于,该系统包括:
采集跟踪目标的视频图像的模块;
在未建立跟踪目标的目标模型时,对所述图像采集单元采集到的视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域的模块,在所述完整目标对应的区域内进行兴趣点检测、并得到N个兴趣点的模块,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征的模块,将所述N个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述跟踪目标的目标模型的模块;
在已建立跟踪目标的目标模型后,对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置的模块,将所述目标区域可能存在的位置作为候选目标区域、并对所有共K个候选目标区域中的第k个候选目标区域的模块,在所述候选目标区域内进行兴趣点检测、并得到Mk个兴趣点的模块,以每个兴趣点为中心提取所述兴趣点对应的局部图像特征的模块,将所述Mk个兴趣点对应的局部图像特征所构成的局部图像特征集合作为所述候选目标区域的特征的模块;
分别将每个候选目标区域的特征与所述目标模型按照金字塔匹配算法进行匹配的模块,将匹配结果最大的候选目标区域作为跟踪目标的当前目标区域的模块;
其中,N、K、k和Mk均为大于0的整数,且Mk≤N,1≤k≤K;
所述分别将每个候选目标区域内的特征与所述目标模型按照金字塔匹配算法进行匹配的模块包括:
对第k个候选目标区域的特征
Figure FSB00000629289000031
和所述目标模型
Figure FSB00000629289000032
构造一个从粗到细或从细到粗的多层粒度空间、标记为l=0,1,…,L的子模块,其中,Pi和Qi分别为对应一个兴趣点的设定维数的局部图像特征向量;
在第l个粒度层,将所述局部图像特征向量的每维分别以nl为步长划分为lj个特征单元的子模块,用直方图来统计每个特征单元内的特征分布、并得到候选目标区域图像第l个粒度层第j个特征单元的特征个数和目标模型第l个粒度层第j个特征单元的特征个数的子模块,0≤j≤lj
计算所述
Figure FSB00000629289000043
在第l个粒度层的匹配度
Figure FSB00000629289000045
并得到 M ( H F k l , H F 0 l ) = Σ j = 1 L min ( H F k l ( j ) , H F 0 l ( j ) ) 的子模块;
计算所述
Figure FSB00000629289000047
Figure FSB00000629289000048
在所述多层粒度空间的匹配度K(Fk,F0)、并得到 K ( F k , F 0 ) = 1 n L M ( H F k 0 , H F 0 0 ) + Σ l = 1 L 1 n L - l + 1 M ( H F k l , H F 0 l ) 的子模块;
将所述K(Fk,F0)作为所述第k个候选目标区域的特征与所述目标模型的匹配结果的子模块;
其中,n为大于1的正整数。
7.如权利要求6所述的系统,其特征在于,所述对所述图像采集单元采集到的视频图像进行分析、并获取所述视频图像中跟踪目标的完整目标对应的区域的模块包括:对所述视频图像进行目标检测或根据所述视频图像中的人工标定,获取所述视频图像中跟踪目标的完整目标对应的区域的子模块。
8.如权利要求6所述的系统,其特征在于,所述对所述视频图像进行分析、并获取当前图像中跟踪目标的目标区域可能存在的位置的模块包括:根据所述视频图像中当前图像的前一帧图像中跟踪目标的目标区域位置,估计得到当前图像中跟踪目标的目标区域可能存在的位置的子模块。
CN2008101189960A 2008-08-27 2008-08-27 一种目标跟踪方法及系统 Expired - Fee Related CN101339664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101189960A CN101339664B (zh) 2008-08-27 2008-08-27 一种目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101189960A CN101339664B (zh) 2008-08-27 2008-08-27 一种目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN101339664A CN101339664A (zh) 2009-01-07
CN101339664B true CN101339664B (zh) 2012-04-18

Family

ID=40213724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101189960A Expired - Fee Related CN101339664B (zh) 2008-08-27 2008-08-27 一种目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN101339664B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783015B (zh) * 2009-01-19 2013-04-24 北京中星微电子有限公司 一种视频跟踪设备及方法
CN101852847B (zh) * 2009-04-02 2013-12-04 日电(中国)有限公司 确定目标所在空间区域的方法、设备和系统
CN101968884A (zh) * 2009-07-28 2011-02-09 索尼株式会社 检测视频图像中的目标的方法和装置
CN101840507B (zh) * 2010-04-09 2012-07-18 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN102306304B (zh) * 2011-03-25 2017-02-08 上海星尘电子科技有限公司 人脸遮挡物识别方法及其装置
CN102324030B (zh) * 2011-09-09 2013-11-06 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统
CN103150737A (zh) * 2013-01-18 2013-06-12 西北工业大学 一种适用于空间绳系机器人的实时空间目标特征点跟踪方法
US8811673B1 (en) * 2013-04-18 2014-08-19 TCL Research America Inc. Intelligent TV system and method
CN105469379B (zh) * 2014-09-04 2020-07-28 广东中星微电子有限公司 视频目标区域遮挡方法和装置
CN104182993B (zh) * 2014-09-10 2017-02-15 四川九洲电器集团有限责任公司 一种目标跟踪的方法
CN105282496B (zh) * 2014-12-02 2018-03-23 四川浩特通信有限公司 一种跟踪目标视频对象的方法
CN105608711A (zh) * 2016-01-18 2016-05-25 华东理工大学 基于局部敏感直方图的视频动态目标追踪提取方法
CN106204648B (zh) * 2016-07-05 2019-02-22 西安电子科技大学 一种基于背景剔除的目标跟踪方法及装置
CN106161953A (zh) * 2016-08-12 2016-11-23 零度智控(北京)智能科技有限公司 一种跟踪拍摄方法和装置
CN107103615A (zh) * 2017-04-05 2017-08-29 合肥酷睿网络科技有限公司 一种监控视频目标锁定追踪系统及锁定追踪方法
CN107811735B (zh) * 2017-10-23 2020-01-07 广东工业大学 一种辅助进食方法、系统、设备及计算机存储介质
CN108038415B (zh) * 2017-11-06 2021-12-28 湖南华诺星空电子技术有限公司 一种基于机器视觉的无人机自动检测与跟踪方法
CN109635749B (zh) * 2018-12-14 2021-03-16 网易(杭州)网络有限公司 基于视频流的图像处理方法及装置
CN113763419B (zh) * 2021-04-29 2023-06-20 腾讯科技(深圳)有限公司 一种目标跟踪方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1201910A (zh) * 1997-06-11 1998-12-16 三星电子株式会社 目标跟踪方法及其设备
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN101212658A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1201910A (zh) * 1997-06-11 1998-12-16 三星电子株式会社 目标跟踪方法及其设备
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN101212658A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种目标跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平7-168932A 1995.07.04

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
CN103136526B (zh) * 2013-03-01 2015-12-23 西北工业大学 基于多源图像特征融合的在线目标跟踪方法

Also Published As

Publication number Publication date
CN101339664A (zh) 2009-01-07

Similar Documents

Publication Publication Date Title
CN101339664B (zh) 一种目标跟踪方法及系统
CN108961272B (zh) 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN102831618B (zh) 基于霍夫森林的视频目标跟踪方法
CN108681700B (zh) 一种复杂行为识别方法
CN103218621B (zh) 一种室外视频监控中多尺度车辆的识别方法
CN102521565A (zh) 低分辨率视频的服装识别方法及系统
CN105872477A (zh) 视频监控方法和视频监控系统
CN101212658B (zh) 一种目标跟踪方法及装置
CN104103070B (zh) 一种基于光学图像的着陆点选取方法
CN103839065A (zh) 人群动态聚集特征提取方法
CN107182036A (zh) 基于多维特征融合的自适应位置指纹定位方法
CN102903122A (zh) 基于特征光流与在线集成学习的视频目标跟踪方法
CN102682302A (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN104134209A (zh) 一种视觉导航中的特征提取与匹配方法及系统
CN101763502A (zh) 一种高效的敏感图像检测方法及其系统
CN103034860A (zh) 基于sift特征的违章建筑检测方法
CN101197045A (zh) 一种图像立体匹配方法及其装置
CN101609507A (zh) 步态识别方法
CN101839722A (zh) 一种中低空下目标自动识别及载体高精度定位方法
CN103914685A (zh) 一种基于广义最小团图和禁忌搜索的多目标跟踪方法
CN111062278A (zh) 基于改进残差网络的异常行为识别方法
CN101551852A (zh) 训练系统、训练方法和检测方法
CN104408445A (zh) 实时人体自动检测方法
CN106295532A (zh) 一种视频图像中的人体动作识别方法
CN107403451A (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120418

Termination date: 20200827

CF01 Termination of patent right due to non-payment of annual fee