CN111507999B - 一种基于fdsst算法的目标追踪方法及装置 - Google Patents
一种基于fdsst算法的目标追踪方法及装置 Download PDFInfo
- Publication number
- CN111507999B CN111507999B CN201910094223.1A CN201910094223A CN111507999B CN 111507999 B CN111507999 B CN 111507999B CN 201910094223 A CN201910094223 A CN 201910094223A CN 111507999 B CN111507999 B CN 111507999B
- Authority
- CN
- China
- Prior art keywords
- target
- tracked
- frame image
- current frame
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于FDSST算法的目标追踪方法及装置,该方法包括:根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征,将其与预设滤波器模板进行位置滤波得到待追踪目标的位置;判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值;当待追踪目标在当前帧图像的位置满足预设相关度阈值时,根据位置提取待追踪目标在当前帧图像中的第二HOG特征并将其与预设滤波器模板进行尺度滤波得到待追踪目标的尺度;根据位置及尺度,生成在当前帧图像中待追踪目标的追踪结果。通过实施本发明,实现了对待追踪目标的追踪结果的可靠性进行评估,以便于及时终止错误的目标追踪,进而提高了追踪结果的准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于FDSST算法的目标追踪方法及装置。
背景技术
目标跟踪是计算机视觉领域的重要研究方向之一,在精确制导、智能视频监控、人机交互、机器人导航、公共安全等领域有着重要的作用。目标跟踪的基本问题是在一个视频或图像序列中选择感兴趣的目标,在接下来的连续帧图像中,找到该目标的准确位置并形成其运动轨迹。
近年来,基于相关滤波器的追踪算法由于其良好的跟踪效果发展迅速,其中,基于快速判别尺寸空间跟踪算法(Fast Discriminative Scale Space Tracking,简称FDSST算法)是一个非常典型且高效的基于相关滤波器的目标跟踪算法,其是通过设计两个一致的相关滤波器,分别实现目标的跟踪和尺度变换,通过不断的对这两个滤波器的更新,实现对目标的追踪。但是,目前的FDSST算法,通过计算目标图像的方向梯度直方图(Histogram ofOriented Gradient,简称HOG)特征对滤波器进行更新时,由于HOG特征计算方式复杂,进而大大影响了目标追踪的效率,并且现有的FDSST算法无法对目标追踪结果的可靠性进行评估,例如当追踪目标由于遮挡过大或超出图像视野等原因造成追踪目标丢失时,现有的FDSST算法无法及时终止错误的目标追踪。
发明内容
本发明实施例提供了一种基于FDSST算法的目标追踪方法及装置,以克服现有技术中FDSST算法用于目标追踪时,无法对目标追踪结果的可靠性进行评估,不能及时终止错误的目标追踪的问题。
本发明实施例提供了一种基于FDSST算法的目标追踪方法,包括:根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征;将所述第一HOG特征与预设滤波器模板进行位置滤波得到所述待追踪目标在当前帧图像的位置;判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值;当所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值时,根据所述位置提取所述待追踪目标在当前帧图像中的第二HOG特征,将所述第二HOG特征与所述预设滤波器模板进行尺度滤波得到所述待追踪目标在当前帧图像的尺度;根据所述待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中所述待追踪目标的追踪结果。
可选地,所述的基于FDSST算法的目标追踪方法,还包括:根据所述待追踪目标在当前帧图像的追踪结果,根据所述在当前帧图像中的所述待追踪目标在当前帧图像的追踪结果,提取所述待追踪目标在所述当前帧图像中的第三HOG特征;根据所述当前帧图像中的第三HOG特征对所述预设滤波器模板进行更新,并返回所述根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含所述待追踪目标的帧图像。
可选地,所述提取所述待追踪目标在当前帧图像中的第一HOG特征,包括:根据上一帧图像的所述追踪结果,得到特征提取区域,并将所述特征提取区域分为多个连通区域,各所述连通区域的大小相同;计算预设滤波区域内各个像素点到其中一所述连通区域中心点的距离,生成卷积滤波模板,所述滤波区域为其中一所述连通区域的外扩区域;采用所述卷积滤波模板分别卷积各所述连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征;采用奇异值分解算法对所述特征提取区域的HOG特征进行降维,得到所述待追踪目标在当前帧图像中的第一HOG特征。
可选地,通过以下步骤确定所述预设相关度阈值:获取所述待追踪目标的历史追踪数据,并根据所述历史追踪数据从初始帧图像中的所述待追踪目标的预设初始追踪结果开始,分别计算第一预设数量的帧图像中每一帧图像的所述追踪结果与所述待追踪目标的相似度值;计算各第一预设数量的帧图像的所述相似度值的平均值;根据所述平均值确定所述预设相关度阈值。
可选地,所述判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值,包括:根据所述待追踪目标的历史追踪数据,从所述当前帧图像开始,分别计算第二预设数量的帧图像中每一帧图像的所述追踪结果与所述待追踪目标的相似度值;判断在所述第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值;当在所述第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时,判定所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值。
可选地,所述的基于FDSST算法的目标追踪方法,还包括:当在所述第二预设数量的帧图像中有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时,判定所述待追踪目标跟踪失败。
可选地,在所述根据所述待追踪目标在当前帧图像的追踪结果,提取所述待追踪目标在所述当前帧图像中的第三HOG特征之后,在所述根据当前帧图像的第三HOG特征对所述预设滤波器模板进行更新之前,所述基于FDSST算法的目标追踪方法还包括:判断使用所述预设滤波器模板的帧图像的个数是否超过预设阈值;当所述使用所述预设滤波器模板的帧图像的个数超过所述预设阈值时,执行所述根据当前帧图像的第三HOG特征对所述预设滤波器模板进行更新的步骤。
可选地,所述的基于FDSST算法的目标追踪方法,还包括:当所述使用所述预设滤波器模板的帧图像的个数不超过所述预设阈值时,直接返回所述根据当前帧图像的上一帧图像中所述待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含所述待追踪目标的帧图像。
本发明实施例还提供了一种基于FDSST算法的目标追踪装置,包括:处理模块,用于根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征;所述处理模块还用于将所述第一HOG特征与预设滤波器模板进行位置滤波得到所述待追踪目标在当前帧图像的位置;所述处理模块还用于判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值;当所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值时,所述处理模块还用于根据所述位置提取所述待追踪目标在当前帧图像中的第二HOG特征,将所述第二HOG特征与所述预设滤波器模板进行尺度滤波得到所述待追踪目标在当前帧图像的尺度;所述处理模块还用于根据所述待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中所述待追踪目标的追踪结果。
本发明实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述的基于FDSST算法的目标追踪方法。
本发明实施例还提供了一种智能设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述的基于FDSST算法的目标追踪方法。
本发明技术方案,具有如下优点:
本发明实施例提供了一种基于FDSST算法的目标追踪方法及装置,该方法通过根据待追踪目标在上一帧图像的追踪结果提取当前帧图像的第一HOG特征,然后将其与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置,当该位置满足预设相关度阈值时,再根据位置提取当前帧图像的第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度,根据位置和尺度得到待追踪目标在当前帧图像的追踪结果。从而通过将当前帧图像中的追踪位置与预设相关度阈值进行判断,实现了对待追踪目标的追踪结果的可靠性进行评估,以便于及时终止错误的目标追踪,进而提高了追踪结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于FDSST算法的目标追踪方法的流程图;
图2为本发明实施例中提取待追踪目标在上一帧图像中的HOG特征的具体流程图;
图3为本发明实施例中确定预设相关度阈值的具体流程图;
图4为本发明实施例中判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值的具体流程图;
图5为本发明实施例中基于FDSST算法的目标追踪方法的另一流程图;
图6为本发明实施例中基于FDSST算法的目标追踪装置的结构示意图;
图7为本发明实施例中智能设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供了一种基于FDSST算法的目标追踪方法,如图1所示,该基于FDSST算法的目标追踪方法包括:
步骤S1:根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征。在实际应用中,当上一帧图像为初始帧图像时,该追踪结果为用户在初始帧图像上确定的待追踪目标的预设初始追踪结果,或者根据其他检测算法对初始帧图像进行检测得到的预设初始追踪结果,具体地,该预设初始追踪结果为初始帧图像上包含该待追踪目标的目标框。
步骤S2:将第一HOG特征与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置。在实际应用中,该预设滤波器模板包括位置滤波器和尺度滤波器,位置滤波器用于进行位置滤波,尺度滤波器用于进行尺度滤波。
步骤S3:判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值。在实际应用中,该预设相关度阈值是根据待追踪目标的历史追踪数据确定的,该预设相关度阈值可以根据不同的待追踪目标进行动态的调整,以保证对待追踪目标位置追踪结果进行评估的准确性。当待追踪目标在当前帧图像的位置满足预设相关度阈值时,执行步骤S4,否则判定待追踪目标跟踪失败。
步骤S4:当待追踪目标在当前帧图像的位置满足预设相关度阈值时,根据位置提取待追踪目标在当前帧图像中的第二HOG特征,将第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度。在实际应用中,当确定待追踪目标的位置追踪准确时,通过尺度滤波器进行尺度滤波,以获取待追踪目标的尺度信息,进而可以根据待追踪目标的位置信息和尺度信息确定其在当前帧图像的追踪结果。
步骤S5:根据待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中待追踪目标的追踪结果。在实际应用中,该追踪结果为在当前帧图像中包含该待追踪目标的目标框。
通过上述的步骤S1至步骤S5,本发明实施例的基于FDSST算法的目标追踪方法,通过根据待追踪目标在上一帧图像的追踪结果提取当前帧图像的第一HOG特征,然后将其与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置,当该位置满足预设相关度阈值时,再根据位置提取当前帧图像的第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度,根据位置和尺度得到待追踪目标在当前帧图像的追踪结果。从而通过将当前帧图像中的追踪位置与预设相关度阈值进行判断,实现了对待追踪目标的追踪结果的可靠性进行评估,以便于及时终止错误的目标追踪,进而提高了追踪结果的准确性。
在一较佳实施例中,如图2所示,上述的步骤S1中提取待追踪目标在当前帧图像中的第一HOG特征,具体包括:
步骤S11:根据上一帧图像的追踪结果,得到特征提取区域,并将特征提取区域分为多个连通区域,各连通区域的大小相同。在实际应用中。该追踪结果为上一帧图像中包含该待追踪目标的目标框,将该目标框对应至当前帧图像的相同位置,得到疑似目标框,假设该疑似目标框所包含图像部分的大小为110x155,则特征提取区域为该疑似目标框外扩两倍后所包含的区域,该特征提取区域所包含图像部分的大小为220x310,将该特征提取区域划分成若干个4x4的连通区域(简称cell),显然220÷4=55,而310÷4=77.5不是整数,也就是说划分之后依然还有多余像素不能构成cell。处理办法是将图像缩放成能被4整除的长宽(如216x304),再划分。216÷4=54,304÷4=76,因此,216x304的图像可以得到54x76个cell,没有重叠。
步骤S12:计算预设滤波区域内各个像素点到其中一连通区域中心点的距离,生成卷积滤波模板,滤波区域为其中一连通区域的外扩区域。在实际应用中,该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域,假设上述的一个cell的大小为4x4,则该预设滤波区域的大小为8x8,使得该预设卷积滤波模板的中心与该cell的中心重合,分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值,并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中,构成8x8的矩阵,即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中,由于上述的各个cell之间互不重叠,所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变,只进行一次计算即可得到该卷积滤波模板对应的矩阵,从而大大降低了计算量。
步骤S13:采用卷积滤波模板分别卷积各连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征。在实际应用中,将上述步骤S12所得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积,从而将当前cell中临近像素点的梯度幅值加权到当前cell的HOG特征,使得每个cell的HOG特征的计算可以一次计算完成,避免了依赖若干次临近点的加权,进而实现了并行计算加速,大大提高了HOG特征的计算速度,进而提高了对待追踪目标的追踪效率。然后将各个cell的HOG特征进行串联,得到特征提取区域的HOG特征,例如:每个cell的HOG特征的维数为3,若上述的特征提取区域中共有6个cell,则该特征提取区域的HOG特征的维数为3x6共18维。
步骤S14:采用奇异值分解算法对特征提取区域的HOG特征进行降维,得到待追踪目标在上一帧图像中的第一HOG特征。在实际应用中,由于上述的特征提取区域中包含多个cell,因而最终得到的HOG特征的维数比较高,不利于后续进行计算,通过奇异值分解算法对特征提取区域的HOG特征进行降维处理,以得到维数较低的HOG特征,需要说明的是,在本发明实施例中,所采用的降维算法为奇异值分解算法,在实际应用中,还可以根据实际需要采用其他的降维方法对HOG特征进行降维处理,只要能满足目标追踪需要的HOG特征即可,本发明并不以此为限。
在一较佳实施例中,上述的步骤S2,将第一HOG特征与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置。在实际应用中,该预设滤波器模板包括位置滤波器和尺度滤波器,位置滤波器用于进行位置滤波,该位置滤波器的设置与现有技术中的FDSST算法的位置滤波器的设计原理和实现方式相同,在此不再赘述。
在一较佳实施例中,如图3所示,上述的步骤S3中的预设相关度阈值通过如下步骤确定:
步骤S101:获取待追踪目标的历史追踪数据,并根据历史追踪数据从初始帧图像中的待追踪目标的预设初始追踪结果开始,分别计算第一预设数量的帧图像中每一帧图像的追踪结果与待追踪目标的相似度值。在实际应用中,该预设初始追踪结果为初始帧图像上包含该待追踪目标的目标框,该目标框可由用户直接给定也可根据其他检测算法对初始帧图像进行检测得到目标框,假设该第一预设数量为10,则从初始帧图像开始,获取前10个帧图像中每个帧图像的追踪结果,即待追踪目标的目标框,分别计算各个目标框与待追踪目标的初始帧图像中的目标框的相似度值。
步骤S102:计算各第一预设数量的帧图像的相似度值的平均值。在实际应用中,当第一预设数量为10时,则计算从初始帧图像开始连续10个帧图像的上述相似度值的平均值。
步骤S103:根据平均值确定预设相关度阈值。具体地,将上述10个帧图像的追踪结果的相似度值的平均值的一半确定为上述的预设相关度阈值,需要说明的是,在实际应用中,上述的预设相关度阈值可以根据实际需要调整为上述相似度平均值乘以对应的比例系数,该比例系数为0~1之间,本发明并不以此为限。
在一较佳实施例中,如图4所示,上述的步骤S3,判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值,具体包括:
步骤S31:根据待追踪目标的历史追踪数据,从当前帧图像开始,分别计算第二预设数量的帧图像中每一帧图像的追踪结果与待追踪目标的相似度值。在实际应用中,上述的历史追踪数据为已经完成目标追踪的若干帧图像,及各帧图像多对应的追踪结果,假设上述的第二预设数量为10,则分别计算在历史追踪数据中当前帧图像之前完成待追踪目标追踪的10个帧图像(包括当前帧图像)的追踪结果与追踪目标的相似度值。
步骤S32:判断在第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值。在实际应用中,假设第二预设数量为10,第三预设数量为5,则判断从当前帧图像开始之前完成待追踪目标追踪的10个帧图像中是否有连续5个帧图像的相似度值低于上述的预设相关度阈值即通过上述步骤计算的相似度平均值。
步骤S33:当在第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时,判定待追踪目标在当前帧图像的位置满足预设相关度阈值。在实际应用中,如果上述的10个帧图像中没有连续5个帧图像的相似度值低于预设相关度阈值,则认定当前帧图像的待追踪目标的位置时准确的,可以继续进行待追踪目标的尺度追踪的步骤,执行步骤S4。
步骤S34:当在第二预设数量的帧图像中有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时,判定待追踪目标跟踪失败。在实际应用中,在各个帧图像中可能存在目标出视野或由于遮挡过大而影响追踪结果的情况,如果上述的10个帧图像中有连续5个帧图像的相似度值低于预设相关度阈值,则认定待追踪目标跟丢,判断待追踪目标跟踪失败,终止追踪。从而使得该目标追踪方法具有自省能力,当判定跟踪失败时可以及时终止,不会跟错追踪目标还继续进行追踪,进而提升了整个追踪方法的稳定性。在实际应用中,也可以不停止追踪,而是通过在当前帧图像中重新给出或通过检测算法得到待追踪目标的位置,进行初始化追踪,然后返回步骤S1,继续对待追踪目标的下一个帧图像进行目标追踪。
具体地,在一实施例中,上述的步骤S4,根据上述的位置提取待追踪目标在当前帧图像中的第二HOG特征,将第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度,在实际应用中,将上述通过位置滤波得到的位置作为中心,长宽乘以17个尺度缩放因子得到17个新的连通区域,分别提取各个新的连通区域的HOG特征,将这些HOG特征进行串联得到上述的第二HOG特征。该预设滤波器模板包括位置滤波器和尺度滤波器,尺度滤波器用于进行尺度滤波,该尺度滤波器的设置与现有技术中的FDSST算法的尺度滤波器的设计原理和实现方式相同,在此不再赘述。
上述提取各个新的连通区域的HOG特征,将这些HOG特征进行串联得到上述的第二HOG特征的具体过程为:
首先,计算预设滤波区域内各个像素点到其中一连通区域中心点的距离,生成卷积滤波模板,滤波区域为其中一连通区域的外扩区域。在实际应用中,该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域,假设上述的一个cell的大小为4x4,则该预设滤波区域的大小为8x8,使得该预设卷积滤波模板的中心与该cell的中心重合,分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值,并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中,构成8x8的矩阵,即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中,由于上述的各个cell之间互不重叠,所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变,只进行一次计算即可得到该卷积滤波模板对应的矩阵,从而大大降低了计算量。
然后,采用卷积滤波模板分别卷积各连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征。在实际应用中,将上述步骤中得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积,从而将当前cell中临近像素点的梯度幅值加权到当前cell的HOG特征,使得每个cell的HOG特征的计算可以一次计算完成,避免了依赖若干次临近点的加权,进而实现了并行计算加速,大大提高了HOG特征的计算速度,进而提高了对待追踪目标的追踪效率。然后将各个cell的HOG特征进行串联,得到特征提取区域的HOG特征,例如:每个cell的HOG特征的维数为3,若上述的特征提取区域中共有6个cell,则该特征提取区域的HOG特征的维数为3x6共18维。
最后,采用奇异值分解算法对特征提取区域的HOG特征进行降维,得到待追踪目标在上一帧图像中的第一HOG特征。在实际应用中,由于上述的特征提取区域中包含多个cell,因而最终得到的HOG特征的维数比较高,不利于后续进行计算,通过奇异值分解算法对特征提取区域的HOG特征进行降维处理,以得到维数较低的HOG特征,需要说明的是,在本发明实施例中,所采用的降维算法为奇异值分解算法,在实际应用中,还可以根据实际需要采用其他的降维方法对HOG特征进行降维处理,只要能满足目标追踪需要的HOG特征即可,本发明并不以此为限。
具体地,在一实施例中,上述的步骤S5,根据待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中待追踪目标的追踪结果,在实际应用中,该追踪结果为在当前帧图像中包含该待追踪目标的目标框,目标框的位置由上述待追踪目标在当前帧图像的位置确定,该目标框的大小由上述待追踪目标在当前帧图像的尺度确定。
在一较佳实施例中,如图5所示,上述的基于FDSST算法的目标追踪方法还包括:
步骤S6:根据在当前帧图像中的待追踪目标在当前帧图像的追踪结果,提取待追踪目标在当前帧图像中的第三HOG特征;。在实际应用中,该提取待追踪目标在当前帧图像中的第三HOG特征的详细步骤如下:
首先,根据上一帧图像的追踪结果,得到特征提取区域,并将特征提取区域分为多个连通区域,各连通区域的大小相同。在实际应用中。该追踪结果为上一帧图像中包含该待追踪目标的目标框,将该目标框对应至当前帧图像的相同位置,得到疑似目标框,假设该疑似目标框所包含图像部分的大小为110x155,则特征提取区域为该疑似目标框外扩两倍后所包含的区域,该特征提取区域所包含图像部分的大小为220x310,将该特征提取区域划分成若干个4x4的连通区域(简称cell),显然220÷4=55,而310÷4=77.5不是整数,也就是说划分之后依然还有多余像素不能构成cell。处理办法是将图像缩放成能被4整除的长宽(如216x304),再划分。216÷4=54,304÷4=76,因此,216x304的图像可以得到54x76个cell,没有重叠。
其次,计算预设滤波区域内各个像素点到其中一连通区域中心点的距离,生成卷积滤波模板,滤波区域为其中一连通区域的外扩区域。在实际应用中,该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域,假设上述的一个cell的大小为4x4,则该预设滤波区域的大小为8x8,使得该预设卷积滤波模板的中心与该cell的中心重合,分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值,并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中,构成8x8的矩阵,即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中,由于上述的各个cell之间互不重叠,所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变,只进行一次计算即可得到该卷积滤波模板对应的矩阵,从而大大降低了计算量。
然后,采用卷积滤波模板分别卷积各连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征。在实际应用中,将上述步骤中所得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积,从而将当前cell中临近像素点的梯度幅值加权到当前cell的HOG特征,使得每个cell的HOG特征的计算可以一次计算完成,避免了依赖若干次临近点的加权,进而实现了并行计算加速,大大提高了HOG特征的计算速度,进而提高了对待追踪目标的追踪效率。然后将各个cell的HOG特征进行串联,得到特征提取区域的HOG特征,例如:每个cell的HOG特征的维数为3,若上述的特征提取区域中共有6个cell,则该特征提取区域的HOG特征的维数为3x6共18维。
最后,采用奇异值分解算法对特征提取区域的HOG特征进行降维,得到待追踪目标在上一帧图像中的第一HOG特征。在实际应用中,由于上述的特征提取区域中包含多个cell,因而最终得到的HOG特征的维数比较高,不利于后续进行计算,通过奇异值分解算法对特征提取区域的HOG特征进行降维处理,以得到维数较低的HOG特征,需要说明的是,在本发明实施例中,所采用的降维算法为奇异值分解算法,在实际应用中,还可以根据实际需要采用其他的降维方法对HOG特征进行降维处理,只要能满足目标追踪需要的HOG特征即可,本发明并不以此为限。
步骤S7:根据当前帧图像中的第三HOG特征对预设滤波器模板进行更新,并返回根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含待追踪目标的帧图像。在实际应用中,上述的预设滤波器模板中的位置滤波器和尺度滤波器的参数设置需要根据待跟踪目标的跟踪结果进行更新,该更新过程参见现有技术中对位置滤波器和尺度滤波器的相关参数的更新过程,在此不再进行赘述。通过不断对上述预设滤波器模板进行更新对待追踪目标的所有帧图像进行遍历追踪,进而保障了待追踪目标的追踪结果的准确性。
在一较佳实施例中,如图5所示,在执行上述的步骤S6之后,在执行步骤S7之前,上述的基于FDSST算法的目标追踪方法还包括:
步骤S8:判断使用预设滤波器模板的帧图像的个数是否超过预设阈值。在实际应用中,相邻的若干个帧图像的预设滤波器模板较为接近,如果对每一个帧图像都进行预设滤波器模板的更新,则会影响整个追踪方法的追踪效率,因而,可以在不影响追踪结果的前提下,根据实际情况,如果使用当前预设滤波器模板的个数超过预设阈值个数的帧图像则对预设滤波器模板进行更新,从而既加快了目标追踪的速度又保障了目标追踪结果的准确性。
当使用预设滤波器模板的帧图像的个数超过预设阈值时,执行步骤S7。在实际应用中,假设该预设阈值为6,则当使用当前预设滤波器模板的帧图像的个数超过6个,则执行步骤S7对该预设滤波器模板进行更新。
当使用预设滤波器模板的帧图像的个数不超过预设阈值时,直接返回上述的步骤S1,直至遍历完所有包含待追踪目标的帧图像。在实际应用中,假设该预设阈值为6,当使用当前预设滤波器模板的帧图像的个数不超过6个,则不执行步骤S7,直接返回执行步骤S1,对下一帧图像进行待追踪目标的追踪。
通过上述步骤S1至步骤S8,本发明实施例的基于FDSST算法的目标追踪方法,通过根据待追踪目标在上一帧图像的追踪结果提取当前帧图像的第一HOG特征,然后将其与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置,当该位置满足预设相关度阈值时,再根据位置提取当前帧图像的第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度,根据位置和尺度得到待追踪目标在当前帧图像的追踪结果。从而通过将当前帧图像中的追踪位置与预设相关度阈值进行判断,实现了对待追踪目标的追踪结果的可靠性进行评估,以便于及时终止错误的目标追踪,进而提高了追踪结果的准确性。
实施例2
本发明实施例提供了一种基于FDSST算法的目标追踪装置,如图6所示,该基于FDSST算法的目标追踪装置包括:
处理模块1,用于根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征。具体实现过程如下:
首先,根据上一帧图像的追踪结果,得到特征提取区域,并将特征提取区域分为多个连通区域,各连通区域的大小相同。在实际应用中。该追踪结果为上一帧图像中包含该待追踪目标的目标框,将该目标框对应至当前帧图像的相同位置,得到疑似目标框,假设该疑似目标框所包含图像部分的大小为110x155,则特征提取区域为该疑似目标框外扩两倍后所包含的区域,该特征提取区域所包含图像部分的大小为220x310,将该特征提取区域划分成若干个4x4的连通区域(简称cell),显然220÷4=55,而310÷4=77.5不是整数,也就是说划分之后依然还有多余像素不能构成cell。处理办法是将图像缩放成能被4整除的长宽(如216x304),再划分。216÷4=54,304÷4=76,因此,216x304的图像可以得到54x76个cell,没有重叠。
然后,计算预设滤波区域内各个像素点到其中一连通区域中心点的距离,生成卷积滤波模板,滤波区域为其中一连通区域的外扩区域。在实际应用中,该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域,假设上述的一个cell的大小为4x4,则该预设滤波区域的大小为8x8,使得该预设卷积滤波模板的中心与该cell的中心重合,分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值,并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中,构成8x8的矩阵,即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中,由于上述的各个cell之间互不重叠,所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变,只进行一次计算即可得到该卷积滤波模板对应的矩阵,从而大大降低了计算量。
然后,采用卷积滤波模板分别卷积各连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征。在实际应用中,将上述步骤S12所得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积,从而将当前cell中临近像素点的梯度幅值加权到当前cell的HOG特征,使得每个cell的HOG特征的计算可以一次计算完成,避免了依赖若干次临近点的加权,进而实现了并行计算加速,大大提高了HOG特征的计算速度,进而提高了对待追踪目标的追踪效率。然后将各个cell的HOG特征进行串联,得到特征提取区域的HOG特征,例如:每个cell的HOG特征的维数为3,若上述的特征提取区域中共有6个cell,则该特征提取区域的HOG特征的维数为3x6共18维。
最后,采用奇异值分解算法对特征提取区域的HOG特征进行降维,得到待追踪目标在上一帧图像中的第一HOG特征。在实际应用中,由于上述的特征提取区域中包含多个cell,因而最终得到的HOG特征的维数比较高,不利于后续进行计算,通过奇异值分解算法对特征提取区域的HOG特征进行降维处理,以得到维数较低的HOG特征,需要说明的是,在本发明实施例中,所采用的降维算法为奇异值分解算法,在实际应用中,还可以根据实际需要采用其他的降维方法对HOG特征进行降维处理,只要能满足目标追踪需要的HOG特征即可,本发明并不以此为限。
处理模块1还用于将第一HOG特征与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置。在实际应用中,该预设滤波器模板包括位置滤波器和尺度滤波器,位置滤波器用于进行位置滤波,该位置滤波器的设置与现有技术中的FDSST算法的位置滤波器的设计原理和实现方式相同,在此不再赘述。
处理模块1还用于判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值。在实际应用中,该预设相关度阈值通过如下步骤确定:
首先,获取待追踪目标的历史追踪数据,并根据历史追踪数据从初始帧图像中的待追踪目标的预设初始追踪结果开始,分别计算第一预设数量的帧图像中每一帧图像的追踪结果与待追踪目标的相似度值。在实际应用中,该预设初始追踪结果为初始帧图像上包含该待追踪目标的目标框,该目标框可由用户直接给定也可根据其他检测算法对初始帧图像进行检测得到目标框,假设该第一预设数量为10,则从初始帧图像开始,获取前10个帧图像中每个帧图像的追踪结果,即待追踪目标的目标框,分别计算各个目标框与待追踪目标的初始帧图像中的目标框的相似度值。
然后,计算各第一预设数量的帧图像的相似度值的平均值。在实际应用中,当第一预设数量为10时,则计算从初始帧图像开始连续10个帧图像的上述相似度值的平均值。
最后,根据平均值确定预设相关度阈值。具体地,将上述10个帧图像的追踪结果的相似度值的平均值的一半确定为上述的预设相关度阈值,需要说明的是,在实际应用中,上述的预设相关度阈值可以根据实际需要调整为上述相似度平均值乘以对应的比例系数,该比例系数为0~1之间,本发明并不以此为限。
具体地,在一实施例中,上述的处理模块1判断待追踪目标在当前帧图像的位置是否满足预设相关度阈值的具体执行过程包括:
首先,根据待追踪目标的历史追踪数据,从当前帧图像开始,分别计算第二预设数量的帧图像中每一帧图像的追踪结果与待追踪目标的相似度值。在实际应用中,上述的历史追踪数据为已经完成目标追踪的若干帧图像,及各帧图像多对应的追踪结果,假设上述的第二预设数量为10,则分别计算在历史追踪数据中当前帧图像之前完成待追踪目标追踪的10个帧图像(包括当前帧图像)的追踪结果与追踪目标的相似度值。
然后,判断在第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值。在实际应用中,假设第二预设数量为10,第三预设数量为5,则判断从当前帧图像开始之前完成待追踪目标追踪的10个帧图像中是否有连续5个帧图像的相似度值低于上述的预设相关度阈值即通过上述步骤计算的相似度平均值。
最后,当在第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时,判定待追踪目标在当前帧图像的位置满足预设相关度阈值。在实际应用中,如果上述的10个帧图像中没有连续5个帧图像的相似度值低于预设相关度阈值,则认定当前帧图像的待追踪目标的位置时准确的,可以继续进行待追踪目标的尺度追踪的步骤。当在第二预设数量的帧图像中有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时,判定待追踪目标跟踪失败。在实际应用中,在各个帧图像中可能存在目标出视野或由于遮挡过大而影响追踪结果的情况,如果上述的10个帧图像中有连续5个帧图像的相似度值低于预设相关度阈值,则认定待追踪目标跟丢,判断待追踪目标跟踪失败,终止追踪。从而使得该目标追踪方法具有自省能力,当判定跟踪失败时可以及时终止,不会跟错追踪目标还继续进行追踪,进而提升了整个追踪方法的稳定性。在实际应用中,也可以不停止追踪,而是通过在当前帧图像中重新给出或通过检测算法得到待追踪目标的位置,进行初始化追踪,然后处理模块1执行根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征,继续对待追踪目标的下一个帧图像进行目标追踪。
当待追踪目标在当前帧图像的位置满足预设相关度阈值时,处理模块1还用于根据位置提取待追踪目标在当前帧图像中的第二HOG特征,将第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度。在实际应用中,将上述通过位置滤波得到的位置作为中心,长宽乘以17个尺度缩放因子得到17个新的连通区域,分别提取各个新的连通区域的HOG特征,将这些HOG特征进行串联得到上述的第二HOG特征,相关内容参见上述第一HOG特征的提取过程的相关描述,在此不再进行赘述。该预设滤波器模板包括位置滤波器和尺度滤波器,尺度滤波器用于进行尺度滤波,该尺度滤波器的设置与现有技术中的FDSST算法的尺度滤波器的设计原理和实现方式相同,在此不再赘述。
处理模块1还用于根据待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中待追踪目标的追踪结果。在实际应用中,该追踪结果为在当前帧图像中包含该待追踪目标的目标框,目标框的位置由上述待追踪目标在当前帧图像的位置确定,该目标框的大小由上述待追踪目标在当前帧图像的尺度确定。
在一较佳实施例中,上述的基于FDSST算法的目标追踪装置中的处理模块1还用于根据在当前帧图像中的待追踪目标在当前帧图像的追踪结果,提取待追踪目标在当前帧图像中的第三HOG特征;根据待追踪目标在当前帧图像的追踪结果,提取待追踪目标在当前帧图像中的第三HOG特征。在实际应用中,该提取待追踪目标在当前帧图像中的第三HOG特征的详细步骤和内容参见上述处理模块1提取第一HOG特征的相关描述,在此不再进行赘述。
处理模块1还用于根据当前帧图像中的第三HOG特征对预设滤波器模板进行更新,并返回根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含待追踪目标的帧图像。在实际应用中,上述的预设滤波器模板中的位置滤波器和尺度滤波器的参数设置需要根据待跟踪目标的跟踪结果进行更新,该更新过程参见现有技术中对位置滤波器和尺度滤波器的相关参数的更新过程,在此不再进行赘述。通过不断对上述预设滤波器模板进行更新对待追踪目标的所有帧图像进行遍历追踪,进而保障了待追踪目标的追踪结果的准确性。
在实际应用中上述处理模块1还用于判断使用预设滤波器模板的帧图像的个数是否超过预设阈值。在实际应用中,相邻的若干个帧图像的预设滤波器模板较为接近,如果对每一个帧图像都进行预设滤波器模板的更新,则会影响整个追踪方法的追踪效率,因而,可以在不影响追踪结果的前提下,根据实际情况,如果使用当前预设滤波器模板的个数超过预设阈值个数的帧图像则对预设滤波器模板进行更新,从而既加快了目标追踪的速度又保障了目标追踪结果的准确性。当使用预设滤波器模板的帧图像的个数超过预设阈值时,处理模块1执行根据当前帧图像中的第三HOG特征对预设滤波器模板进行更新,并返回根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含待追踪目标的帧图像。在实际应用中,假设该预设阈值为6,则当使用当前预设滤波器模板的帧图像的个数超过6个,则处理模块1对该预设滤波器模板进行更新。当使用预设滤波器模板的帧图像的个数不超过预设阈值时,处理模块1直接执行根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含待追踪目标的帧图像。在实际应用中,假设该预设阈值为6,当使用当前预设滤波器模板的帧图像的个数不超过6个,则处理模块1直接执行根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取待追踪目标在当前帧图像中的第一HOG特征的步骤,对下一帧图像进行待追踪目标的追踪。
通过上述各个组成部分的协同合作,本发明实施例提供的基于FDSST算法的目标追踪装置,通过HOG特征提取模块提取当前帧的第一HOG特征,然后通过位置信息生成模块将其与预设滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置,由判断模块判断当该位置满足预设相关度阈值时,再利用尺度信息生成模块根据当前帧图像中待追踪目标的位置提取第二HOG特征与预设滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度,最后通过追踪结果生成模块根据位置和尺度得到待追踪目标在当前帧图像的追踪结果。从而通过将当前帧图像中的追踪位置与预设相关度阈值进行判断,实现了对待追踪目标的追踪结果的可靠性进行评估,以便于及时终止错误的目标追踪,进而提高了追踪结果的准确性。
实施例3
本发明实施例提供一种非暂态计算机存储介质,该计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于FDSST算法的目标追踪方法,其中,上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;该存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
实施例4
本发明实施例提供一种智能设备,其结构示意图如图7所示,该智能设备包括:一个或多个处理器410以及存储器420,图7中以一个处理器410为例。
上述的智能设备还可以包括:输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图7中以通过总线连接为例。
处理器410可以为中央处理器(Central Processing Unit,CPU)。处理器410还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的基于FDSST算法的目标追踪方法对应的程序指令/模块,处理器410通过运行存储在存储器420中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的基于FDSST算法的目标追踪方法。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据基于FDSST算法的目标追踪方法的处理装置的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至基于FDSST算法的目标追踪装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息,以及产生与基于FDSST算法的目标追踪操作的处理装置有关的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
一个或者多个模块存储在存储器420中,当被一个或者多个处理器410执行时,执行如图1-图5所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本发明实施例中详尽描述的技术细节,具体可参见如图1-图5所示的实施例中的相关描述。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种基于FDSST算法的目标追踪方法,其特征在于,包括:
根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征;
将所述第一HOG特征与预设滤波器模板进行位置滤波得到所述待追踪目标在当前帧图像的位置;
判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值;
当所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值时,根据所述位置提取所述待追踪目标在当前帧图像中的第二HOG特征,将所述第二HOG特征与所述预设滤波器模板进行尺度滤波得到所述待追踪目标在当前帧图像的尺度;
根据所述待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中所述待追踪目标的追踪结果;
所述判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值,包括:
根据所述待追踪目标的历史追踪数据,从所述当前帧图像开始,分别计算第二预设数量的帧图像中每一帧图像的所述追踪结果与所述待追踪目标的相似度值;
判断在所述第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值,根据判断结果确定当前帧图像的位置是否满足预设相关度阈值。
2.根据权利要求1所述的基于FDSST算法的目标追踪方法,其特征在于,还包括:
根据所述在当前帧图像中所述待追踪目标的追踪结果,提取所述待追踪目标在所述当前帧图像中的第三HOG特征;
根据所述当前帧图像中的第三HOG特征对所述预设滤波器模板进行更新,并返回所述根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含所述待追踪目标的帧图像。
3.根据权利要求1所述的基于FDSST算法的目标追踪方法,其特征在于,所述提取所述待追踪目标在当前帧图像中的第一HOG特征,包括:
根据上一帧图像的所述追踪结果,得到特征提取区域,并将所述特征提取区域分为多个连通区域,各所述连通区域的大小相同;
计算预设滤波区域内各个像素点到其中一所述连通区域中心点的距离,生成卷积滤波模板,所述滤波区域为其中一所述连通区域的外扩区域;
采用所述卷积滤波模板分别卷积各所述连通区域,得到各个连通区域的HOG特征,并根据各个连通区域的HOG特征生成特征提取区域的HOG特征;
采用奇异值分解算法对所述特征提取区域的HOG特征进行降维,得到所述待追踪目标在当前帧图像中的第一HOG特征。
4.根据权利要求1所述的基于FDSST算法的目标追踪方法,其特征在于,通过以下步骤确定所述预设相关度阈值:
获取所述待追踪目标的历史追踪数据,并根据所述历史追踪数据从初始帧图像中的所述待追踪目标的预设初始追踪结果开始,分别计算第一预设数量的帧图像中每一帧图像的所述追踪结果与所述待追踪目标的相似度值;
计算各第一预设数量的帧图像的所述相似度值的平均值;
根据所述平均值确定所述预设相关度阈值。
5.根据权利要求4所述的基于FDSST算法的目标追踪方法,其特征在于,所述根据判断结果确定当前帧图像的位置是否满足预设相关度阈值,包括:
当在所述第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时,判定所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值。
6.根据权利要求5所述的基于FDSST算法的目标追踪方法,其特征在于,还包括:
当在所述第二预设数量的帧图像中有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时,判定所述待追踪目标跟踪失败。
7.根据权利要求2所述的基于FDSST算法的目标追踪方法,其特征在于,在所述根据所述待追踪目标在当前帧图像的追踪结果,提取所述待追踪目标在所述当前帧图像中的第三HOG特征之后,在所述根据当前帧图像的第三HOG特征对所述预设滤波器模板进行更新之前,所述基于FDSST算法的目标追踪方法还包括:
判断使用所述预设滤波器模板的帧图像的个数是否超过预设阈值;
当所述使用所述预设滤波器模板的帧图像的个数超过所述预设阈值时,执行所述根据当前帧图像的第三HOG特征对所述预设滤波器模板进行更新的步骤。
8.根据权利要求7所述的基于FDSST算法的目标追踪方法,其特征在于,还包括:
当所述使用所述预设滤波器模板的帧图像的个数不超过所述预设阈值时,直接返回所述根据当前帧图像的上一帧图像中所述待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征的步骤,直至遍历完所有包含所述待追踪目标的帧图像。
9.一种基于FDSST算法的目标追踪装置,其特征在于,包括:
处理模块(1),用于根据当前帧图像的上一帧图像中待追踪目标的追踪结果,提取所述待追踪目标在当前帧图像中的第一HOG特征;
所述处理模块(1)还用于将所述第一HOG特征与预设滤波器模板进行位置滤波得到所述待追踪目标在当前帧图像的位置;
所述处理模块(1)还用于判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值;所述判断所述待追踪目标在当前帧图像的位置是否满足预设相关度阈值,包括:根据所述待追踪目标的历史追踪数据,从所述当前帧图像开始,分别计算第二预设数量的帧图像中每一帧图像的所述追踪结果与所述待追踪目标的相似度值;判断在所述第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值,根据判断结果确定当前帧图像的位置是否满足预设相关度阈值;
当所述待追踪目标在当前帧图像的位置满足所述预设相关度阈值时,所述处理模块(1)还用于根据所述位置提取所述待追踪目标在当前帧图像中的第二HOG特征,将所述第二HOG特征与所述预设滤波器模板进行尺度滤波得到所述待追踪目标在当前帧图像的尺度;
所述处理模块(1)还用于根据所述待追踪目标在当前帧图像的位置及尺度,生成在当前帧图像中所述待追踪目标的追踪结果。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令被处理器执行时实现如权利要求1-8任一项所述的基于FDSST算法的目标追踪方法。
11.一种智能设备,其特征在于,包括:至少一个处理器(410);以及与所述至少一个处理器(410)通信连接的存储器(420)其中,
所述存储器(420)存储有可被所述至少一个处理器(410)执行的指令,所述指令被所述至少一个处理器(410)执行,以使所述至少一个处理器(410)执行如权利要求1-8任一项所述的基于FDSST算法的目标追踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910094223.1A CN111507999B (zh) | 2019-01-30 | 2019-01-30 | 一种基于fdsst算法的目标追踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910094223.1A CN111507999B (zh) | 2019-01-30 | 2019-01-30 | 一种基于fdsst算法的目标追踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111507999A CN111507999A (zh) | 2020-08-07 |
CN111507999B true CN111507999B (zh) | 2023-07-18 |
Family
ID=71877306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910094223.1A Active CN111507999B (zh) | 2019-01-30 | 2019-01-30 | 一种基于fdsst算法的目标追踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111507999B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112380933B (zh) * | 2020-11-02 | 2023-11-07 | 中国兵器工业计算机应用技术研究所 | 无人机识别目标的方法、装置及无人机 |
CN112378397B (zh) * | 2020-11-02 | 2023-10-10 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN107832683A (zh) * | 2017-10-24 | 2018-03-23 | 亮风台(上海)信息科技有限公司 | 一种目标跟踪方法及系统 |
CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
CN108133489A (zh) * | 2017-12-21 | 2018-06-08 | 燕山大学 | 一种增强的多层卷积视觉跟踪方法 |
CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN108986140A (zh) * | 2018-06-26 | 2018-12-11 | 南京信息工程大学 | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 |
CN108985162A (zh) * | 2018-06-11 | 2018-12-11 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109035299A (zh) * | 2018-06-11 | 2018-12-18 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN115511918A (zh) * | 2022-09-01 | 2022-12-23 | 河北汉光重工有限责任公司 | 一种基于并行处理的目标跟踪方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058541B2 (en) * | 2012-09-21 | 2015-06-16 | Fondation De L'institut De Recherche Idiap | Object detection method, object detector and object detection computer program |
-
2019
- 2019-01-30 CN CN201910094223.1A patent/CN111507999B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
CN107832683A (zh) * | 2017-10-24 | 2018-03-23 | 亮风台(上海)信息科技有限公司 | 一种目标跟踪方法及系统 |
CN108133489A (zh) * | 2017-12-21 | 2018-06-08 | 燕山大学 | 一种增强的多层卷积视觉跟踪方法 |
CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN108985162A (zh) * | 2018-06-11 | 2018-12-11 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109035299A (zh) * | 2018-06-11 | 2018-12-18 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN108986140A (zh) * | 2018-06-26 | 2018-12-11 | 南京信息工程大学 | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 |
CN115511918A (zh) * | 2022-09-01 | 2022-12-23 | 河北汉光重工有限责任公司 | 一种基于并行处理的目标跟踪方法及装置 |
Non-Patent Citations (2)
Title |
---|
Motion-Aware Correlation Filters for Online Visual Tracking;Yihong Zhang等;《Sensors 2018》;20181114;第18卷(第11期);1-25 * |
相关性滤波器运动目标跟踪算法;李果家;《中国优秀硕士学位论文全文数据库_信息科技辑》;20180115;I138-1421 * |
Also Published As
Publication number | Publication date |
---|---|
CN111507999A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
CN111047626B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112288770A (zh) | 基于深度学习的视频实时多目标检测与跟踪方法和装置 | |
CN111369590A (zh) | 多目标跟踪方法、装置、存储介质及电子设备 | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
US20150104067A1 (en) | Method and apparatus for tracking object, and method for selecting tracking feature | |
CN111091101B (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
CN114155365B (zh) | 模型训练方法、图像处理方法及相关装置 | |
CN110059521B (zh) | 目标跟踪方法及装置 | |
CN111507999B (zh) | 一种基于fdsst算法的目标追踪方法及装置 | |
CN108122245B (zh) | 一种目标行为描述方法、装置和监控设备 | |
CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
CN109636828A (zh) | 基于视频图像的物体跟踪方法及装置 | |
CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
CN111476814A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN115690545B (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
CN112819889B (zh) | 位置信息的确定方法及装置、存储介质、电子装置 | |
CN113256683B (zh) | 目标跟踪方法及相关设备 | |
CN113298852A (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
CN109871814B (zh) | 年龄的估计方法、装置、电子设备和计算机存储介质 | |
CN116052038A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN114241011A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN115511918A (zh) | 一种基于并行处理的目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |