CN110428445B - 一种分块跟踪方法及其装置、设备、存储介质 - Google Patents
一种分块跟踪方法及其装置、设备、存储介质 Download PDFInfo
- Publication number
- CN110428445B CN110428445B CN201910562386.8A CN201910562386A CN110428445B CN 110428445 B CN110428445 B CN 110428445B CN 201910562386 A CN201910562386 A CN 201910562386A CN 110428445 B CN110428445 B CN 110428445B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- frame
- image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种分块跟踪方法及其装置、设备、存储介质,该方法包括:获取第一帧跟踪图像和跟踪结果中心;对第一帧跟踪图像进行分块处理,得到第一帧跟踪图像的目标块和目标块跟踪结果中心;对第N帧跟踪图像的目标块进行跟踪处理,得到第N+1帧跟踪图像的目标块和目标块跟踪结果中心;根据第N帧跟踪图像的跟踪结果中心、第N帧和第N+1帧跟踪图像的目标块跟踪结果中心,得到第N+1帧跟踪图像的跟踪结果中心。本发明提供的分块跟踪方法,分块处理所得的目标块具有适应目标外观且特征明显的特点,不仅克服了目标跟踪过程中目标块选取对目标跟踪框形状和大小的依赖,而且适应目标外观多样目标跟踪。
Description
技术领域
本发明属于目标跟踪技术领域,具体涉及一种分块跟踪方法及其装置、设备、存储介质。
背景技术
目标检测、识别、定位与跟踪一直是机器视觉和图像处理领域的重要研究内容,在工业检测、安防系统、军事领域等方面有着重要的应用价值。而在实际目标跟踪过程中发现,目标遮挡问题是目前目标跟踪领域的一大难题。
当目标发生遮挡后,目标特征将部分消失或完全消失,最终导致目标跟踪失败。针对不完全遮挡的情况,分块跟踪方法是处理跟踪过程中遮挡问题的有效策略,合理的分块跟踪方法对解决遮挡问题、提高目标跟踪方法的稳定性与精确性至关重要。分块跟踪中目标块的选取原则是尽量选择含有较多目标信息而含有较少背景信息的目标块,即应当尽量选取特征明显的目标块。目前,常用的分块跟踪方法是根据目标跟踪框的形状和大小进行分块并跟踪。
上述这种根据目标跟踪框的形状和大小进行分块跟踪的方法,虽然简便,但是因为目标跟踪框的形状和大小被固定,无法适应目标外观的多样性。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种分块跟踪方法及其装置、设备、存储介质。
本发明实施例提供了一种分块跟踪方法,该方法包括:
获取第一帧目标跟踪图像和所述第一帧目标跟踪图像的跟踪结果中心;
对所述第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个所述第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数;
对M个所述第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数;
根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个所述第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
在本发明的一个实施例中,对所述第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个所述第一帧目标跟踪图像的目标块跟踪结果中心,包括:
对所述第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数;
从所述L个特征点中选取M个特征点,将所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,根据M个所述第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个所述第一帧目标跟踪图像的目标块,且M<L。
在本发明的一个实施例中,对所述第一帧目标跟踪图像进行特征点提取,得到L个特征点,包括:
利用FAST特征点提取方法对所述第一帧目标跟踪图像进行特征点提取,得到所述L个特征点。
在本发明的一个实施例中,从所述L个特征点中选取M个特征点,将所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,根据M个所述第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个所述第一帧目标跟踪图像的目标块,包括:
当所述特征点的数目L小于等于第一预设阈值时,则从所述L个特征点中选取所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,当所述特征点的数目L大于所述第一预设阈值时,则利用聚类方法得到M个聚类中心,将所述M个聚类中心作为所述第一帧目标跟踪图像的目标块跟踪结果中心;
分别以M个所述第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个所述中心点为中心确定一大小为K*K的所述第一帧目标跟踪图像的目标块,K为大于0的整数。
在本发明的一个实施例中,当所述特征点的数目L小于等于第一预设阈值时,则从所述L个特征点中选取所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,包括:
分别计算所述L个特征点的得分值;
从所述L个特征点中选取M个得分值大于等于第二预设阈值的特征点;
将所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心。
在本发明的一个实施例中,对M个所述第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心,包括:
利用预设跟踪方法对每个所述第N帧目标跟踪图像的目标块进行跟踪处理,对应得到每个所述第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心。
在本发明的一个实施例中,根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心,包括:
计算每个所述第N帧目标跟踪图像的目标块跟踪结果中心与所述第N帧目标跟踪图像的跟踪结果中心之间的相对位置;
根据每个所述第N+1帧目标跟踪图像的目标块跟踪结果中心和所述相对位置,对应得到所述第N+1帧目标跟踪图像的目标块映射跟踪结果中心;
根据所述第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
本发明的另一个实施例提供了一种分块跟踪装置,该装置包括:
数据获取模块,用于获取所述第一帧目标跟踪图像和所述第一帧目标跟踪图像的跟踪结果中心;
分块处理模块,用于对所述第一帧目标跟踪图像进行分块处理,对应得到M个所述第一帧目标跟踪图像的目标块,以及M个所述第一帧目标跟踪图像的目标块跟踪结果中心;
跟踪处理模块,用于对M个所述第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个所述第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心;
跟踪结果确定模块,用于根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个所述第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
本发明的再一个实施例提供了一种分块跟踪电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上存放的所述计算机程序时,实现上述任一所述的方法。
本发明的又一个实施例提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的方法。
与现有技术相比,本发明的有益效果:
本发明提供的分块跟踪方法,分块处理所得的目标块具有适应目标外观且特征明显的特点,不仅克服了目标跟踪过程中目标块选取对目标跟踪框形状和大小的依赖,而且适应目标外观多样目标跟踪。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种分块跟踪方法的流程示意图;
图2是本发明实施例提供的一种分块跟踪装置的结构示意图;
图3是本发明实施例提供的一种分块跟踪电子设备的结构示意图;
图4是本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
目前,传统的分块跟踪方法是根据目标跟踪框形状和大小对目标跟踪图像进行均匀的分块,该分块跟踪方法对目标跟踪框形状和大小有很大的依赖性,无法适应目标外观的多样性,与实际系统需求存在较大差距。同时,所选目标块特别是靠近边缘的目标块可能含有较多背景干扰信息,不是特征明显的目标块,在极大程度上影响了分块跟踪结果与最终跟踪结果的准确性。
基于如上存在的问题,请参见图1,图1是本发明实施例提供的一种分块跟踪方法的流程示意图,本发明实施例提供了一种分块跟踪方法,该方法包括:
步骤1、获取第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心;
步骤2、对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数;
步骤3、对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块及第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数;
步骤4、根据第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,本实施例考虑到在实际目标跟踪过程中连续两帧间目标跟踪图像的形状大小变化很小,因此,可以利用在第N帧目标跟踪图像的跟踪结果中心来计算得到第N+1帧目标跟踪图像的跟踪结果中心。具体地,本实施例首先获取第一帧目标跟踪图像及第一帧目标跟踪图像的跟踪结果中心,然后对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块和M个第一帧目标跟踪图像的目标块跟踪结果中心,该M个第一帧目标跟踪图像的目标块包含了大多的目标跟踪图像的特征点,可以准确的跟踪定位目标跟踪图像,接着利用预设跟踪方法对第N帧目标跟踪图像的目标块进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块及第N+1帧目标跟踪图像的目标块跟踪结果中心,最后根据上述两帧目标跟踪图像的特性,利用第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心确定第N+1帧目标跟踪图像的跟踪结果中心。可见,本实施例利用第一帧目标跟踪图像进行分块处理对应得到第一帧目标跟踪图像的目标块,而不需要对每一帧目标跟踪图像进行分块处理,减少计算量,该第一帧目标跟踪图像的目标块是包含了目标跟踪图像的大部分特征点,然后对第一帧目标跟踪图像的目标块进行跟踪处理,对应得到第二帧目标跟踪图像的目标块以及第二帧目标跟踪图像的目标块跟踪结果中心,依次对后续帧的目标跟踪图像进行跟踪处理,以完成所有帧目标跟踪图像的跟踪。
进一步地,在步骤1中,获取第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心。
具体而言,本实施例获取的第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心均为预设知晓的目标跟踪图像和中心点,具体该预设知晓的目标跟踪图像和中心点由实际环境设计需要决定。
进一步地,在步骤2中,对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个第一帧目标跟踪图像的目标块跟踪结果中心,具体步骤2的实现包括如下步骤2.1、步骤2.2:
步骤2.1、对获取的第一帧目标跟踪图像进行特征点提取,得到L个特征点。
具体而言,本实施例以L个特征点为例,对第一帧目标跟踪图像进行特征点提取,得到L个特征点,该L个特征点为目标跟踪图像中特征明显的一些特征点,从而有效避免了传统方法中提取了过多背景干扰的问题。
优选地,特征点提取方法采用FAST特征点提取方法。
步骤2.2、从L个特征点中选取M个特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,根据M个第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个第一帧目标跟踪图像的目标块,且M<L。
具体而言,本实施例以M个第一帧目标跟踪图像的目标块为例,从L个特征点中选取M个特征点,该M个特征点为L个特征点中最可能是目标的特征点。具体地,当特征点的数目L小于等于第一预设阈值时,则直接从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,比如上述通过FAST特征点提取方法得到的L个特征点,在提取L个特征点的同时计算每个特征点的得分值,进行非极大值抑制,其中,得分值的计算方法是取特征点周围若干个像素点与该特征点的灰度差绝对值之和,具体周围若干个像素点与FAST特征点提取方法选取的特征点数目相关,对这L个特征点的得分值进行从大到小排序,从其中选择排序后前M个得分值高的特征点作为第一帧目标跟踪图像的目标块跟踪结果中心,本实施例第二预设阈值为L个特征点的得分值排序后的第M个特征点的得分值,可见第二预设阈值为非固定值,其具体取值与目标跟踪图像以及目标特征点提取方法有关;当特征点的数目L大于第一预设阈值时,则利用聚类方法,将L个特征点和M作为聚类方法的输入参数,对这L个特征点进行聚类处理得到M个聚类中心,将M个聚类中心直接作为第一帧目标跟踪图像的目标块跟踪结果中心。
当M个第一帧目标跟踪图像的目标块跟踪结果中心确定后,分别以该M个第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个中心点为中心确定一大小为K*K的第一帧目标跟踪图像的目标块,该K的取值具体由目标跟踪图像决定,通过该中心所确定的目标块即为特征明显的目标块。
优选地,第一预设阈值为20,M的取值为6,K的取值为30,聚类方法采用K-均值聚类方法。
本实施例对目标跟踪图像进行特征点提取,根据提取的特征点数目直接确定目标块中心或是选择性地结合聚类方法确定目标块中心,最终得到特征明显的目标块,在特征明显的目标块上进行目标图像跟踪,可以提高了分块跟踪结果与最终跟踪结果的准确性。
进一步地,在步骤3中,对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块及第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数。
具体而言,本实施例在步骤2中获取了M个第一帧目标跟踪图像的目标块以及M个第一帧目标跟踪图像的目标块对应的目标块跟踪结果中心,然后利用预设跟踪方法对M个第一帧目标跟踪图像的目标块进行跟踪处理,对应得到M个第二帧目标跟踪图像的目标块,以及M个第二帧目标跟踪图像的目标块对应的目标块跟踪结果中心,然后利用预设跟踪方法对M个第二帧目标跟踪图像的目标块进行同样的跟踪处理,对应得到M个第三帧目标跟踪图像的目标块,以及M个第三帧目标跟踪图像的目标块对应的目标块跟踪结果中心,依次类推,对应得到M个第N帧或是第N+1帧目标跟踪图像的目标块,以及M个第N帧或是第N+1帧目标跟踪图像的目标块对应的跟踪结果中心。可见,本实施例是根据M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块跟踪结果中心,所以本实施例不需要获取每一帧目标跟踪图像,并对每一帧目标跟踪图像进行分块处理,只需要根据上述步骤2获取第一帧目标跟踪图像的目标块,在对应得到第一帧目标跟踪图像的目标块后,依次利用预设跟踪方法对第N帧目标跟踪图像的目标块进行跟踪处理,从而对应得到第N+1帧目标跟踪图像的目标块,以及第N+1帧目标跟踪图像的目标块跟踪结果中心。
优选地,预设跟踪方法包括核相关滤波跟踪方法、相关跟踪方法。
本实施例在目标跟踪过程中,根据前一帧目标跟踪图像的目标块跟踪结果中心和前一帧目标跟踪图像的跟踪结果中心来确定当前帧目标跟踪图像的目标块和当前帧目标跟踪图像的目标块跟踪结果中心,目标跟踪过程中采用不同的预设跟踪方法得到的每一帧目标跟踪图像的目标块的大小可能不相同,即第一帧目标跟踪图像的目标块大小为K*K,但利用预设跟踪方法跟踪后得到第二帧目标跟踪图像的目标块大小可能不为K*K,根据预设跟踪方法的跟踪结果决定目标块的大小,从而克服了传统目标跟踪中目标块选取对目标跟踪框形状和大小的依赖,本实施例分块跟踪方法适应目标外观多样的目标跟踪。
进一步地,在步骤4中,根据第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,本实施例考虑到由于在实际目标跟踪过程中连续两帧间目标跟踪图像的形状大小变化很小,因此,可以利用每个第N帧目标跟踪图像的目标块跟踪结果中心相对于第N帧目标跟踪图像的跟踪结果中心的位置,来计算在第N+1帧中各个目标块跟踪结果中心映射回第N+1帧目标跟踪图像的跟踪结果中心的位置,具体步骤4实现可以包括如下步骤4.1、步骤4.2、步骤4.3:
步骤4.1、计算每个第N帧目标跟踪图像的目标块跟踪结果中心与第N帧目标跟踪图像的跟踪结果中心之间的相对位置。
具体而言,在上述步骤3的预设跟踪方法的跟踪处理下,本实施例可以获取第N帧目标跟踪图像的跟踪结果中心,且记为(PxN,PyN),其中,PxN、PyN分别表示第N帧目标跟踪图像的跟踪结果中心在x方向的坐标、y方向的坐标,同时可以获取第N帧目标跟踪图像中各个目标块的目标块跟踪结果中心,且记为其中,/>分别表示第N帧目标跟踪图像中第i个目标块对应的目标块跟踪结果中心在x方向的坐标、y方向的坐标,则计算第N帧目标跟踪图像中第i个目标块的目标块跟踪结果中心与第N帧目标跟踪图像的跟踪结果中心的相对位置,该相对位置表示为:
步骤4.2、根据每个第N+1帧目标跟踪图像的目标块跟踪结果中心和相对位置,对应得到第N+1帧目标跟踪图像的目标块映射跟踪结果中心。
具体而言,在上述步骤3的预设跟踪方法的跟踪处理下,本实施例还可以获取第N+1帧目标跟踪图像中各个目标块的目标块跟踪结果中心,且记为由于在实际目标跟踪过程中连续两帧间目标跟踪图像的形状大小变化很小,因此,本实施例第N+1帧目标跟踪图像中各个目标块的目标块跟踪结果中心映射到第N+1帧目标跟踪图像中各个目标块的目标块映射跟踪结果中心的位置可以表示为:
步骤4.3、根据第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,本实施例首先对公式(2)映射得到的第N+1帧目标跟踪图像的目标块映射跟踪结果中心求均值,计算第N+1帧目标跟踪图像的目标块映射跟踪结果中心的均值可以表示为:
其中,P′xN+1、P′yN+1分别表示第N+1帧目标跟踪图像中目标块的目标块映射跟踪结果中心在x方向坐标的均值、y方向坐标的均值。
然后,计算上述公式(2)的第N+1帧目标跟踪图像中各个目标块的目标块映射跟踪结果中心与公式(3)的均值之间的差值绝对值,该差值绝对值表示为:
最后,归一化处理确定第N+1帧目标跟踪图像中每个目标块的目标块映射跟踪结果中心的权重。由于在实际场景中,公式(4)的差值绝对值与/>越小,表示越接近目标映射中心,即越接近第N+1帧目标跟踪图像的跟踪结果中心,因此,本实施例为接近目标映射中心的目标块分配较大的权重。
本实施例对第N+1帧目标跟踪图像中每个目标块的目标块映射跟踪结果中心的权重设计具体如下:
首先,计算上述公式(4)的差值绝对值之和,该差值绝对值之和表示为:
其中,ΔxN+1、ΔyN+1分别表示第N+1帧目标跟踪图像中各个目标块的目标块映射跟踪结果中心与第N+1帧目标跟踪图像中各个目标块的目标块映射跟踪结果中心均值之间在x方向的差值绝对值之和、y方向的差值绝对值之和。
然后,归一化计算第N+1帧目标跟踪图像中每个目标块的权重,该权重表示为:
最后,根据公式(6)的得到的权重,对公式(2)得到的第N+1帧目标跟踪图像中各个目标块的目标块映射跟踪结果中心按对应权重加权求和得到最终第N+1帧目标跟踪图像的跟踪结果中心,该最终第N+1帧目标跟踪图像的跟踪结果中心可以表示为:
其中,PxN+1、PyN+1分别表示第N+1帧目标跟踪图像的跟踪结果中心在x方向的坐标、y方向的坐标。
本实施例利用前一帧目标跟踪图像的各个目标块的目标块跟踪结果中心与前一帧目标跟踪图像的跟踪结果中心的相对位置,来计算当前帧目标跟踪图像中各目标块的目标块跟踪结果中心映射到当前帧目标跟踪图像中各目标块的目标块映射跟踪结果中心,最后取当前帧目标跟踪图像中各目标块的目标块映射跟踪结果中心加权求和,得到当前帧目标跟踪图像的跟踪结果中心。
综上所述,本实施例提供的分块跟踪方法,通过有效地选取适应目标外观且特征明显的目标块进行目标的跟踪,不仅在目标跟踪过程中克服了目标块选取对目标跟踪框形状和大小的依赖,而且适应目标外观多样的目标跟踪,可以满足实际系统需求,有效地应对了目标不完全遮挡问题,提高了分块跟踪结果与最终跟踪结果的准确性,同时本实施例提供的分块跟踪方法稳定性较好。
实施例二
在上述实施例一的基础上,请参见图2,图2为本发明实施例提供的一种分块跟踪装置的结构示意图。本实施例提供了一种分块跟踪装置,该装置包括:
数据获取模块,用于获取第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心。
分块处理模块,用于对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数。
具体而言,本实施例分块处理模块具体包括:
对第一帧目标跟踪图像进行特征点提取,得到L个特征点,具体是利用FAST特征点提取方法对第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数,且M<L;
从L个特征点中选取M个特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,根据M个第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个第一帧目标跟踪图像的目标块,具体地,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,当特征点的数目L大于第一预设阈值时,则利用聚类方法得到M个聚类中心,将M个聚类中心作为第一帧目标跟踪图像的目标块跟踪结果中心,分别以M个第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个中心点为中心确定一大小为K*K的第一帧目标跟踪图像的目标块。其中,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,包括分别计算L个特征点的得分值,从L个特征点中选取M个得分值大于等于第二预设阈值的特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心。其中,聚类方法采用K-均值聚类方法。
跟踪处理模块,用于对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数。
具体而言,利用预设跟踪方法对每个第N帧目标跟踪图像的目标块进行跟踪处理,对应得到每个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心。其中,预设跟踪方法包括核相关滤波跟踪方法、相关跟踪方法。
跟踪结果确定模块,用于根据第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,计算每个第N帧目标跟踪图像的目标块跟踪结果中心与第N帧目标跟踪图像的跟踪结果中心之间的相对位置;根据每个第N+1帧目标跟踪图像的目标块跟踪结果中心和相对位置,对应得到第N+1帧目标跟踪图像的目标块映射跟踪结果中心;根据第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
本实施例提供的一种分块跟踪装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
实施例三
在上述实施例二的基础上,请参见图3,图3为本发明实施例提供的一种分块跟踪电子设备结构示意图。本实施例提供了一种分块跟踪电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,该计算机程序被处理器执行时实现以下步骤:
步骤1、获取第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心。
步骤2、对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数。
具体而言,本实施例分块处理具体包括:
对第一帧目标跟踪图像进行特征点提取,得到L个特征点,具体是利用FAST特征点提取方法对第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数,且M<L;
从L个特征点中选取M个特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,根据M个第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个第一帧目标跟踪图像的目标块,具体地,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,当特征点的数目L大于第一预设阈值时,则利用聚类方法得到M个聚类中心,将M个聚类中心作为第一帧目标跟踪图像的目标块跟踪结果中心,分别以M个第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个中心点为中心确定一大小为K*K的第一帧目标跟踪图像的目标块。其中,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,包括分别计算L个特征点的得分值,从L个特征点中选取M个得分值大于等于第二预设阈值的特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心。其中,聚类方法采用K-均值聚类方法。
步骤3、对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数。
具体而言,对每个第N帧目标跟踪图像的目标块利用预设跟踪方法进行跟踪处理,对应得到每个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心。其中,预设跟踪方法包括核相关滤波跟踪方法、相关跟踪方法
步骤4、根据第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,计算每个第N帧目标跟踪图像的目标块跟踪结果中心与第N帧目标跟踪图像的跟踪结果中心之间的相对位置;根据每个第N+1帧目标跟踪图像的目标块跟踪结果中心和相对位置,对应得到第N+1帧目标跟踪图像的目标块映射跟踪结果中心;根据第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
本实施例提供的一种分块跟踪电子设备,可以执行上述方法实施例和上述装置实施例,其实现原理和技术效果类似,在此不再赘述。
实施例四
在上述实施例三的基础上,请参见图4,图4为本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现以下步骤:
步骤1、获取第一帧目标跟踪图像和第一帧目标跟踪图像的跟踪结果中心。
步骤2、对第一帧目标跟踪图像进行分块处理,对应得到M个第一帧目标跟踪图像的目标块,以及M个第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数。
具体而言,本实施例分块处理具体包括:
对第一帧目标跟踪图像进行特征点提取,得到L个特征点,具体是利用FAST特征点提取方法对第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数,且M<L;
从L个特征点中选取M个特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,根据M个第一帧目标跟踪图像的目标块跟踪结果中心对应得到M个第一帧目标跟踪图像的目标块,具体地,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,当特征点的数目L大于第一预设阈值时,则利用聚类方法得到M个聚类中心,将M个聚类中心作为第一帧目标跟踪图像的目标块跟踪结果中心,分别以M个第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个中心点为中心确定一大小为K*K的第一帧目标跟踪图像的目标块。其中,当特征点的数目L小于等于第一预设阈值时,则从L个特征点中选取M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心,包括分别计算L个特征点的得分值,从L个特征点中选取M个得分值大于等于第二预设阈值的特征点,将M个特征点分别作为第一帧目标跟踪图像的目标块跟踪结果中心。其中,聚类方法采用K-均值聚类方法。
步骤3、对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数。
具体而言,对每个第N帧目标跟踪图像的目标块利用预设跟踪方法进行跟踪处理,对应得到每个第N+1帧目标跟踪图像的目标块和第N+1帧目标跟踪图像的目标块跟踪结果中心。其中,预设跟踪方法包括核相关滤波跟踪方法、相关跟踪方法
步骤4、根据第N帧目标跟踪图像的跟踪结果中心、M个第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
具体而言,计算每个第N帧目标跟踪图像的目标块跟踪结果中心与第N帧目标跟踪图像的跟踪结果中心之间的相对位置;根据每个第N+1帧目标跟踪图像的目标块跟踪结果中心和相对位置,对应得到第N+1帧目标跟踪图像的目标块映射跟踪结果中心;根据第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到第N+1帧目标跟踪图像的跟踪结果中心。
本实施例提供的一种计算机可读存储介质,可以执行上述方法实施例、上述装置实施例和上述电子设备实施例,其实现原理和技术效果类似,在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (7)
1.一种分块跟踪方法,其特征在于,包括:
获取第一帧目标跟踪图像和所述第一帧目标跟踪图像的跟踪结果中心;
对所述第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数;
当所述特征点的数目L小于等于第一预设阈值时,分别计算所述L个特征点的得分值;从所述L个特征点中选取M个得分值大于等于第二预设阈值的特征点;所述第二预设阈值为L个特征点的得分值从大到小排序后的第M个特征点的得分值;将所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,当所述特征点的数目L大于所述第一预设阈值时,则利用聚类方法得到M个聚类中心,将所述M个聚类中心作为所述第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数,且M<L;
分别以M个所述第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个所述中心点为中心确定一大小为K*K的所述第一帧目标跟踪图像的目标块,K为大于0的整数;
对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心,N为大于0的整数;
根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个所述第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
2.根据权利要求1所述的方法,其特征在于,对所述第一帧目标跟踪图像进行特征点提取,得到L个特征点,包括:
利用FAST特征点提取方法对所述第一帧目标跟踪图像进行特征点提取,得到所述L个特征点。
3.根据权利要求1所述的方法,其特征在于,对M个所述第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心,包括:
利用预设跟踪方法对每个所述第N帧目标跟踪图像的目标块进行跟踪处理,对应得到每个所述第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心。
4.根据权利要求1所述的方法,其特征在于,根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个第N+1帧目标跟踪图像的目标块跟踪结果中心,得到所述第N+1帧目标跟踪图像的跟踪结果中心,包括:
计算每个所述第N帧目标跟踪图像的目标块跟踪结果中心与所述第N帧目标跟踪图像的跟踪结果中心之间的相对位置;
根据每个所述第N+1帧目标跟踪图像的目标块跟踪结果中心和所述相对位置,对应得到所述第N+1帧目标跟踪图像的目标块映射跟踪结果中心;
根据所述第N+1帧目标跟踪图像的目标块映射跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
5.一种分块跟踪装置,其特征在于,所述装置包括:
数据获取模块,用于获取第一帧目标跟踪图像和所述第一帧目标跟踪图像的跟踪结果中心;
分块处理模块,用于对所述第一帧目标跟踪图像进行特征点提取,得到L个特征点,L为大于0的整数;当所述特征点的数目L小于等于第一预设阈值时,分别计算所述L个特征点的得分值;从所述L个特征点中选取M个得分值大于等于第二预设阈值的特征点;所述第二预设阈值为L个特征点的得分值从大到小排序后的第M个特征点的得分值;将所述M个特征点分别作为所述第一帧目标跟踪图像的目标块跟踪结果中心,当所述特征点的数目L大于所述第一预设阈值时,则利用聚类方法得到M个聚类中心,将所述M个聚类中心作为所述第一帧目标跟踪图像的目标块跟踪结果中心,M为大于0的整数,且M<L;分别以M个所述第一帧目标跟踪图像的目标块跟踪结果中心的坐标为中心点,以每个所述中心点为中心确定一大小为K*K的所述第一帧目标跟踪图像的目标块,K为大于0的整数;
跟踪处理模块,用于对M个第N帧目标跟踪图像的目标块分别进行跟踪处理,对应得到M个所述第N+1帧目标跟踪图像的目标块和所述第N+1帧目标跟踪图像的目标块跟踪结果中心;
跟踪结果确定模块,用于根据所述第N帧目标跟踪图像的跟踪结果中心、M个所述第N帧目标跟踪图像的目标块跟踪结果中心、M个所述第N+1帧目标跟踪图像的目标块跟踪结果中心,对应得到所述第N+1帧目标跟踪图像的跟踪结果中心。
6.一种分块跟踪的电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上存放的所述计算机程序时,实现权利要求1~4任一所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~4任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910562386.8A CN110428445B (zh) | 2019-06-26 | 2019-06-26 | 一种分块跟踪方法及其装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910562386.8A CN110428445B (zh) | 2019-06-26 | 2019-06-26 | 一种分块跟踪方法及其装置、设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428445A CN110428445A (zh) | 2019-11-08 |
CN110428445B true CN110428445B (zh) | 2023-06-27 |
Family
ID=68409620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910562386.8A Active CN110428445B (zh) | 2019-06-26 | 2019-06-26 | 一种分块跟踪方法及其装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428445B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211398A (ja) * | 2009-03-09 | 2010-09-24 | Denso Corp | 画像処理装置 |
CN108921876A (zh) * | 2018-07-10 | 2018-11-30 | 北京旷视科技有限公司 | 视频处理方法、装置和系统及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2175421A1 (en) * | 2008-10-13 | 2010-04-14 | Thomson Licensing | Device and method for tracking an object in a sequence of frames |
KR101129328B1 (ko) * | 2010-03-03 | 2012-03-26 | 광주과학기술원 | 타겟 추적 장치 및 방법 |
CN101901354B (zh) * | 2010-07-09 | 2014-08-20 | 浙江大学 | 基于特征点分类的监控录像中实时多目标检测与跟踪方法 |
CN104820996B (zh) * | 2015-05-11 | 2018-04-03 | 河海大学常州校区 | 一种基于视频的自适应分块的目标跟踪方法 |
CN107424171B (zh) * | 2017-07-21 | 2020-01-03 | 华中科技大学 | 一种基于分块的抗遮挡目标跟踪方法 |
CN108596950B (zh) * | 2017-08-29 | 2022-06-17 | 国家计算机网络与信息安全管理中心 | 一种基于主动漂移矫正的刚体目标跟踪方法 |
CN109146918B (zh) * | 2018-06-11 | 2022-04-22 | 西安电子科技大学 | 一种基于分块的自适应相关目标定位方法 |
-
2019
- 2019-06-26 CN CN201910562386.8A patent/CN110428445B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211398A (ja) * | 2009-03-09 | 2010-09-24 | Denso Corp | 画像処理装置 |
CN108921876A (zh) * | 2018-07-10 | 2018-11-30 | 北京旷视科技有限公司 | 视频处理方法、装置和系统及存储介质 |
Non-Patent Citations (2)
Title |
---|
Multi-object detection and tracking by stereo vision;Ling Cai et al.;《Pattern Recognition》;第43卷;第4028-4041页 * |
基于TLD框架的目标跟踪算法的研究;刘海龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;第I138-602页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110428445A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020259481A1 (zh) | 定位方法及装置、电子设备、可读存储介质 | |
EP2858030B1 (en) | Performing a histogram using an array of addressable registers | |
US20160343165A1 (en) | Method for displaying augmented reality content based on 3d point cloud recognition, and apparatus and system for executing the method | |
CN108846855B (zh) | 目标跟踪方法及设备 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN111739064B (zh) | 用于视频中目标跟踪的方法及存储设备和控制设备 | |
CN105760898A (zh) | 一种基于混合组回归方法的视觉映射方法 | |
CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
CN112907586A (zh) | 基于视觉的机械臂控制方法、装置、系统和计算机设备 | |
CN111199554A (zh) | 一种目标跟踪抗遮挡的方法及装置 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN108257153B (zh) | 一种基于方向梯度统计特征的目标跟踪方法 | |
CN112307984A (zh) | 基于神经网络的安全帽检测方法和装置 | |
CN110428445B (zh) | 一种分块跟踪方法及其装置、设备、存储介质 | |
CN109117748A (zh) | 翻页检测方法及装置 | |
CN110930436B (zh) | 一种目标跟踪方法及设备 | |
CN109741370B (zh) | 一种目标跟踪方法和装置 | |
CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
CN113721240B (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
CN110033474B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN103473549A (zh) | 图像目标检测方法和装置 | |
CN110232711B (zh) | 面向海产品抓取的双目视觉实时感知定位方法、系统、装置 | |
CN112200730B (zh) | 图像滤波处理方法、装置、设备及存储介质 | |
CN113781416A (zh) | 一种输送带撕裂检测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |