CN115147458B - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents

目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115147458B
CN115147458B CN202210860736.0A CN202210860736A CN115147458B CN 115147458 B CN115147458 B CN 115147458B CN 202210860736 A CN202210860736 A CN 202210860736A CN 115147458 B CN115147458 B CN 115147458B
Authority
CN
China
Prior art keywords
dimension
feature
initial
target
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210860736.0A
Other languages
English (en)
Other versions
CN115147458A (zh
Inventor
李仟
林凡雨
崔书刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuandu Internet Technology Co ltd
Original Assignee
Beijing Yuandu Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuandu Internet Technology Co ltd filed Critical Beijing Yuandu Internet Technology Co ltd
Priority to CN202210860736.0A priority Critical patent/CN115147458B/zh
Publication of CN115147458A publication Critical patent/CN115147458A/zh
Application granted granted Critical
Publication of CN115147458B publication Critical patent/CN115147458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标跟踪方法、装置、电子设备及存储介质，所述方法包括：针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；获取用于将特征从所述第一维度降低至第二维度的目标降维矩阵，并采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征，其中，所述第二维度的维度数目低于所述第一维度的维度数目；按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；根据所述第二维度的截取后特征进行目标跟踪。本申请实施例能够提高目标跟踪的效率。

Description

目标跟踪方法、装置、电子设备及存储介质
技术领域
本申请涉及无人机领域，具体涉及一种目标跟踪方法、装置、电子设备及存储介质。
背景技术
在各类领域中，目标跟踪均有着重要的应用价值。为了实现目标跟踪，对目标所在图像进行特征提取和其他处理是必不可少的操作。为了提高目标跟踪的可靠性，多采用深度特征提取的方式进行目标跟踪。但是深度特征的提取对于算力的要求较高，现有技术中的特征处理方法在采用深度特征提取的方式进行目标跟踪时，会导致整体计算压力偏高，从而导致目标跟踪的效率较低。
发明内容
本申请的一个目的在于提出一种目标跟踪方法、装置、电子设备及存储介质，能够提高目标跟踪的效率。
根据本申请实施例的一方面，公开了一种目标跟踪方法，所述方法包括：
针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；
获取用于将特征从所述第一维度降低至第二维度的目标降维矩阵，并采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征，其中，所述第二维度的维度数目低于所述第一维度的维度数目；
按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；
根据所述第二维度的截取后特征进行目标跟踪。
根据本申请实施例的一方面，公开了一种目标跟踪装置，所述装置包括：
提取模块，配置为针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；
降维模块，配置为获取用于将特征从所述第一维度降低至第二维度的目标降维矩阵，并采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征，其中，所述第二维度的维度数目低于所述第一维度的维度数目；
截取模块，配置为按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；
跟踪模块，配置为根据所述第二维度的截取后特征进行目标跟踪。
根据本申请实施例的一方面，公开了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各种可选实现方式中提供的方法。
根据本申请实施例的一方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述各种可选实现方式中提供的方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请实施例中，通过在对当前帧进行特征提取得到第一维度的当前特征后，先对其进行降维处理得到第二维度的当前特征，再对第二维度的当前特征进行特征截取，进而根据特征截取得到的第二维度的截取后特征进行目标跟踪，降低了特征截取操作所带来的计算压力，从而降低了目标跟踪的整体计算压力，提高了目标跟踪的效率。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
通过参考附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请一个实施例的目标跟踪方法的流程图。
图2示出了根据本申请一个实施例的用于目标跟踪的跟踪器的主要处理流程示意图。
图3示出了根据本申请一个实施例的初始化跟踪器的流程示意图。
图4示出了根据本申请一个实施例的更新跟踪器的流程示意图。
图5示出了根据本申请一个实施例的特征降维的流程示意图。
图6示出了根据本申请一个实施例的目标跟踪装置的框图。
图7示出了根据本申请一个实施例的电子设备硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提出了一种目标跟踪方法，可应用于无人机领域，执行主体为无人机或服务器，通过为无人机提供目标跟踪的功能，支持无人机执行救援搜索、物流管控等任务；也可应用于安防领域，通过为安防系统提供目标跟踪的功能，支持安防系统执行轨迹跟踪、异常警戒等任务。
图1示出了本申请所提供目标跟踪方法的流程图，该方法的示例性执行主体为服务器，该方法包括：
步骤S110、针对在初始帧之后的当前帧，对当前帧进行特征提取，得到第一维度的当前特征；
步骤S120、获取用于将特征从第一维度降低至第二维度的目标降维矩阵，并采用目标降维矩阵将第一维度的当前特征转换为第二维度的当前特征，其中，第二维度的维度数目低于第一维度的维度数目；
步骤S130、按照预设尺寸对第二维度的当前特征进行截取，得到第二维度的截取后特征；
步骤S140、根据第二维度的截取后特征进行目标跟踪。
本申请实施例中，主要针对在初始帧之后的当前帧进行目标跟踪。其中，初始帧指的是开始进行目标跟踪的视频帧；当前帧位于初始帧之后，并不仅限于初始帧的下一帧。
针对当前帧，优选采用CNN(Convolution Neural Network，卷积神经网络)对其进行特征提取，得到第一维度的当前特征。采用CNN能够对深层次的大量图像特征进行提取，因此采用CNN所提取得到的第一维度的当前特征，具有表达能力强的优点，从而使得在此基础上所进行的目标跟踪的效果也更为稳定。但同时，由于采用CNN对深层次的大量图像特征进行提取时，对于算力的要求较高，因此基于CNN所提取特征进行的目标跟踪会面临算力不足的情况，从而导致目标跟踪难以满足实时性要求。
为了降低算力不足时目标跟踪难以满足实时性要求的问题，本申请在提取得到第一维度的当前特征后，对其进行降维处理，得到第二维度的当前特征。具体的，获取用于将特征从第一维度降低至第二维度的目标降维矩阵，进而采用该目标降维矩阵将第一维度的当前特征转换为第二维度的当前特征。其中，第二维度的维度数目低于第一维度的维度数目。
例如：对当前帧进行特征提取后，得到了100维的当前特征；目标降维矩阵的矩阵大小为100*50，即，该目标降维矩阵用于将特征从100维降低至50维。则采用该目标降维矩阵对100维的当前特征进行转换后，将得到降维处理后的50维的当前特征。
在目标跟踪的过程中，从当前帧中提取得到的当前特征通常以图像数据的形式进行处理。因此，同理于图像具有尺寸属性，当前特征也具有尺寸属性，并且当前特征的尺寸越大，说明其数据量越大，所表达信息越全面，但同时算力负担也越高。
为平衡信息全面性与算力负担，降维处理得到第二维度的当前特征后，按照预设尺寸对其进行截取，降低其尺寸的同时，尽量保留其所表达的关键信息，从而得到平衡了信息全面性与算力负担的第二维度的截取后特征。进而将第二维度的截取后特征作为目标在视频帧中的代表信息，在此基础上定位目标在当前帧中的位置，从而实现目标跟踪。
需要说明的是，本申请实施例中，特别地，将降维处理操作放置于特征截取操作之后，以降低目标跟踪的整体计算压力。详细的，特征截取操作所带来的计算压力，往往会随着特征的维度数目的增长而急剧增长。考虑到这一点，本申请实施例中，先对当前特征进行降维处理，降低其维度数目后，再对降低了维度数目的当前特征进行截取，从而降低了目标跟踪的整体计算压力，提高了目标跟踪的效率。
同时需要说明的是，本申请在采取传统特征提取的方式进行目标跟踪时，也同样能够提高目标跟踪的效率。因此本申请的功能和使用范围不应受限于深度特征的提取方式。其中，传统特征包括但不限于：CN(Color Name)特征和HOG(Histogram of OrientedGradient)特征。
由此可见，本申请实施例中，通过在对当前帧进行特征提取得到第一维度的当前特征后，先对其进行降维处理得到第二维度的当前特征，再对第二维度的当前特征进行特征截取，进而根据特征截取得到的第二维度的截取后特征进行目标跟踪，降低了特征截取操作所带来的计算压力，从而降低了目标跟踪的整体计算压力，提高了目标跟踪的效率。
下面对本申请中的可选具体实施方式进行详细描述。
在一实施例中，对当前帧进行特征提取，得到第一维度的当前特征，包括：
在当前帧的前一帧的目标位置，对当前帧进行截取，得到当前帧的目标所在图像块；
按照第一维度对当前帧的目标所在图像块进行特征提取，得到第一维度的当前特征。
本实施例中，获取当前帧的前一帧的目标位置LN-1，即，目标在前一帧的位置LN-1。进而在当前帧的LN-1处，截取当前帧，得到当前帧的目标所在图像块PN。其中，在截取当前帧时，主要根据目标尺寸确定目标所在图像块PN的尺寸，目标所在图像块PN的尺寸大于目标尺寸；进一步的，还可以结合前一帧的变焦倍数和当前帧的变焦倍数，对目标所在图像块PN的尺寸进行缩放。N为大于0的整数。
截取得到目标所在图像块PN后，按照第一维度对目标所在图像块PN进行特征提取，得到目标所在图像块PN在第一维度中的各个维度上的特征，即，得到第一维度的当前特征。
例如：第一维度包含100个维度，将该100个维度记为D1～D100。截取得到目标所在图像块PN后，提取其在D1维度上的特征、在D2维度上的特征……在D100维度上的特征，从而得到由100个特征组成的第一维度的当前特征。
在一实施例中，获取用于将特征从第一维度降低至第二维度的目标降维矩阵，包括：
对初始帧进行特征提取，得到第一维度的初始特征；
基于特征响应值，对第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，其中，第三维度的维度数目低于第一维度的维度数目，并高于第二维度的维度数目；
基于第三维度的初始特征，计算得到目标降维矩阵。
本实施例中，通过先剔除维度再计算目标降维矩阵的方式，降低了目标降维矩阵在降维处理过程中的实际计算量。
具体的，对初始帧进行特征提取，得到第一维度的初始特征。进而计算第一维度的各个维度的特征响应值。其中，特征响应值主要用于描述对应维度的特征在目标识别过程中所起作用的重要程度，特征响应值越大，说明对应维度的特征对于目标识别来说越重要；反之，特征响应值越小，说明对应维度的特征对于目标识别来说越不重要。
进而基于特征响应值，对第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征。其中，第三维度的维度数目介于第一维度的维度数目与第二维度的维度数目之间。
进而基于第三维度的初始特征，计算得到能够将第一维度的初始特征降低至第二维度的初始特征的目标降维矩阵。由于目标降维矩阵在将第一维度的初始特征降低至第二维度的初始特征的过程中，实际上是以第三维度的初始特征为起点进行降维的，自动忽视了被剔除维度的特征，因此目标降维矩阵在降维处理过程中的实际计算量得以减少。
例如：提取得到包含100个维度的第一维度的初始特征后，对其进行维度剔除，筛选得到包含80个维度的第三维度的初始特征。进而基于该包含80个维度的第三维度的初始特征，计算得到用于将包含100个维度的第一维度的初始特征降低至包含50个维度的第二维度的初始特征的目标降维矩阵。目标降维矩阵在进行降维处理的过程中，实际上是将包含80个维度的第三维度的初始特征降低为包含50个维度的第二维度的初始特征，期间减少了20个维度的数据处理量。
本实施例的优点在于，通过降低目标降维矩阵在降维处理过程中的实际计算量，从而提高了目标降维矩阵在进行特征降维时的处理速度。
在一实施例中，基于第三维度的初始特征，计算得到目标降维矩阵，包括：
获取将第三维度的初始特征降低至第二维度的初始特征的初始降维矩阵；
按照第一维度的初始特征的被剔除维度，在初始降维矩阵中添加对应被剔除维度的行或列，并将被所添加行或列的矩阵元素置为0，得到目标降维矩阵。
本实施例中，通过添加被剔除维度并将对应的矩阵元素置为0的方式，将第三维度的初始特征与第一维度的初始特征进行维度对齐，从而基于第三维度的初始特征，计算得到将特征从第一维度降低至第二维度的目标降维矩阵。
具体的，得到第三维度的初始特征后，可以采用主成分分析PCA算法，对第三维度的初始特征进行处理，从中筛选出第二维度的初始特征。进而根据第三维度的初始特征和第二维度的初始特征，构造得到将第三维度的初始特征降低至第二维度的初始特征的初始降维矩阵。其中，初始降维矩阵的各个行或列用于代表对应的一个维度。
确认在根据第一维度的初始特征得到第三维度的初始特征的过程中，第一维度的初始特征的被剔除维度。进而按照被剔除维度，在初始降维矩阵中添加对应的行或列，并将所添加行或列中的所有矩阵元素均置为0，得到将特征从第一维度降低至第二维度的目标降维矩阵。
例如：第一维度包含100个维度，第三维度包含80个维度，第二维度包含50个维度。即对第一维度的初始特征进行维度剔除筛选得到第三维度的初始特征的过程中，被剔除的20个维度为d1～d20。
根据包含80个维度的第三维度的初始特征和包含50个维度的第二维度的初始特征，构造得到大小为80*50的初始降维矩阵。进而按照d1～d20，在初始降维矩阵中添加对应于d1～d20的行或列，并将其矩阵元素置为0，得到大小为100*50的目标降维矩阵。
在一实施例中，基于特征响应值，对第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，包括：
将特征响应值低于预设的特征响应值阈值的初始特征从第一维度的初始特征中剔除，筛选得到第三维度的初始特征。
本实施例中，针对特征剔除，预先设置有对应的特征响应值阈值。若某一维度的初始特征的特征响应值大于或等于该特征响应值阈值，则说明该维度的初始特征对于目标识别而言是重要的，故将其保留；反之，若其特征响应值小于该特征响应值阈值，则说明其对于目标识别而言是不重要的，故将其剔除。通过这种方式对第一维度的初始特征进行剔除，从而筛选得到第三维度的初始特征。
在一实施例中，基于特征响应值，对第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，包括：
按照特征响应值对第一维度的初始特征进行聚类，得到至少两个初始特征集合；
对至少两个初始特征集合进行集合剔除，筛选得到至少一个初始特征集合，并将至少一个初始特征集合中的初始特征作为第三维度的初始特征。
本实施例中，采取先聚类得到集合，再剔除集合的方式，筛选得到第三维度的初始特征。
具体的，确定第一维度中的各个维度的初始特征的特征响应值后，按照特征响应值对第一维度中的各个维度的初始特征进行聚类，得到多个初始特征集合。同一个初始特征集合内的各个维度的初始特征的特征响应值距离相近，不同初始特征集合之间的维度的初始特征的特征响应值距离较远。
进而以集合为对象，对得到的多个初始特征集合进行剔除，保留至少一个初始特征集合，并将所保留初始特征集合中的初始特征作为第三维度的初始特征。在进行剔除时，可以以初始特征集合内的平均特征响应值为依据，优先剔除平均特征响应值小的初始特征集合，保留至少一个初始特征集合。
本实施例的优点在于，由于按照特征响应值聚类的初始特征集合，使得同一初始特征集合描述了同一重要度层次的维度，不同初始特征集合描述了不同重要度层次的维度，因此以集合为对象进行剔除时，能够保证低重要度层次的维度被全部清除，降低了筛选得到的第三维度的初始特征的数据冗余度。
在一实施例中，对至少两个初始特征集合进行集合剔除，筛选得到至少一个初始特征集合，包括：
获取预设的特征响应值阈值，并获取至少两个初始特征集合分别所覆盖的特征响应值区间；
确定特征响应值阈值与特征响应值区间之间的位置关系；
基于位置关系，对至少两个初始特征集合进行集合剔除，筛选得到至少一个初始特征集合。
本实施例中，通过确定特征响应值阈值与集合所覆盖的特征响应值区间之间的位置关系，实现对于集合的剔除。
具体的，得到各个初始特征集合后，确定各个初始特征集合所覆盖的特征响应值区间，并按照特征响应值区间的区间值大小，对各个初始特征集合进行排序。
进而确定预设的特征响应值阈值落在哪两个特征响应值区间之间，或者该特征响应值阈值落在哪一个特征响应值区间内。
当按照特征响应值区间的区间值，从大到小对各个初始特征集合进行排序时：若该特征响应值阈值落在特征响应值区间R1和特征响应值区间R2之间(R1位于R2前方)，则将R2对应的初始特征集合和R2之后的特征响应值区间对应的初始特征集合进行剔除；若该特征响应值阈值落在特征响应值区间R2内，则同样将R2对应的初始特征集合和R2之后的特征响应值区间对应的初始特征集合进行剔除。
本实施例的优点在于，在以集合为对象进行剔除的同时，结合特征响应值阈值进行剔除范围的划分，巩固了剔除过程的合理性，提高了筛选得到的第三维度的初始特征的合理性。
在一实施例中，针对初始帧，在获取初始帧的目标框信息，并基于初始帧的目标框信息后，对跟踪器进行初始化，从而对在初始帧之后的当前帧中，根据该跟踪器进行特征提取，以得到当前帧的第一维度的当前特征。
在一实施例中，根据第二维度的截取后特征进行目标跟踪，包括：
计算跟踪器与第二维度的截取后特征之间的互相关响应；
基于互相关响应，确定当前帧的目标位置，并基于当前帧的目标位置，更新跟踪器。
本实施例中，初始框的目标框信息主要用于描述目标在初始框中的初始位置和初始尺寸。得到初始框的目标框信息，基于初始位置和初始尺寸，对跟踪器进行初始化。
在初始帧之后的当前帧，计算跟踪器与第二维度的截取后特征之间的互相关响应。互相关响应越大的位置，目标在该位置的可能性越大。因此基于互相关响应，确定当前帧的目标位置，从而实现当前帧的目标跟踪。
并且，为了继续进行目标跟踪，基于当前帧的目标位置，更新跟踪器，提高跟踪器对于目标的识别跟踪能力。
在一实施例中，基于互相关响应，确定当前帧的目标位置，包括：
基于互相关响应的归一化峰值位置与跟踪器所使用相关滤波器的尺寸之间的乘积，获取目标相对于前一帧的位移；
基于前一帧的目标位置和位移，计算得到当前帧的目标位置。
本实施例中，计算得到跟踪器与第二维度的截取后特征之间的互相关响应后，定位互相关响应的峰值位置，并对该峰值位置进行归一化处理，得到归一化峰值位置。
进而将该归一化峰值位置与跟踪器所使用相关滤波器的尺寸进行相乘，得到目标相对于前一帧的位移。进而将前一帧的目标位置与该位移进行叠加，计算得到当前帧的目标位置。
下面参考图2至图5对本申请一实施例中的目标跟踪的详细处理过程进行描述。
图2示出了本申请一实施例的用于目标跟踪的跟踪器的主要处理流程示意图。
参见图2，本实施例中，确认开始进行跟踪后，采用跟踪启动指令中给定的初始帧的目标框信息(包括初始位置和初始尺寸)，对跟踪器进行初始化。其中，仅在确认开启跟踪器时对CNN模型进行一次加载，以避免每次初始化加载CNN模型所浪费的时间。
进而在初始帧之后的当前帧，使用跟踪器进行目标跟踪，确定目标的当前位置。并使用目标的当前位置更新跟踪器，不断迭代，直到跟踪结束。
图3示出了本申请一实施例的初始化跟踪器的流程示意图。
参见图3，本实施例中，跟踪启动指令中给出了目标在初始帧的初始位置为(1243,397)，初始尺寸为66*58。则在1920*1080的初始帧的(1243,397)处，截取247*247的图像块，并将该图像块变尺寸为130*130。
对130*130的该图像块进行特征提取，得到96维的62*62特征和512维的7*7特征。
按照特征响应值，剔除响应值偏低的特征，得到90维的62*62特征和159维的7*7特征。
采用PCA算法对90维的62*62特征和159维的7*7特征进行处理，计算得到用于将96维特征降至16维特征的第一目标降维矩阵，和用于将512维特征降至64维特征的第二目标降维矩阵。
计算得到第一目标降维矩阵和第二目标降维矩阵，并采用初始位置和初始尺寸对跟踪器进行初始化。其中，优选GPU并行进行上述目标跟踪处理，避免受限于CPU串行运算平台的算力限制，提高计算速度。
图4示出了本申请一实施例的更新跟踪器的流程示意图。
参见图4，本实施例中，在当前帧的前一帧的目标位置(1243,397)处截取247*247的图像块，并将其变尺寸为130*130的图像块。
对130*130的该图像块进行特征提取，得到96维的62*62特征和512维的7*7特征。
利用图3实施例中的第一目标降维矩阵和第二目标降维矩阵，计算得到16维的28*28特征和64维的7*7特征。
计算跟踪器与16维的28*28特征和64维的7*7特征之间的互相关响应。
计算得到互相关响应的归一化峰值位置(-0.07,0.25)，并根据该归一化峰值位置与相关滤波器的乘积，计算得到目标相对于前一帧的位移(-0.56,1.91)。进而结合前一帧的目标位置，计算得到当前帧的目标位置(1242,399)。
根据当前帧的目标位置(1242,399)更新跟踪器。
不断迭代，直到跟踪结束。
图5示出了本申请一实施例的特征降维的流程示意图。
参见图5，本实施例中，在对图4实施例所得到当前特征进行特征降维时，先利用第一目标降维矩阵和第二目标降维矩阵，将96维的62*62特征降为16维的62*62特征，将512维的7*7特征降为64维的7*7特征。
然后在16维的62*62特征的中心截取56*56，64维的7*7特征保持不变。由于截取操作仅针对降维后的少量特征，因此计算效率得以提升。
然后通过变换尺度，将16维的56*56特征变尺寸为16维的28*28特征，64维的7*7特征保持不变。变换尺度的主要目的在于平衡计算量和分辨率，进一步提升计算效率。
图6示出了根据本申请一实施例的目标跟踪装置的框图，所述装置包括：
提取模块210，配置为针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；
降维模块220，配置为获取用于将特征从所述第一维度降低至第二维度的目标降维矩阵，并采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征，其中，所述第二维度的维度数目低于所述第一维度的维度数目；
截取模块230，配置为按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；
跟踪模块240，配置为根据所述第二维度的截取后特征进行目标跟踪。
在本申请的一示例性实施例中，所述提取模块配置为：
在所述当前帧的前一帧的目标位置，对所述当前帧进行截取，得到所述当前帧的目标所在图像块；
按照所述第一维度对所述当前帧的目标所在图像块进行特征提取，得到所述第一维度的当前特征。
在本申请的一示例性实施例中，所述降维模块配置为：
对所述初始帧进行特征提取，得到所述第一维度的初始特征；
基于特征响应值，对所述第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，其中，所述第三维度的维度数目低于所述第一维度的维度数目，并高于所述第二维度的维度数目；
基于所述第三维度的初始特征，计算得到所述目标降维矩阵。
在本申请的一示例性实施例中，所述降维模块配置为：
获取将所述第三维度的初始特征降低至所述第二维度的初始特征的初始降维矩阵；
按照所述第一维度的初始特征的被剔除维度，在所述初始降维矩阵中添加对应所述被剔除维度的行或列，并将所添加行或列的矩阵元素置为0，得到所述目标降维矩阵。
在本申请的一示例性实施例中，所述降维模块配置为：
按照所述特征响应值对所述第一维度的初始特征进行聚类，得到至少两个初始特征集合；
对所述至少两个初始特征集合进行集合剔除，筛选得到至少一个初始特征集合，并将所述至少一个初始特征集合中的初始特征作为所述第三维度的初始特征。
在本申请的一示例性实施例中，所述装置配置为：获取初始帧的目标框信息，并基于所述初始帧的目标框信息，对跟踪器进行初始化；
所述跟踪模块配置为：
计算所述跟踪器与所述第二维度的截取后特征之间的互相关响应；
基于所述互相关响应，确定所述当前帧的目标位置，并基于所述当前帧的目标位置，更新所述跟踪器。
在本申请的一示例性实施例中，所述跟踪模块配置为：
基于所述互相关响应的归一化峰值位置与跟踪器所使用相关滤波器的尺寸之间的乘积，获取目标相对于前一帧的位移；
基于所述前一帧的目标位置和所述位移，计算得到所述当前帧的目标位置。
下面参考图7来描述根据本申请实施例的电子设备30。图7显示的电子设备30仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备30以通用计算设备的形式表现。电子设备30的组件可以包括但不限于：上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图1中所示的各个步骤。
存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(ROM)3203。
存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备30交互的设备通信，和/或与使得该电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。输入/输出(I/O)接口350与显示单元340相连。并且，电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器360通过总线330与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。

Claims (9)

1.一种目标跟踪方法，其特征在于，所述方法包括：
针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；
对所述初始帧进行特征提取，得到所述第一维度的初始特征；
基于特征响应值，对所述第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，其中，所述特征响应值用于描述对应维度的特征在目标识别过程中所起作用的重要程度，所述第三维度的维度数目低于所述第一维度的维度数目；
基于所述第三维度的初始特征，计算得到用于将特征从所述第一维度降低至第二维度的目标降维矩阵，其中，所述第二维度的维度数目低于所述第三维度的维度数目；
采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征；
按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；
根据所述第二维度的截取后特征进行目标跟踪。
2.根据权利要求1所述的方法，其特征在于，对所述当前帧进行特征提取，得到第一维度的当前特征，包括：
在所述当前帧的前一帧的目标位置，对所述当前帧进行截取，得到所述当前帧的目标所在图像块；
按照所述第一维度对所述当前帧的目标所在图像块进行特征提取，得到所述第一维度的当前特征。
3.根据权利要求1所述的方法，其特征在于，基于所述第三维度的初始特征，计算得到用于将特征从所述第一维度降低至第二维度的目标降维矩阵，包括：
获取将所述第三维度的初始特征降低至所述第二维度的初始特征的初始降维矩阵；
按照所述第一维度的初始特征的被剔除维度，在所述初始降维矩阵中添加对应所述被剔除维度的行或列，并将所添加行或列的矩阵元素置为0，得到所述目标降维矩阵。
4.根据权利要求1所述的方法，其特征在于，基于特征响应值，对所述第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，包括：
按照所述特征响应值对所述第一维度的初始特征进行聚类，得到至少两个初始特征集合；
对所述至少两个初始特征集合进行集合剔除，筛选得到至少一个初始特征集合，并将所述至少一个初始特征集合中的初始特征作为所述第三维度的初始特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取初始帧的目标框信息，并基于所述初始帧的目标框信息，对跟踪器进行初始化；
根据所述第二维度的截取后特征进行目标跟踪，包括：
计算所述跟踪器与所述第二维度的截取后特征之间的互相关响应；
基于所述互相关响应，确定所述当前帧的目标位置，并基于所述当前帧的目标位置，更新所述跟踪器。
6.根据权利要求5所述的方法，其特征在于，基于所述互相关响应，确定所述当前帧的目标位置，包括：
基于所述互相关响应的归一化峰值位置与跟踪器所使用相关滤波器的尺寸之间的乘积，获取目标相对于前一帧的位移；
基于所述前一帧的目标位置和所述位移，计算得到所述当前帧的目标位置。
7.一种目标跟踪装置，其特征在于，所述装置包括：
提取模块，配置为针对在初始帧之后的当前帧，对所述当前帧进行特征提取，得到第一维度的当前特征；
降维模块，配置为获取用于将特征从所述第一维度降低至第二维度的目标降维矩阵，并采用所述目标降维矩阵将所述第一维度的当前特征转换为所述第二维度的当前特征，其中，所述第二维度的维度数目低于所述第一维度的维度数目；
截取模块，配置为按照预设尺寸对所述第二维度的当前特征进行截取，得到所述第二维度的截取后特征；
跟踪模块，配置为根据所述第二维度的截取后特征进行目标跟踪；
所述降维模块配置为：
对所述初始帧进行特征提取，得到所述第一维度的初始特征；
基于特征响应值，对所述第一维度的初始特征进行维度剔除，筛选得到第三维度的初始特征，其中，所述特征响应值用于描述对应维度的特征在目标识别过程中所起作用的重要程度，所述第三维度的维度数目低于所述第一维度的维度数目，并高于所述第二维度的维度数目；
基于所述第三维度的初始特征，计算得到所述目标降维矩阵。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至6任一项所述的方法。
CN202210860736.0A 2022-07-21 2022-07-21 目标跟踪方法、装置、电子设备及存储介质 Active CN115147458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210860736.0A CN115147458B (zh) 2022-07-21 2022-07-21 目标跟踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210860736.0A CN115147458B (zh) 2022-07-21 2022-07-21 目标跟踪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115147458A CN115147458A (zh) 2022-10-04
CN115147458B true CN115147458B (zh) 2023-04-07

Family

ID=83412075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210860736.0A Active CN115147458B (zh) 2022-07-21 2022-07-21 目标跟踪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115147458B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837344A (zh) * 2019-12-18 2021-05-25 沈阳理工大学 一种基于条件对抗生成孪生网络的目标跟踪方法
CN114066930A (zh) * 2020-07-29 2022-02-18 万兴科技(湖南)有限公司 一种平面目标跟踪方法、装置、终端设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320297B (zh) * 2018-03-09 2020-06-19 湖北工业大学 一种视频目标实时跟踪方法及系统
TWI697845B (zh) * 2018-07-13 2020-07-01 緯創資通股份有限公司 多目標追蹤方法與系統
CN111311578B (zh) * 2020-02-17 2024-05-03 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111696132B (zh) * 2020-05-15 2023-12-29 深圳市优必选科技股份有限公司 目标跟踪方法、装置、计算机可读存储介质及机器人
CN113989696B (zh) * 2021-09-18 2022-11-25 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN114066935A (zh) * 2021-10-30 2022-02-18 南宁桂电电子科技研究院有限公司 基于相关滤波的长时目标跟踪方法
CN114155278A (zh) * 2021-11-26 2022-03-08 浙江商汤科技开发有限公司 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN114119970B (zh) * 2022-01-29 2022-05-03 中科视语(北京)科技有限公司 目标跟踪方法及装置
CN114663462A (zh) * 2022-04-07 2022-06-24 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837344A (zh) * 2019-12-18 2021-05-25 沈阳理工大学 一种基于条件对抗生成孪生网络的目标跟踪方法
CN114066930A (zh) * 2020-07-29 2022-02-18 万兴科技(湖南)有限公司 一种平面目标跟踪方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN115147458A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US11328171B2 (en) Image retrieval method and apparatus
CN110363091B (zh) 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN111858843B (zh) 一种文本分类方法及装置
CN111783974A (zh) 模型构建及图像处理方法、装置、硬件平台及存储介质
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN110555405A (zh) 目标跟踪方法及装置、存储介质和电子设备
CN110489423B (zh) 一种信息抽取的方法、装置、存储介质及电子设备
CN109982088B (zh) 图像处理方法及装置
CN110363193B (zh) 车辆重识别方法、装置、设备和计算机存储介质
CN108460335B (zh) 视频细粒度识别方法、装置、计算机设备及存储介质
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN115147458B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111753736A (zh) 基于分组卷积的人体姿态识别方法、装置、设备和介质
CN113902045B (zh) 一种基于图像识别的车险现场快速定损方法
CN112906652A (zh) 一种人脸图像的识别方法、装置、电子设备及存储介质
CN115273148A (zh) 行人重识别模型训练方法、装置、电子设备及存储介质
CN115080745A (zh) 基于人工智能的多场景文本分类方法、装置、设备及介质
CN114842541A (zh) 模型的训练及人脸识别方法、装置、设备以及存储介质
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质
CN111160197A (zh) 人脸检测方法、装置、电子设备、存储介质
CN113011301A (zh) 一种活体识别方法、装置及电子设备
CN111045687B (zh) 一种人工智能应用的部署方法及相关装置
CN116166920A (zh) 一种业务对象分析方法、装置、设备和存储介质
CN115578583A (zh) 图像处理方法、装置、电子设备和存储介质
CN114187549A (zh) 场景分类模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant