CN109753846A - 目标跟踪硬件实现系统和方法 - Google Patents

目标跟踪硬件实现系统和方法 Download PDF

Info

Publication number
CN109753846A
CN109753846A CN201711067602.9A CN201711067602A CN109753846A CN 109753846 A CN109753846 A CN 109753846A CN 201711067602 A CN201711067602 A CN 201711067602A CN 109753846 A CN109753846 A CN 109753846A
Authority
CN
China
Prior art keywords
image
checked
target
kcf
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711067602.9A
Other languages
English (en)
Inventor
贾希杰
吴迪
孙寒泊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xilinx Technology Beijing Ltd
Original Assignee
Beijing Deephi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deephi Intelligent Technology Co Ltd filed Critical Beijing Deephi Intelligent Technology Co Ltd
Priority to CN201711067602.9A priority Critical patent/CN109753846A/zh
Priority to PCT/CN2018/080595 priority patent/WO2019085377A1/zh
Priority to US15/975,164 priority patent/US10810746B2/en
Publication of CN109753846A publication Critical patent/CN109753846A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种目标跟踪硬件实现系统和方法。根据本发明的目标跟踪硬件实现系统（200）包括：截取缩放模块（210），用于从外部存储模块（300）中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块（220），用于对归一化图像提取特征；特征管理模块（230），用于基于所提取的图像特征，对匹配模板进行存取与更新；KCF计算模块（240），用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。本发明综合现有KCF算法的优势，在并行硬件平台上实现，具有小体积、低功耗和高实时性的优点。

Description

目标跟踪硬件实现系统和方法
技术领域
本发明涉及计算机机器视觉，更具体涉及实时高分辨率的多目标跟踪的方法与系统。
背景技术
目标跟踪是计算机机器视觉领域的重要课题。课题的主要任务是设计一个具有鉴别力的分类器，能够将目标从环境中区分出来。其中，基于核化相关滤波器（KernelizedCorrelation Filters，KCF）的高速跟踪器是近年来的新进展。KCF算法利用循环矩阵来构建训练样本对分类器进行训练（岭回归问题），并通过在离散傅里叶域中进行计算来避免复杂的矩阵求逆过程，进而降低了算法的计算和存储复杂度，提高了算法的计算速度。
现有的KCF算法仍然使用软件在通用处理器中实现，如CPU、GPU或ARM等。然而在通用处理器上进行串行计算或多线程并行计算，由于并行度有限，算法对主频依赖很大，在高性能CPU或GPU上体积和功耗都很大，在嵌入式ARM上则主频过低，性能严重不足，难以达到实时。此外，在进行多目标实时跟踪任务时，串行计算的劣势则更加明显。
发明内容
本发明的目的在于提供一种实时高分辨率多目标跟踪方法及系统，以便达到在高分辨率视频中，对多目标进行实时跟踪。
根据本发明的第一方面，提供一种目标跟踪硬件实现系统，包括：截取缩放模块，用于从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块，用于对归一化图像提取特征；特征管理模块，用于基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。
优选地，在根据本发明第一方面的目标跟踪硬件实现系统中，所述视频可以是高分辨率视频。
优选地，在根据本发明第一方面的目标跟踪硬件实现系统中，所述特征提取模块可以进一步用于提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。
优选地，在根据本发明第一方面的目标跟踪硬件实现系统中，所述特征管理模块可以采用乒乓缓存结构实现对图像特征的存取与使用。
优选地，在根据本发明第一方面的目标跟踪硬件实现系统中，所述截取缩放模块可以进一步用于：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。
优选地，在根据本发明第一方面的目标跟踪硬件实现系统中，所述特征提取模块可以进一步用于提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，发送给所述特征管理模块进行存储。所述特征管理模块可以进一步用于从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板。所述KCF计算模块可以进一步用于以离散傅里叶变换为基础，基于从所述特征管理模块读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于从所述特征管理模块读取的更新后的特征训练匹配模板和从所述特征管理模块读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。
根据本发明的第二方面，提供一种目标跟踪方法，包括：截取缩放模块从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块对归一化图像提取特征；特征管理模块基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。
优选地，在根据本发明第二方面的方法中，所述视频可以是高分辨率视频。
优选地，在根据本发明第二方面的方法中，所述的对归一化图像提取特征的步骤可以进一步包括：提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。
优选地，发明第二方面的方法可以进一步包括：采用乒乓缓存结构实现对图像特征的存取与使用。
优选地，在根据本发明第二方面的方法中，所述的从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小的步骤可以进一步包括：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。
优选地，在根据本发明第二方面的方法中，所述的对归一化图像提取特征的步骤可以进一步包括：提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，进行存储。所述的基于所提取的图像特征，对匹配模板进行存取与更新的步骤可以进一步包括：从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板。所述的基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标的步骤可以进一步包括：以离散傅里叶变换为基础，基于读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于读取的更新后的特征训练匹配模板和读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。
优选地，根据本发明第二方面的方法可以进一步包括：使用多套计算资源，并行地遍历多个目标，直至完成所有目标的跟踪。
优选地，根据本发明第二方面的方法可以进一步包括：将当前帧作为训练图像帧，从视频中读取下一帧作为待检图像帧，依次遍历视频中的所有图像帧执行所述控制方法，直至视频结束。
根据本发明的第三方面，提供一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行目标跟踪方法，包括如下操作：从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；对归一化图像提取特征；基于所提取的图像特征，对匹配模板进行存取与更新；基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。
本发明综合现有KCF算法的优势，在并行硬件平台上实现了一种实时高分辨率的多目标跟踪方法及系统，如现场可编程逻辑阵列（FPGA）、专用集成电路（ASIC）均可，具有小体积、低功耗和高实时性的优点。
附图说明
下面参考附图结合实施例说明本发明。在附图中：
图1是用于说明根据本发明的优选实施例的目标跟踪方法的示意图；
图2是用于说明根据本发明的优选实施例的目标跟踪硬件实现系统的示意框图；
图3是根据本发明的更一般的目标跟踪方法的流程图。
具体实施方式
附图仅用于示例说明，不能理解为对本发明的限制。下面结合附图和实施例对本发明的技术方案做进一步的说明。
图1是用于说明根据本发明的优选实施例的目标跟踪方法的示意图。如图1中所示，本发明提供了一种实时高分辨率多目标跟踪方法。
在图1所示的优选实施例的方法中，包括如下的具体步骤：
步骤1：通过视频，获取前一帧视频作为训练图像帧，获取当前帧作为待检图像帧。优选地，视频可以为高分辨率视频，以提供更好的画质和更多的图像细节；
步骤2：从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；
步骤3：从训练图像帧中截取目标图像并通过缩放归一化至指定大小；从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小；
步骤4：分别对归一化目标图像以及各归一化待检图像提取特征。优选地，提取梯度直方图（Histogram of Gradient，简称为HOG）特征，并对特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权，降低循环矩阵的边界效应；
步骤5：计算目标图像特征的KCF训练系数；
步骤6：导入历史训练匹配模板，使用目标图像特征更新特征训练匹配模板，使用目标图像特征的KCF训练系数更新KCF训练系数匹配模板。导出更新后的训练模板；
步骤7：根据目标图像的特征训练匹配模板及KCF训练系数匹配模板，计算各个尺度待检图像特征的KCF响应矩阵；
步骤8：从各个尺度待检图像中，选取响应最大的待检图像的尺寸，作为跟踪到的目标的尺寸；
步骤9：将最大响应在特征中的偏移距离换算为跟踪到的目标的偏移距离；
步骤10：切换至另一目标，重复步骤2至9，直至依次串行遍历所有目标。优选地，使用多套计算资源，并行计算各个目标，直至完成所有目标的计算；
步骤11：将当前帧置为训练图像帧，从视频流中读取下一帧作为待检图像帧，重复步骤2至10，直至视频结束。
本发明还提供了一种实时高分辨率多目标跟踪硬件实现系统。图2是用于说明根据本发明的优选实施例的目标跟踪硬件实现系统的示意框图。如图2中所示，根据本发明的优选实施例的目标跟踪硬件实现系统200包括：截取缩放模块210，用于从外部存储模块300中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块220，用于对归一化图像提取特征；特征管理模块230，用于基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块240，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。
下面进一步结合图1的方法和图2的框图，详细描述根据本发明的优选实施例的目标跟踪硬件实现系统200及其支持模块或外部模块100、300、400、500、201。
通用处理器100：从视频源400接收视频数据并存储至外部存储模块300，生成跟踪系统硬件调度策略，向跟踪系统的接收控制模块201发送指令和参数，并接收KCF计算模块240的计算结果，整理后显示输出到显示设备500。
接收控制模块201：用于接收从通用处理器100发送的指令和参数，进而控制截取缩放模块210和特征管理模块230的工作模式。
截取缩放模块220：根据接收控制模块201传来的指令和参数，从外部存储模块300中读取图像帧，截取图像，并通过缩放归一化至指定大小。
特征提取模块220：用于对归一化图像提取特征。优选地，提取HOG特征，并对特征向量进行特征归一化、PCA降维和汉宁窗加权，以提高KCF分类器的分类效果，降低系统计算和存储复杂度。
特征管理模块230：用于对特征向量进行管理。包括存储特征提取模块220的计算结果特征向量矩阵，存储和更新特征训练匹配模板，存储和读取KCF训练系数匹配模板，将存储的特征向量和特征训练匹配模板按序传输至KCF计算模块240进行计算， 将匹配模板存储至外部存储模块300进行多目标间匹配模板的切换。优选地，使用乒乓策略对特征向量进行存储，实现特征提取与KCF计算的流水进行。
KCF计算模块240：以离散傅里叶变换为基础，用于计算图像特征的KCF响应。根据接收控制模块201的指令，在训练步骤中，从特征管理模块230中读取目标图像特征，计算生成KCF训练系数，并更新KCF训练系数匹配模板；在检测步骤中，从特征管理模块230中分别读取目标图像的特征训练匹配模板和待检图像的特征向量矩阵，使用KCF训练系数匹配模板计算待检图像特征的KCF响应矩阵，并从各个尺度待检图像中选取响应最大的待检图像的尺度作为跟踪到的目标的尺寸，将最大响应在特征中的偏移距离换算为跟踪到的目标的偏移距离，传送回通用处理器100。
外部存储模块300：存储训练图像帧和待检图像帧，优选地，使用乒乓策略进行存储。存储各个跟踪目标的历史训练匹配模板。
基于上述技术方案可知，本发明提出的一种实时高分辨率多目标跟踪方法及系统具有以下有益的效果。
1、本发明提出的计算系统，各个模块间为流水结构，在实施于并行资源丰富的硬件器件，如FPGA、ASIC等时，可充分发挥器件的并行计算优势，提高计算效率，满足高速实时计算要求，而在通用处理器上仅需要进行系统调度，有效降低处理器负荷和功耗，以及降低对处理器主频的依赖。
2、本发明提出的计算方法，通过尺寸的缩放归一化，可以在输入不同分辨率的视频时，均保持稳定的处理速度，对高分辨率视频提供了很好的支持。
3、本发明提出的计算方法，在进行多目标跟踪时，既可以使用一套系统串行遍历各个目标，也可以利用器件资源的并行性，开设多套系统，并行遍历目标，实现更高速实时多目标跟踪。
通过以上的描述，可以总结出更一般化的目标跟踪方法。
图3是根据本发明的更一般的目标跟踪方法的流程图。如图3中所示，根据本发明的目标跟踪方法300开始于步骤S310，在此步骤，从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小。根据优选实施例可知，所示视频可以是高分辨率视频。
在优选实施例中，步骤S310是由图2中的截取缩放模块210来执行的。更具体地，步骤S310可以进一步包括：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。
本领域普通技术人员应该理解，尽管优选实施例中使用了上述具体步骤，但本发明并不排除使用其他具体步骤来实现截取并缩放目标图像与待检图像的可能性。因此，如果存在其他方式来实现截取并缩放目标图像与待检图像，则这样的方式和具体步骤也属于步骤S310的具体细节，也在本发明所要求保护的范围之内。
接下来，在步骤S320，对归一化图像提取特征。
在优选实施例中，步骤S320是由图2中的特征提取模块220来执行的。更具体地，步骤S320可以进一步包括：提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，进行存储。而且，所述的提取的特征可以是梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。本领域普通技术人员应当理解，尽管优选实施例中使用了特征向量、HOG、PCA和汉宁窗等具体手段进行优化，但也可以使用其他手段来进行替换，例如使用奇异值分解（SVD）来替代PCA，以达到相同或相似的目的。因此，如果存在其他方式来实现对归一化的目标图像与待检图像提取特征，则这样的方式和具体步骤也属于步骤S320的具体细节，也在本发明所要求保护的范围之内。
在步骤S330，基于所提取的图像特征，对匹配模板进行存取与更新。
在优选实施例中，步骤S330是由图2中的特征管理模块230来执行的。更具体地，步骤S330可以进一步包括：从图2的外部存储模块300中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板。
然后，在步骤340，基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。
在步骤S330和S340中，可以采用乒乓缓存结构实现对图像特征的存取与使用。
在优选实施例中，步骤S340是由图2中的KCF计算模块240来执行的。更具体地，步骤S340进一步包括：以离散傅里叶变换为基础，基于读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于读取的更新后的特征训练匹配模板和读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。
类似地，本领域普通技术人员应当理解，尽管优选实施例中使用了上述的具体方式，如果存在其他方式来实现KCF响应的计算并由此能选取响应最大的待检图像作为跟踪到的目标，则这样的方式和具体步骤也属于步骤S340的具体细节，也在本发明所要求保护的范围之内。
在使用图2的硬件实现系统200来执行方法300时，可以使用多套计算资源，并行地遍历多个目标，直至完成所有目标的跟踪。
此外，在步骤S310中，可以读取前一帧和当前帧分别作为训练和待检图像帧，在当前帧的目标都已跟踪完毕之后，可以进入到视频中的下一帧，即将当前帧作为训练图像帧，从视频中读取下一帧作为待检图像帧，由此依次遍历视频中的所有图像帧执行所述方法300的流程图S310至S340，直至视频结束。由此，方法300也可以结束。
本领域普通技术人员应该认识到，本发明的方法可以实现为计算机程序。如上结合图3所述，根据上述实施例的方法可以执行一个或多个程序，包括指令来使得计算机或处理器执行结合附图所述的算法。这些程序可以使用各种类型的非瞬时计算机可读介质存储并提供给计算机或处理器。非瞬时计算机可读介质包括各种类型的有形存贮介质。非瞬时计算机可读介质的示例包括磁性记录介质（诸如软盘、磁带和硬盘驱动器）、磁光记录介质（诸如磁光盘）、CD-ROM（紧凑盘只读存储器）、CD-R、CD-R/W以及半导体存储器（诸如ROM、PROM（可编程ROM）、EPROM（可擦写PROM）、闪存ROM和RAM（随机存取存储器））。进一步，这些程序可以通过使用各种类型的瞬时计算机可读介质而提供给计算机。瞬时计算机可读介质的示例包括电信号、光信号和电磁波。瞬时计算机可读介质可以用于通过诸如电线和光纤的有线通信路径或无线通信路径提供程序给计算机。
因此，根据本发明，还可以提议一种计算机程序或一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行目标跟踪方法，包括如下操作：从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；对归一化图像提取特征；基于所提取的图像特征，对匹配模板进行存取与更新；基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。
上面已经描述了本发明的各种实施例和实施情形。但是，本发明的精神和范围不限于此。本领域技术人员将能够根据本发明的教导而做出更多的应用，而这些应用都在本发明的范围之内。
也就是说，本发明的上述实施例仅仅是为清楚说明本发明所做的举例，而非对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、替换或改进等，均应包含在本发明权利要求的保护范围之内。

Claims (15)

1.一种目标跟踪硬件实现系统，包括：
截取缩放模块，用于从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；
特征提取模块，用于对归一化图像提取特征；
特征管理模块，用于基于所提取的图像特征，对匹配模板进行存取与更新；
核化相关滤波器（KCF）计算模块，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。
2.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述视频是高分辨率视频。
3.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述特征提取模块进一步用于提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。
4.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述特征管理模块采用乒乓缓存结构实现对图像特征的存取与使用。
5.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述截取缩放模块进一步用于：
从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；
从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；
从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。
6.根据权利要求1所述的目标跟踪硬件实现系统，其中：
所述特征提取模块进一步用于提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，发送给所述特征管理模块进行存储，
所述特征管理模块进一步用于从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板，
所述KCF计算模块进一步用于以离散傅里叶变换为基础，基于从所述特征管理模块读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于从所述特征管理模块读取的更新后的特征训练匹配模板和从所述特征管理模块读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。
7.一种目标跟踪方法，包括：
从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；
对归一化图像提取特征；
基于所提取的图像特征，对匹配模板进行存取与更新；
基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。
8.根据权利要求7所述的方法，其中，所述视频是高分辨率视频。
9.根据权利要求7所述的方法，其中，所述的对归一化图像提取特征的步骤进一步包括：提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。
10.根据权利要求7所述的方法，进一步包括：采用乒乓缓存结构实现对图像特征的存取与使用。
11.根据权利要求7所述的方法，其中，所述的从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小的步骤进一步包括：
从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；
从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；
从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。
12.根据权利要求7所述的方法，其中：
所述的对归一化图像提取特征的步骤进一步包括：提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，进行存储，
所述的基于所提取的图像特征，对匹配模板进行存取与更新的步骤进一步包括：从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板，
所述的基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标的步骤进一步包括：以离散傅里叶变换为基础，基于读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于读取的更新后的特征训练匹配模板和读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。
13.根据权利要求7所述的方法，进一步包括：使用多套计算资源，并行地遍历多个目标，直至完成所有目标的跟踪。
14.根据权利要求11所述的方法，进一步包括：将当前帧作为训练图像帧，从视频中读取下一帧作为待检图像帧，依次遍历视频中的所有图像帧执行所述方法，直至视频结束。
15.一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行目标跟踪方法，包括如下操作：
从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；
对归一化图像提取特征；
基于所提取的图像特征，对匹配模板进行存取与更新；
基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。
CN201711067602.9A 2017-11-03 2017-11-03 目标跟踪硬件实现系统和方法 Pending CN109753846A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711067602.9A CN109753846A (zh) 2017-11-03 2017-11-03 目标跟踪硬件实现系统和方法
PCT/CN2018/080595 WO2019085377A1 (zh) 2017-11-03 2018-03-27 目标跟踪硬件实现系统和方法
US15/975,164 US10810746B2 (en) 2017-11-03 2018-05-09 Target tracking hardware implementation system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711067602.9A CN109753846A (zh) 2017-11-03 2017-11-03 目标跟踪硬件实现系统和方法

Publications (1)

Publication Number Publication Date
CN109753846A true CN109753846A (zh) 2019-05-14

Family

ID=66327445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711067602.9A Pending CN109753846A (zh) 2017-11-03 2017-11-03 目标跟踪硬件实现系统和方法

Country Status (3)

Country Link
US (1) US10810746B2 (zh)
CN (1) CN109753846A (zh)
WO (1) WO2019085377A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555866A (zh) * 2019-08-07 2019-12-10 北京首贝科技发展有限公司 一种改进kcf特征描述符的红外目标跟踪方法
CN110991565A (zh) * 2019-12-24 2020-04-10 华北理工大学 基于kcf的目标跟踪优化算法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN114596332A (zh) * 2022-04-26 2022-06-07 四川迪晟新达类脑智能技术有限公司 提升跟踪目标特征信息的方法、系统、设备及存储介质
CN116109975A (zh) * 2023-02-08 2023-05-12 广州宝立科技有限公司 电网安全作业监控图像处理方法及智能视频监控系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276383B (zh) * 2019-05-31 2021-05-14 北京理工大学 一种基于多通道记忆模型的核相关滤波目标定位方法
KR102164754B1 (ko) * 2019-08-27 2020-10-13 중앙대학교 산학협력단 개선된 kcf를 이용한 객체 추적 방법 및 장치
CN110706252B (zh) * 2019-09-09 2020-10-23 西安理工大学 运动模型引导下的机器人核相关滤波跟踪算法
CN112991382B (zh) * 2019-12-02 2024-04-09 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN111105444B (zh) * 2019-12-31 2023-07-25 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111400069B (zh) * 2020-03-23 2024-01-26 北京经纬恒润科技股份有限公司 一种kcf跟踪算法的实现方法、装置及系统
CN111582266B (zh) * 2020-03-30 2023-04-07 西安电子科技大学 配置目标跟踪硬件加速控制方法、系统、存储介质及应用
CN111754548B (zh) * 2020-06-29 2023-10-03 西安科技大学 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置
CN111814734B (zh) * 2020-07-24 2024-01-26 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN112070802B (zh) * 2020-09-02 2024-01-26 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112528817B (zh) * 2020-12-04 2024-03-19 重庆大学 一种基于神经网络的巡检机器人视觉检测及跟踪方法
CN112541468B (zh) * 2020-12-22 2022-09-06 中国人民解放军国防科技大学 一种基于双模板响应融合的目标跟踪方法
CN113658216A (zh) * 2021-06-24 2021-11-16 北京理工大学 基于多级自适应kcf的遥感目标跟踪方法及电子设备
CN116069801B (zh) * 2023-03-06 2023-06-30 山东华夏高科信息股份有限公司 一种交通视频结构化数据生成方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150055829A1 (en) * 2013-08-23 2015-02-26 Ricoh Company, Ltd. Method and apparatus for tracking object
CN106570893A (zh) * 2016-11-02 2017-04-19 中国人民解放军国防科学技术大学 一种基于相关滤波的快速稳健视觉跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107197199A (zh) * 2017-05-22 2017-09-22 哈尔滨工程大学 一种智能监控装置及目标跟踪方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
MXPA06013614A (es) * 2006-11-24 2007-12-06 Global Sight S A De C V Sistemas de transmision de datos en forma remota y digital y localizacion satelital desde terminales moviles o fijas con camaras de vigilancia urbana para reconocimiento facial, detector de disparos, captura de personal de seguridad publica y persona
KR101554643B1 (ko) * 2009-02-17 2015-09-21 삼성전자주식회사 이동통신 단말기에서 화상통화 시 자동으로 이모티콘을 전송하기 위한 장치 및 방법
KR101480348B1 (ko) * 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US9210542B2 (en) * 2013-12-09 2015-12-08 Nec Europe Ltd. Method and computer system for detecting crowds in a location tracking system
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104200237B (zh) * 2014-08-22 2019-01-11 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
US9646389B2 (en) * 2014-08-26 2017-05-09 Qualcomm Incorporated Systems and methods for image scanning
JP5794599B1 (ja) * 2014-12-22 2015-10-14 株式会社 テクノミライ デジタルファインドセキュリティシステム、方法及びプログラム
US9905006B2 (en) * 2015-02-12 2018-02-27 Toshiba Medical Systems Corporation Medical image processing apparatus, medical image processing method, and medical imaging system
US20170054449A1 (en) * 2015-08-19 2017-02-23 Texas Instruments Incorporated Method and System for Compression of Radar Signals
CA2998956C (en) * 2015-11-26 2023-03-21 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
CN106023248A (zh) * 2016-05-13 2016-10-12 上海宝宏软件有限公司 一种实时的视频跟踪方法
US10026004B2 (en) * 2016-07-08 2018-07-17 Conduent Business Services, Llc Shadow detection and removal in license plate images
CN106650592B (zh) * 2016-10-05 2020-08-28 北京深鉴智能科技有限公司 目标追踪系统
US10902615B2 (en) * 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150055829A1 (en) * 2013-08-23 2015-02-26 Ricoh Company, Ltd. Method and apparatus for tracking object
CN106570893A (zh) * 2016-11-02 2017-04-19 中国人民解放军国防科学技术大学 一种基于相关滤波的快速稳健视觉跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107197199A (zh) * 2017-05-22 2017-09-22 哈尔滨工程大学 一种智能监控装置及目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王春平 等: "基于色度饱和度-角度梯度直方图特征的尺度自适应核相关滤波跟踪", 《光学 精密工程》 *
雷涛: "光电成像动态目标稳定跟踪技术研究", 《中国博士学位论文全文数据库 信息科技辑（月刊）计算机软件及计算机应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555866A (zh) * 2019-08-07 2019-12-10 北京首贝科技发展有限公司 一种改进kcf特征描述符的红外目标跟踪方法
CN110991565A (zh) * 2019-12-24 2020-04-10 华北理工大学 基于kcf的目标跟踪优化算法
CN111161323A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN112561958B (zh) * 2020-12-04 2023-04-18 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN114596332A (zh) * 2022-04-26 2022-06-07 四川迪晟新达类脑智能技术有限公司 提升跟踪目标特征信息的方法、系统、设备及存储介质
CN116109975A (zh) * 2023-02-08 2023-05-12 广州宝立科技有限公司 电网安全作业监控图像处理方法及智能视频监控系统
CN116109975B (zh) * 2023-02-08 2023-10-20 广州宝立科技有限公司 电网安全作业监控图像处理方法及智能视频监控系统

Also Published As

Publication number Publication date
US10810746B2 (en) 2020-10-20
US20190139232A1 (en) 2019-05-09
WO2019085377A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109753846A (zh) 目标跟踪硬件实现系统和方法
Levine et al. Quantum entanglement in deep learning architectures
CN111045814B (zh) 资源调度方法和终端设备
WO2021128805A1 (zh) 一种基于生成对抗强化学习的无线网络资源分配方法
CN110263819A (zh) 一种用于贝类图像的目标检测方法及装置
CN109815919A (zh) 一种人群计数方法、网络、系统和电子设备
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN116272363B (zh) 船舶废气混合式脱硫系统及其方法
CN109101899A (zh) 一种基于卷积神经网络的人脸检测方法及系统
CN109191524A (zh) 基于fpga的红外目标实时检测系统及检测方法
CN109583367A (zh) 图像文本行检测方法及装置、存储介质和电子设备
CN112926256A (zh) 基于深度强化学习的土壤重金属含量预测方法及系统
CN110363137A (zh) 人脸检测优化模型、方法、系统及其电子设备
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
Devisurya et al. Early detection of major diseases in turmeric plant using improved deep learning algorithm
CN107729144B (zh) 应用控制方法、装置、存储介质及电子设备
CN111078505A (zh) 一种监测数据处理方法、装置和计算设备
CN102890822A (zh) 具有物体位置侦测功能的装置及其侦测方法
CN110287759A (zh) 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN108921012A (zh) 一种利用人工智能芯片处理图像视频帧的方法
Bi et al. Adaptive prediction of resources and workloads for cloud computing systems with attention-based and hybrid LSTM
Chen et al. A new artificial intelligence recognition technology based on convolutional neural networks
Chen et al. An Energy-efficient and Accurate Object Detection Design for Mobile Applications
Davis Developing a Real-time Flower Detection Application using Deep Learning Techniques
CN117912105A (zh) 一种基于骨骼的人体行为识别方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200901

Address after: Unit 01-19, 10 / F, 101, 6 / F, building 5, yard 5, Anding Road, Chaoyang District, Beijing 100029

Applicant after: Xilinx Electronic Technology (Beijing) Co., Ltd

Address before: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: BEIJING DEEPHI TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190514