CN108257150A - 一种基于嵌入式系统的目标相关滤波跟踪方法 - Google Patents

一种基于嵌入式系统的目标相关滤波跟踪方法 Download PDF

Info

Publication number
CN108257150A
CN108257150A CN201711380677.2A CN201711380677A CN108257150A CN 108257150 A CN108257150 A CN 108257150A CN 201711380677 A CN201711380677 A CN 201711380677A CN 108257150 A CN108257150 A CN 108257150A
Authority
CN
China
Prior art keywords
target
interception
feature vectors
target image
hog feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711380677.2A
Other languages
English (en)
Other versions
CN108257150B (zh
Inventor
董诚辰
臧志鹏
孙长燕
白志强
张艳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huahang Radio Measurement Research Institute
Original Assignee
Beijing Huahang Radio Measurement Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huahang Radio Measurement Research Institute filed Critical Beijing Huahang Radio Measurement Research Institute
Priority to CN201711380677.2A priority Critical patent/CN108257150B/zh
Publication of CN108257150A publication Critical patent/CN108257150A/zh
Application granted granted Critical
Publication of CN108257150B publication Critical patent/CN108257150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明涉及一种基于嵌入式系统的目标相关滤波跟踪方法，该方法包括下列步骤：1、优化程序内存分配；2、采用DMA进行目标图像截取；3、对目标图像进行特征提取；4、对目标HOG特征向量采用线性滤波器在频域中进行滤波。本发明采用高性能DSP作为嵌入式平台，通过优化程序内存分配提高软件整体实时性能；采用平台提供的DMA硬件接口对目标图像进行分块截取；对截取的目标图像提取特征，通过优化算法过程减少提取特征时间；采用线性滤波器对目标HOG特征向量进行滤波，在保证跟踪鲁棒性、准确性的同时，减少滤波时间。

Description

一种基于嵌入式系统的目标相关滤波跟踪方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于嵌入式系统的目标相关滤波跟踪方法。
背景技术
随着计算机技术的发展，机器学习理论逐渐被引入到目标跟踪领域。目标跟踪领域的基本要求是具有鲁棒性、准确性和实时性，原始的相关滤波跟踪算法，如KCF，实时性较高，但是跟踪性能略低；基于改进的相关滤波跟踪算法性能上有提高，但是其跟踪实时性较低。
发明内容
为了解决现有技术中的上述技术问题，本发明提出了一种基于嵌入式系统的目标相关滤波跟踪方法，以满足对运动目标跟踪的性能和实时性要求。
本发明的技术方案如下：
一种基于嵌入式系统的目标相关滤波跟踪方法，包括以下步骤：
步骤1、采用静态内存分配方式，确定对应数据的内存分配地址；
步骤2、根据图像中目标大小和位置确定截取区域，对目标图像进行截取，作为相关滤波跟踪算法的中间数据，传输到三级缓存空间中形成截取图；
步骤3、对所述截取图进行特征值提取，得到目标图像HOG特征向量；
步骤4、对所述目标图像HOG特征向量进行滤波处理，输出包括目标位置和大小在内的目标跟踪结果。
进一步地，确定对应数据的内存分配地址包括：
实时图像数据存储在外挂的存储器DDR当中；
相关滤波算法的中间数据存储在片内三级缓存空间中；
快速傅立叶变换的中间数据存储在片内二级缓存空间中。
进一步地，截取目标图像的方法包括：
1)在相关滤波跟踪处理初始化时，在DDR中开辟一块没有使用的全零空间；
2)根据给定的目标位置和大小，在目标图像中确定截取区域，通过DMA将截取区域的目标图像数据搬移到三级缓存空间中形成截取图；
3)当截取区域超出了目标图像范围时，对于超出目标图像范围的截取图部分，通过DMA将1)中全零的内存搬移至截取图中超出目标图像范围的部分。
进一步地，所述全零空间的大小为目标图像大小的两倍。
进一步地，步骤3具体包括：
1)对截取图进行梯度滤波，将得到的梯度进行角度划分后，根据角度进行累加，得到HOG特征向量；
2)对HOG特征向量进行归一化。
进一步地，所述角度划分以等间隔划分为多个角度bin，将所述梯度按角度累加到每个角度bin中，得到HOG特征向量。
进一步地，所述归一化包括，采用牛顿迭代法计算HOG特征向量平方和的平方根倒数；将HOG特征向量乘以对应向量的模的倒数得到归一化后的HOG特征向量。
进一步地，所述步骤4中采用核函数对归一化的对HOG特征向量进行滤波处理，其中z为待检测的归一化后的HOG特征向量，x为参考样本，F(*)为傅立叶变换，为互相关运算；kxz为x与z的互相关核。
进一步地，所述参考样本x为对跟踪的第一幅图像进行特征值提取后，得到的目标图像HOG特征向量。
进一步地，所述嵌入式系统采用TI-C66xx系列DSP作为嵌入式平台。
根据上述技术方案，本发明的有益效果为：
本发明采用高性能DSP作为嵌入式平台，通过优化程序内存分配提高软件整体实时性能；
采用平台提供的DMA硬件接口对目标图像进行分块截取；对截取的目标图像提取特征，通过优化算法过程减少提取特征时间；
采用线性滤波器对目标HOG特征向量进行滤波，在保证跟踪鲁棒性、准确性的同时，减少滤波时间。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为基于嵌入式系统的目标相关滤波跟踪方法流程图。
具体实施方式
下面结合附图对本发明具体实施方式进行详细说明。
下面来详细说明本发明的基于嵌入式系统的目标相关滤波跟踪方法，如图1所示，该方法包括下列步骤：1、优化程序内存分配；2、采用DMA进行目标图像截取；3、对目标图像进行特征提取；4、对目标HOG特征向量采用线性滤波器在频域中进行滤波。下面将对上述步骤做详细描述。
步骤1、在对目标图像进行相关滤波跟踪处理前，采用静态内存分配方式，根据数据量的大小和访问的频次，确定数据内存分配地址。
数据中的实时图像数据数据量大，在本例中，每20ms传输一次实时图像数据，大小为1MB，且访问的频次不高，存储在外挂的存储器当中，如DDR；
相关滤波算法的中间数据数据量中等，在本例中，数据大小小于1MB，且访问的频次较高，存储在片内三级缓存空间中；
快速傅立叶变换的中间数据数据量小，在本例中，数据大小为256KB，且访问的频次高，存储在片内二级缓存空间中。
在采用TI-C66xx系列DSP作为嵌入式平台，每一个66xx核均有512KB的L2级cache，所有核共用4MB的共享内存，还可以外挂2GB大小DDR3。在进行内存分配时，将实时图像存放在DDR中，相关滤波算法中使用到了缓存空间分配至共享内存中，滤波采用的快速傅立叶变换所需的缓存分配至L2级cache中。
步骤2、截取存储在DDR中的目标图像，作为相关滤波跟踪算法的中间数据，传输到三级缓存空间中；所述截取的目标图像根据目标图像大小和位置确定的；所述传输方式采用DMA方式。
在相关滤波跟踪算法中，需要提取目标周围所在的图像。由于实时图像存储在DDR中，根据算法要求，在取目标图像时需要扩大一定范围的区域，因此有可能取到超出图像范围的图像，这就需要对当前图像进行截取：
1)在程序初始化的时候，开辟一块内存中没有使用的全零的空间。
2)在图像截取时，先计算出目标位置在原图和截取图的位置和大小，根据位置将原图通过DMA搬移至截取图。
3)如果原图的区域无法填满截取图，再通过DMA将1)中的全零的内存搬移至截取图中未填满的部分。
步骤3、对搬移到三级缓存空间的中截取目标图像进行特征值提取，得到目标图像HOG特征向量。具体如下：
1)对目标图像进行梯度滤波。得到的梯度根据每20度划分为一个角度bin，180度共分为9个角度bin。将梯度累加到9个角度bin中，得到HOG特征向量。提取特征时，在累加过程中，需要频繁访问梯度，对梯度进行计算，因此通过增加临时变量来缓存当前梯度，将梯度存储在寄存器中，来减少访问存储器的时间。
2)对HOG特征向量进行归一化。归一化即向量除以向量的模得到的就是归一化后的向量。在计算归一化的特征向量时，需要计算特征向量的模。采用牛顿迭代法，快速计算向量平方和的平方根倒数，即向量的模，以此来加速向量归一化计算。
步骤4、对得到的目标图像HOG特征向量进行滤波处理，输出包括目标位置和大小的目标跟踪结果。
采用核函数对归一化的对HOG特征向量进行滤波处理，其中z表示待检测样本，x为参考样本，F(*)为傅立叶变换，为训练样本和待检测样本的互相关运算；kxz为x与z的互相关核。
在上式计算过程中，通过离散傅立叶变换，将输入的特征转换到频域，在频域中直接进行累加，最后再转换至时域进行极值搜索。最后得到的滤波结果即为跟踪结果。
综上所述，本发明的基于嵌入式系统的目标相关滤波跟踪方法，采用高性能DSP作为嵌入式平台，通过优化程序内存分配提高软件整体实时性能；
采用平台提供的DMA硬件接口对目标图像进行分块截取；对截取的目标图像提取特征，通过优化算法过程减少提取特征时间；
采用线性滤波器对目标HOG特征向量进行滤波，在保证跟踪鲁棒性、准确性的同时，减少滤波时间。
上述具体实施方式仅用于解释和说明本发明的技术方案，但并不能构成对权利要求的保护范围的限定。本领域技术人员应当清楚，在本发明的技术方案的基础上做任何简单的变形或替换而得到的新的技术方案，均将落入本发明的保护范围之内。

Claims (10)

1.一种基于嵌入式系统的目标相关滤波跟踪方法，其特征在于，包括以下步骤：
步骤1、采用静态内存分配方式，确定对应数据的内存分配地址；
步骤2、根据图像中目标大小和位置确定截取区域，对目标图像进行截取，作为相关滤波跟踪算法的中间数据，传输到三级缓存空间中形成截取图；
步骤3、对所述截取图进行特征值提取，得到目标图像HOG特征向量；
步骤4、对所述目标图像HOG特征向量进行滤波处理，输出包括目标位置和大小在内的目标跟踪结果。
2.根据权利要求1所述的目标相关滤波跟踪方法，其特征在于，确定对应数据的内存分配地址包括：
实时图像数据存储在外挂的存储器DDR当中；
相关滤波算法的中间数据存储在片内三级缓存空间中；
快速傅立叶变换的中间数据存储在片内二级缓存空间中。
3.根据权利要求2所述的目标相关滤波跟踪方法，其特征在于，截取目标图像的方法包括：
1)在相关滤波跟踪处理初始化时，在DDR中开辟一块没有使用的全零空间；
2)根据给定的目标位置和大小，在目标图像中确定截取区域，通过DMA将截取区域的目标图像数据搬移到三级缓存空间中形成截取图；
3)当截取区域超出了目标图像范围时，对于超出目标图像范围的截取图部分，通过DMA将1)中全零的内存搬移至截取图中超出目标图像范围的部分。
4.根据权利要求3所述的目标相关滤波跟踪方法，其特征在于，所述全零空间的大小为目标图像大小的两倍。
5.根据权利要求1所述的目标相关滤波跟踪方法，其特征在于，步骤3具体包括：
1)对截取图进行梯度滤波，将得到的梯度进行角度划分后，根据角度进行累加，得到HOG特征向量；
2)对HOG特征向量进行归一化。
6.根据权利要求5所述的目标相关滤波跟踪方法，其特征在于，
所述角度划分以等间隔划分为多个角度bin，将所述梯度按角度累加到每个角度bin中，得到HOG特征向量。
7.根据权利要求5所述的目标相关滤波跟踪方法，其特征在于，所述归一化包括，采用牛顿迭代法计算HOG特征向量平方和的平方根倒数；将HOG特征向量乘以对应向量的模的倒数得到归一化后的HOG特征向量。
8.根据权利要求1所述的目标相关滤波跟踪方法，其特征在于，所述步骤4中采用核函数对归一化的对HOG特征向量进行滤波处理，其中z为待检测的归一化后的HOG特征向量，x为参考样本，F(*)为傅立叶变换，为互相关运算；kxz为x与z的互相关核。
9.根据权利要求7所述的目标相关滤波跟踪方法，其特征在于，所述参考样本x为对跟踪的第一幅图像进行特征值提取后，得到的目标图像HOG特征向量。
10.根据权利要求1-9任一所述的相关滤波跟踪方法，其特征在于，所述嵌入式系统采用TI-C66xx系列DSP作为嵌入式平台。
CN201711380677.2A 2017-12-20 2017-12-20 一种基于嵌入式系统的目标相关滤波跟踪方法 Active CN108257150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711380677.2A CN108257150B (zh) 2017-12-20 2017-12-20 一种基于嵌入式系统的目标相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711380677.2A CN108257150B (zh) 2017-12-20 2017-12-20 一种基于嵌入式系统的目标相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN108257150A true CN108257150A (zh) 2018-07-06
CN108257150B CN108257150B (zh) 2021-04-20

Family

ID=62723465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711380677.2A Active CN108257150B (zh) 2017-12-20 2017-12-20 一种基于嵌入式系统的目标相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN108257150B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648356A (zh) * 2019-08-07 2020-01-03 浙江省北大信息技术高等研究院 一种基于视觉数字信号处理的多目标跟踪处理优化方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5947413A (en) * 1996-11-12 1999-09-07 Raytheon Company Correlation filters for target reacquisition in trackers
US20030128298A1 (en) * 2002-01-08 2003-07-10 Samsung Electronics Co., Ltd. Method and apparatus for color-based object tracking in video sequences
CN102222316A (zh) * 2011-06-22 2011-10-19 北京航天自动控制研究所 一种基于dma的双缓冲乒乓并行结构图像处理优化方法
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN105261036A (zh) * 2015-09-17 2016-01-20 北京华航无线电测量研究所 基于匹配的目标跟踪方法
CN106570490A (zh) * 2016-11-15 2017-04-19 华南理工大学 一种基于快速聚类的行人实时跟踪方法
CN107103616A (zh) * 2017-04-27 2017-08-29 中国科学院长春光学精密机械与物理研究所 一种目标跟踪方法及系统
CN107146240A (zh) * 2017-05-05 2017-09-08 西北工业大学 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN107169994A (zh) * 2017-05-15 2017-09-15 上海应用技术大学 基于多特征融合的相关滤波跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5947413A (en) * 1996-11-12 1999-09-07 Raytheon Company Correlation filters for target reacquisition in trackers
US20030128298A1 (en) * 2002-01-08 2003-07-10 Samsung Electronics Co., Ltd. Method and apparatus for color-based object tracking in video sequences
CN102222316A (zh) * 2011-06-22 2011-10-19 北京航天自动控制研究所 一种基于dma的双缓冲乒乓并行结构图像处理优化方法
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN105261036A (zh) * 2015-09-17 2016-01-20 北京华航无线电测量研究所 基于匹配的目标跟踪方法
CN106570490A (zh) * 2016-11-15 2017-04-19 华南理工大学 一种基于快速聚类的行人实时跟踪方法
CN107103616A (zh) * 2017-04-27 2017-08-29 中国科学院长春光学精密机械与物理研究所 一种目标跟踪方法及系统
CN107146240A (zh) * 2017-05-05 2017-09-08 西北工业大学 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN107169994A (zh) * 2017-05-15 2017-09-15 上海应用技术大学 基于多特征融合的相关滤波跟踪方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
SEAJIN KIM等: "Multi-object tracking coprocessor for multi-channel embedded DVR systems", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 *
周香珍: "基于DSP的目标跟踪系统的实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张帆: "缓存与CPU解析处理器缓存的作用", 《电脑迷》 *
恒盛杰资讯: "《电脑组装维护与系统优化完全学习手册》", 31 October 2008 *
杨维剑: "《嵌入式系统软硬件开发及应用实践》", 30 September 2010 *
田兴旺: "基于DSP的运动目标识别及跟踪系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
苏保禹: "基于TI-C6678的多核DSP图像处理系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵璐璐: "基于相关滤波的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648356A (zh) * 2019-08-07 2020-01-03 浙江省北大信息技术高等研究院 一种基于视觉数字信号处理的多目标跟踪处理优化方法

Also Published As

Publication number Publication date
CN108257150B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
Thiebaut et al. Synthetic traces for trace-driven simulation of cache memories
CN100412821C (zh) 便于具有通用读/写模式的存储器数据存取的装置和方法
CN109117184A (zh) 人工智能处理器及使用处理器执行平面旋转指令的方法
CN107533511A (zh) 使用假想高速缓存的实时高速缓存行为预报
CN103630885B (zh) 合成孔径雷达的目标识别方法和系统
CN103761709B (zh) 基于多片dsp的并行实时sar图像降斑去噪方法
CN106991689A (zh) 基于fhog和颜色特征的目标跟踪方法及gpu加速
CN107169346B (zh) 基于动态内存重映射和缓存清除的侧信道攻击防御方法及其装置
CN112215745A (zh) 图像处理方法、装置及电子设备
CN103412284A (zh) 基于dsp芯片的sar成像系统中矩阵转置方法
CN107438837A (zh) 数据高速缓存
GB2581639A (en) Set table of contents (TOC) register instruction
CN115136115A (zh) 使用共享便笺式存储器的向量简化
GB2581938A (en) Configuration state registers grouped based on functional affinity
CN107942399B (zh) 一种大距离位场向上延拓计算方法
CN108257150A (zh) 一种基于嵌入式系统的目标相关滤波跟踪方法
CN101221660B (zh) 数据处理装置和数据处理方法
CN105894439B (zh) 基于CUDA的海洋涡旋及Argo浮标交集数据快速提取算法
CN108021429A (zh) 一种基于numa架构的虚拟机内存及网卡资源亲和度计算方法
Zhu et al. A numerical strategy for freestream preservation of the high order weighted essentially non-oscillatory schemes on stationary curvilinear grids
CN113420487A (zh) 一种三维重力梯度张量数值模拟方法、装置、设备和介质
Ebrahimi et al. B-spline curve fitting by diagonal approximation BFGS methods
CN107390187A (zh) 基于混合高斯分布的杂波抑制方法
CN106897131A (zh) 一种用于天文软件Gridding的并行计算方法及其装置
CN109948113A (zh) 一种基于fpga的二维fft加速器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant