CN114820630B - 一种基于fpga的目标跟踪算法模型管道加速方法以及电路 - Google Patents

Abstract

本发明公开了一种基于FPGA的目标跟踪算法模型管道加速方法以及电路，属于人工智能目标跟踪技术领域。现有的目标跟踪方案，未涉及对电路模块的量化、管道、执行逻辑的改进，导致对目标跟踪算法的执行效率整体提升效果有限。一种基于FPGA的目标跟踪算法模型管道加速方法，在目标检测与滤波计算之间设置第一目标缓存、第二目标缓存；在滤波计算与轨迹跟踪计算之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪计算和置信度计算之间设置第一轨迹缓存、第二轨迹缓存，进而形成三层双缓存满载加速结构，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，从而可高效的完成目标跟踪计算。

Description

一种基于FPGA的目标跟踪算法模型管道加速方法以及电路

技术领域

本发明涉及一种基于FPGA的目标跟踪算法模型管道加速方法以及电路，属于人工智能目标跟踪技术领域。

背景技术

近年来，随着人工智能目标跟踪算法模型在边缘计算中的应用普及，越来越多研究聚焦于AI边缘计算在集成电路芯片中的加速架构和策略。其计算芯片的加速优化方法越来越得到研究者的重视。

由于AI边缘计算场景多元化的特点，对现有计算框架和芯片架构是非常大的挑战。AI边缘计算的核心关键点是高性能、低成本、高灵活性。其技术发展趋势包括：可编程性、可伸缩性，低功耗，软硬件深度结合，高效的分布式互联和协作计算能力。AI边缘计算任务的输入一般是实时的小规模数据，更加关注于算法的执行速度及资源开销。通过优化边缘计算芯片的内存使用架构、加速电路，可以有效减少任务的延迟和内存占用量。

目标跟踪算法是AI目标识别、行为监测等算法中必不可少的算法，对提高识别率具有至关重要的作用。如何快速支持目标跟踪算法并保证其高有效性、高准确性，是AI边缘计算加速芯片在推理计算和目标识别算法中的关键和重点。因此，目标跟踪算法必须设计轻量级加速体系架构，通过特定的芯片电路设计加速策略和结构，来提高其计算性能和效率。利用加速电路对内存利用、计算并行的优化方法来减少数据带宽并提高计算效率，以降低算法在专用硬件上的功耗并提高性能，进而支撑AI目标识别、行为监测等边缘计算典型的应用场景。为了减少目标跟踪算法对计算、存储等能力的需求，研究人员提出了若干目标跟踪算法优化策略。

进一步，中国专利（公布号：CN108282597A）公开了一种基于FPGA的实时目标追踪系统，包括均值滤波器、运动补偿器、动态块检测模块、建议框搜索模块以及目标匹配模块，目标追踪方法为，均值滤波器将视频数据分成多个图像块并计算图像块的均值，由运动补偿器、动态块检测模块处理后得到高可能性图像块，目标匹配模块对建议框搜索模块优化后的高可能性图像块进行匹配计算后得到最终的追踪目标。

上述方案利用均值滤波器将视频数据分成多个图像块，实现计算过程的并行处理，虽然能在一定程度上能提高处理速度，但并未涉及对电路模块的量化、管道、执行逻辑的改进，因此不能充分利用FPGA计算逻辑资源，导致对目标跟踪算法的执行效率整体提升效果有限。

发明内容

针对现有技术的缺陷，本发明的目的一在于提供一种在目标检测与滤波计算之间设置第一目标缓存、第二目标缓存；在滤波计算与轨迹跟踪计算之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪计算和置信度计算之间设置第一轨迹缓存、第二轨迹缓存，进而形成三层双缓存满载加速结构，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率，从而可高效的完成目标跟踪计算的基于FPGA的目标跟踪算法模型管道加速方法。

本发明的目的二在于提供一种对电路模块的量化、管道、执行逻辑，进行改进，在管道间设置数据双缓存电路结构，数据双缓存结构中的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作；当管道计算切换至下一个图像数据块时，双缓存的读、写操作互换，有效提高了管道流水线的计算执行效率的基于FPGA的目标跟踪算法模型管道加速方法。

本发明的目的三在于提供一种设置目标检测电路模块、滤波器电路模块、轨迹跟踪电路模块、置信度评价电路模块、数据双缓冲单元管理模块，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，进而可以更高效率、更高性能的加速目标跟踪算法，实现同一时刻针对不同图像块目标在不同管道阶段的监测、滤波和跟踪结果，进而能够充分利用FPGA片上存储和缓冲单元，减少数据片上、片外数据的存取，提高管道之间数据的交换效率的基于FPGA的目标跟踪算法模型管道加速电路。

本发明的目的四在于提供一种在目标检测电路模块与滤波器电路模块之间设置第一目标缓存、第二目标缓存；在滤波器电路模块与轨迹跟踪电路模块之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪电路模块和置信度评价电路模块之间设置第一轨迹缓存、第二轨迹缓存，可以让各级加速电路模块都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率，从而可高效的完成目标跟踪计算的基于FPGA的目标跟踪算法模型管道加速方法以及电路。

为实现上述目的之一，本发明的第一种技术方案为：

一种基于FPGA的目标跟踪算法模型管道加速方法，其包括以下步骤：

第一步，读入待处理的图像数据块一，对图像数据块一执行目标检测，得到目标检测结果，并将目标检测结果写入第一目标缓存；

第二步，从第一步中的第一目标缓存中读取目标检测结果，对图像数据块一的目标检测结果进行图像滤波计算，得到图像数据块一的滤波计算结果，并将滤波计算结果写入第一滤波缓存；

同时，读入图像数据块二，并进行图像数据块二的目标检测计算，得到图像数据块二的目标检测结果，并将目标检测结果存入第二目标缓存中；

第三步，从第二步中的第一滤波缓存中读取滤波计算结果，对滤波计算结果进行轨迹跟踪算法计算，计算完成后，得到轨迹跟踪结果，并将轨迹跟踪结果写入第一轨迹缓存；

同时，读入图像数据块三，并进行图像数据块三的目标检测计算，得到目标检测结果，并将目标检测结果写入第一目标缓存；

并且，从第二目标缓存中读取目标检测结果，对目标检测结果进行图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第二滤波缓存；

第四步，从第三步中的第一轨迹缓存中读取轨迹跟踪结果，对轨迹跟踪结果进行置信度评价计算，得到置信度结果，并将置信度结果写出到片外存储器中；

同时，读入图像数据块四，并进行图像数据块四的目标检测计算，得到目标检测结果，并将目标检测结果存入第二目标缓存；

并且，从第三步中的第一目标缓存中读取目标检测结果，开始对图像数据块三的目标检测结果做图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第一滤波缓存；

与此同时，从第三步中的第二滤波缓存中读取图像滤波结果，对图像滤波结果进行轨迹跟踪计算，得到轨迹跟踪结果，并将轨迹跟踪结果写入第二轨迹缓存；

第五步，周而复始执行第一步到第四步，形成三层双缓存满载加速结构，完成若干图像数据块目标跟踪计算。

本发明经过不断探索以及试验，在目标检测与滤波计算之间设置第一目标缓存、第二目标缓存；在滤波计算与轨迹跟踪计算之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪计算和置信度计算之间设置第一轨迹缓存、第二轨迹缓存，进而形成三层双缓存满载加速结构，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率，从而可高效的完成目标跟踪计算。

进一步，本发明对电路模块的量化、管道、执行逻辑，进行改进，在管道间设置数据双缓存电路结构。数据双缓存结构中的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作。当管道计算切换至下一个图像数据块时，双缓存的读、写操作互换。管道间的双缓存结构有效的提高了管道流水线的计算执行效率。

同时，本发明管道间的数据读取、写入不需要经过总线控制单元与片外存储器之间进行数据交互，因此节省了片内外数据交换带宽。

更进一步，应用本发明的加速电路，其片外存储器与管道计算单元之间的数据传输延迟与管道计算延迟完全重叠，进一步提高了FPGA管道执行效率，方案科学、合理，切实可行。

作为优选技术措施：

图像滤波的方法如下：

步骤11，设置检出目标的评分规则以及滤除阈值；

步骤12，根据步骤11中的评分规则，对若干检出目标进行评分，并将评分存入评分数组；

步骤13，根据滤除阈值，对步骤12中的评分数组，进行筛选，获取低于滤除阈值的评分；

步骤14，根据步骤13中的评分，滤除得分低的检出目标。

作为优选技术措施：

轨迹跟踪的计算方法如下：

步骤21，获取激活状态的轨迹以及轨迹阈值；

步骤22，在步骤21中的轨迹中，对轨迹对应的检出目标进行匹配；

当匹配成功，执行步骤23；

当匹配失败，将检出目标作为新的轨迹进行激活跟踪，返回步骤21；

步骤23，根据轨迹阈值判断检出目标是否加入该轨迹。

作为优选技术措施：

置信度评价的计算方法如下：

步骤31，获取置信度评价规则以及评分阈值、时间阈值；

步骤32，根据步骤31中的置信度评价规则，计算轨迹中的检出目标的得分以及轨迹跟踪时间；

步骤33，将步骤32中的得分和评分阈值进行评分判决；

同时将轨迹跟踪时间与时间阈值进行时间判决；

步骤34，根据步骤33中的判决结果，得到检出目标的置信度。

作为优选技术措施：

目标跟踪算法模型包括：目标检测、滤波器、轨迹跟踪、置信度评价，其用于得到检出目标运动时的跟踪轨迹和坐标。

为实现上述目的之一，本发明的第二种技术方案为：

一种基于FPGA的目标跟踪算法模型管道加速电路，应用上述的一种基于FPGA的目标跟踪算法模型管道加速方法，

包括目标检测电路模块、滤波器电路模块、轨迹跟踪电路模块、置信度评价电路模块、数据双缓冲单元管理模块；

目标检测电路模块，基于目标检测算法，得到各类预进行跟踪判别的目标；

滤波器电路模块，基于滤波阈值，滤除得分低的检出目标；

轨迹跟踪电路模块，用于对每一个激活状态的轨迹，找到对应的检出目标，并根据轨迹阈值判断检出目标是否加入该轨迹；对于轨迹未匹配的新检测目标，作为新的轨迹进行激活跟踪；

置信度评价电路模块，用于对轨迹中检出目标的得分和评分阈值进行判决，以及对轨迹跟踪时间与时间阈值进行判决；

数据双缓冲单元管理模块，用于控制各管道间的数据双缓存读、写状态，加速管道执行和数据交换带宽。

本发明设置目标检测电路模块、滤波器电路模块、轨迹跟踪电路模块、置信度评价电路模块、数据双缓冲单元管理模块，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，进而可以更高效率、更高性能的加速目标跟踪算法，实现同一时刻针对不同图像块目标在不同管道阶段的监测、滤波和跟踪结果。

同时，本发明能充分利用FPGA片上存储和缓冲单元，减少数据片上、片外数据的存取，提高管道之间数据的交换效率。

进一步，本发明目标跟踪算法的每一个分解步骤都由FPGA硬件电路加速单元实现，且不同计算步骤由不同的电路计算模块以流水线管道的方式并行执行，进而本发明的目标跟踪计算效率是传统顺序执行目标跟踪计算效率的四倍。

作为优选技术措施：

所述目标检测电路模块与滤波器电路模块之间设有目标双缓存单元；

所述滤波器电路模块与轨迹跟踪电路模块设有滤波双缓存单元；

所述轨迹跟踪电路模块与置信度评价电路模块设有轨迹双缓存单元。

本发明在各个模块之间分别设置对应的双缓存单元，双缓存单元中的一个缓存由上一级模块执行写入操作，另一个缓存由下一级模块执行读取操作。当计算切换至下一个图像数据块时，双缓存的读、写操作互换，模块间的双缓存单元有效的提高了计算执行效率。

作为优选技术措施：

所述目标双缓存单元、滤波双缓存单元、轨迹双缓存单元分别为双缓存结构；

所述双缓存结构的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作；

当管道计算切换至下一个图像数据块时，双缓存结构的读、写操作互换。

管道间的双缓存结构有效的提高了管道流水线的计算执行效率。

作为优选技术措施：

还包括片内外数据交换总线控制模块；

片内外数据交换总线控制模块：控制目标检测电路模块从片外缓存读取图像数据块，并控制置信度评价电路模块将目标跟踪计算结果写出到片外缓存。

为实现上述目的之一，本发明的第三种技术方案为：

一种基于FPGA的目标跟踪算法模型管道加速方法，应用于上述的一种基于FPGA的目标跟踪算法模型管道加速电路，其包括以下内容：

第一执行阶段：目标检测电路模块首先通过片内外数据交换总线控制单元，从片外缓存读入待处理的图像数据块，开始对该图像数据块执行目标检测；目标检测完成后，将目标检测结果写入第一目标缓存；

第二执行阶段：滤波器电路模块从第一目标缓存读取目标检测结果，对目标检测结果进行图像滤波计算，计算完成后将图像滤波计算结果写入第一滤波缓存；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第二个待处理的图像数据块，并进行第二个图像数据块的目标检测计算；并将目标检测结果存入第二目标缓存中；

第三执行阶段：轨迹跟踪电路模块从第一滤波缓存中读取滤波图像块计算结果，开始轨迹跟踪算法计算，计算完成后将轨迹跟踪计算结果写入第一轨迹缓存；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第三个待处理的图像数据块，并进行第三个图像数据块的目标检测计算；

并且，滤波器电路模块从第二目标缓存中读取目标检测结果，对第二个图像数据块的目标检测结果进行图像滤波计算，计算完成后将图像滤波计算结果写入第二滤波缓存；

第四执行阶段：置信度评价电路模块从第一轨迹缓存中读取轨迹跟踪计算结果，并将置信度计算结果通过片内外总线控制单元写出到片外存储器中；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第四个待处理的图像数据块，并进行第四个图像数据块的目标检测计算；并且，滤波器电路模块从第一目标缓存中读取目标检测结果，对第三个图像数据块的目标检测结果进行图像滤波计算，计算完成后将图像滤波波计算结果写入第一滤波缓存；

与此同时，轨迹跟踪电路模块从第二滤波缓存中读取滤波图像块结果，并进行轨迹跟踪计算，计算结果写入第二轨迹缓存，以使得各电路模块都充满不同的图像块数据，以实现管道加速电路的满负荷计算。

本发明经过不断探索以及试验，在目标检测电路模块与滤波器电路模块之间设置第一目标缓存、第二目标缓存；在滤波器电路模块与轨迹跟踪电路模块之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪电路模块和置信度评价电路模块之间设置第一轨迹缓存、第二轨迹缓存，可以让各级加速电路模块都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率，从而可高效的完成目标跟踪计算。

进一步，本发明对电路模块的量化、管道、执行逻辑，进行改进，在管道间设置数据双缓存电路结构。数据双缓存结构中的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作。当管道计算切换至下一个图像数据块时，双缓存的读、写操作互换。管道间的双缓存结构有效的提高了管道流水线的计算执行效率。

同时，本发明管道间的数据读取、写入不需要经过总线控制单元与片外存储器之间进行数据交互，因此节省了片内外数据交换带宽。

更进一步，本发明的片外存储器与模块之间的数据传输延迟与管道计算延迟完全重叠，进一步提高了FPGA管道执行效率，方案科学、合理，切实可行。

与现有技术相比，本发明具有以下有益效果：

本发明经过不断探索以及试验，在目标检测与滤波计算之间设置第一目标缓存、第二目标缓存；在滤波计算与轨迹跟踪计算之间设置第一滤波缓存、第二滤波缓存；在轨迹跟踪计算和置信度计算之间设置第一轨迹缓存、第二轨迹缓存，进而形成三层双缓存满载加速结构，可以让各级加速电路管道都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率，从而可高效的完成目标跟踪计算。

进一步，本发明对电路模块的量化、管道、执行逻辑，进行改进，在管道间设置数据双缓存电路结构。数据双缓存结构中的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作。当管道计算切换至下一个图像数据块时，双缓存的读、写操作互换。管道间的双缓存结构有效的提高了管道流水线的计算执行效率。

同时，本发明管道间的数据读取、写入不需要经过总线控制单元与片外存储器之间进行数据交互，因此节省了片内外数据交换带宽。

更进一步，应用本发明的加速电路，其片外存储器与管道计算单元之间的数据传输延迟与管道计算延迟完全重叠，进一步提高了FPGA管道执行效率，方案科学、合理，切实可行。

附图说明

图1为本发明基于FPGA的目标跟踪算法模型管道加速电路示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。

如图1所示，本发明基于FPGA的目标跟踪算法模型管道加速方法的一种具体实施例：

一种基于FPGA的目标跟踪算法模型管道加速方法，其包括以下步骤：

第一步，读入待处理的图像数据块一，对图像数据块一执行目标检测，得到目标检测结果，并将目标检测结果写入第一目标缓存；

第二步，从第一步中的第一目标缓存中读取目标检测结果，对图像数据块一的目标检测结果进行图像滤波计算，得到图像数据块一的滤波计算结果，并将滤波计算结果写入第一滤波缓存；

同时，读入图像数据块二，并进行图像数据块二的目标检测计算，得到图像数据块二的目标检测结果，并将目标检测结果存入第二目标缓存中；

第三步，从第二步中的第一滤波缓存中读取滤波计算结果，对滤波计算结果进行轨迹跟踪算法计算，计算完成后，得到轨迹跟踪结果，并将轨迹跟踪结果写入第一轨迹缓存；

同时，读入图像数据块三，并进行图像数据块三的目标检测计算，得到目标检测结果，并将目标检测结果写入第一目标缓存；

并且，从第二目标缓存中读取目标检测结果，对目标检测结果进行图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第二滤波缓存；

第四步，从第三步中的第一轨迹缓存中读取轨迹跟踪结果，对轨迹跟踪结果进行置信度评价计算，得到置信度结果，并将置信度结果写出到片外存储器中；

同时，读入图像数据块四，并进行图像数据块四的目标检测计算，得到目标检测结果，并将目标检测结果存入第二目标缓存；

并且，从第三步中的第一目标缓存中读取目标检测结果，开始对图像数据块三的目标检测结果做图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第一滤波缓存；

与此同时，从第三步中的第二滤波缓存中读取图像滤波结果，对图像滤波结果进行轨迹跟踪计算，得到轨迹跟踪结果，并将轨迹跟踪结果写入第二轨迹缓存；

第五步，周而复始执行第一步到第四步，形成三层双缓存满载加速结构，完成若干图像数据块目标跟踪计算。

本发明基于FPGA的目标跟踪算法模型管道加速电路的一种具体实施例：

管道加速电路包括：目标检测电路模块、滤波器电路模块、轨迹跟踪电路模块、置信度评价电路模块、数据双缓冲单元管理模块、片内外数据交换总线控制模块。

（1）目标检测电路模块：基于目标检测算法得到的各类预进行跟踪判别的目标。

（2）滤波器电路模块：基于设定的阈值F_th滤除得分过低的检出目标。

（3）轨迹跟踪电路模块：对每一个激活状态的轨迹，在当前帧找到对应目标，并根据阈值D_th判断其是否可以加入该轨迹；对于当前帧未匹配的新检测目标，作为新的轨迹进行激活跟踪。

（4）置信度评价电路模块：轨迹中检出目标的得分和阈值S_th之间的判决，以及轨迹跟踪时间与阈值之间T_th的判决tmin。

（5）数据双缓冲单元管理模块：控制各管道间的数据双缓存读、写状态，加速管道执行和数据交换带宽。

（6）片内外数据交换总线控制模块：控制目标检测电路模块从片外缓存读取图像数据块，并控制置信度评价电路模块将目标跟踪计算结果写出到片外缓存。

本发明各个电路模板基于FPGA片上资源，以流水线方式顺序、高性能执行目标跟踪算法运算。由于各个电路模块共享硬件资源，中间结果可在FPGA片上和外部存储器之间交换，方案简单、实用。

本发明目标跟踪算法模型的一种具体实施例：

目标跟踪算法模型包括：目标检测、滤波器、轨迹跟踪、置信度评价，最终得到目标运动时的跟踪轨迹和坐标。

本发明硬件加速管道单元以及执行策略的一种具体实施例：

硬件加速管道单元包括：各管道加速计算单元，管道间数据交换的片上数据双缓存，外部存储器以及片内外互联总线，其执行策略包括以下内容：

为了减少片上数据与片外存储器间的数据交互延迟，管道间数据交互由片上数据双缓存暂存。第一级管道从片外存储器读取数据，最后一级管道将计算结果写入片外存储器。双缓存结构中，一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作。当管道计算切换至下一个像素块时，双缓存的读、写操作互换。管道间的双缓存结构有效的提高了管道流水线的计算执行效率。

本发明片内外互联总线的一种具体实施例：

片内外互联总线采用AXI高速总线协议，用于第一级管道读取片外缓存的图像数据，以及最后一级管道将算法计算结果写出到片外缓存。

本发明基于FPGA的目标跟踪算法模型管道加速方法的一种最佳实施例：

一种基于FPGA的目标跟踪算法模型管道加速方法，包括以下内容：

在管道执行第一阶段，目标检测电路模块首先通过片内外数据交换总线控制单元，从片外缓存读入待处理的目标跟踪图像数据块，开始对该图像数据块执行目标检测。目标检测完成后，将目标检测结果写入第一目标缓存。

在管道执行第二阶段，滤波器电路模块从第一目标缓存中读取目标检测结果，开始检测图像数据块结果的图像滤波计算，计算完成后将图像块滤波计算结果写入第一滤波缓存。同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第二个待处理的目标跟踪图像数据块，并进行第二个目标跟踪图像数据块的目标检测计算。

在管道执行第三阶段，轨迹跟踪电路模块从第一滤波缓存中读取滤波图像块计算结果，开始轨迹跟踪算法计算，计算完成后将轨迹跟踪计算结果写入第一轨迹缓存。同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第三个待处理的目标跟踪图像数据块，并进行第三个目标跟踪图像数据块的目标检测计算。并且，滤波器电路模块从第二目标缓存中读取目标检测结果，开始对第二个检测的图像数据块结果做图像滤波计算，计算完成后将图像块滤波计算结果写入第二滤波缓存。

在管道执行第四阶段，置信度评价电路模块从第一轨迹缓存中读取轨迹跟踪计算结果，并将置信度计算结果通过片内外总线控制单元写出到片外存储器中。同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第四个待处理的目标跟踪图像数据块，并进行第四个目标跟踪图像数据块的目标检测计算。并且，滤波器电路模块从第一目标缓存中读取目标检测结果，开始对第三个检测的图像数据块结果做图像滤波计算，计算完成后将图像块滤波计算结果写入第一滤波缓存。与此同时，轨迹跟踪电路模块从第二滤波缓存中读取滤波图像块结果，并进行轨迹跟踪计算，计算结果写入第二轨迹缓存。

至此，目标跟踪计算的全部加速电路管道都充满不同的图像块数据，并满负荷计算，最大效率的提升目标跟踪算法的执行效率，使FPGA硬件电路达到最优利用率

通过管道间的数据双缓存电路结构设计，管道间的数据读取、写入不需要经过总线控制单元与片外存储器之间进行数据交互，因此节省了片内外数据交换带宽。同时，片外存储器与管道计算单元之间的数据传输延迟与管道计算延迟完全重叠，进一步提高了FPGA管道执行效率。

应用本发明方法的一种设备实施例：

一种计算机设备，其包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种基于FPGA的目标跟踪算法模型管道加速方法。

应用本发明方法的一种计算机介质实施例：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于FPGA的目标跟踪算法模型管道加速方法。

术语解释：

1、FPGA，可编程逻辑器件

2、目标跟踪算法模型：对于图像或视频中出现的若干检测目标进行与之前图像或视频出现的目标是否是同一目标的判定算法模型。

3、管道：电路顺序执行的流水级划分策略

4、加速电路：用硬件电路实现对软件模型和算法的计算加速

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

其包括以下步骤：

第一步，读入待处理的图像数据块一，对图像数据块一执行目标检测，得到目标检测结果，并将目标检测结果写入第一目标缓存；

第二步，从第一步中的第一目标缓存中读取目标检测结果，对图像数据块一的目标检测结果进行图像滤波计算，得到图像数据块一的滤波计算结果，并将滤波计算结果写入第一滤波缓存；

同时，读入图像数据块二，并进行图像数据块二的目标检测计算，得到图像数据块二的目标检测结果，并将目标检测结果存入第二目标缓存中；

第三步，从第二步中的第一滤波缓存中读取滤波计算结果，对滤波计算结果进行轨迹跟踪算法计算，计算完成后，得到轨迹跟踪结果，并将轨迹跟踪结果写入第一轨迹缓存；

同时，读入图像数据块三，并进行图像数据块三的目标检测计算，得到目标检测结果，并将目标检测结果写入第一目标缓存；

并且，从第二目标缓存中读取目标检测结果，对目标检测结果进行图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第二滤波缓存；

第四步，从第三步中的第一轨迹缓存中读取轨迹跟踪结果，对轨迹跟踪结果进行置信度评价计算，得到置信度结果，并将置信度结果写出到片外存储器中；

同时，读入图像数据块四，并进行图像数据块四的目标检测计算，得到目标检测结果，并将目标检测结果存入第二目标缓存；

并且，从第三步中的第一目标缓存中读取目标检测结果，开始对图像数据块三的目标检测结果做图像滤波计算，得到图像滤波结果，并将图像滤波结果写入第一滤波缓存；

与此同时，从第三步中的第二滤波缓存中读取图像滤波结果，对图像滤波结果进行轨迹跟踪计算，得到轨迹跟踪结果，并将轨迹跟踪结果写入第二轨迹缓存；

第五步，周而复始执行第一步到第四步，形成三层双缓存满载加速结构，完成若干图像数据块目标跟踪计算。

2.如权利要求1所述的一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

图像滤波的方法如下：

步骤11，设置检出目标的评分规则以及滤除阈值；

步骤12，根据步骤11中的评分规则，对若干检出目标进行评分，并将评分存入评分数组；

步骤13，根据滤除阈值，对步骤12中的评分数组，进行筛选，获取低于滤除阈值的评分；

步骤14，根据步骤13中的评分，滤除得分低的检出目标。

3.如权利要求2所述的一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

轨迹跟踪的计算方法如下：

步骤21，获取激活状态的轨迹以及轨迹阈值；

步骤22，在步骤21中的轨迹中，对轨迹对应的检出目标进行匹配；

当匹配成功，执行步骤23；

当匹配失败，将检出目标作为新的轨迹进行激活跟踪，返回步骤21；

步骤23，根据轨迹阈值判断检出目标是否加入该轨迹。

4.如权利要求3所述的一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

置信度评价的计算方法如下：

步骤31，获取置信度评价规则以及评分阈值、时间阈值；

步骤32，根据步骤31中的置信度评价规则，计算轨迹中的检出目标的得分以及轨迹跟踪时间；

步骤33，将步骤32中的得分和评分阈值进行评分判决；

同时将轨迹跟踪时间与时间阈值进行时间判决；

步骤34，根据步骤33中的判决结果，得到检出目标的置信度。

5.如权利要求1-4任一所述的一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

目标跟踪算法模型包括：目标检测、滤波器、轨迹跟踪、置信度评价，其用于得到检出目标运动时的跟踪轨迹和坐标。

6.一种基于FPGA的目标跟踪算法模型管道加速电路，其特征在于，

应用如权利要求1-5任一所述的一种基于FPGA的目标跟踪算法模型管道加速方法，

包括目标检测电路模块、滤波器电路模块、轨迹跟踪电路模块、置信度评价电路模块、数据双缓冲单元管理模块；

目标检测电路模块，基于目标检测算法，得到各类预进行跟踪判别的目标；

滤波器电路模块，基于滤波阈值，滤除得分低的检出目标；

轨迹跟踪电路模块，用于对每一个激活状态的轨迹，找到对应的检出目标，并根据轨迹阈值判断检出目标是否加入该轨迹；对于轨迹未匹配的新检测目标，作为新的轨迹进行激活跟踪；

置信度评价电路模块，用于对轨迹中检出目标的得分和评分阈值进行判决，以及对轨迹跟踪时间与时间阈值进行判决；

数据双缓冲单元管理模块，用于控制各管道间的数据双缓存读、写状态，加速管道执行和数据交换带宽。

7.如权利要求6所述的一种基于FPGA的目标跟踪算法模型管道加速电路，其特征在于，

所述目标检测电路模块与滤波器电路模块之间设有目标双缓存单元；

所述滤波器电路模块与轨迹跟踪电路模块设有滤波双缓存单元；

所述轨迹跟踪电路模块与置信度评价电路模块设有轨迹双缓存单元。

8.如权利要求7所述的一种基于FPGA的目标跟踪算法模型管道加速电路，其特征在于，

所述目标双缓存单元、滤波双缓存单元、轨迹双缓存单元分别为双缓存结构；

所述双缓存结构的一个缓存由上一级管道执行写入操作，另一个缓存由下一级管道执行读取操作；

当管道计算切换至下一个图像数据块时，双缓存结构的读、写操作互换。

9.如权利要求6所述的一种基于FPGA的目标跟踪算法模型管道加速电路，其特征在于，

还包括片内外数据交换总线控制模块；

片内外数据交换总线控制模块：控制目标检测电路模块从片外缓存读取图像数据块，并控制置信度评价电路模块将目标跟踪计算结果写出到片外缓存。

10.一种基于FPGA的目标跟踪算法模型管道加速方法，其特征在于，

应用于如权利要求6-9任一所述的一种基于FPGA的目标跟踪算法模型管道加速电路，其包括以下内容：

第一执行阶段：目标检测电路模块首先通过片内外数据交换总线控制单元，从片外缓存读入待处理的图像数据块，开始对该图像数据块执行目标检测；目标检测完成后，将目标检测结果写入第一目标缓存；

第二执行阶段：滤波器电路模块从第一目标缓存读取目标检测结果，对目标检测结果进行图像滤波计算，计算完成后将图像滤波计算结果写入第一滤波缓存；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第二个待处理的图像数据块，并进行第二个图像数据块的目标检测计算；并将目标检测结果存入第二目标缓存中；

第三执行阶段：轨迹跟踪电路模块从第一滤波缓存中读取滤波图像块计算结果，开始轨迹跟踪算法计算，计算完成后将轨迹跟踪计算结果写入第一轨迹缓存；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第三个待处理的图像数据块，并进行第三个图像数据块的目标检测计算；

并且，滤波器电路模块从第二目标缓存中读取目标检测结果，对第二个图像数据块的目标检测结果进行图像滤波计算，计算完成后将图像滤波计算结果写入第二滤波缓存；

第四执行阶段：置信度评价电路模块从第一轨迹缓存中读取轨迹跟踪计算结果，并将置信度计算结果通过片内外总线控制单元写出到片外存储器中；

同时，目标检测电路模块通过片内外数据交换总线控制单元，从片外缓存读入第四个待处理的图像数据块，并进行第四个图像数据块的目标检测计算；并且，滤波器电路模块从第一目标缓存中读取目标检测结果，对第三个图像数据块的目标检测结果进行图像滤波计算，计算完成后将图像滤波计算结果写入第一滤波缓存；

与此同时，轨迹跟踪电路模块从第二滤波缓存中读取滤波图像块结果，并进行轨迹跟踪计算，计算结果写入第二轨迹缓存，以使得各电路模块都充满不同的图像块数据，以实现管道加速电路的满负荷计算。

Images