CN105631798B

CN105631798B - 低功耗便携式实时图像目标检测与跟踪系统及方法

Info

Publication number: CN105631798B
Application number: CN201610125678.1A
Authority: CN
Inventors: 石立伟; 郭书祥; 潘邵武; 何彦霖; 唐昆; 肖瑞
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2016-03-04
Filing date: 2016-03-04
Publication date: 2018-11-27
Anticipated expiration: 2036-03-04
Also published as: CN105631798A

Abstract

本发明提供一种低功耗便携式实时图像目标检测与跟踪系统及方法，能够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。包括PL子系统和PS子系统，其中图像采集单元包括摄像头接口模块、图像预处理模块、AXI‑DMA模块；所述摄像头接口模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI‑DMA模块用于通过AXI‑HP接口实现对图像数据向DDR3 RAM的自主回传；图像加速单元包括可重构图像加速器、AXI‑DMA模块；可重构图像加速器用于根据系统工作阶段动态加载图像目标检测或图像目标跟踪加速器；AXI‑DMA模块用于通过AXI‑ACP接口实现对图像数据向DDR3 RAM的自主回传。

Description

低功耗便携式实时图像目标检测与跟踪系统及方法

技术领域

本发明属于图像目标检测与跟踪技术领域，涉及一种低功耗便携式实时图像目标检测与跟踪系统及方法。

背景技术

图像目标检测与跟踪是计算机视觉技术的重要组成部分，主要通过提取目标物体的颜色、轮廓、纹理、运动参数等特征，实现对其识别、匹配或定位。辅助光源用于对目标的特征的区域进行可见光或红外光照射，以获取较清晰的目标图像；摄像机实现对目标图像的采集；图像采集传输电路用于读取、传输摄像机所采集的图像数据；图像处理设备包含计算机、嵌入式系统等多种可选形式，主要用于部署和运行图像增强、目标跟踪等算法。

图像处理设备是图像目标检测与跟踪系统的核心部件，其通过Camera Link、LVDS、USB、IEEE 1394等总线接口，控制图像数据的采集传输，然后通过内建的固件、软件或专用硬件模块，处理图像数据，完成图像增强、目标检测、目标跟踪等任务。由于目标特征提取/建模、样本匹配/分类、跟踪参数计算/更新等过程通常具有较高的计算复杂度，为在保障跟踪实时性的前提下，尽可能提供更宽的算法改进空间，实时性和数据处理速率是图像处理设备的主要设计或选型指标。

目前，大部分图像目标检测与跟踪系统主要依托图形工作站或高性能计算机构建，采用Microsoft Visual Studio和OpenCV进行算法软件设计，并以50ms/帧作为界定系统是否具备实时性的速率阈值。作为通用处理器，图形工作站或高性能计算机CPU的乘法能力普遍有限，研究人员通常采用CPU–PCIe–GPU的通用计算机系统框架，以GPU辅助CPU的异构运算模式，实现对图像目标检测和跟踪算法的加速运行。如2014年，法国地质矿物部J.Gance等设计了基于表面DSM的移动目标跟踪系统，对山体滑坡进行自动检测预警，采用千兆以太网采集图像数据，其中心计算机为配备Intel Xeon E5-1607处理器的图形工作站。2015年，土耳其中东科技大学Ilker等采用通用计算机的CPU–PCIe–GPU异构运算框架，实现了高运算量、长时跟踪的TLD算法，在对1920×1080分辨率图像进行处理时，可实现相对于纯软件方案10.8倍的加速。采用图形工作站或高性能计算机作为图像处理设备，可有效保障图像目标检测与跟踪系统的实时性需求，具有设计简便、软硬件可扩展性强的优势。然而，该类解决方案系统建设成本和体积功耗较高，仅适用于可进行有线连接的室内应用场景。此外，占据市场主体的NVIDIA系列GPU程序兼容性较差，限制了CPU–PCIe–GPU异构运算框架下程序的可移植性。

自20世纪90年代以来，各类嵌入式处理器件的计算性能和集成规模迅速上升，并在图像处理和计算机视觉领域得到了广泛的应用。如表1所示，针对小型移动平台的图像目标检测与跟踪应用需求，主流的嵌入式图像处理设备解决方案，主要包括采用DSP、FPGA、ARM(Advanced RISC Machines)等单个嵌入式处理器件，以及DSP–FPGA、ARM–DSP、SoC等异构嵌入式处理系统。

DSP是一类面向实时控制或信号处理的专用处理器，相对于通用处理器，其配备有专用乘法器或乘加单元，能够充分满足图像处理的应用需求。基于DSP的图像目标检测与跟踪系统通常采用C语言开发，借助内置的硬件乘法器实现高速图像处理，具有实时性、开发灵活性和程序可维护性较好等优势。然而，高性能DSP的功耗较高，性价比有限，软件可移植性差，不支持通用操作系统和多任务并行操作。目前，业内基于DSP的图像目标检测与跟踪系统，主要面向导弹、监控设备等单一功能平台。

FPGA借助基于RAM(Random Access Memory)的查找表技术，可实现对特定功能数字电路的可编程部署。由于其独特的电路并行性，在处理像素数量庞大的图像数据时，具有很强的先天优势。然而，FPGA开发的技术门槛较高，且其并行加速模式只适用于上下文数据无关联、流程较简单的密集运算环节，因此难以采用其实现复杂精巧的高鲁棒性图像目标检测与跟踪算法。目前，业内基于FPGA的图像目标检测与跟踪系统，主要基于流程简单的早期算法，检测和跟踪的鲁棒性、准确性较差。

ARM作为一类低功耗、通用处理器，可搭载Linux、WinCE等嵌入式操作系统，在开发灵活性、程序可维护性、软件可移植性、多任务并行操作等方面具有显著优势。然而，其浮点运算和乘法运算能力较差，无法充分保障图像目标检测与跟踪系统的实时性。目前，业内基于ARM的图像目标检测与跟踪系统，主要基于颜色、纹理等计算量较低的简单算法，检测和跟踪的鲁棒性、准确性较差。

由于DSP、FPGA、ARM等嵌入式处理器件各有优缺点，为充分满足图像目标检测与跟踪系统在实时性、准确性、功耗、可扩展性等方面的需求，并平衡开发难度、成本、可靠性、可扩展性等因素。近年来，业内陆续出现了基于DSP–FPGA、ARM–DSP、SoC等异构嵌入式处理系统的图像目标检测与跟踪系统。异构处理系统内包含两种或多种不同类型处理器件，通过分解任务，根据子任务特点，调用特定处理器件进行处理，以融合多种处理器件的优势。但是，DSP–FPGA和ARM–DSP异构处理系统采用片外总线进行两个处理器件之间的数据交互，其通信速率较低、稳定性较差，整体的工程实用价值较低。SoC可在单片集成电路芯片上集成两种或多种不同类型处理器件，并借助片内总线实现处理器件之间的交互和调配，相对于DSP–FPGA和ARM–DSP系统，其在体积功耗、稳定性、通信速率等方面具有突出优势。然而，现有的绝大多数SoC处理器采用双核心结构，即处理器件之间没有主从之分，需在程序中协调处理器件之间的任务分配、保证其并行工作，才可发挥SoC最大的处理效能，系统配置和程序设计难度较高。

2011年，Xilinx公司推出了支持全可编程技术Zynq-7000SoC。包括以ARM Cortex-A9通用处理器为中心的PS(Processing System)子系统和以FPGA为中心的PL(Programmable Logic)子系统。相对于已有的SoC产品，其以可直接运行操作系统的PS子系统为主端，实现对PL的配置、编程、重构；以PL子系统为ARM处理器的可编程外设，可用于构建运算加速模块、图像协处理器或数据/控制接口。尤为重要的是，PS子系统和PL子系统之间可通过AXI(Advanced eXtensible Interface)总线，经AXI-GP、AXI-HP、AXI-ACP等接口实现400-800MB/s的高速数据耦合。Zynq-7000SoC的主从式结构避免了双核心结构SoC的任务调度和协调难题，其片内高速AXI总线接口确保了系统的稳定性、高效性，其基于通用嵌入式处理器和标准操作系统的PS子系统确保了系统的通用性和可开发性，其基于FPGA的PL子系统可提供对密集运算环节的并行加速。同时，借助Xilinx Vivado HLS(High LevelSynthesis)工具，可采用C/C++语言，在PL子系统内，实现对图形协处理器或图像算法加速IP核的FPGA快速设计部署，降低了系统的技术开发门槛。

鉴于Zynq-7000SoC在图像处理应用领域所具备的通用性、稳定性、实时性、可开发性等优势，自推出以来，已迅速在图像目标识别等领域取得了应用。2014年，南京理工大学王淑玲等采用Zynq-7000SoC设计实现了实时人脸检测系统，但其仅使用了PS子系统，系统采用的算法较简单，实时性较差。2014年，珠海广播电视大学杨晓安等采用Zynq-7000SoC设计实现了高速图像采集与实时处理系统，但其仅使用PL子系统实现了数据采集接口，而未涉及图像运算与处理。2014年，江南大学王芝斌等采用Zynq-7000SoC设计实现了稠密光流法，其使用了软硬件协同处理的技术，但仅限于图像光流特征的提取，未涉及图像目标检测与跟踪等高级抽象应用。2014年，大连海事大学么立宝等采用Zynq-7000SoC设计实现了车牌识别系统，但其仅使用PL子系统实现了图像的采集和预处理，而未涉及图像目标检测与跟踪等高级抽象应用。2015年，太原理工大学焦再强等采用Zynq-7000SoC设计实现了嵌入式数字图像处理系统，但其仅在PL子系统内验证Sobel滤波器等简单图像处理功能，而未涉及软硬件协同图像处理。

发明内容

本发明的目的在于提供一种低功耗便携式实时图像目标检测与跟踪系统及方法，能够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。

实现本发明目的的技术解决方案为：

一种低功耗便携式实时图像目标检测与跟踪系统，包括PL子系统和PS子系统，PS子系统与PL子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据和运算中间数据的交互；其中PL子系统包括图像采集单元和图像加速单元；其中：

图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块；所述摄像头接口模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模块用于通过AXI-HP接口实现对图像数据向DDR3 RAM的自主回传；

图像加速单元包括可重构图像加速器、AXI-DMA模块；可重构图像加速器用于根据系统工作阶段动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速；AXI-DMA模块用于通过AXI-ACP接口实现对图像数据向DDR3 RAM的自主回传；

图像采集单元和图像加速单元中的AXI-DMA模块均通过AXI-Lite互联模块与AXI-GP接口连接。

本发明的有益效果：

(1)本发明采用软硬件相结合的异构运算框架，在PL子系统(FPGA)内构建图像并行加速模块，执行运算密集型的算法环节；在PS子系统(ARM)内以软件形式运行图像目标检测与跟踪算法的主体软件；利用DMA和AXI总线实现PS和PL子系统之间的数据交互和任务调配。从而使该系统同时具备ARM-Linux嵌入式系统的通用性和可开发性，FPGA系统并行运算的实时性，SoC系统的低功耗性、便携性，能够充分满足自主式机器人、智能手机等低功耗、复合功能移动平台的应用需求。

(2)该系统采用C/C++语言设计软件，采用C++、VHDL/Verilog HDL语言进行FPGA固件设计，其分别是电子信息行业软硬件的实质设计标准，因此相对于其它解决方案具有更优的可移植性。

(3)本发明针对采用FPGA设计图像目标检测与跟踪算法加速器资源消耗较高的问题，采用动态部分可重构技术、基于模拟退火算法的图像加速器字长优化算法进行优化，有效降低系统资源消耗和功耗。

附图说明

图1为本发明的图像目标检测与跟踪系统结构框图；

图2为本发明图像目标检测与跟踪系统设计流程图；

图3为本发明图像目标检测与跟踪系统工作流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明为一种低功耗、便携式的实时图像目标检测与跟踪系统，其主要面向自主式机器人、智能手机等低功耗、复合功能的移动平台。

本发明的主要设计流程如图2所示。

第一步，针对应用需求，采用C/C++等高级语言编程实现面向Zynq-7000PS子系统(ARM-Linux平台)的图像目标检测与跟踪算法软件代码。在检测阶段，采用图像目标检测算法实现对感兴趣目标的识别；在跟踪阶段，采用图像目标跟踪算法实现对检测所得目标的连续定位。

第二步，将算法划分为若干相对独立的环节，借助计时器对各算法环节的运行时间进行评估，并进一步分析其运算类型、数据关联性等特性。

第三步，根据第二步评估结果确定各算法环节的软硬件实施方式，采用PS端软件实现算法主体控制流程，采用PL端可重构图像加速器并行实现算法的运算密集型环节。

第四步，采用Vivado HLS工具，以C++语言设计图像目标检测/跟踪加速器IP核。

第五步，如图像目标检测/跟踪加速器IP核的资源消耗超过系统允许范畴，采用模拟退火算法对加速器字长进行优化。最后，对软件和固件模块进行封装和部署，完成系统设计。

由于本发明所设计的图像目标检测/跟踪加速器IP核，以大数据容量的图像数据为处理对象，因此会导致较高的FPGA资源消耗量。为避免因PL子系统资源使用过度引发的稳定性下降、功耗上升等问题，本发明在设计流程的第五步采用模拟退火算法对图像目标检测/跟踪加速器进行优化。

假定图像目标检测/跟踪加速器主要涉及n组变量的运算，取各变量为浮点数时的运算结果为标准解。该算法期望在量化误差低于1.5％前提下，求得最短字长的变量浮点数表示方式w_best＝[w_bestword,1,w_bestint,1,w_bestword,n,w_bestint,n]，以节约FP GA资源消耗量。其中w_bestword,n为第n个变量的最短定点数总字长，w_bestint,n为第n个变量的最短定点数整数部分字长。该求解问题亦可表示为：

其中Cost(w)表示求解结果为w时的资源消耗量，QuantizerError(w)表示求解结果为w时的量化误差，rate_threshold为运算准确率阈值98.5％(即100％-1.5％)。

第一步，该算法将设置初始温度为temp0，并采用随机数数组初始化查找中心矢量w_center和最优解矢量w_best，并计算对应的运算准确率rate_center和rate_best。

第二步，该算法将进入循环，每次循环过程中温度temp都会以比率decayScale下降一次，直至降低至阈值temp_thresh，结束算法的求解执行。

第三步，该算法将在查找中心矢量w_center附近以Markov链随机选择一组解w_try，并计算其对应的运算准确度rate_try。

第四步，当w_try满足运算准确度要求，且Cost(w_try)<Cost(w_best)，则采用w_try更新w_best。

第五步，当w_try满足运算准确度要求，且Cost(w_try)<Cost(w_center)，则采用w_try更新w_center；否则，以exp(-(Cost(w_try)-Cost(w_center))/temp)为概率采用w_try更新w_center。

如表1，采用单一高斯背景模型为图像目标检测算法进行验证。经算法1进行IP核字长优化，图像目标检测加速器IP核的资源消耗显著下降，而检测结果基本不变，验证了该算法的有效性。

表1低功耗便携式实时图像目标检测与跟踪系统字长优化对比

本发明设计实现的低功耗便携式实时图像目标检测跟踪系统原理框图如图1所示，其采用单片Zynq-7000SoC实现对系统的单片集成。图像检测算法和图像跟踪算法的主体，以ARM-Linux嵌入式系统软件的形式部署在PS子系统内；图像检测算法和图像跟踪算法的运算密集型环节，以及各类接口，以FPGA固件的形式部署在PL子系统内，并通过AXI-GP接口被PS子系统内运行的程序控制调用；PS子系统与PL子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据和运算中间数据的交互。通过该种FPGA辅助ARM的异构运算框架，实现系统通用性与实时性的均衡。

PL子系统内的FPGA固件主要包括图像采集单元和图像加速单元，前者主要实现对外接OV7670CMOS微型摄像头的接口控制、图像采集和预处理，后者主要实现图像目标检测/跟踪的并行加速功能。

图像采集单元包含摄像头接口模块、图像预处理模块、AXI-DMA模块等：摄像头接口模块主要实现对摄像头数据读取以及图像分辨率、采集帧率、数据格式等参数控制，图像预处理模块主要实现对所采集图像流颜色校正、直方图均衡、空间变换等预处理操作，AXI-DMA模块主要通过AXI-GP接口实现对图像数据向DDR3 RAM的自主回传。

图像加速模块主要包含可重构图像加速器、AXI-DMA模块。可重构图像加速器是PL子系统内划分的一片可重构区域，其可根据系统工作阶段(检测阶段或跟踪阶段)，动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速。

PL子系统内部署的各IP核和功能模块间，均采用标准的32bitAXI-Stream总线进行互联，具有较高的效率和通用性。图像采集单元和图像加速单元的AXI-DMA模块分别通过AXI-HP接口和AXI-ACP接口实现与PS子系统的数据交互。一方面，通过接口间的隔离，避免了总线争用引发的通信效率下降；另一方面，AXI-ACP可直接将运算中间数据传输同步到PS子系统的处理器缓存内，更有利于软件程序与固件之间的频繁、高效交互。

PS子系统内搭载了ARM-Linux嵌入式操作系统，支持多算法、多任务并行操作，可充分满足自主式机器人、智能手机等复合功能平台的应用需求。在其控制的固态存储器内，以文件形式存储各模块驱动程序模块(.ko文件)和固件程序模块(.bit文件或.bin文件)，利于系统管理、升级和基于动态可重构的功能切换。

本发明设计实现的低功耗便携式实时图像目标检测跟踪系统工作流程简图如图3所示。其工作流程可划分为检测阶段和跟踪阶段：

第一步，系统启动后，复位并初始化各外设驱动程序，并将目标检测加速器装载至可重构图像加速器。

第二步，图像采集单元采集、预处理图像，并经AXI-DMA通道传输至PS子系统的DDR3内存。

第三步，PS子系统内的图像检测算法将接收并处理图像，以软件形式执行非运算密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。

第四步，根据软硬件协同检测的结果，如发现感兴趣目标，则将执行动态部分可重构操作，将目标跟踪加速器装载至可重构图像加速器，并启动图像目标跟踪算法。

第五步，PS子系统内的图像跟踪算法将接收并处理图像，以软件形式执行非运算密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。

第六步，系统将持续定位目标位置，直至跟踪结束。

本发明选用高斯背景模型为图像目标检测算法，选用压缩跟踪算法为图像目标跟踪算法。采用PS子系统软件实现高斯背景模型的目标标定环节，采用PL子系统目标检测加速器实现高斯背景模型的前景检测环节；采用PS子系统软件实现压缩跟踪算法的候选样本采集、积分图计算、压缩感知、分类器更新等环节，采用PL子系统目标检测加速器实现压缩跟踪算法的朴素贝叶斯分类器环节。相对于高性能计算机(Intel Core i7-4712MQ,8GBDDR3 RAM,Windows 7 64-bit)，本发明所设计的嵌入式实时图像目标检测与跟踪系统，可实现更高的处理速率，且重量仅125g，体积仅118×98×45mm，峰值功耗仅2.99W，能够充分满足低功耗、便携式的应用需求。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种低功耗便携式实时图像目标检测与跟踪系统，包括PL子系统和PS子系统，其特征在于：PS子系统与PL子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据和运算中间数据的交互；其中PL子系统包括图像采集单元和图像加速单元；其中：

图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块；所述摄像头接口模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模块用于通过AXI-HP接口实现对图像数据向DDR3RAM的自主回传；

图像加速单元包括可重构图像加速器、AXI-DMA模块；可重构图像加速器用于根据系统工作阶段动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速；AXI-DMA模块用于通过AXI-ACP接口实现对图像数据向DDR3RAM的自主回传；

2.一种低功耗便携式实时图像目标检测与跟踪方法，其特征在于：包括以下步骤：

第一步，初始化各外设驱动程序，并将目标检测加速器装载至可重构图像加速器；

第二步，图像采集单元采集、预处理图像，并经AXI-DMA通道传输至PS子系统的DDR3内存；

第三步，PS子系统内的图像检测算法将接收并处理图像，以软件形式执行非运算密集型的算法环节，并调用图像加速单元执行运算密集型算法环节；

第四步，根据软硬件协同检测的结果，如发现感兴趣目标，则将执行动态部分可重构操作，将目标跟踪加速器装载至可重构图像加速器，并启动图像目标跟踪算法；

第五步，PS子系统内的图像跟踪算法将接收并处理图像，以软件形式执行非运算密集型的算法环节，并调用图像加速单元执行运算密集型算法环节；

第六步，系统将持续定位目标位置，直至跟踪结束。

3.如权利要求2所述的一种低功耗便携式实时图像目标检测与跟踪方法，其特征在于：进一步地，选用高斯背景模型为图像目标检测算法，选用压缩跟踪算法为图像目标跟踪算法。

4.如权利要求3所述的一种低功耗便携式实时图像目标检测与跟踪方法，其特征在于：进一步地，采用PS子系统实现高斯背景模型的目标标定环节，采用PL子系统目标检测加速器实现高斯背景模型的前景检测环节；采用PS子系统软件实现压缩跟踪算法的候选样本采集、积分图计算、压缩感知、分类器更新环节，采用PL子系统目标检测加速器实现压缩跟踪算法的朴素贝叶斯分类器环节。