CN105847766A - 一种基于Zynq-7000的运动目标检测与跟踪系统 - Google Patents

Abstract

本发明涉及一种基于Zynq‑7000的运动目标检测与跟踪系统，以软硬件协同设计为方法，将系统进行软件实现划分，主要包括运动目标检测IP、跟踪加速IP、显示控制器IP、Linux设备驱动与接口程序、Linux用户应用。所述运动目标检测IP，由可编程逻辑实现完成视频场景中运动目标信息的提取；所述跟踪加速IP由可编程逻辑实现，实现跟踪功能的加速；所述显示控制器IP由可编程逻辑实现，负责显示数据的变换与处理；所述Linux设备驱动与接口程序为用户提供系统硬件及IP的配置与数据交互；所述Linux用户应用实现监控系统的跟踪功能并提供界面友好的人机交互。本发明具有内部数据总线速度快，高性能的处理器用于清晰图像处理，高效的视频监控能力等优点。

Description

一种基于Zynq-7000的运动目标检测与跟踪系统

技术领域

本发明涉及图像处理与计算机视觉技术领域，特别是涉及一种基于Zynq-7000的运动目标检测与跟踪系统。

背景技术

图像视频监控作为安防系统的一个重要元素， 目前已经广泛应用于国防、工业、交通、能源、信息技术以及日常生活等领域，并发挥着极其重要的作用。尤其是日常生活中，个人可以搭建属于自己的图像监控系统。随着相关技术的发展与推广，前端一体化、视频数据数字化、监控网络化、系统集成化已经成为视频监控系统公认的发展方向。当前视频监控系统大多基于PC机实现，存在成本高，体积大等缺点。在嵌入式平台上实现可靠性与实时性俱佳的目标跟踪系统，成为当前研究的热点。

Zynq-7000 是基于 Xilinx 全可编程的可扩展处理平台结构，该结构在单芯片内集成了具有丰富特点的双核 ARM Cortex-A9 多核处理器的处理系统（ ProcessingSystem， PS）和 Xilinx 可编程逻辑（ Programmable Logic，PL）。双核 ARM Cortex-A9 多核 CPU是PS的“心脏”， 它包含片上存储器、外部存储器接口和一套丰富的 I/O外设。Zynq-7000 中的 PL 采用了 Xilinx7系列的 FPGA 技术，用于扩展功能，以满足特定的功能需求。Zynq-7000 作为首款将高性能 ARM Cortex A 系列处理器与高性能 FPGA 在单芯片内紧密结合的产品，与其他独立 ARM Cortex-A9 与 Xilinx FPGA 在单板上相比，其可具有如下优点：设计成本降低 ；设计整体功耗降低 ；设计体积减少 ；设计风险降低 ；设计更灵活。为 了实现这些优点，Xilinx在设计Zynq-7000时不仅要将不同工艺特征的处理器和FPGA融合在一个芯片上并保证其良品率，更要设计高效的片内高性能处理器与 FPGA 之间互联通路。 该互联通路通过 AXI 总线来实现，AXI是一种总线协议，该协议是 ARM 公司提出的 AMBA 协议中最重要的部分，是一种面向高性能、高带宽、低延迟的片内总线，满足超高性能和复杂的片上系统的设计需求。 AXI 是保证片内和片上互联高速通信的基础。Zynq-7000的内部设备都有 AXI 接口，通过 AXI 总线协议，内部设备可以进行高速低延迟的通信，即 ARM 和 FPGA 可以保证高速的数据传输。

传统的监控方式都必须由人直接或者间接的参与其中，并做出判断，对于人员的依赖性极高，需要监控人员注意力高度集中于监控屏幕，其视力强度很大。当监控人员工作超过一定时长，注意力会大大降低，实际的工作效率并不高。如果此时现场作业人员出现危险情况，监控人员极有可能漏过重要信息而造成严重后果。

综上，现有监控系统存在以下问题：

1、监控设备笨重、不便于安装、成本较高；

2、监控效率低下，需要过多的人为干预、大大降低了监控系统的预见性与可靠性。

发明内容

有鉴于此，本发明的目的是提供一种基于Zynq-7000的运动目标检测与跟踪系统，该方案不仅具有嵌入式系统的小巧灵活，在处理性能上可同PC机相媲美；同时具备监控场景运动目标的检测与跟踪能力，可有效提高监控效率。

本发明采用以下方案实现：一种基于Zynq-7000的运动目标检测与跟踪系统，包括USB摄像头，所述USB摄像头采集图像视频信息并将信息通过USB接口上传至基于 Zynq-7000的Zedboard 开发板，所述Zedboard开发板上集成双核ARM Cortex-A9 处理器的处理系统Processing System和Xilinx可编程逻辑Programmable Logic；所述Zedboard开发板的USB 接口获取图像数据，通过可编程逻辑 Programmable Logic中的运动检测模块IP获取运动目标信息并通过AXI4接口将运动信息上传至处理系统 Processing System；所述处理系统Processing System运行Linux操作系统，利用运动检测IP的运动目标信息判断警戒区域目标，对进入警戒区域的运动目标进行跟踪并记录其运动轨迹，并将跟踪结果通过LCD显示出来。

进一步地，所述视频监控系统为具备运动目标检测与跟踪能力的监控系统。

进一步地，所述带运动目标检测与跟踪功能的监控系统包括异构嵌入式处理器Zynq-7000 SoC，所述嵌入式处理器连接有一USB摄像头、一鼠标、一键盘以及一LCD显示器。

进一步地，所述运动检测功能在Zynq-7000的可编程逻辑端实现，跟踪功能由Zynq-7000的处理系统实现并通过可编程逻辑加速。

进一步地，所述视频监控系统的运动检测IP，采用相邻帧差法实现监控视频场景中运动目标信息的提取。

进一步地，所述视频监控系统的目标跟踪，采用CamShift算法实现监控视频场景中警戒区域运动目标的跟踪与轨迹记录。

进一步地，所述监控终端是Linux上的应用程序。

进一步地，所述视频监控系统具有良好的人机交互能力，用户通过键盘与鼠标完成系统工作属性的设置，通过LCD观察运动目标个数、被跟踪目标个数以及系统的资源利用率。

特别地，该系统以软硬件协同设计为方法，将系统进行软件实现划分，主要包括运动目标检测IP、跟踪加速IP、显示控制器IP、Linux设备驱动与接口程序、Linux用户应用。所述运动目标检测IP，由可编程逻辑实现完成视频场景中运动目标信息的提取；所述跟踪加速IP由可编程逻辑实现，实现跟踪功能的加速；所述显示控制器IP由可编程逻辑实现，负责显示数据的变换与处理；所述Linux设备驱动与接口程序为用户提供系统硬件及IP的配置与数据交互；所述Linux用户应用实现监控系统的跟踪功能并提供界面友好的人机交互。

与现有技术相比，本发明的有益效果是：

1、经测试，如果用 Zynq-7000 中单个的 ARM Cortex-A9 处理器完成高清图像的处理时，处理器资源被 100% 占用，但只能每秒处理 5 ～ 6 帧图像，视频输出时有明显的顿挫感；切换用 FPGA加速时，ARM被释放，在占用不到 25%的片内 FPGA资源的情况下，对于720P图像来说每秒能实时完成 60 帧的处理。 因此本发明利用 Zynq 中 FPGA 部分完成高速视频的预处理、运动目标检测、跟踪加速等，而 ARM 主要负责操作系统运行、复杂的控制及跟踪算法的迭代运算。

2、Zynq-7000的内部设备都有 AXI接口，通过 AXI总线协议，内部设备可以进行高速低延迟的通信，即 ARM 和 FPGA 可以保证高速的数据传输，即内部数据的交互不会成为速度上的瓶颈。

3、实现了视频监控场景中运动目标的检测以及对进入警戒区域目标的自动跟踪及轨迹记录，提高了监控效率。

附图说明

图1是本发明的系统框架图。

图2是本发明中运动检测IP结构图。

图3是本发明中跟踪加速IP结构图。

图4是本发明设备驱动与程序接口示意图。

图5是本发明用户软件结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供一种基于Zynq-7000的运动目标检测与跟踪系统，包括USB摄像头，所述USB摄像头采集图像视频信息并将信息通过USB接口上传至基于 Zynq-7000的Zedboard 开发板，所述Zedboard开发板上集成双核ARM Cortex-A9 处理器的处理系统Processing System和Xilinx可编程逻辑Programmable Logic；所述Zedboard开发板的USB接口获取图像数据，通过可编程逻辑 Programmable Logic中的运动检测模块IP获取运动目标信息并通过AXI4接口将运动信息上传至处理系统 Processing System；所述处理系统Processing System运行Linux操作系统，利用运动检测IP的运动目标信息判断警戒区域目标，对进入警戒区域的运动目标进行跟踪并记录其运动轨迹，并将跟踪结果通过LCD显示出来。

在本实施例中，所述视频监控系统为具备运动目标检测与跟踪能力的监控系统。

在本实施例中，所述带运动目标检测与跟踪功能的监控系统包括异构嵌入式处理器Zynq-7000 SoC，所述嵌入式处理器连接有一USB摄像头、一鼠标、一键盘以及一LCD显示器。

在本实施例中，所述运动检测功能在Zynq-7000的可编程逻辑端实现，跟踪功能由Zynq-7000的处理系统实现并通过可编程逻辑加速。

在本实施例中，所述视频监控系统的运动检测IP，采用相邻帧差法实现监控视频场景中运动目标信息的提取。

在本实施例中，所述视频监控系统的目标跟踪，采用CamShift算法实现监控视频场景中警戒区域运动目标的跟踪与轨迹记录。

在本实施例中，所述监控终端是Linux上的应用程序。

在本实施例中，所述视频监控系统具有良好的人机交互能力，用户通过键盘与鼠标完成系统工作属性的设置，通过LCD观察运动目标个数、被跟踪目标个数以及系统的资源利用率。

在本实施例中，如图1所示，该系统以软硬件协同设计为方法，将系统进行软件实现划分，主要包括运动目标检测IP、跟踪加速IP、显示控制器IP、Linux设备驱动与接口程序、Linux用户应用。所述运动目标检测IP，由可编程逻辑实现完成视频场景中运动目标信息的提取；所述跟踪加速IP由可编程逻辑实现，实现跟踪功能的加速；所述显示控制器IP由可编程逻辑实现，负责显示数据的变换与处理；所述Linux设备驱动与接口程序为用户提供系统硬件及IP的配置与数据交互；所述Linux用户应用实现监控系统的跟踪功能并提供界面友好的人机交互。

在本实施例中，系统架构设计如下：本系统从需求上划分主要包括视频采集、人机交互、运动检测、目标跟踪四个部分，通过视频采集单元获取视频图像序列，经运动检测提取视频场景中的运动目标可得到其位置与大小等信息，根据运动目标的位置，对进入到警戒区域的目标自动跟踪同时记录其运动轨迹，基于人机交互，可选择视频的采集方式、跟踪模式、是否硬件加速等操作以及观察实时跟踪结果。异构片上系统Zynq-7000由基于ARM内核的处理系统和FPGA技术的可编程逻辑两个部分构成，为此，需要对系统各部分的实现作软硬件划分。Linux OS运行在处理系统端协调软硬件的工作，进行视频采集，并在Linux的用户空间作人机交互的开发；运动检测与目标跟踪的实现，需要对视频数据流做大量的运算处理，在可编程逻辑端实现运动检测并对目标跟踪算法作硬件加速。系统的总体结构见图1，主要包括硬件、Linux内核、Linux应用，图示仅给出了层次关系。以下描述每个功能模块的作用与实现：

1、视频采集：系统主要通过USB摄像头作视频采集，为了便于系统测试，也可以从SD卡中读取标准视频流，这部分在Zynq-7000 SoC的处理系统端通过硬化的USB和SD接口实现。

2、人机交互：硬件主要包括USB接口的鼠标与键盘、HDMI接口的显示器、HDMI控制IP等，软件界面则由基于Qt开源的GUI库开发完成，需要片上系统的处理系统与可编程逻辑端共同完成。

3、运动检测：此部分的任务是从视频场景中完成运动目标的检测，并将检测到的结果传送至目标跟踪部分，此部分完全在可编程逻辑端实现，并通过系统端口与处理系统端进行数据交互。

4、目标跟踪：该部分首先需要对视频图像进行色彩空间变换、反向投影以及目标颜色直方图统计，之后通过跟踪算法完成目标的定位。由于场景中目标运动及尺寸变化的不确定性，导致算法的窗口滑动过程与大小变化比较随机，若用硬件实现，困难大且加速效果不明显，因此将跟踪核心算法基于软件的方式实现，跟踪的前期图像处理部分通过可编程逻辑作硬件加速。

运动目标检测IP实现 ：

经过调试等一系列设计迭代后，通过Vivado HLS工具将运动检测算法封装成基于AXI4总线的IP。运动检测IP的结构见图2中蓝色区域，主要包括输入输出端口、IP控制端口、端口总线协议转换单元、算法处理单元。图2中的运动检测IP通过AXI VDMA（AXI Video DirectMemory Access）从DDR储存器中读取和写入视频数据，处理系统通过AXI-Lite总线实现对运动检测IP的寄存器进行访问。需要注意的是在VDMA与DDR存储器之间还要经过AXI互联器与Zynq-7000处理系统的HP端口，为简便起见，在图2中并没有给出。

所述Vivado HLS工具为Xilinx高层次综合工具，可完成基于C/C++描述的算法级的综合实现；所述AXI VDMA作为先进的可扩展接口内核能在存储器与支持AXI4-Stream视频协议的外设之间提供高带宽直接内存访问通道。

跟踪加速IP实现 ：

根据CamShift跟踪算法的流程，对其中的颜色空间转换、图像反向投影与目标颜色直方图计算部分进行硬件加速，并将其封装为基于AXI总线的硬件IP。跟踪加速IP的结构如图3中下方区域所示，与运动检测IP相类似，包括输入输出端口、IP控制端口、端口总线协议转换单元、算法处理单元。

设备驱动与程序接口的实现：

作为连接硬件和内核之间的桥梁，Linux设备驱动是操作系统与硬件之间数据交互的通道。因此在完成了硬件IP的设计后，还需要选择或设计相应的Linux设备驱动以及应用层程序接口，才能在系统用户空间对硬件IP或外设作配置与数据读写等操作。Xilinx提供了多种类型的IP核驱动，根据本系统的需要，添加相应的驱动，在这里添加Xilinx提供的视频流水线驱动，在配置Linux内核时，需要使能参数CONFIG_VIDEO_XILINX，并绑定到Linux设备树中。Xilinx IP的视频设备驱动基于V4L2实现，V4L2是Linux内核中关于视频设备的内核驱动框架，为上层的访问底层的视频设备提供了统一的接口。在用户空间，可通过 ioctl命令与驱动程序进行交互。从用户空间对系统进行硬件的配置与访问，其过程如图4所示。

系统的用户软件设计：

跟踪系统的用户软件是一个多线程的Linux应用程序，使用了基于Qt的图形用户界面，通过显示器显示出来，用户可以通过鼠标或者键盘输入的方式与系统进行交互。根据用户不同的选择，用户软件可以选择不同的视频源与系统算法的实现方式，同时用户可以在显示窗口观察跟踪的效果和CPU以及总线使用情况，完成用户和系统之间的交互。应用程序功能块关系见图5。

为了体现本发明的有益效果，以下结合本实施例说明本发明的操作过程。

当打开用户的视频监控界面，通过鼠标使能系统，并选择视频的来源，SD卡或者USB摄像头；默认情况下系统不进行硬件加速，用户可观察此时的系统资源利用情况，如CPU的利用率、处理系统端口的数据吞吐量等；用户通过鼠标选择硬件加速选项，同时通过显示屏观察系统的资源利用情况；用户可选择SD卡中的标准视频流测试系统的目标检测与跟踪效果，观察此时检测到的有效目标个数以及进入警戒区域的目标个数，判断监控系统的有效性。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：包括USB摄像头，所述USB摄像头采集图像视频信息并将信息通过USB接口上传至基于 Zynq-7000的Zedboard 开发板，所述Zedboard开发板上集成双核ARM Cortex-A9 处理器的处理系统ProcessingSystem和Xilinx可编程逻辑Programmable Logic；所述Zedboard开发板的USB 接口获取图像数据，通过可编程逻辑 Programmable Logic中的运动检测模块IP获取运动目标信息并通过AXI4接口将运动信息上传至处理系统 Processing System；所述处理系统ProcessingSystem运行Linux操作系统，利用运动检测IP的运动目标信息判断警戒区域目标，对进入警戒区域的运动目标进行跟踪并记录其运动轨迹，并将跟踪结果通过LCD显示出来。

2.根据权利要求1所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述视频监控系统为具备运动目标检测与跟踪能力的监控系统。

3.根据权利要求2所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述带运动目标检测与跟踪功能的监控系统包括异构嵌入式处理器Zynq-7000 SoC，所述嵌入式处理器连接有一USB摄像头、一鼠标、一键盘以及一LCD显示器。

4.根据权利要求3所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述运动检测功能在Zynq-7000的可编程逻辑端实现，跟踪功能由Zynq-7000的处理系统实现并通过可编程逻辑加速。

5.根据权利要求3所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述视频监控系统的运动检测IP，采用相邻帧差法实现监控视频场景中运动目标信息的提取。

6.根据权利要求3所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述视频监控系统的目标跟踪，采用CamShift算法实现监控视频场景中警戒区域运动目标的跟踪与轨迹记录。

7.根据权利要求1所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述监控终端是Linux上的应用程序。

8.根据权利要求1所述的一种基于Zynq-7000的运动目标检测与跟踪系统，其特征在于：所述视频监控系统具有人机交互能力，用户通过键盘与鼠标完成系统工作属性的设置，通过LCD观察运动目标个数、被跟踪目标个数以及系统的资源利用率。