CN109714586B - 基于zynq的实时双目立体视觉软硬件协同设计方法 - Google Patents

Abstract

本发明涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：利用ZYNQ中PL完成双目立体匹配的实时计算处理；利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。本发明能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。

Description

基于ZYNQ的实时双目立体视觉软硬件协同设计方法

技术领域

本发明涉及计算机视觉应用技术领域，特别是涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法。

背景技术

双目立体视觉是计算机视觉研究领域的一个重要课题，利用位置不同的两个摄像头拍摄两张图像，从中获得深度信息。双目视觉所需设备简单，精度合适、系统结构简单等优点，被广泛应用于视觉导航、目标检测与跟踪、目标测量、目标识别以及三维场景感知等场合中。

双目立体视觉的相关算法实现复杂，计算量大，复杂的处理算法使得用CPU的指令集串行处理运算速度缓慢，无法达到实时效果。通常采用的是GPU加速或者FPGA加速实现。采用GPU处理的方法有一定的加速比，但处理帧率低、一般需要大体积的服务器，能耗也相当高。相比之下FPGA的并行计算和低功耗等特点，更适合嵌入式设备的实时性实现。但FPGA只擅长并行计算，相对功能单一，控制管理能力差，基于FPGA搭建人机交互系统复杂，系统工作量大，开发难度高，需要采用软硬件协同设计的方法。

软硬件协同设计是通过软件和硬件的并发设计，充分发挥软件和硬件的协同作用，来达到系统级的设计目标。在早期针对嵌入式系统设计面临的问题与挑战，研究者们探索出新的设计方法学--软硬件协同设计方法。它的核心思想是在设计过程中协调软件子系统和硬件子系统，每一步都是硬件和软件综合考虑的最优结果。相对于传统独立设计软硬件体系结构的弊端，软硬件协同设计方法依据系统目标要求，通过综合分析系统软硬件功能及现有资源，最大限度的挖掘系统软硬件之间的并发性，协同设计软硬件体系结构，以便系统能够达到最佳性能。随着技术的不断发展，软硬件协同设计的主要研究对象从可配置的嵌入式计算机系统转变为集成嵌入式系统的单个芯片。ZYNQ(Xilinx ALL ProgrammableZynq-7000Soc)是Xilinx公司研制出的一款融合了高性能ARM处理器与大容量FPGA的嵌入式处理器芯片，具有软硬件同时可编程特性。但是在ZYNQ芯片上如何合理的进行软硬件的划分以及高效地使用内存，总线以及处理器来完成数据的交互和控制始终是软硬件协同设计中的一大挑战。

发明内容

本发明所要解决的技术问题是提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。

本发明解决其技术问题所采用的技术方案是：提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：

(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；

(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。

所述步骤(1)中的实时计算处理包括双目立体校正算法处理、双目立体匹配计算处理和VDMA视频图像传输处理，其中，所述双目立体校正算法处理和双目立体匹配计算处理通过自定义IP实现，所述VDMA视频图像传输处理通过Xilinx官方IP实现。

所述PL包括算法处理加速通道和实时显示通道；在算法处理加速通道中，双目立体校正IP中通过相关寄存器的定义使得PS端通过指令配置来读写寄存器的值进而达到数据交互时控制信号的交流；正确交流之后，DDR中的双目图像数据将内存映射数据转化成流数据格式，然后将数据传递给自定义的数据转换IP核，其将流格式数据转化成视频数据，然后传送到立体校正和立体匹配的算法IP核；在立体校正时，当立体匹配IP得到视差图数据后通过左接口的数据转换模块将视频格式数据转化成流格式的数据，然后将流数据转化成内存映射数据并送至DDR3；校正算法IP将校正后的双目左图以同样的处理过程通过右接口的数据转换模块送至DDR3；在实时显示通道中，DDR3中的图像数据通过数据转换模块以算法处理加速通道中相同的数据处理方式将视频数据送至HDMI控制器，并通过显示器进行实时显示。

所述步骤(2)中的PS完成多任务管理以及数据存储控制包括摄像头图像数据采集、图像数据交互和数据传输；其中，摄像头图像数据采集在PS编码中使用V4L2视频采集接口驱动USB控制器来完成；图像数据交互在PS编码中使用V4L2驱动接口来控制PL端的VDMA实现；数据传输通过在PS编码中使用UDP通信协议驱动以太网口控制器将系统处理的有用的相关图像数据传输到PC上。

所述PS包括系统初始化，图像采集线程，数据交互线程，数据显示线程以及UDP传输处理线程；其中，系统初始化是在开始执行各个线程之前完成一些系统配置；图像采集线程主要完成双目图像的快速采集，通过V4L2视频采集驱动接口的ioctl命令VIDIOC_QBUF抓取帧数据放到已经映射到用户空间的缓存区队列中，然后通过ioctl命令VIDIOC_DQBUF不断的从队列中取出帧数据；数据交互线程分为数据发送子线程和数据接收子线程，在数据接收子线程中软件编码通过V4L2的直接传输视频驱动接口控制VDMA传输数据到DDR3，ioctl命令VIDIOC_DQBUF使得VDMA将接收到的数据主动写入DDR3缓存区中，然后通过ioctl命令VIDIOC_QBUF清空缓存区以方便下一帧数据的继续写入该缓存区中，在数据发送子线程中，软件编码中使用内存映射机制直接配置PL端的寄存器作为数据控制的标志信号来完成数据交互的控制；数据显示线程主要完成图像数据的实时显示以及通过按钮来控制系统的执行以达到人机交互的效果；UDP传输处理线程主要是通过以太网口将系统处理的相关图像数据快速传输到PC上。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明结合软硬件的各自优势找到它们的最佳结合点，通过高效的软硬件数据交互控制方法使系统有最佳的性能。并且本发明基于ZYNQ芯片对其进行软硬件协同实现，实验结果也表明系统有较好的交互能力和较高的加速比。系统处理速度完全可以达到实时性的要求，可以将其应用到高级辅助驾驶中有一定的现实意义。

附图说明

图1是软硬件协同系统架构框图；

图2是PL部分的逻辑架构框图；

图3是PS部分的体系架构图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果，包括以下操作：利用ZYNQ中PL完成双目立体匹配的实时计算处理；利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。

本发明基于ZYNQ系列FPGA+ARM集成芯片提出了一种软硬件协同设计方法，来搭建整个实时双目立体视觉系统。利用FPGA来完成复杂算法加速处理过程，简记为PL端。利用ARM来完成图像的采集，程序逻辑控制及图像的显示等工作，并增强系统的交互性，简记为PS端。并采用PS指令配置PL的寄存器来进行相应的软硬件接口设计以完成系统的搭建，正确并高效的实现PL端和PS端的图像数据的交互控制处理，充分发挥ZYNQ异构多核处理器的优势从而使得双目立体视觉系统达到最佳性能。具体如下：

为了保证系统有一定的加速比和交互性，结合算法的复杂度以及ZYNQ平台的特性对系统进行软硬件划分，本发明采用模块化的思想来设计该系统。如图1是系统的架构框图。系统实验平台主要包括ZYNQ、DDR3、USB免驱双目相机和HDMI显示器，以及一台普通的PC机做辅助处理。

如图1所示，在ZYNQ中PS需要进行多任务管理以及数据的存储控制。因此如下任务需要PS来完成。

1)摄像头图像采集模块：摄像头的图像数据采集不需要复杂的计算，在PS编码中使用V4L2视频采集接口驱动USB控制器来完成图像数据的采集和存储。

2)图像数据交互模块：在PS编码中使用V4L2驱动接口来控制PL端的VDMA实现PS和PL数据交互的高速传输。

3)数据传输模块：通过在PS编码中使用UDP通信协议驱动以太网口控制器将系统处理的有用的相关图像数据快速传输到PC上。

在ZYNQ中PL采用通用模块化的设计思想，他至少应该包括以下Xilinx官方的IP和自定义的算法IP。

1)自定义IP：由于在双目立体视觉中立体校正和立体匹配的算法复杂，计算量大，因此将其设计成硬件IP核在FPGA中实现并行加速。由于Zynq-7000获得了Xilinx VivadoHLS(高层综合)工具的全面支持,对于一些用C语言编码实现的算法可以很容易用HLS工具综合成Verliog并封装成IP核在硬件中使用。因此我们可以很方便的通过编程来完成硬件IP核的设计和综合，缩短硬件开发周期。

2)数据传输控制器(VDMA)：主要由Xilinx官方IP核AXI VDMA(AXI Video DirectMemoryAccess)来担任此工作，它主要包括两个功能，第一，通过AXI高性能接口将PS采集到的图像数据传送到PL并生成相应的控制信号来完成数据控制和交互。第二，通过AXI高性能接口将PL的处理后的图像数据传送到PS并生成相应的控制信号来完成数据控制和交互。

值得注意的是，本发明提出的软硬件协同设计中数据交互控制的方法是通过PS端Image data interaction module中的指令控制PL端Custom algorithm IP中的寄存器的值的变化来进行数据控制信号的交流，在控制信号的准确交流之后通过PL端的VDMA来进行高速的数据交互传输。除此之外，系统架构还包括DDR3内存通过PS端的DDR3控制器进行数据的存储，HDMI显示器来进行实时图像显示和PS端的相关控制操作。RS232接口来通过串口调试助手调试整个系统。

其中PL逻辑部分具体设计如下：

在设计好系统的体系结构后就要来进行详细的硬件PL逻辑设计，如图2所示是系统的PL逻辑架构框图。

PL架构包括算法处理加速通道和实时显示通道，在算法处理加速通道中，立体校正IP中通过相关寄存器的定义使得PS端可以通过指令配置来读写寄存器的值进而达到数据交互时控制信号的交流。正确交流之后，DDR中的双目图像数据分别经过VDMA1和VDMA2的M_AXI_MM2S接口将内存映射数据转化成流数据格式，然后通过M_AXIS_MM2S将数据传递给自定义的数据转换IP核，其将流格式数据转化成视频数据，然后传送到立体校正和立体匹配的算法IP核，由于在立体校正时，需要离线标定的相关参数以及图像分辨率等参数，因此在左接口的数据转换IP核中需要有相应寄存器配置的功能子模块。当立体匹配IP得到视差图数据后通过左接口的数据转换模块将视频格式数据转化成流格式的数据，然后通过VDMA1的S_AXIS_S2MM接口送给VDMA1，再由VDMA1将流数据转化成内存映射数据通过M_AXI_S2MM接口送至DDR3。而校正算法IP可将校正后的双目左图以同样的处理过程通过右接口的数据转换IP和VDMA2送至DDR3。在实时显示通道中，DDR3中的图像数据可通过VDMA3和数据转换模块以算法处理加速通道中相同的数据处理方式将视频数据送至HDMI控制器，并通过显示器进行实时显示。

值得注意的是，在PL的数据传输中，由于DDR3的带宽限制，在DDR3存储区的以内存映射方式存储的双目图像数据有不确定性的间断。因此数据在VDMA中转化成流格式数据时是不连续的，为了能够在不同模块之间正确且高效地进行数据传输，需要在模块之间的数据传输中采用FIFO做数据缓存。通过FIFO缓存机制控制图像数据的整行传输，这样可以高效的进行数据的行间断传递。它减少了数据中断次数的产生从而快速地进行数据的传输和处理，而且FIFO缓存可以有效地避免数据处理错误和数据丢失未处理的问题。

其中PS软件部分具体设计如下：

PS软件的设计就是为了更好的进行数据的控制和交互，使得用户可以通过一些简单的操作就控制整个系统的执行。如图3所示，在体系结构中的软件划分模块中PS主要被细化成如下几个线程：系统的初始化，图像采集线程，数据交互线程，数据显示线程以及UDP传输处理线程。为了能够使得各个线程之间能够快速通信，在系统的主进程中使用共享内存(主要是通过内存映射将申请的物理内存映射到用户空间)来完成各个线程之间的数据资源共享，也提高了系统的执行速度。

1)系统初始化：该模块主要是在开始执行各个线程模块之前完成一些系统配置，首先是离线标定的相机参数的配置，他通过在软件编码中使用内存映射机制配置PL端的寄存器(修改对应物理地址的值)并写入到PL中数据转换IP核的寄存器配置子模块中。其次，因为PL端的接口(比如USB采集接口，数据输入和输出接口)都是在系统中做成了video设备。在PS端通过V4L2视频采集驱动接口以及直接传输视频驱动接口可以对Video设备进行控制，从而控制PL端的接口中数据的传输。因此初始化过程中要有Video设备的打开和数据帧格式定义，申请帧存放缓存区并映射到用户空间，打开视频流等操作，最后，对于UDP传输处理线程需要socket定义和绑定等初始化。

2)图像采集线程：该线程主要完成双目图像的快速采集。通过V4L2视频采集驱动接口的ioctl命令VIDIOC_QBUF抓取帧数据放到已经映射到用户空间的缓存区队列中，然后通过ioctl命令VIDIOC_DQBUF不断的从队列中取出帧数据，这样两个匹配的ioctl命令循环操作就完成了图像数据的实时采集。

3)数据交互线程：该线程分为两部分数据的发送子线程和数据的接收子线程,是实时双目立体视觉系统设计与实现的核心部分。主要对应于软硬件协同设计方法中的PS和PL的数据交互控制的软件接口设计的具体实现。在PS端，系统可以使用V4L2的直接传输视频驱动接口来通过S_AXI_LITE接口控制VDMA主动从DDR3中读写数据。在软件编码中通过ioctl命令VIDIOC_DQBUF将数据从DDR缓存区取出给VDMA中，然后通过ioctl命令VIDIOC_QBUF清空缓存区以方便下一帧数据的存放，以同样的原理，在数据接收子线程中软件编码通过V4L2的直接传输视频驱动接口控制VDMA传输数据到DDR3，ioctl命令VIDIOC_DQBUF使得VDMA将接收到的数据主动写入DDR3缓存区中，然后通过ioctl命令VIDIOC_QBUF清空缓存区以方便下一帧数据的继续写入该缓存区中。在数据发送子线程中，软件编码中使用内存映射机制直接配置PL端的寄存器(修改对应物理地址的值)作为数据控制的标志信号来完成数据交互的控制。

4)数据显示线程：该线程主要完成一些图像数据的实时显示以及通过一些按钮来控制系统的执行以达到人机交互的效果。通过QT软件工具来设计GUI显示界面。对于图像数据的显示部分在PS编码中直接从DDR缓存区中取出数据进行显示。按钮操作主要包括系统初始化时相关寄存器值的配置，采集线程和数据交互线程的启动和结束控制等。

5)UDP传输处理线程：该线程主要是通过以太网口将系统处理的相关图像数据快速传输到PC上，以方便为后期三维重建等相关技术的研究做数据基础。由于要保证系统的实时性，所以采用了较简单适合视频传输的UDP协议。值得注意的是，由于在以太网中最大传输单元(MTU)最大为1500Bytes，所以对于一帧图像数据要进行分包传送和接收组包。

在系统的执行结束之前，为保证系统的安全性，程序编码需要对系统初始化中的一些资源进行释放操作，如关闭socket和设备视频流，取消内存映射空间，关闭Video设备等操作。如此系统PS部分有一个完整的封装和结构化体系。

Claims (3)

1.一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，包括以下步骤：

(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；

(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输；其中，所述PS完成多任务管理以及数据存储控制包括摄像头图像数据采集、图像数据交互和数据传输；其中，摄像头图像数据采集在PS编码中使用V4L2视频采集接口驱动USB控制器来完成；图像数据交互在PS编码中使用V4L2驱动接口来控制PL端的VDMA实现；数据传输通过在PS编码中使用UDP通信协议驱动以太网口控制器将系统处理的有用的相关图像数据传输到PC上；所述PS包括系统初始化，图像采集线程，数据交互线程，数据显示线程以及UDP传输处理线程；其中，系统初始化是在开始执行各个线程之前完成一些系统配置；图像采集线程完成双目图像的快速采集，通过V4L2视频采集驱动接口的ioctl命令VIDIOC_QBUF抓取帧数据放到已经映射到用户空间的缓存区队列中，然后通过ioctl命令VIDIOC_DQBUF不断的从队列中取出帧数据；数据交互线程分为数据发送子线程和数据接收子线程，在数据接收子线程中软件编码通过V4L2的直接传输视频驱动接口控制VDMA传输数据到DDR3，ioctl命令VIDIOC_DQBUF使得VDMA将接收到的数据主动写入DDR3缓存区中，然后通过ioctl命令VIDIOC_QBUF清空缓存区以方便下一帧数据的继续写入该缓存区中，在数据发送子线程中，软件编码中使用内存映射机制直接配置PL端的寄存器作为数据控制的标志信号来完成数据交互的控制；数据显示线程完成图像数据的实时显示以及通过按钮来控制系统的执行以达到人机交互的效果；UDP传输处理线程是通过以太网口将系统处理的相关图像数据快速传输到PC上。

2.根据权利要求1所述的基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，所述步骤(1)中的实时计算处理包括双目立体校正算法处理、双目立体匹配计算处理和VDMA视频图像传输处理，其中，所述双目立体校正算法处理和双目立体匹配计算处理通过自定义IP实现，所述VDMA视频图像传输处理通过Xilinx官方IP实现。

3.根据权利要求2所述的基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，所述PL包括算法处理加速通道和实时显示通道；在算法处理加速通道中，双目立体校正IP中通过相关寄存器的定义使得PS端通过指令配置来读写寄存器的值进而达到数据交互时控制信号的交流；正确交流之后，DDR中的双目图像数据将内存映射数据转化成流数据格式，然后将数据传递给自定义的数据转换IP核，其将流格式数据转化成视频数据，然后传送到立体校正和立体匹配的算法IP核；在立体校正时，当立体匹配IP得到视差图数据后通过左接口的数据转换模块将视频格式数据转化成流格式的数据，然后将流数据转化成内存映射数据并送至DDR3；校正算法IP将校正后的双目左图以同样的处理过程通过右接口的数据转换模块送至DDR3；在实时显示通道中，DDR3中的图像数据通过数据转换模块以算法处理加速通道中相同的数据处理方式将视频数据送至HDMI控制器，并通过显示器进行实时显示。

Images