CN110276110A

CN110276110A - 一种双目立体视觉系统的软硬件协同设计方法

Info

Publication number: CN110276110A
Application number: CN201910479488.3A
Authority: CN
Inventors: 潘雨坤; 朱明华; 毋杰; 王文杰
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2019-09-24

Abstract

本发明公开了一种双目立体视觉系统的软硬件协同设计方法，该方法基于FPGA+ARM的ZYNQ系统架构，通过软硬件划分在FPGA端完成立体校正算法和立体匹配算法的并行加速处理，在ARM端完成相机图像数据的采集、程序逻辑控制及图像的实时显示功能。利用ZYNQ的异构多核处理器的特性，通过ARM端的指令配置FPGA端内部的自定义寄存器完成软硬件之间的数据交互，进而设计出一种具有高实时性和良好交互性的双目立体视觉系统。

Description

一种双目立体视觉系统的软硬件协同设计方法

技术领域

本发明涉及计算机视觉中的双目立体视觉技术领域，具体指一种双目立体视觉系统的软硬件协同设计方法。

背景技术

目前计算机视觉领域的热点之一就是双目立体视觉技术，双目立体视觉作为计算机视觉研究领域的一个重要分支，它的三维场景感知方法在安全性、检测特性、成本及适用范围上都具有许多优点。所以现在有很多研究人员将双目立体视觉技术应用到自动驾驶和高级辅助驾驶系统（ADAS）中。双目立体视觉的最大优势在于维持开发成本较低的前提下，实现一定精度的目标识别和测距，完成FCW（前方碰撞预警）等ADAS功能。但双目立体视觉的相关算法计算量大，实现复杂。传统的CPU虽然擅长控制逻辑处理、作业调度和人机交互性，但CPU的指令集对复杂算法处理运算速度缓慢，不能达到实时效果。为了保证双目立体视觉在自动驾驶和高级辅助驾驶系统等应用领域的可靠性和实用性，双目立体视觉系统应具有良好的实时性和人机交互性能。目前，随着软硬件协同技术的不断发展和成熟，使用软硬件协同设计的系统既有硬件的高计算优势又有软件的控制交互优势。因此，软硬件协同设计也是很有效的方法可以适合具有实时性和人机交互性的双目立体视觉系统。然而在使用软硬件协同设计方法搭建嵌入式系统时仍然需要处理如下问题和难点：

首先，针对已有的硬件资源，如何合理的进行软硬件划分，才能很好的协调软件调度控制与硬件算法处理，并且使得系统能在性能表现良好的情况下，开发成本、开发时间、系统功能等指标达到最优化。

其次，在软硬件合理划分之后，如何高效的实现软硬件之间的数据控制和数据传输的交互工作，才能使得数据能够快速并准确地游走于系统的软硬件之间进行正确的数据处理。

最后，针对ZYNQ（Xilinx All Programmable Zynq-7000 SoC）平台的特点，如何实现系统中的相关算法和逻辑控制，才能保证硬件部分能够对复杂算法并行加速，软件部分能够正确地完成数据逻辑。这也是系统能够成功搭建的重点。为了克服上述双目立体视觉系统实时性、交互性差的缺点必须采用一种合理的软硬件协同设计方法，使双目立体视觉系统在自动驾驶和高级辅助驾驶系统等实时性和交互性均要求较高的场合，满足整个系统的实时性和交互性要求。

发明内容

为了克服上述双目立体视觉系统在自动驾驶和高级辅助驾驶系统等应用领域中由于算法复杂度和硬件资源限制等因素导致的系统实时性、交互性差的缺点。本发明的目的是提供一种双目立体视觉系统的软硬件协同设计方法，该方法基于ZYNQ的异构多核处理器通过ARM+FPGA的协同设计使得双目立体视觉系统有较高的实时性和良好的人机交互性。

实现本发明目的的具体技术方案是：

一种双目立体视觉系统的软硬件协同设计方法，该方法包括以下具体步骤：

步骤1：以ZYNQ的异构多核处理器为基础，将双目立体视觉系统进行功能模块化，分为图像数据采集模块、相机标定模块、立体校正模块、立体匹配模块及三维场景应用模块；

步骤2：按照模块的功能进行系统软硬件划分；从各个模块中算法的复杂度和逻辑控制出发，将图像数据采集模块、数据存储以及软硬件之间的逻辑控制划分到由ARM实现的软件端；将立体校正和立体匹配划分到由FPGA实现的硬件端；相机标定离线进行，不参与软硬件划分；

步骤3：通过ARM端的指令集控制和驱动程序将图像采集的数据通过数据交互方式传送到FPGA端，FPGA端将数据经由立体校正和立体匹配处理，然后将处理好的数据通过同样的数据交互方式回传给ARM端；

步骤4：将FPGA端处理好的数据在ARM端进行图像的实时显示，并在ARM端进行系统控制交互工作；从而实现双目立体视觉系统软硬件协同的设计。

步骤2所述ARM端，简称为PS端，使用Linux系统和V4L2视频驱动接口进行USB免驱双目摄像头的图像数据采集，并设计对应的图形用户界面（GUI），通过Button和Label控件进行系统控制以及图像的实时显示；所述FPGA端，简称为PL端，采用Vivado开发工具和Verilog语言设计出FPGA所用的Bouguet立体校正算法和AD census立体匹配算法的IP核以及对应的交互接口。

步骤3所述数据交互方式是指通过AXI（Advanced extensible Interface）总线为PL端与PS端设计数据控制接口和数据传输接口进行数据交互；在ZYNQ的异构多核处理器中，PL端和PS端通过自定义寄存器来设计控制接口，并采用内存映射方式完成物理地址到虚拟地址的一一映射；通过系统的AXI_HP（High Performance AXI）接口和系统的Videofor Linux 2 (V4L2) 驱动接口分别来设计PL端和PS端的数据传输接口。

所述PL端和PS端由系统的AXI_GP（General Port AXI）接口通过PS端的处理器的指令配置PL端的IP核中寄存器的值进行控制接口的信号交互；在信号的准确交互之后，通过数据传输接口和PL端自定义的FIFO数据缓存器来控制图像数据在软硬件之间以及硬件IP核之间的快速数据传输。

本发明有益效果：该发明通过ARM和FPGA的软硬件协同设计，对双目立体视觉系统中相应的算法和流程进行了优化和实现，使得该系统比起现存在的系统有更高的实时性和人机交互性。

附图说明

图1为实施本发明的系统流程图；

图2为本发明的软硬件协同划分结果图；

图3为本发明的软硬件数据交互架构框图；

图4为实施本发明系统的整体结构框图；

图5为实施本发明系统中的硬件部分设计的架构框图；

图6为实施本发明系统中的软件部分设计的架构框图。

具体实施方式

以下结合附图及实施例，对本发明做详细说明。

本发明提出的软硬件协同设计方法分别从软硬件划分、软硬件的数据交互、模块的算法和控制逻辑的实现三个方面来解决ZYNQ平台ARM+FPGA协同设计的难点，并且搭建完整的双目立体视觉系统。

实施例

实施本发明的具体步骤包括：

第一，将系统功能模块化。通过对双目立体视觉系统应用特点进行分析将其系统过程进行功能模块化。主要包括相机图像采集、相机标定、立体校正、立体匹配、三维场景应用等模块化过程，如图1所示。相机数据采集模块是系统的数据来源，为后续的处理模块提供数据基础。相机标定模块要获得相机的内部参数、外部参数和畸变参数，为立体校正模块和后续的三维场景恢复打下基础。同一款相机的标定参数是固定的，因此可进行离线标定将参数值写入实时系统中。为了使系统达到最佳效果本发明采用简单而又成熟的张氏标定板标定法的算法并利用MATLAB标定工具箱进行离线相机标定，采用Bouguet的立体校正算法并通过OpenCV库的有关函数对其加以编码实现，采用AD census算法在系统上实现立体匹配。

第二，对系统进行软硬件划分。如图2所示是本发明的软硬件划分结果，本发明从系统的性能需求、实现代价、可修改性和计算性质四个方面综合考虑，对每一个模块进行软硬件划分。因为相机标定模块可以离线操作，故不参与系统的软硬件划分。在系统中，立体校正和立体匹配都需要对图像帧的所有像素点进行数学运算处理，计算量大，复杂高；故本发明采用FPGA端对其进行加速实现，使系统能够实时处理图像数据。相机数据采集和存储控制以及图像显示需要很多的逻辑交互控制，并且算法的复杂度在普通处理器的承受范围内；故将它们采用ARM端的简单指令集实现。这样的软硬件划分协作能使系统有高处理性，高性能，低代价，低功耗的特性。

第三，高效的完成软硬件的数据交互。系统通过设计软硬件接口来完成软硬件的数据交互。如图3所示为本发明的软硬件数据交互架构框图。在ZYNQ平台中通过AXI总线进行PL端和PS端之间的信息交互，本发明为PL端和PS端设计数据控制接口和数据传输接口进行数据交互。在PL端和PS端通过自定义寄存器来设计控制接口，自定义寄存器经过AXI4_Lite总线有相应的映射地址。PL端和PS端可以由系统的AXI_GP口通过映射地址分别访问对方的寄存器，然后通过读写寄存器产生交互信号以达到控制接口的交互设计。数据传输接口在PL端由系统的AXI_HP口完成，在PS端由系统的Video for Linux 2（V4L2）驱动接口完成。

当PS端将采集到的数据从DDR3（Double Data Rate 3）内存发送给PL端的算法处理模块时，PS端的控制接口要先通过PL端的控制接口访问PL端算法处理模块是否可以接收数据，即图3中①过程所示。当请求到PL端的可接收数据信号后，PS端要使能发送信号到PL端，当PL端收到信号后要给一个应答信号，即图3中的②和③过程所示。经过短暂的延时等待信号交互完成后，PL端开始通过数据接口接收PS端的数据传输。②和③过程的存在意义就是使得系统能够正确的完成同一路数据的控制和传输。否则的话，就会导致系统在交互的过程中数据丢失或者接收到了上一路的数据从而产生数据错误。当PL端将处理好的数据传输送回到PS端时，PS端的控制接口首先要开辟缓存区并使能存放信号，然后PL端的控制接口访问PS端的控制接口，即图3中的④过程所示。当得到可存放信号后就开始通过数据接口进行数据传输。PS端将接收到的数据存放到DDR3中。由于PL端的架构是在接收到数据的同时就进行处理，并对处理好的数据传输。对同一路数据的接收和处理是并行且连续的，所以在控制接口交互中不需要②和③这样的控制信号处理过程。如此就高效的完成系统的软硬件数据交互控制。

第四，结合算法和控制逻辑的实现完成系统的搭建。对系统模块化的功能过程进行具体实现，硬件端设计复杂模块算法的IP核和IP核之间的数据流控制，软件端完成数据的控制逻辑，如数据的获取，存储和传输等。从而搭建起整个系统架构。

基于ZYNQ设计出如图4所示的是实施本发明系统的整体结构框图。系统主要包括ZYNQ、USB免驱双目相机和HDMI显示器，以及一台普通的PC机做辅助处理。

在ZYNQ中PL端包括Xilinx官方的IP核AXI VDMA（AXI Video Direct MemoryAccess），它包括两个功能：第一，通过AXI高性能接口将PS端采集到的图像数据传送到PL端并生成相应的控制信号来完成数据控制和交互。第二，通过AXI高性能接口将PL端处理后的图像数据传送到PS端并生成相应的控制信号来完成数据控制和交互。此外，PL端还应有立体校正和立体匹配等自定义IP核。在ZYNQ中PS端需要进行多任务管理以及数据的存储控制。需完成数据图像采集，图像数据在软硬件之间的交互和图像数据在ZYNQ硬件板和上位机之间的传输。除此之外，系统架构还包括DDR3内存通过PS端的DDR3控制器进行数据的存储，HDMI显示器来进行实时图像显示和PS端的相关控制操作。通过RS232接口的串口调试助手来调试整个系统。

下面将详细说明系统中的PL端的逻辑设计和PS端的程序设计。

PL端的逻辑设计需要完成协同设计方法中的数据处理算法的实现，并且完成硬件端数据流的控制和流向，如图5所示是实施本发明系统中的硬件部分设计的架构框图。PL端的架构包括算法处理加速通道和实时显示通道，在算法处理加速通道中，立体校正IP通过相关寄存器的定义使得PS端可以通过指令配置来读写寄存器的值，进而达到数据交互时控制信号的交流。正确交流之后，DDR3内存中的双目图像数据分别经过VDMA1和VDMA2的M_AXI_MM2S接口和AXI_HP口将内存映射数据转化成流数据，然后通过M_AXIS_MM2S将数据传递给自定义的数据转换IP核，其将流数据转化成视频数据，最后传送到立体校正和立体匹配的算法IP核。由于在立体校正时，需要离线标定以及图像分辨率等参数，因此与VDMA1相连的数据转换IP核中需要有相应寄存器配置的功能。当立体匹配IP处理好数据后通过数据转换IP核将视频格式数据转化成流格式的数据，然后通过VDMA1的S_AXIS_S2MM接口送给VDMA1，再由VDMA1将流数据转化成内存映射数据通过M_AXI_S2MM接口和AXI_HP口送至DDR3内存。而校正算法IP可将校正后的双目左图以同样的处理过程通过与VDMA2相连的数据转换IP和VDMA2送至DDR3内存中。在实时显示通道中，以算法处理加速通道中相同的数据处理方式，DDR3内存中的图像数据可通过VDMA3和与其相连的数据转换IP将数据送至HDMI控制器，并通过显示器进行实时显示。

在PL端的数据传输中，由于DDR3控制器的带宽限制，在DDR3内存中的双目图像数据有间断性，因此数据在VDMA中转化成流格式数据时是不连续的。为了能够在不同IP核之间正确且高效地进行数据传输，需要在IP核之间的数据传输中采用FIFO做数据缓存。FIFO是一种先进先出的数据缓存器，主要用于不同时钟域之间的数据传输。通过FIFO控制图像数据的整行传输，这样可以高效的进行数据的行间断传递。它减少了数据中断次数的产生从而快速地进行数据的传输和处理，而且FIFO缓存可以有效地避免数据处理错误和数据丢失未处理的问题。

PS端的软件的设计是为了更好地实现协同设计方法中描述的程序逻辑控制，使得用户可以通过一些简单的操作来控制整个系统的执行。在体系结构中的软件划分中PS主要被细化成如下几个部分：系统的初始化、图像采集线程、数据交互线程、数据显示线程以及UDP传输处理线程。为了能够使得各个线程之间能够快速通信，在系统中使用通过内存映射实现的共享内存来完成各个线程之间的资源共享，这样提高了系统的执行速度，如图6所示是实施本发明系统中的软件部分设计的架构框图。

1）系统初始化：该部分主要是在开始执行各个线程之前完成一些系统配置，首先是离线标定的相机参数的配置，它通过在软件编码中使用内存映射机制配置PL端的寄存器并写入到PL端的数据转换IP核的寄存器配置中。其次，由于PL端的接口（比如USB采集接口，数据输入和输出接口）都在系统中做成video设备，在PS端通过V4L2视频采集驱动接口以及直接传输视频驱动接口可以对Video设备进行控制，从而控制PL端的接口中数据的传输；因此初始化过程中要有Video设备的相关配置等操作，最后，对于UDP传输处理线程需要socket定义和绑定。

2）图像数据采集线程：该线程主要完成双目图像的快速采集。通过V4L2视频采集驱动接口命令VIDIOC_QBUF抓取帧数据放到已经映射到用户空间的缓存区队列中，然后通过V4L2驱动接口命令VIDIOC_DQBUF不断的从队列中取出帧数据，这样两个匹配的V4L2驱动接口命令循环操作就完成了图像数据的实时采集。

3）图像数据交互线程：该线程分为两部分数据的发送子线程和数据的接收子线程。在两个子线程中，软件编码使用内存映射直接配置PL端的寄存器作为数据控制的标志信号来完成数据交互的控制。在数据发送子线程中软件编码中通过V4L2驱动接口命令VIDIOC_DQBUF将数据从DDR3缓存区取出给VDMA中，然后通过命令VIDIOC_QBUF清空缓存区以方便下一帧数据的存放，以同样的原理，在数据接收子线程中软件编码命令VIDIOC_DQBUF通过AXI_HP接口和VDMA将接收到的数据主动写入DDR3缓存区中，然后通过命令VIDIOC_QBUF清空缓存区以方便下一帧数据的继续写入该缓存区中。

4）显示控制线程：该线程主要完成一些图像数据的实时显示，并且通过一些按钮来控制系统的执行以达到人机交互的效果。通过软件编码来设计GUI的显示区和按钮控制区。图像数据在编码中直接从DDR3缓存区中取出数据进行显示。按钮操作主要包括系统初始化时相关寄存器值的配置，采集线程和数据交互线程的启动和结束控制等。

5）UDP传输处理线程：该线程主要是通过以太网口将系统处理的相关图像数据快速传输到PC上，为后期三维场景应用技术做数据基础。由于要保证系统的实时性，所以采用了较简单适合视频传输的UDP协议。值得注意的是，由于在以太网中最大传输单元（MTU）最多为1500Bytes，所以对于一帧图像数据要进行分包传送和组包接收。

在系统的执行结束之前，为保证系统的安全性，程序编码需要对系统初始化中的一些资源进行释放操作，如关闭socket和设备视频流，关闭Video设备等操作。如此系统PS端有一个完整的封装和结构化体系。

本发明提出了对于双目立体视觉系统的一种软硬件协同设计的方法。首先对系统功能进行模块化，并结合软硬件的各自优势来进行系统模块的软硬件划分，然后采用高效的软硬件数据交互控制方法使系统有最佳的性能，从而保证了双目立体视觉系统在实时性和交互性上的需求，克服了上述双目立体视觉系统在自动驾驶和高级辅助驾驶系统等应用领域中由于算法复杂度和硬件资源限制等因素导致的系统实时性、交互性差的缺点。最后结合双目立体视觉的算法和相关控制逻辑完成了系统的软硬件协同设计。

Claims

1.一种双目立体视觉系统的软硬件协同设计方法，其特征在于，该方法包括以下具体步骤：

2.根据权利要求1所述的软硬件协同设计方法，其特征在于，步骤2所述ARM端，简称为PS端，使用Linux系统和V4L2视频驱动接口进行USB免驱双目摄像头的图像数据采集，并设计对应的图形用户界面，通过Button和Label控件进行系统控制以及图像的实时显示；所述FPGA端，简称为PL端，采用Vivado开发工具和Verilog语言设计出FPGA所用的Bouguet立体校正算法和AD census立体匹配算法的IP核以及对应的交互接口。

3.根据权利要求1所述的软硬件协同设计方法，其特征在于，步骤3所述数据交互方式是指通过AXI总线为PL端与PS端设计数据控制接口和数据传输接口进行数据交互；在ZYNQ的异构多核处理器中，PL端和PS端通过自定义寄存器来设计控制接口，并采用内存映射方式完成物理地址到虚拟地址的一一映射；通过系统的AXI_HP接口和系统的Video forLinux 2驱动接口分别来设计PL端和PS端的数据传输接口。

4.根据权利要求3所述的软硬件协同设计方法，其特征在于，所述PL端和PS端由系统的AXI_GP接口通过PS端的处理器的指令配置PL端的IP核中寄存器的值进行控制接口的信号交互；在信号的准确交互之后，通过数据传输接口和PL端自定义的FIFO数据缓存器来控制图像数据在软硬件之间以及硬件IP核之间的快速数据传输。