CN101841730A - 一种基于fpga的实时立体视觉实现方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的实时立体视觉实现方法。该实现方法运行于以FPGA为核心处理单元的立体视觉系统，其硬件架构合理，能够满足高速运算和高速传输图像的要求，具备多种通用接口和富余的硬件资源，可以进一步扩展加强。同时基于Census变换的立体匹配算法是一种非参数化的匹配方法，对亮度不均、增益等情况更为鲁棒，提高了系统的精度。本发明在FPGA架构上采用了合理的硬件结构，同时通过巧妙的逻辑设计实现了Census立体匹配方法，提高了立体视觉实现的精度和速度。与传统的基于通用处理器的方法相比，本发明充分利用并行计算及合理的流水线设计，把算法直接映射到结构上，大大提高了系统的运算速度，满足高分辨率、高精度和高速的要求，可以适用于自主车辆导航等领域。

Description

一种基于FPGA的实时立体视觉实现方法

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于FPGA的实时立体视觉实现方法。

背景技术

立体视觉系统的主要任务是获取场景三维信息，在移动机器人、目标跟踪、三维重建等领域得到了广泛应用。在立体视觉系统中，立体匹配是关键核心。一般来说，室外无人车以及月球车等移动机器人所处的场景通常缺乏规则的点、线等特征，并且由于场景的不确定性和光照等因素的影响，特征提取往往不稳定，且只能得到稀疏的视差图，必须经过插值才能得到致密的视差图进而重建场景。因此，实时立体视觉系统中更倾向于采用区域匹配算法。

另外，应用于无人车导航系统的立体视觉还需要满足实时性、鲁棒性等要求。实时性即要求算法运算速度快，能在车辆移动过程中及时获取场景信息，以便车辆做出行进、避障等决策。区域匹配算法通常运算量较大，以N×N大小的灰度图像，相关窗口尺寸为w×w，视差搜索范围D为例，直接计算的复杂度为O(N2w2D)。通过一定的优化技巧虽然可以减小冗余计算，复杂度可降至O(N2D)，但对于通用处理器而言，仍旧无法满足实时性要求，因此需要采用硬件加速技术或设计专用硬件电路。鲁棒性要求主要源于无人车的行驶环境复杂，路面、光照等条件均有较大的不确定性，立体视觉算法在各种条件下都要保持有效。

对于立体匹配实时性的研究，已有大量学者提出了解决方案，其中最著名的NASA火星车使用RAD6000计算机，最高频率为25MHz，完成一次256×256图对的匹配需30s。与指令系统相比，FPGA硬件系统虽然没有通用处理器编程方便，但可以充分利用并行性计算体系结构及合理的流水线设计，把算法直接映射到结构上，大大提高系统的运算速度与精度。因而近年来越来越多的研究选择用FPGA开发实时立体视觉系统。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于FPGA的实时立体视觉实现方法。

基于FPGA的实时立体视觉实现方法包括如下步骤：

1)建立一个以FPGA为运算处理核心的立体视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-Flash ROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；

2)采用FPGA芯片内部集成的多个硬核乘加器，在立体视觉系统工作时，通过下式实时完成多像素并行图像校正处理，

$\hat{I}(u,v)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}A(u_i,v_i)\·I(u_i,v_i)---\left(1\right)$

其中

为校正后图像在(u，v)坐标上的灰度值，I(u_i，v_i)为原始图像上4个相邻像素点的灰度值，A(u_i，v_i)为相应的校正系数；

3)构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流，Census变换公式如下：

$\mathrm{\ξ}(p1,p2)=\left\{\begin{array}{cc}0& p1\≤p2\\ 1& p1>p2\end{array}\right.---\left(2\right)$

$C(x,y)=\underset{i=-n,j=-m}{\overset{i=n,j=m}{\⊗}}\left(\mathrm{\ξ}(I(x,y),I(x+i,y+j))\right)---\left(3\right)$

其中p1、p2为两个不同像素点的灰度值，

表示比特串联，2n+1与2m+1为Census变换窗口的宽与高，2n+1、2m+1均为9；

4)用下式求得两个对应Census变换得到的80比特编码流之间的汉明距离，并以9×9相关窗口内所有像素的汉明距离和作为匹配代价，进行相关匹配，

$\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}\mathrm{Ham}\min g(C_l(x+i,y+j),C_r(x+i+d,y+j))---\left(4\right)$

其中C_i、C_r分别表示左右视图求得的Census变换编码，d表示视差搜索范围，2n+1与2m+1为相关匹配窗口的宽与高，d为64，2n+1、2m+1均为9；

5)采用金字塔结构，将视差搜索范围[0，d-1]内每一个窗口求得的汉明距离和划分为4个一组，在一个时钟周期内求出每一组中的最小值；再将筛选得到的汉明距离和最小值重新分组，在下一个时钟周期进行比较，如此循环对于视差范围d的搜索，只用log₄d个时钟周期就能得到唯一的汉明距离和最小值；，

6)移位寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。

所述的图像校正、Census变换以及Census变换后的80比特编码流为：它们所涉及到的数据在进行下一步运算时均存储于数据缓存模块，对于宽度为N个像素的图像和高度为w的窗口，数据缓存模块采用至少N×(w+1)个数据空间的简单双口RAM，具有一个读数据端口和一个写数据端口，并设读地址指针和写地址指针，数据缓冲模块按列读出，按行写入，通过控制读写地址确保读无读写冲突，当w行内所有窗口操作都完成并且新的一行也写入后，抛弃最早的一行数据。

所述的Census变换为：在窗口滑动时，像素逐个输入后经过串并转换得到一个新窗口列，再将新窗口列数据送入与Census窗口大小相同的移位寄存器组，同时移出寄存器内最早的一列数据，串并转换中移位寄存器数量同窗口高度，输入数据间隔为整幅图像的宽度，窗口移位寄存器组与Census窗口大小相同，抽头间隔同窗口宽度。

所述的相关匹配为：数据延迟、汉明距离计算和最优匹配搜索三个部分，相关匹配选取左视图作为基准，右视图在相应基线上的视差搜索范围内[0，d-1]进行逐一开窗匹配，左图数据延迟d拍；汉明距离计算由匹配单元实现，其数量由视差搜索范围决定，当有新的一列汉明距离生成后对其进行更新，相应的值等于原窗口值减去移出窗口的列汉明距离，再加上新移入窗口的列汉明距离。

所述的左右一致性校验是：通过有规律的缓存输出不同视差的匹配代价，在不造成冗余计算和额外开销的情况下有效降低误匹配率，以左图为基准时，不同视差的匹配代价在连续时钟周期输出，采用二叉树形串行比较结构；以右图为基准时，不同视差的匹配代价在同一时钟周期输出，采用并行比较结构，在一次相关匹配中就可求得两个基准系的视差值，再对左右图基准视差值进行比较，如果相同则为有效视差，否则为无效视差。

本发明实现了一种基于FPGA的实时立体视觉系统，包括硬件结构和模块实现两大部分。该硬件架构合理，能够满足高速运算和高速传输图像的要求，具备多种通用接口和富余的硬件资源，可以进一步扩展加强。同时Census立体匹配是一种非参数化的匹配方法，对亮度不均、增益等情况更为鲁棒，提高了系统的精度。与传统的通用处理器相比，本系统充分利用并行计算及合理的流水线设计，把算法直接映射到结构上，大大提高了系统的运算速度，满足高分辨率、高精度和高速的要求，可以适用于自主车辆导航等领域。

附图说明

图1是基于FPGA的立体视觉系统的硬件结构框图；

图2是基于FPGA的实时立体视觉实现方法的顶层算法框图；

图3是Census变换窗口的更新方法；

图4是数据缓存模块读写示意；

图5是相关匹配结构及左右一致性校验示意图；

图6是相关匹配的最终实现结构框图；

图7(a)是Middlebury标准测试集art图对中的左视图；

图7(b)是Middlebury标准测试集art图对中的右视图；

图8是基于FPGA的实时立体视觉实现方法对art图对的视差求取结果。

具体实施方式

基于FPGA的实时立体视觉实现方法包括如下步骤：

1)建立一个以FPGA为运算处理核心的立体视觉系统，硬件结构如图1所示：系统选择一片Xilinx公司的Virtex-5系列FPGA作为处理核心；立体相机的左右视图通过SERDES接口输入，可以适应任何高速、高清相机的要求；系统包括6块1024K×8比特容量的外部SRAM，可以存储1024×1024的高分辨率图像，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-Flash ROM芯片用于存放系统离线标定得到的校正参数，为了解决Flash芯片在读取速度上的瓶颈问题，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；

2)图2显示了基于FPGA的实时立体视觉实现方法的顶层算法框图。首先采用FPGA芯片内部集成的多个硬核乘加器，在立体视觉系统工作时，通过下式实时完成多像素并行图像校正处理，

$\hat{I}(u,v)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}A(u_i,v_i)\·I(u_i,v_i)---\left(1\right)$

其中

为校正后图像在(u，v)坐标上的灰度值，I(u_i，v_i)为原始图像上4个相邻像素点的灰度值，A(u_i，v_i)为相应的校正系数；

如式1所示，对每一个像素点的校正计算是一个4像素乘累加过程。在Virtex-5系列芯片内部集成了一定数量的硬核乘加器(DSP48E)，每一个硬核乘加器可配置成独立的25×18乘法器兼3输入的48位加法器/减法器。系统的图像校正模块由多个硬核乘加器构成，可实现多像素并行校正处理。

所述的校正系数根据张正友提出的二维模板定标的方法(Zhang，Z.Y.，Flexible Camera Calibration by Viewing a Plane from Unknown Orientations，IEEEICCV，1999(666-673))在离线情况下标定摄像机求得，每一点的校正系数包括4个校正像素的x、y轴坐标和4个插值系数；所有这些参数均存储于实时立体视觉系统的Nand-flash ROM中，在上电初始化的过程中转存入SDRAM中，系统根据需要读出这些参数，实时完成图像校正。

3)构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流，Census变换公式如下：

$\mathrm{\ξ}(p1,p2)=\left\{\begin{array}{cc}0& p1\≤p2\\ 1& p1>p2\end{array}\right.---\left(2\right)$

$C(x,y)=\underset{i=-n,j=-m}{\overset{i=n,j=m}{\⊗}}\left(\mathrm{\ξ}(I(x,y),I(x+i,y+j))\right)---\left(3\right)$

其中p1、p2为两个不同像素点的灰度值，

表示比特串联，2n+1与2m+1为Census变换窗口的宽与高，2n+1、2m+1均为9；

图3示意了Census变换窗口的更新方法。所述的Census变换为：在窗口滑动时，像素逐个输入后经过串并转换得到一个新窗口列，再将新窗口列数据送入与Census窗口大小相同的移位寄存器组，同时移出寄存器内最早的一列数据，串并转换中移位寄存器数量同窗口高度，输入数据间隔为整幅图像的宽度，窗口移位寄存器组与Census窗口大小相同，抽头间隔同窗口宽度。

所述的图像校正、Census变换以及Census变换后的80比特编码流为：它们都涉及窗口操作，某个像素数据在运算处理后仍需要暂存，必须在包含该像素的所有窗口处理都完成后才能抛弃，否则会重复的从外部RAM中读取同一像素数据，大大降低了系统的速度。在本发明中，以上过程中所涉及到的数据均存储于数据缓存模块，对于宽度为N个像素的图像和高度为w的窗口，数据缓存模块采用至少N×(w+1)个数据空间的简单双口RAM，如图4所示，具有一个读数据端口和一个写数据端口，并设读地址指针和写地址指针，数据缓冲模块按列读出，按行写入，通过控制读写地址确保读无读写冲突，当w行内所有窗口操作都完成并且新的一行也写入后，抛弃最早的一行数据。

4)用下式求得两个对应Census变换得到的80比特编码流之间的汉明距离，并以9×9相关窗口内所有像素的汉明距离和作为匹配代价，进行相关匹配，

$\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}\mathrm{Ham}\min g(C_l(x+i,y+j),C_r(x+i+d,y+j))---\left(4\right)$

其中C_i、C_r分别表示左右视图求得的Census变换编码，d表示视差搜索范围，2n+1与2m+1为相关匹配窗口的宽与高，d为64，2n+1、2m+1均为9；

汉明距离即两个比特串中不相同的比特数，可以先对比特串进行异或运算，再计算异或结果中“1”的数目。这些运算都非常适合在FPGA上实现，通过并行和流水等逻辑设计技巧，可以大大提高算法的运算速度。

所述的相关匹配为：数据延迟、汉明距离计算和最优匹配搜索三个部分，相关匹配选取左视图作为基准，右视图在相应基线上的视差搜索范围内[0，d-1]进行逐一开窗匹配，左图数据延迟d拍；汉明距离计算由匹配单元实现，其数量由视差搜索范围决定；对窗口汉明距离和的更新，采用的是滚动窗口的办法，类似于Census变换窗口的更新方法当有新的一列汉明距离生成后对其进行更新，相应的值等于原窗口值减去移出窗口的列汉明距离，再加上新移入窗口的列汉明距离。

5)采用金字塔结构，将视差搜索范围[0，d-1]内每一个窗口求得的汉明距离和划分为4个一组，在一个时钟周期内求出每一组中的最小值；再将筛选得到的汉明距离和最小值重新分组，在下一个时钟周期进行比较，如此循环对于视差范围d的搜索，只用log₄d个时钟周期就能得到唯一的汉明距离和最小值；，

6)移位寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。

图5为相关匹配结构及左右一致性校验示意图。图中以每行前64个像素的匹配过程为例，位于同一竖直方向的像素对表示以右图像素为基准(R-L)的匹配过程，其匹配代价在同一时钟周期输出，如图灰色方框，因而采用并行比较结构；从图中可以发现R-L匹配结构中隐含了以左图像为基准(L-R)的匹配过程，对同一左图像素的匹配结构是沿对角线方向进行的，如图黑色方框，其匹配代价是在连续的时钟周期输出，因而在视差搜索过程中选用串行比较结构。按照这种结构，在一次相关匹配中就可求得两个基准系的视差值，再对左右图基准视差值进行比较，如果相同则为有效视差，否则为无效视差。

图6是相关匹配的最终实现结构框图。所述的左右一致性校验是：通过有规律的缓存输出不同视差的匹配代价，在不造成冗余计算和额外开销的情况下有效降低误匹配率，以左图为基准时，不同视差的匹配代价在连续时钟周期输出，采用二叉树形串行比较结构；以右图为基准时，不同视差的匹配代价在同一时钟周期输出，采用并行比较结构，在一次相关匹配中就可求得两个基准系的视差值，再对左右图基准视差值进行比较，如果相同则为有效视差，否则为无效视差。

实施例

为了满足自主车获取三维数据的实时性和精度要求，目前该立体视觉实现方法采用分辨率为512×512的图像，视差搜索范围为64像素，采用9×9像素大小的Census变换窗口和9×9像素大小的相关匹配窗口；本发明的立体视觉实现方法运行于所述的基于FPGA的实时立体视觉系统之上，在系统时钟为40MHz的情况下，可以达到每秒30帧以上的处理速度，超过了人眼能够分辨的频率，完全可以胜任视差实时求取和自主车的高速导航要求。由于设计采用了结构化的实现方法，在硬件资源富余的条件下具备向更高分辨率图像和更大视差搜索范围升级的潜力。

为了验证本发明的视差处理效果，我们采用Middlebury标准测试集中的art图对对立体视觉实现方法进行测试，图7是Middlebury标准测试集art图对。首先采用FPGA芯片内部集成的多个硬核乘加器，实时完成整幅图像的校正处理；构建一个窗口大小为9×9的寄存器组存储Census窗口内的像素灰度值，通过比较窗口内除了中心外的灰度值与中心的灰度值，得到对应中心点像素的Census变换后的80比特编码流；以9×9相关匹配窗口内所有像素经过Census变换得到的80比特编码流的汉明距离和作为匹配代价，求出64像素视差搜索范围内的64组相关匹配代价；采用金字塔结构求出视差搜索范围[0，63]内唯一的汉明距离和最小值和视差值；最终缓存输出不同视差的匹配代价，合理采用串行比较结构和并行比较结构，实现左右一致性校验，去除误匹配点。图8是基于FPGA的实时立体视觉实现方法对art图对的视差求取结果，可以看出，通过本方法求得的视差图比较准确，去除了大部分误匹配点，能够实时的、精确的反映场景的三维深度信息。

Claims (5)

1.一种基于FPGA的实时立体视觉实现方法，其特征在于包括如下步骤：

1)建立一个以FPGA为运算处理核心的立体视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-Flash ROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；

2)采用FPGA芯片内部集成的多个硬核乘加器，在立体视觉系统工作时，通过下式实时完成多像素并行图像校正处理，

$\hat{I}(u,v)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}A(u_i,v_i)\·I(u_i,v_i)---\left(1\right)$

其中

为校正后图像在(u，v)坐标上的灰度值，I(u_i，v_i)为原始图像上4个相邻像素点的灰度值，A(u_i，v_i)为相应的校正系数；

3)构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流，Census变换公式如下：

$\mathrm{\ξ}(p1,p2)=\left\{\begin{array}{cc}0& p1\≤p2\\ 1& p1>p2\end{array}\right.---\left(2\right)$

$C(x,y)=\underset{i=-n,j=-m}{\overset{i=n,j=m}{\⊗}}\left(\mathrm{\ξ}(I(x,y),I(x+i,y+j))\right)---\left(3\right)$

其中p1、p2为两个不同像素点的灰度值，

表示比特串联，2n+1与2m+1为Census变换窗口的宽与高，2n+1、2m+1均为9；

4)用下式求得两个对应Census变换得到的80比特编码流之间的汉明距离，并以9×9相关窗口内所有像素的汉明距离和作为匹配代价，进行相关匹配，

$\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}\mathrm{Ham}\min g(C_l(x+i,y+j),C_r(x+i+d,y+j))---\left(4\right)$

其中C_l、C_r分别表示左右视图求得的Census变换编码，d表示视差搜索范围，2n+1与2m+1为相关匹配窗口的宽与高，d为64，2n+1、2m+1均为9；

5)采用金字塔结构，将视差搜索范围[0，d-1]内每一个窗口求得的汉明距离和划分为4个一组，在一个时钟周期内求出每一组中的最小值；再将筛选得到的汉明距离和最小值重新分组，在下一个时钟周期进行比较，如此循环对于视差范围d的搜索，只用log₄d个时钟周期就能得到唯一的汉明距离和最小值；，

6)移位寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。

2.根据权利要求1所述的一种基于FPGA的实时立体视觉实现方法，其特征在于所述的图像校正、Census变换以及Census变换后的80比特编码流为：它们所涉及到的数据在进行下一步运算时均存储于数据缓存模块，对于宽度为N个像素的图像和高度为w的窗口，数据缓存模块采用至少N×(w+1)个数据空间的简单双口RAM，具有一个读数据端口和一个写数据端口，并设读地址指针和写地址指针，数据缓冲模块按列读出，按行写入，通过控制读写地址确保读无读写冲突，当w行内所有窗口操作都完成并且新的一行也写入后，抛弃最早的一行数据。

3.根据权利要求1所述的一种基于FPGA的实时立体视觉实现方法，其特征在于所述的Census变换为：在窗口滑动时，像素逐个输入后经过串并转换得到一个新窗口列，再将新窗口列数据送入与Census窗口大小相同的移位寄存器组，同时移出寄存器内最早的一列数据，串并转换中移位寄存器数量同窗口高度，输入数据间隔为整幅图像的宽度，窗口移位寄存器组与Census窗口大小相同，抽头间隔同窗口宽度。

4.根据权利要求1所述的一种基于FPGA的实时立体视觉实现方法，其特征在于所述的相关匹配为：数据延迟、汉明距离计算和最优匹配搜索三个部分，相关匹配选取左视图作为基准，右视图在相应基线上的视差搜索范围内[0，d-1]进行逐一开窗匹配，左图数据延迟d拍；汉明距离计算由匹配单元实现，其数量由视差搜索范围决定，当有新的一列汉明距离生成后对其进行更新，相应的值等于原窗口值减去移出窗口的列汉明距离，再加上新移入窗口的列汉明距离。

5.根据权利要求1所述的一种基于FPGA的实时立体视觉实现方法，其特征在于所述的左右一致性校验是：通过有规律的缓存输出不同视差的匹配代价，在不造成冗余计算和额外开销的情况下有效降低误匹配率，以左图为基准时，不同视差的匹配代价在连续时钟周期输出，采用二叉树形串行比较结构；以右图为基准时，不同视差的匹配代价在同一时钟周期输出，采用并行比较结构，在一次相关匹配中就可求得两个基准系的视差值，再对左右图基准视差值进行比较，如果相同则为有效视差，否则为无效视差。

Images