CN113720271A - 一种基于fpga异构处理的三维测量加速系统 - Google Patents

Abstract

本发明公开了一种基于FPGA异构处理的三维测量加速系统，该系统主要由系统总线互联的FPGA、处理器和存储器三个单元构成，FPGA中包含依次连接的相机接口、图像序列缓存、包裹相位计算、绝对相位计算和直接内存访问模块，以实现多个相同频率条纹图的包裹相位计算、不同频率相位图的逐级解包裹；并通过直接内存访问模块将FPGA处理的图像相位数据传输到处理器可访问的存储器中，从而利用处理器实现待测物体表面点云的计算。本发明基于片上系统或板卡系统实现，实现方式灵活；异构处理的方式提高了各模块的计算资源效率，从而有效减少了FPGA资源的使用，并且保证了三维测量的精度。

Description

一种基于FPGA异构处理的三维测量加速系统

技术领域

本发明属于机器视觉测量领域，涉及一种基于FPGA异构处理的三维测量加速系统。

背景技术

三维测量技术在移动消费、自动驾驶、逆向工程、工业检测和生物医疗等领域具有重要的价值。条纹投影轮廓术由于其全场测量能力和灵活性被广泛应用于三维测量领域。该技术的基本原理就是利用投影仪投射一定数量的预设模式图，然后从被物体调制的模式图中解算三维信息。然而，由于该方法具有算法复杂、处理数据量大等特点，实时高精度的三维测量一直面临严峻的挑战。

为了解决这个问题，很多学者利用FPGA硬件对上述相移轮廓测量算法进行加速，然而，高效的硬件实现需要使用定点数据和定点算法，这就在一定程度上牺牲了三维测量的精度。当使用较高的数据位数进行定点运算以保证算法精度时，所需要的FPGA资源又会急剧增加。因此，利用纯粹的FPGA平台进行加速，无法满足三维测量的精度要求；另外，仅基于FPGA的加速系统通常对FPGA的性能要求较高，从而导致成本增加。

发明内容

针对现有技术中存在的以上问题，本发明提供了一种基于FPGA异构处理的三维测量加速系统，以期通过充分利用各计算平台的优势，在有效降低对FPGA性能和资源要求的基础上，实现三维测量中大量图像数据的高速处理，并提高三维测量的精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于FPGA异构处理的三维测量加速系统的特点在于，由系统总线互联的FPGA单元、处理器单元和存储器单元构成，所述FPGA单元中包含依次连接的相机接口模块、图像序列缓存模块、包裹相位计算模块、绝对相位计算模块和直接内存访问模块；所述处理器单元包括点云计算模块；

所述相机接口模块获取外部相机所采集的M个频率、N个相位的原始图像数据并进行格式转换，得到像素流格式的图像数据后发送给图像序列缓存模块；所述原始图像数据是由投影仪投射到待测物体表面，并经过待测物体表面调制的光栅条纹图像；

所述图像序列缓存模块对所述像素流格式的图像数据中同一频率的光栅条纹图像进行缓存和同步，从而使得各条纹图像相同位置处的像素同时可用；

所述包裹相位计算模块对同步后的相同频率的条纹图像进行包裹相位计算，得到每个频率条纹图像在[0，2π)区间的初始相位值，并计算M个频率的原始图像数据中最高频率的条纹图像的调制度；

所述绝对相位计算模块根据相邻频率的条纹图像之间的相位倍数关系，逐级解出最高频率的条纹图像的相位展开值，并根据所述调制度值对相位展开值进行有效性判定，将调制度大于上限阈值和小于下限阈值的相位展开值进行标记，作为无效相位信息，从而得到最终的绝对相位数据；

所述直接内存访问模块将所述绝对相位数据通过所述系统总线传输到所述存储器单元中；

所述点云计算模块从所述存储器单元中获取绝对相位数据，并根据相机和投影仪的标定参数计算出待测物体表面的三维点云。

本发明所述的三维测量加速系统的特点也在于：

所述包裹相位计算模块是基于查找表结构设计，并设有依次连接的地址模块、查找表模块和区间选择模块；

所述地址模块是根据相移公式中反正切函数的输入值，计算相位查找表的读地址；

所述查找表模块根据所述读地址从相位查找表中提取出相应的相位值；

所述区间选择模块利用三角函数关系式，将所提取的相位值转换到与所述反正切函数的输入值相对应的区间，得到[0，2π)区间的初始相位值。

所述查找表模块中的相位查找表只存储包裹相位计算模块所需的最少相位值，且相位查找表所存储相位的步长和精度根据资源限制和精度要求进行调整。

所述绝对相位计算模块是采用基于循环的结构实现相位的逐级展开；

前一级计算完成的绝对相位图利用缓存等待下一级的包裹相位图并进行同步，然后对同步后的绝对相位图和包裹相位图进行缩放运算以计算当前级的绝对相位图，当前级的绝对相位图再与下一级的包裹相位图进行相同的处理，从而实现相邻频率相位图间的流水线处理。

所述包裹相位计算模块是采用查找表方法，并利用式(1)计算相同频率条纹图像在每个像素(u,v)处的初始相位Φ(u,v)：

式(1)中，x表示相移公式中的余弦调制信号且

y表示相移公式中的正弦调制信号，且

I_n(u,v)表示第n幅不同相位条纹图像在像素(u,v)处的灰度值；Addr表示查找表的读地址，LUT[]表示根据所述读地址提取相应的相位值，并有：

式(2)和式(3)中，α表示存储相位的步长，β表示存储相位的精度，round表示四舍五入取整。

所述点云计算模块采用多项式拟合和三角测量相结合的方法，利用式(4)计算出物体表面测量点的三维坐标(X,Y,Z)，并输出相位信息有效的点云：

式(4)中，c₀～c_p为相机和投影仪系统的p+1个标定系数，φ表示最高频率条纹图像的绝对相位，q为多项式拟合方法的最高次幂，C_x、C_y为相机主点的坐标，f_x、f_y为相机在x、y方向上的焦距。

与现有技术相比，本发明的有益效果在于：

1、本发明中的FPGA和处理器单元构成异构处理架构，可以充分发挥各计算平台的优势，从而提高了相移轮廓测量算法的计算资源效率，并保证了三维测量的精度。

2、本发明利用直接内存访问的方式将FPGA处理的相位数据传输至处理器可访问的存储器，不会对处理器中的程序执行产生干扰，从而提高了整个系统的运行效率。

3、本发明采用乒乓缓存、双端口缓存和循环结构等方式实现了FPGA中所有模块的全流水线执行，并将处理器中的点云计算与FPGA处理重叠，最大程度地提高了系统的吞吐率，并减少了算法处理的延迟。

4、本发明的包裹相位计算模块基于查找表实现，且查找表只存储整个象限中1/8区间的相位值，在有效减少FPGA资源的同时，保证了三维测量的精度。

5、本发明利用多项式拟合和三角测量相结合的方法对三维点云进行计算，在一定程度上提高了三维测量的精度，并大幅减少了所需标定的系统参数。

附图说明

图1为本发明基于FPGA异构处理的三维测量加速系统示意图；

图2为本发明中包裹相位计算模块的查找表方法示意图；

图3为本发明中绝对相位计算模块的循环结构示意图。

具体实施方式

本实施例中的三维测量异构处理加速系统，是基于FPGA构建，实现了图像采集和存储、包裹相位和调制度计算、绝对相位展开和三维点云计算的完整三维测量流程。该异构处理系统基于数据流接口和完全流水线处理的思想设计，满足了多帧重建三维测量算法的高吞吐率数据处理需求，并利用相位查找表和异构处理系统中的浮点数处理器单元保证了三维测量的高精度。

具体的说是，基于FPGA异构处理的三维测量加速系统，如图1所示，由系统总线互联的FPGA单元、处理器单元和存储器单元构成，FPGA单元中包含依次连接的相机接口模块、图像序列缓存模块、包裹相位计算模块、绝对相位计算模块和直接内存访问模块；处理器单元包括点云计算模块。其中，FPGA和处理器为系统中的协作处理单元，存储器单元对相机采集的原始图像数据和FPGA处理的图像相位数据进行临时存储。

优选的，上述异构处理加速系统，作为片上系统实现时，处理器单元采用ARM硬核，互联总线采用AXI总线；作为板卡系统实现时，处理器单元采用CPU，互联总线采用PCIe总线；两种情况下，存储器单元都采用DDR随机访问存储器。

FPGA中的相机接口模块获取外部相机所采集的M个频率、N个相位的原始图像数据并实现相机采集数据格式到FPGA处理图像格式的转换，得到像素流格式的图像数据后发送给图像序列缓存模块；原始图像数据是由投影仪投射到待测物体表面，并经过待测物体表面调制的光栅条纹图像。

图像序列缓存模块对像素流格式的图像数据中同一频率的光栅条纹图像进行缓存和同步，从而使得各条纹图像相同位置处的像素同时可用。本实施例中，图像序列缓存模块基于乒乓缓存形式实现，以支持下一级频率条纹图写入缓存的同时，可以读出当前级频率的条纹图用于包裹相位的计算，从而实现了图像帧级的流水。

包裹相位计算模块对同步后的相同频率的条纹图像进行包裹相位计算，得到每个频率条纹图像在[0，2π)区间的初始相位值，并计算M个频率的原始图像数据中最高频率的条纹图像的调制度。

具体实施中，包裹相位计算模块基于查找表结构设计，并设有依次连接的地址模块、查找表模块和区间选择模块，如图2所示。查找表方法是将与相移公式中反正切函数输入值相对应的相位值存储于FPGA片上存储器中，在包裹相位计算时进行寻址读数的方法。

包裹相位计算模块中的地址模块是根据相移公式中反正切函数的输入值，计算相位查找表的读地址Addr。读地址的计算公式如(1)式所示：

在采用四步相移法时，式(1)中的x＝I₀(u,v)-I₂(u,v)，y＝I₁(u,v)-I₃(u,v)，其中I₀(u,v)、I₁(u,v)、I₂(u,v)、I₃(u,v)分别表示相位为0、

π、

的光栅条纹图像的灰度值。式(1)将x、y中绝对值较小的作为分子，以保证所需查找的相位在[0,π/4)区间。式(1)中的参数α决定存储相位的步长，在本实施例中，取α＝14，从而将[0,π/4)区间分成2¹⁴小份，每一小份对应一个存储的相位。

查找表模块根据读地址从相位查找表中提取出相应的相位值LUT[]，具体的计算公式如(2)式所示：

式(2)中，参数β决定存储相位的精度，round表示四舍五入取整，在FPGA中，本发明以2^β表示π/4。考虑到计算所需的精度和查找表存储所需的资源，在本实施例中，取β＝14，即以2¹⁴表示π/4。

区间选择模块利用三角函数关系式，将所提取的相位值转换到与反正切函数的输入值相对应的区间，得到[0，2π)区间的初始相位值，每个像素(u,v)处的初始相位Φ(u,v)的具体计算公式如(3)式所示：

上述相位查找表只存储包裹相位计算模块所需的最少相位值，且相位查找表所存储相位的步长和精度可根据资源限制和精度要求进行调整，从而最大程度地减少了FPGA资源的使用并保证了三维测量的精度。

绝对相位计算模块根据相邻频率的条纹图像之间的相位倍数关系，逐级解出最高频率的条纹图像的相位展开值，并根据调制度值对相位展开值进行有效性判定，将调制度大于上限阈值和小于一定下限阈值的相位展开值进行标记，并作为无效相位信息，从而得到最终的绝对相位数据。

本实施例中，绝对相位计算模块是采用基于循环的结构实现相位的逐级展开，如图3所示。

前一级计算完成的绝对相位图利用缓存模块进行缓存以等待下一级的包裹相位图，然后同时进入缩放模块中计算当前级的绝对相位图，当前级的绝对相位图再与下一级的包裹相位图进行相同的计算，如此循环，从而实现相邻频率相位图间的流水线处理。缩放模块中与2π的乘除法运算使用移位运算进行了简化。

直接内存访问模块将绝对相位数据通过系统总线传输到存储器单元中，数据传输过程完全由直接内存访问模块掌管，无需处理器参与。

处理器单元中的点云计算模块从存储器单元中获取绝对相位数据，并根据相机和投影仪的标定参数采用浮点数计算出待测物体表面的三维点云。

具体实施中，点云计算模块采用多项式拟合和三角测量相结合的方法，利用式(4)计算出物体表面测量点的三维坐标(X,Y,Z)，并输出相位信息有效的点云。考虑精度和计算效率，本实施例中，采用三次多项式对Z坐标进行拟合。

式(4)中，c₀～c₁₉为相机和投影仪系统的20个标定系数，φ表示最高频率条纹图像的绝对相位，u、v和φ的最高次幂之和为3，C_x、C_y为相机主点的坐标，f_x、f_y为相机在x、y方向上的焦距。

Claims (6)

1.一种基于FPGA异构处理的三维测量加速系统，其特征在于，由系统总线互联的FPGA单元、处理器单元和存储器单元构成，所述FPGA单元中包含依次连接的相机接口模块、图像序列缓存模块、包裹相位计算模块、绝对相位计算模块和直接内存访问模块；所述处理器单元包括点云计算模块；

所述相机接口模块获取外部相机所采集的M个频率、N个相位的原始图像数据并进行格式转换，得到像素流格式的图像数据后发送给图像序列缓存模块；所述原始图像数据是由投影仪投射到待测物体表面，并经过待测物体表面调制的光栅条纹图像；

所述图像序列缓存模块对所述像素流格式的图像数据中同一频率的光栅条纹图像进行缓存和同步，从而使得各条纹图像相同位置处的像素同时可用；

所述包裹相位计算模块对同步后的相同频率的条纹图像进行包裹相位计算，得到每个频率条纹图像在[0，2π)区间的初始相位值，并计算M个频率的原始图像数据中最高频率的条纹图像的调制度；

所述绝对相位计算模块根据相邻频率的条纹图像之间的相位倍数关系，逐级解出最高频率的条纹图像的相位展开值，并根据所述调制度值对相位展开值进行有效性判定，将调制度大于上限阈值和小于下限阈值的相位展开值进行标记，作为无效相位信息，从而得到最终的绝对相位数据；

所述直接内存访问模块将所述绝对相位数据通过所述系统总线传输到所述存储器单元中；

所述点云计算模块从所述存储器单元中获取绝对相位数据，并根据相机和投影仪的标定参数计算出待测物体表面的三维点云。

2.如权利要求1所述的三维测量加速系统，其特征在于，所述包裹相位计算模块是基于查找表结构设计，并设有依次连接的地址模块、查找表模块和区间选择模块；

所述地址模块是根据相移公式中反正切函数的输入值，计算相位查找表的读地址；

所述查找表模块根据所述读地址从相位查找表中提取出相应的相位值；

所述区间选择模块利用三角函数关系式，将所提取的相位值转换到与所述反正切函数的输入值相对应的区间，得到[0，2π)区间的初始相位值。

3.如权利要求2所述的三维测量加速系统，其特征在于，所述查找表模块中的相位查找表只存储包裹相位计算模块所需的最少相位值，且相位查找表所存储相位的步长和精度根据资源限制和精度要求进行调整。

4.如权利要求1所述的三维测量加速系统，其特征在于，所述绝对相位计算模块是采用基于循环的结构实现相位的逐级展开；

前一级计算完成的绝对相位图利用缓存等待下一级的包裹相位图并进行同步，然后对同步后的绝对相位图和包裹相位图进行缩放运算以计算当前级的绝对相位图，当前级的绝对相位图再与下一级的包裹相位图进行相同的处理，从而实现相邻频率相位图间的流水线处理。

5.如权利要求2所述的三维测量加速系统，其特征在于，所述包裹相位计算模块是采用查找表方法，并利用式(1)计算相同频率条纹图像在每个像素(u,v)处的初始相位Φ(u,v)：

式(1)中，x表示相移公式中的余弦调制信号且

y表示相移公式中的正弦调制信号，且

I_n(u,v)表示第n幅不同相位条纹图像在像素(u,v)处的灰度值；Addr表示查找表的读地址，LUT[]表示根据所述读地址提取相应的相位值，并有：

式(2)和式(3)中，α表示存储相位的步长，β表示存储相位的精度，round表示四舍五入取整。

6.如权利要求5所述的三维测量加速系统，其特征在于，所述点云计算模块采用多项式拟合和三角测量相结合的方法，利用式(4)计算出物体表面测量点的三维坐标(X,Y,Z)，并输出相位信息有效的点云：

式(4)中，c₀～c_p为相机和投影仪系统的p+1个标定系数，φ表示最高频率条纹图像的绝对相位，q为多项式拟合方法的最高次幂，C_x、C_y为相机主点的坐标，f_x、f_y为相机在x、y方向上的焦距。

Images