CN103335611A - 基于gpu的物体三维面形测量方法 - Google Patents

Abstract

本发明公开了一种基于GPU的物体三维面形测量方法，属于物体三维测量技术领域。该方法具体为：投影仪投射结构光栅到被测物体表面，同时使用两个相机连续拍摄被测物体表面得到两组图像序列，将两组图像序列保存到计算机内存中；GPU并行地完成图像的畸变校正、解相、对应点匹配和三维重构；GPU将三维重构得到的物体三维坐标点传送给计算机内存；重复执行上述步骤，直到测量结束，释放GPU的存储空间。本发明利用GPU的众多核心实现了线程级别的并行计算，极大地提高了数据的处理速度，能满足动态物体三维测量的实时性要求。

Description

基于GPU的物体三维面形测量方法

技术领域

本发明涉及物体三维测量技术领域，具体涉及一种基于GPU（图形处理器，Graphic Processing Unit）的物体三维面形测量方法，尤其适用于动态物体的三维面形测量。

背景技术

光学三维测量是通过运用适当的光学和电子仪器非接触地获取被测物体外部形貌的方法和技术。在生产中，采用三维面形测量技术不仅能够充分利用现有的设计制造成果，提高设计速度、缩短开发周期；还可精确检测产品精度、提高产品质量。在现今的三维测量领域，结构光三维动态测量技术可以做到主动选择测量方法，并最大限度地提高测量精度和整个测量过程的速度，这些优点使面结构光三维测量技术具有实现动态过程三维面形测量的潜力。

在要求高精度、高时间分辨率、高空间分辨率、高稳定性的动态物体三维测量系统中，由于在全空间分辨率的三维测量要求每个像素都需要按照相位解相、对应点匹配和三维重构这三个过程进行运算，因此，需要处理的图像的数据量急剧的增加，大数据量的密集计算成为制约动态物体的三维测量的瓶颈。目前三维重构算法已经非常成熟，但该算法的实现大都基于传统CPU计算模式，且需使用最小二乘方法进行计算，因此运算速度较慢。美国爱荷华州立大学的Song Zhang和瑞士联邦理工大学的Weise虽然在算法实施中利用了GPU的并行计算能力，提高了测量效率，但这种方法只能优化跟三维图形处理类似的算法（具体包括：相位主值计算和三维重建），对相位展开等复杂算法，仍然只有在CPU上采用逐像素串行计算的方法运行。这种传统的CPU+GPU的混合架构模式，需要多次访问Global存储器和需要在GPU和CPU之间多次进行数据的传输，受存储器及总线带宽限制，运行效率提升仍然非常有限。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于GPU的物体三维轮廓测量方法，其目的在于，极大提高了数据处理的速度，满足动态物体三维轮廓测量的实时性要求。

基于GPU的物体三维面形测量方法，包括以下步骤：

（1）投影仪投射结构光栅到被测物体表面，同时使用两个相机连续拍摄被测物体表面得到两组图像序列，将两组图像序列保存到计算机内存中；

（2）GPU创建六个GPU流，利用这六个GPU流同时从两组图像序列中一一对应分别读取三张连续图像；在每个GPU流下，为其对应读取图像的每个像素点分配一个线程并行执行像素点畸变校正，从而并行地完成六张图像的畸变校正；

（3）对于经过畸变校正后的每一组三张连续图像，GPU为每一个像素点分配一个线程计算其对应的相位值I₁、I₂、I₃分别为该像素点在第一张、第二张和第三张图像的灰度值；

（4）令其中一组三张连续图像的像素点为源匹配点，GPU为每一个源匹配点分配一个线程，并行地在另一组三张连续图像中寻找满足关系式 $\left\{\begin{array}{c}\mathrm{sp}=\mathrm{MR}\\ l^{\′}{M}^{\′}R=0\\ s^{\′\′}{p}^{\′\′}=M^{\′\′}R\end{array}\right.$ 的候选对应像素点；计算每个候选对应像素点的混合相容值

从中选出最小混合相容值对应的候选对应像素点即为最终的对应像素点；

其中，s和s″为比例因子，R、p和p″分别是被测物体三维点、源匹配点和候选对应像素点的齐次坐标，

k＝1,2,…,f，f为结构光栅数，w为投影仪图像的像素宽度，π为圆周率，M，M′，M″分别为第一相机、投影仪和第二相机的投影矩阵，和φ₁分别是候选对应像素点i和源匹配点的相位值，

和I₁分别是候选对应像素点和源匹配点在各自所属的三张连续图像的灰度均值，权重因子w₁、w₂满足0＜w₁＜1，0＜w₂＜1，w₁+w₂=1；

（5）利用双目视觉原理，GPU依据每一对源匹配点和对应像素点并行地完成物体三维坐标点计算；

（6）GPU将计算得到的物体三维坐标点传送给计算机内存；

（7）重复步骤（2）～（6），直到测量结束，释放GPU的存储空间。

进一步地，所述步骤（3）的具体实现方式为：

预先在CPU建立相位值查找表，相位值查找表的行号表示为f₂-f₃+255，列号表示为2×f₁-f₂-f₃+510，第f₂-f₃+255行第2×f₁-f₂-f₃+510列的元素值为

灰度值f₁、f₂、f₃的取值范围为0～255，并将查找表绑定到GPU的纹理内存中；

对于经过畸变校正后的每一组三张连续图像，GPU为每一个像素点分配一个线程计算其对应的行号=I₂-I₃+255，列号=2*I₁-I₂-I₃+510，根据计算得到的行列号在相位值查找表查找即可确定相位值。

进一步地，所述步骤（3）计算得到的相位值绑定到GPU的纹理内存。本发明的有益技术效果体现在：

本发明利用GPU的众多核心实现了线程级别的并行计算，在数据从CPU传到GPU和进行图像校正时，实现了图像间任务级的并行和每张图像的每个像素间线程级的并行，双重并行提高了数据传输、图像校正、相位解相、对应点匹配和三维重构的运算效率，满足动态物体三维测量的需要。

在对应点查找时，采用基于相移和三视张量的对应点查找方法，该方法采用三视张量约束结合相对相位值一致性原则，进行相位展开。此方法的最大特点是每个像素的相位展开可独立完成，不依赖图像中其它像素的信息，因此能够实现表面不连续物体的相位展开。在多视相移的框架下，仅需要6幅图像即可完成重构过程，数据量远低于一般的9张、12张，因此效率提高很多。

进一步地，在相位解相过程中采用查找表法，此方法仅需在主机上计算一次后拷贝到设备端，成倍提高解相的运算效率。

进一步地，采用访问延迟低的常量内存、纹理内存等代替访问延迟高的全局内存，提高了GPU的访问速度。

附图说明

图1为本发明方法流程图；

图2为本发明实施例流程示意图；

图3为三视张量的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本技术思路是：三维测量系统中的投影仪投射结构光栅到被测物体表面，相机连续拍摄图像，将图像保存到计算机内存中，GPU并行提取图像和图像数据的处理，主要包括图像校正、相位解相、对应点匹配和三维重构，具体过程为：

（1）投影仪投射结构光栅到被测物体表面，同时使用两个相机连续拍摄被测物体表面得到两组图像序列，将两组图像序列保存到计算机内存中。

（2）GPU从计算机内存并行读取图像，并对图像并行执行畸变校正。

由于相机拍摄的原始图像存在畸变无法用于计算，因此首先需要对其校正。现有的方式一般是逐一对每张图像的像素进行循环校正，耗时长。为解决该问题，本发明提出一种并行校正方式，创建六个GPU流(类似于CPU多线程程序中的任务并行性—Task Parallelism)，采用其中三个GPU流从第一组图像序列中分别读取三张连续图像，同时另外三个GPU流从第二组图像序列中分别读取对应的三张连续图像；在每个GPU流下，为其对应读取图像的每个像素点分配一个线程以并行执行像素点畸变校正，从而并行地完成六张图像的畸变校正。像素点畸变校正推荐采用双线性插值法。

（3）GPU对经过畸变校正的图像并行解相。

对于每一组连续的三张图像，计算其对应的同一像素点的相位值I₁、I₂、I₃分别为该像素点在第一张、第二张和第三张图像的像素值。同样地，也是为每个像素点分配一个线程，并行地完成解相。

为了提高速度，可通过查表法，即提前在CPU建立相位值查找表，具体为：相位值查找表的行号表示为f₂-f₃+255，列号表示为2×f₁-f₂-f₃+510，第f₂-f₃+255行第2×f₁-f₂-f₃+510列的元素值为

灰度值f₁、f₂、f₃的取值范围为0～255，则分子取值-255～255，分母取值-510～510，则可建立一个大小为1021*511的查找表，并将查找表中的数据绑定到显卡的访问延迟较低的纹理内存中。由于已经计算出相位值存储于查找表中，则计算每个像素点的相位值时，只需要计算出该像素点的行列号在查找表中查找即可，像素点的行号=I₂-I₃+255，列号=2*I₁-I₂-I₃+510。

（4）GPU并行完成对应点匹配。

（41）寻找候选对应像素点。

三视张量是三视几何的数学表达，它对三幅图像上的同名点、同名线都存在严格的约束关系。其在三视图中的作用和两视图中的基本矩阵相似，它积累了三个独立视图之间的所有几何关系。

原理如图3所示，R为被测物体上的点，R在第一组图像的像素点为源匹配点p，R在第二组图像的像素点为源匹配点p的对应像素点p″。L为点R所在的空间直线，L在投影仪平面103上的投影直线为l′。令第一相机、投影仪和第二相机的投影矩阵为M，M′，M″。根据小孔成像模型，p和p″满足如下关系：

$\left\{\begin{array}{c}\mathrm{sp}=\mathrm{MR}\\ l^{\′}{M}^{\′}R=0\\ s^{\′\′}{p}^{\′\′}=M^{\′\′}R\end{array}\right.,---\left(1\right)$

式中，s和s″为比例因子，R、p和p″分别是被测物体三维点、源匹配点和候选对应像素点的齐次坐标。由该式可知，只要已知对应组p，l′，p″中的两个数量，便可以计算出剩余一个数量。由于p已知，故只要算出l′，即可算出p对应的p″，k＝1,2,…,f，

$l_k^{\′}=({\mathrm{\φ}}_1+2\mathrm{\π}(k-1))/\left(2\mathrm{\πf}\right)\×(w-1),k=\mathrm{1,2,3},...,f---\left(2\right)$

其中，w是投影仪图像的像素宽度（即图片在横向上划分的像素点的数量），φ₁为源匹配点p的相位值。k表示存在f条相应垂直线（由于计算出的相位值在整个测量空间中不唯一，故有多条垂线）。因此，若频率为f，即测量空间内有f条光栅，则能确定出f条有相同相位值

的对应垂直线l′。针对每一条垂线l′，又可算出一个对应像素点，所以总共将计算出f个候选对应像素点。

（42）利用混合一致性检查进行对应点的最后筛选。

计算每个候选对应像素点的混合相容值

从中选出最小混合相容值对应的候选对应像素点即为最终的对应像素点；

其中，Dⁱ表示第i个对应点的混合值，

和φ₁分别是对应点和源匹配点的相位值，

和I₁分别是候选对应像素点和源匹配点在各自所属的三张连续图像的灰度均值；

和

为归一化的相位差值和灰度差值；两个差值成分的权重因子w₁、w₂满足0＜w₁＜1，0＜w₂＜1，w₁+w₂=1。

（5）利用双目视觉原理，GPU依据每一对源匹配点和对应像素点并行地完成物体三维坐标点计算。具体为：根据每一对源匹配点和对应像素点列出方程组（式（1）），根据预先标定的相机参数，采用双目立体视觉原理进行三维重构。

（6）GPU将计算得到的物体三维坐标点传送给计算机内存；

（7）重复步骤（2）～（6），直到测量结束，释放GPU的存储空间。

实施例：

本实施例是在英伟达公司CUDA平台下进行的，CUDA程序由两部分组成：主机端（Host）和设备端（显卡）。参见图2，一个CUDA程序通常依次包含以下几个步骤：（1）初始化输入数据；（2）为设备端数据分配显存；（3）将主机端内存的数据传送到已分配空间的显存中；（4）调用核函数进行计算；（5）将计算结果从设备端显存拷贝回主机端内存中；（5）回收资源，完成计算。

由于每个线程分配的寄存器的数目和kernel函数开出的线程块的数目成反比，而每个线程被分配到的寄存器数量又决定了线程的运算速度。当需要的寄存器数量较大时(主要在图像匹配部分)，寄存器数量的不足就限制了速度的提升，因此合理地分配寄存器也成为优化的重点。在此事实上，本实施例根据本实验设备NVidia GTX560Ti的显卡参数，经过多次测试，得出校正最佳组合为3072*256，其他部分最佳组合为6144*128(线程块数量*每个线程块内线程数量)。

对图像进行校正，该过程采用流和cudaMemcpyAsync函数结合使用的方式，将原先按序排队的数据传输方式改为隐式的并行流传输。而后，并行的进行图像校正，并将校正后的图像数据绑定到设备端（Device）访问延迟较低的纹理内存。调用cudaThreadSynchronize()函数进行同步，确保图像校正完毕。采用流和cudaMemcpyAsync函数结合使用的方式，对6张图像隐式的并行流传输和并行校正，提高了图像校正的速度。在测量石膏像的实例中，在GPU上开辟768*1024个线程，每个线程独立负责一个像素点相位的校正，实现了高密集度和高速校正的目的。测试用时1.087ms，大大缩短了图像的校正用时，较CPU串行校正用时的46.321ms相比，加速比达42.614倍。

校正完毕后，无需将数据传回CPU内存，直接调用解相的Kernel函数，在设备端（Device）进行像素点的解相。调用cudaThreadSynchronize()函数进行同步，确保各个像素点均解相完毕，得到各个图像相位值、相位质量值、相位纹理值。并将这些值绑定到设备端（Device）访问延迟较低的纹理内存。在相位解相过程中，用了LUT（查找表）方法，依每点像素值为0～255，先在CPU上建立一个1021*511的查找表，在解相时，GPU并行计算时，每个线程只需由(I2-I3)和(2*I1-I2-I3)来确定索引表的行数和列数直接取出相应的相位值。此方法仅需在主机上计算一次后拷贝到设备端，成倍提高解相的运算效率。在测量石膏像的实例中，该方法实测用时1.468ms，较CPU串行解相用时的62.259ms相比，加速比达42.411倍。

调用包含对应点查找和三维重构的kernel函数，进行对应点的查找和三维重构。对应点查找和三维重构在同一kernel函数内，省去了数据存储，传输的过程。在测量石膏像的实例中，对应点部分的用时由2272ms减少到11.4066ms；而三维重构部分用时由2726ms减少到0.238144ms。

本实施例充分利用了常量内存，纹理内存等访问延迟低的存储器加快访问速度，并且除了将初始数据由主机端传入设备端和将设备端最终的三维数据传回主机端外，计算过程中数据无需在设备端和主机端之间传输，本方法在GPU的众核架构下进行并行计算，极大提高了计算速度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于GPU的物体三维面形测量方法，包括以下步骤：

（1）投影仪投射结构光栅到被测物体表面，同时使用两个相机连续拍摄被测物体表面得到两组图像序列，将两组图像序列保存到计算机内存中；

（2）GPU创建六个GPU流，利用这六个GPU流同时从两组图像序列中一一对应分别读取三张连续图像；在每个GPU流下，为其对应读取图像的每个像素点分配一个线程并行执行像素点畸变校正，从而并行地完成六张图像的畸变校正；

（3）对于经过畸变校正后的每一组三张连续图像，GPU为每一个像素点分配一个线程计算其对应的相位值

I₁、I₂、I₃分别为该像素点在第一张、第二张和第三张图像的灰度值；

（4）令其中一组三张连续图像的像素点为源匹配点，GPU为每一个源匹配点分配一个线程，并行地在另一组三张连续图像中寻找满足关系式 $\left\{\begin{array}{c}\mathrm{sp}=\mathrm{MR}\\ l^{\′}{M}^{\′}R=0\\ s^{\′\′}{p}^{\′\′}=M^{\′\′}R\end{array}\right.$ 的候选对应像素点；计算每个候选对应像素点的混合相容值

从中选出最小混合相容值对应的候选对应像素点即为最终的对应像素点；

其中，s和s″为比例因子，R、p和p″分别是被测物体三维点、源匹配点和候选对应像素点的齐次坐标，

k＝1,2,…,f，f为结构光栅数，w为投影仪图像的像素宽度，π为圆周率，M，M′，M″分别为第一相机、投影仪和第二相机的投影矩阵，

和φ₁分别是候选对应像素点i和源匹配点的相位值，

和I₁分别是候选对应像素点和源匹配点在各自所属的三张连续图像的灰度均值，权重因子w₁、w₂满足0＜w₁＜1，0＜w₂＜1，w₁+w₂=1；

（5）利用双目视觉原理，GPU依据每一对源匹配点和对应像素点并行地完成物体三维坐标点计算；

（6）GPU将计算得到的物体三维坐标点传送给计算机内存；

（7）重复步骤（2）～（6），直到测量结束，释放GPU的存储空间。

2.根据权利要求1所述的基于GPU的物体三维面形测量方法，其特征在于，所述步骤（3）的具体实现方式为：

预先在CPU建立相位值查找表，相位值查找表的行号表示为f₂-f₃+255，列号表示为2×f₁-f₂-f₃+510，第f₂-f₃+255行第2×f₁-f₂-f₃+510列的元素值为

灰度值f₁、f₂、f₃的取值范围为0～255，并将查找表绑定到GPU的纹理内存中；

对于经过畸变校正后的每一组三张连续图像，GPU为每一个像素点分配一个线程计算其对应的行号=I₂-I₃+255，列号=2*I₁-I₂-I₃+510，根据计算得到的行列号在相位值查找表查找即可确定相位值。

3.根据权利要求1或2所述的基于GPU的物体三维面形测量方法，其特征在于，所述步骤（3）计算得到的相位值绑定到GPU的纹理内存。

Images