CN105674916A - 一种硬件智能化的结构光三维扫描系统及方法 - Google Patents

Abstract

本发明公开了一种硬件智能化的结构光三维扫描的方法及系统，包括：控制器：经过无线路由器向投影仪发送控制信号和向照相机发出方式选择命令，对从照相机处接收的数据进行存储以及完成三维重建；无线路由器：将控制器输出的控制信号和方式选择命令分别发送到投影仪和照相机，将照相机输出的数据传到控制器；投影仪：内部设置有用来生成正弦光栅图像的FPGA或DSP，投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；照相机：照相机对变形光栅图像进行实时拍照，根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据。本发明提高了三维扫描效率，有效减少控制器的工作量。

Description

一种硬件智能化的结构光三维扫描系统及方法

技术领域

本发明属于智能化的结构光三维扫描系统领域，特别涉及一种硬件智能化的结构光三维扫描系统及方法。

背景技术

在三维视觉、缺陷检测、三维测量等领域，结构光三维扫描技术发挥着越来越重要的作用。目前，结构光三维扫描技术通过在PC端存储结构光图片并将图片输出到投影仪进行投影，再由PC端控制相机进行拍摄，通过相机传回的变形光栅图像数据进行三维重构，从而计算出被扫描物体的三维信息。

相位测量轮廓术PMP是采用结构光照明的主动三维测量常用技术之一。一个完整的PMP系统包括一个投射结构光的投影仪，一个采集图像的照相机，一个控制照相机和投影机并对采集到的图像进行数据处理的控制器，控制器通常为计算机。具体测量过程为：控制器将需要投影的正弦光栅发送给投影机，投影机投射一组正弦光栅到被测物体表面，一组正弦光栅具有相同的周期，连续的两次投射的光栅之间有一个相移，一组内的每一次相移量是一定的；光栅投影到物体表面后会被物体的表面结构所扭曲，照相机同步采集每次相移后的在物体表面产生形变的光栅图像；采集得到的图像发送给控制器，由控制器根据变形光栅计算物体的相位，再由相位重建物体的三维形貌。

传统的主动三维测量技术所有的编解码过程都在控制器中完成，投影光栅由控制器生成，然后发送给投影机，照相机拍摄图片后又将图片发送给控制器进行处理。

上述技术中，因为所有编解码工作由控制器完成，控制器的性能低下就会导致整个过程效率低下。所有的计算过程由控制器完成，对控制器的性能要求高。数据传输量较大，尤其是在多频PMP中，需要的投影光栅达几十幅，直接传输图片的方式显得过程繁琐，效率低下。

发明内容

本实用新型为解决现有技术中存在的以上问题，提供了一种硬件智能化的结构光三维扫描系统及方法，提高了扫描过程的效率，大幅度减少了控制器输出和输入的数据传输量，有效地降低了对控制器性能的要求，实用性高。

为了实现上述目的，本实用新型采用的技术方案是：

一种硬件智能化的结构光三维扫描系统，包括：

控制器：预设光栅类型，经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的参数；经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机经过无线路由器传向控制器的数据类型；对从照相机处接收的数据进行存储以及完成三维重建；

无线路由器：将控制器输出的光栅类型编号和所预设的光栅类型的参数发送到投影仪，将控制器发出的方式选择命令发送到照相机，将照相机输出的数据传到控制器；

投影仪：内部设置有可编程门阵列FPGA或数字信号处理器DSP，FPGA或DSP生成正弦光栅图像,投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；

照相机：照相机对变形光栅图像进行实时拍照，根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据。

上述方案中，所述控制器设有依次连接的处理控制模块、wifi模块和天线模块。

一种硬件智能化的结构光三维扫描系统实现的方法，包括以下步骤：

步骤1：在控制器上预设光栅类型，控制器经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的相关参数；

步骤2：投影仪中的可编程门阵列FPGA或数字信号处理器DSP生成正弦光栅图像，投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；

步骤3：照相机对变形光栅图像进行实时拍照；

步骤4：控制器经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机传向控制器的数据类型；

步骤5：根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据；

步骤6：控制器对从无线路由器接收到的数据进行存储或者完成三维重建。

上述方案中，所述步骤1中所述的光栅类型包括相位测量轮廓术PMP、二进制和线扫描。

上述方案中，所述步骤2中所述的正弦光栅图像的生成公式为：

$I_n^p=A^p+B^{p}cos(2\mathrm{\π}f\frac{y^p}{H}-\frac{2\mathrm{\π}n}{N})$

其中，n是相移指数，代表第n帧图片，表示第n帧图片的正弦光栅光强，p代表投影仪，A^p和B^p是自定义系数，f表示光栅的空间频率，N表示正弦光栅图像的总数量，也是总的相移数，(x^p,y^p)是投影仪中的坐标，H是正弦光栅图像的高度；

上述方案中，所述步骤4中照相机传向控制器的数据类型包括原始变形光栅图像数据、相位数据和三维数据。

上述方案中，所述步骤5包括以下步骤：

步骤5.1:若选定的数据类型为原始变形光栅图像数据，照相机向控制器传送原始变形光栅图像数据 表示第n帧形变光栅图像的像素点(x^c,y^c)的光强；

若选定的数据类型不为原始变形光栅图像数据，则进入步骤5.2；

步骤5.2:若选定的数据类型为相位数据，照相机向控制器传送经照相机内的FPGA或DSP计算得到的相位数据：

其中，n是相移指数，代表第n帧图片，N表示变形光栅图像的总数量，也是总的相移数，c代表照相机，表示变形光栅图像中像素点(x^c,y^c)的相位值；

若选定的数据类型不为相位数据，则进入步骤5.3；

步骤5.3:若选定的数据类型为三维数据，照相机内的FPGA或DSP先计算相位数据再利用和系统标定得到的参数矩阵M_wc来计算世界坐标系(X^w,Y^w,Z^w)，最后计算平均光强度值A^c和光强调制B^c，照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

上述方案中，所述步骤5.3包括：

步骤5.3.1：系统标定得到的参数矩阵M_wc：

$M_{wc}=\left[\begin{array}{cccc}{m}_{11}^{wc}& m_{12}^{wc}& m_{13}^{wc}& m_{14}^{wc}\\ m_{21}^{wc}& m_{22}^{wc}& m_{23}^{wc}& m_{24}^{wc}\\ m_{31}^{wc}& m_{32}^{wc}& m_{33}^{wc}& m_{34}^{wc}\end{array}\right]$

步骤5.3.2：照相机内的FPGA或DSP计算得到相位数据

步骤5.3.3:照相机内的FPGA或DSP利用和M_wc来计算世界坐标系(X^w,Y^w,Z^w)：

P＝[X^wY^wZ^w]^T＝C^-1D

其中，C、D和P表示矩阵，(x^c,y^c)表示照相机中的坐标；

步骤5.3.4：照相机内的FPGA或DSP计算得到平均光强度值A^c和光强调制B^c：

$A^c=\frac{1}{N}\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c$

$B^c=\frac{2}{N}\sqrt{{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}cos\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2+{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}sin\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2}$

其中，A^c是像素点(x^c,y^c)的平均光强度值，B^c是像素点(x^c,y^c)的光强调制；

步骤5.3.5：照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

上述方案中，所述步骤6中所述三维重建过程需要的数据包括A^c、B^c和(X^w,Y^w,Z^w)。

本发明的有益效果是：

1)本发明的投影仪中设有DSP或FPGA，由投影仪中的DSP或FPGA单元生成正弦光栅，无需控制器生产正弦光栅，减少了控制器的工作量，

2)本发明的控制器只需要向投影仪传输所选光栅类型的参数，可避免控制器向投影仪传输图片的过程，减少控制器与投影仪间的数据传输量，提高工作效率。

3)本发明的照相机中设有DSP或FPGA，由照相机中的DSP或FPGA单元计算相位或直接计算出三维数据，无需控制器进行此类计算，减少了控制器的工作量。

4)本发明的照相机可直接传输相位数据和三维数据给控制器，可避免照相机向控制器传输图片的过程，减少控制器与照相机间的数据传输量，提高工作效率。

5)本发明的照相机有三种数据传回方式，用户可根据自己的使用目的来选择，功能灵活。

6)本发明的照相机可向控制器发送原始图片数据，保留了完整的数据信息，可以提供给相关研究人员用于分析研究测量误差、非线性等。

7)本发明的照相机可向控制器发送相位值，数据量小，可以提供给需要相位值的用户或者对相位感兴趣的相关研究人员。

8)本发明的照相机可向控制器发送三维数据，数据量小，可以直接进行三维重建，提供给直接需要三维重建结果的用户。

9)本发明设有无线路由器，可远程控制该系统运行。

附图说明

图1为本发明中f＝1,N＝4时的正弦光栅图样；

图2为本发明中相位测量轮廓术结构光三维成像系统；

图3为本发明系统流程图；

图4为本发明投影仪部分流程图；

图5为本发明照相机部分流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图1-5详予说明。

一种硬件智能化的结构光三维扫描系统，包括：

控制器：预设光栅类型，经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的参数；经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机经过无线路由器传向控制器的数据类型；对从照相机处接收的数据进行存储以及完成三维重建；控制器设有依次连接的处理控制模块、wifi模块和天线模块；

无线路由器：将控制器输出的光栅类型编号和所预设的光栅类型的参数发送到投影仪，将控制器发出的方式选择命令发送到照相机，将照相机输出的数据传到控制器；

投影仪：内部设置有可编程门阵列FPGA或数字信号处理器DSP，FPGA或DSP生成正弦光栅图像,投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；

照相机：照相机对变形光栅图像进行实时拍照，根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据。

一种硬件智能化的结构光三维扫描系统实现的方法，包括以下步骤：

步骤1：在控制器上预设光栅类型，控制器经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的相关参数；所述的光栅类型包括相位测量轮廓术PMP、二进制和线扫描；若所选光栅类型为PMP,则控制器向投影仪发送的光栅参数为空间频率f和总帧数N。可在控制器上预设固定的光栅参数以供选择，如PMP的频率fset＝{1,2,4,6......},帧数Nset＝{3,6,8,10......}，其中，N必须大于等于3，N、f都为整数；用户自由选择设定好的参数以免设置出不合理的参数，另外用户也可以自己设置光栅参数。

步骤2：投影仪中的可编程门阵列FPGA或数字信号处理器DSP生成正弦光栅图像，投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；所述的正弦光栅图像的生成公式为：

$I_n^p=A^p+B^{p}cos(2\mathrm{\π}f\frac{y^p}{H}-\frac{2\mathrm{\π}n}{N})$

其中，n是相移指数，代表第n帧图片，表示第n帧图片的正弦光栅光强，p代表投影仪，A^p和B^p是自定义系数，通常均取为定值127.5，f表示光栅的空间频率，N表示正弦光栅图像的总数量，也是总的相移数，(x^p,y^p)是投影仪中的坐标，H是正弦光栅图像的高度；

步骤3：照相机对变形光栅图像进行实时拍照；

步骤4：控制器经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机传向控制器的数据类型；照相机传向控制器的数据类型包括原始变形光栅图像数据、相位数据和三维数据。

步骤5：根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据；包括以下步骤：

步骤5.1:若选定的数据类型为原始变形光栅图像数据，照相机向控制器传送原始变形光栅图像数据 表示第n帧形变光栅图像的像素点(x^c,y^c)的光强；

若选定的数据类型不为原始变形光栅图像数据，则进入步骤5.2；

步骤5.2:若选定的数据类型为相位数据，照相机向控制器传送经照相机内的FPGA或DSP计算得到的相位数据：

其中，n是相移指数，代表第n帧图片，N表示变形光栅图像的总数量，也是总的相移数，c代表照相机，表示变形光栅图像中像素点(x^c,y^c)的相位值；

若选定的数据类型不为相位数据，则进入步骤5.3；

步骤5.3:若选定的数据类型为三维数据，照相机内的FPGA或DSP先计算相位数据再利用和系统标定得到的参数矩阵M_wc来计算世界坐标系(X^w,Y^w,Z^w)，最后计算平均光强度值A^c和光强调制B^c，照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

步骤5.3.1：系统标定得到的参数矩阵M_wc：

$M_{wc}=\left[\begin{array}{cccc}{m}_{11}^{wc}& m_{12}^{wc}& m_{13}^{wc}& m_{14}^{wc}\\ m_{21}^{wc}& m_{22}^{wc}& m_{23}^{wc}& m_{24}^{wc}\\ m_{31}^{wc}& m_{32}^{wc}& m_{33}^{wc}& m_{34}^{wc}\end{array}\right]$

步骤5.3.2：照相机内的FPGA或DSP计算得到相位数据

步骤5.3.3:照相机内的FPGA或DSP利用和M_wc来计算世界坐标系(X^w,Y^w,Z^w)：

P＝[X^wY^wZ^w]^T＝C^-1D

其中，C、D和P表示矩阵，(x^c,y^c)表示照相机中的坐标；

步骤5.3.4：照相机内的FPGA或DSP计算得到平均光强度值A^c和光强调制B^c：

$A^c=\frac{1}{N}\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c$

$B^c=\frac{2}{N}\sqrt{{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}cos\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2+{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}sin\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2}$

其中，A^c是像素点(x^c,y^c)的平均光强度值，B^c是像素点(x^c,y^c)的光强调制；

步骤5.3.5：照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

步骤6：控制器对从照相机处接收的数据进行存储或者完成三维重建，三维重建过程需要的数据包括A^c、B^c和(X^w,Y^w,Z^w)。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (9)

1.一种硬件智能化的结构光三维扫描系统，其特征在于包括：

控制器：预设光栅类型，经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的参数；经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机经过无线路由器传向控制器的数据类型；对从照相机处接收的数据进行存储以及完成三维重建；

无线路由器：将控制器输出的光栅类型编号和所预设的光栅类型的参数发送到投影仪，将控制器发出的方式选择命令发送到照相机，将照相机输出的数据传到控制器；

投影仪：内部设置有可编程门阵列FPGA或数字信号处理器DSP，FPGA或DSP生成正弦光栅图像,投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；

照相机：照相机对变形光栅图像进行实时拍照，根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据。

2.根据权利要求1所述的一种硬件智能化的结构光三维扫描系统，其特征在于，所述控制器设有依次连接的处理控制模块、wifi模块和天线模块。

3.使权利要求1所述的一种硬件智能化的结构光三维扫描系统实现的方法，其特征在于包括以下步骤：

步骤1：在控制器上预设光栅类型，控制器经过无线路由器向投影仪发送光栅类型编号和所预设的光栅类型的相关参数；

步骤2：投影仪中的可编程门阵列FPGA或数字信号处理器DSP生成正弦光栅图像，投影仪对所述正弦光栅图像在被测物体上进行投影，产生变形光栅图像；

步骤3：照相机对变形光栅图像进行实时拍照；

步骤4：控制器经过无线路由器向照相机发出方式选择命令，所述方式选择命令决定照相机传向控制器的数据类型；

步骤5：根据控制器选定的数据类型，照相机经过无线路由器向控制器传送原始数据或者传送经照相机内的FPGA或DSP处理过的数据；

步骤6：控制器对从无线路由器接收到的数据进行存储或者完成三维重建。

4.根据权利要求2所述的硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤1中所述的光栅类型包括相位测量轮廓术PMP、二进制和线扫描。

5.根据权利要求2所述的硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤2中所述的正弦光栅图像的生成公式为：

$I_n^p=A^p+B^{p}cos(2\mathrm{\π}f\frac{y^p}{H}-\frac{2\mathrm{\π}n}{N})$

其中，n是相移指数，代表第n帧图片，表示第n帧图片的正弦光栅光强，p代表投影仪，A^p和B^p是自定义系数，f表示光栅的空间频率，N表示正弦光栅图像的总数量，也是总的相移数，(x^p,y^p)是投影仪中的坐标，H是正弦光栅图像的高度；

6.根据权利要求2所述硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤4中照相机传向控制器的数据类型包括原始变形光栅图像数据、相位数据和三维数据。

7.根据权利要求2所述硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤5包括以下步骤：

步骤5.1:若选定的数据类型为原始变形光栅图像数据，照相机向控制器传送原始变形光栅图像数据 表示第n帧形变光栅图像的像素点(x^c,y^c)的光强；

若选定的数据类型不为原始变形光栅图像数据，则进入步骤5.2；

步骤5.2:若选定的数据类型为相位数据，照相机向控制器传送经照相机内的FPGA或DSP计算得到的相位数据：

其中，n是相移指数，代表第n帧图片，N表示变形光栅图像的总数量，也是总的相移数，c代表照相机，表示变形光栅图像中像素点(x^c,y^c)的相位值；

若选定的数据类型不为相位数据，则进入步骤5.3；

步骤5.3:若选定的数据类型为三维数据，照相机内的FPGA或DSP先计算相位数据再利用和系统标定得到的参数矩阵M_wc来计算世界坐标系(X^w,Y^w,Z^w)，最后计算平均光强度值A^c和光强调制B^c，照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

8.根据权利要求5所述硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤5.3包括

步骤5.3.1：系统标定得到的参数矩阵M_wc：

$M_{wc}=\left[\begin{array}{cccc}{m}_{11}^{wc}& m_{12}^{wc}& m_{13}^{wc}& m_{14}^{wc}\\ m_{21}^{wc}& m_{22}^{wc}& m_{23}^{wc}& m_{24}^{wc}\\ m_{31}^{wc}& m_{32}^{wc}& m_{33}^{wc}& m_{34}^{wc}\end{array}\right]$

步骤5.3.2：照相机内的FPGA或DSP计算得到相位数据

步骤5.3.3:照相机内的FPGA或DSP利用和M_wc来计算世界坐标系(X^w,Y^w,Z^w)：

P＝[X^wY^wZ^w]^T＝C^-1D

其中，C、D和P表示矩阵，(x^c,y^c)表示照相机中的坐标；

步骤5.3.4：照相机内的FPGA或DSP计算得到平均光强度值A^c和光强调制B^c：

$A^c=\frac{1}{N}\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c$

$B^c=\frac{2}{N}\sqrt{{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}cos\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2+{\[\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^{c}sin\left(\frac{2\mathrm{\π}n}{N}\right)\]}^2}$

其中，A^c是像素点(x^c,y^c)的平均光强度值，B^c是像素点(x^c,y^c)的光强调制；

步骤5.3.5：照相机将A^c、B^c和(X^w,Y^w,Z^w)和发送给控制器。

9.根据权利要求2所述硬件智能化的结构光三维扫描的方法，其特征在于，所述步骤6中所述三维重建过程需要的数据包括A^c、B^c和(X^w,Y^w,Z^w)。