CN103727898B - 利用查找表修正非线性畸变的快速三维测量系统及方法 - Google Patents

Abstract

本发明涉及数字图像和三维数据处理技术领域，具体涉及一种利用查找表修正非线性畸变的快速三维测量系统及方法，包括搭建三维测量系统；对三维测量系统进行校准；建立关于灰度级修正非线性畸变的查找表；生成含有基频与高频的结构光扫描图片，并利用查找表对生成的结构光扫描图片进行预先修正，得到用于三维测量的图片；扫描被测物体并同步抓取含有物体信息的图片数据；将得到的扫描图片数据通过计算，生成三维点云坐标并显示。本发明采用预先校准得到一个关于灰度级修正非线性畸变的查找表，利用查找表对生成的结构光扫描图片数据进行灰度级修正，不仅可以有效地克服投影机非线性(也称为伽马(Gamma))的影响，也解决了在测量的过程中会出现的像素值上溢与下溢的问题。

Description

利用查找表修正非线性畸变的快速三维测量系统及方法

技术领域

本发明涉及数字图像和三维数据处理技术领域，具体涉及一种利用查找表修正非线性畸变的快速三维测量系统及方法。

背景技术

光学三维测量分为被动三维测量与主动三维测量两类。被动三维测量技术不需要结构光照明，直接从一个或者多个摄像系统获取二维图像，根据视差等信息提取三维信息。被动测量的关键在于使用相关算法从不同图像中找到对应点，这种方法虽然硬件结构简单，但是仅适合用于对被测物体细节要求不高的场合，在工业测量领域中应用较少。主动三维测量技术采用不同的投射装置向被测量的物体投射不同种类的结构光，并同步拍摄经被测物体表面调制而发生形变的结构光图像，然后通过从携带有物体形貌的图像中解码计算出被测物体的三维形貌数据。主动测量技术中，结构光三维测量技术发展极为迅速，上世纪八十年代，德国率先开始对面结构光三维测量技术进行研究。结构光三维测量系统通常采用CCD照相机，投影机，以及计算机，测量过程包括系统标定,数据扫描以及三维点云计算。

近两年来，微软推出了Kinect体感摄像头，华硕公司的Xtion PRO LIVE,Mac的体感控制器制造公司Leap公司的Leap Motion以及ToF摄像头,虽然这些摄像头都可以直接获取三维数据，但是数据精度差，扫描数据结果受物体表面材质影响大，以及需要后期开发摄像头的相关应用程序才能使用，很不方便。上述测量系统在测量精度，测量稳定性和工业设计上还存在如下缺点：

(1)系统使用物理光栅，对光栅投影装置内控制系统的精度和光栅片的制作工艺有很高的要求，包括2010年微软推出的Kinect for Windows等类似设备；

(2)仅能测量三维形貌数据，无法获取物体表面的彩色纹理，应用领域受到限制；

(3)采用商业投影机作为主动光源，三维重建表面具有很大的波纹，需要较多的扫描图片才能够削弱，扫描数据多且扫描时间长。

而且上述测量系统中，都没有对系统进行非线性修正，而是采用大量的多频率的扫描图片，对非线性畸变进行抑制。测量系统中所用的投影机主要分为两类——商业投影机和无非线性畸变的投影机，商业投影机为了达到较好的视觉效果，制造商加入了一组伽马值，但是用于三维测量时，三维重建表面具有很大的波纹，影响测量精度；若加大扫描图片数量，就会增加时间开销。另外一种无非线性畸变的投影机，主要特点是亮度低，造价昂贵，仅适合用于科研。同时，在抓取图片的过程中，无论是商业投影机还是无非线性畸变的投影机都会出现部分像素值发生上溢或者下溢的现象，并且没有一种有效地方法能够同时抑制投影机非线性畸变与像素值的上溢和下溢。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种利用查找表修正非线性畸变的快速三维测量系统及方法，利用预先校准得到的查找表不仅解决了投影机非线性畸变的问题，而且也克服了照相机上溢和下溢的问题。

为实现上述目的，本发明提供了以下技术方案：

利用查找表修正非线性畸变的快速三维测量系统及方法，快速三维测量系统包括投影机、照相机、计算机及用于三维校准的标靶，所述标靶置于照相机能够捕捉且投影仪射出的光也能够覆盖的范围，所述计算机分别与投影机和照相机进行信号传输，还包括用于控制照相机与投影机同步开启的触发电路，所述同步触发电路采用NPN三极管放大电路，计算机VGA管脚的控制输出端分别与投影机和三极管放大电路的基极连接，三极管放大电路的集电极再与照相机连接，其特征在于：所述利用查找表修正非线性畸变的快速三维测量方法包括以下步骤：

1.1、搭建三维测量系统，具体步骤为：

1.1.1、放置标靶于摄像头能够捕捉的范围，投影机射出的光照能够覆盖扫描的范围；

1.1.2、打开照相机设置界面，合理设置照相机的曝光时间以及触发模式，保证照相机与投影机处于同步状态；

1.1.3、在确保照相机焦距处于最佳状态，实时检测在白光照射下，拍摄到的图像中是否产生上溢或者下溢，若有上溢或者下溢的现象，则要适当调整照相机光圈，以保证照相机处于最理想的拍摄状态，并重复进行上述过程；

1.2、对三维测量系统进行校准，具体步骤为：

1.2.1、先导入预先通过测量标靶并计算得到的N组圆心三维点坐标，其中N≥6，然后从照相机拍摄的图像中获取标靶在照相机中的图像，并依次选取标靶每个面上方框的四个角点坐标；

1.2.2、采用透视投影矩阵的方法对畸变的图案进行校正映射，具体转换公式如下所示，并应用双线性插值法或者最邻近插值法对校正后的图案进行插值，使得图案被修正并达到较好的效果；

$\begin{array}{c}s\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=g\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{g}_{11}& g_{12}& g_{13}\\ g_{21}& g_{22}& g_{23}\\ g_{31}& g_{32}& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\⇒\\ \left\{\begin{array}{c}{x}^{\′}=x\·g_{11}+y\·g_{12}+1\·g_{13}+0\·g_{21}+0\·g_{22}+0\·g_{23}-x^{\′}x\·g_{31}-x^{\′}y\·g_{32}\\ y^{\′}=0\·g_{11}+0\·g_{12}+0\·g_{13}+x\·g_{21}+y\·g_{22}+1\·g_{23}-y^{\′}x\·g_{31}-y^{\′}y\·g_{32}\end{array}\right.\end{array}---\left(a\right)$

公式中，(x’,y’)为校正后的坐标点，(x,y)为校正前的坐标点，s为比例因子，g为透视投影矩阵；

1.2.3、把步骤1.2.2中校正好的图案进行灰度化处理，然后再进行二值化处理，在得到的二值化图像中查找每个圆的圆心，并保存；

1.2.4、重复步骤1.2.1-1.2.3，获取标靶另一个面上的坐标点；

1.2.5、通过这两组坐标点得到关于照相机与三维世界坐标系的转换矩阵M_wc,具体公式如下所示，保存并进入下面步骤1.2.6；

照相机坐标与世界坐标之间的转换公式如下：

$x^c=\frac{m_{11}^{wc}{X}^w+m_{12}^{wc}{Y}^w+m_{13}^{wc}{Z}^w+m_{14}^{wc}}{m_{31}^{wc}{X}^w+m_{32}^{wc}{Y}^w+m_{33}^{wc}{Z}^w+m_{34}^{wc}}---\left(b\right)$

$y^c=\frac{m_{21}^{wc}{X}^w+m_{22}^{wc}{Y}^w+m_{23}^{wc}{Z}^w+m_{24}^{wc}}{m_{31}^{wc}{X}^w+m_{32}^{wc}{Y}^w+m_{33}^{wc}{Z}^w+m_{34}^{wc}}---\left(c\right)$

从而得到照相机与世界坐标的转换矩阵M_wc记为：

$M_{wc}=\left[\begin{array}{cccc}{m}_{11}^{wc}& m_{12}^{wc}& m_{13}^{wc}& m_{14}^{wc}\\ m_{21}^{wc}& m_{22}^{wc}& m_{23}^{wc}& m_{24}^{wc}\\ m_{31}^{wc}& m_{32}^{wc}& m_{33}^{wc}& m_{34}^{wc}\end{array}\right]---\left(d\right)$

M_wc可以用最小二乘法作为伪逆矩阵得到；

1.2.6、通过投影机，将预先进行纵向编码的不同频率的正弦波图片投射到标靶的表面，通过照相机同步抓取，再将抓取到的图片进行解相位并进行相位展开，然后再通过展开后的相位值得到与步骤1.2.1中三维点坐标对应的坐标值，得到投影机与三维世界坐标系的转换矩阵M_wp并保存，其中求解相位的公式和转换矩阵M_wp的公式如下，到此三维测量系统校准完毕；

投影机中的坐标与世界坐标之间的转换关系为：

$x^p=\frac{m_{11}^{wp}{X}^w+m_{12}^{wp}{Y}^w+m_{13}^{wp}{Z}^w+m_{14}^{wp}}{m_{31}^{wp}{X}^w+m_{32}^{wp}{Y}^w+m_{33}^{wp}{Z}^w+m_{34}^{wp}}---\left(e\right)$

$y^p=\frac{m_{21}^{wp}{X}^w+m_{22}^{wp}{Y}^w+m_{23}^{wp}{Z}^w+m_{24}^{wp}}{m_{31}^{wp}{X}^w+m_{32}^{wp}{Y}^w+m_{33}^{wp}{Z}^w+m_{34}^{wp}}---\left(f\right)$

投影机与照相机之间的转换矩阵记为M_wp:

$M_{wp}=\left[\begin{array}{cccc}{m}_{11}^{wp}& m_{12}^{wp}& m_{13}^{wp}& m_{14}^{wp}\\ m_{21}^{wp}& m_{22}^{wp}& m_{23}^{wp}& m_{24}^{wp}\\ m_{31}^{wp}& m_{32}^{wp}& m_{33}^{wp}& m_{34}^{wp}\end{array}\right]---\left(g\right)$

其中y^p来源于最终展开后的相位Φ，Φ表示被抓取的图案中每一个像素点对应的相位值，可以通过下面的公式计算出来：

$\mathrm{\Φ}(x^c,y^c)=arctan\[\frac{\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c(x^c,y^c)\sin (2\mathrm{\π}n/N)}{\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c(x^c,y^c)\cos (2\mathrm{\π}n/N)}\]---\left(h\right)$

M_wp可以用最小二乘法作为伪逆矩阵得到；

1.3、建立关于灰度级修正非线性畸变的查找表，具体步骤为：

1.3.1、生成从0到255的灰度级纯色图像，设置灰度级图像扫描的重复次数，扫描一个表面并抓取数据；

1.3.2、将抓取到的相同灰度级的图案求平均值，并把平均后的图像数据按公式(i)规范化；

${\stackrel{\‾}{I}}_i^c=255\×\frac{\underset{j=1}{\overset{N}{\Σ}}{I}_{i,j}^c-\underset{j=1}{\overset{N}{\Σ}}{I}_{0,j}^c}{\underset{j=1}{\overset{N}{\Σ}}{I}_{255,j}^c-\underset{j=1}{\overset{N}{\Σ}}{I}_{0,j}^c}---\left(i\right)$

公式中为规范化后的灰度级，表示实际抓取到的灰度级图像，i表示第j次实际抓取到的第i个灰度级图片，为第j次实际抓取到的理想灰度级为0的图像，第j次实际抓取到的理想灰度级为255的图像，N为扫描的重复次数，其中N≥1；

1.3.3、将规范化后的每幅图像的像素值求平均值并存储；

1.3.4、根据步骤1.3.3中获得的平均像素值，结合公式(j)测量出投影机每个灰度级对应的伽马值参数，然后根据公式(k)将得到的灰度级作为修正非线性畸变的查找表；

${\mathrm{\γ}}_j={\log }_{\frac{i}{255}}^{\frac{j}{255}}=\frac{ln\left(j\right)-ln\left(255\right)}{ln\left(i\right)-ln\left(255\right)}=\frac{\lg \left(j\right)-\lg \left(255\right)}{\lg \left(i\right)-\lg \left(255\right)}---\left(j\right)$

$LUT\[j\]=255\×{\left(\frac{j}{255}\right)}^{\frac{1}{{\mathrm{\γ}}_j}}=255{\×}^{{\mathrm{\γ}}_j}\sqrt{\frac{j}{255}}=i---\left(k\right)$

公式中j表示步骤1.3.3中存储的畸变灰度值，i表示与畸变灰度值j对应的理想灰度值，LUT为建立的查找表；

1.3.5、判断查找表中是否含有间断点，若有，则采用线性插值法处理间断点，若没有，不作任何处理，便可得到最终的查找表；

1.4、生成含有基频与高频的结构光扫描图片，并利用查找表对生成的结构光扫描图片进行预先修正，得到用于三维测量的图片；

1.5、扫描被测物体并同步抓取含有物体信息的图片数据；

1.6、将得到的扫描图片数据通过计算，生成三维点云坐标并显示。

上述利用查找表修正非线性畸变的快速三维测量系统及方法中，从计算机VGA管脚的控制输出端出来的信号触发投影机工作，同时该信号也作为场同步信号作用于三极管放大电路的基极，当场同步信号发生变化后，三极管放大电路的集电极输出信号触发照相机同步拍摄。

上述利用查找表修正非线性畸变的快速三维测量系统及方法中，步骤1.1.2中为保证照相机与投影机处于同步状态，所采用的触发模式为同步触发。

上述利用查找表修正非线性畸变的快速三维测量系统及方法中，将得到的扫描图片数据通过计算，生成三维点云坐标并显示的具体步骤为：

根据得到的扫描数据通过计算，得到三维点云坐标，计算公式如下：

$C=\left[\begin{array}{ccc}{m}_{11}^{wc}-m_{31}^{wc}{x}^c& m_{12}^{wc}-m_{32}^{wc}{x}^c& m_{13}^{wc}-m_{33}^{wc}{x}^c\\ m_{21}^{wc}-m_{31}^{wc}{y}^c& m_{22}^{wc}-m_{32}^{wc}{y}^c& m_{23}^{wc}-m_{33}^{wc}{y}^c\\ m_{21}^{wc}-m_{31}^{wp}{y}^p& m_{22}^{wc}-m_{32}^{wp}{y}^p& m_{23}^{wc}-m_{33}^{wp}{y}^p\end{array}\right]---\left(l\right)$

$D=\left[\begin{array}{c}{m}_{34}^{wc}{x}^c-m_{14}^{wc}\\ m_{34}^{wc}{y}^c-m_{24}^{wc}\\ m_{34}^{wc}{y}^p-m_{24}^{wp}\end{array}\right]---\left(m\right)$

P＝[X^w Y^w Z^w]^T＝C^-1D (n)

本发明利用查找表修正非线性畸变的快速三维测量系统，在三维测量系统进行校准过程中，通过同步电路触发照相机和投影机，保证照相机与投影机处于同步状态。本发明利用查找表修正非线性畸变的快速三维测量方法，首先建立一个关于灰度级修正非线性畸变的查找表，利用查找表对生成的用于扫描的结构光扫描图片进行预先修正，从而快速地实现三维扫描并重建。

与现有技术相比，本发明的有益效果：本发明采用预先校准得到一个关于灰度级修正非线性畸变的查找表，利用查找表对生成的结构光扫描图片数据进行灰度级修正，不仅可以有效地克服投影机非线性的影响，也解决了在测量的过程中会出现的像素值上溢与下溢的问题，而且与同类结构光扫描系统相比，在采用相同数目图片或者更少的图片的情况下，都可达到较高的数据精度，同时也大大节省了时间开销，从而快速地实现三维扫描并重建。

附图说明

图1为本发明三维测量系统的结构框图。

图2为图1中用于控制照相机与投影机同步的触发电路图。

图3为用于三维校准的标靶。

图4为本发明三维测量方法的工作流程图。

图5为不同状态下灰度响应曲线图。

附图标记：图4中，1-搭建三维测量系统，2-对三维测量系统进行校准，3-建立关于灰度级修正非线性畸变的查找表，31-选择扫描次数，32-投射强度0到255(2^b-1)的灰度纯色图片，33-建立用于修正灰度级的查找表，4-利用查找表对生成的结构光扫描图片进行预先修正，5-扫描被测物体并同步抓取含有物体信息的图片数据，6-将得到的扫描图片数据通过计算，生成三维点云坐标并显示，7-选择查找表修正扫描图片模式，8-生成未修正多频扫描图案，b-表示投影机亮度编码的位数。

图5中，实线所标示的为通过灰度级查找表修正过的曲线，虚线(底部)表示的为非线性畸变的灰度级响应曲线，点划线(顶部)表示的为建立的灰度查找表曲线。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

为了使发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如附图1、附图2、附图3所示，本实施例利用查找表修正非线性畸变的快速三维测量系统，包括投影机、照相机、计算机及用于三维校准的标靶，所述标靶置于照相机能够捕捉且投影仪射出的光也能够覆盖的范围，所述计算机分别与投影机和照相机进行信号传输，还包括用于控制照相机与投影机同步开启的触发电路，所述同步触发电路采用NPN三极管放大电路，计算机VGA管脚的控制输出端分别与投影机和三极管放大电路的基极连接，三极管放大电路的集电极再与照相机连接。为保证照相机与投影机处于同步状态，从计算机VGA管脚的控制输出端出来的信号触发投影机工作，同时该信号也作为场同步信号作用于三极管放大电路的基极，当场同步信号发生变化后，三极管放大电路的集电极产生输出信号触发照相机同步拍摄。

利用查找表修正非线性畸变的快速三维测量方法，包括以下步骤：

(1)、搭建三维测量系统；

(2)、对三维测量系统进行校准；

(3)、建立关于灰度级修正非线性畸变的查找表；

(4)、生成含有基频与高频的结构光扫描图片，并利用查找表对生成的结构光扫描图片进行预先修正，得到用于三维测量的图片；

(5)、扫描被测物体并同步抓取含有物体信息的图片数据；

(6)、将得到的扫描图片数据通过计算，生成三维点云坐标并显示。

如附图4所示，为本实施例利用查找表修正非线性畸变的快速三维测量方法工作流程图，其主要工作流程为：首先搭建三维测量系统1；再对三维测量系统进行校准2；判断是否需要选择查找表修正扫描图片模式7，如果需要选择查找表修正扫描图片模式7，则建立关于灰度级修正非线性畸变的查找表3，所述建立关于灰度级修正非线性畸变的查找表3的具体步骤包括选择扫描次数31，投射强度0到255(2^b-1)的灰度纯色图片32，建立用于修正灰度级的查找表33；查找表建立后，利用查找表对生成的结构光扫描图片进行预先修正4，得到用于三维测量的图片；扫描被测物体并同步抓取含有物体信息的图片数据5；最后将得到的扫描图片数据通过计算，生成三维点云坐标并显示6。

如果不需要选择查找表修正扫描图片模式7，则生成未修正多频扫描图案8，再扫描被测物体并同步抓取含有物体信息的图片数据5；最后将得到的扫描图片数据通过计算，生成三维点云坐标并显示6。

本实施例利用查找表修正非线性畸变的快速三维测量方法包括六个步骤，具体为：

步骤1、搭建三维测量系统的具体步骤为：

(1.1)、放置标靶于摄像头能够捕捉的范围，投影机射出的光照能够覆盖扫描的范围；

(1.2)、打开照相机设置界面，合理设置照相机的曝光时间以及触发模式，保证照相机与投影机处于同步状态；

(1.3)、在确保照相机焦距处于最佳状态，实时检测在白光照射下，拍摄到的图像中是否产生上溢或者下溢，若有上溢或者下溢的现象，则要适当调整照相机光圈，以保证照相机处于最理想的拍摄状态，并重复进行上述过程。

步骤2、对三维测量系统进行校准的具体步骤为：

(2.1)、先导入预先通过测量标靶并计算得到的48组圆心三维点坐标，然后从照相机拍摄的图像中获取标靶在照相机中的图像，并依次选取标靶每个面上方框的四个角点坐标；

(2.2)、采用透视投影矩阵的方法对畸变的图案进行校正映射，具体转换公式如下所示，并应用双线性插值法或者最邻近插值法对校正后的图案进行插值，使得图案被修正并达到较好的效果；

$\begin{array}{c}s\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=g\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{g}_{11}& g_{12}& g_{13}\\ g_{21}& g_{22}& g_{23}\\ g_{31}& g_{32}& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\⇒\\ \left\{\begin{array}{c}{x}^{\′}=x\·g_{11}+y\·g_{12}+1\·g_{13}+0\·g_{21}+0\·g_{22}+0\·g_{23}-x^{\′}x\·g_{31}-x^{\′}y\·g_{32}\\ y^{\′}=0\·g_{11}+0\·g_{12}+0\·g_{13}+x\·g_{21}+y\·g_{22}+1\·g_{23}-y^{\′}x\·g_{31}-y^{\′}y\·g_{32}\end{array}\right.\end{array}---\left(a\right)$

公式中，(x’,y’)为校正后的坐标点，(x,y)为校正前的坐标点，s为比例因子，g为透视投影矩阵；

(2.3)、把步骤(2.2)中校正好的图案进行灰度化处理，然后再进行二值化处理，在得到的二值化图像中查找每个圆的圆心，并保存；

(2.4)、重复步骤(2.1)-(2.3)，获取标靶另一个面上的坐标点；

(2.5)、通过这两组坐标点得到关于照相机与三维世界坐标系的转换矩阵M_wc,具体公式如下所示，保存并进入下面步骤(2.6)；

照相机坐标与世界坐标之间的转换公式如下：

$x^c=\frac{m_{11}^{wc}{X}^w+m_{12}^{wc}{Y}^w+m_{13}^{wc}{Z}^w+m_{14}^{wc}}{m_{31}^{wc}{X}^w+m_{32}^{wc}{Y}^w+m_{33}^{wc}{Z}^w+m_{34}^{wc}}---\left(b\right)$

$y^c=\frac{m_{21}^{wc}{X}^w+m_{22}^{wc}{Y}^w+m_{23}^{wc}{Z}^w+m_{24}^{wc}}{m_{31}^{wc}{X}^w+m_{32}^{wc}{Y}^w+m_{33}^{wc}{Z}^w+m_{34}^{wc}}---\left(c\right)$

从而得到照相机与世界坐标的转换矩阵M_wc记为：

$M_{wc}=\left[\begin{array}{cccc}{m}_{11}^{wc}& m_{12}^{wc}& m_{13}^{wc}& m_{14}^{wc}\\ m_{21}^{wc}& m_{22}^{wc}& m_{23}^{wc}& m_{24}^{wc}\\ m_{31}^{wc}& m_{32}^{wc}& m_{33}^{wc}& m_{34}^{wc}\end{array}\right]---\left(d\right)$

M_wc可以用最小二乘法作为伪逆矩阵得到；

(2.6)、通过投影机，将预先进行纵向编码的不同频率的正弦波图片投射到标靶的表面，通过照相机同步抓取，再将抓取到的图片进行解相位并进行相位展开，然后再通过展开后的相位值得到与步骤(2.1)中三维点坐标对应的坐标值，得到投影机与三维世界坐标系的转换矩阵M_wp并保存，其中求解相位的公式和转换矩阵M_wp的公式如下，到此三维测量系统校准完毕；

投影机中的坐标与世界坐标之间的转换关系为：

$x^p=\frac{m_{11}^{wp}{X}^w+m_{12}^{wp}{Y}^w+m_{13}^{wp}{Z}^w+m_{14}^{wp}}{m_{31}^{wp}{X}^w+m_{32}^{wp}{Y}^w+m_{33}^{wp}{Z}^w+m_{34}^{wp}}---\left(e\right)$

$y^p=\frac{m_{21}^{wp}{X}^w+m_{22}^{wp}{Y}^w+m_{23}^{wp}{Z}^w+m_{24}^{wp}}{m_{31}^{wp}{X}^w+m_{32}^{wp}{Y}^w+m_{33}^{wp}{Z}^w+m_{34}^{wp}}---\left(f\right)$

投影机与照相机之间的转换矩阵记为M_wp:

$M_{wp}=\left[\begin{array}{cccc}{m}_{11}^{wp}& m_{12}^{wp}& m_{13}^{wp}& m_{14}^{wp}\\ m_{21}^{wp}& m_{22}^{wp}& m_{23}^{wp}& m_{24}^{wp}\\ m_{31}^{wp}& m_{32}^{wp}& m_{33}^{wp}& m_{34}^{wp}\end{array}\right]---\left(g\right)$

其中y^p来源于最终展开后的相位Φ，Φ表示被抓取的图案中每一个像素点对应的相位值，可以通过下面的公式计算出来：

$\mathrm{\Φ}(x^c,y^c)=arctan\[\frac{\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c(x^c,y^c)\sin (2\mathrm{\π}n/N)}{\underset{n=0}{\overset{N-1}{\Σ}}{I}_n^c(x^c,y^c)\cos (2\mathrm{\π}n/N)}\]---\left(h\right)$

M_wp可以用最小二乘法作为伪逆矩阵得到。

步骤3、建立关于灰度级修正非线性畸变的查找表的具体步骤：

(3.1)、生成从0到255的灰度级纯色图像(本方法中采用8位亮度编码信息)，设置灰度级图像扫描的重复次数，扫描一个表面并抓取数据；所扫描的表面不仅可以是传统的白色平面，也可以是任何形状以及任何色彩的物体；

(3.2)、将抓取到的相同灰度级的图案求平均值，并把平均后的图像数据按公式(i)规范化；

${\stackrel{\‾}{I}}_i^c=255\×\frac{\underset{j=1}{\overset{N}{\Σ}}{I}_{i,j}^c-\underset{j=1}{\overset{N}{\Σ}}{I}_{0,j}^c}{\underset{j=1}{\overset{N}{\Σ}}{I}_{255,j}^c-\underset{j=1}{\overset{N}{\Σ}}{I}_{0,j}^c}---\left(i\right)$

公式中为规范化后的灰度级，表示实际抓取到的灰度级图像，i表示第j次实际抓取到的第i个灰度级图片，为第j次实际抓取到的理想灰度级为0的图像，第j次实际抓取到的理想灰度级为255的图像，N为扫描的重复次数(其中N≥1)；

(3.3)、将规范化后的每幅图像的像素值求平均值并存储，如图5中的虚线所示；

(3.4)、根据步骤(3.3)中获得的平均像素值，结合公式(j)测量出投影机每个灰度级对应的伽马值参数，然后根据公式(k)将得到的灰度级作为修正非线性畸变的查找表；

${\mathrm{\γ}}_j={\log }_{\frac{i}{255}}^{\frac{j}{255}}=\frac{ln\left(j\right)-ln\left(255\right)}{ln\left(i\right)-ln\left(255\right)}=\frac{\lg \left(j\right)-\lg \left(255\right)}{\lg \left(i\right)-\lg \left(255\right)}---\left(j\right)$

$LUT\[j\]=255\×{\left(\frac{j}{255}\right)}^{\frac{1}{{\mathrm{\γ}}_j}}=255{\×}^{{\mathrm{\γ}}_j}\sqrt{\frac{j}{255}}=i---\left(k\right)$

公式中j表示步骤(3.3)中存储的畸变灰度值，i表示与畸变灰度值j对应的理想灰度值，LUT为建立的查找表；

(3.5)、判断查找表中是否含有间断点，若有，则采用线性插值法处理间断点，若没有，不作任何处理，便可得到最终的查找表，如图5中的点划线所示。

步骤4、生成含有基频与高频的结构光扫描图片，并利用查找表对生成的结构光扫描图片进行预先修正，得到用于三维测量的图片。修正前后对照表如表1所示，表1中的均方差为相位误差的均方差矩阵中的第320列，因为该列最能反映信息的全面性。

表1

步骤5、扫描被测物体并同步抓取含有物体信息的图片数据。

步骤6、将得到的扫描图片数据通过计算，生成三维点云坐标并显示的具体步骤为：

根据得到的扫描数据通过计算，得到三维点云坐标，计算公式如下：

$C=\left[\begin{array}{ccc}{m}_{11}^{wc}-m_{31}^{wc}{x}^c& m_{12}^{wc}-m_{32}^{wc}{x}^c& m_{13}^{wc}-m_{33}^{wc}{x}^c\\ m_{21}^{wc}-m_{31}^{wc}{y}^c& m_{22}^{wc}-m_{32}^{wc}{y}^c& m_{23}^{wc}-m_{33}^{wc}{y}^c\\ m_{21}^{wc}-m_{31}^{wp}{y}^p& m_{22}^{wc}-m_{32}^{wp}{y}^p& m_{23}^{wc}-m_{33}^{wp}{y}^p\end{array}\right]---\left(l\right)$

$D=\left[\begin{array}{c}{m}_{34}^{wc}{x}^c-m_{14}^{wc}\\ m_{34}^{wc}{y}^c-m_{24}^{wc}\\ m_{34}^{wc}{y}^p-m_{24}^{wp}\end{array}\right]---\left(m\right)$

P＝[X^w Y^w Z^w]^T＝C^-1D (n)

目前的三维测量系统在抓取图片的过程中，会出现部分像素值发生上溢或者下溢的现象，并且没有一种有效地方法能够同时抑制投影机非线性畸变与像素值的上溢和下溢。

本实施例采用预先校准得到一个关于灰度级修正非线性畸变的查找表(即原始灰度级与校正灰度级具有一一对应关系的查找表)，该查找表数据容量为2^b(b表示亮度信息编码的位数)个元素，占用内存较小，利用查找表对生成的结构光扫描图片数据进行灰度级修正，不仅可以有效地克服投影机非线性(也称为伽马(Gamma))的影响，也解决了在测量的过程中会出现的像素值上溢与下溢的问题，而且与同类结构光扫描系统相比，在采用相同数目图片或者更少的图片的情况下，都可达到较高的数据精度，同时也大大节省了时间开销，从而快速地实现三维扫描并重建。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.利用查找表修正非线性畸变的快速三维测量方法，快速三维测量系统包括投影机、照相机、计算机及用于三维校准的标靶，所述标靶置于照相机能够捕捉且投影仪射出的光也能够覆盖的范围，所述计算机分别与投影机和照相机进行信号传输，还包括用于控制照相机与投影机同步开启的触发电路，所述同步触发电路采用NPN三极管放大电路，计算机VGA管脚的控制输出端分别与投影机和三极管放大电路的基极连接，三极管放大电路的集电极再与照相机连接，其特征在于：所述利用查找表修正非线性畸变的快速三维测量方法包括以下步骤：

1.1、搭建三维测量系统，具体步骤为：

1.1.1、放置标靶于摄像头能够捕捉的范围，投影机射出的光照能够覆盖扫描的范围；

1.1.2、打开照相机设置界面，合理设置照相机的曝光时间以及触发模式，保证照相机与投影机处于同步状态；

1.1.3、在确保照相机焦距处于最佳状态，实时检测在白光照射下，拍摄到的图像中是否产生上溢或者下溢，若有上溢或者下溢的现象，则要适当调整照相机光圈，以保证照相机处于最理想的拍摄状态，并重复进行上述过程；

1.2、对三维测量系统进行校准，具体步骤为：

1.2.1、先导入预先通过测量标靶并计算得到的N组圆心三维点坐标，其中N≥6，然后从照相机拍摄的图像中获取标靶在照相机中的图像，并依次选取标靶每个面上方框的四个角点坐标；

1.2.2、采用透视投影矩阵的方法对畸变的图案进行校正映射，具体转换公式如下所示，并应用双线性插值法或者最邻近插值法对校正后的图案 进行插值，使得图案被修正并达到较好的效果；

公式中，(x’,y’)为校正后的坐标点，(x,y)为校正前的坐标点，s为比例因子，g为透视投影矩阵；

1.2.3、把步骤1.2.2中校正好的图案进行灰度化处理，然后再进行二值化处理，在得到的二值化图像中查找每个圆的圆心，并保存；

1.2.4、重复步骤1.2.1-1.2.3，获取标靶另一个面上的坐标点；

1.2.5、通过这两组坐标点得到关于照相机与三维世界坐标系的转换矩阵M_wc,具体公式如下所示，保存并进入下面步骤1.2.6；

照相机坐标与世界坐标之间的转换公式如下：

从而得到照相机与世界坐标的转换矩阵M_wc记为：

M_wc可以用最小二乘法作为伪逆矩阵得到；

1.2.6、通过投影机，将预先进行纵向编码的不同频率的正弦波图片投射到标靶的表面，通过照相机同步抓取，再将抓取到的图片进行解相位并进行相位展开，然后再通过展开后的相位值得到与步骤1.2.1中三维点坐 标对应的坐标值，得到投影机与三维世界坐标系的转换矩阵M_wp并保存，其中求解相位的公式和转换矩阵M_wp的公式如下，到此三维测量系统校准完毕；

投影机中的坐标与世界坐标之间的转换关系为：

投影机与照相机之间的转换矩阵记为M_wp:

其中y^p来源于最终展开后的相位Φ，Φ表示被抓取的图案中每一个像素点对应的相位值，可以通过下面的公式计算出来：

M_wp可以用最小二乘法作为伪逆矩阵得到；

1.3、建立关于灰度级修正非线性畸变的查找表，具体步骤为：

1.3.1、生成从0到255的灰度级纯色图像，设置灰度级图像扫描的重复次数，扫描一个表面并抓取数据；

1.3.2、将抓取到的相同灰度级的图案求平均值，并把平均后的图像数据按公式(i)规范化；

公式中为规范化后的灰度级，表示实际抓取到的灰度级图像，i表示第j次实际抓取到的第i个灰度级图片，为第j次实际抓取到的理想灰度级为0的图像，第j次实际抓取到的理想灰度级为255的图像，N为扫描的重复次数，其中N≥1；

1.3.3、将规范化后的每幅图像的像素值求平均值并存储；

1.3.4、根据步骤1.3.3中获得的平均像素值，结合公式(j)测量出投影机每个灰度级对应的伽马值参数，然后根据公式(k)将得到的灰度级作为修正非线性畸变的查找表；

公式中j表示步骤1.3.3中存储的畸变灰度值，i表示与畸变灰度值j对应的理想灰度值，LUT为建立的查找表；

1.3.5、判断查找表中是否含有间断点，若有，则采用线性插值法处理间断点，若没有，不作任何处理，便可得到最终的查找表；

1.4、生成含有基频与高频的结构光扫描图片，并利用查找表对生成的结构光扫描图片进行预先修正，得到用于三维测量的图片；

1.5、扫描被测物体并同步抓取含有物体信息的图片数据；

1.6、将得到的扫描图片数据通过计算，生成三维点云坐标并显示。

2.根据权利要求1所述的利用查找表修正非线性畸变的快速三维测量方法，其特征在于：从计算机VGA管脚的控制输出端出来的信号触发投影机工作， 同时该信号也作为场同步信号作用于三极管放大电路的基极，当场同步信号发生变化后，三极管放大电路的集电极输出信号触发照相机同步拍摄。

3.根据权利要求1所述的利用查找表修正非线性畸变的快速三维测量方法，其特征在于：步骤1.1.2中为保证照相机与投影机处于同步状态，所采用的触发模式为同步触发。

4.根据权利要求1所述的利用查找表修正非线性畸变的快速三维测量方法，其特征在于：将得到的扫描图片数据通过计算，生成三维点云坐标并显示的具体步骤为：

根据得到的扫描数据通过计算，得到三维点云坐标，计算公式如下：

P＝[X^w Y^w Z^w]^T＝C^-1D (n) 。