CN104990517B - 结构光三维测量中的斜投影校正方法及系统 - Google Patents

Abstract

本发明涉及基于结构光的三维测量技术领域，尤其涉及一种结构光三维测量中的斜投影校正方法及系统。校正方法包括如下步骤：根据输入投影机的原始图像及投影机将原始图像斜投影到投影平面上得到的投影图像计算原始图像到投影图像的扭曲；根据扭曲计算要获得目标投影图像需要输入投影机的源图像；将源图像输入投影机以投影出目标投影图像。本发明根据希望获得的目标投影图像，再结合计算得出的由原始图像到将原始图像斜投影到投影平面上得到的投影图像的扭曲，反求出要获得目标投影图像需要输入投影机的源图像，从而获得了标准的目标投影图像。该校正方法只涉及投影校正，避免了投影机的系统误差对投影造成的影响。

Description

结构光三维测量中的斜投影校正方法及系统

技术领域

本发明涉及基于结构光的三维测量技术领域，尤其涉及一种结构光三维测量中的斜投影校正方法及系统。

背景技术

基于结构光的3D检测系统被应用于非常广阔的范围。比如3D SPI系统可以检测锡膏高度，3D AOI系统可以检测元件高度，3D扫描系统可以快速高精度重构出被测物体的点云数据等等。

这些基于结构光的3D检测系统都包含一个或多个投射结构光的投影系统和一个或多个抓取图像的取像系统。取像系统抓取被投射结构光之后的物体的像，通过基于三角关系的重构算法得出物体的高度值。

现有3D检测系统中，有一大部分均为使用斜投投影和正面相机的方法，抓取带有条纹图的被测物体像。条纹图在有高度的被测物体上发生形变，从而提供信息帮助我们通过算法计算出被测物体的高度值。不同的算法会使用不同的条纹，比如正弦条纹、二进制编码等等。

无论投射何种条纹，我们计算被测高度的前提是，投影到零高度的平面上时的条纹是标准的、与我们原本输入投影机的条纹是一致的。这样，在条纹产生扭曲时我们才可以认定该扭曲是由于被测物体高低不平造成的，从而计算出被测物体高度。

然而斜投投影投由于光学设计的限制在平面上都会出现扭曲变形，影响实际测量结果。通常的做法是做相机与投影的系统矫正，将此处的扭曲在系统中做出矫正。然而，这种校正方法不能避免投影机的系统误差。

发明内容

本发明所要解决的技术问题是，提供一种结构光三维测量中的斜投影校正方法及系统，以解决现有技术中的校正方法不能避免投影机的系统误差的问题。本发明是这样实现的：

一种结构光三维测量中的斜投影校正方法，包括如下步骤：

根据输入投影机的原始图像及所述投影机将所述原始图像斜投影到投影平面上得到的投影图像计算所述原始图像到所述投影图像的扭曲；

根据所述扭曲计算要获得目标投影图像需要输入所述投影机的源图像；

将所述源图像输入所述投影机以投影出所述目标投影图像。

进一步地，设原始图像中的任意点的坐标为N(x₀,y₀)，将所述原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀,y₀)对应的点的坐标为M(x,y)；计算扭曲的方法为：根据N(x₀,y₀)及M(x,y)拟合由M(x,y)到N(x₀,y₀)的函数曲线。

进一步地，拟合由M(x,y)到N(x₀,y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

进一步地，设源图像中任一点的灰度为N(i,j)，目标投影图像中与灰度为N(i,j)的点对应的点为M(i₀,j₀)，则：

其中floor函数为向下取整函数。

一种结构光三维测量中的斜投影校正系统，包括：

扭曲计算单元，用于根据输入投影机的原始图像及所述投影机将所述原始图像斜投影到投影平面上得到的投影图像计算所述原始图像到所述投影图像的扭曲；

源图像计算单元，用于根据所述扭曲计算要获得目标投影图像需要输入所述投影机的源图像；

投影单元，用于将所述源图像输入所述投影机以投影出所述目标投影图像。

进一步地，设原始图像中的任意点的坐标为N(x₀,y₀)，将所述原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀,y₀)对应的点的坐标为M(x,y)；扭曲计算单元计算扭曲的方法为：根据N(x₀,y₀)及M(x,y)拟合由M(x,y)到N(x₀,y₀)的函数曲线。

进一步地，拟合由M(x,y)到N(x₀,y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

进一步地，设源图像中任一点的灰度为N(i,j)，目标投影图像中与灰度为N(i,j)的点对应的点为M(i₀,j₀)，则：

其中floor函数为向下取整函数。

与现有技术相比，本发明根据希望获得的目标投影图像，再结合计算得出的由原始图像到将所述原始图像斜投影到投影平面上得到的投影图像的扭曲，反求出要获得目标投影图像需要输入所述投影机的源图像，从而获得了标准的目标投影图像。该校正方法只涉及投影校正，避免了投影机的系统误差对投影造成的影响。

附图说明

图1：本发明提出的结构光三维测量中的斜投影校正方法流程示意图；

图2：Keystone效应示意图；

图3：x方向上的拟合示意图；

图4：计算得出的源图像示意图；

图5：该源图像斜投影到投影平面上形成的目标投影图像示意图；

图6：本发明提出的结构光三维测量中的斜投影校正系统组成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示，本发明提出的结构光三维测量中的斜投影校正方法包括如下步骤：

步骤S1：根据输入投影机的原始图像及投影机将原始图像斜投影到投影平面上得到的投影图像计算原始图像到投影图像的扭曲。

设原始图像为N矩阵，将原始图像斜投影到投影平面上得到的投影图像为M矩阵。原始图像中的设原始图像中的任意点的坐标为N(x₀,y₀)，将原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀,y₀)对应的点的坐标为M(x,y)。斜投影在投影平面上会产生Keystone效应，这种效应会导致原本标准的原始图像N矩阵投影到投影平面后会发生扭曲，形成如图2所示的不标准的投影图像M矩阵。如图2所示，虚线为投影机1的光轴。以顺着投影方向为y轴，垂直于投影方向为x轴，则扭曲分为x轴上的扭曲及y轴上的扭曲，且x轴上的扭曲与y轴上的扭曲正交。图2的视角为从正对光轴2的顶部往下，实际上光轴2与y轴并未重合，而是在y轴正上方。即在x、y两个方向上的扭曲是可以分开计算而互不干扰的。同时，光路模拟也提供了准确的投射平面的网格数据。同样的，网格数据也可以用上传标准的网格图与投影机1，再通过抓取投影机1投影出的图像对比获得。将斜投影的光路设计和投影结果M矩阵模拟出来，将扭曲方向分为x、y两个方向，并对两个方向分别进行高阶拟合，得出原始图像与投影图像之间的扭曲。然后，根据所希望获得的投影图像，根据该扭曲逆向重新设计原始图像N矩阵，使原始图像N矩阵形成反向变形，从而保证斜投影得到的图像为标准的投影图像。

通过扭曲的网格数据，可以得到每个网格点应在的原本位置N(x₀,y₀)及因为keystone效应造成的偏移过的投射图所在的位置M(x,y)。有两组N(x₀,y₀)及M(x,y)分别对应x、y方向上的扭曲。如图3所示，对于x方向上的扭曲，设X0＝{x01,x02,…,x0n}对应一组网格点应在的投影原本位置的x坐标，X＝{x1,x2,…,xn}对应该组网格点因为投影光路扭曲之后实际所在位置的x坐标。设实际投射到投影平面上的图像中各点的x坐标位置为已知，可通过三次高阶拟合的方式进行拟合，从而反求出未知的投影原本的x₀坐标。对于y方向上的扭曲，与x方向同理。因此，设原始图像中的任意点的坐标为N(x₀,y₀)，将原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀,y₀)对应的点的坐标为M(x,y),根据N(x₀,y₀)及M(x,y)拟合由M(x,y)到N(x₀,y₀)的函数曲线。拟合由M(x,y)到N(x₀,y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

这样，就得到了a,b,c,d四个x方向上的扭曲系数及e,f,g,h四个y方向上的扭曲系数。即得到了由原始图像到投影图像的扭曲。步骤S2：根据该扭曲就可计算要获得目标投影图像需要输入投影机的源图像。步骤S3：得出需要输入投影机的源图像后，将源图像输入投影机就可投影出所希望获得的标准的目标投影图像。

希望获得的投影图像(目标投影图像)通常通过一个二维灰阶矩阵表示。设源图像中任一点的灰度为N(i,j)，目标投影图像中与灰度为N(i,j)的点对应的点为M(i₀,j₀)，则：

其中floor函数为向下取整函数。矩阵N(i,j)对应的灰阶图即为校正过的要输入投影机的 源图像。上述公式可理解为：每一个N矩阵的点的灰度值对应了M矩阵中的计算出的浮点坐 标(i₀,j₀)最临近的4个整数坐标点的灰度值，这4个点的灰度值分别由其坐标与N矩阵拟合 坐标的差值作为权值，加权计算出N矩阵该点的灰度值。图4为计算得出的源图像示意图。图 5为该源图像投影到投影平面上形成的目标投影图像示意图。结合图4及图5可以看出，源图 像是经过校正的，非标准的图像(图像有扭曲)，将该源图像斜投影到投影平面后，形成了标 准的投影图像。

如图6所示，基于该校正方法，本发明还提供了一种结构光三维测量中的斜投影校正系统。该系统包括扭曲计算单元、源图像计算单元及投影单元。其中：

扭曲计算单元用于根据输入投影机的原始图像及投影机将原始图像斜投影到投影平面上得到的投影图像计算原始图像到投影图像的扭曲。源图像计算单元用于根据扭曲计算要获得目标投影图像需要输入投影机的源图像。投影单元用于将源图像输入投影机以投影出目标投影图像。

设原始图像中的任意点的坐标为N(x₀,y₀)，将原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀,y₀)对应的点的坐标为M(x,y)；扭曲计算单元计算扭曲的方法为：根据N(x₀,y₀)及M(x,y)拟合由M(x,y)到N(x₀,y₀)的函数曲线。拟合由M(x,y)到N(x₀,y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

设源图像中任一点的灰度为N(i,j)，目标投影图像中与灰度为N(i,j)的点对应的点为M(i₀,j₀)，则：

其中floor函数为向下取整函数。

该系统各模块与上述校正方法中各步骤对应，在此不再一一赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种结构光三维测量中的斜投影校正方法，其特征在于，包括如下步骤：

根据输入投影机的原始图像及所述投影机将所述原始图像斜投影到投影平面上得到的投影图像计算所述原始图像到所述投影图像的扭曲；

根据所述扭曲计算要获得目标投影图像需要输入所述投影机的源图像；

将所述源图像输入所述投影机以投影出所述目标投影图像；

其中，设原始图像中的任意点的坐标为N(x₀，y₀)，将所述原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀，y₀)对应的点的坐标为M(x，y)；

计算扭曲的方法为：根据N(x₀，y₀)及M(x，y)拟合由M(x，y)到N(x₀，y₀)的函数曲线；

拟合由M(x，y)到N(x₀，y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

2.如权利要求1所述的结构光三维测量中的斜投影校正方法，其特征在于，设源图像中任一点的灰度为N(i，j)，目标投影图像中与灰度为N(i，j)的点对应的点为M(i₀，j₀)，则：

N(i，j)＝M(floor(i₀)，floor(j₀))*(1-i₀+floor(i₀))*(1-j₀+floor(j₀))+

M(floor(i₀)+1，floor(j₀)+1)*(i₀-floor(i₀))*(j₀-floor(j₀))+

M(floor(i₀)，floor(j₀)+1)*(1-i₀+floor(i₀))*(j₀-floor(j₀))+

M(floor(i₀)+1，floor(j₀))*(i₀-floor(i₀))*(1-j₀+floor(j₀))，

其中floor函数为向下取整函数。

3.一种结构光三维测量中的斜投影校正系统，其特征在于，包括：扭曲计算单元，用于根据输入投影机的原始图像及所述投影机将所述原始图像斜投影到投影平面上得到的投影图像计算所述原始图像到所述投影图像的扭曲；

源图像计算单元，用于根据所述扭曲计算要获得目标投影图像需要输入所述投影机的源图像；

投影单元，用于将所述源图像输入所述投影机以投影出所述目标投影图像；

其中，设原始图像中的任意点的坐标为N(x₀，y₀)，将所述原始图像斜投影到投影平面上得到的投影图像中与坐标N(x₀，y₀)对应的点的坐标为M(x，y)；

计算扭曲的方法为：根据N(x₀，y₀)及M(x，y)拟合由M(x，y)到N(x₀，y₀)的函数曲线；

拟合由M(x，y)到N(x₀，y₀)的函数曲线的公式如下：

x₀＝ax³+bx²+cx+d；

y₀＝ey³+fy²+gy+h。

4.如权利要求3所述的结构光三维测量中的斜投影校正系统，其特征在于，设源图像中任一点的灰度为N(i，j)，目标投影图像中与灰度为N(i，j)的点对应的点为M(i₀，j₀)，则：

N(i，j)＝M(floor(i₀)，floor(j₀))*(1-i₀+floor(i₀))*(1-j₀+floor(j₀))+

M(floor(i₀)+1，floor(j₀)+1)*(i₀-floor(i₀))*(j₀-floor(j₀))+

M(floor(i₀)，floor(j₀)+1)*(1-i₀+floor(i₀))*(j₀-floor(j₀))+

M(floor(i₀)+1，floor(j₀))*(i₀-floor(i₀))*(1-j₀+floor(j₀))，

其中floor函数为向下取整函数。