CN102645183A - 三维图像测量方法 - Google Patents

Abstract

本发明提供一种非接触三维图像测量方法。本发明使用投影仪(2)向被测物体(3)投射彩色调制和光强调制复合的投影光，该投影光经被测物体(3)反射后由数字照相机(4)拍摄并输入给计算机(1)，然后由计算机(1)进行图像处理，计算出被测物体(3)表面的三维信息，实现高速、高精度三维测量。

Description

三维图像测量方法

技术领域

本发明涉及一种三维图像测量方法，具体地说，是一种向被测物体投影经调制的条形结构光，利用数字照相机拍摄其反射图像，通过计算机算出其表面三维信息的三维图像测量方法。

背景技术

三维图像测量是一种非接触测量方法，它通过拍摄被测物体的图像，利用计算机图像分析，可以算出被测物体的表面三维信息，即物体表面各个测量点的三维坐标，从而可以计算出被测物体表面各个测量点之间的距离、表面积及体积。

现有的三维图像测量技术可分为被动式和主动式两大类。被动式方法不向被测物体施加能量，只是被动的拍摄物体的图像，通过图像处理得到被测物体表面的三维信息，该方法简单适用，可以测量静止物体或非静止物体，既可以测量毫米以下的微小物体，也可以测量几百米以上的大型物体。但是被动法的最大问题是，它无法测量没有表面特征的物体，或物体上没有特征的部分。

为解决这一问题，能动测量法被提出。能动测量法通过向被测物体投射光能等能量，并拍摄其反射图像，再通过图像处理算出被测物体表面的三维信息。图形光投影测量是能动法的最常用的方法。

图形光投影法根据图形光的性质，又可分为两值化图形光投影法和非两值化投影法两大类。两值化图形光投影法所用的图形光投影的典型代表有：点投影、线投影、结构光面投影等。通常为保证一定的测量精度，点投影须要投影数千次以上、线投影须要投影数十次以上、结构光面投影须要投影数次以上。即不论哪种投影方式，都需要多次投影。这不仅使得测量速度变慢，更重要的是无法测量非静止物体。

非两值化投影方式是向物体投影彩色或光强不同的灰度图案。由于非两值化投影方式的一次投影可以获得比两值化投影更多的信息，所以，它可以减少投影次数、提高测量速度。

参考文献1所示最优化强度调制结构光投影技术是目前国际上最为先进的非两值化投影方法之一，由于它只需要一次结构光投影，即可算出物体的表面三维信息，所以可以最大限度的减少投影次数，提高测量速度。如参考文献2所示，它不仅可以测量静止物体，也可以测量非静止物体。

参考文献1：

专利号ZL200580039510.9(中国)，US 7,583,391(美国)，JP4883517(日本)

申请人 福冈工业大学

发明人 卢存伟

参考文献2：

申请号 200880010126.X

授权公告号 CN 1010646919B

申请人 福冈工业大学

发明人 卢存伟，长元气

但是上述技术仍存在着一个问题，即对于表面色彩或反射特性复杂的物体，由于反射光条纹的强度受物体表面色彩及反射特性的影响而发生变化，因而条纹检测精度受到限制，近而三维测量的精度也受到限制，也就是说尽管上述技术只使用一次投影便可以实现三维测量，但是对于表面色彩或反射特性复杂的物体无法获得更高的测量精度。

发明内容

为此，本发明的目的在于，提供一种三维图像测量方法，提高对投影条纹的识别精度和三维测量的测量精度，使得只是用一次结构光投影，便可获得高精度的三维测量。

为实现上述目的，本发明提出了结构光两重调制方式，第一重为彩色调制，第二重为光强调制。其中光强调制部分，可以实现参考文献1及2的功能，而彩色调制部分可以先将整个结构光空间分成3个子空间以扩大光强调制的精度。由于在使用光强调制之前先将投影光分成了3个区域，而在各个区域中的条纹光强调制精度没有改变，所以使用本发明的技术比使用参考文献1及2的技术，在保持测量时间不变的前提之下，可以将测量精度提高3倍。

在条纹式结构光投影三维测量技术中，条纹的识别特别是条纹的地址信息的判定是最重要的。条纹的识别精度及其地址信息的判定精度取决于各个条纹之间特别是相邻的条纹之间的强度差，该强度差越大条纹的识别精度及其地址信息的判定精度就越高。图1为强度调制投影光条纹的强度分布示意图，如果投影条纹的总数为15，我们可以将能够使用的条纹强度个数也设为15，这样各个条纹之间的强度差即为1。

如果我们先将结构光空间分为三个子空间，然后在各个子空间同样投影15条条纹的话，尽管投影条纹的总数仍然为15，但是各个条纹之间的强度差将变为3，如图2所示，这样条纹的识别精度及其地址信息的判定精度就被扩大了3倍。

在这种情况下，在图像处理时，首先要正确地判定各个条纹所在的子空间，即正确判断某个条纹是属于哪个子空间，然后再识别该条纹的地址信息以获得正确的条纹信息，即需要得到哪个子空间、第几号条纹的双重信息。

为解决子空间判别问题，本发明首先对投影光进行子空间划分，并对各个子空间进行彩色调制，即第一层次的调制。彩色调制的结果是生成一个基础投影光，在基础投影光中，分别为纯红色光子空间、纯绿色光子空间、纯蓝色光子空间；在纯红色光子空间中，R频道的投影光强度为非零，G和B频道的投影光强度为零；在纯绿色光子空间中，G频道的投影光强度为非零，R和B频道的投影光强度为零；在纯蓝色光子空间中，B频道的投影光强度为非零，G和R频道的投影光强度为零。基础投影光R，G，B三个频道中的非零子空间的投影光的强度值被称为投影光的基础光强。

图3为彩色调制的基础投影光强度分布示意图，在子空间1，即纯红色光子空间，R频道的投影强度被赋予一个非零的基础光强，G和B频道的投影强度值为最小值零；同样，在子空间2，即纯绿色光子空间，G频道的投影强度被赋予一个非零的基础光强，R和B频道的投影强度值为最小值零；在子空间3，即纯蓝色光子空间，B频道的投影强度被赋予一个非零的基础光强，R和G频道的投影强度值为最小值零。

然后在各个子空间，我们分别对投影光的强度进行调制，即光强调制。图2为在3个子空间分别进行光强调制后的投影光强度分布的示意图。光强调制可以使用参考文献1及2的最优化强度调制技术，也可以使用线性强度调制或其他的调制方式。图8为一种简单的线性光强调制的投影光强度分布示意图，在该调制方式中，共使用了15个投影条纹，假设条纹的最小强度为15，最大强度为225，即15个条纹的强度在15到225之间线性变化，相邻的两个条纹间的强度差为15。如第一个条纹的强度为15，第二个条纹的强度为30，第三个条纹的强度为45等等。这样如果不考虑其它因素的影响，我们便可以根据条纹的光强，判断出其为第几个投影条纹。如我们检测到一个强度为30的条纹，则我们就可以判断出其为第二个条纹。

最后将进行彩色调制和光强调制的复合调制，即将各个子空间的条纹的基础光强和强度调制条纹的光强进行叠加，实现第二层次的调制。这样便可以得到如图4所示的两重调制投影光强度分布图。

图5为本发明的系统结构框图。首先由计算机生成彩色调制基础投影光信息和光强调制条纹信息以及复合后的两重调制条纹信息，并将该两重调制条纹信息输出给投影仪，经投影仪将该两重投影光投影到被测物体上。

然后，用数字照相机拍摄经物体反射后的两重调制投影光图像，输入给计算机。

在计算机中，首先进行彩色解调，根据彩色调制信息将输入的图像进行子空间分类，得到各个条纹的子空间信息，然后再进行强度解调，在各个子空间根据强度调制信息检测出各个投影条纹的地址信息。这样根据两重解调，便可得到条纹的全部信息。最后根据得到的条纹信息，按照三角测量等公知的三维图像处理方法，计算出被测物体的表面的三维信息。

本发明的效果

(1)本发明使用投影仪、照相机和计算机等常用设备，利用彩色和光强两重调制结构光投影测量的方法，实现高速、高精度三维测量。

(2)本发明的结构光首先通过彩色调制，将整个投影光在空间上分割成三个子空间，其中，子空间1的R频道的投影光强度值为非零的基础光强，而G频道和B频道的投影光强度值为最小值零，子空间2的G频道的投影光强度值为非零的基础光强，而R频道和B频道的投影光强度值为最小值零，第三子空间的B频道的投影光强度值为非零的基础光强，而R频道和G频道的投影光强度值为最小值零。由于非零的基础光强的强度值和最小值零的区别是现有理论和技术中最容易实现及最不容易产生误差的方法，所以使用这种彩色调制方式，可以保证在解调时能够得到最大的解调精度，亦可以获得最大的子空间判定精度。

(3)本发明的投影条纹的光强调制采用发明人以前发明的最优化强度调制技术，可以保证在各个子区间内的条纹地址的判定精度为最大。

(4)使用彩色和光强两重调制，既可以保证子空间的判定精度为最大，又可以保证在各个子空间内的条纹地址的判定精度为最大，从而保证整个投影光中各个条纹信息的判定精度为最大，使得三维测量的精度为最大。

(5)本发明的彩色调制和解调以及光强调制和解调均使用计算机软件实现，无需使用任何硬件设备。

(6)本发明的两重调制结构光投影由投影仪实现，所用的投影仪既可以是一般泛用的液晶投影仪、PLD投影仪、LED投影仪、激光投影仪，也可以是专用的投影仪。

(7)本发明所使用的照相机可以是一般民用的数字式照相机、摄像机，也可以是工业相机或摄像机。

(8)综上所述，本发明的技术方法可以使用简单常用的软硬件设备来实现，无需高价的、专用的特殊设备。因而，成本低廉，易于普及。

附图说明

图1强度调制投影光条纹的强度分布

图2子空间分类后的投影光的强度分布

图3彩色调制的基础投影光强度分布

图4彩色和强度两重调制后的投影光强度分布

图5本发明的系统结构框图

图6本发明的硬件系统结构图

图7本发明的三维测量流程图

图8为两重调制后的投影条纹强度分布示意图

具体实施方式

下面结合附图进一步说明本发明的实施方案。

图5为本发明的系统结构框图，本发明使用计算机、投影仪和照相机等常用设备。彩色和光强两重调制结构光信息由计算机1生成，投影仪2将该投影光投影到被测物体3上，照相机4拍摄经被测物体3反射的投影光图像并输入给计算机1，计算机1对该数字图像进行彩色和强度两重解调、三维信息计算等图像处理，计算出被测物体3的表面的各个点的三维信息。该测量方法，可实现高速、高精度三维测量。

图6为本发明的硬件系统结构图。存储单元10存储计算机1计算出的彩色调制信息、强度调制信息、照相机4拍摄的投影光图像和计算机1处理图像的各种中间结果及最终结果。

彩色调制单元14产生测量所需要的彩色调制光，光强调制单元13产生测量所需要的强度调制光，彩色调制光和强度调制光经投影单元12混合后形成彩色和强度两重调制结构光，并由投影仪2投影到被测物体3。

经被测物体3反射的两重调制结构光由照相机4的摄影单元16拍摄，作为反射条纹图像输入给计算机1。

子空间判定单元17将反射条纹图像分解为3个子空间图像。条纹地址判定单元18计算3个子空间中的各个条纹的地址信息。三维信息计算单元19根据各个条纹的子空间信息和地址信息，计算出条纹上各个点的三维信息。

图7为本发明的三维测量流程图。在测量前，首先进行彩色调制基础投影光生成101，然后进行强度调制投影光生成102，最后将彩色调制基础投影光强度和光强调制投影光条纹强度复合，进行两重调制投影光生成103。两重调制投影光由投影仪2投向被测物体3。

程序101至程序103为离线过程，在测量前由计算机内的软件来完成，无需在线操作。另外，由程序101至程序103生成的两重调制投影光，不是针对某一个特定的被测物体，它可以用于测量尺寸大小相近的同一类物体。如测量物体的尺寸大小变化在1.5倍范围之内，可以视为同一类物体。也就是说，如果被测量物体的尺寸变化在1.5倍范围以内，则测量用的两重调制投影光无需重新生成，这样便可以节省测量时间。

图3为彩色调制的基础投影光强度分布示意图。从图3中可以看出，整个投影空间被分成了3个子空间，在第一子空间，R频道的投影强度被赋了一个基础强度值，G频道和B频道的强度值皆为零；同样，在第二子空间，G频道的投影强度被赋了一个基础强度值，R频道和子空B频道的强度值皆为零；在第三子空间，B频道的投影强度被赋了一个基础强度值，G频道和R频道的强度值皆为零。

在常用的8位数字图像系统中，基础强度的值可取为50。

图4为彩色和强度两重调制后的投影光强度分布示意图。为了方便说明，强度调制使用了一般的线性调制，在实际应用中可使用最优化强度调制。通过图4可以看出，投影光中的各个条纹的强度变化规律和图2没有区别，即都是在同一子空间内，右边的条纹的强度比左边的条纹的强度增加3。

在图2中，1号条纹、6号条纹和11号条纹的强度值是一样的，都是1。这样我们便无法根据条纹的强度值判断出其地址信息，即我们无法断定该条纹到底是1号、6号还是11号。

但是在图4中，我们可以看到，1号条纹被叠加了一个红色的基础强度，6号条纹被叠加了一个绿色的基础强度，而11号条纹被叠加了一个蓝色的基础强度。这样我们就可以根据基础强度的色彩，来断定该条纹是1号、6号、还是11号。从而保证唯一的正确的得出条纹的地址信息。

按上述方法生成的两重强度调制投影光由投影仪2投向被测物体3进行两重调制光投影104，然后由数字照相机4拍摄进行反射光条纹图像摄影105，并输入计算机1，由计算机1进行图像处理。

在计算机1图像处理过程中，首先进行子空间判定106，将反射光条纹图像分解为3个子空间。反射条纹图像中存在红色的基础强度的部分为第一子空间，存在绿色的基础强度的部分为第二子空间，存在蓝色的基础强度的部分为第三子空间。

然后在各个子空间进行投影条纹地址判定107，即根据条纹的强度及其强度的变化规律，得出该条纹地地址信息。如在红色基础强度区域，即在第一子空间内，如果有一个条纹的强度为3左右，比如为2至4之间；其右边的条纹强度为6左右，比如5-7之间；而且在该子空间内没有比该条纹强度更低的条纹，这样我们便可以断定出该条纹的地址为1，而绝对不会误判断为6号或11号，也不会误判断为7号或12号，因为6号或11号的条纹强度不在2-4之间，而7号或12号的条纹强度尽管满足在2-4之间的条件，但是由于没有一个红色的基础强度，即7号或12号不在第一子空间内，所以不会被误判。

根据上述子空间判定及条纹地址判定结果，我们可以按照公知的三维坐标计算方法，进行三维信息计算108，计算出被测物体表面的三维信息。在此不再赘述。

主要的应用领域

本发明可以用于静止物体的三维测量，以提高测量精度、减少测量时间。如产品外观质量、形状、尺寸测量，合格/不合格判定等。

本发明也可以用于非静止物体的三维测量，如生产线上移动的产品的实时三维测量及质量管理，汽车等行进中的物体的三维测量，还可以用于人脸的三维形状测量，实现三维人物积别。

Claims (5)

1.一种三维图像测量方法，包括使用经调制后的投影光向被测物体进行投影，并拍摄其反射光图像，经计算机图像处理得到被测物体表面的三维信息，其特征在于步骤如下：

(1)子空间划分及彩色调制

通过彩色调制单元生成彩色调制的基础投影光，该基础投影光在空间上分成3个子空间，分别为纯红色光子空间、纯绿色光子空间、纯蓝色光子空间；在纯红色光子空间中，对R频道的投影强度赋予一个非零的基础光强，G频道和B频道的投影强度值为最小值零；在纯绿色光子空间中，对G频道的投影强度赋予一个非零的基础光强，R频道和B频道的投影强度值为最小值零；在纯蓝色光子空间中，对B频道的投影强度赋予一个非零的基础光强，R频道和G频道的投影强度值为最小值零；

(2)光强调制

通过光强调制单元分别对步骤(1)所述的3个子空间的投影光进行光强调制产生光强调制投影光条纹强度；

(3)光强调制和彩色调制复合

通过光强调制单元将步骤(1)所述的基础投影光的R，G，B三个频道中的非零子空间的投影光强度与步骤(2)所述的光强调制投影光条纹强度进行复合，生成两重调制投影光，并将该两重调制投影光信息输出给投影仪，经投影仪将该两重调制投影光投影到被测物体上；

(4)子空间判定

数字照相机拍摄经被测物体反射的两重调制投影光图像，并输入给计算机，通过子空间判定单元，根据两重调制投影光图像的R，G，B三个频道中的各个条纹的基础光强，将反射的两重调制投影光图像分解为3个子空间图像，得到各个条纹的子空间信息；

(5)条纹地址判定

通过条纹地址判定单元，根据两重调制投影光图像的R，G，B三个频道中各个条纹的投影强度分布规律，计算出3个子空间中的各个条纹的地址信息；

(6)三维信息计算

通过三维信息计算单元，根据两重调制投影光图像的R，G，B三个频道中各个条纹的子空间信息和地址信息，计算出各个条纹上各个点的三维信息。

2.如权利要求1所述的三维图像测量方法，其特征在于：所述的光强调制投影光为条纹式结构光。

3.如权利要求1所述的三维图像测量方法，其特征在于：所述的3个子空间中的条纹光强调制精度保持不变。

4.如权利要求1所述的三维图像测量方法，其特征在于：被测物体的尺寸变化在1.5倍范围以内，彩色调制和光强调制复合生成的两重调制投影光只生成一次。

5.权利要求1所述的三维图像测量方法，其特征在于：相同强度的条纹根据基础强度的色彩判定所述条纹的地址信息。

Images