CN113327317B - 三维点云图获取方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种三维点云图获取方法、装置、电子设备和存储介质，具体实现方案为：获取捕获到的被测物体表面的条纹图像，其中，所述条纹图像由三组不同周期的条纹图像组成，并将捕获到的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图并获得对应通道的相位展开曲线；根据第一通道相位展开曲线修正第二通道相位展开曲线，并根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线；根据修正后的第三通道相位展开曲线，计算得出被测物体表面的三维点云图。该公开使得在被测物深度突变区域较多或突变较大时也能够准确获得三维点云图。

Description

三维点云图获取方法、装置、电子设备和存储介质

技术领域

本公开涉及图像技术领域，尤其涉及三维点云图像技术领域，特别的涉及一种三维点云图获取方法、装置、电子设备和存储介质。

背景技术

利用图像获取物体的深度信息目前主要有两种方式：主动方式和被动方式。被动方式主要利用现有的信息不增加额外辅助信息的方式获取物体表面深度信息，典型的如双目立体视觉技术、飞行时间法(ToF)；而主动方式是指主动向被测物投射其他辅助信息以实现深度的测量，主要有结构光投影法。

正弦条纹投影法测量物体三维形貌属于结构光测量的范畴，主要是向被测物投射已知相位信息的光线，利用光的传播特性(光程差)得到正弦条纹光在深度变化物体表面的相位变化信息，也就是相位差，进而计算出物体表面每个像素点到相机光心的距离。最终求出物体表面三维坐标，得到三维点云。

发明内容

本公开提供了一种三维点云图获取、装置、电子设备以及存储介质。

根据本公开的第一方面，提供了一种三维点云图获取方法，包括；

获取捕获到的被测物体表面的条纹图像，并将捕获到的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，每张灰度正弦条纹图像中对应的正弦周期不同；

获取第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线；

根据第一通道相位展开曲线修正第二通道相位展开曲线，并根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线；

根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点的三维坐标，得到被测物体表面的三维点云图。

根据本公开的第二方面，提供了一种三维点云图获取装置，包括：

图像处理模块，获取捕获到的被测物体表面的条纹图像，并将捕获到的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，每张灰度正弦条纹图像中对应的正弦周期不同；

相位展开模块，获取第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线；

相位修正模块，根据第一通道相位展开曲线修正第二通道相位展开曲线，并根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线；

坐标计算模块，根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点的三维坐标，得到被测物体表面的三维点云图

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行前述第一方面的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据前述第一方面的方法。

根据本公开的技术方案，将三种正弦周期不同正弦条纹投影至被测物体表面，通过向被测物体投射额外的编码条纹结构光以增加相位信息，用较密集的条纹保证测量精度，用较稀疏的条纹保证测量结果的准确性，最终达到提升深度突变区域的测量精度的目的。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本公开实施例提供的条纹投影测量方法示意图；

图2是本公开实施例提供的传统条纹投影测量法的相位差示意图；

图3是本公开实施例提供的一种三维点云图获取方法流程图；

图4是本公开实施例提供的三通道图像中相位信息示意图；

图5是本公开实施例提供的第二通道相位展开曲线的修正流程图；

图6是本公开实施例提供的第二通道灰度图中相位值的确认流程图；

图7是本公开实施例提供的第三通道相位展开曲线的修正流程图；

图8是本公开实施例提供的第三通道灰度图中相位值的确认流程图；

图9是本公开实施例提供的三维点云图的获取流程图；

图10是本公开实施例提供的一种三维点云图获取装置的结构框图；

图11是本公开实施例提供的另一种三维点云图获取装置的结构框图；

图12是本公开实施例提供的另一种三维点云图获取装置的结构框图；

图13是本公开实施例提供的另一种三维点云图获取装置的结构框图；

图14是本公开实施例提供的一种用于实现三维点云图获取方法的电子设备的结构框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，正弦条纹投影法是结构光方法中最基本且应用最广的方法，其利用投射出亮度按正弦曲线变化的光线在被测物表面成像算出每个像素点的深度信息。这种方法的主要劣势在于条纹的宽度越小越精细，测量的精度越高，但与之而来的是如果物体深度在某个区域内突变，且突变相位超过了条纹的相位周期，就会造成解算出的相位值的重复使得某些区域深度信息丢失。

如图1所示，条纹投影测量主要原理是利用光在物体表面的传播路径的差异形成图像的相位差。测量过程的关键在于相位解包裹，如果相位解包裹越准确则测量结果越准确，反之亦然。以典型的四步相移法为例进行相位解包裹公式如下

其中I₁(x，y)，I₂(x，y)，I₃(x，y)和I₄(x，y)为4幅干涉条纹，公式中每组干涉条纹之间相差

表示：每次移动

个相位，共拍摄获得I₁、I₂、I₃和I₄4幅干涉条纹；

为干涉条纹的光强分布式，A、B、

为借助四个方程可以解出的三个未知量，T为周期(频率的倒数)。

可以理解，相位解包裹的目的是求得图像在每个像素点处的相位值。在一个周期内相位的变化(深度的变化)超过2π，则图像中会出现相位重复的现象。如图2所示，当被测物体表面深度变化较小，即W₁＜W₂时(W₁为深度的变化范围在图像中的宽度，W₂投影条纹的相位宽度)由于区域W₁处于条纹的一个周期内，公式I₁(x，y)≠I₂(x，y)≠I₃(x，y)≠I₄(x，y)必然成立，自然而然解包裹得到的

都是独立的；当被测物体表面深度变化较大时，即W′₁＞W₂时(W′₁表示物体表面深度变化大且表面缺乏纹理较光滑的区域宽度)，此时W′₁区域超出了一个周期条纹覆盖的范围，由于正弦条纹是周期性函数，会导致图像灰度值相等的区域扩大，也就是公式I₁(x，y)≠I₂(x，y)≠I₃(x，y)≠I₄(x，y)不一定时时刻刻都成立，最终导致相位解析的误差增大。

基于以上问题，本公开提出了一种三维点云图获取、装置、电子设备和存储介质。本公开可以使得在被测物深度突变区域较多且突变较大的情况下，依旧保持测量的精准性，防止造成某些区域深度信息丢失，提高了正弦条纹投影测量方法的适用范围。具体地，下面参考附图描述本公开实施例的三维点云图获取、装置、电子设备和存储介质。

图3为本公开实施例体所提供的一种三维点云图获取方法的流程图。如图3所示，该三维点云图获取方法包括步骤：

步骤301，获取捕获到的被测物体表面的条纹图像，并将捕获到的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，每张灰度正弦条纹图像中对应的正弦周期不同。

可选地，假设第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，则本公开可以利用彩色相机的特性，可以同时获取R、G、B三个通道的图像信息，彩色相机的三枚滤色镜(红、绿、蓝)分别对应红色通道(R)、绿色通道(G)、蓝色通道(B)。

需要说明的是，由于彩色相机的特殊结构和属性，采集得到的图像实际是由三张图像合成出的，分别为红色通道、绿色通道和蓝色通道，因投影投射的图像本身是三张经过处理过的灰度条纹图，故彩色相机每次采集到的图像分解过后实际均为原始三张条纹分别投射后的图像。

在一种实现方法中，先将预先生成的条纹图像投影至被测物体表面。

其中，在本公开实施例中，条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像生成，其中，每张灰度正弦条纹图像中对应的正弦周期不同。

需要说明的是，被投影到被测物体表面的条纹图像既可以是可见光，又可以是不可见光；当被投影到被测物体表面的条纹图像为可见光时，三张灰度正弦条纹图像为不同颜色通道组成的单色图像，当被投影到被测物体表面的条纹图像为不可见光时，需要使用特定的相机对图像进行捕获。

作为一种示例，当被投影到被测物体表面的条纹图像为可见光时，第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，三张灰度正弦条纹图像的正弦周期依次递减，且相互之间呈倍数关系。

需要说明的是，当被测物体表面的深度在某个区域内突变，且突变相位超过了条纹的相位周期时，可通过采用三张正弦周期不同的灰度正弦条纹图像之中较密集的正弦条纹进行相位运算，以保证测量精度，通过采用三张正弦周期不同的灰度正弦条纹图像之中较稀疏的正弦条纹进行相位运算，可以保证测量结果的准确性，最终达到提升深度突变区域的测量精度的目的。

在本公开实施例中，可通过将预先生成的彩色条纹图像投影至被测物体表面，并获取捕获到的被测物体表面的条纹图像，由于彩色条纹图为三种正弦周期不同的灰度正弦条纹图像构成，根据不同的正弦周期对应的灰度正弦条纹图像可以对不同深度的被测物体表面突变区域进行准确测量，以此解决突变相位超过了条纹的相位周期，就会造成解算出的相位值的重复无法进行测量的问题，如以下情况所示：

如图4所示，R通道和G通道范围内正弦条纹均超过一个周期，而B通道W′₁范围正弦条纹未超过一周期，即可证明，点P在R和G通道的图像中相位不能唯一确定，但是其在B通道图像中的相位却可以唯一确定，记作。G通道和R通道分别记作

和

则有：

其中，n_B代表B通道的周期数，n_G代表G通道的周期数，n_R代表R通道的周期数，f代表三个通道对应的频率，

和

分别代表着B通道、G通道和R通道的初始相位。

由于R通道和G通道W′₁范围内正弦条纹均超过一个周期，点P处相机捕获的灰度值为

余弦函数的周期性导致n_R和n_G不能唯一确定，也就无法从其处解出相位包裹，但B通道图像中的相位确定，以此来对不同深度的被测物体表面突变区域进行准确测量。因此，为了能够根据不同的正弦周期对应的灰度正弦条纹图像对不同深度的被测物体表面突变区域进行准确测量，需要从捕获到的条纹图像中分解出第一通道灰度图、第二通道灰度图和第三通道灰度图，以便利用第一通道灰度图、第二通道灰度图和第三通道灰度图对应的不同相位展开曲线，找到最精确的相位值，以便利用最精确的相位值准确测量被测物体表面的三维坐标。

步骤302，获取第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线。

需要说明的是，第一通道灰度图通过上述公式1进行相位解包裹运算，获得第一通道的相位展开曲线，同理可得，第二通道灰度图通过公式1进行相位解包裹运算，获得第二通道的相位展开曲线，第三通道灰度图通过公式1进行相位解包裹运算，获得第三通道的相位展开曲线。

步骤303，根据第一通道相位展开曲线修正第二通道相位展开曲线，并根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线。

在一种实现方法中，假设第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，R通道由于条纹最密集，结算的结果精度最高，而B通道精度最差，通过借助B通道的相位值先解算出G通道相位的精确值，即为“根据第一通道相位展开曲线修正第二通道相位展开曲线”；再通过G通道的相位值解算出R通道相位的精确值，即为“根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线”。既有效利用B通道的相位连续性，又获得R通道的测量精度，其本质为借助B通道的相位值解算出R通道相位的精确值。

步骤304，根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点的三维坐标，得到被测物体表面的三维点云图。

在一种实现方法中，通过向被测物体表面投射已知相位信息的光线，利用光的传播特性(光程差)得到正弦条纹光在深度变化物体表面的相位变化信息，即相位差，进而计算出物体表面每个像素点到相机光心的距离。最终求出物体表面三维坐标，得到三维点云。

在本公开实施例中，假设第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，因为第一灰度图周期最大，即测量范围最大，但若抛开深度突变区域不讲，R通道由于条纹最密集，结算的结果精度最高，而B通道由于条纹最稀疏精度最差，可在实际情况当中，由于测量深度的范围内R通道和G通道正弦条纹均超过一个周期，所以在R和G通道的图像中相位不能唯一确定，为了不损失R通道的测量精度，既需要通过B通道的相位值解算出G通道相位的精确值，再通过G通道相位的精确值解算出R通道相位的精确值，通过R通道相位的精确值即可得到被测物体表面中各像素点的三维坐标，根据三维坐标绘制出被测物体表面的三维点云图；其中B通道的正弦周期小于G通道的正弦周期，G通道的正弦周期小于R通道的正弦周期。由此，本公开通过使用较密集的条纹保证测量精度，用较稀疏的条纹保证测量结果的准确性。

需要说明的是，为了对第二通道相位展开曲线进行修正，可通过第一通道相位展开曲线进行运算推导，如图5所示，根据第一通道相位展开曲线修正第二通道相位展开曲线的实现方式可包括步骤：

步骤501，以第二灰度正弦条纹图像中对应颜色通道的正弦周期条纹作为第一周期条纹，将第一通道相位展开曲线归一化至第一周期条纹的相位展开曲线。

在一种实现方式中，假设第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，可将B通道相位展开曲线归一化到以T_G为周期条纹的相位展开曲线中，已知T_G＝2T_B，则，

其中，

表示归一化后的B通道相位曲线，

表示归一化前的B通道相位曲线。

步骤502，根据第二通道相位展开曲线和经过归一化的第一通道相位展开曲线，计算像素点在第二通道灰度图和第一通道灰度图的第一相位差。

在一种实现方法中，计算像素点(P)在G通道和B通道图像中的相位差公式为：

其中，

表示P点在G通道和B通道的相位差。

步骤503，根据第一相位差，确定像素点在第二通道灰度图中的实际相位值。

在本公开实施例中，假设第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像分别为B通道灰度正弦条纹图像、G通道灰度正弦条纹图像和R通道灰度正弦条纹图像，由于通道条纹越密集所得到的测量结果精度越高，可因为被测物深度突变区域较多且突变较大像素点在G通道的图像中相位不能唯一确定，但是像素点在B通道图像中的相位却可以唯一确定，即可通过将B通道相位展开曲线归一化到以为周期条纹的相位展开曲线中，再计算像素点在G通道和B通道图像中的相位差，可得像素点在G通道中得实际相位

由此，可通过用较稀疏的条纹保证测量结果的准确性。

需要说明的是，第二灰度正弦条纹图像中对应颜色通道的正弦周期为第一灰度正弦条纹图像中对应颜色通道的正弦周期的2倍。为了能够准确的确定像素点在第二通道灰度图中的实际相位值，将第一相位差进行公式运算。可选地，如图6所示，根据第一相位差，确定像素点在第二通道灰度图中的实际相位值的实现方式可包括步骤：

步骤601，判断第一相位差是否小于第一阈值；第一阈值为2π和第一系数的乘积值。

步骤602，如果第一相位差小于第一阈值，则将像素点在第二通道灰度图中的相位值作为像素点在第二通道灰度图中的实际相位值。

步骤603，如果第一相位差大于或等于第一阈值，则根据像素点在第二通道灰度图中的相位值和2π，确定像素点在第二通道灰度图中的实际相位值。

在一种实现方法中，计算像素点(P)在G通道中得实际相位

的公式为:

被测物体表面上所有x＞x_P处的像素均按照上式进行修正，从而可以获得被测物体表面上各像素点在第二通道灰度图中的实际相位值。其中，k*2π为第一阈值，k为第一系数，可根据实际情况将k设置为1.1等值。

在本公开实施例中，由于在被测物深度突变区域较多且突变较大时，G通道因相位重复的问题解算结果存在较大误差，B通道图像由于不存在重复相位故此相位解包裹的结果是准确的，为了进一步得到R通道的测量精度，通过B通道图像相位修正G通道图像相位。

需要说明的是，第三灰度正弦条纹图像中对应颜色通道的正弦周期为第二灰度正弦条纹图像中对应颜色通道的正弦周期的2倍；若是抛开深度突变区域不讲，R通道由于条纹最密集，结算的结果精度最高，为了既有效利用B通道的相位连续性，又不损失R通道的测量精度，需要借助B通道和G通道的相位值解算出R通道相位的精确值，可选地，如图7所示，根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线的实现方式可包括步骤：

步骤701，以第三灰度正弦条纹图像中对应颜色通道的正弦周期条纹作为第二周期条纹，将修正后的第二通道相位展开曲线归一化至第二周期条纹的相位展开曲线。

在一种实现方式中，将G通道相位展开曲线归一化到以T_R为周期条纹的相位展开曲线中，已知T_R＝2T_G，则，

其中，

表示归一化后的G通道相位曲线，

表示归一化前的G通道相位曲线。

步骤702，根据第三通道相位展开曲线和经过归一化的第二通道相位展开曲线，计算像素点在第三通道灰度图和第二通道灰度图的第二相位差。

在一种实现方法中，计算像素点(P)在R通道和G通道图像中的相位差公式为：

其中，

表示P点在G通道和B通道的相位差。

步骤703，根据第二相位差，确定像素点在第三通道灰度图中的实际相位值。

在本公开实施例中，既有效利用B通道的相位连续性，又不损失R通道的测量精度，可因为被测物深度突变区域较多且突变较大像素点在R通道的图像中相位不能唯一确定，但是像素点在B通道图像中的相位却可以唯一确定，先通过B通道相位曲线修正G通道相位曲线，得到

再使用修正后的G通道相位曲线修正R通道相位曲线。

需要说明的是，为了能够准确的确定像素点在第二通道灰度图中的实际相位值，将第一相位差进行公式运算，如图8所示，根据第二相位差，确定像素点在第三通道灰度图中的实际相位值的方法步骤包括：

步骤801，判断第二相位差是否小于第二阈值；第二阈值为2π和第二系数的乘积值。

步骤802，如果第二相位差小于第二阈值，则将像素点在第三通道灰度图中的相位值作为像素点在第三通道灰度图中的实际相位值。

步骤803，如果第二相位差大于或等于第二阈值，则根据像素点在第三通道灰度图中的相位值和2π，确定像素点在第三通道灰度图中的实际相位值。

在一种实现方法中，根据像素点在R通道和G通道的相位差，可得P点在R通道图像中的实际相位的公式表示为：

其中，所有处的像素均按照上式进行修正，k*2π为第二阈值，其中k为第二系数，可设置为1.1。

在本公开实施例中，为保证R通道的测量精度，通过G通道修正后的相位展开图解算出R通道相位的精确值，不仅有效利用B通道的相位连续性，还保证了R通道的测量精度。

需要说明的是，为了能够得到被测物体表面的三维点云图，可通过修正后的第三通道相位展开曲线进行计算，如图9所示，计算被测物体表面中各像素点的三维坐标，得到被测物体表面的三维点云图的方法步骤包括：

步骤901，根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点到相机光心的距离。

需要说明的是，通过第三通道相位展开曲线求像素点到相机光心的距离，其原理是利用光照射到不同距离物体所走的路程不同，及具有光程差，进而得到正弦条纹光在深度变化物体表面的相位变化信息，也就是相位差，相位差即可得出被测物体表面每个像素点到相机光心的距离。

步骤902，根据各像素点到相机光心的距离，计算各像素点的三维坐标，得到被测物体表面的三维点云图。

在本公开实施例中，正弦条纹投影法测量物体三维形貌属于结构光测量的范畴，主要是向被测物投射已知相位信息的光线，利用光的传播特性(光程差)得到正弦条纹光在深度变化物体表面的相位变化信息，根据相位变化信息计算物体表面每个像素点到相机光心的距离，从而得到三维坐标，得到三维点云。

为实现上述实施例，本公开还提出了一种三维点云图获取装置。

图10为本公开实施例提供的一种三维点云图获取装置的结构框图，如图10所示，该三维点云图获取装置可以包括：图像处理模块1010，相位展开模块1020，相位修正模块1030，坐标计算模块1040。

其中，图像处理模块1010用于获取捕获到的被测物体表面的条纹图像，并将所述捕获到的被测物体表面的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，所述条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，每张灰度正弦条纹图像中对应的正弦周期不同。

相位展开模块1020用于获取第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线。

相位修正模块1030用于根据第一通道相位展开曲线修正第二通道相位展开曲线，并根据修正后的第二通道相位展开曲线修正第三通道相位展开曲线。

坐标计算模块1040用于根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点的三维坐标，得到被测物体表面的三维点云图。

在一种实现方式中，第一灰度图周期最大，即测量深度最大，但测量精度最低，第三灰度图周期最小，测量的精度最高，测量深度最小，通过提前生成R、G、B三个通道的灰度正弦条纹图像，且将三张灰度图合成为一张彩色条纹图像，既有效利用B通道的相位连续性，又不损失R通道的测量精度。

可以理解，通过B通道的相位值解算出G通道相位的精确值，再通过G通道相位的精确值解算出R通道相位的精确值，通过R通道相位的精确值即可得到被测物体表面中各像素点的三维坐标，进而求出三维点云图。

在本公开一些实施例中，如图11所示，图11是本公开另一个实施例的三维点云图获取装置，该三维点云图获取装置相位修正模块1130包括：第一归一单元1131，第一相位计算单元1132，第一相位确定单元1133。

其中，第一归一单元1131用于将第二灰度正弦条纹图像中所对应颜色通道的正弦周期条纹作为第一周期条纹，将第一通道相位展开曲线归一化至第一周期条纹的相位展开曲线。

第一相位计算单元1132用于根据第二通道相位展开曲线和经过归一化的第一通道相位展开曲线，计算像素点在第二通道灰度图和第一通道灰度图的第一相位差。

第一相位确定单元1133用于根据第一相位差，确定像素点在第二通道灰度图中的实际相位值。

在一种实现方式中，在第一通道灰度图对应颜色通道的正弦周期为第二通道灰度图对应颜色通道正弦周期的两倍前提条件下，判断第一相位差是否小于第一阈值；第一阈值为和第一系数的乘积值；如果第一相位差小于第一阈值，则将像素点在第二通道灰度图中的相位值作为像素点在第二通道灰度图中的实际相位值；如果第一相位差大于或等于第一阈值，则根据像素点在第二通道灰度图中的相位值和，确定像素点在第二通道灰度图中的实际相位值。

可理解为，由于通道条纹越密集所得到的测量结果精度越高，可因为被测物深度突变区域的像素点在G通道的图像中相位不能唯一确定，但是像素点在B通道图像中的相位却可以唯一确定，即可通过将B通道相位展开曲线归一化到以为周期条纹的相位展开曲线中，再计算像素点在G通道和B通道图像中的相位差，可得像素点在G通道中得实际相位。

其中，图11中1110-1140和图10中1010-1040具有相同功能和结构。

在本公开的一些实施例中，如图12所示，图12是根据本公开另一个实施例的三维点云图获取装置，该三维点云图获取装置中相位修正模块1230包括：第二归一单元1234，第二相位计算单元1235，第二相位确定单元1236。

第二归一单元1234，用于将第三灰度正弦条纹图像中所对应颜色通道的正弦周期条纹作为第二周期条纹，将修正后的第二通道相位展开曲线归一化至第二周期条纹的相位展开曲线。

第二相位计算单元1235，用于根据第三通道相位展开曲线和经过归一化的第二通道相位展开曲线，计算像素点在第三通道灰度图和第二通道灰度图的第二相位差。

第二相位确定单元1236，用于根据第二相位差，确定像素点在第三通道灰度图中的实际相位值。

在一种实现方式中，在第二通道灰度图对应颜色通道的正弦周期为第三通道灰度图对应颜色通道正弦周期的两倍前提条件下，判断第二相位差是否小于第二阈值；第二阈值为2π和第二系数的乘积值；如果第二相位差小于第二阈值，则将像素点在第三通道灰度图中的相位值作为像素点在第三通道灰度图中的实际相位值；如果第二相位差大于或等于第二阈值，则根据像素点在第三通道灰度图中的相位值和2π，确定像素点在第三通道灰度图中的实际相位值。

其中，图12中1210-1240和图11中1110-1140具有相同功能和结构。

在本公开的一些实施例中，如图13所示，图13是根据本公开另一个实施例的三维点云图获取装置，该三维点云图获取装置中坐标计算模块1340包括：测距单元1341，点云图生成单元1342。

测距单元1341，用于根据修正后的第三通道相位展开曲线，计算被测物体表面中各像素点到相机光心的距离。

点云图生成单元1342，用于根据各像素点到相机光心的距离，计算各像素点的三维坐标，得到被测物体表面的三维点云图。

其中，图13中1310-1340和图12中1210-1240具有相同功能和结构。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开实施例的三维点云图获取装置，将三种正弦周期不同正弦条纹投影至被测物体表面，通过向被测物体投射额外的编码条纹结构光以增加相位信息，用较密集的条纹保证测量精度，用较稀疏的条纹保证测量结果的准确性，最终达到提升深度突变区域的测量精度的目的。

如图14所示，是根据本公开实施例的用于实现三维点云图获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图14所示，该电子设备包括：一个或多个处理器1401、存储器1402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器1401为例。

存储器1402即为本公开所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本公开所提供的三维点云图获取方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的三维点云图获取方法。

存储器1402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的三维点云图获取方法对应的程序指令/模块(例如，附图10所示的图像投射模块1010，图像处理模块1020，相位展开模块1030)。处理器1401通过运行存储在存储器1402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的三维点云图获取方法。

存储器1402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于实现三维点云图获取方法的电子设备的使用所创建的数据等。此外，存储器1402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1402可选包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至智能对话的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于实现三维点云图获取方法的电子设备还可以包括：输入装置1403和输出装置1404。处理器1401、存储器1402、输入装置1403和输出装置1404可以通过总线或者其他方式连接，图14中以通过总线连接为例。

输入装置1403可接收输入的数4字或字符信息，以及产生与智能对话的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开的技术方案，将三种正弦周期不同正弦条纹投影至被测物体表面，通过向被测物体投射额外的编码条纹结构光以增加相位信息，用较密集的条纹保证测量精度，用较稀疏的条纹保证测量结果的准确性，最终达到提升深度突变区域的测量精度的目的。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种三维点云图获取方法，其特征在于，包括：

获取捕获到的被测物体表面的条纹图像，并将所述捕获到的被测物体表面的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，所述条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，三张灰度正弦条纹图像的正弦周期依次递增，且相互之间呈倍数关系；

获取所述第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线；

根据所述第一通道相位展开曲线修正所述第二通道相位展开曲线，并根据修正后的所述第二通道相位展开曲线修正所述第三通道相位展开曲线，包括：根据所述第一通道相位展开曲线的相位值解算出所述第二通道相位展开曲线的相位值，根据所述第二通道相位展开曲线的相位值解算出所述第三通道相位展开曲线的相位值；

根据修正后的所述第三通道相位展开曲线，计算所述被测物体表面中各像素点的三维坐标，得到所述被测物体表面的三维点云图。

2.根据权利要求1所述的三维点云图获取方法，其特征在于，所述根据所述第一通道相位展开曲线修正所述第二通道相位展开曲线，包括：

以所述第二灰度正弦条纹图像中对应颜色通道的正弦周期条纹为第一周期条纹，将所述第一通道相位展开曲线归一化至所述第一周期条纹的相位展开曲线；

根据所述第二通道相位展开曲线和经过归一化的所述第一通道相位展开曲线，计算所述像素点在所述第二通道灰度图和所述第一通道灰度图的第一相位差；

根据所述第一相位差，确定所述像素点在所述第二通道灰度图中的实际相位值。

3.根据权利要求2所述的三维点云图获取方法，其特征在于，所述第二灰度正弦条纹图像中对应颜色通道的正弦周期为所述第一灰度正弦条纹图像中对应颜色通道的正弦周期的2倍；所述根据所述第一相位差，确定所述像素点在所述第二通道灰度图中的实际相位值，包括：

判断所述第一相位差是否小于第一阈值；所述第一阈值为2π和第一系数的乘积值；

如果所述第一相位差小于所述第一阈值，则将所述像素点在所述第二通道灰度图中的相位值作为所述像素点在所述第二通道灰度图中的实际相位值；

如果所述第一相位差大于或等于所述第一阈值，则根据所述像素点在所述第二通道灰度图中的相位值和所述2π，确定所述像素点在所述第二通道灰度图中的实际相位值。

4.根据权利要求1所述的三维点云图获取方法，其特征在于，所述第三灰度正弦条纹图像中对应颜色通道的正弦周期为所述第二灰度正弦条纹图像中对应颜色通道的正弦周期的2倍；所述根据修正后的所述第二通道相位展开曲线修正所述第三通道相位展开曲线，包括：

以所述第三灰度正弦条纹图像中对应颜色通道的正弦周期条纹作为第二周期条纹，将修正后的所述第二通道相位展开曲线归一化至所述第二周期条纹的相位展开曲线；

根据所述第三通道相位展开曲线和经过归一化的所述第二通道相位展开曲线，计算所述像素点在所述第三通道灰度图和所述第二通道灰度图的第二相位差；

根据所述第二相位差，确定所述像素点在所述第三通道灰度图中的实际相位值。

5.根据权利要求4所述的三维点云图获取方法，其特征在于，所述根据所述第二相位差，确定所述像素点在所述第三通道灰度图中的实际相位值，包括：

判断所述第二相位差是否小于第二阈值；所述第二阈值为2π和第二系数的乘积值；

如果所述第二相位差小于所述第二阈值，则将所述像素点在所述第三通道灰度图中的相位值作为所述像素点在所述第三通道灰度图中的实际相位值；

如果所述第二相位差大于或等于所述第二阈值，则根据所述像素点在所述第三通道灰度图中的相位值和所述2π，确定所述像素点在所述第三通道灰度图中的实际相位值。

6.根据权利要求1至5中任一项所述的三维点云图获取方法，其特征在于，所述根据修正后的所述第三通道相位展开曲线，计算所述被测物体表面中各像素点的三维坐标，得到所述被测物体表面的三维点云图，包括：

根据修正后的所述第三通道相位展开曲线，计算所述被测物体表面中各像素点到相机光心的距离；

根据所述各像素点到相机光心的距离，计算所述各像素点的三维坐标，得到所述被测物体表面的三维点云图。

7.一种三维点云图获取装置，包括：

图像处理模块，获取捕获到的被测物体表面的条纹图像，并将所述捕获到的被测物体表面的条纹图像分解为第一通道灰度图、第二通道灰度图和第三通道灰度图；其中，所述条纹图像为根据第一灰度正弦条纹图像、第二灰度正弦条纹图像和第三灰度正弦条纹图像构成，其中，三张灰度正弦条纹图像的正弦周期依次递增，且相互之间呈倍数关系；

相位展开模块，获取所述第一通道灰度图的第一通道相位展开曲线、第二通道灰度图的第二通道相位展开曲线和第三通道灰度图的第三通道相位展开曲线；

相位修正模块，根据所述第一通道相位展开曲线修正所述第二通道相位展开曲线，并根据修正后的所述第二通道相位展开曲线修正所述第三通道相位展开曲线，包括：根据所述第一通道相位展开曲线的相位值解算出所述第二通道相位展开曲线的相位值，根据所述第二通道相位展开曲线的相位值解算出所述第三通道相位展开曲线的相位值；

坐标计算模块，根据修正后的所述第三通道相位展开曲线，计算所述被测物体表面中各像素点的三维坐标，得到所述被测物体表面的三维点云图。

8.根据权利要求7所述的三维点云图获取装置，其特征在于，所述相位修正模块具体用于：

第一归一单元，以所述第二灰度正弦条纹图像中对应颜色通道的正弦周期条纹作为第一周期条纹，将所述第一通道相位展开曲线归一化至所述第一周期条纹的相位展开曲线；

第一相位计算单元，根据所述第二通道相位展开曲线和经过归一化的所述第一通道相位展开曲线，计算所述像素点在所述第二通道灰度图和所述第一通道灰度图的第一相位差；

第一相位确定单元，根据所述第一相位差，确定所述像素点在所述第二通道灰度图中的实际相位值。

9.根据权利要求8所述的三维点云图获取装置，其特征在于，所述第二灰度正弦条纹图像中对应颜色通道的正弦周期为所述第一灰度正弦条纹图像中对应颜色通道的正弦周期的2倍；所述第一相位确定单元具体用于：

判断所述第一相位差是否小于第一阈值；所述第一阈值为2π和第一系数的乘积值；

如果所述第一相位差小于所述第一阈值，则将所述像素点在所述第二通道灰度图中的相位值作为所述像素点在所述第二通道灰度图中的实际相位值；

如果所述第一相位差大于或等于所述第一阈值，则根据所述像素点在所述第二通道灰度图中的相位值和所述2π，确定所述像素点在所述第二通道灰度图中的实际相位值。

10.根据权利要求7所述的三维点云图获取装置，其特征在于，所述第三灰度正弦条纹图像中对应颜色通道的正弦周期为所述第二灰度正弦条纹图像中对应颜色通道的正弦周期的2倍；所述相位修正模块，包括：

第二归一单元，以所述第三灰度正弦条纹图像中对应颜色通道的正弦周期条纹作为第二周期条纹，将修正后的所述第二通道相位展开曲线归一化至所述第二周期条纹的相位展开曲线；

第二相位计算单元，根据所述第三通道相位展开曲线和经过归一化的所述第二通道相位展开曲线，计算所述像素点在所述第三通道灰度图和所述第二通道灰度图的第二相位差；

第二相位确定单元，根据所述第二相位差，确定所述像素点在所述第三通道灰度图中的实际相位值。

11.根据权利要求10所述的三维点云图获取装置，其特征在于，所述第二相位确定单元具体用于：

判断所述第二相位差是否小于第二阈值；所述第二阈值为2π和第二系数的乘积值；

如果所述第二相位差小于所述第二阈值，则将所述像素点在所述第三通道灰度图中的相位值作为所述像素点在所述第三通道灰度图中的实际相位值；

如果所述第二相位差大于或等于所述第二阈值，则根据所述像素点在所述第三通道灰度图中的相位值和所述2π，确定所述像素点在所述第三通道灰度图中的实际相位值。

12.根据权利要求7至11中任一项所述的三维点云图获取装置，其特征在于，所述坐标计算模块，包括：

测距单元，根据修正后的所述第三通道相位展开曲线，计算所述被测物体表面中各像素点到相机光心的距离；

点云图生成单元，根据所述各像素点到相机光心的距离，计算所述各像素点的三维坐标，得到所述被测物体表面的三维点云图。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。

Images