CN112562064B

CN112562064B - 一种三维点云的精度无损实时计算方法及系统

Info

Publication number: CN112562064B
Application number: CN202011443143.1A
Authority: CN
Inventors: 刘凯; 许斌; 龚俊; 胡丹; 朱策
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2023-03-14
Anticipated expiration: 2040-12-08
Also published as: CN112562064A

Abstract

本申请提出一种三维点云的精度无损实时计算方法及系统，涉及三维重建技术领域，通过将三维重建过程所需的重建参数预先保存在查找表中，从而在三维重建过程中，可以通过读取相应参数的查找表，即能够将捕获到的目标物体的相位信息转换为目标物体的三维坐标，实现目标物体的三维重建；相比于其他的一些方案，不仅可以降低三维重建时的硬件资源开销，还能够提升计算效率。

Description

一种三维点云的精度无损实时计算方法及系统

技术领域

本申请涉及三维重建技术领域，具体而言，涉及一种三维点云的精度无损实时计算方法及系统。

背景技术

相位轮廓测量术是一种快速的高精度的三维测量技术，该技术通过投影仪向目标物体扫描预先配置的图案，然后通过相机捕获反射后的图案，经过解码获取目标物体表面的三维信息。

其中，在扫描物体时，可以沿着水平和垂直两个方向扫描物体可以获得更精确的三维重建效果。

然而，在计算出目标物体对应的三维点云数据的过程中，由于计算量较大，导致三维重建的效率较低。

发明内容

本申请的目的在于提供一种三维点云的精度无损实时计算方法及系统，不仅可以降低三维重建时的硬件资源开销，还能够提升计算效率。

为了实现上述目的，本申请采用的技术方案如下：

第一方面，本申请提供一种三维点云的精度无损实时计算方法，所述方法包括：

利用投影仪将预设的条纹图投射在目标物体上，并利用相机捕获产生的所述目标物体对应的调制变形条纹图；

计算出所述调制变形条纹图对应的相位信息；

利用预先配置的查找表，将所述相位信息转换为对应的三维点云数据。

第二方面，本申请提供一种三维点云的精度无损实时计算系统，所述系统包括：

采集模块，用于利用投影仪将预设的条纹图投射在目标物体上，并利用相机捕获产生的所述目标物体对应的调制变形条纹图；

处理模块，用于计算出所述调制变形条纹图对应的相位信息；

所述处理模块还用于，利用预先配置的查找表，将所述相位信息转换为对应的三维点云数据。

第三方面，本申请提供一种电子设备，所述电子设备包括存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的三维点云的精度无损实时计算方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的三维点云的精度无损实时计算方法。

本申请提供的一种三维点云的精度无损实时计算方法及系统，通过将三维重建过程所需的重建参数预先保存在查找表中，从而在三维重建过程中，可以通过读取该查找表，即能够将捕获到的目标物体的相位信息转换为目标物体的三维坐标，实现目标物体的三维重建；相比于其他的一些方案，不仅可以降低三维重建时的硬件资源开销，还能够提升计算效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出本申请提供的电子设备的一种示意性结构框图。

图2示出本申请提供的一种三维点云的精度无损实时计算方法的示意性流程图。

图3示出三维重建系统的一种示意图。

图4示出本申请提供的一种三维点云的精度无损实时计算系统的示意性结构图。

图中：100-电子设备；101-存储器；102-处理器；103-通信接口；300-精度无损实时计算系统；301-采集模块；302-处理模块。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的一些实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请选定的一些实施例。基于本申请中的一部分实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1示出本申请提供的电子设备100的一种示意性结构框图，在一些实施例中，电子设备100可以包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器101可用于存储软件程序及模块，如本申请提供的三维点云的精度无损实时计算系统对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理，进而执行本申请提供的三维点云的精度无损实时计算方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解的是，图1所示的结构仅为示意，电子设备100还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

下面以图1所示的电子设备100作为示意性执行主体，对本申请提供的一种三维点云的精度无损实时计算方法进行示例性说明。

请参阅图2，图2示出本申请提供的一种三维点云的精度无损实时计算方法的示意性流程图，该精度无损实时计算方法可以包括以下步骤：

步骤201，利用投影仪将预设的条纹图投射在目标物体上，并利用相机捕获产生的目标物体对应的调制变形条纹图。

步骤203，计算出调制变形条纹图对应的相位信息。

步骤205，利用预先配置的查找表，将相位信息转换为对应的三维点云数据。

在一些实施例中，以图3示例的三维重建系统为例，该三维重建系统可以包括投影仪、相机，其中，投影仪可以将预设的条纹图投射到目标物体上，并在目标物体上产生调制后的变形条纹图；相机可以捕获该变形条纹图，然后传输给电子设备，由电子设备根据接收的调制变形条纹图，计算出对应的相位信息，并基于该相位技术计算出目标物体对应的三维点云数据，从而实现目标物体的三维重建。

示例性地，在一些可能的实施方式中，在执行步骤201时，可以利用投影仪将预设的条纹图分别沿水平和垂直方向投射在目标物体上，从而获得的目标物体表面水平以及垂直方向的信息。

其中，结合图3所示，假定

和

是分别表示从相机视角和投影仪视角计算出的世界坐标；则从相机视角，目标物体表面的三维坐标

可以表示如下：

式中，

是相机光心，

表示的是经过

和

的向量，T^p表示以向量的模为单位从

到

距离参数。

通过几何推导，可得距离参数T^p可以表示为：

式中，x^p和y^p分别表示沿着水平和垂直方向扫描得到的相位信息，

表示投影仪空间的极点。

表示投影仪空间的相位极点，

表示相机光心参数。

上述公式的参数可以分别采用以下公式计算获得：

其中，

表示标定后投影仪矩阵内的元素，

表示标定后相机校准矩阵中的元素。

与上述的相机视角相对地，从投影仪视角，目标物体表面的三维坐标

可以表示如下：

式中，

表示投影仪光心坐标，

表示从

到

的向量，T^c表示以向量的模为单位从

到

的距离参数。

同样，通过几何推导，上述的距离参数T^c可以表示为：

式中，

表示相机空间的极点。

表示相机空间内的相位极点，

表示投影仪光心参数，

表示捕获图像的像素坐标。

上述的参数可以分别采用以下公式计算获得：

其中，

表示标定后相机校准矩阵中的元素，

表示标定后投影仪矩阵内的元素。

其中，在一些实施例中，从

到

的方向向量可以表示为：

在一些可能的场景中，将通过

到

的直线可以表示为如下形式：

其中，当T＝0时，(X_w,Y_w,Z_w)位于

当T＝1时，(X_w,Y_w,Z_w)位于

因此，将(X_w,Y_w,Z_w)映射到相机空间，设映射得到的点坐标表示为

则可以推导出其表达式为：

其中，

将(X_w,Y_w,Z_w)映射至投影仪空间，设映射得到的点坐标表示为

可以推导出其表达式为：

其中，

结合两式通过最小二乘法可求得距离参数T表示为：

其中，

因此，(X_w,Y_w,Z_w)可以表示为：

其中，在一些实施例中，结合一些快速算法，对上述的公式进行整理后，目标物体表面的三维坐标的计算公式可以表示如下：

其中，

因此，在一些可能的实施范式中，电子设备在计算出调制变形条纹图对应的相位信息x^p和y^p后，可以将相位信息x^p和y^p代入上述的计算公式中，从而计算出目标物体表面的三维坐标。

其中，结合上述计算公式可知，上述公式所需的参数值不仅包括相位信息x^p和y^p，还包括参数

E₁、F₁、G₁、E₂、F₂、G₂、

在这些参数中，

可以结合上述的公式计算获得，E₁、F₁、G₁、E₂、F₂、G₂则可以通过以下公式计算获得：

根据上述可知，

表示标定后相机校准矩阵中的元素，(x^c,y^c)表示捕获图像的像素坐标。

另外，上述公式中的

以及

可以通过以下公式计算获得：

其中，电子设备在利用上述公式计算出目标物体对应的三维坐标的过程中，由于需要针对每一个像素点均计算出

E₁、F₁、G₁、E₂、F₂、G₂、

导致计算时电子设备所需的硬件资源开销较大，且计算周期较长。

因此，为了降低计算时所需的硬件资源，以及提高计算效率，针对一个稳定的三维重建系统，可以通过预先配置的方式，将该三维重建系统中每一个像素点对应的

E₁、F₁、G₁、E₂、F₂、G₂、

等参数的值保存在查找表中，使得电子设备在执行步骤205的过程中，可以利用该预先配置的查找表，获得该三维重建系统中每一个像素点各自对应的所有参数，并结合每一个像素各自对应的相位进行，利用上述的公式计算出每一个像素点各自对应的三维坐标，从而完成目标物体的三维重建。

其中，可以理解的是，上述的查找表，可以是电子设备在执行步骤205之前，接收用户的输入获得，也可以是电子设备接收其他的设备发送获得，本申请对于上述查找表的获得方式不进行限定。

并且，在一些可能的实施方式中，上述的

E₁、F₁、G₁、E₂、F₂、G₂、

可以分别对应不同的查找表，即上述的预先配置的查找表可以存在多个，每一个重建参数均可以对应一个查找表。

另外，在本申请其他一些可能的实施方式，上述的预先配置的查找表可以仅包括一个，每一个像素点各自对应的

E₁、F₁、G₁、E₂、F₂、G₂、

参数值均保存在该查找表中。

如此，按照本申请提供的上述方案，通过将三维重建过程所需的重建参数预先保存在查找表中，从而在三维重建过程中，可以通过读取该查找表，即能够将捕获到的目标物体的相位信息转换为目标物体的三维坐标，实现目标物体的三维重建；相比于其他的一些方案，不仅可以降低三维重建时的硬件资源开销，还能够提升计算效率。

另外，基于与本申请提供的上述三维点云的精度无损实时计算方法相同的发明构思，本申请还提供一种如图4所示的三维点云的精度无损实时计算系统300，该精度无损实时计算系统300包括采集模块301及处理模块302。其中：

采集模块301，用于利用投影仪将预设的条纹图投射在目标物体上，并利用相机捕获产生的所述目标物体对应的调制变形条纹图；

处理模块302，用于计算出所述调制变形条纹图对应的相位信息；

所述处理模块302还用于，利用预先配置的查找表，将所述信息转换为对应的三维点云数据。

可选地，在一些可能的实施方式中，所述采集模块301在利用投影仪将预设的条纹图投射在目标物体上时，具体用于：

利用投影仪将预设的条纹图分别沿水平和垂直方向投射在目标物体上。

可选地，在一些可能的实施方式中，获得所述三维点云数据的公式满足如下：

且：

其中，(X_w,Y_w,Z_w)表示目标物体表面的三维坐标；

E₁、F₁、G₁、E₂、F₂、G₂、

均通过查找预先配置的查找表获得；

表示相机的光心坐标；

表示预先配置的从

到

的向量；

表示投影仪的光心坐标，

表示从投影仪视角的所述目标物体表面的三维坐标；x^p和y^p分别为沿着水平和垂直方向扫描得到的相位，

表示投影仪空间的极点坐标。

可选地，在一些可能的实施方式中，

E₁、F₁、G₁、E₂、F₂、G₂、

分别对应不同的查找表。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的一些实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请的一些实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请的一些实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的部分实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。