CN111207697B - 基于查找表的相位和调制获取方法、装置及电子设备 - Google Patents

Abstract

本申请实施例涉及三维重建技术领域，具体而言，提供了一种基于查找表的相位及调制获取方法、装置及电子设备。先将获取到的变形条纹图像信息分至特定的组别，然后分别利用预先建立好的一个相位查找表和一个调制信息查找表快速查找求解出各组的相位及其调制信息，然后通过一些补偿算法对所求得的相位进行修正，最后将各组的数据进行均值融合，得到最终的相位与调制信息。如此，简化了计算过程和计算的复杂度，使得相位与调制信息获取耗时减少。

Description

基于查找表的相位和调制获取方法、装置及电子设备

技术领域

本申请涉及三维重建技术领域，具体而言，涉及一种基于查找表的相位和调制获取方法、装置及电子设备。

背景技术

相位测量轮廓术是一种非接触三维传感方法，这种方法采用正弦光栅投影和数字相移技术，能以较低廉的光学、电子和数字硬件设备为基础，以较高的速度和精度获取处理大量的三维数据。当一个正弦光栅图形投影到三维漫反射物体表面时，从成像系统可以获得受物体表面面形调制的变形条纹，然后传至计算单元计算相位信息，最终使用相位信息和预先求出的校准矩阵计算出物体三维数据。

传统的相位轮廓测量术在计算相位和调制过程中，需要进行一步极其耗时的反正切和开平方运算，这一过程严重影响了相位轮廓测量术的实时性性能。目前的解决措施是通过建立查找表，将计算结果储存起来，以绕开这两项运算。但当投影图像增多时，当前算法需要分组建立查找表，每组都需要配置相位查找表，换句话说，如果将图像总数分为M组时，就需要建立M个相位查找表，消耗了大量的储存空间。

发明内容

为了克服上述现有技术中的不足，本申请提出一种基于查找表的相位和调制获取方法。

为了实现上述目的，本发明实施例采用的技术方案如下：

按预设规则确定正弦相移光栅图像总数量N；

通过投影设备将N副相移光栅图投射至被测物体，并获取被物体表面起伏调制后的变形光栅图；

将变形光栅图按预定规则分组；

利用预先建立好的一个相位查找表和一个调制信息查找表快速查找出各组的相位及其调制信息；

最后将各组相位和调制信息进行均值融合，得到最终结果。

进一步地，确定正弦相移光栅图像总数量的预设规则为：

图像总数量N能够被分为N＝KM的形式，其中K为3、4或者6的一个，K是每组图像的数量，M为组别的数量。

进一步地，条纹图的分组规则包括：将N张变形条纹图分为M组，其中每组有K张变形条纹图，K是3、4、6中的一个数值。每组条纹图如下：

G_m＝{I_n|n＝m+kM and k∈[0，K-1]}，

其中Gm为第m组包含的变形图，共K张；In为第n张变形条纹图，M为组别的总数量。

进一步地，预先建立调制信息查找表的步骤包括：

以K＝4为例，先设定以下参数：

然后按以下公式建立调制信息查找表：

进一步地，预先建立相位信息查找表的步骤包括：

以K＝4为例，先设定以下参数：

然后按以下公式建立相位查找表：

值得强调的是，该相位查找表在第0组的时候可以直接使用，在其他组的相位求解过程也可以共用该相位查找表，但需要做一些额外的步骤。

进一步地，当组号不等于0的分组使用相位查找表时，需要做的额外工作如下：

进一步地，其中对相位的补偿算法具体步骤包括：

对各分组的相位针对两类误差进行补偿，高斯白噪声误差和非线性误差，针对高斯白噪声误差，需要对各组相位做以下操作：

其中

是被高斯白噪声污染的第m组相位；

针对非线性误差，需要先设定两个参数，

然后对各种相位做以下操作：

其中

是被非线性误差污染过的第m组相位，mod是取模操作，

其中，

进一步地，将使用所述步骤求得的各组相位和调制信息进行均值融合的操作如下：

等式左边分别是最终的整体的调制信息和相位。

本申请实施例还提供一种基于查找表的相位和调制获取装置，该装置包括：

投影模块，用于通过投影装置将预设条纹图投射到目标物体上，以产生调制后的变形条纹图；获取模块，用于获取被物体表面起伏调制后的变形条纹图；分组模块，将获取所述变形条纹图按既定规则进行分组；计算模块，根据预设的二维查找表和既定补偿算法计算各组的相位与调制；融合模块，将各组的相位和调制信息进行均值操作，以获取最终总体的相位和调制信息。本申请实施例还提供一种电子设备，所述设备包括处理器、存储器、基于查找表的相位和调制获取装置及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，并执行上述的基于查找表的相位和调制信息获取方法的步骤。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供了一种基于查找表的相位和调制信息获取方法、装置及电子设备。先将获取到的变形条纹图像信息分至特定的组别，然后分别利用预先建立好的一个相位查找表和一个调制信息查找表快速查找求解出各组的相位及其调制信息，然后通过一些补偿算法对所求得的相位进行修正，最后将各组的数据进行均值融合，得到最终的相位与调制信息。如此，简化了计算过程和计算的复杂度，使得相位与调制信息获取耗时减少。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的基于查找表的相位和调制获取方法的流程图。

图2示出了本发明实施例提供的调制信息查找表。

图3示出了本发明实施例提供的相位查找表。

图4示出了本发明实施例提供的电子设备100的结构框图。

图标：100-电子设备；110-基于多个二维查找表的相位获取装置；111-投影模块；112-获取模块；113-分组模块；114-计算模块；115-融合模块；120-处理器；130-存储器。

图5示出了本发明实施例提供的对所提算法与现有算法的运算复杂度对比图。

图6示出了本发明实施例提供的使用所提算法的被测物体三维重建图。

图7示出了本发明实施例提供的基于查找表的相位和调制信息获取装置的功能模块框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

经申请人研究发现，传统的相位测量轮廓术采用投影复合频率正弦图像，既需要多个频率的较多条纹图，该算法对静态物体的三维点云重建可以达到很高的精度，但是同时，由于投射复合频率过程中投影、相机捕捉图像以及算法计算过程中较多的耗时，注定着投影大量复合频率正弦图像的模式无法重建动态物体。其中算法计算过程中的耗时操作包括开根号操作以及反正切操作。而仅仅从减少投影正弦图像数量上解决重建的实时性问题则意味无法保证算法对于高斯噪声、元器件的非线性误差等因素的鲁棒性。

现有的算法有一种是针对相移图像数量分别为3、4以及6等情况分别建立查找表的算法，能够有效的绕开相位计算过程中耗时最多的反正切函数，但是由于其算法的特殊性，只能针对少数几种相移数目建立查找表，由于相移图像数目较少，对高斯噪声以及非线性现象的鲁棒性较差。还有人通过将数量N为KM个的图像分组处理，每组建立一个相位查找表，其中，K为每组图像的个数，M为组别总数，其算法面对的图像数量范围比不分组的情况下广，但是由于该算法的具体实现过程需要针对每组图像都建立一个二维查找表，再加上一个共用的调制信息查找表，共计M+1个二维查找表，需要占用大量的内存空间，影响了算法的通用性。鉴于以上所述，本申请实施例提供一种基于查找表的相位和调制信息获取方法，该发明和其他算法的显著不同是各组可以共用一张二维相位查找表，再加上一张共用的调制信息查找表，只需两张表就可以达到算法需求，大量减少了对内存的硬需求。具体算法是先将获取到的变形条纹图像信息分至特定的组别，然后分别利用预先建立好的一个相位查找表和一个调制信息查找表快速查找求解出各组的相位及其调制信息，然后通过一些补偿算法对所求得的相位进行修正，最后将各组的数据进行均值融合，得到最终的相位与调制信息。下面对本申请实施例提供的方案进行详细阐述。

在实际使用时，需要先使用投影设备面向被测物体投影光栅图案。该光栅图案可以用以下公式表示为：

其中，

是投影图案在投影坐标(x^p,y^p)处的亮度，A^p和B^p是两个提前设定好的常量，通常选择A^p+B^p＝255并且A^p>B^p，整数f是投影图案的空间频率，H是投影机空间分辨率的高度，N是相移系数，N(N>3)是相移步数，即频率为f的投影图案总数，在本算法中，N的大小按照一定规则提前设定好，具体规则为：图像总数量N能够被分为N＝KM的形式，其中K为3、4或者6中的一个，K是每组图像的数量，M为组别的数量，值得强调的，这里只讨论频率单一的情况。

当投影的光栅图案投影到被测物体上后，由于被测物体表面的起伏，投影图案将会受到变形调制变成不规则条纹图，提前设置与投影设备同步的相机将捕捉发生变形的投影图案，并且可以使用如下公式表示为：

其中，A^c和B^c分别是在相机坐标(x^c,y^c)处的直流分量和调制信息，n是相移系数，N是相移步数，同时也是图像总个数，

是投影图案在相机处的亮度，φ是相位。直流分量A^c是重建后的三维点云的纹理，该调制信息B^c可以用来滤除背景噪声，调制信息的计算方式如下：

需要注意的是，其计算过程需要两个平方过程以及一个开方过程，这几个运算都属于耗时较多的运算。

在三维重建过程中，相位φ是一个很重要的变量，其精确性直接影响重建结果的精确度，计算相位的速度也直接影响重建速度，相位的计算方式为：

从计算公式中可以看出，其计算过程需要反正切运算，再加上调制信息中的平方和开方运算，计算过程耗时耗力，这时候就需要查找表将计算结果储存起来绕开这些运算过程，达到加速的目的。具体的过程：

请参照图1，是本发明实施例提供的一种基于查找表的相位和调制信息获取方法的流程示意图，该方法包括：

步骤S1，按预设规则确定正弦相移光栅图像总数量N。

在本算法中，N的大小按照一定规则提前设定好，具体规则为：图像总数量N能够被分为N＝KM的形式，其中K为3、4或者6中的一个，K是每组图像的数量，M为组别的数量。步骤S2，通过投影设备将N副相移光栅图投射至被测物体，并获取被物体表面起伏调制后的变形光栅图。

步骤S3，将变形光栅图按预定规则分组。

具体如下，将捕获后的N张变形条纹图按照如下规则分组：

G_m＝{I_n|n＝m+kM and k∈[0，K-1]}

其中，Gm为第m组的图像合集，共K张变形图，下面步骤中相位和调制信息的计算都是以该分组为单位的。

步骤S4，利用预先建立好的一个相位查找表和一个调制信息查找表快速查找出各组的相位及其调制信息。

具体而言，按照S1步骤中分类规则，设定图像数N等于12，K等于4，M等于3为例，调制信息查找表的构建方式如下：先设定参数

则调制信息查找表为

请参阅图2，该图就是预先建立的二维调制查找表可视化后的图像。

相位查找表的构建方式如下：

请参阅图3，该图就是预先建立的二维相位查找表可视化后的图像，值得强调的是，图3所示相位查找表可以直接用于第0组变形条纹图的相位求解过程，但其他组可以通过一些额外步骤共用该相位查找表来求出该组的相位值，具体步骤如下：

由此就不需要每一组都配置一个二维相位查找表，算法需要的相位查找表从M变为了1个，大大减轻了算法造成的内存负担。

步骤S5，通过一些补偿算法对所求得的相位进行修正，然后将各组相位和调制信息进行均值融合，得到最终结果。补偿过程具体如下：

对高斯白噪声造成误差的补偿算法的公式表达如下：

其中Φ_m是指第m分组的相位误差。

对元器件非线性误差的补偿如下：

P^(m)＝[P^(m)+CLUT(m)]mod 2π

其中P^(m)为m组图像的相位值，CUUT(m)是一个一维查找表，该查找表的具体建立过程可以参照现有技术，在此不做赘述。

获得补偿后各组相位以及调制信息之后，需要将其进行均值融合得到最终整体的相位以及调制信息。具体过程可用以下公式表示：

参阅图4，图4为本申请实施例提供的电子设备100的结构框图。本申请实施例提供的基于查找表的相位和调制信息获取方法可以通过该电子设备100实现。

具体地，电子设备100包括处理器120、存储器130、基于查找表的相位展开装置110及总线，所述存储器130存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器130之间通过总线通信，所述处理器120执行所述机器可读指令，并执行本申请实施例提供的基于查找表的相位和调制信息获取方法的步骤。

可以理解，图4所示的结构仅为示意，所述电子设备100还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

可选地，所述电子设备100的具体类型不受限制，例如，可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑及数据服务器等具有处理功能的设备。

请参阅图5，发明人对相位和调制信息获取过程针对所提算法和两种现有算法的所需运算进行了分析。由表格可知，在分组数为M、每组图像数为3的情况下，所提算法即单查找表法运算量明显少于传统算法，虽然所提算法的运算量要少量高于多查找表法，但对内存空间的需求明显少于多查找法。

为了验证算法的实时性，发明人使用所提算法和两种现有算法对石膏像进行了重建测试，请参阅图6，图6为通过发明人提供算法重构的石膏像的三维正视图和侧视图，针对K等于3，M等于4的情况，所提算法的重建帧数为249.00fps，多查找表法的重建帧数为231.05fps，传统算法的重建帧数为56.24fps，由此可见，所提算法的重建帧数在传统算法的4.43倍，换而言之，重建算法的实时性能力得到大幅度提升。

请参阅图7，本申请实施例还提供一种基于查找表的相位和调制信息获取装置110，所述装置包括：

投影模块，用于通过投影装置将预设条纹图投射到目标物体上，以产生调制后的变形条纹图；获取模块，用于获取被物体表面起伏调制后的变形条纹图；分组模块，将获取所述变形条纹图按既定规则进行分组；计算模块，根据预设的二维查找表和既定补偿算法计算各组的相位与调制；融合模块，将各组的相位和调制信息进行均值操作，以获取最终总体的相位和调制信息。可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

综上所述，本发明实施例提供的一种基于查找表的相位和调制信息获取方法及装置，先将获取到的变形条纹图像信息分至特定的组别，然后分别利用预先建立好的一个相位查找表和一个调制信息查找表快速查找求解出各组的相位及其调制信息，然后通过一些补偿算法对所求得的相位进行修正，最后将各组的数据进行均值融合，得到最终的相位与调制信息。如此，简化了计算过程和计算的复杂度，使得相位与调制信息获取耗时减少。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (2)

1.一种基于查找表的相位和调制获取方法，其特征在于，所述方法包括：

按预设规则确定正弦相移光栅图像总数量N；

通过投影设备将N副相移光栅图投射至被测物体，并获取被物体表面起伏调制后的变形光栅图；

将变形光栅图按预定规则分组；

利用预先建立好的一个相位查找表和一个调制信息查找表快速查找出各组的相位及其调制信息；

通过一些补偿算法对所求得的相位进行修正，然后将各组相位和调制信息进行均值融合，得到最终结果；

确定正弦相移光栅图像的预设规则如下：

图像总数量N能够被分为N＝KM的形式，其中K为3、4或者6中的一个，K是每组图像的数量，M为组别的数量；

其中建立调制查找表的步骤包括：

确定K的数值后，

以K等于4为例，按照以下公式建立调制信息的二维查找表：

其中，I_m为第m张变形光栅图，同理I_m+M为第m+M张变形光栅图，m为变形光栅图的序号，M为分组后组别的总数，MLUT为调制查找表；

其中建立相位查找表的步骤包括：

以当K等于4的情况为例，按照以下公式建立相位的二维查找表：

其中PLUT⁽⁰⁾为第0组的相位查找表；

补偿算法具体步骤包括：

针对分组过程中出现的混叠误差，对除了第0组以外的其他分组相位做以下补偿操作：

其中，

是被高斯白噪声污染的第m组相位，m为计算得出的相位组别序号，Φ₀是第0组相位值。

2.根据权利要求1所述的基于查找表的相位和调制获取方法，其特征在于，建立完第0组的相位查找表以后，其他各组的相位查找方式为：

Images