CN117197366B - 用于三维重建的动态物体相位计算方法及系统 - Google Patents

Abstract

本发明公开了一种用于三维重建的动态物体相位计算方法及系统，该方法包括：获取带有图案的第一相位图和无图案的第二相位图；基于第二相位图获得相应的包含帧间每一像素位移信息的稠密光流矩阵，基于每一稠密光流矩阵对相应的第一相位图进行配准处理，以获得配准图；基于相位提取算法对配准图和用于配准的基准图进行相移相位提取处理，以获得包裹相位和N‑1个分别为相配准的两第一相位图之间的相移量；采用配准图分别对相应的第一相位图进行更新，以对第一相位图进行循环迭代配准，直至达到迭代终止条件后输出当前包裹相位。通过上述方法，不依赖于相位图中的特征点进行配准，而且通过循环迭代配准的方式来减小图案相位图中像素不匹配造成的误差。

Description

用于三维重建的动态物体相位计算方法及系统

技术领域

本发明涉及三维重建技术领域，尤其涉及一种用于三维重建的动态物体相位计算方法及系统。

背景技术

PSP方法（相移轮廓术）基于高精度、速度快和对噪声鲁棒性强的特点被广泛应用于三维重建领域。PSP方法一般至少需要三帧正弦条纹图像计算相位，进而实现物体三维重建。但PSP方法要求在拍摄三帧条纹图像期间物体保持静止。如果拍摄期间物体存在运动会造成不同帧条纹图中的物体位置不匹配(像素点不匹配)，降低了求解相位的精度。若能将不同帧之间的运动物体配准到同一位置，则可以解决像素点不匹配问题，从而提高相位求解的精度。

为了实现不同帧条纹图像之间物体位置的配准，可以通过计算物体特征点位置在不同帧图像之间的变化，再逆向完成物体位置的变换，从而实现不同帧之间的物体配准到同一位置。目前常规图像配准方法主要包括基于区域的配准方法和基于特征的配准方法。其中，基于特征的图像配准方法是通过提取图像中的某些特征，如点、线、面等，将这些特征与被匹配的图像进行比较分析，从而得到匹配结果。然而在PSP系统中帧间条纹图像是存在相移的，即除了物体运动外，还存在条纹与物体的相对运动。当对具有运动物体的多帧条纹图之间进行匹配时，条纹与物体的相对运动会改变不同帧之间的物体上条纹图像的灰度值分布，造成难以直接利用条纹图进行运动物体位置的精确配准。

为了解决条纹图像难以配准的问题，可以在每一帧条纹图像获取过程中，额外拍摄或利用不同颜色通道获得的不带条纹的物体图像，再利用SIFT等方法提取物体自身或额外放置标志图案的特征点，并计算特征点在不同帧之间位置变换，获得不同帧之间物体的运动信息，进而完成不同帧条纹图像的配准。或者利用LK光流法通过假设一个像素和其相邻的某个邻域内的所有像素有着同样的光流矢量，利用加权最小二乘法，对邻域内所有像素基于光流约束方程求解出光流矩阵。根据光流矩阵对不同帧之间的条纹图像进行配准。

例如，对于lulie方法，其首先对物体表面放置三个标记来跟踪物体运动，然后根据特征点在不同帧之间的变化计算出相邻帧物体的旋转矩阵与平移向量，使用旋转矩阵与平移向量计算运动造成的相位误差，然后在重建模型包括运动信息的情况下应用最小二乘算法来检索正确的相位。另外，对于guo方法，其利用LK光流法通过假设一个像素和其相邻的某个邻域内的所有像素有着同样的光流矢量，利用加权最小二乘法，对邻域内所有像素基于光流约束方程求解出光流矩阵。根据光流矩阵计算物体在相机成像面上的运动信息并结合五步相移方法将1-4帧与2-5帧图像分别计算求取物体在投影仪成像面上的运动信息，当获取这两个信息后则可进行相位求解。

然而，上述方法都严重依赖于物体图像的特征点，对此，如果物体颜色、纹理比较均匀，特征点不明显或过少，则图像配准效果较差，从而影响后续相位求解精度。

发明内容

本发明的目的是提供一种在三维重建过程中能够实现对无明显特征点的运动物体图像的精确配准，从而解决物体运动造成的像素点不匹配问题的用于三维重建的动态物体相位计算方法及系统。

为了实现上述目的，本发明公开了一种用于三维重建的动态物体相位计算方法，其包括：

采用周期连续变化的且带有图案的理想图投射到目标物表面，以获取被该目标物调制后的N帧具有相移并带有所述图案的第一相位图，N≥3；

从每一帧所述第一相位图中分离出无图案的第二相位图；

将N-1个所述第二相位图分别与相同的另一所述第二相位图相组配，以获得N-1组配准数据对；

对每一组所述配准数据对进行解析处理，以获得相应的包含帧间每一像素位移信息的稠密光流矩阵；

基于每一所述稠密光流矩阵对相应的所述第一相位图进行配准处理，以获得N-1个配准图；

基于相位提取算法对N-1个所述配准图和用作配准基准的所述第一相位图进行相移相位提取处理，以获得包裹相位和N-1个分别为相配准的两所述第一相位图之间的相移量；

判断当前任一所述相移量与上一迭代周期产生的相应的相移量的差的绝对值是否小于预设的迭代阈值，如果否，则采用所述配准图分别对相应的所述第一相位图进行更新，并重新对更新后的N帧所述第一相位图进行配准处理以及相移相位提取处理；如果是，则输出当前包裹相位。

较佳地，通过预设的深度学习模型对每一组所述配准数据对进行解析处理，以获得所述稠密光流矩阵。

较佳地，对每一组所述配准数据对进行解析处理的方法还包括：

采用稀疏光流跟踪方法获取相组配的两帧所述第二相位图之间特征点之间的位移信息，并根据该位移信息构建稀疏光流矩阵；

采用二维双线性插值的方法对所述稀疏光流矩阵进行插值计算，以构建稠密光流算法模型；

通过所述稠密光流算法模型对每一组所述配准数据对进行计算，以获得N-1个所述稠密光流矩阵。

较佳地，采用预设的修正系数对所述稠密光流矩阵中的每一位移信息进行校正。

较佳地，通过所述稠密光流矩阵对第一相位图进行配准处理后，还基于补偿量对配准图再次进行补偿配准，该/>满足下述公式：

其中，为两所述第一相位图之间的相移量，/>为所述包裹相位，u为两帧相配准的第一相位图的位移量，K为单个像素对应的相位值。

较佳地，所述迭代阈值ε满足如下条件：。

较佳地，所述理想图中的图案为条纹图。

本发明还公开一种用于三维重建的动态物体相位计算系统，其特包括一投影仪、一相机以及与所述投影仪和所述相机通信连接的处理器，所述投影仪用于向目标物投射理想图，所述相机用于捕获经目标物调制后的相位图，所述处理器基于如上所述的动态物体相位计算方法工作。

本发明还公开一种用于三维重建的动态物体相位计算系统，其包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的用于三维重建的动态物体相位计算方法的指令。

本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的用于三维重建的动态物体相位计算方法。

与现有技术相比，根据上述技术方案公开的动态物体相位计算方法对目标物进行三维重建时，从带有图案的第一相位图中分离出纯色的第二相位图，进而通过第二相位图获得相配准的两相位图之间的位移信息，并根据该位移信息对第一相位图进行配准。对第一相位图进行配准后，基于配准后的相位图对相应的配准前的相位图进行更新，并再次对更新后的相位图进行配准，也即循环迭代配准，直至达到迭代终止条件，该终止条件为：当前配准后的两相位图的相移量和上一周期配准后的两相位图的相移量的差的绝对值的大小。由此可知，通过上述方案，不依赖于相位图中的特征点进行配准，而且通过循环迭代配准的方式来减小图案相位图中像素不匹配造成的误差，从而有效提升相位求解的精度。

附图说明

图1为本发明实施例中相位计算方法流程图。

图2为本发明实施例中投影仪投射出的带有图案的理想图。

图3为本发明实施例中第一相位图的配准原理图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本实施例公开一种基于迭代配准的动态物体相位计算方法，以用于三维重建中相位点的计算，本实施例中的相位计算方法适配于处于运动状态的目标物，而且不依赖物体上特征点进行相位图配准。如图1，本实施例中的相位计算方法包括如下步骤：

S1：采用周期连续变化的且带有图案的理想图投射到目标物表面，以获取被该目标物调制后的N帧具有相移并带有所述图案的第一相位图，N≥3。

具体地，提供一投影仪和一相机，并对投影仪和相机进行内外参数标定，以构成相移轮廓术测量系统。投影仪向目标物表面投射带有图案的理想图，该理想图中的图案可为条纹或其它具有编码特性的图形结构。该理想图具有正弦周期变化特性，且光强分布均匀。因此，不同时刻投影仪输出的理想图的相位不同。

当理想图投射到目标物表面时，通过目标物表面的调制，理想图变形，通过相机捕获调制后变形的图像。

本实施例采用四帧分别具有不同相位的理想图和调制图进行三维重建。第一帧理想图的相位为，第二帧理想图与第一帧理想图相差/>，第三帧理想图与第一帧理想图相差/>，第四帧理想图与第一帧理想图相差/>。那么，以灰度值来表示，如图2，四帧理想图/>(i=1、2、3、4)分别如下式一至式四。

（一）

（二）

（三）

（四）

其中，A为背景光强度，B为调制光强度。

S2：从每一帧第一相位图中分离出无图案的第二相位图。

本实施例中，相机捕获的变形后的第一相位图为RGB三通道图，然后将每一帧的具有三通道的第一相位图进行通道分离，以从每一帧的B通道中剥离出纯色无图案的图像，从而获得四帧第二相位图。仍以灰度值来表示，第一相位图为，该第二相位图为/>。

S3：将N-1个第二相位图分别与相同的另一第二相位图相组配，以获得N-1组配准数据对。以上述四帧第二相位图分别为、/>、/>、/>为例，将/>与/>组配成一配准数据对，将/>与/>组配成一配准数据对，将/>与/>组配成一配准数据对。

S4：对每一组配准数据对进行解析处理，以获得相应的包含帧间每一像素位移信息的稠密光流矩阵。

具体地，对与/>进行解析处理，以获得稠密光流矩阵G1，对/>与/>进行解析，以获得稠密光流矩阵G2，对/>与/>进行解析处理，以获得稠密光流矩阵G3。由于四帧第一相位图/>、/>、/>、/>分别与四帧第二相位图/>、/>、/>、/>相对应，因此，G1包含有/>与/>的像素位移信息，那么也就包含有/>与/>之间的像素位移信息；G2包含有/>与/>的像素位移信息，那么也就包含有/>与/>之间的像素位移信息；G3包含有/>与/>的像素位移信息，那么也就包含有/>与/>之间的像素位移信息。

S5：基于每一稠密光流矩阵对相应的第一相位图进行配准处理，以获得N-1个配准图。具体地，如图3，基于G1对第一相位图中的第一帧、第二帧/>进行配准，基于G2对第一相位图中的第一帧/>、第三帧/>进行配准，基于G3对第一相位图中的第一帧/>、第四帧/>进行配准。配准后的配准图为/>，那么获得的三帧配准图分别为/>、/>、/>。

S6：基于相位提取算法（也称AIA算法）对N-1个（也即上述、/>、/>三个）配准图和用作配准基准的第一相位图（也即第一帧/>）进行相移相位提取处理，以获得包裹相位/>和N-1个分别为相配准的两第一相位图之间的相移量/>。具体地，/>与/>之间的相移量为，/>与/>之间的相移量为/>，/>与/>之间的相移量为/>。在此需要说明的是，本实施例中的相位提取算法的具体内容属于本领域的公知常识，在此不再赘述。

S7：判断当前每一相移量与上一迭代周期产生的相应的相移量的差的绝对值是否小于预设的迭代阈值，也即判断三个相移量是否全部都满足如下条件，

其中，为当前周期k相配准的两第一相位图的相移量，/>为上一周期k-1相配准的两第一相位图的相移量。

如果不满足上述条件，则进入下述步骤S8进行图像配准的循环迭代，如果满足上述条件，则进入下述步骤S9。另外，当循环迭代的次数达到预设值时，也进入下述步骤S9。

进一步地，，具体地，在本实施例中，/>。

S8：采用配准图分别对相应的第一相位图进行更新，并重新从上述步骤S5开始执行。

S9：输出当前包裹相位。

进而，通过对包裹相位进行解包裹，以获得绝对相位，从而完成三维重建。

另一方面，对配准数据对进行解析处理的具体方式，本实施例公开如下两种。

一是：通过预设的深度学习模型对每一组配准数据对进行解析处理，以获得稠密光流矩阵。另外，对于本实施例中的深度学习模型的具体构建方式属于本领域的常规技术，在此不再赘述。

二是：首先，采用稀疏光流跟踪方法获取相组配的两帧第二相位图之间特征点之间的位移信息，并根据该位移信息构建稀疏光流矩阵。由于本实施例中采用的是稀疏光流跟踪方法提取两相位图之间的位移信息，因此，对第二相位图上的特征点的数量需求较少，对于特征点不明显的目标物也同样适用。

其次，采用二维双线性插值的方法对稀疏光流矩阵进行插值计算，以构建稠密光流算法模型；

最后，通过稠密光流算法模型对每一组配准数据对进行计算，以获得N-1个稠密光流矩阵。

另一方面，在通过稠密光流矩阵对第一相位图进行配准的过程中，为了防止出现矫正太过的情况，还采用预设的修正系数对稠密光流矩阵中的每一位移信息进行校正。具体地，将稠密光流矩阵中的每一位移量除以一个系数，1/>≤2.5。

另一方面，根据上述稠密光流矩阵对第一相位图进行配准，由于目标物运动造成的未知相移量，仍然会有所误差，因此，为了提升配准精度，通过稠密光流矩阵对第一相位图进行配准并获得相移量后，也即步骤S6之后，还通过补偿量对第一相位图进行进一步配准，该补偿量/>符合下述公式：

其中，u为两帧相配准的第一相位图的位移量，K为单个像素对应的相位值。

另外，通过AIA算法求得包裹相位后，采用sobel算子/>或者prewitt算子对/>进行卷积运算，获得包裹相位的差分值/>，该差分值表示目标物形貌信息对理性图相位的调制程度。

在上述公式中，“/>”为目标物运动造成的未知相移量。

通过上述公式，计算出/>与/>、/>与/>、/>与/>的补偿量/>、/>、/>，通过该补偿量对通过稠密光流矩阵配准后的第一相位图再次进行配准，以确保配准精度。

综上，根据上述实施例公开的动态物体相位计算方法对目标物进行三维重建时，从带有图案的第一相位图中分离出纯色的第二相位图，进而通过第二相位图获得相配准的两相位图之间的位移信息，并根据该位移信息对第一相位图进行配准。对第一相位图进行配准后，基于配准后的相位图对相应的配准前的相位图进行更新，并再次对更新后的相位图进行配准，也即循环迭代配准，直至达到迭代终止条件，该终止条件为：当前配准后的两相位图的相移量和上一周期配准后的两相位图的相移量的差的绝对值的大小。通过上述方案，不依赖于相位图中的特征点进行配准，而且通过循环迭代配准的方式来减小图案相位图中像素不匹配造成的误差，从而有效提升相位求解的精度。

本发明另一较佳实施例中，还公开一种用于三维重建的动态物体相位计算系统，其包括一投影仪、一相机以及与投影仪和相机通信连接的处理器，投影仪用于向目标物投射理想图，相机用于捕获经目标物调制后的相位图，处理器基于如上的动态物体相位计算方法工作。

本发明还公开另一种动态物体相位计算系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的动态物体相位计算方法的指令。处理器可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的动态物体相位计算系统中的模块所需执行的功能，或者执行本申请方法实施例的动态物体相位计算方法。

本发明还公开一种计算机可读存储介质，其包括计算机程序，所述计算机程序可被处理器执行以完成如上所述的动态物体相位计算方法。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solidstate disk，SSD)等。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述动态物体相位计算方法。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种用于三维重建的动态物体相位计算方法，其特征在于，包括：

采用周期连续变化的且带有图案的理想图投射到目标物表面，以获取被该目标物调制后的N帧具有相移并带有所述图案的第一相位图，N≥3；

从每一帧所述第一相位图中分离出无图案的第二相位图；

将N-1个所述第二相位图分别与相同的另一所述第二相位图相组配，以获得N-1组配准数据对；

对每一组所述配准数据对进行解析处理，以获得相应的包含帧间每一像素位移信息的稠密光流矩阵；

基于每一所述稠密光流矩阵对相应的所述第一相位图进行配准处理，以获得N-1个配准图；

基于相位提取算法对N-1个所述配准图和用作配准基准的所述第一相位图进行相移相位提取处理，以获得包裹相位和N-1个分别为相配准的两帧所述第一相位图之间的相移量；

判断当前每一所述相移量与上一迭代周期产生的相应的相移量的差的绝对值是否小于预设的迭代阈值，如果否，则采用所述配准图分别对相应的所述第一相位图进行更新，并重新对更新后的N帧所述第一相位图进行配准处理以及相移相位提取处理；如果是，则输出当前包裹相位。

2.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，通过预设的深度学习模型对每一组所述配准数据对进行解析处理，以获得所述稠密光流矩阵。

3.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，对每一组所述配准数据对进行解析处理的方法还包括：

采用稀疏光流跟踪方法获取相组配的两帧所述第二相位图之间特征点之间的位移信息，并根据该位移信息构建稀疏光流矩阵；

采用二维双线性插值的方法对所述稀疏光流矩阵进行插值计算，以构建稠密光流算法模型；

通过所述稠密光流算法模型对每一组所述配准数据对进行计算，以获得N-1个所述稠密光流矩阵。

4.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，采用预设的修正系数对所述稠密光流矩阵中的每一位移信息进行校正。

5.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，通过所述稠密光流矩阵对第一相位图进行配准处理后，还基于补偿量对配准图再次进行补偿配准，该/>满足下述公式：

其中，为两帧所述第一相位图之间的相移量，/>为所述包裹相位，u为两帧相配准的第一相位图的位移量，K为单个像素对应的相位值,x为所述第一相位图在基准坐标系中的水平维度。

6.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，所述迭代阈值ε满足如下条件：。

7.根据权利要求1所述的用于三维重建的动态物体相位计算方法，其特征在于，所述理想图中的图案为条纹图。

8.一种用于三维重建的动态物体相位计算系统，其特征在于，包括一投影仪、一相机以及与所述投影仪和所述相机通信连接的处理器，所述投影仪用于向目标物投射理想图，所述相机用于捕获经目标物调制后的相位图，所述处理器基于权利要求1至7任一项所述的动态物体相位计算方法工作。

9.一种用于三维重建的动态物体相位计算系统，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至7任一项所述的用于三维重建的动态物体相位计算方法的指令。

10.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至7任一项所述的用于三维重建的动态物体相位计算方法。