CN113658321B - 三维重建方法、系统及相关设备 - Google Patents
三维重建方法、系统及相关设备 Download PDFInfo
- Publication number
- CN113658321B CN113658321B CN202110846653.1A CN202110846653A CN113658321B CN 113658321 B CN113658321 B CN 113658321B CN 202110846653 A CN202110846653 A CN 202110846653A CN 113658321 B CN113658321 B CN 113658321B
- Authority
- CN
- China
- Prior art keywords
- stripe
- image
- images
- target
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000010363 phase shift Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000001314 profilometry Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种三维重建方法、系统及相关设备，该方法包括：获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像；利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像，其中，每组目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的目标条纹图像的条纹频率不同；利用若干组目标条纹图像，得到目标对象的三维信息。通过该方法，提高了三维重建速度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维重建方法、系统及相关设备。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对三维物体进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。
三维重建依赖于高精度的三维信息。目前，利用条纹投影轮廓术来获得高精度的三维信息是常用的技术手段。然而，通过条纹投影轮廓术获得高精度的三维信息，需要获得多张的条纹图像，而获得多张条纹图像则需要较长的时间为目标对象进行投影，这就使得三维重建过程中需花费较多时间来获取条纹图像，进而使得三维重建速度受到了限制。
因此，如何提高获取条纹图像的速度，对于促进该技术的进一步发展和应用，具有非常重要的意义。
发明内容
本申请提供一种三维重建方法、系统及相关设备。
本申请第一方面提供了一种三维重建方法，该方法包括：获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像；利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像，其中，每组目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的目标条纹图像的条纹频率不同；利用若干组目标条纹图像，得到目标对象的三维信息。
因此，通过利用图像生成模型对输入图像进行处理，可以获得若干组的目标条纹图像，且不同组的目标条纹图像的条纹频率不同，实现了利用少量的原始条纹图像来获得较多的目标条纹图像，以此可以减少向目标对象投影的时间，进而提高了条纹图像的获取速度，进而提高三维重建速度。
本申请第二方面提供了一种三维重建系统，系统包括：投影组件、拍摄组件和处理组件，其中，投影组件用于向目标对象表面投影条纹图像；拍摄组件用于采集得到受目标对象表面调制的原始条纹图像；处理组件用于将至少一帧原始条纹图像作为输入图像；利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像，其中，每组目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的目标条纹图像的条纹频率不同；利用若干组目标条纹图像，得到目标对象的三维信息。
本申请第三方面提供了一种三维重建设备，设备包括相互耦接的处理器和存储器，其中，处理器用于执行存储器存储的计算机程序以上述第一方面描述的方法三维重建。
上述方案，通过利用图像生成模型对输入图像进行处理，可以获得若干组的目标条纹图像，且不同组的目标条纹图像的条纹频率不同，实现了利用少量的原始条纹图像来获得较多的目标条纹图像，以此可以减少向目标对象投影的时间，进而提高了条纹图像的获取速度，进而提高三维重建速度
附图说明
图1是本申请三维重建方法第一实施例的第一流程示意图；
图2是本申请三维重建方法第一实施例的第二流程示意图；
图3是本申请三维重建方法第二实施例的流程示意图；
图4是本申请三维重建方法第三实施例的流程示意图；
图5是本申请图像生成模型输出目标条纹图像的示意图；
图6是本申请三维重建系统实施例的框架示意图；
图7是本申请三维重建设备一实施例的框架示意图；
图8为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请三维重建方法第一实施例的第一流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像。
条纹图像投影到目标对象以后，会发生扭曲，此时可以认为条纹图像被目标对象的高度调制，即是被目标对象表面调制。因此，在本申请中，可以获取受目标对象表面调制的至少一帧原始条纹图像，并将原始条纹图像作为输入图像输入到图像生成模型。
在一个实施方式中，输入图像包括一帧原始条纹图像，也即会将一帧原始条纹图像作为输入图像。在另一个实施方式中，输入图像包括条纹频率不同的两帧原始条纹图像，并且两帧原始条纹图像中的至少一帧原始条纹图像存在像素点的相移量满足预设条件。预设条件例如是原始条纹图像存在相移超过2π的像素点。当将一帧原始条纹图像作为输入图像时，该帧原始条纹图像像素点的相移量可以满足预设条件，也可以不满足预设条件，此时，可以限定图像生成模型后续输出的目标条纹图像的条纹频率与该原始条纹图像的条纹频率相同。在其他的实施方式中，作为输入图像的原始条纹图像的数量可以大于两帧。
在一个具体实施方式中，可以通过高速相机等设备来获取原始条纹图像。在另一个实施方式中，也可以是获取由其他设备获得的原始条纹图像。
步骤S12：利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像。
在本申请中，每组目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的目标条纹图像的条纹频率不同。也即，图像生成模型能够基于输入图像，输出多帧相同条纹频率的目标条纹图像，以及多组不同条纹频率的目标条纹图像。图像生成模型例如是卷积神经网络(Convolutional Neural Networks,CNN)。
步骤S13：利用若干组目标条纹图像，得到目标对象的三维信息。
得到的若干组目标条纹图像包含了目标对象的三维信息，因此可以利用若干组目标条纹图像，进行相应的处理，以此得到目标对象的三维信息。利用目标条纹图像计算三维信息的方法可以是本领域通用的计算方法，此处不再赘述。
因此，通过利用图像生成模型对输入图像进行处理，可以获得若干组的目标条纹图像，且不同组的目标条纹图像的条纹频率不同，实现了利用少量的原始条纹图像来获得较多的目标条纹图像，以此可以减少向目标对象投影的时间，进而提高了条纹图像的获取速度，进而提高三维重建速度。
在一个实施方式中，图像生成模型单次可以输出一组目标条纹图像。在此情况下，上述步骤提及的“利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像”具体可以是：利用图像生成模型对输入图像进行处理并输出一组目标条纹图像。然后可以重复执行该步骤，以此得到不少于两组的目标条纹图像。可以理解的，在重复执行时，获得的若干组目标条纹图像的条纹频率可以是相同的，也可以是不相同的。因此，通过重复执行获得目标条纹图像的步骤，可以获得若干组的目标条纹图像，使得后续可以实现获得目标对象的三维信息。
请参阅图2，图2是本申请三维重建方法第一实施例的第二流程示意图。在本实施例中，可以根据原始条纹图像的图像特点，来确定输入图像的数量。具体的，上述步骤提及的“获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像”具体包括步骤S111至步骤S114。
步骤S111：获取受目标对象表面调制的第一原始条纹图像。
首先，可以获得受目标对象表面调制的第一原始条纹图像，判断能否直接通过第一原始条纹图像来获取目标对象的三维信息。
步骤S112：判断目标对象是否为预设目标对象；
在本实施例中，预设目标对象可以是被确定能够使得第一原始条纹图像存在相移量超过预设值的像素点的对象。也即，当目标对象为预设目标对象，可以认为第一原始条纹在被目标对象表面调制后必然存在相移量超过预设值的像素点。预设目标对象可以是预选确定的，例如是人脸，手机等，具体可以根据需要进行设置。对目标对象进行识别的方法，可以是利用计算机视觉中通用的物体识别方法等物体检测方法，还可以是用户手动输入目标对象的具体类型，例如用户可以手动输入目标对象为人脸
若目标对象是预设目标对象，可以执行步骤S113；若目标对象不是预设目标对象，则可以执行步骤S114。
步骤S113：选择第一原始条纹图像和第二原始条纹图像作为输入图像。
目标对象是预设目标对象，则可以直接确认第一原始条纹图像中存在相移量超过预设值的像素点。此时，意味着无法直接通过第一原始条纹图像来获取目标对象的三维信息，因此可以选择第一原始条纹图像和第二原始条纹图像作为输入图像，并且限定第二原始条纹图像与第一原始条纹图像的条纹频率不同。因此，通过将第一原始条纹图像和第二原始条纹图像作为输入图像，可以利用少量的输入图像来获得较多的目标条纹图像，以此可以减少向目标对象投影的时间，进而提高了三维重建速度。
步骤S114：将第一原始条纹图像作为输入条纹图像。
目标对象不是预设目标对象，则可以直接确认在第一原始条纹图像中不存在相移量超过预设值的像素点，意味着能够直接通过第一原始条纹图像来获取目标对象的三维信息。此时，可以仅将第一原始条纹图像作为输入图像，以此可以减少输入图像的数量，加快三维重建速度。
因此，通过判断目标对象是否为预设目标对象，可以确定需要作为输入图像的图像帧的数量。
在一个实施例中，图像生成模型单次输出一组目标条纹图像。在此情况下，在执行上述步骤“判断第一原始条纹图像中是否存在相移量超过预设值的像素点”之前，本申请的三维重建方法还可以包括：
步骤S21：判断第一原始条纹图像的条纹频率与图像生成模型本次需输出的目标条纹图像的条纹频率是否相同。
若第一原始条纹图像与图像生成模型本次需输出的目标条纹图像的条纹频率相同，意味着仅需要一帧第一原始条纹即可以输出一组目标条纹图像。此时，可以直接将第一条纹图像作为输入图像，来得到一组与第一原始条纹图像的条纹频率相同的目标条纹图像。
若第一原始条纹图像与图像生成模型本次需输出的目标条纹图像的条纹频率不相同，则意味着仅第一原始条纹图像可能无法输出一组目标条纹图像，因此可能需要其他原始条纹图像共同输入到图像生成模型。此时，可以继续执行判断第一条纹图像中是否存在相移量满足预设条件的像素点及其后续的步骤，以此来确定是否需要利用将第二原始条纹图像作为输入图像。
因此，在图像生成模型单次输出一组目标条纹图像情况下，通过判断第一原始条纹图像的条纹频率与图像生成模型本次需输出的目标条纹图像的条纹频率是否相同，可以确定能否直接将第一条纹图像作为输入图像。
请参阅图3，图3是本申请三维重建方法第二实施例的流程示意图。在本实施例中，上述步骤提及的“利用若干组目标条纹图像，得到目标对象的三维信息”，具体包括步骤S31和步骤S32。
步骤S31：利用每组目标条纹图像中的图像信息，得到绝对相位。
在本实施例中，每组目标条纹图像至少包含条纹频率相同的三帧目标条纹图像。因为目标条纹图像的条纹信息中包含着目标对象的三维信息。因此，可以利用每组中至少三帧条纹频率相同的目标条纹图像中的图像信息，通过计算得到绝对相位，并利用绝对相位来获得三维信息。
在一个实施方式中，可以通过以下步骤S311至步骤S313来获得绝对相位。
步骤S311：利用每组目标条纹图像中的图像信息，得到每组目标条纹图像的包裹相位。
首先，可以利用每组目标条纹图像中的图像信息，例如是亮度信息，来得到每组目标条纹图像的包裹相位，计算包裹相位，即是解相，可以利用本领域通用的计算方法得到，此处不再赘述。
在一个实施方式中，可以通过以下公式(1)计算一组目标条纹图像的包裹相位。
其中，(x,y)为图像的像素坐标，N为相移步数，δn为相移量，In(x,y)亮度分布函数，则计算得到的包裹相位。
步骤S312：利用每组目标条纹图像的包裹相位，得到绝对相位。
计算绝对相位的方法，具体可以是利用多频相移法等本领域通用的计算方法来得到。
在一个具体实施方式中，可以通过以下公式(2)计算每组目标条纹图像的绝对相位。
其中，i表示组别，是第i组目标条纹图像的包裹相位，/>为第(-1)组目标条纹图像的绝对相位。
在得到每组目标条纹图像的绝对相位的后，后续可以利用迭代计算等本领域通用的方法，计算得到绝对相位。
在另一个实施方式中，也可以直接利用每组目标条纹图像的包裹相位进行计算，以得到绝对相位，具体的计算方法可以是本领域的通用的绝对相位计算方法，此处不再赘述。步骤S32：利用绝对相位，获得目标对象的三维信息。
利用每组目标条纹图像的相位信息，获得目标对象的三维信息，具体可以是利用投影仪与相机之间的标定参数，结合得到的绝对相位，完成绝对相位到三维的映射，以此得到目标对象的三维信息。投影仪是向目标对象投影条纹图像的设备，相机是获取原始条纹图像得到设备。此外，利用绝对相位进行三维映射，可以利用本领域通用的方法，此处不再赘述。
因此，通过利用每组目标条纹图像中的图像信息，最后可以得到绝对相位，后续便可以利用绝对相位获得目标对象的三维信息。
请参阅图4，图4是本申请三维重建方法第三实施例的流程示意图。在本实施例中，三维重建方法还包括步骤S41和步骤S42，用于对图像生成模型进行训练。
步骤S41：利用图像生成模型对样本条纹图像进行处理，以得到若干组预测样本条纹图像。
在本实施例，每组预测样本条纹图像的条纹频率不相同。样本条纹图像可以是受目标对象表面调制的条纹图像。
步骤S42：根据每组预测样本条纹图像与对应的实际条纹图像间的差异，调整图像生成模型的网络参数。
在本实例中，每组预测样本条纹图像与对应的实际条纹图像的条纹频率相同。实际条纹图像为标准相移的条纹图像。因此，通过比较每组预测样本条纹图像与对应的实际条纹图像的差异，可以根据该差异来调整图像生成模型的网络参数，以此实现对图像生成模型的训练。
在一个具体实施方式中，根据每组预测样本条纹图像与对应的实际条纹图像间的差异，调整图像生成模型的网络参数的数学表达式如下：
其中，其中θ1为图像生成模型的网络参数集，m代表图像像素之和，N表示输入的图像数量，为第n张图像生成模型输出的预测样本条纹图像，/>为第n张实际采集的实际条纹图像，‖‖2表示二范数。
因此，通过上述的训练方法，可以实现对图像生成模型的训练，使其后续能够应用于三维重建当中。
在一个实施例中，上述步骤提及的图像生成模型编码器和解码器，在编码器和解码器中，可以包括卷积层、批量正则化层、激活层，此外，编码器还包括下采样模块，解码器包括上采样模块。输入图像输入编码器后，会经过卷积操作和下采样操作，此时可以得到输入图像的特征信息。解码器中的卷积层和上采样模块，可以对编码器输出的特征信息进行空间上采样和恢复，然后输出若干组目标条纹图像。另外，图像生成模型的批量正则化层可以使得图像生成网络在训练过程中，每一层网络的输入保持相同的合理分布，有助于减少网络训练过程中的梯度爆炸或梯度消失问题，激活层可以减少反向传播优化图像生成模型的参数时，梯度爆炸或梯度消失的问题，同时激活层的活跃度的分散性可以使得图像生成模型整体的计算成本下降，并加快计算速度。
请参阅图5，图5是本申请图像生成模型输出目标条纹图像的示意图。输入的输入图像(第一条纹图像)51可以是单帧条纹图像，或者是两帧条纹图像。输入图像51可以是输入到图像生成模型50的编码器521中，经过卷积操作、下采样操作等操作以后，可以编码器可以向解码器输出特征信息。然后，解码器能够对输入的特征信息进行解码、空间上采样即恢复等操作，然后得到目标条纹图像54。
请参阅图6，图6是本申请三维重建系统实施例的框架示意图。三维重建系统60包括投影组件61、拍摄组件62和处理组件63。投影组件61例如是投影仪，拍摄组件62例如是高速相机，处理组件63例如是计算机。投影组件61用于向目标对象65表面投影条纹图像。拍摄组件62用于采集得到受目标对象65表面调制的原始条纹图像。处理组件63用于将至少一帧原始条纹图像作为输入图像；利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像，其中，每组目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的目标条纹图像的条纹频率不同；利用若干组目标条纹图像，得到目标对象的三维信息。
在一个实施方式中，还可以三维重建系统60还包括同步组件64，同步组件64例如是同步控制器。同步组件64可以分别和投影组件61以及拍摄组件62连接。同步组件64可以发出同步信号给投影组件61以及拍摄组件62，使得投影组件61向目标对象65表面投影条纹图像，拍摄组件62采集得到受目标对象65表面调制的原始条纹图像。
其中，上述的输入图像包括一帧原始条纹图像、或者条纹频率不同的两帧原始条纹图像，其中，两帧原始条纹图像中的至少一帧原始条纹图像存在像素点的相移量满足预设条件。
其中，上述的像素点的相移量满足预设条件为像素点的相移量超过预设值，处理组件63用于获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像，包括：获取受目标对象表面调制的第一原始条纹图像；判断第目标对象是否为预设目标对象；若是，则选择第一原始条纹图像和第二原始条纹图像作为输入图像，其中，第二原始条纹图像与第一原始条纹图像的条纹频率不同；若不是，则将第一原始条纹图像作为输入条纹图像。
其中，上述的图像生成模型单次输出一组目标条纹图像；在处理组件63用于判断第一原始条纹图像中是否存在相移量超过预设值的像素点之前，方法还包括：判断第一原始条纹图像的条纹频率与图像生成模型本次需输出的目标条纹图像的条纹频率是否相同；若相同，则将第一条纹图像作为输入图像；若不相同，则执行判断第一条纹图像中是否存在相移量满足预设条件的像素点及其后续步骤。
其中，上述的图像生成模型单次输出一组目标条纹图像，处理组件63用于利用图像生成模型对输入图像进行处理，以得到若干组目标条纹图像，包括：利用图像生成模型对输入图像进行处理并输出一组目标条纹图像，重复上述步骤，以得到若干组目标条纹图像。
其中，上述的每组目标条纹图像至少包含条纹频率相同的至少三帧目标条纹图像；上述的处理组件63用于利用若干组目标条纹图像，得到目标对象的三维信息，包括：利用每组目标条纹图像中的图像信息，得到绝对相位；利用绝对相位，获得目标对象的三维信息。
其中，上述的处理组件63用于利用每组目标条纹图像中的图像信息，得到绝对相位，包括：利用每组目标条纹图像中的图像信息，得到每组目标条纹图像的包裹相位；利用每组目标条纹图像的包裹相位，得到绝对相位。
其中，上述的处理组件63还用于利用图像生成模型对样本条纹图像进行处理，以得到若干组预测样本条纹图像，其中，每组预测样本条纹图像的条纹频率不相同；根据每组预测样本条纹图像与对应的实际条纹图像间的差异，调整图像生成模型的网络参数，其中，每组预测样本条纹图像与对应的实际条纹图像的条纹频率相同，以对图像生成模型进行训练。
请参阅图7，图7是本申请三维重建设备一实施例的框架示意图。三维重建设备70包括相互耦接的存储器701和处理器702，处理器702用于执行存储器701中存储的程序指令，以实现上述任一三维重建方法实施例的步骤。在一个具体的实施场景中，三维重建设备70可以包括但不限于：微型计算机、服务器，此外，三维重建设备70还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
在一个实施方式中，三维重建设备70还包括投影组件703，以及与处理器702连接的拍摄组件704，用于采集得到受目标对象表面调制的原始条纹图像。
具体而言，处理器702用于控制其自身以及存储器701以实现上述任一三维重建方法实施例的步骤。处理器702还可以称为CPU(Central Processing Unit，中央处理单元)。处理器702可能是一种集成电路芯片，具有信号的处理能力。处理器702还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器702可以由集成电路芯片共同实现。
请参阅图8，图8为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令81，程序指令81用于实现上述任一三维重建方法实施例的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种三维重建方法，其特征在于，包括：
获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像；
利用图像生成模型对所述输入图像进行处理，以得到若干组目标条纹图像，其中，每组所述目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的所述目标条纹图像的条纹频率不同；
利用所述若干组目标条纹图像，得到所述目标对象的三维信息；
其中，获取受目标对象表面调制的至少一帧原始条纹图像，作为输入图像，包括：
获取受目标对象表面调制的第一原始条纹图像；
判断所述第一原始条纹图像的条纹频率与所述图像生成模型本次需输出的所述目标条纹图像的条纹频率是否相同；
若相同，则将所述第一原始条纹图像作为所述输入图像；
若不相同，则判断所述目标对象是否为预设目标对象；受所述预设目标对象表面调制的第一原始条纹图像存在相移量满足预设条件的像素点；
若是，则选择所述第一原始条纹图像和第二原始条纹图像作为输入图像，其中，所述第二原始条纹图像与第一原始条纹图像的条纹频率不同；若不是，则将所述第一原始条纹图像作为输入条纹图像。
2.根据权利要求1所述的方法，其特征在于，所述第一原始条纹图像和所述第二原始条纹图像中的至少一帧原始条纹图像存在像素点的相移量满足预设条件。
3.根据权利要求2所述的方法，其特征在于，所述像素点的相移量满足预设条件为所述像素点的相移量超过预设值。
4.根据权利要求1所述的方法，其特征在于，所述图像生成模型单次输出一组目标条纹图像，所述利用图像生成模型对所述输入图像进行处理，以得到若干组目标条纹图像，包括：
利用图像生成模型对所述输入图像进行处理并输出一组所述目标条纹图像，重复上述步骤，以得到所述若干组目标条纹图像。
5.根据权利要求1所述的方法，其特征在于，每组所述目标条纹图像至少包含条纹频率相同的至少三帧目标条纹图像；所述利用所述若干组目标条纹图像，得到所述目标对象的三维信息，包括：
利用每组所述目标条纹图像中的图像信息，得到绝对相位；
利用所述绝对相位，获得所述目标对象的三维信息。
6.根据权利要求5所述的方法，其特征在于，所述利用每组所述目标条纹图像中的图像信息，得到绝对相位，包括：
利用每组所述目标条纹图像中的图像信息，得到每组所述目标条纹图像的包裹相位；
利用每组所述目标条纹图像的包裹相位得到所述绝对相位。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤，以对所述图像生成模型进行训练：
利用所述图像生成模型对样本条纹图像进行处理，以得到若干组预测样本条纹图像，其中，每组预测样本条纹图像的条纹频率不相同；
根据每组所述预测样本条纹图像与对应的实际条纹图像间的差异，调整所述图像生成模型的网络参数，其中，每组所述预测样本条纹图像与对应的实际条纹图像的条纹频率相同。
8.一种三维重建系统，其特征在于，包括：
投影组件，用于向目标对象表面投影条纹图像；
拍摄组件，用于采集得到受目标对象表面调制的原始条纹图像；
处理组件，用于将至少一帧原始条纹图像作为输入图像；利用图像生成模型对所述输入图像进行处理，以得到若干组目标条纹图像，其中，每组所述目标条纹图像包含条纹频率相同的至少一帧目标条纹图像，且不同组的所述目标条纹图像的条纹频率不同；利用所述若干组目标条纹图像，得到所述目标对象的三维信息；其中，所述将至少一帧原始条纹图像作为输入图像，包括：获取受目标对象表面调制的第一原始条纹图像；判断所述第一原始条纹图像的条纹频率与所述图像生成模型本次需输出的所述目标条纹图像的条纹频率是否相同；若相同，则将所述第一原始条纹图像作为所述输入图像；若不相同，则判断所述目标对象是否为预设目标对象；受所述预设目标对象表面调制的第一原始条纹图像存在相移量满足预设条件的像素点；若是，则选择所述第一原始条纹图像和第二原始条纹图像作为输入图像，其中，所述第二原始条纹图像与第一原始条纹图像的条纹频率不同；若不是，则将所述第一原始条纹图像作为输入条纹图像。
9.一种三维重建设备，其特征在于，包括相互耦接的处理器和存储器，其中，
所述处理器用于执行所述存储器存储的计算机程序以执行权利要求1至7任一项所述的方法。
10.根据权利要求9所述的设备，其特征在于，还包括以下至少一者：
投影组件，用于向目标对象表面投影条纹图像；
与所述处理器连接的拍摄组件，用于采集得到受目标对象表面调制的原始条纹图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846653.1A CN113658321B (zh) | 2021-07-26 | 2021-07-26 | 三维重建方法、系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846653.1A CN113658321B (zh) | 2021-07-26 | 2021-07-26 | 三维重建方法、系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658321A CN113658321A (zh) | 2021-11-16 |
| CN113658321B true CN113658321B (zh) | 2024-06-18 |
Family
ID=78478739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110846653.1A Active CN113658321B (zh) | 2021-07-26 | 2021-07-26 | 三维重建方法、系统及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658321B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI485361B (zh) * | 2013-09-11 | 2015-05-21 | Univ Nat Taiwan | 三維形貌輪廓量測裝置及其方法 |
| US20160094830A1 (en) * | 2014-09-26 | 2016-03-31 | Brown University | System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns |
| CN111238403A (zh) * | 2020-01-18 | 2020-06-05 | 武汉盛信鸿通科技有限公司 | 一种基于光场子孔径条纹图像的三维重建方法及装置 |
| CN111351450B (zh) * | 2020-03-20 | 2021-09-28 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN112611320A (zh) * | 2020-11-21 | 2021-04-06 | 重庆大学 | 一种基于梯度光强的多频外差面结构光三维重建方法 |
-
2021
- 2021-07-26 CN CN202110846653.1A patent/CN113658321B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111879258A (zh) * | 2020-09-28 | 2020-11-03 | 南京理工大学 | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| Dynamic 3-D measurement based on fringe-to-fringe transformation using deep learning;HaoTian Yu et.al.;Optics Express;第28卷(第7期);第9405-9418页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658321A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
| US9699380B2 (en) | Fusion of panoramic background images using color and depth data | |
| EP3314898B1 (en) | Determining native resolutions of video sequences | |
| CN107407554B (zh) | 对多相机成像系统进行仿真 | |
| US20180014003A1 (en) | Measuring Accuracy of Image Based Depth Sensing Systems | |
| EP3221851A1 (en) | Systems and methods for 3d capture of objects using multiple range cameras and multiple rgb cameras | |
| CN110366001B (zh) | 视频清晰度的确定方法和装置、存储介质、电子装置 | |
| CN111951373B (zh) | 一种人脸图像的处理方法和设备 | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| US10341546B2 (en) | Image processing apparatus and image processing method | |
| CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| JP5911292B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| US20220156887A1 (en) | Kernel reshaping-powered splatting-based efficient image space lens blur | |
| US10529057B2 (en) | Image processing apparatus and image processing method | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
| CN114445302A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US10306146B2 (en) | Image processing apparatus and image processing method | |
| CN113658321B (zh) | 三维重建方法、系统及相关设备 | |
| CN111369612A (zh) | 一种三维点云图像生成方法及设备 | |
| US10453183B2 (en) | Image processing apparatus and image processing method | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US9077963B2 (en) | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data | |
| CN111091593B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |