CN116645466A - 一种三维重建方法及电子设备、存储介质 - Google Patents

一种三维重建方法及电子设备、存储介质 Download PDF

Info

Publication number
CN116645466A
CN116645466A CN202310407526.0A CN202310407526A CN116645466A CN 116645466 A CN116645466 A CN 116645466A CN 202310407526 A CN202310407526 A CN 202310407526A CN 116645466 A CN116645466 A CN 116645466A
Authority
CN
China
Prior art keywords
image
sample
phase
stripe
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310407526.0A
Other languages
English (en)
Inventor
张钊
汪鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202310407526.0A priority Critical patent/CN116645466A/zh
Publication of CN116645466A publication Critical patent/CN116645466A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种三维重建方法及电子设备、存储介质，该方法包括：控制投影仪向目标对象投射目标条纹图像，并在投射目标条纹图像后获取摄像机对目标对象的拍摄图像；基于端到端模型对拍摄图像进行预测，得到绝对相位图像，其中，绝对相位图像包含拍摄图像中每个像素点对应的绝对相位，端到端模型利用样本条纹图像训练得到，且样本图像为在投影仪向样本对象投射样本条纹图像之后由摄像机对样本对象拍摄得到，样本图像至少标注有样本绝对相位图像；基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型。上述方案，能够提高测量精度。

Description

一种三维重建方法及电子设备、存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及一种三维重建方法及电子设备、存储介质。
背景技术
目前，现有的三维测量方法中常结合一些结合传统条纹投影轮廓术和深度学习来进行三维重建，这些方法可以克服传统条纹投影轮廓术的部分固有缺点，如速度受限、步骤繁多、算法复杂、繁琐的前处理和后处理、噪声等。但也随之带来了新的问题，最明显的就是深度学习方法通常在物体边缘、不连续区域、深度阶跃区域精度较差。因此，市面上急需一种设计合理的三维重建方法，在保证测量精度的同时，减少投影次数、简化算法流程，这对于动态三维测量尤为重要。
发明内容
本申请至少提供一种三维重建方法及电子设备、存储介质，能够提高测量精度和简化计算步骤。
本申请第一方面提供了一种三维重建方法，包括：控制投影仪向目标对象投射目标条纹图像，并在投射目标条纹图像后获取摄像机对目标对象的拍摄图像；基于端到端模型对拍摄图像进行预测，得到绝对相位图像，其中，绝对相位图像包含拍摄图像中每个像素点对应的绝对相位，端到端模型利用样本条纹图像训练得到，且样本图像为在投影仪向样本对象投射样本条纹图像之后由摄像机对样本对象拍摄得到，样本图像至少标注有样本绝对相位图像；基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型。
其中，基于端到端模型对拍摄图像进行预测，得到绝对相位图像，包括：对拍摄图像进行特征提取，得到第一特征图像；基于第一特征图像生成条纹级次特征图像，并基于第一特征图像生成包裹相位特征图像，其中，条纹级次特征图像包括第一特征图像中条纹的级次信息，包裹相位特征图像包括第一特征图像中像素点对应的包裹相位；将条纹级次特征图像和包裹相位特征图像进行融合，得到第二特征图像；基于第二特征图像进行预测，得到绝对相位图像。
其中，对拍摄图像进行特征提取，得到第一特征图像，包括：将拍摄图像进行划分，得到若干图像块；将图像块映射为线性嵌入序列，对线性嵌入序列进行编码，得到不同分辨率的图像块；将相同分辨率的图像块进行融合、上采样，得到若干第一特征图像。
其中，基于第一特征图像生成条纹级次特征图像，包括：对第一特征图像中的频率信息进行提取和识别，得到条纹级次信息；在第一特征图像上标记条纹级次信息，得到条纹级次特征图像。
其中，基于第一特征图像生成包裹相位特征图像，包括：将第一特征图像进行相移，得到与若干频率分别对应且经N步相移的预测条纹图像；其中，目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到；对相同频率的预测条纹图像中的相位信息进行提取、融合，得到包裹相位特征图像。
其中，在将条纹级次特征图像和包裹相位特征图像进行融合，得到第二特征图像之前，包括：提取包裹相位特征图像中的包裹相位信息和条纹级次特征图像中的条纹级次信息；基于第二特征图像进行预测，得到绝对相位图像，包括：利用包裹相位信息和条纹级次信息对第二特征图进行包裹相位展开，得到绝对相位图像。
其中，基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型，包括：基于目标对象上目标点在投影仪坐标系中的第一像素坐标、投影仪的第一尺度因子、第一投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第一目标函数；以及，基于目标点在摄像机坐标系中的第二像素坐标、摄像机的第二尺度因子、第二投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第二目标函数；联立第一目标函数和第二目标函数，求解得到目标点的空间坐标；基于目标对象上各个目标点的空间坐标，重建得到目标对象的三维模型。
其中，基于目标对象上目标点在投影仪坐标系中的第一像素坐标、投影仪的第一尺度因子、第一投影参数和绝对相位，构建以目标点的空间坐标为未知量的第一目标函数，包括：利用绝对相位和畸变参数对第一像素坐标进行矫正；将经矫正后的第一像素坐标、第一尺度因子和第一投影参数，构建以目标点的空间坐标为未知量的第一目标函数；和/或，基于目标点在摄像机坐标系中的第二像素坐标、摄像机的第二尺度因子、第二投影参数和绝对相位，构建以目标点的空间坐标为未知量的第二目标函数，包括：利用绝对相位和畸变参数对第二像素坐标进行矫正；将经矫正后的第二像素坐标、第二尺度因子和第二投影参数，构建以目标点的空间坐标为未知量的第二目标函数。
其中，样本图像还标注有样本条纹级次特征图像，端到端模型的训练步骤，包括：对样本图像进行特征提取，得到第一样本特征图像；基于第一样本特征图像生成预测条纹级次特征图像，并基于第一样本特征图像生成预测包裹相位特征图像；将预测条纹级次特征图像和预测包裹相位特征图像进行融合，得到第二样本特征图像；基于第二样本特征图像进行预测，得到预测绝对相位图像；基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异，以及样本绝对相位图像与预测样本绝对相位图像之间的差异，优化端到端模型的网络参数。
其中，目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到，基于第二样本特征图像生成预测包裹相位特征图像，包括：将第二样本特征图像进行相移，得到与若干频率分别对应且经N步相移的预测样本条纹图像；其中，相同频率的预测条纹图像中相位信息经融合之后，得到预测包裹相位特征图像；基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异，以及样本绝对相位图像与预测样本绝对相位图像之间的差异，优化端到端模型的网络参数，包括：基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异、样本绝对相位图像与预测样本绝对相位图像之间的差异，以及参考条纹图像和预测样本条纹图像之间的差异，优化端到端模型的网络参数。
本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的三维重建方法。
本申请第三方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的三维重建方法。
上述方案，通过投影仪将目标条纹图像投影到目标对象上，此时，利用摄像机拍摄目标对象上的目标条纹图像，得到拍摄图像，将拍摄图像输入至端到端模型，经过端到端模型的计算得到绝对相位图象，结合绝对相位图象、投影仪的第一投影参数和摄像机的第二投影参数，可得到目标对象的三维重建结果，简化了算法流程，并且提高了三维重建结果的精度。
可选地，在将拍摄图像输入至端到端模型进行计算时，先将拍摄图像进行切分，得到多块图像块，再对这些图像块进行编码、融合和上采样流程，得到第一特征图像，从而能够提高目标对象的边缘区域、不连续区域、深度阶跃区域的像素清晰度。再利用第一特征图像进行计算得到绝对相位图像，进而提高对目标对象的边缘区域、不连续区域、深度阶跃区域的测量精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请三维重建方法一实施例的流程示意图；
图2是本申请三维重建方法另一实施例的流程示意图；
图3是本申请三维重建方法一实施例的框架示意图；
图4是本申请三维重建方法又一实施例的流程示意图；
图5是本申请三维重建装置一实施例的框架示意图；
图6是本申请电子设备一实施例的框架示意图；
图7是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请三维重建方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S110：控制投影仪向目标对象投射目标条纹图像，并在投射目标条纹图像后获取摄像机对目标对象的拍摄图像。
在本申请中需要绘制三维模型的目标对象可以为人、动物或是物品等，利用目标条纹图像投影到目标对象的表面上，因目标对象表面的凹凸和结构的不同，导致目标条纹图像发生变形。利用摄像机拍摄目标对象上变形的目标条纹图像，可根据目标条纹图像的变形程度或明暗变化程度等进行计算，则可得到目标对象的实际三维模型。因此，本方案可以应用于计算机视觉、3D建模、人脸识别等领域。
在一些实施例中，目标条纹图像可以为包含高频条纹和低频条纹信息的双频复用正弦条纹编码图像。利用投影仪向目标对象投射一帧双频复用正弦条纹编码图像，通过摄像机对投影在目标对象上的双频复用正弦条纹编码图像进行拍摄，得到拍摄图像。可以理解的是，目标条纹图像可以为双频复用正弦条纹编码图像，也可以为三频、四频等多频复用条纹编码图像，或者为编码光等投影图像，在此不作具体的限定。
具体地，关于双频复用正弦条纹编码图像，其可根据以下公式进行设计：
其中，a(x，y)为背景光强，b(x，y)为调制光强，λh为高频正弦条纹波长，λl为低频正弦条纹波长，为投影仪中的双频复用正弦条纹编码图像。
高频正弦条纹波长λh，低频正弦条纹波长λl符合如下关系：
F(λh,λl)≥W……(2)
其中，W为待投影图像的水平分辨率，F(·)为求最小公倍数函数。
步骤S120：基于端到端模型对拍摄图像进行预测，得到绝对相位图像。
其中，绝对相位图像包含拍摄图像中每个像素点对应的绝对相位，端到端模型利用样本条纹图像训练得到，且样本图像为在投影仪向样本对象投射样本条纹图像之后由摄像机对样本对象拍摄得到，样本图像至少标注有样本绝对相位图像。
在一些实施例中，为使得端到端模型能快速准确的识别拍摄图像，并输出绝对相位图像，可将端到端模型基于深度学习网络进行训练。具体地训练过程为：对于输入至端到端模型的样本图像进行特征提取，得到第一样本特征图像，利用第一样本特征图像生成预测条纹级次特征图像，并根据第一样本特征图像生成预测包裹相位特征图像，其中，样本图像还标注有样本条纹级次特征图像。将预测条纹级次特征图像和预测包裹相位特征图像进行融合，得到第二样本特征图像。对第二样本特征图像进行预测，得到预测绝对相位图像。根据样本条纹级次特征图像与预测条纹级次特征图像之间的差异，以及样本绝对相位图像与预测样本绝对相位图像之间的差异，优化端到端模型的网络参数。并进行重复迭代，使得端到端模型的预测条纹级次特征图像与样本图像标注的样本条纹级次特征图像完美重合或是无限接近，预测样本绝对相位图像与样本图像标注的样本绝对相位图像完美重合或是无限接近。
在另一些实施例中，目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到，在对端到端模型进行训练生成预测包裹相位特征图像的过程中，可将第二样本特征图像进行相移，得到与若干频率分别对应且经N步相移的预测样本条纹图像，其中，相同频率的预测条纹图像中相位信息经融合之后，得到预测包裹相位特征图像。再根据样本条纹级次特征图像与预测条纹级次特征图像之间的差异、样本绝对相位图像与预测样本绝对相位图像之间的差异，以及参考条纹图像和预测样本条纹图像之间的差异，优化端到端模型的网络参数。其中，关于N步相移，其投影的同一组图像之间的相位差为其周期除以N。
在一些实施例中，将训练好的端到端模型对拍摄的图像进行推理。请结合参阅图2，图2是本申请三维重建方法另一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S121：对拍摄图像进行特征提取，得到第一特征图像。
在一些实施例中，将拍摄图像进行划分，得到若干图像块，其中，图像块为非重叠块。将图像块映射为线性嵌入序列，对线性嵌入序列进行编码，得到不同分辨率的图像块。将相同分辨率的图像块进行融合、上采样，得到若干第一特征图像。通过将原拍摄图像预测为不同的分辨率并进行上采样，能够对所拍摄的目标对象的边缘、不连续区域、深度阶跃区域等区域实现更精确的预测。其中，在对线性嵌入序列进行编码的同时可对线性嵌入序列进行标记，标记该线性嵌入序列对应的图像块位于原拍摄图像中的位置，避免后续在对图像块进行融合时，出现图像块融合位置发生错乱的现象。此外，对图像块进行融合所得到的第一特征图像，也可以为原拍摄图像的局部图像。可以理解的是，对拍摄图像进行特征提取，可采用上述方法外，也可采用LBP(Local Binary Pattern，局部二值模式)特征提取算法等，在此不作具体的限定。
步骤S122：基于第一特征图像生成条纹级次特征图像，并基于第一特征图像生成包裹相位特征图像。
其中，条纹级次特征图像包括第一特征图像中条纹的级次信息，包裹相位特征图像包括第一特征图像中像素点对应的包裹相位。
在一些实施例中，为获取条纹级次特征图像，可对第一特征图像中的频率信息进行提取和识别，得到条纹级次信息。在第一特征图像上标记条纹级次信息，得到条纹级次特征图像。具体地，获取第一特征图像的频率信息，根据频率信息可得到第一特征图像上条纹的级次信息，并将条纹级次信息附着在第一特征图像上，使得第一特征图像隐含有条纹级次信息。
在一些实施例中，为获取包裹相位特征图像，可将第一特征图像进行相移，得到与若干频率分别对应且经N步相移的预测条纹图像，其中，目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到。对相同频率的预测条纹图像中的相位信息进行提取、融合，得到包裹相位特征图像。
具体地，目标条纹图像为三频复用正弦条纹编码图像，经过对三频复用正弦条纹编码图像的特征提取，得到3N+1张第一特征图像。选取3N张第一特征图像进行相移，得到3种频率对应且经N步相移的预测条纹图像，同种频率具有N张预测条纹图像。其中，选取3N张第一特征图像的方法可根据人为设定的顺序进行选取，例如，认为设定选取前3N张第一特征图像进行相移。将这3N张预测条纹图像中同一频率的图像中的相位信息进行提取、融合，得到3张包裹相位特征图像。
步骤S123：将条纹级次特征图像和包裹相位特征图像进行融合，得到第二特征图像。
在一些实施例中，在将条纹级次特征图像和包裹相位特征图像进行融合，其所包含的条纹级次特征和包裹相位信息也将融合至第二特征图像中。
步骤S124：基于第二特征图像进行预测，得到绝对相位图像。
在一些实施例中，在得到第二特征图像之前，可先提取包裹相位特征图像中的包裹相位信息和条纹级次特征图像中的条纹级次信息，再对第二特征图像进行预测。利用包裹相位信息和条纹级次信息对第二特征图进行包裹相位展开，得到绝对相位图像。
步骤S130：基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型。
在一些实施例中，根据目标对象上目标点在投影仪坐标系中的第一像素坐标、投影仪的第一尺度因子、第一投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第一目标函数，如公式3。以及，基于目标点在摄像机坐标系中的第二像素坐标、摄像机的第二尺度因子、第二投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第二目标函数，如公式4。联立第一目标函数和第二目标函数，求解得到目标点的空间坐标。根据目标对象上各个目标点的空间坐标，重建得到目标对象的三维模型。
其中，Sp为投影仪尺度因子常量，Sc为摄像机尺度因子常量，MP为第一投影参数，MC为第二投影参数，(up，vp)为投影仪像素点坐标，(uc，vc)为摄像机像素点坐标，m为标定参数。
为提高投影仪中第一像素坐标的精确度，可利用绝对相位和畸变参数对第一像素坐标进行矫正。将经矫正后的第一像素坐标、第一尺度因子和第一投影参数，构建以目标点的空间坐标为未知量的第一目标函数。
为提高摄像机中第二像素坐标的精确度，可利用绝对相位和畸变参数对第二像素坐标进行矫正。将经矫正后的第二像素坐标、第二尺度因子和第二投影参数，构建以目标点的空间坐标为未知量的第二目标函数。
为提高目标对象的三维模型的推理精度，可同时对投影仪中的第一像素坐标和摄像机中的第二像素坐标进行矫正。将经矫正后的第一像素坐标、第一尺度因子和第一投影参数，构建以目标点的空间坐标为未知量的第一目标函数。将经矫正后的第二像素坐标、第二尺度因子和第二投影参数，构建以目标点的空间坐标为未知量的第二目标函数。联立第一目标函数和第二目标函数，以得到目标对象的三维模型。
(up，vp)、(uc，vc)均使用预先标定出的系统畸变参数对其进行矫正：
其中，Fu为横向投影条纹频率，Fv为纵向投影条纹频率，Wu为投影仪横向分辨率，Wv为投影仪纵向分辨率，Mu为摄像机横向分辨率，Mv为摄像机纵向分辨率，Φu为绝对相位图像中像素点的横坐标，Φv绝对相位图像中像素点的纵坐标。
在一具体应用场景中，利用本三维重建方法绘制一雕塑的三维模型。请参阅图3，图3是本申请三维重建方法一实施例的框架示意图。端到端模型为根据深度学习网络训练得到的，端到端模型中包括五个模块：主干网络310、条纹生成模块320、级次生成模块330、解相位模块340和解包裹模块350。端到端模型基于结构光三维重建的传统步骤建模，隐含相位计算、相位展开等过程。
在对端到端模型进行训练前，设计两种正弦条纹波长λh、λl的N步相移参考条纹图：
其中，φh为高频N步相移条纹图中像素点的相位信息，φl为低频N步相移条纹图中像素点的相位信息。
将双频复用正弦条纹编码图像作为目标条纹图像，如公式1，双频复用正弦条纹编码图像融合公式9和公式10对应的N步相移参考条纹图。使用样本双频复用正弦条纹编码图像为目标条纹图像对雕塑进行投影，得到样本图像，样本双频复用正弦条纹编码图像标注有样本条纹级次特征图像和样本绝对相位图像。将样本图像输入至主干网络310进行特征提取的卷积学习，得到2N+1张第一样本特征图像。将前2N张第一样本特征图像输入至条纹生成模块320，对条纹生成模块320进行卷积学习，得到两种频率的N步相移的预测样本条纹图像。将最后一张第一样本特征图像输入至级次生成模块330，级次生成模块330进行卷积学习，得到预测条纹级次特征图像。预测样本条纹图像输入至解相位模块340进行卷积学习，得到2张预测包裹相位特征图像，，如公式11。
其中，表征包裹相位，δn为相移量，In(x,y)为预测样本条纹图像中像素点的坐标。
解包裹模块350接收预测条纹级次特征图像和预测包裹相位特征图像，将预测条纹级次特征图像和预测包裹相位特征图像进行融合，得到第二样本特征图像。对第二样本特征图像进行预测，得到预测绝对相位图像，如公式12至16。
其中，Φ1为高频条纹图像相位信息，Φ2为低频条纹图像相位信息，为高低频条纹图像的相位差，T1为高频条纹图像的周期，T2为低频条纹图像的周期，T12为样本双频复用正弦条纹编码图像的周期。
联立上式：
其中，K为条纹级次，round为四舍五入，Φh为高频绝对相位。
再根据样本条纹级次特征图像与预测条纹级次特征图像之间的差异、样本绝对相位图像与预测样本绝对相位图像之间的差异，以及参考条纹图像和预测样本条纹图像之间的差异，联立损失函数，如公式17，优化端到端模型的网络参数，并进行重复迭代，使得损失函数收敛至最小值。
LossA*LossK+B*LossI+C*LossΦ……(17)
其中，A、B、C为系数，LossK为样本条纹级次特征图像与预测条纹级次特征图像之间的差异，LossI为参考条纹图像和预测样本条纹图像之间的差异，LossΦ为样本绝对相位图像与预测样本绝对相位图像之间的差异。
LossΦ＝smoothL1(Φout,Φgt)……(20)
其中，m代表图像像素之和，‖g‖2表示二范数，Kout为预测条纹级次特征图像，Kgt为样本条纹级次特征图像，为参考条纹图像中的高频条纹图像，/>为预测样本条纹图像中的高频预测样本条纹图像，/>为参考条纹图像中的低频条纹图像，/>为预测样本条纹图像中的低频预测样本条纹图像，Φout为预测样本绝对相位图像，Φgt为样本绝对相位图像，smoothL1为光滑函数。
利用训练好的端到端模型进行推理。首先，利用投影仪对雕塑投射一帧双频复用正弦条纹编码图像，利用摄像机雕塑表面的双频复用正弦条纹编码图像，得到一张拍摄图像。将拍摄图像输入至端到端模型的主干网络310中。
主干网络310基于Vision Transformers for Dense Prediction模型，包括用于深度估计和图像分割的Transformer模型，Transformer模型能够以恒定且相对较高的分辨率处理输入图像，相比卷积网络有更细粒度和更全局一致的感知能力，对于三维重建任务具有天然的优势。主干网络310先将拍摄图像切分为互不重叠的12块图像块，并将每个图像块映射为线性嵌入序列，将线性嵌入序列输入Transformer模型中进行编码，得到不同分辨率的图像块。将相同分辨率的图像块进行重新组合，得到一组新的图像块，对一组图像块进行融合、上采样，得到13张第一特征图像。
条纹生成模块320紧跟主干网络310，根据认为设定选取前12张第一特征图像，输入至条纹生成模块320的卷积层中，将12张第一特征图像进行相移，得到高低两种频率的经N步相移的预测条纹图像。
级次生成模块330也紧跟主干网络310，将主干网络310输出的最后一张第一特征图像进行多层卷积操作，提取第一特征图像中的频率信息，并在第一特征图像上标记条纹级次信息，得到条纹级次特征图像。
解相位模块340将条纹生成模块320输出的高低两种频率的经N步相移的预测条纹图像，进行两路权值共享的卷积操作，提取、融合预测条纹图像中的相位信息，得到1张表征高频条纹的包裹相位特征图像和1张表征低频条纹的包裹相位特征图像。
解包裹模块350接收级次生成模块330输出的条纹级次特征图像和解相位模块340输出的2张包裹相位特征图像，提取包裹相位特征图像中的包裹相位信息和条纹级次特征图像中的条纹级次信息。再将这3张特征图进行融合，得到第二特征图像。利用包裹相位信息和条纹级次信息对第二特征图进行包裹相位展开，得到绝对相位图像。将绝对相位图像结合标定参数，联立公式3和公式4，对绝对图像的像素点的空间坐标进行求解，可重建得到雕塑的三维模型。
在本实施例中，首先设计包含高频条纹和低频条纹信息的双频复用正弦条纹编码图像。之后，通过投影仪向目标对象投射一帧编码图像，摄像机采集被目标对象表面调制后的拍摄图像。将摄像机采集的单帧图像输入设计的端到端模型中，基于物理过程建模的端到端模型可以在内部学习到表征两种频率的N步相预测样本条纹图像和条纹级次特征图像，表征两种频率的N步相移预测样本条纹图像分别经过权值共享的卷积模块后，得到包裹相位特征图像，并与条纹级次特征图像融合后经过一个卷积模型，输出绝对相位图像。最后，使用绝对相位图像和标定参数得到三维重建结果，从而可提高三维重建结果的精度。
请参阅图4，图4是本申请三维重建方法又一实施例的流程示意图。
步骤410：获取目标对象经目标条纹图像投射后的一组拍摄图像。
在目标对象前方的不同方位各设置一台摄像机，利用多台摄像机同时拍摄目标对象上的目标条纹图像。
步骤420：将一组拍摄图像输入端到端模型，获取每张拍摄图像对应的绝对相位图像，将一组的绝对相位图像进行融合，得到最终的绝对相位图像。
该步骤中对于获取每张拍摄图像对应的绝对相位图像的步骤与上述步骤S120相同，在此不再做过多赘述。将得到一组的绝对相位图中重叠的区域进行识别和裁剪，对于有重叠的区域进行融合，得到新的区域的绝对相位图像。将新的区域绝对相位图像与未重叠的区域进行拼接，得到最终的绝对相位图像。
步骤430：结合最终的绝对相位图像与标定参数，重建得到目标对象的三维模型。
该步骤与上述步骤130相同，在此不再做过多赘述。
请参阅图5，图5是本申请三维重建装置一实施例的框架示意图。三维重建装置500包括：图像获取模块510、预测模块520和重建模块530。其中，图像获取模块510用于控制投影仪向目标对象投射目标条纹图像，并在投射目标条纹图像后获取摄像机对目标对象的拍摄图像。预测模块520用于基于端到端模型对拍摄图像进行预测，得到绝对相位图像，其中，绝对相位图像包含拍摄图像中每个像素点对应的绝对相位，端到端模型利用样本条纹图像训练得到，且样本图像为在投影仪向样本对象投射样本条纹图像之后由摄像机对样本对象拍摄得到，样本图像至少标注有样本绝对相位图像。重建模块530用于基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型。
在一些实施例中，预测模块520执行基于端到端模型对拍摄图像进行预测，得到绝对相位图像，包括：对拍摄图像进行特征提取，得到第一特征图像；基于第一特征图像生成条纹级次特征图像，并基于第一特征图像生成包裹相位特征图像，其中，条纹级次特征图像包括第一特征图像中条纹的级次信息，包裹相位特征图像包括第一特征图像中像素点对应的包裹相位；将条纹级次特征图像和包裹相位特征图像进行融合，得到第二特征图像；基于第二特征图像进行预测，得到绝对相位图像。
在一些实施例中，预测模块520执行对拍摄图像进行特征提取，得到第一特征图像，包括：将拍摄图像进行划分，得到若干图像块；将图像块映射为线性嵌入序列，对线性嵌入序列进行编码，得到不同分辨率的图像块；将相同分辨率的图像块进行融合、上采样，得到若干第一特征图像。
在一些实施例中，预测模块520执行基于第一特征图像生成条纹级次特征图像，包括：对第一特征图像中的频率信息进行提取和识别，得到条纹级次信息；在第一特征图像上标记条纹级次信息，得到条纹级次特征图像。
在一些实施例中，预测模块520执行基于第一特征图像生成包裹相位特征图像，包括：将第一特征图像进行相移，得到与若干频率分别对应且经N步相移的预测条纹图像；其中，目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到；对相同频率的预测条纹图像中的相位信息进行提取、融合，得到包裹相位特征图像。
在一些实施例中，预测模块520执行在将条纹级次特征图像和包裹相位特征图像进行融合，得到第二特征图像之前，包括：提取包裹相位特征图像中的包裹相位信息和条纹级次特征图像中的条纹级次信息；基于第二特征图像进行预测，得到绝对相位图像，包括：利用包裹相位信息和条纹级次信息对第二特征图进行包裹相位展开，得到绝对相位图像。
在一些实施例中，重建模块530执行基于绝对相位图像、第一投影参数和第二投影参数，重建得到目标对象的三维模型，包括：基于目标对象上目标点在投影仪坐标系中的第一像素坐标、投影仪的第一尺度因子、第一投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第一目标函数；以及，基于目标点在摄像机坐标系中的第二像素坐标、摄像机的第二尺度因子、第二投影参数和目标点在绝对相位图像上对应的绝对相位，构建以目标点的空间坐标为未知量的第二目标函数；联立第一目标函数和第二目标函数，求解得到目标点的空间坐标；基于目标对象上各个目标点的空间坐标，重建得到目标对象的三维模型。
在一些实施例中，重建模块530执行基于目标对象上目标点在投影仪坐标系中的第一像素坐标、投影仪的第一尺度因子、第一投影参数和绝对相位，构建以目标点的空间坐标为未知量的第一目标函数，包括：利用绝对相位和畸变参数对第一像素坐标进行矫正；将经矫正后的第一像素坐标、第一尺度因子和第一投影参数，构建以目标点的空间坐标为未知量的第一目标函数；和/或，基于目标点在摄像机坐标系中的第二像素坐标、摄像机的第二尺度因子、第二投影参数和绝对相位，构建以目标点的空间坐标为未知量的第二目标函数，包括：利用绝对相位和畸变参数对第二像素坐标进行矫正；将经矫正后的第二像素坐标、第二尺度因子和第二投影参数，构建以目标点的空间坐标为未知量的第二目标函数。
在一些实施例中，三维重建装置500执行样本图像还标注有样本条纹级次特征图像，端到端模型的训练步骤，包括：对样本图像进行特征提取，得到第一样本特征图像；基于第一样本特征图像生成预测条纹级次特征图像，并基于第一样本特征图像生成预测包裹相位特征图像；将预测条纹级次特征图像和预测包裹相位特征图像进行融合，得到第二样本特征图像；基于第二样本特征图像进行预测，得到预测绝对相位图像；基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异，以及样本绝对相位图像与预测样本绝对相位图像之间的差异，优化端到端模型的网络参数。
在一些实施例中，三维重建装置500执行目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到，基于第二样本特征图像生成预测包裹相位特征图像，包括：将第二样本特征图像进行相移，得到与若干频率分别对应且经N步相移的预测样本条纹图像；其中，相同频率的预测条纹图像中相位信息经融合之后，得到预测包裹相位特征图像；基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异，以及样本绝对相位图像与预测样本绝对相位图像之间的差异，优化端到端模型的网络参数，包括：基于样本条纹级次特征图像与预测条纹级次特征图像之间的差异、样本绝对相位图像与预测样本绝对相位图像之间的差异，以及参考条纹图像和预测样本条纹图像之间的差异，优化端到端模型的网络参数。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图6，图6是本申请电子设备60一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61中存储的程序指令，以实现上述任一三维重建方法实施例中的步骤。在一个具体的实施场景中，电子设备60可以包括但不限于：微型计算机、服务器，此外，电子设备60还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一三维重建方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由集成电路芯片共同实现。
请参阅图7，图7是本申请计算机可读存储介质70一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701，程序指令701用于实现上述任一三维重建方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种三维重建方法，其特征在于，包括：
控制投影仪向目标对象投射目标条纹图像，并在投射所述目标条纹图像后获取摄像机对所述目标对象的拍摄图像；
基于端到端模型对所述拍摄图像进行预测，得到绝对相位图像，其中，所述绝对相位图像包含所述拍摄图像中每个像素点对应的绝对相位，所述端到端模型利用样本条纹图像训练得到，且样本图像为在所述投影仪向样本对象投射所述样本条纹图像之后由所述摄像机对所述样本对象拍摄得到，所述样本图像至少标注有样本绝对相位图像；
基于所述绝对相位图像、第一投影参数和第二投影参数，重建得到所述目标对象的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述基于端到端模型对所述拍摄图像进行预测，得到绝对相位图像，包括：
对所述拍摄图像进行特征提取，得到第一特征图像；
基于所述第一特征图像生成条纹级次特征图像，并基于所述第一特征图像生成包裹相位特征图像，其中，所述条纹级次特征图像包括所述第一特征图像中条纹的级次信息，所述包裹相位特征图像包括所述第一特征图像中像素点对应的包裹相位；
将所述条纹级次特征图像和所述包裹相位特征图像进行融合，得到第二特征图像；
基于所述第二特征图像进行预测，得到所述绝对相位图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述拍摄图像进行特征提取，得到第一特征图像，包括：
将所述拍摄图像进行划分，得到若干图像块；
将所述图像块映射为线性嵌入序列，对所述线性嵌入序列进行编码，得到不同分辨率的图像块；
将相同分辨率的所述图像块进行融合、上采样，得到若干所述第一特征图像。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征图像生成条纹级次特征图像，包括：
对所述第一特征图像中的频率信息进行提取和识别，得到条纹级次信息；
在所述第一特征图像上标记所述条纹级次信息，得到所述条纹级次特征图像。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征图像生成包裹相位特征图像，包括：
将所述第一特征图像进行相移，得到与若干频率分别对应且经N步相移的预测条纹图像；其中，所述目标条纹图像由与所述若干频率分别对应且经所述N步相移的参考条纹图像融合得到；
对相同频率的所述预测条纹图像中的相位信息进行提取、融合，得到所述包裹相位特征图像。
6.根据权利要求2所述的方法，其特征在于，在所述将所述条纹级次特征图像和所述包裹相位特征图像进行融合，得到第二特征图像之前，包括：
提取所述包裹相位特征图像中的包裹相位信息和所述条纹级次特征图像中的条纹级次信息；
所述基于所述第二特征图像进行预测，得到所述绝对相位图像，包括：
利用所述包裹相位信息和条纹级次信息对所述第二特征图进行包裹相位展开，得到所述绝对相位图像。
7.根据权利要求1所述的方法，其特征在于，所述基于所述绝对相位图像、第一投影参数和第二投影参数，重建得到所述目标对象的三维模型，包括：
基于所述目标对象上目标点在所述投影仪坐标系中的第一像素坐标、所述投影仪的第一尺度因子、所述第一投影参数和所述目标点在所述绝对相位图像上对应的绝对相位，构建以所述目标点的空间坐标为未知量的第一目标函数；以及，
基于所述目标点在所述摄像机坐标系中的第二像素坐标、所述摄像机的第二尺度因子、所述第二投影参数和所述目标点在所述绝对相位图像上对应的绝对相位，构建以所述目标点的空间坐标为未知量的第二目标函数；
联立所述第一目标函数和所述第二目标函数，求解得到所述目标点的空间坐标；
基于所述目标对象上各个所述目标点的空间坐标，重建得到所述目标对象的三维模型。
8.根据权利要求7所述的方法，其特征在于，所述基于所述目标对象上目标点在所述投影仪坐标系中的第一像素坐标、所述投影仪的第一尺度因子、所述第一投影参数和所述绝对相位，构建以所述目标点的空间坐标为未知量的第一目标函数，包括：
利用所述绝对相位和畸变参数对所述第一像素坐标进行矫正；
将经矫正后的所述第一像素坐标、所述第一尺度因子和所述第一投影参数，构建以所述目标点的空间坐标为未知量的第一目标函数；
和/或，所述基于所述目标点在所述摄像机坐标系中的第二像素坐标、所述摄像机的第二尺度因子、所述第二投影参数和所述绝对相位，构建以所述目标点的空间坐标为未知量的第二目标函数，包括：
利用所述绝对相位和畸变参数对所述第二像素坐标进行矫正；
将经矫正后的所述第二像素坐标、所述第二尺度因子和所述第二投影参数，构建以所述目标点的空间坐标为未知量的第二目标函数。
9.根据权利要求1所述的方法，其特征在于，所述样本图像还标注有样本条纹级次特征图像，所述端到端模型的训练步骤，包括：
对所述样本图像进行特征提取，得到第一样本特征图像；
基于所述第一样本特征图像生成预测条纹级次特征图像，并基于所述第一样本特征图像生成预测包裹相位特征图像；
将所述预测条纹级次特征图像和所述预测包裹相位特征图像进行融合，得到第二样本特征图像；
基于所述第二样本特征图像进行预测，得到预测绝对相位图像；
基于所述样本条纹级次特征图像与所述预测条纹级次特征图像之间的差异，以及所述样本绝对相位图像与所述预测样本绝对相位图像之间的差异，优化所述端到端模型的网络参数。
10.根据权利要求9所述的方法，其特征在于，所述目标条纹图像由与若干频率分别对应且经N步相移的参考条纹图像融合得到，所述基于所述第二样本特征图像生成预测包裹相位特征图像，包括：
将所述第二样本特征图像进行相移，得到与若干频率分别对应且经N步相移的预测样本条纹图像；其中，相同频率的预测条纹图像中相位信息经融合之后，得到所述预测包裹相位特征图像；
所述基于所述样本条纹级次特征图像与所述预测条纹级次特征图像之间的差异，以及所述样本绝对相位图像与所述预测样本绝对相位图像之间的差异，优化所述端到端模型的网络参数，包括：
基于所述样本条纹级次特征图像与所述预测条纹级次特征图像之间的差异、所述样本绝对相位图像与所述预测样本绝对相位图像之间的差异，以及所述参考条纹图像和所述预测样本条纹图像之间的差异，优化所述端到端模型的网络参数。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10任一项所述的三维重建方法。
12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至10任一项所述的三维重建方法。
CN202310407526.0A 2023-04-12 2023-04-12 一种三维重建方法及电子设备、存储介质 Pending CN116645466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310407526.0A CN116645466A (zh) 2023-04-12 2023-04-12 一种三维重建方法及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310407526.0A CN116645466A (zh) 2023-04-12 2023-04-12 一种三维重建方法及电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN116645466A true CN116645466A (zh) 2023-08-25

Family

ID=87623598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310407526.0A Pending CN116645466A (zh) 2023-04-12 2023-04-12 一种三维重建方法及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN116645466A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237236A (zh) * 2023-11-13 2023-12-15 东莞理工学院 条纹图模型优化方法、装置、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237236A (zh) * 2023-11-13 2023-12-15 东莞理工学院 条纹图模型优化方法、装置、设备及计算机可读存储介质
CN117237236B (zh) * 2023-11-13 2024-01-12 东莞理工学院 条纹图模型优化方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Jeon et al. Depth from a light field image with learning-based matching costs
He et al. Quaternary gray-code phase unwrapping for binary fringe projection profilometry
US10584963B2 (en) System and methods for shape measurement using dual frequency fringe pattern
CN110163817B (zh) 一种基于全卷积神经网络的相位主值提取方法
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN109945802B (zh) 一种结构光三维测量方法
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
Garcia et al. Consistent stereo-assisted absolute phase unwrapping methods for structured light systems
CN110500957B (zh) 一种主动三维成像方法、装置、设备以及存储介质
CN111047681B (zh) 基于深度学习的单像素三维端到端重建方法及装置
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
Moreno et al. Embedded phase shifting: Robust phase shifting with embedded signals
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
JP6598673B2 (ja) データ処理装置およびその方法
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质
CN115908705A (zh) 一种基于特殊编码的三维成像方法及装置
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
Van Der Jeught et al. Optimized loss function in deep learning profilometry for improved prediction performance
Guo et al. Unifying temporal phase unwrapping framework using deep learning
CN112802084B (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
CN110926369B (zh) 一种高精度结构光三维测量系统及方法
CN116753863A (zh) 三维测量的方法、装置、电子设备及存储介质
Zhou et al. Patch-based texture synthesis for image inpainting
CN115345993A (zh) 三维重建方法及装置、系统
CN114897959A (zh) 基于光场多视角约束的相位展开方法及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination