CN113256800A - 基于深度学习的精确快速大景深三维重建方法 - Google Patents

基于深度学习的精确快速大景深三维重建方法 Download PDF

Info

Publication number
CN113256800A
CN113256800A CN202110646148.2A CN202110646148A CN113256800A CN 113256800 A CN113256800 A CN 113256800A CN 202110646148 A CN202110646148 A CN 202110646148A CN 113256800 A CN113256800 A CN 113256800A
Authority
CN
China
Prior art keywords
depth
field
phase
deep learning
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110646148.2A
Other languages
English (en)
Other versions
CN113256800B (zh
Inventor
郑东亮
张奕
于浩天
冮顺奎
张明星
施继玲
王晓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110646148.2A priority Critical patent/CN113256800B/zh
Publication of CN113256800A publication Critical patent/CN113256800A/zh
Application granted granted Critical
Publication of CN113256800B publication Critical patent/CN113256800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于深度学习的精确快速大景深三维重建方法，属于计算机智能视觉技术领域。包括如下步骤：基于深度学习设计搭建景深拓展卷积神经网络，通过三维测量系统采集待测物体的原始条纹图片，再获取高精度包裹相位，并以此重建三维信息。本发明提出的方法利用设备在固定的焦距下所拍摄的三张不同相移的条纹图像，即可在较大的测量景深内获得高精度的包裹相位。在这一过程中，投影仪和相机所引起的测量误差可被明显降低，仅通过单次拍摄即可在大景深场景下实现高性能的三维重建。

Description

基于深度学习的精确快速大景深三维重建方法
技术领域
本发明涉及一种基于深度学习的精确快速大景深三维重建方法，属于计算机视觉技术领域。
背景技术
基于数字条纹投影(DFP)技术的三维(3D)轮廓术已经被广泛研究，并应用于工业、机器人、医学和许多其他领域。然而，现有方法需要在系统校准后固定焦平面，当目标不在系统的景深(DOF)内时，导致精度降低和工作范围受限。为了扩大光学三维测量系统的工作范围，人们设计了多种方法，主要分为两种:虚拟自由度扩展和真实自由度扩展。虚拟自由度扩展是指增加对镜头模糊的容忍度，包括优化模式频率，估计和补偿模糊效应，以及自适应调整模式。当投影仪和摄像机严重散焦时，由于模式信息的快速退化，虚拟自由度扩展方法通常不能处理大的深度变化。真实自由度扩展是指通过修改相机或投影仪的配置来增加物理自由度。基于改进投影仪光学系统的方法包括多焦点投影、编码孔径投影和焦点扫描投影。这些方法会显著降低光传输效率，或者过于复杂而难以实现。2D自动聚焦成像只需要确保目标在DOF的体积内，并且不知道焦距的精确值，但是对于基于DFP的3D轮廓术来说，精确地知道焦距的任何变化以获得最高精度是至关重要的。因此，传统的2D自动聚焦方法不能直接用于基于DFP技术的高精度三维形状测量。
对于FPP（fringe projection profilometry，条纹投影轮廓术）系统，由于有限的景深，很难测量大深度变化的场景，这容易导致投影仪和摄像机散焦。前者保持所携带的相位不变，但是减少了条纹调制并增加了由随机噪声引起的相位误差，这可以通过暂时增加条纹或过滤光谱来减少。后者使捕获的条纹变得模糊，并在包含边缘、阶梯和突变的区域造成严重的测量误差。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于深度学习的精确快速大景深三维重建方法，能够在较大的测量景深范围内实现高精度的三维测量，无需多次采样，能够在保证测量精度的同时兼顾测量速度，从而在大景深场景下实现高性能的三维重建。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于深度学习的精确快速大景深三维重建方法，包括以下步骤：
步骤1：搭建神经网络：设计景深拓展卷积神经网络；
步骤2：基于深度学习训练获得图像模型：取不同景深的若干个物体的模糊相移条纹图像和对应精确相移条纹图像数据进行采集，每个物体选用三个模糊相移条纹图像数据输入步骤1中得到的景深拓展卷积神经网络并进行深度学习训练，将得到的相位数据与精确相移条纹图像的数据对比，若未达到预设精确度则返回景深拓展卷积神经网络进行参数优化，达到预设精确度时，则得出此景深对应的条纹图像模型；
步骤3：多次训练获得模型集：由若干个物体经过步骤2后获得若干组条纹图像模型；
步骤4：待测物体条纹图像采集：通过三维测量系统采集待测物体的三张原始条纹图像；
步骤5：获取高精度包裹相位：将步骤4中采集的待测物体的原始条纹图片代入步骤3中的若干个条纹图像模型中，得到对应的高精确包裹相位；
步骤6：重建三维信息：通过步骤5中得到的高精确包裹相位通过相位恢复、相位展开和三维重建处理后，再对待测物体所处的子景深进行定位，得到重建后三维数据信息。
进一步的，步骤1中所述的景深拓展卷积神经网络包括卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块、卷积层和跳层连接，其搭建过程如下：每个物体取三张相移条纹图像，依次通过卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块和卷积层，通过空间上的降采样和升采样，提取不同的分辨率，并通过跳层连接将分辨率相同的数据进行对比，经过若干次对比后输出相位数据。
进一步的，步骤2中深度学习训练的具体步骤为：将输入模糊相移条纹图像按照不 同景深范围划分为
Figure 271618DEST_PATH_IMAGE001
组，每组选用三张相移条纹图像记为
Figure 641288DEST_PATH_IMAGE002
输入，通过 步骤1得到的景深拓展卷积神经网络，M和D代表相位恢复过程中反正切计算中的分子和分 母即下面式子中的分子和分母，输出对应的条纹图像数据为
Figure 827550DEST_PATH_IMAGE003
和
Figure 488339DEST_PATH_IMAGE004
，并通过对应 精确相移条纹图像数据计算出各对应的Ground-truth值
Figure 772819DEST_PATH_IMAGE005
和
Figure 1806DEST_PATH_IMAGE006
，将
Figure 534419DEST_PATH_IMAGE003
、
Figure 389111DEST_PATH_IMAGE004
、
Figure 261252DEST_PATH_IMAGE007
和
Figure 785774DEST_PATH_IMAGE008
代入损失函数公式中，计算出每个图像数据的损失函数，若损失函数值大于 0.15则再返回景深拓展卷积神经网络进行深度学习训练，直至损失函数值小于或等于0.15 时，得到对应的条纹图像模型。
进一步的，所述损失函数公式为：
Figure 195896DEST_PATH_IMAGE010
，
其中，
Figure 198487DEST_PATH_IMAGE011
代表卷积神经网络所选用的参数，
Figure 128397DEST_PATH_IMAGE012
为图像的像素数目。
进一步的，步骤4中所述的三维测量系统包括投影仪、相机和计算机，三维测量系统采集待测物体的原始条纹图片的具体步骤为：利用计算机设置固定间隔的条纹光栅，通过投影仪投射一组正弦条纹图像，经待测物体反射后经相机接收，选取若干不同位置的正弦图和相移步数，取相移步数最高的正弦图为原始条纹图片。
进一步的，相机的相机镜头上还安装有电可调镜头。
有益效果：与现有技术相比，本发明具有以下优点：这是一种新式的基于深度学习的精确快速大景深三维重建方法，提出的基于深度学习的精确快速大景深三维重建方法利用设备在固定的焦距下所拍摄的三张不同相移的条纹图像，可在较大的测量景深内获得高精度的包裹相位。在这一过程中，投影仪和相机所引起的测量误差可被明显降低，仅通过单次拍摄即可在大景深场景下实现高性能的三维重建。
附图说明
图1是本发明的流程示意图；
图2是本发明的实施例在景深拓展卷积神经网络中处理图像数据的步骤示意图；
图3是本发明的实施例位于子景深
Figure 10771DEST_PATH_IMAGE013
时DOFEM的效果图；
图4是本发明的实施例位于子景深
Figure 783555DEST_PATH_IMAGE014
时DOFEM的效果图；
图5是本发明的实施例位于子景深
Figure 199624DEST_PATH_IMAGE015
时DOFEM的效果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，一种基于深度学习的精确快速大景深三维重建方法的实施例，具体有以下步骤：
步骤1：搭建神经网络：基于深度学习设计景深拓展卷积神经网络DOFENet。景深拓展卷积神经网络包括卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块、卷积层和跳层连接，其搭建过程如下：每个物体取三张相移条纹图像，依次通过卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块和卷积层，通过空间上的降采样和升采样，提取不同的分辨率，并通过跳层连接将分辨率相同的数据进行对比，经过3000次对比后输出相位数据。
步骤2：基于深度学习训练获得图像模型：取不同景深的若干个物体的模糊相移条 纹图像和对应精确相移条纹图像数据进行采集，每个物体选用三个模糊相移条纹图像数据 输入步骤1中得到的景深拓展卷积神经网络并进行深度学习训练，将得到的相位数据与精 确相移条纹图像的数据对比，若未达到目标精确度则返回景深拓展卷积神经网络进行参数 优化，达到精确度时，则得出此景深对应的条纹图像模型。深度学习训练的具体步骤为：将 输入模糊相移条纹图像按照不同景深范围划分为
Figure 374253DEST_PATH_IMAGE001
组，每组选用三张相移条纹图像记为
Figure 161950DEST_PATH_IMAGE016
输入，通过步骤1得到的景深拓展卷积神经网络，M和D代表相位恢复过程 中反正切计算中的分子和分母即下面式子中的分子和分母，输出对应的条纹图像数据为
Figure 297396DEST_PATH_IMAGE003
和
Figure 641790DEST_PATH_IMAGE017
，并通过对应精确相移条纹图像数据计算出各对应的Ground-truth值
Figure 795559DEST_PATH_IMAGE018
和
Figure 770469DEST_PATH_IMAGE019
，将
Figure 252266DEST_PATH_IMAGE003
、
Figure 524984DEST_PATH_IMAGE017
、
Figure 408626DEST_PATH_IMAGE020
和
Figure 554437DEST_PATH_IMAGE006
代入损失函数公式中，计算出每个图像 数据的损失函数，若损失函数值大于0.15则再返回景深拓展卷积神经网络进行深度学习训 练，直至损失函数值小于或等于0.15时，得到对应的条纹图像模型。损失函数
Figure 648164DEST_PATH_IMAGE021
公式 为：
Figure 334360DEST_PATH_IMAGE023
，
其中，
Figure 213454DEST_PATH_IMAGE024
代表卷积神经网络所选用的参数，
Figure 519714DEST_PATH_IMAGE025
为图像的像素数目。
DOFENet这种网络结构减小了训练过程中落入局部极值的风险，而跳层连接的使用使得网络可将空间降采样过程中丢失的图像细节进行一定的恢复，提高了输出图像的精度，使其具有更加丰富的纹理。
如图2所示，选取的大的测量景深(680mm,2100mm)划分为7个子景深，即
Figure 648207DEST_PATH_IMAGE026
。 对于每个子景深
Figure 403673DEST_PATH_IMAGE027
，其对应的景深范围分别为(680mm,800mm)， (750mm,900mm)，(850mm,1050mm)，(1000mm,1250mm)，(1200mm,1500mm)，(1400mm,1750mm)， (1650mm,2100mm)。在每个子景深内，其训练集和验证集的样本数量分别为50，20。对于每个 样本，在ETL输入电流为
Figure 855383DEST_PATH_IMAGE028
mA及设备曝光时间为
Figure 670892DEST_PATH_IMAGE029
ms的情况下，相机拍摄 一组失真的条纹图像，在ETL输入电流为
Figure 286681DEST_PATH_IMAGE030
及设备曝光时间为
Figure 970473DEST_PATH_IMAGE031
的情况下，相机拍摄一 组高质量的条纹图像。对于上述每个子景深，其对应的
Figure 417634DEST_PATH_IMAGE030
分别为33.40mA，22.96mA， 15.45mA，7.15mA，0mA，-15.45mA，-22.60mA，其对应的
Figure 13832DEST_PATH_IMAGE031
分别为3.9ms，5.5ms，6.5ms， 8.5ms，10ms，14ms，17ms。在训练过程中，DOFENet采用三张失真的、相移量分别为0，和的条 纹图像作为网络的输入，采用由十五步高质量相移条纹图像计算得到的
Figure 366185DEST_PATH_IMAGE032
和
Figure 463454DEST_PATH_IMAGE033
作 为网络的Ground-truth。需要说明的是，上述多组训练集中的样本不允许出现在测试集中。
步骤3：多次训练获得模型集：由若干个物体经过步骤2后获得若干组条纹图像模 型。在测试集中，180组样本被随机放置在选取的大的测量景深内，且在拍摄DOFENet的输入 条纹图像时未安装ETL。为了进一步比较，采用上述设备，在ETL的输入电流为
Figure 171647DEST_PATH_IMAGE030
及设备曝 光时间为
Figure 797800DEST_PATH_IMAGE034
、以及ETL的输入电流为
Figure 840711DEST_PATH_IMAGE035
及设备曝光时间为
Figure 741671DEST_PATH_IMAGE031
的情况下选用相同的条 纹图像对场景进行投影、拍摄。
步骤4：待测物体条纹图像采集：通过三维测量系统采集待测物体的三张原始条纹图像；三维测量系统包括投影仪、相机和计算机，即条纹投影轮廓术FPP，条纹投影轮廓术FPP引进了ETL(电可调镜头)，以扩大摄像机的自由度。ETL安装在相机镜头前，可以通过调节电流实现焦距的变化。三维测量系统采集待测物体的原始条纹图片的具体步骤为：利用计算机设置固定间隔的条纹光栅，通过投影仪投射一组正弦条纹图像，经待测物体反射后经相机接收，选取若干不同位置的正弦图和相移步数，在不同的位置选取不同频率的正弦图和不同的相移步数以达到最好的重建效果。
随机选取测试集中的一个物体，采用本文提出的景深拓展方法DOFEM，以验证其在不同子景深内高性能的三维重建能力，其结果如图3、图4和图5所示。
步骤5：获取高精度包裹相位：将步骤4中采集的待测物体的原始条纹图片代入步 骤3中的若干个条纹图像模型中，得到对应的高精确包裹相位。得到高精度包裹相位具体步 骤为：选用三张待测物体的相移条纹图像
Figure 835529DEST_PATH_IMAGE036
作为网络的输入，并输出条纹图像
Figure 288376DEST_PATH_IMAGE037
和
Figure 428371DEST_PATH_IMAGE038
，其对应的Ground-truth可表示为
Figure 742808DEST_PATH_IMAGE039
和
Figure 284648DEST_PATH_IMAGE040
，利用训练后的多个网络模 型，可获得
Figure 705134DEST_PATH_IMAGE001
组输出的条纹图像，通过相位恢复、相位展开和三维重建过程，获得
Figure 207791DEST_PATH_IMAGE001
组深度 图，表示为
Figure 184974DEST_PATH_IMAGE041
，对待测物体所处的子景深进行定位后，得到精 确的三维数据，即高精确包裹相位。
首先，选取该物体位于子景深
Figure 705954DEST_PATH_IMAGE042
的样本，其结果如图3所示。图中，从左到右每 一列分别为输入的条纹图像、
Figure 48074DEST_PATH_IMAGE001
组模型得到的输出的条纹图像、由输出图像得到的
Figure 162660DEST_PATH_IMAGE001
组深 度图，以及由输入、输出、Ground-truth计算得到的三维数据。DOFENet采用三张失真的条纹 图像作为网络的输入，并采用训练过程得到的
Figure 62309DEST_PATH_IMAGE001
组模型以获得
Figure 313162DEST_PATH_IMAGE001
组输出的条纹图像。在本 发明的测量系统中，即使图像出现了一定的失真仍可实现正确的相位展开。因此，
Figure 29445DEST_PATH_IMAGE001
组输出 的条纹图像虽然计算得到的相位会出现一定的偏差，但其三维重建所获得的深度图结果相 似。据此，因
Figure 552699DEST_PATH_IMAGE001
组深度图均位于(680mm,800mm)的范围内，因此可定位样本属于子景深
Figure 137264DEST_PATH_IMAGE042
。继而，利用输出的条纹图像
Figure 117989DEST_PATH_IMAGE043
和
Figure 129808DEST_PATH_IMAGE044
，可获得精确的包裹相位。
步骤6：重建三维信息：通过步骤5中得到的高精确包裹相位通过相位恢复、相位展开和三维重建处理后，再对待测物体所处的子景深进行定位，得到重建后三维数据信息。三维重建的结果显示，超出测量景深的输入条纹图像难以获得高质量的三维数据，其结果较为粗糙，误差较大。DOFEM能够明显降低相机和投影仪在大景深场景下的测量误差，能够获得光滑且准确的三维数据，其结果与采用Ground-truth计算得到的结果类似。
随后，选取该物体位于子景深
Figure 78041DEST_PATH_IMAGE045
和子景深
Figure 138401DEST_PATH_IMAGE046
的样本，其结果如图4和图5 所示。可以发现，对于不同子景深下的样本，DOFEM均可正确定位到样本所处的位置，从而选 择相应模型输出的条纹图像以获取最终的三维重建结果。相较于输入图像计算得到的三维 数据，DOFEM可明显降低其中相机和投影仪所引起的测量误差，且最终获得的三维数据与 Ground-truth所对应的结果类似。
由此可知，本发明提出的基于景深拓展的大景深三维重建方法利用设备在固定的焦距下所拍摄的三张不同相移的条纹图像，即可在较大的测量景深内获得高精度的包裹相位。在这一过程中，能够有效降低相机和投影仪引起的三维测量误差，能够在较大的测量景深范围内实现高精度的三维测量。该方法无需多次采样，仅通过单次拍摄即可在大景深场景下实现高性能的三维重建，以此在保证测量精度的同时兼顾测量速度，从而在大景深场景下实现高性能的三维重建。

Claims (6)

1.一种基于深度学习的精确快速大景深三维重建方法，其特征在于：包括以下步骤：
步骤1：搭建神经网络：设计景深拓展卷积神经网络；
步骤2：基于深度学习训练获得图像模型：取不同景深的若干个物体的模糊相移条纹图像和对应精确相移条纹图像数据进行采集，每个物体选用三个模糊相移条纹图像数据输入步骤1中得到的景深拓展卷积神经网络并进行深度学习训练，将得到的相位数据与精确相移条纹图像的数据对比，若未达到预设精确度则返回景深拓展卷积神经网络进行参数优化，达到预设精确度时，则得出此景深对应的条纹图像模型；
步骤3：多次训练获得模型集：由若干个物体经过步骤2后获得若干组条纹图像模型；
步骤4：待测物体条纹图像采集：通过三维测量系统采集待测物体的三张原始条纹图像；
步骤5：获取高精度包裹相位：将步骤4中采集的待测物体的原始条纹图片代入步骤3中的若干个条纹图像模型中，得到对应的高精确包裹相位；
步骤6：重建三维信息：通过步骤5中得到的高精确包裹相位通过相位恢复、相位展开和三维重建处理后，再对待测物体所处的子景深进行定位，得到重建后三维数据信息。
2.根据权利要求1所述的基于深度学习的精确快速大景深三维重建方法，其特征在于：步骤1中所述的景深拓展卷积神经网络包括卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块、卷积层和跳层连接，其搭建过程如下：每个物体取三张相移条纹图像，依次通过卷积激活模块、卷积池化激活模块、上采样卷积模块、卷积激活上采样模块和卷积层，通过空间上的降采样和升采样，提取不同的分辨率，并通过跳层连接将分辨率相同的数据进行对比，经过若干次对比后输出相位数据。
3.根据权利要求2所述的基于深度学习的精确快速大景深三维重建方法，其特征在于： 步骤2中深度学习训练的具体步骤为：将输入模糊相移条纹图像按照不同景深范围划分为
Figure 858094DEST_PATH_IMAGE001
组，每组选用三张相移条纹图像记为
Figure 726693DEST_PATH_IMAGE002
输入，通过步骤1得到的景 深拓展卷积神经网络，M和D代表相位恢复过程中反正切计算中的分子和分母即下面式子中 的分子和分母，输出对应的条纹图像数据为
Figure 104585DEST_PATH_IMAGE003
和
Figure 783959DEST_PATH_IMAGE004
，并通过对应精确相移条纹图 像数据计算出各对应的Ground-truth值
Figure 981722DEST_PATH_IMAGE005
和
Figure 654012DEST_PATH_IMAGE006
，将
Figure 620831DEST_PATH_IMAGE003
、
Figure 238150DEST_PATH_IMAGE004
、
Figure 657631DEST_PATH_IMAGE007
和
Figure 133611DEST_PATH_IMAGE008
代 入损失函数公式中，计算出每个图像数据的损失函数，若损失函数值大于0.15则再返回景 深拓展卷积神经网络进行深度学习训练，直至损失函数值小于或等于0.15时，得到对应的 条纹图像模型。
4.根据权利要求3所述的基于深度学习的精确快速大景深三维重建方法，其特征在于： 所述损失函数
Figure 954937DEST_PATH_IMAGE009
公式为：
Figure 241693DEST_PATH_IMAGE011
，
其中，
Figure 148469DEST_PATH_IMAGE012
代表卷积神经网络所选用的参数，
Figure 162561DEST_PATH_IMAGE013
为图像的像素数目。
5.根据权利要求1所述的基于深度学习的精确快速大景深三维重建方法，其特征在于：步骤4中所述的三维测量系统包括投影仪、相机和计算机，三维测量系统采集待测物体的原始条纹图片的具体步骤为：利用计算机设置固定间隔的条纹光栅，通过投影仪投射一组正弦条纹图像，经待测物体反射后经相机接收，选取若干不同位置的正弦图和相移步数，取相移步数最高的正弦图为原始条纹图片。
6.根据权利要求5所述的基于深度学习的精确快速大景深三维重建方法，其特征在于：相机的相机镜头上还安装有电可调镜头。
CN202110646148.2A 2021-06-10 2021-06-10 基于深度学习的精确快速大景深三维重建方法 Active CN113256800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646148.2A CN113256800B (zh) 2021-06-10 2021-06-10 基于深度学习的精确快速大景深三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646148.2A CN113256800B (zh) 2021-06-10 2021-06-10 基于深度学习的精确快速大景深三维重建方法

Publications (2)

Publication Number Publication Date
CN113256800A true CN113256800A (zh) 2021-08-13
CN113256800B CN113256800B (zh) 2021-11-26

Family

ID=77187326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646148.2A Active CN113256800B (zh) 2021-06-10 2021-06-10 基于深度学习的精确快速大景深三维重建方法

Country Status (1)

Country Link
CN (1) CN113256800B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612362A (zh) * 2022-03-18 2022-06-10 四川大学 基于多点扩散函数生成对抗网络的大景深成像方法及系统
CN117011478A (zh) * 2023-10-07 2023-11-07 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876839A (zh) * 2018-07-18 2018-11-23 清华大学 一种结构光三维成像系统的景深扩展方法、装置和系统
CN109186492A (zh) * 2018-08-14 2019-01-11 博众精工科技股份有限公司 基于单相机的三维重建方法、装置及系统
CN111402240A (zh) * 2020-03-19 2020-07-10 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN111879258A (zh) * 2020-09-28 2020-11-03 南京理工大学 基于条纹图像转换网络FPTNet的动态高精度三维测量方法
CN111928799A (zh) * 2020-09-25 2020-11-13 南京理工大学 基于深度学习实现条纹图像对比度增强的三维测量方法
CN112833818A (zh) * 2021-01-07 2021-05-25 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN112945141A (zh) * 2021-01-29 2021-06-11 中北大学 基于微透镜阵列的结构光快速成像方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876839A (zh) * 2018-07-18 2018-11-23 清华大学 一种结构光三维成像系统的景深扩展方法、装置和系统
CN109186492A (zh) * 2018-08-14 2019-01-11 博众精工科技股份有限公司 基于单相机的三维重建方法、装置及系统
CN111402240A (zh) * 2020-03-19 2020-07-10 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN111928799A (zh) * 2020-09-25 2020-11-13 南京理工大学 基于深度学习实现条纹图像对比度增强的三维测量方法
CN111879258A (zh) * 2020-09-28 2020-11-03 南京理工大学 基于条纹图像转换网络FPTNet的动态高精度三维测量方法
CN112833818A (zh) * 2021-01-07 2021-05-25 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN112945141A (zh) * 2021-01-29 2021-06-11 中北大学 基于微透镜阵列的结构光快速成像方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU HAOTIAN,ETC: "Deep learning-based fringe pattern transformation method for phase calculation", 《PROCEEDINGS OF SPIE》 *
ZHAO YANG,ETC: "Fluorescent light error suppression for high-speed phase-shifting profilometry based on deep learning", 《PROCEEDINGS OF SPIE》 *
张钊等: "多阶段深度学习单帧条纹投影三维测量方法", 《红外与激光工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612362A (zh) * 2022-03-18 2022-06-10 四川大学 基于多点扩散函数生成对抗网络的大景深成像方法及系统
CN114612362B (zh) * 2022-03-18 2023-05-23 四川大学 基于多点扩散函数生成对抗网络的大景深成像方法及系统
CN117011478A (zh) * 2023-10-07 2023-11-07 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法
CN117011478B (zh) * 2023-10-07 2023-12-22 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法

Also Published As

Publication number Publication date
CN113256800B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110487216B (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
CN113256800B (zh) 基于深度学习的精确快速大景深三维重建方法
CN110163817B (zh) 一种基于全卷积神经网络的相位主值提取方法
CN111288925B (zh) 一种基于数字对焦结构照明光场的三维重建方法和装置
CN109945802B (zh) 一种结构光三维测量方法
CN113160068B (zh) 基于图像的点云补全方法及系统
CN109631798B (zh) 一种基于π相移方法的三维面形垂直测量方法
JP2008123141A (ja) 対応点探索方法および３次元位置計測方法
CN109631796B (zh) 一种基于二维s变换取脊方法的三维面形垂直测量方法
US11651581B2 (en) System and method for correspondence map determination
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
CN113008195B (zh) 一种基于空间点云的三维曲面距离测量方法及系统
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN109443250B (zh) 一种基于s变换的结构光三维面形垂直测量方法
Song et al. Super-resolution phase retrieval network for single-pattern structured light 3D imaging
CN112802084B (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
US20230384085A1 (en) Phase unwrapping method based on multi-view constraints of light field and related components
CN115546285B (zh) 基于点扩散函数解算的大景深条纹投影三维测量方法
CN115578296B (zh) 一种立体视频处理方法
CN113160393B (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
CN114065650A (zh) 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
CN105469416A (zh) 基于旋转编码光圈成像系统的深度估计方法
CN117804381B (zh) 一种基于相机阵列聚焦结构光对物体三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant