CN111351450B - 基于深度学习的单帧条纹图像三维测量方法 - Google Patents

基于深度学习的单帧条纹图像三维测量方法 Download PDF

Info

Publication number
CN111351450B
CN111351450B CN202010199593.4A CN202010199593A CN111351450B CN 111351450 B CN111351450 B CN 111351450B CN 202010199593 A CN202010199593 A CN 202010199593A CN 111351450 B CN111351450 B CN 111351450B
Authority
CN
China
Prior art keywords
fringe
layer
camera
model
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010199593.4A
Other languages
English (en)
Other versions
CN111351450A (zh
Inventor
钱佳铭
左超
陈钱
冯世杰
陶天阳
胡岩
李艺璇
尚昱昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010199593.4A priority Critical patent/CN111351450B/zh
Publication of CN111351450A publication Critical patent/CN111351450A/zh
Application granted granted Critical
Publication of CN111351450B publication Critical patent/CN111351450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的单帧条纹图像三维测量方法，包括：构建2个卷积神经网络CNN；利用训练数据分别对2个卷积神经网络CNN进行训练，生成模型1和模型2；采集待测物体的条纹图像，利用模型1和模型2获得待测物体的条纹级次、分子项与分母项，将分子项与分母项代入反正切函数，结合条纹级次计算绝对相位；根据绝对相位信息对待测物体的三维信息进行计算，实现对待测物体的三维重构。本发明只需向待测物体投影一幅条纹图案，可快速、高效地获取相位信息。

Description

基于深度学习的单帧条纹图像三维测量方法
技术领域
本发明属于光学测量技术领域，具体为一种基于深度学习的单帧条纹图像的三维测量方法。
背景技术
条纹投影轮廓仪技术(FPP)由于其简单的硬件配置、实现的灵活性和高测量精度而成为最受欢迎的光学3D成像方法之一(文献“Fringe projection techniques:whitherwe are？”，作者S.S.Gorthi等)。在FPP技术中，一系列的条纹图案被投影仪投影到目标物体上，然后在物体上产生变形，在此期间，物体的深度信息编码在变形条纹的相位中。
如今，随着成像设备和投影技术的发展，快速获取高质量3D信息对于许多应用至关重要。为了在基于FPP的高速场景中获得3D数据，通常会从两个方面进行努力：提高硬件速度和提高算法中单个3D重构的效率。第一个方面的硬件成本非常高；另一方面集中在减少每次重构所需的图像数量以提高测量效率，进而实现在高速场景的3D数据采集。理想的方法是在单帧条纹图像中获得目标的3D数据。最近，结合深度学习和相位检索的物理模型实现了从单个条纹模式获得高精度相位信息(文献“Fringe pattern analysis usingdeep learning”，作者S.Feng等)，然而仅能得到单幅的包裹相位。为了实现三维测量，需要进行相位展开，这是FPP中最影响测量效率并且对时间最敏感的操作之一。常用的相位解包裹方法是时间相位解包裹(TPU)算法(文献“Time efficient color fringe projectionsystem for 3d shape and color using optimum 3-frequency selection”，作者Z.Zhang等)。但是，由于需要大量附加图案，这些附加图案仅用于相位展开并且对测量精度没有任何影响，因此TPU降低了高速场景下3D测量的效率。尽管提出了一些改进的TPU方案来通过尽可能少的图案来解决相位模糊问题，但辅助图案的使用仍然是不可避免的。在2007年，Weise等人(文献“Fast 3d scanning with automatic motion compensation”，作者T.Weise等)将几何约束条件引入FPP方法，并提出了一种称为立体相位展开(SPU)的新型相位展开技术，该技术可以基于两台摄像机和一台投影仪之间的空间关系解决相位模糊问题，而无需投影任何辅助图案。尽管与传统方法相比需要更多的摄像头，但SPU确实使FPP的效率最大化，并且非常适合于高速场景中的3D形状测量。但是，传统的SPU方法不足以高鲁棒性地解开密集条纹图像的相位，然而增加条纹图像的频率对于3D重建的精度至关重要。为了解决这个问题，一些研究人员提出了一些辅助算法来增强SPU的鲁棒性，这些算法通常集中在四个方面：第一方法是SPU结合空间相位解包裹方法，以降低SPU方法的相位解包裹误差，但是这些方法很难处理相位中不连续或不相交的部分；第二个方法是集中于嵌入辅助信息的技术(文献“High-speed absolute three-dimensional shape measurementusing three binary dithered patterns”，作者W.Lohry等)，由于该类方法是借助调制信息获得绝对相位的，因此在测量具有较大表面反射率变化的物体时结果并不理想；第三种方法是增加视角的数量并消除具有更多几何约束的高频相位的模糊性(文献“High-precision real-time 3d shape measurement based on a quad-camera system”，作者T.Tao等)，与前面的两种方法相比，该方法更适合于表面较为复杂的物体，但代价是要进一步增加摄像机的数量；此外，仅增加视图数量还不足以鲁棒地恢复密集条纹图像的绝对相位，这通常需要与第四个方法深度约束条件相结合(文献“Using geometric constraintsto solve the point correspondence problem in fringe projection based 3dmeasuring systems”，作者C.
Figure BDA0002418900930000021
-Burchardt等)。然而，当使用高频条纹时，传统的深度约束条件只能在狭窄的深度范围内展开相位，并且如何设置合适的深度约束范围也很困难。Tao等提出了一种自适应深度约束(ADC)条件，利用该方法可以扩大测量体积，并且可以自动选择深度约束的范围，但前提是首次测量必须获得正确的绝对相位(文献“High-speedreal-time 3d shape measurement based on adaptive depth constraint”，作者T.Tao等)。另外，由于SPU一方面依靠多个视角之间的相位信息的相似性来实现相位解缠，对包裹相位的质量有很高的要求(文献“High-precision real-time 3d shape measurementbased on a quad-camera system”，作者T.Tao等)，因此通常通过相移方法(PS)(文献“Automated phase-measuring profilometry of 3-d diffuse objects”，作者V.Srinivasan等)来获取SPU中的包裹相位，这是一种多帧相位获取方法，可以提供高空间分辨率和高测量精度的相位信息。然而，使用不止一种条纹图案会降低SPU方法的效率。另一种常用的相位采集技术是具有单发性质的傅立叶变换(FT)方法(文献“Comparison offourier transform,windowed fourier transform,and wavelet transform methodsfor phase extraction from a single fringe pattern in fringe projectionprofilometry”，作者L.Huang等)，由于在不连续或者孤立的区域周围成像质量较差，因此不适合SPU。另一方面，SPU需要高质量的系统标定，在算法上要比其他传统方法(例如TPU)实施起来比较困难。
从上面的讨论中不难看出，尽管SPU最适合在高速场景中进行3D测量，但是它仍然存在一些缺陷，例如：测量范围有限，无法稳定实现高频条纹图像的相位展开，多视角对相位噪声和标定误差的敏感性，采用多帧相位采集方法而导致的测量效率损失，算法的复杂性，更高成本的消耗等。理想的SPU应该仅使用两台摄像机和一台投影仪，这是SPU硬件设备的最基本要求，是在单帧投影的前提下，在较大的测量范围内实现稳定的高频条纹图像相位展开。
受单幅包裹相位捕获中深度学习成功的启发和几何约束的发展的启发，我们进一步将深度学习推向了绝对相位的检索，将几何约束合并到神经网络中。几何约束隐藏在网络中，而不是直接使用标定参数，这简化了相位展开的整个过程，并且避免了各种参数的复杂调整。该方法证明了单帧投影可以借助深度学习来恢复高分辨率的绝对相位。与传统的SPU相比，该方法在更大范围内以更少的视角更强大地展开了较高频率的相位。实验证明，该方法可以在静态和动态情况下，对具有复杂表面的多个隔离对象实现高质量的3D形状测量。但是，单帧方法具有不确定性，不能无所不能地应对各种情况，当输入的数据本身不明确时，网络也无能为力。
发明内容
本发明的目的在于提供了一种基于深度学习的单帧条纹图像三维测量方法。
实现本发明目的的技术解决方案为：一种基于深度学习的单帧条纹图像三维测量方法，具体步骤为：
步骤1：构建2个卷积神经网络CNN；
步骤2：利用训练数据分别对2个卷积神经网络CNN进行训练，生成模型1和模型2；
步骤3：采集待测物体的条纹图像，利用模型1和模型2获得待测物体的条纹级次、分子项与分母项，将分子项与分母项代入反正切函数，结合条纹级次计算绝对相位；
步骤4：根据绝对相位信息对待测物体的三维信息进行计算，实现对待测物体的三维重构。
优选地，所述卷积神经网络CNN包括四条数据处理路径、连接层以及第九卷积层，四条数据处理路径的输出数据通过连接层进行叠加后经过第九卷积层输出，其中，所述四条数据处理路径分别为第一数据处理路径、第二数据处理路径、第三数据处理路径以及第四数据处理路径，四条数据处理路径的输出数据通过连接层进行叠加后由第九卷积层输出，所述第一数据处理路径，包括依次连接的第一卷积层、四个串联残差模块)以及第二卷积层。所述第二数据处理路径包括依次连接的第三卷积层、第一池化层、四个串联残差模块、第一上采样块以及第四卷积层；所述第三数据处理路径包括依次连接的第五卷积层(5)、第二池化层、四个串联残差块、两个串联残差块、第二采样块以及第六卷积层；所述第四数据处理路径包括依次连接的第七卷积层、第三池化层、四个串联残差块、三个串联残差块、第三采样块以及第八卷积层。
优选地，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层第七卷积层、第八卷积层以及第九卷积层均采用大小为4×4的卷积核。
优选地，所述第一池化层的核函数大小为2×2，第二池化层的核函数大小为4×4，第三池化层使用的核函数大小为8×8。
优选地，训练数据基于三目系统生成，所述三目系统包括投影仪、第一相机、第二相机和第三相机，利用三目系统测量(s+1)个不同的场景，每个场景共拍摄N幅相移条纹图像，其中，第一个场景为参考平面，第一相机采集的条纹图像被表示为
Figure BDA0002418900930000041
第二相机采集的条纹图像被表示为
Figure BDA0002418900930000042
第三相机采集的条纹图像被表示为
Figure BDA0002418900930000043
其余场景采集的条纹图像分别被表示为：第一相机采集到的条纹图像
Figure BDA0002418900930000044
t＝1,2…T，T＝s×N为训练时采集的除去参考平面的条纹图像数据总数，第二相机采集到的条纹图像
Figure BDA0002418900930000045
第三相机采集到的条纹图像
Figure BDA0002418900930000046
优选地，利用训练数据分别对2个卷积神经网络CNN进行训练，生成模型1和模型2的具体方法为：
将第一相机采集的每个场景的第一幅条纹图像
Figure BDA0002418900930000047
作为输入数据，第一幅条纹图像
Figure BDA0002418900930000048
对应的分子项Mj与分母项Dj作为标准值送入第一个卷积神经网络CNN中，训练生成模型1；
将
Figure BDA0002418900930000051
k1、
Figure BDA0002418900930000052
和
Figure BDA0002418900930000053
作为输入数据，kn作为标准值送入另一个卷积神经网络CNN中，训练生成模型2，其中
Figure BDA0002418900930000054
和
Figure BDA0002418900930000055
为第一相机采集的条纹图像，
Figure BDA0002418900930000056
和
Figure BDA0002418900930000057
为第三相机采集的条纹图像。
优选地，模型1和模型2训练过程中标准值的确定方法为：
利用N步相移算法计算所有条纹图像对应的分子项Mj与分母项Dj，j＝1,2…(s+1)；
利用基于多目系统并结合ADC条件的立体相位展开方法计算所有条纹图像I计算得到第一相机采集的每个场景的第一幅条纹图像Im中的条纹级次kn，m＝1+n×N，n＝1,2…(s+1)，其中k1为参考平面的条纹级次。。
本发明与现有技术相比，其显著优点为：(1)本发明只需向待测物体投影一幅条纹图案，可快速、高效地获取相位信息；(2)利用本发明获取的相位精度更高；(3)本发明可以在更大的测量范围和更少的视角下更高效、稳定地解开密集条纹图像的相位，而且无论在静态还是动态情况下，当测量具有复杂表面的孤立对象时，本发明都可以重建高分辨率3D形状信息。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一种基于深度学习的单帧条纹图像三维测量方法的流程示意图。
图2为网络CNN的结构与原理图。
图3为模型1的原理图。
图4为模型2的原理图。
图5为三目系统示意图。
图6为实施例结果图。
图7为实施例得到的三维模型示意图。
具体实施方式
如图1所示，一种基于深度学习的单帧条纹图像三维测量方法，可进行单帧的条纹图像分析，获得高精度的相位信息，并且实现对待测物体的三维测量，具体包括以下步骤：
步骤1：构建两个结构相同的卷积神经网络结构CNN。
对于卷积神经网络CNN的结构与原理如图2所示。所述卷积神经网络CNN包括四条数据处理路径、连接层以及第九卷积层，四条数据处理路径分别为第一数据处理路径、第二数据处理路径、第三数据处理路径以及第四数据处理路径，四条数据处理路径的输出数据通过连接层进行叠加后经过第九卷积层输出。
具体地，所述第一数据处理路径，包括依次连接的第一卷积层、四个串联残差模块以及第二卷积层。所述第二数据处理路径包括依次连接的第三卷积层、第一池化层、四个串联残差模块、第一上采样块以及第四卷积层。所述第三数据处理路径包括依次连接的第五卷积层、第二池化层、四个串联残差块、两个串联残差块、第二采样块以及第六卷积层。所述第四数据处理路径包括依次连接的第七卷积层、第三池化层、四个串联残差块、三个串联残差块、第三采样块以及第八卷积层。
具体地，所述第一卷积层至第九卷积层全部使用大小为4×4的卷积核。
所述第一池化层、第二池化层、第三池化层的作用是对图像进行分辨率降采样，并保持通道数不变，其中第一池化层使用的核函数大小为2×2，将数据的高度和宽度分别减少至1/2，第二池化层使用的核函数大小为4×4，将数据的高度和宽度分别减少至1/4，第三池化层使用的核函数大小为8×8，将数据高度和宽度分别减少至1/8。每个残差模块具体的构建方法参考文献Deep residual learning for image recognition，作者K He等。
第一上采样块、第二上采样块、第三上采样块的作用为对数据进行分辨率的上采样，将数据的高度和宽度分别提高1倍，目的是恢复图像的原始分辨率。
随后，连接层将四路数据进行叠加。最后，经过第九卷积层输出数据。参数H表示图像的高度(像素)，W表示图像的宽度，C表示通道数量。对于各卷积层和残差模块而言，该通道数量等于使用的滤波器数量。网络CNN的第九卷积层的通道数Cout取决于训练要求。
步骤2：生成训练数据，利用训练数据分别对2个卷积神经网络CNN进行训练得到两个模型，分别为模型1和模型2。
基于三目系统生成训练数据，所述三目系统包括投影仪、第一相机、第二相机和第三相机，如图5所示，所述第一相机、第二相机位于投影仪的一侧，第三相机位于投影仪的另一侧。利用该系统测量(s+1)个不同的场景，对于每一个场景，共拍摄N幅相移条纹图像。其中测量的第一个场景为参考平面，第一相机采集的条纹图像被表示为
Figure BDA0002418900930000071
(i＝1,2…N)，第二相机采集的条纹图像被表示为
Figure BDA0002418900930000072
第三相机采集的条纹图像被表示为
Figure BDA0002418900930000073
其余场景下采集的条纹图像分别被表示为，第一相机采集到的条纹图像
Figure BDA0002418900930000074
(t＝1,2…T，T＝s×N为训练时采集的除去参考平面的条纹图像数据总数)，第二相机采集到的条纹图像
Figure BDA0002418900930000075
第三相机采集到的条纹图像
Figure BDA0002418900930000076
训练数据生成之后，本发明分别训练网络CNN生成模型1和模型2。
将第一相机采集的每个场景的第一幅条纹图像
Figure BDA0002418900930000077
作为输入数据，第一幅条纹图像
Figure BDA0002418900930000078
对应的分子项Mj与分母项Dj作为标准值(ground truth)送入第一个网络CNN中，训练生成模型1。利用均方误差作为损失函数，计算标准值Mj和Dj与模型1输出值
Figure BDA0002418900930000079
和
Figure BDA00024189009300000710
之间的差异，以评判模型训练结果的好坏。
对于模型1，其输入数据为单通道的单幅条纹图像I，输出数据为条纹图像对应的分子项和分母项。该模型的结构与原理如图3所示。输入数据在经过网络CNN的结构后，得到输出数据，该输出数据包含两个通道，第一个通道为条纹图像的分子项M，第二个通道为条纹图像的分母项D。另外，由于模型1的输出为双通道的数据，模型1的第九卷积层的通道数Cout＝2。
将
Figure BDA00024189009300000711
k1、
Figure BDA00024189009300000712
和
Figure BDA00024189009300000713
作为输入数据，kn作为标准值送入另一个网络CNN中，其中
Figure BDA00024189009300000714
和
Figure BDA00024189009300000715
为第一相机采集的条纹图像，
Figure BDA00024189009300000716
和
Figure BDA00024189009300000717
为第三相机采集的条纹图像，训练生成模型2。模型2的第九卷积层的通道数Cout＝1。
在两个模型训练生成过程中，网络CNN中的所有的卷积层中使用的激活函数均为线性整流函数(ReLU)。
进一步的实施例中模型1和模型2中标准值的确定方法为：
首先利用N步相移算法(文献“Digital wavefront measuring interferometerfor testing optical surfaces and lenses”，作者J Bruning等)，计算(s+1)场景下条纹图像I对应的分子项Mj与分母项Dj(j＝1,2…(s+1))。
随后利用基于多目系统并结合ADC条件的立体相位展开方法(文献“High-precision real-time 3d shape measurement based on a quad-camera system”，作者T.Tao等)，计算得到相机(1)采集的每个场景的条纹图像Im(m＝1+n×N，n＝1,2…(s+1))中的条纹级次kn，其中k1为参考平面的条纹级次。
步骤3：采用训练完成的两个模型与反正切函数，计算最终的绝对相位信息。
将第一相机采集的待测物体条纹图像
Figure BDA0002418900930000081
输入训练好的模型1，利用模型1计算分子项M和分母项D。将模型2中第三相机采集的待测物体的参考平面条纹图像
Figure BDA0002418900930000082
待测物体的条纹图像
Figure BDA0002418900930000083
以及第一相机输入的参考平面条纹图像
Figure BDA0002418900930000084
参考平面的条纹级次kr与待测物体的条纹图像
Figure BDA0002418900930000085
作为数据输入至模型2，计算相机2视角下待测物体的条纹级次k。
具体地，对于模型2，其输入数据包含五个通道，第一个通道为第三相机采集到的参考平面的条纹图像
Figure BDA0002418900930000086
第二个通道为第一相机采集到的参考平面的条纹图像
Figure BDA0002418900930000087
第三个通道为第一相机采集到的参考平面的条纹级次kr，第四个通道为第三相机采集到的待测物体的条纹图像
Figure BDA0002418900930000088
和第五个通道为第一相机采集到的待测物体的条纹图像
Figure BDA0002418900930000089
该模型的结构与原理如图4所示。输入数据经过模型2后，得到输出数据。该输出数据为单通道的相机2视角下的条纹级次k，将分子项与分母项代入反正切函数，结合条纹级次计算绝对相位Φ：
Figure BDA00024189009300000810
Φ(x,y)＝φ(x,y)+2k(x,y)π
其中φ为条纹图像包含的包裹相位。
步骤4：根据绝对相位信息对待测物体的三维信息进行计算，实现对待测物体的三维重构。
在实际运用中，利用三目系统采集训练数据训练好模型1和模型2后，可直接运用对物体的双目三维测量系统采集待测无的图像信息。双目系统由一个投影仪、相机1和相机2构成。模型1的输入数据为单通道的单幅条纹图像，输出数据为条纹图像对应的分子项与分母项。模型2的输入数据包含五个通道，其中该数据的第一个通道为第一相机采集到的参考平面的条纹图像，第二个通道为第二相机采集到的参考平面的条纹图像，第三个通道为第二相机采集到的参考平面条纹图像的条纹级次，第四个通道为第一相机采集到的待测物体的条纹图像，第五个通道为第二相机采集到的待测物体的条纹图像。利用这个五通道数据作为输入，模型2输出第二相机视角下用于相位展开的条纹级次。将分子项与分母项代入反正切函数，可计算该条纹图像中包含的包裹相位信息，随后利用模型2得到的条纹级次信息对包裹相位进行相位展开。最终通过得到的绝对相位求得待测物体的三维信息。
本发明与传统多帧条纹图像的三维测量方法相比，本发明仅需要一幅图像就可完成包裹相位获取并且完成待测物体的三维测量。与传统的立体相位展开的方法相比，本发明可以在更大的测量范围和更少的视角下更高效、稳定地解开密集条纹图像的相位，而且无论在静态还是动态情况下，当测量具有复杂表面的孤立对象时，本发明都可以重建高分辨率3D形状信息。
实施例：
为验证本发明的有效性，基于三台相机(型号acA640-750,Basler)、一台投影仪(型号LightCrafter 4500,TI)以及一台计算机构建了一套数字光栅投影装置用以采集条纹图像，其中每个相机都配备了12毫米Computar镜头，使用三台相机收集标准指数进行训练，在验证本发明时仅使用两台相机，并且所有摄像机都通过投影机的触发信号进行同步。生成训练数据时，利用3步相移法和基于三目系统并结合ADC条件的立体相位展开方法，投影频率为48的相移条纹图案，拍摄条纹图像
Figure BDA0002418900930000091
和
Figure BDA0002418900930000092
并生成对应的分子项Mj、分母项Dj和条纹级次kn共1001组数据，其中第一组数据是基于参考平面的数据。
训练过程中，将800组数据用于训练模型1和模型2，剩余200组数据用于验证(validation)。训练结束后，为验证本发明有效性，选用这两个模型在训练时并未见过的场景作为测试。图6(a)为测试时的输入条纹图像I2。经过模型1的处理后，图6(b)与(c)为分子项M和D。随后，将分子项与分母项代入反正切函数，计算得到包裹相位φ，结果如图6(d)所示。图6(e)为输入所需的数据并经过模型2处理后得到的条纹级次k。最后，利用条纹级次对包裹相位进行相位展开，得到条纹图像的绝对相位信息，结果如图6(f)所示。
为了体现本发明的优点，分别在静态场景和动态场景下将本方法与三种方法进行比较，这三种方法全部利用相移法得到包裹相位，第一种方法为利用基于三目系统并结合ADC条件的立体相位展开方法得到绝对相位，第二种方法为利用基于双目系统结合传统的深度约束条件的立体相位展开方法得到绝对相位，第三种为利用参考平面的相位信息进行相位展开。其中模型训练使用的数据集与标准值是通过第一种方法获得的。被测物体的三维信息包含在绝对相位信息中，为了更直观的方式来进行对比，将相位信息转换成三维信息进行比较(转换方法参考文献“High-speed three-dimensional profilometry formultiple objects with complex shapes”，作者C Zuo等)。图7展示了在静态场景中测量4种不同场景的情况下这些方法获得的三维模型结果。可以看出，相比于第二种方法(图7(b)、(f)、(j)与(n))、第三种方法(图7(c)、(g)、(k)与(o))，利用本方法能够保留更为丰富的细节信息(图7(d)、(h)、(l)与(p))。而且该结果与基准结果即第一种方法(图7(a)、(e)、(i)与(m))已十分接近，这说明在静态场景下本专利所述方法已准确地还原了被测对象的绝对相位信息，能够准确地实现被测物体的三维重建。图7展示了在动态场景中测量4种不同场景的情况下这些方法获得的三维模型结果。可以看出，相比于第二种方法(图7(b)、(f)、(j)与(n))、第三种方法(图7(c)、(g)、(k)与(o))，利用本方法能够保留更为丰富的细节信息(图7(d)、(h)、(l)与(p))。而且该结果与基准结果即第一种方法(图7(a)、(e)、(i)与(m))相比较，本专利所述方法得到的结果更好，这说明在动态场景下本专利所述方法不仅准确地还原了被测对象的绝对相位信息，能够准确地实现被测物体的三维重建，又在性能上很大程度超越了第一种方法。同时需要指出的是本专利所示方法仅投影了1幅条纹图像，而基准结果所用方法投影了3幅条纹图像。

Claims (9)

1.一种基于深度学习的单帧条纹图像三维测量方法，其特征在于，具体步骤为：
步骤1：构建2个卷积神经网络CNN；
步骤2：利用训练数据分别对2个卷积神经网络CNN进行训练，生成模型1和模型2；
训练数据基于三目系统生成，所述三目系统包括投影仪、第一相机、第二相机和第三相机，利用三目系统测量s+1个不同的场景，每个场景共拍摄N幅相移条纹图像，其中，第一个场景为参考平面，第一相机采集的条纹图像被表示为
Figure FDA0003144209440000011
第二相机采集的条纹图像被表示为
Figure FDA0003144209440000012
第三相机采集的条纹图像被表示为
Figure FDA0003144209440000013
其余场景采集的条纹图像分别被表示为：第一相机采集到的条纹图像
Figure FDA0003144209440000014
T＝s×N为训练时采集的除去参考平面的条纹图像数据总数，第二相机采集到的条纹图像
Figure FDA0003144209440000015
第三相机采集到的条纹图像
Figure FDA0003144209440000016
步骤3：采集待测物体的条纹图像，利用模型1和模型2获得待测物体的条纹级次、分子项与分母项，将分子项与分母项代入反正切函数，结合条纹级次计算绝对相位；
步骤4：根据绝对相位信息对待测物体的三维信息进行计算，实现对待测物体的三维重构。
2.根据权利要求1所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，所述卷积神经网络CNN包括四条数据处理路径、连接层以及第九卷积层，四条数据处理路径的输出数据通过连接层进行叠加后经过第九卷积层输出，其中，所述四条数据处理路径分别为第一数据处理路径、第二数据处理路径、第三数据处理路径以及第四数据处理路径，四条数据处理路径的输出数据通过连接层进行叠加后由第九卷积层输出，所述第一数据处理路径，包括依次连接的第一卷积层、四个串联残差模块以及第二卷积层，所述第二数据处理路径包括依次连接的第三卷积层、第一池化层、四个串联残差模块、第一上采样块以及第四卷积层；所述第三数据处理路径包括依次连接的第五卷积层(5)、第二池化层、四个串联残差块、两个串联残差块、第二采样块以及第六卷积层；所述第四数据处理路径包括依次连接的第七卷积层、第三池化层、四个串联残差块、三个串联残差块、第三采样块以及第八卷积层。
3.根据权利要求2所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层第七卷积层、第八卷积层以及第九卷积层均采用大小为4×4的卷积核。
4.根据权利要求2所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，所述第一池化层的核函数大小为2×2，第二池化层的核函数大小为4×4，第三池化层使用的核函数大小为8×8。
5.根据权利要求1所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，利用训练数据分别对2个卷积神经网络CNN进行训练，生成模型1和模型2的具体方法为：
将第一相机采集的每个场景的第一幅条纹图像
Figure FDA0003144209440000021
作为输入数据，第一幅条纹图像
Figure FDA0003144209440000022
对应的分子项Mj与分母项Dj作为标准值送入第一个卷积神经网络CNN中，训练生成模型1；
将
Figure FDA0003144209440000023
k1、
Figure FDA0003144209440000024
和
Figure FDA0003144209440000025
作为输入数据，kn作为标准值送入另一个卷积神经网络CNN中，训练生成模型2，其中
Figure FDA0003144209440000026
和
Figure FDA0003144209440000027
为第一相机采集的条纹图像，
Figure FDA0003144209440000028
和
Figure FDA0003144209440000029
为第三相机采集的条纹图像。
6.根据权利要求5所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，模型1和模型2训练过程中标准值的确定方法为：
利用N步相移算法计算所有条纹图像对应的分子项Mj与分母项Dj，j＝1，2...(s+1)；
利用基于多目系统并结合ADC条件的立体相位展开方法计算所有条纹图像I计算得到第一相机采集的每个场景的第一幅条纹图像Im中的条纹级次kn，m＝1+n×N，n＝1，2...(s+1)，其中k1为参考平面的条纹级次。
7.根据权利要求1所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，第一个卷积神经网络CNN第九卷积层的通道数Cout＝2，另一个卷积神经网络CNN第九卷积层的通道数Cout＝1。
8.根据权利要求1所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，将分子项与分母项代入反正切函数，结合条纹级次计算绝对相位Φ的具体公式为：
Figure FDA0003144209440000031
Φ(x，y)＝φ(x，y)+2k(x，y)π。
9.根据权利要求1所述的基于深度学习的单帧条纹图像三维测量方法，其特征在于，两个卷积神经网络CNN的所有的卷积层中使用的激活函数均为线性整流函数(ReLU)。
CN202010199593.4A 2020-03-20 2020-03-20 基于深度学习的单帧条纹图像三维测量方法 Active CN111351450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199593.4A CN111351450B (zh) 2020-03-20 2020-03-20 基于深度学习的单帧条纹图像三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199593.4A CN111351450B (zh) 2020-03-20 2020-03-20 基于深度学习的单帧条纹图像三维测量方法

Publications (2)

Publication Number Publication Date
CN111351450A CN111351450A (zh) 2020-06-30
CN111351450B true CN111351450B (zh) 2021-09-28

Family

ID=71196182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199593.4A Active CN111351450B (zh) 2020-03-20 2020-03-20 基于深度学习的单帧条纹图像三维测量方法

Country Status (1)

Country Link
CN (1) CN111351450B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829458B (zh) * 2020-07-20 2022-05-13 南京理工大学智能计算成像研究院有限公司 基于深度学习的伽马非线性误差矫正方法
CN111928794B (zh) * 2020-08-04 2022-03-11 北京理工大学 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置
CN112381731B (zh) * 2020-11-12 2021-08-10 四川大学 一种基于图像去噪的单帧条纹图像相位分析方法及系统
CN112414304B (zh) * 2020-11-18 2022-06-21 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN112556601B (zh) * 2020-11-30 2021-08-20 北京理工大学 基于深度学习的单幅闭合条纹干涉图解相方法及装置
CN112833818B (zh) * 2021-01-07 2022-11-15 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN112802084B (zh) * 2021-01-13 2023-07-07 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN113358061B (zh) * 2021-05-31 2022-09-09 东南大学 端到端标定深度学习网络的单幅条纹三维点云测量方法
CN113658321B (zh) * 2021-07-26 2024-06-18 浙江大华技术股份有限公司 三维重建方法、系统及相关设备
CN114022730B (zh) * 2021-10-28 2023-08-15 中国科学院光电技术研究所 一种基于自监督学习神经网络的点目标相位检索方法
CN114399599A (zh) * 2022-01-18 2022-04-26 四川大学 三维成像方法、装置、电子设备及计算机可读存储介质
CN117934925B (zh) * 2024-01-06 2024-07-26 山西众博自控设备有限公司 基于端到端学习的双频条纹散装物料体积获取系统
CN117739861B (zh) * 2024-02-20 2024-05-14 青岛科技大学 一种基于深度学习的改进单模式自解相条纹投影三维测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN110210119A (zh) * 2019-05-30 2019-09-06 东南大学 一种基于深层卷积神经网络的高效率相位展开方法
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
KR20200003308A (ko) * 2018-06-19 2020-01-09 이은표 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000003308U (ko) * 1998-07-22 2000-02-15 윤종용 냉장고의 방열 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200003308A (ko) * 2018-06-19 2020-01-09 이은표 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法
CN110210119A (zh) * 2019-05-30 2019-09-06 东南大学 一种基于深层卷积神经网络的高效率相位展开方法
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法

Also Published As

Publication number Publication date
CN111351450A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
Qian et al. Deep-learning-enabled geometric constraints and phase unwrapping for single-shot absolute 3D shape measurement
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
CN110487216B (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
CN109253708B (zh) 一种基于深度学习的条纹投影时间相位展开方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
WO2021184707A1 (zh) 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN113379818B (zh) 一种基于多尺度注意力机制网络的相位解析方法
CN100520285C (zh) 投射多频光栅的物体表面三维轮廓的视觉测量方法
CN109307483B (zh) 一种基于结构光系统几何约束的相位展开方法
CN112833818B (zh) 一种单帧条纹投影三维面型测量方法
CN108596008B (zh) 针对三维人脸测量的面部抖动补偿方法
CN111461295B (zh) 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN114777677A (zh) 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN111815697B (zh) 一种热变形动态三维测量方法
CN110109105A (zh) 一种基于时序的InSAR技术监测地表形变的方法
CN111947599A (zh) 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN105303572A (zh) 基于主被动结合的深度信息获取方法
CN117450955B (zh) 基于空间环形特征的薄型物体三维测量方法
Liu et al. A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning
CN113551617B (zh) 基于条纹投影的双目双频互补三维面型测量方法
CN113503832A (zh) 一种基于物体横向尺寸辅助的绝对相位恢复方法
CN113450460A (zh) 一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qian Jiaming

Inventor after: Zuo Chao

Inventor after: Chen Qian

Inventor after: Feng Shijie

Inventor after: Tao Tianyang

Inventor after: Hu Yan

Inventor after: Li Yixuan

Inventor after: Shang Yuhao

Inventor before: Zuo Chao

Inventor before: Shang Yuhao

Inventor before: Chen Qian

Inventor before: Feng Shijie

Inventor before: Qian Jiaming

Inventor before: Tao Tianyang

Inventor before: Hu Yan

Inventor before: Li Yixuan

GR01 Patent grant
GR01 Patent grant