CN114777677B - 基于深度学习的单帧双频复用条纹投影三维面型测量方法 - Google Patents
基于深度学习的单帧双频复用条纹投影三维面型测量方法 Download PDFInfo
- Publication number
- CN114777677B CN114777677B CN202210232312.XA CN202210232312A CN114777677B CN 114777677 B CN114777677 B CN 114777677B CN 202210232312 A CN202210232312 A CN 202210232312A CN 114777677 B CN114777677 B CN 114777677B
- Authority
- CN
- China
- Prior art keywords
- frequency
- phase
- stripe
- fringe
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000000691 measurement method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 32
- 239000002131 composite material Substances 0.000 claims description 26
- 230000010363 phase shift Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001314 profilometry Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000002377 Fourier profilometry Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ZJPGOXWRFNKIQL-JYJNAYRXSA-N Phe-Pro-Pro Chemical compound C([C@H](N)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(O)=O)C1=CC=CC=C1 ZJPGOXWRFNKIQL-JYJNAYRXSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习的单帧双频复用条纹投影三维面型测量方法，包括：将两个不同空间频率的垂直正弦条纹进行叠加，复合到一张条纹图中生成双频空间载频复用条纹编码图案；构建基于深度卷积神经网络的模型U‑Nets；利用双频空间载频复用条纹编码图案生成训练数据集，所述训练数据集包括输入集和真值数据集，利用训练数据集训练网络模型U‑Nets；利用训练完成的U‑Nets实现对待测物体的相位恢复及三维重建。本发明只需要一幅条纹图像作为输入，即可实现快速、高精度的相位信息获取与无歧义的相位展开。
Description
技术领域
本发明属于光学测量技术领域，具体为一种基于深度学习的单帧双频复用条纹投影三维面型测量方法。
背景技术
随着光电信息技术的快速发展，三维成像与传感已成为光学计量和信息光学领域的最重要的研究方向之一。结构光投影技术因其非接触、高分辨、高速和全场自动化等优点，成为目前最具代表性的三维成像技术之一。而其中对于宏观物体的三维测量，又属基于相位测量的条纹投影轮廓术(Fringe projection profilometry，FPP)的测量精度最高，因此在智能制造、逆向工程、工业检测、文物保护等众多领域得到广泛应用。近年来，数字光投影器、空间光调制器、高速光探测器等光电器件，高性能计算机、嵌入式处理器等运算处理单元得到了跨越式发展，人们也随之对条纹投影轮廓术提出了更高的期许——既要精度高，又要速度快。尽管二者似乎天生就是一对矛盾体，“速度”已经逐渐成为采用条纹投影轮廓术时所要考虑的“必要因素”。
在条纹投影三维成像中，仅采用一幅投影图案实现高精度三维重建是研究人员永恒追求的终极目标。1982年提出了傅里叶变换条纹投影轮廓术(Fourier transformprofilometry，FTP)，通过频域滤波从单幅条纹图像中恢复出被测物相位信息，但其仅能用于测量较平缓的面型，且恢复的相位存在周期歧义性(文献“Fourier-transform methodoffringe-pattern analysis for computer-based topography and interferometry”，作者M Takeda等)；1997年提出将频分复用技术(Frequency Multiplexing,FM)，一种在电信领域颇为经典的信道信息复用技术，引入条纹投影轮廓术(文献“Frequency-multiplexfourier-transform profilometry:a single-shot three-dimensional shapemeasurement of objects with large height discontinuities and/or surfaceisolations”，作者M Takeda等)。该技术将两个具有不同频率空间载波的条纹图案编码到一幅图像中，从单帧复合条纹中解调出两组不同频率的包裹相位信息，并基于此去除相位的周期歧义性；2010年提出将三幅不同频率的正弦条纹编码分别编码到一幅彩色图像的红绿蓝三个通道中，利用彩色相机拍摄被物体表面调制后的变形单帧彩色条纹，进行颜色分离以获得三组不同频率的包裹相位信息(文献“Review ofsingle-shot 3d shapemeasurementby phase calculation-based fringe projection techniques”，作者ZZhang等)。然而由于这些技术本质上都属于FTP的衍生物，严重受到频谱混叠、频谱泄漏、通道串扰等因素影响，三维重建的精度、分辨率与可靠性等方面都远达不到实际应用的要求。
发明内容
为了解决现有技术中的上述技术缺陷，本发明提出了一种基于深度学习的单帧双频复用条纹投影三维面型测量方法。
实现本发明目的的技术方案为：一种基于深度学习的单帧双频复用条纹投影三维面型测量方法，包括：
将两个不同空间频率的垂直正弦条纹进行叠加，复合到一张条纹图中生成双频空间载频复用条纹编码图案；
构建基于深度卷积神经网络的模型U-Nets；
利用双频空间载频复用条纹编码图案生成训练数据集，所述训练数据集包括输入集和真值数据集，利用训练数据集训练网络模型U-Nets；
利用训练完成的U-Nets实现对待测物体的相位恢复及三维重建。
优选地，所述双频空间载频复用条纹编码图案的强度为：
式中，(x,y)为图像像素坐标，ap表示平均光强，bp表示幅值，λh和λl为两个复合正弦条纹图中高、低频率对应的波长；
且两组波长满足以下条件：
LCM(λh,λl)≥W
式中，LCM(·)表示最小公倍数函数，W表示投影图像的横向分辨率。
优选地，所述U-Net模型包括U-Net1和U-Net2两个框架结构相同的并行U-Net网络，每个U-Net网络架构包括一个收缩路径和一个扩展路径；所述收缩路径包括6组收缩组合，每个收缩组合包括两个卷积层和一个线性整流单元，每个收缩组合后接一个最大池化运算用于下采样；所述扩展路径包括5组扩展组合，每个扩展组合由一个上采样层、三个卷积层和一个线性整流单元。
优选地，利用双频空间载频复用条纹编码图案生成训练数据集的具体方法为：
Step1.利用数字投影仪在一个投影周期内向物体投射25幅条纹图案，包括12幅频率为fh、波长为λh的相移条纹图12幅频率为fl、波长为λl的相移条纹图以及1幅双频空间载频复用条纹图/>
Step2.使用单目单色相机采集被物体表面调制的25幅变形条纹图像；
对于采集到的24幅图像单频条纹图像，分别使用相移法获取两种频率对应的包裹相位；
通过调制度函数和掩码函数去除变形条纹图像中的无效点信息；
使用时间相位展开的最小投影距离法计算条纹级次并获取高频包裹相位的绝对相位，确定双频空间载频复用条纹图的绝对相位；
将上述计算所得的高频包裹相位分子项和分母项、低频包裹相位分子项和分母项作为U-Net1网络的一组标准数据，高、低频绝对相位作为U-Net2网络的一组标准数据，采集到的双频复合条纹图像作为输入数据；
Step3.针对不同场景，重复step1和step2操作，生成若干组训练数据。
优选地，两种频率对应的包裹相位分别具体为：
式中，为高频相移条纹图，/>为低频相移条纹图，Mh和Dh为高频包裹相位φh反正切函数的分子项和分母项，Ml和Dl为低频包裹相位φl反正切计算公式的分子项和分母项。
优选地，通过调制度函数和掩码函数去除训练数据图中无效点信息的具体公式为：
式中，Thr为阈值，Mh和Dh为高频包裹相位反正切函数的分子项和分母项。
优选地，双频空间载频复用条纹图的绝对相位具体为：
其中Φh和Φl是高频和低频的包裹相位对应的去包裹相位，即高、低频绝对相位，kh和kl表示用于相位展开的整数级条纹级次，kh,kl∈[0,K-1]，K为条纹根数，φh和φl分别为高、低频图像的包裹相位。
优选地，利用训练数据集训练网络模型U-Nets的具体方法为：
将输入数据和高频包裹相位反正切计算公式的分子项和分母项、低频包裹相位反正切计算公式的分子项和分母项送入U-Net1网络，将预处理后的输入数据和高、低频绝对相位送入U-Net2网络，并行训练网络模型U-Nets；
利用均方误差作为损失函数，计算标准值与U-Nets输出值之间差异，结合反向传播算法，重复循环迭代，采用Adam优化器，优化U-Nets的内部参数，直到损失函数收敛至最小值，模型训练完成。
优选地，利用训练完成的U-Nets实现对待测物体的相位恢复及三维重建的具体方法为：
通过数字投影仪将双频空间载频复用条纹编码图案投射至待测物体
采集双频复合条纹图像输入训练好的模型U-Nets；
由训练好的网络模型U-Net1预测相位分子项、分母项用于计算高精度的高频包裹相位，并同时由网络模型U-Net2预测低精度的高频绝对相位，用于求解条纹级次信息。
优选地，获取的高精度绝对相位Φdl具体为：
Φdl(x,y)＝φdl(x,y)+2πkdl(x,y)
式中，φdl为高精度的高频包裹相位，kdl为条纹级次信息；分别具体为：
式中，Round为一个四舍五入函数，Φcoarse(x,y)为低精度的高频绝对相位。
本发明与现有技术相比，其显著优点为：
本发明只需要一幅条纹图像作为输入，即可实现快速、高精度的相位信息获取与无歧义的相位展开；本发明将一幅无歧义的双频复合条纹图像与深度学习技术相结合，克服了频谱混叠、频谱泄漏、通道串扰等因素影响，消除了包裹相位的周期歧义性，可实现对具有复杂面型物体的高精度、高分辨率、可靠的三维重构。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为基于深度学习的单帧双频复用条纹投影三维面型测量方法步骤流程示意图。
图2为U-Nets网络的结构与原理图。
图3为本发明不同阶段的复合条纹图像示意图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。相反，提供这些实施例的目的是为了使本领域的技术人员更透彻地理解本发明。下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的创新构思。
本发明构思为，一种基于深度学习的单帧双频复用条纹投影三维面型测量方法，首先设计一个无歧义的双频空间载频复用条纹编码图案，采集复合条纹图案并作为深度学习网络的单输入项。其次构建一个基于卷积神经网络的模型。本发明中，它被称为U-Nets。U-Nets包含U-Net1和U-Net2两个相同结构的网络，网络的输入均为单通道的复合条纹灰度图像，U-Net1的输出数据为用于计算高精度相位信息的分子项、分母项，U-Net2的输出数据为一个包含条纹级次信息的低精度绝对相位。训练时，采用投影仪投影两个不同频率的12步相移条纹及一幅双频复合条纹，利用相移(PS)法和基于投影最小距离法(PDM)的时间相位展开(TPU)方法生成U-Nets所需的训练数据。训练结束后，将测试场景下的单通道双频复合条纹灰度图像输入至U-Nets，得到用于计算高精度相位信息的分子项、分母项以及一个包含条纹级次信息的低精度绝对相位。将分子项与分母项代入反正切函数，结合低精度绝对相位计算得到高精度的绝对相位信息。仅需投影单幅复合条纹图像就可实现高分辨率、高精度、无频谱串扰的绝对相位的获取，进而实现对被测物的高精度绝对三维形貌的测量。
作为一种实施例，一种基于深度学习的单帧双频复用条纹投影三维面型测量方法，可通过单帧的复合条纹图像获得高精度的绝对相位信息。本方法包括以下四个步骤：
步骤一：设计一个无歧义的双频空间载频复用条纹编码图案。
本发明的目的是突破三维成像所需条纹图案数量的物理限制，从单帧投影图像中恢复出复杂物体的三维形貌。对于条纹投影系统，实现单帧三维重建的关键在于从单幅条纹图像恢复出有效的、无歧义的绝对相位信息。为了打破传统单帧空间相位展开法无法计算间断或孤立相位的限制，采用深度学习技术结合条纹投影轮廓术通过单帧复合条纹图预测高质量的绝对相位图。
由于深度学习的可靠性在很大程度上取决于原始输入信息，如果输入信息本身具有歧义性，那么网络绝不总是可靠的。因此，需设计一个具有足够抵抗相位模糊性能力的无歧义的投影编码模式，作为深度学习网络的部分输入。首先，结合频率多路复用原理，设计了一种无歧义的双频空间载频复用条纹编码图案，将两个不同空间频率的垂直正弦条纹进行叠加，复合到一张条纹图中。设计的双频空间载频复用条纹图案的强度表示如下：
式中为(x,y)图像像素坐标，ap表示平均光强，bp表示幅值，λh和λl为两个复合正弦条纹图中高、低频率对应的波长。对于一个分辨率为WQH的投影图像，理论上相位歧义性受传统数论法的限制，两组波长应满足以下条件：
LCM(λh,λl)≥W
式中LCM(·)表示最小公倍数函数。即如果两个复合波长的最小公倍数大于等于投影图像的横向分辨率，可消除整个测量范围内的相位模糊性。特别地，当所选择的波长是互质的，则LCM(·)函数可以简化为两个波长的乘积λhλl，此时相位无歧义的测量范围即λhλl。
通过数字投影仪将设计的双频空间载频复用条纹图案投射至物体后，该图案将被物体表面调制产生形变，由相机捕获变形的双频复合条纹图像，该图像强度表示为：
式中A(x,y)是平均光强，与图像亮度以及背景照明有关，B(x,y)是调制度，与图像对比度及物体表面反射率有关，φh和φl分别表示高频和低频的包裹相位。
步骤二：构建一个基于深度卷积神经网络的模型U-Nets。
所构建的网络架构包含了U-Net1和U-Net2两个框架结构相同的并行U-Net网络，U-Net1(2)的结构如图2所示。U-Net1和U-Net2的输入均为一个大小为(H,W,C)的具有三通道的3D张量，其中H表示图像的高度(像素)，W表示图像的宽度，C表示通道数量(或滤波器数量)，U-Net1和U-Net2的输出分别为两个和一个3D张量。U-Net网络架构包含两个路径：收缩路径(左侧)和扩展路径(右侧)。收缩路径由两个3×3卷积层(same填充)和一个线性整流单元(Relu)的重复应用组成，共6组，每个组合后跟一个步长为2的2×2最大池化运算用于下采样，下采样的结果是特征图像尺寸缩小一倍，同时将特征通道数增加一倍。扩展路径由一个上采样层和三个3×3卷积层(same填充)和一个线性整流单元的重复应用组成，共5组，首先对特征图进行上采样，上采样的结果是特征图尺寸增加一倍，同时由2×2向上卷积将特征通道数减少一半，然后将其与收缩路径通过复制和剪裁得到的相应特征图进行合并，与两个3×3的卷积层和一个线性整流单元重复应用，在最后一层，使用1×1卷积层(same填充)映射出所需的两个或一个3D张量。具体构建方法参考文献“U-Net:Convolutionalnetworks for biomedical image segmentation”，作者O Ronneberger等。
考虑到以下两点，没有采用直接从条纹图像获取绝对相位的端到端网络学习方案：
(1)在条纹强度信息和相位值之间建立准确的对应关系是十分困难的，特别是在被测物的表面具有尖锐的边缘、不连续或反射率变化较大的情况下，一个简单的输入输出网络会使成像精度受损，很难直接通过条纹强度图预测高质量的相位信息；
(2)获取绝对相位的过程隐含着重现包裹相位的过程，由于包裹相位存在2π相位截断，因此绝对相位恢复的难度将加大，准确性也会降低。
针对上述问题的解决方案：
(1)结合传统相移法的物理模型，将包裹相位反正切函数的分子项和分母项作为U-Net1网络的输出。不仅可以绕开了重现存在2π相位截断的包裹相位困难的问题，而且由网络预测得到的分子项与分母项，在计算包裹相位时，除法运算抵消了表面反射率变化较大的影响，从而获取高质量的相位信息；
(2)使用深度学习网络从设计的复合条纹图中预测包含正确条纹级次信息的粗绝对相位，作为U-Net2网络的输出。由U-Net2网络输出的粗绝对相位结合U-Net1计算出的高质量的包裹相位，恢复最终的绝对相位。
步骤三：生成训练数据集，包括输入集和真值数据集，训练网络模型U-Nets。具体如下：
Step1.数字投影仪在一个投影周期内向物体投射25幅条纹图案，包括12幅高频相移条纹图，频率为fh、波长为λh的相移条纹图12幅低频相移条纹图，频率为fl、波长为λl的相移条纹图/>以及1幅频率为fh和频率为fl两空间频率复合的双频空间载频复用条纹图/>(复合图案生成方式见“步骤一”)。其中，选择λh＝19像素，λl＝51像素，其他波长组合在满足约束条件的前提下同样适用。
Step2.使用单目单色相机采集被物体表面调制的25幅变形条纹图像，具体的图像强度表示如下：
其中n＝1,2,...,12。
对于采集到的双频复合条纹图像将作为U-Net1网络和U-Net2网络的输入数据。对于采集到的前24幅图像，分别使用相移(PS)法获取频率为fh和fl的包裹相位φh和φl：
式中Mh和Dh为高频包裹相位φh反正切函数的分子项和分母项，Ml和Dl为低频包裹相位φl反正切计算公式的分子项和分母项。
为了增强网络学习能力，通过调制度函数B(x,y)和掩码函数Mask(x,y)去除训练数据图中背景等无效点信息，具体公式为：
其中，阈值Thr设为8，可以适用于这项工作中的大多数测量场景。
获取高、低频的包裹相位后，使用时间相位展开(TPU)的最小投影距离法(PDM)(参考“Micro Fourier Transform Profilometry(μFTP):3D shape measurement at 10,000frames per second”，作者C Zuo等)计算条纹级次并获取高频包裹相位的绝对相位。双频空间载频复用条纹图的绝对相位满足以下关系：
其中Φh和Φl是高频和低频的包裹相位对应的去包裹相位，即高、低频绝对相位，kh和kl表示用于相位展开的整数级条纹级次，kh,kl∈[0,K-1]，K为条纹根数。
将上述计算所得的高频包裹相位分子项Mh和分母项Dh、低频包裹相位分子项Ml和分母项Dl作为U-Net1网络的一组标准数据(groundtruth)，相应的高、低频绝对相位Φh、Φl作为U-Net2网络的一组标准数据。
Step3.针对不同场景，重复step1和step2操作，生成1000组训练数据。其中，训练集、验证集和测试集的占比分别为80％、10％、10％，即800组训练集、100组验证集、100组测试集，且为了提升训练模型的泛化性能，测试集全部样本应是训练集和验证集样本中前所未见的场景数据。
Step4.在将上述输入数据和训练数据送入网络训练之前，需要进行数据预处理，使原始数据适配于神经网络，包括向量化和归一化。将数据格式转换为float32数据，将输入图像除以255，使先前0～255范围内的灰度值转换为0～1范围内，将包裹相位分子项和分母项除以200，同样将值转换到0～1范围内。此外，所有的网络输入和目标都需要转换成与TensorFlow兼容的格式。
Step5.将预处理后的输入数据和标准数据Mh、Dh、Ml、Dl送入U-Net1网络，将预处理后的输入数据/>和标准数据Φh、Φl送入U-Net2网络，并行训练两个网络模型U-Nets。利用均方误差(MAE)作为损失函数(Loss function)，计算标准值与U-Nets输出值之间差异，结合反向传播(Backpropagation)算法，重复循环迭代，采用Adam优化器，优化U-Nets的内部参数，直到损失函数收敛至最小值，两个模型训练完成。在每轮循环中，由于映射函数并不复杂，也没有明显的过拟合问题，所以不需要对训练数据的顺序进行洗牌。特别地，通过数据训练得到的模型具有较强的实用性，适用于不同解耦股参数的系统。
步骤四：利用训练完成的U-Nets实现对待测物体的相位恢复及三维面型测量。
Step1.由训练好的网络模型U-Net1(相位分析模型)预测相位分子项Mdl、分母项Ddl用于计算高精度的高频包裹相位φdl，并同时由网络模型U-Net2(相位恢复模型)预测低精度的高频绝对相位Φcoarse(其误差在-π和π之间)，用于求解条纹级次信息kdl。
式中Round为一个四舍五入函数。
Step2.获取高精度绝对相位Φdl：
Φdl(x,y)＝φdl(x,y)+2πkdl(x,y)
Step3.利用条纹投影系统中相机与投影仪的预标定参数，根据相位-高度映射关系，重构物体三维形貌信息。(参考“Least-squares calibration method for fringeprojection profilometry considering camera lens distortion”，作者LHuang等)
为验证本发明所述方法的有效性，基于一台单色相机(型号acA640-750um,Basler)，一台投影仪(型号LightCrafter 4500,TI)以及一台计算机构建了一套数字光栅投影装置用以采集条纹图像。训练数据时，共采集了1000组数据，训练过程中将800组数据用于训练(train)，100数据用于验证(validation)，剩余100组用于测试(test)，测试数据集为训练和验证时未出现过的场景图像，在训练结束后，由得到的网络模型对测试数据进行预测。为了体现本方法的优点，将本方法选择12步相移法法结合时间相位展开的最小投影距离法的结果作为基准结果，并进行了比较。图3展示了基于深度学习的单帧双频复用条纹三维面型测量方法的三维重构结果。其中图3(a),(d),(g)为三个不同静态场景下的复合条纹图像，图3(b),(e),(h)为深度学习重构结果，图3(c),(f),(i)为基准结果，图3(j)为动态场景下的复合条纹图像，图3(k)为动态场景下的深度学习重构结果。本专利的方法能显著提升传统傅立叶变换法的测量精度，重构质量接近于双频(非复用)12步相移法所给出的基准结果。从动态三维重构结果中可以看到，该方法能够有效克服频谱混叠、频谱泄漏、通道串扰等因素的不良影响，实现了真正意义上的单帧高精度结构光三维成像。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。
Claims (5)
1.一种基于深度学习的单帧双频复用条纹投影三维面型测量方法，其特征在于，包括：
将两个不同空间频率的垂直正弦条纹进行叠加，复合到一张条纹图中生成双频空间载频复用条纹编码图案，所述双频空间载频复用条纹编码图案的强度为：
式中，(x,y)为图像像素坐标，ap表示平均光强，bp表示幅值，λh和λl为两个复合正弦条纹图中高、低频率对应的波长；
且两组波长满足以下条件：
LCM(λh,λl)≥W
式中，LCM(·)表示最小公倍数函数，W表示投影图像的横向分辨率；
构建基于深度卷积神经网络的模型U-Nets；所述U-Net模型包括U-Net1和U-Net2两个框架结构相同的并行U-Net网络，每个U-Net网络架构包括一个收缩路径和一个扩展路径；所述收缩路径包括6组收缩组合，每个收缩组合包括两个卷积层和一个线性整流单元，每个收缩组合后接一个最大池化运算用于下采样；所述扩展路径包括5组扩展组合，每个扩展组合由一个上采样层、三个卷积层和一个线性整流单元组成；
利用双频空间载频复用条纹编码图案生成训练数据集，所述训练数据集包括输入集和真值数据集，利用训练数据集训练网络模型U-Nets，具体方法为：
Step1.利用数字投影仪在一个投影周期内向物体投射25幅条纹图案，包括12幅频率为fh、波长为λh的相移条纹图12幅频率为fl、波长为λl的相移条纹图/>以及1幅以频率fh和频率fl两空间频率复合的双频空间载频复用条纹编码图案/>
Step2.使用单目单色相机采集被物体表面调制的25幅变形条纹图像；
对于采集到的24幅图像单频条纹图像，分别使用相移法获取两种频率对应的包裹相位；
通过调制度函数和掩码函数去除变形条纹图像中的无效点信息；
使用时间相位展开的最小投影距离法计算条纹级次并获取高频包裹相位的绝对相位，确定双频空间载频复用条纹图的绝对相位，双频空间载频复用条纹图的绝对相位具体为：
其中Φh和Φl是高频和低频的包裹相位对应的去包裹相位，即高、低频绝对相位，kh和kl表示用于相位展开的整数级条纹级次，kh,kl∈[0,K-1]，K为条纹根数，φh和φl分别为高、低频图像的包裹相位；
将上述计算所得的高频包裹相位分子项和分母项、低频包裹相位分子项和分母项作为U-Net1网络的一组标准数据，高、低频绝对相位作为U-Net2网络的一组标准数据，采集到的双频空间载频复用条纹编码图案作为输入数据；
两种频率对应的包裹相位分别具体为：
式中，为高频相移条纹图，/>为低频相移条纹图，Mh和Dh为高频包裹相位φh反正切函数的分子项和分母项，Ml和Dl为低频包裹相位φl反正切计算公式的分子项和分母项；
Step3.针对不同场景，重复step1和step2操作，生成若干组训练数据；
利用训练完成的U-Nets实现对待测物体的相位恢复及三维重建。
2.根据权利要求1所述的基于深度学习的单帧双频复用条纹投影三维面型测量方法，其特征在于，通过调制度函数和掩码函数去除训练数据图中无效点信息的具体公式为：
式中，Thr为阈值，Mh和Dh为高频包裹相位反正切函数的分子项和分母项。
3.根据权利要求1所述的基于深度学习的单帧双频复用条纹投影三维面型测量方法，其特征在于，利用训练数据集训练网络模型U-Nets的具体方法为：
将输入数据和高频包裹相位反正切计算公式的分子项和分母项、低频包裹相位反正切计算公式的分子项和分母项送入U-Net1网络，将预处理后的输入数据和高、低频绝对相位送入U-Net2网络，并行训练网络模型U-Nets；
利用均方误差作为损失函数，计算标准数据与U-Nets输出值之间差异，结合反向传播算法，重复循环迭代，采用Adam优化器，优化U-Nets的内部参数，直到损失函数收敛至最小值，模型训练完成。
4.根据权利要求1所述的基于深度学习的单帧双频复用条纹投影三维面型测量方法，其特征在于，利用训练完成的U-Nets实现对待测物体的相位恢复及三维重建的具体方法为：
通过数字投影仪将双频空间载频复用条纹编码图案投射至待测物体；
采集双频复合条纹图像输入训练好的模型U-Nets；
由训练好的网络模型U-Net1预测相位分子项、分母项用于计算高精度的高频包裹相位，并同时由网络模型U-Net2预测低精度的高频绝对相位，用于求解条纹级次信息。
5.根据权利要求4所述的基于深度学习的单帧双频复用条纹投影三维面型测量方法，其特征在于，获取的高精度绝对相位Φdl具体为：
Φdl(x,y)＝φdl(x,y)+2πkdl(x,y)
式中，φdl为高精度的高频包裹相位，kdl为条纹级次信息；分别具体为：
式中，Round为一个四舍五入函数，Φcoarse(x,y)为低精度的高频绝对相位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210232312.XA CN114777677B (zh) | 2022-03-09 | 2022-03-09 | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210232312.XA CN114777677B (zh) | 2022-03-09 | 2022-03-09 | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114777677A CN114777677A (zh) | 2022-07-22 |
| CN114777677B true CN114777677B (zh) | 2024-04-26 |
Family
ID=82424084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210232312.XA Active CN114777677B (zh) | 2022-03-09 | 2022-03-09 | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114777677B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187649B (zh) * | 2022-09-15 | 2022-12-30 | 中国科学技术大学 | 抗强环境光干扰的三维测量方法、系统、设备及存储介质 |
| CN117011478B (zh) * | 2023-10-07 | 2023-12-22 | 青岛科技大学 | 一种基于深度学习与条纹投影轮廓术的单张图像重建方法 |
| CN117739861B (zh) * | 2024-02-20 | 2024-05-14 | 青岛科技大学 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105180840A (zh) * | 2015-10-14 | 2015-12-23 | 苏州大学 | 基于彩色双频条纹反射的大口径凹镜面面形的测量方法及其装置 |
| CN107735671A (zh) * | 2015-06-26 | 2018-02-23 | 玻璃技术公司 | 用于测量成型玻璃板中的反射光学畸变的系统和方法 |
| CN108426539A (zh) * | 2018-03-12 | 2018-08-21 | 四川大学 | 一种基于双频正交光栅投影检测反射元件面形的方法 |
| JP2020039841A (ja) * | 2017-11-24 | 2020-03-19 | 炭 親良 | 計測イメージング装置 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111563564A (zh) * | 2020-07-20 | 2020-08-21 | 南京理工大学智能计算成像研究院有限公司 | 基于深度学习的散斑图像逐像素匹配方法 |
| CN111947599A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于学习的条纹相位恢复和散斑相关的三维测量方法 |
| KR20210033853A (ko) * | 2019-09-19 | 2021-03-29 | 에스케이텔레콤 주식회사 | 유넷 기반의 음원 대역 변환장치 및 방법 |
-
2022
- 2022-03-09 CN CN202210232312.XA patent/CN114777677B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107735671A (zh) * | 2015-06-26 | 2018-02-23 | 玻璃技术公司 | 用于测量成型玻璃板中的反射光学畸变的系统和方法 |
| CN105180840A (zh) * | 2015-10-14 | 2015-12-23 | 苏州大学 | 基于彩色双频条纹反射的大口径凹镜面面形的测量方法及其装置 |
| JP2020039841A (ja) * | 2017-11-24 | 2020-03-19 | 炭 親良 | 計測イメージング装置 |
| CN108426539A (zh) * | 2018-03-12 | 2018-08-21 | 四川大学 | 一种基于双频正交光栅投影检测反射元件面形的方法 |
| KR20210033853A (ko) * | 2019-09-19 | 2021-03-29 | 에스케이텔레콤 주식회사 | 유넷 기반의 음원 대역 변환장치 및 방법 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111563564A (zh) * | 2020-07-20 | 2020-08-21 | 南京理工大学智能计算成像研究院有限公司 | 基于深度学习的散斑图像逐像素匹配方法 |
| CN111947599A (zh) * | 2020-07-24 | 2020-11-17 | 南京理工大学 | 基于学习的条纹相位恢复和散斑相关的三维测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| Robust dynamic 3-D measurements with motion-compensated phase-shifting profilometry;ShijieFeng 等;《OpticsandLasersinEngineering》;20180430;第103卷;全文 * |
| 基于深度学习的散斑投影轮廓术;钟锦鑫 等;《红外与激光工程》;20200630;第49卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114777677A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114777677B (zh) | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 | |
| CN109253708B (zh) | 一种基于深度学习的条纹投影时间相位展开方法 | |
| Li et al. | Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement | |
| Zhang | Absolute phase retrieval methods for digital fringe projection profilometry: A review | |
| WO2021184707A1 (zh) | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 | |
| Van der Jeught et al. | Real-time structured light profilometry: a review | |
| CN111563564B (zh) | 基于深度学习的散斑图像逐像素匹配方法 | |
| CN111351450B (zh) | 基于深度学习的单帧条纹图像三维测量方法 | |
| CN104330052A (zh) | 外差式三频不等步相移解相位方法 | |
| CN102607465B (zh) | 一种基于彩色相移条纹二次编码的相位去包裹方法 | |
| WO2021184686A1 (zh) | 基于多尺度生成对抗神经网络的单帧条纹分析方法 | |
| CN113379818B (zh) | 一种基于多尺度注意力机制网络的相位解析方法 | |
| CN111947599B (zh) | 基于学习的条纹相位恢复和散斑相关的三维测量方法 | |
| CN106032976A (zh) | 基于波长选择的三条纹投影相位展开方法 | |
| CN105300317A (zh) | 基于正弦和三角波条纹投影的三维测量方法 | |
| Song et al. | Phase unwrapping method based on multiple fringe patterns without use of equivalent wavelengths | |
| CN111879258A (zh) | 基于条纹图像转换网络FPTNet的动态高精度三维测量方法 | |
| CN112504165A (zh) | 一种基于双边滤波优化的复合立体相位展开方法 | |
| CN113506348A (zh) | 一种基于格雷码辅助的三维坐标计算方法 | |
| CN111189414B (zh) | 一种实时单帧相位提取方法 | |
| Liu et al. | A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning | |
| CN115205360A (zh) | 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用 | |
| Guo et al. | Unifying temporal phase unwrapping framework using deep learning | |
| CN115063466A (zh) | 一种基于结构光与深度学习的单帧三维测量方法 | |
| Song et al. | Super-resolution phase retrieval network for single-pattern structured light 3D imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zuo Chao Inventor after: Li Yixuan Inventor after: Chen Qian Inventor after: Feng Shijie Inventor after: Qian Jiaming Inventor before: Li Yixuan Inventor before: Zuo Chao Inventor before: Chen Qian Inventor before: Feng Shijie Inventor before: Qian Jiaming |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |