CN115063466A - 一种基于结构光与深度学习的单帧三维测量方法 - Google Patents
一种基于结构光与深度学习的单帧三维测量方法 Download PDFInfo
- Publication number
- CN115063466A CN115063466A CN202210728482.7A CN202210728482A CN115063466A CN 115063466 A CN115063466 A CN 115063466A CN 202210728482 A CN202210728482 A CN 202210728482A CN 115063466 A CN115063466 A CN 115063466A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- phase
- neural network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000010363 phase shift Effects 0.000 claims abstract description 20
- 238000010191 image analysis Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000010587 phase diagram Methods 0.000 claims description 46
- 238000005070 sampling Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000002377 Fourier profilometry Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于结构光三维测量技术领域，具体为一种基于结构光与深度学习的单帧三维测量方法。本发明通过无监督学习预训练与监督学习微调得到的深度神经网络进行条纹图像分析，实现三维测量；其中：无监督学习预训练以结构光系统采集的单帧条纹图像为输入，监督学习以采集的四种频率12步相移条纹图像为输入，所用的深度神经网络由3个U‑Net模块构成，分别用于相位计算，解包裹与调优。本发明通过深度神经网络完成单帧三维测量，能够用于测量动态场景，且测量精度高；无监督与监督学习的结合使得采集的条纹图像数量减少，提高了深度学习方法的训练效率。
Description
技术领域
本发明属于结构光三维测量技术领域，具体为一种基于结构光与深度学习的单帧三维测量方法。
背景技术
三维光学测量技术凭借其无接触、高速度、高精度等优势，在学界与业界被广泛应用，其应用领域包括生物医学、计算机视觉、制造业等。三维光学测量技术还被用于商业化的便携设备中，如英特尔RealSense与微软Kinect。近年来，由于光学工程与计算机视觉领域的发展，三维光学测量技术取得了长足进步。
传统的基于结构光的单帧三维测量方法使用傅里叶变换轮廓术(FTP)或窗口傅里叶变换轮廓术(WFTP)。这些方法通过空间相位调制能够从单张条纹投影图像中恢复相位图，但是精度与空间分辨率较低，抗噪声的能力弱。深度学习算法被引入条纹图样分析后，单帧三维测量方法的精度得以提高，扩大了其应用范围。深度学习方法使用基于卷积神经网络的U-Net、GAN等网络架构，从单张条纹投影图像中得到含包裹的相位图，或者利用端到端的网络直接得到深度图。其他工作将着眼点放在高动态范围方法、解决深度学习所需的数据量问题上，进一步发展了单帧三维测量方法。与传统机器学习方法不同，由于深度学习需要在数据集上训练，需大量的真实数据值才能得到较好的网络表现。在条纹投影领域，真实深度值需要由多步相移法获取，建立大型数据集非常的耗时；而模拟仿真的图像与真实条纹图像分布上有差异，在仿真图像上训练的网络在真实场景中误差会增大。
无监督学习算法不需要先测得真实深度值即可训练神经网络，在网络输入条纹图像，输出预测的高度图后，将该虚拟的高度图重新进行条纹投影，将得到的条纹图像与真实条纹图像作比较，得到网络损失。但是由于重投影使用了计算机图形学，无法模拟真实环境中的噪音，降低了测量精度。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于结构光与深度学习的单帧三维测量方法；本发明通过深度神经网络完成单帧三维测量，能够用于测量动态场景，且测量精度高于传统的结构光单帧测量方法。无监督与监督学习的结合使得采集的条纹图像数量减少，提高了深度学习方法的训练效率。条纹分析网络的各个模块都对测量精度的提升具有贡献。
本发明的技术方案具体介绍如下。
一种基于结构光与深度学习的单帧三维测量方法，具体步骤如下：
步骤一、训练用于条纹图像分析的深度神经网络
首先以结构光系统采集的单帧条纹图像作为输入，对深度神经网络进行无监督学习预
训练；然后以多频率的相移条纹图像作为输入，对深度神经网络进行监督学习微调，得到训练好的深度神经网络；其中：深度神经网络由3个U-Net模块级联构成，模块a用于含包裹相位图的计算，模块b用于相位解包裹，模块c用于绝对相位图的调优。模块a以条纹图像为输入，输出含包裹相位图，模块b以条纹图像和含包裹相位图为输入，输出绝对相位图，模块c以条纹图像、含包裹相位图和绝对相位图为输入，输出调优后的绝对相位图；每个U-Net模块分为下采样与上采样部分，下采样部分由下采样层与卷积层组成，上采样部分由上采样层，卷积层与输出层组成，上采样层与下采样层采用了相同数量层次的卷积操作，同时图像分辨率大小相同的下采样部分结果和上采样部分相串接，并用卷积层统一滤波器数量，输出层使用卷积与sigmoid函数将特征转化到输出的维度与数值范围；
步骤二、检测单帧条纹图像
将待检测的结构光系统采集的单帧条纹图像输入到步骤（一）训练好的深度神经网络中，输出含包裹相位图，绝对相位图与调优后的绝对相位图的预测结果，再以调优后的绝对相位图作为最终结果用于三维测量。
本发明中，步骤一中， 深度神经网络中，在下采样部分，首先由5个卷积层与5个下采样层依次间隔排列，实现不同图像分辨率下的特征抽取，再在最低分辨率1/32上，使用了残差连接的4个卷积层构成残差块。下采样层使用卷积核大小为2，步长为2的卷积，批归一化与Leaky RELU激活函数，卷积层使用卷积核大小为3，步长为1的卷积，批归一化与LeakyRELU激活函数，图像分辨率大小相同的下采样层与卷积层使用相同的滤波器数量，滤波器数量设为16，24，24，32，32与48，对应于1，1/2，1/4，1/8，1/16与1/32分辨率；在上采样部分，首先由5个上采样层与5个卷积层依次间隔排列，再在分辨率1上接输出层。上采样层使用卷积核大小为2，步长为2的反卷积，批归一化与Leaky RELU激活函数，卷积层同样使用卷积核大小为3，步长为1的卷积，批归一化与Leaky RELU激活函数，同一图像分辨率下，上采样层与卷积层的滤波器数量相同，依次为16，24，24，16与8，对应于1/16，1/8，1/4，1/2与1分辨率，输出层使用卷积核大小为1，步长为1的卷积与sigmoid函数，滤波器数量为1。
本发明中，步骤一中，在下采样部分，图像分辨率大小相同的下采样层与卷积层的滤波器数量相同，滤波器数量依次设为16，24，24，32，32与48，对应于1，1/2，1/4，1/8，1/16与1/32分辨率。
本发明中，步骤一中，在上采样部分，图像分辨率大小相同的上采样层与卷积层的滤波器数量相同，滤波器数量依次设为16，24，24，16与8，对应于1/16，1/8，1/4，1/2与1分辨率；输出层滤波器数量为1。
本发明中，无监督学习预训练时，深度神经网络预测的条纹图像与真实的条纹图像的L1损失作为网络损失，使用两种频率下的单帧图像进行损失计算，其中高频率单帧图像的相位图被用于进行预测；预测的条纹图像由深度神经网络预测输出的相位图经过条纹重投影得到。
本发明中，监督学习微调时，以四种频率12步相移条纹图像为深度神经网路的输入。
本发明中，监督学习微调时，深度神经网络预测的相位图与真实的相位图的L1损失作为网络损失，真实的相位图采用相移法与时间相位解包裹得到。
本发明中，深度神经网络的训练使用Adam优化器，用python深度学习框架加速训练过程。
本发明使用无监督学习预训练与监督学习微调结合的方法，有效解决了现有技术中深度学习算法在结构光单帧三维测量中数据需求量大，训练效率低的问题；其有益效果还包括：
1.本发明使用的结构光系统装置简单，只需要一台投影仪与一个工业相机。
2.本发明在训练完成后可以实现完全的单帧三维测量，每次测量只需要单一条纹频率下的一副图像。而部分单帧测量方法虽然不需要采集多步相移图像，但需要不同频率下的条纹图像进行时间相位解包裹。
3.本发明在无监督学习预训练结束后用监督学习微调，解决无监督学习的重投影误差问题，提高了测量精度，与需要大量数据的监督学习方法相当。
4.本发明在无监督学习预训练后网络已具有条纹分析能力，不需要大量真实数据进行监督学习，只需要少量12步相移法得到的数据集进行训练。这样提高了训练效率，减少了数据采集所用时间，降低了应用难度。
5.本发明使用3个U-Net模块构成的神经网络用于条纹分析，分别用于预测含包裹相位图，预测绝对相位图与调优绝对相位图，进一步提高测量精度。
综上所述，相较于现有的结构光单帧三维测量方法，本发明使用的结构光系统装置简单，能够实现完全的单帧三维测量，提高了无监督学习的测量精度，减少了监督学习的数据采集时间，提高了训练效率，网络架构的3个U-Net模块进一步提高了测量精度。
附图说明
图1为本发明方法的流程图。
图2为本发明用于条纹图像分析的神经网络架构示意图。
图3为本发明用于条纹图像分析的神经网络的U-Net模块架构示意图。
图4为本发明实例中采集的单帧条纹图像。
图5为本发明实例中12步相移法得到的含包裹相位图。
图6为本发明实例中12步相移法得到的绝对相位图。
图7为本发明实例中网络预测的含包裹相位图。
图8为本发明实例中网络预测的绝对相位图。
图9为本发明实例中网络预测的调优后的绝对相位图。
图10为本发明实例中网络预测的含包裹相位图的误差图。
图11为本发明实例中网络预测的绝对相位图的误差图。
图12为本发明实例中网络预测的调优后的绝对相位图的误差图。
具体实施方式
以下通过具体实例和相关附图对本发明作进一步详细说明。
图1为本发明方法的流程图。
本发明中，投影仪投射单色正弦条纹于被测物体上，工业相机在无监督学习阶段与测量时采集单帧图像，在监督学习阶段采集多频率的相移图像；深度神经网络以单帧条纹图像为输入，以预测的含包裹相位图，绝对相位图与调优后的绝对相位图为输出，调优后的绝对相位图作为最终结果用于三维测量。神经网络的训练使用无监督学习预训练与监督学习微调结合的两阶段训练方法，训练完成后用于单帧三维测量。
无监督学习的具体方法为：利用结构光系统采集的单帧条纹图像，用深度神经网
络预测相位图，包括含包裹相位图，绝对相位图与调优后的绝对相位图，分别重投影得到预
测的条纹图像，用预测的与真实的条纹图像构成网络损失。为达到解包裹的训练目的，使用
两种频率下的单帧图像进行损失计算，而网络只预测高频率单帧图像的相位图。网络损失
可以表示为
，
其中
表示L1损失函数，
表示高频率条纹图像，
为高频率下网络预测的含包裹相位图，
表示由网络预测的含包裹相位图重投影得到的高频率条纹图像，
为高频率下网
络预测的绝对相位图，表示由网络预测的绝对相位图重投影得到的高频率条纹图像，
为
高频率下网络预测的调优后的绝对相位图，
表示由网络预测的调优后的绝对相位图
重投影得到的高频率条纹图像，
表示低频率条纹图像，
为低频率下网络预测的绝对相
位图,
表示由网络预测的绝对相位图重投影得到的低频率条纹图像，
为低频率下
网络预测的调优后的绝对相位图，
表示由网络预测的调优后的绝对相位图重投影得
到的低频率条纹图像。
监督学习的具体方法为：利用结构光系统采集的四种频率12步相移条纹图像，用
相移法与时间相位解包裹得到真实相位图，包括含包裹相位图与绝对相位图。用网络预测
的相位图，包括含包裹相位图，绝对相位图与调优后的绝对相位图，与真实的相位图构成网
络损失。网络损失可以表示为
，其中
表示L1损失函
数，
表示真实的含包裹相位图，
表示网络预测的含包裹相位图，
表示真实的绝对相位
图，
表示网络预测的绝对相位图，
表示网络预测的调优后的绝对相位图。
用于条纹图像分析的深度神经网络由3个U-Net模块构成。3个U-Net模块分别用于预测含包裹相位图，预测绝对相位图与调优绝对相位图。U-Net模块由下采样与上采样部分构成，主要为卷积层与反卷积层，没有使用池化层。神经网络的训练使用Adam优化器，用python深度学习框架加速训练过程。
为展示本发明的实际效果，用python的pytorch深度学习框架编写用于条纹分析的深度神经网络，网络架构如图2所示。网络由3个U-Net模块构成，模块a用于含包裹相位图的计算，模块b用于相位解包裹，模块c用于绝对相位图的调优。U-Net模块的具体架构如图3所示。U-Net可以分为下采样与上采样部分。在下采样部分，首先由5个卷积层c1，c2，c3，c4，c5与5个下采样层d1，d2，d3，d4，d5依次间隔排列，实现不同图像分辨率下的特征抽取，再在最低分辨率1/32上，使用了残差连接的4个卷积层c6，c7，c8，c9构成残差块。下采样层使用卷积核大小为2，步长为2的卷积，批归一化与Leaky RELU激活函数，卷积层使用卷积核大小为3，步长为1的卷积，批归一化与Leaky RELU激活函数，图像分辨率大小相同的下采样层与卷积层使用相同的滤波器数量，滤波器数量设为16，24，24，32，32与48，对应于1，1/2，1/4，1/8，1/16与1/32分辨率；在上采样部分，首先由5个上采样层u1，u2，u3，u4，u5与5个卷积层c10，c11，c12，c13，c14依次间隔排列，再在分辨率1上接输出层o1。上采样层使用卷积核大小为2，步长为2的反卷积，批归一化与Leaky RELU激活函数，卷积层同样使用卷积核大小为3，步长为1的卷积，批归一化与Leaky RELU激活函数，同一图像分辨率下，上采样层与卷积层的滤波器数量相同，依次为16，24，24，16与8，对应于1/16，1/8，1/4，1/2与1分辨率，输出层使用卷积核大小为1，步长为1的卷积与sigmoid函数，滤波器数量为1。
实施例中，搭建了一套结构光测量系统，其使用蓝光投影仪，分辨率为
。
工业相机只使用了左相机，其分辨率为。投影仪将垂直的蓝色条纹投影到待测物体上。在无
监督训练阶段，共采集2000组条纹图像，其中高频率设为64，低频率设为9。在监督训练阶
段，共采集120组12步相移图像，包含64，16，4与1这四种频率。使用12步相移法与时间相位
解包裹得到含包裹相位图与绝对相位图作为真实值。将其中20组图像作为测试集使用。图4
为测试集中频率为64的一张条纹图像，图5为12步相移法得到的含包裹相位图，图6为12步
相移法得到的绝对相位图。
采集条纹图像建立数据集后，使用无监督学习与监督学习结合的方法进行网络训练。无监督学习中，利用结构光系统采集的单帧条纹图像，用深度神经网络预测相位图，包括含包裹相位图，绝对相位图与调优后的绝对相位图，分别重投影得到预测的条纹图像，用预测的与真实的条纹图像构成网络损失。监督学习中，利用结构光系统采集的四种频率12步相移条纹图像，用相移法与时间相位解包裹得到真实相位图，包括含包裹相位图与绝对相位图。用网络预测的相位图，包括含包裹相位图，绝对相位图与调优后的绝对相位图，与真实的相位图构成网络损失。
网络训练完成后，将测试集中频率为64的单帧条纹图像作为输入测试条纹分析网络的单帧三维测量效果。图7为网络预测的含包裹相位图，图8为网络预测的绝对相位图，图9为网络预测的调优后的绝对相位图。可以看出，网络预测结果与12步相移法结果相近，可以实现准确的单帧三维测量。在网络的三个模块依次作用下，结果越来越准确，体现了网络模块对测量精度的贡献。
将网络预测结果的误差可视化，如图10-图12所示。其中图10为网络预测的含包裹相位图的误差图，图11为网络预测的绝对相位图的误差图，图12为网络预测的调优后的绝对相位图的误差图。误差单位为相位弧度，横纵坐标为像素值。可以看出，网络预测结果误差较小，可以实现准确的三维测量，网络模块的组合可以大大降低测量误差，提高测量精度。
综上所述，本发明展示了一种基于结构光与深度学习的单帧三维测量方法，其使用的结构光系统装置简单，能够实现完全的单帧三维测量，提高了无监督学习的测量精度，减少了监督学习的数据采集时间，提高了训练效率，网络架构的3个U-Net模块进一步提高了测量精度。
Claims (8)
1.一种基于结构光与深度学习的单帧三维测量方法，其特征在于，具体步骤如下：
步骤一、训练用于条纹图像分析的深度神经网络
首先以结构光系统采集的单帧条纹图像作为输入，对深度神经网络进行无监督学习预
训练；然后以多频率的相移条纹图像作为输入，对深度神经网络进行监督学习微调，得到训练好的深度神经网络；其中：深度神经网络由3个U-Net模块级联构成，模块a用于含包裹相位图的计算，模块b用于相位解包裹，模块c用于绝对相位图的调优；模块a以条纹图像为输入，输出含包裹相位图，模块b以条纹图像和含包裹相位图为输入，输出绝对相位图，模块c以条纹图像、含包裹相位图和绝对相位图为输入，输出调优后的绝对相位图；每个U-Net模块分为下采样与上采样部分，下采样部分由下采样层与卷积层组成，上采样部分由上采样层，卷积层与输出层组成，上采样与下采样部分采用了相同数量层次的卷积操作，同时图像分辨率大小相同的下采样部分结果和上采样部分相串接，并用卷积层统一滤波器数量，输出层使用卷积与sigmoid函数将特征转化到输出的维度与数值范围；
步骤二、检测单帧条纹图像
将待检测的结构光系统采集的单帧条纹图像输入到步骤（一）训练好的深度神经网络中，输出含包裹相位图，绝对相位图与调优后的绝对相位图的预测结果，再以调优后的绝对相位图作为最终结果用于三维测量。
2.根据权利要求1所述的单帧三维测量方法，其特征在于，步骤一中， 深度神经网络中，
在下采样部分，首先由5个卷积层与5个下采样层依次间隔排列，实现不同图像分辨率下的特征抽取，再在最低分辨率1/32上，使用了残差连接的4个卷积层构成残差块；下采样层使用卷积核大小为2，步长为2的卷积，批归一化与Leaky RELU激活函数，卷积层使用卷积核大小为3，步长为1的卷积，批归一化与Leaky RELU激活函数；在上采样部分，首先由5个上采样层与5个卷积层依次间隔排列，再在分辨率1上接输出层，上采样层使用卷积核大小为2，步长为2的反卷积，批归一化与Leaky RELU激活函数，卷积层同样使用卷积核大小为3，步长为1的卷积，批归一化与Leaky RELU激活函数，输出层使用卷积核大小为1，步长为1的卷积与sigmoid函数。
3.根据权利要求2所述的单帧三维测量方法，其特征在于，步骤一中，在下采样部分，图像分辨率大小相同的下采样层与卷积层的滤波器数量相同，滤波器数量依次设为16，24，24，32，32与48，对应于1，1/2，1/4，1/8，1/16与1/32分辨率。
4.根据权利要求2所述的单帧三维测量方法，其特征在于，步骤一中，在上采样部分，图像分辨率大小相同的上采样层与卷积层的滤波器数量相同，滤波器数量依次设为16，24，24，16与8，对应于1/16，1/8，1/4，1/2与1分辨率；输出层滤波器数量为1。
5.根据权利要求1所述的单帧三维测量方法，其特征在于，无监督学习预训练时，深度神经网络预测的条纹图像与真实的条纹图像之间的L1损失作为网络损失，使用两种频率下的单帧图像进行损失计算，其中高频率单帧图像的相位图被用于进行预测；预测的条纹图像由深度神经网络预测输出的相位图经过条纹重投影得到。
6.根据权利要求1所述的单帧三维测量方法，其特征在于，监督学习微调时，以四种频率12步相移条纹图像为深度神经网路的输入。
7.根据权利要求1所述的单帧三维测量方法，其特征在于，监督学习微调时，深度神经网络预测的相位图与真实的相位图之间的L1损失作为网络损失，真实的相位图采用相移法与时间相位解包裹得到。
8.根据权利要求1所述的单帧三维测量方法，其特征在于，深度神经网络的训练使用Adam优化器，用python深度学习框架加速训练过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210728482.7A CN115063466A (zh) | 2022-06-24 | 2022-06-24 | 一种基于结构光与深度学习的单帧三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210728482.7A CN115063466A (zh) | 2022-06-24 | 2022-06-24 | 一种基于结构光与深度学习的单帧三维测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115063466A true CN115063466A (zh) | 2022-09-16 |
Family
ID=83201926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210728482.7A Pending CN115063466A (zh) | 2022-06-24 | 2022-06-24 | 一种基于结构光与深度学习的单帧三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063466A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116105632A (zh) * | 2023-04-12 | 2023-05-12 | 四川大学 | 一种结构光三维成像的自监督相位展开方法及装置 |
| CN117689705A (zh) * | 2024-01-31 | 2024-03-12 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
| CN117739861A (zh) * | 2024-02-20 | 2024-03-22 | 青岛科技大学 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
-
2022
- 2022-06-24 CN CN202210728482.7A patent/CN115063466A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116105632A (zh) * | 2023-04-12 | 2023-05-12 | 四川大学 | 一种结构光三维成像的自监督相位展开方法及装置 |
| CN117689705A (zh) * | 2024-01-31 | 2024-03-12 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
| CN117689705B (zh) * | 2024-01-31 | 2024-05-28 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习条纹结构光深度重建方法及装置 |
| CN117739861A (zh) * | 2024-02-20 | 2024-03-22 | 青岛科技大学 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
| CN117739861B (zh) * | 2024-02-20 | 2024-05-14 | 青岛科技大学 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109253708B (zh) | 一种基于深度学习的条纹投影时间相位展开方法 | |
| CN115063466A (zh) | 一种基于结构光与深度学习的单帧三维测量方法 | |
| Van der Jeught et al. | Real-time structured light profilometry: a review | |
| CN112116616B (zh) | 基于卷积神经网络的相位信息提取方法、存储介质及设备 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN110163817B (zh) | 一种基于全卷积神经网络的相位主值提取方法 | |
| CN114777677B (zh) | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 | |
| CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
| CN111047681A (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
| US20230122985A1 (en) | Single-frame fringe pattern analysis method based on multi-scale generative adversarial network | |
| CN111561877B (zh) | 一种基于点衍射干涉仪的可变分辨率相位解包裹方法 | |
| CN112529794A (zh) | 高动态范围结构光三维测量方法、系统及介质 | |
| CN111415353A (zh) | 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法 | |
| CN112697071A (zh) | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 | |
| CN102436646A (zh) | 基于压缩感知的ccd噪声估计方法 | |
| CN115205360A (zh) | 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用 | |
| CN113628170B (zh) | 一种基于深度学习的激光线提取方法及系统 | |
| US10521918B2 (en) | Method and device for filtering texture, using patch shift | |
| CN116645365B (zh) | 基于频谱的石英玻璃检测方法、装置、设备及介质 | |
| CN115293995B (zh) | 一种基于Transformer的点云逐点去噪方法 | |
| CN105066905B (zh) | 小波变换轮廓术抑噪方法 | |
| CN114330431A (zh) | 基于动态自注意力的托辊故障诊断方法及相关设备 | |
| CN110057321B (zh) | 基于x-f-k变换快速实现频域解相的三维物体面形测量方法 | |
| CN115900563A (zh) | 适用于智能机器人平台的图像深度信息检测方法及装置 | |
| CN112330814B (zh) | 一种基于机器学习的结构光三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |