CN117739861A - 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 - Google Patents
一种基于深度学习的改进单模式自解相条纹投影三维测量方法 Download PDFInfo
- Publication number
- CN117739861A CN117739861A CN202410186640.XA CN202410186640A CN117739861A CN 117739861 A CN117739861 A CN 117739861A CN 202410186640 A CN202410186640 A CN 202410186640A CN 117739861 A CN117739861 A CN 117739861A
- Authority
- CN
- China
- Prior art keywords
- fringe
- image
- stripe
- virtual
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000000691 measurement method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000010363 phase shift Effects 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000001314 profilometry Methods 0.000 description 4
- ZJPGOXWRFNKIQL-JYJNAYRXSA-N Phe-Pro-Pro Chemical compound C([C@H](N)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(O)=O)C1=CC=CC=C1 ZJPGOXWRFNKIQL-JYJNAYRXSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的改进单模式自解相条纹投影三维测量方法，涉及图像处理技术领域。本发明包括以下步骤：搭建条纹投影虚拟测量系统；在条纹投影虚拟测量系统中制备数据集；搭建条纹预测自解相网络模型；通过条纹投影虚拟测量系统制备的数据集进行模型训练；通过相机采集被测物体的单张变形条纹图像；将被测物体的单张变形条纹图像输入至条纹预测自解相网络模型预测被测物体其余三张变形条纹图像。本发明搭建了一个虚拟测量系统，简化了复杂的数据采集过程；并采用深度学习的方法搭建了条纹预测自解相网络对单模式自解相方法进行改进，实现了仅需单张变形条纹图像对高分辨图像进行高效精确的相位检索过程。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度学习的改进单模式自解相条纹投影三维测量方法。
背景技术
光学测量技术凭借非接触、高精度、高效率、和适用范围广的优点广泛应用于智能制造、工业检测等诸多领域。其中，基于结构光的条纹投影轮廓术（Fringe ProjectionProfilometry，FPP）已经被证实是获取物体三维形状信息最有效的技术之一。
FPP技术通常将带有编码信息的条纹或散斑图像投射到物体表面，获取包含物体轮廓信息调制的变形图像，对其解码获取绝对相位后结合三角测量原理便可计算物体的三维形状信息。
为满足复杂构型对象的动态测量任务，需要同时兼顾FPP技术的测量精度和效率，为此，研究人员们引入深度学习方法，初步实现了依靠单张编码图案进行三维测量；但是，目前仍然缺少对高分辨率动态物体高效、精确的相位解算方法。
因此，如何解决上述技术问题，设计一种高分辨率动态物体高效、精确的相位解算方法，是目前本领域的技术人员急需解决的技术问题。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
针对上述技术问题，本发明实施例提供了一种基于深度学习的改进单模式自解相条纹投影三维测量方法，以解决上述背景技术中提出的问题。
本发明提供了以下技术方案：
一种基于深度学习的改进单模式自解相条纹投影三维测量方法，包括以下步骤：
搭建条纹投影虚拟测量系统；
在条纹投影虚拟测量系统中制备数据集；
搭建条纹预测自解相网络模型；
通过条纹投影虚拟测量系统制备的数据集进行模型训练；
通过相机采集被测物体的单张变形条纹图像；
将被测物体的单张变形条纹图像输入至条纹预测自解相网络模型预测被测物体其余三张变形条纹图像；
将获取的四张变形条纹图像通过单模式自解相方法进行相位解算得到包裹相位和条纹级次；
相位展开得到绝对相位。
优选的，所述条纹投影虚拟测量系统采用Blender建模软件创建，所述条纹投影虚拟测量系统包括一个虚拟左相机、一个虚拟投影仪和被测物体模型；
虚拟投影仪由光轴重合的虚拟光源和一个额外的虚拟右相机组成，其中，虚拟右相机向平面的矢量射线仅作为投影基准，将待投影的条纹图像作为纹理作用于被测物体的材质属性，由虚拟左相机采集并渲染最终的合成效果。
优选的，渲染过程包括：先导入待测物体模型放置于条纹投影虚拟测量系统视场内，初始时虚拟右相机不作用，先由虚拟光源向待测物体投射背景白光，虚拟左相机渲染待测物体在背景白光下的图像；之后虚拟右相机作用，依次切换单模式自解相方法的四张相移条纹图像并由虚拟左相机渲染。
优选的，所述在条纹投影虚拟测量系统中制备数据集的步骤包括：
在条纹投影虚拟测量系统中选择200个任意类别的3D模型作为待测物体，以8.5：1.5的比例将待测物体模型随机分为训练集与测试集，并确保训练集模型在测试集中不可见；
借助Python接口设置每个待测物体模型导入后进行10次随机位姿变化，每次变化后执行渲染过程，共渲染2000组共10000张图像作为数据集，实际训练过程中训练集、验证集和测试集比例为7：1.5：1.5。
优选的，所述条纹预测自解相网络模型包括：编码器，跳跃连接，解码器三个部分；
编码器包括三层卷积层和下采样卷积模块；解码器包括三层输出卷积层和上采样卷积模块；编码器和解码器之间在三个不同尺度上通过双重注意力模块构成的跳跃连接进行特征拼接；
编码器末端由双注意力模块搭配Transformer模块对全局特征进行处理，再由解码器进行逐层卷积和上采样。
优选的，所述双注意力模块包括位置注意力模块和通道注意力模块；其中，
位置注意力模块用于提取条纹图像在局部特征图中不同位置的空间依赖关系，将任意两个位置间的特征相似度作为权重，通过加权求和的方式更新不同位置的特定特征，用于处理特征图的后两个维度；
通道注意力模块用于提取条纹图像不同通道中特征图的相互影响关系，采用对任意两个通道间的影响程度作为权重，同样采用加权求和的方式更新每个通道的特定特征，用于处理特征图的第一个维度。
优选的，通过数据集对条纹预测自解相网络模型进行模型训练时，需将条纹预测自解相网络模型输出的三张变形条纹图像与数据集中对应的变形条纹图像进行反复计算迭代，直至损失函数值收敛，条纹预测自解相网络模型训练结束。
优选的，损失函数采用图像结构相似度和均方误差以5：1叠加；图像结构相似度损
失和均方误差损失由以下式表示：其中，SSIM为图像结构
相似度；MSE为均方误差；代表图像亮度均值，代表图像对比度方差，表示亮度相似评
价，表示对比度相似评价，X表示网络输出图像，Y表示数据集对比图像，H,W分别代表图
像分辨率尺寸。优选的，包裹相位的计算公式为：条纹级次的
计算公式为：其中，为包裹相位；上标代表相机采集到
变形条纹图像；代表相机采集到的变形条纹图像中像素处的光强，
为条纹级次；为中值滤波后的相移项；为条纹频率；为四舍五入取整函数。优选
的，绝对相位的计算公式为：其中，为绝对相位；为条纹
级次。本发明实施例提供的一种基于深度学习的改进单模式自解相条纹投影三维测量方
法，具有以下有益效果：
1.本发明针对深度学习技术在条纹投影轮廓术领域的现有问题，设计了一种基于深度学习的改进单模式自解相条纹投影三维测量方法，此方法投影单种模式的四张特殊强度编码的条纹图像便可直接获得绝对相位；
2.并采用深度学习搭建了一个条纹预测自解相网络模型，实际测量时仅需获取被测物体的一张变形条纹图像，经训练后的条纹预测自解相网络模型可直接预测出其余三张变形条纹图像，实现高效精确的获取绝对相位信息。
附图说明
图1为本发明中条纹投影虚拟测量系统及测量场景；
图2为本发明中条纹预测自解相网络模型的示意图；
图3为本发明中双注意力模块的示意图；
图4为本发明中经纬球变形条纹图像预测及相位解算过程；
图5为基于深度学习的改进单模式自解相条纹投影三维测量方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下，所获得的所有其它实施例，都属于本发明保护的范围。
针对上述背景技术提到的问题，本发明实施例提供了一种基于深度学习的改进单模式自解相条纹投影三维测量方法，以解决上述技术问题，其技术方案如下：
下面结合附图1-5，以及具体实施方式对本发明作进一步的说明。
一、本发明的创新点：
（1）为减少所需投影条纹的张数，实现对高分辨率图像的高效相位解算，采用单模式自解相方法，单模式自解相方法仅需四张条纹图像，可将相位信息和相应条纹级次信息共同编码为单种模式下的四张条纹图像里，不需要借助额外信息可同时解算包裹相位和条纹级次信息，直接经条纹级次对包裹相位进行相位展开便可获得绝对相位；
具体为，将相位信息和相应的条纹级次信息编码为单种模式下的四张图像里，并采用一种简洁的解码算法，根据四张编码条纹图像便可同时解算到包裹相位和条纹级次信息，直接获得绝对相位信息；此外，通过将条纹级次信息嵌入相移域，相位展开过程具有较强的抗环境光和相机噪声影响的鲁棒性。
（2）采用开源的三维建模软件Blender搭建条纹投影虚拟测量系统，为确保投影条纹的正弦性和光强分布的均匀性，减小虚拟合成域和实际域间的差异，兼顾制备数据集的精度和效率，采用材质纹理投影的方式渲染图像，并使用python接口实现自动和批量化制备数据集。
（3）搭建条纹预测自解相网络模型，结合Transformer网络对全场特征的学习优势和U-Net网络对局部细节的学习优势，将单张条纹图像作为输入，训练好后的条纹预测自解相网络模型可根据输入预测出被测物对应的其余三张变形条纹图像；在相同模式下具有强关联的变形条纹图可以被很好的学习到，同时由于变形条纹图像为8位深度图像，条纹预测的误差也会被限制在很小的范围。
二、本发明基于条纹投影轮廓术的设计原理
相位解算是对相机采集的变形条纹图像逐像素解算绝对相位的过程，通常分为包
裹相位计算和相位展开两个步骤。与传统相移方法的条纹图像不同，单模式自解相方法将
条纹级次编码嵌入到相移域中，待投影的四张特殊编码的条纹图像各像素光强依次表
示为Eq.(1)-(4)：其中，上标P代表投影仪投影
图像；代表像素在第个编码图像中的强度值；代表平均光强；代表条纹调制度。以竖直条纹为例，对应像素位置的绝对相位和相移项编码
表示为Eq.(5)-(6)：其中，T为条纹间距，代表一个周期内的
像素数；为条纹频率，代表整张图像中条纹总数；代表像素所在条纹级次，范围为
,编码为,为对t截断取整函数。相应的，相机采集到的变形条纹图像中像
素处的光强依次表示为Eq.(7)-(10)：
其中，上标代表为相机采集变形条纹图像，平均光强和条纹调制度与测量环境
和被测物体表面材质有关。由反正切函数Eq.(11)可得到包裹在区间内的包裹相位,对应相移项可由Eq.(12)计算：
但当且仅当,同时发生时，相移项解算时Eq.(12)分子分母
为0，对应位置会出现尖峰误差，需要使用中值滤波将其消除，滤波校正后表示为。最
后由Eq.(13)-(14)根据解码后的条纹级次将包裹相位展开单周期无包裹的绝
对相位。
三、虚拟FPP系统
充足的训练数据是深度学习得到良好结果的保障，实际测量系统数据采集较为费时，不适用于批量化的数据集制备。为此，本文选择开源的3D建模软件Blender，根据实际测量系统搭建条纹投影虚拟测量系统。
实际测量系统包含一个相机，一个投影仪和待测物体，相应的，虚拟测量系统包含一个虚拟相机（左相机），一个虚拟投影仪和被测物体模型。虚拟投影仪由光轴重合的虚拟光源和一个额外的虚拟相机（右相机）组成，其中右相机向平面的矢量射线仅作为投影基准，将待投影的条纹图像作为纹理作用于被测物体的材质属性，由虚拟相机采集并渲染最终的合成效果。所参考的实际测量系统参数如表1所示，虚拟测量系统及测量场景如图1所示。
渲染过程先导入待测物体模型放置于虚拟测量系统视场内，初始时右相机不作用，先由虚拟光源向待测物体投射背景白光，左相机渲染待测物体在背景白光下的图像；之后右相机作用，依次切换单模式自解相方法的四张相移条纹图像并由左相机渲染，即对于同一姿态下的待测物体模型需要渲染五张图像。
为保证数据集的丰富性，选择200个任意类别的3D模型作为待测物体，以8.5：1.5的比例将待测物体模型随机分为训练集与测试集，并确保训练集模型在测试集中不可见。借助Python接口设置每个待测物体模型导入后进行10次随机位姿变化，每次变化后执行渲染过程，共渲染2000组共10000张图像作为数据集，实际训练过程中训练集、验证集和测试集比例为7：1.5：1.5。
表1 真实系统参数
| Parameters | Value | Parameters | Value |
| Camera resolution | 1440×1080 pixel | Aperture number F | 8 |
| Camera focal length | 10mm | Fringe pitches | 14.6 pixel |
| Projector resolution | 1280×720 pixel | Phase shift steps | 4 |
| Light intensity of projector | 20 | Sample count per pixel | 1024 |
表2 被测物体变换参数
| Parameters | Value | Parameters | Value |
| 水平方向 | [-100mm, 100mm] | 被测物偏航角 | [-50°, 50°] |
| 竖直方向 | [-100mm, 100mm] | 被测物翻滚角 | [-10°, 10°] |
| 被测物远近 | [-150mm, 150mm] | 被测物俯仰角 | [-10°, 10°] |
表3 虚拟系统运行环境
| Operating system | CPU | RAM | GPU |
| Windows 10 | Intel(R) Xeno(R) Gold 5218R, 2.10GHz | 128.0 GB | NVIDIA GeForce RTX3090 (24.0GB) |
四、条纹预测自解相网络
本文所搭建的条纹预测自解相网络模型框架如图2所示，与U-Net网络相似，该网络总体也分为编码器，跳跃连接，解码器三个部分。
输入的单张条纹图像先经过编码器卷积和下采样进行局部特征提取，编码器末端由双注意力模块搭配Transformer模块对全局特征进行处理，再由解码器进行逐层卷积和上采样。在三个不同尺度上通过由双重注意力模块构成的跳跃连接将编码器与解码器进行特征拼接，最后经输出卷积层得到通道数为3的特征图，每一通道对应一张变形条纹图像。
编码器依次经过三次卷积层和下采样卷积模块对输入图像进行特征提取，每次操作特征图的特征通道数加倍，分辨率尺寸减半。之后采用双注意力模块对三次卷积和下采样后的特征图进行特征优化，使特征更适合Transformer模块。再经过维度压缩，保留特征通道的基础上将三维特征图转化为Transformer模块所需的二维特征图，Transformer模块对特征图的全局特征进行提取，不改变特征图维度。最后Transformer模块的输出经维度重塑重新转化为三维特征图并作为解码层的输入。
所采用的双注意力模块同时从特征提取的位置和通道两个角度进行集成，增强特征的精度和细粒度，因此在编码器中和跳跃连接时可以获得更准确详细的特征，从而增强网络模型的预测能力。双注意力模块主要分为位置注意力模块（Position AttentionModule，PAM）和通道注意力模块（Channel Attention Module，CAM），双注意力模块结构如图3所示，图中(C,H,W)表示三维特征图各维度大小，第一个维度为特征通道数，后两个维度为特征图分辨率尺寸。位置注意力模块用于提取条纹图像在局部特征图中不同位置的空间依赖关系，将任意两个位置间的特征相似度作为权重，通过加权求和的方式更新不同位置的特定特征，主要处理特征图的后两个维度。通道注意力模块用于提取条纹图像不同通道中特征图的相互影响关系，采用对任意两个通道间的影响程度作为权重，同样采用加权求和的方式更新每个通道的特定特征，主要处理特征图的第一个维度。
损失函数采用图像结构相似度(SSIM)和均方误差(MSE)以5：1叠加，将经网络输出
的三张变形条纹图像与数据集中对应的条纹图像进行计算得到损失值。训练时，将输出结
果与对比图像反复计算迭代，直至损失函数值收敛，网络训练结束。图像结构相似度损失表
示为Eq.(15)，均方误差损失表示为Eq.(16)。
其中，代表图像亮度均值，代表图像对比度方差，表示亮度相似评价，表示对比度
相似评价，X表示网络输出图像，Y表示数据集对比图像，H,W分别代表图像分辨率尺寸。五、
条纹预测及相位检索结果
选用经纬球作为示例被测物体，检验所提方法的解相精度。如图4所示，首先采集一张变形条纹图像作为网络输入，网络输出三张变形条纹图像。随后进行虚线框部分的相位检索，由输入与输出组成的四张变形条纹图像经Eq.(11)得到包裹相位图像，经Eq.(12)(13)得到条件级次，最后由Eq.(14)得到被测经纬球绝对相位。为比较相位解算的精度，将经条纹预测自解相网络模型得到的绝对相位值与单模式自解相方法求得的绝对相位进行对比，得到最终的相位误差。
根据图4中所展示的相位误差结果，所提方法实现了仅需单张变形条纹图像便可得到单模式自解相方法的绝对相位精度，可实现对高分辨率图像的高效精确的相位解算，降低了初始采集的变形条纹图像的数量要求，同时基于深度学习的方法抗噪声能力更强。
结论：本发明首先在Blender中搭建了一个虚拟测量系统，简化了复杂的数据采集过程；将虚拟系统渲染的图像作为数据集，采用深度学习的方法搭建了条纹预测自解相网络对单模式自解相方法进行改进，实现了仅需单张变形条纹图像对高分辨图像进行高效精确的相位检索过程。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，包括以下步骤：
搭建条纹投影虚拟测量系统；
在条纹投影虚拟测量系统中制备数据集；
搭建条纹预测自解相网络模型；
通过条纹投影虚拟测量系统制备的数据集进行模型训练；
通过相机采集被测物体的单张变形条纹图像；
将被测物体的单张变形条纹图像输入至条纹预测自解相网络模型预测被测物体其余三张变形条纹图像；
将获取的四张变形条纹图像通过单模式自解相方法进行相位解算得到包裹相位和条纹级次；
相位展开得到绝对相位。
2.根据权利要求1所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，所述条纹投影虚拟测量系统采用Blender建模软件创建，所述条纹投影虚拟测量系统包括一个虚拟左相机、一个虚拟投影仪和被测物体模型；
虚拟投影仪由光轴重合的虚拟光源和一个额外的虚拟右相机组成，其中，虚拟右相机向平面的矢量射线仅作为投影基准，将待投影的条纹图像作为纹理作用于被测物体的材质属性，由虚拟左相机采集并渲染最终的合成效果。
3.根据权利要求2所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，渲染过程包括：先导入待测物体模型放置于条纹投影虚拟测量系统视场内，初始时虚拟右相机不作用，先由虚拟光源向待测物体投射背景白光，虚拟左相机渲染待测物体在背景白光下的图像；之后虚拟右相机作用，依次切换单模式自解相方法的四张相移条纹图像并由虚拟左相机渲染。
4.根据权利要求1所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，所述在条纹投影虚拟测量系统中制备数据集的步骤包括：
在条纹投影虚拟测量系统中选择200个任意类别的3D模型作为待测物体，以8.5：1.5的比例将待测物体模型随机分为训练集与测试集，并确保训练集模型在测试集中不可见；
借助Python接口设置每个待测物体模型导入后进行10次随机位姿变化，每次变化后执行渲染过程，共渲染2000组共10000张图像作为数据集，实际训练过程中训练集、验证集和测试集比例为7：1.5：1.5。
5.根据权利要求1所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，所述条纹预测自解相网络模型包括：编码器，跳跃连接，解码器三个部分；
编码器包括三层卷积层和下采样卷积模块；解码器包括三层输出卷积层和上采样卷积模块；编码器和解码器之间在三个不同尺度上通过双重注意力模块构成的跳跃连接进行特征拼接；
编码器末端由双注意力模块搭配Transformer模块对全局特征进行处理，再由解码器进行逐层卷积和上采样。
6.根据权利要求5所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，所述双注意力模块包括位置注意力模块和通道注意力模块；其中，
位置注意力模块用于提取条纹图像在局部特征图中不同位置的空间依赖关系，将任意两个位置间的特征相似度作为权重，通过加权求和的方式更新不同位置的特定特征，用于处理特征图的后两个维度；
通道注意力模块用于提取条纹图像不同通道中特征图的相互影响关系，采用对任意两个通道间的影响程度作为权重，同样采用加权求和的方式更新每个通道的特定特征，用于处理特征图的第一个维度。
7.根据权利要求1所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，通过数据集对条纹预测自解相网络模型进行模型训练时，需将条纹预测自解相网络模型输出的三张变形条纹图像与数据集中对应的变形条纹图像进行反复计算迭代，直至损失函数值收敛，条纹预测自解相网络模型训练结束。
8.根据权利要求7所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，
其特征在于，损失函数采用图像结构相似度和均方误差以5：1叠加；图像结构相似度损失和
均方误差损失由以下式表示：；；其中，SSIM
为图像结构相似度；MSE为均方误差；代表图像亮度均值，代表图像对比度方差，表示
亮度相似评价，表示对比度相似评价，X表示网络输出图像，Y表示数据集对比图像，H,W
分别代表图像分辨率尺寸。
9.根据权利要求1所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，
其特征在于，包裹相位计算公式为：；条纹级次的计算公式为：；其中，为包裹相位；上标代表相机采集到变形条纹图像；代表相机采集到的变形条纹图像中像素处的光强，为条纹级次；为中值滤波后的相移项；为条纹频率；为四舍五入取整函数。
10.根据权利要求9所述的基于深度学习的改进单模式自解相条纹投影三维测量方法，其特征在于，绝对相位的计算公式为：
;其中，/>为绝对相位；/>为条纹级次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186640.XA CN117739861B (zh) | 2024-02-20 | 2024-02-20 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186640.XA CN117739861B (zh) | 2024-02-20 | 2024-02-20 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117739861A true CN117739861A (zh) | 2024-03-22 |
| CN117739861B CN117739861B (zh) | 2024-05-14 |
Family
ID=90281646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410186640.XA Active CN117739861B (zh) | 2024-02-20 | 2024-02-20 | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117739861B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111043988A (zh) * | 2019-12-10 | 2020-04-21 | 东南大学 | 一种基于图形学和深度学习的单张条纹投影测量方法 |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111928799A (zh) * | 2020-09-25 | 2020-11-13 | 南京理工大学 | 基于深度学习实现条纹图像对比度增强的三维测量方法 |
| WO2021207722A1 (en) * | 2020-04-10 | 2021-10-14 | The Research Foundation For The States University Of New York | System and method for 3d image scanning |
| KR20220061590A (ko) * | 2020-11-06 | 2022-05-13 | 한국생산기술연구원 | 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법 |
| CN114777677A (zh) * | 2022-03-09 | 2022-07-22 | 南京理工大学 | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 |
| CN115063466A (zh) * | 2022-06-24 | 2022-09-16 | 复旦大学 | 一种基于结构光与深度学习的单帧三维测量方法 |
| CN116310080A (zh) * | 2022-12-30 | 2023-06-23 | 重庆大学 | 一种基于深度学习的单帧结构光齿轮故障三维测量方法和系统 |
| CN117011478A (zh) * | 2023-10-07 | 2023-11-07 | 青岛科技大学 | 一种基于深度学习与条纹投影轮廓术的单张图像重建方法 |
-
2024
- 2024-02-20 CN CN202410186640.XA patent/CN117739861B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111043988A (zh) * | 2019-12-10 | 2020-04-21 | 东南大学 | 一种基于图形学和深度学习的单张条纹投影测量方法 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| WO2021207722A1 (en) * | 2020-04-10 | 2021-10-14 | The Research Foundation For The States University Of New York | System and method for 3d image scanning |
| CN111928799A (zh) * | 2020-09-25 | 2020-11-13 | 南京理工大学 | 基于深度学习实现条纹图像对比度增强的三维测量方法 |
| KR20220061590A (ko) * | 2020-11-06 | 2022-05-13 | 한국생산기술연구원 | 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법 |
| CN114777677A (zh) * | 2022-03-09 | 2022-07-22 | 南京理工大学 | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 |
| CN115063466A (zh) * | 2022-06-24 | 2022-09-16 | 复旦大学 | 一种基于结构光与深度学习的单帧三维测量方法 |
| CN116310080A (zh) * | 2022-12-30 | 2023-06-23 | 重庆大学 | 一种基于深度学习的单帧结构光齿轮故障三维测量方法和系统 |
| CN117011478A (zh) * | 2023-10-07 | 2023-11-07 | 青岛科技大学 | 一种基于深度学习与条纹投影轮廓术的单张图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 冯世杰;左超;尹维;陈钱;: "深度学习技术在条纹投影三维成像中的应用", 红外与激光工程, no. 03, 25 March 2020 (2020-03-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117739861B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563564B (zh) | 基于深度学习的散斑图像逐像素匹配方法 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| CN110163817B (zh) | 一种基于全卷积神经网络的相位主值提取方法 | |
| CN113379818B (zh) | 一种基于多尺度注意力机制网络的相位解析方法 | |
| WO2014062302A1 (en) | Systems and methods for marking images for three-dimensional image generation | |
| CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
| CN103292741A (zh) | 一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法 | |
| WO2021184686A1 (zh) | 基于多尺度生成对抗神经网络的单帧条纹分析方法 | |
| JP5761750B2 (ja) | 画像処理方法および装置 | |
| Remondino et al. | 3D documentation of 40 kilometers of historical porticoes–the challenge | |
| CN117011478B (zh) | 一种基于深度学习与条纹投影轮廓术的单张图像重建方法 | |
| Lyu et al. | Structured light-based underwater 3-D reconstruction techniques: A comparative study | |
| Gu et al. | Holoimages | |
| CN115457195A (zh) | 一种配网工程图纸二三维转换方法、系统、设备及介质 | |
| CN115063466A (zh) | 一种基于结构光与深度学习的单帧三维测量方法 | |
| CN114581577A (zh) | 物体材质微表面模型重构方法及系统 | |
| Stucker et al. | ImpliCity: City modeling from satellite images with deep implicit occupancy fields | |
| Song et al. | Super-resolution phase retrieval network for single-pattern structured light 3D imaging | |
| CN117739861B (zh) | 一种基于深度学习的改进单模式自解相条纹投影三维测量方法 | |
| US8948498B1 (en) | Systems and methods to transform a colored point cloud to a 3D textured mesh | |
| CN111583323B (zh) | 一种单帧结构光场三维成像方法和系统 | |
| CN105844623A (zh) | 基于De序列混合编码的目标物体深度信息获取方法 | |
| RU2573767C1 (ru) | Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения | |
| CN117132704A (zh) | 一种动态结构光的三维重建方法及其系统、计算设备 | |
| Fu et al. | Single-shot colored speckle pattern for high accuracy depth sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |