CN115164776B - 一种结构光解码与深度学习融合的三维测量方法及装置 - Google Patents

一种结构光解码与深度学习融合的三维测量方法及装置 Download PDF

Info

Publication number
CN115164776B
CN115164776B CN202210779195.9A CN202210779195A CN115164776B CN 115164776 B CN115164776 B CN 115164776B CN 202210779195 A CN202210779195 A CN 202210779195A CN 115164776 B CN115164776 B CN 115164776B
Authority
CN
China
Prior art keywords
structured light
camera
depth image
coding pattern
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210779195.9A
Other languages
English (en)
Other versions
CN115164776A (zh
Inventor
徐静
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210779195.9A priority Critical patent/CN115164776B/zh
Publication of CN115164776A publication Critical patent/CN115164776A/zh
Application granted granted Critical
Publication of CN115164776B publication Critical patent/CN115164776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出一种结构光解码与深度学习融合的三维测量方法及装置，属于三维测量领域。其中，所述方法包括：将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用多台相机同时拍摄结构光模块投影到待测对象表面的双频相移结构光编码图案序列；将每台相机拍摄的编码图案序列串联后输入预设的多视角三维重建网络，得到待测对象在指定的相机1坐标系下的预测深度图像；计算待测对象在相机1坐标系下的结构光解码深度图像以及面结构光解码有效性掩模，结合预测深度图像，以得到待测对象的三维测量结果。本发明利用深度学习多视角三维重建与结构光测量融合，实现对于复杂光学特性物体的完整准确三维测量，具有很高的应用价值。

Description

一种结构光解码与深度学习融合的三维测量方法及装置
技术领域
本发明属于三维测量领域，具体涉及一种结构光解码与深度学习融合的三维测量方法及装置。
背景技术
基于结构光的三维测量方法，具有非接触、结构简单、测量效率高、空间分辨率高等优点，在逆向工程、工业质量检测、机器人操作等领域具有广泛应用。透明、半透明、反光、高反差物体被统称为复杂光学特性物体。目前，基于解码的结构光三维测量方法通过解码计算深度图像，对复杂光学特性物体的测量结果中存在缺失。而深度学习多视角三维重建方法可以通过训练提高复杂光学特性物体测量结果的完整性，但其测量精度不及编码图案反射强度适中区域的基于解码的结构光三维测量结果。
发明内容
本发明的目的是克服现有技术中基于解码的结构光三维测量方法对于复杂光学特性物体测量结果中存在缺失以及深度学习多视角三维重建测量精度有限的不足，提出一种结构光解码与深度学习融合的三维测量方法及装置。本发明可实现复杂光学特性物体的完整准确三维测量，可适用于逆向工程，工业质量检测等领域，具有很高的应用价值。
本发明第一方面实施例提出一种结构光解码与深度学习融合的三维测量方法，包括：
将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；
将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。
在本发明的一个具体实施例中，所述待测对象为透明、半透明、反光或高反差物体中的任一种。
在本发明的一个具体实施例中，所述双频相移结构光编码图案序列，表达式如下：
Figure BDA0003728391820000021
式中，NPSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(up,vp)为结构光投影模块投影的的任一图像像素坐标；
Figure BDA0003728391820000022
分别为(up,vp)对应的多周期编码相位与单周期编码相位；
Figure BDA0003728391820000023
为第i张多周期双频相移结构光编码图案，i＝1,2,…,NPSP；
Figure BDA0003728391820000024
为第i张单周期双频相移结构光编码图案，i＝1,2,…,NPSP。
在本发明的一个具体实施例中，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：
训练所述多视角三维重建网络；
所述训练所述多视角三维重建网络包括：
1)将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；
2)获取训练待测对象的三维形状点云，将所述三维形状点云转换到相机1坐标系下，得到训练待测对象在相机1坐标系下对应的深度图像；
3)将每台相机拍摄的训练待测对象表面反射的编码图案序列以及训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本；
4)通过改变训练待测对象的位置或选择不同的训练待测对象，重复步骤1)-3)以获得对应的训练样本，将所有训练样本组成训练数据集；
5)构建多视角三维重建网络，所述网络包含依次连接的粗粒度深度预测子网络和深度迭代优化子网络；所述粗粒度深度预测子网络的输入为由每台相机拍摄的待测对象表面反射的的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为
Figure BDA0003728391820000025
所述粗粒度深度预测子网络输出待测对象在相机1坐标系下的初始预测深度图像；将所述初始预测深度图像输入深度迭代优化子网络，通过迭代，得到待测对象在相机1坐标系下优化后的预测深度图像；
6)利用所述训练数据集训练所述多视角三维重建网络，得到训练完毕的所述多视角三维重建网络。
在本发明的一个具体实施例中，所述根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像，包括：
利用相机1拍摄的编码图案序列
Figure BDA0003728391820000031
计算相机1成像平面下任一像素坐标(uc,vc)的多周期编码相位
Figure BDA0003728391820000032
与单周期编码相位
Figure BDA0003728391820000033
表达式如下：
Figure BDA0003728391820000034
式中，
Figure BDA0003728391820000035
为相机1拍摄的第i张双频相移结构光编码图案；
通过相位解包裹计算坐标(uc,vc)的绝对相位
Figure BDA0003728391820000036
Figure BDA0003728391820000037
式中，Tm,Ts分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符；
根据
Figure BDA0003728391820000038
相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，利用三角测量法计算得到待测对象在相机1坐标系下的结构光解码深度图像DPSP。
在本发明的一个具体实施例中，所述对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模，包括：
根据相机1拍摄的编码图案序列中每个像素的灰度值最大值和灰度值变化幅值，对每个像素的解码有效性进行判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V；
其中，对于相机1成像平面的任一像素坐标(uc,vc)，判定表达式如下：
Figure BDA0003728391820000041
式中，V(uc,vc)为V在像素坐标(uc,vc)处的取值；Imax为过曝灰度值阈值，Idiff为欠曝灰度值阈值，Imax﹥Idiff。
在本发明的一个具体实施例中，所述根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，表达式如下：
Dfusion＝VDPSP+(1-V)DMVS
式中，DMVS为待测对象在相机1坐标系下的预测深度图像，Dfusion为待测对象对应的融合深度图像。
本发明第二方面实施例提出一种结构光解码与深度学习融合的三维测量装置，包括：
编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；
深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。
本发明第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光解码与深度学习融合的三维测量方法。
本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光解码与深度学习融合的三维测量方法。
本发明的特点及有益效果在于：
本发明重点在于解决基于解码的结构光测量方法对复杂光学特性物体的测量结果中存在缺失以及深度学习多视角三维重建测量精度有限的问题。本发明通过解码利用多相机结构光三维测量系统获取的相机图像序列以计算目标相机(即相机1)的结构光深度图像以及结构光解码有效性掩模，通过深度学习多视角三维重建计算预测深度图像，利用结构光解码有效性掩模将结构光深度图像与深度学习预测深度图像进行融合，可以实现复杂光学特性物体的完整准确三维测量，可推动相关技术的发展。
附图说明
图1是本发明实施例中一种结构光解码与深度学习融合的三维测量方法的整体流程图；
图2是本发明一个具体实施例中一种多相机结构光三维测量系统的组成示意图；
图3是本发明一个具体实施例中基于点云深度学习的多视角三维重建网络的结构示意图。
具体实施方式
本公开实施例提出一种结构光解码与深度学习融合的三维测量方法及装置，下面结合附图和具体实施例进一步详细说明如下：
本公开第一方面实施例提出一种结构光解码与深度学习融合的三维测量方法，包括：
将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；
将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。
在本发明的一个具体实施例中，所述一种结构光解码与深度学习融合的三维测量方法，整体流程如图1所示，包括以下步骤：
1)构建多相机结构光测量系统并进行标定。
本实施例中，构建如图2所示多结构光测量系统，所述多结构光测量系统包括：1个结构光投影模块和K个相机，使得待测对象可完全处于结构光投影模块和所有相机的公共视野中，所述公共视野即为所述多相机结构光测量系统的测量视场。所述结构光投影模块用于投影编码图案序列,所述相机用于拍摄所述结构光投影模块投影的编码图案序列。
需要说明的是，所述结构光投影模块和K个相机的摆放顺序没有特殊要求。本发明一个具体实施例中，结构光投影模块和相机之间位置关系要求保证存在体积不小于20cm×20cm×10cm的公共视野。
本实施例中，结构光投影模块和相机均可采用常规型号；需要说明的是，K个相机的型号不要求全部相同；结构光投影模块要求分辨率不低于480×640像素，本发明一个具体实施例中所采用的结构光投影模块型号为DLP Pro4500，分辨率为912×1140像素；相机要求分辨率不低于1000×1000像素，本发明一个具体实施例中所采用的相机型号为GO-5000C-USB，分辨率为2560×2048像素；K要求不小于2，本发明一个具体实施例中K＝3。
从K个相机中任意选定一台相机作为相机1；本发明一个具体实施例中，如图2所示，将位于最左侧的相机指定为相机1。
获得结构光投影模块和K个相机的内参数矩阵，以及结构光投影模块分别与K个相机之间的坐标转换矩阵。
2)生成双频相移编码图案序列；
本实施例中，令双频相移步数表示为NPSP，NPSP要求不小于3。本发明一个具体实施例中NPSP＝6。
对于NPSP步双频相移，结构光投影模块投影的任一图像像素坐标(up,vp)在第i张多周期双频相移结构光编码图案
Figure BDA0003728391820000061
与第i张单周期双频相移结构光编码图案
Figure BDA0003728391820000062
中的灰度值可分别表示为：
Figure BDA0003728391820000071
式中，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅，对于单周期双频相移结构光编码图案和多周期双频相移结构光编码图案I′,I″取值相同。
Figure BDA0003728391820000072
分别为(up,vp)所对应的多周期编码相位与单周期编码相位。
3)利用多相机结构光测量系统采集训练数据集；具体步骤如下：
3-1)任一选取一个复杂光学特性物体作为训练待测对象，将所述训练待测对象固定于多相机结构光测量系统的测量视场中。
本实施例中，透明、半透明、反光、高反差物体(本实施例中高反差物体指物体表面同时存在白色区域和黑色区域)被统称为复杂光学特性物体。
3-2)利用结构光投影模块对步骤3-1)的训练待测对象按顺序投影步骤2)生成的双频相移结构光编码图案序列，首先投影多周期双频相移结构光编码图案序列
Figure BDA0003728391820000073
然后投影单周期双频相移结构光编码图案序列
Figure BDA0003728391820000074
使用相机1，…,K同时拍摄训练待测对象表面反射的编码图案，得到每台相机拍摄的训练待测对象表面反射的双频相移结构光编码图案序列。其中，在投影过程中训练待测对象相对于测量系统保持静止。
其中，记相机j拍摄的第i张多周期双频相移结构光编码图案的图像为
Figure BDA0003728391820000075
相机j拍摄的第i张单周期双频相移结构光编码图案的图像为
Figure BDA0003728391820000076
3-3)获取训练待测对象在相机1坐标系下对应的深度图像；
本实施例中，所述获取训练待测对象在相机1坐标系下对应的深度图像的具体方法为：
利用另一独立的三维测量装置获取训练待测对象的三维形状点云；通过标定获取该独立三维测量装置与相机1之间的坐标系转换关系，然后根据所述坐标系转换关系，将所述三维形状点云转换到相机1坐标系下，生成该训练待测对象在相机1坐标系下对应的一张深度图像。
本实施例利用三维测量装置获取点云，要求所述三维测量装置的测量误差小于0.5mm，本发明一个具体实施例中采用海克斯康INFINITE2.0，测量误差0.1mm，
3-4)将相机1，…,K拍摄的训练待测对象表面反射的双频相移结构光编码图案序列以及该训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本。
3-5)改变待测对象的位置或者选择一个不同的待测对象，重复步骤3-1)-3-4)以获得对应的训练样本，将所有训练样本构成训练数据集。本实施例中，所述训练数据集要求待测对象需要包含透明、半透明、反光和高反差四种不同类型的物体，且每个物体摆放不少于3个不同位置。本公开一个具体实施例中，训练数据集包含13个复杂光学特性物体，包括透明、半透明、反光、高反差四类物体，其中，透明物体3个，半透明物体3个，反光物体3个，高反差物体4个，每个物体10个位置，共组成130个训练样本。
4)利用步骤3)获取的训练数据集训练深度学习多视角三维重建网络，训练完毕的三维重建网络即可用于生成复杂光学特性物体的完整预测深度图像。
本公开一个具体实施例中，使用基于点云深度学习的多视角三维重建网络(参考文献：Point-Based Multi-View Stereo Network.Rui Chen,Songfang Han,Jing Xu,HaoSu；Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV),2019,pp.1538-1547)，包括一个粗粒度深度预测子网络和一个深度迭代优化子网络。该网络输入为由每台相机拍摄的待测对象表面反射的的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为：
Figure BDA0003728391820000081
本实施例中串联具体方式为：将第j台相机所拍摄的多周期双频相移结构光编码图案序列
Figure BDA0003728391820000082
和单周期双频相移结构光编码图案序列
Figure BDA0003728391820000083
按图案采集顺序沿图像色彩通道维度进行串联。
本公开一个具体实施例中所述粗粒度深度预测子网络的参数如表1所示：
表1本公开一个具体实施例中粗粒度深度预测网络的参数表
Figure BDA0003728391820000084
Figure BDA0003728391820000091
本公开一个具体实施例中，所述深度迭代优化子网络的参数如表2所示：
表2本公开一个具体实施例中深度迭代优化子网络的参数表
名称 参数
二维卷积层 神经元数目：8，核尺寸：3，步幅：1
二维卷积层 神经元数目：8，核尺寸：3，步幅：1
二维卷积层 神经元数目：16，核尺寸：5，步幅：2
二维卷积层 神经元数目：16，核尺寸：3，步幅：1
二维卷积层 神经元数目：16，核尺寸：3，步幅：1
二维卷积层 神经元数目：32，核尺寸：5，步幅：2
二维卷积层 神经元数目：32，核尺寸：3，步幅：1
二维卷积层 神经元数目：32，核尺寸：3，步幅：1
二维卷积层 神经元数目：64，核尺寸：5，步幅：2
二维卷积层 神经元数目：64，核尺寸：3，步幅：1
二维卷积层 神经元数目：64，核尺寸：3，步幅：1
点云边卷积层 神经元数目：32
点云边卷积层 神经元数目：32
点云边卷积层 神经元数目：64
该网络首先利用粗粒度深度预测子网络网络得到待测对象在相机1坐标系下的初始预测深度图像，将该初始预测深度图像输入深度迭代优化子网络，在第一次迭代优化中深度迭代优化子网络利用相机1的内参数矩阵将所述深度图像的初始预测结果反投影获得待测对象的初始预测点云并获得深度残差预测值，将深度残差预测值和深度图像的初始预测结果相加得到第一次迭代的预测深度图像，在之后的迭代优化过程中深度迭代优化子网络将上一次迭代的预测深度图像作为输入，最终输出待测对象在相机1坐标系下的优化后的预测深度图像。其中，深度迭代优化子网络的迭代优化次数可以根据计算机计算能力在1到正无穷之间进行选择，本公开一个具体实施例中为迭代优化1次。训练结束条件是损失函数收敛，本公开一个具体实施例中为训练120周期。
5)结构光解码与深度学习融合三维测量。
5-1)任意选取一个复杂光学特性物体作为待测对象，将该待测对象固定于多相机结构光测量系统的测量视场中。
5-2)利用结构光投影模块投影步骤2)生成的双频相移结构光编码图案序列，使用相机1，…,K同时拍摄物体表面反射的编码图案序列，在投影过程中物体相对于测量系统保持静止。
5-3)将步骤5-2)采集的相机1…,K拍摄的编码图案序列串联后输入步骤4)中训练完毕的多视角三维重建网络，该网络输出步骤5-1)的待测对象在相机1坐标系下的预测深度图像DMVS。
5-4)计算结构光解码深度图像DPSP。
利用相机1拍摄的编码图案序列
Figure BDA0003728391820000101
解码计算相机1成像平面下任一像素坐标(uc,vc)的多周期编码相位
Figure BDA0003728391820000102
与单周期编码相位
Figure BDA0003728391820000103
表达式如下：
Figure BDA0003728391820000104
通过相位解包裹计算坐标(uc,vc)的绝对相位
Figure BDA0003728391820000105
Figure BDA0003728391820000111
式中，Tm,Ts分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符。
根据
Figure BDA0003728391820000112
相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，可以利用三角测量法计算获得步骤5-1)的待测对象在相机1坐标系下的结构光解码深度图像DPSP。
5-5)计算面结构光解码有效性掩模。
使用相机1拍摄的双频相移编码图案序列中每个像素的灰度值最大值和灰度值变化幅值来对每个像素的解码有效性进行独立判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V。
其中，对于相机1成像平面的任一像素坐标(uc,vc)，判定表达式如下：
Figure BDA0003728391820000113
式中，V(uc,vc)为V在像素坐标(uc,vc)处的取值；Imax为过曝灰度值阈值，Idiff为欠曝灰度值阈值，Imax﹥Idiff。Imax取值范围为0-255，本公开一个具体实施例为250；Idiff取值范围为0-255，本公开一个具体实施例为20。对于相机1所拍摄多周期双频相移结构光编码图案序列
Figure BDA0003728391820000114
和单周期双频相移结构光编码图案序列
Figure BDA0003728391820000115
中的像素坐标(uc,vc)，如果满足以下条件中至少一个则该像素的面结构光解码有效性掩模V(uc,vc)的取值置为0，否则置为1：
(1)
Figure BDA0003728391820000116
的最大值大于Imax；
(2)
Figure BDA0003728391820000117
的最大值大于Imax；
(3)
Figure BDA0003728391820000118
中最大值与最小值的差小于Idiff；
(4)
Figure BDA0003728391820000119
中最大值与最小值的差小于Idiff。
利用每个像素对应的判定结果即可生成面结构光解码有效性掩模。
5-6)利用解码有效性掩模V对DMVS和DPSP进行结合，计算待测对象对应的融合深度图像Dfusion：
Dfusion＝VDPSP+(1-V)DMVS
Dfusion即为步骤5-1)选取的待测对象的三维测量结果。
为实现上述实施例，本发明第二方面实施例提出一种结构光解码与深度学习融合的三维测量装置，包括：
编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；
深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。
需要说明的是，前述对一种结构光解码与深度学习融合的三维测量方法的实施例解释说明也适用于本实施例的一种结构光解码与深度学习融合的三维测量装置，在此不再赘述。根据本发明实施例提出的一种结构光解码与深度学习融合的三维测量装置，通过将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机分别拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。由此可实现复杂光学特性物体的完整准确三维测量，可适用于逆向工程，工业质量检测等领域，具有很高的应用价值。
为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光解码与深度学习融合的三维测量方法。
为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光解码与深度学习融合的三维测量方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种结构光解码与深度学习融合的三维测量方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种结构光解码与深度学习融合的三维测量方法，其特征在于，包括：
将待测对象置于结构光测量模块和多台相机构成的公共测量视场中，利用所述多台相机同时拍摄所述结构光测量模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；
将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果；
其中，所述双频相移结构光编码图案序列，表达式如下：
Figure FDA0004090815800000011
式中，NPSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(up,vp)为结构光投影模块投影的任一图像像素坐标；
Figure FDA0004090815800000012
分别为(up,vp)对应的多周期编码相位与单周期编码相位；
Figure FDA0004090815800000013
为第i张多周期双频相移结构光编码图案，i＝1,2,…,NPSP；
Figure FDA0004090815800000014
为第i张单周期双频相移结构光编码图案，i＝1,2,…,NPSP。
2.根据权利要求1所述的方法，其特征在于，所述待测对象为透明、半透明、反光或高反差物体中的任一种。
3.根据权利要求1所述的方法，其特征在于，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：
训练所述多视角三维重建网络；
所述训练所述多视角三维重建网络包括：
1)将选取的训练待测对象置于结构光测量模块和多台相机构成的公共测量视场中，利用所述多台相机同时拍摄所述结构光测量模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；
2)获取训练待测对象的三维形状点云，将所述三维形状点云转换到相机1坐标系下，得到训练待测对象在相机1坐标系下对应的深度图像；
3)将每台相机拍摄的训练待测对象表面反射的编码图案序列以及训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本；
4)通过改变训练待测对象的位置或更换训练待测对象，重复步骤1)-3)，以获得对应的训练样本，将所有训练样本组成训练数据集；
5)构建多视角三维重建网络，所述网络包含依次连接的粗粒度深度预测子网络和深度迭代优化子网络；所述粗粒度深度预测子网络的输入为由每台相机拍摄的待测对象表面反射的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为
Figure FDA0004090815800000021
所述粗粒度深度预测子网络输出待测对象在相机1坐标系下的初始预测深度图像；将所述初始预测深度图像输入深度迭代优化子网络，通过迭代，得到待测对象在相机1坐标系下优化后的预测深度图像；
6)利用所述训练数据集训练所述多视角三维重建网络，得到训练完毕的所述多视角三维重建网络。
4.根据权利要求1所述的方法，其特征在于，所述根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像，包括：
利用相机1拍摄的编码图案序列
Figure FDA0004090815800000022
计算相机1成像平面下任一像素坐标(uc,vc)的多周期编码相位
Figure FDA0004090815800000023
与单周期编码相位
Figure FDA0004090815800000024
表达式如下：
Figure FDA0004090815800000025
式中，
Figure FDA0004090815800000026
为相机1拍摄的第i张双频相移结构光编码图案；
通过相位解包裹计算坐标(uc,vc)的绝对相位
Figure FDA0004090815800000027
Figure FDA0004090815800000031
式中，Tm,Ts分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符；
根据
Figure FDA0004090815800000032
相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，利用三角测量法计算得到待测对象在相机1坐标系下的结构光解码深度图像DPSP。
5.根据权利要求4所述的方法，其特征在于，所述对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模，包括：
根据相机1拍摄的编码图案序列中每个像素的灰度值最大值和灰度值变化幅值，对每个像素的解码有效性进行判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V；
其中，对于相机1成像平面的任一像素坐标(uc,vc)，判定表达式如下：
Figure FDA0004090815800000033
式中，V(uc,vc)为V在像素坐标(uc,vc)处的取值；Imax为过曝灰度值阈值，Idiff为欠曝灰度值阈值，Imax﹥Idiff。
6.根据权利要求5所述的方法，其特征在于，所述根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，表达式如下：
Dfusion＝VDPSP+(1-V)DMVS
式中，DMVS为待测对象在相机1坐标系下的预测深度图像，Dfusion为待测对象对应的融合深度图像。
7.一种结构光解码与深度学习融合的三维测量装置，其特征在于，包括：
编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的公共测量视场中，利用所述多台相机同时拍摄所述结构光测量模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；
深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；
结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；
有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；
三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果；
其中，所述双频相移结构光编码图案序列，表达式如下：
Figure FDA0004090815800000041
式中，NPSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(up,vp)为结构光投影模块投影的任一图像像素坐标；
Figure FDA0004090815800000042
分别为(up,vp)对应的多周期编码相位与单周期编码相位；
Figure FDA0004090815800000043
为第i张多周期双频相移结构光编码图案，i＝1,2,…,NPSP；
Figure FDA0004090815800000044
为第i张单周期双频相移结构光编码图案，i＝1,2,…,NPSP。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的方法。
CN202210779195.9A 2022-07-04 2022-07-04 一种结构光解码与深度学习融合的三维测量方法及装置 Active CN115164776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210779195.9A CN115164776B (zh) 2022-07-04 2022-07-04 一种结构光解码与深度学习融合的三维测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210779195.9A CN115164776B (zh) 2022-07-04 2022-07-04 一种结构光解码与深度学习融合的三维测量方法及装置

Publications (2)

Publication Number Publication Date
CN115164776A CN115164776A (zh) 2022-10-11
CN115164776B true CN115164776B (zh) 2023-04-21

Family

ID=83491512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210779195.9A Active CN115164776B (zh) 2022-07-04 2022-07-04 一种结构光解码与深度学习融合的三维测量方法及装置

Country Status (1)

Country Link
CN (1) CN115164776B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953410B (zh) * 2023-03-15 2023-05-12 安格利(成都)仪器设备有限公司 一种基于目标检测监督学习的腐蚀坑自动检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592824A (zh) * 2018-07-16 2018-09-28 清华大学 一种基于景深反馈的变频条纹投影结构光测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2569798C (en) * 2005-12-01 2014-07-29 The University Of Ottawa Full-field three-dimensional measurement method
BR112012031828B1 (pt) * 2010-06-16 2020-05-12 Ultra Electronics Forensic Technology Inc. Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório
US11563929B2 (en) * 2019-06-24 2023-01-24 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
US11392799B2 (en) * 2019-09-09 2022-07-19 Apple Inc. Method for improving temporal consistency of deep neural networks
CN111750805B (zh) * 2020-07-06 2021-12-10 山东大学 一种基于双目相机成像和结构光技术的三维测量装置及测量方法
CN112304249B (zh) * 2020-09-22 2022-03-18 江苏大学 一种透明材料三维表面及厚度分布同时检测系统及方法
CN112697071B (zh) * 2020-11-17 2022-05-13 广东工业大学 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法
CN113358063B (zh) * 2021-06-04 2022-03-18 华中科技大学 一种基于相位加权融合的面结构光三维测量方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592824A (zh) * 2018-07-16 2018-09-28 清华大学 一种基于景深反馈的变频条纹投影结构光测量方法

Also Published As

Publication number Publication date
CN115164776A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
Song et al. A high dynamic range structured light means for the 3D measurement of specular surface
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN107071248B (zh) 一种用于提取强反射表面几何特征的高动态范围成像方法
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
Zhang et al. A robust surface coding method for optically challenging objects using structured light
KR20140027468A (ko) 깊이 측정치 품질 향상
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
Sun et al. A 3D shape measurement method for high-reflective surface based on accurate adaptive fringe projection
Stavroulakis et al. Rapid tracking of extrinsic projector parameters in fringe projection using machine learning
CN115164776B (zh) 一种结构光解码与深度学习融合的三维测量方法及装置
CN111462246B (zh) 一种结构光测量系统的设备标定方法
Alzuhiri et al. An electronically stabilized multi-color multi-ring structured light sensor for gas pipelines internal surface inspection
Xu et al. A unified spatial-angular structured light for single-view acquisition of shape and reflectance
Gu et al. 3dunderworld-sls: an open-source structured-light scanning system for rapid geometry acquisition
CN116106318A (zh) 一种物体表面缺陷检测方法和装置、三维扫描仪
Nagamatsu et al. Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry
Li et al. Lasers structured light with phase-shifting for dense depth perception
Deglint et al. Auto‐calibration of a projector–camera stereo system for projection mapping
Gayton Determining uncertainty in the functional quantities of fringe projection
Sun et al. High-accuracy vanishing-constraints-based calibration of fringe projection vision sensor
CN115775302B (zh) 一种基于Transformer的高反光物体三维重建方法
Peng et al. Using triangle-based cubic interpolation in generation of object-adaptive fringe pattern
CN117804381B (zh) 一种基于相机阵列聚焦结构光对物体三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant