CN110500957B - 一种主动三维成像方法、装置、设备以及存储介质 - Google Patents

一种主动三维成像方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN110500957B
CN110500957B CN201910854167.7A CN201910854167A CN110500957B CN 110500957 B CN110500957 B CN 110500957B CN 201910854167 A CN201910854167 A CN 201910854167A CN 110500957 B CN110500957 B CN 110500957B
Authority
CN
China
Prior art keywords
phase
model
training
image
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910854167.7A
Other languages
English (en)
Other versions
CN110500957A (zh
Inventor
汪浩源
程诚
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN201910854167.7A priority Critical patent/CN110500957B/zh
Publication of CN110500957A publication Critical patent/CN110500957A/zh
Application granted granted Critical
Publication of CN110500957B publication Critical patent/CN110500957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B5/00—Cleaning by methods involving the use of air flow or gas flow
    • B08B5/02—Cleaning by the force of jets, e.g. blowing-out cavities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Abstract

本发明公开了一种主动三维成像方法、装置、设备以及存储介质，该方法包括：获取投影图像；根据投影图像利用预先训练好的第一模型获取相位截断图；根据相位截断图利用预先训练好的第二模型获取展开相位图；根据展开相位图进行相位匹配得到视差图；根据视差图和默认第三模型得到投影图像的三维点云数据以实现三维成像。该方法采用神经网络模型进行相移和相位展开，减少了累计误差，对噪声有一定的抑制作用，成像精度高。

Description

一种主动三维成像方法、装置、设备以及存储介质
技术领域
本发明涉及三维成像技术领域，尤其涉及一种主动三维成像方法、装置、设备以及存储介质。
背景技术
光学三维测量是指采用光学的手段获得三维物体空间信息(包括三维形貌、灰度、颜色信息)的方法和技术。获取三维面形信息的基本方法包括被动三维传感和主动三维传感两个大类。
被动三维成像采用非结构照明的方式，从一两个或多个摄像系统获取二维图像中确定距离数据，从而形成三维面形资料。被动三维成像结果的准确性依赖于物体的形态、纹理、光照条件等先验知识，通过不同视觉图像的相关匹配运算来重建物体的三维面形。主要用于三维目标的识别、理解、位姿分析。
主动三维成像采用结构照明方式，投影结构光场到被测物体表面，被测物体对结构光场进行空间或时间调制，形成携带了被测物体三维面形的变形结构光场。通过对变形结构光场进行解调就能得到三维面形数据。主动的光学三维测量技术以其成本低、非接触、精度高、全场分析等优点，是大多数以三维面形成像为目的的三维传感系统采用的技术。传统的主动三维成像方法基于传统的相位计算算法，经一系列运算实现三维成像。
发明内容
有鉴于此，本发明提供了一种主动三维成像方法、装置、设备以及存储介质，能够减少累计误差，对噪声有一定的抑制作用，成像精度更高。
为解决上述技术问题，本发明采用以下技术方案：
第一方面，本发明提供了一种主动三维成像方法，该主动三维成像方法包括：
获取投影图像；
根据所述投影图像利用预先训练好的第一模型获取相位截断图；
根据所述相位截断图利用预先训练好的第二模型获取展开相位图；
根据所述展开相位图进行相位匹配得到视差图；
根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
第二方面，本发明提供了一种主动三维成像装置，包括：
图像获取模块，用于获取投影图像，所述投影图像包括各种频段、不同初始相位的左投影图像和右投影图像；
相位截断图获取模块，用于根据所述投影图像利用预先训练好的第一模型获取相位截断图；
展开相位图获取模块，用于根据所述相位截断图利用预先训练好的第二模型获取展开相位图；
视差图获取模块，用于根据所述展开相位图进行相位匹配得到视差图；
成像模块，用于根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
第三方面，本发明提供了一种主动三维成像设备，该三维成像设备包括存储器和处理器，所述存储器上存储有可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现前述的主动三维成像方法。
第四方面，本发明提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现前述的主动三维成像方法。
本发明提供的主动三维成像方法，采用级联的第一模型和第二模型根据投影图像完成相移和相位展开获取到相应的截断相位图和相位展开图，第一模型和第二模型采用基于深度学习的神经网络模型能够避免传统计算方法的累计误差，且对噪声有一定的抑制作用，得到的相位误差较小、三维成像精度更高，并且通过第一模型和第二模型辅助完成三维成像其测试和使用较传统计算方法更方便。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本申请的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的一种主动三维成像方法的流程图；
图2是本发明实施例一提供的一种主动三维成像方法的子流程图；
图3是本发明实施例一提供的一种第一子模型的网络架构示意图；
图4是本发明实施例一提供的一种第二子模型的网络架构示意图；
图5是本发明实施例一提供的一种主动三维成像方法的子流程图；
图6是本发明实施例一提供的一种第二模型的网络结构示意图；
图7是本发明实施例二提供的一种主动三维成像方法的流程示意图；
图8为本发明实施例二提供的一种第一模型的训练流程示意图；
图9为本发明实施例二提供的一种第二模型的训练流程示意图；
图10是本发明实施例三提供的一种主动三维成像装置的结构示意图；
图11是本发明实施例四提供的一种主动三维成像设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施中的技术方案进行清楚、完整的描述。可以理解的是，此处所描述的具体实施例仅仅是本申请一部分实施例，而不是全部的实施例，仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或组件等，但这些方向、动作、步骤或组件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或组件与另一个方向、动作、步骤或组件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一模型为第二模型，且类似地，可将第二模型称为第一模型。第一模型和第二模型两者都是基于深度学习的神经网络模型，但其不是同一神经网络模型。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。需要说明的是，当部被称为“固定于”另一个部，它可以直接在另一个部上也可以存在居中的部。当一个部被认为是“连接”到另一个部，它可以是直接连接到另一个部或者可能同时存在居中部。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述，只是为了说明的目的，并不表示是唯一的实施方式。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
参见图1，本实施例提供了一种主动三维成像方法，该方法包括以下步骤：
S110、获取投影图像。
主动三维成像采用结构照明方式，投影结构光场到被测物体的表面，被测物体对结构光场进行空间或时间调制，形成携带了被测物体三维面形的变形结构光场，例如采用相位编码的条纹结构光投影到被测量的物体上，再采用摄像机捕捉条纹结构光投影下的被测量物体的图像，通过投射的结构光和采集到的图像信息可以通过运算处理实现对物体的测量。
本实施例采用的成像方式也基于主动三维成像原理，需要获取已知结构的光模式投射到被测物体上的相关投影图像，具体的结构光投影模式可以是条纹投影和散斑投影以及其他形式。采集的投影图像包括不同频率、不同初始相位的左投影图像和不同频率、不同初始相位的右投影图像。
S120、根据所述投影图像利用预先训练好的第一模型获取相位截断图。
通过对现有的主动三维成像方法分析，其对投影图像的后续处理过程中相位计算算法子步骤较多，最终的结果容易累计各个步骤的误差，并且处理过程中若存在噪声其结果受影响程度较大。因此本实施例采用预先训练好的基于深度学习的卷积神经网络模型进行求解，将步骤S110获取的投影图像输入相应的神经网络模型即能获取相应的输出结果用于生成三维图像能够降低噪声的影响。
具体的，传统的主动三维成像方法中计算耗时较长且容易受噪声影响的环节主要有两个部分，其中一个环节就是计算相移获取截断相位图的过程，本实施例采用一个预先训练好的第一模型用于根据投影图像获取对应的相位截断图，即根据输入的左投影图像生成左相位截断图，根据右投影图像生成右相位截断图。
示例性的，采用条纹投影的主动三维成像法中普遍使用的是标准N步相移法得到采集的投影图像中的附加相位信息也即确定相应的截断相位图，下面以N＝4为例，相机采集到4幅受正弦三角函数调制的投影图像，函数初始相位相差
Figure GDA0003119603650000061
其求解过程为：
Figure GDA0003119603650000062
Figure GDA0003119603650000063
上式中x和y指的是像素坐标，I(x，y)表示投影图像的灰度，A(x，y)表示背景图像像素灰度，B(x，y)表示条纹图像像素灰度，φ(x，y)表示附加的相位信息，I1(x，y)、I2(x，y)、I3(x，y)、I4(x，y)分别表示四个不同相位的投影图像的灰度。
对上述结果转换可得
Figure GDA0003119603650000071
分析可知背景灰度A(x，y)为干扰项，可以将其从总强度中删除，相移算法的目标是计算这个
Figure GDA0003119603650000072
我们主要是从反三角函数中恢复包裹的相位图，t是一个常量，取值取决于不同的相移算法，在N步相移算法中t＝N/2。P(x,y)Q(x,y)就是用于求取附加相位信息的关键数据。
基于上述可知背景灰度A(x，y)为干扰项，因此需要在第一模型中先将其求出排出，具体的，如图2所示，根据投影图像利用预先训练好的第一模型获取相位截断图的过程包括：
S121、根据所述投影图像通过所述第一模型的第一子模型得到背景图像。
本实施例采用的第一模型可以分为两侧，一层是用于获取背景灰度A(x，y)的第一子模型，当将投影图像输入第一模型后，第一子模型会先根据投影图像生成背景图像，背景图像可以确定背景灰度。
S122、根据所述背景图像和所述投影图像通过所述第一模型的第二子模型得到一对中间数据。
当第一子模型根据投影图像获取背景图像后，将投影图像和背景图像输入第一模型的第二层—第二子模型，第二子模型根据投影图像和背景图像直接生成两幅图像，根据这两幅图像可以分别确定两个数据P(x,y)和Q(x,y)，称这两个数据为一对中间数据，称这两幅图像为一对中间图像。
S123、根据所述一对中间数据利用反三角函数得到相位信息，根据所述相位信息确定相位截断图。
本实施例根据反正切函数
Figure GDA0003119603650000081
可以直接求得φ(x，y)，而确定了附加相位信息即确定了截断相位图。
通过基于深度学习的神经网络模型来进行图像分析，提高了单个相位解调的准确性，其求得到中间数据更准确，避免了传统算法的累积误差。
示例性的，如图3和图4所示，为本实施例提供的一种第一模型的网络架构示意图，其中图3为第一子模型的网络架构示意图，图4为第二子模型的网络架构示意图：
层或块的标记尺寸表示其输出数据的大小。第一子模型的输入是具有W×H像素的投影图像。然后如图3所示经过若干卷积层和激活层，最后由卷积层7估计背景图像像素灰度。其中卷积层1～7的卷积核均为3x3,卷积层1～6的卷积核数量为64，卷积层7的卷积核数量为1，激活层采用relu。第二子模型的输入是第一子模型的输出加W×H像素的投影图像，如图4所示，网络分双路并行，卷积层卷积核均为3x3，卷积核数量为64；激活层采用relu；下采样层也成为池化层，下采样后图像尺寸为(W/2)×(H/2)x64；而上采样后图像尺寸恢复WxHx64；最后两路在合并层进行通道合并，eltwise层的输出尺度为(WxHx128)，最后通过一个线性卷积层输出(WxHx2)的双信道图像，每个信道各位一张图，分别对应P(x,y)和Q(x,y)。利用双尺度数据流路径，网络可以感知更多三维表面细节。
S130、根据所述相位截断图利用预先训练好的第二模型获取展开相位图。
传统的主动三维成像方法中计算耗时较长且容易受噪声影响的另一个环节是相位展开过程，由步骤S120中关于附加相位信息的计算公式可以得知通过N步相移动法得到的相位，被称之为截断相位，其取值在(π，π]内，且以2π为周期。周期变化的截断相位值与图像中的点不能一一对应，因此需要将截断相位展开成连续相位，这就是相位展开的意义，为了减少累计误差本实施例提供的主动三维成像方法将截断相位图输入预先训练好的第二模型来获取相位展开结果。
示例性的，相位展开法可以以时间相位展开法为例，时间相位展开是以多幅截断相位图为处理对象，将截断相位图中任意一点沿时间轴方向进行展开。该方法从原理上避免了误差传播，具有较高的可靠性，适用于复杂面型的测量，基于时间相位展开法原理利用第二模型获取展开相位图的过程如图5所示，包括：
步骤S131、获取根据不同频率的投影图像得到的不同频率的相位截断图。
步骤S132、根据所述不同频率的相位截断图利用预先训练好的第二模型得到展开相位频率。
步骤S133、根据所述展开相位频率利用公式φ(x，y)＝w2(x，y)*s得到展开相位图，其中，w2(x，y)表示点(x，y)对应的展开相位频率，φ(x，y)表示点(x，y)对应的点的展开相位值，s表示不同频率中的频率最高值。
为了方便理解，此处以基于三频相位展开法原理训练得到的第二模型为例进行解释：
如图6所示为本实施例提供的第二模型的网络架构示意图，网络的输入是三个不同频率的截断相位图，其中频率
Figure GDA0003119603650000091
输出为展开相位的斜率w2。输入最后简单带入公式φ(x，y)＝w2(x，y)*fn2直接得到展开相位图。网络架构如图6所示截断相位图同时输入到卷积层1后分三个子网，在不同尺度上进行学习最后在合并层进行合并，再经过多个卷积层激活层从卷积层3输出斜率w2。网络中图像输入尺寸为(WxH)卷积层卷积核均为3x3,，(除卷积层2，卷积层3以为)卷积核数量均为64；激活层采用relu；下采样层采用1～2个pooling层实现，下采样1层用1个池化层，采样后图像尺寸为(W/2)x(H/2)；下采样2层采样2个池化层，采样后后图像尺寸为(W/4)x(H/4)。上采样层用Unpooling层实现，上采样1采用1个Unpooling层，采样后图像尺寸恢复(WxH)；上采样2采用2个Unpooling层，采样后图像尺寸恢复(WxH)。合并层将3个子网的3个通道加起来。卷积层2卷积核数量为192，卷积层3卷积核数量为1。下采样的目的是压缩和提取张量的主要特征，以降低计算复杂度，防止过度拟合。上采样的目的是统一合并层之前的尺寸。
S140、根据所述展开相位图进行相位匹配得到视差图。
根据步骤S120和S130可以根据投影图像获取对应的展开相位图，在相位图中的每一行，相位值从左往右单调增，相位值与投影图像中的点一一对应。
进一步的，基于主动三维成像原理可知投影图像是包括左投影图像和右投影图像的，而由于用于获取投影图像的左右相机的成像平面非平行共面，左右相位展开图难以在同一行内进行同名点匹配。因此可以采用Bouguet极线校正法对左右相位展开图进行校正。校正后的相位展开图可以沿同一行进行匹配点的搜索,进行相位匹配，相位匹配就是找到不同相位展开图中相同行中相位值相等的点，进行相位匹配后可以获取得到视差图。
S150、根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
当根据投影获取到对应的视差图之后便可以计算出对应的视差d，根据视差d结合传统的三维成像方法可以得到相应的三维点云数据，根据三维点云数据可以实现三维成像。
具体的，根据视差d得到三维点云数据通过第三模型实现，第三模型用于基于下式进行三维点云数据计算：
d＝xl-xr
Figure GDA0003119603650000111
Figure GDA0003119603650000112
Figure GDA0003119603650000113
其中，X、Y、Z分别对应三维点云的坐标，xl、xr分别为同名点的列坐标，yl为同名点的行坐标(对应xl)，d为视差，f代表相机的焦距，T表示两个相机间的基线长度，f、T是相机标定完成后的已知参数。
本实施例中提供了一种主动三维成像方法，采用级联的第一模型和第二模型根据投影图像完成相移和相位展开，第一模型和第二模型采用基于深度学习的神经网络模型能够避免传统计算方法的累计误差，且对噪声有一定的抑制作用，得到的相位误差较小、三维成像精度更高，并且通过第一模型和第二模型辅助完成三维成像其测试和使用较传统计算方法更方便。
实施例二
图7是本发明实施例二提供的一种主动三维成像方法的流程示意图，本实施例在实施例一的基础上实现，如图7所示，在步骤S110之前还包括：
步骤S210、基于深度卷积神经网络训练得到预先训练好的第一模型。
在一些实施例中，如图8所示，步骤S210、基于深度卷积神经网络训练得到预先训练好的第一模型(即第一模型的训练过程)包括步骤S211-步骤S216，具体如下：
S211、获取训练图像和对应的训练数据。
训练图像可以根据需要获取的第一模型基于的三维成像方法不同有所不同，但是也需要包括不同频率、不同相位的左训练图像和不同频率、不同相位的右训练图像，这里所指的三维成像方法不同主要指的是投影的结构光不同，当然也可以用时使用基于多种结构光的训练图像进行模型的训练。对应的训练数据是指利用算法根据训练图像获取的相位计算结果，用于评价第一模型的质量以及调整第一模型。
S212、根据所述训练图像经过按默认顺序设置卷积层和激活层的基础第一子模型，得到背景图像。
构建一个基础第一子模型作为第一子模型训练基础，基础第一子模型的输入为训练图像输出为背景图像，根据背景图像可以得到背景图像像素灰度。
S213、根据所述训练数据和对应的所述背景图像利用第一损失函数反向传播训练所述基础第一子模型。
以图3提供的第一子模型的网络架构为例，本实施例提供的基础第一子模型的网络架构与其相同，在训练过程中，基础第一子模型中卷积层7之后接第一损失函数使用反向传播来训练整个网络，具体的，第一损失函数为：
Figure GDA0003119603650000121
其中，Loss1表示第一损失值，A′(x,y)表示基础第一子模型获取的背景图像像素灰度，A(x,y)表示所述训练数据中按默认算法获取的背景图像像素灰度，WxH表示训练图像的图像尺寸。
S214、根据所述训练图像和对应的背景图像经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二子模型，得到一对训练中间数据。
构建一个基础第二子模型作为第二子模型的训练基础，基础第二子模型的输入为训练图像和对应的背景图像，输出为一对训练中间图像，根据该一对训练中间图像可以确定一对训练中间数据，此处所指的对应的背景图像可以是根据训练图像由第一子模型获取的也可以是通过算法计算得到的。
S215、根据所述训练数据和对应的所述一对训练中间数据利用第二损失函数反向传播训练所述基础第二子模型。
以图4提供的第二子模型的网络架构为例，本实施例提供的基础第二子模型的网络架构与其相同，在训练过程中，基础第二子模型中线性卷积层之后接第二损失函数使用反向传播来训练整个网络，具体的，第二损失函数为：
Figure GDA0003119603650000131
其中Loss2表示第二损失值，M(x,y)与N(x,y)为所述基础第二子模型获取的一对训练中间数据，P(x,y)和Q(x,y)表示所述训练数据中按默认算法获取的一对中间数据，WxH表示训练图像的图像尺寸。
S216、训练达到预设次数后停止训练得到训练好的第一子模型和训练好的第二子模型，进而得到训练好的第一模型。
对基础第一子模型和基础第二子模型利用训练图像和对应的训练数据反复进行训练，当达到预设次数后可以视为此时的两个子模型已经能达到较好的预期效果，具体的，预设次数可以根据需求自行设置，当达到预设次数后视为训练结束，此时可以得到训练好的第一模型，第一模型中第一子模型的输出作为第二子模型的输入之一。
步骤S220、基于深度卷积神经网络训练得到预先训练好的第二模型。
在一些实施例中，如图9所示，步骤S220、基于深度卷积神经网络训练得到预先训练好的第二模型(即第二模型的训练过程)包括步骤S221-步骤S224，具体如下：
S221、获取多组训练相位截断图和对应的训练资料。
由于第二模型每次的输入通常是不同频率的截断相位图，因此作为第二模型训练数据的训练相位截断图应当是成组存在的，其对应的训练资料为根据训练相位截断图采用传统相位展开算法计算得到的真实展开相位斜率。
S222、根据所述多组训练相位截断图经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二模型得到训练相位斜率。
构建一个基础第二模型作为第二模型训练基础，基础第二模型的一次输入为一组训练相位截断图，输出为训练相位斜率。
S223、根据所述训练相位斜率和对应的所述训练资料利用第三损失函数
Figure GDA0003119603650000141
反向传播训练所述基础第二模型，其中，Loss3表示第三损失值，w2(x,y)表示所述训练相位斜率，w(x，y)表示对应的训练资料也即采用传统相位展开算法获取的真实展开相位斜率，WxH表示训练相位截断图的图像尺寸。
以图6提供的第二模型的网络架构为例，本实施例提供的基础第二模型的网络架构与其相同，在训练过程中，基础第二模型中卷积层3之后接第三损失函数使用反向传播来训练整个网络。
S224、训练达到预设次数后停止训练，将此时的基础第二模型作为训练好的第二模型。
对基础第二模型利用多组训练截断相位图和对应的训练资料反复进行训练，当达到预设次数后可以视为此时的基础第二模型已经能达到较好的预期效果，具体的，预设次数可以根据需求自行设置，当达到预设次数后视为训练结束，此时可以得到训练好的第二模型。
本实施例进一步提供了实施例一中所使用的预先训练好的第一模型和第二模型的训练流程，通过能够获取截断相位图的第一模型和能够得到展开相位斜率的第二模型辅助进行主动三维成像，避免了传统计算方法的累计误差，且对噪声有一定的抑制作用，得到的相位误差较小、三维成像精度更高。
实施例三
如图10所示，本实施例提供了一种主动三维成像装置500，包括：
图像获取模块510，用于获取投影图像。
主动三维成像采用结构照明方式，投影结构光场到被测物体的表面，被测物体对结构光场进行空间或时间调制，形成携带了被测物体三维面形的变形结构光场，例如采用相位编码的条纹结构光投影到被测量的物体上，再采用摄像机捕捉条纹结构光投影下的被测量物体的图像，通过投射的结构光和采集到的图像信息可以通过运算处理实现对物体的测量。
本实施例采用的成像方式也基于主动三维成像原理，需要获取已知结构的光模式投射到被测物体上的相关投影图像，具体的结构光投影模式可以是条纹投影和散斑投影以及其他形式。采集的投影图像包括不同频率、不同初始相位的左投影图像和不同频率、不同初始相位的右投影图像。
相位截断图获取模块520，用于根据所述投影图像利用预先训练好的第一模型获取相位截断图。
通过对现有的主动三维成像方法分析，其对投影图像的后续处理过程中相位计算算法子较多，最终的结果容易累计各个的误差，并且处理过程中若存在噪声其结果受影响程度较大。因此本实施例采用预先训练好的基于深度学习的卷积神经网络模型进行求解，将图像获取模块510获取的投影图像输入相应的神经网络模型即能获取相应的输出结果用于生成三维图像能够降低噪声的影响。
具体的，传统的主动三维成像方法中计算耗时较长且容易受噪声影响的环节主要有两个部分，其中一个环节就是计算相移获取截断相位图的过程，本实施例采用一个预先训练好的第一模型用于根据投影图像获取对应的相位截断图，即根据输入的左投影图像生成左相位截断图，根据右投影图像生成右相位截断图。
示例性的，采用条纹投影的主动三维成像法中普遍使用的是标准N步相移法得到采集的投影图像中的附加相位信息也即确定相应的截断相位图，下面以N＝4为例，相机采集到4幅受正弦三角函数调制的投影图像，函数初始相位相差
Figure GDA0003119603650000161
其求解过程为：
Figure GDA0003119603650000162
Figure GDA0003119603650000163
上式中x和y指的是像素坐标，I(x，y)表示投影图像的灰度，A(x，y)表示背景图像像素灰度，B(x，y)表示条纹图像像素灰度，φ(x，y)表示附加的相位信息，I1(x，y)、I2(x，y)、I3(x，y)、I4(x，y)分别表示四个不同相位的投影图像的灰度。
对上述结果转换可得
Figure GDA0003119603650000164
分析可知背景灰度A(x，y)为干扰项，可以将其从总强度中删除，相移算法的目标是计算这个
Figure GDA0003119603650000171
我们主要是从反三角函数中恢复包裹的相位图，t是一个常量，取值取决于不同的相移算法，在N步相移算法中t＝N/2。P(x,y)Q(x,y)就是用于求取附加相位信息的关键数据。
基于上述可知背景灰度A(x，y)为干扰项，因此需要在第一模型中先将其求出排出，具体的，相位截断图获取模块520包括：
背景图像获取单元，用于根据所述投影图像通过所述第一模型的第一子模型得到背景图像。
本实施例采用的第一模型可以分为两侧，一层是用于获取背景灰度A(x，y)的第一子模型，当将投影图像输入第一模型后，第一子模型会先根据投影图像生成背景图像，背景图像可以确定背景灰度。
中间数据采集单元，用于根据所述背景图像和所述投影图像通过所述第一模型的第二子模型得到一对中间数据。
当第一子模型根据投影图像获取背景图像后，将投影图像和背景图像输入第一模型的第二层—第二子模型，第二子模型根据投影图像和背景图像直接生成两幅图像，根据这两幅图像可以分别确定两个数据P(x,y)和Q(x,y)，称这两个数据为一对中间数据，称这两幅图像为一对中间图像。
相位截断图确定单元，用于根据所述一对中间数据利用反三角函数得到相位信息，根据所述相位信息确定相位截断图。
根据传统算法可知根据反正切函数
Figure GDA0003119603650000172
可以直接求得φ(x，y)，而确定了附加相位信息即确定了截断相位图。
通过基于深度学习的神经网络模型来进行图像分析，提高了单个相位解调的准确性，其求得到中间数据更准确，避免了传统算法的累积误差。
展开相位图获取模块530，用于根据所述相位截断图利用预先训练好的第二模型获取展开相位图。
传统的主动三维成像方法中计算耗时较长且容易受噪声影响的另一个环节是相位展开过程，由相位截断图获取模块520中关于附加相位信息的计算公式可以得知通过N步相移动法得到的相位，被称之为截断相位，其取值在(π，π]内，且以2π为周期。周期变化的截断相位值与图像中的点不能一一对应，因此需要将截断相位展开成连续相位，这就是相位展开的意义，为了减少累计误差本实施例提供的主动三维成像方法将截断相位图输入预先训练好的第二模型来获取相位展开结果。
示例性的，相位展开法可以以时间相位展开法为例，时间相位展开是以多幅截断相位图为处理对象，将截断相位图中任意一点沿时间轴方向进行展开。该方法从原理上避免了误差传播，具有较高的可靠性，适用于复杂面型的测量，示例性的，基于时间相位展开法原理的展开相位图获取模块530包括：
相位截断图获取单元，用于获取根据不同频率的投影图像得到的不同频率的相位截断图。
展开相位频率获取单元，用于根据所述不同频率的相位截断图利用预先训练好的第二模型得到展开相位频率。
展开相位图确定单元，根据所述展开相位频率利用公式φ(x，y)＝w2(x，y)*s得到展开相位图，其中，w2(x，y)表示点(x，y)对应的展开相位频率，φ(x，y)表示点(x，y)对应的点的展开相位值，s表示不同频率中的频率最高值。
视差图获取模块540，用于根据所述展开相位图进行相位匹配得到视差图。
根据相位截断图获取模块520和展开相位图获取模块530中的第一模型和第二模型可以根据投影图像获取对应的展开相位图，在相位图中的每一行，相位值从左往右单调增，相位值与投影图像中的点一一对应。
进一步的，基于主动三维成像原理可知投影图像是包括左投影图像和右投影图像的，而由于用于获取投影图像的左右相机的成像平面非平行共面，左右相位展开图难以在同一行内进行同名点匹配。因此可以采用Bouguet极线校正法对左右相位展开图进行校正。校正后的相位展开图可以沿同一行进行匹配点的搜索,进行相位匹配，相位匹配就是找到不同相位展开图中相同行中相位值相等的点，进行相位匹配后可以获取得到视差图。
成像模块550，用于根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
当根据投影获取到对应的视差图之后便可以计算出对应的视差d，根据视差d结合传统的三维成像方法可以得到相应的三维点云数据，根据三维点云数据可以实现三维成像。
具体的，根据视差d得到三维点云数据通过第三模型实现，第三模型用于基于下式进行三维点云数据计算：
d＝xl-xr
Figure GDA0003119603650000191
Figure GDA0003119603650000192
Figure GDA0003119603650000193
其中，X、Y、Z分别对应三维点云的坐标，xl、xr分别为同名点的列坐标，yl为同名点的行坐标(对应xl)，d为视差，f代表相机的焦距，T表示两个相机间的基线长度，f、T是相机标定完成后的已知参数。
进一步的，本实施例提供的主动三维成像装置还包括：
第一模型训练单元，用于基于深度卷积神经网络训练得到预先训练好的第一模型。
具体的，第一模型训练单元包括：
训练图像获取单元、用于获取训练图像和对应的训练数据。
第一子模型设置单元，根据所述训练图像经过按默认顺序设置卷积层和激活层的基础第一子模型，得到背景图像。
第一子模型训练单元，用于根据所述训练数据和对应的所述背景图像利用第一损失函数反向传播训练所述基础第一子模型。
第一损失函数为：
Figure GDA0003119603650000201
其中，Loss1表示第一损失值，A′(x,y)表示基础第一子模型获取的背景图像像素灰度，A(x，y)表示所述训练数据中按默认算法获取的背景图像像素灰度，WxH表示训练图像的图像尺寸。
第二子模型设置单元，用于根据所述训练图像和对应的背景图像经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二子模型，得到一对训练中间数据。
第二子模型训练单元，用于根据所述训练数据和对应的所述一对训练中间数据利用第二损失函数反向传播训练所述基础第二子模型。
第二损失函数为：
Figure GDA0003119603650000211
其中Loss2表示第二损失值，M(x,y)与N(x,y)为所述基础第二子模型获取的一对训练中间数据，P(x,y)和Q(x,y)表示所述训练数据中按默认算法获取的一对中间数据，WxH表示训练图像的图像尺寸。
第一模型获取单元，用于当训练达到预设次数后停止训练得到训练好的第一子模型和训练好的第二子模型，进而得到训练好的第一模型。
第二模型训练单元，用于基于深度卷积神经网络训练得到预先训练好的第二模型。
具体的，第二模型训练单元包括：
训练相位截断图获取单元，用于获取多组训练相位截断图和对应的训练资料。
第二模型设置单元，根据所述多组训练相位截断图经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二模型得到训练相位斜率。
第二模型训练单元，用于根据所述训练相位斜率和对应的所述训练资料利用第三损失函数
Figure GDA0003119603650000212
反向传播训练所述基础第二模型，其中，Loss3表示第三损失值，w2(x,y)表示所述训练相位斜率，w(x,y)表示对应的训练资料也即采用传统相位展开算法获取的真实展开相位斜率，WxH表示训练相位截断图的图像尺寸。
第二模型获取单元，用于当训练达到预设次数后停止训练，将此时的基础第二模型作为训练好的第二模型。
本实施例进一步提供了一种主动三维成像装置，采用级联的第一模型和第二模型根据投影图像完成相移和相位展开获取到相应的截断相位图和相位展开图，第一模型和第二模型采用基于深度学习的神经网络模型能够避免传统计算方法的累计误差，且对噪声有一定的抑制作用，得到的相位误差较小、三维成像精度更高，并且通过第一模型和第二模型辅助完成三维成像其测试和使用更方便。
本发明实施例所提供的一种主动三维成像装置可执行本发明前述实施例所提供的一种主动三维成像方法，具备执行方法相应的功能模块和有益效果。
实施例四
图11为本发明实施例四提供的一种主动三维成像设备600的结构示意图，如图11所示，该种三维成像设备包括存储器610、处理器620，主动三维成像设备中处理器620的数量可以是一个或多个，图11中以一个处理器620为例；三维成像设备中的存储器610、处理器620可以通过总线或其他方式连接，图11中以通过总线连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的主动三维成像方法对应的程序指令/模块(例如，三维成像装置中的图像获取模块510、相位截断图获取模块520、展开相位图获取模块530、视差图获取模块540、成像模块550)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行主动三维成像设备的各种功能应用以及数据处理，即实现上述的主动三维成像方法。
其中，所述处理器620用于运行存储在存储器610中的计算机可执行程序，以实现如下：S110、获取投影图像；S120、根据所述投影图像利用预先训练好的第一模型获取相位截断图；S130、根据所述相位截断图利用预先训练好的第二模型获取展开相位图；S140、根据所述展开相位图进行相位匹配得到视差图；S150、根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
当然,本发明实施例所提供的一种主动三维成像设备,该主动三维成像设备不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的三维成像方法中的相关操作。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至主动三维成像设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例提供了一种主动三维成像设备，采用级联的第一模型和第二模型根据投影图像完成相移和相位展开获取到相应的截断相位图和相位展开图，第一模型和第二模型采用基于深度学习的神经网络模型能够避免传统计算方法的累计误差，且对噪声有一定的抑制作用，得到的相位误差较小、三维成像精度更高，并且通过第一模型和第二模型辅助完成三维成像其测试和使用更方便。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种主动三维成像方法，该主动三维成像方法包括：
获取投影图像；
根据所述投影图像利用预先训练好的第一模型获取相位截断图；
根据所述相位截断图利用预先训练好的第二模型获取展开相位图；
根据所述展开相位图进行相位匹配得到视差图；
根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的主动三维成像方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，三维成像设备，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述三维成像装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种主动三维成像方法，其特征在于，包括：
获取投影图像；
根据所述投影图像利用预先训练好的第一模型获取相位截断图；
根据所述相位截断图利用预先训练好的第二模型获取展开相位图；
根据所述展开相位图进行相位匹配得到视差图；
根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像；
所述第二模型的训练过程包括：
获取多组训练相位截断图和对应的训练资料；
根据所述多组训练相位截断图经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二模型得到训练相位斜率；
根据所述训练相位斜率和对应的所述训练资料利用第三损失函数
Figure FDA0003119603640000011
反向传播训练所述基础第二模型，其中，Loss3表示第三损失值，w2(x,y)表示所述训练相位斜率，w(x,y)表示对应的所述训练资料也即采用传统相位展开算法获取的真实展开相位斜率，W×H表示训练相位截断图的图像尺寸；
训练达到预设次数后停止训练，将此时的基础第二模型作为训练好的第二模型。
2.根据权利要求1所述的方法，其特征在于，所述投影图像包括不同频率、不同初始相位的左投影图像和不同频率、不同初始相位的右投影图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述投影图像利用预先训练好的第一模型获取相位截断图包括：
根据所述投影图像通过所述第一模型的第一子模型得到背景图像；
根据所述背景图像和所述投影图像通过所述第一模型的第二子模型得到一对中间数据；
根据所述一对中间数据利用反三角函数得到相位信息，根据所述相位信息确定相位截断图。
4.根据权利要求3所述的方法，其特征在于，所述第一子模型和所述第二子模型为基于深度学习的卷积神经网络，所述第一模型的训练过程包括：
获取训练图像和对应的训练数据；
根据所述训练图像经过按默认顺序设置卷积层和激活层的基础第一子模型，得到背景图像；
根据所述训练数据和对应的所述背景图像利用第一损失函数反向传播训练所述基础第一子模型；
根据所述训练图像和对应的背景图像经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二子模型，得到一对训练中间数据；
根据所述训练数据和对应的所述一对训练中间数据利用第二损失函数反向传播训练所述基础第二子模型；
训练达到预设次数后停止训练得到训练好的第一子模型和训练好的第二子模型，进而得到训练好的第一模型。
5.根据权利要求4所述的方法，其特征在于，所述第一损失函数为：
Figure FDA0003119603640000021
其中Loss1表示第一损失值，A′(x,y)表示所述基础第一子模型获取的背景图像像素灰度，A(x,y)表示所述训练数据中按默认算法获取的背景图像像素灰度，WxH表示训练图像的图像尺寸；
所述第二损失函数为：
Figure FDA0003119603640000031
其中Loss2表示第二损失值，M(x,y)与N(x,y)为所述基础第二子模型获取的一对训练中间数据，P(x,y)和Q(x,y)表示所述训练数据中按默认算法获取的一对中间数据，WxH表示训练图像的图像尺寸。
6.根据权利要求2所述的方法，其特征在于，所述根据所述相位截断图利用预先训练好的第二模型获取展开相位图包括：
获取根据不同频率的投影图像得到的不同频率的相位截断图；
根据所述不同频率的相位截断图利用预先训练好的第二模型得到展开相位频率；
根据所述展开相位频率利用公式φ(x,y)＝w2(x,y)*s得到展开相位图，其中，w2(x,y)表示点(x，y)对应的展开相位频率，φ(x，y)表示点(x,y)对应的点的展开相位值，s表示不同频率中的频率最高值。
7.一种主动三维成像装置，其特征在于，包括：
图像获取模块，用于获取投影图像；
相位截断图获取模块，用于根据所述投影图像利用预先训练好的第一模型获取相位截断图；
展开相位图获取模块，用于根据所述相位截断图利用预先训练好的第二模型获取展开相位图；
视差图获取模块，用于根据所述展开相位图进行相位匹配得到视差图；
成像模块，用于根据所述视差图和默认第三模型得到所述投影图像的三维点云数据以实现三维成像；
第二模型训练单元，用于基于深度卷积神经网络训练得到预先训练好的第二模型；
第二模型训练单元包括：
训练相位截断图获取单元，用于获取多组训练相位截断图和对应的训练资料；
第二模型设置单元，根据所述多组训练相位截断图经过按默认顺序设置卷积层、激活层、采样层和合并层的基础第二模型得到训练相位斜率；
第二模型训练单元，用于根据所述训练相位斜率和对应的所述训练资料利用第三损失函数
Figure FDA0003119603640000041
反向传播训练所述基础第二模型，其中，Loss3表示第三损失值，w2(x,y)表示所述训练相位斜率，w(x，y)表示对应的所述训练资料也即采用传统相位展开算法获取的真实展开相位斜率，W×H表示训练相位截断图的图像尺寸；
第二模型获取单元，用于当训练达到预设次数后停止训练，将此时的基础第二模型作为训练好的第二模型。
8.一种主动三维成像设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述的主动三维成像方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现如权利要求1-6任意一项所述的主动三维成像方法。
CN201910854167.7A 2019-09-10 2019-09-10 一种主动三维成像方法、装置、设备以及存储介质 Active CN110500957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910854167.7A CN110500957B (zh) 2019-09-10 2019-09-10 一种主动三维成像方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910854167.7A CN110500957B (zh) 2019-09-10 2019-09-10 一种主动三维成像方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110500957A CN110500957A (zh) 2019-11-26
CN110500957B true CN110500957B (zh) 2021-09-14

Family

ID=68591787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910854167.7A Active CN110500957B (zh) 2019-09-10 2019-09-10 一种主动三维成像方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110500957B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111006612B (zh) * 2019-12-20 2021-01-01 四川大学 三维成像方法、装置、计算机设备和可读存储介质
CN112556580B (zh) * 2021-03-01 2021-09-03 北京领邦智能装备股份公司 测量三维尺寸的方法、装置、系统、电子设备和存储介质
CN113409404B (zh) * 2021-06-29 2023-06-16 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113900608B (zh) * 2021-09-07 2024-03-15 北京邮电大学 立体三维光场的显示方法、装置、电子设备及介质
CN114694137B (zh) * 2022-04-18 2023-10-03 四川大学 图像检测方法，三维成像方法及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244714A (ja) * 1994-03-03 1995-09-19 Omron Corp 物体検出装置
JPH07271964A (ja) * 1995-02-06 1995-10-20 Takata Kogyosho:Kk 人相判定方法
CN103697815A (zh) * 2014-01-15 2014-04-02 西安电子科技大学 基于相位编码的混频结构光三维信息获取方法
CN103759673A (zh) * 2014-01-21 2014-04-30 南京理工大学 基于双频三灰阶正弦光栅条纹投影的时间相位去包裹方法
CN103940370A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 基于周期互质混合编码的目标物体三维信息获取方法
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法
CN110210119A (zh) * 2019-05-30 2019-09-06 东南大学 一种基于深层卷积神经网络的高效率相位展开方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244714A (ja) * 1994-03-03 1995-09-19 Omron Corp 物体検出装置
JPH07271964A (ja) * 1995-02-06 1995-10-20 Takata Kogyosho:Kk 人相判定方法
CN103697815A (zh) * 2014-01-15 2014-04-02 西安电子科技大学 基于相位编码的混频结构光三维信息获取方法
CN103759673A (zh) * 2014-01-21 2014-04-30 南京理工大学 基于双频三灰阶正弦光栅条纹投影的时间相位去包裹方法
CN103940370A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 基于周期互质混合编码的目标物体三维信息获取方法
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法
CN110210119A (zh) * 2019-05-30 2019-09-06 东南大学 一种基于深层卷积神经网络的高效率相位展开方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fring e pattern analysis using deep learning;Shijie Feng等;《Advanced photonics》;20190314;第1卷(第2期);第1-6页，Supplement 1第1-10页 *
LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks;Sudhakar Kumawat等;《conference on computer vision and pattern recognition》;20190109;全文 *

Also Published As

Publication number Publication date
CN110500957A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110500957B (zh) 一种主动三维成像方法、装置、设备以及存储介质
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
CN109945802B (zh) 一种结构光三维测量方法
CN111047681B (zh) 基于深度学习的单像素三维端到端重建方法及装置
CN110686652B (zh) 一种基于深度学习和结构光相结合的深度测量方法
US20140142891A1 (en) Generaton of map data
CN110567398A (zh) 双目立体视觉三维测量方法及系统、服务器及存储介质
CN111288925A (zh) 一种基于数字对焦结构照明光场的三维重建方法和装置
Wang et al. Study of weighted fusion methods for the measurement of surface geometry
US20210254968A1 (en) Method and System for Automatic Focusing for High-Resolution Structured Light 3D Imaging
CN112529794A (zh) 高动态范围结构光三维测量方法、系统及介质
Li et al. Depth acquisition with the combination of structured light and deep learning stereo matching
CN115272683A (zh) 一种基于深度学习的中心差分信息滤波相位解缠方法
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
CN113313740B (zh) 一种基于平面连续性的视差图和表面法向量联合学习方法
Guan et al. Belief-propagation on edge images for stereo analysis of image sequences
CN112802084A (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质
CN115908705A (zh) 一种基于特殊编码的三维成像方法及装置
CN114494383B (zh) 基于Richard-Lucy迭代的光场深度估计方法
CN114399599A (zh) 三维成像方法、装置、电子设备及计算机可读存储介质
CN114663600A (zh) 一种基于自编码器的点云重建方法及系统
CN114332156A (zh) 基于图卷积神经网络的实时三维运动补全方法
Wang et al. Depth perception of moving objects viaing structured light sensor with unstructured grid
Hannachi et al. Multi-sensor data fusion for realistic and accurate 3D reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant