CN116105632A - 一种结构光三维成像的自监督相位展开方法及装置 - Google Patents

一种结构光三维成像的自监督相位展开方法及装置 Download PDF

Info

Publication number
CN116105632A
CN116105632A CN202310384913.7A CN202310384913A CN116105632A CN 116105632 A CN116105632 A CN 116105632A CN 202310384913 A CN202310384913 A CN 202310384913A CN 116105632 A CN116105632 A CN 116105632A
Authority
CN
China
Prior art keywords
frequency
phase
neural network
network model
truncated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310384913.7A
Other languages
English (en)
Other versions
CN116105632B (zh
Inventor
高小茗
宋万忠
雷浚哲
谈春乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310384913.7A priority Critical patent/CN116105632B/zh
Publication of CN116105632A publication Critical patent/CN116105632A/zh
Application granted granted Critical
Publication of CN116105632B publication Critical patent/CN116105632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种结构光三维成像的自监督相位展开方法及装置，主要解决现有技术中存在的现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战的问题。该发明包括计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为两个通道和第三通道合成三通道图像；用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。通过上述方案，本发明达到了得到和真值几乎无差别的预测值使动态场景的高精度得到更真实的还原的目的。

Description

一种结构光三维成像的自监督相位展开方法及装置
技术领域
本发明涉及相位展开技术领域，具体地说，是涉及一种结构光三维成像的自监督相位展开方法及装置。
背景技术
相移轮廓术是一种广泛应用于结构光三维成像的技术，把在一个条纹周期内多帧相移条纹投影到被成像物体表面，捕获受物体表面高度调制的变形条纹图像，对其进行解调，重建出物体的三维信息，具有精度高、无接触式、不易受物体表面复杂变化影响的优点。
传统的相位展开分为空间相位展开和时间相位展开，前者直接对单频截断相位图进行处理，不需要再投影其他频率条纹。在时间相位展开中，投影的条纹图的套数越多，恢复出的连续相位越精确，如依次投影1根条纹（简称：1频）+4根条纹（简称：4频）+16根条纹（简称：16频）+64根条纹（简称：64频）共4套条纹恢复的连续相位，比投影1频+4频+16频共3套条纹恢复的连续相位精度高。
但投影条纹图套数越多，一次三维成像所需的时间越长，不适用于动态场景的三维成像。相同套数的条纹图中，最高频条纹图的频率数越高，恢复出的连续相位越精确。采用时间相位展开方法实现动态场景的三维成像，投影的条纹图套数最少为2套（也称双频法），理想的最高频条纹图的频率为64频纹或更多。但现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战。
发明内容
本发明的目的在于提供一种结构光三维成像的自监督相位展开方法及装置，以解决现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战的问题。
为了解决上述问题，本发明提供如下技术方案：
一方面，一种结构光三维成像的自监督相位展开方法包括
计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为第一通道和第二通道与第三通道合成三通道图像；
用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；
向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。
在较佳的实施例中，计算高频条纹和1频条纹的截断相位图包括：用相机获取高频条纹的变形条纹图和1频条纹的变形条纹图,然后分别对两个变形条纹图进行经相移算法处理，得出高频截断相位图和1频截断相位图。
在较佳的实施例中，计算高频条纹和1频条纹的截断相位图包括：在投影仪上,高频条纹的条纹数和1频条纹的条纹数分别结合投影仪的像素得到对应的高频投影连续相位图和1频投影连续相位图。
在较佳的实施例中，合成三通道图像包括：将高频截断相位图作为第一个通道，1频截断相位图作为第二个通道，第三个通道为像素值为0的通道，合成一幅三通道图像。
在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：搭建神经网络模型,向其中输入高频截断相位图得到高频截断相位图的每个像素的级次k，每个像素的级次k经过神经网络模型输出层的softargmax处理，获得浮点数格式级次图
Figure SMS_1
。
在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：将级次图
Figure SMS_2
乘以
Figure SMS_3
，再加上高频截断相位图，得到相机高频连续相位图
Figure SMS_4
。
在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：相机高频连续相位图
Figure SMS_5
中的每个点，根据其相位值以及相机和投影仪之间存在的极线约束,找出其在高频投影连续相位图
Figure SMS_6
上的对应点,得到对应点的像素坐标集合。
在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：在1频投影连续相位图中对所述对应点使用双线性插值得到其连续相位值
Figure SMS_7
，连续相位值
Figure SMS_8
合成的三通道图像中的1频连续相位值
Figure SMS_9
相比较计算
Figure SMS_10
回归损失为相位损失
Figure SMS_11
。
在较佳的实施例中，用所述三通道图像训练预先搭建的神经网络模型包括：计算空间结构损失
Figure SMS_12
，将相位损失
Figure SMS_13
和空间结构损失
Figure SMS_14
结合得到神经网络模型的损失函数
Figure SMS_15
，以自监督方式学习到截断相位图的相位展开得到最终神经网络模型。
另一方面，一种结构光三维成像的自监督相位展开装置包括存储器：用于存储可执行指令；处理器：用于执行所述存储器中存储的可执行指令，实现一种结构光三维成像的自监督相位展开方法。
与现有技术相比，本发明具有以下有益效果：本发明将高频条纹和1频条纹的截断相位图分别作为第一通道和第二通道一起与第三通道合成三通道图像，然后用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；最后通过神经网络模型得到对应的条纹级次图，通过自监督训练，从输入的一幅双频截断相位图恢复高频条纹的连续相位图，得到和真值几乎无差别的预测值使动态场景的高精度得到更真实的还原。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1为结构光系统原理图。
图2为1频连续相位图P1。
图3为变形条纹截断相位图U。
图4为双频截断相位复合图。
图5为相机和投影仪之间的极线约束。
图6为级次图真值。
图7为级次图预测值。
图8为级次图真值剖面线数值。
图9为级次图预测值剖面线数值。
图10为深度图真值。
图11为深度图预测值。
实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合图1至图11对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
相移轮廓术中，从捕获到的多帧变形条纹图像中只能直接计算出截断相位图，其相位值在
Figure SMS_16
0，2
Figure SMS_17
。截断相位图还需要经相位展开(phase unwrapping)处理后得到连续相位图，连续相位图与物体表面高度具有非线性映射关系。此连续相位和物体表面高度之间的映射关系在成像前通过系统标定获得。
相位展开任务可以看作给截断相位图的每个像素点找到一个整数值，这个值常被称为条纹级次（fringe order）。截断相位加上级次倍数的2
Figure SMS_18
，就得到连续相位，也叫相位展开。值得注意的是，如果这个条纹级次是对应于投影条纹图案的条纹级次，那么这个级次就是绝对条纹级次，相位展开也就是绝对相位展开，得到的连续相位也就是绝对相位。截断相位、条纹级次和连续相位之间的关系如下所示
Figure SMS_19
（1）
其中，
Figure SMS_20
是连续相位，
Figure SMS_21
是截断相位，
Figure SMS_22
是条纹级次，
Figure SMS_23
是像素坐标。
现有的双频法中，由于噪声的影响，最高频条纹图的频率普遍为16频或32频，这使得动态场景的高精度结构光三维成像面临挑战的问题。
本发明方法采用自监督训练，从输入的两幅双频截断相位图恢复高频条纹的连续相位图。输入的两幅截断相位图中，一幅是1频条纹的连续相位图，一幅是高频（
Figure SMS_24
32频）的截断相位图。1频条纹的连续相位图提供高频截断相位图监督展开需要的监督信号，本发明中高频条纹为大于等于32频的条纹。
本发明实现步骤与原理如下：
2.1 通过相移轮廓术获取高频条纹的变形条纹图和1频条纹的变形条纹图。
获取图像的实验装备结构由一个投影仪、一个照相机组成，是标准的结构光数字条纹投影系统，如图1所示。首先将一个正弦条纹图形投影到待测物体表面，由于物体表面的高度信息变化使得条纹发生相应的相位变化，经过调制后的条纹被照相机记录。通过相移技术投影三帧及以上条纹图形，把投影条纹相位在一个周期内均匀地移动N次，捕获的复合条纹图像信息可表示为：
Figure SMS_25
（2）
其中，
Figure SMS_27
为变形条纹图像像素坐标
Figure SMS_30
处的灰度值，
Figure SMS_32
表示背景光强，
Figure SMS_28
表示调制强度，
Figure SMS_29
表示经过物体表面高度信息调制后的相位值，
Figure SMS_31
表示投影条纹在一个周期内平均移动的次数，
Figure SMS_33
，
Figure SMS_26
。
2.2将照相机捕获到的1频、高频变形条纹分别经相移算法处理，可以计算出对应的截断相位图，相移算法公式为：
Figure SMS_34
（3）
其中，
Figure SMS_35
是截断相位图，数值范围为
Figure SMS_36
，具有周期性、不连续性。经公式（3）处理后得到的1频和高频截断相位图分别记作
Figure SMS_37
，高频截断相位图如图3所示。
将1频截断相位图
Figure SMS_38
处理成对应的连续相位图，公式为：
Figure SMS_39
（4）
其中，
Figure SMS_40
表示1频连续相位值，
Figure SMS_41
表示1频截断相位图，经公式（4）处理后，可由1频连续相位图
Figure SMS_42
，如图2所示。
2.3 在投影仪上，可以直接根据条纹数和投影仪像素数计算出对应相机拍摄的条纹图的连续相位，具体计算过程为：
Figure SMS_43
（5）
其中，M是条纹数，W是投影仪水平方向的像素数，j是投影图列方向的像素坐标。记投影仪上1频连续相位图为
Figure SMS_44
、高频连续相位图为
Figure SMS_45
。
Figure SMS_46
数值范围为
Figure SMS_47
。
Figure SMS_48
的数值范围为
Figure SMS_49
。
2.4 将高频截断相位图
Figure SMS_50
作为第一个通道，1频连续相位图
Figure SMS_51
作为第二个通道，第三个通道为像素值设为0，可合成一幅和相机拍摄条纹图相同大小的三通道图像为双频截断相位复合图，如图4所示。
2.5 将双频截断相位复合图作为输入，用神经网络进行训练。
（1）神经网络结构为通用的编码器-解码器结构。
（2）网络对输入的高频频率截断相位图预测其每个像素的级次k，为实现网络训练需要的误差反向传播，对网络的输出层进行
Figure SMS_52
处理，获得浮点数格式级次图
Figure SMS_53
，公式为：
Figure SMS_54
（6）
Figure SMS_55
表示条纹数，
Figure SMS_56
为一个常数，
Figure SMS_57
为归一化指数函数，
Figure SMS_58
表示网络输出结果中的一个值。由公式（5）可首先计算出每个像素点属于各个级次的概率，概率相加和为一，再将其乘以通道数序向量后求和，可得到一个近似于
Figure SMS_59
的数值，通过调节
Figure SMS_60
大小使结果更加逼近。
2.6 将级次图
Figure SMS_61
乘以
Figure SMS_62
，再加上截断相位图
Figure SMS_63
，得到连续相位图
Figure SMS_64
。
2.7相机端连续相位图
Figure SMS_65
中的每个点，根据其连续相位值以及相机和投影仪的极线约束，可在投影仪的连续相位图
Figure SMS_66
上找到一个对应点。
结构光数字条纹投影系统由单照相机和单投影仪组成，其中投影仪也可看作一个照相机，因此整个系统可建模为双目成像模型。原理示意图如图5所示，左相机为该系统中的照相机，其透镜中心记作
Figure SMS_83
，右相机为该系统中的投影仪，其中心记作
Figure SMS_72
，左右光心之间的距离为基线，记作
Figure SMS_77
。待测物体表面的一个成像点
Figure SMS_73
，在左右相机成像面
Figure SMS_78
，
Figure SMS_74
上各有一成像点，记作
Figure SMS_79
，
Figure SMS_69
，这两个点同
Figure SMS_80
点可以确定一个平面，称为极平面。
Figure SMS_67
连线与像平面
Figure SMS_82
，
Figure SMS_68
的交点分别为
Figure SMS_75
，
Figure SMS_71
，称为极点。极平面与像平面
Figure SMS_81
，
Figure SMS_85
相交于直线
Figure SMS_88
，
Figure SMS_86
，称为极线。利用极线可以实现点对直线的约束，在左相机视角下，如果已知
Figure SMS_87
，那么根据极线
Figure SMS_70
可以确定
Figure SMS_76
的位置。
Figure SMS_84
之间存在这样的关系:
Figure SMS_89
（7）
Figure SMS_90
（8）
Figure SMS_91
（9）
其中，
Figure SMS_93
，为
Figure SMS_96
点在左相机坐标下的空间位置，
Figure SMS_99
，
Figure SMS_94
表示成像点
Figure SMS_97
，
Figure SMS_100
的像素坐标，
Figure SMS_101
，
Figure SMS_92
，
Figure SMS_95
分别为左相机坐标系到右相机坐标系的旋转、平移矩阵，
Figure SMS_98
基础矩阵。
计算极线
Figure SMS_102
公式如下：
Figure SMS_103
（10）
在经过相机标定后，可以确定相机内参矩阵
Figure SMS_104
、左相机坐标系到右相机坐标系的旋转平移矩阵
Figure SMS_105
，将
Figure SMS_106
、
Figure SMS_107
代入公式（8）可确定基础矩阵
Figure SMS_108
。在本方法中，像素坐标
Figure SMS_109
为照相机捕获到的变形条纹图像的坐标，代入公式（10）中可以计算出极线
Figure SMS_110
。
2.8 计算连续相位图
Figure SMS_111
与投影条纹连续相位图
Figure SMS_112
的对应点的像素坐标集合。
Figure SMS_113
中的每个像素点在投影仪上都有对应1条极线
Figure SMS_114
，如相机和投影仪是水平方向放置，极线
Figure SMS_115
和水平方向更接近。再根据公式(11)计算出一条直线y=
Figure SMS_116
Figure SMS_117
（11）
其中，
Figure SMS_118
为投影图片与条纹水平方向的像素数，M为条纹数，
Figure SMS_119
为相机的连续相位图。直线y=
Figure SMS_120
和极线
Figure SMS_121
有一个交点
Figure SMS_122
。
2.9 获得监督信号值，计算相位损失
Figure SMS_123
。
在1频投影连续相位图
Figure SMS_125
中，对
Figure SMS_127
使用双线性插值计算其连续相位值
Figure SMS_130
，
Figure SMS_126
输入网络的双频复合相位图中的1频连续相位值
Figure SMS_128
，应尽可能一致。因此，将
Figure SMS_131
与
Figure SMS_132
相比较计算
Figure SMS_124
回归损失，记作
Figure SMS_129
。
使用1频条纹连续相位图做监督信号的原因是：1频连续相位图以是自从1频截断相位图恢复，且恢复出的连续相位值是绝对相位值。
2.10计算空间结构损失
Figure SMS_133
。
损失函数
Figure SMS_134
只约束了统计意义上的数值信息，而未考虑空间信息。网络预测的级次图的一阶导数和对应的截断相位图一阶导数的空间结构应一致，即图像边界一致，基于这一先验知识，本方法还采用了空间结构损失。
首先使用一阶梯度算子
Figure SMS_139
滤波器，计算出高频截断相位图
Figure SMS_144
和级次图
Figure SMS_154
的梯度：
Figure SMS_140
，其中
Figure SMS_152
，获得一阶梯度图
Figure SMS_157
和
Figure SMS_158
。然后，计算梯度
Figure SMS_136
的2-范数，取95%作为阈值
Figure SMS_142
，
Figure SMS_148
，分别计算出
Figure SMS_153
和
Figure SMS_138
所对应的阈值
Figure SMS_145
。令边界图
Figure SMS_149
和
Figure SMS_155
分别减去其对应的阈值
Figure SMS_141
得到
Figure SMS_146
和
Figure SMS_150
，将
Figure SMS_156
和
Figure SMS_135
进行二值化处理后，计算两者之间的
Figure SMS_143
距离，为了实现网络训练时的反向传播非零且有平滑的梯度，
Figure SMS_147
距离通过计算
Figure SMS_151
来表示，记作
Figure SMS_137
。
2.11 网络损失
Figure SMS_159
，两种损失函数的结合，可以在不需要真值的情况下，以自监督方式学习到截断相位图的相位展开。
2.12 网络训练完成后，向网络模型输入一幅高频变形条纹截断相位图，条纹频率由训练时选用的频率而定，在训练时也可选用其他频率条纹。经过训练的网络模型预测出的级次图如图7所示，图6为对应的用时间相位展开算法计算所得的真值，对应第900行的一条剖面线，分别如图8、9所示，从图6和图7,对比，图8和图9对比可看出本发明方法的预测值和真值差别极小，故本该方法通过自监督实现了双频截断相位图的正确展开。
截断相位图与神经网络模型预测的级次图，根据公式（1）计算可得连续相位图，连续相位图经过相位-高度映射算法转换，便可求出物体表面的深度图。如图10和图11所示，图10为基于时间相位展开获得的连续相位重建的深度图，图11为本发明的自监督相位展开获得的连续相位重建的深度图。
一种结构光三维成像的自监督相位展开装置包括存储器：用于存储可执行指令；处理器：用于执行所述存储器中存储的可执行指令，实现一种结构光三维成像的自监督相位展开方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种结构光三维成像的自监督相位展开方法，其特征在于，包括
计算高频条纹和1频条纹的截断相位图，将两个所述截断相位图分别作为第一通道和第二通道与第三通道合成三通道图像；
用所述三通道图像训练预先搭建的神经网络模型得到最终神经网络模型；
向所述最终神经网络模型输入待测高频变形条纹的截断相位图得到对应的条纹级次图。
2.根据权利要求1所述的一种结构光三维成像的自监督相位展开方法，其特征在于，计算高频条纹和1频条纹的截断相位图包括：用相机获取高频条纹的变形条纹图和1频条纹的变形条纹图,然后分别对两个变形条纹图进行经相移算法处理，得出高频截断相位图和1频截断相位图。
3.根据权利要求1所述的一种结构光三维成像的自监督相位展开方法，其特征在于，计算高频条纹和1频条纹的截断相位图包括：在投影仪上,高频条纹的条纹数和1频条纹的条纹数分别结合投影仪的像素得到对应的高频投影连续相位图和1频投影连续相位图。
4.根据权利要求2所述的一种结构光三维成像的自监督相位展开方法，其特征在于，合成三通道图像包括：将高频截断相位图作为第一个通道，1频截断相位图作为第二个通道，第三个通道为像素值为0的通道，合成一幅三通道图像。
5.根据权利要求2所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：搭建神经网络模型,向其中输入高频截断相位图得到高频截断相位图的每个像素的级次k，每个像素的级次k经过神经网络模型输出层的softargmax处理，获得浮点数格式级次图
Figure QLYQS_1
。
6.根据权利要求5所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：将级次图
Figure QLYQS_2
乘以
Figure QLYQS_3
，再加上高频截断相位图，得到相机高频连续相位图
Figure QLYQS_4
。
7.根据权利要求6所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：相机高频连续相位图
Figure QLYQS_5
中的每个点，根据其相位值以及相机和投影仪之间存在的极线约束,找出其在高频投影连续相位图
Figure QLYQS_6
上的对应点,得到对应点的像素坐标集合。
8.根据权利要求7所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：在1频投影连续相位图中对所述对应点使用双线性插值得到其连续相位值
Figure QLYQS_7
，连续相位值
Figure QLYQS_8
与合成的三通道图像中的1频连续相位值
Figure QLYQS_9
相比较计算
Figure QLYQS_10
回归损失为相位损失
Figure QLYQS_11
。
9.根据权利要求8所述的一种结构光三维成像的自监督相位展开方法，其特征在于，用所述三通道图像训练预先搭建的神经网络模型包括：计算空间结构损失
Figure QLYQS_12
，将相位损失
Figure QLYQS_13
和空间结构损失
Figure QLYQS_14
结合得到神经网络模型的损失函数
Figure QLYQS_15
，以自监督方式学习到截断相位图的相位展开得到最终神经网络模型。
10.一种结构光三维成像的自监督相位展开装置，其特征在于，包括
存储器：用于存储可执行指令；
处理器：用于执行所述存储器中存储的可执行指令，实现如权利要求1-9任一项所述的一种结构光三维成像的自监督相位展开方法。
CN202310384913.7A 2023-04-12 2023-04-12 一种结构光三维成像的自监督相位展开方法及装置 Active CN116105632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384913.7A CN116105632B (zh) 2023-04-12 2023-04-12 一种结构光三维成像的自监督相位展开方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310384913.7A CN116105632B (zh) 2023-04-12 2023-04-12 一种结构光三维成像的自监督相位展开方法及装置

Publications (2)

Publication Number Publication Date
CN116105632A true CN116105632A (zh) 2023-05-12
CN116105632B CN116105632B (zh) 2023-06-23

Family

ID=86260102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310384913.7A Active CN116105632B (zh) 2023-04-12 2023-04-12 一种结构光三维成像的自监督相位展开方法及装置

Country Status (1)

Country Link
CN (1) CN116105632B (zh)

Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090225333A1 (en) * 2008-03-05 2009-09-10 Clark Alexander Bendall System aspects for a probe system that utilizes structured-light
US20100188400A1 (en) * 2009-01-23 2010-07-29 National Taipei University Of Technology Method for simultaneous hue phase-shifting and system for 3-d surface profilometry using the same
US20120278036A1 (en) * 2010-11-30 2012-11-01 Southeast University Three-dimensional measurement method based on wavelet transform
US20160094830A1 (en) * 2014-09-26 2016-03-31 Brown University System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
US20180101752A1 (en) * 2016-10-11 2018-04-12 Beihang Univesity Deep learning based method and apparatus for three dimensional model triangular facet feature learning and classifying
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
US20190101382A1 (en) * 2017-09-27 2019-04-04 Brown Univ ersity Techniques for shape measurement using high frequency patterns and related systems and methods
CN111006612A (zh) * 2019-12-20 2020-04-14 四川大学 三维成像方法、装置、计算机设备和可读存储介质
US20200128180A1 (en) * 2017-03-24 2020-04-23 Nanjing University Of Science And Technology Highly efficient three-dimensional image acquisition method based on multi-mode composite encoding and epipolar constraint
US20210025689A1 (en) * 2019-06-06 2021-01-28 Zhejiang Sci-Tech University Sinusoidal frequency sweeping interferometric absolute distance measurement apparatus and method with dynamic offset frequency locking
CN112561861A (zh) * 2020-11-25 2021-03-26 中科融合感知智能研究院(苏州工业园区)有限公司 一种实现双目相位计算算法的方法及装置
US20210102801A1 (en) * 2017-03-24 2021-04-08 Nanjing University Of Science And Technology Super-rapid three-dimensional topography measurement method and system based on improved fourier transform contour technique
CN112802084A (zh) * 2021-01-13 2021-05-14 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113188477A (zh) * 2021-04-28 2021-07-30 伏燕军 基于三通道正弦条纹投影的彩色物体快速三维测量方法
CN113327317A (zh) * 2021-08-04 2021-08-31 浙江清华柔性电子技术研究院 三维点云图获取方法、装置、电子设备和存储介质
CN113379818A (zh) * 2021-05-24 2021-09-10 四川大学 一种基于多尺度注意力机制网络的相位解析方法
WO2021184707A1 (zh) * 2020-03-19 2021-09-23 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN113587852A (zh) * 2021-08-18 2021-11-02 天津工业大学 一种基于改进三步相移的彩色条纹投影三维测量方法
CN113762358A (zh) * 2021-08-18 2021-12-07 江苏大学 一种基于相对深度训练的半监督学习三维重建方法
CN215338216U (zh) * 2021-07-14 2021-12-28 苏州大学 一种基于衍射光学元件的条纹投影三维形貌测量装置
CN113959364A (zh) * 2021-10-22 2022-01-21 华中科技大学 一种三频相位展开方法及测量装置
CN113983960A (zh) * 2021-10-12 2022-01-28 安徽农业大学 一种多频条纹投影非线性误差校正方法
CN114152217A (zh) * 2022-02-10 2022-03-08 南京南暄励和信息技术研发有限公司 基于监督学习的双目相位展开方法
CN114399599A (zh) * 2022-01-18 2022-04-26 四川大学 三维成像方法、装置、电子设备及计算机可读存储介质
CN114998507A (zh) * 2022-06-07 2022-09-02 天津大学 一种基于自监督学习的光度立体三维重建方法
CN115063466A (zh) * 2022-06-24 2022-09-16 复旦大学 一种基于结构光与深度学习的单帧三维测量方法
CN115615358A (zh) * 2022-10-12 2023-01-17 广东工业大学 一种非监督深度学习的彩色结构光色彩串扰校正方法
US20230074445A1 (en) * 2022-04-20 2023-03-09 Guangdong University Of Technology Large-depth-range three-dimensional (3d) measurement method, system, and device based on phase fusion
CN115908705A (zh) * 2022-11-09 2023-04-04 四川大学 一种基于特殊编码的三维成像方法及装置

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090225333A1 (en) * 2008-03-05 2009-09-10 Clark Alexander Bendall System aspects for a probe system that utilizes structured-light
US20100188400A1 (en) * 2009-01-23 2010-07-29 National Taipei University Of Technology Method for simultaneous hue phase-shifting and system for 3-d surface profilometry using the same
US20120278036A1 (en) * 2010-11-30 2012-11-01 Southeast University Three-dimensional measurement method based on wavelet transform
US20160094830A1 (en) * 2014-09-26 2016-03-31 Brown University System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
US20180101752A1 (en) * 2016-10-11 2018-04-12 Beihang Univesity Deep learning based method and apparatus for three dimensional model triangular facet feature learning and classifying
US20200128180A1 (en) * 2017-03-24 2020-04-23 Nanjing University Of Science And Technology Highly efficient three-dimensional image acquisition method based on multi-mode composite encoding and epipolar constraint
US20210102801A1 (en) * 2017-03-24 2021-04-08 Nanjing University Of Science And Technology Super-rapid three-dimensional topography measurement method and system based on improved fourier transform contour technique
US20190101382A1 (en) * 2017-09-27 2019-04-04 Brown Univ ersity Techniques for shape measurement using high frequency patterns and related systems and methods
CN109253708A (zh) * 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
US20210356258A1 (en) * 2018-09-29 2021-11-18 Nanjing University Of Science And Technology A deep learning-based temporal phase unwrapping method for fringe projection profilometry
US20210025689A1 (en) * 2019-06-06 2021-01-28 Zhejiang Sci-Tech University Sinusoidal frequency sweeping interferometric absolute distance measurement apparatus and method with dynamic offset frequency locking
CN111006612A (zh) * 2019-12-20 2020-04-14 四川大学 三维成像方法、装置、计算机设备和可读存储介质
WO2021184707A1 (zh) * 2020-03-19 2021-09-23 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN112561861A (zh) * 2020-11-25 2021-03-26 中科融合感知智能研究院(苏州工业园区)有限公司 一种实现双目相位计算算法的方法及装置
CN112802084A (zh) * 2021-01-13 2021-05-14 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113188477A (zh) * 2021-04-28 2021-07-30 伏燕军 基于三通道正弦条纹投影的彩色物体快速三维测量方法
CN113379818A (zh) * 2021-05-24 2021-09-10 四川大学 一种基于多尺度注意力机制网络的相位解析方法
CN215338216U (zh) * 2021-07-14 2021-12-28 苏州大学 一种基于衍射光学元件的条纹投影三维形貌测量装置
CN113327317A (zh) * 2021-08-04 2021-08-31 浙江清华柔性电子技术研究院 三维点云图获取方法、装置、电子设备和存储介质
CN113587852A (zh) * 2021-08-18 2021-11-02 天津工业大学 一种基于改进三步相移的彩色条纹投影三维测量方法
CN113762358A (zh) * 2021-08-18 2021-12-07 江苏大学 一种基于相对深度训练的半监督学习三维重建方法
CN113983960A (zh) * 2021-10-12 2022-01-28 安徽农业大学 一种多频条纹投影非线性误差校正方法
CN113959364A (zh) * 2021-10-22 2022-01-21 华中科技大学 一种三频相位展开方法及测量装置
CN114399599A (zh) * 2022-01-18 2022-04-26 四川大学 三维成像方法、装置、电子设备及计算机可读存储介质
CN114152217A (zh) * 2022-02-10 2022-03-08 南京南暄励和信息技术研发有限公司 基于监督学习的双目相位展开方法
US20230074445A1 (en) * 2022-04-20 2023-03-09 Guangdong University Of Technology Large-depth-range three-dimensional (3d) measurement method, system, and device based on phase fusion
CN114998507A (zh) * 2022-06-07 2022-09-02 天津大学 一种基于自监督学习的光度立体三维重建方法
CN115063466A (zh) * 2022-06-24 2022-09-16 复旦大学 一种基于结构光与深度学习的单帧三维测量方法
CN115615358A (zh) * 2022-10-12 2023-01-17 广东工业大学 一种非监督深度学习的彩色结构光色彩串扰校正方法
CN115908705A (zh) * 2022-11-09 2023-04-04 四川大学 一种基于特殊编码的三维成像方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIZHONG ZHUANG 等: "Geometrically Constrained Phase Unwrapping Method Based On Variable-frequency Fringe Pattern And Neighborhood Feature Matching", 《2022 23RD INTERNATIONAL CONFERENCE ON ELECTRONIC PACKAGING TECHNOLOGY (ICEPT)》 *
杨泽霖 等: "利用双频外差和时空相位展开实现三维测量", 《光学与光电技术》, vol. 21, no. 1, pages 46 - 55 *
肖昆 等: "基于深度神经网络的条纹结构光相位展开方法", 《现代计算机》, pages 96 - 102 *
陈泽宗 等: "多通道多频高频地波雷达DDS数字信号源的设计", 武汉大学学报(理学版), vol. 55, no. 06, pages 715 - 720 *

Also Published As

Publication number Publication date
CN116105632B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
Karpinsky et al. High-resolution, real-time 3D imaging with fringe analysis
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN111288925B (zh) 一种基于数字对焦结构照明光场的三维重建方法和装置
CN113237435B (zh) 一种高反光表面三维视觉测量系统及方法
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
CN109945802B (zh) 一种结构光三维测量方法
KR20090055803A (ko) 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
JP6598673B2 (ja) データ処理装置およびその方法
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
CN115908705A (zh) 一种基于特殊编码的三维成像方法及装置
JP3988879B2 (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
CN111947601B (zh) 一种灰度伪随机编码结构光条纹的投影解算方法
JP5200042B2 (ja) 視差推定装置およびそのプログラム
CN116385653B (zh) 一种基于单目高频条纹的三维成像自监督方法及装置
CN117824532A (zh) 面结构光三维测量系统及方法
CN117474753A (zh) 一种基于双目结构光系统的点云拼接方法及相关产品
CN116105632B (zh) 一种结构光三维成像的自监督相位展开方法及装置
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
CN116310101A (zh) 基于过曝光连通域强度自适应分布的高动态三维测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant