CN114399599A - 三维成像方法、装置、电子设备及计算机可读存储介质 - Google Patents
三维成像方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114399599A CN114399599A CN202210054797.8A CN202210054797A CN114399599A CN 114399599 A CN114399599 A CN 114399599A CN 202210054797 A CN202210054797 A CN 202210054797A CN 114399599 A CN114399599 A CN 114399599A
- Authority
- CN
- China
- Prior art keywords
- absolute
- phase
- fringe
- map
- diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000010587 phase diagram Methods 0.000 claims abstract description 85
- 238000004458 analytical method Methods 0.000 claims abstract description 69
- 238000010586 diagram Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 77
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 14
- 230000004913 activation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000010363 phase shift Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种三维成像方法、装置、电子设备及计算机可读存储介质，属于三维成像领域，该方法包括：获取目标物体对应的截断相位图，截断相位图包括每个像素点对应的相位；将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，绝对相位图为绝对相位的连续相位图；根据所述绝对相位图得到目标物体的三维信息，并对三维信息进行成像。该方法能够改善单频相位绝对展开后准确度低的问题，同时能够减少相位展开过程中的计算量和成本，快速得到物体的三维信息，还能处理孤立区域。
Description
技术领域
本申请涉及三维成像领域，具体而言，涉及一种三维成像方法、装置、电子设备及计算机可读存储介质。
背景技术
结构光三维成像是一种常用的三维测量和重建技术，其中，条纹结构光因为高精度等特性而被广泛使用。基于条纹结构光的三维成像是利用投影设备投射条纹图案到目标物体的表面，条纹图案由于目标物体面形的变化而发生扭曲，相机则在不同方位处采集目标物体表面图像，其原理如图1所示。采集图像中主要是被物体面形的高度信息调制的变形条纹，根据分析这些变形条纹的相位信息，结合已知的成像系统的系统参数，可以得到物体面形高度信息从而实现三维成像。
目前在得到变形条纹信息的图像后，通过变形条纹信息图像得到截断相位图，对截断相位图进行相位展开可以计算得到连续相位图，再根据系统参数即可获得物体面形信息(物体三维信息)。
目前计算连续相位图的原理为通过空间相位展开、时间相位展开、立体视觉几何约束相位展开、多目相位展开和基于深度学习的相位展开等方式计算连续相位图，但是这些方法各自有局限性，难以在相位展开的精度和效率之间取得平衡。其中，例如，空间相位展开方法，其本身存在很大的局限性：表面平滑性假设、相对相位输出和无法处理孤立区域，如时间相位展开方法，需要投影多组条纹图案且投影结束前让物体保持静止，如基于深度学习的相位展开方法，需要使用多种频率条纹图像生成的多幅截断相位图，或是两个不同视角(也就是两个相机)的截断相位图，存在单次三维成像速度较慢、系统成本高的缺点。
发明内容
本申请实施例的目的在于提供一种三维成像方法、装置、电子设备及计算机可读存储介质，用以解决单频相位绝对展开后的准确度低的问题。
第一方面，本申请实施例提供了一种三维成像方法，包括：获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位；将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图；根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。本申请实施例中，使用绝对条纹级次分析模型能够通过一幅截断相位图输出对应的绝对条纹级次图，这样相比传统相位展开方法能够减少使用的截断相位图的数量，还能减少拍摄设备的数量和减少采集次数，并且不需要采集不同条纹频率的图像，从而大大减少得到所需截断相位图的计算量以及采集图像的所需的人力物力成本和采集难度，同时绝对条纹级次模型能够快速准确地得到绝对条纹级次图，再根据绝对条纹级次图得到准确度高的绝对相位图，从而达到单频相位绝对展开并且能保证高准确度的目的，这样的方法还能够处理孤立区域。
结合第一方面实施例的一种可能的实施方式，所述方法还包括：获取所述截断相位图对应的变形条纹图，所述变形条纹图包括每个像素点的像素值；相应地，将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，包括：将所述截断相位图和所述变形条纹图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图。本申请实施例中，可以将一幅截断相位图以及一幅变形条纹图一起作为模型的输入，得到对应的绝对条纹级次图，这样能够在减少所需截断相位图的数量的同时，提升模型输出的绝对条纹级次图的准确性。
结合第一方面实施例的一种可能的实施方式，根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，包括：所述截断相位图上每个像素点的相位对应加上所述绝对条纹级次图上每个像素点的级次分别与2pi的乘积的值，从而得到所述绝对相位图。本申请实施例中，通过该方式能够快速通过截断相位图和绝对条纹级次图计算得到绝对相位图。
结合第一方面实施例的一种可能的实施方式，在所述将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理之前，所述方法还包括：获取多条训练样本数据，每条所述训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；利用所述多条训练样本数据对初始的绝对条纹级次分析模型进行训练，得到训练好的所述绝对条纹级次分析模型。本申请实施例中，使用截断相位图和对应的绝对条纹级次图作为训练样本数据，其中绝对条纹级次图作为标签，并且绝对条纹级次图是包含边界条纹级次的条纹级次图，模型通过学习到边界条纹级次的特征，使得边界级次能够作为一种约束帮助确定绝对条纹级次，因此初始的模型经过训练后能够根据截断相位图输出绝对条纹级次图，这样得到的绝对条纹级次图更加准确。
结合第一方面实施例的一种可能的实施方式，每条所述训练样本数据还包括：所述截断相位图对应的变形条纹图。本申请实施例中，在训练样本数据中加入变形条纹图，这样使得模型经过学习后，根据复杂物体的截断相位图输出的绝对条纹级次图更加准确。
第二方面，本申请实施例提供了一种模型训练方法，包括：获取多条训练样本数据，每条所述训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；利用所述多条训练样本数据对初始的绝对条纹级次分析模型进行训练，得到训练好的绝对条纹级次分析模型。
结合第二方面实施例的一种可能的实施方式，每条所述训练样本数据还包括：所述截断相位图对应的变形条纹图。
第三方面，本申请实施例提供了一种三维成像装置，包括：获取模块、计算模块、成像模块；获取模块，用于获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位；计算模块，用于将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图；成像模块，用于根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
第四方面，本申请实施例提供了一种电子设备，所述电子设备包括：存储器和处理器，所述处理器与所述存储器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例或/和结合第一方面实施例的任一可能的实施方式提供的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为基于条纹结构光的三维成像原理图；
图2为本申请实施例提供的一种三维成像方法的流程示意图；
图3为本申请实施例提供的一种归一化处理后的截断相位图；
图4为图3中剖面线处的数据曲线图；
图5为本申请实施例提供的不同截断相位图对应的绝对条纹级次图的效果对比图；
图6为本申请实施例提供的基于截断相位图和变形条纹图得到绝对条纹级次图的原理示意图；
图7为采用本申请所示方法以及现有方法对相同物体进行处理得到不同结果的效果对比图；
图8为基于本申请所示的方法得到的三维重建图与基于常规方式得到的三维重建图的效果对比图；
图9为本申请实施例中绝对条纹级次分析模型的结构框图；
图10为本申请实施例中绝对条纹级次分析模型的编码器的结构框图；
图11为本申请实施例中绝对条纹级次分析模型的编码器中下采样块的结构示意图；
图12为本申请实施例中绝对条纹级次分析模型的编码器中卷积块的结构示意图；
图13为本申请实施例中绝对条纹级次分析模型的解码器的结构框图；
图14为本申请实施例中绝对条纹级次分析模型的解码器中上采样块的结构示意图；
图15为本申请实施例提供的一种三维成像装置的模块框图；
图16为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种三维成像方法，能够通过一幅截断相位图得到绝对相位图(单频相位的绝对展开)从而快速获取目标物体的三维信息，并能够保证相位绝对展开的准确性，并减少截断相位图的需求数量、摄像设备的数量、采集次数，从而能够大大降低整个过程的计算量以及截断相位图的采集难度，同时还能够处理孤立区域。
为了便于理解，下面结合图2，对本申请实施例提供的一种三维成像方法进行说明。
S1：获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位。
截断相位图是通过结构光照射到物体表面，因物体的面形信息使结构光发生变形产生变形条纹图，再对变形条纹图使用相移法计算得到的。
相移法计算公式(1-1)如下：
其中ψ(x，y)表示位置为(x,y)的像素点所对应的截断相位值(范围为[-pi，pi))，In(x，y)表示位置为(x,y)的像素点所对应的像素值，In表示第n幅变形条纹图(第n次相移时采集的变形条纹图)，N表示变形条纹图的个数(相移次数)。
S1步骤的一种实施方式下可以是：直接获取目标物体对应的截断相位图，截断相位图中包括每个像素点对应的相位，其中，获取目标物体的截断相位图可以由本申请实施例通过上述相移法对目标物体的变形条纹图计算，从而得到截断相位图；也可以由第三方计算得到截断相位图后，从第三方获得对应的截断相位图。
S2：将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号。
绝对相位可由绝对条纹级次和截断相位计算得出，计算公式(1-2)如下：
φ(x，y)＝ψ(x，y+2πk(x，y) (1-2)
其中，φ(x，y)表示位置为(x,y)的像素点所对应的连续相位，k(x,y)表示条纹级次，也就是每个像素点的级次。当k(x,y)为绝对条纹级次图上每个像素点的绝对条纹级次时，计算出的φ(x，y)表示位置为(x,y)的像素点所对应绝对相位。即截断相位图上每个像素点的相位加上绝对条纹级次图上该像素点的级次分别与2pi(即2π)的乘积的值，便可得到用于计算物体三维信息的绝对相位图。
本申请是通过绝对条纹级次分析模型计算出绝对条纹级次图，从而能够准确进行单频相位展开。绝对条纹级次是使截断相位图上的每道条纹及其所包括的像素点有一个序号(该序号为绝对序号)，由于每个像素点的相位值的范围均是[-pi,pi)，为便于展示相位变化情况，本申请实施例中截断相位图每个点的相位值范围归一化为[0,255]，同时也是为了方便将其输入绝对条纹级次分析模型。
如图3所示的图中，每个点都有一个唯一且绝对的条纹级次序号，这些级次序号最小值为0，最大值为投影的条纹数(也称为条纹周期)，图3中共有17道条纹级次区域，因此级次序号最大为16。而边界级次是级次序号为0或最大值的条纹级次，即对应图3中最左边的条纹级次与最右边的条纹级次，这两个条纹级次均为边界级次。
非边界级次区域具有简单、一致的数据变化特征，对于神经网络来说对这种特征进行学习从而能够分离它们并不困难。但是给图上的每个条纹及其所包括的像素点一个唯一且绝对的序号是很困难的，因为在同一结构光成像环境下，两幅截断相位图在输入绝对条纹级次分析模型后，空间位置大致相当的级次区域的绝对条纹级次是很可能相差1或者2甚至更大的，这一点是因为不同物体的面形是多变的，单靠空间位置特征和非边界级次区域的一致的数据变化特征是不足以支持绝对条纹级次分析模型实现足够精度的绝对相位展开的。这样也就需要更多的约束来支持绝对条纹级次分析模型去学习如何对这些级次区域进行区分以得到绝对条纹级次，对于单频绝对相位展开任务来说约束信息更加匮乏，而利用边界级次区域的特殊性作为约束条件，则能够很好的帮助确定绝对条纹级次，从而便于单频绝对相位的展开。
对边界级次进行分析可知，如图4所示，级次0和级次16的相位值与级次1(或其他非边界级次)相比有明显的特征，例如，边界级次的相位值变化范围小于2pi，而非边界级次的相位值变化范围为2pi；边界级次区域空间分布范围窄于非边界级次区域。
由于边界级次区域相比其他级次区域的空间位置特征和数据变化特征更加明显，绝对条纹级次分析模型学习这种明显且特殊的特征也是极为容易的，而绝对条纹级次分析模型在学习并能够确定截断相位图中的边界级次区域后(即确定这种约束后)，即可将确定出的边界级次区域作为参照，再结合其他级次区域的自身空间位置特征和图像空间上相距范围内存在的级次区域个数，唯一确定出绝对条纹级次序号。
现有相位展开技术中没有考虑边界级次的特征，或是将边界级次作为误差较大的点进行删除，而本申请中，基于边界级次的特殊性对截断相位图进行计算得到绝对条纹级次图，一种实施方式下，将截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，这个绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号。
为说明边界级次的对本申请绝对条纹级次分析模型的重要性，下面结合图5所示的不同截断相位图对应的绝对条纹级次图的效果对比图进行说明。图5中的第一行均为截断相位图，第二行是利用绝对条纹级次分析模型根据截断相位图预测得到的绝对条纹级次图。其中，图5中的(a)、(b)、(c)、(d)所对应的截断相位图不同，不同之处在于：图5中(a)为未去掉边界区域的截断相位图；图5中(b)为去掉左右各1个边界区域后的截断相位图；图5中(c)为去掉左右各2个边界区域后的截断相位图；图5中(d)为去掉左右各3个边界区域后的截断相位图。通过观察可以发现只有图5中(a)的得到的绝对条纹级次图是正确的，这说明边界级次区域在本申请中起到关键作用。
在步骤S2之前，还需要得到训练好的绝对条纹级次分析模型，一种实施方式下，可以通过如下得到训练好的绝对条纹级次分析模型：获取预先准备的多条训练样本数据，每条训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；之后再利用多条训练样本数据对初始的绝对条纹级次分析模型进行训练，最终得到训练好的所述绝对条纹级次分析模型。可以利用现有的模型训练方法来进行训练，在此不再对具体的训练过程进行说明。
为了更好的提高绝对条纹级次分析模型对复杂物体的分析能力，一种实施方式下，在训练绝对条纹级次分析模型时，还可以将截断相位图对应的变形条纹图也考虑在内，此时，每条训练样本数据除了包含截断相位图、该截断相位图对应的绝对条纹级次图标签外，还包括截断相位图对应的变形条纹图。
当绝对条纹级次分析模型由包含截断相位图、该截断相位图对应的绝对条纹级次图标签、截断相位图对应的变形条纹图的训练样本数据训练得到时，相应地，该三维成像方法还包括：获取截断相位图对应的变形条纹图，变形条纹图包括每个像素点的像素值。此时，步骤S2的实现过程可以是：将截断相位图和变形条纹图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图。在该种实施方式下，除了要获取目标物体对应的截断相位图外，还需要进一步获取截断相位图对应的变形条纹图，之后，再将截断相位图和变形条纹图一起输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图。即将截断相位图和其对应的变形条纹图，一同作为绝对条纹级次分析模型的输入，最后得到绝对条纹级次图，其原理如6所示，其中左侧上方的图片为截断相位图，左侧下方的图片为变形条纹图，右侧图片为绝对条纹级次标签。
可选地，在训练绝对条纹级次分析模型时，为了提高模型学习的效率，一种实施方式下，在获取到训练样本数据后，还可以进一步去除训练样本中截断相位图的背景和无效区域的截断相位信息，例如根据调制度图处理截断相位图，以去除训练样本中截断相位图的背景和无效区域的截断相位信息。调制度图和截断相位图一样可以从相机采集到的变形条纹图中计算得到，如下公式(1-3)所示：
M(x,y)表示位置为(x,y)的像素点的调制度值。
即可以在准备训练样本数据时，根据训练样本数据中截断相位图对应的变形条纹图计算得到调制度图。其中，若训练样本数据包括变形条纹图，则可以直接通过训练样本数据中的变形条纹图计算得到调制度图；若训练样本数据不包括变形条纹图，则可以在准备作为训练样本数据的截断相位图时，通过截断相位图对应的变形条纹图计算得到调制度图。
在得到调制度图后，对调制度图设置一个阈值，则截断相位图上低于阈值的像素点就可以被认为是背景和无效区域，如图3所示的截断相位图和图6左侧上方的截断相位图均为调制度后(去除背景和无效区域后)的截断相位图。
从而，对于训练好的绝对条纹级次分析模型，可以是输入正常的截断相位图，也可以是输入调制度后的截断相位图。
若需要输入调制度后的截断相位图，可以由与其一同作为绝对条纹级次分析模型的输入的变形条纹图计算获得调制度图；也可以是在获取截断相位图时，通过截断相位图对应的变形条纹图计算得到调制度图；当然也可以从第三方获得调制度处理后的截断相位图。
S3：根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图。
一种实施方式下，获得连续相位图的方法可以是：根据截断相位图和绝对条纹级次图，得到绝对相位图，绝对相位图为绝对相位的连续相位图。使用截断相位图和绝对条纹级次分析模型计算出的绝对条纹级次图，通过公式(1-2)计算得到绝对相位图，当公式(1-2)在条纹级次为绝对条纹级次的情况下，计算出的连续相位为绝对相位。
为便于观察不同相位展开方法得到的绝对相位图的区别，如图7所示，将不同相位展开方法得到的绝对相位图计算得出深度图并展示深度图。
图7包括4种(图7中(a)、图7中(b)、图7中(c)、图7中(d))不同孤立区域的相位展开的对比情况。
此处以图7中(a)举例说明，图7中(a)使用时间相位展开方法得到作为与本申请方法进行对比的标准值，相应地，将本申请方法得到的作为预测值，两种方法均对同一物体的截断相位图和变形条纹图进行处理。图7中(a)对应6幅小图，其中，虚线10部分中的左图为变形条纹图，虚线10部分中右图为截断相位图；虚线20部分中的上方图为时间相位展开方法的得到的绝对条纹级次图，虚线20部分中的下方图为时间相位展开方法得到的深度图；虚线30部分中的上方图为本申请方法得到的绝对条纹级次图，虚线30部分中的下方图为本申请方法得到的深度图。
同理，图7中的(b)、(c)、(d)中的各幅图与图7中(a)各幅图的原理、作用相同。
此处的时间相位展开方法可以参考现有技术，在此不做赘述。
通过观察对比，本申请实施例得到的绝对相位图具有极高的准确性，并且对孤立区域也能够很好的展开。
相较于传统空间相位展开方法，传统空间相位展开方法无法保持孤立区域之间的条纹级次的相对关系，也就只能恢复出相对相位，无法得到绝对相位；相较于时间相位展开方法，本申请方法只需要一个投影单元和一个拍摄设备，本申请的方法所需的变形条纹图只有时间相位展开方法的1/2，更利于实现动态三维成像；相较于其他相位展开方法，其他相位展开方法多是通过两个或多个拍摄设备实现绝对相位恢复，本申请的方法在成本上更低、系统体系更小、没有多设备的同步和标定问题。
值得说明的是，本申请实施例是通过一幅截断相位图得到绝对条纹级次图，从而计算出绝对相位图。
S4：根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
根据前述过程中得到的绝对相位图，进而能够得到准确的目标物体的面形信息，也即三维信息，根据三维信息进行成像。
本申请的三维效果展示如图8所示，图8中包括使用不同相位展开方法对4个不同物体的连续扫描三维重建结果的效果对比图。
其中，图8中不同的行对应不同物体，对于同一行的三幅图，这三幅图对应的是同一个物体；图8中第一列的4幅图均为使用时间相位展开方法经过多次扫描连续拼接融合后的三维重建结果；图8中第二列的4幅图均为使用本申请方法恢复绝对相位后经过多次扫描连续拼接融合后的三维重建结果；图8中第三列的4幅图均为前两列中相同行的图的对比偏差图，例如使用图8中(a)的第一列图和图8中(a)的第二列图进行对比得到图8中(a)的第三列图(偏差图)，也即图8中第三列的4幅图均为相同物体基于不同方法得到三维重建结果的对比偏差图。
通过观察图7和图8，可以证明本申请方法具有极高的正确性。
基于同样的发明构思，本申请实施例还提供一种模型训练方法，该模型训练方法能够对初始的绝对条纹级次分析模型进行训练，以使经过该模型训练方法训练后的绝对条纹级次分析模型，能够作为S2步骤中训练好的绝对条纹级次分析模型来使用。一种实施方式下，获取多条训练样本数据，每条训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；利用多条训练样本数据对初始的绝对条纹级次分析模型进行训练，得到训练好的绝对条纹级次分析模型。
另一种实施方式下，每条训练样本数据还包括截断相位图对应的变形条纹图。此时，每条训练样本数据包括：截断相位图、截断相位图对应的变形条纹图、截断相位图对应的绝对条纹级次图标签。
下面介绍获取训练样本的方法。
一种实施方式下，获取训练样本的方法可以是：在定制开发的结构光三维成像装置上，投影多组不同空间频率的变形条纹图，用相位展开方法对采集到的变形条纹图进行处理得到绝对相位图，相位展开方法的具体原理或者过程可以参考现有技术，例如使用时间相位展开、空间相位展开等方法获得绝对相位图。
其中，训练样本的截断相位图可利用相移法公式(1-1)在最高频率的变形条纹图上进行获取；训练样本中的调制度图可利用公式(1-3)在最高频率的变形条纹图上进行获取；训练样本中的绝对条纹级次标签可使用绝对相位图和截断相位图(已通过调制度值和调制度阈值去除了背景和无效区域)通过公式(1-2)计算进行获取。整个训练数据的获取不需要人工标注，减少了大量的人工耗费。
值得说明的是，训练样本数据中，应当有50％数量以上的截断相位图其对应的绝对条纹级次图具有边界级次，即训练样本数据中的所有截断相位图里，使多数的截断相位图其对应的绝对条纹级次图是有边界级次的。例如，使训练样本数据中70％数量左右的截断相位图其对应的绝对条纹级次图具有边界级次。
下面介绍构建绝对条纹级次分析模型的方法。
一种绝对条纹级次分析模型的结构可以包括编码器、解码器以及分类器(softmax)，其结构如图9所示。
其中，编码器部分用于对输入的截断相位图或变形条纹图进行处理，如图10所示，结构包括3个下采样块和13个卷积块，图10中数字表明其上方模块的通道数量，例如32表示上方对应的下采样块和卷积块输出均为32个通道。
编码器部分中，下采样块的结构均为如图11所示，包括一个二维3*3卷积层(Conv2d)、一个平均池化层(AvgPool)、一个批归一化层(BN)和激活函数(Relu)。其中，批归一化层用于加快训练速度和提升模型精度；选用平均池化层而不是常用的最大池化层是因为其能保存更多的图像全局信息。下采样块一方面能够减少图像分辨率以降低网络计算量，从而提升训练和推理速度，另一方面能够扩大卷积神经网络的感受野，有利于接下来的卷积块提取到更加全局、语义层次更高的特征。
编码器部分中，卷积块的结构均为如图12所示，包括一个一维3*1的卷积层(Conv1d)及激活函数(Relu)、一个一维1*3的卷积层(Conv1d)及批归一化层(BN)和激活函数(Relu)、一个一维3*1的卷积层(Conv1d)及激活函数(Relu)、一个一维1*3的卷积层(Conv1d)及批归一化层(BN)、一个激活函数(Relu)，其中，最后一个激活函数(Relu)用于对传入当前卷积块的特征图与经过卷积层计算的特征图相加后进行激活，能够极大的降低计算量并且保证近似的精度。
解码器部分用于将编码器处理过的结果恢复到图像原始大小，其结构如图13所示，结构包括1个上采样块、1个卷积块和1个二维1*1的卷积层，图13中数字表明其上方模块或二维卷积层的通道数量，例如16表示上方对应的上采样块和卷积块输出均为16个通道。
解码器部分中，上采样块的结构为图14所示，包括一个二维反卷积层(ConvTranspose2d)、一个批归一化层(BN)和激活函数(Relu)。
解码器部分中，卷积块的结构与编码器中卷积块的结构类似，解码器部分中卷积块的作用为增加像素分类精度，可以进一步将抽象的特征转换为有助于确定绝对条纹级次的信息。
解码器部分中，二维1*1的卷积层作用为改变输出通道数，即绝对条纹级次总数加背景，例如图3中有级次0到级次16的条纹级次区域和1个背景区域，则通道数量总共为18。每个像素的每个通道的数值代表了这个像素是这个类别的可能性大小，则在解码器之后增加一个Softmax(一种逻辑回归函数，用于多分类问题的一般化归纳)，使得通过Softmax得到每个像素最大可能性的分类结果，也就是绝对条纹级次图。
通过上述方法，在获取得到训练样本数据以及构建好相应的绝对条纹级次分析模型后，即可进行模型训练。因此，模型训练方法可以通过本申请来对绝对条纹级次分析模型进行训练，也可以是通过第三方获取训练好的绝对条纹级次分析模型，其训练过程可以是由第三方进行模型训练。
使用训练样本数据对绝对条纹级次分析模型进行训练时，如训练周期、损失函数、优化器、训练集数量等的设置可以参考现有技术，在此不再赘述。
本申请实施例中还提供一种三维成像装置100，如图15所示，该三维成像装置100包括：获取模块110、计算模块120、成像模块130。
获取模块110，用于获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位。
计算模块120，用于将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图。
成像模块130，用于根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
可选地，获取模块110，用于获取所述截断相位图对应的变形条纹图，所述变形条纹图包括每个像素点的像素值；相应地，将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，包括：将所述截断相位图和所述变形条纹图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图。
可选地，计算模块120，用于所述截断相位图上每个像素点的相位对应加上所述绝对条纹级次图上每个像素点的级次分别与2pi的乘积的值，从而得到所述绝对相位图。
三维成像装置100还包括：训练模块，用于对本申请实施例中绝对条纹级次分析模型进行训练，其中获取模块110还可以用于获取多条训练样本数据，每条所述训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签。
可选地，训练模块，用于对本申请实施例中绝对条纹级次分析模型进行训练，其中获取模块110还可以用于获取所述截断相位图对应的变形条纹图。
本申请实施例所提供的三维成像装置100，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例中还提供一种电子设备200，如图16所示。电子设备200包括：收发器210、存储器220、通讯总线230以及处理器240。
所述收发器210、所述存储器220、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线230或信号线实现电性连接。其中，收发器210用于收发数据。存储器220用于存储计算机程序，如存储有图15中所示的软件功能模块，即三维成像装置100。其中，三维成像装置100包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器220中或固化在所述电子设备200的操作系统(Operating System，OS)中的软件功能模块。所述处理器240，用于执行存储器220中存储的可执行模块，例如三维成像装置100包括的软件功能模块或计算机程序。例如，处理器240，获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位；将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图；根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
其中，存储器220可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器240也可以是任何常规的处理器等。
其中，上述的电子设备200，包括但不限于计算机、服务器等。
本申请实施例还提供了一种非易失性的计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备200运行时，执行上述所示的三维成像方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者电子设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种三维成像方法，其特征在于，包括：
获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位；
将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；
根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图；
根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
2.根据权利要求1的所述方法，其特征在于，所述方法还包括：
获取所述截断相位图对应的变形条纹图，所述变形条纹图包括每个像素点的像素值；相应地，
将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，包括：
将所述截断相位图和所述变形条纹图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图。
3.根据权利要求1的所述方法，其特征在于，根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，包括：
所述截断相位图上每个像素点的相位加上所述绝对条纹级次图上该像素点的级次分别与2pi的乘积的值，从而得到所述绝对相位图。
4.根据权利要求1的所述方法，其特征在于，在所述将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理之前，所述方法还包括：获取多条训练样本数据，每条所述训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；
利用所述多条训练样本数据对初始的绝对条纹级次分析模型进行训练，得到训练好的所述绝对条纹级次分析模型。
5.根据权利要求4的所述方法，其特征在于，每条所述训练样本数据还包括：所述截断相位图对应的变形条纹图。
6.一种模型训练方法，其特征在于，包括：
获取多条训练样本数据，每条所述训练样本数据包括：截断相位图、该截断相位图对应的绝对条纹级次图标签；
利用所述多条训练样本数据对初始的绝对条纹级次分析模型进行训练，得到训练好的绝对条纹级次分析模型。
7.根据权利要求6的所述方法，其特征在于，每条所述训练样本数据还包括：所述截断相位图对应的变形条纹图。
8.一种三维成像装置，其特征在于，包括：
获取模块，用于获取目标物体对应的截断相位图，所述截断相位图包括每个像素点对应的相位；
计算模块，用于将所述截断相位图输入事先训练好的绝对条纹级次分析模型进行处理，得到对应的绝对条纹级次图，所述绝对条纹级次图包括每个像素点所对应的绝对条纹级次序号；根据所述截断相位图和所述绝对条纹级次图，得到绝对相位图，所述绝对相位图为绝对相位的连续相位图；
成像模块，用于根据所述绝对相位图得到目标物体的三维信息，并对所述三维信息进行成像。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器和处理器，所述处理器与所述存储器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210054797.8A CN114399599A (zh) | 2022-01-18 | 2022-01-18 | 三维成像方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210054797.8A CN114399599A (zh) | 2022-01-18 | 2022-01-18 | 三维成像方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114399599A true CN114399599A (zh) | 2022-04-26 |
Family
ID=81230426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210054797.8A Pending CN114399599A (zh) | 2022-01-18 | 2022-01-18 | 三维成像方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399599A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116105632A (zh) * | 2023-04-12 | 2023-05-12 | 四川大学 | 一种结构光三维成像的自监督相位展开方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102322823A (zh) * | 2011-09-13 | 2012-01-18 | 四川大学 | 基于相位级次自编码的光学三维测量方法 |
| CN111006612A (zh) * | 2019-12-20 | 2020-04-14 | 四川大学 | 三维成像方法、装置、计算机设备和可读存储介质 |
| CN111311606A (zh) * | 2020-01-20 | 2020-06-19 | 四川大学 | 连续相位图获取方法、装置、计算机设备和可读存储介质 |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN113345039A (zh) * | 2021-03-30 | 2021-09-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 三维重建量化结构光相位图像编码方法 |
| CN113379818A (zh) * | 2021-05-24 | 2021-09-10 | 四川大学 | 一种基于多尺度注意力机制网络的相位解析方法 |
-
2022
- 2022-01-18 CN CN202210054797.8A patent/CN114399599A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102322823A (zh) * | 2011-09-13 | 2012-01-18 | 四川大学 | 基于相位级次自编码的光学三维测量方法 |
| CN111006612A (zh) * | 2019-12-20 | 2020-04-14 | 四川大学 | 三维成像方法、装置、计算机设备和可读存储介质 |
| CN111311606A (zh) * | 2020-01-20 | 2020-06-19 | 四川大学 | 连续相位图获取方法、装置、计算机设备和可读存储介质 |
| CN111351450A (zh) * | 2020-03-20 | 2020-06-30 | 南京理工大学 | 基于深度学习的单帧条纹图像三维测量方法 |
| CN113345039A (zh) * | 2021-03-30 | 2021-09-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 三维重建量化结构光相位图像编码方法 |
| CN113379818A (zh) * | 2021-05-24 | 2021-09-10 | 四川大学 | 一种基于多尺度注意力机制网络的相位解析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘元坤 等: "三维成像中相位级次自编码的相位测量方法" * |
| 宋万忠 等: "相位测量轮廓术中三维坐标校准新方法" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116105632A (zh) * | 2023-04-12 | 2023-05-12 | 四川大学 | 一种结构光三维成像的自监督相位展开方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Smolyanskiy et al. | On the importance of stereo for accurate depth estimation: An efficient semi-supervised deep neural network approach | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN109751973B (zh) | 三维测量装置、三维测量方法以及存储介质 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| US7961954B2 (en) | Sub-pixel accuracy and valid correlation signal detection by forward and reverse correlation | |
| US9959625B2 (en) | Method for fast camera pose refinement for wide area motion imagery | |
| US20120127275A1 (en) | Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system | |
| US20160094830A1 (en) | System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns | |
| US7912321B1 (en) | Image registration with uncertainty analysis | |
| JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
| CN113160068B (zh) | 基于图像的点云补全方法及系统 | |
| CN111006612B (zh) | 三维成像方法、装置、计算机设备和可读存储介质 | |
| CN105389774A (zh) | 对齐图像的方法和装置 | |
| US11443481B1 (en) | Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models | |
| CN110686652B (zh) | 一种基于深度学习和结构光相结合的深度测量方法 | |
| US20210158081A1 (en) | System and method for correspondence map determination | |
| WO2009096520A1 (ja) | 対応点探索装置および対応点探索方法 | |
| CN114399599A (zh) | 三维成像方法、装置、电子设备及计算机可读存储介质 | |
| CN115272683A (zh) | 一种基于深度学习的中心差分信息滤波相位解缠方法 | |
| CN114519681A (zh) | 自动标定方法及装置、计算机可读存储介质、终端 | |
| US20170116739A1 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
| Blanchet et al. | Fattening free block matching | |
| CN115908705A (zh) | 一种基于特殊编码的三维成像方法及装置 | |
| CN109741389B (zh) | 一种基于区域基匹配的局部立体匹配方法 | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220426 |
|
| RJ01 | Rejection of invention patent application after publication |