CN112348947B - 一种基于参考信息辅助的深度学习的三维重构方法 - Google Patents

一种基于参考信息辅助的深度学习的三维重构方法 Download PDF

Info

Publication number
CN112348947B
CN112348947B CN202110016296.6A CN202110016296A CN112348947B CN 112348947 B CN112348947 B CN 112348947B CN 202110016296 A CN202110016296 A CN 202110016296A CN 112348947 B CN112348947 B CN 112348947B
Authority
CN
China
Prior art keywords
data
frequency
layer
recon
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110016296.6A
Other languages
English (en)
Other versions
CN112348947A (zh
Inventor
左超
张晓磊
胡岩
沈德同
钱佳铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hu Wencan
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202110016296.6A priority Critical patent/CN112348947B/zh
Publication of CN112348947A publication Critical patent/CN112348947A/zh
Application granted granted Critical
Publication of CN112348947B publication Critical patent/CN112348947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

本发明提供一种基于参考信息辅助的深度学习的三维重构方法，包括如下步骤：S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net；S2：搭建条纹投影轮廓系统并标定，所述条纹投影轮廓系统生成训练集，所述Recon_net采集训练集进行训练。相比于传统三维重构方法，本发明无需复杂繁琐的系统预标定过程，通过训练后的深度学习模型，以数据驱动的方式直接将被测物相位信息映射到绝对深度，操作更加便捷；相比于传统端到端的深度学习方法，本发明通过在输入数据中添加一组参考信息，使得神经网络能够更加快速、有效地实现相位到深度的映射。

Description

一种基于参考信息辅助的深度学习的三维重构方法
技术领域
本发明涉及光学测量技术领域，具体为一种基于参考信息辅助的深度学习的三维重构方法。
背景技术
条纹投影轮廓术（FPP）是目前最为广泛使用的一种光学三维成像技术之一。由于其便捷的硬件装置、较高的测量精度而被广泛应用于智能制造、生物医学、人机交互等领域。
一个传统的基于条纹投影的三维成像系统由一个投影仪和一个相机组成，投影仪将条纹图像投向物体，条纹被物体调制后变形，由相机采集调制后的条纹图；从采集到的条纹图可获取物体的包裹相位信息，将包裹相位展开成绝对相位后，最后可根据预标定参数恢复出物体的三维形貌。该过程中最后一步称之为三维重构，通常三维重构需借助预标定参数。这里以相机标定为例介绍标定的过程，相机标定简单来说是从世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程，其中后者的转换需通过相机的内参（焦距、主点位置、畸变参数等），前者转换需通过相机的外参（旋转、平移矩阵）。为了求解相机的内外参，需利用特制的标定板，将标定板以不同姿态放置于相机前，相机采集不同姿态下的标定板图像后，提取出标定板中的二维特征点，特征点对应的世界坐标系下的三维点可认为已知，根据相机针孔模型列出一系列二维特征点通过内外参映射到三维点的方程，可求解相机的内外参。投影仪的标定与相机标定类似，将投影仪视为一个逆相机来进行建模，但是由于投影仪无法像相机一样拍摄到图像，因此通常通过向标定板投影横纵条纹图像的方式来提取投影仪所“看到”的标定板的二维特征点，同样列出一系列二维特征点通过投影仪内外参映射到三维点的方程，可求解投影仪的内外参。通过以上描述不难看出，条纹投影轮廓系统的标定过程十分复杂繁琐，但这却是三维重构必经的一个过程。如何以更简单便捷的方式进行三维重构已成为条纹投影领域的一大难题。
发明内容
本发明目的在于提供一种基于参考信息辅助的深度学习的三维重构方法，借助深度学习这一可综合利用空时信息的工具来实现三维重构，首先构建一标准条纹投影轮廓系统，通过传统算法收集大量绝对相位-深度信息对用作深度神经网络的训练集；此外，创新性地在网络输入数据中添加一组参考数据，以使网络能够更了高效的从相位信息中预测被测物的绝对深度。
为达成上述目的，本发明提出如下技术方案：一种基于参考信息辅助的深度学习的三维重构方法，包括如下步骤：
S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net；
S2：搭建条纹投影轮廓系统并标定，所述条纹投影轮廓系统生成训练集，所述Recon_net采集训练集进行训练，定义训练后的Recon_net为Recon_model；
S3：利用训练完成的Recon_model实现相位到深度的映射。
优选的，步骤S1中，深度卷积神经网络的3条路径分别为处理路径1、处理路径2和处理路径3；
处理路径1包括第一卷积层、第一残差模块和第二卷积层，定义进入处理路径1的数据为未处理数据a，所述未处理数据a进入第一卷积层、第一残差模块进行处理，定义未处理数据a经第一卷积层、第一残差模块处理后为处理数据b，所述处理数据a和未处理数据b一起依次进入第二卷积层和连接层；
处理路径2包括第三卷积层、第一池化层、第二残差模块、第一上采样层和第四卷积层，定义进入处理路径2的数据为未处理数据c，所述未处理数据c进入第三卷积层、第一池化层、第二残差模块、第一上采样层进行处理，定义未处理数据c经第三卷积层、第一池化层、第二残差模块、第一上采样层处理后为处理数据d，所述未处理数据c和处理数据d一起依次进入第四卷积层和连接层；
处理路径3包括第五卷积层、第二池化层、第三残差模块、第二上采样层、第三上采样层和第六卷积层，定义进入处理路径3的数据为未处理数据e，所述未处理数据e进入第五卷积层、第二池化层、第三残差模块、第二上采样层和第三上采样层进行处理，定义未处理数据e经第五卷积层、第二池化层、第三残差模块、第二上采样层和第三上采样层处理后为处理数据f，所述未处理数据e和处理数据f一起依次进入第六卷积层和连接层；
连接层将处理路径1、处理路径2和处理路径3传输来的数据进行叠加，叠加后的数据经过第七卷积层输出通道数为1的3D张量，进而使得深度卷积神经网络的输入和输出分别是一个具有3通道的3D张量和一个具有1通道的3D张量。
优选的，步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21具体过程如下，搭建条纹投影轮廓系统，并对系统进行标定，其中搭建的条纹投影轮廓系统由一个投影仪和一个相机组成，投影仪和相机之间用1根触发线相连接，然后利用张正友标定算法，将整个系统标定到统一世界坐标系下，得到1个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数；
步骤S22中，使用投影仪投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，并利用相移法和多频时间相位展开法生成训练Recon_net所需的参考输入数据，其中，使用投影仪向平板投影并由相机同步采集所投影的条纹图像，获得平板的高频绝对相位为和平板的深度信息为，使用投影仪向待测量物投影并由相机同步采集所投影的条纹图像，获得待测量物的高频绝对相位为和待测量物的深度信息为；
步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226，步骤S221具体过程如下，使用投影仪投影36幅3个频率的12步相移条纹图像，3个频率分别为1频、8频、48频，相机同步采集所投影的条纹图像，记相机所采集的三个不同频率的条纹图像分别表示为
Figure DEST_PATH_IMAGE001
、
Figure 100002_DEST_PATH_IMAGE002
、
Figure DEST_PATH_IMAGE003
，其中上标l、m和h分别表示1频、8频和48频，下标表示12幅相移条纹图像中的哪一幅，1频为低频，8频为中频，48频为高频；
步骤S222，使用多步相移法获取三个频率的包裹相位
Figure 100002_DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
、
Figure 100002_DEST_PATH_IMAGE006
，上标表示不同的低、中、高频率：
Figure DEST_PATH_IMAGE007
（A）；
Figure 100002_DEST_PATH_IMAGE008
（B）；
Figure DEST_PATH_IMAGE009
（C）；
式中；
步骤S223，使用多频时间相位展开法获取中频包裹相位
Figure 100002_DEST_PATH_IMAGE010
的绝对相位
Figure DEST_PATH_IMAGE011
和高频包裹相位
Figure 100002_DEST_PATH_IMAGE012
的绝对相位
Figure DEST_PATH_IMAGE013
：
Figure 100002_DEST_PATH_IMAGE014
（D）；
Figure DEST_PATH_IMAGE015
（E）；
步骤S224，由获取的高频绝对相位
Figure 847836DEST_PATH_IMAGE013
，并通过S21中获得的标定参数可重构出平板的三维形貌信息，并获取深度信息
Figure 100002_DEST_PATH_IMAGE016
；
步骤S225，利用步骤S221 - S224中的投影仪向平板投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取平板的高频绝对相位和深度信息，定义获得平板的高频绝对相位为
Figure DEST_PATH_IMAGE017
和平板的深度信息为
Figure 100002_DEST_PATH_IMAGE018
，
Figure 889610DEST_PATH_IMAGE017
和
Figure 403768DEST_PATH_IMAGE018
的下标0表示来自于平板的参考数据，用于区分待测量物的高频绝对相位
Figure 330136DEST_PATH_IMAGE013
和度信息
Figure 941245DEST_PATH_IMAGE016
，平板的高频绝对相位
Figure 294866DEST_PATH_IMAGE017
以及深度信息
Figure 594523DEST_PATH_IMAGE018
作为一组输入参考数据，通过在输入数据中加入参考数据能够让Recon_net更快、更容易地学习相位-深度的映射；
步骤S226，投影仪向待测量物投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取被测物的高频绝对相位
Figure DEST_PATH_IMAGE019
，以及对应的深度信息
Figure 855740DEST_PATH_IMAGE016
，参考数据为平板的高频绝对相位
Figure 100002_DEST_PATH_IMAGE020
和深度信息
Figure DEST_PATH_IMAGE021
，最终将参考数据以及待测量物的高频绝对
Figure 321356DEST_PATH_IMAGE019
相位作为Recon_net的一组输入数据，将待测量物的深度信息
Figure 111458DEST_PATH_IMAGE016
作为Recon_net的一组输出数据；
步骤S23具体过程如下，重复步骤S22，生成1000组训练数据，参考数据无需重复采集，即平板的高频绝对相位
Figure 396946DEST_PATH_IMAGE020
和平板的深度信息
Figure 665116DEST_PATH_IMAGE021
无需重复采集，只需采集待测量物的绝对相位
Figure 221125DEST_PATH_IMAGE019
和深度信息
Figure 385390DEST_PATH_IMAGE016
；
步骤S24，训练Recon_net，并生成训练模型Recon_model；
步骤S24具体过程如下，将
Figure 158174DEST_PATH_IMAGE020
、
Figure 964456DEST_PATH_IMAGE021
、
Figure 404664DEST_PATH_IMAGE013
作为输入数据，
Figure 270989DEST_PATH_IMAGE016
作为标准数据送入Recon_net，利用均方误差作为损失函数，计算标准值与Recon_net输出值之间的差异，结合反向传播法，反复迭代优化Recon_net的内部参数，直到损失函数收敛，此时Recon_net训练结束，在Recon_net的训练过程中，除第七卷积层外，其余任意卷积层中使用的激活函数均为线性整流函数，迭代优化损失函数时，采用Adam 算法寻找损失函数的最小值，记最终训练后的模型为Recon_model。
优选的，步骤S3中，利用训练完成的模型Recon_model预测被测物体的深度信息，在训练完成后的Recon_ model中输入
Figure 265490DEST_PATH_IMAGE020
、
Figure 100002_DEST_PATH_IMAGE022
、
Figure 672200DEST_PATH_IMAGE013
，输出被测物的深度信息，定义被测物的深度信息为
Figure DEST_PATH_IMAGE023
。
有益效果，本申请的技术方案具备如下技术效果：本发明相比于传统三维重构方法，本发明无需复杂繁琐的系统预标定过程，通过训练后的深度学习模型，以数据驱动的方式直接将被测物相位信息映射到绝对深度，操作更加便捷；相比于传统端到端的深度学习方法，本发明通过在输入数据中添加一组参考信息，使得神经网络能够更加快速、有效地实现相位到深度的映射。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明基于参考信息辅助的深度学习的三维重构方法的步骤流程示意图。
图2：Recon_net的结构与原理图。
图3：传统端到端深度学习方法与本发明提出的基于参考信息辅助的深度学习的三维重构方法对两个场景的测量结果。其中图3（a）-3（b）为测试场景，图3（c）-3（d）为端到端的深度学习方法的结果，图3（e）-（f）为本发明所提出方法的测量结果。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
在条纹投影领域，整个三维成像过程一般包括标定、相位获取、相位展开、三维重构等步骤，其中三维重构通常需借助标定获取的参数，而标定过程十分繁琐复杂，因此本发明创新性提出一种基于深度学习的三维重构方法，经训练的网络可无需标定过程直接将相位映射到绝对深度信息。本方法包括以下3个步骤：
S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net，所构建的Recon_net由3个路径组成，构建的Recon_net结构如图2所示，其中（H，W）代表所使用的图像尺寸，C表示深度学习层的通道数目。Recon_net的输入和输出分别是一个具有3通道的3D张量和一个具有1通道的3D张量。具体如下：
处理路径1包括第一卷积层1、第一残差模块2和第二卷积层3，定义进入处理路径1的数据为未处理数据a，未处理数据a进入第一卷积层1、第一残差模块2进行处理，定义未处理数据a经第一卷积层1、第一残差模块2处理后为处理数据b，处理数据a和未处理数据b一起依次进入第二卷积层3和连接层4；
处理路径2包括第三卷积层5、第一池化层6、第二残差模块7、第一上采样层8和第四卷积层9，定义进入处理路径2的数据为未处理数据c，未处理数据c进入第三卷积层5、第一池化层6、第二残差模块7、第一上采样层8进行处理，定义未处理数据c经第三卷积层5、第一池化层6、第二残差模块7、第一上采样层8处理后为处理数据d，未处理数据c和处理数据d一起依次进入第四卷积层9和连接层4；
处理路径3包括第五卷积层10、第二池化层11、第三残差模块12、第二上采样层13、第三上采样层14和第六卷积层15，定义进入处理路径3的数据为未处理数据e，未处理数据e进入第五卷积层10、第二池化层11、第三残差模块12、第二上采样层13和第三上采样层14进行处理，定义未处理数据e经第五卷积层10、第二池化层11、第三残差模块12、第二上采样层13和第三上采样层14处理后为处理数据f，未处理数据e和处理数据f一起依次进入第六卷积层15和连接层4；
连接层4将处理路径1、处理路径2和处理路径3传输来的数据进行叠加，叠加后的数据经过第七卷积层16输出通道数为1的3D张量，进而使得深度卷积神经网络的输入和输出分别是一个具有3通道的3D张量和一个具有1通道的3D张量。
第一残差模块2、第二残差模块7和第三残差模块12的具体构建方法见[K. He，X.Zhang，S. Ren，and J. Sun，“Deep residual learning for image recognition,” inProceedings of the IEEE conference on computer vision and pattern recognition（IEEE，2016），pp. 770–778.]。Recon_net中的第一池化层6和第二池化层11分别对数据进行1/2、1/4的降采样，以提高网络对特征的识别能力，同时保持通道数量保持不变。第一上采样层8、第二上采样层13和第三上采样层14的作用是对数据进行分辨率的上采样，将数据的高度和宽度分别变为上一次的2倍，目的是恢复图像的原始分辨率。
步骤S2中，搭建条纹投影轮廓系统并标定，投影36幅3个频率的12步相移条纹图像，利用多步相移法和多频时间相位展开法生成训练数据，训练Recon_net，获取训练后的深度学习模型记为Recon_model。具体如下：
步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21具体过程如下，搭建条纹投影轮廓系统，并对系统进行标定，其中搭建的条纹投影轮廓系统由一个投影仪和一个相机组成。投影仪和相机之间用1根触发线相连接；然后利用张正友标定算法[Z. Zhang，“Aflexible new technique for camera calibration.” IEEE Transactions on patternanalysis and machine intelligence. 22（11），1330-1334 （2000）. ]，将整个系统标定到统一世界坐标系下，得到1个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数[K. Liu，Y. Wang，D. L. Lau，et al，“Dual-frequency pattern schemefor high-speed 3-D shape measurement.” Optics express. 18（5）: 5229-5244（2010）.]。
步骤S22中，使用投影仪投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，并利用相移法和多频时间相位展开法生成训练Recon_net所需的参考输入数据，其中，使用投影仪向平板投影并由相机同步采集所投影的条纹图像，获得平板的高频绝对相位为和平板的深度信息为，使用投影仪向待测量物投影并由相机同步采集所投影的条纹图像，获得待测量物的高频绝对相位为和待测量物的深度信息为。
步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226，步骤S221具体过程如下，使用投影仪投影36幅3个频率（1频、8频、48频）的12步相移条纹图像，相机同步采集所投影的条纹图像，记相机所采集的三个不同频率的条纹图像分别表示为
Figure 937222DEST_PATH_IMAGE001
、
Figure 240027DEST_PATH_IMAGE002
、
Figure 721824DEST_PATH_IMAGE003
，其中上标l，m，h分别表示1频（低频）、8频（中频）和48频（高频），下标表示12幅相移条纹图像中的哪一幅。
步骤S222具体过程如下，使用多步相移法获取三个频率的包裹相位
Figure 401067DEST_PATH_IMAGE004
、
Figure 487972DEST_PATH_IMAGE005
、
Figure 961679DEST_PATH_IMAGE006
，上标表示不同的低、中、高频率）：
Figure 930772DEST_PATH_IMAGE007
（A）
Figure 148126DEST_PATH_IMAGE008
（B）
Figure 151854DEST_PATH_IMAGE009
（C）
式中。
步骤S223具体过程如下，使用多频时间相位展开法获取中频包裹相位
Figure 20629DEST_PATH_IMAGE010
的绝对相位
Figure 742598DEST_PATH_IMAGE011
和高频包裹相位
Figure 498064DEST_PATH_IMAGE012
的绝对相位
Figure 293982DEST_PATH_IMAGE013
：
Figure 109491DEST_PATH_IMAGE014
（D）
Figure 318755DEST_PATH_IMAGE015
（E）
步骤S224具体过程如下，由获取的高频绝对相位
Figure 877913DEST_PATH_IMAGE013
，并通过S21中获得的标定参数可重构出三维形貌信息[K. Liu，Y. Wang，D. L. Lau，et al，“Dual-frequency patternscheme for high-speed 3-D shape measurement.” Optics express. 18（5）: 5229-5244 （2010）.]；并获取深度信息
Figure 325075DEST_PATH_IMAGE016
。
步骤S225具体过程如下，利用步骤S221 - S224中的投影仪向平板投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取平板的高频绝对相位和深度信息，定义获得平板的高频绝对相位为
Figure 45906DEST_PATH_IMAGE017
和平板的深度信息为
Figure 243931DEST_PATH_IMAGE018
，
Figure 341200DEST_PATH_IMAGE017
和
Figure 174027DEST_PATH_IMAGE018
的下标0表示来自于平板的参考数据，用于区分待测量物的高频绝对相位
Figure 269022DEST_PATH_IMAGE013
和深度信息
Figure 187300DEST_PATH_IMAGE016
，平板的高频绝对相位
Figure 353839DEST_PATH_IMAGE017
以及深度信息
Figure 775593DEST_PATH_IMAGE018
作为一组输入参考数据，通过在输入数据中加入参考数据能够让Recon_net更快、更容易地学习相位-深度的映射。
步骤S226具体过程如下，投影仪向待测量物投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取被测物的高频绝对相位
Figure 103806DEST_PATH_IMAGE013
，以及对应的深度信息
Figure 447063DEST_PATH_IMAGE016
，参考数据为平板的高频绝对相位
Figure 151713DEST_PATH_IMAGE017
和深度信息
Figure 195018DEST_PATH_IMAGE018
，最终将参考数据以及待测量物的高频绝对相位
Figure 959712DEST_PATH_IMAGE013
作为Recon_net的一组输入数据，将待测量物的深度信息
Figure 587002DEST_PATH_IMAGE016
作为Recon_net的一组输出数据。
步骤S23具体过程如下，重复步骤S22，生成1000组训练数据；这里需要注意的是，参考信数据无需重复采集，即平板的高频绝对相位
Figure 33027DEST_PATH_IMAGE017
和平板的深度信息
Figure 429373DEST_PATH_IMAGE018
无需重复采集，只需采集待测量物的高频绝对相位
Figure 99389DEST_PATH_IMAGE013
和深度信息
Figure 479555DEST_PATH_IMAGE016
。
步骤S24，训练Recon_net，并生成训练模型Recon_model。
步骤S24具体过程如下，训练Recon_net，并生成训练模型Recon_model。
将
Figure 260429DEST_PATH_IMAGE020
、
Figure 776861DEST_PATH_IMAGE021
、
Figure 821040DEST_PATH_IMAGE013
作为输入数据，
Figure 924388DEST_PATH_IMAGE016
作为标准数据送入Recon_net。利用均方误差作为损失函数，计算标准值与Recon_net输出值之间的差异。结合反向传播法，反复迭代优化Recon_net的内部参数，直到损失函数收敛，此时Recon_net训练结束。在Recon_net的训练过程中，除第七卷积层16，其余卷积层中使用的激活函数均为线性整流函数（Relu）。迭代优化损失函数时，采用Adam 算法寻找损失函数的最小值。记最终训练后的模型为Recon_model。
步骤S3，利用训练完成的Recon_model实现相位到深度的映射。具体如下：
（1）投影仪向被测物体投影36幅3个频率（1频/低频，8频/中频，48频/高频）的12步相移条纹图像，由相机同步采集所投影的条纹图像；利用多步相移法的公式（A）-（C）和多频时间相位展开法的公式（D）、（E）获取被测物的高频绝对相位。
（2）利用训练完成的模型Recon_model预测被测物体的深度信息。
即在训练完成后的Recon_ model中输入
Figure 774532DEST_PATH_IMAGE020
、
Figure 879891DEST_PATH_IMAGE022
、
Figure 891710DEST_PATH_IMAGE013
，并输出被测物的深度信息
Figure 980888DEST_PATH_IMAGE023
。
实施例：
为验证本发明所述方法的有效性，基于一台灰度相机（型号acA640-750um，Basler），一台投影仪（型号LightCrafter 4500，TI）构建了一套条纹投影轮廓系统用以采集训练集。训练数据时，共采集了1000组数据，训练过程中将800组数据用于训练，200组数据用于验证。训练结束后，为证明本方法有效性，对2个在训练时未见过的场景作为测试。为了体现本发明方法的优点，将本方法与一种端到端的深度学习方法进行了比较。图3展示了测量结果，其中图3（a）-3（b）为传统方法的测量结果，图3（c）-3（d）为端到端的深度学习方法的结果，图3（e）-（f）为本发明所提出方法的测量结果。从结果中可看出，传统端到端的深度学习方法并不能理想地恢复出物体的三维深度；而本发明提出的嵌入参考数据的方法能够以较高的成像质量恢复出物体的绝对深度信息。此外需要指出的是，本发明的参考数据只需采集一次，后续过程无需重复采集。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (3)

1.一种基于参考信息辅助的深度学习的三维重构方法，其特征在于，包括如下步骤：
S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net；
S2：搭建条纹投影轮廓系统并标定，所述条纹投影轮廓系统生成训练集，所述Recon_net采集训练集进行训练，定义训练后的Recon_net为Recon_model；
S3：利用训练完成的Recon_model实现相位到深度的映射；
步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21具体过程如下，搭建条纹投影轮廓系统，并对系统进行标定，其中搭建的条纹投影轮廓系统由一个投影仪和一个相机组成，投影仪和相机之间用1根触发线相连接，然后利用张正友标定算法，将整个系统标定到统一世界坐标系下，得到1个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数；
步骤S22中，使用投影仪投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，并利用相移法和多频时间相位展开法生成训练Recon_net所需的参考输入数据，其中，使用投影仪向平板投影并由相机同步采集所投影的条纹图像，获得平板的高频绝对相位为和平板的深度信息为，使用投影仪向待测量物投影并由相机同步采集所投影的条纹图像，获得待测量物的高频绝对相位为和待测量物的深度信息为；
步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226，步骤S221具体过程如下，使用投影仪投影36幅3个频率的12步相移条纹图像，3个频率分别为1频、8频、48频，相机同步采集所投影的条纹图像，记相机所采集的三个不同频率的条纹图像分别表示为
Figure DEST_PATH_IMAGE002
、
Figure DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE006
，其中上标l、m和h分别表示1频、8频和48频，下标表示12幅相移条纹图像中的哪一幅，1频为低频，8频为中频，48频为高频；
步骤S222，使用多步相移法获取三个频率的包裹相位
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE012
，上标表示不同的低、中、高频率：
Figure DEST_PATH_IMAGE014
（A）；
Figure DEST_PATH_IMAGE016
（B）；
Figure DEST_PATH_IMAGE018
（C）；
式中；
步骤S223，使用多频时间相位展开法获取中频包裹相位
Figure DEST_PATH_IMAGE020
的绝对相位
Figure DEST_PATH_IMAGE022
和高频包裹相位
Figure DEST_PATH_IMAGE024
的绝对相位
Figure DEST_PATH_IMAGE026
：
Figure DEST_PATH_IMAGE028
（D）；
Figure DEST_PATH_IMAGE030
（E）；
步骤S224，由获取的高频绝对相位
Figure DEST_PATH_IMAGE026A
，并通过S21中获得的标定参数可重构出平板的三维形貌信息，并获取深度信息
Figure DEST_PATH_IMAGE032
；
步骤S225，利用步骤S221 - S224中的投影仪向平板投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取平板的高频绝对相位和深度信息，定义获得平板的高频绝对相位为
Figure DEST_PATH_IMAGE034
和平板的深度信息为
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE034A
和
Figure DEST_PATH_IMAGE036A
的下标0表示来自于平板的参考数据，用于区分待测量物的高频绝对相位
Figure DEST_PATH_IMAGE026AA
和深度信息
Figure DEST_PATH_IMAGE032A
，平板的高频绝对相位
Figure DEST_PATH_IMAGE034AA
以及深度信息
Figure DEST_PATH_IMAGE036AA
作为一组输入参考数据，通过在输入数据中加入参考数据能够让Recon_net更快、更容易地学习相位-深度的映射；
步骤S226，投影仪向待测量物投影36幅3个频率的12步相移条纹图像，由相机同步采集所投影的条纹图像，利用多步相移法和多频时间相位展开法获取被测物的高频绝对相位
Figure DEST_PATH_IMAGE038
，以及对应的深度信息
Figure DEST_PATH_IMAGE032AA
，参考数据为平板的高频绝对相位
Figure DEST_PATH_IMAGE040
和深度
Figure DEST_PATH_IMAGE042
信息，最终将参考数据以及待测量物的高频绝对相位
Figure DEST_PATH_IMAGE038A
作为Recon_net的一组输入数据，将待测量物的深度信息
Figure DEST_PATH_IMAGE032AAA
作为Recon_net的一组输出数据；
步骤S23具体过程如下，重复步骤S22，生成1000组训练数据，参考数据无需重复采集，即平板的高频绝对相位
Figure DEST_PATH_IMAGE040A
和平板的深度信息
Figure DEST_PATH_IMAGE042A
无需重复采集，只需采集待测量物的高频绝对相位
Figure DEST_PATH_IMAGE038AA
和深度信息
Figure DEST_PATH_IMAGE032AAAA
；
步骤S24，训练Recon_net，并生成训练模型Recon_model；
步骤S24具体过程如下，将
Figure DEST_PATH_IMAGE040AA
、
Figure DEST_PATH_IMAGE042AA
、
Figure DEST_PATH_IMAGE026AAA
作为输入数据，
Figure DEST_PATH_IMAGE032AAAAA
作为标准数据送入Recon_net，利用均方误差作为损失函数，计算标准值与Recon_net输出值之间的差异，结合反向传播法，反复迭代优化Recon_net的内部参数，直到损失函数收敛，此时Recon_net训练结束，在Recon_net的训练过程中，除第七卷积层（16）外，其余任意卷积层中使用的激活函数均为线性整流函数，迭代优化损失函数时，采用Adam算法寻找损失函数的最小值，记最终训练后的模型为Recon_model。
2.根据权利要求1所述的基于参考信息辅助的深度学习的三维重构方法，其特征在于，步骤S1中，深度卷积神经网络的3条路径分别为处理路径1、处理路径2和处理路径3；
处理路径1包括第一卷积层（1）、第一残差模块（2）和第二卷积层（3），定义进入处理路径1的数据为未处理数据a，所述未处理数据a进入第一卷积层（1）、第一残差模块（2）进行处理，定义未处理数据a经第一卷积层（1）、第一残差模块（2）处理后为处理数据b，所述处理数据a和未处理数据b一起依次进入第二卷积层（3）和连接层（4）；
处理路径2包括第三卷积层（5）、第一池化层（6）、第二残差模块（7）、第一上采样层（8）和第四卷积层（9），定义进入处理路径2的数据为未处理数据c，所述未处理数据c进入第三卷积层（5）、第一池化层（6）、第二残差模块（7）、第一上采样层（8）进行处理，定义未处理数据c经第三卷积层（5）、第一池化层（6）、第二残差模块（7）、第一上采样层（8）处理后为处理数据d，所述未处理数据c和处理数据d一起依次进入第四卷积层（9）和连接层（4）；
处理路径3包括第五卷积层（10）、第二池化层（11）、第三残差模块（12）、第二上采样层（13）、第三上采样层（14）和第六卷积层（15），定义进入处理路径3的数据为未处理数据e，所述未处理数据e进入第五卷积层（10）、第二池化层（11）、第三残差模块（12）、第二上采样层（13）和第三上采样层（14）进行处理，定义未处理数据e经第五卷积层（10）、第二池化层（11）、第三残差模块（12）、第二上采样层（13）和第三上采样层（14）处理后为处理数据f，所述未处理数据e和处理数据f一起依次进入第六卷积层（15）和连接层（4）；
连接层（4）将处理路径1、处理路径2和处理路径3传输来的数据进行叠加，叠加后的数据经过第七卷积层（16）输出通道数为1的3D张量，进而使得深度卷积神经网络的输入和输出分别是一个具有3通道的3D张量和一个具有1通道的3D张量。
3.根据权利要求2所述的基于参考信息辅助的深度学习的三维重构方法，其特征在于，步骤S3中，利用训练完成的模型Recon_model预测被测物体的深度信息，在训练完成后的Recon_ model中输入
Figure DEST_PATH_IMAGE040AAA
、
Figure DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE026AAAA
，输出被测物的深度信息，定义被测物的深度信息为
Figure DEST_PATH_IMAGE046
。
CN202110016296.6A 2021-01-07 2021-01-07 一种基于参考信息辅助的深度学习的三维重构方法 Active CN112348947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110016296.6A CN112348947B (zh) 2021-01-07 2021-01-07 一种基于参考信息辅助的深度学习的三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110016296.6A CN112348947B (zh) 2021-01-07 2021-01-07 一种基于参考信息辅助的深度学习的三维重构方法

Publications (2)

Publication Number Publication Date
CN112348947A CN112348947A (zh) 2021-02-09
CN112348947B true CN112348947B (zh) 2021-04-09

Family

ID=74427943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110016296.6A Active CN112348947B (zh) 2021-01-07 2021-01-07 一种基于参考信息辅助的深度学习的三维重构方法

Country Status (1)

Country Link
CN (1) CN112348947B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119923B (zh) * 2021-11-29 2022-07-19 浙江大学 三维人脸重建方法、装置以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078192A1 (en) * 2003-10-14 2005-04-14 Casio Computer Co., Ltd. Imaging apparatus and image processing method therefor
CN109801375A (zh) * 2019-01-24 2019-05-24 电子科技大学 基于深度卷积对抗神经网络的多孔质材料三维重构方法
CN111325166A (zh) * 2020-02-26 2020-06-23 南京工业大学 基于投影重构和多输入多输出神经网络的坐姿识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078192A1 (en) * 2003-10-14 2005-04-14 Casio Computer Co., Ltd. Imaging apparatus and image processing method therefor
CN109801375A (zh) * 2019-01-24 2019-05-24 电子科技大学 基于深度卷积对抗神经网络的多孔质材料三维重构方法
CN111325166A (zh) * 2020-02-26 2020-06-23 南京工业大学 基于投影重构和多输入多输出神经网络的坐姿识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多视角卷积神经网络的三维模型分类方法;王鹏宇等;《中国科学：信息科学》;20190411;全文 *

Also Published As

Publication number Publication date
CN112348947A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2021184707A1 (zh) 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
CN105205858B (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
Chen et al. SAR and multispectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions
CN111047681B (zh) 基于深度学习的单像素三维端到端重建方法及装置
CN101996416B (zh) 3d人脸捕获方法和设备
CN106127767A (zh) 一种针对傅立叶叠层显微成像技术的位置校正方法
CN106023303A (zh) 一种基于轮廓有效性提高三维重建点云稠密程度的方法
CN112833818B (zh) 一种单帧条纹投影三维面型测量方法
CN106846416A (zh) 单机分束双目被动立体视觉精确重构与细分拟合方法
CN106023230A (zh) 一种适合变形图像的稠密匹配方法
CN112348947B (zh) 一种基于参考信息辅助的深度学习的三维重构方法
CN106054570A (zh) 采用强度传输方程实现单幅数字全息图较大相位重建方法
CN114777677A (zh) 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN105488759A (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN110686652A (zh) 一种基于深度学习和结构光相结合的深度测量方法
CN115272065A (zh) 基于条纹图超分辨率重建的动态条纹投影三维测量方法
CN115200702A (zh) 基于复数神经网络的计算成像方法及装置
CN113607346A (zh) 一种基于嵌入式处理器的三维声学成像实时信号处理装置
CN110211193B (zh) 三维ct层间图像插值修复与超分辨处理方法及装置
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
CN106931905A (zh) 一种基于非线性优化的数字莫尔条纹相位提取方法
CN107504919A (zh) 基于相位映射的折叠相位三维数字成像方法及装置
CN102298768B (zh) 基于稀疏样本的高分辨率图像重建方法
CN112465703B (zh) 一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211224

Address after: 210000 Room 606, building 15, Lidu Yayuan, No. 202, Puzhu Middle Road, Pukou District, Nanjing, Jiangsu Province

Patentee after: Hu Wencan

Address before: 4 / F, unit 2, building B4, science and technology complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province 210000

Patentee before: Nanjing University of technology intelligent computing Imaging Research Institute Co.,Ltd.