CN111928799A - 基于深度学习实现条纹图像对比度增强的三维测量方法 - Google Patents

基于深度学习实现条纹图像对比度增强的三维测量方法 Download PDF

Info

Publication number
CN111928799A
CN111928799A CN202011019550.XA CN202011019550A CN111928799A CN 111928799 A CN111928799 A CN 111928799A CN 202011019550 A CN202011019550 A CN 202011019550A CN 111928799 A CN111928799 A CN 111928799A
Authority
CN
China
Prior art keywords
fringe
neural network
image
enhanced
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011019550.XA
Other languages
English (en)
Inventor
郑东亮
韩静
柏连发
赵壮
傅佳安
于浩天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011019550.XA priority Critical patent/CN111928799A/zh
Publication of CN111928799A publication Critical patent/CN111928799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及基于深度学习实现条纹图像对比度增强的三维测量方法，包括以下步骤：1.设计神经网络：设计条纹调制度增强的卷积神经网络，2.条纹图像采集与参数标定，3.条纹图像对比度增强处理，4.计算包裹相位，重建三维信息。本发明提出的基于深度学习条纹图像对比度增强方法能够重建准确的3D形状而不会增加条纹的投影数量，最低只需要两幅相移图片就能获得较好的相位结果与三维信息，节省了计算资源并且计算速度较快，与传统的条纹处理方法相比，所消耗的处理时间与资源显著的降低，并且对于相位误差的抑制与消除效果要更加好。

Description

基于深度学习实现条纹图像对比度增强的三维测量方法
技术领域
本发明涉及基于深度学习实现条纹图像对比度增强的三维测量方法，属于计算机视觉技术领域。
背景技术
条纹图案轮廓测量法在非接触、高分辨率和高精度3D测量中发挥重要作用。在条纹图案轮廓测量法中，可通过使用相移算法或基于变换的方法计算所需的相位，前者可以达到较高的精度，但至少需要三个条纹，而后者则需要较少的条纹，但会丢失3D细节。其中，测量误差主要来自系统非线性响应，即伽马失真，这可以通过使用查找表，预编码或基于伽马模型的技术等来补偿。
但是，条纹图案轮廓测量法不可避免地会包含不稳定的噪声，这是由于不稳定的环境光，照相机和投影仪的闪烁，照相机的噪声以及图像采集卡和投影仪中的量化误差等造成的。当噪声干扰时，随机噪声可能会产生不可忽略的相位误差。捕获的条纹具有较低的条纹调制，因为随机相位误差与条纹调制成反比，而相位误差则会导致较大的3D测量误差。
在条纹图案轮廓测量法中，条纹调制度受投射到物体表面的投影仪光强，表面反射率，照相机的光圈和曝光时间等的影响。投影仪的投射光可以假定为一个常数，并且相机的光圈是预先确定的，被测物体的表面包含不均匀的反射率，即反射率相对较低的部分表面，反射率较高的部分表面。相机可以使用较大的相机曝光量来捕获反射率低的局部表面的高调制条纹，但对于反射率高的其他表面区域，将可能采集到过曝的条纹图像。此外，高速3D测量需要较小的相机曝光时间，这也给捕获高调制条纹带来了挑战。
传统方法通过临时增加条纹或过滤随机噪声的频谱来减少相位误差，但是前者牺牲了测量速度，而后者却丢失了3D细节。因此，提出一种合理的方法对于有效、准确地减小低调制度条纹图像带来的相位误差对条纹图案轮廓测量至关重要。
发明内容
为了解决上述技术问题，本发明提供基于深度学习实现条纹图像对比度增强的三维测量方法，其具体技术方案如下：
基于深度学习实现条纹图像对比度增强的三维测量方法，包括以下步骤：
步骤一：设计神经网络：设计条纹调制度增强的卷积神经网络；
步骤二：条纹图像采集与参数标定：通过三维测量系统采集原始的待测物体的条纹图片，通过标定得到系统中投影仪与相机的标定参数；
步骤三：条纹图像对比度增强处理：当采集的条纹图像的条纹对比度低，则将获取的低对比度正弦条纹图像输入进条纹调制度增强的卷积神经网络中，重建条纹图像，转换成高对比度的正弦条纹图像；
步骤四：计算包裹相位，重建三维信息：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：
Figure 378440DEST_PATH_IMAGE001
，（1）
式中(x,y)为像素点的坐标，N为一组相移条纹的步数，
Figure 148688DEST_PATH_IMAGE002
为相移量，然后再基于格雷码图的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位，即可重建出待测物体的三维信息。
进一步的，所述步骤二中条纹调制度增强的卷积神经网络由卷积层与跳层连接构建。
进一步的，所述条纹调制度增强的卷积神经网络包括训练阶段和测试阶段，训练阶段通过使输出条纹图像与相机实际采集的高对比度条纹图像之间的差别最小化，训练条纹调制度增强的卷积神经网络学习条纹图像的转换。
进一步的，所述条纹调制度增强的卷积神经网络利用（2）式实现参数最优化，
Figure 569436DEST_PATH_IMAGE003
，（2）
式中为条纹调制度增强的卷积神经网络的损失函数，
Figure 949602DEST_PATH_IMAGE004
为条纹调制度增强的卷积神经网络训练过程的参数集，m代表图片的像素个数，n表示输入的相移图片数量，
Figure 104377DEST_PATH_IMAGE005
为第n张条纹调制度增强的卷积神经网络输出相移条纹图片，
Figure 699438DEST_PATH_IMAGE006
为第n张标准相移条纹图片。
本发明的有益效果：
本发明提出的基于深度学习条纹图像对比度增强方法能够重建准确的3D形状而不会增加条纹的投影数量，最低只需要两幅相移图片就能获得较好的相位结果与三维信息，节省了计算资源并且计算速度较快，与传统的条纹处理方法相比，所消耗的处理时间与资源显著的降低，并且对于相位误差的抑制与消除效果要更加好。
附图说明
图1是本发明的流程示意图，
图2是本发明的条纹调制度增强的卷积神经网络结构示意图，
图3是本发明的低调制度条纹示意图I，
图4是本发明的低调制度条纹示意图II，
图5是图3条纹调制度增强后的示意图I，
图6是图4条纹调制度增强后的示意图II，
图7是图5和图6基于本发明重建的三维示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1和图2所示，本发明的基于深度学习实现条纹图像对比度增强的三维测量方法，包括以下步骤：
步骤一：设计神经网络：设计条纹调制度增强的卷积神经网络；
步骤二：条纹图像采集与参数标定：通过三维测量系统采集原始的待测物体的条纹图片，通过标定得到系统中投影仪与相机的标定参数；
步骤三：条纹图像对比度增强处理：当采集的条纹图像的条纹对比度低，则将获取的低对比度正弦条纹图像输入进条纹调制度增强的卷积神经网络中，重建条纹图像，转换成高对比度的正弦条纹图像；
步骤四：计算包裹相位，重建三维信息：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：
Figure 914256DEST_PATH_IMAGE001
，（1）
式中(x,y)为像素点的坐标，N为一组相移条纹的步数，
Figure 532450DEST_PATH_IMAGE002
为相移量，然后再基于格雷码图的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位，即可重建出待测物体的三维信息。其中，条纹调制度增强的卷积神经网络由卷积层与跳层连接构建；条纹调制度增强的卷积神经网络包括训练阶段和测试阶段，训练阶段通过使输出条纹图像与相机实际采集的高对比度条纹图像之间的差别最小化，训练条纹调制度增强的卷积神经网络学习条纹图像的转换。条纹调制度增强的卷积神经网络利用（2）式实现参数最优化，
Figure 382595DEST_PATH_IMAGE003
，（2）
式中Loss为条纹调制度增强的卷积神经网络的损失函数，
Figure 855996DEST_PATH_IMAGE004
为条纹调制度增强的卷积神经网络训练过程的参数集，m代表图片的像素个数，n表示输入的相移图片数量，
Figure 884126DEST_PATH_IMAGE005
为第n张条纹调制度增强的卷积神经网络输出相移条纹图片，
Figure 816048DEST_PATH_IMAGE006
为第n张标准相移条纹图片。在测试阶段中，经过训练的条纹调制度增强的卷积神经网络能够直接将输入的低对比度图像转换出所需的高对比度的条纹图像。
实施例一：
首先，通过三维测量系统采集原始的待测物体的条纹图片，如图3和图4所示，并通过标定得到系统中投影仪与相机的标定参数。然后，采用卷积神经网络方法对输入的低对比度条纹图像进行增强，构造卷积神经网络模型，卷积神经网络模型包括多个卷积层、BN层；卷积神经网络模型中每层卷积核的尺寸包括3x3，3x1，1x3；卷积神经网络模型中的卷积层采用线性整流激活函数。接着，在卷积层后添加BN层，使得输出的结果都会被规范化到合理范围中，能够一定程度上加快神经网络训练的收敛速度，降低了对网络参数初始且添加线性整流激活函数以避免网络训练过程中的梯度消失问题等。如图2所示，添加残差学习的方法对输入的图像进行增强，对卷积神经网络加入浅层到深层的首尾跨越连接，能够避免输入图像化过程的依赖程度，并在网络中的前向传播过程中进行多次卷积运算后得到的较高维度特征图像而丢失浅层图像特征的问题，有助于保留图像的浅层信息，加强卷积神经网络对图像浅层和深层特征的敏感度，提高增强映射的学习效果。预测并回归输出增强后的图像，通过计算输出图像与高对比度图像之间的误差：
Figure 469883DEST_PATH_IMAGE003
其中Loss为条纹调制度增强的卷积神经网络的损失函数，
Figure 570694DEST_PATH_IMAGE004
为条纹调制度增强的卷积神经网络训练过程的参数集，m代表图片的像素个数，n表示输入的相移图片数量，
Figure 2681DEST_PATH_IMAGE005
为第n张条纹调制度增强的卷积神经网络输出相移条纹图片，
Figure 454522DEST_PATH_IMAGE006
为第n张标准相移条纹图片。以此来约束网络的训练，并采用Adam迭代器的卷积神经网络进行训练。具体为在反向传播中采用Adam迭代器来进行网络参数更新，通过计算带偏差的估计，而后计算偏差修正后的估计得到提升，Adam算法中的参数设为默认值。最后，完成网络条纹调制度增强的卷积神经网络的训练，得到迭代优化后的网络，并输出增强后的条纹图像如图5和图6所示。经过相位计算与得到的相应系统标定参数便重建出待测物体的三维信息如图7所示。
使用本发明的基于深度学习实现条纹图像对比度增强的三维测量方法，通过测量增强前后的条纹对比度b,如下表所示，
Figure 380890DEST_PATH_IMAGE007
可以得到本发明的基于深度学习实现条纹图像对比度增强的三维测量方法对于不同的低对比度条纹图像，总能够显著的提高条纹图像的对比度。
本发明提出的基于深度学习条纹图像对比度增强方法能够重建准确的3D形状而不会增加条纹的投影数量，最低只需要两幅相移图片就能获得较好的相位结果与三维信息，节省了计算资源并且计算速度较快，与传统的条纹处理方法相比，所消耗的处理时间与资源显著的降低，并且对于相位误差的抑制与消除效果要更加好。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.基于深度学习实现条纹图像对比度增强的三维测量方法，其特征在于：包括以下步骤：
步骤一：设计神经网络：设计条纹调制度增强的卷积神经网络；
步骤二：条纹图像采集与参数标定：通过三维测量系统采集原始的待测物体的条纹图片，通过标定得到系统中投影仪与相机的标定参数；
步骤三：条纹图像对比度增强处理：当采集的条纹图像的条纹对比度低，则将获取的低对比度正弦条纹图像输入进条纹调制度增强的卷积神经网络中，重建条纹图像，转换成高对比度的正弦条纹图像；
步骤四：计算包裹相位，重建三维信息：对每组正弦条纹图像进行相位计算，得到包裹相位，如式（1）：
Figure 383403DEST_PATH_IMAGE001
，（1）
式中(x,y)为像素点的坐标，N为一组相移条纹的步数，
Figure 64920DEST_PATH_IMAGE002
为相移量，然后再基于格雷码图的方式将包裹相位解包裹得到绝对相位，结合所得到的标定参数与绝对相位，即可重建出待测物体的三维信息。
2.根据权利要求1所述的基于深度学习实现条纹图像对比度增强的三维测量方法，其特征在于：所述步骤二中条纹调制度增强的卷积神经网络由卷积层与跳层连接构建。
3.根据权利要求1所述的基于深度学习实现条纹图像对比度增强的三维测量方法，其特征在于：所述条纹调制度增强的卷积神经网络包括训练阶段和测试阶段，训练阶段通过使输出条纹图像与相机实际采集的高对比度条纹图像之间的差别最小化，训练条纹调制度增强的卷积神经网络学习条纹图像的转换。
4.根据权利要求3所述的基于深度学习实现条纹图像对比度增强的三维测量方法，其特征在于：所述条纹调制度增强的卷积神经网络利用（2）式实现参数最优化，
Figure 410582DEST_PATH_IMAGE003
，（2）
式中Loss为条纹调制度增强的卷积神经网络的损失函数，θ1为条纹调制度增强的卷积神经网络训练过程的参数集，m代表图片的像素个数，n表示输入的相移图片数量，
Figure 78324DEST_PATH_IMAGE004
为第n张条纹调制度增强的卷积神经网络输出相移条纹图片，
Figure 809519DEST_PATH_IMAGE005
为第n张标准相移条纹图片。
CN202011019550.XA 2020-09-25 2020-09-25 基于深度学习实现条纹图像对比度增强的三维测量方法 Pending CN111928799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011019550.XA CN111928799A (zh) 2020-09-25 2020-09-25 基于深度学习实现条纹图像对比度增强的三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011019550.XA CN111928799A (zh) 2020-09-25 2020-09-25 基于深度学习实现条纹图像对比度增强的三维测量方法

Publications (1)

Publication Number Publication Date
CN111928799A true CN111928799A (zh) 2020-11-13

Family

ID=73334700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011019550.XA Pending CN111928799A (zh) 2020-09-25 2020-09-25 基于深度学习实现条纹图像对比度增强的三维测量方法

Country Status (1)

Country Link
CN (1) CN111928799A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414304A (zh) * 2020-11-18 2021-02-26 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN112802084A (zh) * 2021-01-13 2021-05-14 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN112833818A (zh) * 2021-01-07 2021-05-25 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN113256800A (zh) * 2021-06-10 2021-08-13 南京理工大学 基于深度学习的精确快速大景深三维重建方法
CN117739861A (zh) * 2024-02-20 2024-03-22 青岛科技大学 一种基于深度学习的改进单模式自解相条纹投影三维测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292734A (zh) * 2013-05-27 2013-09-11 华中科技大学 相位测量系统中伽玛值标定方法
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
US20200151445A1 (en) * 2018-11-14 2020-05-14 Adobe Inc. Text Wrap Detection
US20200202524A1 (en) * 2018-12-19 2020-06-25 Caide Systems, Inc. Automatic brightness and contrast control neural network for medical diagnositic imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292734A (zh) * 2013-05-27 2013-09-11 华中科技大学 相位测量系统中伽玛值标定方法
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
US20200151445A1 (en) * 2018-11-14 2020-05-14 Adobe Inc. Text Wrap Detection
US20200202524A1 (en) * 2018-12-19 2020-06-25 Caide Systems, Inc. Automatic brightness and contrast control neural network for medical diagnositic imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张钊等: "多阶段深度学习单帧条纹投影三维测量方法", 《红外与激光工程》 *
赵洋等: "深度学习精确相位获取的离焦投影三维测量", 《红外与激光工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414304A (zh) * 2020-11-18 2021-02-26 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN112833818A (zh) * 2021-01-07 2021-05-25 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN112833818B (zh) * 2021-01-07 2022-11-15 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN112802084A (zh) * 2021-01-13 2021-05-14 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN112802084B (zh) * 2021-01-13 2023-07-07 广州大学 基于深度学习的三维形貌测量方法、系统和存储介质
CN113256800A (zh) * 2021-06-10 2021-08-13 南京理工大学 基于深度学习的精确快速大景深三维重建方法
CN113256800B (zh) * 2021-06-10 2021-11-26 南京理工大学 基于深度学习的精确快速大景深三维重建方法
CN117739861A (zh) * 2024-02-20 2024-03-22 青岛科技大学 一种基于深度学习的改进单模式自解相条纹投影三维测量方法

Similar Documents

Publication Publication Date Title
CN111928799A (zh) 基于深度学习实现条纹图像对比度增强的三维测量方法
Zuo et al. Phase shifting algorithms for fringe projection profilometry: A review
WO2022198974A1 (zh) 面向正弦条纹的非线性自矫正结构光三维测量方法及系统
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
CN113358062B (zh) 三维重建相位误差补偿方法
CN106461380A (zh) 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN113358063A (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
CN114111633A (zh) 结构光三维测量的投影机镜头畸变误差校正方法
CN114792345B (zh) 一种基于单目结构光系统的标定方法
CN112880589A (zh) 基于双频相位编码的光学三维测量方法
CN115272110A (zh) 一种结构光三维重建中投影机畸变校正方法及装置
CN114018176A (zh) 一种投影图像处理模块、三维重构方法及其系统
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
CN112802084B (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
CN114526692A (zh) 一种基于离焦度解包裹的结构光三维测量方法及装置
Zhao et al. Accurate fringe projection profilometry using instable projection light source
CN114136236A (zh) 一种结合极线约束的相位轮廓自适应投影测量方法
CN116977560A (zh) 基于结构光的三维重建方法、装置、设备及存储介质
CN114777687B (zh) 基于概率分布函数的分区域相位误差补偿方法及设备
CN114166150B (zh) 一种条纹反射三维测量方法、系统及存储介质
Zhang et al. Accurate measurement of high-reflective surface based on adaptive fringe projection technique
CN116295114A (zh) 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法
CN110455219A (zh) 一种基于误差扩散抖动算法的三维成像方法
CN117197366B (zh) 用于三维重建的动态物体相位计算方法及系统
CN116558445B (zh) 一种条纹投影的相位解码方法、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113