CN112116616A - 基于卷积神经网络的相位信息提取方法、存储介质及设备 - Google Patents
基于卷积神经网络的相位信息提取方法、存储介质及设备 Download PDFInfo
- Publication number
- CN112116616A CN112116616A CN202010778712.1A CN202010778712A CN112116616A CN 112116616 A CN112116616 A CN 112116616A CN 202010778712 A CN202010778712 A CN 202010778712A CN 112116616 A CN112116616 A CN 112116616A
- Authority
- CN
- China
- Prior art keywords
- data
- phase
- training
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000007620 mathematical function Methods 0.000 claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 14
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005305 interferometry Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000020411 cell activation Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000847 optical profilometry Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
Abstract
本发明公开了一种基于卷积神经网络的相位信息提取方法、存储介质及设备，构建Hypercolumns卷积神经网络模型，对干涉条纹图像进行分析并预测得到与其对应的相位数据；分别利用正弦/余弦形数据集、二次曲面数据集、波浪形数据集和自由曲面数据集四种不同的数学函数生成样本集中相位数据，然后通过干涉条纹图像光强分布公式得到与相位数据对应的干涉图像，等分生成样本后共同构成训练集中N组数据与验证集中M组数据；然后基于生成的所有样本数据，对Hypercolumns卷积神经网络模型进行训练；采用多项式三维曲面拟合方法消除Hypercolumns卷积神经网络初始预测结果的局部误差，实现相位提取结果优化。本发明处理速度快，相位提取精度高，且可实现单帧干涉图相位提取功能。
Description
技术领域
本发明属于三维轮廓精密测量领域干涉条纹图像处理技术领域，具体涉及一种基于Hypercolumns卷积神经网络的相位信息提取方法、存储介质及设备。
背景技术
光学三维轮廓测量技术广泛应用于工业制造，逆向工程，航空航天，医疗诊断等领域，其具有非接触，高精度，高分辨率等特性，被公认为最有前途的轮廓测量法之一。实现光学轮廓测量的方法有很多，包括时间法，结构光法，投影法，干涉法等。在干涉法测量过程中，测试光经工件反射与参考光进行叠加干涉，形成了携带工件面形信息干涉条纹图，对干涉图进行后续处理即可得到测量结果。投影法的原理是通过投影仪将规则的黑白条纹图案投射至工件表面，然后利用CCD相机采集工件表面条纹图案，此时带有形变的条纹图将反应被测件的实际面形信息，经处理即可提取其轮廓。这种通过特定方法处理条纹图像以获取被测表面轮廓信息的过程称为相位提取。
多步移相法是一种主流的相位提取方法，该方法通过对工件进行时域移相，得到一系列固定步长差的相移干涉图像，然后对这些图像进行差分与反正切运算即可提取待测工件表面轮廓的相位数据。利用这种方法提取相位，移相步长越多提取精度越高，但采集次数提高测量效率将越低，且易造成测量误差累积。此外这种方法将引入反正切运算atan2，使得输出数据的范围包裹在[-π，π]，形成相位不连续，因此还需配合相位解包裹算法进一步处理。在干涉法测量工件时，为实现精确移相，需要加入移相器件(如PZT压电陶瓷位移器)执行此操作，这种器件成本高昂且精度有限。而对于运动目标进行轮廓测量，移相法提取相位将更难实现，且需要较高精度的投影设备与高采样率的CCD相机获取稳定的相移条纹图像。由于采集失真造成的条纹图变形将影响最终的测量结果。因此基于单幅条纹图像实现相位提取具有重要意义。基于傅里叶变换(FFT)对单幅条纹图像分析可提取其相位信息：对待处理条纹图进行二维傅里叶变换得到对应频谱图，然后根据载波频率进行滤波得到包裹的相位分布图，最后仍需借助解包裹算法处理得到最终测量结果。但这种方法的应用具有一定限制，对于具有闭合条纹图像无法准确提取其相位信息。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于卷积神经网络的相位信息提取方法、存储介质及设备，将相位提取问题视为一种回归任务，利用深度神经网络对干涉图进行分析，特征提取，并预测与之对应的相位数据；然后设计基于多项式曲面拟合的方法对初始预测值进行优化，得到最终测量结果。
本发明采用以下技术方案：
一种基于卷积神经网络的相位信息提取方法，构建Hypercolumns卷积神经网络模型，对干涉条纹图像进行分析并预测得到与其对应的相位数据；分别利用正弦/余弦形数据集、二次曲面数据集、波浪形数据集和自由曲面数据集四种不同的数学函数生成样本集中相位数据，然后通过干涉条纹图像光强分布公式得到与相位数据对应的干涉图像，等分生成样本后共同构成训练集中N组数据与验证集中M组数据；然后基于生成的所有样本数据，对Hypercolumns卷积神经网络模型进行训练；采用多项式三维曲面拟合方法消除Hypercolumns卷积神经网络模型的局部误差，实现相位提取结果优化，将优化后的结果作为最终的相位提取结果，反映三维测量对象的面形信息。
具体的，Hypercolumns卷积神经网络模型的输入数据为待提取相位的干涉条纹图，由模型的输入层Input Layer输入网络，其数据维度与输入层相匹配；输出数据即为网络模型预测得到的相位数据；干涉条纹图像经过输入层后进入多卷积层进行特征提取环节；多级特征提取卷积层采用自编码解码网络结构实现，输入数据经过多级卷积，池化，上采样运算，对特征图进行压缩与重构，提取不同尺度与维度的特征信息；采用Hypercolumns理念将各级特征信息图整合，得到新的多维特征信息图；最后对新的多维特征信息图再次进行卷积运算，并使用1×1卷积单元对多维特征信息图进行像素级预测，输出最终相位信息预测结果，完成回归任务。
进一步的，Hypercolumns卷积神经网络模型的优化器采用自适应矩估计Adam优化器，损失函数采用均方根误差RMSE函数，网络模型中设置Batch Normalization批标准化运算，Dropout神经元丢弃方法，以及L2正则化解决方法；在网络训练之前，对训练数据集中数据进行随机打乱。
具体的，训练数据集包括训练干涉图集Images_Train，训练相位数据集Phase_Train，测试干涉图集Images_Test与测试相位数据集Phase_Test；训练干涉图集Images_Train与训练相位数据集Phase_Train一一对应，具有相同的数据维度(N，W，H)，用于网络模型的训练；测试干涉图集Images_Test与测试相位数据集Phase_Test一一对应，数据维度为(M，W，H)，用于网络模型的验证；W为图像宽，H为图像高。
进一步的，生成的干涉图像I(x,y)为：
其中，I0(x,y)为干涉图背景光强，V(x,y)为条纹对比度，
为数学函数生成的相位数据，Noise(x,y)为随机噪声。
具体的，通过神经网络模型对相位提取需要分别执行训练环节与验证环节，训练环节中，训练干涉图集Images_Train中条纹图像数据将分批输入至网络模型中，通过模型预测输出预测相位数据Pred_Train；将预测值与标准值进行比较，计算二者之间均方根误差损失值Loss，根据损失值Loss，采用梯度下降法对神经网络模型的全局参数更新，进而进行新一轮的训练，直至满足Loss<阈值TL；验证环节中，将已训练好的Hypercolumns卷积神经网络模型保存，并用作估计器，向Hypercolumns卷积神经网络模型输入Images_Test中数据，得到所要提取相位的预测结果Pred_Test。
具体的，多项式三维曲面拟合方法具体为：
S301、在全局范围内，扫描数据跳变值大于2的局部区域，提取所有缺陷数据区域的边沿轮廓；
S302、将步骤S301提取的边沿轮廓区域内所有数据置空NaN，得到一个闭合的局部数据空洞；
S303、将闭合区数据空洞为连通域，再对区域执行图像形态学膨胀运算，得到膨胀后区域；
S304、计算步骤S303膨胀后区域的最小包络矩形，然后从全局面形图中截取这些矩形数数据区，为后续拟合做准备；
S305、利用5阶多项式对中心带孔的矩形区域进行线性曲面拟合，得到拟合后的局部三维曲面Z′；
S306、用拟合后的局部三维曲面Z′填充空洞，其余孔外数据与截取的矩形数据做加权平均运算；
S307、将矩形数据块局部坐标区域转换回原面形图中全局坐标，完成优化。
进一步的，步骤S305中，拟合方法如下：
f(x,y)＝p00+p10x+p01y+p20x2+p11xy+p02y2+p30x3+
p21x2y+p12xy2+p03y3+p40x4+p31x3y+p22x2y2+p13xy3+
p04y4+p50x5+p41x4y+p32x3y2+p23x2y3+p14xy4+p05y5
拟合过程中，优化方法采用最小二乘法实现，优化的目标函数为RMSE；通过多次迭代计算，直至目标函数误差值小于T；得到一系列多项式系数[p00，p01，…，p05]，带入拟合方法中完成曲面拟合。
本发明的另一技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
一种基于卷积神经网络的相位信息提取方法，利用卷积神经网络可实现复杂曲面三维测量过程中快速，准确相位提取功能。该方法可克服传统移相法与傅里叶变换法存在的不足，仅需单幅干涉图像即可提取被测目标对应的相位数据。
进一步的，Hypercolumns卷积神经网络用于实现数据回归任务，通过训练即可对未知相位进行预测，建立干涉图像与相位数据的映射关系。
进一步的，网络模型中，优化器在网络训练过程中起到至关重要的作用，根据相位预测结果与标准值之间的损失值，利用梯度下降法对网络模型中各参数进行优化更新，提高网络性能。
进一步的，通过建立大量训练数据集对初始神经网络模型进行大量迭代训练，使其达到最佳效果。
进一步的，本发明提出的卷积神经网络相位提取方法是通过对干涉图进行分析预测，提取得到与之对应的相位数据。故在训练环节，训练集中相位数据和与之对应的干涉图是成对出现的，故在此需要基于生成的相位数据生成对应干涉图像，用于网络训练。
进一步的，训练环节的设置是为了优化神经网络模型，提高相位提取精度；在经过大量学习与训练后，优化的网络模型对未知干涉图进行相位提取，得到最终结果即可验证其有效性。
进一步的，三维曲面拟合的作用在于消除卷积神经网络初始预测结果中的局部误判区与噪声影响，进一步提高相位提取精度。
进一步的，利用高阶多项式进行曲面拟合可得到精度较高且平滑的拟合结果。
综上所述，本发明适用于干涉法，投影法等常见三维轮廓测量应用中。该方法处理速度快，相位提取精度高，且可实现单帧干涉图相位提取功能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为Hypercolumns卷积神经网络模型结构图；
图2为神经网络模型训练与验证图；
图3为三维曲面拟合优化方法示意图，其中，(a)为初始预测结果，(b)为缺陷扫描，(c)为局部曲面拟合，(d)为优化结果；
图4为相位提取结果图，其中，(a)为正弦面形，(b)为二次曲面，(c)为波浪形曲面，(d)为自由曲面。
具体实施方式
本发明提供了一种基于卷积神经网络的相位信息提取方法、存储介质及设备，将三维轮廓测量中相位数据提取问题视为一种回归任务，并通过基于深度学习技术构建的Hypercolumns卷积神经网络实现该功能。首先构建Hypercolumns卷积神经网络模型，对其各层定义与功能模块进行了详细介绍；然后分别利用四种不同的数学函数生成训练数据集用以训练神经网络模型，同时确定本发明方法的训练策略与验证方法；最后针对网络模型预测的初始结果中存在的数据瑕疵，利用多项式三维曲面拟合技术消除局部误差，实现相位提取结果优化。
本发明一种基于卷积神经网络的相位信息提取方法，仅需单幅条纹图像即可实现快速准确的相位提取功能；具体步骤如下：
S1、提取Hypercolumns卷积神经网络相位
将相位提取任务视为一种回归问题，利用深度学习技术构建的Hypercolumns卷积深度神经网络对干涉条纹图像分析并预测得到与其对应的相位数据。
请参阅图1，Hypercolumns卷积神经网络模型的输入数据为待提取相位的干涉条纹图，由模型的输入层Input Layer输入网络，其数据维度与输入层相匹配；输出数据即为网络模型预测得到的相位数据。
网络模型由基本的运算符单元组成，具体为：
Conv2D：二维卷积运算；
Conv2DT：二维反卷积运算；
BN：Batch Normalization批标准化运算；
Elu：指数线性单元激活函数；
MP：MaxPooling2D最大池化运算；
US：UpSampling2D上采样运算；
DP：Dropout神经元丢弃方法。
干涉条纹图像经过输入层后进入多卷积层进行特征提取环节；其中多级特征提取卷积层采用的是自编码解码网络结构实现，输入数据经过多级卷积，池化，上采样运算，对特征图进行压缩与重构，提取不同尺度与维度的特征信息；由于浅层特征信息的抽象表达能力有限，深层语义信息在精确定位上不足，因此采用Hypercolumns理念，将各级特征信息图整合，得到新的多维特征信息图；最后对新特征图再次进行卷积运算，并使用1×1卷积单元对特征图进行像素级预测，输出最终相位信息预测结果，完成回归任务。
网络模型优化器采用自适应矩估计Adam优化器，损失函数采用均方根误差RMSE函数。为了加速网络模型收敛，防止过拟合现象产生，在网络模型中设置了BatchNormalization批标准化运算，Dropout神经元丢弃方法，以及L2正则化等相应解决方法。此外在网络训练之前，对训练数据集中数据进行随机打乱，进一步防止过拟合。利用该方法提取相位数据仅需单幅干涉图即可实现，无需移相。
S2、数据生成与网络训练
对单幅干涉条纹图进行分析预测以得到待提取的相位数据。
为了使神经网络模型发挥最佳处理效果，需要使用大量的样本集对模型进行训练以实现最优化模型参数。训练样本集数据量越丰富，神经网络模型的训练效果越好，因此训练样本集中大部分数据通过不同数学函数模拟仿真得到，其他部分通过硬件平台采集得到。这里样本集主要分为四个部分，即：训练干涉图集Images_Train，训练相位数据集Phase_Train，测试干涉图集Images_Test与测试相位数据集Phase_Test。其中Images_Train与Phase_Train一一对应，具有相同的数据维度(N，W，H)，主要用于网络模型的训练；Images_Test与Phase_Test一一对应，数据维度为(M，W，H)，主要用于网络模型的验证。N，M为样本数，W为图像宽，H为图像高。为了提高数据集的多样性，发明中采用4种数学函数生成样本集。
正弦/余弦形数据集：
分别产生X方向正弦面形W1与Y方向余弦面形W1′，幅值A与比例系数b为随机变量，由随机数发生器产生，具体为：
二次曲面数据集：
由式2分别生成椭球面W2与双曲面W2′数据集，其中比例系数a，b与c为随机变量，由随机数发生器产生，具体为：
波浪形数据集：
正余弦叠加函数用以生成波浪性数据集，其中幅值A,B与比例系数c,d为随机变量，由随机数发生器产生，具体为：
W3＝Asin(x/c)+Bcos(y/d)，A,B∈[2,6]，c,d∈[15,35] (3)
自由曲面数据集：
利用36项Zernike多项式生成的自由曲面相位数据。Zernike多项式如式4所示，分别由系数Cnm与项Znm组成，具体为：
其中，n为多项式的阶数，k为正整数，m为整数。
其中Zernike多项式Znm可进一步表示为式5：
利用Zernike多项式生成自由曲面，36项系数取分布范围在[-50，50]之间的随机数以产生不同面形。根据被测面形可得与之对应的相位数据：
其中，
为相位数据，W(x,y)为生成的面形数据，λ为测量时测试光波长。
利用上述4种函数可生成样本集中相位数据Phase_Train与Phase_Test，然后通过干涉条纹图像光强分布公式得到与相位数据对应的干涉图Images_Train与Phase_Train。
为生成不同质量干涉条纹图以强化神经网络鲁棒性，其中，I(x,y)为生成的干涉图像，I0(x,y)为干涉图背景光强，取[50，127]范围随机数，V(x,y)为条纹对比度，取[0.8，1.0]范围随机数，
为数学函数生成的相位数据，Noise(x,y)为随机噪声，取[-π，π]范围随机数。
在实际应用当中，干涉条纹图的分辨率极限为相邻两像素分别表示一条黑带与白带，即反应一个周期的相位变化2π。故本发明方法适用于处理幅值梯度变化小于2π的各种相位数据集。
利用这些函数等分生成样本，共同构成了训练集中N组数据与验证集中M组数据。然后基于生成的所有样本数据，对神经网络进行训练，训练策略如图2所示。
通过神经网络模型对相位提取需要分别执行训练环节与验证环节。
训练环节：
训练干涉图集Images_Train中条纹图像数据将分批输入至网络模型中，通过模型预测输出预测相位数据Pred_Train；将预测值与标准值进行比较，计算二者之间均方根误差(RMSE)损失值Loss，如式2：
HFCN(xi)为神经网络模型，根据损失值Loss，采用梯度下降法对神经网络模型的全局参数更新，进而进行新一轮的训练，直至满足Loss<TL。这里阈值TL取1e-2，在整个训练环节，采用Learning_Rate衰减策略与Early_Stop机制辅助训练，提高网络收敛效率防止过拟合现象产生。
验证环节：
将已训练好神经模型保存，并用作估计器，此时向模型输入Images_Test中数据即可得到所要提取相位的预测结果Pred_Test。理论上讲，Pred_Test与Phase_Test近似，且二者具有较小Loss值。最后通过公式7计算Pred_Test与Phase_Test间RMSE值来评估网络性能。
本发明提出的基于Hypercolumns卷积神经网络相位提取方法不仅限于对文中所描述的四种数学函数生成的相位具有较好的拟合能力，在实际应用中可针对不同目标对象，生成相似的样本数据训练网络，实现不同对象的相位提取功能。
S3、曲面拟合结果优化
通过深度神经网络对相位数据进行预测，虽然可以得到较高的预测精度，但在局部小范围区域内，会出现数据“瑕疵”或误拟合，因此需要后续处理优化初始结果。在测量过程中，由于CCD相机的分辨率是有限的，使得采集到的干涉条纹图像I(x,y)分辨极限能力为：相邻2像素分别显示一条“黑带”与“白带”，即一个波长/周期。由于干涉图I(x,y)是相位
的余弦函数，因此相位在局部区域的变化率则不超过2π。式8为相位数据与待测面形数据分布关系：
由此可知，面形局部数据变化率幅值小于1倍波长λ，被测表面数据分布理论上为平滑分布的面形。
故在全局范围内，只需扫描数据跳变值大于2的局部区域即可锁定“瑕疵”区域。扫描方法如式9所示：
其中，DE(x,y)为缺陷数据边沿轮廓二值化分布图，p,q为初始预测结果W中任意相邻两数据点。通过扫描，此时在全局范围内，所有的数据瑕疵区域都已标记。
本发明采用多项式曲面拟合的方法优化这些区域，实现最终数据优化。优化原理如图3所示。
这里将面形数据视为三维空间曲面，面形图长宽方向分别表示X与Y轴，幅值为Z轴。然后对局部缺陷区域进行曲面拟合实现优化，拟合流程如下：
S301、在全局范围内，扫描数据跳变值大于2的局部区域，提取所有缺陷数据区域的边沿轮廓；
S302、将步骤S301提取的边沿轮廓区域内所有数据置空“NaN”，得到一个闭合的局部数据“空洞”；
S303、闭合区数据“空洞”为连通域，再对区域执行图像形态学膨胀运算(其中膨胀系数为d)，得到膨胀后区域；
S304、计算膨胀后区域的最小包络矩形，然后从全局面形图中截取这些矩形数数据区，为后续拟合做准备；
S305、利用5阶多项式对中心带孔的矩形区域进行线性曲面拟合，可得到拟合后的局部三维曲面Z′。
拟合方法如下式所示：
拟合过程中，优化方法采用最小二乘法实现，优化的目标函数为RMSE。通过多次迭代计算，直至目标函数误差值小于T以满足拟合精度要求。此时得到一系列多项式系数[p00，p01，…，p05]，将其带入式10即完成曲面拟合；
S306、用拟合后面形数据Z′填充“空洞”，其余孔外数据与截取的矩形数据做加权平均运算；
S307、将矩形数据块局部坐标区域转换回原面形图中全局坐标，完成优化。
请参阅图4，为干涉条纹图最终的相位提取结果，图中第一行条纹图即为待处理的图像，网络模型将基于该图像信息提取相应的相位数据。第二行即为相位提取的最终结果。
综上所述，本发明一种基于卷积神经网络的相位信息提取方法、存储介质及设备，将相位提取问题视为回归任务，并通过建立卷积神经网络实现该功能。在实际应用前，建立训练数据集对网络模型进行训练，使其达到最优，然后再进行验证。此外提出一种三维曲面拟合方法对初始结果进行优化，进一步提高相位提取精度。利用本发明方法对相位数据提取，精度高，速度快，且可实现单帧提取。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于卷积神经网络的相位信息提取方法，其特征在于，构建Hypercolumns卷积神经网络模型，对干涉条纹图像进行分析并预测得到与其对应的相位数据；分别利用正弦/余弦形数据集、二次曲面数据集、波浪形数据集和自由曲面数据集四种不同的数学函数生成样本集中相位数据，然后通过干涉条纹图像光强分布公式得到与相位数据对应的干涉图像，等分生成样本后共同构成训练集中N组数据与验证集中M组数据；然后基于生成的所有样本数据，对Hypercolumns卷积神经网络初始预测结果进行训练；采用多项式三维曲面拟合方法消除Hypercolumns卷积神经网络模型的局部误差，实现相位提取结果优化，将优化后的结果作为最终的相位提取结果，反映三维测量对象的面形信息。
2.根据权利要求1所述的方法，其特征在于，Hypercolumns卷积神经网络模型的输入数据为待提取相位的干涉条纹图，由模型的输入层Input Layer输入网络，其数据维度与输入层相匹配；输出数据即为网络模型预测得到的相位数据；干涉条纹图像经过输入层后进入多卷积层进行特征提取环节；多级特征提取卷积层采用自编码解码网络结构实现，输入数据经过多级卷积，池化，上采样运算，对特征图进行压缩与重构，提取不同尺度与维度的特征信息；采用Hypercolumns理念将各级特征信息图整合，得到新的多维特征信息图；最后对新的多维特征信息图再次进行卷积运算，并使用1×1卷积单元对多维特征信息图进行像素级预测，输出最终相位信息预测结果，完成回归任务。
3.根据权利要求2所述的方法，其特征在于，Hypercolumns卷积神经网络模型的优化器采用自适应矩估计Adam优化器，损失函数采用均方根误差RMSE函数，网络模型中设置BatchNormalization批标准化运算，Dropout神经元丢弃方法，以及L2正则化解决方法；在网络训练之前，对训练数据集中数据进行随机打乱。
4.根据权利要求1所述的方法，其特征在于，训练数据集包括训练干涉图集Images_Train，训练相位数据集Phase_Train，测试干涉图集Images_Test与测试相位数据集Phase_Test；训练干涉图集Images_Train与训练相位数据集Phase_Train一一对应，具有相同的数据维度(N，W，H)，用于网络模型的训练；测试干涉图集Images_Test与测试相位数据集Phase_Test一一对应，数据维度为(M，W，H)，用于网络模型的验证；W为图像宽，H为图像高。
5.根据权利要求4所述的方法，其特征在于，生成的干涉图像I(x,y)为：
其中，I0(x,y)为干涉图背景光强，V(x,y)为条纹对比度，
为数学函数生成的相位数据，Noise(x,y)为随机噪声。
6.根据权利要求1所述的方法，其特征在于，通过神经网络模型对相位提取需要分别执行训练环节与验证环节，训练环节中，训练干涉图集Images_Train中条纹图像数据将分批输入至网络模型中，通过模型预测输出预测相位数据Pred_Train；将预测值与标准值进行比较，计算二者之间均方根误差损失值Loss，根据损失值Loss，采用梯度下降法对神经网络模型的全局参数更新，进而进行新一轮的训练，直至满足Loss<阈值TL；验证环节中，将已训练好的Hypercolumns卷积神经网络模型保存，并用作估计器，向Hypercolumns卷积神经网络模型输入Images_Test中数据，得到所要提取相位的预测结果Pred_Test。
7.根据权利要求1所述的方法，其特征在于，多项式三维曲面拟合方法具体为：
S301、在全局范围内，扫描数据跳变值大于2的局部区域，提取所有缺陷数据区域的边沿轮廓；
S302、将步骤S301提取的边沿轮廓区域内所有数据置空NaN，得到一个闭合的局部数据空洞；
S303、将闭合区数据空洞为连通域，再对区域执行图像形态学膨胀运算，得到膨胀后区域；
S304、计算步骤S303膨胀后区域的最小包络矩形，然后从全局面形图中截取这些矩形数数据区，为后续拟合做准备；
S305、利用5阶多项式对中心带孔的矩形区域进行线性曲面拟合，得到拟合后的局部三维曲面Z′；
S306、用拟合后的局部三维曲面Z′填充空洞，其余孔外数据与截取的矩形数据做加权平均运算；
S307、将矩形数据块局部坐标区域转换回原面形图中全局坐标，完成优化。
8.根据权利要求7所述的方法，其特征在于，步骤S305中，拟合方法如下：
f(x,y)＝p00+p10x+p01y+p20x2+p11xy+p02y2+p30x3+p21x2y+p12xy2+p03y3+p40x4+p31x3y+p22x2y2+p13xy3+p04y4+p50x5+p41x4y+p32x3y2+p23x2y3+p14xy4+p05y5
拟合过程中，优化方法采用最小二乘法实现，优化的目标函数为RMSE；通过多次迭代计算，直至目标函数误差值小于T；得到一系列多项式系数[p00，p01，…，p05]，带入拟合方法中完成曲面拟合。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010778712.1A CN112116616B (zh) | 2020-08-05 | 2020-08-05 | 基于卷积神经网络的相位信息提取方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010778712.1A CN112116616B (zh) | 2020-08-05 | 2020-08-05 | 基于卷积神经网络的相位信息提取方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116616A true CN112116616A (zh) | 2020-12-22 |
| CN112116616B CN112116616B (zh) | 2022-06-07 |
Family
ID=73799321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010778712.1A Active CN112116616B (zh) | 2020-08-05 | 2020-08-05 | 基于卷积神经网络的相位信息提取方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116616B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699792A (zh) * | 2020-12-29 | 2021-04-23 | 长安大学 | 基于正余弦算法优化卷积神经网络的机床轴承状态识别方法 |
| CN112836422A (zh) * | 2020-12-31 | 2021-05-25 | 电子科技大学 | 干涉与卷积神经网络混合方案测量方法 |
| CN112985300A (zh) * | 2021-02-24 | 2021-06-18 | 中国科学院长春光学精密机械与物理研究所 | 基于条纹追踪的光学元件轮廓检测方法、设备及存储介质 |
| CN113312848A (zh) * | 2021-06-10 | 2021-08-27 | 太原理工大学 | 一种以适配目标信息提取算法为目的光学系统智能设计方法 |
| CN113674370A (zh) * | 2021-08-02 | 2021-11-19 | 南京理工大学 | 基于卷积神经网络的单帧干涉图解调方法 |
| CN114114117A (zh) * | 2021-11-05 | 2022-03-01 | 中国科学院精密测量科学与技术创新研究院 | 一种基于深度学习的磁共振波谱相位校正方法 |
| WO2023020371A1 (zh) * | 2021-08-18 | 2023-02-23 | 深圳光峰科技股份有限公司 | 图像显示方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060146342A1 (en) * | 2005-01-04 | 2006-07-06 | Carl Zeiss Smt Ag | Phase shifting interferometric method, interferometer apparatus and method of manufacturing an optical element |
| CN101629813A (zh) * | 2009-07-29 | 2010-01-20 | 天津大学 | 基于计算全息的自由曲面三维形貌的测量方法 |
| CN104155011A (zh) * | 2014-07-22 | 2014-11-19 | 北京理工大学 | 一种二维干涉图的相位提取方法 |
| CN109186496A (zh) * | 2018-10-18 | 2019-01-11 | 淮阴师范学院 | 一种基于移动最小二乘法的三维面形测量方法 |
| CN110210119A (zh) * | 2019-05-30 | 2019-09-06 | 东南大学 | 一种基于深层卷积神经网络的高效率相位展开方法 |
| CN110781604A (zh) * | 2019-11-05 | 2020-02-11 | 桂林电子科技大学 | 一种改进cordic算法的干涉图相位提取psm-ip核设计方法和系统 |
| CN111189414A (zh) * | 2020-01-09 | 2020-05-22 | 西安知象光电科技有限公司 | 一种实时单帧相位提取方法 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111461224A (zh) * | 2020-04-01 | 2020-07-28 | 西安交通大学 | 一种基于残差自编码神经网络的相位数据解包裹方法 |
-
2020
- 2020-08-05 CN CN202010778712.1A patent/CN112116616B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060146342A1 (en) * | 2005-01-04 | 2006-07-06 | Carl Zeiss Smt Ag | Phase shifting interferometric method, interferometer apparatus and method of manufacturing an optical element |
| CN101629813A (zh) * | 2009-07-29 | 2010-01-20 | 天津大学 | 基于计算全息的自由曲面三维形貌的测量方法 |
| CN104155011A (zh) * | 2014-07-22 | 2014-11-19 | 北京理工大学 | 一种二维干涉图的相位提取方法 |
| CN109186496A (zh) * | 2018-10-18 | 2019-01-11 | 淮阴师范学院 | 一种基于移动最小二乘法的三维面形测量方法 |
| CN110210119A (zh) * | 2019-05-30 | 2019-09-06 | 东南大学 | 一种基于深层卷积神经网络的高效率相位展开方法 |
| CN110781604A (zh) * | 2019-11-05 | 2020-02-11 | 桂林电子科技大学 | 一种改进cordic算法的干涉图相位提取psm-ip核设计方法和系统 |
| CN111189414A (zh) * | 2020-01-09 | 2020-05-22 | 西安知象光电科技有限公司 | 一种实时单帧相位提取方法 |
| CN111402240A (zh) * | 2020-03-19 | 2020-07-10 | 南京理工大学 | 基于深度学习的单帧彩色条纹投影的三维面型测量方法 |
| CN111461224A (zh) * | 2020-04-01 | 2020-07-28 | 西安交通大学 | 一种基于残差自编码神经网络的相位数据解包裹方法 |
Non-Patent Citations (6)
| Title |
|---|
| BHARATH HARIHARAN: "Hypercolumns for object segmentation and fine-grained localization", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| G.E.SPOORTHI: "PhaseNet: A Deep Convolutional Neural Network for Two-Dimensional Phase Unwrapping", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| HEPING ZHONG: "An Improved Quality-Guided Phase-Unwrapping Algorithm Based on Priority Queue", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| 张妍: "枝切法与曲面拟合结合的InSAR相位展开算法", 《西安电子科技大学学报（自然科学版）》 * |
| 李兵: "激光器不稳定对多步相移算法相位提取精度的影响", 《西安工业大学学报》 * |
| 郭媛: "单幅干涉条纹图相位提取新算法", 《激光与红外》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699792A (zh) * | 2020-12-29 | 2021-04-23 | 长安大学 | 基于正余弦算法优化卷积神经网络的机床轴承状态识别方法 |
| CN112699792B (zh) * | 2020-12-29 | 2024-04-05 | 长安大学 | 基于正余弦算法优化卷积神经网络的机床轴承状态识别方法 |
| CN112836422A (zh) * | 2020-12-31 | 2021-05-25 | 电子科技大学 | 干涉与卷积神经网络混合方案测量方法 |
| CN112836422B (zh) * | 2020-12-31 | 2022-03-18 | 电子科技大学 | 干涉与卷积神经网络混合方案测量方法 |
| CN112985300A (zh) * | 2021-02-24 | 2021-06-18 | 中国科学院长春光学精密机械与物理研究所 | 基于条纹追踪的光学元件轮廓检测方法、设备及存储介质 |
| CN112985300B (zh) * | 2021-02-24 | 2022-03-25 | 中国科学院长春光学精密机械与物理研究所 | 基于条纹追踪的光学元件轮廓检测方法、设备及存储介质 |
| CN113312848A (zh) * | 2021-06-10 | 2021-08-27 | 太原理工大学 | 一种以适配目标信息提取算法为目的光学系统智能设计方法 |
| CN113312848B (zh) * | 2021-06-10 | 2022-10-04 | 太原理工大学 | 一种以适配目标信息提取算法为目的光学系统智能设计方法 |
| CN113674370A (zh) * | 2021-08-02 | 2021-11-19 | 南京理工大学 | 基于卷积神经网络的单帧干涉图解调方法 |
| WO2023020371A1 (zh) * | 2021-08-18 | 2023-02-23 | 深圳光峰科技股份有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN114114117A (zh) * | 2021-11-05 | 2022-03-01 | 中国科学院精密测量科学与技术创新研究院 | 一种基于深度学习的磁共振波谱相位校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116616B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116616B (zh) | 基于卷积神经网络的相位信息提取方法、存储介质及设备 | |
| US11906286B2 (en) | Deep learning-based temporal phase unwrapping method for fringe projection profilometry | |
| CN102692823B (zh) | 用于计算结构的电磁散射属性和用于近似结构的重构的方法和设备 | |
| JP4594114B2 (ja) | 画像処理装置および屈折率分布測定装置 | |
| Su et al. | Dynamic 3-D shape measurement method based on FTP | |
| CN110163817B (zh) | 一种基于全卷积神经网络的相位主值提取方法 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| CN111561877B (zh) | 一种基于点衍射干涉仪的可变分辨率相位解包裹方法 | |
| CN103499432B (zh) | 一种成像系统的成像质量检测方法及系统 | |
| CN115063466A (zh) | 一种基于结构光与深度学习的单帧三维测量方法 | |
| Cywińska et al. | DeepDensity: Convolutional neural network based estimation of local fringe pattern density | |
| CN115205360A (zh) | 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用 | |
| Guo et al. | Unifying temporal phase unwrapping framework using deep learning | |
| CN111521112A (zh) | 一种傅里叶及窗口傅里叶变换的联合相位重构算法 | |
| CN112802084B (zh) | 基于深度学习的三维形貌测量方法、系统和存储介质 | |
| Wielgus et al. | Continuous phase estimation from noisy fringe patterns based on the implicit smoothing splines | |
| Kuang et al. | Correction of spurious phase sign in single closed-fringe demodulation using transformer based Swin-ResUnet | |
| Xi et al. | The meta-defect-detection system for gear pitting based on digital twin | |
| CN117011478A (zh) | 一种基于深度学习与条纹投影轮廓术的单张图像重建方法 | |
| Górski et al. | Three-dimensional reconstruction of refractive index inhomogeneities in optical phase elements | |
| Ravi et al. | CF3DNet: A learning-based approach for single-shot 3D reconstruction from circular fringes | |
| CN112381731A (zh) | 一种基于图像去噪的单帧条纹图像相位分析方法及系统 | |
| Guo et al. | Fringe pattern analysis with message passing based expectation maximization for fringe projection profilometry | |
| Ganotra et al. | Object reconstruction in multilayer neural network based profilometry using grating structure comprising two regions with different spatial periods | |
| Tang et al. | Reliable wavefront reconstruction from a single lateral shearing interferogram using Bayesian convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |