CN112381770A - 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 - Google Patents
一种基于融合卷积神经网络的磨损表面三维形貌测量方法 Download PDFInfo
- Publication number
- CN112381770A CN112381770A CN202011210667.6A CN202011210667A CN112381770A CN 112381770 A CN112381770 A CN 112381770A CN 202011210667 A CN202011210667 A CN 202011210667A CN 112381770 A CN112381770 A CN 112381770A
- Authority
- CN
- China
- Prior art keywords
- neural network
- wear surface
- fusion
- convolution
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012876 topography Methods 0.000 title claims description 28
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 44
- 238000010586 diagram Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000005311 autocorrelation function Methods 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005299 abrasion Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000012625 in-situ measurement Methods 0.000 description 1
- 238000011545 laboratory measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于融合卷积神经网络的磨损表面三维形貌测量方法，通过二维数字滤波技术生成随机粗糙表面，并利用Blender渲染软件得到随机磨损表面的光度图像序列，从而生成用于神经网络训练的数据集；设计特征提取模块、融合模块和法向量估计与细化模块，得到应用于磨损表面法向量估计的融合卷积神经网络；定义神经网络的训练损失函数，并基于数据集训练和调整网络模型；结合磨损表面的先验知识，基于正则化算法实现磨损表面深度信息的求解。本发明有效地将神经网络方法与光度立体技术相结合，解决了磨损表面的反射特性与朗伯模型不匹配的问题，并结合磨损表面的先验知识，实现了磨损表面的精确重构。
Description
技术领域
本发明属于机器磨损状态监测技术领域，具体涉及一种基于融合卷积神经网络的磨损表面三维形貌测量方法。
背景技术
关键零部件的摩擦磨损已经成为制约设备运行服役的重要原因之一。机械设备摩擦副在运行过程中发生磨损累积，导致零件丧失原有功能直至失效。这不仅仅会增加设备运行的故障率，同时会降低生产效率，造成巨大的经济损失和资源浪费。因此，研究机械设备关键零部件的磨损状态表征方法，对提升设备的运行性能和服役能力有着重要的作用，成为高端装备技术发展的迫切需求。
摩擦副在相对运动(滑动、滚动、冲击、摆动)的作用下，表面物质不断损失并产生残余变形，生成不同类型的表面形貌磨损特征，如划痕、犁沟、裂纹、凹坑、麻点等。这些形貌特征从直观上反映了设备的磨损机理，并表征了摩擦副在服役过程中的运行性能。因此，磨损表面形貌可认为是判定磨损机制的重要证据。激光共聚焦显微镜、表面轮廓仪等三维形貌测试仪器能够测量磨损表面的三维形貌，并且可以自动提取表面的特征指标。但这些设备对测量环境要求较高，只适用于实验室测量，且往往需要切割零件以制备样本，难以应用于非拆卸条件下的摩擦副表面。基于光度立体视觉的磨损表征技术能够实现表面三维形貌的原位测量和纹理信息的提取，但由于磨损表面存在高光反射、阴影等非朗伯分量，不符合光度立体技术中的朗伯模型假设，造成法向量求解和三维重构结果误差。
总体而言，基于光度立体技术的磨损表面形貌表征能够在不拆卸情况下实现关键零部件的三维形貌测量，为表征设备磨损状态提供了直接证据。但由于非朗伯分量的存在，使重构结果产生偏差，从而影响表面形貌的精确重构。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于融合卷积神经网络的磨损表面三维形貌测量方法，解决了以往磨损表面重构结果中发生整体翘曲的问题，获取了磨损表面的精确信息，提高了磨损表面三维重建的精度。
本发明采用以下技术方案：
一种基于融合卷积神经网络的磨损表面三维形貌测量方法，包括以下步骤：
S1、求解随机粗糙表面各像素点的法向量值，通过表面渲染生成具有随机粗糙表面的光度图像序列作为网络模型的输入，构建磨损表面的数据集；
S2、设计包含特征提取模块、融合模块和法向量估计与细化模块的融合卷积神经网络；
S3、将步骤S1构建的数据集输入到步骤S2建立的融合卷积神经网络中，定义训练损失函数，对融合卷积神经网络进行训练，设置网络层数和学习率；
S4、采集磨损图像序列输入步骤S3训练得到的融合卷积神经网络以预测表面的法向量，并将法向量转换为表面梯度，结合磨损表面的先验知识，通过正则化算法实现磨损表面的三维形貌测量。
具体的，步骤S1中，通过表面渲染生成具有随机粗糙表面的光度图像序列具体为：
S1011、生成高斯白噪声二维随机序列η(x,y)，经傅里叶变换得到输入序列的功率谱密度函数C(x,y)；
S1012、指定磨损表面的指数型自相关函数R(x,y)，经傅里叶变换得到自相关函数的功率谱密度Gz(x,y)，磨损表面的指数型自相关函数如下；
其中，βx、βy分别对应自相关函数在x、y轴上的相关长度，当βx＝βy，表面各向同性；当βx≠βy，表面各向异性；
S1013、根据二维随机序列和自相关函数的功率谱密度函数，求得二维滤波器的传递函数H(ωx,ωy)如下：
S1014、由二维滤波器的传递函数，求得粗糙表面z(x,y)的傅里叶变换Z(ωx,ωy)如下；
Z(ωx,ωy)＝H(ωx,ωy)A(ωx,ωy)
S1015、将步骤S1014得到的粗糙表面z(x,y)傅里叶变换Z(ωx,ωy)经傅里叶逆变换得到表面高度z(x,y)；
S1016、由表面高度z(x,y)变换得到具有指定均方根粗糙度Sq的表面三维形貌zSq，具体如下：
S1017、指定光源的特性参数和分布信息，利用Blender渲染软件对生成的磨损表面进行光度渲染，生成不同材质表面的光度图像序列；
S1018、分别将渲染得到的光度图像序列和模拟表面的法向量作为网络训练的输入信息和输出信息，构建磨损表面的数据集，并将数据集按比例分为训练集和验证集，用于卷积神经网络模型的训练。
具体的，步骤S2具体为：
S201、采用共享权重的卷积网络结构用于图像序列的特征提取，包含一个卷积块1和三个卷积块2；
S202、融合特征提取模块得到的特征图，以便于后续的法向量估计；根据光度立体的基本原理和已知的光源信息，构造融合特征图；
S203、将预测块作用于中间特征图，并将结果与特征提取模块中对应特征图相连接，获得法向量的局部信息，反卷积块通过三次上采样和特征图归一化预测磨损表面的单位法向量。
进一步的，步骤S201中，卷积块1中包含一个步长为1的卷积层，输出通道为64；卷积块2中包含步一个步长为1的卷积层和一个步长为2的卷积层，三个卷积块2的输出通道分别为128、256、512，卷积块1和卷积块2中卷积核大小均为3×3，且激活函数均采用LeakyReLU非线性激活函数。
进一步的，步骤S202中，根据光度立体的基本原理和已知的光源信息，构造融合特征图如下：
N＝ILT(LLT)-1
其中，N为表面法向量矩阵；I为图像矩阵；L为光源方向矩阵。
进一步的，步骤S203中，预测块中包含一个卷积层和L2归一层，其中卷积层卷积核大小为3×3，步长为1，填充为1；反卷积块中包含一个反卷积层和LeakReLu激活函数，其中反卷积层中卷积核大小为4×4，步长为1，填充为1。
具体的，步骤S3具体为：
S301、定义神经网络的损失函数如下：
其中，Nij为网络预测的法向量；
分为真实法向量值；H、W分别为磨损图像长宽方向上的像素数；
S302、通过步骤S1生成的训练集对融合卷积神经网络进行训练；
S303、通过步骤S1生成的验证集调整融合卷积神经网络的网络层数和学习率。
具体的，步骤S4具体为：
S401、将神经网络预测的法向量转换为磨损表面的梯度；
S402、结合磨损表面的先验知识，定义重建表面的代价函数，通过Bartels–Stewart算法最小化代价函数实现磨损表面的求解。
进一步的，步骤S401中，利用下式将神经网络预测的法向量转换为磨损表面的梯度
其中，{p,q}为磨损表面梯度域的估计值；nx、ny和nz分别为预测的单位表面法向量在x、y和z三个方向上的分量。
进一步的，步骤S402中，求解磨损表面的代价函数J(Z)如下：
其中，{Zx,Zy}为磨损表面Z(x,y)的梯度域；λ为正则化参数，Z0为磨损表面的先验知识。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于融合卷积神经网络的磨损表面三维形貌测量方法，采用融合卷积神经网络预测磨损表面的法向量，解决了磨损表面反射特性与朗伯模型不匹配的问题，实现了磨损表面法向量的精确求解，适用于磨损状态表征中不同材质和不同粗糙度磨损表面的三维形貌获取
进一步的，步骤S1采用二维数字滤波和表面渲染生成光度图像序列，用于训练构成神经网络的数据集，解决了真实磨损表面数据难以获取的问题。
进一步的，步骤S2定义了融合卷积网络的基本结构，输入不同角度光源照射下的磨损图像序列，输出磨损表面的法向量图。采用的全卷积网络适用于不同分辨率的图像序列，且兼顾全局特征和局部特征的网络结构有利于提高法向量预测的精度。
进一步的，步骤S201采用共享权重的特征提取模块，提取不同光源下的磨损表面图像中的深层次特征。
进一步的，步骤S202基于光度立体基本原理定义融合模块，充分利用了已知的光源信息和多光源图像光路互补的特性，与最大值和均值融合法相比，法向量预测更加准确。
进一步的，步骤S203采用反卷积块和预测块用于预测表面单位法向量，通过反卷积和特征图连接保留了法向量的全局特征和细节特征。
进一步的，步骤S4通过最小化磨损表面的代价函数，获得了磨损表面的三维形貌信息。该步骤有效解决了积分法中由于法向量误差累积引起的表面翘曲，提高了磨损表面三维测量的精度。
进一步的，步骤S401将神经网络预测的表面单位法向量转化为表面梯度，以用于表面高度的计算。
进一步的，步骤S402综合考虑表面的先验知识和表面梯度定义了重建表面的代价函数，通过最小化代价函数得到了表面的三维形貌信息，并有效减小了结果中的低频误差。
综上所述，本发明能够应用于具有非朗伯反射特性的磨损表面，并获得高质量的重建结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明总体流程图；
图2为生成随机粗糙表面的流程图；
图3为基于二维滤波器生成的随机表面形貌图；
图4为不同光源角度下的光度图像序列；
图5为磨损表面法向量估计网络结构图；
图6为磨损表面三维形貌图，其中，(a)为真实三维形貌；(b)为重建三维形貌。
具体实施方式
本发明提供了一种基于融合卷积神经网络的磨损表面三维形貌测量方法，通过二维数字滤波技术生成具有指定自相关函数的随机粗糙表面，求解表面各像素点的法向量值，并利用Blender渲染软件获得表面的光度图像序列，生成神经网络的训练集和验证集；构建具有特征提取模块、融合模块和法向量估计与细化模块的融合卷积神经网络；定义神经网络的训练损失函数，通过训练集和验证集训练并调整网络模型；将网络预测的法向量转换为表面梯度，结合磨损表面的先验知识，通过正则化算法计算磨损表面的深度信息。有效地将神经网络方法与光度立体技术相结合，解决了磨损表面的反射特性与朗伯模型不匹配的问题，并结合磨损表面的先验知识，实现了磨损表面的精确重构。
请参阅图1，本发明一种基于融合卷积神经网络的磨损表面三维形貌测量方法，包括如下步骤：
S1、训练数据集生成，所述训练数据是实现法向量求解的先验知识，通过二维数字滤波技术生成随机粗糙表面，求解表面各像素点的法向量值，并利用Blender渲染软件生成三维表面在不同光源照射下的二维图像序列作为网络模型的输入；
S101、通过二维数字滤波技术生成具有指定自相关函数的随机粗糙表面，生成过程如图2所示，具体实现步骤如下：
S1011、生成高斯白噪声二维随机序列η(x,y)，经傅里叶变换得到输入序列的功率谱密度函数C(x,y)；
S1012、指定磨损表面的指数型自相关函数如式(1)所示，经傅里叶变换得到自相关函数的功率谱密度Gz(x,y)；
其中，βx、βy分别对应自相关函数在x、y轴上的相关长度，当βx＝βy，表面各向同性；当βx≠βy，表面各向异性；
S1013、根据二维随机序列和自相关函数的功率谱密度函数，求得二维滤波器的传递函数如式(2)所示；
S1014、由二维滤波器的传递函数，求得粗糙表面z(x,y)的傅里叶变换Z(ωx,ωy)如式(3)所示；
Z(ωx,ωy)＝H(ωx,ωy)A(ωx,ωy) (3)
S1015、Z(ωx,ωy)经傅里叶逆变换得到表面高度z(x,y)；
S1016、由表面高度z(x,y)变换得到具有指定均方根粗糙度Sq的表面三维形貌zSq如式(4)所示；
S1017、指定光源的特性参数和分布信息，利用Blender渲染软件对生成的磨损表面进行光度渲染，生成不同材质表面的光度图像序列；
S1018、分别将渲染得到的光度图像序列和模拟表面的法向量作为网络训练的输入信息和输出信息，构建磨损表面的数据集，并将数据集按比例分为训练集和验证集，用于卷积神经网络模型的训练。
S102、由表面高度z(x,y)求得表面的法向量N(x,y,z)如式(4)所示；
S103、指定光源的特性参数和分布信息，利用Blender渲染软件对生成的磨损表面进行光度渲染，生成不同材质表面的光度图像序列；
S104、分别将渲染得到的光度图像序列和模拟表面的法向量作为网络训练的输入信息和输出信息，构建磨损表面的数据集，用于卷积神经网络模型的训练。
S2、神经网络结构设计，所述神经网络为融合卷积神经网络，包含三个模块，即特征提取模块、融合模块和法向量估计与细化模块；
S201、特征提取模块，采用共享权重的卷积网络结构用于图像序列的特征提取，包含1个卷积块1和3个卷积块2，其中卷积块1中包含一个步长为1的卷积层，输出通道为64；卷积块2中包含步一个步长为1的卷积层和一个步长为2的卷积层，3个卷积块2的输出通道分别为128、256、512，卷积块1和卷积块2中卷积核大小均为3×3，且激活函数均采用LeakyReLU非线性激活函数；
S202、融合模块，融合特征提取模块得到的特征图，以便于后续的法向量估计；根据光度立体的基本原理和已知的光源信息，通过式(6)构造融合特征图；
N＝ILT(LLT)-1 (6)
其中，N为表面法向量矩阵；I为图像矩阵；L为光源方向矩阵；
S203、法向量估计与细化模块，预测块作用于中间特征图，并将结果与特征提取模块中对应特征图相连接，以获得法向量的局部信息，反卷积块通过三次上采样和特征图归一化预测磨损表面的单位法向量；
S3、网络模型训练，将步骤S1得到训练数据集输入到步骤S2的卷积神经网络结构中，对神经网络进行训练，包含训练损失函数定义、网络模型训练和超参数设置三部分；
S301、定义神经网络的损失函数如公式(7)所示；
其中，Nij为网络预测的法向量；
分为真实法向量值；H、W分别为磨损图像长宽方向上的像素数；
S302、通过步骤S1生成的训练集训练网络模型；
S303、通过步骤S1生成的验证集使用自适应动量估计(Adam)优化算法调整网络模型超参数，其中初始学习率设为0.001，且每5个回合(Epoch)后学习率衰减1/2，其他参数采用默认值。
S4、表面三维重建，将步骤S3预测的表面法向量转换为表面梯度，结合磨损表面的先验知识，通过正则化算法实现磨损表面的三维重建。
S401、通过式(8)将神经网络预测的法向量转换为磨损表面的梯度；
其中，{p,q}为磨损表面梯度域的估计值；nx、ny和nz分别为预测的单位表面法向量在x、y和z三个方向上的分量；
S402、结合磨损表面的先验知识，定义重建表面的代价函数如公式(9)所示，通过Bartels–Stewart算法最小化代价函数从而实现磨损表面的求解，磨损表面的重建效果如图6所示；
其中，{Zx,Zy}为磨损表面Z(x,y)的梯度域；λ为正则化参数，Z0为磨损表面的先验知识。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图3，表面三维模型是基于二维数字滤波技术生成的随机表面，通过指定自相关函数中不同的相关长度和均方根粗糙度，以生成具有不同特性参数的三维表面。图3中三维形貌的均方根粗糙度Sq＝7.5μm，相关长度βx＝βy＝100μm。
请参阅图4，图像序列由图3所示模型在不同的光源下通过渲染软件Blender生成的图像序列。由于真实磨损表面图像序列样本少，且相应的表面单位法向量难以获取，难以形成足够的数据用于网络训练。因此，采用渲染软件生成大量磨损表面图像序列以用于网络训练。采用软件渲染时，需要输入表面的三维形貌，并指定光源特性和磨损表面的反射特性。图4所示的图像序列基于图3所示的三维模型；光源强度设置为300le，八个光源均布于距磨损表面8.5cm，半径为5cm的圆上；表面反射特性为MERL材质库中“steel”材质。
请参阅图5，采用融合卷积网络结构用于预测表面法向量，网络的输入为不同光源照射下的模拟表面图像，输出为表面单位法向量。采用共享权重的特征提取模块用于提取图像序列中的深层次信息；融合模块融合光源强度信息和磨损图像序列，连接特征提取魔窟和法向量估计与细化模块；法向量估计与细化模块采用反卷积块和预测块预测表面法向量，其中通过3次反卷积操作使法向量与输入图像序列分辨率一致，预测块和特征连接则为法向量预测保留局部特征，减少反卷积引起的法向量稀疏。图5方框中k用于表征卷积核/反卷积核大小；d表示通道数；s表示步长；p表示填充数。
与原有的法向量预测网络相比，本发明提出的网络结构具有更小的角度误差。如基于Max-Fusion和Mean-Fusion融合方法的网络平均法向量角度误差为7.021°和7.890°，而本文提出的网络结构由于利用光源强度信息，并保留法向量细节特征，平均法向量角度误差仅为3.965°。因此，本方法获得更加精确的法向量信息。结合先验知识的正则化算法有效抑制了法向量误差累积引的起表面翘曲，减少了重建表面的低频误差，实现表面的精确重建。
综上所述，本发明一种基于融合卷积神经网络的磨损表面三维形貌测量方法，采用融合卷积神经网络预测法向量解决磨损表面反射特性背离朗伯模型的问题，该网络充分利用多光路互补特性，结合光源强度信息，兼顾法向量全局特征和局部特征，获得了更加精确的表面单位法向量。基于正则化算法的表面高度求解结合了磨损表面的先验知识，有效抑制了以往方法中存在的低频误差，抑制了重建结果的变形。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，包括以下步骤：
S1、求解随机粗糙表面各像素点的法向量值，通过表面渲染生成具有随机粗糙表面的光度图像序列作为网络模型的输入，构建磨损表面的数据集；
S2、设计包含特征提取模块、融合模块和法向量估计与细化模块的融合卷积神经网络；
S3、将步骤S1构建的数据集输入到步骤S2建立的融合卷积神经网络中，定义训练损失函数，对融合卷积神经网络进行训练，设置网络层数和学习率；
S4、采集磨损图像序列输入步骤S3训练得到的融合卷积神经网络以预测表面的法向量，并将法向量转换为表面梯度，结合磨损表面的先验知识，通过正则化算法实现磨损表面的三维形貌测量。
2.根据权利要求1所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S1中，通过表面渲染生成具有随机粗糙表面的光度图像序列具体为：
S1011、生成高斯白噪声二维随机序列η(x,y)，经傅里叶变换得到输入序列的功率谱密度函数C(x,y)；
S1012、指定磨损表面的指数型自相关函数R(x,y)，经傅里叶变换得到自相关函数的功率谱密度Gz(x,y)，磨损表面的指数型自相关函数如下；
其中，βx、βy分别对应自相关函数在x、y轴上的相关长度，当βx＝βy，表面各向同性；当βx≠βy，表面各向异性；
S1013、根据二维随机序列和自相关函数的功率谱密度函数，求得二维滤波器的传递函数H(ωx,ωy)如下：
S1014、由二维滤波器的传递函数，求得粗糙表面z(x,y)的傅里叶变换Z(ωx,ωy)如下；
Z(ωx,ωy)＝H(ωx,ωy)A(ωx,ωy)
S1015、将步骤S1014得到的粗糙表面z(x,y)傅里叶变换Z(ωx,ωy)经傅里叶逆变换得到表面高度z(x,y)；
S1016、由表面高度z(x,y)变换得到具有指定均方根粗糙度Sq的表面三维形貌zSq，具体如下：
S1017、指定光源的特性参数和分布信息，利用Blender渲染软件对生成的磨损表面进行光度渲染，生成不同材质表面的光度图像序列；
S1018、分别将渲染得到的光度图像序列和模拟表面的法向量作为网络训练的输入信息和输出信息，构建磨损表面的数据集，并将数据集按比例分为训练集和验证集，用于卷积神经网络模型的训练。
3.根据权利要求1所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S2具体为：
S201、采用共享权重的卷积网络结构用于图像序列的特征提取，包含一个卷积块1和三个卷积块2；
S202、融合特征提取模块得到的特征图，以便于后续的法向量估计；根据光度立体的基本原理和已知的光源信息，构造融合特征图；
S203、将预测块作用于中间特征图，并将结果与特征提取模块中对应特征图相连接，获得法向量的局部信息，反卷积块通过三次上采样和特征图归一化预测磨损表面的单位法向量。
4.根据权利要求3所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S201中，卷积块1中包含一个步长为1的卷积层，输出通道为64；卷积块2中包含步一个步长为1的卷积层和一个步长为2的卷积层，三个卷积块2的输出通道分别为128、256、512，卷积块1和卷积块2中卷积核大小均为3×3，且激活函数均采用LeakyReLU非线性激活函数。
5.根据权利要求3所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S202中，根据光度立体的基本原理和已知的光源信息，构造融合特征图如下：
N＝ILT(LLT)-1
其中，N为表面法向量矩阵；I为图像矩阵；L为光源方向矩阵。
6.根据权利要求3所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S203中，预测块中包含一个卷积层和L2归一层，其中卷积层卷积核大小为3×3，步长为1，填充为1；反卷积块中包含一个反卷积层和LeakReLu激活函数，其中反卷积层中卷积核大小为4×4，步长为1，填充为1。
7.根据权利要求1所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S3具体为：
S301、定义神经网络的损失函数如下：
其中，Nij为网络预测的法向量；
分为真实法向量值；H、W分别为磨损图像长宽方向上的像素数；
S302、通过步骤S1生成的训练集对融合卷积神经网络进行训练；
S303、通过步骤S1生成的验证集调整融合卷积神经网络的网络层数和学习率。
8.根据权利要求1所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S4具体为：
S401、将神经网络预测的法向量转换为磨损表面的梯度；
S402、结合磨损表面的先验知识，定义重建表面的代价函数，通过Bartels–Stewart算法最小化代价函数实现磨损表面的求解。
9.根据权利要求8所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S401中，利用下式将神经网络预测的法向量转换为磨损表面的梯度
其中，{p,q}为磨损表面梯度域的估计值；nx、ny和nz分别为预测的单位表面法向量在x、y和z三个方向上的分量。
10.根据权利要求8所述的基于融合卷积神经网络的磨损表面三维形貌测量方法，其特征在于，步骤S402中，求解磨损表面的代价函数J(Z)如下：
其中，{Zx,Zy}为磨损表面Z(x,y)的梯度域；λ为正则化参数，Z0为磨损表面的先验知识。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011210667.6A CN112381770B (zh) | 2020-11-03 | 2020-11-03 | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011210667.6A CN112381770B (zh) | 2020-11-03 | 2020-11-03 | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381770A true CN112381770A (zh) | 2021-02-19 |
| CN112381770B CN112381770B (zh) | 2024-04-05 |
Family
ID=74577930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011210667.6A Active CN112381770B (zh) | 2020-11-03 | 2020-11-03 | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381770B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096067A (zh) * | 2021-03-04 | 2021-07-09 | 深圳市道通科技股份有限公司 | 一种确定工件表面磨损的方法及系统 |
| US20210241478A1 (en) * | 2020-02-03 | 2021-08-05 | Nanotronics Imaging, Inc. | Deep Photometric Learning (DPL) Systems, Apparatus and Methods |
| CN114119462A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 |
| CN114187263A (zh) * | 2021-12-10 | 2022-03-15 | 西安交通大学 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
| CN114445407A (zh) * | 2022-04-11 | 2022-05-06 | 季华实验室 | 材料的耐磨性能检测方法和装置 |
| CN114972882A (zh) * | 2022-06-17 | 2022-08-30 | 西安交通大学 | 基于多注意力机制的磨损表面损伤深度估计方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| WO2020156348A1 (zh) * | 2019-01-31 | 2020-08-06 | 青岛理工大学 | 基于总体经验模态分解与卷积神经网络的结构损伤识别法 |
-
2020
- 2020-11-03 CN CN202011210667.6A patent/CN112381770B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
| WO2020156348A1 (zh) * | 2019-01-31 | 2020-08-06 | 青岛理工大学 | 基于总体经验模态分解与卷积神经网络的结构损伤识别法 |
Non-Patent Citations (1)
| Title |
|---|
| 于波;方业全;刘闽;董君陶;: "基于深度卷积神经网络的图像重建算法", 计算机系统应用, no. 09 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210241478A1 (en) * | 2020-02-03 | 2021-08-05 | Nanotronics Imaging, Inc. | Deep Photometric Learning (DPL) Systems, Apparatus and Methods |
| US11574413B2 (en) * | 2020-02-03 | 2023-02-07 | Nanotronics Imaging, Inc. | Deep photometric learning (DPL) systems, apparatus and methods |
| CN113096067A (zh) * | 2021-03-04 | 2021-07-09 | 深圳市道通科技股份有限公司 | 一种确定工件表面磨损的方法及系统 |
| CN113096067B (zh) * | 2021-03-04 | 2022-10-11 | 深圳市道通科技股份有限公司 | 一种确定工件表面磨损的方法及系统 |
| CN114119462A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 |
| CN114187263A (zh) * | 2021-12-10 | 2022-03-15 | 西安交通大学 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
| CN114187263B (zh) * | 2021-12-10 | 2024-02-06 | 西安交通大学 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
| CN114445407A (zh) * | 2022-04-11 | 2022-05-06 | 季华实验室 | 材料的耐磨性能检测方法和装置 |
| CN114445407B (zh) * | 2022-04-11 | 2022-06-07 | 季华实验室 | 材料的耐磨性能检测方法和装置 |
| CN114972882A (zh) * | 2022-06-17 | 2022-08-30 | 西安交通大学 | 基于多注意力机制的磨损表面损伤深度估计方法及系统 |
| CN114972882B (zh) * | 2022-06-17 | 2024-03-01 | 西安交通大学 | 基于多注意力机制的磨损表面损伤深度估计方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381770B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381770B (zh) | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 | |
| Jarabo et al. | A framework for transient rendering | |
| Tahmasebi | Accurate modeling and evaluation of microstructures in complex materials | |
| Ju et al. | Normattention-psn: A high-frequency region enhanced photometric stereo network with normalized attention | |
| Nie et al. | A three-dimensional particle roundness evaluation method | |
| Ju et al. | Estimating high-resolution surface normals via low-resolution photometric stereo images | |
| Zhou et al. | Multifractal analyses of grayscale and binary soil thin section images | |
| Yi et al. | Fast 3D computational integral imaging using graphics processing unit | |
| Wang et al. | Elastic property of multiphase composites with random microstructures | |
| WO2012045936A2 (fr) | Simulation de karstification | |
| KR102083584B1 (ko) | 홀로그램 패턴 생성 장치 및 방법 | |
| Wu et al. | Constitutive modelling of natural sands using a deep learning approach accounting for particle shape effects | |
| Suparatulatorn et al. | Inertial self‐adaptive algorithm for solving split feasible problems with applications to image restoration | |
| Yang et al. | Fill in the blank: transferrable deep learning approaches to recover missing physical field information | |
| Wang et al. | In-situ 3D reconstruction of worn surface topography via optimized photometric stereo | |
| Rasmussen et al. | Improved dynamic imaging of multiphase flow by constrained tomographic reconstruction | |
| Misbahuddin | Estimating petrophysical properties of shale rock using conventional neural networks CNN | |
| Chukalina et al. | Algorithm for post-processing of tomography images to calculate the dimension-geometric features of porous structures | |
| CN110352387B (zh) | 用于通过多深度稀疏相位恢复重建全息无透镜图像的系统和方法 | |
| Chou et al. | Out-of-plane modal property extraction based on multi-level image pyramid reconstruction using stereophotogrammetry | |
| Tefera et al. | 3DNOW: Image-based 3D reconstruction and modeling via WEB | |
| Rezasefat et al. | A finite element-convolutional neural network model (FE-CNN) for stress field analysis around arbitrary inclusions | |
| Woryk et al. | Geometrically necessary dislocation fingerprints of dislocation loop absorption at grain boundaries | |
| CN111199574A (zh) | 一种全息图像生成方法及设备 | |
| Peterson et al. | Smoothed particle inference: A kilo-parametric method for X-ray galaxy cluster modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |