CN116385520A - 融合全光源图像的磨损表面形貌光度立体重建方法及系统 - Google Patents

融合全光源图像的磨损表面形貌光度立体重建方法及系统 Download PDF

Info

Publication number
CN116385520A
CN116385520A CN202310352849.4A CN202310352849A CN116385520A CN 116385520 A CN116385520 A CN 116385520A CN 202310352849 A CN202310352849 A CN 202310352849A CN 116385520 A CN116385520 A CN 116385520A
Authority
CN
China
Prior art keywords
depth
wear surface
reconstruction
branch
wear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310352849.4A
Other languages
English (en)
Inventor
武通海
胡珂章
王硕
王青华
邵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310352849.4A priority Critical patent/CN116385520A/zh
Publication of CN116385520A publication Critical patent/CN116385520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种融合全光源图像的磨损表面形貌光度立体重建方法及系统，基于深度学习算法从光度立体输入中估计磨损表面法向，并使用打开所有光源拍摄的全光源图像为表面重建提供先验深度及其不确定性的估计，依据不确定性和几何约束将表面法向和先验深度进行逐像素融合，融合特征和先验深度进一步通过网络直接生成表面深度图，进而得到磨损表面三维形貌；整个网络模型由所设计的总损失函数和所构建的磨损表面合成数据集进行训练，并应用于实际磨损表面形貌重建；本发明在无需增加装置的情况下，通过引入全光源图像为光度立体方法重建磨损表面形貌提供先验深度信息，改善了非朗伯效应导致的重建磨损形貌翘曲失真问题，提高了三维重建精度。

Description

融合全光源图像的磨损表面形貌光度立体重建方法及系统
技术领域
本发明属于机械设备磨损状态监测技术领域，具体涉及一种融合全光源图像的磨损表面形貌光度立体重建方法及系统。
背景技术
在机械装备中，轴承、齿轮等关键零部件摩擦副易发生损伤失效并引发设备故障。为了避免意外故障造成的安全问题和经济损失，视情维护理念和磨损状态监测技术得到快速发展。相较于振动信号分析、润滑油性能衰变监测和润滑膜厚超声测量等技术通道，磨损表面分析技术以损伤可视方式直观表征摩擦副磨损信息，为设备磨损状态辨识和磨损机理分析提供重要依据。旨在提高表面形貌监测的无损性以及精确性，该技术领域正在经历从二维到三维，从离线到原位的转变。光度立体视觉方法以其设备体积小、采样分辨率高等特性成为磨损表面形貌原位、三维测量的理想技术手段，并被引入到磨损表面分析技术领域。
光度立体视觉方法利用不同光源照射下待测表面的明暗变化计算表面法向量场，并通过梯度积分方法重建表面形貌。然而，实际磨损表面存在划痕、凹坑等具有复杂形貌的损伤区域，导致在光度立体图像序列采集时易产生高光、投射阴影和相互反射等非朗伯效应，造成了表面法向量场的计算准确性差及重建形貌的翘曲失真。虽然基于深度学习的光度立体算法已用于提高磨损表面法向的求解精度，但是磨损表面的复杂形貌导致重建结果翘曲失真的问题仍然存在。现有解决此类问题的思路可以表述为通过引入形貌的先验信息来辅助表面法向重建三维形貌并改善重建结果，其解决路径分为两种：一种是通过引入额外装置以测定表面形貌的先验信息，例如采用准确的机械触针法对表面进行稀疏测量；另一种是利用磨损表面的形貌先验估计，如销盘表面的先验估计为平面，轴承内圈表面的先验估计为圆柱面等。前者将形貌先验信息和表面法向信息通过代价函数或者神经网络的形式融合以计算表面形貌，但额外装置导致重建系统的体积和复杂度增加，使得其在磨损表面原位重建中应用受限；而后者的重建效果受到了先验估计项权重参数的极大影响，其权重参数依赖经验选择。
总体而言，光度立体视觉方法为磨损表面三维形貌原位获取提供了关键技术支撑，但是磨损表面的非朗伯效应导致表面法向量场计算准确度低且存在重建形貌翘曲失真，影响了磨损分析的准确性。现有方法虽试图将形貌先验信息和表面法向结合以提高磨损表面形貌重建精度，但是各自却存在着显著缺陷，难以适应磨损表面原位重建以及自动化快速分析的需求。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种融合全光源图像的磨损表面形貌光度立体重建方法及系统，用于解决光度立体技术重建具有非朗伯效应的磨损表面时存在重建形貌结果翘曲失真的技术问题。
本发明采用以下技术方案：
融合全光源图像的磨损表面形貌光度立体重建方法，包括以下步骤：
S1、结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；
S2、结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化估计结果不确定性能力的磨损表面先验深度估计支路；
S3、基于步骤S1构建的磨损表面法向预测支路以及步骤S2构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；
S4、采用磨损表面法向预测支路和磨损表面先验深度估计支路以及步骤S3得到的磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
具体的，步骤S1具体为：
S101、使用k个不同光源下的磨损表面光度立体信息张量
Figure BDA0004162242530000031
作为磨损表面法向预测支路的输入，H×W表示光度图像分辨率，6表示每个张量具有6个通道，依次为光度图像的RGB通道和归一化的光源方向[x,y,z]，构建由1个特征嵌入层和多个混合块堆叠组成的共享权重编码器从中提取出磨损表面光度特征集/>
Figure BDA0004162242530000032
S102、以多头注意力机制为基础构建法向预测支路中的光度特征聚合层，采用可学习的种子向量
Figure BDA0004162242530000033
作为多头注意力机制中的查询向量，采用磨损表面光度特征集{Ψ1,Ψ2,...,Ψk}作为多头注意力机制中的键向量和值向量，获得聚合后的磨损表面光度特征/>
Figure BDA0004162242530000034
S103、采用5个卷积层和1个L2归一化层建立法向预测支路中的法向解码器，以磨损表面光度特征
Figure BDA0004162242530000035
作为输入求解磨损表面法向量场/>
Figure BDA0004162242530000036
其中每个卷积层均由3×3卷积核和LeakyReLU激活函数组成，前4个卷积层分别采用2倍上采样。
进一步的，步骤S101中，构建共享权重编码器具体如下：
S1011、特征嵌入层被设置为内核大小为w×w、步长为w的卷积层并添加了位置编码，用于将信息输入转换成特定的特征尺寸以进一步进行特征提取，特征嵌入层输出的张量尺寸为(H/w)×(W/w)×384；
S1012、混合块由3×3深度卷积、层归一化和MLP串联组成并分别在深度卷积和MLP结束后添加了残差连接，混合块的输入输出保持特征尺寸不变。
具体的，步骤S2具体为：
S201、将磨损表面全光源图像
Figure BDA0004162242530000041
沿第三维度通道连接形成全光源信息张量/>
Figure BDA0004162242530000042
以保持与光度立体信息张量O的空间尺寸一致；
S202、磨损表面先验深度估计支路与磨损表面法向预测支路共用共享权重编码器，实现从全光源信息张量M0′中提取出全光源特征
Figure BDA0004162242530000043
S203、采用去除L2归一化层的法向解码器结构建立先验深度估计支路的先验深度解码器，并为前4个卷积层添置丢弃率为r的dropout层以及网络权重的正则项；
S204、保持dropout层在网络训练和使用过程中均处于打开状态，基于蒙特卡洛dropout方法执行全光源特征Φ在先验深度解码器中的T次随机前向传播，获得磨损表面先验深度
Figure BDA0004162242530000044
及其不确定度/>
Figure BDA0004162242530000045
具体的，步骤S3具体为：
S301、选取磨损表面像素点i的s×s邻域作为局部邻域Ωi，s为3、5、7，将像素点i及局部邻域Ωi从像素坐标系转换至相机坐标系的三维空间中，每个点具有三维坐标(x,y,z)；
S302、以局部邻域中像素点j的先验深度
Figure BDA0004162242530000046
为基准，结合磨损表面像素点i的表面法向ni计算像素点i在相机坐标系中相应的绝对深度值/>
Figure BDA0004162242530000047
S303、对像素点j对应的不确定度uj进行处理，获得先验深度
Figure BDA0004162242530000048
在局部邻域Ωi中的相对可信度sj，采用邻域像素点j与目标像素点i两者表面法向的点乘结果作为两点位于同一平面内的几何可行性gj，sj和gj共同表示深度值/>
Figure BDA0004162242530000049
作为目标像素点i深度的可信度，并将sj·gj作为深度值/>
Figure BDA00041622425300000410
的权重；
S304、计算磨损表面像素点i相对于局部邻域Ωi中所有像素点的多个深度值及对应的权重，得到磨损表面像素点i的几何信息融合特征qi，将磨损表面像素点i自身的法向信息及其局部邻域中其它像素点的先验深度信息嵌入几何信息融合特征qi；
S305、磨损表面深度重建支路中的几何信息融合层重复步骤S301至S304，以遍历磨损表面的所有像素点并求解几何信息融合特征，得到几何信息特征图
Figure BDA0004162242530000051
S306、采用3个扩展率为2的空洞卷积层和3个普通卷积层建立深度重建支路中的磨损表面深度回归器，并在3个空洞卷积层结束后添加残差连接，所有卷积层均使用LeakyReLU激活函数并且卷积核大小均为3×3，沿第三维度连接几何信息特征图和先验深度作为输入，重建磨损表面深度
Figure BDA0004162242530000052
进一步的，步骤S302中，像素点i相应的深度值
Figure BDA0004162242530000053
计算如下：
Figure BDA0004162242530000054
其中，nix、niy、niz为表面法向ni的三个方向分量，ui、vi为磨损表面像素点i的像素坐标，u0、v0为图像主点的像素坐标，m为光度立体技术采用的弱透视投影成像模型的放大倍率。
进一步的，步骤S304中，磨损表面像素点i的几何信息融合特征qi计算如下：
Figure BDA0004162242530000055
具体的，步骤S4具体为：
S401、采用步骤S1构建的磨损表面法向预测支路和步骤S2构建的磨损表面先验深度估计支路以及步骤S3构建的磨损表面深度重建支路共同组成磨损表面深度重建模型；
S402、采用均方误差损失计算预测表面法向和真实表面法向的误差并作为磨损表面法向预测支路的损失函数
Figure BDA0004162242530000056
采用均方误差损失计算先验深度和真实深度的误差并添加具有权重衰退系数的先验深度解码器权重层的L2正则项作为磨损表面先验深度估计支路的损失函数/>
Figure BDA0004162242530000057
采用具有不确定性加权的均方误差损失作为磨损表面深度重建支路的损失函数/>
Figure BDA0004162242530000058
通过加权和的形式融合三条支路各自的损失函数之和作为磨损表面深度重建模型的总损失函数
Figure BDA0004162242530000061
S403、采集磨损表面三维形貌，使用Voronoi函数对磨损表面三维形貌进行随机超像素分割，并采用Blender Cycles渲染器中的Principled BSDF为每个超像素区域设置不同的反射特性，随机采样光线的反射次数，渲染光度立体图像序列样本
Figure BDA0004162242530000062
以及全光源图像样本/>
Figure BDA0004162242530000063
同时生成表面法向图和表面深度图作为样本的标签，构建具有强非朗伯效应和反射特性空间变化的磨损表面合成数据集；
S404、以最小化总损失函数
Figure BDA0004162242530000064
为训练目标，采用磨损表面合成数据集作为训练数据，使用AdamW优化器训练磨损表面深度重建模型；
S405、将训练完成的磨损表面深度重建模型应用于实际磨损表面形貌重建，得到实际磨损表面的表面深度图，依据透视投影关系，将表面深度图从像素坐标系中转换到相机坐标系中，获得待重建磨损表面的三维形貌。
进一步的，步骤S402中，磨损表面深度重建支路的损失函数
Figure BDA0004162242530000065
为：
Figure BDA0004162242530000066
其中，u′p为先验深度的不确定度U经Min-Max标准化后像素点p处的不确定度，
Figure BDA0004162242530000067
为像素点p处磨损表面重建深度，H为图像分辨率的高度值，W为图像分辨率的宽度值，/>
Figure BDA0004162242530000068
为像素点p处磨损表面的真实深度。
第二方面，本发明实施例提供了一种融合全光源图像的磨损表面形貌光度立体重建系统，其特征在于，包括：
预测模块，结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；
估计模块，结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化预测结果不确定性能力的磨损表面先验深度估计支路；
深度模块，基于预测模块构建的磨损表面法向预测支路以及估计模块构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；
重建模块，采用磨损表面法向预测支路和磨损表面先验深度估计支路以及深度模块得到的磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
与现有技术相比，本发明至少具有以下有益效果：
融合全光源图像的磨损表面形貌光度立体重建方法，基于深度学习算法从光度立体输入中估计磨损表面法向，并使用打开所有光源拍摄的全光源图像为表面重建提供先验深度及其不确定性的估计，依据不确定性和几何约束将表面法向和先验深度进行逐像素融合，融合特征和先验深度进一步通过网络直接生成表面深度图，进而得到磨损表面三维形貌；整个网络模型由所设计的总损失函数和所构建的磨损表面合成数据集进行训练，并应用于实际磨损表面形貌重建；通过引入全光源图像为磨损表面重建提供先验深度信息，解决了光度立体方法仅依靠表面法向重建形貌产生的翘曲畸变问题，提升了磨损表面三维形貌重建精度，为机械设备的磨损分析提供了更准确有效的信息；依据先验深度的不确定度和几何约束关系将先验深度和表面法向进行合理融合，并通过网络直接输出磨损表面形貌深度，降低了网络模型对训练数据的依赖性，并且可以提高磨损表面重建的准确度与速度；使用全光源图像，无需增加装置即可便捷获得，使得本发明可以应用于基于光度立体的磨损形貌三维原位重建。
进一步的，步骤S1结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路，为后续磨损表面深度重建提供表面法向量场信息，其中嵌入多头注意力机制的光度特征聚合层通过建模多个光度特征之间的关系实现光度特征的聚合，有助于提高磨损表面法向预测精度。
进一步的，步骤S101构建的共享权重编码器用于实现对磨损表面光度立体信息张量和磨损表面全光源信息张量的同时提取，可以减小磨损表面深度重建模型的参数量以使模型易于训练。
进一步的，步骤S2结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化估计结果不确定性能力的磨损表面先验深度估计支路，为后续磨损表面深度重建提供先验深度，并针对从单张图像中估计深度信息的不适定性对所估计的先验深度的进行了不确定度量化，有助于后续几何信息融合时提高对可靠先验深度估计的利用。
进一步的，步骤S3构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路，以不确定度为引导有效融合磨损表面法向预测支路提供的表面法向信息和磨损表面先验深度估计支路提供的先验深度两个几何信息并回归磨损表面深度。
进一步的，步骤S302根据三维空间中同一平面内两点的连接向量与表面法向具有正交性的几何约束关系，以明确的方式融合局部邻域中像素点j的先验深度
Figure BDA0004162242530000081
和像素点i的表面法向ni两个几何信息，获得像素点i在相机坐标系中相应的绝对深度值/>
Figure BDA0004162242530000082
有助于提高磨损表面深度重建模型的重建精度并使模型易于训练。
进一步的，步骤S304依据先验深度相对可信度和几何可行性稳健地完成磨损表面像素点i自身法向信息及其局部邻域中其它像素点先验深度信息的融合，获得几何信息融合特征qi，为后续磨损表面深度重建提供可靠的特征输入基础。
进一步的，步骤S4通过构建有效的总损失函数和模拟实际磨损表面非朗伯效应的磨损表面合成数据集，有助于提升训练好的磨损表面深度重建模型应用于实际磨损表面三维形貌重建时的重建精度。
进一步的，步骤S402中磨损表面深度重建支路的损失函数
Figure BDA0004162242530000091
采用不确定度进行加权，有助于磨损表面深度重建模型在最终重建磨损表面深度时提升在先验深度估计不确定性较高地方的重建精度。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明在无需增加装置的情况下，通过引入全光源图像为光度立体方法重建磨损表面形貌提供先验深度信息，改善了非朗伯效应导致的重建磨损形貌翘曲失真问题，提高了三维重建精度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程图；
图2为本发明所构建的具有多分支的磨损表面深度重建模型的整体结构示意图；
图3为步骤4中S2所构建的用于磨损表面重建的合成数据集示例，其中(a)为激光共聚焦采集的磨损表面三维形貌，(b)为由形貌生成的表面深度图，(c)为由形貌生成的表面法向图，(d)为采用Blender Cycles渲染器生成的全光源图像序列，(e)为采用BlenderCycles渲染器生成的光度立体图像序列；
图4为本发明的应用效果示意图，其中第一列为每个磨损表面形貌的真实值，第二列为仅使用表面法向进行重建的结果，第三列为本发明方法的重建结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种融合全光源图像的磨损表面形貌光度立体重建方法，以磨损表面光度图像及光照方向为对象，融合深度学习算法和光度立体视觉原理建立磨损表面法向预测支路，求解磨损表面法向量场；以全光源图像为对象，构建具有量化预测结果不确定性能力的磨损表面先验深度估计支路，获取磨损表面先验深度及其不确定度；在此基础上，依据不确定度和几何约束融合表面法向量场和先验深度，建立磨损表面深度重建分支以获取磨损表面的精确深度，为机械设备磨损分析提供更有效的三维表征信息。
请参阅图1，本发明一种融合全光源图像的磨损表面形貌光度立体重建方法，包括以下步骤：
S1、结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路，求解磨损表面的法向量场；
S101、磨损表面法向预测支路使用k个不同光源下的磨损表面光度立体信息张量
Figure BDA0004162242530000111
作为输入，其中H×W表示光度图像分辨率，6表示每个张量具有6个通道，依次为光度图像的RGB通道和归一化的光源方向[x,y,z]，构建由1个特征嵌入层和多个混合块堆叠组成的共享权重编码器从中提取出磨损表面光度特征集/>
Figure BDA0004162242530000112
共享权重编码器的构建步骤如下：
S1011、特征嵌入层被设置为内核大小为w×w、步长为w的卷积层并添加了位置编码，用于将信息输入转换成特定的特征尺寸以进一步进行特征提取，特征嵌入层输出的张量尺寸为(H/w)×(W/w)×384，因此，图像的分辨率大小需是w的倍数，本发明中采用w＝16，H＝W＝224；
S1012、混合块由3×3深度卷积、层归一化和MLP串联组成并分别在深度卷积和MLP结束后添加了残差连接，混合块的输入输出保持特征尺寸不变，通过堆叠不同数量的混合块可以方便地使网络规模适应训练数据集的大小，本发明中采用混合块堆叠数量为10。
S102、以多头注意力机制为基础构建法向预测支路中的光度特征聚合层，采用可学习的种子向量
Figure BDA0004162242530000121
作为多头注意力机制中的查询向量，采用磨损表面光度特征集{Ψ1,Ψ2,...,Ψk}作为多头注意力机制中的键向量和值向量，获得聚合后的磨损表面光度特征/>
Figure BDA0004162242530000122
相比于常规的最大值池化或平均值池化的光度特征聚合方法，光度特征信息可以得到更为充分的利用，有助于提高磨损表面光度图像稀疏输入下表面法向的计算准确性。
S103、采用5个卷积层和1个L2归一化层建立法向预测支路中的法向解码器，以磨损表面光度特征
Figure BDA0004162242530000123
作为输入求解磨损表面法向量场/>
Figure BDA0004162242530000124
其中每个卷积层均由3×3卷积核和LeakyReLU激活函数组成，前4个卷积层分别采用2倍上采样。
S2、结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化预测结果不确定性能力的磨损表面先验深度估计支路，获取磨损表面的先验深度及其不确定度；
S201、将磨损表面全光源图像
Figure BDA0004162242530000125
沿第三维度通道连接形成全光源信息张量/>
Figure BDA0004162242530000126
以保持与光度立体信息张量O的空间尺寸一致；
S202、磨损表面先验深度估计支路与磨损表面法向预测支路共用共享权重编码器，实现从全光源信息张量M0′中提取出全光源特征
Figure BDA0004162242530000127
S203、采用去除L2归一化层的法向解码器结构建立先验深度估计支路的先验深度解码器，并为前4个卷积层添置了丢弃率为r的dropout层以及网络权重的正则项，使先验深度解码器具备量化预测结果不确定性的能力；
S204、保持dropout层在网络训练和使用过程中均处于打开状态，基于蒙特卡洛dropout方法执行全光源特征Φ在先验深度解码器中的T次随机前向传播，获得磨损表面先验深度
Figure BDA0004162242530000128
及其不确定度/>
Figure BDA0004162242530000129
S3、构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路，以先验深度不确定度为引导，通过几何约束将磨损表面的先验深度和表面法向以逐像素方式进行融合，实现磨损表面深度的精准估计；
S301、选取磨损表面像素点i的s×s邻域作为其局部邻域Ωi，s取值3、5、7，将像素点i及其局部邻域Ωi从像素坐标系转换至相机坐标系的三维空间中，每个点具有三维坐标(x,y,z)；
S302、根据三维空间中同一平面内两点的连接向量与表面法向具有正交性的几何约束关系，以局部邻域中像素点j的先验深度
Figure BDA0004162242530000131
为基准，结合磨损表面像素点i的表面法向ni计算像素点i相应的深度值/>
Figure BDA0004162242530000132
如公式(1)所示，该深度值为相机坐标系中的绝对深度值；
Figure BDA0004162242530000133
其中，nix、niy、niz为表面法向ni的三个方向分量，ui、vi为磨损表面像素点i的像素坐标，u0、v0为图像主点的像素坐标，m为光度立体技术采用的弱透视投影成像模型的放大倍率；
S303、将像素点j对应的不确定度uj按照公式(2)进行处理以获得先验深度
Figure BDA0004162242530000134
在局部邻域Ωi中的相对可信度sj，采用邻域像素点j与目标像素点i两者表面法向的点乘结果作为两点位于同一平面内的几何可行性gj，深度值/>
Figure BDA0004162242530000135
基于先验深度/>
Figure BDA0004162242530000136
和深度与表面法向的几何约束关系计算获得，因此，sj和gj共同表示了深度值/>
Figure BDA0004162242530000137
作为目标像素点i深度的可信度，并将sj·gj作为深度值/>
Figure BDA0004162242530000138
的权重；
Figure BDA0004162242530000139
S304、计算磨损表面像素点i相对于局部邻域Ωi中所有像素点的多个深度值及对应的权重，采用如公式(3)所示的核回归方法，得到磨损表面像素点i的几何信息融合特征qi，该特征嵌入了磨损表面像素点i自身的法向信息及其局部邻域中其它像素点的先验深度信息；
Figure BDA0004162242530000141
S305、磨损表面深度重建支路中的几何信息融合层重复步骤S301至S304以遍历磨损表面的所有像素点并求解几何信息融合特征，得到几何信息特征图
Figure BDA0004162242530000142
S306、采用3个扩展率为2的空洞卷积层和3个普通卷积层建立深度重建支路中的磨损表面深度回归器，并在3个空洞卷积层结束后添加残差连接，所有卷积层均使用LeakyReLU激活函数并且卷积核大小均为3×3，沿第三维度连接几何信息特征图和先验深度作为输入，重建磨损表面深度
Figure BDA0004162242530000143
以上步骤S1至步骤S3的三个支路共同组成磨损表面深度重建网络，整个网络模型的结构如图2所示。
S4、分别定义步骤S1至步骤S3中三条支路的损失函数并构建总损失函数作为网络的训练目标，构建磨损表面合成数据集作为训练数据，对整个网络模型进行训练，将训练好的网络模型应用于实际磨损表面的三维形貌重建。
S401、采用步骤S1构建的磨损表面法向预测支路和步骤S2构建的磨损表面先验深度估计支路以及步骤S3构建的磨损表面深度重建支路共同组成磨损表面深度重建模型；
S402、采用均方误差损失计算预测表面法向和真实表面法向的误差并作为磨损表面法向预测支路的损失函数
Figure BDA0004162242530000144
采用均方误差损失计算先验深度和真实深度的误差并添加具有权重衰退系数的先验深度解码器权重层的L2正则项作为磨损表面先验深度估计支路的损失函数/>
Figure BDA0004162242530000145
采用具有不确定性加权的均方误差损失作为磨损表面深度重建支路的损失函数/>
Figure BDA0004162242530000146
通过加权和的形式融合三条支路各自的损失函数作为磨损表面深度重建模型的总损失函数/>
Figure BDA0004162242530000147
Figure BDA0004162242530000148
其中，u′p为先验深度的不确定度U经Min-Max标准化后像素点p处的不确定度，可以引导模型重建磨损表面深度时更多关注先验深度预测不确定的地方，
Figure BDA0004162242530000151
为像素点p处磨损表面重建深度。
磨损表面深度重建模型的总损失函数
Figure BDA0004162242530000152
具体为：
Figure BDA0004162242530000153
其中，λn为磨损表面法向预测支路的损失函数
Figure BDA0004162242530000154
的权重系数并在本发明实施例中设置为1.0，λp磨损表面先验深度估计支路的损失函数/>
Figure BDA0004162242530000155
的权重系数并在本发明实施例中设置为0.5，λr为磨损表面深度重建支路的损失函数/>
Figure BDA0004162242530000156
的权重系数并在本发明实施例中设置为1.0。
S402、通过高精度的激光共聚焦显微镜采集一批磨损表面三维形貌，使用Voronoi函数对磨损表面进行随机超像素分割，并采用Blender Cycles渲染器中的PrincipledBSDF为每个超像素区域设置不同的反射特性，随机采样光线的反射次数，渲染光度立体图像序列样本
Figure BDA0004162242530000157
以及全光源图像样本/>
Figure BDA0004162242530000158
同时生成表面法向图和表面深度图作为样本的标签，以此构建具有强非朗伯效应和反射特性空间变化的磨损表面合成数据集，图3展示了磨损表面合成数据的示例；磨损表面合成数据集有助于提高磨损表面深度重建模型在是实际磨损表面上的泛化性能，图3展示了磨损表面合成数据的示例，可以看出，光度立体图像序列模拟出了实际磨损表面具有的非朗伯效应，即高光和阴影现象，而全光源图像具有较少的非朗伯效应和相对清晰的表面形貌结构信息，因此本发明利用光度立体图像序列的明暗变化计算高频的表面法向量场，利用全光源图像估计低频的先验深度信息并联合表面法向重建表面深度，改善非朗伯效应下磨损表面光度立体重建结果翘曲失真的问题。
S403、以最小化总损失函数
Figure BDA0004162242530000159
为训练目标，采用磨损表面合成数据集作为训练数据，设置合理的超参数，采用初始学习率为0.0005，使用AdamW优化器训练整个网络模型600个回合(epoch)次数后停止，网络总损失基本不变，网络模型达到最优效果；
S404、将训练完成的网络模型应用于实际磨损表面形貌重建，得到实际磨损表面的表面深度图，依据透视投影关系，将表面深度图从像素坐标系中转换到相机坐标系中以获得待重建磨损表面的三维形貌。
本发明再一个实施例中，提供一种融合全光源图像的磨损表面形貌光度立体重建系统，该系统能够用于实现上述融合全光源图像的磨损表面形貌光度立体重建方法，具体的，该融合全光源图像的磨损表面形貌光度立体重建系统包括预测模块、估计模块、深度模块以及重建模块。
其中，预测模块，结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；
估计模块，结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化预测结果不确定性能力的磨损表面先验深度估计支路；
深度模块，基于预测模块构建的磨损表面法向预测支路以及估计模块构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；
重建模块，采用磨损表面法向预测支路和磨损表面先验深度估计支路以及深度模块得到的磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于融合全光源图像的磨损表面形貌光度立体重建方法的操作，包括：
结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化估计结果不确定性能力的磨损表面先验深度估计支路；基于构建的磨损表面法向预测支路以及构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；采用磨损表面法向预测支路和磨损表面先验深度估计支路以及磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关融合全光源图像的磨损表面形貌光度立体重建方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化估计结果不确定性能力的磨损表面先验深度估计支路；基于构建的磨损表面法向预测支路以及构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；采用磨损表面法向预测支路和磨损表面先验深度估计支路以及磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图4，展示了3个实际磨损表面的重建结果对比，第一列为高精度激光共聚焦显微镜采集的表面形貌并作为真实值，第二列为采用光度立体领域最小二乘法计算表面法线并结合Frankot-Chellappa法线积分算法重建的表面形貌，即仅依靠光度立体计算的表面法向进行重建，第三列为本发明方法重建的表面形貌，可以看出，本发明完整的重建结果良好，改善了仅基于表面法向重建形貌所产生的重建结果翘曲失真问题，可以准确还原磨损表面上划痕、凹坑等磨损特征，且本发明在重建过程中无需增加装置，并且以端到端的方式直接估计磨损表面深度，无需依赖参数设置，可以实现便捷、快速且准确的磨损表面三维形貌原位重建。
综上所述，本发明一种融合全光源图像的磨损表面形貌光度立体重建方法及系统，在无需增加装置的情况下，通过引入全光源图像为光度立体方法重建磨损表面形貌提供先验深度信息，改善了非朗伯效应导致的重建磨损形貌翘曲失真问题，提高了三维重建精度。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，包括以下步骤：
S1、结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；
S2、结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化估计结果不确定性能力的磨损表面先验深度估计支路；
S3、基于步骤S1构建的磨损表面法向预测支路以及步骤S2构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；
S4、采用磨损表面法向预测支路和磨损表面先验深度估计支路以及步骤S3得到的磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
2.根据权利要求1所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S1具体为：
S101、使用k个不同光源下的磨损表面光度立体信息张量
Figure FDA0004162242520000011
作为磨损表面法向预测支路的输入，H×W表示光度图像分辨率，6表示每个张量具有6个通道，依次为光度图像的RGB通道和归一化的光源方向[x,y,z]，构建由1个特征嵌入层和多个混合块堆叠组成的共享权重编码器从中提取出磨损表面光度特征集/>
Figure FDA0004162242520000012
S102、以多头注意力机制为基础构建法向预测支路中的光度特征聚合层，采用可学习的种子向量
Figure FDA0004162242520000013
作为多头注意力机制中的查询向量，采用磨损表面光度特征集{Ψ1,Ψ2,...,Ψk}作为多头注意力机制中的键向量和值向量，获得聚合后的磨损表面光度特征
Figure FDA0004162242520000021
S103、采用5个卷积层和1个L2归一化层建立法向预测支路中的法向解码器，以磨损表面光度特征
Figure FDA0004162242520000022
作为输入求解磨损表面法向量场/>
Figure FDA0004162242520000023
其中每个卷积层均由3×3卷积核和LeakyReLU激活函数组成，前4个卷积层分别采用2倍上采样。
3.根据权利要求2所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S101中，构建共享权重编码器具体如下：
S1011、特征嵌入层被设置为内核大小为w×w、步长为w的卷积层并添加了位置编码，用于将信息输入转换成特定的特征尺寸以进一步进行特征提取，特征嵌入层输出的张量尺寸为(H/w)×(W/w)×384；
S1012、混合块由3×3深度卷积、层归一化和MLP串联组成并分别在深度卷积和MLP结束后添加了残差连接，混合块的输入输出保持特征尺寸不变。
4.根据权利要求1所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S2具体为：
S201、将磨损表面全光源图像
Figure FDA0004162242520000024
沿第三维度通道连接形成全光源信息张量
Figure FDA0004162242520000025
以保持与光度立体信息张量O的空间尺寸一致；
S202、磨损表面先验深度估计支路与磨损表面法向预测支路共用共享权重编码器，实现从全光源信息张量M0′中提取出全光源特征
Figure FDA0004162242520000026
S203、采用去除L2归一化层的法向解码器结构建立先验深度估计支路的先验深度解码器，并为前4个卷积层添置丢弃率为r的dropout层以及网络权重的正则项；
S204、保持dropout层在网络训练和使用过程中均处于打开状态，基于蒙特卡洛dropout方法执行全光源特征Φ在先验深度解码器中的T次随机前向传播，获得磨损表面先验深度
Figure FDA0004162242520000027
及其不确定度/>
Figure FDA0004162242520000028
5.根据权利要求1所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S3具体为：
S301、选取磨损表面像素点i的s×s邻域作为局部邻域Ωi，s为3、5、7，将像素点i及局部邻域Ωi从像素坐标系转换至相机坐标系的三维空间中，每个点具有三维坐标(x,y,z)；
S302、以局部邻域中像素点j的先验深度
Figure FDA0004162242520000031
为基准，结合磨损表面像素点i的表面法向ni计算像素点i在相机坐标系中相应的绝对深度值/>
Figure FDA0004162242520000032
S303、对像素点j对应的不确定度uj进行处理，获得先验深度
Figure FDA0004162242520000033
在局部邻域Ωi中的相对可信度sj，采用邻域像素点j与目标像素点i两者表面法向的点乘结果作为两点位于同一平面内的几何可行性gj，sj和gj共同表示深度值/>
Figure FDA0004162242520000034
作为目标像素点i深度的可信度，并将sj·gj作为深度值/>
Figure FDA0004162242520000035
的权重；
S304、计算磨损表面像素点i相对于局部邻域Ωi中所有像素点的多个深度值及对应的权重，得到磨损表面像素点i的几何信息融合特征qi，将磨损表面像素点i自身的法向信息及其局部邻域中其它像素点的先验深度信息嵌入几何信息融合特征qi；
S305、磨损表面深度重建支路中的几何信息融合层重复步骤S301至S304，以遍历磨损表面的所有像素点并求解几何信息融合特征，得到几何信息特征图
Figure FDA0004162242520000036
S306、采用3个扩展率为2的空洞卷积层和3个普通卷积层建立深度重建支路中的磨损表面深度回归器，并在3个空洞卷积层结束后添加残差连接，所有卷积层均使用LeakyReLU激活函数并且卷积核大小均为3×3，沿第三维度连接几何信息特征图和先验深度作为输入，重建磨损表面深度
Figure FDA0004162242520000037
6.根据权利要求5所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S302中，像素点i相应的深度值
Figure FDA0004162242520000038
计算如下：
Figure FDA0004162242520000039
其中，nix、niy、niz为表面法向ni的三个方向分量，ui、vi为磨损表面像素点i的像素坐标，u0、v0为图像主点的像素坐标，m为光度立体技术采用的弱透视投影成像模型的放大倍率。
7.根据权利要求5所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S304中，磨损表面像素点i的几何信息融合特征qi计算如下：
Figure FDA0004162242520000041
8.根据权利要求1所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S4具体为：
S401、采用步骤S1构建的磨损表面法向预测支路和步骤S2构建的磨损表面先验深度估计支路以及步骤S3构建的磨损表面深度重建支路共同组成磨损表面深度重建模型；
S402、采用均方误差损失计算预测表面法向和真实表面法向的误差并作为磨损表面法向预测支路的损失函数
Figure FDA0004162242520000042
采用均方误差损失计算先验深度和真实深度的误差并添加具有权重衰退系数的先验深度解码器权重层的L2正则项作为磨损表面先验深度估计支路的损失函数/>
Figure FDA0004162242520000043
采用具有不确定性加权的均方误差损失作为磨损表面深度重建支路的损失函数/>
Figure FDA0004162242520000044
通过加权和的形式融合三条支路各自的损失函数之和作为磨损表面深度重建模型的总损失函数/>
Figure FDA0004162242520000045
S403、采集磨损表面三维形貌，使用Voronoi函数对磨损表面三维形貌进行随机超像素分割，并采用Blender Cycles渲染器中的Principled BSDF为每个超像素区域设置不同的反射特性，随机采样光线的反射次数，渲染光度立体图像序列样本
Figure FDA0004162242520000046
以及全光源图像样本/>
Figure FDA0004162242520000047
同时生成表面法向图和表面深度图作为样本的标签，构建具有强非朗伯效应和反射特性空间变化的磨损表面合成数据集；
S404、以最小化总损失函数
Figure FDA0004162242520000051
为训练目标，采用磨损表面合成数据集作为训练数据，使用AdamW优化器训练磨损表面深度重建模型；
S405、将训练完成的磨损表面深度重建模型应用于实际磨损表面形貌重建，得到实际磨损表面的表面深度图，依据透视投影关系，将表面深度图从像素坐标系中转换到相机坐标系中，获得待重建磨损表面的三维形貌。
9.根据权利要求8所述的融合全光源图像的磨损表面形貌光度立体重建方法，其特征在于，步骤S402中，磨损表面深度重建支路的损失函数
Figure FDA0004162242520000052
为：
Figure FDA0004162242520000053
其中，u′p为先验深度的不确定度U经Min-Max标准化后像素点p处的不确定度，
Figure FDA0004162242520000054
为像素点p处磨损表面重建深度，H为图像分辨率的高度值，W为图像分辨率的宽度值，/>
Figure FDA0004162242520000055
为像素点p处磨损表面的真实深度。
10.一种融合全光源图像的磨损表面形貌光度立体重建系统，其特征在于，包括：
预测模块，结合不同光源照射下的磨损表面光度图像及光照方向，通过嵌入采用多头注意力机制的光度特征聚合层建立基于编码器-解码器网络架构的磨损表面法向预测支路；
估计模块，结合磨损表面全光源图像，通过添加dropout层和网络权重正则项建立具有量化预测结果不确定性能力的磨损表面先验深度估计支路；
深度模块，基于预测模块构建的磨损表面法向预测支路以及估计模块构建的磨损表面先验深度估计支路，构建由几何信息融合层和磨损表面深度回归器组成的磨损表面深度重建支路；
重建模块，采用磨损表面法向预测支路和磨损表面先验深度估计支路以及深度模块得到的磨损表面深度重建支路共同组成磨损表面深度重建模型，并分别构建每条支路各自的损失函数，以加权和的形式融合三条支路的损失函数作为总损失函数，构建磨损表面合成数据集作为训练数据，以最小化总损失函数为优化目标对磨损表面深度重建模型进行训练，将训练好的磨损表面深度重建模型应用于实际磨损表面的三维形貌重建。
CN202310352849.4A 2023-04-04 2023-04-04 融合全光源图像的磨损表面形貌光度立体重建方法及系统 Pending CN116385520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310352849.4A CN116385520A (zh) 2023-04-04 2023-04-04 融合全光源图像的磨损表面形貌光度立体重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310352849.4A CN116385520A (zh) 2023-04-04 2023-04-04 融合全光源图像的磨损表面形貌光度立体重建方法及系统

Publications (1)

Publication Number Publication Date
CN116385520A true CN116385520A (zh) 2023-07-04

Family

ID=86970614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310352849.4A Pending CN116385520A (zh) 2023-04-04 2023-04-04 融合全光源图像的磨损表面形貌光度立体重建方法及系统

Country Status (1)

Country Link
CN (1) CN116385520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011478A (zh) * 2023-10-07 2023-11-07 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011478A (zh) * 2023-10-07 2023-11-07 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法
CN117011478B (zh) * 2023-10-07 2023-12-22 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法

Similar Documents

Publication Publication Date Title
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
Kondo et al. Accurate polarimetric BRDF for real polarization scene rendering
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
CN115601661A (zh) 一种用于城市动态监测的建筑物变化检测方法
Dong et al. Asphalt pavement macrotexture reconstruction from monocular image based on deep convolutional neural network
CN116385520A (zh) 融合全光源图像的磨损表面形貌光度立体重建方法及系统
CN114429555A (zh) 由粗到细的图像稠密匹配方法、系统、设备及存储介质
CN114187263B (zh) 一种融合先验引导和域适应的磨损表面朗伯反射分离方法
CN115937404A (zh) 基于多视图阴影分割的光栅三维重建系统及方法
Wang et al. In-situ 3D reconstruction of worn surface topography via optimized photometric stereo
Schambach et al. A multispectral light field dataset and framework for light field deep learning
Chetouani A 3D mesh quality metric based on features fusion
CN116563096B (zh) 用于图像配准的形变场的确定方法、装置以及电子设备
Lei et al. Single-shot structured light projection profilometry with SwinConvUNet
Stent et al. Precise deterministic change detection for smooth surfaces
CN113557528A (zh) 生成点云补全网络及点云数据处理
Xi et al. Attention Deeplabv3 model and its application into gear pitting measurement
CN110533663B (zh) 一种图像视差确定方法、装置、设备及系统
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN110084887B (zh) 一种空间非合作目标相对导航模型三维重建方法
CN113592995B (zh) 一种基于并行单像素成像的多次反射光分离方法
Bian et al. Swin transformer UNet for very high resolution image dehazing
Yang et al. SA-MVSNet: Self-attention-based multi-view stereo network for 3D reconstruction of images with weak texture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination