CN114187263A - 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 - Google Patents
一种融合先验引导和域适应的磨损表面朗伯反射分离方法 Download PDFInfo
- Publication number
- CN114187263A CN114187263A CN202111508929.1A CN202111508929A CN114187263A CN 114187263 A CN114187263 A CN 114187263A CN 202111508929 A CN202111508929 A CN 202111508929A CN 114187263 A CN114187263 A CN 114187263A
- Authority
- CN
- China
- Prior art keywords
- domain
- image
- sample
- real
- wear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006978 adaptation Effects 0.000 title claims abstract description 35
- 238000000926 separation method Methods 0.000 title claims abstract description 29
- 238000004088 simulation Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 32
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000005299 abrasion Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012625 in-situ measurement Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种融合先验引导和域适应的磨损表面朗伯反射分离方法，属于机器设备磨损状态监测领域；首先，构建面向乏样本磨损表面的朗伯反射分离深度网络模型，利用磨损表面已知的基本反射引导从光度图像序列到朗伯图像序列的预测，并通过域适应对齐仿真样本和真实样本两个不同域样本的中间特征，以联合这两种样本优化网络参数；其次，设计图像预测损失函数和域分类损失函数用于联合优化网络模型；再次，构建含标签仿真样本数据集和真实样本数据集；最后，完成网络模型训练并在真实磨损表面上应用；本发明有效地采用先验引导提高少样本下模型的预测精度，并通过域适应实现不同域样本的网络预测一致性，可用于乏样本下复杂反射磨损表面的光度立体精确重建。
Description
技术领域
本发明属于机器设备磨损状态监测技术领域，具体涉及一种融合先验引导和域适应的磨损表面朗伯反射分离方法。
背景技术
磨损表面的形貌特征伴随着机械设备磨损过程中的材料降解和去除而产生变化，是设备实时磨损状态信息的载体，因而实施磨损表面形貌监测是进行摩擦副磨损机理分析和故障诊断的重要手段。相较于传统的实验室离线三维形貌获取技术，光度立体视觉方法由二维图像序列重建三维形貌，具有设备小巧便携、像素级采样以及重建细节特征丰富等优点，可以实现磨损表面的原位测量。进一步地，基于获取的三维形貌可以完成磨损表面的综合表征，从而为机械设备部件的磨损故障分析、磨损机理识别以及视情维护提供信息支撑。
光度立体视觉方法获取不同光源照射下的光度图像序列，进而根据图像序列的明暗变化信息求解表面的法向量分布并通过梯度积分重建表面形貌。然而，真实磨损表面成像过程中存在投射阴影、附着阴影和镜面反射等非朗伯反射成分，偏离了传统光度立体方法中待测表面为朗伯表面的假设，这会导致法向量的求解误差。众多光度立体算法已经被开发用来处理非朗伯材料，主要包括解析反射模型、异常值去除和深度学习方法(前两种方法更详细内容可参阅SHI B,MO Z,WU Z,et al.ABenchmark Dataset and Evaluation forNon-Lambertian and Uncalibrated Photometric Stereo[J].IEEE transactions onpattern analysis and machine intelligence,2019,41(2):271–284)。解析反射模型方法通过非线性拟合分析物体表面的双向反射分布函数来描述非朗伯反射，但这种方法原则上需要对不同材料类别进行复杂的个案分析，难以适用于具有多种材质和不同粗糙度的磨损表面；异常值去除方法假设非朗伯成分是局部且稀疏的，可以作为异常值被检测和去除。然而，金属磨损表面的非朗伯异常值可能会非常密集并难以区分；深度学习方法被用于构建由光度图像到法向量或朗伯图像的映射(更详细内容可参阅ZHENG Q,SHI B,PANG.Summary study of data-driven photometric stereo methods[J].Virtual Reality&Intelligent Hardware,2020,2(3):213–221)，其求解精度和泛化能力通常优于前述两种方法。基于深度学习的光度立体算法需要大量的样本作为数据集以进行网络参数训练，但磨损表面真实样本匮乏且难以标定，限制了该方法在磨损表面分析中的应用。尽管图像渲染能够生成大量仿真样本，但由于渲染图像简化成像过程，使得通过仿真样本训练得到的模型不能在真实磨损表面上取得同样良好的预测结果。
总体而言，光度立体视觉方法为基于磨损状态监测的磨损机理分析、故障诊断和机械设备健康管理提供了磨损表面三维形貌原位获取的技术支撑。然而，磨损表面光度图像中多种非朗伯反射成分会导致法向量求解误差，深度学习方法被引入解决该问题，但是其应用过程中面临真实磨损样本匮乏，以及仿真样本相较于真实样本退化的挑战。
发明内容
为了解决上述现有技术的缺陷，本发明的目的在于提供一种融合先验引导和域适应的磨损表面朗伯反射分离方法，首先，构建面向乏样本磨损表面的朗伯反射分离深度网络模型，其利用磨损表面已知的基本反射引导从光度图像序列到朗伯图像序列的预测，并通过域适应对齐仿真样本和真实样本两个不同域样本的中间特征，以联合这两种样本优化网络参数；其次，设计图像预测损失函数和域分类损失函数并构建综合损失函数作为网络模型的优化目标；再次，采用形貌变换与图像渲染技术，以真实的磨损表面形貌为基础构建含标签仿真样本数据集，并通过多光源图像采集系统获取磨损表面光度图像序列作为真实样本数据集；最后，在前述基础上设置合理的训练参数，对网络进行训练，实现磨损表面光度图像的朗伯反射分离。
为了实现上述目的，本发明采用如下技术方案：
一种融合先验引导和域适应的磨损表面朗伯反射分离方法，包括以下步骤：
步骤1：构建由特征预测支路、宏观先验支路和域适应支路组成的磨损表面朗伯反射分离深度学习网络；特征预测支路和宏观先验支路的输出叠加形成磨损表面朗伯图像序列的预测，域适应支路联合真实样本和仿真样本进行网络参数训练，以提高网络在真实磨损样本上的预测准确性；
步骤2：设计面向图像预测的损失函数，并选择二分类交叉熵作为域适应的损失函数，通过加权融合的方式构建网络模型的综合损失函数；
步骤3：构建包含无标签真实样本和含标签仿真样本的训练数据集，其中，无标签真实样本是由多光源图像采集系统获取的磨损表面光度图像序列；含标签仿真样本是在激光共聚焦显微镜获得的真实磨损表面形貌的基础上，采用形貌变换和图像渲染技术生成的；
步骤4：以综合损失函数作为优化目标，不少于800组真实磨损样本和不少于2000含标签仿真样本作为训练集，在每次训练迭代中随机选择仿真样本和真实样本，并采用自适应动量估计(Adam)优化算法训练所构建的磨损表面朗伯反射分离网络模型，实现磨损表面光度图像的朗伯反射分离。
所述步骤1包括如下具体步骤：
S1，构建面向乏样本下磨损表面朗伯反射分离的深度学习网络基本架构，主要包括特征预测支路、宏观先验支路和域适应支路；
S2，特征预测支路由完全对称的编码器和解码器构成，编码器由卷积块和下采样残差块依次组成，下采样残差块中采用卷积层将特征图尺寸减半，以提取深层次的特征信息；解码器由上采样残差块和卷积块依次组成，其中上采样残差块采用反卷积层逐层放大特征图尺寸，以保持输入和输出图像的分辨率一致；下采样残差块和上采样残差块均添加短程连接以构建恒等映射，并引入空间注意力机制以增强磨损特征边缘的预测精度；
S3，宏观先验支路以平面基体作为磨损表面的先验形状进行输入，采用公式(1)所描述的朗伯模型生成不含局部特征的朗伯图像序列，这些图像与特征预测支路的输出相叠加，生成磨损表面的朗伯图像序列；
公式(1)：Ip＝128·(N·L)+128；
式中Ip为像素点p处的图像亮度值；N为像素点p处的单位表面法向量；L为像素点p处光源的单位入射方向向量，具体应用时保持和多光源图像采集系统设置相同；
S4，域适应支路通过构建编码器与域辨识器的对抗学习，确保编码器在不同域样本中特征提取的跨域一致性；域辨识器由梯度反转层和卷积层组成，卷积层用于将从仿真样本和真实磨损样本提取的中间特征图转换为同分辨率的辨识分数图，从而评价域类型并计算域分类损失；梯度反转层用于将反向传播至编码器的域分类损失梯度求反，使网络能够保证在域辨识器最小化域分类损失的同时编码器最大化域分类损失。
所述步骤2包括如下具体步骤：
S1，为了促使训练过程中预测图像接近标签图像，从逐像素的图像亮度值和图像序列中不同图像间的亮度变化幅值两个维度联合设计了图像预测支路的损失函数如公式(2)所示；
公式(2)：
式中m为磨损光度图像序列的图像数量；n为单次迭代输入网络的仿真样本数量；H×W为输入图像的分辨率；
分别为第s个样本的第k张图像中像素点p处中朗伯反射图像的预测亮度与真实亮度；
分别为第s个样本的像素点p处朗伯图像序列的通道间亮度变化幅度的预测值和真实值；
S2，仿真样本和真实磨损样本间的域辨识为二分类问题，故选择二元交叉熵作为域适应的损失函数，如公式(3)所示；
公式(3)：
式中y为域分类标签，仿真样本取0，真实磨损样本取1；
为真实磨损样本对应的域辨识分数图Freal在索引(i,j)处的辨识结果；
为第s个仿真样本对应的域辨识分数图Fs在索引(i,j)处的辨识结果；
S3，对图像预测损失函数和域分类损失函数进行加权融合，进而构建网络模型的综合损失函数为：
公式(4)：LUDA＝Lest+λUDA·Ldomain
式中λUDA为无监督域适应系数。
所述步骤3包括如下具体步骤：
S1，依靠多光源图像采集系统，在固定视角下逐次切换光源进行拍摄，获取磨损表面光度图像序列作为无标签真实样本；
S2，在激光共聚焦显微镜获得的真实磨损表面形貌的基础上，采用形貌变换和图像渲染技术生成含标签仿真样本，具体包括以下步骤：
(1)利用激光共聚焦显微镜获取磨损表面的三维形貌，并将其表示为高度灰度图；
(2)采用仿射变换从中截取含磨损特征的部分区域，在变换结果中绘制控制网格后给予各个格点随机位移，并采用三次样条插值计算各像素点的高度值，以扩充磨损表面形貌样本；
(3)采用MERL数据库描述仿真表面的反射规律，在Blender渲染软件中设置和多光源图像采集系统相同的光源特性参数和分布信息，对扩充磨损表面进行光度渲染，生成不同材质表面的仿真光度图像序列，并采用公式(1)所述的朗伯模型，生成与仿真光度图像序列相匹配的朗伯图像序列，作为网络训练的预测标签，进而构建含标签仿真样本。
所述步骤4包括如下具体步骤：
S1，以综合损失函数作为优化目标，不少于800组真实磨损样本和不少于20000组含标签仿真样本作为训练集；训练过程中，图像序列的分辨率取128×128，每次参数迭代随机选择10组仿真样本和1组真实样本以平衡样本数目差异；
S2，使用自适应动量估计(Adam)优化算法进行网络的学习，其参数均采用默认值，，并在20-30训练回合(Epoch)线性衰减学习率以避免最优点附近收敛时的震荡；
S3，将训练好的模型参数保存，并输入由多光源图像采集系统采集的磨损表面光度图像序列，得到对应的朗伯图像序列。
本发明具有以下有益效果：
(1)本发明建立了乏样本下磨损表面的朗伯反射分离深度网络模型，实现了复杂反射磨损表面光度图像序列的朗伯反射分离，解决了非朗伯反射成分影响法向量求解准确度的问题，可用于复杂反射磨损表面的精确光度立体重建。
(2)本发明以磨损表面宏观形状的朗伯图像为先验知识，引导网络模型特别关注局部磨损特征导致的朗伯反射变化，简化了朗伯反射分离网络模型的预测任务，可以进一步提高少样本训练条件下网络模型的预测精度。
(3)本发明联合磨损表面仿真样本和真实样本更新网络模型，并采用域适应策略对齐不同域样本的中间特征，促使编码器跨域提取一致特征，进而提高了模型在真实磨损表面上朗伯反射预测的准确度。
附图说明
图1为融合先验引导和域适应的磨损表面朗伯反射分离方法的总体流程图。
图2为朗伯反射分离深度学习网络结构示意图。
图3(a)为编码器中残差块结构示意图。
图3(b)为解码器中残差块结构示意图。
图4(a)为通过激光共聚焦显微镜获得的高度灰度图。
图4(b)为采用仿射变换对高度灰度图进行截取。
图4(c)为对仿射变换后的图像进行可变形变换。
图5(a)为基于形貌变换和图像渲染获得的仿真光度图像序列示例。
图5(b)为生成朗伯图像序列作为仿真光度图像序列的对应标签示例。
图6(a)为采集的真实磨损表面光度图像序列。
图6(b)为训练好的网络模型输出对应的朗伯图像序列。
具体实施方式
下面结合附图，对本发明作进一步说明。
参照图1，一种融合先验引导和域适应的磨损表面朗伯反射分离方法，包括以下步骤：
步骤1：构建由特征预测支路、宏观先验支路和域适应支路组成的磨损表面朗伯反射分离深度学习网络。特征预测支路基于多光路互补原理构建，在编码器与解码器的基础上引入残差块和空间注意力机制；宏观先验支路以磨损表面的先验形状为输入，基于朗伯模型生成不含局部特征的朗伯图像序列，这些图像与特征预测支路的输出叠加生成磨损表面的朗伯图像序列；域适应支路针对渲染光度图像与磨损表面真实光度图像存在的域差异，通过构建面向编码器所提取特征的域辨识器，并联合仿真样本和真实磨损样本以实现域辨识器和编码器的对抗训练，进而优化编码器于渲染图像和真实磨损样本中特征提取的跨域一致性。
所述步骤1包括如下具体步骤：
S1，构建面向乏样本下磨损表面朗伯反射分离的深度学习网络，网络主要由特征预测支路、宏观先验支路和域适应支路组成，如图2所示；
S2，特征预测支路，由完全对称的编码器和解码器构成，用于从光度图像序列中有效分离相应的朗伯反射成分。具体包括以下步骤：
(1)构建由1个卷积块和3个下采样残差块依次组成的编码器，其中卷积块包含一个步长为1的卷积层，输出通道为64。下采样残差块中采用了步长为2的卷积层将特征图尺寸减半，以提取深层次的特征信息，3个下采样残差块中卷积层的输出通道分别为128、256、512，卷积层的卷积核大小为3×3，如图3(a)所示；
(2)构建由3个上采样残差块和1个卷积块依次组成的解码器，其中上采样残差块采用反卷积层逐层放大特征图尺寸，保持输入和输出图像的分辨率一致，3个上采样残差块中反卷积层的输出通道分别为512、256、128，反卷积层的卷积核大小为4×4，如图3(b)所示。卷积块的输出通道为8；
(3)下采样残差块和上采样残差块均添加短程连接以构建恒等映射，并引入空间注意力机制以增强磨损特征边缘的预测精度。空间注意力机制具体实现为沿通道维度提取特征图的最大值和均值分布，并将二者的差值作为权重与特征图相点乘，进而强化亮度显著变化的特征边缘；
S3，宏观先验支路，将基于磨损表面宏观形状渲染的朗伯图像序列作为先验知识，引导模型特别关注局部磨损特征导致的朗伯反射变化，能够提高少样本条件下模型的预测精度。宏观先验支路以平面基体作为磨损表面的先验形状进行输入，采用公式(1)所描述的朗伯模型生成不含局部特征的朗伯图像序列。这些图像与特征预测支路的输出相叠加，生成磨损表面的朗伯图像序列；
公式(1)：Ip＝128·(N·L)+128
式中Ip为像素点p处的图像亮度值；N为像素点p处的单位表面法向量；L为像素点p处光源的单位入射方向向量，具体应用时保持和多光源图像采集系统设置相同。
S4，域适应支路通过构建编码器与域辨识器的对抗学习，优化编码器于仿真样本和真实磨损样本中特征提取的跨域一致性。域辨识器由1层梯度反转层和4层卷积层组成，其中4层卷积层的卷积核为3×3，通道依次为128、32、8、1，用于将从仿真样本和真实磨损样本提取的中间特征图转换为同分辨率的辨识分数图，从而评价域类型并计算域分类损失；梯度反转层用于将反向传播至编码器的域分类损失梯度求反，使网络能够保证在域辨识器最小化域分类损失的同时编码器最大化域分类损失。
步骤2：损失函数用于量化预测结果和真实值之间的差异，并通过梯度反向传播更新网络参数。在步骤1所述的网络模型中，特征预测支路和宏观先验支路的输出叠加形成朗伯图像预测，无监督域适应策略被引入解决不同域样本之间存在的特征差异。为此，分别设计面向图像预测和域适应的损失函数，并构建综合损失函数作为网络的优化目标。
所述步骤2包括如下具体步骤：
S1，在所构建的网络模型中，特征预测支路和宏观先验支路的输出叠加形成朗伯图像序列预测，并根据标签计算图像预测损失以更新模型参数。为了促使训练过程中预测图像接近标签图像，从逐像素的图像亮度值和图像序列中不同图像间的亮度变化幅值两个维度联合设计了图像预测支路的损失函数如公式(2)所示；
公式(2)：
式中m为磨损光度图像序列的图像数量；n为单次迭代输入网络的仿真样本数量；H×W为输入图像的分辨率；
分别为第s个样本的第k张图像中像素点p处中朗伯反射图像的预测亮度与真实亮度；
分别为第s个样本的像素点p处朗伯图像序列的通道间亮度变化幅度的预测值和真实值。
S2，域适应支路采用域分类损失量化域辨识分数图与域标签的差异，并通过梯度反向传播参与优化编码器。仿真样本和真实磨损样本间的域辨识为二分类问题，故选择二元交叉熵损失函数计算域辨识损失，如公式(3)所示；
公式(3)：
式中y为域分类标签，仿真样本取0，真实磨损样本取1；
为真实磨损样本对应的域辨识分数图Freal在索引(i,j)处的辨识结果；
为第s个仿真样本对应的域辨识分数图Fs在索引(i,j)处的辨识结果。
S3，对图像预测损失函数和域分类损失函数进行加权融合，进而构建网络模型的综合损失函数为：
公式(4)：LUDA＝Lest+λUDA·Ldomain
式中λUDA为无监督域适应系数，其在训练过程中由0渐变至1，以抑制早期训练回合的域辨识器噪声。
步骤3：构建包含无标签真实样本和含标签仿真样本的训练数据集。无标签真实样本是由多光源图像采集系统获取的磨损表面光度图像序列；含标签仿真样本的制作以激光共聚焦显微镜采集的典型磨损特征三维形貌为基础，在利用仿射变换和可变形变换对三维形貌数据进行扩充后，采用MERL数据库和光线追踪法算法生成具有真实材质反射特性的渲染光度图像序列作为样本，并根据朗伯模型生成对应的朗伯图像序列作为标签。
所述步骤3包括如下具体步骤：
S1，依靠多光源图像采集系统，在固定视角下逐次切换光源进行拍摄，获取磨损表面光度图像序列作为无标签真实样本；
S2，在激光共聚焦显微镜获得的真实磨损表面形貌的基础上，采用形貌变换和图像渲染技术生成含标签仿真样本。具体包括以下步骤：
(1)利用奥林巴斯OLS4000激光共聚焦显微镜获取磨损表面的三维形貌，并将其表示为高度灰度图；
(2)采用仿射变换从中截取含磨损特征的部分区域。在变换结果中绘制5×5的控制网格后给予各个格点随机位移，并采用三次样条插值计算各像素点的高度值，以扩充磨损表面形貌样本，具体变换过程如图4所示；
(3)采用MERL数据库描述仿真表面的反射规律，在Blender渲染软件中设置和多光源图像采集系统相同的光源特性参数和分布信息，对扩充磨损表面进行光度渲染，生成不同材质表面的仿真光度图像序列，如图5(a)所示。并采用公式(1)所述的朗伯模型，生成与仿真光度图像序列相匹配的朗伯图像序列，作为网络训练的预测标签，如图5(b)所示。仿真光度图像序列与匹配的朗伯图像序列共同构成含标签仿真样本。
步骤4：以综合损失函数作为优化目标，800组真实磨损样本和20000组含标签仿真样本作为训练集。在每次训练迭代中随机选择10组仿真样本和1组真实样本，并采用自适应动量估计(Adam)优化算法训练所构建的磨损表面朗伯反射分离网络模型，实现磨损表面光度图像的朗伯反射分离。
所述步骤4包括如下具体步骤：
S1，训练过程中，图像序列的分辨率取128×128，每次参数迭代随机选择10组仿真样本和1组真实样本以平衡样本数目差异；
S2，使用自适应动量估计(Adam)优化算法进行网络的学习，其参数均采用默认值。学习率初始值设为0.001，并在20-30训练回合(Epoch)线性衰减学习率以避免最优点附近收敛时的震荡；
S3，将训练好的模型参数保存，并输入由多光源图像采集系统采集的磨损表面光度图像序列，得到对应的朗伯图像序列，实现了磨损表面的朗伯反射分离，如图6所示。进一步，以获得的朗伯图像序列为基础，采用朗伯假设光度立体计算方法，可以精确重建磨损表面。
Claims (5)
1.一种融合先验引导和域适应的磨损表面朗伯反射分离方法，其特征在于，包括以下步骤：
步骤1：构建由特征预测支路、宏观先验支路和域适应支路组成的磨损表面朗伯反射分离深度学习网络；特征预测支路和宏观先验支路的输出叠加形成磨损表面朗伯图像序列的预测，域适应支路联合真实样本和仿真样本进行网络参数训练，以提高网络在真实磨损样本上的预测准确性；
步骤2：设计面向图像预测的损失函数，并选择二分类交叉熵作为域适应的损失函数，通过加权融合的方式构建网络模型的综合损失函数；
步骤3：构建包含无标签真实样本和含标签仿真样本的训练数据集，其中，无标签真实样本是由多光源图像采集系统获取的磨损表面光度图像序列；含标签仿真样本是在激光共聚焦显微镜获得的真实磨损表面形貌的基础上，采用形貌变换和图像渲染技术生成的；
步骤4：以综合损失函数作为优化目标，不少于800组真实磨损样本和不少于2000含标签仿真样本作为训练集，在每次训练迭代中随机选择仿真样本和真实样本，并采用自适应动量估计Adam优化算法训练所构建的磨损表面朗伯反射分离网络模型，实现磨损表面光度图像的朗伯反射分离。
2.根据权利要求1所述的一种融合先验引导和域适应的磨损表面朗伯反射分离方法，其特征在于，所述步骤1包括如下具体步骤：
S1，构建面向乏样本下磨损表面朗伯反射分离的深度学习网络基本架构，主要包括特征预测支路、宏观先验支路和域适应支路；
S2，特征预测支路由完全对称的编码器和解码器构成；编码器由卷积块和下采样残差块依次组成，下采样残差块中采用卷积层将特征图尺寸减半，以提取深层次的特征信息；解码器由上采样残差块和卷积块依次组成，其中上采样残差块采用反卷积层逐层放大特征图尺寸，以保持输入和输出图像的分辨率一致；下采样残差块和上采样残差块均添加短程连接以构建恒等映射，并引入空间注意力机制以增强磨损特征边缘的预测精度；
S3，宏观先验支路以平面基体作为磨损表面的先验形状进行输入，采用公式(1)所描述的朗伯模型生成不含局部特征的朗伯图像序列；这些图像与特征预测支路的输出相叠加，生成磨损表面的朗伯图像序列；
公式(1)：Ip＝128·(N·L)+128
式中Ip为像素点p处的图像亮度值；N为像素点p处的单位表面法向量；L为像素点p处光源的单位入射方向向量，具体应用时保持和多光源图像采集系统设置相同；
S4，域适应支路通过构建编码器与域辨识器的对抗学习，确保编码器在不同域样本中特征提取的跨域一致性；域辨识器由梯度反转层和卷积层组成，卷积层用于将从仿真样本和真实磨损样本提取的中间特征图转换为同分辨率的辨识分数图，从而评价域类型并计算域分类损失；梯度反转层用于将反向传播至编码器的域分类损失梯度求反，使网络能够保证在域辨识器最小化域分类损失的同时编码器最大化域分类损失。
3.根据权利要求1所述的一种融合先验引导和域适应的磨损表面朗伯反射分离方法，其特征在于，所述步骤2包括如下具体步骤：
S1，为了促使训练过程中预测图像接近标签图像，从逐像素的图像亮度值和图像序列中不同图像间的亮度变化幅值两个维度联合设计了图像预测支路的损失函数如公式(2)所示；
公式(2)：
式中m为磨损光度图像序列的图像数量；n为单次迭代输入网络的仿真样本数量；H×W为输入图像的分辨率；
分别为第s个样本的第k张图像中像素点p处中朗伯反射图像的预测亮度与真实亮度；
分别为第s个样本的像素点p处朗伯图像序列的通道间亮度变化幅度的预测值和真实值；
S2，仿真样本和真实磨损样本间的域辨识为二分类问题，故选择二元交叉熵作为域适应的损失函数，如公式(3)所示；
公式(3)：
式中y为域分类标签，仿真样本取0，真实磨损样本取1；
为真实磨损样本对应的域辨识分数图Freal在索引(i,j)处的辨识结果；
为第s个仿真样本对应的域辨识分数图Fs在索引(i,j)处的辨识结果；
S3，对图像预测损失函数和域分类损失函数进行加权融合，进而构建网络模型的综合损失函数为：
公式(4)：LUDA＝Lest+λUDA·Ldomain
式中λUDA为无监督域适应系数。
4.根据权利要求1所述的一种融合先验引导和域适应的磨损表面朗伯反射分离方法，其特征在于，所述步骤3包括如下具体步骤：
S1，依靠多光源图像采集系统，在固定视角下逐次切换光源进行拍摄，获取磨损表面光度图像序列作为无标签真实样本；
S2，在激光共聚焦显微镜获得的真实磨损表面形貌的基础上，采用形貌变换和图像渲染技术生成含标签仿真样本；具体包括以下步骤：
(1)利用激光共聚焦显微镜获取磨损表面的三维形貌，并将其表示为高度灰度图；
(2)采用仿射变换从中截取含磨损特征的部分区域；在变换结果中绘制控制网格后给予各个格点随机位移，并采用三次样条插值计算各像素点的高度值，以扩充磨损表面形貌样本；
(3)采用MERL数据库描述仿真表面的反射规律，在Blender渲染软件中设置和多光源图像采集系统相同的光源特性参数和分布信息，对扩充磨损表面进行光度渲染，生成不同材质表面的仿真光度图像序列；并采用公式(1)所述的朗伯模型，生成与仿真光度图像序列相匹配的朗伯图像序列，作为网络训练的预测标签，进而构建含标签仿真样本。
5.根据权利要求1所述的一种融合先验引导和域适应的磨损表面朗伯反射分离方法，其特征在于，所述步骤4包括如下具体步骤：
S1，以综合损失函数作为优化目标，不少于800组真实磨损样本和不少于20000组含标签仿真样本作为训练集；训练过程中，图像序列的分辨率取128×128，每次参数迭代随机选择10组仿真样本和1组真实样本以平衡样本数目差异；
S2，使用自适应动量估计Adam优化算法进行网络的学习，其参数均采用默认值，学习率初始值设为0.001，并在20-30训练回合Epoch线性衰减学习率以避免最优点附近收敛时的震荡；
S3，将训练好的模型参数保存，并输入由多光源图像采集系统采集的磨损表面光度图像序列，得到对应的朗伯图像序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111508929.1A CN114187263B (zh) | 2021-12-10 | 2021-12-10 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111508929.1A CN114187263B (zh) | 2021-12-10 | 2021-12-10 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114187263A true CN114187263A (zh) | 2022-03-15 |
| CN114187263B CN114187263B (zh) | 2024-02-06 |
Family
ID=80543203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111508929.1A Active CN114187263B (zh) | 2021-12-10 | 2021-12-10 | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187263B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693972A (zh) * | 2022-03-29 | 2022-07-01 | 电子科技大学 | 一种基于重建的中间域领域自适应方法 |
| CN116342952A (zh) * | 2023-03-29 | 2023-06-27 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931805A (zh) * | 2020-06-23 | 2020-11-13 | 西安交通大学 | 一种基于知识引导cnn的小样本相似磨粒辨识方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112381770A (zh) * | 2020-11-03 | 2021-02-19 | 西安交通大学 | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 |
-
2021
- 2021-12-10 CN CN202111508929.1A patent/CN114187263B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931805A (zh) * | 2020-06-23 | 2020-11-13 | 西安交通大学 | 一种基于知识引导cnn的小样本相似磨粒辨识方法 |
| CN112381770A (zh) * | 2020-11-03 | 2021-02-19 | 西安交通大学 | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
Non-Patent Citations (3)
| Title |
|---|
| 吕东辉;张栋;孙九爱;: "光度立体技术的物体三维表面重建算法模拟与评价", 计算机工程与设计, no. 16 * |
| 王晰;任明俊;肖高博;陈明汉;付琳;: "一种基于高斯过程的数据驱动光度立体视觉全局优化算法", 中国科学:技术科学, no. 09 * |
| 陈明汉;任明俊;肖高博;王晰;付琳;: "基于多尺度卷积网络的非朗伯光度立体视觉方法", 中国科学:技术科学, no. 03 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693972A (zh) * | 2022-03-29 | 2022-07-01 | 电子科技大学 | 一种基于重建的中间域领域自适应方法 |
| CN114693972B (zh) * | 2022-03-29 | 2023-08-29 | 电子科技大学 | 一种基于重建的中间域领域自适应方法 |
| CN116342952A (zh) * | 2023-03-29 | 2023-06-27 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
| CN116342952B (zh) * | 2023-03-29 | 2024-01-23 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114187263B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera | |
| CN112001960A (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN114187263A (zh) | 一种融合先验引导和域适应的磨损表面朗伯反射分离方法 | |
| CN111340944B (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
| CN111275171B (zh) | 一种基于参数共享的多尺度超分重建的小目标检测方法 | |
| CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
| CN115565203A (zh) | 一种跨模态弱监督的三维人体姿态估计方法及系统 | |
| CN113870124A (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| Wang et al. | Adversarial learning for joint optimization of depth and ego-motion | |
| CN113781528A (zh) | 一种基于光流计算的河流表面流速测算方法 | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及系统 | |
| CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
| Karimpouli et al. | Multistep Super Resolution Double-U-net (SRDUN) for enhancing the resolution of Berea sandstone images | |
| CN116862828A (zh) | 一种架空输电线路关键部件及缺陷的检测方法 | |
| Wang et al. | In-situ 3D reconstruction of worn surface topography via optimized photometric stereo | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN116385520A (zh) | 融合全光源图像的磨损表面形貌光度立体重建方法及系统 | |
| CN117094925A (zh) | 一种基于点代理增强和逐层上采样的猪体点云补全方法 | |
| CN113506362B (zh) | 基于编码解码网络的单视角透明物体新视图合成的方法 | |
| CN114092329B (zh) | 一种基于亚像素神经网络的超分辨荧光显微成像方法 | |
| CN113593007B (zh) | 一种基于变分自编码的单视图三维点云重建方法及系统 | |
| CN114913433A (zh) | 一种联合均衡特征和可变形卷积的多尺度目标检测方法 | |
| CN114332211A (zh) | 一种基于边缘重建和密集融合网络的零件位姿计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |