CN114066870A - 一种基于视觉Transformer的齿轮点蚀测量方法 - Google Patents
一种基于视觉Transformer的齿轮点蚀测量方法 Download PDFInfo
- Publication number
- CN114066870A CN114066870A CN202111397416.8A CN202111397416A CN114066870A CN 114066870 A CN114066870 A CN 114066870A CN 202111397416 A CN202111397416 A CN 202111397416A CN 114066870 A CN114066870 A CN 114066870A
- Authority
- CN
- China
- Prior art keywords
- gear
- pitting
- image
- layer
- usvit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/02—Gearings; Transmission mechanisms
- G01M13/021—Gearings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉Transformer的齿轮点蚀测量方法,包括以下步骤:S1:改进齿轮接触疲劳试验台,获取齿轮点蚀图像;S2:图像分辨率统一并进行预处理;S3:制作图像分割标签并划分数据集;S4:将Transformer与CNN结合,利用残差连接和扩张卷积等方法构建UsViT网络;S5:将训练集输入到UsViT网络中,利用多分类交叉熵损失函数对UsViT网络进行迭代更新训练;S6:构建点蚀面积率相对误差评价指标;S7:将测试集输入到训练好的UsViT网络中,分割齿轮有效齿面和点蚀区域,得到点蚀面积率,对齿轮健康状态做出评估。本发明能够有效提高齿轮点蚀图像的分割精度,并较好地应用于齿轮点蚀面积率的计算,从而解决了齿轮接触疲劳试验中高效准确检测齿轮失效的难题。
Description
技术领域
本发明属于图像分割技术领域,涉及一种基于视觉Transformer的齿轮点蚀测量方法。
背景技术
齿轮箱是机械设备中常用的运动和动力传递装置,被广泛应用于工业、农业、国防、航空航天等诸多领域。在齿轮箱发生的故障中,由齿轮引起故障的概率高达60%,可以说齿轮是齿轮箱中最易损坏的机械零部件。其中齿轮疲劳点蚀是齿轮最常见的失效形式之一。齿轮在长期运转工作后,其啮合面会受到接触疲劳破坏,产生金属材料脱落,形成早期点蚀。如果不及时发现并处理,齿面点状小坑会进一步扩大,甚至导致断齿,造成严重的经济损失和设备故障。齿轮点蚀面积率这一指标通常被用于衡量齿轮寿命和齿轮健康状态,尤其是在齿轮接触疲劳测试中,是评价齿轮是否失效的重要依据。目前没有有效的方法或测试仪器来定量测量齿轮点蚀面积率,只能依靠具有相关资质的专家进行人工观察和检测,该方法存在主观臆断性,效率低、成本高,无法满足现代工业生产的要求。因此,研究齿轮点蚀测量方法具有十分重要的意义。
由于齿轮点蚀图像具有其自身特点,不同等级的点蚀图像灰度、纹理、形状和面积大小信息差异较大,故传统图像分割方法应用在点蚀面积率测量中具有一定的局限性。尽管基于CNN的方法在工业缺陷检测和图像分割领域取得了优异的效果,但仍不能完全满足齿轮点蚀图像的分割精度要求。由于卷积操作的内在局限性,基于CNN的方法很难学习到全局和远程语义信息。Transformer最初提出是应用在自然语言处理上,但由于其良好的全局学习能力被逐渐引入到视觉领域,并取得了不错的效果。
发明内容
有鉴于此,本发明的目的在于提供一种基于视觉Transformer的齿轮点蚀测量方法,能够有效提高齿轮点蚀图像的分割精度,并较好地应用于齿轮点蚀面积率的计算,从而解决了齿轮接触疲劳试验中高效准确检测齿轮失效的难题。
为达到上述目的,本发明提供如下技术方案:
一种基于视觉Transformer的齿轮点蚀测量方法,具体包括以下步骤:
S1:改进齿轮接触疲劳试验台,获取齿轮点蚀图像;
S2:图像分辨率统一并进行预处理;
S3:制作图像分割标签并划分数据集;
S4:将Transformer与CNN结合,利用残差连接和扩张卷积等方法构建UsViT网络;
S5:将训练集输入到UsViT网络中,利用多分类交叉熵损失函数对UsViT网络进行迭代更新训练;
S6:构建点蚀面积率相对误差评价指标;
S7:将测试集输入到训练好的UsViT网络中,分割齿轮有效齿面和点蚀区域,得到点蚀面积率,对齿轮健康状态做出评估。
进一步,步骤S1具体包括:首先,用透明有机玻璃板代替齿轮接触疲劳试验台的试验齿轮箱盖板;然后,将带有柔性可调节支架的图像采集装置固定到齿轮接触疲劳试验台上,以灵活调节相机的拍摄角度;最后,通过控制台、CCD工业相机、LED光源和笔记本电脑等设备获得了800张齿轮点蚀图像。
进一步,步骤S2具体包括:首先,将所有图像的分辨率进行统一,均调整为256×256;然后,对采集到的齿轮点蚀图像进行图像增强和齿面倾斜校正等图像预处理操作,消除环境因素对齿轮点蚀测量造成的影响。
进一步,步骤S3具体包括:首先,在Pycharm中使用Labelme图像标注工具制作相对应的分割标签;然后,将训练集、验证集和测试集之间的比例划分为7:1:2。
进一步,步骤S4中,构建的UsViT网络包括:线性映射层、编码器和解码器;
所述线性映射层由图像块嵌入和位置编码组成;
所述编码器由六个残差Transformer模块组成,该残差Transformer模块由两个Transformer层组成,每一Transformer层由两个LayerNorm(LN)层,一个多头自注意力模块(MSA)和一个多层感知器(MLP)组成;
所述解码器由四个Decoder层组成,该Decoder层由一个转置卷积层和四个带有跳层连接的卷积层组成。
进一步,所述线性映射层包含两个部分:图像块嵌入(Patch Embedding)和位置编码(Position Embedding)。
图像块嵌入是为了将每张图像非重叠拆分为图像块,然后平铺成一个序列,并通过线性映射函数映射到C维空间,图像块嵌入可以用公式表示如下:
其中,x表示原始图像;xf表示非重叠拆分后的图像块;p表示图像块平铺后的序列;e表示映射到C维空间的序列。
位置编码可以使模型利用序列的顺序,并具有与图像块嵌入具有相同的维度空间,因此可以将两者相加,位置编码可以用公式表示如下:
其中,PE表示编码;pos表示位置;i表示维度;dmodel表示总维度;sin表示正弦函数;cos表示余弦函数。
进一步,步骤S4中,在残差Transformer模块中,每一Transformer层采用信息混合机制,实现了空间位置和特征通道之间的信息交互,增强了特征学习的能力,残差Transformer模块由以下公式表示:
zl+1=zl+1+zl-1
其中,LN、MSA、MLP分别表示Transformer层中的LayerNorm层,多头自注意力模块和多层感知器;表示上一残差Transformer模块的输出;和zl分别表示残差Transformer模块中第一个Transformer层多头自注意力模块和多层感知器的输出;和zl+1分别表示残差Transformer模块中第二个Transformer层多头自注意力模块和多层感知器的输出;T表示转置操作。
进一步,步骤S4中,在Decoder层中,卷积层采用具有不同扩张率(1、3、5、7)的级联扩张卷积和1×3、3×1的交替卷积核,在减小模型训练参数量的同时增大图像特征提取的感受野。
进一步,步骤S6中,构建的点蚀面积率相对误差评价指标为:
其中,At和Ap分别表示有效工作齿面和点蚀区域的像素数;AR表示齿轮点蚀面积率;ARa和ARp表示实际点蚀面积率和预测点蚀面积率;Re表示点蚀面积率相对误差。
本发明的有益效果在于:本发明能够有效提高齿轮点蚀图像的分割精度,并较好地应用于齿轮点蚀面积率的计算,从而解决了齿轮接触疲劳试验中高效准确检测齿轮失效的难题。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为UsViT网络结构图;
图2为齿轮点蚀图像获取装置图;
图3为不同方法在齿轮点蚀数据集上的分割结果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1,本发明优选一种基于视觉Transformer的齿轮点蚀测量方法,具体包括以下步骤:
步骤1:首先,用透明有机玻璃板代替齿轮接触疲劳试验台的试验齿轮箱盖板;然后,将带有柔性可调节支架的图像采集装置固定到齿轮接触疲劳试验台上,以灵活调节相机的拍摄角度;最后,通过控制台、CCD工业相机、LED光源和笔记本电脑等设备获得了800张齿轮点蚀图像。
步骤2:首先,将所有图像的分辨率进行统一,均调整为256×256;然后,对采集到的齿轮点蚀图像进行图像增强和齿面倾斜校正等图像预处理操作,消除环境因素对齿轮点蚀测量造成的影响。
步骤3:首先,在Pycharm中使用Labelme图像标注工具制作相对应的分割标签;然后,将训练集、验证集和测试集之间的比例划分为7:1:2。
步骤4:将Transformer与CNN结合,利用残差连接和扩张卷积等方法构建UsViT网络。
如图1所示,提出的UsViT网络包括线性映射层、编码器和解码器三个模块。
线性映射层由图像块嵌入(Patch Embedding)和位置编码(Position Embedding)两个部分组成。图像块嵌入是为了将每张图像非重叠拆分为图像块,然后平铺成一个序列,并通过线性映射函数映射到C维空间,图像块嵌入可以用公式表示如下:
其中,x表示原始图像;xf表示非重叠拆分后的图像块;p表示图像块平铺后的序列;e表示映射到C维空间的序列。
位置编码可以使模型利用序列的顺序,并具有与图像块嵌入具有相同的维度空间,因此可以将两者相加,位置编码可以用公式表示如下:
其中,PE表示编码;pos表示位置;i表示维度;dmodel表示总维度;sin表示正弦函数;cos表示余弦函数。
编码器由六个残差Transformer模块组成,该残差Transformer模块由两个Transformer层组成,每一Transformer层由两个LayerNorm(LN)层,一个多头自注意力模块(MSA)和一个多层感知器(MLP)组成。在残差Transformer模块中,每一Transformer层采用信息混合机制,实现了空间位置和特征通道之间的信息交互,增强了特征学习的能力,残差Transformer模块由以下公式表示:
zl+1=zl+1+zl-1
其中,LN、MSA、MLP分别表示Transformer层中的LayerNorm层,多头自注意力模块和多层感知器;表示上一残差Transformer模块的输出;和zl分别表示残差Transformer模块中第一个Transformer层多头自注意力模块和多层感知器的输出;和zl+1分别表示残差Transformer模块中第二个Transformer层多头自注意力模块和多层感知器的输出;T表示转置操作。
解码器由四个Decoder层组成,该Decoder层由一个转置卷积层和四个带有跳层连接的卷积层组成。在Decoder层中,卷积层采用具有不同扩张率(1、3、5、7)的级联扩张卷积和1×3、3×1的交替卷积核,在减小模型训练参数量的同时增大图像特征提取的感受野。
步骤5:将训练集输入到UsViT网络中,利用多分类交叉熵损失函数对UsViT网络进行迭代更新训练。
步骤6:构建点蚀面积率相对误差评价指标,用公式表示如下:
其中,At和Ap分别表示有效工作齿面和点蚀区域的像素数;AR表示齿轮点蚀面积率;ARa和ARp表示实际点蚀面积率和预测点蚀面积率;Re表示点蚀面积率相对误差。
步骤7:将测试集输入到训练好的UsViT网络中,分割齿轮有效齿面和点蚀区域,得到点蚀面积率,对齿轮健康状态做出评估。
以上是提出的基于视觉Transformer的齿轮点蚀测量方法,通过下面的实验来证明本发明方法的有效性。
对比实验:本实验所用的齿轮点蚀图像来自改进的齿轮接触疲劳试验台,如图2所示。
为了证明本发明UsViT网络方法的优越性,对比当前典型图像分割网络模型,其实验结果如表1所示。通过表1的实验结果,可以看出所提出的UsViT网络在相对较少的训练参数下优于其他对比方法。同时,较低的点蚀面积率相对误差表明UsViT网络能够准确计算出齿轮点蚀面积比,为齿轮接触疲劳试验中齿轮失效检测提供了有效依据。图3展示了齿轮点蚀数据集上的一些分割结果示例。如示例所示,UsViT的分割结果更加接近标签,说明UsViT对特征表示具有更强的学习能力,对小目标具有更好的分割性能。UsViT同时结合了卷积和Transformer的优点,实现了局部和全局语义信息的交互,因而得到了更好的分割结果。
表1不同方法在齿轮点蚀数据集上的分割表现
Method | Param | Acc | DSC | mIoU | Average Re |
UsViT | 25.6M | 97.91 | 94.52 | 92.45 | 6.78 |
U-Net | 31.1M | 96.73 | 93.19 | 90.98 | 8.94 |
ResU-Net | 67.4M | 96.24 | 92.45 | 90.62 | 9.83 |
R2U-Net | 70.5M | 95.86 | 91.79 | 84.21 | 14.65 |
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于视觉Transformer的齿轮点蚀测量方法,其特征在于,该方法具体包括以下步骤:
S1:改进齿轮接触疲劳试验台,获取齿轮点蚀图像;
S2:图像分辨率统一并进行预处理;
S3:制作图像分割标签并划分数据集;
S4:将Transformer与CNN结合,利用残差连接和扩张卷积等方法构建UsViT网络;
S5:将训练集输入到UsViT网络中,利用多分类交叉熵损失函数对UsViT网络进行迭代更新训练;
S6:构建点蚀面积率相对误差评价指标;
S7:将测试集输入到训练好的UsViT网络中,分割齿轮有效齿面和点蚀区域,得到点蚀面积率,对齿轮健康状态做出评估。
2.根据权利要求1所述的齿轮点蚀测量方法,其特征在于,步骤S1具体包括:首先,用透明有机玻璃板代替齿轮接触疲劳试验台的试验齿轮箱盖板;然后,将带有柔性可调节支架的图像采集装置固定到齿轮接触疲劳试验台上,以灵活调节相机的拍摄角度;最后,通过控制台、CCD工业相机、LED光源和笔记本电脑等设备获得了800张齿轮点蚀图像。
3.根据权利要求1所述的齿轮点蚀测量方法,其特征在于,步骤S2具体包括:首先,将所有图像的分辨率进行统一,均调整为256×256;然后,对采集到的齿轮点蚀图像进行图像增强和齿面倾斜校正等图像预处理操作,消除环境因素对齿轮点蚀测量造成的影响。
4.根据权利要求1所述的齿轮点蚀测量方法,其特征在于,步骤S3具体包括:首先,在Pycharm中使用Labelme图像标注工具制作相对应的分割标签;然后,将训练集、验证集和测试集之间的比例划分为7:1:2。
5.根据权利要求1所述的齿轮点蚀测量方法,其特征在于,步骤S4中,构建的UsViT网络包括:线性映射层、编码器和解码器;
所述线性映射层由图像块嵌入和位置编码组成;
所述编码器由六个残差Transformer模块组成,该残差Transformer模块由两个Transformer层组成,每一Transformer层由两个LayerNorm(LN)层,一个多头自注意力模块(MSA)和一个多层感知器(MLP)组成;
所述解码器由四个Decoder层组成,该Decoder层由一个转置卷积层和四个带有跳层连接的卷积层组成。
6.根据权利要求5所述的齿轮点蚀测量方法,其特征在于,步骤S4中,在残差Transformer模块中,每一Transformer层采用信息混合机制,实现了空间位置和特征通道之间的信息交互,增强了特征学习的能力,残差Transformer模块由以下公式表示:
zl+1=zl+1+zl-1
7.根据权利要求5所述的齿轮点蚀测量方法,其特征在于,步骤S4中,在Decoder层中,卷积层采用具有不同扩张率(1、3、5、7)的级联扩张卷积和1×3、3×1的交替卷积核,在减小模型训练参数量的同时增大图像特征提取的感受野。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111397416.8A CN114066870A (zh) | 2021-11-23 | 2021-11-23 | 一种基于视觉Transformer的齿轮点蚀测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111397416.8A CN114066870A (zh) | 2021-11-23 | 2021-11-23 | 一种基于视觉Transformer的齿轮点蚀测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114066870A true CN114066870A (zh) | 2022-02-18 |
Family
ID=80275570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111397416.8A Pending CN114066870A (zh) | 2021-11-23 | 2021-11-23 | 一种基于视觉Transformer的齿轮点蚀测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114066870A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114814274A (zh) * | 2022-04-21 | 2022-07-29 | 重庆大学 | 基于图像识别的高分辨率扭振测量方法及系统 |
CN117474925A (zh) * | 2023-12-28 | 2024-01-30 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
-
2021
- 2021-11-23 CN CN202111397416.8A patent/CN114066870A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114814274A (zh) * | 2022-04-21 | 2022-07-29 | 重庆大学 | 基于图像识别的高分辨率扭振测量方法及系统 |
CN117474925A (zh) * | 2023-12-28 | 2024-01-30 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
CN117474925B (zh) * | 2023-12-28 | 2024-03-15 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114066870A (zh) | 一种基于视觉Transformer的齿轮点蚀测量方法 | |
CN110570396B (zh) | 一种基于深度学习的工业产品缺陷检测方法 | |
CN111950396A (zh) | 一种仪表读数神经网络识别方法 | |
CN105931257A (zh) | 基于纹理特征和结构相似度的sar图像质量评估方法 | |
CN111275684A (zh) | 一种基于多尺度特征提取的带钢表面缺陷检测方法 | |
CN114818826B (zh) | 基于轻量级Vision Transformer模块的故障诊断方法 | |
He et al. | SectorGSnet: Sector learning for efficient ground segmentation of outdoor LiDAR point clouds | |
CN117554465B (zh) | 柔性部件监测方法、系统、介质及电子设备 | |
CN118279272A (zh) | 一种基于改进YOLOv8的钢板表面缺陷检测方法 | |
CN113946978A (zh) | 基于LightGBM模型的水下三维温盐并行预报方法 | |
CN110738661A (zh) | 一种基于神经网络的口腔ct下颌神经管的分割方法 | |
CN118090211A (zh) | 一种基于时频特征融合的电梯曳引机轴承故障诊断方法 | |
CN117671504A (zh) | 一种基于yolo算法的海上风电识别方法及系统 | |
Ding et al. | Fault diagnosis of rotating machinery using novel self-attention mechanism TCN with soft thresholding method | |
CN113327295A (zh) | 一种基于级联全卷积神经网络的机器人快速抓取方法 | |
Liu et al. | Resolving engineering challenges: Deep learning in frequency domain for 3D inverse identification of heterogeneous composite properties | |
CN113239829A (zh) | 基于空间占用概率特征的跨维度遥感数据目标识别方法 | |
CN114565511B (zh) | 基于全局单应性估计的轻量级图像配准方法、系统及装置 | |
CN116205918A (zh) | 基于图卷积的多模态融合半导体检测方法、装置及介质 | |
CN115294392B (zh) | 基于生成网络模型的可见光遥感图像云去除方法及系统 | |
CN113298714B (zh) | 一种基于深度学习的图像跨尺度超分辨率方法 | |
CN116342521A (zh) | 基于视觉Transformer的齿轮点蚀在线检测系统及方法 | |
CN116071437A (zh) | 水工隧洞表观缺陷空间标定方法 | |
CN116152169A (zh) | 基于改进YOLOv5s模型的印刷电路板缺陷检测方法 | |
CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |