CN117952976A - 一种高锁螺栓检测系统及其方法 - Google Patents

一种高锁螺栓检测系统及其方法 Download PDF

Info

Publication number
CN117952976A
CN117952976A CN202410351215.1A CN202410351215A CN117952976A CN 117952976 A CN117952976 A CN 117952976A CN 202410351215 A CN202410351215 A CN 202410351215A CN 117952976 A CN117952976 A CN 117952976A
Authority
CN
China
Prior art keywords
lock bolt
module
feature
network
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410351215.1A
Other languages
English (en)
Inventor
孙朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Asia Pacific Aviation Technology Co ltd
Original Assignee
Shenzhen Asia Pacific Aviation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Asia Pacific Aviation Technology Co ltd filed Critical Shenzhen Asia Pacific Aviation Technology Co ltd
Priority to CN202410351215.1A priority Critical patent/CN117952976A/zh
Publication of CN117952976A publication Critical patent/CN117952976A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能检测技术领域，提供一种高锁螺栓检测系统及其方法，该系统包括包括高锁螺栓检测中台、图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块；高锁螺栓检测中台分别与图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块连接；图像采集模块用于采集待检测高锁螺栓对应的待检测图像；高锁螺栓检测结果预测模块用于将待检测图像输入至高锁螺栓识别模型，得到高锁螺栓识别模型输出的高锁螺栓检测结果；高锁螺栓检测结果表征待检测高锁螺栓的表面的螺纹磨损程度；高锁螺栓检测模块用于基于高锁螺栓检测结果确定待检测高锁螺栓的表面的缺陷情况。本发明提升高锁螺栓检测的精度，克服识别精度不佳的问题。

Description

一种高锁螺栓检测系统及其方法
技术领域
本发明涉及智能检测技术领域，尤其涉及一种高锁螺栓检测系统及其方法。
背景技术
在航天航空设备、铁路设备、船舶设备等机械设备中，高锁螺栓是非常重要的组件之一，高锁螺栓的异常往往会导致机械设备发生不可控的危险。因此，面向高锁螺栓检测需求，目前U-Net应用十分广泛并取得了很好的效果，但是其在高锁螺栓检测上，依然存在一些较为严重的问题，其一是随着U-Net网络深度的增加，会带来梯度消失的问题，离输出层近的参数由于梯度较大成为主要学习的参数，而离输出层远的参数由于梯度小，只能以很小的速率缓慢学习，并且在U-Net中，卷积层的堆叠也会使得网络结构变得更加复杂，从而出现退化问题，降低网络的泛化性能；其二是U-Net作为一种卷积神经网络模型，其利用卷积核提取会使感受野成倍增加的特点，通过编解码的形式收集关键的特征信息，然后通过层层解码还原目标并对其进行识别，但是在感受野扩大的过程中不可避免地会将部分特征忽略，从而导致高锁螺栓检测的精度欠佳。
发明内容
本发明针对现有技术中存在的技术问题，提供一种高锁螺栓检测系统及其方法，用以解决现有技术中高锁螺栓检测准确性不高，以及网络深度的加深会导致梯度消失，从而降低了网络的泛化性能的缺陷，实现网络性能以及高锁螺栓检测精度的提升。
本发明解决上述技术问题的技术方案如下：
一种高锁螺栓检测系统，包括高锁螺栓检测中台、图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块；所述高锁螺栓检测中台分别与所述图像采集模块、所述高锁螺栓检测结果预测模块和所述高锁螺栓检测模块连接，对其数据进行存储和管理；
所述图像采集模块，用于采集待检测高锁螺栓对应的待检测图像；
所述高锁螺栓检测结果预测模块，用于将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
所述高锁螺栓检测模块，用于基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
本发明还提供了一种高锁螺栓检测方法，其特征在于，包括：
采集待检测高锁螺栓对应的待检测图像；
将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
根据本发明提供的一种高锁螺栓检测方法，编码网络包括局部编码网络和全局转换网络；
所述局部编码网络包括特征提取层和线性映射层，所述特征提取层用于提取所述待检测图像的局部图像特征，所述线性映射层用于对所述局部图像特征进行线性映射，并基于线性映射所得的特征和所述待检测图像的位置特征，确定目标图像特征；
所述全局转换网络用于基于所述目标图像特征进行全局特征提取，得到所述全局图像特征。
根据本发明提供的一种高锁螺栓检测方法，所述全局转换网络中包括串联的多个全局转换层，每一个全局转换层中包括多头自注意力模块和多层感知机模块；
其中，每一个全局转换层中多头自注意力模块的输入特征与输出特征进行残差连接所得的特征作为对应的全局转换层中多层感知机模块的输入特征；
每一个全局转换层中多层感知机模块的输入特征和输出特征进行残差连接所得的特征作为对应的全局转换层的下一全局转换层中多头自注意力模块的输入特征。
根据本发明提供的一种高锁螺栓检测方法，所述编码网络的特征提取层中包括串联的多个特征编码模块，每一个特征编码模块中包括残差结构下的第一编码块和第二编码块，所述第一编码块和所述第二编码块用于对输入特征进行卷积、归一化和激活，所述第一编码块和所述第二编码块的参数不同；
所述解码网络的特征解码层中包括串联的多个特征解码模块，每一个特征解码模块中包括残差结构下的多个解码块，所述解码块用于对输入特征进行卷积、归一化和激活。
根据本发明提供的一种高锁螺栓检测方法，所述解码网络中还包括特征融合层；
所述特征融合层用于对每一个特征解码模块的输出特征进行双线性插值，并对双线性插值所得的同一分辨率下的多个输出特征进行融合，基于融合所得的特征进行高锁螺栓检测。
根据本发明提供的一种高锁螺栓检测方法，所述编码网络中串联的多个特征编码模块的尺度逐渐减小，所述解码网络中串联的多个特征解码模块的尺度逐渐增大；每一个特征编码模块与对应尺度下的特征解码模块跳跃连接；
所述解码网络中每一个特征解码模块的跳跃连接处设置有注意力模块，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征进行融合，并基于融合所得的特征确定对应的特征解码模块的输入特征。
根据本发明提供的一种高锁螺栓检测方法，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征分别进行线性变换，并对线性变换所得的同一分辨率下的两个输出特征进行融合，得到注意力特征；
每一个注意力模块还用于对所述注意力特征进行线性变换，并对变换所得的特征进行重采样，得到注意系数，基于所述注意系数以及对应的特征解码模块的对应尺度下的特征编码模块的输出特征，确定对应的特征解码模块的输入特征。
本发明还提供一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述计算机软件程序，进而实现如上述任一种所述高锁螺栓检测方法。
本发明还提供一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如上述任一种所述高锁螺栓检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述高锁螺栓检测方法。
本发明的有益效果是：克服了传统方案中因网络层次的加深而导致的梯度消失的问题，提升了网络性能，同时在图像特征提取的过程中增加了全局特征提取部分，利用全局图像特征与局部图像特征一同进行高锁螺栓检测，可以极大地提升高锁螺栓检测的精度，克服识别精度不佳的问题。
附图说明
图1是本发明提供的高锁螺栓检测系统的结构示意图；
图2是本发明提供的高锁螺栓检测方法的流程示意图；
图3是本发明提供的编码网络的结构示意图；
图4是本发明提供的特征提取层的结构示意图；
图5是本发明提供的全局转换层的结构示意图；
图6是本发明提供的第一编码块和第二编码块的结构示意图；
图7是本发明提供的特征解码模块的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本发明中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本发明所公开的原理和特征的最广范围相一致。
U-Net，作为一种神经网络模型，其在高锁螺栓检测上应用十分广泛并取得了很好的效果，但是仍存在一些较为严重的问题：
其一，随着网络深度的增加，会带来梯度消失的问题，离输出层近的参数由于梯度较大成为主要学习的参数，而离输出层远的参数由于梯度小，只能以很小的速率缓慢学习；并且，U-Net中，卷积层的堆叠也会使得网络结构变得更深更加复杂，从而出现退化问题，降低了网络的泛化性能；
其二，作为一种卷积神经网络模型，其利用卷积核提取会使感受野成倍增加的特点，通过编解码的形式收集关键的特征信息，然后通过层层解码还原目标并对其进行识别，但是，卷积操作具有局部感受野，只能关联局部区域，在建模远距离依赖方面存在局限性，也就是说，在感受野扩大的过程中不可避免地会丢失部分信息，从而导致最终识别结果的精度欠佳。
对此，本发明提供一种高锁螺栓检测方法，旨在网络中加入残差结构，通过残差连接来缓解网络层次的加深导致的梯度消失的情况，提升网络性能，并增加全局特征提取部分，通过提取全局图像特征和局部图像特征，一同进行高锁螺栓检测，可以极大地提升高锁螺栓检测的精度，克服目前识别精度不佳的问题。图1是本发明提供的高锁螺栓检测系统的结构示意图，如图1所示，高锁螺栓检测系统包括高锁螺栓检测中台、图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块；高锁螺栓检测中台分别与所述图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块连接，对其数据进行存储和管理。
可选的，图像采集模块可以理解为由多个图像采集单元集成的采集模块，因此，图像采集模块可以采集待检测高锁螺栓对应的待检测图像，其中，待检测高锁螺栓为机械设备中的任意一个高锁螺栓，机械设备包括但不限制于航天航空设备、铁路设备和船舶设备。
可选的，高锁螺栓检测结果预测模块可以理解为由高锁螺栓识别模型集成的检测结果预测模块，高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，高锁螺栓识别模型包括残差结构下的编码网络和解码网络，编码网络用于提取待检测图像的局部图像特征和全局图像特征，解码网络用于基于局部图像特征和全局图像特征进行高锁螺栓检测，因此，高锁螺栓检测结果预测模块可以将待检测图像输入至高锁螺栓识别模型，得到高锁螺栓识别模型输出的高锁螺栓检测结果，其中，高锁螺栓检测结果为待检测高锁螺栓的表面的纹理的平整程度，螺纹深痕越厚，说明表面的磨损程度越低，反之，螺纹深痕越平，说明表面的磨损程度越高，因此高锁螺栓检测结果可以表征待检测高锁螺栓的表面的螺纹磨损程度。在一实施例中，待检测高锁螺栓的表面的纹理的平整程度为0.1至1，1表示检测高锁螺栓的表面的纹理的深痕最厚，0.1表示检测高锁螺栓的表面的纹理的深痕最平，当平整程度大于等于0.7且小于等于1时，表示待检测高锁螺栓的表面的纹理的磨损小，当平整程度大于等于0.5且小于0.7时，表示待检测高锁螺栓的表面的纹理的磨损适中，平整程度大于等于0.1且小于0.5时，表示待检测高锁螺栓的表面的纹理的磨严重。
可选的，高锁螺栓检测模块基于高锁螺栓检测结果确定待检测高锁螺栓的表面的缺陷情况，也即根据高锁螺栓检测结果中待检测高锁螺栓的表面的纹理的平整程度，确定待检测高锁螺栓的表面的螺纹磨损程度。继续上述实施例，高锁螺栓检测结果为平整程度为0.6，确定待检测高锁螺栓的表面的缺陷情况为待检测高锁螺栓的表面的纹理的磨损适中；高锁螺栓检测结果为平整程度为0.45，确定待检测高锁螺栓的表面的缺陷情况为待检测高锁螺栓的表面的纹理的磨损严重。
本发明实施例克服了传统方案中因网络层次的加深而导致的梯度消失的问题，提升了网络性能，同时在图像特征提取的过程中增加了全局特征提取部分，利用全局图像特征与局部图像特征一同进行高锁螺栓检测，可以极大地提升高锁螺栓检测的精度，克服识别精度不佳的问题。
可选的，参照图2，图2是本发明提供的高锁螺栓检测方法的流程示意图，如图2所示，高锁螺栓检测方法包括：
步骤110，采集待检测高锁螺栓对应的待检测图像；
步骤120，将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
步骤130，基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况。
具体地，在进行高锁螺栓检测之前，首先需要对机械设备中的待检测高锁螺栓进行图像采集，得到待检测高锁螺栓对应的待检测图像，其中，待检测高锁螺栓为机械设备中的任意一个高锁螺栓，机械设备包括但不限制于航天航空设备、铁路设备和船舶设备。此处的待检测图像可以是一张也可以是多张，在待检测图像为多张的情况下，可以对每一张待检测图像进行高锁螺栓检测，以确定其对应的高锁螺栓检测结果。而值得注意的是，在每一张待检测图像中待检测高锁螺栓可以是一个也可以是多个。
而在确定待检测图像之后，即可对待检测图像进行高锁螺栓检测，此处，具体可以是将待检测图像输入高锁螺栓识别模型，以使高锁螺栓识别模型对输入的待检测图像进行高锁螺栓检测，输出待检测图像对应的高锁螺栓检测结果。
高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，高锁螺栓识别模型包括残差结构下的编码网络和解码网络，编码网络用于提取待检测图像的局部图像特征和全局图像特征，解码网络用于基于局部图像特征和全局图像特征进行高锁螺栓检测，因此，高锁螺栓检测结果预测模块可以将待检测图像输入至高锁螺栓识别模型，得到高锁螺栓识别模型输出的高锁螺栓检测结果，其中，高锁螺栓检测结果为待检测高锁螺栓的表面的纹理的平整程度，螺纹深痕越厚，说明表面的磨损程度越低，反之，螺纹深痕越平，说明表面的磨损程度越高，因此高锁螺栓检测结果可以表征待检测高锁螺栓的表面的螺纹磨损程度。在一实施例中，待检测高锁螺栓的表面的纹理的平整程度为0.1至1，1表示检测高锁螺栓的表面的纹理的深痕最厚，0.1表示检测高锁螺栓的表面的纹理的深痕最平，当平整程度大于等于0.7且小于等于1时，表示待检测高锁螺栓的表面的纹理的磨损小，当平整程度大于等于0.5且小于0.7时，表示待检测高锁螺栓的表面的纹理的磨损适中，平整程度大于等于0.1且小于0.5时，表示待检测高锁螺栓的表面的纹理的磨严重。
可选的，高锁螺栓检测模块基于高锁螺栓检测结果确定待检测高锁螺栓的表面的缺陷情况，也即根据高锁螺栓检测结果中待检测高锁螺栓的表面的纹理的平整程度，确定待检测高锁螺栓的表面的螺纹磨损程度。继续上述实施例，高锁螺栓检测结果为平整程度为0.6，确定待检测高锁螺栓的表面的缺陷情况为待检测高锁螺栓的表面的纹理的磨损适中；高锁螺栓检测结果为平整程度为0.45，确定待检测高锁螺栓的表面的缺陷情况为待检测高锁螺栓的表面的纹理的磨损严重。
因此，在将待检测图像输入至高锁螺栓识别模型之前，还可以预先训练得到高锁螺栓识别模型，即，可以应用样本高锁螺栓图像，以及样本高锁螺栓图像的样本磨损识别结果，预先训练得到高锁螺栓识别模型。
高锁螺栓识别模型的训练过程可以包括：首先，收集大量的样本高锁螺栓图像，并标注样本高锁螺栓图像中样本高锁螺栓表面的纹理的平整程度，从而形成样本高锁螺栓图像的样本磨损识别结果，此处也可以是使用带有样本磨损识别结果的图像直接作为训练数据，如此可以避免认为标注的繁琐工作；随即，可以利用样本高锁螺栓图像及其对应的样本磨损识别结果，对初始模型进行训练，以得到训练完成的高锁螺栓识别模型。此处的初始模型可以是在U-Net网络的基础上构建的。
然而，考虑到传统方案中基于U-Net网络的高锁螺栓检测虽然取得了一些成果，但是其仍然存在几个严重的问题，其一是随着网络深度的加深会出现梯度消失的情况，其二则是该网络具有局部感受野，只能关联局部区域，在远距离建模方面存在局限性，从而导致在高锁螺栓检测的过程中会忽略部分特征，进而使得最终的识别结果精度欠佳。
对此，本发明实施例中，在基于高锁螺栓识别模型进行高锁螺栓检测时，提出可以对高锁螺栓识别模型的结构进行改进，加入残差结构，以通过残差结构中的残差连接来缓解因为网络深度的增加引起的梯度消失的问题，从而提升模型性能，并在U-Net网络的编码器部分加入全局特征提取架构，例如，transformer架构，以据此提取待检测图像的全局图像特征，以待与原始的编码器提取到的局部图像特征一同进行高锁螺栓检测，从而得到精准的高锁螺栓检测结果，克服了识别精度不佳的问题。
即，高锁螺栓识别模型由残差结构下的编解码网络构成，此编解码网络又包括内部均采用残差结构的编码网络和解码网络。残差结构下的网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。具体在本发明实施例中，残差结构下的编解码网络内部的两个网络之间使用了跳跃连接，而残差结构下的编码网络和解码网络各自的内部则使用了残差连接，通过此两者可以很好地缓解梯度消失的问题。
其中，残差结构下的编码网络用于提取待检测图像的图像特征，具体包括两个部分，全局图像特征提取和局部图像特征提取，即，可以通过U-Net网络的编码器部分提取得到待检测图像的局部图像特征，通过增加的全局特征提取架构提取得到待检测图像的全局图像特征，解码网络则可以根据编码网络所提取到的局部图像特征和全局图像特征进行解码，并输出待检测图像的高锁螺栓检测结果。
本发明提供的高锁螺栓检测方法克服了传统方案中因网络层次的加深而导致的梯度消失的问题，提升了网络性能，同时在图像特征提取的过程中增加了全局特征提取部分，利用全局图像特征与局部图像特征一同进行高锁螺栓检测，可以极大地提升高锁螺栓检测的精度，克服识别精度不佳的问题。
基于上述实施例，编码网络包括局部编码网络和全局转换网络；
局部编码网络包括特征提取层和线性映射层，特征提取层用于提取所述待检测图像的局部图像特征，线性映射层用于对局部图像特征进行线性映射，并基于线性映射所得的特征和待检测图像的位置特征，确定目标图像特征；
全局转换网络用于基于目标图像特征进行全局特征提取，得到全局图像特征。
具体地，对于高锁螺栓识别模型中的编码网络，从图像特征提取的层次进行划分，可以将其分为两个部分，分别为局部图像特征提取部分和全局图像特征提取部分，由于局部图像特征由网络原始的编码器提取得到，因此，局部图像特征提取部分可以称为局部编码网络，而全局图像特征则可以在局部图像特征的基础上提取得到，因此，全局特征提取部分可以称为全局转换网络。简而言之，残差结构下的编码网络包括局部编码网络和全局转换网络。
图3是本发明提供的编码网络的结构示意图，如图3所示，为了弥补高锁螺栓检测过程中存在的信息丢失的缺憾，即，会忽略部分特征，从而导致识别精度不加的问题，本发明实施例中在网络的编码器部分引入了transformer架构，即，采用了CNN（ConvolutionalNeural Networks）+transformer的混合编码器架构，作为模型的编码网络。
在编码网络中，首先将CNN作为特征提取器进行特征提取，以得到局部图像特征，将局部图像特征经过线性映射后作为transformer的输入，以通过transformer提取得到全局图像特征。即，编码网络中的局部编码网络包括特征提取层和线性映射层，其中，特征提取层包括第一模块BLOCK0、第二模块BLOCK1、第三模块BLOCK2和第四模块BLOCK3，用于提取待检测图像的局部图像特征，线性映射层Linear Projection则用于对局部图像特征进行线性映射，并基于线性映射所得的特征和待检测图像的位置特征，确定目标图像特征；全局转换网络包括6层Transformer Layer全局转换层，分别为第一全局转换层、第二全局转换层、第三全局转换层、第四全局转换层、第五全局转换层和第六全局转换层，全局转换网络用于基于目标图像特征进行全局特征提取，得到全局图像特征Reshape。
图4是本发明提供的特征提取层的结构示意图，如图4所示，特征提取层中包括四个模块，分别为第一模块BLOCK0、第二模块BLOCK1、第三模块BLOCK2和第四模块BLOCK3，其中BLOCK0用于对输入的待检测图像进行预处理；BLOCK1、BLOCK2和BLOCK3则用于对预处理后的图像进行特征提取，以得到局部图像特征。
具体而言，在将待检测图像输入至高锁螺栓识别模型之后，待检测图像首先会进入BLOCK0，在BLOCK0中先通过一个CBR（Convolution + BatchNormalisation + ReLU）卷积块，该卷积块中卷积核的大小为7x7，输出通道数为64，/2表示卷积核步长为2；再经过最大池化层（MAXPOOL），核大小为3x3，步长为2，可以得到该模块的输出结果，此处BLOCK0的输出维度为（64，56，56），64为通道数，两个56分别为高和宽。
BLOCK0的输出则作为后续BLOCK1的输入，BLOCK1、BLOCK2和BLOCK3都由BoTleneck（BTNK，编码块）组成，其结构类似，并且BLOCK1、BLOCK2和BLOCK3中分别包含3个、4个和6个BTNK编码块。每一BTNK编码块由多个CBR卷积块构成。经过BLOCK1、BLOCK2和BLOCK3后即可得到待检测图像的局部图像特征。
而在得到特征提取层输出的局部图像特征后，其中，其中（14×14）为空间分辨率，（1024）为通道数，首先可以对其进行序列化处理，以将转化为一系列的2D图块，可以表示为，每个图块的尺寸 为，图块数量为。随即，可以对图块进行编码，具体是对其进行线性映射， 以将向量化的图块映射到维空间，并且为了编码图块的空间信息，还添加了位置信 息，最终可以得到线性映射层输出的目标图像特征。这一过程具体可以表示为：
；
为线性映射，为位置编码，二者都是可训练的。 在线性映射层中，经过线性映射被映射到D维空间，得到尺寸为的向量，与编码的位置特征相加即可得到线性映射层的输出，即目标图像特征。
此目标图像特征即可作为编码网络中全局转换网络的输入，全局转换网络可以在此目标图像特征的基础上提取得到全局图像特征。
本发明实施例中，考虑到CNN的卷积操作具有局部感受野，只能关联局部区域，在建模远距离依赖方面存在局限性；而用于序列到序列预测的transformer架构，具有全局自注意力机制，但是，在底层细节上存在不足，会导致定位能力受限。基于此，提出在U-Net网络的编码器部分引入transformer架构，以配合于编码器部分进行特征提取，分别得到局部细节特征和全局上下文特征提取，据此两者一同进行高锁螺栓检测，以通过解码网络恢复局部空间信息增强细节，从而得到精准的高锁螺栓检测结果，提升了高锁螺栓检测的精度和模型性能。
基于上述实施例，全局转换网络中包括串联的多个全局转换层，每一个全局转换层中包括多头自注意力模块和多层感知机模块；
其中，每一个全局转换层中多头自注意力模块的输入特征与输出特征进行残差连接所得的特征作为对应的全局转换层中多层感知机模块的输入特征；
每一个全局转换层中多层感知机模块的输入特征和输出特征进行残差连接所得的特征作为对应的全局转换层的下一全局转换层中多头自注意力模块的输入特征。
具体地，对于编码网络中的全局转换网络，由于其是在transformer架构的基础上构建得到的，而transformer架构中又包括有全局自注意力机制，因此，在本发明实施例中，全局转换网络中可以包括串联的多个全局转换层，每一个全局转换层中包括多头自注意力模块和多层感知机模块。
图5是本发明提供的全局转换层的结构示意图，如图5所示，全局转换层（transformer Layer）中包含有多头自注意力模块和多层感知机模块，每一个多头自注意力模块中包含一个LayerNorm（层均一化）和MSA（Multi-Head ATention，多头自注意力），每一个多层感知机模块中包含一个LayerNorm（层均一化）和MLP（Multilayer Perceptron，多层感知机）。
在多头自注意力模块中，输入会依次经过LayerNorm和MSA得到输出，而此输出会与该模块的输入进行残差连接，残差连接得到的特征会作为同一全局转换层中多层感知机模块的输入；而在多层感知机模块中，其输入会依次经过LayerNorm和MLP得到输出，而此输出会与该模块的输入进行残差连接，此时残差连接得到的特征会作为下一全局转换层中多头自注意力模块的输入，如此重复直至最后进入最后一个全局转换层。
即，在全局转换网络的每一个全局转换层中，多头自注意力模块的输入特征与输出特征进行残差连接所得的特征作为对应的全局转换层中多层感知机模块的输入特征，多层感知机模块的输入特征和输出特征进行残差连接所得的特征则作为下一全局转换层中多头自注意力模块的输入特征。
其中，全局转换网络中共包含个全局转换层，第个全局转换层的输出可以表示 为：
；
；
式中，为第个全局转换层中多头自注意力模块的输出特征，即LayerNorm，为第个全局转换层的输出特征，为第个全局转换层的输出特征。
具体到本发明实施例中，全局转换网络中包含6个transformer Layer，将最后一 个transformer Layer的输出特征进行reshape操作，以将transformer Layer维度为的输出特征转化为，如此即得到了全局转换网络的最终输出。之后即 可在解码网络中逐步将特征的分辨率从转换为全分辨率，以解码输出待 检测图像的高锁螺栓检测结果。
基于上述实施例，编码网络的特征提取层中包括串联的多个特征编码模块，每一个特征编码模块中包括残差结构下的第一编码块和第二编码块，第一编码块和第二编码块用于对输入特征进行卷积、归一化和激活，第一编码块和第二编码块的参数不同；解码网络的特征解码层中包括串联的多个特征解码模块，每一个特征解码模块中包括残差结构下的多个解码块，解码块用于对输入特征进行卷积、归一化和激活。
具体地，考虑到深度网络U-Net是通过梯度下降的方式更新网络参数的，而随着网络深度的增加会提升网络的性能，但是也会带来梯度消失的问题。梯度消失则是由于链式法则的乘法特性导致的，这使得离输出层越远的网络层梯度越小，离输出层近的参数由于梯度较大成为网络主要学习的参数，而离输出层远的参数由于梯度小，只能以很小的速率缓慢学习。除此之外，在U-Net网络中卷积层的堆叠还会使得网络结构变得更深更加复杂，如此也会产生退化问题，降低网络的泛化性能。对此，本发明实施例中提出残差结构，即可以在高锁螺栓识别模型的编码网络和解码网络各自的卷积块中添加残差结构，通过网络直接的残差结构进行跳跃连接，通过网络内部的残差结构进行残差连接，以缓解因层次增加引起的梯度消失问题，提升网络的表达能力。
可以理解的是，U-Net网络由一系列卷积块组成，为了在U-Net中实现残差结构，本发明实施例中可以在U-Net网络的基础上形成的高锁螺栓识别模型中使用对应的残差卷积块来取代原始的卷积块。具体在编码网络中，可以局部编码网络的特征提取层中的BLOCK1、BLOCK2和BLOCK3中引入残差结构，具体是在其中BTNK中引入残差连接，通过残差连接来连接其中的多个CBR卷积块。而在每一BLOCK（第二模块BLOCK1、第三模块BLOCK2和第四模块BLOCK3）中均包含两种BTNK编码块，即第一编码块BTNK1和第二编码块BTNK2，其分别应对输入与输出通道数不同和相同的情况。
具体而言，编码网络的局部编码网络中，特征提取层包括串联的多个特征编码模块，即BLOCK1、BLOCK2和BLOCK3，每一个特征编码模块中包括残差结构下的第一编码块和第二编码块，即BTNK1和BTNK2，第一编码块和所述第二编码块的参数不同，即，第一编码块对应的输入特征和输出特征的通道数不同，第二编码块对应的输入特征和输出特征的通道数相同；其中，第一编码块和第二编码块用于对输入特征进行卷积、归一化和激活。
图6是本发明提供的第一编码块和第二编码块的结构示意图，如图6所示，相比于第二编码块BTNK2，第一编码块BTNK1多了一个1x1卷积层，用于匹配输入与输出通道数不同的情况。第一编码块中卷积层的参数为(C，W，C1，S)，第二编码块中卷积层的参数为(C，W），其中，C和C1为通道数，S为步长，W表示输入/输出特征的尺寸。
可选的，第一编码块BTNK1中包括第一卷积块、第二卷积块/>、第三卷积块/>和第四卷积块。第二编码块BTNK2中包括第一卷积块/>、第二卷积块/>和第三卷积块/>。其中，/>表示1x1的卷积核；/SBN表示分割操作；RELU表示激活函数，通常指修正线性单元；/>表示3x3的卷积核，/1BN表示对输出进行批量归一化。
可选的，第一编码块BTNK1的输入为（C，W，W），输出为，第二编码块BTNK2的输入为（C，W，W），输出为（C，W，W）。
BLOCK1、BLOCK2和BLOCK3中的BTNK2除了输入特征的尺寸不同外，其参数完全相同。而BLOCK1中的BTNK1，与BLOCK2和BLOCK3中的BTNK1的参数不同；BLOCK1中的BTNK1，左侧路径上第一个卷积的步长为1，没有进行下采样，输入特征和输出特征的尺寸相同（见图4）；而且左右两侧第一个1x1卷积没有减少通道数；而BLOCK2和BLOCK3中的BTNK1，左侧路径上第一个卷积的步长为2，左右两侧第一个1x1卷积减少了通道数。图6中C和C1为通道数，S为步长，W表示输入/输出特征的尺寸。
对应地，在高锁螺栓识别模型的解码网络中，在其特征解码层中包含有串联的多个特征解码模块，每一个特征解码模块中包括残差结构下的多个解码块，解码块用于对输入特征进行卷积、归一化和激活。
图7是本发明提供的特征解码模块的结构示意图，如图7所示，对于每一个特征解码模块其输入input为编码网络中同一尺度下的特征编码模块的输出特征，与上一特征解码模块的输出特征进行融合后的特征，此输入input会经过两个CBR卷积块，即conv2d+BN+RELU（修正线性单元/激活单元），同时，在输入和输出之间添加跳连结构，通过残差连接得到其输出output，即每一个特征解码模块的输出特征。
基于上述实施例，解码网络中还包括特征融合层；
特征融合层用于对每一个特征解码模块的输出特征进行双线性插值，并对双线性插值所得的同一分辨率下的多个输出特征进行融合，基于融合所得的特征进行高锁螺栓检测。
具体地，对于解码网络所接收到的不同尺度的全局信息，由于每个尺度的特征具有不同的分辨率，因此在利用其进行高锁螺栓检测之前，还可以对其进行处理，以将其上采样到同一个分辨率，然后再对其进行融合，最后即可根据融合所得的特征进行高锁螺栓检测，从而得到最终的高锁螺栓检测结果。
可选的，本发明提供的高锁螺栓识别模型的整体框架可以理解为：高锁螺栓识别模型的解码网络中，在特征解码层之后还有一个特征融合层，该特征融合层用于对每一个特征解码模块的输出特征进行双线性插值（Bilinear upsample），以将其上采样到同一个分辨率，然后即可对同一分辨率下的多个输出特征进行拼接，得到拼接后的特征，将此特征通过卷积层conv，即可得到高锁螺栓识别模型的输出Output，该输出即为最终的高锁螺栓检测结果。
本发明实施例中，通过特征融合层对每一个特征解码模块的输出特征进行双线性插值，并对双线性插值所得的同一分辨率下的多个输出特征进行融合，从而基于融合所得的特征进行高锁螺栓检测，可以整合不同尺度的全局信息进行高锁螺栓检测，极大地提高了高锁螺栓检测的精度，还有效解决了目标尺度变化的问题，有效提高了高锁螺栓识别模型的性能。
基于上述实施例，编码网络中串联的多个特征编码模块的尺度逐渐减小，解码网络中串联的多个特征解码模块的尺度逐渐增大；每一个特征编码模块与对应尺度下的特征解码模块跳跃连接；
解码网络中每一个特征解码模块的跳跃连接处设置有注意力模块，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征进行融合，并基于融合所得的特征确定对应的特征解码模块的输入特征。
具体地，考虑到U-Net网络中，除了上述因网络层数的加深会引起梯度消失的问题之外，还存在另一问题，即跳跃连接下来自编码器和解码器的特征具有很大的语义差，从而导致最终模型预测的准确性不佳，影响了模型的灵敏度和预测精度。
鉴于此，本发明实施例中，在高锁螺栓识别模型的解码网络中设置注意力模块，以通过注意力模块消除跳跃连接操作中的语义歧义，抑制不相关区域，同时突出特定局部区域的显著特征，具体来说就是对每个像素赋予不同的权重，使相关的部分获得更高的权重，相关性较低的部分获得较低的权重，从而提升模型的识别精度。
详尽地，本发明实施例中，编码网络中局部编码网络的特征提取层中包含有串联的多个特征编码模块，且各特征编码模块按照串联顺序尺度依次减小，即，特征提取层中包含串联的多个尺度逐渐减小的特征编码模块；与之对应的是，解码网络的特征解码层中包含有串联的多个特征解码模块，且各特征解码模块按照串联顺序尺度依次增大，即，特征解码层中包含串联的多个尺度逐渐增大的特征解码模块；并且，每一个特征编码模块与对应尺度下的特征解码模块跳跃连接。
其中，在解码网络中的每一个特征解码模块的跳跃连接处，设置有注意力模块，每一个注意力模块的输入有两个，分别为跳跃连接结构下对应的特征编码模块的输出特征，以及其对应的特征解码模块的上一特征解码模块的输出特征；其中，跳跃连接结构下对应的特征编码模块的输出特征由于来自浅层的网络，因此具有更丰富的上下文信息，而上一特征解码模块的输出特征由于来自较深的网络，因此其具有更好的特征表示，注意力模块则可以对此两者进行融合，并可以基于融合所得的特征，确定其对应的特征解码模块的输入特征。
即，解码网络中每一个特征解码模块的跳跃连接处的注意力模块，其用于对对应的特征解码模块的跳跃连接结构下的特征编码模块的输出特征（对应的特征解码模块的对应尺度下的特征编码模块的输出特征），以及对应的特征解码模块的上一特征解码模块的输出特征进行融合，并基于融合所得的特征确定对应的特征解码模块的输入特征。
本发明实施例中，通过注意力模块可以对来自浅层网络的特征和深层网络的特征进行融合，可以更好的整个局部细节信息和全局上下文信息，从而使得高锁螺栓检测过程能够更加关注待检测图像中的相关区域，而忽略不相关区域，进而使得最终的识别结果更为准确，精度更高。此外，将注意力模块引入高锁螺栓识别模型中，不仅预测更为精确，而且计算开销小，还能提高模型的灵敏度和预测精度。
基于上述实施例，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征分别进行线性变换，并对线性变换所得的同一分辨率下的两个输出特征进行融合，得到注意力特征；
每一个注意力模块还用于对注意力特征进行线性变换，并对变换所得的特征进行重采样，得到注意系数，基于注意系数以及对应的特征解码模块的对应尺度下的特征编码模块的输出特征，确定对应的特征解码模块的输入特征。
具体地，每一个注意力模块可以对来自浅层网络的特征和来自深层网络的特 征分别进行线性变换，以使降采样到与相同的分辨率，从而得到线性变换后的两个输出 特征，即线性变换所得的同一分辨率下的两个输出特征；接着可以对此两个输出特征进行 融合，即对此两者进行相加，以使对齐的权重变得更大，未对齐的权重相对较小，从而得到 注意力特征。
之后，即可通过ReLU激活函数对注意力特征进行线性整流，并对此过程得到的特 征再次进行线性变换，以将特征的通道数压缩为1，其上的数值即代表不同的权重，再将该 特征通过sigmoid激活函数，将权重的数值限制在0-1之间，随后通过重采样操作将特征恢 复到与相同的尺寸，此处可以是对sigmoid激活函数的输出进行重采样，具体是通过三线 性插值进行重采样，得到注意系数，其范围在0-1间，越接近1代表对应的特征越相关，最后 即可根据注意系数以及对应的特征解码模块的对应尺度下的特征编码模块的输出特征，确 定对应的特征解码模块的输入特征，即将注意系数与来自浅层网络的特征进行逐元素相 乘，得到对应的特征解码模块的输入特征，如此即实现了对浅层网络的输出特征进行整合， 可以按照相关性进行增减。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（Communications Interface）820、存储器（memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行高锁螺栓检测方法，该方法包括：
采集待检测高锁螺栓对应的待检测图像；
将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的高锁螺栓检测方法，该方法包括：
采集待检测高锁螺栓对应的待检测图像；
将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高锁螺栓检测系统，其特征在于，包括高锁螺栓检测中台、图像采集模块、高锁螺栓检测结果预测模块和高锁螺栓检测模块；所述高锁螺栓检测中台分别与所述图像采集模块、所述高锁螺栓检测结果预测模块和所述高锁螺栓检测模块连接，对其数据进行存储和管理；
所述图像采集模块，用于采集待检测高锁螺栓对应的待检测图像；
所述高锁螺栓检测结果预测模块，用于将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
所述高锁螺栓检测模块，用于基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
2.一种高锁螺栓检测方法，其特征在于，包括：
采集待检测高锁螺栓对应的待检测图像；
将所述待检测图像输入至高锁螺栓识别模型，得到所述高锁螺栓识别模型输出的高锁螺栓检测结果；所述高锁螺栓检测结果表征所述待检测高锁螺栓的表面的螺纹磨损程度；
基于所述高锁螺栓检测结果确定所述待检测高锁螺栓的表面的缺陷情况；
所述高锁螺栓识别模型是基于样本高锁螺栓图像及其样本磨损识别结果训练得到的，所述高锁螺栓识别模型包括残差结构下的编码网络和解码网络，所述编码网络用于提取所述待检测图像的局部图像特征和全局图像特征，所述解码网络用于基于所述局部图像特征和所述全局图像特征进行高锁螺栓检测。
3.根据权利要求2所述的高锁螺栓检测方法，其特征在于，所述编码网络包括局部编码网络和全局转换网络；
所述局部编码网络包括特征提取层和线性映射层，所述特征提取层用于提取所述待检测图像的局部图像特征，所述线性映射层用于对所述局部图像特征进行线性映射，并基于线性映射所得的特征和所述待检测图像的位置特征，确定目标图像特征；
所述全局转换网络用于基于所述目标图像特征进行全局特征提取，得到所述全局图像特征。
4.根据权利要求3所述的高锁螺栓检测方法，其特征在于，所述全局转换网络中包括串联的多个全局转换层，每一个全局转换层中包括多头自注意力模块和多层感知机模块；
其中，每一个全局转换层中多头自注意力模块的输入特征与输出特征进行残差连接所得的特征作为对应的全局转换层中多层感知机模块的输入特征；
每一个全局转换层中多层感知机模块的输入特征和输出特征进行残差连接所得的特征作为对应的全局转换层的下一全局转换层中多头自注意力模块的输入特征。
5.根据权利要求2至4中任一项所述的高锁螺栓检测方法，其特征在于，所述编码网络的特征提取层中包括串联的多个特征编码模块，每一个特征编码模块中包括残差结构下的第一编码块和第二编码块，所述第一编码块和所述第二编码块用于对输入特征进行卷积、归一化和激活，所述第一编码块和所述第二编码块的参数不同；
所述解码网络的特征解码层中包括串联的多个特征解码模块，每一个特征解码模块中包括残差结构下的多个解码块，所述解码块用于对输入特征进行卷积、归一化和激活。
6.根据权利要求5所述的高锁螺栓检测方法，其特征在于，所述解码网络中还包括特征融合层；
所述特征融合层用于对每一个特征解码模块的输出特征进行双线性插值，并对双线性插值所得的同一分辨率下的多个输出特征进行融合，基于融合所得的特征进行高锁螺栓检测。
7.根据权利要求5所述的高锁螺栓检测方法，其特征在于，所述编码网络中串联的多个特征编码模块的尺度逐渐减小，所述解码网络中串联的多个特征解码模块的尺度逐渐增大；每一个特征编码模块与对应尺度下的特征解码模块跳跃连接；
所述解码网络中每一个特征解码模块的跳跃连接处设置有注意力模块，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征进行融合，并基于融合所得的特征确定对应的特征解码模块的输入特征。
8.根据权利要求7所述的高锁螺栓检测方法，其特征在于，每一个注意力模块用于对对应的特征解码模块的对应尺度下的特征编码模块的输出特征，以及对应的特征解码模块的上一特征解码模块的输出特征分别进行线性变换，并对线性变换所得的同一分辨率下的两个输出特征进行融合，得到注意力特征；
每一个注意力模块还用于对所述注意力特征进行线性变换，并对变换所得的特征进行重采样，得到注意系数，基于所述注意系数以及对应的特征解码模块的对应尺度下的特征编码模块的输出特征，确定对应的特征解码模块的输入特征。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述计算机软件程序，进而实现权利要求2-8任一项所述的高锁螺栓检测方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如权利要求2-8任一项所述的高锁螺栓检测方法。
CN202410351215.1A 2024-03-26 2024-03-26 一种高锁螺栓检测系统及其方法 Pending CN117952976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410351215.1A CN117952976A (zh) 2024-03-26 2024-03-26 一种高锁螺栓检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410351215.1A CN117952976A (zh) 2024-03-26 2024-03-26 一种高锁螺栓检测系统及其方法

Publications (1)

Publication Number Publication Date
CN117952976A true CN117952976A (zh) 2024-04-30

Family

ID=90792559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410351215.1A Pending CN117952976A (zh) 2024-03-26 2024-03-26 一种高锁螺栓检测系统及其方法

Country Status (1)

Country Link
CN (1) CN117952976A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101670533A (zh) * 2009-09-25 2010-03-17 南京信息工程大学 基于工件加工表面图像分析的刀具磨损状态评价方法
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
CN109859210A (zh) * 2018-12-25 2019-06-07 上海联影智能医疗科技有限公司 一种医学数据处理装置及方法
CN112712520A (zh) * 2021-01-18 2021-04-27 佛山科学技术学院 一种基于ARU-Net脉络膜层分割方法
CN113496228A (zh) * 2021-07-30 2021-10-12 大连海事大学 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114972760A (zh) * 2022-06-17 2022-08-30 湘潭大学 基于多尺度注意力增强U-Net的电离图自动描迹方法
CN115302235A (zh) * 2022-08-03 2022-11-08 新疆洁净能源技术研究院 一种风电螺栓装配机器人系统
CN115880557A (zh) * 2023-03-02 2023-03-31 中国科学院地理科学与资源研究所 基于深度学习的路面裂缝提取方法和装置
CN116128890A (zh) * 2022-12-29 2023-05-16 河海大学 一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其系统
CN116703885A (zh) * 2023-06-30 2023-09-05 南京邮电大学 一种基于Swin Transformer的表面缺陷检测方法及系统
CN116843761A (zh) * 2023-05-16 2023-10-03 五邑大学 螺栓尺寸测量方法和装置、电子设备及存储介质
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法
CN117649385A (zh) * 2023-11-30 2024-03-05 广东工业大学 一种基于全局和局部注意力机制的肺部ct图像分割方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101670533A (zh) * 2009-09-25 2010-03-17 南京信息工程大学 基于工件加工表面图像分析的刀具磨损状态评价方法
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
CN109859210A (zh) * 2018-12-25 2019-06-07 上海联影智能医疗科技有限公司 一种医学数据处理装置及方法
CN112712520A (zh) * 2021-01-18 2021-04-27 佛山科学技术学院 一种基于ARU-Net脉络膜层分割方法
CN113496228A (zh) * 2021-07-30 2021-10-12 大连海事大学 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114972760A (zh) * 2022-06-17 2022-08-30 湘潭大学 基于多尺度注意力增强U-Net的电离图自动描迹方法
CN115302235A (zh) * 2022-08-03 2022-11-08 新疆洁净能源技术研究院 一种风电螺栓装配机器人系统
CN116128890A (zh) * 2022-12-29 2023-05-16 河海大学 一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其系统
CN115880557A (zh) * 2023-03-02 2023-03-31 中国科学院地理科学与资源研究所 基于深度学习的路面裂缝提取方法和装置
CN116843761A (zh) * 2023-05-16 2023-10-03 五邑大学 螺栓尺寸测量方法和装置、电子设备及存储介质
CN116703885A (zh) * 2023-06-30 2023-09-05 南京邮电大学 一种基于Swin Transformer的表面缺陷检测方法及系统
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法
CN117649385A (zh) * 2023-11-30 2024-03-05 广东工业大学 一种基于全局和局部注意力机制的肺部ct图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BING: "ResNet50网络结构图及结构详解", pages 1, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/353235794> *
JIENENG CHEN ET AL.: "TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation", 《ARXIV:2102.04306V1 [CS.CV]》, 8 February 2021 (2021-02-08), pages 3 - 13 *
MENGTIAN CUI ET AL.: "CM-Unet: A Novel Remote Sensing Image Segmentation Method Based on Improved U-Net", 《IEEE ACCESS》, 13 June 2023 (2023-06-13), pages 56994 - 57005 *
徐志玲 等: "基于CNN与SVDD融合的螺栓图像检测方法研究", 《中国测试》, vol. 50, no. 1, 31 January 2024 (2024-01-31), pages 47 - 50 *
褚鸿鹄 等: "基于Transformer的高分辨率桥梁裂缝图像级联分割方法", 《中国公路学报》, vol. 37, no. 2, 29 February 2024 (2024-02-29), pages 68 *

Similar Documents

Publication Publication Date Title
CN113591546B (zh) 语义增强型场景文本识别方法及装置
CN113744153B (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN113205016B (zh) 恒等残差型Unet与遥感水体指数的河湖岸线变化检测方法
CN117372706A (zh) 一种多尺度可变形的人物交互关系检测方法
CN115187539A (zh) 一种裂缝识别方法、装置、介质及设备
CN114299111A (zh) 一种基于半监督孪生网络的红外弱小目标跟踪方法
CN113487530A (zh) 一种基于深度学习的红外与可见光融合成像方法
CN117095277A (zh) 一种边缘引导的多注意力rgbd水下显著目标检测方法
CN116095321A (zh) 显著性区域图像编解码方法、系统、设备及存储介质
CN118488202A (zh) 图像压缩的处理方法、装置、电子设备及存储介质
Li et al. TCTL-Net: Template-free color transfer learning for self-attention driven underwater image enhancement
Qi et al. Deep Color-Corrected Multi-scale Retinex Network for Underwater Image Enhancement
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN117952976A (zh) 一种高锁螺栓检测系统及其方法
CN116433451A (zh) 基于全局上下文注意门优化水印分解网络的水印去除方法
CN114119999B (zh) 基于深度学习的迭代6d位姿估计方法及装置
CN116071226A (zh) 基于注意力网络的电镜图像配准系统及方法
CN113850719B (zh) 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法
CN118570486A (zh) 目标识别方法、装置、电子设备以及存储介质
CN115035377A (zh) 基于双流编码和交互解码的显著性检测网络系统
CN115115845B (zh) 图像语义内容理解方法、装置、电子设备及存储介质
CN118552738B (zh) 基于多关系基特征协同和投影融合的多模态语义分割方法
CN118822876A (zh) 船舰高光谱图像生成方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination