CN116128798B - 钟形壳锻面齿的精锻方法 - Google Patents

钟形壳锻面齿的精锻方法 Download PDF

Info

Publication number
CN116128798B
CN116128798B CN202211437242.8A CN202211437242A CN116128798B CN 116128798 B CN116128798 B CN 116128798B CN 202211437242 A CN202211437242 A CN 202211437242A CN 116128798 B CN116128798 B CN 116128798B
Authority
CN
China
Prior art keywords
image
image block
training
detection
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211437242.8A
Other languages
English (en)
Other versions
CN116128798A (zh
Inventor
陈祖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuhuan Kingtime Machinery Forging Co ltd
Original Assignee
Yuhuan Kingtime Machinery Forging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuhuan Kingtime Machinery Forging Co ltd filed Critical Yuhuan Kingtime Machinery Forging Co ltd
Priority to CN202211437242.8A priority Critical patent/CN116128798B/zh
Publication of CN116128798A publication Critical patent/CN116128798A/zh
Application granted granted Critical
Publication of CN116128798B publication Critical patent/CN116128798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Forging (AREA)

Abstract

公开了一种钟形壳锻面齿的精锻方法，其将精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像分别通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。

Description

钟形壳锻面齿的精锻方法
技术领域
本申请涉及精锻技术领域，且更为具体地，涉及一种钟形壳锻面齿的精锻方法。
背景技术
钟形壳是等速万向节主要组成部分，其内球面沟槽形状特殊复杂，因此，在加工过程中，需要对其进行精锻以得到外形、尺寸公差、表面质量等指标超过普通锻造的产品，以满足其应用要求。
在现有的一种钟形壳的精锻方法中，其包括两个阶段：温锻和冷锻，在精锻之后发现钟形壳的其他部分的成型质量的大体能够满足应用要求，但钟形壳的锻面齿部分却常遇到成型质量不过关的问题，究其原因发现：相对于钟形壳的其他部分，锻面齿属于敏感且脆弱的部分，很容易在精锻中发生过度锻造而发生断裂或者精锻不充分而使得其质量指标无法满足应用要求。
因此，期待一种优化的钟形壳锻面齿的精锻方法。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种钟形壳锻面齿的精锻方法，其将精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像分别通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。
根据本申请的一个方面，提供了一种钟形壳锻面齿的精锻方法，其包括：
获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
在上述钟形壳锻面齿的精锻方法中，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在上述钟形壳锻面齿的精锻方法中，所述将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在上述钟形壳锻面齿的精锻方法中，所述将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
在上述钟形壳锻面齿的精锻方法中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
在上述钟形壳锻面齿的精锻方法中，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
在上述钟形壳锻面齿的精锻方法中，所述使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在上述钟形壳锻面齿的精锻方法中，所述将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准，包括：使用所述分类器以如下公式对所述差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在上述钟形壳锻面齿的精锻方法中，还包括训练步骤：对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练；所述训练步骤，包括：获取精锻后的钟形壳锻面齿的训练检测图像和精锻质量符合预定要求的钟形壳锻面齿的训练参考图像，以及，训练检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的真实值；对所述训练检测图像和所述训练参考图像分别进行图像分块处理以得到训练检测图像块序列和训练参考图像块序列；将所述训练检测图像块序列分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练图像块检测特征向量；将所述训练参考图像块序列分别通过所述作为过滤器的第二卷积神经网络模型以得到多个训练图像块参考特征向量；将所述多个训练图像块检测特征向量和所述多个训练图像块参考特征向量分别排列为训练检测图像全局特征矩阵和训练参考图像全局特征矩阵后通过所述包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练检测特征图和训练参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；将所述训练差分特征图通过分类器以得到分类损失函数值；计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；以及，计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练。
在上述钟形壳锻面齿的精锻方法中，所述计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值，包括：以如下公式计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；其中，所述公式为：
其中，Vc1到Vcn是各个训练图像块检测特征向量，Vcr是参考向量，且表示特征向量的分类结果，/>是所述多个检测图像块特征向量的多分布二元分类质量损失函数值，||·||1表示向量的1范数，log表示以2为底的对数函数；所述计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值，包括：以如下公式计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；其中，所述公式为：
其中，Vr1到Vrn是各个训练图像块参考特征向量，Vrr是参考向量，且表示特征向量的分类结果，/>是所述多个参考图像块特征向量的多分布二元分类质量损失函数值，||·||1表示向量的1范数，log表示以2为底的对数函数；所述计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练，包括：以如下公式来计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值；其中，所述公式为：
其中，为所述损失函数值，/>为所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值，/>为所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值，/>为所述分类损失函数值，/>表示加法，α、β和γ为用于控制所述损失函数值中所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值之间的平衡的加权参数。
根据本申请的另一方面，提供了一种钟形壳锻面齿的精锻系统，包括：
图像获取单元，用于获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；
分块单元，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
检测图像编码单元，用于将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
参考图像编码单元，用于将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
全局编码单元，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
差分单元，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及
校验结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
在上述钟形壳锻面齿的精锻系统中，还包括用于对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练的训练模块；所述训练模块，包括：训练图像获取单元，用于获取精锻后的钟形壳锻面齿的训练检测图像和精锻质量符合预定要求的钟形壳锻面齿的训练参考图像，以及，训练检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的真实值；训练分块单元，用于对所述训练检测图像和所述训练参考图像分别进行图像分块处理以得到训练检测图像块序列和训练参考图像块序列；训练检测图像编码单元，用于将所述训练检测图像块序列分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练图像块检测特征向量；训练参考图像编码单元，用于将所述训练参考图像块序列分别通过所述作为过滤器的第二卷积神经网络模型以得到多个训练图像块参考特征向量；训练全局编码单元，用于将所述多个训练图像块检测特征向量和所述多个训练图像块参考特征向量分别排列为训练检测图像全局特征矩阵和训练参考图像全局特征矩阵后通过所述包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练检测特征图和训练参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；训练差分单元，用于计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；分类损失单元，用于将所述训练差分特征图通过分类器以得到分类损失函数值；第一多分布二元分类质量损失单元，用于计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；第二多分布二元分类质量损失单元，用于计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；以及，训练单元，用于计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练。
与现有技术相比，本申请提供的钟形壳锻面齿的精锻方法，其将精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像分别通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的钟形壳锻面齿的精锻方法的应用场景图。
图2为根据本申请实施例的钟形壳锻面齿的精锻方法的流程图。
图3为根据本申请实施例的钟形壳锻面齿的精锻方法的架构图。
图4为根据本申请实施例的钟形壳锻面齿的精锻方法中对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练的流程图。
图5为根据本申请实施例的钟形壳锻面齿的精锻系统的框图。
图6为根据本申请实施例的钟形壳锻面齿的精锻系统中训练模块的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上述背景技术所言，在精锻之后发现钟形壳的其他部分的成型质量的大体能够满足应用要求，但钟形壳的锻面齿部分却常遇到成型质量不过关的问题，究其原因发现：相对于钟形壳的其他部分，锻面齿属于敏感且脆弱的部分，很容易在精锻中发生过度锻造而发生断裂或者精锻不充分而使得其质量指标无法满足应用要求。因此，期待一种优化的钟形壳锻面齿的精锻方法。
在对精锻方法的优化中，本申请的申请人意识到：关键在于对精锻后的钟形壳锻面齿进行质量检测以判断其成型质量是否满足预定要求，进而基于该结局指标对精锻的过程参数进行校验。但是，在现有的精锻方法中，需要各种设备对精锻后的锻面齿成型质量进行判定，不仅费时费力，且无法快速对精锻方法进行优化得到。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为钟形壳锻面齿的成型质量的分类判断提供了新的解决思路和方案。
具体地，首先获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像。也就是，如果精锻后的钟形壳锻面齿的成型质量满足要求，那么其与参考图像之间的差异应该在预定范围内。但是，如果将所述检测图像和所述参考图像直接在图像源域端进行对比，两者之间的差异更多是图像像素级表征差异，但图像像素级表征差异并不能体现出钟形壳锻面齿的实质性差异，并且，在图像源域端会存在诸多噪声(例如，拍摄时的拍摄环境)而这些图像噪声都会影响对钟形壳锻面齿的精锻质量的准确判断。
针对上述技术问题，在本申请的技术方案中，将所述检测图像和所述参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。应可以理解，深度神经网络包含多个神经网络层，其可通过参数训练来拟合出满足预定功能的函数块，以满足特定的数据提取功能需求。
具体地，在本申请的技术方案中，在将所述检测图像和所述参考图像输入深度神经网络模型前，分别对所述检测图像和所述参考图像进行分块处理，这样将检测图像和参考图像划分为多个图像块，以降低各个图像块的特征提取的难度和计算量。接着，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，以及，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。也就是，将各个检测图像块和各个参考图像块分别通过作为过滤器的卷积神经网络模型以提取各个检测图像块的图像特征和各个参考图像块的图像特征。这里，本领域普通技术人员应知晓，卷积神经网络模型是一种常见的神经网络模型，其在图像特征提取领域具有优异性能表现。
接着，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。也就是，在高维特征空间中，将所述多个图像块检测特征向量和所述多个图像块参考特征向量重新进行二维结构化以得到包含所有图像块特征的所述检测图像全局特征矩阵和所述参考图像全局特征矩阵。值得一提的是，在本申请的技术方案中，在进行二维结构化的过程中，可以保留各个图像块之间的原位位置关系，例如，第一检测图像块得到的图像块检测特征向量依旧排列于第一位置，第二检测图像块得到的图像块参考特征向量依旧排列于第二位置，以此来保留图像块在源域的相对位置关系。
同时，将所述检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应注意到，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，因此，在进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化。具体地，在得到所述检测特征图和所述参考特征图后，计算所述检测特征图和所述参考特征图之间的差分特征图以此来表示两者在高维特征空间中的差异。进而，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。继而，基于所述分类结果，可以对精锻方法中的过程参数进行校验(例如，简单地通过控制变量法)以对所述钟形壳锻面齿的精锻方法进行基于数据智能的迭代优化。
特别地，在本申请的技术方案中，对于所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型得到的所述多个图像块检测特征向量，由于每个图像块检测特征向量的特征分布都是对应于所述检测图像的整体特征的局部特征分布，因此期望提升所述多个图像块检测特征向量之间的局部分布关联度，以提升所述多个图像块检测特征向量进行二维排列得到的所述检测图像全局特征矩阵的整体特征表达能力，从而进一步最终得到的所述差分特征图的分类结果准确性。
通常，可以通过对每个检测图像块特征向量设置权重来解决，但是，由于权重需要作为超参数通过训练得到，这将增加模型的训练负担。因此，本申请的申请人引入了针对所述多个检测图像块特征向量的多分布二元分类质量损失函数，表示为：
其中，Vc1到Vcn是各个检测图像块特征向量，Vcr是参考向量，优选地设置为所有检测图像块特征向量的均值特征向量，且表示特征向量的分类结果，||·||1表示向量的1范数。
这里，为了避免每个检测图像块特征向量在二维排列之后在相应的多分布分类域内由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别区域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，可以预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述检测图像全局特征矩阵的整体特征表达能力，从而提升最终得到的所述差分特征图的分类结果准确性。
同时，在本申请的技术方案中，对于所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第一卷积神经网络模型得到的所述多个图像块参考特征向量，由于每个图像块参考特征向量的特征分布都是对应于所述参考图像的整体特征的局部特征分布，因此期望提升所述多个图像块参考特征向量之间的局部分布关联度，以提升所述多个图像块参考特征向量进行二维排列得到的所述参考图像全局特征矩阵的整体特征表达能力，从而进一步最终得到的所述差分特征图的分类结果准确性。
通常，可以通过对每个参考图像块特征向量设置权重来解决，但是，由于权重需要作为超参数通过训练得到，这将增加模型的训练负担。因此，本申请的申请人引入了针对所述多个参考图像块特征向量的多分布二元分类质量损失函数，表示为：
其中，Vr1到Vrn是各个参考图像块特征向量，Vrr是参考向量，优选地设置为所有参考图像块特征向量的均值特征向量，且表示特征向量的分类结果，||·||1表示向量的1范数。
这里，为了避免每个参考图像块特征向量在二维排列之后在相应的多分布分类域内由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别区域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，可以预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述参考图像全局特征矩阵的整体特征表达能力，从而提升最终得到的所述差分特征图的分类结果准确性。
值得一提的是，在本申请的深度网络模型的训练过程中，最终的损失函数值为和分类损失函数值的加权和。
基于此，本申请提出了一种钟形壳锻面齿的精锻方法，其包括：获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；计算所述检测特征图和所述参考特征图之间的差分特征图；以及，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
图1为根据本申请实施例的钟形壳锻面齿的精锻方法的应用场景图。如图1所示，在该应用场景中，首先由摄像头(例如，如图1所示意的C)获取精锻后的钟形壳(例如，如图1所示意的H)锻面齿(例如，如图1所示意的T)的检测图像。进而，将所述精锻后的钟形壳锻面齿的检测图像输入至部署有钟形壳锻面齿的精锻算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够基于所述钟形壳锻面齿的精锻算法对所述精锻后的钟形壳锻面齿的检测图像进行处理，以得到用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的钟形壳锻面齿的精锻方法的流程图。如图2所示，根据本申请实施例的钟形壳锻面齿的精锻方法，包括：S110，获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；S120，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；S130，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；S140，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；S150，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S160，计算所述检测特征图和所述参考特征图之间的差分特征图；以及，S170，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
图3为根据本申请实施例的钟形壳锻面齿的精锻方法的架构图。如图3所示，在该架构中，首先，获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像。接着，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。然后，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，同时，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。进而，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。然后，计算所述检测特征图和所述参考特征图之间的差分特征图。进而，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
在步骤S110中，获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像。如上述背景技术所言，在精锻之后发现钟形壳的其他部分的成型质量的大体能够满足应用要求，但钟形壳的锻面齿部分却常遇到成型质量不过关的问题，究其原因发现：相对于钟形壳的其他部分，锻面齿属于敏感且脆弱的部分，很容易在精锻中发生过度锻造而发生断裂或者精锻不充分而使得其质量指标无法满足应用要求。因此，期待一种优化的钟形壳锻面齿的精锻方法。
在对精锻方法的优化中，本申请的申请人意识到：关键在于对精锻后的钟形壳锻面齿进行质量检测以判断其成型质量是否满足预定要求，进而基于该结局指标对精锻的过程参数进行校验。但是，在现有的精锻方法中，需要各种设备对精锻后的锻面齿成型质量进行判定，不仅费时费力，且无法快速对精锻方法进行优化得到。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为钟形壳锻面齿的成型质量的分类判断提供了新的解决思路和方案。也就是，如果精锻后的钟形壳锻面齿的成型质量满足要求，那么其与参考图像之间的差异应该在预定范围内。
具体地，首先获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像。这里，所述检测图像可以由摄像头获取，所述参考图像为已有资料。
在步骤S120中，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。这里，本申请考虑到如果将所述检测图像和所述参考图像直接在图像源域端进行对比，两者之间的差异更多是图像像素级表征差异，但图像像素级表征差异并不能体现出钟形壳锻面齿的实质性差异，并且，在图像源域端会存在诸多噪声(例如，拍摄时的拍摄环境)而这些图像噪声都会影响对钟形壳锻面齿的精锻质量的准确判断。
针对上述技术问题，在本申请的技术方案中，将所述检测图像和所述参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。应可以理解，深度神经网络包含多个神经网络层，其可通过参数训练来拟合出满足预定功能的函数块，以满足特定的数据提取功能需求。
具体地，在本申请的技术方案中，在将所述检测图像和所述参考图像输入深度神经网络模型前，分别对所述检测图像和所述参考图像进行分块处理，这样将检测图像和参考图像划分为多个图像块，以降低各个图像块的特征提取的难度和计算量。
更具体地，在本申请实施例中，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在步骤S130中，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量。也就是，将各个检测图像块通过作为过滤器的第一卷积神经网络模型以提取各个检测图像块的图像特征。这里，本领域普通技术人员应知晓，卷积神经网络模型是一种常见的神经网络模型，其在图像特征提取领域具有优异性能表现。
具体地，在本申请实施例中，所述将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在步骤S140中，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。同样地，将各个参考图像块通过作为过滤器的第二卷积神经网络模型以提取各个参考图像块的图像特征。
具体地，在本申请实施例中，所述将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
在步骤S150中，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。也就是，在高维特征空间中，将所述多个图像块检测特征向量和所述多个图像块参考特征向量重新进行二维结构化以得到包含所有图像块特征的所述检测图像全局特征矩阵和所述参考图像全局特征矩阵。值得一提的是，在本申请的技术方案中，在进行二维结构化的过程中，可以保留各个图像块之间的原位位置关系，例如，第一检测图像块得到的图像块检测特征向量依旧排列于第一位置，第二检测图像块得到的图像块参考特征向量依旧排列于第二位置，以此来保留图像块在源域的相对位置关系。
同时，将所述检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图。应注意到，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，因此，在进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化。特别地，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
具体地，在本申请实施例中，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
更具体地，在本申请实施例中，所述使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在步骤S160中，计算所述检测特征图和所述参考特征图之间的差分特征图。使用所述包含第一图像编码器和第二图像编码器的孪生网络模型进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化，在得到所述检测特征图和所述参考特征图后，计算所述检测特征图和所述参考特征图之间的差分特征图以此来表示两者在高维特征空间中的差异。
在步骤S170中，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。继而，基于所述分类结果，可以对精锻方法中的过程参数进行校验(例如，简单地通过控制变量法)以对所述钟形壳锻面齿的精锻方法进行基于数据智能的迭代优化。
具体地，在本申请实施例中，所述将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准，包括：使用所述分类器以如下公式对所述差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在上述钟形壳锻面齿的精锻方法中，还包括训练步骤：对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练。
图4为根据本申请实施例的钟形壳锻面齿的精锻方法中对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练的流程图。如图4所示，所述训练步骤，包括：S210，获取精锻后的钟形壳锻面齿的训练检测图像和精锻质量符合预定要求的钟形壳锻面齿的训练参考图像，以及，训练检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的真实值；S220，对所述训练检测图像和所述训练参考图像分别进行图像分块处理以得到训练检测图像块序列和训练参考图像块序列；S230，将所述训练检测图像块序列分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练图像块检测特征向量；S240，将所述训练参考图像块序列分别通过所述作为过滤器的第二卷积神经网络模型以得到多个训练图像块参考特征向量；S250，将所述多个训练图像块检测特征向量和所述多个训练图像块参考特征向量分别排列为训练检测图像全局特征矩阵和训练参考图像全局特征矩阵后通过所述包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练检测特征图和训练参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S260，计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；S270，将所述训练差分特征图通过分类器以得到分类损失函数值；S280，计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；S290，计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；以及，S300，计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练。
特别地，在本申请的技术方案中，对于所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型得到的所述多个图像块检测特征向量，由于每个图像块检测特征向量的特征分布都是对应于所述检测图像的整体特征的局部特征分布，因此期望提升所述多个图像块检测特征向量之间的局部分布关联度，以提升所述多个图像块检测特征向量进行二维排列得到的所述检测图像全局特征矩阵的整体特征表达能力，从而进一步最终得到的所述差分特征图的分类结果准确性。
通常，可以通过对每个检测图像块特征向量设置权重来解决，但是，由于权重需要作为超参数通过训练得到，这将增加模型的训练负担。因此，本申请的申请人引入了针对所述多个检测图像块特征向量的多分布二元分类质量损失函数，表示为：
其中，Vc1到Vcn是各个检测图像块特征向量，Vcr是参考向量，优选地设置为所有检测图像块特征向量的均值特征向量，且表示特征向量的分类结果，||·||1表示向量的1范数。
这里，为了避免每个检测图像块特征向量在二维排列之后在相应的多分布分类域内由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别区域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，可以预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述检测图像全局特征矩阵的整体特征表达能力，从而提升最终得到的所述差分特征图的分类结果准确性。
同时，在本申请的技术方案中，对于所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第一卷积神经网络模型得到的所述多个图像块参考特征向量，由于每个图像块参考特征向量的特征分布都是对应于所述参考图像的整体特征的局部特征分布，因此期望提升所述多个图像块参考特征向量之间的局部分布关联度，以提升所述多个图像块参考特征向量进行二维排列得到的所述参考图像全局特征矩阵的整体特征表达能力，从而进一步最终得到的所述差分特征图的分类结果准确性。
通常，可以通过对每个参考图像块特征向量设置权重来解决，但是，由于权重需要作为超参数通过训练得到，这将增加模型的训练负担。因此，本申请的申请人引入了针对所述多个参考图像块特征向量的多分布二元分类质量损失函数，表示为：
其中，Vr1到Vrn是各个参考图像块特征向量，Vrr是参考向量，优选地设置为所有参考图像块特征向量的均值特征向量，且表示特征向量的分类结果，||·||1表示向量的1范数。
这里，为了避免每个参考图像块特征向量在二维排列之后在相应的多分布分类域内由于各个局部特征分布对应的决策边界的过度碎片化而使得向着目标类别区域的收敛困难，通过对于每个局部特征分布的基于预定标签的二元分类的全局偏移类概率信息取平均的方式，可以预测每个局部特征分布相对于全局特征分布的连续性质量因数以作为损失函数。这样，通过以此对模型进行训练，就可以将超参数在训练中的优化从反向传播转换为基于多二元分类的分类问题，并改进所述参考图像全局特征矩阵的整体特征表达能力，从而提升最终得到的所述差分特征图的分类结果准确性。
值得一提的是，在本申请的深度网络模型的训练过程中，最终的损失函数值为和分类损失函数值的加权和。
具体地，在本申请实施例中，所述计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练，包括：以如下公式来计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值；其中，所述公式为：
其中，为所述损失函数值，/>为所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值，/>为所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值，/>为所述分类损失函数值，/>表示加法，α、β和γ为用于控制所述损失函数值中所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值之间的平衡的加权参数。
综上，基于本申请实施例的钟形壳锻面齿的精锻方法被阐明，其将精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像分别通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像分别映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据来判断钟形壳锻面齿的精锻质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断钟形壳锻面齿的精锻质量是否符合预定标准的智能制造方案。
示例性系统
图5为根据本申请实施例的钟形壳锻面齿的精锻系统的框图。如图5所示，根据本申请实施例的钟形壳锻面齿的精锻系统100，包括：图像获取单元110，用于获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；分块单元120，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；检测图像编码单元130，用于将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；参考图像编码单元140，用于将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；全局编码单元150，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；差分单元160，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及，校验结果生成单元170，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准。
在一个示例中，在上述钟形壳锻面齿的精锻系统100中，还包括用于对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练的训练模块200。
图6为根据本申请实施例的钟形壳锻面齿的精锻系统中训练模块的框图。如图6所示，所述训练模块200，包括：训练图像获取单元210，用于获取精锻后的钟形壳锻面齿的训练检测图像和精锻质量符合预定要求的钟形壳锻面齿的训练参考图像，以及，训练检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的真实值；训练分块单元220，用于对所述训练检测图像和所述训练参考图像分别进行图像分块处理以得到训练检测图像块序列和训练参考图像块序列；训练检测图像编码单元230，用于将所述训练检测图像块序列分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练图像块检测特征向量；训练参考图像编码单元240，用于将所述训练参考图像块序列分别通过所述作为过滤器的第二卷积神经网络模型以得到多个训练图像块参考特征向量；训练全局编码单元250，用于将所述多个训练图像块检测特征向量和所述多个训练图像块参考特征向量分别排列为训练检测图像全局特征矩阵和训练参考图像全局特征矩阵后通过所述包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练检测特征图和训练参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；训练差分单元260，用于计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；分类损失单元270，用于将所述训练差分特征图通过分类器以得到分类损失函数值；第一多分布二元分类质量损失单元280，用于计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；第二多分布二元分类质量损失单元290，用于计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；以及，训练单元300，用于计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练。
这里，本领域技术人员可以理解，上述钟形壳锻面齿的精锻系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的钟形壳锻面齿的精锻方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的钟形壳锻面齿的精锻系统100可以实现在各种终端设备中，例如用于钟形壳锻面齿的精锻的服务器等。在一个示例中，根据本申请实施例的钟形壳锻面齿的精锻系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该钟形壳锻面齿的精锻系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该钟形壳锻面齿的精锻系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该钟形壳锻面齿的精锻系统100与该终端设备也可以是分立的设备，并且该钟形壳锻面齿的精锻系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

Claims (8)

1.一种钟形壳锻面齿的精锻方法，其特征在于，包括：
获取精锻后的钟形壳锻面齿的检测图像和精锻质量符合预定要求的钟形壳锻面齿的参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准；
其中，还包括训练步骤：对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练；
所述训练步骤，包括：
获取精锻后的钟形壳锻面齿的训练检测图像和精锻质量符合预定要求的钟形壳锻面齿的训练参考图像，以及，训练检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准的真实值；
对所述训练检测图像和所述训练参考图像分别进行图像分块处理以得到训练检测图像块序列和训练参考图像块序列；
将所述训练检测图像块序列分别通过所述作为过滤器的第一卷积神经网络模型以得到多个训练图像块检测特征向量；
将所述训练参考图像块序列分别通过所述作为过滤器的第二卷积神经网络模型以得到多个训练图像块参考特征向量；
将所述多个训练图像块检测特征向量和所述多个训练图像块参考特征向量分别排列为训练检测图像全局特征矩阵和训练参考图像全局特征矩阵后通过所述包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练检测特征图和训练参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；
将所述训练差分特征图通过分类器以得到分类损失函数值；
计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；
计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；以及
计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练；
其中，所述计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值，包括：
以如下公式计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值；
其中，所述公式为：
其中，Vc1到Vcn是各个训练图像块检测特征向量，Vcr是参考向量，且表示特征向量的分类结果，/>是所述多个检测图像块特征向量的多分布二元分类质量损失函数值，||·||1表示向量的1范数，log表示以2为底的对数函数；
所述计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值，包括：
以如下公式计算所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值；
其中，所述公式为：
其中，Vr1到Vrn是各个训练图像块参考特征向量，Vrr是参考向量，且表示特征向量的分类结果，/>是所述多个参考图像块特征向量的多分布二元分类质量损失函数值，||·||1表示向量的1范数，log表示以2为底的对数函数；
所述计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值来对所述第一卷积神经网络模型、所述第二卷积神经网络模型、所述孪生网络模型和所述分类器进行训练，包括：
以如下公式来计算所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值的加权和作为损失函数值；
其中，所述公式为：
其中，为所述损失函数值，/>为所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值，/>为所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值，/>为所述分类损失函数值，“⊕”表示加法，α、β和γ为用于控制所述损失函数值中所述多个训练图像块检测特征向量的多分布二元分类质量损失函数值、所述多个训练图像块参考特征向量的多分布二元分类质量损失函数值和所述分类损失函数值之间的平衡的加权参数。
2.根据权利要求1所述的钟形壳锻面齿的精锻方法，其特征在于，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：
对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
3.根据权利要求2所述的钟形壳锻面齿的精锻方法，其特征在于，所述将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
4.根据权利要求3所述的钟形壳锻面齿的精锻方法，其特征在于，所述将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：
使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
5.根据权利要求4所述的钟形壳锻面齿的精锻方法，其特征在于，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
6.根据权利要求5所述的钟形壳锻面齿的精锻方法，其特征在于，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：
使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及
使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
7.根据权利要求6所述的钟形壳锻面齿的精锻方法，其特征在于，所述使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：
使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及
使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
8.根据权利要求7所述的钟形壳锻面齿的精锻方法，其特征在于，所述将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测图像中的钟形壳锻面齿的精锻质量是否符合预定标准，包括：
使用所述分类器以如下公式对所述差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
CN202211437242.8A 2022-11-17 2022-11-17 钟形壳锻面齿的精锻方法 Active CN116128798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211437242.8A CN116128798B (zh) 2022-11-17 2022-11-17 钟形壳锻面齿的精锻方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211437242.8A CN116128798B (zh) 2022-11-17 2022-11-17 钟形壳锻面齿的精锻方法

Publications (2)

Publication Number Publication Date
CN116128798A CN116128798A (zh) 2023-05-16
CN116128798B true CN116128798B (zh) 2024-02-27

Family

ID=86298148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211437242.8A Active CN116128798B (zh) 2022-11-17 2022-11-17 钟形壳锻面齿的精锻方法

Country Status (1)

Country Link
CN (1) CN116128798B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN110288013A (zh) * 2019-06-20 2019-09-27 杭州电子科技大学 一种基于block分割和多重输入孪生卷积神经网络的缺陷标签识别方法
CN112712546A (zh) * 2020-12-21 2021-04-27 吉林大学 一种基于孪生神经网络的目标跟踪方法
EP3905107A1 (en) * 2020-04-29 2021-11-03 Robert Bosch GmbH Computer-implemented method for 3d localization of an object based on image data and depth data
CN114170184A (zh) * 2021-12-08 2022-03-11 四川启睿克科技有限公司 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN114399678A (zh) * 2021-12-27 2022-04-26 上海利淘豪斯机器人有限公司 一种差分孪生网络变电站图像异同检测方法
CN114730463A (zh) * 2019-11-22 2022-07-08 豪夫迈·罗氏有限公司 用于组织图像分类的多实例学习器
CN115205196A (zh) * 2022-04-29 2022-10-18 天津大学 基于孪生网络与特征融合的无参考图像质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US11915500B2 (en) * 2021-01-28 2024-02-27 Salesforce, Inc. Neural network based scene text recognition

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN110288013A (zh) * 2019-06-20 2019-09-27 杭州电子科技大学 一种基于block分割和多重输入孪生卷积神经网络的缺陷标签识别方法
CN114730463A (zh) * 2019-11-22 2022-07-08 豪夫迈·罗氏有限公司 用于组织图像分类的多实例学习器
EP3905107A1 (en) * 2020-04-29 2021-11-03 Robert Bosch GmbH Computer-implemented method for 3d localization of an object based on image data and depth data
CN112712546A (zh) * 2020-12-21 2021-04-27 吉林大学 一种基于孪生神经网络的目标跟踪方法
CN114170184A (zh) * 2021-12-08 2022-03-11 四川启睿克科技有限公司 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN114399678A (zh) * 2021-12-27 2022-04-26 上海利淘豪斯机器人有限公司 一种差分孪生网络变电站图像异同检测方法
CN115205196A (zh) * 2022-04-29 2022-10-18 天津大学 基于孪生网络与特征融合的无参考图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字孪生与深度学习技术的制造加工设备智能化方法研究;王安邦;孙文彬;段国林;;工程设计学报(06);46-54 *

Also Published As

Publication number Publication date
CN116128798A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN111079780B (zh) 空间图卷积网络的训练方法、电子设备及存储介质
CN103778598B (zh) 视差图改善方法和装置
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN111160481B (zh) 基于深度学习的adas目标检测方法及系统
CN111988614A (zh) 哈希编码优化方法、设备及可读存储介质
CN113591823B (zh) 深度预测模型的训练及人脸深度图像的生成方法、装置
CN115937571A (zh) 车用玻璃球面度检测装置及其检测方法
CN110706270A (zh) 一种基于卷积神经网络的自适应场景双目立体匹配方法
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN113283485A (zh) 目标检测方法及其模型的训练方法和相关装置及介质
CN114299567B (zh) 模型训练、活体检测方法、电子设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN111046893A (zh) 图像相似性确定方法和装置、图像处理方法和装置
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN113436223B (zh) 点云数据的分割方法、装置、计算机设备和存储介质
CN114973031A (zh) 一种无人机视角下的可见光-热红外图像目标检测方法
CN116128798B (zh) 钟形壳锻面齿的精锻方法
CN110826614A (zh) 一种构造逆标签及其损失函数的方法
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN115018710A (zh) 一种基于fpfh特征和深度神经网络的点云超分辨率方法
CN111161280B (zh) 一种基于神经网络的轮廓演化分割方法
CN114067224A (zh) 一种基于多传感器数据融合的无人机集群目标数量检测方法
KR101972095B1 (ko) 물체탐지 성능 향상용 인공물체 추가 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant