CN115359300B - 风力发电机部件智能化加工制造系统及其制造方法 - Google Patents

风力发电机部件智能化加工制造系统及其制造方法 Download PDF

Info

Publication number
CN115359300B
CN115359300B CN202211054462.2A CN202211054462A CN115359300B CN 115359300 B CN115359300 B CN 115359300B CN 202211054462 A CN202211054462 A CN 202211054462A CN 115359300 B CN115359300 B CN 115359300B
Authority
CN
China
Prior art keywords
feature
forming
internal
global
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211054462.2A
Other languages
English (en)
Other versions
CN115359300A (zh
Inventor
王亚飞
高鹏飞
杨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Demak Zhejiang Seiko Technology Co ltd
Original Assignee
Demak Changxing Precision Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Demak Changxing Precision Machinery Co ltd filed Critical Demak Changxing Precision Machinery Co ltd
Priority to CN202211054462.2A priority Critical patent/CN115359300B/zh
Publication of CN115359300A publication Critical patent/CN115359300A/zh
Application granted granted Critical
Publication of CN115359300B publication Critical patent/CN115359300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能制造的领域，其具体地公开了一种风力发电机部件智能化加工制造系统及其制造方法，其通过采用基于深度学习的卷积神经网络模型来作为特征提取器，利用加工成型的风力发电机部件的多个内部和外部视角图像的高维隐含特征之间的相似度和差异性的关联特征来对于所述加工成型的风力发电机部件的成型质量进行检测判断，以保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。

Description

风力发电机部件智能化加工制造系统及其制造方法
技术领域
本发明涉及智能制造的领域，且更为具体地，涉及一种风力发电机部件智能化加工制造系统及其制造方法。
背景技术
风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机一般有风轮、发电机(包括装置)、调向器(尾翼)、塔架、限速安全机构和储能装置等构件组成。风力发电机的工作原理比较简单，风轮在风力的作用下旋转，它把风的动能转变为风轮轴的机械能，发电机在风轮轴的带动下旋转发电。广义地说，风能也是太阳能，所以也可以说风力发电机，是一种以太阳为热源，以大气为工作介质的热能利用发电机。
在风力发电机的中箱体的智能化加工产线中，最后一道产线是对所生产出来的产品进行质检，以一方面确定所产生的中箱体的成型质量是否满足预定要求，另一方面，也通过成型质量的检测从侧面来对生产设备的性能进行检测，例如，确定生产设备是否存在故障或者性能是否满足预定要求。
传统的成型质量检测需要通过一系列检测设备来测量各种数据，例如，长度、表面粗糙度、硬度等，不仅成本耗费多，且在搬运产品的过程中还有可能造成不必要的破坏，例如发生碰撞等。
因此，期待一种优化的用于风力发电机部件的成型质量检测系统，以对于加工成型的产品质量进行检测，进而保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种风力发电机部件智能化加工制造系统及其制造方法，其通过采用基于深度学习的卷积神经网络模型来作为特征提取器，利用加工成型的风力发电机部件的多个内部和外部视角图像的高维隐含特征之间的相似度和差异性的关联特征来对于所述加工成型的风力发电机部件的成型质量进行检测判断，以保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
根据本申请的一个方面，提供了一种风力发电机部件智能化加工制造系统，其包括：
成型面数据采集模块，用于获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；
内成型面单独编码模块，用于将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；
内成型面关联编码模块，用于将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；
外成型面单独编码模块，用于将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；
外成型面关联编码模块，用于将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；
第一特征值校正模块，用于基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；
第二特征值校正模块，用于基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；
内外成型面差异特征化模块，用于计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及
成型质量评估结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
在上述风力发电机部件智能化加工制造系统中，所述内成型面单独编码模块，进一步用于：所述使用空间注意力机制的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个内部成型特征矩阵。
在上述风力发电机部件智能化加工制造系统中，所述内成型面关联编码模块，进一步用于：所述作为过滤器的第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述内部成型全局特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述三维输入张量。
在上述风力发电机部件智能化加工制造系统中，所述外成型面单独编码模块，进一步用于：所述使用空间注意力机制的第三卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第三卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个外部成型特征矩阵。
在上述风力发电机部件智能化加工制造系统中，所述外成型面关联编码模块，进一步用于：所述作为过滤器的第四卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第四卷积神经网络的最后一层的输出为所述外部成型全局特征向量，所述作为过滤器的第四卷积神经网络的第一层的输入为所述三维输入张量。
在上述风力发电机部件智能化加工制造系统中，所述第一特征值校正模块，进一步用于：基于所述外部成型全局特征向量，以如下公式对所述内部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后内部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000041
其中f1i表示所述内部成型全局特征向量的第i个位置的特征值，且f1j表示所述内部成型全局特征向量的第j个位置的特征值，d(f1i,f1j)表示所述特征值f1i和所述特征值f1j之间的距离，ρ表示用于搜索空间对比控制的超参数。
在上述风力发电机部件智能化加工制造系统中，所述第二特征值校正模块，进一步用于：基于所述内部成型全局特征向量，以如下公式对所述外部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后外部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000042
其中f2i表示所述外部成型全局特征向量的第i个位置的特征值，且f2j表示所述外部成型全局特征向量的第j个位置的特征值，d(f2i,f2j)表示所述特征值f2i和所述特征值f2j之间的距离，ρ表示用于搜索空间对比控制的超参数。
在上述风力发电机部件智能化加工制造系统中，所述内外成型面差异特征化模块，进一步用于：以如下公式计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为所述分类特征矩阵；
其中，所述公式为：
M＝V1*V2
其中V1表示所述校正后内部成型全局特征向量，M表示所述分类特征矩阵，V2表示所述校正后外部成型全局特征向量。
在上述风力发电机部件智能化加工制造系统中，所述风力发电机部件为风力发电机的中箱体。
根据本申请的另一方面，一种风力发电机部件智能化加工制造方法，其包括：
获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；
将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；
将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；
将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；
将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；
基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；
基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；
计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
在上述风力发电机部件智能化加工制造方法中，将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵，包括：所述使用空间注意力机制的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个内部成型特征矩阵。
在上述风力发电机部件智能化加工制造方法中，将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量，包括：所述作为过滤器的第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述内部成型全局特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述三维输入张量。
在上述风力发电机部件智能化加工制造方法中，将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵，包括：所述使用空间注意力机制的第三卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第三卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个外部成型特征矩阵。
在上述风力发电机部件智能化加工制造方法中，将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量，包括：所述作为过滤器的第四卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第四卷积神经网络的最后一层的输出为所述外部成型全局特征向量，所述作为过滤器的第四卷积神经网络的第一层的输入为所述三维输入张量。
在上述风力发电机部件智能化加工制造方法中，基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量，包括：基于所述外部成型全局特征向量，以如下公式对所述内部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后内部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000071
其中f1i表示所述内部成型全局特征向量的第i个位置的特征值，且f1j表示所述内部成型全局特征向量的第j个位置的特征值，d(f1i,f1j)表示所述特征值f1i和所述特征值f1j之间的距离，ρ表示用于搜索空间对比控制的超参数。在上述风力发电机部件智能化加工制造方法中，基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量，包括：基于所述内部成型全局特征向量，以如下公式对所述外部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后外部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000072
其中f2i表示所述外部成型全局特征向量的第i个位置的特征值，且f2j表示所述外部成型全局特征向量的第j个位置的特征值，d(f2i,f2j)表示所述特征值f2i和所述特征值f2j之间的距离，ρ表示用于搜索空间对比控制的超参数。
在上述风力发电机部件智能化加工制造方法中，计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵，包括：以如下公式计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为所述分类特征矩阵；
其中，所述公式为：
M＝V1*V2
其中V1表示所述校正后内部成型全局特征向量，M表示所述分类特征矩阵，V2表示所述校正后外部成型全局特征向量。
在上述风力发电机部件智能化加工制造方法中，所述风力发电机部件为风力发电机的中箱体。
与现有技术相比，本申请提供的风力发电机部件智能化加工制造系统及其制造方法，其通过采用基于深度学习的卷积神经网络模型来作为特征提取器，利用加工成型的风力发电机部件的多个内部和外部视角图像的高维隐含特征之间的相似度和差异性的关联特征来对于所述加工成型的风力发电机部件的成型质量进行检测判断，以保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的风力发电机部件智能化加工制造系统的应用场景图。
图2为根据本申请实施例的风力发电机部件智能化加工制造系统的框图。
图3为根据本申请实施例的风力发电机部件智能化加工制造方法的流程图。
图4为根据本申请实施例的风力发电机部件智能化加工制造方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机一般有风轮、发电机(包括装置)、调向器(尾翼)、塔架、限速安全机构和储能装置等构件组成。风力发电机的工作原理比较简单，风轮在风力的作用下旋转，它把风的动能转变为风轮轴的机械能，发电机在风轮轴的带动下旋转发电。广义地说，风能也是太阳能，所以也可以说风力发电机，是一种以太阳为热源，以大气为工作介质的热能利用发电机。
在风力发电机的中箱体的智能化加工产线中，最后一道产线是对所生产出来的产品进行质检，以一方面确定所产生的中箱体的成型质量是否满足预定要求，另一方面，也通过成型质量的检测从侧面来对生产设备的性能进行检测，例如，确定生产设备是否存在故障或者性能是否满足预定要求。
传统的成型质量检测需要通过一系列检测设备来测量各种数据，例如，长度、表面粗糙度、硬度等，不仅成本耗费多，且在搬运产品的过程中还有可能造成不必要的破坏，例如发生碰撞等。
因此，期待一种优化的用于风力发电机部件的成型质量检测系统，以对于加工成型的产品质量进行检测，进而保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为风力发电机部件的成型质量检测提供了新的解决思路和方案。
基于此，本申请发明人期望基于深度神经网络模型来作为特征提取器，通过成型后的产品的各个表面图像来判断产品质量是否满足要求。这本质上是一个分类的问题，也就是，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，因此，使用加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像作为输入数据，利用深度神经网络模型来进行高维的隐含关联特征提取后通过分类器进分类，就能够对于加工成型的风力发电机部件的成型质量进行检测。
具体地，在本申请的技术方案中，首先，通过相机采集加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像。这里，所述风力发电机部件为风力发电机的中箱体。然后，将得到所述加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像输入在隐含关联特征提取方面具有优异表现的卷积神经网络模型中进行特征提取，但是，考虑到所述加工成型的风力发电机部件的各个视角图像在空间上具有着特殊的关联关系。因此，为了能够充分地利用这种隐含关联特征来进行质量检测，使用空间注意力机制的卷积神经网络模型来分别对所述多个内部视角图像中各个内部视角图像和所述多个外部视角图像中各个外部视角图像进行空间的隐含关联特征挖掘，以得到多个内部成型特征矩阵和多个外部成型特征矩阵。
进一步地，由于在各个视角所拍摄的所述多个内部视角图像和所述多个外部视角图像中，各个视角的图像都有着隐含的关联性特征，也就是，如果所述加工成型的风力发电机部件的成型质量满足要求，在各个成型面的高维隐含特征具有关联性，例如相似度和差异性。因此，在本申请的技术方案中，进一步将所述多个内部成型特征矩阵和所述多个外部成型特征矩阵分别排列为三维输入张量后通过作为过滤器的卷积神经网络中进行处理，以提取出所述多个内部视角图像的深层关联特征以及所述多个外部视角图像的深层关联特征，以更聚焦于所述加工成型的风力发电机部件的成型质量的本质特征信息，从而得到内部成型全局特征向量和外部成型全局特征向量。
应可以理解，针对所述内部成型全局特征向量和所述外部成型全局特征向量，由于视角间特征的关联表示在通过过滤器进行提取时，每个过滤器所获取的特征相对独立，从而使得特征分布缺乏连续性，也就是，所述内部成型全局特征向量和所述外部成型全局特征向量作为分布式表示向量存在各位置之间的各向异性，使得其向量表示驻留在整个高维特征空间的一个狭窄子集中，这导致成型转移矩阵作为分类特征矩阵的分类问题的解空间由于缺乏连续性而退化，因此，对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化来进行优化，表示为：
Figure BDA0003825004710000101
其中fi是所述内部成型全局特征向量或者所述外部成型全局特征向量的每个位置的特征值，且fj是所述内部成型全局特征向量或者所述外部成型全局特征向量的该位置以外的其它位置的特征值，d(fi,fj)表示所述特征值fi和所述特征值fj之间的距离，ρ作为用于搜索空间对比控制的超参数，初始值可以设置为特征向量的特征值集合的标准差。
这样，通过对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化，可以将所述内部成型全局特征向量和所述外部成型全局特征向量的特征值分布迁移到各向同性且有区分度的表示空间，以增强其特征表示的分布连续性，从而优化作为分类特征矩阵的成型转移矩阵的分类准确性，进而提高分类的准确性。
进一步地，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，这可通过成型转移矩阵来表示。因此，计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵来进行分类，就能够获得用于表示加工成型的风力发电机部件的成型质量是否满足预定标准的分类结果。
基于此，本申请提出了一种风力发电机部件智能化加工制造系统，其包括：成型面数据采集模块，用于获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；内成型面单独编码模块，用于将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；内成型面关联编码模块，用于将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；外成型面单独编码模块，用于将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；外成型面关联编码模块，用于将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；第一特征值校正模块，用于基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；第二特征值校正模块，用于基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；内外成型面差异特征化模块，用于计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及，成型质量评估结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
图1图示了根据本申请实施例的风力发电机部件智能化加工制造系统的应用场景图。如图1所示，在该应用场景中，首先，通过相机(例如，如图1中所示意的C)采集加工成型的风力发电机部件(例如，如图1中所示意的T)的多个内部视角图像和多个外部视角图像。然后，将获取的所述加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像输入至部署有风力发电机部件智能化加工制造算法的服务器(例如，如图1中所示意的服务器S)中，其中，所述服务器能够以风力发电机部件智能化加工制造算法对所述加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像进行处理，以生成用于表示所述加工成型的风力发电机部件的成型质量是否满足预定标准的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的风力发电机部件智能化加工制造系统的框图。如图2所示，根据本申请实施例的风力发电机部件智能化加工制造系统200，包括：成型面数据采集模块210，用于获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；内成型面单独编码模块220，用于将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；内成型面关联编码模块230，用于将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；外成型面单独编码模块240，用于将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；外成型面关联编码模块250，用于将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；第一特征值校正模块260，用于基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；第二特征值校正模块270，用于基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；内外成型面差异特征化模块280，用于计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及，成型质量评估结果生成模块290，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
具体地，在本申请实施例中，所述成型面数据采集模块210、所述内成型面单独编码模块220和所述内成型面关联编码模块230，用于获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像，并将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵，再将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量。如前所述，在本申请的技术方案中，期望基于深度神经网络模型来作为特征提取器，通过成型后的产品的各个表面图像来判断产品质量是否满足要求。这本质上是一个分类的问题，也就是，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，因此，在本申请的技术方案中，使用加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像作为输入数据，利用深度神经网络模型来进行高维的隐含关联特征提取后通过分类器进分类，就能够对于加工成型的风力发电机部件的成型质量进行检测。
也就是，具体地，在本申请的技术方案中，首先，通过相机采集加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像。这里，所述风力发电机部件为风力发电机的中箱体。然后，将得到所述加工成型的风力发电机部件的多个内部视角图像输入在隐含关联特征提取方面具有优异表现的卷积神经网络模型中进行特征提取，但是，考虑到所述加工成型的风力发电机部件的各个视角图像在空间上具有着特殊的关联关系。因此，为了能够充分地利用这种隐含关联特征来进行质量检测，使用空间注意力机制的卷积神经网络模型来分别对所述多个内部视角图像中各个内部视角图像进行空间的隐含关联特征挖掘，以得到多个内部成型特征矩阵。
进一步地，由于在各个视角所拍摄的所述多个内部视角图像中，各个视角的图像都有着隐含的关联性特征，也就是，如果所述加工成型的风力发电机部件的成型质量满足要求，在各个成型面的高维隐含特征具有关联性，例如相似度和差异性。因此，在本申请的技术方案中，进一步将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的卷积神经网络中进行处理，以提取出所述多个内部视角图像的深层关联特征，以更聚焦于所述加工成型的风力发电机部件的成型质量的本质特征信息，从而得到内部成型全局特征向量。
更具体地，在本申请实施例中，所述内成型面单独编码模块，进一步用于：所述使用空间注意力机制的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个内部成型特征矩阵。
更具体地，在本申请实施例中，所述内成型面关联编码模块，进一步用于：所述作为过滤器的第二卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述内部成型全局特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述三维输入张量。
具体地，在本申请实施例中，所述外成型面单独编码模块240和所述外成型面关联编码模块250，用于将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵，并将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量。也就是，在本申请的技术方案中，同样地，进一步将得到所述加工成型的风力发电机部件的多个外部视角图像输入在隐含关联特征提取方面具有优异表现的卷积神经网络模型中进行特征提取，但是，考虑到所述加工成型的风力发电机部件的各个视角图像在空间上具有着特殊的关联关系。因此，为了能够充分地利用这种隐含关联特征来进行质量检测，使用空间注意力机制的卷积神经网络模型来分别对所述多个外部视角图像中各个外部视角图像进行空间的隐含关联特征挖掘，以得到多个外部成型特征矩阵。
进一步地，由于在各个视角所拍摄的所述多个外部视角图像中，各个视角的图像都有着隐含的关联性特征，也就是，如果所述加工成型的风力发电机部件的成型质量满足要求，在各个成型面的高维隐含特征具有关联性，例如相似度和差异性。因此，在本申请的技术方案中，进一步将所述多个外部成型特征矩阵分别排列为三维输入张量后通过作为过滤器的卷积神经网络中进行处理，以提取出所述多个外部视角图像的深层关联特征，以更聚焦于所述加工成型的风力发电机部件的成型质量的本质特征信息，从而得到外部成型全局特征向量。
更具体地，在本申请实施例中，所述外成型面单独编码模块，进一步用于：所述使用空间注意力机制的第三卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述第三卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个外部成型特征矩阵。
更具体地，在本申请实施例中，所述外成型面关联编码模块，进一步用于：所述作为过滤器的第四卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第四卷积神经网络的最后一层的输出为所述外部成型全局特征向量，所述作为过滤器的第四卷积神经网络的第一层的输入为所述三维输入张量。
具体地，在本申请实施例中，所述第一特征值校正模块260和所述第二特征值校正模块270，用于基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量，并基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量。应可以理解，针对所述内部成型全局特征向量和所述外部成型全局特征向量，由于视角间特征的关联表示在通过过滤器进行提取时，每个过滤器所获取的特征相对独立，从而使得特征分布缺乏连续性，也就是，所述内部成型全局特征向量和所述外部成型全局特征向量作为分布式表示向量存在各位置之间的各向异性，使得其向量表示驻留在整个高维特征空间的一个狭窄子集中，这导致成型转移矩阵作为分类特征矩阵的分类问题的解空间由于缺乏连续性而退化，因此，在本申请的技术方案中，进一步对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化来进行优化。
这样，通过对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化，可以将所述内部成型全局特征向量和所述外部成型全局特征向量的特征值分布迁移到各向同性且有区分度的表示空间，以增强其特征表示的分布连续性，从而优化作为分类特征矩阵的成型转移矩阵的分类准确性，进而提高分类的准确性。
更具体地，在本申请实施例中，所述第一特征值校正模块，进一步用于：基于所述外部成型全局特征向量，以如下公式对所述内部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后内部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000161
其中f1i表示所述内部成型全局特征向量的第i个位置的特征值，且f1j表示所述内部成型全局特征向量的第j个位置的特征值，d(f1i,f1j)表示所述特征值f1i和所述特征值f1j之间的距离，ρ表示用于搜索空间对比控制的超参数，初始值可以设置为特征向量的特征值集合的标准差。
更具体地，在本申请实施例中，所述第二特征值校正模块，进一步用于：基于所述内部成型全局特征向量，以如下公式对所述外部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后外部成型全局特征向量；
其中，所述公式为：
Figure BDA0003825004710000162
其中f2i表示所述外部成型全局特征向量的第i个位置的特征值，且f2j表示所述外部成型全局特征向量的第j个位置的特征值，d(f2i,f2j)表示所述特征值f2i和所述特征值f2j之间的距离，ρ表示用于搜索空间对比控制的超参数，初始值可以设置为特征向量的特征值集合的标准差。
具体地，在本申请实施例中，所述内外成型面差异特征化模块280和所述成型质量评估结果生成模块290，用于计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵，并将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。也就是，在本申请的技术方案中，进一步地，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，这可通过成型转移矩阵来表示。因此，进一步计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵来进行分类，就能够获得用于表示加工成型的风力发电机部件的成型质量是否满足预定标准的分类结果。
更具体地，在本申请实施例中，所述内外成型面差异特征化模块，进一步用于：以如下公式计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为所述分类特征矩阵；
其中，所述公式为：
M＝V1*V2
其中V1表示所述校正后内部成型全局特征向量，M表示所述分类特征矩阵，V2表示所述校正后外部成型全局特征向量。
综上，基于本申请实施例的所述风力发电机部件智能化加工制造系统200被阐明，其通过采用基于深度学习的卷积神经网络模型来作为特征提取器，利用加工成型的风力发电机部件的多个内部和外部视角图像的高维隐含特征之间的相似度和差异性的关联特征来对于所述加工成型的风力发电机部件的成型质量进行检测判断，以保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
如上所述，根据本申请实施例的风力发电机部件智能化加工制造系统200可以实现在各种终端设备中，例如风力发电机部件智能化加工制造算法的服务器等。在一个示例中，根据本申请实施例的风力发电机部件智能化加工制造系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该风力发电机部件智能化加工制造系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该风力发电机部件智能化加工制造系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该风力发电机部件智能化加工制造系统200与该终端设备也可以是分立的设备，并且该风力发电机部件智能化加工制造系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3图示了风力发电机部件智能化加工制造方法的流程图。如图3所示，根据本申请实施例的风力发电机部件智能化加工制造方法，包括步骤：S110，获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；S120，将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；S130，将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；S140，将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；S150，将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；S160，基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；S170，基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；S180，计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及，S190，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
图4图示了根据本申请实施例的风力发电机部件智能化加工制造方法的架构示意图。如图4所示，在所述风力发电机部件智能化加工制造方法的网络架构中，首先，将获得的所述多个内部视角图像中各个内部视角图像(例如，如图4中所示意的P1)分别通过使用空间注意力机制的第一卷积神经网络模型(例如，如图4中所示意的CNN1)以得到多个内部成型特征矩阵(例如，如图4中所示意的MF1)；接着，将所述多个内部成型特征矩阵排列为三维输入张量(例如，如图4中所示意的T1)后通过作为过滤器的第二卷积神经网络(例如，如图4中所示意的CNN2)以得到内部成型全局特征向量(例如，如图4中所示意的VF1)；然后，将所述多个外部视角图像中各个外部视角图像(例如，如图4中所示意的P2)分别通过使用空间注意力机制的第三卷积神经网络模型(例如，如图4中所示意的CNN3)以得到多个外部成型特征矩阵(例如，如图4中所示意的MF2)；接着，将所述多个外部成型特征矩阵排列为三维输入张量(例如，如图4中所示意的T2)后通过作为过滤器的第四卷积神经网络(例如，如图4中所示意的CNN4)以得到外部成型全局特征向量(例如，如图4中所示意的VF2)；然后，基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量(例如，如图4中所示意的V1)；接着，基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量(例如，如图4中所示意的V2)；然后，计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵(例如，如图4中所示意的MF)；以及，最后，将所述分类特征矩阵通过分类器(例如，如图4中所示意的分类器)以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
更具体地，在步骤S110、步骤S120和步骤S130中，获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像，并将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵，再将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量。在本申请的技术方案中，期望基于深度神经网络模型来作为特征提取器，通过成型后的产品的各个表面图像来判断产品质量是否满足要求。这本质上是一个分类的问题，也就是，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，因此，在本申请的技术方案中，使用加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像作为输入数据，利用深度神经网络模型来进行高维的隐含关联特征提取后通过分类器进分类，就能够对于加工成型的风力发电机部件的成型质量进行检测。
也就是，具体地，在本申请的技术方案中，首先，通过相机采集加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像。这里，所述风力发电机部件为风力发电机的中箱体。然后，将得到所述加工成型的风力发电机部件的多个内部视角图像输入在隐含关联特征提取方面具有优异表现的卷积神经网络模型中进行特征提取，但是，考虑到所述加工成型的风力发电机部件的各个视角图像在空间上具有着特殊的关联关系。因此，为了能够充分地利用这种隐含关联特征来进行质量检测，使用空间注意力机制的卷积神经网络模型来分别对所述多个内部视角图像中各个内部视角图像进行空间的隐含关联特征挖掘，以得到多个内部成型特征矩阵。
进一步地，由于在各个视角所拍摄的所述多个内部视角图像中，各个视角的图像都有着隐含的关联性特征，也就是，如果所述加工成型的风力发电机部件的成型质量满足要求，在各个成型面的高维隐含特征具有关联性，例如相似度和差异性。因此，在本申请的技术方案中，进一步将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的卷积神经网络中进行处理，以提取出所述多个内部视角图像的深层关联特征，以更聚焦于所述加工成型的风力发电机部件的成型质量的本质特征信息，从而得到内部成型全局特征向量。
更具体地，在步骤S140和步骤S150中，将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵，并将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量。也就是，在本申请的技术方案中，同样地，进一步将得到所述加工成型的风力发电机部件的多个外部视角图像输入在隐含关联特征提取方面具有优异表现的卷积神经网络模型中进行特征提取，但是，考虑到所述加工成型的风力发电机部件的各个视角图像在空间上具有着特殊的关联关系。因此，为了能够充分地利用这种隐含关联特征来进行质量检测，使用空间注意力机制的卷积神经网络模型来分别对所述多个外部视角图像中各个外部视角图像进行空间的隐含关联特征挖掘，以得到多个外部成型特征矩阵。
进一步地，由于在各个视角所拍摄的所述多个外部视角图像中，各个视角的图像都有着隐含的关联性特征，也就是，如果所述加工成型的风力发电机部件的成型质量满足要求，在各个成型面的高维隐含特征具有关联性，例如相似度和差异性。因此，在本申请的技术方案中，进一步将所述多个外部成型特征矩阵分别排列为三维输入张量后通过作为过滤器的卷积神经网络中进行处理，以提取出所述多个外部视角图像的深层关联特征，以更聚焦于所述加工成型的风力发电机部件的成型质量的本质特征信息，从而得到外部成型全局特征向量。
更具体地，在步骤S160和步骤S170中，基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量，并基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量。应可以理解，针对所述内部成型全局特征向量和所述外部成型全局特征向量，由于视角间特征的关联表示在通过过滤器进行提取时，每个过滤器所获取的特征相对独立，从而使得特征分布缺乏连续性，也就是，所述内部成型全局特征向量和所述外部成型全局特征向量作为分布式表示向量存在各位置之间的各向异性，使得其向量表示驻留在整个高维特征空间的一个狭窄子集中，这导致成型转移矩阵作为分类特征矩阵的分类问题的解空间由于缺乏连续性而退化，因此，在本申请的技术方案中，进一步对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化来进行优化，表示为：
Figure BDA0003825004710000211
其中fi是所述内部成型全局特征向量或者所述外部成型全局特征向量的每个位置的特征值，且fj是所述内部成型全局特征向量或者所述外部成型全局特征向量的该位置以外的其它位置的特征值，d(fi,fj)表示所述特征值fi和所述特征值fj之间的距离，ρ作为用于搜索空间对比控制的超参数，初始值可以设置为特征向量的特征值集合的标准差。
这样，通过对所述内部成型全局特征向量和所述外部成型全局特征向量分别进行对比搜索空间同向化，可以将所述内部成型全局特征向量和所述外部成型全局特征向量的特征值分布迁移到各向同性且有区分度的表示空间，以增强其特征表示的分布连续性，从而优化作为分类特征矩阵的成型转移矩阵的分类准确性，进而提高分类的准确性。
更具体地，在步骤S180和步骤S190中，计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵，并将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。也就是，在本申请的技术方案中，进一步地，考虑到如果成型质量满足要求，在内部成型面的高维隐含特征与外部成型面的高维隐含特征之间的关联表示上(包括相似度和差异性)会得以表征，这可通过成型转移矩阵来表示。因此，进一步计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵来进行分类，就能够获得用于表示加工成型的风力发电机部件的成型质量是否满足预定标准的分类结果。
综上，基于本申请实施例的所述风力发电机部件智能化加工制造方法被阐明，其通过采用基于深度学习的卷积神经网络模型来作为特征提取器，利用加工成型的风力发电机部件的多个内部和外部视角图像的高维隐含特征之间的相似度和差异性的关联特征来对于所述加工成型的风力发电机部件的成型质量进行检测判断，以保证风力发电机的中箱体的成型质量以及风力风电机的工作性能。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种风力发电机部件智能化加工制造系统，其特征在于，包括：
成型面数据采集模块，用于获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；
内成型面单独编码模块，用于将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；
内成型面关联编码模块，用于将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；
外成型面单独编码模块，用于将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；
外成型面关联编码模块，用于将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；
第一特征值校正模块，用于基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；
第二特征值校正模块，用于基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；
内外成型面差异特征化模块，用于计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及
成型质量评估结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
2.根据权利要求1所述的风力发电机部件智能化加工制造系统，其特征在于，所述内成型面单独编码模块，用于：所述使用空间注意力机制的第一卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵按位置点乘以获得特征矩阵；
其中，所述第一卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个内部成型特征矩阵。
3.根据权利要求2所述的风力发电机部件智能化加工制造系统，其特征在于，所述内成型面关联编码模块，用于：所述作为过滤器的第二卷积神经网络的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述内部成型全局特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述三维输入张量。
4.根据权利要求3所述的风力发电机部件智能化加工制造系统，其特征在于，所述外成型面单独编码模块，用于：所述使用空间注意力机制的第三卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵按位置点乘以获得特征矩阵；
其中，所述第三卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个外部成型特征矩阵。
5.根据权利要求4所述的风力发电机部件智能化加工制造系统，其特征在于，所述外成型面关联编码模块，用于：所述作为过滤器的第四卷积神经网络的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的第四卷积神经网络的最后一层的输出为所述外部成型全局特征向量，所述作为过滤器的第四卷积神经网络的第一层的输入为所述三维输入张量。
6.根据权利要求5所述的风力发电机部件智能化加工制造系统，其特征在于，所述第一特征值校正模块，用于：基于所述外部成型全局特征向量，以如下公式对所述内部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后内部成型全局特征向量；
其中，所述公式为：
Figure FDA0004057200560000031
其中f1i表示所述内部成型全局特征向量的第i个位置的特征值，且f1j表示所述内部成型全局特征向量的第j个位置的特征值，d(f1i,f1j)表示所述特征值f1i和所述特征值f1j之间的距离，ρ表示用于搜索空间对比控制的超参数。
7.根据权利要求6所述的风力发电机部件智能化加工制造系统，其特征在于，所述第二特征值校正模块，用于：基于所述内部成型全局特征向量，以如下公式对所述外部成型全局特征向量中各个位置的特征值进行校正以得到所述校正后外部成型全局特征向量；
其中，所述公式为：
Figure FDA0004057200560000041
其中f2i表示所述外部成型全局特征向量的第i个位置的特征值，且f2j表示所述外部成型全局特征向量的第j个位置的特征值，d(f2i,f2j)表示所述特征值f2i和所述特征值f2j之间的距离，ρ表示用于搜索空间对比控制的超参数。
8.根据权利要求7所述的风力发电机部件智能化加工制造系统，其特征在于，所述内外成型面差异特征化模块，用于：以如下公式计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为所述分类特征矩阵；
其中，所述公式为：
M＝V1*V2
其中V1表示所述校正后内部成型全局特征向量，M表示所述分类特征矩阵，V2表示所述校正后外部成型全局特征向量。
9.根据权利要求8所述的风力发电机部件智能化加工制造系统，其特征在于，所述风力发电机部件为风力发电机的中箱体。
10.一种风力发电机部件智能化加工制造方法，其特征在于，包括：
获取由相机采集的加工成型的风力发电机部件的多个内部视角图像和多个外部视角图像；
将所述多个内部视角图像中各个内部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个内部成型特征矩阵；
将所述多个内部成型特征矩阵排列为三维输入张量后通过作为过滤器的第二卷积神经网络以得到内部成型全局特征向量；
将所述多个外部视角图像中各个外部视角图像分别通过使用空间注意力机制的第三卷积神经网络模型以得到多个外部成型特征矩阵；
将所述多个外部成型特征矩阵排列为三维输入张量后通过作为过滤器的第四卷积神经网络以得到外部成型全局特征向量；
基于所述外部成型全局特征向量，对所述内部成型全局特征向量中各个位置的特征值进行校正以得到校正后内部成型全局特征向量；
基于所述内部成型全局特征向量，对所述外部成型全局特征向量中各个位置的特征值进行校正以得到校正后外部成型全局特征向量；
计算所述校正后内部成型全局特征向量相对于所述校正后外部成型全局特征向量的成型转移矩阵作为分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示加工成型的风力发电机部件的成型质量是否满足预定标准。
CN202211054462.2A 2022-08-30 2022-08-30 风力发电机部件智能化加工制造系统及其制造方法 Active CN115359300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211054462.2A CN115359300B (zh) 2022-08-30 2022-08-30 风力发电机部件智能化加工制造系统及其制造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211054462.2A CN115359300B (zh) 2022-08-30 2022-08-30 风力发电机部件智能化加工制造系统及其制造方法

Publications (2)

Publication Number Publication Date
CN115359300A CN115359300A (zh) 2022-11-18
CN115359300B true CN115359300B (zh) 2023-03-31

Family

ID=84004446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211054462.2A Active CN115359300B (zh) 2022-08-30 2022-08-30 风力发电机部件智能化加工制造系统及其制造方法

Country Status (1)

Country Link
CN (1) CN115359300B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030014B (zh) * 2023-01-06 2024-04-09 浙江伟众科技有限公司 空调软硬管的智能化加工方法及其系统
CN116362503B (zh) * 2023-03-30 2023-11-07 国网河南省电力公司安阳供电公司 基于人工智能的电力调节方法及系统
CN116536906B (zh) * 2023-05-11 2023-09-22 杭州探观科技有限公司 一种立体裁剪内裤的成型质量检测方法
CN116597163A (zh) * 2023-05-18 2023-08-15 广东省旭晟半导体股份有限公司 红外光学透镜及其制备方法
CN116744511B (zh) * 2023-05-22 2024-01-05 杭州行至云起科技有限公司 智能调光调色照明系统及其方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108896296A (zh) * 2018-04-18 2018-11-27 北京信息科技大学 一种基于卷积神经网络的风电齿轮箱故障诊断方法
CN109614981B (zh) * 2018-10-17 2023-06-30 东北大学 基于斯皮尔曼等级相关的卷积神经网络的电力系统智能故障检测方法及系统
US11947061B2 (en) * 2019-10-18 2024-04-02 Korea University Research And Business Foundation Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method
CN111458144B (zh) * 2020-03-04 2021-04-27 华北电力大学 一种基于卷积神经网络的风力发电机故障诊断方法
CN112836809A (zh) * 2021-03-22 2021-05-25 济南奔腾时代电力科技有限公司 一种基于差分特征融合的卷积神经网络的设备特性提取方法以及故障预测的方法
CN114048688A (zh) * 2021-12-27 2022-02-15 西安易诺敬业电子科技有限责任公司 一种风力发电机轴承寿命预测方法
CN114519394A (zh) * 2022-02-21 2022-05-20 杭州谣佐科技有限公司 基于路由器的物联网设备的配置方法及其系统

Also Published As

Publication number Publication date
CN115359300A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN115359300B (zh) 风力发电机部件智能化加工制造系统及其制造方法
CN110823574B (zh) 一种基于半监督学习深度对抗网络的故障诊断方法
CN108304864B (zh) 深度对抗度量学习方法及装置
CN112989977B (zh) 一种基于跨模态注意力机制的视听事件定位方法及装置
CN104820696B (zh) 一种基于多标签最小二乘哈希算法的大规模图像检索方法
CN115239515B (zh) 用于机械部件的精密智能化加工制造系统及其制造方法
Sun et al. Feature fusion using locally linear embedding for classification
CN115577248A (zh) 风力发电机组的故障诊断系统及其方法
CN113128591B (zh) 基于自监督学习的旋转鲁棒的点云分类方法
Liu et al. A fault diagnosis method based on transfer convolutional neural networks
CN102915453B (zh) 一种实时反馈更新的车辆检测方法
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN114800229B (zh) 双面双玻表面抛光装置及其抛光方法
CN111428772B (zh) 基于k-近邻自适应投票的光伏系统深度异常检测方法
CN114329031B (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN115600140A (zh) 基于多源数据融合的风机变桨系统故障识别方法及其系统
CN116738339A (zh) 一种小样本电信号多分类深度学习识别检测方法
CN112507778A (zh) 一种基于线特征的改进词袋模型的回环检测方法
Yuan et al. A review of recent advances in ear recognition
CN113009338B (zh) 海上风电变桨电机定子匝间短路故障诊断方法
Miraftabzadeh et al. Data-driven model for PV power generation patterns extraction via unsupervised machine learning methods
Cao et al. A novel method for detection of wind turbine blade imbalance based on multi-variable spectrum imaging and convolutional neural network
CN115723280A (zh) 厚度可调节的聚酰亚胺薄膜的生产设备
Ferreira et al. Intelligent Industrial IoT system for detection of short-circuit failure in windings of wind turbines
CN115456259A (zh) 基于中尺度数据的风电场选址优化系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240115

Address after: 313100 southeast of the intersection of Central Avenue and Changxing Avenue, Taihu street, Changxing County, Huzhou City, Zhejiang Province

Patentee after: Demak (Zhejiang) Seiko technology Co.,Ltd.

Address before: 313100 plant 2, No. 2587, development avenue, Taihu street, Changxing County, Huzhou City, Zhejiang Province

Patentee before: Demak (Changxing) Precision Machinery Co.,Ltd.

TR01 Transfer of patent right