CN113138589A - 工业设备控制方法、电子装置及存储介质 - Google Patents
工业设备控制方法、电子装置及存储介质 Download PDFInfo
- Publication number
- CN113138589A CN113138589A CN202110269634.7A CN202110269634A CN113138589A CN 113138589 A CN113138589 A CN 113138589A CN 202110269634 A CN202110269634 A CN 202110269634A CN 113138589 A CN113138589 A CN 113138589A
- Authority
- CN
- China
- Prior art keywords
- equipment
- defect
- preset
- visual data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000007547 defect Effects 0.000 claims abstract description 162
- 230000000007 visual effect Effects 0.000 claims abstract description 97
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000013135 deep learning Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000001953 sensory effect Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000000306 component Substances 0.000 description 7
- 230000004927 fusion Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32368—Quality control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种工业设备控制方法，包括：获取工业设备的传感数据、视觉数据及设备参数；将传感数据、视觉数据及设备参数转换为单模态特征向量；将单模态特征向量输入设备控制模型，计算设备参数与传感数据和视觉数据的特征之间的相关性系数，形成完成训练的深度学习层；将工业设备实时采集并转换的传感数据、视觉数据及设备参数的单模态特征向量输入深度学习层，计算缺陷概率；判断工业设备生产的产品是否存在预设缺陷类型；存在预设缺陷类型时，根据设备参数与传感数据和视觉数据的单模态特征向量及相关性系数确定跟踪误差，并调整设备参数。本申请还提供一种电子装置和存储介质。本申请基于多模态信息控制工业设备，提高了设备控制的智能化。
Description
技术领域
本申请涉及工业设备管理技术领域，尤其涉及一种工业设备控制方法、电子装置及存储介质。
背景技术
随着工业技术的发展，工业设备的控制系统趋于智能化发展。控制系统通常由上位机和下位机组成，下位机通常采用单片机构成的可编程逻辑控制器，负责实时运动控制，上位机是常用的电脑，负责非实时任务。上位机、下位机和设备核心部件通过现场总线通信，基于设备信息对设备进行控制。然而，设备采集的信息往往不够全面，也无法整合多种类型的信息对设备进行控制，导致控制系统的智能化不足。
发明内容
有鉴于此，有必要提供一种工业设备控制方法、电子装置及存储介质，可以对传感数据、视觉数据及设备参数进行多模态信息融合，并基于多模态信息对工业设备进行控制。
本申请提供一种工业设备控制方法，包括：
获取工业设备生产的产品产生预设缺陷类型时对应的传感数据、视觉数据及设备参数；
将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量；
将所述传感数据、视觉数据及设备参数的单模态特征向量输入所述设备控制模型的深度学习层，并通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，以形成完成训练的深度学习层；
将所述工业设备实时采集并转换的传感数据、视觉数据及设备参数的单模态特征向量输入所述完成训练的深度学习层，计算缺陷概率；
根据计算得到的所述缺陷概率判断所述工业设备生产的产品是否存在所述预设缺陷类型；及
当判定所述工业设备生产的产品存在所述预设缺陷类型时，根据所述传感数据和视觉数据的单模态特征向量与标准单模态特征向量的差值及所述相关性系数确定跟踪误差，并通过迭代学习控制调整所述传感数据和视觉数据相关的设备参数。
可选地，所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量的步骤包括：
在所述嵌入层对所述传感数据进行傅里叶变换以获取传感信号的特征频率和振幅；及
根据所述特征频率和振幅转换所述传感数据的多个单模态特征向量。
可选地，所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量的步骤还包括：
在所述嵌入层采用主成分分析算法对所述视觉数据进行降维，以获取所述视觉数据对应的图像处理特征，从而转换所述视觉数据的单模态特征向量。
可选地，所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量的步骤还包括：
通过所述嵌入层提取所述设备参数的最大值、最小值、平均值或均方值，以将所述设备参数转换为对应的单模态特征向量。
可选地，所述通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，并对所述设备控制模型的深度学习层进行训练的步骤包括：
根据所述传感数据、视觉数据及设备参数的单模态特征向量及对应的预设缺陷类型创建训练集；
根据所述训练集，通过所述多模态隐式对齐的神经网络方法计算所述预设缺陷类型所对应的所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数；及
对所述相关性系数进行归一化处理以得到每个预设缺陷类型所对应的缺陷概率，形成所述完成训练的深度学习层。
可选地，所述通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，并对所述设备控制模型的深度学习层进行训练的步骤还包括：
根据所述工业设备生产已知缺陷类型的产品时的所述传感数据、视觉数据及设备参数的单模态特征向量创建训练集；
将所述训练集输入所述深度学习层，判断所述深度学习层输出的缺陷概率是否与所述已知缺陷类型所对应的预设缺陷概率相同或与所述已知缺陷类型所对应的预设缺陷类型的差值小于预设值；
若判定所述深度学习层输出的缺陷概率与所述已知缺陷类型所对应的预设缺陷概率相同或与所述已知缺陷类型所对应的预设缺陷类型的差值小于预设值，则形成所述完成训练的深度学习层；及
若判定所述深度学习层输出的缺陷概率与所述已知缺陷类型所对应的预设缺陷概率不同或与所述已知缺陷类型所对应的预设缺陷类型的差值大于或等于预设值，继续通过所述训练集对所述深度学习层进行训练，直至形成所述完成训练的深度学习层。
可选地，所述计算缺陷概率的步骤包括：
通过所述完成训练的深度学习层基于输入的所述传感数据、视觉数据及设备参数的单模态特征向量计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数；及
通过softmax函数将所述相关性系数转换为所述缺陷概率。
可选地，所述根据计算得到的所述缺陷概率判断所述工业设备生产的产品是否存在缺陷的步骤包括：
判断计算得到的所述缺陷概率是否与任一预设缺陷类型对应的预设缺陷概率相同或与任一预设缺陷概率的差值小于预设值；
在判定计算得到的所述缺陷概率与所有预设缺陷概率都不同且与所有预设缺陷概率的差值都大于或等于所述预设值时，判定所述工业设备生产的产品不存在所述预设缺陷类型；及
在判定计算得到的所述缺陷概率与至少一预设缺陷概率不同或与至少一预设缺陷概率的差值小于所述预设值时，判定所述工业设备生产的产品存在所述预设缺陷概率所对应的预设缺陷类型。
可选地，对所述确定的设备参数进行调整的步骤包括：
确定与所述传感数据和视觉数据相关的设备参数，通过迭代学习控制调整所述确定的设备参数；
在所述传感数据和视觉数据的单模态特征向量不同于所述标准单模态特征向量时，若所述相关性系数大于或小于零，则对所述确定的设备参数进行反向或正向调整，调整所述设备参数直至所述跟踪误差为零，使得所述工业设备生产的产品不存在缺陷。
本申请还提供一种电子装置，包括：
处理器；以及
存储器，所述存储器中存储有多个程序模块，所述多个程序模块由所述处理器加载并执行上述的工业设备控制方法。
本申请还提供一种计算机可读存储介质，其上存储有至少一条计算机指令，所述指令由处理器并加载执行上述的工业设备控制方法。
上述工业设备控制方法、电子装置及存储介质可以对工业设备的传感数据、视觉数据及设备参数进行多模态信息融合，并基于多模态信息对工业设备进行控制，对工业设备的设备参数进行优化，有效提高了设备控制的智能化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请较佳实施方式提供的工业设备控制方法的应用环境架构示意图。
图2是本申请较佳实施方式提供的设备控制模型的结构示意图。
图3是本申请较佳实施方式提供的工业设备控制方法的流程图。
图4是本申请较佳实施方式提供的工业设备的传感器设置示意图。
图5是本申请较佳实施方式提供的工业设备的视觉数据示意图。
图6是本申请较佳实施方式提供的深度学习层的结构示意图。
图7是本申请较佳实施方式提供的电子装置的结构示意图。
主要元件符号说明
电子装置 1
处理器 10
存储器 20
计算机程序 30
工业设备 2
传感器 201
摄像装置 202
云端服务器 3
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
请参阅图1所示，为本申请较佳实施方式提供的工业设备控制方法的应用环境架构示意图。
本申请中的工业设备控制方法应用在电子装置1中，所述电子装置1与多个工业设备2及云端服务器3通过网络建立通信连接。所述网络可以是有线网络，例如工业总线，也可以是无线网络，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。蜂窝网络可以是4G网络或5G网络。
所述电子装置1可以为安装有工业设备控制程序的电子设备，例如个人电脑、服务器等，其中，所述服务器可以是单一的服务器、服务器集群等。
所述工业设备2可以是工厂中的加工设备，例如数控机床。在一实施方式中，所述工业设备2包括，但不仅限于，传感器201及摄像装置202(如图7所示)。
所述云端服务器3可以是单一的服务器、服务器集群等。
在一实施方式中，本申请通过设备控制模型实现所述工业设备控制方法。请参阅图2所示，所述设备控制模型包括输入层、嵌入层、深度学习层及输出层。
请参阅图3所示，为本申请较佳实施方式提供的工业设备控制方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
S301，获取工业设备2生产的产品产生预设缺陷类型时对应的传感数据、视觉数据及设备参数。
在一实施方式中，从所述工业设备2的历史数据中获取其生产产品的预设缺陷类型对应的传感数据、视觉数据及设备参数。所述传感数据、视觉数据及设备参数用于输入所述设备控制模型的输入层。可选地，所述预设缺陷类型包括四种，例如变形、缺料、毛刺、划伤等。
在一实施方式中，所述工业设备2通过所述传感器201采集所述传感数据，通过所述摄像装置202采集所述视觉数据。所述设备参数为所述工业设备2的控制系统的设备参数，例如，所述工业设备2为数控磨床，所述设备参数可以包括砂轮参数及程序参数。所述砂轮参数可以包括砂轮的直径、法兰、R角等，所述程序参数可以包括端齿长、齿角度、进给量、R角、蝶形角等。
请参阅图4所示，所述工业设备2安装有各种传感器201，在一实施方式中，所述工业设备2在工作台和主轴箱安装有振动传感器，在主轴箱、Y轴、X轴电机座、X轴螺母座、X轴轴承座、Z轴电机座、Z轴螺母座和Z轴轴承座安装有温度传感器，在主轴安装有麦克风传感器，在砂轮主轴安装有声发射传感器。其中，所述工业设备2将上述传感器201侦测到的传感数据通过网络传送至所述电子装置1。在一实施方式中，所述电子装置1为边缘计算装置。
在一实施方式中，所述摄像装置202可以是CCD摄像机。所述摄像装置202垂直于主轴设置，对准加工刀具中心。所述工业设备2控制刀具旋转一周，在刀具旋转的过程中，所述摄像装置202连续拍照成像，以拍摄所述刀具的多个图像。请参阅图5所示，为所述摄像装置202拍摄的所述刀具的其中一个图像。其中，所述工业设备2将所述摄像装置202拍摄的视觉数据，即所述刀具的多个图像，通过网络传送至所述电子装置1。
S302，将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量。
在一实施方式中，通过所述嵌入层提取所述传感数据及视觉数据的特征，以转换为单模态嵌入向量。通过所述嵌入层提取所述设备参数的最大值、最小值、平均值或均方值，以转换为单模态特征向量。
在一实施方式中，通过所述嵌入层提取所述传感数据的特征，以将所述传感数据转换为单模态嵌入向量。具体的，对所述传感数据进行傅里叶变换以获取传感信号的特征频率和振幅，根据所述特征频率和振幅转换得到所述传感数据的多个特征值。在一实施方式中，提取所述传感数据的128个特征值，即获得所述传感数据的128维单模态特征向量。
在一实施方式中，通过所述嵌入层提取所述视觉数据的特征，以将所述视觉数据转换为单模态特征向量。具体的，采用主成分分析算法(Principal Component Analysis,PCA)对所述视觉数据进行降维，以获取所述视觉数据对应的图像处理特征，从而转换得到所述视觉数据的单模态特征向量。
例如，所述视觉数据集为X＝[x1，x2，...，xs]T，取行向量均值E(X)＝0，通过X-E(X)对所述视觉数据集X进行中心归零化处理，然后用矩阵T对X进行降维处理。其中，降维后的数据为：
在一实施方式中，计算降维后数据的各个向量的方差Var(yi)和协方差Cov(yi，yj)，利用方差与协方差的大小获取PCA图像处理特征。当Var(yi)最大时，获取第一主成分；当Var(yi)最大且Cov(yi，yj)时，获取第二主成分。然后，基于上述方法依次获取其他主成分。在一实施方式中，通过主成分分析算法提取所述视觉数据的128个特征值，即获得所述视觉数据的128维单模态特征向量。
在一实施方式中，通过提取砂轮的直径、法兰、R角、端齿长、齿角度、进给量、R角、蝶形角等数值的平均值作为所述设备参数的24维单模态特征向量。
S303，将所述传感数据、视觉数据及设备参数的单模态特征向量输入所述设备控制模型的深度学习层，并通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，以形成完成训练的深度学习层。
在一实施方式中，所述深度学习层通过深度学习模型实现训练。具体的，深度学习模型为深度语义匹配模型(Deep Structured Semantic Models，DSSM)。所述深度语义匹配模型通过多模态隐式对齐的方法计算所述相关性系数。
在一实施方式中，将转换得到的所述传感数据的128维单模态特征向量、所述视觉数据的128维单模态特征向量及所述设备参数的24维单模态特征向量输入所述深度学习层进行训练。
在一实施方式中，根据所述设备参数、所述传感数据和视觉数据的单模态特征向量及对应的预设缺陷类型创建训练集。其中，所述训练集用于对所述深度学习层，即深度语义匹配模型进行训练，所述训练集还用于对训练后的深度语义匹配模型进行验证。在一实施方式中，通过所述训练集对所述深度语义匹配模型进行训练，以生成所述深度语义匹配模型的模型参数，从而形成完成训练的深度学习层。
请参阅图6所示，所述深度学习层包括多层感知机和匹配层。所述多层感知机包括三层隐藏层。在一实施方式中，将所述训练集中的所述传感数据、视觉数据及设备参数的单模态特征向量输入所述深度学习层的多层感知机，在所述深度学习层的匹配层根据所述多层感知机的输出值计算产品的每个预设缺陷类型所对应的所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数。
在一实施方式中，用wi表示第i层的权值矩阵，bi为偏置项，f为激活函数，
则通过以下公式计算各个隐藏层的输出：
l1＝w1x
l2＝f(w2l1+b2)；
y＝f(w3l2+b3)。
其中，x为传感数据、视觉数据或设备参数的单模态特征向量，l1为第一个隐藏层的输出，l2为第二个隐藏层的输出，y为第三个隐藏层的输出。
在一实施方式中，通过多模态隐式对齐的方法计算所述相关性系数，其中Q表示设备参数，D表示传感数据和视觉数据的单模态特征向量，则计算所述相关性系数的公式为：
在一实施方式中，通过softmax函数对所述相关性系数进行归一化处理以得到所述产品的每个预设缺陷类型所对应的缺陷概率。将生产的已知缺陷类型的产品时的训练集输入所述深度语义匹配模型，所述深度语义匹配模型基于所述训练集计算得到每组训练集对应的相关性系数。
具体的，基于softmax函数对每组训练集对应的相关性系数进行归一化处理，得到后验概率。其中，所述后验概率
其中，γ为softmax函数的平滑因子，通过极大似然估计算法计算损失函数
损失函数收敛至最小时的后验概率P(D|Q)为所述深度语义模型中所述已知缺陷类型对应的预设缺陷概率。
在一实施方式中，每个预设缺陷类型对应一预设缺陷概率。将已知缺陷类型的所述训练集输入所述深度语义匹配模型，判断所述深度语义匹配模型输出的缺陷概率是否与所述已知缺陷类型对应的预设缺陷概率相同或与所述已知缺陷类型对应的预设缺陷概率的差值小于预设值。若判定所述深度语义匹配模型输出的缺陷概率与所述已知缺陷类型对应的预设缺陷概率相同或与所述已知缺陷类型对应的预设缺陷概率的差值小于所述预设值，则确定所述深度语义匹配模型完成训练，形成完成训练的深度学习层。若判定所述深度语义匹配模型输出的缺陷概率与所述已知缺陷类型对应的预设缺陷概率不同或与所述已知缺陷类型对应的预设缺陷概率的差值大于或等于预设值，继续通过所述训练集对所述深度语义匹配模型进行训练，直至形成所述完成训练的深度学习层。
S304，将所述工业设备2实时采集并转换的传感数据、视觉数据及设备参数的单模态特征向量输入完成训练的深度学习层，计算缺陷概率。
在一实施方式中，所述电子装置1通过网络接收所述工业设备2实时采集的传感数据、视觉数据及设备参数，并通过S302中的方法将所述传感数据、视觉数据及设备参数转换为对应的单模态特征向量。
在一实施方式中，所述完成训练的深度学习层先基于输入的所述传感数据、视觉数据、设备参数的单模态特征向量计算出所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数R(Q,D)，然后基于计算得到的相关性系数R(Q,D)计算出所述缺陷概率P(D|Q)。在一实施方式中，所述完成训练的深度学习层采用S303中的方法计算所述相关性系数R(Q,D)及所述缺陷概率P(D|Q)。
S305，根据计算得到的所述缺陷概率判断所述工业设备2生产的产品是否存在所述预设缺陷类型。
在一实施方式中，S305包括：判断计算得到的所述缺陷概率是否与任一预设缺陷类型对应的预设缺陷概率相同或与任一预设缺陷概率的差值小于预设值。在判定计算得到的所述缺陷概率与所有预设缺陷概率都不同且与所有预设缺陷概率的差值都大于或等于所述预设值时，判定所述工业设备2生产的产品不存在所述预设缺陷类型。在判定计算得到的所述缺陷概率与至少一预设缺陷概率不同或与至少一预设缺陷概率的差值小于所述预设值时，判定所述工业设备2生产的产品存在所述预设缺陷概率所对应的预设缺陷类型。
例如，在判定计算得到的所述缺陷概率与变形缺陷对应的预设缺陷概率相同或与所述变形缺陷对应的预设缺陷概率的差值小于所述预设值时，判定所述工业设备2生产的产品存在变形缺陷。当判定所述工业设备2生产的产品存在所述预设缺陷类型时，流程进入S306。当判定所述工业设备2生产的产品不存在所述预设缺陷类型时，流程返回S304。
S306，根据所述传感数据和视觉数据的单模态特征向量与标准单模态特征向量的差值及所述相关性系数确定跟踪误差，并通过迭代学习控制调整所述传感数据和视觉数据相关的设备参数。
在一实施方式中，在所述工业设备2生产的产品存在所述预设缺陷类型时，确定与所述传感数据和视觉数据产生异常相关的设备参数。根据所述传感数据和视觉数据的单模态特征向量Dk，与合格产品的传感数据和视觉数据的标准单模态特征向量D的差值及所述相关性系数确定跟踪误差，通过迭代学习控制(iterative learning control)调整与所述传感数据和视觉数据相关的设备参数Q，使得所述工业设备2后续生产的产品不存在预设缺陷类型。在一实施方式中，迭代学习控制的迭代学习率公式为：
Qk+1＝Qk+L*ek。
其中，Qk和ek分别是第k次迭代的输入设备参数Q和跟踪误差，L是学习增益系数。当传感数据和视觉数据的单模态特征向量Dk偏离标准单模态特征向量D时，根据所述传感数据和视觉数据的单模态特征向量Dk与标准单模态特征向量D的差值及所述相关性系数计算所述跟踪误差。具体的，假设相关性系数为R(Qk,Dk)，计算公式跟踪误差的公式为:
在一实施方式中，当(DK-D)>0时，说明传感数据和视觉数据的特征Dk超出所述标准特征D，当R(Q,D)>0时，说明传感数据和视觉数据相关的设备参数Qk也超出标准，此时减小所述设备参数Qk，从而进行反向调整。当R(Q,D)<0时，说明传感数据和视觉数据相关的设备参数Qk低于标准，此时增大所述设备参数，从而进行正向调整。当(DK-D)<0时，说明传感数据和视觉数据的特征Dk小于所述标准特征D，当R(Q,D)>0时，说明传感数据和视觉数据相关的设备参数Qk也小于标准，此时增大所述设备参数Qk，从而进行正向调整。当R(Q,D)<0时，说明传感数据和视觉数据相关的设备参数Qk超出标准，此时减小所述设备参数，从而进行反向调整。
在一实施方式中，通过迭代修正，使得迭代学习率公式中的跟踪误差ek＝0，从而实现参数补偿。
在一实施方式中，S306进一步包括：将调整后的设备参数发送至所述工业设备2，所述工业设备2采用调整后的设备参数对产品进行后续的加工作业，使得所述工业设备2后续生产的产品不存在所述预设缺陷类型。
S307，将所述设备参数的调整结果上传至所述云端服务器3。
在一实施方式中，将所述设备参数的调整结果上传至所述云端服务器3，以实现数据共享，使得其他工厂通过所述云端服务器3获取所述设备参数的调整结果，并基于所述设备参数的调整结果对工业设备进行控制。
在一实施方式中，所述云端服务器3可以整合工业设备的数据、控制模型以及微服务，并向工业云平台开放，平台上的工业APP开发者可基于此，为工业设备的管理者和用户提供APP服务。
本申请提供的工业设备控制方法可以在多模态信息融合时整合工业设备的外置传感器数据和高清视觉数据，有效避免单一数据源造成的信息缺失问题；通过网络使得工业设备之间互相连接，便于数据传输；通过集群式控制使得不同工业设备由电子装置统一管理控制；通过深度神经网络模型智能化检测工业设备的生产状态；通过多模态隐式对齐的方法精确确定及调整造成产品出现缺陷的设备参数；通过智能化的AI控制，减少运维人员工作，便于适应生产环境中的规模化部署。
请参阅图7所示，为本申请较佳实施方式提供的电子装置的结构示意图。
所述电子装置1包括，但不仅限于，处理器10、存储器20及存储在所述存储器20中并可在所述处理器10上运行的计算机程序30。例如，所述计算机程序30为工业设备控制程序。所述处理器10执行所述计算机程序30时实现工业设备控制方法中的步骤，例如图3所示的步骤S301～S307。
示例性的，所述计算机程序30可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序30在所述电子装置1中的执行过程。
本领域技术人员可以理解，所述示意图仅仅是电子装置1的示例，并不构成对电子装置1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器10也可以是任何常规的处理器等，所述处理器10是所述电子装置1的控制中心，利用各种接口和线路连接整个电子装置1的各个部分。
所述存储器20可用于存储所述计算机程序30和/或模块/单元，所述处理器10通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元，以及调用存储在存储器20内的数据，实现所述电子装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子装置1的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括易失性和非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
所述电子装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)。
本申请提供的工业设备控制方法、电子装置及存储介质可以对工业设备的传感数据、视觉数据及设备参数进行多模态信息融合，并基于多模态信息对工业设备进行控制，对工业设备的设备参数进行优化，有效提高了设备控制的智能化。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。
Claims (11)
1.一种工业设备控制方法，其特征在于，所述方法包括：
获取工业设备生产的产品产生预设缺陷类型时对应的传感数据、视觉数据及设备参数；
将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量；
将所述传感数据、视觉数据及设备参数的单模态特征向量输入所述设备控制模型的深度学习层，并通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，以形成完成训练的深度学习层；
将所述工业设备实时采集并转换的传感数据、视觉数据及设备参数的单模态特征向量输入所述完成训练的深度学习层，计算缺陷概率；
根据计算得到的所述缺陷概率判断所述工业设备生产的产品是否存在所述预设缺陷类型；及
当判定所述工业设备生产的产品存在所述预设缺陷类型时，根据所述传感数据和视觉数据的单模态特征向量与标准单模态特征向量的差值及所述相关性系数确定跟踪误差，并通过迭代学习控制调整所述传感数据和视觉数据相关的设备参数。
2.如权利要求1所述的工业设备控制方法，其特征在于：所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量包括：
在所述嵌入层对所述传感数据进行傅里叶变换以获取传感信号的特征频率和振幅；及
根据所述特征频率和振幅转换得到所述传感数据的多个单模态特征向量。
3.如权利要求2所述的工业设备控制方法，其特征在于，所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量的步骤还包括：
在所述嵌入层采用主成分分析算法对所述视觉数据进行降维，以获取所述视觉数据对应的图像处理特征，从而转换所述视觉数据的单模态特征向量。
4.如权利要求3所述的工业设备控制方法，其特征在于，所述将所述传感数据、视觉数据及设备参数通过设备控制模型的嵌入层转换为单模态特征向量的步骤还包括：
通过所述嵌入层提取所述设备参数的最大值、最小值、平均值或均方值，以将所述设备参数转换为对应的单模态特征向量。
5.如权利要求1所述的工业设备控制方法，其特征在于，所述通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，并对所述设备控制模型的深度学习层进行训练的步骤包括：
根据所述传感数据、视觉数据及设备参数的单模态特征向量及对应的所述预设缺陷类型创建训练集；
根据所述训练集，通过所述多模态隐式对齐的神经网络方法计算所述预设缺陷类型所对应的所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数；及
对所述相关性系数进行归一化处理以得到每个预设缺陷类型所对应的缺陷概率，形成所述完成训练的深度学习层。
6.如权利要求5所述的工业设备控制方法，其特征在于，所述通过多模态隐式对齐的神经网络方法计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数，并对所述设备控制模型的深度学习层进行训练的步骤还包括：
根据所述工业设备生产已知缺陷类型的产品时的所述传感数据、视觉数据及设备参数的单模态特征向量创建训练集；
将所述训练集输入所述深度学习层，判断所述深度学习层输出的缺陷概率是否与所述已知缺陷类型所对应的预设缺陷概率相同或与所述已知缺陷类型所对应的预设缺陷类型的差值小于预设值；
若判定所述深度学习层输出的缺陷概率与所述已知缺陷类型所对应的预设缺陷概率相同或与所述已知缺陷类型所对应的预设缺陷类型的差值小于预设值，则形成所述完成训练的深度学习层；及
若判定所述深度学习层输出的缺陷概率与所述已知缺陷类型所对应的预设缺陷概率不同或与所述已知缺陷类型所对应的预设缺陷类型的差值大于或等于预设值，继续通过所述训练集对所述深度学习层进行训练，直至形成所述完成训练的深度学习层。
7.如权利要求6所述的工业设备控制方法，其特征在于，所述计算缺陷概率的步骤包括：
通过所述完成训练的深度学习层基于输入的所述传感数据、视觉数据及设备参数的单模态特征向量计算所述设备参数与所述传感数据和视觉数据的特征之间的相关性系数；及
通过softmax函数将所述相关性系数转换为所述缺陷概率。
8.如权利要求1所述的工业设备控制方法，其特征在于，所述根据计算得到的所述缺陷概率判断所述工业设备生产的产品是否存在缺陷的步骤包括：
判断计算得到的所述缺陷概率是否与任一预设缺陷类型对应的预设缺陷概率相同或与任一预设缺陷概率的差值小于预设值；
在判定计算得到的所述缺陷概率与所有预设缺陷概率都不同且与所有预设缺陷概率的差值都大于或等于所述预设值时，判定所述工业设备生产的产品不存在所述预设缺陷类型；及
在判定计算得到的所述缺陷概率与至少一预设缺陷概率不同或与至少一预设缺陷概率的差值小于所述预设值时，判定所述工业设备生产的产品存在所述预设缺陷概率所对应的预设缺陷类型。
9.如权利要求1所述的工业设备控制方法，其特征在于，对所述确定的设备参数进行调整的步骤包括：
确定与所述传感数据和视觉数据相关的设备参数，通过迭代学习控制调整所述确定的设备参数；
在所述传感数据和视觉数据的单模态特征向量不同于所述标准单模态特征向量时，若所述相关性系数大于或小于零，则对所述确定的设备参数进行反向或正向调整，调整所述设备参数直至所述跟踪误差为零，使得所述工业设备生产的产品不存在缺陷。
10.一种电子装置，其特征在于，所述电子装置包括：
处理器；以及
存储器，所述存储器中存储有多个程序模块，所述多个程序模块由所述处理器加载并执行如权利要求1至9中任一项所述的工业设备控制方法。
11.一种计算机可读存储介质，其上存储有至少一条计算机指令，其特征在于，所述指令由处理器加载并执行如权利要求1至9中任一项所述的工业设备控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110269634.7A CN113138589B (zh) | 2021-03-12 | 2021-03-12 | 工业设备控制方法、电子装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110269634.7A CN113138589B (zh) | 2021-03-12 | 2021-03-12 | 工业设备控制方法、电子装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113138589A true CN113138589A (zh) | 2021-07-20 |
| CN113138589B CN113138589B (zh) | 2022-06-07 |
Family
ID=76811001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110269634.7A Active CN113138589B (zh) | 2021-03-12 | 2021-03-12 | 工业设备控制方法、电子装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113138589B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011263A (zh) * | 2023-08-03 | 2023-11-07 | 东方空间技术(山东)有限公司 | 一种用于火箭子级回收段的缺陷检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108614548A (zh) * | 2018-04-03 | 2018-10-02 | 北京理工大学 | 一种基于多模态融合深度学习的智能故障诊断方法 |
| CN109460794A (zh) * | 2018-11-19 | 2019-03-12 | 广东工业大学 | 一种数据特征提取方法、系统及电子设备和存储介质 |
| CN110458828A (zh) * | 2019-08-12 | 2019-11-15 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
| CN111028204A (zh) * | 2019-11-19 | 2020-04-17 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| CN111689169A (zh) * | 2020-06-05 | 2020-09-22 | 河海大学常州校区 | 一种基于多模态数据融合的传送带异常检测方法 |
| CN111832812A (zh) * | 2020-06-27 | 2020-10-27 | 南通大学 | 一种基于深度学习的风电功率短期预测方法 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112270429A (zh) * | 2020-08-31 | 2021-01-26 | 中国科学院合肥物质科学研究院 | 基于云边协同的动力电池极片制造设备维护方法和系统 |
-
2021
- 2021-03-12 CN CN202110269634.7A patent/CN113138589B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108614548A (zh) * | 2018-04-03 | 2018-10-02 | 北京理工大学 | 一种基于多模态融合深度学习的智能故障诊断方法 |
| CN109460794A (zh) * | 2018-11-19 | 2019-03-12 | 广东工业大学 | 一种数据特征提取方法、系统及电子设备和存储介质 |
| CN110458828A (zh) * | 2019-08-12 | 2019-11-15 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
| CN111028204A (zh) * | 2019-11-19 | 2020-04-17 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| CN111689169A (zh) * | 2020-06-05 | 2020-09-22 | 河海大学常州校区 | 一种基于多模态数据融合的传送带异常检测方法 |
| CN111832812A (zh) * | 2020-06-27 | 2020-10-27 | 南通大学 | 一种基于深度学习的风电功率短期预测方法 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112270429A (zh) * | 2020-08-31 | 2021-01-26 | 中国科学院合肥物质科学研究院 | 基于云边协同的动力电池极片制造设备维护方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张建明 等: "基于全连接卷积神经网络的铸造缩松缩孔缺陷快速预测", 《特种铸造及有色合金》 * |
| 蒲天骄 等: "人工智能技术在电力设备运维检修中的研究及应用", 《高电压技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011263A (zh) * | 2023-08-03 | 2023-11-07 | 东方空间技术(山东)有限公司 | 一种用于火箭子级回收段的缺陷检测方法及装置 |
| CN117011263B (zh) * | 2023-08-03 | 2024-05-10 | 东方空间技术(山东)有限公司 | 一种用于火箭子级回收段的缺陷检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113138589B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741367B2 (en) | Apparatus and method for image processing to calculate likelihood of image of target object detected from input image | |
| CN108734162B (zh) | 商品图像中目标识别方法、系统、设备及存储介质 | |
| WO2020177432A1 (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| JP6943291B2 (ja) | 学習装置、学習方法、及び、プログラム | |
| CN110709862B (zh) | 计算方法决定系统、计算方法决定方法、记录介质 | |
| CN113138589B (zh) | 工业设备控制方法、电子装置及存储介质 | |
| EP3593277A1 (en) | Object detection and representation in images | |
| DE102022106057A1 (de) | Authentifikatorintegriertes generatives adversariales netzwerk (gan) zur sicheren deepfake-erzeugung | |
| Ukwuoma et al. | Image inpainting and classification agent training based on reinforcement learning and generative models with attention mechanism | |
| Yang et al. | Deep learning-based intelligent defect detection of cutting wheels with industrial images in manufacturing | |
| CN117036417A (zh) | 基于时空模板更新的多尺度Transformer目标跟踪方法 | |
| CN115810133A (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| US20230021551A1 (en) | Using training images and scaled training images to train an image segmentation model | |
| CN114820755B (zh) | 一种深度图估计方法及系统 | |
| US9508026B2 (en) | System and a method for camera motion analysis and understanding from a video sequence | |
| Sun et al. | An adaptable automated visual inspection scheme through online learning | |
| US20210192779A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| US20240176337A1 (en) | Industrial quality monitoring system with pre-trained feature extraction | |
| CN117075549B (zh) | 基于人工神经网络的厂务控制方法及系统 | |
| CN114997070B (zh) | 控制图模式识别模型的训练方法及控制图模式识别方法 | |
| JP2020060398A (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
| US20220222846A1 (en) | Information processing apparatus, information processing method, and program | |
| CN113033669B (zh) | 一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法 | |
| Jeong et al. | Deep learning based diagnostics of orbit patterns in rotating machinery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220907 Address after: 518000 floor 2, building B3, Foxconn Industrial Park, No. 2, east ring 2nd Road, Fukang community, Longhua street, Longhua District, Shenzhen, Guangdong Patentee after: Shenzhen Fulian Intelligent Manufacturing Industry Innovation Center Co.,Ltd. Address before: 2 / F, building B3, Foxconn Industrial Park, 2 Donghuan 2nd Road, Longhua street, Longhua District, Shenzhen, Guangdong 518000 Patentee before: Shenzhen zhizaogu industrial Internet Innovation Center Co.,Ltd. |