CN113435794B - 一种基于图像处理的喷嘴铸件后处理智能监测方法 - Google Patents

一种基于图像处理的喷嘴铸件后处理智能监测方法 Download PDF

Info

Publication number
CN113435794B
CN113435794B CN202110984708.5A CN202110984708A CN113435794B CN 113435794 B CN113435794 B CN 113435794B CN 202110984708 A CN202110984708 A CN 202110984708A CN 113435794 B CN113435794 B CN 113435794B
Authority
CN
China
Prior art keywords
operation state
state
real
post
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110984708.5A
Other languages
English (en)
Other versions
CN113435794A (zh
Inventor
张宏博
佟龙
张磊
梁东勋
张玉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Damuzhi Spraying Equipments Co ltd
Original Assignee
Shandong Damuzhi Spraying Equipments Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Damuzhi Spraying Equipments Co ltd filed Critical Shandong Damuzhi Spraying Equipments Co ltd
Priority to CN202110984708.5A priority Critical patent/CN113435794B/zh
Publication of CN113435794A publication Critical patent/CN113435794A/zh
Application granted granted Critical
Publication of CN113435794B publication Critical patent/CN113435794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling

Abstract

本发明涉及人工智能技术领域，提供了一种基于图像处理的喷嘴铸件后处理智能监测方法：在喷嘴铸件后处理过程中，根据实时加工工序当前的多组作业人员操作图像和多组作业设备状态信息，得到实时加工工序当前的作业状态指标；根据实时加工工序当前的作业状态指标、实时加工工序的状态转移矩阵、任意两个工序之间的相关性系数，预测实时加工工序和各个未完成工序的作业状态指标，计算实时加工工序对自身工序、各个未完成工序的影响程度值，并根据各影响程度值，确定实时加工工序当前的作业状态的合理性。本发明根据各工序的影响程度，对当前工序作业人员和作业设备的状态进行监测，及时调整加工工艺和人员作业状态，提高了喷嘴铸件合格率。

Description

一种基于图像处理的喷嘴铸件后处理智能监测方法
技术领域
本发明涉及人工智能、图像处理技术领域，具体涉及一种基于图像处理的喷嘴铸件后处理智能监测方法。
背景技术
喷雾产品广泛应用于造纸业、制药业、食品业、化工业、污染控制、电子、电站、钢铁等行业，喷嘴多以浇铸工艺获得不同型号的喷嘴，以适用于不同行业的不同需求。在铸造工序中，铸件的后处理是得到最终产品的最后一步，喷嘴铸件的后处理包括热处理、整形、粗加工和防锈处理四个共工序，工序直接存在相互影响，为了保证产品的质量以及铸件后处理产线的正常运行和加工难度，需要对喷嘴铸件后处理过程进行监测。但是，目前业界还缺乏对喷嘴铸件后处理过程进行监测的可靠的监测方式，这就导致最后生产出来的喷嘴铸件不满足质量要求，喷嘴铸件合格率低下的问题。
发明内容
本发明的目的在于提供一种基于图像处理的喷嘴铸件后处理智能监测方法，用于解决现有缺乏可靠的监测方式导致喷嘴铸件合格率较低的问题。
为解决上述技术问题，本发明所采用的技术方案具体如下：
本发明提供了一种基于图像处理的喷嘴铸件后处理智能监测方法，包括以下步骤：
在喷嘴铸件后处理过程中，获取实时加工工序当前的多组作业人员操作图像和作业设备状态信息，并获取预先得到的实时加工工序的状态转移矩阵、各个未完成工序的状态转移矩阵以及各个未完成工序和该实时加工工序之间的相关性系数；
根据实时加工工序当前的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率；
根据各个设定作业状态类别以及在各个设定作业状态类别上的分类概率，计算实时加工工序当前的作业状态指标；
根据各个设定作业状态类别、在各个设定作业状态类别上的分类概率和实时加工工序的状态转移矩阵，预测实时加工工序下一时刻的作业状态指标；
根据实时加工工序当前的作业状态指标以及各个未完成工序和该实时加工工序之间的相关性系数，预测各个未完成工序的作业状态指标；
根据实时加工工序下一时刻的作业状态指标、各个未完成工序的作业状态指标，计算实时加工工序对自身工序以及各个未完成工序的影响程度值；
根据实时加工工序对自身工序以及各个未完成工序的影响程度值，确定实时加工工序当前的作业状态是否需要提高。
进一步的，各个工序的状态转移矩阵的得到步骤包括：
获取历史数据，所述历史数据包括：多次喷嘴铸件后处理过程中，每次喷嘴铸件后处理过程的各个工序的多组作业人员操作图像和作业设备状态信息；
根据历史数据中每次喷嘴铸件后处理过程的各个工序的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率；
计算每次喷嘴铸件后处理过程各个工序在各个设定作业状态类别上的分类概率的相似度，进而得到各个工序中各个设定作业状态类别之间的相似度；
根据各个工序中各个设定作业状态类别之间的相似度，计算各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值，进而得到各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值；
根据各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值，构造每个工序的状态转移矩阵。
进一步的，工况中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值的计算公式为：
Figure 100002_DEST_PATH_IMAGE002
其中，u为作业人员操作图像和作业设备状态信息对应的组数，
Figure 100002_DEST_PATH_IMAGE004
为第u组作业人员操作图像和作业设备状态信息在设定作业状态类别e上的分类概率，
Figure 100002_DEST_PATH_IMAGE006
为第u组作业人员操作图像和作业设备状态信息在设定作业状态类别f上的分类概率，
Figure 100002_DEST_PATH_IMAGE008
为第u组作业人员操作图像和作业设备状态信息所对应的设定作业状态类别e到设定作业状态类别f的初始边权值，w e.f 为工况中设定作业状态类别e到设定作业状态类别f的初始边权值，Num为作业人员操作图像和作业设备状态信息的总组数。
进一步的，工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值的计算公式为：
Figure DEST_PATH_IMAGE009
其中，w e.f 为工况中设定作业状态类别e和f之间的初始边权值，z ef 为工况中设定作业状态类别e到设定作业状态类别f的相对边权值，w e.e 为工况中设定作业状态类别e到设定作业状态类别e的初始边权值，n为设定作业状态类别的总数目，w e.i 为工况中设定作业状态类别e到其他设定作业状态类别i的初始边权值。
进一步的，两个工序之间的相关性系数的得到步骤包括：
根据各个设定作业状态类别以及历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，分别计算各个工序的作业状态指标；
根据各个工序的作业状态指标，计算任意两个工序的相关性系数。
进一步的，任意两个工序之间的相关性系数的计算公式为：
Figure 100002_DEST_PATH_IMAGE010
其中，
Figure 100002_DEST_PATH_IMAGE012
为工序i和工序j之间的相关性系数，
Figure 100002_DEST_PATH_IMAGE014
为工序j的第m个作业状态指标，
Figure 100002_DEST_PATH_IMAGE016
为工序i的第m个作业状态指标，n为工序i或工序j的作业状态指标的总数目。
进一步的，实时加工工序对自身工序以及各个未完成工序的影响程度值的计算公式为：
Figure DEST_PATH_IMAGE017
其中，
Figure 100002_DEST_PATH_IMAGE019
为工序i对工序j的影响程度值，
Figure 100002_DEST_PATH_IMAGE021
为工序j的作业状态指标，
Figure 100002_DEST_PATH_IMAGE023
为工序j的基础加工作业状态指标，
Figure 100002_DEST_PATH_IMAGE025
为工序i下一时刻的作业状态指标，
Figure 100002_DEST_PATH_IMAGE027
为工序i的基础加工作业状态指标。
进一步的，确定实时加工工序当前的作业状态是否需要提高的步骤包括：
确定实时加工工序对自身工序以及各个未完成工序的影响程度值中最大的影响程度值；
判断最大的影响程度值是否大于设定的影响程度值阈值，若大于设定的影响程度值阈值，则提高实时加工工序的作业状态，并进行预警。
本发明具有如下有益效果：本发明通过预先获取用于表征工序内的各个分类类别之间转换关系的状态转移矩阵，以及用于表征不同工序之间的作业状态指标关系的任意两工序之间的相关性系数，对实时加工工序和后面各个未完成工序的作业状态指标进行预测，进而得到实时加工工序对自身工序以及各个未完成工序的影响程度值，在影响程度值较大的情况下，则及时调整当前实时加工工序的加工工艺和人员作业状态，有效提高了喷嘴铸件合格率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的网络H i 的网络结构示意图；
图2为本发明的喷嘴铸件后处理工序的链式图结构；
图3为本发明的基于图像处理的喷嘴铸件后处理智能监测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。
本实施例提供了一种基于图像处理的喷嘴铸件后处理智能监测方法，该监测方法基于历史生产活动中采集的图像数据，获得各工序的状态转移矩阵以及各工序之间的相关性系数；然后根据是实时监测到的实时加工工序的作业状态指标，预测对自身工序和剩余未完成工序的影响程度，及时更改加工工艺，提高了喷嘴铸件的合格率。
由于本实施例所提供的监测方法需要预先根据历史生产活动中采集的图像数据，获得各工序的状态转移矩阵以及各工序之间的相关性系数，因此，在介绍该监测方法的具体步骤之前，首先对获得各工序的状态转移矩阵以及各工序之间的相关性系数的步骤进行详细介绍。
步骤S1：根据历史生产活动采集的图像数据，获得各个工序的状态转移矩阵。
其中，该步骤的目的是获得每一个工序的状态转移矩阵，每一个工序对应不同的作业人员和作业机器，通过作业人员和作业机器的作业状态进行分析，可以得到每一个工序不同作业状态之间的转变概率值，进而得到每一个工序对应的状态转移矩阵。由于每一个工序的作业要求不同，所以不同工序的状态转移矩阵也是不同的。
本实施例将每个工序的作业状态分为5个状态等级，也就是设定作业状态类别分为5种，分别为：优、良、中、及格、差，优的状态等级最高，差的状态等级最低，对应的状态等级标签依次为1、2、3、4、5。不同状态等级对应不同的作业要求，等级越高表示对应的作业要求就越高。下面以工序i为例，借助由神经网络构成的作业状态判别网络，获得工序i的状态转移矩阵，具体的计算过程如下：
（1-1）获取历史数据，历史数据包括：多次喷嘴铸件后处理过程中，每次喷嘴铸件后处理过程的工序i的多组作业人员操作图像和作业设备状态信息。构造作业状态判别网络，并对其进行训练。
首先，构建作业状态判别网络，由于每一个工序对应一个作业状态判别网络，记喷嘴铸件后处理中工序i对应的作业状态判别网络为H i 。构建作业状态判别网络H i 之前，首先采集工序i作业时的作业人员操作图像和作业设备状态信息。这里的作业人员操作图像是指作业人员作业时的RGB姿态图像，主要反应作业人员操作的姿态信息，作业设备状态信息是指作业设备对应的传感器数据，例如，作业设备的温度、速度等数据，主要反应作业设备的作业信息，具体的传感器维度与具体工序的加工设备有关，实施者根据实际情况自行设定。
将每10秒采集的工序i作业时的作业人员操作图像和作业设备状态信息作为一组训练样本，用于网络H i 的训练，根据上述作业状态的5个状态等级，人为的为每一组训练样本打上作业状态的等级标签。
作业状态判别网络H i 的网络结构如图1所示，在图1中，N代表10秒内采集到的作业人员操作图像的帧数和作业设备状态信息的数据量，即一组训练样本中的数据量；OpenPose网络为现有技术，用于获得RGB姿态图像中的人体二维骨骼信息；编码器Encoder1对作业设备状态信息进行处理以获得设备状态特征；利用组合Concatenate操作获得融合特征图，然后经编码器Encoder2实现特征提取后，通过分类器FC得到作业状态分类结果。需要说明的是，OpenPose可以采用现有已经训练完毕的网络，利用交叉熵函数完成编码器Encoder1、Encoder2的参数更新。
需要说明的是，上述步骤（1-1）的目标是利用OpenPose网络和神经网络来构造作业状态判别网络并对其进行训练，以便于后续利用训练好的网络，根据作业人员操作图像和对应的作业设备状态信息，就可以得到相应的作业状态分类，而至于作业状态判别网络搭建的具体步骤以及训练过程，属于本领域的常规技术，此处并没有详细阐述。
（1-2）根据历史数据中每次喷嘴铸件后处理过程的工序i的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到历史数据中工序i的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率。
其中，在作业状态判别网络H i 训练完毕后，将历史生产活动中采集的作业人员操作图像和作业设备状态信息送入网络H i ，得到网络分类结果，分类结果为输入数据对应的5种状态等级的概率值，记为
Figure 100002_DEST_PATH_IMAGE029
。也就是说，作业状态判别网络H i 输出的结果为在5种状态等级1、2、3、4、5上的分类概率值。
（1-3）计算每次喷嘴铸件后处理过程工序i在各个设定作业状态类别上的分类概率的相似度，进而得到工序i中各个设定作业状态类别之间的相似度。
其中，通过分析分类结果中各个设定作业状态类别的概率分布，可以获得各个作业状态类别之间的相似度，相似度越高的两个作业状态类别之间的转移概率越大，由于计算两个作业状态类别之间相似度的具体过程属于现有技术，此处不再赘述。
（1-4）根据工序i中各个设定作业状态类别之间的相似度，计算工况i中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值，进而得到工况i中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值。
其中，基于网络H i 的分类结果构建图结构T i ，在图结构T i 中共有5个节点，每一个节点代表一个作业状态等级，每一节点与其他每一个节点均有边连接。获得网络H i 的一个分类结果u，也就是第u组作业人员操作图像和作业设备状态信息对应的分类结果，将节点值设置为对应作业状态等级的概率值，则根据分类结果获得任意两个状态等级节点e , f的边上的边权值
Figure DEST_PATH_IMAGE031
，对应的计算方法为：
Figure DEST_PATH_IMAGE033
（1）
其中，
Figure DEST_PATH_IMAGE035
为分类结果u在设定作业状态类别e上的分类概率，
Figure DEST_PATH_IMAGE037
为分类结果u在设定作业状态类别f上的分类概率，
Figure DEST_PATH_IMAGE039
为分类结果u所对应的设定作业状态类别e到设定作业状态类别f的边权值。
按照相同的方法，可根据网络H i 的一个分类结果获得图结构T i 中每一个边的边权值，该边权值反应了工序i不同作业状态类别之间的相似性。
记根据网络H i 获取的分类结果的总数目为Num，则可以获得每个边上Num个边权值，则最终图结构T i 中任意两个状态等级节点e , f的边上的边权值
Figure DEST_PATH_IMAGE041
的计算公式为：
Figure DEST_PATH_IMAGE043
（2）
为便于区分，现将这里得到的边权值w e.f 称为初始边权值。根据初始边权值w e.f ，可以计算出状态等级节点e , f的边上的相对边权值z ef ，相对边权值z ef 表示从状态等级e 转移到状态等级f的概率，计算公式为：
Figure DEST_PATH_IMAGE045
（3）
其中，w e.f 为工况中设定作业状态类别e和设定作业状态类别f之间的初始边权值，z ef 为工况中设定作业状态类别e到设定作业状态类别f的相对边权值，w e.e 为工况中设定作业状态类别e到设定作业状态类别e的初始边权值，表示状态e与自身的相似度，w e.e =1，n为设定作业状态类别的总数目，w e.i 为工况中设定作业状态类别e到其他设定作业状态类别i的初始边权值，也就是，w e.i 为工况中设定作业状态类别e到除了设定作业状态类别e外的其他任意一个设定作业状态类别i的初始边权值，这里的设定作业状态类别i是指除了设定作业状态类别e外的任意一个设定作业状态类别，此时公式中（3）的分母为工况中设定作业状态类别e到任意一个设定作业状态类别（包括设定作业状态类别e自身和设定作业状态类别f）的初始边权值的累加和。
按照上述方式，可以计算出工况i中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值，进而得到工况i中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值。
（1-5）根据工况i中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值，构造每个工序的状态转移矩阵。
其中，由于本实施中的设定作业状态类别为5，因此构造的状态转移矩阵Z i 为
Figure DEST_PATH_IMAGE047
的方阵，在构造的状态转移矩阵Z i 中，第e行f列的数值即为状态等级节点e , f的边上的相对边权值z ef 。
通过上述步骤（1-1）-（1-5），可以得到可以获得工序i的状态转移矩阵Z i ，状态转移矩阵Z i 表征了工序i从一个作业状态类别转移到其他作业状态类别的概率值。
步骤S2：根据历史数据获得各工序状态之间的相关性系数。
其中，在喷嘴铸件后处理过程中，各工序之间存在紧密的相关性，前一个工序加工作业状态会对后续的每一个工序的加工产生影响，所以本方案基于历史加工数据获得正常作业情况下，各工序之间的作业状态类别的相关性系数。
（2-1）在上述步骤S1的基础上，根据各个设定作业状态类别以及历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，分别计算各个工序的作业状态指标。
其中，在步骤S1的基础上，可以得到历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，此时就可以计算出各个工序的作业状态指标。以工况i为例，作业状态指标的计算公式为：
Figure DEST_PATH_IMAGE049
（4）
其中，
Figure DEST_PATH_IMAGE051
为工序i的作业状态指标，c为设定作业状态类别，c=1、2、3、4、5，
Figure DEST_PATH_IMAGE053
为第j组作业人员操作图像和作业设备状态信息在设定作业状态类别c上的分类概率，M为工序i的作业人员操作图像和作业设备状态信息的总组数，即分类结果的总数目。
（2-2）根据各个工序的作业状态指标，计算任意两个工序的相关性系数。
其中，根据先验知识，当前工序的作业状态会对后面所有的工序作业状态产生影响，为了定量地获取这个影响结果，构建链式图结构，由于喷嘴铸件后处理工序可分为四大工序，构建的链式图结构如图2所示。在链式图结构中，任意两个工序之间的边权值反应了各工序直接作业状态的相关性系数，记工序i和j的相关性系数为
Figure DEST_PATH_IMAGE055
。这里的相关性系数为
Figure DEST_PATH_IMAGE057
实质上是表征了前一个工序i的作业状态指标对后一个工序j的作业状态指标的影响情况，那么为了表示出这种前一个工序对后一个工序的影响，因此在图2中的两个工序之间的连接线上添加了箭头。根据采集到的历史加工过程中每一个工序的作业状态指标，每完成一次全部工序得到一组样本数据，进而得到一个作业状态指标，记样本总量为n，即每个工序的作业状态指标的总数目为n，则工序i和j的相关性系数为
Figure DEST_PATH_IMAGE058
计算公式为：
Figure DEST_PATH_IMAGE060
（5）
其中，
Figure 722439DEST_PATH_IMAGE057
为工序i和工序j之间的相关性系数，
Figure DEST_PATH_IMAGE062
为工序j的第m个作业状态指标，
Figure DEST_PATH_IMAGE064
为工序i的第m个作业状态指标，n为工序i或工序j的作业状态指标的总数目。
步骤S3：实时获取加工工序的状态值，并根据步骤S1，S2得到的信息预测对自身工序和剩余工序的影响程度。
其中，该步骤的目的是对喷嘴铸件后处理的作业状态进行实时监测，预测当前工序的作业状态对后续所有工序的影响程度，其对应的流程图如图3所示，具体步骤如下：
（3-1）在喷嘴铸件后处理过程中，获取实时加工工序当前的多组作业人员操作图像和作业设备状态信息，并获取预先得到的实时加工工序的状态转移矩阵、各个未完成工序的状态转移矩阵以及各个未完成工序和该实时加工工序之间的相关性系数。
其中，在喷嘴铸件后处理过程中，对于某一实时加工工序的加工过程中，按照步骤S1的方式获取多组作业人员操作图像和作业设备状态信息，同时获取步骤S1中所得到的实时加工工序的状态转移矩阵、各个未完成工序的状态转移矩阵，获取步骤S2中所得到的各个未完成工序和该实时加工工序之间的相关性系数。
（3-2）根据实时加工工序当前的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率。
其中，参考步骤S1和步骤S2，根据实时加工工序当前的多组作业人员操作图像和对应的多组作业设备状态信息，利用训练好的作业状态判别网络，可以得到每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，这里的分类概率是指作业状态分别在5种状态等级1、2、3、4、5上所对应的概率值
Figure DEST_PATH_IMAGE066
。
（3-3）根据各个设定作业状态类别以及在各个设定作业状态类别上的分类概率，计算实时加工工序当前的作业状态指标。
其中，参考步骤S2，根据步骤（3-2）中所获得的各个设定作业状态类别以及每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，计算实时加工工序当前的作业状态指标。以实时加工工序为工序i为例，那么加工工序当前的作业状态指标为
Figure DEST_PATH_IMAGE068
，对应的计算公式为：
Figure DEST_PATH_IMAGE070
（6）
其中，c为设定作业状态类别，c=1、2、3、4、5，p c 为在设定作业状态类别c上的分类概率。
（3-4）根据各个设定作业状态类别、在各个设定作业状态类别上的分类概率和实时加工工序的状态转移矩阵，预测实时加工工序下一时刻的作业状态指标。
由于工序i会对后续所有工序的作业状态产生影响，为了给作业人员和加工设备有时间调整自身的作业状态，所以需要预测工序i以及后续所有工序的作业状态，以实现喷嘴铸件后处理的智能检测。
将在各个设定作业状态类别上的分类概率构成一个
Figure DEST_PATH_IMAGE072
的行向量，将该行向量与步骤S1获得的实时加工工序的
Figure DEST_PATH_IMAGE074
状态转移矩阵Z i 相乘，最后可以得到一个
Figure 420005DEST_PATH_IMAGE072
的行向量，该行向量就表示了工序i下一时刻在各个设定作业状态类别上的分类概率，将各个设定作业状态类别分别乘以该工序i下一时刻在各个设定作业状态类别上的分类概率，然后再累加，进而得到工序i下一时刻的作业状态指标
Figure DEST_PATH_IMAGE076
。
上述步骤实质上是借助马尔可夫链技术预测下一时刻的作业状态指标
Figure 589956DEST_PATH_IMAGE076
。需要说明的是，马尔可夫链为公知技术，不在本发明的保护范围，在此不再赘述。
（3-5）根据实时加工工序下一时刻的作业状态指标、各个未完成工序的作业状态指标，计算实时加工工序对自身工序以及各个未完成工序的影响程度值。
其中，根据步骤S2获得的各工序之间的相关性系数，获得工序i后每一个工序的作业状态，记工序i后的工序j的作业状态
Figure DEST_PATH_IMAGE078
。取
Figure DEST_PATH_IMAGE080
作为工序j的作业状态预测结果。
（3-6）根据实时加工工序下一时刻的作业状态指标、各个未完成工序的作业状态指标，计算实时加工工序对自身工序以及各个未完成工序的影响程度值。
其中，为了保证喷嘴铸件后处理的生产质量，各作业工序的在实际作业时需达到预测的作业状态，预测状态等级越大表示对作业人员和作业设备的要求越高，对应的加工难度越大。
由于各工序的加工标准不同，所以根据先验知识，由行业内专业人员为每一个工序设定基础加工状态
Figure DEST_PATH_IMAGE082
，则可获得当前工序i实时监测到的作业状态对当前工序i以及后续所有后工序的影响程度，记工序i对工序j的影响程度为
Figure DEST_PATH_IMAGE084
，对应的计算公式为：
Figure DEST_PATH_IMAGE085
（7）
其中，
Figure 906536DEST_PATH_IMAGE084
为工序i对工序j的影响程度值，
Figure DEST_PATH_IMAGE087
为工序j的作业状态指标，
Figure DEST_PATH_IMAGE089
为工序j的基础加工作业状态指标，
Figure DEST_PATH_IMAGE091
为工序i下一时刻的作业状态指标，
Figure DEST_PATH_IMAGE093
为工序i的基础加工作业状态指标。
至此，获得实时监测到的作业状态对剩余所有工序的影响程度，影响程度越大，对应工序的加工难度越大。
（3-6）根据实时加工工序对自身工序以及各个未完成工序的影响程度值，确定实时加工工序当前的作业状态的合理性。
其中，确定实时加工工序对自身工序以及各个未完成工序的影响程度值中最大的影响程度值
Figure DEST_PATH_IMAGE095
，并判断最大的影响程度值
Figure DEST_PATH_IMAGE096
是否大于设定的影响程度值阈值
Figure DEST_PATH_IMAGE098
。这里的设定的影响程度值阈值
Figure 829231DEST_PATH_IMAGE098
是指根据当前实时加工工序预测的自身的作业状态指标以及其他工序的作业状态指标与基础加工作业状态指标的最大偏差值，每个工序的最大偏差值都是一样的，即每个工序对应的设定的影响程度值阈值
Figure 245169DEST_PATH_IMAGE098
是相同的。在确定设定的影响程度值阈值
Figure 246623DEST_PATH_IMAGE098
时，针对特定的工序加工实现难度，是根据行业内技术人员的经验、历史加工数据统计等方式来确定的。在本实施例中，设定的影响程度值阈值
Figure 38998DEST_PATH_IMAGE098
的取值为1。例如工序i的基础加工作业状态指标为3，那么，预测的工序i的作业状态指标
Figure 504615DEST_PATH_IMAGE091
至少要不小于2，此时当前实时加工工序的加工状态满足要求，不会使其余工序加工难度升高。
当
Figure DEST_PATH_IMAGE100
时，表示当前实时加工工序的作业状态对其余工序的影响程度在允许范围内，满足喷嘴铸件后处理要求；当
Figure DEST_PATH_IMAGE102
时，表示当前实时加工工序的作业状态会使其余工序加工难度升高，对后续工序的加工产生较大的影响，进而影响产品质量，则应及时进行预警，调整当前实时加工工序的作业状态，使得调整后满足
Figure 622612DEST_PATH_IMAGE100
，保证喷嘴铸件后处理的顺利进行。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像处理的喷嘴铸件后处理智能监测方法，其特征在于，包括以下步骤：
在喷嘴铸件后处理过程中，获取实时加工工序当前的多组作业人员操作图像和作业设备状态信息，并获取预先得到的实时加工工序的状态转移矩阵、各个未完成工序的状态转移矩阵以及各个未完成工序和该实时加工工序之间的相关性系数；
根据实时加工工序当前的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率；
根据各个设定作业状态类别以及在各个设定作业状态类别上的分类概率，计算实时加工工序当前的作业状态指标；
根据各个设定作业状态类别、在各个设定作业状态类别上的分类概率和实时加工工序的状态转移矩阵，预测实时加工工序下一时刻的作业状态指标；
根据实时加工工序当前的作业状态指标以及各个未完成工序和该实时加工工序之间的相关性系数，预测各个未完成工序的作业状态指标；
根据实时加工工序下一时刻的作业状态指标、各个未完成工序的作业状态指标，计算实时加工工序对自身工序以及各个未完成工序的影响程度值；
根据实时加工工序对自身工序以及各个未完成工序的影响程度值，确定实时加工工序当前的作业状态是否需要提高。
2.根据权利要求1所述的基于图像处理的喷嘴铸件后处理智能监测方法，其特征在于，
各个工序的状态转移矩阵的得到步骤包括：
获取历史数据，所述历史数据包括：多次喷嘴铸件后处理过程中，每次喷嘴铸件后处理过程的各个工序的多组作业人员操作图像和作业设备状态信息；
根据历史数据中每次喷嘴铸件后处理过程的各个工序的多组作业人员操作图像和对应的多组作业设备状态信息，并利用训练好的作业状态判别网络进行分类，得到历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率；
计算每次喷嘴铸件后处理过程各个工序在各个设定作业状态类别上的分类概率的相似度，进而得到各个工序中各个设定作业状态类别之间的相似度；
根据各个工序中各个设定作业状态类别之间的相似度，计算各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值，进而得到各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值；
根据各个工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值，构造每个工序的状态转移矩阵。
3.根据权利要求2所述的基于图像处理的喷嘴铸件后处理智能监测方法，其特征在于，
工况中任意一个设定作业状态类别分别到所有设定作业状态类别的初始边权值的计算公式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为作业人员操作图像和作业设备状态信息对应的组数，
Figure DEST_PATH_IMAGE006
为第u组作业人员操作图像和作业设备状态信息在设定作业状态类别e上的分类概率，
Figure DEST_PATH_IMAGE008
为第u组作业人员操作图像和作业设备状态信息在设定作业状态类别f上的分类概率，
Figure DEST_PATH_IMAGE010
为第u组作业人员操作图像和作业设备状态信息所对应的设定作业状态类别e到设定作业状态类别f的初始边权值，w e.f 为工况中设定作业状态类别e到设定作业状态类别f的初始边权值，Num为作业人员操作图像和作业设备状态信息的总组数。
4.根据权利要求3所述的基于图像处理的喷嘴铸件后处理智能监测方法，其特征在于，
工况中任意一个设定作业状态类别分别到所有设定作业状态类别的相对边权值的计算公式为：
Figure DEST_PATH_IMAGE011
其中，w e.f 为工况中设定作业状态类别e和f之间的初始边权值，z ef 为工况中设定作业状态类别e到设定作业状态类别f的相对边权值，w e.e 为工况中设定作业状态类别e到设定作业状态类别e的初始边权值，n为设定作业状态类别的总数目，w e.i 为工况中设定作业状态类别e到其他设定作业状态类别i的初始边权值。
5.根据权利要求2-4中任一项所述的基于图像处理的喷嘴铸件后处理智能监测方法，其
特征在于，两个工序之间的相关性系数的得到步骤包括：
根据各个设定作业状态类别以及历史数据中各个工序的每组作业人员操作图像和作业设备状态信息在各个设定作业状态类别上的分类概率，分别计算各个工序的作业状态指标；
根据各个工序的作业状态指标，计算任意两个工序的相关性系数。
6.根据权利要求5所述的基于图像处理的喷嘴铸件后处理智能监测方法，其特征在于，
任意两个工序之间的相关性系数的计算公式为：
Figure DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE014
为工序i和工序j之间的相关性系数，
Figure DEST_PATH_IMAGE016
为工序j的第m个作业状态指标，
Figure DEST_PATH_IMAGE018
为工序i的第m个作业状态指标，n为工序i或工序j的作业状态指标的总数目。
7.根据权利要求1-4中任一项所述的基于图像处理的喷嘴铸件后处理智能监测方法，其
特征在于，实时加工工序对自身工序以及各个未完成工序的影响程度值的计算公式为：
Figure DEST_PATH_IMAGE019
其中，
Figure DEST_PATH_IMAGE021
为工序i对工序j的影响程度值，
Figure DEST_PATH_IMAGE023
为工序j的作业状态指标，
Figure DEST_PATH_IMAGE025
为工序j的基础加工作业状态指标，
Figure DEST_PATH_IMAGE027
为工序i下一时刻的作业状态指标，
Figure DEST_PATH_IMAGE029
为工序i的基础加工作业状态指标。
8.根据权利要求1-4中任一项所述的基于图像处理的喷嘴铸件后处理智能监测方法，其
特征在于，确定实时加工工序当前的作业状态是否需要提高的步骤包括：
确定实时加工工序对自身工序以及各个未完成工序的影响程度值中最大的影响程度值；
判断最大的影响程度值是否大于设定的影响程度值阈值，若大于设定的影响程度值阈值，则提高实时加工工序的作业状态，并进行预警。
CN202110984708.5A 2021-08-26 2021-08-26 一种基于图像处理的喷嘴铸件后处理智能监测方法 Active CN113435794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984708.5A CN113435794B (zh) 2021-08-26 2021-08-26 一种基于图像处理的喷嘴铸件后处理智能监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984708.5A CN113435794B (zh) 2021-08-26 2021-08-26 一种基于图像处理的喷嘴铸件后处理智能监测方法

Publications (2)

Publication Number Publication Date
CN113435794A CN113435794A (zh) 2021-09-24
CN113435794B true CN113435794B (zh) 2021-11-19

Family

ID=77797869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984708.5A Active CN113435794B (zh) 2021-08-26 2021-08-26 一种基于图像处理的喷嘴铸件后处理智能监测方法

Country Status (1)

Country Link
CN (1) CN113435794B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600930B (zh) * 2022-11-29 2023-03-28 天津佰利金电力有限公司 用于电力金具生产数据的智能管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149514A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工作业人员的安全着装检测方法及系统
CN112966593A (zh) * 2021-03-03 2021-06-15 河南鑫安利安全科技股份有限公司 基于人工智能和大数据的企业安全标准化运行方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235219B1 (ko) * 2006-06-28 2013-02-20 삼성전자주식회사 작업의 진행상태정보를 제공하는 화상형성장치 및 웹서버와작업의 진행상태정보를 제공하는 방법
KR100729151B1 (ko) * 2006-07-18 2007-06-19 고려대학교 산학협력단 마코프 프로세스 기반의 피해 산정 방법, 그 기록 매체 및그 장치
WO2015111142A1 (ja) * 2014-01-22 2015-07-30 株式会社日立製作所 システム解析装置、設計不良解析装置、故障モード解析装置、故障ツリー解析装置、自律動作装置及び自律動作制御システム
CN104977911B (zh) * 2015-06-29 2017-09-19 东北大学 一种提高钢铁能源利用率的在线能源分配控制方法
CN107340758B (zh) * 2017-07-04 2019-04-26 北京理工大学 一种面向多工序制造过程的工艺可靠性评估及控制方法
CN108665164A (zh) * 2018-05-10 2018-10-16 北京航空航天大学 基于运行质量数据的多态制造系统任务可靠性评估方法
CN110135636B (zh) * 2019-05-10 2021-04-20 北京理工大学 一种车间运行状态预测信息的获取方法、装置及系统
CN111241952B (zh) * 2020-01-03 2020-11-10 广东工业大学 一种离散制造场景中的强化学习奖励自学习方法
CN111368897B (zh) * 2020-02-28 2023-06-20 中南大学 基于状态转移算法的除铜过程的犹豫模糊c均值聚类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149514A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工作业人员的安全着装检测方法及系统
CN112966593A (zh) * 2021-03-03 2021-06-15 河南鑫安利安全科技股份有限公司 基于人工智能和大数据的企业安全标准化运行方法及系统

Also Published As

Publication number Publication date
CN113435794A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN105117602B (zh) 一种计量装置运行状态预警方法
CN111445103B (zh) 一种基于工业互联网的输电线缆生产质量管理反馈系统
CN111858231A (zh) 一种基于运维监控的单指标异常检测方法
CN114358152A (zh) 一种智能电力数据异常检测方法及系统
CN105678332A (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN102340811A (zh) 无线传感器网络故障诊断方法
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网系统及工作方法
CN103840988A (zh) 一种基于rbf神经网络的网络流量测量方法
CN110570013B (zh) 一种单站位在线波周期数据的预测诊断方法
CN113435794B (zh) 一种基于图像处理的喷嘴铸件后处理智能监测方法
CN106845826B (zh) 一种基于PCA-Cpk的冷连轧生产线服役质量状态评估方法
CN116991130A (zh) 一种石化生产智能化自动化控制系统和方法
CN112990546A (zh) 一种基于粒子群与神经网络的化工厂电力变压器故障预测方法
CN115759409A (zh) 多时间模式注意力机制优化lstm模型的水闸形变预测方法
CN110033181B (zh) 一种基于自编码器的发电设备状态评估方法
CN109408998B (zh) 基于样本持续增量快速获取应力谱进行疲劳寿命评估方法
CN105741184B (zh) 一种变压器状态评估方法及装置
CN116614366B (zh) 一种基于边缘计算的工业互联网优化方法及系统
CN113535515A (zh) 一种基于Zabbix监控系统的高效动态采集方法
CN111275136B (zh) 基于小样本下的故障预测系统及其预警方法
CN114418177B (zh) 基于生成对抗网络的数字孪生车间的新产品物料配送预测方法
CN114167837B (zh) 一种铁路信号系统的智能故障诊断方法及系统
CN115828744A (zh) 一种白光发光二极管故障在线诊断与寿命预测方法
CN115481815A (zh) 基于神经网络的火电厂负荷分配系统及方法
CN112767380B (zh) 一种宽厚板端部形状预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant