CN110366031B - 一种数字化车间mes系统基于视觉的异常状态监测与故障诊断方法 - Google Patents

Abstract

本发明一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，涉及基于机器视觉技术。在数字化生产车间设置多传感器对工业现场进行监测；视频采集器，实时采集底层工业控制现场视频。本发明包括两种模式：一、在线分析模式。视频采集设备实时采集现场视频，通过视频分析与处理模块提取当前时刻视频数据信息，综合生产数据，监测数据和视频数据信息，送至异常监测与故障诊断模块，进行异常监测，检测异常事件。二、离线分析模式。根据异常发生时段，查询相应视频，通过视频分析与处理模块提取该时段视频数据信息，综合该时段生产数据，监测数据和视频数据信息，送至异常监测与故障诊断模块，进行故障诊断，分析故障原因。

Description

一种数字化车间MES系统基于视觉的异常状态监测与故障诊 断方法

技术领域

本发明涉及MES系统中基于机器视觉技术对运行异常状态进行监测，并进行故障诊断的工业控制技术，具体为一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法。

背景技术

在现代企业智能化生产过程中，制造执行系统(MES)扮演着重要的角色。其是位于上层的计划管理系统与位于底层的工业控制之间的面向车间层的管理信息系统，可以为企业生产提供现场管理细分、现场数据采集、电子看板管理、仓库物料存放、生产任务分配、仓库管理、责任追溯、绩效统计评估、统计分析和综合分析等功能，极大地提高了企业的管理效率。

MES系统通过现场数据的采集，获得生产过程各个环节的实时信息。通过对实时信息的处理、统计和分析，对生产过程进行精细化管理。MES系统能通过信息传递对从订单下达到产品完成的整个生产过程进行优化管理。当工厂发生实时事件时，MES系统能对此及时做出反应、报告，并用当前的准确数据对它们进行指导和处理。

对于工业控制现场故障诊断或异常监测而言，目前的MES系统存在以下三方面的不足。一是MES系统采集底层工业控制数据，该数据主要是生产过程状态和信息数据，是生产过程中的正常数据，很难直接反映出生产过程故障或异常，不利于故障或异常的检测与分析。二是由于MES系统主要服务于生产，在底层工业控制中，用于故障监测或异常诊断的传感器布置不足，相关数据的提取、处理和分析不够充分，影响故障或异常的检测与分析。另外，以上提及的数据都是工业控制过程中，通过传感器和仪器仪表对现场检测或测量得到的结果，对现场情况描述不够直接、准确。

发明内容

针对现有技术的上述缺陷，本发明提供了一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，在MES系统中，基于机器视觉技术，在底层工业控制现场关键节点布置监测摄像头，实时采集监测视频，实现对异常状态的视觉监测。MES系统根据现场采集的数据分析有故障或异常时，可对现场监测记录视频进行浏览、检索和分析。进一步地，可以采用机器学习和图像处理技术，对采集到现场监测视频进行异常事件提取与分析。

本发明采用的技术方案是：

一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，在数字化生产车间设置多传感器对工业现场的运行状态进行监测，还包括：

视频采集器，其配置在底层工业控制现场关键环节，实时采集底层工业控制现场视频，并传送至MES系统；

视频处理与分析模块，配置在MES系统中，可对接收到的工业控制现场视频进行显示、存储、分析和检索，提取视频数据信息；

异常监测与故障诊断模块，配置在MES系统中，可集成生产现场多传感器的数据和视频处理与分析模块的视频数据信息，提取异常事件并报警，并进行异常原因分析；

MES系统实时接收多传感器采集的底层工业控制现场数据，实时读取并存储生产数据，监测数据和视频采集器采集的视频数据；

当MES系统接收实时的现场数据时，视频处理与分析模块和异常监测与故障诊断模块对数据进行在线分析：视频处理与分析模块提取视频数据信息；同时，异常监测和故障诊断模块接收现场数据、多传感器监测数据、以及视频数据信息，对设备运行状态进行判别。

若为异常状态，则进行报警并集成为异常事件数据，供MES系统查询与分析，以实现异常监测功能。

当MES系统接收设备故障报警或异常状态时，视频处理与分析模块和异常监测与故障诊断模块对数据进行离线分析：视频处理与分析模块分析故障或异常时段的视频数据，标记异常区域，并提取异常事件数据；同时，异常监测和故障诊断模块收集异常时段现场数据，多传感器监测数据和视频数据信息，对设备故障和异常类别进行判别、原因分析、报警并集成为异常事件数据，供MES系统查询与分析，以实现故障诊断功能。

所述的视频处理与分析模块包括视频显示模块、视频存储模块、视频分析模块和视频检索模块，执行以下步骤：

所述的视频分析模块进行标定：接收视频采集器采集的现场正常工作时的视频数据，根据现场关注的工作场景，人工或者自动提取关键时间节点和关键流程节点的视频帧，生成视频关键帧集合F_c＝{f_ci,i＝1,2,…N}；

所述的视频分析模块进行视频分析：读取第i个时间节点或第i个流程节点的视频帧f_di，和视频关键帧集合中的视频帧f_ci进行比对，来进行差异区域标记和信息提取；

首先，读取当前运行的第i个时间点或第i个流程节点的视频帧，并对其进行滤波处理；

读取存储的第i个关键帧，并对其进行滤波处理；

将二者滤波结果做差，并二值化，生成差值图像；

对于差值图像，进行数学形态学运算，去除噪声；

对于差值图像进行连通区域标记，确定差异区域；

对于每一个差异区域提取特征，生成视频数据信息；

在读取的当前运行的视频帧中，将相应区域用框进行标记，表示该处存在差异。

所述的异常监测与故障诊断模块，将现场实时的生产数据、监测数据和视频数据集成为事件数据，送至分类器进行分类，进行异常判别：

假设异常生产数据为d_op，监测数据为d_om，由视频数据提取的信息为d_ov，将三者合并为一条异常事件数据d_o＝{d_op,d_om,d_ov}，并生成异常事件数据集D_o＝{d_oi,i＝1,2,…}；

假设正常生产数据为d_np，监测数据为d_nm，由视频数据提取的信息为d_nv，将三者合并为一条正常数据d_n＝{d_np,d_nm,d_nv}，并生成正常数据集D_n＝{d_ni,i＝1,2,…}；

将异常事件数据集细分为子集，不同的子集对应不同的异常类别；采用机器学习的技术，以不同子集的异常数据和正常数据为训练数据，异常类别和无异常编码为类别号，进行分类训练，从而获得分类器。由此分类器来判别现场实时事件数据是否存在异常，如果存在异常，是哪种异常。

所述的异常监测和故障诊断模块，将异常时段的生产数据、监测数据和视频数据集成为事件数据组，送至分类器进行分类，进行异常原因分析：

假设异常事件数据为d_o＝{d_op,d_om,d_ov}，其发生时段形成的数据组为d_co＝{d_o(-k),…,d_o(-1),d_o,d_o(1),…,d_o(l)}，以此生成异常事件发生时段数据组集D_co＝{d_coi,i＝1,2,…}；

对异常事件数据组集进行标记。将异常事件数据组集细分为子集，不同的子集对应不同的异常原因；采用机器学习的技术，以不同子集的异常事件数据组为训练数据，异常原因为类别号，进行分类训练，从而获得分类器。由此分类器来进行故障诊断，分析异常发生的原因。

所述的视频处理与分析模块和异常监测与故障诊断模块，可进行如下离线分析，对比异常与故障发生时段视频帧和存储的相应时段正常视频帧，以分析检测异常区域，实现故障诊断功能：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)根据故障或异常发生的时刻，检索出底层工业控制现场关键节点相应时段的视频数据；

3)通过人工或图像处理技术，将相关时段内视频内容和标定时段视频内容进行对比分析，对异常部分给予标记，提取视频信息；

4)根据故障或异常发生时刻，获得相应时段的异常事件数据组，将其输入到训练好的分类器进行分类，查找故障或异常原因。

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联故障或异常诊断结果，供MES系统查询与分析；

所述的视频处理与分析模块，可进行如下在线分析，对比实时采集的关键时间点或关键节点处的视频帧和存储的正常视频帧，以分析检测异常区域，实现异常监测功能：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)通过人工或图像处理技术，对接收到的关键时间节点和关键流程节点的视频帧，和标定关键时间节点和关键流程节点的视频帧进行比对分析，对异常部分给予标记，提取视频信息。

3)实时接收生产数据，监测数据和视频数据，输入到异常监测与故障诊断模块分类器，判断当前数据是否存在异常，如果存在异常，是哪一种异常；

4)在检测到设备故障或设备异常的情况下采用声光电等方式进行报警；

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联异常检测结果，供MES系统查询与分析。

由于采用上述的技术方案，与现有技术相比，本发明的有益效果是：通过对底层工业现场关键节点布置视觉监测设备，采集现场实时视频至MES系统，对视频记录进行浏览和检索，进行异常监测和故障诊断，可用于数字化车间的异常监测和故障诊断。MES系统可以集成视频处理与分析模块和异常监测与故障诊断模块，采用机器学习技术和图像处理技术对视频进行分析，提取异常事件并报警，并对异常事件进行故障诊断。本发明的方法集成了多方面的数据，将生产数据、监测数据和视频数据作为事件数据，综合起来进行分析管理，利用正常事件数据和异常事件数据训练支持向量机或决策树等分类器。

附图说明

图1是本发明的一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法的系统框架示意图。

图2是本发明的一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法中，视频分析模块进行视频数据信息提取的步骤示意图。

具体实施方式

下面通过具体实施方式并结合附图对本发明作进一步详细的描述。

如图1所示，本发明的一个具体实施方式为化工灌装数字化车间MES系统基于视觉的异常状态监测与故障诊断方法。在MES系统中集成视频采集设备，视频分析与处理模块，异常监测与故障诊断模块。本发明的方法包括以下两种模式：

一、在线分析模式。视频采集设备实时采集现场视频，通过视频分析与处理模块提取当前时刻视频数据信息，综合生产数据，监测数据和视频数据信息，送至异常监测与故障诊断模块，进行异常监测，检测异常事件；

二、离线分析模式。根据异常发生时段，查询相应视频。通过视频分析与处理模块提取该时段视频数据信息，综合该时段生产数据，监测数据和视频数据信息，送至异常监测与故障诊断模块，进行故障诊断，分析故障原因。

化工灌装数字化车间生产现场由空桶库、灌装系统、贴标机、码垛机和重桶库等设备组成，这些设备由PLC控制，在数字化灌装生产车间设置多传感器对灌装生产的运行状态进行监测。

化工灌装数字化车间生产现场由MES系统管理，通常情况下MES系统包含有生产调度、产品跟踪、质量控制、网络报表等管理功能。MES系统在运行过程中，实时采集现场的生产数据。其中，生产数据是指生产过程中使用或产生的数据；监测数据是指对于生产过程监测，配合生产产生的数据；视频数据不是纯粹的视频帧，而是通过对视频帧分析后得到的差异区域数据。

这些数据直接来源于工业控制现场，或者通过各种常规传感器对工业现场的运行状态进行监测。MES系统对于数字化包装车间的全自动灌装设备进行监测，读取关键节点数据。以灌装过程为例，MES系统读取灌装过程中的生产数据，包括称台实时重量、流速、桶皮重、灌装完成重量、灌装重量偏差、灌装方式、计量方式、设备状态和工作模式等生产数据。MES系统读取通信状态、光电状态、小车位置、料枪位置、桶口位置、桶盖位置、和原点位置等监测数据。

监控摄像头作为视频采集器，配置在化工灌装数字化车间底层工业控制现场关键环节，实时采集灌装过程视频，并传送至MES系统，实现对异常状态的视觉监测。由监控摄像头采集的视频数据确定差异区域所在位置，差异区域面积，差异区域面积周长比。

MES系统实时接收PLC发送的灌装生产的实时现场数据，实时读取并存储生产数据，监测数据和监控摄像头采集的视频帧。

视频处理与分析模块，配置在MES系统中，可对接收到的灌装生产的现场视频进行显示、存储、分析和检索，提取视频数据的差异信息。

异常监测与故障诊断模块，配置在MES系统中，可集成灌装生产的现场多传感器的数据和视频处理与分析模块的视频信息，采用机器学习技术对现场数据、监测数据和视频数据进行分析，将现场数据、检测数据和视频数据作为事件数据，可提取异常事件数据并报警。

当MES系统接收数据为设备故障报警或异常状态时，启动视频处理与分析模块，查询故障发生时段的数据记录，读取生产数据、监测数据和视频数据。视频处理与分析模块，比对分析故障或异常时段的视频数据，标记出差异区域，并提取差异区域的位置、面积和面积周长比，作为视频数据，将分析结果传送至异常监测与故障诊断模块；同时，异常监测和故障诊断模块接收现场数据，多传感器监测数据和视频采集器采集的数据，进行设备故障和异常状态的判别、报警并集成为异常事件数据，供MES系统查询与分析。

其中，比对是指在相同的时间点或关键节点，将采集到的视频帧和存储的正常视频帧进行对比分析，过程见图2。通过比对，可以提取采集到的视频帧相对于正常视频帧的差异部分。

异常监测与故障诊断模块分类识别数据，判定当前数据是否有异常。如果有异常，是哪一种异常。

视频处理与分析模块对比分析故障发生时段的视频帧和存储的当前时段正常的视频帧，标记出差异区域，并提取差异区域的位置、面积和面积周长比，作为视频数据。异常监测与故障诊断模块将生产数据、监测数据和视频数据集成为事件数据，送至支持向量机进行分类，进行异常判别。此时假设有冒料异常，则会检测出当前视频帧和正常视频帧相比存在较大差异区域。该事件数据会由分类器判断为冒料异常，并进行报警。或者对比故障发生时段视频帧和正常视频帧，分析故障原因。

如确认当前数据为异常事件数据，将该事件添加到异常事件数据库，对分类器重新进行训练并更新。

MES系统根据现场采集的数据分析有故障或异常时，可对现场监测记录视频进行浏览、检索和分析。进一步地，可以采用机器学习和图像处理技术，对采集到现场监测视频进行异常事件提取与分析。

本发明具体实施方式的化工灌装数字化车间生产现场，其MES系统中的视频处理与分析模块和异常监测与故障诊断模块，可进行如下离线分析，对比故障发生时段视频帧和存储的相应时段正常视频帧，以分析检测差异区域，并进行故障诊断：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)根据故障或异常发生的时刻，检索出底层工业控制现场关键节点相应时段的视频数据；

3)通过人工或图像处理技术，将相关时段内视频内容和标定时段视频内容进行对比分析，对异常部分给予标记，提取视频信息；

4)根据故障或异常发生时刻，获得相应时段的异常事件数据组，将其输入到训练好的分类器进行分类，查找故障或异常原因。

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联故障或异常诊断结果，供MES系统查询与分析；

本发明具体实施方式的化工灌装数字化车间生产现场，其MES系统中的视频处理与分析模块和异常监测与故障诊断模块，可进行如下在线分析，对比实时采集的关键时间点或关键节点处的视频帧和存储的正常视频帧，以分析检测差异区域，并进行异常监测：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)通过人工或图像处理技术，对接收到的关键时间节点和关键流程节点的视频帧，和标定关键时间节点和关键流程节点的视频帧进行比对分析，对异常部分给予标记，提取视频信息。

3)实时接收生产数据，监测数据和视频数据，输入到异常监测与故障诊断模块分类器，判断当前数据是否存在异常，如果存在异常，是哪一种异常；

4)在检测到设备故障或设备异常的情况下采用声光电等方式进行报警；

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联异常检测结果，供MES系统查询与分析。

以上依据附图所示的具体实施方式详细说明了本发明的技术方案及作用效果，以上所述仅为本发明的较佳具体实施方式，但本发明不以附图所示限定其保护范围，凡是依照本发明的构想所作的变换或修改为等同变化的等效实施方式，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (3)

1.一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，在数字化生产车间设置多传感器对工业现场的运行状态进行监测，其特征在于，还包括：

视频采集器，其配置在底层工业控制现场关键环节，实时采集底层工业控制现场视频，并传送至MES系统；

视频处理与分析模块，配置在MES系统中，可对接收到的工业控制现场视频进行显示、存储、分析和检索，提取视频数据信息；

异常监测与故障诊断模块，配置在MES系统中，可集成生产数据、生产现场多传感器的数据和视频处理与分析模块的视频数据信息，提取异常事件并报警，并进行异常原因分析；

MES系统实时接收多传感器采集的底层工业控制现场数据，实时读取并存储生产数据，监测数据和视频采集器采集的视频数据；

当MES系统接收实时的现场数据时，视频处理与分析模块和异常监测与故障诊断模块对数据进行在线分析：视频处理与分析模块提取视频数据信息；同时，异常监测和故障诊断模块接收生产数据，多传感器监测数据，以及视频数据信息，对设备运行状态进行判别；

若为异常状态，则进行报警并集成为异常事件数据，供MES系统查询与分析，以实现异常监测功能；

当MES系统接收设备故障报警或异常状态时，视频处理与分析模块和异常监测与故障诊断模块对数据进行离线分析：视频处理与分析模块分析故障或异常时段的视频数据，标记异常区域，并提取异常事件数据；同时，异常监测和故障诊断模块收集异常时段生产数据，多传感器监测数据和视频数据信息，对设备故障和异常类别进行判别、原因分析、报警并集成为异常事件数据，供MES系统查询与分析，以实现故障诊断功能；

所述的视频处理与分析模块包括视频显示模块、视频存储模块、视频分析模块和视频检索模块，执行以下步骤：

所述的视频分析模块进行标定：接收视频采集器采集的现场正常工作时的视频数据，根据现场关注的工作场景，人工或者自动提取关键时间节点和关键流程节点的视频帧，生成视频关键帧集合F_c＝{f_ci,i＝1,2,…N}；

所述的视频分析模块进行视频分析：读取第i个时间节点或第i个流程节点的视频帧f_di，和视频关键帧集合中的视频帧f_ci进行比对，来进行差异区域标记和信息提取；

首先，读取当前运行的第i个时间点或第i个流程节点的视频帧，并对其进行滤波处理；

读取存储的第i个关键帧，并对其进行滤波处理；

将二者滤波结果做差，并二值化，生成差值图像；

对于差值图像，进行数学形态学运算，去除噪声；

对于差值图像进行连通区域标记，确定差异区域；

对于每一个差异区域提取特征，生成视频数据信息；

在读取的当前运行的视频帧中，将相应区域用框进行标记，表示该处存在差异；

所述的异常监测与故障诊断模块，将现场实时的生产数据、监测数据和视频数据集成为事件数据，送至分类器进行分类，进行异常判别：

假设异常生产数据为d_op，监测数据为d_om，由视频数据提取的信息为d_ov，将三者合并为一条异常事件数据d_o＝{d_op,d_om,d_ov}，并生成异常事件数据集D_o＝{d_oi,i＝1,2,…}；

假设正常生产数据为d_np，监测数据为d_nm，由视频数据提取的信息为d_nv，将三者合并为一条正常数据d_n＝{d_np,d_nm,d_nv}，并生成正常数据集D_n＝{d_ni,i＝1,2,…}；

将异常事件数据集细分为子集，不同的子集对应不同的异常类别；采用机器学习的技术，以不同子集的异常数据和正常数据为训练数据，异常类别和无异常编码为类别号，进行分类训练，从而获得分类器，由此分类器来判别现场实时事件数据是否存在异常，如果存在异常，是哪种异常；

所述的异常监测和故障诊断模块，将异常时段的生产数据、监测数据和视频数据集成为事件数据组，送至分类器进行分类，进行异常原因分析：

假设异常事件数据为d_o＝{d_op,d_om,d_ov}，其发生时段形成的数据组为d_co＝{d_o(-k),…,d_o(-1),d_o,d_o(1),…,d_o(l)}，以此生成异常事件发生时段数据组集D_co＝{d_coi,i＝1,2,…}；

对异常事件数据组集进行标记：将异常事件数据组集细分为子集，不同的子集对应不同的异常原因；采用机器学习的技术，以不同子集的异常事件数据组为训练数据，异常原因为类别号，进行分类训练，从而获得分类器，由此分类器来进行故障诊断，分析异常发生的原因。

2.根据权利要求1所述的一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，其特征在于：所述的视频处理与分析模块和异常监测与故障诊断模块，可进行如下离线分析，对比异常与故障发生时段视频帧和存储的相应时段正常视频帧，以分析检测异常区域，实现故障诊断功能：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)根据故障或异常发生的时刻，检索出底层工业控制现场关键节点相应时段的视频数据；

3)通过人工或图像处理技术，将相关时段内视频内容和标定时段视频内容进行对比分析，对异常部分给予标记，提取视频信息；

4)根据故障或异常发生时刻，获得相应时段的异常事件数据组，将其输入到训练好的分类器进行分类，查找故障或异常原因；

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联故障或异常诊断结果，供MES系统查询与分析。

3.根据权利要求2所述的一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，其特征在于：所述的视频处理与分析模块，可进行如下在线分析，对比实时采集的关键时间点或关键节点处的视频帧和存储的正常视频帧，以分析检测异常区域，实现异常监测功能：

1)实时接收视频采集器发送的底层工业控制现场视频数据显示并存储；

2)通过人工或图像处理技术，对接收到的关键时间节点和关键流程节点的视频帧，和标定关键时间节点和关键流程节点的视频帧进行比对分析，对异常部分给予标记，提取视频信息；

3)实时接收生产数据，监测数据和视频数据，输入到异常监测与故障诊断模块分类器，判断当前数据是否存在异常，如果存在异常，是哪一种异常；

4)在检测到设备故障或设备异常的情况下采用声光电等方式进行报警；

5)将故障或异常发生时刻的生产数据，监测数据和视频数据集成为异常事件数据，关联异常检测结果，供MES系统查询与分析。

Images