CN117235648B - 基于数据处理的钢丝加工全流程集成化管理系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及基于数据处理的钢丝加工全流程集成化管理系统，包括：数据采集模块、特征数据获取模块、划分阈值获取模块和异常数据筛选模块，计算加工设备数据中每类数据序列的均匀程度，根据均匀程度获得特征数据序列，计算每个特征数据序列中的每个数据的离群程度，根据离群程度获得每个特征数据序列的最小簇和最大簇，计算最小簇和最大簇的波动程度，根据波动程度获得每个特征数据序列的所有划分阈值，根据所有划分阈值获得孤立森林，根据孤立森林获得异常数据，根据异常数据的数量进行设备异常预警。本发明提高数据的异常得分计算的准确性，进而提高异常数据检测的效率和准确率。

Description

基于数据处理的钢丝加工全流程集成化管理系统

技术领域

本发明涉及数据处理技术领域，具体涉及基于数据处理的钢丝加工全流程集成化管理系统。

背景技术

钢丝是一种重要的金属材料，广泛用于建筑、交通、机械制造等领域。钢丝加工过程包括原材料采购、切割、成型、热处理、表面处理等多个环节。为了提高生产效率、降低成本、保证产品质量，钢丝加工企业需要建立一个钢丝加工全流程集成化管理系统，以检测钢丝加工过程中是否出现异常。

孤立森林算法是一种常规的数据异常检测方法，在生成孤立树的过程中，随机选取划分阈值生成左子树和右子树，根据构建的孤立树计算每个数据的异常得分，根据异常得分判断数据是否异常；但是随机选取划分阈值可能会导致异常数据经过多次划分才被孤立出来，有可能将正常数据划分到孤立子树上，导致数据的异常得分计算不准确，影响异常数据检测的效率和准确率。

发明内容

为了解决上述问题，本发明提供基于数据处理的钢丝加工全流程集成化管理系统，所述系统包括：

数据采集模块，用于采集钢丝加工全流程中的加工设备数据；

特征数据获取模块，用于对加工设备数据中的每类数据进行排序，获得每类数据序列，计算每类数据序列的均匀程度，根据均匀程度获得特征数据序列；

划分阈值获取模块，用于计算每个特征数据序列中的每个数据的离群程度，根据离群程度获得每个特征数据序列的最小簇和最大簇，计算每个特征数据序列的最小簇和最大簇的波动程度，根据最小簇和最大簇的波动程度，获得每个特征数据序列的所有划分阈值；

异常数据筛选模块，用于根据所有特征数据序列的所有划分阈值获得孤立森林，根据孤立森林获得异常数据，根据异常数据的数量进行设备异常预警。

进一步地，所述均匀程度的计算公式如下：

式中，为第j类数据序列的均匀程度，/>表示第j类数据序列中所有数据的数量，和/>分别表示第j类数据序列中第i个数据和第i-1个数据，/>和/>分别表示第j类数据序列中第1个数据和第/>个数据。

进一步地，所述离群程度的计算公式如下：

式中，表示第k个特征数据序列中的第t个数据的离群程度，/>分别表示第k个特征数据序列中的第t个数据和第m个数据，/>表示第k个特征数据序列中所有数据的均值，/>表示第k个特征数据序列中所有数据的数量。

进一步地，所述根据离群程度获得每个特征数据序列的最小簇和最大簇，包括的具体步骤如下：

将第k个特征数据序列中的第一个数据和第个数据分别作为最小簇的簇基准和最大簇的簇基准，根据簇基准获得第k个特征数据序列的最小簇和最大簇，包括：

第k个特征数据序列中的前个数据组成最小簇，需要保证前/>个数据的离群程度都在/>范围内，第/>个数据的离群程度不在范围内，/>表示最小簇的簇基准的离群程度，R表示预设偏离比例；

第k个特征数据序列中的后个数据组成最大簇，需要保证后/>个数据的离群程度都在/>范围内，第/>个数据的离群程度不在范围内，/>表示最大簇的簇基准的离群程度，/>表示第k个特征数据序列中所有数据的数量；

如果第k个特征数据序列中的所有数据的离群程度都在范围内，或者第k个特征数据序列中的所有数据的离群程度都在/>范围内，则无法获得第k个特征数据序列的最小簇和最大簇。

进一步地，所述波动程度的计算公式如下：

式中，表示第k个特征数据序列的最小簇的波动程度，/>表示第k个特征数据序列的最小簇中所有数据的数量，/>表示第k个特征数据序列的最小簇中的第a个数据，/>表示第k个特征数据序列的最小簇中所有数据的均值，/>表示第k个特征数据序列的最小簇中所有数据的极差。

进一步地，所述获得每个特征数据序列的所有划分阈值，包括的具体步骤如下：

根据第k个特征数据序列的最小簇和最大簇的波动程度，获得第k个特征数据序列的划分阈值，具体为：如果第k个特征数据序列的最小簇的波动程度大于等于最大簇的波动程度，将最小簇的最大值作为第k个特征数据序列的划分阈值，将第k个特征数据序列的最大簇记为新的第k个特征数据序列，否则，将最大簇的最小值作为第k个特征数据序列的划分阈值，每个特征数据序列的最小簇记为新的第k个特征数据序列；

以此类推，通过多次迭代，获得新的第k个特征数据序列的最小簇和最大簇，分别计算新的第k个特征数据序列的最小簇和最大簇的波动程度，根据新的第k个特征数据序列的最小簇和最大簇的波动程度，获得新的第k个特征数据序列的新的划分阈值，直到无法获得新的第k个特征数据序列的最小簇和最大簇时，停止迭代，获得第k个特征数据序列的所有划分阈值。

进一步地，所述获得特征数据序列，包括的具体步骤如下：

将均匀程度大于预设阈值的数据序列，记为特征数据序列。

进一步地，所述根据所有特征数据序列的所有划分阈值获得孤立森林，根据孤立森林获得异常数据，包括的具体步骤如下：

根据每个特征数据序列的所有划分阈值进行孤立树划分，根据所有特征数据序列的孤立树组成的孤立森林，计算每个加工设备数据的异常得分；将异常得分大于预设阈值的加工设备数据记为异常数据。

进一步地，所述根据异常数据的数量进行设备异常预警，包括的具体步骤如下：

如果所有异常数据对应的钢丝的数量超过所有钢丝的数量的1%，则认为钢丝生产设备出现异常；

获取每个异常数据中每个设备数据的异常得分，将所有异常数据中每个设备数据的异常得分之和，记为对应设备的异常程度；将异常程度最大的设备作为可能异常设备，对可能异常设备进行故障检测，如果出现故障，则该设备为异常设备，对异常设备进行修理，如果无故障，按照异常程度的取值从大到小的顺序依次进行故障检测，直到找出异常设备。

进一步地，所述采集钢丝加工全流程中的加工设备数据，包括的具体步骤如下：

采集每根钢丝的加工全流程中的加工设备数据，加工设备数据包括多类数据，具体为：设备的状态、运行时间、电力消耗和燃气消耗，热处理设备的温度、时间和冷却速度，表面处理设备的处理时间、处理剂用量，钢丝拉力测试设备的测试结果。

本发明的技术方案的有益效果是：本发明通过每类数据序列的均匀程度，获得更能够划分出异常数据的特征数据，根据特征数据的离散程度，自适应选取划分阈值，更早地将接近特征数据的边缘且离散程度更大的数据划分出来，使每次根据划分阈值构建孤立树都能够将异常数据尽可能正确划分，提高数据的异常得分计算的准确性，进而提高异常数据检测的效率和准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于数据处理的钢丝加工全流程集成化管理系统的系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于数据处理的钢丝加工全流程集成化管理系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于数据处理的钢丝加工全流程集成化管理系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于数据处理的钢丝加工全流程集成化管理系统，该系统包括以下模块：

数据采集模块101，用于采集钢丝加工全流程中的加工设备数据。

需要说明的是，在钢丝加工过程中，如果钢丝质量出现问题，也会造成加工设备的异常。例如对于硬度不均匀的钢丝材料，在进行切割过程中会对刀具造成损害，因此可通过钢丝加工过程中加工设备的状态反馈获取加工过钢丝的质量，进而实现生产过程的全面监控，提高生产效率、降低成本、保证产品质量。

具体的，采集每根钢丝的加工全流程中的加工设备数据，需要采集的加工设备数据包括但不限于设备的状态、运行时间、电力消耗和燃气消耗，热处理设备的温度、时间和冷却速度，表面处理设备的处理时间、处理剂用量，钢丝拉力测试设备的测试结果等，因此，每根钢丝的加工设备数据包括多类数据。

特征数据获取模块102，用于对加工设备数据中的每类数据进行排序，获得每类数据序列，计算每类数据序列的均匀程度，根据均匀程度获得特征数据序列。

需要说明的是，通过设备运行状态进行钢丝质量的判断，由于存在一些设备在钢丝出现质量问题时出现的异常程度较小，进行孤立树划分较难将异常数据划分出来，故通过每类数据的均匀程度，获得更能够划分出异常数据的特征数据，根据特征数据进行孤立树划分。

在本实施例中，对于所有加工设备数据中的每类数据，将每类数据按照从小到大的顺序进行排序，获得每类数据序列；计算每类数据序列的均匀程度，具体计算公式为：

式中，为第j类数据序列的均匀程度，/>表示第j类数据序列中所有数据的数量，和/>分别表示第j类数据序列中第i个数据和第i-1个数据，/>和/>分别表示第j类数据序列中第1个数据和第n个数据，且/>是第j类数据序列中的最后一个数据。

需要说明的是，代表第j类数据序列中相邻两个数据的差分值，则代表了第j类数据序列的平均差分值，则/>代表第j类数据序列中相邻两个数据的差分水平，差分水平越大说明第j类数据的均匀程度越高。

进一步，将均匀程度大于预设阈值的数据序列，记为特征数据序列，实施人员可根据实际实施情况设置阈值，例如Y=0.6。

划分阈值获取模块103，用于计算每个特征数据序列中的每个数据的离群程度，根据离群程度获得每个特征数据序列的最小簇和最大簇，计算每个特征数据序列的最小簇和最大簇的波动程度，根据最小簇和最大簇的波动程度，获得每个特征数据序列的所有划分阈值。

需要说明的是，常规孤立森林算法在生成孤立树的过程中，采用随机阈值或使用大津法获取阈值，会导致不同种类的异常数据被划分在同一子树上，可能会导致异常数据经过多次划分才被孤立出来，有可能将正常数据划分到孤立子树上，导致数据的异常得分计算不准确，影响异常数据检测的效率和准确率。

1、计算每个特征数据序列中的每个数据的离群程度。

需要说明的是，在每个特征数据序列中，正常数据相互之间呈现更加紧密的状态，因此，计算每个特征数据序列中的每个数据的离群程度。

在本实施例中，计算每个特征数据序列中的每个数据的离群程度，具体计算公式为：

式中，表示第k个特征数据序列中的第t个数据的离群程度，/>分别表示第k个特征数据序列中的第t个数据和第m个数据，/>表示第k个特征数据序列中所有数据的均值，/>表示第k个特征数据序列中所有数据的数量。

需要说明的是，以第t个数据为对象，代表第t个数据与其他任意一个数据的差异，/>代表所有数据的平均值的差异与其他任意一个数据的差异，两者越不一致，则数据的离群程度越大。

2、根据离群程度获得每个特征数据序列的最小簇和最大簇。

需要说明的是，根据选取的每个特征数据进行孤立树划分的过程中，为了使每次划分阈值都能够将数据中相同种类的孤立数据划分出去，根据数据边缘处的局部离散程度获取孤立树划分阈值。考虑到对一维数据进行孤立树划分时，不论选取的划分阈值是多少，都会将数值最大值或最小值附近的若干个数据划分为异常数据，因此本实施例从数据的最大值或最小值开始进行划分，在数据的最大值和最小值附近，将离群程度较大且相邻的多个数据划分在一起，进而根据划分在一起的数据选取划分阈值。

具体的，将第k个特征数据序列中的最小值和最大值，分别作为最小簇的簇基准和最大簇的簇基准，即将第k个特征数据序列中的第一个数据和第个数据分别作为最小簇的簇基准和最大簇的簇基准，根据簇基准获得第k个特征数据序列的最小簇和最大簇，包括：

第k个特征数据序列中的前个数据组成最小簇，需要保证前/>个数据的离群程度都在/>范围内，第/>个数据的离群程度不在范围内，/>表示最小簇的簇基准的离群程度，R表示预设偏离比例，实施人员可根据实际实施情况设置偏离比例，例如R=0.2；

第k个特征数据序列中的后个数据组成最大簇，需要保证后/>个数据的离群程度都在/>范围内，第/>个数据的离群程度不在范围内，/>表示最大簇的簇基准的离群程度，/>表示第k个特征数据序列中所有数据的数量。

其中，如果第k个特征数据序列中的所有数据的离群程度都在范围内，或者第k个特征数据序列中的所有数据的离群程度都在/>范围内，则无法获得第k个特征数据序列的最小簇和最大簇。

3、计算每个特征数据序列的最小簇和最大簇的波动程度，根据最小簇和最大簇的波动程度，获得每个特征数据序列的所有划分阈值。

在本实施例中，分别计算每个特征数据序列的最小簇和最大簇的波动程度，最小簇和最大簇的波动程度计算方法相同，其中，最小簇的波动程度的计算公式为：

式中，表示第k个特征数据序列的最小簇的波动程度，/>表示第k个特征数据序列的最小簇中所有数据的数量，/>表示第k个特征数据序列的最小簇中的第a个数据，/>表示第k个特征数据序列的最小簇中所有数据的均值，/>表示第k个特征数据序列的最小簇中所有数据的极差，极差是指最大值和最小值的差值。

需要说明的是，根据最小簇和最大簇的划分流程，可以获取离群程度相当的若干个数据作为数据簇，但仅通过离群程度进行数据簇的划分可能会出现偏差，故通过数据簇内数据的波动程度衡量数据簇的优选程度，数据簇中数据的波动程度越大，说明数据簇内数据水平相差过大不适合被同时划分出去。

根据第k个特征数据序列的最小簇和最大簇的波动程度，获得第k个特征数据序列的划分阈值，具体为：如果第k个特征数据序列的最小簇的波动程度大于等于最大簇的波动程度，将最小簇的最大值作为第k个特征数据序列的划分阈值，将第k个特征数据序列的最大簇记为新的第k个特征数据序列，否则，将最大簇的最小值作为第k个特征数据序列的划分阈值，每个特征数据序列的最小簇记为新的第k个特征数据序列。

以此类推，通过多次迭代，获得新的第k个特征数据序列的最小簇和最大簇，分别计算新的第k个特征数据序列的最小簇和最大簇的波动程度，根据新的第k个特征数据序列的最小簇和最大簇的波动程度，获得新的第k个特征数据序列的新的划分阈值，直到无法获得新的第k个特征数据序列的最小簇和最大簇时，停止迭代，获得第k个特征数据序列的所有划分阈值。

异常数据筛选模块104，用于根据所有特征数据序列的所有划分阈值获得孤立森林，根据孤立森林获得异常数据，根据异常数据的数量进行设备异常预警。

在本实施例中，根据每个特征数据序列的所有划分阈值进行孤立树划分，根据所有特征数据序列的孤立树组成的孤立森林，计算每个加工设备数据的异常得分；将异常得分大于预设阈值的加工设备数据记为异常数据。

具体的，如果所有异常数据对应的钢丝的数量超过所有钢丝的数量的1%，则认为钢丝生产设备出现异常。

进一步，获取每个异常数据中每个设备数据的异常得分，将所有异常数据中每个设备数据的异常得分之和，记为对应设备的异常程度；将异常程度最大的设备作为可能异常设备，对可能异常设备进行故障检测，如果出现故障，则该设备为异常设备，对异常设备进行修理，如果无故障，将异常程度第二大的设备作为可能异常设备，对可能异常设备进行故障检测，如果出现故障，则该设备为异常设备，对异常设备进行修理，如果无故障，将异常程度第三大的设备作为可能异常设备，对可能异常设备进行故障检测，如果出现故障，则该设备为异常设备，对异常设备进行修理，以此类推，直到找出异常设备。

本发明的系统包括数据采集模块、特征数据获取模块、划分阈值获取模块和异常数据筛选模块。本发明通过每类数据序列的均匀程度，获得更能够划分出异常数据的特征数据，根据特征数据的离散程度，自适应选取划分阈值，更早地将接近特征数据的边缘且离散程度更大的数据划分出来，使每次根据划分阈值构建孤立树都能够将异常数据尽可能正确划分，提高数据的异常得分计算的准确性，进而提高异常数据检测的效率和准确率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述系统包括：

数据采集模块，用于采集钢丝加工全流程中的加工设备数据；

特征数据获取模块，用于对加工设备数据中的每类数据进行排序，获得每类数据序列，计算每类数据序列的均匀程度，根据均匀程度获得特征数据序列；

划分阈值获取模块，用于计算每个特征数据序列中的每个数据的离群程度，根据离群程度获得每个特征数据序列的最小簇和最大簇，计算每个特征数据序列的最小簇和最大簇的波动程度，根据最小簇和最大簇的波动程度，获得每个特征数据序列的所有划分阈值；

其中，所述离群程度的计算公式如下：

式中，表示第k个特征数据序列中的第t个数据的离群程度，/>分别表示第k个特征数据序列中的第t个数据和第m个数据，/>表示第k个特征数据序列中所有数据的均值，/>表示第k个特征数据序列中所有数据的数量；

其中，根据离群程度获得每个特征数据序列的最小簇和最大簇，包括的具体步骤如下：

将第k个特征数据序列中的第一个数据和第个数据分别作为最小簇的簇基准和最大簇的簇基准，根据簇基准获得第k个特征数据序列的最小簇和最大簇，包括：

第k个特征数据序列中的前个数据组成最小簇，需要保证前/>个数据的离群程度都在范围内，第/>个数据的离群程度不在/>范围内，/>表示最小簇的簇基准的离群程度，R表示预设偏离比例；

第k个特征数据序列中的后个数据组成最大簇，需要保证后/>个数据的离群程度都在范围内，第/>个数据的离群程度不在范围内，/>表示最大簇的簇基准的离群程度，/>表示第k个特征数据序列中所有数据的数量；

如果第k个特征数据序列中的所有数据的离群程度都在范围内，或者第k个特征数据序列中的所有数据的离群程度都在/>范围内，则无法获得第k个特征数据序列的最小簇和最大簇；

其中，波动程度的计算公式如下：

式中，表示第k个特征数据序列的最小簇的波动程度，/>表示第k个特征数据序列的最小簇中所有数据的数量，/>表示第k个特征数据序列的最小簇中的第a个数据，/>表示第k个特征数据序列的最小簇中所有数据的均值，/>表示第k个特征数据序列的最小簇中所有数据的极差；

其中，获得每个特征数据序列的所有划分阈值，包括的具体步骤如下：

根据第k个特征数据序列的最小簇和最大簇的波动程度，获得第k个特征数据序列的划分阈值，具体为：如果第k个特征数据序列的最小簇的波动程度大于等于最大簇的波动程度，将最小簇的最大值作为第k个特征数据序列的划分阈值，将第k个特征数据序列的最大簇记为新的第k个特征数据序列，否则，将最大簇的最小值作为第k个特征数据序列的划分阈值，每个特征数据序列的最小簇记为新的第k个特征数据序列；

以此类推，通过多次迭代，获得新的第k个特征数据序列的最小簇和最大簇，分别计算新的第k个特征数据序列的最小簇和最大簇的波动程度，根据新的第k个特征数据序列的最小簇和最大簇的波动程度，获得新的第k个特征数据序列的新的划分阈值，直到无法获得新的第k个特征数据序列的最小簇和最大簇时，停止迭代，获得第k个特征数据序列的所有划分阈值；

异常数据筛选模块，用于根据所有特征数据序列的所有划分阈值获得孤立森林，根据孤立森林获得异常数据，根据异常数据的数量进行设备异常预警。

2.根据权利要求1所述的基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述均匀程度的计算公式如下：

式中，为第j类数据序列的均匀程度，/>表示第j类数据序列中所有数据的数量，/>和分别表示第j类数据序列中第i个数据和第i-1个数据，/>和/>分别表示第j类数据序列中第1个数据和第/>个数据。

3.根据权利要求1所述的基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述获得特征数据序列，包括的具体步骤如下：

将均匀程度大于预设阈值的数据序列，记为特征数据序列。

4.根据权利要求1所述的基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述根据所有特征数据序列的所有划分阈值获得孤立森林，根据孤立森林获得异常数据，包括的具体步骤如下：

根据每个特征数据序列的所有划分阈值进行孤立树划分，根据所有特征数据序列的孤立树组成的孤立森林，计算每个加工设备数据的异常得分；将异常得分大于预设阈值的加工设备数据记为异常数据。

5.根据权利要求1所述的基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述根据异常数据的数量进行设备异常预警，包括的具体步骤如下：

如果所有异常数据对应的钢丝的数量超过所有钢丝的数量的1%，则认为钢丝生产设备出现异常；

获取每个异常数据中每个设备数据的异常得分，将所有异常数据中每个设备数据的异常得分之和，记为对应设备的异常程度；

将异常程度最大的设备作为可能异常设备，对可能异常设备进行故障检测，如果出现故障，则该设备为异常设备，对异常设备进行修理，如果无故障，按照异常程度的取值从大到小的顺序依次进行故障检测，直到找出异常设备。

6.根据权利要求1所述的基于数据处理的钢丝加工全流程集成化管理系统，其特征在于，所述采集钢丝加工全流程中的加工设备数据，包括的具体步骤如下：

采集每根钢丝的加工全流程中的加工设备数据，加工设备数据包括多类数据，具体为：设备的状态、运行时间、电力消耗和燃气消耗，热处理设备的温度、时间和冷却速度，表面处理设备的处理时间、处理剂用量，钢丝拉力测试设备的测试结果。