CN116582133B - 一种变压器生产过程数据智能管理系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种变压器生产过程数据智能管理系统，包括：数据采集模块，用于获取所有数据；数据分类模块，用于对所有数据进行分组得到若干组数据；通过所有任意两组数据组的差异对所有组数据进行归类得到若干类簇；数据分析模块，对所有类簇进行分析，获取所有类簇中各种字符的最优概率占比；根据所有类簇中各种字符的最优概率占比，获取所有类簇的最优有限状态熵编码的状态表。数据压缩模块，通过所有类簇的最优有限状态熵编码的状态表对各个类簇使用有限状态熵编码算法进行数据压缩。本发明通过减少状态表的数量，从而达到提高数据压缩速度的目的。

Description

一种变压器生产过程数据智能管理系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种变压器生产过程数据智能管理系统。

背景技术

在变压器生产过程中，需要对各个环节的数据进行管理和分析，以确保生产过程的稳定性和质量。然而，由于变压器生产过程中产生的数据量庞大，涉及到的数据种类繁多。这些数据量巨大，如果不加以压缩处理，将占用大量的存储空间和网络带宽。

在传统的压缩编码中，有限状态熵编码的压缩速度与压缩率均较高，但是对于数据量过大的数据需要构造比较大的状态表，状态表过大时，编码和解码的速度会变慢，导致系统性能下降。因此，在使用有限状态熵编码对数据进行压缩时，需要合理控制状态表的大小，以平衡性能和资源消耗。

而本发明通过对数据进行分组，根据分组间的概率差异对数据进行自适应归类，使归类后的数据概率分布尽可能相同，并根据归类后的分组中的同一字符分布概率，得到该字符在状态表中的最优概率占比，从而得到该类簇所对应的最优状态表，使该类簇中的所有分组数据可利用同一个状态表进行压缩处理，可以减少状态表的数量，从而提高数据压缩速度。

发明内容

本发明提供一种变压器生产过程数据智能管理系统，以解决现有的问题。

本发明的一种变压器生产过程数据智能管理系统采用如下技术方案：

本发明一个实施例提供了一种变压器生产过程数据智能管理系统，该系统包括以下模块：

数据采集模块，用于采集变压器生产过程中的数据并进行预处理，获取所有数据；

数据分类模块，用于对所有数据进行分组得到若干组数据，每种组数据中包含若干字符，将各组数据中各种字符数量与数据组中所有字符数量的比值作为数据组中各种字符的概率占比；通过数据组中各种字符的概率占比获取任意两组数据组的差异；根据任意两组数据组的差异对所有组数据进行归类得到若干类簇；

数据分析模块，根据所有类簇中每个数据组中的每种字符的概率以及每种字符在对应类簇中的概率均值，获取所有类簇中各种字符的最优概率占比；根据所有类簇中各种字符的最优概率占比，获取所有类簇的最优有限状态熵编码的状态表；

数据压缩模块，通过所有类簇的最优有限状态熵编码的状态表对各个类簇使用有限状态熵编码算法进行数据压缩。

优选的，所述得到若干组数据，包括的具体步骤如下：

以所有数据中前个字符为第1组数据，第/>个字符到第/>个数据为第2组数据，第/>个字符到第/>个数据为第3组数据，以此类推，直至剩余的字符数量小于/>为止，并将剩余的字符作为最后一组数据，完成对数据的分组，得到各组数据；其中/>为对数据分组后，组内数据的数量。

优选的，所述获取所有任意两组数据组的差异，包括的具体计算公式如下：

式中，表示第/>组与第/>组数据组的差异；/>表示第/>种字符在第/>组中的概率占比；/>表示第/>种字符在第/>组中的概率占比；/>表示在整个数据样本中的所有字符种类数。

优选的，所述对所有组数据进行归类得到若干类簇，包括的具体步骤如下：

预设一个数据组间差异阈值，当数据组之间的差异/>,则说明数据组之间数据的差异小，反之则说明数据组之间数据的差异大；

将第1个数据组记为第1起始数据组，并从第1起始数据组开始，将所有数据中与第1起始数据组之间数据的差异小的数据组和第1起始数据组，分为同一个类簇，并记为第一类簇；

将第1类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第2起始数据组；再从第2起始数据组开始，将剩下的数据组中与第2起始数据组之间数据的差异小的数据组和第2起始数据组，分为同一类簇，并记为第二类簇；

将第一与第二类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第3起始数据组；再从第3起始数据组开始，将剩下的数据组中与第3起始数据组之间数据的差异小的数据组和第3起始数据组，分为同一类簇，并记为第三类簇；

将第一、第二类和第三簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第4起始数据组；再从第4起始数据组开始，将剩下的数据组中与第4起始数据组之间数据的差异小的数据组和第4起始数据组，分为同一类簇，并记为第四类簇；

以此类推，直至所有的数据组的归类完成。

优选的，所述获取所有类簇中各种字符的最优概率占比，包括的具体计算公式如下：

式中，表示类簇中第/>种字符的最优概率；/>表示类簇中第/>个数据组内的第/>种字符的概率；/>表示第/>种字符在类簇中的概率均值；/>表示第/>种字符在类簇中的概率均值与类簇中所有数据组中第/>种字符的概率的最大差值；/>表示类簇中数据组的数量。

本发明的技术方案的有益效果是：在传统有限状态熵编码算法压缩中，对于数据量过大的数据需要构造比较大的状态表，状态表过大时，编码和解码的速度会变慢，导致系统性能下降。因此，在使用有限状态熵编码对数据进行压缩时，需要合理控制状态表的大小，以平衡性能和资源消耗。

而本发明通过对数据进行分组，根据分组间的概率差异对数据进行自适应归类，使归类后的数据概率分布尽可能相同，并根据归类后的分组中的同一字符分布概率，得到该字符在状态表中的最优概率占比，从而得到该类簇所对应的最优状态表，使该类簇中的所有分组数据可利用同一个状态表进行压缩处理，可以减少状态表的数量，从而提高数据压缩速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种变压器生产过程数据智能管理系统的系统框架图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种变压器生产过程数据智能管理系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种变压器生产过程数据智能管理系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种变压器生产过程数据智能管理系统的系统框架图，该系统包括以下模块：

数据采集模块101：采集变压器生产过程中的数据，并对采集到的数据进行预处理。

需要说明的是，变压器生产过程中的数据是指在变压器的设计、制造、测试和质量控制过程中用于验证设计的合理性、评估产品的性能和质量以及指导生产工艺的优化和改进的数据。在生产过程中，常见的数据包括：设计数据、原材料数据、绕组数据、磁路数据、损耗数据、效率数据、温度数据、测试数据。通过采集这些数据达到监管变压器生产目的。

具体的通过各项传感器采集变压器生产过程中的各项数据，并将采集到的单个数据记为字符，将采集到的数据记为所有数据。

数据分类模块102：遍历所有数据，获取各个字符的分布位置，对数据进行分组，通过各组的数据，计算各组数据间的概率差异，根据各组数据间的概率差异对数据组进行归类处理。

需要说明的是，变压器的生产过程中存在许多参数在生产过程中是不变化的，因此变压器生产过程中的数据存在大量的局部重复性。而有限状态熵编码对数据进行压缩的过程中，可以利用不同的状态表对同一组数据进行压缩，在压缩时，需要压缩的数据中各个字符的概率与状态表中的各个字符的概率分布越接近，则压缩的效果越好。因此，为了减少状态表的使用，需要对数据进行分组，尽可能使尽可能多的组内数据概率分布相同，在数据进行压缩时，可使用尽可能少的状态表进行压缩，减少构建状态表所需要的时间。

需要进一步说明的是，在获取到的数据样本中，由于各个字符的分布位置不同，所以需要根据各个字符的分布位置对数据进行分组。

具体的，需要遍历数据，获取各个字符的分布位置，可以依照数据顺序将每个数据分为一组，在对数据进行分组时，若最后一组的数据量小于/>时，则最后一组的数据量为剩余的数据量，不进行补码操作。所述/>值为对数据分组后，组内数据的数量，在本实施例中以/>，进行叙述。其中，所有数据中前100个字符为第1组数据，第101个字符到第200个数据为第2组数据，第201个字符到第300个数据为第3组数据，以此类推，直至剩余的字符数量小于/>为止，并将剩余的字符作为最后一组数据，完成对数据的分组，得到各组数据。

需要说明的是，由于在数据中各个字符的局部分布概率不同，所以如果要对数据分组后利用同一状态表进行压缩，则会导致压缩效果差。因此需要对各个分组进行归类处理，使每一类簇中的概率差异尽可能小，在对其进行压缩时，可利用同一状态表进行压缩，达到提升压缩效果的目的。

具体的，计算每一分组的字符分布概率，并根据这些字符分布概率计算组间的概率差异对数据进行归类处理，使同一类簇中的数据分布概率尽可能相同。

首先计算每一个分组中的各个字符概率占比，计算公式如下：

式中，表示第/>种字符在第/>组中的概率占比；/>表示第/>种字符在第/>组的出现频次；/>表示第/>组中的字符数量；

同理得到所有数据组中的各种字符的概率占比。

然后两两计算，各组数据间的概率差异；

具体的，以两个数组间所有同类字符概率占比的差异之和，与数据中所有字符的种类数量的比值作为这两个数据组之间的概率差异。具体的计算公式为：

式中，表示第/>组与第/>组数据组的差异；/>表示第/>种字符在第/>组中的概率占比；/>表示第/>种字符在第/>组中的概率占比；/>表示在整个数据样本中的所有字符种类数(若在某一分组数据样本中，某个字符没有出现，则记该字符在该分组中的概率为0)。

其中，若第组与第/>组之间的同一类字符越接近，则/>就越小，即第/>组与第/>组数据之间的差异越小；反之则第/>组与第/>组数据之间的差异越大。

同理得所有任意两组数据组的差异。

最后，预设一个数据组间差异阈值，在本实施例中设置/>进行叙述，其中/>可结合具体场景自行设置，不做具体限制。若所计算的两个数据组之间数据的差异/>，则说明这两个数据组之间数据的差异较小，故将这两个数据组归为同一类簇；反之则说明这两个数据组之间数据的差异较大，不能将这两个数据组归为同一类簇。

从第1组数据开始，将第1组数据和与第1组数据之间数据的差异较小的数据组，分为同一个类簇，并记为第一类簇；

将第1类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第2起始数据组；再从第2起始数据组开始，将剩下的数据组中与第2起始数据组之间数据的差异较小的数据组和第2起始数据组，分为同一类簇，并记为第二类簇；

将第一与第二类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第3起始数据组；再从第3起始数据组开始，将剩下的数据组中与第3起始数据组之间数据的差异较小的数据组和第3起始数据组，分为同一类簇，并记为第三类簇；

将第一、第二类和第三簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第4起始数据组；再从第4起始数据组开始，将剩下的数据组中与第4起始数据组之间数据的差异较小的数据组和第4起始数据组，分为同一类簇，并记为第四类簇；

重复上述操作，直至所有的数据组的归类完成。

至此，完成了对数据组的归类。

数据分析模块103：分析所有类簇中的所有数据组，计算所有类簇中各种字符的最优概率占比，得到所有类簇的最优有限状态熵编码的状态表。

需要说明的是，根据分组间的概率差异对数据进行归类后，可使每一类簇中的所有分组中的各个字符的概率都比较接近。利用有限状态熵编码对该类簇的数据进行压缩时，可使用同一个状态表。但是同一类簇的各个分组中的概率分布依然存在微小差异，在对其压缩时，需要分析该类簇中的概率分布情况，得到类簇所对应的有限状态熵编码的最优状态表，以提高有限状态熵编码的压缩效果。

需要进一步说明的是，虽然在同一类簇中，通过相似度阈值对数据进行归类，但是即使在同一类簇中，同一个字符的概率依然存在差异，为了避免个别字符概率与整体字符概率差异较大，需要对所有概率赋予权值，使与平均概率差异越小的数据权值越大，与平均概率差异越大的数据权值越小。

具体的计算公式如下：

式中，表示类簇中第/>种字符的最优概率；/>表示类簇中第/>个数据组内的第/>种字符的概率；/>表示第/>种字符在类簇中的概率均值；/>表示第/>种字符在类簇中的概率均值与类簇中所有数据组中第/>种字符的概率的最大差值；/>表示类簇中数据组的数量。

其中，表示第/>个数据组中第/>种字符的概率权值，由于该概率与平均概率的差值越大，则权值越小；该概率与平均概率的差值越小，则权值越大；因此根据各个分组中的概率与平均概率的差异，对各个分组中的概率赋予权值，使整体概率都趋于概率较为集中的部分。

至此，计算出了每一类簇中的各个字符所对应的最优概率。

需要说明的是，由于类簇中的各个字符的最优概率之和不等于1，因此，需要计算类簇中各个字符的最优概率比例，令所有字符的最优概率之和等于1，即对类簇中的各个字符的最优概率进行归一化。

具体的，就是通过类簇中一类字符的最优概率，与类簇中所有字符的最优概率之和的比值，就是归一化后类簇中的各个字符的最优概率。

再通过归一化后类簇中的各个字符的最优概率，生成有限状态熵编码的状态表，即为最优有限状态熵编码的状态表。由于根据概率生成有限状态熵编码的状态表作为一种现有的公知技术，故不在本实施例中进行详细描述。

至此，得到了各个类簇的最优有限状态熵编码的状态表。

数据压缩模块104：根据每一类簇中各个字符的最优概率构建状态表，并根据状态表对数据进行压缩。

根据得到的各个类簇的最优有限状态熵编码的状态表，对各个类簇使用有限状态熵编码算法进行数据压缩，而有限状态熵编码算法作为一种公知的现有技术，故不在本实施例中进行详细描述。

经过上述操作，使得在对数据进行有限状态熵编码算法压缩时，极大地减少了压缩过程中构建状态表所需要的压缩时间的目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种变压器生产过程数据智能管理系统，其特征在于，该系统包括以下模块：

数据采集模块，用于采集变压器生产过程中的数据并进行预处理，获取所有数据；

数据分类模块，用于对所有数据进行分组得到若干组数据，每种组数据中包含若干字符，将各组数据中各种字符数量与数据组中所有字符数量的比值作为数据组中各种字符的概率占比；通过数据组中各种字符的概率占比获取任意两组数据组的差异；根据任意两组数据组的差异对所有组数据进行归类得到若干类簇； 所述得到若干组数据，包括的具体步骤如下：

以所有数据中前k个字符为第1组数据，第k+1个字符到第2k个数据为第2组数据，第2k+1个字符到第3k个数据为第3组数据，以此类推，直至剩余的字符数量小于k为止，并将剩余的字符作为最后一组数据，完成对数据的分组，得到各组数据；其中k为对数据分组后，组内数据的数量；

数据分析模块，根据所有类簇中每个数据组中的每种字符的概率以及每种字符在对应类簇中的概率均值，获取所有类簇中各种字符的最优概率占比；根据所有类簇中各种字符的最优概率占比，获取所有类簇的最优有限状态熵编码的状态表；

所述获取所有类簇中各种字符的最优概率占比，包括的具体计算公式如下：

式中，表示类簇中第/>种字符的最优概率；/>表示类簇中第/>个数据组内的第/>种字符的概率；/>表示第/>种字符在类簇中的概率均值；/>表示第/>种字符在类簇中的概率均值与类簇中所有数据组中第/>种字符的概率的最大差值；/>表示类簇中数据组的数量；

数据压缩模块，通过所有类簇的最优有限状态熵编码的状态表对各个类簇使用有限状态熵编码算法进行数据压缩。

2.根据权利要求1所述一种变压器生产过程数据智能管理系统，其特征在于，所述获取所有任意两组数据组的差异，包括的具体计算公式如下：

式中，表示第/>组与第/>组数据组的差异；/>表示第/>种字符在第/>组中的概率占比；/>表示第/>种字符在第/>组中的概率占比；/>表示在整个数据样本中的所有字符种类数。

3.根据权利要求1所述一种变压器生产过程数据智能管理系统，其特征在于，所述对所有组数据进行归类得到若干类簇，包括的具体步骤如下：

预设一个数据组间差异阈值，当数据组之间的差异/>,则说明数据组之间数据的差异小，反之则说明数据组之间数据的差异大；

将第1个数据组记为第1起始数据组，并从第1起始数据组开始，将所有数据中与第1起始数据组之间数据的差异小的数据组和第1起始数据组，分为同一个类簇，并记为第一类簇；

将第1类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第2起始数据组；再从第2起始数据组开始，将剩下的数据组中与第2起始数据组之间数据的差异小的数据组和第2起始数据组，分为同一类簇，并记为第二类簇；

将第一与第二类簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第3起始数据组；再从第3起始数据组开始，将剩下的数据组中与第3起始数据组之间数据的差异小的数据组和第3起始数据组，分为同一类簇，并记为第三类簇；

将第一、第二类和第三簇中的数据组从所有数据组中去除，并将剩下的数据组中的第1个数据组记为第4起始数据组；再从第4起始数据组开始，将剩下的数据组中与第4起始数据组之间数据的差异小的数据组和第4起始数据组，分为同一类簇，并记为第四类簇；

以此类推，直至所有的数据组的归类完成。