CN112286674A - 一种基于边缘计算的行转列方法及系统 - Google Patents

Abstract

本发明公开了一种基于边缘计算的行转列方法及系统，该方法包括：通过边缘计算获取工业设备运行的隐形数据；将所述隐形数据，通过转换引擎转换为预设格式的数据；将转换后预设格式的数据，加密提交到服务端；所述服务端根据接收到的加密数据，校验后生成结构化数据结构。该方法通过基于边缘计算的格式转换，大大的降低了数据存储压力，为后期数据加工运算降低了难度；同时提升了边缘计算终端的运算能力。保障了在工业互联网领域大数据、及时性、高可用有了更高的保障。此组合型独特的转换算法改变了原有传统的算法模式，提高了系统的运转效率，降低了客户在存储空间的成本，也让工业互联网设备上云的门槛得到了有效的降低。

Description

一种基于边缘计算的行转列方法及系统

技术领域

本发明涉及计算机应用技术领域，特别涉及一种基于边缘计算的行转列方法及系统。

背景技术

随着工业互联网的不断发展，边缘计算设备的出现，让IT与OT的融合成为了现实，通过边缘计算设备，利用标准的RS485、RS232、以太网等多种通讯协议将各类的生产设备建立有机的连接，将以往完全不可见的设备内部运行情况进行源数据的采集，由于各种生产设备每天产生的海量碎片化数据，为了追溯与还原整个设备的真实运行情况，在软件应用层不得不将目前所有的数据进行转换并存储成为结构化数据，按照传统数据处理方式，每采集一个模拟量的数据都将是一条横向的记录，而每种设备少则20个模拟量，多则数百个模拟量，这样的传统数据存储方式，导致了海量的数据产生，占用了大量的数据库资源，并且对后期数据的汇总与分析带来了巨大的压力。

目前边缘计算采集回来的数据，全部采取每个模拟量每分钟一条数据，每条数据作为一行记录。

举个列子来说，如果一台生产设备有20个模拟量，每分钟采集一次，哪么每台设备每分钟产生20条记录，当有20台的生产设备时，这20台生产设备每天将产生57.6万条数据。一个生产制造企业，平均的设备数比如在200台左右，那么单个企业每天生产设备产生的数据将在576万条。那么工业互联网平台的数据存储、运算、汇总、分析等将占用大量的资源，资源的利用率极其低下，运算难度成几何式增长。导致产生如下不足：

1、海量的数据存储造成存储资源投入过大；

2、数据以单个模拟量一行记录，后期无法高效的数据汇总分析；

3、单表数据过大时，造成系统从插入、查询响应过慢；

因此，如何降低数据存储压力，为后期数据汇总与分析提供有力支撑，是目前同行从业人员亟待解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于边缘计算的行转列方法及系统。

第一方面，本发明实施例提供一种基于边缘计算的行转列方法，包括：

通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

将所述隐形数据，通过转换引擎转换为预设格式的数据；

将转换后预设格式的数据，加密提交到服务端；

所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

在一个实施例中，通过边缘计算获取工业设备运行的隐形数据，包括：

通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

连接后采集工业设备运行的隐形数据并清洗。

在一个实施例中，将所述隐形数据，通过转换引擎转换为预设格式的数据，包括：

通过转换引擎，对所述二进制和十六进制数据进行转换；

转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

在一个实施例中，将转换后预设格式的数据，加密提交到服务端，包括：

将JSON数据格式，通过MD5、BASE64或DES方式加密后提交到服务端。

在一个实施例中，所述服务端根据接收到的加密数据，校验后生成结构化数据结构，包括：

所述服务端根据所述转换引擎的加密方式，采用相对应的解密方式进行解密校对；

当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

第二方面，本发明还提供一种基于边缘计算的行转列系统，包括：

获取模块，用于通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

转换模块，用于将所述隐形数据，通过转换引擎转换为预设格式的数据；

提交模块，用于将转换后预设格式的数据，加密提交到服务端；

生成模块，用于所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

在一个实施例中，所述获取模块，包括：

连接子模块，用于通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

采集清洗子模块，用于连接后采集工业设备运行的隐形数据并清洗。

在一个实施例中，所述转换模块，包括：

转换子模块，用于通过转换引擎，对所述二进制和十六进制数据进行转换；

生成子模块，用于转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

在一个实施例中，所述提交模块，具体用于将JSON数据格式，通过MD5、BASE64或DES方式加密后提交到服务端。

在一个实施例中，所述生成模块，包括：

解密子模块，用于所述服务端根据所述转换引擎的加密方式，采用相对应的解密方式进行解密校对；

生成及存储子模块，用于当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

本发明实施例提供的一种基于边缘计算的行转列方法，通过基于边缘计算的格式转换，大大的降低了数据存储压力，为后期数据加工运算降低了难度；同时提升了边缘计算终端的运算能力。保障了在工业互联网领域大数据、及时性、高可用有了更高的保障。此组合型独特的转换算法改变了原有传统的算法模式，提高了系统的运转效率，降低了客户在存储空间的成本，也让工业互联网设备上云的门槛得到了有效的降低。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的基于边缘计算的行转列方法的流程图。

图2为本发明实施例提供步骤S1的流程图。

图3为本发明实施例提供步骤S2的流程图。

图4为本发明实施例提供的基于边缘计算的行转列方法的时序图。

图5为本发明实施例提供的基于边缘计算的行转列系统的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1所示，本发明实施例提供的一种基于边缘计算的行转列方法，包括：

S1、通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

S2、将所述隐形数据，通过转换引擎转换为预设格式的数据；

S3、将转换后预设格式的数据，加密提交到服务端；

S4、所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

本实施例中，通过基于边缘计算的格式转换，大大的降低了数据存储压力，为后期数据加工运算有了一个质的变化，同时提升了边缘计算终端的运算能力。保障了在工业互联网领域大数据、及时性、高可用有了更高的保障。此组合型独特的转换算法改变了原有传统的算法模式，提高了系统的运转效率，降低了客户在存储空间的成本，也让工业互联网设备上云的门槛得到了有效的降低。

下面分别对上述各个步骤进行详细说明。

在一个实施例中，上述步骤S1，参照图2所示，包括：

S11、通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

S12、连接后采集工业设备运行的隐形数据并清洗。

本实施例中，比如根据工业协议的RS485或RS232接口标准，与工业设备的(PLC，Programmable Logic Controller)控制系统或DCS系统进行连接，其中，DCS系统是分布式控制系统的英文缩写(Distributed Control System)，在国内自控行业又称之为集散控制系统。

连接后采集工业设备运行的隐形数据并进行清洗，工业设备，比如环保除尘设备、废气处理设备、脱硫脱硝设备、3D打印设备等；清洗过程，比如对采集的数据，进行重新审查和校验，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。为后期数据格式转换，提供便捷，减少冗余。

在一个实施例中，上述步骤S2参照图3所示，包括：

S21、通过转换引擎，对所述二进制和十六进制数据进行转换；

S22、转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

比如获取的：二进制数据：

{10011111000100111001100011001110110011100111010111111110001101011001011111011010010101111101000011000100110000001110100011010000111001101001000000110110000000000011101110001010011011110101001100011001000110101101111010100110}

转换后为：{鼓风机：时间10:49分、温度25度}。

再比如将多行数据：

{1、鼓风机：时间10:49分、温度25度}

{2、鼓风机：时间11:49分、温度40度}

{3、鼓风机：时间12:49分、温度65度}

{4、鼓风机：时间xx、温度xx度}

进行拆分，以时间、温度作为列名，转换为列数据后如表1所示：

鼓风机：

ID	时间	温度
			1	10:49	25
2	11:49	40
			3	12:49	65
4	…	…

表1

然后进一步比如将表1中第一条数据转换为JSON数据：

object{鼓风机}

ID:1

Time:10:49

temperature:25

field:value

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。

转换为JSON数据格式后，再通过MD5、BASE64或DES方式加密后提交到服务端，服务端根据收到的数据，采用相对应的解密方式进行解密校对；当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

以MD5加密和解密为例：

1.加密过程：客户端传输数据，包含两部分，一部分原始数据，一部分签名。签名就是对原始数据MD5加密后的字节序列。而原始数据就是普通的string字符串。

2.服务器端：将收到的原始数据，进行MD5解密后得到字节序列，将这个字节序列与传输过来的sign的value，进行对比。如果俩sign值一样，则数据没有被破坏，认证解密成功。

下面通过一个完整实施例用于解释说明本发明提供的技术方案：

参照图4所示，其具体实施可参照如下步骤1～5，

步骤1：将生产设备运行过程中生产了大量的隐性数据，而这些隐性数据是未来工业仿真及数字孪生的基础。

步骤2：通过边缘计算将生产设备的各种运行数据进行采集，数据格式以二进制、十六进制为主，数据采集后调用边缘计算本地转换引擎。

步骤3：转换引擎接收到边缘计算设备转换的指令，将各种数据进行格式化后，用虚拟量编码作为列，将虚拟量实际的源数据作为行级数据源，转换成功后生成可执行的JSON数据格式向协议服务端进行加密提交。

步骤4：协议服务端在收到转换引擎提交的可执行JSON数据格式，通过数据格式进行较验并生成创建数据结构。

步骤5：生成结构化数据结构后，用于时时采集生产设备的运行数据，自动匹配并存储到到指定的列数据。

在本实施例中，通过新的边缘计算行转列算法，能快速的将海量的数据完成转换，将采集来的二进制、十六进制等相关数据，通过自动适配的方式进行转列，将原来的行级数据，通过列的方式进行存储，对数据的存储空间缩小了近5倍，且每台边缘计算的数据采取了统一存储的方式，大大的降低了数据存储的压力，为后期数据汇总与分析提供了有力的支撑，便于更好的服务用户。

基于同一发明构思，本发明实施例还提供了一种基于边缘计算的行转列系统，由于该系统所解决问题的原理与前述基于边缘计算的行转列方法相似，因此该系统的实施可以参见前述方法的实施，重复之处不再赘述。

第二方面，本发明还提供一种基于边缘计算的行转列系统，参照图5所示，包括：

获取模块51，用于通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

转换模块52，用于将所述隐形数据，通过转换引擎转换为预设格式的数据；

提交模块53，用于将转换后预设格式的数据，加密提交到服务端；

生成模块54，用于所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

在一个实施例中，所述获取模块51，包括：

连接子模块511，用于通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

采集清洗子模块512，用于连接后采集工业设备运行的隐形数据并清洗。

在一个实施例中，所述转换模块52，包括：

转换子模块521，用于通过转换引擎，对所述二进制和十六进制数据进行转换；

生成子模块522，用于转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

在一个实施例中，所述提交模块53，具体用于将JSON数据格式，通过MD5、BASE64或DES方式加密后提交到服务端。

在一个实施例中，所述生成模块54，包括：

解密子模块541，用于所述服务端根据所述转换引擎的加密方式，采用相对应的解密方式进行解密校对；

生成及存储子模块542，用于当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于边缘计算的行转列方法，其特征在于，包括：

通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

将所述隐形数据，通过转换引擎转换为预设格式的数据；

将转换后预设格式的数据，加密提交到服务端；

所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

2.如权利要求1所述的方法，其特征在于，通过边缘计算获取工业设备运行的隐形数据，包括：

通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

连接后采集工业设备运行的隐形数据并清洗。

3.如权利要求1所述的方法，其特征在于，将所述隐形数据，通过转换引擎转换为预设格式的数据，包括：

通过转换引擎，对所述二进制和十六进制数据进行转换；

转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

4.如权利要求3所述的方法，其特征在于，将转换后预设格式的数据，加密提交到服务端，包括：

将JSON数据格式，通过MD5、BASE64或DES方式加密后提交到服务端。

5.如权利要求4所述的方法，其特征在于，所述服务端根据接收到的加密数据，校验后生成结构化数据结构，包括：

所述服务端根据所述转换引擎的加密方式，采用相对应的解密方式进行解密校对；

当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

6.一种基于边缘计算的行转列系统，其特征在于，包括：

获取模块，用于通过边缘计算获取工业设备运行的隐形数据；所述隐形数据包括：二进制和十六进制格式数据；

转换模块，用于将所述隐形数据，通过转换引擎转换为预设格式的数据；

提交模块，用于将转换后预设格式的数据，加密提交到服务端；

生成模块，用于所述服务端根据接收到的加密数据，校验后生成结构化数据结构。

7.如权利要求6所述的系统，其特征在于，所述获取模块，包括：

连接子模块，用于通过边缘计算，根据工业协议与工业设备的PLC或DCS进行连接；

采集清洗子模块，用于连接后采集工业设备运行的隐形数据并清洗。

8.如权利要求6所述的系统，其特征在于，所述转换模块，包括：

转换子模块，用于通过转换引擎，对所述二进制和十六进制数据进行转换；

生成子模块，用于转换后对数据进行分拆，以虚拟量作为列名，将所述虚拟量对应的源数据作为行级数据源，生成JSON数据格式。

9.如权利要求8所述的系统，其特征在于，所述提交模块，具体用于将JSON数据格式，通过MD5、BASE64或DES方式加密后提交到服务端。

10.如权利要求9所述的系统，其特征在于，所述生成模块，包括：

解密子模块，用于所述服务端根据所述转换引擎的加密方式，采用相对应的解密方式进行解密校对；

生成及存储子模块，用于当解密校对的结果成功后，在数据存储器上生成结构化数据结构，存储虚拟量数据。

Images