CN115659214A

CN115659214A - 一种基于PaaS平台的能源行业数据可信评价方法

Info

Publication number: CN115659214A
Application number: CN202211231619.4A
Authority: CN
Inventors: 王海; 徐琳; 王永刚; 王志文; 刘国华; 韩旭; 刘长川; 李巍; 董欢欢; 丁琦; 赵帅; 樊想
Original assignee: Zhongneng Integrated Smart Energy Technology Co Ltd
Current assignee: Zhongneng Integrated Smart Energy Technology Co Ltd
Priority date: 2022-10-09
Filing date: 2022-10-09
Publication date: 2023-01-31

Abstract

本发明公开了一种基于PaaS平台的能源行业数据可信评价方法，包括贯穿数据产生、采集、传输、评价和应用的全过程，其中的数据产生、采集、传输主要在厂站侧/采集传输侧进行，评价和应用在公司侧/PaaS平台侧进行，其中PaaS侧的可信评价模块是核心和关键。所述的数据产生主要由源端设备产生，数据采集主要由传感器、远传仪表、采集卡等设备构成，数据传输主要由传输网络和两端的通讯装置构成，源端设备可信评价、采集设备可信评价、传输设备可信评价是对自身可信度进行评价。本发明促进了能源行业进行数据分析的安全性和可靠性，数据价值得到了提高，数字化转型得到了有效支撑。

Description

一种基于PaaS平台的能源行业数据可信评价方法

技术领域

本发明涉及能源行业技术领域，具体为一种基于PaaS平台的能源行业数据可信评价方法。

背景技术

数据可信评价是对通过对涉及数据全过程的设备来源、采集设备、传输设备及传输的数据等进行可信评价，从而确保数据来源、传输、使用的一致性，确保数据能够表达设备的原始真实状态，通过对设备来源可信评价、采集可信评价、传输可信评价以及承载的生产业务数据进行综合的数据可信评价计算分析，并进行可信度分类，确保得到的数据具有明确的可信分类标签，以便选用可信数据来有效支撑业务应用的分析和处理。源端设备的可信评价主要通过有原始厂家的合格认证并且设备在役状态来进行，确保源端设备符合工艺流程要求，可以信赖；采集设备的可信评价主要是通过技术指标的第三方的检测认证、采集时钟准确性、采集分辨率合格、有合格检定证书且在检定有效期内等指标来进行，确保采集的数据准备能反映设备状态；数据传输通讯设备的可信评价，主要通过对设备支持的区块链加密算法进行处理和验证确保传输的可靠，经过第三方测试验证的区块链加密传输可以确保数据传输不被篡改。能源行业涉及到庞大的数据，但只有可信的数据才能发挥数据的价值，数据的可信度随着源端设备的维修替换、采集设备的零点漂移、传输设备的故障和工艺状态的运行都在时刻随时间进行变化，因此对庞大的能源数据进行可信评价，是能源行业安全可靠发展的关键，所以就需要一种基于PaaS平台的能源行业数据可信评价方法。

发明内容

本发明的目的在于提供一种基于PaaS平台的能源行业数据可信评价方法；

本发明是这样实现的：

一种基于PaaS平台的能源行业数据可信评价方法，包括厂站侧/采集端的数据产生、采集、传输和公司侧/PaaS平台侧的数据评价和应用。其中数据的产生主要由源端设备产生数据，数据采集主要由传感器、远传仪表、采集卡等设备进行数据采集，数据传输主要由传输网络和两端的通讯装置构成，源端设备可信评价、采集设备可信评价、传输设备可信评价是对设备自身的可信度进行评价，并将可信评价原始数据和设备自身的可信评价结果数据以及所承载的生产业务数据发送到PaaS平台进行数据可信评价。

所述PaaS平台的数据可信评价模块包括进行构建样本库、基于Spark 进行模型训练形成算法模型、基于训练模型对输入数据进行实时可信评价计算及存储。所述可信评价方法通过数据可信评价模块进行承载，并可以进行数据不可信、数据可信和数据完全可信的评价计算和分类。

进一步，本发明提供的一种基于PaaS平台的能源行业数据可信评价方法，具体按以下步骤执行：

S₁:基于已有的数据，通过对历史生产业务数据和可信度数据进行筛选、清洗和过滤之后并人工标注可信分类标签，其中生产业务历史数据按照不可信、可信、完全可信的分类标签准备一个检修周期(一般为一年)的历史数据，其中采集来的可信评价历史数据按照对应的组织和时间维度的源端设备、采集设备、数据传输与流通设备的可信评价原始数据和设备自身的可信评价结果数据进行准备。样本库按照80％为训练集20％为测试集进行区分，或根据训练进度要求动态进行区分；

S₂:通过对上述处理后的样本数据，基于人工神经网络ANN算法基于Spark 分布式计算进行模型训练，得到数据可信评价的可信度算法模型。

其中，人工神经网络ANN算法的原理如图2所示，神经网络有三层结构：输入层，隐藏层，输出层构成。在输入层，对神经网络输入变量；在隐藏层和输出层，进行计算并输出，在神经网络的隐藏层上，存在着依靠激活函数来进行运算的“神经元”。

输入由M个输入变量构成的向量，如下：

神经网络有N个的神经元，只有一个最终的输出变量，如下：

在输入层进入隐藏层的时候，神经网络是进行下述计算的：

z＝xw^T+b₀，

其中，矩阵W是连接输入层与隐藏层的桥梁，，每个神经元上都有一个常数变量b0，N个神经元有N的bias，所以构成了一个常数向量b0，在隐藏层的神经元接收到了向量z之后，神经元会进行激活函数的计算，如下：

其中，激活函数有多种选择，结合样本数据特性，激活函数选择，如下：

神经网络的计算函数如下：

y＝σ(xw^T+b₀)θ+b₁，

人工神经网络ANN算法的训练方式是反向传播算法，反向传播算法有两个要素，其核心是：正向计算得到误差函数，反向求导梯度下降。

训练其实就是使得定义的误差函数最小化，误差函数如下：

通过周期更新神经网络的自身变量，使得神经网络的误差函数在更新之后的自身变量下缩小，是梯度下降，如下：

其中，r是学习速率，代表了神经网络的学习速度与质量。r的选取，是一个要权衡利弊，r太小，梯度下降太慢，训练时间很长；r太大，可能无法训练成功不收敛，所以学习速率r的选择需要结合数据样本和模型特性在训练过程中调整。

S₃:通过数据传输和通讯单元将各个模块的评价数据及承载的生产业务数据传输到PaaS平台，作为数据可信评价的输入数据供可信评价计算使用；

S₄:将传输到PaaS平台的评价和生产业务数据通过训练好的模型进行可信评价计算，获得数据的可信度和可信分类标签，其中可信评价数据在区间 (μ-σ,μ+σ)内为完全可信数据，在区间(μ-2.58σ,μ-σ)和区间(μ+σ，μ+2.58σ)内为可信数据，在区间(μ-2.58σ,μ+2.58σ)之外为不可信数据；

S₅:通过计算得到的可信、不可信或者完全可信标签数据及相关的业务数据 ID和组织、时间等维度数据进行归类存储在数据库中，生产业务的原始数据仍然在各自的存储资源进行存储，可信计算的结果数据可通过PC端或智能终端进行信息查询和处理。

进一步，可信评价模块的输出数据可以通过PC端和智能终端进行展示，展示方式包括但不限于蛇形图、贝壳、柱图、表格中的一种或多种。

进一步，其中生产业务数据主要由时序数据和结构化数据构成，各部分数据由业务唯一性ID+业务数据包组成，也是PaaS平台数据可信评价模块的数据输入和主要评价对象。

进一步，可信评价模块的输入数据还包括源端设备、采集设备、传输通讯设备的可信评价原始数据和可信评价结果数据。其中源端设备的可信评价数据主要包括第三方评价试验数据，包括原始供应商评价、型式检验评价，在役状态评价数据，一般为一个小修周期或一个维护切换周期，只有原始供应商供货且有合格证明、设备指标合格且通过第三方试验、设备状态为正常使用则可以认判定其产生的工艺数据是可信的；其中采集设备的可信评价数据包括第三方的检测认证数据(采集时钟准确性、采集分辨率、合格检定证书)和时间戳、位置和管理数据，采集设备通过第三方检定合格或者有检定资质人员检定合格且设备在合格有效期内，可以认为其采集设备为可信设备；其中数据传输通讯设备的可信评价数据，主要包括区块链加密方式、验证方式、验证结果等数据构成，数据传输设备或算法经过公安部或第三方专业认证且传输的数据通过加密验证，可以判定其传输设备是可信的。

进一步，可信评价模块的输出数据为生产业务数据的可信度数据及可信分类标签数据，以标签数据库方式保存，包括业务数据的唯一ID以及对应这些数据的可信度数据、可信分类结果数据以及对应此ID数据的组织、时间、位置等维度数据。业务应用和展示，通过此业务ID可以查询和访问可信度数据和分类对业务提供支持。

进一步，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被主控制器执行时实现如上述中任一项所述的方法。

与现有技术相比，本发明的有益效果是：

依托能源产业数据在能源设备、数据采集、传输流通、评价计算和应用支持的数据全流程，对工业生产和业务数据进行可信评价和分类，为能源行业提供了基于数据产生和流转的全过程可信评价数据库，为数据的可信计算和评估提供了参考，促进能源行业产业的数据流通速度和效率，提高了可靠性，降低了评估成本，促进了能源行业的稳定发展，并且通过本方法，规范了数据可信计算的方式，提升了数据价值，对能源行业的数据流通和数字化转型提供了支撑。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的处理过程图；

图2是本发明的算法原理图；

图3是本发明的可信数据分布图；

图4是本发明的方法流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1-4，一种基于PaaS平台的能源行业数据可信评价方法，包括厂站侧/采集端的数据产生、采集、传输和公司侧/PaaS平台侧的数据评价和应用。其中数据的产生主要由源端设备产生数据，数据采集主要由传感器、远传仪表、采集卡等设备进行数据采集，数据传输主要由传输网络和两端的通讯装置构成，源端设备可信评价、采集设备可信评价、传输设备可信评价是对设备自身的可信度进行评价，并将评价原始数据和结果以及所承载的生产业务数据发送到PaaS平台进行数据可信评价。

本实施例中，本发明提供的一种基于PaaS平台的能源行业数据可信评价方法，具体按以下步骤执行：

S₁:基于有的历史数据，包括能源设备可信评价数据、数据采集可信评价数据、数据流通与展示可信评价数据和产品可信评价数据按照数据规则过滤及数据清洗后，形成样本数据，样本数据按照不可信、可信、完全可信的分类标签至少包括3个月左右的历史数据，历史数据按照时间维度选取80％数据为训练集20％数据为测试集，或根据训练进度要求动态进行区分；

神经网络的计算函数如下：

y＝σ(xw^T+b₀)θ+b₁，

训练的误差函数如下：

通过周期更新神经网络的自身变量，使得神经网络的误差函数在更新之后的自身变量下缩小，是梯度下降，函数如下：

本实施例中，可信评价模块的输出数据可以通过PC端和智能终端进行展示，展示方式包括但不限于蛇形图、贝壳、柱图或表格中的一种或多种。

本实施例中，其中生产业务数据主要由时序数据和结构化数据构成，各部分数据由业务唯一性ID+业务数据包组成，也是PaaS平台数据可信评价模块的数据输入和主要评价对象。

本实施例中，可信评价模块的输入数据还包括源端设备、采集设备、传输通讯设备的可信评价原始数据和可信评价结果数据。其中源端设备的可信评价数据主要包括第三方评价试验数据，包括原始供应商评价、型式检验评价，在役状态评价数据，一般为一个小修周期或一个维护切换周期，只有原始供应商供货且有合格证明、设备指标合格且通过第三方试验、设备状态为正常使用则可以认判定其产生的工艺数据是可信的；其中采集设备的可信评价数据包括第三方的检测认证数据(采集时钟准确性、采集分辨率、合格检定证书)和时间戳、位置和管理数据，采集设备通过第三方检定合格或者有检定资质人员检定合格且设备在合格有效期内，可以认为其采集设备为可信设备；其中数据传输通讯设备的可信评价数据，主要包括区块链加密方式、验证方式、验证结果等数据构成，数据传输设备或算法经过公安部或第三方专业认证且传输的数据通过加密验证，可以判定其传输设备是可信的。

本实施例中，可信评价模块的输出数据为生产业务数据的可信度数据及可信分类标签数据，以标签数据库方式保存，包括业务数据的唯一ID以及对应这些数据的可信度数据、可信分类结果数据以及对应此ID数据的组织、时间、位置等维度数据。业务应用和展示，通过此业务ID可以查询和访问可信度数据和分类对业务提供支持。

本实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被主控制器执行时实现如上述中任一项所述的方法。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于PaaS平台的能源行业数据可信评价方法，其特征在于，包括厂站侧/采集端的数据产生、采集、传输和公司侧/PaaS平台侧的数据评价和应用,其中PaaS平台的可信评价模块是核心，承载了数据可信评价方法的构建和执行全过程。所述的数据产生主要由源端设备产生，数据采集主要由传感器、远传仪表、采集卡等设备进行数据采集，数据传输主要由传输网络和两端的通讯装置构成，源端设备可信评价、采集设备可信评价、传输设备可信评价是对设备自身的可信度进行评价，并将评价原始数据和结果以及所承载的生产业务数据发送到PaaS平台进行数据可信评价。通过可信评价模块对传输的能源工业生产和业务数据可信度评价和分类，数据可信评价模块采用基于Spark的人工神经网络(ANN)算法模型进行计算并将数据按不可信、可信和完全可信分类并打标签，然后将分类的标签数据存储，供各类业务应用分析使用。

2.根据权利要求1所述的一种基于PaaS平台的能源行业数据可信评价方法，其特征在于模型训练的样本库的建立，是通过对已有历史生产业务数据和可信度数据进行筛选、清洗和过滤之后人工进行打标签来进行的，其中生产业务历史数据按照不可信、可信、完全可信的分类标签准备一个检修周期(一般为一年)的历史数据，其中可信评价原始数据按照对应的组织和时间维度的源端设备、采集设备、数据传输与流通设备的可信评价原始数据和设备自身的可信评价结果数据进行准备。样本库按照80％为训练集，20％为测试集进行区分，或动态区分训练集和测试集样本数据，为算法模型训练提供样本支撑。

3.根据权利要求1所述的一种基于PaaS平台的能源行业数据可信评价方法，其特征在于PaaS平台数据可信评价模块的核心算法即人工神经网络(ANN)算法，通过对采集的有历史样本数据基于人工神经网络(ANN)算法进行模型训练，并获得对应的训练模型，其神经网络算法(图2)的误差函数为：

人工神经网络的训练采用反向传播算法，其核心为正向计算得到误差函数，反向求导梯度下降，其中学习率的选择要平衡学习速度和算法收敛，具体根据样本数据特性在模型训练中进行配置。人工神经网络(ANN)算法用来解决复杂多维数据条件下的可信评价分类问题，输入维度高、相互关联且复杂，通过训练完成的ANN算法模型在PaaS平台的可信评价模块进行实时可信评价计算，来进行数据可信度计算和分类。

4.根据权利要求1所述的一种基于PaaS平台的能源行业数据可信评价方法，其特征在于，通过对一个检修周期的历史数据及可信度数据及标签(一般为一年)进行统计分析发现，数据可信度标签数据根据不同数据类型按图3多维或一维正态分布函数方式分布，数据的可信度分布符合期望值为μ，标准差为σ的正态分布，正态分布在横轴区间(μ-σ,μ+σ)内的面积为68.27％，横轴区间(μ-1.96σ,μ+1.96σ)内的面积为95％，横轴区间(μ-2.58σ,μ+2.58σ)内的面积为99％。也就是说在这三个置信区间内的概率分别是68.27％、95％、99％，按照正态分布定义及数据实际情况，定义区间(μ-σ,μ+σ)为完全可信区间；定义区间(μ-2.58σ,μ+2.58σ)内除完全可信之外部分为可信区间，即在区间(μ-2.58σ,μ-σ)和区间(μ+σ，μ+2.58σ)；定义区间(μ-2.58σ,μ+2.58σ)之外区间为不可信区间。不同数据的可信度区间的判断值μ、σ是不同的，根据历史数据统计分析计算得到，并且每年周期更新。

5.根据权利要求1所述的一种基于PaaS平台的能源行业数据可信评价方法，其特征在于，从采集端到PaaS平台传输的数据包括两部分构成，一部分是实际采集传输的时序数据和结构化数据生产业务数据；一部分是源端设备、采集设备、传输通讯设备的可信评价原始数据和设备自身的可信评价结果。其中生产业务数据是核心，是真正在PaaS平台依托人工神经网络(ANN)算法模型进行可信评价的数据，源端、采集、传输等设备自身的可信评价相关数据是辅助支撑数据，这两类数据都是ANN算法模型的输入数据。生产业务数据由业务唯一性ID+业务数据包组成。其中源端设备的可信评价数据主要包括第三方评价试验数据，包括原始供应商评价、型式检验评价，在役状态评价数据，一般为一个小修周期或一个维护切换周期，只有原始供应商供货且有合格证明、设备指标合格并通过第三方试验、设备状态为正常使用则可以认判定其产生的工艺数据是可信的；其中采集设备的可信评价数据包括第三方的检测认证数据(采集时钟准确性、采集分辨率、合格检定证书)和时间戳、位置和管理数据，采集设备通过第三方检定合格或者有检定资质人员检定合格且设备在合格有效期内，可以认为其采集设备为可信设备；其中数据传输通讯设备的可信评价数据，主要包括区块链加密方式、验证方式、验证结果等数据构成，数据传输设备或算法经过公安部或第三方专业认证且传输的数据通过加密验证，可以判定其传输设备是可信的。

6.根据权利要求1所述的一种基于PaaS平台的能源行业数据可信评价方法，其特征在于，PaaS平台模块的可信评价模块的输出数据为生产业务数据的可信度数据及可信分类标签数据，形成一个标签数据库保存，包括业务数据的唯一ID以及对应这些数据的可信度数据、可信分类结果数据以及对应此ID数据的组织、时间、位置等维度数据。业务应用和展示，通过此业务ID可以查询和访问可信度数据和分类对业务提供支持。