CN117494111A - 用于工业流量计的数据处理及传输的边缘计算系统和方法 - Google Patents

用于工业流量计的数据处理及传输的边缘计算系统和方法 Download PDF

Info

Publication number
CN117494111A
CN117494111A CN202311161991.7A CN202311161991A CN117494111A CN 117494111 A CN117494111 A CN 117494111A CN 202311161991 A CN202311161991 A CN 202311161991A CN 117494111 A CN117494111 A CN 117494111A
Authority
CN
China
Prior art keywords
data
equipment
verification
edge
equipment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311161991.7A
Other languages
English (en)
Inventor
陈展业
魏穗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Depler Instruments Guangzhou Co ltd
Original Assignee
Depler Instruments Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Depler Instruments Guangzhou Co ltd filed Critical Depler Instruments Guangzhou Co ltd
Priority to CN202311161991.7A priority Critical patent/CN117494111A/zh
Publication of CN117494111A publication Critical patent/CN117494111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本申请公开了一种用于工业流量计的数据处理及传输的边缘计算系统和方法，涉及数据处理技术领域，该系统包括边缘计算网关和区块链网络，所述边缘计算网关用于设备数据的采集、处理和上传；所述区块链网络用于存储所述边缘计算网关上传的设备数据和生成设备数据的监控信息。本申请还公开了一种适用于上述系统的用于工业流量计的数据处理及传输的边缘计算方法。本申请的用于工业流量计的数据处理及传输的边缘计算系统和方法，将智能边缘计算和区块链技术融合，为设备监控系统提供了智能、安全和可扩展性的数据管理技术，能够提高工业流量计的数据安全性、可用性和传输效率，在设备远程监控、智慧工业监控领域中，能够体现较高的实用性和可靠性。

Description

用于工业流量计的数据处理及传输的边缘计算系统和方法
技术领域
本申请涉及数据处理技术领域，具体是用于工业流量计的数据处理及传输的边缘计算系统和方法。
背景技术
对于工业流量计而言，采集到的设备数据，能够对工业运行监测等应用产生明确的数据指示，因此，妥善的管理和存储工业流量计数据，是对设备厂商和企业的一种有效地利益维护手段。
现有的工业流量计数据处理和传输，简单地通过采集器进行数据采集，然后将采集到的数据通过专有的流量计交互协议进行数据传输再存储于各自的服务器中，但是，由于该部分数据的重要性，一旦在数据采集和传输过程中出现数据篡改、恶意数据入侵等情况，就会导致服务器数据全面崩盘的可能，因此，亟需一种高效、安全的工业流量计数据传输、处理的管理技术来应对这样的问题。
发明内容
本申请的目的在于提供一种用于工业流量计的数据处理及传输的边缘计算系统和方法，以解决上述背景技术中提出的技术问题。
为实现上述目的，本申请公开了以下技术方案：
第一方面，本申请公开了一种用于工业流量计的数据处理及传输的边缘计算系统，包括边缘计算网关和区块链网络；
所述边缘计算网关，连接于与工业流量计和所述区块链网络之间，用于设备数据的采集、处理和上传；
所述区块链网络，用于存储所述边缘计算网关上传的设备数据和生成设备数据的监控信息；
所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器；
所述边缘节点配置为与所述工业流量计相连并采集所述工业流量计的设备数据，还配置为对采集到的设备数据进行处理，所述边缘管理器配置为对多个所述边缘节点进行调用和管理，所述边缘服务器配置为为所述边缘节点提供算力，还配置为将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
作为优选，所述的对采集到的设备数据进行处理具体包括：
对设备来源进行验证：所述边缘节点对接收到的设备数据对应的设备来源验证，确定设备数据的合法性，当检测到所述设备数据对应的设备来源为可信任设备时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过，阻断该设备数据的上传；
对数据真实性进行验证：所述边缘节点对设备来源验证通过的设备数据进行数据验证，确定该设备数据的真实性，当检测到所述设备数据对应的数据内容为被许可传输和存储的数据时，定义该设备数据的真实性验证通过，否则，表示该设备数据的真实性验证不通过，阻断该设备数据的存储。
作为优选，所述的对数据真实性进行验证还包括：所述边缘节点对真实性验证通过的设备数据进行数据验证，确定该设备数据的有效性，当检测到所述设备数据对应的数据内容为被需求的数据时，定义该设备数据的有效性验证通过，否则，表示该设备数据的有效性验证不通过，丢弃该设备数据。
作为优选，所述边缘节点还配置为：基于所述设备来源验证不通过和所述真实性验证不通过的设备数据进行深度学习，构建数据合约验证模型，并通过该数据合约验证模型对接收到的设备数据进行数据验证。
作为优选，所述的对设备来源进行验证通过对设备数据中携带的设备来源标识进行识别，在未识别到设备来源标识时，表示该设备数据的设备来源验证不通过，在识别到设备来源标识时，将识别到的设备来源标识与与存储的可信任设备对应的设备来源标识进行匹配，当匹配成功时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过。
作为优选，所述的对设备来源验证通过的设备数据进行数据验证具体包括：
对所述设备数据进行数据识别和特征提取；
基于识别到的数据类型，将提取到的特征与该数据类型对应的预设的被许可传输和存储的数据对应的数据特征进行契合度AccW的计算，并将得到的计算结果与预设的契合阈值进行比较，当得到的计算结果大于契合阈值时，表示所述设备数据对应的数据内容为被许可传输和存储的数据，否则，表示所述设备数据对应的数据内容不是被许可传输和存储的数据；
所述契合度AccW的计算公式为：
其中，m为所述设备数据中提取到的特征，为该数据类型对应的被许可传输和存储的数据对应的数据特征总数，∑ρi为每个提取到的特征在对应的被许可传输和存储的数据对应的数据特征中的权重总和。
作为优选，所述的对真实性验证通过的设备数据进行数据验证具体包括：
基于所述设备数据提取到的特征，将提取到的特征与预设的被需求的数据对应的数据特征进行匹配度MaD计算，并将得到的计算结果与预设的匹配阈值进行比较，当得到的计算结果大于匹配阈值时，表示所述设备数据为被需求的数据，否则，表示所述设备数据不是被需求的数据；
所述匹配度MaD的计算公式为：
其中，ni为提取到的特征中均为i特征类型的数据特征的数量，γi为预设的i特征类型在被需求的数据中的权重值，N为被需求的数据中设置的数据特征的总量。
第二方面，本申请公开了一种用于工业流量计的数据处理及传输的边缘计算方法，适用于上述的一种用于工业流量计的数据处理及传输的边缘计算系统，该方法包括以下步骤：
将工业流量计与边缘计算网关连接，将所述边缘计算网关与区块链网络连接，其中，所述所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器；
所述边缘节点采集所述工业流量计的设备数据，并对采集到的设备数据进行处理；
所述边缘管理器为对多个所述边缘节点进行调用和管理，并为所述边缘节点提供算力，将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
作为优选，所述对采集到的设备数据进行处理具体包括：
对设备来源进行验证：所述边缘节点对接收到的设备数据对应的设备来源验证，确定设备数据的合法性，当检测到所述设备数据对应的设备来源为可信任设备时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过，阻断该设备数据的上传；
对数据真实性进行验证：所述边缘节点对设备来源验证通过的设备数据进行数据验证，确定该设备数据的真实性，当检测到所述设备数据对应的数据内容为被许可传输和存储的数据时，定义该设备数据的真实性验证通过，否则，表示该设备数据的真实性验证不通过，阻断该设备数据的存储。
作为优选，所述的对数据真实性进行验证还包括：所述边缘节点对真实性验证通过的设备数据进行数据验证，确定该设备数据的有效性，当检测到所述设备数据对应的数据内容为被需求的数据时，定义该设备数据的有效性验证通过，否则，表示该设备数据的有效性验证不通过，丢弃该设备数据。
有益效果：本申请的用于工业流量计的数据处理及传输的边缘计算系统和方法，将智能边缘计算和区块链技术融合，为设备监控系统提供了智能、安全和可扩展性的数据管理技术，能够提高工业流量计的数据安全性、可用性和传输效率，在设备远程监控、智慧工业监控领域中，能够体现较高的实用性和可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中用于工业流量计的数据处理及传输的边缘计算系统的结构框图；
图2为本申请实施例中用于工业流量计的数据处理及传输的边缘计算方法的流程框图。
具体实施方式
下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本实施例公开了如图1所示的一种用于工业流量计的数据处理及传输的边缘计算系统，包括边缘计算网关和区块链网络。所述边缘计算网关，连接于与工业流量计和所述区块链网络之间，用于设备数据的采集、处理和上传。所述区块链网络，用于存储所述边缘计算网关上传的设备数据和生成设备数据的监控信息。
具体的，所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器。所述边缘节点配置为与所述工业流量计相连并采集所述工业流量计的设备数据，还配置为对采集到的设备数据进行处理，所述边缘管理器配置为对多个所述边缘节点进行调用和管理，所述边缘服务器配置为为所述边缘节点提供算力，还配置为将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
在本实施例中，所述的对采集到的设备数据进行处理具体包括：
对设备来源进行验证：所述边缘节点对接收到的设备数据对应的设备来源验证，确定设备数据的合法性，当检测到所述设备数据对应的设备来源为可信任设备时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过，阻断该设备数据的上传；
对数据真实性进行验证：所述边缘节点对设备来源验证通过的设备数据进行数据验证，确定该设备数据的真实性，当检测到所述设备数据对应的数据内容为被许可传输和存储的数据时，定义该设备数据的真实性验证通过，否则，表示该设备数据的真实性验证不通过，阻断该设备数据的存储。
作为本实施例的一种优选地实施方式，所述的对数据真实性进行验证还包括：所述边缘节点对真实性验证通过的设备数据进行数据验证，确定该设备数据的有效性，当检测到所述设备数据对应的数据内容为被需求的数据时，定义该设备数据的有效性验证通过，否则，表示该设备数据的有效性验证不通过，丢弃该设备数据。
作为本实施例的一种优选地实施方式，所述边缘节点还配置为：基于所述设备来源验证不通过和所述真实性验证不通过的设备数据进行深度学习，构建数据合约验证模型，并通过该数据合约验证模型对接收到的设备数据进行数据验证。
其中，所述的对设备来源进行验证通过对设备数据中携带的设备来源标识进行识别，在未识别到设备来源标识时，表示该设备数据的设备来源验证不通过，在识别到设备来源标识时，将识别到的设备来源标识与与存储的可信任设备对应的设备来源标识进行匹配，当匹配成功时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过。
进一步地，所述的对设备来源验证通过的设备数据进行数据验证具体包括：
对所述设备数据进行数据识别和特征提取；
基于识别到的数据类型，将提取到的特征与该数据类型对应的预设的被许可传输和存储的数据对应的数据特征进行契合度AccW的计算，并将得到的计算结果与预设的契合阈值进行比较，当得到的计算结果大于契合阈值时，表示所述设备数据对应的数据内容为被许可传输和存储的数据，否则，表示所述设备数据对应的数据内容不是被许可传输和存储的数据；
所述契合度AccW的计算公式为：
其中，m为所述设备数据中提取到的特征，为该数据类型对应的被许可传输和存储的数据对应的数据特征总数，∑ρi为每个提取到的特征在对应的被许可传输和存储的数据对应的数据特征中的权重总和。
进一步地，所述的对真实性验证通过的设备数据进行数据验证具体包括：
基于所述设备数据提取到的特征，将提取到的特征与预设的被需求的数据对应的数据特征进行匹配度MaD计算，并将得到的计算结果与预设的匹配阈值进行比较，当得到的计算结果大于匹配阈值时，表示所述设备数据为被需求的数据，否则，表示所述设备数据不是被需求的数据；
所述匹配度MaD的计算公式为：
其中，ni为提取到的特征中均为i特征类型的数据特征的数量，γi为预设的i特征类型在被需求的数据中的权重值，N为被需求的数据中设置的数据特征的总量。
本实施例还公开了如图2所示的一种用于工业流量计的数据处理及传输的边缘计算方法，适用于上述的用于工业流量计的数据处理及传输的边缘计算系统。该方法包括以下步骤：
将工业流量计与边缘计算网关连接，将所述边缘计算网关与区块链网络连接，其中，所述所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器；
所述边缘节点采集所述工业流量计的设备数据，并对采集到的设备数据进行处理；
所述边缘管理器为对多个所述边缘节点进行调用和管理，并为所述边缘节点提供算力，将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
需要说明的是，上述方法适用于前述的系统，因此，如边缘计算网关以及区块链网络之间的数据传输、管理等内容均是相同的，在此不做赘述。特别地，在本实施例的一些可行的实施方式中，整体系统支持多条区块链网络之间的数据交互，促进不同网络中设备数据的访问和利用，同时，该系统具有实时监测设备状态和数据的能力，一旦发现异常情况，系统能够立即触发相关的事件响应机制，以及数据上传过程中使用加密技术保护隐私，只有授权人员能访问敏感数据。由于这部分内容并非本申请的重点保护内容，在本文本中不做详述。
需要补充说明的是，本实施例公开的用于工业流量计的数据处理及传输的边缘计算系统及方法，适用于对工业流量稳定性要求较高的应用场景。在边缘计算系统中对工业流量计的数据进行实时分析,检测异常流量方法具体有：数据采集，算法去噪→数据建模，建立流量计的数字孪生模型→异常检测，差异超过预设阈值,则判定为异常情况→警报和响应,提供异常原因的诊断建议和直接对话响应→模型优化模块，收集异常检测结果,反馈调整,不断优化数字孪生模型。
主要涉及以下技术:
1.数据采集:在边缘节点上部署采集工业流量计的实时数据,并进行必要的预处理，提高数据质量，减小异常检测的误报率。对数据的预处理主要是去噪，本方案采用降噪自编码器(Denosing Autoencoder)，这样做的原因是：流量计的数据具有明显的时间序列特征,降噪自编码器可以学习时间依赖性；流量计的噪声类型可能比较复杂,包含高频噪声、脉冲噪声等；降噪自编码器通过训练可以自适应不同类型的噪声；相比其他算法,降噪自编码器可以端到端地直接进行去噪,无需人工提取特征；降噪自编码器是基于深度神经网络构建的,学习能力强,去噪效果好。具体的，降噪技术的构建方法包括：
(1)输入层:接收添加噪声的原始流量计信号；
(2)编码层:包含多个Dense层,抽取特征；
(3)解码层:对编码层特征进行重建,输出去噪后的流量信号；
(4)损失函数:最小化输入和输出之间的MSE损失。
对应的算法框架如下:
(1)输入层:接收添加噪声后的流量时间序列数据xt,包含T个时间步输入。
(2)编码层:通过多层全连接网络实现编码映射,提取特征表示:h＝f(W1xt+b1)，W1、b1为编码层中的网络参数，f为非线性激活函数如ReLU；
(3)瓶颈层:是编码层的最后一层,其单元个数较少,用于特征压缩。
(4)解码层:通过网络参数W2,b2进行解码映射,重构原始信号:x′t＝g(W2h+b2)；
(5)输出层:解码层输出去噪后的流量信号x'；
(6)损失函数:计算输入xt和输出x′t的均方误差作为损失函数进行优化:L(θ)＝1/T*Σ(xt-x′t)2。
通过端到端训练,最小化重构损失L,可以获得优化后的降噪自编码器模型,实现流量计数据的降噪处理。
2.数据建模:采用RNN,建立每个流量计正常流量的数字孪生模型，这样做的原因是：流量计数据具有时序依赖性,RNN可建模时间序列数据；RNN通过隐藏层记忆历史,学习复杂动态变化规律；相比线性模型,RNN可建模流量计的非线性特性；RNN计算效率高,适合实时边缘计算要求；基于大数据训练,RNN预测精度较高。具体的，构建方法包括:
(1)输入层:接收过去n个时刻的流量值作为序列数据；
(2)隐藏层:设置GRU或LSTM结构,捕捉时间依赖规律；
(3)输出层:预测下一个时刻的流量值；
(4)损失函数:针对预测流量值和实际值的MSE进行优化；
(5)训练网络:使用历史流量数据进行反复训练；
(6)模型评估:验证模型在测试集上的精度指标；
(7)参数调优:改进网络结构和超参数,提升性能；
(8)部署模型:搭建实时预测系统,实现流量计数字孪生。
通过构建、训练RNN模型,持续优化,可以获得一个精确的数字孪生,实现流量计的实时状态预测和监控。用于流量计数字孪生建模的RNN算法框架如下:
(1)输入层:接收长度为L的历史流量数据xt,t＝1,2,...,L；
(2)隐藏层:采用GRU结构实现RNN,其框架如下:rt＝σ(Wrxt+Urht-1)，zt＝σ(Wzxt+Uzht-1)，ht＝tanh(Wxt+rt⊙(Uht-1))，其中rt、zt为重置门和更新门,⊙表示element-wise乘法,ht为当前隐层状态；
(3)输出层:全连接层obt＝g(Whoht),预测下一时刻流量值；
(4)损失函数:计算预测值与真实值的MSE loss,进行优化；
(5)L(θ)＝1/T*∑(y^t-yt)2；
(6)模型训练:使用Adam等优化算法最小化损失函数,训练网络参数；
(7)模型评估:在测试集上评估精度指标如RMSE；
(8)部署:在线获取流量数据,进行递归预测实现数字孪生。
3.异常检测:实时比较采集的数据和数字孪生模型的预测值,如果差异超过预设阈值,则判定为异常情况。流量计异常检测的阈值设定问题,采用自编码器(Autoencoder)算法。原因如下:自动编码器可以通过网络重构正常流量数据的能力,建立异常判断；网络训练目标就是最小化重构误差,直接产生阈值；重构误差超过阈值的实例即判定为异常；可以由大量历史数据端到端训练,无需人工设定阈值；计算效率高,可满足流量计的实时检测需求。其中，构建方法包括:
(1)收集大量正常流量历史数据；
(2)设计编码器-解码器网络结构,bottlenecks特征；
(3)训练网络重构正常样本,最小化重构误差；
(4)测试数据流量,计算网络重构的误差；
(5)误差超过训练阈值的判定为异常；
(6)持续在线学习,优化网络性能；
(7)降低训练重构误差,提高检测敏感度。
算法框架如下：
(1)收集历史流量数据{X1,X2,...XN}；
(2)基于上述流量数据训练数字孪生模型DS；
(3)使用DS对历史流量进行预测,得到{X'1,X'2,...X'N}；
(4)将{X1,X2,...XN}和{X'1,X'2,...X'N}作为训练数据；
(5)构建自编码器网络SEC；
(6)输入层:接受原始流量数据Xi；
(7)编码层:提取特征；
(8)解码层:重构为预测流量数据X'i；
(9)输出层:预测流量X'i；
(10)损失函数:MSE(Xi,X'i)；
(11)训练SEC,最小化重构损失,确定阈值ε；
(12)对新流量数据X:使用DS生成预测流量X'，SEC重构X”,计算MSE(X,X”)，如果MSE>ε则检测为异常。
4.警报和响应:一旦检测到异常,立即发送警报给操作人员,并结合工业现场的语义信息,提供异常原因的诊断建议和直接对话响应。还可以连接到工业控制系统,进行自动化的响应。使用大语言模型构建流量计异常警报对话响应的方法:
(1)构建异常状况知识库，收集流量计各种异常模式的言语描述,如“流量突增”“传感失灵”等,记录为文本；
(2)Fine-tune大语言模型基于步骤1的知识库,使用预训练语言模型进行微调,使其适应流量计异常语义；
(3)构建问答数据集围绕异常情况,编写问答交互语料,包含异常告警、原因询问、处理建议等对话；
(4)训练对话模型使用问答数据集继续fine-tune语言模型,使其能够进行流畅的异常情况对话；
(5)集成到响应系统将对话模型部署到实际的流量计监控系统中,与异常检测模块集成；
(6)模型优化通过与用户的实际交互,收集反馈数据,持续优化大语言模型的对话能力和流量计的数字孪生模型。
框架如下:
预训练语言模型:选用GPT模型,具有语义表示学习能力；
微调数据集:使用步骤1构建的异常知识库作为文本数据；
输入表示:将文本转化为词向量序列,输入到模型；
模型微调:保留预训练的参数,新增一个适应异常语义的输出层；
损失函数:针对异常语义理解任务设计交叉熵等损失；
优化训练:使用低学习率fine-tune预训练参数,学得异常语义；
应用模型:部署到异常响应系统中,从异常数据生成语义响应；
持续优化:收集用户反馈优化模型输出。
5.模型优化:收集异常检测结果,反馈调整数字孪生模型,不断优化数字孪生模型,提高异常检测的准确率。采用Transformer模型来优化流量计的数字孪生模型，收集数字孪生在线运行中异常检测的结果,这些检测出的异常数据可以看成是模型的错误案例，利用Transformer的编码器-解码器结构,其中编码器输入的是异常数据,解码器目标是预测正常数据。通过端到端的训练,Transformer学习异常数据到正常数据的映射关系。得到训练好的Transformer模型后,将其应用到数字孪生模型的优化中。当新采集的数据被检测为异常时,先用Transformer模型进行预测和校正,再输入到数字孪生。这可以提升数字孪生对异常情况的建模能力,降低误报率。同时继续收集新异常数据,不断微调Transformer模型。利用Transformer的并行计算性能,可以实现数字孪生的快速在线优化。
使用Transformer优化RNN生成的流量计数字孪生模型的算法框架包括:
(1)使用DSrnn(已构建的流量计数字孪生模型)生成正常流量的预测结果Y'；
(2)对检测到的异常流量数据X,DSrnn会有较大误差；
(3)收集这些{X,Y'}作为Transformer模型的训练数据；
(4)构建Transformer模型T:
(41)输入:异常流量X
(42)编码器:采用自注意力机制学习特征
(43)解码器:输出预测的正常流量Y″
(44)损失函数:MSE(Y”,Y')；
(5)训练Transformer模型T,最小化损失函数，得到优化的数字孪生DSrnn':对新流量数据X，使用DSrnn生成Y'，如果检测为异常,则使用T(X)获取Y″，将Y″作为DSrnn'的新样本继续优化，，持续使用新异常数据训练T,提升DSrnn'的精度。
本算法关键是搭建精确的流量计数字孪生模型,以及采用合适的异常检测算法和流量计数字孪生模型优化算法。然后通过云平台/AI软件进行模型训练，训练好的模型部署到用于工业流量计的数据处理及传输的边缘计算系统。
在本申请所提供的实施例中，应该理解到，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读存储介质中或作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读存储介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
综上所述，本实施例的用于工业流量计的数据处理及传输的边缘计算系统和方法，将智能边缘计算和区块链技术融合，为设备监控系统提供了智能、安全和可扩展性的数据管理技术，能够提高工业流量计的数据安全性、可用性和传输效率，在设备远程监控、智慧工业监控领域中，能够体现较高的实用性和可靠性。
最后应说明的是：以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，包括边缘计算网关和区块链网络；
所述边缘计算网关，连接于与工业流量计和所述区块链网络之间，用于设备数据的采集、处理和上传；
所述区块链网络，用于存储所述边缘计算网关上传的设备数据和生成设备数据的监控信息；
所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器；
所述边缘节点配置为与所述工业流量计相连并采集所述工业流量计的设备数据，还配置为对采集到的设备数据进行处理，所述边缘管理器配置为对多个所述边缘节点进行调用和管理，所述边缘服务器配置为为所述边缘节点提供算力，还配置为将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
2.根据权利要求1所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述的对采集到的设备数据进行处理具体包括：
对设备来源进行验证：所述边缘节点对接收到的设备数据对应的设备来源验证，确定设备数据的合法性，当检测到所述设备数据对应的设备来源为可信任设备时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过，阻断该设备数据的上传；
对数据真实性进行验证：所述边缘节点对设备来源验证通过的设备数据进行数据验证，确定该设备数据的真实性，当检测到所述设备数据对应的数据内容为被许可传输和存储的数据时，定义该设备数据的真实性验证通过，否则，表示该设备数据的真实性验证不通过，阻断该设备数据的存储。
3.根据权利要求2所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述的对数据真实性进行验证还包括：所述边缘节点对真实性验证通过的设备数据进行数据验证，确定该设备数据的有效性，当检测到所述设备数据对应的数据内容为被需求的数据时，定义该设备数据的有效性验证通过，否则，表示该设备数据的有效性验证不通过，丢弃该设备数据。
4.根据权利要求2所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述边缘节点还配置为：基于所述设备来源验证不通过和所述真实性验证不通过的设备数据进行深度学习，构建数据合约验证模型，并通过该数据合约验证模型对接收到的设备数据进行数据验证。
5.根据权利要求2所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述的对设备来源进行验证通过对设备数据中携带的设备来源标识进行识别，在未识别到设备来源标识时，表示该设备数据的设备来源验证不通过，在识别到设备来源标识时，将识别到的设备来源标识与与存储的可信任设备对应的设备来源标识进行匹配，当匹配成功时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过。
6.根据权利要求3所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述的对设备来源验证通过的设备数据进行数据验证具体包括：
对所述设备数据进行数据识别和特征提取；
基于识别到的数据类型，将提取到的特征与该数据类型对应的预设的被许可传输和存储的数据对应的数据特征进行契合度AccW的计算，并将得到的计算结果与预设的契合阈值进行比较，当得到的计算结果大于契合阈值时，表示所述设备数据对应的数据内容为被许可传输和存储的数据，否则，表示所述设备数据对应的数据内容不是被许可传输和存储的数据；
所述契合度AccW的计算公式为：
其中，m为所述设备数据中提取到的特征，为该数据类型对应的被许可传输和存储的数据对应的数据特征总数，∑ρi为每个提取到的特征在对应的被许可传输和存储的数据对应的数据特征中的权重总和。
7.根据权利要求6所述的用于工业流量计的数据处理及传输的边缘计算系统，其特征在于，所述的对真实性验证通过的设备数据进行数据验证具体包括：
基于所述设备数据提取到的特征，将提取到的特征与预设的被需求的数据对应的数据特征进行匹配度MaD计算，并将得到的计算结果与预设的匹配阈值进行比较，当得到的计算结果大于匹配阈值时，表示所述设备数据为被需求的数据，否则，表示所述设备数据不是被需求的数据；
所述匹配度MaD的计算公式为：
其中，ni为提取到的特征中均为i特征类型的数据特征的数量，γi为预设的i特征类型在被需求的数据中的权重值，N为被需求的数据中设置的数据特征的总量。
8.一种用于工业流量计的数据处理及传输的边缘计算方法，其特征在于，该方法包括以下步骤：
将工业流量计与边缘计算网关连接，将所述边缘计算网关与区块链网络连接，其中，所述所述边缘计算网关包括多个边缘节点、边缘管理器以及边缘服务器；
所述边缘节点采集所述工业流量计的设备数据，并对采集到的设备数据进行处理；
所述边缘管理器为对多个所述边缘节点进行调用和管理，并为所述边缘节点提供算力，将所述边缘节点处理后的设备数据上传至所述区块链网络进行存储和监控，以及在所述区块链网络中进行设备数据的调用。
9.根据权利要求8所述的用于工业流量计的数据处理及传输的边缘计算方法，其特征在于，所述对采集到的设备数据进行处理具体包括：
对设备来源进行验证：所述边缘节点对接收到的设备数据对应的设备来源验证，确定设备数据的合法性，当检测到所述设备数据对应的设备来源为可信任设备时，表示该设备数据的设备来源验证通过，否则，表示该设备数据的设备来源验证不通过，阻断该设备数据的上传；
对数据真实性进行验证：所述边缘节点对设备来源验证通过的设备数据进行数据验证，确定该设备数据的真实性，当检测到所述设备数据对应的数据内容为被许可传输和存储的数据时，定义该设备数据的真实性验证通过，否则，表示该设备数据的真实性验证不通过，阻断该设备数据的存储。
10.根据权利要求9所述的用于工业流量计的数据处理及传输的边缘计算方法，其特征在于，所述的对数据真实性进行验证还包括：所述边缘节点对真实性验证通过的设备数据进行数据验证，确定该设备数据的有效性，当检测到所述设备数据对应的数据内容为被需求的数据时，定义该设备数据的有效性验证通过，否则，表示该设备数据的有效性验证不通过，丢弃该设备数据。
CN202311161991.7A 2023-09-11 2023-09-11 用于工业流量计的数据处理及传输的边缘计算系统和方法 Pending CN117494111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311161991.7A CN117494111A (zh) 2023-09-11 2023-09-11 用于工业流量计的数据处理及传输的边缘计算系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311161991.7A CN117494111A (zh) 2023-09-11 2023-09-11 用于工业流量计的数据处理及传输的边缘计算系统和方法

Publications (1)

Publication Number Publication Date
CN117494111A true CN117494111A (zh) 2024-02-02

Family

ID=89666660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311161991.7A Pending CN117494111A (zh) 2023-09-11 2023-09-11 用于工业流量计的数据处理及传输的边缘计算系统和方法

Country Status (1)

Country Link
CN (1) CN117494111A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488061A (zh) * 2014-09-18 2016-04-13 阿里巴巴集团控股有限公司 一种验证数据有效性的方法及装置
CN111556469A (zh) * 2020-04-08 2020-08-18 深圳供电局有限公司 一种人工智能边缘的计算系统和计算方法
CN111970299A (zh) * 2020-08-26 2020-11-20 上海和数软件有限公司 基于区块链的分布式物联网设备身份认证装置和方法
CN113079159A (zh) * 2021-04-01 2021-07-06 北京邮电大学 一种基于区块链的边缘计算网络架构
CN113553574A (zh) * 2021-07-28 2021-10-26 浙江大学 一种基于区块链技术的物联网可信数据管理方法
CN114095228A (zh) * 2021-11-15 2022-02-25 南京南瑞信息通信科技有限公司 基于区块链和边缘计算的物联网数据安全存取方法、系统、装置及存储介质
CN114499879A (zh) * 2022-01-20 2022-05-13 浙商银行股份有限公司 一种基于区块链技术的物联网可信消息传输方法、系统、设备和存储介质
CN115169851A (zh) * 2022-06-29 2022-10-11 南京邮电大学 一种冷链物流质量管理系统及其方法
US20230087557A1 (en) * 2021-06-10 2023-03-23 Huazhong University Of Science And Technology System for privacy protection during iot secure data sharing and method thereof
CN116028499A (zh) * 2023-02-01 2023-04-28 四川智慧高速科技有限公司 检测信息生成方法、电子设备和计算机可读介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488061A (zh) * 2014-09-18 2016-04-13 阿里巴巴集团控股有限公司 一种验证数据有效性的方法及装置
CN111556469A (zh) * 2020-04-08 2020-08-18 深圳供电局有限公司 一种人工智能边缘的计算系统和计算方法
CN111970299A (zh) * 2020-08-26 2020-11-20 上海和数软件有限公司 基于区块链的分布式物联网设备身份认证装置和方法
CN113079159A (zh) * 2021-04-01 2021-07-06 北京邮电大学 一种基于区块链的边缘计算网络架构
US20230087557A1 (en) * 2021-06-10 2023-03-23 Huazhong University Of Science And Technology System for privacy protection during iot secure data sharing and method thereof
CN113553574A (zh) * 2021-07-28 2021-10-26 浙江大学 一种基于区块链技术的物联网可信数据管理方法
CN114095228A (zh) * 2021-11-15 2022-02-25 南京南瑞信息通信科技有限公司 基于区块链和边缘计算的物联网数据安全存取方法、系统、装置及存储介质
CN114499879A (zh) * 2022-01-20 2022-05-13 浙商银行股份有限公司 一种基于区块链技术的物联网可信消息传输方法、系统、设备和存储介质
CN115169851A (zh) * 2022-06-29 2022-10-11 南京邮电大学 一种冷链物流质量管理系统及其方法
CN116028499A (zh) * 2023-02-01 2023-04-28 四川智慧高速科技有限公司 检测信息生成方法、电子设备和计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴英: "《边缘计算技术与应用》", 31 July 2022, pages: 15 - 16 *
郭军等: "《人工智能导论》", 31 October 2021, pages: 126 - 127 *

Similar Documents

Publication Publication Date Title
Romano et al. Automated detection of pipe bursts and other events in water distribution systems
US11314242B2 (en) Methods and systems for fault detection and identification
CN107786369A (zh) 基于irt层次分析和lstm的电力通信网络安全态势感知和预测方法
CN107566163A (zh) 一种用户行为分析关联的告警方法及装置
CN109728939B (zh) 一种网络流量检测方法及装置
US20210116076A1 (en) Anomaly detection in pipelines and flowlines
US11675799B2 (en) Anomaly detection system
Loganathan et al. Sequence to sequence pattern learning algorithm for real-time anomaly detection in network traffic
CN111275951A (zh) 一种信息处理方法、装置、设备及计算机存储介质
CN117041019B (zh) 内容分发网络cdn的日志分析方法、装置及存储介质
CN114978968B (zh) 微服务的异常检测方法、装置、计算机设备和存储介质
CN112770112A (zh) 流量数据异常检测方法、装置、电子设备及存储介质
CN114673246A (zh) 一种污水管道防堵塞测量方法及其测量系统
CN113992350A (zh) 基于深度学习的智能电网虚假数据注入攻击的检测系统
CN113497725B (zh) 告警监控方法、系统、计算机可读存储介质及电子设备
CN111191855B (zh) 一种基于管网多元水质时序数据的水质异常事件识别预警方法
CN114528190A (zh) 单指标异常的检测方法、装置、电子设备及可读存储介质
CN117494111A (zh) 用于工业流量计的数据处理及传输的边缘计算系统和方法
CN112128950A (zh) 一种基于多种模型对比的机房温湿度预测方法及系统
CN116522349A (zh) 一种信息安全风险评估方法、装置、设备及介质
CN116302804A (zh) 基于时间序列的监控指标异常检测方法、系统及介质
CN116126807A (zh) 一种日志分析方法及相关装置
WO2023155967A1 (en) Thermal anomaly management
CN115659201A (zh) 物联网气体浓度检测方法及监控系统
CN115037599A (zh) 一种通信网络故障预警方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination