CN111708667B - 一种业务边缘计算方法及系统 - Google Patents

一种业务边缘计算方法及系统 Download PDF

Info

Publication number
CN111708667B
CN111708667B CN202010477361.0A CN202010477361A CN111708667B CN 111708667 B CN111708667 B CN 111708667B CN 202010477361 A CN202010477361 A CN 202010477361A CN 111708667 B CN111708667 B CN 111708667B
Authority
CN
China
Prior art keywords
data
edge
module
node
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010477361.0A
Other languages
English (en)
Other versions
CN111708667A (zh
Inventor
王军平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saibo Yunrui Intelligent Technology Co ltd
Original Assignee
Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saibo Yunrui Intelligent Technology Co ltd filed Critical Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority to CN202010477361.0A priority Critical patent/CN111708667B/zh
Publication of CN111708667A publication Critical patent/CN111708667A/zh
Application granted granted Critical
Publication of CN111708667B publication Critical patent/CN111708667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种业务边缘计算方法及系统，方法包括：对边缘数据进行采集和管理；根据采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；对边缘数据的预处理进程进行监控。可实现结构化、半结构化和非结构化共存的业务边缘数据获取、数据特征自动标记、混杂结构智能预处理、主题自我生成和处理进程实时监控，对边缘数据的采集更加准确、可靠。

Description

一种业务边缘计算方法及系统
技术领域
本发明涉及一种业务边缘计算方法及系统。
背景技术
近些年来，随着互联网技术的不断发展，海量数据的分析与储存对网络带宽提出了巨大的挑战，而边缘计算的诞生，就是为了解决这一问题。边缘计算减少了中间传输的过程，有更实时、更快速的数据处理能力。其次，由于与云端服务器的数据交换不多，边缘计算的网络带宽需求更低。现有技术中，在对企业业务边缘数据采集与处理过程存在数据缺失严重、数据采集不准确，可靠性差等问题。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的第一个目的在于提出一种业务边缘计算方法，可实现结构化、半结构化和非结构化共存的业务边缘数据获取、数据特征自动标记、混杂结构智能预处理、主题自我生成和处理进程实时监控，对边缘数据的采集更加准确、可靠。
本发明的第二个目的在于提出一种业务边缘计算系统。
为达到上述目的，本发明第一方面实施例提出了一种业务边缘计算方法，包括：
对边缘数据进行采集和管理；
根据采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
对边缘数据的预处理进程进行监控。
根据本发明的一些实施例，所述对边缘数据进行采集和管理，包括：
获取经用户端发送的边缘数据采集的HttpRequest请求指令；
接收HttpRequest请求指令，并判断用户端是否合法；
在判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
在判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
将解析的相关数据进行采集和存储。
根据本发明的一些实施例，在采集边缘数据时，通过OPC-UA协议将数字数据、文本数据和图形数据进行传输交互。
根据本发明的一些实施例，在采集边缘数据时，通过MQTT协议实现传感器检测的数据的传输交互。
根据本发明的一些实施例，所述预处理包括：
接收边缘数据，并清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
将所述第一数据进行编解码，得到第二数据；
将进行编解码后得到的第二数据进行数据集成；所述数据集成包括成将互相关联的分布式异构数据源集成到一起。
根据本发明的一些实施例，将进行编解码后得到的第二数据进行语义相似度计算，在语义相似度大于预设语义相似度阈值时，进行数据集成；计算语义相似度的算法如下：
计算语义重合度：
Figure BDA0002516244960000021
其中，Qm为m节点到根节点的节点数；Qn为n节点到根节点的节点数；Qm∩Qn为概念m、概念n之间的语义重合度；a为第一权值；b为第二权值；Kd为概念m、概念n之间相同的连续字数；Wd为连续字数的个数；Kc为概念m、概念n之间相同的间断字数；
计算语义相似度：
Figure BDA0002516244960000031
其中，k1为第一修正系数；k2为第二修正系数；N(m，n)为概念m、概念n之间的语义距离；H1为概念m的语义深度；H2为概念n的语义深度。
为达到上述目的，本发明第二方面实施例提出了一种业务边缘计算系统，包括：
边缘数据采集管理模块，支持各种数据采集协议，用于对边缘数据进行采集和管理；
边缘数据可信预处理模块，与所述边缘数据采集管理模块连接，用于对经所述边缘数据采集管理模块采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
边缘处理进度监控模块，与所述边缘数据采集管理模块连接，用于对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
边缘处理进度监控模块，还与所述边缘数据可信预处理模块连接，用于对边缘数据的预处理进程进行监控。
根据本发明的一些实施例，所述边缘数据采集管理模块包括：
第一获取模块，用于获取经用户端发送的边缘数据采集的HttpRequest请求指令；
数据采集接口，与所述第一获取模块连接，用于接收经所述第一获取模块发送的HttpRequest请求指令；
第一判断模块，与所述数据采集接口连接，用于接收经所述数据采集接口发送的HttpRequest请求指令，并判断用户端是否合法；
第二判断模块，与所述第一判断模块连接，用于在所述第一判断模块判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
解析模块，与所述第二判断模块连接，用于在所述第二判断模块判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
数据采集存储模块，与所述解析模块连接，用于将经所述解析模块解析的相关数据进行采集和存储。
根据本发明的一些实施例，所述边缘数据可信预处理模块包括：
数据清洗模块：用于清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
数据编解码模块，与所述数据清洗模块连接，用于将经数据清洗模块转化得到的第一数据进行编解码，得到第二数据；
语义集成模块，与所述数据编解码模块连接，用于将经数据编解码模块进行编解码后得到的第二数据进行数据集成；所述数据集成包括成将互相关联的分布式异构数据源集成到一起。
根据本发明实施例提出了业务边缘计算方法及系统，支持各种数据采集协议，可以全面采集各种类型的边缘数据，保证数据采集的全面性。对边缘数据进行预处理，可以提高边缘数据的准确性。对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理，及对边缘数据的预处理进程进行监控，可以保证业务边缘计算系统的可靠性。
该业务边缘计算系统产品优势：
1.支持海量关键装备/业务系统等要素的数据瞬时连接，数据边缘处理，接入设备/业务系统的数量大于100万台/套，数据采集点10万级以上；
2.可部署在1024个节点规模以上数据中心部署、资源自动调度，可视化运维管理；
3.可扩展性：单个集群可达到1024个节点之上，10PB级的数据动态访问存储，同时支持100万级用户；
4.数据加载高效：装载数据速度大于1TB/小时，提供面向特定领域的10PB级大数据知识动态存储；
5.具有良好的可靠性，能故障自动迁移，支持备份和自动恢复。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种业务边缘计算系统的框图；
图2是根据本发明第一个实施例的边缘数据采集管理模块的框图；
图3是根据本发明第二个实施例的边缘数据采集管理模块的框图；
图4是根据本发明第三个实施例的边缘数据采集管理模块的框图；
图5是根据本发明一个实施例的边缘数据可信预处理模块的框图；
图6是根据本发明一个实施例的一种业务边缘计算方法的流程图；
图7是根据本发明一个实施例的对边缘数据采集的流程图；
图8是根据本发明一个实施例的对边缘数据预处理的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面参考图1至图8来描述本发明实施例提出的一种业务边缘计算方法及系统。
图1是根据本发明一个实施例的一种业务边缘计算系统的框图；如图1所示，本发明实施例提出了一种业务边缘计算系统，包括：
边缘数据采集管理模块1，支持各种数据采集协议，用于对边缘数据进行采集和管理；
边缘数据可信预处理模块2，与所述边缘数据采集管理模块1连接，用于对经所述边缘数据采集管理模块1采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
边缘处理进度监控模块3，与所述边缘数据采集管理模块1连接，用于对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
边缘处理进度监控模块3，还与所述边缘数据可信预处理模块2连接，用于对边缘数据的预处理进程进行监控。
上述技术方案的工作原理：边缘数据采集管理模块1能够采集各行业数据，包括工业、政务、金融和互联网等行业。可以从众多数据源中采集数据，数据源包括：包括Web端数据，传统数据库的信息化数据，传感器数据，工业互联网数据以及API传输的数据等。边缘数据采集管理模块1对边缘数据进行采集和管理。边缘数据可信预处理模块2用于对经边缘数据采集管理模块1采集的边缘数据进行预处理；预处理包括数据清洗、数据编解码与语义集成；有利于提高边缘数据采集的准确性和可靠性。边缘处理进度监控模块3对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；可以及时了解边缘数据的采集进程及边缘数据传输消息队列的具体情况，具体的，可以了解边缘数据传输消息队列的长度及传输速度，可以提高用户体验。边缘处理进度监控模块3，对边缘数据的预处理进程进行监控。可以及时了解边缘数据的预处理进程，了解哪部分边缘数据已经完成预处理，哪部分边缘数据没有完成预处理。
上述技术方案的有益效果：支持各种数据采集协议，可以全面采集各种类型的边缘数据，保证数据采集的全面性。对边缘数据进行预处理，可以提高边缘数据的准确性。对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理，及对边缘数据的预处理进程进行监控，可以保证业务边缘计算系统的可靠性。
图2是根据本发明第一个实施例的边缘数据采集管理模块1的框图；如图2所示，所述边缘数据采集管理模块1包括：
第一获取模块11，用于获取经用户端发送的边缘数据采集的HttpRequest请求指令；
数据采集接口12，与所述第一获取模块11连接，用于接收经所述第一获取模块11发送的HttpRequest请求指令；
第一判断模块13，与所述数据采集接口12连接，用于接收经所述数据采集接口12发送的HttpRequest请求指令，并判断用户端是否合法；
第二判断模块14，与所述第一判断模块13连接，用于在所述第一判断模块13判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
解析模块15，与所述第二判断模块14连接，用于在所述第二判断模块14判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
数据采集存储模块16，与所述解析模块15连接，用于将经所述解析模块15解析的相关数据进行采集和存储。
上述技术方案的工作原理：通过第一获取模块11获取经用户端发送的边缘数据采集的HttpRequest请求指令；HttpRequest为超文本传输协议请求。第一判断模块13接收经数据采集接口12发送的HttpRequest请求指令，并判断用户端是否合法，即用户端是否满足预设要求。在判断用户端不合法时，表示数据采集的请求失败，需要重新接收用户端发送的边缘数据采集的HttpRequest请求指令；在判断用户端合法时，第二判断模块14判断用户端发出的HttpRequest请求指令中的请求参数是否合法,即请求参数是否满足预设参数。在判断请求参数不合法时，表示数据采集的请求失败，需要重新接收用户端发送的边缘数据采集的HttpRequest请求指令；在判断请求参数合法时，解析模块15解析服务器中的相关数据，解析数据成功时，表示数据采集的请求成功。解析数据失败时，表示数据采集的请求失败。在解析数据成功时，通过数据采集存储模块16将解析成功的相关数据进行采集和存储。数据采集存储模块16可以是用户数据报协议(User Datagram Protocol，简称UDP),是一种无连接的协议,将网络数据流量压缩成数据包的形式，每一个数据包的前8个字节用来包含报头信息，剩余字节则用来包含具体的传输数据。数据采集存储模块16还可以是存储器。
上述技术方案的有益效果：可以提高边缘数据采集的准确性及可靠性。
根据本发明的一些实施例，所述边缘数据采集管理模块1可采集的数据类型包括：Key-Value数据、文档数据、视频数据、图像数据、音频数据、结构化数据、半结构化数据。
上述技术方案的工作原理：Key-Value数据，在传感器技术飞速发展的今天，包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用，而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据，因此，这部分数据的特点是每条数据内容很少，但是频率极高。文档数据，包括工程图纸、仿真数据、设计的CAD图纸等，还有大量的传统工程文档。视频数据，工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。图像数据，包括工业现场各类图像设备拍摄的图片(例如，巡检人员用手持设备拍摄的设备、环境信息图片)。音频数据，包括语音及声音信息(例如，通话、设备运转的音量等)。结构化数据，由信息系统产生的数据，一般是通过SQL数据库形式存储。半结构化数据，包括数字、符号、txt格式、JSON格式、XML格式等。
上述技术方案的有益效果：边缘数据采集管理模块可以采集不同类型的数据，数据采集更加全面，适用范围广。
根据本发明的一些实施例，所述边缘数据采集管理模块1在采集不同类型的数据时，采用不同的数据传输协议；所述数据传输协议包括：MQTT、OPC-UA、RTSP、RTP、SOAP。
上述技术方案的工作原理：MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)是一个即时通讯协议，是物联网的重要组成部分，广泛应用到物联网络中，用于对传感器检测的数据进行传输交互。OPC-UA(OPCUnified Architecture)是指OPC统一体系架构，用于对数字数据、文本数据和图形数据进行传输交互。RTSP(Real TimeStreaming Protocol)，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，它使用TCP或UDP完成数据传输，用于对音频数据和视频数据进行传输交互。RTP(Real TimeProtocol)是指实时传输协议。SOAP(Simple Object Access Protocol)是指简单对象访问协议，基于已经广泛使用的两个协议HTTP和XML，通用性较强。
上述技术方案的有益效果：边缘数据采集管理模块1支持各种数据采集协议，可以对不同类型的数据进行采集与传输。
图3是根据本发明第二个实施例的边缘数据采集管理模块1的框图；如图3所示，所述边缘数据采集管理模块1包括：
OPC采集器17，与基于物联网技术的工业设备的可编辑控制器连接通过OPC-UA协议实现通信；所述OPC-UA协议可以将数字数据、文本数据和图形数据进行传输交互；
所述OPC采集器17包括Custom接口171和Automation接口172，通过所述Custom接口171、Automation接口172实现数据的读写操作；
Custom接口171包括：
OPC Server1711，用于获得其他对象和服务的起始类，并返回OPC Group类对象；
OPC Group1722，用于存储由若干OPC Item组成的Group信息，并用于返回OPCItem类对象；
OPC Item1723，用于存储具体Item的定义、数据值、状态值。
上述技术方案的工作原理：工业物联网对工业设备状况进行监控；其PLC(可编辑控制器)等数据源与OPC采集器17之间通信使用OPC-UA协议进行。OPC-UA协议提供了一套标准的数据源和数据描述方案，是接口、属性和方法标准集，可以将工业物联网中的数字数据、文本数据和图形数据按照规则进行传输交互。通过OPC-UA自定义接口来实现客户端数据得读取。在使用OPC-UA进行读写操作的时候，需要使用Custom接口171和Automation接口172。Custom接口171开发中涉及到三个关键对象：OpcServer、OpcGroup、OpcItem。
上述技术方案的有益效果：OPC采集器17与可编辑控制器通过OPC-UA协议实现通信，将数字数据、文本数据和图形数据进行传输交互。
图4是根据本发明第三个实施例的边缘数据采集管理模块1的框图；如图4所示，所述边缘数据采集管理模块1包括：
MQTT服务器18，与基于物联网技术的传感器连接通过MQTT协议实现通信；用于接收传感器检测的数据；还用于接收用户端的订阅信息，并发送推送消息至用户端；
传感器，用于检测相关数据，并以Topic和Payload的形式发送至MQTT服务器；所述Topic为数据类型；所述Payload为数据内容；
用户端，用于发送订阅消息至所述MQTT服务器18，并接收所述MQTT服务器18的推送消息。
上述技术方案的工作原理：MQTT是一个即时通讯协议，是物联网的重要组成部分，广泛应用到物联网络中。由传感器将机器的指定信息以Topic和Payload的形式传送出来。Topic为数据类型。Payload为数据内容。MQTT服务器18接收传感器发送过来的数据，将接收到的信息发送给用户端。订阅包含主题筛选器(Topic Filter)和最大服务质量(QoS)。订阅会与一个会话(Session)关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。会话(Session)，每个用户端与MQTT服务器18建立连接后就是一个会话，用户端和MQTT服务器18之间有状态交互。会话存在于一个网络之间，也可能在用户端和MQTT服务器18之间跨越多个连续的网络连接。
上述技术方案的有益效果：通过MQTT服务器对传感器检测的数据进行传输交互。
根据本发明的一些实施例，所述RTSP是一种基于文本的协议，用CRLF作为每一行的结束符，其使用过程中可以方便地增加自定义参数，并方便抓包分析。
上述技术方案的工作原理：从消息传送方向上来分，RTSP的报文有两类：请求报文和响应报文。请求报文是指从用户端向服务器发送的请求(也有少量从服务器向用户端发送的请求)，响应报文是指从服务器到用户端的回应。实现对音频数据和视频数据的传输。
根据本发明的一些实施例，所述边缘数据可信预处理模块2包括：
数据清洗模块21：用于清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
数据编解码模块22，与所述数据清洗模块21连接，用于将经数据清洗模块21转化得到的第一数据进行编解码，得到第二数据；
语义集成模块23，与所述数据编解码模块22连接，用于将经数据编解码模块22进行编解码后得到的第二数据进行数据集成；所述数据集成包括成将互相关联的分布式异构数据源集成到一起。
上述技术方案的工作原理：数据清洗模块21用于数据清洗，如填充缺失数据、消除噪声数据等，主要是通过分析“脏数据”的产生原因和存在形式，利用现有的数据挖掘手段和方法去清洗“脏数据”，将“脏数据”转化为满足数据质量要求或应用要求的数据，即第一数据，从而提高数据集的质量，满足现阶段数据分析的需求。数据编解码模块22用于将经数据清洗模块21转化得到的第一数据进行编解码，降低数据维度，得到第二数据。语义集成模块23用于将经数据编解码模块22进行编解码后得到的第二数据进行数据集成，数据集成将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。集成是指维护数据源整体上的数据一致性、提高信息共享利用的效率；透明的方式是指用户无需关心如何实现对异构数据源数据的访问,只关心以何种方式访问何种数据。
上述技术方案的有益效果：提高边缘数据的准确性，可靠性，同时也提高了对边缘数据的一致性，提高了利用效率，有利于业务边缘计算系统在对边缘数据计算时的高效性，更加方便用户对数据的访问，用户可以更加轻松的获取想查询的数据，提高了用户体验。
根据本发明的一些实施例，语义集成模块对经数据编解码模块进行编解码后得到的第二数据进行语义相似度计算，在语义相似度大于预设语义相似度阈值时，进行数据集成；计算语义相似度的算法如下：
计算语义重合度：
Figure BDA0002516244960000121
其中，Qm为m节点到根节点的节点数；Qn为n节点到根节点的节点数；Qm∩Qn为概念m、概念n之间的语义重合度；a为第一权值；b为第二权值；Kd为概念m、概念n之间相同的连续字数；Wd为连续字数的个数；Kc为概念m、概念n之间相同的间断字数；
计算语义相似度：
Figure BDA0002516244960000131
其中，k1为第一修正系数；k2为第二修正系数；N(m，n)为概念m、概念n之间的语义距离；H1为概念m的语义深度；H2为概念n的语义深度。
上述技术方案的有益效果：概念m和概念n之间的相同的连续字数越多表示概念m和概念n之间的语义重合度高，根据语义重合度计算概念m和概念n之间的语义相似度，在语义相似度大于预设语义相似度阈值时，进行数据集成；可以保证数据集成的准确性。
图6是根据本发明一个实施例的一种业务边缘计算方法的流程图；如图6所示，本发明实施例提出了一种业务边缘计算方法，包括步骤S1-S4：
S1、对边缘数据进行采集和管理；
S2、根据采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
S3、对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
S4、对边缘数据的预处理进程进行监控。
上述技术方案的有益效果：支持各种数据采集协议，可以全面采集各种类型的边缘数据，保证数据采集的全面性。对边缘数据进行预处理，可以提高边缘数据的准确性。对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理，及对边缘数据的预处理进程进行监控，可以保证业务边缘计算系统的可靠性。
图7是根据本发明一个实施例的对边缘数据采集的流程图；如图7所示，所述对边缘数据进行采集和管理，包括步骤S11-S15：
S11、获取经用户端发送的边缘数据采集的HttpRequest请求指令；
S12、接收HttpRequest请求指令，并判断用户端是否合法；
S13、在判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
S14、在判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
S15、将解析的相关数据进行采集和存储。
上述技术方案的有益效果：可以提高边缘数据采集的准确性及可靠性。
根据本发明的一些实施例，在采集边缘数据时，通过OPC-UA协议将数字数据、文本数据和图形数据进行传输交互。
根据本发明的一些实施例，在采集边缘数据时，通过MQTT协议实现传感器检测的数据的传输交互。
图8是根据本发明一个实施例的对边缘数据预处理的流程图；如图8所示，所述预处理包括：
S21、接收边缘数据，并清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
S22、将所述第一数据进行编解码，得到第二数据；
S23、将进行编解码后得到的第二数据进行数据集成；所述数据集成包括成将互相关联的分布式异构数据源集成到一起。
上述技术方案的有益效果：提高边缘数据的准确性，可靠性，同时也提高了对边缘数据的一致性，提高了利用效率，有利于在对边缘数据计算时的高效性，更加方便用户对数据的访问，用户可以更加轻松的获取想查询的数据，提高了用户体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种业务边缘计算方法，其特征在于，包括：
对边缘数据进行采集和管理；
根据采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
对边缘数据的预处理进程进行监控；
所述预处理包括：
接收边缘数据，并清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
将所述第一数据进行编解码，得到第二数据；
将进行编解码后得到的第二数据进行数据集成；所述数据集成包括将互相关联的分布式异构数据源集成到一起；
将进行编解码后得到的第二数据进行语义相似度计算，在语义相似度大于预设语义相似度阈值时，进行数据集成；计算语义相似度的算法如下：
计算语义重合度：
Figure FDA0003157789990000011
其中，Qm为m节点到根节点的节点数；Qn为n节点到根节点的节点数；Qm∩Qn为m节点、n节点之间的语义重合度；a为第一权值；b为第二权值；Kd为m节点、n节点之间相同的连续字数；Wd为连续字数的个数；Kc为m节点、n节点之间相同的间断字数；Km为m节点包括的字数；Kn为n节点包括的字数；
计算语义相似度：
Figure FDA0003157789990000021
其中，k1为第一修正系数；k2为第二修正系数；N(m，n)为m节点、n节点之间的语义距离；H1为m节点的语义深度；H2为n节点的语义深度。
2.如权利要求1所述的业务边缘计算方法，其特征在于，所述对边缘数据进行采集和管理，包括：
获取经用户端发送的边缘数据采集的HttpRequest请求指令；
接收HttpRequest请求指令，并判断用户端是否合法；
在判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
在判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
将解析的相关数据进行采集和存储。
3.如权利要求1所述的业务边缘计算方法，其特征在于，在采集边缘数据时，通过OPC-UA协议将数字数据、文本数据和图形数据进行传输交互。
4.如权利要求1所述的业务边缘计算方法，其特征在于，在采集边缘数据时，通过MQTT协议实现传感器检测的数据的传输交互。
5.一种业务边缘计算系统，其特征在于，包括：
边缘数据采集管理模块，支持各种数据采集协议，用于对边缘数据进行采集和管理；
边缘数据可信预处理模块，与所述边缘数据采集管理模块连接，用于对经所述边缘数据采集管理模块采集的边缘数据进行预处理；所述预处理包括数据清洗、数据编解码与语义集成；
边缘处理进度监控模块，与所述边缘数据采集管理模块连接，用于对边缘数据的采集进程进行监控及对边缘数据传输消息队列进行管理；
边缘处理进度监控模块，还与所述边缘数据可信预处理模块连接，用于对边缘数据的预处理进程进行监控；
所述边缘数据可信预处理模块包括：
数据清洗模块：用于清洗脏数据，将脏数据转化为第一数据；所述脏数据包括数据缺失、数据存在噪声；
数据编解码模块，与所述数据清洗模块连接，用于将经数据清洗模块转化得到的第一数据进行编解码，得到第二数据；
语义集成模块，与所述数据编解码模块连接，用于将经数据编解码模块进行编解码后得到的第二数据进行数据集成；所述数据集成包括将互相关联的分布式异构数据源集成到一起；
将进行编解码后得到的第二数据进行语义相似度计算，在语义相似度大于预设语义相似度阈值时，进行数据集成；计算语义相似度的算法如下：
计算语义重合度：
Figure FDA0003157789990000031
其中，Qm为m节点到根节点的节点数；Qn为n节点到根节点的节点数；Qm∩Qn为m节点、n节点之间的语义重合度；a为第一权值；b为第二权值；Kd为m节点、n节点之间相同的连续字数；Wd为连续字数的个数；Kc为m节点、n节点之间相同的间断字数；Km为m节点包括的字数；Kn为n节点包括的字数；
计算语义相似度：
Figure FDA0003157789990000032
其中，k1为第一修正系数；k2为第二修正系数；N(m，n)为m节点、n节点之间的语义距离；H1为m节点的语义深度；H2为n节点的语义深度。
6.如权利要求5所述的业务边缘计算系统，其特征在于，所述边缘数据采集管理模块包括：
第一获取模块，用于获取经用户端发送的边缘数据采集的HttpRequest请求指令；
数据采集接口，与所述第一获取模块连接，用于接收经所述第一获取模块发送的HttpRequest请求指令；
第一判断模块，与所述数据采集接口连接，用于接收经所述数据采集接口发送的HttpRequest请求指令，并判断用户端是否合法；
第二判断模块，与所述第一判断模块连接，用于在所述第一判断模块判断所述用户端合法时，判断所述用户端发出的HttpRequest请求指令中的请求参数是否合法；
解析模块，与所述第二判断模块连接，用于在所述第二判断模块判断所述用户端发出的HttpRequest请求指令中的请求参数合法时，解析服务器中的相关数据；
数据采集存储模块，与所述解析模块连接，用于将经所述解析模块解析的相关数据进行采集和存储。
CN202010477361.0A 2020-05-29 2020-05-29 一种业务边缘计算方法及系统 Active CN111708667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010477361.0A CN111708667B (zh) 2020-05-29 2020-05-29 一种业务边缘计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477361.0A CN111708667B (zh) 2020-05-29 2020-05-29 一种业务边缘计算方法及系统

Publications (2)

Publication Number Publication Date
CN111708667A CN111708667A (zh) 2020-09-25
CN111708667B true CN111708667B (zh) 2021-10-15

Family

ID=72538445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477361.0A Active CN111708667B (zh) 2020-05-29 2020-05-29 一种业务边缘计算方法及系统

Country Status (1)

Country Link
CN (1) CN111708667B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671916B (zh) * 2020-12-28 2023-04-07 厦门市美亚柏科信息股份有限公司 电子数据取证方法及边缘节点
CN113034178A (zh) * 2021-03-15 2021-06-25 深圳市麦谷科技有限公司 多系统积分计算方法、装置、终端设备和存储介质
CN113379872A (zh) * 2021-07-13 2021-09-10 重庆云图软件科技有限公司 一种工程图生成方法、装置、系统及计算机可读存储介质
CN114125032B (zh) * 2021-11-22 2023-06-16 杭州佳和电气股份有限公司 一种边缘协议数据处理方法和系统
CN115082461B (zh) * 2022-08-19 2022-11-04 成都中医药大学 一种基于边缘计算的预判过滤方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743356A (zh) * 2018-12-07 2019-05-10 南京邮电大学 工业互联网数据采集方法及装置、可读存储介质和终端
CN109857732A (zh) * 2019-01-31 2019-06-07 山东省电子信息产品检验院 一种工业互联网平台监测数据传输交换方法及系统
CN110320837A (zh) * 2019-07-08 2019-10-11 合肥金新允电子技术有限公司 一种可边缘计算的工业电脑

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743356A (zh) * 2018-12-07 2019-05-10 南京邮电大学 工业互联网数据采集方法及装置、可读存储介质和终端
CN109857732A (zh) * 2019-01-31 2019-06-07 山东省电子信息产品检验院 一种工业互联网平台监测数据传输交换方法及系统
CN110320837A (zh) * 2019-07-08 2019-10-11 合肥金新允电子技术有限公司 一种可边缘计算的工业电脑

Also Published As

Publication number Publication date
CN111708667A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111708667B (zh) 一种业务边缘计算方法及系统
CN107390650B (zh) 一种基于物联网的数据采集系统及基于该系统的数据压缩方法
CN114268640B (zh) 云边协同的工业物联网智能路由系统
CN113569117B (zh) 一种基于工业互联网大数据服务的云平台系统及方法
CN101902505A (zh) 一种分布式dns查询日志的实时统计装置及方法
US10091110B2 (en) Edge-based load shedding system for fast data analysis and operating method thereof
CN113254529A (zh) 一种基于边缘计算和HiTSDB存储的工业物联网平台
CN109743356B (zh) 工业互联网数据采集方法及装置、可读存储介质和终端
CN111611129B (zh) PaaS云平台的性能监控方法及装置
Poojara et al. Serverless data pipeline approaches for IoT data in fog and cloud computing
CN107357804A (zh) 互联网金融海量日志的分析系统及方法
CN114490268A (zh) 全链路监控方法、装置、设备、存储介质和程序产品
CN103914531A (zh) 数据的处理方法及装置
CN112749153A (zh) 一种工业网络数据管理系统
KR101484933B1 (ko) 컴퓨터 네트워크에서 데이터를 송신하기 위한 방법, 시스템, 서버, 디바이스, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품
CN106648722B (zh) 基于大数据的Flume接收端数据处理方法和装置
CN104468248A (zh) 业务性能的监控方法、反向代理服务器、统计分析服务器及系统
CN112702430B (zh) 一种基于云边模式和Web技术的数据传输方法
CN111506672B (zh) 实时分析环保监测数据的方法、装置、设备及存储介质
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
Saavedra et al. Towards large scale packet capture and network flow analysis on hadoop
CN112235154A (zh) 基于物联网的数据处理方法、系统、装置及介质
CN106161339B (zh) 获取ip访问关系的方法及装置
Peng et al. Network measurement and performance analysis at server side
WO2023224764A1 (en) Multi-modality root cause localization for cloud computing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant