CN115022422B - 物联网实时数据处理系统及方法 - Google Patents
物联网实时数据处理系统及方法 Download PDFInfo
- Publication number
- CN115022422B CN115022422B CN202210687005.0A CN202210687005A CN115022422B CN 115022422 B CN115022422 B CN 115022422B CN 202210687005 A CN202210687005 A CN 202210687005A CN 115022422 B CN115022422 B CN 115022422B
- Authority
- CN
- China
- Prior art keywords
- internet
- things
- data processing
- flow
- protocol analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种物联网实时数据处理系统及方法，方法包括：视图层实现物联网数据处理流程的可视化为若干个流程节点，物联网数据处理流程包括规约解析；插件层描述若干个物联网数据处理流程的流程节点的基本信息，并设置配置信息；服务端对视图层和插件层的流程节点进行对接，形成物联网数据处理流程的后端流程图，根据后端流程图提交数据处理任务；规约解析层根据配置信息确定规约解析的方法，对物联网数据进行规约解析，所有规约解析的方法形成于一套规约解析程式内；集群层对数据处理任务进行优化处理和分配。本发明可以实现只采用一套解析程序对不同设备的电网数据进行规约解析的目的，使得后期维护更加容易，使得扩展性变得更好。
Description
技术领域
本发明涉及通信技术领域，尤其是涉及一种物联网实时数据处理系统及方法。
背景技术
随着电网智能电网发展越来越好，电网数据的传输和处理变得越来越重要。其中，其中，一个处理流程为电网数据的规约解析，规约解析发生在数据接收端之前。
现有技术中，规约解析采用的是问答的方式，每种设备使用的规约不同会导致解析程序需要部署多套，可能造成后期维护困难的问题发生，例如，当如果解约程序出现了问题，会出现排查问题的速度较慢的问题，同时，不同规约需要不同的规约解析程序还会导致扩展性差的问题出现。此外，在涉及到大量不同类型的设备时，解析程序不仅要考虑到高并发的问题，还需要满足不同设备间解析规则的差异性，在数据处理任务量巨大的场景下不能保证数据的实时性。
发明内容
本发明的目的在于提供一种物联网实时数据处理系统及方法，可以只采用一套解析程序对不同设备的电网数据进行规约解析，使得后期维护更加容易，同时使得扩展性变得更好。此外，还可以满足不同设备间解析规则的差异性，在数据处理任务量巨大的场景下保证数据的实时性。
为了达到上述目的，本发明提供了一种物联网实时数据处理系统，包括：
视图层，用于实现物联网数据处理流程的可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
插件层，用于描述若干个所述物联网数据处理流程的流程节点的基本信息，以及用于设置若干个所述流程节点的配置信息；
服务端，用于对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
规约解析层，用于根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
集群层，用于对所述服务端提交的数据处理任务进行优化处理和分配。
可选的，在所述的物联网实时数据处理系统中，所述基本信息包括：报文过滤、过滤的数据库、以及报文为上行报文还是下行报文。
可选的，在所述的物联网实时数据处理系统中，所述配置信息包括：数据库地址、报文类型以及报文的参数。
可选的，在所述的物联网实时数据处理系统中，所述规约为至少两个。
可选的，在所述的物联网实时数据处理系统中，所述数据处理任务为多个。
可选的，在所述的物联网实时数据处理系统中，所述物联网数据包括采集的多个电网设备的数据。
相应地，本发明还提供了一种物联网实时数据处理方法，包括：
视图层将物联网数据处理流程的可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
插件层描述若干个所述物联网数据处理流程的流程节点的基本信息，以及设置若干个所述流程节点的配置信息；
服务端对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
规约解析层根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
集群层对所述服务端提交的数据处理任务进行优化处理和分配。
可选的，在所述的物联网实时数据处理方法中，根据所述配置信息确定所述规约解析的方法，以及对所述物联网数据进行规约解析的方法包括：
根据所述配置信息判断物联网数据数据的报文类型；
根据所述报文类型分发报文；
对分发后的报文同时进行规约解析；以及
对规约解析后的报文进行数据整合。
可选的，在所述的物联网实时数据处理方法中，通过改变所述流程节点的先后顺序或者数量，以改变物联网数据处理流程。
可选的，在所述的物联网实时数据处理方法中，将数据处理任务分配为多个设备处理。
在本发明提供的物联网实时数据处理系统及方法中，通过一套规约解析程式根据插件层设置的配置信息对不同规约的数据流程进行规约解析，可以实现只采用一套解析程序对不同设备的电网数据进行规约解析的目的，使得后期维护更加容易，同时使得扩展性变得更好。此外，还可以满足不同设备间解析规则的差异性，在数据处理任务量巨大的场景下保证数据的实时性。
附图说明
图1是本发明实施例的物联网实时数据处理方法的流程图；
图2是本发明实施例的规约解析的流程图。
具体实施方式
下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
在下文中，术语“第一”“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。
本发明提供了一种物联网实时数据处理系统，包括：
视图层，用于实现物联网数据处理流程的可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
插件层，用于描述若干个所述物联网数据处理流程的流程节点的基本信息，以及用于设置若干个所述流程节点的配置信息；
服务端，用于对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
规约解析层，用于根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
集群层，用于对所述服务端提交的数据处理任务进行优化处理和分配。
优选的，所述基本信息包括：报文过滤、过滤的数据库、以及报文为上行报文还是下行报文。所述配置信息包括：数据库地址、报文类型以及报文的参数。规约的差异性表达出来。
优选的，所述规约为至少两个。例如，本发明实施例使用两个规约作为例子，即698.45和376.1这两种规约，在同一规约解析程序中可以同时规约解析这两种规约。现有技术对电网设备数据的采集一般是基于问答方式，对于大规模、实时性要求高的数据采集不支持。本发明实施例将插件层与规约解析相结合达到了在同一个流程里面可以解析这两种规约，主要是通过数据流的分流和合流的方式对数据进行处理。当链接上存在多种类型的规约的数据流时，通过分流的方式进行数据解析，解析成不固定的带有描述性的Json数据格式，再对已解析的数据流进行合流发往下一级处理。数据处理的过程完全是流程组态的方式，中间不会存储任何数据，流式任务在分布式集群的辅助下轻松地保证数据的实时性。基于流程组态的方式可实现对大规模电网设备数据的采集，同时基于流式化的数据采集解析可以保证数据的实时性准确性。解决用户对相关数据展示进而分析提供数据支撑以及数据的准时性。
优选的，所述数据处理任务为多个，将多个数据处理任务分配为多个设备处理。集群层将多个数据处理任务进行分配，分配给若干个设备，若干个设备同时进行数据处理任务的处理的，可以提高处理的效率。
优选的，所述物联网数据包括采集的多个电网设备的数据。不同设备的数据的规约不同，规约解析方法不同，数据的配置信息也不同。本发明实施例使用在电网设备数据的收集过程中，收集的电网数据将会传送到数据接收端。而在数据的传输和处理过程中，数据满足一定的规约，在数据接收到之前，就会将数据进行规约解析，然后，再将规约解析后的数据传输到接收端。
请参照图1，相应地，本发明还提供了一种物联网实时数据处理方法，包括：
S1：视图层将物联网数据处理流程的可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
S2：插件层描述若干个所述物联网数据处理流程的流程节点的基本信息，以及设置若干个所述流程节点的配置信息；
S3：服务端对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
S4：规约解析层根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
S5：集群层对所述服务端提交的数据处理任务进行优化处理和分配。
请参照图2，根据所述配置信息确定所述规约解析的方法，以及对所述物联网数据进行规约解析的方法包括：
S41：根据所述配置信息判断物联网数据数据的报文类型；
S42：根据所述报文类型分发报文；
S43：对分发后的报文同时进行规约解析；以及
S44：对规约解析后的报文进行数据整合。
其中，数据是以多个报文的形式存在的，所以对电网数据进行规约解析，相当于对其中的报文进行规约解析。
本发明实施例中，可以通过改变所述流程节点的先后顺序或者数量，以改变物联网数据处理流程。在视图层中，将流程以流程节点的形式表示出来，可以让操作人员很直观地看到整个流程，然后可以根据看到的流程很清晰地改变或对整个流程进行操作。整个流程可以分为若干个流程节点，每个节点显示在该位置的动作，规约解析被包含在流程中。而如果改变流程节点的顺序就相当于改变了流程内的具体步骤的顺序，增加或减少节点就相当于增加或减少流程内的具体步骤，所以相当于改变了流程。然后服务端会根据操作人员改变的流程节点形成后端流程图，然后根据后端流程图形成程序，设备就可以运行程序对数据进行传输和处理。
综上，在本发明实施例提供的物联网实时数据处理系统及方法中，通过一套规约解析程式根据插件层设置的配置信息对不同规约的数据流程进行规约解析，可以实现只采用一套解析程序对不同设备的电网数据进行规约解析的目的，使得后期维护更加容易，同时使得扩展性变得更好。此外，还可以满足不同设备间解析规则的差异性，在数据处理任务量巨大的场景下保证数据的实时性。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
Claims (10)
1.一种物联网实时数据处理系统，其特征在于，包括：
视图层，用于将物联网数据处理流程可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
插件层，用于描述若干个所述物联网数据处理流程的流程节点的基本信息，以及用于设置若干个所述流程节点的配置信息；
服务端，用于对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
规约解析层，用于根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
集群层，用于对所述服务端提交的数据处理任务进行优化处理和分配。
2.如权利要求1所述的物联网实时数据处理系统，其特征在于，所述基本信息包括：报文过滤、过滤的数据库、以及报文为上行报文还是下行报文。
3.如权利要求1所述的物联网实时数据处理系统，其特征在于，所述配置信息包括：数据库地址、报文类型以及报文的参数。
4.如权利要求1所述的物联网实时数据处理系统，其特征在于，所述规约为至少两个。
5.如权利要求1所述的物联网实时数据处理系统，其特征在于，所述数据处理任务为多个。
6.如权利要求1所述的物联网实时数据处理系统，其特征在于，所述物联网数据包括采集的多个电网设备的数据。
7.一种使用如权利要求1～6任一项所述的物联网实时数据处理系统的物联网实时数据处理方法，其特征在于，包括：
视图层将物联网数据处理流程可视化为若干个流程节点，其中，所述物联网数据处理流程包括规约解析；
插件层描述若干个所述物联网数据处理流程的流程节点的基本信息，以及设置若干个所述流程节点的配置信息；
服务端对所述视图层的流程节点和插件层的流程节点进行对接，以形成物联网数据处理流程的后端流程图，并且，根据所述后端流程图提交数据处理任务；
规约解析层根据所述配置信息确定不同流程节点的物联网数据的规约解析方法，以及对所述物联网数据进行规约解析，其中，所有所述规约解析的方法形成于一套规约解析程式内；以及
集群层对所述服务端提交的数据处理任务进行优化处理和分配。
8.如权利要求7所述的物联网实时数据处理方法，其特征在于，根据所述配置信息确定所述规约解析的方法，以及对所述物联网数据进行规约解析的方法包括：
根据所述配置信息判断物联网数据数据的报文类型；
根据所述报文类型分发报文；
对分发后的报文同时进行规约解析；以及
对规约解析后的报文进行数据整合。
9.如权利要求7所述的物联网实时数据处理方法，其特征在于，通过改变所述流程节点的先后顺序或者数量，以改变物联网数据处理流程。
10.如权利要求7所述的物联网实时数据处理方法，其特征在于，将多个数据处理任务分配为多个设备处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210687005.0A CN115022422B (zh) | 2022-06-16 | 2022-06-16 | 物联网实时数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210687005.0A CN115022422B (zh) | 2022-06-16 | 2022-06-16 | 物联网实时数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115022422A CN115022422A (zh) | 2022-09-06 |
| CN115022422B true CN115022422B (zh) | 2023-05-30 |
Family
ID=83074482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210687005.0A Active CN115022422B (zh) | 2022-06-16 | 2022-06-16 | 物联网实时数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115022422B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2938027A1 (en) * | 2012-12-19 | 2015-10-28 | Nec Corporation | Communication node, control device, communication system, packet processing method, communication node control method, and program |
| CN110290127A (zh) * | 2019-06-20 | 2019-09-27 | 云南电网有限责任公司电力科学研究院 | 一种报文转换方法以及报文转换系统 |
| CN111835786A (zh) * | 2020-07-23 | 2020-10-27 | 杨承 | 一种对多规约设备数据采集、设备控制的系统及实现方法 |
| CN114296417A (zh) * | 2022-03-11 | 2022-04-08 | 中国人民解放军海军工程大学 | 多源数据高效融合的通用流程控制系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10338895B2 (en) * | 2015-06-08 | 2019-07-02 | Cisco Technology, Inc. | Integrated developer environment for internet of things applications |
| CN105635173B (zh) * | 2016-01-29 | 2019-03-22 | 山东鲁能智能技术有限公司 | 智能配电终端通信弱耦合模块化系统及方法 |
| CN110086678B (zh) * | 2019-05-16 | 2022-04-19 | 南京华盾电力信息安全测评有限公司 | 基于Redis的双通道实时数据采集系统及采集方法 |
| CN111934898A (zh) * | 2020-06-16 | 2020-11-13 | 浙江华云信息科技有限公司 | 一种基于物联网多规约虚拟网关的连接方法 |
| CN112333231A (zh) * | 2020-09-18 | 2021-02-05 | 许继集团有限公司 | 一种基于mqtt物联网配置型通配规约的实现方法及系统 |
| CN112565011B (zh) * | 2020-12-02 | 2022-02-08 | 国网信息通信产业集团有限公司 | 一种基于云平台的新型用电信息采集系统 |
| CN113923268B (zh) * | 2021-09-08 | 2023-11-14 | 山东信通电子股份有限公司 | 一种针对多版本通信规约的解析方法、设备及存储介质 |
-
2022
- 2022-06-16 CN CN202210687005.0A patent/CN115022422B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2938027A1 (en) * | 2012-12-19 | 2015-10-28 | Nec Corporation | Communication node, control device, communication system, packet processing method, communication node control method, and program |
| CN110290127A (zh) * | 2019-06-20 | 2019-09-27 | 云南电网有限责任公司电力科学研究院 | 一种报文转换方法以及报文转换系统 |
| CN111835786A (zh) * | 2020-07-23 | 2020-10-27 | 杨承 | 一种对多规约设备数据采集、设备控制的系统及实现方法 |
| CN114296417A (zh) * | 2022-03-11 | 2022-04-08 | 中国人民解放军海军工程大学 | 多源数据高效融合的通用流程控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115022422A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106130796B (zh) | Sdn网络拓扑流量可视化监控方法及控制终端 | |
| EP3407562B1 (en) | Coflow recognition method and system, and server using method | |
| CN110058987B (zh) | 用于对计算系统进行追踪的方法、设备和计算机可读介质 | |
| DE112012000989B4 (de) | Peet-To-Peer-Kooperation von Herausgebern in einer Publikations-Abonnement-Umgebung | |
| Beshley et al. | Customer-oriented quality of service management method for the future intent-based networking | |
| US20200233650A1 (en) | Systems and methods for collecting, monitoring, and analyzing vehicle data from a plurality of vehicles using edge computing | |
| CN111242807B (zh) | 一种变电站数据接入泛在电力物联网的方法 | |
| CN112870726B (zh) | 图形处理器的资源分配方法、装置和存储介质 | |
| CN111651510A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108270860A (zh) | 环境质量在线监测数据的采集系统及方法 | |
| CN106910146A (zh) | 一种基于流式处理技术的异构教育数据交换平台及方法 | |
| CN105245588B (zh) | 一种web业务端口分离处理的方法 | |
| DE112010004809B4 (de) | Mehrfachgranulare Datenstromverarbeitung | |
| CN102279905A (zh) | 一种电网故障诊断中的数据流快速约简方法 | |
| CN107257369A (zh) | 一种北斗短报文云计算平台系统 | |
| CN109038816A (zh) | 一种输电线路巡检管理系统 | |
| CN115022422B (zh) | 物联网实时数据处理系统及方法 | |
| CN201387555Y (zh) | 一种综合远程监控系统 | |
| CN102055620B (zh) | 监控用户体验的方法和系统 | |
| CN108881373B (zh) | 一种基于mvc框架的前端数据流处理方法 | |
| CN106656709B (zh) | 一种机载端航电总线状态交换协议处理方法 | |
| CN105260346A (zh) | 一种监控数据处理方法、装置及系统 | |
| CN107766497A (zh) | 基于容器的数据收集的方法及终端 | |
| CN112883110A (zh) | 一种基于nifi的终端大数据分发方法、存储介质及系统 | |
| CN112788013A (zh) | 一种web端在线多层协议数据包解码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |