CN109783247B - 基于cov数据处理的总线控制系统 - Google Patents
基于cov数据处理的总线控制系统 Download PDFInfo
- Publication number
- CN109783247B CN109783247B CN201811432975.6A CN201811432975A CN109783247B CN 109783247 B CN109783247 B CN 109783247B CN 201811432975 A CN201811432975 A CN 201811432975A CN 109783247 B CN109783247 B CN 109783247B
- Authority
- CN
- China
- Prior art keywords
- data
- service module
- cov
- message
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明一种基于COV数据处理的总线控制系统，包括：数据建模服务模块用于搭建数据建模服务；COV数据处理服务模块用于搭建COV数据处理服务，从数据建模服务模块中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块上注册订阅消息；通信管理机用于采集下接的感应设备的数据，并将采集到的数据按约定格式发布到MQTT总线服务模块上；MQTT总线服务模块用于根据消息订阅规则将发布的数据消息推送给COV数据处理服务模块；COV数据处理服务模块用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库。
Description
技术领域
本发明涉及总线控制系统技术领域，特别是涉及一种基于COV(Change Of Value)数据处理的总线控制系统。
背景技术
当前正值工业物联网的蓬勃发展期，基于物联网采集数据的各类应用不断延伸，不论应用场景如何更迭，一个稳定的数据采集、传输、存储体系都是搭建上层应用的基石。采集数据从物联网感应设备送达平台，采用传统的socket点对点传输方式，在采集点多、采集频率高、数据呈现“碎片化”的场景下效果并不理想。
MQTT的订阅发布机制能很好的满足我们的需求，实现了MQTT协议的通信管理机将每个采集的数据包以消息的形式发布到总线上，所有的订阅者都能第一时间收到MQTT“推”来的消息。我们可以为分布式部署的每个服务制定各自的订阅规则，这样无论是增加数据生产者(采集节点)还是增加订阅者(分布式服务)，都能轻易扩展。
但问题也是显而易见的：为了提高数据实时性，项目中往往会加大采集的频次，但会带来数据的大幅增加。MQTT“推”来的消息每个消息都不大，数量却非常多，我们当然可以全部存储下来，再通过ETL等方式后期处理，但不可避免会导致存储成本和维护工作量的大幅增加；如果我们对每条数据进行处理，又会面临数据实时性和数据存储量的两难抉择。为了解决这一问题，我们提出了一种对大量采集数据进行高效处理的MQTT总线控制系统。
发明内容
本发明针对现有技术存在的问题和不足，提供一种基于COV数据处理的总线控制系统。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供一种基于COV数据处理的总线控制系统，其特点在于，其包括数据建模服务模块、COV数据处理服务模块、MQTT总线服务模块、采集现场的通信管理机及数据库；
所述数据建模服务模块用于搭建数据建模服务，定义项目相关的模型实体对象、对象属性、消息订阅规则、消息解析表达式、COV解析存储策略、入库规则；
所述COV数据处理服务模块用于搭建COV数据处理服务，从数据建模服务模块中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块上注册订阅消息；
所述通信管理机用于采集下接的感应设备的数据，并将采集到的数据按约定格式发布到MQTT总线服务模块上；
所述MQTT总线服务模块用于根据消息订阅规则将发布的数据消息推送给COV数据处理服务模块；
所述COV数据处理服务模块用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库。
较佳地，所述通信管理机用于在下接的感应设备超过设定数量时，将采集到的计量数据打包后以特定的topic形式发布到MQTT总线服务模块上。
较佳地，所述总线控制系统还包括消息解包服务模块，所述MQTT总线服务模块用于将打包数据发送到消息解包服务模块上，所述消息解包服务模块用于对打包数据进行解包，并将解包后的数据重新发布到MQTT总线服务模块上。
较佳地，所述消息订阅规则定义了模型实体与订阅消息规则之间的关联。
较佳地，所述COV解析存储策略定义了订阅到消息后所做的一系列解析和存储的规则，包括表达式处理规则、绝对值阈值存储规则、百分比阈值存储规则和周期存储规则。
较佳地，所述COV数据处理服务模块包括表达式处理子模块、COV解析存储子模块、绝对值阈值存储子模块、百分比阈值存储子模块和周期存储子模块；
所述表达式处理子模块用于对发布的数据进行预处理，预处理的规则即预设的表达式，表达式计算的结果将进入后续处理；
所述COV解析存储子模块根据COV解析存储策略选取某个策略执行存储动作，在策略为绝对值阈值存储时调用绝对值阈值存储子模块在本次表达式计算值与上次计算值的差额绝对值超过第一规则预设值时存储入库，在策略为百分比阈值存储时调用百分比阈值存储子模块在本次表达式计算值与上次计算值的变化率绝对值超过第二规则预设值时存储入库，在策略为周期存储时调用周期存储子模块直接对表达式结果执行周期性存储入库。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明内置特有的COV数据处理模块，适用于数据实时采集与按需存储的场合，可有效缓解高并发场景下实时数据处理压力、减少数据库I/O压力、更合理地利用有限的数据库存储空间。
附图说明
图1为本发明较佳实施例的基于COV数据处理的总线控制系统的系统架构图。
图2为本发明较佳实施例的COV数据处理的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供一种基于COV数据处理的总线控制系统，其包括数据建模服务模块[A]、COV数据处理服务模块[B]、消息解包服务模块[C]、MQTT总线服务模块[E]、采集现场的通信管理机[F]及数据库[D]。
所述数据建模服务模块[A]用于搭建数据建模服务，定义项目相关的模型实体对象、对象属性、消息订阅规则topic、消息解析表达式、COV解析存储策略、入库规则。
消息订阅规则：本例中明确定义了电表采集的各个参数(电压、电流、功率、电能、频率等)与订阅消息规则topic之间的关联。
COV解析存储策略：本例中明确定义了订阅到消息后所做的一系列解析和存储的规则，包括表达式处理规则、绝对值阈值存储规则、百分比阈值存储规则和周期存储规则。
本例对不同类型的采集参数，执行不同的存储策略，具体如下：
(1)电压、频率：采用阈值存储规则(绝对值)。做此选择是考虑到所有感应设备的电压和频率都是在同一个恒定值附近波动，在统计基数都是恒定的情况下，宜限定波动绝对值作为存储阈值。
(2)电流、功率：采用阈值存储规则(百分比)。做此选择是考虑到不同感应设备的电流、功率波动范围是不同的，即使同一设备在不同时间点的电流、功率波动范围也是不同的，在统计基数无法统一的情况下，宜限定波动百分比作为存储阈值。
(3)电能：采用周期存储规则。做此选择是考虑到电能是累计值，具有默认递增的特点，在统计基数不断累积增加的情况下，采用阈值限定就不合适了，只能采取周期存储方式。
所述COV数据处理服务模块[B]用于搭建COV数据处理服务，从数据建模服务模块[A]中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块[E]开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块[E]上注册订阅消息。
所述通信管理机[F]用于采集下接的感应设备的数据，本例中包括电压、电流、功率、电能、频率等参数，并将采集到的数据按约定格式发布到MQTT总线服务模块[E]上。因为通信管理机下接的智能电表设备很多，本例将数据打包后以约定好的topic发布到MQTT总线服务[E]上。
所述MQTT总线服务模块[E]用于将打包数据发送到消息解包服务模块[C]上，所述消息解包服务模块[C]用于对打包数据进行解包，并将解包后的数据重新发布到MQTT总线服务模块[E]上。
所述MQTT总线服务模块[E]用于根据消息订阅规则将数据消息推送给COV数据处理服务模块[B]。
所述COV数据处理服务模块[B]用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库[D]。
其中，所述COV数据处理服务模块[B]包括表达式处理子模块[P]、COV解析存储子模块、绝对值阈值存储子模块[Q]、百分比阈值存储子模块[M]和周期存储子模块[N]。
所述表达式处理子模块[P]用于对发布的数据进行预处理，预处理的规则即预设的表达式，表达式计算的结果将进入后续处理；所述COV解析存储子模块根据COV解析存储策略选取某个策略执行存储动作，在策略为绝对值阈值存储时调用绝对值阈值存储子模块[Q]在本次表达式计算值与上次计算值的差额绝对值超过第一规则预设值时存储入库，在策略为百分比阈值存储时调用百分比阈值存储子模块[M]在本次表达式计算值与上次计算值的变化率绝对值超过第二规则预设值时存储入库，在策略为周期存储时调用周期存储子模块[N]直接对表达式结果执行周期性存储入库。
例如：表达式处理子模块[P]会对数据进行预处理，预处理的规则即预设的表达式，表达式计算的结果将进入后续处理，COV解析存储子模块将根据COV解析存储策略，选取某个策略执行存储动作。
电压、频率根据阈值(绝对值)执行存储：本例中因为设置电压、频率的存储策略是阈值存储(绝对值)，则本次表达式计算值与上次计算值的差额绝对值超过规则预设值才会存储。
电流、功率根据阈值(百分比)执行存储：本例中因为设置电流、功率的存储策略是阈值存储(百分比)，则本次表达式计算值与上次计算值的变化率绝对值超过规则预设值才会存储。
电能根据周期性存储策略执行存储：本例中因为设置电能的存储策略是周期存储，则直接对表达式结果执行周期性存储。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (5)
1.一种基于COV数据处理的总线控制系统，其特征在于，其包括数据建模服务模块、COV数据处理服务模块、MQTT总线服务模块、采集现场的通信管理机及数据库；
所述数据建模服务模块用于搭建数据建模服务，定义项目相关的模型实体对象、对象属性、消息订阅规则、消息解析表达式、COV解析存储策略、入库规则；
所述COV数据处理服务模块用于搭建COV数据处理服务，从数据建模服务模块中读取消息订阅规则和COV解析存储策略，并在MQTT总线服务模块开启MQTT总线服务后，根据读取到的消息订阅规则到MQTT总线服务模块上注册订阅消息；
所述通信管理机用于采集下接的感应设备的数据，并将采集到的数据按约定格式发布到MQTT总线服务模块上；
所述MQTT总线服务模块用于根据消息订阅规则将发布的数据消息推送给COV数据处理服务模块；
所述COV数据处理服务模块用于在收到推送的数据消息后，对数据消息进行解析处理并存入数据库；
所述COV数据处理服务模块包括表达式处理子模块、COV解析存储子模块、绝对值阈值存储子模块、百分比阈值存储子模块和周期存储子模块；
所述表达式处理子模块用于对发布的数据进行预处理，预处理的规则即预设的表达式，表达式计算的结果将进入后续处理；
所述COV解析存储子模块根据COV解析存储策略选取某个策略执行存储动作，在策略为绝对值阈值存储时调用绝对值阈值存储子模块在本次表达式计算值与上次计算值的差额绝对值超过第一规则预设值时存储入库，在策略为百分比阈值存储时调用百分比阈值存储子模块在本次表达式计算值与上次计算值的变化率绝对值超过第二规则预设值时存储入库，在策略为周期存储时调用周期存储子模块直接对表达式结果执行周期性存储入库。
2.如权利要求1所述的基于COV数据处理的总线控制系统，其特征在于，所述通信管理机用于在下接的感应设备超过设定数量时，将采集到的计量数据打包后以特定的topic形式发布到MQTT总线服务模块上。
3.如权利要求2所述的基于COV数据处理的总线控制系统，其特征在于，所述总线控制系统还包括消息解包服务模块，所述MQTT总线服务模块用于将打包数据发送到消息解包服务模块上，所述消息解包服务模块用于对打包数据进行解包，并将解包后的数据重新发布到MQTT总线服务模块上。
4.如权利要求1所述的基于COV数据处理的总线控制系统，其特征在于，所述消息订阅规则定义了模型实体与订阅消息规则之间的关联。
5.如权利要求1所述的基于COV数据处理的总线控制系统，其特征在于，所述COV解析存储策略定义了订阅到消息后所做的一系列解析和存储的规则，包括表达式处理规则、绝对值阈值存储规则、百分比阈值存储规则和周期存储规则。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432975.6A CN109783247B (zh) | 2018-11-28 | 2018-11-28 | 基于cov数据处理的总线控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432975.6A CN109783247B (zh) | 2018-11-28 | 2018-11-28 | 基于cov数据处理的总线控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783247A CN109783247A (zh) | 2019-05-21 |
| CN109783247B true CN109783247B (zh) | 2020-10-02 |
Family
ID=66496570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811432975.6A Active CN109783247B (zh) | 2018-11-28 | 2018-11-28 | 基于cov数据处理的总线控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783247B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546541A (zh) * | 2013-09-26 | 2014-01-29 | 中国南方电网有限责任公司 | 基于智能远动机的数据远程订阅发布方法 |
| CN105629790A (zh) * | 2016-01-29 | 2016-06-01 | 广州能迪能源科技股份有限公司 | 一种基于工业物联网的数据管理平台以及其数据管理方法 |
| CN106656632A (zh) * | 2017-02-03 | 2017-05-10 | 上海中信信息发展股份有限公司 | 融合以太网和物联网协议的机房监控系统及信息处理、控制方法 |
| CN108353090A (zh) * | 2015-08-27 | 2018-07-31 | 雾角系统公司 | 边缘智能平台和物联网传感器流系统 |
-
2018
- 2018-11-28 CN CN201811432975.6A patent/CN109783247B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546541A (zh) * | 2013-09-26 | 2014-01-29 | 中国南方电网有限责任公司 | 基于智能远动机的数据远程订阅发布方法 |
| CN108353090A (zh) * | 2015-08-27 | 2018-07-31 | 雾角系统公司 | 边缘智能平台和物联网传感器流系统 |
| CN105629790A (zh) * | 2016-01-29 | 2016-06-01 | 广州能迪能源科技股份有限公司 | 一种基于工业物联网的数据管理平台以及其数据管理方法 |
| CN106656632A (zh) * | 2017-02-03 | 2017-05-10 | 上海中信信息发展股份有限公司 | 融合以太网和物联网协议的机房监控系统及信息处理、控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Esp8266WIFI平台和MQTT协议;王浩;《泰山学院学报》;20171130;第39卷(第6期);第86-91页 * |
| 基于MQTT 协议的物联网通信系统的研究与实现;姚丹等;《信息通信》;20160331(第3期);第33-35页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109783247A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103997532B (zh) | 一种农业物联网边缘中间件系统 | |
| CN108769121A (zh) | 智能工业装备物联网数据采集系统及采集数据的上传方法 | |
| CN102711139B (zh) | 一种数据流量统计方法及终端 | |
| CN102004673A (zh) | 多核处理器负载均衡的处理方法及系统 | |
| CN108833267A (zh) | 智能工业网关 | |
| CN105320771A (zh) | 基于哈希环的时间序列数据库服务集群的实现方法与系统 | |
| CN107147527A (zh) | 一种Linux集群告警的系统及方法 | |
| CN109067871B (zh) | 一种电力泛在智能云架构 | |
| CN116527718A (zh) | 一种工业物联网网关的数据采集方法及其系统 | |
| CN113645656A (zh) | 一种基于互联网的网络运行环境监测系统 | |
| CN210899215U (zh) | 一种物联网边缘采集网关系统 | |
| CN115623358A (zh) | 一种抄表方法、抄表装置及抄表系统 | |
| CN114205816B (zh) | 一种电力移动物联网信息安全架构及其使用方法 | |
| CN111625583A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN109783247B (zh) | 基于cov数据处理的总线控制系统 | |
| CN104501848B (zh) | 一种变电设备的数据接入方法及系统 | |
| CN112614002A (zh) | 数据采集系统、方法、装置、电子设备及计算机存储介质 | |
| CN109217986A (zh) | 一种基于物联网的数据传输方法及系统 | |
| CN113765777A (zh) | 设备控制方法、消息中转方法、设备、可读介质和物联网 | |
| CN111461915A (zh) | 一种光伏电厂运行实时信息管理系统及管理方法 | |
| CN117376418A (zh) | 一种基于mqtt协议的分布式能源电站数据采集系统 | |
| CN108710347A (zh) | 一种监控云平台 | |
| CN107196818A (zh) | 一种Linux集群监控的系统及方法 | |
| CN115292393B (zh) | 一种用于智慧网关的数据管理系统 | |
| CN114565325B (zh) | 一种电力物联网的大数据分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Bus control system based on cov data processing Effective date of registration: 20210118 Granted publication date: 20201002 Pledgee: Bank of Communications Ltd. Wuxi branch Pledgor: JIANGYIN SFERE ELECTRIC Co.,Ltd. Registration number: Y2021320010019 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220725 Granted publication date: 20201002 Pledgee: Bank of Communications Ltd. Wuxi branch Pledgor: JIANGYIN SFERE ELECTRIC Co.,Ltd. Registration number: Y2021320010019 |