CN112527823A - 一种智慧建筑管理平台中的数据处理方法 - Google Patents
一种智慧建筑管理平台中的数据处理方法 Download PDFInfo
- Publication number
- CN112527823A CN112527823A CN202011520756.0A CN202011520756A CN112527823A CN 112527823 A CN112527823 A CN 112527823A CN 202011520756 A CN202011520756 A CN 202011520756A CN 112527823 A CN112527823 A CN 112527823A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- calculation
- service
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 46
- 238000013500 data storage Methods 0.000 claims abstract description 33
- 238000007726 management method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012546 transfer Methods 0.000 claims abstract description 16
- 238000013523 data management Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000003860 storage Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000013481 data capture Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 238000004140 cleaning Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 abstract 1
- 238000002955 isolation Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000013439 planning Methods 0.000 abstract 1
- 238000011084 recovery Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块。本发明根据数据的不同类型，结合微服务应用，提供多种的数据处理方法，实现了将各类数据读写拆分成不同的服务实现，并通过消息中间件和消息队列的方式，实现了业务场景中数据处理流程的独立规划，提升了业务体验，并满足了数据时效性的要求；通过接口实现数据交互，在接口前通过所有接口注册在公共负载均衡服务器协助实现服务的高可用，实现请求的集中管理、流控、隔离、监控；并通过采集过程的数据清洗机制，以及数据恢复机制，提高了数据的准确性和易用性。
Description
技术领域
本发明涉及智能建筑技术领域，特别涉及一种智慧建筑管理平台中的数据处理方法。
背景技术
随着智慧建筑的快速发展，以及自动控制技术和网络通信技术的不断进步，建筑系统的规模日趋庞大和复杂，传统的集中式数据存储数据架构形式已经不能满足深入且日益丰富的建筑应用需求。
建筑内部涉及数十个系统，传统式单体架构主要基于集中式的关系性数据库实现存储，大多数将架构分为计算层和存储层，但是随着时间的推移，业务越来越多，系统逐渐变得很大，越来越难以维护和升级，数据库是唯一的准确数据源，每个应用都需要访问数据库来获取对应的数据，如果数据库发生改变或者出现问题，则将对整个系统产生影响。
发明内容
本发明的目的在于提供一种智慧建筑管理平台中的数据处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；所述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；所述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；所述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块；所述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块；所述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；所述数据应用模块为平台业务数据的微服务。
作为本发明技术方案的改进，所述数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。
作为本发明技术方案的改进，所述数据中转模块采用采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。
作为本发明技术方案的改进，所述数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务。
作为本发明技术方案的改进，所述数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。
作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用。
作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。
作为本发明技术方案的改进，所述数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入。
作为本发明技术方案的改进，所述数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。
本发明的技术效果和优点：
(1)本发明能够实现智能建筑的数据融合、技术复用、业务共享，为建筑管理平台提供数据能力、业务能力。
(2)本发明能够实现底层数据校验和治理，为智能建筑管理平台提供完整、准确的数据基础。
(3)本发明能够实现实时数据计算，为智能建筑管理系统提供实时统计、实时分析、实时查询的数据基础。
(4)本发明能够实现数据离线计算，为智能建筑管理系统提供优化分析、运行诊断、系统联动、模式控制等功能的数据基础。
(5)本发明的数据架构合理有效，能够支持智慧建筑管理平台的功能及应用无缝扩展。
附图说明
图1为本发明中数据实时计算模块与数据离线计算模块示意图。
图2为本发明中数据流转过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；通过基于微服务架构的智能建筑数据处理系统，实现了建筑运行数据的高效治理、计算、存储和应用，为智能建筑业务系统的应用和拓展提供了数据基础。
需要具体说明的是上述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。
需要具体说明的是上述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；数据中转模块采用采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。
进一步的，上述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块。
进一步的，上述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块。
进一步的，上述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入，数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。
进一步的，上述数据应用模块为平台业务数据的微服务，数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务，数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。
最后需要补充说明的是数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用，数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种智慧建筑管理平台中的数据处理方法，其特征在于：包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；
所述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；
所述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；
所述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块；
所述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块；
所述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；
所述数据应用模块为平台业务数据的微服务。
2.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。
3.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据中转模块采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。
4.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务。
5.根据权利要求4所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。
6.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用。
7.根据权利要求6所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。
8.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入。
9.根据权利要求8所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520756.0A CN112527823A (zh) | 2020-12-21 | 2020-12-21 | 一种智慧建筑管理平台中的数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011520756.0A CN112527823A (zh) | 2020-12-21 | 2020-12-21 | 一种智慧建筑管理平台中的数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112527823A true CN112527823A (zh) | 2021-03-19 |
Family
ID=75002222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011520756.0A Pending CN112527823A (zh) | 2020-12-21 | 2020-12-21 | 一种智慧建筑管理平台中的数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112527823A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360493A (zh) * | 2021-07-12 | 2021-09-07 | 兰州领新网络信息科技有限公司 | 一种创新创业大数据服务平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021484A (zh) * | 2016-05-18 | 2016-10-12 | 中国电子科技集团公司第三十二研究所 | 基于内存计算的可定制多模式大数据处理系统 |
| CN106846184A (zh) * | 2017-02-15 | 2017-06-13 | 武汉青禾科技有限公司 | 一种智慧会展互动平台 |
| CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
-
2020
- 2020-12-21 CN CN202011520756.0A patent/CN112527823A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021484A (zh) * | 2016-05-18 | 2016-10-12 | 中国电子科技集团公司第三十二研究所 | 基于内存计算的可定制多模式大数据处理系统 |
| CN106846184A (zh) * | 2017-02-15 | 2017-06-13 | 武汉青禾科技有限公司 | 一种智慧会展互动平台 |
| CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360493A (zh) * | 2021-07-12 | 2021-09-07 | 兰州领新网络信息科技有限公司 | 一种创新创业大数据服务平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
| CN110191148B (zh) | 一种面向边缘计算的统计函数分布式执行方法及系统 | |
| CN103761309B (zh) | 一种运营数据处理方法及系统 | |
| CN108718345A (zh) | 一种数字化车间工业数据网络化传输系统 | |
| US10817532B2 (en) | Scientific computing process management system | |
| CN106022245A (zh) | 一种基于算法分类的多源遥感卫星数据并行处理系统及方法 | |
| CN109677465B (zh) | 用于轨道交通综合监控系统的分布式实时系统架构 | |
| CN108449383A (zh) | 分布式实时移动微云计算系统 | |
| CN109933565A (zh) | 一种多尺度海量遥感影像的快速切片方法及系统 | |
| CN114169579B (zh) | 核电工业互联网综合智能平台系统 | |
| CN114647716B (zh) | 一种适用于泛化数据仓库的系统 | |
| CN108647886A (zh) | 科学计算流程管理系统 | |
| CN114510526A (zh) | 一种线上数控展览方法 | |
| CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
| CN116149205A (zh) | 一种基于数字孪生的智能加工单元多策略组合仿真方法 | |
| CN112527823A (zh) | 一种智慧建筑管理平台中的数据处理方法 | |
| CN112162837B (zh) | 一种基于软件定义的边缘计算调度方法及系统 | |
| CN107463151A (zh) | 一种复杂曲面加工多维知识云协同服务方法 | |
| CN110069565A (zh) | 一种分布式数据库数据批量处理的方法及装置 | |
| CN116627901A (zh) | 一种自动驾驶多模态数据存储管理方法和系统 | |
| CN115439015A (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
| CN117077906A (zh) | 一种lng能源管理平台的分布式物联网系统构建方法 | |
| CN115374101A (zh) | 轨道交通站段级数据管理系统 | |
| CN113836223A (zh) | 一种异构数据库数据同步的方法 | |
| CN112101894A (zh) | 选煤智能系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |