CN108197152A - 一种基于领域模型的数据解析系统和方法 - Google Patents

一种基于领域模型的数据解析系统和方法 Download PDF

Info

Publication number
CN108197152A
CN108197152A CN201711283754.2A CN201711283754A CN108197152A CN 108197152 A CN108197152 A CN 108197152A CN 201711283754 A CN201711283754 A CN 201711283754A CN 108197152 A CN108197152 A CN 108197152A
Authority
CN
China
Prior art keywords
data
domain model
module
data packet
packet queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711283754.2A
Other languages
English (en)
Inventor
卢小山
张进军
王波涛
勒长华
韦东强
林镛享
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FARAD ELECTRIC Co Ltd
Original Assignee
FARAD ELECTRIC Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FARAD ELECTRIC Co Ltd filed Critical FARAD ELECTRIC Co Ltd
Priority to CN201711283754.2A priority Critical patent/CN108197152A/zh
Publication of CN108197152A publication Critical patent/CN108197152A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Abstract

本发明公开了一种基于领域模型的数据解析系统和方法。该系统包括数据包采集模块，用于获取采集器输出的数据并根据其数据类型生成对应的数据包队列；领域模型组件，用于存储领域模型；数据解析模块，用于获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列；数据库模块，用于存储数据解析模块输出的数据处理结果。该方法适用于系统。本发明通过领域模型处理采集器收集的数据并进行对应处理，能够显著提高分布式数据采集的系统的数据分析和处理能力。

Description

一种基于领域模型的数据解析系统和方法
技术领域
本发明涉及数据处理技术领域，尤其涉及领域一种基于领域模型的数据解析系统和方法。
背景技术
如能源管理系统、光伏运维系统等涉及分布式数据采集的系统数据众多，对应的数据处理方法也非常多，随着各种数据处理理论的发展，通过新的理论和模型处理数据能够提高这些系统的数据处理效率，因此需要新的数据处理方案以适应进步的要求。
发明内容
为了解决上述问题，本发明提供一种基于领域模型的数据解析系统和方法。
本发明采用的技术方案一方面为一种基于领域模型的数据解析系统，适用于具有采集器的分布式数据采集系统，包括：数据包采集模块，用于获取采集器输出的数据并根据其数据类型生成对应的数据包队列；领域模型组件，用于存储领域模型；数据解析模块，用于获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列；数据库模块，用于存储数据解析模块输出的数据处理结果。
优选地，所述数据包采集模块基于预设的时间频率获取采集器输出的数据并进行时间绑定。
优选地，所述数据包采集模块获取采集器输出的数据并根据不同采集器生成对应的数据包队列。
优选地，所述数据解析模块包括多线程处理器，用于同时调用若干领域模型以分别解析所述数据包队列。
本发明采用的技术方案另一方面为一种统计任务控制方法，适用于上述系统，包括：通过数据包采集模块获取采集器输出的数据并根据其数据类型生成对应的数据包队列，所述数据解析模块获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列，所述数据库模块存储数据解析模块输出的数据处理结果。
本发明的有益效果为通过领域模型处理采集器收集的数据并进行对应处理，能够显著提高分布式数据采集的系统的数据分析和处理能力。
附图说明
图1所示为基于本发明实施例的一种基于领域模型的数据解析系统示意图。
具体实施方式
以下结合实施例对本发明进行说明。
基于发明的实施例，如图1所示的一种基于领域模型的数据解析系统，适用于具有采集器的分布式数据采集系统，包括：数据包采集模块，用于获取采集器输出的数据并根据其数据类型生成对应的数据包队列；领域模型组件，用于存储领域模型；数据解析模块，用于获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列；数据库模块，用于存储数据解析模块输出的数据处理结果。
所述数据包采集模块基于预设的时间频率获取采集器输出的数据并进行时间绑定。
所述数据包采集模块获取采集器输出的数据并根据不同采集器生成对应的数据包队列。
所述数据解析模块包括多线程处理器，用于同时调用若干领域模型以分别解析所述数据包队列。
基于发明的实施例，一种统计任务控制方法，适用于上述系统，包括：通过数据包采集模块获取采集器输出的数据并根据其数据类型生成对应的数据包队列，所述数据解析模块获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列，所述数据库模块存储数据解析模块输出的数据处理结果。
作为实施例的进一步改进，数据包采集模块按数据包类型和对象生成数据包队列，如能源管理系统中不同的能源终端(如电表、水表等)数据包格式都不相同对应生成不同的数据包队列，同一种能源终端由不同的采集器输出数据的时间频率会有差异，因此需要按能源终端类型，每一个采集器生成各自的数据包队列，按采集时间增量存储数据；领域模型组件根据业务逻辑建立领域模型，按制定好的模版规则开发成DLL(动态链接库)组件，不同的业务开发成不同的领域模型组件；数据解析模块根据配置动态调用领域模型组件，按领域模型驱动规则读取符合格式的数据包队列并进行解析，数据解析模块采用多线种并行计算技术，可同时处理多个领域模型以增加数据处理的效率，数据存储库(即数据库模块)连接数据解析模块以存储经过解析后的领域历史数据。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (5)

1.一种基于领域模型的数据解析系统，适用于具有采集器的分布式数据采集系统，其特征在于，包括：
数据包采集模块，用于获取采集器输出的数据并根据其数据类型生成对应的数据包队列；
领域模型组件，用于存储领域模型；
数据解析模块，用于获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列；
数据库模块，用于存储数据解析模块输出的数据处理结果。
2.根据权利要求1所述的一种基于领域模型的数据解析系统，其特征在于，所述数据包采集模块基于预设的时间频率获取采集器输出的数据并进行时间绑定。
3.根据权利要求1或2所述的一种基于领域模型的数据解析系统，其特征在于，所述数据包采集模块获取采集器输出的数据并根据不同采集器生成对应的数据包队列。
4.根据权利要求1所述的一种基于领域模型的数据解析系统，其特征在于，所述数据解析模块包括多线程处理器，用于同时调用若干领域模型以分别解析所述数据包队列。
5.一种基于领域模型的数据解析方法，适用于权利要求1所述系统，其特征在于，包括：
通过数据包采集模块获取采集器输出的数据并根据其数据类型生成对应的数据包队列，所述数据解析模块获取所述数据包队列，基于预设的处理逻辑调用对应的领域模型以解析所述数据包队列，所述数据库模块存储数据解析模块输出的数据处理结果。
CN201711283754.2A 2017-12-07 2017-12-07 一种基于领域模型的数据解析系统和方法 Pending CN108197152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711283754.2A CN108197152A (zh) 2017-12-07 2017-12-07 一种基于领域模型的数据解析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711283754.2A CN108197152A (zh) 2017-12-07 2017-12-07 一种基于领域模型的数据解析系统和方法

Publications (1)

Publication Number Publication Date
CN108197152A true CN108197152A (zh) 2018-06-22

Family

ID=62573945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711283754.2A Pending CN108197152A (zh) 2017-12-07 2017-12-07 一种基于领域模型的数据解析系统和方法

Country Status (1)

Country Link
CN (1) CN108197152A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799430A (zh) * 2012-07-02 2012-11-28 电子科技大学 一种面向移动互联网的离线可视化业务开发生成器
CN102831307A (zh) * 2012-05-31 2012-12-19 山东电力集团公司青岛供电公司 基于三维gis技术的电网可视化系统及方法
CN104065741A (zh) * 2014-07-04 2014-09-24 用友软件股份有限公司 数据采集系统和数据采集方法
CN104239137A (zh) * 2014-08-21 2014-12-24 东软集团股份有限公司 基于dag节点最优路径的多模型并行调度方法及装置
CN106547915A (zh) * 2016-11-29 2017-03-29 上海轻维软件有限公司 基于模型库的智能数据提取方法
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN106953897A (zh) * 2017-02-28 2017-07-14 江苏徐工信息技术股份有限公司 基于工况集的工程机械物联网数据解析和动态显示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831307A (zh) * 2012-05-31 2012-12-19 山东电力集团公司青岛供电公司 基于三维gis技术的电网可视化系统及方法
CN102799430A (zh) * 2012-07-02 2012-11-28 电子科技大学 一种面向移动互联网的离线可视化业务开发生成器
CN104065741A (zh) * 2014-07-04 2014-09-24 用友软件股份有限公司 数据采集系统和数据采集方法
CN104239137A (zh) * 2014-08-21 2014-12-24 东软集团股份有限公司 基于dag节点最优路径的多模型并行调度方法及装置
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN106547915A (zh) * 2016-11-29 2017-03-29 上海轻维软件有限公司 基于模型库的智能数据提取方法
CN106953897A (zh) * 2017-02-28 2017-07-14 江苏徐工信息技术股份有限公司 基于工况集的工程机械物联网数据解析和动态显示方法

Similar Documents

Publication Publication Date Title
CN110704518B (zh) 基于Flink引擎的业务数据处理方法及装置
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN109710731A (zh) 一种基于Flink的数据流多向处理系统
Liu et al. Computational study of security constrained economic dispatch with multi-stage rescheduling
CN108182063A (zh) 一种大数据分析可视化配置的实现方法
CN105574032A (zh) 规则匹配运算方法及装置
CN106339484A (zh) 一种视频智能检索处理的系统及方法
CN110321381A (zh) 电力信息设备管理系统
CN110532294A (zh) 话单合并方法、装置、设备及计算机可读存储介质
CN104202328B (zh) 一种订阅goose/smv报文的方法、配置模块及订阅端
CN105005585A (zh) 一种日志数据的处理方法和装置
CN107229628A (zh) 分布式数据库预处理的方法及装置
CN109542867A (zh) 分布式数据采集方法及装置
CN108197152A (zh) 一种基于领域模型的数据解析系统和方法
Hu et al. Enable pipeline processing of DNN co-inference tasks in the mobile-edge cloud
CN108629410A (zh) 基于主成分分析降维和/或升维的神经网络处理方法
CN111784534A (zh) 含多子系统的综合能源计量系统运行状态预测方法及系统
CN115733780B (zh) 基于柔性以太网的动态自适应方法、系统、设备及介质
CN104361138B (zh) 成本分摊及溯源装置和方法
CN103617171A (zh) 一种海量历史数据快速查询系统
CN108876571A (zh) 一种财务订单转化报表的方法及系统、装置
CN109492641A (zh) 基于图像识别的能源账单输入方法及系统、存储介质、服务器
CN110717691B (zh) 基于组件的评估模型装配方法及系统
CN104683800A (zh) 基于avs的并行量化和反量化方法
CN104572316A (zh) 游戏程序与运行平台交互的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180622

RJ01 Rejection of invention patent application after publication