CN101937334A - 计算支持方法及系统 - Google Patents
计算支持方法及系统 Download PDFInfo
- Publication number
- CN101937334A CN101937334A CN2009100880231A CN200910088023A CN101937334A CN 101937334 A CN101937334 A CN 101937334A CN 2009100880231 A CN2009100880231 A CN 2009100880231A CN 200910088023 A CN200910088023 A CN 200910088023A CN 101937334 A CN101937334 A CN 101937334A
- Authority
- CN
- China
- Prior art keywords
- data
- computing method
- raw data
- text
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种计算支持方法及系统,方法包括:从数据源采集原始数据,并将原始数据存储在内存数据库中;调度以文本文件描述的计算方法,根据计算方法对原始数据进行处理,并获取结果数据;将结果数据存储在内存数据库中。系统包括:数据采集模块,用于从数据源采集原始数据;调度获取模块,用于调度以文本文件描述的计算方法,根据计算方法对原始数据进行处理,并获取结果数据;内存数据库,用于存储采集数据和结果数据。本发明提供的计算支持方法及系统,知识域专家不需要掌握专业的计算机编程知识可以仅通过文本文件更改多个相互独立的计算方法,实现了统一调度各个独立的计算方法,降低计算方法的复杂性和冗余度。
Description
技术领域
本发明涉及信息处理技术,尤其是一种计算支持方法及系统。
背景技术
随着工业技术的飞速发展,企业为了安全生产和节能降耗开始对大量数据进行在线、连续的分析、计算以及数据挖掘,以使生产计划和调度达到最优化。在对数据进行分析和计算之前,通常由知识域专家提出计算公式和计算方法,软件工程师根据该计算公式和计算方法进行编程,并且数据采集、计算方法的描述和计算结果的发布都封装在了一个独立的计算程序中。
由于企业普遍存在对新增计算指标的需求、改善计算方法的需求、以及设备特性随时间推移发生变化而导致的对计算参数和计算模型进行修正的需求等,因此计算参数和计算模型经常需要进行更改。此时独立的计算程序无法满足对知识域专家提出的计算公式和计算方法的更改,如果知识域专家不懂编程,而软件工程师又不懂计算公式和计算方法,则需要知识域专家和软件工程师同时开展工作才能完成在计算程序中更改计算公式和计算方法。若计算程序实现后,人员变动导致原知识域专家和软件工程师所实现的计算程序会无法稳定运行。若旧的计算程序满足不了新的需求或计算不准确而又不能更改,会导致企业委托新的知识域专家和软件工程师在原来的需求基础上重新开发新的计算程序,致使企业重复投资却没有得到知识的有效持续积累。
由于上述计算程序的开发模式没有统一的规划,导致多种计算方法并存,使计算方法实现的复杂性、冗余度都很高,并且多个计算方法相互之间没有统一的规划,从而导致不同计算方法在同一个指标要求的情况下出现不同的结果。
发明内容
本发明的目的在于提供一种计算支持方法及系统,实现统一调度各个独立的计算方法,降低计算方法的复杂性和冗余度。
本发明提供一种计算支持方法,包括:
将所述采集数据存储在内存数据库中,并将所述原始数据存储在内存数据库中;
调度以文本文件描述的计算方法,根据所述计算方法对所述原始数据进行处理,并获取结果数据;
将所述结果数据存储在所述内存数据库中。
本发明还提供一种计算支持系统,包括:
数据采集模块,用于从数据源采集原始数据;
调度获取模块,用于调度以文本文件描述的计算方法,根据所述计算方法对所述原始数据进行处理,并获取结果数据;
内存数据库,用于存储所述原始数据和结果数据。
上述本发明提供的计算支持方法及系统,知识域专家不需要掌握专业的计算机编程知识可以仅通过文本文件更改多个相互独立的计算方法,实现了统一调度各个独立的计算方法,降低了计算方法的复杂性和冗余度。
附图说明
图1为本发明计算支持方法一个实施例的流程示意图;
图2为本发明计算支持方法又一个实施例的流程示意图;
图3为本发明计算支持系统一个实施例的流程示意图;
图4为本发明计算支持系统又一个实施例的流程示意图;
图5为图4所示实施例的一个应用架构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图1为本发明计算支持方法一个实施例的流程示意图,如图1所示,本实施例包括如下步骤:
步骤101、从数据源采集原始数据,将原始数据存储在内存数据库中;
步骤102、调度以文本文件描述的计算方法,根据计算方法对原始数据进行处理,并获取结果数据;
步骤103、将结果数据存储在内存数据库中。
本发明实施例提供的计算支持方法,知识域专家不需要掌握专业的计算机编程知识可以仅通过文本文件更改多个相互独立的计算方法,实现了统一调度各个独立的计算方法,降低计算方法的复杂性和冗余度。
图2为本发明计算支持方法又一个实施例的流程示意图,如图2所示,本实施例包括如下步骤:
步骤201、通过加载动态链接库采集数据源的原始数据,并将原始数据存储在内存数据库中;
步骤202、获取设定的以文本文件描述的计算方法;
步骤203、将以文本文件描述的计算方法解释成能够识别的机器语言;
步骤204、判断机器语言是否解释正确,若是,则执行步骤205,若否,则停止执行;
步骤205、根据解释后的计算方法对原始数据进行处理,得到结果数据;
步骤206、将结果数据存储在内存数据库中;
步骤207、发布原始数据和结果数据。
上述步骤201中,若存在多个数据采集接口,则动态加载每一数据采集接口的动态链接库(Dynamic Link Library,简称:DLL)文件,以独立的线程方式采集原始数据。
上述步骤202中,由知识域专家根据工业现场实际情况编辑相应的计算方法,并以文本文件的方式描述该计算方法;通过文本文件的方式描述计算方法,使得知识域专家不必具备专业的计算机编程能力,就可以将其所提出的计算公式和计算方法进行更改。
上述步骤203中,由于在文本文件中编辑得到的计算方法是非机器语言,为了使计算机能够识别出文本文件中的计算方法,需要将文本文件描述的计算方法解释成能够识别的机器语言。
上述步骤204中,为了保证计算方法能够对原始数据进行处理,需要对计算方法解释成的机器语言进行验证,判断机器语言是否解释正确,只有当计算方法解释成的机器语言解释正确,才能得到正确的结果数据。
上述步骤205中,计算方法经过解释形成机器语言,对采集到的原始数据根据解释后的计算方法进行处理。
上述步骤206中,可将计算得到的结果数据存储在内存数据库中,内存数据库采用链式多表结构,每个表为动态可增长的内存块。内存数据库提供应用程序编程接口(Application Programming Interface,简称:API)函数,从而实现与外界进行数据交互。
上述步骤207中,可以采用图表、趋势图、列表等方式发布结果数据,或者通过web服务发布结果数据。
此外,重复执行上述步骤203~步骤206,即可实现工业现场中基于该计算方法进行的在线连续计算。
本发明实施例提供的计算支持方法,知识域专家不需要掌握专业的计算机编程知识可以仅通过文本文件更改多个相互独立的计算方法,实现了统一调度各个独立的计算方法,降低计算方法的复杂性和冗余度。
图3为本发明计算支持系统一个实施例的流程示意图,如图3所示,本实施例包括:数据采集模块31、调度获取模块32、内存数据库33。
其中,数据采集模块31从数据源采集原始数据,并将原始数据存储在内存数据库33中;调度获取模块32调度以文本文件描述的计算方法对内存数据库33存储的原始数据进行处理,并获取结果数据;内存数据库33存储调度获取模块32得到的结果数据。
本发明实施例提供的计算支持系统,知识域专家不需要专业的编程知识可以仅通过文本文件更改多个相互独立的计算方法,调度获取模块32调度以文本文件描述的计算方法对内存数据库33中存储的数据进行处理,并获取结果数据,从而实现了统一调度各个相互独立的计算方法,降低了计算方法的复杂性和冗余度。
图4为本发明计算支持系统又一个实施例的流程示意图,如图4所示,本实施例包括:数据采集模块41、调度获取模块42、内存数据库43、数据发布模块44。
数据采集模块41从数据源采集原始数据,并将原始数据存储在内存数据库43中;调度获取模块42调度设定的以文本文件描述的计算方法对内存数据库43存储的原始数据进行处理,并获取结果数据;内存数据库43存储调度获取模块42得到的结果数据;数据发布模块44发布内存数据库43存储的原始数据和结果数据。
进一步地,调度获取模块42还可以包括:获取单元421、解释单元422、判断单元423、处理单元424。其中,获取单元421获取设定的以文本文件描述的计算方法;解释单元422将获取单元421获取到的以文本文件描述的计算方法解释成能够识别的机器语言;判断单元423判断机器语言是否解释正确;若判断机器语言解释正确,则处理单元424根据解释单元422解释后的计算方法对原始数据进行处理,得到结果数据。
本发明实施例提供的计算支持系统,知识域专家不需要掌握专业的计算机编程知识即可以仅通过文本文件更改多个相互独立的计算方法,调度获取模块42调度设定的以文本文件描述的计算方法对数据采集模块41采集到的原始数据进行处理,并获取结果数据,从而实现了统一调度各个独立的计算方法,降低了计算方法的复杂性和冗余度。
图5为图4所示实施例的一个应用架构示意图,如图5所示,该应用架构共包括三层结构:核心层51、管理层52、应用层53。
其中,核心层51可以包括:调度获取模块511和内存数据库512。调度获取模块511能够实现图4所示实施例中的调度获取模块的功能,进一步地,调度获取模块511还可以提供解释器、执行处理器和函数库,其中,函数库由工业计算常用的数学函数库和访问内存数据库512的函数库组成;解释器负责解释被调度的计算方法;执行处理器根据被调度的计算方法实现对原始数据的计算,计算方法在执行过程中通过访问内存数据库512中已存储的函数得到结果数据;内存数据库512能够实现图4所示实施例中的内存数据库的功能,进一步地,内存数据库512还可以提供集中的数据支持,并存储采集到的原始数据和以及存储经过计算方法处理后的结果数据,内存数据库512采取链式多表结构,每个表为动态可增长的内存块,此外内存数据库512提供API函数,与调度获取模块511、数据采集模块521进行数据交互。
管理层52可以包括:数据采集模块521,此外,还进一步包括:存档管理模块522、数据库管理模块523、日志管理模块524、计算任务管理模块525、协同管理模块526。其中,数据采集模块521能够实现图4所示实施例中的数据采集模块的功能,还实现如下功能:编辑数据采集模块521的接口属性,定义实现数据采集模块521的接口的DLL文件路径和运行相关的参数,创建并管理线程池,动态加载每个数据采集模块的接口的DLL文件,并以独立的线程方式运行,以及创建、删除、启动、暂停、停止原始数据的采集;存档管理模块522定义存档策略,提供本地数据存档功能,支持数据挖掘应用;数据库管理模块523对内存数据库512中数据表进行新增、删除、加载和卸载管理,以及提供内存数据库512的导出,对内存数据库512中的数据属性进行编辑;日志管理模块524管理计算支持系统运行产生的各种日志,独立进程运行,用命名管道进行进程间通信;计算任务管理模块525计算任务管理器编辑计算任务的属性,定义描述计算方法的文本文件的路径和任务执行的相关参数,创建并管理计算任务线程池,计算任务在独立的线程中运行,创建、删除、启动、暂停、停止计算任务;当计算支持系统和运行该计算支持系统的计算机共同构成一个网络中计算节点时,协同管理模块526提供同网络中多个计算节点的协同管理,提供多个计算节点内存数据库512的高速同步,提供计算节点之间的运行时环境复制,以及平衡多个计算节点之间的负载。
应用层53可以包括:数据发布模块531,此外,还进一步包括:数据监视模块532、数据挖掘模块533、日志查询模块534、算法编辑模块535、性能监视模块536。其中,数据发布模块531能够实现图4所示实施例中的数据发布模块的功能,进一步地,数据发布模块531采用系统图、趋势图、列表等方式发布数据,提供web服务,以方便其他应用访问数据;数据监视模块532对内存数据库512中的结果数据进行列表式监视;数据挖掘模块533对存档的结果数据进行趋势分析、相似搜索、模式挖掘和周期性分析;日志查询模块534查询计算支持系统各模块包括每个计算方法和接口执行时生成的日志;算法编辑模块535提供增强的文本编辑功能,连接计算支持系统的调度获取模块511,进行在线计算方法的验证和调试;性能监视模块536监视计算支持系统运行的状态和性能。
本实施例中的应用架构,将图4所示实施例中的调度获取模块和内存数据库设置在核心层51,将图4所示实施例中的数据采集模块设置在管理层52,将图4所示实施例中的数据发布模块设置在应用层53,通过分层设置,使知识域专家可以通过算法编辑模块535提供增强的文本编辑功能,连接计算支持系统的调度获取模块511,进行在线的验证和调试不同的相互独立的计算方法,实现了统一调度各个独立的计算方法,降低计算方法的复杂性和冗余度。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种计算支持方法,其特征在于,包括:
从数据源采集原始数据,并将所述原始数据存储在内存数据库中;
调度以文本文件描述的计算方法,根据所述计算方法对所述原始数据进行处理,并获取结果数据;
将所述结果数据存储在所述内存数据库中。
2.根据权利要求1所述的方法,其特征在于,所述从数据源采集原始数据包括:
通过动态加载动态链接库采集数据源的原始数据。
3.根据权利要求1所述的方法,其特征在于,所述调度以文本文件描述的计算方法,根据所述计算方法对所述原始数据进行处理,并获取结果数据包括:
获取设定的以文本文件描述的计算方法;
将所述以文本文件描述的计算方法解释成能够识别的机器语言;
根据解释后的所述计算方法对所述原始数据进行处理,得到结果数据。
4.根据权利要求3所述的方法,其特征在于,所述将所述以文本文件描述的计算方法解释成能够识别的机器语言和根据解释后的所述计算方法对所述原始数据进行处理之间还包括:
判断所述机器语言是否解释正确;
若是,则执行根据解释后的所述计算方法对所述原始数据进行处理;
若否,则停止执行。
5.根据权利要求1~4任一所述的方法,其特征在于,还包括:
发布所述原始数据和结果数据。
6.一种计算支持系统,其特征在于,包括:
数据采集模块,用于从数据源采集原始数据;
调度获取模块,用于调度以文本文件描述的计算方法,根据所述计算方法对所述原始数据进行处理,并获取结果数据;
内存数据库,用于存储所述原始数据和结果数据。
7.根据权利要求6所述的系统,其特征在于,所述调度获取模块包括:
获取单元,用于获取设定的以文本文件描述的计算方法;
解释单元,用于将所述以文本文件描述的计算方法解释成能够识别的机器语言;
处理单元,用于根据解释后的所述计算方法对所述原始数据进行处理,得到结果数据。
8.根据权利要求7所述的系统,其特征在于,所述调度获取模块还包括:
判断单元,用于判断所述机器语言是否解释正确。
9.根据权利要求6~8任一所述的系统,其特征在于,还包括:
数据发布模块,用于发布所述原始数据和结果数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100880231A CN101937334A (zh) | 2009-06-29 | 2009-06-29 | 计算支持方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100880231A CN101937334A (zh) | 2009-06-29 | 2009-06-29 | 计算支持方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101937334A true CN101937334A (zh) | 2011-01-05 |
Family
ID=43390683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100880231A Pending CN101937334A (zh) | 2009-06-29 | 2009-06-29 | 计算支持方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101937334A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103631647A (zh) * | 2013-12-06 | 2014-03-12 | 北京京东尚科信息技术有限公司 | 一种实现分布式事务的方法和装置 |
CN103823670A (zh) * | 2013-11-28 | 2014-05-28 | 云南电网公司文山供电局 | 一种基于数据库的多任务、可配置、自动统计数据方法 |
CN104199930A (zh) * | 2014-09-04 | 2014-12-10 | 江苏百联软件有限公司 | 数据采集及处理的系统及方法 |
CN106547865A (zh) * | 2016-11-01 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种大数据便捷分布式计算支持系统 |
CN107577803A (zh) * | 2017-09-25 | 2018-01-12 | 北京维联众诚科技有限公司 | 基于类sql引擎的数据处理方法 |
CN109472479A (zh) * | 2018-10-31 | 2019-03-15 | 中冶赛迪技术研究中心有限公司 | 一种mes排产系统嵌入仿真模型的方法 |
-
2009
- 2009-06-29 CN CN2009100880231A patent/CN101937334A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103823670A (zh) * | 2013-11-28 | 2014-05-28 | 云南电网公司文山供电局 | 一种基于数据库的多任务、可配置、自动统计数据方法 |
CN103823670B (zh) * | 2013-11-28 | 2017-02-22 | 云南电网公司文山供电局 | 一种基于数据库的多任务、可配置、自动统计数据方法 |
CN103631647A (zh) * | 2013-12-06 | 2014-03-12 | 北京京东尚科信息技术有限公司 | 一种实现分布式事务的方法和装置 |
CN104199930A (zh) * | 2014-09-04 | 2014-12-10 | 江苏百联软件有限公司 | 数据采集及处理的系统及方法 |
CN104199930B (zh) * | 2014-09-04 | 2018-07-17 | 江苏百联软件有限公司 | 数据采集及处理的系统及方法 |
CN106547865A (zh) * | 2016-11-01 | 2017-03-29 | 广西电网有限责任公司电力科学研究院 | 一种大数据便捷分布式计算支持系统 |
CN107577803A (zh) * | 2017-09-25 | 2018-01-12 | 北京维联众诚科技有限公司 | 基于类sql引擎的数据处理方法 |
CN109472479A (zh) * | 2018-10-31 | 2019-03-15 | 中冶赛迪技术研究中心有限公司 | 一种mes排产系统嵌入仿真模型的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1897025B (zh) | 海量数据处理中多线程工作包并行的etl技术 | |
CN112214280B (zh) | 一种电力系统仿真的云化方法及系统 | |
CN107733986A (zh) | 支持一体化部署及监控的保护运行大数据支撑平台 | |
CN101937334A (zh) | 计算支持方法及系统 | |
CN111460575A (zh) | 依托mbom树形结构转换飞行器装配工艺树的方法 | |
CN107809467B (zh) | 一种云环境下容器镜像数据的删减方法 | |
CN103441900A (zh) | 集中式跨平台自动化测试系统及其控制方法 | |
CN105933446A (zh) | 一种大数据平台业务双活实现方法及系统 | |
CN103677973A (zh) | 一种分布式多任务调度管理系统 | |
CN107450491A (zh) | 一种机器人调度系统、方法、电子设备和存储介质 | |
CN102546247A (zh) | 一种适用流式处理的大规模数据连续分析系统 | |
CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
CN113822585B (zh) | 一种智能冶炼工厂信息化管理系统 | |
CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
CN101710281A (zh) | 基于Agent的动态集成开发平台系统和方法 | |
CN108829505A (zh) | 一种分布式调度系统及方法 | |
CN107506381A (zh) | 一种大数据分布式调度分析方法、系统装置及存储介质 | |
CN112379884A (zh) | 基于Spark和并行内存计算的流程引擎实现方法及系统 | |
CN116755939B (zh) | 一种基于系统资源的智能化数据备份任务规划方法及系统 | |
CN113468159A (zh) | 一种数据应用全链路管控方法及系统 | |
CN116842055A (zh) | 用于物联网数据批流一体处理的系统及方法 | |
CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
CN114238463A (zh) | 一种用于分布式指标计算的计算引擎控制方法和装置 | |
US20100106749A1 (en) | Reorganizing table-based data objects | |
CN114579280B (zh) | 一种准实时调度方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110105 |