CN111291048A - 一种数据处理系统 - Google Patents

一种数据处理系统 Download PDF

Info

Publication number
CN111291048A
CN111291048A CN202010061646.6A CN202010061646A CN111291048A CN 111291048 A CN111291048 A CN 111291048A CN 202010061646 A CN202010061646 A CN 202010061646A CN 111291048 A CN111291048 A CN 111291048A
Authority
CN
China
Prior art keywords
module
intelligent contract
matrix
data
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010061646.6A
Other languages
English (en)
Inventor
吴晓军
陈宁
张彦普
王敬轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Jilian Human Resources Service Group Co ltd
Original Assignee
Hebei Jilian Human Resources Service Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Jilian Human Resources Service Group Co ltd filed Critical Hebei Jilian Human Resources Service Group Co ltd
Priority to CN202010061646.6A priority Critical patent/CN111291048A/zh
Publication of CN111291048A publication Critical patent/CN111291048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能中心化智能合约体调度，提高估算计算任务工作量的效率和精度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性，能够应用于社保大数据处理，提高工作效率。

Description

一种数据处理系统
技术领域
本发明涉及大数据的技术领域，具体涉及一种数据处理系统。
背景技术
随着科技进步，信息发展已步入大数据时代，数据、信息以及知识是企业重要的资源，企业内外部海量数据的产生，为企业带来巨大的增值价值，面对会计数据价值挖掘的需要，现有方法系统的弊端开始突显，由于成本高、效率低、建设周期长等因素的影响，现有系统难以获取海量会计数据、挖掘知识，为企业管理者的经营决策及时提供科学依据，例如从事人力资源与社保相关的企业，在社保缴费查询时，对数据检索、加工时面临数据查询、加工效率低下等问题。云计算系统能够提供可靠、高效的计算服务，在云基础设施中，由成千上万台互相连接在一起的计算机构成“云”，再结合大数据技术，可构建更高效的数据分析平台，不仅为人力资源类企业信息与知识发掘利用提供理论依据，同时为增强企业核心竞争力提供现实意义。
数据平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以充分利用集群的威力进行高速运算和存储，Hadoop大数据处理技术已有十多年历史，被看做首选的大数据集群处理的解决方案。Spark是专为大规模数据处理而设计的快速通用的计算引擎，它启用了内存分布数据集。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，还可以将SQL语句转换为MapReduce任务运行。ZooKeeper是一个分布式应用程序协调服务，是Hadoop和HBase的重要组件，提供Java和C的接口。Sqoop是Apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具，其核心功能有两个：导入和导出数据，导入数据是将MySQL、Oracle数据导入到Hadoop的Hdfs、Hive、HBase等数据存储系统；导出数据从Hadoop文件系统中导出数据到关系数据库MySQL等。
现有技术在中，执行数据检索、计算时，采用计算机辅助软件或前端应用系统与关系型数据库结合的方式，后端算法与数据未分离，并且较为依赖计算人员专业知识水平，在计算过程中，计算效率较低，由于企业内外部海量数据，在数据检索、加工时面临数据查询、加工效率低下等问题。此外，现有技术未充分考虑多云之间工作量分配问题，云平台之间计算量不平衡，无法较好解决大数据并发问题，前端展示、中间业务逻辑层和底层数据层相互混合，计算检索效率较低，开发一种新的逻辑成本较高，并且不具有较好的可维护性与可扩展性，系统可靠性较低，数据存储成本高。
发明内容
基于上述问题，本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体模块，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能合约体模块调度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性。
本发明提供如下技术方案：
一方面，本发明提供了一种基于云计算和大数据的数据处理系统，所述系统包括智能合约体模块以及至少一个云计算大数据平台。
所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器、计算矩阵模块、安全通信模块、虚拟技术池模块以及资源管理模块；
其中，所述智能合约体模块包括内外信息传递智能合约体、中央处理智能合约体、计算量预估智能合约体、预估提取模块、功劳声誉选择智能合约体、数据存储智能合约体以及比对模块；内外信息传递智能合约体负责信息输入输出交互，中央处理智能合约体负责调度智能合约体与智能合约体之间通信，计算量预估智能合约体负责估算计算任务工作量，功劳声誉选择智能合约体通过查询云平台功劳声誉数据库，选择累计功劳声誉最低并且负载较低的云平台为本次计算任务平台，数据存储智能合约体负责将工作量维护到数据库中；所述预估提取模块提取计算量预估智能合约体的预估量，将所述预估量发送至比对模块，所述比对模块对比数据存储智能合约体模块的数据和预估量的差值，将所述差值反馈回所述预估提取模块，所述预估提取模块根据所述差值信息调整所述计算量预估智能合约体的算法。所述大数据容器模块，提供大数据的存储、分析、挖掘服务；所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务；所述安全通信模块用于平台内各模块通信；所述虚拟技术池用于封装平台内虚拟技术；所述资源管理模块用于资源动态管理。
其中，所述大数据容器模块，提供大数据的存储、分析、挖掘服务具体包括：制定大数据集群服务框架合约，确定数据并行计算框架和计算集优先顺序；配置大数据集群服务参数，启动大数据集群服务；池化大数据集群服务列表，监控大数据服务执行情况，动态调整服务列表；解析大数据服务请求，拆分分析执行列表；根据所述分析执行列表，建立分析模型，请求计算矩阵服务；存储传递分析结果；请求计算矩阵压缩算法服务，历史数据压缩并建立索引。
其中，所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务具体包括：对业务逻辑进行建模，并封装在矩阵中的单元格，修改矩阵索引；
建立大数据分析逻辑算法，并封装在矩阵中的单元格，修改矩阵索引；
对数据压缩算法进行建模，并封装在矩阵中的单元格，修改矩阵索引；持续监测算法正确率、容错率等内容，建立评测算法，并封装在矩阵中的单元格，修改矩阵索引；配置调试功能，实现算法正确性验证，修正和关闭算法单元。
其中，所述安全通信模块用于平台内各模块通信具体包括：监听服务，接收数据传输，分析执行指令；将指令总结到文件日志中；通过爬虫任务遍历大数据容器索引、计算矩阵索引，完成容器与矩阵之间通信；实现身份认证功能，对不同身份的权限进行验证。
其中，所述虚拟技术池用于封装平台内虚拟技术具体包括：实现镜像分层映射，实现不同分层之间的复制与交互；实现点对点通信技术实现，将每个网络、服务、中间件建立直接连接。
其中，所述资源管理模块用于资源动态管理具体包括：采用多任务处理技术，进行资源多线程管理，并解决资源死锁现场；完成负载均衡监测，重启故障模块；进行任务生命周期监测，结束异常进程；建立爬虫任务调度列表，通过给任务分配优先级，以爬虫方式进行任务调度。
本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能中心化智能合约体调度，提高估算计算任务工作量的效率和精度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性，能够应用于社保大数据处理，实现社保缴费额度自动计算等功能，提高工作效率。
附图说明
图1是本发明的数据处理系统结构框图；
图2是本发明的智能合约体功能图。
具体实施方式
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
本发明的目的是实现一种数据处理系统。本发明在于利用云计算和大数据平台技术，构建了包括基于功劳声誉度的智能去中心化智能合约体和云计算大数据平台，所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器、计算矩阵模块、安全通信模块、虚拟技术池模块以及资源管理模块。此项技术的目的在于通过云计算平台和大数据平台以及基于功劳声誉度的智能去中心化智能合约体，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能中心化智能合约体调度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性。
第一实施例，如附图1、2所示，本发明提出了一种数据处理系统，基于云计算和大数据技术。所述系统包括智能合约体模块以及至少一个云计算大数据平台。
所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器C1、计算矩阵模块C2、安全通信模块C3、虚拟技术池模块C4以及资源管理模块C5；
其中，所述智能合约体模块包括内外信息传递智能合约体、中央处理智能合约体、计算量预估智能合约体、预估提取模块、功劳声誉选择智能合约体、数据存储智能合约体以及比对模块；内外信息传递智能合约体负责信息输入输出交互，中央处理智能合约体负责调度智能合约体与智能合约体之间通信，计算量预估智能合约体负责估算计算任务工作量，功劳声誉选择智能合约体通过查询云平台功劳声誉数据库，选择累计功劳声誉最低并且负载较低的云平台为本次计算任务平台，数据存储智能合约体负责将工作量维护到数据库中；所述预估提取模块提取计算量预估智能合约体的预估量，将所述预估量发送至比对模块，所述比对模块对比数据存储智能合约体模块的数据和预估量的差值，将所述差值反馈回所述预估提取模块，所述预估提取模块根据所述差值信息调整所述计算量预估智能合约体的算法。本申请差值反馈调整计算量预估智能合约体的算法能够提高估算计算任务工作量的效率和精度。
所述大数据容器C1模块，提供大数据的存储、分析、挖掘服务；所述计算矩阵模块C2，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务；所述安全通信模块C3用于平台内各模块通信；所述虚拟技术池C4用于封装平台内虚拟技术；所述资源管理模块C5用于资源动态管理。
其中，所述大数据容器C1模块，提供大数据的存储、分析、挖掘服务具体包括：制定大数据集群服务框架合约，确定数据并行计算框架和计算集优先顺序；配置大数据集群服务参数，启动大数据集群服务；池化大数据集群服务列表，监控大数据服务执行情况，动态调整服务列表；解析大数据服务请求，拆分分析执行列表；根据所述分析执行列表，建立分析模型，请求计算矩阵服务；存储传递分析结果；请求计算矩阵压缩算法服务，历史数据压缩并建立索引。
其中，所述计算矩阵模块C2，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务具体包括：对业务逻辑进行建模，并封装在矩阵中的单元格，修改矩阵索引；AI为算法单元，L代表层级，i、j为矩阵索引，矩阵公式如下：
Figure BDA0002373516350000071
建立大数据分析逻辑算法，并封装在矩阵中的单元格，修改矩阵索引，假设层级为L层，AImatrix为计算矩阵体，索引号为i，j，W，M为设计容量，Addfect为添加函数，ret为封装服务接口，实现计算方式如下：
Figure BDA0002373516350000072
对数据压缩算法进行建模，并封装在矩阵中的单元格，修改矩阵索引，实现方式同上；持续监测算法正确率、容错率等内容，建立评测算法，并封装在矩阵中的单元格，修改矩阵索引，实现方式同上；配置调试功能，实现算法正确性验证，修正和关闭算法单元。
其中，所述安全通信模块C3用于平台内各模块通信具体包括：监听服务，接收数据传输，分析执行指令；将指令总结到文件日志中；通过爬虫任务遍历大数据容器C1索引、计算矩阵索引，完成容器与矩阵之间通信；实现身份认证功能，对不同身份的权限进行验证。
其中，所述虚拟技术池C4用于封装平台内虚拟技术具体包括：实现镜像分层映射，实现不同分层之间的复制与交互；实现点对点通信技术实现，将每个网络、服务、中间件建立直接连接。
其中，所述资源管理模块C5用于资源动态管理具体包括：采用多任务处理技术，进行资源多线程管理，并解决资源死锁现场；完成负载均衡监测，重启故障模块；进行任务生命周期监测，结束异常进程；建立爬虫任务调度列表，通过给任务分配优先级，以爬虫方式进行任务调度。
本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能中心化智能合约体调度，提高估算计算任务工作量的效率和精度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性，能够应用于社保大数据处理，例如实现社保缴费额度自动计算等功能，提高工作效率。
上述本发明的实施方式是本发明的元件和特征的组合。除非另外提及，否则所述元件或特征可被视为选择性的。各个元件或特征可在不与其它元件或特征组合的情况下实践。另外，本发明的实施方式可通过组合部分元件和/或特征来构造。本发明的实施方式中所描述的操作顺序可重新排列。任一实施方式的一些构造可被包括在另一实施方式中，并且可用另一实施方式的对应构造代替。对于本领域技术人员而言明显的是，所附权利要求中彼此没有明确引用关系的权利要求可组合成本发明的实施方式，或者可在提交本发明之后的修改中作为新的权利要求包括。
在固件或软件配置方式中，本发明的实施方式可以模块、过程、功能等形式实现。软件代码可存储在存储器单元中并由处理器执行。存储器单元位于处理器的内部或外部，并可经由各种己知手段向处理器发送数据以及从处理器接收数据。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据处理系统，其特征在于：所述系统包括智能合约体模块以及至少一个云计算大数据平台；所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器、计算矩阵模块、安全通信模块、虚拟技术池模块以及资源管理模块；所述智能合约体模块包括内外信息传递智能合约体、中央处理智能合约体、计算量预估智能合约体、预估提取模块、功劳声誉选择智能合约体、数据存储智能合约体以及比对模块；内外信息传递智能合约体负责信息输入输出交互，中央处理智能合约体负责调度智能合约体与智能合约体之间通信，计算量预估智能合约体负责估算计算任务工作量，功劳声誉选择智能合约体通过查询云平台功劳声誉数据库，选择累计功劳声誉最低并且负载较低的云平台为本次计算任务平台，数据存储智能合约体负责将工作量维护到数据库中；所述预估提取模块提取计算量预估智能合约体的预估量，将所述预估量发送至比对模块，所述比对模块对比数据存储智能合约体模块的数据和预估量的差值，将所述差值反馈回所述预估提取模块，所述预估提取模块根据所述差值信息调整所述计算量预估智能合约体的算法。所述大数据容器模块，提供大数据的存储、分析、挖掘服务；所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务；所述安全通信模块用于平台内各模块通信；所述虚拟技术池用于封装平台内虚拟技术；所述资源管理模块用于资源动态管理。
2.根据权利要求1所述的数据处理系统，其特征在于：所述大数据容器模块，提供大数据的存储、分析、挖掘服务具体包括：制定大数据集群服务框架合约，确定数据并行计算框架和计算集优先顺序；配置大数据集群服务参数，启动大数据集群服务；池化大数据集群服务列表，监控大数据服务执行情况，动态调整服务列表；解析大数据服务请求，拆分分析执行列表；根据所述分析执行列表，建立分析模型，请求计算矩阵服务；存储传递分析结果；请求计算矩阵压缩算法服务，历史数据压缩并建立索引。
3.根据权利要求1所述的数据处理系统，其特征在于：所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务具体包括：对业务逻辑进行建模，并封装在矩阵中的单元格，修改矩阵索引；建立大数据分析逻辑算法，并封装在矩阵中的单元格，修改矩阵索引；对数据压缩算法进行建模，并封装在矩阵中的单元格，修改矩阵索引；持续监测算法正确率、容错率等内容，建立评测算法，并封装在矩阵中的单元格，修改矩阵索引；配置调试功能，实现算法正确性验证，修正和关闭算法单元。
4.根据权利要求1所述的数据处理系统，其特征在于：所述安全通信模块用于平台内各模块通信具体包括：监听服务，接收数据传输，分析执行指令；将指令总结到文件日志中；通过爬虫任务遍历大数据容器索引、计算矩阵索引，完成容器与矩阵之间通信；实现身份认证功能，对不同身份的权限进行验证。
5.根据权利要求1所述的数据处理系统，其特征在于：所述虚拟技术池用于封装平台内虚拟技术具体包括：实现镜像分层映射，实现不同分层之间的复制与交互；实现点对点通信技术实现，将每个网络、服务、中间件建立直接连接。
6.根据权利要求1所述的数据处理系统，其特征在于：所述资源管理模块用于资源动态管理具体包括：采用多任务处理技术，进行资源多线程管理，并解决资源死锁现场；完成负载均衡监测，重启故障模块；进行任务生命周期监测，结束异常进程；建立爬虫任务调度列表，通过给任务分配优先级，以爬虫方式进行任务调度。
CN202010061646.6A 2020-01-18 2020-01-18 一种数据处理系统 Pending CN111291048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010061646.6A CN111291048A (zh) 2020-01-18 2020-01-18 一种数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010061646.6A CN111291048A (zh) 2020-01-18 2020-01-18 一种数据处理系统

Publications (1)

Publication Number Publication Date
CN111291048A true CN111291048A (zh) 2020-06-16

Family

ID=71030665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010061646.6A Pending CN111291048A (zh) 2020-01-18 2020-01-18 一种数据处理系统

Country Status (1)

Country Link
CN (1) CN111291048A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254419A (zh) * 2021-01-19 2021-08-13 青岛诺顿传媒有限公司 一种基于大数据微服务的物联网云平台管理系统及方法
CN113296917A (zh) * 2021-07-26 2021-08-24 北京元知创智科技有限公司 多业务系统业务事件订阅调度方法、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254419A (zh) * 2021-01-19 2021-08-13 青岛诺顿传媒有限公司 一种基于大数据微服务的物联网云平台管理系统及方法
CN113296917A (zh) * 2021-07-26 2021-08-24 北京元知创智科技有限公司 多业务系统业务事件订阅调度方法、电子设备及存储介质
CN113296917B (zh) * 2021-07-26 2021-11-02 北京元知创智科技有限公司 多业务系统业务事件订阅调度方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11803546B2 (en) Selecting interruptible resources for query execution
US11847103B2 (en) Data migration using customizable database consolidation rules
CN108932588B (zh) 一种前后端分离的水电站群优化调度系统及方法
CN102955721B (zh) 一种测试用的压力生成方法及装置
CN104239144A (zh) 一种多级分布式任务处理系统
CN105930417B (zh) 一种基于云计算的大数据etl交互式处理平台
Salem et al. An artificial bee colony algorithm for data replication optimization in cloud environments
CN106130960B (zh) 盗号行为的判断系统、负载调度方法和装置
CN102917006B (zh) 一种实现计算资源和对象权限的统一控制管理方法及装置
CN106060176A (zh) 一种基于混合云的云计算应用架构及云计算服务方法
CN103207920A (zh) 一种元数据并行采集系统
CN103700041A (zh) 基于云计算的智能电网负荷预测管理平台
CN111291048A (zh) 一种数据处理系统
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN115543624A (zh) 异构算力编排调度方法、系统、设备及存储介质
CN113377344A (zh) 一种复杂信息系统综合集成方法
CN107612984B (zh) 一种基于互联网的大数据平台
CN112734102A (zh) 一种基于工业协作配套和资源共享业务的云制造服务系统
Chung et al. Performance tuning and scaling enterprise blockchain applications
CN102193831B (zh) 一种建立层次化的映射/归约并行编程模型的方法
Zhang et al. A parallel task scheduling algorithm based on fuzzy clustering in cloud computing environment
CN103338246B (zh) 一种基础设施云资源分配过程中的虚拟机选择方法及系统
CN114443293A (zh) 一种大数据平台的部署系统及方法
CN110069343B (zh) 面向复杂高并发计算的动力装备分布式存储与计算架构
Li et al. Cress: Dynamic scheduling for resource constrained jobs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication