CN103677759B - 一种用于信息系统性能提升的对象化并行计算方法及系统 - Google Patents

一种用于信息系统性能提升的对象化并行计算方法及系统 Download PDF

Info

Publication number
CN103677759B
CN103677759B CN201310549086.9A CN201310549086A CN103677759B CN 103677759 B CN103677759 B CN 103677759B CN 201310549086 A CN201310549086 A CN 201310549086A CN 103677759 B CN103677759 B CN 103677759B
Authority
CN
China
Prior art keywords
task
data
server
objects
responsible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310549086.9A
Other languages
English (en)
Other versions
CN103677759A (zh
Inventor
林峰
唐云善
杨志
张春平
吴猛
张启平
田洪迅
张建功
胡庆辉
沈力
王宏刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
NARI Group Corp
Nari Information and Communication Technology Co
Original Assignee
State Grid Corp of China SGCC
Nari Information and Communication Technology Co
Nanjing NARI Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Nari Information and Communication Technology Co, Nanjing NARI Group Corp filed Critical State Grid Corp of China SGCC
Priority to CN201310549086.9A priority Critical patent/CN103677759B/zh
Publication of CN103677759A publication Critical patent/CN103677759A/zh
Application granted granted Critical
Publication of CN103677759B publication Critical patent/CN103677759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种用于信息系统性能提升的对象化并行计算方法及系统,方法适用于集群环境,根据功能将集群中计算机分为:对象服务器、对象管理服务器、客户端代理三类。方法主要包括以下步骤:对象建模,按照规则将电力业务数据抽象成数据对象,任务信息抽象成任务对象;分布式缓存对象,将数据按照对象模型分布式缓存到多个对象服务器的对象池中;创建对象索引,对象管理服务器收集所有对象池信息,按照逻辑关系创建索引;任务并行计算,任务对象按照一定规则拆分成多级子任务,子任务并发执行,最后结果返回任务对象。在该方法基础上,本发明还提供了一种用于信息系统性能提升的对象化并行计算系统,能够解决信息系统实时计算性能低下的问题。

Description

一种用于信息系统性能提升的对象化并行计算方法及系统
技术领域
本发明涉及一种用于信息系统性能提升的对象化并行计算方法及系统,属于信息技术领域。
背景技术
随着电力企业业务信息系统应用的逐步深入,业务数据量将逐渐庞大,基于磁盘关系数据库的信息系统由于需要进行大量的磁盘I/O操作使得系统性能和运行效率逐渐降低,给用户的使用和体验带来不便,更为严重的性能问题还造成系统崩溃。
为解决大数据的存储、计算及分析问题,业界提出了分布式文件系统、面向列的分布式数据库、分布式计算、并行计算等技术,为大型互联网站系统大数据量的存储和分析提出了解决方案,提升了性能。
在大数据实时分析方面, 出现了基于内存的计算技术,它通过高效的并行处理机制、数据压缩、行列混合存储模式等技术,实现高性能的数据查询与分析,满足用户对大数据处理的实时性需求。
在大容量、高速存储方面,业界出现了数据库及存储一体机,它通过高性能硬件、高速网络接口,采用智能扫描、智能存储、智能索引、混合列压缩等技术,提高大数据和多并发应场景下的系统处理效率。
在软件开发方面,为了便于用人类的思维方法,直观、自然地描述客观世界中的有关事物,业界提出了面向对象的思想和技术,它是以对象为基础,用事件或消息来驱动对象执行处理的程序设计技术,具有封装、继承、多态等特性。面向对象的设计方法使得程序结构清晰、简单,提高代码重用性和开发效率。
现有并行计算方法(如专利CN1641957电力系统潮流分网并行计算方法),是将系统数据分割成若干个小数据集,分析出各个小数据集之间的关联矩阵,然后在小数据集上并行计算任务。
针对当前电力行业信息系统中随数据量增大实时性能低下的性能问题,以上分布式计算、内存计算等技术具有局限性,只能在一定程度上缓解问题。把并行计算、内存计算等技术的有机融合在一起,发挥并行计算的集群并行和内存计算的高效等优点便可有效解决此问题。
发明内容
为实现上述目的,本发明提出了对象化并行计算(Objectification ParallelComputing,以下简称OPC)方法,用于信息系统的性能提升。OPC由对象服务器、对象管理服务器、客户端代理三组件相互协作完成系统性能提升,对象服务器、对象管理服务器运行于集群环境中。
具体方案是,提供一种提升信息系统性能的对象化并行计算方法,其包括由多个计算机组成的集群,所述集群中至少包括:
一对象服务器,负责创建并管理包括数据对象、任务对象和内存对象的所有对象,提供对象访问的远程接口,加载并缓存数据,对内存对象的访问进行并发控制,屏蔽底层不同数据存储方式的差异,完成内存对象数据的持久化,完成内存对象数据同步,并负责对象更新时事务管理;
一对象管理服务器,负责维护所述对象服务器上所有对象的索引,处理所述对象服务器失效和故障;
一客户端代理,客户端通过所述客户端代理与所述对象管理服务器和对象服务器进行对象接口调用; 其特征在于,其包括以下步骤:
1)对象建模,按照业务逻辑关系创建两种对象模型:一种是针对业务数据的数据对象模型,一种是针对业务任务的任务对象模型;按逻辑关系,对象分为单对象和对象集,单对象耦合度低,对象之间没有逻辑关系,可以完成某一类任务;对象集耦合度高,对象之间有逻辑关系,多个对象一起才能完成某一类任务;
2)分布式对象缓存,将数据源中数据按照数据对象模型缓存到所述集群的计算机的内存对象池中;其过程为:根据对象预先设定的属性将所有对象均衡分组,然后分组缓存到所述集群的计算机的内存对象池中;
3)创建对象索引,所述对象服务器缓存对象后,将所述对象服务器的机器IP、对象池缓存对象总数、对象池缓存对象名称、占用空间、缓存所用时间的对象池信息发送到所述对象管理服务器中,所述对象管理服务器收集信息后根据逻辑关系创建索引表;
4)对象任务并行计算,将任务对象按照预先设定规则拆分成多级子任务,子任务按照预先设定策略在所述集群的计算机中并发执行,执行完毕后将结果返回给上级父任务,根任务对象得到任务结果,计算后返回给所述客户端代理。
优选的,所述步骤1)中,所述数据对象模型中的属性由数据字段构成,所述数据对象模型中的方法由用于加载数据的加载函数构成;所述任务对象模型的属性主要由任务条件和任务结果构成,任务条件由任务条件字段构成,任务结果由任务结果字段构成,所述任务对象模型方法是任务执行函数,用于任务的分配、执行和结果汇总。
优选的,所述步骤2)中,在对象预先设定的属性将所有对象均衡分组过程中,所述集群的计算机的缓存对象要均衡;其分组的方法为:
首先把所有对象按照其属性分组;该属性的属性值如为枚举类型,则按照其值分组;该属性的属性值如为连续类型,则将属性值分段进行分组;该属性的属性值如为离散类型,则按照自定义规则进行分组,得到N个对象集,接着根据每个对象占用空间的大小估算每个对象集占用空间数值,然后计算所述集群中每台计算机内存可用空间,数值为每台计算机的JVM设定值的80%;最后组合对象集成对象集组,每个对象集组占用空间接近但不超过该计算机的内存可用空间。
优选的,在步骤4)中,任务按照所述对象服务器缓存对象的逻辑关系进行拆分,任务执行策略及步骤如下:
(1)业务系统将任务条件传递给客户端代理组件;
(2)客户端代理组件根据任务向所述对象管理服务器询问可完成此次任务的所述对象服务器及对象,所述对象管理服务器通过比较计算将可完成此次任务的所述对象服务器作为任务受理对象服务器,将其地址及服务对象返回给客户端代理;
(3)客户端代理向任务受理对象服务器发起对象接口调用,任务受理对象服务器接受客户端代理的接口调用后,分析此次任务所需数据缓存对象;
(4)如果此次任务的对象服务器本机数据缓存对象不足以支撑此次任务,将向所述对象服务管理器发起其他所述对象服务器寻址请求;
(5)任务受理对象服务器同时向本机对象服务和其他对象服务器发起子任务调用;
(6)任务受理对象服务器汇总各子任务的结果并返回给客户端代理;
(7)客户端代理将任务结果返回给业务系统。
本发明还提供一种提升信息系统性能的对象化并行计算系统,其包括由多个计算机组成的集群,其特征在于,所述集群中至少包括:
一对象服务器,负责创建并管理包括数据对象、任务对象和内存对象的所有对象,提供对象访问的远程接口,加载并缓存数据,对内存对象的访问进行并发控制,屏蔽底层不同数据存储方式的差异,完成内存对象数据的持久化,完成内存对象数据同步,并负责对象更新时事务管理;
一对象管理服务器,负责维护所述对象服务器上所有对象的索引,处理所述对象服务器失效和故障;
一客户端代理,客户端通过所述客户端代理与所述对象管理服务器和对象服务器进行对象接口调用。
优选的,所述对象服务器包括以下功能组件:对象池、对象管理、并发控制、数据同步、日志管理、系统监视和热部署模块;其中:
对象池用于缓冲数据对象和任务对象,任务对象提供对象接口,并通过服务接口发布给客户端;
对象管理模块负责对象池中的对象的创建、加载;
并发控制模块负责处理并控制并发用户数;同时,通过共享读锁和排他写锁控制对象的访问;
数据同步模块负责实时探测业务数据的变化情况,并将变化的数据更新到数据缓存对象中,数据同步和数据缓存对象通过数据访问模块对数据进行访问;支持常见的数据源如磁盘关系数据库、分布式文件系统、分布式数据库等。
系统监视、热部署、日志管理模块作为对象服务器的支撑功能,负责系统安装部署、故障分析处理。
优选的,所述对象管理服务器定时接收所述对象服务器的对象注册信息、对象索引,并以此维护对象服务器地址和对象的索引。
优选的,所述对象管理服务器具备双机热备功能。
优选的,所述客户端代理为提供给客户端进行对象服务接口调用的本地代理,主要包括所述对象服务代理和对象管理服务代理;对象服务代理是所述对象服务器上对外提供对象服务接口的本地代理,负责进行远程对象服务调用;对象管理服务代理是所述对象管理服务器上对象索引的本地代理,负责完成对象服务的定位接口调用。
本发明可以大幅提高信息化系统的性能,与已有数据库系统软件改造方面迁移工作量小。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1 是本发明的方法的流程图;
图2 是本发明的系统的任务执行过程图;
图3是本发明的系统的框架图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合实施例及实施例附图对本发明作进一步详细的说明。
本发明提出了一种用于信息系统性能提升的对象化并行计算方法,其流程见图1。方法适用于集群环境,根据功能将集群中计算机分为:对象服务器、对象管理服务器、客户端代理三类。
(a)对象服务器
对象服务器负责创建对象,加载并缓存数据,管理所有对象。提供对象访问的远程接口,对内存对象的访问进行并发控制。屏蔽底层不同数据存储方式的差异,完成内存对象数据的持久化。完成内存对象数据同步,负责对象更新时事务管理。
(b)对象管理服务器
对象管理服务器负责维护所有对象服务器上对象的索引,处理对象服务器失效和故障。对象管理服务器具备双机热备能力。
(c)客户端代理
客户端通过客户端代理与对象管理服务器和对象服务器进行对象接口调用。
该方法实施包括以下具体过程:
第一步,对象建模。按照数据的业务逻辑关系创建对象模型,主要有两种模型,一种是数据对象模型,针对业务数据,一种是任务对象模型,针对业务任务。对象按逻辑关系分为两类,一类是单对象,耦合度低,对象之间没有逻辑关系,单个对象可以完成某一类任务;一类是对象集,耦合度高,对象之间有逻辑关系,多个对象一起才能完成某一类任务。
对象模型内容针对不同的模型类型有所差异,数据对象模型中属性由数据字段构成,方法主要由加载函数load()构成,用于加载数据;任务对象模型属性主要由两部分构成,一部分是任务条件,由任务条件字段构成,一部分是任务结果,由任务结果字段构成,方法主要由任务执行函数syncStatistic()构成,主要用于任务的分配、执行、结果汇总。
第二步,分布式缓存对象。将数据源中数据按照对象模型分布式缓存到集群中多个对象服务器内存对象池中。其过程为根据对象某个属性将所有对象均衡分组,然后将分组分别缓存到计算机内存对象池中。由于集群中的计算机配置有差异,要根据计算机内存大小和一定的分配原则把数据分布式缓存到内存对象池中。集群中的每台计算机缓存对象要均衡,均衡分组方法为,首先把所有对象按照地区等属性分组,属性值如为枚举类型,则可按照其值分组,如为时间等连续类型,则可通过把属性值分段进行分组,如为离散类型,则可按照自定义规则进行分组,得到N个对象集,接着根据每个对象占用空间的大小(即占内存大小)估算每个对象集占用空间数值,然后计算集群中每台计算机内存可用空间,数值为每台计算机的JVM(Java Virtual Machine(Java虚拟机))设定值的80%,最后组合对象集成对象集组,每个对象集组占用空间接近但不超过计算机内存可用空间。
第三步,创建对象索引。对象服务器在对象池缓存对象后,将机器IP、对象池缓存对象总数、对象池缓存对象名称、占用空间、缓存所用时间等对象池信息发送到对象管理服务器中,对象管理服务器收集信息后根据逻辑关系创建索引表。
第四步,任务并行计算。将任务对象按照一定规则拆分成多级子任务,子任务在集群中并发执行,执行完毕后将结果返回给上级父任务,最终任务对象得到任务结果,返回给客户端代理。这个拆分任务规则就是对象服务器缓存对象的逻辑关系,通过这种逻辑关系,将任务拆分成多级子任务,子任务之间没有关联关系。
在系统中任务执行过程见图2所示,图中的心跳的含义是对象服务器定期向对象管理服务器发送信息,信息主要有对象池、IP、更新时间等信息,对象管理服务器用这些信息创建对象索引表。主要包括以下步骤:
(1)业务系统将任务条件传递给客户端代理组件;
(2)客户端代理组件根据任务向对象管理服务器询问可完成此次任务的对象服务器及对象,对象管理服务器通过比较计算将可完成此次任务的对象服务器1地址及服务对象返回给客户端代理;
(3)客户端代理向对象服务器1发起对象接口调用,对象服务器接收客户端代理的接口调用后,分析此次任务所需数据缓存对象;
(4)如果对象服务器1本机数据缓存对象不足以支撑此次任务,将向对象服务管理器发起其他对象服务器寻址请求;
(5)对象服务器1同时向本机对象服务和其他对象服务器发起子任务;
(6)对象服务器1汇总各子任务的结果并返回给客户端代理;
(7)客户端代理将任务结果返回给业务系统。
本发明在上述方法基础上提供提升信息系统性能的对象化并行计算系统,该系统框架图见图3。
(1)对象服务器组件是核心组件,由对象池、并发控制、数据同步、日志管理、系统监视及热部署等功能组成。
对象池用来缓冲数据对象和任务对象。任务对象提供对象接口,并通过服务接口发布给客户端。对象管理负责对象池中的对象的创建、加载等。
并发控制负责处理并控制并发用户数。同时,通过“共享读锁”和“排他写锁”控制对象的访问。
数据同步实时探测业务数据的变化情况,并将变化的数据更新到数据缓存对象中。数据同步和数据缓存对象通过数据访问模块对数据进行访问,支持常见的数据源如磁盘关系数据库、分布式文件系统、分布式数据库等。
系统自身监视、热部署、日志管理作为对象服务器组件的支撑功能,在系统安装部署、故障分析处理中具有重要作用。
(2)对象管理服务器组件是中枢系统,负责对象服务器的索引、分配和管理。对象管理服务器组件定时接收对象服务器组件的对象注册信息,对象索引管理以此维护对象服务器地址和对象的索引。
数据恢复管理是当对象服务器发生故障后对其缓存的数据对象和统计分析对象进行恢复,以保障系统的正常运行。
双机热备是指对象管理服务器采用主备热切换,备用服务器实时将主用服务器上的对象索引等信息进行同步,主用服务器出现故障,备用服务器提供服务。
(3)客户端代理组件是提供给业务系统进行对象服务接口调用的本地代理组件,主要包括对象服务代理和对象管理服务代理。对象服务代理是对象服务器上对外提供对象服务接口的本地代理,负责进行远程对象服务调用。
对象管理服务代理是对象管理服务器上对象索引的本地代理,负责完成对象服务的定位接口调用。
本系统由客户端代理、对象服务器、对象管理服务器等组件相互协作完成任务。
本发明所述方法及装置的其他具体技术详细描述需参阅本发明上述说明中相应部分的描述,不再累述。
以上所述,仅为本发明的具体实施方式。本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (8)

1.一种用于信息系统性能提升的对象化并行计算方法,其包括由多个计算机组成的集群,所述集群中至少包括:
一对象服务器,负责创建并管理包括数据对象、任务对象和内存对象的所有对象,提供对象访问的远程接口,加载并缓存数据,对内存对象的访问进行并发控制,屏蔽底层不同数据存储方式的差异,完成内存对象数据的持久化,完成内存对象数据同步,并负责对象更新时事务管理;
一对象管理服务器,负责维护所述对象服务器上所有对象的索引,处理所述对象服务器失效和故障;
一客户端代理,客户端通过所述客户端代理与所述对象管理服务器和对象服务器进行对象接口调用; 其特征在于,其包括以下步骤:
1)对象建模,按照业务逻辑关系创建两种对象模型:一种是针对业务数据的数据对象模型,一种是针对业务任务的任务对象模型;按逻辑关系,对象分为单对象和对象集,单对象耦合度低,对象之间没有逻辑关系,可以完成某一类任务;对象集耦合度高,对象之间有逻辑关系,多个对象一起才能完成某一类任务;
2)分布式对象缓存,将数据源中数据按照数据对象模型缓存到所述集群的计算机的内存对象池中;其过程为:根据对象预先设定的属性将所有对象均衡分组,然后分组缓存到所述集群的计算机的内存对象池中;
3)创建对象索引,所述对象服务器缓存对象后,将所述对象服务器的机器IP、对象池缓存对象总数、对象池缓存对象名称、占用空间、缓存所用时间的对象池信息发送到所述对象管理服务器中,所述对象管理服务器收集信息后根据逻辑关系创建索引表;
4)对象任务并行计算,将任务对象按照预先设定规则拆分成多级子任务,子任务按照预先设定策略在所述集群的计算机中并发执行,执行完毕后将结果返回给上级父任务,最终任务对象得到任务结果,计算后返回给所述客户端代理。
2.根据权利要求1所述的方法,其特征在于,所述步骤1)中,所述数据对象模型中的属性由数据字段构成,所述数据对象模型中的方法由用于加载数据的加载函数构成;所述任务对象模型的属性主要由任务条件和任务结果构成,任务条件由任务条件字段构成,任务结果由任务结果字段构成,所述任务对象模型方法是任务执行函数,用于任务的分配、执行和结果汇总。
3.根据权利要求2所述的方法,其特征在于,所述步骤2)中,在对象预先设定的属性将所有对象均衡分组过程中,所述集群的计算机的缓存对象要均衡;其分组的方法为:
首先把所有对象按照其属性分组;该属性的属性值如为枚举类型,则按照其值分组;该属性的属性值如为连续类型,则将属性值分段进行分组;该属性的属性值如为离散类型,则按照自定义规则进行分组,得到N个对象集,接着根据每个对象占用空间的大小估算每个对象集占用空间数值,然后计算所述集群中每台计算机内存可用空间,数值为每台计算机的JVM设定值的80%;最后组合对象集成对象集组,每个对象集组占用空间接近但不超过该计算机的内存可用空间。
4.根据权利要求3所述的方法,其特征在于,在步骤4)中,任务按照所述对象服务器的缓存对象的逻辑关系进行拆分,任务执行策略及步骤如下:
(1)业务系统将任务条件传递给客户端代理组件;
(2)客户端代理组件根据任务向所述对象管理服务器询问可完成此次任务的所述对象服务器及对象,所述对象管理服务器通过比较计算将可完成此次任务的所述对象服务器作为任务受理对象服务器,将其地址及服务对象返回给客户端代理;
(3)客户端代理向任务受理对象服务器发起对象接口调用,任务受理对象服务器接受客户端代理的接口调用后,分析此次任务所需数据缓存对象;
(4)如果此次任务的对象服务器本机数据缓存对象不足以支撑此次任务,将向所述对象管理服务器发起其他所述对象服务器寻址请求;
(5)任务受理对象服务器同时向本机对象服务和其他对象服务器发起子任务调用;
(6)任务受理对象服务器汇总各子任务的结果并返回给客户端代理;
(7)客户端代理将任务结果返回给业务系统。
5.一种用于信息系统性能提升的对象化并行计算系统,其包括由多个计算机组成的集群,其特征在于,所述集群中至少包括:
一对象服务器,负责创建并管理包括数据对象、任务对象和内存对象的所有对象,提供对象访问的远程接口,加载并缓存数据,对内存对象的访问进行并发控制,屏蔽底层不同数据存储方式的差异,完成内存对象数据的持久化,完成内存对象数据同步,并负责对象更新时事务管理;
一对象管理服务器,负责维护所述对象服务器上所有对象的索引,处理所述对象服务器失效和故障;
一客户端代理,客户端通过所述客户端代理与所述对象管理服务器和对象服务器进行对象接口调用;
所述对象服务器包括以下功能组件:对象池模块、对象管理模块、并发控制模块、数据同步模块、日志管理模块、系统监视模块和热部署模块;其中:
对象池模块用于缓冲数据对象和任务对象,任务对象提供对象接口,并通过服务接口发布给客户端;
对象管理模块负责对象池中的对象的创建、加载;
并发控制模块负责处理并控制并发用户数;同时,通过共享读锁和排他写锁控制对象的访问;
数据同步模块负责实时探测业务数据的变化情况,并将变化的数据更新到数据缓存对象中,数据同步模块和数据缓存对象通过数据访问模块对数据进行访问;
系统监视模块、热部署模块、日志管理模块负责系统安装部署、故障分析处理。
6.根据权利要求5所述的系统,其特征在于,所述对象管理服务器定时接收所述对象服务器的对象注册信息、对象索引,并以此维护对象服务器地址和对象的索引。
7.根据权利要求6所述的系统,其特征在于,所述对象管理服务器具备双机热备功能。
8.根据权利要求7所述的系统,其特征在于,所述客户端代理为提供给客户端进行对象服务接口调用的本地代理,主要包括对象服务代理和对象管理服务代理;对象服务代理是所述对象服务器上对外提供对象服务接口的本地代理,负责进行远程对象服务调用;对象管理服务代理是所述对象管理服务器上对象索引的本地代理,负责完成对象服务的定位接口调用。
CN201310549086.9A 2013-11-08 2013-11-08 一种用于信息系统性能提升的对象化并行计算方法及系统 Active CN103677759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310549086.9A CN103677759B (zh) 2013-11-08 2013-11-08 一种用于信息系统性能提升的对象化并行计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310549086.9A CN103677759B (zh) 2013-11-08 2013-11-08 一种用于信息系统性能提升的对象化并行计算方法及系统

Publications (2)

Publication Number Publication Date
CN103677759A CN103677759A (zh) 2014-03-26
CN103677759B true CN103677759B (zh) 2017-01-11

Family

ID=50315438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310549086.9A Active CN103677759B (zh) 2013-11-08 2013-11-08 一种用于信息系统性能提升的对象化并行计算方法及系统

Country Status (1)

Country Link
CN (1) CN103677759B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408657A (zh) * 2014-11-21 2015-03-11 深圳市银雁金融配套服务有限公司 业务数据的处理方法和装置
CN104599032A (zh) * 2014-11-28 2015-05-06 国家电网公司 一种面向资源管理的分布式内存电网构建方法及系统
CN104794231B (zh) * 2015-05-04 2018-05-25 罗敬宁 一种基于Map/Reduce的非结构化数据的处理方法和装置
CN105847885B (zh) * 2016-05-25 2019-03-15 武汉斗鱼网络科技有限公司 一种基于视频流播放状态的白名单生成系统及方法
CN106060594B (zh) * 2016-05-25 2019-04-23 武汉斗鱼网络科技有限公司 一种基于播放器心跳的白名单生成系统及方法
CN107153679B (zh) * 2017-04-18 2020-11-24 北京思特奇信息技术股份有限公司 一种针对半结构化大数据的提取统计方法及系统
CN107436825A (zh) * 2017-08-04 2017-12-05 郑州云海信息技术有限公司 一种云平台系统恢复方法和装置
CN107797901A (zh) * 2017-10-25 2018-03-13 四川长虹电器股份有限公司 一种堆栈分析以及邮件实时报警的实现方法
CN109343962A (zh) * 2018-10-26 2019-02-15 北京知道创宇信息技术有限公司 数据处理方法、装置及分布式服务系统
CN109743747A (zh) * 2018-11-13 2019-05-10 北京码牛科技有限公司 基于大数据与云计算的用户行为分析方法及装置
CN110069343B (zh) * 2019-04-12 2023-09-29 上海交通大学 面向复杂高并发计算的动力装备分布式存储与计算架构
CN110677348B (zh) * 2019-09-17 2021-07-27 创新先进技术有限公司 基于缓存集群路由的数据分发方法、访问方法及各自装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833289A (zh) * 2011-06-16 2012-12-19 宁波速腾电子有限公司 一种分布式云计算资源组织和任务分配方法
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003295762A1 (en) * 2002-11-19 2004-06-15 Nexaweb Technologies, Inc. System and method for stateful web-based computing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833289A (zh) * 2011-06-16 2012-12-19 宁波速腾电子有限公司 一种分布式云计算资源组织和任务分配方法
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统

Also Published As

Publication number Publication date
CN103677759A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103677759B (zh) 一种用于信息系统性能提升的对象化并行计算方法及系统
CN103365929B (zh) 一种数据库连接的管理方法及系统
CN102831156B (zh) 一种云计算平台上的分布式事务处理方法
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN100594498C (zh) 海量数据实时处理架构及用于该架构的实时随需处理平台
CN103036946B (zh) 一种用于云平台处理文件备份任务的方法和系统
WO2020119649A1 (zh) 一种任务调度模拟系统
CN102103518A (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
CN103150304A (zh) 云数据库系统
CN107330580A (zh) 电力营销基础数据平台组建方法
CN102946433A (zh) 云公共服务平台下的大规模计算机资源的监控和调度方法
CN102915255A (zh) 用于大规模数据集并行运算的云计算服务系统和方法
CN106446268A (zh) 一种数据库横向扩展系统及方法
CN110083306A (zh) 一种分布式对象存储系统及存储方法
Aji et al. Haggis: turbocharge a MapReduce based spatial data warehousing system with GPU engine
CN109710668A (zh) 一种多源异构数据访问中间件构建方法
CN106201720A (zh) 虚拟对称多处理虚拟机创建方法、数据处理方法及系统
Zhao et al. Heuristic data placement for data-intensive applications in heterogeneous cloud
CN106056322A (zh) 基于云计算的智能电网调度系统
Jiang et al. Alibaba hologres: A cloud-native service for hybrid serving/analytical processing
CN107528871A (zh) 存储系统中的数据分析
CN113806606A (zh) 基于三维场景的电力大数据快速可视化分析方法及系统
KR20120118550A (ko) 대용량 데이터 고속처리용 분산 메인 메모리 데이터베이스 관리 시스템 구조
Azez et al. JOUM: an indexing methodology for improving join in hive star schema
CN106815318A (zh) 一种时序数据库的集群化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lin Feng

Inventor after: Shen Li

Inventor after: Wang Honggang

Inventor after: Tang Yunshan

Inventor after: Yang Zhi

Inventor after: Zhang Chunping

Inventor after: Wu Meng

Inventor after: Zhang Qiping

Inventor after: Tian Hongxun

Inventor after: Zhang Jiangong

Inventor after: Hu Qinghui

Inventor before: Lin Feng

Inventor before: Tang Yunshan

Inventor before: Yang Zhi

Inventor before: Zhang Chunping

Inventor before: Wu Meng

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100761 West Chang'an Avenue, Beijing, No. 86, No.

Co-patentee after: NARI Group Corp.

Patentee after: State Grid Corporation of China

Co-patentee after: NARI INFORMATION AND COMMUNICATION TECHNOLOGY Co.

Address before: 100761 West Chang'an Avenue, Beijing, No. 86, No.

Co-patentee before: NARI Group CORPORATION STATE GRID ELECTRIC POWER INSTITUTE

Patentee before: State Grid Corporation of China

Co-patentee before: NARI INFORMATION AND COMMUNICATION TECHNOLOGY Co.