CN103607418A - 基于云服务数据特征的大规模数据分割系统及分割方法 - Google Patents

基于云服务数据特征的大规模数据分割系统及分割方法 Download PDF

Info

Publication number
CN103607418A
CN103607418A CN201310315980.XA CN201310315980A CN103607418A CN 103607418 A CN103607418 A CN 103607418A CN 201310315980 A CN201310315980 A CN 201310315980A CN 103607418 A CN103607418 A CN 103607418A
Authority
CN
China
Prior art keywords
data
cloud
cloud application
application service
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310315980.XA
Other languages
English (en)
Other versions
CN103607418B (zh
Inventor
许晓鲁
钟冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI HOSTCHN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI HOSTCHN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI HOSTCHN INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI HOSTCHN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201310315980.XA priority Critical patent/CN103607418B/zh
Publication of CN103607418A publication Critical patent/CN103607418A/zh
Application granted granted Critical
Publication of CN103607418B publication Critical patent/CN103607418B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

基于云服务数据特征的大规模数据分割系统及分割方法,该方法包括:提供大规模分布式数据库DBRange管理中心:以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理,并根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;接收云应用服务中心及时更新的数据信息,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心;接收到所述DBRange管理中心下发的相关联的云应用服务中心时,将更新数据的相关信息发送至对应的云应用服务中心,或者当接收到所述DBRange管理中心下发的更新数据的云应用服务中心时与该云应用服务中心建立数据交互获得当前更新的数据。

Description

基于云服务数据特征的大规模数据分割系统及分割方法
技术领域
本发明涉及一种云计算领域,特别涉及一种基于云服务数据特征的大规模数据分割系统及分割方法。
 
背景技术
云存储是在云计算概念上延伸和发展出来的一个新概念。是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,工人同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置在量的存储设备,那么云计算系统就转变成一个云存储系统,所述云存储是一个以数据存储和管理为核心的云计算系统。
从云存储的概念及目前应用来看,其本质是向用户提供一种透明的网络存储服务。用户服务只要连接进入互联网,即可享受网络存储服务-随时随地的管理其所存储的数据,就如同这些数据存储在本地一样;同时用户可以方便将存储在云存储的数据与其他用户共享。因此如何实现在任意网络接入点方便快捷的读取数据,同时保证数据的保密性、完整性成为云存储技术的关键。
在申请号为201110103409.2、发明名称为云存储分割与备份数据的方法及装置的专利中,公开了云存储分割与备份数据的方法及装置,其设计思路是通过改变以往将数据完整的保存在同一物理存储设备上的做法,而采用将数据分割为若干数据段保存每段的校验信息,再将每一数据段再复制若干副本,将这些数据段副本分别保存在不同的物理存储设备上。即对完整数据进行有限、可控的分割与备份,数据分割片为多少片段、每一片段有多少副本都依据对数据保密性、完整性、可用性的要求高、底来决定。合并完整数据时,将通过校验的数据片段副本重新合并即可。
这种设计的确能够解决数据分割和存储的一些问题。但是,大规模云计算应用数据规模的快速增长,从原有的每日GB级数据增长膨胀到TB级,甚至PB级,如何实现大规模用户对大规模数据的实时高效的访问,如何保障云应用服务的连续性、可靠性、稳定性和满足SLA的服务满意度指标,已经成为大规模云计算应用平台面临且迫切需要解决的问题。
另外,云服务提供多种不同的应用,我们称之为云应用服务平台或云计算服务平台。比如,云邮箱服务平台、移动办公云服务平台等。目前,各个云应用服务平台或云计算服务平台之间通常不进行数据同步工作的。比如,移动办公云服务平台更改了某些数据(比如,联系人的联系电话发生变化),移动办公云服务平台不会主动将更改后的数据发送至云邮箱服务平台,云邮箱服务平台的联系人联系电话还是老的数据,存在同步性差的问题。
在申请号为201210393339.3中公开一种云管理平台和云平台间数据同步的方法,其步骤:云管理平台在启动时向云平台获取全部数据,更新到云管理平台的数据库并存放在内存中的比较数据库;云管理平台每隔时间Y向云平台获取数据存放到内存中;当云管理平台第N次向云平台获取数据时,其中N*Y≥X,云管理平台开始同步数据;当内存中的比较数据库与当前获取的数实时据不一致时,将当前获取的实时数据放入更新队列;云管理平台将更新队列中实时数据更新到云管理平台的数据库中,云管理平台将次数N清零,并将当前获取的实时数据存放到内存中。该法是一种高效可行的方法,能够减少云管理平台的工作量。
这种云管理平台来管理并同步云应用服务平台或云计算服务平台的数据,虽然能达到比较好的同步效果。但是,以一个云邮箱服务平台来说,有可能会涉及到邮箱数据、邮件数据是极度庞大的,如果仅同步某一部分数据,则云管理平台可以将该部分数据存储在本端的数据库,然后更新相关其它云应用服务平台或云计算服务平台,但是如果同步该些涉及到的所有或绝大部分数据,对于云管理平台来说,需要一个极其庞大的数据库来存储这些预同步的数据,特别大规模云计算应用数据规模的快速增长,从原有的每日GB级数据增长膨胀到TB级,甚至PB级,如何实现大规模用户对大规模数据的实时高效的访问,如何保障云应用服务的连续性、可靠性、稳定性和满足SLA的服务满意度指标,已经成为大规模云计算应用平台面临且迫切需要解决的问题。
 
发明内容
本发明的第一目的在于提供基于云服务数据特征的大规模数据分割系统,以解决如何实现大规模用户对大规模数据的实时高效的访问,如何保障云应用服务的连续性、可靠性、稳定性和满足SLA的服务满意度指标的技术问题。
一种基于云服务数据特征的大规模数据分割系统,包括:若干云客户端、若干云应用服务中心和至少一个大规模分布式数据库DBRange管理中心,
大规模分布式数据库DBRange管理中心进一步包括云服务数据智能分割引擎和分布式云服务数据库关系管理单元,
云服务数据智能分割引擎:接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的大数据表进行分割,将一个大数据表分割存储在不同的小数据表中;
分布式云服务数据库关系管理单元:连接云服务数据智能分割引擎,在记录数据分割关系表中记录云服务数据智能分割引擎进行的数据分割关系和变化情况;
云应用服务中心:与云客户端连接,用于给云客户端提供云服务,并且提供与所述大规模分布式数据库DBRange管理中心进行数据通讯,将用户云应用服务的特征数据提交到云服务数据智能分割引擎进行分割保存。
较佳地,大规模分布式数据库DBRange管理中心还包括:
云应用特征行为管理单元:以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理。
较佳地,云服务数据智能分割引擎进一步包括:数据库:用于存储云应用服务中心对应各种数据表;分割判断单元:用于连接云应用特征行为管理单元,用于对用于基于各种云应用服务的数据特征和用户数据特征分析,判断所述特征是否满足分割条件;分割单元:用于对满足分割条件的大规模数据进行分割,将一个大数据表分割存储在不同的小数据表中。
较佳地,大规模分布式数据库DBRange管理中心还包括:云应用业务管理单元:与云应用特征行为管理单元进行连接,根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;实时数据处理单元:用于接收云应用服务中心及时更新的数据信息,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
较佳地,云应用服务中心还进一步包括:更新通讯单元:用于给云客户端提供云服务,并且提供与所述大规模分布式数据库DBRange管理中心进行数据通讯,将用户云应用服务的特征数据提交到云服务数据智能分割引擎进行分割保存;数据交互单元:用于将更新数据信息发送至一个大规模分布式数据库DBRange管理中心,当接收到所述DBRange管理中心下发的相关联的云应用服务中心时,将更新数据的相关信息发送至对应的云应用服务中心,或者当接收到所述DBRange管理中心下发的更新数据的云应用服务中心时与该云应用服务中心建立数据交互获得当前更新的数据。
一种基于云服务数据特征的大规模数据分割方法,包括以下步骤:
大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;
基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的数据表进行分割;
将一个大数据表分割存储在不同的小数据表中;
在记录数据分割关系表中记录云服务数据智能分割引擎进行的数据分割关系和变化情况。
较佳地,本发明还包括:
大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;
云服务数据智能分割引擎通过对归总的特征设置不同的阀值集合,当数据表的数据满足所述阀值集合要求时判断其数据表出现性能瓶颈约束,以此来作为数据表分割依据。
较佳地,本发明还包括:大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;接收云应用服务中心及时更新的数据信息,根据预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
较佳地,本发明还包括:大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;如果数据表不满足进行分割的条件,则直接将所述数据存储至对应的数据表中。
与现有技术相比,本发明具有以下的优点:
本项目采用的RangeDB技术,源于对MapReduce技术的深入分析研究与实践、融入多年来云应用实践过程中掌握的云应用行业技术特征、用户使用习惯等服务参数,实现对大规模分布式数据库智能分割,解决大规模用户对云服务的消息响应与大规模数据增长带来的性能瓶颈问题,按照分布式数据库的设计理念,可以分为以表为单位的分割和从数据的中间分割。两种分割方式都可以在很好的解决一个数据库容量超出内存规模的问题,以表为单位的分割是将不同的数据表独立存储在不同的数据库服务器上,从数据的中间分割是当一个表的数据量超过服务器最大内存容量(如32GB),搜索操作效率都比较低下,需要按照一定的索引排序规则,将表分割成多个比较小的数据表,实现每个小表的高速访问与使用。
平台的智能分布式数据库分割引擎,通过对大规模云应用服务的业务和实时数据处理分析,对大规模数据库各个数据表的数据情况和关联关系进行分析处理,自动调整数据表采用表为分割单位的数据库分割或采用中间数据分割,同时引擎自动将用户云应用服务请求重新分解为对不同分割后数据库的操作请求。
本发明可以预先对各个云服务的特征点进行划分,并预先保存它们之间的关联关系,当某一些数据发生变化时,可以通过云服务之间的关联关系找到对应相关联的云服务,并将发生变化的数据发送至关联的云服务,以便其及时更新,本发明的方案简单,同步效率高。
   本发明还可以及时更新云服务的特征点,并更新对应的关联关系,做到当前的关联关系为动态的,实时更新的,以提高其准确率。
  附图说明
图1为本发明基于云服务数据特征的大规模数据分割系统一实施例的原理示意图;
图2为云应用服务中心的原理结构示意图。
具体实施方式
   以下结合附图,具体说明本发明。
      请参阅图1,本发明基于云服务数据特征的大规模数据分割系统,即基于DBRange的大规模分布式数据库分割平台架构由云客户端4、云应用服务中心、大规模分布式数据库DBRange管理中心1三个层次组成。
      云客户端4是指使用云应用服务的各种智能终端设备,包括但不限于PC、笔记本、智能手机等,用户通过这些设备来使用云应用服务。
      云应用服务中心,是一组具备提供云客户端使用某种或多种类型云应用服务能力的中心服务器群,这个服务器群组架设有服务于云应用服务的数据库系统和其它系统服务组件,相比常规的云应用服务器群来说,除能提供云客户端的云应用服务能力外,还通过与DBRange管理中心的通讯来进一步优化提供云服务中心节点间的数据同步和服务能力,云应用服务中心将云客户端的应用或数据请求特征数据提交到DBRange管理中心,DBRange管理中心通过对用户历史和当前行为数据分析,将智能决策结果推送到云应用服务节点,云应用服务节点获取决策和授权后与其它云应用服务节点进行必要的数据同步来进一步优化云客户端应用体验。在本实例中,云应用服务中心给出了云应用服务端A 2和云应用服务端B 3两个中心来举例说明。但需要说明的是,这仅是举例,并非用来局限本发明。
      基于DBRange的大规模分布式数据库管理中心1,核心依赖于对云应用服务的特征智能分析,在数据库规模或数据表达到一定的性能指标阀值时,将多个云应用或服务的大规模数据按照数据的特征进行分割,常用的特征包含但不限于地理位置、操作时间、用户、云应用或服务间关系,通过分割可以让这些数据表或数据库满足性能阀值约束要求。特别是对云应用服务端A 2和云应用服务端B 3要进行某些智能控制时,通过实时获取云应用服务端A 2和云应用服务端B 3的更新数据或实时处理数据,进行分析,可方便管理和监控,也可以进一步指导、监控或控制云应用服务端A 2和云应用服务端B 3端的智能服务。比如,云应用服务端A 2提供企业邮件服务,则当某一企业邮件的处理数据达到某一阀值时,大规模分布式数据库管理中心可以监控到该种情况,可建议或监控云应用服务端A 2进行邮箱或邮件优化,提升邮件处理的数据。
还请参阅图1,大规模分布式数据库DBRange管理中心主要包括:云应用业务管理管理单元11、云应用特征行为管理单元13、和实时数据处理平台。实时数据处理平台进一步包括云服务数据智能分割引擎12、分布式云服务数据库关系管理单元14。大规模分布式数据库DBRange管理中心一般还包括一些数据库服务器等,在此就省略不叙述。
       云应用特征行为管理单元13:定义数据库分割的参照特征约束,包括但不限于地理位置、时间维度、用户属性、企业属性、云应用服务属性等,对各种云应用服务和数据的特征进行集中管理和维护。也就是说,对每个云应用服务中心包括云应用服务、涉及数据进行参照特征的分割,并按照分割分的参照特征来进行归总。云应用特征行为管理单元13获得一个云应用服务时,主要以这几个方面进行参照特征的获取:网络和云应用属性的特征提取、云应用服务特征的提取、云应用数据的特征提取。网络和云应用属性的特征提取包括地理位置信息、时间维度信息、IP地址信息、云应用涉及到的客户信息、云应用属性等,云应用服务特征的提取进一步可以包括服务特征点的罗列,云应用数据的特征提取包括云应用数据涉及到的共性数据特征点。云应用特征行为管理单元获得该些数据特征及对应的描述,当一旦云应用服务中心有相关特征进行更改时,可以及时更新。云应用特征行为管理单元可以以表格的形式保存每个云应用服务中心所涉及到的相关所有参照特征。而且,根据每个云应用服务中心的具体属性可以按照预先设定的规定来进行特征的提取,并保存至对应的表格中。
云应用业务管理单元11:与云应用特征行为管理单元13进行连接,根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系。云应用业务管理单元11的关联关系的建立可以分为两部分,一部分是根据每个云应用服务中心表格中对应的字段所表示的含义自动建议关联关系,比如,相同的IP地址等。另一部分是可以通过人工进行二次关联,提高关联率。以上仅是举例说明,并非是局限,可是只通过自动匹配的方式来进行关联,也可以仅通过人工匹配的方式来进行关联。
云应用业务管理单元访问云应用特征行为管理单元13保存的每个云应用服务中心所涉及到的相关所有参照特征,比如,某些云应用服务中心都涉及到联系人信息(联系人名称、联系人邮箱、联系人职业、职系人电话等)这几个特征信息,而且该用户的标识信息(用户的身份信息、联系信息等)存在相同或相关,即可以建立该些云应用服务中心针对该用户的联系人信息的关联。
各个云应用服务中心之间的关联关系可以预先建立,在同步时进行验证,若某些云应用服务中心的关联关系建立出错,则可以反过来取消预先设置的关联关系。当某些应该建立的关联关系未建立,则同步时某些数据就不能达到及时同步,可通过人工方式更改云应用业务管理单元相关的数据库信息,以建立对应的关联关系。也就是说,云应用业务管理单元建立的各个云应用服务中心之间的关联关系是动态的,可随着各个云应用服务的数据或设计变化,及时更改的。
实时数据处理平台:用于接收云应用服务中心及时更新的数据信息,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
当云应用服务中心某些特征发生改变时,也会通知大规模分布式数据库DBRange管理中心1。云应用业务管理管理单元11和云应用特征行为管理单元13获得某些特征变化后,及时调整特征库或对应的关联关系,以保证当前的云应用业务管理管理单元11和云应用特征行为管理单元13中的特征信息及关联关系是最新的。
当云应用服务中心的数据信息发生变化时,可以直接将发生变化的数据发送至大规模分布式数据库DBRange管理中心1,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。一种方案是云应用服务中心直接进行数据同步交互,另一种方案时,大规模分布式数据库DBRange管理中心1直接将各个相关联云应用服务中心所涉及到的预更新的数据发送到各自相关联的云应用服务中心。
云应用服务中心的数据信息发生变化,且变化的数据量非常庞大时,本发明也可以仅将涉及到的特征点信息发送至大规模分布式数据库DBRange管理中心1,不需要把整个数据发送至大规模分布式数据库DBRange管理中心1,这样就避免大量数据网络的传输,提高了网络传输的效率,也不需要占用过多的网络资源。大规模分布式数据库DBRange管理中心1只需要该些特征点涉及到的各自相关的云应用服务中心信息信息发送至该数据信息发化的云应用服务中心。云应用服务中心即可将特征点涉及到的变化数据信息直接发送到各自对应相关的云应用服务中心。
实时数据处理平台除了包括实时数据处理单元之外,还可以包括云服务数据智能分割引擎12、分布式云服务数据库关系管理单元14:
实时数据处理单元:用于接收云应用服务中心及时更新的数据信息,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
云服务数据智能分割引擎12,接收和处理云应用服务中心实时反馈提交的各种云应用特征数据信息和数据信息,基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的大数据表进行分割,将一个大数据表分割存储在不同的小数据表中;
           也就是说云服务数据智能分割引擎12接收和处理云应用服务中心实时反馈提交的各种云应用特征数据信息和数据信息,基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的大数据表进行分割,阀值约束包括但不限于数据表的大小,数据据记录的条数,用户的数量等,将一个大数据表通过智能分割规则分割存储在不同的小数据表中,同时在记录数据分割关系表中记录这种数据分割关系和变化。
      分布式云服务数据库关系管理单元14,提供对所有DBRange管理中心管理云服务应用集群节点的集中管理和数据服务控制,通过用户特征数据和应用数据的智能分析,通知云应用服务集群节点进行必要的数据的数据同步操作。
   当云应用服务中心的数据信息发生变化,且变化的数据量非常庞大时,本发明涉及到的特征点信息发送至大规模分布式数据库DBRange管理中心,若大规模分布式数据库DBRange管理中心需要进行对应表的数据更新时,先查询分布式云服务数据库关系管理单元14,通过分布式云服务数据库关系管理单元14可以获知该云应用服务中心存储的数据存储的地址、存储的规则(比如,存储在几张表内,每张表是以什么规则划分的)等,即可获知该些对应数据信息应存储的地址,进行存储更新。
    一般在存储更新之前,本发明的一个比较大的特点是通过云服务数据智能分割引擎12判断当前更新的数据(如表)需不需要进行分割,在云服务数据智能分割引擎12中预先存储分割的规则,比如,数据表的记录不能超过约定的N条,再比如,数据表的存储量不能超过某一范围等等,如果需要分割,对其进行分割,并将分割后的表信息存储至分布式云服务数据库关系管理单元14,云服务数据智能分割引擎12的分割规则可以通过访问云应用特征行为管理单元13来进行制定规则,这种分割更为规则,其不容易出错,能达到云平台的最佳状态。
  请参阅图2,其为云应用服务中心的一种原理结构示意图。云应用服务中心主要包括云应用服务21、DBRange数据交互模块22、集群节点间数据同步模块23、数据同步日志管理模块24。
      云应用服务21,提供面向云客户端服务使用能力,常见的云应用服务有:企业云邮局、IAAS云主机、企业云视频会议等。
      DBRange数据交互模块22,提供云应用集群节点与DBRange大规模数据库管理中心的通讯能力,将用户云应用服务的特征数据实时提交到DBRange分割引擎,同时接收DBRange中心的推送与其它云应用集群之间的数据同步命令或要求。
      集群节点间数据同步模块23,提供与其它云应用集群节点的数据同步和交互能力,实现云应用数据的快速分布式共享与使用。
      数据同步日志管理模块24,提供日志记录行为或命令记录。
一种基于云服务数据特征的大规模数据分割方法,包括以下步骤:
大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;
基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的数据表进行分割;
将一个大数据表分割存储在不同的小数据表中;
在记录数据分割关系表中记录云服务数据智能分割引擎进行的数据分割关系和变化情况。
本方法还包括:大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;云服务数据智能分割引擎通过对归总的特征设置不同的阀值集合,当数据表的数据满足所述阀值集合要求时判断其数据表出现性能瓶颈约束,以此来作为数据表分割依据。
本方法还包括:大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;接收云应用服务中心及时更新的数据信息,根据预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
并且,大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;如果数据表不满足进行分割的条件,则直接将所述数据存储至对应的数据表中。
应用例
流程说明:
1)    DBRange管理中心云服务数据智能分割引擎启动数据表分析;
2)    检查是否数据表超过设计定义的约束阀值,约束阀值定义包括但不限于数据表文件大小、数据记录的条数、用户量的大小、企业数量大小等,如果超过,继续进行处理,否则,完成这次分割处理;
3)    提取数据表存在的云应用和特征数据定义关系;
4)    按照特征数据约束和定义关系分割数据表,将原有的大数据表拆分为多个数据表,解决性能约束问题,同时记录数据表的分割索引关系;
完成这次数据表分割处理。

Claims (9)

1.一种基于云服务数据特征的大规模数据分割系统,其特征在于,包括:若干云客户端、若干云应用服务中心和至少一个大规模分布式数据库DBRange管理中心,
大规模分布式数据库DBRange管理中心进一步包括云服务数据智能分割引擎和分布式云服务数据库关系管理单元,
云服务数据智能分割引擎:接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的大数据表进行分割,将一个大数据表分割存储在不同的小数据表中;
分布式云服务数据库关系管理单元:连接云服务数据智能分割引擎,在记录数据分割关系表中记录云服务数据智能分割引擎进行的数据分割关系和变化情况;
云应用服务中心:与云客户端连接,用于给云客户端提供云服务,并且提供与所述大规模分布式数据库DBRange管理中心进行数据通讯,将用户云应用服务的特征数据提交到云服务数据智能分割引擎进行分割保存。
2.如权利要求1所述的基于云服务数据特征的大规模数据分割系统,其特征在于,大规模分布式数据库DBRange管理中心还包括:
云应用特征行为管理单元:以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理。
3.如权利要求2所述的基于云服务数据特征的大规模数据分割系统,其特征在于,云服务数据智能分割引擎进一步包括:
数据库:用于存储云应用服务中心对应各种数据表;
分割判断单元:用于连接云应用特征行为管理单元,用于对用于基于各种云应用服务的数据特征和用户数据特征分析,判断所述特征是否满足分割条件;
分割单元:用于对满足分割条件的大规模数据进行分割,将一个大数据表分割存储在不同的小数据表中。
4.如权利要求2所述的基于云服务数据特征的大规模数据分割系统,其特征在于,大规模分布式数据库DBRange管理中心还包括:
云应用业务管理单元:与云应用特征行为管理单元进行连接,根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;
实时数据处理单元:用于接收云应用服务中心及时更新的数据信息,根据云应用业务管理单元中预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
5.如权利要求1所述的基于云服务数据特征的大规模数据分割系统,其特征在于,云应用服务中心还进一步包括:
更新通讯单元:用于给云客户端提供云服务,并且提供与所述大规模分布式数据库DBRange管理中心进行数据通讯,将用户云应用服务的特征数据提交到云服务数据智能分割引擎进行分割保存;
数据交互单元:用于将更新数据信息发送至一个大规模分布式数据库DBRange管理中心,当接收到所述DBRange管理中心下发的相关联的云应用服务中心时,将更新数据的相关信息发送至对应的云应用服务中心,或者当接收到所述DBRange管理中心下发的更新数据的云应用服务中心时与该云应用服务中心建立数据交互获得当前更新的数据。
6.一种基于云服务数据特征的大规模数据分割方法,其特征在于,包括以下步骤:
大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;
基于各种云应用服务的数据特征和用户数据特征分析,将出现性能瓶颈约束的数据表进行分割;
将一个大数据表分割存储在不同的小数据表中;
在记录数据分割关系表中记录云服务数据智能分割引擎进行的数据分割关系和变化情况。
7.如权利要求6所述的基于云服务数据特征的大规模数据分割方法,其特征在于,还包括:
大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;
云服务数据智能分割引擎通过对归总的特征设置不同的阀值集合,当数据表的数据满足所述阀值集合要求时判断其数据表出现性能瓶颈约束,以此来作为数据表分割依据。
8.如权利要求6所述的基于云服务数据特征的大规模数据分割方法,其特征在于,还包括:
大规模分布式数据库DBRange管理中心以云应用服务中心为单元对本中心的云应用服务及数据的特征进行归总管理;
根据所述云应用特征行为管理单元中的特征信息,建立各个云应用服务中心之间的关联关系;
接收云应用服务中心及时更新的数据信息,根据预先存储的关联关系,找到相关联的其它云应用服务中心信息,并通知更新数据的云应用服务中心或相关联的云应用服务中心。
9.如权利要求6所述的基于云服务数据特征的大规模数据分割方法,其特征在于,还包括:
大规模分布式数据库DBRange管理中心中云服务数据智能分割引擎接收和处理云应用服务中心提交的各种云应用特征数据信息或数据信息,通过数据分割关系表找到对应的数据表;
如果数据表不满足进行分割的条件,则直接将所述数据存储至对应的数据表中。
CN201310315980.XA 2013-07-25 2013-07-25 基于云服务数据特征的大规模数据分割系统及分割方法 Expired - Fee Related CN103607418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310315980.XA CN103607418B (zh) 2013-07-25 2013-07-25 基于云服务数据特征的大规模数据分割系统及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310315980.XA CN103607418B (zh) 2013-07-25 2013-07-25 基于云服务数据特征的大规模数据分割系统及分割方法

Publications (2)

Publication Number Publication Date
CN103607418A true CN103607418A (zh) 2014-02-26
CN103607418B CN103607418B (zh) 2016-12-28

Family

ID=50125618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310315980.XA Expired - Fee Related CN103607418B (zh) 2013-07-25 2013-07-25 基于云服务数据特征的大规模数据分割系统及分割方法

Country Status (1)

Country Link
CN (1) CN103607418B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844564A (zh) * 2016-12-30 2017-06-13 郑州云海信息技术有限公司 一种网盘文件分表方法及装置
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法
CN107679197A (zh) * 2017-10-10 2018-02-09 郑州云海信息技术有限公司 一种文件截断的优化方法及装置
CN107748749A (zh) * 2017-08-18 2018-03-02 平安科技(深圳)有限公司 一种内存数据的更新方法、终端、设备以及可读存储介质
CN108200022A (zh) * 2017-12-22 2018-06-22 新华三云计算技术有限公司 一种云平台接入方法、装置及多云平台管理系统
CN108228750A (zh) * 2017-12-21 2018-06-29 浪潮软件股份有限公司 一种分布式数据库及其对数据进行管理的方法
CN111309528A (zh) * 2020-03-23 2020-06-19 重庆忽米网络科技有限公司 一种基于云计算及分布式存储的数据协同备份系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122938A (zh) * 2007-09-25 2008-02-13 北大方正集团有限公司 一种数据文件的安全处理方法及系统
CN101630282A (zh) * 2009-07-29 2010-01-20 国网电力科学研究院 一种基于Erasure编码和副本技术的数据备份方法
US20110258461A1 (en) * 2010-04-16 2011-10-20 Twinstrata, Inc System and method for resource sharing across multi-cloud arrays
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN102917044A (zh) * 2012-10-17 2013-02-06 广州杰赛科技股份有限公司 一种云管理平台和云平台间数据同步的方法
CN103095833A (zh) * 2013-01-15 2013-05-08 中国联合网络通信集团有限公司 云服务系统更新方法和装置
US20130124809A1 (en) * 2011-11-15 2013-05-16 International Business Machines Corporation Distributing data among data storage partitions based on a forecasted demand in a networked computing environment
CN103118135A (zh) * 2013-02-28 2013-05-22 中国地质大学(武汉) 云计算中用户数据隐私的保护方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122938A (zh) * 2007-09-25 2008-02-13 北大方正集团有限公司 一种数据文件的安全处理方法及系统
CN101630282A (zh) * 2009-07-29 2010-01-20 国网电力科学研究院 一种基于Erasure编码和副本技术的数据备份方法
US20110258461A1 (en) * 2010-04-16 2011-10-20 Twinstrata, Inc System and method for resource sharing across multi-cloud arrays
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
US20130124809A1 (en) * 2011-11-15 2013-05-16 International Business Machines Corporation Distributing data among data storage partitions based on a forecasted demand in a networked computing environment
CN102917044A (zh) * 2012-10-17 2013-02-06 广州杰赛科技股份有限公司 一种云管理平台和云平台间数据同步的方法
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN103095833A (zh) * 2013-01-15 2013-05-08 中国联合网络通信集团有限公司 云服务系统更新方法和装置
CN103118135A (zh) * 2013-02-28 2013-05-22 中国地质大学(武汉) 云计算中用户数据隐私的保护方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844564A (zh) * 2016-12-30 2017-06-13 郑州云海信息技术有限公司 一种网盘文件分表方法及装置
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法
CN107748749A (zh) * 2017-08-18 2018-03-02 平安科技(深圳)有限公司 一种内存数据的更新方法、终端、设备以及可读存储介质
CN107679197A (zh) * 2017-10-10 2018-02-09 郑州云海信息技术有限公司 一种文件截断的优化方法及装置
CN108228750A (zh) * 2017-12-21 2018-06-29 浪潮软件股份有限公司 一种分布式数据库及其对数据进行管理的方法
CN108200022A (zh) * 2017-12-22 2018-06-22 新华三云计算技术有限公司 一种云平台接入方法、装置及多云平台管理系统
CN108200022B (zh) * 2017-12-22 2020-03-17 新华三云计算技术有限公司 一种云平台接入方法、装置及多云平台管理系统
CN111309528A (zh) * 2020-03-23 2020-06-19 重庆忽米网络科技有限公司 一种基于云计算及分布式存储的数据协同备份系统及方法

Also Published As

Publication number Publication date
CN103607418B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN103533023A (zh) 基于云服务特征的云服务应用集群同步系统及同步方法
CN103607418A (zh) 基于云服务数据特征的大规模数据分割系统及分割方法
CN103457905B (zh) 数据同步方法、系统及设备
KR101634409B1 (ko) 데이터 센터들에 걸친 리소스 위치 확인 및 마이그레이션 기법
CN109947668B (zh) 存储数据的方法和装置
CN115344548B (zh) 预测存储服务
CN104092770A (zh) 基于云计算的企业内部通讯录管理方法和系统
US11226982B2 (en) Synchronization of offline instances
CN112839067B (zh) 一种数据同步方法及装置
CN109905286A (zh) 一种监控设备运行状态的方法和系统
CN112070861A (zh) 顾及地理特征的多用户实时同步协同地图编辑方法及系统
WO2023098374A1 (zh) 网络资源部署方法、装置、电子设备及存储介质
CN103685517A (zh) 一种基于业务类别特征的存储分级调度方法及系统
CN110727738A (zh) 基于数据分片的全局路由系统、电子设备及存储介质
CN111404932A (zh) 一种医疗机构系统接入智慧医疗云服务平台的方法
CN112801607A (zh) 一种管理服务平台及构建方法
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN107612984B (zh) 一种基于互联网的大数据平台
CN106888264B (zh) 一种数据交换方法和装置
CN116166191A (zh) 湖仓一体系统
CN111460038A (zh) 一种数据准实时同步方法及装置
CN110728603A (zh) 一种基于教育云平台的教育资源共享方法及系统
CN102325367A (zh) 为客户端应用进行数据分组同步的装置和方法
US10033737B2 (en) System and method for cross-cloud identity matching
CN111193661B (zh) 一种基于企业通信渠道融合系统的管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228

Termination date: 20210725

CF01 Termination of patent right due to non-payment of annual fee