CN104252457B - 一种用于对数据集合进行管理的方法与设备 - Google Patents

一种用于对数据集合进行管理的方法与设备 Download PDF

Info

Publication number
CN104252457B
CN104252457B CN201310256513.4A CN201310256513A CN104252457B CN 104252457 B CN104252457 B CN 104252457B CN 201310256513 A CN201310256513 A CN 201310256513A CN 104252457 B CN104252457 B CN 104252457B
Authority
CN
China
Prior art keywords
subset
storage device
data
information
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310256513.4A
Other languages
English (en)
Other versions
CN104252457A (zh
Inventor
刘泽胤
曾黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201310256513.4A priority Critical patent/CN104252457B/zh
Publication of CN104252457A publication Critical patent/CN104252457A/zh
Application granted granted Critical
Publication of CN104252457B publication Critical patent/CN104252457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明的目的是提供一种用于对数据集合进行管理的方法与设备。当满足对数据集合进行拆分处理的触发条件，管理设备根据数据子集所对应的子集标识信息，确定与数据子集相对应的优选存储装置；根据数据子集在当前存储装置中所对应的存储信息，并结合优选存储装置的相关信息，更新子集标识信息所对应的存储信息。与现有技术相比，本发明通过所述数据子集所对应的子集标识信息，结合优选存储装置的相关信息，对所述子集标识信息所对应的存储信息进行更新，从而实现了对目标数据子集进行部分的多级分库，解决了老用户数据原地膨胀的问题，保证了数据的均匀分布，并且使得数据分库简单易维护，实现了数据分库的可扩展性与负载均衡，拆分灵活，节约成本。

Description

一种用于对数据集合进行管理的方法与设备
技术领域
本发明涉及互联网技术领域，尤其涉及一种用于对数据集合进行管理的技术。
背景技术
为了应对用户数据库的持续快速增长，需要对原有的数据库进行分片，以获得更高的吞吐量，更好的性能和更大的存储容量。
目前对于数据库分库，主要采用的是分段取模的方法。例如，由于大部分情况下，用户ID(userid)为所有用户相关数据的外键，因此按照用户ID对数据库进行拆分，可以有效的避免跨库事务和跨库连表，使得同一个用户的数据散列在唯一的分片上。当以userid进行分段标准时，则当userid小于一个上限值M，按N取模，将userid散列到0，1，...，N-1共N个分库上；如果数据量继续膨胀，对于userid＞M的新用户，数据散列到新的N，N+1，...，2N-1共N个分库上。由于是取模计算，因此在每个分段内，数据近似是均匀的；并且老的N个库无需做数据迁移，散列算法也不变。公式表达如下：
然而当前的技术方案，对于来自新用户的压力，能够很好的分散到新库上，但是对于老用户数据的原地膨胀无法应对。小于极限值M的userid，数据的增长一直压在0到N-1这N台机器上，无法分散出去。
发明内容
本发明的目的是提供一种用于对数据集合进行管理的方法与设备。
根据本发明的一个方面，提供了一种用于对数据集合进行管理的方法，其中，该方法包括以下步骤：
a检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；
b当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；
c根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
根据本发明的另一方面，还提供了一种用于对数据集合进行管理的管理设备，其中，该设备包括：
检测装置，用于检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；
确定装置，用于当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；
更新装置，用于根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
与现有技术相比，本发明通过检测是否满足对包括存储于当前存储装置的一个或多个数据子集的数据集合进行拆分处理的触发条件，当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个存储有所述数据集合的备份的候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息；从而通过所述数据子集所对应的子集标识信息，结合所述优选存储装置的相关信息，对所述子集标识信息所对应的存储信息进行更新，实现了对目标数据子集进行部分的多级分库，解决了老用户数据原地膨胀的问题，保证了数据的均匀分布，并且使得数据分库简单易维护，实现了数据分库的可扩展性与负载均衡，拆分灵活，节约成本。
而且，本发明还可以根据所述子集标识信息，对所述优选存储装置中所述数据集合的备份执行相应的删除操作，以在所述优选存储装置中保留所述至少一个数据子集；从而实现先备份后删除，提高了所述数据分库的灵活性、避免了因数据迁移而停库可能带来的损失，节约扩容成本。
而且，本发明还可以通过确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置；进一步地，还可以根据预定规则，确定用于所述子集标识信息的N进制，并根据所述N进制，获取所述子集标识信息中满足所述N进制的分库参考信息；更进一步地，还可以根据所述N进制，以及所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息；从而根据所述子集标识信息中满足N进制的分库参考信息，存储路径清晰，保证了数据的均匀分布，并且使得数据分库简单易维护，实现了数据分库的可扩展性与负载均衡，拆分灵活，节约成本。
而且，本发明还可以根据所述分库参考信息，并结合所述至少一个数据子集的数据相关信息或结合所述候选存储装置的应用相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置；从而根据多种信息对所述数据子集进行优选存储装置的确定，实现了数据分库的负载均衡，拆分灵活，节约成本。
而且，本发明还可以获取关于目标数据子集的操作请求，根据与所述目标数据子集的子集标识信息相对应的存储信息，确定所述目标数据子集所对应的目标存储装置，对所述目标存储装置中的所述目标数据子集，执行与所述操作请求相对应的数据操作；从而对关于目标数据子集的操作请求与所述目标数据子集进行映射，路径简单，提高了查询速度，进而提高了数据处理效率，也实现了数据分库访问的负载均衡，节约成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个方面的一种用于对数据集合进行管理的管理设备示意图；
图2示出根据本发明一个优选实施例的一种用于对数据集合进行管理的管理设备示意图；
图3示出根据本发明另一个方面的一种用于对数据集合进行管理的方法流程图；
图4示出根据本发明一个优选实施例的一种用于对数据集合进行管理的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示出根据本发明一个方面的一种用于对数据集合进行管理的管理设备示意图；其中，所述管理设备包括检测装置11、确定装置12、更新装置13。具体地，检测装置11检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；确定装置12当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；更新装置13根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
在此，管理设备包括但不限于网络设备、用户设备、或网络设备与用户设备通过网络相集成所构成的设备。其中，所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述用户设备其包括但不限于任何一种可与用户通过键盘、遥控器、触摸板、或声控设备进行人机交互的电子产品，例如计算机、智能手机、PDA、游戏机、或IPTV等。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。本领域技术人员应能理解，其他的管理设备同样适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地或者按照设定的或实时调整的工作模式要求，进行触发条件的检测、优选存储装置的确定、子集标识信息所对应的存储信息的更新等，直至管理设备停止检测是否满足对数据集合进行拆分处理的触发条件。
检测装置11检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集。具体地，检测装置11通过定时检测或根据事件所对应的相应指令，检测是否满足对数据集合进行拆分处理的触发条件，若满足所述触发条件，则跳转至确定装置12，若不满足所述触发条件，则不对所述数据集合进行拆分处理。其中，所述触发条件包括但不限于基于预定的时间点或时间段进行拆分，如当所述数据集合运行超过一定时间阈值后，自动进行拆分，或者根据预定的时间点，如每月1日零点，对所述数据集合进行拆分；或者当所述数据集合的被访问值超过所述数据集合能够负载的被访问阈值时，则对所述数据集合进行拆分；或者当所述数据集合的存储容量到达所述数据集合能够负载的存储上限时，则对所述数据集合进行拆分。在此，所述数据子集包含子集标识信息，不同数据子集所占用的存储容量或被访问次数可能不同；如以用户ID为子集标识信息的用户数据信息，以订单号为子集标识信息的订单数据信息等。在此，所述存储装置包括但不限于存储数据库或存储数据表等。
确定装置12当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份。具体地，当所述检测装置11检测到满足对数据集合进行拆分处理的触发条件时，所述确定装置12获取所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，在此，所述子集标识信息包括但不限于各种用于标识所述子集和/或所述数据子集中的数据的标识信息，例如用户ID、订单编号等，所述子集标识信息在数据库中一般对应于外键；且所述子集标识信息可以采用各种进制(如二进制、三进制、十进制、N进制)或各种编码等。确定装置12根据所述子集标识信息，通过直接利用所述子集标识信息，或对所述子集标识信息进行进制转换或编码转换等方式，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，例如，所述子集标识信息为十进制表示的六位数字“XXXXXX”，所述确定装置12根据所述子集标识信息中的一位或多位，如倒数一位或正数两位，或所述六位数字中的任意两位(如第四位与第六位)，将具有相同位数的一个或多个数据子集中至少一个数据子集确定至同一个相对应的优选存储装置中。其中，所述候选存储装置中存储所述数据集合中的全部数据子集，是所述数据集合的备份。在此，所述候选存储装置包括但不限于所述数据子集的原存储装置，或者不同于原存储装置的其他候选存储装置，则所述优选存储装置包括但不限于所述数据子集的原存储装置，或者不同于原存储装置的其他候选存储装置；例如，若原存储装置为0库，需要将其拆分为2个库，即00库和01库，则可以将所述原存储装置作为00库，将不同于原存储装置的其他候选存储装置作为01库；或者将不同于原存储装置的其他两个候选存储装置分别作为新的00库和01库。
更新装置13根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。具体地，更新装置13根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，例如，根据所述优选存储装置的存储标识信息(如库号等)，若所述存储信息与所述库号相匹配，则认为所述数据子集应存储在所述优选存储装置中，反之则所述数据子集不应存储在所述优选存储装置中；从而对所述子集标识信息所对应的存储路径等存储信息进行更新。例如，当前存储装置为00库，所述优选存储装置为01库，由于所述当前存储装置与所述优选存储装置中都存储有所述数据集合的备份，因此，根据所述当前存储装置与所述优选存储装置的库号信息，即00与01，对所述当前存储装置与所述优选存储装置中的子集标识信息所对应的存储信息进行更新，即，若根据所述子集标识信息中的末尾两位数字确定其所对应的优选存储装置，则将所述子集标识信息中末尾两位数字为00的存储信息更新为当前存储装置；所述子集标识信息中末尾两位数字为01的存储信息更新为优选存储装置。
优选地，所述管理设备还包括删除装置(未示出)，其中，所述删除装置根据所述子集标识信息，对所述优选存储装置中所述数据集合的备份执行相应的删除操作，以在所述优选存储装置中保留所述至少一个数据子集。具体地，删除装置可以根据所述子集标识信息，结合所述优选装置的相关信息，若所述子集标识信息与所述优选存储装置不匹配或不对应，则将所述子集标识信息所对应的数据子集执行删除操作，从而对所述数据集合的备份中的一个或多个、与所述优选存储装置不匹配或不对应的数据子集分别执行所述删除操作，以在所述优选存储装置中保留所述至少一个数据子集；从而实现了先复制后删除，以提高所述数据分库的灵活性、避免了因数据迁移而停库可能带来的损失，节约扩容成本。
优选地，所述管理设备还包括获取装置(未示出)、目标确定装置(未示出)、执行装置(未示出)；其中，获取装置获取关于目标数据子集的操作请求；目标确定装置根据与所述目标数据子集的子集标识信息相对应的存储信息，确定所述目标数据子集所对应的目标存储装置；执行装置对所述目标存储装置中的所述目标数据子集，执行与所述操作请求相对应的数据操作。具体地，获取装置通过基于各种应用的接口，通过与目标数据子集所对应的应用直接交互，获取关于目标数据子集的操作请求；或者通过第三方应用，获取关于目标数据子集的操作请求；其中，所述操作请求包括但不限于查询、添加、修改等。目标确定装置通过获取所述目标数据子集的子集标识信息，基于预定的子集标识信息与所述存储信息的预定规则或预定算法，对所述子集标识信息通过计算或移位等方式，确定所述子集标识信息相对应的存储信息，从而确定所述目标数据子集所对应的目标存储装置。执行装置对所述目标存储装置中的所述目标数据子集，执行所述操作请求中所请求的如查询、添加、修改等数据操作。从而对关于目标数据子集的操作请求与所述目标数据子集进行映射，路径简单，提高了查询速度，进而提高了数据处理效率，也实现了数据分库访问的负载均衡，节约成本。
图2示出根据本发明一个优选实施例的一种用于对数据集合进行管理的管理设备示意图；其中，所述管理设备包括检测装置11’、确定装置12’、更新装置13’，所述确定装置12’包括参考确定单元121’和优选确定单元122’。具体地，检测装置11’检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；参考确定单元121’当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；优选确定单元122’根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置；更新装置13’根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。其中，所述检测装置11’、更新装置13’与图1所示对应装置相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。
上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地或者按照设定的或实时调整的工作模式要求，进行触发条件的检测、分库参考信息的确定、优选存储装置的确定、子集标识信息所对应的存储信息的更新等，直至管理设备停止检测是否满足对数据集合进行拆分处理的触发条件。
参考确定单元121’当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份。具体地，当满足所述触发条件时，参考确定单元121’基于预定的确定规则，通过对所述子集标识信息进行进制转换后，利用预定的规则，计算或提取所述子集标识信息中满足N进制的分库参考信息；或直接利用预定的规则，计算或提取所述子集标识信息中满足N进制的分库参考信息；其中，所述N对应于所述多个候选存储装置的数量，如有2个候选存储装置，则所述N进制则为二进制，如有3个候选存储装置，则所述N进制为三进制等等，其中，所述候选存储装置中存储所述数据集合中的全部数据子集，是所述数据集合的备份。在此，所述候选存储装置包括但不限于数据库，或者包含分表信息的数据库。所述分库参考信息包括但不限于分库号或分表号。例如：所述子集标识信息userid为十进制的数值85，所述多个候选存储装置的数量为2，则将所述十进制的子集标识信息转换为二进制的8位数字，即，01010101，在此预定将所述二进制子集标识信息的末尾三位(即101)作为分库后的分表号，将第四位与第五位(即10)作为分库后的分库号，则利用预定规则，根据公式1与公式2分别对所述十进制的子集标识信息进行计算，对公式1和公式2的结果取整后可分别得到所述分库号与分表号：
分库号＝(userid％(2(X+Y)))/(2X) (公式1)
分表号＝userid％(2X) (公式2)
在此，x表示分表号所占的位数，y表示分库号所占的位数。根据上例，则x＝3，y＝2。分库号为2(即为01)，分表号为5(即为101)。
或者，通过计算机指令对所述二进制数字进行移位操作，以获取相应的位数上所对应的数字，根据预定的规则，将其作为分库号和/或分表号。
优选确定单元122’根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，优选确定单元122’根据所述分库参考信息，如根据所述分库号或分表号，从所述多个候选存储装置中，确定与所述至少一个数据子集相对应的优选存储装置。在此，所述优选存储装置的相关信息，如所述优选存储装置的编号信息等。
优选地，所述参考确定单元121’包括进制确定单元(未示出)和参考获取单元(未示出)；其中，当满足所述触发条件，进制确定单元根据预定规则，确定用于所述子集标识信息的N进制，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；参考获取单元根据所述N进制，获取所述子集标识信息中满足所述N进制的分库参考信息。具体地，当满足所述触发条件，进制确定单元根据预定规则，如基于预定的所述多个候选存储装置的数目，确定用于所述子集标识信息的N进制，例如，所述候选存储装置的数目为10，则所述N＝10，用于所述子集标识信息的N进制为10进制；或者基于所述子集标识信息的多进制信息，例如所述子集标识信息为3进制，则确定所述N＝3，用于所述子集标识信息的N进制为3进制，并确定所述候选存储装置的数量为3。其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份。参考获取单元根据所述N进制，如通过进制转换等方式，对所述子集标识信息进行计算或提取，获取所述子集标识信息中满足所述N进制的分库参考信息。在此，所述获取方式与所述参考确定单元121’的确定方式相同或相似，故在此处不再赘述，并通过引用的方式包含于此。
更优选地，所述参考获取单元还可以根据所述N进制，以及所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。具体地，在此，所述N进制以及所述子集标识信息所基于的进制信息可能相同或不同，例如，所述子集标识信息的进制信息为10进制，而所述N进制根据所述预定的所述多个候选存储装置的数目确定，如N＝8，则所述参考获取单元将尾数包含0-7的子集标识信息分别对应至8个数据分库中，并将包含8，9的子集标识信息分别放到0，1库中等等。从而所述参考获取单元还可以根据所述N进制，以及结合所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。
优选地，所述优选确定单元122’还可以根据所述分库参考信息，并结合所述至少一个数据子集的数据相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，所述数据相关信息包括但不限于如访问用户的地域信息、访问时段、用户类别信息(如用户优先级类别)等中的一种或多种，根据所述分库参考信息，获取与所述分库参考信息相对应的一个或多个可选存储装置，再结合所述访问用户的地域信息、访问时段、用户类别信息(如用户优先级类别)等中的一种或多种，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置；或者先根据所述数据相关信息，从所述多个候选存储装置中选择一个或多个可选存储装置，再根据所述分库参考信息，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置。例如，根据用户访问时段的不同，为不同的用户数据子集确定不同的优选存储装置，以对进一步的分库策略做出参考；或者将具有不同的访问时段的用户数据子集的放入同一个优选存储装置，从而降低同一个时段内单个优选存储装置的访问压力等。
优选地，所述优选确定单元122’还可以根据所述分库参考信息，并结合所述候选存储装置的应用相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，其中，所述应用相关信息包括但不限于如该存储装置的当前访问需求、可用存储空间、机器负载(如包括cpu idle、load average等)、I/O流量等中的一种或多种，根据所述分库参考信息，获取与所述分库参考信息相对应的一个或多个可选存储装置，再结合所述访问用户的应用相关信息等，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置；或者先根据所述应用相关信息，从所述多个候选存储装置中选择一个或多个可选存储装置，再根据所述分库参考信息，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置。
图3示出根据本发明另一个方面的一种用于对数据集合进行管理的方法流程图。具体地，在步骤s1中，管理设备检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；在步骤s2中，管理设备当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；在步骤s3中，管理设备根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
上述各步骤之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各步骤分别实时地或者按照设定的或实时调整的工作模式要求，进行触发条件的检测、优选存储装置的确定、子集标识信息所对应的存储信息的更新等，直至管理设备停止检测是否满足对数据集合进行拆分处理的触发条件。
在步骤s1中，管理设备检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集。具体地，在步骤s1中，管理设备通过定时检测或根据事件所对应的相应指令，检测是否满足对数据集合进行拆分处理的触发条件，若满足所述触发条件，则跳转至步骤s2，若不满足所述触发条件，则不对所述数据集合进行拆分处理。其中，所述触发条件包括但不限于基于预定的时间点或时间段进行拆分，如当所述数据集合运行超过一定时间阈值后，自动进行拆分，或者根据预定的时间点，如每月1日零点，对所述数据集合进行拆分；或者当所述数据集合的被访问值超过所述数据集合能够负载的被访问阈值时，则对所述数据集合进行拆分；或者当所述数据集合的存储容量到达所述数据集合能够负载的存储上限时，则对所述数据集合进行拆分。在此，所述数据子集包含子集标识信息，不同数据子集所占用的存储容量或被访问次数可能不同；如以用户ID为子集标识信息的用户数据信息，以订单号为子集标识信息的订单数据信息等。在此，所述存储装置包括但不限于存储数据库或存储数据表等。
在步骤s2中，管理设备当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份。具体地，当所述步骤s1检测到满足对数据集合进行拆分处理的触发条件时，在步骤s2中，管理设备获取所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，在此，所述子集标识信息包括但不限于各种用于标识所述子集和/或所述数据子集中的数据的标识信息，例如用户ID、订单编号等，所述子集标识信息在数据库中一般对应于外键；且所述子集标识信息可以采用各种进制(如二进制、三进制、十进制、N进制)或各种编码等。在步骤s2中，管理设备根据所述子集标识信息，通过直接利用所述子集标识信息，或对所述子集标识信息进行进制转换或编码转换等方式，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，例如，所述子集标识信息为十进制表示的六位数字“XXXXXX”，在步骤s2中，管理设备根据所述子集标识信息中的一位或多位，如倒数一位或正数两位，或所述六位数字中的任意两位(如第四位与第六位)，将具有相同位数的一个或多个数据子集中至少一个数据子集确定至同一个相对应的优选存储装置中。其中，所述候选存储装置中存储所述数据集合中的全部数据子集，是所述数据集合的备份。在此，所述候选存储装置包括但不限于所述数据子集的原存储装置，或者不同于原存储装置的其他候选存储装置，则所述优选存储装置包括但不限于所述数据子集的原存储装置，或者不同于原存储装置的其他候选存储装置；例如，若原存储装置为0库，需要将其拆分为2个库，即00库和01库，则可以将所述原存储装置作为00库，将不同于原存储装置的其他候选存储装置作为01库；或者将不同于原存储装置的其他两个候选存储装置分别作为新的00库和01库。
在步骤s3中，管理设备根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。具体地，在步骤s3中，管理设备根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，例如，根据所述优选存储装置的存储标识信息(如库号等)，若所述存储信息与所述库号相匹配，则认为所述数据子集应存储在所述优选存储装置中，反之则所述数据子集不应存储在所述优选存储装置中；从而对所述子集标识信息所对应的存储路径等存储信息进行更新。例如，当前存储装置为00库，所述优选存储装置为01库，由于所述当前存储装置与所述优选存储装置中都存储有所述数据集合的备份，因此，根据所述当前存储装置与所述优选存储装置的库号信息，即00与01，对所述当前存储装置与所述优选存储装置中的子集标识信息所对应的存储信息进行更新，即，若根据所述子集标识信息中的末尾两位数字确定其所对应的优选存储装置，则将所述子集标识信息中末尾两位数字为00的存储信息更新为当前存储装置；所述子集标识信息中末尾两位数字为01的存储信息更新为优选存储装置。
优选地，所述方法还包括步骤s4(未示出)，其中，在步骤s4中，管理设备根据所述子集标识信息，对所述优选存储装置中所述数据集合的备份执行相应的删除操作，以在所述优选存储装置中保留所述至少一个数据子集。具体地，在步骤s4中，管理设备可以根据所述子集标识信息，结合所述优选装置的相关信息，若所述子集标识信息与所述优选存储装置不匹配或不对应，则将所述子集标识信息所对应的数据子集执行删除操作，从而对所述数据集合的备份中的一个或多个、与所述优选存储装置不匹配或不对应的数据子集分别执行所述删除操作，以在所述优选存储装置中保留所述至少一个数据子集；从而实现了先复制后删除，以提高所述数据分库的灵活性、避免了因数据迁移而停库可能带来的损失，节约扩容成本。
优选地，所述管理设备还包括步骤s5(未示出)、步骤s6(未示出)、步骤s7(未示出)；其中，在步骤s5中，管理设备获取关于目标数据子集的操作请求；在步骤s6中，管理设备根据与所述目标数据子集的子集标识信息相对应的存储信息，确定所述目标数据子集所对应的目标存储装置；在步骤s7中，管理设备对所述目标存储装置中的所述目标数据子集，执行与所述操作请求相对应的数据操作。具体地，在步骤s5中，管理设备通过基于各种应用的接口，通过与目标数据子集所对应的应用直接交互，获取关于目标数据子集的操作请求；或者通过第三方应用，获取关于目标数据子集的操作请求；其中，所述操作请求包括但不限于查询、添加、修改等。在步骤s6中，管理设备通过获取所述目标数据子集的子集标识信息，基于预定的子集标识信息与所述存储信息的预定规则或预定算法，对所述子集标识信息通过计算或移位等方式，确定所述子集标识信息相对应的存储信息，从而确定所述目标数据子集所对应的目标存储装置。在步骤s7中，管理设备对所述s6中的所述目标数据子集，执行所述操作请求中所请求的如查询、添加、修改等数据操作。从而对关于目标数据子集的操作请求与所述目标数据子集进行映射，路径简单，提高了查询速度，进而提高了数据处理效率，也实现了数据分库访问的负载均衡，节约成本。
图4示出根据本发明一个优选实施例的一种用于对数据集合进行管理的方法流程图。具体地，在步骤s1’中，管理设备检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；在步骤s21’中，管理设备当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；在步骤s22’中，管理设备根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置；在步骤s3’中，管理设备根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。其中，所述步骤s1’、步骤s3’与图3所示对应步骤相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。
上述各步骤之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各步骤分别实时地或者按照设定的或实时调整的工作模式要求，进行触发条件的检测、分库参考信息的确定、优选存储装置的确定、子集标识信息所对应的存储信息的更新等，直至管理设备停止检测是否满足对数据集合进行拆分处理的触发条件。
在步骤s21’中，管理设备当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份。具体地，当满足所述触发条件时，在步骤s21’中，管理设备基于预定的确定规则，通过对所述子集标识信息进行进制转换后，利用预定的规则，计算或提取所述子集标识信息中满足N进制的分库参考信息；或直接利用预定的规则，计算或提取所述子集标识信息中满足N进制的分库参考信息；其中，所述N对应于所述多个候选存储装置的数量，如有2个候选存储装置，则所述N进制则为二进制，如有3个候选存储装置，则所述N进制为三进制等等，其中，所述候选存储装置中存储所述数据集合中的全部数据子集，是所述数据集合的备份。在此，所述候选存储装置包括但不限于数据库，或者包含分表信息的数据库。所述分库参考信息包括但不限于分库号或分表号。例如：所述子集标识信息userid为十进制的数值85，所述多个候选存储装置的数量为2，则将所述十进制的子集标识信息转换为二进制的8位数字，即，01010101，在此预定将所述二进制子集标识信息的末尾三位(即101)作为分库后的分表号，将第四位与第五位(即10)作为分库后的分库号，则利用预定规则，根据公式3与公式4分别对所述十进制的子集标识信息进行计算，对公式3和公式4的结果取整后可分别得到所述分库号与分表号：
分库号＝(userid％(2(X+Y)))/(2X) (公式3)
分表号＝userid％(2X) (公式4)
在此，x表示分表号所占的位数，y表示分库号所占的位数。根据上例，则x＝3，y＝2。分库号为2(即为01)，分表号为5(即为101)。
或者，通过计算机指令对所述二进制数字进行移位操作，以获取相应的位数上所对应的数字，根据预定的规则，将其作为分库号和/或分表号。
在步骤s22’中，管理设备根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，在步骤s22’中，管理设备根据所述分库参考信息，如根据所述分库号或分表号，从所述多个候选存储装置中，确定与所述至少一个数据子集相对应的优选存储装置。在此，所述优选存储装置的相关信息，如所述优选存储装置的编号信息等。
优选地，步骤s21’包括s211’(未示出)和s212’(未示出)；其中，当满足所述触发条件，在步骤s211’中，管理设备根据预定规则，确定用于所述子集标识信息的N进制，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；在步骤s212’中，管理设备根据所述N进制，获取所述子集标识信息中满足所述N进制的分库参考信息。具体地，当满足所述触发条件，在步骤s211’中，管理设备根据预定规则，如基于预定的所述多个候选存储装置的数目，确定用于所述子集标识信息的N进制，例如，所述候选存储装置的数目为10，则所述N＝10，用于所述子集标识信息的N进制为10进制；或者基于所述子集标识信息的多进制信息，例如所述子集标识信息为3进制，则确定所述N＝3，用于所述子集标识信息的N进制为3进制，并确定所述候选存储装置的数量为3。其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份。在步骤s212’中，管理设备根据所述N进制，如通过进制转换等方式，对所述子集标识信息进行计算或提取，获取所述子集标识信息中满足所述N进制的分库参考信息。在此，所述获取方式与所述步骤s21’的确定方式相同或相似，故在此处不再赘述，并通过引用的方式包含于此。
更优选地，在步骤s212’中，管理设备还可以根据所述N进制，以及所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。具体地，在此，所述N进制以及所述子集标识信息所基于的进制信息可能相同或不同，例如，所述子集标识信息的进制信息为10进制，而所述N进制根据所述预定的所述多个候选存储装置的数目确定，如N＝8，则在步骤s212’中，管理设备将尾数包含0-7的子集标识信息分别对应至8个数据分库中，并将包含8，9的子集标识信息分别放到0，1库中等等。从而在步骤s212’中，管理设备还可以根据所述N进制，以及结合所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。
优选地，在步骤s22’中，管理设备还可以根据所述分库参考信息，并结合所述至少一个数据子集的数据相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，所述数据相关信息包括但不限于如访问用户的地域信息、访问时段、用户类别信息(如用户优先级类别)等中的一种或多种，根据所述分库参考信息，获取与所述分库参考信息相对应的一个或多个可选存储装置，再结合所述访问用户的地域信息、访问时段、用户类别信息(如用户优先级类别)等中的一种或多种，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置；或者先根据所述数据相关信息，从所述多个候选存储装置中选择一个或多个可选存储装置，再根据所述分库参考信息，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置。例如，根据用户访问时段的不同，为不同的用户数据子集确定不同的优选存储装置，以对进一步的分库策略做出参考；或者将具有不同的访问时段的用户数据子集的放入同一个优选存储装置，从而降低同一个时段内单个优选存储装置的访问压力等。
优选地，在步骤s22’中，管理设备还可以根据所述分库参考信息，并结合所述候选存储装置的应用相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。具体地，其中，所述应用相关信息包括但不限于如该存储装置的当前访问需求、可用存储空间、机器负载(如包括cpu idle、load average等)、I/O流量等中的一种或多种，根据所述分库参考信息，获取与所述分库参考信息相对应的一个或多个可选存储装置，再结合所述访问用户的应用相关信息等，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置；或者先根据所述应用相关信息，从所述多个候选存储装置中选择一个或多个可选存储装置，再根据所述分库参考信息，从所述可选存储装置中，确定与所述数据子集相对应的优选存储装置。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (16)

1.一种用于对数据集合进行管理的方法，其中，该方法包括以下步骤：
a检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；
b当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；
c根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
2.根据权利要求1所述的方法，其中，该方法还包括：
-根据所述子集标识信息，对所述优选存储装置中所述数据集合的备份执行相应的删除操作，以在所述优选存储装置中保留所述至少一个数据子集。
3.根据权利要求1所述的方法，其中，所述步骤b包括：
b1当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；
b2根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
4.根据权利要求3所述的方法，其中，所述步骤b1包括：
-当满足所述触发条件，根据预定规则，确定用于所述子集标识信息的N进制，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；
b11根据所述N进制，获取所述子集标识信息中满足所述N进制的分库参考信息；
其中，所述预定规则包括以下至少任一项：
-基于预定的所述多个候选存储装置的数目；
-基于所述子集标识信息的多进制信息。
5.根据权利要求4所述的方法，其中，所述步骤b11包括：
-根据所述N进制，以及所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。
6.根据权利要求3至5中任一项所述的方法，其中，所述步骤b2包括：
-根据所述分库参考信息，并结合所述至少一个数据子集的数据相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
7.根据权利要求3至5中任一项所述的方法，其中，所述步骤b2包括：
-根据所述分库参考信息，并结合所述候选存储装置的应用相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
8.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：
-获取关于目标数据子集的操作请求；
-根据与所述目标数据子集的子集标识信息相对应的存储信息，确定所述目标数据子集所对应的目标存储装置；
-对所述目标存储装置中的所述目标数据子集，执行与所述操作请求相对应的数据操作。
9.一种用于对数据集合进行管理的管理设备，其中，该设备包括：
检测装置，用于检测是否满足对数据集合进行拆分处理的触发条件，其中，所述数据集合包括存储于当前存储装置的一个或多个数据子集；
确定装置，用于当满足所述触发条件，根据所述一个或多个数据子集中至少一个数据子集所对应的子集标识信息，从多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置，其中，所述候选存储装置存储有所述数据集合的备份；
更新装置，用于根据所述至少一个数据子集在所述当前存储装置中所对应的存储信息，并结合所述优选存储装置的相关信息，更新所述子集标识信息所对应的存储信息。
10.根据权利要求9所述的管理设备，其中，该设备还包括：
删除装置，用于根据所述子集标识信息，对所述优选存储装置中所述数据集合的备份执行相应的删除操作，以在所述优选存储装置中保留所述至少一个数据子集。
11.根据权利要求9所述的管理设备，其中，所述确定装置包括：
参考确定单元，用于当满足所述触发条件，确定所述子集标识信息中满足N进制的分库参考信息，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；
优选确定单元，用于根据所述分库参考信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
12.根据权利要求11所述的管理设备，其中，所述参考确定单元包括：
进制确定单元，用于当满足所述触发条件，根据预定规则，确定用于所述子集标识信息的N进制，其中，所述N对应于所述多个候选存储装置的数量，所述候选存储装置存储有所述数据集合的备份；
参考获取单元，用于根据所述N进制，获取所述子集标识信息中满足所述N进制的分库参考信息；
其中，所述预定规则包括以下至少任一项：
-基于预定的所述多个候选存储装置的数目；
-基于所述子集标识信息的多进制信息。
13.根据权利要求12所述的管理设备，其中，所述参考获取单元用于：
-根据所述N进制，以及所述子集标识信息所基于的进制信息，确定所述子集标识信息中满足所述N进制的分库参考信息。
14.根据权利要求11至13中任一项所述的管理设备，其中，所述优选确定单元用于：
-根据所述分库参考信息，并结合所述至少一个数据子集的数据相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
15.根据权利要求11至13中任一项所述的管理设备，其中，所述优选确定单元，用于：
-根据所述分库参考信息，并结合所述候选存储装置的应用相关信息，从所述多个候选存储装置中确定与所述至少一个数据子集相对应的优选存储装置。
16.根据权利要求9至13中任一项所述的管理设备，其中，该设备还包括：
获取装置，用于获取关于目标数据子集的操作请求；
目标确定装置，用于根据与所述目标数据子集的子集标识信息相对应的存储信息，确定所述目标数据子集所对应的目标存储装置；
执行装置，用于对所述目标存储装置中的所述目标数据子集，执行与所述操作请求相对应的数据操作。
CN201310256513.4A 2013-06-25 2013-06-25 一种用于对数据集合进行管理的方法与设备 Active CN104252457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310256513.4A CN104252457B (zh) 2013-06-25 2013-06-25 一种用于对数据集合进行管理的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310256513.4A CN104252457B (zh) 2013-06-25 2013-06-25 一种用于对数据集合进行管理的方法与设备

Publications (2)

Publication Number Publication Date
CN104252457A CN104252457A (zh) 2014-12-31
CN104252457B true CN104252457B (zh) 2018-11-23

Family

ID=52187365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310256513.4A Active CN104252457B (zh) 2013-06-25 2013-06-25 一种用于对数据集合进行管理的方法与设备

Country Status (1)

Country Link
CN (1) CN104252457B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952085B (zh) * 2016-01-06 2021-06-25 创新先进技术有限公司 一种数据存储与业务处理的方法及装置
CN107346307B (zh) * 2016-05-04 2021-02-26 北京京东尚科信息技术有限公司 分布式缓存系统及方法
CN107291909B (zh) * 2017-06-26 2020-08-18 上海摩软通讯技术有限公司 数据处理方法及系统
CN110019125B (zh) * 2017-11-27 2021-12-14 北京京东尚科信息技术有限公司 数据库管理的方法和装置
CN108875003A (zh) * 2018-06-14 2018-11-23 广州谱道网络科技有限公司 一种数据定位方法及装置
CN109240848A (zh) * 2018-07-27 2019-01-18 阿里巴巴集团控股有限公司 一种数据对象标识生成方法及装置
CN116091175B (zh) * 2023-04-10 2023-08-22 南京航空航天大学 一种基于大数据的交易信息数据管理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262626A (zh) * 2010-05-24 2011-11-30 阿里巴巴集团控股有限公司 一种数据库存储数据的方法及装置
CN102902676A (zh) * 2011-07-26 2013-01-30 阿里巴巴集团控股有限公司 一种消息的处理方法和设备
CN102968498A (zh) * 2012-12-05 2013-03-13 华为技术有限公司 数据处理方法及装置
CN103020264A (zh) * 2012-12-25 2013-04-03 远光软件股份有限公司 多子集实体数据的存储显示方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153677A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for managing index information of high-dimensional data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262626A (zh) * 2010-05-24 2011-11-30 阿里巴巴集团控股有限公司 一种数据库存储数据的方法及装置
CN102902676A (zh) * 2011-07-26 2013-01-30 阿里巴巴集团控股有限公司 一种消息的处理方法和设备
CN102968498A (zh) * 2012-12-05 2013-03-13 华为技术有限公司 数据处理方法及装置
CN103020264A (zh) * 2012-12-25 2013-04-03 远光软件股份有限公司 多子集实体数据的存储显示方法及装置

Also Published As

Publication number Publication date
CN104252457A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
CN104252457B (zh) 一种用于对数据集合进行管理的方法与设备
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
US9317519B2 (en) Storage system for eliminating duplicated data
CN102968498B (zh) 数据处理方法及装置
CN105630955B (zh) 一种高效动态的数据集合成员管理方法
CN106776967B (zh) 基于时序聚合算法的海量小文件实时存储方法及装置
US20190121902A1 (en) Database Sharding
CN110309336A (zh) 图像检索方法、装置、系统、服务器以及存储介质
CN105683928B (zh) 用于数据高速缓存策略的方法、服务器和存储器设备
JP6402647B2 (ja) データ配置プログラム、データ配置装置およびデータ配置方法
Azari et al. A data replication algorithm for groups of files in data grids
CN111949681A (zh) 数据的聚合处理装置、方法和存储介质
JP6394231B2 (ja) データ配置制御プログラム、データ配置制御装置およびデータ配置制御方法
US11068484B2 (en) Accelerating queries with complex conditions using zone map enhancements
CN114253458A (zh) 内存缺页异常的处理方法、装置、设备及存储介质
JP4440246B2 (ja) 空間インデックス方法
US10067678B1 (en) Probabilistic eviction of partial aggregation results from constrained results storage
CN113297226B (zh) 数据存储方法、数据读取方法、装置、电子设备及介质
CN107294855B (zh) 一种高性能计算网络下的tcp查找优化方法
CN115729687A (zh) 任务调度方法、装置、计算机设备、存储介质
CN105354310B (zh) 基于MapReduce的地图瓦片存储布局优化方法
CN102968467A (zh) 一种多层Bloom Filter的优化方法及查询方法
CN115793994B (zh) 分布式环境下本地缓存的分组数据处理方法和装置
CN103810209B (zh) 一种保存数据的方法及系统
Yang et al. Finding Potential Objects in Uncertain Dataset by Using Competition Power

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant