CN106775470A - 一种数据存储的方法及系统 - Google Patents

一种数据存储的方法及系统 Download PDF

Info

Publication number
CN106775470A
CN106775470A CN201611119917.9A CN201611119917A CN106775470A CN 106775470 A CN106775470 A CN 106775470A CN 201611119917 A CN201611119917 A CN 201611119917A CN 106775470 A CN106775470 A CN 106775470A
Authority
CN
China
Prior art keywords
data
dispatch service
service unit
keyword
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611119917.9A
Other languages
English (en)
Other versions
CN106775470B (zh
Inventor
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Cultural Tourism Development Co ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201611119917.9A priority Critical patent/CN106775470B/zh
Publication of CN106775470A publication Critical patent/CN106775470A/zh
Application granted granted Critical
Publication of CN106775470B publication Critical patent/CN106775470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了一种数据存储方法，包括：应用层将需要存储的数据发送给调度服务集群中的调度服务单元，该数据中包含一关键字；调度服务单元接收该数据并提取关键字；调度服务单元基于关键字，从存储介质中的n个数据库中确定第一数据库，存储介质分为n个分片区间，每个分片区间对应有一数据域库；调度服务单元基于关键字，从第一数据库中的多个数据表中确定第一数据表；调度服务单元将该数据存储在第一数据表中。本发明实现了在对存储介质进行扩容时，无需进行数据迁移，从而降低了人工成本，消除了数据迁移过程中丢失数据的风险的技术效果。同时，本发明还公开了一种数据存储系统。

Description

一种数据存储的方法及系统
技术领域
本发明涉及物联网技术领域，尤其涉及一种数据存储的方法及系统。
背景技术
在现如今互联网时代，各类App(Application，应用)蓬勃发展，这些App一般都有自己的服务器，用于维护用户数据。随着用户量的增长，用户数据也不断增长，当服务器的存储介质容量、读写响应速度遇到瓶颈时，就需要对服务器的存储空间进行扩容。
在现有技术中，在进行扩容时，难以避免迁移旧数据，数据迁移通常会在低峰期短时间内停止服务，更坏的情况是数据丢失，如此，耗费人力，且需要承担数据丢失的风险。
发明内容
本发明实施例通过提供一种数据存储的方法及系统，解决了现有技术中的数据存储方法，在对存储介质进行扩容时，需要进行数据迁移的技术问题。
一方面，本发明通过本发明的一实施例提供如下技术方案：
一种数据存储方法，包括：
应用层将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；
所述调度服务单元接收所述数据，并从所述数据中提取所述关键字；
所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；
所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；
所述调度服务单元将所述数据存储在所述第一数据表中。
优选地，在所述应用层将需要存储的数据发送给调度服务集群中的调度服务单元之前，还包括：
所述应用层基于一致性哈希算法在所述调度服务集群中选出所述调度服务单元。
优选地，所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，包括：
所述调度服务单元确定所述关键字所属的分片区间；
所述调度服务单元将所述n个数据库中的与所述分片区间对应的数据库确定为所述第一数据库。
优选地，所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表，包括：
所述调度服务单元对所述关键字进行一致性哈希运算，得到哈希值；
所述调度服务单元基于所述哈希值按照一致性哈希的落点规则，从所述多个数据表中确定所述第一数据表，所述多个数据表组成一致性哈希闭环。
优选地，所述数据存储的方法，还包括：
所述调度服务单元判断所述关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值；
若小于，所述调度服务单元则输出用于表示需要对所述存储介质进行扩容的信息。
另一方面，本发明通过本发明的一实施例，提供如下技术方案：
一种数据存储系统，包括：
应用层，用于：将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；
所述调度服务集群，包含多个调度服务单元；其中，所述多个调度服务单元中的所述调度服务单元，用于：接收所述数据，并从所述数据中提取所述关键字；基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；将所述数据存储在所述第一数据表中。
优选地，所述应用层，还用于：
在所述将需要存储的数据发送给调度服务集群中的调度服务单元之前，基于一致性哈希算法在所述调度服务集群中选出所述调度服务单元。
优选地，所述调度服务单元，具体用于：
确定所述关键字所属的分片区间；将所述n个数据库中的与所述分片区间对应的数据库确定为所述第一数据库。
优选地，所述调度服务单元，具体用于：
对所述关键字进行一致性哈希运算，得到哈希值；基于所述哈希值按照一致性哈希的落点规则，从所述多个数据表中确定所述第一数据表，所述多个数据表组成一致性哈希闭环。
优选地，所述调度服务单元，还用于：
判断所述关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值；若小于，则输出用于表示需要对所述存储介质进行扩容的信息。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本发明实施例中，公开了一种数据存储方法，包括：应用层将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；所述调度服务单元接收所述数据，并从所述数据中提取所述关键字；所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；所述调度服务单元将所述数据存储在所述第一数据表中。由于基于区间给存储介质分片，可以在已有的资源下存储数据量在预估范围内的数据，当需要扩容时，只需要新增逻辑区间和物理存储介质即可，无需进行数据迁移。所以，本发明解决了现有技术中的数据存储方法，在对存储介质进行扩容时，需要进行数据迁移的技术问题。实现了在对存储介质进行扩容时，无需进行数据迁移，从而降低了人工成本，消除了数据迁移过程中丢失数据的风险的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一种数据存储的方法的流程图；
图2为本发明实施例中的一种数据存储的系统的架构图。
具体实施方式
本发明实施例通过提供一种数据存储的方法及系统，解决了现有技术中的数据存储方法，在对存储介质进行扩容时，需要进行数据迁移的技术问题。
本发明实施例的技术方案为解决上述技术问题，总体思路如下：
一种数据存储方法，包括：应用层将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；所述调度服务单元接收所述数据，并从所述数据中提取所述关键字；所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；所述调度服务单元将所述数据存储在所述第一数据表中。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
本实施例提供了一种数据存储方法，应用于数据存储系统中，该数据存储系统可以安装在某一款App对应的服务器内。如图2所示，该数据存储系统包括：应用层(Application)和调度服务集群(SchedulingServer Cluster)，该调度服务集群包含多个调度服务单元(SchedulingServer)，例如，1号调度服务单元、2号调度服务单元、3号调度服务单元、……、Sn号调度服务单元。
如图1所示，所述数据存储方法，包括：
步骤S101：应用层将需要存储的数据发送给调度服务集群中的调度服务单元，该数据中至少包含一关键字。
在具体实施过程中，应用层需要从调度服务集群中的多个调度服务单元(例如：1号调度服务单元、2号调度服务单元、3号调度服务单元、……、Sn号调度服务单元)中随机选出一个调度服务单元。具体来讲，可以基于一致性哈希算法在调度服务集群中选出一个调度服务单元，从而保证了调度服务集群的负载均衡。
举例来讲，可以对调度服务集群中的每个调度服务单元1到Sn依次进行编号，再利用如下算法确定第一服务调度服务单元的编号：
SchedulingServer_index＝BKDR_hash(Rx)％Sn；
其中，SchedulingServer_index即为第一服务调度服务单元的编号，该值在[0,Sn)区间内；
Rx为随机数，由Random()函数得出；
Sn为调度服务集群中的调度服务单元的总数量，即对每个调度服务单元从1到Sn依次进行编号；
在具体实施过程中，在需要存储的数据(简写：Data)中包含一全局唯一的64位关键字(简写：Key)和其他需要存储的信息，该Key可以为不同用户的ID。
步骤S102：调度服务单元接收该数据，并从该数据中提取关键字。
步骤S103：调度服务单元基于关键字，从存储介质中的n个数据库中确定第一数据库，n为大于等于2的整数。
作为一种可选的实施例，步骤S103，包括：调度服务单元确定关键字所属的分片区间；调度服务单元将n个数据库中的与分片区间对应的数据库确定为第一数据库。
在具体实施过程中，第一数据库即为需要存储数据的所应该落地的数据库，该数据库包括但不限于MySQL数据库。
举例来讲，在存储介质上供划分有n个MySQL，分别为MySQL 1、MySQL 2、MySQL 3、MySQL 4、……、MySQL n。
举例来讲，调度服务单元根据Data中的Key值，确定该条Data所应该落地MySQL。例如，如果Key属于[0,100000000]区间段，则Data落在MySQL 1上；如果Key属于[100000001,200000000]区间段，则Data落在MySQL 2上；如果Key属于[200000001,300000000]区间段，则Data落在MySQL 3上；以此类推。
步骤S104：调度服务单元基于关键字，从第一数据库中的多个数据表中确定第一数据表。
作为一种可选的实施例，步骤S104，包括：调度服务单元对关键字进行一致性哈希运算，得到哈希值；调度服务单元基于哈希值按照一致性哈希的落点规则，从多个数据表中确定第一数据表，所述多个数据表组成一致性哈希闭环，从而保证了存储介质的高可用性。
在具体实施过程中，第一数据表即为需要存数的数据所要落地的数据表。
举例来讲，每一个MySQL中有n个table(数据表)，分别为table 1～table n，这有n个table组成一个一致性hash闭环。对Data的Key进行BKDR hash得到哈希值Hk，基于该哈希值Hk按照一致性hash的落点规则即可知道Data应该存储到的table(即：第一数据表)。
步骤S105：调度服务单元将该数据存储在第一数据表中。
作为一种可选的实施例，所述数据存储的方法，还包括：
调度服务单元判断关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值，若小于，则输出用于表示需要对所述存储介质进行扩容的信息，从而提示需要进行扩容。
在具体实施过程中，当需要扩容时，只需要新增逻辑区间和物理存储介质即可。无需进行数据迁移。降低了人工成本，无需承担数据迁移过程中丢失数据的风险。
举例来讲，当Data的Key接近最大区间([n*100000000+1,(n+1)*100000000])的上限时，就需要进行扩容。此时只需要新增一个MySQL n+1即可。Data的Key在[(n+1)*100000000+1,(n+2)*100000000]分片区间的数据就落地在MySQL n+1，按照步骤S105中的方法即可确定Data所要落地的table。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种数据存储方法，包括：应用层将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；所述调度服务单元接收所述数据，并从所述数据中提取所述关键字；所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；所述调度服务单元将所述数据存储在所述第一数据表中。由于基于区间给存储介质分片，可以在已有的资源下存储数据量在预估范围内的数据，当需要扩容时，只需要新增逻辑区间和物理存储介质即可，无需进行数据迁移。所以，本发明解决了现有技术中的数据存储方法，在对存储介质进行扩容时，需要进行数据迁移的技术问题。实现了在对存储介质进行扩容，无需进行数据迁移，从而降低了人工成本，消除了数据迁移过程中丢失数据的风险的技术效果。
实施例二
基于同一发明构思，如图2所示，本实施例提供了一种数据存储系统，包括：
应用层，用于将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；
调度服务集群，包含多个调度服务单元；
其中，该调度服务单元，用于接收所述数据，并从所述数据中提取所述关键字；基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；将所述数据存储在所述第一数据表中。
作为一种可选的实施例，应用层还用于：
在所述将需要存储的数据发送给调度服务集群中的调度服务单元之前，基于一致性哈希算法在所述调度服务集群中选出所述调度服务单元。
作为一种可选的实施例，调度服务单元，具体用于：
确定所述关键字所属的分片区间；将所述n个数据库中的与所述分片区间对应的数据库确定为所述第一数据库。
作为一种可选的实施例，调度服务单元，具体用于：
对所述关键字进行一致性哈希运算，得到哈希值；基于所述哈希值按照一致性哈希的落点规则，从所述多个数据表中确定所述第一数据表，所述多个数据表组成一致性哈希闭环。
作为一种可选的实施例，调度服务单元，还用于：
判断所述关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值；若小于，则输出用于表示需要对所述存储介质进行扩容的信息。
由于本实施例所介绍的数据存储系统为实施本发明实施例中数据存储方法所采用的系统，故而基于本发明实施例中所介绍的数据存储方法，本领域所属技术人员能够了解本实施例的数据存储系统的具体实施方式以及其各种变化形式，所以在此对于该数据存储系统如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中数据存储方法所采用的数据存储系统，都属于本发明所欲保护的范围。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种数据存储系统，包括：应用层，用于：将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；所述调度服务单元，用于：接收所述数据，并从所述数据中提取所述关键字；基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；将所述数据存储在所述第一数据表中。由于基于区间给存储介质分片，可以在已有的资源下存储数据量在预估范围内的数据，当需要扩容时，只需要新增逻辑区间和物理存储介质即可，无需进行数据迁移。所以，本发明解决了现有技术中的数据存储方法，在对存储介质进行扩容时，需要进行数据迁移的技术问题。实现了在对存储介质进行扩容，无需进行数据迁移，从而降低了人工成本，消除了数据迁移过程中丢失数据的风险的技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
应用层将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；
所述调度服务单元接收所述数据，并从所述数据中提取所述关键字；
所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；
所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；
所述调度服务单元将所述数据存储在所述第一数据表中。
2.如权利要求1所述的数据存储方法，其特征在于，在所述应用层将需要存储的数据发送给调度服务集群中的调度服务单元之前，还包括：
所述应用层基于一致性哈希算法在所述调度服务集群中选出所述调度服务单元。
3.如权利要求1所述的数据存储方法，其特征在于，所述调度服务单元基于所述关键字，从存储介质中的n个数据库中确定第一数据库，包括：
所述调度服务单元确定所述关键字所属的分片区间；
所述调度服务单元将所述n个数据库中的与所述分片区间对应的数据库确定为所述第一数据库。
4.如权利要求1所述的数据存储方法，其特征在于，所述调度服务单元基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表，包括：
所述调度服务单元对所述关键字进行一致性哈希运算，得到哈希值；
所述调度服务单元基于所述哈希值按照一致性哈希的落点规则，从所述多个数据表中确定所述第一数据表，所述多个数据表组成一致性哈希闭环。
5.如权利要求1～4任一所述的数据存储方法，其特征在于，所述数据存储的方法，还包括：
所述调度服务单元判断所述关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值；
若小于，所述调度服务单元则输出用于表示需要对所述存储介质进行扩容的信息。
6.一种数据存储系统，其特征在于，包括：
应用层，用于：将需要存储的数据发送给调度服务集群中的调度服务单元，所述数据中至少包含一关键字；
所述调度服务集群，包含多个调度服务单元；其中，所述多个调度服务单元中的所述调度服务单元，用于：接收所述数据，并从所述数据中提取所述关键字；基于所述关键字，从存储介质中的n个数据库中确定第一数据库，其中，所述存储介质分为n个分片区间，每个分片区间对应有一数据域库，n为大于等于2的整数；基于所述关键字，从所述第一数据库中的多个数据表中确定第一数据表；将所述数据存储在所述第一数据表中。
7.如权利要求6所述的数据存储系统，其特征在于，所述应用层，还用于：
在所述将需要存储的数据发送给调度服务集群中的调度服务单元之前，基于一致性哈希算法在所述调度服务集群中选出所述调度服务单元。
8.如权利要求6所述的数据存储系统，其特征在于，所述调度服务单元，具体用于：
确定所述关键字所属的分片区间；将所述n个数据库中的与所述分片区间对应的数据库确定为所述第一数据库。
9.如权利要求6所述的数据存储系统，其特征在于，所述调度服务单元，具体用于：
对所述关键字进行一致性哈希运算，得到哈希值；基于所述哈希值按照一致性哈希的落点规则，从所述多个数据表中确定所述第一数据表，所述多个数据表组成一致性哈希闭环。
10.如权利要求6～9任一所述的数据存储系统，其特征在于，所述调度服务单元，还用于：
判断所述关键字距离所述n个分片区间中的最大分片区间的上限是否小于一预设值；若小于，则输出用于表示需要对所述存储介质进行扩容的信息。
CN201611119917.9A 2016-12-08 2016-12-08 一种数据存储的方法及系统 Active CN106775470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611119917.9A CN106775470B (zh) 2016-12-08 2016-12-08 一种数据存储的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611119917.9A CN106775470B (zh) 2016-12-08 2016-12-08 一种数据存储的方法及系统

Publications (2)

Publication Number Publication Date
CN106775470A true CN106775470A (zh) 2017-05-31
CN106775470B CN106775470B (zh) 2020-04-10

Family

ID=58882498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611119917.9A Active CN106775470B (zh) 2016-12-08 2016-12-08 一种数据存储的方法及系统

Country Status (1)

Country Link
CN (1) CN106775470B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019125A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 数据库管理的方法和装置
CN110471915A (zh) * 2019-07-02 2019-11-19 网联清算有限公司 账户路由确定方法及装置
CN111131040A (zh) * 2019-11-29 2020-05-08 京东数字科技控股有限公司 路由的配置方法、装置及系统、存储介质、电子装置
CN111274224A (zh) * 2020-01-08 2020-06-12 中国联合网络通信集团有限公司 数据迁移方法和装置
CN111600799A (zh) * 2020-05-20 2020-08-28 金蝶蝶金云计算有限公司 分片路由方法、服务器及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080775A1 (en) * 2009-12-30 2011-07-07 Telecom Italia S.P.A. Method and system for carrying out searches in a database
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
WO2012172551A1 (en) * 2011-06-13 2012-12-20 Xtremio Ltd. Low latency replication techniques with content addressable storage
CN104111924A (zh) * 2013-04-16 2014-10-22 中国移动通信集团广东有限公司 一种数据库系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080775A1 (en) * 2009-12-30 2011-07-07 Telecom Italia S.P.A. Method and system for carrying out searches in a database
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
WO2012172551A1 (en) * 2011-06-13 2012-12-20 Xtremio Ltd. Low latency replication techniques with content addressable storage
CN104111924A (zh) * 2013-04-16 2014-10-22 中国移动通信集团广东有限公司 一种数据库系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于戈等编著: "《分布式数据库系统 大数据时代新型数据库技术》", 31 January 2016, 北京：机械工业出版社 *
程国建著: "《迁移到云端 在云计算的新世界开发应用》", 30 June 2015, 北京：国防工业出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019125A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 数据库管理的方法和装置
CN110019125B (zh) * 2017-11-27 2021-12-14 北京京东尚科信息技术有限公司 数据库管理的方法和装置
CN110471915A (zh) * 2019-07-02 2019-11-19 网联清算有限公司 账户路由确定方法及装置
CN111131040A (zh) * 2019-11-29 2020-05-08 京东数字科技控股有限公司 路由的配置方法、装置及系统、存储介质、电子装置
CN111274224A (zh) * 2020-01-08 2020-06-12 中国联合网络通信集团有限公司 数据迁移方法和装置
CN111274224B (zh) * 2020-01-08 2023-04-28 中国联合网络通信集团有限公司 数据迁移方法和装置
CN111600799A (zh) * 2020-05-20 2020-08-28 金蝶蝶金云计算有限公司 分片路由方法、服务器及计算机存储介质

Also Published As

Publication number Publication date
CN106775470B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN106775470A (zh) 一种数据存储的方法及系统
CN105205014B (zh) 一种数据存储方法和装置
CN103345514B (zh) 大数据环境下的流式数据处理方法
CN105637925B (zh) 具有细化策略管理的动态频率和功率资源分配
CN104462362B (zh) 一种数据存储、查询、加载方法及装置
CN104407879B (zh) 一种电网时序大数据并行加载方法
CN105630590B (zh) 一种业务信息处理方法及装置
CN109005125A (zh) 动态限流方法、装置及系统
CN108074031A (zh) 订单组分配方法及装置
CN106529883A (zh) 分配数据对象的方法及装置
CN108089814A (zh) 一种数据存储方法及装置
CN106970930A (zh) 消息发送确定方法及装置、数据表创建方法及装置
CN106407207A (zh) 一种实时新增数据更新方法和装置
CN106372977B (zh) 一种虚拟账户的处理方法和设备
CN107154957A (zh) 基于虚拟环负载均衡算法的分布式存储控制方法
CN107402950A (zh) 基于分库分表的文件处理方法和装置
CN106534308A (zh) 一种分布式存储系统中解决数据块访问热点的方法及装置
CN107193649A (zh) 一种基于numa系统的任务调度方法及装置
CN104182295B (zh) 一种数据备份方法及装置
CN107423942A (zh) 一种业务流转的方法及装置
CN105468699B (zh) 去重数据统计方法及设备
CN109343793A (zh) 数据迁移方法及装置
CN104462080B (zh) 针对检索结果进行分组统计的索引结构创建方法和系统
CN106027642A (zh) 用于确定cdn节点磁盘数量的方法及系统
CN109426439A (zh) 对分布式存储系统进行扩容的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231220

Address after: Room A-7696, Building 3, No. 20 Yongan Road, Shilong Economic Development Zone, Mentougou District, Beijing 102300

Patentee after: China Construction Cultural Tourism Development Co.,Ltd.

Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building

Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.