CN105446653A - 一种数据合并方法和设备 - Google Patents

一种数据合并方法和设备 Download PDF

Info

Publication number
CN105446653A
CN105446653A CN201410429616.0A CN201410429616A CN105446653A CN 105446653 A CN105446653 A CN 105446653A CN 201410429616 A CN201410429616 A CN 201410429616A CN 105446653 A CN105446653 A CN 105446653A
Authority
CN
China
Prior art keywords
data
storage server
data storage
server
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410429616.0A
Other languages
English (en)
Other versions
CN105446653B (zh
Inventor
阳振坤
孙志东
徐虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Oceanbase Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201410429616.0A priority Critical patent/CN105446653B/zh
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to PCT/US2015/045747 priority patent/WO2016032803A1/en
Priority to US14/829,132 priority patent/US10523743B2/en
Priority to PL15836188T priority patent/PL3186760T3/pl
Priority to KR1020177005030A priority patent/KR101938501B1/ko
Priority to ES15836188T priority patent/ES2845654T3/es
Priority to JP2017502114A priority patent/JP6412244B2/ja
Priority to SG11201700190WA priority patent/SG11201700190WA/en
Priority to EP15836188.1A priority patent/EP3186760B8/en
Publication of CN105446653A publication Critical patent/CN105446653A/zh
Application granted granted Critical
Publication of CN105446653B publication Critical patent/CN105446653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06314—Calendaring for a resource
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据合并方法和设备，该方法包括：数据平台确定当前需要进行数据合并的数据存储服务器，并将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；在外部读写流量被切换到其它数据存储服务器之后，数据平台将所述数据更新服务器内的数据合并到所述数据存储服务器中；在数据被合并到所述数据存储服务器完成之后，所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器。之后，数据平台确定下一个需要进行数据合并的数据存储服务器，以此类推，后续处理不再赘述。本申请实施例中，可以错峰进行数据合并，能够自主进行流量切换，有效的控制合并操作对资源的消耗情况，有效的避免了对读写服务的影响，提高系统整体稳定性。

Description

一种数据合并方法和设备
技术领域
本申请涉及互联网技术领域，尤其是涉及一种数据合并方法和设备。
背景技术
LSMTree(LogStructuredMergeTree，日志结构归并树)是一种数据存储模型，该数据存储模型通常将数据划分为内存和磁盘多级。其中，对于数据的写操作，并不将数据直接写入到磁盘上，即不直接修改磁盘上的数据，而是将数据写入内存，因而具备较高的写入性能。进一步的，为了释放内存或者提高读性能，通过合并操作将内存中的数据持久化到磁盘文件中(或者将多个磁盘文件进行合并)，即通过合并操作将内存中的数据写入到磁盘中。
但是，执行合并操作会占用系统大量的IO(输入输出)资源，直接影响系统正常读写操作的吞吐和响应时间，导致系统读写服务发生强烈抖动，这种抖动在高并发情况下对延时的影响非常大，导致系统的整体稳定性很差。
发明内容
本申请实施例提供一种数据合并方法和设备，以有效的控制合并操作对资源的消耗情况，有效避免了对读写服务的影响，提高系统的整体稳定性。
本申请实施例提供一种数据合并方法，该方法应用于包括数据平台、数据更新服务器和多个数据存储服务器的系统中，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述方法包括以下步骤：
所述数据平台确定当前需要进行数据合并的数据存储服务器，并将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；
在外部读写流量被切换到其它数据存储服务器之后，所述数据平台将所述数据更新服务器内的数据合并到所述数据存储服务器中；
在数据被合并到所述数据存储服务器完成之后，所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器。
所述方法进一步包括：
在确定当前需要进行数据合并的数据存储服务器的过程中，所述数据平台判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则所述数据平台从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则所述数据平台从数据更新服务器内删除已经合并到数据存储服务器的数据。
所述数据平台将所述数据存储服务器的外部读写流量切换到其它数据存储服务器，具体包括：
所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为0；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量；
所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器，具体包括：所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
所述方法进一步包括：
在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则所述数据平台监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则所述数据平台停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则所述数据平台继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
所述资源消耗情况具体包括以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出IO资源消耗情况、网络资源消耗情况。
所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
本申请实施例提供一种数据平台，应用于包括所述数据平台、数据更新服务器和多个数据存储服务器的系统中，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述数据平台具体包括：
判定模块，用于确定当前需要进行数据合并的数据存储服务器；
切换模块，用于将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；以及，在数据被合并到所述数据存储服务器完成之后，将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器；
合并模块，用于在外部读写流量被切换到其它数据存储服务器之后，将所述数据更新服务器内的数据合并到所述数据存储服务器中。
所述判定模块，进一步用于在确定当前需要进行数据合并的数据存储服务器的过程中，判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则从数据更新服务器内删除已经合并到数据存储服务器的数据。
所述切换模块，具体用于在将所述数据存储服务器的外部读写流量切换到其它数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为0；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量；
在将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
还包括：控制模块，用于在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
所述资源消耗情况包括以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出IO资源消耗情况、网络资源消耗情况。
所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
与现有技术相比，本申请实施例至少具有以下优点：本申请实施例中，针对多个数据存储服务器，通过将一个数据存储服务器的外部读写流量切换到其它数据存储服务器，并在外部读写流量被切换到其它数据存储服务器之后，当前只对该一个数据存储服务器进行数据合并操作，即将数据更新服务器内的数据合并到该数据存储服务器，从而每次只对一个数据存储服务器进行合并操作，并由其它数据存储服务器对外部读写流量进行处理，从而错峰进行数据合并，能够自主进行流量切换，有效的控制合并操作对资源的消耗情况，有效的避免了对读写服务的影响，提高系统的整体稳定性。进一步的，上述方式可以减少运维的复杂度，不需要手工运维操作。上述方式能够自主迁移在线读写流量，将内部合并操作和在线服务进行了彻底的隔离，使合并不影响在线服务。上述方式能够在发生合并时将流量分流到未发生合并的数据存储服务器，完成引流后再开始执行合并操作，并在合并完成后将切走的流量进行自动恢复，整个过程做到对外部服务的透明化。上述方式可以针对不同的应用采用不同的合并策略，可以多次发起数据合并，可以在存储相同数据量的情况下有效减少存储分级等，从而有效的优化了读性能。
附图说明
为了更加清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本申请实施例的这些附图获得其他的附图。
图1和图2是本申请实施例一中提出的应用场景示意图；
图3是本申请实施例一中提出的一种数据合并方法流程示意图；
图4是本申请实施例二中提出的一种数据平台的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
针对现有技术中存在的问题，本申请实施例一提供一种数据合并方法，以图1为本申请实施例的应用场景示意图，该方法应用于包括数据平台、数据更新服务器和多个数据存储服务器的系统中。在使用LSMTree的数据存储模型时，可以将数据划分为内存和磁盘多级。对于数据的写操作，并不将数据直接写入到磁盘上，而是将数据写入内存，因而具备较高的写入性能。为了释放内存或者提高读性能，通过合并操作将内存中的数据持久化到磁盘文件(或者将多个磁盘文件进行合并)。在图1所示的应用场景下，数据更新服务器作为数据存储模型的内存，数据存储服务器作为数据存储模型的磁盘。
其中，数据存储服务器具体可以为数据存储模型的数据副本存储服务器。
在基于LSMTree的数据存储模型中，将数据划分成读写分离的两个部分，一部分为基准数据，另一部分为增量数据。其中，各数据存储服务器用于存储基准数据，基准数据为按照一定的规则划分的不存在交叉的许多小的数据分片，每个数据分片在逻辑上称为Tablet(小块)。数据更新服务器用于存储增量数据，且增量数据是整体以Btree(平衡二叉树)的形式存放在数据更新服务器中。进一步的，基准数据的Tablet存放在数据存储服务器的磁盘上，每个Tablet会保存多个副本在不同的数据存储服务器的磁盘上。其中，一个集群管理多个数据存储服务器，按照数据存储服务器的物理位置将多个数据存储服务器划分为多个分组(Group)，并通过负载均衡保证每个分组包含所有Tablet数据的全集，同时也只包含了所有Tablet的所有副本集合的一个子集。如图2所示，集群共有6个Tablet(TabletA-F)，每个Tablet包含两份副本，图2中的4个数据存储服务器构成两个分组(GroupA和GroupB)。
基于数据存储服务器以及数据更新服务器的存储结构，多个数据存储服务器以及数据更新服务器构成了LMSTree的多级存储结构，写操作只修改数据更新服务器。当数据更新服务器内写入的增量数据的数据量达到预设阈值(预设阈值可以根据实际经验任意设置，如数据更新服务器存储空间的80％)时，则触发合并操作，需要将数据更新服务器内的增量数据合并到多个数据存储服务器，且合并到数据存储服务器的增量数据变成新的基准数据。
为了方便描述，本申请实施例中，以包括数据存储服务器1和数据存储服务器2，且GroupA内只包含数据存储服务器1，该数据存储服务器1需要存储数据更新服务器内的所有数据，GroupB内只包含数据存储服务器2，该数据存储服务器2需要存储数据更新服务器内的所有数据为例进行说明。
现有技术中，如图1所示，在需要将数据更新服务器内的数据合并到多个数据存储服务器时，需要同时将数据更新服务器内的数据合并到多个数据存储服务器，此时，各数据存储服务器均需要执行数据合并操作，且需要对外部读写流量进行处理。执行合并操作会占用系统大量的IO资源，直接影响系统正常读写操作的吞吐和响应时间，导致系统读写服务发生强烈抖动，这种抖动在高并发情况下对延时的影响非常大，导致系统的整体稳定性很差。
为了有效降低合并对读写服务的影响，本申请实施例中，采用不同副本的错峰合并方式，控制不同分组(即不同的数据存储服务器，如数据存储服务器1和数据存储服务器2)交错进行合并，而不是并发同时进行数据合并，每个数据存储服务器在开始数据合并的准备阶段，会将其上的外部服务流量迁移到未进行合并的数据存储服务器上，通过这种方式将系统内部的合并操作和外部的读写服务进行物理上的隔离，从而保证了相互不产生影响。
基于上述应用场景，如图3所示，在需要将数据更新服务器内的数据合并到多个数据存储服务器时，该数据合并方法具体可以包括以下步骤：
步骤301，数据平台确定当前需要进行数据合并的数据存储服务器。
本申请实施例中，在确定当前需要进行数据合并的数据存储服务器的过程中，数据平台判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则数据平台从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则数据平台从数据更新服务器内删除已经合并到数据存储服务器的数据。
例如，在需要将数据更新服务器内的数据合并到数据存储服务器1和数据存储服务器2时，数据平台判断当前存在没有合并数据更新服务器内数据的数据存储服务器1和数据存储服务器2，选择一个当前需要进行数据合并的数据存储服务器1。在数据被合并到数据存储服务器1完成之后，数据平台判断当前存在没有合并数据更新服务器内数据的数据存储服务器2，选择一个当前需要进行数据合并的数据存储服务器2。在数据被合并到数据存储服务器2完成之后，数据平台判断当前不存在没有合并数据更新服务器内数据的数据存储服务器，从数据更新服务器内删除已经合并到数据存储服务器的数据。
步骤302，数据平台将数据存储服务器的外部读写流量切换到其它数据存储服务器。例如，在当前需要进行数据合并的数据存储服务器为数据存储服务器1时，则数据平台将数据存储服务器1的外部读写流量切换到数据存储服务器2。在当前需要进行数据合并的数据存储服务器为数据存储服务器2时，则数据平台将数据存储服务器2的外部读写流量切换到数据存储服务器1。
本申请实施例中，数据平台将数据存储服务器的外部读写流量切换到其它数据存储服务器，具体包括：数据平台生成流量控制表，在该流量控制表中，该数据存储服务器的流量比重为0；以使客户端从该数据平台读取流量控制表，并在发送外部读写流量时，按照该流量控制表中记录的数据存储服务器的流量比重向数据存储服务器发送外部读写流量。
进一步的，在一种具体实现方式中，数据平台将数据存储服务器的外部读写流量切换到其它数据存储服务器的过程中，切换过程按照先慢后快的原则，逐步将数据存储服务器的外部读写流量切换到其它数据存储服务器。
例如，数据平台将数据存储服务器1的外部读写流量切换到数据存储服务器2之前，数据存储服务器1的流量比重为50％，数据存储服务器2的流量比重为50％，且数据平台生成的流量控制表中，数据存储服务器1的流量比重为50％，数据存储服务器2的流量比重为50％，此时，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有50％的外部读写流量发送给数据存储服务器1，有50％的外部读写流量发送给数据存储服务器2。数据平台将数据存储服务器1的外部读写流量切换到数据存储服务器2的过程中，数据平台第1分钟生成的流量控制表中，数据存储服务器1的流量比重为45％，数据存储服务器2的流量比重为55％，此时，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有45％的外部读写流量发送给数据存储服务器1，有55％的外部读写流量发送给数据存储服务器2。数据平台第2分钟生成的流量控制表中，数据存储服务器1的流量比重为30％，数据存储服务器2的流量比重为70％，此时，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有30％的外部读写流量发送给数据存储服务器1，有70％的外部读写流量发送给数据存储服务器2。数据平台第3分钟生成的流量控制表中，数据存储服务器1的流量比重为0％，数据存储服务器2的流量比重为100％，此时，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有0％的外部读写流量发送给数据存储服务器1，有100％的外部读写流量发送给数据存储服务器2，即客户端不再向数据存储服务器1发送外部读写流量。基于此，数据平台将数据存储服务器1的外部读写流量全部切换到数据存储服务器2。
步骤303，在外部读写流量被切换到其它数据存储服务器之后，数据平台将数据更新服务器内的数据合并到数据存储服务器中。例如，在外部读写流量被切换到数据存储服务器2之后，数据平台将数据更新服务器内的数据合并到数据存储服务器1中。又例如，在外部读写流量被切换到数据存储服务器1之后，数据平台将数据更新服务器内的数据合并到数据存储服务器2中。
步骤304，在数据被合并到数据存储服务器(如数据存储服务器1)完成之后，数据平台将数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到该数据存储服务器。
本步骤304之后，继续执行步骤301，确定下一个需要进行数据合并的数据存储服务器，以此类推，一直到不存在没有合并数据更新服务器内数据的数据存储服务器，则结束数据合并流程，该过程在此不再重复赘述。
本申请实施例中，数据平台将数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到数据存储服务器的过程，具体包括但不限于如下方式：数据平台生成流量控制表，在该流量控制表中，该数据存储服务器的流量比重为特定比重数值，该特定比重数值是数据平台未对该数据存储服务器进行数据合并时，该数据存储服务器对应的流量比重；以使客户端从数据平台读取流量控制表，并在发送外部读写流量时，按照该流量控制表中记录的数据存储服务器的流量比重向该数据存储服务器发送外部读写流量。
进一步的，在一种具体实现方式中，在数据平台将数据存储服务器的外部读写流量切换到该数据存储服务器的过程中，切换过程是按照先慢后快的原则，逐步将该数据存储服务器的外部读写流量切换到该数据存储服务器。
例如，数据平台将数据存储服务器1的外部读写流量切换到数据存储服务器2之前，数据存储服务器1的流量比重为50％，数据存储服务器2的流量比重为50％。数据平台当前生成的流量控制表中，数据存储服务器1的流量比重为0％，数据存储服务器2的流量比重为100％，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有0％的外部读写流量发送给数据存储服务器1，有100％的外部读写流量发送给数据存储服务器2。数据平台将数据存储服务器1的外部读写流量恢复到数据存储服务器1的过程中，数据平台第1分钟生成的流量控制表中，数据存储服务器1的流量比重为5％，数据存储服务器2的流量比重为95％，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有5％的外部读写流量发送给数据存储服务器1，有95％的外部读写流量发送给数据存储服务器2。数据平台第2分钟生成的流量控制表中，数据存储服务器1的流量比重为15％，数据存储服务器2的流量比重为85％，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有15％的外部读写流量发送给数据存储服务器1，有85％的外部读写流量发送给数据存储服务器2。数据平台第3分钟生成的流量控制表中，数据存储服务器1的流量比重为50％，数据存储服务器2的流量比重为50％，客户端从数据平台读取流量控制表，对于客户端发送的外部读写流量，有50％的外部读写流量发送给数据存储服务器1，有50％的外部读写流量发送给数据存储服务器2，基于此，数据平台将数据存储服务器1的已经切换到数据存储服务器2的外部读写流量全部恢复到数据存储服务器1。
综上所述，本申请实施例至少具有以下优点：在本申请实施例中，针对多个数据存储服务器，通过将一个数据存储服务器的外部读写流量切换到其它数据存储服务器，并在外部读写流量被切换到其它数据存储服务器之后，当前只对该一个数据存储服务器进行数据合并操作，即将数据更新服务器内的数据合并到该数据存储服务器，从而每次只对一个数据存储服务器进行合并操作，并由其它数据存储服务器对外部读写流量进行处理，从而错峰进行数据合并，能够自主进行流量切换，有效的控制合并操作对资源的消耗情况，有效的避免了对读写服务的影响，提高系统的整体稳定性。进一步的，上述方式可以减少运维的复杂度，不需要手工运维操作。上述方式能够自主迁移在线读写流量，将内部合并操作和在线服务进行了彻底的隔离，使合并不影响在线服务。上述方式能够在发生合并时将流量分流到未发生合并的数据存储服务器，完成引流后再开始执行合并操作，并在合并完成后将切走的流量进行自动恢复，整个过程做到对外部服务的透明化。上述方式可以针对不同的应用采用不同的合并策略，可以多次发起数据合并，并可以在存储相同数据量的情况下有效减少存储分级等，从而有效的优化了读性能。
在一般情况下，在将数据更新服务器内的数据合并到数据存储服务器的过程中，不会有外部读写流量需要由该数据存储服务器进行处理，一直到数据被合并到该数据存储服务器，并将数据存储服务器的外部读写流量切换到该数据存储服务器之后，才会有外部读写流量需要由该数据存储服务器进行处理。但是，在一些特殊情况下，在将数据更新服务器内的数据合并到数据存储服务器的过程中，也会有外部读写流量需要由该数据存储服务器进行处理。基于此，本申请实施例中，在将数据更新服务器内的数据合并到数据存储服务器的过程中，如果有外部读写流量需要由数据存储服务器进行处理，则数据平台监测该数据存储服务器的资源消耗情况；如果资源消耗情况满足预设策略，则数据平台停止将数据更新服务器内的数据合并到数据存储服务器中，即不再向数据存储服务器中合并数据；如果资源消耗情况不满足预设策略，则数据平台继续将数据更新服务器内的数据合并到数据存储服务器中。
本申请实施例中，在将数据更新服务器内的数据合并到数据存储服务器的过程中，有外部读写流量需要由该数据存储服务器进行处理的应用场景，具体包括但不限于：(1)如果数据存储服务器的数据合并超时，则数据平台需要将该数据存储服务器的外部读写流量恢复到该数据存储服务器，此时，该数据存储服务器仍然需要进行数据合并，且外部读写流量已经恢复到该数据存储服务器，基于此，在将数据更新服务器内的数据合并到数据存储服务器的过程中，有外部读写流量需要由该数据存储服务器进行处理。(2)如果单个数据存储服务器无法承担全部的外部读写流量，则为了保证在线服务的最大可用性，数据平台需要强制将外部读写流量分流到正在进行数据合并的数据存储服务器，基于此，在将数据更新服务器内的数据合并到数据存储服务器的过程中，有外部读写流量需要由该数据存储服务器进行处理。
本申请实施例中，资源消耗情况具体包括但不限于以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、CPU(CentralProcessingUnit，中央处理器)资源消耗情况、IO资源消耗情况、网络资源消耗情况。
其中，数据平台通过监控数据存储服务器的请求吞吐、读写请求延时、响应延迟、请求排队数据等信息，获得该数据存储服务器的资源消耗情况。
其中，资源消耗情况满足预设策略表示数据存储服务器的负载过重，如内存资源消耗情况为内存已经使用超过80％，CPU资源消耗情况为CPU已经使用超过70％，IO资源消耗情况为IO资源已经使用超过70％，网络资源消耗情况为网络资源已经使用超过80％等。资源消耗情况不满足预设策略表示数据存储服务器的负载未过重，如内存资源消耗情况为内存已经使用低于50％，CPU资源消耗情况为CPU已经使用低于50％，IO资源消耗情况为IO资源已经使用低于50％，网络资源消耗情况为网络资源已经使用低于50％等。
综上所述，本申请实施例中，通过实时监控数据存储服务器的资源占用情况，对数据存储服务器的负载情况进行控制，调整合并占用线程资源的启动或停止，在负载低时尽快合并，减少合并时间，在负载高时，降低合并的速度，甚至停止合并，通过回收合并线程资源，降低因合并造成的网络、CPU、IO等资源消耗。通过这种实时动态监控和反馈的机制，以最高的优先级保证在线服务的可用性，保证系统的QOS((QualityofService，服务质量)。
实施例二
基于与上述方法同样的申请构思，本申请实施例中还提供了一种数据平台，应用于包括所述数据平台、数据更新服务器和多个数据存储服务器的系统中，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，如图4所示，所述数据平台具体包括：
判定模块11，用于确定当前需要进行数据合并的数据存储服务器；
切换模块12，用于将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；以及，在数据被合并到所述数据存储服务器完成之后，将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器；
合并模块13，用于在外部读写流量被切换到其它数据存储服务器之后，将所述数据更新服务器内的数据合并到所述数据存储服务器中。
所述判定模块11，进一步用于在确定当前需要进行数据合并的数据存储服务器的过程中，判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则从数据更新服务器内删除已经合并到数据存储服务器的数据。
本申请实施例中，所述切换模块12，具体用于在将所述数据存储服务器的外部读写流量切换到其它数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为0；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量；在将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
所述数据平台还包括：控制模块14，用于在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
本申请实施例中，所述资源消耗情况包括以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出IO资源消耗情况、网络资源消耗情况。
所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
其中，本申请装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上公开的仅为本申请的几个具体实施例，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (12)

1.一种数据合并方法，该方法应用于包括数据平台、数据更新服务器和多个数据存储服务器的系统中，其特征在于，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述方法包括以下步骤：
所述数据平台确定当前需要进行数据合并的数据存储服务器，并将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；
在外部读写流量被切换到其它数据存储服务器之后，所述数据平台将所述数据更新服务器内的数据合并到所述数据存储服务器中；
在数据被合并到所述数据存储服务器完成之后，所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器。
2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：
在确定当前需要进行数据合并的数据存储服务器的过程中，所述数据平台判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则所述数据平台从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则所述数据平台从数据更新服务器内删除已经合并到数据存储服务器的数据。
3.如权利要求1所述的方法，其特征在于，所述数据平台将所述数据存储服务器的外部读写流量切换到其它数据存储服务器，具体包括：
所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为0；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量；
所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器，具体包括：所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
4.如权利要求1所述的方法，其特征在于，所述方法进一步包括：
在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则所述数据平台监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则所述数据平台停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则所述数据平台继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
5.如权利要求4所述的方法，其特征在于，所述资源消耗情况具体包括以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出IO资源消耗情况、网络资源消耗情况。
6.如权利要求1-5任一项所述的方法，其特征在于，
所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
7.一种数据平台，应用于包括所述数据平台、数据更新服务器和多个数据存储服务器的系统中，其特征在于，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述数据平台具体包括：
判定模块，用于确定当前需要进行数据合并的数据存储服务器；
切换模块，用于将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；以及，在数据被合并到所述数据存储服务器完成之后，将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器；
合并模块，用于在外部读写流量被切换到其它数据存储服务器之后，将所述数据更新服务器内的数据合并到所述数据存储服务器中。
8.如权利要求7所述的数据平台，其特征在于，
所述判定模块，进一步用于在确定当前需要进行数据合并的数据存储服务器的过程中，判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则从数据更新服务器内删除已经合并到数据存储服务器的数据。
9.如权利要求7所述的数据平台，其特征在于，
所述切换模块，具体用于在将所述数据存储服务器的外部读写流量切换到其它数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为0；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量；
在将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
10.如权利要求7所述的数据平台，其特征在于，还包括：
控制模块，用于在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
11.如权利要求10所述的数据平台，其特征在于，所述资源消耗情况包括以下之一或者任意组合：内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出IO资源消耗情况、网络资源消耗情况。
12.如权利要求7-11任一项所述的数据平台，其特征在于，
所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
CN201410429616.0A 2014-08-27 2014-08-27 一种数据合并方法和设备 Active CN105446653B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201410429616.0A CN105446653B (zh) 2014-08-27 2014-08-27 一种数据合并方法和设备
US14/829,132 US10523743B2 (en) 2014-08-27 2015-08-18 Dynamic load-based merging
PL15836188T PL3186760T3 (pl) 2014-08-27 2015-08-18 Dynamiczne scalanie na podstawie obciążenia
KR1020177005030A KR101938501B1 (ko) 2014-08-27 2015-08-18 동적 부하 기반 병합
PCT/US2015/045747 WO2016032803A1 (en) 2014-08-27 2015-08-18 Dynamic load-based merging
ES15836188T ES2845654T3 (es) 2014-08-27 2015-08-18 Unión basada en carga dinámica
JP2017502114A JP6412244B2 (ja) 2014-08-27 2015-08-18 負荷に基づく動的統合
SG11201700190WA SG11201700190WA (en) 2014-08-27 2015-08-18 Dynamic load-based merging
EP15836188.1A EP3186760B8 (en) 2014-08-27 2015-08-18 Dynamic load-based merging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410429616.0A CN105446653B (zh) 2014-08-27 2014-08-27 一种数据合并方法和设备

Publications (2)

Publication Number Publication Date
CN105446653A true CN105446653A (zh) 2016-03-30
CN105446653B CN105446653B (zh) 2018-12-14

Family

ID=55403945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410429616.0A Active CN105446653B (zh) 2014-08-27 2014-08-27 一种数据合并方法和设备

Country Status (8)

Country Link
US (1) US10523743B2 (zh)
EP (1) EP3186760B8 (zh)
JP (1) JP6412244B2 (zh)
KR (1) KR101938501B1 (zh)
CN (1) CN105446653B (zh)
ES (1) ES2845654T3 (zh)
PL (1) PL3186760T3 (zh)
SG (1) SG11201700190WA (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295080A (zh) * 2017-06-19 2017-10-24 北京百度网讯科技有限公司 应用于分布式服务器集群的数据存储方法和服务器
CN109039898A (zh) * 2018-08-08 2018-12-18 网宿科技股份有限公司 一种引流信息的管理方法及装置
CN112235332A (zh) * 2019-07-15 2021-01-15 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112236759A (zh) * 2018-09-14 2021-01-15 谷歌有限责任公司 日志结构合并森林中的交错合并
CN112463048A (zh) * 2020-11-26 2021-03-09 新华三技术有限公司成都分公司 一种compact处理速度的调整方法、装置、电子设备和介质
CN113590040A (zh) * 2021-07-29 2021-11-02 郑州阿帕斯数云信息科技有限公司 数据处理方法、装置、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349095A1 (en) * 2017-06-06 2018-12-06 ScaleFlux, Inc. Log-structured merge tree based data storage architecture
US10542078B1 (en) * 2017-06-13 2020-01-21 Parallels International Gmbh System and method of load balancing traffic bursts in non-real time networks
CA3095033C (en) * 2018-03-27 2023-03-28 Netflix, Inc. Techniques for scheduled anti-entropy repair design
US11520742B2 (en) * 2018-12-24 2022-12-06 Cloudbrink, Inc. Data mesh parallel file system caching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994018634A1 (en) * 1993-02-01 1994-08-18 Lsc, Inc. Archiving file system for data servers in a distributed network environment
JP2003022209A (ja) * 2001-07-05 2003-01-24 Nri & Ncc Co Ltd 分散サーバーシステム
JP2011175422A (ja) * 2010-02-24 2011-09-08 Fujitsu Ltd 判定プログラム、方法及び装置
CN102497353A (zh) * 2011-10-28 2012-06-13 深圳第七大道科技有限公司 多服务器分布式数据处理方法、服务器及系统
US8452819B1 (en) * 2011-03-22 2013-05-28 Amazon Technologies, Inc. Methods and apparatus for optimizing resource utilization in distributed storage systems

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4775932A (en) 1984-07-31 1988-10-04 Texas Instruments Incorporated Computer memory system with parallel garbage collection independent from an associated user processor
US6226650B1 (en) 1998-09-17 2001-05-01 Synchrologic, Inc. Database synchronization and organization system and method
US20020010783A1 (en) * 1999-12-06 2002-01-24 Leonard Primak System and method for enhancing operation of a web server cluster
US6981005B1 (en) * 2000-08-24 2005-12-27 Microsoft Corporation Partial migration of an object to another storage location in a computer system
US7228441B2 (en) 2000-09-27 2007-06-05 Huron Ip Llc Multi-server and multi-CPU power management system and method
US20020161890A1 (en) * 2000-12-22 2002-10-31 Kailai Chen System and method for intelligently distributing content over a communicatons network
US20040010612A1 (en) 2002-06-11 2004-01-15 Pandya Ashish A. High performance IP processor using RDMA
EP1623349B1 (en) 2003-05-07 2018-01-24 Conversant Intellectual Property Management Inc. Managing power on integrated circuits using power islands
US20050038954A1 (en) 2003-06-04 2005-02-17 Quantum Corporation Storage drive having universal format across media types
US7051215B2 (en) 2003-06-13 2006-05-23 Intel Corporation Power management for clustered computing platforms
US7565454B2 (en) 2003-07-18 2009-07-21 Microsoft Corporation State migration in multiple NIC RDMA enabled devices
JP4371739B2 (ja) 2003-09-02 2009-11-25 株式会社東芝 シリアルａｔａインタフェースを持つ電子機器及びシリアルａｔａバスのパワーセーブ方法
US7490239B2 (en) 2005-01-07 2009-02-10 First Data Corporation Facilitating digital signature based on ephemeral private key
US7389379B1 (en) * 2005-04-25 2008-06-17 Network Appliance, Inc. Selective disk offlining
US7480766B2 (en) 2005-08-03 2009-01-20 Sandisk Corporation Interfacing systems operating through a logical address space and on a direct data file basis
US8260924B2 (en) * 2006-05-03 2012-09-04 Bluetie, Inc. User load balancing systems and methods thereof
EP2038729A2 (en) 2006-06-27 2009-03-25 Koninklijke Philips Electronics N.V. A device and a method for managing power consumption of a plurality of data processing units
US20080243847A1 (en) * 2007-04-02 2008-10-02 Microsoft Corporation Separating central locking services from distributed data fulfillment services in a storage system
US8359430B1 (en) * 2007-08-30 2013-01-22 Network Appliance, Inc. Techniques for efficient mass storage layout optimization
JP5343399B2 (ja) * 2008-05-22 2013-11-13 富士通株式会社 管理プログラム、管理方法、及び管理装置
US8954654B2 (en) 2008-06-18 2015-02-10 Super Talent Technology, Corp. Virtual memory device (VMD) application/driver with dual-level interception for data-type splitting, meta-page grouping, and diversion of temp files to ramdisks for enhanced flash endurance
US9547589B2 (en) 2008-06-18 2017-01-17 Super Talent Technology, Corp. Endurance translation layer (ETL) and diversion of temp files for reduced flash wear of a super-endurance solid-state drive
JP5834303B2 (ja) 2008-12-30 2015-12-16 ラウンド ロック リサーチ リミテッド ライアビリティー カンパニー 作動温度範囲を拡張した不揮発性メモリ
US8838976B2 (en) 2009-02-10 2014-09-16 Uniloc Luxembourg S.A. Web content access using a client device identifier
US8918365B2 (en) * 2009-06-19 2014-12-23 Blekko, Inc. Dedicating disks to reading or writing
US8688894B2 (en) 2009-09-03 2014-04-01 Pioneer Chip Technology Ltd. Page based management of flash storage
US9390035B2 (en) 2009-12-21 2016-07-12 Sanmina-Sci Corporation Method and apparatus for supporting storage modules in standard memory and/or hybrid memory bus architectures
JP5585116B2 (ja) * 2010-02-19 2014-09-10 日本電気株式会社 ストレージシステム
JP2011198133A (ja) 2010-03-19 2011-10-06 Toshiba Corp メモリシステムおよびコントローラ
US8688897B2 (en) 2010-05-28 2014-04-01 International Business Machines Corporation Cache memory management in a flash cache architecture
JP4886877B2 (ja) 2010-05-31 2012-02-29 株式会社東芝 記録媒体制御装置、及びその方法
US8725934B2 (en) 2011-12-22 2014-05-13 Fusion-Io, Inc. Methods and appratuses for atomic storage operations
US8516284B2 (en) 2010-11-04 2013-08-20 International Business Machines Corporation Saving power by placing inactive computing devices in optimized configuration corresponding to a specific constraint
US9208071B2 (en) 2010-12-13 2015-12-08 SanDisk Technologies, Inc. Apparatus, system, and method for accessing memory
US9805108B2 (en) * 2010-12-23 2017-10-31 Mongodb, Inc. Large distributed database clustering systems and methods
KR101717081B1 (ko) 2011-03-23 2017-03-28 삼성전자주식회사 비휘발성 램과 휘발성 램을 버퍼 메모리로 사용하는 저장 장치
JP5583069B2 (ja) * 2011-04-18 2014-09-03 三菱電機株式会社 データベースシステム
KR20130031046A (ko) 2011-09-20 2013-03-28 삼성전자주식회사 플래시 메모리 장치 및 플래시 메모리 장치의 데이터 관리 방법
US8843451B2 (en) * 2011-09-23 2014-09-23 International Business Machines Corporation Block level backup and restore
US9213645B2 (en) 2011-12-29 2015-12-15 Sandisk Technologies Inc. Command aware partial page programming
US9645917B2 (en) 2012-05-22 2017-05-09 Netapp, Inc. Specializing I/O access patterns for flash storage
US9092223B1 (en) 2012-05-31 2015-07-28 Google Inc. Systems and methods to save power in data-center networks
US9405621B2 (en) 2012-12-28 2016-08-02 Super Talent Technology, Corp. Green eMMC device (GeD) controller with DRAM data persistence, data-type splitting, meta-page grouping, and diversion of temp files for enhanced flash endurance
US9432755B2 (en) 2013-02-15 2016-08-30 Futurewei Technologies, Inc. Downstream burst transmission in passive optical networks
US8984171B2 (en) 2013-03-01 2015-03-17 Silicon Motion, Inc. Data storage device and flash memory control method
US9298752B2 (en) * 2013-08-26 2016-03-29 Dropbox, Inc. Facilitating data migration between database clusters while the database continues operating
US9652297B2 (en) 2013-09-19 2017-05-16 Intel Corporation Techniques for distributed processing task portion assignment
US20160232103A1 (en) 2013-09-26 2016-08-11 Mark A. Schmisseur Block storage apertures to persistent memory
US9251154B2 (en) 2013-11-15 2016-02-02 International Business Machines Corporation Priority based reliability mechanism for archived data
US9240722B2 (en) 2014-06-19 2016-01-19 Dell Products Lp Methods and systems for improving light load efficiency for power stages of multi-phase voltage regulator circuits
US9626286B2 (en) 2014-10-03 2017-04-18 Sandisk Technologies Llc Hardware and firmware paths for performing memory read processes
US9710330B2 (en) 2014-10-15 2017-07-18 Empire Technology Development Llc Partial cloud data storage
US10234930B2 (en) 2015-02-13 2019-03-19 Intel Corporation Performing power management in a multicore processor
US9734051B2 (en) 2015-02-16 2017-08-15 Quantum Corporation Garbage collection and defragmentation for solid state drives (SSD) and shingled magnetic recording (SMR) drives
US9911487B2 (en) 2015-05-19 2018-03-06 EMC IP Holding Company LLC Method and system for storing and recovering data from flash memory
US20160350002A1 (en) 2015-05-29 2016-12-01 Intel Corporation Memory device specific self refresh entry and exit
US9965441B2 (en) 2015-12-10 2018-05-08 Cisco Technology, Inc. Adaptive coalescing of remote direct memory access acknowledgements based on I/O characteristics
US10389839B2 (en) 2016-06-01 2019-08-20 Intel Corporation Method and apparatus for generating data prefetches specifying various sizes to prefetch data from a remote computing node
US10514862B2 (en) 2016-07-21 2019-12-24 Micron Technology, Inc. Memory device including concurrent suspend states for different operations
JP6274589B1 (ja) 2016-09-28 2018-02-07 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置および連続読出し方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994018634A1 (en) * 1993-02-01 1994-08-18 Lsc, Inc. Archiving file system for data servers in a distributed network environment
JP2003022209A (ja) * 2001-07-05 2003-01-24 Nri & Ncc Co Ltd 分散サーバーシステム
JP2011175422A (ja) * 2010-02-24 2011-09-08 Fujitsu Ltd 判定プログラム、方法及び装置
US8452819B1 (en) * 2011-03-22 2013-05-28 Amazon Technologies, Inc. Methods and apparatus for optimizing resource utilization in distributed storage systems
CN102497353A (zh) * 2011-10-28 2012-06-13 深圳第七大道科技有限公司 多服务器分布式数据处理方法、服务器及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295080A (zh) * 2017-06-19 2017-10-24 北京百度网讯科技有限公司 应用于分布式服务器集群的数据存储方法和服务器
CN109039898A (zh) * 2018-08-08 2018-12-18 网宿科技股份有限公司 一种引流信息的管理方法及装置
CN109039898B (zh) * 2018-08-08 2021-12-07 网宿科技股份有限公司 一种引流信息的管理方法及装置
CN112236759A (zh) * 2018-09-14 2021-01-15 谷歌有限责任公司 日志结构合并森林中的交错合并
CN112235332A (zh) * 2019-07-15 2021-01-15 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112235332B (zh) * 2019-07-15 2024-01-16 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112463048A (zh) * 2020-11-26 2021-03-09 新华三技术有限公司成都分公司 一种compact处理速度的调整方法、装置、电子设备和介质
CN113590040A (zh) * 2021-07-29 2021-11-02 郑州阿帕斯数云信息科技有限公司 数据处理方法、装置、设备和存储介质
CN113590040B (zh) * 2021-07-29 2024-03-19 郑州阿帕斯数云信息科技有限公司 数据处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3186760A1 (en) 2017-07-05
US10523743B2 (en) 2019-12-31
US20160065663A1 (en) 2016-03-03
CN105446653B (zh) 2018-12-14
EP3186760B1 (en) 2020-10-14
EP3186760B8 (en) 2021-03-10
PL3186760T3 (pl) 2021-09-27
EP3186760A4 (en) 2018-04-25
ES2845654T3 (es) 2021-07-27
JP6412244B2 (ja) 2018-10-24
KR20170042298A (ko) 2017-04-18
KR101938501B1 (ko) 2019-04-11
JP2017528794A (ja) 2017-09-28
SG11201700190WA (en) 2017-02-27

Similar Documents

Publication Publication Date Title
CN105446653A (zh) 一种数据合并方法和设备
US11108852B2 (en) Load balanced network file accesses
US11061580B2 (en) Storage device and controllers included in storage device
US20160306554A1 (en) Data storage management
JP5744707B2 (ja) メモリ使用量照会ガバナのためのコンピュータ実装方法、コンピュータ・プログラム、およびシステム（メモリ使用量照会ガバナ）
US11537304B2 (en) Data verification method and apparatus, and storage medium
US10884667B2 (en) Storage controller and IO request processing method
CN104102693A (zh) 对象处理方法和装置
US11914894B2 (en) Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
WO2008006674A1 (en) Reserve pool management in virtualized storage systems
JP2019204489A (ja) ストレージアドレスの決定に関してマルチレベルハッシュ関数を用いるオブジェクトストレージシステム
JP6269140B2 (ja) アクセス制御プログラム、アクセス制御方法、およびアクセス制御装置
US9973575B2 (en) Distributed processing system and control method
JP2012247901A (ja) データベースの管理方法、データベースの管理装置及びプログラム
US11194623B2 (en) Resource scheduling method and related apparatus
US20140059557A1 (en) Queue with segments for task management
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN105487928A (zh) 一种控制方法、装置及Hadoop系统
CN113760549A (zh) 一种pod部署方法及装置
CN105677248A (zh) 一种数据访问方法和装置
CN112711564B (zh) 合并处理方法以及相关设备
CN110728372B (zh) 一种人工智能模型动态加载的集群设计方法及集群系统
CN105446913A (zh) 一种数据访问方法及装置
US9110823B2 (en) Adaptive and prioritized replication scheduling in storage clusters
CN106484310B (zh) 一种存储阵列操作方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210203

Address after: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Ant financial (Hangzhou) Network Technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Innovative advanced technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210907

Address after: 100020 unit 02, 901, floor 9, unit 1, building 1, No.1, East Third Ring Middle Road, Chaoyang District, Beijing

Patentee after: Beijing Aoxing Beisi Technology Co.,Ltd.

Address before: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province 310000

Patentee before: Ant financial (Hangzhou) Network Technology Co.,Ltd.

TR01 Transfer of patent right