CN111385327A - 数据处理方法和系统 - Google Patents
数据处理方法和系统 Download PDFInfo
- Publication number
- CN111385327A CN111385327A CN201811628317.4A CN201811628317A CN111385327A CN 111385327 A CN111385327 A CN 111385327A CN 201811628317 A CN201811628317 A CN 201811628317A CN 111385327 A CN111385327 A CN 111385327A
- Authority
- CN
- China
- Prior art keywords
- data
- data node
- node
- message
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
- G06F12/0817—Cache consistency protocols using directory methods
- G06F12/0824—Distributed directories, e.g. linked lists of caches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法和系统。其中，该方法包括：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。本申请解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
Description
技术领域
本申请涉及分布式存储系统领域，具体而言，涉及一种数据处理方法和系统。
背景技术
在分布式存储系统中，大部分客户端同时启动后读取某些数据的场景很多，例如用户启动大量虚拟机和Docker等虚拟化容器时，由于需要将容器的镜像拉取到本地后进行容器启动，此时对于容器镜像的读取会出现大量的瞬时并发读取操作。在大数据计算场景中，分布式程序启动时读取软件包，以及程序启动后每个分布式进程读取索引文件也会造成部分数据集中进行读取的现象。
相关技术中提供了一种将数据的副本数增多来解决上述问题，但是，相关技术中提供的方案存在如下问题：需要用户提前将数据份数进行增加，在大并发访问结束后需要缩减数据的副本来回收空间；使用规模无法预计的情况下，副本数的选择也非常困难，选择副本过多对于空间浪费严重，选择副本过少会导致热点依然存在；资源的占用周期并不能和用户请求的访问周期严格匹配，需要提前对数据增加副本，在访问结束后才能降低副本，如果众多用户同时使用系统，会导致系统中的资源得不到动态调配；分布式存储系统中的快速介质资源剩余是在实时变化的，很难在事前和事后分析出如何分布副本才能达到最优性能，不能动态进行调配资源的使用。
针对相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法和系统，以至少解决相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：第二数据节点接收第一数据节点发送的第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第二数据节点发送第二消息至第一数据节点，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：第一数据节点，用于发送第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；目标数据节点，目标数据节点中存储有目标数据块的数据副本；第二数据节点，与第一数据节点和目标数据节点具有通信关系，用于接收第一消息，并发送用于表征目标数据节点的第二消息至第一数据节点；客户端，与第一数据节点和目标数据节点具有通信关系，用于访问第一数据节点或目标数据节点。
根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行如下步骤：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
根据本申请实施例的另一方面，还提供了一种计算设备，包括：处理器，处理器用于运行程序，其中，在程序运行时执行以下步骤：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
在本申请实施例中，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本申请实施例1的数据处理方法的流程图；
图3是根据本申请实施例的一种可选的数据处理方法的流程图；
图4是根据本申请实施例的一种可选的预设队列的示意图；
图5是根据本申请实施例2的数据处理方法的流程图；
图6是根据本申请实施例3的数据处理装置的示意图；
图7是根据本申请实施例4的数据处理装置的示意图；
图8是根据本申请实施例的一种数据处理系统的示意图；以及
图9是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
热点：分布式存储系统中在短时间内频繁被若干个其他外部实例请求造成响应延迟增加或者停止服务的现象称为热点，在分布式存储系统中元数据节点和数据节点都有可能会出现热点现象，例如众多的客户端同时对部分数据进行读取，此时如果数据节点分布过于集中，则部分数据节点会由于网络带宽或者磁盘IO能力不足成为热点，导致读取数据延迟增大。
多副本：分布式存储系统中一种存储数据的方式，用户将数据写入系统后，存储系统会将数据复制成多个副本存储在不同的数据节点上，这种做法不但可以在某个数据节点异常的时候保证其他数据节点依然可以对外提供读写服务，同时如果副本数量足够多，也会缓解数据访问热点的问题。
元数据节点(Meta)：可以是分布式存储系统中的管理节点，维护着系统的文件目录树，元数据和每个文件对应的数据块列表，以及接受用户的操作请求。
数据节点(Data)：可以是分布式存储系统中提供真实文件数据的存储服务器，数据的存储单位为数据块(block)。
实施例1
根据本申请实施例，提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的控制器，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图2所示的数据处理方法。图2是根据本申请实施例1的数据处理方法的流程图。如图2所示，该方法可以包括如下步骤：
步骤S202，第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块。
具体地，在分布式存储系统中，上述的第一数据节点可以是Data节点，上述的第二数据节点可以是Meta节点，Data节点中存储有多个数据块Block，用户可以通过客户端访问Data节点中存储的Block的数据。上述的目标数据块可以是Data节点自动识别出的热点Block，上述的第一消息可以是Data节点触发热点汇报后上传至Meta节点的消息，该消息中可以包括该热点Block的ID。
在一种可选的实施例中，为了解决分布式存储系统中热点问题，Data节点可以根据用户的实时访问情况，确定最近被频繁访问，且访问流量超过网络带宽或Data节点的磁盘IO能力的block为热点block(即上述的目标数据块)。在识别出热点Block之后，Data节点会触发热点汇报，生成第一消息发送至Meta节点，向Meta节点汇报热点Block的ID。
步骤S204，第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点。
具体地，上述的目标数据节点可以是与第一数据节点不同的Data节点，该Data节点可以从汇报热点的Data节点中对热点Block进行复制，从而在本地形成数据副本。
在一种可选的实施例中，Meta节点在收到Data节点发送的热点汇报，也即收到第一消息之后，可以确定热点Block的数据副本数量不足，无法满足多个用户的访问需求。此时，Meta节点会通知其他没有进行过数据复制的Data节点进行数据复制，在该Data节点本地形成热点Block的数据副本，新的数据副本增加完成之后，该Data节点会告知Meta节点复制完成，从而Meta节点可以将存储数据副本的新的Data节点的位置告知汇报热点的Data节点。
步骤S206，第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
在一种可选的实施例中，Data节点在收到新的数据副本的存储位置之后，会将新的数据副本的存储位置返回给客户端Client，可选地，Data节点可以将所有的数据副本的存储位置返回给Client，从而Client可以根据访问需要选择该Data节点，或者其他存储有数据副本的Data节点进行访问。
例如，如图3所示，6个客户端Client(但不仅限于此，图3中仅示出6个)在短时间内访问第一个Data节点中的Block，第一个Data节点可以通过对Block的读取操作和读取服务质量进行统计，确定热点Block，并向Meta节点汇报。
元数据Meta节点在接收到热点汇报之后，会通知第二个和第三个Data节点，第二个和第三个Data节点从第一个Data节点中对热点Block进行读取复制，形成本地的数据副本。在复制完成之后，第二个和第三个节点会向Meta节点报告复制完成，Meta节点会及时告知第一个Data节点新增的数据副本的位置，也即，告知第一个Data节点，第二个和第三个Data节点中存储有热点Block的数据副本，第一个Data节点会告知所有Client，第二个和第三个Data节点中存储有热点Block的数据副本。
Client可以选择合适的Data节点进行数据读取，第一个和第二个Client重新访问第一个Data节点，从第一个Data节点中读取热点Block的数据；第三个和第四个Client访问第二个Data节点，从第二个Data节点中读取数据副本的数据；第五个和第六个Client访问第三个Data节点，从第三个Data节点中读取数据副本的数据(如图3中右侧的实线所示)。
需要说明的是，如果增加数据副本之后，依然能感知到该Data节点出现热点，则可以继续增加新的数据副本来解决热点问题。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：第一数据节点获取第一数据节点中存储的访问频率超过预设频率的第一数据块；第一数据节点从第一数据块中获取访问流量超过预设流量的第二数据块；第一数据节点确定第二数据块为目标数据块。
具体地，上述的预设频率可以是实际访问情况确定，上述的预设流量可以是根据网络带宽或者磁盘IO能力确定的。
在一种可选的实施例中，当Block的访问频率超过预设频率，则Data节点可以确定该Block被频繁访问，进一步地，当大量的Client开始并发读取数据的时候，如果被频繁访问的Block的访问流量超过预设流量，也即，访问流量超过本地流量限制或者超过磁盘的IO能力，则Data节点可以确定该Block为热点Block，并触发热点汇报。
可选地，本申请上述实施例中，第一数据节点获取第一数据节点中存储的访问频率超过预设频率的第一数据块包括：第一数据节点获取预设时间段内，第一数据节点中存储的数据块的操作数据；第一数据节点对数据块的操作数据进行统计，得到数据块的访问频率；第一数据节点判断数据块的访问频率是否超过预设频率；如果数据块的访问频率超过预设频率，则第一数据节点确定数据块为第一数据块。
具体地，上述的预设时间段可以是最近一段历史时间。
在一种可选的实施例中，为了确定被频繁访问的Block，Data节点可以对最近访问的Block的读取操作进行统计，得到Block的访问频率，进一步通过判断访问频率是否超过预设频率，可以确定最近被频繁访问的Block(即上述的第一数据块)。
可选地，本申请上述实施例中，第一数据节点从第一数据块中获取访问流量超过预设流量的第二数据块包括：在客户端对第一数据块进行操作的情况下，第一数据节点获取第一数据块的操作数据；第一数据节点对第一数据块的操作数据进行统计，得到第一数据块的访问流量；第一数据节点判断第一数据块的访问流量是否超过预设流量；如果第一数据块的访问流量超过预设流量，则第一数据节点确定第一数据块为第二数据块。
在一种可选的实施例中，当大量的Client开始并发读取操作的时候，Data节点会对数据读取服务质量进行统计，也即，通过对操作数据进行统计，可以得到Block的当前访问流量，进一步通过判断访问流量是否超过预设流量，可以确定热点Block(即上述的第二数据块)。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：第二数据节点发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；第二数据节点确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块复制完成之后所生成的；第二数据节点发送第二消息至第一数据节点。
具体地，上述的第三数据节点可以是为未存储有热点Block的数据副本的Data节点，也即，是其他没有汇报Block数据副本的Data节点。
在一种可选的实施例中，Meta节点在收到热点汇报之后，可以通知其他没有汇报Block数据副本的Data节点到汇报热点的Data节点读取数据，并在本地形成更多的热点Block的数据副本。新的数据副本增加完成之后，Data节点会向Meta节点汇报自己的复制任务完成，Meta节点将新位置通知给汇报热点的Data节点。
可选地，本申请上述实施例中，目标数据节点位于不同的交换机中，数据副本存储在第三数据节点的存储介质中。
在一种可选的实施例中，在复制过程中，为了确保数据副本能够迅速复制完成，Data节点可以使用高优先级读取，同时Data节点可以使用内存、SSD(固态硬盘，SolidState Drives)磁盘等存储介质对数据进行存储，确保读取的IO不会成为新瓶颈。另外，为了能够使整个系统的网络充分利用，在Data节点的位置选择上，可以尽量选择在不同的交换机下。
例如，如图3所示，第二个和第三个Data节点中未存储有数据副本，而且两个Data节点位于不同的交换机下，Meta节点可以确定第二个和第三个Data节点为第三数据节点，并通知第二个和第三个Data节点进行数据复制，在本地形成数据副本，数据副本存储在内存、SSD磁盘等存储介质中。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：第二数据节点获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；第二数据节点判断目标数据副本与目标数据块是否匹配；如果目标数据副本与目标数据块匹配成功，则第二数据节点将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；如果目标数据副本与目标数据块匹配失败，则第二数据节点发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除目标数据副本。
具体地，上述的预设队列可以是FIFO(先入先出，First Input First Output)队列，Meta节点可以使用一个FIFO队列来维护当前被复制出来的所有数据副本，队列的大小决定了最多可以使用的资源量，如图4所示，FIFO队列中存储有数据副本元数据以及时间，图4中FIFO队列的上部表示FIFO队列的头部。上述的预设时间可以是为了确保及时清除由于热点导致的数据副本，而设置的超时时间。
在一种可选的实施例中，Meta节点可以将队列头部已经超时的数据副本取出，并检测相应的Block是否为Data节点汇报的热点Block，如果是，则更新时间后重新放入到队列尾部(如图4中点划线所示)；如果否，则可以通知该数据副本相应的Data节点(如图4中虚线所示)，将本地存储的数据副本删除，从而限制系统中总体的资源用量。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：客户端发送操作请求至第一数据节点，并检测是否接收到第一数据节点返回的第五消息，其中，第五消息是第一数据节点在客户端请求对目标数据块进行操作的情况下所生成的；如果接收到第五消息，则客户端判断是否已经接收到第一数据节点发送的第二消息；如果已经接收到第二消息，则客户端基于第二消息，获取满足第二预设条件的目标数据节点；客户端发送操作请求至满足第二预设条件的目标数据节点。
具体地，上述的第二预设条件可以基于延迟性能和物理距离确定的，满足第二预设条件的目标数据节点可以是延迟性能最好，或者物理距离最近的Data节点。
在一种可选的实施例中，汇报热点的Data节点在接收到新的数据副本的存储位置之后，可以通知部分Client出现热点，也即，通知部分Client程序Busy，Data节点可以根据网络或磁盘的IO能力确定允许访问的Client，并通知其他Client出现热点，同时会返回新的数据副本的存储位置给Client。
Client在接收到Busy后会检查Data节点是否建议新的Data节点，也即，Data节点是否返回新的数据副本的存储位置给该Client，如果存在，则可以从接收到的Data节点中选择延迟性能最好或者物理距离最近的Data节点，并将去读请求发送给该Data节点。
例如，如图3所示，第一个Data节点在收到第二个和第三个Data节点中存储有数据副本的消息之后，可以通知第三个至第六个Client出现热点，并告知该四个Client，第二个和第三个Data节点中也存储有数据副本。第一个和第二个Client可以重新访问第一个Data节点，第三个至第六个Client在接收到第一个Data节点出现热点之后，可以选择满足第二预设条件的Data节点，第三个和第四个Client选择第二个Data节点，第五个和第六个Client选择第三个Data节点，从第三个和第四个Client可以发送读请求给第二个Data节点，第五个和第六个Client可以发送读请求给第三个Data节点。
可选地，本申请上述实施例中，客户端基于第二消息，获取满足第二预设条件的目标数据节点包括如下之一：客户端获取目标数据节点中，数据延迟最小的目标数据节点；客户端获取目标数据节点中，与客户端的距离最小的目标数据节点。
在一种可选的实施例中，Client在接收到Data节点返回的新的数据副本的存储位置之后，可以根据读请求的返回延迟自动选择性能最好，也即延迟最小的Data节点，或者自动选择物理距离距离自己最近的Data节点。在选择出Data节点之后，Client可以访问该Data节点，从该Data节点中读取数据。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例，还提供了一种数据处理方法的实施例。
图5是根据本申请实施例2的数据处理方法的流程图。如图5所示，该方法可以包括如下步骤：
步骤S502，第二数据节点接收第一数据节点发送的第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块。
具体地，在分布式存储系统中，上述的第一数据节点可以是Data节点，上述的第二数据节点可以是Meta节点，Data节点中存储有多个数据块Block，用户可以通过客户端访问Data节点中存储的Block的数据。上述的目标数据块可以是Data节点自动识别出的热点Block，上述的第一消息可以是Data节点触发热点汇报后上传至Meta节点的消息，该消息中可以包括该热点Block的ID。
在一种可选的实施例中，为了解决分布式存储系统中热点问题，Data节点可以根据用户的实时访问情况，确定最近被频繁访问，且访问流量超过网络带宽或Data节点的磁盘IO能力的block为热点block(即上述的目标数据块)。在识别出热点Block之后，Data节点会触发热点汇报，生成第一消息发送至Meta节点，向Meta节点汇报热点Block的ID。
Meta节点在收到Data节点发送的热点汇报，也即收到第一消息之后，可以确定热点Block的数据副本数量不足，无法满足多个用户的访问需求。此时，Meta节点会通知其他没有进行过数据复制的Data节点进行数据复制，在该Data节点本地形成热点Block的数据副本，新的数据副本增加完成之后，该Data节点会告知Meta节点复制完成，从而Meta节点可以将存储数据副本的新的Data节点的位置告知汇报热点的Data节点。
步骤S504，第二数据节点发送第二消息至第一数据节点，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
具体地，上述的目标数据节点可以是与第一数据节点不同的Data节点，该Data节点可以从汇报热点的Data节点中对热点Block进行复制，从而在本地形成数据副本。
在一种可选的实施例中，Data节点在收到新的数据副本的存储位置之后，会将新的数据副本的存储位置返回给客户端Client，可选地，Data节点可以将所有的数据副本的存储位置返回给Client，从而Client可以根据访问需要选择该Data节点，或者其他存储有数据副本的Data节点进行访问。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：第二数据节点发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；第二数据节点确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块的数据复制完成之后所生成的；第二数据节点发送第二消息至第一数据节点。
具体地，上述的第三数据节点可以是为未存储有热点Block的数据副本的Data节点，也即，是其他没有汇报Block数据副本的Data节点。
在一种可选的实施例中，Meta节点在收到热点汇报之后，可以通知其他没有汇报Block数据副本的Data节点到汇报热点的Data节点读取数据，并在本地形成更多的热点Block的数据副本。新的数据副本增加完成之后，Data节点会向Meta节点汇报自己的复制任务完成，Meta节点将新位置通知给汇报热点的Data节点。
可选地，本申请上述实施例中，目标数据节点位于不同的交换机中，数据副本存储在第三数据节点的存储介质中。
在一种可选的实施例中，在复制过程中，为了确保数据副本能够迅速复制完成，Data节点可以使用高优先级读取，同时Data节点可以使用内存、SSD(固态硬盘，SolidState Drives)磁盘等存储介质对数据进行存储，确保读取的IO不会成为新瓶颈。另外，为了能够使整个系统的网络充分利用，在Data节点的位置选择上，可以尽量选择在不同的交换机下。
可选地，本申请上述实施例中，该方法还可以包括如下步骤：第二数据节点获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；第二数据节点判断目标数据副本与目标数据块是否匹配；如果目标数据副本与目标数据块匹配成功，则第二数据节点将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；如果目标数据副本与目标数据块匹配失败，则第二数据节点发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除数据副本。
具体地，上述的预设队列可以是FIFO(先入先出，First Input First Output)队列，Meta节点可以使用一个FIFO队列来维护当前被复制出来的所有数据副本，队列的大小决定了最多可以使用的资源量。上述的预设时间可以是为了确保及时清除由于热点导致的数据副本，而设置的超时时间。
在一种可选的实施例中，Meta节点可以将队列头部已经超时的数据副本取出，并检测相应的Block是否为Data节点汇报的热点Block，如果是，则更新时间后重新放入到队列尾部；如果否，则可以通知该数据副本相应的Data节点，将本地存储的数据副本删除，从而限制系统中总体的资源用量。
实施例3
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图6所示，该装置600包括：第一发送模块602、接收模块604和第二发送模块606。
其中，第一发送模块602用于通过第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；接收模块604用于通过第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第二发送模块606用于通过第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
具体地，在分布式存储系统中，上述的第一数据节点可以是Data节点，上述的第二数据节点可以是Meta节点，Data节点中存储有多个数据块Block，用户可以通过客户端访问Data节点中存储的Block的数据。上述的目标数据块可以是Data节点自动识别出的热点Block，上述的第一消息可以是Data节点触发热点汇报后上传至Meta节点的消息，该消息中可以包括该热点Block的ID。具体地，上述的目标数据节点可以是与第一数据节点不同的Data节点，该Data节点可以从汇报热点的Data节点中对热点Block进行复制，从而在本地形成数据副本。
此处需要说明的是，上述第一发送模块602、接收模块604和第二发送模块606对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
可选地，本申请上述实施例中，该装置还包括：第一获取模块、第二获取模块和第一确定模块。
其中，第一获取模块用于通过第一数据节点获取第一数据节点中存储的访问频率超过预设频率的第一数据块；第二获取模块用于通过第一数据节点从第一数据块中获取访问流量超过预设流量的第二数据块；第一确定模块用于第一数据节点确定第二数据块为目标数据块。
可选地，本申请上述实施例中，第一获取模块包括：第一获取单元、第一统计单元、第一判断单元和第一确定单元。
其中，第一获取单元用于通过第一数据节点获取预设时间段内，第一数据节点中存储的数据块的操作数据；第一统计单元用于通过第一数据节点对数据块的操作数据进行统计，得到数据块的访问频率；第一判断单元用于通过第一数据节点判断数据块的访问频率是否超过预设频率；第一确定单元用于如果数据块的访问频率超过预设频率，则通过第一数据节点确定数据块为第一数据块。
可选地，本申请上述实施例中，第二获取模块包括：第二获取单元、第二统计单元、第二判断单元和第二确定单元。
其中，第二获取单元用于在客户端对第一数据块进行操作的情况下，通过第一数据节点获取第一数据块的操作数据；第二统计单元用于通过第一数据节点对第一数据块的操作数据进行统计，得到第一数据块的访问流量；第二判断单元用于通过第一数据节点判断第一数据块的访问流量是否超过预设流量；第二确定单元用于通过如果第一数据块的访问流量超过预设流量，则第一数据节点确定第一数据块为第二数据块。
可选地，本申请上述实施例中，该装置还包括：第三发送模块、第二确定模块和第四发送模块。
其中，第三发送模块用于通过第二数据节点发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；第二确定模块用于通过第二数据节点确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块复制完成之后所生成的；第四发送模块用于通过第二数据节点发送第二消息至第一数据节点。
可选地，本申请上述实施例中，目标数据节点位于不同的交换机中，数据副本存储在第三数据节点的存储介质中。
可选地，本申请上述实施例中，该装置还包括：第三获取模块、第一判断模块、处理模块和第五发送模块。
其中，第三获取模块用于通过第二数据节点获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；第一判断模块用于通过第二数据节点判断目标数据副本与目标数据块是否匹配；处理模块用于如果目标数据副本与目标数据块匹配成功，则通过第二数据节点将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；第五发送模块用于如果目标数据副本与目标数据块匹配失败，则通过第二数据节点发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除目标数据副本。
可选地，本申请上述实施例中，该装置还包括：第六发送模块、第二判断模块、第四获取模块和第七发送模块。
其中，第六发送模块用于通过客户端发送操作请求至第一数据节点，并检测是否接收到第一数据节点返回的第五消息，其中，第五消息是第一数据节点在客户端请求对目标数据块进行操作的情况下所生成的；第二判断模块用于如果接收到第五消息，则通过客户端判断是否已经接收到第一数据节点发送的第二消息；第四获取模块用于如果已经接收到第二消息，则通过客户端基于第二消息，获取满足第二预设条件的目标数据节点；第七发送模块用于通过客户端发送操作请求至满足第二预设条件的目标数据节点。
可选地，本申请上述实施例中，第四获取模块包括如下之一：第三获取单元和第四获取单元。
其中，第三获取单元用于通过客户端获取目标数据节点中，数据延迟最小的目标数据节点；第四获取单元用于通过客户端获取目标数据节点中，与客户端的距离最小的目标数据节点。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，在此不在赘述。
实施例4
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图7所示，该装置700包括：接收模块702和第一发送模块704。
其中，接收模块702用于通过第二数据节点接收第一数据节点发送的第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一发送模块704用于通过第二数据节点发送第二消息至第一数据节点，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
具体地，在分布式存储系统中，上述的第一数据节点可以是Data节点，上述的第二数据节点可以是Meta节点，Data节点中存储有多个数据块Block，用户可以通过客户端访问Data节点中存储的Block的数据。上述的目标数据块可以是Data节点自动识别出的热点Block，上述的第一消息可以是Data节点触发热点汇报后上传至Meta节点的消息，该消息中可以包括该热点Block的ID。上述的目标数据节点可以是与第一数据节点不同的Data节点，该Data节点可以从汇报热点的Data节点中对热点Block进行复制，从而在本地形成数据副本。
此处需要说明的是，上述接收模块702和第一发送模块704对应于实施例2中的步骤S502至步骤S504，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
可选地，本申请上述实施例中，该装置还包括：第二发送模块、确定模块和第三发送模块。
其中，第二发送模块用于通过第二数据节点发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；确定模块用于通过第二数据节点确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块的数据复制完成之后所生成的；第三发送模块用于通过第二数据节点发送第二消息至第一数据节点。
可选地，本申请上述实施例中，目标数据节点位于不同的交换机中，数据副本存储在第三数据节点的存储介质中。
可选地，本申请上述实施例中，该装置还包括：获取模块、判断模块、处理模块和第四发送模块。
其中，获取模块用于通过第二数据节点获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；判断模块用于通过第二数据节点判断目标数据副本与目标数据块是否匹配；处理模块用于如果目标数据副本与目标数据块匹配成功，则通过第二数据节点将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；第四发送模块，用于如果目标数据副本与目标数据块匹配失败，则通过第二数据节点发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除数据副本。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例2中的相关描述，在此不在赘述。
实施例5
根据本申请实施例，还提供了一种数据处理系统，如图8所示，该系统包括：
第一数据节点82，用于发送第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块。
具体地，在分布式存储系统中，上述的第一数据节点可以是Data节点，Data节点中存储有多个数据块Block，用户可以通过客户端访问Data节点中存储的Block的数据。上述的目标数据块可以是Data节点自动识别出的热点Block，上述的第一消息可以是Data节点触发热点汇报后上传至Meta节点的消息，该消息中可以包括该热点Block的ID。
目标数据节点84，目标数据节点中存储有目标数据块的数据副本。
具体地，上述的目标数据节点可以是与第一数据节点不同的Data节点，该Data节点可以从汇报热点的Data节点中对热点Block进行复制，从而在本地形成数据副本。
第二数据节点86，与第一数据节点和目标数据节点具有通信关系，用于接收第一消息，并发送用于表征目标数据节点的第二消息至第一数据节点。
具体地，在分布式存储系统中，上述的第二数据节点可以是Meta节点。
客户端88，与第一数据节点和目标数据节点具有通信关系，用于访问第一数据节点或目标数据节点。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
可选地，本申请上述实施例中，第一数据节点还用于获取第一数据节点中存储的访问频率超过预设频率的第一数据块；从第一数据块中获取访问流量超过预设流量的第二数据块；确定第二数据块为目标数据块。
可选地，本申请上述实施例中，第一数据节点还用于获取预设时间段内，第一数据节点中存储的数据块的操作数据；对数据块的操作数据进行统计，得到数据块的访问频率；判断数据块的访问频率是否超过预设频率；如果数据块的访问频率超过预设频率，则确定数据块为第一数据块。
可选地，本申请上述实施例中，第一数据节点还用于在客户端对第一数据块进行操作的情况下，获取第一数据块的操作数据；对第一数据块的操作数据进行统计，得到第一数据块的访问流量；判断第一数据块的访问流量是否超过预设流量；如果第一数据块的访问流量超过预设流量，则确定第一数据块为第二数据块。
可选地，本申请上述实施例中，第二数据节点还用于发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块复制完成之后所生成的；发送第二消息至第一数据节点。
可选地，本申请上述实施例中，目标数据节点位于不同的交换机中，数据副本存储在第三数据节点的存储介质中。
可选地，本申请上述实施例中，第二数据节点还用于获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；判断目标数据副本与目标数据块是否匹配；如果目标数据副本与目标数据块匹配成功，则将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；如果目标数据副本与目标数据块匹配失败，则发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除目标数据副本。
可选地，本申请上述实施例中，客户端还用于发送操作请求至第一数据节点，并检测是否接收到第一数据节点返回的第五消息，其中，第五消息是第一数据节点在客户端请求对目标数据块进行操作的情况下所生成的；如果接收到第五消息，则判断是否已经接收到第一数据节点发送的第二消息；如果已经接收到第二消息，则基于第二消息，获取满足第二预设条件的目标数据节点；发送操作请求至满足第二预设条件的目标数据节点。
可选地，本申请上述实施例中，客户端还用于获取目标数据节点中，数据延迟最小的目标数据节点；和/或获取目标数据节点中，与客户端的距离最小的目标数据节点。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，在此不在赘述。
实施例6
根据本申请实施例，还提供了一种数据处理系统，包括：
处理器。以及
存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
基于本申请上述实施例提供的方案，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
实施例7
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
可选地，图9是根据本申请实施例的一种计算机终端的结构框图。如图9所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器902以及存储器904。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
可选的，上述处理器还可以执行如下步骤的程序代码：第一数据节点获取第一数据节点中存储的访问频率超过预设频率的第一数据块；第一数据节点从第一数据块中获取访问流量超过预设流量的第二数据块；第一数据节点确定第二数据块为目标数据块。
可选的，上述处理器还可以执行如下步骤的程序代码：第一数据节点获取预设时间段内，第一数据节点中存储的数据块的操作数据；第一数据节点对数据块的操作数据进行统计，得到数据块的访问频率；第一数据节点判断数据块的访问频率是否超过预设频率；如果数据块的访问频率超过预设频率，则第一数据节点确定数据块为第一数据块。
可选的，上述处理器还可以执行如下步骤的程序代码：在客户端对第一数据块进行操作的情况下，第一数据节点获取第一数据块的操作数据；第一数据节点对第一数据块的操作数据进行统计，得到第一数据块的访问流量；第一数据节点判断第一数据块的访问流量是否超过预设流量；如果第一数据块的访问流量超过预设流量，则第一数据节点确定第一数据块为第二数据块。
可选的，上述处理器还可以执行如下步骤的程序代码：第二数据节点发送第三消息至未存储有目标数据块的第三数据节点，其中，第三数据节点基于第三消息对目标数据块进行复制，得到数据副本；第二数据节点确定发送第四消息的第三数据节点为目标数据节点，其中，第四消息是第三数据节点在目标数据块复制完成之后所生成的；第二数据节点发送第二消息至第一数据节点。
可选的，上述处理器还可以执行如下步骤的程序代码：第二数据节点获取预设队列的头部存储的目标数据副本，其中，目标数据副本的时间信息超过预设时间；第二数据节点判断目标数据副本与目标数据块是否匹配；如果目标数据副本与目标数据块匹配成功，则第二数据节点将目标数据副本的时间信息进行更新，并将目标数据副本存储至预设队列的队尾；如果目标数据副本与目标数据块匹配失败，则第二数据节点发送第五消息至目标数据副本对应的第三数据节点，其中，第三数据节点基于第五消息删除目标数据副本。
可选的，上述处理器还可以执行如下步骤的程序代码：客户端发送操作请求至第一数据节点，并检测是否接收到第一数据节点返回的第五消息，其中，第五消息是第一数据节点在客户端请求对目标数据块进行操作的情况下所生成的；如果接收到第五消息，则客户端判断是否已经接收到第一数据节点发送的第二消息；如果已经接收到第二消息，则客户端基于第二消息，获取满足第二预设条件的目标数据节点；客户端发送操作请求至满足第二预设条件的目标数据节点。
可选的，上述处理器还可以执行如下步骤的程序代码：客户端获取目标数据节点中，数据延迟最小的目标数据节点；客户端获取目标数据节点中，与客户端的距离最小的目标数据节点。
采用本申请实施例，第一数据节点发送第一消息至第二数据节点，告知目标数据块，第二数据节点发送第二消息至第一数据节点，告知存储有目标数据块的数据副本的目标数据节点，并通过第一数据节点转发给客户端，客户端访问第一数据节点或目标数据节点，以解决热点问题。与现有技术相比，本申请上述实施例提供的方案可以根据实时访问情况确定目标数据块，并由第二数据节点确定目标数据节点，实现了多个用户使用集群非常公平的利用到集群的资源来达到解决热点的问题，而且整个过程中数据副本的增加由系统自动完成，达到了动态调整资源用量，对用户完全透明，方便用户使用，提升用户体验感和好感度的技术问题，进而解决了相关技术中的数据处理方法无法动态调整分布式存储系统中的资源的技术问题。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：第二数据节点接收第一数据节点发送的第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第二数据节点发送第二消息至第一数据节点，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例8
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：第一数据节点发送第一消息至第二数据节点，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第一数据节点接收第二数据节点返回的第二消息，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；第一数据节点发送第二消息至客户端，其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：第二数据节点接收第一数据节点发送的第一消息，其中，第一消息用于表征第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；第二数据节点发送第二消息至第一数据节点，其中，第二消息用于表征存储有目标数据块的数据副本的目标数据节点；其中，客户端访问第一数据节点或目标数据节点中存储的目标数据块。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (17)
1.一种数据处理方法，包括：
第一数据节点发送第一消息至第二数据节点，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
所述第一数据节点接收所述第二数据节点返回的第二消息，其中，所述第二消息用于表征存储有所述目标数据块的数据副本的目标数据节点；
所述第一数据节点发送所述第二消息至客户端，其中，所述客户端访问所述第一数据节点或所述目标数据节点中存储的所述目标数据块。
2.根据权利要求1所述的方法，其中，所述方法还包括：
所述第一数据节点获取所述第一数据节点中存储的访问频率超过预设频率的第一数据块；
所述第一数据节点从所述第一数据块中获取访问流量超过预设流量的第二数据块；
所述第一数据节点确定所述第二数据块为所述目标数据块。
3.根据权利要求2所述的方法，其中，所述第一数据节点获取所述第一数据节点中存储的访问频率超过预设频率的第一数据块包括：
所述第一数据节点获取预设时间段内，所述第一数据节点中存储的数据块的操作数据；
所述第一数据节点对所述数据块的操作数据进行统计，得到所述数据块的访问频率；
所述第一数据节点判断所述数据块的访问频率是否超过所述预设频率；
如果所述数据块的访问频率超过所述预设频率，则所述第一数据节点确定所述数据块为所述第一数据块。
4.根据权利要求2所述的方法，其中，所述第一数据节点从所述第一数据块中获取访问流量超过预设流量的第二数据块包括：
在所述客户端对所述第一数据块进行操作的情况下，所述第一数据节点获取所述第一数据块的操作数据；
所述第一数据节点对所述第一数据块的操作数据进行统计，得到所述第一数据块的访问流量；
所述第一数据节点判断所述第一数据块的访问流量是否超过所述预设流量；
如果所述第一数据块的访问流量超过所述预设流量，则所述第一数据节点确定所述第一数据块为所述第二数据块。
5.根据权利要求1所述的方法，其中，所述方法还包括：
所述第二数据节点发送第三消息至未存储有所述目标数据块的第三数据节点，其中，所述第三数据节点基于所述第三消息对所述目标数据块进行复制，得到所述数据副本；
所述第二数据节点确定发送第四消息的第三数据节点为所述目标数据节点，其中，所述第四消息是所述第三数据节点在所述目标数据块复制完成之后所生成的；
所述第二数据节点发送所述第二消息至所述第一数据节点。
6.根据权利要求5所述的方法，其中，所述目标数据节点位于不同的交换机中，所述数据副本存储在所述第三数据节点的存储介质中。
7.根据权利要求5所述的方法，其中，所述方法还包括：
所述第二数据节点获取预设队列的头部存储的目标数据副本，其中，所述目标数据副本的时间信息超过预设时间；
所述第二数据节点判断所述目标数据副本与所述目标数据块是否匹配；
如果所述目标数据副本与所述目标数据块匹配成功，则所述第二数据节点将所述目标数据副本的时间信息进行更新，并将所述目标数据副本存储至所述预设队列的队尾；
如果所述目标数据副本与所述目标数据块匹配失败，则所述第二数据节点发送第五消息至所述目标数据副本对应的第三数据节点，其中，所述第三数据节点基于所述第五消息删除所述目标数据副本。
8.根据权利要求1所述的方法，其中，所述方法还包括：
所述客户端发送操作请求至所述第一数据节点，并检测是否接收到所述第一数据节点返回的第五消息，其中，所述第五消息是所述第一数据节点在所述客户端请求对所述目标数据块进行操作的情况下所生成的；
如果接收到所述第五消息，则所述客户端判断是否已经接收到所述第一数据节点发送的所述第二消息；
如果已经接收到所述第二消息，则所述客户端基于所述第二消息，获取满足第二预设条件的目标数据节点；
所述客户端发送所述操作请求至所述满足第二预设条件的目标数据节点。
9.根据权利要求8所述的方法，其中，所述客户端基于所述第二消息，获取满足第二预设条件的目标数据节点包括如下之一：
所述客户端获取所述目标数据节点中，数据延迟最小的目标数据节点；
所述客户端获取所述目标数据节点中，与所述客户端的距离最小的目标数据节点。
10.一种数据处理方法，包括：
第二数据节点接收第一数据节点发送的第一消息，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
所述第二数据节点发送第二消息至所述第一数据节点，其中，所述第二消息用于表征存储有所述目标数据块的数据副本的目标数据节点；
其中，客户端访问所述第一数据节点或所述目标数据节点中存储的所述目标数据块。
11.根据权利要求10所述的方法，其中，所述方法还包括：
所述第二数据节点发送第三消息至未存储有所述目标数据块的第三数据节点，其中，所述第三数据节点基于所述第三消息对所述目标数据块进行复制，得到所述数据副本；
所述第二数据节点确定发送第四消息的第三数据节点为所述目标数据节点，其中，所述第四消息是所述第三数据节点在所述目标数据块的数据复制完成之后所生成的；
所述第二数据节点发送所述第二消息至所述第一数据节点。
12.根据权利要求11所述的方法，其中，所述目标数据节点位于不同的交换机中，所述数据副本存储在所述第三数据节点的存储介质中。
13.根据权利要求11所述的方法，其中，所述方法还包括：
所述第二数据节点获取预设队列的头部存储的目标数据副本，其中，所述目标数据副本的时间信息超过预设时间；
所述第二数据节点判断所述目标数据副本与所述目标数据块是否匹配；
如果所述目标数据副本与所述目标数据块匹配成功，则所述第二数据节点将所述目标数据副本的时间信息进行更新，并将所述目标数据副本存储至所述预设队列的队尾；
如果所述目标数据副本与所述目标数据块匹配失败，则所述第二数据节点发送第五消息至所述目标数据副本对应的第三数据节点，其中，所述第三数据节点基于所述第五消息删除所述数据副本。
14.一种数据处理系统，包括：
第一数据节点，用于发送第一消息，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
目标数据节点，所述目标数据节点中存储有所述目标数据块的数据副本；
第二数据节点，与所述第一数据节点和所述目标数据节点具有通信关系，用于接收所述第一消息，并发送用于表征所述目标数据节点的第二消息至所述第一数据节点；
客户端，与所述第一数据节点和所述目标数据节点具有通信关系，用于访问所述第一数据节点或所述目标数据节点。
15.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如下步骤：
第一数据节点发送第一消息至第二数据节点，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
所述第一数据节点接收所述第二数据节点返回的第二消息，其中，所述第二消息用于表征存储有所述目标数据块的数据副本的目标数据节点；
所述第一数据节点发送所述第二消息至客户端，其中，所述客户端访问所述第一数据节点或所述目标数据节点中存储的所述目标数据块。
16.一种计算设备，包括：处理器，所述处理器用于运行程序，其中，在所述程序运行时执行以下步骤：
第一数据节点发送第一消息至第二数据节点，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
所述第一数据节点接收所述第二数据节点返回的第二消息，其中，所述第二消息用于表征存储有所述目标数据块的数据副本的目标数据节点；
所述第一数据节点发送所述第二消息至客户端，其中，所述客户端访问所述第一数据节点或所述目标数据节点中存储的所述目标数据块。
17.一种数据处理系统，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
第一数据节点发送第一消息至第二数据节点，其中，所述第一消息用于表征所述第一数据节点中存在访问频率和访问流量满足第一预设条件的目标数据块；
所述第一数据节点接收所述第二数据节点返回的第二消息，其中，所述第二消息用于表征存储有所述目标数据块的数据副本的目标数据节点；
所述第一数据节点发送所述第二消息至客户端，其中，所述客户端访问所述第一数据节点或所述目标数据节点中存储的所述目标数据块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811628317.4A CN111385327B (zh) | 2018-12-28 | 2018-12-28 | 数据处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811628317.4A CN111385327B (zh) | 2018-12-28 | 2018-12-28 | 数据处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111385327A true CN111385327A (zh) | 2020-07-07 |
| CN111385327B CN111385327B (zh) | 2022-06-14 |
Family
ID=71222969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811628317.4A Active CN111385327B (zh) | 2018-12-28 | 2018-12-28 | 数据处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111385327B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033565A (zh) * | 2021-03-10 | 2021-06-25 | 大象慧云信息技术有限公司 | 一种电子发票数据处理方法及系统 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137157A (zh) * | 2011-02-28 | 2011-07-27 | 浪潮(北京)电子信息产业有限公司 | 一种云存储系统及其实现方法 |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
| US8849764B1 (en) * | 2013-06-13 | 2014-09-30 | DataGravity, Inc. | System and method of data intelligent storage |
| CN104142953A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 元数据动态管理方法及系统 |
| CN104317669A (zh) * | 2014-10-17 | 2015-01-28 | 南京邮电大学 | 一种云端异构存储系统及其数据副本管理方法 |
| CN104601687A (zh) * | 2015-01-07 | 2015-05-06 | 曙光信息产业股份有限公司 | 一种分发跨地域高效存储内容的方法及系统 |
| CN104813276A (zh) * | 2012-11-26 | 2015-07-29 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
| US20160170844A1 (en) * | 2013-06-13 | 2016-06-16 | DataGravity, Inc. | Live restore for a data intelligent storage system |
| CN105915646A (zh) * | 2016-06-20 | 2016-08-31 | 飞天诚信科技股份有限公司 | 一种分散服务器负载的方法及装置 |
| CN106096002A (zh) * | 2016-06-22 | 2016-11-09 | 武汉大学 | 基于访问流行度和相关性的空间数据副本控制方法及系统 |
| CN106406758A (zh) * | 2016-09-05 | 2017-02-15 | 华为技术有限公司 | 一种基于分布式存储系统的数据处理方法及存储设备 |
| CN106534308A (zh) * | 2016-11-14 | 2017-03-22 | 中国银联股份有限公司 | 一种分布式存储系统中解决数据块访问热点的方法及装置 |
| CN106850402A (zh) * | 2017-01-16 | 2017-06-13 | 腾讯科技（深圳）有限公司 | 消息的传输方法和装置 |
| CN106878473A (zh) * | 2017-04-20 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 一种消息处理方法、服务器集群及系统 |
| CN106886460A (zh) * | 2017-02-22 | 2017-06-23 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
| CN107180031A (zh) * | 2016-03-09 | 2017-09-19 | 华为技术有限公司 | 分布式存储方法及装置、数据处理方法及装置 |
| CN107517243A (zh) * | 2016-06-16 | 2017-12-26 | 中兴通讯股份有限公司 | 请求调度方法及装置 |
| CN107770259A (zh) * | 2017-09-30 | 2018-03-06 | 武汉理工大学 | 基于文件热度和节点负载的副本数量动态调整方法 |
| US20180081766A1 (en) * | 2016-09-19 | 2018-03-22 | International Business Machines Corporation | Reducing recovery time in disaster recovery/replication setup with multitier backend storage |
| US20180107601A1 (en) * | 2015-05-21 | 2018-04-19 | Agency For Science, Technology And Research | Cache architecture and algorithms for hybrid object storage devices |
| CN108701004A (zh) * | 2017-01-25 | 2018-10-23 | 华为技术有限公司 | 一种数据处理的系统、方法及对应装置 |
| CN108924203A (zh) * | 2018-06-25 | 2018-11-30 | 深圳市金蝶天燕中间件股份有限公司 | 数据副本自适应分布方法、分布式计算系统及相关设备 |
-
2018
- 2018-12-28 CN CN201811628317.4A patent/CN111385327B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137157A (zh) * | 2011-02-28 | 2011-07-27 | 浪潮(北京)电子信息产业有限公司 | 一种云存储系统及其实现方法 |
| CN104813276A (zh) * | 2012-11-26 | 2015-07-29 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
| CN104142953A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 元数据动态管理方法及系统 |
| US8849764B1 (en) * | 2013-06-13 | 2014-09-30 | DataGravity, Inc. | System and method of data intelligent storage |
| US20160170844A1 (en) * | 2013-06-13 | 2016-06-16 | DataGravity, Inc. | Live restore for a data intelligent storage system |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
| CN104317669A (zh) * | 2014-10-17 | 2015-01-28 | 南京邮电大学 | 一种云端异构存储系统及其数据副本管理方法 |
| CN104601687A (zh) * | 2015-01-07 | 2015-05-06 | 曙光信息产业股份有限公司 | 一种分发跨地域高效存储内容的方法及系统 |
| US20180107601A1 (en) * | 2015-05-21 | 2018-04-19 | Agency For Science, Technology And Research | Cache architecture and algorithms for hybrid object storage devices |
| CN107180031A (zh) * | 2016-03-09 | 2017-09-19 | 华为技术有限公司 | 分布式存储方法及装置、数据处理方法及装置 |
| CN107517243A (zh) * | 2016-06-16 | 2017-12-26 | 中兴通讯股份有限公司 | 请求调度方法及装置 |
| CN105915646A (zh) * | 2016-06-20 | 2016-08-31 | 飞天诚信科技股份有限公司 | 一种分散服务器负载的方法及装置 |
| CN106096002A (zh) * | 2016-06-22 | 2016-11-09 | 武汉大学 | 基于访问流行度和相关性的空间数据副本控制方法及系统 |
| CN106406758A (zh) * | 2016-09-05 | 2017-02-15 | 华为技术有限公司 | 一种基于分布式存储系统的数据处理方法及存储设备 |
| US20180081766A1 (en) * | 2016-09-19 | 2018-03-22 | International Business Machines Corporation | Reducing recovery time in disaster recovery/replication setup with multitier backend storage |
| CN106534308A (zh) * | 2016-11-14 | 2017-03-22 | 中国银联股份有限公司 | 一种分布式存储系统中解决数据块访问热点的方法及装置 |
| CN106850402A (zh) * | 2017-01-16 | 2017-06-13 | 腾讯科技（深圳）有限公司 | 消息的传输方法和装置 |
| CN108701004A (zh) * | 2017-01-25 | 2018-10-23 | 华为技术有限公司 | 一种数据处理的系统、方法及对应装置 |
| CN106886460A (zh) * | 2017-02-22 | 2017-06-23 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
| CN106878473A (zh) * | 2017-04-20 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 一种消息处理方法、服务器集群及系统 |
| CN107770259A (zh) * | 2017-09-30 | 2018-03-06 | 武汉理工大学 | 基于文件热度和节点负载的副本数量动态调整方法 |
| CN108924203A (zh) * | 2018-06-25 | 2018-11-30 | 深圳市金蝶天燕中间件股份有限公司 | 数据副本自适应分布方法、分布式计算系统及相关设备 |
Non-Patent Citations (4)
| Title |
|---|
| XIAOSU YI等: "Design and analysis of SpaceWire hot backup redundant network: Session networks and protocols, short paper", 《2016 INTERNATIONAL SPACEWIRE CONFERENCE (SPACEWIRE)》 * |
| 冯钧等: "基于Hadoop的访问热点副本迁移技术", 《计算机与现代化》 * |
| 马晓亮: "基于Hadoop与Flume的拒绝服务攻击检测研究", 《信息安全研究》 * |
| 龚正江等: "一种基于数据网格的动态副本管理策略研究", 《云南大学学报(自然科学版)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033565A (zh) * | 2021-03-10 | 2021-06-25 | 大象慧云信息技术有限公司 | 一种电子发票数据处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111385327B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108683720B (zh) | 一种容器集群服务配置方法及装置 | |
| CN110290217B (zh) | 数据请求的处理方法及装置、存储介质及电子装置 | |
| EP3451614B1 (en) | Dispatching method and device in content delivery network | |
| CN113568884B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
| CN106550003B (zh) | 负载均衡的控制方法、装置及系统 | |
| US11314539B2 (en) | Cloud storage based data processing method and system | |
| US11537304B2 (en) | Data verification method and apparatus, and storage medium | |
| US10993127B2 (en) | Network slice instance management method, apparatus, and system | |
| CN103457973A (zh) | 一种图片上传方法、系统、图片上传客户端及网络服务器 | |
| CN110198332B (zh) | 内容分发网络节点的调度方法、装置及存储介质 | |
| CN111245873B (zh) | 服务降级方法、装置、设备及存储介质 | |
| US11373116B2 (en) | Model parameter fusion method and apparatus | |
| US11444998B2 (en) | Bit rate reduction processing method for data file, and server | |
| CN111385327B (zh) | 数据处理方法和系统 | |
| KR101056613B1 (ko) | 무선 네트워크를 통한 단말기 컨텐츠의 자동 업로드 방법 및 그 시스템과 단말기 컨텐츠의 자동 업로드 인터페이스 서버 | |
| CN110545453B (zh) | 内容分发网络的内容发布方法、装置和系统 | |
| CN110716690B (zh) | 数据回收方法和系统 | |
| CN108156086B (zh) | 一种策略规则下发方法及装置 | |
| CN107623580B (zh) | 内容分发网络中的任务处理方法、装置和系统 | |
| CN113312159A (zh) | Kubernetes集群的负载均衡的处理方法、装置及存储介质 | |
| CN111405313A (zh) | 存储流媒体数据的方法和系统 | |
| WO2014173129A1 (en) | Mobile terminal flow identification method and apparatus | |
| KR20190119862A (ko) | 리소스 통지 메시지 전송 방법 및 이를 적용한 m2m 시스템 | |
| CN110780817B (zh) | 数据记录方法和装置、存储介质及电子装置 | |
| CN116414826A (zh) | 事件请求的处理方法、装置、存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |