CN106209926B - 一种数据更新方法和设备 - Google Patents
一种数据更新方法和设备 Download PDFInfo
- Publication number
- CN106209926B CN106209926B CN201510213538.5A CN201510213538A CN106209926B CN 106209926 B CN106209926 B CN 106209926B CN 201510213538 A CN201510213538 A CN 201510213538A CN 106209926 B CN106209926 B CN 106209926B
- Authority
- CN
- China
- Prior art keywords
- data
- update
- request message
- receiving end
- transmitting terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例公开了一种数据更新方法和设备,包括:发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;发送端将所述数据通过数据更新请求消息发送给接收端,所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端,通过数据更新请求消息和控制信息更新请求消息将数据和控制信息分别发送给接收端,利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种应用于分布式存储系统的数据更新方法和设备。
背景技术
在分布式存储系统中,会将数据块存储多个副本,每次数据块的更新需要在多个副本之间达成一致。
目前,在对多副本数据块进行数据更新时,数据更新过程由一个协调者控制。在主从副本系统中,数据更新的协调者为主副本服务器;在多个副本处于对等的系统中,协调者为数据更新客户端。更新过程为:协调者对每个数据块的更新进行定序并分配新版本,然后生成更新请求发向各副本服务器。更新请求消息包含两个部分:更新数据及控制信息。其中,控制信息部分由新版本与数据块的当前元数据构成,如数据块标识,数据块原版本,数据块新版本及其它副本服务器所需的元数据信息。各副本服务器对接收到的更新请求消息进行处理,然后回复协调者,协调者根据收到的副本服务器正常响应的个数,发出更新请求的个数及采用的数据一致性协议判定是否数据更新成功,若成功则将数据块的版本修改为新版本。
由于在数据更新过程中,基于数据块的当前版本生成新版本,版本单调递增,而且发向副本服务器的更新请求只有一个最新的版本,否则副本服务器对收到多个新版本的更新请求的处理,会大大增加多副本数据更新一致性处理的复杂度,所以,在数据更新过程中,如果协调者收到多个对同一个数据块的更新请求消息,则需要放到等待队列中,只有等到数据块当前的更新完成后,才会发送下一个更新请求消息。
为了实现数据块多副本更新的一致性,将对同一个数据块的数据更新进行定序,即为数据更新为串行执行。而数据更新的过程包含:网络传输,请求的逻辑处理,写磁盘IO几个部分;目前,磁盘部分通常可以采用固态盘,聚合写入的性能比较高,而在一次更新请求中携带多次数据更新的批处理方式,能够使一次请求处理多次数据更新,降低请求的逻辑处理延迟,所以数据更新的主要瓶颈在于网络传输开销,批处理聚合了多次数据更新,传输的数据量变大,传输等待延迟仍然较大。
发明内容
本申请实施例提供了一种数据更新方法及设备,用以实现分布式存储系统中的数据更新。
为此,本申请采用以下技术手段:
本申请实施例提供了一种数据更新的方法,应用于包含有发送端和接收端的分布式存储系统中,包括:
发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;
发送端将所述数据通过数据更新请求消息发送给接收端,由所述接收端在更新数据关系表中建立所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端,由所述接收端根据所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识查找到所述更新数据列表,并由所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新。
其中,所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端之前,所述方法还包括:所述发送端将所述数据更新请求消息携带的更新数据列表标识保存到已发送列表,从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
其中,所述发送端将所述数据通过数据更新请求消息发送给接收端,进一步包括;
所述数据包括多个子数据,所述发送端将所述多个子数据通过多个数据请求消息发送给接收端;
所述更新数据列表标识是所述多个数据更新请求消息携带的所有更新数据列表标识。
其中,所述发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息,具体包括:
所述更新请求消息中包含数据块标识,当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
本申请实施例提供了一种数据更新的方法,应用于包含有发送端和接收端的分布式存储系统中,包括:
接收端接收来自发送端的数据更新请求消息;
所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;
所述接收端根据所述控制信息更新请求以及查找到的更新数据进行数据更新。
其中,所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新,具体包括:
所述接收端将所述控制信息更新请求以及查找到的更新数据还原为更新请求消息,根据所述更新请求消息进行数据更新。
其中,所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系之后,所述方法还包括:
所述接收端为所述对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系;和/或
所述接收端为所述对应关系设置老化定时器,当接收端在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
本申请实施例提供了一种发送端,应用于包含有发送端和接收端的分布式存储系统中,包括:
获得模块,用于获得更新请求消息,并获得更新请求消息中的数据和控制信息;
发送模块,用于将所述数据通过数据更新请求消息发送给接收端,由所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述发送模块,还用于将所述控制信息通过控制信息更新请求消息发送给所述接收端,由所述接收端根据所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识查找到所述更新数据列表,并由所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新。
其中,所述发送端进一步包括:
保存模块,用于将所述数据更新请求消息携带的更新数据列表标识保存到已发送列表,并从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
其中,所述数据包括多个子数据;
所述发送模块,还用于将所述多个子数据通过多个数据请求消息发送给接收端;
所述更新数据列表标识是所述多个数据更新请求消息携带的所有更新数据列表标识。
其中,所述更新请求消息中包含数据块标识,
所述获得模块,具体用于:当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
本申请实施例提供了一种接收端,应用于包含有发送端和接收端的分布式存储系统中,包括:
接收模块,用于接收来自发送端的数据更新请求消息;
设置模块,用于在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述接收模块,还用于接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息;
查找模块,用于从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;
更新模块,用于根据所述控制信息更新请求以及查找到的更新数据进行数据更新。
其中,所述更新模块,具体用于:将所述控制信息更新请求以及查找到的更新数据还原为更新请求,根据所述更新请求进行数据更新。
其中,所述设置模块,还用于:为所述对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系;和/或
所述设置模块,还用于:为所述对应关系设置老化定时器,在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
与现有技术相比,本申请的上述实施例具有以下有益技术效果:
本申请实施例中,发送端获得更新请求消息中的数据和控制信息后,通过数据更新请求消息和控制信息更新请求消息将数据和控制信息分别发送给接收端,接收端接收来自发送端的数据更新请求消息,在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;进而利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
附图说明
图1为本申请实施例提供的数据更新方法流程示意图;
图2为本申请实施例提供另一种数据更新方法流程示意图;
图3为本申请实施例提供的一种发送端的结构示意图;
图4为本申请实施例提供的另一种发送端的结构示意图。
具体实施方式
下面结合附图对本申请的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
参见图1所示,为本申请实施例的数据更新方法流程图,包括以下步骤:
步骤S101、发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;
更新请求消息中包含数据块标识,当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
具体地,需要注意的是,数据和控制信息都来自相同的更新请求消息,即对应相同的数据块标识。更新请求中包含数据块标识,即要进行数据更新的数据块的标识,发送端获得的所有更新请求消息都存储在等待队列中,当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,即数据块标识对应的数据块正在进行数据更新,而且,等待队列中对该数据块进行更新的更新请求数量已经达到阈值,则获得所述更新请求消息中的数据和控制信息。
步骤S102、发送端将所述数据通过数据更新请求消息发送给接收端。
所述数据包括:数据块标识、更新数据列表标识以及更新数据,其中,更新数据列表标识是发送端设置的用于唯一标识本次数据更新请求消息。
发送端将数据更新请求消息携带的更新数据列表标识保存到已发送列表,从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
发送端在发送完数据更新请求消息后,将设置的更新数据列表标识保存到已发送列表,用于后续的发送控制信息请求消息时从已发送列表获得更新数据列表标识。
数据可以包括多个子数据,所述发送端将所述多个子数据通过多个数据请求消息发送给接收端,所述更新数据列表标识是所述多个数据更新请求消息携带的所有更新数据列表标识;其中,发送端获得的数据可以包括多个子数据,每个子数据均包含相同的数据块标识和各自的更新数据,当多个子数据通过多个数据更新请求发送时,每个数据更新请求携带的更新数据列表标识和更新数据都不同,发送端在发送完数据更新请求消息后,将所有的更新数据列表标识都保存到已发送列表。例如:发送端发送的所述多个数据更新请求消息中携带数据块标识、更新数据列表标识和更新数据可以如下表所示(数据更新请求消息的编号只是为了陈述方便):
表1
数据更新请求消息 | 数据块标识 | 更新数据列表标识 | 更新数据 |
数据更新请求消息1 | 数据块1 | 1.0 | 更新数据1 |
数据更新请求消息2 | 数据块1 | 1.1 | 更新数据2 |
数据更新请求消息3 | 数据块1 | 1.2 | 更新数据3 |
数据更新请求消息4 | 数据块1 | 1.3 | 更新数据4 |
其中,由上表可知,发送端发送的第一条数据更新请求消息携带了数据块标识1、更新数据列表标识1.0、和更新数据1,第二条数据更新请求消息携带了数据块标识1、更新数据列表标识1.1、和更新数据2,第三条数据更新请求消息携带了数据块标识1、更新数据列表标识1.2、和更新数据3,第二条数据更新请求消息携带了数据块标识1、更新数据列表标识1.3、和更新数据4,其中,每条数据更新请求消息中携带的数据块标识都相同,而更新数据列列表标识和更新数据都不同,而所有数据更新请求消息中携带的更新数据列表标识都保存在已发送列表,即已发送列表中保存了更新数据列表标识1.0、1.1、1.2、1.3。
步骤S103、所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端。
所述控制信息包括:数据块标识、更新数据列表标识以及新版本等信息。
其中,更新数据列表标识从已发送列表中获得,如果已发送列表中是多个更新数据列表标识,就获得所述多个更新数据列表标识。例如,上面例子,已发送列表中保存的是更新数据列表标识1.0、1.1、1.2、1.3,发送端在控制信息请求消息中携带的更新数据列表标识就为更新数据列表标识1.0、1.1、1.2、1.3。例如,发送端发送的控制信息更新请求消息中携带数据块标识、更新数据列表标识如下表所示:
表2
控制信息更新请求消息 | 数据块标识 | 更新数据列表标识 |
控制信息更新请求消息 | 1 | 1.0、1.1、1.2、1.3 |
需要提醒注意的是,发送端接收到数据块标识所对应的数据块完成数据更新的响应消息时,如果数据更新请求消息没有发送完,那么,可以继续将未发送完的数据更新请求消息发送给接收端,按照本申请的技术方案继续处理;也可以按照现有技术的方案,将剩下的数据更新请求消息和控制信息更新请求消息合并还原为更新请求消息,发送给接收端。
与现有技术相比,本申请的上述实施例具有以下有益技术效果:
本申请实施例中,发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;发送端将所述数据通过数据更新请求消息发送给接收端,所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端,通过数据更新请求消息和控制信息更新请求消息将数据和控制信息分别发送给接收端,利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
参见图2所示,为本申请实施例的另一种数据更新方法流程图,包括以下步骤:
S201、接收端接收来自发送端的数据更新请求消息。
S202、所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
具体地,数据更新请求消息中携带数据块标识、更新数据列表标识和更新数据,其中,更新数据列表标识为发送端在发送数据更新请求消息时设置的,用于唯一标识本次数据更新请求消息;如下面的更新数据关系表,记录了数据块标识、更新数据列表标识和更新数据的对应关系:
表3
数据块标识 | 更新数据列表标识 | 更新数据 |
1 | 1.0 | 更新数据1 |
1 | 1.1 | 更新数据2 |
1 | 1.2 | 更新数据3 |
1 | 1.3 | 更新数据4 |
由上表可知,接收端在更新数据关系表中设置了第一条数据更新请求消息携带了数据块标识1、更新数据列表标识1.0、和更新数据1的对应关系,设置了第二条数据更新请求消息携带了数据块标识1、更新数据列表标识1.1、和更新数据2的对应关系,设置了第三条数据更新请求消息携带了数据块标识1、更新数据列表标识1.2、和更新数据3的对应关系,设置了第二条数据更新请求消息携带了数据块标识1、更新数据列表标识1.3、和更新数据4的对应关系。
优选地,接收端还可以在更新数据关系表中对设置的对应关系进行删除处理,以及时清理无效的更新数据。接收端在更新数据关系表中对设置的对应关系进行删除包括以下三种方式:
方式一、接收端在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为该对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系。
方式二、接收端在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为该对应关系设置老化定时器,当接收端在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
方式三、接收端在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为该对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系,和当接收端在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
S203、接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据。
控制信息通过控制信息更新请求消息发送给接收端,数据更新请求消息对应的控制信息更新请求消息即与数据更新请求消息中的数据来自同一个更新请求消息的控制信息对应的控制信息更新请求消息,其中控制信息更新请求消息中携带的数据块标识即为数据更新请求消息中携带的数据块标识,更新数据列表标识为数据更新请求消息中携带的更新数据列表标识,发送端在发送数据更新请求消息后,将设置的数据更新列表标识保存到已发送列表,在发送控制信息更新请求消息时,从已发送列表获得数据更新列表标识。例如,控制信息更新请求携带的更新数据列表标识1.0、1.1、1.2、1.3,数据块标识1,则接收端根据更新数据列表标识和数据块标识查找到的更新数据为更新数据1、更新数据2、更新数据3、更新数据4。
需要注意的是,一条控制信息更新请求消息可能会对应多个数据更新请求消息,一个控制信息更新请求消息中可以包含多个更新数据列表标识,因此,根据一个控制信息更新请求消息中的数据块标识和更新数据列表标识,会查找到多个更新数据。
S104、所述接收端根据所述控制信息更新请求以及查找到的更新数据进行数据更新。
所述接收端将所述控制信息更新请求以及查找到的更新数据还原为更新请求消息,根据所述更新请求消息进行数据更新。
优选地,接收端进行完数据更新后,对发送端进行响应。
与现有技术相比,本申请的上述实施例具有以下有益技术效果:
本申请实施例中,接收端接收来自发送端的数据更新请求消息;所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;所述接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;所述接收端根据所述控制信息更新请求以及查找到的更新数据进行数据更新,利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
本申请实施例还提供一种发送端,参见图3所示,为本申请实施例提供的发送端的结构示意图,该发送端应用于分布式存储系统,包括:
获得模块31,用于获得更新请求消息,并获得更新请求消息中的数据和控制信息。
所述更新请求消息中包含数据块标识,
所述获得模块,具体用于:当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
发送模块32,用于将所述数据通过数据更新请求消息发送给接收端。
发送模块32,还用于将所述控制信息通过控制信息更新请求消息发送给所述接收端。
保存模块33,用于将所述数据更新请求消息携带的更新数据列表标识保存到已发送列表,并从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
本申请实施例中,发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;发送端将所述数据通过数据更新请求消息发送给接收端,所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端,通过数据更新请求消息和控制信息更新请求消息将数据和控制信息分别发送给接收端,利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
本申请实施例还提供一种接收端,参见图4所示,为本申请实施例提供的接收端的结构示意图,该发送端应用于分布式存储系统,包括:
接收模块41,用于接收来自发送端的数据更新请求消息。
设置模块42,用于在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系。
所述设置模块42还可以在更新数据关系表中对设置的对应关系进行删除处理,以及时清理无效的更新数据。所述设置模块在更新数据关系表中对设置的对应关系进行删除包括以下三种方式:
方式一:所述设置模块42在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为所述对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系。
方式二:所述设置模块42在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为所述对应关系设置老化定时器,在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
方式三:所述设置模块42在设置数据块标识、更新数据列表标识和更新数据的对应关系时,为该对应关系设置老化定时器,当所述老化表超时时,从所述更新数据关系表中删除所述对应关系,和当接收端在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
所述接收模块41,还用于接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息。
查找模块43,用于从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据。
更新模块44,用于根据所述控制信息更新请求以及查找到的更新数据进行数据更新。
所述更新模块44,具体用于:将所述控制信息更新请求以及查找到的更新数据还原为更新请求,根据所述更新请求进行数据更新。
与现有技术相比,本申请的上述实施例具有以下有益技术效果:
本申请实施例中,接收端接收来自发送端的数据更新请求消息;所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;所述接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;所述接收端根据所述控制信息更新请求以及查找到的更新数据进行数据更新,利用接收端进行数据更新的时间传输更新请求消息中的数据,大幅降低数据更新过程中数据传输的等待时间,从而降低数据更新延迟,提高系统性能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
本领域技术人员可以理解,实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本申请的保护范围。
Claims (14)
1.一种数据更新的方法,应用于包含有发送端和接收端的分布式存储系统中,其特征在于,该方法包括:
发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息;
发送端将所述数据通过数据更新请求消息发送给接收端,由所述接收端在更新数据关系表中建立所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端,由所述接收端根据所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识查找到所述更新数据关系表,并由所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新;
其中,所述更新数据列表标识是所述发送端设置的,用于唯一标识本次数据更新请求消息。
2.如权利要求1所述的方法,其特征在于,所述发送端将所述控制信息通过控制信息更新请求消息发送给所述接收端之前,所述方法还包括:
所述发送端将所述数据更新请求消息携带的更新数据列表标识保存到已发送列表,用于后续发送所述控制信息更新请求消息时从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
3.如权利要求1或2所述的方法,其特征在于,所述发送端将所述数据通过数据更新请求消息发送给接收端,进一步包括;
所述数据包括多个子数据,所述发送端将所述多个子数据通过多个数据更新请求消息发送给接收端;
所述更新数据列表标识是所述多个数据更新请求消息携带的所有更新数据列表标识。
4.如权利要求1所述的方法,其特征在于,所述发送端获得更新请求消息,并获得所述更新请求消息中的数据和控制信息,具体包括:
所述更新请求消息中包含数据块标识,当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
5.一种数据更新的方法,应用于包含有发送端和接收端的分布式存储系统中,其特征在于,该方法包括:
接收端接收来自发送端的数据更新请求消息;
所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述接收端接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息,从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;
所述接收端根据所述控制信息更新请求以及查找到的更新数据进行数据更新;
其中,所述更新数据列表标识是所述发送端设置的,用于唯一标识本次数据更新请求消息。
6.如权利要求5所述的方法,其特征在于,所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新,具体包括:
所述接收端将所述控制信息更新请求以及查找到的更新数据还原为更新请求消息,根据所述更新请求消息进行数据更新。
7.如权利要求5所述的方法,其特征在于,所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系之后,所述方法还包括:
所述接收端为所述对应关系设置老化定时器,当所述老化定时器超时时,从所述更新数据关系表中删除所述对应关系;和/或
所述接收端为所述对应关系设置老化定时器,当接收端在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
8.一种发送端,应用于包含有发送端和接收端的分布式存储系统中,其特征在于,包括:
获得模块,用于获得更新请求消息,并获得更新请求消息中的数据和控制信息;
发送模块,用于将所述数据通过数据更新请求消息发送给接收端,由所述接收端在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述发送模块,还用于将所述控制信息通过控制信息更新请求消息发送给所述接收端,由所述接收端根据所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识查找到所述更新数据关系表,并由所述接收端根据所述控制信息更新请求消息以及查找到的更新数据进行数据更新;
其中,所述更新数据列表标识是所述发送端设置的,用于唯一标识本次数据更新请求消息。
9.如权利要求8所述的发送端,其特征在于,所述发送端进一步包括:
保存模块,用于将所述数据更新请求消息携带的更新数据列表标识保存到已发送列表,以便所述发送模块后续发送所述控制信息更新请求消息时从所述已发送列表中获取所述数据更新请求消息携带的更新数据列表标识。
10.如权利要求8或9所述的发送端,其特征在于,
所述数据包括多个子数据;
所述发送模块,还用于将所述多个子数据通过多个数据更新请求消息发送给接收端;
所述更新数据列表标识是所述多个数据更新请求消息携带的所有更新数据列表标识。
11.如权利要求8所述的发送端,其特征在于,
所述更新请求消息中包含数据块标识,
所述获得模块,具体用于:当发送端判断数据块标识所对应的更新请求消息数量达到设定的阈值时,获得所述更新请求消息中的数据和控制信息。
12.一种接收端,应用于包含有发送端和接收端的分布式存储系统中,其特征在于,包括:
接收模块,用于接收来自发送端的数据更新请求消息;
设置模块,用于在更新数据关系表中设置所述数据更新请求消息携带的数据块标识、更新数据列表标识和更新数据的对应关系;
所述接收模块,还用于接收来自所述发送端的所述数据更新请求消息对应的控制信息更新请求消息;
查找模块,用于从所述更新数据关系表中查找到所述控制信息更新请求消息中携带的数据块标识和更新数据列表标识对应的更新数据;
更新模块,用于根据所述控制信息更新请求以及查找到的更新数据进行数据更新;
其中,所述更新数据列表标识是所述发送端设置的,用于唯一标识本次数据更新请求消息。
13.如权利要求12所述的接收端,其特征在于,
所述更新模块,具体用于:将所述控制信息更新请求以及查找到的更新数据还原为更新请求,根据所述更新请求进行数据更新。
14.如权利要求12所述的接收端,其特征在于,
所述设置模块,还用于:为所述对应关系设置老化定时器,当所述老化定时器超时时,从所述更新数据关系表中删除所述对应关系;和/或
所述设置模块,还用于:为所述对应关系设置老化定时器,在所述更新数据关系表占用的内存超过预设的内存占用阈值时,删除所述更新数据关系表中占用内存最大的对应关系,或者删除建立时间最久的对应关系。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510213538.5A CN106209926B (zh) | 2015-04-30 | 2015-04-30 | 一种数据更新方法和设备 |
TW104142100A TWI693547B (zh) | 2015-04-30 | 2015-12-15 | 一種資料更新方法和設備 |
US15/098,132 US10761724B2 (en) | 2015-04-30 | 2016-04-13 | System, method, and apparatus for updating data in a distributed storage system |
PCT/US2016/027322 WO2016176045A1 (en) | 2015-04-30 | 2016-04-13 | System, method, and apparatus for updating data in a distributed storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510213538.5A CN106209926B (zh) | 2015-04-30 | 2015-04-30 | 一种数据更新方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106209926A CN106209926A (zh) | 2016-12-07 |
CN106209926B true CN106209926B (zh) | 2019-06-21 |
Family
ID=57199324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510213538.5A Active CN106209926B (zh) | 2015-04-30 | 2015-04-30 | 一种数据更新方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10761724B2 (zh) |
CN (1) | CN106209926B (zh) |
TW (1) | TWI693547B (zh) |
WO (1) | WO2016176045A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108255848B (zh) * | 2016-12-29 | 2022-06-24 | 阿里巴巴集团控股有限公司 | 实现条件更新的方法、设备及系统 |
CN110096295B (zh) * | 2019-05-08 | 2023-08-08 | 吉旗(成都)科技有限公司 | 基于ReactNative的多模块移动应用的热更新方法及系统 |
DE102019217035B4 (de) | 2019-11-05 | 2021-11-25 | Continental Automotive Gmbh | Verfahren zur Sicherung der Zeitsynchronisation in einem Netzwerk gegen unautorisierte Änderungen |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103036717A (zh) * | 2012-12-12 | 2013-04-10 | 北京邮电大学 | 分布式数据的一致性维护系统和方法 |
CN103294675A (zh) * | 2012-02-23 | 2013-09-11 | 上海盛霄云计算技术有限公司 | 一种分布式存储系统中的数据更新方法及装置 |
CN103379129A (zh) * | 2012-04-12 | 2013-10-30 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、服务器及分布式系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4095352B2 (ja) * | 2002-06-14 | 2008-06-04 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及び当該制御方法を実行するためのコンピュータプログラム |
JP3787535B2 (ja) * | 2002-06-18 | 2006-06-21 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2004126716A (ja) * | 2002-09-30 | 2004-04-22 | Fujitsu Ltd | 広域分散ストレージシステムを利用したデータ格納方法、その方法をコンピュータに実現させるプログラム、記録媒体、及び広域分散ストレージシステムにおける制御装置 |
JP4544417B2 (ja) * | 2005-01-06 | 2010-09-15 | 日本電気株式会社 | リスト管理サーバ、リスト管理システム、リスト管理方法およびプログラム |
WO2010137064A1 (en) * | 2009-05-26 | 2010-12-02 | Hitachi, Ltd. | Information processing system and data backup method in information processing system |
US20110179057A1 (en) * | 2010-01-18 | 2011-07-21 | Microsoft Corporation | Database engine throttling |
US9054920B2 (en) * | 2011-03-31 | 2015-06-09 | Alcatel Lucent | Managing data file transmission |
-
2015
- 2015-04-30 CN CN201510213538.5A patent/CN106209926B/zh active Active
- 2015-12-15 TW TW104142100A patent/TWI693547B/zh active
-
2016
- 2016-04-13 US US15/098,132 patent/US10761724B2/en active Active
- 2016-04-13 WO PCT/US2016/027322 patent/WO2016176045A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103294675A (zh) * | 2012-02-23 | 2013-09-11 | 上海盛霄云计算技术有限公司 | 一种分布式存储系统中的数据更新方法及装置 |
CN103379129A (zh) * | 2012-04-12 | 2013-10-30 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、服务器及分布式系统 |
CN103036717A (zh) * | 2012-12-12 | 2013-04-10 | 北京邮电大学 | 分布式数据的一致性维护系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
US10761724B2 (en) | 2020-09-01 |
TW201702858A (zh) | 2017-01-16 |
US20160320974A1 (en) | 2016-11-03 |
CN106209926A (zh) | 2016-12-07 |
WO2016176045A1 (en) | 2016-11-03 |
TWI693547B (zh) | 2020-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230144062A1 (en) | Method for computational-power sharing and related device | |
CN108712506B (zh) | 区块链节点通信方法、装置及区块链节点 | |
CN109462631B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
CN106209926B (zh) | 一种数据更新方法和设备 | |
CN110888735A (zh) | 基于一致性哈希的分布式消息分发方法、装置和调度节点 | |
CN110727738A (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
US11444998B2 (en) | Bit rate reduction processing method for data file, and server | |
CN107105501B (zh) | 一种基于网络分片的寻呼方法、装置和系统 | |
CN116028196A (zh) | 数据处理方法、装置及存储介质 | |
CN108924883B (zh) | 一种接入网络切片的方法和装置 | |
CN105472628B (zh) | 扩展wlan id个数的方法及装置 | |
CN104780120A (zh) | 一种局域网中文件传输的方法和装置 | |
CN105610921B (zh) | 一种集群下基于数据缓存的纠删码归档方法 | |
CN103747484A (zh) | 一种rim流程系统信息处理方法和服务节点设备 | |
CN111711791A (zh) | 数据处理方法及装置 | |
US10349344B2 (en) | Network element selection method and network element selector | |
WO2019119962A1 (zh) | 信息处理方法、系统、终端和计算机存储介质 | |
CN112784139B (zh) | 查询方法、装置、电子设备和计算机可读介质 | |
CN104602047A (zh) | Epg数据的分享方法、服务器、终端及系统 | |
CN105991450A (zh) | Mac地址表更新方法及装置 | |
JPWO2006043411A1 (ja) | 通信装置および端末存在確認方法 | |
CN109246686B (zh) | 基于云端技术的多卡用户通讯录更新方法及装置 | |
WO2020113434A1 (zh) | 处理时间记录的方法和装置 | |
CN106202373A (zh) | 多终端数据处理方法及数据服务器 | |
WO2018228343A1 (zh) | 道路救援方法及应用服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |