CN106612317A - 词典同步方法及服务器 - Google Patents
词典同步方法及服务器 Download PDFInfo
- Publication number
- CN106612317A CN106612317A CN201610264989.6A CN201610264989A CN106612317A CN 106612317 A CN106612317 A CN 106612317A CN 201610264989 A CN201610264989 A CN 201610264989A CN 106612317 A CN106612317 A CN 106612317A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- information
- items
- value
- new block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
- G06F16/1752—De-duplication implemented within the file system, e.g. based on file segments based on file chunks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明公开了一种词典同步方法及服务器。本发明一实施例的词典同步方法包括以下步骤:将新块文件的条目信息和表示条目信息是否有效的标志值登记到发送服务器的词典中;将新块文件的条目信息存储在发送服务器的临时词典中;向接收服务器传送新块文件的条目信息;以及如果接收到关于新块文件的条目信息已被登记到接收服务器的词典中的确认信号,则删除存储在临时词典中的新块文件的条目信息。
Description
技术领域
本发明涉及一种去除数据重复的词典同步方法,更详细而言,涉及一种在从接收代理服务器接收条目信息登记信号之后,通过更新发送侧词典而能够提前防止词典信息不一致的情况的去除数据重复的词典同步方法。
背景技术
去除数据重复(Deduplication)是指如下技术:通过在彼此不同的数据之间检测出重复的部分并去除重复的部分,从而不仅可提高贮存器应用效率,而且可减少数据传送时产生的通信量。
另外,在两个代理服务器构成一对的“成对代理(Paired-Proxy)”结构中,为了利用通过去除重复数据而收发的块文件来恢复原始数据,需要先进行词典(Dictionary)信息的同步。
图1和图2是用于说明通过去除数据重复进行的数据收发方法及在词典信息未被同步时产生的问题的图。
图1的第一代理服务器10可已存储有第一块文件11至第五块文件15和各块文件的条目信息例如各块文件的哈希值。
同样,第二代理服务器20中可已存储有第一块文件11至第三块文件13及第六块文件16和各块文件的哈希值。
此时,当第一代理服务器10将第一数据30传送给第二代理服务器20时,向第二代理服务器20传送与第一数据30对应的各哈希值而不是传送数据本身。
接收到与第一数据30对应的哈希值的第二代理服务器20可通过检索与各哈希值对应的块文件来恢复原始数据。即,通过仅传送与该数据自身相比容量较小的哈希值而不是传送数据本身,可实现能够减少传送通信量的效果。
但是,在通过上述的方法进行的数据传送方法的情况下,如果存储在第一代理服务器10和第二代理服务器20中的词典信息即块文件和关于该块文件的信息未被同步,则产生无法恢复原始数据的问题。
例如,在第一代理服务器10向第二代理服务器20传送第二数据40的情况下,由于关于第五块文件15的词典信息未被同步,因此以第一块文件11和第五块文件的哈希值形式接收数据的第二代理服务器20无法恢复作为原始数据的第二数据40。
词典信息不一致会在如图2的情况下发生。
在生成第一新块文件的情况下,第一代理服务器10将关于第一新块文件的条目(entry)信息登记到词典中(S21)。在此,条目(entry)信息可以是新生成的第一新块文件的哈希值。
将第一新块文件的条目信息登记到词典中的第一代理服务器10向第二代理服务器20传送关于第一新块文件的信息(S22)。接收到关于第一新块文件的信息的第二代理服务器20将该信息存储在词典中(S23)。
之后,如果生成又一第二新块文件,则第一代理服务器10将第二新块文件的条目信息存储在词典中(S24),并将该条目信息传送给第二代理服务器20(S25)。
此时,如果第一代理服务器10和第二代理服务器20非正常结束,则产生如下情况(S26):关于第二新块文件的信息仅被登记到第一代理服务器10的词典中,而在第二代理服务器20中不会被登记。
因此,之后,由于接收到关于第二新块文件的哈希值的第二代理服务器20中未存储有第二新块文件的哈希值,因此第二代理服务器20无法恢复包含有第二新块文件的原始数据。
鉴于此,需要提出如下新形式的词典信息同步方法,即该方法能够提前防止在发送侧代理服务器和接收侧代理服务器中词典信息不一致的状况。
现有技术文献
专利文献:美国授权专利8,937,561
发明内容
本发明是为了实现上述的目的而提出的,本发明的目的在于提供一种词典同步方法,该方法能够提前防止在发送侧服务器与接收侧服务器之间词典信息的不一致。
本发明的技术问题并不限定于以上所提及的技术问题,本领域技术人员能够从下面的记载中明确理解没有提及的其它技术问题。
为了实现上述的目的,本发明一实施例的在发送服务器与接收服务器之间对词典进行同步的方法包括以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;将所述新块文件的条目信息存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则删除存储在所述临时词典中的所述新块文件的条目信息。
根据本发明一实施例,将表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤可包括:以使所述标志值具有表示所述条目信息有效的值的方式将所述标志值登记到所述发送服务器的词典中。
根据本发明一实施例,进一步可包括以下步骤:如果未接收到所述确认信号,则在所述临时词典中维持所述新块文件的条目信息,并变更所述标志值使之具有表示所述条目信息无效的值。
根据本发明一实施例,进一步可包括以下步骤:向所述接收服务器再传送存储在所述临时词典中的所述新块文件的条目信息。
本发明又一实施例的在发送服务器与接收服务器之间对词典进行同步的方法包括以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更所述标志值。
根据本发明一实施例,将所述标志值登记到所述发送服务器的词典中的步骤可包括:以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值登记到所述发送服务器的词典中。
根据本发明一实施例,变更所述标志值的步骤可包括:以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
根据本发明一实施例,将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤进一步可包括:将批号登记到所述发送服务器的词典中,所述批号是分配给包含有多个新块文件的组的标识符。
根据本发明一实施例,变更所述标志值的步骤可包括:如果接收到关于被分配相同批号的多个新块文件已被登记到所述接收服务器的词典中的确认信号,则变更与所述批号对应的所述多个新块文件的标志值。
本发明又一实施例的在发送服务器与接收服务器之间对词典进行同步的方法包括以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;接收关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号;以及如果与所述接收服务器之间的通信对话结束,则变更接收到所述确认信号的新块文件的标志值。
根据本发明的一实施例,将所述标志值登记到所述发送服务器的词典中的步骤可包括:以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值登记到所述发送服务器的词典中。
根据本发明一实施例,变更所述标志值的步骤可包括:以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
根据本发明一实施例,将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤进一步可包括:将批号登记到所述发送服务器的词典中,所述批号是分配给包含有多个新块文件的组的标识符。
根据本发明一实施例,变更所述标志值的步骤可包括:如果接收到关于被分配相同批号的多个新块文件已被登记到所述接收服务器的词典中的确认信号,则变更与所述批号对应的所述新块文件的标志值。
本发明又一实施例的在发送服务器与接收服务器之间对词典进行同步的方法包括以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更存储在所述临时词典中的所述标志值;以及如果与所述接收服务器之间的通信对话结束,则将所述标志值已变更的所述新块文件的条目信息登记到所述发送服务器的词典中。
根据本发明一实施例,将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中的步骤可包括以下步骤:以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值存储在所述发送服务器的临时词典中。
根据本发明一实施例,变更存储在所述临时词典中的所述标志值的步骤可包括:以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
本发明一实施例的服务器包括:一个以上的处理器;存储器,用于加载(load)由所述处理器执行的计算机程序;以及贮存器,用于存储对词典进行同步的计算机程序,所述计算机程序包括以下操作:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;将所述新块文件的条目信息存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则删除存储在所述临时词典中的所述新块文件的条目信息。
本发明又一实施例的服务器包括:一个以上的处理器;存储器,用于加载(load)由所述处理器执行的计算机程序;以及贮存器,用于存储对词典进行同步的计算机程序,所述计算机程序包括以下操作:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更所述标志值。
本发明又一实施例的服务器包括:一个以上的处理器;存储器,用于加载(load)由所述处理器执行的计算机程序;以及贮存器,用于存储对词典进行同步的计算机程序,所述计算机程序包括以下操作:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;接收关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号;以及如果与所述接收服务器之间的通信对话结束,则变更接收到所述确认信号的新块文件的标志值。
本发明又一实施例的服务器包括:一个以上的处理器;存储器,用于加载(load)由所述处理器执行的计算机程序;以及贮存器,用于存储对词典进行同步的计算机程序,所述计算机程序包括以下操作:将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更存储在所述临时词典中的所述标志值;以及如果与所述接收服务器之间的通信对话结束,则将所述标志值已变更的所述新块文件的条目信息登记到所述发送服务器的词典中。
根据上述的本发明的实施例的词典同步方法,可实现如下效果:由于通过接收条目信息已被正常登记的确认信号来对词典进行管理,因此能够提前防止因在收发服务器之间产生词典信息不一致的情况而在数据传送中发生错误。
附图说明
图1和图2是用于说明通过去除数据重复进行的数据收发方法及在词典信息未被同步时产生的问题的图。
图3是用于说明根据第一实施例对词典进行同步的方法的流程图。
图4是用于说明在第一实施例中未接收到确认信号的情况的流程图。
图5是用于说明根据第二实施例对词典进行同步的方法的流程图。
图6是用于说明在第二实施例中通过接收关于多个块文件的确认信号来对词典进行同步的方法的流程图。
图7是用于说明根据第三实施例对词典进行同步的方法的流程图。
图8是用于说明在第三实施例中通过接收关于多个块文件的确认信号来对词典进行同步的方法的流程图。
图9是用于说明根据第四实施例对词典进行同步的方法的流程图。
图10是用于说明本发明一实施例的服务器1000的功能方框图。
具体实施方式
下面,参照附图,对本发明的优选实施例进行详细说明。参照附图的同时参照详细地后述的实施例,本发明的优点及特征以及实现这些的方法将会明确。但是,本发明并不限定于以下所公开的实施例,而是可以以彼此不同的多种方式实现,本实施例仅仅用于完整地公开本发明,并且为了向本发明所属技术领域的技术人员完整地告知本发明的范围而提供的,本发明仅由权利要求的范围定义。在说明书全文中相同的附图标记指相同的结构要素。
如果没有其它定义,则在本说明书中所使用的所有用语(包括技术用语及科技用语)能够以本发明所属技术领域的技术人员共同理解的含义使用。另外,一般来讲,在所使用的词典中定义的用语只要没有被明确地特别定义,就不理想地或过度地解释。
此外,在本说明书中,单数形式只要在句子中未特别提及就可以包括复数形式。在说明书中使用的“包括(comprises)”和/或“包含(comprising)”并不排除提及的结构要素、步骤、动作和/或元素之外的一个以上的其它结构要素、步骤、动作和/或元素的存在或附加。
下面,为了明确说明发明,以如下方式定义用语。
条目(Entry)信息
用于识别为了去除数据重复(Deduplication)而生成的块文件(Chunk File)的信息。例如,条目信息中可包含有块文件和该块文件的哈希值(Hash Value)。
因此,即使在仅接收关于任意块文件的哈希值的情况下,也可以利用条目信息来识别与该哈希值对应的块文件为何种块文件。
词典(Dictionary)
词典是指条目信息的集合。为了通过去除数据重复来收发数据,关于多个块文件的条目信息需要已存储在收发侧服务器中,关于多个块文件的条目信息的集合就是词典。
在生成新块文件的情况下,只有新块文件的条目信息更新到词典中,并且已更新的词典被同步到收发侧服务器,才能进行通过去除数据重复进行的数据收发。
第一实施例
图3是用于说明根据第一实施例对词典进行同步的方法的流程图。
下面,发送服务器300和接收服务器400可以是代理服务器,但并不限定于此,也可以利用可通过去除数据重复而收发数据的一般的服务器来实现。
如果生成新块文件,则发送服务器300将新块文件的条目信息与标志值一同登记在词典中(S310)。标志值为表示该条目信息是否有效的值,如果该条目信息为有效值,则可存储为“flag=true”,并且在该条目信息不是有效值的情况下,可存储为“flag=false”。
即,由于“flag=false”的条目信息是指未被登记到接收服务器400中的条目信息,因此可判断为与该条目信息对应的块文件无法用于去除数据重复中。初始标志值可以以“flag=true”的状态登记到词典中。
之后,发送服务器300将新块文件的条目信息存储在临时词典中(S320)。在此,临时词典可存储在如缓冲器或存储器的临时存储介质中。
如果上述的过程结束,则发送服务器300将新块文件传送给接收服务器400(S330)。与发送服务器300相同,接收到新块文件的接收服务器400将新块文件与标志值一同登记到词典中(S340)。
之后,将用于通知新块文件的条目信息已被正常登记到词典中的确认信号传送给发送服务器300(S350)。
接收到确认信号(S360)的发送服务器300判断为新块文件的条目信息已被正常登记到接收服务器400中,从而从临时词典中删除新块文件的条目信息(S360)。
由于已被正常登记到接收服务器400中的新块文件的标志值维持表示该新块文件的条目信息已被正常登记到接收服务器400中的“flag=true”值,因此随后在发送服务器300传送包含有新块文件的数据时,传送与新块文件对应的哈希值,从而可在接收服务器400中恢复新块文件。
相反,可产生如下情况:在保持从接收服务器400未接收到用于通知已正常登记新块文件的条目信息的确认信号的状态下,与接收服务器400之间的通信结束。
图4是用于说明在第一实施例中未接收到确认信号的情况的流程图。
如果生成新块文件,则将该新块文件的条目信息和标志值登记到词典中(S410),将条目信息存储在临时词典中(S420),并将新块文件传送给接收服务器400的过程(S430)与图3中所说明的过程相同,因此省略重复的说明。
可发生尽管发送服务器300将新块文件传送给了接收服务器400但因从接收服务器400未接收到关于新块文件的条目信息已被正常登记的确认信号而通信结束的情况(S440)。
此时,发送服务器300变更登记到词典中的新块文件的标志值(S450)。具体来讲,发送服务器300将未接收到确认信号的块文件的标志值变更为“flag=false”值。
因此,由于发送服务器300能确认标志值为false的块文件的条目信息未被登记到接收服务器400中,因此当向接收服务器400传送该块文件时,发送服务器300传送文件自身而不是哈希值。
此外,由于在临时词典中存储未被正常登记到接收服务器400中的块文件的条目信息,因此随后为了对词典进行同步,可将存储在临时词典中的条目信息再传送给接收服务器400。
如上述,由于通过从接收服务器400接收关于新块文件的条目信息已被正常登记的确认信号来管理词典,因此可实现如下效果:能够提前防止在收发服务器之间发生词典信息不一致的情况而在数据传送中发生错误。
第二实施例
图5是用于说明根据第二实施例对词典进行同步的方法的流程图。
如果生成了新块文件,则发送服务器300将新块文件的条目信息与标志值一同登记到词典中(S510)。此时,初始标志值被存储为表示条目信息无效的“flag=false”。
之后,发送服务器300向接收服务器400传送新块文件(S520)。接收到新块文件的接收服务器400将新块文件和新块文件的条目信息登记到词典中(S530)。
接收服务器400向发送服务器300传送用于通知新块文件和新块文件的条目信息已被正常登记到词典中的确认信号(S540)。
如果接收到确认信号,则发送服务器300变更新块文件的标志值。具体来讲,将标志值变更为表示新块文件的条目信息为有效值的“flag=true”(S550)。
即,不管发送服务器300与接收服务器400之间是否结束通信对话,如果从接收服务器400接收到确认信号,则变更新块文件的标志值。
另外,在上述的实施例中举例说明了从接收服务器400按各块文件接收确认信号的情况,但也可以以如下方式实现:对多个新块文件赋予相同批号,并通过接收关于该批号的确认信号来变更与该批号对应的新块文件的标志值。
图6是用于说明在第二实施例中通过接收关于多个块文件的确认信号来对词典进行同步的方法的流程图。
批号可以是分配给包含多个新块文件的组的标识符。例如,在生成了新块文件A和B的情况下,可将A和B指定为一个组,并对该组赋予“LOT#1”这一标识符。
另外,在第二实施例中,将新块文件的条目信息、标志值和分配给新块文件的批号一同登记到词典中(S610)。此时,初始标志值被登记为“flag=false”。
之后,发送服务器300将被分配相同批号的多个新块文件传送给接收服务器400(S620)。接收到被分配相同批号的多个新块文件的接收服务器400将接收的多个新块文件和该条目信息登记到词典中(S630),并将用于通知被分配相同批号的新块文件已被正常登记到接收服务器400的词典中的确认信号传送给发送服务器300(S640)。
即,确认信号中包含有批号,接收到该确认信号的发送服务器300可判断为与包含在确认信号中的批号对应的块文件已被正常登记到接收服务器400。
接收到确认信号的发送服务器300变更与批号对应的块文件的标志值(S650)。具体来讲,可将初始被设定为“flag=false”的标志值变更为“flag=true”。
如上所述,如果接收包含有批号的确认信号,则仅接收到一次确认信号也能变更关于多个块文件的标志值,因此与每当块文件被正常登记到接收服务器400中时接收确认信号的情况相比,可实现能减少不必要的通信量的效果。
第三实施例
图7是用于说明根据第三实施例对词典进行同步的方法的流程图。
如果生成了新块文件,则发送服务器300将新块文件的条目信息与标志值一同登记到词典中(S710)。此时,初始标志值被存储为表示条目信息无效的“flag=false”。
之后,发送服务器300将新块文件传送给接收服务器400(S720)。接收到新块文件的接收服务器400将新块文件和新块文件的条目信息登记到词典中(S730)。
接收服务器400将用于通知新块文件和新块文件的条目信息已被正常登记到词典中的确认信号传送给发送服务器300(S740)。
发送服务器300先临时存储接收到确认信号的新块文件的列表,并在与接收服务器400之间的通信对话结束后(S750),变更接收到确认信号的新块文件的标志值(S760)。
即,如果每当接收到确认信号时变更新块文件的标志值,则也有可能产生不必要的负荷,因此在通信对话结束之后一并变更接收到确认信号的新块文件的标志值。
另外,也可以以如下方式实现:通过接收关于批号的确认信号,一并变更属于被分配批号的组的新块文件的标志值。
图8是用于说明在第三实施例中通过接收关于多个块文件的确认信号来对词典进行同步的方法的流程图。
由于在图6中对批号进行了详细说明,因此省略重复的说明。
发送服务器300将新块文件的条目信息、标志值和分配给新块文件的批号登记到词典中(S810)。此时,初始标志值被登记为“flag=false”。
之后,发送服务器300将被分配相同批号的多个新块文件传送给接收服务器400(S820)。接收到被分配相同批号的多个新块文件的接收服务器400将接收的多个新块文件及其条目信息登记到词典中(S830),并将用于通知被分配相同批号的新块文件已被正常登记到接收服务器400的词典中的确认信号传送给发送服务器300(S840)。
发送服务器300先临时存储接收到确认信号的批号列表,并在与接收服务器400之间的通信对话结束后(S850),变更被分配接收到确认信号的批号的新块文件的标志值(S860)。
例如,如果接收到关于“LOT#1”的确认信号并与接收服务器400之间的通信对话结束,则可将关于被分配“LOT#1”的块文件A、B的标志值变更为“flag=true”。
第四实施例
图9是用于说明根据第四实施例对词典进行同步的方法的流程图。
发送服务器300将新块文件的条目信息与标志值一同存储在临时词典中(S910)。此时,初始标志值被存储为“flag=false”。此时,临时词典为如缓冲器或存储器那样用于临时存储新块文件的条目信息和标志值的词典。
如果发送服务器300将新块文件传送给接收服务器400(S920),则接收服务器400将新块文件的条目信息登记到词典中(S930)。之后,接收服务器400将关于新块文件的条目信息已被正常登记的确认信号传送给发送服务器300。
接收到确认信号的发送服务器300将存储在临时词典中的新块文件的标志值变更为“flag=true”(S950)。
如果以存储在临时词典中的新块文件的标志值为“flag=true”的状态结束通信对话(S960),则发送服务器300将“flag=true”的新块文件的条目信息登记到词典中(S970)。
即,由于先将新块文件的条目信息临时存储在临时词典中,并在通信结束之后将标志值为“flag=true”的新块文件的条目信息一并登记到词典中,因此可实现能够减少不必要的通信量的效果。
图10是用于说明本发明一实施例的服务器1000的功能方框图。
本发明一实施例的服务器1000包括处理器1010、贮存器1020、存储器1030、网络接口1040和总线1050。
图10中仅图示了与本发明的实施例关联的结构要素。因此,如果是本发明所属技术领域的技术人员,则应能知道除图10所示的结构要素以外还可包括其它通用的结构要素。
处理器1010可执行词典同步程序。但是,并不限定于此,也可以以执行其它通用程序的方式实现。
贮存器1020存储词典同步程序。此外,也可以存储包含有新块文件、新块文件的条目信息和多个条目信息的词典。
本发明一实施例的处理器1010利用存储在贮存器1020中的词典来执行重复数据去除,从而可减少当收发数据时所产生的通信量。即,可利用存储在贮存器1020中的词典来发送数据,并恢复本来的原始数据。
另外,存储在贮存器1020中的第一实施例的词典同步程序执行以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;将所述新块文件的条目信息存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则删除存储在所述临时词典中的所述新块文件的条目信息。
此外,第二实施例的词典同步程序执行以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;以及如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更所述标志值。
此外,第三实施例的词典同步程序执行以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;向所述接收服务器传送所述新块文件的条目信息;接收关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号;以及如果与所述接收服务器的通信对话结束,则变更接收到所述确认信号的新块文件的标志值。
此外,第四实施例的词典同步程序包括以下步骤:将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中;向所述接收服务器传送所述新块文件的条目信息;如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更存储在所述临时词典中的所述标志值;以及如果与所述接收服务器的通信对话结束,则将所述标志值已变更的所述新块文件的条目信息登记到所述发送服务器的词典中。
存储器1030加载词典同步程序。加载在存储器1030中的词典同步程序由处理器1010执行。此外,存储器1030中也可以存储有用于临时存储新块文件的条目信息和标志值等的临时词典。
网络接口1040可连接其它计算装置。例如,用于接收新块文件的接收服务器可通过网络接口1040来连接。
总线1050上连接有上述的处理器1010、贮存器1020和存储器1030等,执行作为数据移动通道的功能。
另外,上述的方法可制作成计算机可执行的程序,并能利用计算机可读的存储介质在使所述程序操作的通用数字计算机中实现。此外,上述的方法中所使用的数据结构可通过各种方式存储在计算机可读的存储介质中。所述计算机可读的存储介质包括如磁存储介质(例如,只读存储器、软盘、硬盘等)和光学读取介质(例如,只读光盘存储器、数字多功能光盘等)的存储介质。
与本实施例关联的技术领域的技术人员应能理解,在不脱离上述记载的本质特性的范围内可以以经变形的方式实施。因此,已公开的方法不应从限定性的观点,而是应从说明性的观点来考虑。本发明的范围呈现于权利要求书而不是前述的说明,应解释为与该权利要求书同等的范围内存在的所有区别点包含在本发明中。
Claims (21)
1.一种词典同步方法,在发送服务器与接收服务器之间对词典进行同步,包括以下步骤:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
将所述新块文件的条目信息存储在所述发送服务器的临时词典中;
向所述接收服务器传送所述新块文件的条目信息;以及
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则删除存储在所述临时词典中的所述新块文件的条目信息。
2.根据权利要求1所述的词典同步方法,其中,
将表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤包括:
以使所述标志值具有表示所述条目信息有效的值的方式将所述标志值登记到所述发送服务器的词典中。
3.根据权利要求1所述的词典同步方法,其中,
进一步包括以下步骤:
如果未接收到所述确认信号,则在所述临时词典中维持所述新块文件的条目信息,并变更所述标志值使之具有表示所述条目信息无效的值。
4.根据权利要求3所述的词典同步方法,其中,
进一步包括以下步骤:
向所述接收服务器再传送存储在所述临时词典中的所述新块文件的条目信息。
5.一种词典同步方法,在发送服务器与接收服务器之间对词典进行同步,包括以下步骤:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
向所述接收服务器传送所述新块文件的条目信息;以及
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更所述标志值。
6.根据权利要求5所述的词典同步方法,其中,
将所述标志值登记到所述发送服务器的词典中的步骤包括:
以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值登记到所述发送服务器的词典中。
7.根据权利要求6所述的词典同步方法,其中,
变更所述标志值的步骤包括:
以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
8.根据权利要求5所述的词典同步方法,其中,
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤进一步包括:
将批号登记到所述发送服务器的词典中,所述批号是分配给包含有多个新块文件的组的标识符。
9.根据权利要求8所述的词典同步方法,其中,
变更所述标志值的步骤包括:
如果接收到关于被分配相同批号的多个新块文件已被登记到所述接收服务器的词典中的确认信号,则以所述批号为基础变更所述多个新块文件的标志值。
10.一种词典同步方法,在发送服务器与接收服务器之间对词典进行同步,包括以下步骤:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
向所述接收服务器传送所述新块文件的条目信息;
接收关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号;以及
如果与所述接收服务器之间的通信对话结束,则变更接收到所述确认信号的新块文件的标志值。
11.根据权利要求10所述的词典同步方法,其中,
将所述标志值登记到所述发送服务器的词典中的步骤包括:
以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值登记到所述发送服务器的词典中。
12.根据权利要求11所述的词典同步方法,其中,
变更所述标志值的步骤包括:
以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
13.根据权利要求10所述的词典同步方法,其中,
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中的步骤进一步包括:
将批号登记到所述发送服务器的词典中,所述批号是分配给包含有多个新块文件的组的标识符。
14.根据权利要求13所述的词典同步方法,其中,
变更所述标志值的步骤包括:
如果接收到关于被分配相同批号的多个新块文件已被登记到所述接收服务器的词典中的确认信号,则变更所述多个新块文件的标志值。
15.一种词典同步方法,在发送服务器与接收服务器之间对词典进行同步,包括以下步骤:
将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中;
向所述接收服务器传送所述新块文件的条目信息;
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更存储在所述临时词典中的所述标志值;以及
如果与所述接收服务器之间的通信对话结束,则将所述标志值已变更的所述新块文件的条目信息登记到所述发送服务器的词典中。
16.根据权利要求15所述的词典同步方法,其中,
将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中的步骤包括:
以使所述标志值具有表示所述条目信息无效的值的方式将所述标志值存储在所述发送服务器的临时词典中。
17.根据权利要求16所述的词典同步方法,其中,
变更存储在所述临时词典中的所述标志值的步骤包括:
以使所述标志值具有表示所述条目信息有效的值的方式变更所述标志值。
18.一种服务器,包括:
一个以上的处理器;
存储器,用于加载由所述处理器执行的计算机程序;以及
贮存器,用于存储对词典进行同步的计算机程序,
所述计算机程序包括以下操作:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
将所述新块文件的条目信息存储在所述发送服务器的临时词典中;
向所述接收服务器传送所述新块文件的条目信息;以及
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则删除存储在所述临时词典中的所述新块文件的条目信息。
19.一种服务器,包括:
一个以上的处理器;
存储器,用于加载由所述处理器执行的计算机程序;以及
贮存器,用于存储对词典进行同步的计算机程序,
所述计算机程序包括以下操作:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
向所述接收服务器传送所述新块文件的条目信息;以及
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更所述标志值。
20.一种服务器,包括:
一个以上的处理器;
存储器,用于加载由所述处理器执行的计算机程序;以及
贮存器,用于存储对词典进行同步的计算机程序,
所述计算机程序包括以下操作:
将新块文件的条目信息和表示所述条目信息是否有效的标志值登记到所述发送服务器的词典中;
向所述接收服务器传送所述新块文件的条目信息;
接收关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号;以及
如果与所述接收服务器之间的通信对话结束,则变更接收到所述确认信号的新块文件的标志值。
21.一种服务器,包括:
一个以上的处理器;
存储器,用于加载由所述处理器执行的计算机程序;以及
贮存器,用于存储对词典进行同步的计算机程序,
所述计算机程序包括以下操作:
将新块文件的条目信息和表示所述条目信息是否有效的标志值存储在所述发送服务器的临时词典中;
向所述接收服务器传送所述新块文件的条目信息;
如果接收到关于所述新块文件的条目信息已被登记到所述接收服务器的词典中的确认信号,则变更存储在所述临时词典中的所述标志值;以及
如果与所述接收服务器之间的通信对话结束,则将所述标志值已变更的所述新块文件的条目信息登记到所述发送服务器的词典中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150147080A KR102284092B1 (ko) | 2015-10-22 | 2015-10-22 | 데이터 중복 제거의 딕셔너리 동기화 방법 |
KR10-2015-0147080 | 2015-10-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106612317A true CN106612317A (zh) | 2017-05-03 |
Family
ID=58557568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610264989.6A Pending CN106612317A (zh) | 2015-10-22 | 2016-04-26 | 词典同步方法及服务器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170116218A1 (zh) |
KR (1) | KR102284092B1 (zh) |
CN (1) | CN106612317A (zh) |
WO (1) | WO2017069338A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11734230B2 (en) * | 2021-12-27 | 2023-08-22 | Vmware, Inc. | Traffic redundancy deduplication for blockchain recovery |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6952741B1 (en) * | 1999-06-30 | 2005-10-04 | Computer Sciences Corporation | System and method for synchronizing copies of data in a computer system |
AU2003217599A1 (en) * | 2002-02-22 | 2003-09-09 | Bea Systems, Inc. | System and method for using a data replication service to manage a configuration repository |
CN101409614B (zh) * | 2007-10-12 | 2011-04-13 | 华为技术有限公司 | 一种数据同步方法、系统和设备 |
US8937561B2 (en) | 2008-11-17 | 2015-01-20 | Canyon Ridge Resources, L.L.C. | System and method for control of medical equipment using multiple wireless devices |
KR101442260B1 (ko) * | 2008-12-10 | 2014-09-23 | 주식회사 케이티 | 정책관리시스템에서의 정책정보 동기화 방법 |
KR20100124377A (ko) * | 2009-05-19 | 2010-11-29 | (주)지란지교소프트 | 웹하드서버 및 그 데이터 동기화 방법 |
KR20110078564A (ko) * | 2009-12-31 | 2011-07-07 | 단국대학교 산학협력단 | 멀티-호밍 기능을 제공하는 통신 프로토콜에 있어서의 패킷 왕복 시간 업데이트 방법 및 멀티-호밍 기능을 제공하는 통신 장치 |
US20140279901A1 (en) * | 2013-03-12 | 2014-09-18 | Nec Laboratories America, Inc. | Mobile Data Synchronization |
-
2015
- 2015-10-22 KR KR1020150147080A patent/KR102284092B1/ko active IP Right Grant
- 2015-12-23 WO PCT/KR2015/014163 patent/WO2017069338A1/ko active Application Filing
-
2016
- 2016-03-04 US US15/060,848 patent/US20170116218A1/en not_active Abandoned
- 2016-04-26 CN CN201610264989.6A patent/CN106612317A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20170046901A (ko) | 2017-05-04 |
US20170116218A1 (en) | 2017-04-27 |
WO2017069338A1 (ko) | 2017-04-27 |
KR102284092B1 (ko) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745884B2 (ja) | データ同期方法、装置及びシステム | |
US9952940B2 (en) | Method of operating a shared nothing cluster system | |
US20140089619A1 (en) | Object replication framework for a distributed computing environment | |
CN103530362B (zh) | 一种用于多副本分布式系统的计算机数据读写方法 | |
JP2012523023A (ja) | 重複したデータを排除するストレージシステム | |
CN104618432B (zh) | 一种事件发送与接收的处理方法和处理系统 | |
CN108764902B (zh) | 用于存储数据的方法、节点和区块链系统 | |
CN104301990B (zh) | 一种数据同步的方法及装置 | |
CN111625552A (zh) | 数据收集方法、装置、设备和可读存储介质 | |
CN112925477A (zh) | 一种数据处理方法、装置以及存储系统 | |
CN109710502B (zh) | 日志传输方法、装置及存储介质 | |
US10645155B2 (en) | Scalable parallel messaging process | |
CN106612317A (zh) | 词典同步方法及服务器 | |
JP6364727B2 (ja) | 情報処理システム、分散処理方法、及び、プログラム | |
JP6432598B2 (ja) | クライアント装置、サーバ、記録媒体および情報処理方法 | |
WO2015107653A1 (ja) | 通信装置、通信方法、および、通信プログラム | |
US20230006925A1 (en) | Systems for Session-Based Routing | |
US10185735B2 (en) | Distributed database system and a non-transitory computer readable medium | |
CN110896408A (zh) | 一种数据处理方法及服务器集群 | |
US12001400B2 (en) | Method and apparatus for synchronizing file | |
US8489773B1 (en) | System, method, and computer program for sending a response to a client based on a replication message received from a master server | |
CN114138786A (zh) | 一种联机交易消息去重方法、装置、介质、产品和设备 | |
CN104394195B (zh) | 数据更新方法及装置 | |
CN108881401A (zh) | 节点性能文件处理方法、中间服务器、节点、系统及介质 | |
JP2014178721A (ja) | 画像照合システム及び画像照合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170503 |