CN108008921B - 分布式存储环境下的复制数据的方法及服务器 - Google Patents

分布式存储环境下的复制数据的方法及服务器 Download PDF

Info

Publication number
CN108008921B
CN108008921B CN201711437279.XA CN201711437279A CN108008921B CN 108008921 B CN108008921 B CN 108008921B CN 201711437279 A CN201711437279 A CN 201711437279A CN 108008921 B CN108008921 B CN 108008921B
Authority
CN
China
Prior art keywords
source
storage system
message
target area
duplicate requests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711437279.XA
Other languages
English (en)
Other versions
CN108008921A (zh
Inventor
贾宝雷
施黄骏
段立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711437279.XA priority Critical patent/CN108008921B/zh
Publication of CN108008921A publication Critical patent/CN108008921A/zh
Application granted granted Critical
Publication of CN108008921B publication Critical patent/CN108008921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种分布式存储环境下的复制数据的方法及服务器,所述方法包括:获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。上述技术方案可以实现:使用消息中间件存储复制请求,保证复制请不会受到阻塞,而且消息中间件可保证消息的有序执行,消息中间件中的消息队列是按照发布消息的顺序将消息入队,在执行复制任务时,也是按照发布消息的顺序进行执行的,这样保证了复制任务的先产生,先执行。

Description

分布式存储环境下的复制数据的方法及服务器
技术领域
本发明涉及通信网络技术领域,尤其涉及一种分布式存储环境下的复制数据的方法及服务器。
背景技术
在云计算服务中,对象存储服务是一个非常重要的基础服务。对象存储服务将数据作为对象写在用户的存储区域中,用户可以写入、读取和删除该存储区域中的对象。在现有的对象存储系统中,可以支持的最大单个对象数据的大小为5T。传统的对象存储系统在进行数据存储时,通常采用将数据切分成小块存储,并使用元数据来维护对象和各小块数据之间的关系。在对象存储系统中,当用户需要进行复制操作时,传统的技术为直接复制。
但是,当对象数据较大时,有时甚至涉及到几十万数据块的复制,若处理过程中出现异常或失败,不仅可能导致垃圾数据或数据不完整的情况发生,还容易导致元数据不一致的情况发生。
发明内容
本发明实施例提供一种分布式存储环境下的复制数据的方法及服务器,以解决或缓解背景技术中的一项或多项以上技术问题,至少提供一种有益的选择。
第一方面,本发明实施例提供了一种分布式存储环境下的复制数据的方法,包括:
获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;
向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
结合第一方面,本发明在第一方面的第一种实施方式中,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存至消息中间件的。
结合第一方面,本发明在第一方面的第二实施方式中,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
结合第一方面的第二种实施方式,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。
结合第一方面,本发明在第一方面的第三实施方式中,获取消息中间件中存储的复制请求之后,包括:
将所述源区域地址、源哈希桶和源对象作为一条记录存储至数据库中。
结合第一方面的第三种实施方式,接收到所述目标区域的对象存储系统发送的复制成功的消息时,删除所述数据库中存储的所述源区域地址、源哈希桶和源对象的记录。
第二方面,本发明实施例提供了一种服务器,包括:
获取模块,配置为获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;
发送模块,配置为向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
结合第二方面,在本发明第二方面的第一种实施方式中,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存入的。
结合第二方面,在本发明第二方面的第二种实施方式中,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
结合本发明第二方面的第二种实施方式,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。
第三方面,本发明实施例提供了一种计算机可读存储介质,用于存储上述服务器所用的计算机软件指令,其包括用于执行上述第一方面中分布式存储环境下的复制数据的方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果:使用消息中间件存储复制请求,保证复制请不会受到阻塞,而且消息中间件可保证消息的有序执行,消息中间件中的消息队列是按照发布消息的顺序将消息入队,在执行复制任务时,也是按照发布消息的顺序进行执行的,这样保证了复制任务的先产生,先执行。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1为本发明实施例一的分布式存储环境下的复制数据的方法的流程图;
图2为本发明实施例二的分布式存储环境下的复制数据的方法的流程图;
图3为本发明实施例二的分布式存储环境下的复制数据的示意图;
图4为本发明实施例三的服务器的示意图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
实施例一
本发明实施例提供一种分布式存储环境下的复制数据的方法。如图1所示,为本发明实施例的分布式存储环境下的复制数据的方法的流程图。本发明实施例的分布式存储环境下的复制数据的方法,包括如下步骤:
S101,获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶(bucket)和源对象(object)。
本发明实施例的执行主体为复制执行单元(Replication Worker),该复制执行单元可以存在于源区域的对象存储系统还可以存在于目标区域的对象存储系统,还可以存在于对象存储系统中的其他节点上,在此不做限定。
下面简单介绍关于哈希桶的概念,哈希桶是与哈希表相关的概念。哈希表(Hashtable)又称为“散列”,Hashtable是会根据索引键的哈希程序代码组织成的索引键(Key)和值(Value)配对的集合。Hashtable对象是由包含集合中元素的哈希桶(Bucket)所组成的。而Bucket是Hashtable内元素的虚拟子群组,可以让大部分集合中的搜寻和获取工作更容易、更快速。
本发明实施例中所涉及的消息中间件是指一种先进先出的消息队列,当用户发起将源区域中的数据复制到目标区域的请求时,向消息中间件中发布一条复制消息,这就代表消息中间件中存在一项复制任务。如果复制消息发布成功,还可向用户发送消息发布成功的提示。
S102,向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
当复制执行单元向消息中间件订阅了一条复制任务后,它开始向目标区域的对象存储系统发送相应的复制请求,该复制请求中包括源区域地址、源哈希桶和源对象等信息,这样目标区域的对象存储系统可以设置与源哈希桶同名的目标哈希桶,以及与源对象同名的目标对象,并根据源区域地址、源哈希桶和源对象等信息,向源区域中的源哈希桶下的源对象获取数据。
上述技术方案可以实现:使用消息中间件存储复制请求,可以保证复制请求不会受到阻塞,而且消息中间件可保证消息的有序执行,消息中间件中的消息队列是按照发布消息的顺序将消息入队,在执行复制任务时,也是按照发布消息的顺序进行执行的,这样保证了复制任务的先产生,先执行。
实施例二
本发明实施例二提供一种分布式存储环境下的复制数据的方法。如图2所示,为本发明实施例的分布式存储环境下的复制数据的方法的流程图。本发明实施例的分布式存储环境下的复制数据的方法,包括如下步骤:
S201,获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象。
S202,将所述源区域地址、源哈希桶和源对象作为一条记录存储至数据库中。
本发明实施例涉及的数据库为可以按照关系模型存储数据,并提供原子性、一致性、隔离性和持久性(数据库事务正确执行的四个基本要素,缩写为ACID)的事务保证。当复制执行单元订阅了复制任务后,在执行复制任务时,可能发生复制失败、或者进程异常退出等非预期情况,所以在订阅后,将此复制任务的内容存储于数据库中,待复制任务成功之后,再将此内容删除。另外在存储复制任务的内容时,可将源哈希桶名字和源对象名字作为主键来存储。
S203,向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取数据的操作。
具体地,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存至消息中间件的。
所述复制执行单元订阅消息中间件中的一项复制任务后,解析出该复制任务的内容,然后根据该内容,生成复制请求,并向目标区域的对象存储系统发送的复制请求。
进一步地,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
由于目标区域中存在目标哈希桶,且目标哈希桶与源哈希桶的名称相同,因此,仅需在目标区域中构建与源对象名称相同的目标对象。
进一步地,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。这样可以保持目标哈希桶和源哈希桶的数据同步。
进一步地,接收到所述目标区域的对象存储系统发送的复制成功的消息时,删除所述数据库中存储的所述源区域地址、源哈希桶和源对象的记录。
图3为本发明实施例的分布式存储环境下的复制数据的示意图。
上述技术方案可以实现:提供关系型数据库,使复制执行单元在解析出复制任务后,暂存复制任务中的内容,这样可以避免可能发生的复制失败、或者进程异常退出等非预期情况。
实施例三
本发明实施例三提供一种服务器。如图4所示,为本发明实施例的服务器的示意图。本发明实施例的服务器包括:
获取模块41,配置为获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;
发送模块42,配置为向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
进一步地,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存入的。
进一步地,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
进一步地,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。
上述技术方案可以实现:使用消息中间件存储复制请求,保证复制请不会受到阻塞,而且消息中间件可保证消息的有序执行,消息中间件中的消息队列是按照发布消息的顺序将消息入队,在执行复制任务时,也是按照发布消息的顺序进行执行的,这样保证了复制任务的先产生,先执行。
实施例五
一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现如图1至2中任一实施例所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
本发明实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
在本发明实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种分布式存储环境下的复制数据的方法,其特征在于,所述方法包括:
获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;
向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
2.根据权利要求1所述的方法,其特征在于,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存至消息中间件的。
3.根据权利要求1所述的方法,其特征在于,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
4.根据权利要求3所述的方法,其特征在于,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。
5.根据权利要求1所述的方法,其特征在于,获取消息中间件中存储的复制请求之后,包括:
将所述源区域地址、源哈希桶和源对象作为一条记录存储至数据库中。
6.根据权利要求5所述的方法,其特征在于,接收到所述目标区域的对象存储系统发送的复制成功的消息时,删除所述数据库中存储的所述源区域地址、源哈希桶和源对象的记录。
7.一种服务器,其特征在于,所述服务器包括:
获取模块,配置为获取消息中间件中存储的复制请求;所述复制请求中包括源区域地址、源哈希桶和源对象;
发送模块,配置为向目标区域的对象存储系统发送所述复制请求,以使得所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作。
8.根据权利要求7所述的服务器,其特征在于,所述消息中间件中存储的复制请求为当源区域的对象存储系统存在复制请求时而存入的。
9.根据权利要求7所述的服务器,其特征在于,所述目标区域的对象存储系统根据所述复制请求中的源区域地址、源哈希桶和源对象向源区域的对象存储系统发起获取复制数据的操作时,所述目标区域的对象存储系统在所述目标区域构建与所述源对象名称相同的目标对象。
10.根据权利要求9所述的服务器,其特征在于,当所述源对象不存在时,所述目标区域的对象存储系统删除所述目标对象。
11.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201711437279.XA 2017-12-26 2017-12-26 分布式存储环境下的复制数据的方法及服务器 Active CN108008921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711437279.XA CN108008921B (zh) 2017-12-26 2017-12-26 分布式存储环境下的复制数据的方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711437279.XA CN108008921B (zh) 2017-12-26 2017-12-26 分布式存储环境下的复制数据的方法及服务器

Publications (2)

Publication Number Publication Date
CN108008921A CN108008921A (zh) 2018-05-08
CN108008921B true CN108008921B (zh) 2019-06-25

Family

ID=62061531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711437279.XA Active CN108008921B (zh) 2017-12-26 2017-12-26 分布式存储环境下的复制数据的方法及服务器

Country Status (1)

Country Link
CN (1) CN108008921B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656095B (zh) * 2021-08-06 2023-08-04 北京数码大方科技股份有限公司 配置数据的处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106453136A (zh) * 2016-09-05 2017-02-22 深圳前海微众银行股份有限公司 建立消息队列的方法和装置
CN106598762A (zh) * 2016-12-29 2017-04-26 上海理想信息产业(集团)有限公司 一种消息同步方法及系统
CN106649756A (zh) * 2016-12-26 2017-05-10 北京奇虎科技有限公司 日志同步方法及装置
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106453136A (zh) * 2016-09-05 2017-02-22 深圳前海微众银行股份有限公司 建立消息队列的方法和装置
CN106649756A (zh) * 2016-12-26 2017-05-10 北京奇虎科技有限公司 日志同步方法及装置
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置
CN106598762A (zh) * 2016-12-29 2017-04-26 上海理想信息产业(集团)有限公司 一种消息同步方法及系统

Also Published As

Publication number Publication date
CN108008921A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
US10482067B2 (en) Synchronization of shared folders and files
CN108446407A (zh) 基于区块链的数据库审计方法和装置
US9317417B2 (en) Smart digital message archival
CN102567480A (zh) 自动匹配数据集与存储组件
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
US9633069B2 (en) Data subscription management system
CN105900093A (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
US20150046531A1 (en) Messaging system, topic management device, messaging method, and program
CN111478953B (zh) 服务器集群的自构建方法、装置、系统、设备及存储介质
CN116303608A (zh) 一种应用服务的数据处理方法和装置
CN108008921B (zh) 分布式存储环境下的复制数据的方法及服务器
CN110020271A (zh) 用于缓存管理的方法和系统
US20230388120A1 (en) Client-Side Device Bloom Filter Mapping
CN111090530B (zh) 一种分布式跨进程间通信总线系统
CN104735643A (zh) 一种信息处理的方法及数据服务器
CN103870603A (zh) 目录管理方法和电子设备
CN113722315A (zh) 数据生成方法、装置、电子设备和计算机可读介质
US20210144217A1 (en) Service communication proxy apparatus and method
WO2018005243A1 (en) Peer-to-peer assisted personal synchronization
CN103561107A (zh) 数据下载冲突的处理方法和装置
CN109151569A (zh) 推介视频的分享方法及相关产品
KR101079145B1 (ko) 데이터 분산 서비스 시스템의 효율적 개발을 위한 토픽 통합 관리 서버, 토픽 통합 관리 시스템 및 토픽 통합 관리 방법 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN116820354B (zh) 数据存储方法、数据存储装置和数据存储系统
US11461302B1 (en) Storing multiple instances of data items to implement key overloading in database tables
US10817901B2 (en) Trailing communication flow integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant