CN109462640A - 一种元数据同步方法、数据端、交互系统及介质 - Google Patents

一种元数据同步方法、数据端、交互系统及介质 Download PDF

Info

Publication number
CN109462640A
CN109462640A CN201811268187.8A CN201811268187A CN109462640A CN 109462640 A CN109462640 A CN 109462640A CN 201811268187 A CN201811268187 A CN 201811268187A CN 109462640 A CN109462640 A CN 109462640A
Authority
CN
China
Prior art keywords
metadata
data
data terminal
request message
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811268187.8A
Other languages
English (en)
Other versions
CN109462640B (zh
Inventor
李欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN201811268187.8A priority Critical patent/CN109462640B/zh
Publication of CN109462640A publication Critical patent/CN109462640A/zh
Application granted granted Critical
Publication of CN109462640B publication Critical patent/CN109462640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种元数据同步方法、数据端、交互系统及介质,所述元数据同步方法包括:第二数据终端接收至少一个第一数据终端发出的请求报文;基于任务模式将具有相同标识信息的第一数据组的第一元数据信息合并生成第一元数据信息集;基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集。上述同步方法能够实现复杂的数据同步。

Description

一种元数据同步方法、数据端、交互系统及介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种元数据同步方法、数据端、交互系统及介质。
背景技术
目前存在数据交互的场景基本都涉及到数据同步的需求,例如,在服务器配置领域,需要将配置数据同步到多个服务器或者用户终端;在智能硬件领域,需要将业务或者调试数据在多个智能硬件之间同步;在IM(Instant Messenger,即时通信)系统,需要同步多个设备端的聊天信息;在CDN(Content Delivery Network,内容分发网络)业务中,需要将数据同步到各个数据节点;在网络云端领域,需要将云端的数据同步到用户各种设备或者软件端;在协调办公领域,需要将数据在多个设备间进行同步传输,同时还需要支持多个设备能够同时修改同一个文档,并保存这个文档修改的历史版本等。
现有的数据同步方法为了保证同步逻辑的简单性,需要对终端的同步形式做出限制,例如只能一对一同步、只能上游对下游同步、只能环状同步、或者只能链状同步等。现有的数据同步方法无法实现复杂的数据同步,如多对多的数据同步。
基于现有技术,需要一种能够实现复杂的数据同步的方法。
发明内容
有鉴于此,本发明实施例提供的一种元数据同步方法、数据端、交互系统及介质,用以解决以下问题:能够实现复杂的数据同步。
本发明提供了一种元数据同步方法,其包括获取步骤、预处理步骤、更新步骤。获取步骤:第二数据终端接收至少一个第一数据终端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息。预处理步骤:基于任务模式将具有相同标识信息的第一数据组的第一元数据信息合并生成第一元数据信息集。更新步骤:获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息。
元数据同步方法,进一步包括预发送步骤和广播步骤。预发送步骤:第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文。广播步骤:第二数据终端将新的请求报文发送至其他数据端。
在元数据同步方法的一种示意性实施方式中,所述请求报文的请求标识包括第一请求标识和第二请求标识,获取步骤进一步包括:
若所述请求报文的请求标识为第一请求标识,将具有相同标识信息的第一数据组的元数据摘要信息与第二数据组的元数据摘要信息进行比对,整理具有差异性的元数据摘要信息作为第一数据组的元数据摘要信息,并将第一请求标识的请求报文第二请求标识的请求报文;
若所述请求报文为的请求标识为第二请求标识,则直接执行后续处理步骤。
在元数据同步方法的一种示意性实施方式中,获取步骤进一步包括:
比较步骤:将所述第一数据组的第一数据组摘要信息与第二数据组的第二数据组摘要信息进行比较,
如果相同,则不响应该元数据同步操作;
如果不同,则执行后续处理步骤。
在元数据同步方法的一种示意性实施方式中,预处理步骤进一步包括:所述第一数据终端发出的请求报文进入预处理步骤后,判断元数据更新单元是否正在运行;
若元数据更新单元正在运行,则将所述第一数据终端发出的请求报文加入预处理队列,待更新单元完成数据处理后,进行所述第一终端数据的元数据信息的合并;
若元数据更新单元没有运行,则将获取的第一终端数据的元数据信息进行合并。
排入预处理队列的设计,可以在本地更新前,使元数据列表更充分的合并,更充分的消除元数据冲突,减少同步交互次数。
在元数据同步方法的一种示意性实施方式中,预发送步骤进一步包括:基于业务模式,根据标识信息,过滤数据端。
在元数据同步方法的一种示意性实施方式中,广播步骤进一步包括:根据业务模式,过滤数据组,第二数据终端将所述新的请求报文发送至第三数据端。
在元数据同步方法的一种示意性实施方式中,第一数据组包括同步起始序号和同步窗口,元数据同步方法进一步包括:通过位运算对所述同步窗口进行转换,并结合所述同步起始序号获取需同步的元数据位置序号,基于所述需同步的元数据位置序号更新第二元数据集合中与位置序号相以应的第二元数据信息。
在元数据同步方法的一种示意性实施方式中,元数据信息合并,具体包括:
比对待合并的两个元数据的修改时间,保留修改时间晚的元数据;
若待合并的两个元数据的修改时间一致,则比较发出该元数据的数据端的优先级,保留优先级高的元数据。
本发明还提供了一种数据端,其包括一个获取单元、一个预处理单元、一个更新单元、一个预发送单元和一个广播单元。获取单元接收至少一个第一数据端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息。预处理单元基于任务模式将具有相同标识信息的第一数据组元数据信息合并生成第一元数据信息集合。更新单元获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息。预发送单元,第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文。广播单元,第二数据终端将所述新的请求报文发送至第三数据端。
在数据端的一种示意性实施方式中,数据端为服务器、中间设备或用户终端。
在数据端的一种示意性实施方式中,数据端为程序、软件、服务或脚本实现。
本发明还提供了一种交互系统,其包括至少两个上述数据端。
在交互系统的一种示意性实施方式中,一个数据端还能够发出一个请求报文至其他数据端,以请求其他数据端发出请求报文。
本发明还提供了一种计算机可读存储介质,用于存储程序,所述程序被执行时,实现元数据的同步。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
本实施例能够在不增加数据处理结构的复杂化的前提下,保证处理能力,实现复杂数据的同步,适用于需要数据同步的多种业务场景,具有较强的适用性;能够适应多种同步形式,且稳定性强;减少了交互次数、数据处理成本及交互数据量,实现了交互优化。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1至图3为本说明书实施例提供的数据端的连接方式的示意图;
图4为本说明书实施例提供的元数据同步方法的框架图;
图5为本说明书实施例提供的第一请求报文和第二请求报文的示意图;
图6为本说明书实施例提供的一种元数据同步方法的流程图;
图7为本说明书实施例提供的另外一种元数据同步方法的流程图;
图8用以说明数据端的一种示意性实施方式的结构示意图;
图9为本发明实施例提供的数据端实现数据同步的示意图。
标号说明
S10 获取步骤
S20 预处理步骤
S30 更新步骤
S40 预发送步骤
S50 广播步骤
S60 比较步骤
100 数据端
10 获取单元
20 预处理单元
30 更新单元
40 预发送单元
50 广播单元
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施方式及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施方式仅是本申请一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他方式,都属于本申请保护的范围。
在本文中,“示意性”表示“充当实例、例子或说明”,不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。
在数据交互场景中,往往需要在多个数据端之间完成数据交互,在本文中,数据端是指数据产生、更正、转发的节点。数据端可以是硬件设备,例如可以是服务器、中间设备、用户终端等,中间设备包括但不限于路由器等。用户终端包括但不限于手机、计算机、智能手表等。除了硬件设备外,数据端也可以是基于任何可编程语言的程序、软件、服务、脚本实现,包括但不限于web程序、手机软件、电脑程序、单片机程序等。
因交互任务的不同,数据端之间可构成很多不同的传输结构,图1至图3为本说明书实施例提供的数据端的连接方式的示意图。其中,图1所示的链形结构、图2所示的环形结构、图3所示的树形结构,当然对于本领域技术人员来说,传输结构并不具限于图1至图3所示,例如还可能是星形结构或其他更复杂的结构,在此不再一一赘述。
当其中一个或多个数据端出现更新数据时,就需要及时将该更新数据通过上述传输结构同步至其他数据端。数据端之间的数据同步通常指的是实现实体数据的同步。实体数据一般是容量较大的数据整体,比如一个附件、一个图片、一个文档等,而元数据是实体数据的描述信息,其描述了实体数据的顺序和属性信息,比如序号,名称,修改时间等。故通过元数据的更新同步可以帮助完成实体数据的更新同步。
而目前数据端的元数据同步方法一般仅能适应一种同步结构,如上文所述,例如只能一对一同步、只能上游对下游同步、只能环状同步、只能链状同步等,具有局限性。
对于复杂的元数据同步,如一对多,多对多的数据同步,可以采用图4所示的方法,图4为本说明书实施例提供的元数据同步方法的框架图。
图4所示的元数据同步方法是通过让第二数据终端能够执行获取步骤S10、预处理步骤S20、更新步骤S30。具体为:
获取步骤S10:用于接收元数据处理请求。
具体地,第二数据终端接收至少一个第一数据终端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息。
预处理步骤S20:基于任务模式将具有相同标识信息的第一数据组的第一元数据信息合并生成第一元数据信息集。
更新步骤S30:获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息。
而为了可将该更新同步至其他数据端,还需执行下面步骤。
预发送步骤S40:第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文。
广播步骤S50:第二数据终端将新的请求报文发送至其他数据端。
上述元数据同步方法,使第二数据终端可以同批次接收不同第一数据终端发出的请求报文,或同一数据端发出的不同的请求标识,并可对接收的元数据信息做合并的预处理,以帮助大程度的减少交互次数,使第二数据终端可以接入任一同步结构。而且第二数据终端在更新本地元数据的同时,可根据自身更新情况向其他数据端发送做过合并预处理的新的请求报文。上述数据同步方法的数据处理结构并不复杂,但却具有稳定健壮的处理能力,使该元数据同步方法可适用于多种数据同步结构。
根据业务处理的逻辑关系,数据组元数据的发送和接收,主要分为两种请求:
第一种请求为猜测改变,具体为,第一数据终端猜测某个元数据集合和远端数据集合有差异,第一数据终端主动请求第二数据终端返回对应数据集合。该请求的业务场景可以是第二数据终端长时间处于离线状态,无法及时确定第一数据终端的数据是否是最新的数据集合。也可以是第一数据终端的请求没有得到及时反馈,需要重新发送,进行确定。该请求对应的报文为第一请求报文。
第二种请求为确定改变,具体为,第一数据终端已经确定某元数据集合已经发生了改变,需要将其差异性和具体改变的元数据发送给第二数据终端,第二数据终端对其进行处理更新。该请求对应的报文为第二请求报文
上述两种业务请求,其请求报文的差异仅是是否带有具体的元数据集合信息。图5为本说明书提供的第一请求报文和第二请求报文的示意图。具体地,第一请求报文包括:第一请求标识、数据组ID、同步起始序号、同步窗口、数据组摘要和元数据摘要。第二请求报文包括:第二请求标识、数据组ID、同步起始序号、同步窗口、数据组摘要、元数据摘要和元数据列表。
其中,第一请求标识表示获取的是第一请求报文,第二请求标识表示获取的是第二请求报文。
数据组ID表示需要同步的数据组ID对应的数据组,数据组ID的构成形式根据业务需要,可能存在多种形式,例如以设备端ID作为数据组ID,设备端和数据组即为一对一模式,也能够以设备端ID和用户ID的集合作为数据组ID,还可以以发送用户ID、接收用户ID和设备端ID的结合作为数据组ID。
同步起始序号表示需要同步的数据组的同步起始位置。
同步窗口表示从同步起始序号开始,需要同步的元数据有哪些。同步窗口是一个比较大的16进制数值,为节约内存、加速程序运行速度,为此,本发明采用位运算的方式将16进制转换成2进制结构。在具体实施例中,比如同步起始序号为1001,同步窗口长度固定为16,同步窗口十进制数值为40900,对应的16进制为9fc4,转成二进制为1001111111000100。如例子中所示,可以判断标识从1001-1016的元数据是否需要同步,其中上述1001-1016表示从右到左的1号到16号对应的元数据。具体计算方式如下:flag=(N》(i-1)&1),其中N为对应同步窗口的数值,i为对应的序号,》表示位右移动,&表示按位与。如果flag为0则表示不包含,flag为1则表示包含。如判断第7号元数据(1007)是否被标识,则flag=(40900》(7-1)&1)=1,表示包括1007这个元数据,是需要同步的元数据。我们可以总结出对应的序号1003,1007,1008,1009,1010,1011,1012,1013,1016是需要同步的元数据序号。同步窗口采用上述位运算方式可大大减低同步过程中所需的数据量。同步窗口的数值长度可以进行长度限制,可以是定长限制,不足补零;也可以是最大长度限制。在具体实施过程中,往往根据业务场景,对同步窗口的长度进行限制,采用定长限制和/最大长度限制。如需要同步的元数据比较少,同步窗口的数值长度采用定长限制。如需要同步的元数据量比较大,为了保证同步数据,同步窗口的数值长度往往采用最大长度限制。
数据组摘要是整个数据组的摘要信息,是与数据组ID对应的,数据组摘要的主要作用是用于元数据的唯一性鉴定。如果数据组的摘要信息相同,则表示数据组之间的数据是相同的;如果数据组的摘要信息存在差异,则表示数据组之间的数据是不同的。
元数据摘要是根据同步起始序号和同步窗口所确定的有序的元数据集合的摘要信息。如果元数据摘要信息相同,则表示对应的同步起始序号和同步窗口所确定的元数据集合的数据相同。
元数据集合是第一请求报文和第二请求报文的区别之处。若报文结构没有元数据列表,则为第一请求报文,属于元数据猜测改变的请求。若报文结构中具有元数据列表,则为第二请求报文,属于元数据确定改变的请求。
上述元数据猜测改变的请求和元数据确定改变的请求,在具体实施过程中,其元数据同步方式存在差异。
根据不同的业务请求,第一种请求和第二种请求,其元数据同步方法存在方法存在差异。
图6为本说明书实施例提供的一种元数据同步方法的示意图,该元数据同步方法针对的是第二种请求的元数据同步方法。具体地过程如下:
获取步骤S10:获取请求报文。
第二数据终端获取第一数据终端发送的第二请求标识的请求报文。第一数据终端可以为一个,也可以为多个,具体基于任务模式而定。该请求报文包括第一数据组,该第一数据组包括第一数据组的标识信息及第一元数据信息。
第一数据组还包括同步起始序号和同步窗口,通过位运算,实现同步窗口的转换,并结合同步起始序号获得需要同步的元数据的位置序号,第二数据终端能够藉由前述需同步的元数据位置序号执行后续预处理步骤、更新步骤。
比较步骤S60:数据组摘要信息比对。
将获得的第一数据终端的请求报文包含的数据组摘要信息与第二数据终端的数据组摘要信息进行比对。如果相同,则不响应第一数据终端的请求报文;如果不同,则执行后续步骤S20。
预处理步骤S20:生成第一元数据信息集。
步骤S10获取的第一终端数据进入预处理步骤S20后,首先判断元数据更新单元是否正在运行;若元数据更新单元正在运行,则将所述第一数据终端发出的请求报文加入预处理队列,待更新单元完成数据处理后,进行所述第一终端数据的元数据信息的合并。具体地,基于任务模式,将具有相同表示信息的第一数据组的第一元数据信息合并生成第一元数据信息集,并等待更新步骤S30的处理。
更新步骤S30:元数据信息合并,生成新的第二元数据信息集。
获取第二数据组中的第二元数据信息集,循环读取预处理步骤S20中的第一元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集。待步骤S20中的第一元数据信息集读取完成后,通知发送步骤S40进行数据发送。
预发送步骤S40:生成差异化元数据列表,得到新的请求报文。
根据新的第二元数据信息集生成差异化数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文。同时,基于业务模式,根据标识信息,对数据端进行过滤。
广播步骤S50:广播新的请求报文。
第二数据终端将预发送步骤S40得到的信息的请求报文发送至第三数据端。第三数据端的选择,是基于业务模式,进行数据端过滤后,进行发送的。
图7为本说明书实施例提供的一种元数据同步方法的示意图,该元数据同步方法针对的是第一种请求的元数据同步方法。具体地过程如下:
步骤S701:第一数据终端发送第一请求标识的数据请求。第一请求标识的数据请求的请求报文,包括第一数据组。
步骤S703:元数据摘要信息对比。
获取第二数据终端的第二数据组,将具有相同标识信息的第一数据组的元数据摘要信息与第二数据组的元数据摘要信息进行比对。若第一数据组的元数据摘要信息与第二数据组的元数据摘要信息相同,则对第一数据终端的数据请求不予相应。若第一数据组的元数据摘要信息与第二数据组的元数据摘要信息不同,则执行后续步骤S705。
步骤S705:获得第一数据组的元数据摘要信息,将第一标识的请求报文更新为第二请求标识的请求报文。
将前述步骤中的第一数据组的元数据摘要信息与第二数据组的元数据摘要信息进行比对,根据标识信息,整理具有差异性的元数据摘要信息作为新的第一数据组的元数据摘要信息,并将第一请求标识的报文更新为第二请求标识的请求报文,执行图6所示的元数据同步流程。
本发明还提供了一种数据端100,请参见图8,其包括一个获取单元10、一个预处理单元20、一个更新单元30、一个预发送单元40和一个广播单元50。获取单元10接收至少一个第一数据端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息。预处理单元20基于任务模式将具有相同标识信息的第一数据组元数据信息合并生成第一元数据信息集合。更新单元30获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息。预发送单元40,第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文。广播单元50,第二数据终端将所述新的请求报文发送至第三数据端。其中数据端可以为服务器、中间设备或用户终端,也可以为程序、软件、服务或脚本实现。
图9为本发明实施例提供的数据端实现数据同步的示意图。具体过程如下:
第一数据端发出至少一个请求报文到第二数据端。第二数据端获得请求报文后,进行元数据的预处理、更新、预发送、发送步骤,将新的请求报文发送给第三数据端,进而实现数据同步。
本发明还提供了一种交互系统,其包括至少两个图8所示的数据端。交互系统可以采用任意同步形式,且稳定性强,能够优化交互。其中一个数据端还能够发出一个请求报文至其他数据端,以请求其他数据端发出请求报文。
本发明还提供了一种计算机可读存储介质,用于存储程序,所述程序被执行时,实现元数据的同步。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,对于系统实施方式而言,由于其基本相似于方法实施方式,所以描述的比较简单,相关之处参见方法实施方式的部分说明即可。
以上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (15)

1.一种元数据同步方法,应用于第二数据终端(第一数据终端确定某个元数据集合发生了变化的场景),其特征在于,其包括:
获取步骤:第二数据终端接收至少一个第一数据终端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息;
预处理步骤:基于任务模式将具有相同标识信息的第一数据组的第一元数据信息合并生成第一元数据信息集;
更新步骤:获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息。
2.如权利要求1所述的元数据同步方法,其特征在于,所述元数据同步方法进一步包括:
预发送步骤:第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文;
广播步骤:第二数据终端将所述新的请求报文发送至第三数据端。
3.如权利要求1所述的元数据同步方法,其特征在于,所述请求报文的请求标识包括第一请求标识和第二请求标识,所述获取步骤进一步包括:
若所述请求报文的请求标识为第一请求标识,将具有相同标识信息的第一数据组的元数据摘要信息与第二数据组的元数据摘要信息进行比对,整理具有差异性的元数据摘要信息作为第一数据组的元数据摘要信息,并将所述第一请求标识的请求报文更新为第二请求标识的请求报文;
若所述请求报文为的请求标识为第二请求标识,则直接执行后续处理步骤。
4.如权利要求1或3所述的元数据同步方法,其特征在于,所述获取步骤进一步包括:
比较步骤:将所述第一数据组的第一数据组摘要信息与第二数据组的第二数据组摘要信息进行比较,
如果相同,则不响应该元数据同步操作;
如果不同,则执行后续处理步骤。
5.如权利要求1所述的元数据同步方法,其特征在于,所述预处理步骤进一步包括:
所述第一数据终端发出的请求报文进入预处理步骤后,判断元数据更新单元是否正在运行;
若元数据更新单元正在运行,则将所述第一数据终端发出的请求报文加入预处理队列,待更新单元完成数据处理后,进行所述第一终端数据的元数据信息的合并;
若元数据更新单元没有运行,则将获取的第一终端数据的元数据信息进行合并。
6.如权利要求2所述的元数据同步方法,其特征在于,所述预发送步骤进一步包括:
基于业务模式,根据标识信息,过滤数据端。
7.如权利要求2所述的元数据同步方法,其特征在于,所述广播步骤进一步包括:
根据业务模式,过滤数据组,第二数据终端将所述新的请求报文发送至第三数据端。
8.如权利要求1所述的元数据同步方法,其特征在于,所述第一数据组包括同步起始序号和同步窗口,所述元数据同步方法进一步包括:
通过位运算对所述同步窗口进行转换,并结合所述同步起始序号获取需同步的元数据位置序号,基于所述需同步的元数据位置序号更新第二元数据集合中与位置序号相以应的第二元数据信息。
9.如权利要求1或2所述的元数据同步方法,其特征在于,所述元数据信息合并,具体包括:
比对待合并的两个元数据的修改时间,保留修改时间晚的元数据;
若待合并的两个元数据的修改时间一致,则比较发出该元数据的数据端的优先级,保留优先级高的元数据。
10.一种数据端,其特征在于,所述数据端包括:
一个获取单元,接收至少一个第一数据端发出的请求报文,所述请求报文包括第一数据组,其中,所述第一数据组包括第一数据组的标识信息及第一元数据信息;
一个预处理单元,基于任务模式将具有相同标识信息的第一数据组元数据信息合并生成第一元数据信息集合;
一个更新单元,获取第二数据组中的第二元数据信息集,基于第一元数据信息集中的第一元数据信息更新第二元数据信息集中相应的第二元数据信息,进行元数据信息合并,生成新的第二元数据信息集,其中,所述第二数据组与第一数据组具有相同的标识信息;
一个预发送单元,第二数据终端根据新的第二元数据信息集生成差异化元数据列表,将具有相同标识信息的元数据信息进行合并,得到新的请求报文;
一个广播单元,第二数据终端将所述新的请求报文发送至第三数据端。
11.如权利要求10所述的数据端,其特征在于,所述数据端为服务器、中间设备或用户终端。
12.如权利要求10所述的数据端,其特征在于,所述数据端为程序、软件、服务或脚本实现。
13.一种交互系统,其特征在于,其包括至少两个如权利要求12至14中任一项所述的数据端。
14.如权利要求13所述的交互系统,其特征在于,一个所述数据端还能够发出一个请求报文至其他所述数据端,以请求其他所述数据端发出所述请求报文。
15.一种计算机可读存储介质,用于存储程序,其特征在于,所述程序被执行时,实现权利要求1至9中任一项所述的元数据同步。
CN201811268187.8A 2018-10-29 2018-10-29 一种元数据同步方法、数据端、交互系统及介质 Active CN109462640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811268187.8A CN109462640B (zh) 2018-10-29 2018-10-29 一种元数据同步方法、数据端、交互系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268187.8A CN109462640B (zh) 2018-10-29 2018-10-29 一种元数据同步方法、数据端、交互系统及介质

Publications (2)

Publication Number Publication Date
CN109462640A true CN109462640A (zh) 2019-03-12
CN109462640B CN109462640B (zh) 2021-07-20

Family

ID=65608663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268187.8A Active CN109462640B (zh) 2018-10-29 2018-10-29 一种元数据同步方法、数据端、交互系统及介质

Country Status (1)

Country Link
CN (1) CN109462640B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933771A (zh) * 2019-03-22 2019-06-25 广州市玄武无线科技股份有限公司 一种报表自动合并方法、装置、设备及存储介质
CN111461933A (zh) * 2020-04-13 2020-07-28 向英 一种文本数据处理方法、软件、存储介质、设备
CN114610725A (zh) * 2022-05-11 2022-06-10 成都九洲电子信息系统股份有限公司 一种数据中心组件及其应用方法、存储介质
CN115328997A (zh) * 2022-07-15 2022-11-11 深圳市数帝网络科技有限公司 数据同步方法、系统、设备及存储介质
CN116501375A (zh) * 2023-06-21 2023-07-28 深圳复临科技有限公司 数据字典版本管理方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689164A (zh) * 2007-06-22 2010-03-31 微软公司 服务器辅助的对等同步
CN102480520A (zh) * 2010-11-26 2012-05-30 中国科学院声学研究所 一种基于差量元数据描述性结构的媒体数据同步方法
CN102567442A (zh) * 2011-10-25 2012-07-11 曙光信息产业(北京)有限公司 一种分布式文件系统中元数据磁盘同步的方法
CN103141111A (zh) * 2010-08-04 2013-06-05 纳格拉影像股份有限公司 用于共享数据并使广播数据与附加信息同步的方法
CN103458044A (zh) * 2013-09-12 2013-12-18 北京航空航天大学 一种面向广域网环境下多存储集群的元数据共享管理方法
CN103580891A (zh) * 2012-07-27 2014-02-12 腾讯科技(深圳)有限公司 一种数据同步的方法、系统及服务器
CN103793534A (zh) * 2014-02-28 2014-05-14 苏州博纳讯动软件有限公司 分布式文件系统及均衡元数据存储和访问负载的实现方法
CN104765661A (zh) * 2014-12-30 2015-07-08 深圳市安云信息科技有限公司 一种云存储服务中元数据服务节点的多节点热备方法
CN106599106A (zh) * 2016-11-28 2017-04-26 深圳中兴网信科技有限公司 基于分布式文件系统的数据同步方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689164A (zh) * 2007-06-22 2010-03-31 微软公司 服务器辅助的对等同步
CN103141111A (zh) * 2010-08-04 2013-06-05 纳格拉影像股份有限公司 用于共享数据并使广播数据与附加信息同步的方法
CN102480520A (zh) * 2010-11-26 2012-05-30 中国科学院声学研究所 一种基于差量元数据描述性结构的媒体数据同步方法
CN102567442A (zh) * 2011-10-25 2012-07-11 曙光信息产业(北京)有限公司 一种分布式文件系统中元数据磁盘同步的方法
CN103580891A (zh) * 2012-07-27 2014-02-12 腾讯科技(深圳)有限公司 一种数据同步的方法、系统及服务器
CN103458044A (zh) * 2013-09-12 2013-12-18 北京航空航天大学 一种面向广域网环境下多存储集群的元数据共享管理方法
CN103793534A (zh) * 2014-02-28 2014-05-14 苏州博纳讯动软件有限公司 分布式文件系统及均衡元数据存储和访问负载的实现方法
CN104765661A (zh) * 2014-12-30 2015-07-08 深圳市安云信息科技有限公司 一种云存储服务中元数据服务节点的多节点热备方法
CN106599106A (zh) * 2016-11-28 2017-04-26 深圳中兴网信科技有限公司 基于分布式文件系统的数据同步方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933771A (zh) * 2019-03-22 2019-06-25 广州市玄武无线科技股份有限公司 一种报表自动合并方法、装置、设备及存储介质
CN109933771B (zh) * 2019-03-22 2023-04-14 广州市玄武无线科技股份有限公司 一种报表自动合并方法、装置、设备及存储介质
CN111461933A (zh) * 2020-04-13 2020-07-28 向英 一种文本数据处理方法、软件、存储介质、设备
CN114610725A (zh) * 2022-05-11 2022-06-10 成都九洲电子信息系统股份有限公司 一种数据中心组件及其应用方法、存储介质
CN114610725B (zh) * 2022-05-11 2022-08-16 成都九洲电子信息系统股份有限公司 一种计算机设备及其应用方法、存储介质
CN115328997A (zh) * 2022-07-15 2022-11-11 深圳市数帝网络科技有限公司 数据同步方法、系统、设备及存储介质
CN116501375A (zh) * 2023-06-21 2023-07-28 深圳复临科技有限公司 数据字典版本管理方法、装置、计算机设备及存储介质
CN116501375B (zh) * 2023-06-21 2024-02-23 深圳复临科技有限公司 数据字典版本管理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109462640B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109462640A (zh) 一种元数据同步方法、数据端、交互系统及介质
CN109284334B (zh) 实时数据库同步方法、装置、电子设备及存储介质
CN106250543B (zh) 一种自动化数据查询同步存储方法
CN106503163B (zh) 基于SaaS应用的全局配置多租户动态数据源系统
CN109063196B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN106294741B (zh) 一种自动化数据查询同步存储系统
CN104092767A (zh) 一种增加消息队列模型的发布/订阅系统及其工作方法
CN106230922A (zh) 一种消息订阅方法、消息生产单元及消息接收单元
CN101442558B (zh) 一种为p2sp网络提供索引服务的方法和系统
CN108965003A (zh) 一种分布式集群的部署方法、装置、系统及存储介质
CN101426181A (zh) 具有即时互动的智能化多媒体信息手机浏览系统及实现方法
CN110309231A (zh) 一种跨机房的数据同步方法及系统
CN110096545A (zh) 一种基于大数据平台数据处理域构架方法
CN105787632A (zh) 一种会议室管理方法及系统
CN104683472A (zh) 一种支持大数据量的数据传输方法
EP1764691A1 (en) Mobile data management using association table
CN108390919B (zh) 一种用于高可靠双机热备的消息同步系统及方法
CN102984547A (zh) 一种自适应云播放系统
CN107870982A (zh) 数据处理方法、系统和计算机可读存储介质
CN109657000B (zh) 一种轨道交通综合监控系统的实时数据同步方法及装置
CN105959410B (zh) 服务器集群的负载均衡方法及负载均衡系统
CN114268622A (zh) 分布式场景下的低延迟高并发多平台稿件发布方法
CN112804548B (zh) 一种赛事视频在线剪辑系统
CN101552773A (zh) 一种数据同步中处理数据项标识符映射的方法、设备和系统
CN110032548B (zh) 电力通信网监控平台非结构化数据分布式管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant