CN113242313B - 数据同步方法、系统、装置、服务器及存储介质 - Google Patents

数据同步方法、系统、装置、服务器及存储介质 Download PDF

Info

Publication number
CN113242313B
CN113242313B CN202110593198.9A CN202110593198A CN113242313B CN 113242313 B CN113242313 B CN 113242313B CN 202110593198 A CN202110593198 A CN 202110593198A CN 113242313 B CN113242313 B CN 113242313B
Authority
CN
China
Prior art keywords
data
incremental
structured
channel
receiving end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110593198.9A
Other languages
English (en)
Other versions
CN113242313A (zh
Inventor
刘嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110593198.9A priority Critical patent/CN113242313B/zh
Publication of CN113242313A publication Critical patent/CN113242313A/zh
Application granted granted Critical
Publication of CN113242313B publication Critical patent/CN113242313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种数据同步方法、装置、服务器及存储介质,所述方法包括:数据源端获取待同步数据,将待同步数据中目标类型数据,转换为适应消息队列传输的结构化数据;根据待同步数据中原始类型数据以及结构化数据,得到待传输数据,包含用于标识结构化数据的字段标识;获取数据源端和数据接收端之间的数据通道,并建立数据通道与字段标识的对应关系;基于数据通道传输待传输数据至数据接收端,数据接收端获取待传输数据,并还原为目标类型数据,得到待同步数据,并将目标类型数据绑定到字段标识对应的数据通道;其中,数据接收端与数据源端处于不同的线程或进程,数据通道用于传输增量数据。本公开可以提高响应式数据的同步交互的可适用性。

Description

数据同步方法、系统、装置、服务器及存储介质
技术领域
本公开涉及数据传输技术领域,尤其涉及一种数据同步方法、系统、装置、服务器及计算机可读存储介质。
背景技术
随着数据传输技术的发展,出现了一种利用中间数据结构进行数据传输的方法,该方法可以避免因原始数据与业务数据不同格式和结构产生的冲突,以实现原始数据和业务交互数据的分离。目前,通过中间数据结构可以采用响应式数据进行数据传输,该传输方式中数据同步仅需执行一次,数据发生变更后则可以实现同步更新。
相关技术中,响应式数据只能针对当前线程实现同步交互,而对于跨线程或进程的同步交互,则没有办法应对,目前响应式数据的同步交互可适用性较低。
发明内容
本公开提供一种数据同步方法、系统、装置、服务器及计算机可读存储介质,以至少解决相关技术中响应式数据的同步交互可适用性较低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据同步方法,应用于数据源端,包括:
获取待同步数据,将所述待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;
根据所述待同步数据中的原始类型数据以及所述结构化数据,得到所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
获取所述待同步数据对应的数据源端和数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;
基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道;其中,所述数据接收端与所述数据源端处于不同的线程或进程,所述数据通道用于传输增量数据。
在一示例性实施例中,所述基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端之后,还包括:获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,以使所述数据接收端从所述数据通道获取所述增量数据对应的结构化数据,并还原为所述增量数据。
在一示例性实施例中,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,包括:基于所述第一目标数据通道利用消息队列传输所述第一结构化数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述第一结构化数据,并还原为所述第一增量数据,利用所述第一增量数据对存储的对应数据进行更新。
在一示例性实施例中,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,包括:基于所述第二目标数据通道利用消息队列传输所述第二结构化数据至所述数据接收端,以使所述数据接收端从所述第二目标数据通道获取所述第二结构化数据,并还原为所述第二增量数据,将所述第二增量数据输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
根据本公开实施例的第二方面,提供一种数据同步方法,应用于数据接收端,包括:
从数据源端获取的所述数据源端和所述数据接收端之间的数据通道中获取待接收数据;其中,所述待接收数据包括原始类型数据以及结构化数据;所述原始类型数据为所述数据源端得到的待同步数据中能通过消息队列传输的数据类型的数据;所述结构化数据为所述数据源端对目标类型数据进行转换后得到的数据;所述目标类型数据为所述待同步数据中不能通过消息队列传输的数据类型的数据;所述待接收数据中包含用于标识所述结构化数据的字段标识,用于建立与所述数据通道的对应关系;所述数据接收端与所述数据源端处于不同的线程或进程;
从所述待接收数据中获取所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据;
根据所述原始数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
在一示例性实施例中,所述将还原得到的目标类型数据绑定到所述字段标识对应的数据通道之后,还包括:从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为所述增量数据;所述目标数据通道为所述增量数据对应的结构化数据的字段标识绑定的数据通道;所述增量数据对应的结构化数据为所述数据源端根据所述增量数据转换的适应于消息队列传输的结构化数据。
在一示例性实施例中,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;所述还原为所述增量数据之后,还包括:当所述增量数据为所述第一增量数据时,将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
在一示例性实施例中,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述还原为所述增量数据之后,还包括:当所述增量数据为所述第二增量数据时,将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
根据本公开实施例的第三方面,提供一种数据同步系统,包括:数据源端和数据接收端;所述数据源端和所述数据接收端处于不同的线程或进程;其中,
所述数据源端,用于将所述待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;根据所述待同步数据中的原始类型数据以及所述结构化数据,获取所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据对应的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
所述数据源端,还用于获取与所述数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端;
所述数据接收端,用于从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
在一示例性实施例中,所述数据源端,还用于获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据;所述数据接收端,还用于从所述目标数据通道中获取所述增量数据对应的结构化数据,并还原为所述增量数据。
在一示例性实施例中,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;所述数据源端,还用于将所述第一增量数据转换为适应于消息队列传输的第一结构化数据,并确定与所述第一结构化数据对应的字段标识绑定的第一目标数据通道;基于所述第一目标数据通道利用消息队列传输所述第一结构化数据至所述数据接收端;所述数据接收端,还用于从所述第一目标数据通道中获取所述第一结构化数据,并还原为所述第一增量数据;将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
在一示例性实施例中,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述数据源端,还用于将所述第二增量数据转换为适应于消息队列传输的第二结构化数据,并确定与所述第二结构化数据对应的字段标识绑定的第二目标数据通道;基于所述第二目标数据通道利用消息队列传输所述第二结构化数据至所述数据接收端;所述数据接收端,还用于从所述第二目标数据通道中获取所述第二结构化数据,并还原为所述第二增量数据;将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
根据本公开实施例的第四方面,提供一种数据同步装置,应用于数据源端,包括:
同步数据获取单元,被配置为执行获取待同步数据,将所述待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;
同步数据转换单元,被配置为执行根据所述待同步数据中的原始类型数据以及所述结构化数据,得到所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
数据通道建立单元,被配置为执行获取所述待同步数据对应的数据源端和数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;
同步数据传输单元,被配置为执行基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道;其中,所述数据接收端与所述数据源端处于不同的线程或进程,所述数据通道用于传输增量数据。
在一示例性实施例中,数据同步装置,还包括:增量数据传输单元,被配置为执行获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,以使所述数据接收端从所述数据通道获取所述增量数据对应的结构化数据,并还原为所述增量数据。
在一示例性实施例中,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述增量数据传输单元,进一步被配置为执行基于所述第一目标数据通道利用消息队列传输所述第一结构化数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述第一结构化数据,并还原为所述第一增量数据,利用所述第一增量数据对存储的对应数据进行更新。
在一示例性实施例中,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述增量数据传输单元,进一步被配置为执行基于所述第二目标数据通道利用消息队列传输所述第二结构化数据至所述数据接收端,以使所述数据接收端从所述第二目标数据通道获取所述第二结构化数据,并还原为所述第二增量数据,将所述第二增量数据输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
根据本公开实施例的第五方面,提供一种数据同步装置,应用于数据接收端,包括:
同步数据接收单元,被配置为执行从数据源端获取的所述数据源端和所述数据接收端之间的数据通道中获取待接收数据;其中,所述待接收数据包括原始类型数据以及结构化数据;所述原始类型数据为所述数据源端得到的待同步数据中能通过消息队列传输的数据类型的数据;所述结构化数据为所述数据源端对目标类型数据进行转换后得到的数据;所述目标类型数据为所述待同步数据中不能通过消息队列传输的数据类型的数据;所述待接收数据中包含用于标识所述结构化数据的字段标识,用于建立与所述数据通道的对应关系;所述数据接收端与所述数据源端处于不同的线程或进程;
同步数据还原单元,被配置为执行从所述待接收数据中获取所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据;
数据通道绑定单元,被配置为执行根据所述原始数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
在一示例性实施例中,数据同步装置,还包括:增量数据接收单元,被配置为执行从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为所述增量数据;所述目标数据通道为所述增量数据对应的结构化数据的字段标识绑定的数据通道;所述增量数据对应的结构化数据为所述数据源端根据所述增量数据转换的适应于消息队列传输的结构化数据。
在一示例性实施例中,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;数据同步装置,还包括:增量数据更新单元,被配置为执行当所述增量数据为所述第一增量数据时,将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
在一示例性实施例中,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;数据同步装置,还包括:增量函数响应单元,被配置为执行当所述增量数据为所述第二增量数据时,将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
根据本公开实施例的第六方面,提供一种服务器,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面或第二方面中任一项实施例所述的数据同步方法。
根据本公开实施例的第七方面,提供一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行如第一方面或第二方面中任一项实施例所述的数据同步方法。
根据本公开实施例的第八方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面中任一项实施例所述的数据同步方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过数据源端获取待同步数据,将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;目标类型数据为不能通过消息队列传输的数据类型的数据;根据待同步数据中的原始类型数据以及结构化数据,得到待同步数据对应的待传输数据,待传输数据中包含用于标识结构化数据的字段标识;原始类型数据为能通过消息队列传输的数据类型的数据;获取待同步数据对应的数据源端和数据接收端之间的数据通道,并建立数据通道与字段标识的对应关系;基于数据通道利用消息队列传输待传输数据至数据接收端,以使数据接收端从数据通道获取待传输数据中的原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道;其中,数据接收端与数据源端处于不同的线程或进程,数据通道用于传输增量数据。本公开通过数据源端将不能通过消息队列传输的待同步数据转换为结构化数据,传输完成后由数据接收端将结构化数据进行还原,并在建立数据源端和数据接收端之间的数据通道的同时,通过建立结构化数据的字段标识与数据通道的对应关系,可以在数据发生增量变化时通过该数据通道实现增量数据的传输,由于消息队列可以实现数据的跨线程或者跨进程通信,可以实现响应式数据的跨线程或者跨进程通信,从而提高响应式数据的同步交互的可适用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据同步方法的应用环境图。
图2是根据一示例性实施例示出的一种数据同步方法的流程图。
图3是根据一示例性实施例示出的增量数据传输的流程图。
图4是根据另一示例性实施例示出的一种数据同步方法的流程图。
图5是根据一示例性实施例示出的一种数据同步系统的结构示意图。
图6是根据一示例性实施例示出的一种数据同步装置的框图。
图7是根据一示例性实施例示出的一种数据同步装置的框图。
图8是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所提供的数据同步方法,可以应用于如图1所示的应用环境中。其中,数据源端101以及数据接收端102通过数据通道进行交互,数据源端101和数据接收端102处于不同的线程或进程。具体来说,当数据源端101需要和数据接收端102进行数据交互时,可以将需要同步的待同步数据中无法通过消息队列进行跨线程或进程传输的目标类型数据转化成结构化数据,并且和可以通过消息队列传输的原始类型数据一并通过建立的数据源端101和数据接收端103之间的数据通道进行传输,传输完成后,数据接收端102可以从数据通道中读取结构化数据和原始类型数据,并将结构化数据进行还原,最后得到待同步数据。并且,数据源端101建立与数据接收端102的数据通道之后,还可以将传输的目标类型数据绑定到该数据通道上,在发生目标类型数据的增量更新时,则可以通过数据通道进行增量数据的传输。其中,数据源端101以及数据接收端103可以是各种独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种数据同步方法的流程图,如图2所示,数据同步方法用于数据源端101中,包括以下步骤。
在步骤S201中,数据源端101获取待同步数据,将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;目标类型数据为不能通过消息队列传输的数据类型的数据。
其中,待同步数据时需要进行数据同步的数据,该数据需要从数据源端101同步至数据接收端102,目标类型数据则指的是无法通过消息队列传输进行传输的数据类型的数据,例如可以包括对象数据、数组数据,以及函数类型等。由于目标类型数据无法通过消息队列进行传输,本实施例中,数据源端101在得到需要进行数据的同步的待同步数据后,首先可以从待同步数据中提取出无法通过消息队列传输的目标类型数据,并将其转换为可以通过消息队列传输的结构化数据,在使用消息队列传输时,则可以通过传输目标类型数据对应的结构化数据,实现数据的同步。
在步骤S202中,数据源端101根据待同步数据中的原始类型数据以及结构化数据,得到待同步数据对应的待传输数据,待传输数据中包含用于标识结构化数据的字段标识;原始类型数据为能通过消息队列传输的数据类型的数据。
原始类型数据则指的是待同步数据中可以直接通过消息队列进行数据传输的数据,字段标识则是用于标识步骤S201中转化的结构化数据的标识,该标识具有唯一性。具体来说,数据源端101在步骤S201中将待同步数据中无法通过消息队列进行传输转换为结构化数据之后,即可以将得到的结构化数据,以及待同步数据可以直接通过消息队列进行传输的原始类型数据一并作为通过消息队列进行传输的待传输数据,其中,待传输数据中的结构化数据部分还携带有用于唯一标识结构化数据的字段标识。
在步骤S203中,数据源端101获取待同步数据对应的数据源端101和数据接收端102之间的数据通道,并建立数据通道与字段标识的对应关系。
消息通道指的是用于传输待传输数据的通道,该通道可以利用消息队列实现待传输数据的传输,本步骤中,数据源端101可以获取待同步数据的数据源端101以及数据接收端102的数据通道,可用于将待传输数据从数据源端101传输至数据接收端102,并且将建立的数据通道与待传输数据中用于标识结构化数据的字段标识建立对应关系,在数据发生增量变化时,则可以通过对应的数据通道进行通信。
在步骤S204中,数据源端101基于数据通道利用消息队列传输待传输数据至数据接收端102,以使数据接收端102从数据通道获取待传输数据中的原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道;其中,数据接收端与所述数据源端处于不同的线程或进程,所述数据通道用于传输增量数据。
得到数据通道后,数据源端101则可以基于该数据通道,利用消息队列传输待传输数据至处于不同的线程或者不同的进程的数据接收端102,数据传输完成后数据接收端102则可以从数据通道中读取出待传输数据中的原始类型数据和结构化数据,以及将结构化数据部分还原为目标类型数据,并且与原始类型数据一并作为待同步数据进行接收,同时,还可以对还原后的目标类型数据与其转换的结构化数据的字段标识对应的数据通道进行绑定,在目标类型数据发生增量变化时,则可以通过绑定的数据通道将变化的数据进行传输,以实现数据的增量更新。
上述数据同步方法中,通过数据源端101获取待同步数据,将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;目标类型数据为不能通过消息队列传输的数据类型的数据;根据待同步数据中的原始类型数据以及结构化数据,得到待同步数据对应的待传输数据,待传输数据中包含用于标识结构化数据的字段标识;原始类型数据为能通过消息队列传输的数据类型的数据;获取待同步数据对应的数据源端和数据接收端之间的数据通道,并建立数据通道与字段标识的对应关系;基于数据通道利用消息队列传输待传输数据至数据接收端102,以使数据接收端102从数据通道获取待传输数据中的原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道;其中,数据接收端102与数据源端101处于不同的线程或进程,数据通道用于传输增量数据。本公开通过数据源端101将不能通过消息队列传输的待同步数据转换为结构化数据,传输完成后由数据接收端将结构化数据进行还原,并在建立数据源端101和数据接收端102之间的数据通道的同时,通过建立结构化数据的字段标识与数据通道的对应关系,可以在数据发生增量变化时通过该数据通道实现增量数据的传输,由于消息队列可以实现数据的跨线程或者跨进程通信,可以实现响应式数据的跨线程或者跨进程通信,从而提高响应式数据的同步交互的可适用性。
在一示例性实施例中,如图3所示,在步骤S204之后,还可以包括:
步骤S301,数据源端101获取目标类型的增量数据,将增量数据转换为适应于消息队列传输的增量数据对应的结构化数据。
如果数据源端101中的数据发生变化,需要数据接收端102进行增量响应时,则可以将发生变化的增量数据传输至数据接收端102,以使得数据接收端102可以对增量数据进行相应的增量响应。具体来说,数据源端101产生的增量数据一般属于目标类型数据,由于该增量数据无法通过消息队列进行传输,因此当数据源端101得到目标类型的增量数据后,则可以通过类似步骤S201的方式,将增量数据转换为可以通过消息队列传输的结构化数据。
步骤S302,数据源端101获取增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;
步骤S303,数据源端101基于目标数据通道利用消息队列传输增量数据对应的结构化数据,以使数据接收端102从数据通道获取增量数据对应的结构化数据,并还原为增量数据。
步骤S301中数据源端101将增量数据转换为结构化数据之后,则可以从得到的结构化数据中确定用于唯一标识该结构化数据的字段标识,并从预先建立的数据通道中确定出于该字段标识绑定的数据通道,作为目标数据通道,再通过目标数据通道利用消息队列将结构化数据传输至需要对增量数据进行增量响应的数据接收端102。
例如,数据源端101与数据接收端102预先建立有数据通道A、数据通道B以及数据通道C,分别用于传输携带有字段标识A的结构化数据、携带有字段标识B的结构化数据以及携带有字段标识C的结构化数据,并且数据源端101得到的增量数据进行结构化转化后携带的字段标识为字段标识A,那么数据源端101则可以通过该字段标识A绑定的目标数据通道,即通过数据通道A传输结构化数据至数据接收端102,数据接收端102则可以从数据通道A中得到结构化数据并进行还原。
上述实施例中,数据源端101可以在得到目标类型的增量数据时,将增量数据转换为结构化数据,并利用转换得到的结构化数据的字段标识选择绑定的目标数据通道进行增量数据传输,从而可以利用目标数据通道将增量数据传输至对应的数据接收端102,以使数据接收端102实现数据的增量响应,实现了数据的增量同步,从而减少数据的同步损耗。
进一步地,增量数据包括:第一增量数据,用于更新数据接收端102存储的对应数据;步骤S303可以进一步包括:数据源端101基于第一目标数据通道利用消息队列传输第一结构化数据至数据接收端102,以使数据接收端102从数据通道获取第一结构化数据,并还原为第一增量数据,利用第一增量数据对存储的对应数据进行更新。
其中,增量数据可以包括用于对数据接收端102存储的数据进行更新的第一增量数据,例如数据接收端102存储的数据B与数据源端101存储的数据A存在某种对应关系,当数据源端101存储的数据A发生针对第一增量数据的更新时,那么数据接收端102存储的数据B也需要执行第一增量数据相应的更新响应。具体来说,当数据源端101存储的某个数据发生更新时,可以将更新后的数据作为第一增量数据并将其转化为对应的结构化数据,即第一结构化数据,之后,数据源端101可以将第一结构化数据通过与其绑定的目标数据通道,即第一目标数据通道并利用消息队列进行数据传输至数据接收端102,传输完成后,数据接收端102则可以从第一目标数据中得到第一结构化数据,并将其还原成第一增量数据,从而利用得到的第一增量数据实现数据的更新。
本实施例中,数据源端101可以通过第一目标数据通道,将用于实现数据接收端102存储的数据进行更新的第一增量数据对应的第一结构化数据传输至数据接收端102,数据接收端102则可以将第一结构化数据还原成第一增量数据实现增量更新,从而实现了数据跨线程或者跨进程的响应式更新,提高数据更新的效率。
在另一个实施例中,增量数据包括:第二增量数据,用于数据接收端102调用与第二增量数据对应的函数,以获取第二增量数据对应的函数响应数据;步骤S303可以进一步包括:数据源端101基于第二目标数据通道利用消息队列传输第二结构化数据至数据接收端102,以使数据接收端102从第二目标数据通道获取第二结构化数据,并还原为第二增量数据,将第二增量数据输入与第二增量数据对应的函数,根据函数输出得到第二增量数据对应的函数响应数据。
第二增量数据则是用于调用数据接收端102存储的函数的增量数据,该函数可以将接收到的第二增量数据作为函数的输入参数,并输出对应的函数响应数据。具体来说,当数据源端101需要调用数据接收端102中存储的某个函数时,可以将用于调用函数的参数作为第二增量数据,并将其转换为可以通过消息队列传输的第二结构化数据,利用绑定的第二目标数据通道通过消息队列进行数据传输,传输完成后,数据接收端102则可以从第二目标数据通道中得到第二结构化数据并还原为第二增量数据后,将其输入需要进行函数调用的函数,即第二增量数据对应的函数,由该函数输出第二增量数据对应的函数响应数据。
本实施例中,数据源端101可以通过第二目标数据通道,将用于实现数据接收端102进行函数调用的第二增量数据对应的第二结构化数据传输至数据接收端102,数据接收端102则可以将第二结构化数据还原成第二增量数据实现函数调用,从而实现了数据跨线程或者跨进程的响应式函数调用,提高函数调用的效率。
图4是根据一示例性实施例示出的一种数据同步方法的流程图,如图4所示,数据同步方法用于数据接收端102中,包括以下步骤。
在步骤S401中,数据接收端102从数据源端101获取的数据源端101和数据接收端102之间的数据通道中获取待接收数据;其中,待接收数据包括原始类型数据以及结构化数据;原始类型数据为数据源端101得到的待同步数据中能通过消息队列传输的数据类型的数据;结构化数据为数据源端101对目标类型数据进行转换后得到的数据;目标类型数据为待同步数据中不能通过消息队列传输的数据类型的数据;待接收数据中包含用于标识结构化数据的字段标识,用于建立与数据通道的对应关系;数据接收端102与数据源端101处于不同的线程或进程。
其中,待接收数据是数据接收端102可以从与数据源端101和数据接收端102之间的数据通道中接收到的数据,该数据源端101和数据接收端102处于不同的线程或者不同的进程。待接收数据则可以包括原始类型数据以及结构化数据,其中,原始类型数据是数据源端101中需要进行数据同步的待同步数据中可以直接通过消息队列传输的数据,而结构化数据则是待同步数据中无法通过消息队列直接传输的目标类型数据,并通过数据源端101针对目标类型数据进行转换后得到的数据。同时,待接收数据中还可以携带有用于标识其中包括的结构化数据的字段标识,该字段表示可以用于建立待接收数据与用于传输的数据通道之间的对应关系。
具体来说,数据源端101可以将待同步数据中的目标类型数据部分转换成结构化数据,并将待同步数据中原始类型数据部分以及结构化数据作为需要数据接收端102进行接收的待接收数据,输入至数据源端101和数据接收端102之间的与结构化数据的字段标识对应的数据通道,通过数据通道利用消息队列进行待接收数据的传输。传输完成后,数据接收端102则可以从数据通道中得到待接收数据。
在步骤S402中,数据接收端102从待接收数据中获取原始类型数据和结构化数据,并将结构化数据还原为目标类型数据;
在步骤S403中,数据接收端102根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道,用于传输增量数据。
数据接收端102得到待接收数据后,则可以从待接收数据中得到原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,将其与待接收数据中得到原始类型数据作为用于数据同步的待同步数据,同时,数据接收端102还可以将还原得到的目标类型数据绑定到该目标类型数据对应的结构化数据的字段标识对应的数据通道上,在数据源端101传输增量数据时,数据接收端102则可以从增量数据对应的数据通道中读取增量数据实现增量数据的响应。
上述数据同步方法中,通过数据接收端102从数据源端101获取的数据源端101和数据接收端102之间的数据通道中获取待接收数据;其中,待接收数据包括原始类型数据以及结构化数据;原始类型数据为数据源端101得到的待同步数据中能通过消息队列传输的数据类型的数据;结构化数据为数据源端101对目标类型数据进行转换后得到的数据;目标类型数据为待同步数据中不能通过消息队列传输的数据类型的数据;待接收数据中包含用于标识结构化数据的字段标识,用于建立与数据通道的对应关系;数据接收端102与数据源端101处于不同的线程或进程;从待接收数据中获取原始类型数据和结构化数据,并将结构化数据还原为目标类型数据;根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道,用于传输增量数据。本公开通过数据源端101将不能通过消息队列传输的待同步数据转换为结构化数据,传输完成后由数据接收端102将结构化数据进行还原,并在建立数据源端和数据接收端之间的数据通道的同时,通过建立结构化数据的字段标识与数据通道的对应关系,可以在数据发生增量变化时通过该数据通道实现增量数据的传输,由于消息队列可以实现数据的跨线程或者跨进程通信,可以实现响应式数据的跨线程或者跨进程通信,从而提高响应式数据的同步交互的可适用性。
在一个实施例中,步骤S403之后,还可以包括:数据接收端102从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为增量数据;目标数据通道为增量数据对应的结构化数据的字段标识绑定的数据通道;增量数据对应的结构化数据为数据源端101根据增量数据转换的适应于消息队列传输的结构化数据。
其中,目标数据通道为传输增量数据对应的结构化数据的字段标识绑定的数据通道,当数据源端101产生无法通过消息队列进行传输的目标类型的增量数据时,可以将其转换为适应于消息队列传输的结构化数据,并通过目标数据通道传输至数据接收端102,数据接收端102则可以从目标数据通道中读取该结构化数据,并将其还原成增量数据。
本实施例中,数据接收端102可以从数据通道中接收结构化数据,并将其还原为增量数据后,可用于进行增量响应,从而实现了数据的增量同步,减少数据的同步损耗。
进一步地,增量数据包括:第一增量数据,用于更新数据接收端102存储的对应数据;数据接收端102预先存储有用于更新数据接收端102存储的对应数据的更新函数;更新函数存储在数据接收端102存储的对应数据的缓存列表中;数据接收端102还原为增量数据之后,还可以包括:当增量数据为第一增量数据时,数据接收端102将第一增量数据输入更新函数,根据更新函数输出得到第一增量数据对应的函数数据,利用函数数据对存储的对应数据进行更新。
增量数据可以包括有用于更新数据接收端102存储的数据的第一增量数据,更新函数则是用于更新数据接收端102存储的第一增量数据对应的数据的函数,该函数预先存储于数据接收端102存储的对应数据的缓存列表中,可以描述与第一增量数据之间的函数关系,例如数据接收端102存储的数据B与某个数据源端101存储的数据A的存在函数A的对应关系时,则可以将函数A存储于数据B的缓存列表中,当接收到数据源端101发送的针对于数据A的第一增量数据时,则可以通过调用函数A,将第一增量数据输入函数A得到对应的函数数据C,并利用得到的函数数据C对数据接收端102存储的数据B进行相应的更新。同理,如果数据接收端102存储的数据D与数据A的存在函数B的对应关系时,也可以通过调用函数B,将第一增量数据输入函数B得到对应的函数数据E后,利用函数数据E对数据D进行更新。
本实施例中,通过在数据接收端102中预先存储用于更新数据接收端102存储的数据的更新函数,在得到第一增量数据后,则可以通过调用更新函数的方式,利用更新函数输出与第一增量数据对应的函数数据,并利用函数数据对数据接收端102存储的对应数据进行响应更新,保证了在数据源端101发生数据更新时,数据接收端102存储的对应数据也可以进行响应式的更新,从而在数据源端101的数据变更后即可使数据接收端102响应数据变更,进而减少数据跨线程或者跨进程更新的损耗。
在另一个实施例中,增量数据包括:第二增量数据,用于数据接收端102调用与第二增量数据对应的函数,以获取第二增量数据对应的函数响应数据;数据接收端102还原为增量数据之后,还包括:当增量数据为第二增量数据时,将第二增量数据作为函数参数输入与第二增量数据对应的函数,根据函数输出得到第二增量数据对应的函数响应数据。
另外,第二增量数据是用于调用数据接收端102存储的函数的增量数据,该函数可以将接收到的第二增量数据作为函数的输入参数,并输出对应的函数响应数据。在数据接收端102得到第二增量数据后,则可以调用预先存储的与第二增量数据对应的函数,将第二增量数据作为函数的参数输入该函数中,并输出第二增量数据对应的函数响应数据,以执行针对第二增量数据的函数增量响应。
本实施例中,数据接收端102接收到第二增量数据时,可以调用第二增量数据对应的函数,得到函数响应数据,实现了函数的跨线程或者跨进程的调用,从而在保证函数安全性的同时,提高了函数调用的可行性。
图5是根据一示例性实施例示出的一种数据同步系统的结构示意图,如图5所示,该系统包括:数据源端501和与数据源端501处于不同的线程或者进程的数据接收端502。
其中,数据源端501是用于发送待同步数据的服务器,而数据接收端502则是用于接收待同步数据,实现数据同步的服务器,数据源端501通过将待同步数据发送至数据接收端502,可以使数据源端501与数据接收端502实现数据同步。
具体来说,当数据源端501需要进行数据同步时,可以将需要同步的待同步数据中无法通过消息队列传输的目标类型数据转换为可以适用于消息队列传输的结构化数据,并将转换得到的结构化数据,以及可以直接通过消息队列传输的原始类型数据作为待传输数据。同时,转换得到的结构化数据可以存储有用于唯一标识该结构化数据的字段标识,在数据源端501得到与数据接收端502之间的数据通道后,可以建立字段标识与数据通道的对应关系,并通过该数据通道将待传输数据利用消息队列进行传输。传输完成后数据接收端502可以再将待传输数据中的结构化数据还原为目标类型数据,并将还原得到的目标类型数据以及直接传输的原始类型数据作为待同步数据,并将还原得到的目标类型数据绑定到该字段标识对应的数据通道,用于接收数据源端501通过数据通道传输的增量数据。
上述数据同步系统,包括:数据源端501和数据接收端502;数据源端501和数据接收端502处于不同的线程或进程;其中,数据源端501,用于将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;目标类型数据为不能通过消息队列传输的数据类型的数据;根据待同步数据中的原始类型数据以及结构化数据,获取待同步数据对应的待传输数据,待传输数据中包含用于标识结构化数据对应的字段标识;原始类型数据为能通过消息队列传输的数据类型的数据;数据源端501,还用于获取与数据接收端502之间的数据通道,并建立数据通道与字段标识的对应关系;基于数据通道利用消息队列传输待传输数据至数据接收端502;数据接收端502,用于从数据通道获取待传输数据中的原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道,用于传输增量数据。本公开可通过数据源端501将不能通过消息队列传输的待同步数据转换为结构化数据,传输完成后由数据接收端502将结构化数据进行还原,并在建立数据源端501和数据接收端502之间的数据通道的同时,通过建立结构化数据的字段标识与数据通道的对应关系,可以在数据发生增量变化时通过该数据通道实现增量数据的传输,由于消息队列可以实现数据的跨线程或者跨进程通信,可以实现响应式数据的跨线程或者跨进程通信,从而提高响应式数据的同步交互的可适用性。
在一示例性实施例中,数据源端501,还用于获取目标类型的增量数据,将增量数据转换为适应于消息队列传输的增量数据对应的结构化数据;获取增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于目标数据通道利用消息队列传输增量数据对应的结构化数据;数据接收端502,还用于从目标数据通道中获取增量数据对应的结构化数据,并还原为增量数据。
其中,增量数据指的是实现数据同步后发生变化的增量数据,该增量数据一般属于目标类型数据,当数据源端501产生增量数据时,例如存储的数据发生更新时,则可以同步对数据接收端503的数据进行增量响应,例如同步更新数据接收端503存储的数据。具体来说,数据源端501产生增量数据后,可以将其转换为可以通过消息队列传输的结构化数据,并利用该结构化数据预先绑定的目标数据通道传输至数据接收端502,传输完成后数据接收端502再将结构化数据进行还原,得到属于目标类型数据的增量数据。
上述实施例中,数据源端501可以将增量数据转换为结构化数据,并利用转换得到的结构化数据的字段标识选择绑定的目标数据通道进行通信,数据接收端502则可以从目标数据通道中得到结构化数据并还原,从而可以利用目标数据通道将增量数据传输至对应的数据接收端502,实现了数据的增量同步,从而减少数据的同步损耗。
进一步地,增量数据包括:第一增量数据,用于更新数据接收端502存储的对应数据;数据接收端502预先存储有用于更新数据接收端502存储的对应数据的更新函数;更新函数存储在数据接收端502存储的对应数据的缓存列表中;数据源端501,还用于将第一增量数据转换为适应于消息队列传输的第一结构化数据,并确定与第一结构化数据对应的字段标识绑定的第一目标数据通道;基于第一目标数据通道利用消息队列传输第一结构化数据至数据接收端502;数据接收端502,还用于从第一目标数据通道中获取第一结构化数据,并还原为第一增量数据;将第一增量数据输入更新函数,根据更新函数输出得到第一增量数据对应的函数数据,利用函数数据对存储的对应数据进行更新。
其中,增量数据可以包括用于对数据接收端502存储的数据进行更新的第一增量数据,而更新函数是用于更新数据接收端502存储的第一增量数据对应的数据的函数,该函数预先存储于数据接收端502存储的对应数据的缓存列表中,可以描述与第一增量数据之间的函数关系。
具体来说,当数据源端501存储的数据发生更新时,可以将更新后的数据作为第一增量数据转换为可以通过消息队列传输的第一结构化数据,并基于第一结构化数据的字段标识预先绑定的数据通道,即第一目标数据通道,通过消息队列进行数据传输,传输完成后数据接收端502再将第一结构化数据还原为第一增量数据后,通过将第一增量数据输入缓存的更新函数,由更新函数输出得到第一增量数据对应的函数数据,并利用函数数据对存储的对应数据进行更新。
本实施例中,保证了在数据源端501发生数据更新时,数据接收端502存储的对应数据也可以进行响应式的更新,从而在数据源端501的数据变更后即可使数据接收端502响应数据变更,进而减少数据跨线程或者跨进程更新的损耗。
另外,增量数据还包括:第二增量数据,用于数据接收端502调用与第二增量数据对应的函数,以获取第二增量数据对应的函数响应数据;数据源端501,还用于将第二增量数据转换为适应于消息队列传输的第二结构化数据,并确定与第二结构化数据对应的字段标识绑定的第二目标数据通道;基于第二目标数据通道利用消息队列传输第二结构化数据至数据接收端502;数据接收端502,还用于从第二目标数据通道中获取第二结构化数据,并还原为第二增量数据;将第二增量数据作为函数参数输入与第二增量数据对应的函数,根据函数输出得到第二增量数据对应的函数响应数据。
其中,第二增量数据是用于调用数据接收端502存储的函数的增量数据,该函数可以将接收到的第二增量数据作为函数的输入参数,并输出对应的函数响应数据。具体来说,当数据源端501需要调用数据接收端502中存储的某个函数时,可以将用于调用函数的参数作为第二增量数据,转换为可以通过消息队列传输的第二结构化数据,并基于第二结构化数据的字段标识预先绑定的数据通道,即第二目标数据通道,通过消息队列进行数据传输,传输完成后由数据接收端502将第二结构化数据还原为第二增量数据后,则可以调用预先存储的与第二增量数据对应的函数,将第二增量数据输入该函数中,并输出第二增量数据对应的函数响应数据,以执行针对第二增量数据的增量响应。
本实施例中,实现了函数的跨线程或者跨进程的调用,从而在保证函数安全性的同时,提高了函数调用的可行性。
在一示例性实施例中,还提供了一种跨线程或者跨进程的响应式数据同步及交互方法,该方法具体可以包括如下步骤:
1.数据初始化,发送部份
首先对用户的原始数据进行克隆化类型处理,将不能被消息队列传输的对象类型、数组类型及引用类型数据,将在克隆过程中被结构化数据替换,而可以被消息队列直接传输的原始类型数据则不进行处理,这个结构化数据包含有一个唯一的字段标识,结构化数据生成后,则可以同步生成数据通道,通过注册数据发送方与接收方的发送端口以及接收端口,形成数据发送方与数据接收方的数据通道,之后数据接收方再构建字段标识与数据通道的对应关系,将数据通道用于点对点的增量数据传输通道。
2.数据初始化,接收部份
接收方接收到的数据是结构化数据后,则可以对结构化数据进行还原,原始类型数据则不进行处理,而对象类型、数组类型及引用类型数据则会被还原为原始的数据结构,并将还原后的数据绑定到对应字段标识的数据通道之上以备增量的通信使用。
3.响应式数据的实现
对于响应式数据,即对象类型以及数组类型的数据,重新实现了查找、赋值、get读取、枚举、删除、扩展,以及对象描述等方法,具体来说,在上述方法被数据接收方调用时,可以预先收集上述方法对应的响应式函数,并保存到数据接收方当前存储的数据的缓存列表中,以备在发送方的数据产生变化时,重新调用响应式函数。
4.响应式数据的同步
数据发送方的被调用数据发生变化后,通过当前响应式数据对应字段标识的数据通道将变更后的数据克隆化后,通过消息队列发送给其它数据接收方,数据接收方在接受数据后,则可以对结构化数据进行还原,并调用预先存储的响应式函数来对存储的本地数据进行更新。
5.跨线程与跨进程的函数调用
在发送方需要进行函数调用时,发送方会通过数据通道将函数的参数克隆化,转换为结构化数据后,发送至接收端,该接收端可以是需要调用的函数的所有者,接收端在接收到结构化数据后,则可以将其还原为函数的参数,并调用存储的函数,通过传入参数实现函数的跨线程与跨进程调用。
上述实施例中,跨线程或者跨进程的数据同步仅需一次请求,可以减少服务器端消耗,数据变更时即可增量同步,减少数据同步消耗,数据变更后无需额外开发即可响应数据及变更,还可以传递函数参数用于函数相互调用并且不用担心安全问题。解决了跨线程或者跨进程的响应式数据更新的难题。
应该理解的是,虽然本公开的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图6是根据一示例性实施例示出的一种数据同步装置框图。参照图6,该装置应用于数据源端,包括同步数据获取单元601,同步数据转换单元602,数据通道建立单元603和同步数据传输单元604。
同步数据获取单元601,被配置为执行获取待同步数据,将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;目标类型数据为不能通过消息队列传输的数据类型的数据;
同步数据转换单元602,被配置为执行根据待同步数据中的原始类型数据以及结构化数据,得到待同步数据对应的待传输数据,待传输数据中包含用于标识结构化数据的字段标识;原始类型数据为能通过消息队列传输的数据类型的数据;
数据通道建立单元603,被配置为执行获取待同步数据对应的数据源端和数据接收端之间的数据通道,并建立数据通道与字段标识的对应关系;
同步数据传输单元604,被配置为执行基于数据通道利用消息队列传输待传输数据至数据接收端,以使数据接收端从数据通道获取待传输数据中的原始类型数据和结构化数据,并将结构化数据还原为目标类型数据,根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道;其中,数据接收端与数据源端处于不同的线程或进程,数据通道用于传输增量数据。
在一示例性实施例中,数据同步装置,还包括:增量数据传输单元,被配置为执行获取目标类型的增量数据,将增量数据转换为适应于消息队列传输的增量数据对应的结构化数据;获取增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于目标数据通道利用消息队列传输增量数据对应的结构化数据,以使数据接收端从数据通道获取增量数据对应的结构化数据,并还原为增量数据。
在一示例性实施例中,增量数据包括:第一增量数据,用于更新数据接收端存储的对应数据;增量数据传输单元,进一步被配置为执行基于第一目标数据通道利用消息队列传输第一结构化数据至数据接收端,以使数据接收端从数据通道获取第一结构化数据,并还原为第一增量数据,利用第一增量数据对存储的对应数据进行更新。
在一示例性实施例中,增量数据包括:第二增量数据,用于数据接收端调用与第二增量数据对应的函数,以获取第二增量数据对应的函数响应数据;增量数据传输单元,进一步被配置为执行基于第二目标数据通道利用消息队列传输第二结构化数据至数据接收端,以使数据接收端从第二目标数据通道获取第二结构化数据,并还原为第二增量数据,将第二增量数据输入与第二增量数据对应的函数,根据函数输出得到第二增量数据对应的函数响应数据。
图7是根据一示例性实施例示出的一种数据同步装置框图。参照图6,该装置应用于数据接收端,包括同步数据接收单元701,同步数据还原单元702和数据通道绑定单元703。
同步数据接收单元701,被配置为执行从数据源端获取的数据源端和数据接收端之间的数据通道中获取待接收数据;其中,待接收数据包括原始类型数据以及结构化数据;原始类型数据为数据源端得到的待同步数据中能通过消息队列传输的数据类型的数据;结构化数据为数据源端对目标类型数据进行转换后得到的数据;目标类型数据为待同步数据中不能通过消息队列传输的数据类型的数据;待接收数据中包含用于标识结构化数据的字段标识,用于建立与数据通道的对应关系;数据接收端与数据源端处于不同的线程或进程;
同步数据还原单元702,被配置为执行从待接收数据中获取原始类型数据和结构化数据,并将结构化数据还原为目标类型数据;
数据通道绑定单元703,被配置为执行根据原始数据和还原得到的目标类型数据得到待同步数据,并将还原得到的目标类型数据绑定到字段标识对应的数据通道,用于传输增量数据。
在一示例性实施例中,数据同步装置,还包括:增量数据接收单元,被配置为执行从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为增量数据;目标数据通道为增量数据对应的结构化数据的字段标识绑定的数据通道;增量数据对应的结构化数据为数据源端根据增量数据转换的适应于消息队列传输的结构化数据。
在一示例性实施例中,增量数据包括:第一增量数据,用于更新数据接收端存储的对应数据;数据接收端预先存储有用于更新数据接收端存储的对应数据的更新函数;更新函数存储在数据接收端存储的对应数据的缓存列表中;数据同步装置,还包括:增量数据更新单元,被配置为执行当增量数据为所述第一增量数据时,将第一增量数据输入更新函数,根据更新函数输出得到第一增量数据对应的函数数据,利用函数数据对存储的对应数据进行更新。
在一示例性实施例中,增量数据包括:第二增量数据,用于数据接收端调用与第二增量数据对应的函数,以获取第二增量数据对应的函数响应数据;数据同步装置,还包括:增量函数响应单元,被配置为执行当增量数据为所述第二增量数据时,将第二增量数据作为函数参数输入与第二增量数据对应的函数,根据函数输出得到第二增量数据对应的函数响应数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于数据同步的设备800的框图。例如,设备800可以为一服务器。参照图8,设备800包括处理组件820,其进一步包括一个或多个处理器,以及由存储器822所代表的存储器资源,用于存储可由处理组件820的执行的指令,例如应用程序。存储器822中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件820被配置为执行指令,以执行上述数据同步的方法。
设备800还可以包括一个电源组件824被配置为执行设备800的电源管理,一个有线或无线网络接口826被配置为将设备800连接到网络,和一个输入输出(I/O)接口828。设备800可以操作基于存储在存储器822的操作系统,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器822,上述指令可由设备800的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一项实施例所述的数据同步方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种数据同步方法,其特征在于,应用于数据源端,包括:
获取待同步数据,将所述待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;
根据所述待同步数据中的原始类型数据以及所述结构化数据,得到所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
获取所述待同步数据对应的数据源端和数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;
基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始类型数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道;其中,所述数据接收端与所述数据源端处于不同的线程或进程,所述数据通道用于传输增量数据。
2.根据权利要求1所述的方法,其特征在于,所述基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端之后,还包括:
获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;
获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;
基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,以使所述数据接收端从所述数据通道获取所述增量数据对应的结构化数据,并还原为所述增量数据。
3.根据权利要求2所述的方法,其特征在于,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;
所述基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,包括:
基于第一目标数据通道利用消息队列传输第一结构化数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述第一结构化数据,并还原为所述第一增量数据,利用所述第一增量数据对存储的对应数据进行更新。
4.根据权利要求2所述的方法,其特征在于,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;
所述基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,包括:
基于第二目标数据通道利用消息队列传输第二结构化数据至所述数据接收端,以使所述数据接收端从所述第二目标数据通道获取所述第二结构化数据,并还原为所述第二增量数据,以及将所述第二增量数据输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
5.一种数据同步方法,其特征在于,应用于数据接收端,包括:
从数据源端获取的所述数据源端和所述数据接收端之间的数据通道中获取待接收数据;其中,所述待接收数据包括原始类型数据以及结构化数据;所述原始类型数据为所述数据源端得到的待同步数据中能通过消息队列传输的数据类型的数据;所述结构化数据为所述数据源端对目标类型数据进行转换后得到的数据;所述目标类型数据为所述待同步数据中不能通过消息队列传输的数据类型的数据;所述待接收数据中包含用于标识所述结构化数据的字段标识,用于建立与所述数据通道的对应关系;所述数据接收端与所述数据源端处于不同的线程或进程;
从所述待接收数据中获取所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据;
根据所述原始类型数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
6.根据权利要求5所述的方法,其特征在于,所述将还原得到的目标类型数据绑定到所述字段标识对应的数据通道之后,还包括:
从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为所述增量数据;所述目标数据通道为所述增量数据对应的结构化数据的字段标识绑定的数据通道;所述增量数据对应的结构化数据为所述数据源端根据所述增量数据转换的适应于消息队列传输的结构化数据。
7.根据权利要求6所述的方法,其特征在于,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;
所述还原为所述增量数据之后,还包括:
当所述增量数据为所述第一增量数据时,将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
8.根据权利要求6所述的方法,其特征在于,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;
所述还原为所述增量数据之后,还包括:
当所述增量数据为所述第二增量数据时,将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
9.一种数据同步系统,其特征在于,包括:数据源端和数据接收端;所述数据源端和所述数据接收端处于不同的线程或进程;其中,
所述数据源端,用于将待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;根据所述待同步数据中的原始类型数据以及所述结构化数据,获取所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据对应的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
所述数据源端,还用于获取与所述数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端;
所述数据接收端,用于从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始类型数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
10.根据权利要求9所述的系统,其特征在于,
所述数据源端,还用于获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据;
所述数据接收端,还用于从所述目标数据通道中获取所述增量数据对应的结构化数据,并还原为所述增量数据。
11.根据权利要求9所述的系统,其特征在于,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;
所述数据源端,还用于将所述第一增量数据转换为适应于消息队列传输的第一结构化数据,并确定与所述第一结构化数据对应的字段标识绑定的第一目标数据通道;基于所述第一目标数据通道利用消息队列传输所述第一结构化数据至所述数据接收端;
所述数据接收端,还用于从所述第一目标数据通道中获取所述第一结构化数据,并还原为所述第一增量数据;将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
12.根据权利要求9所述的系统,其特征在于,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;
所述数据源端,还用于将所述第二增量数据转换为适应于消息队列传输的第二结构化数据,并确定与所述第二结构化数据对应的字段标识绑定的第二目标数据通道;基于所述第二目标数据通道利用消息队列传输所述第二结构化数据至所述数据接收端;
所述数据接收端,还用于从所述第二目标数据通道中获取所述第二结构化数据,并还原为所述第二增量数据;将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
13.一种数据同步装置,其特征在于,应用于数据源端,包括:
同步数据获取单元,被配置为执行获取待同步数据,将所述待同步数据中的目标类型数据,转换为适应于消息队列传输的结构化数据;所述目标类型数据为不能通过消息队列传输的数据类型的数据;
同步数据转换单元,被配置为执行根据所述待同步数据中的原始类型数据以及所述结构化数据,得到所述待同步数据对应的待传输数据,所述待传输数据中包含用于标识所述结构化数据的字段标识;所述原始类型数据为能通过消息队列传输的数据类型的数据;
数据通道建立单元,被配置为执行获取所述待同步数据对应的数据源端和数据接收端之间的数据通道,并建立所述数据通道与所述字段标识的对应关系;
同步数据传输单元,被配置为执行基于所述数据通道利用消息队列传输所述待传输数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述待传输数据中的所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据,根据所述原始类型数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道;其中,所述数据接收端与所述数据源端处于不同的线程或进程,所述数据通道用于传输增量数据。
14.根据权利要求13所述的装置,其特征在于,还包括:增量数据传输单元,被配置为执行获取目标类型的增量数据,将所述增量数据转换为适应于消息队列传输的所述增量数据对应的结构化数据;获取所述增量数据对应的结构化数据的字段标识,并确定与该字段标识绑定的目标数据通道;基于所述目标数据通道利用消息队列传输所述增量数据对应的结构化数据,以使所述数据接收端从所述数据通道获取所述增量数据对应的结构化数据,并还原为所述增量数据。
15.根据权利要求14所述的装置,其特征在于,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述增量数据传输单元,进一步被配置为执行基于第一目标数据通道利用消息队列传输第一结构化数据至所述数据接收端,以使所述数据接收端从所述数据通道获取所述第一结构化数据,并还原为所述第一增量数据,利用所述第一增量数据对存储的对应数据进行更新。
16.根据权利要求14所述的装置,其特征在于,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述增量数据传输单元,进一步被配置为执行基于第二目标数据通道利用消息队列传输第二结构化数据至所述数据接收端,以使所述数据接收端从所述第二目标数据通道获取所述第二结构化数据,并还原为所述第二增量数据,将所述第二增量数据输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
17.一种数据同步装置,其特征在于,应用于数据接收端,包括:
同步数据接收单元,被配置为执行从数据源端获取的所述数据源端和所述数据接收端之间的数据通道中获取待接收数据;其中,所述待接收数据包括原始类型数据以及结构化数据;所述原始类型数据为所述数据源端得到的待同步数据中能通过消息队列传输的数据类型的数据;所述结构化数据为所述数据源端对目标类型数据进行转换后得到的数据;所述目标类型数据为所述待同步数据中不能通过消息队列传输的数据类型的数据;所述待接收数据中包含用于标识所述结构化数据的字段标识,用于建立与所述数据通道的对应关系;所述数据接收端与所述数据源端处于不同的线程或进程;
同步数据还原单元,被配置为执行从所述待接收数据中获取所述原始类型数据和所述结构化数据,并将所述结构化数据还原为所述目标类型数据;
数据通道绑定单元,被配置为执行根据所述原始类型数据和还原得到的目标类型数据得到所述待同步数据,并将还原得到的目标类型数据绑定到所述字段标识对应的数据通道,用于传输增量数据。
18.根据权利要求17所述的装置,其特征在于,还包括:增量数据接收单元,被配置为执行从目标数据通道中获取目标类型的增量数据对应的结构化数据,并还原为所述增量数据;所述目标数据通道为所述增量数据对应的结构化数据的字段标识绑定的数据通道;所述增量数据对应的结构化数据为所述数据源端根据所述增量数据转换的适应于消息队列传输的结构化数据。
19.根据权利要求18所述的装置,其特征在于,所述增量数据包括:第一增量数据,用于更新所述数据接收端存储的对应数据;所述数据接收端预先存储有用于更新所述数据接收端存储的对应数据的更新函数;所述更新函数存储在所述数据接收端存储的对应数据的缓存列表中;所述数据同步装置,还包括:增量数据更新单元,被配置为执行当所述增量数据为所述第一增量数据时,将所述第一增量数据输入所述更新函数,根据所述更新函数输出得到所述第一增量数据对应的函数数据,利用所述函数数据对存储的对应数据进行更新。
20.根据权利要求18所述的装置,其特征在于,所述增量数据包括:第二增量数据,用于所述数据接收端调用与所述第二增量数据对应的函数,以获取所述第二增量数据对应的函数响应数据;所述数据同步装置,还包括:增量函数响应单元,被配置为执行当所述增量数据为所述第二增量数据时,将所述第二增量数据作为函数参数输入与所述第二增量数据对应的函数,根据所述函数输出得到所述第二增量数据对应的函数响应数据。
21.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的数据同步方法。
22.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行如权利要求1至8中任一项所述的数据同步方法。
CN202110593198.9A 2021-05-28 2021-05-28 数据同步方法、系统、装置、服务器及存储介质 Active CN113242313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593198.9A CN113242313B (zh) 2021-05-28 2021-05-28 数据同步方法、系统、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593198.9A CN113242313B (zh) 2021-05-28 2021-05-28 数据同步方法、系统、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN113242313A CN113242313A (zh) 2021-08-10
CN113242313B true CN113242313B (zh) 2023-01-20

Family

ID=77135754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593198.9A Active CN113242313B (zh) 2021-05-28 2021-05-28 数据同步方法、系统、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN113242313B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431688B (zh) * 2022-11-14 2024-05-03 北京远舢智能科技有限公司 一种数据的处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262831B (zh) * 2015-10-30 2019-02-22 北京奇艺世纪科技有限公司 一种存储系统间同步数据的方法、装置及同步系统
JP6583975B1 (ja) * 2018-06-06 2019-10-02 株式会社インテック データ処理装置、データ処理方法及びプログラム
CN109788053B (zh) * 2019-01-04 2022-04-29 深圳壹账通智能科技有限公司 数据同步方法和系统
CN110602250A (zh) * 2019-09-29 2019-12-20 网易(杭州)网络有限公司 数据同步方法、装置、服务器和终端设备
CN111400408B (zh) * 2020-04-13 2023-06-09 上海东普信息科技有限公司 数据同步方法、装置、设备及存储介质
CN111831748B (zh) * 2020-06-30 2024-04-30 北京小米松果电子有限公司 数据同步方法、装置及存储介质

Also Published As

Publication number Publication date
CN113242313A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109542865B (zh) 分布式集群系统配置文件同步方法、装置、系统及介质
CN111212085B (zh) 物联网平台同步调用的方法、物联网系统和网络设备
CN110380919B (zh) 区块链请求的处理方法、装置、电子设备及可读存储介质
CN110413418B (zh) 缓存同步装置及方法,缓存同步系统、电子设备
CN105721473A (zh) 一种web端远程调用优化的方法及系统
CN109547524B (zh) 基于物联网的用户行为存储方法、装置、设备及存储介质
CN103491135A (zh) 自匹配数据格式的装置和方法
CN109462640B (zh) 一种元数据同步方法、数据端、交互系统及介质
CN105405442B (zh) 语音的识别方法、装置和设备
US10148739B2 (en) M2M data querying and invoking methods, querying and invoking devices, and system
CN114328618A (zh) 一种缓存数据同步方法、装置、设备及存储介质
CN105245521A (zh) 协议格式转换方法、装置及接口平台
CN113242313B (zh) 数据同步方法、系统、装置、服务器及存储介质
CN114090388A (zh) 信息获取方法、服务器集群、服务器及设备
CN109471713B (zh) 用于查询信息的方法和装置
CN111294252B (zh) 一种集群测试系统
CN106936937B (zh) 用于互联网业务交互的通用接口的实现方法和装置
CN113595894B (zh) 服务节点间、客户端节点间通信方法、装置、设备及介质
CN114731302B (zh) 信息传输方法以及相关设备
CN112732457B (zh) 图像传输方法、装置、电子设备和计算机可读介质
CN114666411A (zh) 请求处理方法、装置、服务器、存储介质及产品
CN112995095B (zh) 数据处理方法、装置及计算机可读存储介质
CN108156109B (zh) 一种服务响应方法及装置
CN112559472A (zh) 一种文件传输方法、装置、计算机设备及存储介质
CN110958240A (zh) 消息订阅系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant