CN110602168A - 数据同步方法、装置、计算机设备和存储介质 - Google Patents

数据同步方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110602168A
CN110602168A CN201910744220.8A CN201910744220A CN110602168A CN 110602168 A CN110602168 A CN 110602168A CN 201910744220 A CN201910744220 A CN 201910744220A CN 110602168 A CN110602168 A CN 110602168A
Authority
CN
China
Prior art keywords
data
server
primary key
key information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910744220.8A
Other languages
English (en)
Other versions
CN110602168B (zh
Inventor
徐从洋
王晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910744220.8A priority Critical patent/CN110602168B/zh
Priority to PCT/CN2019/116523 priority patent/WO2021027115A1/zh
Publication of CN110602168A publication Critical patent/CN110602168A/zh
Application granted granted Critical
Publication of CN110602168B publication Critical patent/CN110602168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及云服务,提供一种数据同步方法、装置、计算机设备和存储介质。所述方法包括:接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;从第一服务器中获取到数据对应的第一权限信息;接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。通过云服务器实现了服务器与服务器之间的数据同步,保证数据安全性的同时能够减少服务器运行内存资源的浪费。

Description

数据同步方法、装置、计算机设备和存储介质
技术领域
本申请涉及互联网技术领域,特别是涉及一种数据同步方法、装置、计算机设备和存储介质。
背景技术
服务器与服务器数据同步通常是通过网络直接进行数据同步。然而数据提供方在进行数据提供服务时,需要考虑服务器数据安全性,而数据使用方也要保障服务器中数据的安全性,如果服务器直接相连进行同步就存在服务器数据泄露的安全问题。目前,为了保障数据安全性,通常数据提供方会提供客户端软件给数据使用方,数据使用方安装客户端软件之后与数据提供方安装的服务器端软件进行数据的同步。然而这种方法需要安装客户端软件和服务端软件,存在浪费运行内存等服务器资源的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够减少运行内存资源浪费的数据同步方法、装置、计算机设备和存储介质。
一种数据同步方法,所述方法包括:
接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;
从第一服务器中获取到数据对应的第一权限信息;
接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;
当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
在其中一个实施例中,在接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据之前,还包括:
接收第一服务器发送的数据同步指令,根据数据同步指令与第一服务器建立长连接。
在其中一个实施例中,在接收第二服务器发送的第二数据同步请求之前,还包括:
第二服务器获取云服务器地址,将本地地址映射为云服务器地址;
通过本地地址向云服务器发送第二数据同步请求。
在其中一个实施例中,根据第一数据同步请求同步第一服务器中的数据,包括:
定时接收第一服务器发送的增量数据,从增量数据中得到新增主键信息;
获取数据中的主键信息,当主键信息与新增主键信息不相同时,将增量数据保存;
定时接收第一服务器发送的已删除主键信息,从主键信息中查找已删除主键信息,当能够查询到已删除主键信息时,从数据中删除已删除主键信息对应的数据。
在其中一个实施例中,将数据同步到第二服务器,包括:
获取第二服务器发送的已同步主键信息,并获取数据的主键信息;
比较已同步主键信息和主键信息,得到未同步主键信息;
将未同步主键信息对应的数据发送的第二服务器。
在其中一个实施例中,在将未同步主键信息对应的数据发送的第二服务器之后,还包括:
第二服务器定时从云服务器中获取数据的主键信息,并获取本地数据库中的本地主键信息;
比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息;
从本地数据库中删除差异主键信息对应的数据。
在其中一个实施例中,将数据同步到第二服务器,包括:
获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器。
一种数据同步装置,所述装置包括:
第一同步模块,用于接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;
信息获取模块,用于从第一服务器中获取到数据对应的第一权限信息;
验证模块,用于接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;
第二同步模块,用于当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;
从第一服务器中获取到数据对应的第一权限信息;
接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;
当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;
从第一服务器中获取到数据对应的第一权限信息;
接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;
当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
上述数据同步方法、装置、计算机设备和存储介质,通过接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;从第一服务器中获取到数据对应的第一权限信息;接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。通过云服务器实现了服务器与服务器之间的数据同步,保证数据安全性的同时能够减少服务器运行内存资源的浪费。
附图说明
图1为一个实施例中数据同步方法的应用场景图;
图2为一个实施例中数据同步方法的流程示意图;
图3为一个实施例中发送同步请求的流程示意图;
图4为一个实施例中云服务器同步数据的流程示意图;
图5为一个实施例中第二服务器同步数据的流程示意图;
图6为一个实施例中第二服务器删除数据的流程示意图;
图7为一个实施例中数据同步装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据同步方法,可以应用于如图1所示的应用环境中。其中,第一服务器102通过网络与云服务器104进行通信,云服务器104通过网络与第二服务器106进行通信。云服务器104接收第一服务器102发送的第一数据同步请求,根据第一数据同步请求同步第一服务器102中的数据;从第一服务器102中获取到数据对应的第一权限信息;接收第二服务器106发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,云服务器104查找第一权限信息对应的数据,并将数据同步到第二服务器106。其中,第一服务器102或者第二服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据同步方法,以该方法应用于图1中的云服务器为例进行说明,包括以下步骤:
S202,接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据。
其中,第一服务器是数据提供方服务器,用于将数据同步到云服务器中,提供给数据使用方进行使用。数据提供方可以有多个即可以有不同的数据源。第一数据是指第一服务器要提供给数据使用方的数据。
具体地,云服务器接收第一服务器发送的第一数据同步请求,该第一数据同步请求中可以携带有要同步数据的数据标识,比如要同步数据表的数据,数据标识可以是数据表的名称。要同步数据库的数据,数据标识可以是数据库的名称等。云服务器根据第一数据同步请求解析得到要同步数据的数据标识。并根据该数据标识从第一服务器中同步数据标识对应的数据,并将同步到的数据保存到数据库中。
S204,从第一服务器中获取到数据对应的第一权限信息。
其中,第一权限信息用于控制云服务器中第一服务器数据同步权限的信息,比如,可以是访问密码,也可是数据使用方标识等等。
具体地,当从第一服务器中同步数据完成时,第一服务器向云服务器发送同步的数据对应的第一权限信息,云服务器获取到第一服务器发送的第一权限信息,将该第一权限信息存储到权限信息表中进行保存。该权限信息表中存储权限信息和权限信息对应的数据标识。
S206,接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致。
其中,第二服务器是数据使用方服务器,用于从云服务器中同步所需要的数据。第二权限信息是指第二服务器要同步的数据对应的权限信息,该权限信息可以是访问密码,可以是第二服务器标识等等。
具体地,当第二服务器要同步云服务器中数据时,向云服务器发送第二数据同步请求,该第二数据同步请求携带有第二权限信息,云服务器接收到第二服务器发送的第二数据同步请求,解析该第二数据同步请求得到第二权限信息。然后将权限信息表中的权限信息与该第二权限信息进行匹配,当该第二权限信息与第一权限信息一致时,验证权限信息通过,当第二权限信息与权限嘻嘻你表中的权限信息都不一致时,云服务器向第二服务器发送获取权限的信息。
S208,当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
具体地,当云服务器验证第二权限信息与第一权限信息一致时,从云服务器的权限信息表中查找到第一权限信息对应的数据标识,根据该数据标识查找到标识的数据,然后云服务器将查找到的数据同步的到第二服务器中。
在上述数据同步方法中,通过接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;从第一服务器中获取到数据对应的第一权限信息;接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。通过云服务器实现了服务器与服务器之间的数据同步,保证数据安全性的同时能够减少服务器运行内存资源的浪费,减轻服务器的压力,提高服务器处理业务能力的效率。
在一个实施例中,在步骤S202之前,即在接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据之前,还包括步骤:
接收第一服务器发送的数据同步指令,根据数据同步指令与第一服务器建立长连接。
其中,长连接是指TCP(Transmission Control Protocol传输控制协议)长连接,可以在一个连接上可以连续发送多个数据包,在连接保持期间,如果没有数据包发送,需要双方发链路检测包。用户保持通信双方的长时间通信连接,便于进行数据传输等。
具体地,云服务器接收到第一服务器发送的数据同步指令,根据数据同步指令云服务器与第一服务器建立长连接,实现第一服务器与云服务器的数据传输。并且同步建立长连接来进行数据传输,无需使用数据同步软件,减少了服务器的运行内容资源消耗。
在一个实施例中,如图3所示,在步骤S206之前,即在接收第二服务器发送的第二数据同步请求之前,还包括步骤:
S302,第二服务器获取云服务器地址,将本地地址映射为云服务器地址。
其中,本地地址是指第二服务器在本地网络中的本地IP地址(Internet ProtocolAddress,互联网协议地址)。本地网络是指一种网络构架,在移动网络协议中,本地网络指拥有固定IP地址的网络设备。利用移动IP,移动节点可以通过转交地址,在物理位置转移到其他子网中时仍然保证IP地址不变。
具体地,第二服务器获取云服务器IP地址,并将本地IP地址映射为云服务器IP地址。
S304,通过本地地址向云服务器发送第二数据同步请求。
具体地,第二服务器通过本地地址向云服务器发送第二数据同步请求,云服务器接收到第二数据同步请求,根据该第二数据同步请求云服务器与第二服务器建立长连接。比如,可以使用长连接建立工具建立长连接,长连接建立工具可以是ETL(Extract-Transform-Load,用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程)工具。
上述实施例中,通过第二服务器获取云服务器地址,将本地地址映射为云服务器地址,通过本地地址向云服务器发送第二数据同步请求实现了第二服务器与云服务器之间的数据通信,并通过本地地址向云服务器发送第二数据同步请求,方便快捷。
在一个实施例中,如图4所示,步骤S202,即根据第一数据同步请求同步第一服务器中的数据,包括步骤:
S402,定时接收第一服务器发送的增量数据,从增量数据中得到新增主键信息。
其中,增量数据是指在第一服务器中要存储的到云服务器中的数据,该数据是第一服务器产生的新数据并且需要同步到云服务器中。主键信息是指数据库主键的最大值或者所有值,数据库主键指的是一个列或多列的组合,其值能唯一地标识表中的每一行。
具体地,云服务器定时通过TCP长连接接收到第一服务器发送的增量数据,从增量数据中得到主键值。
S404,获取数据中的主键信息,当主键信息与新增主键信息不相同时,将增量数据保存。
具体地,云服务器获取到该第二服务器已保存在云服务器中的数据的主键的值,比较已保存数据的主键值和增量数据的主键值,当已保存数据的主键值和增量数据的主键值不相同时,云服务器将接收到的增量数据保存。
S406,定时接收第一服务器发送的已删除主键信息,从主键信息中查找已删除主键信息,当能够查询到已删除主键信息时,从数据中删除已删除主键信息对应的数据。
具体地,当第一服务器删除保存的数据时,得到删除数据的主键值,将删除数据的主键值通过长连接发送到云服务器中。云服务器按照预设的时间间隔接收第一服务器发送的已删除数据的主键值。在已保存的主键值中查找已删除的主键值,当能够查找到已删除主键信息时,云服务器从第二服务器已保存的数据中删除已删除主键值对应的数据。
在一个具体地实施例中,第一服务器使用加密算法将需要同步的数据进行加密,将加密之后的数据同步到云服务器中。当第二服务器同步到云服务器中的数据时,获取到密钥信息,使用密钥信息解密加密的数据,得到原始数据,然后在对原始数据进行数据清洗。检查数据一致性,处理无效值和缺失值等。
在上述实施例中,通过定时获取到增量进行保存并删除已删除主键信息对应的数据,实现了将第一服务器中的数据同步到云服务器中,保证数据同步的准确和无误。
在一个实施例中,如图5所示,步骤S208,即将数据同步到第二服务器,包括步骤:
S502,获取第二服务器发送的已同步主键信息,并获取数据的主键信息。
其中,已同步主键信息是指第二服务器已经同步完成数据的主键的值,
具体地,当第二服务器同步云服务器中数据时,当第二服务器是首次同步云服务器中的数据时,第二服务器直接从云服务器重获取权限信息对应的全部数据,并将获取的数据保存。当第二服务器同步云服务器中更新的数据时,云服务器获取第二服务器发送的已同步数据的已同步主键值,可以是最大的主键值,也可以是所有的主键值。然后云服务器获取到更新后的数据的更新主键值。
S504,比较已同步主键信息和主键信息,得到未同步主键信息。
具体地,云服务器比较已同步主键值和更新主键值,得到未同步主键值。
S506,将未同步主键信息对应的数据发送的第二服务器。
具体地,云服务器从数据库中获取到未同步主键值对应的更新的数据,将更新的数据发送到第二服务器中。
在上述实施例中,通过比较已同步的主键信息和更新主键信息,得到对应的未同步主键信息,根据未同步主键信息同步对应的数据,能够将更新的数据同步到第二服务器中,使第二服务器得到更新后的数据。
在一个实施例中,在步骤S506,即在将未同步主键信息对应的数据发送的第二服务器之后,还包括步骤:
S602,第二服务器定时从云服务器中获取数据的主键信息,并获取本地数据库中的本地主键信息。
具体地,第二服务器按照预算时间间隔从云服务器中获取第一服务器同步的数据的云端主键值,并从本地数据库中获取到已同步第二服务器对应数据的本地主键值。
S604,比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息。
其中,差异主键信息是指在本地主键信息中存在而在数据的主键信息中未存在的主键信息,用于确定云端删除的数据而在第二服务器本地数据库中存在的数据。
具体地,第二服务器比较云端主键值与本地主键值,当本地主键值和云端主键值不一致时,得到在云端主键值中未存在的且在本地主键值中存在的差异主键值。比如,本地主键最大值比云端主键最大值大时时,根据本地主键最大值和云端主键最大值得到差异主键值。也可将本地主键值和云端主键值一一进行匹配,得到本地主键值中存在而云端主键值未存在的主键值,得到差异主键值。
S606,从本地数据库中删除差异主键信息对应的数据。
具体地,第二服务器得到差异主键值时,从本地数据库中删除差异主键值对应的数据。
在上述实施例中,通过比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息,从本地数据库中删除差异主键信息对应的数据,使得本地数据库存储的数据与云服务器中存储的数据同步,提高数据同步的准确性。
在一个实施例中,步骤S208,即将数据同步到第二服务器,包括步骤:
获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器。
其中,根据数据的优先等级清洗数据是指根据数据的优先等级将优先等级高的数据进行同步,将优先等级低的数据保留即不同步,然后将进行同步的数据进行数据清洗,即处理无效数据等。其中,无效数据是指根据预测算法预测的数据,不是实际产生的数据。比如数据提供方获取基金净值的及时性有时不及基金管理人提供净值的及时,因此通过一些算法形成一个虚拟净值进行业绩涨幅的计算,这样保证了每个交易日后就会有该基金产品的涨幅数据,但是这个通过虚拟净值计算的涨幅并未得到市场的统一认可,因此在使用过程中会将该类涨幅数据清洗掉。
具体地,第二服务器根据数据源的信任度来设置数据源对应数据的优先等级,比如第二服务器的数据如国家数据中心的数据的优先等级高,其他服务器的数据如互联网网站的数据的优先等级低。当第二服务器从云服务器中同步数据时,先获取到数据的优先等级,根据数据的优先等级确定高优先等级对应的数据,将高优先等级对应的数据进行数据清洗即删除无效的数据,然后将清洗后的数据同步到第二服务器,第二服务器将同步的数据进行保存。
在上述实施例中,通过获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器,可以获取到高信任度和更加准确的数据。
在一个实施例中,第二服务器从云服务器中同步完数据时,将同步的数据进行数据提取,得到预设数据字段对应的数据,将提取到的数据保存到预设数据字段对应的业务数据库中,在进行业务处理时,可以直接从业务数据获取相应的数据,提高业务处理的效率。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种数据同步装置700,包括:第一同步模块702、信息获取模块704、验证模块706和第二同步模块708,其中:
第一同步模块702,用于接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;
信息获取模块704,用于从第一服务器中获取到数据对应的第一权限信息;
验证模块706,用于接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;
第二同步模块708,用于当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
在一个实施例中,数据同步装置700,还包括:
连接建立模块,用于接收第一服务器发送的数据同步指令,根据数据同步指令与第一服务器建立长连接。
在一个实施例中,数据同步装置700,还包括:
映射模块,用于第二服务器获取云服务器地址,将本地地址映射为云服务器地址;
请求发送模块,用于通过本地地址向云服务器发送第二数据同步请求。
在一个实施例中,第一同步模块702,包括:
数据接收模块,用于定时接收第一服务器发送的增量数据,从增量数据中得到新增主键信息;
数据保存模块,用于获取数据中的主键信息,当主键信息与新增主键信息不相同时,将增量数据保存;
数据删除模块,用于定时接收第一服务器发送的已删除主键信息,从主键信息中查找已删除主键信息,当能够查询到已删除主键信息时,从数据中删除已删除主键信息对应的数据。
在一个实施例中,第二同步模块708,包括:
主键获取模块,用于获取第二服务器发送的已同步主键信息,并获取数据的主键信息;
比较模块,用于比较已同步主键信息和主键信息,得到未同步主键信息;
数据发送模块,用于将未同步主键信息对应的数据发送的第二服务器。
在一个实施例中,第二同步模块708,还包括:
本地主键获取模块,用于第二服务器定时从云服务器中获取数据的主键信息,并获取本地数据库中的本地主键信息;
差异得到模块,用于比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息;
删除模块,用于从本地数据库中删除差异主键信息对应的数据。
在一个实施例中,第二同步模块708,包括:
数据清洗模块,用于获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器。
关于数据同步装置的具体限定可以参见上文中对于数据同步方法的限定,在此不再赘述。上述数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储同步的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;从第一服务器中获取到数据对应的第一权限信息;接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:接收第一服务器发送的数据同步指令,根据数据同步指令与第一服务器建立长连接。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:第二服务器获取云服务器地址,将本地地址映射为云服务器地址;通过本地地址向云服务器发送第二数据同步请求。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:定时接收第一服务器发送的增量数据,从增量数据中得到新增主键信息;获取数据中的主键信息,当主键信息与新增主键信息不相同时,将增量数据保存;定时接收第一服务器发送的已删除主键信息,从主键信息中查找已删除主键信息,当能够查询到已删除主键信息时,从数据中删除已删除主键信息对应的数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取第二服务器发送的已同步主键信息,并获取数据的主键信息;比较已同步主键信息和主键信息,得到未同步主键信息;将未同步主键信息对应的数据发送的第二服务器。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:第二服务器定时从云服务器中获取数据的主键信息,并获取本地数据库中的本地主键信息;比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息;从本地数据库中删除差异主键信息对应的数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收第一服务器发送的第一数据同步请求,根据第一数据同步请求同步第一服务器中的数据;从第一服务器中获取到数据对应的第一权限信息;接收第二服务器发送的第二数据同步请求,第二数据同步请求携带第二权限信息,验证第二权限信息是否与第一权限信息一致;当验证通过时,查找第一权限信息对应的数据,并将数据同步到第二服务器。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:接收第一服务器发送的数据同步指令,根据数据同步指令与第一服务器建立长连接。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:第二服务器获取云服务器地址,将本地地址映射为云服务器地址;通过本地地址向云服务器发送第二数据同步请求。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:定时接收第一服务器发送的增量数据,从增量数据中得到新增主键信息;获取数据中的主键信息,当主键信息与新增主键信息不相同时,将增量数据保存;定时接收第一服务器发送的已删除主键信息,从主键信息中查找已删除主键信息,当能够查询到已删除主键信息时,从数据中删除已删除主键信息对应的数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取第二服务器发送的已同步主键信息,并获取数据的主键信息;比较已同步主键信息和主键信息,得到未同步主键信息;将未同步主键信息对应的数据发送的第二服务器。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:第二服务器定时从云服务器中获取数据的主键信息,并获取本地数据库中的本地主键信息;比较数据的主键信息与本地数据库中的本地主键信息,得到差异主键信息;从本地数据库中删除差异主键信息对应的数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取数据的优先等级,根据数据的优先等级清洗数据,将清洗后的数据同步到第二服务器。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据同步方法,所述方法包括:
接收第一服务器发送的第一数据同步请求,根据所述第一数据同步请求同步所述第一服务器中的数据;
从所述第一服务器中获取到所述数据对应的第一权限信息;
接收第二服务器发送的第二数据同步请求,所述第二数据同步请求携带第二权限信息,验证所述第二权限信息是否与第一权限信息一致;
当验证通过时,查找所述第一权限信息对应的所述数据,并将所述数据同步到所述第二服务器。
2.根据权利要求1所述的方法,其特征在于,在所述接收第一服务器发送的第一数据同步请求,根据所述第一数据同步请求同步所述第一服务器中的数据之前,还包括:
接收所述第一服务器发送的数据同步指令,根据所述数据同步指令与所述第一服务器建立长连接。
3.根据权利要求1所述的方法,其特征在于,在所述接收第二服务器发送的第二数据同步请求之前,还包括:
所述第二服务器获取云服务器地址,将本地地址映射为所述云服务器地址;
通过所述本地地址向云服务器发送第二数据同步请求。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一数据同步请求同步所述第一服务器中的数据,包括:
定时接收所述第一服务器发送的增量数据,从所述增量数据中得到新增主键信息;
获取所述数据中的主键信息,当所述主键信息与所述新增主键信息不相同时,将所述增量数据保存;
定时接收所述第一服务器发送的已删除主键信息,从所述主键信息中查找所述已删除主键信息,当能够查询到所述已删除主键信息时,从所述数据中删除所述已删除主键信息对应的数据。
5.根据权利要求1所述的方法,其特征在于,所述将所述数据同步到所述第二服务器,包括:
获取所述第二服务器发送的已同步主键信息,并获取所述数据的主键信息;
比较所述已同步主键信息和所述主键信息,得到未同步主键信息;
将所述未同步主键信息对应的数据发送的所述第二服务器。
6.根据权利要求1所述的方法,其特征在于,在所述将所述未同步主键信息对应的数据发送的所述第二服务器之后,还包括:
所述第二服务器定时从云服务器中获取所述数据的主键信息,并获取本地数据库中的本地主键信息;
比较所述数据的主键信息与所述本地数据库中的本地主键信息,得到差异主键信息;
从所述本地数据库中删除所述差异主键信息对应的数据。
7.根据权利要求1所述的方法,其特征在于,所述将所述数据同步到所述第二服务器,包括:
获取所述数据的优先等级,根据所述数据的优先等级清洗所述数据,将清洗后的数据同步到所述第二服务器。
8.一种数据同步装置,其特征在于,所述装置包括:
第一同步模块,用于接收第一服务器发送的第一数据同步请求,根据所述第一数据同步请求同步所述第一服务器中的数据;
信息获取模块,用于从所述第一服务器中获取到所述数据对应的第一权限信息;
验证模块,用于接收第二服务器发送的第二数据同步请求,所述第二数据同步请求携带第二权限信息,验证所述第二权限信息是否与第一权限信息一致;
第二同步模块,用于当验证通过时,查找所述第一权限信息对应的所述数据,并将所述数据同步到所述第二服务器。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910744220.8A 2019-08-13 2019-08-13 数据同步方法、装置、计算机设备和存储介质 Active CN110602168B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910744220.8A CN110602168B (zh) 2019-08-13 2019-08-13 数据同步方法、装置、计算机设备和存储介质
PCT/CN2019/116523 WO2021027115A1 (zh) 2019-08-13 2019-11-08 数据同步方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910744220.8A CN110602168B (zh) 2019-08-13 2019-08-13 数据同步方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110602168A true CN110602168A (zh) 2019-12-20
CN110602168B CN110602168B (zh) 2022-03-01

Family

ID=68854090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910744220.8A Active CN110602168B (zh) 2019-08-13 2019-08-13 数据同步方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110602168B (zh)
WO (1) WO2021027115A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256484A (zh) * 2020-10-30 2021-01-22 新华三技术有限公司成都分公司 一种数据备份的方法、装置和系统
CN112685501A (zh) * 2020-12-30 2021-04-20 杭州雾联科技有限公司 一种中心节点与边缘节点的数据同步方法、装置及系统
WO2021168800A1 (zh) * 2020-02-28 2021-09-02 深圳市欢太科技有限公司 数据同步方法及相关产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022346B (zh) * 2022-08-08 2022-10-21 湖南涉外经济学院 一种基于区块链的在线数据同步方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012178072A1 (en) * 2011-06-23 2012-12-27 Alibaba Group Holding Limited Extracting incremental data
CN103929450A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 数据同步方法及数据同步装置
CN104079623A (zh) * 2014-05-08 2014-10-01 深圳市中博科创信息技术有限公司 多级云存储同步控制方法及系统
CN105446824A (zh) * 2014-05-28 2016-03-30 无锡华润微电子有限公司 表增量获取方法及异地数据备份方法
CN106921735A (zh) * 2017-02-21 2017-07-04 惠州Tcl移动通信有限公司 基于指纹云备份的移动终端数据信息同步方法及系统
CN107181770A (zh) * 2017-07-31 2017-09-19 北京深思数盾科技股份有限公司 数据同步方法及系统
CN108134789A (zh) * 2017-12-21 2018-06-08 北京深思数盾科技股份有限公司 通过云进行设备间数据同步的方法和云服务器
US20180367644A1 (en) * 2017-06-16 2018-12-20 Gary Howard Mckay High availability solution for file sharing involving a client and multiple servers
CN109788027A (zh) * 2018-12-13 2019-05-21 平安科技(深圳)有限公司 数据同步方法、装置、服务器及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332433B2 (en) * 2010-10-18 2012-12-11 Verisign, Inc. Database synchronization and validation
CN106708911A (zh) * 2015-11-18 2017-05-24 阿里巴巴集团控股有限公司 一种云环境下数据文件同步的方法和装置
CN108337303A (zh) * 2018-01-24 2018-07-27 中国银联股份有限公司 一种数据同步方法和分布式系统
CN108769212B (zh) * 2018-05-31 2023-04-07 康键信息技术(深圳)有限公司 数据同步方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012178072A1 (en) * 2011-06-23 2012-12-27 Alibaba Group Holding Limited Extracting incremental data
CN103929450A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 数据同步方法及数据同步装置
CN104079623A (zh) * 2014-05-08 2014-10-01 深圳市中博科创信息技术有限公司 多级云存储同步控制方法及系统
CN105446824A (zh) * 2014-05-28 2016-03-30 无锡华润微电子有限公司 表增量获取方法及异地数据备份方法
CN106921735A (zh) * 2017-02-21 2017-07-04 惠州Tcl移动通信有限公司 基于指纹云备份的移动终端数据信息同步方法及系统
US20180367644A1 (en) * 2017-06-16 2018-12-20 Gary Howard Mckay High availability solution for file sharing involving a client and multiple servers
CN107181770A (zh) * 2017-07-31 2017-09-19 北京深思数盾科技股份有限公司 数据同步方法及系统
CN108134789A (zh) * 2017-12-21 2018-06-08 北京深思数盾科技股份有限公司 通过云进行设备间数据同步的方法和云服务器
CN109788027A (zh) * 2018-12-13 2019-05-21 平安科技(深圳)有限公司 数据同步方法、装置、服务器及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021168800A1 (zh) * 2020-02-28 2021-09-02 深圳市欢太科技有限公司 数据同步方法及相关产品
CN112256484A (zh) * 2020-10-30 2021-01-22 新华三技术有限公司成都分公司 一种数据备份的方法、装置和系统
CN112685501A (zh) * 2020-12-30 2021-04-20 杭州雾联科技有限公司 一种中心节点与边缘节点的数据同步方法、装置及系统

Also Published As

Publication number Publication date
WO2021027115A1 (zh) 2021-02-18
CN110602168B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110602168B (zh) 数据同步方法、装置、计算机设备和存储介质
CN108093094B (zh) 数据库实例访问方法、装置、系统、存储介质和设备
WO2019075978A1 (zh) 数据传输方法、装置、计算机设备和存储介质
CN107819891B (zh) 数据处理方法、装置、计算机设备和存储介质
CN110955721B (zh) 区块链节点状态维护方法、装置、计算机设备和存储介质
CN109359994B (zh) 基于区块链的业务处理方法、装置及系统
CN108280761B (zh) 增信方分配方法、装置、计算机设备和存储介质
CN110727949B (zh) 数据存储方法、装置、计算机设备和存储介质
CN111107073A (zh) 应用自动登录方法、装置、计算机设备和存储介质
CN109768979B (zh) 数据加密传输方法、装置、计算机设备和存储介质
CN110647540A (zh) 业务数据查询方法、装置、计算机设备和存储介质
CN115189913B (zh) 数据报文的传输方法和装置
CN108595280B (zh) 接口适配方法、装置、计算机设备和存储介质
CN110995683A (zh) 基于Web页面的硬件信息采集方法、装置及计算机设备
CN110381149B (zh) 数据分发方法、装置以及数据同步方法、装置
CN114629648A (zh) 基于双栈密码的数据托管方法及装置
CN112800393A (zh) 授权认证、软件开发工具包生成方法、装置及电子设备
CN108389124B (zh) 数据处理方法、装置、计算机设备和存储介质
CN110597820A (zh) 基于区块链的信息处理方法、装置、存储介质和设备
CN109101841B (zh) 一种数据处理方法、装置、系统、计算机设备和存储介质
CN116415227A (zh) 密钥更新方法、服务器、客户端及存储介质
CN110225511B (zh) 终端imei号的获取方法、装置、系统和计算机设备
CN113742681B (zh) 一种账户管理方法、装置、计算机设备和存储介质
CN108322340B (zh) 运行应用方法、装置、计算机设备和存储介质
CN115510366A (zh) 业务消息推送方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant