CN115086347B - 数据同步方法、装置、电子设备及存储介质 - Google Patents
数据同步方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115086347B CN115086347B CN202210550386.8A CN202210550386A CN115086347B CN 115086347 B CN115086347 B CN 115086347B CN 202210550386 A CN202210550386 A CN 202210550386A CN 115086347 B CN115086347 B CN 115086347B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- subscription request
- target
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001360 synchronised effect Effects 0.000 claims abstract description 134
- 238000001914 filtration Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 25
- 238000012544 monitoring process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种数据同步方法、装置、电子设备及存储介质。其中,所述数据同步方法,包括:接收数据请求方发送的数据订阅请求;其中,所述数据订阅请求包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源;响应于所述数据订阅请求,从数据交换中心获取与所述目标数据目录和所述数据过滤条件对应的待同步数据;将所述待同步数据传输至所述数据请求方的目标数据源。采用本公开实施例提供的数据同步方法不仅可以实现较小数据量的数据同步,还可以实现大批量的数据同步,同时无需人工硬盘拷贝过程,可以简化数据同步方法,有效提高数据同步的工作效率。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种数据同步方法、装置、电子设备及存储介质。
背景技术
相关技术中,数据交换中心是对不同范围、领域的空间信息及其元数据进行有效管理、给信息需求者提供空间数据的目录信息、元数据信息、信息的地址等的计算机联网管理系统。数据交换中心通常基于分布式架构,实现数据的采集、存储、交互共享、展示分析等处理,解决了各行业数字化制度和统计方法不够完善、数据共享程度低、业务整合难度较大的问题,可改变大量多头操作、分别维护的现状,极大的提高了工作效率。目前,在进行数据同步时,通常通过硬盘拷贝方式实现,然而,随着数据交换中心数据量的不断增加,硬盘拷贝方式的工作效率愈显底下,如何实现大批量的数据同步已成为亟需解决的问题。
发明内容
本公开提供一种数据同步方法、装置、电子设备及存储介质,以至少解决相关技术中大批量的数据同步的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据同步方法,包括:
接收数据请求方发送的数据订阅请求;其中,所述数据订阅请求包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源;
响应于所述数据订阅请求,从数据交换中心获取与所述目标数据目录和所述数据过滤条件对应的待同步数据;
将所述待同步数据传输至所述数据请求方的目标数据源。
在一种可能的实施方式中,所述数据订阅请求还包括所述数据请求方的节点信息;
所述响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据之前,还包括:
从所述数据订阅请求中获取所述数据请求方的节点信息;
审批所述节点信息是否具有目标待同步数据的接收权限;
在所述节点信息具有目标待同步数据的接收权限的情况下,确定所述数据交换中心是否存在所述待同步数据;
所述响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据,包括:
在所述数据交换中心存在所述待同步数据的情况下,响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据。
在一种可能的实施方式中,所述方法还包括:
在所述数据交换中心存在所述待同步数据的情况下,向所述数据请求方发送反馈信息;其中,所述反馈信息用于指示所述数据订阅请求审批通过,以及指示所述数据订阅请求对应的订阅任务的任务状态。
在一种可能的实施方式中,所述数据订阅请求还包括数据传输周期;
所述将所述待同步数据传输至所述数据请求方的目标数据源,包括:
按照所述数据传输周期将所述待同步数据传输至所述数据请求方的目标数据源。
在一种可能的实施方式中,所述数据交换中心包括至少一种类型的数据源。
在一种可能的实施方式中,所述方法还包括:
接收订阅数据查询指令;
响应于所述订阅数据查询指令,显示所述订阅数据对应的数据同步信息;其中,所述数据同步信息包括所述数据请求方的节点信息、所述数据接收方的节点信息、所述待同步数据的总量、所述待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。
在一种可能的实施方式中,所述方法还包括:
接收对所述数据交换中心的数据查询指令;
响应于对所述数据交换中心的数据查询指令,显示所述数据交换中心的数据信息;其中,所述数据交换中心的数据信息包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。
根据本公开实施例的第二方面,提供一种数据同步装置,包括:
第一接收模块,用于接收数据请求方发送的数据订阅请求;其中,所述数据订阅请求包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源;
第一响应模块,用于响应于所述数据订阅请求,从数据交换中心获取与所述目标数据目录和所述数据过滤条件对应的待同步数据;
传输模块,用于将所述待同步数据传输至所述数据请求方的目标数据源。
在一种可能的实施方式中,所述数据订阅请求还包括所述数据请求方的节点信息;
所述数据同步装置,还包括:
获取模块,用于从所述数据订阅请求中获取所述数据请求方的节点信息;
审批模块,用于审批所述节点信息是否具有目标待同步数据的接收权限;
确定模块,用于在所述节点信息具有目标待同步数据的接收权限的情况下,确定所述数据交换中心是否存在所述待同步数据;
所述第一响应模块,包括:
获取单元,用于在所述数据交换中心存在所述待同步数据的情况下,响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据。
在一种可能的实施方式中,所述数据同步装置还包括:
反馈模块,用于在所述数据交换中心存在所述待同步数据的情况下,向所述数据请求方发送反馈信息;其中,所述反馈信息用于指示所述数据订阅请求审批通过,以及指示所述数据订阅请求对应的订阅任务的任务状态。
在一种可能的实施方式中,所述数据订阅请求还包括数据传输周期;
所述传输模块,包括:
第一传输单元,用于按照所述数据传输周期将所述待同步数据传输至所述数据请求方的目标数据源。
在一种可能的实施方式中,所述数据交换中心包括至少一种类型的数据源。
在一种可能的实施方式中,所述数据同步装置还包括:
第二接收模块,用于接收订阅数据查询指令;
第二响应模块,用于响应于所述订阅数据查询指令,显示所述订阅数据对应的数据同步信息;其中,所述数据同步信息包括所述数据请求方的节点信息、所述数据接收方的节点信息、所述待同步数据的总量、所述待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。
在一种可能的实施方式中,所述数据同步装置还包括:
第三接收模块,用于接收对所述数据交换中心的数据查询指令;
第三响应模块,用于响应于对所述数据交换中心的数据查询指令,显示所述数据交换中心的数据信息;其中,所述数据交换中心的数据信息包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面中任一项所述的数据同步方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面中任一项所述的数据同步方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开的实施例中,通过接收数据请求方发送的包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源数据订阅请求,响应于数据订阅请求,从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据,最后将待同步数据传输至数据请求方的目标数据源。这样,一方面,数据发送方可以根据数据请求方发送的数据订阅请求将待同步数据传输至数据请求方的目标数据源,不仅可以应用于较小数据量的数据同步,还可以适用于大批量的数据同步;另一方面,无需人工硬盘拷贝过程,可以简化数据同步方法,有效提高数据同步的工作效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据同步方法的流程图。
图2是根据一示例性实施例示出的一种数据同步方法的业务流程图。
图3是根据一示例性实施例示出的一种数据同步装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
由背景技术可知,随着数据交换中心数据量的不断增加,传统人工硬盘拷贝的数据同步方式的工作效率愈显低下,如何实现大批量数据同步已成为亟需解决的问题。基于此,本公开实施例提出一种数据同步方法、装置、电子设备及存储介质,数据发送方能够通过数据请求方的数据订阅请求传输给数据请求方待同步数据。如此,不仅能实现较小数据量的数据同步,还能实现大批量数据的数据同步,同时,无需人工硬盘拷贝过程,可以简化数据同步方法,有效提高数据同步效率。
下面结合附图对本公开实施例提供的数据同步方法、装置、电子设备及存储介质进行详细说明。
图1是根据一示例性实施例示出的一种数据同步方法的流程图,该数据同步方法可以应用于数据发送方,数据发送方可以服务器或者电子设备。如图1所示,数据同步方法可以包括以下步骤:
在步骤S110中,接收数据请求方发送的数据订阅请求。
其中,数据订阅请求包括目标数据目录、数据过滤条件、数据请求方的目标数据源。目标数据目录可以是数据请求方所请求的待同步数据所属的目录,数据目录管理可以是按照不同行业、场景的数据技术标准管理数据目录,数据目录可以包括数据目录以及数据技术标准制定和维护。数据过滤条件可以是数据请求方所要求的数据筛选条件,可以是数据时效、数据条目、数据格式等条件。数据请求方的目标数据源可以是数据请求方指定的所请求数据的存储位置,例如可以为目标数据源的IP地址。
在本公开实施例中,用户可以通过操作数据请求方,以触发数据请求方向数据发送方发送数据订阅请求,数据订阅请求用以订阅数据发送方的数据,如图2所示,在数据发送方一侧,数据发送方可以接收数据请求方发送的数据订阅请求。也就是说,数据发送方是通过数据请求方发送的数据订阅请求接收到数据请求方的数据需求信息的。
在步骤S120中,响应于数据订阅请求,从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据。
在本公开实施例中,仍如图2所示,数据发送方在接收到数据请求方发送的数据订阅请求后,响应于数据订阅请求,可以获取数据订阅请求中的目标数据目录和数据过滤条件,按照数据过滤条件筛选数据交换中心存储的目标数据目录下的数据,从而获取到与目标数据目录和数据过滤条件对应的待同步数据。也就是说,数据发送方可以根据数据订阅请求中的目标数据目录和数据过滤条件,从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据。
可以理解的是,数据发送方从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据,仍如图2所示,可以在本地进行数据缓存,以在数据传输失败时,从本地缓存中获取传输失败的数据重新传输。
在步骤S130中,将待同步数据传输至数据请求方的目标数据源。
在本公开实施例中,数据发送方响应于数据订阅请求,从数据中心获取与目标数据目录和数据过滤条件对应的待同步数据后,可以根据数据请求方指定的目标数据源,将待同步数据传输至请求方指定的目标数据源,如此,即可实现待同步数据的数据同步操作。
在本公开的实施例中,数据发送方通过接收数据请求方发送的数据订阅请求,响应于数据订阅请求,可以从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据,再将待同步数据传输至数据请求方的目标数据源。这样,一方面,数据发送方可以根据数据请求方发送的数据订阅请求将待同步数据传输至数据请求方的目标数据源,不仅可以应用于较小数据量的数据同步,还可以适用于大批量的数据同步;另一方面,无需人工硬盘拷贝过程,可以简化数据同步方法,有效提高数据同步的工作效率。
在一种可能的实施方式中,数据订阅请求还包括数据请求方的节点信息;
相应的,上述步骤S120响应于数据订阅请求,从数据交换中心获取目标数据目录和所述数据过滤条件对应的待同步数据之前,还可以执行如下处理:
从数据订阅请求中获取数据请求方的节点信息;
审批节点信息是否具有目标待同步数据的接收权限;
在节点信息具有目标待同步数据的接收权限的情况下,确定数据交换中心是否存在待同步数据;
相应的,此时上述步骤S120中响应于数据订阅请求,从数据交换中心获取目标数据目录对应的待同步数据的具体实现方式可以为:
在数据交换中心存在待同步数据的情况下,响应于数据订阅请求,从数据交换中心获取目标数据目录对应的待同步数据。
其中,目标待同步数据可以是数据发送方根据数据请求方的数据订阅请求确定的,与目标数据目录和数据过滤条件对应的待同步数据。
在本公开实施例中,考虑到数据安全问题,设置数据的获取权限就显得很重要。数据订阅请求包括数据请求方的节点信息,数据发送方可以从数据订阅请求中获取数据请求方的节点信息,进而对数据请求方的节点信息进行审批,仍如图2所示,审批节点信息是否具有目标待同步数据的接收权限,在节点信息具有目标待同步数据的接收权限的情况下,再确定数据交换中心是否存在待同步数据,在数据交换中心存在待同步数据的情况下,响应于数据订阅请求,从数据交换中心获取与目标数据目录和所述数据过滤条件对应的待同步数据。也就是说,数据发送方在从数据交换中心获取与目标数据目录和所述数据过滤条件对应的待同步数据之前,可以对数据请求方的节点信息进行审批,审批其节点信息是否具有目标待同步数据的接收权限。这样的话,可以避免不具备目标待同步数据接收权限的数据请求方节点获取待同步数据,有效提供数据安全保障。
在进一步可能的实施方式中,上述审批节点信息是否具有目标待同步数据的接收权限的具体实现方式可以为如下任意一种:
确定数据请求方的节点信息是否属于预设节点信息集合;在数据请求方的节点信息属于预设节点信息集合的情况下,确定节点信息具有目标待同步数据的接收权限。
或者,确定数据订阅请求是否处于加密状态;
在数据订阅请求处于加密状态的情况下,采用预设私钥解密数据订阅请求;
在数据订阅请求解密成功的情况下,确定节点信息具有目标待同步数据的接收权限。
其中,预设节点信息集合可以是预先设置的具有接收权限的节点信息的集合。
在本公开实施例中,可以通过确定数据请求方的节点信息是否在预设节点信息集合的方式,确定数据请求方的节点信息是否具有接收权限。示例性的,在审批节点信息是否具有目标待同步数据的接收权限时,可以确定数据请求方的节点信息是否属于预设节点信息集合,如果数据请求方的节点信息属于预设节点信息集合,则可以确定数据请求方的节点信息具有目标待同步数据的接收权限;反之,则可以确定数据请求方的节点信息没有目标待同步数据的接收权限。
或者,也可以通过密钥对的方式确定数据请求方的节点信息是否具有目标待同步数据的接收权限。示例性的,在审批节点信息是否具有目标待同步数据的接收权限时,可以确定数据订阅请求是否处于加密状态,如果数据订阅请求处于加密状态,则可以用预设私钥去解密数据订阅请求。可以理解的,当采用密钥对的形式确定数据请求方的节点信息是否具有目标待同步数据的接收权限时,数据请求方在向数据发送方发送数据订阅请求时,需要采用预设的公钥对数据订阅请求进行加密处理,预设私钥可以是预先设置的与预设公钥对应的私钥。如果数据订阅请求解密成功,则可以确定节点信息具有目标待同步数据的接收权限。如此,可以避免不具备目标待同步数据接收权限的数据请求方获取待同步数据,有效提供数据安全保障。
可以理解的是,数据节点信息审批功能还可以包括查看审批数据详情、查看全部审批数据、暂停数据审批、作废数据审批、手工同步数据和查看数据订阅请求中数据目录详情等。
在一种可能的实施方式中,数据同步方法还包括:
在数据交换中心存在待同步数据的情况下,向数据请求方发送反馈信息;其中,反馈信息用于指示数据订阅请求审批通过,以及指示数据订阅请求对应的订阅任务的任务状态。
在本公开实施例中,考虑到数据请求方的节点信息审批通过,且在数据交换中心存在待同步数据的情况下,有必要通知数据请求方更新数据订阅请求对应的订阅任务的任务状态,并做好待同步数据接收的准备。仍如图2所示,在数据交换中心存在待同步数据的情况下,数据发送方可以向数据请求方发送反馈信息,反馈信息用于提示数据请求方数据订阅审批通过,和指示数据订阅请求对应的订阅任务的任务状态。也就是说,在数据请求方的节点信息具有接收权限且数据交换中心存在待同步数据的情况下,数据发送方可以通过向数据请求方发送反馈信息,以告知数据请求方数据订阅请求审批通过,以及指示数据订阅请求对应的订阅任务的任务状态。示例性的,在数据发送方确认数据请求方的数据订阅请求审批通过的情况下,订阅任务的任务状态可以为已审批或审批通过等。这样的话,可以使数据请求方及时做好待同步数据的接收准备,有效提高数据同步效率。
可以理解的是,仍如图2所示,数据发送方在审批数据请求方的节点信息不通过的情况下,也可以向数据请求方发送反馈信息,指示数据订阅请求审批不通过,以及指示数据订阅请求对应的订阅任务的任务状态,任务状态比如说可以是审批不通过或请求驳回等。数据请求方从而可以释放数据订阅请求占用的物理资源,有效提高数据同步效率。
需要说明的是,在不同阶段可以对应有不同的任务状态,比如在发送请求后收到反馈信息前,任务状态可以是审批中或正在审批等,收到反馈信息后,审批通过和审批不通过;数据同步完成后,可以是同步完成或任务结束等。
在一种可能的实施方式中,数据订阅请求还包括数据传输周期;
相应的,步骤S130中将待同步数据传输至数据请求方的目标数据源的具体实现方式可以为:
按照数据传输周期将待同步数据传输至数据请求方的目标数据源。
在本公开实施例中,数据订阅请求可以包括数据传输周期,数据发送方可以根据数据请求方的数据传输周期将待同步数据传输至数据请求方的目标数据源。数据传输周期既可以是一次数据传输的有效时长,比如有效时长可以是1小时,数据请求方只在同步任务开始后的1小时内接收待同步数据,超过1小时则停止传输待同步数据;或者,也可以是周期性传输数据的间隔时长,比如间隔时长可以是2小时,数据发送方在每次同步任务结束2小时后,再继续传输待同步数据至数据请求方的目标数据源;或同时包括上述两种时长,比如有效时长可以是1小时,间隔时长可以是24小时,数据发送方在每次同步任务结束24小时后继续传输待同步数据至数据请求方的目标数据源,且只在同步任务开始后的1小时内传输待同步数据,超过1小时则停止传输待同步数据。也就是说,数据发送方可以按照数据订阅请求中的数据传输周期将待同步数据传输至数据请求方的目标数据源,通过数据传输时间点和时长的协定降低数据发送方和数据请求方的沟通次数,提供数据同步效率。
在一种可能的实施方式中,数据交换中心包括至少一种类型的数据源。
在本公开实施例中,考虑到数据的不同类型,数据交换中心可以包括至少一种类型的数据源,例如mysql(关系型数据库管理系统)和oracle数据库,通过安装数据库驱动支持与数据库驱动对应的数据库类型。如此,可以增强数据交换中心的服务能力,有助于提高数据同步效率。
在一种可能的实施方式中,数据同步方法还包括:
接收订阅数据查询指令;
响应于订阅数据查询指令,显示订阅数据对应的数据同步信息。
其中,数据同步信息包括数据请求方的节点信息、数据接收方的节点信息、待同步数据的总量、待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。
在本公开实施例中,考虑到数据发送方对数据订阅任务的监控需要,可以设置数据监控功能。数据发送方可以接收订阅数据查询指令,响应于订阅数据指令,调用数据监控功能显示订阅数据对应的数据同步信息,数据同步信息可以包括数据请求方的节点信息、数据接收方的节点信息、待同步数据的总量、待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。这样的话,可以对数据订阅任务进行实时监控,有效提高数据同步效率。
可以理解的,数据监控功能还可以包括查看数据目录情况、查看节点数据量、查看链接的数源数量、查看数据订阅数量和查看数据交互的数据流量。
在一种可能的实施方式中,数据同步方法还包括:
接收对数据交换中心的数据查询指令;
响应于对数据交换中心的数据查询指令,显示数据交换中心的数据信息;其中,数据交换中心的数据信息包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。
在本公开实施例中,考虑到数据交换中心的全局数据订阅任务监控需要,也可以设置全局数据监控功能。数据发送方可以接收对数据交换中心的数据查询指令,响应于对数据交换中心的数据查询指令,调用全局数据监控功能显示数据交换中心的数据信息,数据信息可以包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。如此,在数据发送方转换为数据请求方的情况下,可以有效确定请求数据的所在位置,及时获取请求数据。
需要说明的是,仍如图2所示,数据发送方在审批通过数据请求方的节点信息后,将待同步数据传输至数据请求方的目标数据源之前,可以根据数据监控规则进行数据监控,根据数据报文信息进行数据格式化处理,并可以根据数据请求方的公钥进行数据加密,再对加密后的数据进行数据压缩,在数据传输完成后,将本次数据同步任务记录至日志。
需要说明的是,仍如图2所示,在数据请求方一侧,数据请求方在发送数据订阅请求之前,可以通过数据节点管理功能进行节点选择,数据节点管理功能可以在数据传输之前用于确认数据节点的身份认证,数据传输双方确认对方的身份之后,即数据请求方选定数据发送方的节点后,才能进行数据的传输;在节点选择之后,数据请求方也可以通过数据目录管理功能进行数据目录选择,数据目录管理功能可以按照不同行业、场景的数据技术标准管理数据目录;在数据目录选择之后,数据请求方还可以通过数据源管理功能进行目标数据选择,数据源管理功能支持接入多种类型的数据源,包括mysql和oracle,需要在工具中安装数据库驱动即可支持与数据库驱动对应的数据库类型;在目标数据选择之后,数据请求方可以配置运行周期,以按照预设周期或者预设有效时间周期接收数据发送方传输的数据;在配置运行周期之后,数据请求方还可以通过数据订阅管理功能发送数据订阅请求,数据订阅管理功能可以是数据请求方对发送的数据请阅请求进行管理,可以在数据请阅请求中添加数据的过滤条件、数据同步周期信息和公钥信息,继而根据数据目录发送数据订阅请求。数据请求方接收到待同步数据后,数据请求方可以进行数据解压操作获得加密数据,再利用私钥对加密数据进行数据解密,还可以根据数据报文信息对解密后的数据进行数据解析,根据数据监控规则进行数据监控,将数据保存至目标数据源后,将本次数据同步任务记录至日志。
可以理解的是,数据交换中心可以采用点对点的数据交换方式进行数据传输。在本公开实施例中,还可以包括数据节点管理功能、数据目录管理功能、数据源管理功能和数据订阅管理功能。其中,数据节点管理功能可以包括添加节点、修改节点、查看节点名称、自动刷新节点。数据目录管理功能,可以包括新增数据目录、查看数据目录名称、同步数据目录、导入和导出数据目录、升级数据目录和下架数据目录。数据目录管理功能可以包括新增数据目录、查看数据目录名称、同步数据目录、导入和导出数据目录、升级数据目录和删除数据目录。数据源管理功能可以包括新建数据源信息、查看数据源信息、修改数据源信息、测试数据源信息、删除数据源信息、批量导入和批量导出数据源信息。数据订阅管理功能可以包括新增数据订阅请求、修改数据订阅请求、删除数据订阅请求、发送数据订阅请求、查看数据订阅请求列表、查看数据订阅请求中数据目录详情。
可以理解的是,在不同工作情况下,数据发送方也可能是数据请求方,数据请求方也可能是数据发送方。
图3是根据一示例性实施例示出的一种数据同步装置的框图。参照图3,该数据同步装置300可以包括:
第一接收模块310,用于接收数据请求方发送的数据订阅请求;其中,数据订阅请求包括目标数据目录、数据过滤条件、数据请求方的目标数据源;
第一响应模块320,用于响应于数据订阅请求,从数据交换中心获取与目标数据目录和数据过滤条件对应的待同步数据;
传输模块330,用于将待同步数据传输至数据请求方的目标数据源。
在一种可能的实施方式中,数据订阅请求还包括数据请求方的节点信息;
数据同步装置300,还包括:
获取模块,用于从数据订阅请求中获取数据请求方的节点信息;
审批模块,用于审批节点信息是否具有目标待同步数据的接收权限;
确定模块,用于在节点信息具有目标待同步数据的接收权限的情况下,确定数据交换中心是否存在待同步数据;
第一响应模块320,包括:
获取单元,用于在数据交换中心存在待同步数据的情况下,响应于数据订阅请求,从数据交换中心获取目标数据目录和所述数据过滤条件对应的待同步数据。
在一种可能的实施方式中,数据同步装置还包括:
反馈模块,用于在数据交换中心存在待同步数据的情况下,向数据请求方发送反馈信息;其中,反馈信息用于指示数据订阅请求审批通过,以及指示数据订阅请求对应的订阅任务的任务状态。
在一种可能的实施方式中,数据订阅请求还包括数据传输周期;
传输模块330,包括:
第一传输单元,用于按照数据传输周期将待同步数据传输至数据请求方的目标数据源。
在一种可能的实施方式中,数据交换中心包括至少一种类型的数据源。
在一种可能的实施方式中,数据同步装置还包括:
第二接收模块,用于接收订阅数据查询指令;
第二响应模块,用于响应于订阅数据查询指令,显示订阅数据对应的数据同步信息;其中,数据同步信息包括数据请求方的节点信息、数据接收方的节点信息、待同步数据的总量、待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。
在一种可能的实施方式中,数据同步装置还包括:
第三接收模块,用于接收对数据交换中心的数据查询指令;
第三响应模块,用于响应于对数据交换中心的数据查询指令,显示数据交换中心的数据信息;其中,数据交换中心的数据信息包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
根据本公开的实施例,本公开还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备400旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,电子设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
电子设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如数据同步方法。例如,在一些实施例中,数据同步方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的数据同步方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据同步方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (7)
1.一种数据同步方法,其特征在于,包括:
接收数据请求方发送的数据订阅请求;其中,所述数据订阅请求包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源;
响应于所述数据订阅请求,从数据交换中心获取与所述目标数据目录和所述数据过滤条件对应的待同步数据;
所述响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据之前,还包括:
从所述数据订阅请求中获取所述数据请求方的节点信息;
审批所述节点信息是否具有目标待同步数据的接收权限;
在所述节点信息具有目标待同步数据的接收权限的情况下,确定所述数据交换中心是否存在所述待同步数据;
所述响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据,包括:
在所述数据交换中心存在所述待同步数据的情况下,响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据;
将所述待同步数据传输至所述数据请求方的目标数据源
按照数据传输周期将所述待同步数据传输至所述数据请求方的目标数据源;
在所述数据交换中心存在所述待同步数据的情况下,向所述数据请求方发送反馈信息;其中,所述反馈信息用于指示所述数据订阅请求审批通过,以及指示所述数据订阅请求对应的订阅任务的任务状态。
2.根据权利要求1所述的数据同步方法,其特征在于,所述数据交换中心包括至少一种类型的数据源。
3.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:
接收订阅数据查询指令;
响应于所述订阅数据查询指令,显示所述订阅数据对应的数据同步信息;其中,所述数据同步信息包括所述数据请求方的节点信息、所述数据接收方的节点信息、所述待同步数据的总量、所述待同步数据的同步耗时、已同步成功的数据量、已同步失败的数据量中的至少一项。
4.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:
接收对所述数据交换中心的数据查询指令;
响应于对所述数据交换中心的数据查询指令,显示所述数据交换中心的数据信息;其中,所述数据交换中心的数据信息包括进行数据同步的节点信息、数据源信息、数据目录信息、同步数据量中的至少一项。
5.一种数据同步装置,其特征在于,包括:
接收模块,用于接收数据请求方发送的数据订阅请求;其中,所述数据订阅请求包括目标数据目录、数据过滤条件、所述数据请求方的目标数据源;
响应模块,用于响应于所述数据订阅请求,从数据交换中心获取与所述目标数据目录和所述数据过滤条件对应的待同步数据;
获取模块,用于从所述数据订阅请求中获取所述数据请求方的节点信息;
审批模块,用于审批所述节点信息是否具有目标待同步数据的接收权限;
确定模块,用于在所述节点信息具有目标待同步数据的接收权限的情况下,确定所述数据交换中心是否存在所述待同步数据;
第一响应模块,在所述数据交换中心存在所述待同步数据的情况下,响应于所述数据订阅请求,从数据交换中心获取所述目标数据目录和所述数据过滤条件对应的待同步数据;
传输模块,用于将所述待同步数据传输至所述数据请求方的目标数据源;
第一传输单元,用于按照数据传输周期将所述待同步数据传输至所述数据请求方的目标数据源;
反馈模块,用于在所述数据交换中心存在所述待同步数据的情况下,向所述数据请求方发送反馈信息;其中,所述反馈信息用于指示所述数据订阅请求审批通过,以及指示所述数据订阅请求对应的订阅任务的任务状态。
6.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的数据同步方法。
7.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至4中任一项所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210550386.8A CN115086347B (zh) | 2022-05-20 | 2022-05-20 | 数据同步方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210550386.8A CN115086347B (zh) | 2022-05-20 | 2022-05-20 | 数据同步方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115086347A CN115086347A (zh) | 2022-09-20 |
CN115086347B true CN115086347B (zh) | 2024-03-08 |
Family
ID=83249043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210550386.8A Active CN115086347B (zh) | 2022-05-20 | 2022-05-20 | 数据同步方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115086347B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115495783B (zh) * | 2022-09-20 | 2023-05-23 | 北京三维天地科技股份有限公司 | 一种配置式的数据服务暴露解决方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940871B1 (en) * | 1999-01-18 | 2005-09-06 | Siemens Aktiengesellschaft | Reserved-capacity method for digital data transmission networks and data switching center |
CN108182208A (zh) * | 2017-12-18 | 2018-06-19 | 山东浪潮云服务信息科技有限公司 | 一种数据交换方法及平台 |
CN109800262A (zh) * | 2018-12-18 | 2019-05-24 | 北京市天元网络技术股份有限公司 | 数据共享交换方法及系统 |
CN112711636A (zh) * | 2020-12-30 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置、设备及介质 |
-
2022
- 2022-05-20 CN CN202210550386.8A patent/CN115086347B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940871B1 (en) * | 1999-01-18 | 2005-09-06 | Siemens Aktiengesellschaft | Reserved-capacity method for digital data transmission networks and data switching center |
CN108182208A (zh) * | 2017-12-18 | 2018-06-19 | 山东浪潮云服务信息科技有限公司 | 一种数据交换方法及平台 |
CN109800262A (zh) * | 2018-12-18 | 2019-05-24 | 北京市天元网络技术股份有限公司 | 数据共享交换方法及系统 |
CN112711636A (zh) * | 2020-12-30 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115086347A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109213604B (zh) | 一种数据源的管理方法和装置 | |
CN111064626B (zh) | 配置更新方法、装置、服务器及可读存储介质 | |
CN111460129A (zh) | 标识生成的方法、装置、电子设备和存储介质 | |
CN110909521A (zh) | 在线文档信息的同步处理方法、装置及电子设备 | |
CN115086347B (zh) | 数据同步方法、装置、电子设备及存储介质 | |
CN115934414A (zh) | 数据备份方法、数据恢复方法、装置、设备及存储介质 | |
CN113220342A (zh) | 中心化配置方法、装置、电子设备及存储介质 | |
CN113986135B (zh) | 处理请求的方法、装置、设备以及存储介质 | |
CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
CN114070889B (zh) | 配置方法、流量转发方法、设备、存储介质及程序产品 | |
CN115190125A (zh) | 一种缓存集群的监控方法和装置 | |
CN113360689B (zh) | 图像检索系统、方法、相关装置及计算机程序产品 | |
CN110768855B (zh) | 链路化性能测试的方法和装置 | |
CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
CN113515425A (zh) | 数据动态上报的方法和装置 | |
CN112333106A (zh) | 一种高并发场景下线上心理咨询医生资源分配方法 | |
CN113568936B (zh) | 实时流数据存储方法、装置、终端设备 | |
CN110858201A (zh) | 数据处理方法及系统、处理器、存储介质 | |
CN109510864A (zh) | 一种缓存请求的转发方法、传输方法及相关装置 | |
CN112383633B (zh) | 会话管理方法和系统 | |
CN110011767B (zh) | 用于tcp连接备份的方法和装置 | |
CN114676093B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
CN115840604B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN113626664A (zh) | 房源筛选信息处理方法、装置、设备和计算机可读介质 | |
CN113595870B (zh) | 推送消息的处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |