CN106657350A - 数据复制方法及装置 - Google Patents

数据复制方法及装置 Download PDF

Info

Publication number
CN106657350A
CN106657350A CN201611241852.5A CN201611241852A CN106657350A CN 106657350 A CN106657350 A CN 106657350A CN 201611241852 A CN201611241852 A CN 201611241852A CN 106657350 A CN106657350 A CN 106657350A
Authority
CN
China
Prior art keywords
data
subscription
issue
publication
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611241852.5A
Other languages
English (en)
Inventor
张梦佼
张炼
李谦
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201611241852.5A priority Critical patent/CN106657350A/zh
Publication of CN106657350A publication Critical patent/CN106657350A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据复制方法及装置，该数据复制方法包括：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据复制任务设置各自的进程中处理；各个数据复制任务互不影响，便于管理和运维。

Description

数据复制方法及装置
技术领域
本发明涉及数据实时处理技术，特别涉及一种数据复制方法及装置。
背景技术
对于处理实时数据的IT系统，经常建设有异地双活生产中心及或异地灾备中心。在这类系统中，经常需要在信息中心内部不同生产系统之间、或异地不同信息中心之间进行连续的数据复制。
数据复制技术具有实时性高、数据丢失少或零丢失、容灾恢复快、投资较高等特点。现有的数据复制技术实现根据数据复制的层次可以分为：存储系统层数据复制、虚拟存储数据复制、操作系统数据复制和应用层数据复制。
存储系统层的数据复制：对于主机的操作系统是完全透明的，是对于将来增加新的操作平台，可不用增加任何复制软件的投资，即可实现复制。这样管理比较简单，最大程度保护了用户的投资，达到充分利用资源的目的。基于存储的复制一般都是采ATM或光纤通道作为远端的链路连接，不仅可以做到异步复制，更可以做到同步复制，使两端数据可做到实时同步的目的，保证了数据的一致性。但是由于基于存储是由存储硬件厂商提供的，在兼容性方面有局限性。用户要使用同一厂商的devices，给用户造成的选择面太小，成本容易提高，并且对线路带宽的要求通常也较高。
虚拟存储复制技术：伴随着存储局域网的出现引入的，通过构建虚拟存储上实现数据复制。通过存储虚拟化设备实现卷镜像复制功能的优势在于操作由存储虚拟化设备来完成、压力集中的存储虚拟化设备上，不需要主机参与，数据复制进程安全稳定。但是该技术需要增加专用存储虚拟化设备，有的需要在主机端需要安装存储虚拟化设备的客户端软件，比如UIT SVM；有的需要依赖高端智能交换机，比如EMC VSM。目前使用这种技术的产品还不是很多，成熟性还有待提高，具有这种功能的专用设备价格也相对较高，所以采用这种方案的用户比较少。
操作系统层数据复制：主要通过操作系统或者数据卷管理器来实现对数据的远程复制。这种复制技术要求本地系统和远端系统的主机是同构的，其实现方式是基于主机的数据复制，容灾方式工作在主机的卷管理器这一层，通过磁盘卷的镜像或复制，实现数据的容灾。这种方式也不需要在两边采用同样的存储设备，具有较大的灵活性，但是复制功能会多少占用一些主机的CPU资源，对主机的性能有一定的影响。
应用层数据复制：大多数IT系统使用的数据复制应用仅针对单个数据源对单个目标端，存在部署不统一，服务不通用，数据库耦合性较强的问题；对于单个数据源需要向多目标端复制数据的需求，往往需要同一数据需要从源库获取多次，对源库影响较大。
发明内容
本发明实施例提供了一种数据复制方法及装置，以独立的执行不同的数据复制任务，使得各个数据复制任务互不影响，便于管理和运维。
为了实现上述目的，本发明实施例提供了一种数据复制方法，该数据复制方法包括：
接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
一实施例中，该数据复制方法还包括：将所述发布数据缓存至本地。
一实施例中，根据不同数据订阅端的订阅需求并发向所述订阅端发送所述发布数据，包括：
根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
一实施例中，根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
一实施例中，该数据复制方法还包括：根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。
为了实现上述目的，本发明实施例还提供了一种数据复制方法，该数据复制方法包括：
向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
若接收到所述数据分发服务端发送的数据接收应答请求，基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
为了实现上述目的，本发明实施例还提供了一种数据复制方法，该数据复制方法包括：
接收数据分发服务端发送的发布数据分发请求；
根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
为了实现上述目的，本发明实施例还提供了一种数据复制装置，该数据复制装置包括：
请求接收单元，用于接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
数据并行发送单元，用于向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
一实施例中，该数据复制装置还包括：存储单元，用于将所述发布数据缓存至本地。
一实施例中，所述数据并行发送单元具体用于：根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
一实施例中，该数据复制装置还包括：应答发送单元，用于根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
一实施例中，该数据复制装置还包括：终端接入单元，用于根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。
为了实现上述目的，本发明实施例还提供了一种数据复制装置，该数据复制装置包括：
请求发送单元，用于向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
数据发送单元，用于基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
为了实现上述目的，本发明实施例还提供了一种数据复制装置，该数据复制装置包括：
请求接收单元，用于接收数据分发服务端发送的发布数据分发请求；
数据获取单元，用于根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的数据复制方法流程图；
图2为本发明实施例的数据分发服务端的结构示意图；
图3为本发明一实施例的数据复制装置的结构示意图
图4为本发明另一实施例的数据复制装置的结构示意图；
图5为本发明一实施例的数据复制方法流程图；
图6为本发明一实施例的数据复制装置的结构示意图；
图7为本发明一实施例的数据复制方法流程图；
图8为本发明一实施例的数据复制装置的结构示意图；
图9为本发明实施例的数据复制系统的结构示意图；
图10为本发明实施例的数据复制实现示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例的数据复制方法流程图，如图1所示，该数据复制方法包括：
S101：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
S102：向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
图1所示的方法的执行主体可以为数据分发服务端，该数据分发服务端与多个数据发布端及多个数据订阅端分别连接。由图1所示的流程可知，本实施例首先接收数据发布端的数据发布请求，然后向数据订阅端发送发布数据分发请求，最后根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据复制任务设置各自的进程中处理；各个数据复制任务互不影响，便于管理和运维。
本发明实施例中，数据分发服务端在接收到数据发布端发送的发布请求之后，还可以根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
图2为本发明实施例的数据分发服务端的结构示意图，如图2所示，该数据分发服务端主要包括：通信网关，配置模块，数据接收模块，数据缓存模块，任务调度模块，多个任务分发模块。
本发明的数据分发服务端制定了数据分发的统一接口，利用通信网关，数据分发服务端可以与多个数据发布端及多个数据订阅端分别通信。利用配置模块，可以根据数据发布端和/或所述数据订阅端的接入请求进行接入认证及配置，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。通过配置模块的配置，可以使得不同的数据复制任务设置各自的进程，各个数据复制任务互不影响，便于管理和运维。另外，利用配置模块，还可以根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
利用数据接收模块可以实现上述发布请求的接收，利用数据缓存模块可以将发布数据缓存至数据分发服务端。数据分发服务端的数据缓存模块可以根据发布数据的存储发布数据，将发布数据按照任务队列存储。任务调度模块根据数据订阅端的请求，可以将任务队列的数据通过不同的任务分发模块发送至不同的数据订阅端。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例二
基于与实施例一的数据复制方法相同的发明构思，本申请提供一种数据复制装置，如下面实施例所述。由于该数据复制装置解决问题的原理与实施例一的数据复制方法相似，因此该数据复制装置的实施可以参见实施例一所述的数据复制方法的实施，重复之处不再赘述。
图3为本发明一实施例的数据复制装置的结构示意图，如图3所示，该数据复制装置包括：
请求接收单元301，用于接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
数据并行发送单元302，用于向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
具体实施时，数据并行发送单元302可以根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
图4为本发明另一实施例的数据复制装置的结构示意图，该数据复制装置包括：请求接收单元301及数据并行发送单元302。
本实施例中，数据复制装置还包括：存储单元401，用于将所述发布数据缓存至本地。
本实施例中，数据复制装置还包括：应答发送单元402，用于根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
本实施例中，数据复制装置还包括：终端接入单元403，用于根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例三
本实施例提供一种数据复制方法，该数据复制方法的执行主体为数据发布端，该数据发布端与实施例一中数据分发服务端交互，由于该数据复制方法解决问题的原理与实施例一的数据复制方法相似，因此该数据复制方法的实施可以参见实施例一数据复制方法的实施，重复之处不再赘述。
图5为本实施例的数据复制方法流程图，如图5所示，该数据复制方法包括：
S501：向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
S502：若接收到所述数据分发服务端发送的数据接收应答请求，基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
图5所示的数据复制方法的执行主体为数据发布端，可以为PC或移动终端。数据发布端可以通过定义的API接口与数据分发服务端进行双工通信，该数据发布端不但可以与同一数据中心的数据分发服务端通信，还可以与其它数据中心的数据分发服务端通信，实现跨平台数据复制。
本实施例中，数据发布端可以同时数据订阅端，即数据的发布及订阅可以在同一个终端进行。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例四
基于与实施例三的数据复制方法相同的发明构思，本申请提供一种数据复制装置，如下面实施例所述。由于该数据复制装置解决问题的原理与实施例三的数据复制方法相似，因此该终端的实施可以参见实施例三所述的数据复制方法的实施，重复之处不再赘述。
图6为本发明一实施例的数据复制装置(数据发布端)的结构示意图，如图6所示，该数据复制装置包括：
请求发送单元601，用于向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
数据发送单元602，用于基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例五
本实施例提供一种数据复制方法，该数据复制方法的执行主体为数据发布端，该数据发布端与实施例一中数据分发服务端交互，由于该数据复制方法解决问题的原理与实施例一的数据复制方法相似，因此该数据复制方法的实施可以参见实施例一数据复制方法的实施，重复之处不再赘述。
图7为本实施例的数据复制方法流程图，如图7所示，该数据复制方法包括：
S701：接收数据分发服务端发送的发布数据分发请求；
S702：根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
图7所示的数据复制方法的执行主体为数据订阅端，可以为PC或移动终端。数据订阅端可以通过定义的API接口与数据分发服务端进行双工通信。
本实施例中，数据发布端可以同时数据订阅端，即数据的发布及订阅可以在同一个终端进行。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例六
基于与实施例五的数据复制方法相同的发明构思，本申请提供一种数据复制装置，如下面实施例所述。由于该数据复制装置解决问题的原理与实施例五的数据复制方法相似，因此该终端的实施可以参见实施例五所述的数据复制方法的实施，重复之处不再赘述。
图8为本发明一实施例的数据复制装置(数据订阅端)的结构示意图，如图6所示，该数据复制装置包括：
请求接收单元801，用于接收数据分发服务端发送的发布数据分发请求；
数据获取单元802，用于根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
实施例七
基于与实施例一的数据复制方法相同的发明构思，本申请提供一种数据复制系统，如下面实施例所述。由于该数据复制系统解决问题的原理与实施例一的数据复制方法相似，因此该数据复制系统的实施可以参见实施例一所述的数据复制方法的实施，重复之处不再赘述。
图9为本发明实施例的数据复制系统的结构示意图。如图9所示，该数据复制系统包括：至少一数据分发服务端202、多个数据发布端201及多个数据订阅端203，数据发布端201及数据订阅端203分别与数据分发服务端202相连接。
多个数据发布端201可以分别向数据分发服务端发送数据发布请求，该数据发布请求包括数据发布端从与其连接的源数据库204中读取的部分发布数据。
多个数据订阅端203可以分别接收数据分发服务端202发送的发布数据分发请求，根据发布数据分发请求从数据分发服务端202的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库205。
数据分发服务端202可以接收多个数据发布端201发送的数据发布请求，并可以向数据订阅端203发送发布数据分发请求，根据不同数据订阅端203的订阅需求并行向所述数据订阅端203发送所述发布数据。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
本发明可以在同一数据中心实现，也可以在不同数据中心间实现，下面结合具体的例子详细说明本发明。
图10为本发明实施例的数据复制实现示意图。如图10所示，其中展示了两个数据分发服务端所在的两个数据中心的部署配置示例及两种数据复制的示例。
各个数据分发客户端负责连接对应的源数据库，读取发布数据传输至所在数据中心的数据分发服务端；数据订阅端从数据分发服务端读取数据写入其对应的目标数据库。每个客户端(数据分发端及数据订阅端)在部署配置时，均在数据分发服务端进行配置，每个发布数据分发的任务独立配置，以便在数据分发服务端集中管理。客户端启动后，依据各自任务在数据分发服务端记录的时间，从数据库读取数据。
图10所示的示例1中，数据中心A的两个源数据库分别作为源端，通过各自对应的数据分发端读取发布数据至数据中心B的数据分发服务端，通过数据中心B的数据订阅端写入两个目标库。
图10所示的示例2中，数据中心A的源数据库通过本地的数据分发服务端写入本地到目标数据库3。
作为本发明的扩展，根据不同的需求，可灵活的部署和配置数据分发任务，例如：可重新开发源数据库1的数据分发端，在现有数据分发端中新增任务，在数据分发服务端新增相应的任务配置，源数据库1通过其数据分发端读取发布数据至数据中心A的数据分发服务端，送至与本地的目标数据库3连接的数据订阅端3写入本地的目标数据库3。
利用本发明，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据复制方法，其特征在于，包括：
接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
2.根据权利要求1所述的数据复制方法，其特征在于，还包括：将所述发布数据缓存至本地。
3.根据权利要求1所述的数据复制方法，其特征在于，根据不同数据订阅端的订阅需求并发向所述订阅端发送所述发布数据，包括：
根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
4.根据权利要求1所述的数据复制方法，其特征在于，还包括：根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
5.根据权利要求1所述的数据复制方法，其特征在于，还包括：根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。
6.一种数据复制方法，其特征在于，包括：
向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
若接收到所述数据分发服务端发送的数据接收应答请求，基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
7.一种数据复制方法，其特征在于，包括：
接收数据分发服务端发送的发布数据分发请求；
根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
8.一种数据复制装置，其特征在于，包括：
请求接收单元，用于接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；
数据并行发送单元，用于向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
9.根据权利要求8所述的数据复制装置，其特征在于，还包括：存储单元，用于将所述发布数据缓存至本地。
10.根据权利要求8所述的数据复制装置，其特征在于，所述数据并行发送单元具体用于：根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。
11.根据权利要求8所述的数据复制装置，其特征在于，还包括：应答发送单元，用于根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。
12.根据权利要求8所述的数据复制装置，其特征在于，还包括：终端接入单元，用于根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。
13.一种数据复制装置，其特征在于，包括：
请求发送单元，用于向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
数据发送单元，用于基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。
14.一种数据复制装置，其特征在于，包括：
请求接收单元，用于接收数据分发服务端发送的发布数据分发请求；
数据获取单元，用于根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。
15.一种数据复制系统，其特征在于，包括：至少一数据分发服务端、多个数据发布端及多个数据订阅端，所述多个数据发布端及多个数据订阅端分别与所述数据分发服务端相连接；
所述数据发布端向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；
所述数据订阅端接收数据分发服务端发送的发布数据分发请求，根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库；
所述数据分发服务端接收所述数据发布请求，向所述数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。
CN201611241852.5A 2016-12-29 2016-12-29 数据复制方法及装置 Pending CN106657350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611241852.5A CN106657350A (zh) 2016-12-29 2016-12-29 数据复制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611241852.5A CN106657350A (zh) 2016-12-29 2016-12-29 数据复制方法及装置

Publications (1)

Publication Number Publication Date
CN106657350A true CN106657350A (zh) 2017-05-10

Family

ID=58835466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611241852.5A Pending CN106657350A (zh) 2016-12-29 2016-12-29 数据复制方法及装置

Country Status (1)

Country Link
CN (1) CN106657350A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363551A (zh) * 2018-01-16 2018-08-03 长沙开雅电子科技有限公司 一种存储系统复制链路流量控制实现方法
CN109246189A (zh) * 2018-08-03 2019-01-18 广州广哈通信股份有限公司 网络数据分发方法及装置、存储介质、服务端
CN110532493A (zh) * 2019-08-29 2019-12-03 北京明略软件系统有限公司 数据的处理方法及装置、存储介质和电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581250A (zh) * 2012-07-31 2014-02-12 盛趣信息技术（上海）有限公司 数据处理、发布、获取方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581250A (zh) * 2012-07-31 2014-02-12 盛趣信息技术（上海）有限公司 数据处理、发布、获取方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363551A (zh) * 2018-01-16 2018-08-03 长沙开雅电子科技有限公司 一种存储系统复制链路流量控制实现方法
CN109246189A (zh) * 2018-08-03 2019-01-18 广州广哈通信股份有限公司 网络数据分发方法及装置、存储介质、服务端
CN109246189B (zh) * 2018-08-03 2021-02-26 广州广哈通信股份有限公司 网络数据分发方法及装置、存储介质、服务端
CN110532493A (zh) * 2019-08-29 2019-12-03 北京明略软件系统有限公司 数据的处理方法及装置、存储介质和电子装置

Similar Documents

Publication Publication Date Title
CN106843745A (zh) 容量扩展方法及装置
CN103401909B (zh) 基于bs的数据交互方法与系统、客户端及服务器
US7693882B2 (en) Replicating data across the nodes in a cluster environment
CN108304260B (zh) 一种基于高性能云计算的虚拟化作业调度系统及其实现方法
CN106372994A (zh) 一种处理订单的方法和系统
CN110324264A (zh) 分配系统资源的方法与系统
CN103503414A (zh) 一种计算存储融合的集群系统
CN101652750B (zh) 数据处理装置、分散处理系统、数据处理方法
US20100220098A1 (en) Converting 3D Data to Hogel Data
CN102123176B (zh) 一种网络存储系统空间分配管理方法及装置
CN101276258A (zh) 存储设备及其控制方法
CN105573857A (zh) 一种多控磁盘阵列缓存镜像方法及系统
CN105765578A (zh) 分布式文件系统中的数据的并行访问
TW202021313A (zh) 訊息佇列發佈與訂閱之同步方法及其系統
US10084860B2 (en) Distributed file system using torus network and method for configuring and operating distributed file system using torus network
CN107113341A (zh) 用于数据划分的分布式关系数据库管理系统中事务的高吞吐量处理的系统
CN103399894A (zh) 一种基于共享存储池的分布式事务处理方法
CN106657350A (zh) 数据复制方法及装置
CN104142871B (zh) 用于数据备份的方法、装置和分布式文件系统
CN110704465B (zh) 一种处理业务工单表的方法、装置及存储介质
CN105745622A (zh) 便于形成定制的虚拟盘的计算系统架构
CN103778591A (zh) 处理图形运算负载平衡的方法及系统
CN105653396A (zh) 备份系统及其备份方法
CN105007311A (zh) 一种基于云平台和云计算的资源管理系统和方法
CN103649923A (zh) 一种numa系统内存镜像配置方法、解除方法、系统和主节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication