CN110795508B - 数据的复制方法、装置、设备和存储介质 - Google Patents
数据的复制方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110795508B CN110795508B CN201911065831.6A CN201911065831A CN110795508B CN 110795508 B CN110795508 B CN 110795508B CN 201911065831 A CN201911065831 A CN 201911065831A CN 110795508 B CN110795508 B CN 110795508B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- pipeline
- subdata
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本申请涉及一种数据的复制方法、装置、设备和存储介质。该方法包括：从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道；从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。该方法可以实现高并发大批量的数据复制，且可以减少对数据库资源的浪费。
Description
技术领域
本申请涉及数据库领域，特别是涉及一种数据的复制方法、装置、设备和存储介质。
背景技术
在当前的应用数据库系统的环境中，多个数据库并存使用的现象越来越普遍。比如，同一企业内的不同部门分别使用相应的数据库进行信息应用，具体地比如，该企业的部门A用EMC公司的GreenPlum数据库，部门B用甲骨文公司的ORACLE数据库，而部门C则用Teradata数据库等。基于此，出于数据备份、数据同步等方面的考虑，不同数据库之间的数据复制日渐成为人们普遍关心的问题。
传统技术中，通常采用拷贝法实现不同数据库之间的数据复制。拷贝法是指通过数据库管理系统从源数据库中导出特定格式的目标数据至应用服务器，再将目标数据从应用服务器导入到目标数据库中。但是，当数据复制量较大时，传统技术需要占用应用服务器大量的存储开销，无法实现大批量的数据复制，且无法实现对数据复制过程的管理。
发明内容
基于此，有必要针对传统技术需要占用应用服务器大量的存储开销，无法实现大批量的数据复制，且无法实现对数据复制过程的管理的技术问题，提供一种数据的复制方法、装置、设备和存储介质。
一种数据的复制方法，包括：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
一种数据的复制装置，包括：
卸载模块，用于从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
监控模块，用于从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
加载模块，用于从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
监控模块，还用于根据所述第一数据量信息确定数据复制任务的监控信息；
管理模块，用于当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
本申请实施例提供的数据的复制方法、装置、设备和存储介质，利用预先在应用服务器内存中创建的多个管道，通过数据流动的方式将源数据库中的数据复制到目标数据库中，无需将源数据库中的待复制数据在应用服务器上落成本地文件，减轻了应用服务器的存储压力，且由于管道文件几乎不占用内存空间，因此，在数据复制过程中无需受限于应用服务器内存的容量限制，从而可以实现高并发大批量的数据复制。同时，在数据复制过程中，可以实时监控数据流动状态，在数据流动状态异常时能够及时结束数据复制任务，从而减少了对数据库资源的浪费，实现了对数据复制过程的管理。
附图说明
图1为一实施例提供的数据的复制方法流程示意图；
图2为另一实施例提供的数据的复制方法流程示意图；
图3为一实施例提供的数据的复制装置的内部结构示意图；
图4为另一实施例提供的数据的复制装置的内部结构示意图；
图5为一实施例提供的计算机设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
图1为一实施例提供的数据的复制方法流程示意图。本实施例涉及的是应用服务器如何将源数据库中的待复制数据复制到目标数据库中，并如何监控数据复制任务的具体过程，如图1所示，该方法可以包括：
S101、从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
具体的，当源数据库中新增了一批数据时，该部分新增的数据为目标数据，当源数据库中修改或删除了一部分数据，该部分修改或删除的数据为目标数据，当然，目标数据也可以由用户进行指定，用户可以指定一些筛选条件，通过筛选条件选择出符合条件的目标数据，即目标数据为源数据库提供的待复制数据，此时需要将目标数据复制到目标数据库中，即需要执行数据复制任务。其中，源数据库可以为Oracle、Teradata、GreenPlum三种数据库中的任一种。
在执行数据复制任务之前，需要预先在应用服务器内存中创建多个预设大小的共享内存区域，该共享内存区域即为管道，也称管道文件。在Linux系统中，管道的大小为1页，即4K字节。当向管道中写数据时，若管道被写满数据，将无法继续向管道中写数据，待管道中某些数据被读取腾出空间时，才可以继续向管道中写数据。当从管道中读数据时，从管道中读数据是一次性操作，数据一旦被读取，该数据就从管道中被抛弃，释放空间以支持后续数据的写入。
在本申请中，利用第一管道转移源数据库中的目标数据，由于受限于第一管道的大小，因此，应用服务器需要从待复制的目标数据中获取本次待转移的目标子数据，并将目标子数据写入第一管道中。其中，目标子数据的大小可以与第一管道的大小相匹配。
S102、从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道。
其中，第一数据量信息包括数据的记录条数和数据的大小。应用服务器从第一管道中读取了目标子数据之后，获取目标子数据中包含的记录条数和目标子数据的数据量大小等数据量信息之后，直接将目标子数据写入第二管道中。当从第一管道中读取了目标子数据之后，第一管道存在了空余空间，则可以继续向第一管道中写入下一次待处理的目标子数据。
S103、从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中。
其中，可以通过预先编写的数据加载程序从第二管道中读取目标子数据，并将目标子数据写入目标数据库中。其中，目标数据库可以为Oracle、Teradata、GreenPlum三种数据库中的任一种。当从第二管道中读取了目标子数据之后，第二管道存在了空余空间，则可以继续向第二管道中写入下一次待处理的目标子数据。
S104、根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
其中，数据复制的状态信息可以包括已复制数据的大小、已复制数据包括的记录条数，获得已复制数据所使用的时间、平均复制速率以及最近一分钟的复制速率等。应用服务器根据获取到的第一数据量信息，确定数据复制的状态信息和进度信息，并根据数据复制的状态信息和进度信息确定数据复制任务的数据流动状态。
在实际应用中，应用服务器可以根据数据复制的状态信息和进度信息确定管道中有多久没有数据流动(即确定数据未流动的时间)，并基于数据未流动的时间确定数据流动状态是否异常。具体的，可以将数据未流动的时间与预设的超时阈值进行比较，若数据未流动的时间超过超时阈值，则有可能是源数据库或目标数据库异常(如过于繁忙或某些节点宕机等)，故认为数据流动状态异常，结束数据复制任务，并输出错误信息。其中，错误信息中包括数据复制任务失败的原因。
在数据复制的开始阶段，由于此阶段需要在源数据库端准备待复制的目标数据，故可以将此阶段的超时阈值设置得较大一些，例如将超时阈值设置为3小时。当数据已经开始流动，由于待复制的目标数据已经准备完毕，故可以将此阶段的超时阈值设置得较小一些，例如将超时阈值设置为半小时。
在目标数据未被全部写入目标数据库时，继续执行上述S101-S104的过程，直至目标数据被全部写入目标数据库中。
在数据复制任务完成之后，为了验证目标数据是否全部被复制到目标数据库中，在上述实施例的基础上，可选的，该方法还包括：统计从所述源数据库中所获取的所有数据的第一记录条数目；统计向所述目标数据库中所写入的所有数据的第二记录条数目；根据所述第一记录条数目和所述第二记录条数目，确定数据复制的拒绝率；当所述拒绝率超过预设阈值时，输出错误提示信息，所述错误提示信息用于指示所述数据复制任务失败。其中，预设的拒绝率阈值可以设置为0.5％。
为实现数据复制过程中中间数据不落地，即不将数据在本地应用服务器上落成本地文件，通过多个管道循环执行目标子数据的卸载和加载过程，从而实现以数据流动的方式将源数据库中的目标数据复制到目标数据库中。其中，卸载是指从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将目标子数据写入第一管道。例如，在Liunx中，管道的大小一般固定为1页，即4K字节，从而每执行一次卸载可实现向第一管道中写入4K数据。加载是指在将目标子数据写入第二管道的同时，从第二管道中读取目标子数据，并将目标子数据写入目标数据库中。
本申请实施例提供的数据的复制方法，利用预先在应用服务器内存中创建的多个管道，通过数据流动的方式将源数据库中的数据复制到目标数据库中，无需将源数据库中的待复制数据在应用服务器上落成本地文件，减轻了应用服务器的存储压力，且由于管道文件几乎不占用内存空间，因此，在数据复制过程中无需受限于应用服务器内存的容量限制，从而可以实现高并发大批量的数据复制。同时，在数据复制过程中，可以实时监控数据流动状态，在数据流动状态异常时能够及时结束数据复制任务，从而减少了对数据库资源的浪费，实现了对数据复制过程的管理。
上述进行数据库间数据复制的源数据库和目标数据库可以是异构数据库，也可以是非异构数据库，其中，所述异构的数据库的概念广泛包括计算机体系异构、操作系统异构以及数据库产品异构的情况，而数据库产品的异构又包括不同类型的数据库/数据库管理系统，及同类型不同版本的数据库/数据库管理系统等情况。当源数据库与目标数据库为异构数据库时，在上述实施例的基础上，可选的，上述S103可以包括：从所述第二管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换；将转换后的目标子数据写入第三管道；从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中。其中，可以根据数据的存储要求，对目标子数据进行字符集转换、分隔符替换、行列筛选等数据转换操作。
当源数据库与目标数据库为异构数据库时，作为另一种可选的实施方式，应用服务器可以参照如图2所示的过程进行源数据库与目标数据库间的数据复制，具体的，该方法包括：
S201、从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
S202、从所述第一管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换，以及将转换后的目标子数据写入第三管道。
S203、从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道。
S204、从所述第二管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中。
S205、根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务。
在目标数据未被全部写入目标数据库时，继续执行上述S201-S205的过程，直至目标数据被全部写入目标数据库中。
需要说明的是，关于上述S201-S205的描述可以参照上述S101-S104中的具体描述，本实施例在此不再赘述。
在整个数据复制过程中，对于源数据库和目标数据库来说，都只需执行简单的结构化查询语言(Structured Query Language，SQL)的SELECT语句和INSERT语句，这样，能够最大程度的减少占用数据库资源，且操作简单。
在本实施例中，在目标子数据的卸载和加载的过程中，对目标子数据进行数据格式转换，即在目标子数据通过多个管道进行数据流动的过程中，对目标子数据进行数据格式转换，使得目标子数据的卸载、转换、加载同步进行，从而提高了数据复制的效率。
在开始执行数据复制任务时，应用服务器通过fork方法调用数据卸载进程、监控信息获取进程、数据转换进程以及数据加载进程，实现从源数据中卸载目标子数据、对目标子数据进行数据转换、将转换后的目标子数据加载到目标数据库中，并获取数据复制任务的监控信息。当上述任一个进程存在问题时，数据复制将无法正常进行。故而，在上述实施例的基础上，可选的，该方法还包括：监控所述数据复制任务中的目标进程的运行状态；当所述目标进程的运行状态异常时，结束所述数据复制任务。
其中，所述目标进程为数据卸载进程、监控信息获取进程、数据加载进程以及数据转换进程中的至少一种。其中，数据卸载进程用于从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，监控信息获取进程用于从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道，并根据所述第一数据量信息确定所述数据复制任务的监控信息，数据转换进程用于从第二管道中读取目标子数据，对目标子数据进行数据转换，并将转换后的目标子数据写入第三管道，数据加载进程用于从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中。作为另一种可选的实施方式，数据转换进程用于从第一管道中读取目标子数据，对目标子数据进行数据转换，并将转换后的目标子数据写入第三管道，监控信息获取进程用于从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道，数据加载进程用于从所述第二管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中。
应用服务器可以通过Waitpid方法、Wifsignaled方法以及Wexitstatus方法监控各个目标进程的运行状态。当任一个目标进程的运行状态异常时，结束数据复制任务，并输出错误信息。
在本实施例中，当数据复制任务中的任一个目标进程的运行状态异常时，应用服务器能够及时结束数据复制任务，从而进一步减少了对数据库资源的浪费。
在实际应用中，为了综合考虑数据库资源的使用效率和数据复制效率，在上述实施例的基础上，可选的，在上述S101之前，该方法还包括：获取源数据库的类型，并统计所述源数据库提供的目标数据的第二数据量信息；根据所述源数据库的类型、所述第二数据量信息和预设的数据卸载映射关系，确定目标数据卸载程序，其中，所述数据卸载映射关系包括数据库的类型、数据量信息与数据卸载程序之间的对应关系。
具体的，第二数据量信息可以包括目标数据的记录条数和目标数据的数据量大小。当目标数据的数据量大小为0或目标数据的记录条数为0时，结束此次数据复制任务，断开与源数据库和目标数据库的连接。当目标数据的记录条数大于预设的阈值时，则确定此次数据复制任务为大数据量的数据复制任务，当目标数据的记录条数小于预设的阈值时，则确定此次数据复制任务为小数据量的数据复制任务。针对不同类型的数据复制任务，在数据卸载过程中可以采用不同的卸载方式。其中，上述阈值可以为100万条记录数。
其中，上述数据卸载映射关系可以如下述表1所示，具体的：
表1
| 数据库类型 | 数据卸载程序(大数据量) | 数据卸载程序(小数据量) |
| Teradata | Fastexport | bteq |
| Greenplum | Gpexport工具 | gpfdist工具 |
| Oracle | DBI | DBI |
通过上述如表1所示的数据卸载映射关系，应用服务器便可以根据获取的源数据库的类型和目标数据的数据量信息，确定目标数据卸载程序。在确定了目标数据卸载程序之后，在执行数据复制任务的过程中，应用服务器可以通过调用目标数据卸载程序，循环执行从目标数据中获取当前待处理的目标子数据，并将目标子数据写入第一管道的过程。
在上述实施例的基础上，可选的，该方法还包括：获取目标数据库的类型，并根据所述目标数据库的类型、所述第二数据量信息和预设的数据加载映射关系，确定目标数据加载程序，其中，所述数据加载映射关系包括数据库的类型、数据量信息与数据加载程序之间的对应关系。
其中，当目标数据的记录条数大于预设的阈值时，则确定此次数据复制任务为大数据量的数据复制任务，当目标数据的记录条数小于预设的阈值时，则确定此次数据复制任务为小数据量的数据复制任务。针对不同类型的数据复制任务，在数据加载过程中可以采用不同的加载方式。
上述数据加载映射关系可以如下述表2所示，具体的：
表2
| 数据库类型 | 数据卸载程序(大数据量) | 数据卸载程序(小数据量) |
| Teradata | Fastexport | bteq |
| Greenplum | Gpfdist+外部表 | Copy方法 |
| Oracle | Sqlldr | Sqlldr |
通过上述如表2所示的数据加载映射关系，应用服务器便可以根据获取的目标数据库的类型和目标数据的数据量信息，确定目标数据加载程序。在确定了目标数据加载程序之后，在执行数据复制任务的过程中，应用服务器可以通过调用目标数据加载程序，循环执行从第二管道中读取目标子数据，并将目标子数据写入目标数据库中的过程，直至将目标数据复制到目标数据库中。
在本实施例中，可以根据源数据库的类型、目标数据库的类型以及目标数据的数据量大小，自动选择最优的数据卸载方式和数据加载方式，从而提高了数据库资源的使用效率和数据复制的效率。
为了能够实时让用户了解到数据复制任务的状态和进度，在上述实施例的基础上，可选的，该方法还包括：将所述监控信息发送至与所述应用服务器连接的打印设备，以使所述打印设备对所述监控信息进行打印，并输出打印结果。
为了能够获取数据复制任务的监控信息，需要预先在应用服务器内存中创建一块专用的共享内存区域，该共享内存可以用来存储每一次从第一管道中读取的目标子数据的第一数据量信息，即该共享内存中存储了本次之前的已复制数据的第三数据量信息。这样，上述S104中根据第一数据量信息确定数据复制任务的监控信息的过程可以为：根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息。
其中，监控信息包括数据复制的状态信息和进度信息。数据复制的状态信息可以包括截止到目前所有的已复制数据的数据量大小、截止到目前所有的已复制数据包括的记录条数、获得截止到目前所有的已复制数据所使用的时间、平均复制速率以及最近一分钟的复制速率等。上述截止到目前所有的已复制数据的数据量大小等于从第一管道中读取的目标子数据的数据量大小与共享内存中存储的已复制数据的数据量大小之和，上述截止到目前所有的已复制数据包括的记录条数等于从第一管道中读取的目标子数据的记录条数与共享内存中存储的已复制数据的记录条数之和，上述获得截止到目前所有的已复制数据所使用的时间等于当前系统时间与数据复制开始时间之差，上述平均速率等于截止到目前所有的已复制数据的数据量大小与获得截止到目前所有的已复制数据所使用的时间之比，上述最近一分钟的复制速率等于最近一分钟复制的数据的数据量大小，总的数据复制进度等于截止到目前所有的已复制数据的记录条数与目标数据的记录条数之比。
在本实施例中，应用服务器将每一次从第一管道中读取的目标子数据的第一数据量信息存储在共享内存中，这样，应用服务器便可以根据从第一管道中读取的当前待处理的目标子数据的第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，从而提高了确定出的监控信息的准确性，进而可有效防止对数据复制任务的数据流动状态的错误判断，提高了对数据复制任务监控的准确性。
应该理解的是，虽然图1和图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图3为一实施例提供的数据的复制装置的内部结构示意图。如图3所示，该装置包括：卸载模块10、监控模块11、加载模块12和管理模块13。
具体的，卸载模块10用于从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
监控模块11用于从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
加载模块12用于从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
监控模块11还用于根据所述第一数据量信息确定所述数据复制任务的监控信息；
管理模块13用于当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
本申请实施例提供的数据的复制装置，利用预先在应用服务器内存中创建的多个管道，通过数据流动的方式将源数据库中的数据复制到目标数据库中，无需将源数据库中的待复制数据在应用服务器上落成本地文件，减轻了应用服务器的存储压力，且由于管道文件几乎不占用内存空间，因此，在数据复制过程中无需受限于应用服务器内存的容量限制，从而可以实现高并发大批量的数据复制。同时，在数据复制过程中，可以实时监控数据流动状态，在数据流动状态异常时能够及时结束数据复制任务，从而减少了对数据库资源的浪费，实现了对数据复制过程的管理。
在上述实施例的基础上，可选的，当所述源数据库与所述目标数据库为异构数据库时，加载模块12包括：转换单元和加载单元；
具体的，转换单元用于从所述第二管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换，并将转换后的目标子数据写入第三管道；
加载单元用于从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中；
或者，该装置还包括：转换模块；
具体的，所述转换模块用于所述监控模块11在从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道之前，从所述第一管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换，以及将转换后的目标子数据写入第三管道；
所述监控模块11具体用于从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道。
在上述实施例的基础上，可选的，管理模块13还用于监控所述数据复制任务中的目标进程的运行状态，当所述目标进程的运行状态异常时，结束所述数据复制任务；所述目标进程为数据卸载进程、监控信息获取进程、数据加载进程以及数据转换进程中的至少一种。
在上述实施例的基础上，可选的，管理模块13还用于在所述卸载模块10从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道之前，获取源数据库的类型，并统计所述源数据库提供的目标数据的第二数据量信息；
卸载模块10还用于根据所述源数据库的类型、所述第二数据量信息和预设的数据卸载映射关系，确定目标数据卸载程序，其中，所述数据卸载映射关系包括数据库的类型、数据量信息与数据卸载程序之间的对应关系；
卸载模块10具体用于通过调用所述目标数据卸载程序，从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
在上述实施例的基础上，可选的，管理模块13还用于获取目标数据库的类型；
加载模块12还用于根据所述目标数据库的类型、所述第二数据量信息和预设的数据加载映射关系，确定目标数据加载程序，其中，所述数据加载映射关系包括数据库的类型、数据量信息与数据加载程序之间的对应关系；
加载模块12具体用于通过调用所述目标数据加载程序，从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中。
在上述实施例的基础上，可选的，监控模块11还用于将所述监控信息发送至与所述应用服务器连接的打印设备，以使所述打印设备对所述监控信息进行打印，并输出打印结果。
在上述实施例的基础上，可选的，管理模块13还用于统计从所述源数据库中所获取的所有数据的第一记录条数目；统计向所述目标数据库中所写入的所有数据的第二记录条数目；根据所述第一记录条数目和所述第二记录条数目，确定数据复制的拒绝率；当所述拒绝率超过预设阈值时，输出错误提示信息，所述错误提示信息用于指示所述数据复制任务失败。
在上述实施例的基础上，可选的，监控模块11具体用于根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，其中，所述共享内存为预先在应用服务器内存中创建的内存区域。
在一个实施例中，还提供了一种数据的复制装置，如图4所示，该装置包括：卸载模块30、转换模块31、监控模块32、加载模块33和管理模块34。其中，卸载模块30从源数据库中获取目标子数据，并将目标子数据写入管道文件1中，转换模块31从管道文件1中读取目标子数据，并对目标子数据进行数据转换，将转换后的目标子数据写入管道文件2中，监控模块32从管道文件2中读取转换后的目标子数据，在获取转换后的目标子数据的数据量信息后，将转换后的目标子数据直接写入管道文件3中，加载模块33从管道文件3中读取转换后的目标子数据，并将转换后的目标子数据写入目标数据库中。监控模块32还将转换后的目标子数据的数据量信息存储在共享内存中，并根据共享内存中存储的已复制数据的数据量信息和当前处理的转换后的目标子数据的数据量信息确定数据复制任务的监控信息，并将监控信息存储在共享内存中。管理模块34可以监控卸载模块30、转换模块31、监控模块32和加载模块33的运行状态，当任一个模块的运行状态异常时，结束数据复制任务并报错。同时，管理模块34还可以从共享内存中获取数据复制任务的监控信息，当根据监控信息确定数据复制任务的数据流动状态异常时，结束数据复制任务并报错。
在一个实施例中，提供了一种计算机设备，该计算机设备可以为应用服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力，该计算机设备的存储器中存储有计算机程序，该计算机设备的网络接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时实现一种数据的复制方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
在一个实施例中，当所述源数据库与所述目标数据库为异构数据库时，处理器执行计算机程序时还实现以下步骤：从所述第二管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换；将转换后的目标子数据写入第三管道；从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中；
或者，处理器执行计算机程序时还实现以下步骤：从所述第一管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换，以及将转换后的目标子数据写入第三管道；
处理器执行计算机程序时还实现以下步骤：从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：监控所述数据复制任务中的目标进程的运行状态，所述目标进程为数据卸载进程、监控信息获取进程、数据加载进程以及数据转换进程中的至少一种；当所述目标进程的运行状态异常时，结束所述数据复制任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取源数据库的类型，并统计所述源数据库提供的目标数据的第二数据量信息；根据所述源数据库的类型、所述第二数据量信息和预设的数据卸载映射关系，确定目标数据卸载程序，其中，所述数据卸载映射关系包括数据库的类型、数据量信息与数据卸载程序之间的对应关系；
处理器执行计算机程序时还实现以下步骤：通过调用所述目标数据卸载程序，从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标数据库的类型，并根据所述目标数据库的类型、所述第二数据量信息和预设的数据加载映射关系，确定目标数据加载程序，其中，所述数据加载映射关系包括数据库的类型、数据量信息与数据加载程序之间的对应关系；
处理器执行计算机程序时还实现以下步骤：通过调用所述目标数据加载程序，从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述监控信息发送至与所述应用服务器连接的打印设备，以使所述打印设备对所述监控信息进行打印，并输出打印结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：统计从所述源数据库中所获取的所有数据的第一记录条数目；统计向所述目标数据库中所写入的所有数据的第二记录条数目；根据所述第一记录条数目和所述第二记录条数目，确定数据复制的拒绝率；当所述拒绝率超过预设阈值时，输出错误提示信息，所述错误提示信息用于指示所述数据复制任务失败。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，其中，所述共享内存为预先在应用服务器内存中创建的内存区域。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息。
在一个实施例中，当所述源数据库与所述目标数据库为异构数据库时，计算机程序被处理器执行时还实现以下步骤：从所述第二管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换；将转换后的目标子数据写入第三管道；从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中；
或者，计算机程序被处理器执行时还实现以下步骤：从所述第一管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换，以及将转换后的目标子数据写入第三管道；
计算机程序被处理器执行时还实现以下步骤：从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：监控所述数据复制任务中的目标进程的运行状态，所述目标进程为数据卸载进程、监控信息获取进程、数据加载进程以及数据转换进程中的至少一种；当所述目标进程的运行状态异常时，结束所述数据复制任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取源数据库的类型，并统计所述源数据库提供的目标数据的第二数据量信息；根据所述源数据库的类型、所述第二数据量信息和预设的数据卸载映射关系，确定目标数据卸载程序，其中，所述数据卸载映射关系包括数据库的类型、数据量信息与数据卸载程序之间的对应关系；
计算机程序被处理器执行时还实现以下步骤：通过调用所述目标数据卸载程序，从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标数据库的类型，并根据所述目标数据库的类型、所述第二数据量信息和预设的数据加载映射关系，确定目标数据加载程序，其中，所述数据加载映射关系包括数据库的类型、数据量信息与数据加载程序之间的对应关系；
计算机程序被处理器执行时还实现以下步骤：通过调用所述目标数据加载程序，从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述监控信息发送至与所述应用服务器连接的打印设备，以使所述打印设备对所述监控信息进行打印，并输出打印结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：统计从所述源数据库中所获取的所有数据的第一记录条数目；统计向所述目标数据库中所写入的所有数据的第二记录条数目；根据所述第一记录条数目和所述第二记录条数目，确定数据复制的拒绝率；当所述拒绝率超过预设阈值时，输出错误提示信息，所述错误提示信息用于指示所述数据复制任务失败。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，其中，所述共享内存为预先在应用服务器内存中创建的内存区域。
上述实施例中提供的数据的复制装置、设备和系统可执行本申请任意实施例所提供的数据的复制方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数据的复制方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据的复制方法，其特征在于，包括：
从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
根据所述第一数据量信息确定所述数据复制任务的监控信息，当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息；其中，所述数据复制的状态信息包括已复制数据的数据量大小、已复制数据的记录条数、已复制数据所使用的时间、平均复制速率以及一分钟复制速率；所述数据复制的进度信息为已复制数据的记录条数与目标数据的记录条数之比；
其中，所述当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，包括：根据所述监控信息确定管道中数据未流动的时间，并基于所述数据未流动的时间确定所述数据流动状态是否异常；
其中，所述根据所述第一数据量信息确定数据复制任务的监控信息，包括：
根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，其中，所述共享内存为预先在应用服务器内存中创建的内存区域。
2.根据权利要求1所述的方法，其特征在于，当所述源数据库与所述目标数据库为异构数据库时，所述从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中，包括：
从所述第二管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换；
将转换后的目标子数据写入第三管道；
从所述第三管道中读取所述转换后的目标子数据，并将所述转换后的目标子数据写入目标数据库中；
或者，
在所述从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道之前，还包括：
从所述第一管道中读取所述目标子数据，并根据所述目标数据库的数据存储要求，对所述目标子数据进行数据转换；
将转换后的目标子数据写入第三管道；
所述从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道，包括：
从所述第三管道中读取所述转换后的目标子数据，获取所述转换后的目标子数据的第一数据量信息，并将所述转换后的目标子数据写入第二管道。
3.根据权利要求2所述的方法，其特征在于，还包括：
监控所述数据复制任务中的目标进程的运行状态，所述目标进程为数据卸载进程、监控信息获取进程、数据加载进程以及数据转换进程中的至少一种；
当所述目标进程的运行状态异常时，结束所述数据复制任务。
4.根据权利要求1所述的方法，其特征在于，在所述从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道之前，还包括：
获取源数据库的类型，并统计所述源数据库提供的目标数据的第二数据量信息；
根据所述源数据库的类型、所述第二数据量信息和预设的数据卸载映射关系，确定目标数据卸载程序，其中，所述数据卸载映射关系包括数据库的类型、数据量信息与数据卸载程序之间的对应关系；
所述从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，包括：
通过调用所述目标数据卸载程序，从目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道。
5.根据权利要求4所述的方法，其特征在于，还包括：
获取目标数据库的类型，并根据所述目标数据库的类型、所述第二数据量信息和预设的数据加载映射关系，确定目标数据加载程序，其中，所述数据加载映射关系包括数据库的类型、数据量信息与数据加载程序之间的对应关系；
所述从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中，包括：
通过调用所述目标数据加载程序，从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中。
6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
将所述监控信息发送至与所述应用服务器连接的打印设备，以使所述打印设备对所述监控信息进行打印，并输出打印结果。
7.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
统计从所述源数据库中所获取的所有数据的第一记录条数目；
统计向所述目标数据库中所写入的所有数据的第二记录条数目；
根据所述第一记录条数目和所述第二记录条数目，确定数据复制的拒绝率；
当所述拒绝率超过预设阈值时，输出错误提示信息，所述错误提示信息用于指示所述数据复制任务失败。
8.一种数据的复制装置，其特征在于，包括：
卸载模块，用于从数据复制任务对应的目标数据中获取当前待处理的目标子数据，并将所述目标子数据写入第一管道，所述目标数据为源数据库提供的待复制数据；
监控模块，用于从所述第一管道中读取所述目标子数据，获取所述目标子数据的第一数据量信息，并将所述目标子数据写入第二管道；
加载模块，用于从所述第二管道中读取所述目标子数据，并将所述目标子数据写入目标数据库中；
监控模块，还用于根据所述第一数据量信息确定数据复制任务的监控信息；
管理模块，用于当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，其中，所述监控信息包括数据复制的状态信息和进度信息；其中，所述数据复制的状态信息包括已复制数据的数据量大小、已复制数据的记录条数、已复制数据所使用的时间、平均复制速率以及一分钟复制速率；所述数据复制的进度信息为已复制数据的记录条数与目标数据的记录条数之比；
其中，所述当根据所述监控信息确定所述数据复制任务的数据流动状态异常时，结束所述数据复制任务，包括：根据所述监控信息确定管道中数据未流动的时间，并基于所述数据未流动的时间确定所述数据流动状态是否异常；
所述监控模块，具体用于根据所述第一数据量信息和共享内存中存储的已复制数据的第三数据量信息，确定数据复制任务的监控信息，其中，所述共享内存为预先在应用服务器内存中创建的内存区域。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911065831.6A CN110795508B (zh) | 2019-11-04 | 2019-11-04 | 数据的复制方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911065831.6A CN110795508B (zh) | 2019-11-04 | 2019-11-04 | 数据的复制方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795508A CN110795508A (zh) | 2020-02-14 |
| CN110795508B true CN110795508B (zh) | 2023-04-07 |
Family
ID=69442592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911065831.6A Active CN110795508B (zh) | 2019-11-04 | 2019-11-04 | 数据的复制方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795508B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241329B (zh) * | 2020-09-28 | 2021-08-24 | 深圳市商汤科技有限公司 | 识别引擎的监控方法、装置、设备及存储介质 |
| CN112148740B (zh) * | 2020-09-30 | 2023-12-08 | 北京明朝万达科技股份有限公司 | 数据传输方法、装置、存储介质及电子装置 |
| US11954119B2 (en) * | 2021-01-14 | 2024-04-09 | International Business Machines Corporation | Applying changes in a target database system |
| US11675809B2 (en) | 2021-03-02 | 2023-06-13 | International Business Machines Corporation | Replicating data changes using multiple storage devices and tracking records of pending data changes stored on the storage devices |
| US20220284034A1 (en) * | 2021-03-02 | 2022-09-08 | International Business Machines Corporation | Replicating data changes of a source database in a target database using data change records and runtime statistics of the source database |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715575A (zh) * | 2006-12-06 | 2010-05-26 | 弗森多系统公司（dba弗森-艾奥） | 采用数据管道管理数据的装置、系统和方法 |
| CN102004743A (zh) * | 2009-09-02 | 2011-04-06 | 中国银联股份有限公司 | 一种用于异构数据库之间数据复制的系统及方法 |
| CN102782656A (zh) * | 2010-02-26 | 2012-11-14 | 赛门铁克公司 | 管理应用程序可用性的系统和方法 |
| CN105492874A (zh) * | 2012-11-30 | 2016-04-13 | 英佩雷尔创新有限公司 | 用于监测携流管道的网络的设备、方法和系统 |
| CN105516110A (zh) * | 2015-12-01 | 2016-04-20 | 成都汇合乾元科技有限公司 | 移动设备安全数据传送方法 |
| CN106210021A (zh) * | 2016-07-05 | 2016-12-07 | 中国银行股份有限公司 | 金融应用系统联机业务的实时监控方法以及监控装置 |
| CN108293063A (zh) * | 2015-12-11 | 2018-07-17 | 安博科技有限公司 | 用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7853568B2 (en) * | 2007-03-01 | 2010-12-14 | Air Liquide Large Industries U.S. Lp | High speed data historian |
| EP2659395A2 (en) * | 2010-12-28 | 2013-11-06 | Citrix Systems, Inc. | Systems and methods for database proxy request switching |
| CN102508929A (zh) * | 2011-12-01 | 2012-06-20 | 浪潮(北京)电子信息产业有限公司 | 实现异构数据库数据迁移的系统、装置及方法 |
| CN103810076B (zh) * | 2012-11-15 | 2017-09-29 | 国家电网公司 | 数据复制的监控方法及装置 |
| CN105589881B (zh) * | 2014-10-23 | 2020-01-24 | 大唐软件技术股份有限公司 | 一种数据处理方法和装置 |
| CN105512240A (zh) * | 2015-11-30 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于不同数据库的数据复制方法和系统 |
-
2019
- 2019-11-04 CN CN201911065831.6A patent/CN110795508B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715575A (zh) * | 2006-12-06 | 2010-05-26 | 弗森多系统公司（dba弗森-艾奥） | 采用数据管道管理数据的装置、系统和方法 |
| CN102004743A (zh) * | 2009-09-02 | 2011-04-06 | 中国银联股份有限公司 | 一种用于异构数据库之间数据复制的系统及方法 |
| CN102782656A (zh) * | 2010-02-26 | 2012-11-14 | 赛门铁克公司 | 管理应用程序可用性的系统和方法 |
| CN105492874A (zh) * | 2012-11-30 | 2016-04-13 | 英佩雷尔创新有限公司 | 用于监测携流管道的网络的设备、方法和系统 |
| CN105516110A (zh) * | 2015-12-01 | 2016-04-20 | 成都汇合乾元科技有限公司 | 移动设备安全数据传送方法 |
| CN108293063A (zh) * | 2015-12-11 | 2018-07-17 | 安博科技有限公司 | 用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法 |
| CN106210021A (zh) * | 2016-07-05 | 2016-12-07 | 中国银行股份有限公司 | 金融应用系统联机业务的实时监控方法以及监控装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王振宇 ; 邓锦福 ; .基于Netfilter的DNS实时监控统计系统的设计.计算机应用研究.2009,第26卷(第04期),1487-1490. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795508A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795508B (zh) | 数据的复制方法、装置、设备和存储介质 | |
| EP2474919A1 (en) | System and method for data replication between heterogeneous databases | |
| CN110727724B (zh) | 数据抽取方法、装置、计算机设备和存储介质 | |
| US20190347165A1 (en) | Apparatus and method for recovering distributed file system | |
| CN111125002B (zh) | 一种基于分布式存储的数据备份归档方法和系统 | |
| CN110019063B (zh) | 计算节点数据容灾回放的方法、终端设备及存储介质 | |
| TW201321978A (zh) | 電子系統及其記憶體管理方法 | |
| CN111966531B (zh) | 数据快照方法、装置、计算机设备及存储介质 | |
| CN112948504A (zh) | 数据采集方法、装置、计算机设备和存储介质 | |
| CN111124751B (zh) | 数据恢复方法及系统、数据存储节点、数据库管理节点 | |
| CN113312309B (zh) | 快照链的管理方法、装置和存储介质 | |
| CN115269558A (zh) | 数据存储方法、装置、设备、存储介质和程序产品 | |
| CN114020691B (zh) | 读写分离的数据更新方法及其装置、kv存储系统 | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN115328704A (zh) | 文件备份方法、文件恢复方法、装置、设备和存储介质 | |
| CN115268767A (zh) | 数据处理方法以及装置 | |
| US8296336B2 (en) | Techniques for efficient dataloads into partitioned tables using swap tables | |
| CN115357429B (zh) | 恢复数据文件的方法、装置和客户端 | |
| CN115374218B (zh) | 一种异构数据库的数据同步方法、装置、设备及介质 | |
| CN115269270B (zh) | 备份合并的方法、装置和设备 | |
| CN116450412A (zh) | 数据恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN110351386B (zh) | 一种不同副本间的增量同步方法及装置 | |
| CN116755935A (zh) | 备份冗余处理方法、装置、设备、介质及程序产品 | |
| CN116915776A (zh) | 数据节点扩容方法、装置、设备及计算机可读存储介质 | |
| CN113901014A (zh) | 数据库的处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220919 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |