CN110909079A - 数据交换同步方法、系统、装置、服务器和存储介质 - Google Patents
数据交换同步方法、系统、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN110909079A CN110909079A CN201911140533.9A CN201911140533A CN110909079A CN 110909079 A CN110909079 A CN 110909079A CN 201911140533 A CN201911140533 A CN 201911140533A CN 110909079 A CN110909079 A CN 110909079A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- component
- node server
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 131
- 238000013500 data storage Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 22
- 238000007726 management method Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 7
- 125000004122 cyclic group Chemical group 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据交换同步方法和系统，包括：获取目标数据数据交换同步任务；根据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器的数据读取组件发送数据读取指令，指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；消息中间件配置在任务处理节点服务器，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器的数据写入组件发送数据写入指令，指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。本申请通过消息中间件分开数据读写组件，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据交换同步方法、数据交换同步系统、数据交换同步装置、任务处理节点服务器和计算机可读存储介质。
背景技术
随着数据处理技术领域的发展，数字化转型是新时代电网企业面临的机遇和挑战，随着信息技术的不断发展，电网企业建立了许多信息系统以辅助企业实现内外部业务数据的处理和管理，完成数字化转型的历史使命。
目前为满足不同业务部门的数据分析、数据应用需求，首先针对各业务系统中使用的数据库产品，选择此产品官方提供的导数工具或者由各业务部门组织技术团队开发导数工具，用此工具从源系统中将数据导出生成离线文件，并对文件进行加密，通过线下流程或者FTP方式进行数据传输并导入到目标系统中，实现数据资源共享。然而，这种数据交换方法数据交换效率低，无法实时更新数据。
发明内容
基于此，有必要针对传统技术数据交换方法数据交换效率低的技术问题，提供一种数据交换同步方法、数据交换同步系统、数据交换同步装置、任务处理节点服务器和计算机可读存储介质。
一种数据交换同步方法，应用于任务处理节点服务器，包括步骤：
获取目标数据的数据交换同步任务；
根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；
向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，用于指示所述数据读取组件从源端数据库中获取所述目标数据，并将所述目标数据传输到消息中间件；其中，所述消息中间件配置在所述任务处理节点服务器中，用于接收所述数据读取组件发送的数据；
向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，用于指示所述数据写入组件从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
一种数据交换同步系统，包括任务处理节点服务器；所述任务处理节点服务器，配置有数据读取组件、消息中间件和数据写入组件；其中，
所述任务处理节点服务器，用于获取目标数据的数据交换同步任务，根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令，将所述数据读取指令发送至所述数据读取组件，将所述数据写入指令发送至所述数据写入组件；
所述数据读取组件，用于根据所述数据读取指令从源端数据库获取所述目标数据，并传输到所述消息中间件；
所述消息中间件，用于存储所述数据读取组件发送的所述目标数据；
所述数据写入组件，用于根据所述数据写入指令从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
一种数据交换同步装置，包括：
任务获取模块，用于获取目标数据的数据交换同步任务；
指令获取模块，用于根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；
数据读取模块，用于向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，用于指示所述数据读取组件从源端数据库中获取所述目标数据，并将所述目标数据传输到消息中间件；其中，所述消息中间件配置在所述任务处理节点服务器中，用于接收所述数据读取组件发送的数据；
数据写入模块，用于向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，用于指示以使所述数据写入组件从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
一种任务处理节点服务器，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。
上述数据交换同步方法、系统、装置、任务处理节点服务器和存储介质，获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。本申请提供的数据交换同步方法通过消息中间件分开数据读写组件，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
附图说明
图1为一个实施例中数据交换同步方法的应用场景图；
图2为一个实施例中数据交换同步方法的流程示意图；
图3为一个应用示例中数据交换同步系统的结构示意图；
图4为一个应用示例中任务处理节点的结构示意图；
图5为一个应用示例中数据交换同步方法的流程示意图；
图6为一个实施例中数据交换同步装置的结构框图；
图7为一个实施例中任务处理节点服务器的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据交换同步方法，可以应用于如图1所示的应用场景中，图1为一个实施例中数据交换同步方法的应用场景图，其中，任务处理节点服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现，任务处理节点服务器中配置有数据读取组件101、消息中间件102以及数据写入组件103。
具体地，数据处理节点服务器从任务分发节点服务器获取数据交换同步任务并得到任务配置信息，生成数据读取指令和数据写入指令，将数据读取指令发送至数据读取组件101，数据读取组件101从源端数据库读取数据并传输到消息中间件102中，同时，将数据写入指令发送至数据写入组件103，数据写入组件103从消息中间件102中读取其存储的数据并写入目标端数据库中。
在一个实施例中，提供了一种数据交换同步方法，参考图2，图2为一个实施例中数据交换同步方法的流程示意图，以该方法应用于图1中的任务处理节点服务器为例进行说明，该数据交换同步方法可以包括以下步骤：
步骤S201，获取目标数据的数据交换同步任务。
其中，数据交换同步任务可以是用户根据实际数据同步需求进行配置，目标数据指的是需要进行交换同步的数据，可以是存储在源端数据库中的结构化数据。具体地，任务处理节点服务器可以从任务分发节点服务器获取该目标数据的数据交换同步任务，进而根据得到的数据交换同步任务，对目标数据进行数据交换同步。
步骤S202，根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令。
数据交换同步主要包括两个部分，数据读取和数据写入。本步骤中，任务配置信息包括需要读取的源端数据库信息以及需要写入的目标端数据库信息，任务处理节点服务器可根据上述任务配置信息生成数据读取指令和数据写入指令。数据读取指令主要用于任务处理节点服务器执行从源端数据库中读取目标数据的任务，数据写入指令则主要用于任务处理节点服务器将从源端数据库中读取到的目标数据写入目标端数据库中。
步骤S203，向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据。
其中，任务处理节点服务器中配置有数据读取组件101以及消息中间件102。具体地，在步骤S202得到数据读取指令后，任务处理节点服务器将上述数据读取指令发送到配置在任务处理节点服务器中的数据读取组件101，数据读取组件101接收到上述数据读取指令后，可以调用预先封装在该数据读取组件101中的数据库读取工具，利用该读取工具从源端数据库中循环读取目标数据，其中，循环读取是指从源端数据库包含的多个数据库中按照一定顺序重复读取各数据库中的目标数据。例如，设源端数据库包括数据库A、数据库B和数据库C，循环读取时，数据库读取工具可以按照从A到C的顺序，读取相应数据库中的数据，具体的，从数据库A读取数据a后，再从从数据库B读取数据B，最后从数据库C读取数据c，此时，完成一个循环，再重复执行上述读取过程，该过程为循环读取过程。然后，将上述目标数据通过消息队列传输并保存到消息中间件102中。
步骤S204，向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。
其中，任务处理节点服务器中还配置有数据写入组件103。具体地，在步骤S202得到数据写入指令后，任务处理节点服务器将上述数据写入指令发送到配置在任务处理节点服务器中的数据写入组件103，数据写入组件103接收到上述数据写入指令后，可以调用预先封装在该数据写入组件103中的数据库写入工具，利用该写入工具通过消息队列从消息中间件102中循环读取目标数据，其中，循环读取是指从消息中间件102中包含的多个数据库的数据按照一定顺序逐一读取目标数据。例如，设消息中间件102包括数据库A、数据库B和数据库C，循环读取时，数据库写入工具可以按照从A到C的顺序，读取相应数据库中的数据，具体的，从数据库A读取数据a后，再从从数据库B读取数据B，最后从数据库C读取数据c，此时，完成一个循环，再重复执行上述读取过程，该过程为循环读取过程。然后，将上述目标数据写入到目标端数据库，直到完成所有数据交换同步任务，数据读取组件101以及数据写入组件103才停止运作。
上述数据交换同步方法，获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。本申请提供的数据交换同步方法通过消息中间件分开数据读写组件，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
在一个实施例中，数据读取组件101包括多种数据读取工具，分别用于读取不同类型的源端数据库存储的数据；数据写入组件103包括多种数据写入工具，分别用于将数据写入不同类型的目标端数据库。
在信息技术多样化的时代，数据库产品种类繁多，两两配对的组合有多种可能，例如，源端数据库可以包括Oracle数据库、MySQL数据库或者PostgreSQL数据库等，目标端数据库也可以包括Oracle数据库、MySQL数据库或者PostgreSQL数据库等，存在多种配对组合，每一种配对组合都需要一种导数工具，例如：数据从Oracle数据库同步到MySQL数据库，需要配套一组O2M导数工具，而将数据从Oracle数据库同步到PostgreSQL数据库，需要配套一组O2P导数，若每种组合每出现一组新的搭配需求新开发一套配套工具，那么工具复用度不高，浪费大量的开发资源。
上述实施例通过在数据读取组件101以及数据写入组件103中分别封装多种数据读取工具以及数据写入工具，实现了对多种不同数据库之间的同步交换。例如：可以实现将数据从Oracle数据库同步到MySQL数据库或者PostgreSQL数据库，从而节省了重新开发数据读写工具的资源。
在一个实施例中，数据读取组件101与数据写入组件103之间不直接进行通信。
本实施例中，数据读取组件101和数据写入组件103之间不直接进行通信，而是通过该两个组件之间的消息中间件102作为数据传输通道进行数据互通，即数据读取组件101只能先将源端数据库中读取的目标数据发送给消息中间件102，然后数据写入组件103从消息中间件102中读取目标数据而数据读取组件101不能直接将目标数据发给数据写入组件103，从而来实现结构化数据交换同步。通过将数据读写组件分开进行数据交换同步，可以提高数据交换同步的效率，数据存在消息队列中，无需导出生成离线文件，不必再因为文件格问题、文件内容分隔符问题、文件字符集问题而苦恼，大大提高了数据交换同步的成功率，另外，消息中间件102还包括消息管理功能，数据交换同步任务执行中可通过消息中间件102对目标数据进行统一管理。
在一个实施例中，向配置在任务处理节点服务器中的数据读取组件101发送的数据读取指令，进一步用于指示数据读取组件101将从源端数据库中获取的目标数据进行加密处理，得到加密后的目标数据，并将加密后的目标数据传输到消息中间件102；向配置在任务处理节点服务器中的数据写入组件103发送的数据写入指令，进一步用于指示数据写入组件103，从消息中间件102中读取加密后的目标数据，并进行解密处理得到目标数据，以及将解密得到的目标数据发送至目标端数据库。
具体地，在步骤S203中，数据读取组件101在接收到数据读取指令后，调用封装在数据读取组件101中的数据库读取工具，从源端数据库中循环读取目标数据，并对目标数据进行加密处理后，将加密后的目标数据通过消息队列传输到消息中间件102；在步骤S204中，数据写入组件103接收到数据写入指令后，通过消息队列从消息中间件102中循环读取加密后的目标数据，并进行解密处理，再将解密得到的目标数据发送至目标端数据库。上述实施例在数据交换同步过程中数据读取组件101对源端数据库读取的数据进行加密处理，并传输到消息中间件102中，数据写入组件103从消息中间件102中读取加密的目标数据并进行解密处理再写入到目标端数据库中，从而保障了数据交换同步的安全性。
在一个实施例中，步骤S201的获取目标数据的数据交换同步任务，包括：接收任务分发节点服务器分发的数据交换同步任务；其中，数据交换同步任务是用户在统一管理平台进行任务配置后，存储在数据存储层中的；上述任务分发节点服务器，用于从数据存储层中读取数据交换同步任务，并分发至任务处理节点服务器。
其中，统一管理平台提供可视化页面展现系统的运行情况，用户可采用向导式的配置模式完成数据同步任务的配置工作，数据存储层包括任务配置服务器，用于存储用户在统一管理平台完成配置的数据交换同步任务。任务分发节点服务器用于从数据存储层中读取数据同步任务，并将该任务分发给任务处理节点服务器进行处理。具体地，在用户通过统一管理平台完成数据交换同步任务配置之后，数据交换同步任务会提交并保存到数据存储层中，并启动任务分发节点服务器，任务分发节点服务器启动后将从数据存储层中读取数据交换同步任务，并分发至任务处理节点服务器。
在一个实施例中，上述数据交换同步方法还包括：获取数据交换同步任务的任务运行信息；根据任务运行信息生成任务运行日志；将任务运行日志存储到任务分发节点服务器，任务分发节点服务器用于将任务运行日志存储入数据存储层；其中，任务运行日志用于对数据交换同步任务进行可视化监控。
其中，任务运行信息记录了任务运行的每一个步骤，任务处理节点服务器中还配置有任务运行日志记录组件，任务分发节点服务器还配置有任务运行日志记录组件。任务运行日志记录组件可以根据任务运行的步骤生成任务运行日志并将任务运行日志返回至任务运行日志记录组件，任务运行日志记录组件读取任务运行日志后将任务运行日志存储到数据存储层的数据库中，从而实现对数据交换同步任务进行可视化监控。
在一个实施例中，提供了一种数据交换同步系统，参考图1，该系统可以包括任务处理节点服务器；任务处理节点服务器，配置有数据读取组件101、消息中间件102和数据写入组件103；其中，
任务处理节点服务器，用于获取目标数据的数据交换同步任务，根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令，将数据读取指令发送至数据读取组件101，将数据写入指令发送至数据写入组件103；
数据读取组件101，用于根据数据读取指令从源端数据库获取目标数据，并传输到所述消息中间件102；
消息中间件102，用于存储数据读取组件发送的目标数据；
数据写入组件103，用于根据数据写入指令从消息中间件102中读取目标数据，并将目标数据发送至目标端数据库。
上述数据交换同步系统，通过消息中间件分开数据读写组件，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
在一个实施例中，上述数据交换同步系统，还包括：统一管理平台、数据存储层和任务分发节点服务器；其中，
统一管理平台配置有任务配置模块，用于获取用户配置的数据交换同步任务，并将数据交换同步任务发送到数据存储层进行存储；
任务分发节点服务器配置有任务轮询触发器和负载均衡任务分发组件；其中，
任务轮询触发器，用于从数据存储层中读取数据交换同步任务；
负载均衡任务分发组件，用于将任务轮询触发器读取的数据交换同步任务发送到任务处理节点服务器。
具体地，统一管理平台配置有任务配置模块，采用向导式的配置模式，用户可根据系统的指引，完成数据交换同步任务的配置，降低了用户的使用门槛也提高了用户配置数据交换同步任务的效率。当用户完成数据交换同步任务的配置之后，将上述数据交换同步任务发送到数据存储层进行存储，并启动配置有任务轮询触发器和负载均衡任务分发组件的任务分发节点服务器，其中，任务轮询触发器用于从数据存储层中读取用户配置的数据交换同步任务，负载均衡任务分发组件则用于将任务轮询触发器读取的数据交换同步任务发送到任务处理节点服务器，从而指示任务处理节点服务器完成数据交换同步任务。
进一步地，上述统一管理平台还配置有任务监控模块，上述任务处理节点服务器还配置有任务运行日志记录组件；上述任务分发节点服务器还配置有任务运行日志收集组件；
任务运行日志记录组件，用于获取数据交换同步任务的任务运行信息，根据任务运行信息生成任务运行日志，并将任务运行日志发送至任务运行日志收集组件；
任务运行日志收集组件，用于获取任务运行日志记录组件发送的任务运行日志，并将任务运行日志存储到所述数据存储层；
任务监控模块，用于从数据存储层读取任务运行日志，根据任务运行日志对数据交换同步任务进行可视化监控。
具体地，在数据交换同步任务处理过程中，任务处理节点服务器还会启动配置在任务处理节点服务器中的任务运行日志记录组件以及任务运行日志收集组件，任务运行日志记录组件用于记录任务运行信息，其中任务运行信息包括任务运行的步骤，并生成任务运行日志发送给任务运行日志收集组件。任务运行日志收集组件得到任务运行日志后，将上述任务运行日志存储到数据存储层中。用户可通过统一管理平台的任务监控模块读取数据存储层的数据并展现，最终实现任务运行的可视化监控。
以下通过一应用示例说明上述数据交换同步系统的具体构成，如图3所示，图3为一个应用示例中数据交换同步系统的结构示意图，如图3所示，该数据交换同步系统主要分为三个部分，由下至上分为ETL(Extract-Transform-Load)集群、数据存储层、统一管理平台。
ETL集群主要包含两个任务分发节点和多个任务处理节点。任务分发节点采用双活模式(Active-Active)部署，可以使任务通过多个中心进行分发，充分利用资源，极大地提高任务分发效率。在系统容灾方面，当其中一个节点发生故障时，任务可自动迁移到另外的节点进行分发，从而保障系统平稳运行。
进一步地，任务处理节点的核心模块由数据读取组件、消息中间件、数据写入组件三部分组成，如图4所示，图4为一个应用示例中任务处理节点的结构示意图。根据不同的数据库产品，数据读取组件封装了多种数据库的数据读取工具，数据写入组件也同样封装了多种数据库的数据写入工具，数据读取组件和数据写入组件之间不直接进行通信，而是在两者之间增加消息中间件作为数据加密传输通道进行数据互通，来实现结构化数据交换同步。
数据存储层由一个任务配置主数据库和一个任务配置备数据库组成，二者之间网络互通。主数据库主要存储用户配置的数据交换同步任务，以及任务运行日志。备数据库主要存储主数据库中的数据，主备数据库之间采用CDC(ChangeDataCapture)方式进行数据同步，保障数据的一致性。当主数据库发生故障时，可切换到备数据库获取数据，确保数据完整不丢失。
统一管理平台是用户了解系统的入口，提供可视化页面展现系统的运行情况，主要分为任务配置和任务监控两大功能模块。任务配置功能模块，采用向导式的配置模式，极大地降低用户使用门槛，帮助用户快速完成数据同步任务的配置工作。任务监控功能模块，采用可视化的运维界面，提供详细的系统运行日志、任务运行日志，方便用户快速定位问题，减少运维成本。
另外，还提供了一个基于上述数据交换同步系统的数据交换同步方法的应用示例，如图5所示，图5为一个应用示例中数据交换同步方法的流程示意图，如图5所示，上述数据交换同步方法可以包括以下步骤：
步骤S1，数据交换同步任务配置。用户通过统一管理平台的任务配置功能模块完成任务配置，并将任务提交和保存到数据存储层的任务配置主数据库。
步骤S2，读取和分发数据交换同步任务。ETL集群启动任务分发节点的任务轮询触发器读取数据存储层主数据库的配置任务，并将任务通过负载均衡任务分发组件将任务发送到各个任务处理节点。
步骤S3，运行数据交换同步任务。任务处理节点分配到任务后，根据得到的任务配置信息，任务处理组件同时启动数据读取组件和数据写入组件，数据读取组件循环地读取源端数据库的结构化数据，并将其写入到消息中间件中，数据写入组件循环地读取消息中间件的数据，并将其写入到目标端数据库，直至数据交换同步任务完成，数据读取组件和数据写入组件才会停止。
步骤S4，监控数据交换同步任务。任务处理节点在处理任务的同时，还会启动任务运行日志记录组件，记录任务运行的每一个步骤日志，并将这些日志返回给任务分发节点的任务运行日志收集组件。任务运行日志收集组件获取到这些日志后，将其写入到数据存储层的任务配置主数据库中。统一管理平台的任务监控模块读取数据存储层的任务配置主数据库的数据并展现，最终实现任务运行的可视化监控。
在一个实施例中，提供了一种数据交换同步装置，该装置可以应用于任务处理节点服务器，参考图6，图6为一个实施例中数据交换同步装置的结构框图，该数据交换同步装置可以包括：
任务获取模块601，用于获取目标数据的数据交换同步任务；
指令获取模块602，用于根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；
数据读取模块603，用于向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，用于指示所述数据读取组件从源端数据库中获取所述目标数据，并将所述目标数据传输到消息中间件；其中，所述消息中间件配置在所述任务处理节点服务器中，用于接收所述数据读取组件发送的数据；
数据写入模块604，用于向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，用于指示以使所述数据写入组件从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
在一个实施例中，数据读取模块603，进一步用于指示数据读取组件将从源端数据库中获取的目标数据进行加密处理，得到加密后的目标数据，并将加密后的目标数据传输到消息中间件；
数据写入模块604，进一步用于指示数据写入组件，从消息中间件中读取加密后的目标数据，并进行解密处理得到目标数据，以及将解密得到的目标数据发送至目标端数据库。
在一个实施例中，任务获取模块601，进一步用于接收任务分发节点服务器分发的数据交换同步任务；其中，数据交换同步任务是用户在统一管理平台进行任务配置后，存储在数据存储层中的；上述任务分发节点服务器，用于从数据存储层中读取数据交换同步任务，并分发至任务处理节点服务器。
在一个实施例中，数据交换同步装置还包括：任务监控模块，用于获取数据交换同步任务的任务运行信息；根据任务运行信息生成任务运行日志；将任务运行日志送到任务分发节点服务器，任务分发节点服务器用于将任务运行日志存储入数据存储层；任务运行日志，用于对数据交换同步任务进行可视化监控。
本申请的数据交换同步装置与本申请的数据交换同步方法一一对应，关于数据交换同步装置的具体限定可以参见上文中对于数据交换同步方法的限定，在上述数据交换同步方法的实施例阐述的技术特征及其有益效果均适用于数据交换同步装置的实施例中，在此不再赘述。上述数据交换同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于任务处理节点服务器中的处理器中，也可以以软件形式存储于任务处理节点服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种任务处理节点服务器，该任务处理节点服务器可以是服务器，其内部结构图可以如图7所示。该任务处理节点服务器包括通过系统总线连接的处理器、存储器、网络接口。其中，该任务处理节点服务器的处理器用于提供计算和控制能力。该任务处理节点服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该任务处理节点服务器的数据库可以用于存储交换同步数据。该任务处理节点服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据交换同步方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的任务处理节点服务器的限定，具体的任务处理节点服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种任务处理节点服务器，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。
在一个实施例中，处理器执行计算机程序时进一步实现以下步骤：向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，进一步用于指示数据读取组件将从源端数据库中获取的目标数据进行加密处理，得到加密后的目标数据，并将加密后的目标数据传输到所述消息中间件；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，进一步用于指示数据写入组件，从消息中间件中读取加密后的目标数据，并进行解密处理得到所述目标数据，以及将解密得到的所述目标数据发送至所述目标端数据库。
在一个实施例中，处理器执行计算机程序时进一步实现以下步骤：接收任务分发节点服务器分发的数据交换同步任务；其中，数据交换同步任务是用户在统一管理平台进行任务配置后，存储在数据存储层中的；上述任务分发节点服务器，用于从数据存储层中读取数据交换同步任务，并分发至任务处理节点服务器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取数据交换同步任务的任务运行信息；根据任务运行信息生成任务运行日志；将任务运行日志发送到任务分发节点服务器；任务分发节点服务器用于将任务运行日志存储入数据存储层；任务运行日志，用于对数据交换同步任务进行可视化监控。
上述任务处理节点服务器，通过所述处理器上运行的计算机程序，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
本领域普通技术人员可以理解实现如上任一项实施例所述的数据交换同步方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此，在一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取目标数据的数据交换同步任务；根据数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，用于指示数据读取组件从源端数据库中获取目标数据，并将目标数据传输到消息中间件；其中，消息中间件配置在任务处理节点服务器中，用于接收数据读取组件发送的数据；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，用于指示数据写入组件从消息中间件中读取目标数据，并将目标数据发送至目标端数据库。
在一个实施例中，计算机程序被处理器执行时进一步实现以下步骤：向配置在任务处理节点服务器中的数据读取组件发送数据读取指令，进一步用于指示数据读取组件将从源端数据库中获取的目标数据进行加密处理，得到加密后的目标数据，并将加密后的目标数据传输到所述消息中间件；向配置在任务处理节点服务器中的数据写入组件发送数据写入指令，进一步用于指示数据写入组件，从消息中间件中读取加密后的目标数据，并进行解密处理得到所述目标数据，以及将解密得到的所述目标数据发送至所述目标端数据库。
在一个实施例中，计算机程序被处理器执行时进一步实现以下步骤：接收任务分发节点服务器分发的数据交换同步任务；其中，数据交换同步任务是用户在统一管理平台进行任务配置后，存储在数据存储层中的；上述任务分发节点服务器，用于从数据存储层中读取数据交换同步任务，并分发至任务处理节点服务器。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取数据交换同步任务的任务运行信息；根据任务运行信息生成任务运行日志；将任务运行日志发送到任务分发节点服务器；任务分发节点服务器用于将任务运行日志存储入数据存储层；任务运行日志，用于对数据交换同步任务进行可视化监控。
上述计算机可读存储介质，通过其存储的计算机程序，可以同时进行数据读取和数据写入，从而提高了源端数据库与目标端数据库间的数据交换的效率。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种数据交换同步方法，其特征在于，应用于任务处理节点服务器，包括步骤：
获取目标数据的数据交换同步任务；
根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；
向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，用于指示所述数据读取组件从源端数据库中获取所述目标数据，并将所述目标数据传输到消息中间件；其中，所述消息中间件配置在所述任务处理节点服务器中，用于接收所述数据读取组件发送的数据；
向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，用于指示所述数据写入组件从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
2.根据权利要求1所述的方法，其特征在于，所述数据读取组件包括多种数据读取工具，分别用于读取不同类型的源端数据库存储的数据；所述数据写入组件包括多种数据写入工具，分别用于将数据写入不同类型的目标端数据库。
3.根据权利要求1所述的方法，其特征在于，所述数据读取组件与所述数据写入组件之间不直接进行通信。
4.根据权利要求1所述的方法，其特征在于，所述向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，进一步用于指示所述数据读取组件将从所述源端数据库中获取的所述目标数据进行加密处理，得到加密后的目标数据，并将所述加密后的目标数据传输到所述消息中间件；
所述向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，进一步用于指示所述数据写入组件，从所述消息中间件中读取所述加密后的目标数据，并进行解密处理得到所述目标数据，以及将解密得到的所述目标数据发送至所述目标端数据库。
5.根据权利要求1所述的方法，其特征在于，所述获取目标数据的数据交换同步任务，包括：
接收任务分发节点服务器分发的数据交换同步任务；其中，所述数据交换同步任务是用户在统一管理平台进行任务配置后，存储在数据存储层中的；所述任务分发节点服务器，用于从所述数据存储层中读取所述数据交换同步任务，并分发至所述任务处理节点服务器。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取所述数据交换同步任务的任务运行信息；
根据所述任务运行信息生成任务运行日志；
将所述任务运行日志发送到任务分发节点服务器；所述任务分发节点服务器用于将所述任务运行日志存储入数据存储层；所述任务运行日志，用于对所述数据交换同步任务进行可视化监控。
7.一种数据交换同步系统，其特征在于，包括任务处理节点服务器；所述任务处理节点服务器，配置有数据读取组件、消息中间件和数据写入组件；其中，
所述任务处理节点服务器，用于获取目标数据的数据交换同步任务，根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令，将所述数据读取指令发送至所述数据读取组件，将所述数据写入指令发送至所述数据写入组件；
所述数据读取组件，用于根据所述数据读取指令从源端数据库获取所述目标数据，并传输到所述消息中间件；
所述消息中间件，用于存储所述数据读取组件发送的所述目标数据；
所述数据写入组件，用于根据所述数据写入指令从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
8.根据权利要求7所述的系统，其特征在于，还包括：统一管理平台、数据存储层和任务分发节点服务器；其中，
所述统一管理平台配置有任务配置模块，用于获取用户配置的数据交换同步任务，并将所述数据交换同步任务发送到所述数据存储层进行存储；
所述任务分发节点服务器配置有任务轮询触发器和负载均衡任务分发组件；其中，
所述任务轮询触发器，用于从所述数据存储层中读取所述数据交换同步任务；
所述负载均衡任务分发组件，用于将所述任务轮询触发器读取的所述数据交换同步任务发送到所述任务处理节点服务器。
9.根据权利要求8所述的系统，其特征在于，所述统一管理平台还配置有任务监控模块；所述任务处理节点服务器还配置有任务运行日志记录组件；所述任务分发节点服务器还配置有任务运行日志收集组件；
所述任务运行日志记录组件，用于获取所述数据交换同步任务的任务运行信息，根据所述任务运行信息生成任务运行日志，并将所述任务运行日志发送至所述任务运行日志收集组件；
所述任务运行日志收集组件，用于获取所述任务运行日志记录组件发送的所述任务运行日志，并将所述任务运行日志存储到所述数据存储层；
所述任务监控模块，用于从所述数据存储层读取所述任务运行日志，根据所述任务运行日志对所述数据交换同步任务进行可视化监控。
10.一种数据交换同步装置，其特征在于，应用于任务处理节点服务器，包括：
任务获取模块，用于获取目标数据的数据交换同步任务；
指令获取模块，用于根据所述数据交换同步任务的任务配置信息，获取数据读取指令和数据写入指令；
数据读取模块，用于向配置在所述任务处理节点服务器中的数据读取组件发送所述数据读取指令，用于指示所述数据读取组件从源端数据库中获取所述目标数据，并将所述目标数据传输到消息中间件；其中，所述消息中间件配置在所述任务处理节点服务器中，用于接收所述数据读取组件发送的数据；
数据写入模块，用于向配置在所述任务处理节点服务器中的数据写入组件发送所述数据写入指令，用于指示以使所述数据写入组件从所述消息中间件中读取所述目标数据，并将所述目标数据发送至目标端数据库。
11.一种任务处理节点服务器，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911140533.9A CN110909079B (zh) | 2019-11-20 | 2019-11-20 | 数据交换同步方法、系统、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911140533.9A CN110909079B (zh) | 2019-11-20 | 2019-11-20 | 数据交换同步方法、系统、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110909079A true CN110909079A (zh) | 2020-03-24 |
| CN110909079B CN110909079B (zh) | 2020-09-01 |
Family
ID=69818135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911140533.9A Active CN110909079B (zh) | 2019-11-20 | 2019-11-20 | 数据交换同步方法、系统、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110909079B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111538772A (zh) * | 2020-04-14 | 2020-08-14 | 北京宝兰德软件股份有限公司 | 数据的交换处理方法、装置、电子设备及存储介质 |
| CN111680106A (zh) * | 2020-06-17 | 2020-09-18 | 深圳前海微众银行股份有限公司 | 一种多应用系统数据同步的方法及装置 |
| CN111930715A (zh) * | 2020-07-16 | 2020-11-13 | 北京金山云网络技术有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN113746201A (zh) * | 2021-07-30 | 2021-12-03 | 南方电网深圳数字电网研究院有限公司 | 可视化电网切换系统、可视化电网切换方法和存储介质 |
| CN114489866A (zh) * | 2022-04-18 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 数据管理方法及装置 |
| CN114896312A (zh) * | 2022-03-22 | 2022-08-12 | 通号智慧城市研究设计院有限公司 | 数据交换方法、电子设备、计算机可读存储介质 |
| CN115730016A (zh) * | 2023-01-28 | 2023-03-03 | 北京国科天迅科技有限公司 | 数据同步方法、系统、装置、计算机设备和存储介质 |
| WO2023155176A1 (zh) * | 2022-02-18 | 2023-08-24 | 京东方科技集团股份有限公司 | Etl系统的构建方法及装置、数据处理方法及装置、etl系统 |
| CN117527678A (zh) * | 2024-01-04 | 2024-02-06 | 贵州卓讯软件股份有限公司 | 一种数据交换中心及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020178273A1 (en) * | 2001-04-05 | 2002-11-28 | Real-Time Innovations, Inc. | Real-time publish-subscribe system |
| US20070067664A1 (en) * | 2005-09-20 | 2007-03-22 | International Business Machines Corporation | Failure transparency for update applications under single-master configuration |
| CN101183377A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于消息中间件的高可用性数据库集群 |
| CN101304424A (zh) * | 2008-06-10 | 2008-11-12 | 南京财经大学 | 基于xml的异源数据交换中间件的数据展示方法 |
| CN101373474A (zh) * | 2008-09-02 | 2009-02-25 | 北京开拓天际信息技术有限公司 | 海量数据实时处理架构及用于该架构的实时随需处理平台 |
| CN102654864A (zh) * | 2011-03-02 | 2012-09-05 | 华北计算机系统工程研究所 | 一种面向实时数据库的独立透明型安全审计保护的方法 |
| US20130282853A1 (en) * | 2012-04-20 | 2013-10-24 | Electronics And Telecommunications Research Institute | Apparatus and method for processing data in middleware for data distribution service |
| CN103577402A (zh) * | 2012-07-18 | 2014-02-12 | 上海斐讯数据通信技术有限公司 | 任务添加、修改以及管理方法及任务管理系统 |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、系统以及电子设备 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN109560949A (zh) * | 2017-09-26 | 2019-04-02 | 杭州海康威视系统技术有限公司 | 一种数据处理方法及管理服务器、业务设备 |
-
2019
- 2019-11-20 CN CN201911140533.9A patent/CN110909079B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020178273A1 (en) * | 2001-04-05 | 2002-11-28 | Real-Time Innovations, Inc. | Real-time publish-subscribe system |
| US20070067664A1 (en) * | 2005-09-20 | 2007-03-22 | International Business Machines Corporation | Failure transparency for update applications under single-master configuration |
| CN101183377A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于消息中间件的高可用性数据库集群 |
| CN101304424A (zh) * | 2008-06-10 | 2008-11-12 | 南京财经大学 | 基于xml的异源数据交换中间件的数据展示方法 |
| CN101373474A (zh) * | 2008-09-02 | 2009-02-25 | 北京开拓天际信息技术有限公司 | 海量数据实时处理架构及用于该架构的实时随需处理平台 |
| CN102654864A (zh) * | 2011-03-02 | 2012-09-05 | 华北计算机系统工程研究所 | 一种面向实时数据库的独立透明型安全审计保护的方法 |
| US20130282853A1 (en) * | 2012-04-20 | 2013-10-24 | Electronics And Telecommunications Research Institute | Apparatus and method for processing data in middleware for data distribution service |
| CN103577402A (zh) * | 2012-07-18 | 2014-02-12 | 上海斐讯数据通信技术有限公司 | 任务添加、修改以及管理方法及任务管理系统 |
| CN109560949A (zh) * | 2017-09-26 | 2019-04-02 | 杭州海康威视系统技术有限公司 | 一种数据处理方法及管理服务器、业务设备 |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、系统以及电子设备 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111538772A (zh) * | 2020-04-14 | 2020-08-14 | 北京宝兰德软件股份有限公司 | 数据的交换处理方法、装置、电子设备及存储介质 |
| CN111680106A (zh) * | 2020-06-17 | 2020-09-18 | 深圳前海微众银行股份有限公司 | 一种多应用系统数据同步的方法及装置 |
| CN111680106B (zh) * | 2020-06-17 | 2024-04-09 | 深圳前海微众银行股份有限公司 | 一种多应用系统数据同步的方法及装置 |
| CN111930715A (zh) * | 2020-07-16 | 2020-11-13 | 北京金山云网络技术有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN113746201A (zh) * | 2021-07-30 | 2021-12-03 | 南方电网深圳数字电网研究院有限公司 | 可视化电网切换系统、可视化电网切换方法和存储介质 |
| CN113746201B (zh) * | 2021-07-30 | 2024-02-23 | 南方电网数字平台科技(广东)有限公司 | 可视化电网切换系统、可视化电网切换方法和存储介质 |
| WO2023155176A1 (zh) * | 2022-02-18 | 2023-08-24 | 京东方科技集团股份有限公司 | Etl系统的构建方法及装置、数据处理方法及装置、etl系统 |
| CN114896312A (zh) * | 2022-03-22 | 2022-08-12 | 通号智慧城市研究设计院有限公司 | 数据交换方法、电子设备、计算机可读存储介质 |
| CN114489866A (zh) * | 2022-04-18 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 数据管理方法及装置 |
| CN115730016A (zh) * | 2023-01-28 | 2023-03-03 | 北京国科天迅科技有限公司 | 数据同步方法、系统、装置、计算机设备和存储介质 |
| CN115730016B (zh) * | 2023-01-28 | 2023-09-19 | 北京国科天迅科技有限公司 | 数据同步方法、系统、装置、计算机设备和存储介质 |
| CN117527678A (zh) * | 2024-01-04 | 2024-02-06 | 贵州卓讯软件股份有限公司 | 一种数据交换中心及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110909079B (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909079B (zh) | 数据交换同步方法、系统、装置、服务器和存储介质 | |
| CN111460453B (zh) | 机器学习训练方法、控制器、装置、服务器、终端和介质 | |
| CN109510840B (zh) | 非结构化数据的共享方法、装置、计算机设备和存储介质 | |
| CN108959385B (zh) | 数据库部署方法、装置、计算机设备和存储介质 | |
| CN105357258B (zh) | 一种加速管理节点、加速节点、客户端及方法 | |
| US20180351737A1 (en) | Communication apparatus, communication system, key sharing method, and computer program product | |
| CN109672519B (zh) | 一种密码装置及其数据加解密方法 | |
| CN111130925B (zh) | 资源监控方法、装置、计算机设备和存储介质 | |
| CN109857751A (zh) | 基于区块链的跨平台数据更新方法、装置和计算机设备 | |
| CN108933994B (zh) | 短信分发处理方法、装置、计算机设备和存储介质 | |
| CN112835977A (zh) | 一种基于区块链的数据库管理方法及系统 | |
| CN111339130A (zh) | 一种数据查询方法、相关设备及可读存储介质 | |
| CN116011013A (zh) | 数据库访问方法和装置、计算设备和计算机程序产品 | |
| CN111338834B (zh) | 数据存储方法和装置 | |
| CN109657167B (zh) | 数据采集方法、装置、服务器及存储介质 | |
| CN111447136B (zh) | 消息推送方法、装置、计算机设备和存储介质 | |
| CN112817707A (zh) | 任务执行方法、装置、计算机设备和存储介质 | |
| CN110365649B (zh) | 数据传输方法、数据接入设备、数据输出设备和系统 | |
| CN116226940B (zh) | 一种基于pcie的数据安全处理方法以及数据安全处理系统 | |
| CN111898162A (zh) | 并行任务的执行方法和装置、存储介质及电子设备 | |
| CN111092935A (zh) | 一种用于机器学习的数据共享方法和虚拟训练装置 | |
| CN103425707A (zh) | 数据分析方法和装置 | |
| CN111431951A (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
| CN113472715B (zh) | 数据传输方法和装置 | |
| CN109254997B (zh) | 数据同步方法、系统、计算机设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230804 Address after: 518000 building 501, 502, 601, 602, building D, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd. Address before: Room 1301, Chengtou building, No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
| TR01 | Transfer of patent right |