CN111061798B - 可配置化数据传输及监控方法、设备及介质 - Google Patents

可配置化数据传输及监控方法、设备及介质 Download PDF

Info

Publication number
CN111061798B
CN111061798B CN201911333082.0A CN201911333082A CN111061798B CN 111061798 B CN111061798 B CN 111061798B CN 201911333082 A CN201911333082 A CN 201911333082A CN 111061798 B CN111061798 B CN 111061798B
Authority
CN
China
Prior art keywords
data
source
scheduling
task
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911333082.0A
Other languages
English (en)
Other versions
CN111061798A (zh
Inventor
闫安
吴岳峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Leishu Technology Co ltd
Original Assignee
Hangzhou Leishu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Leishu Technology Co ltd filed Critical Hangzhou Leishu Technology Co ltd
Priority to CN201911333082.0A priority Critical patent/CN111061798B/zh
Publication of CN111061798A publication Critical patent/CN111061798A/zh
Application granted granted Critical
Publication of CN111061798B publication Critical patent/CN111061798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种可配置化数据传输及监控方法，涉及数据传输技术领域，旨在应用于异构数据源的数据至异构目标源的传输，根据可配置化信息实现数据传输，以完成异构型数据源之间的数据共享。该方法包含以下步骤：实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。本发明还公开了一种电子设备和计算机存储介质。

Description

可配置化数据传输及监控方法、设备及介质
技术领域
本发明涉及数据传输技术领域，尤其涉及一种可配置化数据传输及监控方法、设备及介质。
背景技术
在大数据背景下，数据具有十分重要的价值，如何运用和分析数据已经成为了信息化管理中不可或缺的一部分，因此数据的传输、共享、应用和分析是在大数据时代至关重要。
然而，在传统的软件行业中，数据一般存储在多种异构型的第三方数据服务中，只能满足自身应用的使用。由于数据服务内部闭塞，从而形成数据孤岛，导致数据无法共享和分析；且由于异构型数据服务的多样性，导致不同数据服务在对接过程中会出现数据类型和数据规则不匹配的问题。在实际生产中，我们需要对数据进行抽取、转化和加载操作，形成数据集市、业务库和数据仓库，以用于数据分析和使用，但原有的数据服务模式则不支持这一操作。
综上所述，如何让不同类型的异构化数据服务共享在同一类型的数据服务平台中，并打通各个数据服务的内部关系，以满足数据共享、应用和分析的需求，已经成为目前本领域技术人员亟待解决的问题。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种可配置化数据传输及监控方法，应用于不同类型的异构化数据源，旨在通过配置信息进行数据源与目标源之间的数据传输，并提供数据传输的监控。
本发明的目的之一采用以下技术方案实现：
一种可配置化数据传输及监控方法，包括以下步骤：
实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；
调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。
进一步地，实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件，具体包括以下步骤：
实时获取任务配置信息，监控所述任务配置信息是否满足调度条件，若满足，则获取数据源到目标源的文件映射模板；
将所述任务配置信息写入所述文件映射模板，生成调度配置文件。
进一步地，调度Datax引擎解析所述调度配置文件，包括：
所述Datax引擎解析所述调度配置文件，得到数据源和目标源的映射关系；
测试所述数据源和所述目标源的链接状态。
进一步地，读取数据源的数据写入目标源之前，还包括以下步骤：
判断所述数据源的数据是否满足所述目标源的数据格式；
若满足，则读取所述数据源的数据写入所述目标源；
反之，将脏数据存储至日志信息。
进一步地，读取数据源的数据并写入目标源，具体为：调度Datax引擎批量多线程读取并加密所述数据源的数据，并将所述数据源的数据批量多线程的写入所述目标源。
进一步地，还包括以下步骤：
获取并解析所述Datax引擎的日志信息，更新所述任务配置信息，删除所述调度配置文件。
进一步地，获取并解析所述Datax引擎的日志信息，包括：
根据所述日志信息判断调度过程是否正常，若正常，则储存所述日志信息作为正常调度信息；
反之，存储所述日志信息，同时记录所述日志信息的异常调度过程。
进一步地，所述任务配置信息包括任务名称、任务有效期、任务调度时间、任务调度间隔、数据源数据的筛选条件和最近一次调度时间。
本发明的目的之二在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的可配置化数据传输及监控方法。
本发明的目的之三在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的可配置化数据传输及监控方法。
相比现有技术，本发明的有益效果在于：
本发明通过对可配置化信息进行获取，并实时监控由可配置化信息生成的任务配置信息，确定满足调度条件的任务配置信息，根据任务配置信息调度Datax引擎，实现数据源数据至目标源的传输，适用于不同类型的异构化数据服务的传输。
附图说明
图1是本发明可配置化数据传输及监控方法的流程图；
图2是实施例1的可配置化数据传输及监控方法的交互流程图；
图3是实施例2的电子设备的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例1
本实施例提供了一种可配置化数据传输及监控方法，旨在实现异构型数据源至异构型目标源的数据传输，相比于传统导入数据的写入缓慢，通过预先配置的数据传输任务，并采用批量多线程传输，增加了数据读写数据度，且适用于不同类型异构化数据源的数据传输和共享。除此之外，通过对数据传输过程的日志信息进行监控，能随时掌握数据传输的执行情况，从而能及时对异常执行情况进行处理，保证数据传输的效率。
根据上述原理，对可配置化数据传输及监控方法进行介绍，如图1、图2所示，可配置化数据传输及监控方法，具体包括以下步骤：
实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；
调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。
优选地，实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件，具体包括以下步骤：
实时获取任务配置信息，监控所述任务配置信息是否满足调度条件，若满足，则获取数据源到目标源的文件映射模板；
将所述任务配置信息写入所述文件映射模板，生成调度配置文件。
上述调度配置文件为临时文件，当数据传输完成之后即被删除。
优选地，所述任务配置信息包括任务名称、任务有效期、任务调度时间、任务调度间隔、数据源数据的筛选条件和最近一次调度时间，所述任务配置信息预先设置并存储在数据库中，以供调用。
本实施例介绍的可配置化数据传输及监控方法应用于核心引擎，上述数据源和目标源均为异构型数据服务，在实际应用时，核心引擎获取预先配置好的任务配置信息，且实时监控获取到的任务配置信息是否满足调度条件，该调度条件根据任务配置信息确定，如系统时间满足该任务配置信息中的任务调度时间，则启动数据传输，调度Datax引擎实现数据源到目标源的定时数据传输。
优选地，调度Datax引擎解析所述调度配置文件，包括：
所述Datax引擎解析所述调度配置文件，得到数据源和目标源的映射关系；
测试所述数据源和所述目标源的链接状态。
具体地，核心引擎启动Datax引擎，将所述调度配置文件注入所述Datax引擎，所述Datax引擎解析所述调度配置文件，通过该调度配置文件得到数据源和目标源的映射关系，此时Datax引擎测试所述数据源和所述目标源的链接状态，若链接正常，则确定数据源和目标源映射的表及字段信息是否正常，若表及字段信息正常，则根据数据源和目标源的映射关系，读取数据源的数据写入目标源，该数据源的数据为数据源的表数据，Datax引擎根据任务配置信息中的数据源数据的筛选范围，读取相关的表数据(表及表字段信息)写入目标源中。反之，向核心引擎返回链接失败，无法进行数据传输。
优选地，读取数据源的数据写入目标源之前，还包括以下步骤：
判断所述数据源的数据是否满足所述目标源的数据格式；
若满足，则读取所述数据源的数据写入所述目标源；
反之，将脏数据存储至所述日志信息。
上述脏数据是指数据源中的数据不在给定的范围内或数据格式非法，当数据源存在脏数据时，该脏数据无法写入所述目标源，该脏数据存储至所述日志信息中则表明调度异常。
需要注意的是，核心引擎在执行本实施例的可配置化数据传输及监控方法的过程中，通过Datax引擎实时监控数据源和目标源的链接状态，并实时判断所述数据源的数据是否满足所述目标源的数据格式(即是否存在脏数据)，以保证数据传输能正常进行。
优选地，读取数据源的数据并写入目标源，具体为：调度Datax引擎批量多线程读取并加密所述数据源的数据，并将所述数据源的数据批量多线程的写入所述目标源。
Datax引擎读取所述数据源的数据后对所述数据(表字段信息)进行加密，即采用预先配置的加密算法对数据进行加密处理，以保证数据传输安全，本实施预先配置的加密算法包括但不限于AES加密、MD5加密、Base64编码算法。
本实施例以AES加密算法为例，对数据的加密传输过程进行说明：Datax引擎读取所述数据源的数据后，通过动态生成的AESkey对数据源的数据作加密处理，并使用RSA密钥对AESkey进行加密，然后将AESkey和数据源的数据一并传输至目标源。目标源接收AESkey和数据源的数据，使用RSA密钥对AESkey进行解密得到可供使用的AESkey，然后通过AESkey对接收到的数据进行解密处理，最后将解密后的数据源数据写入目标源的表中。
优选地，完成数据源至目标源的数据传输之后，还包括以下步骤：
核心引擎获取并解析所述Datax引擎的日志信息，将解析后的日志信息存储至数据库作为调度信息，并结束该数据传输任务，更新所述任务配置信息，删除所述调度配置文件。
核心引擎继续监控所述任务配置信息，以启动后续的数据传输任务。
优选地，核心引擎获取并解析所述Datax引擎的日志信息，将该日志信息存储至数据库作为调度信息，包括：
根据所述日志信息判断调度过程是否正常，若正常，则该日志信息作为正常调度信息进行存储；
反之，存储所述日志信息作为异常调度信息，同时记录异常调度信息的调度过程。
上述数据库包括但不限于ORACLE数据库、MySQL数据库、SQL sever，通过上述数据库存储日志信息，存储的日志信息包括正常调度信息和异常调度信息。
在本实施例中，核心引擎在调度Datax引擎的过程中，持续获取Datax引擎的日志信息，并通过对日志信息的监控，及时掌握Datax引擎的调度状态，实现对异常调度的及时处理，保证数据源和目标源之间数据传输的正常进行，从而提高数据传输的效率。
实施例2
图3为本发明实施例2提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的可配置化数据传输及监控方法对应的程序指令/模块。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的可配置化数据传输及监控方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收任务配置信息，输出装置340可用于输出并显示日志信息。
实施例3
本发明实施例3提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现可配置化数据传输及监控方法，该方法包括：
实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；
调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的可配置化数据传输及监控方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种可配置化数据传输及监控方法，其特征在于，应用于核心引擎,包括以下步骤：
实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；
调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源；
实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件，具体包括以下步骤：
实时获取任务配置信息，监控所述任务配置信息是否满足调度条件，若满足，则获取数据源到目标源的文件映射模板；
将所述任务配置信息写入所述文件映射模板，生成调度配置文件；
其中，所述核心引擎获取预先配置好的所述任务配置信息，所述调度条件根据所述任务配置信息确定，如系统时间满足所述任务配置信息中的任务调度时间，则启动数据传输，调度所述Datax引擎实现数据源到目标源的定时数据传输；
调度Datax引擎解析所述调度配置文件，包括：
所述Datax引擎解析所述调度配置文件，得到数据源和目标源的映射关系；
测试所述数据源和所述目标源的链接状态；
若链接正常，则确定所述数据源和所述目标源映射的表及字段信息是否正常，若表及字段信息正常，则根据所述数据源和所述目标源的映射关系，读取所述数据源的数据写入所述目标源，所述数据源的数据为数据源的表数据，所述Datax引擎根据所述任务配置信息中的数据源数据的筛选范围，读取相关的表数据写入所述目标源中，其中，所述表数据包括表及表字段信息；反之，向所述核心引擎返回链接失败，无法进行数据传输；
读取数据源的数据并写入目标源，具体为：调度Datax引擎批量多线程读取并加密所述数据源的数据，并将所述数据源的数据批量多线程的写入所述目标源；其中，所述Datax引擎读取所述数据源的数据后，通过动态生成的AESkey对所述数据源的数据作加密处理，并使用RSA密钥对所述AESkey进行加密，然后将所述AESkey和所述数据源的数据一并传输至目标源；所述目标源接收所述AESkey和所述数据源的数据，使用所述RSA密钥对所述AESkey进行解密得到可供使用的所述AESkey，然后通过所述AESkey对接收到的数据进行解密处理，最后将解密后的所述数据源的数据写入目标源的表中。
2.如权利要求1所述的可配置化数据传输及监控方法，其特征在于，读取数据源的数据并写入目标源之前，还包括以下步骤：
判断所述数据源的数据是否满足所述目标源的数据格式；
若满足，则读取所述数据源的数据写入所述目标源；
反之，将脏数据存储至日志信息。
3.如权利要求1所述的可配置化数据传输及监控方法，其特征在于，还包括以下步骤：
获取并解析所述Datax引擎的日志信息，更新所述任务配置信息，删除所述调度配置文件。
4.如权利要求3所述的可配置化数据传输及监控方法，其特征在于，获取并解析所述Datax引擎的日志信息，包括：
根据所述日志信息判断调度过程是否正常，若正常，则储存所述日志信息作为正常调度信息；
反之，存储所述日志信息，同时记录所述日志信息的异常调度过程。
5.如权利要求1所述的可配置化数据传输及监控方法，其特征在于，所述任务配置信息包括任务名称、任务有效期、任务调度时间、任务调度间隔、数据源数据的筛选条件和最近一次调度时间。
6.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的可配置化数据传输及监控方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的可配置化数据传输及监控方法。
CN201911333082.0A 2019-12-23 2019-12-23 可配置化数据传输及监控方法、设备及介质 Active CN111061798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911333082.0A CN111061798B (zh) 2019-12-23 2019-12-23 可配置化数据传输及监控方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911333082.0A CN111061798B (zh) 2019-12-23 2019-12-23 可配置化数据传输及监控方法、设备及介质

Publications (2)

Publication Number Publication Date
CN111061798A CN111061798A (zh) 2020-04-24
CN111061798B true CN111061798B (zh) 2024-03-08

Family

ID=70301422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911333082.0A Active CN111061798B (zh) 2019-12-23 2019-12-23 可配置化数据传输及监控方法、设备及介质

Country Status (1)

Country Link
CN (1) CN111061798B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231376A (zh) * 2020-09-25 2021-01-15 中国建设银行股份有限公司 一种用于离线数据采集的方法和装置
CN113778959B (zh) * 2020-11-23 2023-09-05 北京京东振世信息技术有限公司 数据处理的方法、装置、设备和计算机可读介质
CN114528041A (zh) * 2022-01-29 2022-05-24 杭州火树科技有限公司 一种可配置的自动化解析方法和装置
CN116048760A (zh) * 2023-02-06 2023-05-02 杭州雷数科技有限公司 一种多源任务调度动态调度算法系统的实现方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226527A (zh) * 2007-12-28 2008-07-23 中国移动通信集团四川有限公司 双核库数据同步方法
CN106557497A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN106599197A (zh) * 2016-12-14 2017-04-26 深圳天源迪科信息技术股份有限公司 数据采集交换引擎
CN107566499A (zh) * 2017-09-08 2018-01-09 阿里巴巴集团控股有限公司 数据同步的方法、装置和系统
CN107741950A (zh) * 2017-09-05 2018-02-27 北京趣拿软件科技有限公司 数据同步任务的处理方法、装置、处理器及服务端
CN109145055A (zh) * 2018-09-07 2019-01-04 杭州玳数科技有限公司 一种基于Flink的数据同步方法和系统
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
CN110222122A (zh) * 2019-07-26 2019-09-10 深圳市元征科技股份有限公司 一种MongoDB的数据同步方法及相关设备
CN110569090A (zh) * 2018-06-05 2019-12-13 中移(苏州)软件技术有限公司 一种数据处理方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639652B2 (en) * 2005-12-14 2014-01-28 SAP France S.A. Apparatus and method for creating portable ETL jobs
US20170061500A1 (en) * 2015-09-02 2017-03-02 Borodin Research Inc. Systems and methods for data service platform

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226527A (zh) * 2007-12-28 2008-07-23 中国移动通信集团四川有限公司 双核库数据同步方法
CN106557497A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN106599197A (zh) * 2016-12-14 2017-04-26 深圳天源迪科信息技术股份有限公司 数据采集交换引擎
CN107741950A (zh) * 2017-09-05 2018-02-27 北京趣拿软件科技有限公司 数据同步任务的处理方法、装置、处理器及服务端
CN107566499A (zh) * 2017-09-08 2018-01-09 阿里巴巴集团控股有限公司 数据同步的方法、装置和系统
CN110569090A (zh) * 2018-06-05 2019-12-13 中移(苏州)软件技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN109145055A (zh) * 2018-09-07 2019-01-04 杭州玳数科技有限公司 一种基于Flink的数据同步方法和系统
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
CN110222122A (zh) * 2019-07-26 2019-09-10 深圳市元征科技股份有限公司 一种MongoDB的数据同步方法及相关设备

Also Published As

Publication number Publication date
CN111061798A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111061798B (zh) 可配置化数据传输及监控方法、设备及介质
US9507946B2 (en) Program vulnerability identification
CN109766253B (zh) 一种性能数据发送方法、装置、计算机设备及存储介质
US10650476B2 (en) Electronic discovery process using a blockchain
CN110245004A (zh) 命令执行方法、装置、设备及计算机可读存储介质
US20220138328A1 (en) Validation of transaction ledger content using java script object notation schema definition
US20170046376A1 (en) Method and system for monitoring data quality and dependency
CN110489993A (zh) 一种用电客户数据的脱敏系统及方法
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
Carata et al. A Primer on Provenance: Better understanding of data requires tracking its history and context.
CN111383104A (zh) 基金投资监督指标的获取方法及装置
CN110059064B (zh) 日志文件处理方法、装置和计算机可读存储介质
CN113515369B (zh) 一种数据处理方法、系统、终端和存储介质
CN114239026A (zh) 信息脱敏转换处理方法、装置、计算机设备和存储介质
CN112100260A (zh) 一种基于接口引擎的多应用数据融合的方法及系统
EP3931732A1 (en) Optimized telemetry-generated application-execution policies based on interaction data
CN115373822A (zh) 任务调度方法、任务处理方法、装置、电子设备和介质
US11023479B2 (en) Managing asynchronous analytics operation based on communication exchange
CN108959309B (zh) 数据分析的方法和装置
WO2019062087A1 (zh) 考勤数据测试方法、终端、设备以及计算机可读存储介质
CN114925066A (zh) 数据处理方法、装置、电子设备和存储介质
US20180341521A1 (en) Managing job schedules
CN114201772B (zh) 一种存量数据脱敏方法及装置
US20180107985A1 (en) Automatic update of calendar event
CN113377420A (zh) 系统间的数据对接方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant