CN113076365A - 数据同步方法、装置、电子设备及存储介质 - Google Patents
数据同步方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113076365A CN113076365A CN202110374388.1A CN202110374388A CN113076365A CN 113076365 A CN113076365 A CN 113076365A CN 202110374388 A CN202110374388 A CN 202110374388A CN 113076365 A CN113076365 A CN 113076365A
- Authority
- CN
- China
- Prior art keywords
- node
- conversion
- template
- target
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 329
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 40
- 238000013507 mapping Methods 0.000 claims description 32
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据同步方法、装置、电子设备及存储介质。本发明实施例通过生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库，能够批量创建用于进行数据同步的ETL任务，提高了ETL任务的配置效率和数据同步效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据同步方法、装置、电子设备及存储介质。
背景技术
随着数据时代的发展，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和分析时构造结构化数据或半结构化数据时会花费过多的时间和金钱。在此过程中，数据同步又是各个项目中最重要的环节，通常情况下数据同步会占用整个项目的1/3的时间。
ETL(Extract-Transform-Load，抽取-交互转换-加载)是一种常用的数据同步工具，它将业务系统的数据经过抽取、清洗转换之后加载到数据仓库，以便将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
数据同步可以通过执行配置好的ETL任务来自动完成。相关技术中，ETL任务的配置是由人工进行的，因此数据同步的效率很低。
发明内容
为克服相关技术中存在的问题，本发明提供了一种数据同步方法、装置、电子设备及存储介质。
根据本发明实施例的第一方面，提供一种数据同步方法，包括：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
根据本发明实施例的第二方面，提供一种数据同步装置，包括：
模板生成模块，用于生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载模块，用于加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
创建及同步模块，用于根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
根据本发明实施例的第三方面，提供一种电子设备，包括处理器和存储器；
所述处理器，用于读取所述存储器上的机器可读指令，并执行所述指令以实现如下操作：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现第一方面任一项所述的方法。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明实施例，通过生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库，能够批量创建用于进行数据同步的ETL任务，提高了ETL任务的配置效率和数据同步效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本发明实施例提供的数据同步方法的流程示例图。
图2是本发明实施例提供的转换模板的示例图。
图3是本发明实施例提供的数据同步装置的功能方块图。
图4是本发明实施例提供的电子设备的一个硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
在本发明实施例使用的术语是仅仅出于描述特定本发明实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在数据同步中，源数据表所在的数据库称为源数据库，目的数据表所在的数据库称为目的数据库。通过执行ETL任务，可以将源数据表中的数据同步到对应的目的数据表中。同一个源数据表通过不同的ETL任务，可以将数据同步到多个不同的目的数据表。当一个源数据表的数据需要同步到多个不同的目的数据库时，就需要针对每个目的数据库，分别配置一个ETL任务。
源数据库中的源数据表数量庞大，并且，源数据表中的字段数量也各不相同，有的源数据表字段数量可以达到上百个。因此，通过人工方式配置ETL任务需要耗费大量的人力，时间成本巨大。
为了提高数据同步效率，本发明实施例提供了一种能够自动地、批量地进行ETL任务配置的数据同步方法。
下面通过实施例对本发明提供的数据同步方法进行详细说明。
图1是本发明实施例提供的数据同步方法的流程示例图。如图1所示，数据同步方法可以包括：
S101，生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点。
S102，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表。
S103，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
其中，转换模板是由多个节点构成的，这些节点称为转换节点(本文中也可以简称为节点)。为了描述方便，本文将转换模板中位于起始点的转换节点称为输入节点，将转换模板中位于终止点的转换节点称为输出节点，将位于输入节点和输出节点之间的转换节点称为中间转换节点。
其中，输入节点用于从源数据表中读取数据；中间转换节点用于对输入节点从源数据表中读取的数据进行加工处理和/或在目的数据表中添加指定字段；输出节点用于将加工处理后的数据加载到相应的目的数据表中。
在一个示例中，所述转换节点可以包括至少两个输出节点，此时目标转换模板为多输出转换模板。这样，本实施例就能够将同一源数据表通过一个ETL任务转换到至少两个目的数据库中，提高了处理效率。
在另一个示例中，所述转换节点还可以包括至少一个位于输入节点和输出节点之间的中间转换节点。
利用转换模板，可以自动配置ETL任务中包括的节点。利用转换模板配置的ETL任务的节点数量与转换模板的节点数量相同，且ETL任务中各个节点的执行顺序与转换模板中相应节点的执行顺序相同。每个节点对应一段相应的程序。
其中，每个转换模板都包括输入节点和输出节点，但不一定包括中间转换节点。并且，一个转换模板中可以包括一个或多个输出节点。
在应用中，可以在每次具体的业务场景中，根据该业务场景先由用户根据该次的业务场景人工配置一个ETL任务，然后根据这个ETL任务中的转换节点配置转换模板的转换节点，从而生成转换模板。然后，使用该转换模板，就可以批量创建ETL任务。在一个示例中，根据已有的转换工作流生成目标转换模板的过程中，还可以在根据已有ETL任务中的转换节点配置转换模板的节点后，将ETL任务中未配置的各种转换节点，例如常量增加节点、日期等系统数据添加节点、数据加工清洗节点等作为插件添加到转换模板中。即转换模板中的节点不仅可以包括已有的转换工作流中配置的节点，还可以包括相关插件对应的节点。
转换模板的配置可以根据应用需求确定。图2是本发明实施例提供的转换模板的示例图。如图2所示，在图2的(a)图所示的示例中，转换模板包括输入节点、系统时间添加节点和2个输出节点(第一输出节点、第二输出节点，第一输出节点、第二输出节点对应不同种类的目的数据库)。在图2的(b)图所示的示例中，转换模板包括输入节点、数据清洗节点和一个输出节点(第三输出节点)。在图2的(c)图所示的示例中，转换模板包括输入节点和3个输出节点(第四输出节点、第五输出节点、第六输出节点，该三个输出节点对应不同种类的目的数据库)。
其中，每个输出节点可以调用相应的建表模板创建该输出节点对应的目的数据表。关于建表模板的详细描述请参见本文后续的说明。
例如，图2的(a)图所示的转换模板包括2个输出节点，假设源数据库为前述的数据库1，第一输出节点对应的目的数据库为前述的数据库2，第二输出节点对应的目的数据库为前述的数据库3，则图2的(a)图所示的转换模板需要调用前述的建表模板2创建目的数据表2，以及调用前述的建表模板3创建目的数据表3。
其中，转换模板可以基于已有的转换工作流(即ETL任务)生成。
在一个示例中，生成目标转换模板，可以包括：
根据已有的转换工作流，生成目标转换模板。
本实施例中，目标转换模板中转换节点的数量与已有的转换工作流中转换节点的数量相同，且目标转换模板中各个转换节点的执行顺序与已有的转换工作流中相应转换节点的执行顺序相同。
例如，假设已有的转换工作流包括节点1、节点2、节点3、节点4这四个节点，且该四个节点的执行顺序为：节点1、节点2、节点3、节点4。则根据已有的转换工作流生成的目标转换模板中也包括节点1、节点2、节点3、节点4这四个节点，且该四个节点在目标转换模板中的执行顺序也是：节点1、节点2、节点3、节点4。
本实施例能够根据已有的转换工作流快速、高效地生成目标转换模板。
在一个示例中，生成目标转换模板，可以包括：
获取已有的转换工作流未配置的第一转换节点加入所述已有的转换工作流，得到第一转换工作流；所述第一转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第一转换工作流，生成目标转换模板。
本实施例中，目标转换模板中转换节点的数量大于已有的转换工作流中转换节点的数量，目标转换模板中的各个转换节点中，与已有的转换工作流中的转换节点相同的各个转换节点的相对执行顺序保持不变，新加入的转换节点的执行顺序依据该转换节点所处的位置决定。
例如，仍然假设已有的转换工作流包括节点1、节点2、节点3、节点4这四个节点，且该四个节点的执行顺序为：节点1、节点2、节点3、节点4。在节点3和节点4之间加入节点5，则目标转换模板中包括节点1、节点2、节点3、节点5、节点4这五个节点，且该五个节点的执行顺序为：节点1、节点2、节点3、节点5、节点4。
在实际应用中，可以将已有的转换工作流未配置的第一转换节点做成插件，以插件的形式在已有的工作流中加入第一转换节点。
本实施例中，目标转换模板中不仅可以包括已有的转换工作流配置的转换节点，还可以包括已有的转换工作流未配置的转换节点。本实施例能够在已有的转换工作流的基础上，基于实际应用需求，在目标转换模板中灵活地添加已有的转换工作流未配置的转换节点。
在一个示例中，生成目标转换模板，可以包括：
删除已有的转换工作流的至少一个第二转换节点，得到第二转换工作流；所述第二转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第二转换工作流，生成目标转换模板。
本实施例中，目标转换模板中转换节点的数量小于已有的转换工作流中转换节点的数量，目标转换模板中的各个转换节点的相对执行顺序保持不变。
例如，仍然假设已有的转换工作流包括节点1、节点2、节点3、节点4这四个节点，且该四个节点的执行顺序为：节点1、节点2、节点3、节点4。假设从该已有的转换工作流中删除节点3，得到新的转换工作流，则根据该新的转换工作流生成的目标转换模板包括节点1、节点2、节点4这三个节点，该三个节点在目标转换模板中的执行顺序为：节点1、节点2、节点4。
本实施例能够在已有的转换工作流的基础上，基于实际应用需求，从目标转换模板中选择性地删除已有的转换工作流已配置的转换节点，提高了应用的灵活性。
由上可见，转换模板中转换节点的数量可以等于、大于或小于已有的转换工作流中转换节点的数量。
需要说明的是，以上各种生成目标转换模板的方式也可以组合使用。例如，从已有的转换工作流中先删除一些节点，再添加一些与被删除节点不同的其他节点。
举例说明。仍然假设已有的转换工作流包括节点1、节点2、节点3、节点4这四个节点，且该四个节点的执行顺序为：节点1、节点2、节点3、节点4。假设从该已有的转换工作流中删除节点3，再在节点3所在的位置加入节点5，则生成的目标转换模板包括节点1、节点2、节点5、节点4这四个节点，该四个节点在目标转换模板中的执行顺序为：节点1、节点2、节点5、节点4。
上述几种情况仅为列举的示例，在实际应用中，目标转换模板中的节点数量可以比已有的转换工作流中的节点数量多或少至少一个，添加或删除的节点数量也可以根据实际需求确定。
在一个示例中，所述中间转换节点可以包括如下节点中的至少一个：常量增加节点、系统信息添加节点、数据清洗节点、数据校验节点、敏感词过滤节点、身份证操作节点、随机数节点、字符串操作节点、字符串编码转换节点、数据类型转换节点、对称加密节点。
其中，常量增加节点用于在目的数据表中添加常量字段，该字段中的数据可以是依据应用需求需要在目的数据表中添加的常量，例如作为源数据表的学生信息表中不包括学生性别这一项，在目的数据表中可以增加学生性别这一字段，该字段的值为常量(“男”或“女”)。
在一个示例中，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务之前，还可以包括：
为所述目标转换模板的每个输出节点配置相应目的数据库的建表模板；所述建表模板用于在相应目的数据库中创建源数据库和相应目的数据库组成的数据库对对应的目的数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，包括：根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务。
其中，所述预设参数可以包括表名、字段名等。
其中，建表模板中定义了源数据表中的字段映射到目的数据表中的字段的映射规则，本文将该规则称为字段映射规则。
每一种数据库对于字段的类型、长度、精度都有相应的要求。当源数据库和目的数据库为异构数据库(即不同种类的数据库，例如Oracle数据库与MySQL数据库即为一对异构数据库)时，目的数据表中的字段与源数据表中相应字段的类型、长度、精度不同，此时要按照目的数据表对于字段的类型、长度、精度的要求在目的数据表中创建与源数据表中的字段相应的字段。
需要说明的是，即使源数据库和目的数据库为相同种类的数据库(例如源数据库和目的数据库均为Oracle数据库)，目的数据表与源数据表也可能不同，此时也可以利用建表模板来创建目的数据表。
在应用中，可以预先为每一对源数据库和目的数据库(两者可以为异构数据库也可以为相同数据库)创建对应的建表模板，在使用时根据源数据库和目的数据库的具体种类选择对应的建表模板。
例如，假设数据库1、数据库2、数据库3、数据库4、数据库5种类均不同，两两之间均为异构数据库。在数据库1为源数据库、数据库2、数据库3、数据库4、数据库5为目的数据库的情况下，可以预先在建表模板库中创建对应源数据库为数据库1、目的数据库为数据库2的建表模板2，对应源数据库为数据库1、目的数据库为数据库3的建表模板3，对应源数据库为数据库1、目的数据库为数据库4的建表模板4，对应源数据库为数据库1、目的数据库为数据库5的建表模板5。
每一个建表模板对应一组字段映射规则，用于将源数据表的字段映射为相应目的数据表的字段。
在一个示例中，字段映射规则可以包括字段类型的映射规则、字段长度的映射规则以及字段精度的映射规则。例如，一个建表模板对应的字段映射规则可以如表1所示。
表1
| sourceType | sourceLength | sourceDigtal | targetType | targerLength | targetDigtal |
| NUMBER | 19 | 0 | DECIMAL | 19 | 0 |
| VARchar2 | 128 | 0 | VARchar | 128 | 0 |
| TIMESTAMP | 0 | 0 | DATETIME | 0 | 0 |
| … | … | … | … | … | … |
表1中，sourceType表示源数据表中字段的类型，targetType表示目的数据表中字段的类型；sourceLength表示源数据表中字段的长度，targerLength表示目的数据表中字段的长度；sourceDigtal表示源数据表中字段的精度，targetDigtal表示目的数据表中字段的精度。
根据表1，源数据表中类型为NUMBER(数字)、长度为19、精度为0的字段，在创建目的数据表时，该字段对应的目的数据表中的字段类型为DECIMAL(整型)、长度为19、精度为0。
在一个示例中，可以预先通过分析各种数据库的类型长度定义来确定建表模板中的字段映射规则，这种建表模板本文中称为默认模板。
在另一个示例中，还可以提供一种用户界面(例如页面)，由用户来定义建表模板中的字段映射规则，这种建表模板本文中称为自定义模板。
在为输出节点配置建表模板时，如果用户没有选择自定义模板，则默认使用默认模板；如果用户选择自定义模板，则使用用户选择的自定义模板。
在一个示例中，根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务，可以包括：
对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表；
按照所述目标转换模板中的各节点在所述源数据表对应的ETL任务中添加相应的节点，并根据所述目标转换模板中各节点的执行顺序确定所述ETL任务中各节点的执行顺序；
从所述源数据表和所述源数据表对应的各目的数据表中提取预设参数的参数值，根据预设规则，将所述源数据表对应的ETL任务中的相应参数的值设置为所述参数值。
其中，预设规则是预先设置好的规则，用于指示如何进行参数替换。
转换模板中的预设参数可以设置为变量。在利用本发明实施例提供的方法配置ETL任务时，将预设参数对应的变量设置为具体的变量值。
在一个示例中，预设参数可以包括表名、字段名等。
在转换模板中，将表名设置为变量${tableName},将表字段设置为变量${colomn}。
假设转换模板中的一个节点对应的工作流为：读取表${tableName}中的字段${colomn}的数据，源数据表为前述的数据表A，字段为前述的字段a1。则在配置好的ETL任务中，该节点对应的工作流为：读取表${A}中的字段${a1}的数据。
ETL任务配置好后，对于每个源数据表，会生成各个输出节点对应的目的数据表，每个源数据表对应的目的数据表的数量等于转换模板中输出节点的数量。
例如，假设目标转换模板为图2的(a)图所示的转换模板，源数据表为前述的数据库1中的数据表A，第一输出节点对应的目的数据库为前述的数据库2，第二输出节点对应的目的数据库为前述的数据库3，则根据本发明实施例的数据同步方法，数据表A对应的配置结果包括：
创建好的目的数据表B(对应第一输出节点)、目的数据表C(对应第二输出节点)；
从数据表A中读取数据的输入节点；
在目的数据表B中添加系统时间信息的节点，在目的数据表C中添加系统时间信息的节点；
将数据加载到目的数据表B的输出节点，以及将数据加载到目的数据表C的输出节点。
在一个示例中，对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表，可以包括：
对于每个输出节点配置的建表模板，获取所述源数据表的第一表结构，所述第一表结构包括m个第一字段，m为自然数；
根据所述建表模板，确定对应的字段映射规则以及确定待增加的n个指定字段，n为自然数；
根据所述字段映射规则将所述m个第一字段映射为目的数据表中的m个第二字段；
基于所述m个第二字段和所述n个指定字段，创建所述源数据表对应的目的数据表。
需要说明的是，并非所有的转换模板，都需要在目的数据表中增加指定字段。例如，图2的(a)图所示的转换模板需要在目的数据表中增加指定字段，但图2的(c)图所示的转换模板不需要在目的数据表中增加指定字段。
举例说明。以源数据表为前述的数据表A为源数据表，当转换模板采用图2的(a)图所示的转换模板时，创建目的数据表B为例。
假设数据表A中包括三个字段：a1、a2、a3，如表2所示。
表2
| 字段a1 | 字段a2 | 字段a3 |
通过在转换模板的第一输出节点对应的输出节点加载前述的建表模板2，获取建表模板2所对应的字段映射关系2；
利用字段映射关系2，将数据表A中的字段a1映射为目的数据表B中的字段b1，将数据表A中的字段a2映射为目的数据表B中的字段b2，将数据表A中的字段a3映射为目的数据表B中的字段b3；
图2的(a)图所示的转换模板包括系统时间添加节点，因此需要在目的数据表B中增加一个字段b4，用于存储系统时间信息。
创建完成的目的数据表B包括字段：b1、b2、b3、b4，如表3所示。
表3
| 字段b1 | 字段b2 | 字段b3 | 字段b4 |
在一个示例中，为所述目标转换模板的每个输出节点配置对应目的数据库的建表模板，可以包括：
根据用户选择的第一建表模板，为所述目标转换模板的每个输出节点配置对应目的数据库的建表模板。
此处的第一建表模板即前述的自定义模板。本实施例中，用户可以为目标转换模板的各个输出节点分别选择建表模板，以满足实际应用场景的需要。
当用户没有为目标转换模板的输出节点选择建表模板时，系统可以根据系统默认的第二建表模板，为所述目标转换模板的每个输出节点配置对应目的数据库的建表模板。此处的第一建表模板即前述的默认模板。
本发明实施例提供的数据同步方法，通过生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库，能够批量创建用于进行数据同步的ETL任务，提高了ETL任务的配置效率和数据同步效率。
基于上述的方法实施例，本发明实施例还提供了相应的装置、设备及存储介质实施例。关于本发明实施例的装置、设备及存储介质实施例的详细实现方式，请参见前述方法实施例部分的相应说明。
图3是本发明实施例提供的数据同步装置的功能方块图。如图3所示，本实施例中，数据同步装置可以包括：
模板生成模块310，用于生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载模块320，用于加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
创建及同步模块330，用于根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
在一个示例中，所述转换节点包括至少两个输出节点，或者，所述转换节点还包括至少一个位于输入节点和输出节点之间的中间转换节点。
在一个示例中，模板生成模块310可以具体用于：
根据已有的转换工作流，生成目标转换模板。
在一个示例中，模板生成模块310可以具体用于：
获取已有的转换工作流未配置的第一转换节点加入所述已有的转换工作流，得到已有的转换工作流；所述第一转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述已有的转换工作流，生成目标转换模板。
在一个示例中，模板生成模块310可以具体用于：
删除已有的转换工作流的至少一个第二转换节点，得到第二转换工作流；所述第二转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第二转换工作流，生成目标转换模板。
在一个示例中，所述中间转换节点包括如下节点中的至少一个：常量增加节点、系统信息添加节点、数据清洗节点、数据校验节点、敏感词过滤节点、身份证操作节点、随机数节点、字符串操作节点、字符串编码转换节点、数据类型转换节点、对称加密节点。
在一个示例中，还包括：
配置模块，用于为所述目标转换模板的每个输出节点配置相应目的数据库的建表模板；所述建表模板用于在相应目的数据库中创建源数据库和相应目的数据库组成的数据库对对应的目的数据表；
所述创建及同步模块330具体用于：根据所述目标转换模板和所述建表模板，创建所述多个源数据表对应的ETL任务。
在一个示例中，创建及同步模块330可以具体用于：
对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表；
按照所述目标转换模板中的各节点在所述源数据表对应的ETL任务中添加相应的节点，并根据所述目标转换模板中各节点的执行顺序确定所述ETL任务中各节点的执行顺序；
从所述源数据表和所述源数据表对应的各目的数据表中提取预设参数的参数值，根据预设规则，将所述源数据表对应的ETL任务中的相应参数的值设置为所述参数值。
在一个示例中，对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表，包括：
对于每个输出节点配置的建表模板，获取所述源数据表的第一表结构，所述第一表结构包括m个第一字段，m为自然数；
根据所述建表模板，确定对应的字段映射规则以及确定待增加的n个指定字段，n为自然数；
根据所述字段映射规则将所述m个第一字段映射为目的数据表中的m个第二字段；
基于所述m个第二字段和所述n个指定字段，创建所述源数据表对应的目的数据表。
本发明实施例还提供了一种电子设备。图4是本发明实施例提供的电子设备的一个硬件结构图。如图4所示，电子设备包括：内部总线401，以及通过内部总线连接的存储器402，处理器403和外部接口404。
所述处理器403，用于读取存储器402上的机器可读指令，并执行所述指令以实现如下操作：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
在一个示例中，所述转换节点包括至少两个输出节点，或者，所述转换节点还包括至少一个位于输入节点和输出节点之间的中间转换节点。
在一个示例中，生成目标转换模板，包括：
根据已有的转换工作流，生成目标转换模板。
在一个示例中，生成目标转换模板，包括：
获取已有的转换工作流未配置的第一转换节点加入所述已有的转换工作流，得到已有的转换工作流；所述第一转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述已有的转换工作流，生成目标转换模板。
在一个示例中，生成目标转换模板，包括：
删除已有的转换工作流的至少一个第二转换节点，得到第二转换工作流；所述第二转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第二转换工作流，生成目标转换模板。
在一个示例中，所述中间转换节点包括如下节点中的至少一个：常量增加节点、系统信息添加节点、数据清洗节点、数据校验节点、敏感词过滤节点、身份证操作节点、随机数节点、字符串操作节点、字符串编码转换节点、数据类型转换节点、对称加密节点。
在一个示例中，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务之前，还包括：
为所述目标转换模板的每个输出节点配置相应目的数据库的建表模板；所述建表模板用于在相应目的数据库中创建源数据库和相应目的数据库组成的数据库对对应的目的数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，包括：根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务。
在一个示例中，根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务，包括：
对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表；
按照所述目标转换模板中的各节点在所述源数据表对应的ETL任务中添加相应的节点，并根据所述目标转换模板中各节点的执行顺序确定所述ETL任务中各节点的执行顺序；
从所述源数据表和所述源数据表对应的各目的数据表中提取预设参数的参数值，根据预设规则，将所述源数据表对应的ETL任务中的相应参数的值设置为所述参数值。
在一个示例中，对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表，包括：
对于每个输出节点配置的建表模板，获取所述源数据表的第一表结构，所述第一表结构包括m个第一字段，m为自然数；
根据所述建表模板，确定对应的字段映射规则以及确定待增加的n个指定字段，n为自然数；
根据所述字段映射规则将所述m个第一字段映射为目的数据表中的m个第二字段；
基于所述m个第二字段和所述n个指定字段，创建所述源数据表对应的目的数据表。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
在一个示例中，所述转换节点包括至少两个输出节点，或者，所述转换节点还包括至少一个位于输入节点和输出节点之间的中间转换节点。
在一个示例中，生成目标转换模板，包括：
根据已有的转换工作流，生成目标转换模板。
在一个示例中，生成目标转换模板，包括：
获取已有的转换工作流未配置的第一转换节点加入所述已有的转换工作流，得到已有的转换工作流；所述第一转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述已有的转换工作流，生成目标转换模板。
在一个示例中，生成目标转换模板，包括：
删除已有的转换工作流的至少一个第二转换节点，得到第二转换工作流；所述第二转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第二转换工作流，生成目标转换模板。
在一个示例中，所述中间转换节点包括如下节点中的至少一个：常量增加节点、系统信息添加节点、数据清洗节点、数据校验节点、敏感词过滤节点、身份证操作节点、随机数节点、字符串操作节点、字符串编码转换节点、数据类型转换节点、对称加密节点。
在一个示例中，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务之前，还包括：
为所述目标转换模板的每个输出节点配置相应目的数据库的建表模板；所述建表模板用于在相应目的数据库中创建源数据库和相应目的数据库组成的数据库对对应的目的数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，包括：根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务。
在一个示例中，根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务，包括：
对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表；
按照所述目标转换模板中的各节点在所述源数据表对应的ETL任务中添加相应的节点，并根据所述目标转换模板中各节点的执行顺序确定所述ETL任务中各节点的执行顺序；
从所述源数据表和所述源数据表对应的各目的数据表中提取预设参数的参数值，根据预设规则，将所述源数据表对应的ETL任务中的相应参数的值设置为所述参数值。
在一个示例中，对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表，包括：
对于每个输出节点配置的建表模板，获取所述源数据表的第一表结构，所述第一表结构包括m个第一字段，m为自然数；
根据所述建表模板，确定对应的字段映射规则以及确定待增加的n个指定字段，n为自然数；
根据所述字段映射规则将所述m个第一字段映射为目的数据表中的m个第二字段；
基于所述m个第二字段和所述n个指定字段，创建所述源数据表对应的目的数据表。
对于装置和设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (12)
1.一种数据同步方法，其特征在于，包括：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
2.根据权利要求1所述的方法，其特征在于，所述转换节点包括至少两个输出节点，或者，所述转换节点还包括至少一个位于输入节点和输出节点之间的中间转换节点。
3.根据权利要求1所述的方法，其特征在于，生成目标转换模板，包括：
根据已有的转换工作流，生成目标转换模板。
4.根据权利要求1所述的方法，其特征在于，生成目标转换模板，包括：
获取已有的转换工作流未配置的第一转换节点加入所述已有的转换工作流，得到第一转换工作流；所述第一转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第一转换工作流，生成目标转换模板。
5.根据权利要求1所述的方法，其特征在于，生成目标转换模板，包括：
删除已有的转换工作流的至少一个第二转换节点，得到第二转换工作流；所述第二转换节点为输出节点或位于输入节点和输出节点之间的中间转换节点；
根据所述第二转换工作流，生成目标转换模板。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述中间转换节点包括如下节点中的至少一个：常量增加节点、系统信息添加节点、数据清洗节点、数据校验节点、敏感词过滤节点、身份证操作节点、随机数节点、字符串操作节点、字符串编码转换节点、数据类型转换节点、对称加密节点。
7.根据权利要求1所述的方法，其特征在于，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务之前，还包括：
为所述目标转换模板的每个输出节点配置相应目的数据库的建表模板；所述建表模板用于在相应目的数据库中创建源数据库和相应目的数据库组成的数据库对对应的目的数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，包括：根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务。
8.根据权利要求7所述的方法，其特征在于，根据所述目标转换模板和所述建表模板，批量创建所述多个源数据表对应的ETL任务，包括：
对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表；
按照所述目标转换模板中的各节点在所述源数据表对应的ETL任务中添加相应的节点，并根据所述目标转换模板中各节点的执行顺序确定所述ETL任务中各节点的执行顺序；
从所述源数据表和所述源数据表对应的各目的数据表中提取预设参数的参数值，根据预设规则，将所述源数据表对应的ETL任务中的相应参数的值设置为所述参数值。
9.根据权利要求8所述的方法，其特征在于，对于所述多个源数据表中的每个源数据表，根据所述目标转换模板的每个输出节点配置的建表模板，创建所述源数据表对应的目的数据表，包括：
对于每个输出节点配置的建表模板，获取所述源数据表的第一表结构，所述第一表结构包括m个第一字段，m为自然数；
根据所述建表模板，确定对应的字段映射规则以及确定待增加的n个指定字段，n为自然数；
根据所述字段映射规则将所述m个第一字段映射为目的数据表中的m个第二字段；
基于所述m个第二字段和所述n个指定字段，创建所述源数据表对应的目的数据表。
10.一种数据同步装置，其特征在于，包括：
模板生成模块，用于生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载模块，用于加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
创建及同步模块，用于根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
11.一种电子设备，其特征在于，包括处理器和存储器；
所述处理器，用于读取所述存储器上的机器可读指令，并执行所述指令以实现如下操作：
生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点；
加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表；
根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现权利要求1～9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374388.1A CN113076365B (zh) | 2021-04-07 | 2021-04-07 | 数据同步方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374388.1A CN113076365B (zh) | 2021-04-07 | 2021-04-07 | 数据同步方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113076365A true CN113076365A (zh) | 2021-07-06 |
| CN113076365B CN113076365B (zh) | 2024-05-10 |
Family
ID=76615434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110374388.1A Active CN113076365B (zh) | 2021-04-07 | 2021-04-07 | 数据同步方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076365B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116204587A (zh) * | 2023-02-21 | 2023-06-02 | 中国人民解放军海军工程大学 | 数据同步任务生成方法、装置和计算机可读存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070083850A1 (en) * | 2005-10-12 | 2007-04-12 | Microsoft Corporation | Template-driven approach to extract, transform, and/or load |
| US20070179939A1 (en) * | 2003-06-11 | 2007-08-02 | O'neil Owen | System and method for automatic data mapping |
| US20110295794A1 (en) * | 2010-05-28 | 2011-12-01 | Oracle International Corporation | System and method for supporting data warehouse metadata extension using an extender |
| US20150142734A1 (en) * | 2012-05-24 | 2015-05-21 | Telefonaktiebolaget L M Ericsson (Publ) | Meta Model Driven Data Base Replication and Synchronization |
| CN105069033A (zh) * | 2015-07-22 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种创建数据库表模型的方法及装置 |
| CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
| CN107704597A (zh) * | 2017-10-13 | 2018-02-16 | 携程旅游网络技术（上海）有限公司 | 关系型数据库至Hive的ETL脚本创建方法 |
| US20180218052A1 (en) * | 2017-01-30 | 2018-08-02 | Ca, Inc. | Extensible data driven etl framework |
| CN110471977A (zh) * | 2019-08-22 | 2019-11-19 | 杭州数梦工场科技有限公司 | 一种数据交换方法、装置、设备、介质 |
| CN110515995A (zh) * | 2019-08-22 | 2019-11-29 | 深圳前海环融联易信息科技服务有限公司 | 快速生成大数据平台的etl作业方法及装置 |
| CN111159266A (zh) * | 2019-12-05 | 2020-05-15 | 江苏艾佳家居用品有限公司 | 一种基于元数据的etl任务批量生成方法 |
| CN111367975A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 一种多协议数据转换处理方法及装置 |
| CN111552730A (zh) * | 2020-04-28 | 2020-08-18 | 杭州数梦工场科技有限公司 | 数据分发方法、装置、电子设备、存储介质 |
| US20200379952A1 (en) * | 2019-06-03 | 2020-12-03 | Zuora, Inc. | Self-healing data synchronization |
| CN112199443A (zh) * | 2020-09-30 | 2021-01-08 | 苏州达家迎信息技术有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN112328675A (zh) * | 2020-11-25 | 2021-02-05 | 上海市计算技术研究所 | 异构数据转换方法、装置、设备及存储介质 |
| CN112364101A (zh) * | 2020-11-11 | 2021-02-12 | 深圳前海微众银行股份有限公司 | 数据的同步方法、装置、终端设备及介质 |
-
2021
- 2021-04-07 CN CN202110374388.1A patent/CN113076365B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070179939A1 (en) * | 2003-06-11 | 2007-08-02 | O'neil Owen | System and method for automatic data mapping |
| US20070083850A1 (en) * | 2005-10-12 | 2007-04-12 | Microsoft Corporation | Template-driven approach to extract, transform, and/or load |
| US20110295794A1 (en) * | 2010-05-28 | 2011-12-01 | Oracle International Corporation | System and method for supporting data warehouse metadata extension using an extender |
| US20150142734A1 (en) * | 2012-05-24 | 2015-05-21 | Telefonaktiebolaget L M Ericsson (Publ) | Meta Model Driven Data Base Replication and Synchronization |
| CN105069033A (zh) * | 2015-07-22 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种创建数据库表模型的方法及装置 |
| CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
| US20180218052A1 (en) * | 2017-01-30 | 2018-08-02 | Ca, Inc. | Extensible data driven etl framework |
| CN107704597A (zh) * | 2017-10-13 | 2018-02-16 | 携程旅游网络技术（上海）有限公司 | 关系型数据库至Hive的ETL脚本创建方法 |
| CN111367975A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 一种多协议数据转换处理方法及装置 |
| US20200379952A1 (en) * | 2019-06-03 | 2020-12-03 | Zuora, Inc. | Self-healing data synchronization |
| CN110471977A (zh) * | 2019-08-22 | 2019-11-19 | 杭州数梦工场科技有限公司 | 一种数据交换方法、装置、设备、介质 |
| CN110515995A (zh) * | 2019-08-22 | 2019-11-29 | 深圳前海环融联易信息科技服务有限公司 | 快速生成大数据平台的etl作业方法及装置 |
| CN111159266A (zh) * | 2019-12-05 | 2020-05-15 | 江苏艾佳家居用品有限公司 | 一种基于元数据的etl任务批量生成方法 |
| CN111552730A (zh) * | 2020-04-28 | 2020-08-18 | 杭州数梦工场科技有限公司 | 数据分发方法、装置、电子设备、存储介质 |
| CN112199443A (zh) * | 2020-09-30 | 2021-01-08 | 苏州达家迎信息技术有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN112364101A (zh) * | 2020-11-11 | 2021-02-12 | 深圳前海微众银行股份有限公司 | 数据的同步方法、装置、终端设备及介质 |
| CN112328675A (zh) * | 2020-11-25 | 2021-02-05 | 上海市计算技术研究所 | 异构数据转换方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116204587A (zh) * | 2023-02-21 | 2023-06-02 | 中国人民解放军海军工程大学 | 数据同步任务生成方法、装置和计算机可读存储介质 |
| CN116204587B (zh) * | 2023-02-21 | 2024-01-30 | 中国人民解放军海军工程大学 | 数据同步任务生成方法、装置和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113076365B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5298117B2 (ja) | 分散コンピューティングにおけるデータマージング | |
| CN110908997A (zh) | 数据血缘构建方法、装置、服务器及可读存储介质 | |
| CN103605747A (zh) | 文件表单的处理方法和装置 | |
| CN111061833A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
| CN106557307B (zh) | 业务数据的处理方法及处理系统 | |
| CN110781231A (zh) | 基于数据库的批量导入方法、装置、设备及存储介质 | |
| CN112948427B (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN110019116B (zh) | 数据追溯方法、装置、数据处理设备及计算机存储介质 | |
| CN114979120B (zh) | 数据上传方法、装置、设备及存储介质 | |
| CN113076365B (zh) | 数据同步方法、装置、电子设备及存储介质 | |
| CN111445319A (zh) | 一种凭证生成方法、装置、计算机设备及存储介质 | |
| US10360208B2 (en) | Method and system of process reconstruction | |
| CN112579604A (zh) | 测试系统的造数方法、装置、设备及存储介质 | |
| CN112433753A (zh) | 基于参数信息的接口文档生成方法、装置、设备和介质 | |
| CN115455006A (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
| CN113269538B (zh) | 并行审批节点的转交方法、装置、设备及存储介质 | |
| CN115809228A (zh) | 数据比对方法、装置、存储介质及电子设备 | |
| CN115543428A (zh) | 一种基于策略模板的模拟数据生成方法和装置 | |
| CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
| CN103761247B (zh) | 一种出错文件的处理方法及装置 | |
| US20170161359A1 (en) | Pattern-driven data generator | |
| JP2018109898A (ja) | データマイグレーションシステム | |
| CN111813769A (zh) | 数据加工方法与装置 | |
| CN115250231B (zh) | 应用配置方法及装置 | |
| CN112506944B (zh) | 业务系统间的数据标准转换取数方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |