CN113641652A - 一种数据同步方法、装置、系统和服务器 - Google Patents
一种数据同步方法、装置、系统和服务器 Download PDFInfo
- Publication number
- CN113641652A CN113641652A CN202110909797.7A CN202110909797A CN113641652A CN 113641652 A CN113641652 A CN 113641652A CN 202110909797 A CN202110909797 A CN 202110909797A CN 113641652 A CN113641652 A CN 113641652A
- Authority
- CN
- China
- Prior art keywords
- data
- field
- task
- synchronization
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001360 synchronised effect Effects 0.000 claims abstract description 114
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据同步方法、装置、系统和服务器，该方法包括：获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；通过执行数据同步任务，基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中。通过本发明实施例的技术方案，可以实现不同数据库中的数据自动同步效果。
Description
技术领域
本发明实施例涉及互联网技术，尤其涉及一种数据同步方法、装置、系统和服务器。
背景技术
随着互联网技术的快速发展，往往需要对业务系统进行迭代更新。当对业务系统中用于存储业务数据的数据库进行更换时，需要将旧数据库中的业务数据同步到更换后的新数据库中。例如，旧住院系统使用的数据库为Oracle数据库，更新后的新住院系统使用的数据库为MySQL数据库，从而在旧业务一步步更新迭代到新住院系统过程中，Oracle数据库中的数据也需要迁移到MySQL数据库中，因此，当前急需一种用于同步不同数据库中的数据的自动同步方式。
发明内容
本发明实施例提供了一种数据同步方法、装置、系统和服务器，以实现不同数据库中的数据自动同步效果。
第一方面，本发明实施例提供了一种数据同步方法，应用于服务器，包括：
获取用户端下发的数据同步任务，所述数据同步任务包括在所述用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；
通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
第二方面，本发明实施例还提供了一种数据同步装置，集成于服务器，包括：
数据同步任务获取模块，用于获取用户端下发的数据同步任务，所述数据同步任务包括在所述用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；
数据同步模块，用于通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
第三方面，本发明实施例还提供了一种数据同步系统，所述系统包括：服务器和用户端；
其中，所述用户端用于配置数据同步任务，并将所述数据同步任务发送至所述服务器；
所述服务器用于实现如本发明任意实施例所提供的数据同步方法。
第四方面，本发明实施例还提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的数据同步方法。
本发明实施例中的服务器通过获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系，并通过执行数据同步任务，实现基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中，从而可以将来源数据库中的字段数据自动同步至目标数据库中，并作为目标数据库中相应字段的目标字段数据，实现了不同数据库中的数据自动同步效果。
附图说明
图1是本发明实施例一提供的一种数据同步方法的流程图；
图2是本发明实施例一所涉及的一种数据同步系统框架的示例；
图3是本发明实施例二提供的一种数据同步方法的流程图；
图4是本发明实施例三提供的一种数据同步装置的结构示意图；
图5是本发明实施例四提供的一种数据同步系统的结构示意图；
图6是本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据同步方法的流程图，本实施例可适用于对不同数据库中的数据进行同步的情况。该方法可以由数据同步装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于服务器中。如图1所示，该方法具体包括以下步骤：
S110、获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系。
其中，来源数据库可以是指待同步的源对象，即旧数据库。目标数据库可以是指同步至的目标对象，即新数据库。本实施例中的来源数据库和目标数据库可以是指任意一种关系型数据库。例如，图2给出了一种数据同步系统框架的示例。如图2所示，来源数据库可以包括但不限于Oracle数据库、MySQL数据库或者SQLserver数据库。目标数据库可以是但不限于MySQL数据库、Kafka数据库或者与远程HTTP接口连接的数据库。本实施例中的来源数据库和目标数据库可以为不同类型的数据库，也可以为同一种类型的数据库。本实施例中的数据同步任务可以为一个或多个。每个数据同步任务可以包含一个待同步的来源库表字段，也可以包含多个待同步的来源库表字段，以便可以同时对多个来源库表字段名称对应的字段数据进行数据同步，提高同步效率。
具体地，用户可以在用户端中基于同步需求建立数据同步任务。例如，用户可以在用户端的界面上先建立两个数据源，即来源数据库和目标数据库。用户端获取来源数据库中的各个库表字段信息和目标数据库中的各个库表字段信息，并在用户端的配置界面中分别展示来源数据库中的各个来源库表字段信息以及目标数据库中的各个目标库表字段信息。其中，库表字段信息可以包括字段名称和字段类型等。用户可以在配置界面上建立一个或多个数据同步任务，并在每个数据同步任务中选择需要同步的来源库表字段和目标库表字段，同时建立来源库表字段名称和目标库表字段名称之间的同步对应关系，比如可以通过连线方式建立同步对应关系。在用户对各个数据同步任务配置完成后，用户端可以将各个数据同步任务发送至服务器，使得服务器可以接收到用户配置完成的数据同步任务。
S120、通过执行数据同步任务，基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中。
具体地，如图2所示，服务器可以针对每个数据同步任务开启一个任务进程，以便通过各个任务进程同时执行相应的数据同步任务，提高数据同步效率。通过执行数据同步任务，可以对数据同步任务中的每个来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中，从而将来源数据库中的字段数据自动同步至目标数据库中的相应位置处，实现了不同数据库中的数据自动同步效果。
示例性地，本实施例可以基于开源中间件“愚公”这个数据库迁移组件进行二次封装开发，从而实现上述步骤S110-S120的数据同步功能。
示例性地，S120中的每个数据同步任务的执行过程可以具体包括如下步骤S121-S124：
S121、从来源数据库中获取数据同步任务中的每个来源库表字段名称对应的待同步字段数据。
具体地，针对数据同步任务中的每个待同步的来源库表字段而言，服务器可以基于来源数据库的数据查询方式，获得待同步的来源库表字段名称对应的待同步字段数据。例如，若来源数据库为Oracle数据库，则服务器可以通过物化视图的方式获得待同步字段数据。若来源数据库为MySQL数据库，则服务器可以通过抽取日志的方式获得待同步字段数据。若来源数据库为SQLserver数据库，则服务器可以通过CDC(Change Data Capture，变更数据捕获)服务获得待同步字段数据。
S122、基于同步对应关系，确定来源库表字段名称对应的目标库表字段名称。
具体地，可以根据数据同步任务中的来源库表字段名称与目标库表字段名称之间的同步对应关系，确定出每个来源库表字段的字段数据需要同步至的目标库表字段名称。
S123、根据目标库表字段名称对应的数据格式信息，对待同步字段数据进行格式转换，获得转换后的待同步字段数据。
具体地，来源库表字段所要求的字段数据格式与目标库表字段所要求的字段数据格式不同，从而可以基于目标库表字段名称对应的数据格式信息，对待同步字段数据进行格式转换，比如，对待同步字段数据进行字段类型的转换等，获得符合目标库表字段所要求格式的字段数据，即转换后的待同步字段数据。
S121、将转换后的待同步字段数据作为目标库表字段名称对应的目标字段数据，加载到目标数据库中。
具体地，将转换后的待同步字段数据进行加载到目标数据库中，作为目标库表字段名称对应的目标字段数据，从而实现来源数据库到目标数据库的数据同步。
本实施例的技术方案，服务器通过获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系，并通过执行数据同步任务，实现基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中，从而可以将来源数据库中的字段数据自动同步至目标数据库中，并作为目标数据库中相应字段的目标字段数据，实现了不同数据库中的数据自动同步效果。
在上述技术方案的基础上，该方法还可以包括：对数据同步任务进行监控，获取数据同步任务对应的当前任务状态；将当前任务状态发送至用户端，以使用户端展示当前任务状态，并在当前任务状态为异常状态时上报报警提示信息。
其中，当前任务状态可以包括：加载状态、完成状态和异常状态等。
具体地，如图2所示，服务器可以开启一个agent代理进程来控制每个数据同步任务的启动和停止、以及监控每个数据同步任务的当前任务状态，并将当前任务状态发送至用户端并进行展示，使得用户可以实时了解每个数据同步任务的状态。用户端在检测到当前任务状态为异常状态时，可以将报警提示信息上报至相关负责人，比如可以以短信、邮件、电话等方式将报警提示信息发送给相关负责人，以便及时提醒相关负责人数据同步异常，使得相关负责人可以及时进行查看解决，从而提升了用户体验。示例性地，如图2所示，本实施例还可以利用一个服务协调器zookeeper来监测服务心跳，保证数据同步服务器的可用性。
实施例二
图3为本发明实施例二提供的一种数据同步方法的流程图，本实施例在上述各实施例的基础上，基于任务同步类型对数据同步任务的执行过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例提供的数据同步方法具体包括以下步骤：
S310、获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系。
S320、获取数据同步任务对应的任务同步类型，任务同步类型在用户端的配置界面中进行配置。
其中，任务同步类型包括：全量类型、增量类型和混合类型。全量类型可以是指将来源库表字段下的当前所有字段数据进行数据同步。增量类型可以是指将来源库表字段下当前增加、更新或者删除的字段数据进行数据同步，此时不会同步历史字段数据。混合类型可以是指全量与增量的混合类型。混合类型可以是指首次同步时将来源库表字段下的当前所有字段数据进行数据同步，后续同步时将来源库表字段下当前增加、更新或者删除的字段数据进行数据同步。
具体地，用户可以在用户端的配置界面中，基于业务需求为每个任务同步类型配置相应的任务同步类型，并将任务同步类型发送至服务器。需要说明的是，任务同步类型这一信息可以存储到相应的数据同步任务中一起下发，也可以与数据同步任务并列下发。
S330、根据任务同步类型确定数据同步任务对应的任务执行信息。
其中，任务执行信息可以包括任务执行次数和任务执行触发条件。
示例性地，S330可以包括：若任务同步类型为全量类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在接收到时执行一次；若述任务同步类型为增量类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在来源库表字段每次增加、更新或者删除字段数据时执行一次；若述任务同步类型为混合类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在接收到时执行一次，并在来源库表字段每次增加、更新或者删除字段数据时执行一次。
具体地，在任务同步类型为全量类型时，服务器在接收到该数据同步任务时便执行一次，以便实现全量数据的同步。在任务同步类型为增量类型时，服务器在检测到来源库表字段每次增加、更新或者删除字段数据时便执行一次数据同步任务，以便实现增量数据的实时同步。在任务同步类型为混合类型时，服务器在接收到该数据同步任务时便执行一次，并在检测到来源库表字段每次增加、更新或者删除字段数据时也执行一次数据同步任务，以便共同实现全量数据和增量数据的实时同步。
S340、通过按照任务执行信息执行数据同步任务，基于任务同步类型和同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中。
具体地，服务器通过按照任务执行信息执行数据同步任务，可以实现不同的数据同步方式，提高不同数据库之间数据同步的多样性，满足用户的个性化需求。
示例性地，S3400中的每个数据同步任务的执行过程可以具体包括如下步骤S341-S344：
S341、基于任务同步类型，从来源数据库中获取数据同步任务中的每个来源库表字段名称对应的待同步字段数据。
具体地，通过确定与任务同步类型相匹配的待同步字段数据，从而可以实现多种数据同步方式，提高不同数据库之间数据同步的多样性，满足用户的个性化需求。
示例性地，S341可以包括：若任务类型为全量类型，则将来源数据库中的每个来源库表字段名称对应的所有字段数据作为待同步字段数据；若任务类型为增量类型，则将来源数据库中的每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据；若任务类型为混合类型，则在首次执行数据同步任务时，将来源数据库中的每个来源库表字段名称对应的所有字段数据作为待同步字段数据，在后续执行数据同步任务时，将来源数据库中的每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据。
具体地，在任务同步类型为全量类型时，服务器在接收到该数据同步任务时便执行一次，并将每个来源库表字段名称对应的所有字段数据作为待同步字段数据，从而可以实现全量数据的同步。在任务同步类型为增量类型时，服务器将每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据，从而可以实现增量数据的实时同步，即字段数据的增加、更新和删除的实时同步。在任务同步类型为混合类型时，服务器在数据同步任务首次执行时，将每个来源库表字段名称对应的所有字段数据作为待同步字段数据，并在数据同步任务后续执行时，将每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据，从而可以共同实现全量数据和增量数据的实时同步。
S342、基于同步对应关系，确定来源库表字段名称对应的目标库表字段名称。
S343、根据目标库表字段名称对应的数据格式信息，对待同步字段数据进行格式转换，获得转换后的待同步字段数据。
S344、将转换后的待同步字段数据作为目标库表字段名称对应的目标字段数据，加载到目标数据库中。
本实施例的技术方案，服务器通过根据任务同步类型确定数据同步任务对应的任务执行信息，并按照任务执行信息执行数据同步任务，从而可以实现不同的数据同步方式，提高了不同数据库之间数据同步的多样性，进而满足了用户的个性化需求。
以下是本发明实施例提供的数据同步装置的实施例，该装置与上述各实施例的数据同步方法属于同一个发明构思，在数据同步装置的实施例中未详尽描述的细节内容，可以参考上述数据同步方法的实施例。
实施例三
图4为本发明实施例三提供的一种数据同步装置的结构示意图，本实施例可适用于对不同数据库中的数据进行同步的情况，该装置具体包括：数据同步任务获取模块410和数据同步模块420。
其中，数据同步任务获取模块410，用于获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；数据同步模块420，用于通过执行数据同步任务，基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中。
可选地，数据同步模块420，具体用于：
从来源数据库中获取数据同步任务中的每个来源库表字段名称对应的待同步字段数据；基于同步对应关系，确定来源库表字段名称对应的目标库表字段名称；根据目标库表字段名称对应的数据格式信息，对待同步字段数据进行格式转换，获得转换后的待同步字段数据；将转换后的待同步字段数据作为目标库表字段名称对应的目标字段数据，加载到目标数据库中。
可选地，该装置还包括：
任务同步类型获取模块，用于获取数据同步任务对应的任务同步类型，任务同步类型在用户端的配置界面中进行配置；
相应地，数据同步模块420，具体包括：
任务执行信息确定单元，用于根据任务同步类型确定数据同步任务对应的任务执行信息；
数据同步单元，用于通过按照任务执行信息执行数据同步任务，基于任务同步类型和同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中。
可选地，任务执行信息确定单元，具体用于：
若任务同步类型为全量类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在接收到时执行一次；
若述任务同步类型为增量类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在来源库表字段每次增加、更新或者删除字段数据时执行一次；
若述任务同步类型为混合类型，则数据同步任务对应的任务执行信息确定为：数据同步任务在接收到时执行一次，并在来源库表字段每次增加、更新或者删除字段数据时执行一次。
可选地，数据同步单元，包括：
待同步字段数据确定子单元，用于基于任务同步类型，从来源数据库中获取数据同步任务中的每个来源库表字段名称对应的待同步字段数据；
目标库表字段名称确定子单元，用于基于同步对应关系，确定来源库表字段名称对应的目标库表字段名称；
格式转换子单元，用于根据目标库表字段名称对应的数据格式信息，对待同步字段数据进行格式转换，获得转换后的待同步字段数据；
字段数据加载子单元，用于将转换后的待同步字段数据作为目标库表字段名称对应的目标字段数据，加载到目标数据库中。
可选地，待同步字段数据确定子单元，具体用于：
若任务类型为全量类型，则将来源数据库中的每个来源库表字段名称对应的所有字段数据作为待同步字段数据；
若任务类型为增量类型，则将来源数据库中的每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据；
若任务类型为混合类型，则在首次执行数据同步任务时，将来源数据库中的每个来源库表字段名称对应的所有字段数据作为待同步字段数据，在后续执行数据同步任务时，将来源数据库中的每个来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据。
可选地，该装置还包括：
当前任务状态获取模块，用于对数据同步任务进行监控，获取数据同步任务对应的当前任务状态；
当前任务状态发送模块，用于将当前任务状态发送至用户端，以使用户端展示当前任务状态，并在当前任务状态为异常状态时上报报警提示信息。
本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行数据同步方法相应的功能模块和有益效果。
值得注意的是，上述数据同步装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图5为本发明实施例四提供的一种数据同步系统的结构示意图，本实施例可适用于对不同数据库中的数据进行同步的情况，该系统包括：服务器510和用户端520。
其中，用户端520用于配置数据同步任务，并将所述数据同步任务发送至所述服务器510；所述服务器510用于实现如本发明任意实施例所提供的数据同步方法。
本实施例的数据同步系统，服务器通过获取用户端下发的数据同步任务，数据同步任务包括在用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系，并通过执行数据同步任务，实现基于同步对应关系，对来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到目标数据库中，从而可以将来源数据库中的字段数据自动同步至目标数据库中，并作为目标数据库中相应字段的目标字段数据，实现了不同数据库中的数据自动同步效果。
实施例五
图6是本发明实施例五提供的一种服务器的结构示意图。参见图6，该服务器包括：
一个或多个处理器610；
存储器620，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器610执行，使得一个或多个处理器610实现如上述实施例中任意实施例所提供的数据同步方法，该方法包括：
获取用户端下发的数据同步任务，所述数据同步任务包括在所述用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；
通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
图6中以一个处理器610为例；服务器中的处理器610和存储器620可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据同步方法对应的程序指令/模块(例如，数据同步装置中的数据同步任务获取模块410和数据同步模块420)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的数据同步方法。
存储器620主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例提出的服务器与上述实施例提出的数据同步方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行数据同步方法相同的有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据同步方法，其特征在于，应用于服务器，包括：
获取用户端下发的数据同步任务，所述数据同步任务包括在所述用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；
通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
2.根据权利要求1所述的方法，其特征在于，所述基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中，包括：
从所述来源数据库中获取所述数据同步任务中的每个所述来源库表字段名称对应的待同步字段数据；
基于所述同步对应关系，确定所述来源库表字段名称对应的目标库表字段名称；
根据所述目标库表字段名称对应的数据格式信息，对所述待同步字段数据进行格式转换，获得转换后的待同步字段数据；
将所述转换后的待同步字段数据作为所述目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述数据同步任务对应的任务同步类型，所述任务同步类型在所述用户端的配置界面中进行配置；
相应地，所述通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中，包括：
根据所述任务同步类型确定所述数据同步任务对应的任务执行信息；
通过按照所述任务执行信息执行所述数据同步任务，基于所述任务同步类型和所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
4.根据权利要求3所述的方法，其特征在于，所述根据所述任务同步类型确定所述数据同步任务对应的任务执行信息，包括：
若所述任务同步类型为全量类型，则所述数据同步任务对应的任务执行信息确定为：所述数据同步任务在接收到时执行一次；
若所述述任务同步类型为增量类型，则所述数据同步任务对应的任务执行信息确定为：所述数据同步任务在所述来源库表字段每次增加、更新或者删除字段数据时执行一次；
若所述述任务同步类型为混合类型，则所述数据同步任务对应的任务执行信息确定为：所述数据同步任务在接收到时执行一次，并在所述来源库表字段每次增加、更新或者删除字段数据时执行一次。
5.根据权利要求3所述的方法，其特征在于，所述基于所述任务同步类型和所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中，包括：
基于所述任务同步类型，从所述来源数据库中获取所述数据同步任务中的每个所述来源库表字段名称对应的待同步字段数据；
基于所述同步对应关系，确定所述来源库表字段名称对应的目标库表字段名称；
根据所述目标库表字段名称对应的数据格式信息，对所述待同步字段数据进行格式转换，获得转换后的待同步字段数据；
将所述转换后的待同步字段数据作为所述目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
6.根据权利要求5所述的方法，其特征在于，基于所述任务同步类型，从所述来源数据库中获取所述数据同步任务中的每个所述来源库表字段名称对应的待同步字段数据，包括：
若所述任务类型为全量类型，则将所述来源数据库中的每个所述来源库表字段名称对应的所有字段数据作为待同步字段数据；
若所述任务类型为增量类型，则将所述来源数据库中的每个所述来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据；
若所述任务类型为混合类型，则在首次执行所述数据同步任务时，将所述来源数据库中的每个所述来源库表字段名称对应的所有字段数据作为待同步字段数据，在后续执行所述数据同步任务时，将所述来源数据库中的每个所述来源库表字段名称对应的当前新增的字段数据、当前更新后的字段数据或者当前删除的字段数据作为待同步字段数据。
7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：
对所述数据同步任务进行监控，获取所述数据同步任务对应的当前任务状态；
将所述当前任务状态发送至所述用户端，以使所述用户端展示所述当前任务状态，并在所述当前任务状态为异常状态时上报报警提示信息。
8.一种数据同步装置，其特征在于，集成于服务器，包括：
数据同步任务获取模块，用于获取用户端下发的数据同步任务，所述数据同步任务包括在所述用户端的配置界面中配置的来源数据库中的来源库表字段名称与目标数据库中的目标库表字段名称之间的同步对应关系；
数据同步模块，用于通过执行所述数据同步任务，基于所述同步对应关系，对所述来源库表字段名称对应的待同步字段数据进行格式转换，并将转换后的待同步字段数据作为相应的目标库表字段名称对应的目标字段数据，加载到所述目标数据库中。
9.一种数据同步系统，其特征在于，所述系统包括：服务器和用户端；
其中，所述用户端用于配置数据同步任务，并将所述数据同步任务发送至所述服务器；
所述服务器用于实现如权利要求1-7中任一所述的数据同步方法。
10.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909797.7A CN113641652A (zh) | 2021-08-09 | 2021-08-09 | 一种数据同步方法、装置、系统和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110909797.7A CN113641652A (zh) | 2021-08-09 | 2021-08-09 | 一种数据同步方法、装置、系统和服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113641652A true CN113641652A (zh) | 2021-11-12 |
Family
ID=78420315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110909797.7A Pending CN113641652A (zh) | 2021-08-09 | 2021-08-09 | 一种数据同步方法、装置、系统和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641652A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| US20180210937A1 (en) * | 2015-09-25 | 2018-07-26 | Alibaba Group Holding Limited | Data synchronization method and apparatus |
| CN109669983A (zh) * | 2018-12-27 | 2019-04-23 | 杭州火树科技有限公司 | 可视化多数据源etl工具 |
| CN110245145A (zh) * | 2019-04-25 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 关系型数据库到Hadoop数据库的结构同步方法和装置 |
| CN111767346A (zh) * | 2020-07-02 | 2020-10-13 | 深圳新贝奥科技有限公司 | 一种数据库的数据同步方法、装置、设备及存储介质 |
| CN112948494A (zh) * | 2021-03-04 | 2021-06-11 | 北京沃东天骏信息技术有限公司 | 数据同步方法、装置、电子设备和计算机可读介质 |
-
2021
- 2021-08-09 CN CN202110909797.7A patent/CN113641652A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| US20180210937A1 (en) * | 2015-09-25 | 2018-07-26 | Alibaba Group Holding Limited | Data synchronization method and apparatus |
| CN109669983A (zh) * | 2018-12-27 | 2019-04-23 | 杭州火树科技有限公司 | 可视化多数据源etl工具 |
| CN110245145A (zh) * | 2019-04-25 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 关系型数据库到Hadoop数据库的结构同步方法和装置 |
| CN111767346A (zh) * | 2020-07-02 | 2020-10-13 | 深圳新贝奥科技有限公司 | 一种数据库的数据同步方法、装置、设备及存储介质 |
| CN112948494A (zh) * | 2021-03-04 | 2021-06-11 | 北京沃东天骏信息技术有限公司 | 数据同步方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111800443B (zh) | 数据处理系统和方法、装置以及电子设备 | |
| US9170977B2 (en) | Method and system for managing server information data based on position information of a server baseboard | |
| CN108108296B (zh) | 一种云测试方法、服务器及客户端 | |
| CN105373428A (zh) | 一种任务调度方法和系统 | |
| CN109766194B (zh) | 基于消息的低耦合计划任务组件的实现方法及其系统 | |
| CN104184756A (zh) | 一种数据同步方法、装置及系统 | |
| CN104765641A (zh) | 一种作业调度方法及系统 | |
| CN110460967A (zh) | 短信平台测试方法、装置、计算机设备及存储介质 | |
| CN108804711B (zh) | 一种数据处理的方法、装置和计算机可读存储介质 | |
| CN113641652A (zh) | 一种数据同步方法、装置、系统和服务器 | |
| CN112130889A (zh) | 资源的管理方法和装置、存储介质、电子装置 | |
| CN117041284A (zh) | 一种基于接口云的外部接口管理方法、系统、设备及介质 | |
| CN112650815B (zh) | 环境数据的同步方法及装置、存储介质及电子装置 | |
| CN113630368B (zh) | 自动云联仪表的通信方法、系统、终端以及介质 | |
| CN109347593A (zh) | 设备及其时间同步方法和计算机可读存储介质 | |
| CN115208905A (zh) | 设备信息同步方法、装置、系统、电子装置和存储介质 | |
| CN115543491A (zh) | 微服务处理方法和装置 | |
| CN104092794A (zh) | 批量进程处理方法和系统 | |
| CN114168137A (zh) | 一种适配多平台的物联网系统和方法 | |
| CN112135302B (zh) | 基站拓扑信息的控制方法、装置及计算机可读存储介质 | |
| CN110662242B (zh) | 天馈系统检测方法、网管设备及计算机可读存储介质 | |
| CN103546433A (zh) | 信息同步系统和方法 | |
| CN109088921B (zh) | 一种写操作处理方法、装置和计算机可读存储介质 | |
| CN116560722B (zh) | 运维流程处理方法、装置、电子设备及存储介质 | |
| US20240187904A1 (en) | Load Query Processing Method and Apparatus, Storage Medium and Electronic Apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |