CN113326316A - 一种异构系统数据快捷同步方法 - Google Patents
一种异构系统数据快捷同步方法 Download PDFInfo
- Publication number
- CN113326316A CN113326316A CN202110398801.8A CN202110398801A CN113326316A CN 113326316 A CN113326316 A CN 113326316A CN 202110398801 A CN202110398801 A CN 202110398801A CN 113326316 A CN113326316 A CN 113326316A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- field
- synchronization
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
本发明涉及快捷同步方法技术领域，且公开了一种异构系统数据快捷同步方法，包括以下步骤：S1、设计配置表a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；S2、动态执行取数SQL，执行配置表里的取数SQL；S3、key‑value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段。本发明具有较大通用性的同步需求，去除不必要的重复开发工作，节约人力成本，设计了数据推送框架，并且通过简单的配置工作，不需要变更代码，可以实现多种数据推送场景。
Description
技术领域
本发明涉及快捷同步方法领域，尤其涉及一种异构系统数据快捷同步方法。
背景技术
因客户需求，需要在不同环境开发一套同步工具，实现表对表增量实时同步。实现的同步任务包括香港登陆中心密码同步，微信注册信息同步、守则违规表同步等。webMethods需要实现从数据中台的RDS或者MQ取数，同步到SaleForce。目前收到安利ACCL对于阿里云数据中台和Sales Force之间会有很多数据需要进行同步，因这些同步任务具有较大的通用性，对接到SF的接口也是固定的几个，因此需要设计一套通用的数据同步框架，以满足后续大量敏捷的数据同步需求。
为解决上述问题，本申请中提出一种异构系统数据快捷同步方法。
发明内容
（一）发明目的
为解决背景技术中存在的技术问题，本发明提出一种异构系统数据快捷同步方法，本发明具有较大通用性的同步需求，去除不必要的重复开发工作，节约人力成本，设计了数据推送框架，并且通过简单的配置工作，不需要变更代码，可以实现多种数据推送场景。
（二）技术方案
为解决上述问题，本发明提供了一种异构系统数据快捷同步方法，包括以下步骤：
S1、设计配置表
a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；
b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；
S2、动态执行取数SQL，执行配置表里的取数SQL；
S3、key-value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段；
S4、执行消息发送/数据库操作；
根据配置表信息，调用对应的接口，实现消息推送；或者根据配置的目标信息，对目标表进行相关操作。
优选的，通过pub.flow:invokeService实现动态接口调用。
优选的，通过DynamicSQL实现动态数据库操作。
优选的，还包括由数据中台消息推送SalesForce框架：
webMethods实现从数据中台的RDS或者MQ取数，同步到SaleForce。
优选的，还包括实现表对表增量实时同步：
同步框架，需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑，和对目标库增删改查操作，实现增量同步，对核心代码复用。
本发明的上述技术方案具有如下有益的技术效果：
提高webMethods市场竞争力。因框架带来的便捷性、高效性和低成本，客户优先考虑使用webMethods技术实现业务需求。
提高客户对公司的认可度。同一需求，webMethods可以使用通用性更高的工具实现，并帮助客户减少成本。
节约公司内部人力成本，有更多时间创造更大的价值。框架型开发可减少不必要的开发工作，使得开发者可以把更多时间来创造新的价值。
附图说明
图1为本发明提出的实现表对表增量实时同步图。
图2为本发明实现全表同步图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图1-2，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明提出的一种异构系统数据快捷同步方法，包括以下步骤：
S1、设计配置表
a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；
b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；
S2、动态执行取数SQL，执行配置表里的取数SQL；
S3、key-value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段；
S4、执行消息发送/数据库操作；
根据配置表信息，调用对应的接口，实现消息推送；或者根据配置的目标信息，对目标表进行相关操作。
在一个可选的实施例中，通过pub.flow:invokeService实现动态接口调用。
在一个可选的实施例中，通过DynamicSQL实现动态数据库操作。
在一个可选的实施例中，还包括由数据中台消息推送SalesForce框架：
webMethods实现从数据中台的RDS或者MQ取数，同步到SaleForce。
在一个可选的实施例中，还包括实现表对表增量实时同步：
同步框架，需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑，和对目标库增删改查操作，实现增量同步，对核心代码复用。
需要说明的是，见图1，实现表对表增量实时同步。因流水同步所有需求 的同步方式一致，都是增量同步，核心代码完全一致，因此开发一套流水同 步框架，仅需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑， 和对目标库增删改查操作，就实现增量同步，达到核心代码复用。
需要说明的是，见图2，全表同步框架：实现全表同步。如有新增同步任务，只需要配置好信息，便可实现全表同步。实现的同步任务包括电子钱包信息全量同步400、月度账单数据同步、店铺-城市群关联表同步等。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (5)
1.一种异构系统数据快捷同步方法，其特征在于，包括以下步骤：
S1、设计配置表
a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；
b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；
S2、动态执行取数SQL，执行配置表里的取数SQL；
S3、key-value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段；
S4、执行消息发送/数据库操作；
根据配置表信息，调用对应的接口，实现消息推送；或者根据配置的目标信息，对目标表进行相关操作。
2.根据权利要求1所述的一种异构系统数据快捷同步方法，其特征在于，通过pub.flow:invokeService实现动态接口调用。
3.根据权利要求1所述的一种异构系统数据快捷同步方法，其特征在于，通过DynamicSQL实现动态数据库操作。
4.根据权利要求1所述的一种异构系统数据快捷同步方法，其特征在于，还包括由数据中台消息推送SalesForce框架：
webMethods实现从数据中台的RDS或者MQ取数，同步到SaleForce。
5.根据权利要求1所述的一种异构系统数据快捷同步方法，其特征在于，还包括实现表对表增量实时同步：
同步框架，需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑，和对目标库增删改查操作，实现增量同步，对核心代码复用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110398801.8A CN113326316A (zh) | 2021-04-14 | 2021-04-14 | 一种异构系统数据快捷同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110398801.8A CN113326316A (zh) | 2021-04-14 | 2021-04-14 | 一种异构系统数据快捷同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113326316A true CN113326316A (zh) | 2021-08-31 |
Family
ID=77414913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110398801.8A Pending CN113326316A (zh) | 2021-04-14 | 2021-04-14 | 一种异构系统数据快捷同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326316A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317921A (zh) * | 2014-10-29 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种跨数据库数据同步系统及方法 |
| US20170310451A1 (en) * | 2016-04-23 | 2017-10-26 | Sugarcrm Inc. | Full-duplex real-time cross-module updates of customer relationship management (crm) data in a crm data processing system |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN111200523A (zh) * | 2019-12-27 | 2020-05-26 | 平安银行股份有限公司 | 中台系统配置方法、装置、设备及存储介质 |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
| CN111400408A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
| CN111506556A (zh) * | 2020-04-09 | 2020-08-07 | 北京市测绘设计研究院 | 一种多源异构的结构化数据同步方法 |
| CN111767346A (zh) * | 2020-07-02 | 2020-10-13 | 深圳新贝奥科技有限公司 | 一种数据库的数据同步方法、装置、设备及存储介质 |
| CN111930823A (zh) * | 2020-09-27 | 2020-11-13 | 武汉中科通达高新技术股份有限公司 | 一种数据查询方法、装置、数据中台和存储介质 |
| CN112328675A (zh) * | 2020-11-25 | 2021-02-05 | 上海市计算技术研究所 | 异构数据转换方法、装置、设备及存储介质 |
-
2021
- 2021-04-14 CN CN202110398801.8A patent/CN113326316A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317921A (zh) * | 2014-10-29 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种跨数据库数据同步系统及方法 |
| US20170310451A1 (en) * | 2016-04-23 | 2017-10-26 | Sugarcrm Inc. | Full-duplex real-time cross-module updates of customer relationship management (crm) data in a crm data processing system |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN111200523A (zh) * | 2019-12-27 | 2020-05-26 | 平安银行股份有限公司 | 中台系统配置方法、装置、设备及存储介质 |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
| CN111506556A (zh) * | 2020-04-09 | 2020-08-07 | 北京市测绘设计研究院 | 一种多源异构的结构化数据同步方法 |
| CN111400408A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
| CN111767346A (zh) * | 2020-07-02 | 2020-10-13 | 深圳新贝奥科技有限公司 | 一种数据库的数据同步方法、装置、设备及存储介质 |
| CN111930823A (zh) * | 2020-09-27 | 2020-11-13 | 武汉中科通达高新技术股份有限公司 | 一种数据查询方法、装置、数据中台和存储介质 |
| CN112328675A (zh) * | 2020-11-25 | 2021-02-05 | 上海市计算技术研究所 | 异构数据转换方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 刘千;: "通用数据同步系统的实现与改进", 水电厂自动化, no. 03, pages 18 - 23 * |
| 刘海;张瞩熹;任雯;肖岩平;: "面向异构数据源的分布式集成工具研究与设计", 计算机应用研究, no. 1, pages 214 - 216 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829011B (zh) | 一种分布式异构数据库的数据同步方法及装置 | |
| CN110008045B (zh) | 微服务的聚合方法、装置、设备及存储介质 | |
| CN101996165B (zh) | 智能终端上网页信息的拷贝处理方法、装置及设备 | |
| CN105574082A (zh) | 基于Storm的流处理方法及系统 | |
| CN110704398A (zh) | 从MySQL到Oracle的数据库迁移方法、装置及计算机设备 | |
| CN104765603A (zh) | 应用程序构建方法及装置 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| CN104899295A (zh) | 一种异构数据源数据关联分析方法 | |
| CN103577165A (zh) | 一种表单生成方法和表单生成器 | |
| CN111143470A (zh) | 跨平台数据库数据同步比对方法及装置 | |
| CN105786843A (zh) | 一种应用的多语言实现方法及多语言信息查询方法、装置 | |
| CN114820080A (zh) | 基于人群流转的用户分群方法、系统、装置及介质 | |
| CN105306273A (zh) | 流程配置方法及装置 | |
| CN103581310A (zh) | 一种web服务代理的自动生成方法 | |
| CN104123135A (zh) | 一种统一后台接口的方法及装置 | |
| CN113326316A (zh) | 一种异构系统数据快捷同步方法 | |
| CN112306695A (zh) | 数据的处理方法、装置、电子设备及计算机存储介质 | |
| CN106598554B (zh) | 一种代码生成装置 | |
| CN109726213B (zh) | 一种程序代码转换方法、装置、介质和计算设备 | |
| CN110941658A (zh) | 一种数据导出方法、装置、服务器及存储介质 | |
| CN107786661B (zh) | 信息同步方法 | |
| CN110704099A (zh) | 联盟链的构建方法、装置和电子设备 | |
| CN113360558B (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
| CN112671877B (zh) | 一种数据处理方法和装置 | |
| CN115063123A (zh) | 智能制造方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |