CN117076574B - 一种可编排多数据源数据同步聚合方法及装置 - Google Patents

一种可编排多数据源数据同步聚合方法及装置 Download PDF

Info

Publication number
CN117076574B
CN117076574B CN202311331534.8A CN202311331534A CN117076574B CN 117076574 B CN117076574 B CN 117076574B CN 202311331534 A CN202311331534 A CN 202311331534A CN 117076574 B CN117076574 B CN 117076574B
Authority
CN
China
Prior art keywords
data
timing synchronization
synchronization task
synchronized
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311331534.8A
Other languages
English (en)
Other versions
CN117076574A (zh
Inventor
陈洪国
孙维伯
史福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhian Technology Co ltd
Original Assignee
Beijing Zhian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhian Technology Co ltd filed Critical Beijing Zhian Technology Co ltd
Priority to CN202311331534.8A priority Critical patent/CN117076574B/zh
Publication of CN117076574A publication Critical patent/CN117076574A/zh
Application granted granted Critical
Publication of CN117076574B publication Critical patent/CN117076574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种可编排多数据源数据同步聚合方法及装置，通过配置的数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系进行数据的同步，这样就不会出现现有技术中的数据信息丢失的技术问题。

Description

一种可编排多数据源数据同步聚合方法及装置
技术领域
本申请各实施例属网络安全技术领域，尤其涉及一种可编排多数据源数据同步聚合方法及装置。
背景技术
在一些应用场景中，需要将不同数据源的数据同步到同一个数据库中，会导致后同步的数据覆盖之前的数据，比如说A数据源同步账号信息、邮箱、手机号，B数据源同步账号信息和手机号，所以会导致数据覆盖的过程中B数据源的手机号会覆盖A数据源的手机号，这样会导致数据信息丢失。
发明内容
为了解决或缓解现有技术中的问题，本发明实施例提供了一种可编排多数据源数据同步聚合方法及装置。
第一方面，本申请实施例提供了一种可编排多数据源数据同步聚合方法，包括：
获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
如果无，则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式。
作为本申请一优选实施例，所述方法还包括：
所述在启动第n个定时同步任务之前，如果所述数据库中存储有第n个定时同步任务待同步的数据，则根据所述映射关系，同步所述第n个定时同步任务对应的数据源中的数据，并覆盖所述数据库已存储的与第n个定时同步任务待同步的数据相同的数据。
作为本申请一优选实施例，所述根据所述数据库与每个定时同步任务之间的映射关系处理从对应数据源同步的数据，并存储在所述数据库中，包括：
确定第n个定时同步任务同步的数据存储的位置为第m位置，根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置，其中，m为自然数。
作为本申请一优选实施例，所述根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置之前，包括：
确定第n+1个定时同步任务同步的数据是否有与第n个定时同步任务同步的数据的重复，如果有，执行所述数据库更新语句，根据所述映射关系获取第n个定时同步任务未获取的数据，并更新第n个定时同步任务同步的数据。
作为本申请一优选实施例，所述判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式，包括：
确定所述被删除的定时同步任务从对应的数据源同步的数据是否为融合数据，如果是，则在所述数据库中查找被删除的定时同步任务同步的数据存储的位置并删除被删除的定时同步任务同步的数据的标记，同时删除所述映射关系中数据库与被删除的定时同步任务映射关系。
作为本申请一优选实施例，所述每个定时同步任务同步数据之后，包括：
对每个定时同步任务的同步数据进行归一化处理后存储。
与现有技术相比，本申请实施例提供了一种可编排多数据源数据同步聚合方法，通过配置的数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系进行数据的同步，这样就不会出现现有技术中的数据信息丢失的技术问题。
第二方面，本申请实施例还提供了一种可编排多数据源数据同步聚合装置，包括：
获取模块，用于获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
查询模块，用于在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
存储模块，如果无，用于则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
启动模块，用于根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
判断模块，用于判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式。
与现有技术相比，本申请实施例提供了本申请实施例还提供了一种可编排多数据源数据同步聚合装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
图1是本申请实施例提供的一种可编排多数据源数据同步聚合方法的流程示意图；
图2是本申请实施例提供的一种可编排多数据源数据同步聚合装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
第一方面，如图1所示，本申请实施例提供了一种可编排多数据源数据同步聚合方法，包括：
步骤S01，获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
需要说明的是，本申请主要应用于软件系统，此软件系统需要汇集某公司所有员工在不同数据源的相关数据，所以此软件系统需要从不同的数据源同步相关的数据，在同步数据之前，用户需要在软件系统上创建n个定时同步任务，在创建定时同步任务时，需要配置每个定时同步任务待获取数据的数据源，同时在每个数据源中选择待获取的数据的代码，此代码在配置之前已经设置完成，如果获取的数据为某公司员工的信息，则此代码可以为公司的代码，因为一个数据源中会有很多信息，不是所有信息都是需要同步的，所以需要通过此代码识别和确认待获取的数据。
在创建定时同步任务时，还需要创建数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系及每个定时同步任务的定时启动时间，此数据库为软件系统的数据库，数据库中需要存储同步的数据，所以需要设定数据库中存储字段与每个定时同步任务待同步数据之间的映射关系，数据库中用户表中具有存储字段和存储位置，存储字段可以为用户名、电话，邮箱等等，如每个数据源对应一int字节，int是一种数据类型，在编程语言（C、C++、Java等）中，int是用于定义整数类型变量的标识符。
步骤S02，在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
在本申请一实施例中，步骤S03，所述在启动第n个定时同步任务之前，如果所述数据库中存储有第n个定时同步任务待同步的数据，则根据所述映射关系，同步所述第n个定时同步任务对应的数据源中的数据，并覆盖所述数据库已存储的与第n个定时同步任务待同步的数据相同的数据。
需要说明的是，在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；因为数据库中有可能在没有进行同步数据之前已经有历史的数据存在，为了避免新同步数据与历史数据重复，所以首先需要确定数据库中是否有所述数据库中是否存储有第n个定时同步任务待同步数据，如果所述数据库中存储有第n个定时同步任务待同步的数据，则根据所述映射关系，同步所述第n个定时同步任务对应的数据源中的数据，并覆盖所述数据库已存储的与第n个定时同步任务待同步的数据相同的数据。在本申请实施例中，实际上覆盖的过程实际上只存储新同步的数据，数据库中原有的数据被覆盖，不会在存在。
步骤S04，如果无，则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
步骤S04具体包括：确定第n个定时同步任务同步的数据存储的位置为第m位置，根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置，其中，m为自然数。
所述根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置之前，包括：
确定第n+1个定时同步任务同步的数据是否有与第n个定时同步任务同步的数据的重复，如果有，执行所述数据库更新语句，根据所述映射关系获取第n个定时同步任务未获取的数据，并更新第n个定时同步任务同步的数据。
需要说明的是，如果数据库中无第n个定时同步任务待同步数据，则直接执行插入语句，并标记融合字段（int字节）的第n位置。
步骤S05，根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
需要说明的是，相关系统（如零信任平台，后文使用platform代指）创建数据定时同步任务 A、B和C，定时启动时间分别为0点、1点、2点。
0点platform系统触发数据源A定时任务，同步成功后，同步30个用户；首先需要判断platform系统的数据库用户表是否有这些用户，如果没有直接执行插入语句、同步数据成功后，并标记融合字段（int字节）（opcode）的第1位。
1点platform系统触发数据源B定时任务，B任务开始同步用户，其中用户登录账号“zhangsan”在A数据源同步任务中已经同步，Platform系统判断数据库用户表中存在账号“zhangsan”用户。触发融合机制，判断A任务占用了融合字段（opcode）的第1位，B任务直接占用第2位，并根据A和B数据源对数据库的映射关系，B数据源中的账号“zhangsan”的相关映射会进行同步，执行数据库更新语句，把A未同步的数据进行同步。
2点platform系统触发数据源C定时任务，C任务开始同步用户，其中用户账号“zhangsan”在A、B数据源中已经同步。
Platform系统判断数据库用户表中存在账号“zhangsan”用户，触发融合机制，判断A任务占用了融合字段（opcode）的第1位，B任务占用第2位，C任务直接占用第3位，并根据C数据源对数据库的映射关系，C数据源中的账号“zhangsan”的相关映射会进行同步，执行数据库更新语句，把A、B未同步的数据进行同步。
至此platform系统中的三个定时同步任务A、B、C执行完成，并因为账号“zhangsan”需要唯一，对“zhangsan”账号进行融合。
所述每个定时同步任务同步数据之后，包括：
对每个定时同步任务的同步数据进行归一化处理后存储。
需要说明的是，通过归一化处理后，可以方便在数据库中进行处理，比如从数据源中获取的数据标识可以按照统一标准进行处理后，进行存储。
步骤S06，判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式。
步骤S06具体包括：确定所述被删除的定时同步任务从对应的数据源同步的数据是否为融合数据，如果是，则在所述数据库中查找被删除的定时同步任务同步的数据存储的位置并删除被删除的定时同步任务同步的数据的标记，同时删除所述映射关系中数据库与被删除的定时同步任务映射关系。
需要说明的是，本申请中的融合数据实际上是指至少两个数据源中存储有此数据，C定位同步任务对应的数据源中删除用户账号“zhangsan”、“wangwu”，并执行platform定时同步任务，C定位同步任务删除用户账号“zhangsan”、“wangwu”时，判断“zhangsan”为融合账号，所以抹除opcode中C定时同步任务的标记，并删除C定位同步任务与数据库的映射关系映射中的字段“邮箱”及“wangwu”为C数据源账号，直接删除。
至此platform同步任务完整流程完成，先后进行数据同步、更新、删除操作。
第二方面，如图2所示，本申请实施例还提供了一种可编排多数据源数据同步聚合装置，包括：
获取模块21，用于获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
查询模块22，用于在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
存储模块23，如果无，用于则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
启动模块24，用于根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
判断模块25，用于判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式。
与现有技术相比，本申请实施例提供了本申请实施例还提供了一种可编排多数据源数据同步聚合装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (6)

1.一种可编排多数据源数据同步聚合方法，其特征在于，包括：
获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
如果无，则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式；
所述判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式，包括：
确定所述被删除的定时同步任务从对应的数据源同步的数据是否为融合数据，如果是，则在所述数据库中查找被删除的定时同步任务同步的数据存储的位置并删除被删除的定时同步任务同步的数据的标记，同时删除所述映射关系中数据库与被删除的定时同步任务映射关系。
2.如权利要求1所述的一种可编排多数据源数据同步聚合方法，其特征在于，所述方法还包括：
所述在启动第n个定时同步任务之前，如果所述数据库中存储有第n个定时同步任务待同步的数据，则根据所述映射关系，同步所述第n个定时同步任务对应的数据源中的数据，并覆盖所述数据库已存储的与第n个定时同步任务待同步的数据相同的数据。
3.如权利要求1所述的一种可编排多数据源数据同步聚合方法，其特征在于，所述根据所述数据库与每个定时同步任务之间的映射关系处理从对应数据源同步的数据，并存储在所述数据库中，包括：
确定第n个定时同步任务同步的数据存储的位置为第m位置，根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置，其中，m为自然数。
4.如权利要求3所述的一种可编排多数据源数据同步聚合方法，其特征在于，所述根据所述映射关系将同步的第n+1个同步任务同步的数据依次存储在与第m个位置之后的第m+1位置之前，包括：
确定第n+1个定时同步任务同步的数据是否有与第n个定时同步任务同步的数据的重复，如果有，执行所述数据库更新语句，根据所述映射关系获取第n个定时同步任务未获取的数据，并更新第n个定时同步任务同步的数据。
5.如权利要求1所述的一种可编排多数据源数据同步聚合方法，其特征在于，所述每个定时同步任务同步数据之后，包括：
对每个定时同步任务的同步数据进行归一化处理后存储。
6.一种可编排多数据源数据同步聚合装置，其特征在于，包括：
获取模块，用于获取用户创建的n个定时同步任务及数据库中的存储字段与每个定时同步任务待同步数据之间的映射关系，每个所述定时同步任务一一对应一定时启动时间，所述定时同步任务用于从对应的数据源中同步数据并存储在数据库中；
查询模块，用于在启动第n个定时同步任务之前，查询所述数据库中是否存储有第n个定时同步任务待同步数据；
存储模块，如果无，用于则根据所述映射关系获取所述第n个定时同步任务对应的数据源中的数据，并存储在所述数据库中；其中，n为自然数；
启动模块，用于根据定时启动时间的先后顺序依次启动第n+1个定时同步任务，在启动每个定时同步任务时，根据所述映射关系处理从对应数据源同步的数据，并存储在所述数据库中；
判断模块，用于判断是否有定时同步任务被删除，如果有，判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式；
所述判断被删除的定时同步任务从对应的数据源中同步的数据是否为融合数据决定对所述数据的处理方式，包括：
确定所述被删除的定时同步任务从对应的数据源同步的数据是否为融合数据，如果是，则在所述数据库中查找被删除的定时同步任务同步的数据存储的位置并删除被删除的定时同步任务同步的数据的标记，同时删除所述映射关系中数据库与被删除的定时同步任务映射关系。
CN202311331534.8A 2023-10-16 2023-10-16 一种可编排多数据源数据同步聚合方法及装置 Active CN117076574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311331534.8A CN117076574B (zh) 2023-10-16 2023-10-16 一种可编排多数据源数据同步聚合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311331534.8A CN117076574B (zh) 2023-10-16 2023-10-16 一种可编排多数据源数据同步聚合方法及装置

Publications (2)

Publication Number Publication Date
CN117076574A CN117076574A (zh) 2023-11-17
CN117076574B true CN117076574B (zh) 2024-01-23

Family

ID=88712022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311331534.8A Active CN117076574B (zh) 2023-10-16 2023-10-16 一种可编排多数据源数据同步聚合方法及装置

Country Status (1)

Country Link
CN (1) CN117076574B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118069660B (zh) * 2024-04-22 2024-07-12 中航信移动科技有限公司 一种多数据源的数据归一化方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108093007A (zh) * 2016-11-23 2018-05-29 卓望数码技术（深圳）有限公司 一种低带宽网络下的快速同步数据的方法以及系统
CN111221900A (zh) * 2018-11-27 2020-06-02 珠海横琴盛达兆业科技投资有限公司 一种多个异构系统同步用户数据到一个ldap的方法
CN111240645A (zh) * 2020-01-06 2020-06-05 北京纷扬科技有限责任公司 一种基于PaaS的异构软件集成方法和系统
CN112148788A (zh) * 2020-08-25 2020-12-29 珠海市卓轩科技有限公司 异构数据源的数据同步方法及系统
CN112328675A (zh) * 2020-11-25 2021-02-05 上海市计算技术研究所 异构数据转换方法、装置、设备及存储介质
CN113032379A (zh) * 2021-03-16 2021-06-25 广东电网有限责任公司广州供电局 面向配网运检多源数据采集的方法
CN113961569A (zh) * 2021-12-22 2022-01-21 上海柯林布瑞信息技术有限公司 一种医疗数据etl任务同步方法和装置
CN114036238A (zh) * 2021-11-23 2022-02-11 深信服科技股份有限公司 数据同步方法、装置、设备及存储介质
CN115794953A (zh) * 2022-12-07 2023-03-14 上海威派格智慧水务股份有限公司 基于表数据的数据同步方法、系统、设备及计算机可读介质
WO2023185310A1 (zh) * 2022-03-29 2023-10-05 京东方科技集团股份有限公司 数据同步方法和系统、计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557497A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据同步方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108093007A (zh) * 2016-11-23 2018-05-29 卓望数码技术（深圳）有限公司 一种低带宽网络下的快速同步数据的方法以及系统
CN111221900A (zh) * 2018-11-27 2020-06-02 珠海横琴盛达兆业科技投资有限公司 一种多个异构系统同步用户数据到一个ldap的方法
CN111240645A (zh) * 2020-01-06 2020-06-05 北京纷扬科技有限责任公司 一种基于PaaS的异构软件集成方法和系统
CN112148788A (zh) * 2020-08-25 2020-12-29 珠海市卓轩科技有限公司 异构数据源的数据同步方法及系统
CN112328675A (zh) * 2020-11-25 2021-02-05 上海市计算技术研究所 异构数据转换方法、装置、设备及存储介质
CN113032379A (zh) * 2021-03-16 2021-06-25 广东电网有限责任公司广州供电局 面向配网运检多源数据采集的方法
CN114036238A (zh) * 2021-11-23 2022-02-11 深信服科技股份有限公司 数据同步方法、装置、设备及存储介质
CN113961569A (zh) * 2021-12-22 2022-01-21 上海柯林布瑞信息技术有限公司 一种医疗数据etl任务同步方法和装置
WO2023185310A1 (zh) * 2022-03-29 2023-10-05 京东方科技集团股份有限公司 数据同步方法和系统、计算机可读存储介质
CN115794953A (zh) * 2022-12-07 2023-03-14 上海威派格智慧水务股份有限公司 基于表数据的数据同步方法、系统、设备及计算机可读介质

Also Published As

Publication number Publication date
CN117076574A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN117076574B (zh) 一种可编排多数据源数据同步聚合方法及装置
CN107688500B (zh) 一种分布式任务处理方法、装置、系统及设备
US5758354A (en) Application independent e-mail synchronization
CN109542529B (zh) 基于函数名称的埋点方法、装置、计算机设备及存储介质
CN110674146A (zh) 一种数据同步方法、同步端、待同步端、设备及存储介质
EP2328302B1 (en) A method and device for maintaining a changelog in data synchronization
CN112364049B (zh) 数据同步脚本生成方法、系统、终端及存储介质
CN110543469B (zh) 一种数据库版本管理方法及服务器
US20220179642A1 (en) Software code change method and apparatus
CN110399227B (zh) 一种数据访问方法、装置和存储介质
US20100042638A1 (en) Apparatus, method, and computer program product for synchronizing data sources
CN111460241A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN110532006B (zh) 一种基于状态机的复杂配置文件升级方法
CN111104151B (zh) 一种基于Shell脚本的Git代码简化的管理方法
CN107450923B (zh) 一种定制基线分离的程序实现方法及装置
CN112256247B (zh) 模块组件的依赖处理方法、装置、计算机设备及存储介质
CN113821249A (zh) 项目开发配置的方法、装置、电子设备和可读存储介质
CN108416035A (zh) 一种基于disconf的数据库映射文件统一管理方法
CN115687276B (zh) 一种文件处理方法、装置、电子设备及存储介质
CN109829010B (zh) 一种词条修改方法和词条修改装置
CN106372121B (zh) 服务器及数据处理方法
CN111813769B (zh) 数据加工方法与装置
CN111079199B (zh) 基于区块链技术的企业信用数据截图防篡改方法
CN116541118B (zh) 网络设备管理方法、装置及电子设备
CN117539883B (zh) 应用模版更新方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant