CN111259082B - 大数据环境下实现全量数据同步的方法 - Google Patents
大数据环境下实现全量数据同步的方法 Download PDFInfo
- Publication number
- CN111259082B CN111259082B CN202010087564.9A CN202010087564A CN111259082B CN 111259082 B CN111259082 B CN 111259082B CN 202010087564 A CN202010087564 A CN 202010087564A CN 111259082 B CN111259082 B CN 111259082B
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- module
- source
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据环境下实现全量数据同步的方法，该方法包括步骤：执行插入源数据模块、执行生成交集数据模块、基于交集数据获取并插入需添加的记录模块、基于交集数据生成需更新的记录模块、基于更新的记录更新数据模块、基于交集数据删除需删除的记录模块。采用本发明，在做数据交换时不仅支持对单表大数据量的全量数据同步，同时支持业务回滚，还支持以异步方式对多表大数据量的全量数据同步提供实现方法。最关键的是满足全量数据同步完成后，且能很好的支撑原有数据的业务应用和数据分析。
Description
技术领域
本发明涉及计算机软件领域，特别涉及企业应用领域，具体指大数据环境下实现全量数据同步的方法。
背景技术
在企业级数据治理领域，元数据管理是数据治理的基础，它负责将企业涉及的各类源系统数据进行集成和管理，为企业业务系统和数据分析的开发、运维提供支撑。元数据采集作为元数据管理的基础，负责采集以上各类元数据，并将这些数据整合处理后统一存储于元数据仓库，支撑元数据的统一管理。元数据采集需要定期全量同步更新某一类别的元数据，即采集该类别的源系统数据，并全量更新至元数据仓库，以保证数据的准实时性和有效性。随着企业业务的发展，源系统建设越来越多，源系统数据的复杂程度也越来越大，元数据采集需要支持采集的数据量也越来越大，支持全量同步更新大数据量元数据成为问题的瓶颈。
为解决上述问题，目前有多种解决方案，如下：
比较上述解决方案，要么无法满足业务需求，要么操作步骤繁多，效率低下，因此迫切需要一种稳定高效的支持大数据量的全量数据同步的方法，满足全量数据同步完成后，目标元数据保持与源元数据一致，解决元数据采集支撑元数据的业务应用和数据分析的问题。
发明内容
本发明的主要目的在于提供一种稳定高效的支持大数据量的全量数据同步的方法，满足全量数据同步完成后，目标元数据保持与源元数据一致，解决元数据采集支撑元数据的业务应用和数据分析的问题。
为达到上述目的，本发明提供了一种大数据环境下实现全量数据同步的方法，该方法包括如下步骤：
(1)执行插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中；
(2)执行生成交集数据模块，联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
(3)基于交集数据获取并插入需添加的记录模块，按业务主键连接交集数据和源元数据，查询获取需新添加的所有数据，并插入至目标元数据表；
(4)基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录；
(5)基于更新的记录更新数据模块，按业务主键连接需更新的记录与源元数据，执行更新；
(6)基于交集数据删除需删除的记录模块，按业务主键连接交集数据和目标元数据，查询获取需删除的所有数据，得出所有需删除的数据执行删除。
所述的插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中，包括以下步骤：
(11)判断元数据仓库中是否已经存在表T`，如T`已经存在则表示上一个全量数据同步的任务因为一些原因中断了，此时跳过下列步骤，直接进入(2)生成交集数据模块的操作；如T`不存在则进入步骤(12)；
(12)在元数据仓库中复制创建新的元数据表(记为T`)，表结构与存储目标元数据的表(记为T)结构完全一致；
(13)将源系统的元数据，分批插入元数据仓库新创建的元数据表T`中；
(14)为新创建的元数据表T`添加业务主键索引；
(15)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(16)；
(16)删除表T`，且该任务终止，并给出错误提示。
所述的生成交集数据模块，包括以下步骤：
(21)判断元数据仓库中是否已经存在表TMP_UNION，如已经存在则删除之；
(22)联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
(23)将查询所得的统计数据存储于新创建的临时表TMP_UNION中；
(24)分别为临时表TMP_UNION创建业务主键索引、统计条目索引；
(25)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(26)；
(26)删除临时表TMP_UNION，且该任务终止，并给出错误提示。
所述的基于交集数据获取并插入需添加的记录模块，包括以下步骤：
(31)按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并插入至目标元数据表；
(32)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(33)；
(33)按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并在目标元数据表删除这些数据；
(34)继续执行步骤(26)。
所述的基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录，包括以下步骤：
(41)连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，采取的方法是先拼接元数据的所有属性ATT_ATTRS，再取MD5运算，得出唯一散列值，然后比较源元数据属性的散列值MD5_T_FEATURES和目标元数据属性的散列值MD5_T`_FEATURES，如果散列值一致则认为两者的属性没有任何变更，标记属性状态为无变更，否则认为属性发生变更，标记属性状态为有变更。数据存储于新创建的临时表TMP_UPDATE中；
(42)为需更新的记录表的业务主键添加索引；
(43)为需更新的记录表的属性状态添加索引；
(44)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(45)；
(45)删除临时表TMP_UPDATE；
(45)继续执行步骤(33)。
所述的基于更新的记录更新数据模块，包括以下步骤：
(51)连接需更新的记录表TMP_UPDATE与源元数据表，并在目标元数据表执行更新；
所述的基于交集数据删除需删除的记录模块，包括以下步骤：
(61)按业务主键连接交集数据和目标元数据，同时条目为1的即为需删除的所有数据，得出所有需删除的数据；
(62)在目标元数据表执行删除。
(63)对该模块进行合法性校验，如校验通过，则删除临时表TMP_UPDATE；
(64)删除临时表TMP_UNION；
(65)删除表T`。
至此，全量数据同步工作完成，目标元数据保持与源元数据一致，元数据的业务应用和数据分析不受影响。
从上述技术方案可以看出，本发明提供的大数据环境下实现全量数据同步的方法，不仅提供对单表大数据量的全量数据同步提供实现方法，同时支持业务回滚，还支持以异步方式对多表大数据量的全量数据同步提供实现方法。最关键的是满足全量数据同步完成后，目标元数据保持与源元数据一致，且能支撑原有元数据的业务应用和数据分析。
附图说明
图1是本发明提供的全量数据同步流程图；
图2是本发明提供的全量数据同步类图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施步骤，并参照附图，对本发明进一步详细说明。
如图1所示，图1是本发明提供的全量数据同步流程图，该流程具体包括以下步骤：
(1)插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中；
(2)生成交集数据模块，联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
(3)基于交集数据获取并插入需添加的记录模块，按业务主键连接交集数据和源元数据，查询获取需新添加的所有数据，并插入至目标元数据表；
(4)基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录；
(5)基于更新的记录更新数据模块，按业务主键连接需更新的记录与源元数据，执行更新；
(6)基于交集数据删除需删除的记录模块，按业务主键连接交集数据和目标元数据，查询获取需删除的所有数据，得出所有需删除的数据执行删除。
在一种较优选的实施方式中，所述的插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中，包括以下步骤：
(11)判断元数据仓库中是否已经存在表T`，如T`已经存在则表示上一个全量数据同步的任务因为一些原因中断了，此时跳过下列步骤，直接进入(2)生成交集数据模块的操作；如T`不存在则进入步骤(12)；
(12)在元数据仓库中复制创建新的元数据表(记为T`)，表结构与存储目标元数据的表(记为T)结构完全一致；
(13)将源系统的元数据，分批插入元数据仓库新创建的元数据表T`中；
(14)为新创建的元数据表T`添加业务主键索引；
(15)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(16)；
(16)删除表T`，且该任务终止，并给出错误提示。
在一种较优选的实施方式中，所述的生成交集数据模块，包括以下步骤：
(21)判断元数据仓库中是否已经存在表TMP_UNION，如已经存在则删除之；
(22)联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
(23)将查询所得的统计数据存储于新创建的临时表TMP_UNION中；
(24)分别为临时表TMP_UNION创建业务主键索引、统计条目索引；
(25)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(26)；
(26)删除临时表TMP_UNION，且该任务终止，并给出错误提示。
在一种较优选的实施方式中，所述的基于交集数据获取并插入需添加的记录模块，包括以下步骤：
(31)按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并插入至目标元数据表；
(32)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(33)；
(33)按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并在目标元数据表删除这些数据；
(34)继续执行步骤(26)。
在一种较优选的实施方式中，所述的基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录，包括以下步骤：
(41)连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，采取的方法是先拼接元数据的所有属性ATT_ATTRS，以特定分隔符(如“_”)拼接所有属性字段，再取MD5运算，得出唯一散列值，然后比较源元数据属性的散列值MD5_T_FEATURES和目标元数据属性的散列值MD5_T`_FEATURES，如果散列值一致则认为两者的属性没有任何变更，标记属性状态为无变更，否则认为属性发生变更，标记属性状态为有变更。将查询运算结果插入新创建的临时表TMP_UPDATE。满足TMP_UPDATE.MD5_T_FEATURES<>TMP_UPDATE.MD5_T`_FEATURES的记录，即为需要更新的记录；
其中MD5运算如下：
(42)为需更新的记录表的业务主键添加索引；
(43)为需更新的记录表的属性状态添加索引；
(44)对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入(45)；
(45)删除临时表TMP_UPDATE；
(45)继续执行步骤(33)。
在一种较优选的实施方式中，所述的基于更新的记录更新数据模块，包括以下步骤：
(51)连接需更新的记录表TMP_UPDATE与源元数据表T，结合TMP_UPDATE.
MD5_T_FEATURES<>TMP_UPDATE.MD5_T`_FEATURES条件，查询得出的所有记录更新至T表；
在一种较优选的实施方式中，所述的基于交集数据删除需删除的记录模块，包括以下步骤：
(61)按业务主键连接交集数据和目标元数据，同时条目为1的即为需删除的所有数据，得出所有需删除的数据；
(62)在目标元数据表执行删除。
(63)对该模块进行合法性校验，如校验通过，则删除临时表TMP_UPDATE；
(64)删除临时表TMP_UNION；
(65)删除表T`。
较佳地，为保障数据操作的一致性，需为以上各模块添加业务回滚操作，并且当前模块的业务回滚应包括上一模块的业务回滚，保证数据业务回滚是彻底的，数据是一致的。具体实现如图2所示，图2是本发明提供的全量数据同步类图，针对该图具体说明如下：
(2-1)类101即为图1中的步骤101的实现，类102即为图1中的步骤102的实现，以此类推；
(2-2)为实现图1步骤的串行执行，通过装饰者模式，类101持有类102，类102持有103，以此类推；
(2-3)图1中步骤101、步骤102等操作顺序的控制，操作异常时业务回滚操作的控制，在方法AbstractStep.step中实现，伪代码如下
通过上述设计，保障了操作步骤的执行顺序，同时在出现异常情形(如插入数据异常，执行过程异常掉电等)时，还能保障业务回滚操作，从而保证了数据的一致性。
更佳地，图1针对的是一个表数据的操作流程，当遇到多个表需要相同的操作流程时，则需要实现多套图1的操作流程。为灵活应对该场景，考虑将图1中涉及的源元数据表T`、目标元数据表T及其属性参数化，将图1操作步骤过程中产生的临时表TMP_UNION、TMP_UPDATE则添加本次执行的会话ID，变为TMP_UNION_${SID}、TMP_UPDATE_${SID}，其中${SID}为本次执行的会话ID。此时每一个步骤涉及需执行的SQL都是根据参数动态拼装的。具体实现上如下：
(3-1)为目标元数据表T的实体添加注解，类似如下
(3-2)获取表名时，基于注解从实体类动态获取表名，如下：
(3-3)获取表的字段时，基于注解从实体类动态获取表字段，如下：
(3-4)基于注解获取的表名、字段名动态拼装SQL，并执行SQL，拼装SQL类似如下：
通过上述设计，可以灵活应对多表全量数据同步的场景。
更佳地，对于多表全量数据同步的场景，不同表之间的操作是互不影响的，为进一步提升操作效率，在软、硬件条件允许的情况下，可使用线程池多线程的异步方式实现多表全量数据同步，操作伪代码如下：
通过上述设计，进一步提升了多表全量数据同步的操作效率。
至此，全量数据同步工作完成，目标元数据保持与源元数据一致，元数据的业务应用和数据分析不受影响。
以上所述的本发明的具体实施例，并不用以限制本申请，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种在大数据环境下实现全量数据同步的方法，该方法包括如下步骤：
（1）执行插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中；
（2）执行生成交集数据模块，联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
（3）基于交集数据获取并插入需添加的记录模块，按业务主键连接交集数据和源元数据，查询获取需新添加的所有数据，并插入至目标元数据表；
（4）基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录；
（5）基于更新的记录更新数据模块，按业务主键连接需更新的记录与源元数据，执行更新；
（6）基于交集数据删除需删除的记录模块，按业务主键连接交集数据和目标元数据，查询获取需删除的所有数据，得出所有需删除的数据执行删除；
所述的生成交集数据模块，包括以下步骤：
（21）判断元数据仓库中是否已经存在表TMP_UNION，如已经存在则删除之；
（22）联合源元数据和元数据仓库中的目标元数据，做可重复的并集操作，并将结果按业务主键分组统计条目；
（23）将查询所得的统计数据存储于新创建的临时表TMP_UNION中；
（24）分别为临时表TMP_UNION创建业务主键索引、统计条目索引；
（25）对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入（26）；
（26）删除临时表TMP_UNION，且任务终止，并给出错误提示。
2.根据权利要求1所述的在大数据环境下实现全量数据同步的方法，其特征在于，所述的插入源数据模块，负责将源元数据分批插入元数据仓库新创建的元数据表中，包括以下步骤：
（11）判断元数据仓库中是否已经存在表T`，如T`已经存在则表示上一个全量数据同步的任务因为一些原因中断了，此时跳过下列步骤，直接进入（2）生成交集数据模块的操作；如T`不存在则进入步骤（12）；
（12）在元数据仓库中复制创建新的元数据表T，表结构与存储目标元数据的表T结构完全一致；
（13）将源系统的元数据，分批插入元数据仓库新创建的元数据表T`中；
（14）为新创建的元数据表T`添加业务主键索引；
（15）对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入（16）；
（16）删除表T`，且任务终止，并给出错误提示。
3.根据权利要求1所述的在大数据环境下实现全量数据同步的方法，其特征在于，所述的基于交集数据获取并插入需添加的记录模块，包括以下步骤：
（31）按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并插入至目标元数据表；
（32）对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入（33）；（33）按业务主键连接交集数据和源元数据，同时条目为1的即为需添加的所有数据，得出需新添加的所有数据，并在目标元数据表删除这些数据；
（34）继续执行步骤（26）。
4.根据权利要求3所述的在大数据环境下实现全量数据同步的方法，其特征在于，所述的基于交集数据生成需更新的记录模块，按业务主键连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，得出需更新的记录，包括以下步骤：
（41）连接交集数据、源元数据、目标元数据，并对源元数据的所有属性、目标元数据的所有属性做比对，采取的方法是先拼接元数据的所有属性ATT_ATTRS，再取MD5运算，得出唯一散列值，然后比较源元数据属性的散列值MD5_T_FEATURES和目标元数据属性的散列值MD5_T`_FEATURES，如果散列值一致则认为两者的属性没有任何变更，标记属性状态为无变更，否则认为属性发生变更，标记属性状态为有变更，数据存储于新创建的临时表TMP_UPDATE中；
（42）为需更新的记录表的业务主键添加索引；
（43）为需更新的记录表的属性状态添加索引；
（44）对该模块进行合法性校验，如校验通过，则进入下一个模块，否则进入（45）；（45）删除临时表TMP_UPDATE；
（45）继续执行步骤（33）。
5.根据权利要求1所述的在大数据环境下实现全量数据同步的方法，其特征在于，所述的基于更新的记录更新数据模块，包括以下步骤：
（51）连接需更新的记录表TMP_UPDATE与源元数据表，并在目标元数据表执行更新。
6.根据权利要求1所述的在大数据环境下实现全量数据同步的方法，其特征在于，所述的基于交集数据删除需删除的记录模块，包括以下步骤：
（61）按业务主键连接交集数据和目标元数据，同时条目为1的即为需删除的所有数据，得出所有需删除的数据；
（62）在目标元数据表执行删除；
（63）对该模块进行合法性校验，如校验通过，则删除临时表TMP_UPDATE；
（64）删除临时表TMP_UNION；
（65）删除表T`。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010087564.9A CN111259082B (zh) | 2020-02-11 | 2020-02-11 | 大数据环境下实现全量数据同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010087564.9A CN111259082B (zh) | 2020-02-11 | 2020-02-11 | 大数据环境下实现全量数据同步的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259082A CN111259082A (zh) | 2020-06-09 |
| CN111259082B true CN111259082B (zh) | 2023-07-21 |
Family
ID=70949459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010087564.9A Active CN111259082B (zh) | 2020-02-11 | 2020-02-11 | 大数据环境下实现全量数据同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259082B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114510534B (zh) * | 2022-01-28 | 2022-09-06 | 广东航宇卫星科技有限公司 | 数据同步方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779185A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种高可用分布式全文索引方法 |
| CN105843867A (zh) * | 2016-03-17 | 2016-08-10 | 畅捷通信息技术股份有限公司 | 基于元数据模型的检索方法和基于元数据模型的检索装置 |
| CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
| CN106469158A (zh) * | 2015-08-17 | 2017-03-01 | 杭州海康威视系统技术有限公司 | 数据同步方法和装置 |
| CN109739936A (zh) * | 2019-01-23 | 2019-05-10 | 杭州数梦工场科技有限公司 | 数据同步方法、系统、服务器及计算机可读存储介质 |
| CN110019539A (zh) * | 2017-07-14 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种数据仓库的数据同步的方法和装置 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN110442585A (zh) * | 2019-06-21 | 2019-11-12 | 中国平安财产保险股份有限公司 | 数据更新方法、数据更新装置、计算机设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10289688B2 (en) * | 2010-06-22 | 2019-05-14 | International Business Machines Corporation | Metadata access in a dispersed storage network |
| KR101989802B1 (ko) * | 2017-02-28 | 2019-06-18 | 주식회사 스패로우 | 테스트 케이스를 이용하여 테스트를 수행하는 방법 및 장치 |
-
2020
- 2020-02-11 CN CN202010087564.9A patent/CN111259082B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779185A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种高可用分布式全文索引方法 |
| CN106469158A (zh) * | 2015-08-17 | 2017-03-01 | 杭州海康威视系统技术有限公司 | 数据同步方法和装置 |
| CN105843867A (zh) * | 2016-03-17 | 2016-08-10 | 畅捷通信息技术股份有限公司 | 基于元数据模型的检索方法和基于元数据模型的检索装置 |
| CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
| CN110019539A (zh) * | 2017-07-14 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种数据仓库的数据同步的方法和装置 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN109739936A (zh) * | 2019-01-23 | 2019-05-10 | 杭州数梦工场科技有限公司 | 数据同步方法、系统、服务器及计算机可读存储介质 |
| CN110442585A (zh) * | 2019-06-21 | 2019-11-12 | 中国平安财产保险股份有限公司 | 数据更新方法、数据更新装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈红辉 ; .一种基于元数据模型管理的通用比对解决方案.信息与电脑(理论版).2017,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259082A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9026901B2 (en) | Viewing annotations across multiple applications | |
| KR101083488B1 (ko) | 객체 모델의 영향 분석 | |
| US10783122B2 (en) | Method and apparatus for recording and managing data object relationship data | |
| US10565208B2 (en) | Analyzing multiple data streams as a single data object | |
| US7672930B2 (en) | System and methods for facilitating a linear grid database with data organization by dimension | |
| RU2409847C2 (ru) | Отображение модели файловой системы в объект базы данных | |
| US7487174B2 (en) | Method for storing text annotations with associated type information in a structured data store | |
| US8825700B2 (en) | Paging hierarchical data | |
| US20100042605A1 (en) | Versioning relational database disjoint records | |
| US20070214104A1 (en) | Method and system for locking execution plan during database migration | |
| CA2379930A1 (en) | Multi-model access to data | |
| US7765219B2 (en) | Sort digits as number collation in server | |
| CN110717073B (zh) | 云流程平台中结合业务数据实现流程查询处理的系统及其方法 | |
| Brahmia et al. | Schema versioning in conventional and emerging databases | |
| CN111259082B (zh) | 大数据环境下实现全量数据同步的方法 | |
| CN112395307A (zh) | 执行语句的方法、装置、服务器及存储介质 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN107291938A (zh) | 订单查询系统及方法 | |
| US8316013B2 (en) | Programmatic retrieval of tabular data within a cell of a query result | |
| CN113760600B (zh) | 一种数据库备份方法、数据库还原方法和相关装置 | |
| US8630976B2 (en) | Fast search replication synchronization processes | |
| JP2004265421A (ja) | 選択されたオブジェクトに関する情報の要求を生成するためのシステムおよび方法 | |
| Křenek et al. | gLite Job Provenance—a job‐centric view | |
| Chapman et al. | Provenance and the Price of Identity | |
| CN116756141A (zh) | 理赔环节数据的查询方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210114 Address after: 518000 805g, 8 / F, Cuilin building, No. 10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province Applicant after: Shenzhen xingchuangchi Technology Co.,Ltd. Address before: 519000 room 110-348, building 18, creative Valley, 1889 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province (centralized office area) Applicant before: Chepeiqi (Zhuhai Hengqin) Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230619 Address after: 518131 A1626, Niulanqian Building, Minzhi Avenue, Xinniu Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Liuyin Technology Co.,Ltd. Address before: 518000 805g, 8 / F, Cuilin building, No. 10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province Applicant before: Shenzhen xingchuangchi Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |