CN111339103B - 一种基于全量分片和增量日志解析的数据交换方法及系统 - Google Patents

一种基于全量分片和增量日志解析的数据交换方法及系统 Download PDF

Info

Publication number
CN111339103B
CN111339103B CN202010176947.3A CN202010176947A CN111339103B CN 111339103 B CN111339103 B CN 111339103B CN 202010176947 A CN202010176947 A CN 202010176947A CN 111339103 B CN111339103 B CN 111339103B
Authority
CN
China
Prior art keywords
data
full
incremental
writing
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010176947.3A
Other languages
English (en)
Other versions
CN111339103A (zh
Inventor
王小玄
范浩哲
王小阳
雷俊鸽
林军军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Anranyun Network Technology Co ltd
Original Assignee
Henan Anranyun Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Anranyun Network Technology Co ltd filed Critical Henan Anranyun Network Technology Co ltd
Priority to CN202010176947.3A priority Critical patent/CN111339103B/zh
Publication of CN111339103A publication Critical patent/CN111339103A/zh
Application granted granted Critical
Publication of CN111339103B publication Critical patent/CN111339103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机网络技术领域，公开了一种基于全量分片和增量日志解析的数据交换方法，包括：步骤1、根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；步骤2.根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；步骤3.根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；步骤4：上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。源表结构不需要修改即可实现数据的分批以及增量获取，避免了线上业务暂停或服务宕机，在保证源数据的自身格式的同时，还能够实时的将源数据发送到目的端，提供及时的数据服务。

Description

一种基于全量分片和增量日志解析的数据交换方法及系统
技术领域
本发明计算机网络信息技术领域，特别是指一种基于全量分片和增量日志解析的数据交换方法及其系统。
背景技术
随着社会的进步和技术的发展，应用系统越来越多，各自的数据存在于自己的隔离网络内部，数据孤岛越来越多，增量和全量的数据交换方法打破了数据孤岛，全量分片读取源库数据避免了线上业务暂停服务，而增量的日志解析保护了源生态系统不被打破。而传统数据交换方法大致为，全量直接查库，数据量大的时候线上业务可能会宕机或者暂停服务，而增量技术大部分在源端增加时间戳或者全表对比，需要修改源表结构，同时也传输了更多的无用数据，造成更高的网络负载，破坏了源生态系统，和全量分片以及增量解析日志进行数据交换的方法相比在性能和稳定性上存在一定差距。
发明内容
本发明提出基于全量分片和增量日志解析的数据交换方法及其系统，实现不宕机获取源库全量数据以及不打破源生态获取增量数据，同时降低网络负载，打破数据孤岛。
本发明的技术方案是这样实现的：一种基于全量分片和增量日志解析的数据交换方法，包括：
步骤1.全量数据分片处理：根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；
步骤2.全量数据写入：根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端，同时记录写入时间点，其中时间点为最后一个数据的事件日志记录的时间；
步骤3.增量日志解析：根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
步骤4：增量数据写入：根据预设的作业映射关系，依据步骤2中记录的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端，并且记录本次时间点位置点。
作为优选的技术方案，在步骤1之前，从添加的数据库中获取元数据并存储。
作为优选的技术方案，步骤1具体包括：判断分片列数据类型；根据分片列数据类型匹配对应的算法对数据进行分片。
作为优选的技术方案，分片列数据类型是数字类型、字符类型或日期类型；数据类型的分片列数据根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；字符类型的分片列数据首先转化为数字类型的分片列数据，再根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；时间类型的分片列数据则根据预设的分片天数以及数据的首次产生日期和最后一次写入日期计算出总的分片数以及每片的区间。
作为优选的技术方案，步骤1中，还包括对分片数据按照时间顺序排序并进行清洗和去重的步骤。
作为优选的技术方案，在步骤2中，全量分片信息以预设的数据量或数据获取的时间段分批从数据库中获取数据并写入目标端。
作为优选的技术方案，还包括将目标端每行数据的最新更新时间记录到管理中台数据库的步骤。
一种基于全量分片和增量日志解析的数据交换平台，包括：
元数据管理单元，用于从添加的数据库中获取元数据并存储；
全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；
全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；
增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。
一种基于全量分片和增量日志解析的数据交换系统，包括：
数据源端，包括多个数据库，用于存储元数据；
目标端，用于存储从源端加载的数据；
数据交换平台，用于对源端和目标端之间的快捷数据交换，包括：
元数据管理单元，用于从添加的数据库中获取元数据并存储；
全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；
全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；
增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。
作为优选的技术方案，还包括管理中台数据库，用于存储目标端数据的更新记录。
本发明的有益效果在于：本发明不需要对源结构进行更改或者处理，不会产生对源端生态环境的污染，通过对数据进行分片分批导入数据，通过对增量日志解析的方式，将增量数据导入，不需要在源端增加时间戳或者全表对比，源表结构不需要修改，传输效率高，网络负载小，避免了线上业务暂停或服务宕机，在保证源数据的自身格式的同时，还能够实时的将源数据发送到目的端，提供及时的数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整体架构图；
图2为本发明中全量分片的流程图；
图3为本发明中全量分片数据和增量数据交换的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
如图1至图3共同所示，本申请涉及一种基于全量分片和增量日志解析的数据交换系统，包括：
数据源端，包括多个数据库，用于存储元数据；
目标端，用于存储从源端加载的数据；
数据交换平台，用于对源端和目标端之间的快捷数据交换，
管理中台数据库(中台DB)，用于存储目标端数据的更新记录。
其中，数据交换平台，包括：
元数据管理单元，用于从添加的数据库中获取元数据并存储；
全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；
全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；
增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。
本发明中数据交换系统采用以下方法，将源端的元数据导入目标端：
在进行数据交换之前，首先获取元数据：根据用户添加的数据库类型，执行不同的算法获取元数据并存储，不同的数据库类型获取方式不一致，具体包括，获取数据库名称；获取表名称；获取字段名称；获取字段类型；获取字段描述；存储库、表、字段、类型、长度数据到管理中台数据库；对元数据打标签，标注库表字段，并且对其进行详细描述。
例如：mysql：SELECT
TABLE_NAME,COLUMN_NAME,DATA_TYPE,COLUMN_COMMENT FROM information_schema.COLUMNS WHERE table_schema＝'dbawork'；
源端与目标端的数据交换具体包括以下步骤：
步骤1.全量数据分片处理，根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息。按照时间顺序对数据分片进行排序，同时对数据分片进行清洗和去重。
数据分片时，根据用户设置的分片列数据类型匹配不同的算法规则对数据进行分片：首先判断分片列数据类型，分片列数据类型包括数字类型、字符类型或日期类型。
数据类型的分片列数据根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；字符类型的分片列数据首先转化为数字类型的分片列数据，再根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；时间类型的字符类型的分片列数据则根据预设的分片天数以及数据的首次产生日期和最后一次写入日期(也就是将日期类型分片列数据转换成数字类型)计算出总的分片数以及每片的区间。
步骤2.全量数据写入：数据交换平台根据用户设置的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端，同时记录写入时间点，其中时间点为最后一个数据的事件日志记录的时间。
具体步骤如下：从消息队列中获取对应表的全量分片信息；每个分片启动一个线程获取该分片数据；使用Flink流数据处理技术清洗转换数据为用户设置的映射关系数据；根据用户设置的目标端访问信息写入目标端；记录目标端每行数据的最新更新时间到管理中台数据库以保证数据一致性。
根据对应数据表的全量分片消息分批从数据库读取数据写入目标端，同时记录完成写入时间点，具体包括：按照预定的数据量进行划分，即达到一定预设量，则划分为一批；或者按照数据获取的时间段进行划分，例如每1个小时内的数据划分为一批，按照划分结果进行分批传输。
步骤3.增量日志解析：根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
步骤4：增量数据写入：根据预设的作业映射关系，依据步骤2中记录的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端，并且记录本次位置点。
具体包括：开启数据库日志，例如mysql的Binlog设置为row模式，mssql开启CDC功能，oracle开启归档日志等；设置对应数据库表的用户和权限；解析各个数据库的增量日志存入消息队列。
记录的写入时间点或根据上次记录的位置点，重复操作根据作业映射关系实时从消息队列中获取对应增量数据，从管理中台库判断是否为最新数据，是则清洗转换写入目标端，同时记录此条数据的最新更新时间到管理中台数据库。
本发明属于计算机网络及关系型数据库数据传输技术应用领域，提供了一套完整的从源端到目标端的全量和增量以及元数据管理的数据交换方案，在线业务无需停顿，无需源端增加表字段，不仅保护了源生态系统而且降低了网络负载。
本领域普通人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机程序来编码实现，涉及的程序可存储于计算机可读取介质中，该程序在运行时，可包括如上所述各个方法的实施例的流程，所述的存储介质包括机械磁盘、固态硬盘等。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于全量分片和增量日志解析的数据交换方法，其特征在于，包括：
步骤1.全量数据分片处理：根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；
步骤2.全量数据写入：根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端，同时记录写入时间点，
其中时间点为最后一个数据的事件日志记录的时间；
步骤3.增量日志解析：根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
步骤4：增量数据写入：根据预设的作业映射关系，依据步骤2中记录的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端，并且记录本次位置点。
2.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：在步骤1之前，从添加的数据库中获取元数据并存储。
3.如权利要求1的基于全量分片和增量日志解析的数据交换方法，其特征在于：步骤1具体包括：判断分片列数据类型；根据分片列数据类型匹配对应的算法对数据进行分片。
4.如权利要求3所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：分片列数据类型是数字类型、字符类型或日期类型；数据类型的分片列数据根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；字符类型的分片列数据首先转化为数字类型的分片列数据，再根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；时间类型的的分片列数据则根据预设的分片天数以及数据的首次产生日期和最后一次写入日期计算出总的分片数以及每片的区间。
5.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：步骤1中，还包括对分片数据按照时间顺序排序并进行清洗和去重的步骤。
6.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：在步骤2中，全量分片信息以预设的数据量或数据获取的时间段分批从数据库中获取数据并写入目标端。
7.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：还包括将目标端每行数据的最新更新时间记录到管理中台数据库的步骤。
8.一种基于全量分片和增量日志解析的数据交换平台，其特征在于，包括：
元数据管理单元，用于从添加的数据库中获取元数据并存储；
全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；
全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；
增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。
9.一种基于全量分片和增量日志解析的数据交换系统，其特征在于，包括：
数据源端，包括多个数据库，用于存储元数据；
目标端，用于存储从源端加载的数据；
数据交换平台，用于对源端和目标端之间的快捷敏捷数据交换，包括：
元数据管理单元，用于从添加的数据库中获取元数据并存储；
全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；
全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；
增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；
增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。
10.如权利要求9所述的基于全量分片和增量日志解析的数据交换系统，其特征在于：还包括管理中台数据库，用于存储目标端数据的更新记录。
CN202010176947.3A 2020-03-13 2020-03-13 一种基于全量分片和增量日志解析的数据交换方法及系统 Active CN111339103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010176947.3A CN111339103B (zh) 2020-03-13 2020-03-13 一种基于全量分片和增量日志解析的数据交换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010176947.3A CN111339103B (zh) 2020-03-13 2020-03-13 一种基于全量分片和增量日志解析的数据交换方法及系统

Publications (2)

Publication Number Publication Date
CN111339103A CN111339103A (zh) 2020-06-26
CN111339103B true CN111339103B (zh) 2023-06-20

Family

ID=71184148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176947.3A Active CN111339103B (zh) 2020-03-13 2020-03-13 一种基于全量分片和增量日志解析的数据交换方法及系统

Country Status (1)

Country Link
CN (1) CN111339103B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181965A (zh) * 2020-09-29 2021-01-05 成都商通数治科技有限公司 一种基于mysql大数据清洗系统及其写入瓶颈的方法
CN112131286B (zh) * 2020-11-26 2021-03-02 畅捷通信息技术股份有限公司 一种基于时间序列的数据处理方法、装置及存储介质
CN112527799B (zh) * 2020-12-17 2022-09-13 杭州玳数科技有限公司 一种基于flink实现分布式实时同步SqlServer数据库的方法
CN112667698B (zh) * 2021-01-04 2023-02-28 山西云媒体发展有限公司 一种基于融媒体平台的MongoDB数据同步方法
CN113052543B (zh) * 2021-05-31 2022-05-03 广州宸祺出行科技有限公司 一种区域订单和司机热力的统计储存方法、装置及应用
CN115599870B (zh) * 2022-12-15 2023-04-07 云筑信息科技(成都)有限公司 基于消息队列的存量数据与增量数据融合的数据同步方法
CN116414902B (zh) * 2023-03-31 2024-06-04 华能信息技术有限公司 一种快速数据源接入方法
CN116501715B (zh) * 2023-04-28 2024-03-12 重庆赛力斯凤凰智创科技有限公司 一种多表全量数据的实时关联更新方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
CN105933446A (zh) * 2016-06-28 2016-09-07 中国农业银行股份有限公司 一种大数据平台业务双活实现方法及系统
CN108984177A (zh) * 2018-06-21 2018-12-11 中国铁塔股份有限公司 一种数据处理方法及系统
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步系统
CN110737720A (zh) * 2019-09-06 2020-01-31 苏宁云计算有限公司 一种db2数据库数据同步方法、装置、系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
CN105933446A (zh) * 2016-06-28 2016-09-07 中国农业银行股份有限公司 一种大数据平台业务双活实现方法及系统
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步系统
CN108984177A (zh) * 2018-06-21 2018-12-11 中国铁塔股份有限公司 一种数据处理方法及系统
CN110737720A (zh) * 2019-09-06 2020-01-31 苏宁云计算有限公司 一种db2数据库数据同步方法、装置、系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘杰 ; 王桂玲 ; 左小将 ; .基于可变时间窗口的增量数据抽取模型.计算机科学.2018,(11),全文. *

Also Published As

Publication number Publication date
CN111339103A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339103B (zh) 一种基于全量分片和增量日志解析的数据交换方法及系统
CN104794123B (zh) 一种为半结构化数据构建NoSQL数据库索引的方法及装置
EP2443564B1 (en) Data compression for reducing storage requirements in a database system
JP2000003321A (ja) 高性能なメッセ―ジ格納構造
CN110389967B (zh) 数据存储方法、装置、服务器及存储介质
CN102591864B (zh) 比对系统中的数据更新方法及装置
CN102779138B (zh) 实时数据的硬盘存取方法
US11625412B2 (en) Storing data items and identifying stored data items
CN104239377A (zh) 跨平台的数据检索方法及装置
CN110727406A (zh) 一种数据存储调度方法及装置
CN108595511A (zh) 一种多样化气象水文数据分类存储处理方法和系统
CN109947730B (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
JP2018511861A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
US9213759B2 (en) System, apparatus, and method for executing a query including boolean and conditional expressions
CN108763323A (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN113761059A (zh) 数据处理方法及装置
CN115470235A (zh) 一种数据处理方法、装置以及设备
CN115454353B (zh) 一种面向空间应用数据的高速写入及查询方法
CN110955757A (zh) 光伏电站设备日志检索方法和系统
EP3550451A1 (en) Data storage and maintenance method and device, and computer storage medium
CN111290700A (zh) 分布式数据读写方法和系统
CN111680072B (zh) 基于社交信息数据的划分系统及方法
CN112905557A (zh) 支持异步提交的海量文件整合存储方法及系统
CN111563123A (zh) 一种hive仓库元数据实时同步方法
CN111753518A (zh) 一种自主的文件一致性检验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant