CN106126753A - 基于大数据的增量抽取的方法 - Google Patents
基于大数据的增量抽取的方法 Download PDFInfo
- Publication number
- CN106126753A CN106126753A CN201610701372.6A CN201610701372A CN106126753A CN 106126753 A CN106126753 A CN 106126753A CN 201610701372 A CN201610701372 A CN 201610701372A CN 106126753 A CN106126753 A CN 106126753A
- Authority
- CN
- China
- Prior art keywords
- object library
- storehouse
- data
- source
- middle table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明一种基于大数据的增量抽取的方法,通过可视化的logminer工具来解析源库的归档日志文件,将源库的归档日志文件解析后的增量数据收集到中间表中,中间表以上一次增量抽取的SCN值为条件查询,并在目标库中执行解析出来的语句,实现增量抽取,由于本发明读取的是源库的归档日志,对数据库的影响很小;本发明使用集成三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,通过调度监控系统自动按时完成数据的增量抽取,本发明还可以面向多个数据源,统一收集增量数据到中间表中,再通过中间表向各自对应的目标库执行转移增量数据的动作,具有可视、效率高和对数据库几乎没有影响的特点。
Description
技术领域
本发明涉及一种基于大数据的增量抽取的方法。
背景技术
随着数据信息对企业决策和政府制定政策越发显得重要,分散在各地的数据孤岛就需要集中于一个数据集市中,便于数据的分析和统计。Oracle数据的逐渐增多,如若想把这些数据集中到一起就需要一个合适的技术去实现。但是现有的解决方案中会存在不易用、效率低和对数据库影响大等缺点,在这用情况下,基于大数据的增量抽取及调度监控系统就可以很好的解决这些问题。
发明内容
本发明的目的在于提供一种基于大数据的增量抽取的方法,用于自动增量抽取业务系统的数据,并且具有可视、效率高和对数据库几乎没有影响的特点。
本发明一种基于大数据的增量抽取的方法,包括如下步骤:
步骤1、数据库增量抽取前的准备工作
步骤11、在源库中建立一个用户,并授予该用户create session、execute on dbms_logmnr、execute on dbms_flashback、select on v_$logmnr_contents、select on v_$log、select on v_$logfile、select v_$archived_log、select any transaction的权限;
步骤12、源库开启归档模式;
步骤13、查询SCN值;
步骤2、基于数据库增量抽取的实现步骤,设计三个转换插件,分别是将源库表数据初始化到目标库的转换插件、将源库的增量数据抽取到中间表的转换插件和将中间表的增量数据抽取到目标库的转换插件,具体包括如下步骤:
步骤21、所述的源库表数据初始化到目标库的转换插件,主要用于全量抽取,进行目标库的初始化,每调用一次就会把原来的目标库表删除,初始化目标库:
首先,进行源库连接、目标库连接、源库表和目标库表的映射关系、目标库表名匹配格式的参数配置;
然后,根据配置初始化源库连接和目标库连接,创建中间表的数据库DBLINK,然后通过配置的源表和目标表的映射关系,在目标库建目标库表,如果已存在目标库表,则会删除该目标库表,重新建表;
最后,将源库表的数据初始化到目标库表中;
步骤22、所述将源库的增量数据抽取到中间表的转换插件,通过LogMiner工具解析源库的归档日志,解析的条件为大于全量抽取时查询的SCN值,也就是步骤13抽取前准备工作中查询的SCN值,将中间表中最大的SCN值作为增量抽取的条件,加载并解析归档日志,将清洗、过滤后的解析归档日志放到中间表中,该转换插件必须在目标库初始化完成后才能调用:
首先,进行源库相关的归档文件解析连接、每批次解析归档数、抽取前准备工作中查询的SCN值、归档路径ID和中间表所在的数据库连接、中间表表名、事务提交数量的参数配置;
然后,根据配置初始化源库连接和中间表所在数据库连接,判断中间表是否存在,不存在则创建中间表,并初始化SCN值,即在中间表中添加记录行,将中间表中的最大SCN值为初始的SCN值,读取归档日志表v$archived_log记录大于中间表最大SCN值的记录,归档日志表v$archived_log中NAME字段表示的是文件路径;
最后,在LogMiner工具中加入需要解析的归档日志文件,并启动LogMiner工具进行分析,根据SCN值查询解析出的数据,查询出PREATION_CODE字段值为1,2,3,6,7,36的数据,并将这些数据添加到中间表中,执行结束之后关闭Logminer工具,所述OPREATION_CODE字段值为1表示INSERT,2表示DELETE,3表示UPDATE,6表示START,7表示COMMIT,36表示ROLLBACK;
步骤23、所述将中间表的增量数据抽取到目标库的转换插件,在目标库中建立一个MAXSCN表,每次往目标库表中添加一个记录成功时,就会更新MAXSCN表中的SCN值,目标库通过MAXSCN表中记录的最大的SCN值为条件,每次抽取大于该SCN值的记录,将中间表中解析完的SQL语句在目标库中按配置的事务提交数量为最小单元执行,实现增量抽取:
首先,进行中间表所在数据库连接、中间表表名、是否删除无用数据参数,和目标库连接、初始化SCN值、事务提交数量,源库模式名、表名与目标库模式名、表名的映射关系的配置;
然后,根据配置初始化中间表所在数据库连接和目标库连接,在目标库中创建MAXSCN表,用于记录提交成到MAXSCN表中的SCN值,该MAXSCN表包含两个字段:CSCN和FLOWID,分别是SCN值和抽取标识,通过查询CSCN字段的最大值作为数据增量抽取的条件;
初始化源库模式名、表名与目标库模式名、表名的映射关系;
最后,若设置调度的时间到了,查询中间表中大于MAXSCN表中的最大SCN值的SCN值,并且符合映射配置中的模式名和表名,解析中间表的记录,将中间表的归档日志的SQL语句解析为目标库中可以执行的SQL语句,提交的数据按配置的事务提交数量为最小单元进行组合,一次执行SQL语句的数量以配置的事务提交数量为一个事务,同时更新MAXSCN表中的CSCN字段的值为当前的SCN值,实现增量数据抽取;
步骤3、将上述三个转换插件添加到kettle工具中,使用集成有这三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,设计好作业之后,通过调度监控系统来配置作业的调度策略;
步骤4、调度监控系统按配置好的调度策略,定时去源库中查询增量的归档日志,通过中间表中最大SCN值作为是否产生增量抽取的标识,自动按时完成数据的增量抽取。
本发明的基于大数据的增量抽取,主要是通过可视化的logminer工具来解析源库的归档日志文件,然后将源库的归档日志文件解析后的增量数据收集到中间表中,中间表起到了缓存、过滤的作用,中间表以上一次增量抽取的SCN值为条件查询,并在目标库中执行解析出来的语句,实现增量抽取。由于本发明在数据增量抽取的过程中读取的是源库的归档日志,不会对数据库服务器造成压力,并且对数据库的影响很小;本发明基于数据库增量抽取的实现步骤,设计三个转换插件,使用集成有这三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,通过调度监控系统来配置作业的调度策略,自动按时完成数据的增量抽取,因此,本发明还可以面向多个数据源,统一收集增量数据到中间表中,再通过中间表向各自对应的目标库执行转移增量数据的动作,具有可视、效率高和对数据库几乎没有影响的特点。
附图说明
图1为本发明的系统框架图。
下面结合附图和具体实施例对本发明作进一步详述。
具体实施方式
如图1所示,本发明一种基于大数据的增量抽取的方法,主要包括如下步骤:
步骤1、数据库增量抽取前的准备工作
步骤11、在源库中建立一个用户,并授予该用户create session、execute on dbms_logmnr、execute on dbms_flashback、select on v_$logmnr_contents、select on v_$log、select on v_$logfile、select v_$archived_log、select any transaction的权限;
步骤12、源库开启归档模式;
步骤13、查询SCN值;
步骤2、基于数据库增量抽取的实现步骤,设计三个转换插件,分别是将源库表数据初始化到目标库的转换插件、将源库的增量数据抽取到中间表的转换插件和将中间表的增量数据抽取到目标库的转换插件,具体包括如下步骤:
步骤21、所述的源库表数据初始化到目标库的转换插件,主要用于全量抽取,进行目标库的初始化,每调用一次就会把原来的目标库表删除,初始化目标库:
首先,进行源库连接、目标库连接、源库表和目标库表的映射关系、目标库表名匹配格式的参数配置;
然后,根据配置初始化源库连接和目标库连接,创建中间表的数据库DBLINK,然后通过配置的源表和目标表的映射关系,在目标库建目标库表,如果已存在目标库表,则会删除该目标库表,重新建表;
最后,将源库表的数据初始化到目标库表中;
步骤22、所述将源库的增量数据抽取到中间表的转换插件,通过LogMiner工具解析源库的归档日志,解析的条件为大于全量抽取时查询的SCN值,也就是步骤13抽取前准备工作中查询的SCN值,将中间表中最大的SCN值作为增量抽取的条件,加载并解析归档日志,将清洗、过滤后的解析归档日志放到中间表中,该转换插件必须在目标库初始化完成后才能调用:
首先,进行源库相关的归档文件解析连接、每批次解析归档数、抽取前准备工作中查询的SCN值、归档路径ID和中间表所在的数据库连接、中间表表名、事务提交数量的参数配置;
然后,根据配置初始化源库连接和中间表所在数据库连接,判断中间表是否存在,不存在则创建中间表,并初始化SCN值,即在中间表中添加记录行,将中间表中的最大SCN值为初始的SCN值,读取归档日志表v$archived_log记录大于中间表最大SCN值的记录,归档日志表v$archived_log中NAME字段表示的是文件路径;
最后,在LogMiner工具中加入需要解析的归档日志文件,并启动LogMiner工具进行分析,根据SCN值查询解析出的数据,查询出PREATION_CODE字段值为1,2,3,6,7,36的数据,并将这些数据添加到中间表中,执行结束之后关闭Logminer工具,所述OPREATION_CODE字段值为1表示INSERT,2表示DELETE,3表示UPDATE,6表示START,7表示COMMIT,36表示ROLLBACK;
步骤23、所述将中间表的增量数据抽取到目标库的转换插件,在目标库中建立一个MAXSCN表,每次往目标库表中添加一个记录成功时,就会更新MAXSCN表中的SCN值,目标库通过MAXSCN表中记录的最大的SCN值为条件,每次抽取大于该SCN值的记录,将中间表中解析完的SQL语句在目标库中按配置的事务提交数量为最小单元执行,实现增量抽取:
首先,进行中间表所在数据库连接、中间表表名、是否删除无用数据参数,和目标库连接、初始化SCN值、事务提交数量,源库模式名、表名与目标库模式名、表名的映射关系的配置;
然后,根据配置初始化中间表所在数据库连接和目标库连接,在目标库中创建MAXSCN表,用于记录提交成到MAXSCN表中的SCN值,该MAXSCN表包含两个字段:CSCN和FLOWID,分别是SCN值和抽取标识(自定义、唯一),通过查询CSCN字段的最大值作为数据增量抽取的条件;
初始化源库模式名、表名与目标库模式名、表名的映射关系;
最后,若设置调度的时间到了,查询中间表中大于MAXSCN表中的最大SCN值的SCN值,并且符合映射配置中的模式名和表名,解析中间表的记录,将中间表的归档日志的SQL语句解析为目标库中可以执行的SQL语句,提交的数据按配置的事务提交数量为最小单元进行组合,一次执行SQL语句的数量以配置的事务提交数量为一个事务,同时更新MAXSCN表中的CSCN字段的值为当前的SCN值,实现增量数据抽取;
步骤3、将上述三个转换插件添加到kettle工具中,使用集成有这三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,设计好作业之后,通过调度监控系统来配置作业的调度策略;
步骤4、调度监控系统按配置好的调度策略,定时去源库中查询增量的归档日志,通过中间表中最大SCN值作为是否产生增量抽取的标识,自动按时完成数据的增量抽取,该调度监控系统还提供了实时监控调度和查看调度日志的功能,可以通过这些功能查看每次调度的具体执行情况。
本发明的重点在于:通过可视化的logminer工具来解析源库的归档日志文件,然后将源库的归档日志文件解析后的增量数据收集到中间表中,中间表起到了缓存、过滤的作用,中间表以上一次增量抽取的SCN值为条件查询,并在目标库中执行解析出来的语句,实现增量抽取。由于本发明在数据增量抽取的过程中读取的是源库的归档日志,不会对数据库服务器造成压力,并且对数据库的影响很小;本发明基于数据库增量抽取的实现步骤,设计三个转换插件,使用集成有这三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,通过调度监控系统来配置作业的调度策略,自动按时完成数据的增量抽取,因此,本发明还可以面向多个数据源,统一收集增量数据到中间表中,再通过中间表向各自对应的目标库执行转移增量数据的动作,具有可视、效率高和对数据库几乎没有影响的特点。
以上所述,并非对本发明的技术范围作任何限制,故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (1)
1.一种基于大数据的增量抽取的方法,其特征在于包括如下步骤:
步骤1、数据库增量抽取前的准备工作
步骤11、在源库中建立一个用户,并授予该用户create session、execute on dbms_logmnr、execute on dbms_flashback、select on v_$logmnr_contents、select on v_$log、select on v_$logfile、select v_$archived_log、select any transaction的权限;
步骤12、源库开启归档模式;
步骤13、查询SCN值;
步骤2、基于数据库增量抽取的实现步骤,设计三个转换插件,分别是将源库表数据初始化到目标库的转换插件、将源库的增量数据抽取到中间表的转换插件和将中间表的增量数据抽取到目标库的转换插件,具体包括如下步骤:
步骤21、所述的源库表数据初始化到目标库的转换插件,主要用于全量抽取,进行目标库的初始化,每调用一次就会把原来的目标库表删除,初始化目标库:
首先,进行源库连接、目标库连接、源库表和目标库表的映射关系、目标库表名匹配格式的参数配置;
然后,根据配置初始化源库连接和目标库连接,创建中间表的数据库DBLINK,然后通过配置的源表和目标表的映射关系,在目标库建目标库表,如果已存在目标库表,则会删除该目标库表,重新建表;
最后,将源库表的数据初始化到目标库表中;
步骤22、所述将源库的增量数据抽取到中间表的转换插件,通过LogMiner工具解析源库的归档日志,解析的条件为大于全量抽取时查询的SCN值,也就是步骤13抽取前准备工作中查询的SCN值,将中间表中最大的SCN值作为增量抽取的条件,加载并解析归档日志,将清洗、过滤后的解析归档日志放到中间表中,该转换插件必须在目标库初始化完成后才能调用:
首先,进行源库相关的归档文件解析连接、每批次解析归档数、抽取前准备工作中查询的SCN值、归档路径ID和中间表所在的数据库连接、中间表表名、事务提交数量的参数配置;
然后,根据配置初始化源库连接和中间表所在数据库连接,判断中间表是否存在,不存在则创建中间表,并初始化SCN值,即在中间表中添加记录行,将中间表中的最大SCN值为初始的SCN值,读取归档日志表v$archived_log记录大于中间表最大SCN值的记录,归档日志表v$archived_log中NAME字段表示的是文件路径;
最后,在LogMiner工具中加入需要解析的归档日志文件,并启动LogMiner工具进行分析,根据SCN值查询解析出的数据,查询出PREATION_CODE字段值为1,2,3,6,7,36的数据,并将这些数据添加到中间表中,执行结束之后关闭Logminer工具,所述OPREATION_CODE字段值为1表示INSERT,2表示DELETE,3表示UPDATE,6表示START,7表示COMMIT,36表示ROLLBACK;
步骤23、所述将中间表的增量数据抽取到目标库的转换插件,在目标库中建立一个MAXSCN表,每次往目标库表中添加一个记录成功时,就会更新MAXSCN表中的SCN值,目标库通过MAXSCN表中记录的最大的SCN值为条件,每次抽取大于该SCN值的记录,将中间表中解析完的SQL语句在目标库中按配置的事务提交数量为最小单元执行,实现增量抽取:
首先,进行中间表所在数据库连接、中间表表名、是否删除无用数据参数,和目标库连接、初始化SCN值、事务提交数量,源库模式名、表名与目标库模式名、表名的映射关系的配置;
然后,根据配置初始化中间表所在数据库连接和目标库连接,在目标库中创建MAXSCN表,用于记录提交成到MAXSCN表中的SCN值,该MAXSCN表包含两个字段:CSCN和FLOWID,分别是SCN值和抽取标识,通过查询CSCN字段的最大值作为数据增量抽取的条件;
初始化源库模式名、表名与目标库模式名、表名的映射关系;
最后,若设置调度的时间到了,查询中间表中大于MAXSCN表中的最大SCN值的SCN值,并且符合映射配置中的模式名和表名,解析中间表的记录,将中间表的归档日志的SQL语句解析为目标库中可以执行的SQL语句,提交的数据按配置的事务提交数量为最小单元进行组合,一次执行SQL语句的数量以配置的事务提交数量为一个事务,同时更新MAXSCN表中的CSCN字段的值为当前的SCN值,实现增量数据抽取;
步骤3、将上述三个转换插件添加到kettle工具中,使用集成有这三个转换插件的kettle工具来设计数据库增量抽取的实现步骤的作业,设计好作业之后,通过调度监控系统来配置作业的调度策略;
步骤4、调度监控系统按配置好的调度策略,定时去源库中查询增量的归档日志,通过中间表中最大SCN值作为是否产生增量抽取的标识,自动按时完成数据的增量抽取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610701372.6A CN106126753B (zh) | 2016-08-23 | 2016-08-23 | 基于大数据的增量抽取的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610701372.6A CN106126753B (zh) | 2016-08-23 | 2016-08-23 | 基于大数据的增量抽取的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106126753A true CN106126753A (zh) | 2016-11-16 |
CN106126753B CN106126753B (zh) | 2019-03-05 |
Family
ID=57280201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610701372.6A Active CN106126753B (zh) | 2016-08-23 | 2016-08-23 | 基于大数据的增量抽取的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106126753B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682153A (zh) * | 2016-12-23 | 2017-05-17 | 山东浪潮商用系统有限公司 | 一种基于数据建模及实现数据增量的数据抽取工具 |
CN106888264A (zh) * | 2017-03-02 | 2017-06-23 | 杭州数梦工场科技有限公司 | 一种数据交换方法和装置 |
CN107798069A (zh) * | 2017-09-26 | 2018-03-13 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
CN108040128A (zh) * | 2018-01-12 | 2018-05-15 | 国网福建省电力有限公司 | 一种基于kettle实现档案数据自动上传同步的方法 |
CN108629003A (zh) * | 2018-05-03 | 2018-10-09 | 网易(杭州)网络有限公司 | 内容加载方法与装置 |
CN108664503A (zh) * | 2017-03-30 | 2018-10-16 | 北京京东尚科信息技术有限公司 | 一种数据归档方法及装置 |
CN108717426A (zh) * | 2018-05-04 | 2018-10-30 | 苏州朗动网络科技有限公司 | 企业数据的更新方法、装置、计算机设备及存储介质 |
CN108984564A (zh) * | 2017-06-02 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 数据存储系统、方法和装置 |
CN109299177A (zh) * | 2018-09-30 | 2019-02-01 | 江苏满运软件科技有限公司 | 数据抽取方法、装置、存储介质及电子设备 |
CN109739809A (zh) * | 2018-12-03 | 2019-05-10 | 国网江苏省电力有限公司 | 一种干部人事档案存储管理方法 |
CN109992621A (zh) * | 2019-04-11 | 2019-07-09 | 郭承湘 | 食品监管信息资源增量etl系统及方法 |
CN110019111A (zh) * | 2017-08-15 | 2019-07-16 | 北京国双科技有限公司 | 数据处理方法、装置、存储介质以及处理器 |
CN110569142A (zh) * | 2019-08-29 | 2019-12-13 | 天津大学 | 一种oracle数据增量同步系统及方法 |
CN110866158A (zh) * | 2019-11-14 | 2020-03-06 | 北京沃东天骏信息技术有限公司 | 信息更新方法、装置、系统、存储介质及电子设备 |
CN110879813A (zh) * | 2019-11-20 | 2020-03-13 | 浪潮软件股份有限公司 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
CN110888774A (zh) * | 2019-11-07 | 2020-03-17 | 中盈优创资讯科技有限公司 | 基于hbase的大数据报表处理方法及装置 |
CN110928883A (zh) * | 2018-08-31 | 2020-03-27 | 上海汽车集团股份有限公司 | 一种数据归档方法及装置 |
CN111414358A (zh) * | 2019-12-30 | 2020-07-14 | 杭州美创科技有限公司 | 应用于关系型数据库数据装载的方法 |
CN112000312A (zh) * | 2020-07-24 | 2020-11-27 | 湖北地信科技集团股份有限公司 | 基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统 |
CN112181992A (zh) * | 2020-10-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 一种oracle数据库增量数据采集实现方法 |
CN112328546A (zh) * | 2020-11-06 | 2021-02-05 | 安徽明生恒卓科技有限公司 | 一种基于数据中台的增量数据核查方法 |
CN112527879A (zh) * | 2020-12-15 | 2021-03-19 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
CN112612852A (zh) * | 2020-12-29 | 2021-04-06 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
CN113051247A (zh) * | 2021-03-18 | 2021-06-29 | 福建星瑞格软件有限公司 | 一种基于日志同步的数据库迁移方法及系统 |
CN113282643A (zh) * | 2021-06-04 | 2021-08-20 | 上海英方软件股份有限公司 | 一种oracle数据库同步环境下的表对比方法及系统 |
CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和系统 |
CN113688157A (zh) * | 2021-08-29 | 2021-11-23 | 中盾创新档案管理(北京)有限公司 | 一种基于中间表的数据抽取的系统和方法 |
CN114385727A (zh) * | 2021-12-13 | 2022-04-22 | 中煤科工集团信息技术有限公司 | 一种关于不定期新增表的多表数据汇总方法及计算机设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
CN103593422A (zh) * | 2013-11-01 | 2014-02-19 | 国云科技股份有限公司 | 一种异构数据库的虚拟访问管理方法 |
CN105488187A (zh) * | 2015-12-02 | 2016-04-13 | 北京四达时代软件技术股份有限公司 | 多源异构数据增量抽取的方法及装置 |
-
2016
- 2016-08-23 CN CN201610701372.6A patent/CN106126753B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
CN103593422A (zh) * | 2013-11-01 | 2014-02-19 | 国云科技股份有限公司 | 一种异构数据库的虚拟访问管理方法 |
CN105488187A (zh) * | 2015-12-02 | 2016-04-13 | 北京四达时代软件技术股份有限公司 | 多源异构数据增量抽取的方法及装置 |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682153A (zh) * | 2016-12-23 | 2017-05-17 | 山东浪潮商用系统有限公司 | 一种基于数据建模及实现数据增量的数据抽取工具 |
CN106888264A (zh) * | 2017-03-02 | 2017-06-23 | 杭州数梦工场科技有限公司 | 一种数据交换方法和装置 |
CN106888264B (zh) * | 2017-03-02 | 2019-09-17 | 杭州数梦工场科技有限公司 | 一种数据交换方法和装置 |
CN108664503A (zh) * | 2017-03-30 | 2018-10-16 | 北京京东尚科信息技术有限公司 | 一种数据归档方法及装置 |
CN108664503B (zh) * | 2017-03-30 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 一种数据归档方法及装置 |
CN108984564A (zh) * | 2017-06-02 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 数据存储系统、方法和装置 |
CN110019111A (zh) * | 2017-08-15 | 2019-07-16 | 北京国双科技有限公司 | 数据处理方法、装置、存储介质以及处理器 |
CN110019111B (zh) * | 2017-08-15 | 2021-11-23 | 北京国双科技有限公司 | 数据处理方法、装置、存储介质以及处理器 |
CN107798069A (zh) * | 2017-09-26 | 2018-03-13 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
CN108040128A (zh) * | 2018-01-12 | 2018-05-15 | 国网福建省电力有限公司 | 一种基于kettle实现档案数据自动上传同步的方法 |
CN108629003A (zh) * | 2018-05-03 | 2018-10-09 | 网易(杭州)网络有限公司 | 内容加载方法与装置 |
CN108717426B (zh) * | 2018-05-04 | 2021-01-05 | 苏州朗动网络科技有限公司 | 企业数据的更新方法、装置、计算机设备及存储介质 |
CN108717426A (zh) * | 2018-05-04 | 2018-10-30 | 苏州朗动网络科技有限公司 | 企业数据的更新方法、装置、计算机设备及存储介质 |
CN110928883A (zh) * | 2018-08-31 | 2020-03-27 | 上海汽车集团股份有限公司 | 一种数据归档方法及装置 |
CN110928883B (zh) * | 2018-08-31 | 2023-05-09 | 上海汽车集团股份有限公司 | 一种数据归档方法及装置 |
CN109299177A (zh) * | 2018-09-30 | 2019-02-01 | 江苏满运软件科技有限公司 | 数据抽取方法、装置、存储介质及电子设备 |
CN109739809A (zh) * | 2018-12-03 | 2019-05-10 | 国网江苏省电力有限公司 | 一种干部人事档案存储管理方法 |
CN109992621A (zh) * | 2019-04-11 | 2019-07-09 | 郭承湘 | 食品监管信息资源增量etl系统及方法 |
CN110569142A (zh) * | 2019-08-29 | 2019-12-13 | 天津大学 | 一种oracle数据增量同步系统及方法 |
CN110888774A (zh) * | 2019-11-07 | 2020-03-17 | 中盈优创资讯科技有限公司 | 基于hbase的大数据报表处理方法及装置 |
CN110866158A (zh) * | 2019-11-14 | 2020-03-06 | 北京沃东天骏信息技术有限公司 | 信息更新方法、装置、系统、存储介质及电子设备 |
CN110879813B (zh) * | 2019-11-20 | 2024-04-12 | 浪潮软件股份有限公司 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
CN110879813A (zh) * | 2019-11-20 | 2020-03-13 | 浪潮软件股份有限公司 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
CN111414358A (zh) * | 2019-12-30 | 2020-07-14 | 杭州美创科技有限公司 | 应用于关系型数据库数据装载的方法 |
CN112000312A (zh) * | 2020-07-24 | 2020-11-27 | 湖北地信科技集团股份有限公司 | 基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统 |
CN112000312B (zh) * | 2020-07-24 | 2022-04-29 | 湖北地信科技集团股份有限公司 | 基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统 |
CN112181992A (zh) * | 2020-10-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 一种oracle数据库增量数据采集实现方法 |
CN112328546A (zh) * | 2020-11-06 | 2021-02-05 | 安徽明生恒卓科技有限公司 | 一种基于数据中台的增量数据核查方法 |
CN112527879A (zh) * | 2020-12-15 | 2021-03-19 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
CN112527879B (zh) * | 2020-12-15 | 2024-04-16 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
CN112612852B (zh) * | 2020-12-29 | 2024-06-11 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
CN112612852A (zh) * | 2020-12-29 | 2021-04-06 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
CN113051247A (zh) * | 2021-03-18 | 2021-06-29 | 福建星瑞格软件有限公司 | 一种基于日志同步的数据库迁移方法及系统 |
CN113282643B (zh) * | 2021-06-04 | 2023-03-21 | 上海英方软件股份有限公司 | 一种oracle数据库同步环境下的表对比方法及系统 |
CN113282643A (zh) * | 2021-06-04 | 2021-08-20 | 上海英方软件股份有限公司 | 一种oracle数据库同步环境下的表对比方法及系统 |
CN113688157B (zh) * | 2021-08-29 | 2023-12-05 | 中盾创新数字科技(北京)有限公司 | 一种基于中间表的数据抽取的系统和方法 |
CN113688157A (zh) * | 2021-08-29 | 2021-11-23 | 中盾创新档案管理(北京)有限公司 | 一种基于中间表的数据抽取的系统和方法 |
CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和系统 |
CN114385727A (zh) * | 2021-12-13 | 2022-04-22 | 中煤科工集团信息技术有限公司 | 一种关于不定期新增表的多表数据汇总方法及计算机设备 |
CN114385727B (zh) * | 2021-12-13 | 2024-04-30 | 中煤科工集团信息技术有限公司 | 一种关于不定期新增表的多表数据汇总方法及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106126753B (zh) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106126753A (zh) | 基于大数据的增量抽取的方法 | |
US11847112B2 (en) | Declarative and unified data transition | |
US10635675B2 (en) | Supporting pluggable databases with heterogeneous database character sets in a container database | |
CN108431804B (zh) | 将多个容器数据库分组为单个容器数据库集群的能力 | |
US6748374B1 (en) | Method for generating a relational database query statement using one or more templates corresponding to search conditions in an expression tree | |
CN110347662A (zh) | 一种基于通用数据模型的多中心医疗数据结构标准化系统 | |
CN105868204B (zh) | 一种转换Oracle脚本语言SQL的方法及装置 | |
US6014670A (en) | Apparatus and method for performing data transformations in data warehousing | |
US8140558B2 (en) | Generating structured query language/extensible markup language (SQL/XML) statements | |
US8335805B2 (en) | Universal data management interface | |
US11341171B2 (en) | Method and apparatus for implementing a set of integrated data systems | |
CN106126540B (zh) | 数据库访问系统及其访问方法 | |
WO2019204106A1 (en) | Learning etl rules by example | |
EP1594051A2 (en) | Extraction, transformation and loading designer module of a computerized financial system | |
CN102708213B (zh) | 一种在pdm系统与erp系统之间实现bom信息传输的方法 | |
US7596550B2 (en) | System and method for query planning and execution | |
CN103823797A (zh) | 基于ftp协议的行业数据库数据实时同步系统 | |
US10042889B2 (en) | Pseudo columns for data retrieval | |
CN108038213A (zh) | 一种数据处理的方法、客户端、服务器及系统 | |
US11151099B2 (en) | System and method for data structure migration control | |
CN103559025A (zh) | 一种采用聚类方式进行软件重构的方法 | |
CN105302842A (zh) | 一种数据处理方法及装置 | |
CN103020318A (zh) | 一种对数据库中数据库表维护的方法 | |
CN103927167A (zh) | 一种功能粒度的高度定制化的系统集成方法 | |
CN108256820A (zh) | 一种基于mbd的三维装配视图下的pbom调整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wu Liangbin Inventor after: Zhuang Guoqiang Inventor after: Chen Kunlong Inventor after: Liang Liqin Inventor before: Zhuang Guoqiang Inventor before: Liang Liqin |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |