CN102375891A - 一种增量数据卸载和装载的实施工具 - Google Patents
一种增量数据卸载和装载的实施工具 Download PDFInfo
- Publication number
- CN102375891A CN102375891A CN2011103609342A CN201110360934A CN102375891A CN 102375891 A CN102375891 A CN 102375891A CN 2011103609342 A CN2011103609342 A CN 2011103609342A CN 201110360934 A CN201110360934 A CN 201110360934A CN 102375891 A CN102375891 A CN 102375891A
- Authority
- CN
- China
- Prior art keywords
- data
- increment
- extraction
- full dose
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000006835 compression Effects 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims description 57
- 238000007689 inspection Methods 0.000 claims description 4
- 210000001072 colon Anatomy 0.000 claims description 3
- 238000005538 encapsulation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 4
- 238000013523 data management Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种增量数据卸载和装载的实施工具，属于一种数据管理的应用技术，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：（1）设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；（2）运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；（3）数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。本发明方便了应用系统的运维管理，并降低了实施难度。
Description
技术领域
本发明涉及一种数据管理的应用技术，具体地说是一种增量数据卸载和装载的实施工具。
背景技术
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
目前数据ETL工具很多，虽然功能较多，但也有价格高和效率低的缺点。对于并不复杂的抽取逻辑和对数据量较大对效率要求较高的情况，使用一款便捷高效的数据抽取装载工具就显得尤为重要。
发明内容
本发明的技术任务是提供一种通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理，方便了应用系统的运维管理，并降低了实施难度的一种增量数据卸载和装载的实施工具。
本发明的技术任务是按以下方式实现的，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：
（1）、设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；
（2）、运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；
（3）、数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。
配置文件格式为自定义文本，便于同SHELL脚本程序交互，并在其中设置数据源DB连接关键信息、抽取内容和全量或增量的抽取方式的要素。
CFG数据库配置文件如下：
vpms_dbinfo.cfg
#数据库服务名称
DB_NAME=rptdb
#数据库访问用户名
DB_USER_NAME=ods
#数据库访问密码
DB_USER_PASSWORD=ods
CFG抽取配置文件如下：
vpms_exp_tblist.cfg
#[ 一、交易流水类，提取当日全量（增量） ]
#1.1账务交易流水
+ODS_CMTXLHIS:A:select * from ODS.ODS_CMTXLHIS where CORPORATION='法人标示' and DAY_ID='?'
#[ 二、始终全量抽取的部分 ]
#1.8员工变更登记簿
+ODS_CMREPREP:A:
#1.3.个人（单位）客户信息档
+ODS_CICIFCIF:D:
#1.4客户 / 存放款帐号资料
+ODS_CICIFACN:D:select chg_acct_no(ci_acct_no),a.* from ODS.ODS_CICIFACN a where CORPORATION='法人标示'
#[ 三、支持增量抽取的加工全量的部分 ]
配置文件程序中，每行用冒号":"分为4个部分
1) 第1部分表名称，用于抽取文本的命名,以加号"+"开头,且前面不能有空格空字符,
这个加号"+"作为配置抽取项的标志；
2) 第2部分增量标志
A：只取全量，表示不做本地增量→全量处理，
I：只取增量，表示要做本地增量→全量处理，
D：由参数指定是取全量或增量；
3) 第3部分抽取SQL语句，对于不同增量标志，此语句的含义分别是 ：
A：代表全量抽取语句，
I：代表增量抽取语句，
D：代表全量或增量抽取语句，如果是增量，那么程序会自动加上DAY_ID的判断过滤条件；
如果不填写默认为 select * from ${table_name} where CORPORATION='法人标示' ,要加上CORPORATION='法人标示'的条件，以限定数据范围；
4) 第4部分，查询表数据量的语句，用于核对，
如果不填写，则默认查询表名称对应的源表的数据量。
抽取程序如下：
1) vpms_public.sh
公共参数定义：包含程序路径、数据库参数文件、日志路径、日志文件、抽取配置文件、卸载目录参数信息；
公共函数定义：包含日志信息格式化、创建多层目录、获取数据库参数、创建和断开数据库连接、月末日期判别函数定义；
2) vpms_exp_vpmssrc.sh
抽取数据主程序，实现方式是循环遍历抽取配置文件信息；逐个判断抽取方式和内容，并封装export命令进行数据抽取、压缩存放；
3) export_auto.sh
根据实际需要，自动根据数据日期进行判断用全量还是增量方式抽取。
装载程序如下：
loaddata.sh
根据数据文件中的增量或全量标示，自动判断采用全量装载还是增量装载后做全量处理，并对装载和处理结果做数据量的一致性核对，保障数据完整性。
状态记录程序为数据抽取控制状态文件${date}_export.list
记录每个日期各个源表抽取结果状态，已经成功抽取的部分，程序会跳过避免重复抽取。
数据抽取流程为：调度程序入口vpms_exp_vpmssrc.sh→输入抽取类型和抽取数据日期→创建数据卸载目录→循环提取配置信息，即提取CFG数据库配置文件vpms_dbinfo.cfg或CFG抽取配置文件vpms_exp_tblist.cfg→判断抽取状态，即数据抽取控制状态文件${date}_export.list导入，若已经成功抽取，返回循环提取配置信息；若未成功抽取→判断抽取方式是增量还是全量或根据输入参数判断抽取方式是增量还是全量，若是增量则设定增量文件后缀，若是全量则设定全量文件后缀→执行export_auto.sh抽取→判断是否抽取成功，若不成功记录异常情况返回循环提取配置信息；若成功则压缩文件记录状态到控制状态文件${date}_export.list→抽取全部完成退出。
数据装载流程为：拼接数据文件名称→清空增量表→通过装载程序loaddata.sh判断数据文件标示，若不存在则异常退出程序，若为增量则LOAD装载增量表并进行增量到全量处理，若为全量则LOAD装载全量表→核对数据总量→一致则成功退出，不一致则异常退出。
本发明的一种增量数据卸载和装载的实施工具具有以下优点：
1、可配置抽取方式为增量或全量，可灵活指定数据抽取内容和条件；
2、可在运行时选择增量或全量抽取或自动根据日期判断选择抽取方式；
3、记录抽取状态，支持抽取中断后继续；
4、自动压缩，节省磁盘空间；
5、EXPORT和LOAD命令抽取和装载数据，高效稳定；
6、数据量核对检查，保障处理过程的质量；
7、是一种便捷高效的数据抽取和装载工具，可用于各类需要从数据库抽取源数据的系统。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种增量数据卸载和装载的实施工具的总体结构图；
附图2为一种增量数据卸载和装载的实施工具的数据抽取流程图；
附图3为一种增量数据卸载和装载的实施工具的数据装载流程图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种增量数据卸载和装载的实施工具作以下详细地说明。
实施例：
本发明的一种增量数据卸载和装载的实施工具，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：
（1）、设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；
（2）、运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；
（3）、数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。
配置文件格式为自定义文本，便于同SHELL脚本程序交互，并在其中设置数据源DB连接关键信息、抽取内容和全量或增量的抽取方式的要素。
CFG数据库配置文件如下：
vpms_dbinfo.cfg
#数据库服务名称
DB_NAME=rptdb
#数据库访问用户名
DB_USER_NAME=ods
#数据库访问密码
DB_USER_PASSWORD=ods
CFG抽取配置文件如下：
vpms_exp_tblist.cfg
#[ 一、交易流水类，提取当日全量（增量） ]
#1.1账务交易流水
+ODS_CMTXLHIS:A:select * from ODS.ODS_CMTXLHIS where CORPORATION='法人标示' and DAY_ID='?'
#[ 二、始终全量抽取的部分 ]
#1.8员工变更登记簿
+ODS_CMREPREP:A:
#1.3.个人（单位）客户信息档
+ODS_CICIFCIF:D:
#1.4客户 / 存放款帐号资料
+ODS_CICIFACN:D:select chg_acct_no(ci_acct_no),a.* from ODS.ODS_CICIFACN a where CORPORATION='法人标示'
#[ 三、支持增量抽取的加工全量的部分 ]
配置文件程序中，每行用冒号":"分为4个部分
5) 第1部分表名称，用于抽取文本的命名,以加号"+"开头,且前面不能有空格空字符,
这个加号"+"作为配置抽取项的标志；
6) 第2部分增量标志
A：只取全量，表示不做本地增量→全量处理，
I：只取增量，表示要做本地增量→全量处理，
D：由参数指定是取全量或增量；
7) 第3部分抽取SQL语句，对于不同增量标志，此语句的含义分别是 ：
A：代表全量抽取语句，
I：代表增量抽取语句，
D：代表全量或增量抽取语句，如果是增量，那么程序会自动加上DAY_ID的判断过滤条件；
如果不填写默认为 select * from ${table_name} where CORPORATION='法人标示' ,要加上CORPORATION='法人标示'的条件，以限定数据范围；
8) 第4部分，查询表数据量的语句，用于核对，
如果不填写，则默认查询表名称对应的源表的数据量。
抽取程序如下：
4) vpms_public.sh
公共参数定义：包含程序路径、数据库参数文件、日志路径、日志文件、抽取配置文件、卸载目录参数信息；
公共函数定义：包含日志信息格式化、创建多层目录、获取数据库参数、创建和断开数据库连接、月末日期判别函数定义；
5) vpms_exp_vpmssrc.sh
抽取数据主程序，实现方式是循环遍历抽取配置文件信息；逐个判断抽取方式和内容，并封装export命令进行数据抽取、压缩存放；
6) export_auto.sh
根据实际需要，自动根据数据日期进行判断用全量还是增量方式抽取。
装载程序如下：
loaddata.sh
根据数据文件中的增量或全量标示，自动判断采用全量装载还是增量装载后做全量处理，并对装载和处理结果做数据量的一致性核对，保障数据完整性。
状态记录程序为数据抽取控制状态文件${date}_export.list
记录每个日期各个源表抽取结果状态，已经成功抽取的部分，程序会跳过避免重复抽取。
数据抽取流程为：调度程序入口vpms_exp_vpmssrc.sh→输入抽取类型和抽取数据日期→创建数据卸载目录→循环提取配置信息，即提取CFG数据库配置文件vpms_dbinfo.cfg或CFG抽取配置文件vpms_exp_tblist.cfg→判断抽取状态，即数据抽取控制状态文件${date}_export.list导入，若已经成功抽取，返回循环提取配置信息；若未成功抽取→判断抽取方式是增量还是全量或根据输入参数判断抽取方式是增量还是全量，若是增量则设定增量文件后缀，若是全量则设定全量文件后缀→执行export_auto.sh抽取→判断是否抽取成功，若不成功记录异常情况返回循环提取配置信息；若成功则压缩文件记录状态到控制状态文件${date}_export.list→抽取全部完成退出。
数据装载流程为：拼接数据文件名称→清空增量表→通过装载程序loaddata.sh判断数据文件标示，若不存在则异常退出程序，若为增量则LOAD装载增量表并进行增量到全量处理，若为全量则LOAD装载全量表→核对数据总量→一致则成功退出，不一致则异常退出。
本发明的一种增量数据卸载和装载的实施工具已经在“浪潮价值绩效管理系统[Inspur Value based Performance Management System，简称：VPMS]”管理软件中实现。经实践检验，本方法完全适用于ODS数据源抽取，满足外围系统快速抽取交换数据的要求。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (10)
1.一种增量数据卸载和装载的实施工具，其特征在于通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：
（1）、设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；
（2）、运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；
（3）、数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。
2.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于配置文件格式为自定义文本，便于同SHELL脚本程序交互，并在其中设置数据源DB连接关键信息、抽取内容和全量或增量的抽取方式的要素。
3.根据权利要求1或2所述的一种增量数据卸载和装载的实施工具，其特征在于CFG数据库配置文件如下：vpms_dbinfo.cfg
#数据库服务名称
DB_NAME=rptdb
#数据库访问用户名
DB_USER_NAME=ods
#数据库访问密码
DB_USER_PASSWORD=ods 。
4. 根据权利要求1或2所述的一种增量数据卸载和装载的实施工具，其特征在于CFG抽取配置文件如下：vpms_exp_tblist.cfg
#[ 一、交易流水类，提取当日全量（增量） ]
#1.1账务交易流水
+ODS_CMTXLHIS:A:select * from ODS.ODS_CMTXLHIS where CORPORATION='法人标示' and DAY_ID='?'
#[ 二、始终全量抽取的部分 ]
#1.8员工变更登记簿
+ODS_CMREPREP:A:
#1.3.个人（单位）客户信息档
+ODS_CICIFCIF:D:
#1.4客户 / 存放款帐号资料
+ODS_CICIFACN:D:select chg_acct_no(ci_acct_no),a.* from ODS.ODS_CICIFACN a where CORPORATION='法人标示'
#[ 三、支持增量抽取的加工全量的部分 ] 。
5. 根据权利要求4所述的一种增量数据卸载和装载的实施工具，其特征在于配置文件程序中，每行用冒号":"分为4个部分；
第1部分表名称，用于抽取文本的命名,以加号"+"开头,且前面不能有空格空字符,
这个加号"+"作为配置抽取项的标志；
第2部分增量标志：
A：只取全量，表示不做本地增量→全量处理，
I：只取增量，表示要做本地增量→全量处理，
D：由参数指定是取全量或增量；
第3部分抽取SQL语句，对于不同增量标志，此语句的含义分别是 ：
A：代表全量抽取语句，
I：代表增量抽取语句，
D：代表全量或增量抽取语句，如果是增量，那么程序会自动加上DAY_ID的判断过滤条件；
如果不填写默认为 select * from ${table_name} where CORPORATION='法人标示' ,要加上CORPORATION='法人标示'的条件，以限定数据范围；
第4部分，查询表数据量的语句，用于核对，
如果不填写，则默认查询表名称对应的源表的数据量。
6.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于抽取程序如下：（1）vpms_public.sh，公共参数定义：包含程序路径、数据库参数文件、日志路径、日志文件、抽取配置文件、卸载目录参数信息；公共函数定义：包含日志信息格式化、创建多层目录、获取数据库参数、创建和断开数据库连接、月末日期判别函数定义；
（2）vpms_exp_vpmssrc.sh抽取数据主程序，实现方式是循环遍历抽取配置文件信息；逐个判断抽取方式和内容，并封装export命令进行数据抽取、压缩存放；
（3）export_auto.sh，根据实际需要，自动根据数据日期进行判断用全量还是增量方式抽取。
7.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于装载程序如下：loaddata.sh，根据数据文件中的增量或全量标示，自动判断采用全量装载还是增量装载后做全量处理，并对装载和处理结果做数据量的一致性核对，保障数据完整性。
8.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于状态记录程序为数据抽取控制状态文件${date}_export.list，记录每个日期各个源表抽取结果状态，已经成功抽取的部分，程序会跳过避免重复抽取。
9.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于数据抽取流程为：调度程序入口vpms_exp_vpmssrc.sh→输入抽取类型和抽取数据日期→创建数据卸载目录→循环提取配置信息，即提取CFG数据库配置文件vpms_dbinfo.cfg或CFG抽取配置文件vpms_exp_tblist.cfg→判断抽取状态，即数据抽取控制状态文件${date}_export.list导入，若已经成功抽取，返回循环提取配置信息；若未成功抽取→判断抽取方式是增量还是全量或根据输入参数判断抽取方式是增量还是全量，若是增量则设定增量文件后缀，若是全量则设定全量文件后缀→执行export_auto.sh抽取→判断是否抽取成功，若不成功记录异常情况返回循环提取配置信息；若成功则压缩文件记录状态到控制状态文件${date}_export.list→抽取全部完成退出。
10.根据权利要求1所述的一种增量数据卸载和装载的实施工具，其特征在于数据装载流程为：拼接数据文件名称→清空增量表→通过装载程序loaddata.sh判断数据文件标示，若不存在则异常退出程序，若为增量则LOAD装载增量表并进行增量到全量处理，若为全量则LOAD装载全量表→核对数据总量→一致则成功退出，不一致则异常退出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103609342A CN102375891A (zh) | 2011-11-15 | 2011-11-15 | 一种增量数据卸载和装载的实施工具 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103609342A CN102375891A (zh) | 2011-11-15 | 2011-11-15 | 一种增量数据卸载和装载的实施工具 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102375891A true CN102375891A (zh) | 2012-03-14 |
Family
ID=45794497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103609342A Pending CN102375891A (zh) | 2011-11-15 | 2011-11-15 | 一种增量数据卸载和装载的实施工具 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102375891A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心系统及数据处理方法 |
| CN104361133A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据抽取装置和方法 |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移系统及方法 |
| CN105183854A (zh) * | 2015-09-08 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种数据库卸载数据的调度方法 |
| CN105512176A (zh) * | 2015-11-24 | 2016-04-20 | 北京中电普华信息技术有限公司 | 一种基于Informatica Powercenter的增量抽取方法与系统 |
| CN105718468A (zh) * | 2014-12-02 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种数据仓库ods层的建立方法和装置 |
| CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | 中国移动通信集团重庆有限公司 | 一种数据处理方法和系统 |
| CN103605663B (zh) * | 2013-10-22 | 2017-02-15 | 芜湖大学科技园发展有限公司 | 通用的数据库校验及元数据导入方法 |
| CN106777390A (zh) * | 2017-02-20 | 2017-05-31 | 济南浪潮高新科技投资发展有限公司 | 一种数据库的连接方法及装置 |
| CN107798120A (zh) * | 2017-11-10 | 2018-03-13 | 中国银行股份有限公司 | 一种数据转换方法及装置 |
| CN108829830A (zh) * | 2018-06-15 | 2018-11-16 | 四川众之金科技有限公司 | 数据处理方法及装置 |
| CN109101521A (zh) * | 2018-06-12 | 2018-12-28 | 江苏开拓信息与系统有限公司 | 基于大数据的数据自动抽取系统 |
| CN111078777A (zh) * | 2019-12-13 | 2020-04-28 | 紫光云(南京)数字技术有限公司 | 一种基于关系型数据库动态增量加载数据的方法 |
| CN111241171A (zh) * | 2019-10-28 | 2020-06-05 | 杭州美创科技有限公司 | 数据库全量数据抽取方法 |
| CN112764740A (zh) * | 2021-01-26 | 2021-05-07 | 北京融和友信科技股份有限公司 | 一种基于Shell的应用在系统间文件交互中的处理方法 |
| WO2022155921A1 (zh) * | 2021-01-22 | 2022-07-28 | 京东方科技集团股份有限公司 | 显示面板及其驱动方法、补偿数据压缩方法及解压方法 |
| CN114925074A (zh) * | 2022-06-21 | 2022-08-19 | 中国建设银行股份有限公司 | 一种数据卸载方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567013A (zh) * | 2009-06-02 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 一种etl调度的实现方法及装置 |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
-
2011
- 2011-11-15 CN CN2011103609342A patent/CN102375891A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567013A (zh) * | 2009-06-02 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 一种etl调度的实现方法及装置 |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心系统及数据处理方法 |
| CN103605663B (zh) * | 2013-10-22 | 2017-02-15 | 芜湖大学科技园发展有限公司 | 通用的数据库校验及元数据导入方法 |
| CN105718468A (zh) * | 2014-12-02 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种数据仓库ods层的建立方法和装置 |
| CN104361133A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据抽取装置和方法 |
| CN104361133B (zh) * | 2014-12-10 | 2019-06-21 | 用友网络科技股份有限公司 | 数据抽取装置和方法 |
| CN104462562B (zh) * | 2014-12-29 | 2018-05-18 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移系统及方法 |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移系统及方法 |
| CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | 中国移动通信集团重庆有限公司 | 一种数据处理方法和系统 |
| CN105183854A (zh) * | 2015-09-08 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种数据库卸载数据的调度方法 |
| CN105183854B (zh) * | 2015-09-08 | 2018-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据库卸载数据的调度方法 |
| CN105512176B (zh) * | 2015-11-24 | 2019-07-09 | 北京中电普华信息技术有限公司 | 一种基于Informatica Powercenter的增量抽取方法与系统 |
| CN105512176A (zh) * | 2015-11-24 | 2016-04-20 | 北京中电普华信息技术有限公司 | 一种基于Informatica Powercenter的增量抽取方法与系统 |
| CN106777390A (zh) * | 2017-02-20 | 2017-05-31 | 济南浪潮高新科技投资发展有限公司 | 一种数据库的连接方法及装置 |
| CN107798120A (zh) * | 2017-11-10 | 2018-03-13 | 中国银行股份有限公司 | 一种数据转换方法及装置 |
| CN109101521A (zh) * | 2018-06-12 | 2018-12-28 | 江苏开拓信息与系统有限公司 | 基于大数据的数据自动抽取系统 |
| CN108829830A (zh) * | 2018-06-15 | 2018-11-16 | 四川众之金科技有限公司 | 数据处理方法及装置 |
| CN111241171A (zh) * | 2019-10-28 | 2020-06-05 | 杭州美创科技有限公司 | 数据库全量数据抽取方法 |
| CN111078777A (zh) * | 2019-12-13 | 2020-04-28 | 紫光云(南京)数字技术有限公司 | 一种基于关系型数据库动态增量加载数据的方法 |
| WO2022155921A1 (zh) * | 2021-01-22 | 2022-07-28 | 京东方科技集团股份有限公司 | 显示面板及其驱动方法、补偿数据压缩方法及解压方法 |
| CN112764740A (zh) * | 2021-01-26 | 2021-05-07 | 北京融和友信科技股份有限公司 | 一种基于Shell的应用在系统间文件交互中的处理方法 |
| CN112764740B (zh) * | 2021-01-26 | 2022-06-10 | 北京融和友信科技股份有限公司 | 一种基于Shell的应用在系统间文件交互中的处理方法 |
| CN114925074A (zh) * | 2022-06-21 | 2022-08-19 | 中国建设银行股份有限公司 | 一种数据卸载方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102375891A (zh) | 一种增量数据卸载和装载的实施工具 | |
| CN108536761B (zh) | 报表数据查询方法及服务器 | |
| CN104503840B (zh) | 对终端资源进行优化的方法及装置 | |
| US20030220901A1 (en) | Interaction manager | |
| CN103365971A (zh) | 基于云计算的海量数据访问处理系统 | |
| EP1810131A2 (en) | Services oriented architecture for data integration services | |
| CN105589968A (zh) | 数据汇总系统及方法 | |
| CN105701190A (zh) | 一种数据同步的方法和装置 | |
| WO2006026702A2 (en) | Methods and systems for semantic identification in data systems | |
| EP2453368B1 (en) | Custom web services data link layer | |
| CN102073506A (zh) | 一种基于J2EE的Web应用请求处理方法及系统 | |
| CN103425468A (zh) | 插件式软件集成方法及装置 | |
| CN110288190A (zh) | 事件通知方法、事件通知服务器、存储介质及装置 | |
| CN108650334A (zh) | 一种会话失效的设置方法及装置 | |
| CN102663020A (zh) | 一种cdc数据分发方法和装置 | |
| CN102053855B (zh) | 一种软件的生成系统及方法 | |
| CN104182295A (zh) | 一种数据备份方法及装置 | |
| CN101894317B (zh) | 数据变化驱动业务逻辑的方法和系统 | |
| CN104932904A (zh) | 一种针对智能家居的可配置数据库编程模式 | |
| CN110322313A (zh) | 基于sap系统批量创建销售订单及交货单过账的方法 | |
| CN101226527A (zh) | 双核库数据同步方法 | |
| CN107948259A (zh) | 一种云服务器资源的配置方法和配置系统 | |
| CN109871394B (zh) | 一种全量分布式高并发计算方法及装置 | |
| CN103809947A (zh) | 一种开发需求的自动发布方法和系统 | |
| CN105630997A (zh) | 一种数据并行处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120314 |