CN109684327B - 一种数据库外部链接的数据获取方法 - Google Patents

一种数据库外部链接的数据获取方法 Download PDF

Info

Publication number
CN109684327B
CN109684327B CN201811409618.8A CN201811409618A CN109684327B CN 109684327 B CN109684327 B CN 109684327B CN 201811409618 A CN201811409618 A CN 201811409618A CN 109684327 B CN109684327 B CN 109684327B
Authority
CN
China
Prior art keywords
data
database
external
local
local temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811409618.8A
Other languages
English (en)
Other versions
CN109684327A (zh
Inventor
周淳
付铨
孙峰
余院兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dream Database Co ltd
Original Assignee
Wuhan Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dameng Database Co Ltd filed Critical Wuhan Dameng Database Co Ltd
Priority to CN201811409618.8A priority Critical patent/CN109684327B/zh
Publication of CN109684327A publication Critical patent/CN109684327A/zh
Application granted granted Critical
Publication of CN109684327B publication Critical patent/CN109684327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据库外部链接的数据获取方法，包括以下步骤：步骤S1、本地数据库通过外部链接获取远程数据，以提取的远程数据中的ROWID作为聚集主键创建本地临时表，将所述远程数据以数据表为单位存储于所述本地临时表中，并存储所述数据表的最大事务ID号；步骤S2、需要再次访问所述数据表时，在外部数据库上过滤出所述数据表大于所述最大事务ID号的记录，得到所述数据表的增量数据；步骤S3、将所述增量数据并入所述本地临时表中，并更新所述最大事务ID号。本发明提供的数据库外部链接的数据获取方法，避免重复从外部数据库中获取相同数据，避免浪费时间、耗费网络带宽。

Description

一种数据库外部链接的数据获取方法
技术领域
本发明涉及数据库外部链接技术领域，具体涉及一种数据库外部链接的数据获取方法。
背景技术
在数据库外部链接功能中,访问某个数据表时,每次访问都需要重新从外部数据库提取最新的全部数据,每次重新获取都会浪费大量时间和消耗网络带宽，影响外部链接的性能。这种影响在频繁访问某个数据表时，表现得尤为突出。而且如果数据表存放的是历史数据，表中的记录存在只进行UPDATE和INSERT，不做DELETE操作的特点,这种频繁访问显得尤为浪费。
发明内容
本发明的目的在于克服上述技术不足，提供一种数据库外部链接的数据获取方法，解决现有技术中外部链接在访问外部数据库时需要提取全部数据，影响外部链接性能的技术问题。
为达到上述技术目的，本发明的技术方案提供一种数据库外部链接的数据获取方法，包括以下步骤：
步骤S1、本地数据库通过外部链接获取远程数据，以提取的远程数据中的ROWID作为聚集主键创建本地临时表，将所述远程数据以数据表为单位存储于所述本地临时表中，并存储所述数据表的最大事务ID号；
步骤S2、需要再次访问所述数据表时，在外部数据库上过滤出所述数据表大于所述最大事务ID号的记录，得到所述数据表的增量数据；
步骤S3、将所述增量数据并入所述本地临时表中，并更新所述最大事务ID号。
与现有技术相比，本发明的有益效果包括：记录数据表的最大事务ID号，当再次访问数据表时，根据最大事务ID号过滤出增量数据，仅将增量数据更新至本地临时表，本地数据库访问本地临时表即可获取最新的数据表信息，无需从外部数据库服务器提取全部数据，避免网络带宽的消耗，节省数据表的更新时间，加快外部链接速度，这种效果在频繁访问某个外部链接数据表时，表现的尤为突出。
附图说明
图1是本发明提供的数据库外部链接的数据获取方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1所示，本发明的实施例1提供了一种数据库外部链接的数据获取方法，以下简称数据获取方法，包括以下步骤：
步骤S1、本地数据库通过外部链接获取远程数据，以提取的远程数据中的ROWID作为聚集主键创建本地临时表，将所述远程数据以数据表为单位存储于所述本地临时表中，并存储所述数据表的最大事务ID号；
步骤S2、需要再次访问所述数据表时，在外部数据库上过滤出所述数据表大于所述最大事务ID号的记录，得到所述数据表的增量数据；
步骤S3、将所述增量数据并入所述本地临时表中，并更新所述最大事务ID号。
本发明提供的数据库外部链接的数据获取方法，首次访问外部数据库的某个数据表时，需要通过外部链接访问外部数据库获取远程数据，并将远程数据以表为单位存储于本地临时表中。当再次访问该数据表时，则不再需要外部链接访问外部数据库获取该数据表的全部数据，而是在外部数据库器上过滤出该表大于最大事务ID号的记录，即可获取截止上一次获取数据表时还未更新的增量数据，将增量数据并入本地临时表，即可完成本地临时表的更新，本地数据库通过访问本地临时表即可获取到该数据表的最新数据。将增量数据并入本地临时表的同时，更新最大事务ID号，便于下一次访问该数据表时，再次根据最大事务ID号进行过滤，对本地临时表进行更新。
本发明提供的数据库外部链接的数据获取方法，不需要重复访问外部数据库获取数据表未更新的相同部分，避免重复获取相同数据，浪费过多时间，占用过多网络带宽，有利于提高外部链接性能。本发明在本地数据库频繁访问某一数据表时效果尤为明显。
优选的，所述外部数据库的数据库表的记录中包括TRXID列，所述TRXID列用于存储最近一次修改对应记录的事物编号，所述步骤S2中在外部数据库上过滤出所述数据表大于所述最大事务ID号的记录具体为：
在外部数据库的表中根据记录的TRXID列的值过滤出大于所述最大事务ID号的记录。
本发明适用于数据库表的记录中不仅有隐藏列ROWID列，同时有隐藏列TRXID列的数据库，ROWID为表的聚集主键，用来组织表中的数据；TRXID则存贮当前记录最近一次修改它的事务编号，TRXID保持逻辑递增。例如达梦数据库即具有这种特性，使用达梦数据库作为外部数据库时，外部连接获取增量数据功能的性能可以得到优化。
在外部数据库的表中根据记录的TRXID列，过滤出大于最大事务ID的记录，即可获取到上一次获取的数据表还未完成更新的增量数据，将大于最大事务ID的记录并入本地临时表即可完成数据表的更新。
优选的，所述步骤S3中将所述增量数据并入所述本地临时表中具体为：
根据所述增量数据的ROWID在所述本地临时表中做所述增量数据的MERGE INTO操作。
ROWID具有唯一性，根据增量数据的ROWID将增量数据并入本地临时表的相应位置，即可完成本地临时表的更新，本地数据库即可通过访问本地临时表获取最新的数据表。
优选的，数据获取方法还包括步骤S4：本地数据库访问所述本地临时表获取所述增量数据，以更新所述数据表。
本地临时表更新完成后，本地数据库通过访问本地临时表即可获取增量数据，不需要访问外部数据库去获取全量的数据表，不需要占用网络带宽，且增量数据获取速度增快，提高了外部链接性能以及用户体验。
实施例2：
本发明的实施例2提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任一实施例所述数据库外部链接的数据获取方法。
本发明提供的计算机存储介质，用于实现上述数据库外部链接的数据获取方法，因此，上述数据库外部链接的数据获取方法具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (4)

1.一种数据库外部链接的数据获取方法，其特征在于，包括以下步骤：
步骤S1、本地数据库通过外部链接获取远程数据，以提取的远程数据中的ROWID作为聚集主键创建本地临时表，将所述远程数据以数据表为单位存储于所述本地临时表中，并存储所述数据表的最大事务ID号；
步骤S2、需要再次访问所述数据表时，在外部数据库上过滤出所述数据表中大于所述最大事务ID号的记录，得到所述数据表的增量数据；
步骤S3、将所述增量数据并入所述本地临时表中，并更新所述最大事务ID号；
所述外部数据库的数据库表的记录中包括TRXID列，所述TRXID列用于存储最近一次修改对应记录的事务编号，所述步骤S2中在外部数据库上过滤出所述数据表中大于所述最大事务ID号的记录具体为：
在外部数据库的表中根据记录的TRXID列的值过滤出大于所述最大事务ID号的记录。
2.根据权利要求1所述的数据库外部链接的数据获取方法，其特征在于，所述步骤S3中将所述增量数据并入所述本地临时表中具体为：
根据所述增量数据的ROWID在所述本地临时表中做所述增量数据的MERGE INTO操作。
3.根据权利要求1所述的数据库外部链接的数据获取方法，其特征在于，还包括步骤S4：本地数据库访问所述本地临时表获取所述增量数据。
4.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-3任一所述数据库外部链接的数据获取方法。
CN201811409618.8A 2018-11-23 2018-11-23 一种数据库外部链接的数据获取方法 Active CN109684327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811409618.8A CN109684327B (zh) 2018-11-23 2018-11-23 一种数据库外部链接的数据获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811409618.8A CN109684327B (zh) 2018-11-23 2018-11-23 一种数据库外部链接的数据获取方法

Publications (2)

Publication Number Publication Date
CN109684327A CN109684327A (zh) 2019-04-26
CN109684327B true CN109684327B (zh) 2021-04-13

Family

ID=66184908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811409618.8A Active CN109684327B (zh) 2018-11-23 2018-11-23 一种数据库外部链接的数据获取方法

Country Status (1)

Country Link
CN (1) CN109684327B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263057B (zh) * 2019-06-12 2020-04-17 上海英方软件股份有限公司 一种rowid映射表的存储和查询方法及装置
CN111143369B (zh) * 2019-12-27 2023-02-07 合肥美的智能科技有限公司 云端业务数据转存方法及装置、本地服务器及电子设备
CN112000684B (zh) * 2020-08-25 2023-12-26 浪潮云信息技术股份公司 一种基于trxid实现回环控制的数据库双向同步的方法及工具
CN112445810A (zh) * 2020-12-11 2021-03-05 中国人寿保险股份有限公司 一种数据仓库数据更新方法、设备、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902777A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 跨数据源查询装置和跨数据源查询方法
CN103442042A (zh) * 2013-08-14 2013-12-11 福建天晴数码有限公司 增量数据同步方法及系统
CN107025242A (zh) * 2016-02-02 2017-08-08 南京中兴新软件有限责任公司 数据库间数据的复制方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902777A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 跨数据源查询装置和跨数据源查询方法
CN103442042A (zh) * 2013-08-14 2013-12-11 福建天晴数码有限公司 增量数据同步方法及系统
CN107025242A (zh) * 2016-02-02 2017-08-08 南京中兴新软件有限责任公司 数据库间数据的复制方法及装置

Also Published As

Publication number Publication date
CN109684327A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109684327B (zh) 一种数据库外部链接的数据获取方法
US10262013B2 (en) Efficient full delete operations
CN108572996B (zh) 数据库表结构的同步方法、装置、电子设备和存储介质
US10528553B2 (en) System and method for optimizing queries
CN103595797B (zh) 一种分布式存储系统中的缓存方法
US20150081732A1 (en) Subscription for integrating external data from external system
CN107665255B (zh) 键值数据库数据变更的方法、装置、设备及存储介质
WO2018095299A1 (zh) 一种时序数据管理方法、设备和装置
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
US8682872B2 (en) Index page split avoidance with mass insert processing
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的系统及方法
CN105608229A (zh) 一种主从数据库同步系统及方法
CN112262379A (zh) 存储数据项并且标识存储的数据项
CN110928882A (zh) 一种基于改进红黑树的内存数据库索引方法及系统
CN104408128B (zh) 一种基于b+树异步更新索引的读优化方法
US11829377B2 (en) Efficient storage method for time series data
CN111625543B (zh) 一种基于HBase表实现全局单调递增的序列的方法
CN117235028A (zh) 一种基于日志文件的数据查询方法和装置
WO2016053302A1 (en) Processing query of database and data stream
US20170322957A1 (en) Allocating free space in a database
CN110750566A (zh) 数据处理方法、装置、缓存系统及缓存管理平台
US10262034B2 (en) Managing data obsolescence in relational databases
CN112463837B (zh) 一种关系型数据库数据存储查询方法
CN108984720B (zh) 基于列存储的数据查询方法、装置、服务器及存储介质
US20170177626A1 (en) Significant cleanse change information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Sun Feng

Inventor after: Yu Yuanlan

Inventor before: Zhou Chun

Inventor before: Fu Quan

Inventor before: Sun Feng

Inventor before: Yu Yuanlan

CB03 Change of inventor or designer information
CP01 Change in the name or title of a patent holder

Address after: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: WUHAN DAMENG DATABASE Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220905

Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY

Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230725

Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right