CN106339500A - 一种异地数据库对比工具及方法 - Google Patents
一种异地数据库对比工具及方法 Download PDFInfo
- Publication number
- CN106339500A CN106339500A CN201610812612.XA CN201610812612A CN106339500A CN 106339500 A CN106339500 A CN 106339500A CN 201610812612 A CN201610812612 A CN 201610812612A CN 106339500 A CN106339500 A CN 106339500A
- Authority
- CN
- China
- Prior art keywords
- data
- contrast
- module
- database
- data base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 12
- 238000000547 structure data Methods 0.000 claims abstract description 11
- 230000008034 disappearance Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 abstract description 4
- 238000013508 migration Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013509 system migration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种异地数据库对比工具及方法，其中对比工具包括数据抽取模块、系统数据初始化模块和数据对比模块，数据抽取模块用于数据库中数据结构数据的抽取，并根据抽取的数据生成csv文件；系统数据初始化模块用于读取数据抽取模块生成的csv文件数据，并初始化该数据信息；数据对比模块根据经过上述两模块处理的数据，进行标准数据库和应用数据库的信息对比，找出缺失的数据信息；对比方法则基于该对比工具实现。该一种异地数据库对比工具及方法与现有技术相比，有效对比出不同数据库之间数据结构的差异，并提供自动预警功能，监控不同数据库之间的差异，有效保证系统的正常运行，为大型系统的迁移和新系统的部署提供了有效的保障。
Description
技术领域
本发明涉及信息通信技术领域，具体地说是一种实用性强、异地数据库对比工具及方法。
背景技术
当今社会云计算飞速发展，行业云公共云私有云日新月异，大型应用系统的数据库数据量越来越大，数据结构越来越复杂，这给大型应用系统的迁移和推广部署造成很大困难。
尤其大型应用业务系统，由于业务的复杂性，导致数据库不但数据量大，数据表结构也比较复杂，这给业务系统的重新部署和迁移带来的困难是难以想象的，甚至由于重要表的数据结构的缺失，会影响到系统的正常运行，影响到关键业务的进行。为了解决这个问题，本发明提出了一种异地数据库数据结构对比工具及方法，通过抽取异地数据库的数据结构数据，有效对比出不同数据库之间数据结构的差异，并提供自动预警功能，保证系统的正常运行。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、异地数据库对比工具及方法。
一种异地数据库对比工具，是一种高效率的数据库对比工具，有效解决大型应用系统的数据库差异，保证大型应用系统的迁移和部署。
包括数据抽取模块、系统数据初始化模块和数据对比模块，其中：
数据抽取模块用于数据库中数据结构数据的抽取，其抽取的数据库为用于比对的标准数据库，并根据抽取的数据生成csv文件；
系统数据初始化模块用于读取数据抽取模块生成的csv文件数据，并初始化该数据信息；
数据对比模块根据经过上述两模块处理的数据，进行标准数据库和应用数据库的信息对比，找出缺失的数据信息。
所述数据对比模块进行对比的信息包括表结构、表字段、表字段主键、视图、表约束、表昵称、索引信息。
在数据对比模块中，实现数据对比的结构为：
表缺失对比模块，进行标准数据库和应用数据库的表结构数据对比，对比标准数据库有的表而应用系统数据库缺少的表；
表字段对比模块，进行标准数据库和应用数据库表的字段对比，对比字段的缺失、字段的一致性、字段的长度、字段的精度、字段的默认值、字段是否为空；
主键对比模块，进行标准数据库和应用数据库表的字段对比，对比系统数据库表字段缺少的主键；
视图对比模块，对比和标准数据库相比应用数据库缺少的视图，将缺少的视图信息展示出来；
约束对比模块，检测出应用数据库中缺少的约束和约束的字段；
昵称对比模块，昵称用于实现标准数据库与应用数据库之间表的互通和数据的共享，该昵称对比模块通过对比昵称是否一致来保证了两者之间的通信；
索引对比模块，用于标准数据库和系统应用数据库之间的对比，检查缺少的索引。
所述异地数据库对比工具中还设置有自动预警模块，该自动预警模块通过定时器，定时执行数据库对比的功能，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
一种异地数据库对比的方法，包括一个标准数据库和若干应用数据库，该标准数据库内部存储标准数据结构数据，用于与任意应用数据库做对比，其具体对比过程为：
通过异地数据库对比工具抽取标准数据库的数据结构数据，初始化到应用数据库，通过异地数据库对比工具内的各个模块对比出与标准数据库之间的差异，并通过定时器的定时执行数据库对比，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
本发明的一种异地数据库对比工具及方法，具有以下优点：
该发明的一种异地数据库对比工具及方法通过抽取异地数据库的数据结构数据，有效对比出不同数据库之间数据结构的差异，并提供自动预警功能，监控不同数据库之间的差异，有效保证系统的正常运行，为大型系统的迁移和新系统的部署提供了有效的保障，实用性强，适用范围广泛，具有很好的推广使用价值。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
一种异地数据库对比工具，是一种高效率的数据库对比工具，有效解决大型应用系统的数据库差异，保证大型应用系统的迁移和部署。
包括数据抽取模块、系统数据初始化模块和数据对比模块，异地数据库对比是指多地数据库之间的对比，一般使用于标准数据库和应用数据库之间对比，保证应用数据库和标准数据库之间数据结构的一致。
该对比工具所处后台需要维护一个标准的系统和标准的数据库，作为一个标准执行，使用数据库对比工具时需要将标准数据库的数据库数据机构数据抽取。
其中：
数据抽取模块用于数据库中数据结构数据的抽取，其抽取的数据库为用于比对的标准数据库，并根据抽取的数据生成csv文件；
系统数据初始化模块用于读取数据抽取模块生成的csv文件数据，并初始化该数据信息；
数据对比模块根据经过上述两模块处理的数据，进行标准数据库和应用数据库的信息对比，找出缺失的数据信息。
所述数据对比模块进行对比的信息包括表结构、表字段、表字段主键、视图、表约束、表昵称、索引信息。
在数据对比模块中，实现数据对比的结构为：
表缺失对比模块，进行标准数据库和应用数据库的表结构数据对比，对比标准数据库有的表而应用系统数据库缺少的表；
表字段对比模块，进行标准数据库和应用数据库表的字段对比，对比字段的缺失、字段的一致性、字段的长度、字段的精度、字段的默认值、字段是否为空；
主键对比模块，进行标准数据库和应用数据库表的字段对比，对比系统数据库表字段缺少的主键；
视图对比模块，对比和标准数据库相比应用数据库缺少的视图，将缺少的视图信息展示出来；
约束对比模块，表的约束对于表是非常重要的，缺少表的约束和多了表的约束都会对系统产生影响，像数据插入不了等，表的约束的对比有效检测出系统缺少的约束和约束的字段；
昵称对比模块，现在为了提高数据的读写效率，很多采用数据库读写分离，异步事物等，而实现两库的之间表的互通和数据的共享，我们一般采用昵称的方式，昵称对比模块通过对比昵称是否一致有效的保证了这一机制的有效实现；
索引对比模块，对于大型业务系统，会产生较大的数据量，如何快速有效的查询，控制并发等等，索引的检查必不可少，索引对比模块采用标准库和系统应用数据库之间的对比检查缺少的索引。
所述异地数据库对比工具中还设置有自动预警模块，该自动预警模块通过定时器，定时执行数据库对比的功能，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
异地数据库对比工具提供的自动预警功能，需要提供邮件服务器，将对比出的异常数据组织成预警信息，通过邮件服务器进行预警。
一种异地数据库对比的方法，包括一个标准数据库和若干应用数据库，该标准数据库内部存储标准数据结构数据，用于与任意应用数据库做对比，其具体对比过程为：
通过异地数据库对比工具抽取标准数据库的数据结构数据，初始化到应用数据库，通过异地数据库对比工具内的各个模块对比出与标准数据库之间的差异，并通过定时器的定时执行数据库对比，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种异地数据库对比工具及方法的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (5)
1.一种异地数据库对比工具，其特征在于，包括数据抽取模块、系统数据初始化模块和数据对比模块，其中：
数据抽取模块用于数据库中数据结构数据的抽取，其抽取的数据库为用于比对的标准数据库，并根据抽取的数据生成csv文件；
系统数据初始化模块用于读取数据抽取模块生成的csv文件数据，并初始化该数据信息；
数据对比模块根据经过上述两模块处理的数据，进行标准数据库和应用数据库的信息对比，找出缺失的数据信息。
2.根据权利要求1所述的一种异地数据库对比工具及方法，其特征在于，所述数据对比模块进行对比的信息包括表结构、表字段、表字段主键、视图、表约束、表昵称、索引信息。
3.根据权利要求2所述的一种异地数据库对比工具及方法，其特征在于，在数据对比模块中，实现数据对比的结构为：
表缺失对比模块，进行标准数据库和应用数据库的表结构数据对比，对比标准数据库有的表而应用系统数据库缺少的表；
表字段对比模块，进行标准数据库和应用数据库表的字段对比，对比字段的缺失、字段的一致性、字段的长度、字段的精度、字段的默认值、字段是否为空；
主键对比模块，进行标准数据库和应用数据库表的字段对比，对比系统数据库表字段缺少的主键；
视图对比模块，对比和标准数据库相比应用数据库缺少的视图，将缺少的视图信息展示出来；
约束对比模块，检测出应用数据库中缺少的约束和约束的字段；
昵称对比模块，昵称用于实现标准数据库与应用数据库之间表的互通和数据的共享，该昵称对比模块通过对比昵称是否一致来保证了两者之间的通信；
索引对比模块，用于标准数据库和系统应用数据库之间的对比，检查缺少的索引。
4.根据权利要求1所述的一种异地数据库对比工具及方法，其特征在于，所述异地数据库对比工具中还设置有自动预警模块，该自动预警模块通过定时器，定时执行数据库对比的功能，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
5.一种异地数据库对比的方法，其特征在于，包括一个标准数据库和若干应用数据库，该标准数据库内部存储标准数据结构数据，用于与任意应用数据库做对比，其具体对比过程为：
通过异地数据库对比工具抽取标准数据库的数据结构数据，初始化到应用数据库，通过异地数据库对比工具内的各个模块对比出与标准数据库之间的差异，并通过定时器的定时执行数据库对比，根据对比的结果组织形成预警信息，通过邮件发送相关人员进行预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610812612.XA CN106339500A (zh) | 2016-09-09 | 2016-09-09 | 一种异地数据库对比工具及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610812612.XA CN106339500A (zh) | 2016-09-09 | 2016-09-09 | 一种异地数据库对比工具及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106339500A true CN106339500A (zh) | 2017-01-18 |
Family
ID=57823785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610812612.XA Pending CN106339500A (zh) | 2016-09-09 | 2016-09-09 | 一种异地数据库对比工具及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106339500A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558153A (zh) * | 2018-11-26 | 2019-04-02 | 中国银行股份有限公司 | 版本一致性确定方法、装置及系统 |
| CN109981441A (zh) * | 2019-02-19 | 2019-07-05 | 深圳点猫科技有限公司 | 一种基于图形编程的定时发送统计数据的方法及电子设备 |
| CN110109903A (zh) * | 2019-04-01 | 2019-08-09 | 广州白云国际机场股份有限公司 | 一种机场收费数据的自动校验系统及校验方法 |
| CN111078738A (zh) * | 2019-11-25 | 2020-04-28 | 泰康保险集团股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| US11941023B2 (en) | 2019-06-26 | 2024-03-26 | Zte Corporation | System and method for implementing incremental data comparison |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183361A (zh) * | 2006-11-13 | 2008-05-21 | 中兴通讯股份有限公司 | 一种关系数据库应用自动升级的方法 |
| CN101676908A (zh) * | 2008-09-17 | 2010-03-24 | 中兴通讯股份有限公司 | 检测数据库对象完整性的方法及装置 |
| CN101882159A (zh) * | 2010-06-18 | 2010-11-10 | 中兴通讯股份有限公司 | 数据库的检测方法及装置 |
| CN102855319A (zh) * | 2012-09-05 | 2013-01-02 | 国家电网公司 | Oracle数据库操作监控系统 |
| CN102890720A (zh) * | 2012-10-16 | 2013-01-23 | 南京通达海信息技术有限公司 | 数据库检查维护方法 |
| CN103294724A (zh) * | 2012-03-05 | 2013-09-11 | 百度在线网络技术（北京）有限公司 | 一种数据库结构的管理方法及系统 |
| CN104216948A (zh) * | 2014-08-12 | 2014-12-17 | 上海新炬网络技术有限公司 | 一种数据模型的差异控制方法 |
| CN105069159A (zh) * | 2015-08-26 | 2015-11-18 | 浪潮通用软件有限公司 | 一种可扩展的数据一致性检查工具 |
| CN105335527A (zh) * | 2015-12-04 | 2016-02-17 | 浪潮(北京)电子信息产业有限公司 | 一种监控数据库操作的方法及系统 |
| CN105335436A (zh) * | 2014-08-11 | 2016-02-17 | 方正国际软件(北京)有限公司 | 一种升级数据库结构的方法和设备 |
| CN105808539A (zh) * | 2014-12-29 | 2016-07-27 | 北京航天测控技术有限公司 | 一种数据导出导入方法及装置 |
-
2016
- 2016-09-09 CN CN201610812612.XA patent/CN106339500A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183361A (zh) * | 2006-11-13 | 2008-05-21 | 中兴通讯股份有限公司 | 一种关系数据库应用自动升级的方法 |
| CN101676908A (zh) * | 2008-09-17 | 2010-03-24 | 中兴通讯股份有限公司 | 检测数据库对象完整性的方法及装置 |
| CN101882159A (zh) * | 2010-06-18 | 2010-11-10 | 中兴通讯股份有限公司 | 数据库的检测方法及装置 |
| CN103294724A (zh) * | 2012-03-05 | 2013-09-11 | 百度在线网络技术（北京）有限公司 | 一种数据库结构的管理方法及系统 |
| CN102855319A (zh) * | 2012-09-05 | 2013-01-02 | 国家电网公司 | Oracle数据库操作监控系统 |
| CN102890720A (zh) * | 2012-10-16 | 2013-01-23 | 南京通达海信息技术有限公司 | 数据库检查维护方法 |
| CN105335436A (zh) * | 2014-08-11 | 2016-02-17 | 方正国际软件(北京)有限公司 | 一种升级数据库结构的方法和设备 |
| CN104216948A (zh) * | 2014-08-12 | 2014-12-17 | 上海新炬网络技术有限公司 | 一种数据模型的差异控制方法 |
| CN105808539A (zh) * | 2014-12-29 | 2016-07-27 | 北京航天测控技术有限公司 | 一种数据导出导入方法及装置 |
| CN105069159A (zh) * | 2015-08-26 | 2015-11-18 | 浪潮通用软件有限公司 | 一种可扩展的数据一致性检查工具 |
| CN105335527A (zh) * | 2015-12-04 | 2016-02-17 | 浪潮(北京)电子信息产业有限公司 | 一种监控数据库操作的方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558153A (zh) * | 2018-11-26 | 2019-04-02 | 中国银行股份有限公司 | 版本一致性确定方法、装置及系统 |
| CN109558153B (zh) * | 2018-11-26 | 2022-01-21 | 中国银行股份有限公司 | 版本一致性确定方法、装置及系统 |
| CN109981441A (zh) * | 2019-02-19 | 2019-07-05 | 深圳点猫科技有限公司 | 一种基于图形编程的定时发送统计数据的方法及电子设备 |
| CN110109903A (zh) * | 2019-04-01 | 2019-08-09 | 广州白云国际机场股份有限公司 | 一种机场收费数据的自动校验系统及校验方法 |
| US11941023B2 (en) | 2019-06-26 | 2024-03-26 | Zte Corporation | System and method for implementing incremental data comparison |
| CN111078738A (zh) * | 2019-11-25 | 2020-04-28 | 泰康保险集团股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106339500A (zh) | 一种异地数据库对比工具及方法 | |
| CN103049750B (zh) | 字符识别方法 | |
| CN107992764B (zh) | 一种敏感网页识别与检测方法及装置 | |
| KR101780377B1 (ko) | 뉴스와 sns 데이터로부터 식품 위해 이벤트를 실시간 자동 추출하는 방법 및 이를 위한 시스템 | |
| CN106407171B (zh) | 基于树形结构的安全监测自定义报表的生成系统及方法 | |
| CN104298748A (zh) | 一种用于视频中人脸检索的装置及方法 | |
| Dhavase et al. | Location identification for crime & disaster events by geoparsing Twitter | |
| CN113407495A (zh) | 一种基于simhash的文件相似度判定方法及系统 | |
| CN102999523A (zh) | 一种才智数字化的方法 | |
| CN103825875A (zh) | 一种疫苗接种策略的虚拟机检测方法 | |
| CN204102129U (zh) | 一种用于视频中人脸检索的装置 | |
| KR102285080B1 (ko) | 이슈 발생 예측 시스템 | |
| CN106210674A (zh) | 面向人员监控视频数据文件快速处理方法及系统 | |
| LaHurd et al. | Exploring potential signatures of QGP in UHECR ground profiles | |
| CN103226470A (zh) | 一种确定基于bvs的检查项权重值的方法及装置 | |
| Barker et al. | Assessing the Comparability of News Texts. | |
| Satoko | Former Fukushima Go ernor Sato Eisaku Blasts METI–TEPCO Alliance:“Go ernment must accept responsibilit for defrauding the people” | |
| CN2769073Y (zh) | 密码身份证 | |
| Caus et al. | Predicting fault stress level and stress drop using seismo-mechanical and statistical features derived from acoustic signals in laboratory stick-slip friction experiments and assesing feature importance via the derived models. | |
| CN103825877A (zh) | 一种集成免疫虚拟机检测方法 | |
| Li et al. | The Research on personalized Access Control Scheme Based on User Portrait | |
| Judi et al. | Supervisory Control and Data Acquisition Systems security and risk management | |
| Lan et al. | Application of carbonate U-Pb geochronology in dating of diagenesis and hydrothermal activity | |
| Hou et al. | Potential influential topics in information science based on citation structural variation approach | |
| CN205375552U (zh) | 一种综合业务自动控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170118 |
|
| RJ01 | Rejection of invention patent application after publication |