CN107291908A - 一种跨数据库海量数据对比方法 - Google Patents
一种跨数据库海量数据对比方法 Download PDFInfo
- Publication number
- CN107291908A CN107291908A CN201710493890.8A CN201710493890A CN107291908A CN 107291908 A CN107291908 A CN 107291908A CN 201710493890 A CN201710493890 A CN 201710493890A CN 107291908 A CN107291908 A CN 107291908A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- commodity
- application component
- sgp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 241000208125 Nicotiana Species 0.000 claims abstract description 9
- 235000002637 Nicotiana tabacum Nutrition 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
- G06Q30/0629—Directed, with specific intent or strategy for generating comparisons
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明特别涉及一种跨数据库海量数据对比方法。该跨数据库海量数据对比方法，首先，分别将数据库S和数据库E的数据根据商品分组，并提取每个商品的关键数据；其次，将对比需要的数据库E的数据同步至应用组件SGP；最后，在应用组件SGP对数据库S和数据库E的数据按商品分组进行逐项对比，若商品分组的每个商品的关键数据都一致，即认为商品分组的数据一致。该跨数据库海量数据对比方法，将原来全数据对比大量数据传输的模式优化为关键数据的对比，减少了大量数据的传输，实现了跨应用、跨数据库的数据高效对比，能够将烟草公司一周的订货策略的对比时间缩短到10秒以内。
Description
技术领域
本发明涉及数据校验技术领域，特别涉及一种跨数据库海量数据对比方法。
背景技术
当前的数据对比方法，一般采用两种方式：
1 直接通过数据库表关联，全表数据匹配进行数据对比；
2 将不同表中数据查询出明细记录，通过程序代码循环对比。
这两种方式适用于数据量不大的情况，能够100%准确的校验数据是否一致。但是当数据量巨大时，无论是采用数据库直接比较还是程序代码比较都会消耗大量资源甚至导致数据库或应用服务器宕机。
在烟草行业营销系统中，存在如下业务场景，存在两个独立的应用组件SGP和ECO,两个应用组件分别对应数据库S和数据库E。应用组件ECO是外网应用，为烟草零售户提供订单录入功能；应用组件SGP是内网应用，通过一系列参考数据生成零售户的可订货数据，数据确认无误后通过dblink和服务的方式将数据库S的数据同步至数据库E。
由于零售户可订货数据是关键的业务数据，需要保证同步结果的100%准确。烟草公司在销商品一般有200左右，零售户数量级为万，这样每次同步的数据是百万级的数据，简单的采用全表数据比较，虽然能保证比较结果的完全真实，但是对于跨应用，跨数据库的业务场景会存在很大的性能问题。
针对烟草行业营销系统中跨应用组件SGP和ECO，跨数据库S和数据库E的业务场景，本发明设计了一种跨数据库海量数据对比方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的跨数据库海量数据对比方法。
本发明是通过如下技术方案实现的：
一种跨数据库海量数据对比方法，其特征在于：首先，分别将数据库S和数据库E的数据根据商品分组，并提取每个商品的关键数据；其次，将对比需要的数据库E的数据同步至应用组件SGP；最后，在应用组件SGP对数据库S和数据库E的数据按商品分组进行逐项对比，若商品分组的每个商品的关键数据都一致，即认为商品分组的数据一致。
所述商品的关键数据包括记录数，客户可订购量合计值，客户可订购量最大值，客户可订购量最小值和随机抽取n个客户的明细数据。
所述应用组件SGP通过调用应用组件ECO提供的烟草零售户提供订单录入功能，将对比需要的数据库E的数据同步至应用组件SGP。
本发明的有益效果是：该跨数据库海量数据对比方法，将原来全数据对比大量数据传输的模式优化为关键数据的对比，减少了大量数据的传输，实现了跨应用、跨数据库的数据高效对比，能够将烟草公司一周的订货策略的对比时间缩短到10秒以内。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该跨数据库海量数据对比方法，首先，分别将数据库S和数据库E的数据根据商品分组，并提取每个商品的关键数据；其次，将对比需要的数据库E的数据同步至应用组件SGP；最后，在应用组件SGP对数据库S和数据库E的数据按商品分组进行逐项对比，若商品分组的每个商品的关键数据都一致，即认为商品分组的数据一致。
所述商品的关键数据包括记录数，客户可订购量合计值，客户可订购量最大值，客户可订购量最小值和随机抽取n个客户的明细数据。
n为随机的自然数。
所述应用组件SGP通过调用应用组件ECO提供的烟草零售户提供订单录入功能，将对比需要的数据库E的数据同步至应用组件SGP。
Claims (3)
1.一种跨数据库海量数据对比方法，其特征在于：首先，分别将数据库S和数据库E的数据根据商品分组，并提取每个商品的关键数据；其次，将对比需要的数据库E的数据同步至应用组件SGP；最后，在应用组件SGP对数据库S和数据库E的数据按商品分组进行逐项对比，若商品分组的每个商品的关键数据都一致，即认为商品分组的数据一致。
2.根据权利要求1所述的跨数据库海量数据对比方法，其特征在于：所述商品的关键数据包括记录数，客户可订购量合计值，客户可订购量最大值，客户可订购量最小值和随机抽取n个客户的明细数据。
3.根据权利要求1所述的跨数据库海量数据对比方法，其特征在于：所述应用组件SGP通过调用应用组件ECO提供的烟草零售户提供订单录入功能，将对比需要的数据库E的数据同步至应用组件SGP。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710493890.8A CN107291908A (zh) | 2017-06-26 | 2017-06-26 | 一种跨数据库海量数据对比方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710493890.8A CN107291908A (zh) | 2017-06-26 | 2017-06-26 | 一种跨数据库海量数据对比方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107291908A true CN107291908A (zh) | 2017-10-24 |
Family
ID=60099804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710493890.8A Pending CN107291908A (zh) | 2017-06-26 | 2017-06-26 | 一种跨数据库海量数据对比方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107291908A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038508A (zh) * | 2021-02-26 | 2021-06-25 | 浙江方大通信有限公司 | 基于数据感知融合评估的5g通信网络运维系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324906A (zh) * | 2008-07-29 | 2008-12-17 | 无敌科技(西安)有限公司 | 可跨数据库查询的装置与方法 |
| CN201270032Y (zh) * | 2008-10-14 | 2009-07-08 | 无敌科技(西安)有限公司 | 可跨数据库查询的装置 |
| CN105447137A (zh) * | 2015-11-23 | 2016-03-30 | 浪潮软件股份有限公司 | 一种基于关系数据库从大数据下检索相同主从关系数据的算法 |
| CN106446090A (zh) * | 2016-09-12 | 2017-02-22 | 浪潮软件股份有限公司 | 一种跨库传输海量数据的方法 |
| CN106802905A (zh) * | 2015-11-26 | 2017-06-06 | 中国直升机设计研究所 | 一种同构plm系统的协同数据交换方法 |
-
2017
- 2017-06-26 CN CN201710493890.8A patent/CN107291908A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324906A (zh) * | 2008-07-29 | 2008-12-17 | 无敌科技(西安)有限公司 | 可跨数据库查询的装置与方法 |
| CN201270032Y (zh) * | 2008-10-14 | 2009-07-08 | 无敌科技(西安)有限公司 | 可跨数据库查询的装置 |
| CN105447137A (zh) * | 2015-11-23 | 2016-03-30 | 浪潮软件股份有限公司 | 一种基于关系数据库从大数据下检索相同主从关系数据的算法 |
| CN106802905A (zh) * | 2015-11-26 | 2017-06-06 | 中国直升机设计研究所 | 一种同构plm系统的协同数据交换方法 |
| CN106446090A (zh) * | 2016-09-12 | 2017-02-22 | 浪潮软件股份有限公司 | 一种跨库传输海量数据的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038508A (zh) * | 2021-02-26 | 2021-06-25 | 浙江方大通信有限公司 | 基于数据感知融合评估的5g通信网络运维系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239891B (zh) | 一种基于大数据的招投标审核方法 | |
| CN103888254B (zh) | 一种网络验证信息的方法和装置 | |
| US8347292B2 (en) | Transaction aggregation to increase transaction processing throughout | |
| CN104685490B (zh) | 结构化和非结构化数据自适应分组的系统和方法 | |
| US10560457B2 (en) | Systems and methods for privileged access management | |
| CN103685307B (zh) | 基于特征库检测钓鱼欺诈网页的方法及系统、客户端、服务器 | |
| US20150294027A1 (en) | Fast Component Enumeration in Graphs with Implicit Edges | |
| US9785989B2 (en) | Determining a characteristic group | |
| WO2019157367A1 (en) | Scalable decentralized digital and programmatic advertising analytics system | |
| CN105488185B (zh) | 一种知识库的优化方法和装置 | |
| CN110163618A (zh) | 异常交易的检测方法、装置、设备及计算机可读存储介质 | |
| US9870655B2 (en) | Apparatus and method for processing a plurality of logging policies | |
| US20190370368A1 (en) | Data consistency verification method and system minimizing load of original database | |
| CN104579909B (zh) | 一种用户信息的分类、用户分组信息的获取方法和设备 | |
| CN105740380A (zh) | 数据融合方法及系统 | |
| CN104732332B (zh) | 基于电子商务的订单拆分方法和装置 | |
| CN108512822B (zh) | 一种数据处理事件的风险识别方法和装置 | |
| CN113220875B (zh) | 基于行业标签的互联网信息分类方法、系统及电子设备 | |
| CN104753909A (zh) | 信息更新后的鉴权方法、装置及系统 | |
| CN107832383A (zh) | 一种跨机房数据库的数据一致性校验方法 | |
| JP6419667B2 (ja) | テストｄｂデータ生成方法及び装置 | |
| CN107909458B (zh) | 一种用于网上服务系统的常用功能列表生成方法及系统 | |
| CN113449753B (zh) | 业务风险预测方法、装置和系统 | |
| CN109711162A (zh) | 一种基于区块链的安全应用方法及系统 | |
| CN107291908A (zh) | 一种跨数据库海量数据对比方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |