CN102184190A - 数据比对方法 - Google Patents

数据比对方法 Download PDF

Info

Publication number
CN102184190A
CN102184190A CN2011100973835A CN201110097383A CN102184190A CN 102184190 A CN102184190 A CN 102184190A CN 2011100973835 A CN2011100973835 A CN 2011100973835A CN 201110097383 A CN201110097383 A CN 201110097383A CN 102184190 A CN102184190 A CN 102184190A
Authority
CN
China
Prior art keywords
data
comparison
data comparison
difference
configuration table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100973835A
Other languages
English (en)
Inventor
杨澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING DIGITAL CHINA SI-TECH INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING DIGITAL CHINA SI-TECH INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING DIGITAL CHINA SI-TECH INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING DIGITAL CHINA SI-TECH INFORMATION TECHNOLOGY Co Ltd
Priority to CN2011100973835A priority Critical patent/CN102184190A/zh
Publication of CN102184190A publication Critical patent/CN102184190A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据比对方法，它包括以下步骤：步骤1：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；步骤2：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤:3：按照配置表中数据比对规则信息对数据进行比对；步骤4：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤:5：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。本发明的有益效果是：通过配置表对数据比对进行统一管理，比对速度快，复用度高。

Description

数据比对方法
技术领域
本发明涉及一种数据比对方法。
背景技术
在各电信运营商，BOSS内部，BOSS和全网业务平台，HLR交换机和BOSS及智能网平台等，由于人工误操作，网络接口异常，及系统BUG等存在大量的稽核需求；通过分析稽核需求，发现有一类稽核需求非常相似，完全可以抽离出来形成一个公共的稽核引擎。这一类稽核需求即为：两个数据源，比对这两个数据源的记录是否一致(即记录是否存在或者按照某个基准字段为引，所有的字段是否一致)，现有的稽核没有统一的管理功能，比对速度较慢。
发明内容
为解决上述问题，本发明提供了一种数据比对方法。
本发明解决上述技术问题的技术方案如下：一种数据比对方法，它包括以下步骤：
步骤1：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；
步骤2：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；
步骤：3：对数据进行比对；
步骤4：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；
步骤：5：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。
进一步的，所述数据的属性包括动态和静态，所述动态为数据随着时间的变化变动频繁，所述静态为数据随着时间的变化基本不变。
进一步的，所述比对结果包括差异量和差异内容。
进一步的，所述步骤3中数据比对为单线程比对。
进一步的，所述步骤3中数据比对为多线程比对，具体为，根据数据比对控制流程信息内的分区设置信息，将数据放入数据库中设置的分区表，一个分区一个线程，同时进行数据比对。
本发明的有益效果是：通过配置表对数据比对进行统一管理，比对速度快，复用度高。
附图说明
图1为本发明流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种数据比对方法，其特征在于，它包括以下步骤：
步骤1：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息等；
差异量阀值信息指配置表中设定的数据的差异数量值；数据比对内容的地址信息为配置表设置的分区字段或服务区的数据地址信息，所述服务区是按照地域的不同划分的。
步骤2：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；
步骤：3：对数据进行比对；
步骤4：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；
步骤：5：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。
所述数据的属性包括动态和静态，所述动态为数据随着时间的变化变动频繁，所述静态为数据随着时间的变化基本不变。
数据的属性为动态的需要进行第二次比对，数据属性是静态的则不需要进行第二次比对。
所述比对结果包括差异量和差异内容。
差异量即数据存在的差异的数量，差异内容即数据的具体的不同之处。
数据比对为单线程比对，即将要稽核比对的数据依次进行比对。
当数据比对的数据比较多时，为了提高比对速度，将要比对的数据进行多线程比对，具体为，根据数据比对控制流程信息内的分区设置信息，将要稽核比对的数据进行分区，一个分区一个线程，同时进行数据比对。
具体实例为：从数据库中取出4组数据进行比对，如果进行单线程比对，则4组数据依次进行比对；如果进行多线程比对，则根据数据比对控制流程信息内的分区设置信息，将4组数据进行分区设置，一个分区一个线程，4组数据同时进行比对。
本发明具体数据比对实例如下：
例如：取出要比对的数据，没个结果集的每条记录有两个字段，第一个是索引字段，第二个是属性字段。
Resultset1 rst1  Resultset2 rst2
A，1              A，1
B，2    B，0
C，3    D，4
D，4    E，5
F，6
那么比对算法是这样进行的，rst1、rst2获取第一行发现无差异，都往下进行；获取第二行，发现索引字段一样但是属性字段值不一样，则把索引值B和属性字段值2和0都记录下来，从结果集里边再取第三行，发现索引值不一样；接着再取第四行，发现rst1第四行的索引值与rst2的索引值一样，则确定rst1的第三行是比rst2多出的数据，记录rst1第三行的所有值，接着比对rst1第四行的属性字段值与rst2的属性字段值，发现属性值一样；接着两个结果集往下取，rst1的索引值段值F与rst2的索引字段值E不等，接着往下走，发现rst2已经游标到头了，所以就把rst1以后所有的数据记录下来，这些是rst1多出的，再记录rst2最后的数据，是rst2多出的数据。
以上数据比对的结果为差异量为4，差异内容为属性字段值分别为2和0；索引值C和F对应的数据是多出来的；索引值E对应的数据是多出来的。
这列举出了其中的一种比较普遍的情况。
2、数据提取采用缓存方式，用JDBC(Java Data Base Connectivity，java数据库连接)的批量提取功能。
3、多线程采用线程池，大数据量按照配置表分区设置同时进行稽核比对。
4、数据库连接采用数据库连接池，并使用封装后的结果集可以同时配置多个数据库连接。
稽核组件配置表部分字段及说明。
Figure BDA0000056052010000061
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种数据比对方法，其特征在于，它包括以下步骤：
步骤1：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；
步骤2：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；
步骤:3：对数据进行比对；
步骤4：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；
步骤:5：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。
2.根据权利要求1所述的数据比对方法，其特征在于，所述步骤4中数据的属性包括动态和静态，所述动态为数据随着时间的变化变动频繁，所述静态为数据随着时间的变化基本不变。
3.根据权利要求1所述的数据比对方法，其特征在于，所述比对结果包括差异量和差异内容。
4.根据权利要求1所述的数据比对方法，其特征在于，所述步骤3中数据比对为单线程比对。
5.根据权利要求1所述的数据比对方法，其特征在于，所述步骤3中数据比对为多线程比对，具体为，根据数据比对控制流程信息内的分区设置信息，将数据放入数据库中的分区表内，一个分区一个线程，同时进行数据比对。
CN2011100973835A 2011-04-19 2011-04-19 数据比对方法 Pending CN102184190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100973835A CN102184190A (zh) 2011-04-19 2011-04-19 数据比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100973835A CN102184190A (zh) 2011-04-19 2011-04-19 数据比对方法

Publications (1)

Publication Number Publication Date
CN102184190A true CN102184190A (zh) 2011-09-14

Family

ID=44570367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100973835A Pending CN102184190A (zh) 2011-04-19 2011-04-19 数据比对方法

Country Status (1)

Country Link
CN (1) CN102184190A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609461A (zh) * 2012-01-13 2012-07-25 广州从兴电子开发有限公司 一种清单稽核方法及系统
CN103345383A (zh) * 2013-06-28 2013-10-09 北京航天金盾科技有限公司 一种多线程数据比对方法和装置
CN104268291A (zh) * 2014-10-23 2015-01-07 税友软件集团股份有限公司 一种数据一致性处理方法和系统
CN104679794A (zh) * 2013-12-03 2015-06-03 中兴通讯股份有限公司 数据差异分析方法及装置
CN105095240A (zh) * 2014-05-04 2015-11-25 中国银联股份有限公司 数据库的数据样本采集
CN106021301A (zh) * 2016-05-05 2016-10-12 北京思特奇信息技术股份有限公司 一种不同文件格式的数据比对系统及方法
CN106326398A (zh) * 2016-08-19 2017-01-11 东软集团股份有限公司 数据一致性对比的方法及装置
CN107301203A (zh) * 2017-05-27 2017-10-27 北京思特奇信息技术股份有限公司 一种海量数据的比对方法及系统
CN107679104A (zh) * 2017-09-12 2018-02-09 杭州美创科技有限公司 大表流式并行高速数据比对方法
CN108243046A (zh) * 2016-12-27 2018-07-03 中国移动通信集团浙江有限公司 一种基于数据稽核的业务质量评估方法及装置
CN112527776A (zh) * 2020-12-18 2021-03-19 杭州数澜科技有限公司 数据稽核方法、装置及存储介质
CN113377751A (zh) * 2021-06-02 2021-09-10 浪潮软件股份有限公司 一种集成数据比对方法
CN113760911A (zh) * 2021-09-01 2021-12-07 上海哔哩哔哩科技有限公司 索引差异测试方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094051A (zh) * 2007-06-27 2007-12-26 中国移动通信集团四川有限公司 数据一致性比对同步的系统和方法
CN101594627A (zh) * 2008-05-26 2009-12-02 北京摩软科技有限公司 一种模拟移动终端故障的装置和方法
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN101902539A (zh) * 2009-05-27 2010-12-01 北京汉铭通信有限公司 一种电信话单业务的稽核方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094051A (zh) * 2007-06-27 2007-12-26 中国移动通信集团四川有限公司 数据一致性比对同步的系统和方法
CN101594627A (zh) * 2008-05-26 2009-12-02 北京摩软科技有限公司 一种模拟移动终端故障的装置和方法
CN101902539A (zh) * 2009-05-27 2010-12-01 北京汉铭通信有限公司 一种电信话单业务的稽核方法和装置
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609461A (zh) * 2012-01-13 2012-07-25 广州从兴电子开发有限公司 一种清单稽核方法及系统
CN103345383B (zh) * 2013-06-28 2016-02-10 北京航天金盾科技有限公司 一种多线程数据比对方法和装置
CN103345383A (zh) * 2013-06-28 2013-10-09 北京航天金盾科技有限公司 一种多线程数据比对方法和装置
CN104679794A (zh) * 2013-12-03 2015-06-03 中兴通讯股份有限公司 数据差异分析方法及装置
CN105095240B (zh) * 2014-05-04 2018-11-27 中国银联股份有限公司 数据库的数据样本采集
CN105095240A (zh) * 2014-05-04 2015-11-25 中国银联股份有限公司 数据库的数据样本采集
CN104268291A (zh) * 2014-10-23 2015-01-07 税友软件集团股份有限公司 一种数据一致性处理方法和系统
CN104268291B (zh) * 2014-10-23 2018-01-19 税友软件集团股份有限公司 一种数据一致性处理方法和系统
CN106021301A (zh) * 2016-05-05 2016-10-12 北京思特奇信息技术股份有限公司 一种不同文件格式的数据比对系统及方法
CN106326398A (zh) * 2016-08-19 2017-01-11 东软集团股份有限公司 数据一致性对比的方法及装置
CN108243046B (zh) * 2016-12-27 2020-12-22 中国移动通信集团浙江有限公司 一种基于数据稽核的业务质量评估方法及装置
CN108243046A (zh) * 2016-12-27 2018-07-03 中国移动通信集团浙江有限公司 一种基于数据稽核的业务质量评估方法及装置
CN107301203A (zh) * 2017-05-27 2017-10-27 北京思特奇信息技术股份有限公司 一种海量数据的比对方法及系统
CN107301203B (zh) * 2017-05-27 2020-10-02 北京思特奇信息技术股份有限公司 一种海量数据的比对方法及系统
CN107679104B (zh) * 2017-09-12 2020-11-24 杭州美创科技有限公司 大表流式并行高速数据比对方法
CN107679104A (zh) * 2017-09-12 2018-02-09 杭州美创科技有限公司 大表流式并行高速数据比对方法
CN112527776A (zh) * 2020-12-18 2021-03-19 杭州数澜科技有限公司 数据稽核方法、装置及存储介质
CN113377751A (zh) * 2021-06-02 2021-09-10 浪潮软件股份有限公司 一种集成数据比对方法
CN113760911A (zh) * 2021-09-01 2021-12-07 上海哔哩哔哩科技有限公司 索引差异测试方法及系统

Similar Documents

Publication Publication Date Title
CN102184190A (zh) 数据比对方法
CN101515290B (zh) 具有双向互动特征的元数据管理系统及其实现方法
CN103577440B (zh) 一种非关系型数据库中的数据处理方法和装置
CN102495857B (zh) 一种分布式数据库的负载均衡方法
CN103514166B (zh) Sql检查方法与装置
CN106407302B (zh) 支持通过简单sql调用中间件数据库特有功能的方法
US20130086322A1 (en) Systems and methods for multitenancy data
US20100192148A1 (en) User defined data partitioning (udp) - grouping of data based on computation model
CN106095878A (zh) 基于分库分表的数据库操作装置及方法
US20180150536A1 (en) Instance-based distributed data recovery method and apparatus
CN105683941A (zh) 调节企业数据仓库资源使用
CN102254029A (zh) 一种基于视图的数据访问系统及其方法
CN105447051A (zh) 一种数据库操作的方法和装置
WO2021051830A1 (zh) 区块链数据处理的方法、装置、设备及可读存储介质
CN103530427A (zh) 一种基于多数据库的动态切换方法和装置
CN105138326A (zh) 一种基于ibatis实现sql动态配置的方法及系统
CN102063449A (zh) 提高数据库中数据对象统计信息可靠性的方法及装置
CN113326264A (zh) 数据处理方法、服务器及存储介质
CN103020753A (zh) 单据状态显示系统和单据状态显示方法
CN105975463A (zh) 一种基于MapReduce识别优化数据倾斜的方法及系统
CN103345501A (zh) 数据库更新方法和装置
CN102521304A (zh) 基于哈希的聚簇表存储方法
CN109669975A (zh) 一种工业大数据处理系统及方法
CN107291938A (zh) 订单查询系统及方法
CN103699653A (zh) 数据聚类方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 100085 Haidian District, Zhongguancun, South Street, No. 6,, building information, floor, No. 16

Applicant after: SI-TECH Information Technology Ltd.

Address before: 100085, Beijing, Haidian District on the nine Street 9 digital science and Technology Plaza, two floor

Applicant before: Beijing Digital China SI-TECH Information Technology Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: BEIJING DIGITAL CHINA SI-TECH INFORMATION TECHNOLOGY LTD. TO: BEIJING SI-TECH INFORMATION TECHNOLOGY LTD.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110914