CN105225192B - 一种基于明细对账稽核方法及系统 - Google Patents
一种基于明细对账稽核方法及系统 Download PDFInfo
- Publication number
- CN105225192B CN105225192B CN201510569699.8A CN201510569699A CN105225192B CN 105225192 B CN105225192 B CN 105225192B CN 201510569699 A CN201510569699 A CN 201510569699A CN 105225192 B CN105225192 B CN 105225192B
- Authority
- CN
- China
- Prior art keywords
- file
- check
- data
- detailed
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Storage Device Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于明细对账稽核方法及系统，其方法包括：步骤1：读取并加载稽核局数据，通过稽核局数据获取稽核文件并处理，并将处理后的稽核文件加载到内存中；步骤2：多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；步骤3：根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；步骤4：对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果，结束。通过文本明细进行对账稽核，找出核对方和稽核方的明细差异，生成相同明细、差异明细，从而达到对账稽核的目地。
Description
技术领域
本发明涉及一种基于明细对账稽核方法及系统。
背景技术
随着电信行业业务的普及，业务拓展速度的加快，云平台和去IOE，在不依赖数据库的情况下，无法进行几个平台的明细交易对账。
现有技术存在以下问题：
在数据量非常大的情况下，比如超10亿以上，处理数据的时间比较长；
在数据大的情况，如基于Linux虚拟机，要求内存要求比较大；
主要针对文本文件处理，对IO要求比较高。
发明内容
本发明所要解决的技术问题是提供一种可实现unix或linux系统下，针对系统间的交易明细的稽核对账，找出明细差异，达到对账稽核目的的基于明细对账稽核方法及系统。
本发明解决上述技术问题的技术方案如下：一种基于明细对账稽核方法，具体包括以下步骤：
步骤1：读取并加载稽核局数据，通过稽核局数据获取稽核文件，对稽核文件进行分组、加密、排序和映射处理，并将处理后的稽核文件加载到内存中；
步骤2：多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；
步骤3：根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；
步骤4：对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果，结束。
本发明的有益效果是：通过使用明细对账稽核的处理方式，是传统的通过数据库平台，通过查询SQL找出差异，要求非常苛刻，现在采用明细对账稽核处理，不依赖数据库，通过简单的Linux PC虚拟机就可以达到目地，在云平台和去IOE，是非常不错的选择，解决了依赖数据库或手工的对账。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1具体包括以下步骤：
步骤1.1：读取并加载稽核局数据；
步骤1.2：通过稽核局数据获取多个稽核文件；
步骤1.3：判断所有稽核文件是否处理完，如果是，执行步骤1.7；否则，执行步骤1.4；
步骤1.4：读取稽核文件的稽核记录，选择一个稽核文件作为当前文件，判断当前文件是否已经到结尾，如果是，执行步骤1.2；否则，执行步骤1.5；
步骤1.5：获取当前文件的关键字段，根据关键字段对当前文件进行分组得到分组数据；
步骤1.6：通过关口局对当前分组数据自动进行加密生成加密数据，执行步骤1.4；
步骤1.7：将加密数据写文件，并排序，构成规则有序的排序数据；
步骤1.8：对排序数据执行虚拟内存映射，实现排序数据加载到内存中，执行步骤2。
进一步，所述步骤2具体包括以下步骤：
步骤2.1：多线程读取被稽核文件；
步骤2.2：判断被稽核文件是否完成处理，如果是，执行步骤3；否则，执行步骤2.3；
步骤2.3：读取被稽核文件的稽核记录，选择一个被稽核文件作为当前被稽核文件，判断当前被稽核文件是否已经到结尾，如果是，执行步骤2.1；否则，执行步骤2.4；
步骤2.4：获取当前被稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤2.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤2.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够找到匹配重单或者不是重单；如果是，输出相同单明细，执行步骤2.3；否则，输出差异单明细，执行步骤2.3。
进一步，所述步骤3具体包括以下步骤：
步骤3.1：根据差异单明细获得未稽核文件；
步骤3.2：判断未稽核文件是否完成处理，如果是，执行步骤4；否则，执行步骤3.3；
步骤3.3：读取未稽核文件的稽核记录，选择一个未稽核文件作为当前未稽核文件，判断当前未稽核文件是否已经到结尾，如果是，执行步骤3.1；否则，执行步骤3.4；
步骤3.4：获取当前未稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤3.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤3.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够得到匹配；如果是，执行步骤3.3；否则，输出差异单明细，执行步骤3.3。
进一步，所述稽核局数据通过配置支持定长和变长两种格式的文本文件，配置完成后获取稽核文件。
进一步，所述步骤1、2和3中所述的加密采用MD5信息加密。
本发明解决上述技术问题的技术方案如下：一种基于明细对账稽核系统，包括稽核模块、被稽核模块、未稽核模块和汇总统计模块；
所述稽核模块用于读取并加载稽核局数据，通过稽核局数据获取稽核文件，对稽核文件进行分组、加密、排序和映射处理，并将处理后的稽核文件加载到内存中；
所述被稽核模块用于多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；
所述未稽核模块用于根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；
所述汇总统计模块用于对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果。
本发明的有益效果是：通过使用明细对账稽核的处理方式，是传统的通过数据库平台，通过查询SQL找出差异，要求非常苛刻，现在采用明细对账稽核处理，不依赖数据库，通过简单的Linux PC虚拟机就可以达到目地，在云平台和去IOE，是非常不错的选择，解决了依赖数据库或手工的对账。
在unix或linux系统中，本发明可以通过文本明细进行对账稽核，找出核对方和稽核方的明细差异，生成相同明细、差异明细，从而达到对账稽核的目地。
虚拟内存映射：
通过简易配置，配置支持定长和变长两种格式的文本文件，以稽核方的数据作为稽核点，按照分组字段的数字后2位进行分组，比如交易流水号的后2位，并将关键字段进行MD5信息加密，将MD5加密写文件，并排序，形成规则有序的数据。最后通过文件虚拟内存映射，加载到内存。
明细对账稽核：
多线程读取被稽核文件，通过分组字段，关键字段MD5加密，再通过折半查找，找到则置稽核标志为1，如果稽核标志已经为1的，则作为重单输出，否则按相同单输出；未找的话单，则作为差异单输出。
所有明细对账后，再对未稽核的数据进行稽核，对未置稽核标志的话单，作为差异单输出。
明细对账稽核汇总：
稽核明细结束后，针对稽核明细进行汇总统计，输出稽核相同的记录数，以及稽核方和被稽核方的差异记录数。
附图说明
图1为本发明所述的一种基于明细对账稽核方法流程图；
图2为本发明所述的一种基于明细对账稽核系统结构框图；
图3为本发明具体实施例1所述的一种基于明细对账稽核方法流程图。
附图中，各标号所代表的部件列表如下：
1、稽核模块，2、被稽核模块，3、未稽核模块，4、汇总统计模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明所述的一种基于明细对账稽核方法，具体包括以下步骤：
步骤1：读取并加载稽核局数据，通过稽核局数据获取稽核文件，对稽核文件进行分组、加密、排序和映射处理，并将处理后的稽核文件加载到内存中；
步骤2：多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；
步骤3：根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；
步骤4：对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果，结束。
所述步骤1具体包括以下步骤：
步骤1.1：读取并加载稽核局数据；
步骤1.2：通过稽核局数据获取多个稽核文件；
步骤1.3：判断所有稽核文件是否处理完，如果是，执行步骤1.7；否则，执行步骤1.4；
步骤1.4：读取稽核文件的稽核记录，选择一个稽核文件作为当前文件，判断当前文件是否已经到结尾，如果是，执行步骤1.2；否则，执行步骤1.5；
步骤1.5：获取当前文件的关键字段，根据关键字段对当前文件进行分组得到分组数据；
步骤1.6：通过关口局对当前分组数据自动进行加密生成加密数据，执行步骤1.4；
步骤1.7：将加密数据写文件，并排序，构成规则有序的排序数据；
步骤1.8：对排序数据执行虚拟内存映射，实现排序数据加载到内存中，执行步骤2。
所述步骤2具体包括以下步骤：
步骤2.1：多线程读取被稽核文件；
步骤2.2：判断被稽核文件是否完成处理，如果是，执行步骤3；否则，执行步骤2.3；
步骤2.3：读取被稽核文件的稽核记录，选择一个被稽核文件作为当前被稽核文件，判断当前被稽核文件是否已经到结尾，如果是，执行步骤2.1；否则，执行步骤2.4；
步骤2.4：获取当前被稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤2.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤2.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够找到匹配重单或者不是重单；如果是，输出相同单明细，执行步骤2.3；否则，输出差异单明细，执行步骤2.3。
所述步骤3具体包括以下步骤：
步骤3.1：根据差异单明细获得未稽核文件；
步骤3.2：判断未稽核文件是否完成处理，如果是，执行步骤4；否则，执行步骤3.3；
步骤3.3：读取未稽核文件的稽核记录，选择一个未稽核文件作为当前未稽核文件，判断当前未稽核文件是否已经到结尾，如果是，执行步骤3.1；否则，执行步骤3.4；
步骤3.4：获取当前未稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤3.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤3.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够得到匹配；如果是，执行步骤3.3；否则，输出差异单明细，执行步骤3.3。
所述稽核局数据通过配置支持定长和变长两种格式的文本文件，配置完成后获取稽核文件。
所述步骤1、2和3中所述的加密采用MD5信息加密。
如图2所示，为本发明所述的一种基于明细对账稽核系统，包括稽核模块1、被稽核模块2、未稽核模块3和汇总统计模块4；
所述稽核模块1用于读取并加载稽核局数据，通过稽核局数据获取稽核文件，对稽核文件进行分组、加密、排序和映射处理，并将处理后的稽核文件加载到内存中；
所述被稽核模块2用于多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；
所述未稽核模块3用于根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；
所述汇总统计模块4用于对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果。
如图3所示，为本发明具体实施例1所述的一种基于明细对账稽核方法流程图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于明细对账稽核方法，其特征在于，具体包括以下步骤：
步骤1：读取并加载稽核局数据，通过稽核局数据获取稽核文件，对稽核文件进行分组、加密、排序和映射处理，并将处理后的稽核文件加载到内存中；
步骤2：多线程读取被稽核文件，进行处理后与内存中的稽核文件进行比较，获得是否找到或不是重单的判断结果，根据判断结果输出相同单明细或差异单明细；
步骤3：根据差异单明细获得未稽核文件，对未稽核文件进行分组、加密和查找处理，并根据处理结果输出稽核差异明细；
步骤4：对输出的相同单明细、差异单明细和稽核差异明细进行汇总统计，输出稽核结果，结束；
所述步骤1具体包括以下步骤：
步骤1.1：读取并加载稽核局数据；
步骤1.2：通过稽核局数据获取多个稽核文件；
步骤1.3：判断所有稽核文件是否处理完，如果是，执行步骤1.7；否则，执行步骤1.4；
步骤1.4：读取稽核文件的稽核记录，选择一个稽核文件作为当前文件，判断当前文件是否已经到结尾，如果是，执行步骤1.2；否则，执行步骤1.5；
步骤1.5：获取当前文件的关键字段，根据关键字段对当前文件进行分组得到分组数据；
步骤1.6：通过关口局对当前分组数据自动进行加密生成加密数据，执行步骤1.4；
步骤1.7：将加密数据写文件，并排序，构成规则有序的排序数据；
步骤1.8：对排序数据执行虚拟内存映射，实现排序数据加载到内存中，执行步骤2。
2.根据权利要求1所述的一种基于明细对账稽核方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1：多线程读取被稽核文件；
步骤2.2：判断被稽核文件是否完成处理，如果是，执行步骤3；否则，执行步骤2.3；
步骤2.3：读取被稽核文件的稽核记录，选择一个被稽核文件作为当前被稽核文件，判断当前被稽核文件是否已经到结尾，如果是，执行步骤2.1；否则，执行步骤2.4；
步骤2.4：获取当前被稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤2.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤2.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够找到匹配重单或者不是重单；如果是，输出相同单明细，执行步骤2.3；否则，输出差异单明细，执行步骤2.3。
3.根据权利要求1所述的一种基于明细对账稽核方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3.1：根据差异单明细获得未稽核文件；
步骤3.2：判断未稽核文件是否完成处理，如果是，执行步骤4；否则，执行步骤3.3；
步骤3.3：读取未稽核文件的稽核记录，选择一个未稽核文件作为当前未稽核文件，判断当前未稽核文件是否已经到结尾，如果是，执行步骤3.1；否则，执行步骤3.4；
步骤3.4：获取当前未稽核文件的关键字段，根据关键字段对当前被稽核文件进行分组得到分组数据；
步骤3.5：通过关口局对当前分组数据自动进行加密生成加密数据；
步骤3.6：将加密数据与内存中保存的排序数据折半查找，判断所述加密数据是否能够得到匹配；如果是，执行步骤3.3；否则，输出差异单明细，执行步骤3.3。
4.根据权利要求1所述的一种基于明细对账稽核方法，其特征在于，所述稽核局数据通过配置支持定长和变长两种格式的文本文件，配置完成后获取稽核文件。
5.根据权利要求1-4任一项所述的一种基于明细对账稽核方法，其特征在于，所述步骤1、2和3中所述的加密采用MD5信息加密。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510569699.8A CN105225192B (zh) | 2015-09-09 | 2015-09-09 | 一种基于明细对账稽核方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510569699.8A CN105225192B (zh) | 2015-09-09 | 2015-09-09 | 一种基于明细对账稽核方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105225192A CN105225192A (zh) | 2016-01-06 |
| CN105225192B true CN105225192B (zh) | 2018-10-19 |
Family
ID=54994144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510569699.8A Active CN105225192B (zh) | 2015-09-09 | 2015-09-09 | 一种基于明细对账稽核方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105225192B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870927B (zh) * | 2016-09-26 | 2021-08-13 | 博彦泓智科技(上海)有限公司 | 文件评估方法和装置 |
| CN106411530B (zh) * | 2016-10-25 | 2021-08-06 | 国家电网公司 | 一种弱口令的快速比对查找方法 |
| CN107025601A (zh) * | 2017-01-23 | 2017-08-08 | 阿里巴巴集团控股有限公司 | 数据核对方法、装置及设备 |
| CN108765117A (zh) * | 2018-05-18 | 2018-11-06 | 连连银通电子支付有限公司 | 一种实时多任务处理的对账方法及系统 |
| CN110363514B (zh) * | 2019-05-27 | 2024-07-05 | 平安银行股份有限公司 | 电子账单测试方法、装置、电子设备及存储介质 |
| CN112527776A (zh) * | 2020-12-18 | 2021-03-19 | 杭州数澜科技有限公司 | 数据稽核方法、装置及存储介质 |
| CN113256419B (zh) * | 2021-05-21 | 2022-09-02 | 上海简苏网络科技有限公司 | 一种区块链交易检索方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809108A (zh) * | 2006-02-20 | 2006-07-26 | 南京联创科技股份有限公司 | 基于过滤片的话单内存排重方法 |
| CN101902532A (zh) * | 2009-05-27 | 2010-12-01 | 北京汉铭通信有限公司 | 一种电信业务的数据稽核方法和系统 |
| CN103136276A (zh) * | 2011-12-02 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种数据核对系统，方法及装置 |
| CN103473643A (zh) * | 2013-09-10 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种boss系统的产品管理数据稽核方法及系统 |
-
2015
- 2015-09-09 CN CN201510569699.8A patent/CN105225192B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809108A (zh) * | 2006-02-20 | 2006-07-26 | 南京联创科技股份有限公司 | 基于过滤片的话单内存排重方法 |
| CN101902532A (zh) * | 2009-05-27 | 2010-12-01 | 北京汉铭通信有限公司 | 一种电信业务的数据稽核方法和系统 |
| CN103136276A (zh) * | 2011-12-02 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 一种数据核对系统，方法及装置 |
| CN103473643A (zh) * | 2013-09-10 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种boss系统的产品管理数据稽核方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 青海移动月末出账稽核系统的设计与实现;王明昭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315(第03期);参见第2、25-26、30、80-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105225192A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105225192B (zh) | 一种基于明细对账稽核方法及系统 | |
| Bloom | Space/time trade-offs in hash coding with allowable errors | |
| CN103559443B (zh) | 多核设备的病毒扫描方法和装置 | |
| WO2019200701A1 (zh) | 一种配置管理方法、装置、终端设备及存储介质 | |
| CN110125015A (zh) | 分拣方法、装置及计算机可读存储介质 | |
| US8103377B1 (en) | Method and apparatus for determining the usability of overage units in a sortation process | |
| US8321476B2 (en) | Method and system for determining boundary values dynamically defining key value bounds of two or more disjoint subsets of sort run-based parallel processing of data from databases | |
| Lockwood et al. | Implementing ultra low latency data center services with programmable logic | |
| CN109823755A (zh) | 物流分拣信息的处理方法、装置、系统、设备和存储介质 | |
| AU2011226985B2 (en) | Image retrieval method | |
| JP7157141B2 (ja) | ゲノム・ファイルのためのコンテキスト・アウェア差分アルゴリズム | |
| CN104298736A (zh) | 数据集合连接方法、装置及数据库系统 | |
| CN111046045A (zh) | 处理数据倾斜的方法、装置、设备及存储介质 | |
| CN110201393A (zh) | 一种配置数据的存储方法、装置及电子设备 | |
| CN108829805A (zh) | 一种基于MongoDB的分片存储方法 | |
| CN110287696A (zh) | 一种反弹shell进程的检测方法、装置和设备 | |
| CN106021048A (zh) | 一种磁盘组乱序验证的方法及装置 | |
| CN106529229A (zh) | 权限数据的处理方法和装置 | |
| US20210360001A1 (en) | Cluster-based near-duplicate document detection | |
| CN102195950A (zh) | 基于云计算的指纹认证平台 | |
| CN106462633A (zh) | 将相关的稀疏数据高效存储在搜索索引中 | |
| CN102411588A (zh) | 数据表的对比检验方法及系统 | |
| CN112053114A (zh) | 一种用于提高单批次订单装载量的订单组团方法和系统 | |
| CN110134646B (zh) | 知识平台服务数据存储与集成方法及系统 | |
| US20190050298A1 (en) | Method and apparatus for improving database recovery speed using log data analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |