CN103970728A - 一种文件的比对方法和系统 - Google Patents

Abstract

本发明公的方式开一种文件的比对方法和系统。该方法包括以下步骤：a.接收比对请求，b.当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称，c.当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录，d.产生比对结果。

Description

一种文件的比对方法和系统

技术领域

本发明涉及数据比对，并且尤其涉及一种文件的比对方法和系统。

背景技术

目前，主流的文件比对工具如beyond compare等，只能对一定大小的文件目录进行windows下的内存装载后，按逐个文件进行原样比对并显示比对结果。这种方案存在以下缺点：

1、无法对数百G的大批量文件进行处理。比对过程依赖于windows系统本身内存大小，且比对耗时较长。

2、对于同一文件中数据在逐行排序不一致情况下，无法进行正确比对处理，往往得出错误的比对结果。

3、对于银行卡流水中的顺序类文件无法进行拆分比对。

4、结果展示中，无法对比对不一致的字段进行统计、说明。

5、比对过程无法进行自定义处理，对比对双方目录中的指定子目录、文件等无法设定忽略比对，比对过程无法监控并终止，对同一文件中比对不一致记录也无法统计分析、比对结果无法导出并保留等。

发明内容

根据本发明的一个目的，公开一种文件的比对方法，包括以下步骤：

a. 接收比对请求，

b. 当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称，

c. 当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录，

d. 产生比对结果。

优选地，所述目录比对请求指定要比对的目录。

优选地，所述文件比对请求指定要比对的文件目录和要比对的文件类型。

优选地，在步骤b中，还根据目录参数选择要比对的目录。

优选地，在步骤c中，还根据文件参数比对文件。

优选地，所述文件参数包括文件名合法性规则，在步骤c中，选择文件名合法的文件进行比对。

优选地，所述文件参数包括文件记录索引规则，在步骤c中，根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。

优选地，所述文件参数包括文件记录拆分规则，在步骤c中，将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。

优选地，所述文件参数包括不一致记录数阈值，在步骤c中，当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。

优选地，所述文件参数包括文件记录排序规则，在步骤c中，根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。

优选地，还包括以下步骤：

e. 产生比对进度，在该步骤中，根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。

根据本发明的一个目的，公开一种文件比对系统，包括以下模块：

调度模块，用于接收比对请求，

目录比对模块，当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称，

文件比对模块，当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录，

结果处理模块，产生比对结果。

优选地，所述目录比对请求指定要比对的目录。

优选地，所述文件比对请求指定要比对的文件目录和要比对的文件类型。

优选地，目录比对模块，还根据目录参数选择要比对的目录。

优选地，文件比对模块，还根据文件参数比对文件。

优选地，所述文件参数包括文件名合法性规则，文件比对模块选择文件名合法的文件进行比对。

优选地，所述文件参数包括文件记录索引规则，文件比对模块根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。

优选地，所述文件参数包括文件记录拆分规则，文件比对模块将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。

优选地，所述文件参数包括不一致记录数阈值，文件比对模块当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。

优选地，所述文件参数包括文件记录排序规则，文件比对模块根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。

优选地，还包括以下模块：

进度监控模块，用于产生比对进度，该模块根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。

本发明的一个优势在于，比对文件占用内存小、效率高、文件比对结果更加准确。

本发明的另一个优势在于，文件的比对系统以先分块处理再辅以多进程方式进行文件比对。

本发明的另一个优势在于，比对过程中，对流水文件记录进行字段拆分，并对拆分后的字段进行比较，保证了比对的精度。

本发明的另一个优势在于，对于不一致记录数过多的文件，在文件比对过程中，若已比对的不一致记录数超过一定阈值，则退出对该文件的比对，将文件名称输出到指定日志中，供比对完成后再对其进行分析，减少文件比对时间，提高效率。

本发明的另一个优势在于，比对完成后， 后台系统将比对差异字段进一步采用格式规范化处理技术对其分类、统计后，ftp传输到前台进行展示。

本发明的另一个优势在于，能够进行全量级或自定义比对（包括自定义文件夹比对和自定义文件类型比对），并返回总体目录一致性比对结果、文件数量与存在性比对结果、记录内容比对一致性结果的三个层次比对结果。

本发明可以进行大批量的数据文件比对，不受内存等系统资源限制，比对效率高；比对对象、比对过程具有可控制性，可以在日常测试工作中进行针对性比对；比对结果精确无误，避免了比对结果错误而导致再分析的人力浪费；统计、展示结果清晰，比对结果可以长期保留。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是，这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。其中，

图1是根据本发明实施例的文件的比对图示。

图2是根据本发明实施例的文件的比对方法步骤示意图。

图3是根据本发明实施例的文件的比对系统结构示意图。

具体实施方式

下面参照附图，对本发明的具体实施方式作进一步的详细描述。在下面的描述中，为了解释的目的，陈述许多具体细节以便提供对实施例的一个或多个方面的透彻理解。可以各种形式来实施所概括的各个方面。下面的描述借助于图解显示了可实践各方面的各种组合。应当理解的是，所描述的各方面和/或实施例仅仅是实例，并且可采用其他方面和/或实施例，且在不背离本公开的范围的情况下可做出结构的和功能的修改。

另外，尽管可以仅关于若干实施方式中的一个公开了实施例的特定特征或方面，但可针对任何给定的或特定的应用所期望和有利的那样，这种特征或方面可与其他实施方式的一种或多个其他特征或方面相组合。

图1是根据本发明实施例的文件的比对图示。如图所示，本发明关于文件（例如，银行流水文件）的比对涵盖两个部分，一个部分是目录比对，另一个部分是文件比对。目录比对是指比较双方的目录名称是否一致，而文件比对是指比较双方的文件名称是否一致或者文件中的记录的内容是否一致。目录比对部分接收目录比对请求，并且根据该请求和目录参数，产生目录比对结果。类似地，文件比对部分接收文件比对请求，并且根据该请求和文件参数，产生文件比对结果。根据本发明，能够对比对进度进行监控，生成进度报告。

图2是根据本发明实施例的文件的比对方法步骤示意图。如图2所示，根据本发明的实施例的比对方法包括以下步骤：

a. 接收比对请求。

b. 当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称。

c. 当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录。

d. 产生比对结果。

在一个示例中，目录比对请求指定要比对的目录。即，通过请求来自定义要比对的目录。

在一个示例中，所述文件比对请求指定要比对的文件目录和要比对的文件类型。由此，可以定制要比对的文件目录和要比对的文件类型。例如，可以自定义比对相同目录名下的文件；根据需要，也可以比对不同目录名下的文件。

在一个示例中，在步骤b中，还根据目录参数选择要比对的目录。例如，可以在目录参数中设置无需比对的目录，由此，在比对开始之前可以过滤不需要比对的目录。

在目录比对过程中，可以统计被比对的目录的一致情况和单边存在的目录。例如，可以产生一致目录的数量、一致目录占被比对目录的百分比，单边存在的目录数量、百分比、目录名等，作为目录比对结果。类似地，在文件比对过程中，可以统计被比对的文件的一致情况和单边存在的文件。例如，可以产生一致文件的数量、一致文件占被比对文件的百分比，单边存在的文件数量、百分比、文件名等，作为文件比对结果。

在一个示例中，在步骤c中，还根据文件参数比对文件。

例如，所述文件参数包括文件名合法性规则，在步骤c中，选择文件名合法的文件进行比对。

例如，所述文件参数包括文件记录索引规则，在步骤c中，根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。

例如，所述文件参数包括文件记录拆分规则，在步骤c中，将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。在这个例子中，文件比对结果还可以包括统计的不一致的字段名称、数量等。

例如，所述文件参数包括不一致记录数阈值，在步骤c中，当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。在这个例子中，文件比对结果还可以包括被停止比对的文件名。

例如，所述文件参数包括文件记录排序规则，在步骤c中，根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。

在一个示例中，本发明的实施例的比对方法还包括以下步骤：

e. 产生比对进度，在该步骤中，根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。

图3是根据本发明实施例的文件的比对系统结构示意图。

如图3所示，根据本发明的实施例的比对系统包括以下模块：

调度模块，用于接收比对请求。

目录比对模块，当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称。

文件比对模块，当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录。

结果处理模块，产生比对结果。

比对请求可以是来自前台的Windows操作系统，而作为后台系统的根据本发明的比对系统可以是Unix操作系统。后台系统可以对大量的要进行比对的目录或文件以多进程方式计算。前台系统和后台系统可以采用Http协议进行通信。

在一个示例中，目录比对请求指定要比对的目录。即，通过请求来自定义要比对的目录。例如，用户可以通过前台来定制要比对的目录。

在一个示例中，所述文件比对请求指定要比对的文件目录和要比对的文件类型。由此，可以定制要比对的文件目录和要比对的文件类型。例如，可以自定义比对相同目录名下的文件；根据需要，也可以比对不同目录名下的文件。

在一个示例中，目录比对模块还根据目录参数选择要比对的目录。例如，可以在目录参数中设置无需比对的目录，由此，在比对开始之前可以过滤不需要比对的目录。目录参数可以被存放在共享内存。

在目录比对过程中，可以统计被比对的目录的一致情况和单边存在的目录。例如，可以产生一致目录的数量、一致目录占被比对目录的百分比，单边存在的目录数量、百分比、目录名等，作为目录比对结果。类似地，在文件比对过程中，可以统计被比对的文件的一致情况和单边存在的文件。例如，可以产生一致文件的数量、一致文件占被比对文件的百分比，单边存在的文件数量、百分比、文件名等，作为文件比对结果。

在一个示例中，文件比对模块还根据文件参数比对文件。文件参数可以被存放在共享内存。

例如，所述文件参数包括文件名合法性规则，文件比对模块选择文件名合法的文件进行比对。

例如，所述文件参数包括文件记录索引规则，文件比对模块根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。对于例如大于1G大小的大型文件，文件比对模块可以采用这种方式，不将文件装入内存，而在内存中生成索引进行文件记录的匹配，然后再将匹配的记录读入内存进行比对。

例如，所述文件参数包括文件记录拆分规则，文件比对模块将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。在这个例子中，文件比对结果还可以包括统计的不一致的字段名称、数量等。

例如，所述文件参数包括不一致记录数阈值，文件比对模块当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。在这个例子中，文件比对结果还可以包括被停止比对的文件名。

例如，所述文件参数包括文件记录排序规则，文件比对模块根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。对于例如不到100M大小的小型文件，文件比对模块可以采用这种方式，将需要比对的文件直接装入内存进行比对。

根据本发明，结果处理模块可以对目录比对结果、文件比对结果进行分类汇总，以xml和csv格式进行记录，并将比对结果返回给调度模块。例如，对于来自目录比对模块和文件比对模块的信息，生成xml报文文件；按照文件记录的字段的差异、数量统计，以及对应字段的解释，生成csv文件。对于比对文件中，记录数据行差异超过上限值的，生成csv文件。

在一个示例中，本发明的实施例的比对系统还包括：

进度监控模块，用于产生比对进度。该模块根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。该模块可以响应来自调度模块的请求向其发送进度情况，例如可以包括成功处理文件数、失败处理文件数、文件总数。进度监控模块还可以根据来自调度模块的指令来启动或者停止比对。

通过以上实施方式的描述，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (22)

1. 一种文件的比对方法，其特征在于，包括以下步骤：

a. 接收比对请求，

b. 当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称，

c. 当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录，

d. 产生比对结果。

2. 如权利要求1所述的方法，其特征在于，

所述目录比对请求指定要比对的目录。

3. 如权利要求1所述的方法，其特征在于，

所述文件比对请求指定要比对的文件目录和要比对的文件类型。

4. 如权利要求1所述的方法，其特征在于，

在步骤b中，还根据目录参数选择要比对的目录。

5. 如权利要求1所述的方法，其特征在于，

在步骤c中，还根据文件参数比对文件。

6. 如权利要求5所述的方法，其特征在于，

所述文件参数包括文件名合法性规则，在步骤c中，选择文件名合法的文件进行比对。

7. 如权利要求5所述的方法，其特征在于，

所述文件参数包括文件记录索引规则，在步骤c中，根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。

8. 如权利要求5所述的方法，其特征在于，

所述文件参数包括文件记录拆分规则，在步骤c中，将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。

9. 如权利要求5所述的方法，其特征在于，

所述文件参数包括不一致记录数阈值，在步骤c中，当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。

10. 如权利要求5所述的方法，其特征在于，

所述文件参数包括文件记录排序规则，在步骤c中，根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。

11. 如权利要求1所述的方法，其特征在于，还包括以下步骤：

e. 产生比对进度，在该步骤中，根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。

12. 一种文件的比对系统，其特征在于，包括以下模块：

调度模块，用于接收比对请求，

目录比对模块，当接收的是目录比对请求时，根据目录比对请求比对目录，比对目录包括比对目录名称，

文件比对模块，当接收的是文件比对请求时，根据文件比对请求比对文件，比对文件包括比对文件名和文件中的记录，

结果处理模块，产生比对结果。

13. 如权利要求12所述的系统，其特征在于，

所述目录比对请求指定要比对的目录。

14. 如权利要求12所述的系统，其特征在于，

所述文件比对请求指定要比对的文件目录和要比对的文件类型。

15. 如权利要求12所述的系统，其特征在于，

目录比对模块，还根据目录参数选择要比对的目录。

16. 如权利要求12所述的系统，其特征在于，

文件比对模块，还根据文件参数比对文件。

17. 如权利要求16所述的系统，其特征在于，

所述文件参数包括文件名合法性规则，文件比对模块选择文件名合法的文件进行比对。

18. 如权利要求16所述的系统，其特征在于，

所述文件参数包括文件记录索引规则，文件比对模块根据文件记录索引规则为要比对的文件中的记录生成索引，然后根据该索引比对文件中的记录。

19. 如权利要求16所述的系统，其特征在于，

所述文件参数包括文件记录拆分规则，文件比对模块将文件中的记录拆分成字段，在比对记录是否一致时，进一步比对记录中过的各个字段是否一致。

20. 如权利要求16所述的系统，其特征在于，

所述文件参数包括不一致记录数阈值，文件比对模块当被比对的文件双方的不一致的记录数超过所述阈值时，则停止比对。

21. 如权利要求16所述的系统，其特征在于，

所述文件参数包括文件记录排序规则，文件比对模块根据文件记录排序规则将要比对的文件双方的记录进行排序，比对排序后的文件中的记录。

22. 如权利要求12所述的系统，其特征在于，还包括以下模块：

进度监控模块，用于产生比对进度，该模块根据要比对的目录和比对完成的目录产生目录比对进度，或者根据要比对的文件和比对完成的文件产生文件比对进度。