CN101770470A - 一种文件类型识别分析方法及系统 - Google Patents

Abstract

本发明提供了一种处理效率高、精确性高并且参数配置简单、分析迅速的文件类型识别、分析方法及系统。该文件类型识别分析方法是用于识别从数据库读入的文件类型并进行分析的方法，其特征在于，包括：将文件类型、文件格式参数装载到内存的装载步骤；从存储器读入文件的文件读入步骤；判断读入的文件是否是内存能够识别的文件类型的文件类型识别步骤；在能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析步骤。利用本发明，有效地缩短了文件分析的时间，并且也能够确保文件识别、分析的精确性。

Description

一种文件类型识别分析方法及系统

技术领域

本发明涉及一种数据处理方法及系统，特别地涉及用于识别、分析文件类型的数据处理法方法及系统。

背景技术

信息的存储通常是以文件的形式存在，并以文件形式进行归档、整理。伴随着数据处理技术的不断发展，用户对文件归档、分析等工作的需求也日趋多样化。

在现有技术中，作为文件分析方法，主要有诸如使用UltraEdit等辅助工具，采用人工分析流水文件的方法。

UltraEdit是一种文本编辑器，可以编辑文字、Hex、ASCII码，可以取代记事本，内建英文单字检查、C++及VB指令突显，可同时编辑多个文件，而且即使开启很大的文件速度也不会慢。软件附有HTML Tag颜色显示、搜寻替换以及无限制的还原功能，一般可以用UltraEdit来修改EXE或DLL文件。

然而，上述利用UltraEdit等的分析方法存在工作量大、分析结果不准确、需要依靠人工进行分析的问题，而且，文件过大时，存在无法正确进行处理或者处理效率低的问题。

发明内容

本发明鉴于上述问题，旨在提出一种处理效率高、精确性高并且参数配置简单、分析迅速的文件类型识别、分析方法及系统。

本发明第1方面的文件类型识别分析方法，是用于识别从数据库读入的文件类型并进行分析的方法，其特征在于，包括下述步骤：

将文件类型、文件格式参数装载到内存的装载步骤；

从存储器读入文件的文件读入步骤；

判断读入的文件是否是内存能够识别的文件类型的文件类型识别步骤；

在能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析步骤。

优选地，在上述文件类型识别步骤中，根据文件名在内存中匹配对应的文件类型，根据匹配的文件类型在内存中搜索对应的文件格式。

优选地，在上述文件分析步骤中，对不同类型的文件，按照不同规则对行长度、字段分割符、结尾符、字段字符串格式进行判定。

优选地，在上述文件分析步骤中，包括下述步骤：

打开文件，一次性读取指定行数的文件内容，根据文件类型在规定规范下的要求，判断每行结尾的方式是否正确，对错误的行直接抛弃，并在分析报告中进行提示；

根据匹配到的文件格式，对文件格式中的长度取和并与该行的长度对比，不相等的，则抛弃并在分析报告中进行提示；

根据文件格式中的每个字段，取其长度对该行进行切割，并对切割出来的数据内容匹配对应的字段名称及域号内存中对应的文件格式取完后，该行切割结束。将切割的结果保存在内存中，

将内存中切割后的结果，以及对应的文件格式信息，通过界面显示。

优选地，在上述文件分析步骤中，包括下述步骤：

打开文件，读取指定字节大小的文件内容，对读取的内容，按指定字符个数进行分行，并装载入内存；

取内存中文件的第一行内容，前三个字符，根据该文件类型及记录类型码从内存中查找出对应的所有文件格式；

对该文件格式数据进行切割处理；

当该记录类型的段号切割完后，对剩余的行文件内容切割前三个字符，和文件类型一起查找文件格式，对该文件格式数据同样地进行上述切割处理直至文件读入指定字节大小结束；

通过界面显示该文件内容。

优选地，上述切割处理包括下述步骤：

取该文件的接下来四位字符并转换成二进制，对二进制结果进行检查，若值为1的，则在文件格式内存中查找该段号的文件格式，按照字段长度对行文件内容进行切割，并和字段名称、域号匹配地载入到内存，当行的长度不够切割时，取下一行和上一行剩余内容继续完成切割。

优选地，在上述文件分析步骤之前、文件类型识别步骤之后还包括：

判断文件的是否为大文件的步骤，

如果判断为大文件的情况下，按页打开文件进行文件分析。

优选地，还具备对读入的文件进行模糊匹配的模糊匹配步骤，该模糊匹配步骤包括：获得读入的文件文件名的步骤；

判断文件名是否模糊匹配，在匹配的情况下，区分文件类型及属性，在不匹配的情况下直接输出分析报告。

本发明第2方面的文件类型识别分析系统，用于识别从数据库读入的文件类型并进行分析，其特征在于，包括下述单元：

将文件类型、文件格式参数装载到内存的装载单元；

从存储器读入文件的文件读入单元；

判断读入的文件是否是内存能够识别的文件类型的文件类型识别单元；以及

在由上述文件类型识别单元判别为能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析单元。

优选地，还括：

判断上述文件读入单元读入的文件是否为大文件的判断单元，如果判断为大文件的情况下，上述文件分析单元按页打开文件进行文件分析。

优选地，还具备对读入的文件进行模糊匹配的模糊匹配单元，该模糊匹配单元包括：

获得读入的文件文件名的文件名获取单元；以及

判断由上述文件名获取单元获得的文件名是否模糊匹配，在匹配的情况下，区分文件类型及属性，在不匹配的情况下直接输出分析报告的判断单元。

利用本发明，如上所述，能够进行文件类型自动识别，并对文件进行自动分析。在无需修改应用系统的情况下，按照录入的文件类型及格式参数，能够自动进行各种类型文件的自动识别、分析并将分析报告通过界面输出。实现了在广泛应用的windos的平台下，对各类文件流水文件自动进行识别并分析的方法及系统。具有参数配饰简单、分析迅速及精确的优点，大大缩短了事件处理或测试过程中对文件分析的时间，有效的提高了工作效率。

附图说明

图1是表示本发明的文件类型识别分析方法的流程图。

图2是表示上述文件类型识别分析方法中的文件类型识别步骤的流程图。

具体实施方式

图1是表示本发明的文件类型识别分析方法的流程图。

如图1所示，用于识别从数据库读入的文件类型并进行分析的文件类型识别分析方法，包括下述步骤：

将文件类型、文件格式参数装载到内存的装载步骤(S100)；从存储器读入文件的文件读入步骤(S110)；判断读入的文件是否是内存能够识别的文件类型的文件类型识别步骤(S120)；在能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析步骤(S140)。

在上述文件类型识别步骤(S120)和上述文件分析步骤(S140)之间，还可设置判断文件是否是大文件的判断步骤(S130)。当读入的文件是大文件的情况下，例如，达到几百兆或者上G字节的情况下，进行按Page页方法打开(例如，每页的大小为64×5KB)并且读取文件进行分析处理。

另外，根据文件表现性质的不同，可以将文件分为分行流水文件和不分行流水文件。这里，分行流水文件是指，文件中每行格式相同，长度相同，一行表示一笔数据，不分行流水文件是指，文件中可能有多笔交易内容，但是整体上显示成一行，且文件的格式不固定。一般，一笔流水文件的具体格式，根据该流水文件开始的交易类型码和16进制位图来决定。

具体地，在对分行文件进行上述文件分析的步骤中，包括下述步骤：

打开文件，一次性读取指定行数的文件内容，根据文件类型在规定规范下的要求，判断每行结尾的方式是否正确，对错误的行直接抛弃，并在分析报告中进行提示；

根据匹配到的文件格式，对文件格式中的长度取和并与该行的长度对比，不相等的，则抛弃并在分析报告中进行提示；

根据文件格式中的每个字段，取其长度对该行进行切割，并对切割出来的数据内容匹配对应的字段名称及域号内存中对应的文件格式取完后，该行切割结束。将切割的结果保存在内存中，

将内存中切割后的结果，以及对应的文件格式信息，通过界面显示。

另外，在对不分行流水文件进行在上述文件分析的步骤中，包括下述步骤：

打开文件，读取指定字节大小的文件内容，对读取的内容，按指定字符个数进行分行，并装载入内存；

取内存中文件的第一行内容，前三个字符(记录类型码)，根据该文件类型及记录类型码从内存中查找出对应的所有文件格式(例如，字段名称、字段长度、域号等)；

按照字段长度对行流水进行切割，并和字段名称、域号匹配地存放入内存中。当行的长度不够切割时，取下一行和上一行的剩余内容继续完成切割；

当该记录类型的段号切割完后，对剩余的行文件内容切割前三个字符，和文件类型一起查找文件格式，对该文件格式数据同样地进行上述切割处理直至文件读入指定字节大小结束；

通过界面显示该文件内容，例如显示字段名称、字段内容、字段长度以及域号等。

其中，上述切割处理包括下述步骤：

取该文件的接下来四位字符并转换成二进制，对二进制结果进行检查，若值为1的，则在文件格式内存中查找该段号的文件格式，按照字段长度对行文件内容进行切割，并和字段名称、域号匹配地载入到内存，当行的长度不够切割时，取下一行和上一行剩余内容继续完成切割。

在上述文件分析过程中，对不同类型的文件，可以按照不同规则对行长度、字段分割符、结尾符、字段字符串格式等进行判定。例如将本发明应用到银行系统进行文件类型分析的情况下，可以对应报文域获取，获取与交易识别，对应数据库字段获取等进行分析，对文件中本金、手续费、交易进行统计分析，并将分析内容做出内存日志报告。在文件分析完毕之后，将内存中的分析报告输出。

图2是表示本发明的文件类型识别步骤的流程图。

如图2所示，在本发明的文件类型识别中，首先对内存装载参数(S121)，其次，获取读入文件名(S122)，接着判断文件名是否模糊匹配(S123)。

在进行模糊匹配的判断中，将读入的具体文件名称，先转换成通用文件类型名称。按照“年”为“YY”或“YYYY”，“月”为“MM”，“日”为“DD”，其它数字为“？”，英文字符不转换的规则，进行转换。如读入文件名称为“IND2008100899ACOM”，转换为“INDYYMMDD？？ACOM”；读入文件名称为“SF20081008”，转换为“SFYYYYMMDD”。最后，将转换后的通用文件类型名称，在内存参数中查找，查找到则继续处理，查找不到输出日志报告并结束。

上述描写的本发明的文件类型识别分析方法能够用下述文件类型识别分析系统来实现。

该文件类型识别分析系统包括：将文件类型、文件格式参数装载到内存的装载单元；从存储器读入文件的文件读入单元；判断读入的文件是否是内存能够识别的文件类型的文件类型识别单元；以及在由上述文件类型识别单元判别为能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析单元。

其中，在该文件类型识别分析系统中还可以包括：判断上述文件读入单元读入的文件是否为大文件的判断单元，如果判断为大文件的情况下，上述文件分析单元按页打开文件进行文件分析。

进一步在该文件类型识别分析系统中还可以具备对读入的文件进行模糊匹配的模糊匹配单元，该模糊匹配单元包括：获得读入的文件文件名的文件名获取单元；以及判断由上述文件名获取单元获得的文件名是否模糊匹配，在匹配的情况下，区分文件类型及属性，在不匹配的情况下直接输出分析报告的判断单元。

利用本发明文件类型识别分析方法以及系统，如上所述，能够进行文件类型自动识别，并对文件进行自动分析。在无需修改应用系统的情况下，按照录入的文件类型及格式参数，能够自动进行各种类型文件的自动识别、分析并将分析报告通过界面输出。实现了在广泛应用的windos的平台下，对存储器之间的各类文件流水文件自动进行识别并分析的方法及系统。

由此，具有参数配饰简单、分析迅速及精确的优点，大大缩短了测试过程中对文件分析的时间，有效的提高了工作效率。即，利用本发明，能够有效缩短文件分析的时间，同时也能够确保文件识别、分析的精确性。

以上内容仅为本发明的优选实施方式而已，并不用于限制本发明。对于本领域的技术人员来说，可以对本发明进行各种改变和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应该包含在本发明所保护的范围之内。

Claims (11)

1.一种文件类型识别分析方法，用于识别从数据库读入的文件类型并进行分析，其特征在于，包括下述步骤：

将文件类型、文件格式参数装载到内存的装载步骤；

从存储器读入文件的文件读入步骤；

判断读入的文件是否是内存能够识别的文件类型的文件类型识别步骤；

在能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析步骤。

2.如权利要求1所述的文件类型识别分析方法，其特征在于，

在上述文件类型识别步骤中，根据文件名在内存中匹配对应的文件类型，根据匹配的文件类型在内存中搜索对应的文件格式。

3.如权利要求2所述的文件类型识别分析方法，其特征在于，

在上述文件分析步骤中，对不同类型的文件，按照不同规则对行长度、字段分割符、结尾符、字段字符串格式进行判定。

4.如权利要求3所述的文件类型识别分析方法，其特征在于，

在上述文件分析步骤中，包括下述步骤：

打开文件，一次性读取指定行数的文件内容，根据文件类型在规定规范下的要求，判断每行结尾的方式是否正确，对错误的行直接抛弃，并在分析报告中进行提示；

根据匹配到的文件格式，对文件格式中的长度取和并与该行的长度对比，不相等的，则抛弃并在分析报告中进行提示；

根据文件格式中的每个字段，取其长度对该行进行切割，并对切割出来的数据内容匹配对应的字段名称及域号内存中对应的文件格式取完后，该行切割结束。将切割的结果保存在内存中，

将内存中切割后的结果，以及对应的文件格式信息，通过界面显示。

5.如权利要求3所述的文件类型识别分析方法，其特征在于，

在上述文件分析步骤中，包括下述步骤：

打开文件，读取指定字节大小的文件内容，对读取的内容，按指定字符个数进行分行，并装载入内存；

取内存中文件的第一行内容，前三个字符，根据该文件类型及记录类型码从内存中查找出对应的所有文件格式；

对该文件格式数据进行切割处理；

当该记录类型的段号切割完后，对剩余的行文件内容切割前三个字符，和文件类型一起查找文件格式，对该文件格式数据同样地进行上述切割处理直至文件读入指定字节大小结束；

通过界面显示该文件内容。

6.如权利要求5所述的文件类型识别分析方法，其特征在于，

上述切割处理包括下述步骤：

取该文件的接下来四位字符并转换成二进制，对二进制结果进行检查，若值为1的，则在文件格式内存中查找该段号的文件格式，按照字段长度对行文件内容进行切割，并和字段名称、域号匹配地载入到内存，当行的长度不够切割时，取下一行和上一行剩余内容继续完成切割。

7.如权利要求1所述的文件类型识别分析方法，其特征在于，

在上述文件分析步骤之前、文件类型识别步骤之后还包括：

判断文件的是否为大文件的步骤，

如果判断为大文件的情况下，按页打开文件进行文件分析。

8.如权利要求1所述的文件类型识别分析方法，其特征在于，

还具备对读入的文件进行模糊匹配的模糊匹配步骤，该模糊匹配步骤包括：

获得读入的文件文件名的步骤；

判断文件名是否模糊匹配，在匹配的情况下，区分文件类型及属性，在不匹配的情况下直接输出分析报告。

9.一种文件类型识别分析系统，用于识别从数据库读入的文件类型并进行分析，其特征在于，包括下述单元：

将文件类型、文件格式参数装载到内存的装载单元；

从存储器读入文件的文件读入单元；

判断读入的文件是否是内存能够识别的文件类型的文件类型识别单元；

在由上述文件类型识别单元判别为能够识别文件类型的情况下，进行文件分析并生成分析报告的文件分析单元。

10.如权利要求9所述的文件类型识别分析系统，其特征在于，包括：

判断文件的是否为大文件的判断单元，

如果判断为大文件的情况下，上述文件分析单元按页打开文件进行文件分析。

11.如权利要求9所述的文件类型识别分析系统，其特征在于，

还具备对读入的文件进行模糊匹配的模糊匹配单元，该模糊匹配单元包括：

获得读入的文件文件名的文件名获取单元；以及

判断由上述文件名获取单元获得的文件名是否模糊匹配，在匹配的情况下，区分文件类型及属性，在不匹配的情况下直接输出分析报告的判断单元。

Images