CN108241642B - 文件解析方法和装置 - Google Patents

Abstract

本发明公开了一种文件解析方法和装置。其中，该方法包括：获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；从预设存储单元中获取待解析文件的行含义或者列含义；根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析。本发明解决了由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的技术问题。

Description

文件解析方法和装置

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种文件解析方法和装置。

背景技术

随着互联网技术的进步，特别是针对不同客户对网络服务的需求，产生了各种服务互联网需求的应用技术，其中，相关技术中通过使用逗号分隔型取值格式(CommaSeparated Values，简称CSV)文件实现与媒体端之间的信息传输。

在使用相关技术时，现在解析CSV文件是通过索引来解析对应列的数据，这样使用人员必须记住每个列所代表的具体含义，如果记错误了就会导致上传的数据出错或者直接上传失败，进而导致解析结果出错。如果有需求变化，需要在指定的地方添加新的列，那么原来按照列解析的顺序就需要全部修改，不利于开发人员对于代码的维护。

针对上述由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文件解析方法和装置，以至少解决由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的技术问题。

根据本发明实施例的一个方面，提供了一种文件解析方法，包括：获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；从预设存储单元中获取待解析文件的行含义或者列含义；根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析。

可选的，预设存储单元为列头或行头。

可选的，在对待解析文件进行解析后，该方法还包括：将解析后所得到的数据导入预设数据库。

进一步地，可选的，在将解析后所得到的数据导入预设数据库之前，该方法还包括：接收数据处理指令，数据处理指令中包含数据处理方式及数据处理速度；按照数据处理指令中的数据处理方式及数据处理速度读取数据；将读取的数据赋值给预设数据结构，以通过预设数据结构将数据导入预设数据库。

可选的，在获取存储有待解析文件的模板文件之前，该方法还包括：获取待解析文件的数据存储格式；判断待解析文件的数据存储格式与模板文件是否相同；如果待解析文件的数据存储格式与模板文件不同，则在待解析文件中插入预设存储单元，并定义预设存储单元用于存储待解析文件的行含义或者列含义，以将待解析文件的数据存储格式转换为与模板文件相同；或者，将待解析文件导入模板文件，并在模板文件的预设存储单元中填写待解析文件的行含义或者列含义。

根据本发明实施例的另一个方面，提供了一种文件解析装置，包括：获取模块，用于获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；提取模块，用于从预设存储单元中获取待解析文件的行含义或者列含义；解析模块，用于根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析。

可选的，预设存储单元为列头或行头。

可选的，该装置还包括：导入模块，用于在对待解析文件进行解析后，将解析后所得到的数据导入预设数据库。

进一步地，可选的，该装置还包括：接收模块，用于在将解析后所得到的数据导入预设数据库之前，接收数据处理指令，数据处理指令中包含数据处理方式及数据处理速度；读取模块，用于按照数据处理指令中的数据处理方式及数据处理速度读取数据；赋值模块，用于将读取的数据赋值给预设数据结构，以通过预设数据结构将数据导入预设数据库。

可选的，该装置还包括：数据获取模块，用于在获取存储有待解析文件的模板文件之前，获取待解析文件的数据存储格式；判断模块，用于判断待解析文件的数据存储格式与模板文件是否相同；配置模块，用于如果待解析文件的数据存储格式与模板文件不同，则在待解析文件中插入预设存储单元，并定义预设存储单元用于存储待解析文件的行含义或者列含义，以将待解析文件的数据存储格式转换为与模板文件相同；或者，导入模块，用于将待解析文件导入模板文件，并在模板文件的预设存储单元中填写待解析文件的行含义或者列含义。

在本发明实施例中，通过获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；从预设存储单元中获取待解析文件的行含义或者列含义；根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析，达到了降低上传失误率的目的，从而实现了保障数据上传效率的技术效果，进而解决了由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的文件解析方法的流程示意图；

图2是根据本发明实施例的文件解析装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

根据本发明实施例，提供了一种文件解析方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的文件解析方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S102，获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；

步骤S104，从预设存储单元中获取待解析文件的行含义或者列含义；

步骤S106，根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析。

综上，本申请实施例提供的文件解析方法中预先获取的模板文件用来存储所对应的行或者列的含义，从而在进行数据解析时，根据存储空间中获取相应的行或者列的含义，对待解析程序中的数据进行解析。

本申请实施例提供的文件解析方法中，通过获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；从预设存储单元中获取待解析文件的行含义或者列含义；根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析，达到了降低上传失误率的目的，从而实现了保障数据上传效率的技术效果，进而解决了由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的技术问题。

可选的，预设存储单元为列头或行头。

具体的，该预设存储单元中的列头可以为每列位于第一列的单元格；或，行头可以为每行位于第一行的单元格。

可选的，在步骤S106中对待解析文件进行解析后，本申请实施例提供的文件解析方法还包括：

步骤S107，将解析后所得到的数据导入预设数据库。

其中，该预设数据库可以为数据导入oracle数据库。

进一步地，可选的，在步骤S107中将解析后所得到的数据导入预设数据库之前，本申请实施例提供的文件解析方法还包括：

Step1,接收数据处理指令，数据处理指令中包含数据处理方式及数据处理速度；

Step2,按照数据处理指令中的数据处理方式及数据处理速度读取数据；

Step3,将读取的数据赋值给预设数据结构，以通过预设数据结构将数据导入预设数据库。

具体的，依据列头或行头解析待解析程序，得到列头或行头对应位置的数据，其中，列头或行头包括：预设位置的列，或，预设位置的行。

在预设文件头的类型包括预设位置的列的情况下，依据预设位置的列解析待解析程序中指定的行的数据，得到预设位置的列对应的至少一行数据。

第一，依据预设位置的列中指示的行数，得到行数对应的行数据的含义；

第二，依据行数对应的行数据的含义解析待解析程序，得到行数对应的行数据。

其中，依据预设位置的列解析待解析程序中指定的行的数据，得到预设位置的列对应的至少一行数据包括：

第一，依据预设位置的列中指示的全部行数，得到全部行数对应的行数据的含义；

第二，依据全部行数对应的行数据的含义解析待解析程序，得到所有行数对应的行数据。

此外，依据预设文件头的类型解析待解析程序，得到预设文件头对应位置的数据包括：

步骤A’，在预设文件头的类型包括预设位置的行的情况下，依据预设位置的行解析待解析程序中指定的列的数据，得到预设位置的行对应的至少一列数据。

进一步地，可选的，据预设位置的行解析待解析程序中指定的列的数据，得到预设位置的行对应的至少一列数据包括：

第一，依据预设位置的行中指示的列数，得到列数对应的列数据的含义；

第二，依据列数对应的列数据的含义解析待解析程序，得到列数对应的列数据。

以此同时，依据预设位置的行解析待解析程序中指定的列的数据，得到预设位置的行对应的至少一列数据包括：

第一，依据预设位置的行中指示的全部列数，得到全部列数对应的列数据的含义；

第二，依据全部列数对应的列数据的含义解析待解析程序，得到所有列数对应的列数据。

在本申请实施例提供的文件解析方法中的优选示例中通过预先获取的模板文件中的列头(指每行的第一个单元格，也即数据表的第一列)，该列头包括每行数据的含义，在解析待解析程序时，通过该列头指定行数，解析该待解析程序中对应该指定行数对应的数据；或，在该列头通过指定全部行数的情况下，解析该待解析程序中对应该全部行数对应的数据。

除此之外，还可以在模板文件中的任一列配置该列存储每一行数据的含义，在解析待解析程序时，如上述步骤；

同理，在该目标文件中存在行头的情况下，该行头包括每列数据的含义，在解析待解析程序时，通过该行头指定列数，解析该待解析程序中对应该指定列数对应的数据；或，在该行头通过指定全部列数的情况下，解析该待解析程序中对应该全部列数对应的数据。

除此之外，还可以在模板文件中的任一行配置该行存储每一列数据的含义，在解析待解析程序时，如上述步骤。

对于以前存储的数据表进行解析时，如果数据表的存储格式并不是按照特定行或列含义的方式进行存储，可以对该表进行转换后，再进行解析。转换方式有两种：1、直接在该数据表中插入一行或者列，并在该行或者列中填上从数据表中提取的行或者列的含义，然后根据该行或者列的含义进行解析。2、将该数据表中的数据导入预设模板文件，预设模板文件中具有一个存储含义的行或者列，根据填入的含义，进行解析。

可选的，在步骤S102中获取存储有待解析文件的模板文件之前，本申请实施例提供的文件解析方法还包括：

Step1,获取待解析文件的数据存储格式；

Step2,判断待解析文件的数据存储格式与模板文件是否相同；

Step3,如果待解析文件的数据存储格式与模板文件不同，则在待解析文件中插入预设存储单元，并定义预设存储单元用于存储待解析文件的行含义或者列含义，以将待解析文件的数据存储格式转换为与模板文件相同；或者，

Step4,将待解析文件导入模板文件，并在模板文件的预设存储单元中填写待解析文件的行含义或者列含义。

综上，本申请实施例提供的文件解析方法具体如下：

步骤1，提供程序需要解析的模板文件，在模板文件的第一列定义列头，标示每个列的含义。

步骤2，在程序中可以通过指定的列头(注意：此处的解析列头和模板文件中的列头完全一致)解析对应行的数据。可以指定解析的行数，也可以一次解析出对应列的所有行数据。

步骤3，将解析出来的数据赋值给预先定义好的数据结构即可。

步骤4，如果是大批量入库oracle数据库则可以一次解析对应列的指定行数的数据或者所有行的数据直接赋值给对应的sql语句，轮询以相同的方式解析出所有列对应的数据赋值给sql，直接执行sql语句即可批量进入oracle数据库。

由上可知，本申请实施例提供的文件解析方法通过利用结构化查询语言(Structured Query Language,简称SQL)，即本申请上述提到的sql语句，由于该sql语句本身所具备的的维护简单的特点，所以本申请实施例提供的文件解析方法在后期代码维护上简单易行。并且，本申请实施例提供的文件解析方法中通过修改为列头解析后不用使用人员记顺序，将很大程度上减少了错误率。

其中，不在通过索引去解析数据，因为那样使用人员需要记住每个列的含义，很不方便使用；而且也不利于开发人员的维护，因为开发人员也需要记住没有列的含义，虽然开发人员可以通过程序来知道，但也是极其不方便的。且，在大数据量的情况下，批量入Oracle数据库会非常方便，因为通过列头可以一次读取多行数据，形成一个列对应的数据列表，而Oracle是通过列来批量插入数据库的将会很方便。

通过列头可以让使用人员和开发人员都很明确数据含义，即，方便了使用人员也方便了开发人员维护。

首先按照列头解析可以使得使用人员在准备“批量大师”所需要的格式文件是很好的理解每个列所代表的含义，避免因为疏于而填写错误的信息，浪费资源和时间。

其次对程序的开发人员也是极其方便的，因为通过列头解析时，看见列头的名称就可以大概知道此列含义，对应此列的数据在解析时应该做怎样的验证。

第三，开发人员值需要根据列头来解析对应行的数据，不必关心列的顺序，降低了程序开发的难度和出错的几率，也方便了使用人员，一举两得。

本申请实施例提供的文件解析方法中通过在CSV文件中提供列头解析。进而通过指定的列头来解析列头下对应的每一个列的数据，既可以只拿出列对应的一行数据也可以拿出指定行数的数据，或者可以一次拿出列对应所有行的数据提升了解析的灵活性。

实施例二

图2是根据本发明实施例的文件解析装置的结构示意图，如图2所示，该装置包括：

获取模块22，用于获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；提取模块24，用于从预设存储单元中获取待解析文件的行含义或者列含义；解析模块26，用于根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析。

本申请实施例提供的文件解析装置中，通过获取存储有待解析文件的模板文件，模板文件中具有存储待解析文件的行含义或者列含义的预设存储单元；从预设存储单元中获取待解析文件的行含义或者列含义；根据获取的待解析文件的行含义或者列含义，对待解析文件进行解析，达到了降低上传失误率的目的，从而实现了保障数据上传效率的技术效果，进而解决了由于相关技术中通过索引来解析对应列的数据对使用人员要求高，易于出错的技术问题。

可选的，预设存储单元为列头或行头。

可选的，本申请实施例提供的文件解析装置还包括：导入模块，用于在对待解析文件进行解析后，将解析后所得到的数据导入预设数据库。

进一步地，可选的，本申请实施例提供的文件解析装置还包括：接收模块，用于在将解析后所得到的数据导入预设数据库之前，接收数据处理指令，数据处理指令中包含数据处理方式及数据处理速度；读取模块，用于按照数据处理指令中的数据处理方式及数据处理速度读取数据；赋值模块，用于将读取的数据赋值给预设数据结构，以通过预设数据结构将数据导入预设数据库。

可选的，本申请实施例提供的文件解析装置还包括：数据获取模块，用于在获取存储有待解析文件的模板文件之前，获取待解析文件的数据存储格式；判断模块，用于判断待解析文件的数据存储格式与模板文件是否相同；配置模块，用于如果待解析文件的数据存储格式与模板文件不同，则在待解析文件中插入预设存储单元，并定义预设存储单元用于存储待解析文件的行含义或者列含义，以将待解析文件的数据存储格式转换为与模板文件相同；或者，导入模块，用于将待解析文件导入模板文件，并在模板文件的预设存储单元中填写待解析文件的行含义或者列含义。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种文件解析方法，其特征在于，包括：

获取存储有待解析文件的模板文件，所述模板文件中具有存储所述待解析文件的行含义或者列含义的预设存储单元；

从所述预设存储单元中获取所述待解析文件的行含义或者列含义；

根据获取的所述待解析文件的行含义或者列含义，对所述待解析文件进行解析；

其中，在获取存储有待解析文件的模板文件之前，所述方法还包括：获取所述待解析文件的数据存储格式；判断所述待解析文件的数据存储格式与所述模板文件是否相同；如果所述待解析文件的数据存储格式与所述模板文件不同，则在所述待解析文件中插入预设存储单元，并定义所述预设存储单元用于存储所述待解析文件的行含义或者列含义，以将所述待解析文件的数据存储格式转换为与所述模板文件相同；或者，将所述待解析文件导入所述模板文件，并在所述模板文件的预设存储单元中填写所述待解析文件的行含义或者列含义；

其中，在对所述待解析文件进行解析后，所述方法还包括：将解析后所得到的数据导入预设数据库；

其中，在将解析后所得到的数据导入预设数据库之前，所述方法还包括：接收数据处理指令，所述数据处理指令中包含数据处理方式及数据处理速度；按照所述数据处理指令中的数据处理方式及数据处理速度读取数据；将读取的数据赋值给预设数据结构，以通过所述预设数据结构将所述数据导入所述预设数据库。

2.根据权利要求1所述的方法，其特征在于：所述预设存储单元为列头或行头。

3.一种文件解析装置，其特征在于，包括：

获取模块，用于获取存储有待解析文件的模板文件，所述模板文件中具有存储所述待解析文件的行含义或者列含义的预设存储单元；

提取模块，用于从所述预设存储单元中获取所述待解析文件的行含义或者列含义；

解析模块，用于根据获取的所述待解析文件的行含义或者列含义，对所述待解析文件进行解析；

其中，所述装置还包括：数据获取模块，用于在获取存储有待解析文件的模板文件之前，获取所述待解析文件的数据存储格式；判断模块，用于判断所述待解析文件的数据存储格式与所述模板文件是否相同；配置模块，用于如果所述待解析文件的数据存储格式与所述模板文件不同，则在所述待解析文件中插入预设存储单元，并定义所述预设存储单元用于存储所述待解析文件的行含义或者列含义，以将所述待解析文件的数据存储格式转换为与所述模板文件相同；或者，导入模块，用于将所述待解析文件导入所述模板文件，并在所述模板文件的预设存储单元中填写所述待解析文件的行含义或者列含义；

其中，所述装置还包括：导入模块，用于在对所述待解析文件进行解析后，将解析后所得到的数据导入预设数据库；

其中，所述装置还包括：接收模块，用于在将解析后所得到的数据导入预设数据库之前，接收数据处理指令，所述数据处理指令中包含数据处理方式及数据处理速度；读取模块，用于按照所述数据处理指令中的数据处理方式及数据处理速度读取数据；赋值模块，用于将读取的数据赋值给预设数据结构，以通过所述预设数据结构将所述数据导入所述预设数据库。

4.根据权利要求3所述的装置，其特征在于：所述预设存储单元为列头或行头。

Images