CN112765103B

CN112765103B - 一种文件解析方法、系统、装置及设备

Info

Publication number: CN112765103B
Application number: CN202110114822.2A
Authority: CN
Inventors: 黄贝贝
Original assignee: Shanghai Krypton Information Technology Co ltd
Current assignee: Shanghai Krypton Information Technology Co ltd
Priority date: 2021-01-26
Filing date: 2021-01-26
Publication date: 2023-04-14
Anticipated expiration: 2041-01-26
Also published as: CN112765103A

Abstract

本申请公开了一种文件解析方法、系统、装置及设备，包括：获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型；根据待解析文件的所述目标类型，将待解析文件上传至与所述目标类型对应的DFS服务器，以便DFS服务器返回待解析文件的网络存储地址；将与待解析文件对应的解析请求和网络存储地址发送至解析服务器，以便解析服务器从网络存储地址对应的DFS服务器上获取待解析文件，并基于解析请求述待解析文件进行解析。本申请根据待解析文件的文件类型利用相应的DFS服务器及解析服务器，能够对百万级数据量的待解析文件进行解析处理，同时提高了对多类型文件进行解析的能力和效率。

Description

一种文件解析方法、系统、装置及设备

技术领域

本发明涉及计算机技术领域，特别涉及一种文件解析方法、系统、装置及设备。

背景技术

现有的文件上传解析服务，大多数都会根据自身业务需求选定文件类型的范围，或者给定文件模版，用户只能在限定的范围内进行文件的上传解析操作，能够实现层解析逻辑有限，如目前的文件解析系统仅支持对表格文件内容进行解析，对于表格文件之外的其他类型的文件如图片文件、视频文件、音频文件等，只能进行简单的上传及保存操作。另一方面，针对大文件的处理存在瓶颈，当表格文件内容数据量比较大时没有相应的解析系统能对其进行较好的处理。上述技术缺陷给需要对文件进行解析处理的用户带来了极大的不便，急需一种能对多类型、大数据量文件进行解析处理的方法及系统。

发明内容

有鉴于此，本发明的目的在于提供一种文件解析方法、系统、装置及设备，能够对百万级数据量的待解析文件进行解析处理，同时提高了对多类型文件进行解析的能力和效率。其具体方案如下：

本申请的第一方面提供了一种文件解析方法，应用于客户端，包括：

获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型；

根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的DFS服务器，以便所述DFS服务器返回所述待解析文件的网络存储地址；

将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析。

可选的，所述确定所述待解析文件的文件类型，以得到目标类型，包括：

根据所述待解析文件的文件后缀名确定所述待解析文件的文件类型，以得到目标类型。

可选的，所述获取待解析文件之后，还包括：

基于待解析文件的文件大小对所述待解析文件进行分片处理，以得到与所述待解析文件对应的多个碎片文件；

相应的，所述将所述待解析文件上传至与所述待解析文件的所述目标类型对应的DFS服务器，包括：

将所述待解析文件对应的多个所述碎片文件上传至与所述待解析文件的所述目标类型对应的DFS服务器。

本申请提供的一种文件解析方法，还可以应用于解析服务器，包括：

接收客户端发送的与待解析文件对应的解析请求及所述待解析文件的网络存储地址；

获取与所述网络存储地址对应的DFS服务器上的所述待解析文件；

基于所述解析请求对所述待解析文件进行解析。

可选的，所述基于所述解析请求对所述待解析文件进行解析，包括：

将所述解析请求分发至对应的文件解析器，并利用所述文件解析器对所述待解析文件进行解析。

可选的，所述将所述解析请求分发至对应的文件解析器，并利用所述文件解析器对所述待解析文件进行解析之后，还包括：

判断所述待解析文件是否解析成功，如果解析成功，则将解析后的所述待解析文件上传至相应的所述DFS服务器，如果解析失败，则生成错误报告并将所述错误报告上传至相应的所述DFS服务器上。

可选的，所述判断所述待解析文件是否解析成功之后，还包括：

如果解析成功，则将解析成功的所述待解析文件保存在本地的MYSQL数据库和/或本地的ElasticSearch数据库中。

本申请的第二方面提供了一种文件解析系统，包括客户端、解析服务器和DFS服务器，其中：

所述客户端，用于获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型，并根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的所述DFS服务器，及将与所述待解析文件对应的解析请求和所述DFS服务器返回的所述待解析文件的网络存储地址发送至所述解析服务器；

所述DFS服务器，用于接收所述客户端上传的所述待解析文件并向所述客户端返回所述网络存储地址；

所述解析服务器，用于接收所述客户端发送的所述解析请求及所述网络存储地址，并获取与所述网络存储地址对应的DFS服务器上的所述待解析文件，及基于所述解析请求对所述待解析文件进行解析。

本申请的第三方面提供了一种文件解析装置，应用于客户端，包括：

获取模块，用于获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型；

上传模块，用于根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的DFS服务器，以便所述DFS服务器返回所述待解析文件的网络存储地址；

发送模块，用于将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析。

本申请的第四方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述文件解析方法。

本申请中，首先获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型，然后根据待解析文件的所述目标类型，将待解析文件上传至与所述目标类型对应的DFS服务器，以便DFS服务器返回待解析文件的网络存储地址，最后将与待解析文件对应的解析请求和网络存储地址发送至解析服务器，以便解析服务器从网络存储地址对应的DFS服务器上获取待解析文件，并基于解析请求述待解析文件进行解析。本申请根据待解析文件的文件类型将待解析文件分发至不同的文件处理器进行解码、转码等操作，能够对百万级数据进行解析处理，同时提高解析多类型文件的能力和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种文件解析方法流程图；

图2为本申请提供的一种文件解析方法流程图；

图3为本申请提供的一种文件解析系统示意图；

图4为本申请提供的一种文件解析装置结构示意图；

图5为本申请提供的一种文件解析电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的文件上传解析服务，大多数都会根据自身业务需求选定文件类型的范围，或者给定文件模版，用户只能在限定的范围内进行文件的上传解析操作，能够实现层解析逻辑有限，且针对大文件的处理存在瓶颈。针对上述技术缺陷，本申请提供一种文件解析方案，根据待解析文件的文件类型利用相应的DFS服务器及解析服务器，能够对百万级数据量的待解析文件进行解析处理，同时提高了对多类型文件进行解析的能力和效率。

图1为本申请实施例提供的一种文件解析方法流程图，应用于客户端。参见图1所示，该文件解析方法包括：

S11：获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型。

本实施例中，获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型。所述待解析文件为用户上传至所述客户端上的需要进行解析的文件，所述客户端是操作系统中的所述待解析文件能够上传至DFS(分布式文件系统)服务器的必要的中间媒介，可以为浏览器、应用程序等，例如PC Client、PC Web、Android APP、IOS APP等。相较于具备业务处理能力的服务端，所述客户端一般不具备数据处理能力。所述客户端获取到所述待解析文件后，会根据文件流对文件的类型和/或大小进行简单解析。具体来说，所述客户端可以根据所述待解析文件的文件后缀名确定所述待解析文件的文件类型，以得到所述待解析文件的目标类型。另外，当所述待解析文件的数据量较大时，所述客户端还可以基于待解析文件的文件大小对所述待解析文件进行分片处理，以得到与所述待解析文件对应的多个碎片文件，提高文件上传速度，进而提高文件解析效率。

可以理解的是，本实施例可以对不同类型的文件进行相应的解析，不限制上传至所述客户端的文件类型，因此所述目标类型可以为图片类(Image)、音频类(Audio)、视频类(Video)、文本类(Text)、表格类(Form)及其他类型(Other)的文件，不同的文件类型对应不同处理方法。

S12：根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的DFS服务器，以便所述DFS服务器返回所述待解析文件的网络存储地址。

本实施例中，所述客户端根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的DFS服务器，以便所述DFS服务器返回所述待解析文件的网络存储地址。所述客户端对经过类型和/或大小解析后的文件以二进制流的形式上传到指定的与所述待解析文件的所述目标类型对应的DFS服务器上，需要注意的是，若所述客户端对所述待解析文件进行了分片处理，此时需要将所述待解析文件对应的多个所述碎片文件上传至与所述待解析文件的所述目标类型对应的DFS服务器。

所述DFS服务器的本质为文件服务器，本实施例中的所述DFS服务器按照存储的文件的类型分类且以集群的形式分布，所述DFS服务器的类型为图片DFS服务器(Image DFS)、音频DFS服务器(Audio DFS)、视频DFS服务器(Video DFS)、文本DFS服务器(Text DFS)、表格DFS服务器(Form DFS)及其他DFS服务器(Other DFS)，所述客户端将所述待处理文件存储在与所述待处理文件类型一致的所述DFS服务器。当所述DFS服务器接收到相应的所述待解析文件后会会返回文件存储的网络地址。

S13：将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析。

本实施例中，所述客户端将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析。所述解析服务器用于对所述客户端的解析请求进行响应，以对待解析文件进行解析处理。

可见，本申请实施例首先获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型，然后根据待解析文件的所述目标类型，将待解析文件上传至与所述目标类型对应的DFS服务器，以便DFS服务器返回待解析文件的网络存储地址，最后将与待解析文件对应的解析请求和网络存储地址发送至解析服务器，以便解析服务器从网络存储地址对应的DFS服务器上获取待解析文件，并基于解析请求述待解析文件进行解析。本申请实施例根据待解析文件的文件类型利用相应的DFS服务器及解析服务器，能够对百万级数据量的待解析文件进行解析处理，同时提高了对多类型文件进行解析的能力和效率。

图2为本申请实施例提供的一种文件解析方法流程图，应用于解析服务器。参见图2所示，该文件解析方法包括：

S21：接收客户端发送的与待解析文件对应的解析请求及所述待解析文件的网络存储地址。

本实施例中，关于上述步骤S31的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。

S22：获取与所述网络存储地址对应的DFS服务器上的所述待解析文件。

S23：基于所述解析请求对所述待解析文件进行解析。

本实施例中，客户端首先将所述待解析文件对应的所述解析请求及所述待解析文件的所述网络存储地址传输至Java服务端也即所述解析服务器对应的网关层，所述网关层读取所述网络存储地址，并判断对应的所述待解析文件的文件类型，根据所述待解析文件的文件类型将所述解析请求分发至相应类型的文件解析器。所述解析服务器由不同类型的所述文件解析器组成，不同类型的所述文件解析器具有不同的文件解析功能，与所述文件类型和所述DFS服务器的类型对应，所述文件解析器的类型为图片解析器(Image Parser)、音频解析器(Audio Parser)、视频解析器(Video Parse)、文本解析器(Text Parser)、表格解析器(Form Parser)及其他解析器(Other Parse)。其中，所述图片解析器可对图片文件进行不同格式的转换，如将JPG格式转为PNG格式，也可对图片进行大小或缩放，同时还可以对图片进行简单的文本内容识别；所述音频解析器可以对音频文件进行格式转换，如将所述音频文件在MP3格式和WAV格式之间互换，同时也可以将所述音频文件识别为文本文件；所述视频解析器可以对视频文件进行格式以及分辨率的转换和处理；所述文本解析器主要针对后缀名为“.txt”、“.md”等的文本类文件的数据信息进行解析；所述表格解析器则主要针对后缀名为“.xls”、“.xlsx”等的表格类文件的数据信息进行解析；所述其他解析器为扩展类解析器，用户可以根据自身业务需求进行自定义扩展，增加了文件处理的灵活性。

将所述解析请求分发至对应的文件解析器，通过访问所述网络存储地址从对应的所述DFS服务器上下载所述待解析文件，并利用所述文件解析器对所述待解析文件进行解析，从而实现对多类型的文件进行分类解析。更进一步的，在将所述解析请求分发至对应的文件解析器，并利用所述文件解析器对所述待解析文件进行解析之后，还可以进一步判断所述待解析文件是否解析成功，如果解析成功，则将解析后的所述待解析文件上传至相应的所述DFS服务器，所述客户端可以从所述DFS服务器上下载解析后的文件，增加了解析系统的容错性。需要注意的是，将解析后的所述待解析文件上传至相应的所述DFS服务器时，应该将解析后的所述待解析文件上传至与解析后的所述待解析文件的文件类型对应的DFS服务器上，也即该DFS服务器的类型与解析后的所述待解析文件的文件类型一致。

另外，上述处理过程中产生的文本信息可以传输给DB(数据库)层进行数据持久化。在上述基础上将解析成功的所述待解析文件保存在本地的MYSQL数据库和/或本地的ElasticSearch数据库中，ElasticSearch数据库即为ES数据库，ES数据存储有利于后期对历史操作进行检索。在实际的项目开发中，每个系统都会有一个搜索的功能，数据量少时可以直接从主数据库MYSQL中搜索。但当系统数据量上了达到一定数量时，传统的关系型数据库的I/O性能和统计分析性能难以满足用户需要，非关系型数据库ES数据库可以克服上述技术缺陷实现快速搜索。但是，如果所述待解析文件解析失败，则基于解析失败的文件及失败的类型等信息生成错误报告并将所述错误报告上传至相应的所述DFS服务器上，方便用户下载并分析失败的原因来决定是否对解析失败的所述待解析文件进行再次解析或者对所述待解析文件进行适当的修改后再次解析。

可见，本申请实施例应用于解析服务器，通过接收客户端发送的与待解析文件对应的解析请求及所述待解析文件的网络存储地址，基于所述网络存储地址从对应的DFS服务器上下载所述待解析文件，并利用与所述待解析文件相同类型的文件解析器对所述待解析文件进行自动识别和解析，在上述基基础上基于可扩展类的文件解析器，进一步提高了对多类型文件的自动分类及解析能力，同时，解析成功后将解析后文件信息上传至对应的DFS服务器，增加了解析系统的容错性。

图3为本申请提供的一种文件解析系统示意图，下面结合图3以某客户关系管理系统为例对本实施例的文件解析方案进行具体说明。首先对客户关系管理系统集成本发明系统，以使客户关系管理系统具备本实施例中所述的文件解析能力。接着将本地事先准备好的包含一百万个客户数据的Excel表格上传到客户端，根据本实施例中所述的，将所述Excel表格保存到远程到Form DFS文件服务器上，Form DFS文件服务器返回Excel表格的网络存储地址，解析服务器接收所述Excel表格的所述网络存储地址并访问所述网络存储地址以从Form DFS文件服务器上下载所述Excel表格，然后利用Form Parse解析器对所述Excel表格的数据进行逐行解析。对解析成功的数据存储到数据库中，解析失败的数据重新创建一个Excel生成错误报告并上传到Form DFS，用户可以通过客户端查看解析成功的数据和失败的错误报告。

参见图4所示，本申请实施例还相应公开了一种文件解析装置，应用与客户端，包括：

获取模块11，用于获取待解析文件，并确定所述待解析文件的文件类型，以得到目标类型；

上传模块12，用于根据所述待解析文件的所述目标类型，将所述待解析文件上传至与所述目标类型对应的DFS服务器，以便所述DFS服务器返回所述待解析文件的网络存储地址；

发送模块13，用于将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析。

在一些具体实施例中，所述获取模块11，具体用于根据所述待解析文件的文件后缀名确定所述待解析文件的文件类型，以得到目标类型。

在一些具体实施例中，所述文件解析装置还包括：

分片模块，用于基于待解析文件的文件大小对所述待解析文件进行分片处理，以得到与所述待解析文件对应的多个碎片文件；

相应的，所述上传模块12，具体用于将所述待解析文件对应的多个所述碎片文件上传至与所述待解析文件的所述目标类型对应的DFS服务器。

进一步的，本申请实施例还提供了一种电子设备。图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的文件解析方法中的相关步骤。另外，本实施例中的电子设备20具体可以为服务器。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及文件数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量文件数据223的运算与处理，其可以是WindowsServer、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的文件解析方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的文件数据。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的文件解析方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的文件解析方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种文件解析方法，其特征在于，应用于客户端，包括：

将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析，以及判断所述待解析文件是否解析成功，如果解析成功，则将解析后的所述待解析文件上传至相应的所述DFS服务器，如果解析失败，则生成错误报告并将所述错误报告上传至相应的所述DFS服务器上。

2.根据权利要求1所述的文件解析方法，其特征在于，所述确定所述待解析文件的文件类型，以得到目标类型，包括：

3.根据权利要求2所述的文件解析方法，其特征在于，所述获取待解析文件之后，还包括：

4.一种文件解析方法，其特征在于，应用于解析服务器，包括：

基于所述解析请求对所述待解析文件进行解析；

5.根据权利要求4所述的文件解析方法，其特征在于，所述基于所述解析请求对所述待解析文件进行解析，包括：

6.根据权利要求4所述的文件解析方法，其特征在于，所述判断所述待解析文件是否解析成功之后，还包括：

7.一种文件解析系统，其特征在于，包括客户端、解析服务器和DFS服务器，其中：

所述解析服务器，用于接收所述客户端发送的所述解析请求及所述网络存储地址，并获取与所述网络存储地址对应的DFS服务器上的所述待解析文件，及基于所述解析请求对所述待解析文件进行解析，以及判断所述待解析文件是否解析成功，如果解析成功，则将解析后的所述待解析文件上传至相应的所述DFS服务器，如果解析失败，则生成错误报告并将所述错误报告上传至相应的所述DFS服务器上。

8.一种文件解析装置，其特征在于，应用于客户端，包括：

发送模块，用于将与所述待解析文件对应的解析请求和所述网络存储地址发送至解析服务器，以便所述解析服务器从所述网络存储地址对应的所述DFS服务器上获取所述待解析文件，并基于所述解析请求对所述待解析文件进行解析，以及判断所述待解析文件是否解析成功，如果解析成功，则将解析后的所述待解析文件上传至相应的所述DFS服务器，如果解析失败，则生成错误报告并将所述错误报告上传至相应的所述DFS服务器上。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的文件解析方法。