CN109298937A - 文件解析方法及网络设备 - Google Patents

Abstract

本申请提供一种文件解析方法及网络设备，涉及通信领域，能够在调度服务器主节点和从节点之间合理分配工作量，提高文件解析的可靠性和效率。该方法包括：在调度服务器的统一调度下，由主节点负责所有解析任务的采集和上报，由调度服务器负责所有待解析任务的分配，由从节点负责其接收到的解析任务的执行和上报，且在此过程中，每个待解析任务的任务记录的生成、存储和执行过程中的状态更新，也是由从节点根据各自接收到的任务分别进行的。

Description

文件解析方法及网络设备

技术领域

本申请涉及通信领域，尤其涉及一种文件解析方法及网络设备。

背景技术

目前的海量数据解析大多是通过Java、C++等编程语言，在解析程序之上编写一层专门的调度程序，使用私有算法实现复杂的多任务调度和并行处理功能，同时需要将每个任务的每一步执行状态都严格记录在Oracle或MySQL等关系数据库中，从而实现大规模解析任务的分布式并行处理。

然而，上述方法需要设计复杂的调度程序，以完成任务调度和任务状态记录，这势必会消耗大量系统资源，导致数据解析的效率较低。并且，若调度程序设计不当，则很容易造成“死锁”、资源分配不均等问题，严重影响数据解析的可靠性。

发明内容

本申请提供一种文件解析方法及网络设备，能够在调度服务器、主节点和从节点之间合理分配工作量，提高文件解析的可靠性和效率。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种文件解析方法，该方法可以包括：主节点获取待解析文件的文件信息；其中，待解析文件为存储在文件传输协议(File Transfer Protocol，FTP)服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；主节点向关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，i≤M；主节点向调度服务器上报M个待解析任务的任务信息。

第二方面，本申请还提供一种文件解析方法，该方法可以包括：调度服务器接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；调度服务器向第j个执行节点下发一个待解析任务；其中，执行节点为主节点和至少一个从节点中的空闲节点,j≤N,N为执行节点的数量，且N≤M；调度服务器接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

第三方面，本申请还提供一种文件解析方法，该方法可以包括：从节点接收调度服务器下发的第二解析任务的任务标识；从节点根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息；其中，第二解析任务的任务信息包括第二解析任务的任务标识和第二解析任务对应的待解析文件的文件信息；从节点根据第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与第二解析任务对应的待解析文件；从节点向目标数据库发送第二解析任务对应的待解析文件的解析结果；从节点向关系数据库发送第二解析任务的完成指示；从节点向调度服务器上报第二解析任务的完成指示。

第四方面，本申请提供一种网络设备，该网络设备可以包括：处理模块和发送模块；其中，处理模块，用于获取待解析文件的文件信息；其中，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；发送模块，用于向关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，

i≤M；发送模块，还用于向调度服务器上报M个待解析任务的任务信息。

第五方面，本申请还提供一种网络设备，该网络设备可以包括：接收模块和发送模块；其中，接收模块，用于接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；发送模块，用于向第j个执行节点下发一个待解析任务；其中，执行节点为主节点和至少一个从节点中的空闲节点,j≤N,N为执行节点的数量，且N≤M；接收模块，还用于接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

第六方面，本申请还提供一种网络设备，该网络设备可以包括：接收模块、处理模块和发送模块；其中，接收模块，用于接收调度服务器下发的第二解析任务的任务标识；处理模块，用于根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息；其中，第二解析任务的任务信息包括第二解析任务的任务标识和第二解析任务对应的待解析文件的文件信息；处理模块，还用于根据第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与第二解析任务对应的待解析文件；发送模块，用于向目标数据库发送第二解析任务对应的待解析文件的解析结果；发送模块，还用于向关系数据库发送第二解析任务的完成指示；发送模块，还用于调度服务器上报第二解析任务的完成指示。

第七方面，本申请提供一种网络设备，该网络设备包括：处理器、收发器和存储器。其中，存储器用于存储一个或多个程序。该一个或多个程序包括计算机可执行指令，当该网络设备运行时，处理器执行该存储器存储的计算机可执行指令，以使该网络设备执行第一方面及其各种可选的实现方式中任意之一所述的文件解析方法。

第八方面，本申请提供一种网络设备，该网络设备包括：处理器、收发器和存储器。其中，存储器用于存储一个或多个程序。该一个或多个程序包括计算机可执行指令，当该网络设备运行时，处理器执行该存储器存储的计算机可执行指令，以使该网络设备执行第二方面及其各种可选的实现方式中任意之一所述的文件解析方法。

第九方面，本申请提供一种网络设备，该网络设备包括：处理器、收发器和存储器。其中，存储器用于存储一个或多个程序。该一个或多个程序包括计算机可执行指令，当该网络设备运行时，处理器执行该存储器存储的计算机可执行指令，以使该网络设备执行第三方面及其各种可选的实现方式中任意之一所述的文件解析方法。

第十方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的文件解析方法。

第十一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述第二方面及其各种可选的实现方式中任意之一所述的文件解析方法。

第十二方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述第三方面及其各种可选的实现方式中任意之一所述的文件解析方法。

本申请提供的文件解析方法及网络设备，能够在调度服务器的统一调度下，由主节点负责所有解析任务的采集和上报，由调度服务器负责所有待解析任务的分配，由从节点负责其接收到的解析任务的执行和上报，且在此过程中，每个待解析任务的任务记录的生成、存储和执行过程中的状态更新，也是由主节点和从节点根据各自接收到的任务分别进行的，从而能够使得调度服务器、主节点和从节点之间的工作量保持平衡，避免了由调度服务器本身完成大量待解析任务的任务调度，以及每个待解析任务的每一步执行状态更新的情况，能够降低调度程序的设计复杂度，从而避免因调度服务器资源占用率偏高导致的调度服务器“死锁”，以及从节点资源利用率偏低导致的从节点大量资源闲置的情况，能够提高文件解析的可靠性和效率。

附图说明

图1为本申请实施例提供的文件解析方法及网络设备所应用的文件解析系统的结构示意图；

图2为本申请实施例提供的文件解析方法的流程示意图一；

图3为本申请实施例提供的文件解析方法的流程示意图二；

图4A为本申请实施例提供的一种网络设备的结构示意图一；

图4B为本申请实施例提供的一种网络设备的结构示意图二；

图5A为本申请实施例提供的另一种网络设备的结构示意图一；

图5B为本申请实施例提供的另一种网络设备的结构示意图二；

图6为本申请实施例提供的又一种网络设备的结构示意图一；

图7为本申请实施例提供的一种网络设备的结构示意图三；

图8为本申请实施例提供的另一种网络设备的结构示意图三；

图9为本申请实施例提供的又一种网络设备的结构示意图二。

具体实施方式

下面结合附图对本申请实施例提供的移动网络UDP业务拥塞处理方法、装置及系统进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本申请实施例提供的文件解析方法可以应用于图1所示的文件解析系统中，该系统可以包括：调度服务器、解析服务器、源数据库、关系数据库和目标数据库。

其中，调度服务器可以为一台或多台ZooKeeper服务器，主要用于完成解析服务器、源数据库、关系数据库和目标数据库的初始化配置、在不同的解析服务器之间调度解析任务。

解析服务器可以为具体执行解析任务的小型服务器，可以包括一个主节点和至少一个从节点。其中，主节点主要用于根据调度服务器下发的采集指令，监测源数据库中是否存在关系数据库中尚不存在任务记录的源文件；若存在上述源文件，则生成上述源文件的待解析任务并上报调度服务器。可以理解，若主节点空闲，调度服务器也可以将具体的解析任务分配给主节点执行。从节点主要用于完成调度服务器分配的解析任务。其中，待解析任务可以为一个，也可以为多个，本申请实施例对此不作限定。

源数据库可以为FTP数据库，主要用于存储文件解析系统获取的源数据。其中，源数据可以是从数据网络中获取的源文件，也可以是数据采集系统获取的原始文件。实际应用中，来源不同的源数据，往往采用不同的数据结构进行存储。为了便于存储和使用，需要将上述采用不同数据结构的源数据进行解析，并生成采用统一数据格式的目标数据，存储在目标数据库中。所述目标数据库可以为Hadoop数据库，主要用于存储上述已完成数据格式转换的目标数据，以供数据请求方访问。

关系数据库可以为MySQL数据库或Oracle数据库，主要用于存储待解析任务的任务记录。其中，任务记录可以包括待解析任务的任务标识、任务状态、解析规则，待解析任务对应的待解析文件的文件名、文件类型、存储位置，以及解析后生成的目标文件的文件名、文件类型和存储位置。其中，解析规则与待解析文件的文件类型和目标文件的文件类型相对应，可以为执行将待解析文件解析为目标文件的可执行脚本、程序和进程中的任意一种。此外，关系数据库还可以用于存储数据请求方的身份信息和位置信息，以便文件解析系统验证数据请求方的身份，以及在身份验证通过后，为数据请求方提供目标数据。其中，身份信息可以是通过客户端访问上述目标数据的用户的账号和密码，也可以是需要访问上述目标数据的网络设备、局域网、数据库的标识。位置信息可以是上述客户端、网络设备、局域网、数据库的媒体接入控制(Media Access Control，MAC)地址、互联网协议(InternetProtocol，IP)地址、端口地址中的至少一种。

需要说明的是，上述调度服务器、解析服务器、源数据库、关系数据库和目标数据库往往位于不同的地理位置，相互之间通过有线或无线的方式相互连接，从而组成一个分布式的文件解析系统。

此外，图1仅为示例性架构图，除图1中所示功能单元之外，该文件解析系统还可以包括其他功能单元，本申请实施例对此不作限定。

本申请实施例提供一种文件解析方法，应用于如图1所示的文件解析系统。如图2所示，该方法可以包括S201-S212：

S201、主节点获取待解析文件的文件信息。

其中，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件。

示例性地，S201主节点获取待解析文件的文件信息，可以包括：

主节点获取FTP服务器中指定位置存储的源文件的文件信息，并将任务记录中不存在的文件信息，确定为待解析文件的文件信息。

具体的，主节点可以根据调度服务器下发的采集指令，监测FTP服务器指定位置是否存在源文件。若存在源文件，则获取该源文件的文件信息。然后，主节点以该源文件的文件信息为查询条件，查询关系数据库中的任务记录中是否包含该源文件的文件信息。例如，主节点可以在关系数据库的任务记录中查询是否存在该源文件的文件名和/或存储位置。之后，主节点将任务记录中不存在的文件信息对应的源文件，确定为待解析文件，将任务记录中不存在的文件信息确定为待解析文件的文件信息。

可以理解，由于待解析文件与其文件信息存在对应关系，确定了待解析文件的文件信息，也就确定了待解析文件。

需要说明的是，实际应用中，调度服务器会为解析服务器中的每个节点各分配一个节点标识，并根据预设的主节点选举规则，从所有提出主节点申请的节点中确定主节点。例如，若节点标识为数字，则调度服务器可以从所有提出主节点申请的节点中选择节点标识最小的节点，作为主节点。鉴于节点标识分配和主节点选举为现有技术，本申请实施例不再赘述。

S202、主节点向关系数据库发送M个待解析任务的任务信息。

其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息；待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件，i≤M。

具体地，主节点根据S201中获取的文件信息，生成待解析任务的任务信息，并指示关系数据库存储该任务信息。其中，任务信息可以包括待解析任务的执行状态。可以理解，由于此时待解析任务尚未执行，执行状态需要设置为“未执行”。实际应用中，一个待解析任务往往对应同一类型的一个或多个待解析文件。

S203、主节点向调度服务器上报M个待解析任务的任务信息。

S204、调度服务器接收主节点上报的M个待解析任务的任务信息。

其中，上述任务信息的传输可以通过主节点与调度服务器之间的网络连接完成。鉴于信息传输为现有技术，本申请实施例不再赘述。

S205、调度服务器向第j个执行节点下发一个待解析任务。

其中，执行节点为主节点和至少一个从节点中的空闲节点,j≤N,N为执行节点的数量，且N≤M。

具体地，第j个执行节点可以为主节点，也可以为从节点。相应地，S205调度服务器向第j个执行节点下发一个待解析任务，包括如下步骤中的至少一项：

S205A、调度服务器向从节点下发第二解析任务的任务标识。

示例性地，若调度服务器获知至少一个从节点中的任一个从节点空闲，则调度服务器向该从节点下发第二解析任务的任务标识。

S205B、调度服务器向主节点下发第一解析任务的任务标识。

示例性地，若调度服务器获知主节点空闲，则调度服务器向主节点下发第一解析任务的任务标识。

需要说明的是，为了避免执行节点所承担的任务过多而影响文件解析效率，调度服务器需要在向执行节点下发解析任务之前，获知该执行节点是否空闲。例如，可以由主节点和各从节点主动上报自身状态，也可以由调度服务器查询主节点和各从节点的状态，本申请实施例对此不作限定。

此外，下发的解析任务只携带该解析任务的任务标识，而该解析任务的其他任务信息，则由执行节点从关系数据库获取，以便减少调度服务器与主节点和大量从节点之间的信令交互，从而降低调度服务器的调度工作量，节省调度服务器的系统资源，以便调度服务器可以管理更多的从节点，从而提高文件解析系统的系统容量和文件解析效率。

下面以从节点为例，详细说明执行节点处理其接收到的待解析任务的详细过程。

S206、从节点接收调度服务器下发的第二解析任务的任务标识。

S207、从节点根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息。

其中，第二解析任务的任务信息包括第二解析任务的任务标识和第二解析任务对应的待解析文件的文件信息。

可选地，在执行S207从节点根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息之前，该方法还可以包括：

从节点指示关系数据库，将第二解析任务的任务状态修改为“执行中”。

S208、从节点根据第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与第二解析任务对应的待解析文件。

具体地，从节点根据第二解析任务的任务信息中的待解析文件的存储位置，获取与第二解析任务对应的待解析文件，并调用第二解析任务的任务信息中的解析规则对应的可执行脚本、程序和进程，解析第二解析任务对应的待解析文件。实际应用中，待解析文件可能为压缩和/或加密文件，因此，上述获取并解析第二解析任务对应的待解析文件，还可能包括解压和/或解密过程。鉴于压缩/解压和加密/解密为现有技术，本申请实施例不再赘述。

S209、从节点向目标数据库发送第二解析任务对应的待解析文件的解析结果，以便目标数据库存储所述解析结果。

其中，所述解析结果为对第二解析任务对应的待解析文件解析之后生成的、采用统一数据格式的目标文件。

S210、从节点向关系数据库发送第二解析任务的完成指示，以便关系数据库更新第二解析任务的任务记录。

其中，更新第二解析任务的任务记录，可以是将该任务记录中的任务状态更新为“执行完成”，也可以是删除该任务记录，同时删除存储在FTP服务器中、第二解析任务对应的待解析文件。

S211、从节点向调度服务器上报第二解析任务的完成指示，以便调度服务器为该从节点分配新的解析任务，以提高该从节点的资源利用率，进而提高文件解析效率。

可选地，若FTP服务器中不存在尚未完成任务采集的待解析文件，则可以利用主节点执行现有的待解析任务，以便进一步提高文件解析效率。因此，若执行节点为主节点，则相应地，如图3所示，S206-S211可以实现为S301-S306：

S301、主节点接收调度服务器下发的第一解析任务的任务标识。

其中，第一解析任务为M个待解析任务中的一个。

S302、主节点根据第一解析任务的任务标识，获取第一解析任务的任务信息。

与从节点不同，除通过访问关系数据库获取第一解析任务的任务信息之外，主节点还可以在执行S203时将M个待解析任务的任务信息保存在本地存储空间中，并在执行S302时从其本地存储空间中获取第一解析任务的任务信息，以便减少主节点与关系数据库之间的信令交互，降低关系数据库同时与多个执行节点之间存在大量信令交互而拥塞的概率，从而能够进一步提高文件解析效率。

S303、主节点根据第一解析任务的任务信息，获取并解析第一解析任务对应的待解析文件。

S304、主节点向目标数据库发送第一解析任务对应的待解析文件的解析结果。

S305、主节点向关系数据库发送第一解析任务的完成指示。

S306、主节点向调度服务器上报第一解析任务的完成指示。

其中，除执行主体不同外，S303-S306的执行方式依次与S208-S211相同，本申请实施例不再赘述。

S212、调度服务器接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

具体地，S212调度服务器接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示，包括如下步骤中的至少一项：

S212A、调度服务器接收从节点上报的第二解析任务的完成指示。

S212B、调度服务器接收主节点上报的第一解析任务的完成指示。

可以理解，在调度服务器接收到所有执行节点上报的完成指示之后，调度服务器还可以指示主节点删除关系数据库中所有完成指示对应的任务记录，以及FTP服务器中所有完成指示对应的源文件，以便将该部分资源用于处理其他的解析任务，进一步提高文件解析效率。

需要说明的是，若FTP服务器中还存在未生成待解析任务的待解析文件，则调度服务器可以指示主节点专职从事待解析文件的文件信息获取和待解析任务的生成和上报，同时指示从节点专职从事待解析任务的执行、关系数据库任务记录中的任务状态修改、解析后生成的目标文件的存储和完成指示上报，即在主节点和所有从节点之间合理分配工作量，各司其职，相互合作，以进一步提高文件解析效率。基于上述考虑，该方法还可以包括如下步骤：

若调度服务器获知主节点空闲，则调度服务器向主节点发送采集指令。

其中，采集指令可以携带FTP服务器中的指定位置、文件类型、文件建立时间中的至少一项，用于指示主节点采集待解析文件的文件信息，并依据采集到的待解析文件的文件信息，生成待解析任务。

需要说明的是，上述方法实施例中的所有步骤可以根据用户指令周期性地循环执行，也可以由用户手动启动和停止，本申请实施例对此不作限定。

此外，用户可以登录目标数据库，获取已完成上述解析流程并采用统一的数据格式存储的目标文件，能够避免用户必须将从各源数据库获取的不同数据格式的源文件，先进行数据格式转换才能使用的情况，减少了用户获取文件的工作量，从而能够提高用户获取文件的效率。

本申请实施例提供的文件解析方法，能够在调度服务器的统一调度下，由主节点负责所有解析任务的采集和上报，由调度服务器负责所有待解析任务的分配，由从节点负责其接收到的解析任务的执行和上报，且在此过程中，每个待解析任务的任务记录的生成、存储和执行过程中的状态更新，也是由主节点和从节点根据各自接收到的任务分别进行的，从而能够使得调度服务器、主节点和从节点之间的工作量保持平衡，避免了由调度服务器本身完成大量待解析任务的任务调度，以及每个待解析任务的每一步执行状态更新的情况，能够降低调度程序的设计复杂度，从而避免因调度服务器资源占用率偏高导致的调度服务器“死锁”，以及从节点资源利用率偏低导致的从节点大量资源闲置的情况，能够提高文件解析的可靠性和效率。

本申请实施例可以根据上述方法示例对上述三种网络设备进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4A示出了能够执行上述主节点所能执行的文件解析方法的网络设备的一种可能的结构示意图。如图4A所示，网络设备400可以包括：处理模块401、发送模块402和存储模块403。

其中，处理模块401，用于获取待解析文件的文件信息；其中，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；

发送模块402，用于向关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，i≤M；

发送模块402，还用于向调度服务器上报M个待解析任务的任务信息；

存储模块403，用于存储指令和数据。

可选地，处理模块401，还用于获取FTP服务器中指定位置存储的源文件的文件信息；

处理模块401，还用于将任务记录中不存在的文件信息，确定为待解析文件的文件信息。

可选地，结合图4A，如图4B所示，网络设备400还可以包括接收模块404。

其中，接收模块404，用于接收调度服务器下发的第一解析任务的任务标识；其中，第一解析任务为M个待解析任务中的一个；

处理模块401，还用于根据第一解析任务的任务标识，获取第一解析任务的任务信息；

处理模块401，还用于根据第一解析任务的任务信息，获取并解析第一解析任务对应的待解析文件；

发送模块402，还用于向目标数据库发送第一解析任务对应的待解析文件的解析结果；

发送模块402，还用于向关系数据库发送第一解析任务的完成指示；

发送模块402，还用于向调度服务器上报第一解析任务的完成指示。

图5A示出了能够执行上述调度服务器所能执行的文件解析方法的网络设备的一种可能的结构示意图。如图5A所示，网络设备500可以包括：接收模块501、发送模块502和存储模块503。

其中，接收模块501，用于接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；

发送模块502，用于向第j个执行节点下发一个待解析任务；其中，执行节点为主节点和至少一个从节点中的空闲节点,j≤N,N为执行节点的数量，且N≤M；

接收模块501，还用于接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

存储模块503，用于存储指令和数据。

可选地，结合图5A，如图5B所示，网络设备500还可以包括：处理模块504。

其中，处理模块504，还用于获知主节点是否空闲；

发送模块502，还用于若处理模块504获知主节点空闲，则向主节点发送采集指令；其中，采集指令用于采集待解析文件的文件信息。

图6示出了能够执行上述从节点所能执行的文件解析方法的网络设备的一种可能的结构示意图。如图6所示，网络设备600可以包括：接收模块601、处理模块602、发送模块603和存储模块604。

其中，接收模块601，用于接收调度服务器下发的第二解析任务的任务标识；

处理模块602，用于根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息；其中，第二解析任务的任务信息包括第二解析任务的任务标识和第二解析任务对应的待解析文件的文件信息；

处理模块602，还用于根据第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与第二解析任务对应的待解析文件；

发送模块603，用于向目标数据库发送第二解析任务对应的待解析文件的解析结果；

发送模块603，还用于向关系数据库发送第二解析任务的完成指示；

发送模块603，还用于调度服务器上报第二解析任务的完成指示；

存储模块604，用于存储指令和数据。

本申请实施例提供的上述三种网络设备，能够分别执行上述主节点、调度服务器和从节点所能执行的文件解析方法，即在网络设备500的统一调度下，由网络设备400负责所有解析任务的采集和上报，由网络设备500负责所有待解析任务的分配，由网络设备600负责其接收到的解析任务的执行和上报，且在此过程中，每个待解析任务的任务记录的生成、存储和执行过程中的状态更新，也是由网络设备400和网络设备600根据各自接收到的任务分别进行的，从而能够使得网络设备500、网络设备400和网络设备600之间的工作量保持平衡，避免了由网络设备500本身完成大量待解析任务的任务调度，以及每个待解析任务的每一步执行状态更新的情况，能够降低调度程序的设计复杂度，从而避免因网络设备500的资源占用率偏高导致的网络设备500“死锁”，以及网络设备600的资源利用率偏低导致的网络设备600大量资源闲置的情况，能够提高文件解析的可靠性和效率。

图7示出了能够执行上述主节点所能执行的文件解析方法的网络设备的另一种可能的结构示意图。如图7所示，网络设备700包括：处理单元701和通信单元702。处理单元701用于对网络设备700的动作进行控制管理，例如，执行上述存储模块403、处理模块401执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信单元702用于支持网络设备700与其他网络实体的通信，例如，执行上述发送模块402、接收模块404执行的步骤。此外，网络设备700还可以包括存储单元703和总线704，存储单元703用于存储网络设备700的程序代码和数据。

其中，上述处理单元701可以是网络设备700中的处理器或控制器，该处理器或控制器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器或控制器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

通信单元702可以是网络设备700中的收发器、收发电路或通信接口等。

存储单元703可以是网络设备700中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线704可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图8示出了能够执行上述调度服务器所能执行的文件解析方法的网络设备的另一种可能的结构示意图。如图8所示，网络设备800包括：处理单元801和通信单元802。处理单元801用于对网络设备800的动作进行控制管理，例如，执行上述存储模块503、处理模块504执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信单元802用于支持网络设备800与其他网络实体的通信，例如，执行上述接收模块501、发送模块502执行的步骤。此外，网络设备800还可以包括存储单元803和总线804，存储单元803用于存储网络设备800的程序代码和数据。

其中，上述处理单元801可以是网络设备800中的处理器或控制器，该处理器或控制器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器或控制器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

通信单元802可以是网络设备800中的收发器、收发电路或通信接口等。

存储单元803可以是网络设备800中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线804可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图9示出了能够执行上述从节点所能执行的文件解析方法的网络设备的另一种可能的结构示意图。如图9所示，网络设备900包括：处理单元901和通信单元902。处理单元901用于对网络设备900的动作进行控制管理，例如，执行上述存储模块604、处理模块602执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信单元902用于支持网络设备900与其他网络实体的通信，例如，执行上述接收模块601、发送模块603执行的步骤。此外，网络设备900还可以包括存储单元903和总线904，存储单元903用于存储网络设备900的程序代码和数据。

其中，上述处理单元901可以是网络设备900中的处理器或控制器，该处理器或控制器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器或控制器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

通信单元902可以是网络设备900中的收发器、收发电路或通信接口等。

存储单元903可以是网络设备900中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

总线904可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线904可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要说明的是，能够执行主节点所能执行的文件解析方法的网络设备，和能够执行从节点所能执行的文件解析方法的网络设备，可以为同一类型的网络设备，即该同一类型的网络设备能够同时具备主节点和从节点两者的功能。实际应用中，可以根据实际需求将其中一台网络设备配置为主节点，并将其他至少一台网络设备配置为从节点。可以理解，当主节点发生故障时，可以从至少一个从节点中选举一个从节点作为新的主节点。

本申请实施例提供一种文件解析系统，该系统可以包括网络设备700、网络设备800和网络设备900，其中，网络设备700、网络设备800和网络设备900通过分工协作，执行本申请实施例提供的文件解析方法。对于网络设备700、网络设备800和网络设备900的描述具体可以参见上述方法实施例和装置实施例中的相关描述，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机可以执行上述方法实施例所示的方法流程中主节点、调度服务器和从节点中的一种所执行的各个步骤。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种文件解析方法，其特征在于，所述文件解析方法包括：

主节点获取待解析文件的文件信息；其中，所述待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；

所述主节点向所述关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括所述第i个待解析任务的任务标识和所述第i个待解析任务对应的待解析文件的文件信息，i≤M；

所述主节点向调度服务器上报所述M个待解析任务的任务信息。

2.根据权利要求1所述的文件解析方法，其特征在于，所述主节点获取待解析文件的文件信息，包括：

所述主节点获取所述FTP服务器中指定位置存储的源文件的文件信息；

所述主节点将所述任务记录中不存在的文件信息，确定为待解析文件的文件信息。

3.根据权利要求1所述的文件解析方法，其特征在于，在所述主节点向调度服务器上报所述M个待解析任务的任务信息之后，所述文件解析方法还包括：

所述主节点接收所述调度服务器下发的第一解析任务的任务标识；其中，所述第一解析任务为所述M个待解析任务中的一个；

所述主节点根据所述第一解析任务的任务标识，获取所述第一解析任务的任务信息；

所述主节点根据所述第一解析任务的任务信息，获取并解析所述第一解析任务对应的待解析文件；

所述主节点向目标数据库发送所述第一解析任务对应的待解析文件的解析结果；

所述主节点向所述关系数据库发送所述第一解析任务的完成指示；

所述主节点向所述调度服务器上报所述第一解析任务的完成指示。

4.一种文件解析方法，其特征在于，所述文件解析方法包括：

调度服务器接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括所述第i个待解析任务的任务标识和所述第i个待解析任务对应的待解析文件的文件信息，所述待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；

所述调度服务器向第j个执行节点下发一个待解析任务；其中，所述执行节点为所述主节点和至少一个从节点中的空闲节点,j≤N,N为所述执行节点的数量，且N≤M；

所述调度服务器接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

5.根据权利要求4所述的文件解析方法，其特征在于，所述文件解析方法还包括：

若所述调度服务器获知所述主节点空闲，则所述调度服务器向所述主节点发送采集指令；其中，所述采集指令用于采集所述待解析文件的文件信息。

6.一种文件解析方法，其特征在于，所述文件解析方法包括：

从节点接收调度服务器下发的第二解析任务的任务标识；

所述从节点根据所述第二解析任务的任务标识，获取关系数据库中存储的、所述第二解析任务的任务信息；其中，所述第二解析任务的任务信息包括所述第二解析任务的任务标识和所述第二解析任务对应的待解析文件的文件信息；

所述从节点根据所述第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与所述第二解析任务对应的待解析文件；

所述从节点向目标数据库发送所述第二解析任务对应的待解析文件的解析结果；

所述从节点向所述关系数据库发送所述第二解析任务的完成指示；

所述从节点向所述调度服务器上报所述第二解析任务的完成指示。

7.一种网络设备，其特征在于，所述网络设备包括：处理模块和发送模块；其中，

所述处理模块，用于获取待解析文件的文件信息；其中，所述待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；

所述发送模块，用于向所述关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括所述第i个待解析任务的任务标识和所述第i个待解析任务对应的待解析文件的文件信息，i≤M；

所述发送模块，还用于向调度服务器上报所述M个待解析任务的任务信息。

8.根据权利要求7所述的网络设备，其特征在于，

所述处理模块，还用于获取所述FTP服务器中指定位置存储的源文件的文件信息；

所述处理模块，还用于将所述任务记录中不存在的文件信息，确定为待解析文件的文件信息。

9.根据权利要求7所述的网络设备，其特征在于，所述网络设备还包括接收模块；其中，

所述接收模块，用于接收所述调度服务器下发的第一解析任务的任务标识；其中，所述第一解析任务为所述M个待解析任务中的一个；

所述处理模块，还用于根据所述第一解析任务的任务标识，获取所述第一解析任务的任务信息；

所述处理模块，还用于根据所述第一解析任务的任务信息，获取并解析所述第一解析任务对应的待解析文件；

所述发送模块，还用于向目标数据库发送所述第一解析任务对应的待解析文件的解析结果；

所述发送模块，还用于向所述关系数据库发送所述第一解析任务的完成指示；

所述发送模块，还用于向所述调度服务器上报所述第一解析任务的完成指示。

10.一种网络设备，其特征在于，所述网络设备包括：接收模块和发送模块；其中，

所述接收模块，用于接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括所述第i个待解析任务的任务标识和所述第i个待解析任务对应的待解析文件的文件信息，所述待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；

所述发送模块，用于向第j个执行节点下发一个待解析任务；其中，所述执行节点为所述主节点和至少一个从节点中的空闲节点,j≤N,N为所述执行节点的数量，且N≤M；

所述接收模块，还用于接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

11.根据权利要求10所述的网络设备，其特征在于，所述网络设备还包括：处理模块；其中，

所述处理模块，还用于获知所述主节点是否空闲；

所述发送模块，还用于若所述处理模块获知所述主节点空闲，则向所述主节点发送采集指令；其中，所述采集指令用于采集所述待解析文件的文件信息。

12.一种网络设备，其特征在于，所述网络设备包括：接收模块、处理模块和发送模块；其中，

所述接收模块，用于接收调度服务器下发的第二解析任务的任务标识；

所述处理模块，用于根据所述第二解析任务的任务标识，获取关系数据库中存储的、所述第二解析任务的任务信息；其中，所述第二解析任务的任务信息包括所述第二解析任务的任务标识和所述第二解析任务对应的待解析文件的文件信息；

所述处理模块，还用于根据所述第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与所述第二解析任务对应的待解析文件；

所述发送模块，用于向目标数据库发送所述第二解析任务对应的待解析文件的解析结果；

所述发送模块，还用于向所述关系数据库发送所述第二解析任务的完成指示；

所述发送模块，还用于所述调度服务器上报所述第二解析任务的完成指示。