CN110222016B - 一种文件处理方法及装置 - Google Patents

Abstract

本申请实施例公开了一种文件处理的方法及装置，可适用于资源分配。该方法包括：接收文件处理请求，确定文件处理请求所请求处理的目标文件的目标文件类型；获取系统中正在处理的各个文件的文件类型；若系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型，则获取目标文件类型对应的并发控制阈值，并确定系统正在处理的各个文件中所有属于并发控制文件类型的文件的文件并发处理数量；若文件并发处理数量不大于并发控制阈值，则处理目标文件。采用本申请实施例，可缓解系统压力，实现系统的平稳运行，提高系统的稳健性，适用性高。

Description

一种文件处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种文件处理方法及装置。

背景技术

目前，随着信息技术和网络技术的发展，各行业都出现了通过网络实现业务办理的综合业务系统，如政务综合业务信息系统、电子政务系统、数字医疗互动系统、银行核心系统等等。可以理解的是，综合业务系统普遍存在处理的业务种类繁杂和业务数量大的特点，特别是当综合业务系统在同一时刻接收到来自大量需要处理的业务数据时，常常会导致系统资源占用率飙升甚至导致系统崩溃的情况发生，这样不仅影响对后续业务数据处理，也不利于系统的稳定性。因此，如何实现系统的稳定运行成为当前亟待解决的问题。

发明内容

本申请实施例提供一种文件处理的方法及装置。可缓解系统压力，实现系统的平稳运行，提高系统的稳健性，适用性高。

第一方面，本申请实施例提供了一种文件处理的方法，该方法包括：

接收文件处理请求，确定上述文件处理请求所请求处理的目标文件的目标文件类型；

获取系统中正在处理的各个文件的文件类型；

若上述系统中正在处理的各个文件的文件类型中存在与上述目标文件类型有并发控制关系的并发控制文件类型，则获取上述目标文件类型对应的并发控制阈值，并确定上述系统正在处理的各个文件中所有属于上述并发控制文件类型的文件的文件并发处理数量；

若上述文件并发处理数量不大于上述并发控制阈值，则处理上述目标文件。

在本申请实施例中，可基于获取的文件处理请求确定目标文件的目标文件类型，当确定系统中正在处理的各个文件的文件类型与目标文件类型存在并发控制关系时，可通过将获取的文件并发处理数量与并发控制阈值进行比较，在文件并发处理数量不大于并发控制阈值时处理目标文件。从而可实现系统的平稳运行，提高系统的稳健性，适用性高。

结合第一方面，在一种可能的实施方式中，上述获取系统中正在处理的各个文件的文件类型之后，上述方法还包括：

根据上述目标文件类型从多个并发控制列表中确定出目标并发控制列表，其中，一种文件类型对应一个并发控制列表，上述目标并发控制列表中包括至少一个与上述目标文件类型有并发控制关系的文件类型；

将上述系统中正在处理的各个文件的文件类型与上述目标并发控制列表中包括的文件类型进行比较；

若上述系统中正在处理的各个文件的文件类型中的任一文件类型与上述目标并发控制列表中包括的任一文件类型相同，则确定上述系统正在处理的各个文件的文件类型中存在与上述目标文件类型有并发控制关系的并发控制文件类型。

在本申请实施例中，通过确定目标类型的目标并发控制列表可得到目标并发控制列表中包括的至少一个与目标文件类型有并发控制关系的文件类型，进而可确定系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型，易于理解且方便操作，适用性强。

结合第一方面，在一种可能的实施方式中，上述方法还包括：

若上述文件并发处理数量大于上述并发控制阈值，则拒绝上述目标文件的上述文件处理请求；或

若上述文件并发处理数量大于上述并发控制阈值，则将上述目标文件存入文件缓存数据库，定时轮询上述系统正在处理的各个文件中所有属于上述并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于上述并发控制阈值，启动上述目标文件的处理。

在本申请实施例中，通过拒绝目标文件处理请求或将目标文件存入文件缓存数据库的方式可有效控制进入系统中的文件数量，缓解系统压力，适用性强。

结合第一方面，在一种可能的实施方式中，上述方法还包括：

获取线程资源占用率，当上述线程资源占用率不小于线程资源占用阈值时，减少上述目标文件类型对应的并发控制阈值。

在本申请实施例中，在线程资源占用率不小于线程资源占用阈值时，减少目标文件类型对应的并发控制阈值可进一步控制与目标文件类型有并发控制关系的文件类型允许进入系统的数量，缓解系统压力，适用性强。

结合第一方面，在一种可能的实施方式中，上述文件处理请求中包括文件标识；上述确定上述文件处理请求所请求处理的目标文件的目标文件类型，包括：

提取上述文件处理请求中的文件标识；

确定上述文件标识所标记的目标文件，并确定上述目标文件所属的目标文件类型。

在本申请实施例中，通过提取文件处理请求中的文件标识以确定该文件标识所标记的目标文件，进而确定目标文件所属的目标文件类型，使文件标识与文件类型之间的对应关系简单明了，不易出错且操作过程简单，适用性强。

结合第一方面，在一种可能的实施方式中，上述确定所有属于上述并发控制文件类型的文件的文件并发处理数量，包括：

确定上述并发控制文件类型中各个文件类型对应的文件数量；

将上述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量。

在本申请实施例中，通过先确定并发控制文件类型中各个文件类型对应的文件数量，再将各个文件数量之和确定为文件并发处理数量既不容易出错，也能体现出系统中各种文件的处理情况。

结合第一方面，在一种可能的实施方式中，上述处理上述目标文件，包括：

获取线程资源占用率，根据上述线程资源占用率确定小文件拆分数量；

根据上述小文件拆分数量将上述目标文件拆分成多个小文件，基于多个线程资源对上述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

在本申请实施例中，结合线程资源占用率来确定小文件拆分数量可有效利用系统中的线程资源，既能保证系统稳定运行，同时能够减少文件处理的时间，适用性强。

第二方面，本申请实施例提供了一种文件处理的装置，该装置包括：

请求获取模块，用于接收文件处理请求，确定上述文件处理请求所请求处理的目标文件的目标文件类型；

文件类型确定模块，用于获取系统中正在处理的各个文件的文件类型；

文件属性确定模块，用于若上述文件类型确定模块确定的上述系统中正在处理的各个文件的文件类型中存在与上述请求获取模块确定的上述目标文件类型有并发控制关系的并发控制文件类型，则获取上述目标文件类型对应的并发控制阈值，并确定上述系统正在处理的各个文件中所有属于上述并发控制文件类型的文件的文件并发处理数量；

文件处理模块，用于若上述文件属性确定模块确定的上述文件并发处理数量不大于上述文件属性确定模块确定的上述并发控制阈值，则处理上述目标文件。

结合第二方面，在一种可能的实施方式中，上述文件处理装置还包括：

并发控制确定模块，用于根据上述目标文件类型从多个并发控制列表中确定出目标并发控制列表，其中，一种文件类型对应一个并发控制列表，上述目标并发控制列表中包括至少一个与上述目标文件类型有并发控制关系的文件类型；

将上述系统中正在处理的各个文件的文件类型与上述目标并发控制列表中包括的文件类型进行比较；

若上述系统中正在处理的各个文件的文件类型中的任一文件类型与上述目标并发控制列表中包括的任一文件类型相同，则确定上述系统正在处理的各个文件的文件类型中存在与上述目标文件类型有并发控制关系的并发控制文件类型。

结合第二方面，在一种可能的实施方式中，上述文件处理模块还用于：

若上述文件并发处理数量大于上述并发控制阈值，则拒绝上述目标文件的上述文件处理请求；或

若上述文件并发处理数量大于上述并发控制阈值，则将上述目标文件存入文件缓存数据库，定时轮询上述系统正在处理的各个文件中所有属于上述并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于上述并发控制阈值，启动上述目标文件的处理。

结合第二方面，在一种可能的实施方式中，上述文件处理装置还包括：

阈值调整模块，用于获取线程资源占用率，当上述线程资源占用率不小于线程资源占用阈值时，减少上述目标文件类型对应的并发控制阈值。

结合第二方面，在一种可能的实施方式中，上述文件处理请求中包括文件标识；上述请求获取模块用于：

提取上述文件处理请求中的文件标识；

确定上述文件标识所标记的目标文件，并确定上述目标文件所属的目标文件类型。

结合第二方面，在一种可能的实施方式中，上述文件属性确定模块用于：

确定上述并发控制文件类型中各个文件类型对应的文件数量；

将上述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量。

结合第二方面，在一种可能的实施方式中，上述文件处理模块用于：

获取线程资源占用率，根据上述线程资源占用率确定小文件拆分数量；

根据上述小文件拆分数量将上述目标文件拆分成多个小文件，基于多个线程资源对上述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器和存储器，该处理器和存储器相互连接。该存储器用于存储支持该终端设备执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序，该计算机程序包括程序指令，该处理器被配置用于调用上述程序指令，执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。

实施本申请实施例，具有如下有益效果：

在本申请实施例中，可基于获取的文件处理请求确定目标文件的目标文件类型。当确定系统中正在处理的各个文件的文件类型与目标文件类型存在并发控制关系时，可通过将获取的文件并发处理数量与并发控制阈值进行比较，在文件并发处理数量不大于并发控制阈值时处理目标文件。从而实现系统的平稳运行，提高系统的稳健性，适用性高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的文件处理方法的一流程示意图；

图2是本申请实施例提供的文件处理方法的另一流程示意图；

图3是本申请实施例提供的文件处理装置的结构示意图；

图4是本申请实施例提供的终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的文件处理的方法，可广泛适用于各种综合业务系统。综合业务办理系统可接收外围系统发送的文件处理请求，并确定出文件处理请求所请求处理的目标文件的目标文件类型。获取系统中正在处理的各个文件的文件类型，当系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型时，通过获取目标文件类型对应的并发控制阈值，并在系统中的文件并发处理数量不大于并发控制阈值时可执行目标文件的处理。采用本申请实施例可缓解系统压力，实现系统的平稳运行，提高系统的稳健性，适用性高。

下面将结合图1至图4分别对本申请实施例提供的方法及相关装置分别进行详细说明。本申请实施例提供的方法中可包括用于接收文件处理请求、确定目标文件类型、确定并发控制文件类型、获取并发控制阈值和文件并发处理数量、处理目标文件等数据处理阶段。其中，上述各个数据处理阶段的实现方式可参见如下图1至图2所示的实现方式。

参见图 1，图 1 为本申请实施例提供的文件处理方法的一流程示意图。本申请实施例提供的方法可以包括如下步骤101至104：

101、接收文件处理请求，确定文件处理请求所请求处理的目标文件的目标文件类型。

在一些可行的实施方式中，系统可接收多种业务种类的文件的文件处理请求，其中文件处理请求中包括文件标识，文件标识可以是文件的唯一编号，也可以是文件的唯一名称，具体可根据实际应用场景确定，在此不做限制。系统在接收文件处理请求后，通过解析并提取文件处理请求中的文件标识，可确定该文件标识所标记的文件，即目标文件，进而可确定出目标文件所属的文件类型。可选的，通过解析并提取文件处理请求中的文件标识后，还可以通过查询文件标识所属的文件类型来确定该文件处理请求所请求处理的目标文件的目标文件类型。

举例来说，假设银行核心系统可接收来自A系统、B系统、C系统、D系统这四个外围系统的文件处理请求，其中A系统负责发送代收水电费类文件的文件处理请求、B系统负责发送信用卡还款类文件的文件处理请求、C系统负责发送发工资类文件的文件处理请求、D系统负责发送中间业务类文件的文件处理请求。在某一时间点，银行核心系统接收到由B系统发送的文件处理请求“B1文件处理请求”，通过解析并提取“B1文件处理请求”中的文件标识“B10”，可从文件缓存库中匹配到由“B10”所标记的文件为“甲公司信用卡还款文件”，从而确定目标文件“甲公司信用卡还款文件”所属的目标文件类型是“信用卡还款类文件”。或者在确定文件标识为“B10”后，通过查询文件标识“B10”所属的文件类型，可确定“B10”所对应的目标文件类型为“信用卡还款类文件”。

102、获取系统中正在处理的各个文件的文件类型。

在一些可行的实施方式中，当系统空闲时，系统中可同时处理多种文件类型的多个文件。在接收文件处理请求后，通过查询当前状态下系统的文件处理信息表，可获取到系统中当前正在处理的各个文件的文件类型和线程资源占用率。其中，文件处理信息表中包括系统中正在处理的各种文件类型、各种文件类型分别对应的文件数量和线程资源占用率。可选的，还可以通过查看当前状态下系统中的任务进程来确定系统中当前正在处理的各个文件的文件类型和线程资源占用率。

103、若系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型，则获取目标文件类型对应的并发控制阈值，并确定系统正在处理的各个文件中所有属于并发控制文件类型的文件的文件并发处理数量。

在一些可行的实施方式中，系统在处理不同文件类型的文件时其处理的流程和处理时间通常是不一样的。比如，如果将执行时间是1ms的任务视为轻量级任务，将执行时间是1000ms的任务视为重量级任务。虽然重量级任务和轻量级任务对于空闲状态下的线程资源的占用机会是均等的，但是在轻量级任务和重量级任务的数量差不多的情况下，重量级任务占用线程资源的时间的比例要大很多。因此一旦出现重量级任务抢占了所有线程资源时，就会出现轻量级任务得不到调度处理的情况，这样会使得累积在阻塞等待队列中的任务越来越多，占用的内存也越来越大，最后导致任务拥塞或者系统崩溃。因此，为了使系统能够始终保持平稳运行，可基于不同的业务场景再结合系统的实际运营情况，为不同的文件类型配置其具有并发控制关系的并发控制文件类型。其中，配置了具有并发控制关系的两种或多种文件类型的文件需要满足一定条件才允许同时执行，这里的一定条件包括通过设置并发控制阈值使具有并发控制关系的两种或多种文件类型的文件在并发控制阈值的范围内允许同时执行。

例如，假设贷款审批类文件和代收水电费类文件都属于重量级文件，即属于处理耗时较长的文件，则可以将贷款审批类文件和代收水电费类文件配置成相互具有并发控制关系的文件类型，即贷款审批类文件和代收水电费类文件互为并发控制文件类型。又例如，由于针对同一账户的资金交易是不能同时进行的，只能在一笔资金交易结束后再进行下一次资金交易，因此可将属于同一账户的资金交易类文件配置成具有并发控制关系的并发控制文件类型。又例如，当本文件类型是时效性要求不高但数据量庞大的文件类型时，也可以将本文件类型配置成与自身具有并发控制关系的并发控制文件类型，其中，并发控制文件类型的划分依据具体可根据实际应用场景确定，在此不做限制。

在一些可行的实施方式中，每种文件类型与任意文件类型的并发控制关系可通过设置其对应的并发控制列表实现，其中，一种文件类型对应一个并发控制列表，一个并发控制列表中包括至少一个与本文件类型有并发控制关系的文件类型。可以理解的是，配置了并发控制关系的两种或多种文件类型的文件在并发控制阈值的范围内才允许同时执行。其中，这种通过设置并发控制阈值控制具有并发控制关系的两种或多种文件类型是否能被同时执行的方式可以在系统一开始运行时就开始执行，也可以是在线程资源占用率达到一定程度时再触发执行。如果在系统一开始运行时就开始执行，则在接收文件处理请求后，当查询到系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型时，则需要获取目标文件类型对应的并发控制阈值，并确定系统正在处理的各个文件中所有属于并发控制文件类型的文件的文件并发处理数量。其中，在确定系统中所有属于并发控制文件类型的文件的文件并发处理数量时，可查询当前状态下的系统的文件处理信息表，以得到文件处理信息表中各个并发控制文件类型的文件分别对应的文件数量，然后将属于并发控制文件类型的各个文件类型的文件分别对应的文件数量之和确定为文件并发处理数量。

举例来说，假设与文件类型B互为并发控制文件类型的有文件类型A和文件类型C，其中，文件类型B的并发控制阈值为6。当前状态下系统的文件处理信息表中记录了正在处理的文件类型为A的文件数量有5个，文件类型为B的文件数量有2个，文件类型为C的文件数量有2个。当接收到待处理文件B1的文件处理请求时，通过解析待处理文件B1的文件处理请求，可确定待处理文件B1所属的文件类型为文件类型B，通过获取文件类型B对应的并发控制列表，可得到并发控制列表中的并发控制文件类型为文件类型A和文件类型C。查询当前状态下系统的文件处理信息表可知，系统中正在处理的文件类型有文件类型为A、文件类型为B和文件类型为C。通过将文件类型B的并发控制列表中的文件类型与系统中正在处理的文件类型进行逐一比较，可确定系统中的文件类型A和文件类型C皆是与文件类型B有并发控制关系的并发控制文件类型，且文件并发处理数量为7，由于文件并发处理数量7大于文件类型B的并发控制阈值6，因此，可确定待处理文件B1不能够在此次调度中被执行。

104、若文件并发处理数量不大于并发控制阈值，则处理目标文件。

在一些可行的实施方式中，若文件并发处理数量不大于并发控制阈值，说明具有并发控制关系的两种或多种文件类型能够被同时执行。于是可获取或创建一个线程资源用于处理目标文件。可选的，也可通过查询当前状态下系统的文件处理信息表中的数据以获取线程资源占用率，并根据线程资源占用率确定对应的小文件拆分数量。然后根据小文件拆分数量可将目标文件拆分成多个小文件，并基于获取的多个线程资源对多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。可选的，若文件并发处理数量大于并发控制阈值，说明具有并发控制关系的两种或多种文件类型不能被同时执行，于是可拒绝目标文件的文件处理请求。或是在文件并发处理数量大于并发控制阈值时，将目标文件存入文件缓存数据库，并定时轮询系统中正在处理的所有属于并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于并发控制阈值，则启动目标文件的处理。这里，目标文件的处理方式与上述当文件并发处理数量不大于并发控制阈值时的目标文件的处理方式相同，在此不再赘述。在目标文件处理完成后，可通过释放占用的线程资源完成对线程资源的回收。

在本申请实施例中，基于接收到的外围系统发送的文件处理请求，可确定出文件处理请求所请求处理的目标文件的目标文件类型。通过将获取的系统中正在处理的各个文件的文件类型与目标文件的并发控制列表中包括的并发控制文件类型进行比较，可确定系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型。当系统中存在并发控制文件类型时，通过获取目标文件类型对应的并发控制阈值以及系统中的并发控制文件类型的文件并发处理数量，可在文件并发处理数量不大于并发控制阈值时，根据线程资源占用率确定小文件拆分数量，进而实现将目标文件拆分成多个小文件进行并发处理。采用本申请实施例，可有效利用系统中的线程资源，既能保证系统稳定运行，同时能够减少文件处理的时间，适用性强。

参见图2，图2是本申请实施例提供的文件处理方法的另一流程示意图。本申请实施例提供的文件处理的方法可通过如下步骤201至204所提供的实现方式进行说明：

201、接收文件处理请求，确定文件处理请求所请求处理的目标文件的目标文件类型。

202、获取系统中正在处理的各个文件的文件类型和线程资源占用率。

步骤201至步骤202的具体实现方式如步骤101至步骤102所提供的实现方式，具体可参见上述步骤101至步骤102，在此不再赘述。

203、当线程资源占用率不小于线程资源占用阈值且系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型时，获取目标文件类型对应的并发控制阈值，并确定系统正在处理的各个文件中所有属于并发控制文件类型的文件的文件并发处理数量。

在一些可行的实施方式中，系统中的线程资源是有限的，当线程资源的占用达到一定程度时，如果依旧不加以控制，则有可能导致业务拥塞或者系统崩溃。因此，为了维护系统的稳健性，可在线程资源占用率不小于线程资源占用阈值时，触发执行目标文件类型的并发控制。即在线程资源占用率不小于线程资源占用阈值时，判断系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型，若系统中正在处理的各个文件的文件类型中存在与目标文件类型有并发控制关系的并发控制文件类型，则获取目标文件类型对应的并发控制阈值，并确定系统正在处理的各个文件中所有属于并发控制文件类型的文件并发处理数量。可选的，针对完全不能同时执行的文件类型而言，例如属于同一账户的资金交易类文件可设置在系统一开始运行时就开始执行文件类型的并发控制且并发控制阈值为1，各种文件类型的并发控制的开始时间具体可根据实际应用场景确定，在此不做限制。

204、若文件并发处理数量不大于并发控制阈值，则处理目标文件，并减少目标文件类型对应的并发控制阈值。

在一些可行的实施方式中，若文件并发处理数量不大于并发控制阈值，说明具有并发控制关系的两种或多种文件类型能够被同时执行。于是可获取或创建一个线程资源用于处理目标文件。可选的，也可根据线程资源占用率情况、文件大小等因素确定是否将目标文件拆分成多个小文件进行处理，若允许拆分，则可根据确定的小文件拆分数量将目标文件拆分成多个小文件，并获取相应数量的线程资源对拆分成的多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。在每个文件处理完成后，可通过释放占用的线程资源完成对线程资源的回收。可选的，在进行并发控制后的一段时间，若线程资源占用率依然不小于某个安全阈值，说明文件类型的并发控制的成效不明显，则需要适当减少目标文件和/或其他类型文件对应的并发控制阈值。

在本申请实施例中，基于接收到的外围系统发送的文件处理请求，可确定出文件处理请求所请求处理的目标文件的目标文件类型。在线程资源占用率不小于线程资源占用阈值时，通过将获取的系统中正在处理的各个文件的文件类型与目标文件的并发控制列表中包括的并发控制文件类型进行比较，可确定系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型。当系统中存在并发控制文件类型时，通过获取目标文件类型对应的并发控制阈值以及系统中的并发控制文件类型的文件并发处理数量，可在文件并发处理数量不大于并发控制阈值时，根据线程资源占用率确定小文件拆分数量，进而实现将目标文件拆分成多个小文件进行并发处理。采用本申请实施例，可有效利用系统中的线程资源，既能保证系统稳定运行，同时能够减少文件处理的时间，适用性强。

参见图3，图3是本申请实施例提供的文件处理装置的结构示意图。本申请实施例提供的文件处理的装置包括：

请求获取模块31，用于接收文件处理请求，确定所述文件处理请求所请求处理的目标文件的目标文件类型；

文件类型确定模块32，用于获取系统中正在处理的各个文件的文件类型；

文件属性确定模块33，用于若所述文件类型确定模块32确定的所述系统中正在处理的各个文件的文件类型中存在与所述请求获取模块31确定的所述目标文件类型有并发控制关系的并发控制文件类型，则获取所述目标文件类型对应的并发控制阈值，并确定所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量；

文件处理模块34，用于若所述文件属性确定模块33确定的所述文件并发处理数量不大于所述文件属性确定模块33确定的所述并发控制阈值，则处理所述目标文件。

在一些可行的实施方式中，上述文件处理装置还包括：

并发控制确定模块35，用于根据所述目标文件类型从多个并发控制列表中确定出目标并发控制列表，其中，一种文件类型对应一个并发控制列表，所述目标并发控制列表中包括至少一个与所述目标文件类型有并发控制关系的文件类型；

将所述系统中正在处理的各个文件的文件类型与所述目标并发控制列表中包括的文件类型进行比较；

若所述系统中正在处理的各个文件的文件类型中的任一文件类型与所述目标并发控制列表中包括的任一文件类型相同，则确定所述系统正在处理的各个文件的文件类型中存在与所述目标文件类型有并发控制关系的并发控制文件类型。

在一些可行的实施方式中，上述文件处理模块还用于：

若所述文件并发处理数量大于所述并发控制阈值，则拒绝所述目标文件的所述文件处理请求；或

若所述文件并发处理数量大于所述并发控制阈值，则将所述目标文件存入文件缓存数据库，定时轮询所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于所述并发控制阈值，启动所述目标文件的处理。

在一些可行的实施方式中，上述文件处理装置还包括：

阈值调整模块36，用于获取线程资源占用率，当所述线程资源占用率不小于线程资源占用阈值时，减少所述目标文件类型对应的并发控制阈值。

在一些可行的实施方式中，所述文件处理请求中包括文件标识；上述请求获取模块31用于：

提取所述文件处理请求中的文件标识；

确定所述文件标识所标记的目标文件，并确定所述目标文件所属的目标文件类型。

在一些可行的实施方式中，上述文件属性确定模块33用于：

确定所述并发控制文件类型中各个文件类型对应的文件数量；

将所述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量。

在一些可行的实施方式中，上述文件处理模块34用于：

获取线程资源占用率，根据所述线程资源占用率确定小文件拆分数量；

根据所述小文件拆分数量将所述目标文件拆分成多个小文件，基于多个线程资源对所述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

具体实现中，上述文件处理的装置可通过其内置的各个功能模块执行如上述图1至图2中各个步骤所提供的实现方式。例如，上述请求获取模块31可用于执行上述各个步骤中接收文件处理请求，以及确定目标文件类型等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述文件类型确定模块32可用于执行上述各个步骤中确定系统中正在处理的各个文件类型等相关步骤所描述的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述文件属性确定模块33可用于执行上述各个步骤中获取并发控制阈值以及文件并发处理数量等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述文件处理模块34可用于执行上述各个步骤处理目标文件等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述并发控制确定模块35可用于执行上述各个步骤中确定目标并发控制列表以及确定并发控制文件类型等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述阈值调整模块36可用于执行上述各个步骤中获取线程资源占有率、调整阈值等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

在本申请实施例中，文件处理的装置可基于接收到的文件处理请求，确定出文件处理请求所请求处理的目标文件的目标文件类型。通过将获取的系统中正在处理的各个文件的文件类型与目标文件的并发控制列表中包括的并发控制文件类型进行比较，可确定系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型。当系统中存在并发控制文件类型时，通过获取目标文件类型对应的并发控制阈值以及系统中的并发控制文件类型的文件并发处理数量，可在文件并发处理数量不大于并发控制阈值时，根据线程资源占用率确定小文件拆分数量，进而实现将目标文件拆分成多个小文件进行并发处理。采用本申请实施例，可有效利用系统中的线程资源，既能保证系统稳定运行，同时能够减少文件处理的时间，灵活性高，适用范围广。

参见图4，图4是本申请实施例提供的终端设备的结构示意图。如图4所示，本实施例中的终端设备可以包括：一个或多个处理器401和存储器402。上述处理器401和存储器402通过总线403连接。存储器402用于存储计算机程序，该计算机程序包括程序指令，处理器401 用于执行存储器402存储的程序指令，执行如下操作：

接收文件处理请求，确定所述文件处理请求所请求处理的目标文件的目标文件类型；

获取系统中正在处理的各个文件的文件类型；

若所述系统中正在处理的各个文件的文件类型中存在与所述目标文件类型有并发控制关系的并发控制文件类型，则获取所述目标文件类型对应的并发控制阈值，并确定所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量；

若所述文件并发处理数量不大于所述并发控制阈值，则处理所述目标文件。

在一些可行的实施方式中，上述处理器401用于：

根据所述目标文件类型从多个并发控制列表中确定出目标并发控制列表，其中，一种文件类型对应一个并发控制列表，所述目标并发控制列表中包括至少一个与所述目标文件类型有并发控制关系的文件类型；

将所述系统中正在处理的各个文件的文件类型与所述目标并发控制列表中包括的文件类型进行比较；

若所述系统中正在处理的各个文件的文件类型中的任一文件类型与所述目标并发控制列表中包括的任一文件类型相同，则确定所述系统正在处理的各个文件的文件类型中存在与所述目标文件类型有并发控制关系的并发控制文件类型。

在一些可行的实施方式中，上述处理器401用于：

若所述文件并发处理数量大于所述并发控制阈值，则拒绝所述目标文件的所述文件处理请求；或

若所述文件并发处理数量大于所述并发控制阈值，则将所述目标文件存入文件缓存数据库，定时轮询所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于所述并发控制阈值，启动所述目标文件的处理。

在一些可行的实施方式中，上述处理器401用于：

获取线程资源占用率，当所述线程资源占用率不小于线程资源占用阈值时，减少所述目标文件类型对应的并发控制阈值。

在一些可行的实施方式中，所述文件处理请求中包括文件标识；上述处理器401用于：

提取所述文件处理请求中的文件标识；

确定所述文件标识所标记的目标文件，并确定所述目标文件所属的目标文件类型。

在一些可行的实施方式中，上述处理器401用于：

确定所述并发控制文件类型中各个文件类型对应的文件数量；

将所述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量。

在一些可行的实施方式中，上述处理器401用于：

获取线程资源占用率，根据所述线程资源占用率确定小文件拆分数量；

根据所述小文件拆分数量将所述目标文件拆分成多个小文件，基于多个线程资源对所述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

应当理解，在一些可行的实施方式中，上述处理器401可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路 (application specific integratedcircuit，ASIC)、现成可编程门阵列 (field programmable gate array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器402可以包括只读存储器和随机存取存储器，并向处理器401 提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储设备类型的信息。

具体实现中，上述终端设备可通过其内置的各个功能模块执行如上述图1至图2中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

在本申请实施例中，终端设备可基于接收到的文件处理请求，确定出文件处理请求所请求处理的目标文件的目标文件类型。通过将获取的系统中正在处理的各个文件的文件类型与目标文件的并发控制列表中包括的并发控制文件类型进行比较，可确定系统中正在处理的各个文件的文件类型中是否存在与目标文件类型有并发控制关系的并发控制文件类型。当系统中存在并发控制文件类型时，通过获取目标文件类型对应的并发控制阈值以及系统中的并发控制文件类型的文件并发处理数量，可在文件并发处理数量不大于并发控制阈值时，根据线程资源占用率确定小文件拆分数量，进而实现将目标文件拆分成多个小文件进行并发处理。采用本申请实施例，可有效利用系统中的线程资源，既能保证系统稳定运行，同时能够减少文件处理的时间，灵活性高，适用范围广。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图1至图2中各个步骤所提供的文件处理的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

上述计算机可读存储介质可以是前述任一实施例提供的文件处理的装置或者上述终端设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡（smartmedia card, SMC），安全数字（secure digital, SD）卡，闪存卡（flash card）等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请的权利要求书和说明书及附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。

Claims (7)

1.一种文件处理方法，其特征在于，所述方法包括：

接收文件处理请求，确定所述文件处理请求所请求处理的目标文件的目标文件类型；

获取系统中正在处理的各个文件的文件类型；

若所述系统中正在处理的各个文件的文件类型中存在与所述目标文件类型有并发控制关系的并发控制文件类型，则获取所述目标文件类型对应的并发控制阈值，并确定所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量；

若所述文件并发处理数量不大于所述并发控制阈值，则处理所述目标文件；

其中，所述文件处理请求中包括文件标识；所述确定所述文件处理请求所请求处理的目标文件的目标文件类型，包括：

提取所述文件处理请求中的文件标识；

确定所述文件标识所标记的目标文件，并确定所述目标文件所属的目标文件类型；

其中，所述确定所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量，包括：

确定所述并发控制文件类型中各个文件类型对应的文件数量；

将所述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量；

其中，所述处理所述目标文件，包括：

获取线程资源占用率，根据所述线程资源占用率确定小文件拆分数量；

根据所述小文件拆分数量将所述目标文件拆分成多个小文件，基于多个线程资源对所述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

2.根据权利要求1所述方法，其特征在于，所述获取系统中正在处理的各个文件的文件类型之后，所述方法还包括：

根据所述目标文件类型从多个并发控制列表中确定出目标并发控制列表，其中，一种文件类型对应一个并发控制列表，所述目标并发控制列表中包括至少一个与所述目标文件类型有并发控制关系的文件类型；

若所述系统中正在处理的各个文件的文件类型中的任一文件类型与所述目标并发控制列表中包括的任一文件类型相同，则确定所述系统正在处理的各个文件的文件类型中存在与所述目标文件类型有并发控制关系的并发控制文件类型。

3.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

若所述文件并发处理数量大于所述并发控制阈值，则拒绝所述目标文件的所述文件处理请求；或

若所述文件并发处理数量大于所述并发控制阈值，则将所述目标文件存入文件缓存数据库，定时轮询所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量直到文件并发处理数量不大于所述并发控制阈值，启动所述目标文件的处理。

4.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

获取线程资源占用率，当所述线程资源占用率不小于线程资源占用阈值时，减少所述目标文件类型对应的并发控制阈值。

5.一种文件处理装置，其特征在于，所述装置包括：

请求获取模块，用于接收文件处理请求，确定所述文件处理请求所请求处理的目标文件的目标文件类型；

文件类型确定模块，用于获取系统中正在处理的各个文件的文件类型；

文件属性确定模块，用于若所述文件类型确定模块确定的所述系统中正在处理的各个文件的文件类型中存在与所述请求获取模块确定的所述目标文件类型有并发控制关系的并发控制文件类型，则获取所述目标文件类型对应的并发控制阈值，并确定所述系统正在处理的各个文件中所有属于所述并发控制文件类型的文件的文件并发处理数量；

文件处理模块，用于若所述文件属性确定模块确定的所述文件并发处理数量不大于所述文件属性确定模块确定的所述并发控制阈值，则处理所述目标文件；

其中，所述文件处理请求中包括文件标识；所述请求获取模块用于：

提取所述文件处理请求中的文件标识；

确定所述文件标识所标记的目标文件，并确定所述目标文件所属的目标文件类型；

其中，所述文件属性确定模块用于：

确定所述并发控制文件类型中各个文件类型对应的文件数量；

将所述并发控制文件类型中各个文件类型对应的文件数量之和确定为文件并发处理数量；

其中，所述文件处理模块用于：

获取线程资源占用率，根据所述线程资源占用率确定小文件拆分数量；

根据所述小文件拆分数量将所述目标文件拆分成多个小文件，基于多个线程资源对所述多个小文件进行并发处理，其中一个线程资源用于处理一个小文件。

6.一种终端设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接；

所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。