CN116303286A - 批量文件处理方法、装置及系统 - Google Patents

Abstract

本申请公开了一种批量文件处理方法、装置及系统，可用于人工智能技术领域，所述方法包括：接收上游应用服务器传输的第一批量文件；确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。本申请对可能存在异常的待处理第一批量文件进行识别并校验，提升第一批量文件的处理效率。

Description

批量文件处理方法、装置及系统

技术领域

本申请涉及批量文件处理技术领域，特别涉及人工智能技术领域，尤其涉及一种批量文件处理方法、装置及系统。

背景技术

本部分旨在为权利要求书中陈述的本申请实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，银行等金融机构的批量文件的处理一般是在晚间进行，当前应用接收到上游应用传输的批量文件后，若该批量文件异常，需要人工确认批量文件的数据的正确性之后才能再进行批量处理。这样，一方面，批量文件的处理一般是在晚间，异常的批量文件需要人工确认，可能会因为处理不及时导致业务出错；另一方面，人工确认批量文件，效率低且容易出错，可能会将错误数据继续传递给下游应用。

发明内容

本申请的一个目的在于提供一种批量文件处理方法，对可能存在异常的待处理批量文件进行识别并校验，提升批量文件的处理效率。本申请的另一个目的在于提供一种批量文件处理装置。本申请的再一个目的在于提供一种批量文件处理系统。本申请的还一个目的在于提供一种计算机设备。本申请的还一个目的在于提供一种可读介质。

为了达到以上目的，本申请一方面公开了一种批量文件处理方法，包括：

接收上游应用服务器传输的第一批量文件；

确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；

确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

优选的，所述确定历史第一批量文件的历史待处理记录条数包括：

提取所述第一批量文件的文件名；

根据所述文件名获取当前时间之前预设时间段内的第一批量文件得到历史第一批量文件；

确定所述历史第一批量文件的待处理记录条数得到历史待处理记录条数。

优选的，进一步在确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，之前：

确定第一批量文件的文件名与预设变化率阈值的对应关系得到配置信息。

优选的，进一步包括：

提取所述第一批量文件的文件名；

根据所述文件名从预设的所述配置信息中确定所述第一批量文件的文件名对应的变化率阈值。

优选的，

若所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率未超过预设变化率阈值，存储所述第一批量文件；

达到预设条件后根据存储的第一批量文件生成第二批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

优选的，所述达到预设条件后根据存储的第一批量文件生成第二批量文件具体包括：

达到预设条件后根据预设下游文件规则提取所述第一批量文件中的下游文件特征对应的特征值；

根据所述下游文件特征和对应的特征值根据所述下游文件规则生成第一批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

优选的，所述预设条件为每隔预设时间间隔或存储的所有第一批量文件的文件大小达到预设数值。

优选的，所述基于预设规则对所述第一批量文件进行数据校验具体包括：

基于预设规则提取所述第一批量文件中的每个待处理记录的待校验字段和字段属性；

根据所述待校验字段和所述字段属性在校验数据库中查询得到查询结果；

若存在查询结果，则对应的待处理记录校验通过，若不存在查询结果，则对应的待处理记录校验不通过。

优选的，进一步包括：

将存在校验不通过的待处理记录，基于校验通过的待处理记录形成第一批量文件，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

本申请还公开了一种批量文件处理装置，包括：

文件接收处理单元，用于接收上游应用服务器传输的第一批量文件；

数据加载处理单元，用于确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；

文件生成处理单元，用于确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

本申请还公开了一种批量文件处理系统，包括上游应用服务器、批量文件处理装置和下游应用服务器；

所述批量文件处理装置用于接收上游应用服务器传输的第一批量文件；确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

本申请批量文件处理方法接收上游应用服务器传输的第一批量文件；确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。从而，本申请对第一批量文件的待处理记录条数的变化率是否超过预设变化率阈值进行判定，若超过预设变化率阈值，则自动对第一批量文件进行数据校验，若校验通过，再根据第一批量文件形成第二批量文件并传输至下游应用服务器进行处理。因此，本申请通过对第一批量文件的待处理记录条数的变化率进行监控确定可能存在问题的第一批量文件，将可能存在问题的第一批量文件进行数据校验，若校验通过，形成第二批量文件并发送至下游应用服务器进行正常处理，可避免对异常文件的校验需要人工介入而导致的业务延时或出错的问题，同时通过自动化的数据校验提高第一批量文件的检查效率和准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请批量文件处理系统具体实施例的示意图；

图2为本申请批量文件处理方法具体实施例的流程图；

图3为本申请批量文件处理方法具体实施例S200的流程图；

图4为本申请批量文件处理方法具体实施例S000的流程图；

图5为本申请批量文件处理方法具体实施例S000包括S020和S030的流程图；

图6为本申请批量文件处理方法具体实施例S400的流程图；

图7为本申请批量文件处理方法具体实施例S420的流程图；

图8为本申请批量文件处理方法具体实施例S300的流程图；

图9为本申请批量文件处理方法具体实施例S500的流程图；

图10为本申请批量文件处理装置具体实施例的结构图；

图11示出适于用来实现本发明实施例的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。

需要说明的是，本申请公开的一种批量文件处理方法、装置及系统可用于人工智能技术领域，也可用于除人工智能技术领域之外的任意领域，本申请公开的一种批量文件处理方法、装置及系统的应用领域不做限定。

需要说明的是，在本申请的一个或多个实施例中，第一批量文件是指批量文件处理装置接受上游应用服务器传输的文件或者装置自身通过批量方式生产的第一批量文件，批量文件处理装置可根据第一批量文件生成第二批量文件，将第二批量文件传输给下游使用。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。本申请实施例提供的批量文件处理方法可接收上游应用服务器传输的第一批量文件；确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。本申请通过对第一批量文件的待处理记录条数的变化率进行监控确定可能存在问题的第一批量文件，将可能存在问题的第一批量文件进行数据校验，若校验通过，形成第二批量文件并发送至下游应用服务器进行正常处理，可避免对异常文件的校验需要人工介入而导致的业务延时或出错的问题，同时通过自动化的数据校验提高第一批量文件的检查效率和准确率。

图1是本申请实施例提供的批量文件处理系统的结构示意图，如图1所示，本申请实施例提供的批量文件处理系统包括上游应用服务器1、批量文件处理装置2和下游应用服务器3。

其中，所述批量文件处理装置2用于接收所述上游应用服务器1传输的第一批量文件，确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，将所述第二批量文件传输至所述下游应用服务器3进行处理。

下面以批量文件处理装置2作为执行主体为例，说明本申请实施例提供的批量文件处理方法的实现过程。可以理解的是，本申请实施例提供的批量文件处理方法的执行主体包括但不限于该批量文件处理装置2。

根据本申请的一个方面，本实施例公开了一种批量文件处理方法。如图2所示，本实施例中，所述方法包括：

S100：接收上游应用服务器传输的第一批量文件。

S200：确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数。

S300：确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

本申请对第一批量文件的待处理记录条数的变化率是否超过预设变化率阈值进行判定，若超过预设变化率阈值，则自动对第一批量文件进行数据校验，若校验通过，再将第一批量文件传输至下游应用服务器进行处理。因此，本申请通过对第一批量文件的待处理记录条数的变化率进行监控确定可能存在问题的第一批量文件，将可能存在问题的第一批量文件进行数据校验，若校验通过，形成第二批量文件并发送至下游应用服务器进行正常处理，可避免对异常文件的校验需要人工介入而导致的业务延时或出错的问题，同时通过自动化的数据校验提高第一批量文件的检查效率和准确率。

在可选的实施方式中，如图3所示，所述S200确定历史第一批量文件的历史待处理记录条数包括：

S210：提取所述第一批量文件的文件名。

S220：根据所述文件名获取当前时间之前预设时间段内的第一批量文件得到历史第一批量文件。

S230：确定所述历史第一批量文件的待处理记录条数得到历史待处理记录条数。

具体的，可以理解的是，本申请的批量文件处理装置可与上游应用服务器约定第一批量文件的文件名。则可根据当前第一批量文件的文件名获取文件名相同的历史第一批量文件，进而确定历史第一批量文件中的历史待处理记录条数。例如，对于文件名为APPNAME-FILENAME.BIN的第一批量文件，可从历史第一批量文件的处理数据中查找文件名为APPNAME-FILENAME.BIN的第一批量文件为历史第一批量文件。

可选的，历史第一批量文件可以为当前时间的前一天处理的第一批量文件。在实际应用中，历史第一批量文件也可选择其他时间处理的第一批量文件，本领域技术人员可根据实际情况设置，本申请对此并不作限定。

其中，确定第一批量文件的待处理记录条数以及确定历史第一批量文件的历史待处理记录条数的方法为本领域的常规技术手段，在此不再赘述。

所述批量文件处理装置可接收上游应用服务器发送的第一批量文件，对第一批量文件进行数据校验和数据处理等操作后将处理后的数据保存在批量文件处理装置，即批量文件处理装置可以从一台或多台上游应用服务器接收并处理一个或多个第一批量文件，将第一批量文件的数据重新加工之后保存到数据库，并按与下游应用服务器预先约定的文件格式生成第二批量文件后发送给下游应用服务器，下游应用服务器可根据需要使用第二批量文件。在具体例子中，第一批量文件的文件格式如表1所示。第二批量文件的文件格式与第一批量文件类似，可包括字段及对应的字段长度等信息，第一批量文件和第二批量文件的文件格式可与下游应用服务器预先约定得到。

表1

格式	字段1	长度1	字段2	长度2	字段3	长度3	字段4	长度4	字段N	长度N
											示例	50345	5	5	2	bbbb	4	010300	6	...	...

可选的，第一批量文件和第二批量文件中的数据可采用加密算法进行加密，以提升安全性，第一批量文件和第二批量文件在传输过程中采用压缩方式，以提升批量文件传输效率。

在可选的实施方式中，所述方法进一步包括在确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，之前的S000，如图4所示，所述S000包括：

S010：确定第一批量文件的文件名与预设变化率阈值的对应关系得到配置信息。

具体的，可以理解的是，可预先配置文件名与预设变化率阈值的对应关系，形成配置信息，则当批量文件处理装置接收到第一批量文件并确定第一批量文件的待处理记录条数后，可根据第一批量文件的文件名从配置信息中读取当前接收到的第一批量文件对应的预设变化率阈值，通过变化率阈值检测第一批量文件是否异常。

其中，需要说明的是，预设变化率阈值可以是增长率，该增长率是指当前第一批量文件的待处理记录条数相对于历史待处理记录条数的增加量与历史待处理记录条数的比；预设变化率阈值也可以是缩减率，该缩减率是指当前第一批量文件的待处理记录条数相对于历史待处理记录条数的减少量与历史待处理记录条数的比。预设变化率阈值优选的可设置为5％，当然，在实际应用中，变化率阈值也可根据实际情况设置，本申请对此并不作限定。

可选的，配置信息还可包括文件名对应的应用名、处理状态和处理批次等信息，如表2所示。其中，若校验不通过，可将处理状态置为0进行标记，若校验通过，可将处理状态置为1进行标记，处理批次可以按照处理过程对应的批次编号设置。配置信息中的至少部分信息可以通过预先配置得到，也可以在接收到上游应用服务器传输的第一批量文件后根据实际处理情况和第一批量文件的信息更新至配置信息中。

表2

文件名	应用名	增长率阈值(百分比)	处理状态	处理批次
					AAAA-BBBB-CCCC.txt	APP1	5	1	001
EEEE-FFFF-KKKK.txt	APP2	10	1	002

在可选的实施方式中，如图5所示，所述方法进一步包括：

S020：提取所述第一批量文件的文件名。

S030：根据所述文件名从预设的所述配置信息中确定所述第一批量文件的文件名对应的变化率阈值。

具体的，可以理解的是，在预设配置信息后，批量文件处理装置再接收到上游应用服务器传输的第一批量文件后，可解析得到第一批量文件的文件名，根据该文件名从预设配置信息中查找得到该文件名对应的变化率阈值。

在可选的实施方式中，如图6所示，所述方法进一步包括S400：

S410：若所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率未超过预设变化率阈值，存储所述第一批量文件。

S420：达到预设条件后根据存储的第一批量文件生成第二批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

具体的，可以理解的是，若第一批量文件的待处理记录条数相对于历史待处理记录条数的变化率未超过预设变化率阈值，表示第一批量文件与历史第一批量文件相比的变化不大，通常为正常的第一批量文件，第一批量文件校验通过，可根据存储的第一批量文件生成第二批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

在可选的实施方式中，如图7所示，所述S420达到预设条件后根据存储的第一批量文件生成第二批量文件具体包括：

S421：达到预设条件后根据预设下游文件规则提取所述第一批量文件中的下游文件特征对应的特征值。

S422：根据所述下游文件特征和对应的特征值根据所述下游文件规则生成第一批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

具体的，对于校验通过的第一批量文件，可先存储第一批量文件，然后对第一批量文件按照预先约定的文件格式进行字段及字段对应的数据的提取，对于提取的数据可按照批量文件处理装置中预设的格式以数据表的形式存储，可定期将存储的数据表中的数据按照下游应用服务器的文件格式生成第二批量文件，以便后续将第二批量文件发送至下游应用服务器进行处理。

可选的，批量文件处理装置可定时扫描是否存在需要处理的第一批量文件，可根据第一批量文件的处理时长等信息确定定时扫描的时间。并且，批量文件处理装置还可支持批量文件的并行处理，例如可同时处理文件名为AAAA-BBBB-CCCC.txt和EEEE-FFFF-KKKK.txt的第一批量文件。

在可选的实施方式中，所述预设条件为每隔预设时间间隔或存储的所有第一批量文件的文件大小达到预设数值。当然，在实际应用中，也可根据实际需求设置预设条件，本申请对此并不作限定。

在可选的实施方式中，如图8所示，所述S300基于预设规则对所述第一批量文件进行数据校验具体包括：

S310：基于预设规则提取所述第一批量文件中的每个待处理记录的待校验字段和字段属性。

S320：根据所述待校验字段和所述字段属性在校验数据库中查询得到查询结果。

S330：若存在查询结果，则对应的待处理记录校验通过，若不存在查询结果，则对应的待处理记录校验不通过。

具体的，可以理解的是，对于超过变化率阈值的第一批量文件，需要进一步对第一批量文件中的待处理记录进行逐条的数据检验，确定第一批量文件中是否存在异常的待处理记录，导致第一批量文件的待处理记录的条数超过了预设变化率阈值。

批量文件处理装置可直接对第一批量文件进行校验，按照预设规则提取第一批量文件中的待处理记录的待校验字段，并提取对应的字段属性。其中，预设规则可以根据历史第一批量文件的正常待处理记录确定。例如，表3中记载多个数据记录，数据记录包括根据正常的历史第一批量文件可得到待校验字段1和对应字段属性，字段属性包括场景、字段2、字段3、字段4…字段n。其中，由于场景这个属性的不同，被校验的字段1的数据具有不同的范围或值，而被校验的字段1的数值在不同的范围或值时对应的字段2、字段3、字段4…字段n也不同。从而，根据表3对应的预设规则可提取第一批量文件的待处理记录的待校验字段和字段属性。将提取得到的待校验的待处理记录中的被校验的字段1的数值和属性的属性值在数据库中查询，即在数据库的表3中查询是否存在对应相符的数据记录得到查询结果，若存在查询结果，即存在相符的数据记录，则表示待处理记录为历史出现过且正常的，可以直接用于形成第二批量文件。若不存在查询结果，即不存在相符的数据记录，则表示待处理记录在历史处理过程中并未出现过，很可能是异常的记录，则待处理记录校验不通过。

表3

在其他可选的实施方式中，可单独设置数据校验服务器对第一批量文件进行校验，该数据校验服务器可以接收批量文件处理装置传输的第一批量文件待处理记录的待校验字段和字段属性。将提取得到的待校验的待处理记录中的待校验字段1的数值和属性的属性值在数据库中查询，若存在查询结果，即存在相符的数据记录，则表示待处理记录为历史出现过且正常的，可以直接用于形成第二批量文件。若不存在查询结果，即不存在相符的数据记录，则表示待处理记录在历史处理过程中并未出现过，很可能是异常的记录，则待处理记录校验不通过。

在可选的实施方式中，如图9所示，所述方法进一步包括：

S500：将存在校验不通过的待处理记录，基于校验通过的待处理记录形成第一批量文件，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

具体的，本申请对于存在校验不通过的待处理记录的第一批量文件，不会整体拦截，等待人工处理，而是将第一批量文件中校验不通过的待处理记录单独存储等待人工处理，对于校验通过的待处理记录，可直接用于生成第二批量文件，及时传输至下游应用服务器。

下面通过一个具体例子来对本申请作进一步的说明。以文件名为APPNAME-FILENAME.BIN的第一批量文件为例进行说明：

步骤S301：在开始处理第一批量文件前，需预先定义1个或多个上游应用服务器传输的第一批量文件的文件格式，并配置每个文件的增长率等信息，例如包含文件名、应用名、增长率阈值、处理状态和批次信息。

假设第一批量文件APPNAME-FILENAME.BIN的参数如表4所示，批量文件处理装置需要处理从上游应用服务器接收的APPNAME-FILENAME.BIN文件，文件的应用来源为F-APP，当前处理的第一批量文件的待处理记录条数相对上一日处理该第一批量文件的待处理记录条数增加或减少的百分比，若大于5％或小于负5％，则触发变化率阈值，处理状态为1说明此第一批量文件是正常的，处理批次是001。

表4

步骤S302：批量文件处理装置接收上游应用服务器发送的一个或多个第一批量文件，第一批量文件按与下游应用服务器约定好的规则，定义需要处理的字段，假设APPNAME-FILENAME.BIN文件的数据格式存在四个字段，分别为字段1、字段2、字段3和字段4，每个字段以逗号隔开，字段1是需要在数据校验服务器3查询关联的字段，字段1可以作为文件的主键，或字段1与其它字段组成主键，假设需要处理的部分数据如下所示：

625678,6,abcd,010101

985678,6,efgh,020301

批量文件处理装置对接收到的APPNAME-FILENAME.BIN文件进行完整性检查后计算其待处理记录条数，然后获取上日该第一批量文件的待处理记录条数，最后计算APPNAME-FILENAME.BIN文件待处理记录条数的增长率，若超过变化率阈值5％，则将当前的待处理记录的待校验字段和对应的属性的数值组装成报文发送给数据校验服务器；否则，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

步骤S303：数据校验服务器接收批量文件处理装置发送的超过变化率阀值的需要校验的数据，如表5所示，数据校验服务器获取报文中字段1(例如625678)的数据作为输入条件，在本地数据库或文件系统中查询存储的原始数据，若查询到对应数据，则再匹配字段2(例如6)、字段3(例如abcd)和字段4(例如010101)信息，或按实际情况只匹配其它部分字段信息，匹配通过说明校验成功，若查询到对应数据但其它属性错误，则当前数据的属性为可疑，数据校验不通过。在该实施例中，对于属性的属性值异常的待处理记录，需更新修改属性的属性值，可将修改后的待处理记录与校验通过的待处理记录一同生成第二批量文件。

步骤S304：批量文件处理装置完成一个或多个第一批量文件(如APPNAME-FILENAME.BIN)的数据校验后，备份上一次处理APPNAME-FILENAME.BIN的数据，若存在多个第一批量文件，需备份其它第一批量文件的数据，然后对一个或多个第一批量文件中标记为“成功”或“可疑”的数据加工处理后，插入或更新到批量文件处理装置的数据库中，将并导入数据库的记录的批量处理时间修改为当前批量处理时间，即导入的待处理记录为自动化校验通过、可使用的有效数据。

步骤S305：批量文件处理装置完成所有第一批量文件的数据入库后，检查批量文件处理装置数据库中的记录，若存在记录的处理时间为当天批量的处理时间，说明当前记录为最新数据，并根据当天批量日期按上下游应用约定的数据格式重新生成第二批量文件给下游使用。

基于相同原理，本申请还公开了一种批量文件处理装置。如图10所示，所述装置包括文件接收处理单元11、数据加载处理单元12和文件生成处理单元13。

其中，文件接收处理单元11用于接收上游应用服务器传输的第一批量文件；

数据加载处理单元12用于确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；

文件生成处理单元13用于确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

由于该装置解决问题的原理与以上方法类似，因此本装置的实施可以参见方法的实施，在此不再赘述。

本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的由客户端执行的方法，或者，所述处理器执行所述程序时实现如上所述的由服务器执行的方法。

下面参考图11，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。

如图11所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种批量文件处理方法，其特征在于，包括：

接收上游应用服务器传输的第一批量文件；

确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；

确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

2.根据权利要求1所述的批量文件处理方法，其特征在于，所述确定历史第一批量文件的历史待处理记录条数包括：

提取所述第一批量文件的文件名；

根据所述文件名获取当前时间之前预设时间段内的第一批量文件得到历史第一批量文件；

确定所述历史第一批量文件的待处理记录条数得到历史待处理记录条数。

3.根据权利要求1所述的批量文件处理方法，其特征在于，进一步在确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，之前：

确定第一批量文件的文件名与预设变化率阈值的对应关系得到配置信息。

4.根据权利要求3所述的批量文件处理方法，其特征在于，进一步包括：

提取所述第一批量文件的文件名；

根据所述文件名从预设的所述配置信息中确定所述第一批量文件的文件名对应的变化率阈值。

5.根据权利要求1所述的批量文件处理方法，其特征在于，

若所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率未超过预设变化率阈值，存储所述第一批量文件；

达到预设条件后根据存储的第一批量文件生成第二批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

6.根据权利要求5所述的批量文件处理方法，其特征在于，所述达到预设条件后根据存储的第一批量文件生成第二批量文件具体包括：

达到预设条件后根据预设下游文件规则提取所述第一批量文件中的下游文件特征对应的特征值；

根据所述下游文件特征和对应的特征值根据所述下游文件规则生成第一批量文件，将所述第二批量文件传输至所述下游应用服务器进行处理。

7.根据权利要求5所述的批量文件处理方法，其特征在于，所述预设条件为每隔预设时间间隔或存储的所有第一批量文件的文件大小达到预设数值。

8.根据权利要求1所述的批量文件处理方法，其特征在于，所述基于预设规则对所述第一批量文件进行数据校验具体包括：

基于预设规则提取所述第一批量文件中的每个待处理记录的待校验字段和字段属性；

根据所述待校验字段和所述字段属性在校验数据库中查询得到查询结果；

若存在查询结果，则对应的待处理记录校验通过，若不存在查询结果，则对应的待处理记录校验不通过。

9.根据权利要求8所述的批量文件处理方法，其特征在于，进一步包括：

将存在校验不通过的待处理记录，基于校验通过的待处理记录形成第一批量文件，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

10.一种批量文件处理装置，其特征在于，包括：

文件接收处理单元，用于接收上游应用服务器传输的第一批量文件；

数据加载处理单元，用于确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；

文件生成处理单元，用于确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

11.一种批量文件处理系统，其特征在于，包括上游应用服务器、批量文件处理装置和下游应用服务器；

所述批量文件处理装置用于接收上游应用服务器传输的第一批量文件；确定所述第一批量文件中待处理记录的待处理记录条数，确定历史第一批量文件的历史待处理记录条数；确定所述第一批量文件的所述待处理记录条数相对于所述历史待处理记录条数的变化率是否超过预设变化率阈值，若是，基于预设规则对所述第一批量文件进行数据校验，若校验通过，根据所述第一批量文件形成第二批量文件并传输至下游应用服务器。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一所述方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。

Images