CN115118773B - 数据文件推送方法、服务器和计算机可读存储介质 - Google Patents

Abstract

本申请实施例提出一种数据文件推送方法、服务器和计算机可读存储介质，涉及通信技术领域。待推送服务器按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；其中，待推送数据文件由推送服务器按照第二预设时长从第一数据库中存储的数据中获取待推送数据，根据待推送数据生成，并将待推送数据文件发送至缓存服务器，由缓存服务器进行存储；待推送服务器将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，以便缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件，以减少推送服务器在推送数据时的等待时间，因此提高了推送效率。

Description

数据文件推送方法、服务器和计算机可读存储介质

技术领域

本申请涉及通信技术领域，具体而言，涉及一种数据文件推送方法、服务器和计算机可读存储介质。

背景技术

目前，一般可通过电力应用系统对电力AMI(Advanced MeteringInfrastructure，高级计量架构)系统采集的数据进行集成和分析，例如电力MDM(MeterData Management，主数据管理)系统，可根据电力AMI系统采集的数据进行用户账单核算、报表统计等。因此，在应用过程中，电力AMI系统往往需要首先将数据推送至该电力应用系统。

现有技术中，由于电力数据采集时具有海量、高频特点，因此电力AMI系统需要进行多次推送才能完成当前的数据推送任务，而电力AMI系统每次推送都需要等待电力应用系统处理完本次推送的数据并获得处理结果后，再进行下一次的推送，因此存在推送效率低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据文件推送方法、服务器和计算机可读存储介质，以减少推送服务器在推送数据时的等待时间，因此提高了推送效率。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请提供一种数据文件推送方法，应用于待推送服务器，所述待推送服务器与缓存服务器通信连接，所述缓存服务器与至少一个推送服务器通信连接，所述推送服务器中设置有第一数据库，所述方法包括：

按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；

所述待推送数据文件由所述推送服务器按照第二预设时长从所述第一数据库中存储的数据中获取待推送数据，根据所述待推送数据生成，并将所述待推送数据文件发送至所述缓存服务器，由所述缓存服务器进行存储；

将所述待下载数据文件下载至本地文件夹，并在所述待下载数据文件下载成功的情况下，向所述缓存服务器发送删除指令，以便所述缓存服务器根据所述删除指令从多个所述待推送数据文件中删除所述待下载数据文件。

在可选的实施方式中，所述按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，包括：

按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中，查找文件名不包括锁定标识的目标待推送数据文件，并将所述目标待推送数据文件确定为所述待下载数据文件；

所述锁定标识为所述推送服务器在将所述待推送数据进行合并，生成所述待推送数据文件，并根据所述待推送数据的属性信息，生成所述待推送数据文件的文件名之后，在所述待推送数据文件的文件名中进行添加，将所述待推送数据文件发送至所述缓存服务器，并在所述待推送数据文件发送完成的情况下，向所述缓存服务器发送锁定标识删除指令，由所述缓存服务器根据所述标识删除指令将所述待推送数据文件的文件名中的锁定标识进行删除。

在可选的实施方式中，所述待推送服务器中设置有第二数据库，所述方法还包括：

按照第三预设时长从所述本地文件夹存储的数据文件中获取预设数量的待处理数据文件；

分别对每个所述待处理数据文件进行数据处理，获得所述待处理数据文件对应的结果数据；

将所述结果数据存储至所述第二数据库中，并对处理完毕的所述待处理数据文件进行压缩处理，获得所述待处理数据文件对应的压缩数据文件；

将所述压缩数据文件存储至本地备份文件夹，并在所述本地文件夹中删除对应的所述待处理数据文件。

在可选的实施方式中，每个所述待处理数据文件中存储有多个数据，所述分别对每个所述待处理数据文件进行数据处理，获得所述待处理数据文件对应的结果数据，包括：

将全部所述待处理数据文件添加至线程池中，并在所述本地文件夹中为全部所述待处理数据文件的文件名添加处理标识；

分别针对每个所述待处理数据文件中的每个数据进行数据处理，获得所述待处理数据文件中每个数据对应的结果数据。

在可选的实施方式中，所述方法还包括：

在重启的情况下，若所述本地文件夹存储的多个数据文件中，存在文件名中包含有处理标识的目标数据文件，则获取所述目标数据文件；将所述目标数据文件作为待处理数据文件添加至线程池中进行数据处理。

第二方面，本申请提供一种数据文件推送方法，应用于推送服务器，所述推送服务器与缓存服务器通信连接，所述缓存服务器与待推送服务器通信连接，所述推送服务器中设置有第一数据库，所述方法包括：

按照第二预设时长从所述第一数据库存储的数据中获取待推送数据；

根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器，以便所述缓存服务器对所述待推送数据文件进行存储，以及所述待推送服务器按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，将所述待下载数据文件下载至本地文件夹，并在所述待下载数据文件下载成功的情况下，向所述缓存服务器发送删除指令，由所述缓存服务器根据所述删除指令从多个所述待推送数据文件中删除所述待下载数据文件。

在可选的实施方式中，所述根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器，包括：

将所述待推送数据进行合并，生成所述待推送数据文件，并根据所述待推送数据的属性信息，生成所述待推送数据文件的文件名；

在所述待推送数据文件的文件名中添加锁定标识，并将所述待推送数据文件发送至所述缓存服务器，以便所述缓存服务器对所述待推送数据文件进行存储；

在所述待推送数据文件发送完成的情况下，向所述缓存服务器发送锁定标识删除指令，以便所述缓存服务器根据所述标识删除指令将所述待推送数据文件的文件名中的锁定标识进行删除。

在可选的实施方式中，所述从所述第一数据库存储的数据中获取待推送数据，包括：

每次从所述第一数据库存储的数据中获取预设数据大小的待推送数据；

在根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器之后，若所述第一数据库中存在未发送的待推送数据，则继续从所述第一数据库中获取预设数据大小的新的待推送数据。

第三方面，本申请提供一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法，或者前述实施方式任一所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法，或者前述实施方式任一所述的方法。

本申请实施例提供的数据文件推送方法、服务器和计算机可读存储介质，通过推送服务器将待推送数据文件发送至缓存服务器，由缓存服务器进行保存，待推送服务器从缓存服务器中下载待下载文件，从而使得推送服务器无需在待推送服务器处理完本次推送的数据并返回成功信号之后再进行下一次发送，减少了推送服务器在推送数据时的等待时间，因此提高了推送效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请数据文件推送系统的方框示意图；

图2示出了本申请实施例提供的服务器的方框示意图；

图3示出了本申请实施例提供的应用于待推送服务器的数据文件推送方法的一种流程示意图；

图4示出了本申请实施例提供的应用于待推送服务器的数据文件推送方法的另一种流程示意图；

图5示出了本申请实施例提供的应用于待推送服务器的数据文件推送方法的另一种流程示意图；

图6示出了本申请实施例提供的应用于推送服务器的数据文件推送方法的一种流程示意图；

图7示出了本申请实施例提供的应用于推送服务器的数据文件推送方法的另一种流程示意图；

图8示出了本申请实施例提供的应用于待推送服务器的数据文件推送装置的一种功能模块图；

图9示出了本申请实施例提供的应用于待推送服务器的数据文件推送装置的另一种功能模块图；

图10示出了本申请实施例提供的应用于推送服务器的数据文件推送装置的一种功能模块图。

图标：10-数据文件推送系统；100-待推送服务器；110-缓存服务器；120-推送服务器；200-存储器；210-处理器；220-通信模块；300-确定模块；310-下载模块；320-处理模块；400-获取模块；410-发送模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，一般可通过电力应用系统对电力AMI系统采集的数据进行集成和分析，例如电力MDM(Meter Data Management，主数据管理)系统，该系统可用于集成和管理不同厂家的AMI系统的数据，统一管理用户及设备信息，并对用电数据进行统一的检测、分析和管理，包括根据电力AMI系统采集的数据进行用户账单核算、线损分析、报表统计等。因此电力应用系统需要保证高效集成电力AMI系统推送的数据，并根据该数据进行处理，在此基础上，电力AMI系统需要首先将采集的数据发送到电力应用系统中。

现有技术中，电力AMI系统可通过接口向电力应用系统推送电力数据，电力应用系统接收该电力数据并进行处理，获得处理结果。基于此，现有技术中主要存在以下问题：

1.由于电力数据采集时具有海量、高频特点，因此电力AMI系统需要进行多次推送才能完成当前的数据推送任务，而电力AMI系统每次推送都需要等待电力应用系统处理完本次推送的数据并获得结果后，再进行下一次的推送，因此存在推送效率低的问题。

2.对于一个电力应用系统而言，其可以与多个电力AMI系统建立通信连接，在此情况下，由于数据推送是一个高频、高量、非线性的过程，因此会导致该电力应用系统处理数据的速度跟不上接收数据的速度，从而容易造成系统故障、内存溢出、数据丢失等问题。

3.电力应用系统中往往存在没有对接收到的电力AMI系统推送的数据进行备份，或备份的数据不完整的问题，因此当出现系统异常时无法及时进行数据恢复。

基于此，本申请实施例提供一种数据文件推送方法，以解决以上问题。

请参见图1,为数据文件推送系统10的方框示意图，该数据文件推送系统10包括待推送服务器100、缓存服务器110以及至少一个推送服务器120，且该待推送服务器100与缓存服务器110通信连接，该缓存服务器110与该推送服务器120通信连接。

可选地，该待推送服务器100上可设置有电力应用系统，例如电力MDM系统，用于从缓存服务器110中下载待下载数据文件，并进行数据处理；该缓存服务器110可以是FTP(File Transfer Protocol，文件传输协议)服务器，用于接收推送服务器120发送的数据文件并对其进行存储。

可选地，该推送服务器120上可以设置有电力AMI系统，用于对用户的电力数据进行采集，且该推送服务器上设置有第一数据库，可以理解的，该推送服务器120可将采集到的电力数据存储至该第一数据库。

可选地，请参照图2，是本申请实施例提供的服务器的方框示意图。该服务器可以是上述的待推送服务器100，也可以是缓存服务器110，还可以是上述推送服务器120。所述服务器包括存储器200、处理器210及通信模块220。所述存储器200、处理器210以及通信模块220各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器200用于存储程序或者数据。所述存储器200可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器210用于读/写存储器中存储的数据或程序，并执行相应地功能。

通信模块220用于通过所述网络建立所述服务器与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图2所示的结构仅为服务器的结构示意图，所述服务器还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

可选地，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现本申请实施例提供的数据文件推送方法。

接下来以上述图1中的待推送服务器100作为执行主体，结合流程图对本申请实施例提供的数据文件推送方法进行详细介绍。具体的，图3为本申请实施例提供的数据文件推送方法的一种流程示意图，请参见图3，该方法包括：

步骤S20，按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；

待推送数据文件由推送服务器按照第二预设时长从第一数据库中存储的数据中获取待推送数据，根据待推送数据生成，并将待推送数据文件发送至缓存服务器，由缓存服务器进行存储；

可选地，该第一预设时长为根据实际下载需求进行设置，并存储至待推送服务器的时长；该待推送数据文件为推送服务器发送至缓存服务器并存储的数据文件；该待下载数据文件为从缓存服务器中存储的多个待推送数据文件中确定的，当前需要下载至待推送服务器中进行数据处理的数据文件。

可选地，该待推送数据文件可以是用电数据文件。

可选地，若数据文件推送系统中包括多个推送服务器，则该缓存服务器可分别获得来自多个推送服务器发送的数据文件，在此基础上，该缓存服务器中可以设置有多个文件夹，每个文件夹对应一个推送服务器，用于存储对应的推送服务器发送的待推送数据文件。

可选地，推送服务器在发送待推送数据文件时，可在该待推送数据文件中设置对应的时间信息、来源信息以及数据类型信息，例如推送时间、推送该待推送数据文件的推送服务器信息，以及该待推送数据文件中所包含的数据类型。在此基础上，缓存服务器可将根据来源信息将各待推送数据文件存储至对应的文件夹中。

可选地，待推送服务器可分别从缓存服务器中的每一个文件夹存储的多个待推送数据文件中，确定待下载数据文件。

可选地，该第二预设时长为根据实际推送需求进行设置，并事先存储至推送服务器中的时长，若数据文件推送系统中包括多个推送服务器，则对于每个推送服务器而言，该第二预设时长可以一致，也可以不一致。

在本实施例中，推送服务器可按照第二预设时长，从第一数据库中存储的数据中存储的数据中获取待推送数据，并根据该待推送数据生成待推送数据文件，并将该待推送文件发送至缓存服务器，由缓存服务器对待推送数据文件进行存储。可以理解的，该缓存服务器中会存储有多个待推送数据文件，之后，待推送服务器可按照第一预设时长从该缓存服务器中存储的多个待推送给数据文件中确定待下载数据文件。

步骤S21，将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，以便缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件。

可选地，该本地文件夹为设置于该待推送服务器中的文件夹。在一种可能实现的方式中，该本地文件夹也可以是多个，其中每个本地文件夹对应一个推送服务器。

可以理解的，待推送服务器可将各个待下载数据文件按照对应的推送服务器，下载至对应的本地文件夹中。

可选地，该删除指令为待推送服务器发送给缓存服务器，用于指示缓存服务器删除对应的待下载数据文件的指令。可以理解地，该删除指令中携带有对应的待下载数据文件的文件信息，例如文件名等。

在本实施例中，为了减少缓存服务器的数据存储压力，提高缓存服务器的性能，同时避免待推送服务器重复获取数据文件，待推送服务器可在确定待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，则该缓存服务器则可根据该删除指令删除对应的待下载数据文件。显然地，该缓存服务器中存储的仅为待推送服务器需要进行下载并处理的数据文件。

本申请实施例提供的数据文件推送方法，由待推送服务器按照第一预设时长从缓存服务器中存储的多个待推送数据中确定待下载数据文件，其中，该待推送数据文件由推送服务器按照第二预设时长从第一数据库中存储的数据中获取待推送数据，根据该待推送数据生成，并将该待推送数据文件发送至缓存服务器，由缓存服务器进行存储；之后该待推送服务器将该待下载数据文件下载至本地文件夹，并在该待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，以便缓存服务器根据该删除指令从多个待推送数据文件中删除该待下载数据文件。通过推送服务器将待推送数据文件发送至缓存服务器，由缓存服务器进行保存，待推送服务器从缓存服务器中下载待下载文件，从而使得推送服务器无需在待推送服务器处理完本次推送的数据并返回成功信号之后再进行下一次发送，减少了推送服务器在推送数据时的等待时间，因此提高了推送效率。

此外，由于多个推送服务器均可将待推送数据文件发送至缓存服务器，而待推送数据文件仅按照第一预设时长从该缓存服务器中获取相应的待下载数据文件即可，因此可避免待推送服务器处理数据的速度无法跟上接收数据的速度，从而导致的系统故障、内存溢出、数据丢失等问题。

可选地，推送服务器在发送待推送数据文件时往往存在一定的发送时长，在该时长内，缓存服务器中存储的该待推送数据文件实际上为不完整的数据文件，因此，为了避免待推送服务器将缓存服务器中没有下载完全的数据文件下载，从而导致数据丢失，可为正在处于发送状态的数据文件设置锁定标识，用于表征该文件在此时为不完整的数据文件，从而避免待推送数据库对其进行下载。具体的，上述步骤S20，还可以通过以下步骤实现：

按照第一预设时长从缓存服务器中存储的多个待推送数据文件中，查找文件名不包括锁定标识的目标待推送数据文件，并将目标待推送数据文件确定为待下载数据文件；

锁定标识为推送服务器在将待推送数据进行合并，生成待推送数据文件，并根据待推送数据的属性信息，生成待推送数据文件的文件名之后，在待推送数据文件的文件名中进行添加，将待推送数据文件发送至缓存服务器，并在待推送数据文件发送完成的情况下，向缓存服务器发送锁定标识删除指令，由缓存服务器根据标识删除指令将待推送数据文件的文件名中的锁定标识进行删除。

可选地，该锁定标识可以是设置在待推送数据文件的文件名中的标识，例如lock等；该目标待推送数据文件为缓存服务器中下载完全，且需要被待推送服务器下载并处理的待推送数据文件。在本实施例中，该目标待推送数据文件为缓存服务器中存储的多个待推送数据文件中，文件名中不包括该锁定标识的待推送数据文件。可选地，该锁定标识删除指令为推送服务器发送至缓存服务器，用于指示缓存服务器将对应的待推送数据文件的文件名中的锁定标识进行删除。可以理解的，该锁定标识删除指令中携带有该对应的待推送数据文件的文件信息，例如文件名信息。

在本实施例中，当推送服务器在生成待推送数据文件，以及该待推送数据文件的文件名之后，先在该待推送数据文件的文件名中添加该锁定标识，之后再将文件名中添加了锁定标识的待推送数据文件发送至缓存服务器。

可以理解地，缓存服务器可将该待推送数据文件存储至相应的文件夹中，且此时该待推送数据文件的文件名中包含锁定标识，当推送服务器确定该待推送数据文件发送完成之后，则向缓存服务器发送锁定标识删除指令，该缓存服务器可根据该锁定标识删除指令将对应的待推送数据文件的文件名中的锁定标识进行删除。

可以理解的，该缓存服务器中存储的待推送数据文件中，文件名不包括锁定标识的待推送数据文件，即为下载完全的数据文件。由于该缓存服务器中存储的仅为待推送服务器需要进行下载并处理的数据文件，因此，文件名不包括锁定标识的待推送数据文件即为待推送服务器需要下载的目标待推送数据文件。

可选地，待推送服务器在对待下载数据文件进行下载后，还需要对该待下载数据文件进行处理，获得结果数据，因此，该待推送服务器中可设置有第二数据库，用于存储获得的结果数据。具体的，在图3的基础上，图4为本申请实施例提供的数据文件推送方法的另一种流程示意图，请参见图4，该方法还包括：

步骤S10，按照第三预设时长从本地文件夹存储的数据文件中获取预设数量的待处理数据文件；

可选地，该第三预设时长可以是根据业务需求进行设置的，存储在该待推送服务器中的时长；该预设数量为根据业务需求确定的，待推送服务器每次需要进行处理的数据文件的数量，该预设数量可事先根据相应的业务需求进行确定，并设置在该待推送服务器中。

在本实施例中，该待推送服务器可按照第三预设时长，从本地文件夹中存储的多个数据文件中获取预设数量的待处理数据文件。

可选地，若该待推送服务器中包括多个本地文件夹，则可分别从每个本地文件夹中，按照各个数据文件的推送时间信息获取相应的待处理数据文件。

步骤S11，分别对每个待处理数据文件进行数据处理，获得待处理数据文件对应的结果数据；

步骤S12，将结果数据存储至第二数据库中，并对处理完毕的待处理数据文件进行压缩处理，获得待处理数据文件对应的压缩数据文件；步骤S13，将压缩数据文件存储至本地备份文件夹，并在本地文件夹中删除对应的待处理数据文件。

在本实施例中，待推送服务器可分别对每个待处理数据文件进行数据处理，获得相应的待处理数据文件对应的结果数据，并将获得的结果数据存储至第二数据库。

可选地，考虑到待推送服务器的内存压力问题，以及需要对推送服务器发送的推送文件进行备份，以便出现待推送服务器或推送服务器的系统异常时，根据该备份文件进行相应的数据恢复，可在对待处理数据文件处理完成并获得结果数据后，可将该待处理数据文件进行压缩，获得压缩数据文件，并将该压缩数据文件存储至本地的备份文件夹，同时删除本地文件夹中的相应待处理数据文件。

可以理解地，待推送服务器的本地文件夹中仅存储有需要进行数据处理的数据文件，则可减少待推送服务器在按照第三预设时长从本地文件夹中获取待处理数据文件的查找工作量，进而提高数据处理效率。

此外，将本地文件夹中的数据文件删除，并将其以压缩数据文件的形式存储至本地备份文件夹，可减轻待推送服务器的内存压力，同时实现对数据文件的完整备份。

可选地，对于每个待处理数据文件而言，其中存储有多个数据，因此需要分别针对每个数据进行处理，在此基础上，为了提升数据的处理效率，可设置线程池，通过多个线程对预设数量的待处理数据文件进行并发处理。具体的，在图4的基础上，图5为本申请实施例提供的数据文件推送方法的另一种流程示意图，请参见图5，上述步骤S11还可以通过以下步骤实现：

步骤S11-1，将全部待处理数据文件添加至线程池中，并在本地文件夹中为全部待处理数据文件的文件名添加处理标识；

可选地，该线程池可事先设置在待推送服务器中，可根据业务需求为该线程池配置线程数，从而实现对预设数量的待处理数据文件的并发处理。

可选地，在将全部的待处理数据文件添加到线程池后，还可将在本地文件夹中的全部待处理数据文件的文件名添加处理标识，例如“processing”，用于表征该待处理数据文件正在处于处理状态。

步骤S11-2，分别针对每个待处理数据文件中的每个数据进行数据处理，获得待处理数据文件中每个数据对应的结果数据。

可选地，待推送服务器可对预设数量的待处理数据文件进行并发处理，即分别对每个待处理数据文件进行处理。其中，对于一个待处理数据文件而言，其中所包含的每个数据均可被处理，从而获得相应的结果数据。

可以理解地，待推送服务器在对任意一个待处理数据文件进行处理后，可获得该待处理数据文件中的每个数据所对应的结果数据。

可选地，在一些情况下，待推送服务器还会存在突然掉线或系统故障等问题，此时若该待推送服务器正在处理数据，则可能会由于程序宕机丢失当前正在处理的数据的记录或处理结果，造成数据丢失的问题。为了解决该问题，可设置待推送服务器在重启的情况下进行相应的初始化处理，从而确定在该待推送服务器出现故障时是否存在正在进行处理的数据文件，并继续对该数据文件进行处理。具体的，在图5的基础上，该方法还包括：

在重启的情况下，若本地文件夹存储的多个数据文件中，存在文件名中包含有处理标识的目标数据文件，则获取目标数据文件；将目标数据文件作为待处理数据文件添加至线程池中进行数据处理。

可选地，该目标数据文件为待推送服务器在重启之前正在进行处理的数据文件，因此为了防止数据丢失，该待推送服务器可重新将该目标数据文件作为待处理数据文件添加到线程池中，对其进行数据处理从而获得对应的结果数据。

在本实施例中，待推送服务器可在自身重启的情况下，首先去本地文件夹中查找是否存在文件名中包含有处理标识的目标数据文件，若存在，则将该目标数据文件作为待处理数据文件进行处理，从而可避免因系统故障等造成的数据丢失问题。

接下来以上述图1中的推送服务器120作为执行主体，结合流程图对本申请实施例提供的数据文件推送方法进行详细介绍。具体的，图6为本申请实施例提供的数据文件推送方法的一种流程示意图，请参见图6，该方法包括：

步骤S30，按照第二预设时长从第一数据库存储的数据中获取待推送数据；

可选地，该第一数据库中存储有该推送服务器所采集的数据，则该推送服务器可从该第一数据库中确定当前需要进行推送的待推送数据。在一种可能实现的方式中，推送服务器可根据数据的生成时间、数据类型等数据信息从该第一数据库中确定当前需要进行推送的待推送数据。可选地，该待推送数据为当前的推送业务需求对应的待推送数据。

步骤S31，根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器，以便缓存服务器对待推送数据文件进行存储，以及待推送服务器按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，由缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件。

可选地，该推送服务器可根据待推送数据生成对应的待推送数据文件，并将该待推送数据文件发送至缓存服务器。

在本实施例中，缓存服务器可将接收到的待推送数据文件进行存储，该待推送服务器可按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，并将其下载至本地文件夹，之后向缓存服务器发送删除指令，以使该缓存服务器删除对应的待下载数据文件。

本申请实施例提供的数据文件推送方法，由推送服务器按照第二预设时长从第一数据库存储的数据中获取待推送数据，并根据该待推送数据生成待推送数据文件，发送至缓存服务器，之后由缓存服务器对该待推送数据文件进行存储，并由待推送服务器按照第一预设时长从该缓存服务器中存储的多个待推送数据文件中确定待下载数据文件并进行下载，在下载成功的情况下向缓存服务器发送删除指令，由缓存服务器删除相应的待下载数据文件。通过推送服务器将待推送数据文件发送至缓存服务器，由缓存服务器进行保存，待推送服务器从缓存服务器中下载待下载文件，从而使得推送服务器无需在待推送服务器处理完本次推送的数据并返回成功信号之后再进行下一次发送，减少了推送服务器在推送数据时的等待时间，因此提高了推送效率。

可选地，请参见图7，上述步骤S30中的根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器，还可以通过以下步骤实现：

步骤S31-1，将待推送数据进行合并，生成待推送数据文件，并根据待推送数据的属性信息，生成待推送数据文件的文件名；

可选地，推送服务器可将获得的待推送数据进行合并，从而生成待推送数据文件，在一种可能实现的方式中，该待推送数据文件可以是TXT格式的文件。

可选地，该属性信息可以包括待推送数据的类型信息、来源信息以及推送时间等信息。

可选地，推送服务器在生成相应的待推送数据文件后，还可以根据推送数据的属性信息生成待推送数据文件的文件名。

步骤S31-2，在待推送数据文件的文件名中添加锁定标识，并将待推送数据文件发送至缓存服务器，以便缓存服务器对待推送数据文件进行存储；

步骤S31-3，在待推送数据文件发送完成的情况下，向缓存服务器发送锁定标识删除指令，以便缓存服务器根据标识删除指令将待推送数据文件的文件名中的锁定标识进行删除。

可选地，推送服务器可以在生成待推送数据文件的文件名之后，先在该文件名中添加锁定标识，之后再将文件名中添加有锁定标识的待推送数据文件发送给缓存服务器进行缓存。

可选地，推送服务器可以在待推送数据文件发送完成的情况下，向缓存服务器发送锁定标识删除指令，该缓存服务器可根据该锁定标识删除指令将对应的待推送数据文件的文件名中的锁定标识进行删除。

可选地，由于推送服务器需要推送大量的数据，因此为了缓解推送服务器的推送压力，可将当前的推送任务分为多次进行，每次发送预设数量的推送数据，具体的，在图6的基础上，上述步骤S30中的从第一数据库存储的数据中获取待推送数据，还可以通过以下步骤实现：

每次从第一数据库存储的数据中获取预设数据大小的待推送数据；在根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器之后，若第一数据库中存在未发送的待推送数据，则继续从第一数据库中获取预设数据大小的新的待推送数据。

可选地，该预设数据大小可以事先根据实际情况设置在推送服务器中。

在本实施例中，可通过分页查询的方式每次从第一数据库中获取预设数据大小的待推送数据，可以理解的，该预设数据大小的待推送数据为当前的推送业务需求对应的待推送数据中的一部分，即，为本次需要根据其生成待推送数据文件，并发送给缓存服务器的数据。

可选地，在获得该预设数量大小的待推送数据后，可根据预设数据大小的待推送数据生成待推送数据文件，并将该待推送数据文件发送给缓存服务器，在确定该待推送数据文件成功发送的情况下，确定第一数据库中是否还存在未发送的待推送数据，若存在，则继续从第一数据库中获取预设数据大小的新的待推送数据，根据其生成新的待推送数据文件。

可选地，为了避免待推送数据丢失，可设置推送游标，在此基础上，推送服务器可在每次获取到预设数据大小的待推送数据，根据其生成待推送数据文件并成功发送到缓存服务器之后，将该推送游标定位到下一次需要进行分页查询的第一个数据，因此即使推送服务器在推送过程中出现故障，也能够保证待推送数据不丢失。

可选地，推送服务器可通过判断已经发送的待推送数据的数量，是否达到本次推送业务对应的全部待推送数据的数量，若是，则确定第一数据库中不存在未发送的待推送数据；若不是，则说明该第一数据库中还存在未发送的待推送数据，需要继续从第一数据库中获取预设数据大小的新的待推送数据。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种数据文件推送装置的实现方式，可选地，该装置应用于上述待推送服务器。进一步地，请参阅图8，图8为本申请实施例提供的数据文件推送装置的一种功能模块图。需要说明的是，本实施例所提供的数据文件推送装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该数据文件推送装置包括：确定模块300以及下载模块310。

该确定模块300，用于按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；待推送数据文件由推送服务器按照第二预设时长从第一数据库中存储的数据中获取待推送数据，根据待推送数据生成，并将待推送数据文件发送至缓存服务器，由缓存服务器进行存储；

可以理解的，该确定模块300可以用于执行上述步骤S20；

该下载模块310，用于将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，以便缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件。

可以理解的，该下载模块310可以用于执行上述步骤S21。

可选地，该确定模块300，还用于按照第一预设时长从缓存服务器中存储的多个待推送数据文件中，查找文件名不包括锁定标识的目标待推送数据文件，并将目标待推送数据文件确定为待下载数据文件；锁定标识为推送服务器在将待推送数据进行合并，生成待推送数据文件，并根据待推送数据的属性信息，生成待推送数据文件的文件名之后，在待推送数据文件的文件名中进行添加，将待推送数据文件发送至缓存服务器，并在待推送数据文件发送完成的情况下，向缓存服务器发送锁定标识删除指令，由缓存服务器根据标识删除指令将待推送数据文件的文件名中的锁定标识进行删除。

可选地，在图8的基础上，图9为本申请实施例提供的数据文件推送装置的另一种功能模块图，请参见图9，该据文件推送装置还包括处理模块320。

该处理模块320，用于按照第三预设时长从本地文件夹存储的数据文件中获取预设数量的待处理数据文件；分别对每个待处理数据文件进行数据处理，获得待处理数据文件对应的结果数据；将结果数据存储至第二数据库中，并对处理完毕的待处理数据文件进行压缩处理，获得待处理数据文件对应的压缩数据文件；将压缩数据文件存储至本地备份文件夹，并在本地文件夹中删除对应的待处理数据文件。

可以理解的，该处理模块320可以用于执行上述步骤S10～步骤S13。

可选地，该处理模块320，还用于将全部待处理数据文件添加至线程池中，并在本地文件夹中为全部待处理数据文件的文件名添加处理标识；分别针对每个待处理数据文件中的每个数据进行数据处理，获得待处理数据文件中每个数据对应的结果数据。

可以理解的，该处理模块320可以用于执行上述步骤S11-1～步骤S11-2。

可选地，该处理模块320，还用于在重启的情况下，若本地文件夹存储的多个数据文件中，存在文件名中包含有处理标识的目标数据文件，则获取目标数据文件；将目标数据文件作为待处理数据文件添加至线程池中进行数据处理。

本申请实施例提供的数据文件推送装置，通过确定模块按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；待推送数据文件由推送服务器按照第二预设时长从第一数据库中存储的数据中获取待推送数据，根据待推送数据生成，并将待推送数据文件发送至缓存服务器，由缓存服务器进行存储；通过下载模块将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，以便缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件，从而使得推送服务器无需在待推送服务器处理完本次推送的数据并返回成功信号之后再进行下一次发送，减少了推送服务器在推送数据时的等待时间，因此提高了推送效率。

可选地，下面给出另一种数据文件推送装置的实现方式，可选地，该装置应用于上述推送服务器。进一步地，请参阅图10，图10为本申请实施例提供的数据文件推送装置的一种功能模块图。需要说明的是，本实施例所提供的数据文件推送装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该数据文件推送装置包括：获取模块400以及发送模块410。

该获取模块400，用于按照第二预设时长从第一数据库存储的数据中获取待推送数据；

可以理解地，该获取模块400可以用于执行上述步骤S30；

该发送模块410，用于根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器，以便缓存服务器对待推送数据文件进行存储，以及待推送服务器按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，由缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件。

可以理解地，该发送模块410可以用于执行上述步骤S31。

可选地，该发送模块410，还用于将待推送数据进行合并，生成待推送数据文件，并根据待推送数据的属性信息，生成待推送数据文件的文件名；在待推送数据文件的文件名中添加锁定标识，并将待推送数据文件发送至缓存服务器，以便缓存服务器对待推送数据文件进行存储；在待推送数据文件发送完成的情况下，向缓存服务器发送锁定标识删除指令，以便缓存服务器根据标识删除指令将待推送数据文件的文件名中的锁定标识进行删除。

可以理解地，该发送模块410还可以用于执行上述步骤S31-1～步骤S31-3。

可选地，该获取模块400，还用于每次从第一数据库存储的数据中获取预设数据大小的待推送数据；在根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器之后，若第一数据库中存在未发送的待推送数据，则继续从第一数据库中获取预设数据大小的新的待推送数据。

本申请实施例提供的数据文件推送装置，通过获取模块按照第二预设时长从第一数据库存储的数据中获取待推送数据；通过发送模块根据待推送数据生成待推送数据文件，并将待推送数据文件发送至缓存服务器，以便缓存服务器对待推送数据文件进行存储，以及待推送服务器按照第一预设时长从缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，将待下载数据文件下载至本地文件夹，并在待下载数据文件下载成功的情况下，向缓存服务器发送删除指令，由缓存服务器根据删除指令从多个待推送数据文件中删除待下载数据文件，从而使得推送服务器无需在待推送服务器处理完本次推送的数据并返回成功信号之后再进行下一次发送，减少了推送服务器在推送数据时的等待时间，因此提高了推送效率。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器中或固化于该服务器的操作系统(Operating System，OS)中，并可由图2中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据文件推送方法，其特征在于，应用于待推送服务器，所述待推送服务器与缓存服务器通信连接，所述缓存服务器与至少一个推送服务器通信连接，所述推送服务器中设置有第一数据库，所述方法包括：

按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件；所述待推送数据文件由所述推送服务器按照第二预设时长从所述第一数据库中存储的数据中获取待推送数据，根据所述待推送数据生成，并将所述待推送数据文件发送至所述缓存服务器，由所述缓存服务器进行存储；

将所述待下载数据文件下载至本地文件夹，并在所述待下载数据文件下载成功的情况下，向所述缓存服务器发送删除指令，以便所述缓存服务器根据所述删除指令从多个所述待推送数据文件中删除所述待下载数据文件。

2.根据权利要求1所述的方法，其特征在于，所述按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，包括：

按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中，查找文件名不包括锁定标识的目标待推送数据文件，并将所述目标待推送数据文件确定为所述待下载数据文件；

所述锁定标识为所述推送服务器在将所述待推送数据进行合并，生成所述待推送数据文件，并根据所述待推送数据的属性信息，生成所述待推送数据文件的文件名之后，在所述待推送数据文件的文件名中进行添加，将所述待推送数据文件发送至所述缓存服务器，并在所述待推送数据文件发送完成的情况下，向所述缓存服务器发送锁定标识删除指令，由所述缓存服务器根据所述标识删除指令将所述待推送数据文件的文件名中的锁定标识进行删除。

3.根据权利要求1所述的方法，其特征在于，所述待推送服务器中设置有第二数据库，所述方法还包括：

按照第三预设时长从所述本地文件夹存储的数据文件中获取预设数量的待处理数据文件；

分别对每个所述待处理数据文件进行数据处理，获得所述待处理数据文件对应的结果数据；

将所述结果数据存储至所述第二数据库中，并对处理完毕的所述待处理数据文件进行压缩处理，获得所述待处理数据文件对应的压缩数据文件；

将所述压缩数据文件存储至本地备份文件夹，并在所述本地文件夹中删除对应的所述待处理数据文件。

4.根据权利要求3所述的方法，其特征在于，每个所述待处理数据文件中存储有多个数据，所述分别对每个所述待处理数据文件进行数据处理，获得所述待处理数据文件对应的结果数据，包括：

将全部所述待处理数据文件添加至线程池中，并在所述本地文件夹中为全部所述待处理数据文件的文件名添加处理标识；

分别针对每个所述待处理数据文件中的每个数据进行数据处理，获得所述待处理数据文件中每个数据对应的结果数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在重启的情况下，若所述本地文件夹存储的多个数据文件中，存在文件名中包含有处理标识的目标数据文件，则获取所述目标数据文件；

将所述目标数据文件作为待处理数据文件添加至线程池中进行数据处理。

6.一种数据文件推送方法，其特征在于，应用于推送服务器，所述推送服务器与缓存服务器通信连接，所述缓存服务器与待推送服务器通信连接，所述推送服务器中设置有第一数据库，所述方法包括：

按照第二预设时长从所述第一数据库存储的数据中获取待推送数据；

根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器，以便所述缓存服务器对所述待推送数据文件进行存储，以及所述待推送服务器按照第一预设时长从所述缓存服务器中存储的多个待推送数据文件中确定待下载数据文件，将所述待下载数据文件下载至本地文件夹，并在所述待下载数据文件下载成功的情况下，向所述缓存服务器发送删除指令，由所述缓存服务器根据所述删除指令从多个所述待推送数据文件中删除所述待下载数据文件。

7.根据权利要求6所述的方法，其特征在于，所述根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器，包括：

将所述待推送数据进行合并，生成所述待推送数据文件，并根据所述待推送数据的属性信息，生成所述待推送数据文件的文件名；

在所述待推送数据文件的文件名中添加锁定标识，并将所述待推送数据文件发送至所述缓存服务器，以便所述缓存服务器对所述待推送数据文件进行存储；

在所述待推送数据文件发送完成的情况下，向所述缓存服务器发送锁定标识删除指令，以便所述缓存服务器根据所述标识删除指令将所述待推送数据文件的文件名中的锁定标识进行删除。

8.根据权利要求6所述的方法，其特征在于，所述从所述第一数据库存储的数据中获取待推送数据，包括：

每次从所述第一数据库存储的数据中获取预设数据大小的待推送数据；

在根据所述待推送数据生成待推送数据文件，并将所述待推送数据文件发送至所述缓存服务器之后，若所述第一数据库中存在未发送的待推送数据，则继续从所述第一数据库中获取预设数据大小的新的待推送数据。

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5中任一项所述的方法，或者权利要求6-8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法，或者权利要求6-8中任一项所述的方法。