CN113901008B - 数据处理方法及装置、存储介质、计算设备 - Google Patents

Abstract

一种数据处理方法及装置、存储介质、计算设备，所述方法包括：接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组；创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息；分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果。通过本发明的方案，可以充分利用服务器的算力，提高数据处理的效率，并将批处理任务和实时处理任务的待处理数据合并在同一接口中，可以降低运维成本。

Description

数据处理方法及装置、存储介质、计算设备

技术领域

本发明涉及一种数据处理技术领域，尤其涉及一种数据处理方法及装置、存储介质、终端。

背景技术

随着技术的发展，对于数据处理的需求越来越大，用户设备通常需要向服务器请求处理大批量的数据，当用户设备请求处理的数据量过大时，容易造成服务器卡顿，无法充分利用服务器的运算能力，从而导致数据处理的效率较低。

因此，亟需一种数据处理方法，能够避免服务器卡顿，从而提高数据处理的效率。

发明内容

本发明解决的技术问题是如何避免服务器卡顿，提高数据处理的效率。

为解决上述技术问题，本发明实施例提供一种数据处理方法，所述方法包括：接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据。通过本发明的方案，可以提高数据处理的效率。

可选的，所述请求文件还包括与该请求文件对应的数据处理请求的请求信息，所述请求信息包括：所述请求设备组的标识、请求时间和所述数据处理请求所请求处理的待处理数据的数量，所述请求时间为所述请求设备组发送所述数据处理请求的时间。

可选的，每一请求文件的文件名为该请求文件对应的数据处理请求的请求信息。

可选的，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：获取多个请求文件的请求信息；根据所述请求时间确定每个请求文件中本次被获取的内容信息的数量。

可选的，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：根据所述请求信息，确定所述请求设备组的数量，其中，每个请求设备组对应至少一个请求文件；确定各个请求设备组的权重；根据所述请求设备组的权重和预设的数量阈值确定各个请求设备组的席位数量，所述席位数量为所述请求设备组对应的至少一个请求文件中本次被获取的内容信息的总数量；针对每个请求设备组对应的至少一个请求文件，根据所述请求时间确定出总数量等于所述席位数量的内容信息。

可选的，确定各个请求设备组的权重包括：根据每个请求设备组对应的至少一个请求文件中最早的请求时间确定该请求设备组的优先级，其中，所述最早的请求时间越早，所述优先级越高；根据每个请求设备组的优先级和所述请求设备组的数量确定该请求设备组的权重，其中，所述优先级越高，所述权重越大。

可选的，根据所述请求时间确定出总数量等于所述席位数量的内容信息包括：对于每个请求设备组对应的至少一个请求文件，按照所述请求时间的先后顺序，依次将每个请求文件中未被获取过的内容信息作为该请求文件中本次被获取的内容信息，直到确定出的内容信息的数量达到该请求设备组的席位数量为止。

可选的，所述方法还包括：对于每一请求文件，当获取到该请求文件对应的所有待处理数据的处理结果时，删除该请求文件。

可选的，预先设置有两个线程，每次通过其中一个线程从所述多个请求文件获取所述内容信息并进行缓存，当通过该线程将所述缓存的内容信息发送给所述多个执行终端时，通过另一个线程从所述多个请求文件获取新的内容信息并进行缓存。

本发明实施例还提供一种数据处理装置，所述装置包括：接收模块，用于接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；文件生成模块，用于创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；缓存模块，用于分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；发送处理模块，用于将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的数据处理方法的步骤。

本发明实施例还提供一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的数据处理方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例的方案中，接收多个数据处理请求后，创建与数据处理请求一一对应的请求文件，并分多次地从多个请求文件获取请求文件中的内容信息并进行缓存。由于请求文件包含的内容信息为对应的数据处理请求所请求处理的待处理数据或者待处理数据的数据信息，因此，将缓存的内容信息发送给多个执行终端，可以使执行终端对该次缓存的待处理数据进行处理。由于请求文件是在本地创建的，因此对内存形成占用的仅仅是每次缓存的部分内容信息(也即，待处理数据或其数据信息)，而并非是全部数据处理请求针对的待处理数据或其数据信息，从而可以尽可能地避免服务器卡顿的情况，以使得服务器可以快速高效地将内容信息发送给多个执行终端进行处理。因此，本发明实施例提供的方案能够提高数据的处理效率。

进一步，本发明实施例的方案中，每次从所述多个请求文件中获取所述内容信息之前，根据请求文件的请求信息确定每个请求文件中本次被获取的内容信息的数量。由于每个请求文件的文件名为所述请求信息，因此可以提高获取请求信息的效率，从而可以进一步提高数据处理的效率。

进一步，本发明实施例的方案中，根据各个请求设备组的权重来确定各个请求设备组的席位数量，然后从每个请求设备组对应的至少一个请求文件中确定出总数量等于所述席位数量的内容信息，其中，各个请求设备组的权重是根据每个请求设备组对应的至少一个请求文件中最早的请求时间确定的。采用这样的方案，可以平衡各个请求设备组请求的待处理数据的处理速度，当存在请求时间在先的批处理任务的待处理数据和请求时间在后的实时处理任务的待处理数据时，可以避免实时处理任务的待处理数据等待时间过长的情况，由此可以将批处理任务和实时处理任务合并在一个接口中，从而降低运维成本。

进一步，预先设置有两个线程，每次通过其中一个线程从所述多个请求文件获取所述内容信息并进行缓存，当通过该线程将所述缓存的内容信息发送给所述多个执行终端时，通过另一个线程从所述多个请求文件获取新的内容信息并进行缓存。采用这样的方案，可以通过两个线程交替地缓存内容信息和发送内容信息，可以进一步充分利用服务器的算力，更加快速高效地将待处理数据发送至执行终端进行处理，从而可以进一步提高数据处理的效率。

附图说明

图1是本发明实施例中一种数据处理方法的应用场景示意图；

图2是本发明实施例中一种数据处理方法的流程示意图；

图3是图2中步骤S203的一种具体实施方式的部分流程示意图；

图4是本发明实施例中一种数据处理装置的结构示意图。

具体实施方式

如背景技术所述，亟需一种数据处理方法，能够避免服务器卡顿，提高数据处理的效率。

本发明的发明人经过研究发现，用户设备向服务器请求处理大批量的数据时，现有技术中服务器通常会将数据分发至多个执行终端进行处理。具体而言，服务器通常将用户设备请求处理的数据放入队列中，然后分多次地发给多个执行终端进行处理。采用这样的方案时，当用户设备请求处理的数据量过大时，由于数据是分多次发给执行终端的，每次将数据发送给执行终端时，没有被发送的数据始终存储在队列中，这对内存的消耗非常大，因此容易出现服务器卡顿的情况，导致服务器无法快速、高效地将数据传输给执行终端进行处理，从而导致数据处理的效率较低。

为了解决这一技术问题，本发明实施例提供一种数据处理方法，在本发明实施例的方案中，接收多个数据处理请求后，创建与数据处理请求一一对应的请求文件，并分多次地从多个请求文件获取请求文件中的内容信息并进行缓存。由于请求文件包含的内容信息为对应的数据处理请求所请求处理的待处理数据或者待处理数据的数据信息，因此，将缓存的内容信息发送给多个执行终端，可以使执行终端对该次缓存的待处理数据进行处理。由于请求文件是在本地创建的，因此对内存形成占用的仅仅是每次缓存的部分内容信息(也即，待处理数据或其数据信息)，而并非是全部数据处理请求针对的待处理数据或其数据信息，从而可以尽可能地避免服务器卡顿的情况，以使得服务器可以快速高效地将内容信息发送给多个执行终端进行处理。因此，本发明实施例提供的方案能够提高数据的处理效率。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参考图1，图1是本发明实施例中一种数据处理方法的应用场景示意图。所述方法可以由图1中的服务器10执行，所述服务器可以是各种具备数据接收和处理能力的计算设备，例如，可以是应用服务器(Application Server)等，但并不限于此。下面结合图1对本发明实施例的应用场景进行非限制性的说明。

如图1所示，多个用户设备组11与服务器10耦接，每个用户设备组11可以包括一个或多个终端设备(图未示)，每个用户设备组11可以向服务器10发送数据处理请求，以请求对该用户设备组11发送的待处理数据进行处理。其中，所述终端设备可以是电脑、手机和物联网设备等，但并不限于此。

其中，本发明实施例对于待处理数据的类型并不进行限制，例如，待处理数据可以是图像、语音和文本等，但并不限于此。在一个非限制性的实施例中，所述待处理数据为图像。

进一步地，多个执行终端12与服务器10耦接，服务器10可以根据接收到的多个数据处理请求分多次地将待处理数据分发给各个执行终端12进行处理，以得到处理结果。其中，执行终端12可以是各种具有数据接收和处理能力的终端，例如，可以是电脑、手机和服务器等，但并不限于此。

进一步地，执行终端12可以包括预先设置的模型，所述预先设置的模型用于对待处理数据进行处理。所述预先设置的模型可以根据实际的应用场景或应用需求确定的。例如，应用场景为人脸识别场景，则预先设置的模型可以是各种现有的人脸识别模型；又例如，应用场景为光学字符识别场景，则预先设置的模型可以是各种现有的文本检测模型，但并不限于此；再例如，应用场景为语音识别，则预先设置的模型为各种现有的语音识别模型。

在一个非限制性的实施例中，待处理数据为图像，执行终端12用于对图像进行光学字符识别(Optical Character Recognition，OCR)，以得到处理结果，处理结果为文本。

在另一个非限制性的实施例中，用户设备组11还可以与云服务器(ElasticCompute Service，ECS)耦接，并可以待处理数据发送至云服务器，以将待处理数据存储在云服务器。服务器10向执行终端12在分发待处理数据时，可以将待处理数据的存储地址发送给执行终端12，执行终端12也可以与云服务器耦接，以从云服务器处获取待处理数据。

参照图2，图2是本发明实施例中一种数据处理方法的流程示意图。所述方法可以由各种具有数据接收和处理能力的计算设备执行的，例如，可以是图1所示的服务器10执行的，但并不限于此。图2示出的数据处理方法可以包括如下步骤：

步骤S201：接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；

步骤S202：创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；

步骤S203：分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；

步骤S204：将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据。

在步骤S201的具体实施中，可以从一个或多个用户设备组接收多个数据处理请求。具体而言，多个数据处理请求可以是同一个用户设备组发送的，也可以是不同用户设备组发送的。更具体地，多个数据处理请求可以是同一用户设备组在不同时间发送的，也可以是不同用户设备组在不同时间发送的，也可以是不同用户设备组在同一时间发送的，本发明实施例对此并不进行限制。

换言之，数据处理请求和用户设备组具有对应关系，更具体地，每一数据处理请求和发送该数据处理请求的用户设备组具备对应关系。本发明实施例将发送数据处理请求的用户设备组记为该数据处理请求的请求设备组，数据处理请求和请求设备组具有一对一或多对一的对应关系。

进一步地，数据处理请求用于请求对请求设备组发送的一条或多条待处理数据进行处理，因此，数据处理请求与待处理数据也具备一对一或一对多的关系。

进一步地，数据处理请求可以包括请求信息，所述请求信息可以包括请求设备组的标识、请求时间和对应的待处理数据的数量。其中，所述标识用于唯一确定请求设备组，所述请求时间为请求设备组发送该数据处理请求的时间，对应的待处理数据的数量为该数据处理请求所请求处理的待处理数据的数量。

进一步地，数据处理请求还可以包括内容信息，所述内容信息为该数据处理请求对应的待处理数据。例如，当待处理数据为图像时，内容信息为待处理的图像，也即，数据处理请求可以包括多张待处理的图像。

在一个具体的实施例中，所述内容信息可以为对应的待处理数据的数据信息，所述数据信息用于指示或者标识待处理数据，换言之，可以根据待处理数据的数据信息获取该待处理数据。具体而言，数据信息可以是待处理数据的存储地址、数据标识等，但并不限于此。

更具体地，请求设备组在发送数据处理请求之前，可以先将待处理数据发送至云服务器，以将待处理数据存储在云服务器。所述云服务器可以是程序供应商的内部服务器，也可以是程序供应商的外部服务器，本发明实施例对此并不进行限制。进一步地，请求设备组可以从云服务器获取待处理数据的存储地址，并根据待处理数据的存储地址生成数据处理请求并进行发送。

在步骤S202的具体实施中，接收到多个数据处理请求，可以创建多个请求文件，请求文件和数据处理请求一一对应。其中，请求文件是文件系统中的各种文件，其可以存储在适当的存储空间中，具体而言，可以存储在服务器的内存以外的外部存储器(例如，硬盘、光存储介质、闪存存储介质等)中。

具体而言，对于每个数据处理请求，创建与该数据处理请求对应的请求文件，更具体地，每当接收到数据处理请求，创建对应的请求文件。本发明实施例对于请求文件的类型并不进行限制。

需要说明的是，由于请求文件和数据处理请求具有一一对应的关系，且数据处理请求和请求设备组具备一对一或多对一的对应关系，因此，请求文件和请求设备组也具有对应关系。更具体地，请求文件和请求设备组具有一对一或多对一的对应关系。

还需要说明的是，由于请求文件和数据处理请求具有一一对应的关系，数据处理请求与待处理数据具备一对一或一对多的关系，因此，请求文件和待处理数据也具备一对一或一对多的对应关系。

进一步地，每个请求文件可以包括与该请求文件对应的数据处理请求的请求信息，也可以包括与该请求文件对应的数据处理请求的内容信息。

具体而言，请求文件包含文件名和文件内容，该文件内容记录有该请求文件对应的数据处理请求的内容信息。该请求文件的文件内容还可以记录有该请求文件对应的数据处理请求的请求信息。当然，根据实施例的不同，请求文件的文件内容中也可以并不记录请求信息，作为替代，该请求信息可以记录于请求文件的文件名中。

在一个具体的实施例中，每一请求文件的内容为该请求文件对应的数据处理请求的请求信息。在另一个具体的实施例中，每一请求文件的文件名为该请求文件对应的数据处理请求的请求信息。需要说明的是，将请求信息作为请求文件的文件名可以提高读取请求信息的效率，有利于进一步提高数据处理的效率。

进一步地，每个请求文件还可以包括与该请求文件对应的数据处理请求的内容信息，具体而言，每个请求文件包括对应的待处理数据或者对应的待处理数据的数据信息，换言之，每个请求文件中的内容信息为对应的待处理数据或者对应的待处理数据的数据信息。

在一个非限制性的实施例中，接收到的数据处理请求的内容信息为对应的待处理数据，可以先将待处理数据上传至云服务器进行存储，并从云服务器获取待处理数据的存储地址，然后根据待处理数据的存储地址生成请求文件中对应的数据处理请求的内容信息，此时，内容信息为待处理数据的数据信息。

在步骤S203的具体实施中，分多次地从多个请求文件中获取内容信息，也即，每次获取多个请求文件中的部分的内容信息。其中，每次获取的内容信息的总数量是预先设置的，所述总数量可以是预设的数量阈值。也即，每次从至少一个请求文件中获取总数量为预设的数量阈值的内容信息。

其中，每次从多个请求文件获取内容信息之前，可以先确定每个请求文件中本次被获取的内容信息的数量。

在第一个具体的实施例中，可以按照请求文件的数量和所述预设的数量阈值确定每个请求文件中本次被获取的内容信息的数量。例如，可以将每次获取的内容信息的总数量平均分配给每个请求文件。换言之，可以将预设的数量阈值和请求文件的数量的商作为每个请求文件中本次被获取的内容信息的数量。

在第二个具体的实施例中，可以根据请求文件的请求信息中的请求时间和预设的数量阈值确定每个请求文件中本次被获取的内容信息的数量。具体而言，可以根据每个请求文件的请求信息的请求时间确定该请求文件的权重。然后可以根据每个请求文件的权重和预设的数量阈值，确定每个请求文件中本次被获取的内容信息的数量。其中，请求时间越早，请求文件的优先级越高，请求文件的权重越大。由此，可以将先请求处理的待处理数据进行处理，从而可以优化数据处理过程，有利于提高数据处理的效率。

在第三个具体的实施例中，可以根据请求设备组的数量、请求时间和预设的数量阈值确定每个请求文件中被获取的内容信息的数量。参照图3，图3是图2中步骤S203的一种具体实施方式的部分流程示意图，图3示出了确定每个请求文件中本次被获取的内容信息的数量可以包括以下步骤：

步骤S301：根据所述请求信息，确定所述请求设备组的数量，其中，每个请求设备组对应至少一个请求文件；

步骤S302：确定各个请求设备组的权重；

步骤S303：根据所述请求设备组的权重和预设的数量阈值确定各个请求设备组的席位数量，所述席位数量为所述请求设备组对应的至少一个请求文件中本次被获取的内容信息的总数量；

步骤S304：针对每个请求设备组对应的至少一个请求文件，根据所述请求时间确定出总数量等于所述席位数量的内容信息。

在步骤S301的具体实施中，由于请求文件的请求信息中包括请求设备组的标识，且请求文件和请求设备组具有多对一的对应关系，因此，可以确定请求设备组的数量，换言之，可以确定当前存储的请求文件对应的数据处理请求是哪几个用户设备组发送的。

在步骤S302的具体实施中，确定各个请求设备组的权重。具体而言，可以确定每个请求设备组对应的至少一个请求文件中最早的请求时间，然后根据所述最早的请求时间确定各个请求设备组的优先级，其中，最早的请求时间越早，优先级越高。进一步地，可以根据每个请求设备组的优先级和请求设备组的数量确定该请求设备组的权重，由此，可以确定各个请求设备组的权重，其中，优先级越高，权重越大。也即，请求设备组对应的至少一个请求文件中最早的请求时间，该请求设备组的权重越大。

在一个具体的实施例中，可以读取预设的优先级信息，所述优先级信息记录有不同优先级的请求设备组的权重，然后可以根据请求设备组的数量、该请求设备组的优先级和所述预设的优先级信息确定该请求设备组的权重。

例如，表1示出了一个非限制性的实施例中的预设的优先级信息。其中，优先级的数值越小，则表示优先级越高，N≥6且N为正整数。

表1

具体而言，当请求设备组的数量为1时，也即，该请求设备组的席位数量为预设的数量阈值。当请求设备组的数量为2时，优先级高的请求设备组的权重为0.7，优先级低的请求设备组的权重为0.3。当请求设备组的数量为N时，N≥6，请求时间最先的5个请求设备组的权重为预先设置的，其他的请求设备组的权重为剩余权重的均值。例如，当N＝8时，优先级的数值为6、7和8的请求设备组的权重均为0.1/3。

在步骤S303的具体实施中，根据每个请求设备组的权重和预设的数量阈值确定各个请求设备组的席位数量，所述席位数量为所述请求设备组对应的至少一个请求文件中本次被获取的内容信息的数量，更具体地，将每个请求设备组的权重与预设的数量阈值的乘积为该请求设备组的席位数量。

在步骤S304的具体实施中，可以根据请求时间确定出总数量为席位数量的内容信息。

具体而言，对于每个请求设备组对应的至少一个请求文件，按照请求时间的先后顺序，依次将每个请求文件中未被获取过的内容信息作为该请求文件中本次被获取的内容信息，直到确定出的内容信息的数量达到该请求设备组的席位数量为止。更具体地，可以按照请求时间的先后顺序对请求设备组对应的至少一个请求文件进行排序，从第一个请求文件开始，逐个地确定请求文件中未被获取过的内容信息，如果该请求文件中未被获取过的内容信息的内容信息的数量大于席位数量，则需要从该请求文件中获取数量为席位数量的未被获取过的内容信息。如果该请求文件中未被获取过的内容信息的数量小于席位数量，则需要从该请求文件中获取所有未被获取过的内容信息，并从下一个请求文件中获取未被标记过的内容信息，直至确定出的内容信息的数量达到该请求设备组的席位数量为止。

继续参考图2，确定每个请求文件中本次被获取的内容信息的数量后，可以从各个请求文件中获取对应数量的内容信息。需要说明的是，当多个请求文件中的内容信息的数量小于所述预设的数量阈值时，则可以直接获取多个请求文件中内容信息，无需先确定每个请求文件中本次被获取的内容信息的数量。

进一步地，每次获取内容信息后，可以将获取到的内容信息进行缓存。其中，可以将获取到的内容信息缓存在各种适当的存储空间，例如内存(Memory)中，以便可以快速地将缓存的内容信息发送至执行设备。需要说明的是，获取的过程可以是将外部存储器中存储的请求文件中的部分内容信息读入内存中，缓存的过程可以是将读入内存的部分内容信息在内存中进行暂存。还需要说明的是，每次获取和缓存的内容信息是请求文件中未被获取和缓存过的内容信息，因此每次获取和缓存的内容信息是不重复的，也即，每次获取和缓存的内容信息是不同的。在一个具体的实施例中，可以将每次获取的内容信息(也即，读入内存的内容信息)写入内存中预先设置的数据结构中，所述数据结构可以称之为胶囊。所述胶囊可以是表格，也可以是队列，但并不限于此。胶囊可以具有预设的容量，也即，所述预设的容量是指胶囊可容纳的内容信息的数量的上限，也即上文所述的预设的数量阈值。在一个非限制性的例子中，可以预先设置两个胶囊，每次获取的内容信息可以写入其中任意一个胶囊，更具体地，可以写入其中数据为空的胶囊。

还需要说明的是，如果内容信息为待处理数据，则将待处理数据进行缓存，为便于表述，本发明实施例中将每次获取并缓存的待处理数据记为当前可处理数据；如果内容信息为待处理数据的数据信息，则将待处理数据的数据信息进行缓存，此时当前可处理数据为缓存的数据信息对应的待处理数据。换言之，缓存的内容信息为当前可处理数据或当前可处理数据的数据信息。

在步骤S204的具体实施中，可以将缓存的内容信息发送至多个执行终端，以使多个执行终端对当前可处理数据进行处理并得到处理结果。

具体而言，如果缓存的内容信息为当前可处理数据，则可以将当前可处理数据发送至多个执行终端进行处理，执行终端获取到当前可处理数据后可以直接进行处理，以得到处理结果。

进一步地，如果缓存的内容信息为当前可处理数据的内容信息，则可以将当前可处理数据的内容信息发送至多个执行终端。执行终端获取到当前可处理数据的内容信息后，可以先根据内容信息获取当前可处理数据，再对当前可处理数据进行处理。具体而言，数据信息可以包括存储地址，则执行终端可以根据存储地址获取当前可处理数据，但并不限于此。

需要说明的是，所述处理的方法可以是预先设置的，例如，可以采用预先设置的模型对当前可处理数据进行处理，以得到处理结果。所述模型可以是根据应用场景设置的。

在一个具体的实施例中，可以预先设置一个线程，每次均通过该线程获取多个请求文件中的部分的内容信息进行缓存，然后将本次缓存的内容信息发送至多个执行终端。具体而言，可以在将本次缓存的内容信息发送完成后，再次通过该线程获取并缓存请求文件中的部分的内容信息，也可以是多个执行终端对当前可处理数据处理完成后，再次通过该线程获取并缓存请求文件中的部分的内容信息，本发明实施例对此并不进行限制。

换言之，内存中可以预先设置有单个胶囊，可以通过该线程将每次获取的内容信息写入胶囊中，也可以通过该线程将缓存在胶囊中的内容信息发送给多个执行终端。

在另一个具体的实施例中，预先设置有两个线程，每次通过其中一个线程从多个请求文件中获取部分的内容信息并进行缓存。换言之，每次通过其中一个线程获取当前可处理数据或当前可处理数据的数据信息并进行缓存。当通过该线程将缓存的内容信息发送至多个执行终端时，另一个线程开始从多个请求文件中获取新的内容信息并进行缓存。也即，两个线程交替地获取内容信息并进行缓存。

进一步地，当通过上述其中一个线程将缓存的内容信息消耗完毕时，可以将所述另一个线程缓存的新的内容信息发送至多个执行终端。其中，所述将缓存的内容信息消耗完毕可以是指缓存的内容信息发送完成，也可以是指多个执行终端对缓存的内容信息处理完成，本发明实施例对此并不进行限制。

具体而言，预先设置有第一线程和第二线程，第i次获取的内容信息是通过第一线程进行获取并缓存的，当通过第一线程将第i次获取的内容信息发送至多个执行终端时，通过第二线程进行第i+1次的获取内容信息并进行缓存。其中，i≥1且i为正整数。

进一步地，通过第一线程将第i次缓存的内容信息消耗完毕时，可以通过第二线程将第i+1次获取的内容信息发送至多个执行终端。换言之，如果通过第一线程尚未消耗完毕第i次获取的内容信息，则不会通过第二线程将第i+1次缓存的内容信息发送至多个执行终端。其中，上述将第i次获取的内容信息消耗完毕，可以是指将第i次缓存的内容信息发送完成，也可以是指多个执行终端对第i次缓存的内容信息处理完成，本发明实施例对此并不进行限制。

更具体地，可以预先设置有第一胶囊和第二胶囊，第一线程用于维护第一胶囊，第二线程用于维护第二胶囊。第i次获取的内容信息通过第一线程写入第一胶囊中，并缓存在第一胶囊中。当通过第一线程将第一胶囊中缓存的内容信息发送给多个执行终端时，通过第二线程进行第i+1次的获取内容信息并写入第二胶囊中。进一步地，当第一胶囊中缓存的内容信息被消耗完毕，可以通过第二线程将第二胶囊中缓存的内容信息发送给执行终端。进一步地，将第二胶囊中缓存的内容信息发送给执行终端时，可以通过第一线程获取新的内容信息并缓存在第一胶囊中。由此，可以使用两个胶囊交替地缓存从请求文件获取的部分的内容信息。

需要说明的是，第一胶囊和第二胶囊采用互锁机制。具体而言，当第一胶囊中缓存的内容信息未被消耗完毕时，并不会开始消耗第二胶囊中缓存的内容信息，也即，只有当第一胶囊中缓存的内容信息被消耗完毕时，才会开始消耗第二胶囊中缓存的内容信息。换言之，当第二胶囊中缓存的内容信息未被消耗完毕时，也不会开始消耗第一胶囊中缓存的内容信息，只有当第二胶囊中缓存的内容信息被消耗完毕时，才会开始消耗第一胶囊中的信息。

在一个具体的实施例中，内存中还可以预先设置有全局队列(Global Queue)的数据结构，该全局队列可以用于缓存内容信息。其中，全局队列中缓存的内容信息可以是和胶囊中缓存的内容信息相同的，换言之，全局队列用于缓存当前可处理数据或当前可处理数据的内容信息。

进一步地，还可以预先设置有多个主控线程，主控线程和执行终端一一对应，通过每一主控线程对与其对应的执行终端进行执行调度。具体而言，对于每一主控线程，该主控线程会启动多个子线程，也即，子线程和执行终端具有多对一的对应关系。每个子线程均用于从全局队列中获取缓存的内容信息并发送至对应的执行终端。执行终端的处理速度越快，对应的多个子线程从全局队列中获取的内容信息越多，执行终端的处理速度越慢，对应的多个子线程从全局队列中获取的内容信息越少，直至全局队列中的内容信息均被获取。由此，本发明实施例的方案中，主控线程根据多个子线程的执行速度调度对应的执行终端处理的待处理数据，从而可以充分利用执行终端的计算能力，也即，使得执行终端以最优的计算力进行数据处理，从而可以提高数据处理效率。

进一步地，可以从多个执行终端处获取当前可处理数据的处理结果。对于每个请求文件，当获取到该请求文件对应的所有待处理数据的处理结果时，可以删除该请求文件。

参考图4，图4是本发明实施例中一种数据处理装置的结构示意图。所述装置可以包括：接收模块41、文件生成模块42、缓存模块43和发送处理模块44。

具体而言，接收模块41用于所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；文件生成模块42用于创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；缓存模块43用于分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；发送处理模块44用于将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据。

在具体实施中，上述数据处理装置可以对应于终端内具有数据处理功能的芯片；或者对应于终端中具有数据处理功能的芯片模组，或者对应于终端。

关于图4示出的数据处理装置的工作原理、工作方式和有益效果等更多内容，可以参照上文关于图1至图3的相关描述，在此不再赘述。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的数据处理方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本发明实施例还提供一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的数据处理方法的步骤。所述计算设备包括但不限于手机、计算机、平板电脑等终端设备。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：

接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；

创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；

分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；

将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据；

其中，所述多个请求文件存储在服务器的内存以外的外部存储器，预先设置有第一线程和第二线程，且预先设置有第一胶囊和第二胶囊，所述第一线程用于维护所述第一胶囊，所述第二线程用于维护所述第二胶囊，所述胶囊是指内存中预先设置的数据结构；

第i次获取的内容信息通过所述第一线程写入所述第一胶囊中，并缓存在所述第一胶囊中；

当通过所述第一线程将所述第一胶囊中缓存的内容信息发送给所述多个执行终端时，通过所述第二线程进行第i+1次的获取内容信息并写入所述第二胶囊中；

当所述第一胶囊中缓存的内容信息被消耗完毕，通过所述第二线程将所述第二胶囊中缓存的内容信息发送给所述执行终端，其中，将缓存的内容信息消耗完毕是指缓存的内容信息发送完成；

将所述第二胶囊中缓存的内容信息发送给所述执行终端时，通过所述第一线程获取新的内容信息并缓存在所述第一胶囊中，当第二胶囊中缓存的内容信息被消耗完毕，开始消耗所述第一胶囊中的内容信息，其中，i≥1且i为正整数。

2.根据权利要求1所述的数据处理方法，其特征在于，所述请求文件还包括与该请求文件对应的数据处理请求的请求信息，所述请求信息包括：所述请求设备组的标识、请求时间和所述数据处理请求所请求处理的待处理数据的数量，所述请求时间为所述请求设备组发送所述数据处理请求的时间。

3.根据权利要求2所述的数据处理方法，其特征在于，每一请求文件的文件名为该请求文件对应的数据处理请求的请求信息。

4.根据权利要求2所述的数据处理方法，其特征在于，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：

获取多个请求文件的请求信息；

根据所述请求时间确定每个请求文件中本次被获取的内容信息的数量。

5.根据权利要求2所述的数据处理方法，其特征在于，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：

根据所述请求信息，确定所述请求设备组的数量，其中，每个请求设备组对应至少一个请求文件；

确定各个请求设备组的权重；

根据所述请求设备组的权重和预设的数量阈值确定各个请求设备组的席位数量，所述席位数量为所述请求设备组对应的至少一个请求文件中本次被获取的内容信息的总数量；

针对每个请求设备组对应的至少一个请求文件，根据所述请求时间确定出总数量等于所述席位数量的内容信息。

6.根据权利要求5所述的数据处理方法，其特征在于，确定各个请求设备组的权重包括：

根据每个请求设备组对应的至少一个请求文件中最早的请求时间确定该请求设备组的优先级，其中，所述最早的请求时间越早，所述优先级越高；

根据每个请求设备组的优先级和所述请求设备组的数量确定该请求设备组的权重，其中，所述优先级越高，所述权重越大。

7.根据权利要求5所述的数据处理方法，其特征在于，根据所述请求时间确定出总数量等于所述席位数量的内容信息包括：

对于每个请求设备组对应的至少一个请求文件，按照所述请求时间的先后顺序，依次将每个请求文件中未被获取过的内容信息作为该请求文件中本次被获取的内容信息，直到确定出的内容信息的数量达到该请求设备组的席位数量为止。

8.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

对于每一请求文件，当获取到该请求文件对应的所有待处理数据的处理结果时，删除该请求文件。

9.一种数据处理装置，其特征在于，所述装置包括：

接收模块，用于接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；

文件生成模块，用于创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；

缓存模块，用于分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；

发送处理模块，用于将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据；

其中，所述多个请求文件存储在服务器的内存以外的外部存储器，预先设置有第一线程和第二线程，且预先设置有第一胶囊和第二胶囊，所述第一线程用于维护所述第一胶囊，所述第二线程用于维护所述第二胶囊，所述胶囊是指内存中预先设置的数据结构；

所述缓存模块第i次获取的内容信息通过所述第一线程写入所述第一胶囊中，并缓存在所述第一胶囊中；

当所述发送处理模块通过所述第一线程将所述第一胶囊中缓存的内容信息发送给所述多个执行终端时，所述缓存模块通过所述第二线程进行第i+1次的获取内容信息并写入所述第二胶囊中；

当所述第一胶囊中缓存的内容信息被消耗完毕，所述发送处理模块通过所述第二线程将所述第二胶囊中缓存的内容信息发送给所述执行终端，其中，将缓存的内容信息消耗完毕是指缓存的内容信息发送完成；

所述发送处理模块将所述第二胶囊中缓存的内容信息发送给所述执行终端时，所述缓存模块通过所述第一线程获取新的内容信息并缓存在所述第一胶囊中，当第二胶囊中缓存的内容信息被消耗完毕，所述发送处理模块开始消耗所述第一胶囊中的内容信息，其中，i≥1且i为正整数。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至8中任一项所述的数据处理方法的步骤。

11.一种计算设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述的数据处理方法的步骤。

Images