CN114281486A - 数据处理方法、装置、计算设备及介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、计算设备及介质，属于计算机技术领域。该方法通过容器来对用于提供数据处理功能的候选程序进行统一管理，从而使得在基于接收到的数据处理请求对应的待处理数据的数据量，生成用于对容器进行扩容和/或缩容的容量伸缩指令后，即可响应于容量伸缩指令，来对容器中所包括的候选程序的更新，进而即可通过容器中更新后的候选程序，来对待处理数据进行处理，无需进行虚拟机的新增或销毁，从而减少了扩容和/或缩容过程所耗费的时间，进而可以保证数据处理过程的及时性。

Description

数据处理方法、装置、计算设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算设备及介质。

背景技术

在分布式消息系统中，作为抗高并发大流量的中间件，可以根据实际的业务需求进行扩容和缩容，从而实现资源扩容和资源缩容。

相关技术中，在进行扩容时，需要先申请新的虚拟机，从而在新的虚拟机申请通过后，在新的虚拟机上部署新的中间件，以便可以在新的中间件上运行新部署的程序代码，从而实现资源扩容。在进行缩容时，需要先销毁虚拟机，再重新部署中间件，而已销毁的虚拟机所对应的程序代码也会被销毁，从而实现资源缩容。

在上述实现过程中，在进行资源扩缩容时，需要先进行虚拟机的新增或销毁，虚拟机新增或销毁完成后，才能进行中间件的部署，从而导致资源扩缩容耗费的时间较长，进而导致业务响应不及时。

发明内容

为克服相关技术中存在的问题，本申请提供了一种数据处理方法、装置、计算设备及介质。

根据本申请实施例的第一方面，提供一种数据处理方法，应用于计算设备，计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序；

该方法包括：

响应于接收到数据处理请求，基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，容量伸缩指令用于指示对容器进行扩容和/或缩容；

响应于容量伸缩指令，对容器中所包括的候选程序进行更新；

通过容器中更新后的候选程序，对待处理数据进行处理。

在本申请的一些实施例中，容量伸缩指令包括扩容指令和/或缩容指令；

基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，包括下述至少一项：

在待处理数据的数据量超过计算设备的负载的情况下，生成扩容指令；

在待处理数据的数据量未超过计算设备的负载的情况下，生成缩容指令。

在本申请的一些实施例中，响应于容量伸缩指令对容器中所包括的候选程序进行更新，包括下述至少一项：

响应于扩容指令，通过在容器中增加候选程序，对容器中所包括的候选程序进行更新；

响应于缩容指令，通过对容器中所包括的候选程序进行删除，对容器中所包括的候选程序进行更新。

在本申请的一些实施例中，该方法还包括：

响应于接收到数据处理请求，将数据处理请求对应的待处理数据存储至目标队列；

通过容器中更新后的候选程序，对待处理数据进行处理，包括：

通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果，包括：

通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并从目标队列中获取待处理数据；

通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该方法还包括：

在目标队列的缓存已满的情况下，响应于接收到数据处理请求，对数据处理请求对应的待处理数据进行分布式存储；

通过容器中更新后的候选程序，对待处理数据进行处理，包括：

通过容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，通过容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到数据处理请求的处理结果，包括：

通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并获取采用分布式存储方式所存储的待处理数据；

通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果，包括：

基于目标程序创建计算实例，通过计算实例对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该方法还包括：

在通过计算实例对待处理数据进行处理的过程中，检测计算实例的运行情况；

在计算实例的运行情况满足设定条件的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

在本申请的一些实施例中，设定条件包括下述至少一项：

计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值；

计算实例的数据处理速度小于第二设定阈值。

根据本申请实施例的第二方面，提供一种数据处理装置，应用于计算设备，计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序；

该装置包括：

生成模块，用于响应于接收到数据处理请求，基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，容量伸缩指令用于指示对容器进行扩容和/或缩容；

更新模块，用于响应于容量伸缩指令，对容器中所包括的候选程序进行更新；

处理模块，用于通过容器中更新后的候选程序，对待处理数据进行处理。

在本申请的一些实施例中，容量伸缩指令包括扩容指令和/或缩容指令；

该生成模块，在用于基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令时，用于下述至少一项：

在待处理数据的数据量超过计算设备的负载的情况下，生成扩容指令；

在待处理数据的数据量未超过计算设备的负载的情况下，生成缩容指令。

在本申请的一些实施例中，该更新模块，在用于响应于容量伸缩指令，对容器中所包括的候选程序进行更新时，用于下述至少一项：

响应于扩容指令，通过在容器中增加候选程序，对容器中所包括的候选程序进行更新；

响应于缩容指令，通过对容器中所包括的候选程序进行删除，对容器中所包括的候选程序进行更新。

在本申请的一些实施例中，该装置还包括：

存储模块，用于响应于接收到数据处理请求，将数据处理请求对应的待处理数据存储至目标队列；

该处理模块，在用于通过容器中更新后的候选程序，对待处理数据进行处理时，用于：

通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，该处理模块，在用于通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果时，包括确定单元和处理单元；

该确定单元，用于通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并从目标队列中获取待处理数据；

该处理单元，用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该存储模块，还用于在目标队列的缓存已满的情况下，响应于接收到数据处理请求，对数据处理请求对应的待处理数据进行分布式存储；

该处理模块，在用于通过容器中更新后的候选程序，对待处理数据进行处理时，用于：

通过容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，该确定单元，还用于通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并获取采用分布式存储方式所存储的待处理数据；

该处理单元，还用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该处理单元，在用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果时，用于：

基于目标程序创建计算实例，通过计算实例对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该装置还包括：

检测模块，用于在通过计算实例对待处理数据进行处理的过程中，检测计算实例的运行情况；

该处理模块，还用于在计算实例的运行情况满足设定条件的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

在本申请的一些实施例中，设定条件包括下述至少一项：

计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值；

计算实例的数据处理速度小于第二设定阈值。

根据本申请实施例的第三方面，提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述数据处理方法所执行的操作。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有程序，程序被处理器执行上述数据处理方法所执行的操作。

根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述数据处理方法所执行的操作。

本申请的实施例提供的技术方案可以包括以下有益效果：

通过容器来对用于提供数据处理功能的候选程序进行统一管理，从而使得在基于接收到的数据处理请求对应的待处理数据的数据量，生成用于对容器进行扩容和/或缩容的容量伸缩指令后，即可响应于容量伸缩指令，来对容器中所包括的候选程序的更新，进而即可通过容器中更新后的候选程序，来对待处理数据进行处理，无需进行虚拟机的新增或销毁，从而减少了扩容和/或缩容过程所耗费的时间，进而可以保证数据处理过程的及时性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请根据一示例性实施例示出的一种数据处理方法的实施环境示意图。

图2是本申请根据一示例性实施例示出的一种数据处理方法的流程图。

图3是本申请根据一示例性实施例示出的一种数据处理方法的流程示意图。

图4是本申请根据一示例性实施例示出的一种数据处理装置的框图。

图5是本申请根据一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如本申请中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供了一种服务资源的处理方法，可以由计算设备执行，用于对计算设备的资源池中用于存储候选程序的容器进行扩容或缩容，该计算设备可以为服务器。其中，计算设备可以为用户提供订单处理服务、支付服务、搜索服务，等等。

参见图1，图1是本申请根据一示例性实施例示出的一种数据处理方法的实施环境示意图，以计算设备为服务器为例，该实施环境可以包括：终端101和服务器102。

终端101可以为台式计算机、便携式计算机、笔记本电脑、智能手机、智能手表、多功能一体机等，服务器102可以为一台服务器、多台服务器、服务器集群、云计算平台等，本申请对终端101和服务器102的设备类型和设备数量均不加以限定。

在一种可能的实现方式中，计算设备在接收到用户通过终端101触发的数据处理请求后，可以通过本申请所提供的数据处理方法，来对位于服务器102的资源池中的容器进行扩容和/或缩容，进而通过扩容和/或缩容后的容器中所包括的候选程序，来对数据处理请求进行处理，并向终端101返回数据处理请求的处理结果，以便用户可以实现对相应服务的使用。

上述仅为对本申请应用场景的示例性说明，并不构成对本申请应用场景的限定，在更多可能的实现方式中，本申请可以应用在其他多种涉及到扩容和缩容过程的数据处理过程中。

在介绍了本申请的应用场景后，接下来结合本说明书实施例，对本申请所提供的数据处理方法进行详细说明。

参见图2，图2是本申请根据一示例性实施例示出的一种数据处理方法的流程图，该方法可以应用于计算设备，计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序，该方法包括以下步骤：

步骤201、响应于接收到数据处理请求，基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，容量伸缩指令用于指示对容器进行扩容和/或缩容。

步骤202、响应于容量伸缩指令，对容器中所包括的候选程序进行更新。

步骤203、通过容器中更新后的候选程序，对待处理数据进行处理。

通过容器来对用于提供数据处理功能的候选程序进行统一管理，从而使得在基于接收到的数据处理请求对应的待处理数据的数据量，生成用于对容器进行扩容和/或缩容的容量伸缩指令后，响应于容量伸缩指令，来对容器中所包括的候选程序的更新，进而即可通过容器中更新后的候选程序，来对待处理数据进行处理，无需进行虚拟机的新增或销毁，从而减少了扩容和/或缩容过程所耗费的时间，进而可以保证数据处理过程的及时性。

在介绍了本申请的基本实现过程之后，下面具体介绍本申请的各种非限制性实施方式。

可选地，计算设备中可以包括多个容器，不同的容器可以用于存储提供相同类型的数据处理功能的候选程序，或者，不同的容器可以用于存储提供不同类型的数据处理功能的候选程序，也即是，不同容器中所存储的候选程序可以用于执行相同类型的数据处理任务，还可以用于执行不同类型的数据处理任务。因而，在扩容缩容过程中，可能需要同时对各个容器进行扩容，或者，同时对各个容器进行缩容，或者，在对某些容器进行扩容的同时，对某些容器进行缩容。也即是，容量伸缩指令可以包括扩容指令和/或缩容指令。

在一些实施例中，对于步骤201，在基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令时，可以基于数据处理请求所对应的待处理数据的数据量，以及计算设备的负载，来进行容量伸缩指令的生成。

需要说明的是，计算设备的负载可以指示计算设备所能处理的最大数据量，通过将待处理数据的数据量与计算设备的负载进行比较，即可确定计算设备当前的负载能否完成对待处理数据的处理，从而根据确定出的结果，来对容器进行扩容和/或缩容。

在一些实施例中，在生成容量伸缩指令时，可以包括下述至少一项：

在一种可能的实现方式中，在待处理数据的数据量超过计算设备的负载的情况下，生成扩容指令。

在另一种可能的实现方式中，在待处理数据的数据量未超过计算设备的负载的情况下，生成缩容指令。

通过基于待处理数据的数据量以及计算设备的负载，来生成相应的指令，以便可以在计算设备当前的负载能够完成对待处理数据的处理，来基于待处理数据的数据量，对容器进行缩容，使得在保证容器所包括的候选程序能够完成待处理数据的处理的前提下，减少计算资源的浪费。而在计算设备当前的负载无法完成对待处理数据的处理，基于待处理数据的数据量，来对容器进行扩容，使得扩容后的容器所报考的候选程序能够完成待处理数据的处理，使得数据处理过程能够顺利完成。

基于上述实施例，对于步骤202，在响应于容量伸缩指令，对容器中所包括的候选程序进行更新时，可以包括如下两种实现方式中的至少一项：

在一种可能的实现方式中，响应于扩容指令，通过在容器中增加候选程序，对容器中所包括的候选程序进行更新。

在另一种可能的实现方式中，响应于缩容指令，通过对容器中所包括的候选程序进行删除，对容器中所包括的候选程序进行更新。

通过对容器中所包括的候选程序的增加或删除，即可实现对容器的扩容或缩容，从而使得扩容或缩容后的容器所包括的候选程序，能够完成对待处理数据的处理，且不会造成计算资源的浪费。

上述过程是以计算设备根据待处理数据的数据量，自动进行扩容和缩容为例来进行说明的，在更多可能的实现方式中，相关技术人员还可以根据业务需求，手动控制计算设备进行扩容或缩容。

在一种可能的实现方式中，相关技术人员可以通过容器服务管理控制台，来触发容量伸缩指令，从而由容器服务管理控制台，来将容量伸缩指令发送给相应的计算设备，以便计算设备可以接收到容量伸缩指令，并基于接收到的容器伸缩指令，来对容器进行扩容和/或缩容。

在一些实施例中，在完成容器的扩容和/或缩容后，即可通过扩容和/或缩容后的容器所包括的候选程序，来对终端发起的数据处理请求进行处理。

在一些实施例中，在接收到数据处理请求后，可以先对数据处理请求所对应的待处理数据进行存储，从而对已存储的待处理数据进行处理。

在一种可能的实现方式中，响应于接收到数据处理请求，将数据处理请求对应的待处理数据存储至目标队列。

其中，目标队列可以用于存储待处理的多个数据处理请求所对应的待处理数据。也即是，计算设备在接收到一个数据处理请求后，在目标队列为空的情况下，即可将接收到的数据处理请求所对应的待处理数据存储至目标队列的队列头部，而在目标队列中已存储有待处理数据的情况下，则可以将接收到的数据处理请求所对应的待处理数据，存储至用于存储已存储的待处理数据所对应的第一存储位置之后的第二存储位置处。

通过在接收到数据处理请求后，将数据处理请求对应的待处理数据存储至目标队列，以便在计算设备无法立即对待处理数据进行处理时，可以通过目标队列对待处理数据进行存储，以便计算设备可以从目标队列中获取到待处理数据，从而对待处理数据进行处理。

此外，由于队列是一种先进先出的数据结果，因而，通过目标队列来对待处理数据进行存储，可以保证数据生成时间靠前的待处理数据，可以存储在目标队列中靠前的位置处，从而使得计算设备在对目标队列中的待处理数据进行处理时，可以按照时间顺序，来实现待处理数据的处理。

另外，通过目标队列对待处理数据进行处理，而候选程序是通过容器进行存储的，从而可以实现数据和程序的隔离，进而可以保证计算设备的正常运行。

基于上述过程，对于步骤203，在通过容器中更新后的候选程序，对待处理数据进行处理时，可以通过如下方式实现：

通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果。

在一种可能的实现方式中，上述通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果的过程，可以包括如下步骤：

步骤203A-1、通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并从目标队列中获取待处理数据。

需要说明的是，计算设备中可以包括一个或多个资源池，每个资源池中可以包括一个或多个容器，每个容器均可以用于存储至少一个候选程序。

在一种可能的实现方式中，数据处理请求可以关联有用于对数据处理请求进行处理的资源池，则在通过代理服务访问容器时，可以通过代理服务，访问数据处理请求所关联的资源池中的至少一个容器，从而从这至少一个容器中所存储的至少一个候选程序中，确定出目标程序，并从目标队列中获取数据处理请求对应的待处理数据。

可选地，若数据处理请求并未关联有资源池，则可以通过代理服务，访问默认资源池中的至少一个容器，从而从这至少一个容器中所存储的至少一个候选程序中，确定出目标程序，并从目标队列中获取数据处理请求对应的待处理数据。

需要说明的是，由于资源池中的各个容器可以共享资源池中的资源，因而，在从资源池的至少一个容器中所存储的至少一个候选程序中，确定出目标程序时，可以从资源池所包括的任一个容器中所存储的至少一个候选程序中，来确定目标程序。

可选地，所确定出的目标程序可以为一个，也可以为多个，也即是，可以通过一个目标程序来对数据处理请求进行处理，也可以通过多个目标程序共同处理数据处理请求。

步骤203A-2、通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在一种可能的实现方式中，基于目标程序创建计算实例，通过计算实例对待处理数据进行处理，得到待处理数据对应的数据处理结果。

可选地，可以基于目标程序创建一个或多个计算实例，从而通过这一个或多个计算实例，来对待处理数据进行处理。

上述过程是以在获取到待处理数据后，将待处理数据存储至目标队列，从而基于目标队列中的待处理数据来进行数据处理为例来进行说明的，在更多可能的实现方式中，目标队列的存储容量可能是有限的，从而可能出现目标队列缓存已满的情况，因而，在另一些实施例中，还可以将待处理数据存储到除目标队列之外的其他数据存储结构中。

在一种可能的实现方式中，在目标队列的缓存已满的情况下，响应于接收到数据处理请求，对数据处理请求对应的待处理数据进行分布式存储。

也即是，可以采用分布式存储的方式，来存储待处理的多个数据处理请求所对应的待处理数据。计算设备在接收到一个数据处理请求后，在目标队列的缓存已满的情况下，即可采用分布式存储的方式，来对接收到的数据处理请求所对应的待处理数据进行存储。

通过在目标队列的缓存已满的情况下，采用分布式存储的方式来对数据处理请求对应的待处理数据进行存储，以保证在目标队列的缓存已满的情况下，仍然能够实现对待处理数据的存储，从而使得计算设备可以获取到采用分布式存储方式所存储的尚未被处理的待处理数据，从而实现对待处理数据的处理。

在更多可能情况下，目标队列的缓存可能未满，但剩余的可用空间可能不足以存储数据处理请求对应的待处理数据，此时，可以将数据量与目标队列的剩余可用空间匹配的待处理数据存储至目标队列中，而对剩余的待处理数据进行分布式存储。

通过将部分待处理数据存储到目标队列，使得计算设备可以快速读取到这部分数据，而对剩余部分的待处理数据进行分布式存储，使得计算设备可以获取到完整的待处理数据，进而保证数据处理结果的准确性。

基于上述过程，对于步骤203，在通过容器中更新后的候选程序，对待处理数据进行处理时，还可以通过如下方式实现：

步骤203B-1、通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并获取采用分布式存储方式所存储的待处理数据。

该步骤的实现过程可以参见上述步骤203A-1，此处不再赘述。需要说明的是，若计算设备将数据量与目标队列的剩余可用空间匹配的待处理数据存储到了目标队列中，而对剩余的待处理数据采用了分布式存储的方式进行存储，则在获取待处理数据时，需要从目标队列获取待处理数据，并获取采用分布式存储方式所存储的待处理数据。

步骤203B-2、通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

该步骤的实现过程可以参见上述步骤203A-2，此处不再赘述。

可选地，对于通过上述步骤203A-2或步骤203B-2所获取到的数据处理结果，也可以采用分布式存储的方式进行存储，以便后续可以获取到采用分布式存储方式所存储的当前时间以前的数据处理结果，从而可以基于获取到的数据处理结果进行统计分析。

也即是，在步骤203A-2或步骤203B-2之后，该方法还可以包括：

步骤204、对数据处理结果进行分布式存储。

需要说明的是，可以采用分布式存储的方式存储第一目标时间段内的数据处理结果。

在一种可能的实现方式中，计算设备可以按照各个数据处理结果的生成时间，来维护采用分布式存储方式所存储的数据处理结果。也即是，在任一数据处理结果的生成时间不在第一目标时间段内的情况下，删除该任一数据处理结果。该第一目标时间段可以为任意时间段，例如，该第一目标时间段可以为当前时间之前的24小时之内。

可选地，计算设备可以周期性检测采用分布式存储方式所存储的数据处理结果的生成时间，也即是，可以每隔第三预设时长，对采用分布式存储方式所存储的数据处理结果的生成时间进行检测，从而在检测到生成时间不在第一目标时间段内的数据处理结果的情况下，即删除生成时间不在第一目标时间段内的数据处理结果。其中，第三预设时长可以为任意时长，本申请对此不加以限定。

此外，计算设备除可以采用分布式存储的方式来对数据处理结果进行存储外，还可以在处理完待处理数据后，采用分布式存储的方式对待处理数据进行存储，以便后续可以基于采用分布式存储方式所存储的数据进行数据溯源。

需要说明的是，还可以采用分布式存储的方式来存储第二目标时间段内的处理完成的数据。

在一种可能的实现方式中，计算设备可以通过代理服务访问消息队列，从而从消息队列中获取处理完成的数据，以便通过代理服务，采用分布式存储的方式，对处理完成的数据进行存储。

此外，计算设备还可以按照各个待处理数据的处理完成时间，来维护采用分布式存储方式所存储的数据。也即是，在所存储的数据的处理完成时间不在第二目标时间段内的情况下，删除不在第二目标时间段内的数据。该第二目标时间段可以为任意时间段，此外，该第二目标时间段可以与第一目标时间段相同，也可以与第一目标时间段不同。

可选地，计算设备可以周期性检测采用分布式存储方式所存储的数据的处理完成时间，也即是，可以每隔第四预设时长，对采用分布式存储方式所存储的数据的处理完成时间进行检测，从而在检测到处理完成时间不在第二目标时间段内的数据的情况下，即删除处理完成时间不在第二目标时间段内的数据。其中，第四预设时长可以为任意时长，此外，第四预设时长可以与第三预设时长相同，也可以与第三预设时长不同。

本申请及上述各个实施例所提供的数据处理方法可以参见图3，图3是本申请根据一示例性实施例示出的一种数据处理方法的流程示意图，计算设备可以通过代理服务访问消息队列或分布式存储，来获取待处理数据，并通过代理服务访问容器，来获取用于处理待处理数据的目标程序，从而通过目标程序来对待处理数据进行处理。

图3所示仅为关于本申请的流程性说明，具体实现方式可以参见上述各个实施例，此处不再赘述。

在一些实施例中，计算设备还可以提供任务故障自动恢复和实例活性检索的功能。

在一种可能的实现方式中，可以在通过计算实例对待处理数据进行处理的过程中，检测计算实例的运行情况；在计算实例的运行情况满足设定条件的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

其中，该设定条件可以为计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值。

也即是，可以在通过计算实例对待处理数据进行处理的过程中，检测计算实例在第一预设时长内的数据处理进度，在计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

其中，第一预设时长可以为任意时长，第一设定阈值可以为任意取值，本申请对此不加以限定。例如，第一预设时长可以为30秒，第一设定阈值可以为5％，则若计算实例在30秒内的数据处理进度未达到5％，即可通过目标程序所对应的空闲计算实例，来继续对待处理数据进行处理。

计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值，表明计算实例很有可能发生了故障，此时通过目标程序所对应的空闲计算实例继续对待处理数据进行处理，可以实现任务故障时的自动恢复，进而保证数据处理过程的正常进行。

可选地，该设定条件还可以为计算实例的数据处理速度小于第二设定阈值。

也即是，可以在通过计算实例对待处理数据进行处理的过程中，检测计算实例的数据处理速度，在计算实例的数据处理速度小于第二设定阈值的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

其中，第二设定阈值可以为任意速度值，本申请对此不加以限定。

在一种可能的实现方式中，在检测计算实例的数据处理速度时，可以检测计算实例在第二预设时长内的数据处理进度，从而基于计算实例在第二预设时长内的数据处理进度，确定计算实例的数据处理速度。可选地，可以将数据处理进度与第二预设时长的比值，确定为计算实例的数据处理速度。

计算实例的数据处理速度小于第二设定阈值，表明计算实例的活性较低，此时通过目标程序对应的空闲计算实例继续对待处理数据进行处理，可以保证用于进行数据处理的计算实例的高活性，从而提高数据处理速度。

与前述方法的实施例相对应，本申请还提供了相应的数据处理装置及其所应用的计算设备的实施例。

如图4所示，图4是本申请根据一示例性实施例示出的一种数据处理装置的框图，该装置可以应用于计算设备，计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序；

该装置包括：

生成模块401，用于响应于接收到数据处理请求，基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，容量伸缩指令用于指示对容器进行扩容和/或缩容；

更新模块402，用于响应于容量伸缩指令，对容器中所包括的候选程序进行更新；

处理模块403，用于通过容器中更新后的候选程序，对待处理数据进行处理。

在本申请的一些实施例中，容量伸缩指令包括扩容指令和/或缩容指令；

该生成模块401，在用于基于数据处理请求对应的待处理数据的数据量，生成容量伸缩指令时，用于下述至少一项：

在待处理数据的数据量超过计算设备的负载的情况下，生成扩容指令；

在待处理数据的数据量未超过计算设备的负载的情况下，生成缩容指令。

在本申请的一些实施例中，该更新模块402，在用于响应于容量伸缩指令，对容器中所包括的候选程序进行更新时，用于下述至少一项：

响应于扩容指令，通过在容器中增加候选程序，对容器中所包括的候选程序进行更新；

响应于缩容指令，通过对容器中所包括的候选程序进行删除，对容器中所包括的候选程序进行更新。

在本申请的一些实施例中，该装置还包括：

存储模块，用于响应于接收到数据处理请求，将数据处理请求对应的待处理数据存储至目标队列；

该处理模块403，在用于通过容器中更新后的候选程序，对待处理数据进行处理时，用于：

通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，该处理模块403，在用于通过容器中更新后的候选程序，对目标队列中的待处理数据进行处理，得到数据处理请求的处理结果时，包括确定单元和处理单元；

该确定单元，用于通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并从目标队列中获取待处理数据；

该处理单元，用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该存储模块，还用于在目标队列的缓存已满的情况下，响应于接收到数据处理请求，对数据处理请求对应的待处理数据进行分布式存储；

该处理模块403，在用于通过容器中更新后的候选程序，对待处理数据进行处理时，用于：

通过容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到数据处理请求的处理结果。

在本申请的一些实施例中，该确定单元，还用于通过代理服务访问容器，从容器所包括的更新后的候选程序中，确定用于处理待处理数据的目标程序，并获取采用分布式存储方式所存储的待处理数据；

该处理单元，还用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该处理单元，在用于通过目标程序对待处理数据进行处理，得到待处理数据对应的数据处理结果时，用于：

基于目标程序创建计算实例，通过计算实例对待处理数据进行处理，得到待处理数据对应的数据处理结果。

在本申请的一些实施例中，该装置还包括：

检测模块，用于在通过计算实例对待处理数据进行处理的过程中，检测计算实例的运行情况；

该处理模块403，还用于在计算实例的运行情况满足设定条件的情况下，通过目标程序所对应的空闲计算实例，继续对待处理数据进行处理。

在本申请的一些实施例中，设定条件包括下述至少一项：

计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值；

计算实例的数据处理速度小于第二设定阈值。

上述装置中各个模块/单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请还提供了一种计算设备，参见图5，图5是本申请根据一示例性实施例示出的一种计算设备的结构示意图。如图5所示，计算设备包括处理器510、存储器520和网络接口530，存储器520用于存储可在处理器510上运行的计算机指令，处理器510用于在执行所述计算机指令时实现本申请任一实施例所提供的数据处理方法，网络接口530用于实现输入输出功能。在更多可能的实现方式中，计算设备还可以包括其他硬件，本申请对此不做限定。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质可以是多种形式，比如，在不同的例子中，计算机可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。特殊的，计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例所提供的数据处理方法。

本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请任一实施例所提供的数据处理方法。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、装置、计算设备、计算机可读存储介质或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算设备所对应的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在本申请的范围内。在一些情况下，在本申请中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在本申请的范围以内。在某些情况下，本申请中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。也即是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

以上所述仅为本说明书的可选实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，应用于计算设备，所述计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序；

所述方法包括：

响应于接收到数据处理请求，基于所述数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，所述容量伸缩指令用于指示对所述容器进行扩容和/或缩容；

响应于所述容量伸缩指令，对所述容器中所包括的候选程序进行更新；

通过所述容器中更新后的候选程序，对所述待处理数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述容量伸缩指令包括扩容指令和/或缩容指令；

所述基于所述数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，包括下述至少一项：

在所述待处理数据的数据量超过所述计算设备的负载的情况下，生成扩容指令；

在所述待处理数据的数据量未超过所述计算设备的负载的情况下，生成缩容指令。

3.根据权利要求2所述的方法，其特征在于，所述响应于所述容量伸缩指令，对所述容器中所包括的候选程序进行更新，包括下述至少一项：

响应于所述扩容指令，通过在所述容器中增加候选程序，对所述容器中所包括的候选程序进行更新；

响应于所述缩容指令，通过对所述容器中所包括的候选程序进行删除，对所述容器中所包括的候选程序进行更新。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于接收到数据处理请求，将所述数据处理请求对应的待处理数据存储至目标队列；

所述通过所述容器中更新后的候选程序，对所述待处理数据进行处理，包括：

通过所述容器中更新后的候选程序，对所述目标队列中的待处理数据进行处理，得到所述数据处理请求的处理结果。

5.根据权利要求4所述的方法，其特征在于，所述通过所述容器中更新后的候选程序，对所述目标队列中的待处理数据进行处理，得到所述数据处理请求的处理结果，包括：

通过代理服务访问所述容器，从所述容器所包括的更新后的候选程序中，确定用于处理所述待处理数据的目标程序，并从所述目标队列中获取所述待处理数据；

通过所述目标程序对所述待处理数据进行处理，得到所述待处理数据对应的数据处理结果。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述目标队列的缓存已满的情况下，响应于接收到数据处理请求，对所述数据处理请求对应的待处理数据进行分布式存储；

所述通过所述容器中更新后的候选程序，对所述待处理数据进行处理，包括：

通过所述容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到所述数据处理请求的处理结果。

7.根据权利要求6所述的方法，其特征在于，所述通过所述容器中更新后的候选程序，对采用分布式存储方式所存储的待处理数据进行处理，得到所述数据处理请求的处理结果，包括：

通过代理服务访问所述容器，从所述容器所包括的更新后的候选程序中，确定用于处理所述待处理数据的目标程序，并获取采用分布式存储方式所存储的所述待处理数据；

通过所述目标程序对所述待处理数据进行处理，得到所述待处理数据对应的数据处理结果。

8.根据权利要求5或7所述的方法，其特征在于，所述通过所述目标程序对所述待处理数据进行处理，得到所述待处理数据对应的数据处理结果，包括：

基于所述目标程序创建计算实例，通过所述计算实例对所述待处理数据进行处理，得到所述待处理数据对应的数据处理结果。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在通过所述计算实例对所述待处理数据进行处理的过程中，检测所述计算实例的运行情况；

在所述计算实例的运行情况满足设定条件的情况下，通过所述目标程序所对应的空闲计算实例，继续对所述待处理数据进行处理。

10.根据权利要求9所述的方法，其特征在于，所述设定条件包括下述至少一项：

所述计算实例的数据处理进度在第一预设时长内的变化值小于第一设定阈值；

所述计算实例的数据处理速度小于第二设定阈值。

11.一种数据处理装置，其特征在于，应用于计算设备，所述计算设备采用容器来存储至少一个用于提供数据处理功能的候选程序；

所述装置包括：

生成模块，用于响应于接收到数据处理请求，基于所述数据处理请求对应的待处理数据的数据量，生成容量伸缩指令，所述容量伸缩指令用于指示对所述容器进行扩容和/或缩容；

更新模块，用于响应于所述容量伸缩指令，对所述容器中所包括的候选程序进行更新；

处理模块，用于通过所述容器中更新后的候选程序，对所述待处理数据进行处理。

12.一种计算设备，其特征在于，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至10中任一项所述的数据处理方法所执行的操作。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行如权利要求1至10中任一项所述的数据处理方法所执行的操作。

Images