CN112565317B - 混合云系统及其数据处理方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种混合云系统及其数据处理方法、设备及存储介质。在本申请实施例中，混合云系统包括：私有云、公有云以及中间缓存层。其中，中间缓存层与公有云连接，并存储有私有云中的部分或全部数据。基于此，公有云中的计算节点可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

Description

混合云系统及其数据处理方法、设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种混合云系统及其数据处理方法、设备及存储介质。

背景技术

近年来，云计算发展迅猛，数据上云逐渐成为主流趋势。但出于数据安全以及迁云成本的考虑，混合云模式应运而生。其中，混合云模式是指在任务过多时将多出的任务量“弹”到公共云上进行处理。

但是，在现有混合云模式下，当云上任务需要进行密集型读写时，由于受到网络带宽的限制，数据读取效率较低。

发明内容

本申请的多个方面提供一种混合云系统及其数据处理方法、设备及存储介质，用以减轻混合云专线网络的压力，从而可降低网络带宽对数据传输的限制，进而可提高数据传输效率。

本申请实施例提供一种混合云系统，包括：私有云、公有云以及中间缓存层；

所述中间缓存层与所述公有云连接，并存储有所述私有云中的部分或全部数据；

所述公有云中的计算节点，用于在所述中间缓存层中查询待执行任务所需的目标数据；并在在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；根据所述目标数据执行所述待执行任务。

本申请实施例还提供一种数据处理方法，其特征在于，包括：

根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询所述目标数据；

在在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；

根据所述目标数据，执行所述待执行任务；

其中，所述中间缓存层与所述公有云连接，并存储有所述混合云系统中的私有云中的部分或全部数据。

本申请实施例还提供一种计算机设备，实现为公有云中的计算节点，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；

所述处理器耦合至所述存储器，用于执行所述计算机程序以用于：

根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询所述目标数据；

在在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；

根据所述目标数据，执行所述待执行任务；

其中，所述中间缓存层与所述公有云连接，并存储有所述混合云系统中的私有云中的部分或全部数据。

本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述数据处理方法中的步骤。

在本申请实施例中，提供一种由私有云、公有云以及中间缓存层构成的混合云系统。其中，中间缓存层与公有云连接，并存储有私有云中的部分或全部数据。基于此，公有云中的计算节点可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请实施例提供的一种混合云系统的结构示意图；

图1b为本申请实施例提供的另一种混合云系统的结构示意图；

图2a为本申请实施例提供的一种数据处理方法的流程示意图；

图2b为本申请实施例提供的另一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有混合云系统由于受到网络带宽的限制，数据读取效率较低的技术问题，在本申请一些实施例中提供一种由私有云、公有云以及中间缓存层构成的混合云系统。其中，中间缓存层与公有云连接，并存储有私有云中的部分或全部数据。基于此，公有云中的计算节点可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1a为本申请实施例提供的一种混合云系统的结构示意图。如图1a所示，该系统包括：私有云11、公有云12以及中间缓存层13。其中，图1a中所提供的私有云11、公有云12以及中间缓存层13的结构均为示例性说明，并不对其进行限定。

在本实施例中，私有云11是指由云服务客户控制，用于单一云服务用户和资源专用的云部署模式。私有云可能由企业本身或第三方拥有、管理和运营，可能部署在用户工作场所内或用户本地互联网数据中心(Internet Data Center，IDC)。其中，私有云11中存储有与混合云系统执行的任务所需的数据，并可提供相应的数据查询服务。

在本实施例中，公有云12是指由云服务提供商控制，用于云服务用户和资源的云部署模式。云服务商构建基础架构，整合资源构建云端虚拟资源池，根据需要分配给多租户使用。

在本实施例中，私有云11和公有云12之间可采用专线网络或虚拟专线网络(Virtual Private Network，VPN)通信连接。其中，专线网络或VPN的带宽一般不超过10Gbps。

在本实施例中，中间缓存层13中存储有私有云11中的部分或全部数据，并向公有云12提供相关数据查询服务。可选地，中间缓存层13中存储的数据可以为公有云12执行的历史任务的相关数据。可选地，中间缓存层13中存储的部分或全部数据为公有云13执行历史任务的过程中从私有云11中获取的数据。

在本实施例中，混合云系统可在任务量较小时，在私有云11中执行任务；而当任务量较大时，会将部分或全部任务交由公有云12中执行。其中，私有云11执行任务时，可从私有云11本地获取所执行的任务所需的数据。公有云12执行任务时，可从中间缓存层13或私有云12中获取所执行的任务所需的数据。在本申请实施例中，重点对公有云12如何进行数据处理的过程进行说明。

其中，如图1a所示，公有云12进行数据处理主要由公有云12中的计算节点12a完成。为了便于描述和区分，在本申请实施例中，将公有云12中的计算节点，定义为第一计算节点。其中，第一计算节点12a的数量为1个或多个。在本申请实施例中，多个是指2个或2个以上。图1a中所示的第一计算节点12a的数量和实现形态均为示例性说明，并不对其构成限定。

在本实施例中，第一计算节点12a可以是具有数据处理和查询功能的软件模块、应用程序、服务或一台实体设备。多个第一计算节点12a可以部署在不同的物理机上，也可以部署在不同容器或虚拟机(Virtual Machine，VM)中。当然，这些容器或虚拟机可以部署在同一物理机上，也可以部署在多个不同的物理机上。

其中，物理机可以为单一服务器设备，也可以云化的服务器阵列，或者为云化的服务器阵列中运行的VM。另外，物理机也可以指具备相应服务能力的其他计算设备，例如电脑等终端设备(运行服务程序)等。

可选地，不同的物理机之间可以是无线或有线连接。例如，不同的物理机之间可采用网线或通信光纤连接。或者，不同物理机之间可以可以通过移动网络通信连接，相应地，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种。可选地，不同物理机之间也可以通过蓝牙、WiFi、红外线、虚拟私有云(Virtual Private Cloud，VPC)或远程直接数据存取(RemoteDirect Memory Access，RDMA)等方式通信连接。

在本实施例中，中间缓存层13与公有云12连接。可选地，中间缓存层13作为公有云12的存储介质挂载在公有云13上。基于此，公有云12中的第一计算节点12a针对待执行任务，可在中间缓存层13中查询待执行任务所需的目标数据。可选地，第一计算节点12a可根据目标数据的标识，在中间缓存层13中查询目标数据。

进一步，若第一计算节点12a在中间缓存层中查询到目标数据，则从中间缓存层13中获取目标数据；并根据目标数据执行待执行任务。

其中，公有云中的第一计算节点12a可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

相应地，若第一计算节点12a在中间缓存层13中未查询到目标数据，则根据目标数据的标识，从私有云11中获取目标数据，并将目标数据存储至中间缓存层13中。其中，第一计算节点12a从私有云11中获取目标数据的具体实施方式将在下述实施例中进行描述，在此暂不详述。

可选地，第一计算节点12a可从中间缓存层13中获取目标数据，并根据目标数据执行待执行任务；或者，直接根据从私有云11中获取的目标数据，执行待执行任务。其中，第一计算节点12a直接根据从私有云11中获取的目标数据执行待执行任务和将从私有云11中获取的目标数据存储至中间缓存层13的操作可以并行执行，也可以顺序执行。当二者顺序执行时，在本申请实施例中，不限定二者的执行顺序。

在本申请实施例中，由公有云中的计算节点执行向中间缓存层中读写数据的缓存处理逻辑，并由公有云中的计算节点从私有云中获取数据，可降低对中间缓存层的资源消耗。这样因为：若采用中间缓存层从私有云中获取数据，若计算节点执行并发任务，特别是执行并发的I/O密集型任务，中间缓存层则需要高频率地从私有云中获取数据，若其读取数据频率过高，则可能导致中间缓存层资源不足。而本申请实施例中，由公有云中的计算节点从私有云中获取数据，可有效降低中间缓存层的资源消耗。

进一步，本申请实施例中，公有云的计算节点实现的缓存处理逻辑为轻量级的，缓存处理逻辑可分布于公有云中的每台计算节点，有助于实现计算节点之间的负载均衡，可降低从私有云中读取数据而带来的资源消耗，进而可实现应对混合云模式下公有云中的计算资源的大规模扩展。

另一方面，在本申请实施例中，公有云中的计算节点从中间缓存层中读取数据以及从私有云中获取数据，并存储至中间缓存层中的数据迁移过程对用户是透明的，即可实现中间缓存层中的数据的自动更新、修改或维护等，这样用户只需关注任务本身，而无需对中间缓存层进行手动管理和维护，从而有助于降低中间缓存层的人力运维成本。

在本申请实施例中，为了便于描述和区分，将中间缓存层13中存储数据的节点设备，定义为第一存储节点13a，其数量为1个或多个。第一存储节点13a可以为具有数据存储功能，并可为第一计算节点12a提供数据查询功能的软件模块、应用程序、服务或一台实体设备。多个第一存储节点13a可以部署在不同的物理机上，也可以部署在不同容器或VM中。当然，这些容器或虚拟机可以部署在同一物理机上，也可以部署在多个不同的物理机上。

在本实施例中，第一计算节点12a和第一存储节点13a可以部署在不同的物理机上，也可以部署在不同的容器或虚拟机中。这些容器或虚拟机可以部署在同一物理机上，也可以部署在多台不同的物理机上。

若第一存储节点13a与第一计算节点12a部署在同一物理机上，第一存储节点13a可相当于第一计算节点12a的本地存储介质，即可实现中间缓存层13作为公有云12的存储介质挂载在公有云12上。

若第一计算节点12a和第一存储节点13a部署在不同的物理机上，则第一计算节点12a和第一存储节点13a之间采用高速专线网络连接。例如，VPC或RDMA网络等。也就是说，公有云12与中间缓存层13之间可采用高速专线网络通信连接公有云12与中间缓存层13之间可采用VPC网络或RDMA网络通信连接。可选地，中间缓存层13可部署在公有云12上，也可部署于除公有云12之外的其它物理空间。

进一步，在本申请实施例中，可基于网络附属存储(Network Attached Storage，NAS)或对象存储服务(Object Storage Service，OSS)构建中间缓存层13，从而实现中间缓存层13中的数据在公有云12中的第一计算节点12a之间的共享。相应地，中间缓存层13中的第一存储节点可为NAS节点或OSS节点。

进一步，若中间缓存层13中的第一存储节点为NAS节点，则读数据请求遵循NFS协议。这样，第一计算节点12a便可通过远程过程调用(Remote Procedure Call，RPC)来访问NAS节点，即通过使用NFS，第一计算节点12a可以像访问本地数据一样访问中间缓存层中的数据，从而实现中间缓存层13作为公有云12的存储介质挂载在公有云12上。

可选地，若中间缓存层13中的存储节点为OSS节点，则可具有与平台无关的应用程序编程接口(Application Programming Interface，API)，则公有云中的第一计算节点可采用OSS节点对应的API接口、软件开发工具包(Software Development Kit，SDK)接口或者OSS迁移工具将私有云中的数据迁移到中间缓存层。相应地，第一计算节点12a可通过调用OSS节点的API接口实现对OSS节点的访问，从而实现中间缓存层13作为公有云12的存储介质挂载在公有云12上。

在本申请实施例中，在本申请实施例中，混合云系统可在任务量较小时，在私有云11中执行任务；而当任务量较大时，会将部分或全部任务交由公有云12中执行。在实际应用中，如图1b所示，对于私有云11和公有云12，由各自的计算节点来执行任务。其中，为了便于描述和区分，分别将私有云11定义为第二计算节点11a。其中，第二计算节点11a的数量均可为1个或多个。

进一步，私有云11还包括至少一个存储节点11b。在本申请实施例中，为了便于描述和区分，将私有云11中的存储节点11b定义为第二存储节点11b。其中，第二存储节点11b中存储有与混合云系统执行的任务所需的数据。第二存储节点11b的数量可以为1个或多个。

其中，第二存储节点11b可以为混合云系统中的第二计算节点11a和第一计算节点12a提供数据查询功能的软件模块、应用程序、服务或一台实体设备。多个第二存储节点11b可以部署在不同的物理机上，也可以部署在不同容器或虚拟机(Virtual Machine，VM)中。当然，这些容器或虚拟机可以部署在同一物理机上，也可以部署在多个不同的物理机上。

在本实施例中，第二计算节点11a可以是具有数据处理和查询功能的软件模块、应用程序、服务或一台实体设备。第二存储节点11b可以为具有数据存储和可提供数据查询功能的软件模块、应用程序、服务或一台实体设备。多个第二计算节点11a可以部署在不同的物理机上，也可以部署在不同容器或虚拟机(Virtual Machine，VM)中。当然，这些容器或虚拟机可以部署在同一物理机上，也可以部署在多个不同的物理机上。当然，多个第二存储节点11b也可以部署在不同的物理机上，也可以部署在不同的容器或虚拟机中。这些容器或虚拟机可以部署在同一物理机上，也可以部署在多台不同的物理机上。其中，关于物理机的实现形态的描述，可参见上述实施例的相关内容，在此不再赘述。

可选地，第二计算节点11a和第二存储节点11b可以部署在不同的物理机上，也可以部署在不同的容器或虚拟机中。这些容器或虚拟机可以部署在同一物理机上，也可以部署在多台不同的物理机上。其中，关于不同物理机之间的连接方式，也可参见上述实施例的相关内容，在此不再赘述。

可选地，如图1b所示，混合云系统还可包括调度节点14。其中，调度节点14可对混合云系统中的任务在私有云11和公有云12之间进行调度。其中，调度节点14的数量可为1个或多个。在本实施例中，调度节点14可以为对混合系统中的任务进行调度的软件模块、应用程序、服务或一台实体设备。多个调度节点14可以部署在不同的物理机上，也可以部署在不同容器或虚拟机(Virtual Machine，VM)中。当然，这些容器或虚拟机可以部署在同一物理机上，也可以部署在多个不同的物理机上。

可选地，调度节点14可为位于私有云11中的服务端设备，或者为位于公有云12中的服务端设备。

进一步，若调度节点14位于私有云11中，则调度节点14、第一计算节点和第二存储节点11b可以部署在不同的物理机上，也可以部署在不同的容器或虚拟机中。这些容器或虚拟机可以部署在同一物理机上，也可以部署在多台不同的物理机上。

相应地，若调度节点14位于公有云12中，则调度节点14和第一计算节点12a可以部署在不同的物理机上，也可以部署在不同的容器或虚拟机中。这些容器或虚拟机可以部署在同一物理机上，也可以部署在多台不同的物理机上。

在本实施例中，调度节点14可采用多种方式可对混合云系统中的任务在私有云11和公有云12之间进行调度。下面结合几种可选实施方式进行示例性说明。

实施方式1：调度节点14中预置有任务量阈值。相应地，调度节点14在私有云中的任务量大于预设的任务量阈值的情况下，将私有云11中的任务量中多于预设的任务量阈值的部分调度至公有云12中执行。

实施方式2：用户可对混合云系统中的任务量进行自主分配，即用户指定哪部分任务分配给公有云，并将另一部分任务私有云。相应地，调度节点14可根据用户设置的任务分配情况，将用户指定分配给公有云的任务调度至公有云中执行。

实施方式3：用户可设置分配给公有云12的任务量。相应地，调度节点14可根据用户设置的分配给公有云12的任务量，从私有云中的任务量中，选取与用户设置的分配给公有云12的任务量相同的任务调度至公有云12中执行。

可选地，如图1b所示，私有云11中还可包括用户终端11c。其中，用户终端为用户的终端设备，其可以为智能手机、台式电脑、笔记本电脑、平板电脑或可穿戴设备等智能终端。可选地，用户可通过其终端设备登录调度节点14来设置指定将哪些任务分配给公有云12以及将哪些任务分配给私有云11；或者，用户可通过其终端设备登录调度节点14来设置任务量阈值或分配给公有云12的任务量；等等。

在本申请实施例中，私有云11和中间缓存层13中的数据可以是文本、图片、音频或视频等数据。其中，数据可以以文件的形式进行存储。文件可以为文本文档、表格、文件夹或压缩包等等。进一步，目标数据可以为目标文件或目标数据块。

进一步，在第一计算节点12a在中间缓存层13中查询到目标数据的情况下，可从中间缓存层13中获取目标数据所在的目标文件，从而获取目标数据；或者也可从中间缓存层13中获取目标数据对应的目标数据块，从而获取目标数据。同理，在第一计算节点12a在中间缓存层13中未查询到目标数据的情况下，也可从私有云11中获取目标数据所在的目标文件，从而获取目标数据；或者也可从中间缓存层13中获取目标数据对应的目标数据块，从而获取目标数据。

进一步，考虑到实际应用中，可能存在中间缓存层13中的目标数据与私有云11中的目标数据不一致的情况。例如，在一些情况下，用户对私有云11中的目标数据进行了修改或更新等等。基于此，第一计算节点12a在从中间缓存层13中获取目标数据时，可获取私有云11中的目标数据的元信息以及中间缓存层13中的目标数据的元信息；并判断中间缓存层13中的目标数据的元信息与私有云11中的目标数据的元信息是否一致。进一步，若判断结果为是，则第一计算节点12a从中间缓存层13中获取目标数据。在本实施例中，目标数据的元信息包括：目标数据的大小、类型、修改时间以及校验位信息中的至少一种。

相应地，若判断结果为中间缓存层13中的目标数据的元信息与私有云11中的目标数据的元信息不一致，则第一计算节点12a可从私有云11中获取目标数据。

或者，为了防止相同的数据被重复获取，还可引入文件锁机制。即若第一计算节点12a从私有云11中获取目标数据的过程中，可在中间缓存层13中为目标数据添加互斥锁，其中，互斥锁表明私有云11中的目标数据处于被获取的过程中。这样，其他第一计算节点便可根据该互斥锁确定目标数据处于被获取的过程中，而不再去私有云11中重复获取目标数据，这样，有助于节省中间缓存层13的存储空间，提高存储资源的利用率。基于此，第一计算节点12a在确定中间缓存层13中的目标数据的元信息与私有云11中的目标数据的元信息不一致的情况下，还可判断中间缓存层13中的目标数据是否已添加互斥锁。若中间缓存层13中的目标数据已添加互斥锁，则第一计算节点12a监控中间缓存层13中的目标数据的元信息是否与私有云11中的目标数据的元信息一致，并在监控到中间缓存层13中的目标数据的元信息与私有云中的目标数据的元信息一致时，从中间缓存层13中获取目标数据。

相应地，若第一计算节点12a确定中间缓存层13中的目标数据未添加互斥锁，则可根据目标数据的标识，从私有云11中获取目标数据，并将目标数据存储至中间缓存层13中。

进一步，第一计算节点12a在从私有云11中获取目标数据时，可在中间缓存层13中为目标数据添加存储路径，该存储路径携带有目标数据的标识。进一步，第一计算节点12a可为存储路径添加互斥锁，以供其它第一计算节点获知私有云11中的目标数据处于被获取过程中。进一步，第一计算节点12a便可根据目标数据的标识，从私有云11中获取目标数据，并将目标数据存储至存储路径中。

可选地，第一计算节点12a在将目标数据存储至存储路径的过程中，可实时监控存储路径中的目标数据的元信息是否与私有云11中的目标数据的元信息一致；并在监控到存储路径中的目标数据的元信息与私有云中的所述目标数据的元信息一致时，从存储路径中获取目标数据。之后，第一计算节点12a便可根据目标数据，执行待执行任务。

值得说明的是，对于第一计算节点12a未在中间缓存层13中查询到目标数据的情况，第一计算节点12a从私有云11中获取目标数据并将目标数据存储至中间缓存层13中的具体实施方式，可参见上述第一计算节点12a在中间缓存层13中的目标数据的元信息与私有云11中的目标数据的元信息不一致，且中间缓存层13中的目标数据未添加互斥锁的情况下，而从私有云11中获取目标数据并将目标数据存储至中间缓存层13中的具体实施方式，在此不再赘述。

可选地，在本申请实施例中，第一计算节点12a在中间缓存层13中查询目标数据的过程和其从私有云12中获取目标数据的过程，可调用不同的线程进行执行。即若中间缓存层中的目标数据未加互斥锁，且其元信息与私有云11中的元信息不一致，则第一计算节点12a可调用异步线程从私有云12中获取目标数据。相应地，若第一计算节点12a未在中间缓存层13中查询到目标数据，也可调用异步线程从私有云12中获取目标数据。

还值得说明的是，可在第一计算节点12a上部署相应的缓存代理模块(缓存agent)来执行上述数据缓存处理逻辑。相应地，缓存代理模块可捕捉其所在的第一计算节点12a向中间缓存层13中发出的读数据请求，其中，读数据请求中携带有目标数据的标识。进一步，缓存代理模块在捕捉到读数据请求的过程中，可根据目标数据的标识，在中间缓存层13中查询目标数据。其中，缓存agent可分布于公有云中的每台计算节点，有助于实现计算节点之间的负载均衡，可降低从私有云中读取数据而带来的资源消耗，进而可实现应对混合云模式下公有云中的计算资源的大规模扩展。

除了上述系统实施例之外，本申请实施例还提供数据处理方法，下面从公有云中的计算节点的角度，对本申请实施例提供的数据处理方法进行示例性说明。

图2a为本申请实施例提供的一种数据处理方法的流程示意图。该方法适用于公有云中的计算节点。如图2a所示，该方法包括：

201、根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询所述目标数据。

202、在在中间缓存层中查询到目标数据的情况下，从中间缓存层中获取所述目标数据。

203、根据目标数据，执行待执行任务。

在本实施例中，中间缓存层与公有云连接，并存储有私有云中的部分或全部数据。可选地，中间缓存层可作为公有云的存储介质挂载在公有云上。可选地，中间缓存层中存储的数据可以为公有云执行的历史任务的相关数据。可选地，中间缓存层中存储的部分或全部数据为公有云执行历史任务的过程中从私有云中获取的数据。

在本实施例中，中间缓存层与公有云连接，公有云中的计算节点可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

相应地，若公有云中的计算节点在中间缓存层中未查询到目标数据，则可根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至中间缓存层中。其中，公有云中的计算节点从私有云11中获取目标数据的具体实施方式将在下述实施例中进行描述，在此暂不详述。

可选地，公有云中的计算节点可从中间缓存层中获取目标数据，并根据目标数据执行待执行任务；或者，直接根据从私有云中获取的目标数据，执行待执行任务。其中，公有云中的计算节点直接根据从私有云中获取的目标数据执行待执行任务和将从私有云中获取的目标数据存储至中间缓存层的操作可以并行执行，也可以顺序执行。当二者顺序执行时，在本申请实施例中，不限定二者的执行顺序。

在本申请实施例中，由公有云中的计算节点执行向中间缓存层中读写数据的缓存处理逻辑，并由公有云中的计算节点从私有云中获取数据，可降低对中间缓存层的资源消耗。这样因为：若采用中间缓存层从私有云中获取数据，若计算节点执行并发任务，特别是执行并发的I/O密集型任务，中间缓存层则需要高频率地从私有云中获取数据，若其读取数据频率过高，则可能导致中间缓存层资源不足。而本申请实施例中，由公有云中的计算节点从私有云中获取数据，可有效降低中间缓存层的资源消耗。

进一步，本申请实施例中，公有云的计算节点实现的缓存处理逻辑为轻量级的，缓存处理逻辑可分布于公有云中的每台计算节点，有助于实现计算节点之间的负载均衡，可降低从私有云中读取数据而带来的资源消耗，进而可实现应对混合云模式下公有云中的计算资源的大规模扩展。

另一方面，在本申请实施例中，公有云中的计算节点从中间缓存层中读取数据以及从私有云中获取数据，并存储至中间缓存层中的数据迁移过程对用户是透明的，即可实现中间缓存层中的数据的自动更新、修改或维护等，这样用户只需关注任务本身，而无需对中间缓存层进行手动管理和维护，从而有助于降低中间缓存层的人力运维成本。

在本申请实施例中，私有云和中间缓存层中的数据可以是文本、图片、音频或视频等数据。其中，数据可以以文件的形式进行存储。文件可以为文本文档、表格、文件夹或压缩包等等。进一步，目标数据可以为目标文件或目标数据块。

进一步，在公有云中的计算节点在中间缓存层中查询到目标数据的情况下，可从中间缓存层中获取目标数据所在的目标文件，从而获取目标数据；或者也可从中间缓存层中获取目标数据对应的目标数据块，从而获取目标数据。同理，在公有云中的计算节点在中间缓存层中未查询到目标数据的情况下，也可从私有云中获取目标数据所在的目标文件，从而获取目标数据；或者也可从中间缓存层中获取目标数据对应的目标数据块，从而获取目标数据。

进一步，考虑到实际应用中，可能存在中间缓存层中的目标数据与私有云中的目标数据不一致的情况。例如，在一些情况下，用户对私有云中的目标数据进行了修改或更新等等。基于此，步骤202的一种可选实施方式为：获取私有云中的目标数据的元信息以及中间缓存层中的目标数据的元信息；并判断中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息是否一致；若判断结果为是，则从中间缓存层中获取目标数据。相应地，若判断结果为否，则可判断中间缓存层中的目标数据是否已添加互斥锁；若中间缓存层中的目标数据已添加互斥锁，则监控中间缓存层中的目标数据的元信息是否与私有云中的目标数据的元信息一致，并在监控到中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息一致时，从中间缓存层中获取目标数据。在本实施例中，目标数据的元信息包括：目标数据的大小、类型、修改时间以及校验位信息中的至少一种。

相应地，若中间缓存层中的目标数据未添加互斥锁，则可根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至中间缓存层中。

进一步，公有云中的计算节点从私有云中获取目标数据的过程中，可在中间缓存层中为目标数据添加存储路径，该存储路径携带有目标数据的标识；进一步，可为存储路径添加互斥锁，以供公有云中的其它计算节点获知私有云中的目标数据处于被获取过程中。进一步，公有云中的计算节点便可根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至存储路径中。

可选地，第一计算节点在将目标数据存储至存储路径的过程中，可实时监控存储路径中的目标数据的元信息是否与私有云中的目标数据的元信息一致；并在监控到存储路径中的目标数据的元信息与私有云中的所述目标数据的元信息一致时，从存储路径中获取目标数据。之后，第一计算节点便可根据目标数据，执行待执行任务。

值得说明的是，对于计算节点未在中间缓存层中查询到目标数据的情况，计算节点从私有云中获取目标数据并将目标数据存储至中间缓存层中的具体实施方式，可参见上述计算节点在中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息不一致，且中间缓存层中的目标数据未添加互斥锁的情况下，而从私有云中获取目标数据并将目标数据存储至中间缓存层中的具体实施方式，在此不再赘述。

还值得说明的是，可在公有云的计算节点上部署相应的缓存代理模块(缓存agent)来执行上述数据缓存处理逻辑。相应地，缓存agent可捕捉其所在的计算节点向中间缓存层中发出的读数据请求，其中，读数据请求中携带有目标数据的标识。进一步，缓存代理模块在捕捉到读数据请求的过程中，可根据目标数据的标识，在中间缓存层中查询目标数据。其中，缓存agent可分布于公有云中的每台计算节点，有助于实现计算节点之间的负载均衡，可降低从私有云中读取数据而带来的资源消耗，进而可实现应对混合云模式下公有云中的计算资源的大规模扩展。

为了更清楚地理解上述数据处理过程，下面从上述缓存agent的角度，并结合图2b所示的具体实施方式对本申请实施例提供的数据处理方法进行示例性说明。其中，缓存agent部署在公有云的计算节点上。如图2b所示，该方法包括：

S1：实时捕捉其所在的计算节点向中间缓存层发出的读数据请求，该读数据请求中携带有待执行任务所需的目标数据的标识。

S2：在捕捉到读数据请求的情况下，在中间缓存层中查询目标数据。即判断中间缓存层中是否存在目标数据。若判断结果为是(即查询到目标数据)，则执行步骤S3；若判断结果为否(即未查询到目标数据)，则执行步骤S9。

S3：获取中间缓存层中的目标数据的元信息和私有云中的目标数据的元信息，并接着执行步骤S4。

S4：判断中间缓存层中的目标数据的元信息是否与私有云中的目标数据的元信息一致。若判断结果为是，则执行步骤S5；若判断结果为否，则执行步骤S7。

S5：从中间缓存层中获取目标数据，并接着执行步骤S6。

S6：将目标数据交由其所在的计算节点，以供该计算节点执行待执行任务。

S7：判断所述中间缓存层中的目标数据是否已添加互斥锁，该互斥锁表明私有云中的目标数据处于被获取的过程中。若判断结果为是，则执行步骤S8；若判断结果为否，则执行步骤S9。

S8：监控中间缓存层中的目标数据的元信息是否与私有云中的目标数据的元信息一致；并循环执行步骤S8，直至中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息一致，接着执行步骤S5和步骤S6。

S9：根据所述目标数据的标识，从私有云中获取目标数据，并在从私有云中获取目标数据的过程中，循环执行步骤S8，直至中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息一致，接着执行步骤S5和步骤S6。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤201和202的执行主体可以为设备A；又比如，步骤201的执行主体可以为设备A，步骤202的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

相应地，本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述数据处理方法中的步骤。

图3为本申请实施例提供的一种计算机设备的结构示意图。该计算机设备可实现为公有云中的计算节点。如图3所示，该计算机设备包括：存储器30a和处理器30b。其中，存储器30a用于存储计算机程序。

处理器30b耦合至存储器30a，用于执行计算机程序以用于：根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询目标数据；以及在在中间缓存层中查询到目标数据的情况下，从中间缓存层中获取目标数据；并根据目标数据，执行待执行任务。其中，中间缓存层与公有云连接，并存储有私有云中的部分或全部数据。

可选地，中间缓存层可作为公有云的存储介质挂载在公有云上。

相应地，处理器30b还用于：在中间缓存层中未查询到目标数据的情况下，根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至中间缓存层中。

可选地，中间缓冲层中存储的私有云中的部分或全部数据为公有云执行历史任务的过程中从私有云中获取的数据。

可选地，中间缓存层中的存储节点与公有云中的计算节点通过VPC网络或RDMA网络连接。其中，存储节点为NAS节点或OSS节点。

在一些实施例中，处理器30b在从中间缓存层中获取目标数据时，具体用于：获取私有云中的目标数据的元信息以及中间缓存层中的目标数据的元信息；判断中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息是否一致；若判断结果为是，则从中间缓存层中获取目标数据。相应地，若判断结果为否，则判断中间缓存层中的目标数据是否已添加互斥锁，互斥锁表明私有云中的目标数据处于被获取的过程中；若中间缓存层中的目标数据已添加互斥锁，则监控中间缓存层中的目标数据的元信息是否与私有云中的目标数据的元信息一致；并在监控到中间缓存层中的目标数据的元信息与私有云中的目标数据的元信息一致时，从中间缓存层中获取目标数据。

进一步，处理器30b还用于：若中间缓存层中的目标数据未添加互斥锁，则根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至中间缓存层中。

可选地，处理器30b在从私有云中获取目标数据并将目标数据存储至中间缓存层中时，具体用于：在中间缓存层中为目标数据添加存储路径，存储路径携带有目标数据的标识；并为存储路径添加互斥锁，以供其它计算节点获知私有云中的目标数据处于被获取过程中；以及根据目标数据的标识，从私有云中获取目标数据，并将目标数据存储至存储路径中。

进一步，处理器30b在在将目标数据存储至存储路径的过程中，还用于：监控存储路径中的目标数据的元信息是否与私有云中的目标数据的元信息一致；并在监控到存储路径中的目标数据的元信息与私有云中的目标数据的元信息一致时，从存储路径中获取目标数据。

在一些可选实施方式中，如图3所示，该计算机设备还可以包括：通信组件30c和电源组件30d等组件。可选地，若计算机设备为终端设备，还可包括：显示屏30e、音频组件30f等可选组件。图3中仅示意性给出部分组件，并不意味着电子设备必须包含图3所示全部组件，也不意味着计算机设备只能包括图3所示组件。

在本实施例中，存储器30a用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算机设备上的操作。其中，处理器30b可执行存储器30a中存储的计算机程序，以实现相应控制逻辑。存储器30a可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本实施例中，处理器30b可以为任意可执行上述方法逻辑的硬件处理设备。可选地，处理器可以为中央处理器(Central Processing Unit，CPU)、图形处理器(GraphicsProcessing Unit，GPU)或微控制单元(Microcontroller Unit，MCU)；也可以为现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程阵列逻辑器件(ProgrammableArray Logic，PAL)、通用阵列逻辑器件(General Array Logic，GAL)、复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)等可编程器件；或者为先进精简指令集(RISC)处理器(Advanced RISC Machines，ARM)或系统芯片(System on Chip SOC)等等，但不限于此。

在本实施例中，通信组件30c被配置为便于计算机设备和其他设备之间有线或无线方式的通信。计算机设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G，5G或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术、NFS或其他技术来实现。

在本实施例中，电源组件30d被配置为计算机设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

在本实施例中，显示屏30e可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏30e包括触摸面板，显示屏30e可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

在本实施例中，音频组件30f可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件30c发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。例如，对于具有语言交互功能的计算机设备，可通过音频组件30f实现与用户的语音交互等。

本实施例提供的计算机设备，可实现为公有云上的计算节点。基于中间缓存层作为公有云的存储介质挂载在公有云上，并存储有私有云中的部分或全部数据，该计算机设备可在中间缓存层中存在待执行任务所需的目标数据的情况下，直接从中间缓存层中获取目标数据，来执行待执行任务，一方面，不仅可提高目标数据的获取效率，进而有助于提高后续数据处理效率；另一方面，无需再通过网络从私有云中获取目标数据，还有助于减轻混合云专线网络的压力，节省专线网络带宽。

需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种混合云系统，其特征在于，包括：私有云、公有云以及中间缓存层；

所述中间缓存层与所述公有云连接，并存储有所述私有云中的部分或全部数据；

所述公有云中的计算节点，用于在所述中间缓存层中查询待执行任务所需的目标数据；并在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；根据所述目标数据执行所述待执行任务。

2.根据权利要求1所述的系统，其特征在于，所述计算节点在从所述中间缓存层中获取所述目标数据时，具体用于：

获取所述私有云中的所述目标数据的元信息以及所述中间缓存层中的所述目标数据的元信息；

判断所述中间缓存层中的所述目标数据的元信息与所述私有云中的所述目标数据的元信息是否一致；

若判断结果为是，则从所述中间缓存层中获取所述目标数据。

3.根据权利要求2所述的系统，其特征在于，所述计算节点还用于：

若判断结果为否，则判断所述中间缓存层中的目标数据是否已添加互斥锁，所述互斥锁表明所述私有云中的目标数据处于被获取的过程中；

若所述中间缓存层中的目标数据已添加互斥锁，则监控所述中间缓存层中的所述目标数据的元信息是否与所述私有云中的所述目标数据的元信息一致；

在监控到所述中间缓存层中的所述目标数据的元信息与所述私有云中的所述目标数据的元信息一致时，从所述中间缓存层中获取所述目标数据。

4.根据权利要求3所述的系统，其特征在于，所述计算节点还用于：

若所述中间缓存层中的目标数据未添加互斥锁，则根据所述目标数据的标识，从所述私有云中获取所述目标数据，并将所述目标数据存储至所述中间缓存层中。

5.根据权利要求4所述的系统，其特征在于，所述计算节点在从所述私有云中获取所述目标数据并将所述目标数据存储至所述中间缓存层中时，具体用于：

在所述中间缓存层中为所述目标数据添加存储路径，所述存储路径携带有所述目标数据的标识；

为所述存储路径添加互斥锁，以供其它计算节点获知所述私有云中的目标数据处于被获取过程中；

根据所述目标数据的标识，从所述私有云中获取所述目标数据，并将所述目标数据存储至所述存储路径中。

6.根据权利要求5所述的系统，其特征在于，所述计算节点在将所述目标数据存储至所述存储路径的过程中，还用于：

监控所述存储路径中的所述目标数据的元信息是否与所述私有云中的所述目标数据的元信息一致；

在监控到所述存储路径中的所述目标数据的元信息与所述私有云中的所述目标数据的元信息一致时，从所述存储路径中获取所述目标数据。

7.根据权利要求1-6任一项所述的系统，其特征在于，所述计算节点还用于：

在所述中间缓存层中未查询到所述目标数据的情况下，根据所述目标数据的标识，从所述私有云中获取所述目标数据，并将所述目标数据存储至所述中间缓存层中。

8.根据权利要求1-6任一项所述的系统，其特征在于，所述中间缓存层中存储的所述私有云中的部分或全部数据为所述公有云执行历史任务的过程中从所述私有云中获取的数据。

9.根据权利要求1-6任一项所述的系统，其特征在于，所述中间缓存层中的存储节点与所述公有云中的计算节点通过VPC或RDMA网络连接。

10.根据权利要求9所述的系统，其特征在于，所述存储节点为NAS节点或OSS节点。

11.根据权利要求10所述的系统，其特征在于，还包括：调度节点；

所述调度节点，用于在所述私有云中的任务量大于预设的任务量阈值的情况下，将所述私有云中的任务量中多于所述预设的任务量阈值的部分调度至所述公有云中执行；或者，

所述调度节点，用于根据用户设置的任务分配情况，将用户指定分配给所述公有云的任务调度至所述公有云中执行；或者，

所述调度节点，用于根据用户设置的分配给所述公有云的任务量，从所述私有云中的任务量中，选取与所述用户设置的分配给所述公有云的任务量相同的任务调度至所述公有云中执行。

12.根据权利要求11所述的系统，其特征在于，所述调度节点为位于所述私有云中的服务端设备或位于所述公有云中的服务端设备。

13.一种数据处理方法，适用于公有云中的计算节点，其特征在于，包括：

根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询所述目标数据；

在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；

根据所述目标数据，执行所述待执行任务；

其中，所述中间缓存层与所述公有云连接，并存储有所述混合云系统中的私有云中的部分或全部数据。

14.一种计算机设备，实现为公有云中的计算节点，其特征在于，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；

所述处理器耦合至所述存储器，用于执行所述计算机程序以用于：

根据待执行任务所需的目标数据的标识，在混合云系统的中间缓存层中查询所述目标数据；

在所述中间缓存层中查询到所述目标数据的情况下，从所述中间缓存层中获取所述目标数据；

根据所述目标数据，执行所述待执行任务；

其中，所述中间缓存层与所述公有云连接，并存储有所述混合云系统中的私有云中的部分或全部数据。

15.一种存储有计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求13所述方法中的步骤。

Images