CN104769549A - 基于调度策略的智能数据分级移动 - Google Patents

Abstract

将数据从本地系统移动到远程系统以及在远程系统处对数据执行计算。一种方法包括从一个或多个用户接收多个作业。该一个或多个作业指定要被操作的数据以及在远程系统处要对数据执行的操作。在数据服务处，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述远程系统的一个作业。该方法还包括开始上传优先化的作业，包括分级移动来自该作业的数据。在所述远程系统处，一旦已经接收到数据的一部分，所述远程系统中的一服务就开始为所述优先化的作业对该数据执行指定的操作。开始执行指定的操作是在来自该优先化的作业的全部数据都被上传到所述远程系统之前执行的。

Description

基于调度策略的智能数据分级移动

背景技术

计算机和计算系统已经影响了现代生活的几乎每个方面。在工作、休闲、保健、运输、娱乐、家政管理等中通常涉及计算机。

此外，计算系统功能还可以通过计算系统经由网络连接互连到其他计算系统的能力来增强。网络连接可包括，但不仅限于，经由有线或无线以太网的连接、蜂窝连接、或者甚至是通过串行、并行、USB或其它连接的计算机到计算机的连接。这些连接允许计算系统访问其他计算系统处的服务，并快速且高效地从其他计算系统接收应用数据。这些连接还允许云计算的扩散。

从本地化计算移动到云计算已经给最终用户形成了若干挑战，包括如何、何处以及何时作为对数据执行操作的工作流的一部分将数据分级移动进云和分级移动出云。例如，可能难以确定何时以及如何将数据从本地存储移动到云、在云处何时对数据操作、以及何时将数据从云移动回本地存储。

在此要求保护的主题不限于解决任何缺点或仅在诸如上述环境之类的环境中操作的各个实施例。准确地说，提供该背景仅用以例示出在其中可实践在此描述的某些实施例的一个示例性技术领域。

发明内容

本文所例示的一个实施例包括可以在云计算环境中实施的方法。该方法包括用于将数据从第一系统移动到远离所述第一系统的第二系统以及对数据执行计算的动作。该方法包括从一个或多个用户接收多个作业。该一个或多个作业指定要被操作的数据以及在所述第二系统所述第一系统处要对所述数据执行的操作两者。在数据服务处，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业。所述方法还包括开始上传优先化的作业。在第二系统处，一旦已经接收到所述数据的一部分，所述第二系统中的一服务就开始为所述优先化的作业对所述数据执行指定的操作。开始执行所述指定的操作是在来自所述优先化的作业的全部数据都被上传到所述第二系统之前执行的。

可以在分布式计算环境中实施另一种方法。该方法包括用于将数据从第一系统移动到远离所述第一系统的第二系统以及对所述数据执行计算的动作。该方法包括，在第二系统从远离所述第二系统的第一系统接收要对存储在所述第一系统处的一组数据执行的作业的完整描述。所述作业的描述标识要对该组数据执行的计算。所述作业的描述是优先于所述第二系统从所述第一系统接收的其他作业而被接收的。在所述第二系统处，从所述第一系统接收该组数据的一部分。该方法还包括在所述第二系统处，一旦该组数据的所述一部分已被接收但在接收到整组数据之前，开始执行所标识的计算。该方法还包括在所述第二系统处在从第一系统接收到该组数据的额外部分之后对该组数据的所述额外部分执行所标识的计算。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

额外的特征和优点将在以下的描述中阐述，并且部分可从该描述中显而易见，或者可以通过对本文的教示的实践中习得。本发明的特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现和获得。本发明的特征将从以下描述和所附权利要求中变得完全显而易见，或者可通过如下所述对本发明的实践而获知。

附图说明

为了描述可获得上述和其它优点和特征的方式，将通过参考附图中所例示出的具体实施例来呈现以上简要描述的本主题的更具体的描述。应该理解，这些附图仅描绘了各典型实施例，因此不应被认为是对范围的限制，各实施例将通过使用附图用附加特征和细节来被描述并解释，在附图中：

图1例示出第一和第二系统，在该示例中第一和第二系统包括本地系统和远离本地系统的“云”系统，以及用于将作业从本地场所系统发送到云系统的系统。

图2从第一系统的角度例示出用于将数据从第一系统移动到第二系统的方法。

图3从第二系统的角度例示出用于将数据从第一系统移动到第二系统的方法。

具体实施方式

以前，系统已被配置成将数据分级移动(data staging)(借此将数据从第一系统移动到第二系统(如数据中心系统))以及第二系统内的计算(借此在数据上执行操作)作为两个分开的活动来处理，并相应地对它们进行管理。例如，数据可从本地系统被移动到远程系统(如所谓的基于“云”的系统)，其中计算将在远程系统处对数据执行。如本文所使用的，本地和远程被用于区分两个系统以及在彼此的逻辑或物理上的接近程度方面指示出某一距离。在某些示例中，本地系统可对于最终用户来说是本地的，但是这并非是绝对要求。例如，本地可仅仅指代系统是某一企业本地的且由该企业所拥有的，而远程系统可以是仅由该企业与其他企业共享的系统。

忽略对数据的计算与数据输入和输出相关这一事实引起远程系统资源的低效。本文所描述的某些实施例通过将远程系统处的计算与从本地系统到远程系统的数据分级移动相组合来解决这些低效，其中远程系统远离本地系统。例如，一旦来自本地存储的数据已开始被分级移动到远程系统，就可对数据开始计算。具体来说，一旦数据的一小部分已被移动到远程系统，即使整个数据集还未被分级移动到远程系统，计算工作流也可开始。此外，各实施例可被配置成使得如果有多个计算被用户置于作业队列中，数据服务可选择作业被移动到远程系统的优先级，以便高效地使用各种资源，包括本地系统资源、远程系统资源、网络带宽资源等，同时仍然确保作业被执行以满足优先级约束、时间约束、使用限制等。此外，在某一给定作业内，计算是对一给定数据集执行的。可使该数据集的不同部分优先于该数据集的其他部分来分级移动，以便在远程系统处高效地执行操作。

由于每次计算迭代仅要求其部分输入数据来开始，且其输出不依赖于其他迭代来完成，就可能在对其他迭代的输入数据被传送的同时开始各迭代。同样，输出数据可被传送回本地系统，同时其他迭代仍然在进行。

如所注意到的，本文所述的某些实施例将把数据分级移动到远程系统的活动实现为对远程系统工作流的群集突发(cluster burst)的一部分。通过使数据成为头等公民，在实现调度算法时，群集将把数据作为作业资源。这是有好处的，因为调度器知晓作业的数据依赖性，以及可连同运行作业来改编数据分级移动。从而，数据的一部分可被分级移动到远程系统。可在数据的用于该作业的其他部分仍然在本地系统处的同时，对数据开始操作。只要调度器知晓数据依赖性且能够在合适的时间按需将数据分级移动到远程系统，数据的剩余部分就可被按需分级移动到远程系统。此外，基于作业运行时间、优先级、队列中的位置以及数据大小，作业和数据可被分级移动到远程系统。这可产生对远程系统和网络资源的有效得多的使用，并减少作业周转周期。此外，这可能是有好处的，因为调度器中的数据服务可为用户处理数据移动，确保在作业执行之前和之后数据在正确的位置，以及清理未使用的远程系统存储。这可明显使用户免于管理数据生命周期的许多任务。

现在例示出附加细节，且参考图1，例示出一示例。图1例示出本地系统102和远程系统104，后者在某些实施例中可以是所谓的基于“云计算”的系统。在本说明书中，“云计算”可以是用于允许对可配置的计算资源(如网络、服务器、存储、应用、以及服务)的共享池进行无处不在的、方便的、按需的网络访问的系统或资源，这些计算资源可用减少的管理努力或服务提供者交互来被供应和释放。云模型可由各种特性(如按需自服务、广泛网络访问、资源池、快速灵活性、可计量的服务等)、服务模型(如软件即服务(SaaS)、平台即服务(PaaS)、基础结构即服务(IaaS))以及部署模型(如私有云、社区云、公共云、混合云等)组成。

如步骤1所例示，客户机100在本地系统102处的本地存储106中准备数据。在所例示的该示例中，本地存储可包括例如数据库108、文件共享110、分布式高速缓存112等。在本地系统102的本地存储106中准备数据可包括例如生成和存储数据，或以其他方式创建数据来存储在存储系统中。

如步骤2所例示，客户机100将作业提交给调度器114。尽管在所例示的该示例中，调度器114被例示为实现在本地系统102中，但是应理解在其他实施例中，调度器114可被部分地或完全地实现在远程系统104中。作为对调度器114的作业提交的一部分，用户或许可以将作业输入和作业操作或计算指定为作业元数据。调度器114将把那些作业输入数据作为资源来对待。将输入数据作为作业资源来对待意味着将输入数据作为作业所需要的资源来对待。例如，正如计算机硬件可作为执行作业所需的作业资源来被对待一样，由于作业需要运行该作业的计算资源，输入数据可作为该作业所需的资源来被对待。

当调度器114确定作业将(或可能)在远程系统104中运行时，调度器114将通过把数据放入在群集数据服务118处的远程系统分级移动队列116中以供传输，来要求开始用于该作业的数据传输，如步骤3所例示。值得注意的是，尽管群集数据服务118被例示在本地系统102中，应理解在其他实施例中群集数据服务118可被部分地或完全地实现在远程系统104中。

作业可在队列116中被优先级化。也就是说，作业不必按照它们被置入队列中的顺序来被执行。数据服务可选择作业被移动到远程系统104的优先级，以便高效地使用各种资源，包括远程系统资源、网络带宽资源等，同时仍然确保作业被执行来满足优先级约束、时间约束、使用限制等。例如，在某些实施例中，队列116中作业的优先级可按以下中的一个或多个来决定：作业被放入队列的顺序、执行作业的时间、数据传输时间、作业优先级、远程系统资源可用性、网络资源可用性、对作业优先级的超级用户指定等。例如，简单地基于相比于其他作业来说某一作业已被置于队列116中的时间量来相对于其他作业给予该作业优先级。当远程系统资源被较少地利用时，花长时间运行的作业可具有较高的优先级，而当远程系统资源被更多地利用时，花长时间运行的作业可具有较低的优先级。当网络使用已经高时，消耗大量网络资源来被分级移动到远程系统104的作业可具有较低的优先级，而当网络使用较低时，消耗大量网络资源来被分级移动到远程系统104的作业可具有较高的优先级。基于作业的重要性或作业的时间敏感特性等，可人工地或自动地向作业分配比其他作业更高的优先级。各种因素可被加权且可被组合地使用，使得若干因素可被用于确定一作业相比于队列116中的其他作业的总体优先级。

群集数据服务118负责将队列116中的全部数据传输到远程系统存储120中。步骤4和5分别例示出数据服务118将数据分级移动到远程系统104中以及将数据上传到远程系统104中。群集数据服务118可处理各种不同种类的数据和文件。例如，图1例示出数据可以是数据库108中的数据库数据、文件共享110中的平面文件数据、分布式高速缓存112中的二进制数据等。如动作6处所例示，数据分级移动进展被回报给调度器，使得调度器114能够决定如图1的动作7处所例示那样在远程系统104中开始运行作业。通过远程系统存储120中存储的数据被远程系统104中运行的计算作业122消耗以及计算的结果被发送回远程系统存储120，如8和9处所例示，作业在远程系统104中被执行。

当作业完成时，调度器114将接收到来自计算作业122的确认(如步骤10处所例示)，且调度器114将告知数据服务118来收集所有作业结果，如步骤11处所例示。数据服务118如步骤12处所例示那样从远程系统存储120下载结果，然后如步骤13处所例示那样将结果发送到本地场所存储106。远程系统资源可然后被将来的作业解除供应或擦除。如所注意到的，将数据从本地场所存储106分级移动到远程系统存储120的数据分级移动活动是与远程系统104处执行的群集计算作业并行完成的。然而，各实施例可被实现成，直到调度器114确信所有必要的数据都准备好来分级移动到远程系统104用于作业为止，该作业才开始运行，使得没有运行的作业正在空闲和等待数据。

以下讨论现在涉及可被执行的多种方法以及方法动作。虽然用特定顺序讨论或用以特定顺序发生的流程图例示出了各个方法动作，但除非明确声明，否则不需要特定顺序，或者因为某一动作依赖于另一动作在执行该动作之前完成而需要特定顺序。

现在参考图2，示出了方法200。可以在联网计算环境中实施方法200。该方法200包括用于将数据从第一系统移动到远离第一系统的第二系统以及对数据执行计算的动作。该方法200包括从一个或多个用户接收多个作业(动作202)。该一个或多个作业指定要被操作的数据以及在第二系统处要对数据执行的操作。

该方法200还包括在数据服务处，选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业(动作204)。例如，该方法200可被实施，其中选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业包括基于作业运行时来选择作业。例如，如果已知某一作业将花费比平均时间相对更长的时间来运行，当第二系统具有更多的可用资源时，该作业可被优先化来上传。另选地或另外地，该方法200可被实施，其中选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业包括基于作业被置于队列中的顺序来选择作业。例如，已在队列中相比于其他作业存在更长时间的作业可相比于其他作业被优先化来上传。该方法200可被实施，其中选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业包括基于传输来自作业的数据的时间来选择作业。该方法200可被实施，其中选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业包括基于第二系统中的资源可用性来选择作业。该方法200可被实施，其中选择所述多个作业中比所述多个作业中的其他作业优先上传到第二系统的一个作业包括基于网络可用性来选择作业。

该方法还包括开始上传优先化的作业，包括分级移动来自作业的数据(动作206)。

在第二系统处，一旦已经接收到数据的一部分，第二系统中的一服务就开始为所述优先化的作业对该数据执行指定的操作。开始执行指定的操作是在来自该优先化的作业的全部数据都被上传到第二系统之前执行的。准确地说，可在所有数据都已到达之前开始操作，且可随着数据继续到达来继续操作。

方法200可进一步包括基于将由该作业对数据操作的顺序来将来自作业的数据的额外部分分级移动到第二系统。

现在参考图3，示出了方法300。可以在第二系统计算环境中实施方法300。该方法300包括用于将数据从第一系统移动到远离第一系统的第二系统以及对数据执行计算的动作。该方法300包括，在第二系统处从远离第二系统的第一系统接收要对存储在第一系统处的一组数据执行的某一作业的完整描述(动作302)。该作业的描述标识要对该组数据执行的计算。该作业的描述是优先于第二系统从第一系统接收的其他作业而被接收的。

该方法300还包括在第二系统处从第一系统接收该组数据的一部分(动作304)。

该方法300还包括在第二系统处，一旦该组数据的该部分已被接收但在接收到整组数据之前，开始执行所标识的计算(动作306)。

该方法300还包括在第二系统处在从第一系统接收到该组数据的额外部分之后对该组数据的额外部分继续执行所标识的计算(动作308)。

该方法300可进一步包括在完成全部所标识的计算之前将所标识的计算的一些部分的结果发送到第一系统。例如，如果对数据的计算和结果已在完成所有计算之前生成，则那些结果可被发送回本地系统102。

该方法300可进一步包括在从第一系统接收到完整的该组数据之前将所标识的计算的一些部分的结果发送到第一系统。例如，在要对其进行计算的所有数据都被分级移动到远程系统104之前，某些结果或许可能由计算作业122计算。然而，这并不妨碍那些结果被传递回本地系统102。准确地说，当结果准备好时，不管作业的所有计算是否已完成，这些结果都可被传递。

方法300可进一步包括从第一系统继续接收该组数据的额外部分。基于要对该组数据执行的所标识的计算，这些额外部分是以优先化的顺序被接收的。例如，调度器114可能知晓什么数据是需要的以及要操作数据来完成作业的顺序。从而，调度器能按需以及以基于要在远程系统104处执行的计算的顺序来将数据分级移动到远程系统104。

方法300可进一步包括在第二系统服务处，在接收要对存储在第一系统处的一组数据执行的某一作业的完整描述之前，向第一系统发送第二系统服务处可用的资源量的指示。在某些这种实施例中，基于第二系统处可用的资源量来确定作业的优先级。

方法300可被实施，其中基于第一系统处的作业的运行时间来确定作业的优先级。

方法300可被实施，其中基于第一系统处传输来自作业的数据的时间来确定作业的优先级。

此外，各方法可由包括一个或多个处理器和诸如计算机存储器之类的计算机可读介质的计算机系统来实施。具体而言，计算机存储器可存储计算机可执行指令，这些指令在由一个或多个处理器执行时使得诸如各实施例中所述的各动作之类的各种功能被执行。

本发明的各实施例可包括或利用包含计算机硬件的专用或通用计算机，如下文中更详细地讨论的那样。本发明范围内的各实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。由此，作为示例而非限制，本发明的各实施例可包括至少两种显著不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储(如CD、DVD等)、磁盘存储或其他磁存储设备、或可被用于以计算机可执行指令或数据结构的形式存储所需程序代码手段且可由通用或专用计算机访问的任何其他介质。

“网络”被定义为允许在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当信息通过网络或另一通信连接(硬连线、无线、或者硬连线或无线的组合)被传送或提供给计算机时，该计算机将该连接适当地视为传输介质。传输介质可包括可被用于以计算机可执行指令或数据结构的形式承载或存储所需程序代码手段且可由通用或专用计算机访问的网络和/或数据链路。以上的组合也被包括在计算机可读介质的范围内。

此外，在到达各种计算机系统组件时，采用计算机可执行的指令或数据结构的形式的程序代码手段可以自动地从传输计算机可读介质被传送到物理计算机可读存储介质(或者反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可被缓存在网络接口模块(例如，“NIC”)内的RAM中，然后最终被传送到计算机系统RAM和/或计算机系统处的较不易失性的计算机可读物理存储介质。因此，计算机可读物理存储介质可被包括在同样(或甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括，例如使通用计算机、专用计算机、或专用处理设备执行某一功能或某组功能的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言之类的中间格式指令、或甚至是源代码。尽管用结构特征和/或方法动作专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必被限于所述特征或上述动作。准确地说，所述特征和动作是作为实现权利要求的示例形式而被揭示的。

本领域的技术人员将理解，本发明可以在具有许多类型的计算机系统配置的网络计算环境中被实践，这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等等。本发明也可在其中通过网络(要么通过硬连线数据链路、无线数据链路，要么通过硬连线和无线数据链路的组合)链接的本地和远程计算机系统两者都执行任务的分布式系统环境中被实施。在分布式系统环境中，程序模块可位于本地和远程存储器存储设备两者中。

作为替代或除此之外，本文所述的功能性可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

本发明可以其他具体形式来被具体化而不背离其精神或特征。所描述的实施例在所有方面都应被认为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而非前述描述来指示。落入权利要求书的等效方案的含义和范围内的所有改变都被权利要求书的范围所涵盖。

Claims (7)

1.在网络计算环境中，一种将数据从第一系统移动到远离所述第一系统的第二系统以及对所述数据执行计算的方法，所述方法包括：

在所述第一系统处从一个或多个用户接收多个作业，所述一个或多个作业指定要被操作的数据以及在所述第二系统处要对所述数据执行的操作，所述第二系统远离所述第一系统；

在一数据服务处，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业；

开始上传优先化的作业，包括分级移动来自该作业的数据；

然后，在所述第二系统处，一旦已经接收到所述数据的一部分，所述第二系统就开始为所述优先化的作业对该数据执行指定的操作，其中开始执行指定的操作是在来自所述优先化的作业的全部数据都被上传到所述第二系统之前执行的。

2.如权利要求1所述的方法，其特征在于，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业包括基于作业运行时来选择作业。

3.如权利要求1所述的方法，其特征在于，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业包括基于作业被置于队列中的顺序来选择作业。

4.如权利要求1所述的方法，其特征在于，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业包括基于传输来自作业的数据的时间来选择作业。

5.如权利要求1所述的方法，其特征在于，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业包括基于所述第二系统中的资源可用性来选择作业。

6.如权利要求1所述的方法，其特征在于，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业包括基于网络可用性来选择作业。

7.如权利要求1所述的方法，其特征在于，还包括基于将由所述作业对数据操作的顺序来将来自所述作业的数据的额外部分分级移动到所述第二系统。