CN105978704B - 用于创建新的云资源指令集体系结构的系统和方法 - Google Patents
用于创建新的云资源指令集体系结构的系统和方法 Download PDFInfo
- Publication number
- CN105978704B CN105978704B CN201610137210.4A CN201610137210A CN105978704B CN 105978704 B CN105978704 B CN 105978704B CN 201610137210 A CN201610137210 A CN 201610137210A CN 105978704 B CN105978704 B CN 105978704B
- Authority
- CN
- China
- Prior art keywords
- resource
- network
- cloud
- subsystem
- instruction set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
- H04L41/0886—Fully automatic configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
Abstract
创建新的云资源指令集体系结构。提供一种方法和系统。所述系统包括:网络配置器,用于将网络配置为所述系统的底板,以优化跨越基于云并且形成所述系统的多个子系统的吞吐率并且最小化等待时间。所述多个子系统包括硬件和软件子系统。所述系统还包括可组合系统构造块配置器,用于基于分解的系统原理重构所述多个子系统以作为单个系统使用所述网络进行通信。所述系统还包括系统资源多维模型生成器,用于生成将所述可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
Description
技术领域
本发明总地涉及信息处理,并且具体涉及创建新的云资源指令集体系结构(CRISA),其包括利用分解(disaggregated)的子系统和超融合的子系统二者的可组合(composable)系统和软件。
背景技术
在云工作负载的范围和体量两个方面中的云计算的快速增长给传统数据中心设计带来许多挑战,所述挑战包括至少下列项目:由于工作负载约束导致的快速改变的系统配置需求;系统组件的变化的创新周期;以及系统和子系统的最大共享。因此,存在对于在云计算环境中可以同时克服上述挑战的解决方案的需求。
发明内容
根据本原理的一方面,提供一种系统。所述系统包括:网络配置器,用于将网络配置为所述系统的底板(backplane),以优化跨越基于云并且形成所述系统的多个子系统的吞吐率并且最小化等待时间。所述多个子系统包括硬件和软件子系统。所述系统还包括可组合系统构造块配置器,用于基于分解的系统原理重构(refactor)所述多个子系统以作为单个系统使用所述网络进行通信。所述系统还包括系统资源多维模型生成器,用于生成将所述可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
根据本原理的另一方面,提供一种方法。所述方法包括:由网络配置器将网络配置为所述系统的底板,以优化跨越基于云并且形成所述系统的多个子系统的吞吐率并且最小化等待时间。所述多个子系统包括硬件和软件子系统。所述方法还包括由可组合系统构造块配置器使用分解的系统原理重构所述多个子系统以作为单个系统使用所述网络进行通信。所述方法还包括由系统资源多维模型生成器生成将所述可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
这些和其他特征和优点根据应结合附图阅读的其说明性实施例的下列详细描述将变得清楚。
附图说明
本公开将参考下列附图提供优选实施例的下列描述中的细节,其中:
图1示出根据本原理的实施例的可以应用本原理的示例处理系统100;
图2示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的示例系统200;
图3示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的示例方法300;
图4示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的物理视图的示例方法400;
图5示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的逻辑视图的示例方法500;
图6示出根据本原理的实施例的用来执行用于云资源指令集体系结构(CRISA)的运行时操作的示例方法600;
图7示出根据本原理的实施例的示例云计算节点710;
图8示出根据本原理的实施例的示例云计算环境850;
图9示出根据本原理的实施例的示例抽象模型层。
具体实施方式
本原理针对创建新的云资源指令集体系结构(CRISA),其包括利用分解的子系统和超融合的子系统二者的可组合系统和软件。
在一个实施例中,本原理有利地至少解决在云环境中通常遭遇的以下同时挑战:(1)由于工作负载约束导致的快速改变的系统配置需求;(2)系统组件的变化的创新周期;以及(3)系统和子系统的最大共享。
在一个实施例中,本原理可以包括和/或以其他方式涉及下列项目:被用作/配置为系统底板的网络;可组合系统构造块;将可组合系统构造块基础化为资源以允许作为高维参数空间优化的资源优化的多维能力和容量(capacity)关系抽象;以及用于整个系统的自调节和自优化的机构和/或框架。
在一个实施例中,高吞吐量低等待时间网络被用作“系统”的底板,所述底板例如可以在下列任何一项中变化,但不限于下列任何一项:机架;机架集群;壳(pod);区域;数据中心;和多个数据中心。
在一个实施例中,可以使用基于分解的系统原理的可组合系统构造块,其中数据中心内的系统和子系统被重构,使得全部子系统可以作为单个系统使用网络“底板”进行通信。
在一个实施例中,使用将可组合系统构造块基础化为资源以允许作为高维参数空间优化的系统资源优化的多维能力和容量关系抽象。抽象的可组合系统资源模型提供对能力、容量、以及物理环境进行抽象的组合,所述物理环境例如为集群、壳、可用性区域和数据中心。该抽象形成云资源指令集体系结构(CRISA)的基础。CRISA还使得能够基于对工作负载吞吐量的最大量、资源共享和利用率的期望的工作负载需求,将物理资源动态组织到一起作为用于计算、存储和网络的逻辑资源。
在一个实施例中,可以使用用于整个系统的自调节和自优化的机构和/或框架。所述机构和/或框架使用允许可组合系统的参数或钮(knob)被持续调整以获得最优性能的多维参数空间。
图1示出根据本原理的实施例的可以应用本原理的示例处理系统100。处理系统100包括经由系统总线102可操作地耦接到其他组件的至少一个处理器(CPU)104。高速缓冲存储器106、只读存储器(ROM)108、随机存取存储器(RAM)110、输入/输出(I/O)适配器120、声音适配器130、网络适配器140、用户接口适配器150和显示适配器160可操作地耦接到系统总线102。
第一存储设备122和第二存储设备124通过I/O适配器120可操作地耦接到系统总线102。存储设备122和124可以是盘存储设备(例如,磁或光盘存储设备)、固态磁设备等中的任何一个。存储设备122和124可以是相同类型的存储设备或不同类型的存储设备。
扬声器132通过声音适配器130可操作地耦接到系统总线102。收发器142通过网络适配器140可操作地耦接到系统总线102。显示设备162通过显示适配器160可操作地耦接到系统总线102。
第一用户输入设备152、第二用户输入设备154和第三用户输入设备156通过用户接口适配器150可操作地耦接到系统总线102。用户输入设备152、154和156可以是键盘、鼠标、小键盘、图像捕捉设备、运动感测设备、麦克风、包含前述设备中的至少两个的功能的设备等中的任何一个。当然,还可以使用其他类型的输入设备,同时维持本原理的精神。用户输入设备152、154和156可以是相同类型的用户输入设备或不同类型的用户输入设备。用户输入设备152、154和156用于向系统100输入信息和从系统100输出信息。
当然,处理系统100还可以包括如本领域技术人员容易设想的其他元件(未示出)以及省略某些元件。例如,如本领域普通技术人员容易理解的,根据处理系统100的具体实现方式,在处理系统100中可以包括各种其他输入设备和/或输出设备。例如,可以使用各种类型的无线和/或有线输入和/或输出设备。此外,如本领域普通技术人员容易理解的,还可以使用采用各种配置的额外的处理器、控制器、存储器等。给出这里提供的本原理的教导,本领域普通技术人员容易设想处理系统100的这些和其他变化。
此外,应理解,下文中关于图2描述的系统200是用于实现本原理的各个实施例的系统。处理系统100的部分或全部可以在系统200的元件中的一个或多个中实现。
此外,应理解,处理系统100可以执行这里描述的方法的至少一部分,包括例如图3的方法300的至少一部分和/或图4的方法400的至少一部分和/或图5的方法500的至少一部分和/或图6的方法600的至少一部分。类似地,系统200的部分或全部可以用于执行图3的方法300的至少一部分和/或图4的方法400的至少一部分和/或图5的方法500的至少一部分和/或图6的方法600的至少一部分。
图2示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的示例系统200。系统200包括利用可应用于分解的子系统和超融合的子系统两者的可组合子系统和软件。虽然甚至单个家庭计算系统也可以具有存储器系统等,但是为了关于图2-6的说明目的的一致名称习惯,作为系统200的一部分和/或以其他方式涉及系统200的全部系统被称为系统200的子系统。
系统200可以包括网络配置器210、可组合系统构造块配置器220、系统资源多维模型生成器230以及系统自调节器和自优化器240。
网络配置器210将网络配置为所述系统的底板,以优化跨越基于云并且形成所述系统的一组子系统的吞吐率并且最小化等待时间,这组子系统包括硬件和软件子系统。此外,如上所述,这组子系统可以包括分解的子系统和超融合的子系统。
可组合系统构造块配置器220基于分解的系统原理重构这组子系统以作为单个系统使用所述网络进行通信。
系统资源多维模型生成器230生成将可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。在实施例中,从多维优化模型形成云资源指令集体系结构(CRISA)。在实施例中,系统资源多维模型生成器230包括用于生成和/或更新CRISA的CRISA管理器231。
系统自调节器和自优化器240使用从所述多维优化模型导出的多维参数空间优化来自调节和自优化所述系统。系统自调节器和自优化器240被配置为响应由工作负载约束引起的改变的系统配置需求。系统自调节器和自优化器240支持在与其他子系统组件无关的所述多个子系统中的任何一个中的组件级替换。
在这里描述系统200的上述元件的更多功能和特征。
在图2中示出的实施例中,其元件通过总线201/一个或多个网络互联。然而,在其他实施例中,还可以使用其他类型的连接。此外,在实施例中,系统200的元件中的至少一个是基于处理器的。此外,虽然一个或多个元件可以被示出为单独的元件,但是在其他实施例中,这些元件可以被组合为一个元件。反过来也适用,其中虽然一个或多个元件可以是另一元件的一部分,但是在其他实施例中,所述一个或多个元件可以被实现为独立的元件。此外,系统200的一个或多个元件可以以分布式方式被合并在包括单独的服务器等的一个或多个单独的设备中。例如,不同的元件可以位于不同的位置。此外,这些元件中的一个或多个可以包含一个或多个数据中心。此外,给出这里提供的本原理的教导,如本领域普通技术人员容易理解的,这些元件中的一个或多个可以包含基础设施服务、信息管理服务、组合服务、中间件和对应应用等中的一个或多个。此外,所述元件中的任何一个的多于一个实例可以被用在本原理的实施例中。此外,可以使用如这里描述的云技术和配置实现系统200。给出这里提供的本原理的教导,本领域普通技术人员容易确定系统200的元件的这些和其他变化,同时维持本原理的精神。
图3示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的示例方法300。
在步骤310,将网络配置为系统的底板,以优化跨越基于云并且形成所述系统的一组子系统的吞吐率并且最小化等待时间。这组子系统包括硬件和软件子系统。
在步骤320,使用分解的系统原理重构这组子系统以作为单个系统使用所述网络进行通信。
在步骤330,生成将可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
在步骤340,从多维优化模型形成云资源指令集体系结构。
在步骤350,使用从所述多维优化模型导出的多维参数空间优化进行自调节和自优化。
图4示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的物理视图的示例方法400。方法400可以应用于所述系统的分解的资源。
在步骤410,提供和/或指定包括至少一个处理单元和至少一个对应的本地存储器的计算构造块池。
在步骤420,提供和/或指定与各个不同类型的远程存储器对应的一组分解的存储器池。
当然,根据本原理的CRISA的物理视图不仅限于前面的项目,而是可以包含其他项目以及代替上面的项目中的一个或多个而替换成其他项目,同时维持本原理的精神。
图5示出根据本原理的实施例的用于创建云资源指令集体系结构(CRISA)的逻辑视图的示例方法500。对于一组不同的系统配置中的每一个不同的系统配置执行方法500。
在步骤510,提供和/或指定实例目的。
在步骤520,提供和/或指定实例类型。
在步骤530,提供和/或指定指令集体系结构。
在步骤540,提供和/或指定存储器参数。
在步骤550,提供和/或指定网络参数。
在步骤560,提供和/或指定加速器参数。
当然,根据本原理的CRISA的逻辑视图不仅限于前面的项目,而是可以包含其他项目以及代替上面的项目中的一个或多个而替换成其他项目,同时维持本原理的精神。
图6示出根据本原理的实施例的用来执行用于云资源指令集体系结构(CRISA)的运行时操作的示例方法600。
在步骤610,将云资源指令集体系结构的逻辑视图(例如,由图5的方法500生成的逻辑视图)映射为云资源指令集体系结构的物理视图(例如,由图4的方法400生成的物理视图)。在实施例中,所述运行时操作使用预先配置的(“预先构造的”)实例池以及逻辑视图和物理视图的元素之间的预先建立的映射。
在步骤620,响应于对于给定任务的实例请求,(从“预先构造的”配置实例的池)提供“预先构造的”配置实例。
在步骤630,在用于给定任务的实例的执行期间,按需要/需求提供和释放资源(中央处理单元(CPU)和存储器等)。
在步骤640,将“预先构造的”实例返回到所述池以用于给定任务完成之后的清除。
在云工作负载的范围和体量两个方面中的云计算的快速增长给传统数据中心设计带来许多挑战,诸如例如由于工作负载约束导致的快速改变的系统配置需求、系统组件的变化的创新周期、以及系统和子系统的最大性能和最大共享之间的矛盾。
关于由于工作负载约束导致的快速改变的系统配置需求,云计算环境中的系统往往必须响应于不同的工作负载需求而被不同地配置。需要特别注意所述配置的具体工作负载包括许多新兴的集群存储器内中间件和应用,诸如MemcacheD、ApacheSpark(以及整个Spark生态系统,例如SparkSQL、SparkR、SparkStream、GraphX、MLlib和BlinkDB)、MapReduce、Graph analytics以及各种多媒体和科学计算应用。例如存储器内数据库将需要大的主存储器,使用文件系统(HDFS)的MapReduce工作负载将需要高吞吐量输入/输出(I/O)和大量本地存储,并且各种多媒体和科学计算应用可以受益于加速器(例如,图形处理单元(GPU)、现场编程门阵列(FPGA)等)。当试图容纳大的本地存储器、存储设备或加速器时,正确配置的系统的形状因数将不同。因此,云数据中心的整体形状因数受系统中的每一个被如何配置影响,因为通过外部组件互连高速(PCIe)卡的更大的本地存储器和存储设备以及额外的加速器(GPU、FPGA等)需要用于系统的更大的覆盖区(footprint),并且减小整体密度。
我们将描述若干示例。在第一示例中,被配置为仅具有CPU和存储器同时使用远程存储子系统(其还包括存储控制器和存储器)的典型的服务器系统可能适用于不需要大的I/O带宽并且将仅偶尔需要使用存储设备的工作负载。该配置通常是不昂贵的和多功能的,但是当大的I/O带宽或小的等待时间变得相关时不可能良好地执行。在第二示例中,服务器系统包括存储控制器和存储器,但是还包括固态驱动器(SSD)。第二示例的配置更适合于需要大的I/O带宽和本地存储的工作负载。然而,该配置可能变得昂贵。此外,如果所述系统被提供用于可以使用远程网络附接的存储设备满足的工作负载,则被配置在所述系统内的SSD可能被潜在地浪费。
关于系统组件的变化的创新周期,传统系统受到对于整个系统具有固定生命周期限制。作为结果,系统内的全部组件(例如,服务器、存储设备、交换机等)被同时替换。同时替换整个系统的“同步”性质阻碍在组件级上更早地采用更新的技术,不论该组件是存储器、固态驱动器(SSD)、GPU、FPGA、电源、风扇等。
关于系统和子系统的最大性能和最大共享之间的矛盾,在具有SMP(对称多处理)体系结构的传统集中式计算中的系统资源(存储器、存储设备和加速器)允许完全资源共享(共享一切)。资源利用率日常地实现为接近满利用率。然而,将该体系结构扩展到因特网规模的数据中心常常在成本上是不可能的。分布式的和完全去集中式的体系结构不允许任何物理资源共享(无共享)以允许更容易的扩展,因为这种体系结构内的节点中的每一个通过数据中心网络松散地耦接和连接。这些资源(例如,存储器、存储设备和加速器)不可跨数据中心直接共享,并且仅在它们所处的“系统”内是可获取的。作为结果,资源利用率可能从根本上受到约束(即,太低)。被配置为远程的(或网络附接的)那些资源允许最大共享,但是在吞吐量和等待时间方面的性能由于传统数据中心网络的带宽、等待时间、服务质量的限制而可能较差。
我们现在进一步陈述本原理的各种元素,包括被用作/配置为系统底板的网络;可组合系统构造块;将可组合系统构造块基础化为资源以允许作为高维参数空间优化的资源优化的多维能力和容量关系抽象;以及用于整个系统的自调节和自优化的机构和/或框架。
关于变成新的底板的网络,我们使用高吞吐量低等待时间网络作为所述“系统”的底板,其可以在机架、机架集群、一个或多个壳、一个或多个区域、以及一个或多个数据中心中变化。数据中心网络在过去数年期间经历了显著的体系结构演进。传统的数据中心网络常常基于三层体系结构,其包括机架顶部(TOR)交换机、聚合交换机和核心交换机。这些数据中心网络常常在端口之间使用分组的“胖树”路由。该体系结构足以应对传统的客户端-服务器计算模型,在该模型中业务模式通常起源于数据中心内部的服务器节点到达数据中心外部的客户端节点(或反之亦然),并且常常被称为南-北业务模式。包括虚拟机迁移、大数据分析(包括MapReduce)和其他大规模集群操作的新兴的云中心工作负载模式需要数据中心内的节点彼此频繁通信,并且产生大量的东-西业务。在传统三层体系结构中,该业务模式经历过大的等待时间,因为每一个分组必须遍历“胖树”路由内的多跳,以便从数据中心的一个计算节点行进到其他计算节点。东-西业务模式驱动数据中心包含更扁平的网络拓扑,诸如基于脊叶模型(两层)或样条模型(单层)的网络拓扑。更扁平的网络拓扑和网络速度的快速发展使得数据中心网络能够在节点之间实现高带宽和低等待时间操作。
在过去的三十年期间,底板技术(如由PCIe代表)和网络技术(如由以太网代表)之间的差距快速缩小。在下一个十年期间,下一代PCIe和下一代以太网之间的差距预计将实质上不存在。当底板速度不比网络速度快得多时,这潜在地允许以许多有趣的方式重构系统和子系统的可能性,因为它们不再必须在相同的“盒子”中以便具有高吞吐量。应注意,等待时间将仍然受到信号需要行进的距离限制,因为信号不能行进得比光速更快。
当网络速度变得比得上底板速度时,我们先前描述的、我们必须在高性能配置(其中全部相关子系统位于相同底板上)和通用配置(其中系统组件是网络附接的)之间选择的难题将消失,如下所示。在该情况下,SSD和存储设备(例如,串行附接的小计算机系统接口(SAS)、串行高级技术附件(SATA)等)通过高速网络连接到CPU/存储器模块。该配置允许最大量的共享和最大量的灵活性以应对潜在工作负载的全部范围。
关于基于分解的系统原理的可组合系统构造块,数据中心内的系统和子系统(其可以是超融合的)被重构,使得全部子系统可以作为单个系统使用网络“底板”进行通信。
可组合“系统”可以在网络、存储设备和服务器区域中。在网络区域中,传统的交换系统将物理交换机、路由表、控制器、操作系统、系统和网络管理、以及应用单片地(或垂直地)集成在相同的“盒子”内。越来越多地,更新一代的交换机将数据平面(硬件交换机和路由表)与控制平面(控制器和OS和应用)和管理平面(系统和网络管理)逻辑地和物理地分开,并且允许将交换系统分解为下列三个子系统:控制平面;管理平面;和数据平面。控制和管理平面可以存在于数据中心内的任何位置,而数据平面用作用于交换数据的传统角色。
类似于交换系统,存储系统采用类似的路径,其中包括硬盘驱动器(HDD)、控制器、高速缓冲存储器(包括SSD)、以及用于压缩和加密的特殊功能加速器的传统单片地(或垂直的)集成的存储系统被转换为逻辑上或物理上不同的数据平面(即JBOD(简单驱动器群(just bunch of drives))、控制平面(控制器、高速缓冲存储器、SSD)和管理平面。
作为示例,当前EMV VIPER软件定义的存储设备真正地基于分解的体系结构,在该分解的体系结构中,资源池(JBOD、控制器和高速缓冲存储器/SSD)通过逻辑交换机(虚拟以太网设备)连线到一起并且形成虚拟块设备。
用于存储子系统的该方式的好处包括:(1)改善安全性的全部方面;(2)增加资源类内的可用实例类型的范围;(3)减少资源传递时间/改善容量管理;(4)通过改善资源调度来增加平均利用率;(5)减少计划和非计划运行中断(outage)的频率;(6)减少从运行中断恢复的时间。
已知的分解的服务器的示例可以包含来自被分解并且随后被聚合为单独的“盒子”的每一个服务器“盒子”的存储器的一部分。存储器总量在左手侧和右手侧之间相同。即使每一个服务器“盒子”具有较小的存储器量,其已经足以应对工作负载的相当大的部分。此外,对于其他大存储器占用量(footprint)工作负载中的一些,该方式由于存在单个大的连续存储器而实际上帮助提高性能。UCS M-series模块化服务器是分解的服务器设计的示例,其中存储设备和外部网络附接到机壳并且节点的计算部分仅包括处理器和存储器。该方式的好处在于在不必替换整个机壳的情况下,使用更新的处理器和/或存储器技术升级计算节点的可能性。
可组合系统构思适用于形成包括机架安装的外壳(1U、2U或其他形状因数)的“虚拟”机架,其中物理的机架安装的外壳位于数据中心中的其他位置。类似地,可组合系统构思还可以适用于形成“虚拟壳”,其中“虚拟壳”内的机架位于数据中心内的其他位置。
综上所述,分解的系统使得能够完全重构数据中心内的服务器、存储设备和交换系统,并且允许显著不同的工作负载在大多数时间(如果不是全部时间)具有最大吞吐量和组件的共享。在这种环境中,存储、交换和计算资源将被集合到一起,并且通过软件定义的基础设施按具体工作负载所需地组合。
关于将可组合系统构造块基础化为资源以允许作为高维参数空间优化的系统资源优化的多维能力和容量关系抽象,我们进一步解释如下。抽象的可组合系统资源模型提供对能力、容量和物理环境在其拓扑方面(例如,公共交换机的共享、电力分配单元(UPS)、不可间断电源(UPS)或备用发电机)进行抽象的组合,所述物理环境例如为集群、壳、可用性区域和数据中心。该抽象形成云资源指令集体系结构(CRISA)的基础。CRISA还使得能够基于对于最大量的工作负载吞吐量、资源共享和利用率的期望的工作负载需求将物理资源动态组织到一起,以用作用于计算、存储和网络功能的逻辑资源。
在实施例中,CRISA可以包括下列三个领域:(1)定义逻辑资源到物理资源的绑定;(2)定义可以针对抽象应用的操作;以及(3)定义包括资源之间的密切关系的资源和操作的环境和上下文。
关于逻辑资源到物理资源的绑定,这种绑定可以包括:
(1)用于计算、存储和网络连接的子系统处的物理资源实体。所述实体是在能力和容量方面。
(2)子系统级的物理资源关系。例如,可以在相同机架、相同集群、相同壳(POD)、相同区域和/或相同数据中心内指定物理资源关系。
(3)这些物理资源实体的连线-例如作为逻辑块存储设备的JBOD(简单驱动器群)、网络适配器卡、SSD、存储器和控制器的连线。
CRISA的逻辑视图包括以下项目:
(a)实例目的:通用目的、计算优化、存储器优化、存储设备优化、使用加速器(例如GPU和FPGA)和微实例。实例目的给出对于具体逻辑配置的动机。
(b)实例类型:提供相同实例目的内的多个配置。
(c)ISA:x86、POWER、ARM(64位或32位)。
(d)虚拟化的“CPU”(vCPU):其常常被映射到硬件超线程。
(e)性能基准(benchmark)“向量”:这将允许不同实例类型之间的性能比较。在一点处使用ECU(弹性计算单元)提供近似。
(f)存储器:存储器大小。
(g)实例存储设备:“主轴(spindle)”的数目(#)*每一个“主轴”的存储设备容量。
(h)存储设备类型优化:被针对文件、块、对象存储或长期文档存储(也被称为冷存储)优化的计算实例。
(i)网络:常常包括关于端口之间的带宽(100M、1G、10G、40G等)和等待时间的需求。
(j)加速器:包括GPU、FPGA或其他加速器。
该逻辑视图可以被容易地映射到由各种公共云(例如AWS)或开源OpenStack提供的当前抽象。
分解的资源的物理视图包括:
(a)基本计算构造块池:包括CPU、本地存储器、本地快闪存储器、本地SSD和本地存储设备。
(b)分解的存储器池。
(c)分解的快闪存储器(例如,相变存储器(PCM))池。
(d)分解的SSD池。
(e)分解的存储设备池。
总地来说,物理资源可以包括完整的存储器层级,存储器层级继而包括具有不同的存取等待时间和吞吐量的主存储器、较慢的(但是较便宜并且可能持久的)存储器、较快的存储设备(例如SSD)、常规存储设备(HDD)和冷存储设备(磁带或光盘)。这是我们提供不同的存储器和存储设备池的原因。
显而易见的,逻辑视图和物理视图可以包括关于给定资源和由此和/或相对于此执行的操作的上下文信息。
CRISA运行时负责从CRISA的逻辑视图映射到CRISA的物理视图,并且通过下列项目实现:
(a)预先配置的实例池,其中提前建立从实例类型到计算节点和相关联的分解的存储器、存储设备和GPU等的映射。
(b)当工作负载管理器请求或推荐实例时,“预先构造的”实例被从实例池给予请求者,并且被返回到实例池以用于任务结束时的清除。
(c)在实例的执行期间,可以请求和释放额外的存储器、存储设备和/或一个或多个GPU。
构建动态环境的简单方式是通过将本地存储器、远程存储器(分解的存储器)、远程闪速存储器(分解的闪速存储器)、远程SSD(分解的SSD)、远程存储设备(分解的存储设备)作为交换空间。在这种情况下,在本地存储器处的“页”丢失可以使得从存储器层级中的“最近的”位置取回所述页。
CRISA工具是允许基于工作负载识别实例配置的一组工具,CRISA工具产生配置的初始推荐,持续监视工作负载,并且持续开发对于最优配置的最佳方案(projection)。
CRISA库包括对身份管理的支持、数据层服务、图形db(graph db)、NoSQL等,它们形成诸如平台即服务(PaaS)和软件即服务(SaaS)的各种平台的基础。
CRISA的显著特征在于帮助大规模重构、聚合。
当数据中心内的资源被完全分解为资源池时,可以随后基于计算、存储和网络连接方面所需的容量和能力而组合基础设施。该组合将是基于策略的,其中具体目标“服务水平协议”将驱动对系统做出贡献的资源的持续重新形成。因此,资源池将在新的硬件组件被引入到分解的数据中心之后瞬间反映那些组件。更高水平的工作负载将随后按该工作负载所需而利用资源池中的资源。
关于使用允许可组合系统的参数或钮被持续调整以获得最优性能的多维参数空间的整个系统的自调节和自优化的机构和/或框架,我们进一步解释如下。
诸如作为示例的用于MapReduce的Terasort基准的新兴的大数据工作负载的手动调节常常花费非常长的时间,因为存在数百参数需要被调整。这些参数包括硬件配置(同时多线程(SMT)的线程的数目、预取、芯片上高速缓冲存储器的大小、存储器和IO带宽)、存储设备(独立盘软件冗余阵列(RAID)、负载均衡器)、Java虚拟机(JVM)(堆大小、垃圾收集和即时编译策略)、平台symphony(与减少I/O、智能调度、任务粒度有关的缓冲器)、使用的具体压缩算法等。在该具体示例中,花费几乎18个月来将基准从47分钟减少到6分钟41秒。估计将需要至少2-3个月用于手动调整新的应用。
首先应当理解,尽管本公开包括关于云计算的详细描述,但其中记载的技术方案的实现却不限于云计算环境,而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。
云计算是一种服务交付模式,用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源,例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征包括:
按需自助式服务:云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入:计算能力可以通过标准机制在网络上获取,这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理(PDA))对云的使用。
资源池:提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者,其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下,消费者不能控制或甚至并不知晓所提供的资源的确切位置,但可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。
迅速弹性:能够迅速、有弹性地(有时是自动地)部署计算能力,以实现快速扩展,并且能迅速释放来快速缩小。在消费者看来,用于部署的可用计算能力往往显得是无限的,并能在任意时候都能获取任意数量的计算能力。
可测量的服务:云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力,自动地控制和优化资源效用。可以监测、控制和报告资源使用情况,为服务提供者和消费者双方提供透明度。
服务模型如下:
软件即服务(SaaS):向消费者提供的能力是使用提供者在云基础体系结构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外,消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础体系结构。
平台即服务(PaaS):向消费者提供的能力是在云基础体系结构上部署消费者创建或获得的应用,这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础体系结构,但对其部署的应用具有控制权,对应用托管环境配置可能也具有控制权。
基础体系结构即服务(IaaS):向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础体系结构,但是对操作系统、存储和其部署的应用具有控制权,对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下:
私有云:云基础体系结构单独为某个组织运行。云基础体系结构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云:云基础体系结构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云:云基础体系结构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云:云基础体系结构由两个或更多部署模型的云(私有云、共同体云或公共云)组成,这些云依然是独特的实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发业务分担技术)绑定在一起。
云计算环境是面向服务的,特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础体系结构。
现在参考图7,其中显示了云计算节点710的一个例子。图7显示的云计算节点710仅仅是适合的云计算节点的一个示例,不应对本发明实施例的功能和使用范围带来任何限制。总之,云计算节点710能够被用来实现和/或执行以上所述的任何功能。
云计算节点710具有计算机系统/服务器712,其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知,适于与计算机系统/服务器712一起操作的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统的分布式云计算技术环境,等等。
计算机系统/服务器712可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机系统/服务器712可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
如图7所示,云计算节点710中的计算机系统/服务器712以通用计算设备的形式表现。计算机系统/服务器712的组件可以包括但不限于:一个或者多个处理器或者处理单元716,系统存储器728,连接不同系统组件(包括系统存储器728和处理单元716)的总线718。
总线718表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器712典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器712访问的任意可获得的介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器728可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)730和/或高速缓冲存储器732。计算机系统/服务器712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统734可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740,可以存储在存储器728中,这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器712交互的设备通信,和/或与使得该计算机系统/服务器712能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且,计算机系统/服务器712还可以通过网络适配器720与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器720通过总线718与计算机系统/服务器712的其它模块通信。应当明白,尽管图中未示出,其它硬件和/或软件模块可以与计算机系统/服务器712一起操作,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
现在参考图8,其中显示了示例性的云计算环境850。如图所示,云计算环境850包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点810,本地计算设备例如可以是个人数字助理(PDA)或移动电话854A,台式电脑854B、笔记本电脑854C和/或汽车计算机系统854N。云计算节点810之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点810进行物理或虚拟分组(图中未显示)。这样,云的消费者无需在本地计算设备上维护资源就能请求云计算环境850提供的基础体系结构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解,图8显示的各类计算设备54A-N仅仅是示意性的,云计算节点810以及云计算环境850可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。
现在参考图9,其中显示了云计算环境850(图8)提供的一组功能抽象层。首先应当理解,图9所示的组件、层以及功能都仅仅是示意性的,本发明的实施例不限于此。如图3所示,提供下列层和对应功能:
硬件和软件层960包括硬件和软件组件。硬件组件的例子包括:主机,例如系统;基于RISC(精简指令集计算机)体系结构的服务器,例如IBM系统;IBM系统;IBM系统;存储设备;网络和网络组件。软件组件的例子包括:网络应用服务器软件,例如IBM应用服务器软件;数据库软件,例如IBM数据库软件。(IBM,zSeries,pSeries,xSeries,BladeCenter,WebSphere以及DB2是国际商业机器公司在全世界各地的注册商标)。
虚拟层962提供一个抽象层,该层可以提供下列虚拟实体的例子:虚拟服务器、虚拟存储、虚拟网络(包括虚拟私有网络)、虚拟应用和操作系统,以及虚拟客户端。
在一个示例中,管理层964可以提供下述功能:资源供应功能:提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取;计量和定价功能:在云计算环境内对资源的使用进行成本跟踪,并为此提供帐单和发票。在一个例子中,该资源可以包括应用软件许可。安全功能:为云的消费者和任务提供身份认证,为数据和其它资源提供保护。用户门户功能:为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能:提供云计算资源的分配和管理,以满足必需的服务水平。服务水平协议(SLA)计划和履行功能:为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层966提供云计算环境可能实现的功能的示例。在该层中,可提供的工作负载或功能的示例包括:地图绘制与导航;软件开发及生命周期管理;虚拟教室的教学提供;数据分析处理;交易处理;以及自动化本体建设。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如JAVA、Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系体系结构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现
在说明书中对于本原理的“一个实施例”或“实施例”以及它的其他变化的提及意思是结合所述实施例描述的具体特征、结构和特性等被包括在本原理的至少一个实施例中。因此,在整个说明书中在各种位置出现的词组“在一个实施例中”或“在实施例中”以及任何其他变化的出现不一定全部指代相同实施例。
应理解,例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况中的下列“/”、“和/或”以及“中的至少一个”中的任何一个的使用意图包含对于仅第一个列出的选项(A)的选择、或对于仅第二个列出的选项(B)的选择、或对于两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一个”的情况中,这种词组意图包含对于仅第一个列出的选项(A)的选择、或对于仅第二个列出的选项(B)的选择、或对于仅第三个列出的选项(C)的选择、或对于仅第一个和第二个列出的选项(A和B)的选择、或对于仅第一个和第三个列出的选项(A和C)的选择、或对于仅第二个和第三个列出的选项(B和C)的选择、或对于全部三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易理解的,这可以对于尽可能多的列出的项目进行扩展。
已经描述了系统和方法的优选实施例(其意图是说明性的而非限制性的),注意,根据上面的教导,本领域技术人员可以进行修改和变化。因此,应理解,可以在所公开的具体实施例中进行在如由所附权利要求概述的本发明的范围内的改变。已经这样描述了具有专利法要求的细节和特性的本发明的各方面,在所附权利要求中阐述专利证书所保护的所要求和期望的内容。
Claims (19)
1.一种信息处理系统,包括:
网络配置器,用于将网络配置为所述系统的底板,以优化跨越基于云并且形成所述系统的多个子系统的吞吐率并且最小化等待时间,所述多个子系统包括硬件和软件子系统;
可组合系统构造块配置器,用于基于分解的系统原理重构所述多个子系统以作为单个系统使用所述网络进行通信;以及
系统资源多维模型生成器,用于生成将所述可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
2.如权利要求1所述的系统,其中,从多维优化模型形成云资源指令集体系结构。
3.如权利要求2所述的系统,其中,所述云资源指令集体系结构指定逻辑资源到物理资源的绑定。
4.如权利要求3所述的系统,其中,所述逻辑资源到物理资源的绑定包括,对于所述子系统级的计算、存储和网络物理资源,资源能力和容量、物理资源位置关系和物理资源连接。
5.如权利要求2所述的系统,其中,所述云资源指令集体系结构指定能够针对所述多维优化模型应用的操作。
6.如权利要求2所述的系统,其中,所述云资源指令集体系结构指定物理资源的环境和上下文、由所述物理资源执行的操作和所述物理资源之间的任何密切关系。
7.如权利要求2所述的系统,其中,所述云资源指令集体系结构的逻辑视图包括:对于给定配置,实例目的、实例类型、指令集体系结构、存储器参数、网络参数和加速器参数。
8.如权利要求2所述的系统,其中,所述云资源指令集体系结构的物理视图包括:对于所述系统的分解的资源,(a)计算构造块池,其包括至少一个处理单元和至少一个对应的本地存储器、以及(b)与各个不同类型的远程存储器对应的多个分解的存储器池。
9.如权利要求2所述的系统,其中,云资源指令集体系结构运行时操作将所述云资源指令集体系结构的逻辑视图映射到所述云资源指令集体系结构的物理视图。
10.如权利要求9所述的系统,其中,所述运行时操作使用预先配置的实例池以及所述逻辑视图元素和所述物理视图元素之间的预先建立的映射。
11.如权利要求1所述的系统,其中,重构的所述多个子系统中的至少一些被包括在相同的数据中心内。
12.如权利要求11所述的系统,其中,在数据中心中的所述多个子系统中的单独的子系统中的资源被同时配置以用于最大性能和最大资源共享。
13.如权利要求1所述的系统,还包括系统自调节器和自优化器,用于使用从所述多维优化模型导出的多维参数空间优化来自调节和自优化所述系统。
14.如权利要求13所述的系统,其中,所述系统自调节器和自优化器被配置为响应由工作负载约束引起的改变的系统配置需求。
15.如权利要求13所述的系统,其中,所述系统自调节器和自优化器支持在与其他子系统组件无关的所述多个子系统中的任何一个中的组件级替换。
16.一种信息处理方法,包括:
由网络配置器将网络配置为系统的底板,以优化跨越基于云并且形成所述系统的多个子系统的吞吐率并且最小化等待时间,所述多个子系统包括硬件和软件子系统;
由可组合系统构造块配置器使用分解的系统原理重构所述多个子系统以作为单个系统使用所述网络进行通信;以及
由系统资源多维模型生成器生成将所述可组合系统构造块建模为具有在多维参数空间中的可调整参数的资源的多维优化模型。
17.如权利要求16所述的方法,其中,从多维优化模型形成云资源指令集体系结构。
18.如权利要求17所述的方法,其中,所述云资源指令集体系结构指定逻辑资源到物理资源的绑定、能够针对所述多维优化模型应用的操作、物理资源的环境和上下文、由所述物理资源执行的操作和所述物理资源之间的任何密切关系。
19.如权利要求18所述的方法,其中,所述逻辑资源到物理资源的绑定包括:对于子系统级的计算、存储和网络物理资源,资源能力和容量、物理资源位置关系和物理资源连接。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/656,334 | 2015-03-12 | ||
US14/656,334 US10084648B2 (en) | 2015-03-12 | 2015-03-12 | Creating new cloud resource instruction set architecture |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105978704A CN105978704A (zh) | 2016-09-28 |
CN105978704B true CN105978704B (zh) | 2019-04-16 |
Family
ID=55586145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610137210.4A Active CN105978704B (zh) | 2015-03-12 | 2016-03-10 | 用于创建新的云资源指令集体系结构的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (3) | US10084648B2 (zh) |
EP (1) | EP3067797A1 (zh) |
CN (1) | CN105978704B (zh) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10084648B2 (en) * | 2015-03-12 | 2018-09-25 | International Business Machines Corporation | Creating new cloud resource instruction set architecture |
US10463957B2 (en) | 2015-03-17 | 2019-11-05 | Amazon Technologies, Inc. | Content deployment, scaling, and telemetry |
US20160277484A1 (en) * | 2015-03-17 | 2016-09-22 | Amazon Technologies, Inc. | Content Deployment, Scaling, and Telemetry |
US10791063B1 (en) | 2015-04-06 | 2020-09-29 | EMC IP Holding Company LLC | Scalable edge computing using devices with limited resources |
US10425350B1 (en) | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
US10404787B1 (en) | 2015-04-06 | 2019-09-03 | EMC IP Holding Company LLC | Scalable distributed data streaming computations across multiple data processing clusters |
US10706970B1 (en) | 2015-04-06 | 2020-07-07 | EMC IP Holding Company LLC | Distributed data analytics |
US10277668B1 (en) | 2015-04-06 | 2019-04-30 | EMC IP Holding Company LLC | Beacon-based distributed data processing platform |
US10509684B2 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
US10776404B2 (en) | 2015-04-06 | 2020-09-15 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10528875B1 (en) | 2015-04-06 | 2020-01-07 | EMC IP Holding Company LLC | Methods and apparatus implementing data model for disease monitoring, characterization and investigation |
US10541936B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Method and system for distributed analysis |
US10860622B1 (en) | 2015-04-06 | 2020-12-08 | EMC IP Holding Company LLC | Scalable recursive computation for pattern identification across distributed data processing nodes |
US10366111B1 (en) | 2015-04-06 | 2019-07-30 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10496926B2 (en) | 2015-04-06 | 2019-12-03 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10348810B1 (en) | 2015-04-06 | 2019-07-09 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct clouds |
US10331380B1 (en) * | 2015-04-06 | 2019-06-25 | EMC IP Holding Company LLC | Scalable distributed in-memory computation utilizing batch mode extensions |
US10812341B1 (en) | 2015-04-06 | 2020-10-20 | EMC IP Holding Company LLC | Scalable recursive computation across distributed data processing nodes |
US10511659B1 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Global benchmarking and statistical analysis at scale |
US10505863B1 (en) | 2015-04-06 | 2019-12-10 | EMC IP Holding Company LLC | Multi-framework distributed computation |
US10541938B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Integration of distributed data processing platform with one or more distinct supporting platforms |
US10515097B2 (en) | 2015-04-06 | 2019-12-24 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10656861B1 (en) | 2015-12-29 | 2020-05-19 | EMC IP Holding Company LLC | Scalable distributed in-memory computation |
WO2017193140A1 (en) | 2016-05-06 | 2017-11-09 | Enterpriseweb Llc | Systems and methods for domain-driven design and execution of modular and dynamic services, applications and processes |
US10985997B2 (en) * | 2016-05-06 | 2021-04-20 | Enterpriseweb Llc | Systems and methods for domain-driven design and execution of metamodels |
US10334334B2 (en) * | 2016-07-22 | 2019-06-25 | Intel Corporation | Storage sled and techniques for a data center |
US10387198B2 (en) * | 2016-08-11 | 2019-08-20 | Rescale, Inc. | Integrated multi-provider compute platform |
US11138146B2 (en) | 2016-10-05 | 2021-10-05 | Bamboo Systems Group Limited | Hyperscale architecture |
US10374968B1 (en) | 2016-12-30 | 2019-08-06 | EMC IP Holding Company LLC | Data-driven automation mechanism for analytics workload distribution |
US11102299B2 (en) * | 2017-03-22 | 2021-08-24 | Hitachi, Ltd. | Data processing system |
CN107203411B (zh) * | 2017-04-18 | 2020-02-28 | 中国科学院计算技术研究所 | 一种基于远程ssd的虚拟机内存扩展方法及系统 |
CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算系统 |
US10496447B2 (en) * | 2017-06-08 | 2019-12-03 | Western Digital Technologies, Inc. | Partitioning nodes in a hyper-converged infrastructure |
US11288102B2 (en) * | 2017-08-29 | 2022-03-29 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Modifying resources for composed systems based on resource models |
WO2019099602A1 (en) | 2017-11-20 | 2019-05-23 | Corning Research & Development Corporation | Optical interconnect assemblies and associated systems for large-scale spine and leaf topologies |
CN109150947B (zh) * | 2017-12-25 | 2023-07-11 | 北极星云空间技术股份有限公司 | 一种对称架构的超融合云计算微模块 |
US11330042B2 (en) | 2018-05-17 | 2022-05-10 | International Business Machines Corporation | Optimizing dynamic resource allocations for storage-dependent workloads in disaggregated data centers |
US10841367B2 (en) | 2018-05-17 | 2020-11-17 | International Business Machines Corporation | Optimizing dynamical resource allocations for cache-dependent workloads in disaggregated data centers |
US10893096B2 (en) | 2018-05-17 | 2021-01-12 | International Business Machines Corporation | Optimizing dynamical resource allocations using a data heat map in disaggregated data centers |
US10977085B2 (en) | 2018-05-17 | 2021-04-13 | International Business Machines Corporation | Optimizing dynamical resource allocations in disaggregated data centers |
US10601903B2 (en) | 2018-05-17 | 2020-03-24 | International Business Machines Corporation | Optimizing dynamical resource allocations based on locality of resources in disaggregated data centers |
US11221886B2 (en) | 2018-05-17 | 2022-01-11 | International Business Machines Corporation | Optimizing dynamical resource allocations for cache-friendly workloads in disaggregated data centers |
US10936374B2 (en) | 2018-05-17 | 2021-03-02 | International Business Machines Corporation | Optimizing dynamic resource allocations for memory-dependent workloads in disaggregated data centers |
US11436113B2 (en) * | 2018-06-28 | 2022-09-06 | Twitter, Inc. | Method and system for maintaining storage device failure tolerance in a composable infrastructure |
US10831688B2 (en) | 2018-08-21 | 2020-11-10 | International Business Machines Corporation | Reconfigurable network infrastructure |
US10999159B2 (en) | 2019-04-04 | 2021-05-04 | Cisco Technology, Inc. | System and method of detecting application affinity using network telemetry |
US11030015B2 (en) * | 2019-09-19 | 2021-06-08 | International Business Machines Corporation | Hardware and software resource optimization |
CN112559039B (zh) * | 2020-12-03 | 2022-11-25 | 类人思维(山东)智慧科技有限公司 | 一种计算机编程用指令集生成方法及系统 |
US11206179B1 (en) | 2020-12-16 | 2021-12-21 | American Express Travel Related Services Company, Inc. | Computer-based systems for management of big data development platforms based on machine learning techniques and methods of use thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101778005A (zh) * | 2010-03-05 | 2010-07-14 | 中兴通讯股份有限公司 | 复杂网络配置方法和系统 |
CN102394903A (zh) * | 2011-07-14 | 2012-03-28 | 上海红神信息技术有限公司 | 一种主动重构计算体系构建系统 |
CN103051677A (zh) * | 2012-11-30 | 2013-04-17 | 中国电信股份有限公司云计算分公司 | 网络服务能力的提供方法及设备 |
CN104391697A (zh) * | 2014-11-11 | 2015-03-04 | 百度在线网络技术(北京)有限公司 | 应用程序的云资源管理系统和方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987760B2 (en) | 2001-03-05 | 2006-01-17 | International Business Machines Corporation | High speed network processor |
US7491579B2 (en) | 2005-03-14 | 2009-02-17 | Lsi Corporation | Composable system-in-package integrated circuits and process of composing the same |
US7565635B2 (en) | 2007-04-09 | 2009-07-21 | Taiwan Semiconductor Manufacturing Co., Ltd. | SiP (system in package) design systems and methods |
US8856792B2 (en) | 2010-12-17 | 2014-10-07 | Microsoft Corporation | Cancelable and faultable dataflow nodes |
US9009319B2 (en) * | 2012-01-18 | 2015-04-14 | Rackspace Us, Inc. | Optimizing allocation of on-demand resources using performance |
US9038065B2 (en) * | 2012-01-30 | 2015-05-19 | International Business Machines Corporation | Integrated virtual infrastructure system |
US8869157B2 (en) * | 2012-06-21 | 2014-10-21 | Breakingpoint Systems, Inc. | Systems and methods for distributing tasks and/or processing recources in a system |
US9749208B2 (en) * | 2014-06-30 | 2017-08-29 | Microsoft Technology Licensing, Llc | Integrated global resource allocation and load balancing |
US10084648B2 (en) * | 2015-03-12 | 2018-09-25 | International Business Machines Corporation | Creating new cloud resource instruction set architecture |
-
2015
- 2015-03-12 US US14/656,334 patent/US10084648B2/en active Active
- 2015-06-17 US US14/742,143 patent/US9967146B2/en active Active
-
2016
- 2016-03-08 EP EP16159265.4A patent/EP3067797A1/en not_active Withdrawn
- 2016-03-10 CN CN201610137210.4A patent/CN105978704B/zh active Active
-
2018
- 2018-07-20 US US16/041,297 patent/US10432464B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101778005A (zh) * | 2010-03-05 | 2010-07-14 | 中兴通讯股份有限公司 | 复杂网络配置方法和系统 |
CN102394903A (zh) * | 2011-07-14 | 2012-03-28 | 上海红神信息技术有限公司 | 一种主动重构计算体系构建系统 |
CN103051677A (zh) * | 2012-11-30 | 2013-04-17 | 中国电信股份有限公司云计算分公司 | 网络服务能力的提供方法及设备 |
CN104391697A (zh) * | 2014-11-11 | 2015-03-04 | 百度在线网络技术(北京)有限公司 | 应用程序的云资源管理系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3067797A1 (en) | 2016-09-14 |
US20180331896A1 (en) | 2018-11-15 |
US9967146B2 (en) | 2018-05-08 |
US20160269228A1 (en) | 2016-09-15 |
US10084648B2 (en) | 2018-09-25 |
CN105978704A (zh) | 2016-09-28 |
US10432464B2 (en) | 2019-10-01 |
US20160269229A1 (en) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105978704B (zh) | 用于创建新的云资源指令集体系结构的系统和方法 | |
CN109643312B (zh) | 托管查询服务 | |
CN106020940B (zh) | 用于确定数据集的放置的存储层级的方法和系统 | |
CN102103518B (zh) | 一种在虚拟化环境中管理资源的系统及其实现方法 | |
DE112019005770T5 (de) | Speicherverwaltung für ein cloudbasiertes Speichersystem | |
CN103365725B (zh) | 在多个云之间动态分配工作负荷部署单元的方法和系统 | |
CN104750559B (zh) | 跨多节点的存储器资源的池化 | |
CN108885582A (zh) | 存储器池结构的多租户存储器服务 | |
US10671557B2 (en) | Dynamic component communication using general purpose links between respectively pooled together of like typed devices in disaggregated datacenters | |
CN103226489A (zh) | 用于在计算环境中创建虚拟单元的方法和系统 | |
US11182322B2 (en) | Efficient component communication through resource rewiring in disaggregated datacenters | |
CN103970607A (zh) | 使用等价集合来计算优化虚拟机分配的方法和装置 | |
US10637733B2 (en) | Dynamic grouping and repurposing of general purpose links in disaggregated datacenters | |
CN104424013A (zh) | 在计算环境中部署虚拟机的方法和设备 | |
US10620928B2 (en) | Global cloud applications management | |
CN103077446A (zh) | 一种基于云计算的图书馆信息化平台 | |
CN104603762A (zh) | 利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问 | |
CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
CN106453618A (zh) | 基于G‑Cloud云计算的遥感图像处理服务云平台系统 | |
CN108388524A (zh) | 用于缓存数据的方法和设备 | |
US10802988B2 (en) | Dynamic memory-based communication in disaggregated datacenters | |
US11012423B2 (en) | Maximizing resource utilization through efficient component communication in disaggregated datacenters | |
CN104424012A (zh) | 用于提供自定义虚拟装置的方法和设备 | |
US9244630B2 (en) | Identifying and accessing reference data in an in-memory data grid | |
Miao et al. | A Web 2.0‐based science gateway for massive remote sensing image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |