CN103729250B - 用于选择被配置为满足一组要求的数据节点的方法和系统 - Google Patents

用于选择被配置为满足一组要求的数据节点的方法和系统 Download PDF

Info

Publication number
CN103729250B
CN103729250B CN201310472614.5A CN201310472614A CN103729250B CN 103729250 B CN103729250 B CN 103729250B CN 201310472614 A CN201310472614 A CN 201310472614A CN 103729250 B CN103729250 B CN 103729250B
Authority
CN
China
Prior art keywords
back end
data
node
requirement
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310472614.5A
Other languages
English (en)
Other versions
CN103729250A (zh
Inventor
S.内尔克
M.A.奥伯霍弗
Y.赛莱特
J.塞弗特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103729250A publication Critical patent/CN103729250A/zh
Application granted granted Critical
Publication of CN103729250B publication Critical patent/CN103729250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种通过以下步骤用来在分布式计算环境中选择被配置为满足用于处理客户端数据的一组要求的数据节点的方法、系统和计算机程序产品，该步骤包括：为分布式计算环境中的多个数据节点中的每一个数据节点提供描述所述多个数据节点的各个数据节点的节点数据；接收处理客户端数据的请求，该客户端数据被标识在该请求中；检索用于处理所述客户端数据的一组要求；以及分析所检索的数据侧了和描述所述数据节点中至少一个的节点数据，以便选择选择所述多个数据节点中的第一数据节点作为委派目标，所述第一数据节点基于具有比所述多个数据节点的第二数据节点更高的满足所述一组要求的合适性级别而被选择。

Description

用于选择被配置为满足一组要求的数据节点的方法和系统
技术领域
此处所披露的实施例涉及计算机软件，其在分布式处理架构中透明地实现策略。
背景技术
现在，对于支持云计算使用情况的大规模数据处理系统，已经提出了诸如Hadoop的分布式文件系统。尽管在服务器和存储系统的整个机柜（rack）都由于网络连接性丧失、硬件故障或灾难性故障而不可获得的情况下基Hadoop的系统提供提供具有分散体系结构的分散文件系统性能实现商业弹性（resiliency）的高水平，但是Hadoop方案（以及通常的分布式计算方案）也不能以透明方式支持用于外部消费者的驱动策略的服务水平协议。
Hadoop是一种软件框架，其支持密集数据（data-intensive）分布应用。Hadoop使得一些应用与成千上万的计算独立计算机和千兆兆字节（petabyte）数据一起工作。Hadoop分布式文件系统（HDF）为一种用于Hadoop框架的分布式大规模以及便携式文件系统。大型Hadoop集群可以包括专用名称节点以及多个数据节点，专用名称节点主有（host）文件系统索引以管理HDF，多个数据节点可以存储数据并对这些数据执行操作。目前，Hadoop以及其他分布式处理架构假设在其系统中的所有数据节点都具有相同的特性。（Hadoop为ApacheSoftware Foundation（Apache软件基金会）的商标)。
发明内容
此处所披露的实施例提供了一种计算机实现的方法、系统以及计算机程序产品，以便在分布式计算环境中选择被配置为满足用于处理客户数据的一组要求的数据节点，该步骤包括：为在分布式计算环境中的多个数据节点的每个数据节点提供描述所述多个数据节点的各个数据节点的节点数据；接收处理客户数据的请求（该客户数据在该请求中被标识）；检索用于处理在所述请求中标识的客户数据的该组要求，以及分析所检索的数据策略和描述至少一个数据节点的节点数据，以便选择所述多个数据节点中的第一数据节点作为代表目标，第一数据节点被选择是基于比所述多个数据节点的第二数据节点具有更高的用于满足该组要求的合适程度。
附图说明
为了详细理解实现上述方面的方式，可以通过参照附图对上面简略概述的本发明的实施例有一个更具体描述。
不过，需要指出的是，附图仅仅是图释本发明的典型实施例，并不因此被认为对其范围的限制，对本发明可以采用其他等同效力的实施例。
图1A-1B为图释根据此处披露的一个实施例在分布式处理架构中透明地实行策略的原理的方块图。
图2是图释用于在分布式处理架构中透明地实行策略的系统的方块图。
图3是流程图，图释了根据此处披露的一个实施例在分布式处理架构中透明地执行策略的方法。
图4是流程图，图释了根据此处披露的一个实施例用于识别适于接收数据处理负载的数据节点的方法。
图5描绘了根据此处披露的一个实施例的云计算环境。
图6描绘了根据此处披露的一个实施例的概略模型层。
具体实施方式
实施例总体提供了一些实现对在分布式计算环境中被配置为满足一组要求的用于处理客户数据的数据节点的选择的技术。对于在分布式计算环境中的多个数据节点中的每个数据节点，实施例可以提供描述所述多个数据节点中各个数据节点的节点数据。可以接收处理客户数据的请求，该客户数据在请求中被标识。此外，这些实施例可以检索用于处理在所述请求中被标识的客户数据的所述一组要求，并且可以分析所检索到的数据策略以及描述至少一个数据节点的节点数据，以便选择所述多个数据节点中的第一数据节点作为委派（delegation）目标。因此，第一数据节点被选择是基于其满足所述一组要求的合适程度比所述多个数据节点中的第二数据节点更高。
尽管此处披露的多个实施例使用了Hadoop数据存储构架（framework）作为代表实例，但是实施方式并不限于Hadoop构架（framework）。相反，可以宽泛地想到实施方式可以延伸到所有分布式文件系统，已知的或未知的。此处所披露的实施方式通过改善名称节点的性能来根据需要提供了一种动态云架构来汇集来自具有采用元数据所表达的不同特性的所有数据节点的总集合的“子云（sub-clouds）”。而且，实施方式提供描述数据节点的增强的元数据，就私密策略、安全策略、保留策略以及灾难恢复策略方面而言这些元数据被认为是不相等的。例如，实施例为终端用户提供支持不同功能和非功能性策略的不同类型的数据节点。在这种实施例中，仅有名称节点可以具有在不同数据节点类型之间进行区分所必需的元数据，并且可以动态地选择哪个数据节点被用于特定的任务。此外，名称节点可以利用描述数据节点的不同特性的技术元数据，诸如计算功率、网络带宽、位置等，以便选择最合适的数据节点来完成计算任务。如在此所使用的，“节点数据”包括描述架构中每个数据节点的特性的元数据。
下面，提到了本发明的实施例。不过，应该理解到，本发明并不限于具体描述的实施例。相反，下述特征或元件的任何组合，无论是否涉及到不同的实施例，都可以被想到用来实施或实现本发明。而且，尽管本发明的实施例可以获得优于其他可能的方案和/或由于现有技术的优点，但是通过给定的实施例是否获得特殊的优点并不对本发明构成限制。因此，下面的方面、特征、实施方法以及优点仅仅是说明性的，并不被认为是附后权利要求书的元素或限定，除非在权利要求书中有清楚表述。同样，提到“本发明”并不应该被认为是在此处披露的任何创造性主题的广义含义，以及不应被认为是对附后权利要求书的元素或限定，除非在权利要求书中有清楚表述。
本领域技术人员将理解到，本发明的方面可以实施为系统、方法或计算机程序产品。因此，本发明的方面可以采取完全的硬件形式、完全软件形式（包括固件、常驻软件、微代码等）或组合软件和通常在此被称之为“电路”、“模块”或“系统”的硬件方面的实施方式。而且，本发明的方面还采取计算机程序产品的形式，在该产品被实施成一个或多个计算机可读介质，其中实施有计算机可读程序代码。
可以采用一个或多个计算机可读介质的任何组合。计算可读介质可以为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁学、光学、电磁、红外、或半导体系统、装置或器件、或任何前述的适当组合。计算机可读存储介质的更具体实例（非穷尽列表）可包括下述介质：具有一条或多个线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式只读光盘存储区（CD-ROM）、光学存储器、磁性存储器、或前述任何存储器的适当的组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，能够包含或存储为指令执行系统、装置或器件使用或与其相联系的程序。
计算机可读信号介质可以包括被传播的数据信号，具有在其中嵌入的计算机可读程序代码，例如在基带中或者作为载波的部分。这种被传播的信号可以采用各种形式中的任何一种，包括但不限于，电-磁、光、或任何适当组合方式。计算机可读信号介质可以是任何不是计算机可读存储介质并且可以进行通讯、传播或传送为指令执行系统、装置或器件使用或与其相联系的程序的计算机可读介质。
实施在计算机可读介质上的程序代码可以使用任何适当的介质被传输，包括但不限于无线、有线、光纤电缆、RF等或其任何适当的组合。
用于完成本发明的方面的操作的计算机程序代码可以采用一种或多种编程语言的任何组合来编写，包括面向对象的编程语言，诸如Java、Smalltalk、C++等，以及传统过程编程语言，诸如“C”编程语言或类似编程语言。程序代码可以完全在用户计算机上执行、作为独立软件包部分在用户计算机上执行、部分在用户计算机上执行和部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何形式的网络连接到使用者计算机，该网络包括局域网（LAN）或广域网（WAN）或者可以（例如通过使用英特网服务供应商的英特网）连接到外部计算机。
本发明的方面将在下面参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图示图和/或方块示意图进行描述。应该理解到，流程图和/或方块示意图的每个方块以及流程图和/或方块示意图中方块的组合都可以通过计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器已产生机器（machine），使得经由计算机或其他可编程数据处理装置执行的这些指令创建用于进行在流程图和/或方块示意图中指定的功能/行为的手段（means）。
这些计算机程序指令也可以存储在计算机可读介质中，其指令计算、其他可编程数据处理装置、或以特殊方式起作用的其他设备使得存储在计算机可读介质中的指令产生包括指令的制造物（article），该指令实现在流程图和/或方块示意图中指定的功能/行为。
计算机程序指令也可以加载到计算机、其他可编程数据处理装置、或其他设备以便产生计算机实现的处理，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或方块示意图中指定的功能/行为的处理。
本公开的实施例可以通过云计算架构提供给终端使用者。云计算通常指的是在网络上提供大规模计算资源作为业务（service）。更正式一点而言，云计算可以定义为一种计算能力，其在计算资源和其底层技术体系结构（例如，服务器、存储器、网络）之间提供抽象（abstraction），能够对可配置计算资源的共享池进行方便的根据需要的访问，该资源可以快速地被提供并以最小管理努力或业务提供商的交互被释放。因此，云计算使得使用者能够访问“云”中的虚拟计算资源（例如存储器、数据、应用甚至完全虚拟的计算系统）而无需考虑被用来提供计算资源的底层物理系统（或那些系统的位置）。
通常，云计算资源根据使用付费原则提供给使用者，其中使用者仅仅支付实际使用的计算资源（例如之勇者消耗的存储空间量或使用者例示（instantiate）的虚拟系统的数量）。用户可以通过英特网从任何地方在任何时间访问驻留在云中的任何资源。在本公开的上下文中，用户可以访问云可获得的一群（crowd）纯源化（sourcing）应用或相关数据。例如，数据例外发射器可以在云中的计算系统上执行并发射数据质量列外。在这种情况下，群纯源化管理器可以接收该例外并将与该例外相关的细节存储在云中的存储位置。这样做使得使用者能够访问来自连接到与该云连接的网络（例如，英特网）的任何计算系统的该信息
首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。
为了方便起见，详细的描述包括下面的定义，其派生于Peter Mell和TimGrance2009年10月07日的“Draft NIST Working Definition of Cloud Computing”，该文献被引用与在此提交的IDS中，并且此处附有其复印件。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特性如下：
按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台（例如移动电话、膝上型电脑、个人数字助理PDA）对云的使用。
资源池：提供者的计算资源被归入资源池并通过多租户（multi-tenant）模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置（例如国家、州或数据中心），因此具有位置无关性。
迅速弹性：能够迅速、有弹性地（有时是自动地）部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
可测量的服务：云系统通过利用适于服务类型（例如存储、处理、带宽和活跃用户帐号）的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口（例如基于网络的电子邮件）从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
基础架构即服务（IaaS）：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件（例如主机防火墙）可能具有有限的控制权。
部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系（例如任务使命、安全要求、政策和合规考虑）的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云（私有云、共同体云或公共云）组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术（例如用于云之间的负载平衡的云突发流量分担技术）绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
现在参见图1，图1是一个实例的示意图。云计算网络中的节点为计算设备，包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、厚客户端、手持式或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程用户电子设备、网络PC、微机系统、主框架计算系统、以及包含任何上述系统或设备的分布式云计算环境。云计算节点能够被实施和/或执行上述提出的任何功能。
图1A是方块图，图释了根据此处披露的一个实施例在分布式处理基础架构中透明地执行策略的示例100。示例100描绘了一种分布式处理基础架构，在一个实施例中，其为Hadoop基础架构。名称节点101编配（orchestrate）整个基础架构。名称节点101负责接收来自外部用户1501-N的任务以及将该任务委派给多个数据节点中的至少一个，在示例100中所述多个数据节点包括数据节点111-128。存储在名称节点101上的信心被加密。用户1501-N为通过订阅业务而使用由通过名称节点101编配的基础架构所提供的业务的系统。当订阅业务时，用户1501-N提供服务水平协议(SLA)和相关联策略。
名称节点101也包括资料库110，其被配置为保存至少两个不同类型的数据-数据节点元数据和策略元数据。数据节点元数据描述基础架构中每个数据节点的特性，其可以包括但不限于（i）安全相关属性，诸如私密设置、加密设置、保留（retention）设置等；（ii）技术属性，诸如CPU、存储器、以及存储能力；（iii）地理信息，诸如物理位置（地址）以及用于该国家或地区（例如欧盟）的任何使用法律和规章；（iv）组织信息，诸如公司、商业单位、硬件基础架构的所有者（例如，在私有云环境中，计算设备可能有不同的商业联合体建立，并且其在主要商业单位边界上的共享可以容许或不容许）；（v）管理者联系细节；（vi）数据节点资源利用率；以及（vii）使用情况元数据，诸如数据节点是否被用于灾难恢复使用情形。在某些实施例中，名称节点可以检索数据节点元数据，或者管理者可以输入数据节点元数据。
存储在资料库110中的策略（以及其元数据）由用户提供。一旦订阅了业务，名称节点必须一直保持具有附加信息的策略（或多个策略），该附加信息涉及如何部署SLA和策略。因此名称节点必须知晓哪个数据节点已经被选为满足该业务订阅以及为什么他们已经被选择。该策略可以规定不同要求，包括但不限于：（i）数据容量要求；（ii）数据的安全性和私密性方面（例如，可允许具有关于任何数据节点的如营销战役信息的事务（transactional）商业对象数据，而像销售雇员信息的主数据商业对象仅仅在满足某种安全性和私密要求的数据节点上被允许）；（iii）冗余要求；（iv）灾难恢复（例如，用于不同类型灾难的范围的数据节点的最小距离）；以及（v）法律要求（例如，不能跨越国家边界的某种规章要求，因此要求知晓数据节点物理上位于哪里）。在某些实施例中，策略可以随着业务请求被接收，但是可以无需存储在资料库110中。例如，与一次性业务请求相关的相册可以或可以不存储在资料库110。
如图所示，多个次级名称节点1021-M为名称节点101提供冗余和灾难恢复方案，该名称节点101为整个基础架构的单一故障点。根据部署的特定要求可以有一个或多个次级名称节点1021-M。次级名称节点1021-M通过安全连接与名称节点101通信。
数据节点111-128被用于计算和数据处理。如图所示，数据节点被分组为三个不同类型，例如群组106-108。数据节点可以基于任意数量的属性进行分组，包括但不限于地理、组织，硬件属性。在任何实施方式中，可以有任何数量的不同数据节点类型，任何数量的每种类型的数据节点。此外，数据节点可被配置为使得单个数据节点不包含有识别云中的其他数据节点的信息。这样的实施例例如在数据节点被恶意方黑（hack）的情况具有优势。在这样的情形下，恶意方不能使用存储在被黑数据节点中的元数据来发现哪个其他数据节点属于相同的云。
如图所示，两个示例数据集103和104已经被发送到名称节点101用于根据订阅和由用户1501-N之一提供的所附策略进行处理。一旦接收到，名称节点101必须确定是否数据节点111-128中的一个（或多个）适于进行该据集103和104的处理和存储。在作出该确定时，名称节点101从资料库110读取数据节点元数据、解析所述策略、并检索数据节点利用率（utilization）数值（figure）。名称节点101随后确定当前（未来）数据节点利用率是否有足够的空闲容量来进行新的工作负荷。如果没有足够的容量，名称节点101则拒绝该新的工作负荷。如果存在足有的容量，则名称节点101在考虑其作出（devise）的实施战略中的细节的情况下确定该策略是否能够被实现。如果该策略不能被实现，则名称节点101拒绝该新的工作负荷。如果该策略能够实现，则名称节点101基于这些数据节点的硬件特性、性能属性、数据节点的可获得性、以及灾难恢复要求来计算工作负荷在数据节点111-128上的物理布局。在有些实施例中，名称节点101可以为每个数据节点111-128赋予适当性得分，该得分结合了实现策略要求的能力和数据节点的上述属性。如果确定可能的布局，则名称节点101接受数据集103-104的工作负荷。
图1B是图释被名称节点101接受后的数据集103-104的部署工作负荷的方块示意图。如图所示，名称节点101已经将数据集103-104划分成三个不同部分，每个部分用于进行处理。数据节点111具有部分1031，数据节点112具有部分1032，而数据节点114具有部分1033。如图所示，数据集103的每个部分被部署到群组106中的数据节点。名称节点101可能已经基于每个数据节点的元数据和资料库101中的策略要求对任意数量的因素作出该决定。群组106的节点可能已经被确定，因为它们处于一个州（例如北卡罗来纳），其中该策略批准（mandate）数据集103必须驻留。节点111、112以及114可能已经被选择，因为它们比其它节点具有更低的资源利用率（并因此具有较高的合适性得分）。在计算节点上的空闲块表示数据节点能够处理用于其它订阅者的数据（并且可以现在处理这些数据）
如图所示，数据集104的每个部分已经被部署到群组107中的数据节点。数据节点119具有部分1041，数据节点121具有部分1042，以及数据节点122具有部分1043。数据集103的每个部分已经被部署到群组107中的数据节点。名称节点101可能已经基于每个数据节点的元数据和资料库101中的策略要求对任意数量的因素作出该决定。例如，数据集104可以具有敏感数据，其可以仅仅被群组107的节点保护。或者，群组107的节点可能已经被名称节点101选择，因为它们被拥有数据集104的用户所拥有，并且该策略批准了该数据集104在该用户的资源上被处理和存储。节点119、121以及122可能已经被选择，因为他们比其它节点具有更低的资源使用率（并因此具有更高的合适性得分）。应该注意的是，尽管数据集103和104的每个部分都被部署到了相同的群组，但是在合适的环境下，这些部分可以分布到不同群组的数据节点间。
一接受和部署工作负荷，名称节点101就更新资料库110中的关于在接收新工作负荷的每个数据节点上的处理任务的元数据。图1B中所示的配置为名称节点101通过将数据置于与所有相关策略相容（compliant）的数据节点上创建动态云基础架构的结果。所选择的数据节点从数据节点的资源利用率考虑也是最适合工作负荷的。因此，此处所披露的实施例提供了一种如上所述的基础构架，其中数据节点由于其不同的属性而不同。与这些属性对应的元数据被名称节点101用来决定是否接受工作负荷以及如何部署工作负荷。
图2是图释用来在分布式处理基础架构中透明地执行策略的系统200的方块示意图。系统200包括计算机202。在一个实施例中，计算机202为图1中的名称节点101。计算机202也可以经由网络230连接到其它计算机。计算机202也可以连接到几个用于失效备援（failover）和灾难恢复用途的后备计算机（未示出）。通常，网络230可以是一种电讯网络和/或广域网（WAN）。在具体的实施例中，网络230为英特网。
计算机202通常包括经由总线220连接到存储器206的处理器204、网络接口设备218、储存器208、输入设备222以及输出设备224。计算机202通常收到操作系统（未示出）的控制。操作系统的实例包括UNIX操作系统Microsoft Windows操作系统的各个版本以及Linux操作系统的分支（distribution）（UNIX是美国Open Group的注册商标。Microsoft和Windows是Microsoft Corporation在美国、其他国家或两者的注册商标。Linux是LinusTorvalds在美国、其他国家或两者的注册商标）。更通常地，可以使用支持在此处披露的功能的任何操作系统。处理器204包括表示单一CPU、多CPU、具有多个处理核的单一CPU等。同样，存储器206可以是随机存取存储器。尽管存储器206显示为单一本体（identity），但是应该理解到存储器206可以包括多个模块，并且存储器206可以在多个级别存在，从高速寄存器和高速缓存到低速但是较大的DRAM芯片。网络接口设备218可以是使得计算机202能够经由网络230与其它计算机通讯的任何类型的网络通讯设备。
储存器208可以为持久存储设备。尽管储存器208显示为单一单元，但是储存器208可以是固定和/或可移除存储设备的组合，诸如固定盘驱动器，固态驱动器、软盘驱动器、磁带驱动器、可以处存储卡或光学存储器。存储器206和储存器208可以是跨（span）多个初级和次级存储设备的一个虚拟地址的部分。
如图所示，存储器206含有委派管理器212，其是通常被配置为执行图1中所示名称节点101的功能的应用。委派管理器212在资料库210中存储与多个数据节点2401-N相关的元数据。数据节点2401-N的元数据描述了数据节点2401-N的特性，包括但不限于：（i）安全相关属性，诸如私密设置、加密设置、保留（retention）设置等；（ii）技术属性，诸如CPU、存储器、以及存储能力；（iii）地理信息，诸如物理位置（地址）以及用于该国家或地区（例如欧盟）的任何使用法律和规章；（iv）组织信息，诸如公司、商业单位、硬件基础架构的所有者（例如，在私有云环境中，计算设备可能有不同的商业联合体建立，并且其在主要商业单位边界上的共享可以容许或不容许）；（v）管理者联系细节；（vi）数据节点资源利用率；以及（vii）使用情况元数据，诸如数据节点是否被用于灾难恢复使用情形。在某些实施例中，名称节点可以检索数据节点元数据，或者管理者可以输入数据节点元数据。
委派管理器212可以接受来自多个用户2501-N的业务请求。该请求包括存储在资料库210中的服务水平协议（SLA）和策略。该策略可以规定不同要求，包括但不限于：（i）数据容量要求；（ii）数据的安全性和私密性方面（例如，可允许具有关于任何数据节点的如营销战役信息的事务（transactional）商业对象数据，而像销售雇员信息的主数据商业对象仅仅在实现某种安全性和私密要求的数据节点上被允许）；（iii）冗余要求；（iv）灾难恢复（例如，用于不同类型灾难的范围的数据节点的最小距离）；以及（v）法律要求（例如，某种规章要求数据不能跨越国家边界，因此要求知晓数据节点物理上位于哪里）。一接收业务请求，委派管理器212就通过检索与每个数据节点2401-N的工作负荷容量相关的元数据，根据数据节点2401-N上的当前工作负荷，作出关于该请求是否能够实现的确定。如果存在足够容量，则委派管理器212根据每个数据节点2401-N的元数据确定请求的策略以及SLA是否能被实现。如果策略以及SLA能实现，委派管理器212可以将工作负荷分割成离散任务以便部署到选择数量的数据节点2401-N，在那这些任务得到处理和/或存储。
如图所示，存储器206也包含云管理UI214。云管理UI214为一种应用，其提供用于管理者的用户接口，用于配置和维护通过名称节点（计算机202）操作的基础架构。
如图所示，储存器208包含资料库210，其存储与数据节点2401-N相关的元数据、与用户策略相关的元数据、以及服务水平协议。尽管被描述为一个数据库，但是资料库210也可以采取足以存储数据的任何形式，数据包括文本文件、xml数据文件等。尽管被描绘为计算机202的部分，但是资料库210也可以存储在计算机202之外的系统中。
输入设备222可以是任何用于为计算机202提供输入的设备。例如，可以使用键盘和/或鼠标。输出设备224可以是任何用于向计算机202的使用者提供输出的设备。例如，输出设备224可以是任何显示屏幕或扬声器组件。尽管与输入设备222分开显示，但是输出设备224和输入设备222可以结合起来。例如，可以使用具有集成触屏的显示屏。
图3是图释根据此处所披露的实施例在分布式处理基础架构中透明地实现策略的方法300的流程图。在一个实施例中，分布式处理基础架构为如上所述的Hadoop处理基础架构，具有名称节点和多个数据节点，并且方法300的步骤可以由委派管理器212执行。在步骤310处，委派管理器212提供和管理在名称节点处的数据节点元数据。如上面详细描述的，数据节点元数据通常描述计算基础架构中的每个数据节点的特性。在步骤320处，委派管理器212接收来自用户的业务请求。所提供的例示性业务包括但不限于：数据分析任务，诸如数据剖析（profiling）、数据聚合（aggregation）、数据转换（transformation）、搜索重复记录以及搜索混合唯一键（compound unique key）。可以提供能够在分布式环境中并行执行的任何类型分析。业务请求通常可包括服务水平协议和规定一些不同要求的策略，其可以涉及数据容量要求、安全性/私密性/要求、用于受影响的业务可获得性的冗余要求、灾难恢复要求、以及合法性要求。在步骤330处，委派管理器212可以在资料库210中存储策略元数据，并且可以解析策略以便根据请求确定用户的确切要求。在步骤340处，委派管理器212可以识别属于接受所请求的数据处理工作负荷的数据节点。委派管理器212可以基于数据节点元数据和策略元数据确定合适的数据节点。在步骤350处，如果委派管理器212识别了合适的数据节点，则部署工作负荷。
图4是图释根据此处所披露的实施例的与用于识别适于接受数据处理工作负荷的数据节点的步骤340对应的方法400的流程图。在一些实施例中，委派管理器212执行方法400的步骤。在步骤400处，委派管理器212对计算基础架构中的每个数据节点检索数据节点使用率元数据。在一些实施例中，数据节点使用率元数据存储在资料库210中。数据节点使用率元数据可以含有的信息包括但不限于用于数据节点的当前（以及被调用的）工作负荷，包括多个将被完成的任务、数据节点的当前资源利用率（诸如CPU、存储器以及存储容量）、以及在完成被调度任务的除外资源利用率。
在步骤420处，委派管理器针对计算基础架构中的每个数据节点开始执行包括步骤430-460的循环。在步骤430处，委派管理器212基于数据节点使用率元数据确定数据节点是否具有足够的空闲容量来接受所述工作负荷的至少一部分。在一些实施例中，委派管理器212可以基于数据节点的当前工作负荷计算利用率得分以便确定利用率级别。委派管理器212随后可以比较利用率得分和预定最大利用率阈值。如果利用率得分低于该阈值，则认为数据节点具有足够的空闲容量来接受新的工作负荷。如果数据节点不具有足够的空闲容量，委派管理器212则前进到步骤460。如果数据节点具有足够的空闲容量，则委派管理器212前进到步骤440，在此确定数据节点是否能够实现用户策略的每个方面。例如，用于欧盟的用户可以要求个人信息在数据处于传输中或禁止时必须受到保护而不丢失、非受权披露以及修改。因此，委派管理器212可以确定数据节点是否能够负荷这些要求。如果数据节点不能实现这些要求，委派管理器212则前进到步骤460。否则，委派管理器212前进到步骤450。在步骤450处，委派管理器212计算数据节点的合适性得分并将数据节点添加到候选数据节点的列表。合适性得分可基于数据节点的元数据属性、实现策略要求的能力、以及可获得容量。任何合适评分范围和用于赋予得分的方法都可以使用。在步骤460处，委派管理器212确定是否还有更多的数据节点将被打分。如果还有更多的数据节点，则委派管理器212返回到步骤420。否则委派管理器212前进到步骤470。
在步骤470处，委派管理器212计算工作负荷的物理布局（layout）以便确定是否存在用于分布工作负荷的可能布局。在该步骤处，委派管理器212可以考虑候选列表上的每个数据节点，并将工作负荷的部分分派为具有最高合适性得分的数据节点。例如，具有最高合适性得分的数据节点可以先于具有第二最高合适性得分的数据节点被选择。如果因为工作负荷不能由单一数据节点完成而需要选择附加的数据节点，则可以选择具有第二最高合适性得分的数据节点，尽管也可以选择具有足够合适性得分的另一个节点。在步骤480处，如果找到可能的布局，则委派管理器212接受该工作负荷并更新该数据节点元数据以反映新委派的工作负荷。
如果数据节点的属性在名称节点元数据中不常见，委派管理器212可以基于属性的特性采取不同的动作过程。如果该数据与安全性相关，则将数据节点标记为不能实现安全性要求并且从数据节点的候选列表中排除（或开始就不添加到列表中）以避免潜在的安全性问题。例如，如果云管理者不想为所有数据节点指定素有属性，这种方法可以防止数据节点被添加受操纵元数据的情形。不过，如果属性不是涉及安全性的，则在没有明确可以实现该要求的其他可获得的数据节点的情况先可以选择该数据节点。
此外，用户策略可以顺着工作流程的前进（approach）而改变。例如，策略可以在时间上是恒定不变的，不比随后的处理步骤严格，或者比随后处理步骤更严格。在这些情况下，名称节点能够基于可用于每个处理步骤的策略为每个步骤检测云。如果有高级（advanced）的安全性要求，则名称节点可能会执行具有敏感数据的数据节点可能是一个云的部分的策略。
优选的是，实施例提供了一种通过基础架构的名称节点对云计算基础架构的动态编配。此外，实施例提供了对用户策略的支持，提供了用于不同要求的方案，诸如（i）数据私密性、（ii）数据安全性、（iii）灾难恢复、（iv）性能、以及（v）基础架构共享。实施例也可以提供在用于策略支持的HDFS架构中提供自治（autonomic）特征。
现在参考图5，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理（PDA）或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组（图中未显示）。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务（IaaS）、平台即服务（PaaS）和/或软件即服务（SaaS）。应当理解，图4显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备（例如使用网络浏览器）通信。
现在参考图6，其中显示了云计算环境50（图5）提供的一组功能抽象层。首先应当理解，图5所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图3所示，提供下列层和对应功能：
硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机，例如 系统；基于RISC（精简指令集计算机）体系结构的服务器，例如IBM系统；IBM系统；IBM系统；存储设备；网络和网络组件。软件组件的例子包括：网络应用服务器软件，例如IBM应用服务器软件；数据库软件，例如IBM数据库软件。（IBM,zSeries,pSeries,xSeries,BladeCenter,WebSphere以及DB2是国际商业机器公司在全世界各地的注册商标)。
虚拟层62提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器、虚拟存储、虚拟网络（包括虚拟私有网络）、虚拟应用和操作系统，以及虚拟客户端。
在一个示例中，管理层64可以提供下述功能：资源供应功能：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议（SLA）计划和履行功能：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层66提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航；软件开发及生命周期管理；虚拟教室的教学提供；数据分析处理；交易处理；以及分布式处理体系结构中的策略实施。
附图中的流程图和方块示意图图释了根据本发明的各种实施例的系统、方法以及计算机程序产品的体系结构、功能性以及可能实施的操作。在这方面，流程图或方块图中的每个块可以代表模块、段或代码部分，其包括一个或多个可执行指令，用于实现指定的逻辑功能。应该指出的是，在某些替代性实施方式中，在块中指示的功能可能不按照图中所示的顺序出现。例如，连续显示的两个块可能实际上在实质上是同时执行的，或者这些块有时根据所涉及的功能而以相反顺序执行。还需要指出的是，方块示意图和/或流程图的每个块以及方块示意图和/或流程图中块的组合可以由专用的基于硬件的系统来实现，该系统执行指定的功能或行为，或者执行专用硬件或计算机指令的组合。
尽管签署涉及到本发明的实施例，但是可以在不脱离其基本范围的情况下想到本发明的其它实施例，并且其范围有下面的权利要求书来确定。

Claims (16)

1.一种计算机实现方法，用于在分布式计算环境中选择满足用于处理客户端数据的一组要求的数据节点，该方法包括：
接收识别将被处理的客户端数据的请求；
检索用于处理所述客户端数据的一组要求；以及
分析所检索的一组要求和描述所述数据节点中至少一个的节点数据，以便通过一个或多个计算机处理器的操作选择多个数据节点中的第一数据节点作为委派目标，所述第一数据节点基于具有比所述多个数据节点的第二数据节点更高的满足所述一组要求的合适性级别而被选择。
2.根据权利要求1的计算机实现方法，还包括：
将客户端数据的请求处理委派给所述委派目标。
3.根据权利要求2的计算机实现方法，其中第一数据节点在确定第一数据节点具有不超过最大委派阈值的利用率级别时被选择。
4.根据权利要求3的计算机实现方法，其中所述一组要求由使用者指定并且包括：(i)数据容量要求、(ii)安全性要求、(iii)私密性要求、(iv)冗余要求、(v)灾难恢复要求以及(vi)合法要求。
5.根据权利要求4的计算机实现方法，其中所述节点数据包括至少一个节点属性，所述至少一个节点属性包括：(i)数据节点安全性属性、(ii)数据节点硬件属性、(iii)数据节点的地理位置、(iv)数据节点组织信息属性以及(v)数据节点灾难恢复属性。
6.根据权利要求5的计算机实现方法，其中如果给定数据节点的所述至少一个节点属性使得所述给定数据节点满足所述一组要求的较多数量，则所述给定数据节点的合适性级别较高。
7.根据权利要求6的计算机实现方法，其中所述客户端数据的请求处理由名称节点委派，该名称节点配置为检索所述多个数据节点的节点数据，其中名称节点不被配置为委派目标，其中每个数据节点不被配置为检索任何其它数据节点的节点数据。
8.根据权利要求7的计算机实现方法，其中所述一组要求至少部分存储在数据策略中，该策略包括以下至少之一：(i)数据保持策略、(ii)数据安全性策略、(iii)数据私密性策略、(iv)性能策略、(v)灾难恢复策略以及(vi)基础架构共享策略。
9.一种用于选择被配置为满足一组要求的数据节点的系统，包括：
一个或多个计算机处理器；以及
存储器，含有程序，该程序在被执行时执行操作以便在分布式计算环境中选择被配置为满足用于处理客户端数据的一组要求的数据节点，该操作包括：
接收识别将被处理的客户端数据的请求；
检索用于处理所述客户端数据的一组要求；以及
分析所检索的一组要求和描述所述数据节点中至少一个的节点数据，以便通过一个或多个计算机处理器的操作选择多个数据节点中的第一数据节点作为委派目标，所述第一数据节点基于具有比所述多个数据节点的第二数据节点更高的满足所述一组要求的合适性级别而被选择。
10.根据权利要求9的系统，该操作还包括：
将所述客户端数据的请求处理委派给所述委派目标。
11.根据权利要求9的系统，其中第一数据节点在确定第一数据节点具有不超过最大委派阈值的利用率级别时被选择。
12.根据权利要求11的系统，其中所述一组要求由使用者指定并且包括：(i)数据容量要求、(ii)安全性要求、(iii)私密性要求、(iv)冗余要求、(v)灾难恢复要求以及(vi)合法要求。
13.根据权利要求12的系统，其中所述节点数据包括至少一个节点属性，所述至少一个节点属性包括：(i)数据节点安全性属性、(ii)数据节点硬件属性、(iii)数据节点的地理位置、(iv)数据节点组织信息属性以及(v)数据节点灾难恢复属性。
14.根据权利要求13的系统，其中如果给定数据节点的所述至少一个节点属性使得所述给定数据节点满足所述一组要求的较多数量，则所述给定数据节点的合适性级别较高。
15.根据权利要求14的系统，其中所述客户端数据的请求处理由名称节点委派，该名称节点配置为检索所述多个数据节点的节点数据，其中名称节点不被配置为委派目标，其中每个数据节点不被配置为检索任何其它数据节点的节点数据。
16.根据权利要求15的系统，其中所述一组要求至少部分存储在数据策略中，该策略包括以下至少之一：(i)数据保持策略、(ii)数据安全性策略、(iii)数据私密性策略、(iv)性能策略、(v)灾难恢复策略以及(vi)基础架构共享策略。
CN201310472614.5A 2012-10-11 2013-10-11 用于选择被配置为满足一组要求的数据节点的方法和系统 Active CN103729250B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/649,709 2012-10-11
US13/649,709 US9253053B2 (en) 2012-10-11 2012-10-11 Transparently enforcing policies in hadoop-style processing infrastructures

Publications (2)

Publication Number Publication Date
CN103729250A CN103729250A (zh) 2014-04-16
CN103729250B true CN103729250B (zh) 2017-04-12

Family

ID=50453333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310472614.5A Active CN103729250B (zh) 2012-10-11 2013-10-11 用于选择被配置为满足一组要求的数据节点的方法和系统

Country Status (2)

Country Link
US (2) US9253053B2 (zh)
CN (1) CN103729250B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI461929B (zh) * 2011-12-09 2014-11-21 Promise Tecnnology Inc 雲端數據儲存系統
US9253053B2 (en) 2012-10-11 2016-02-02 International Business Machines Corporation Transparently enforcing policies in hadoop-style processing infrastructures
US20140122546A1 (en) * 2012-10-30 2014-05-01 Guangdeng D. Liao Tuning for distributed data storage and processing systems
US9092451B1 (en) * 2013-03-14 2015-07-28 Emc Corporation Genomic application data storage
US20140337457A1 (en) * 2013-05-13 2014-11-13 Datadirect Networks, Inc. Using network addressable non-volatile memory for high-performance node-local input/output
EP3011494B1 (en) * 2013-06-20 2020-02-12 Tata Consultancy Services Limited System and method for distributed computation using heterogeneous computing nodes
IN2013MU03094A (zh) * 2013-09-27 2015-07-17 Tata Consultancy Services Ltd
US10057375B2 (en) * 2013-12-13 2018-08-21 Telefonaktiebolaget Lm Ericsson (Publ) Distributed deployment based on rating values
US9614851B1 (en) * 2014-02-27 2017-04-04 Open Invention Network Llc Security management application providing proxy for administrative privileges
GB2523761A (en) 2014-03-04 2015-09-09 Ibm Generation of analysis reports using trusted and public distributed file systems
CN105335229B (zh) * 2014-07-25 2020-07-07 新华三技术有限公司 一种业务资源的调度方法和装置
US10574743B1 (en) * 2014-12-16 2020-02-25 British Telecommunications Public Limited Company Resource allocation
US20170329645A1 (en) * 2014-12-19 2017-11-16 Intel Corporation Apparatus and method for adding nodes to a computing cluster
US9794136B1 (en) 2015-01-21 2017-10-17 Pivotal Software, Inc. Distributed resource allocation
US9678798B2 (en) 2015-02-03 2017-06-13 Dell Products L.P. Dynamically controlled workload execution
US9684540B2 (en) * 2015-02-03 2017-06-20 Dell Products L.P. Dynamically controlled workload execution by an application
US9575811B2 (en) 2015-02-03 2017-02-21 Dell Products L.P. Dynamically controlled distributed workload execution
US9569271B2 (en) 2015-02-03 2017-02-14 Dell Products L.P. Optimization of proprietary workloads
US9747121B2 (en) 2015-04-14 2017-08-29 Dell Products L.P. Performance optimization of workloads in virtualized information handling systems
US9699137B2 (en) 2015-04-30 2017-07-04 Hewlett Packard Enterprise Development Lp Naming of cloud components
US11625271B2 (en) 2015-05-22 2023-04-11 British Telecommunications Public Limited Company Network resource management
US10355946B1 (en) * 2015-06-09 2019-07-16 Hortonworks, Inc. Capacity planning
US10740005B1 (en) * 2015-09-29 2020-08-11 EMC IP Holding Company LLC Distributed file system deployment on a data storage system
AU2017272079A1 (en) 2016-05-23 2018-12-13 Jpmorgan Chase Bank, N.A. Security design and architecture for a multi-tenant hadoop cluster
CN116527397A (zh) * 2016-06-16 2023-08-01 谷歌有限责任公司 云计算节点的安全配置
US11157641B2 (en) * 2016-07-01 2021-10-26 Microsoft Technology Licensing, Llc Short-circuit data access
WO2018010104A1 (zh) * 2016-07-12 2018-01-18 华为技术有限公司 控制io带宽和处理io访问请求的方法、装置及系统
US10390114B2 (en) 2016-07-22 2019-08-20 Intel Corporation Memory sharing for physical accelerator resources in a data center
US10120724B2 (en) 2016-08-16 2018-11-06 International Business Machines Corporation Optimized resource metering in a multi tenanted distributed file system
CN107786593A (zh) * 2016-08-25 2018-03-09 阿里巴巴集团控股有限公司 任务部署方法、实例部署方法、装置及设备
CN106446159B (zh) * 2016-09-23 2019-11-12 华为技术有限公司 一种存储文件的方法、第一虚拟机及名称节点
US11016832B2 (en) * 2016-11-29 2021-05-25 Intel Corporation Cloud-based scale-up system composition
US20180150256A1 (en) 2016-11-29 2018-05-31 Intel Corporation Technologies for data deduplication in disaggregated architectures
US10567397B2 (en) * 2017-01-31 2020-02-18 Hewlett Packard Enterprise Development Lp Security-based container scheduling
CN107506230B (zh) * 2017-07-27 2020-10-27 努比亚技术有限公司 一种应用程序试用方法、设备及计算机可读存储介质
US11153381B2 (en) * 2017-08-22 2021-10-19 Red Hat, Inc. Data auditing for object storage public clouds
CN108519856B (zh) * 2018-03-02 2020-10-27 西北大学 基于异构Hadoop集群环境下的数据块副本放置方法
CN110309223B (zh) * 2018-03-08 2023-08-22 华为技术有限公司 选择数据节点的方法、系统以及相关设备
US11307980B2 (en) 2018-04-20 2022-04-19 Seagate Technology Llc Distributed data storage system with passthrough operations
US11269537B2 (en) 2018-06-29 2022-03-08 Seagate Technology Llc Software containers with security policy enforcement at a data storage device level
US10855532B2 (en) 2018-10-08 2020-12-01 Dell Products L.P. System and method to perform solution aware server compliance and configuration
CN109302497A (zh) * 2018-11-29 2019-02-01 北京京东尚科信息技术有限公司 基于hadoop的数据处理方法、访问代理装置和系统
US11150934B2 (en) * 2019-04-08 2021-10-19 International Business Machines Corporation Region based processing and storage of data
US11893064B2 (en) * 2020-02-05 2024-02-06 EMC IP Holding Company LLC Reliably maintaining strict consistency in cluster wide state of opened files in a distributed file system cluster exposing a global namespace
US11409555B2 (en) * 2020-03-12 2022-08-09 At&T Intellectual Property I, L.P. Application deployment in multi-cloud environment
CN111722959B (zh) * 2020-05-27 2022-07-26 苏州浪潮智能科技有限公司 一种存储池扩容的方法、系统、设备及介质
US20220269965A1 (en) * 2021-02-24 2022-08-25 Red Hat, Inc. Access protection for shared qubits
US11720452B2 (en) * 2021-06-29 2023-08-08 Acronis International Gmbh Systems and methods for determining data storage insurance policies based on data file and hardware attributes
EP4356583A1 (en) * 2021-07-07 2024-04-24 Telefonaktiebolaget LM Ericsson (publ) Security service orchestration function between communication service providers
EP4367860A1 (en) * 2021-07-07 2024-05-15 Telefonaktiebolaget LM Ericsson (publ) Security service orchestration function in a service-based architecture

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422403A (zh) * 2000-02-11 2003-06-04 奥弗图尔服务公司 迅速完成网络上分布的数据处理任务的系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728748B1 (en) * 1998-12-01 2004-04-27 Network Appliance, Inc. Method and apparatus for policy based class of service and adaptive service level management within the context of an internet and intranet
US20030069974A1 (en) * 2001-10-08 2003-04-10 Tommy Lu Method and apparatus for load balancing web servers and virtual web servers
US20050033809A1 (en) * 2003-08-08 2005-02-10 Teamon Systems, Inc. Communications system providing server load balancing based upon weighted health metrics and related methods
WO2005043323A2 (en) 2003-10-27 2005-05-12 Archivas, Inc. Policy-based management of a redundant array of independent nodes
US20070033250A1 (en) * 2005-08-02 2007-02-08 Microsoft Corporation Real-time conversation thread
US9026655B2 (en) * 2007-01-31 2015-05-05 Oracle America, Inc. Method and system for load balancing
US20100299326A1 (en) 2007-10-26 2010-11-25 Scott Germaise Apparatuses, Methods and Systems For A Forum Ferreting System
TWI476610B (zh) 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
US20090299766A1 (en) * 2008-05-30 2009-12-03 International Business Machines Corporation System and method for optimizing medical treatment planning and support in difficult situations subject to multiple constraints and uncertainties
US8150889B1 (en) 2008-08-28 2012-04-03 Amazon Technologies, Inc. Parallel processing framework
CN102144220B (zh) * 2008-09-08 2015-01-07 英国电讯有限公司 分布式数据处理系统
US8321870B2 (en) 2009-08-14 2012-11-27 General Electric Company Method and system for distributed computation having sub-task processing and sub-solution redistribution
CN104899286B (zh) 2009-09-21 2018-09-11 高通股份有限公司 分布式内容存储和取回
US8700773B2 (en) * 2009-12-07 2014-04-15 Microsoft Corporation Load balancing using redirect responses
US20110153606A1 (en) 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method of managing metadata in asymmetric distributed file system
US9323775B2 (en) 2010-06-19 2016-04-26 Mapr Technologies, Inc. Map-reduce ready distributed file system
US9367359B2 (en) 2010-06-30 2016-06-14 International Business Machines Corporation Optimized resource management for map/reduce computing
US9253053B2 (en) 2012-10-11 2016-02-02 International Business Machines Corporation Transparently enforcing policies in hadoop-style processing infrastructures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422403A (zh) * 2000-02-11 2003-06-04 奥弗图尔服务公司 迅速完成网络上分布的数据处理任务的系统及方法

Also Published As

Publication number Publication date
US9253055B2 (en) 2016-02-02
US9253053B2 (en) 2016-02-02
US20140108648A1 (en) 2014-04-17
CN103729250A (zh) 2014-04-16
US20140108639A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
CN103729250B (zh) 用于选择被配置为满足一组要求的数据节点的方法和系统
US10812254B2 (en) Identity confidence score based on blockchain based attributes
CN104424013B (zh) 在计算环境中部署虚拟机的方法和设备
CN103365725B (zh) 在多个云之间动态分配工作负荷部署单元的方法和系统
CN104660669B (zh) 针对应用模式组件从多个主机选择一个主机的方法和系统
CN103238138B (zh) 用于迁移逻辑分区的方法、装置和系统
US9386033B1 (en) Security recommendation engine
US11328073B1 (en) Robust data tagging
CN103369022B (zh) 与存储设备通信的方法和系统
US10223329B2 (en) Policy based data collection, processing, and negotiation for analytics
JP7266354B2 (ja) データ匿名化
CN104067265A (zh) 用于支持在云中的安全应用部署的系统和方法
US20210297451A1 (en) Policy rule enforcement decision evaluation with conflict resolution
US10395010B2 (en) Cloud-based blood bank collaborative communication and recommendation
CN103294556A (zh) 用于主机系统准入控制的方法和系统
US20160380954A1 (en) Identification of employees on external social media
JP2023501927A (ja) 位置証明を利用した認証メカニズム
JP7369728B2 (ja) ワークロード・プロビジョニングにおけるデータ・プライバシー・アウェアネス
JP2017532665A (ja) クラウド仮想マシンに対する脅威の検出への自動応答
Keshavarzi et al. Adaptive Resource Management and Provisioning in the Cloud Computing: A Survey of Definitions, Standards and Research Roadmaps.
US10083246B2 (en) Apparatus and method for universal personal data portability
US9998498B2 (en) Cognitive authentication with employee onboarding
US11397715B2 (en) Defining indexing fields for matching data entities
US11017118B2 (en) Cognitive survey policy management
Bhatta et al. A case study on hybrid cloud approach to automate the cloud services based on decision support system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant