CN111444020A - 一种超融合计算系统架构及融合服务平台 - Google Patents

一种超融合计算系统架构及融合服务平台 Download PDF

Info

Publication number
CN111444020A
CN111444020A CN202010247080.6A CN202010247080A CN111444020A CN 111444020 A CN111444020 A CN 111444020A CN 202010247080 A CN202010247080 A CN 202010247080A CN 111444020 A CN111444020 A CN 111444020A
Authority
CN
China
Prior art keywords
computing
data
storage
big data
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010247080.6A
Other languages
English (en)
Other versions
CN111444020B (zh
Inventor
牛铁
肖海力
张海明
胡笑然
卢莎莎
张岩
白鹤鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN202010247080.6A priority Critical patent/CN111444020B/zh
Publication of CN111444020A publication Critical patent/CN111444020A/zh
Application granted granted Critical
Publication of CN111444020B publication Critical patent/CN111444020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种超融合计算系统架构及融合服务平台。该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中。其中，超级计算系统利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求；大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求；数据存储系统用于储存文件形态、对象形态的海量科研数据，满足数据处理过程中的临时数据交换和存储需求，满足数据处理后共享发布的存储需求。高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通，满足海量科研数据在上述各系统之间的快速交换需求，为实现“流水线”式数据处理提供底层物理支撑。

Description

一种超融合计算系统架构及融合服务平台
技术领域
本发明涉及超融合计算系统技术，尤其涉及一种用于科研大数据存算一体化处理的新型超融合计算系统架构及融合服务平台。
背景技术
随着大数据时代的来临以及大数据在各学科领域的广泛应用，科学研究已进入数据密集型科研范式，许多待解决的科学问题和社会挑战的规模和复杂性已经远远超越一个学科、一个机构甚至一个国家的能力，逐步形成大科学研究格局。如何采集、存储、管理、分析这些海量科学数据，目前国内科研人员通常采取的做法是，通过实验仪器采集到科研实验数据，将这些数据以文件或数据库的形式存放到存储设备内，再使用超算资源或云计算资源对数据进行科学计算、分析，从而得出相关实验结论。而科研活动中涉及到的超算资源、云计算资源和存储设备等基础设施都是相对独立的存在，相互之间并未形成一个集存储、超级计算、云计算资源以及分析工具在一起的科研服务平台，本发明便为了解决这个问题，发明了一种用于科研大数据存算一体化处理的新型超融合计算系统架构，该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中。其中，超级计算系统利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求；大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求；数据存储系统用于储存文件形态、对象形态的海量科研数据，满足数据处理过程中的临时数据交换和存储需求，满足数据处理后共享发布的存储需求。高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通，满足海量科研数据在上述各系统之间的快速交换需求，为实现“流水线”式数据处理提供底层物理支撑。本发明涉及的超融合计算系统实现了以数据为中心的一体化处理环境，方便科研工作者在单一系统/平台中完成对科研数据的存储、计算、仿真、分析、发布、共享等的全流程处理，极大的提高了科研效率。
本发明中涉及到的基本技术包括：
超级计算技术(supercomputing)，亦称高性能计算(High performancecomputing，缩写HPC)，指使用很多处理器核心(作为单个机器的一部分)或者在计算机集群中组织多台计算机(作为单个计算资源操作)，利用消息传递接口(Message passinginterface，缩写MPI)并行求解高精度、大规模复杂计算问题的技术。有许多类型的HPC系统，其范围从标准计算机的大型集群，到高度专用的大规模并行处理(Massive parallelprocess,缩写MPP)系统。大多数基于集群的HPC系统使用低延迟的高速网络互连，如早期的Ethernet、Myrinet、QsNet,以及当前主流的InfiniBand网络互连。网络拓扑和组织则可以使用简单的总线拓扑、星型拓扑，而在性能要求很高、规模较大的系统中，采用胖树(fat-tree)、3D-Torus等网络拓扑。低延迟的高速网络用于满足并行计算任务中不同计算进程之间的高带宽、低延迟网络通讯需求，最大限度降低任意两个计算进程间通讯的跳数，使整个计算任务可以整齐划一的同步先前推进，提升计算性能和效率。超级计算系统采用作业调度软件(Job scheduler)管理计算资源和分发计算任务，在收集系统内各计算资源的负载信息后，调度软件将自动匹配计算任务对计算资源的数量需求，自动将计算任务分发和加载到满足需求的计算资源上，并检测其运行状态。在被加载后，计算任务采用后台批处理的方式运行。
云计算(cloud computing)技术，指利用虚拟化技术(Virtualization)将通过高速以太网或Internet互联的计算资源、存储资源、网络资源、应用资源进行逻辑划分并聚集池化，通过软件定义方式满足用户对不同规格计算资源、计算应用的需求并快速交付。云计算按照服务模式分类，可划分为基础即服务(Infrastructure as a Service，缩写IaaS)，即为客户提供基础设施服务；平台即服务(Platform as a Service，缩写PaaS)，即为客户提供用来开发应用和服务的平台；软件即服务(Software as a Service，缩写SaaS)，即为客户提供特定功能和流程的软件与应用服务。按照运营模式分类，云计算可划分为私有云，即由企业或机构自己拥有，云服务不对外开放；公有云，由专业厂商运营，利用云计算基础设备、软件对外提供公共服务；混合云，即公有云和私有云的混合应用。
OpenStack技术，是一个以Apache许可证授权的云计算平台开源代码项目。OpenStack可以用于实现一个IaaS范畴的云平台，他一方面负责与运行在物理节点上的Hypervisor进行交互，实现对各种硬件资源的管理和控制，另一方面为用户的提供可满足要求的软件定义的虚拟化资源，如虚拟主机。OpenStack包含10各核心组件：(1)计算(Compute)：Nova。用于为单个用户或使用群组管理虚拟机实例的整个生命周期，根据用户需求来提供虚拟服务。(2)对象存储(Object Storage)：Swift。用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统，允许进行存储或者检索文件。(3)镜像服务(Image Service)：Glance。负责虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式，有创建上传镜像、删除镜像、编辑镜像基本信息的功能。(4)身份服务(Identity Service)：Keystone。为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能。(5)网络&地址管理(Network)：Neutron。提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。(6)块存储(Block Storage)：Cinder。为运行实例提供稳定的数据块存储服务，如创建卷、删除卷，在实例上挂载和卸载卷。(7)UI界面(Dashboard)：Horizon。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作，例如：启动实例、分配IP地址、配置访问控制等。(8)测量(Metering)：Ceilometer。负责把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。(9)部署编排(Orchestration)：Heat。提供了一种通过模板定义的协同部署方式，实现云基础设施软件运行环境(计算、存储和网络资源)的自动化部署。(10)数据库服务(DatabaseService)：Trove。为用户在OpenStack的环境提供可扩展和可靠的关系和非关系数据库引擎服务。
存储系统，是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。计算机的主存储器不能同时满足存取速度快、存储容量大和成本低的要求，在计算机中必须有速度由慢到快、容量由大到小的多级层次存储器，以最优的控制调度算法和合理的成本，构成具有性能可接受的存储系统。本发明中涉及到的主要是文件存储系统和对象存储系统：
Figure BDA0002434241570000041
文件系统是操作系统用于明确存储设备(常见的是磁盘，也有基于NAND Flash的固态硬盘)或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。
Figure BDA0002434241570000042
对象存储系统(Object-Based Storage System)是一种将数据作为对象进行管理的计算机数据存储体系结构。每个对象通常包括数据本身，可变数量的元数据和全局唯一标识符。对象存储没有目录层次结构、无数据格式限制，使用者通常通过Rest风格的接口以PUT/GET/DELETE等指令操作数据。对象存储适合于存储大量的非结构化数据，如照片、视频、音频、文档等数据。
云存储，是一种网上在线存储(英语：Cloud storage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。托管(hosting)公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storage pool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。
InfiniBand(直译为“无限带宽”技术，缩写为IB)技术，是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。
Spine-Leaf叶脊拓扑结构，叶脊拓扑结构通过增加一层平行于主干纵向网络结构的横向网络结构，在这层横向结构上增加相应的交换网络，这种生成树模式是三层网络结构无法做到的。这是类似于传统的三层设计，只是在脊层多个交换设备。在叶脊拓扑结构，所有的链接都是用来转发流量，也是使用通用的生成树协议，如多连接透明互联协议(TRILL)或者最短路径桥接(SPB)。TRILL和SPB协议转发所有的连接流量，但同样能保持一个无环路的网络拓扑结构，类似于路由网络。
轻型目录访问协议(英文：Lightweight Directory Access Protocol，缩写：LDAP)是一个开放的，中立的，工业标准的应用协议，通过IP协议提供访问控制和维护分布式信息的目录信息。
Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。SMB(Server Messages Block，信息服务块)是一种在局域网上共享文件和打印机的一种通信协议，它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。SMB协议是客户机/服务器型协议，客户机通过该协议可以访问服务器上的共享文件系统、打印机及其他资源。通过设置“NetBIOS over TCP/IP”使得Samba不但能与局域网络主机分享资源，还能与全世界的电脑分享资源。
发明内容
本发明的目的在于，解决现有海量科研数据在超级计算、云计算、云存储系统之间的快速交换需求，为实现“流水线”式数据处理提供底层物理支撑。本发明涉及的新型超融合计算系统架构实现了以数据为中心的一体化处理环境，方便科研工作者在单一系统/平台中完成对科研数据的存储、计算、仿真、分析、发布、共享等的全流程处理，极大的提高了科研效率。
为实现上述目的，一方面，本发明提供了一种超融合计算系统架构，该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中；其中，
超级计算系统，用于提供高性能计算服务，以及用于存储用户数据和系统数据、计算任务中间结果的处理和交换；并利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求；
大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求；实现面向用户的虚拟主机、物理主机供给服务，提供大数据处理框架模板和镜像，帮助用户构建大数据处理环境；
数据存储系统用于储存文件形态、对象形态的海量科研数据，满足数据处理过程中的临时数据交换和存储需求，满足数据处理后共享发布的存储需求；
高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通，满足海量科研数据在上述各系统之间的快速交换需求，为实现“流水线”式数据处理提供底层物理支撑。
进一步地，超级计算系统配置Infiniband网络、分布式文件系统、作业调度系统、并行编程和运行环境，以及第一存储系统和第二存储系统；其中，第一存储系统用于存储用户数据和系统数据；第二存储系统用于计算任务中间结果的处理和交换。
进一步地，Infiniband网络采用全冗余胖树结构搭建，核心层及边缘层交换机运行HDR 1.0版本协议，系统内通过OpenIB软件栈完成子网管理、路由规划功能；基于分布式文件系统建设，分别用于用户Home数据的存放和用户计算负载临时数据文件的反复读写；作业调度系统基于Slurm完成，可实现先来先服务、公平调度、抢占、回填等多种调度策略，同时支持容器的调度，以支持人工智能等对运行环境有特殊需求的新兴计算应用；对传统大规模、并行计算应用的支持则由MPI和OpenMP并行编程及运行环境完成。
进一步地，大数据云系统采用OpenStack技术栈构建，虚拟网络层采用基于Vxlan协议的主机overlay方式组网，实现不同租户间虚拟专用云(VPC)的相互隔离；虚拟主机层支持KVM、Vmware，以及Kubernetes的接入与管理，对于GPU资源，采用透传技术将GPU直接映射给需要的虚拟主机；对物理机的支持由BareMetal技术栈实现；底层物理主机中配有本地磁盘和本地SSD存储，可按照需求透传至虚拟主机中，提升I/O操作性能。
进一步地，数据存储系统，包括“文件存储系统”和“对象存储系统”，“文件存储系统”接受汇交的、文件形态的科研数据；“对象存储系统”用于将汇交的、有价值的科研数据以对象格式存储，便于后期的数据处理和发布共享；“文件存储系统”采用分布式文件系统实现，对用户开放FTP接口、S3接口，对高性能计算系统开放标准POSIX接口，对大数据云系统开放Samba接口；“对象存储系统”基于Ceph软件栈构建，面向用户、高性能计算系统、大数据云系统均提供标准的S3接口，用户以“数据桶”形式获取对象存储资源。
进一步地，高速内部网络由“高速计算网”、“云计算内网”、“数据内网”以及“监控管理网”四部分组成；“高速计算网”用于支持超级计算系统内计算进程间的高速、低延迟通讯，用于超级计算系统内所有计算节点与文件存储系统之间的高速数据传输；“云计算内网”用于虚拟机镜像在镜像存储与计算资源池之间的传输、共享，满足块存储服务的提供；“数据内网”用于科研数据在超级计算系统、大数据云系统、数据存储系统之间的相互流转；“监控管理网”用于对全部硬件设备的运行状态监控和带外管理。
本发明涉及的新型超融合计算系统架构实现了以数据为中心的一体化处理环境，方便科研工作者在单一系统/平台中完成对科研数据的存储、计算、仿真、分析、发布、共享等的全流程处理，极大的提高了科研效率。另一方面，本发明提供了一种基于Web的用户交互融合服务平台，应用于上述超融合计算系统架构之上；其中，
融合服务平台的IaaS层采用LDAP协议保证用户的统一认证，LDAP认证中心存储了用户账号、UserID、口令信息，供超级计算系统、大数据云系统、数据存储系统读取；以用户账号名做为识别用户的全局唯一标识，并将硬件资源与该标识绑定；以用户账号名和UserID的组合做为数据权限控制的全局唯一凭证，保证每个用户只能访问自己的数据，实现数据访问权限的隔离。
融合服务平台的PaaS层提供高性能计算功能、数据汇交存储功能、基础设施供给功能和个性化计算环境定制功能；其中，高性能计算功能基于超级计算系统实现；数据汇交存储功能基于数据存储系统实现；基础设施供给功能由基于云计算技术实现的大数据云系统提供；个性化计算环境定制功能基于大数据云系统实现。
进一步地，融合服务平台IaaS层设置多种接口，如S3接口、POSIX接口和Samba接口，以及OpenStack云管功能模块和LDAP认证模块。
进一步地，所述LDAP认证中心存储了用户账号、UserID、口令等信息，供高性能计算、大数据云、分布式存储系统读取；由于不同子系统间账号管理的差异性，平台以用户账号作为识别用户的全局唯一标识，并将资源与该标识绑定。以用户账号名和UserID的组合做为数据权限控制的全局唯一凭证，保证每个用户只能访问自己的数据，实现数据访问权限的隔离。
进一步地，所述融合服务平台PaaS层包含Hadoop等大数据分析处理计算框架的模板和镜像，自助服务式资源申请、操作交互接口，存储系统数据上传、下载、删除、修改接口，并行计算作业提交接口。通过Portal数据接口或API与超融合计算系统架构进行通信。
本发明提供的融合服务平台通过统一服务门户，为科研工作者提供科研数据的汇交、大数据处理分析、高性能计算模拟、科研成果发布-展示、重要数据存储备份、用户自定义数据处理平台快速构建等服务。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例提供的一种超融合计算系统架构示意图；
图2为本发明实施例提供的一种超融合计算系统架构网络拓扑图；
图3为本发明实施例提供的一种融合服务平台技术体系示意图。
具体实施方式
图1为本发明实施例提供的一种超融合计算系统架构示意图。如图1所示，超融合计算系统架构包括超级计算系统、大数据云系统、数据存储系统和高速内部网络系统；其中：
超级计算系统，主要面向大气、海洋领域科学应用提供高性能计算服务。计算模式以MPI(Message Passing Interface,缩写消息传递界面/接口)为主，系统内配置Infiniband(无限带宽)高速计算网络，配置独立的、高速的专用存储系统，其中，专用的Home存储用于用户数据和系统数据的保存；Scratch存储用于计算任务中间结果的处理和交换。
具体地，超级计算系统配置Infiniband网络、分布式文件系统、作业调度系统、并行编程和运行环境，以及Home存储系统和Scratch存储系统。Infiniband网络采用全冗余胖树结构搭建，核心层及边缘层交换机运行HDR 1.0版本协议，系统内通过OpenIB软件栈完成子网管理、路由规划功能；基于分布式并行文件系统建设，分别用于用户Home数据的存放和用户计算负载临时数据文件的反复读写；作业调度系统基于Slurm完成，可实现先来先服务、公平调度、抢占、回填等多种调度策略，同时支持容器的调度，以支持人工智能等对运行环境有特殊需求的新兴计算应用；对传统大规模、并行计算应用的支持则由MPI和OpenMP并行编程及运行环境完成。
大数据云系统，主要面向不同领域、不同应用的大数据处理需求。借助云计算技术实现面向用户的虚拟主机、物理主机供给服务，提供Hadoop、Spark等主流大数据处理框架模板，帮助用户实现一键构建大数据处理环境功能。
具体地，大数据云系统采用OpenStack技术栈构建，虚拟网络层采用基于Vxlan协议的主机overlay方式组网，实现不同租户间虚拟专用云(VPC)的相互隔离；虚拟主机层支持KVM、Vmware，以及Kubernetes的接入与管理，对于GPU资源，采用透传技术将GPU直接映射给需要虚拟主机；对物理机的支持由BareMetal技术栈实现；底层物理主机中配有本地磁盘和本地SSD存储，可按照需求透传至虚拟主机中，提升I/O操作性能。
数据存储系统，按照具体实现方式，分为“文件存储系统”和“对象存储系统”。“文件存储系统”接收汇交的、文件形态的科研数据。同时，作为“超级计算系统”和“大数据云系统”数据共享的桥梁，满足超算应用、大数据应用对计算数据的统一处理。“对象存储系统”用于将汇交的、有价值的科研数据以对象格式存储，便于后期的数据处理和发布共享。
具体地，“文件存储系统”采用分布式并行文件系统实现，对用户开放FTP接口、S3接口，对高性能计算系统开放标准POSIX接口，对大数据云系统开放Samba接口；“对象存储系统”基于Ceph软件栈构建，面向用户、高性能计算系统、大数据云系统均提供标准的S3接口，用户以“数据桶”形式获取对象存储资源。
高速内部网络，用于超级计算系统、大数据云系统、数据存储系统之间的互联互通，按照所承载的业务及功能。划分为“高速计算网”、“云计算内网”、“数据内网”，以及“监控管理网络”四部分。“高速计算网络”用于超级计算系统内的计算进程间的高速、低延迟通讯，用于超级计算系统内所有计算节点与文件存储系统之间的高速数据传输；“云计算内网”用于虚拟机镜像在镜像存储与计算资源池之间的传输、共享，满足块存储服务的提供；“数据内网”用于科研数据在超级计算系统、大数据云系统、数据存储系统之间的相互流转；“监控管理网络”用于全部硬件设备的运行状态监控和带外管理。
相应地，本发明实施列提供了一种融合服务平台，该平台是一套具有混合架构的、多种业务融合的大型信息系统，在技术体系构成上，融合了高性能计算、云计算、分布式存储、高速交换网络、统一认证等多种技术。
图2为本发明实施例提供的一种超融合计算系统架构网络拓扑图。如图2所示。超融合计算系统架构网络采用了Spine-Leaf叶脊拓扑结构。Spine层由数台同样配置的三层交换机设备构成，任一台交换机设备与Leaf层所有交换机直接互联。Leaf层由数十台不同类型的交换机设备组成，主要取决于其所连接区域的功能及计算设备类型。Leaf层实现了超级计算系统内全部计算节点、管理节点、存储节点，大数据云系统内全部物理主机、宿主机、管理主机，数据存储系统内全部存储节点、管理节点的接入。同时，Leaf层任一交换机与Spine层所有交换机直接联通。进而实现了超级计算系统、云计算系统、数据存储系统之间高带宽、全冗余的网络互联，为科研数据在上述信息系统间的高效流转提供物理支持。
Spine层交换机与位于出口方向的核心交换机互联，满足了超融合计算系统中所有计算设备与Internet网络之间的互通需求。Spine层交换机设备与Leaf层交换机设备开启OSPF路由协议，并将各个计算系统的网关下沉至Leaf层交换设备。在大数据云系统中，开启了vxlan功能，满足了VPC内私有网络空间的无限扩展需求。所有流出流量均通过主机overlay方式离开vxlan网络，实现与超级计算系统、数据存储系统的无缝通讯。
与星型网络拓扑不同，Spine-Leaf叶脊拓扑结构可进行横向扩展，以满足未来系统容量不足时的扩容需求。此外，在满足信息系统传统的南北向流量需求的同时，本发明采用的Spine-Leaf拓扑可为东西向流量提供最大化的数据交换能力，对本发明解决现有海量科研数据在超级计算、云计算、云存储系统之间的快速交换需求，实现“流水线”式数据处理，实现以数据为中心的一体化处理环境起到重要作用。
监控网络采用了大二层平面网络结构，以最简单的组网方式高效的满足了全部计算、存储、网络等硬件设备的监控和管理需求。在安全防护上，采用冗余的专用硬件防火墙设备划分网络边界，拒绝非法流量的侵入与流出。采用WAF设备为基于web技术开发的用户交互融合服务平台提供安全防护。采用堡垒主机审计所有的管理操作行为。采用专用的SSLVPN设备满足管理数据的远程加密传输需求。
图3为本发明实施例提供的一种融合服务平台技术体系示意图。如图3所示，
融合服务平台IaaS(Infrastructure as a Service，基础设施)层设置多种接口，如S3接口、POSIX接口和OpenIB接口，以及OpenStack云管功能模块和LDAP认证模块。IaaS层负责将底层的硬件资源抽象成用户可见、可用的、可定制化的计算资源、存储资源。为实现全平台内用户对数据访问、资源获取权限的一致性，平台内采用LDAP协议保证用户的统一认证。LDAP认证中心存储了用户账号、UserID、口令等信息，供高性能计算、大数据云、分布式存储系统读取。由于不同子系统间账号管理的差异性，平台以用户账号作为识别用户的全局唯一标识，并将资源与该标识绑定。
融合服务平台PaaS(Platform as a Service，云计算服务平台)层包含Hadoop、Spark、Flink等常用大数据分析处理计算框架的模板和镜像，Web Service以及MPI和OpenMP并行编程及运行环境,并通过Portal数据接口或API(Application ProgrammingInterface，应用程序接口)与超融合计算系统架构进行通信。
融合服务平台PaaS可以提供高性能计算功能、数据汇交存储功能、基础设施供给功能和大数据分析功能；其中：
高性能计算功能基于Infiniband网络、分布式文件系统、作业调度系统、并行编程和运行环境构成。Infiniband网络采用全冗余胖树结构搭建，核心层及边缘层交换机运行HDR 1.0版本协议，系统内通过OpenIB软件栈完成子网管理、路由规划功能。高性能计算设置专用的、独立的存储子系统，基于P分布式文件系统建设，分别用于用户Home数据的存放和用户计算负载临时数据文件的反复读写。作业调度系统基于Slurm完成，可实现先来先服务、公平调度、抢占、回填等多种调度策略，同时支持容器的调度，以支持人工智能等对运行环境有特殊需求的新兴计算应用。对传统大规模、并行计算应用的支持则由MPI和OpenMP并行编程及运行环境完成。
数据汇交存储功能基于文件存储和对象存储实现。文件存储采用分布式文件系统实现，对用户开放FTP接口、S3接口，对高性能计算系统开放标准POSIX接口，对大数据云系统开放Samba接口。对象存储基于Ceph软件栈构建，面向用户、高性能计算系统、大数据云系统均提供标准的S3接口，用户以“数据桶”形式获取对象存储资源。
基础设施供给功能由基于云计算技术实现的大数据云子系统提供。大数据云子系统采用Openstack技术栈构建。虚拟网络层采用基于Vxlan协议的主机overlay方式组网，实现不同租户间虚拟专用云(VPC)的相互隔离。虚拟主机层支持KVM、Vmware，以及Kubernetes的接入与管理，对于GPU资源，采用透传技术将GPU直接映射给需要虚拟主机。对物理机的支持由BareMetal技术栈实现。
大数据分析功能基于大数据云子系统实现，在云管系统中，预置Hadoop、Spark、Flink等常用大数据分析处理计算框架的模板和镜像，可支持用户按提示一步步快速创建云上处理环境。底层物理主机中配有本地磁盘和本地SSD存储，可按照需求透传至虚拟主机中，提升I/O操作性能。
本发明实施例提供的融合服务平台通过统一服务门户，为科研工作者提供科研数据的汇交、大数据处理分析、高性能计算模拟、科研成果发布-展示、重要数据存储备份、用户自定义数据处理平台快速构建等服务。
显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (10)

1.一种超融合计算系统架构，其特征在于，该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中；其中，
超级计算系统，用于提供高性能计算服务，以及用于存储用户数据和系统数据、计算任务中间结果的处理和交换；并利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求；
大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求；实现面向用户的虚拟主机、物理主机供给服务，提供大数据处理框架模板和镜像，帮助用户构建大数据处理环境；
数据存储系统用于储存文件形态、对象形态的海量科研数据，满足数据处理过程中的临时数据交换和存储需求，满足数据处理后共享发布的存储需求；
高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通，满足海量科研数据在上述各系统之间的快速交换需求，为实现“流水线”式数据处理提供底层物理支撑。
2.根据权利要求1所述的平台架构，其特征在于，所述超级计算系统配置Infiniband网络、分布式文件系统、作业调度系统、并行编程和运行环境，以及第一存储系统和第二存储系统；其中，第一存储系统用于存储用户数据和系统数据；第二存储系统用于计算任务中间结果的处理和交换。
3.根据权利要求2所述的平台架构，其特征在于，所述Infiniband网络采用全冗余胖树结构搭建，核心层及边缘层交换机运行HDR 1.0版本协议，系统内通过OpenIB软件栈完成子网管理、路由规划功能；基于分布式文件系统建设，分别用于用户Home数据的存放和用户计算负载临时数据文件的反复读写；作业调度系统基于Slurm完成，可实现先来先服务、公平调度、抢占、回填等多种调度策略，同时支持容器的调度，以支持人工智能等对运行环境有特殊需求的新兴计算应用；对传统大规模、并行计算应用的支持则由MPI和OpenMP并行编程及运行环境完成。
4.根据权利要求1所述的平台架构，其特征在于，所述大数据云系统采用Openstack技术栈构建，虚拟网络层采用基于Vxlan协议的主机overlay方式组网，实现不同租户间虚拟专用云的相互隔离；虚拟主机层支持KVM、Vmware，以及Kubernetes的接入与管理，对于GPU资源，采用透传技术将GPU直接映射给需要虚拟主机；对物理机的支持由BareMetal技术栈实现；底层物理主机中配有本地磁盘和本地SSD存储，可按照需求透传至虚拟主机中，提升I/O操作性能。
5.根据权利要求1所述的平台架构，其特征在于，所述数据存储系统，包括“文件存储系统”和“对象存储系统”，“文件存储系统”主要用于存储汇交的科研数据；“对象存储系统”用于将汇交的、有价值的科研数据以对象格式存储，便于后期的数据处理和发布共享；“文件存储系统”采用分布式文件系统实现，对用户开放FTP接口、S3接口，对高性能计算系统开放标准POSIX接口，对大数据云系统开放Samba接口；“对象存储系统”基于Ceph软件栈构建，面向用户、高性能计算系统、大数据云系统均提供标准的S3接口，用户以“数据桶”形式获取对象存储资源。
6.根据权利要求1所述的平台架构，其特征在于，所述高速内部网络“高速计算网”、“云计算内网”、“数据内网”，以及“监控管理网”四部分；“高速计算网”主要用于超级计算系统内的计算进程间的高速、低延迟通讯；“云计算内网”主要用于虚拟机镜像在镜像存储与计算资源池之间的传输、共享，满足块存储服务的提供；“数据内网”主要用于科研数据在超级计算系统、大数据云系统、数据存储系统之间的相互流转；“监控管理网”主要用于全部硬件设备的运行状态监控和带外管理。
7.一种融合服务平台，应用于如权利要求1至权利要求6中任一权利要求所述的架构中；其特征在于，融合服务平台的IaaS层采用LDAP协议保证用户的统一认证，LDAP认证中心存储了用户账号、UserID、口令信息，供超级计算系统、大数据云系统、数据存储系统读取；以用户账号名做为识别用户的全局唯一标识，并将硬件资源与该标识绑定；
融合服务平台的PaaS层提供高性能计算功能、数据汇交存储功能、基础设施供给功能和大数据分析功能；其中，高性能计算功能基于超级计算系统实现；数据汇交存储功能基于数据存储系统实现；基础设施供给功能由基于云计算技术实现的大数据系统提供；大数据分析功能基于大数据云系统实现。
8.根据权利要求1所述的平台，其特征在于，所述融合服务平台IaaS层设置多种接口，如S3接口、POSIX接口和OpenIB接口，以及OpenStack云管功能模块和LDAP认证模块。
9.根据权利要求8所述的平台，其特征在于，所述ILDAP认证中心存储了用户账号、UserID、口令等信息，供高性能计算、大数据云、分布式存储系统读取；由于不同子系统间账号管理的差异性，平台以用户账号作为识别用户的全局唯一标识，并将资源与该标识绑定。
10.根据权利要求8所述的平台，其特征在于，所述融合服务平台PaaS层包含Hadoop、Spark、Fl ink大数据分析处理计算框架的模板和镜像，Web Service以及MPI和OpenMP并行编程及运行环境,并通过Portal数据接口或API与地球大数据融合服务平台架构进行通信。
CN202010247080.6A 2020-03-31 2020-03-31 一种超融合计算系统架构及融合服务平台 Active CN111444020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010247080.6A CN111444020B (zh) 2020-03-31 2020-03-31 一种超融合计算系统架构及融合服务平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010247080.6A CN111444020B (zh) 2020-03-31 2020-03-31 一种超融合计算系统架构及融合服务平台

Publications (2)

Publication Number Publication Date
CN111444020A true CN111444020A (zh) 2020-07-24
CN111444020B CN111444020B (zh) 2022-07-12

Family

ID=71649452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010247080.6A Active CN111444020B (zh) 2020-03-31 2020-03-31 一种超融合计算系统架构及融合服务平台

Country Status (1)

Country Link
CN (1) CN111444020B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914003A (zh) * 2020-08-14 2020-11-10 知小二(广州)科技有限公司 一种基于云平台的大数据分析系统
CN111966645A (zh) * 2020-08-12 2020-11-20 南方科技大学 超级计算机数据存储方法、装置、系统及存储介质
CN112148496A (zh) * 2020-10-12 2020-12-29 北京计算机技术及应用研究所 超融合虚拟机的计算存储资源的能效管理方法、装置及电子设备
CN112416495A (zh) * 2020-11-23 2021-02-26 山东乾云启创信息科技股份有限公司 一种超融合云终端资源统一管理系统及方法
CN112527450A (zh) * 2020-11-24 2021-03-19 中安可信(青岛)网络科技有限公司 基于不同资源的超融合自适应方法、终端及系统
CN112804297A (zh) * 2020-12-30 2021-05-14 之江实验室 一种可组装的分布式计算和存储系统及其构造方法
CN113726899A (zh) * 2021-09-01 2021-11-30 内蒙古工业大学 一种基于OpenStack的高校高可用微型数据中心构建方法
CN113806668A (zh) * 2021-09-26 2021-12-17 中国科学院计算机网络信息中心 一种对象存储系统的数据访问方法及对象存储系统
CN113822585A (zh) * 2021-09-26 2021-12-21 云南锡业股份有限公司锡业分公司 一种智能冶炼工厂信息化管理系统
CN113966012A (zh) * 2021-11-05 2022-01-21 杭州安恒信息技术股份有限公司 超融合存储系统的接入方法、系统及计算机存储介质
US20220100878A1 (en) * 2020-09-25 2022-03-31 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
CN114520763A (zh) * 2021-12-31 2022-05-20 国网青海省电力公司 一种智慧综合运维系统整体架构设计方法
CN114637519A (zh) * 2022-02-18 2022-06-17 联想(北京)有限公司 一种安装基础架构和服务的方法及装置
CN114661637A (zh) * 2022-02-28 2022-06-24 中国科学院上海天文台 针对射电天文数据密集型科学运算的数据处理系统及方法
CN114697329A (zh) * 2022-03-28 2022-07-01 北京蓝耘科技股份有限公司 一种基于云计算移动网络资源管理的hpc云计算系统
CN115051846A (zh) * 2022-06-07 2022-09-13 北京天融信网络安全技术有限公司 基于超融合平台的k8s集群的部署方法及电子设备
CN115061661A (zh) * 2022-06-13 2022-09-16 北京致远互联软件股份有限公司 一种基于flink的分布式构建系统及方法
CN115348277A (zh) * 2022-08-15 2022-11-15 刘学 一种多层消息机制分布式集群通信管理方法及系统
CN116545782A (zh) * 2023-07-07 2023-08-04 广州鹏捷科技股份有限公司 一种超融合云计算系统的数据监测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441615A (zh) * 2008-11-24 2009-05-27 中国人民解放军信息工程大学 面向任务流的高效能立体并行柔性可重构计算架构模型
US20150172095A1 (en) * 2013-12-12 2015-06-18 International Business Machines Corporation Monitoring file system operations between a client computer and a file server

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441615A (zh) * 2008-11-24 2009-05-27 中国人民解放军信息工程大学 面向任务流的高效能立体并行柔性可重构计算架构模型
US20150172095A1 (en) * 2013-12-12 2015-06-18 International Business Machines Corporation Monitoring file system operations between a client computer and a file server

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康波 等: "应用驱动的大数据与人工智能融合平台建设", 《数据与计算发展前沿》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966645A (zh) * 2020-08-12 2020-11-20 南方科技大学 超级计算机数据存储方法、装置、系统及存储介质
CN111914003A (zh) * 2020-08-14 2020-11-10 知小二(广州)科技有限公司 一种基于云平台的大数据分析系统
US11928228B2 (en) * 2020-09-25 2024-03-12 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
US20220100878A1 (en) * 2020-09-25 2022-03-31 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
CN112148496A (zh) * 2020-10-12 2020-12-29 北京计算机技术及应用研究所 超融合虚拟机的计算存储资源的能效管理方法、装置及电子设备
CN112148496B (zh) * 2020-10-12 2023-09-26 北京计算机技术及应用研究所 超融合虚拟机的计算存储资源的能效管理方法、装置及电子设备
CN112416495A (zh) * 2020-11-23 2021-02-26 山东乾云启创信息科技股份有限公司 一种超融合云终端资源统一管理系统及方法
CN112527450A (zh) * 2020-11-24 2021-03-19 中安可信(青岛)网络科技有限公司 基于不同资源的超融合自适应方法、终端及系统
CN112527450B (zh) * 2020-11-24 2023-05-26 中安可信(青岛)网络科技有限公司 基于不同资源的超融合自适应方法、终端及系统
CN112804297A (zh) * 2020-12-30 2021-05-14 之江实验室 一种可组装的分布式计算和存储系统及其构造方法
CN112804297B (zh) * 2020-12-30 2022-08-19 之江实验室 一种可组装的分布式计算和存储系统及其构造方法
CN113726899A (zh) * 2021-09-01 2021-11-30 内蒙古工业大学 一种基于OpenStack的高校高可用微型数据中心构建方法
CN113726899B (zh) * 2021-09-01 2022-10-04 内蒙古工业大学 一种基于OpenStack的高校高可用微型数据中心构建方法
CN113822585B (zh) * 2021-09-26 2023-05-30 云南锡业股份有限公司锡业分公司 一种智能冶炼工厂信息化管理系统
CN113822585A (zh) * 2021-09-26 2021-12-21 云南锡业股份有限公司锡业分公司 一种智能冶炼工厂信息化管理系统
CN113806668A (zh) * 2021-09-26 2021-12-17 中国科学院计算机网络信息中心 一种对象存储系统的数据访问方法及对象存储系统
CN113966012B (zh) * 2021-11-05 2024-05-28 杭州安恒信息技术股份有限公司 超融合存储系统的接入方法、系统及计算机存储介质
CN113966012A (zh) * 2021-11-05 2022-01-21 杭州安恒信息技术股份有限公司 超融合存储系统的接入方法、系统及计算机存储介质
CN114520763A (zh) * 2021-12-31 2022-05-20 国网青海省电力公司 一种智慧综合运维系统整体架构设计方法
CN114637519A (zh) * 2022-02-18 2022-06-17 联想(北京)有限公司 一种安装基础架构和服务的方法及装置
CN114661637A (zh) * 2022-02-28 2022-06-24 中国科学院上海天文台 针对射电天文数据密集型科学运算的数据处理系统及方法
CN114697329A (zh) * 2022-03-28 2022-07-01 北京蓝耘科技股份有限公司 一种基于云计算移动网络资源管理的hpc云计算系统
CN115051846A (zh) * 2022-06-07 2022-09-13 北京天融信网络安全技术有限公司 基于超融合平台的k8s集群的部署方法及电子设备
CN115051846B (zh) * 2022-06-07 2023-11-10 北京天融信网络安全技术有限公司 基于超融合平台的k8s集群的部署方法及电子设备
CN115061661A (zh) * 2022-06-13 2022-09-16 北京致远互联软件股份有限公司 一种基于flink的分布式构建系统及方法
CN115061661B (zh) * 2022-06-13 2024-09-24 北京致远互联软件股份有限公司 一种基于flink的分布式构建系统及方法
CN115348277A (zh) * 2022-08-15 2022-11-15 刘学 一种多层消息机制分布式集群通信管理方法及系统
CN116545782B (zh) * 2023-07-07 2023-09-19 广州鹏捷科技股份有限公司 一种超融合云计算系统的数据监测方法及装置
CN116545782A (zh) * 2023-07-07 2023-08-04 广州鹏捷科技股份有限公司 一种超融合云计算系统的数据监测方法及装置

Also Published As

Publication number Publication date
CN111444020B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111444020B (zh) 一种超融合计算系统架构及融合服务平台
CN105978704B (zh) 用于创建新的云资源指令集体系结构的系统和方法
CN103718164B (zh) 虚拟计算机和服务
Monaco et al. Applying operating system principles to SDN controller design
CN102103518B (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
CA2503775C (en) High performance computing system and method
JP6254152B2 (ja) 仮想ストレージ装置ゲートウェイ
CN116018795A (zh) 基础设施处理单元
CA2503777C (en) System and method for topology-aware job scheduling and backfilling in an hpc environment
WO2020005530A1 (en) Network-accessible computing service for micro virtual machines
US11182322B2 (en) Efficient component communication through resource rewiring in disaggregated datacenters
US10671557B2 (en) Dynamic component communication using general purpose links between respectively pooled together of like typed devices in disaggregated datacenters
CN105684357A (zh) 虚拟机中地址的管理
JP2018518744A (ja) コンピュートクラスタ内のリソースインスタンスグループの自動スケーリング
US10637733B2 (en) Dynamic grouping and repurposing of general purpose links in disaggregated datacenters
Xingye et al. Research on resource management for cloud computing based information system
Trunov et al. Legacy applications model integration to support scientific experiment
Rezgui et al. CloudFinder: A system for processing big data workloads on volunteered federated clouds
Stagni et al. The DIRAC interware: current, upcoming and planned capabilities and technologies
US10802988B2 (en) Dynamic memory-based communication in disaggregated datacenters
Zhang et al. Improving data transfer performance of web service workflows in the cloud environment
Huai et al. Civic: a hypervisor based virtual computing environment
US11012423B2 (en) Maximizing resource utilization through efficient component communication in disaggregated datacenters
Van Hensbergen et al. A unified execution model for cloud computing
US10915493B2 (en) Component building blocks and optimized compositions thereof in disaggregated datacenters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Niu Tie

Inventor after: Xiao Haili

Inventor after: Zhang Haiming

Inventor after: Hu Xiaoran

Inventor after: Lu Shasha

Inventor after: Zhang Yan

Inventor after: Bai Heming

Inventor after: Li Jianhui

Inventor after: Chi Xue bin

Inventor before: Niu Tie

Inventor before: Xiao Haili

Inventor before: Zhang Haiming

Inventor before: Hu Xiaoran

Inventor before: Lu Shasha

Inventor before: Zhang Yan

Inventor before: Bai Heming

GR01 Patent grant
GR01 Patent grant