CN111488218A - 一种一体机计算系统与方法 - Google Patents

一种一体机计算系统与方法 Download PDF

Info

Publication number
CN111488218A
CN111488218A CN202010177271.XA CN202010177271A CN111488218A CN 111488218 A CN111488218 A CN 111488218A CN 202010177271 A CN202010177271 A CN 202010177271A CN 111488218 A CN111488218 A CN 111488218A
Authority
CN
China
Prior art keywords
resource
request
data
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010177271.XA
Other languages
English (en)
Other versions
CN111488218B (zh
Inventor
张蒙
孟家祥
谷家磊
褚海涛
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202010177271.XA priority Critical patent/CN111488218B/zh
Publication of CN111488218A publication Critical patent/CN111488218A/zh
Application granted granted Critical
Publication of CN111488218B publication Critical patent/CN111488218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5022—Workload threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于计算机领域，特别涉及一种一体机计算系统与方法。一体机计算系统由多个模块通信连接而成，包括：资源监控装置，用于监控计算机资源，生成并发送资源状态数据；用户请求装置，获取资源请求，根据所述资源请求生成并发送用户请求数据；资源分配装置，用于接收所述用户请求数据和资源状态数据，根据所述用户请求数据和资源状态数据进行资源分配；系统预测装置，用于对系统状态和任务结果进行预测。本发明的部署简单、迁移容易、资源可以按要求分配；可以多租户同时使用，所有租户之间安全隔离；可以预测硬件资源故障情况，可以预测对任务结果完成情况。

Description

一种一体机计算系统与方法
技术领域
本发明属于计算机领域，特别涉及一种一体机计算系统与方法。
背景技术
人工智能大数据和计算机技术的飞速发展，各行业的数据中心业务不断演变，数据量越来越大，类型越来越多，数据结构也趋于复杂化。目前数据中心的服务器、网络通信设备等IT设施，正朝着小型化、网络化、机架化的方向发展。传统的数据库各设备采取独立方式，并且需要较大的部署空间，存在部署难、成本高等缺点，难以满足用户的要求。
发明内容
针对上述问题，本发明提供一种一体机计算系统，所述系统包括：
资源监控装置、用户请求装置、资源分配装置；
所述资源监控装置，用于监控计算机资源，生成并发送资源状态数据；
所述用户请求装置，获取资源请求，根据所述资源请求生成并发送用户请求数据；
所述资源分配装置，用于接收所述用户请求数据和资源状态数据，根据所述用户请求数据和资源状态数据进行资源分配。
进一步地，所述资源监控装置包括：
第一监控单元，用于获取设备资源信息；
第二监控单元，用于获取软件资源信息；
监控发送单元，接收所述第一监控单元传来的设备资源信息和所述第二监控单元传来的软件资源信息，用于生成并发送资源状态数据。
进一步地，所述用户请求装置包括：
第一请求单元，用于请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
第二请求单元，用于请求多租户共享集群计算资源，生成第二请求信息；
第三请求单元，用于请求共享数据、算法，生成第三请求信息；
第四请求单元，用于请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成第四请求信息；
请求发送单元，接收第一请求单元传来的第一请求信息、第二请求单元传来的第二请求信息、第三请求单元传来的第三请求信息、第四请求单元传来的第四请求信息；用于根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成并发送用户请求数据。
进一步地，所述资源分配装置，包括：
接收数据单元，用于接收所述用户请求装置发送的资源请求数据和所述用户请求装置发送的资源状态数据，生成资源分配数据；
资源分配单元，接收数据单元传来的资源分配数据，用于进行资源分配。
进一步地，所述系统还包括：
系统预测装置，用于对系统状态和任务结果进行预测；
所述系统预测装置包括：
环境预测单元，接收资源监控装置传来的资源状态数据；用于预测GPU出现故障；
模型预测验证单元，接收资源监控装置传来的资源状态数据；用于验证预测任务完成情况。
本发明还提供一种一体机计算方法，所述方法包括：
生成资源状态数据；
获取资源请求，根据所述资源请求生成用户请求数据；
根据所述用户请求数据和所述资源状态数据进行资源分配。
进一步地，所述生成资源状态数据包括：
获取设备资源信息、获取软件资源信息、根据所述设备资源信息和所述软件资源信息生成资源状态数据。
进一步地，所述资源请求数据包括：
请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
请求多租户共享集群计算资源，生成第二请求信息；
请求共享数据、算法，生成第三请求信息；
请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成请求第四请求；
根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成资源请求数据。
进一步地，所述资源分配包括：
接收资源请求数据和资源状态数据，生成资源分配数据，根据资源分配数据，进行资源分配。
进一步地，所述方法还包括：对系统状态和任务结果进行预测；
所述对系统状态和任务结果进行预测包括：
接收资源状态数据，预测GPU出现故障；
接收资源状态数据，验证预测任务完成情况。
本发明的一体机计算系统部署简单、迁移容易、资源可以按要求分配；可以多租户同时使用，所有租户之间安全隔离；可以预测硬件资源故障情况，可以预测对任务结果完成情况。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的一种一体机计算系统结构图；
图2示出了根据本发明实施例的一种一体机计算方法示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种一体机计算系统，所述一体机计算系统可以使用但不限于以下结构，示例性的，如图1所示。所述系统包括：
资源监控装置、用户请求装置、资源分配装置和资源预测装置。
具体的，所述资源监控装置，用于监控计算机资源，生成并发送资源状态数据；
所述用户请求装置，获取资源请求，根据所述资源请求生成并发送用户请求数据；
所述资源分配装置，用于接收所述用户请求装置发送的用户请求数据和所述资源监控装置发送的资源状态数据，根据所述用户请求数据和资源状态数据进行资源分配；
所述资源预测装置用于对环境状态和任务结果进行预测。
具体的，
所述资源监控装置包括：
第一监控单元，用于获取设备资源信息；
第二监控单元，用于获取软件资源信息；
监控发送单元，接收所述第一监控单元传来的设备资源信息和所述第二监控单元传来的软件资源信息，用于生成并发送资源状态数据。
具体的，系统对设备资源和软件资源进行监控，根据监控信息，生成资源状态数据。
所述资源状态数据包括资源剩余信息等。
所述设备资源，指系统所包含的硬件、网络和操作系统等系统软件，包括但不限于：GPU、CPU、网络、存储、操作系统等；
所述软件资源，指在系统上运行的用户软件，包括但不限于：程序软件、任务软件等。
所述第一监控单元，用于获取设备资源信息；包括：对GPU负载、CPU负载、网络负载、存储负载、服务器健康状态、平台关键性组件状态等指标进行监控。
所述第二监控单元，用于获取软件资源信息；包括对任务训练进度、软件资源消耗情况进行监控。
具体的，第一监控单元会对GPU负载、CPU负载、网络负载、存储负载、服务器健康状态、系统关键性组件状态等指标进行监控，一旦系统发现异常，会及时告警。系统没有异常，则生成设备资源信息。所述设备资源信息包含设备资源现有量，还能使用量。
所述负载，又称负荷、载荷，对GPU、CPU、网络、存储等设备来说，它们承受任务量都有一定限度，平时的工作量就叫做负载，超过这个限度就叫过载，过载会影响系统的效率，并引发各种错误。
所述告警，即发出警报。示例性的，可以使用但不限于以下方式告警：写入系统日志、给管理员发送邮件、给管理员发送信息、系统发出警告声响等。
进一步地，CPU和GPU在负载上比较相似，这里以CPU举例说明，CPU满负载，即CPU可以并行处理的任务数量。某系统包含多个CPU，每个CPU都是多核处理器，则此系统的CPU满负载为CPU个数乘以核数。如果CPU负载等于CPU满负载，那么此时有些任务不能被及时分配处理器。长时间CPU满负载运行，CPU则一直高温运行，会影响CPU寿命。如果要保证CPU性能，一般CPU负载要小于满负载一定阈值，示例性的，CPU负载要小于CPU满负载的70％。
示例性的，系统可以使用但不限于以下方式对CPU负载和GPU负载进行监控和告警，系统会实时监控CPU及GPU运行状态，对CPU负载、GPU负载设定CPU健康阈值、CPU时间阈值、GPU健康阈值、GPU时间阈值。当CPU负载超过CPU健康阈值，且超过CPU健康阈值时间超过CPU时间阈值，系统会对CPU负载告警；当GPU负载超过GPU健康阈值，且超过GPU健康阈值时间超过GPU时间阈值，系统会对GPU负载告警。
具体的，系统面对访问数量即为网络负载。当访问数量达到一定阈值时，系统会变慢甚至会宕机。由于访问数量不完全可预知。示例性的，如12306系统，当刚开始可以购买春运车票时，访问量会瞬间大涨；但是平时的某一段时间的访问里无法预测。需要对网络负载进行监控报警。示例性的，可以使用但不限以下方式进行对网络负载进行监控报警。设定网络阈值和网络时间阈值。系统实时监控网络状态，当网络负载超出网络阈值且超出网络阈值的时间大于网络时间阈值时，系统对网络负载进行告警。
具体的，存储负载指的是系统设备中存储当前任务量。存储负载超过一定阈值时，系统读写数据会明显变慢，处理任务速度会降低。示例性的，可以使用但不限以下方式进行对存储负载进行监控报警。设定存储阈值和存储时间阈值。系统实时监控存储状态，当存储负载超出存储阈值且超出存储阈值的时间大于存储时间阈值时，系统对存储负载进行告警。
具体的，服务器状态包括服务器内存消耗、磁盘使用、带宽容量和应用程序的性能。示例性的，可以使用以下方式对服务器状态进行告警。监控服务器内存消耗值、磁盘使用值、带宽容量值和应用程序的性能值，预设内存消耗权重、磁盘使用权重、带宽容量权重和应用程序的性能权重。计算服务器状态值。预设服务器安全状态阈值，当服务器状态值不大于服务器安全状态阈值时，则认为服务器处于健康状态；当服务器状态值大于服务器安全状态阈值时，则认为服务器处于不健康状态，系统对服务器状态进行告警。
Serverstatus＝Aa+Bb+Cc+Dd
其中，Serverstatus表示服务器状态值，A表示服务器内存消耗值、a预设内存消耗权重、B表示磁盘使用值、b表示磁盘使用权重、C表示带宽容量值、c表示带宽容量权重、D表示应用程序的性能值、d表示应用程序的性能权重。
具体的，平台关键性组件指的是平台所需要的最需要的构成组件。当平台感染病毒、木马或其他恶意软件时，平台关键性组件会被修改。系统会监控平台关键性组件，当该组件发生更改时，进行告警。示例性的，可以使用以下方式对平台关键性组件进行告警。系统记录平台关键性组件的名称，每个组件对应着相应的MD5值、文件大小及修改时间，当平台关键性组件被管理员修改，记录新的MD5值、文件大小及修改时间；当平台关键性组件的MD5值、文件大小及修改时间中任其一发生变化且不是管理员修改时，告警。
具体的。所述第二监控单元，用于获取软件资源信息；包括对任务训练进度、资源消耗情况进行监控。
具体的，kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，kubernetes的目标是让部署容器化的应用简单并且高效，kubernetes提供了应用部署，规划，更新，维护的一种机制。kubernetes最小的管理元素是pod。
在第二监控单元中，提交的任务中，通过kubernetes作为集群管理和资源调度。调度系统的资源，利用英伟达插件来分配任务所需的GPU卡，并且根据提交的任务配置请求，来挂载相应的卡的信息，这样任务容器在内部即可获取卡的信息，对于运行的任务，可以查看到任务的日志。同时，利用kubernetes的插件kubernetes-cadvisor来采集任务容器、pod相关的性能指标数据，并通过暴露的/metrics接口给Prometheus，用其来抓取数据。通过英伟达gpu-monitoring-tools工具采集分配给pod的GPU的性能指标，安装nvidia/pod-gpu-metrics-exporter服务，并通过暴露接口/gpu/metrics接口，用prometheus抓取。通过kubernetes插件暴露的/metrics获取与kubernetes集群相关的一些特征指标数据。在系统中安装英伟达GPU的服务器节点，并且需要对该节点的英伟达GPU的性能指标做监控就需要对节点进行标记，使得英伟达的GPU监控软件能部署到这些节点中，从而能监控系统中资源的消耗情况。
进一步地，第二监控单元获取软件资源信息，包括系统还能增加的任务、正在完成的任务，资源消耗情况，生成软件资源信息。
所述任务训练是指系统中的任务执行过程，包括在线编写代码、对任务调试等。
示例性的，第二监控单元可以使用但不限于以下方式进行监控：通过任务训练可视化界面，可实时监控任务训练进度、资源消耗情况并查看相关日志。
系统对每一个创建的任务建立完成进度，系统根据用户需求，实时监控任务进度。任务训练时，需要消耗各项计算机资源，所述计算机资源包括软件资源、硬件资源、网络资源等。所述实时监控，包括对任务训练进度、资源消耗情况进行监控。
系统监控每一个任务训练的资源消耗情况，并提供查询日志。
示例性的，使用但不限于以下技术实现任务训练：基于WEB的AI开发环境和任务训练，可以在线进行任务、数据、代码的编辑开发。对失效的任务自动重新发起，并且具备任务快照的功能。
进一步地，系统还可以采用分布式训练架构，使用多机多卡的训练模式。同样可以监控每一个任务训练的资源消耗情况，并提供查询日志。
具体的，监控发送单元，接收所述第一监控单元传来的设备资源信息和所述第二监控单元传来的软件资源信息，用于生成资源状态数据。
根据第一监控单元传来的设备资源信息和所述第二监控单元传来的软件资源信息，监控发送单元生成资源状态数据。所述资源状态数据包含当前系统资源数据，根据资源数据，可以用于资源分配。
用户请求装置包括：
第一请求单元，用于请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
第二请求单元，用于请求多租户共享集群计算资源，生成第二请求信息；
第三请求单元，用于请求共享数据、算法，生成第三请求信息；
第四请求单元，用于请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成第四请求信息；
请求发送单元，接收第一请求单元传来的第一请求信息、第二请求单元传来的第二请求信息、第三请求单元传来的第三请求信息、第四请求单元传来的第四请求信息；用于根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成并发送用户请求数据。
具体的，资源分配装置，包括：
接收数据单元，用于接收所述用户请求装置发送的资源请求数据和所述用户请求装置发送的资源状态数据，生成资源分配数据；
资源分配单元，接收数据单元传来的资源分配数据，用于进行资源分配。
接收数据单元接收用户请求资源传来的资源请求数据，根据资源监控装置传来的资源状态数据，生成资源分配数据；资源分配单元根据资源分配数据，分配资源。所述分配资源，不同的请求，分配方式不一样。
依据第一请求单元请求信息分配资源可以使用但不限于以下方式。
具体的，第一请求单元，用于请求将任务训练从私有环境迁移到公有云环境，生成第一请求信息。
具体的，所述公有云指第三方提供商为用户提供的能够使用的云，公有云一般可通过Internet使用，可能是免费或成本低廉的，公有云的核心属性是共享资源服务。这种云有许多实例，可在当今整个开放的公有网络中提供服务。
所述私有环境指为一个用户单独使用而构建的，因而在数据安全性以及服务质量上自己可以有效的管控，私有环境的基础是首先要拥有基础设施并可以控制在此设施上部署应用程序的方式，私有环境可以部署在企业数据中心的防火墙内，核心属性是专有资源。
具体的，私有环境可以为用户自行搭建的系统平台，可以是利用类脑云OS本地化部署成私有云。所述私有云可以本地化部署，同时在云端还提供持续更新的数据集、算法集、镜像等资源，私有环境可以按需进行更新。
所述迁移，包括物理机到虚拟机的无缝迁移，虚拟机到虚拟机的无缝迁移，物理机到云主机的无缝迁移，虚拟机到云主机的无缝迁移等的迁移。所要迁移的内容，包括数据集、算法集、镜像等资源。
进一步地，源服务器系统与目标系统操作系统相同一致的业务迁移，可以直接通过类脑云OS迁移工具软件实现业务迁移，对应目标系统与源系统的操作系统不一致的情况，可以通过迁移一体机系统实现，系统环境切换，完成系统迁移。
示例性的，可以使用但不限于以下方式进行无缝迁移：利用kubernetes的容器编排能力，同时利用公共的镜像仓库，可以把系统环境无缝的迁移到同一局域网的其他机器当中，迁移完成后，该机器可以独立搬运到其他网络环境中进行使用。
示例性的，可以用使用以下方法进行物理机到虚拟机的无缝迁移。
客户训练任务硬件环境包括n台主机，这n台主机使用m台路由器、l台交换机进行相联。类脑云OS获取客户网络拓扑结构，对于网络中每一结点，获取其硬件信息及操作系统。所述硬件信息包括但不限于以下内容：CPU，内存，硬盘，GPU。类脑云OS自动生成客户训练任务环境，模拟包括对应的硬件环境、网络环境。
类脑云OS使用但不限于以下方式对客户训练任务硬件环境进行模拟：客户训练任务环境包括n台主机，分别为a1、a2、...、an,类脑云OS分别获取所有主机现有硬件信息，获取主机所需求的最小硬件信息和最大硬件信息。所述硬件信息包括CPU、内存，硬盘，GPU等。所述最小硬件信息和最大硬件信息由类脑云OS根据主机运行任务自行判断，也可以人工提出要求。所述现有硬件信息由类脑云OS或人工对当前主机进行统计所得。主机ai的最小CPU信息为Cmini，最大CPU信息为Cmaxi，现有CPU信息为Cni。类脑云OS自动生成n台模拟主机A1、A2、...、An，其中模拟主机Ai与主机ai一一对应。类脑云OS给模拟主机划分硬件。示例性的，对模拟主机Ai划分CPU。划分最小CPU值为
Figure BDA0002411231150000101
CPU共享池值为
Figure BDA0002411231150000102
类脑云给模拟主机Ai划分的最小CPU为Cmini，划分共享池为Cmaxi-Cmini。当模拟主机Ai运行时，类脑云OS给模拟主机提供初始CPU值为Cmini，模拟主机Ai需要更高的CPU值时，向类脑云OS提出请求，或者当前模拟主机AiCPU利用率达到一定阈值时，类脑云OS从共享池中向Ai提供CPU值，提供最大值为Cmaxi-Cmini。类似的，类脑云OS给模拟主机划分其他硬件。客户训练任务环境包括m台路由器、l台交换机进行相连。类脑云OS使用虚拟网络技术，按获取的客户网络拓扑结构对模拟主机进行模拟组网连接。
客户训练任务软件环境包括操作系统，主机上的软件信息。类脑云OS使用但不限于以下方式对软件环境进行模拟。
类脑云OS在自动镜像原主机系统文件，将镜像文件发送到模拟主机并在模拟主机上还原系统。记录这段时间内的原主机的增量文件，并将增量文件复制到模拟主机，这样完成对软件环境的模拟。
依据第二请求单元请求信息分配资源可以使用但不限于以下方式。
具体的，第二请求单元，用于请求多租户共享集群计算资源；
具体的，多租户技术装置包括：
共享集群计算资源模块，用于平台基于定制的容器云平台技术，多租户共享集群计算资源。
具体的，多租户技术(英语：multi-tenancy technology)或称多重租赁技术，是一种软件架构技术，它是实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。
多租户简单来说是指一个单独的实例可以为多个组织服务。多租户技术为共用的数据中心内如何以单一系统架构与服务提供多数客户端相同甚至可定制化的服务，并且仍然可以保障客户的数据隔离。一个支持多租户技术的系统需要在设计上对它的数据和配置进行虚拟分区，从而使系统的每个租户或称组织都能够使用一个单独的系统实例，并且每个租户都可以根据自己的需求对租用的系统实例进行个性化配置。
具体的，系统基于定制容器云平台技术，实现多租户技术。
定制容器的云平台，通过提供用户定制的方式，用户自己编写DockerFile来进行定制镜像的打包，从而实现云平台容器的定制化。
多租户技术的实现在于不同租户间应用程序环境的隔离(application contextisolation)以及数据的隔离(data isolation)，以维持不同租户间应用程序不会相互干扰，同时数据的保密性也够强。
数据面(dataapproach)：利用切割数据库(database)，切割存储区(storage)，切割结构描述(schema)或是表格(table)来隔离租户的数据，必要时会需要进行对称或非对称加密以保护敏感数据，但不同的隔离作法有不同的实现复杂度与风险。
程序面(application approach)：可以利用应用程序挂载(hosting)环境，于进程(process)上切割不同租户的应用程序运行环境，在无法跨越进程通信的情况下，保护各租户的应用程序运行环境。
系统面(system approach)：可以利用虚拟化技术，将实体运算单元切割成不同的虚拟机，各租户可以使用其中一至数台的虚拟机来作为应用程序与数据的保存环境。
依据第三请求单元请求信息分配资源可以使用但不限于以下方式。
具体的，第三请求单元，用于请求共享数据、算法。
所述共享，意思是分享，将一件物品或者信息的使用权或知情权与其他所有人共同拥有，有时也包括产权。在计算机中，一般指多个用户可以同时打开或使用同一个文件或数据。这里的共享，指的是团队之间的共享。具体的，为一个团队划分一个一定大小的空间，这个空间包含相应的数据、算法等。对于每个数据、算法等，相对于团队中的成员，设置不同的权限。其他团队的人无法访问该空间。团队中的成员，根据自己的权限，共享数据、算法。
具体的，通过公开模型、公开数据集的方式，将训练成功的模型数据共享出来，以方便同一环境下，多个用户之间的数据、算法共享。在底层，通过卷的权限控制来共享相关的数据集或算法。如：只读、可读可写等。
示例性的，可以使用但不限于以下方式实现，一个团队内的成员之间，共享数据、算法。
使用共享云技术，为团队设置共享空间，所述共享空间为团队空间。设置团队空间权限为团队进入，即团队人员可以访问，非团队人员不能访问；对于每个数据，相对团队成员，设置不同权限。权限包括对人员的权限，如私有，即该文件为某用户专有，其他人员无权限，即无法看到无法操作；部分公开，即该文件为部分人员所有，其他人员无权限；公开，即所有人都有权限等；包括对数据操作的权限，如读取，即文件可以访问读取；写入，即文件可以被修改；删除，即文件可以被删除或执行。例如，算法A设置为所有人员可以读取写入删除，即团队所有人员可以对算法A进行读取、写入、删除。数据B的权限设置为用户E无权限；团长可以读取写入删除，用户C可以读取写入，普通人员可以读取，即用户E对数据B无权限，无法看到该文件；团长可以对数据B进行读取、写入、删除；用户C可以读取写入；普通人员只能读取数据B，并不能对数据B进行写入和删除。团长可以设置每个团队用户的权限，包括但不限于该团队用户可以使用空间大小，是否可以建立数据、算法等。团队用户根据团长设置的权限，在团队空间中，可以自己建立数据、算法，并对自己建立的数据、算法等设置权限。从而完成一个团队内的成员之间，共享数据、算法。这样的
通过权限的设置，不同用户可以访问和处理的数据和算法不一样，这样也有利于数据和算法的管理，提高数据和算法的保密性。
依据第四请求单元请求信息分配资源可以使用但不限于以下方式。
具体的，第四请求单元，用于请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配。
所述安全隔离，指系统中存在多租户时，每个租户之间通过系统隔离技术进行安全隔离，每个租户使用的CPU、内存、GPU等资源与其他租户完全隔离，当一个租户出现问题时，不影响其他用户。
具体的，可以使用但是不限以下方式实现安全隔离：利用kubernetes的kube-router网络组件实现网络隔离，使用iptables应用于通过常用标签标识的pod组。然后，可以使用标签来模拟传统的分段网络，这些网络通常用于在多层应用程序中隔离层，从而达到安全隔离的效果。kubernetes的弹性伸缩机制，可以根据当前系统资源的充足与否情况，同时结合用户的请求配置，来进行动态、弹性分配资源。
具体的，系统中存在多租户时，每个租户都需要系统分配CPU、内存、GPU等资源。系统对各硬件资源进行合理分配，使系统资源得到充分利用和不使系统出现死锁。每个租户，依据自己的需求，可以算出自己资源使用量。这个使用量包括资源平均使用量，最大使用量，最小使用量；根据用户使用，可以得出实时使用量。
以下用内存分配进行举例，其他资源分配可参照内存分配。可以使用但不限于以下方式对内存进行动态分配。
假设系统存在多租户A、B、C。A租户内存平均使用量、最大使用量和最小使用量为Mave-a、Mmax-a和Mmin-a，某时间的实时使用量的Ma，则Mmin-a≦Ma≦Mmax-a；B租户内存平均使用量、最大使用量和最小使用量为Mave-b、Mmax-b和Mmin-b，某时间的实时使用量的Mb，则Mmin-b≦Mb≦Mmax-b；C租户内存平均使用量、最大使用量和最小使用量为Mave-c、Mmax-c和Mmin-c，某时间的实时使用量的Mc，则Mmin-c≦Mc≦Mmax-c。租户使用系统，分为两种，一种是资源使用比较平均，每时刻所使用资源比较相同，Mave、Mmax和Mmin相差较小，每个时间的实时使用量的M标准差较小，该租户为标准差小租户；一种是某段时间内占用比较多的资源，某段时间内占用比较少的资源，Mave、Mmax和Mmin相差较大，每个时间的实时使用量的M标准差较大，该租户为标准差大租户。假设系统最大可分配内存为M。如果Mmax-a+Mmax-b+Mmax-c≦M，即系统满足多租户最大需求，则系统可以随时给所有租户A、B、C提供内存分配。如果M<Mmin-a+Mmin-b+Mmin-c，则系统无法满足多租户的最小需求，当某租户需要更多点内存资源时，无法满足租户请求，系统必须增加内存资源。如果Mmin-a+Mmin-b+Mmin-c≦M<Mave-a+Mave-b+Mave-c，则系统可以满足多租户的最小需求，但是无法满足租户的平均请求；如果租户都为标准差小租户，则系统无法满足租户的请求，需要增加内存资源；如果租户部分为标准差小租户，假设为租户A，部分为标准差大租户，假设为租户B、C，如果任一时刻Mb+Mc<Mave-b+Mave-c，且Ma+Mb+Mc<M，即租户B、C不同时占用较多资源，此时系统可以满足平时资源要求，否则系统需要增加内存资源。如果Mave-a+Mave-b+Mave-c≦M<Mmax-a+Mmax-b+Mmax-c，则系统可以满足平均要求，当多租户同时需要更大资源时，需要根据用户请求动态分配。如果任一时刻，Ma+Mb+Mc≦M，即系统满足所有租户实时资源要求，系统自动分配；如果某时刻M<Ma+Mb+Mc，即系统在某些时间不满足所有租户的资源要求。对每个用户定义不同权重，设租户A、B、C的权重分别为Wa、Wb、Wc。假设前一时刻，租户A、B、C分别使用资源为Mbef-a、Mbef-a、Mbef-a，则系统在此时剩余资源为M-Mbef-a-Mbef-b-Mbef-c。租户A、B、C在某时刻内，需要请求增加的资源分别为(Ma-Mbef-a)、(Mb-Mbef-b)、(Mb-Mbef-b)。可以使用但不限于以下公式进行分配：
租户A分配资源为：
(M-Mbef-a-Mbef-b-Mbef-c)*(Ma-Mbef-a)*Wa/((Ma-Mbef-a)*Wa+(Mb-Mbef-b)*Wb+(Mc-Mbef-c)*Wc)
租户B分配的资源为：
(M-Mbef-a-Mbef-b-Mbef-c)*(Mb-Mbef-b)*Wa/((Ma-Mbef-a)*Wa+(Mb-Mbef-b)*Wb+(Mc-Mbef-c)*Wc)
租户C分配的资源为：
(M-Mbef-a-Mbef-b-Mbef-c)*(Mc-Mbef-c)*Wa/((Ma-Mbef-a)*Wa+(Mb-Mbef-b)*Wb+(Mc-Mbef-c)*Wc)
各租户使用完资源后，系统自动收回资源，交其他租户使用。
具体的，系统还包括系统预测装置：用于对系统状态和任务结果进行预测；
系统预测装置包括：
环境预测单元，接收资源监控装置传来的资源状态数据；用于预测GPU出现故障；
具体的，所述GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。
示例性的，可以使用但不限于以下方式预测GPU出现故障：利用Prometheus监控容器资源使用率，查看容器所使用的GPU的利用率，来预测GPU卡的使用情况；同时通过监控kubernetes启动的容器中，是否存在僵尸容器类型，来判断其使用的GPU卡是否存在显存未释放的情况，从而预判卡的故障情况。预设故障阈值，当出现故障的可能大于故障阈值，通知运维人员去该GPU进行检修或更换。
具体的，所述环境预测装置还包括：
模型预测验证单元，接收资源监控装置传来的资源状态数据；用于验证预测任务完成情况。
具体的，利用深度学习，采用卷积神经网络对训练集进行训练，得到网络模型。
任务训练完成之后，利用网络模型，对单个样本或者批量样本进行任务预测验证，用以检验训练完成的模型是否符合预期。
示例性的，利用深度学习，采用卷积神经网络对之前完成的训练集进行训练，得到网络模型。使用所述网络模型对现在的任务预测，生成任务预测值。预设完成阈值，当任务预测值大于等于完成阈值时，则认为任务可以完成；当任务预测值小于完成阈值时，则认为任务不能完成，此时通过用户对任务进行修改。
可提供单样本或多样本预测准确率指标输出，以及神经网络每一层的统计信息。
所述模型预测支持图像分类、图像分割、文本分类等十几个应用场景，并可通过高级用户界面扩展更多应用服务。
本发明还提供了一种一体机计算方法。所述一体机计算方法可以采用但不限于下列流程，如图2所示。
具体的，一种一体机计算方法，所述方法包括：
生成资源状态数据；
获取资源请求，根据所述资源请求生成用户请求数据；
根据所述用户请求数据和所述资源状态数据进行资源分配。
所述生成资源状态数据包括：
获取设备资源信息、获取软件资源信息、根据所述设备资源信息和所述软件资源信息生成资源状态数据。
示例性的，系统对GPU负载、CPU负载、网络负载、存储负载、服务器健康状态、系统关键性组件状态等指标进行监控，一旦系统发现异常，会及时告警。系统没有异常，则生成设备资源信息。对任务训练进度、资源消耗情况进行监控。
所述资源请求数据包括：
请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
请求多租户共享集群计算资源，生成第二请求信息；
请求共享数据、算法，生成第三请求信息；
请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成请求第四请求；
根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成资源请求数据。
资源分配包括：
接收资源请求数据和资源状态数据，生成资源分配数据，根据资源分配数据，进行资源分配。
示例性的，系统将任务训练从私有环境迁移到公有云环境；使得多租户共享集群计算资源；系统共享数据、算法；系统安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配。
所述方法还包括：对系统状态和任务结果进行预测；
所述对系统状态和任务结果进行预测包括：
接收资源状态数据，预测GPU出现故障；
接收资源状态数据，验证预测任务完成情况。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种一体机计算系统，其特征在于，所述系统包括：
资源监控装置、用户请求装置、资源分配装置；
所述资源监控装置，用于监控计算机资源，生成并发送资源状态数据；
所述用户请求装置，获取资源请求，根据所述资源请求生成并发送用户请求数据；
所述资源分配装置，用于接收所述用户请求数据和资源状态数据，根据所述用户请求数据和资源状态数据进行资源分配。
2.根据权利要求1所述的一体机计算系统，其特征在于，所述资源监控装置包括：
第一监控单元，用于获取设备资源信息；
第二监控单元，用于获取软件资源信息；
监控发送单元，接收所述第一监控单元传来的设备资源信息和所述第二监控单元传来的软件资源信息，用于生成并发送资源状态数据。
3.根据权利要求1所述的一体机计算系统，其特征在于，所述用户请求装置包括：
第一请求单元，用于请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
第二请求单元，用于请求多租户共享集群计算资源，生成第二请求信息；
第三请求单元，用于请求共享数据、算法，生成第三请求信息；
第四请求单元，用于请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成第四请求信息；
请求发送单元，接收第一请求单元传来的第一请求信息、第二请求单元传来的第二请求信息、第三请求单元传来的第三请求信息、第四请求单元传来的第四请求信息；用于根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成并发送用户请求数据。
4.根据权利要求1至3中任一所述的一体机计算系统，其特征在于，所述资源分配装置，包括：
接收数据单元，用于接收所述用户请求装置发送的资源请求数据和所述用户请求装置发送的资源状态数据，生成资源分配数据；
资源分配单元，接收数据单元传来的资源分配数据，用于进行资源分配。
5.根据权利要求1所述的一体机计算系统，其特征在于，所述系统还包括：
系统预测装置，用于对系统状态和任务结果进行预测；
所述系统预测装置包括：
环境预测单元，接收资源监控装置传来的资源状态数据；用于预测GPU出现故障；
模型预测验证单元，接收资源监控装置传来的资源状态数据；用于验证预测任务完成情况。
6.一种一体机计算方法，其特征在于，所述方法包括：
生成资源状态数据；
获取资源请求，根据所述资源请求生成用户请求数据；
根据所述用户请求数据和所述资源状态数据进行资源分配。
7.根据权利要求6所述的一体机计算方法，其特征在于，所述生成资源状态数据包括：
获取设备资源信息、获取软件资源信息、根据所述设备资源信息和所述软件资源信息生成资源状态数据。
8.根据权利要求7所述的一体机计算方法，其特征在于，所述资源请求数据包括：
请求将训练任务从私有环境迁移到公有云环境，生成第一请求信息；
请求多租户共享集群计算资源，生成第二请求信息；
请求共享数据、算法，生成第三请求信息；
请求安全隔离，包括CPU、内存、GPU等根据用户请求按需动态分配，生成请求第四请求；
根据第一请求信息和/或第二请求信息和/或第三请求信息和/或第四请求信息，生成资源请求数据。
9.根据权利要求6至8中任一所述的一体机计算方法，其特征在于，所述资源分配包括：
接收资源请求数据和资源状态数据，生成资源分配数据，根据资源分配数据，进行资源分配。
10.根据权利要求6所述的一体机计算方法，其特征在于，所述方法还包括：对系统状态和任务结果进行预测；
所述对系统状态和任务结果进行预测包括：
接收资源状态数据，预测GPU出现故障；
接收资源状态数据，验证预测任务完成情况。
CN202010177271.XA 2020-03-13 2020-03-13 一种一体机计算系统与方法 Active CN111488218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010177271.XA CN111488218B (zh) 2020-03-13 2020-03-13 一种一体机计算系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177271.XA CN111488218B (zh) 2020-03-13 2020-03-13 一种一体机计算系统与方法

Publications (2)

Publication Number Publication Date
CN111488218A true CN111488218A (zh) 2020-08-04
CN111488218B CN111488218B (zh) 2022-02-25

Family

ID=71791580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177271.XA Active CN111488218B (zh) 2020-03-13 2020-03-13 一种一体机计算系统与方法

Country Status (1)

Country Link
CN (1) CN111488218B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130983A (zh) * 2020-10-27 2020-12-25 上海商汤临港智能科技有限公司 任务处理方法、装置、设备、系统及存储介质
CN113094116A (zh) * 2021-04-01 2021-07-09 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223419A (zh) * 2011-07-05 2011-10-19 北京邮电大学 面向网络化操作系统的虚拟资源动态反馈均衡分配机制
US20120144041A1 (en) * 2010-12-02 2012-06-07 Electronics Telecommunications And Research Institute Resource management apparatus and method for supporting cloud-based communication between ubiquitous objects
US20130148596A1 (en) * 2011-12-09 2013-06-13 Electronics And Telecommunications Research Institute Resource management system and method of centralized base station in mobile communication network
CN103220362A (zh) * 2013-04-23 2013-07-24 深圳市京华科讯科技有限公司 服务器虚拟化一体机
CN104142864A (zh) * 2014-08-07 2014-11-12 浪潮电子信息产业股份有限公司 一种基于虚拟化技术的多租户性能隔离框架
CN105549685A (zh) * 2015-12-08 2016-05-04 中电科华云信息技术有限公司 云平台一体机
CN105764097A (zh) * 2014-12-18 2016-07-13 中兴通讯股份有限公司 资源分配方法及装置
US20160231830A1 (en) * 2010-08-20 2016-08-11 Knowles Electronics, Llc Personalized Operation of a Mobile Device Using Sensor Signatures
CN106970839A (zh) * 2017-02-22 2017-07-21 广东网金控股股份有限公司 一种自动化的扩容方法及其装置
CN109039954A (zh) * 2018-07-25 2018-12-18 广东石油化工学院 多租户容器云平台虚拟计算资源自适应调度方法及系统
CN109951531A (zh) * 2019-02-27 2019-06-28 广东唯一网络科技有限公司 超融合云计算系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231830A1 (en) * 2010-08-20 2016-08-11 Knowles Electronics, Llc Personalized Operation of a Mobile Device Using Sensor Signatures
US20120144041A1 (en) * 2010-12-02 2012-06-07 Electronics Telecommunications And Research Institute Resource management apparatus and method for supporting cloud-based communication between ubiquitous objects
CN102223419A (zh) * 2011-07-05 2011-10-19 北京邮电大学 面向网络化操作系统的虚拟资源动态反馈均衡分配机制
US20130148596A1 (en) * 2011-12-09 2013-06-13 Electronics And Telecommunications Research Institute Resource management system and method of centralized base station in mobile communication network
CN103220362A (zh) * 2013-04-23 2013-07-24 深圳市京华科讯科技有限公司 服务器虚拟化一体机
CN104142864A (zh) * 2014-08-07 2014-11-12 浪潮电子信息产业股份有限公司 一种基于虚拟化技术的多租户性能隔离框架
CN105764097A (zh) * 2014-12-18 2016-07-13 中兴通讯股份有限公司 资源分配方法及装置
CN105549685A (zh) * 2015-12-08 2016-05-04 中电科华云信息技术有限公司 云平台一体机
CN106970839A (zh) * 2017-02-22 2017-07-21 广东网金控股股份有限公司 一种自动化的扩容方法及其装置
CN109039954A (zh) * 2018-07-25 2018-12-18 广东石油化工学院 多租户容器云平台虚拟计算资源自适应调度方法及系统
CN109951531A (zh) * 2019-02-27 2019-06-28 广东唯一网络科技有限公司 超融合云计算系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIMY JOY ET AL.: "《Cost and deadline optimization along with resource allocation in cloud computing environment》", 《2013 INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING AND COMMUNICATION SYSTEMS》 *
杨建民 等: "《虚拟化云桌面在医院信息化中的应用》", 《现代医院》 *
陈国良 等: "《大数据一体机关键技术及应用研究》", 《南京邮电大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130983A (zh) * 2020-10-27 2020-12-25 上海商汤临港智能科技有限公司 任务处理方法、装置、设备、系统及存储介质
CN113094116A (zh) * 2021-04-01 2021-07-09 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统
CN113094116B (zh) * 2021-04-01 2022-10-11 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统

Also Published As

Publication number Publication date
CN111488218B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10838803B2 (en) Resource provisioning and replacement according to a resource failure analysis in disaggregated data centers
US11050637B2 (en) Resource lifecycle optimization in disaggregated data centers
US10394477B2 (en) Method and system for memory allocation in a disaggregated memory architecture
US8424059B2 (en) Calculating multi-tenancy resource requirements and automated tenant dynamic placement in a multi-tenant shared environment
US11093289B2 (en) Provisioning disaster recovery resources across multiple different environments based on class of service
US9246996B1 (en) Data volume placement techniques
US20090113161A1 (en) Method, apparatus and program product for managing memory in a virtual computing system
US20170163669A1 (en) Methods and systems to detect anomalies in computer system behavior based on log-file sampling
US10754720B2 (en) Health check diagnostics of resources by instantiating workloads in disaggregated data centers
US10761915B2 (en) Preemptive deep diagnostics and health checking of resources in disaggregated data centers
US20180165693A1 (en) Methods and systems to determine correlated-extreme behavior consumers of data center resources
US11188408B2 (en) Preemptive resource replacement according to failure pattern analysis in disaggregated data centers
US10831580B2 (en) Diagnostic health checking and replacement of resources in disaggregated data centers
US10691516B2 (en) Measurement and visualization of resiliency in a hybrid IT infrastructure environment
CN111488218B (zh) 一种一体机计算系统与方法
JP2023541244A (ja) ユニファイド・ストレージ環境内のストレージ階層化
Dadashi Gavaber et al. BADEP: bandwidth and delay efficient application placement in fog‐based IoT systems
US11561824B2 (en) Embedded persistent queue
US10938655B2 (en) Enterprise cloud garbage collector
Pătraşcu et al. Logging framework for cloud computing forensic environments
Monteiro et al. Virtualized Web server cluster self-configuration to optimize resource and power use
US11948010B2 (en) Tag-driven scheduling of computing resources for function execution
US20220374702A1 (en) Methods and systems for predicting behavior of distributed applications
US10536507B2 (en) Cognitive event based file sharing system for social software
US11650975B2 (en) Online file system consistency check for container data on a clustered filesystem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant