CN115168061A - 一种计算存储分离方法、系统、电子设备及存储介质 - Google Patents

一种计算存储分离方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115168061A
CN115168061A CN202211100744.1A CN202211100744A CN115168061A CN 115168061 A CN115168061 A CN 115168061A CN 202211100744 A CN202211100744 A CN 202211100744A CN 115168061 A CN115168061 A CN 115168061A
Authority
CN
China
Prior art keywords
request
fragment
target
computing node
application service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211100744.1A
Other languages
English (en)
Other versions
CN115168061B (zh
Inventor
丁凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingzhou Technology Co ltd
Original Assignee
Beijing Jingzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingzhou Technology Co ltd filed Critical Beijing Jingzhou Technology Co ltd
Priority to CN202211100744.1A priority Critical patent/CN115168061B/zh
Publication of CN115168061A publication Critical patent/CN115168061A/zh
Application granted granted Critical
Publication of CN115168061B publication Critical patent/CN115168061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Stored Programmes (AREA)

Abstract

本申请涉及一种计算存储分离方法、系统、电子设备及存储介质,涉及大数据技术领域,该计算存储分离方法包括:获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,通过目标抽象接口,触发第一计算节点对应的控制节点依据应用服务请求进行资源分配处理,得到应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。

Description

一种计算存储分离方法、系统、电子设备及存储介质
技术领域
本申请涉及大数据技术领域,尤其涉及一种计算存储分离方法、系统、电子设备及存储介质。
背景技术
目前,随着人类进入数字化时代,数据量也呈爆炸式增长。工业时代进步的血液和动力是石油,而对于数字化时代,数据则成为数字化时代进步的驱动力,如何从海量数据中提取价值将成为一个企业、国家和民族的发展所面对的巨大难题和机遇。
具体而言,海量的数据要求海量的存储,对海量的数据进行数据分析则需要海量的计算力。如何从海量数据中提取价值将成为一个企业、国家和民族的发展所面对的巨大难题和机遇。伴随着云(Cloud)时代的到来,其无限的资源扩展能力以及快速弹性扩缩容的能力成为了企业节约IT成本的一个重要途径,无论在国内外,上云的趋势已经不可逆转。公有云的一个关键的能力是可以实现计算存储分离,如存储容量无限,数据存储按需付费,计算能力按需使用,需要时自动创建计算资源,无用时可立即释放。相比于传统的存储计算绑定模式扩容,新的计算存储分离设计无论在成本还是弹性能力上都有着巨大的优势。
然而,现有的计算存储分离方法需要针对每种特定应用设计其专属的计算存储分离架构,无法针对存算分离应用进行更通用的抽象,开发人员每开发一种应用就需要针对其场景进行单独设计对应的代码等,如在开发一种应用时,需要开发人员针对诸如公有云、私有云以及本地存储等不同的存储资源场景设计不同的实现方案,导致研发周期长,研发成本高。
发明内容
本申请提供了一种计算存储分离方法、系统、电子设备及存储介质,以为存储计算分离型应用提供统一的抽象平台,降低了存储计算分离应用的开发难度,缩短研发周期。
第一方面,本申请提供了一种计算存储分离方法,包括:
获取目标应用程序的用户操作请求;
依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;
通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;
依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
可选的,所述依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求,包括:
通过所述第一计算节点,向所述控制节点发送所述目标应用程序对应的服务实例启动请求;
基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求。
可选的,所述依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口之前,还包括:
在所述第一计算节点启动时,向所述控制节点发送所述目标应用程序对应的注册服务请求;
依据所述注册服务请求,记录所述目标应用程序对应的应用实例服务信息,所述应用实例服务信息包含所述服务实例标识信息。
可选的,所述通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息,包括:
所述第一计算节点通过所述目标抽象接口,向所述控制节点发送所述应用服务请求;
所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果;
所述控制节点基于所述资源分配处理结果,向所述第一计算节点返回所述应用服务响应信息。
可选的,所述应用服务请求包含计算节点添加请求,所述目标抽象接口包含所述计算节点添加请求对应的节点添加接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述节点添加接口,接收所述计算节点添加请求;
从所述计算节点添加请求中提取计算节点添加信息;
依据所述计算节点添加信息添加第二计算节点;
依据所述第二计算节点发送的心跳数据,生成所述资源分配处理结果。
可选的,所述计算节点添加信息包含计算节点地址信息,所述依据所述计算节点添加信息添加第二计算节点,包括:
将所述计算节点地址信息确定为所述第二计算节点的互联网协议地址信息;
控制所述互联网协议地址信息对应的目标服务器开启计算节点进程,得到第二计算节点。
可选的,在所述用户操作请求为目标数据创建请求时,所述基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求,包括:
基于所述请求参数信息,确定所述目标数据创建请求对应的分片数量;
依据所述分片数量和所述服务实例标识信息,生成分片创建请求;
将所述分片创建请求作为所述应用服务请求。
可选的,所述目标抽象接口包含所述分片创建请求对应的分片创建接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述分片创建接口,接收所述分片创建请求;
依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果;
将所述分片数据对应的资源分配结果确定为所述资源分配处理结果。
可选的,所述依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果,包括:
基于所述分片创建请求携带的分片信息,确定所述目标数据创建请求对应的各个分片数据;
分别为每一个所述分片数据分配存储资源和计算资源,得到每一个所述分片数据对应的存储资源分配结果和计算资源分配结果;
针对每一个所述分片数据,基于所述存储资源分配结果和计算资源分配结果确定所述资源分配结果。
可选的,所述应用服务请求包含分片获取请求,所述目标抽象接口包含所述分片获取请求对应的分片获取接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述分片获取接口,接收所述分片获取请求;
依据所述分片获取请求携带的分片索引信息,确定目标分片标识信息和所述目标分片标识信息对应的计算节点位置信息;
基于所述目标分片标识信息和所述计算节点位置信息,生成所述资源分配处理结果。
可选的,依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果,包括:
基于所述应用服务响应信息,确定所述分片获取请求对应的目标计算节点;
向所述目标计算节点发送所述分片获取请求对应的查询请求;
接收所述目标计算节点针对所述查询请求返回的查询响应信息;
依据所述查询响应信息携带的存储位置信息,读取目标分片数据;
依据所述目标分片数据生成所述操作结果。
第二方面,本申请提供了一种计算存储分离系统,包括:
用户操作请求获取模块,用于获取目标应用程序的用户操作请求;
应用服务请求和目标抽象接口确定模块,用于依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;
资源分配处理模块,用于通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;
操作结果确定模块,用于依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如第一方面任一项实施例所述的计算存储分离方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的计算存储分离方法的步骤。
综上,本申请实施例通过获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,通过目标抽象接口,触发第一计算节点对应的控制节点依据应用服务请求进行资源分配处理,得到应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种计算存储分离方法的流程示意图;
图2是本申请一个可选实施例提供的一种计算存储分离方法的步骤流程示意图;
图3是本申请一个可选实施例提供的一种StarOS系统架构图;
图4是本申请一个可选实施例提供的一种计算存储分离方法的步骤流程示意图;
图5为本申请实施例提供的一种计算存储分离系统的结构框图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在相关技术中,随着Cloud时代的到来,越来越多的产品开始以软件即服务(Software-as-a-Service,SaaS)的模式提供售卖,其底层也越来越多的采用存储计算分离架构来支撑其上层应用。例如典型数据仓库服务商Snowflake,从存储计算绑定模式开始走向分离的Redshift,越来越多的企业开始调整其原有架构,拥抱Cloud和存储计算分离。虽然存储计算分离趋势开始蔓延,但现有的储存计算分离的构建设计还比较早期,现有的存储分离计算应用仅针对每种特定应用设计其专属的存算分离架构,未针对存算分离应用进行更通用的抽象,导致每开发一种应用时就需要针对其场景进行设计实现,实现复杂度高,研发周期长,增加研发成本的同时,失败风险也较高。
本申请实施例的构思之一在于提出一种计算存储分离方法,通过获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,通过目标抽象接口,触发第一计算节点对应的控制节点依据应用服务请求进行资源分配处理,得到应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。
为便于对本申请实施例的理解,下面将结合附图以及具体实施例做进一步的解释说明,实施例并不构成对本申请实施例的限定。
图1为本申请实施例提供的一种计算存储分离方法的流程示意图。如图1所示,本申请提供的计算存储分离方法具体可以包括如下步骤:
步骤110,获取目标应用程序的用户操作请求。
具体的,目标应用程序可以包含计算存储分离程序,该计算存储分离程序可以用于实现计算存储分离方法,本申请实施例对此不作限制;用户操作请求可以包含计算节点添加指令、目标数据创建请求、目标数据查询请求以及目标数据删除请求,本申请实施例对此不作限制。具体而言,本申请实施例可以获取目标程序的用户操作请求,后续可以依据用户操作请求,确定应用服务请求和应用服务请求对应的目标抽象接口。
步骤120,依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口。
具体的,请求参数信息可以用于确定应用服务请求和应用服务请求对应的目标抽象接口(Application Program Interface,API),该应用服务请求可以包含计算节点添加请求、分片创建请求、分片获取请求以及分片删除请求,本申请实施例对此不作限制。具体而言,本申请实施例中第一计算节点可以获取目标应用程序的用户操作请求,随后可以依据用户操作请求携带的请求参数,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口。
在具体实习中,本申请实施例可以预先为每一种应用服务请求预设对应的目标抽象接口,如计算节点添加请求对应的目标抽象接口可以是节点添加接口,分片创建请求对应的目标抽象接口可以是分片创建接口,分片获取请求对应的目标抽象接口可以是分片获取接口,分片删除请求对应的目标抽象接口可以是分片删除接口,本申请实施例对此不做限制。
例如,在用户操作请求为计算节点添加指令的情况下,第一计算节点可以根据计算节点添加指令携带的请求参数,将计算节点添加请求确定为第一计算节点的应用服务请求,并可以将计算节点添加请求对应的节点添加接口确定为应用服务请求对应的目标抽象接口;在用户操作请求为目标数据创建请求的情况下,第一计算节点可以根据目标数据创建请求携带的请求参数,将分片创建请求确定为第一计算节点的应用服务请求,并可以将分片创建请求对应的分片创建接口确定为应用服务请求对应的目标抽象接口;在用户操作请求为目标数据查询请求的情况下,第一计算节点可以根据目标数据查询请求携带的请求参数,将分片获取请求确定为第一计算节点的应用服务请求,并可以将分片获取请求对应的分片获取接口确定为应用服务请求对应的目标抽象接口;在用户操作请求为目标数据删除请求的情况下,第一计算节点可以根据目标数据删除请求携带的请求参数,将分片删除请求确定为第一计算节点的应用服务请求,并可以将分片删除请求对应的分片删除接口确定为应用服务请求对应的目标抽象接口。
在实际处理中,计算节点添加请求可以用于添加新的计算节点,该计算节点可以用于在用户创建数据或查询数据时,实现计算存储分离;分片创建请求可以用于创建分片数据,如可以用于创建数据库或数据表的分片数据等,实现计算存储分离;分片获取请求可以用于通过计算节点查询分片数据,如可以用于查询分片数据所在的目标计算节点,并可以从目标计算节点中获取分片数据,实现计算存储分离;分片删除请求可以用于通过计算节点删除分片数据,如可以通过确定分片数据对应的目标计算节点,以通过目标计算节点删除分片数据,实现计算存储分离。
步骤130,通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息。
具体而言,本申请实施例中第一计算节点可以通过目标抽象接口向控制节点发送对应的应用服务请求,控制节点接收到第一计算节点发送的应用服务请求后,可以依据应用服务请求进行资源分配处理,如可以依据应用服务请求进行计算资源分配和存储资源分配,进而得到资源分配结果,通过控制节点统一存储资源的抽象层,既能支持诸如公有云和私有云等云存储,也能支持诸如本地磁盘构建的本地存储等,计算存储分离型应用可以根据需要选择不同的底层存储,无需感知存储细节,实现对计算存储分离应用所需的所有资源进行合理管理,应用只需按需使用资源即可,无需考虑资源异构等众多负载问题。
在具体实现中,本申请实施例可以预先构建计算存储分离平台(StarOS),该StarOS可以为计算存储分离应用提供统一的抽象平台,可以通过StarOS为诸如计算存储分离应用等上层应用提供统一且简单的API编程接口,计算存储分离应用可以通过API与StarOS进行交互,如可以通过目标抽象接口与StarOS中的控制节点进行交互,简化了计算存储分离应用的处理逻辑,使得计算存储分离应用无需处理复杂的逻辑即可实现计算存储分离能力,并享受由此带来的各种好处,开发者在进行计算存储分离应用等上层应用的开发时,只需要关注应用的开发逻辑,与底层存储资源等的交互交由StarOS完成,大大降低了开发存储计算分离应用的难度。
步骤140,依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
具体的,本申请实施例可以依据应用服务响应信息,确定用户操作请求对应的操作结果。
例如,在用户操作请求为计算节点添加指令的情况下,可以基于应用服务响应信息,确定计算节点是否添加成功,得到计算节点添加指令对应的操作结果;在用户操作请求为目标数据创建请求的情况下,可以基于应用服务响应信息,确定目标数据创建是否成功,即确定分片数据是否创建成功,得到目标数据创建请求对应的操作结果;在用户操作请求为目标数据查询请求的情况下,可以基于应用服务响应信息,确定目标数据的查询结果,如可以是确定目标数据对应的目标计算节点,从目标计算节点中获取目标数据,得到目标数据查询请求对应的操作结果;在用户操作请求为目标数据删除请求的情况下,可以基于应用服务响应信息,确定目标数据对应的目标计算节点,可以删除目标计算节点存储的目标数据,如可以是删除目标计算节点存储的分片数据,得到目标数据删除请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。
可见,本申请实施例通过获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,通过目标抽象接口,触发第一计算节点对应的控制节点依据应用服务请求进行资源分配处理,得到应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。
参照图2,示出了本申请一个可选实施例提供的一种计算存储分离方法的步骤流程示意图。该计算存储分离方法具体可以包括如下步骤:
步骤210,获取目标应用程序的用户操作请求。
作为一个示例,参照图3,可以通过开源的新一代极速全场景大规模并行处理(Massively Parallel Processing,MPP)数据库(StarRocks)实现计算存储分离,该StarRocks可以应用于StarOS中,为计算存储分离型应用提供统一的抽象平台,从而可以解决开发大规模分布式的计算存储分离应用中所遇到的共性问题。具体而言,该StarsOS的系统架构可以包含控制节点(StarManager),计算节点(Worker)、交互桥梁(Starlet)、存储(Storage)、分片(Shard)以及服务(Service)。其中,Worker可以包含前端计算节点(Frontend Worker,FE Worker)以及后端计算节点(Backend Worker,BE Worker),Worker可以为应用提供计算资源,不同类型的应用可以运行在同一个Worker上,可以通过FEWorker获取目标应用程序的用户操作请求。
例如,用户需要添加BE Worker时,可以向FE Worker发起节点添加(Add Backend)指令,以便后续可以通过控制节点进行资源分配处理,得到第二计算节点。
需要说明的是,StarRocks可以包含第一计算节点和第二计算节点,该第一计算节点可以包含FE Worker,第二计算节点可以包含BE Worker,本申请实施例对此不做限制。本申请实施例提供的StarOS系统和StarRocks可以应用于开发公有云/私有云环境中计算存储分离场景下各单机和分布式应用的开发,包括但不限于数据仓库、数据湖、联机事务处理过程(On-Line Transaction Processing,OLTP)数据库、分布式缓存(DistributedCache)、洗牌(Shuffle)等分布式有状态应用。
步骤220,依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口。
例如,在用户操作请求为计算节点添加指令的情况下,该计算节点添加指令携带的请求参数信息可以包含服务名称、需要创建的Worker类型和数量等参数信息以及计算节点地址等,第一计算节点可以依据计算节点添加指令携带的请求参数信息,将计算节点添加请求作为应用服务请求,并可以将该计算节点添加请求对应的节点添加接口作为应用服务请求对应的目标抽象接口。
作为一个示例,StarOS中的Starlet可以作为Worker与StarManager交互的桥梁,Starlet可以根据不同的应用服务请求提供对应的目标抽象接口,使得Worker与StarManager之间、Worker与Worker之间可以正常交互。如在应用服务请求为计算节点添加请求时,Starlet可以为Worker和StarManager提供节点添加接口(AddWorker API),本示例对此不作限制。使得应用只需要通过简单API即可与StarOS进行交互,无需自己处理复杂的逻辑即可实现存储计算分离能力并享受由此带来的各种好处。
步骤230,所述第一计算节点通过所述目标抽象接口,向所述控制节点发送所述应用服务请求。
具体的,本申请实施例可以在应用服务请求包含计算节点添加请求,目标抽象接口包含计算节点添加请求对应的节点添加接口时,第一计算节点通过目标抽象接口,向控制节点发送应用服务请求。具体而言,第一计算节点可以通过节点添加接口,向控制节点发送计算节点添加请求,使得控制节点可以依据计算节点添加请求增加计算节点。
作为一个示例,参照图3,StarManager作为StarOS的核心控制系统,管理所有的计算和存储资源,并在需要时为应用分配资源,如可以在计算存储分离应用需要计算资源时,为其分配计算资源;在计算存储分离应用需要存储资源时,为其分配存储资源。
在具体实现中,StarManager可以将Shard在计算节点间调度,StarManager可以包含分片管理(ShardManager)、服务管理(ServiceManager)、计算节点管理(WorkerManager)、对象存储管理(ObjectStorageManager)以及日志存储管理(LogStorageManager)等,本示例对此不作限制。其中,ShardManager可以用于管理Shard,ServiceManager可以用于管理应用服务,WorkerManager可以用于管理计算节点,ObjectStorageManager以及LogStorageManager均可以用于管理底层存储。FE Worker可以通过Starlet提供的接口与StarManager交互,如可以通过Starlet提供的AddWorker API,向StarManager发起一次Worker节点添加请求。
步骤240,通过所述节点添加接口,接收所述计算节点添加请求。
其中,所述应用服务请求包含计算节点添加请求,所述目标抽象接口包含所述计算节点添加请求对应的节点添加接口。
具体的,本申请实施例中控制节点可以通过节点添加接口,接收第一计算节点发送的计算节点添加请求。
例如,StarManager可以通过AddWorker API,接收FE Worker发送的计算节点添加请求。
步骤250,从所述计算节点添加请求中提取计算节点添加信息。
具体的,计算节点添加信息可以包含计算节点地址信息,该计算节点地址信息可以用于添加计算节点,如可以用于添加BE Worker节点,本申请实施例对此不作限制。
步骤260,依据所述计算节点添加信息添加第二计算节点。
具体的,本申请实施例中控制节点接收到计算节点添加请求后,可以从计算节点中提取计算节点添加信息,随后控制节点可以依据计算节点添加信息添加第二计算节点。
在一个可选实施例中,本申请实施例在计算节点添加信息包含计算节点地址信息的情况下,所述依据所述计算节点添加信息添加第二计算节点,具体可以包括:将所述计算节点地址信息确定为所述第二计算节点的互联网协议地址信息;控制所述互联网协议地址信息对应的目标服务器开启计算节点进程,得到第二计算节点。具体而言,控制节点可以从计算节点添加信息中提取计算节点地址信息,该计算节点地址信息可以包含互联网协议(Internet Protocol ,IP)地址,控制节点可以根据IP地址确定对应的目标服务器,该目标服务器可以包含云服务器,随后可以在目标服务器中开启计算节点进程,如控制节点可以根据IP地址选择服务器,并可以拉起BE Worker进程,从而实现开启第二计算节点。
步骤270,依据所述第二计算节点发送的心跳数据,生成所述资源分配处理结果。
具体而言,控制节点在添加并开启第二计算节点后,第二计算节点可以向控制节点发送心跳数据,随后控制节点可以依据第二计算节点发送的心跳数据确定成功添加第二计算节点,并且可以确定该第二计算节点能正常使用,随后可以生成资源分配处理结果。例如,第二计算节点可以通过Starlet向控制节点汇报心跳,本示例对此不作限制。控制节点接收到第二计算节点发送的心跳数据后,可以将第二计算节点的状态标记为上线状态,并可以生成资源分配处理结果,如可以生成第二计算节点添加成功结果,以通过控制节点管理计算存储分离型应用所有的资源,进而通过统一的资源管理简化应用复杂度,使得计算存储分离型应用无需同时支持Cloud和本地存储等不同的场景,无需考虑资源异构等众多负载问题,实现应用按需使用资源,开发者进行应用开发时只需要关注应用的开发逻辑,其他的交由StarOS完成,大大降低了开发计算存储分离应用难度的同时,降低研发成本。
在具体实现中,本申请实施例中的第二计算节点可以定时向控制节点汇报心跳,使得控制节点可以确定当前第二计算节点持续处于上线状态。例如,控制节点可以判断是否在预设的心跳接收时长内接收到第二计算节点发送的心跳数据,以在预设的心跳接收时长内没有接收到第二计算节点发送的心跳数据时,确定第二计算节点故障下线,随后对该故障下线的第二计算节点进行任务迁移,如StarManager可以通过Starlet向Worker发送管理命令,以通过管理命令将该故障下线的第二计算节点的计算资源和存储资源迁移到另一个上线状态的第二计算节点中,从而实现负载均衡。
步骤280,所述控制节点基于所述资源分配处理结果,向所述第一计算节点返回所述应用服务响应信息。
具体而言,本申请实施例中控制节点可以基于资源分配处理结果,向第一计算节点返回应用服务响应信息。如控制节点可以在成功添加第二计算节点,并且可以确定该第二计算节点能正常使用时,生成第二计算节点添加成功结果,并可以基于第二计算节点添加成功结果,向第一计算节点返回应用服务响应信息,该应用服务响应信息可以是第二计算节点成功添加信息;控制节点也可以在未成功添加第二计算节点时,生成第二计算节点添加失败结果,可以向第一计算节点返回应用服务响应信息,该应用服务响应信息可以是第二计算节点添加失败信息,该第二计算节点添加失败信息可以包含有第二计算节点添加失败原因,以便可以提醒用户第二计算节点添加失败的原因。
步骤290,依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
作为一个示例,在应用服务响应信息为第二计算节点成功添加信息时,可以确定节点添加指令对应的节点添加成功结果,随后可以向用户展示节点添加成功结果;在应用服务响应信息为第二计算节点添加失败信息时,可以从第二计算节点添加失败信息中提取第二计算节点添加失败原因,确定节点添加指令对应的节点添加失败结果,随后可以向用户展示第二计算节点添加失败的信息,提醒用户第二计算节点添加失败的原因。
综上,本申请实施例通过获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,以在应用服务请求包含计算节点添加请求,目标抽象接口包含计算节点添加请求对应的节点添加接口时,通过节点添加接口,接收计算节点添加请求,从计算节点添加请求中提取计算节点添加信息,进而可以依据计算节点添加信息添加第二计算节点,并依据第二计算节点发送的心跳数据,生成资源分配处理结果,使得控制节点基于资源分配处理结果,向第一计算节点返回应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,通过为存储计算分离型应用提供统一的抽象平台,解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题,降低了存储计算分离应用的开发难度,缩短研发周期,提高应用研发的成功率。
参照图4,示出了本申请一个可选实施例提供的一种计算存储分离方法的步骤流程示意图。该计算存储分离方法具体可以包括如下步骤
步骤410,获取目标应用程序的用户操作请求。
步骤420,依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口。
可选的,本申请实施例依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求,具体可以包括以下子步骤:
子步骤4201,通过所述第一计算节点,向所述控制节点发送所述目标应用程序对应的服务实例启动请求。
具体的,服务实例启动请求可以用于启动目标应用程序,如在用户需要启动计算节点时,可以向控制节点发送目标应用程序对应的服务示例启动请求。例如,StarRocks FEWorker启动时可以调用服务启动接口(StartService API)向StarOS发送目标应用程序对应的服务器实例启动请求,以启动服务实例,StarManager可以在成功启动服务实例后,确定本次启动的服务实例的服务标识(ServiceID)信息,并可以将该ServiceID信息返回给FEWorker,后续FE Worker通过目标抽象接口与StarManager交互时,可以在应用服务请求中携带该ServiceID信息。
在一个可选实施例中,本申请实施例依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口之前,具体还可以包括:在所述第一计算节点启动时,向所述控制节点发送所述目标应用程序对应的注册服务请求;依据所述注册服务请求,记录所述目标应用程序对应的应用实例服务信息,所述应用实例服务信息包含所述服务实例标识信息。具体而言,第一计算节点启动时,可以通过注册接口向控制节点发送目标应用程序对应的注册服务请求,控制节点可以依据注册服务请求,记录该目标应用程序对应的应用实例服务信息,如可以记录该应用实例服务信息包含的服务实例标识信息。
作为一个示例,参照图3,Service可以代表运行在StarOS上的应用实例,基于StarOS开发的存储计算分离型应用可以在运行前向StarOS申请创建Service,StarOS内部可以记录该应用信息,且StarOS可以支持多Service同时运行,以提高计算存储分离效率。例如,FE Worker启动时,可以调用服务注册接口(RegisterService API)向StarOS发送用于注册StarRocks服务的注册服务请求,该注册服务请求中可以包含StarRocks模板信息,其中,StarRocks模板信息可以包含服务的名称、服务支持的Worker类型以及该服务每种类型Worker上可以运行的Shard类型(即Worker支持容纳何种Shard)。StarManager可以服务模板信息持久化存储,如可以记录注册StarRocks服务对应的应用实例服务信息,并可以持久化记录Service信息。
子步骤4202,基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求。
具体的,本申请实施例可以基于请求参数信息和控制节点针对服务实例启动请求返回的服务实例标识信息,生成应用服务请求。
例如,在用户操作请求为目标数据创建请求的情况下,请求参数信息可以包含分片创建数量信息,该分片创建数量信息可以用于确定分片数量,本示例对此不作限制。如用户可以向FE Worker发起目标数据创建请求,该目标数据创建请求可以是数据表创建请求,本示例对此不作限制。FE Worker可以根据请求参数信息确定创建Shard数量,随后可以基于请求参数信息携带的分片数量和服务实例标识信息,生成分片创建请求,以作为应用服务请求。
又如,在用户操作请求为目标数据查询请求的情况下,请求参数信息可以包含数据查询语句,如在查询的目标数据为数据表的情况下,该数据查询语句可以是数据库查询语句,本示例对此不作限制。如用户可以向FE Worker发起分片获取请求,该分片获取请求可以是数据表查询请求,本示例对此不作限制。FE Worker可以根据分片获取请求包含的请求参数信息确定查询的分片数据所在的Shard,随后可以基于请求参数信息携带的数据查询语句和服务实例标识信息,生成分片获取请求,以作为应用服务请求。
在一个可选实施例中,本申请实施例在用户操作请求为目标数据创建请求的情况下,基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求,具体可以包括:基于所述请求参数信息,确定所述目标数据创建请求对应的分片数量;依据所述分片数量和所述服务实例标识信息,生成分片创建请求;将所述分片创建请求作为所述应用服务请求。具体而言,在获取到请求参数信息后,可以判断该请求参数信息是否携带有分片创建数量信息,若确定请求参数信息携带有分片创建数量信息,则可以确定用户针对目标数据指定了分片创建的数量,可以将分片创建数量信息确定为目标数据创建请求对应的分片数量;若确定请求参数信息未携带有分片创建数量,则可以获取预设的默认分片数量,以作为目标数据创建请求对应的分片数量。
步骤430,所述第一计算节点通过所述目标抽象接口,向所述控制节点发送所述应用服务请求。
作为一个示例,本申请实施例中StarOS为应用提供的最小粒度可以为Shard,StarOS可以将自己的状态映射至Shard上。在需要创建Shard时,应用可以按照需求向StarManager发起创建一定数量的Shard的请求,StarManager创建Shard时,可以为Shard分配计算资源和存储资源;在不需要Shard时,应用可以向StarManager发起删除Shard的请求,StarManager可以依据删除Shard的请求,删除对应的Shard;在需要获取或查询Shard时,应用可以向StarManager发起获取Shard的请求,StarManager可以依据获取Shard的请求,进行Shard查找。
例如,在应用服务请求为分片创建请求的情况下,第一计算节点可以通过目标抽象接口向控制节点发送分片创建请求。如FE Worker可以通过目标抽象接口向StarManager发起创建分片(CreatShard)请求。
又如,在应用服务请求为分片获取请求的情况下,第一计算节点可以通过目标抽象接口向控制节点发送分片获取请求。如FE Worker可以调用StarOS的分片获取接口(GetShardInfo API)向StarManager发起获得Shard信息请求。
步骤440,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果。
具体的,本申请实施例中控制节点接收到应用服务请求后,可以依据应用服务请求进行资源分配处理,得到资源分配结果。
例如,在应用服务请求为分片创建请求的情况下,控制节点可以依据分片创建请求,为分片数据分配对应的储存资源和计算资源,得到资源分配结果。
又如,在应用服务请求为分片获取请求的情况下,控制节点可以依据分片获取请求分配计算资源,以确定目标分片对应的第二计算节点的位置,得到资源分配结果。
可选的,本申请实施例在目标抽象接口包含分片创建请求对应的分片创建接口的情况下,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,具体可以包括以下子步骤:
子步骤4401,通过所述分片创建接口,接收所述分片创建请求。
具体而言,控制节点可以通过分片创建接口,接收第一计算节点发送的分片创建请求,以便后续可以依据分片创建请求进行资源分配。
子步骤4402,依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果。
具体的,本申请实施例中控制节点可以依据分片创建请求,为目标数据创建请求对应的分片数据进行资源分配,得到分片数据对应的资源分配结果。具体而言,控制节点可以基于分片创建请求,确定分片数量,随后可以基于分片数量,确定分片创建请求对应的分片数据,并可以为每一个分片数据分配对应的计算资源和存储资源,得到分片数据对应的资源分配结果。
在一个可选实施例中,本申请实施例依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果,具体可以包括:基于所述分片创建请求携带的分片信息,确定所述目标数据创建请求对应的各个分片数据;分别为每一个所述分片数据分配存储资源和计算资源,得到每一个所述分片数据对应的存储资源分配结果和计算资源分配结果;针对每一个所述分片数据,基于所述存储资源分配结果和计算资源分配结果确定所述资源分配结果。
作为一个示例,StarManager在创建Shard时,可以为Shard分配计算(Worker)资源和存储资源(Storage)。StarManager接收到分片创建请求后,可以基于分片创建请求携带的分片信息确定各个分片数据,即Shard,并可以为每一个Shard分配计算资源和存储资源,得到计算资源分配结果和存储资源分配结果。具体而言,对于计算资源,StarManager可以从Worker中根据预设的分配策略选取合适的Worker;对于存储资源,StarManager可以从自身维护的对象存储或预写日志(Write Ahead Log,WAL)存储资源池中分配存储单元给Shard。计算资源和存储资源分配完毕后,StarManager可以向Shard对应的Worker发送对应的请求,通过该请求将Shard的详细信息发送到Shard对应的Worker上,Worker接收到请求后,可以从请求中提取Shard详细信息并将其维护在本地内存中,后续所有对该Shard的计算均可以在该Worker中处理。
例如,对于存储资源的分配,StarManager可以根据不同的应用场景为Shard分配不同的存储资源,如StarManager可以为Shard分配对象存储,以支持高吞吐、高延迟的应用场景,StarManager还可以为Shard分配日志WAL存储,以支持低延迟的应用场景。具体而言,Storage可以作为StarOS存储,提供对象存储(ObjectStorage)和日志存储(LogStorage)两种存储语义,其中,ObjectStorage类型的储存可以用于提供高吞吐的存储能力,适合大对象的批量写入场景,如在分片数据较大或分片数据存在大批量写入场景的情况下,可以为分片数据分配ObjectStorage类型的储存资源。以图3中的S3为例,对于S3来说为分片数据分配存储资源,即是为分片数据分配存储资源桶(Bucket);LogStorage类型的储存可以用于提供低延迟的追加写入能力,适合小数据量的实时更新场景,如在分片数据需要低延迟的追加写入能力时,即分片数据需要经常实时更新时,可以为分片数据分配LogStorage类型的储存资源。以图3中的中间件(Kafka)为例,对于需要低延时写入的场景,可以为分片数据分配日志存储(Journal Storage)。通过StarOS构建了统一的Storage抽象层,底层存储既支持Cloud Storage带来更好的弹性和更低的成本,也支持本地磁盘构建的Storage以提供最佳的访问性能,StarOS还为计算存储分离型应用提供了不同存储语义,应用可以根据场景选择选择特定的储存语义进行数据存储,从而通过统一的存储抽象,使得开发者开发计算存储分离型应用时无需关注底层存储的实现细节,能更简单的实现计算存储分离型应用的开发。
进一步而言,StarManager为分片数据Shard分配存储资源后,还可以为分片数据Shard分配计算资源。具体而言,StarManager可以将分片数据Shard调度至所分配的Worker上,后续所有针对该Shard的计算均被引导至该Worker。例如,StarManager可以为分片数据分配BE Worker,得到计算资源分配结果。在完成存储资源和计算资源的分配后,StarManager可以针对每一个分片数据,基于存储资源分配结果和计算资源分配结果确定资源分配结果,如可以在储存资源分配结果为存储资源分配成功结果,且计算资源分配结果为计算资源分配成功结果的情况下,确定资源分配结果为资源分配成功结果;在储存资源分配结果为存储资源分配失败结果,或计算资源分配结果为计算资源分配失败结果的情况下,确定资源分配结果为资源分配失败结果,通过StarOS为计算存储分离型应用提供以Shard为核心的编程接口,计算存储分离型应用只需要将自身的状态与Shard建立映射关系即可,后续所有的访问都以Shard为媒介,简化了应用的处理逻辑,是的应用可以无需关注状态的一致性、容错等复杂问题,解决了存储计算分离应用中存在的复杂和通用问题,因而极大简化了构建应用的复杂度,如同单机操作系统出现后给应用开发带来的能力提升一样。
在一个可选实施方式中,控制节点为每一个分片数据分配存储资源和计算资源后,可以将该分片数据对应的第二计算节点以及该分片数据包含的分片详细信息对应的分片标识信息存储至本地。随后控制节点可以调用用于存储该分片数据对应的第二计算节点的分片添加接口,并可以通过该第二计算节点的分片添加接口发起分片添加请求,该分片添加请求可以包含有分片详细信息和分片详细信息对应的分片标识信息,第二计算节点接收到该分片添加请求后,可以从分片添加请求中提取分片详细信息和分片标识信息,并可以将该分片详细信息存储至本地,将分片标识信息存储至本地维护的分片表中,以便用户需要进行分片数据查询时,通过分片表获取分片数据的储存位置,进而读取分片数据。
例如,StarManager可以调用该BE Worker的分片添加接口(AddShard API),通过AddShard API发起添加Shard请求(即分片添加请求),该Shard请求中可以包含Shard详细信息和Shard详细信息对应的Shard ID(即分片标识信息)。BE Worker可以将该Shard信息存储在本地,并可以将该Shard ID记录到Shard表中,向StarManager返回分片存储成功结果。StarManager在接收到BE Worker返回的分片存储成功结果后,可以生成分片创建成功响应信息,以作为应用服务响应信息,通过接口返回给FE Worker。
在一个可选实施方式中,本申请实施例中用户除了可以在需要时创建Shard外,还可以在不需要Shard时,通过StarManager删除Shard。具体而言,用户需要删除Shard时,可以向FE Worker发送目标数据删除请求,FE Worker接收到目标数据删除请求后,FE Worker可以根据目标数据删除请求携带的请求参数信息,确定需要删除的目标数据,如可以是确定需要删除的Shard,随后FE Worker可以通过分片删除接口向StarManager发起删除Shard请求,StarManager接收到删除Shard请求后,可以在内部进行Shard查找,确定待删除的Shard所在的Worker位置,如可以确定待删除的Shard所在的Worker(如可以是BE Worker),并可以向该Worker发起删除Shard请求,Worker接收到删除Shard请求后,可以解析删除Shard请求携带的Shard信息,并可以从本地删除维护的Shard。
子步骤4403,将所述分片数据对应的资源分配结果确定为所述资源分配处理结果。
具体的,在确定分片数据对应的资源分配结果后,可以将该分片数据对应的资源分配结果确定为资源分配处理结果。具体而言,在资源分配结果为资源分配成功结果时,可以将资源分配成功结果确定为资源分配处理结果;在资源分配结果为资源分配失败结果时,可以将资源分配失败结果确定为资源分配处理结果。
可选的,本申请实施例在应用服务请求包含分片获取请求,目标抽象接口包含分片获取请求对应的分片获取接口的情况下,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,具体可以包括以下子步骤:
子步骤4404,通过所述分片获取接口,接收所述分片获取请求。
具体而言,控制节点可以通过分片获取接口,接收第一计算节点发送的分片获取请求,以便后续可以依据分片获取请求进行资源分配,如可以为分片获取请求分配对应的计算资源。
子步骤4405,依据所述分片获取请求携带的分片索引信息,确定目标分片标识信息和所述目标分片标识信息对应的计算节点位置信息。
具体的,分片索引信息可以用于确定分片数据,本申请实施例对此不作限制。控制节点可以依据分片获取请求携带的分片索引信息,确定目标分片标识信息和目标分片标识信息对应的计算节点位置信息。具体而言,控制节点接收到分片获取请求后,可以从分片获取请求中提取分片索引信息,随后可以基于分片索引信息,查找本地存储的分片标识信息,得到分片索引信息对于的分片标识信息,以作为目标分片标识信息,随后可以确定目标分片标识信息对应的计算节点位置信息,如可以根据目标分片标识信息确定对应的第二计算节点。
子步骤4406,基于所述目标分片标识信息和所述计算节点位置信息,生成所述资源分配处理结果。
具体的,本申请实施例控制节点可以基于目标分片标识信息和计算节点位置信息,生成资源分配处理结果。
作为一个示例,FE Worker可以调用StarOS的GetShardInfo API,向StarManager发起获得Shard信息请求,该获得Shard信息请求中可以携带有分片索引信息,StarManager接收到该获得Shard信息请求后,可以从该请求中提取分片索引信息,随后可以基于分片索引信息确定Shard ID和Shard ID对应的BE Worker节点位置信息,随后可以基于Shard ID和BE Worker节点位置信息,生成资源分配处理结果。随后StarManager可以基于资源分配处理结果,向FE Worker返回Shard查询响应信息,以作为应用服务响应信息,该应用服务响应信息中可以包含Shard ID和BE Worker节点位置信息,以便后续FE Worker可以基于该Shard ID和BE Worker节点位置信息,向BE Worker发起查询请求,从而可以触发BE Worker依据查询请求携带的Shard ID查找本地维护的Shard表,确定Shard详细信息的储存位置,并可以将该Shard详细信息的储存位置返回给FE Worker,FE Worker可以根据Shard详细信息的储存位置,读取Shard详细信息,完成查询。当然,BE Worker也可以在确定Shard详细信息的储存位置后,直接根据Shard详细信息的储存位置,读取Shard详细信息,并可以将该Shard详细信息返回给FE Worker,完成查询。通过Starlet为底层存储资源提供了统一的抽象接口,Worker可以通过Starlet提供的接口来访问底层存储系统,Starlet屏蔽了底层不同存储系统的实现细节,应用可以根据需要选择不同的底层存储系统,而无需感知存储细节。
步骤450,所述控制节点基于所述资源分配处理结果,向所述第一计算节点返回所述应用服务响应信息。
例如,在应用服务请求为分片创建请求时,控制节点可以基于资源分配处理结果,向第一计算节点返回应用服务响应信息。如在资源分配处理结果为资源分配失败结果的情况下,向第一计算节点返回应用服务失败响应信息;在资源分配处理结果为资源分配成功结果的情况下,向第一计算节点返回应用服务成功响应信息。
又如,在应用服务请求为分配获取请求时,控制节点可以基于目标分片标识信息和计算节点位置信息,生成资源分配处理结果,并可以向第一计算节点返回所述应用服务响应信息,该应用服务响应信息可以包含计算节点位置信息。
步骤460,依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
具体而言,本申请实施例可以依据应用服务响应信息,确定用户操作请求对应的操作结果,随后可以向用户展示该操作结果。
例如,在用户操作请求为目标数据创建请求,且应用服务响应信息为应用服务成功响应信息的情况下,可以确定分片创建请求对应的操作结果为操作成功结果,随后可以提醒用户当前分片创建成功,并可以显示分片对应的计算节点和存储位置,本示例对此不作限制;在用户操作请求为目标数据创建请求,且应用服务响应信息为应用服务失败响应信息的情况下,可以确定分片创建请求对应的操作结果为操作失败结果,随后可以提醒用户当前分片创建失败,并可以提醒用户分片创建失败原因。
又如,在用户操作请求为分片获取请求的情况下,第一计算节点可以从应用服务响应信息中提取计算节点位置信息,随后可以向计算节点位置信息对应的第二计算节点发送查询请求,第二计算节点可以依据查询请求查询目标分片数据,得到目标分片数据的数据存储位置,随后可以向第一计算节点返回携带有目标分片数据的数据存储位置的查询响应信息。第一计算节点接收到查询响应信息后,可以基于查询响应信息确定目标分片数据的数据存储位置,并可以尝试从目标分片数据的数据存储位置中读取目标分片数据,若成功从目标分片数据的数据存储位置中读取目标分片数据,则可以依据目标分片数据生成操作成功结果,以作为目标数据查询请求对应的操作结果;若未成功从目标分片数据的数据存储位置中读取目标分片数据,则可以依据目标分片数据生成操作失败结果,以作为目标数据查询请求对应的操作结果。
在一个可选实施例中,本申请实施例依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果,具体可以包括:基于所述应用服务响应信息,确定所述分片获取请求对应的目标计算节点;向所述目标计算节点发送所述分片获取请求对应的查询请求;接收所述目标计算节点针对所述查询请求返回的查询响应信息;依据所述查询响应信息携带的存储位置信息,读取目标分片数据;依据所述目标分片数据生成所述操作结果。其中,目标计算节点可以包含BE Worker,本申请实施例对此不做限制。
综上,本申请实施例通过获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,使得第一计算节点可以通过目标抽象接口,向控制节点发送应用服务请求,控制节点依据应用服务请求进行资源分配处理,得到资源分配处理结果,并基于资源分配处理结果,向第一计算节点返回应用服务响应信息,进而依据应用服务响应信息,确定用户操作请求对应的操作结果,通过为存储计算分离型应用提供统一的抽象平台,解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题,降低了存储计算分离应用的开发难度,缩短研发周期,提高应用研发的成功率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。
如图5所示,本申请实施例还提供了一种计算存储分离系统500,包括:
用户操作请求获取模块510,用于获取目标应用程序的用户操作请求;
应用服务请求和目标抽象接口确定模块520,用于依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;
资源分配处理模块530,用于通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;
操作结果确定模块540,用于依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
可选的,应用服务请求和目标抽象接口确定模块,包括:
服务实例启动请求发送子模块,用于通过所述第一计算节点,向所述控制节点发送所述目标应用程序对应的服务实例启动请求;
应用服务请求生成子模块,用于基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求。
可选的,所述计算存储分离系统,还包括:
注册服务请求模块,用于在所述第一计算节点启动时,向所述控制节点发送所述目标应用程序对应的注册服务请求;
记录模块,用于依据所述注册服务请求,记录所述目标应用程序对应的应用实例服务信息,所述应用实例服务信息包含所述服务实例标识信息。
可选的,所述资源分配处理模块,包括:
应用服务请求发送子模块,用于通过所述目标抽象接口,向所述控制节点发送所述应用服务请求;
资源分配处理结果确定子模块,用于依据所述应用服务请求进行资源分配处理,得到资源分配处理结果;
应用服务响应信息返回子模块,用于基于所述资源分配处理结果,向所述第一计算节点返回所述应用服务响应信息。
可选的,所述应用服务请求包含计算节点添加请求,所述目标抽象接口包含所述计算节点添加请求对应的节点添加接口,所述资源分配处理结果确定子模块,包括:
接收单元,用于通过所述节点添加接口,接收所述计算节点添加请求;
计算节点添加信息提取单元,用于从所述计算节点添加请求中提取计算节点添加信息;
第二计算节点添加单元,用于依据所述计算节点添加信息添加第二计算节点;
第一资源分配处理结果生成单元,用于依据所述第二计算节点发送的心跳数据,生成所述资源分配处理结果。
可选的,所述计算节点添加信息包含计算节点地址信息,所述第二计算节点添加单元,包括:
互联网协议地址信息确定子单元,用于将所述计算节点地址信息确定为所述第二计算节点的互联网协议地址信息;
第二计算节点确定子单元,用于控制所述互联网协议地址信息对应的目标服务器开启计算节点进程,得到第二计算节点。
可选的,在所述用户操作请求为目标数据创建请求时,所述应用服务请求生成子模块,包括:
分片数量确定单元,用于基于所述请求参数信息,确定所述目标数据创建请求对应的分片数量;
分片创建请求确定单元,用于依据所述分片数量和所述服务实例标识信息,生成分片创建请求;
应用服务请求确定单元,用于将所述分片创建请求作为所述应用服务请求。
可选的,所述目标抽象接口包含所述分片创建请求对应的分片创建接口,所述资源分配处理结果确定子模块,包括:
分片创建请求接收单元,用于通过所述分片创建接口,接收所述分片创建请求;
资源分配单元,用于依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果;
第二资源分配结果确定单元,用于将所述分片数据对应的资源分配结果确定为所述资源分配处理结果。
可选的,所述资源分配单元,包括:
分片数据确定子单元,用于基于所述分片创建请求携带的分片信息,确定所述目标数据创建请求对应的各个分片数据;
存储计算资源分配结果确定子单元,用于分别为每一个所述分片数据分配存储资源和计算资源,得到每一个所述分片数据对应的存储资源分配结果和计算资源分配结果;
资源分配结果确定子单元,用于针对每一个所述分片数据,基于所述存储资源分配结果和计算资源分配结果确定所述资源分配结果。
可选的,所述应用服务请求包含分片获取请求,所述目标抽象接口包含所述分片获取请求对应的分片获取接口,所述资源分配处理结果确定子模块,包括:
分片获取请求接收单元,用于通过所述分片获取接口,接收所述分片获取请求;
目标分片标识信息确定单元,用于依据所述分片获取请求携带的分片索引信息,确定目标分片标识信息和所述目标分片标识信息对应的计算节点位置信息;
第三资源分配处理结果确定单元,用于基于所述目标分片标识信息和所述计算节点位置信息,生成所述资源分配处理结果。
可选的,所述操作结果确定模块,包括:
目标计算节点确定子模块,用于基于所述应用服务响应信息,确定所述分片获取请求对应的目标计算节点;
查询请求发送子模块,用于向所述目标计算节点发送所述分片获取请求对应的查询请求;
查询响应信息返回子模块,用于接收所述目标计算节点针对所述查询请求返回的查询响应信息;
目标分片数据读取子模块,用于依据所述查询响应信息携带的存储位置信息,读取目标分片数据;
操作结果生成子模块,用于依据所述目标分片数据生成所述操作结果。
需要说明的是,本申请实施例提供的计算存储分离系统可执行本申请任意实施例所提供的计算存储分离方法,具备执行计算存储分离方法相应的功能和有益效果。
在具体实现中,上述计算存储分离系统可以集成在设备中,使得该设备可以依据获取到的用户操作请求,确定应用服务请求和目标抽象接口,进而可以通过目标抽象接口,触发控制节点依据应用服务请求进行资源分配,得到应用服务响应信息,从而可以确定用户操作请求对应的操作结果,以作为电子设备,实现统一管理计算、存储等资源。该电子设备可以是由两个或多个物理实体构成,也可以是一个物理实体构成,如电子设备可以是个人计算机(Personal Computer,PC)、电脑、服务器等,本申请实施例对此不作具体限制。
如图6所示,本申请实施例提供提供了一种电子设备,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信;存储器113,用于存放计算机程序;处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的计算存储分离方法的步骤。示例性的,计算存储分离方法的步骤可以包括如下步骤:获取目标应用程序的用户操作请求;依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的计算存储分离方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种计算存储分离方法,其特征在于,包括:
获取目标应用程序的用户操作请求;
依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;
通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;
依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
2.根据权利要求1所述的方法,其特征在于,所述依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求,包括:
通过所述第一计算节点,向所述控制节点发送所述目标应用程序对应的服务实例启动请求;
基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求。
3.根据权利要求2所述的方法,其特征在于,所述依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口之前,还包括:
在所述第一计算节点启动时,向所述控制节点发送所述目标应用程序对应的注册服务请求;
依据所述注册服务请求,记录所述目标应用程序对应的应用实例服务信息,所述应用实例服务信息包含所述服务实例标识信息。
4.根据权利要求2所述的方法,其特征在于,所述通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息,包括:
所述第一计算节点通过所述目标抽象接口,向所述控制节点发送所述应用服务请求;
所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果;
所述控制节点基于所述资源分配处理结果,向所述第一计算节点返回所述应用服务响应信息。
5.根据权利要求4所述的方法,其特征在于,所述应用服务请求包含计算节点添加请求,所述目标抽象接口包含所述计算节点添加请求对应的节点添加接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述节点添加接口,接收所述计算节点添加请求;
从所述计算节点添加请求中提取计算节点添加信息;
依据所述计算节点添加信息添加第二计算节点;
依据所述第二计算节点发送的心跳数据,生成所述资源分配处理结果。
6.根据权利要求5所述的方法,其特征在于,所述计算节点添加信息包含计算节点地址信息,所述依据所述计算节点添加信息添加第二计算节点,包括:
将所述计算节点地址信息确定为所述第二计算节点的互联网协议地址信息;
控制所述互联网协议地址信息对应的目标服务器开启计算节点进程,得到第二计算节点。
7.根据权利要求4所述的方法,其特征在于,在所述用户操作请求为目标数据创建请求时,所述基于所述请求参数信息和所述控制节点针对所述服务实例启动请求返回的服务实例标识信息,生成应用服务请求,包括:
基于所述请求参数信息,确定所述目标数据创建请求对应的分片数量;
依据所述分片数量和所述服务实例标识信息,生成分片创建请求;
将所述分片创建请求作为所述应用服务请求。
8.根据权利要求7所述的方法,其特征在于,所述目标抽象接口包含所述分片创建请求对应的分片创建接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述分片创建接口,接收所述分片创建请求;
依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果;
将所述分片数据对应的资源分配结果确定为所述资源分配处理结果。
9.根据权利要求8所述的方法,其特征在于,所述依据所述分片创建请求,为所述目标数据创建请求对应的分片数据进行资源分配,得到所述分片数据对应的资源分配结果,包括:
基于所述分片创建请求携带的分片信息,确定所述目标数据创建请求对应的各个分片数据;
分别为每一个所述分片数据分配存储资源和计算资源,得到每一个所述分片数据对应的存储资源分配结果和计算资源分配结果;
针对每一个所述分片数据,基于所述存储资源分配结果和计算资源分配结果确定所述资源分配结果。
10.根据权利要求4所述的方法,其特征在于,所述应用服务请求包含分片获取请求,所述目标抽象接口包含所述分片获取请求对应的分片获取接口,所述控制节点依据所述应用服务请求进行资源分配处理,得到资源分配处理结果,包括:
通过所述分片获取接口,接收所述分片获取请求;
依据所述分片获取请求携带的分片索引信息,确定目标分片标识信息和所述目标分片标识信息对应的计算节点位置信息;
基于所述目标分片标识信息和所述计算节点位置信息,生成所述资源分配处理结果。
11.根据权利要求10所述的方法,其特征在于,所述依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果,包括:
基于所述应用服务响应信息,确定所述分片获取请求对应的目标计算节点;
向所述目标计算节点发送所述分片获取请求对应的查询请求;
接收所述目标计算节点针对所述查询请求返回的查询响应信息;
依据所述查询响应信息携带的存储位置信息,读取目标分片数据;
依据所述目标分片数据生成所述操作结果。
12.一种计算存储分离系统,其特征在于,包括:
用户操作请求获取模块,用于获取目标应用程序的用户操作请求;
应用服务请求和目标抽象接口确定模块,用于依据所述用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和所述应用服务请求对应的目标抽象接口;
资源分配处理模块,用于通过所述目标抽象接口,触发所述第一计算节点对应的控制节点依据所述应用服务请求进行资源分配处理,得到应用服务响应信息;
操作结果确定模块,用于依据所述应用服务响应信息,确定所述用户操作请求对应的操作结果。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一项所述的计算存储分离方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11任一项所述的计算存储分离方法的步骤。
CN202211100744.1A 2022-09-09 2022-09-09 一种计算存储分离方法、系统、电子设备及存储介质 Active CN115168061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211100744.1A CN115168061B (zh) 2022-09-09 2022-09-09 一种计算存储分离方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211100744.1A CN115168061B (zh) 2022-09-09 2022-09-09 一种计算存储分离方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115168061A true CN115168061A (zh) 2022-10-11
CN115168061B CN115168061B (zh) 2022-12-20

Family

ID=83482321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211100744.1A Active CN115168061B (zh) 2022-09-09 2022-09-09 一种计算存储分离方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115168061B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708446A (zh) * 2023-08-03 2023-09-05 山东省计算中心(国家超级计算济南中心) 基于网络性能综合权值决策的算网调度服务方法及系统
CN117376407A (zh) * 2023-10-11 2024-01-09 浙江远算科技有限公司 一种面向工业软件上云场景的存算分离方法、系统和设备
CN117891581A (zh) * 2024-02-02 2024-04-16 易士软件(上海)有限公司 一种操作系统
CN117931811A (zh) * 2024-03-22 2024-04-26 腾讯科技(深圳)有限公司 数据库处理方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337275A1 (en) * 2016-05-17 2017-11-23 International Business Machines Corporation Allocating computing resources
CN107818268A (zh) * 2017-11-15 2018-03-20 中国联合网络通信集团有限公司 大数据平台的访问控制方法及服务器
CN112261115A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 一种资源分配的方法、装置及计算机存储介质
CN114153626A (zh) * 2021-10-29 2022-03-08 深圳市金蝶天燕云计算股份有限公司 一种服务集成过程抽象的方法、装置和计算机设备
CN114490826A (zh) * 2022-01-29 2022-05-13 杭州宇信数字科技有限公司 请求响应方法、数据存储方法、装置、服务器及存储介质
CN114510540A (zh) * 2022-04-19 2022-05-17 北京微芯感知科技有限公司 数据处理方法、计算存储分离系统及区块链网络架构
WO2022143653A1 (zh) * 2020-12-30 2022-07-07 中兴通讯股份有限公司 基于微服务的多云接口适配方法、系统及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337275A1 (en) * 2016-05-17 2017-11-23 International Business Machines Corporation Allocating computing resources
CN107818268A (zh) * 2017-11-15 2018-03-20 中国联合网络通信集团有限公司 大数据平台的访问控制方法及服务器
CN112261115A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 一种资源分配的方法、装置及计算机存储介质
WO2022143653A1 (zh) * 2020-12-30 2022-07-07 中兴通讯股份有限公司 基于微服务的多云接口适配方法、系统及存储介质
CN114153626A (zh) * 2021-10-29 2022-03-08 深圳市金蝶天燕云计算股份有限公司 一种服务集成过程抽象的方法、装置和计算机设备
CN114490826A (zh) * 2022-01-29 2022-05-13 杭州宇信数字科技有限公司 请求响应方法、数据存储方法、装置、服务器及存储介质
CN114510540A (zh) * 2022-04-19 2022-05-17 北京微芯感知科技有限公司 数据处理方法、计算存储分离系统及区块链网络架构

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708446A (zh) * 2023-08-03 2023-09-05 山东省计算中心(国家超级计算济南中心) 基于网络性能综合权值决策的算网调度服务方法及系统
CN116708446B (zh) * 2023-08-03 2023-11-21 山东省计算中心(国家超级计算济南中心) 基于网络性能综合权值决策的算网调度服务方法及系统
CN117376407A (zh) * 2023-10-11 2024-01-09 浙江远算科技有限公司 一种面向工业软件上云场景的存算分离方法、系统和设备
CN117376407B (zh) * 2023-10-11 2024-05-03 浙江远算科技有限公司 一种面向工业软件上云场景的存算分离方法、系统和设备
CN117891581A (zh) * 2024-02-02 2024-04-16 易士软件(上海)有限公司 一种操作系统
CN117931811A (zh) * 2024-03-22 2024-04-26 腾讯科技(深圳)有限公司 数据库处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115168061B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN115168061B (zh) 一种计算存储分离方法、系统、电子设备及存储介质
US12003571B2 (en) Client-directed placement of remotely-configured service instances
JP7221975B2 (ja) マルチマスタ分散データ管理システムにおけるトランザクション処理
CN105723679B (zh) 用于配置节点的系统和方法
US8434081B2 (en) Storage manager for virtual machines with virtual storage
CN111901294A (zh) 一种构建在线机器学习项目的方法及机器学习系统
WO2013055601A1 (en) Discovery-based indentification and migration of easily cloudifiable applications
CN110083455B (zh) 图计算处理方法、装置、介质及电子设备
CN110247984B (zh) 业务处理方法、装置及存储介质
CN102132256A (zh) 使用名称解析来供应虚拟资源
CN102254021A (zh) 基于虚拟机管理系统的数据库构建方法
US10650013B2 (en) Access operation request management
US20240061712A1 (en) Method, apparatus, and system for creating training task on ai training platform, and medium
US11948005B2 (en) Managed integration of constituent services of multi-service applications
CN113849137B (zh) 一种面向申威容器平台的可视化块存储方法和系统
US20140201214A1 (en) Creating a file descriptor independent of an open operation
Xiaoqiang et al. Exploration of cloud computing technologies for geographic information services
CN111274004B (zh) 进程实例管理方法、装置及计算机存储介质
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
US20170371707A1 (en) Data analysis in storage system
CN107203333A (zh) OpenStack云计算平台中块存储自动接入的方法
CN115562590A (zh) 一种云主机使用云硬盘的方法、系统、设备和存储介质
US11870706B2 (en) Method and system for allocating and managing cloud resources
US11656856B2 (en) Optimizing a just-in-time compilation process in a container orchestration system
WO2014132148A1 (en) Identifying and accessing reference data in an in-memory data grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant