CN112764918B - 云平台对可用区进行空间搜索的工作方法 - Google Patents

云平台对可用区进行空间搜索的工作方法 Download PDF

Info

Publication number
CN112764918B
CN112764918B CN202011593568.0A CN202011593568A CN112764918B CN 112764918 B CN112764918 B CN 112764918B CN 202011593568 A CN202011593568 A CN 202011593568A CN 112764918 B CN112764918 B CN 112764918B
Authority
CN
China
Prior art keywords
space
storage
available area
available
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011593568.0A
Other languages
English (en)
Other versions
CN112764918A (zh
Inventor
杨晓凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saiyun network technology (Shanghai) Co.,Ltd.
Original Assignee
Saiyun Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saiyun Network Technology Shanghai Co ltd filed Critical Saiyun Network Technology Shanghai Co ltd
Priority to CN202011593568.0A priority Critical patent/CN112764918B/zh
Publication of CN112764918A publication Critical patent/CN112764918A/zh
Application granted granted Critical
Publication of CN112764918B publication Critical patent/CN112764918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022Mechanisms to release resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种云平台对可用区进行空间搜索的工作方法,包括如下步骤:S1,部署容器在云平台上,通过容器获取可用区的地理位置,将标注地理位置的可用区进行空间搜索;S2,空间搜索完毕后,建立标注地理位置的可用区的存储函数信息。

Description

云平台对可用区进行空间搜索的工作方法
技术领域
本发明涉及云平台技术领域,尤其涉及一种云平台对可用区进行空间搜索的工作方法。
背景技术
由于企业上云需求强烈,在云平台和容器之间用户能够进行多元选择,而随着容器技术不断完善和成熟,用于将云平台的相关业务运行在容器时,容器技术本身的存储机制导致容器在空间使用率和空间判断过程中无法满足用户的实际需求,所以在云平台中通过容器对多个位置的独立地理区域的可用区进行空间搜索分配就非常必要,这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种云平台对可用区进行空间搜索的工作方法。
为了实现本发明的上述目的,本发明提供了一种云平台对可用区进行空间搜索的工作方法,其特征在于,包括如下步骤:
S1,部署容器在云平台上,通过容器获取可用区的地理位置,将标注地理位置的可用区进行空间搜索;
S2,空间搜索完毕后,建立标注地理位置的可用区的存储函数信息。
优选的,所述S1包括:
S1-1,获取云平台的分布情况,部署的容器实施获取可用区的地理位置信息,对于可用区相应的存储空间、存储数据交互响应时间和存储数据分类信息进行实时反馈;
S1-2,根据可用区的存储空间进行空间搜索,确定可用区的地理位置信息,设置地理位置信息position,该地理位置的可用区空间型号size,存储信息更新请求次数N,迭代因子R,存储层级R。
优选的,所述S1包括:
S1-3,对存储层级R进行初始化:在每个存储层级输入存储序列从而形成该地理位置的可用区存储空间型号size,通过地理位置信息position对该地理位置的可用区存储空间型号size进行标注,在该存储层级执行存储信息更新S次的过程,形成初始存储层级种指令序列;
S1-4,根据存储指令中存储类型和可用区存储层级不同,存储所述存储指令中存储类型和可用区存储层级对应的堆栈地址;根据可用区空间型号size和地理位置信息position,将存储类型和可用区存储层级对应的堆栈地址进行函数地址和函数堆栈的进程引用;实现可用区存储空间执行的所述函数地址和函数堆栈的标记形式映射,根据所述标记形式映射的目的指针对应可用区空间型号size对应。
优选的,所述S1包括:
S1-5,形成空间压缩函数,设置s∈{1,2,3,…,Size};令该地理位置可用区存储空间数量和可用区存储空间型号数量相等Mposition=Ms,其中s为序号,地理位置信息position,存储空间级别按照从小到大顺序排列level∈{1,2,3,......N},level≠s,存储空间压缩量Klevel∈{1,2,…,volume},volume为存储空间;由于存储文件的特殊性,不同的文件执行不同的压缩比,对存储空间做压缩操作,令Mpositionω/Klevel=H可用区存储空间压缩函数,ω为存储空间压缩因子;
S1-6,使用空间压缩函数映射可用区的函数堆栈;将空间压缩函数映射到可用区空间的对应地址,对空闲空间进行标注。
优选的,所述S2包括:
S2-1,通过空闲空间标注,并对标注的空间进行个体测试;判断是否为有效的空闲空间;如果为有效的空闲空间执行S2-2,如果无效则重新进行空闲空间标注,S2-2,对有效空闲空间中每个空间生成标注数range1,range2,…,rangen
S2-3,根据空间区域容量计算对应标注数的空间能量,E(range1)至E(rangen);
S2-4,对E(range1)至E(rangen)进行空间能量大小排序;保持空间能量E(range1)大于E(rangen)。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
通过容器遍历云平台的可用区的存储空间位置,并进行合理的数据存储保存和数据调用,能够更加高效的进行数据在可用区的存储调用,从而弹性伸缩存储数据和使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序,从而保证容器中应用业务高峰并发时请求时,对于存储空间的高可用性需求;业务处于低谷时回收资源的最小成本运行服务。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明总体示意图;
图2是本发明空间分配示意图;
图3是本发明空间搜索示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
如图1至3所示,本发明公开一种云平台对可用区进行空间搜索的工作方法,包括如下步骤:
S1,部署容器在云平台上,通过容器获取可用区的地理位置,将标注地理位置的可用区进行空间搜索;
S1-1,获取云平台的分布情况,部署的容器实施获取可用区的地理位置信息,对于可用区相应的存储空间、存储数据交互响应时间和存储数据分类信息进行实时反馈;
S1-2,根据可用区的存储空间进行空间搜索,确定可用区的地理位置信息,设置地理位置信息position,该地理位置的可用区空间型号size,存储信息更新请求次数N,迭代因子R,存储层级R,
S1-3,对存储层级R进行初始化:在每个存储层级输入存储序列从而形成该地理位置的可用区存储空间型号size,通过地理位置信息position对该地理位置的可用区存储空间型号size进行标注,在该存储层级执行存储信息更新S次的过程,形成初始存储层级种指令序列;
S1-4,根据存储指令中存储类型和可用区存储层级不同,存储所述存储指令中存储类型和可用区存储层级对应的堆栈地址;根据可用区空间型号size和地理位置信息position,将存储类型和可用区存储层级对应的堆栈地址进行函数地址和函数堆栈的进程引用;实现可用区存储空间执行的所述函数地址和函数堆栈的标记形式映射,根据所述标记形式映射的目的指针对应可用区空间型号size对应;
S1-5,形成空间压缩函数,设置s∈{1,2,3,…,Size};令该地理位置可用区存储空间数量和可用区存储空间型号数量相等Mposition=Ms,其中s为序号,地理位置信息position,存储空间级别按照从小到大顺序排列level∈{1,2,3,......N},level≠s,存储空间压缩量Klevel∈{1,2,…,volume},volume为存储空间;由于存储文件的特殊性,不同的文件执行不同的压缩比,对存储空间做压缩操作,令Mpositionω/Klevel=H可用区存储空间压缩函数,ω为存储空间压缩因子;
S1-6,使用空间压缩函数映射可用区的函数堆栈;将空间压缩函数映射到可用区空间的对应地址,对空闲空间进行标注。
S2,空间搜索完毕后,建立标注地理位置的可用区的存储函数信息;
S2-1,通过空闲空间标注,并对标注的空间进行个体测试;判断是否为有效的空闲空间;如果为有效的空闲空间执行S2-2,如果无效则重新进行空闲空间标注,
S2-2,对有效空闲空间中每个空间生成标注数range1,range2,…,rangen
S2-3,根据空间区域容量计算对应标注数的空间能量,E(range1)至E(rangen);
S2-4,对E(range1)至E(rangen)进行空间能量大小排序;保持空间能量E(range1)大于E(rangen);
如图2和3所示,在存储空间分配过程中设置双区进行资源配置,例如:设置A区和B区;通过对可用区进行分类操作,设置主区(Master)和从区(Node),分别称为一级存储区的主区和二级存储区的从区进行空间分配;
S3,根据存储函数信息对可用区的存储空间进行存储分类;
S3-1,在存储分类过程中,读入中间空间目标参数中的指引信息,建立指引链表,在指引链表中包含存储分类的指引信息;
S3-2,根据指引信息建立分类空间链表,根据指引信息以及空间地址信息设置的分类空间信息,记录每一个空闲存储空间信息,并将空闲存储空间指向相应的分类空间链表中;
S3-3,遍历分类空间链表,如果记录的分类空间链表个数大于1,从分配的空闲存储空间中找得合适的存储块进行相应的分类准备;将进行分类准备的存储块从分类空间链表中进行预留;对预留的分类空间链表记录空闲空间数据;
S3-4,建立分类调用关系,为多个分类空间链表调用的空闲空间静态数据分配只读空闲存储空间;然后从每个分类空间链表的根目录开始,以分类空间链表为单位调用局部非静态数据分配可被覆盖空闲存储空间;进行遍历分类空间链表过程中,记录被调用的根目录的属性名,建立链表索引;根据形成的索引找出每个空闲存储空间的根目录,从每一个根目录开始形成分类调用关系,通过在被调用的根目录的属性名中记录分类空间链表的根目录的编号,来确定该根目录是否被多个分类空间链表调用,并确定分类的空闲存储空间;
S4,存储分类完毕之后,将可用区中存储信息进行数据迁移,完成空间分配;
S4-1,每次确定完成空闲存储空间后,调用分类空间链表,检查空闲空间根目录的分类空间链表;如果当前空闲空间根目录已经分配完成分类空间列表,则结束执行空间分配迁移操作;如果当前空闲空间根目录未分配完成分类空间列表,将当前可分配空闲存储空间链表生成链表副本,在链表副本中进行空间数据分配操作;
S4-2,空间数据分配操作是从当前分类空间链表中查找是否有被当前直接或间接调用的空闲存储空间信息,如果有空闲存储空间信息,则将其与当前待分配的空闲存储空间信息生成链表副本中重合的部分填入一个新建的临时可读写数据的存储空间链表中;
S4-3,从当前待分配数据存储空间链表副本中删除生成的临时可读写数据存储空间链表中记录的所有的存储空间,在剩余的存储空间中为当前直接或间接调用的空闲存储空间信息,将相关存储空间分配信息录入当前临时可读写数据的存储空间链表中,并将当前分配的存储空间从当前待分配数据存储空间链表副本中去除;
S4-4,进行存储空间分配操作后的当前待分配数据存储空间链表副本作为当前待分配数据存储空间列表,然后递归执行S4-1至S4-3,为当前需要调用的未进行数据存储空间列表分配合适的空闲存储空间,直到当前未进行数据存储空间链表迁移的部分中所有的可分配空闲存储空间链表分配了空间存储位置为止;遍历当前可分配空闲存储空间链表已分配的空间存储位置,合并整理出当前已使用分配的存储空间,从待分配数据存储空间链表中去除该部分数据空间;
S4-5,如果还有未进行迁移的待分配数据存储空间链表,继续在待分配数据存储空间链表中进行分配;为了避免重复迁移待分配存储数据存储空间列表,覆盖其直接或间接调用的空闲存储空间信息,为每个空闲存储空间建立待分配存储数据存储空间列表,确保不会产生不合法的空间迁移;位于同一待分配数据存储空间链表上的相互之间具有调用关系的存储空间之间不能互相覆盖,位于不同待分配数据存储空间链表的任意两个空闲存储空间之间不能互相覆盖。
本发明有益效果为:通过容器遍历云平台的可用区的存储空间位置,并进行合理的数据存储保存和数据调用,能够更加高效的进行数据在可用区的存储调用,从而弹性伸缩存储数据和使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序,从而保证容器中应用业务高峰并发时请求时,对于存储空间的高可用性需求;业务处于低谷时回收资源的最小成本运行服务。
从而对于容器中服务发现和负载均衡起到良好的协调作用,负载均衡关联的所有容器,在云平台上完成数据的快速存储和运算。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (1)

1.一种云平台对可用区进行空间搜索的工作方法,其特征在于,包括如下步骤:
S1,部署容器在云平台上,通过容器获取可用区的地理位置,将标注地理位置的可用区进行空间搜索;
所述S1包括:
S1-1,获取云平台的分布情况,部署的容器实施获取可用区的地理位置信息,对于可用区相应的存储空间、存储数据交互响应时间和存储数据分类信息进行实时反馈;
S1-2,根据可用区的存储空间进行空间搜索,确定可用区的地理位置信息,设置地理位置信息position,该地理位置的可用区空间型号size,存储信息更新请求次数N,迭代因子R,存储层级R;
S1-3,对存储层级R进行初始化:在每个存储层级输入存储序列从而形成该地理位置的可用区存储空间型号size,通过地理位置信息position对该地理位置的可用区存储空间型号size进行标注,在该存储层级执行存储信息更新S次的过程,形成初始存储层级种指令序列;
S1-4,根据存储指令中存储类型和可用区存储层级不同,存储所述存储指令中存储类型和可用区存储层级对应的堆栈地址;根据可用区空间型号size和地理位置信息position,将存储类型和可用区存储层级对应的堆栈地址进行函数地址和函数堆栈的进程引用;实现可用区存储空间执行的所述函数地址和函数堆栈的标记形式映射,根据所述标记形式映射的目的指针对应可用区空间型号size对应;
S1-5,形成空间压缩函数,设置s∈{1,2,3,…,size };令该地理位置可用区存储空间数量和可用区存储空间型号数量相等Mposition=Ms,其中s为序号,地理位置信息position,存储空间级别按照从小到大顺序排列level∈{1,2,3,......N},level ≠s,存储空间压缩量Klevel∈{1,2,…,volume},volume为存储空间;由于存储文件的特殊性,不同的文件执行不同的压缩比,对存储空间做压缩操作,令Mpositionω/Klevel=H作为可用区存储空间压缩函数,ω为存储空间压缩因子;
S1-6,使用空间压缩函数映射可用区的函数堆栈;将空间压缩函数映射到可用区空间的对应地址,对空闲空间进行标注;
S2,空间搜索完毕后,建立标注地理位置的可用区的存储函数信息;
所述S2包括:
S2-1,通过空闲空间标注,并对标注的空间进行个体测试;判断是否为有效的空闲空间;如果为有效的空闲空间执行S2-2,如果无效则重新进行空闲空间标注,
S2-2,对有效空闲空间中每个空间生成标注数range1,range2,…,rangen
S2-3,根据空间区域容量计算对应标注数的空间能量,E(range1)至E(rangen);
S2-4,对E(range1)至E(rangen)进行空间能量大小排序;保持空间能量E(range1)大于E(rangen)。
CN202011593568.0A 2020-12-29 2020-12-29 云平台对可用区进行空间搜索的工作方法 Active CN112764918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593568.0A CN112764918B (zh) 2020-12-29 2020-12-29 云平台对可用区进行空间搜索的工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593568.0A CN112764918B (zh) 2020-12-29 2020-12-29 云平台对可用区进行空间搜索的工作方法

Publications (2)

Publication Number Publication Date
CN112764918A CN112764918A (zh) 2021-05-07
CN112764918B true CN112764918B (zh) 2022-02-18

Family

ID=75696931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593568.0A Active CN112764918B (zh) 2020-12-29 2020-12-29 云平台对可用区进行空间搜索的工作方法

Country Status (1)

Country Link
CN (1) CN112764918B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592160A (zh) * 2015-12-30 2016-05-18 南京邮电大学 一种云计算环境下面向服务消费者的资源配置方法
CN108737591A (zh) * 2018-05-22 2018-11-02 华为技术有限公司 一种服务配置的方法及装置
CN110209498A (zh) * 2019-05-30 2019-09-06 浙江运达风电股份有限公司 基于私有云的跨可用区资源调度方法
CN111683139A (zh) * 2020-06-05 2020-09-18 北京百度网讯科技有限公司 用于均衡负载的方法和装置
CN111782930A (zh) * 2019-11-08 2020-10-16 北京京东尚科信息技术有限公司 多云管理方法及装置、计算机可存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567080B (zh) * 2012-01-04 2015-03-04 北京航空航天大学 一种云计算环境中的面向负载均衡的虚拟机择位系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592160A (zh) * 2015-12-30 2016-05-18 南京邮电大学 一种云计算环境下面向服务消费者的资源配置方法
CN108737591A (zh) * 2018-05-22 2018-11-02 华为技术有限公司 一种服务配置的方法及装置
CN110209498A (zh) * 2019-05-30 2019-09-06 浙江运达风电股份有限公司 基于私有云的跨可用区资源调度方法
CN111782930A (zh) * 2019-11-08 2020-10-16 北京京东尚科信息技术有限公司 多云管理方法及装置、计算机可存储介质
CN111683139A (zh) * 2020-06-05 2020-09-18 北京百度网讯科技有限公司 用于均衡负载的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算在央行支付系统的应用研究;广州银行电子结算中心课题组;《金融科技时代》;20201030;第2020年卷(第10期);全文 *

Also Published As

Publication number Publication date
CN112764918A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US9740706B2 (en) Management of intermediate data spills during the shuffle phase of a map-reduce job
Shoshani et al. Storage resource managers: Essential components for the grid
US7127445B2 (en) Data mapping management apparatus
US6865585B1 (en) Method and system for multiprocessor garbage collection
CN103229173B (zh) 元数据管理方法及系统
CN103942011B (zh) 一种差量快照系统及其使用方法
CN112565325B (zh) 镜像文件管理方法、装置及系统、计算机设备、存储介质
CN110413201A (zh) 用于管理存储系统的方法、设备和计算机程序产品
JP5437238B2 (ja) リソースにアクセスするための方法
CN105808323A (zh) 一种虚拟机创建方法及系统
US20140149475A1 (en) Managing distributed storage quotas
Bender et al. Exponential structures for efficient cache-oblivious algorithms
JP2010122814A (ja) ストレージシステム及びストレージシステムの運用方法
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
US20050234966A1 (en) System and method for managing supply of digital content
CN113190529A (zh) 一种适用MongoDB数据库的多租户数据共享存储系统
CN115168061B (zh) 一种计算存储分离方法、系统、电子设备及存储介质
CN113535330A (zh) 一种基于节点评价函数的超融合系统数据本地化存储方法
CN108073352A (zh) 虚拟磁盘处理方法及装置
CN105991478A (zh) 服务器资源分配方法及其系统
CN106406762A (zh) 一种重复数据删除方法及装置
CN103605728A (zh) 一种数据分级存储方法及系统
CN101620515A (zh) 一种增强逻辑盘卷管理功能的方法
CN109150964A (zh) 一种可迁移的数据管理方法及服务迁移方法
EP4185963B1 (en) Zone hints for zoned namespace storage devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220114

Address after: Room 506, 5 / F, Lane 600, Yunling West Road, Putuo District, Shanghai

Applicant after: Saiyun network technology (Shanghai) Co.,Ltd.

Address before: 402160 27-6 6 Xinglong Avenue, Yongchuan District, Chongqing, 27-6.

Applicant before: Chongqing Zhenni thinking Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant