CN115510292B - 一种分布式存储系统树搜索管理方法、装置、设备及介质 - Google Patents

一种分布式存储系统树搜索管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN115510292B
CN115510292B CN202211458747.2A CN202211458747A CN115510292B CN 115510292 B CN115510292 B CN 115510292B CN 202211458747 A CN202211458747 A CN 202211458747A CN 115510292 B CN115510292 B CN 115510292B
Authority
CN
China
Prior art keywords
index
node
value
storage
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211458747.2A
Other languages
English (en)
Other versions
CN115510292A (zh
Inventor
姚军
陈适
黄虹兵
常春
陈昌辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Original Assignee
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hantang Cloud Distributed Storage Technology Co ltd filed Critical Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority to CN202211458747.2A priority Critical patent/CN115510292B/zh
Publication of CN115510292A publication Critical patent/CN115510292A/zh
Application granted granted Critical
Publication of CN115510292B publication Critical patent/CN115510292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9027Trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储系统树搜索管理方法、装置、设备及介质,涉及分布式存储技术领域。所述方法是先根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,确定所有存储设备在各个指标维度上的设备分类结果及价值评分数值,然后在收到来自用户终端的数据存储请求时,直接基于这些设备分类结果及价值评分数值进行树搜索,找到最合适存储设备的路由信息反馈给所述用户终端,如此在面对海量的存储设备时,可无需遍历每一个存储设备的设备信息,实现节省查找所需时间的目的,进而可利于快速响应数据存储请求,提升用户体验,便于实际应用和推广。

Description

一种分布式存储系统树搜索管理方法、装置、设备及介质
技术领域
本发明属于分布式存储技术领域,具体涉及一种分布式存储系统树搜索管理方法、装置、设备及介质。
背景技术
分布式存储是一种数据存储技术,可通过网络使用企业中每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,进而使数据分散地存储在企业中各个角落。在分布式存储系统中,若收到来自用户终端的数据存储请求,需要针对该数据存储请求中的数据存储任务分配合适的存储设备,以便用户终端将与该数据存储任务对应的待存数据传送至分配的存储设备进行存储。
目前在现有存储管理技术中,响应请求并分配合适存储设备的具体方式是:在每收到一次数据存储请求时,就遍历在分布式存储系统中所有存储设备的指标参数和/或存储状态等设备信息,然后根据这些设备信息择优确定合适的存储设备。但是随着分布式存储系统的不断扩展,当面对海量的存储设备时,若仍采用前述方式将导致找到合适设备的所需时间过长,不利于快速响应数据存储请求,会影响用户体验。
发明内容
本发明的目的是提供一种分布式存储系统树搜索管理方法、装置、计算机设备及计算机可读存储介质,用以解决现有存储管理技术在面对海量的存储设备时,存在找到合适设备的所需时间过长以及不利于快速响应数据存储请求的问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面,提供了一种分布式存储系统树搜索管理方法,包括:
根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分;
针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应;
在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应;
在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度;
从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值;
根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备;
将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
基于上述发明内容,提供了一种基于树搜索算法从海量存储设备中确定适配设备的新方案,即先根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,确定所有存储设备在各个指标维度上的设备分类结果及价值评分数值,然后在收到来自用户终端的数据存储请求时,直接基于这些设备分类结果及价值评分数值进行树搜索,找到最合适存储设备的路由信息反馈给所述用户终端,如此在面对海量的存储设备时,可无需遍历每一个存储设备的设备信息,实现节省查找所需时间的目的,进而可利于快速响应数据存储请求,提升用户体验,便于实际应用和推广。
在一个可能的设计中,所述多个评价指标包含有设备厂商评分、设备型号评分、设备吞吐能力指标、设备响应时间、设备可用性指标和设备负载均衡性指标中的任意一个或它们的任意组合,其中,所述设备可用性指标是指设备停服务的总历史时长与设备正常服务的总历史时长的比值,所述设备负载均衡性指标是指存储设备的当前存储负载率与所述所有存储设备的当前存储负载率平均值的差值,所述设备厂商评分、所述设备型号评分和所述设备吞吐能力指标分别为正向型指标,所述设备响应时间、所述设备可用性指标和所述设备负载均衡性指标分别为负向型指标。
在一个可能的设计中,根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分,包括:
获取在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值;
针对所述各个评价指标,对在所述所有存储设备中各个存储设备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化指标值;
针对所述各个评价指标,按照如下公式计算得到对应的熵值:
Figure DEST_PATH_IMAGE001
式中,
Figure 767656DEST_PATH_IMAGE002
表示正整数,
Figure DEST_PATH_IMAGE003
表示在所述多个评价指标中第
Figure 809561DEST_PATH_IMAGE002
个评价指标的熵值,
Figure 418266DEST_PATH_IMAGE004
表示求自然对数的函数,
Figure DEST_PATH_IMAGE005
Figure 280568DEST_PATH_IMAGE006
分别表示正整数,
Figure DEST_PATH_IMAGE007
表示所述所有存储设备的设备总数,
Figure 545196DEST_PATH_IMAGE008
表示在所述所有存储设备中第
Figure 108901DEST_PATH_IMAGE005
个存储设备在所述第
Figure 775375DEST_PATH_IMAGE002
个评价指标上的归一化指标 值,
Figure DEST_PATH_IMAGE009
表示在所述所有存储设备中第
Figure 884276DEST_PATH_IMAGE006
个存储设备在所述第
Figure 713166DEST_PATH_IMAGE002
个评价指标上的归一化指 标值;
针对所述各个评价指标,按照如下公式计算得到对应的权重系数:
Figure 628032DEST_PATH_IMAGE010
式中,
Figure DEST_PATH_IMAGE011
表示所述第
Figure 493220DEST_PATH_IMAGE002
个评价指标的权重系数,
Figure 100919DEST_PATH_IMAGE012
表示正整数,
Figure DEST_PATH_IMAGE013
表示所述多个 评价指标的指标总数,
Figure 871297DEST_PATH_IMAGE014
表示在所述多个评价指标中第
Figure 45314DEST_PATH_IMAGE012
个评价指标的熵值;
按照如下公式计算得到所述各个存储设备在所述各个评价指标上的价值评分:
Figure DEST_PATH_IMAGE015
式中,
Figure 158151DEST_PATH_IMAGE016
表示所述第
Figure 123702DEST_PATH_IMAGE005
个存储设备在所述第
Figure 928847DEST_PATH_IMAGE002
个评价指标上的价值评分。
在一个可能的设计中,针对所述各个评价指标,对在所述所有存储设备中各个存储设备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化指标值,包括:
针对所述各个评价指标,若对应指标为正向型指标,则按照公式
Figure DEST_PATH_IMAGE017
计算得到在所述所有存储设备中的各个存储设备 在对应指标上的归一化指标值,而若对应指标为负向型指标,则按照公式
Figure 169204DEST_PATH_IMAGE018
计算得到所述各个存储设备在对应指标上的归一 化指标值,其中,
Figure 477826DEST_PATH_IMAGE005
表示正整数,
Figure DEST_PATH_IMAGE019
表示在所述所有存储设备中第
Figure 348699DEST_PATH_IMAGE005
个存储设备在对应指标 上的原始指标值,
Figure 375561DEST_PATH_IMAGE020
表示所述所有存储设备在对应指标上的原始指标最大值,
Figure DEST_PATH_IMAGE021
表示 所述所有存储设备在对应指标上的原始指标最小值,
Figure 614082DEST_PATH_IMAGE022
表示所述第
Figure 42790DEST_PATH_IMAGE005
个存储设备在对应指 标上的归一化指标值,
Figure DEST_PATH_IMAGE023
表示在区间
Figure 881302DEST_PATH_IMAGE024
内取值的第一小数,
Figure DEST_PATH_IMAGE025
表示在区间
Figure 67563DEST_PATH_IMAGE026
内取值的第二小数,并且有
Figure DEST_PATH_IMAGE027
在一个可能的设计中,根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,包括有如下步骤S40~S49:
S40.将总探索次数初始化为零;
S41.以所述根节点为当前节点,并判断当前节点是否为叶结点,若是,则执行步骤S42,否则执行步骤S46;
S42.根据在首个指标维度上的至少一个设备类别,确定在所述首个指标维度上的至少一个分类,然后执行步骤S43,其中,所述首个指标维度是指在所述K个指标维度中与位于最上层的非根节点层对应的指标维度;
S43.在当前节点下创建与所述至少一个分类一一对应的至少一个子节点,然后执行步骤S44,其中,所述至少一个子节点中各个子节点的当前探索次数在创建时初始化为0;
S44.从所述至少一个子节点中任选一个子节点作为新的当前节点,然后执行步骤S45;
S45.针对当前节点,将与对应的分类对应的价值评分数值作为对应的价值的初始值,以及使对应的当前探索次数自加1,以及使所述总探索次数自加1,以及使对应的各个路径节点的当前价值自加该初始值和当前探索次数自加1,然后返回执行步骤S41,其中,所述对应的各个路径节点是指位于从对应子节点至所述根节点的路径上的各个中间节点;
S46.从当前节点的所有子节点中选择具有最大置信上限值的子节点,并将该子节点作为新的当前节点,然后执行步骤S47,其中,按照如下公式计算所述所有子节点中各个子节点的置信上限值:
Figure 446461DEST_PATH_IMAGE028
式中,
Figure DEST_PATH_IMAGE029
表示正整数,
Figure 667358DEST_PATH_IMAGE030
表示所述所有子节点中第
Figure DEST_PATH_IMAGE031
个子节点的置信上限值,
Figure 207929DEST_PATH_IMAGE032
表示所述第
Figure 943804DEST_PATH_IMAGE029
个子节点的当前价值,
Figure DEST_PATH_IMAGE033
表示所述第
Figure 270268DEST_PATH_IMAGE031
个子节点的当前探索次数,
Figure 673567DEST_PATH_IMAGE034
表示预设 的系数,
Figure DEST_PATH_IMAGE035
表示所述总探索次数的当前值;
S47.判断当前节点是否为叶结点,若是,则执行步骤S48,否则执行步骤S46;
S48.判断当前节点的当前探索次数是否为0,若是,则执行步骤S45,否则执行步骤S49;
S49.判断当前节点的所在节点层是否为位于最下层的非根节点层,若是,则结束扩展,得到树结构,否则根据在下一个指标维度上的至少一个设备类别,确定在当前分类下的且在所述下一个指标维度上的至少一个分类,然后执行步骤S43,其中,所述下一个指标维度是指在所述K个指标维度中与下一个非根节点层对应的指标维度,所述下一个非根节点层是指在所述K个非根节点层中位于所述当前节点的所在节点层之下的一个节点层,所述当前分类是指与当前节点对应的分类。
在一个可能的设计中,所述数据存储请求中还携带有用户指定的所述K个评价指标或所述K个评价指标的排序。
在一个可能的设计中,在得到树结构之后,所述方法还包括:
从所述树结构中查找出贯穿所述K个非根节点层的备用节点路径分支,其中,所述备用节点路径分支中位于最下层的非根节点和所述目标节点路径分支中位于最下层的非根节点属于同一父节点;
根据与所述备用节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定备用存储设备;
将所述备用存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述备用存储设备进行存储。
第二方面,提供了一种分布式存储系统树搜索管理装置,包括有价值评分计算模块、存储设备分类模块、树层结构创建模块、树结构扩展模块、路径分支查找模块、目标设备确定模块和路由信息反馈模块;
所述价值评分计算模块,用于根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分;
所述存储设备分类模块,通信连接所述价值评分计算模块,用于针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应;
所述树层结构创建模块,用于在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应;
所述树结构扩展模块,分别通信连接所述存储设备分类模块和所述树层结构创建模块,用于在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度;
所述路径分支查找模块,通信连接所述树结构扩展模块,用于从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值;
所述目标设备确定模块,通信连接所述路径分支查找模块,用于根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备;
所述路由信息反馈模块,通信连接所述目标设备确定模块,用于将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
第三方面,本发明提供了一种计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意可能设计所述的分布式存储系统树搜索管理方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意可能设计所述的分布式存储系统树搜索管理方法。
第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面或第一方面中任意可能设计所述的分布式存储系统树搜索管理方法。
上述方案的有益效果:
(1)本发明创造性提供了一种基于树搜索算法从海量存储设备中确定适配设备的新方案,即先根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,确定所有存储设备在各个指标维度上的设备分类结果及价值评分数值,然后在收到来自用户终端的数据存储请求时,直接基于这些设备分类结果及价值评分数值进行树搜索,找到最合适存储设备的路由信息反馈给所述用户终端,如此在面对海量的存储设备时,可无需遍历每一个存储设备的设备信息,实现节省查找所需时间的目的,进而可利于快速响应数据存储请求,提升用户体验;
(2)还可以查找到次适配的备用存储设备,以便在目标存储设备数量不足或不可用时,能够用该备用存储设备的路由信息来满足数据存储请求,进一步提升适用性,便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的分布式存储系统树搜索管理方法的流程示意图。
图2为本申请实施例提供的树结构的示例图。
图3为本申请实施例提供的分布式存储系统树搜索管理装置的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
应当理解,尽管本文可能使用术语第一和第二等等来描述各种对象,但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、单独存在B或者同时存在A和B等三种情况;又例如,A、B和/或C,可以表示存在A、B和C中的任意一种或他们的任意组合;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A或者同时存在A和B等两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
实施例:
如图1所示,本实施例第一方面提供的所述分布式存储系统树搜索管理方法,可以但不限于由具有一定计算资源的计算机设备执行,例如由平台服务器、个人计算机(Personal Computer,PC,指一种大小、价格和性能适用于个人使用的多用途计算机;台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal Digital Assistant,PDA)或可穿戴设备等电子设备执行。如图1所示,所述分布式存储系统树搜索管理方法,可以但不限于包括有如下步骤S1~S7。
S1.根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分。
在所述步骤S1中,所述多个评价指标包含但不限于有设备厂商评分、设备型号评分、设备吞吐能力指标、设备响应时间、设备可用性指标和设备负载均衡性指标等中的任意一个或它们的任意组合。所述设备厂商评分是指消费者对存储设备的生产厂商的评价结果,其可以通过常规的市场调查提前得到;由于所述设备厂商评分越高,对应的存储设备越适合作为分配目标,因此其为正向型指标。所述设备型号评分是指消费者对存储设备的产品型号的评价结果,其也可以通过常规的市场调查提前得到;由于所述设备型号评分越高,对应的存储设备越适合作为分配目标,因此其也为正向型指标。所述设备吞吐能力指标是常见的设备性能指标,例如具体是指设备在某一段时间可以处理的请求总数,通常用每秒处理的读操作数或写操作数来衡量,其可以通过常规测试手段提前得到;由于所述设备吞吐能力指标的指标值越高,对应的存储设备越适合作为分配目标,因此其也为正向型指标。所述设备响应时间也是常见的设备性能指标,例如具体是指从请求接收时刻到响应反馈时刻之间的时长,通常用平均延时或者99.9%以上请求的最大延时来衡量,其可以通过常规测试手段提前得到;由于所述设备响应时间越短,对应的存储设备越适合作为分配目标,因此其为负向型指标。所述设备可用性指标是指设备停服务的总历史时长与设备正常服务的总历史时长的比值,其可以通过常规监测手段和统计分析手段提前得到;由于所述设备可用性指标的指标值越小,对应的存储设备越适合作为分配目标,因此其也为负向型指标。所述设备负载均衡性指标是指存储设备的当前存储负载率(即当前已存储空间大小与总存储空间大小的比值)与所述所有存储设备的当前存储负载率平均值的差值,其可以通过常规存储管理手段实时更新;由于所述设备负载均衡性指标的指标值越小,表明对应设备的当前存储负载率还未达到平均水平,出于负载均衡目的,对应的存储设备越适合作为分配目标,因此其也为负向型指标。由于所述各个评价指标在参与设备分配时具有各自的正向性或负向性,因此可以根据所述所有存储设备在所述各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分,具体包括但不限于有如下步骤S11~S16。
S11.获取在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值。
S12.针对所述各个评价指标,对在所述所有存储设备中各个存储设备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化指标值。
在所述步骤S12中,由于所述多个评价指标中有些评价指标是无单位的,而又有些 评价指标是有不同量纲单位的,为了后续能够统一进行计算,因此对他们的原始指标值进 行无量纲化及归一化的处理是十分必要的,同时在归一化处理过程中,针对负向型指标,还 需要将其正向化,即具体的,针对所述各个评价指标,对在所述所有存储设备中各个存储设 备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化 指标值,包括但不限于:针对所述各个评价指标,若对应指标为正向型指标,则按照公式
Figure 870194DEST_PATH_IMAGE036
计算得到在所述所有存储设备中的各个存储设备 在对应指标上的归一化指标值,而若对应指标为负向型指标,则按照公式
Figure DEST_PATH_IMAGE037
计算得到所述各个存储设备在对应指标上的归一 化指标值,其中,
Figure 14736DEST_PATH_IMAGE005
表示正整数,
Figure 486169DEST_PATH_IMAGE019
表示在所述所有存储设备中第
Figure 930925DEST_PATH_IMAGE005
个存储设备在对应指标 上的原始指标值,
Figure 564032DEST_PATH_IMAGE020
表示所述所有存储设备在对应指标上的原始指标最大值,
Figure 71237DEST_PATH_IMAGE038
表示 所述所有存储设备在对应指标上的原始指标最小值,
Figure 80781DEST_PATH_IMAGE022
表示所述第
Figure 176782DEST_PATH_IMAGE005
个存储设备在对应指 标上的归一化指标值,
Figure 980790DEST_PATH_IMAGE023
表示在区间
Figure 178553DEST_PATH_IMAGE024
内取值的第一小数,
Figure 991788DEST_PATH_IMAGE025
表示在区间
Figure 210804DEST_PATH_IMAGE026
内取值的第二小数,并且有
Figure 185714DEST_PATH_IMAGE027
。举例的,
Figure DEST_PATH_IMAGE039
取值为0.4,
Figure 74035DEST_PATH_IMAGE040
取值为0.6。
S13.针对所述各个评价指标,按照如下公式计算得到对应的熵值:
Figure DEST_PATH_IMAGE041
式中,
Figure 940229DEST_PATH_IMAGE042
表示正整数,
Figure 761554DEST_PATH_IMAGE003
表示在所述多个评价指标中第
Figure 907365DEST_PATH_IMAGE042
个评价指标的熵值,
Figure 548562DEST_PATH_IMAGE004
表示求自然对数的函数,
Figure 952867DEST_PATH_IMAGE005
Figure 425437DEST_PATH_IMAGE006
分别表示正整数,
Figure 7728DEST_PATH_IMAGE007
表示所述所有存储设备的设备总数,
Figure DEST_PATH_IMAGE043
表示在所述所有存储设备中第
Figure 605063DEST_PATH_IMAGE005
个存储设备在所述第
Figure 547480DEST_PATH_IMAGE042
个评价指标上的归一化指标 值,
Figure 343397DEST_PATH_IMAGE009
表示在所述所有存储设备中第
Figure 893327DEST_PATH_IMAGE006
个存储设备在所述第
Figure 509116DEST_PATH_IMAGE002
个评价指标上的归一化指 标值。
在所述步骤S13中,熵(希腊语:entropia,英语:entropy)的概念是由德国物理学家克劳修斯于1865年提出,在希腊语源中意为“内在”,即“一个系统内在性质的改变;1948年,香农将统计物理中熵的概念,引申到信道通信的过程中,即香农定义的“熵”又被称为“香农熵”或“信息熵”,即有:
Figure 740378DEST_PATH_IMAGE044
式中,
Figure DEST_PATH_IMAGE045
表示信息熵,
Figure 111841DEST_PATH_IMAGE046
标记概率空间中所有可能的样本,
Figure DEST_PATH_IMAGE047
表示该 样本的出现几率,
Figure 301514DEST_PATH_IMAGE048
表示总样本数,
Figure DEST_PATH_IMAGE049
表示与单位选取相关的任意常数,因此可以基于该公 式改动得到所述熵值的计算公式。
S14. 针对所述各个评价指标,按照如下公式计算得到对应的权重系数:
Figure 122708DEST_PATH_IMAGE010
式中,
Figure 157660DEST_PATH_IMAGE011
表示所述第
Figure 662591DEST_PATH_IMAGE002
个评价指标的权重系数,
Figure 554323DEST_PATH_IMAGE012
表示正整数,
Figure 144705DEST_PATH_IMAGE013
表示所述多个 评价指标的指标总数,
Figure 967036DEST_PATH_IMAGE014
表示在所述多个评价指标中第
Figure 592052DEST_PATH_IMAGE012
个评价指标的熵值。
在所述步骤S14中,由于所述熵值反映了所述所有存储设备在对应指标上的离散程度,因此可以基于熵权法来计算确定对应指标的权重系数。
S15.按照如下公式计算得到所述各个存储设备在所述各个评价指标上的价值评分:
Figure 857949DEST_PATH_IMAGE015
式中,
Figure 732364DEST_PATH_IMAGE016
表示所述第
Figure 109118DEST_PATH_IMAGE005
个存储设备在所述第
Figure 837909DEST_PATH_IMAGE002
个评价指标上的价值评分。
由此基于前述步骤S11~S15所描述的价值评分获取方案,可以根据所有存储设备在各个评价指标上的原始指标值,通过熵权法来统一不同评价指标的价值观,并得到在同一价值观下的且所述所有存储设备在所述各个评价指标上的价值评分,确保后续能够准确分类及进行树搜索。
S2.针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应。
在所述步骤S2中,举例的,若所述所有存储设备在设备厂商评分这一评价指标上的价值评分数值有2个,分别对应厂商A和厂商B,由此可以将所述所有存储设备分为两类:用于对应厂商A的一类和用于对应厂商B的另一类。又举例的,若所述所有存储设备在设备型号评分这一评价指标上的价值评分数值有5个,分别对应型号A1、型号A2、型号B1、型号B2和型号B3,由此可以将所述所有存储设备分为五类。以及又举例的,若所述所有存储设备在设备响应时间这一评价指标上的价值评分数值有至少5个,分别对应响应时间B11、响应时间B12、响应时间B21、响应时间B22和响应时间B31等,由此可以将所述所有存储设备分为至少五类。
S3.在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应。
在所述步骤S3中,所述用户终端即为由用户所持有的电子设备,例如台式电脑、智能手机或平板电脑等,以便发起数据存储请求以及接收存储设备分配结果(即分配的合适存储设备的路由信息等内容)。所述数据存储任务用于指示有用户侧数据需要进行存储;具体的,可以将一个大的待存数据拆分成多个小的待存数据(默认在分布式存储系统中的任一存储设备均能满足每一个小的待存数据的所需存储空间,例如通过限定上传数据包的最大尺寸来实现),得到多个所述数据存储任务。当在所述数据存储请求中携带有多个数据存储任务时,需要针对所述多个数据存储任务中的各个数据存储任务,分别建立对应的树层结构以及独立地进行后续的树搜索步骤和目标分支确定步骤,以便确定对应的目标存储设备。此外,若为至少两个数据存储任务确定有相同的目标存储设备,可以再为它们确定至少一个备用存储设备(具体确定方式可参见后续可能设计一),然后用该目标存储设备和该至少一个备用存储设备来一一对应地且随机地适配所述至少两个数据存储任务,以便实现分布式存储目的。
在所述步骤S3中,所述K个评价指标可以是所述多个评价指标的全部(在默认情况下),也可以是所述多个评价指标的部分(在用户定制情况下),即优选的,所述数据存储请求还可以但不限于携带有用户指定的所述K个评价指标或所述K个评价指标的排序等内容,以便在用户侧定制所述树层结构/和所述K个非根节点层在所述树层结构中的从上至下顺序(即通过用户指定的所述K个评价指标的排序来确定),提升用户体验。如图2所示,举例的,当所述K个评价指标包含有依次排序的设备厂商评分、设备型号评分和设备响应时间时,所述树层结构将会包含有根节点层和3个非根节点层:设备厂商评分维度节点层(即图2中的首个非根节点层)、设备型号评分维度节点层(即图2中的下一个非根节点层)和设备响应时间维度节点层(即图2中的最末非根节点层)。
S4.在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度。
在所述步骤S4中,所述树搜索算法可以但不限于采用蒙特卡洛树搜索算法,以便参照在围棋决策中的应用实例,实现从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构。优选的,根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,包括但不限于有如下步骤S40~S49。
S40.将总探索次数初始化为零。
S41.以所述根节点为当前节点,并判断当前节点是否为叶结点,若是,则执行步骤S42,否则执行步骤S46。
在所述步骤S41中,由于首次探索时仅有根节点,使得当前节点必然为叶结点(即没有子节点的节点),因此会执行步骤S42。
S42.根据在首个指标维度上的至少一个设备类别,确定在所述首个指标维度上的至少一个分类,然后执行步骤S43,其中,所述首个指标维度是指在所述K个指标维度中与位于最上层的非根节点层对应的指标维度。
在所述步骤S42中,举例的,如图2所示,当所述首个指标维度为设备厂商评分维度且有两个设备类别时,则可以确定有两个分类:用于对应厂商A的一类和用于对应厂商B的另一类。
S43.在当前节点下创建与所述至少一个分类一一对应的至少一个子节点,然后执行步骤S44,其中,所述至少一个子节点中各个子节点的当前探索次数在创建时初始化为0。
在所述步骤S43中,举例的,如图2所示,需要在所述根节点(即此时的当前节点)下创建子节点1和子节点2,使得在所述树层结构中具有一个根节点和两个非根节点(此时根节点将不再为叶结点,若再次轮到执行步骤S41,则会选择执行步骤S46)。
S44.从所述至少一个子节点中任选一个子节点作为新的当前节点,然后执行步骤S45。
S45.针对当前节点,将与对应的分类对应的价值评分数值作为对应的价值的初始值,以及使对应的当前探索次数自加1,以及使所述总探索次数自加1,以及使对应的各个路径节点的当前价值自加该初始值和当前探索次数自加1,然后返回执行步骤S41,其中,所述对应的各个路径节点是指位于从对应子节点至所述根节点的路径上的各个中间节点。
在所述步骤S45中,由于已通过前述步骤S2确定了所述至少一个设备类别与所述至少一个价值评分数值的一一对应关系,因此可以直接将与当前节点的分类对应的价值评分数值作为该当前节点的初始价值。此外,若当前节点为在根节点下的子节点,则不会存在有路径节点,此时无需更新路径节点的当前价值和当前探索次数。
S46.从当前节点的所有子节点中选择具有最大置信上限值的子节点,并将该子节点作为新的当前节点,然后执行步骤S47,其中,按照如下公式计算所述所有子节点中各个子节点的置信上限值:
Figure 9127DEST_PATH_IMAGE050
式中,
Figure 574101DEST_PATH_IMAGE029
表示正整数,
Figure 754546DEST_PATH_IMAGE030
表示所述所有子节点中第
Figure 150893DEST_PATH_IMAGE031
个子节点的置信上限值,
Figure 22508DEST_PATH_IMAGE032
表示所述第
Figure 809198DEST_PATH_IMAGE029
个子节点的当前价值,
Figure 527755DEST_PATH_IMAGE033
表示所述第
Figure 981870DEST_PATH_IMAGE031
个子节点的当前探索次数,
Figure 557208DEST_PATH_IMAGE034
表示预设 的系数,
Figure 80462DEST_PATH_IMAGE035
表示所述总探索次数的当前值。
在所述步骤S46中,
Figure 337131DEST_PATH_IMAGE034
用于反映算式
Figure DEST_PATH_IMAGE051
在置信上限值计算公式中的重要程 度,其可以但不限于在1.5~2.5数值范围中取值,例如取值为2。根据前述置信上限值计算 公式可知,由于置信上限值与子节点的当前价值正相关以及与子节点的当前探索次数负相 关,因此会首先选择当前价值高和/或当前探索次数少的子节点(若其当前探索次数为0,则 会使对应的置信上限值为无穷大,使得其能被选中并进行探索)进行进一步的探索扩展,直 到完成最末非根节点层(即位于最下层的非根节点层)的探索,进而可无需穷举也能确保最 终得到理想的探索结果。此外,若有多个子节点具有相同的最大置信上限值,则从该多个子 节点中任选一个子节点作为新的当前节点。
S47.判断当前节点是否为叶结点,若是,则执行步骤S48,否则执行步骤S46。
S48.判断当前节点的当前探索次数是否为0,若是,则执行步骤S45,否则执行步骤S49。
S49.判断当前节点的所在节点层是否为位于最下层的非根节点层,若是,则结束扩展,得到树结构,否则根据在下一个指标维度上的至少一个设备类别,确定在当前分类下的且在所述下一个指标维度上的至少一个分类,然后执行步骤S43,其中,所述下一个指标维度是指在所述K个指标维度中与下一个非根节点层对应的指标维度,所述下一个非根节点层是指在所述K个非根节点层中位于所述当前节点的所在节点层之下的一个节点层,所述当前分类是指与当前节点对应的分类。
在所述步骤S49中,若判定当前节点的所在节点层为位于最下层的非根节点层,则表示已不可进行进一步的探索扩展。如图2所示,在子节点9为当前节点时,由于其为叶结点、当前探索次数不为零且位于最末非根节点层,表明已完成最末非根节点层的探索,可以结束扩展,得到一个树结构。以及举例的,如图2所示,若当前节点为子节点2,则当前分类为用于对应厂商B的另一类,下一个指标维度为设备型号评分维度,可以在所述当前分类下且在所述下一个指标维度上确定有三个分类:用于对应型号B1的一类、用于对应型号B2的另一类和用于对应型号B3的另一类,进而可返回执行步骤S43,在子节点2下创建三个新的子节点:子节点5、子节点6和子节点7。
S5.从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值。
在所述步骤S5中,举例的,如图2所示,贯穿所述K个非根节点层的节点路径分支有5个(其分别对应子节点8、子节点9、子节点10、子节点11和子节点12),若子节点2在根节点的所有子节点中具有最大价值,子节点5在子节点2的所有子节点中具有最大价值,子节点9在子节点5的所有子节点中具有最大价值,则与子节点9对应的节点路径分支(即图2中标粗的节点路径分支)为所述目标节点路径分支,可以用于锁定最合适的存储设备。
S6.根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备。
在所述步骤S6中,举例的,如图2所示,在与子节点9对应的节点路径分支中有三个非根节点,其对应分类为:用于对应厂商B的一类、用于对应型号B1的一类和用于对应响应时间B12的一类,如此可以基于这三类的设备交集锁定至少一个所述目标存储设备。
S7.将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
在所述步骤S7中,若通过前述步骤S6确定有多个所述目标存储设备,则可以在这多个所述目标存储设备中随机选择若干个所述目标存储设备的路由信息反馈给所述用户终端,以便进行数据存储/和数据备份存储(例如随机选择两个所述目标存储设备,以便将其中一个所述目标存储设备用于数据主存储,而将另一个所述目标存储设备用于数据备份存储)。若在所述数据存储请求中还携带有为数据存储任务配置的设备筛选条件,还需要判断所述目标存储设备是否满足所述设备筛选条件,若是才将所述目标存储设备的路由信息反馈给所述用户终端,其中,所述设备筛选条件包含但不限于有设备厂商评分范围、设备型号评分范围、设备吞吐能力指标范围、设备响应时间范围、设备可用性指标范围和设备负载均衡性指标范围等。此外,还需要判断所述目标存储设备是否当前可用(即判断当前设备状态是否处于正常服务状态),若是才将所述目标存储设备的路由信息反馈给所述用户终端,以便确保分配设备的实时可用性。
由此基于前述步骤S1~S7所描述的分布式存储系统树搜索管理方法,提供了一种基于树搜索算法从海量存储设备中确定适配设备的新方案,即先根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,确定所有存储设备在各个指标维度上的设备分类结果及价值评分数值,然后在收到来自用户终端的数据存储请求时,直接基于这些设备分类结果及价值评分数值进行树搜索,找到最合适存储设备的路由信息反馈给所述用户终端,如此在面对海量的存储设备时,可无需遍历每一个存储设备的设备信息,实现节省查找所需时间的目的,进而可利于快速响应数据存储请求,提升用户体验,便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何查找备用存储设备的可能设计一,即在得到树结构之后,所述方法还包括但不限于有如下步骤S81~S83。
S81.从所述树结构中查找出贯穿所述K个非根节点层的备用节点路径分支,其中,所述备用节点路径分支中位于最下层的非根节点和所述目标节点路径分支中位于最下层的非根节点属于同一父节点。
在所述步骤S81中,举例的,如图2所示,贯穿所述K个非根节点层的节点路径分支有5个(其分别对应子节点8、子节点9、子节点10、子节点11和子节点12),若已确定与子节点9对应的节点路径分支(即图2中标粗的节点路径分支)为所述目标节点路径分支,则可以将与子节点8对应的节点路径分支确定为所述备用节点路径分支,以便锁定次合适的存储设备。
S82.根据与所述备用节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定备用存储设备。
在所述步骤S82中,具体确定步骤可参见前述步骤S6,于此不再赘述。
S83.将所述备用存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述备用存储设备进行存储。
在所述步骤S83中,若在所述数据存储请求中还携带有为数据存储任务配置的设备筛选条件,同样还需要判断所述备用存储设备是否满足所述设备筛选条件,若是才将所述备用存储设备的路由信息反馈给所述用户终端。此外,同样还需要判断所述备用存储设备是否当前可用(即判断当前设备状态是否处于正常服务状态),若是才将所述备用存储设备的路由信息反馈给所述用户终端,以便确保分配设备的实时可用性。
由此基于前述的可能设计一,还可以查找到次适配的备用存储设备,以便在目标存储设备数量不足或不可用时,能够用该备用存储设备的路由信息来满足数据存储请求,进一步提升适用性。
如图3所示,本实施例第二方面提供了一种实现第一方面或可能设计一所述的分布式存储系统树搜索管理方法的虚拟装置,包括有价值评分计算模块、存储设备分类模块、树层结构创建模块、树结构扩展模块、路径分支查找模块、目标设备确定模块和路由信息反馈模块;
所述价值评分计算模块,用于根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分;
所述存储设备分类模块,通信连接所述价值评分计算模块,用于针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应;
所述树层结构创建模块,用于在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应;
所述树结构扩展模块,分别通信连接所述存储设备分类模块和所述树层结构创建模块,用于在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度;
所述路径分支查找模块,通信连接所述树结构扩展模块,用于从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值;
所述目标设备确定模块,通信连接所述路径分支查找模块,用于根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备;
所述路由信息反馈模块,通信连接所述目标设备确定模块,用于将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面或可能设计一所述的分布式存储系统树搜索管理方法,于此不再赘述。
如图4所示,本实施例第三方面提供了一种执行如第一方面或可能设计一所述的分布式存储系统树搜索管理方法的计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或可能设计一所述的分布式存储系统树搜索管理方法。具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见第一方面或可能设计一所述的分布式存储系统树搜索管理方法,于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或可能设计一所述的分布式存储系统树搜索管理方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或可能设计一所述的分布式存储系统树搜索管理方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质,所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见如第一方面或可能设计一所述的分布式存储系统树搜索管理方法,于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面或可能设计一所述的分布式存储系统树搜索管理方法。其中,所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式存储系统树搜索管理方法,其特征在于,包括:
根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分;
针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应;
在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应;
在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度;
从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值;
根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备;
将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
2.根据权利要求1所述的分布式存储系统树搜索管理方法,其特征在于,所述多个评价指标包含有设备厂商评分、设备型号评分、设备吞吐能力指标、设备响应时间、设备可用性指标和设备负载均衡性指标中的任意一个或它们的任意组合,其中,所述设备可用性指标是指设备停服务的总历史时长与设备正常服务的总历史时长的比值,所述设备负载均衡性指标是指存储设备的当前存储负载率与所述所有存储设备的当前存储负载率平均值的差值,所述设备厂商评分、所述设备型号评分和所述设备吞吐能力指标分别为正向型指标,所述设备响应时间、所述设备可用性指标和所述设备负载均衡性指标分别为负向型指标。
3.根据权利要求1所述的分布式存储系统树搜索管理方法,其特征在于,根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分,包括:
获取在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值;
针对所述各个评价指标,对在所述所有存储设备中各个存储设备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化指标值;
针对所述各个评价指标,按照如下公式计算得到对应的熵值:
Figure 793086DEST_PATH_IMAGE001
式中,
Figure 332652DEST_PATH_IMAGE002
表示正整数,
Figure 651638DEST_PATH_IMAGE003
表示在所述多个评价指标中第
Figure 960259DEST_PATH_IMAGE002
个评价指标的熵值,
Figure 909761DEST_PATH_IMAGE004
表 示求自然对数的函数,
Figure 920311DEST_PATH_IMAGE005
Figure 246250DEST_PATH_IMAGE006
分别表示正整数,
Figure 409378DEST_PATH_IMAGE007
表示所述所有存储设备的设备总数,
Figure 529781DEST_PATH_IMAGE008
表示在所述所有存储设备中第
Figure 307855DEST_PATH_IMAGE005
个存储设备在所述第
Figure 171906DEST_PATH_IMAGE002
个评价指标上的归一化指标 值,
Figure 923961DEST_PATH_IMAGE009
表示在所述所有存储设备中第
Figure 480844DEST_PATH_IMAGE006
个存储设备在所述第
Figure 465987DEST_PATH_IMAGE002
个评价指标上的归一化 指标值;
针对所述各个评价指标,按照如下公式计算得到对应的权重系数:
Figure 133729DEST_PATH_IMAGE010
式中,
Figure 802607DEST_PATH_IMAGE011
表示所述第
Figure 530392DEST_PATH_IMAGE012
个评价指标的权重系数,
Figure 487984DEST_PATH_IMAGE013
表示正整数,
Figure 943105DEST_PATH_IMAGE014
表示所述多个评 价指标的指标总数,
Figure 732069DEST_PATH_IMAGE015
表示在所述多个评价指标中第
Figure 630755DEST_PATH_IMAGE016
个评价指标的熵值;
按照如下公式计算得到所述各个存储设备在所述各个评价指标上的价值评分:
Figure 810063DEST_PATH_IMAGE017
式中,
Figure 85187DEST_PATH_IMAGE018
表示所述第
Figure 181188DEST_PATH_IMAGE019
个存储设备在所述第
Figure 985196DEST_PATH_IMAGE012
个评价指标上的价值评分。
4.根据权利要求3所述的分布式存储系统树搜索管理方法,其特征在于,针对所述各个评价指标,对在所述所有存储设备中各个存储设备在对应指标上的原始指标值进行归一化处理,得到各个存储设备在对应指标上的归一化指标值,包括:
针对所述各个评价指标,若对应指标为正向型指标,则按照公式
Figure 182959DEST_PATH_IMAGE020
计算得到在所述所有存储设备中的各个 存储设备在对应指标上的归一化指标值,而若对应指标为负向型指标,则按照公式
Figure 527353DEST_PATH_IMAGE021
计算得到所述各个存储设备在对应指标 上的归一化指标值,其中,
Figure 494172DEST_PATH_IMAGE005
表示正整数,
Figure 721278DEST_PATH_IMAGE022
表示在所述所有存储设备中第
Figure 140758DEST_PATH_IMAGE005
个存储设备 在对应指标上的原始指标值,
Figure 492105DEST_PATH_IMAGE023
表示所述所有存储设备在对应指标上的原始指标最大 值,
Figure 110168DEST_PATH_IMAGE024
表示所述所有存储设备在对应指标上的原始指标最小值,
Figure 521558DEST_PATH_IMAGE025
表示所述第
Figure 412022DEST_PATH_IMAGE005
个存 储设备在对应指标上的归一化指标值,
Figure 301481DEST_PATH_IMAGE026
表示在区间
Figure 242892DEST_PATH_IMAGE027
内取值的第一小数,
Figure 356342DEST_PATH_IMAGE028
表 示在区间
Figure 750414DEST_PATH_IMAGE029
内取值的第二小数,并且有
Figure 427252DEST_PATH_IMAGE030
5.根据权利要求1所述的分布式存储系统树搜索管理方法,其特征在于,根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,包括有如下步骤S40~S49:
S40.将总探索次数初始化为零;
S41.以所述根节点为当前节点,并判断当前节点是否为叶结点,若是,则执行步骤S42,否则执行步骤S46;
S42.根据在首个指标维度上的至少一个设备类别,确定在所述首个指标维度上的至少一个分类,然后执行步骤S43,其中,所述首个指标维度是指在所述K个指标维度中与位于最上层的非根节点层对应的指标维度;
S43.在当前节点下创建与所述至少一个分类一一对应的至少一个子节点,然后执行步骤S44,其中,所述至少一个子节点中各个子节点的当前探索次数在创建时初始化为0;
S44.从所述至少一个子节点中任选一个子节点作为新的当前节点,然后执行步骤S45;
S45.针对当前节点,将与对应的分类对应的价值评分数值作为对应的价值的初始值,以及使对应的当前探索次数自加1,以及使所述总探索次数自加1,以及使对应的各个路径节点的当前价值自加该初始值和当前探索次数自加1,然后返回执行步骤S41,其中,所述对应的各个路径节点是指位于从对应子节点至所述根节点的路径上的各个中间节点;
S46.从当前节点的所有子节点中选择具有最大置信上限值的子节点,并将该子节点作为新的当前节点,然后执行步骤S47,其中,按照如下公式计算所述所有子节点中各个子节点的置信上限值:
Figure 223170DEST_PATH_IMAGE031
式中,
Figure 773100DEST_PATH_IMAGE032
表示正整数,
Figure 654468DEST_PATH_IMAGE033
表示所述所有子节点中第
Figure 885729DEST_PATH_IMAGE032
个子节点的置信上限值,
Figure 519842DEST_PATH_IMAGE034
表 示所述第
Figure 443935DEST_PATH_IMAGE032
个子节点的当前价值,
Figure 812600DEST_PATH_IMAGE035
表示所述第
Figure 644289DEST_PATH_IMAGE032
个子节点的当前探索次数,
Figure 149220DEST_PATH_IMAGE036
表示预设 的系数,
Figure 496412DEST_PATH_IMAGE037
表示所述总探索次数的当前值;
S47.判断当前节点是否为叶结点,若是,则执行步骤S48,否则执行步骤S46;
S48.判断当前节点的当前探索次数是否为0,若是,则执行步骤S45,否则执行步骤S49;
S49.判断当前节点的所在节点层是否为位于最下层的非根节点层,若是,则结束扩展,得到树结构,否则根据在下一个指标维度上的至少一个设备类别,确定在当前分类下的且在所述下一个指标维度上的至少一个分类,然后执行步骤S43,其中,所述下一个指标维度是指在所述K个指标维度中与下一个非根节点层对应的指标维度,所述下一个非根节点层是指在所述K个非根节点层中位于所述当前节点的所在节点层之下的一个节点层,所述当前分类是指与当前节点对应的分类。
6.根据权利要求1所述的分布式存储系统树搜索管理方法,其特征在于,所述数据存储请求中还携带有用户指定的所述K个评价指标或所述K个评价指标的排序。
7.根据权利要求1所述的分布式存储系统树搜索管理方法,其特征在于,在得到树结构之后,所述方法还包括:
从所述树结构中查找出贯穿所述K个非根节点层的备用节点路径分支,其中,所述备用节点路径分支中位于最下层的非根节点和所述目标节点路径分支中位于最下层的非根节点属于同一父节点;
根据与所述备用节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定备用存储设备;
将所述备用存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述备用存储设备进行存储。
8.一种分布式存储系统树搜索管理装置,其特征在于,包括有价值评分计算模块、存储设备分类模块、树层结构创建模块、树结构扩展模块、路径分支查找模块、目标设备确定模块和路由信息反馈模块;
所述价值评分计算模块,用于根据在分布式存储系统中的所有存储设备在多个评价指标中各个评价指标上的原始指标值,计算得到所述所有存储设备在所述各个评价指标上的价值评分;
所述存储设备分类模块,通信连接所述价值评分计算模块,用于针对所述各个评价指标,根据所述所有存储设备在对应指标上的价值评分,对所述所有存储设备进行分类,得到在对应指标维度上的至少一个设备类别,其中,所述至少一个设备类别与所述所有存储设备在对应指标上的至少一个价值评分数值一一对应;
所述树层结构创建模块,用于在收到来自用户终端的数据存储请求后,针对在所述数据存储请求中携带的数据存储任务,创建对应的且包含有根节点层和K个非根节点层的树层结构,其中,K表示正整数,所述根节点层和所述K个非根节点层在所述树层结构中按照从上至下顺序依次排列,所述K个非根节点层与属于所述多个评价指标的K个评价指标一一对应;
所述树结构扩展模块,分别通信连接所述存储设备分类模块和所述树层结构创建模块,用于在所述根节点层中初始设置一个根节点,然后根据在K个指标维度中各个指标维度上的至少一个设备类别及至少一个价值评分数值,采用树搜索算法从上至下依次扩展各个所述非根节点层中的非根节点,并探索得到所述非根节点的价值,得到树结构,其中,所述K个指标维度与所述K个评价指标一一对应,所述非根节点与在相应指标维度上的分类一一对应,所述相应指标维度是指在所述K个指标维度中与所述非根节点的所在节点层对应的指标维度;
所述路径分支查找模块,通信连接所述树结构扩展模块,用于从所述树结构中查找出贯穿所述K个非根节点层的目标节点路径分支,其中,所述目标节点路径分支中的各个非根节点在对应的父节点下具有最大价值;
所述目标设备确定模块,通信连接所述路径分支查找模块,用于根据与所述目标节点路径分支中多个非根节点一一对应的多个分类,从所述所有存储设备中确定目标存储设备;
所述路由信息反馈模块,通信连接所述目标设备确定模块,用于将所述目标存储设备的路由信息反馈给所述用户终端,以便所述用户终端根据该路由信息将与所述数据存储任务对应的待存数据传送至所述目标存储设备进行存储。
9.一种计算机设备,其特征在于,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1~7中任意一项所述的分布式存储系统树搜索管理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7中任意一项所述的分布式存储系统树搜索管理方法。
CN202211458747.2A 2022-11-18 2022-11-18 一种分布式存储系统树搜索管理方法、装置、设备及介质 Active CN115510292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211458747.2A CN115510292B (zh) 2022-11-18 2022-11-18 一种分布式存储系统树搜索管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211458747.2A CN115510292B (zh) 2022-11-18 2022-11-18 一种分布式存储系统树搜索管理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115510292A CN115510292A (zh) 2022-12-23
CN115510292B true CN115510292B (zh) 2023-03-24

Family

ID=84514426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211458747.2A Active CN115510292B (zh) 2022-11-18 2022-11-18 一种分布式存储系统树搜索管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115510292B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置
CN113064554A (zh) * 2021-04-08 2021-07-02 易联众信息技术股份有限公司 基于分布式存储的最优存储节点匹配方法、装置及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014177201A1 (en) * 2013-04-30 2014-11-06 Nec Europe Ltd. Method and system for storing geometrical objects in a database
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法
CN103634401B (zh) * 2013-12-03 2015-11-25 北京京东尚科信息技术有限公司 一种存储数据副本的方法和终端装置以及服务器装置
CN108009260B (zh) * 2017-12-11 2020-10-27 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN111754110A (zh) * 2020-06-23 2020-10-09 平安科技(深圳)有限公司 基于人工智能的经营指标评价方法、装置、设备及介质
CN113377733B (zh) * 2021-06-09 2022-12-27 西安理工大学 一种针对Hadoop分布式文件系统的存储优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置
CN113064554A (zh) * 2021-04-08 2021-07-02 易联众信息技术股份有限公司 基于分布式存储的最优存储节点匹配方法、装置及介质

Also Published As

Publication number Publication date
CN115510292A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
US9449115B2 (en) Method, controller, program and data storage system for performing reconciliation processing
EP3516539B1 (en) Techniques for in-memory key range searches
US7890705B2 (en) Shared-memory multiprocessor system and information processing method
CN110245155A (zh) 数据处理方法、装置、计算机可读存储介质及终端设备
CN108595251B (zh) 动态图更新方法、装置、存储引擎接口和程序介质
CN115510292B (zh) 一种分布式存储系统树搜索管理方法、装置、设备及介质
US9594785B2 (en) Database management device and database management method
CN115665157B (zh) 一种基于应用资源类型的均衡调度方法和系统
CN110781247A (zh) 向量聚类方法、装置及存储介质
CN113240089B (zh) 基于图检索引擎的图神经网络模型训练方法和装置
CN111538859B (zh) 一种动态更新视频标签的方法、装置及电子设备
CN108256083A (zh) 基于深度学习的内容推荐方法
Lu et al. NPIY: A novel partitioner for improving mapreduce performance
KR102047233B1 (ko) 이중 부하 분산을 이용한 메타데이터 검색 시스템 및 이중 부하 분산을 통한 데이터베이스 관리 방법
CN113347238A (zh) 基于区块链的消息分区方法及系统、设备、存储介质
CN111915018A (zh) 基于gbdt模型的规则提取方法和系统
CN113760484A (zh) 数据处理的方法和装置
CN114021788B (zh) 预测方法、装置、电子设备和存储介质
CN113343147B (zh) 信息处理方法、装置、设备、介质及程序产品
CN109783816A (zh) 短文本聚类方法及终端设备
CN114706849B (zh) 一种数据检索方法、装置及电子设备
US11734318B1 (en) Superindexing systems and methods
CN110058812B (zh) 一种云环境下科学工作流数据放置方法
US20230281099A1 (en) User-impact index for applications serving users
CN117271132A (zh) 基于数据库的大数据集合运算方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant