CN115858168B - 一种基于重要性排序的地球应用模型编排系统及其方法 - Google Patents
一种基于重要性排序的地球应用模型编排系统及其方法 Download PDFInfo
- Publication number
- CN115858168B CN115858168B CN202211625573.4A CN202211625573A CN115858168B CN 115858168 B CN115858168 B CN 115858168B CN 202211625573 A CN202211625573 A CN 202211625573A CN 115858168 B CN115858168 B CN 115858168B
- Authority
- CN
- China
- Prior art keywords
- service
- resource
- application model
- importance
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 claims abstract description 112
- 238000011156 evaluation Methods 0.000 claims abstract description 69
- 230000001419 dependent effect Effects 0.000 claims abstract description 42
- 230000002776 aggregation Effects 0.000 claims abstract description 38
- 238000004220 aggregation Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000012163 sequencing technique Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000010354 integration Effects 0.000 claims abstract description 4
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 2
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于重要性排序的地球应用模型编排系统，资源信息聚合分析模块用于地球应用模型依赖资源信息的聚合分析，包括资源注册与发现、资源运行时监控、资源指标聚合分析，以支撑地球应用模型依赖资源重要性评价排序过程；资源重要性评价排序模块，用于地球应用模型依赖资源的重要性评价排序，包括服务资源重要性评价排序和存储资源重要性评价排序，以自动推荐优质资源实例支撑地球应用模型依赖资源智能编排过程；在线地球应用模型智能编排模块用于依赖资源的智能化编排，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排，以实现地球应用模型服务能力集成。本发明通过优质资源的在线推荐实现地球应用模型编排的智能化过程，提升了地球应用模型发布的效率和服务性能。
Description
技术领域
本发明涉及服务资源整合技术，具体涉及一种基于重要性排序的地球应用模型编排系统及其方法。
背景技术
数字地球应用模型是联系底层地球数据与上层科学研究、专家决策的关键纽带，是新一代数字地球信息服务体系中的一类重要资源。面向服务的地球应用模型虽然能够实现业务过程在计算环境下的自动化，但是随着应用领域的扩大以及应用功能需求的增多，服务网络节点数量迅速增长，依赖关系愈趋复杂，带来了地球应用模型集成管理的困难。尤其是云计算环境下，大规模服务资源、存储等资源分布于不同的集群或服务器，功能属性相同的资源往往具有不同的系统架构、部署模式、运行状态、访问性能等，增加了地球应用模型资源选择与编排的难度。现有系统由于设计缺陷，在多源地球应用模型持续接入与集成使用方面，面临一些新的问题。针对地球应用模型多模式、多依赖、多实例的运行场景，现有平台缺少系统级别的智能化的编排辅助支撑机制。更重要的是，大多数平台只关注领域相关的数据、服务资源的静态信息，却忽略了资源使用状态与运行时信息对服务性能和平台资源利用效率的影响。由于云计算尤其容器云环境随机性较大，导致资源负载波动甚至资源稳定性问题，不合理的资源选择编排直接影响地球应用模型的整体服务性能。综上所述，目前在相关领域内缺少面向服务的地球应用模型智能编排管理方法和系统的研究，即在资源运行时分析的基础上建立基于资源重要性评价排序的智能化的编排辅助支撑机制。
发明内容
本发明的目的在于提出一种基于重要性排序的地球应用模型编排系统及其方法。
实现本发明目的的技术解决方案为：一种基于重要性排序的地球应用模型编排系统及其方法，包括：
资源信息聚合分析模块，用于地球应用模型依赖资源信息的聚合分析，支撑依赖资源重要性评价排序过程，包括资源注册与发现、资源运行时监控、资源指标聚合分析三个子功能模块。首先，建立资源目录和路由机制，实现资源信息的汇聚与共享；然后，建立在线监控机制，实现资源运行信息的采集。对于服务资源，进一步通过解析地球应用模型服务调用的上下文日志信息重塑调用链路，采集服务响应时间、调用次数等访问信息。最后，通过资源聚合，实现资源运行信息、访问信息等的聚合分析，以此作为资源重要性评价的决策因素，为依赖资源重要性评价排序模块提供数据支撑。
资源重要性评价排序模块，用于地球应用模型依赖资源的重要性评价排序，自动推荐优质资源实例支撑依赖资源的智能编排过程，包括服务资源重要性评价排序和存储资源重要性评价排序两个子功能模块。所述服务资源重要性评价排序包括服务预选、服务优选和服务排序三个步骤。首先，服务预选通过构造服务特征空间，基于孤立森林模型进行服务资源异常分析，剔除异常服务以防止异常服务资源参与编排带来服务性能隐患。然后，在服务预选的基础上进行服务优选，通过熵权法改进多准则决策方法的指标权重，综合考虑服务各项特征的作用，实现更为准确的服务重要性评价。最后，根据服务资源重要性大小排序服务并进行top-k操作，通过建立与在线地球应用模型编排模块的服务推送机制，提供近实时的服务资源推荐功能；所述存储资源重要性评价排序包括存储评价和存储排序两个步骤。在构建存储特征空间的基础上，使用改进的多准则决策方法评价存储资源的重要性。根据存储资源重要性大小排序存储并进行top-k推荐。
在线地球应用模型智能编排模块，用于地球应用模型依赖资源的智能化编排，实现地球应用模型服务能力集成，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排四个子功能模块。首先，提供图形化交互界面构建地球应用模型依赖拓扑。然后，采用递归地球应用模型依赖拓扑的方式自动进行依赖资源的组装。对于服务资源编排，通过服务资源数据库检索可选服务资源实例，存在则进行服务资源重要性评价排序，自动组装推荐的服务资源实例，否则先对依赖服务自身进行编排，编排完成后再回溯到当前编排服务；对于存储资源编排，通过存储资源数据库检索可选存储资源实例，存在则进行存储资源重要性评价排序，自动组装推荐的存储资源实例，不存在则根据存储模板自动创建；对于配置资源编排，通过配置资源数据库检索相关配置实例集合，存在则获取当前激活的配置实例，并且将编排完成的依赖服务资源和存储资源的连接信息更新到所述配置实例，使用配置挂载方法注入服务容器。不存在则根据配置模板自动创建；对于计算资源编排，通过聚类分析自适应分配计算资源，配置运行参数，完成地球应用模型的自动编排过程。
一种基于重要性排序的地球应用模型编排系统及其方法，通过所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，利用所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，通过所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
本发明与现有技术相比，其显著优点为：通过优质资源的在线推荐实现地球应用模型编排的智能化过程，提升了地球应用模型发布的效率和服务性能。
附图说明
图1是本发明基于重要性排序的地球应用模型编排系统架构图。
图2是地球应用模型依赖拓扑示意图。
图3是服务资源重要性评价排序示意图。
图4是服务资源重要性评价排序算法流程图。
图5是存储资源重要性评价排序算法流程图。
图6是地球应用模型自动编排流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明通过整合服务评价排序技术、服务智能编排技术等，实现了云计算环境下地球应用模型的自动编排管理过程，系统架构如图1所示，地球应用模型依赖拓扑示意如图2所示。所述地球应用模型依赖拓扑由服务节点(圆形)和存储节点(正方形)组成，箭头方向为依赖方向。地球应用模型自动编排通过对云环境中服务资源和存储资源评价，根据地球应用模型依赖拓扑选择优质资源组装成地球应用模型实例。一种基于重要性排序的地球应用模型编排系统及其方法，包括资源信息聚合分析模块、依赖资源重要性评价排序模块、在线地球应用模型智能编排模块。地球应用模型编排系统的执行流程包括：
a、资源信息聚合与分析模块，建立资源目录和路由机制实现资源信息汇聚，通过在线监控机制实现资源运行指标采集，通过运行指标的聚合分析实现资源状态表征，支撑依赖资源重要性评价评价排序过程。
b、依赖资源重要性评价排序模块，通过服务资源重要性评价排序算法和存储资源重要性评价排序算法实现优质资源筛选，通过优质资源推荐支撑在线地球应用模型智能编排过程。
c、在线地球应用模型智能编排模块，根据需求构建地球应用模型依赖拓扑，结合资源重要性评价排序算法，递归进行依赖服务资源、存储资源、配置资源、计算资源的自动编排过程。
下面结合附图2-6对各模块的组成和功能进行详细说明。
所述资源信息聚合与分析模块用于服务资源、存储资源信息的聚合分析，支撑依赖资源重要性评价排序过程，包括资源注册与发现、资源运行时监控、资源指标聚合分析三个子功能模块。参照图1所示的资源信息聚合分析模块部分。具体实施步骤如下：
(1)资源注册与发现
建立资源目录和路由机制，资源提供者通过主动或被动的方式将访问地址注册到资源目录，实现资源信息的汇聚。所述资源信息包括服务资源和存储资源。
(2)资源运行时监控
通过在线监控机制，实时采集资源运行指标。对于服务资源，采集CPU占用率、内存占用率、磁盘占用率、网络带宽占用率等基础指标，并且通过解析地球应用模型服务调用的上下文日志信息重塑服务调用链路，采集服务响应时间、服务调用次数(包括调用失败次数)等基础指标；对于存储资源，采集存储使用量、每秒处理查询数、每秒处理事务数、每秒处理磁盘I/O操作数等基础指标。
(3)资源指标聚合分析
进行服务资源、存储资源基础指标信息的聚合分析，作为资源重要性评价的决策因素，为依赖资源重要性评价排序模块提供数据支撑。在步骤(2)所示基础指标的基础上，进一步构建资源聚合指标。服务资源聚合指标包括平均资源占用率(RUR)，资源使用失衡度(RID)，服务吞吐量(TH)，平均响应时间(RT)、服务等级协议违反率(SLA)和访问错误率(ERR)等。所述RUR聚合指标定义为各类资源(包括CPU、内存等)占用率的均值。所述RID聚合指标定义为各类资源占用率的方差。所述TH聚合指标定义为服务在观测时间窗口内的总访问数。所述SLA聚合指标定义为服务响应违反时间与平均响应时间RT的比值，设置服务响应阈值δ，平均响应时间RT大于δ即为违反，违反时间定为RT-δ。所述ERR指标定义为观测时间窗口内服务请求的成功访问数与总访问数的比值；存储资源聚合指标包括地球应用模型存储的剩余可用容量(CAP)、平均处理查询数(QPS)、平均处理事务数(TPS)和平均处理磁盘I/O操作数(IOPS)。其中，CAP聚合指标定义为观测时间窗口内存储资源配额与存储资源使用量的差值。其他聚合指标包括QPS、TPS、IOPS定义为观测时间窗口内相应指标的均值。
所述资源重要性评价排序模块用于地球应用模型依赖资源的重要性评价，通过自动推荐优质资源实例支撑依赖资源的智能编排过程，包括服务资源重要性评价排序和存储资源重要性评价排序两个子功能模块。服务资源重要性评价排序示意图参照图3，服务资源重要性评价排序的算法流程参照图4，存储资源重要性评价排序的算法流程参照图5，具体实施步骤如下：
(1)服务资源重要性评价排序
服务资源重要性评价与排序，通过算法分析相同功能服务资源的重要性价值，自动推送价值大的服务资源参与地球应用模型依赖编排。参照图3、4，包括服务资源预选、服务资源优选和服务资源排序三个步骤。总体流程为：首先，通过服务资源预选剔除异常服务实例。然后，通过服务资源优选评估服务重要性价值。最后，通过根据重要性价值大小进行服务实例排序，推送重要性价值最大的实例参与地球应用模型依赖资源编排。详细实施步骤如下：
a、服务资源预选
基于孤立森林模型进行服务资源异常分析，剔除异常服务以防止异常服务资源参与编排带来地球应用模型服务性能隐患。异常服务相较于正常服务通常表现出资源消耗大、响应时间长、SLA违反率高等特点，具有较为明显的离群性。所提基于孤立森林模型的服务资源预选方法，通过多次切分服务特征空间以孤立样本离群点，进而实现服务异常的检测。参照图4，具体实施步骤如下：
①构造服务特征空间
在资源信息聚合分析的基础上，选取六类典型聚合特征构建地球应用模型服务特征空间SF，如式(1)，以此作为服务资源异常分析的决策因素。式中RUR,RID,SLA,QPS,RT,ERR分别为地球应用模型服务的平均资源占用率、资源使用失衡度、SLA违反率、服务吞吐量、服务平均响应时间、和服务访问错误率。
SF＝(RUR,RID,SLA,QPS,RT,ERR) (1)
基于式(1)所述服务特征空间，采集历史环境下服务特征样本数据构建训练集ST，用于孤立森林模型的训练。为了消除量纲不同带来的影响，ST已进行特征归一化处理，即：特征原始值/特征最大值。同理，采集当前环境下服务特征样本数据构建测试集SI，作为待评价服务集合。
⑤构造基于孤立森林的异常检测模型
使用训练集ST构造具有t棵子树，子树大小为的孤立森林，每棵子树的高度限制l与子树大小/>的关系为/>所述孤立森林模型的构造包括如下四个步骤：
步骤1：从ST随机采样个样本，作为一棵孤立树的根节点。
步骤2：随机选择一个属性q∈SF，在属性q取值范围内，随机产生一个切割点p。此切割点的选取生成了一个超平面，将当前节点的数据空间切分为2个子空间。把当前节点数据中属性值小于p的数据构建为左分支，把大于等于p的数据构建为右分支。
步骤3：在节点的左分支和右分支递归步骤2，不断构造新的叶子节点，直到叶子节点上只有一个样本数据或树已经生长到限制高度l。
步骤4：迭代步骤1～3，构建一个具有t棵子树的孤立森林模型，以此作为地球应用模型服务的异常检测模型。
⑥异常服务检测过滤
引入异常值函数用于检测服务的异常状态，如式(2)。E(h(SF))为当前检测服务的特征向量SF在孤立森林子树中路径长度的期望值。/>为孤立森林中包含/>个样本数据的孤立树的平均路径长度，如式(3)，ξ为欧拉常数。当/>即异常分数接近1时，服务被判定为异常。
通过式(2)评估并标记测试集SI中样本的异常状态(“1”表示正常，“-1”表示异常)，进一步剔除异常服务后获得预选服务特征集合S'。
b、服务资源优选
在服务资源预选的基础上，进一步通过改进多准则决策方法评估服务资源的重要性，实现服务资源优选。由于传统方法使用服务特征值加权法评估服务重要性，可能出现个别属性值相对较优导致服务排名靠前的现象。因此，所提方法使用熵权法改进多准则决策法的指标权重系数，综合考虑各项特征的作用，实现更为准确的服务重要性评价。参照图4，具体实施步骤如下：
③计算服务特征权重系数
首先，使用式(4)通过预选服务特征集合S'计算服务特征信息熵Ej。式中N为预选服务特征集合S'的容量，pij为预选服务特征的概率。
然后，根据服务特征信息熵，使用式(5)计算服务特征权重系数Wj。式中K为服务特征空间维数。
④改进多准则决策方法评价服务重要性
首先，使用步骤①中所述的服务特征权重Wj作为多准则决策方法中决策指标的权重系数，实现方法的增强。然后，使用改进后的多准则决策法进行服务重要性评价，包括如下五个步骤：
步骤1：使用预选服务特征集合S'构建N行K列的服务重要性决策矩阵DMN×K，N为S'的容量，K为特征空间维数。DMN×K矩阵元素值gij为归一化的服务特征值。矩阵每一行为一个预选服务的特征向量，也称为评价对象。
步骤2：计算正则化的服务重要性决策矩阵NDMn×k，NDMn×k矩阵元素
步骤3：确定最优方案和最劣方案/>最优方案的确定方法为：对于正向特征取所有样本中相应特征的最大值，对于负向特征取取所有样本中相应特征的最小值。比如，资源占用率指标RUR为负向特征，则取所有样本中所述指标的最小值作为最优方案的相应特征值。最劣方案则相反，正向特征取最小值，负向特征取最大值。
步骤4：计算各评价对象与最优方案的距离Di +、最劣方案的距离Di -，如式(6)，式中Wj为式(5)所述的服务特征权重系数。
步骤5：根据最优、最劣距离计算服务重要性价值Vi，如式(7)。Vi越大说明服务越重要，反之则越不重要。
通过式(7)评价后，预选服务特征集合S′被转换为优选服务特征集合S”。
c、服务资源排序
根据步骤b所述的服务重要性价值从大到小对优选服务特征集合S”进行服务重要性排序，选取重要性价值最大的K1个服务作为推荐服务集合S。同时，建立与在线地球应用模型组装模块的服务推送机制，提供近实时的服务资源推荐功能。
(2)存储资源重要性评价排序
存储资源重要性评价与排序，通过算法分析相同功能存储资源的重要性价值，自动推送价值大的存储资源参与地球应用模型依赖编排。参照图5，包括存储评价和存储排序两个步骤，具体实施步骤如下：
a、存储资源评价
在存储特征空间构建的基础上，使用改进的多准则决策方法评价存储资源的重要性。参照图5，具体实施步骤如下：
①构造存储特征空间
在存储资源信息聚合分析的基础上，选取四类典型指标特征构建地球应用模型存储特征空间，如式(8)，以此作为存储资源异常分析的决策因素。式中CAP,QPS,TPS,IOPS分别为地球应用模型存储的容量、平均处理查询数、平均处理事务数、平均处理磁盘I/O操作数。
DF＝(CAP,QPS,TPS,IOPS) (8)
基于式(8)所述存储特征空间，采集当前环境存储特征样本数据集DI，作为存储资源评价集合。
②计算存储特征权重系数
使用熵权法计算特征权重系数。包括使用特征样本数据集计算存储特征信息熵，基于特征信息熵计算存储特征权重系数两个步骤。具体参照服务特征权重系数的计算方法。
③多准则决策方法评价存储重要性
使用基于熵权法的特征权重系数改进多准则决策方法以评价存储资源的重要性。包括使用存储特征样本数据集构建存储重要性决策矩阵，进行存储重要性决策矩阵正则化，确定最优方案和最劣方法，计算评价对象与最优方案、最劣方案的距离，以及计算存储资源重要性价值五个步骤。具体参照服务资源重要性评价方法，此处不再赘述。
b、存储排序
根据步骤a所述的存储资源重要性价值从大到小对存储特征样本集DI进行存储重要性排序，选取重要性价值最大的K2个存储作为推荐存储集合D。同时，建立与在线地球应用模型组装模块的存储推送机制，提供近实时的存储资源推荐功能。
所述在线地球应用模型智能组装模块用于依赖资源的智能化编排，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排四个子功能模块。参照图6，具体实施步骤如下：
首先，提供图形化交互界面构建地球应用模型依赖拓扑。参照图2，所述地球应用模型依赖拓扑包含服务节点和存储节点，节点之间通过资源标识建立关联关系，箭头指向被依赖资源；然后，基于可视化的地球应用模型依赖拓扑，采用递归节点的方式自动编排地球应用模型依赖的各类资源，包括：
(1)服务资源编排
参照图6中路径①，通过依赖服务资源标识SvcID检索服务资源数据库是否存在可选服务资源实例，存在则通过资源评价排序模块进行服务资源重要性评价排序，自动组装推荐的重要性价值最大的服务资源实例(记录所述服务资源实例的访问地址，其后注入编排服务的配置文件)。若没有检索到相关服务资源实例，则先对依赖服务自身进行编排，编排完成后再回溯到当前编排服务。
(2)存储资源编排
参照图6中路径②，通过依赖存储资源标识DataID检索存储资源数据库是否存在可选存储资源实例，存在则通过资源评价排序模块进行存储资源重要性评价排序，自动组装推荐的重要性价值最大的存储资源实例(记录所述存储资源实例的访问地址，其后注入编排服务的配置文件)。若没有检索到相关存储资源实例，则根据服务自身提供的存储模板创建存储实例。
(3)配置资源编排
参照图6中路径③，通过配置资源标识CfgID检索配置资源数据库是否存在已被激活的配置实例，并将步骤(1)(2)所述的依赖服务资源和存储资源的连接信息注入所述配置实例，使用配置挂载方法注入服务容器。若没有检索到相关配置实例，则进行新建。
(4)计算资源编排
参照图中路径④，通过对地球应用模型依赖拓扑中未部署的服务节点分配计算资源、配置运行参数，使用容器技术部署运行；对于已部署的服务节点则更新服务配置，刷新依赖资源连接信息。服务节点计算资源分配Q'通过相同类型的历史服务计算资源的平均使用量确定，关系为/>调节系数δ根据实际应用场景确定。
本发明还提出一种基于重要性排序的地球应用模型编排方法，通过所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型服务编排。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，利用所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，通过所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于重要性排序的地球应用模型编排系统，其特征在于，包括：
资源信息聚合分析模块，用于地球应用模型依赖资源信息的聚合分析，包括资源注册与发现、资源运行时监控、资源指标聚合分析，以支撑地球应用模型依赖资源重要性评价排序过程；
资源重要性评价排序模块，用于地球应用模型依赖资源的重要性评价排序，包括服务资源重要性评价排序和存储资源重要性评价排序，以自动推荐优质资源实例支撑地球应用模型资源智能编排过程；
在线地球应用模型智能编排模块，用于地球应用模型依赖资源的智能化编排，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排，以实现地球应用模型服务能力集成；
其中：
所述资源重要性评价排序模块包括服务资源重要性评价排序子功能模块和存储资源重要性评价排序子功能模块；
服务资源重要性评价排序子功能模块包括服务预选子功能模块、服务优选子功能模块和服务排序子功能模块，其中服务预选子功能模块用于构造服务特征空间，基于孤立森林模型进行服务资源异常分析，剔除异常服务，以防止异常服务资源参与编排带来地球应用模型服务性能隐患；服务优选子功能模块用于在服务预选的基础上进行服务优选，通过熵权法调整多准则决策方法的指标权重，以综合考虑服务各项特征的作用，实现更为准确的服务重要性评价；服务排序子功能模块用于根据服务资源重要性大小排序服务并进行top-k操作，通过建立与在线地球应用模型编排模块的服务推送机制，以提供近实时的服务资源推荐功能；
存储资源重要性评价排序子功能模块包括存储评价子功能模块和存储排序子功能模块，其中存储评价子功能模块用于在构建存储特征空间的基础上，通过熵权法调整多准则决策方法的指标权重，以综合考虑存储资源各项特征的作用，实现更为准确的存储资源重要性评价；存储排序子功能模块用于根据存储资源重要性大小排序存储并进行top-k推荐。
2.根据权利要求1所述的基于重要性排序的地球应用模型编排系统，其特征在于，所述资源信息聚合分析模块包括资源注册与发现子功能模块、资源运行时监控子功能模块、资源指标聚合分析子功能模块，其中：
资源注册与发现子功能模块，用于建立资源目录，通过将资源地址注册到资源目录，实现服务资源和存储资源的汇聚与共享；
资源运行时监控子功能模块，用于资源运行状态的监控，实现资源运行指标信息的采集存储；对于服务资源，采集CPU占用率、内存占用率、磁盘占用率、网络带宽占用率，并且通过解析地球应用模型服务调用的上下文日志信息重塑服务调用链路，采集服务响应时间、服务调用次数；对于存储资源，采集存储使用量、每秒处理查询数、每秒处理事务数、每秒处理磁盘I/O操作数；
资源指标聚合分析子功能模块，用于资源聚合，实现资源运行指标、访问指标的聚合，以此作为资源重要性评价的决策因素，为依赖资源重要性评价排序模块提供数据支撑。
3.根据权利要求2所述的基于重要性排序的地球应用模型编排系统，其特征在于，所述资源指标聚合分析子功能模通过构建资源聚合指标进行资源聚合，其中：
服务资源聚合指标包括平均资源占用率(RUR)、资源使用失衡度(RID)、服务吞吐量(TH)、平均响应时间(RT)、服务等级协议违反率(SLA)和访问错误率(ERR)，其中资源使用失衡度为CPU、内存等资源占用率的方差；服务等级协议违反率为服务响应违反时间与平均响应时间的比值，设置服务响应阈值δ，平均响应时间大于δ即为违反，违反时间定为RT-δ；访问错误率为观测时间窗口内服务请求的成功访问数与总访问数的比值；
存储资源聚合指标包括地球应用模型存储可用容量(CAP)、平均处理查询数(QPS)、平均处理事务数(TPS)和平均处理磁盘I/O操作数(IOPS)；其中，存储可用容量为观测时间窗口内存储资源配额与存储资源使用量的差值，QPS、TPS、IOPS分别为观测时间窗口内相应指标的均值。
4.根据权利要求1所述的基于重要性排序的地球应用模型编排系统，其特征在于，所述服务预选子功能模块用于构造服务特征空间，基于孤立森林模型进行服务资源异常分析，剔除异常服务，实施步骤如下：
①构造服务特征空间
首先，在资源信息聚合分析的基础上，选取六类典型聚合特征构建地球应用模型服务特征空间SF，如式(1)，以此作为服务资源异常分析的决策因素；
SF＝(RUR,RID,SLA,QPS,RT,ERR) (1)
式中RUR,RID,SLA,QPS,RT,ERR为地球应用模型服务的平均资源占用率、资源使用失衡度、SLA违反率、服务吞吐量、服务平均响应时间、和服务访问错误率；
然后，基于式(1)所述服务特征空间，采集历史环境下服务特征样本数据构建训练集ST，用于孤立森林模型的训练，其中训练集ST已进行特征归一化处理，即：特征原始值/特征最大值，同理，采集当前环境下服务特征样本数据构建测试集SI，作为待评价服务集合；
②构造基于孤立森林的异常检测模型
使用训练集ST构造具有t棵子树，子树大小为的孤立森林，每棵子树的高度限制l与子树大小/>的关系为/>孤立森林模型的构造包括如下四个步骤：
步骤1：从ST随机采样个样本，作为一棵孤立树的根节点；
步骤2：随机选择一个属性q∈SF，在属性q取值范围内，随机产生一个切割点p，此切割点的选取生成了一个超平面，将当前节点的数据空间切分为2个子空间，把当前节点数据中属性值小于p的数据构建为左分支，把大于等于p的数据构建为右分支；
步骤3：在节点的左分支和右分支递归步骤2，不断构造新的叶子节点，直到叶子节点上只有一个样本数据或树已经生长到限制高度l；
步骤4：迭代步骤1～3，构建一个具有t棵子树的孤立森林模型，以此作为地球应用模型服务的异常检测模型；
③异常服务检测过滤
引入异常值函数用于检测服务的异常状态，如式(2)，E(h(SF))为当前检测服务的特征向量SF在孤立森林子树中路径长度的期望值，/>为孤立森林中包含/>个样本数据的孤立树的平均路径长度，如式(3)，ξ为欧拉常数，当/>即异常分数/>接近1时，服务被判定为异常；
通过式(2)评估并标记测试集SI中样本的异常状态，“1”表示正常，“-1”表示异常，进一步剔除异常服务后获得预选服务特征集合S′。
5.根据权利要求1所述的基于重要性排序的地球应用模型编排系统，其特征在于，所述服务优选子功能模块用于在服务预选的基础上进行服务优选，通过熵权法调整多准则决策方法的指标权重，实施步骤如下：
①计算服务特征权重系数
首先，使用式(4)通过预选服务特征集合S′计算服务特征信息熵Ej，式中N为预选服务特征集合S′的容量，pij为预选服务特征的概率；
然后，根据服务特征信息熵，使用式(5)计算服务特征权重系数Wj，式中K为服务特征空间维数；
②改进多准则决策方法评价服务重要性
首先，使用步骤①中所述的服务特征权重Wj作为多准则决策方法中决策指标的权重系数，实现方法的增强，然后，使用改进后的多准则决策法进行服务重要性评价，包括如下五个步骤：
步骤1：使用预选服务特征集合S′构建N行K列的服务重要性决策矩阵DMN×K，N为S′的容量，K为特征空间维数，DMN×K矩阵元素值gij为归一化的服务特征值，矩阵每一行为一个预选服务的特征向量，也称为评价对象；
步骤2：计算正则化的服务重要性决策矩阵NDMn×k，NDMn×k的元素
步骤3：对于正向特征取所有样本中相应特征的最大值，对于负向特征取取所有样本中相应特征的最小值，确定最优方案和最劣方案/>
步骤4：计算各评价对象与最优方案的距离Di +、最劣方案的距离Di -，如式(6)，式中Wj为式(5)所述的服务特征权重系数；
步骤5：根据最优、最劣距离计算服务重要性价值Vi，如式(7)，Vi越大说明服务越重要，反之则越不重要；
通过式(7)评价后，预选服务特征集合S′被转换为优选服务特征集合S”。
6.根据权利要求1所述的基于重要性排序的地球应用模型编排系统，其特征在于，所述在线地球应用模型智能编排模块包括服务资源编排子功能模块、存储资源编排子功能模块、配置资源编排子功能模块、计算资源编排子功能模块，其中：
服务资源编排子功能模块，用于提供图形化交互界面构建地球应用模型依赖拓扑，通过服务资源数据库检索可选服务资源实例，存在则进行服务资源重要性评价排序，自动组装推荐的服务资源实例，不存在则先对依赖服务自身进行编排，编排完成后再回溯到当前编排服务；
存储资源编排子功能模块，用于采用递归地球应用模型的方式自动进行地球应用模型依赖资源的组装，通过存储资源数据库检索可选存储资源实例，存在则进行存储资源重要性评价排序，自动组装推荐的存储资源实例，不存在则根据存储模板自动创建；
配置资源编排子功能模块，用于通过配置资源数据库检索相关配置实例集合，存在则获取当前激活的配置实例，并且将编排完成的依赖服务资源和存储资源的连接信息更新到所述配置实例，使用配置挂载方法注入服务容器，不存在则根据配置模板自动创建；
计算资源编排子功能模块，用于通过聚类分析自适应分配计算资源，配置运行参数，完成地球应用模型的自动编排过程。
7.一种基于重要性排序的地球应用模型编排方法，其特征在于，利用权利要求1-6任一项所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，利用权利要求1-6任一项所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，利用权利要求1-6任一项所述的基于重要性排序的地球应用模型编排系统，实现基于重要性排序的地球应用模型编排。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038247.3A CN115442242A (zh) | 2022-08-29 | 2022-08-29 | 一种基于重要性排序的工作流编排系统及其方法 |
| CN2022110382473 | 2022-08-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115858168A CN115858168A (zh) | 2023-03-28 |
| CN115858168B true CN115858168B (zh) | 2023-10-13 |
Family
ID=84245199
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211038247.3A Pending CN115442242A (zh) | 2022-08-29 | 2022-08-29 | 一种基于重要性排序的工作流编排系统及其方法 |
| CN202211625573.4A Active CN115858168B (zh) | 2022-08-29 | 2022-12-16 | 一种基于重要性排序的地球应用模型编排系统及其方法 |
| CN202211729747.1A Pending CN116186133A (zh) | 2022-08-29 | 2022-12-30 | 一种融合正排与倒排索引的电子文档管理方法 |
| CN202211731819.6A Active CN116127190B (zh) | 2022-08-29 | 2022-12-30 | 一种数字地球资源推荐系统及方法 |
| CN202310035450.3A Pending CN116542326A (zh) | 2022-08-29 | 2023-01-10 | 一种基于时序卷积的知识表示方法及系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211038247.3A Pending CN115442242A (zh) | 2022-08-29 | 2022-08-29 | 一种基于重要性排序的工作流编排系统及其方法 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211729747.1A Pending CN116186133A (zh) | 2022-08-29 | 2022-12-30 | 一种融合正排与倒排索引的电子文档管理方法 |
| CN202211731819.6A Active CN116127190B (zh) | 2022-08-29 | 2022-12-30 | 一种数字地球资源推荐系统及方法 |
| CN202310035450.3A Pending CN116542326A (zh) | 2022-08-29 | 2023-01-10 | 一种基于时序卷积的知识表示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (5) | CN115442242A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117370424B (zh) * | 2023-12-07 | 2024-02-13 | 深圳市易图资讯股份有限公司 | 经济信息分析的移动应用评论数据分析挖掘方法及系统 |
| CN117421487B (zh) * | 2023-12-19 | 2024-03-08 | 西安康奈网络科技有限公司 | 一种基于人工智能的多种网络信息筛分管理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684537A (zh) * | 2018-10-29 | 2019-04-26 | 昆明理工大学 | 一种面向业务流程的知识资源智能推送系统及其推送方法 |
| CN110795219A (zh) * | 2019-10-24 | 2020-02-14 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 适用于多种计算框架的资源调度方法及系统 |
| CN111752723A (zh) * | 2020-06-06 | 2020-10-09 | 中国科学院电子学研究所苏州研究院 | 一种可视化的多源服务管理系统及其实现方法 |
| CN112463363A (zh) * | 2020-11-06 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种资源编排方法、装置、设备及存储介质 |
| CN114138486A (zh) * | 2021-12-02 | 2022-03-04 | 中国人民解放军国防科技大学 | 面向云边异构环境的容器化微服务编排方法、系统及介质 |
| CN114422582A (zh) * | 2022-01-20 | 2022-04-29 | 中国科学院软件研究所 | 一种面向科技资源的服务动态组合方法及装置 |
| CN114638021A (zh) * | 2022-03-18 | 2022-06-17 | 北京邮电大学 | 物联网轻量级区块链系统安全性评价方法 |
| CN114756170A (zh) * | 2022-04-02 | 2022-07-15 | 苏州空天信息研究院 | 一种面向容器应用的存储隔离系统及其方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110078516A1 (en) * | 2009-09-28 | 2011-03-31 | International Business Machines Corporation | Method and a system for performing a two-phase commit protocol |
| US11537446B2 (en) * | 2019-08-14 | 2022-12-27 | Microsoft Technology Licensing, Llc | Orchestration and scheduling of services |
| CN111079009B (zh) * | 2019-12-11 | 2023-05-26 | 中国地质大学（武汉） | 一种用于政务地图服务的用户兴趣检测方法及系统 |
-
2022
- 2022-08-29 CN CN202211038247.3A patent/CN115442242A/zh active Pending
- 2022-12-16 CN CN202211625573.4A patent/CN115858168B/zh active Active
- 2022-12-30 CN CN202211729747.1A patent/CN116186133A/zh active Pending
- 2022-12-30 CN CN202211731819.6A patent/CN116127190B/zh active Active
-
2023
- 2023-01-10 CN CN202310035450.3A patent/CN116542326A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684537A (zh) * | 2018-10-29 | 2019-04-26 | 昆明理工大学 | 一种面向业务流程的知识资源智能推送系统及其推送方法 |
| CN110795219A (zh) * | 2019-10-24 | 2020-02-14 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 适用于多种计算框架的资源调度方法及系统 |
| CN111752723A (zh) * | 2020-06-06 | 2020-10-09 | 中国科学院电子学研究所苏州研究院 | 一种可视化的多源服务管理系统及其实现方法 |
| CN112463363A (zh) * | 2020-11-06 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种资源编排方法、装置、设备及存储介质 |
| CN114138486A (zh) * | 2021-12-02 | 2022-03-04 | 中国人民解放军国防科技大学 | 面向云边异构环境的容器化微服务编排方法、系统及介质 |
| CN114422582A (zh) * | 2022-01-20 | 2022-04-29 | 中国科学院软件研究所 | 一种面向科技资源的服务动态组合方法及装置 |
| CN114638021A (zh) * | 2022-03-18 | 2022-06-17 | 北京邮电大学 | 物联网轻量级区块链系统安全性评价方法 |
| CN114756170A (zh) * | 2022-04-02 | 2022-07-15 | 苏州空天信息研究院 | 一种面向容器应用的存储隔离系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于SDN与NFV的服务功能链编排算法;贾雨宁 等;北京邮电大学学报;第85-90页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542326A (zh) | 2023-08-04 |
| CN116127190B (zh) | 2023-07-28 |
| CN116127190A (zh) | 2023-05-16 |
| CN115442242A (zh) | 2022-12-06 |
| CN115858168A (zh) | 2023-03-28 |
| CN116186133A (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115858168B (zh) | 一种基于重要性排序的地球应用模型编排系统及其方法 | |
| US10902062B1 (en) | Artificial intelligence system providing dimension-level anomaly score attributions for streaming data | |
| CN110352415B (zh) | 大规模数据管理系统中利用图团体监测的预测表预连接 | |
| Ouadah et al. | SEFAP: an efficient approach for ranking skyline web services | |
| US20030208284A1 (en) | Modular architecture for optimizing a configuration of a computer system | |
| US20150019530A1 (en) | Query language for unstructed data | |
| US8694561B2 (en) | System and method of optimizing performance of schema matching | |
| CA2893912C (en) | Systems and methods for optimizing data analysis | |
| US10748166B2 (en) | Method and system for mining churn factor causing user churn for network application | |
| CN109359115B (zh) | 基于图数据库的分布式存储方法、装置及系统 | |
| CN116663938B (zh) | 基于企业数据中台系统的信息化管理方法及其相关装置 | |
| CN110210506B (zh) | 基于大数据的特征处理方法、装置和计算机设备 | |
| Huang et al. | An adaptively multi-attribute index framework for big IoT data | |
| US20230011128A1 (en) | Query generation from event-based pattern matching | |
| Abdullah et al. | An integrated-model QoS-based graph for web service recommendation | |
| Lyu et al. | Fine-grained modeling and optimization for intelligent resource management in big data processing | |
| Ouadah et al. | SkyAP-S3: a hybrid approach for efficient skyline services selection | |
| CN110377805A (zh) | 一种基于快速分支配排序算法的传感器资源推荐方法 | |
| CN116126415A (zh) | 一种基于场景的上云组件配置推荐方法及系统 | |
| Liu et al. | Towards dynamic reconfiguration of composite services via failure estimation of general and domain quality of services | |
| Xie et al. | Optimizing cost of continuous overlapping queries over data streams by filter adaption | |
| CN114911769A (zh) | 支持自定义动态标签构建的数据管理方法和系统 | |
| CN110059880B (zh) | 一种服务发现方法及装置 | |
| CN114329231A (zh) | 对象特征处理方法、装置、电子设备及存储介质 | |
| CN113641705A (zh) | 一种基于计算引擎的营销处置规则引擎方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |