CN116737311B - 信创生态服务云平台交互方法 - Google Patents
信创生态服务云平台交互方法 Download PDFInfo
- Publication number
- CN116737311B CN116737311B CN202310229463.4A CN202310229463A CN116737311B CN 116737311 B CN116737311 B CN 116737311B CN 202310229463 A CN202310229463 A CN 202310229463A CN 116737311 B CN116737311 B CN 116737311B
- Authority
- CN
- China
- Prior art keywords
- platform
- sub
- data
- service
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003993 interaction Effects 0.000 title claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 53
- 238000012423 maintenance Methods 0.000 claims abstract description 51
- 230000006978 adaptation Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000011161 development Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims description 36
- 238000005516 engineering process Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000013523 data management Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 8
- 239000002184 metal Substances 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000011056 performance test Methods 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 238000011990 functional testing Methods 0.000 claims 1
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 7
- 239000002071 nanotube Substances 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 12
- 238000013519 translation Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 208000014674 injury Diseases 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 230000008733 trauma Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000380131 Ammophila arenaria Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及信创领域,尤其涉及一种信创生态服务云平台交互方法。其中,信创生态服务云平台,包括:服务云平台门户和多个子平台;服务云平台门户为各个子平台提供通信入口;多个子平台,适配多种技术架构,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器云中。如此设置,云平台,可以通过具有数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案等微服务的子平台,为信创行业人员,提供研发环境、软硬件适配验证评估环境、数据支撑等服务,满足适配测试、统一纳管、IT架构替换及应用飘移验证等现实需求。
Description
技术领域
本申请涉及信创领域,尤其涉及一种信创生态服务云平台交互方法。
背景技术
在产业界各方的努力推动下,我国信创产业蓬勃发展,产业规模不断壮大,应用领域向纵深推进。但当前仍存在一些亟待解决的典型问题。信创行业人员缺乏研发环境、缺乏软硬件适配验证评估环境、缺乏数据支撑服务,无法满足适配测试、统一纳管、IT架构替换及应用飘移验证等现实需求。
发明内容
为至少在一定程度上克服上述问题,本申请提供一种信创生态服务云平台交互方法。
本申请的方案如下:
本申请提供一种信创生态服务云平台,包括:服务云平台门户和多个子平台;
所述服务云平台门户分别与各个所述子平台通信连接,并为各个所述子平台提供通信入口;
所述多个子平台,适配多种技术架构,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器云中。
在一些实施例中,所述多个子平台;包括:基础设施子平台、云原生子平台、大数据子平台、应用商店子平台、安全运维子平台、适配调优子平台、信创知识子平台和解决方案子平台;
所述基础设施子平台,用于提供包括信创虚拟机、裸金属、虚拟数据中心的硬件资源服务;
所述云原生子平台,用于提供包括容器云、微服务治理、DevOps的云原生服务;
所述大数据子平台用于提供包括数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
所述应用商店子平台用于提供包括安装、卸载、升级的软件资源服务;
所述安全运维子平台用于提供软硬件设备综合监控和运维保障服务;
所述适配调优子平台用于提供测试和验证服务;
所述信创知识子平台用于提供包括信创知识的采集、查询、推送、共享、智能问答的服务;
所述解决方案子平台用于优化验证并发布解决方案。
在一些实施例中,所述基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86和X86六种技术架构,统一接入各类云资源的管控技术接口。
在一些实施例中,所述云原生子平台与其它各所述子平台通信连接,用于在所述基础设施子平台提供的虚拟机上,部署多个容器,通过预设的容器编排引擎,对容器进行统一编排调度管理,实现自动化部署、大规模可伸缩、应用容器化管理,向其他子平台提供以容器为核心的、可扩展的高性能容器管理服务和微服务治理,对各个子系统的核心功能进行抽象和封装。
在一些实施例中,大数据子平台利用容器化技术扩充集群规模,采用TDP开发架构,搭载Flink、Spark、Kettle计算引擎,采用主从备份架构,配置有数据处理、分析工具,用于存储其他子平台的运维类数据和测试类数据,采集外部网络中网页数据、社交网络、多媒体数据和在线百科数据并进行存储,为其他子平台提供数据库、数据仓库和智能算法支撑。
在一些实施例中,所述应用商店子平台包括采用前端后端分离架构,所述前端利用图形化界面对各类软件资源进行分类展示;后端基于云原生子平台对接预设的主流代码仓库,基于大数据子平台提供的存储能力,将适配优化后的软件资源上架到应用商店,以提供多版本软件下载安装服务。
在一些实施例中,所述安全运维子平台,采集其它子平台的各类软硬件及平台运行数据,并进行监测,基于大数据子平台提供的孤立森林算法对平台运行数据进行单指标异常检测、多指标异常分析、智能告警、导航式排障和运维操作方案生成。
在一些实施例中,所述适配调优子平台,提供包括芯片和操作系统的不同架构的组合软硬件资源,进行功能测试、性能测试、接口测试或UI测试,比对不同架构的组合软硬件资源下的测试结果。
在一些实施例中,所述解决方案子平台,基于云原生子平台提供的容器,基于用户的权限,为不同的用户发布不同的解决方案。
本申请提供一种信创生态服务云平台交互方法,包括:
基于服务云平台门户获取指令信息;
通过所述服务云平台门户,访问所述基础设施子平台,并基于所述指令信息,通过所述基础设施子平台,构建硬件资源服务;其中,基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86和X86六种技术架构,提供虚拟机资源服务、裸金属资源服务、存储资源服务、网络资源服务;
通过所述服务云平台门户,访问所述云原生子平台,并基于所述指令信息,通过所述云原生子平台和硬件资源服务,构建软件服务;其中软件服务采用容器云和虚拟机结合的模式,在虚拟化平台上部署容器云,控制大数据子平台,进行数据服务;
基于所述指令信息,通过所述硬件资源服务、所述软件服务和所述数据服务、执行安装、卸载、升级的软件资源服务、软硬件设备综合监控和运维保障服务提供信创相关的测试和调试服务。
在一些实施例中,所述数据服务包括:数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
所述信创生态服务云平台交互方法还包括:
通过所述大数据子平台,为其他子平台提供数据库、数据仓库和智能算法支撑;
其中,所述大数据子平台,用于基于网页数据、社交网络、多媒体数据、在线百科获取数据,为所述信创知识子平台提供新创政策、产品信息和行业信息;
所述解决方案子平台用于向所述大数据子平台发送各个行业系统、运行数据、台账数据、用户信息;
所述安全运维子平台用于向所述大数据子平台发送基础软硬件、运行数据和报警数据;
所述适配调优子平台用于向所述大数据子平台发送测试标准、测试方法和测试数据;
所述云原生子平台,用于基于容器云服务为其它各个子平台提供服务。
在一些实施例中,还包括:
通过所述信创知识子平台,依托大数据子平台提供的信创知识,利用信息抽取和自然语言理解等技术,提供包括信创知识的采集、查询、推送、共享、智能问答的服务。
在一些实施例中,还包括:
通过所述解决方案子平台,优化验证并发布信创新创中的各个解决方案。
本申请还提供一种平台的跨架构飘移方法,应用于本申请提供的信创生态服务云平台,包括:
获取主机负载的历史数据和虚拟机负载的历史数据;
基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值;
当所述估计值不属于预设范围时,对虚拟机的数量进行增删和/或对主机上的虚拟机进行飘移,以维持所述主机和虚拟机的资源利用率处于预设范围。
在一些实施例中,所述基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值,包括:
采用线性回归法和K最近邻回归方法,基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值。
在一些实施例中,所述对主机上的虚拟机进行飘移,包括:
采用最小飘移时间的策略选择虚拟机在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行飘移。
在一些实施例中,采用动态辅助的静态二进制翻译器,在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行翻译适配,并对循环代码进行优化,屏蔽底层架构的差异,根据虚拟机负载进行弹性伸缩。
本申请提供的技术方案中:提供一种信创生态服务云平台,包括:服务云平台门户和多个子平台;所述服务云平台门户分别与各个所述子平台通信连接,并为各个所述子平台提供通信入口;所述多个子平台,适配多种技术架构,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器云中。如此设置本申请提供的云平台,可以通过具有数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案等微服务的子平台,为信创行业人员,提供研发环境、软硬件适配验证评估环境、数据支撑等服务,满足适配测试、统一纳管、IT架构替换及应用飘移验证等现实需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请一个实施例提供的一种信创生态服务云平台的结构示意图;
图2是本申请一个实施例提供的一种信创生态服务云平台的架构示意图;
图3是本申请一个实施例提供的一种信创生态服务云平台交互方法的流程示意图。
图4是本申请一个实施例提供的一种信创生态服务云平台的交互示意图。
图5是本申请一个实施例提供的一种异构平台的飘移方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
实施例一
图1是本实施例一个实施例提供的一种信创生态服务云平台的结构示意图,参照图1,信创生态服务云平台,包括:服务云平台门户和多个子平台;所述服务云平台门户分别与各个所述子平台通信连接,并为各个所述子平台提供通信入口;所述多个子平台,适配多种技术架构,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器云中。如此设置本申请提供的云平台,可以通过具有数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案等微服务的子平台,为信创行业人员,提供研发环境、软硬件适配验证评估环境、数据支撑等服务,满足适配测试、统一纳管、IT架构替换及应用飘移验证等现实需求。
进一步的,在实际应用中,当前面临的典型问题还包括:产业侧在进行应用研发、飘移过程中,会遇到适配兼容等疑难杂症,缺少仿真环境和信创经验知识服务;行业主管部门制定决策时缺少全面、系统、客观的数据支撑服务;信创从业者需要深入掌握信创技术,但缺少体验全栈信创技术的环境及信创技术实训服务,等等。
基于以上问题,参照图2,本申请以国产化的CPU(申威、龙芯、鲲鹏、飞腾、兆芯、海光)、操作系统(麒麟、统信)为底座,自主研发云平台,统筹利用计算、存储、网络、安全、应用支撑、信息资源等软硬件资源,兼容适配SW64、LoongArch、MIPS、ARM、C86、X86六种技术路线,发挥云计算虚拟化、高可靠性、高通用性、高可扩展性及快速、弹性、按需自助服务等特征,打造八个子平台(基础设施子平台、云原生子平台、大数据子平台、应用商店子平台、安全运维子平台、适配调优子平台、信创知识子平台、解决方案子平台)和一个门户,面向主管部门、重点行业、产业生态合作伙伴、信创从业人员等用户,提供国产化的产品研发环境、软硬件适配验证评估环境、数据支撑等服务,满足适配测试、统一纳管、IT架构替换及应用飘移验证等现实需求。
基于此,所述多个子平台包括:基础设施子平台、云原生子平台、大数据子平台、大数据子平台、应用商店子平台、安全运维子平台、适配调优子平台、信创知识子平台和解决方案子平台。
在一些实施例中,所述基础设施子平台,用于提供包括信创虚拟机、裸金属、虚拟数据中心的硬件资源服务;
具体的,基础设施子平台(IaaS):基于国产服务器,提供信创虚拟机、裸金属、虚拟数据中心等硬件资源服务,减少自建环境的成本,即时使用;平台适配了SW64、ARM、MIPS、LoongArch、C86、X86六种技术架构,统一接入各类云资源的管控技术接口和对接参数配置,实现底层数据同步、业务逻辑模型重定义、高级资源调度策略关联。为租户提供一个逻辑安全隔离的私有云网络环境,租户可以自由编排虚拟私有网络、路由器、防火墙、安全组、负载均衡器、浮动IP、VPN等网络元素。支持复杂运维任务流组合、可重用的模板,用户可设置命令或脚本的执行流程、执行周期等控制策略,适用于一系列关联性运维操作的复杂场景。
所述云原生子平台,用于提供包括容器云、微服务治理、DevOps的云原生服务;
具体的,云原生子平台(PaaS):提供容器云、微服务治理、DevOps等云原生服务,便于应用系统标准化封装部署、持续集成、持续交付、灰度发布,加速软件的敏捷交付。容器化的应用提供多租户权限管理、多集群管理、DevOps、微服务治理基本功能、弹性伸缩、灰度发布、交付中心、快速接入原生资源(YAML、Helm)、多维度监控与运维中心等主要模块。基于标准的容器云平台快速交付能力,提高了产品的易用性,简单有价值,降低用户使用容器平台的学习成本,保障开发、测试、运维等多角色有效工作,从而保证满足大多数用户的需求。
所述大数据子平台用于提供包括数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
具体的,大数据子平台(DaaS):提供其他子平台数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化等服务。平台将数据模型、实体业务数据、业务与技术元数据、数据加工程序、数据质量检查等作为数据对象进行管理,制定数据结构标准规范,包括目录、模型标准规则、数据元、代码集以及常用词汇,实现数据互联互通、信息共享、业务协同。帮助客户建立起符合自身特征的数据架构和数据治理体系,支撑贯穿组织数据处理与应用全过程的全流程,全生命周期的数据处理、数据治理和数据管控的一体化建设,为各类组织提供了一站式数据治理运营平台,满足组织数据共享交换、数据开发、数据运营多种应用场景。
在一些实施例中,所述应用商店子平台用于提供包括安装、卸载、升级的软件资源服务;
具体的,应用商店子平台(AaaS):通过对接开源社区以及各类软件厂商,获取各类软件的多个版本,经过功能、性能、安全性、兼容性、自主可控度等多个维度的测试验证、优化改造,将各类基础软件、办公软件、应用软件的多个版本上传至应用商店中心,为信创从业者提供信创操作系统、数据库、中间件、开源软件等多版本软件的安装、卸载、升级等软件资源服务。
在一些实施例中,所述安全运维子平台用于提供软硬件设备综合监控和运维保障服务;
具体的安全运维子平台(OaaS):提供对各种国产化网络、主机(终端、服务器)、存储设备、数据库、中间件、应用软件、机房环境等各种软硬件设备综合监控和运维保障。平台将所有IT对象的各类属性统一数据化模型抽象管理,提供协议对接、探针、插件、柔性阈值调整、场景化联动采集等多元、安全、智能的采集技术,通过简单配置快速实现各类软硬件资源的全栈式监控,具有敏捷的监控需求适应能力。通过智能分析引擎,提供时序数据实时分析、场景聚类、回归分析、根因分析、关联关系分析、容量预测、瓶颈分析等分析能力,及时发现问题,快速定位原因。
在一些实施例中,所述适配调优子平台用于提供信创相关的测试和验证服务;
具体的,适配调优子平台(TaaS):提供涵盖功能测试、性能测试、接口测试、UI测试等一站式持续测试服务及多种路线组合对比分析、自动定位、性能调优服务;平台可组合芯片CPU(申威、龙芯、鲲鹏、飞腾、兆芯、海光)和操作系统(麒麟、统信)不同的技术路线,基于云原生子平台提供的DevOps服务和容器化弹性伸缩能力,将持续测试融入持续交付体系,模拟超大线程并发场景,进行对比测试,横向对比不同技术路线间的性能差距,纵向可与WINTEL的方案进行对比,分析与国外技术路线的性能差距,为用户技术选型提供数据支撑。
在一些实施例中,所述信创知识子平台用于提供包括信创知识的采集、查询、推送、共享、智能问答的服务;
具体的,信创知识子平台(KaaS):提供信创技术、产品、政策、标准等知识采集、查询、推送,知识共享空间、智能问答等服务;从网络大数据公开的碎片化数据中获取的多源异构、语义多样、动态演化的知识,依靠信息抽取和自然语言理解等技术,通过冲突检测和一致性检查,对知识进行正确性判断,去粗取精,将验证正确的知识通过对齐关联、合并计算有机地组织成知识库,为用户提供“所搜即所得”的智能服务,同时通过知识的分类,有效识别用户的搜索意图,提供更加精准的检索结果,优化搜索结果展示,实现智能推理,提高信息推荐质量等。
在一些实施例中,所述解决方案子平台用于优化验证并发布信创中的各个解决方案。
具体的,解决方案子平台(SaaS):优化验证并发布展示党政、金融、能源、医疗等行业典型应用解决方案,与行业侧共享攻关成果,加速优秀解决文案的孵化推广。基于门户模型打造对外开放的门户网站,作为平台的统一入口,主管部门、行业侧、产业侧、信创从业者等用户可通过门户访问其他各个平台,另外平台可发布信创政策解读及标准规范、信创行业动态、信创公益培训课程等内容。
本申请还提供一种信创生态服务云平台的交互方法,参照图3和图4,信创生态服务云平台的交互方法,包括:
步骤S310,基于服务云平台门户获取指令信息;
步骤S320,通过所述服务云平台门户,访问所述基础设施子平台,并基于所述指令信息,通过所述基础设施子平台,构建硬件资源服务;其中,基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86和X86六种技术架构,提供虚拟机资源服务、裸金属资源服务、存储资源服务、网络资源服务;
步骤S330,通过所述服务云平台门户,访问所述云原生子平台,并基于所述指令信息,通过所述云原生子平台和硬件资源服务,构建软件服务;其中软件服务采用容器云和虚拟机结合的模式,在虚拟化平台上部署容器云。
步骤S340,控制大数据子平台,进行数据服务;
步骤S350,基于所述指令信息,通过所述硬件资源服务、所述软件服务和所述数据服务、执行安装、卸载、升级的软件资源服务、软硬件设备综合监控和运维保障服务提供信创相关的测试和调试服务。
其中,所述数据服务包括:数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
本申请提供的信创生态服务云平台交互方法还包括:
通过所述大数据子平台,为其他子平台提供数据库、数据仓库和智能算法支撑;
其中,所述大数据子平台,用于基于网页数据、社交网络、多媒体数据、在线百科获取数据,为所述信创知识子平台提供新创政策、产品信息和行业信息;
所述解决方案子平台用于向所述大数据子平台发送各个行业系统、运行数据、台账数据、用户信息;
所述安全运维子平台用于向所述大数据子平台发送基础软硬件、运行数据和报警数据;
所述适配调优子平台用于向所述大数据子平台发送测试标准、测试方法和测试数据;
所述云原生子平台,用于基于容器云服务为其它各个子平台提供服务。
本申请提供的方案,还包括:
通过所述信创知识子平台,依托大数据子平台提供的信创知识,利用信息抽取和自然语言理解等技术,提供包括信创知识的采集、查询、推送、共享、智能问答的服务。
本申请提供的方案还包括:
通过所述解决方案子平台,优化验证并发布信创中的各个解决方案。
上述方法是依托于本申请提供的信创生态服务云平台实现的。参照图4,具体的实现方式如下:本发明采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将大数据平台、应用商店平台、安全运维平台、适配调优平台、应用商店平台、安全运维平台、适配调优平台、信创知识库平台、解决方案平台通过微服务的方式部署在容器中,即解决只使用虚拟机带来的运行速度差的问题,又解决容器之间隔离性差的问题;另外利用大数据技术将其他子平台的运行数据、业务数据等结构化、半结构化、非结构化数据汇聚到大数据及服务平台中,减轻基础设施子平台分布式计算、分布式存储以及内存计算压力,提高平台的运行效率。
在一些实施例中,所述基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86、X86六种技术架构,统一接入各类云资源的管控技术接口和对接参数配置。
具体的,基础设施子平台(IaaS):信创生态服务云平台以基础设施子平台为底座,向上提供虚拟机、裸金属、存储、网络等基础资源,平台在KVM的基础上,对qcow2、libvirt以及qemu的参数进行了设置调优,在性能、安全、漏洞以及虚拟机支持、自动化部署方面进行了底层开发、系统固化及优化改造,大大提升了虚拟机的性能和稳定性,并在国产技术路线SW64、LoongArch、MIPS上进行了适配调优。采用NUMA(Non-Uniform Memory Access)非统一内存访问架构,将物理CPU和内存划分到一个区域(NUMA节点),使用高性能连接将多个具有成本效益的小型节点连接起来,确保物理Node资源均衡,物理Node资源不均衡时Host NUMA临时将vCPU调度到其它Node运行。
在一些实施例中,所述云原生子平台与其它各所述子平台通信连接,用于在所述基础设施子平台提供的虚拟机上,部署多个容器,通过预设的容器编排引擎,对容器进行统一编排调度管理,实现自动化部署、大规模可伸缩、应用容器化管理,向其他子平台提供以容器为核心的、可扩展的高性能容器管理服务和微服务治理,对各个子系统的核心功能进行抽象和封装。
具体的,云原生子平台(PaaS):在基础设施子平台提供的虚拟机上,部署N多个Docker容器,深度集成并优化Kubernetes容器编排引擎,对Docker容器进行统一编排调度管理,实现自动化部署、大规模可伸缩、应用容器化管理。基于原生kubernetes+Docker技术向其他子平台提供以容器为核心的、高度可扩展的高性能容器管理服务、微服务治理、DevOps服务,通过声明式的API与可扩展(CRD+Controller)的编程接口,把系统的核心功能进行抽象和封装,为用户提供一个高度抽象、易操作的交互方式,使得基础设施更加标准化,复杂度降低,资源使用率提升。平台采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,即解决只使用虚拟机带来的运行速度差的问题,又解决容器之间隔离性差的问题。
在一些实施例中,大数据子平台利用容器化技术扩充集群规模,采用TDP开发架构,搭载Flink、Spark、Kettle计算引擎,采用主从备份架构,配置有数据处理、分析工具,用于存储其他子平台的运维类数据、测试类数据等数据,采集外部网络中网页数据、社交网络、多媒体数据、在线百科数据并进行存储,为其他子平台提供数据库、数据仓库、智能算法支撑。
具体的,大数据子平台(DaaS):作为信创生态服务云平台核心数据层,利用容器化技术扩充集群规模,平台采用TDP开发架构,搭载Flink、Spark、Kettle计算引擎,Flink用于在无边界和有边界数据流上进行有状态的计算,具备批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等特性;Spark适用于批处理,迭代算法,交互式查询,流处理等场景中;Kettle支持100%无编码、拖拽方式开发ETL数据管道,可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源,支持ETL数据管道加入机器学习算法;实现数据高性能计算。采用主从备份架构实现系统高可用,减轻基础设施子平台分布式计算、分布式存储以及内存计算压力;将检索查询、机器学习、数据挖掘、实时数据处理、智能算法等模型统一到大数据子平台中,并以一致的接口API公开,并选择最优的压缩算法,保障海量数据的存储,并能提供各类大数据处理、分析工具,对各类业务信息、多源数据做分析、提取。一方面存储其他子平台的运维类数据、测试类数据等数据,另一方面采集外部网络中网页数据、社交网络、多媒体数据、在线百科等大数据并进行存储,为其他子平台提供数据库、数据仓库、智能算法支撑。
在一些实施例中,所述应用商店子平台包括采用前端后端分离架构,所述前端利用图形化界面对各类软件资源进行分类展示;后端基于云原生子平台对接预设的主流代码仓库,基于大数据子平台提供的存储能力,将适配优化后的软件资源上架到应用商店,向目标人员提供多版本软件下载安装服务。
具体的,应用商店子平台(AaaS):基于前后端分离技术进行开发,降低开发难度,同时前端承担部分数据处理工作,减小后端数据处理对服务器的压力。在数据处理过程中,将后台机器化报错语言转化为前端人性化错误提醒,提升用户感受。应用商店前端采用Vue、HTML5等开发技术,利用图形化界面对各类镜像和应用进行分类展示;后端基于云原生子平台对接的GitLab、GitHub、SVN、Gogs等业界主流代码仓库,进行容器镜像规范化,以及大数据子平台提供的存储能力,可以将适配优化后的基础软件、办公软件、行业应用等软件,包括操作系统、数据库、中间件、流版签等,上架到应用商店,面向信创从业者等公众人员提供多版本软件下载安装服务。
在一些实施例中,所述安全运维子平台,采集其它子平台的各类软硬件及平台运行数据,并进行监测,基于大数据子平台提供的孤立森林算法对平台运行数据进行单指标异常检测、多指标异常分析、智能告警、导航式排障和运维操作方案生成。
具体的,安全运维子平台(OaaS):平台通过Agentless、Agent、区域中心Agent、OpenAPI接口等多种采集方式连接其他子平台对各类软硬件及平台运行数据进行监测采集。针对各类软硬件设备的监测采集,提供SOAP/REST、HTTP(S)、SSH、JDBC、Telnet、JMX、TuxedoATMI、SNMP、WMI、FTP、SMTP、POP3等协议,通过Agentless无插件方式实现采集;针对本地OS级监测采集和本地日志采集,提供Agent插件方式实现采集;针对诸如防火墙隔离内设备群的监测采集,提供SNMP、JDBC、SSH、Telnet等协议,通过区域中心Agent方式实现采集;针对对外部系统接入,提供了统一的OpenAPI接口,实现从CMDB到监测、运维服务管理、运维操作控制、运维数据分析等各维度的数据接入。基于大数据子平台提供的孤立森林算法对平台运行数据进行单指标异常检测、多指标异常分析、智能告警、导航式排障和生成运维操作方案。多指标异常分析、智能告警、导航式排障和运维操作方案均以异常检测为基础,单指标异常检测基于滑动平均算法生成动态阈值,多指标异常分析是在单指标异常检测的基础上进行大数据统计分析生成,智能告警基于异常检测动态阈值进行告警,并结合多指标异常分析进行关联分析;导航式排障与异常检测动态阈值相结合,能够将故障指标重点标识出来,进行自动化故障排查;对故障事件进行根因分析,故障场景与运维操作方案持续匹配学习,自动生成运维操作方案,可支撑监测、自动化响应的无缝衔接。
在一些实施例中,所述适配调优子平台,提供包括芯片和操作系统的不同架构的组合软硬件资源,进行功能测试、性能测试、接口测试或UI测试,比对不同架构的组合软硬件资源下的测试结果。其中,操作系统可以为麒麟或统信的系统;芯片可以是申威、龙芯、鲲鹏、飞腾、兆芯或海光的芯片。具体的,适配调优子平台(TaaS):平台在JMeter性能测试工具基础上,通过自动化测试框架进行工具一键安装与检测、被测环境的实时监控,通过Junit单元测试框架进行流程控制完成多场景可持续运行,以弥补JMeter性能测试工具局限性。后端基于JMeter提供的函数库通过协议调用函数程序,前端展现利用JavaSwing编程技术,基于Swing提供图形用户界面(GraphicalUserInterface,GUI)工具包,使用GUI中的多个类,包括JFrame、JPanel、JLabel、JTextField、JPasswordField、JButton等,实现前后端分离。测试过程中采用管控分离的模式,管理端在测试人员的PC机上,控制端在Linux服务器上,通过安全外壳协议(SecureShell,SSH)登录并执行Linux命令脚本等技术方式控制服务器,管控分离模式大幅度提升性能自动化测试结果和效率,合理利用系统资源。测试人员通过控制台控制着系统配置参数、性能自动化系统的启停、被测系统检测情况、运行的监控情况、脚本的管理等,通过管理端发送相应指令给压测服务器,压测服务器接收指令后向被测软件服务器执行性能测试,被测试软件服务器执行测试任务并将相关日志和运行数据返回给控制台,自动生成测试报告,并将测试数据及其相关测试方法发送给大数据平台。
在一些实施例中,所述信创知识子平台,基于容器化部署,依托来自大数据子平台中的存储的数据,采用预设知识融合框架,得到可靠性和置信度高的知识,之后基于所述可靠性和置信度高的知识进行知识的查询、推送、共享、智能问答的服务。
具体的,信创知识子平台(KaaS):面向信创产业提供用于知识融合、沉淀、检索使用和分享的信创知识库,信创知识库基于容器化部署,依托来自大数据及服务平台中的内部平台运维数据、测试数据等和外部的网络大数据采用知识融合的模式和框架,降低知识的不确定性,减少错误的知识,提高知识的可靠性和置信度。知识融合框架包括数据采集模块、知识抽取模块、知识评估模块、知识补充模块,数据采集模块从网络大数据中采用分布式采集技术,准确地识别、提取不同来源和形式的数据,通过增量采集机制实现高效地采集大量的信息;知识抽取模块采用自然语言处理技术,通过对自然语言的词法、句法的分析实现实体、关系、分类和属性等知识要素的抽取;利用知识评估模块对来源于网络大数据的知识进行质量度量,解决知识冲突,寻找知识真值,其次,将验证为正确的知识,根据知识的类型,包括实体、关系、分类等,通过知识扩充模块基于相应的知识扩充算法将其动态更新到知识库中。
在一些实施例中,所述解决方案子平台,基于云原生子平台提供的容器,基于用户的权限,为不同的用户发布不同的解决方案。
具体的,解决方案子平台(SaaS):基于云原生子平台提供的Docker容器,部署党政、金融、能源、交通、医疗等行业国产化应用解决方案,采用MVCD模式,即模型、视图、控制和数据管理四层模型,数据管理层将模型层和控制层对数据管理方面的内容独立出来,部署在大数据平台中,负责数据结构的管理、数据存取和物理数据结构和逻辑数据结构间的转换。模型层封装系统的核心运算逻辑。视图层封装系统界面和用户接口,用于对模型的显示,用户可通过视图层访问系统的界面。控制器封装系统的调度工作,为不同的用户调度不同的范文权限,实现数据的安全访问。
在实际应用中,信创生态服务云平台是依托于实际的主机进行运作的。具体的,信创生态服务云平台通过二进制翻译技术对国内主流的技术路线进行适配,保证平台在SW64、ARM、MIPS、LoongArch、C86、X86六种技术路线都能够平稳运行;然后在六种技术路线上均部署虚拟化平台,信创生态服务云平台及其他多个子平台,采用容器云和虚拟机结合的模式,在虚拟机上部署容器,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器中;当平台监测到CPU资源利用率较高,影响平台高效运转时,会通过线性回归模型LR和K最近邻回归模型KNNR对负载进行预测,根据最小飘移时间策略MMT、最大负载策略MaxL和最小负载策略MinL三种不同策略,进行虚拟机飘移路线的选择,最终实现虚拟机的飘移,保障平台在国产技术路线上平稳运行并降低数据中心能源消耗。
图5是本申请一个实施例提供的一种异构平台的飘移方法的流程示意图。参照图5,本申请提供的异构平台的飘移方法包括:
S501,获取主机负载的历史数据和虚拟机负载的历史数据;
需要说明的是,本申请提供的方案中需要是基于历史数据进行预测,所以为了预测的准确性可以尽可能的获取更加详尽的历史数据。当然在实际应用中,为了更好的预测效果,可以引入更多的相关的量以辅助预测,在此不再一一赘述。
S502,基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值;
需要说明的是,此处的预测可以采用线性回归法和K最近邻回归方法,基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值,也可以是依托于历史数据和专家经验,由人工辅助进行预估。本申请对于具体的预估方式并不做限定。
进一步的,步骤S502中提及的预设时间,可以是1个小时、半个小时、5分钟等时间范围,本申请对此不做限定。预设时间的选取应该是基于后续调节过程的期望时间确定的,若后续调节过程的期望时间为5分钟,那么预设时间可以为不小于5分钟的一个时长。
S503,当所述估计值不属于预设范围时,对虚拟机的数量进行增删和/或对主机上的虚拟机进行飘移,以维持所述主机和虚拟机的资源利用率处于预设范围。
需要说明的是,此处在进行调节时主要依托于三种不同的策略:最小飘移时间策略MMT、最大负载策略MaxL和最小负载策略MinL。
最小飘移时间策略MMT指的是,在完成目标的前提下,采用飘移时间最短的方式进行调节。即:采用最小飘移时间的策略选择虚拟机在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行飘移。
最大负载策略MaxL指的是,始终保证最大负载不超过预先设定的最大负载值。
最小负载策略MinL指的是,始终保证最小负载不超过预先设定的最小负载值。结合最大负载策略和最小负载策略即:维持所述主机和虚拟机的负载处于预设的范围,即:资源利用率处于预设范围。
具体的,本申请提供的方案中,首先采用动态辅助的静态二进制翻译器,在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行翻译适配,并对循环代码进行优化,屏蔽底层架构的差异,根据虚拟机负载进行弹性伸缩。
通过将动态翻译器作为静态翻译器的一个组件来解决虚拟机代码发现问题。首先在静态时进行二进制翻译以生成目标可执行文件。在执行目标代码时,若遇到分支指令则会查找可执行文件中嵌入的地址查询表来查找源二进制代码块对应的可执行目标代码地址。因为静态翻译器无法在静态时发现所有代码,在代码执行时会遇到查询不到目标代码地址的情况。此时在启动动态翻译模块进行动态翻译执行。动态阶段负责非热点代码的翻译执行和虚拟执行环境的创建与模拟。由于静态翻译所面临的代码发现问题,使得静态阶段无法完全翻译所有的源平台二进制代码。因此,采用动态二进制翻译来模拟运行。动态二进制翻译器首先创建源平台二进制程序的虚拟执行环境,包括内存空间映射和运行状态初始化;然后在程序翻译运行前,加载静态生成代码并读取信息relatedInfo文件;最后,翻译器开始进行目标程序的动态翻译运行。只有当翻译器运行至静态优化后的目标代码时,代码切换机制会将执行流重定向至静态生成的优化代码并执行。在优化代码执行结束后,控制流将再次跳转回动态翻译器。
在二进制翻译过程中会发现循环代码,循环代码在进行并行化之前首先需要对其进行依赖分析,只有循环迭代之间不存在依赖的循环才能够被并行化。为了对目标循环进行依赖分析,首先需要获取循环的结构信息。循环结构信息是指能够反映循环关键特征的信息,包括循环上下界、迭代变量和内存访问模式等。
1)优化虚拟寄存器模拟和栈帧操作模拟。在并行化转换前首先优化虚拟寄存器模拟和栈帧操作模拟,使用代码前向替换方法,优化进行虚拟寄存器状态模拟的冗余语句,在两条指令中间没有任何新的存储指令对虚拟寄存器进行修改的情况下,删除多余的定义指令,但必须确认被优化的两条指令中间,该内存空间不会被修改和使用,在读写虚拟寄存器的冗余模拟语句可以被删除和优化,同时达到优化虚拟寄存器模拟和栈帧操作模拟的目的。
2)寻址语句识别。解析循环代码中访问的内存单元是如何进行寻址的。基于LLVM遍,通过变量属性获得其定义引用链,从遍历R中的load/store访存语句开始,在定义引用链上进行模式匹配,就可以识别出这些寻址语句。通过定位“计算语句-inttoptr-bitcast”的代码模式,恢复出代码中的内存寻址语句,为进一步代码重构做准备。
3)重构循环结构。重构循环结构主要分三步进行,首先恢复循环中的归纳变量,然后使用归纳变量建立内存访存符号表示,最后基于这些信息进行代码变换。恢复循环中的归纳变量:归纳变量的特征是在循环开始时被赋予一个初始值﹐然后在每次循环迭代中都被增加固定值,归纳变量的恢复从循环迭代变量恢复开始,循环迭代变量也是归纳变量,用于指示当前循环迭代次数。如果某个变量随循环执行,每次改变固定值,则可以判定该变量为归纳变量,那么该归纳变量就可以由归一化循环迭代变量表示,因此可以得到改归纳变量的符号表达式,var=start+step×index#(4-3)。建立内存访存符号表示式:通过寻找“计算-inttoptr-bitcast”代码模式,可以找出循环中的内存访问语句。然后对循环中所有的内存访问语句进行分析,首先分析目标地址的定值语句,某次内存访问的目标地址被表示为一个符号表达式,然后对符号表达式中的变量定义引用链进行分析,建立该变量的符号表达式。针对符号表达式中的每个变量,都进行这样的前向替换并沿着定义引用链递归执行。当一个循环中除循环不变量之外的所有归纳变量都可以用循环迭代变量的线性函数来描述并且所有访存地址都能够重建符号表达式时,这个循环就被重建成功。通过这些符号表达式,Polly就可以对循环中每条内存访问语句进行建模分析。生成GEP指令:为恢复数据类型以生成GEP指令,通过寻找代码中的数据类型转换语句恢复出数据类型信息。从寻找代码中的inttoptr和bitcast指令对开始,在数值使用语句中获得正确的数据类型信息。然后,正确的数据类型通过定义引用链进行传播,直到遇到load指令。由于数值是从虚拟寄存器或内存单元加载的,此时可以认为它们的来源已经确定。在数据类型成功解析之后,将地址计算语句变换为GEP指令所需的信息已全部恢复,可以在重构的循环代码中生成GEP指令进行寻址操作。
4)分类模拟语句。采用模拟语句分离的方法来将循环代码单独构建为一个function,称之为kernelfunction。循环开始时的虚拟状态读取语句和循环退出时的状态更新语句被设置在kernelfunction之外的封装function中。循环运行所需的虚拟状态值作为参数传入kemelfunction中。这种方法使得状态模拟机制与核心运算代码分离。作为参数传入的初始值与原始内存空间无关,因此Polly不必再分析该段内存的使用情况。同时能够消除状态更新语句导致的输出依赖,最终kemnelfunction能够被Polly进行并行化变换。
将优化后的虚拟机部署到SW64、ARM、MIPS、LoongArch、C86、X86六种技术路线上,信创生态服务云平台及其他多个子平台,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器中。
信创生态服务云平台能够稳定运行在某一技术路线上,也能平滑飘移到另一种技术路线上,利用线性回归与K最近邻回归方法对负载进行预测,可以基于历史数据预测主机和虚拟机的CPU占用率,实现了资源利用率的预测。利用两种回归模型进行预测∶线性回归模型LR和K最近邻回归模型KNNR。预测模型可以估算主机和虚拟机的CPU和内存的资源利用LR主机利用历史资源利用率数据并将其估算为线性函数,该函数给出了当前与未来资源利用率的关系,表示为∶
PUPde=a+βUPde
式中:PUPde和UPde分别表示主机p的预测和当前已使用能力向量;a和β表示回归因子,分别用于描述Y轴截距和线性斜率。估算回归因子的常用方法是最小方差法,该方法估算最优的直线拟合为观察输出值与预测输出值间的距离最小化。因此,回归因子可通过以下公式进行估算∶
a=y′-βx′
式中:x′代表x1,x2,x3,…xn的均值;y'代表y1,y2,y3,…yn的均值。
利用类似的方法,虚拟机资源利用也可以通过线性函数预测,表示为当前已使用的能力向量Uv,和预测使用的能力向量PUv之间的线性关系式,为∶
PUv=a+βUv
KNNR利用数据集的局部均值对资源利用做出预测。局部数据量定义为与新的样本最近的k个样本。最优k值(邻居数量)可以通过留一交叉验证法确定,取值范围为样本数以内。留一交叉验证法通过每个可能k值的平方冗余之和估算预测准确性;然后,选择冗余最小的最优k值作为K最近邻回归的k值。
通过设定资源利用率上限阈值Tup和下限阈值Tdown,当主机处于以下情况时触发飘移:(1)当预测资源利用率大于Tup时,说明主机处于过载状态,需迁出某些虚拟机,以避免降低用户体验,则使用虚拟机选择策略得到迁出虚拟机集合,将其加入迁出队列;(2)当预测资源利用率小于Tsm时,需迁出所有虚拟机并关闭主机,以降低能耗,将其上的虚拟机全部加入迁出队列。
本申请采用最小飘移时间(MinimumMigrationTime,MMT)策略选择虚拟机,MMT策略是选择飘移时间最小的虚拟机集合迁出,它等价于选择一组总飘移时间最大的虚拟机集合留在主机上:
其中,uj(cpu)是虚拟机j使用的CPU和主机总CPU的比值,mtj是飘移时间,用虚拟机内存与所在主机空闲带宽的比值衡量。上式中具有最优子结构性质,能够使用动态规划算法来解决。
动态规划将问题分解成若干子问题,通过结合子问题的解得到最终解。假设F(j,ri)是子问题的最优解,可以建立如下递归关系:
其中,F(j,ri)指的是当主机CPU值为ri,虚拟机集合为1,…,j时的最大飘移时间,mj是虚拟机j的CPU资源值。
该策略能得到上述式子的最优解,最优解对应的虚拟机就是留在主机上的最优集合。
通过动态规划找到留在主机上的最优组合,将飘移时间最小的虚拟机集合迁出,迁入到同种技术路线或其他技术路线的主机上,并快速建立与其他虚拟机的通信关系,保证平台数据交互平稳运行。基于虚拟机在SW64、ARM、MIPS、LoongArch、C86、X86六种技术路线上平滑过渡方法,平台不受技术路线的限制,即能够保证虚拟机负载均衡,提升用户体验,又能降低数据中心能耗。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (1)
1.一种信创生态服务云平台交互方法,其特征在于,应用于信创生态服务云平台;
所述信创生态服务云平台,包括:服务云平台门户和多个子平台;
所述服务云平台门户分别与各个所述子平台通信连接,并为各个所述子平台提供通信入口;
所述多个子平台,适配多种技术架构,采用容器云和虚拟机结合的模式,在虚拟机上部署容器云,将数据处理、安全运维、适配调优、应用商店、信创知识库、解决方案通过微服务的方式部署在容器云中;
所述多个子平台;包括:基础设施子平台、云原生子平台、大数据子平台、应用商店子平台、安全运维子平台、适配调优子平台、信创知识子平台和解决方案子平台;
所述基础设施子平台,用于提供包括信创虚拟机、裸金属、虚拟数据中心的硬件资源服务;
所述云原生子平台,用于提供包括容器云、微服务治理、DevOps的云原生服务;
所述大数据子平台用于提供包括数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
所述应用商店子平台用于提供包括安装、卸载、升级的软件资源服务;
所述安全运维子平台用于提供软硬件设备综合监控和运维保障服务;
所述适配调优子平台用于提供测试和验证服务;
所述信创知识子平台用于提供包括信创知识的采集、查询、推送、共享、智能问答的服务;
所述解决方案子平台用于优化验证并发布解决方案;
所述基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86和X86六种技术架构,统一接入各类云资源的管控技术接口;
所述云原生子平台与其它各所述子平台通信连接,用于在所述基础设施子平台提供的虚拟机上,部署多个容器,通过预设的容器编排引擎,对容器进行统一编排调度管理,实现自动化部署、大规模可伸缩、应用容器化管理,向其他子平台提供以容器为核心的、可扩展的高性能容器管理服务和微服务治理,对各个子系统的核心功能进行抽象和封装;
大数据子平台利用容器化技术扩充集群规模,采用TDP开发架构,搭载Flink、Spark、Kettle计算引擎,采用主从备份架构,配置有数据处理、分析工具,用于存储其他子平台的运维类数据和测试类数据,采集外部网络中网页数据、社交网络、多媒体数据和在线百科数据并进行存储,为其他子平台提供数据库、数据仓库和智能算法支撑;
所述应用商店子平台包括采用前端后端分离架构,所述前端利用图形化界面对各类软件资源进行分类展示;后端基于云原生子平台对接预设的主流代码仓库,基于大数据子平台提供的存储能力,将适配优化后的软件资源上架到应用商店,以提供多版本软件下载安装服务;
所述安全运维子平台,采集其它子平台的各类软硬件及平台运行数据,并进行监测,基于大数据子平台提供的孤立森林算法对平台运行数据进行单指标异常检测、多指标异常分析、智能告警、导航式排障和运维操作方案生成;
所述适配调优子平台,提供包括芯片和操作系统的不同架构的组合软硬件资源,进行功能测试、性能测试、接口测试或UI测试,比对不同架构的组合软硬件资源下的测试结果;
所述信创知识子平台,基于容器化部署,依托来自大数据子平台中的存储的数据,采用预设知识融合框架,得到可靠性和置信度高的知识,之后基于所述可靠性和置信度高的知识进行知识的查询、推送、共享、智能问答的服务;
所述解决方案子平台,基于云原生子平台提供的容器,基于用户的权限,为不同的用户发布不同的解决方案;
所述信创生态服务云平台交互方法包括:
基于服务云平台门户获取指令信息;
通过所述服务云平台门户,访问所述基础设施子平台,并基于所述指令信息,通过所述基础设施子平台,构建硬件资源服务;其中,基础设施子平台适配SW64、ARM、MIPS、LoongArch、C86和X86六种技术架构,提供虚拟机资源服务、裸金属资源服务、存储资源服务、网络资源服务;
通过所述服务云平台门户,访问所述云原生子平台,并基于所述指令信息,通过所述云原生子平台和硬件资源服务,构建软件服务;其中软件服务采用容器云和虚拟机结合的模式,在虚拟化平台上部署容器云,
控制大数据子平台,进行数据服务;
基于所述指令信息,通过所述硬件资源服务、所述软件服务和所述数据服务、执行安装、卸载、升级的软件资源服务、软硬件设备综合监控和运维保障服务提供信创相关的测试和调试服务;
所述数据服务包括:数据采集、数据汇聚、数据清洗、数据存储、数据治理、数据分析、数据可视化的数据服务;
所述信创生态服务云平台交互方法还包括:
通过所述大数据子平台,为其他子平台提供数据库、数据仓库和智能算法支撑;
其中,所述大数据子平台,用于基于网页数据、社交网络、多媒体数据、在线百科获取数据,为所述信创知识子平台提供新创政策、产品信息和行业信息;
所述解决方案子平台用于向所述大数据子平台发送各个行业系统、运行数据、台账数据、用户信息;
所述安全运维子平台用于向所述大数据子平台发送基础软硬件、运行数据和报警数据;
所述适配调优子平台用于向所述大数据子平台发送测试标准、测试方法和测试数据;
所述云原生子平台,用于基于容器云服务为其它各个子平台提供服务;
通过所述信创知识子平台,依托大数据子平台提供的信创知识,利用信息抽取和自然语言理解技术,提供包括信创知识的采集、查询、推送、共享、智能问答的服务;
通过所述解决方案子平台,优化验证并发布信创新创中的各个解决方案;
所述信创生态服务云平台交互方法还包括:跨架构飘移方法;
所述跨架构飘移方法包括:
获取主机负载的历史数据和虚拟机负载的历史数据;
基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值;
当所述估计值不属于预设范围时,对虚拟机的数量进行增删和/或对主机上的虚拟机进行飘移,以维持所述主机和虚拟机的资源利用率处于预设范围;
所述基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值,包括:
采用线性回归法和K最近邻回归方法,基于所述历史数据,进行预估得到预设时间之后所述主机和虚拟机的资源利用率的估计值;
所述对主机上的虚拟机进行飘移,包括:
使用动态规划算法,采用最小飘移时间的策略选择虚拟机在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行飘移;
采用动态辅助的静态二进制翻译器,在SW64、ARM、MIPS、LoongArch、C86和X86六种技术路线上进行翻译适配,并对循环代码进行优化,屏蔽底层架构的差异,根据虚拟机负载进行弹性伸缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310229463.4A CN116737311B (zh) | 2023-03-10 | 2023-03-10 | 信创生态服务云平台交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310229463.4A CN116737311B (zh) | 2023-03-10 | 2023-03-10 | 信创生态服务云平台交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116737311A CN116737311A (zh) | 2023-09-12 |
CN116737311B true CN116737311B (zh) | 2024-04-09 |
Family
ID=87900110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310229463.4A Active CN116737311B (zh) | 2023-03-10 | 2023-03-10 | 信创生态服务云平台交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116737311B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414739A (zh) * | 2013-06-19 | 2013-11-27 | 中金数据系统有限公司 | 采用自动漂移的云服务器自动监控系统及方法 |
CN109800060A (zh) * | 2019-01-31 | 2019-05-24 | 携程旅游信息技术(上海)有限公司 | 云平台系统、管理方法、设备及存储介质 |
CN109901922A (zh) * | 2019-03-05 | 2019-06-18 | 北京工业大学 | 一种面向多层服务的容器云资源调度优化方法 |
CN110704164A (zh) * | 2019-09-30 | 2020-01-17 | 珠海市新德汇信息技术有限公司 | 一种基于Kubernetes技术的云原生应用平台构建方法 |
CN112994945A (zh) * | 2021-03-10 | 2021-06-18 | 浪潮云信息技术股份公司 | 一种信创云平台的自动化部署方法与装置 |
CN114049100A (zh) * | 2022-01-04 | 2022-02-15 | 广东省信息工程有限公司 | 基于信创环境的智慧政务一体化平台 |
CN114389934A (zh) * | 2021-12-09 | 2022-04-22 | 航天信息股份有限公司广州航天软件分公司 | 一种基于信创环境下的云平台控制系统 |
CN115437696A (zh) * | 2022-08-04 | 2022-12-06 | 北京海联捷讯科技股份有限公司 | 信创平台自适应配置方法及终端助手 |
-
2023
- 2023-03-10 CN CN202310229463.4A patent/CN116737311B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414739A (zh) * | 2013-06-19 | 2013-11-27 | 中金数据系统有限公司 | 采用自动漂移的云服务器自动监控系统及方法 |
CN109800060A (zh) * | 2019-01-31 | 2019-05-24 | 携程旅游信息技术(上海)有限公司 | 云平台系统、管理方法、设备及存储介质 |
CN109901922A (zh) * | 2019-03-05 | 2019-06-18 | 北京工业大学 | 一种面向多层服务的容器云资源调度优化方法 |
CN110704164A (zh) * | 2019-09-30 | 2020-01-17 | 珠海市新德汇信息技术有限公司 | 一种基于Kubernetes技术的云原生应用平台构建方法 |
CN112994945A (zh) * | 2021-03-10 | 2021-06-18 | 浪潮云信息技术股份公司 | 一种信创云平台的自动化部署方法与装置 |
CN114389934A (zh) * | 2021-12-09 | 2022-04-22 | 航天信息股份有限公司广州航天软件分公司 | 一种基于信创环境下的云平台控制系统 |
CN114049100A (zh) * | 2022-01-04 | 2022-02-15 | 广东省信息工程有限公司 | 基于信创环境的智慧政务一体化平台 |
CN115437696A (zh) * | 2022-08-04 | 2022-12-06 | 北京海联捷讯科技股份有限公司 | 信创平台自适应配置方法及终端助手 |
Non-Patent Citations (2)
Title |
---|
基于信创及X86多云平台的控制使用;高炜;自动化技术与应用;第41卷(第11期);14-17 * |
基于信创环境的运维管理系统设计与实践;阳岁红等;电子技术与软件工程;248-252 * |
Also Published As
Publication number | Publication date |
---|---|
CN116737311A (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10977066B2 (en) | Virtual machine to container conversion and optimization | |
US10515002B2 (en) | Utilizing artificial intelligence to test cloud applications | |
US20220138004A1 (en) | System and method for automated production and deployment of packaged ai solutions | |
US10997009B2 (en) | Methods and systems that detect and classify incidents and anomalous behavior using metric-data observations | |
US11755919B2 (en) | Analytics for an automated application testing platform | |
US11074107B1 (en) | Data processing system and method for managing AI solutions development lifecycle | |
Garcia et al. | Obtaining ground-truth software architectures | |
Souri et al. | Behavioral modeling and formal verification of a resource discovery approach in Grid computing | |
US9256509B1 (en) | Computing environment analyzer | |
US9342784B1 (en) | Rule based module for analyzing computing environments | |
US11977471B2 (en) | Activity tracing through event correlation across multiple software applications | |
Mehta et al. | A codesign framework for online data analysis and reduction | |
CN113448678A (zh) | 应用信息生成方法、部署方法及装置、系统、存储介质 | |
CN116737311B (zh) | 信创生态服务云平台交互方法 | |
US20220335318A1 (en) | Dynamic anomaly forecasting from execution logs | |
Nagdive et al. | A review of Hadoop ecosystem for bigdata | |
Ellison et al. | Re-engineering the database layer of legacy applications for scalable cloud deployment | |
Melin | Tackling version management and reproducibility in mlops | |
Fabra et al. | Integration of grid, cluster and cloud resources to semantically annotate a large‐sized repository of learning objects | |
Patel et al. | Preliminary Scaling Characterization of TPCx-AI | |
Singhal et al. | A Vision on Accelerating Enterprise IT System 2.0 | |
Scotton | Engineering framework for scalable machine learning operations | |
Stonozhenko et al. | Automated object storage management approach with operator SDK and custom resource definition | |
US20240086188A1 (en) | Automatic navigation between reference architecture and code repository | |
US20240193072A1 (en) | Autosuggestion of involved code paths based on bug tracking data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |