CN116069618A - 一种面向应用场景的国产化系统评估方法 - Google Patents

一种面向应用场景的国产化系统评估方法 Download PDF

Info

Publication number
CN116069618A
CN116069618A CN202211447427.7A CN202211447427A CN116069618A CN 116069618 A CN116069618 A CN 116069618A CN 202211447427 A CN202211447427 A CN 202211447427A CN 116069618 A CN116069618 A CN 116069618A
Authority
CN
China
Prior art keywords
service
software
service module
condition
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211447427.7A
Other languages
English (en)
Inventor
郭江
刘谦
王勇
苗淏
杨嵘
马敬雪
周舟
刘庆云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
National Computer Network and Information Security Management Center
Original Assignee
Institute of Information Engineering of CAS
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS, National Computer Network and Information Security Management Center filed Critical Institute of Information Engineering of CAS
Priority to CN202211447427.7A priority Critical patent/CN116069618A/zh
Publication of CN116069618A publication Critical patent/CN116069618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种面向应用场景的国产化系统评估方法。本方法为：1)构建针对应用系统的通用业务架构，包括：流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块；2)选取一业务系统并将其划分为多个业务模块；业务系统部署于多个服务器，每台服务器上均运行国产化操作系统，所述国产化操作系统中运行至少一个业务模块；3)通用业务架构中的每一模块分别获取各所述服务器的国产化操作系统中运行所述业务模块时的指标值；4)根据每一业务模块的指标值与对应业务模块的指标阈值进行比较，根据各指标值的比较结果得到一综合评估值，根据综合评估值确定国产化操作系统的评估结果。

Description

一种面向应用场景的国产化系统评估方法
技术领域
本发明属于互联网信息技术领域，具体涉及一种面向应用场景的国产化系统评估方法。
背景技术
推进国产化系统全面应用是实现金融、电子政务、网络通信等领域关键技术自主可控的战略要求。作为承载国家重大项目的机构，如航天、航空，国产化设备的使用比重将逐渐上升。然而，典型的应用业务系统在国产化平台的适配性、稳定性、功能、性能以及上线后运行效果等方面均有待评估。
在工程实践中，影响国产化平台大规模使用的主要原因有两个。一是国产化平台替代正在起步阶段，尚未形成大面积的应用，而丰富的软件直接移植到国产化平台会有潜在的风险，比如运行前的适配，运行后的功能和稳定性等问题。尤其是典型的应用系统在国产化平台上运行的适配性、稳定性、功能和性能等方面缺乏实际数据支撑，不能提供国产化平台的选型依据。二是既应用系统在国产化平台上运行之后，涉及应用系统运维的监测指标体系需要重建，并针对国产化平台监测情况进行增删、调整相关监测指标。
现有技术不能满足面向应用场景的国产化系统评估要求。
1)现有技术主要针对基于通用的处理器(X86,ARM)和操作系统(Window,Linux)进行评估，缺乏对基于国产化平台进行有效评估。
2)现有系统评估技术普遍存在度量角度单一问题，仅仅从功能或性能属性角度进行评估，无法体现在系统全生命周期不同阶段的进行全面性评估。
3)现有评估技术针对平台的系统指标进行评估，其评估度量粒度比较粗糙，造成用户难以精确感知，不能有效支撑应用业务系统运维。
4)现有系统评估策略缺乏多维度的综合考虑，难以形成基于业务场景的整体感知能力。
发明内容
本发明的目的在于克服现有技术的不足，提供一种面向应用场景的国产化系统评估方法，以解决现有技术中无法基于国产化平台环境下实现应用系统上线前的适配和上线后的运行评估。
为达到以上目的，本发明技术方案如下：
一种面向应用场景的国产化系统评估方法，其步骤包括：
1)构建针对应用系统的通用业务架构；所述通用业务架构包括：流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块；
2)选取一业务系统并将其划分为多个业务模块；所述业务系统部署于多个服务器，每台服务器上均运行国产化操作系统，所述国产化操作系统中运行至少一个所述业务模块；
3)所述通用业务架构中的每一模块分别获取各所述服务器的国产化操作系统中运行所述业务模块时的指标值；
4)根据步骤3)所得每一业务模块的指标值与对应业务模块的指标阈值进行比较，根据各指标值的比较结果得到一综合评估值，根据所述综合评估值确定所述国产化操作系统的评估结果。
进一步的，按照
Figure BDA0003950000600000021
计算所述业务模块的指标值，然后按照
Figure BDA0003950000600000022
计算所述业务系统的综合评估值S；Mt表示第t个业务模块的指标值，M0表示第t个业务模块的初始评估值，a1表示适配性评估占第t个业务模块评估的权重，n1表示第t个业务模块下适配性评估指标的个数，wi表示第i个适配性评估指标异常的扣分权重，Ni表示第i个适配性指标超过阈值的次数；a2表示软件共性评估指标占第t个业务模块评估的权重，n2表示第t个业务模块下软件共性评估运行指标的个数，wj表示第j个软件共性评估指标异常的扣分权重，Nj表示第j个软件共性评估运行指标超过阈值出现异常预警的次数；a3表示应用业务重点评估占第t个业务模块评估的权重，n3表示第t个业务模块下应用业务重点评估运行指标的个数，wk表示第k个应用业务重点评估指标异常的扣分权重，Nk表示第k个应用业务重点评估指标超过阈值出现异常预警的次数；m为所述业务模块的数量，swt为第t个业务模块的权重系数。
进一步的，所述流量处理业务模块计算第t个业务模块时的适配性评估指标包括捕包驱动与国产化平台适配的版本、捕包网卡型号、捕包网口数量；所述流量处理业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、捕包驱动使用CPU情况、软件使用CPU情况、各网口流量大小、设备负载情况、硬盘读写IO情况、设备硬盘使用率、设备内存使用情况、捕包驱动运行状态与重启情况、捕包驱动丢包数量、流量处理软件接收流量情况、流量处理软件丢包情况、流量处理软件内存消耗情况、流量处理软件单核CPU使用情况、业务日志内容；所述流量处理业务模块计算第t个业务模块时的应用业务重点评估指标包括捕包驱动适配版本、捕包网卡型号、捕包网口数量、捕包驱动丢包数量、流量处理软件接收流量情况、流量处理软件丢包情况。
进一步的，所述数据转发业务模块计算第t个业务模块时的适配评估指标包括转发网卡型号、应用软件适配版本、转发软件常驻端口状态；所述数据转发业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、转发网卡带宽情况、转发网卡收发包丢包情况、转发软件CPU使用百分比、转发软件吞吐率、业务运行响应时间；所述数据转发业务模块计算第t个业务模块时的应用业务重点评估指标包括转发网卡型号、转发网卡收发流量情况、转发网卡收发包丢包情况、转发软件常驻端口状态、转发软件吞吐率、业务运行响应时间。
进一步的，所述数据处理业务模块计算第t个业务模块时的适配评估指标有业务数据网卡型号、应用软件适配版本、应用软件运行状态、应用软件常驻端口状态；所述数据处理业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、业务运行日志信息情况、业务数据网卡收发包丢包情况、业务数据网卡带宽情况、应用软件内存消耗情况、应用软件CPU使用情况、业务响应时间；所述数据处理业务模块计算第t个业务模块时的应用业务重点评估指标包括业务运行日志信息情况、业务数据网卡收发包丢包情况、业务运行响应时间。
进一步的，所述数据存储业务模块计算第t个业务模块时的适配评估指标有业务数据网卡型号、存储软件运行状态、应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况；所述数据存储业务模块计算第t个业务模块时的软件共性评估指标包括运行评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、整体内存使用情况、CPU使用情况、业务数据网卡带宽情况、业务数据网卡流量大小和丢包情况、存储软件内存消耗情况、存储软件内存消耗情况、存储软件CPU使用情况、存储软件数据吞吐情况、存储软件压力测试与性能情况；所述数据存储业务模块计算第t个业务模块时的应用业务重点评估指标包括应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况。
进一步的，所述虚拟化平台业务模块计算第t个业务模块时的适配评估指标包括虚拟化软件版本、虚拟化软件运行状态；所述虚拟化平台业务模块计算第t个业务模块时的软件共性评估指标包含设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、虚拟化网络带宽情况、虚拟化平台软件CPU使用与调度情况、软件内存使用与调度情况、软件运行状态；所述虚拟化平台业务模块计算第t个业务模块时的应用业务重点评估指标包含虚拟化网络带宽情况、虚拟化平台软件CPU与内存使用与调度情况。
进一步的，所述云平台业务模块计算第t个业务模块时的适配评估指标包括云服务架构适配情况、云服务架构软件运行状态；所述云平台业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、CPU使用情况、云平台系统CPU使用情况、云平台系统内存使用情况、云平台网络带宽、云平台数据交互量；所述云平台业务模块计算第t个业务模块时的应用业务重点评估指标包含云平台CPU和内存调度情况、数据交互量、平台网络带宽。
进一步的，确定每一业务模块各指标对应的指标阈值的方法为：对于第t个业务模块，首先获取该第t个业务模块每一指标的历史指标数据，并根据是否为工作日对该指标的历史数据进行划分，得到属性为工作日的历史指标数据和属性为非工作日的历史指标数据；根据工作日的历史指标数据排除相应历史指标数据中的异常数据，根据非工作日的历史指标数据排除相应历史指标数据中的异常数据；然后根据排除异常数据的历史指标数据计算该指标的历史数据平均值M；然后将该第t个业务模块的该指标阈值范围设置为(1-α)M、(1+α)M，α为设定的偏移值。
本发明面向应用场景的国产化系统评估方法主要涉及以下内容：
1)抽象国产化平台上典型应用系统的通用业务架构
区别于Windows和Linux等针对操作系统层面提出的架构，本发明针对应用系统抽象出一通用业务架构。本发明方案的评估对象是一个大型机构的业务系统，该大型机构内有大量服务器，每台服务器上都运行国产化操作系统，各服务器的国产化操作系统中运行移植过来的业务系统，通过该大型机构上运行移植业务系统时的各项指标，评估该大型机构服务器上的国产化操作系统。
目前单位或机构内基于国产化平台上现有应用业务系统众多，服务器规模从几百台到上万台，其中典型系统中，通用业务架构一般由若干个业务模块组成：流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块。本发明应用系统框架如图1所示：
流量处理业务模块：前端集群处理分析网络设备传输的流量，主要关注原始网络流量接收与处理情况；
数据处理业务模块：包括了粗拼装集群、分析处理集群、动态配置生成机制、数据汇聚机制等，关注数据完整性与内容分析；
数据转发业务模块：包括了配置下发机制、动态配置下发机制，主要用来传递系统业务规则；
数据存储业务模块：涉及数据存储集群、数据存储中心以及配置库；
虚拟化平台业务模块：目前在典型应用业务系统中使用较少，常使用在一体化办公场景中，随着节约资源，统一桌面管理及虚拟化理念的普及，也会涉及到使用国产化，主要关注国产化设备下虚拟平台办公软件使用情况，及资源利用情况；
云平台业务模块：与虚拟化平台业务模块相似，目前在典型应用业务系统中使用较少，但随着云平台在生活中的广泛运用，也会涉及到使用国产化，主要关注国产化设备下云平台各项服务的运行情况以及资源利用情况。
2)基于生命周期过程化的评估
①适配性评估：主要涉及硬件相关性评估内容，确保应用软件或数据在国产化平台上可移植、可迁移。评估应用软件或数据在主流国产化平台的适配性测试，例如龙芯、海思、飞腾、兆芯，具体评估内容侧重：设备厂商信息、处理器型号、处理器核数、设备内存情况、设备硬盘情况等。
②运行评估：涉及应用软件运行后各指标的状态，运行评估分为软件共性评估和应用业务重点评估。
·软件共性评估：对应用软件在国产化平台上各通用型运行状态的评估，评估内容侧重：处理器、内存、硬盘使用率、操作系统、设备负载等。
·应用业务重点评估：针对不同应用软件在国产化平台上运行时，基于业务重点指标进行评估，评估内容侧重：业务运行响应时间、应用软件常驻端口状态、存储软件CPU使用情况、存储软件内存消耗情况等。
3)基于业务场景的细粒度评估
结合每个业务场景与细粒度指标，得到每个评估维度的评估向量。
流量处理业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、流量处理业务重点评估指标。其中，流量处理业务重点评估指标主要反映原始网络流量接收与处理情况。针对流量处理业务模块，通过监测与采集流处理软件，例如基于DPDK编写的快速数据包处理应用程序在国产化平台上的运行状态值作为适配评估指标。应用软件消耗资源情况为共性评估指标，数据包吞吐量与丢包情况，即每秒处理数据包情况与因国产化平台性能问题而丢包量情况作为流量处理业务模块重点评估指标。
数据转发业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、数据转发业务重点评估指标。其中，数据转发业务重点评估指标侧重关注业务数据交互情况，偏重转发网卡收发流量和转发网卡收发包丢包。针对数据转发业务模块，例如运行在国产化平台上，消费kafka集群中的数据到数据中心存储库的转发程序，监测或采集其运行状态值作为适配评估指标，采集国产化平台系统负载情况与CPU、MEM资源消耗情况为软件共性评估指标，转发网口数据吞吐情况和数据丢失情况为转发业务重点评估指标。
数据处理业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、数据处理业务重点评估指标。其中，数据处理业务重点评估指标侧重反映数据完整性与内容分析。针对数据处理业务模块，例如进行数据流拼接与分析业务系统软件，其在国产化平台上的运行状态为适配评估指标，软件运行中的国产化系统负载情况及CPU、MEM资源消耗情况为软件共性评估指标，数据拼接完整情况及软件可承载的分析数据的并发量为数据处理业务的重点评估指标。
数据存储业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、数据存储业务重点评估指标。其中，数据存储业务重点评估指标包括存储软件适配版本，软件CPU与MEM调度，压力和性能测试指标。针对数据存储业务模块，例如集群架构的HIVE库、clickhouse数据库等，其是否可在国产化平台上正常运行，或正常运行版本为数据存储业务模块适配评估指标，国产化平台负载情况及CPU单核使用情况为软件共性评估指标，集群数据同步情况、并发连接量、单连接数据吞吐量等性能指标为数据存储业务的重点评估指标。
虚拟化平台业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、虚拟化平台业务重点评估指标。其中，虚拟化平台业务重点评估指标主要关注虚拟化软件适配版本，软件CPU与MEM调度指标。虚拟化平台在国产化设备上的运行情况，以及日常使用软件，例如windows office软件的使用情况作为适配评估指标，虚拟化平台CPU与MEM资源消耗、磁盘读写速率、网卡带宽情况为共性评估指标，同时也是虚拟化平台业务重点评估指标。
云平台业务模块评估向量由三部分构成：适配评估指标、软件共性评估指标、云平台业务重点评估指标。其中，云平台业务重点评估指标主要涉及CPU与MEM调度、吞吐率、服务运行指标。云平台业务模块在国产化设备上的运行情况作为适配评估指标，网卡带宽吞吐量、CPU与MEM资源消耗情况、磁盘IO读写速率为共性评估指标，同时也是云平台业务重点评估指标。
4)基于历史数据动态建立指标阈值
基于各业务特点分析指标的历史数据获得指标的动态阈值，对工作日和非工作日进行区分，同时排除异常的历史指标数据，获得精确度较高的动态阈值，避免固定阈值过大或过小造成的负面影响，如响应不灵敏、频繁预警。
5)多维度指标综合评估
对业务系统采集到的指标数据进一步分析，对数据进行预处理，并完成业务系统在国产化平台适配运行的多维度评估分级，提高运维人员对业务系统的整体感知能力。
6)实时监控应用系统并自动预警
建立实时监控系统，实时显示各业务模块指标状态，并利用监控模块对评估指标数值进行监控，根据多维度指标综合评估分级结果，启动监控模块预警。
与现有技术相比，本发明的积极效果为：
本发明建立了面向应用场景的国产化系统评估体系，包括应用系统上线前的适配和上线后的运行评估体系；本发明为提供国产化平台选型提供了依据，能够支持运维工作向国产化平台的平稳过渡。
附图说明
图1为本发明的应用业务系统图。
图2为本发明的整体架构图。
具体实施方式
下面结合附图对本发明进行进一步详细描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明提供一种面向应用场景的国产化系统评估方法，具体评估方案如下：
(1)获取典型应用系统的通用业务架构
首先将大型单位或机构上运行的一个目标应用业务系统(比如一个典型应用业务系统)划分业务模块，以便对每个模块分别进行指标设计和评估。单位或机构内现有应用业务系统众多，服务器规模从几百台到上万台，其中典型系统中，通用技术架构一般由若干个业务模块组成：流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块。典型应用系统框架如图1所示：
流量处理业务模块：前端集群处理分析网络设备传输的流量，主要关注原始网络流量接收与处理情况；
数据处理业务模块：包括了粗拼装集群、分析处理集群、动态配置生成机制、数据汇聚机制等，关注数据完整性与内容分析；
数据转发业务模块：包括了配置下发机制、动态配置下发机制，主要用来传递系统业务规则；
数据存储业务模块：涉及数据存储集群、数据存储中心以及配置库；
典型应用系统未涉及虚拟化平台及云平台，但随着虚拟化及云平台在生活中的广泛运用，将会涉及到使用国产化平台，因此增加虚拟化平台业务与云平台业务模块划分。
(2)确定业务模块的评估内容
对于应用系统的多个业务模块，从适配性和运行角度进行评估，定义了适配性评估和运行评估指标。又进一步定义了软件共性评估内容和应用业务重点评估内容。业务模块的评估内容具体如下：
①适配性评估：主要涉及硬件相关性评估内容，确保应用软件或数据在国产化平台上可移植、可迁移。评估应用软件或数据在主流国产化平台的适配性测试，例如龙芯、海思、飞腾、兆芯。如设备厂商信息、各硬件适配型号、软件适配版本等。
②运行评估：涉及应用软件运行后各指标的状态。
·软件共性评估：对应用软件在国产化平台上各通用型运行状态的评估。相应指标有处理器型号、处理器核数、设备内存大小、设备硬盘存储大小、硬盘读写IO情况、设备硬盘使用率、操作系统版本、设备负载等。
·应用业务重点评估：针对不同应用软件在国产化平台上运行时，基于业务重点指标进行评估。相应指标如业务运行响应时间、应用软件常驻端口状态、存储软件CPU使用情况、存储软件内存消耗情况等。
(3)针对每个业务模块执行步骤，得到每个评估维度的评估向量
本发明的总体框架如图2所示，典型应用系统由流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块六个业务模块组成，每个模块的评估包含适配评估和运行评估，运行评估又进一步划分为软件共性评估内容和应用业务重点评估内容。每个模块的评估指标设计如下：
1)流量处理业务模块：国产化平台运用在流量处理业务系统中，适配评估指标包括捕包驱动与国产化平台适配的版本、捕包网卡型号、捕包网口数量。运行评估中软件共性评估指标包括设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、捕包驱动使用CPU情况、软件使用CPU情况、各网口流量大小(包数与比特)、设备负载情况(load情况)、硬盘读写IO情况、设备硬盘使用率、设备内存使用情况、捕包驱动运行状态与重启情况、捕包驱动丢包数量、流量处理软件接收流量情况(包数与比特)、流量处理软件丢包情况、流量处理软件内存消耗情况、流量处理软件单核CPU使用情况、业务日志内容。应用业务重点评估指标包括捕包驱动适配版本、捕包网卡型号、捕包网口数量、捕包驱动丢包数量、流量处理软件接收流量情况(包数与比特)、流量处理软件丢包情况等；本发明中设备是指运行业务系统的服务器。
2)数据转发业务模块：适配评估指标包括转发网卡型号、应用软件适配版本、转发软件常驻端口状态。运行评估中软件共性评估指标包括设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况(load情况)、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、转发网卡带宽情况、转发网卡收发包丢包情况、转发软件CPU使用百分比、转发软件吞吐率、业务运行响应时间。应用业务重点评估指标有转发网卡型号、转发网卡收发流量情况、转发网卡收发包丢包情况、转发软件常驻端口状态、转发软件吞吐率、业务运行响应时间等。
3)数据处理业务模块：数据处理业务主要评估业务数据网卡和数据处理软件运行、性能、适配版本等指标，综合评估数据处理业务模块能力。适配评估指标有业务数据网卡型号、应用软件适配版本、应用软件运行状态、应用软件常驻端口状态。运行评估中软件共性评估指标包括运行评估指标包括设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况(load情况)、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、业务运行日志信息情况、业务数据网卡收发包丢包情况、业务数据网卡带宽情况、应用软件内存消耗情况、应用软件CPU使用情况、业务响应时间。应用业务重点评估指标有业务运行日志信息情况、业务数据网卡收发包丢包情况、业务运行响应时间等。
4)数据存储业务模块：主要关注存储软件适配版本，软件CPU与MEM调度，压力和性能测试指标。适配评估指标有业务数据网卡型号、存储软件运行状态、应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况。运行评估中软件共性评估指标包括设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况(load情况)、硬盘IO读写速率、整体内存使用情况、CPU使用情况、业务数据网卡带宽情况、业务数据网卡流量大小和丢包情况、存储软件内存消耗情况、存储软件内存消耗情况、存储软件CPU使用情况、存储软件数据吞吐情况、存储软件压力测试与性能情况。应用业务重点评估指标包括应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况。
5)虚拟化平台业务模块：主要关注虚拟化软件适配版本，软件CPU与MEM调度指标。适配评估指标包括虚拟化软件版本、虚拟化软件运行状态。运行评估中软件共性评估指标包含设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况(load情况)、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、虚拟化网络带宽情况、虚拟化平台软件CPU使用与调度情况、软件内存使用与调度情况、软件运行状态。应用业务重点评估指标包含虚拟化网络带宽情况、虚拟化平台软件CPU与内存使用与调度情况等。
6)云平台业务模块：主要涉及CPU与MEM调度、吞吐率、服务运行指标。适配评估指标包括云服务架构适配情况、云服务架构软件运行状态。运行评估中软件共性指标包括设备厂商信息、处理器型号、处理器核数(物理CPU与逻辑CPU)、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况(load情况)、硬盘IO读写速率、设备硬盘使用率、CPU使用情况、云平台系统CPU使用情况、云平台系统内存使用情况、云平台网络带宽、云平台数据交互量。应用业务重点评估指标包含云平台CPU和内存调度情况、数据交互量、平台网络带宽等。
对各个业务模块进行评估，获取业务模块的各指标评估结果的具体测试方式如下：
执行shell采集脚本，脚本根据每个不同的评估指标执行不同的shell命令，自动化得到指标采集信息。
(4)基于历史数据动态建立指标阈值
建立静态阈值基于运维人员手工监控指标设定阈值，但各业务模块大部分评估指标随时间变化阈值会有所不同，且难以手动设定准确的阈值。使用基于业务特点分析指标的历史动态数据获得指标的动态阈值，对工作日和非工作日进行区分，同时排除异常的历史指标数据，获得精确度较高的动态阈值，避免固定阈值过大或过小造成的负面影响，如响应不灵敏、频繁预警。具体工作步骤如下：
1)若为工作日，择获取属性为工作日的相应时段历史指标数据。若为非工作日，获取属性为非工作日的相应时段历史指标数据。
2)排除相应历史指标数据中的异常数据。
3)对排除异常历史指标数据后的历史数据取平均值M，设置偏移值α进一步计算上下阈值(1-α)M、(1+α)M。
(5)多维度指标综合评估
对业务系统采集到的指标数据进一步分析，经过数据预处理后，完成业务系统在国产化平台的多维度评估打分，提高运维人员对业务系统的整体感知能力。具体步骤如下：
1)首先对采集到的数据进行预处理工作。采集数据存在数据缺失情况，对于缺失指标数据，使用K最近邻填补缺失值，从完整历史样本中选择与缺失样本距离最近的K个完整样本，并将完整样本中的已观测值的加权平均值作为指标填补值，优点为准确性高且原理简单易实现。
2)结合基于指标阈值和监控系统自动预警，获取指标异常数据。并通过专家知识预先设定的评估权重，通过如下业务系统多维度评估模型，评估业务系统的整体适配运行情况。
按照如下公式计算业务模块在国产化平台的评估分值：
Figure BDA0003950000600000111
Mt表示第t个业务模块在国产化平台的评估打分分值，M0表示业务模块的初始评估分值，a1表示适配性评估占该业务模块评估的权重，n1表示业务模块下适配性评估指标的个数，wi表示第i个适配性评估指标异常的扣分权重，Ni表示第i个适配性指标超过阈值的次数；a2表示软件共性运行评估占该业务模块评估的权重，n2表示业务模块下软件共性评估运行指标的个数，wj表示第j个软件共性运行评估指标异常的扣分权重，Nj表示第j个软件共性评估运行指标超过阈值，出现异常预警的次数；a3表示应用业务重点评估占该业务模块评估的权重，n3表示业务模块下应用业务重点评估运行指标的个数，wk表示第k个应用业务重点评估指标异常的扣分权重，Nk表示第k个应用业务重点评估指标超过阈值，出现异常预警的次数。
之后按照如下公式计算业务系统在国产化平台的多维度评估分值：
Figure BDA0003950000600000112
S表示业务系统整体在国产化平台的多维度评估分值，m为业务系统所划分模块的数量，swt为业务系统子模块的评估权重系数。
当M0取值100时，控制权重系数使得业务系统在国产化平台的多维度评估分值S保持在0～100之间。若S≥90，则业务系统在国产化平台运行状态为优，各业务模块性能稳定，国产化平台对业务系统适配情况良好；若80≤S＜90，则业务系统在国产化平台适配运行状态为良好；若60≤S＜80，则业务系统在国产化平台适配运行状态为中等；若S＜60，则业务系统在国产化平台适配运行状态为差，需要检查各业务模块指标数据，分析异常原因。
(6)实时监控应用系统并自动预警
应用系统实测评估指标数值实时输入监控模块，首先判断评估结果是否满足优良等级，若满足条件，则输出结论，应用系统正常；若不满足条件则输出结论，监控模块预警。
尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种面向应用场景的国产化系统评估方法，其步骤包括：
1)构建针对应用系统的通用业务架构；所述通用业务架构包括：流量处理业务模块、数据转发业务模块、数据处理业务模块、数据存储业务模块、虚拟化平台业务模块、云平台业务模块；
2)选取一业务系统并将其划分为多个业务模块；所述业务系统部署于多个服务器，每台服务器上均运行国产化操作系统，所述国产化操作系统中运行至少一个所述业务模块；
3)所述通用业务架构中的每一模块分别获取各所述服务器的国产化操作系统中运行所述业务模块时的指标值；
4)根据步骤3)所得每一业务模块的指标值与对应业务模块的指标阈值进行比较，根据各指标值的比较结果得到一综合评估值，根据所述综合评估值确定所述国产化操作系统的评估结果。
2.根据权利要求1所述的方法，其特征在于，按照
Figure FDA0003950000590000011
Figure FDA0003950000590000012
计算所述业务模块的指标值，然后按照
Figure FDA0003950000590000013
计算所述业务系统的综合评估值S；Mt表示第t个业务模块的指标值，M0表示第t个业务模块的初始评估值，a1表示适配性评估占第t个业务模块评估的权重，n1表示第t个业务模块下适配性评估指标的个数，wi表示第i个适配性评估指标异常的扣分权重，Ni表示第i个适配性指标超过阈值的次数；a2表示软件共性评估指标占第t个业务模块评估的权重，n2表示第t个业务模块下软件共性评估运行指标的个数，wj表示第j个软件共性评估指标异常的扣分权重，Nj表示第j个软件共性评估运行指标超过阈值出现异常预警的次数；a3表示应用业务重点评估占第t个业务模块评估的权重，n3表示第t个业务模块下应用业务重点评估运行指标的个数，wk表示第k个应用业务重点评估指标异常的扣分权重，Nk表示第k个应用业务重点评估指标超过阈值出现异常预警的次数；m为所述业务模块的数量，swt为第t个业务模块的权重系数。
3.根据权利要求2所述的方法，其特征在于，所述流量处理业务模块计算第t个业务模块时的适配性评估指标包括捕包驱动与国产化平台适配的版本、捕包网卡型号、捕包网口数量；所述流量处理业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、捕包驱动使用CPU情况、软件使用CPU情况、各网口流量大小、设备负载情况、硬盘读写IO情况、设备硬盘使用率、设备内存使用情况、捕包驱动运行状态与重启情况、捕包驱动丢包数量、流量处理软件接收流量情况、流量处理软件丢包情况、流量处理软件内存消耗情况、流量处理软件单核CPU使用情况、业务日志内容；所述流量处理业务模块计算第t个业务模块时的应用业务重点评估指标包括捕包驱动适配版本、捕包网卡型号、捕包网口数量、捕包驱动丢包数量、流量处理软件接收流量情况、流量处理软件丢包情况。
4.根据权利要求2所述的方法，其特征在于，所述数据转发业务模块计算第t个业务模块时的适配评估指标包括转发网卡型号、应用软件适配版本、转发软件常驻端口状态；所述数据转发业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、转发网卡带宽情况、转发网卡收发包丢包情况、转发软件CPU使用百分比、转发软件吞吐率、业务运行响应时间；所述数据转发业务模块计算第t个业务模块时的应用业务重点评估指标包括转发网卡型号、转发网卡收发流量情况、转发网卡收发包丢包情况、转发软件常驻端口状态、转发软件吞吐率、业务运行响应时间。
5.根据权利要求2所述的方法，其特征在于，所述数据处理业务模块计算第t个业务模块时的适配评估指标有业务数据网卡型号、应用软件适配版本、应用软件运行状态、应用软件常驻端口状态；所述数据处理业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、业务运行日志信息情况、业务数据网卡收发包丢包情况、业务数据网卡带宽情况、应用软件内存消耗情况、应用软件CPU使用情况、业务响应时间；所述数据处理业务模块计算第t个业务模块时的应用业务重点评估指标包括业务运行日志信息情况、业务数据网卡收发包丢包情况、业务运行响应时间。
6.根据权利要求2所述的方法，其特征在于，所述数据存储业务模块计算第t个业务模块时的适配评估指标有业务数据网卡型号、存储软件运行状态、应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况；所述数据存储业务模块计算第t个业务模块时的软件共性评估指标包括运行评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、整体内存使用情况、CPU使用情况、业务数据网卡带宽情况、业务数据网卡流量大小和丢包情况、存储软件内存消耗情况、存储软件内存消耗情况、存储软件CPU使用情况、存储软件数据吞吐情况、存储软件压力测试与性能情况；所述数据存储业务模块计算第t个业务模块时的应用业务重点评估指标包括应用软件常驻端口状态、存储软件压力测试情况、存储软件性能基准测试情况。
7.根据权利要求2所述的方法，其特征在于，所述虚拟化平台业务模块计算第t个业务模块时的适配评估指标包括虚拟化软件版本、虚拟化软件运行状态；所述虚拟化平台业务模块计算第t个业务模块时的软件共性评估指标包含设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、整体内存使用情况、CPU使用情况、虚拟化网络带宽情况、虚拟化平台软件CPU使用与调度情况、软件内存使用与调度情况、软件运行状态；所述虚拟化平台业务模块计算第t个业务模块时的应用业务重点评估指标包含虚拟化网络带宽情况、虚拟化平台软件CPU与内存使用与调度情况。
8.根据权利要求2所述的方法，其特征在于，所述云平台业务模块计算第t个业务模块时的适配评估指标包括云服务架构适配情况、云服务架构软件运行状态；所述云平台业务模块计算第t个业务模块时的软件共性评估指标包括设备厂商信息、处理器型号、处理器核数、设备总内存大小、设备硬盘存储大小、操作系统版本、操作系统内核版本、设备负载情况、硬盘IO读写速率、设备硬盘使用率、CPU使用情况、云平台系统CPU使用情况、云平台系统内存使用情况、云平台网络带宽、云平台数据交互量；所述云平台业务模块计算第t个业务模块时的应用业务重点评估指标包含云平台CPU和内存调度情况、数据交互量、平台网络带宽。
9.根据权利要求1所述的方法，其特征在于，确定每一业务模块各指标对应的指标阈值的方法为：对于第t个业务模块，首先获取该第t个业务模块每一指标的历史指标数据，并根据是否为工作日对该指标的历史数据进行划分，得到属性为工作日的历史指标数据和属性为非工作日的历史指标数据；根据工作日的历史指标数据排除相应历史指标数据中的异常数据，根据非工作日的历史指标数据排除相应历史指标数据中的异常数据；然后根据排除异常数据的历史指标数据计算该指标的历史数据平均值M；然后将该第t个业务模块的该指标阈值范围设置为(1-α)M、(1+α)M，α为设定的偏移值。
CN202211447427.7A 2022-11-18 2022-11-18 一种面向应用场景的国产化系统评估方法 Pending CN116069618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211447427.7A CN116069618A (zh) 2022-11-18 2022-11-18 一种面向应用场景的国产化系统评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211447427.7A CN116069618A (zh) 2022-11-18 2022-11-18 一种面向应用场景的国产化系统评估方法

Publications (1)

Publication Number Publication Date
CN116069618A true CN116069618A (zh) 2023-05-05

Family

ID=86177725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211447427.7A Pending CN116069618A (zh) 2022-11-18 2022-11-18 一种面向应用场景的国产化系统评估方法

Country Status (1)

Country Link
CN (1) CN116069618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520133A (zh) * 2024-01-03 2024-02-06 梅州客商银行股份有限公司 银行核心系统全栈国产化数据库非功能测试的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520133A (zh) * 2024-01-03 2024-02-06 梅州客商银行股份有限公司 银行核心系统全栈国产化数据库非功能测试的方法和装置

Similar Documents

Publication Publication Date Title
CN101876938B (zh) 一种基于消息队列的应用软件响应时间测量方法及系统
CN111881221B (zh) 物流服务里客户画像的方法、装置和设备
CN111563014B (zh) 接口服务性能测试方法、装置、设备和存储介质
US20200065127A1 (en) Virtualized resource monitoring system
US9442817B2 (en) Diagnosis of application server performance problems via thread level pattern analysis
CN104937548A (zh) 动态图的性能监视
US10528407B2 (en) Integrated statistical log data mining for mean time auto-resolution
CN110647447A (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
AU2021244852B2 (en) Offloading statistics collection
CN116069618A (zh) 一种面向应用场景的国产化系统评估方法
CN115509797A (zh) 一种故障类别的确定方法、装置、设备及介质
CN113032237B (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
CN112068979B (zh) 一种业务故障确定方法及装置
CN113220551A (zh) 指标趋势预测及预警方法、装置、电子设备及存储介质
US20140281755A1 (en) Identify Failed Components During Data Collection
CN108363761A (zh) Hadoop awr自动负载分析信息库、分析方法及存储介质
CN114661571B (zh) 模型评测方法、装置、电子设备和存储介质
CN112118127A (zh) 一种基于故障相似度的服务可靠性保障方法
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
CN115860709A (zh) 一种软件服务保障系统及方法
CN115344495A (zh) 批量任务测试的数据分析方法、装置、计算机设备及介质
CN115033457B (zh) 一种可监控预警的多源数据实时采集方法及系统
CN116882724B (zh) 一种业务流程优化方案的生成方法、装置、设备及介质
US11966387B2 (en) Data ingestion to avoid congestion in NoSQL databases
CN114116421A (zh) 一种基于elk的用户习惯分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination