CN112055364A - 一种网络系统分级方法及装置 - Google Patents

一种网络系统分级方法及装置 Download PDF

Info

Publication number
CN112055364A
CN112055364A CN201910492320.6A CN201910492320A CN112055364A CN 112055364 A CN112055364 A CN 112055364A CN 201910492320 A CN201910492320 A CN 201910492320A CN 112055364 A CN112055364 A CN 112055364A
Authority
CN
China
Prior art keywords
maintenance
network
network system
automation level
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910492320.6A
Other languages
English (en)
Other versions
CN112055364B (zh
Inventor
许瑞岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910492320.6A priority Critical patent/CN112055364B/zh
Priority to PCT/CN2020/094747 priority patent/WO2020244644A1/zh
Priority to EP20818521.5A priority patent/EP3968683A4/en
Publication of CN112055364A publication Critical patent/CN112055364A/zh
Priority to US17/541,842 priority patent/US20220095133A1/en
Application granted granted Critical
Publication of CN112055364B publication Critical patent/CN112055364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本申请提供一种网络系统分级方法及装置。该方法可包括以下步骤：获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能；根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度，从而实现网络系统在特定运维场景中的自动化程度的等级划分。

Description

一种网络系统分级方法及装置
技术领域
本申请涉及移动通信技术领域，尤其涉及一种网络系统分级方法及装置。
背景技术
在无线通信技术领域，网络系统的运维是指为保障网络系统和相关业务的安全和有效运行而采取的生产组织管理活动，包括网络系统的网络规划、网络部署、网络系统中的站点部署、网络优化、网络维护和业务运营等方面。随着5G(5th-generation)无线通信技术的发展，网络系统中的站点数量和站点之间连接的复杂程度不断增加，网络系统的运维难度不断增加。
目前，自动化技术在移动通信网络中的应用逐渐成熟，尤其是自动化技术在网络系统的运维方面的应用，已成为当前网络系统的运维难度不断增加的局面下降低运维成本和提高运维效率的有效途径。
虽然目前已经开始对网络系统运维过程的自动化分级进行讨论，但目前仍缺少网络系统分级方法，无法实现网络系统在特定运维场景中的自动化程度的有效分级，因此难以定量评价网络系统在特定运维场景中的自动化运维程度，为网络系统在运维过程中的自动化程度的提高制造了障碍。
发明内容
本申请提供一种网络系统分级方法及装置，用以实现网络系统在特定运维场景中的自动化程度的等级划分。
第一方面，本申请提供一种网络系统分级方法，该方法可由待评价的网络系统中的站点或站点的组成部分，或子系统，或子系统的组成部分，或者也可以由待评价的网络系统以外的站点、系统、设备或芯片实施。该方法可包括以下步骤：获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能；根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
采用以上方法，可获取网络系统在特定运维场景下的运维参数，并根据该运维参数确定网络系统在该特定运维场景下的自动化等级，从而实现网络系统在特定运维场景中的自动化程度的等级划分。
在一种可能的设计中，根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级时，可根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级分别的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级。采用该设计，可根据运维场景下的多个参考自动化等级分别的评价信息判断网络系统在该运维场景下的自动化等级是否为该参考自动化等级，提高自动化等级确定时的效率。
示例性的，参考自动化等级的评价信息可用于确定网络系统在运维场景下的自动化等级是否满足该参考自动化等级。例如，参考自动化等级的评价信息可包括参考自动化等级的特征信息，如参考自动化等级对应的网络系统的复杂程度信息、网络系统包含的站点(和/或子系统)的数量或网络系统建立时间等信息中的部分或全部信息，当满足参考自动化等级的特征信息时，可认为网络系统在运维场景下的自动化等级满足该参考自动化等级。以上参考自动化等级的评价信息可包括参考自动化等级对应的等级信息，如参考自动化等级对应的运维性能评价指标。所述运维性能指标具体可以是某一运维场景下的运维参数的阈值。
一种具体示例，在根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级时，可从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。
另一种具体示例，若所述网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则可确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级，其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。
另一种具体示例，若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，则可确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级，其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
以上所述运维场景可包括站点部署场景，网络部署场景，网络优化场景，网络维护场景，网络规划场景和业务运营场景中的至少一个。
当所述运维场景包括站点部署场景时，以上所述运维参数包括站点规划参数、全配置数据生成参数、站点开通参数或者站点验收参数等中的至少一种。
在一种具体示例中，该场景下运维参数具体可包括以下参数中的至少一种：用于指示是否需要人参与站点规划的参数；或者，站点规划的时长；或者，站点规划中人参与的时长；或者，站点规划数据的个数；或者，站点规划数据的准确率；或者，用于指示是否需要人参与全配置数据生成的参数；或者，全配置数据生成的时长；或者，用于指示全配置数据的完备性的参数；或者，全配置数据生成中人参与时长；或者，用于指示是否需要人参与站点开通的参数；或者，站点开通的时长；或者，站点开通中人参与时长；或者，站点开通中发生故障的次数；或者，用于指示是否需要人参与站点验收的参数；或者，站点验收的时长；或者，站点验收中人参与的时长；或者，站点验收的成功率；或者，站点验收的准确率。
当所述运维场景包括网络维护场景时，运维参数可包括故障处理方案执行参数、数据采集参数(或称故障呈现参数)、故障压缩参数、故障根因分析参数、故障定位参数、故障预测参数或者故障处理方案决策参数等中的至少一种。
在一种具体示例中，该场景下运维参数具体可包括以下参数中的至少一种：用于指示是否需要人参与故障处理方案执行的参数；或者，故障处理方案执行的时长；或者，故障处理方案执行中人工参的时长；或者，用于指示是否需要人参与数据采集的参数；或者，数据采集的时长；或者，数据采集中人参与的时长；或者，用于指示采集数据的有效性的参数；或者，故障数据压缩率；或者，用于指示是否需要人参与根因分析的参数；或者，根因分析的时长；或者，根因分析中人参与的时长；或者，用于指示是否需要人参与故障定位的参数；或者，故障定位的准确率；或者，用于指示是否能进行故障预测的参数；或者，用于指示是否需要人参与故障预测的参数；或者，故障预测的准确率；或者，故障预测的周期；或者，用于指示是否需要人参与故障处理方案决策的参数；或者，故障处理方案决策的时长；或者，故障处理方案决策中人参与的时长；或者，故障处理方案决策的准确率；或者，故障恢复成功率。
当所述运维场景包括网络规划场景时，以上所述运维参数可包括以下参数中的至少一种：用于指示是否需要人参与网络规划的参数；或者，网络规划时长；或者，网络规划中人参与的时长；或者，网络规划的准确率；或者，网络规划中人参与的次数；或者，用于指示是否需要人工进行站点勘测的参数；或者，用于指示是否需要人工进行站点选址的参数。
当所述运维场景包括网络部署场景时，以上所述运维参数可包括以下参数中的至少一种：网络部署的时长；或者，网络部署过程中人参与的时长；或者，是否需要人参与网络需求到网络拓扑的映射过程的参数；或者，用于指示是否需要人参与网络需求到网络配置的生成过程的参数；或者，网络部署过程中断次数。
当所述运维场景包括网络优化场景时，运维参数可包括网络性能数据采集参数(或称性能呈现参数)、优化参数配置参数、问题识别参数、优化方案制定和决策参数或意图需求分解参数等中的至少一种。
在一种具体示例中，该场景下运维参数具体可包括以下参数中的至少一种：用于指示是否需要人参与数据的采集的参数；或者，用于指示是否需要人输入采集策略的参数；或者，数据采集的时长；或者，数据采集中人参与的时长；或者，用于指示是否可以采集网络性能数据的参数；或者，用于指示是否可以采集路测数据的参数；或者，用于指示是否可以采集QoE数据的参数；或者，用于指示是否需要人参与优化参数配置；或者，优化参数配置时长；或者，优化参数配置中人参与时长；或者，优化评估准确率；或者，用于指示是否需要参与网络问题识别的参数；或者，网络问题识别时长；或者，网络问题识别中人参与时长；或者，网络问题识别准确率；或者，用于指示是否需要人参与优化方案制定的参数；或者，优化方案制定时长；或者，优化方案制定中人参与时长；或者，用于指示是否需要人参与优化方案决策的参数；或者，优化方案决策时长；或者，优化方案决策中人参与时长；或者，优化方案决策准确率；或者，用于指示是否需要人参与优化策略动态更新的参数；或者，优化策略动态更新时长；或者，优化策略动态更新中人参与时长；或者，优化策略动态更新准确率；或者，用于指示是否可以根据优化意图实现网络优化的参数。
当所述运维场景包括业务运营场景时，运维参数可包括业务需求映射参数、业务发放参数、业务评估参数或者业务性能呈现参数等中的至少一种。
在一种具体示例中，该场景下运维参数具体可包括以下参数中的至少一种：用于指示是否需要人参与业务需求到网络需求的映射过程的参数；或者，业务需求到网络需求的映射时长；或者，业务需求到网络需求映射人参与的时长；或者，用于指示是否需要人参与业务发放过程的参数；或者，业务发放过程时长；或者，业务发放过程中人参与的时长；或者，业务发放准确率；或者，用于指示是否需要人参与业务评估的参数；或者，业务评估时长；或者，用于指示是否需要人参与业务性能呈现的参数；或者，业务性能呈现时长；或者，用于指示是否可以呈现业务性能的参数。
在一种可能的设计中，所述方法还可包括：确定所述网络系统支持的多个运维场景，根据所述网络系统分别在所述支持的多个运维场景下的自动化等级确定所述网络系统的自动化等级。采用该设计，可根据多个运维场景下网络系统的自动化等级，确定网络系统的自动化等级，实现网络系统自动化等级的综合评定，提高网络系统的自动化等级评定时的准确度。其中，所述网络系统支持的多个运维场景可包括所述运维场景。
第二方面，本申请提供一种装置，该装置可用于执行以上第一方面及其任意可能的设计所涉及的方法。该装置可通过硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各方法中的各功能。例如，在由软件模块构成时，该装置可包括相互耦合的参数获取模块以及等级确定模块，由参数获取模块以及等级确定模块实现上述第一方面中任一可能的实现方法。
在执行上述第一方面所述方法时，运维参数获取模块可用于获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能。等级确定模块可用于根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
在一种可能的设计中，所述等级确定模块具体可用于根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级分别的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级。
示例性的，参考自动化等级的评价信息可用于确定网络系统在运维场景下的自动化等级是否满足该参考自动化等级。
以上参考自动化等级的评价信息可包括参考自动化等级对应的等级信息，如参考自动化等级对应的运维性能评价指标。所述运维性能指标具体可以是某一运维场景下的运维参数的阈值。
在一种可能的设计中，等级确定模块可用于从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。
在一种具体的示例中，若所述网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则等级确定模块可用于确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级，其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。
在另一种示例中，若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，则等级确定模块可用于确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级，其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
以上运维场景及运维参数可参照以上第一方面及其可能的设计中的说明。
在一种可能的设计中，所述等级确定模块还可用于：确定所述网络系统支持的多个运维场景，根据所述网络系统分别在所述支持的多个运维场景下的自动化等级确定所述网络系统的自动化等级。
以上网络系统支持的多个运维场景可参照以上第一方面及其可能的设计中对于运维场景的说明。确定网络系统分别在网络系统支持的多个运维场景下的自动化等级的方式可参照上述第一方面及其可能的设计中确定网络系统在运维场景下的自动化等级的方式。
在通过硬件组件实现以上装置时，装置可包括处理器。可由处理器执行以上运维参数获取模块和/或等级确定模块所执行的步骤。在通过硬件组件实现以上装置时，该装置还可包括存储器和/或收发器，存储器用于存储程序，可由处理器执行该程序以执行以上处理模块所执行的步骤；收发器可用于支持以上装置与其他设备或装置进行通信。
第三方面，本申请提供一种网络系统，该网络系统可以包括第二方面所述的装置。
第四方面，本申请提供一种计算机存储介质，所述计算机存储介质中存储有指令(或称程序)，当其在计算机上被调用执行时，使得计算机执行上述第一方面或第一方面的任意一种可能的设计中所述的方法。
第五方面，本申请提供一种计算机程序产品，该计算基础产品可包含指令，当所述计算机程序产品在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可能的设计中所述的方法。
第六方面，本申请提供一种芯片或包含芯片的芯片系统，该芯片可包括处理器。该芯片还可以包括存储器(或存储模块)和/或收发器(或通信模块)。该芯片可用于执行上述第一方面或第一方面的任意一种可能的设计中所述的方法。该芯片系统可以由上述芯片构成，也可以包含上述芯片和其他分立器件，如存储器(或存储模块)和/或收发器(或通信模块)。
上述第二方面至第六方面及其可能的设计中的有益效果可以参考对第一方面及其任一可能的设计中所述方法的有益效果的描述。
附图说明
图1为本申请实施例可应用的一种网络系统的架构示意图；
图2为本申请实施例可应用的另一种网络系统的架构示意图；
图3为本申请实施例提供的一种网络系统分级方法的流程示意图；
图4为本申请实施例提供的另一种网络系统分级方法的流程示意图；
图5为本申请提供的一种装置的结构示意图；
图6为本申请提供的另一种装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
为便于理解本申请实施例的方案，先介绍本申请实施例可以应用的场景。
如图1所示，本申请所述网络系统(或称电信网络系统、通信网络系统等)，是指由至少一个网络站点(或称站点或网元)组成的通信系统。当网络系统包括多个站点时，该网络系统中的多个站点之间可通过有线和/或无线方式实现通信。网络系统可包括至少一个子系统，每个子系统可包括至少一个站点。网络系统还可包括网络管理系统，用于提供网络运维功能，例如，可用于网络的生命周期管理、网络的部署、网络的故障管理、网络的性能管理、网络的配置管理、网络的保障、网络数据分析、网络数据采集等。网络管理系统可由网络系统中的一个或多个站点构成。网络管理系统可以是网络系统的一个子系统。
其中，网络管理系统包括但不仅限于网络切片管理器(Network SliceManagement Function,NSMF)，子网络管理器(SubNetwork Management Function)，域管理器(Domain Manager,DM)，网络功能虚拟化编排器(Network Function VirtualizationOrchestrator,NFVO)，虚拟网络功能管理器(Virtualized Network Function Manager,VNFM)等。网络切片管理器用于提供网络切片的运维功能，子网管理器用于提供子网的运维功能，域管理器用于提供某个域内网络和网络设备的运维功能，网络功能虚拟化编排器用于提供网络服务(Network Service)和虚拟网络功能(VNF)的运维功能，虚拟网络功能管理器用于提供虚拟网络功能的运维功能。
应理解，本申请所述站点可包括无线通信系统中的接入网站点和核心网站点，其中，接入网站点如具体可包括基站(base station，BS)，或包括基站以及用于控制基站的无线资源管理设备等，基站具体可以是无线接入网(radio access network，RAN)基站或接入网基站，(access network，AN)本申请不做具体限定。接入网站点可包括中继站(中继设备)、接入点、车载设备、可穿戴设备以及未来5G网络中的基站、未来演进的公共陆地移动网络(public land mobile network，PLMN)网络中的基站或者NR基站等，本申请实施例并不限定。站点也可以是具有通信模块的通信芯片。核心网站点具体可包括无线通信系统核心网中的网元，比如包括移动管理实体MME、移动交换中心MSC等设备。
以图2所示5G通信系统为例，5G网络架构中可包括三部分，分别是终端设备部分、数据网络(data network，DN)和运营商网络部分。本申请所示网络系统可包括运营商网络部分的一个或多个站点。
其中，运营商网络中的站点可包括但不限于：网络切片选择(network sliceselection function，NSSF)、网络开放功能(network exposure function，NEF)网元、网络存储功能(network function repository function，NRF)网元、策略控制功能(policycontrol function，PCF)网元、统一数据管理(unified data management，UDM)网元、应用功能(application function，AF)网元、网络视觉和感知功能(network vision andawareness function，NVAF)网元、鉴权服务器功能(authentication server function，AUSF)网元、接入与移动性管理功能(access and mobility management function，AMF)网元、会话管理功能(session management function，SMF)网元、(无线)接入网((radio)access network，(R)AN)以及用户面功能(user plane function，UPF)网元等。上述运营商网络中，除(无线)接入网部分之外的部分可以称为核心网络(CN)部分。为方便说明，后续以(R)AN称为接入网设备为例进行说明。
如图2所示的UE可以是一种具有无线收发功能的设备，其可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。所述UE可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端、增强现实(augmented reality，AR)终端、工业控制(industrial control)中的无线终端、5G垂直行业中的移动机器人(mobile robot)、自动导引运输车(automated guided vehicle，AGV)、传感器、控制设备或者车辆(vehicle)和列车上的设备等无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remotemedical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportationsafety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。
上述终端设备可通过运营商网络提供的接口(例如N1等)与运营商网络建立连接，使用运营商网络提供的数据和/或语音等服务。终端设备还可通过运营商网络访问DN，使用DN上部署的运营商业务，和/或第三方提供的业务。其中，上述第三方可为运营商网络和终端设备之外的服务方，可为终端设备提供他数据和/或语音等服务。其中，上述第三方的具体表现形式，具体可根据实际应用场景确定，在此不做限制。
接入网设备，是指为终端提供无线通信功能的设备。接入网设备包括但不限于：5G中的下一代基站(g nodeB，gNB)、演进型节点B(evolved node B，eNB)、无线网络控制器(radio network controller，RNC)、节点B(node B，NB)、基站控制器(base stationcontroller，BSC)、基站收发台(base transceiver station，BTS)、家庭基站(例如，homeevolved nodeB，或home node B，HNB)、基带单元(baseBand unit，BBU)、传输点(transmitting and receiving point，TRP)、发射点(transmitting point，TP)、移动交换中心等。
以上网络切片选择NSSF网元可用于实现网络切片的灵活选择。示例性的，网络切片选择网元可支持基于网络切片选择协助信息(network slice selection assistanceinformation，NSSAI)、位置信息或切片负荷信息等多种信息的切片选择策略，基于切片选择策略可实现智能化的切片选择方案。其中，网络切片选择网元可存储由运营商配置的切片选择策略等信息。在5G中，网络切片选择网元可以是NSSF网元，在未来通信如6G(the 6thgeneration，6G)中，网络切片选择网元仍可以是NSSF网元，或有其它的名称，本申请不做限定。
以上所示接入与移动性管理功能AMF网元是由运营商网络提供的控制面网元，负责终端设备接入运营商网络时的接入控制和移动性管理，例如包括移动状态管理，分配用户临时身份标识，认证和授权用户等功能。在5G中，接入与移动性管理功能网元可以是AMF网元，在未来通信如第六代中，接入与移动性管理功能网元仍可以是AMF网元，或有其它的名称，本申请不做限定。
以上所示会话管理SMF网元是由运营商网络提供的控制面网元，负责管理终端设备的协议数据单元(protocol data unit，PDU)会话。PDU会话是一个用于传输PDU的通道，终端设备需要通过PDU会话与DN互相传送PDU。PDU会话由SMF网元负责建立、维护和删除等。SMF网元包括会话管理(如会话建立、修改和释放，包含UPF和RAN之间的隧道维护)、UPF网元的选择和控制、业务和会话连续性(Service and Session Continuity，SSC)模式选择、漫游等会话相关的功能。在5G中，会话管理网元可以是SMF网元，在未来通信如6G中，会话管理网元仍可以是SMF网元，或有其它的名称，本申请不做限定。
以上所示网络视觉感知功能NVAF网元，可保存对应的垂直行业的环境信息(如垂直行业所在的地图数据、工厂区域的布局(layout)信息等，该信息可以从垂直行业控制中心获取)、垂直行业对应区域的通信网络部署信息(如接入网设备部署区域、网络小区的覆盖区域等)，以及还可以从垂直行业控制中心获取终端设备的移动路径等信息。在5G中，网络视觉感知功能网元可以是NVAF网元，在未来通信如6G中，网络视觉感知功能网元仍可以是NVAF网元，或有其它的名称，本申请不做限定。
以上所示用户面功能UPF网元是由运营商提供的网关，是运营商网络与DN通信的网关。UPF网元包括数据包路由和传输、包检测、业务用量上报、服务质量(Quality ofService,QoS)处理、合法监听、上行包检测、下行数据包存储等用户面相关的功能。在5G中，用户面功能网元可以是UPF网元，在未来通信如6G中，用户面功能网元仍可以是UPF网元，或有其它的名称，本申请不做限定。
DN，也可以称为分组数据网络(packet data network，PDN)，是位于运营商网络之外的网络，运营商网络可以接入多个DN，DN上可部署多种业务，可为终端设备提供数据和/或语音等服务。例如，DN是某智能工厂的私有网络，智能工厂安装在车间的传感器可为终端设备，DN中部署了传感器的控制服务器，控制服务器可为传感器提供服务。传感器可与控制服务器通信，获取控制服务器的指令，根据指令将采集的传感器数据传送给控制服务器等。又例如，DN是某公司的内部办公网络，该公司员工的手机或者电脑可为终端设备，员工的手机或者电脑可以访问公司内部办公网络上的信息、数据资源等。
以上的统一数据管理UDM网元是由运营商提供的控制面网元，负责存储运营商网络中签约用户的用户永久标识符(subscriber permanent identifier，SUPI)、信任状(credential)、安全上下文(security context)、签约数据等信息。UDM网元所存储的这些信息可用于终端设备接入运营商网络的认证和授权。其中，上述运营商网络的签约用户具体可为使用运营商网络提供的业务的用户，例如使用中国电信的手机芯卡的用户，或者使用中国移动的手机芯卡的用户等。上述签约用户的SUPI可为该手机芯卡的号码等。上述签约用户的信任状、安全上下文可为该手机芯卡的加密密钥或者跟该手机芯卡加密相关的信息等存储的小文件，用于认证和/或授权。上述安全上下文可为存储在用户本地终端(例如手机)上的数据(cookie)或者令牌(token)等。上述签约用户的签约数据可为该手机芯卡的配套业务，例如该手机芯卡的流量套餐或者使用网络等。需要说明的是，永久标识符、信任状、安全上下文、认证数据(cookie)、以及令牌等同认证、授权相关的信息，在本申请文件中，为了描述方便起见不做区分、限制。如果不做特殊说明，本申请实施例将以用安全上下文为例进行来描述，但本申请实施例同样适用于其他表述方式的认证、和/或授权信息。在5G中，统一数据管理网元可以是UDM网元，在未来通信如6G中，统一数据管理元仍可以是UDM网元，或有其它的名称，本申请不做限定。
以上网络开放功能NEF网元是由运营商提供控制面网元。网络开放功能网元以安全的方式对第三方开放运营商网络的对外接口。在SMF网元需要与第三方的网元通信时，网络开放功能网元可作为SMF网元与第三方的网元通信的中继。网络开放功能网元作为中继时，可作为签约用户的标识信息的翻译，以及第三方的网元的标识信息的翻译。比如，NEF将签约用户的SUPI从运营商网络发送到第三方时，可以将SUPI翻译成其对应的外部身份标识(identity，ID)。反之，网络开放功能网元将外部ID(第三方的网元ID)发送到运营商网络时，可将其翻译成SUPI。在5G中，网络开放功能网元可以是NEF网元，在未来通信如6G中，网络开放功能网元仍可以是NEF网元，或有其它的名称，本申请不做限定。
以上策略控制功能PCF网元是由运营商提供的控制面功能，用于向SMF网元提供PDU会话的策略。策略可以包括计费相关策略、QoS相关策略和授权相关策略等。在5G中，策略控制功能网元可以是PCF网元，在未来通信如6G中，策略控制功能网元仍可以是PCF网元，或有其它的名称，本申请不做限定。
图2中Nnssf、Nnef、Nausf、Nnrf、Npcf、Nudm、Naf、Namf、Nnvaf、Nsmf、N1、N2、N3、N4，以及N6为接口序列号。这些接口序列号的含义可参见3GPP标准协议中定义的含义，在此不做限制。
本申请实施例下述所提及的至少一个，是指一个，或一个以上，即包括一个、两个、三个及以上。多个，是指两个，或两个以上，即包括两个、三个及以上。携带，可以是指某消息用于承载某信息或数据，也可以是指某消息由某信息构成。耦合是指装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。
另外应理解，本申请实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。
下面，结合上述图1和图2所示的无线通信系统，对本申请提供的管理方法实施例进行详细说明。首先，介绍本申请实施例提供的网络系统分级方法，然后介绍本申请实施例提供的装置。
为解决背景技术中提到的问题，基于图1所示的架构，本申请提供一种网络系统的分级方法。
示例性的，本申请下述介绍的所述网络系统分级方法可由自动化分级装置执行。具体的，自动化分级装置可用于执行S101和/或S102所示步骤。所述自动化分级装置可以是待评价的网络系统中一个站点或一个子系统，或一个站点中的一个功能模块，或一个子系统中的一个功能模块，或者，自动化分级装置可以是该待评价的网络系统以外的站点或系统，或站点中的功能模块或芯片，或系统中的功能模块。比如，所述自动化分级装置可以是待评价的网络系统中的网络管理系统。
如图3所示，该方法可包括以下S101至S102所示步骤：
S101：获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能。
在本申请中，运维场景可与网络系统的一个或多个运维过程对应，每个运维过程中网络系统进行相应的运维。例如，网络系统的运维过程可包括网络规划、网络部署、网络系统中的站点部署、网络优化、网络维护和业务运营等方面，相应地，网络系统的运维场景可包括网络规划场景、网络部署场景、站点部署场景、网络优化场景、网络维护场景、业务运营场景或其他运维场景中的一个或多个。
其中，网络规划场景下，网络系统执行一张网络的规划设计，包括对于网络空口、频谱、架构和/或性能等的规划设计来满足新场景或者新业务。该场景下，运维参数可包括以下参数中的至少一种：用于指示是否需要人参与网络规划的参数；或者，网络规划时长；或者，网络规划中人参与的时长；或者，网络规划的准确率；或者，网络规划中人参与的次数；或者，用于指示是否需要人工进行站点勘测的参数，其中，站点勘测是指对于站点所在地的地形、障碍物和/或附近站点等信息的采集和获取；或者，用于指示是否需要人工进行站点选址的参数。
网络部署场景下，网络系统执行一张网络的部署过程，包括根据网络规划情况进行站点的部署、网络拓扑的生成和/或站点的配置等部署满足业务需求。该场景下，运维参数可包括以下参数中的至少一种：网络部署的时长；或者，网络部署过程中人参与的时长；或者，是否需要人参与网络需求到网络拓扑的映射过程的参数；或者，用于指示是否需要人参与网络需求到网络配置的生成过程的参数；或者，网络部署过程中断次数。
站点部署场景下，网络系统执行站点的部署过程，包括站点的规划、站点的开通、站点全配置数据生成和/或站点验收等过程。该场景下，运维参数可包括站点规划参数、全配置数据生成参数、站点开通参数或者站点验收参数等中的至少一种。
站点规划参数可指与重点规划过程相关的参数，具体可包括用于指示是否需要人参与站点规划的参数、站点规划的时长、站点规划中人参与的时长、站点规划数据的个数或者站点规划数据的准确率等中的至少一种。其中，站点规划数据的准确率可用于指示站点规划输出的数据的准确程度。
全配置数据生成参数可指与全配置数据生成过程相关的参数，具体可包括用于指示是否需要人参与全配置数据生成的参数、全配置数据生成的时长、用于指示全配置数据的完备性的参数或者全配置数据生成中人参与时长等参数中的至少一种。其中，全配置数据是指网络系统中站点和/或子系统所需的全部配置参数和/或数据。用于指示全配置数据的完备性的参数可用于指示全配置数据的完备程度，即完备程度越低，则后续需要通过人工输入等方式进行完善的全配置数据占全部全配置数据的比例越高。
站点开通参数可指与站点开通过程相关的参数，具体可包括用于指示是否需要人参与站点开通的参数、站点开通的时长、站点开通中人参与时长或者站点开通中发生故障的次数等参数中的至少一种。其中，站点开通是指从站点上电到站点自配置成功的过程。
站点验收参数可指与站点验收过程相关的参数，具体可包括用于指示是否需要人参与站点验收的参数、站点验收的时长、站点验收中人参与的时长、站点验收的成功率或者站点验收的准确率等参数中的至少一种。其中，站点验收是指测试站点开通情况是否满足预期，如果满足，则确定接收成功。
网络优化场景下，网络系统执行一张网络的优化来满足业务保障的诉求，包括，业务保障需求分解、优化策略产生、数据采集、问题发现、问题识别、优化方案产生和决策和/或优化方案执行等过程。该场景下，运维参数可包括网络性能数据采集参数(或称性能呈现参数)、优化参数配置参数、问题识别参数、优化方案制定和决策参数或意图需求分解参数等中的至少一种。
网络性能数据采集参数可指与网络性能数据的采集过程相关的参数，具体可包括用于指示是否需要人参与网络性能数据的采集的参数、用于指示是否需要人输入网络性能数据采集策略的参数、网络性能数据采集的时长、网络性能数据采集中人参与的时长、用于指示是否可以采集网络性能数据的参数、用于指示是否可以采集路测数据的参数或者用于指示是否可以采集体验质量(quality of experience，QoE)数据的参数等中的至少一种。其中，网络性能数据可包括容量、物理资源块(physical resource block，PRB)使用率、掉话率和/或时延等数据。路测数据可包括UE上报的带有经纬度信息的测量报告，如最小化路测数据(minimization of drive tests，MDT)。QoE是指用户对网络系统或对网络系统提供的网络承载业务的质量和性能的主观感受，如语音QoE和/或视频QoE等。
优化参数配置参数可指与优化参数配置过程相关的参数，具体可包括用于指示是否需要人参与优化参数配置、优化参数配置时长、优化参数配置中人参与时长或者优化评估准确率等参数中的至少一种。
问题识别参数可指与网络问题的识别过程相关的参数，具体可包括用于指示是否需要参与网络问题识别的参数、网络问题识别时长、网络问题识别中人参与时长或者网络问题识别准确率等参数中的至少一种。
优化方案制定和决策参数可指与优化方案的制定和/或决策过程相关的参数，具体可包括用于指示是否需要人参与优化方案制定的参数、优化方案制定时长、优化方案制定中人参与时长、用于指示是否需要人参与优化方案决策的参数、优化方案决策时长、优化方案决策中人参与时长或者优化方案决策准确率等参数中的至少一种。
意图需求分解参数可指与优化意图相关的参数，具体可包括用于指示是否需要人参与优化策略动态更新的参数、优化策略动态更新时长、优化策略动态更新中人参与时长、优化策略动态更新准确率或者用于指示是否可以根据优化意图实现网络优化的参数等中的至少一种。
网络维护场景下，网络系统执行一张网络的维护过程，可包括故障维护场景，该过程可包括故障数据的采集、故障关联和压缩、故障根因分析、故障处理方案产生和决策、故障处理方案执行和/或故障预测等过程。该场景下，运维参数可包括故障处理方案执行参数、数据采集参数(或称故障呈现参数)、故障压缩参数、故障根因分析参数、故障定位参数、故障预测参数或者故障处理方案决策参数等中的至少一种。
以上故障处理方案执行参数可指与故障处理方案执行过程相关的参数，具体可包括用于指示是否需要人参与故障处理方案执行的参数；或者，故障处理方案执行的时长；或者，故障处理方案执行中人工参的时长等参数中的至少一个。其中，故障处理方案是指故障发生后为解决该故障或降低故障影响程度所执行的方案。
数据采集参数可指与故障数据的采集过程相关的参数，具体可包括用于指示是否需要人参与数据采集的参数、数据采集的时长、数据采集中人参与的时长或者用于指示采集数据的有效性的参数等中的至少一种。其中，故障数据(或称数据)是指网络的告警信息，或称故障信息，用于指示发生故障和/或故障原因，比如单板故障等，本申请不做具体限定。用于指示采集数据的有效性的参数，可用于指示告警信息是否为有效告警，若告警信息被确定为无效告警，则该参数指示该告警信息无效。
故障压缩参数可指与故障压缩过程有关的参数，具体可包括故障数据压缩率。下面以故障数据为告警信息为例说明故障压缩过程，当存在连续发送的内容相同的多条告警信息，则多条告警信息可能在压缩后发送，从而减少告警信息的数量，进行压缩的比例即压缩率，对故障数据进行压缩的目的包括减少关联的故障数据，避免资源被同一故障过度占用。
故障根因分析参数可指与故障的根因分析相关的参数，具体可包括用于指示是否需要人参与根因分析的参数、根因分析的时长或者根因分析中人参与的时长等参数中的至少一种。其中，根因分析是指分析告警出现的最根本原因。
故障定位参数可指与故障定位过程有关的参数，具体可包括用于指示是否需要人参与故障定位的参数或者故障定位的准确率等参数中的至少一种。故障定位过程用于对发生故障的节点进行定位。
故障预测参数可指与故障预测过程有关的参数，具体可包括用于指示是否能进行故障预测的参数、用于指示是否需要人参与故障预测的参数、故障预测的准确率或者故障预测的周期等参数中的至少一种。
故障处理方案决策参数可指与故障处理方案的决策过程有关的参数，具体可包括用于指示是否需要人参与故障处理方案决策的参数、故障处理方案决策的时长、故障处理方案决策中人参与的时长、故障处理方案决策的准确率或者故障恢复成功率等参数中的至少一种。
业务运营场景下，网络系统执行一个业务的运营过程，可包括业务需求映射、业务发放和/或业务性能呈现等过程。该场景下，运维参数可包括业务需求映射参数、业务发放参数、业务评估参数或者业务性能呈现参数等中的至少一种。
以上业务需求映射参数可指与业务需求映射过程相关的参数，具体可包括用于指示是否需要人参与业务需求到网络需求的映射过程的参数、业务需求到网络需求的映射时长或者业务需求到网络需求映射中人参与的时长。
业务发放参数可指与业务发放过程相关的参数，具体可包括用于指示是否需要人参与业务发放过程的参数、业务发放过程时长、业务发放过程中人参与的时长或者业务发放准确率。
业务性能呈现参数可指与业务性能呈现过程相关的参数，具体可包括用于指示是否需要人参与业务评估的参数、业务评估时长、用于指示是否需要人参与业务性能呈现的参数、业务性能呈现时长或者用于指示是否可以呈现业务性能的参数。
应理解，不同网络系统所支持的运维场景可能相同或不同，在执行以上图3所示流程时，可从网络系统支持的运维场景中选择一个运维场景，并获取网络系统在该运维场景下的运维参数，进一步确定该运维场景下网络系统的自动化等级。
另外，本申请所涉及的运维参数，可以是某个运维场景下的运维过程的统计值。比如，在网络规划场景下，可统计网络规划的时长，将该统计值作为统计规划时长并存储在本地，在执行S101所示步骤时，从本地获取统计规划时长作为运维参数。再比如，运维参数可以是统计装置根据运维场景下的运维过程进行统计得到的，其中，统计装置可以是待评价的网络系统中一个站点或一个子系统，或一个站点中的一个功能模块或芯片，或一个子系统中的一个功能模块或芯片，或者，统计装置可以是待评价的网络系统以外的站点、系统、设备或芯片。统计装置在获取运维参数后，可将运维参数存储于本地，或存储于网络系统。示例性的，统计装置可与一个或多个网络系统对应，用于统计一个或多个网络系统的运维参数。
示例性的，统计装置可以与用于执行本申请实施例自动化分级装置为同一装置，例如，统计装置与自动化分级装置同为待评价的网络系统中的一个站点。从而，自动化分级装置在执行S101所示步骤时，可从本地存储中获取运维参数。另外，本申请并不排除统计装置可以与以上自动化分级装置为不同设备，例如，统计装置与自动化分级装置分别为待评价的网络系统中的不同站点。此时，自动化分级装置在执行S101所示步骤时，可从统计装置获取运维参数。
S102：根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
在S102所示步骤的执行中，可根据所述网络系统在运维场景下的运维参数以及所述运维场景下的参考自动化等级的评价信息，从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级。其中，参考自动化等级的评价信息可用于确定网络系统在运维场景下的自动化等级是否满足该参考自动化等级，当网络系统在运维场景下的运维参数满足参考自动化等级的评价信息时，可确定网络系统在运维场景下的自动化等级满足该参考自动化等级；和/或，当网络系统在运维场景下的运维参数不满足参考自动化等级的评价信息时，可确定网络系统在运维场景下的自动化等级不满足该参考自动化等级。
一种可能的示例中，参考自动化等级的评价信息可包括参考自动化等级的特征信息，如参考自动化等级对应的网络系统的复杂程度信息、网络系统包含的站点(和/或子系统)的数量或网络系统建立时间等信息中的部分或全部信息。例如，在网络系统的复杂程度很高、包含的站点数量很多或者网络系统建立的时间较久远的情况下，网络系统的自动化等级会在一定程度上受限，无法实现很高的自动化运维。
另一种可能的示例中，参考自动化等级的评价信息可包括参考自动化等级对应的等级信息，如参考自动化等级对应的运维性能评价指标。所述运维性能指标具体可以是某一运维场景下的运维参数的阈值，所述运维性能评价指标可用于比对待评价的网络系统在该运维场景下的运维参数，以根据比对结果确定网络系统是否满足运维性能评价指标对应的参考自动化等级。
具体来说，在从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级时，可根据参考自动化等级对应的运维性能评价指标，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在运维场景下的自动化等级。
以上参考自动化等级与运维性能评价指标之间的对应关系可以是预先设定的。例如，站点部署场景下，某个参考自动化等级对应的运维性能评价指标包括全配置参数生成时长小于2个小时、全配置参数生成中人参与时长为0小时以及用于指示全配置数据的完备性的参数大于95％，则在确定网络系统在重点部署场景下的自动化等级时，可分别判断站点部署场景下待评价的网络系统的运维参数中，全配置参数生成时长是否小于2个小时、全配置参数生成中人参与时长是否为0小时以及用于指示全配置数据的完备性的参数是否大于95％，若是，则确定运维参数满足该参考自动化等级的运维性能评价指标；否则，若其中任一次的判断结果为否，则确定运维参数不满足该参考自动化等级的运维性能评价指标。
示例性的，在从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级时，可从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。也就是说，可选择所述运维参数满足的评价信息对应的一个或多个参考自动化等级中，表征的自动化程度最高的参考自动化等级作为所述网络系统在运维场景下的自动化等级。
例如，以第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递增为例，若待评价的网络系统在站点部署场景下的运维参数分别满足第一网络自动化等级、第二网络自动化等级以及第三网络自动化等级各自的评价信息，所述运维参数不满足第四网络自动化等级以及第五网络自动化等级各自的评价信息，则可将第三网络自动化等级确定为网络系统在站点部署场景下的自动化等级。
基于上述参考自动化等级与运维性能评价指标之间的对应关系，一种可实现方式可以是：若确定网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级，其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。再一种可实现方式还可以是若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级，其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
举例来说，假设当前参考自动化等级包括第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级、第五网络自动化等级，其中，每个参考自动化等级对应各自的运维性能评价指标。其中，第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递增或递减，本申请不作具体限定。
下面以参考自动化等级的评价信息包括参考自动化等级对应的运维性能评价指标为例说明。以第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递增为例，若待评价的网络系统在站点部署场景下的运维参数包括全配置数据生成中人参与的时长为1小时，且第一网络自动化等级对应的运维性能评价指标包括全配置数据生成中人参与的时长大于0，第二网络自动化等级以及自动化程度更高的参考自动化等级对应的运维性能评价指标中全配置数据生成中人参与的时长为0，因此，待评价的网络系统在站点部署场景下的运维参数满足第一网络自动化等级对应的运维性能评价指标，但不满足第二网络自动化等级对应的运维性能评价指标，此时排除第二网络自动化等级以及自动化程度更高的参考自动化等级，选择第一网络自动化等级为该网络系统在站点部署场景下的自动化等级。
仍以第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递增为例，若待评价的网络系统在站点部署场景下的运维参数包括全配置数据生成中人参与的时长为0小时，且第五网络自动化等级对应的运维性能评价指标包括全配置数据生成中人参与的时长为0，因此，待评价的网络系统在站点部署场景下的运维参数满足第五网络自动化等级对应的运维性能评价指标，由于第五网络自动化等级表征的自动化程度最高，此时选择第五网络自动化等级为该网络系统在站点部署场景下的自动化等级。
一种可选择的方式中，可按照表征的自动化程度递增或递减的顺序从多个参考自动化等级中选择参考自动化等级，并判断待评价网络系统在运维场景下的运维参数是否满足该参考自动化等级的评价信息。比如，若按照递增顺序，则在确定待评价网络系统在运维场景下的运维参数满足某一个参考自动化等级的评价信息后，选择下一个参考自动化等级，并判断运维参数是否满足下一个参考自动化等级的评价信息，若满足，则继续选择下一个参考自动化等级；否则，若不满足，则将前一个满足的参考自动化等级作为该网络系统在该运维场景下的自动化等级。再比如，若按照递减顺序，则在确定待评价网络系统在运维场景下的运维参数不满足某一个参考自动化等级的评价信息后，选择下一个参考自动化等级，并比较运维参数是否满足下一个参考自动化等级的评价信息，若满足，则将该满足的参考自动化等级作为该网络系统在该运维场景下的自动化等级；否则，若不满足，则继续选择下一个参考自动化等级，并继续比较运维参数与下一个参考自动化等级的评价信息。
可见采用以上图3所示方法，可获取网络系统在特定运维场景下的运维参数，并根据该运维参数确定网络系统在该特定运维场景下的自动化等级，从而实现网络系统在特定运维场景中的自动化程度的等级划分。
在本申请实施中，还可根据网络系统在网络系统支持的一个或多个运维场景下的自动化等级，确定所述网络系统的自动化等级。
在一种具体的示例中，若网络系统支持的运维场景的数量为一个，可将网络系统在该运维场景下的自动化等级确定为网络系统的自动化等级。在另一种具体的示例中，若网络系统支持的运维场景的数量为多个，可将网络系统支持的多个运维场景下网络系统的多个自动化等级中，表征的自动化程度最低的自动化等级，确定为网络系统的自动化等级，或者，可将网络系统支持的多个运维场景下网络系统的多个自动化等级中，表征的自动化程度最高的自动化等级，确定为网络系统的自动化等级。
在一种可能的实现方式中，一种可选方式可将网络系统在每个运维场景下分别的自动化等级对应的数值的平均值，确定网络系统的自动化等级。
例如，可根据以下公式确定网络系统的自动化等级对应的数值：
Figure BDA0002087439680000151
其中，L表示网络系统的自动化等级对应的数值，Li表示网络系统在第i个运维场景下的自动化等级对应的数值，i为正整数，1≤i≤N，N为网络系统支持的运维场景的数量。
进一步，可对根据以上公式确定的数值L进行上取整或下取整，取整结果对应的自动化等级即网络系统对应的自动化等级。
假设网络系统支持的运维场景包括N个运维场景，以及，将第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别量化为数值1至5。当网络系统支持的运维场景包括运维场景A、运维场景B以及运维场景C，且已知网络系统在运维场景A下的自动化等级为第二网络自动化等级，其对应的数值为2，网络系统在运维场景B下的自动化等级为第三网络自动化等级，其对应的数值为3，网络系统在运维场景C下的自动化等级为第五网络自动化等级，其对应的数值为5，则根据公式一可确定L＝3.33。对L进行上取整，可知网络系统的自动化等级为第四网络自动化等级，或者，对L进行下取整，可知网络系统的自动化等级为第三网络自动化等级。
再一种可选方式，可根据网络系统支持的多个运维场景中每个运维场景对应的权重，计算多个运维场景下网络系统的自动化等级的加权平均值，并根据计算结果确定网络系统的自动化等级，其中，可根据不同的运维场景的重要性程度设置运维场景对应的权重。具体的，可根据以下公式，确定网络系统的自动化等级对应的数值：
Figure BDA0002087439680000161
其中，L表示网络系统的自动化等级对应的数值，Li表示网络系统在第i个运维场景下的自动化等级对应的数值，qi表示网络系统在第i个运维场景对应的权重，i为正整数，1≤i≤N，N为运维场景的数量。示例性的，
Figure BDA0002087439680000162
例如，在计算前可对qi进行归一化处理。
进一步，可对根据以上公式确定的数值L进行上取整或下取整，取整结果对应的自动化等级即网络系统对应的自动化等级。
当网络系统支持的多个运维场景包括运维场景A、运维场景B以及运维场景C，且已知网络系统在运维场景A下的自动化等级为第二网络自动化等级，其对应的数值为2、运维场景A对应的权重为0.6，网络系统在运维场景B下的自动化等级为第三网络自动化等级，其对应的数值为3、运维场景B对应的权重为0.3，网络系统在运维场景C下的自动化等级为第五网络自动化等级，其对应的数值为5、运维场景C对应的权重为0.1，则根据公式二可确定L＝2.6。对L进行上取整，可知网络系统的自动化等级为第三网络自动化等级，或者，对L进行下取整，可知网络系统的自动化等级为第二网络自动化等级。
示例性的，若第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递增，则可对通过上述公式一和/或公式二确定的L进行下取整；若第一网络自动化等级、第二网络自动化等级、第三网络自动化等级、第四网络自动化等级以及第五网络自动化等级分别表征的自动化程度递减，则可对通过上述公式一和/或公式二确定的L进行上取整。
以上网络系统支持的多个网络场景，可包括网络部署场景，网络优化场景，网络维护场景，网络规划场景和业务运营场景中的至少一个。网络系统分别在网络系统支持的多个网络场景下的自动化等级的确定方式，可参照前述确定网络系统在网络场景下的自动化等级的方式，再次不再赘述。
应理解，可由自动化分级装置确定网络系统支持的多个运维场景，并由自动化分级装置根据至少一个运维场景下网络系统的多个自动化等级，确定网络系统的自动化等级。
下面，以自动化分级装置为执行主体为例，具体说明本申请实施例提供的一种网络系统分级方法的步骤。如图4所示，该方法可包括以下步骤：
S201：自动化分级装置从网络系统获取该网络系统在运维场景下的运维参数。
其中，所述运维参数存储于所述网络系统。所述网络系统在所述运维场景下的运维参数可以是根据所述网络系统在所述运维场景下的运维过程进行统计得到的。
示例性的，S201的实施中，自动化分级装置可向网络系统请求获取所述运维参数，并从网络系统接收所述运维参数。
S202：自动化分级装置根据该网络系统在该运维场景下的运维参数，确定所述网络系统在所述运维场景下的自动化等级。
S203：自动化分级装置确定该网络系统支持的多个运维场景。其中，多个运维场景包括S201所述运维场景。
S204：自动化分级装置根据所述网络系统在所述多个运维场景下的自动化等级，确定所述网络系统的自动化等级。
其中，所述网络系统在所述多个运维场景下的自动化等级，包括S202中的所述网络系统在所述运维场景下的自动化等级。
采用以上流程，自动化分级装置可根据网络系统在运维场景下的运维参数确定所述网络系统在所述运维场景下的自动化等级，进一步，自动化分级装置还可根据所述网络系统在多个运维场景下的自动化等级，确定网络系统的自动化等级，从而实现网络系统自动化等级的评定。
应理解，本申请对于以上S203所示步骤的时序没有严格限制，该步骤可以在S202之后以及S204之前进行，也可以在S201或S202之前执行。以上S201-S204的具体实现方式，可参照以上方法实施例中的相应描述，在此不再赘述。
基于与以上方法实施例相同的技术构思，本申请实施例还提供了一种装置，该装置可具备上述方法实施例中自动化分级装置的功能，并可用于执行上述方法实施例提供的由自动化分级装置执行的步骤。所述功能可以通过硬件实现，也可以通过软件或者硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一种可能的实现方式中，如图5所示的装置500可作为上述方法实施例的自动化分级装置，用于执行上述方法实施例所示的步骤。其中，装置500可以是待评价的网络系统中的一个站点或站点的组成部分，或子系统，或子系统的组成部分，或者，装置500也可以是待评价的网络系统以外的站点、系统、设备或芯片。如图5所示，该装置500可包括运维参数获取模块501以及等级确定模块502，以上运维参数获取模块501以及等级确定模块502之间相互耦合。
在执行上述方法实施例所示步骤时，运维参数获取模块501可用于获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能。等级确定模块502可用于根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
在根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级时，所述等级确定模块502具体可用于根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级分别的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级。
其中，参考自动化等级的评价信息可包括参考自动化等级的特征信息，如参考自动化等级对应的网络系统的复杂程度信息、网络系统包含的站点(和/或子系统)数量或网络系统建立时间等信息中的部分或全部信息。另外，参考自动化等级的评价信息可包括参考自动化等级对应的等级信息。参考自动化等级对应的等级信息例如参考自动化等级对应的运维性能评价指标。
示例性的，等级确定模块502可用于从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。
一种具体的示例中，在根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级分别的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级时，所述等级确定模块502具体可用于，若所述网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级，其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。
另一种示例中，在根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级分别的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级时，所述等级确定模块502具体可用于，若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级，其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
以上运维场景的含义及内容可参照以上方法实施例中对于运维场景的说明，以及，以上运维参数的含义及内容可参照以上方法实施例中对于运维参数的说明，在此不再赘述。
示例性的，所述等级确定模块502还可用于：确定所述网络系统支持的多个运维场景，所述多个运维场景包括所述运维场景；根据所述网络系统在所述多个运维场景下的自动化等级确定所述网络系统的自动化等级。
在另一种实现方式中，本申请实施例提供的装置还可由硬件组件构成，例如这些硬件组件可包括处理器、存储器或者收发器等。示例性的，该装置的结构可如图6所示。为便于理解，图6中仅示出了该装置执行本申请所示方法所必须的结构，本申请并不限制该装置可具备更多组件。该装置600可包括通信接口601、存储器602以及处理器603。该通信接口601可以用于装置600进行通信，如用于发送或接收信号。具体的，通信接口601可用于装置600通过有线方式收发信号，例如，通信接口601可以用于装置600与网络系统内的其他站点进行有线通信。该存储器602与所述处理器603耦合，其用于保存装置600实现各功能所必要的程序和数据。该处理器603被配置为支持装置600执行上述方法中相应的处理功能。以上存储器602以及处理器603可集成于一体也可相互独立。
其中，以上存储器602也可以是外接于装置600的，此时该装置600可包括通信接口601以及处理器603。另外，若通信接口601以及存储器602均外接于装置600，此时该装置600可包括处理器603。通信接口也可以是外接于装置600的，此时该装置600可包括处理器603。
应理解，以上运维参数获取模块501可由处理器603实现，或由处理器603以及储存器602实现。另外，以上等级确定模块502可由处理器603实现，或由处理器603以及储存器602实现。
在通过如图6所示结构实现以上装置时，可由处理器603执行以上运维参数获取模块501和/或等级确定模块502所执行的步骤。存储器602可用于存储程序，用于处理器603调用该程序以执行以上运维参数获取模块501和/或等级确定模块502所执行的步骤。
应理解，以上实施例中对于装置所包含组件是示意性的，仅仅为一种可能的示例，其实际实现时可以具有另外的构成方式。另外，以上装置中的各组件可以集成在一个模块中，也可以是单独的物理存在。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，不应理解为以以上附图所示结构为限。
基于与上述方法实施例相同构思，本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，使该计算机执行上述方法实施例、方法实施例的任意一种可能的实现方式中由自动化分级装置执行的操作。
基于与上述方法实施例相同构思，本申请还提供一种计算机程序产品，该计算机程序产品在被计算机调用执行时，可以使得计算机实现上述方法实施例、方法实施例的任意一种可能的实现方式中由自动化分级装置执行的操作。
基于与上述方法实施例相同构思，本申请还提供一种芯片或芯片系统，该芯片可包括处理器。该芯片还可包括存储器(或存储模块)和/或收发器(或通信模块)，或者，该芯片与存储器(或存储模块)和/或收发器(或通信模块)耦合，其中，收发器(或通信模块)可用于支持该芯片进行有线和/或无线通信，存储器(或存储模块)可用于存储程序，所述处理器调用所述程序可用于实现上述方法实施例、方法实施例的任意一种可能的实现方式中由自动化分级装置执行的操作。该芯片系统可包括以上芯片，也可以包含上述芯片和其他分立器件，如存储器(或存储模块)和/或收发器(或通信模块)。
基于与上述方法实施例相同构思，本申请还提供一种通信系统，该通信系统可用于实现上述方法实施例、方法实施例的任意一种可能的实现方式中由终端设备、第一接入网设备、第二接入网设备或者管理设备执行的操作。示例性的，该通信系统具有如图1或图2所示结构。
本申请实施例是参照实施例所涉及的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (28)

1.一种网络系统分级方法，其特征在于，包括：
获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能；
根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
2.如权利要求1所述的方法，其特征在于，根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，包括：
根据所述网络系统在运维场景下的运维参数以及所述运维场景下的参考自动化等级的评价信息，从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级。
3.如权利要求2所述的方法，其特征在于，所述参考自动化等级的评价信息包括参考自动化等级对应的等级信息。
4.如权利要求2或3所述的方法，其特征在于，根据所述网络系统在运维场景下的运维参数以及所述运维场景下的参考自动化等级的评价信息，从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级，包括：
从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。
5.如权利要求2或3所述的方法，其特征在于，所述根据所述网络系统在运维场景下的运维参数以及所述运维场景下的参考自动化等级的评价信息，从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级，包括：
若所述网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级；
其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。
6.如权利要求2或3所述的方法，其特征在于，所述根据所述网络系统在运维场景下的运维参数以及所述运维场景下的参考自动化等级的评价信息，从多个参考自动化等级中确定一个参考自动化等级为所述网络系统在运维场景下的自动化等级，包括：
若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级；
其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
7.如权利要求1-6任一所述的方法，其特征在于，所述运维场景包括站点部署场景，网络部署场景，网络优化场景，网络维护场景，网络规划场景和业务运营场景中的至少一个。
8.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括站点部署场景时，所述运维参数包括以下参数中的至少一种：
站点规划参数；或者，全配置数据生成参数；或者，站点开通参数；或者，站点验收参数。
9.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括网络维护场景时，所述运维参数包括以下参数中的至少一种：
故障处理方案执行参数；或者，数据采集参数；或者，故障压缩参数；或者，故障根因分析参数；或者，故障定位参数；或者，故障预测参数；或者，故障处理方案决策参数。
10.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括网络规划场景时，所述运维参数包括以下参数中的至少一种：
用于指示是否需要人参与网络规划的参数；或者，网络规划时长；或者，网络规划中人参与的时长；或者，网络规划的准确率；或者，网络规划中人参与的次数；或者，用于指示是否需要人工进行站点勘测的参数；或者，用于指示是否需要人工进行站点选址的参数。
11.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括网络部署场景时，所述运维参数包括以下参数中的至少一种：
网络部署的时长；或者，网络部署过程中人参与的时长；或者，是否需要人参与网络需求到网络拓扑的映射过程的参数；或者，用于指示是否需要人参与网络需求到网络配置的生成过程的参数；或者，网络部署过程中断次数。
12.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括网络优化场景时，所述运维参数包括以下参数中的至少一种：
网络性能数据采集参数；或者，优化参数配置参数；或者，问题识别参数；或者，优化方案制定和决策参数；或者，意图需求分解参数。
13.如权利要求1-7任一所述的方法，其特征在于，当所述运维场景包括业务运营场景时，所述运维参数包括以下参数中的至少一种：
业务需求映射参数；或者，业务发放参数；或者，业务评估参数；或者，业务性能呈现参数。
14.如权利要求1-13任一所述的方法，其特征在于，所述方法还包括：
确定所述网络系统支持的多个运维场景；
根据所述网络系统分别在所述支持的多个运维场景下的自动化等级确定所述网络系统的自动化等级。
15.一种装置，其特征在于，包括：
运维参数获取模块，用于获取网络系统在运维场景下的运维参数，所述运维参数用于表征所述网络系统在所述运维场景下的运维性能；
等级确定模块，用于根据所述网络系统在所述运维场景下的所述运维参数，确定所述网络系统在所述运维场景下的自动化等级，所述网络系统在所述运维场景下的自动化等级用于表征所述网络系统在所述运维场景下的自动化运维程度。
16.如权利要求15所述的装置，其特征在于，所述等级确定模块具体用于：
根据所述网络系统在运维场景下的运维参数以及所述运维场景下的多个参考自动化等级的评价信息，确定所述多个参考自动化等级中的一个参考自动化等级为所述网络系统在所述运维场景下的自动化等级。
17.如权利要求16所述的装置，其特征在于，所述参考自动化等级的评价信息包括参考自动化等级对应的等级信息。
18.如权利要求16或17所述的装置，其特征在于，所述等级确定模块具体用于：
从多个参考自动化等级中选择最高等级的参考自动化等级为所述网络系统在运维场景下的自动化等级，其中所述网络系统在运维场景下的运维参数满足所述选择的最高等级的参考自动化等级的评价信息。
19.如权利要求16或17所述的装置，其特征在于，所述等级确定模块具体用于：
若所述网络系统在运维场景下的运维参数满足第一参考自动化等级的评价信息，且所述网络系统在运维场景下的运维参数不满足第二参考自动化等级的评价信息，则确定所述网络系统在所述运维场景下的自动化等级为所述第一参考自动化等级；
其中，所述第二参考自动化等级与第一参考自动化等级为相邻等级，且所述第二参考自动化等级表征的自动化程度高于所述第一参考自动化等级表征的自动化程度。
20.如权利要求16或17所述的装置，其特征在于，所述等级确定模块具体用于：
若所述网络系统在运维场景下的运维参数满足第三参考自动化等级的评价信息，确定所述网络系统在所述运维场景下的自动化等级为所述第三参考自动化等级；
其中，所述第三参考自动化等级表征的自动化程度高于除所述第三参考自动化等级以外的全部参考自动化等级分别表征的自动化程度。
21.如权利要求15-20任一所述的装置，其特征在于，所述运维场景包括站点部署场景，网络部署场景，网络优化场景，网络维护场景，网络规划场景和业务运营场景中的至少一个。
22.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括站点部署场景时，所述运维参数包括以下参数中的至少一种：
站点规划参数；或者，全配置数据生成参数；或者，站点开通参数；或者，站点验收参数。
23.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括网络维护场景时，所述运维参数包括以下参数中的至少一种：
故障处理方案执行参数；或者，数据采集参数；或者，故障压缩参数；或者，故障根因分析参数；或者，故障定位参数；或者，故障预测参数；或者，故障处理方案决策参数。
24.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括网络规划场景时，所述运维参数包括以下参数中的至少一种：
用于指示是否需要人参与网络规划的参数；或者，网络规划时长；或者，网络规划中人参与的时长；或者，网络规划的准确率；或者，网络规划中人参与的次数；或者，用于指示是否需要人工进行站点勘测的参数；或者，用于指示是否需要人工进行站点选址的参数。
25.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括网络部署场景时，所述运维参数包括以下参数中的至少一种：
网络部署的时长；或者，网络部署过程中人参与的时长；或者，是否需要人参与网络需求到网络拓扑的映射过程的参数；或者，用于指示是否需要人参与网络需求到网络配置的生成过程的参数；或者，网络部署过程中断次数。
26.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括网络优化场景时，所述运维参数包括以下参数中的至少一种：
网络性能数据采集参数；或者，优化参数配置参数；或者，问题识别参数；或者，优化方案制定和决策参数；或者，意图需求分解参数。
27.如权利要求15-21任一所述的装置，其特征在于，当所述运维场景包括业务运营场景时，所述运维参数包括以下参数中的至少一种：
业务需求映射参数；或者，业务发放参数；或者，业务评估参数；或者，业务性能呈现参数。
28.如权利要求15-27任一所述的装置，其特征在于，所述等级确定模块还用于：
确定所述网络系统支持的多个运维场景；
根据所述网络系统分别在所述支持的多个运维场景下的自动化等级确定所述网络系统的自动化等级。
CN201910492320.6A 2019-06-06 2019-06-06 一种网络系统分级方法及装置 Active CN112055364B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910492320.6A CN112055364B (zh) 2019-06-06 2019-06-06 一种网络系统分级方法及装置
PCT/CN2020/094747 WO2020244644A1 (zh) 2019-06-06 2020-06-05 一种网络系统分级方法及装置
EP20818521.5A EP3968683A4 (en) 2019-06-06 2020-06-05 Method and device for grading network system
US17/541,842 US20220095133A1 (en) 2019-06-06 2021-12-03 Network system level division method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492320.6A CN112055364B (zh) 2019-06-06 2019-06-06 一种网络系统分级方法及装置

Publications (2)

Publication Number Publication Date
CN112055364A true CN112055364A (zh) 2020-12-08
CN112055364B CN112055364B (zh) 2023-04-07

Family

ID=73608817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492320.6A Active CN112055364B (zh) 2019-06-06 2019-06-06 一种网络系统分级方法及装置

Country Status (4)

Country Link
US (1) US20220095133A1 (zh)
EP (1) EP3968683A4 (zh)
CN (1) CN112055364B (zh)
WO (1) WO2020244644A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467984A (zh) * 2021-07-20 2021-10-01 中国商用飞机有限责任公司北京民用飞机技术研究中心 飞机系统故障诊断方法、装置、计算机设备及存储介质
CN114745258A (zh) * 2020-12-23 2022-07-12 中移(苏州)软件技术有限公司 网元功能体的生成方法、装置、设备及存储介质
WO2022236791A1 (zh) * 2021-05-14 2022-11-17 华为技术有限公司 一种网络管理的方法及相关设备
WO2023185467A1 (zh) * 2022-04-01 2023-10-05 华为技术有限公司 一种网络自治能力评估方法、装置及存储介质
WO2024051805A1 (zh) * 2022-09-08 2024-03-14 华为技术有限公司 一种运维网络自治等级的评估方法、装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187830B (zh) * 2023-01-06 2024-04-16 北京科技大学 基于熵权-理想解法的带钢冷连轧自动化率综合评价方法
CN116980285B (zh) * 2023-09-22 2023-12-08 北京绿色苹果技术有限公司 基于数据处理的驻场运维智能检测响应方法、系统和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144678A1 (en) * 2007-11-01 2013-06-06 International Business Machines Corporation System and Method for Evolving Processes In Workflow Automation
US20150188792A1 (en) * 2012-08-08 2015-07-02 Henning Sanneck Self Organizing Network Operation Diagnosis Function
CN105512788A (zh) * 2015-05-04 2016-04-20 上海北塔软件股份有限公司 一种智能运维管理方法及系统
WO2018137765A1 (en) * 2017-01-26 2018-08-02 Telefonaktiebolaget Lm Ericsson (Publ) System and method for analyzing network performance data
CN108880842A (zh) * 2017-05-11 2018-11-23 上海宏时数据系统有限公司 一种自动化运维平台的故障根源分析定位系统及分析方法
US20190049259A1 (en) * 2018-09-27 2019-02-14 Intel Corporation Technologies for autonomous driving quality of service determination and communication
CN109377061A (zh) * 2018-10-30 2019-02-22 百度在线网络技术（北京）有限公司 无人车的分级方法、装置、设备、存储介质和车辆
CN109558464A (zh) * 2018-11-21 2019-04-02 中国人民解放军国防科技大学 网络性能分级表示方法
CN109656820A (zh) * 2018-12-10 2019-04-19 中国铁道科学研究院集团有限公司通信信号研究所 基于cbtc的智能自动化测试系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10103938B1 (en) * 2017-05-24 2018-10-16 GM Global Technology Operations LLC Vehicle network switch configurations based on driving mode
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144678A1 (en) * 2007-11-01 2013-06-06 International Business Machines Corporation System and Method for Evolving Processes In Workflow Automation
US20150188792A1 (en) * 2012-08-08 2015-07-02 Henning Sanneck Self Organizing Network Operation Diagnosis Function
CN105512788A (zh) * 2015-05-04 2016-04-20 上海北塔软件股份有限公司 一种智能运维管理方法及系统
WO2018137765A1 (en) * 2017-01-26 2018-08-02 Telefonaktiebolaget Lm Ericsson (Publ) System and method for analyzing network performance data
CN108880842A (zh) * 2017-05-11 2018-11-23 上海宏时数据系统有限公司 一种自动化运维平台的故障根源分析定位系统及分析方法
US20190049259A1 (en) * 2018-09-27 2019-02-14 Intel Corporation Technologies for autonomous driving quality of service determination and communication
CN109377061A (zh) * 2018-10-30 2019-02-22 百度在线网络技术（北京）有限公司 无人车的分级方法、装置、设备、存储介质和车辆
CN109558464A (zh) * 2018-11-21 2019-04-02 中国人民解放军国防科技大学 网络性能分级表示方法
CN109656820A (zh) * 2018-12-10 2019-04-19 中国铁道科学研究院集团有限公司通信信号研究所 基于cbtc的智能自动化测试系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张嗣宏: ""基于人工智能的网络智能化发展探讨"", 《中兴通讯技术》 *
朱海东: "云网一体使能网络即服务", 《中兴通讯技术》 *
杜永生: ""网络智能,以"智"赋"动""", 《中兴通讯技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745258A (zh) * 2020-12-23 2022-07-12 中移(苏州)软件技术有限公司 网元功能体的生成方法、装置、设备及存储介质
CN114745258B (zh) * 2020-12-23 2023-09-05 中移(苏州)软件技术有限公司 网元功能体的生成方法、装置、设备及存储介质
WO2022236791A1 (zh) * 2021-05-14 2022-11-17 华为技术有限公司 一种网络管理的方法及相关设备
CN113467984A (zh) * 2021-07-20 2021-10-01 中国商用飞机有限责任公司北京民用飞机技术研究中心 飞机系统故障诊断方法、装置、计算机设备及存储介质
CN113467984B (zh) * 2021-07-20 2024-03-29 中国商用飞机有限责任公司北京民用飞机技术研究中心 飞机系统故障诊断方法、装置、计算机设备及存储介质
WO2023185467A1 (zh) * 2022-04-01 2023-10-05 华为技术有限公司 一种网络自治能力评估方法、装置及存储介质
WO2024051805A1 (zh) * 2022-09-08 2024-03-14 华为技术有限公司 一种运维网络自治等级的评估方法、装置及系统

Also Published As

Publication number Publication date
CN112055364B (zh) 2023-04-07
US20220095133A1 (en) 2022-03-24
EP3968683A4 (en) 2022-06-29
WO2020244644A1 (zh) 2020-12-10
EP3968683A1 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
CN112055364B (zh) 一种网络系统分级方法及装置
US20210360478A1 (en) Adaptable radio access network
US11689941B2 (en) Coverage issue analysis and resource utilization analysis by MDA
US10028149B2 (en) Method and apparatus for managing network sharing
CN108432323A (zh) 无线电网络节点和其中执行的方法
CN109996285B (zh) 网络拥塞控制方法、装置、设备及介质
US9380617B2 (en) Method and device for increasing gateway stability in LTE mode Femto cell system
CN115004797A (zh) 无线接入网络通信系统中使用e2接口的服务订阅的装置和方法
US20110060837A1 (en) Method, system and device for connection establishment based on lte/sae system
CN107306446B (zh) 一种窄带移动通信的方法和装置
US20220295324A1 (en) Apparatus for radio access network data collection
WO2014180328A1 (zh) 中继通信方法、装置及系统
CN103546207A (zh) Csi-rs获取、csi-rs上报方法及装置
CN110267343A (zh) 一种寻呼管理方法、网络数据分析功能及网络侧设备
KR20210143563A (ko) 이동통신 네트워크에서 단말에 Deterministic Communication을 지원하는 방법 및 장치
CN114788365A (zh) 在无线电接入网通信系统中经由e2接口进行服务订阅的设备和方法
JP7213339B2 (ja) データ伝送方法および装置
EP3216198B1 (en) Improving voice call performance testing
CN114365527A (zh) 用于无线通信系统中的网络自动化的装置和方法
KR20140045887A (ko) 무선 통신시스템의 셀 부하 분산 방법 및 장치
US9282555B2 (en) Resource control method, device and base station
US20230199539A1 (en) Method and device for measuring performance in wireless communication system
KR20230137998A (ko) Af 세션에 대한 외부 매개변수 프로비저닝을 위한 새로운 방법
CN115379535A (zh) 选网策略的确定方法及装置
US20170332278A1 (en) Base station, communication terminal, communication method, communication system, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant