CN113541993B - 网络评估方法及装置、网络指标处理方法、设备和介质 - Google Patents
网络评估方法及装置、网络指标处理方法、设备和介质 Download PDFInfo
- Publication number
- CN113541993B CN113541993B CN202010318758.5A CN202010318758A CN113541993B CN 113541993 B CN113541993 B CN 113541993B CN 202010318758 A CN202010318758 A CN 202010318758A CN 113541993 B CN113541993 B CN 113541993B
- Authority
- CN
- China
- Prior art keywords
- network
- index
- characteristic
- indexes
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 166
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 29
- 238000010276 construction Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 25
- 230000008447 perception Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 102100040160 Rabankyrin-5 Human genes 0.000 description 1
- 101710086049 Rabankyrin-5 Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种网络评估方法及装置、网络指标处理方法、设备和介质。其中，网络评估方法包括：从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。本发明实施例通过对网络指标进行自动选择，利用自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种网络评估方法、网络评估装置、网络指标处理方法、电子设备和计算机可读存储介质。
背景技术
目前通信运营商在作网络规划建设时，需要选取一系列的网络指标来对当前的网络状况进行评估，找出问题以及问题背后的原因，例如，网络能力指标表现不佳的原因，是资源专业间的“错配”，还是资源区域间的“错配”，或者是两者兼有之。
而网络指标的选取往往与评估对象以及评估目标相关，一般是依据经验人为进行选取，这种网络指标的选取方法受到人为经验的限制，在对网络状况进行评估时，可能会由于网络指标选取不当，而影响网络评估的效果。
发明内容
本发明实施例的目的是提供一种网络评估方法、网络评估装置、网络指标处理方法、电子设备和计算机可读存储介质，通过对网络指标进行自动选择，利用自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果。
为了解决上述技术问题，本发明实施例是这样实现的：
第一方面，本发明实施例提供了一种网络评估方法，包括：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合；其中，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同；
基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重；
根据所述第三网络指标集合中的所述目标指标和所述网络特征指标的值，以及所述网络特征指标的权重，对所述目标对象进行评估。
第二方面，本发明实施例提供了一种网络指标处理方法，包括：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合，以根据所述第三网络指标集合对所述目标对象进行评估；
其中，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同。
第三方面，本发明实施例提供了一种网络评估装置，包括：
指标选取单元，用于从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
指标处理单元，用于通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合；其中，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同；
权重确定单元，用于基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重；
评估单元，用于根据所述第三网络指标集合中的所述目标指标和所述网络特征指标的值，以及所述网络特征指标的权重，对所述目标对象进行评估。
第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的网络评估方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的网络评估方法。
本发明实施例提供的网络指标处理方法、络指标处理装置、网络评估方法、网络评估装置、电子设备和计算机可读存储介质，通过从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估；在本发明实施例中，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的网络指标处理方法的一种实现方式的流程示意图；
图2为本发明实施例的通过特征选择模型对第二网络指标集合中的网络特征指标进行选择的一种实现方式的流程示意图；
图3为本发明实施例的通过特征选择模型对第二网络指标集合中的网络特征指标进行选择的另一种实现方式的流程示意图；
图4为本发明实施例的网络评估方法的一种实现方式的流程示意图；
图5为本发明实施例的基于第二特征选择模型确定第三网络指标集合中网络特征指标的权重的一种实现方式的流程示意图；
图6为本发明实施例的网络评估方法的另一种实现方式的流程示意图；
图7为本发明实施例的网络指标处理装置的一种实现方式的组成结构示意图；
图8为本发明实施例的网络评估装置的一种实现方式的组成结构示意图；
图9为本发明实施例的网络评估装置的另一种实现方式的组成结构示意图；
图10为本发明实施例通过第一特征选择模型进行特征选择的结果的示意图；
图11为本发明实施例通过第二特征选择模型进行特征选择的结果的示意图；
图12为本发明实施例所确定的第三网络指标集合中网络特征指标的SHAP值的绝对值的平均值的示意图；
图13为本发明实施例单个指标评估方法的一种实现方式的示意图；
图14为本发明实施例专业内组合指标评估方法的一种实现方式的示意图；
图15为本发明实施例专业内组合指标评估方法的另一种实现方式的示意图；
图16A至图16C为本发明实施例跨专业指标组合评估方法的一种实现方式的示意图；
图17为实现本发明实施例的一种电子设备的组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1为本发明实施例的网络指标处理方法的一种实现方式的流程示意图，图1中的方法可以由网络指标处理装置作为执行主体执行，该网络指标处理装置可以安装于服务器和/或客户端，本发明实施例对此不作限定，如图1所示，该方法至少包括：
S102，从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标。
在本发明实施例中，第一网络指标集合可以是包括多个网络指标的名称和多个网络指标的多个值的集合，其中多个网络指标的多个值形成多条网络指标数据，每条网络指标数据为一个评估对象的一条记录，每条记录包括多个网络指标的值，评估对象可以为独立的网络建设单元，例如评估对象可以为分公司，本发明实施例对评估对象的形式不作限定；目标对象是从多个评估对象中选取，第二网络指标集合可以是包括多个目标对象的集合；目标指标和网络特征指标是根据评估目标从多个网络指标中选取的不同网络指标，评估目标可以根据网络评估的需求确定，例如评估目标可以为网络能力、客户感知、网络效益等，本发明实施例对评估目标的内容不作限定。
可选地，第一网络指标集合可以采用csv文件表示，其中，第1行可以为网络指标的名称，例如用Col表示，Col＝[‘id’,‘f1’,‘f2’,‘f3’,…,‘fn’]，其中id为评估对象的索引号，fn为网络指标的名称，为字符型，以英文字母或者拼音开头，n为网络指标的个数；第2行至第m行可以为网络指标的值，其中m为评估对象的个数，为大于2的整数，每个评估对象的一条记录用索引号id表示，本发明实施例对第一网络指标集合的表示形式不作限定。
可选地，第一网络指标集合可以包括目标指标子集和网络特征指标子集，可以从目标指标子集中选取一个目标指标，从网络特征指标子集中选取多个网络特征指标；其中网络特征指标子集中网络特征指标的值可以出现缺省值，而目标指标子集中目标指标的值不允许有缺省值，在本发明实施例中缺省值是指没有数值，是空白的；在评估对象的每条记录中包括网络特征指标的值和目标指标的值。在选取网络特征指标时，可以选取网络特征指标子集中所有的网络特征指标，也可以舍弃部分明显与评估目标不相关的网络特征指标，以减少数据量，提高数据处理的速度。可选地，在采用csv文件表示第一网络指标集合时，在第1行的网络指标的名称中，目标指标的名称可以排在网络特征指标的名称之后，本发明实施例对目标指标子集和网络特征指标子集在第一网络指标集合中的位置不作限定。
可选地，第一网络指标集合可以包括表示网络评估对象本身差异性的指标，表示网络评估对象本身差异性的指标可以作为网络特征指标，通过选取表示网络评估对象本身差异性的指标进行网络评估，可以识别出评估对象本身的差异对评估目标造成的影响。可选地，在采用csv文件表示第一网络指标集合时，在第1行的网络指标的名称中，表示网络评估对象本身差异性的指标的名称可以排在网络特征指标的名称的最后，本发明实施例对表示网络评估对象本身差异性的指标在第一网络指标集合中的位置不作限定。可选地，可以通过在原始网络指标集合中添加表示评估对象本身差异性的指标及相应的指标值，形成第一网络指标集合，其中原始网络指标集合的形成可以参见相关的现有技术。
S104，通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
在本发明实施例中，通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，可以减少网络特征指标的数量，使所形成第三网络指标集合只保留与目标指标相关的网络特征指标；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，且第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同，以满足不同应用场景的需要；可选地，第一特征选择模型和第二特征选择模型可以为不同的机器学习模型，例如稀疏学习模型、决策树模型等，本发明实施例对第一特征选择模型和第二特征选择模型的实现方式不作限定。
可选地，在对第二网络指标集合中的网络特征指标进行选择时，可以选取特征选择模型中的第一特征选择模型或第二特征选择模型，对网络特征指标进行选择，例如：可以选取第一特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；或者，也可以选取特征选择模型中的第一特征选择模型和第二特征选择模型，对网络特征指标进行选择，例如：可以选取第一特征选择模型对第二网络指标集合中的一部分网络特征指标进行选择，选取第二特征选择模型对第二网络指标集合中的另一部分网络特征指标进行选择，形成第三网络指标集合；其中，第一特征选择模型和第二特征选择模型可以根据网络特征指标的类型等进行选取，本发明实施例对第一特征选择模型和第二特征选择模型的选取依据不作限定。
可选地，在选取特征选择模型中的第一特征选择模型和第二特征选择模型对网络特征指标进行选择时，也可以依次通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，例如：可以先通过第一特征选择模型对第二网络指标集合中的网络特征指标进行第一次选择，再通过第二特征选择模型对第一次选择后的第二网络指标集合中的网络特征指标进行第二次选择，形成第三网络指标集合；或者，还可以同时通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，例如：可以分别通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，并根据第一特征选择模型和第二特征选择模型选择后的结果，形成第三网络指标集合。本发明实施例对通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择的实现方式不作限定。
本发明实施例提供的网络指标处理方法，通过从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；在本发明实施例中，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。本发明实施提供的网络指标处理方法不仅适用于网络评估，对于其它类似的需要选取网络指标的应用场景同样适用。
下面将结合图2至图3的实施例对本发明的网络指标处理方法进行详细说明。
图2为本发明实施例的通过特征选择模型对第二网络指标集合中的网络特征指标进行选择的一种实现方式的流程示意图，如图2所示，通过特征选择模型对网络特征指标进行选择，至少包括：
S202，对第二网络指标集合中网络指标的值进行预处理。
在本发明实施例中，在对第二网络指标集合中的网络特征指标进行选择之前，还可以对第二网络指标集合中的网络指标的值进行预处理，以得到符合特征选择模型进行特征选择需要的网络指标数据，特征选择模型是对预处理后的第二网络指标集合中的网络特征指标进行选择。可选地，可以将网络特征指标分为数值型指标和非数值型指标，对数值型指标进行缺省值填充预处理，对非数值型指标进行标准化编号预处理，转换为数值型指标，本发明实施例对第二网络指标集合中网络指标的值进行预处理的实现方式不作限定。
S204，通过第一特征选择模型对预处理后的第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合。
可选地，可以通过第一特征选择模型拟合多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择，例如第一特征选择模型为线性多元回归模型，本发明实施例对第一特征选择模型的类型不作限定。在一些可选的例子中，第一特征选择模型为采用L1正则化的线性多元回归模型，即Lasso模型；在另一些可选的例子中，第一特征选择模型为采用L2正则化的线性多元回归模型，即Ridge模型，也称为岭回归模型；在又一些可选的例子中，第一特征选择模型为弹性网络(Elastic net)模型，其中，当参数alpha＝0时，弹性网络模型为Ridge模型，当参数alpha＝1时，弹性网络模型为Lasso模型，通过选择alpha的取值，使弹性网络模型介于Ridge模型与Lasso模型之间。
S206，通过第二特征选择模型对第一优选网络指标集合中的网络特征指标进行选择，形成第三网络指标集合。
可选地，可以通过第二特征选择模型拟合多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性系数值，对网络特征指标进行选择，例如第二特征选择模型为非线性多元回归模型，本发明实施例对第二特征选择模型的类型不作限定。在一些可选的例子中，第二特征选择模型为随机森林(Random Forest，简称RF)模型；在另一些可选的例子中，第二特征选择模型为梯度提升树(Gradient Boosting Decison Tree，简称GBDT)；在又一些可选的例子中，第二特征选择模型为极端梯度提升树模型(XtremeGradient Boosting，简称XGBoost)等特征选择算法。
图3为本发明实施例的通过特征选择模型对第二网络指标集合中的网络特征指标进行选择的另一种实现方式的流程示意图，如图3所示，通过特征选择模型对网络特征指标进行选择，至少包括：
S302，对第二网络指标集合中网络指标的值进行预处理。
在本发明实施例中，关于S302的说明可以参见图2中关于S202的说明书，故在此不再敷述。
S304，分别通过第一特征选择模型和第二特征选择模型对预处理后的第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合和第二优选网络指标集合。
在本发明实施例中，关于S304的说明可以参见图2中关于S204和S206的说明书，故在此不再敷述。
S306，根据第一优选网络指标集合和第二优选网络指标集合中网络特征指标的交集，形成第三网络指标集合。
可选地，通过第一优选网络指标集合与第二优选网络指标集合中网络特征指标的交集，可以选取出第一特征选择模型和第二特征选择模型共同选择的网络特征指标，形成第三网络指标集合。
可选地，在通过特征选择模型，即第一网络特征模型和第二网络特征模型，对第二网络指标集合中的网络特征指标进行选择后，可以先形成第四网络指标集合，然后根据预设的网络特征指标的数量阈值对第四网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，其中，网络特征指标的数量阈值小于第四网络指标集合中的网络特征指标数量，网络特征指标的数量阈值可以根据实际需求设定，以满足实际使用时不同应用场景的需要。例如：可以根据第四网络指标集合中网络特征指标的重要性FI系数，按照重要性FI系数值从高到低的顺序，选取符合网络特征指标的数量阈值的网络特征指标，形成第三网络指标集合。
上述两个实施例，分别提供了两种利用第一特征选择模型和第二特征选择模型实现网络特征指标选择的方式，在实际使用时，可以选取这两种实现方式中适合的方式进行网络特征指标的选择，以满足不同应用场景的需要；上述两个实施例，通过采用两种特征选择模型对网络特征指标进行选择，可以提升网络特征指标选择的效果，为后续对网络特征指标的进一步处理提供依据。
下面以Lasso模型和Ridge模型为例，对其实现特征选择的原理进行说明：
将第二网络指标集合作为一个样本集合Rd，将第二网络指标集合中每个目标对象的网络指标数据作为样本集合中的一个样本，对于样本集合Rd中的第i个样本的网络特征指标xi，可以表示为xi∈Rd，对于一个线性多元回归模型，其目标指标的预测值可以表示为公式1，其中wi为模型的参数：
对于线性多元回归模型，模型的参数Θ可以表示为公式2，其中模型的参数wi中对应第i个样本中的第j个网络特征指标的参数：
Θ＝{wj|j＝1,……d} (公式2)
目标函数可以表示为公式3，其中L(Θ)为模型损失函数，Ω(Θ)为模型正则化项：
Obj(Θ)＝L(Θ)+Ω(Θ) (公式3)
公式3中损失函数如果损失函数采用平方损失函数，则
模型中的Ω(Θ)用于评价模型的复杂程度，防止模型过拟合；对于L1范数，Ω(w)＝λ||w||1，对于L2范数，Ω(w)＝λ||w||2，其中λ为调整模型拟合精度与泛化能力的权重因子；
如果选择Lasso模型，目标函数的公式3可以表示为公式4，即模型正则化使用L1范数：
如果选择Ridge模型，目标函数的公式3可以表示为公式5，即模型正则化使用L2范数：
其中，Lasso模型由于在目标函数Obj(w)中加入了非零的正则化项λ||w||1，会使损失函数L(Θ)中一些网络特征指标的参数wj变为0；Ridge模型由于在目标函数Obj(w)中加入了非零的正则化项λ||w||2，会使损失函数L(Θ)中一些网络特征指标的参数wj接近于0；通过确定网络特征指标的参数中的零值或者近零值，去掉参数为零值或者近零值的网络特征指标，实现对网络特征指标的选择。
下面以XGBoost模型为例，对其实现特征选择的原理进行说明：
XGBoost模型是基于GBDT模型的原理进行改进得到，可以进行并行运算，效率较高，XGBoost模型基于决策树模型，逐棵树进行学习，采用贪心算法逐次迭代，每棵树拟合之前模型的偏差，公式1的目标指标的预测值可以表示为公式6，其中K为树的叶子节点数量，其中fk∈Rd：
此时，目标函数的公式3则可以表示为公式7：
若用表示第t轮迭代算法目标指标的预测值，为上一轮目标指标的预测值，则可以表示为这样公式7可以表示为公司8，其中Constant为常数项：
对目标函数通过“泰勒二阶展开”变换后，新的目标函数可以表示为公式9，其中
由于XGBoost模型可以根据结构分数的增益(Gain)情况计算出选择哪个特征作为分割点，而每个特征的重要性可以通过它在所有树中出现的次数之和，也就是说一个特征越多的被用来在模型中构建决策树，它的重要性就相对越高，在XGBoost模型中Gain可以由公式10定义：
其中为左叶子节点的分数，为右叶子节点的分数，不进行分割可以得到的分数，γ为新叶子节点引入后的复杂度代价；其中Gj、Hj分别定义为每个叶子节点的一阶、二阶导数求和，叶子节点的分数可以由Gj和Hj求得，其中Gj和Hj分别由公式11和公式12计算得到：
网络特征指标的重要性FI系数值，可以为XGBoost模型在训练过程中给出的各个网络特征指标的特征评分，表明每个网络特征指标对模型训练的重要性，可以通过公式10计算得到。
基于与上述实施例相同的技术构思，本发明实施例还提供了一种网络评估方法，图4为本发明实施例的网络评估方法的一种实现方式的流程示意图，图4中的方法可以由网络评估装置作为执行主体执行，该网络评估装置可以安装于服务器和/或客户端，本发明实施例对此不作限定，如图4所示，该方法至少包括：
S402，从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标。
在本发明实施例中，关于S402的说明可以参见图1中关于S102的说明书，故在此不再敷述。
S404，通过特征选择模型对第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
在本发明实施例中，关于S404的说明可以参见图1中关于S104的说明书，故在此不再敷述。
S406，基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重。
在本发明实施例中，S404是通过第一特征选择模型和第二特征选择模型依次，或者分别对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，因此可以基于第二特征选择模型，利用第二特征选择模型对网络特征指标进行选择所得到的结果，确定第三网络指标集合中每个网络特征指标对目标指标的权重，可以简化权重的确定方法，实现权重的自动确定。
可选地，可以根据第二特征选择模型的参数值，确定第三网络指标集合中每个网络特征指标对目标指标的权重，例如第二特征选择模型为线性多元回归模型；或者，可以根据第二特征选择模型的重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的权重，例如第二特征选择模型为非线性多元回归模型；或者，当第二特征选择模型为非线性多元回归模型时，也可以将非线性多元回归模型转换为线性多元回归模型，根据转换后线性多元回归模型的参数值，确定第三网络指标集合中每个网络特征指标对目标指标的权重；本发明实施例对基于第二特征选择模型，确定第三网络指标集合中每个网络特征对目标指标的权重的实现方法不作限定。
S408，根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
在本发明实施例中，可以根据第三网络指标集合中的目标指标和网络特征指标，以及网络特征指标的权重，对目标对象进行定量评估，确定目标对象存在的问题及问题背后的原因，例如评估的结果可以通过图表的形式进行展示，本发明实施例对评估结果的形式不作限定。
可选地，在对目标对象进行评估时，可以采用三种评估方法，从不同维度对目标对象进行评估，发现目标对象存在的问题并揭示问题背后的原因，这三种评估方法分别为单个指标评估方法、专业内组合指标评估方法和跨专业指标组合评估方法，在实际应用时，可以根据评估的需求等选择三种评估方法中的一种或多种对目标对象进行评估，本发明实施例对三种评估方法的使用方式不作限定。
本发明实施例提供的网络评估方法，通过从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估；在本发明实施例中，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。
下面将结合图5至图6的实施例对本发明的网络评估方法进行详细说明。
图5为本发明实施例的基于第二特征选择模型确定第三网络指标集合中网络特征指标的权重的一种实现方式的流程示意图，如图5所示，基于第二特征选择模型确定第三网络指标集合中网络特征指标的权重，至少包括：
S502，基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重。
可选地，第二特征选择模型为非线性多元回归模型中的树模型，在通过第二特征选择模型对网络特征指标进行选择时，可以确定第三网络指标集合中每个网络特征指标的重要性系数值，在确定第三网络指标集合中网络特征指标的权重时，可以通过获取所确定的网络特征指标的重要性系数值，根据网络特征指标的重要性系数值，得到第三网络指标集合中每个网络特征指标对目标指标的第一权重，并将第一权重作为第三网络指标集合中每个网络特征指标最终的权重。
可选地，在S502之后，还可以包括：S504，获取第三网络指标集合中每个网络特征指标的SHAP值，根据每个网络特征指标的SHAP值的绝对值的平均值和第一权重，确定第三网络指标集合中每个网络特征指标对目标指标的第二权重，并将第二权重作为第三网络指标集合中每个网络特征指标最终的权重。由于SHAP值可为正值或负值，因此通过SHAP值可以反映出每个网络特征指标对目标指标的影响方向，即对目标指标是正向影响，还是负向影响。
本实施例提供了两种确定第三网络指标集合中网络特征指标的权重的实现方式。在实际使用时，可以选取这两种实现方式中适合的方式进行网络特征指标权重的确定，以满足不同应用场景的需要；或者，也可以先确定第三网络指标集合中每个网络特征指标的第一权重，若所确定的第一权重能够满足应用场景的需要，则将第一权重作为第三网络指标集合中网络特征指标最终的权重；若所确定的第一权重不能够满足应用场景的需要，则确定第三网络指标集合中每个网络特征指标的第二权重，将第二权重作为第三网络指标集合中网络特征指标最终的权重。本发明实施例对两种权重确定的实现方式的选取方法不作限定。
下面对SHAP值的原理进行说明：
对于每个训练目标函数的样本，模型都会产生一个对应的目标函数的值，SHAP值就是表示该样本中的每个特征在对应的目标函数的值中所分配到的值；假设第i个样本为xi，第i个样本的第j个特征为xi,j，则对于第i样本模型产生的对应的目标函数的值为yj，若整个模型的基线为ybase，例如整个模型的基线可以为样本集合中所有样本对应的目标函数的值的平均值，那么SHAP值服从公式13：
yi＝ybase+f(xi,1)+f(xi,2)+…+f(xi,k) (公式13)
其中，f(xi,1)为xi,j的SHAP值，也就是说，第i个样本中第1个特征对最终目标函数的值的贡献值，当f(xi,1)>0，说明该特征提升了目标函数的值，起到了正向作用；反之，则说明该特征降低了目标函数的值，起到了反向作用。因此，与网络特征指标的重要性FI系数值相比，网络特征指标的SHAP值可以反映出每一个目标对象的网络指标数据中网络特征指标的影响力，并且还可以表示出这种影响的正负性。
将一个特征对目标函数的影响程度，即将该特征的所有样本的SHAP值的绝对值的平均值mean_|SHAP|作为这个特征的重要性指标，公式14为第j个特征的mean_|SHAP|值计算方法，其中m为样本个数：
mean_|SHAR|j＝[|f(xi#1,1)|+|f(x2,j)|+…+|f(xm,j)|]/m (公式14)
图6为本发明实施例的网络评估方法的另一种实现方式的流程示意图，本实施例的网络评估方法包括两种特征选择模式，即第一特征选择模式和第二特征选择模式，两种特征选择模式均采用第一特征选择模型和第二特征选择模型进行网络特征指标的选择，如图6所示，该方法至少包括：
S601，从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合。
S602，判断是否采用第一特征选择模式进行网络特征指标的选择？
若采用第一特征选择模式进行网络特征指标的选择，则执行S603；否则采用第二特征选择模式进行网络特征指标的选择，执行S608。
S603，通过第一特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合。
S604，通过第二特征选择模型对第一优选网络指标集合中的网络特征指标进行选择，形成第三网络指标集合。
S605，基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重，作为每个网络特征指标最终的权重。
S606，判断对网络特征指标的处理是否结束？
若对网络特征指标的处理已经结束，则执行S607；否则，执行S602。
S607，根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
S608，分别通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合和第二优选网络指标集合。
S609，根据第一优选网络指标集合和第二优选网络指标集合中网络特征指标的交集，形成第三网络指标集合。
S610，基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重。
S611，获取第三网络指标集合中每个网络特征指标的SHAP值，根据每个网络特征指标的SHAP值的绝对值的平均值和第一权重，确定第三网络指标集合中每个网络特征指标对目标指标的第二权重，作为每个网络特征指标最终的权重。
在本发明实施例中，关于S601至S611的说明书可以参见图1至图5中相关操作的说明，故在此不再敷述。
本实施例的网络评估方法提供了两种网络特征指标选择的方式，以满足实际应用场景灵活选择的需要，这两种网络特征指标选择的方式不存在优劣之分，只是为了满足网络特征指标选择的不同需要。
在实际使用时，可以选取这两种特征选择模式中适合的特征选择模式进行网络特征指标的选择，以满足不同应用场景的需要；或者，也可以先选取第一特征选择模式进行网络特征指标的选择，若第一特征选择模式进行网络特征指标选择的结果不能够满足应用场景的需要，再选取第二特征选择模式进行网络特征指标的选择；或者，还可以分别选择第一特征选择模式和第二特征选择模式进行网络特征指标的选择，通过对第一特征选择模式和第二特征选择模式进行网络特征指标选择的结果进行比较，选取结果误差小的特征选择模式。本发明实施例对确定特征选择模式的方法不作限定。
对应上述描述的方法，基于相同的技术构思，本发明实施例还提供了一种网络指标处理装置，图7为本发明实施例的网络指标处理装置的一种实现方式的组成结构示意图，该网络指标处理装置可以安装于服务器和/或客户端，可用于执行图1描述的网络指标处理方法，如图7所示，该网络指标处理装置至少包括：指标选取模块710和指标处理模块720，其中，指标选取模块710与指标处理模块720连接。
指标选取模块710，用于从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标。
指标处理模块720，用于通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
在本发明实施例中，关于指标选取模块710和指标处理模块720的说明可以参见图1中关于S102和S104的说明，故在此不再敷述。
本发明实施例提供的网络指标处理装置，通过从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；在本发明实施例中，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。本发明实施提供的网络指标处理装置不仅适用于网络评估，对于其它类似的需要选取网络指标的应用场景同样适用。
对应上述描述的方法，基于相同的技术构思，本发明实施例还提供了一种网络评估装置，图8为本发明实施例的网络评估装置的一种实现方式的组成结构示意图，该网络评估装置可以安装于服务器和/或客户端，可用于执行图4描述的网络评估方法，如图8所示，该网络评估装置至少包括：指标选取模块810、指标处理模块820、权重确定模块830和评估模块840，其中，指标选取模块810、指标处理模块820、权重确定模块830和评估模块840依次连接。
指标选取模块810，用于从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标。
指标处理模块820，用于通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
权重确定模块830，用于基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重。
评估模块840，用于根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
在本发明实施例中，关于指标选取模块810、指标处理模块820、权重确定模块830和评估模块840的说明可以参见图4中关于S402、S404、S406和S408的说明，故在此不再敷述。
本发明实施例提供的网络评估装置，通过从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估；在本发明实施例中，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。
可选地，指标处理模块720/820，用于通过第一特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合；通过第二特征选择模型对第一优选网络指标集合中的网络特征指标进行选择，形成第三网络指标集合。
可选地，指标处理模块720/820，用于分别通过第一特征选择模型和第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合和第二优选网络指标集合；根据第一优选网络指标集合和第二优选网络指标集合中网络特征指标的交集，形成第三网络指标集合。
可选地，指标处理模块720/820，用于通过第一特征选择模型拟合多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择；和/或，通过第二特征选择模型拟合网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性系数值，对网络特征指标进行选择。
可选地，指标处理模块720/820，用于通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第四网络指标集合；根据预设的网络特征指标的数量阈值对第四网络指标集合中的网络特征指标进行选择，形成第三网络指标集合。
可选地，权重确定模块830，用于基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重。
可选地，权重确定模块830，用于基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重；获取第三网络指标集合中每个网络特征指标的SHAP值，根据每个网络特征指标的SHAP值的绝对值的平均值和第一权重，确定第三网络指标集合中每个网络特征指标对目标指标的第二权重。
对应上述描述的方法，基于相同的技术构思，本发明实施例还提供了一种网络评估装置，图9为本发明实施例的网络评估装置的另一种实现方式的组成结构示意图，该网络评估装置可以安装于服务器和/或客户端，可用于执行图6描述的网络评估方法，如图9所示，该网络评估装置至少包括：指标选取模块910、第一判断模块920、第一指标选择模块930、第二指标选择模块940、第一权重确定模块950、第二权重确定模块960、第二判断模块970和评估模块980，其中，指标选取模块910、第一判断模块920、第一指标选择模块930、第二指标选择模块940、第一权重确定模块950、第二权重确定模块960、第二判断模块970和评估模块980依次连接。
指标选取模块910，用于从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合。
第一判断模块920，用于判断是否采用第一特征选择模式进行网络特征指标的选择？
第一指标选择模块930，用于通过第一特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第一优选网络指标集合。
第二指标选择模块940，用于在采用第一特征选择模式进行网络特征指标的选择时，通过第二特征选择模型对第一优选网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；在采用第二特征选择模式进行网络特征指标的选择时，通过第二特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第二优选网络指标集合；并根据第一优选网络指标集合和第二优选网络指标集合中网络特征指标的交集，形成第三网络指标集合。
第一权重确定模块950，用于基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性系数值，根据重要性系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重。
第二权重确定模块960，用于获取第三网络指标集合中每个网络特征指标的SHAP值，根据每个网络特征指标的SHAP值的绝对值的平均值和第一权重，确定第三网络指标集合中每个网络特征指标对目标指标的第二权重，作为每个网络特征指标最终的权重。
第二判断模块970，用于以及判断对网络特征指标的处理是否结束？
评估模块980，用于根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
本实施例的网络评估装置提供了两种网络特征指标选择的方式，以满足实际应用场景灵活选择的需要，这两种网络特征指标选择的方式不存在优劣之分，只是为了满足网络特征指标选择的不同需要。
为了便于理解，下面将结合实际应用场景，通过三个实施例对本发明的网络指标处理方法和网络评价方法进行详细说明。
其中，实施例一为网络指标处理方法的实施例；实施例二为网络评估方法的实施例，其采用了实施例一不同的网络指标处理方法，并对单个指标评估方法和专业内组合指标评估方法进行了说明；实施例三为跨专业指标组合评估方法的实施例。
为了简化说明，先对上述三个实施例涉及的应用场景和处理方法进行统一的描述。第一网络指标集合是通过在原始网络指标集合中添加表示评估对象本身差异性的指标形成。
原始网络指标集合可以包括n个网络特征指标和k个目标指标，以及m个评估对象；可以采用*MyData.csv文件表示，该文件如表1所示，表1为表示原始网络指标集合的表，其中，n＝57，k＝3，id为索引号，f1,f2,f3,…f57为网络特征指标的名称，y1,y2,y3为目标指标的名称。
本发明实施例提供的方法，可以应用于各种通信网络系统的指标处理和网络评估，例如：4G LTE(4th-Generation Long Term Evolution)通信系统、5G(5th-Generation)通信系统，全球移动通信(Global System for Mobile Communications)系统等，本发明实施例对此不作限定。
表1
在表1中，选取网络指标f1,f2,f3…f57作为网络特征指标，网络特征指标可以按找专业分为无线接入网络指标、有线接入网络指标，以及为了说明实施例三中的评估方法，选取部分传输网络指标。
在表1中，f1,f2,f3…f32为无线接入网络指标，其中，f1为万用户基站规模，单位为个/万用户；f2为万用户载频规模，单位为个/万用户；f3为单用户带宽资源，单位为Mbps/用户；f4为网络均衡度系数，单位无量纲；f5为超高基站比例，单位为％；f6为超近基站比例，单位为％；f7为超远基站比例，单位为％；f8为多层网小区比例，单位为％；f9为可软扩小区比例，单位为％；f10为城区综合覆盖率，单位为％；f11为核心城区MR覆盖率，单位为％；f12全网MR覆盖率，单位为％；f13为室内弱覆盖比例，单位为％；f14为行政村覆盖率，单位为％；f15为平均上传速率，单位为Mbps；f16为平均下载速率，单位为Mbps；f17为高负荷小区比例，单位为％；f18为万用户网络覆盖投诉量，单位为次/万户；f19为万用户上网速率投诉量，单位为次/万户；为f20网络质量满意度％；f21为单用户投资额，单位为元/用户；为f22宏基站单站造价，单位为万元/站；f23为室分基站单站造价，单位为万元/站；f24为基站利用率-T，单位为％；f25为基站利用率-F，单位为％；f26为单基站日均承载流量，单位为GB/站；f27为单载频日均承载流量，单位为GB/载频；f28为基站驻留比，单位为％；f29为低流量小区比例-T，单位为％；f30为低流量小区比例-F，单位为％；f31为单基站年均收入，单位为万元/站*年；f32为单载频年均收入，单位为万元/载频*年。
为了便于确定评估对象存在的问题以及问题背后的原因，会将网络特征指标进行分级，在本实施例中将网络特征指标分为三级，以确定分级指标的权重。
其中，网络特征指标f1,f2,f3,…f9归属于网络能力指标，该指标为一级指标；f1,f2,f3归属于网络规模指标，该指标为二级指标；f4归属于网络均衡指标，该指标为二级指标；f5,f6,f7归属于网络结构指标，该指标为二级指标；f8,f9归属于网络弹性指标，该指标为二级指标；
网络特征指标f10,f11,f12,…f20归属于客户网络感知指标，该指标为一级指标；f10,f11,f12归属于网络覆盖指标，该指标为二级指标；f15,f16,f17归属于网络速率指标，该指标为二级指标；f18,f19,f20归属于用户满意度，该指标为二级指标；
网络特征指标f21,f22,f23,…f32归属于网络效益指标，该指标为一级指标；f21,f22,f23归属于网络建设综合造价指标，该指标为二级指标；f24,f25,f26,…f30归属于网络资源利用率指标，该指标为二级指标；f31,f32归属于网络收益指标，该指标为二级指标。
在表1中，f33,f34,f35…f51为有线接入网络指标，其中，f33为光线路终端OLT中断台次，单位次/月；f34光线路终端OLT物理双上联占比，单位为％；f35为重要光线路终端OLT中断台次，单位次/月；f36为重要光线路终端OLT物理双上联占比，单位为％；f37为光网络单元ONU弱光占比，单位为％；f38为下挂用户数超5000户光线路终端OLT台数，单位为台；f39为流量越限光线路终端OLT台数(周峰值流量大于70％)，单位为台；f40为光纤到户FTTH用户超限PON口占比，单位为％；f41为家宽单端口累计收入，单位万元；f42为集团专线单条累计收入，单位万元；f43为小微宽带单条收入，单位为万元；f44为家宽单端口综合造价，单位元/端口；f45为家宽端口利用率，单位％；f46零占用小区数量，单位个；f47为端口利用率小于30％的小区占比，单位％；f48为城镇小区家宽覆盖率，单位％；f49为家庭宽带端口配线比，单位％；f50为城区主干分纤点密度，单位个/平方公里；f51为每万人口家宽端口数，单位个。
其中，网络特征指标f33,f34,f35,…f40属于客户网络感知指标，该指标为一级指标；f34,f36归属于网络结构安全，该指标为二级指标；f33,f35归属于网络故障指标，该指标为二级指标；f37,f38,f39,f40归属于用户体验指标，该指标为二级指标；
网络特征指标f41,f42,f43,…f47归属于网络效益指标，该指标为一级指标；f44归属于网络建设综合造价指标，该指标为二级指标；f45,f46,f47归属于网络资源利用率指标，该指标为二级指标；f41,f42,f43归属于网络收益指标，该指标为二级指标；
网络特征指标f48,f49,f50,f51归属于网络能力指标，该指标为一级指标；f48,f50归属于网络规模指标，该指标为二级指标；f49,f51归属于网络均衡指标，该指标为二级指标。
在表1中，f52,f53,f54…f57为传输网络指标，其中，f52为分组传送网PTN成环率，单位％；f53为分组传送网PTN超大汇聚节点比例，单位％；f54为分组传送网PTN接入环双归比，单位％；f55为边缘光传送网OTN成环率，单位％；f56为大面积断站次数，单位为次/月；f57为光线路终端OLT退服次数，单位为次。
其中，f52,f53,f54…f57归属于网络质量指标，该指标为一级指标；f52,f53,f54,f55归属于网络结构安全指标，该指标为二级指标；f56,f57归属于网络故障指标，该指标为二级指标。
其中，网络特征指标f1,f2,…f51均分别为三级指标，也就是说，在本实施例中，原始网络指标集合是由现有技术中的第三级指标f1,f2,…f57构成网络特征指标。
在表1中，选取网络指标y1,y2,y3作为目标指标，其中，y1为网络能力，单位无量纲；y2为客户网络感知，单位无量纲；y3为网络效益，单位无量纲。
在原始网络指标集合中添加表示评估对象本身差异性的指标，形成第一网络指标集合；在本实施例中，表示评估对象本身差异性的指标为4个，分别为f58，人均GDP，单位万元；f59，城区建成区面积比例，单位％；f60每平方公里人口，单位人，f61为评估对象分类指标，在本实施例中，f61的取值范围可以为{high，medium，low，NA}。
第一网络指标集合可以包括n个网络特征指标和k个目标指标，以及m个评估对象；如表2所示，表2为表示第一网络指标集合的表，其中，n＝61，k＝3，也就是说，将表示评估对象本身差异性的指标加入原始网络指标集合作为网络特征指标。
表2
实施例一
本实施例提供的网络指标处理方法，包括：
步骤1，在原始网络指标集合中添加表示评估对象本身差异性的指标，形成第一网络指标集合，如表2所示。
步骤2，根据评估目标，从第一网络指标集合中选取1个目标指标y*和n*个网络特征指标，并选取1个目标指标y*和n*个网络特征指标在m个目标对象的网络指标数据中的值，形成第二网络指标集合，如表3所示，表3为表示第二网络指标集合的表。
在本实施例中，目标指标根据评估目标选取，例如：若希望对评估对象的客户网络感知进行评估，可以选取表2中的y2作为目标指标y*；第二网络指标集合中包括n*个网络特征指标，n*个网络特征指标是从第一网络指标集合中的n个网络特征指标中选取，且n*≤n，在本实施例中，n*＝32，即从第一网络指标集合中选取f1,f2,f3,…f32作为第二网络指标集合中的网络特征指标，在本实施例中，m＝25。
表3
步骤3，通过第一特征选择模型拟合第二网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择，形成第一优选网络指标集合；通过第二特征选择模型拟合第一优选网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性FI系数值，对网络特征指标进行选择，形成第三网络指标集合。步骤3可以包括步骤301至步骤303。
步骤301，对第二网络指标集合中网络指标的值进行预处理，将第二网络指标集合中的网络特征指标分为数值型指标和非数值型指标，由于本实施例中无非数值型指标；因此只需对数值型指标进行缺省值填充预处理，可以用yi_MyData.csv表示预处理后的第二网络指标集合。
步骤302，通过第一特征选择模型拟合yi_MyData.csv中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择，形成第一优选网络指标集合；其中，第一特征选择模型可以为线性多元回归模型，本实施例选用Ridge模型，可以采用Python3.7及sklearn库ridge函数来实现，其中参数alpha＝5，第一特征选择模型特征选择的结果如图10所示。
从图10中可以看出，第一特征选择模型确定去除7个网络特征指标，选择25个网络特征指标，形成第一优选网络指标集合，其中，可以通过对参数alpha进行调整，改变所选择的网络特征指标的个数。去除的7个网络特征指标在Ridge模型中对应的参数值分别为：f20＝0，f29＝0，f5＝0，f30＝0，f28＝0，f6＝0，f7＝0；选择的25个网络特征指标在Ridge模型中对应的参数值分别为：f15＝0.241654444，f26＝0.141107138，f18＝0.115435646，f1＝0.113421875，f16＝0.111403601，f14＝0.035223802，f10＝0.033927715，f27＝0.033846164，f4＝0.026352085，f8＝0.020708097，f13＝0.005762739，f3＝0.00470972，f9＝0.002104843，f21＝0.001384734，f2＝-0.031144587，f24＝-0.032970651，f12＝-0.035574734，f25＝-0.045001498，f32＝-0.046318869，f11＝-0.060845472，f17＝-.078717176，f19＝-0.079242194，f31＝-0.115608937，f23＝-0.143011888，f22＝-0.478777908。
第一优选网络指标集合可以用yi_MyData.csv表示，第一优选网络指标集合包括25个网络特征指标，其中包括4个网络特征指标子集，即{f1,f2,f3,f4}是包括4个网络特征指标的子集，{f8,f9,f10…,f19}是包括12个网络特征指标的子集，{f21,f22,f23…,f27}是包括7个网络特征指标的子集，{f31,f32}是包括2个网络特征指标的子集。
步骤303，通过第二特征选择模型拟合yi_MyData.csv中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性FI系数值，对网络特征指标进行选择，形成第三网络指标集合；其中，第二特征选择模型可以为非线性多元回归模型，本实施例选用XGBoost模型，可以通过feature_importance或get_score来获取网络指标特征重要性FI系数值，feature_importance或get_score可以通过输入(import)Python第三方XGBoost库来实现，第二特征选择模型特征选择的结果如图11所示。
从图11中可以看出，第二特征选择模型确定去除7个网络特征指标，选择18个网络特征指标，形成第三网络指标集合，其中，去除的7个网络特征指标的重要性FI系数值分别为：FI3＝0，FI10＝0，FI12＝0，FI13＝0，FI14＝0，FI24＝0，FI25＝0；选择的18个网络特征指标的重要性FI系数值按照由高到低排序分别为：FI8＝0.18531735，FI9＝0.17209016，FI15＝0.15925136，FI16＝0.12681113，FI26＝0.06376634，FI31＝0.054331165，FI19＝0.046194352，FI22＝0.03601517，FI11＝0.035464816，FI18＝0.033854183，FI27＝0.02424826，FI1＝0.021635845，FI21＝0.009158026，FI17＝0.008731468，FI2＝0.008362294，FI4＝0.008000549，FI23＝0.006569102，FI32＝0.000198421。
第三网络指标集合包括18个网络特征指标，其中包括3个网络特征指标子集，即{f1,f2,f4,f8,f9,f11}是包括6个网络特征指标的子集，{f15,f16,f17…,f19}是包括5个网络特征指标的子集，{f21,f22,f23,f26,f27,f31,f32}是包括7个网络特征指标的子集。
在实际应用中，可能会确定一个网络特征指标的数量阈值Thr，在本实施例中若网络特征指标的数量阈值Thr为10，则可以按照网络特征指标的重要性FI系数值由高到低的排序从上述第三网络指标集合中选取排名靠前的10个网络特征指标，形成新的第三网络指标集合，此时第三网络指标集合包括10个网络特征指标，包括3个网络特征指标子集，即{f8,f9}是包括2个网络特征指标的子集，{f11,f15,f16,f18,f19}是包括5个网络特征指标的子集，{f22,f26,f31}是包括3个网络特征指标的子集。
网络特征指标的数量阈值Thr的取值，应小于或者等于第二特征选择模型所确定的重要性FI系数值不为零的网络特征指标的个数。
可选地，在步骤3之后，还可以基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性FI系数值，根据重要性FI系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重，作为第三网络指标集合中每个网络特征指标最终的权重；第一权重可以根据公式15确定，其中，wj为第三网络指标集合中第j个网络特征指标的权重，j的取值为第三网络特征集合网络特征指标的编号，即为{8，9，11，15，16，18，19，22，26，31}，FIj为第三网络指标集合中第j网络特征指标的重要性FI系数值：
在本实施例中，根据网络特征指标的重要性FI系数值确定的第一权重如表4所示，表4为表示第三网络指标集合中网络特征指标的第一权重的表。
表4
| 权重名称 | w8 | w9 | w15 | w16 | w26 | w31 | w19 | w22 | w11 | w18 |
| 指标名称 | f8 | f9 | f15 | f16 | f26 | f31 | f19 | f22 | f11 | f18 |
| FI系数值 | 0.1853 | 0.1721 | 0.1593 | 0.1268 | 0.0638 | 0.0543 | 0.0462 | 0.0360 | 0.0355 | 0.0339 |
| 第一次权重值 | 0.2030 | 0.1885 | 0.1744 | 0.1389 | 0.0698 | 0.0595 | 0.0506 | 0.0394 | 0.0388 | 0.0371 |
本实施例提供的网络指标处理方法，分别利用线性的第一特征选择模型和非线性的第二特征选择模型，通过设置网络特征指标的数量阈值Thr，对网络特征指标进行自动选择，能够满足多种实际应用场景的需要；对于确定网络特征指标的第三网络指标集合，可以根据网络特征指标的重要性FI系数值确定网络特征指标的权重值。
实施例二
本实施例提供了一种网络评估方法，其中对于与实施例一相同的部分简要描述，该方法包括：
步骤1，根据评估目标，从第一网络指标集合中，如表2所示，选取1个目标指标y*和n*个网络特征指标，并选取1个目标指标y*和n*个网络特征指标在m个目标对象的网络指标数据中的值，形成第二网络指标集合，如表5所示，表5为表示第二网络指标集合的表。
其中，目标指标y*是从网络特征指标中选取，在本实施例中，选取第一网络指标集合中的网络特征指标f20作为目标指标y*，同时将第二网络指标集合中的f20置零，在本实施例中，m＝162。
表5
| id | f1 | f2 | f3 | … | f20 | f21 | f22 | … | f32 | y* |
| 1 | 85.6 | 266.5 | 45 | … | 0 | 897.9 | 12.3 | … | 2.3 | 75.6 |
| 2 | 47.4 | 135.0 | 24 | … | 0 | 470.8 | 9.5 | … | 4.0 | 73.4 |
| 3 | 41.1 | 118.2 | 22 | … | 0 | 484.8 | 11.5 | … | 5.9 | 74.4 |
| 4 | 40.0 | 102.2 | 18 | … | 0 | 400.8 | 8.3 | … | 5.5 | 77.5 |
| 5 | 38.6 | 107.6 | 19 | … | 0 | 420.9 | 11.3 | … | 4.1 | 74.9 |
| 6 | 75.7 | 215.5 | 39 | … | 0 | 741.0 | 9.7 | … | 3.5 | 73.3 |
| 7 | 42.9 | 116.6 | 21 | … | 0 | 421.8 | 9.1 | … | 4.2 | 74.2 |
| 8 | 46.1 | 130.3 | 24 | … | 0 | 467.2 | 9.8 | … | 4.1 | 73.6 |
| 9 | 42.3 | 121.9 | 22 | … | 0 | 435.3 | 10.4 | … | 3.9 | 81.6 |
| 10 | 37.1 | 103.2 | 19 | … | 0 | 393.3 | 10.4 | … | 5.3 | 78.1 |
| … | … | … | … | … | 0 | … | … | … | … | … |
| m | 43 | 122.8 | 0.22 | … | 0 | 96.54 | 96.14 | … | 4.77 | 80.5 |
步骤2，通过第一特征选择模型拟合第二网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择，形成第一优选网络指标集合；通过第二特征选择模型拟合第二网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性FI系数值，对网络特征指标进行选择，形成第二优选网络指标集合。步骤2可以包括步骤201和步骤202。
步骤201，过第一特征选择模型拟合第二网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的参数中的零值或者近零值，对网络特征指标进行选择，形成第一优选网络指标集合；其中，第一特征选择模型可以为线性多元回归模型，本实施例选用lasso模型，可以采用Python3.7及sklearn库lasso函数实现，其中参数alpha＝0.0082，第一特征选择模型特征选择的结果如表6中的model1_lasso列所示，表6为表示采用第二特征选择模式形成第三网络指标集合的表。
从表6中可以看出，第一特征选择模型确定去除5个网络特征指标，选择27个网络特征指标，形成第一优选网络指标集合，其中，可以通过对参数alpha进行调整，改变所选择的网络特征指标的个数。去除的5个网络特征指标在lasso模型中对应的参数值分别为：f20＝0，f3＝0，f4＝0，f27＝0，f32＝0。
步骤202，通过第二特征选择模型拟合第二网络指标集合中的多个网络特征指标与目标指标之间的数据关系，确定网络特征指标的重要性FI系数值，对网络特征指标进行选择，形成第二优选网络指标集合；其中，其中，第二特征选择模型可以为非线性多元回归模型，本实施例选用XGBoost模型，可以通过feature_importance或get_score来获取网络指标特征重要性FI系数值，feature_importance或get_score可以通过输入(import)Python第三方XGBoost库来实现，第二特征选择模型特征选择的结果如表6中的model2_xgb列所示。
从表6中可以看出，第二特征选择模型确定去除2个网络特征指标，选择30个网络特征指标，形成第二优选网络指标集合，其中，去除的2个网络特征指标的重要性FI系数值分别为：FI3＝0，FI20＝0。
步骤3，如表6所示，根据第一优选网络指标集合和第二优选网络指标集合中所述网络特征指标的交集，形成第三网络指标集合；也就是说，将第一优选网络指标集合和第二优选网络指标集合共同选择的网络特征指标确定为网络评估指标形成第三网络指标集合。
表6
从表6中可以看出，第三网络指标集合中包括的网络特征指标的编号为{1，2，5，6，7，8，9，10，11，12，13，14，15，16，17，18，19，21，22，23，24，25，26，28，29，30，31}，一共27个网络特征指标。
步骤4，基于第二特征选择模型，获取第三网络指标集合中每个网络特征指标的重要性FI系数值，根据重要性FI系数值，确定第三网络指标集合中每个网络特征指标对目标指标的第一权重；第一权重可以根据公式15确定。
步骤5，获取第三网络指标集合中每个网络特征指标的SHAP值，根据每个网络特征指标的SHAP值的绝对值的平均值和第一权重，确定第三网络指标集合中每个网络特征指标对目标指标的第二权重；其中，可以采用Python第三方shap库来获取网络特征指标的SHAP值，以及SHAP值的绝对值的平均值，第三网络指标集合中网络特征指标的SHAP值的绝对值的平均值如图12所示。
在本实施例中，可以采用公式16确定网络特征指标的第二权重，其中α为第二权重确定的修正系数，在本实施例中，修正系数统一取0.2，在解决实际问题中，每个网络特征指标对应的修正系数取值可以不同；wj为第j个网络特征指标的第一权重；mean_|shap|j为第j个网络特征的SHAP值的绝对值的平均值；k为所确定的网络特征指标的个数，在本实施例中，k为27；根据公式16确定网络特征指标的第二权重的结果如表7所示。
表7
步骤6，根据所述第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估，确定评估对象存在的问题以及问题背后的原因；通常可以采用以下三种评估方法，本实施例将对前两种评估方法进行说明：
第一种单个指标评估方法，可以发现单个指标存在的问题以及问题背后的原因；
第二种专业内组合指标评估方法，可以通过专业内指标的组合发现存在的问题以及问题背后的原因；
第三种跨专业指标组合评估方法，可以通过跨专业指标的组合发现存在的问题以及问题背后的原因。
为了表述方便，本实施例将采用以下22个特定的目标对象对网络评估方法进行描述，22个特定的目标对象分别为：阿*、巴*、成*、达*、德*、甘*、广*、*广、乐*、凉*、泸*、眉*、绵*、南*、内*、攀*、遂*、*天、雅*、宜*、资*、自*；其中i＝0表示样本阿*，i＝8表示乐*，其余类似。
第一种单个指标评估方法，如图13所示，图13为本发明实施例单个指标评估方法的一种实现方式的示意图，其中将网络特征指标f13为室内弱覆盖比例；从图13中各目标对象的柱状图中，可以得知22个目标对象的室内弱覆盖情况，对于其中室内弱覆盖比例较高的目标对象，在网络建设时应增加改善室内网络盖的资源投入。
第二种专业内组合指标评估方法，如图14所示，图14为本发明实施例专业内组合指标评估方法的一种实现方式的示意图，其中，网络指标y1为客户感知，网络指标y2为网络效益；从图14中各目标对象在二维坐标图中的位置，可以得知22个目标对象的客户感知和网络效益情况；对于其中客户感知较差，网络效益较高的目标对象，在网络建设时应增加改善客户感知的资源投入；对于其中客户感知较好，网络效益较低的目标对象，在网络建设时应增加改善网络效益的资源投入；对于其中客户感知较差，网络效益较低的目标对象，在网络建设时应增加改善客户感知和网络效益的资源投入。
图15为本发明实施例专业内组合指标评估方法的另一种实现方式的示意图，如图15所示，其中，目标对象为成*；从图15的目标对象的雷达图中，可以得知目标对象五个网络指标的情况，即网络覆盖、网络速率、用户满意度、资源利用效率和综合效益，通过将目标对象成*的五个指标与22个目标对象五个指标的平均值进行比较，可以确定在网络建设时对成*的资源投入应放在网络覆盖、网络速率和用户满意度方面。
实施例三
本实施例对跨专业指标组合评估方法进行说明。
在本实施例中，是从第一网络指标集合中选取网络特征指标f33,f34,f35,…，f60和目标指标y1，形成第二网络指标集合，进一步形成第三网络指标集合以及确定网络特征指标的权重的方法，可以参见实施例一和实施例二的说明，故此处不再敷述。
如图16A至图16C所示，图16A至图16C为本发明实施例跨专业指标组合评估方法的一种实现方式的示意图，其中，网络特征指标f35为重要OLT中断台次，属于有线接入专业的网络指标，从图16A中可以看到乐*的该指标表现较差，排名第19，而同处于该指标所归属的一级指标，即网络感知指标，下的二级指标，即网络安全指标，下的网络特征指标f36，即重要OLT物理双上联占比，并没有明显劣化，排名为第11，如图16B所示，通过对跨专业指标进行组合发现，乐*的网络特征指标f55，即边缘OTN成环率表现较差，排名为第18，如图16C所示，该指标是归属于传输专业的网络指标中的一级指标，即网络质量指标，下的二级指标，即网络结构安全指标，下的网络特征指标。
对应于本发明实施例的网络评估方法，网络特征指标f36的重要性FI系数值为0，并且该网络特征指标f36的mean_|SHAP|值也为0，因此采用本发明实施例的网络评估方法，可以去除掉非问题因素的网络特征指标。
在采用有线接入专业的网络指标作为网络特征指标进行网络评估时，可以在网络特征指标中加入跨专业的网络指标，在本实施例中，加入传输专业的网络指标f52,f53,…,f57，其中网络特征指标f53的重要性FI系数值为0.006838084，重要性FI系数值排名为第12，并且该网络特征指标f53的mean_|SHAP|值为0.040152904，mean_|SHAP|值排名为第13，也就是说，采用本发明实施例的网络评估方法，可以识别非问题因素的网络特征指标。
在本实施例中，在网络特征指标中还加入了表示评估对象本身差异性的指标f58,f59,f60，其中，f58的重要性FI系数值为0.07926858，FI排名为第5，且并且该网络特征指标f58的mean_|SHAP|值为0.40293425，mean_|SHAP|值的排名为第5，也就是说，采用本发明实施例的网络评估方法，可以识别评估对象本身的差异性因素。
在获取目标对象乐*的SHAP值时，可以根据SHAP值来识别网络特征指标的影响方向，即是正向影响，还是负向影响，如表8所示，表8为表示网络特征指标的SHAP值的表。
其中，网络特征指标f35的SHAP值为-0.073124066，符号为负，表明该指标对目标指标的影响方向为负，影响强度为SHAP值的绝对值；网络特征指标f36的SHAP值为0，表明该指标对目标指标的影响强度为0；网络特征指标f55的SHAP值为0.032912824，符号为正，表明该指标对目标指标的影响方向为正，影响强度为SHAP值的绝对值；网络特征指标f58的SHAP值为-0.23225033，符号为负，表明该指标对目标指标的影响方向为负，影响强度为SHAP值的绝对值；网络特征指标f59的SHAP值为0，表明该指标对目标指标的影响强度为0；网络特征指标f60的SHAP值为0，表明该指标对目标指标的影响强度为0。
表8
对应上述描述的方法，基于相同的技术构思，本发明实施例还提供了一种电子设备，图17为实现本发明实施例的一种电子设备的组成结构示意图，如图17所示，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1701和存储器1702，存储器1702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1702可以是短暂存储或持久存储。存储在存储器1702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对计算机设备中的一系列计算机可执行指令。更进一步地，处理器1701可以设置为与存储器1702通信，在计算机设备上执行存储器1702中的一系列计算机可执行指令。计算机设备还可以包括一个或一个以上电源1703，一个或一个以上有线或无线网络接口1704，一个或一个以上输入输出接口1705，一个或一个以上键盘1706。
在本实施例中，该电子设备包括有处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以下方法：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；
通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；
其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
或者，实现以下方法：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；
通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；
基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；
根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
本发明实施例提供的电子设备，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。
对应上述描述的方法，基于相同的技术构思，本申请实施例还提供一种计算机可读存储介质，存储介质内存储有计算机程序，计算机程序被处理器执行时实现以下方法：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；
通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合，以根据第三网络指标集合对目标对象进行评估；
其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同。
或者，实现以下方法：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取目标指标和网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，第一网络指标集合包括多条网络指标数据，每条网络指标数据包括多个网络指标的值，多条网络指标数据包括每个目标对象的一条网络指标数据，目标指标和网络特征指标是从多个网络指标中选取的不同网络指标；
通过特征选择模型对第二网络指标集合中的网络特征指标进行选择，形成第三网络指标集合；其中，特征选择模型包括第一特征选择模型和第二特征选择模型，第一特征选择模型和第二特征选择模型进行网络特征指标选择的方式不同；
基于第二特征选择模型，确定第三网络指标集合中每个网络特征指标对目标指标的权重；
根据第三网络指标集合中的目标指标和网络特征指标的值，以及网络特征指标的权重，对目标对象进行评估。
本发明实施例提供的计算机可读存储介质，通过特征选择模型对网络指标进行自动选择，可以避免主观因素的影响，客观的保留与评估目标和评估对象相关的网络指标，去除与评估目标和评估对象不相关的网络指标，在通信运营商作网络规划建设时，利用特征选择模型自动选择得到的网络指标对网络状况进行评估，可以提升网络评估的效果，有效地找出目标对象存在的问题以及问题背后的原因，进而可以提升网络建设资源投向的精准度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种网络评估方法，其特征在于，包括：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合；其中，所述特征选择模型输出参数为近零值和/或重要性系数值非零的网络特征指标，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同；
基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重；
根据所述第三网络指标集合中的所述目标指标和所述网络特征指标的值，以及所述网络特征指标的权重，对所述目标对象进行评估。
2.根据权利要求1所述的方法，其特征在于，所述通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合，包括：
通过所述第一特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第一优选网络指标集合，其中，所述第一特征选择模型输出参数为近零值的网络特征指标；
通过所述第二特征选择模型对所述第一优选网络指标集合中的所述网络特征指标进行选择，形成所述第三网络指标集合，其中，所述第二特征选择模型输出重要性系数值非零的网络特征指标；
或者，
所述通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合，包括：
分别通过所述第一特征选择模型和所述第二特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第一优选网络指标集合和第二优选网络指标集合；
根据所述第一优选网络指标集合和所述第二优选网络指标集合中所述网络特征指标的交集，形成所述第三网络指标集合。
3.根据权利要求2所述的方法，其特征在于，通过所述第一特征选择模型拟合多个网络特征指标与目标指标之间的数据关系，确定所述网络特征指标的参数中的零值或者近零值，对所述网络特征指标进行选择，选择参数为近零值的网络特征指标；和/或，
通过所述第二特征选择模型拟合多个网络特征指标与目标指标之间的数据关系，确定所述网络特征指标的重要性系数值，对所述网络特征指标进行选择，选择重要性系数值非零的网络特征指标。
4.根据权利要求1所述的方法，其特征在于，所述通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合，包括：
通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第四网络指标集合；
根据预设的网络特征指标的数量阈值对所述第四网络指标集合中的网络特征指标进行选择，形成所述第三网络指标集合。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重，包括：
基于所述第二特征选择模型，获取所述第三网络指标集合中每个所述网络特征指标的重要性系数值，根据所述重要性系数值，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的第一权重。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重，还包括：
获取所述第三网络指标集合中每个所述网络特征指标的SHAP值，根据每个所述网络特征指标的SHAP值的绝对值的平均值和所述第一权重，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的第二权重。
7.一种网络指标处理方法，其特征在于，包括：
从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合，以根据所述第三网络指标集合对所述目标对象进行评估；
其中，所述特征选择模型输出参数为近零值且重要性系数值非零的网络特征指标，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同。
8.一种网络评估装置，其特征在于，包括：
指标选取模块，用于从第一网络指标集合中选取一个目标指标和多个网络特征指标，并选取所述目标指标和所述网络特征指标在目标对象的网络指标数据中的值，形成第二网络指标集合；
其中，所述第一网络指标集合包括多条网络指标数据，每条所述网络指标数据包括多个网络指标的值，所述多条网络指标数据包括每个所述目标对象的一条网络指标数据，所述目标指标和所述网络特征指标是从所述多个网络指标中选取的不同网络指标；
指标处理模块，用于通过特征选择模型对所述第二网络指标集合中的所述网络特征指标进行选择，形成第三网络指标集合；其中，所述特征选择模型输出参数为近零值且重要性系数值非零的网络特征指标，所述特征选择模型包括第一特征选择模型和第二特征选择模型，所述第一特征选择模型和所述第二特征选择模型进行网络特征指标选择的方式不同；
权重确定模块，用于基于所述第二特征选择模型，确定所述第三网络指标集合中每个所述网络特征指标对所述目标指标的权重；
评估模块，用于根据所述第三网络指标集合中的所述目标指标和所述网络特征指标的值，以及所述网络特征指标的权重，对所述目标对象进行评估。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1-6任一项所述的网络评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的网络评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010318758.5A CN113541993B (zh) | 2020-04-21 | 2020-04-21 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010318758.5A CN113541993B (zh) | 2020-04-21 | 2020-04-21 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113541993A CN113541993A (zh) | 2021-10-22 |
| CN113541993B true CN113541993B (zh) | 2023-08-18 |
Family
ID=78093959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010318758.5A Active CN113541993B (zh) | 2020-04-21 | 2020-04-21 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113541993B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114553517B (zh) * | 2022-02-14 | 2024-05-14 | 北京源堡科技有限公司 | 非线性加权的网络安全评估方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105634787A (zh) * | 2014-11-26 | 2016-06-01 | 华为技术有限公司 | 网络关键指标的评估方法、预测方法及装置和系统 |
| CN108491686A (zh) * | 2018-03-30 | 2018-09-04 | 中南大学 | 一种基于双向XGBoost的基因调控网络构建方法 |
| CN108900333A (zh) * | 2018-06-27 | 2018-11-27 | 新华三大数据技术有限公司 | 一种无线网络质量的评估方法及评估装置 |
| CN109803295A (zh) * | 2019-03-05 | 2019-05-24 | 中国联合网络通信集团有限公司 | 一种通信小区整改优先级的评价方法和装置 |
| CN110912768A (zh) * | 2019-11-01 | 2020-03-24 | 海南大学 | 多路径传输网络性能的灰色关联与模糊评估方法和系统 |
-
2020
- 2020-04-21 CN CN202010318758.5A patent/CN113541993B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105634787A (zh) * | 2014-11-26 | 2016-06-01 | 华为技术有限公司 | 网络关键指标的评估方法、预测方法及装置和系统 |
| CN108491686A (zh) * | 2018-03-30 | 2018-09-04 | 中南大学 | 一种基于双向XGBoost的基因调控网络构建方法 |
| CN108900333A (zh) * | 2018-06-27 | 2018-11-27 | 新华三大数据技术有限公司 | 一种无线网络质量的评估方法及评估装置 |
| CN109803295A (zh) * | 2019-03-05 | 2019-05-24 | 中国联合网络通信集团有限公司 | 一种通信小区整改优先级的评价方法和装置 |
| CN110912768A (zh) * | 2019-11-01 | 2020-03-24 | 海南大学 | 多路径传输网络性能的灰色关联与模糊评估方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113541993A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112566196A (zh) | 一种基于智能电网的异构网络接入选择方法及相关设备 | |
| CN110380881B (zh) | 一种网络扩容预测方法及装置 | |
| CN109768886B (zh) | 网络规划评价方法及装置 | |
| JP6243045B2 (ja) | グラフデータクエリ方法および装置 | |
| CN113541993B (zh) | 网络评估方法及装置、网络指标处理方法、设备和介质 | |
| CN108446712B (zh) | Odn网智能规划方法、装置及系统 | |
| CN114595970A (zh) | 资源调度智能决策方法、装置、电子设备及存储介质 | |
| CN113660687B (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
| CN108595526A (zh) | 资源推荐方法及装置 | |
| CN111242425A (zh) | 电力数据处理方法和装置 | |
| US20230267379A1 (en) | Method and system for generating an ai model using constrained decision tree ensembles | |
| CN113132136B (zh) | 满意度预测模型建立及预测满意度的方法、装置及电子设备 | |
| CN109245948B (zh) | 安全感知的虚拟网络映射方法及其装置 | |
| CN115082767B (zh) | 随机森林模型训练方法和装置 | |
| CN113128659A (zh) | 神经网络定点化方法、装置、电子设备及可读存储介质 | |
| CN117312549A (zh) | 工单的处理方法、装置及电子设备 | |
| CN114417022A (zh) | 模型训练方法、数据处理方法及其装置 | |
| CN110234167B (zh) | 一种信道分配方法、信道分配装置及电子设备 | |
| CN115271142A (zh) | 一种渠道选址方法、装置、电子设备及可读存储介质 | |
| WO2022156743A1 (zh) | 特征构建方法和装置、模型训练方法和装置、设备、介质 | |
| CN115241877B (zh) | 预估电力系统需求方法及相关设备 | |
| CN111339093B (zh) | 用户行为数据的获取方法、装置、设备及存储介质 | |
| CN118785191A (zh) | 无线网业务指标的预测方法、装置、设备及存储介质 | |
| CN114611598A (zh) | 一种分群处理方法及装置 | |
| CN117221900A (zh) | Rru资源挖潜方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |