CN114491406A - 网络业务的评价方法、电子设备和存储介质 - Google Patents

网络业务的评价方法、电子设备和存储介质 Download PDF

Info

Publication number
CN114491406A
CN114491406A CN202011155978.7A CN202011155978A CN114491406A CN 114491406 A CN114491406 A CN 114491406A CN 202011155978 A CN202011155978 A CN 202011155978A CN 114491406 A CN114491406 A CN 114491406A
Authority
CN
China
Prior art keywords
kqi
threshold
period
network service
ticket data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011155978.7A
Other languages
English (en)
Inventor
杨伟伟
占义忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202011155978.7A priority Critical patent/CN114491406A/zh
Priority to PCT/CN2021/125784 priority patent/WO2022089326A1/zh
Priority to EP21885053.5A priority patent/EP4236421A1/en
Publication of CN114491406A publication Critical patent/CN114491406A/zh
Priority to US18/093,909 priority patent/US20230156499A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2218—Call detail recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/36—Statistical metering, e.g. recording occasions when traffic exceeds capacity of trunks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/55—Aspects of automatic or semi-automatic exchanges related to network data storage and management
    • H04M2203/555—Statistics, e.g. about subscribers but not being call statistics
    • H04M2203/556—Statistical analysis and interpretation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Mathematical Optimization (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)

Abstract

本发明实施例涉及通信领域，公开了一种网络业务的评价方法、电子设备和存储介质。网络业务的评价方法，包括：根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值；根据第二周期内每个KQI所有的所述第一阈值，获取每个KQI的第二阈值，其中，所述第二周期包含至少一个所述第一周期；根据每个KQI的所述第二阈值和第三周期内的话单数据，获取网络业务的感知分数。应用在对网络业务进行评价的过程中。

Description

网络业务的评价方法、电子设备和存储介质
技术领域
本申请实施例涉及通信领域，特别涉及一种网络业务的评价方法、电子设备和存储介质。
背景技术
随着现代通讯科技的快速发展，用户对网络服务的质量要求越来越高。因此，需要网络运营商建立有效的端到端的业务感知的综合评价体系，从而能够及时发现全网业务差质问题并解决，最后为用户提供优质的网络业务服务。目前网络运营商对业务感知的评估手段主要是将质量指标的固定经验阈值作为评价标准，通过比较当前网络业务的质量指标数据和质量指标的固定经验阈值来评估网络业务的质量。
然而，在网络质量指标正常波动的情况下，质量指标的固定阈值由于不能适应变化导致将正常波动的网络质量指标评价为异常，从而产生错误评价。
发明内容
本申请实施例的主要目的在于提出一种网络业务的评价方法、电子设备和存储介质，能够在网络质量指标正常波动的情况下正确、客观地评价网络业务的质量。
为解决上述技术问题，本发明的实施方式提供了一种网络业务的评价方法，包括：根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值；根据第二周期内每个KQI所有的所述第一阈值，获取每个KQI的第二阈值，其中，所述第二周期包含至少一个所述第一周期；根据每个KQI的所述第二阈值和第三周期内的话单数据，获取网络业务的感知分数。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的网络业务的评价方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的网络业务的评价方法。
本发明实施方式相对于现有技术而言，能够根据第一周期内的话单数据对KQI进行统计分析，获取每个KQI的第一阈值，使得每个KQI的第一阈值不是固定值，而是受到第一周期内的话单数据的影响、自适应变化的阈值，然后对第二周期内包含的所有的第一阈值进行处理，获取每个KQI的第二阈值，使得得到的阈值更加有效、可靠，再根据每个KQI的第二阈值获取网络业务的感知分数，能够对网络业务的评价进行量化，使得评价结果更加客观。解决了现有技术在网络质量指标正常波动的情况下，质量指标的固定阈值由于不能适应变化导致将正常波动的网络质量指标评价为异常，从而出现错误的情况的问题。由于每个KQI的第一阈值是根据话单数据对KQI进行统计分析得到的，因而KQI的阈值会随着话单数据的变化而变化，从而能够适应网络业务通过话单数据显示出来的动态变化，也就是使得采用本发明实施方式提供的技术方案对网络业务进行评价时，能够将动态变化的阈值作为评价标准来评价网络业务，更灵活、准确。
附图说明
图1是本发明的第一实施方式提供的网络业务的评价方法的流程图；
图2是本发明的第二实施方式提供的网络业务的评价方法的流程图；
图3是本发明的第二实施方式中的长期演进中的分组核心演进的部分组网示意图；
图4是本发明的第三实施方式提供的网络业务的评价方法的流程图；
图5是图4所示的本发明的第三实施方式提供的网络业务的评价方法中步骤403的流程图；
图6是本发明的第三实施方式中的视频下载速率指标的分布曲线图；
图7是本发明的第三实施方式中的网页显示平均时指标的分布曲线图；
图8是本发明的第四实施方式提供的网络业务的评价方法的流程图；
图9是本发明的第五实施方式提供的网络业务的评价方法的流程图；
图10是本发明的第六实施方式提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种网络业务的评价方法，可以应用于3G、4G等通信系统中的网络业务的评价。其流程如图1所示，包括：
步骤101，根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值。
在本实施方式中，第一周期是预先设定的。关键质量指标(Key QualityIndicators，KQI)是主要针对不同业务提出的贴近用户感受的业务质量参数，而本实施方式不对网络业务的KQI进行具体的举例说明，在实际的使用过程中，步骤101可以统计分析任意网络业务的任意一种KQI。
需要说明的是，本实施方式中，第一周期内的话单数据中包含至少一类网络业务的话单数据，且任意一类网络业务对应至少一个KQI。
步骤102，根据第二周期内每个KQI所有的第一阈值，获取每个KQI的第二阈值，其中，第二周期包含至少一个第一周期。
在本实施方式中，第二周期包含至少一个第一周期，第二周期内的每个第一周期都可以根据步骤101得到KQI的第一阈值。对得到的每个KQI所有的第一阈值进行综合分析，得到更加有效的第二阈值。综合分析的方法可以是求取平均值，需要说明的是，在本实施方式及以下其他实施方式中不对具体的平均方法进行限定。
步骤103，根据每个KQI的第二阈值和第三周期内的话单数据，获取网络业务的感知分数。
在本实施方式中，将得到的有效阈值和话单数据中的KQI进行比较，并根据比较的结果进一步分析，可以得到对网络业务的感知评价的量化值，量化值可以直接作为感知分数也可以继续分析、处理再将得到的数值作为感知分数。
需要说明的是，本实施方式中每个类型的网络业务都有一个感知分数，步骤103得到的是至少一类网络业务的感知分数。
本发明实施方式相对于现有技术而言，能够根据第一周期内的话单数据对KQI进行统计分析，获取每个KQI的第一阈值，使得每个KQI的第一阈值不是固定值，而是受到第一周期内的话单数据的影响、自适应变化的阈值，然后对第二周期内包含的所有的第一阈值进行处理，获取每个KQI的第二阈值，使得得到的阈值更加有效、可靠，再根据每个KQI的第二阈值获取网络业务的感知分数，能够对网络业务的评价进行量化，使得评价结果更加客观。解决了现有技术在网络质量指标正常波动的情况下，质量指标的固定阈值由于不能适应变化导致将正常波动的网络质量指标评价为异常，从而出现错误的情况的问题。由于每个KQI的第一阈值是根据话单数据对KQI进行统计分析得到的，因而KQI的阈值会随着话单数据的变化而变化，从而能够适应网络业务通过话单数据显示出来的动态变化，也就是使得采用本发明实施方式提供的技术方案对网络业务进行评价时，能够将动态变化的阈值作为评价标准来评价网络业务，更灵活、准确。
本发明的第二实施方式涉及一种网络业务的评价方法，该方法与本发明的第一实施方式提供的网络业务的评价方法基本相同，其区别在于，需要获取同一网络业务的话单数据，如图2所示，还包括：
步骤201，获取探针采集的用户平面S1-U接口的话单数据，其中，探针设置在无线基站和服务网关之间。
在本实施方式中，如图3所示的分组核心演进(Evolved Packet Core,EPC)的部分组网图，服务网关(Service Gateway,SGW)主要负责用户面处理，负责数据包的路由和转发等功能，支持第三代合作伙伴计划(Third Generation Partnership Project,3GPP)不同接入技术的切换，发生切换时作为用户面的锚点，对每一个与演进的分组系统相关的用户设备，在一个时间点上，都有一个SGW为之服务；用户平面S1-U是EPC网络的一个主要接口，位于无线基站和SGW之间。eNodeB是演进型Node B(LTE中基站的名称)，EPC是分组核心演进Evolved Packet Core的缩写，PGW是PDN网关的缩写，MME是移动管理实体MobilityManagement Entity的缩写，S1-U、S1-MME、S5/8、S11、S10是分组核心演进组网当中不同连接对象之间对应的接口。因此，设置在无线基站和SGW之间的探针可以用于采集用户平面S1-U口的数据，且S1-U接口获取的是XDR(External Data Representation)话单数据。
步骤202，设置所述第一周期、所述第二周期和所述第三周期。
在本实施方式中，不对第一周期和第三周期进行限定，可以根据实现过程中的实际需要进行设置，第二周期在满足包含一个或多个第一周期的条件下，可以根据需求进行设置。
步骤203，根据网络业务的类型和第一周期对S1-U接口的话单数据进行划分，获取第一周期内的话单数据。
在本实施方式中，网络业务的类型根据业务特点和网络性能要求可以划分为网页类、视频类、游戏类、通过互联网向用户提供各种服务(Over The Top,OTT)语音类、OTT视频类和流量类等。当然，以上仅为具体的举例说明，在实际的使用过程中网络业务的类型还可以包括其他类型或者其他根据不同划分依据得到的类型，此处不做一一赘述。
具体地说，首先根据网络业务的类型从S1-U接口的一天的XDR话单中分别筛选并划分出网页类、视频类、游戏类、OTT语音类、OTT视频类及流量类等不同类型的话单数据，接着以第一周期为基本单位继续对获取数据的时间进行划分，得到第一周期内的话单数据。需要说明的是，时间“天”的数据仅为举例说明，还可以是其他时间长度，根据网络业务划分和根据第一周期的划分的先后顺序不进行限定。
步骤204，根据网络业务的类型和第三周期对S1-U接口的话单数据进行划分，获取第三周期内的话单数据。
在本实施方式中，网络业务的类型根据业务特点和网络性能要求可以划分为网页类、视频类、游戏类、通过互联网向用户提供各种服务(Over The Top,OTT)语音类、OTT视频类和流量类等。当然，以上仅为具体的举例说明，在实际的使用过程中网络业务的类型还可以包括其他类型或者其他根据不同划分依据得到的类型，此处不做一一赘述。
具体地说，首先根据网络业务的类型从S1-U接口的一天的XDR话单中分别筛选并划分出网页类、视频类、游戏类、OTT语音类、OTT视频类及流量类等不同类型的话单数据，接着以第三周期为基本单位继续对获取数据的时间进行划分，得到第一周期内的话单数据。需要说明的是，时间“天”的数据仅为举例说明，还可以是其他时间长度，根据网络业务划分和根据第三周期的划分的先后顺序不进行限定。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，可以在动态获取KQI的阈值的同时，实时获取分类后的话单数据，使得能够实时感知网络业务质量指标的变化，进一步使得得到的阈值对数据变化更加灵敏、感知分数更加准确。
本发明的第三实施方式涉及一种网络业务的评价方法，该方法与本发明的第一实施方式提供的网络业务的评价方法基本相同，其区别在于，如图4所示，步骤101包括：
步骤401，根据第一周期内的话单数据获取每个用户的每个KQI数值。
在本实施方式中，第一周期内的话单数据是一定时间内获取的话单数据，因此，对每个用户而言，一个KQI对应的是一组数据。具体地说，对每个用户的某个KQI在第一周期内的所有数值进行平均，也可以进行求中位数，将平均或求中位数处理后的数值作为每个用户的KQI数值。当然，还可以是采用其他的统计方法对每个用户的一组KQI数据进行处理，得到一个能够反映该用户的第一周期内一组KQI数值的特性的KQI数值。
步骤402，对每个KQI在不同数值下的用户数量进行统计，获取每个KQI的概率密度曲线。
在本实施方式中，具体地说，若某个网络业务对应N个KQI，那么第i个KQI的某个具体数值KQIin下的用户数量为m，被统计的用户总数为M，那么KQIin出现的概率
Figure BDA0002742742800000041
第i个KQI的密度曲线函数为：
Figure BDA0002742742800000042
其中,KQIin是第i个KQI指标的具体数值，min是具体数值KQIin对应的用户数量，Mi是第i个KQI指标对应的所有用户数量。
步骤403，分析每个KQI的概率密度曲线，获取每个KQI的第一阈值。
具体地，如图5所示，步骤403可以包括：
步骤501，对每个KQI分别设置第一阈值分位点和第二阈值分位点，其中，第一阈值分位点小于第二阈值分位点。
在本实施方式中，第一阈值分位点和第二阈值分位点的取值区间为(0，1)，可以根据实际情况进行设定，也可以使用默认值。不同KQI的第一阈值分位点和第二阈值分位点可以相同，也可以不同。需要说明的是，设定第一阈值分位点小于第二阈值分位点只是为了便于表示。
需要说明的是，在本实施方式中，阈值分位点设定了两个，但是在实际应用的过程中，不对阈值分位点的数量进行限定，可以根据实际需要设定一个或者多个阈值分位点。
步骤502，根据每个KQI的变化特性、每个KQI的概率密度曲线、第一阈值分位点和第二阈值分位点，获取每个KQI的第一阈值，其中，每个KQI的第一阈值包括优质阈值和差质阈值。
在本实施方式中，设定第一阈值分位点为p1、第二阈值分位点为p2，且0<p1<p2<1，那么当KQI越大越好(此时成KQI为正向指标)时，差质阈值分位点为p1，优质阈值分位点为p2，分位点p1对应的KQI的数值为差质阈值worstdynamic，分位点p2对应的KQI的数值为优质阈值bestdynamic；当KQI越小越好(此时成KQI为负向指标)时，优质阈值分位点为p1，差质阈值分位点为p2，分位点p1对应的KQI的数值为优质阈值bestdynamic，分位点p2对应的KQI的数值为差质阈值worstdynamic。
更具体地说，以某国家O运营商现网中的点播视频业务为例，按照用户维度计算以天为时间粒度时的视频下载速率指标的分布曲线如图6所示，视频下载速率指标为正向指标。设定差质阈值分位点p1＝0.4，优质阈值分位点p2＝0.925，按照视频下载速率指标值从小到大方向，取p1分位点的指标值作为差质阈值worstdynamic，取p2分位点的指标值作为优质阈值bestdynamic。计算后得到视频下载速率的自适应阈值为worstdynamic＝20Kbps，bestdynamic＝900Kbps。以某国家O运营商现网中的网页浏览业务为例，按照用户维度计算以天为时间粒度时的网页显示平均时长指标的分布曲线如图7所示，网页显示平均时长指标为负向指标。设定优质阈值分位点p1＝0.075，差质阈值分位点p2＝0.6，按照网页显示平均时长指标值从小到大方向，取p1分位点的指标值作为优质阈值bestdynamic，取p2分位点的指标值作为差质阈值worstdynamic。计算后得到网页显示平均时长的自适应阈值为worstdynamic＝3800ms，bestdynamic＝400ms。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于可以利用概率分布来确定当KQI的数值有序分布后处于某个特殊位置的数值，并将特殊的数值作为阈值，使得获取的阈值更客观、准确。
本发明的第四实施方式涉及一种网络业务的评价方法，该方法与本发明的第一实施方式提供的网络业务的评价方法基本相同，其区别在于，如图8所示，步骤103包括：
步骤801，对第三周期内的话单数据进行分类，获取每一类话单数据的KQI。
在本实施方式中，按照用户、省市、区县、区域、小区、APP或站点等维度的一种或多种组合进行分类。当然，以上仅为具体的举例说明，在实际的使用过程中分类方法还可以包括其他划分，此处不做一一赘述。
需要说明的是，本实施方式中，获取的每一类话单数据的KQI的最小单元是单个用户，对于用户而言得到的KQI应该是与步骤401相对应的操作，例如步骤401将一段时间内的用户的KQI求取平均数，步骤801获取最小单元的KQI也应该是求取平均，基于每个用户的平均数再对每一类进行计算。
步骤802，对每一类话单数据的KQI分别进行平均，获取第三周期内的每个KQI的平均数。
步骤803，根据每个KQI的第二阈值确定每个KQI的评分函数。
在本实施方式中，每个KQI的评分函数的具体映射关系与第二阈值相关，且能够映射到设置的整个评分取值空间。这样可以避免得分可取数值过少，评分不能够直观反映KQI的数值代表的质量之间的差别的问题。需要说明的是，不对评分函数的具体映射关系进行限定，只要满足上述思想的任意函数都可以作为评分函数。
具体地说，以评分结果为QoE(根据QoE的计算公式可知QoE的取值范围为0～5分)为例，某个网络业务的第i个KQI的得分Scorei可以采用如下公式：
Figure BDA0002742742800000061
其中：Scorei是该网络业务的第i个KQI的评分，worsti是该网络业务的第i类KQI的差质阈值，besti是某一网络业务的第i类KQI的优质阈值，worsti和besti的值从第三实施方式得到的。direction是指标的方向，如KQI越大越好，则为正向指标且direction＝1，否则direction＝-1。需要说明的是，在实际实现的过程中，不对评分的取值空间进行限定，但是同一网络的所有KQI的评分取值空间保持一致。
步骤804，根据每个KQI的平均数和每个KQI的评分函数确定每个KQI的评价分数。
在本实施方式中，具体的方法是将每个KQI的平均数依次代入步骤803得到的对应的KQI的评分函数中，得到的函数值就是每个KQI的评价分数。
步骤805，根据预设的权重对同一网络业务的KQI的评价分数进行加权平均，获取网络业务的感知分数。
在本实施方式中，感知分数的计算公式为：
Figure BDA0002742742800000062
其中：Scorei由步骤804计算所得，wi是第i个KQI预设的权重，并且满足
Figure BDA0002742742800000063
wi≥0。
需要说明的是，权重的预设是根据实际的需求进行设置，可以根据第i个KQI对网络业务感知影响的重要程度预先设定。
更具体地说，以某国家O运营商现网中的游戏业务为例，指标权重及3G和4G业务计算的自适应阈值如下表所示。
Figure BDA0002742742800000071
更具体地说，以某国家O运营商现网中的点播视频业务为例，假设有5个KQI，视频播放成功率、视频播放等待时延、视频卡顿频次、视频卡顿时长占比和视频下载速率，且各KQI的相关数据经过计算后确定为：
Figure BDA0002742742800000072
Figure BDA0002742742800000073
Figure BDA0002742742800000074
权重分别为：w1＝0.20、w2＝0.25、w3＝0.15、w4＝0.15、w5＝0.25，那么，其感知得分计算如下：
QoE＝0.20×Score播放成功率+0.25×Score播放等待时延+0.15×Score卡顿次数+0.15×Score卡顿时长占比+0.25×Score下载速率
代入数据可以得到感知得分为2.28。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于获取得分时采用预先定义的能够映射到整个分数取值区间的函数，使得得到的感知分数不受主观因素影响，且得到的分数的取值情况很多，能够反映出感知差别，使得评价更加具有区分度；同时采用加权平均，对不同的KQI进行区分，使得得到感知分数更加能够代表网络业务的质量。
本发明的第五实施方式涉及一种网络业务的评价方法，该方法与本发明的第一实施方式提供的网络业务的评价方法基本相同，其区别在于，考核周期可调，如图9所示，具体包括：
步骤901，对第二周期由小到大地进行调整。
具体地说，前期第二周期可以选取较小值，随着时间推移逐步选取较大值，直到第二周期调整到对感知得分的影响趋于稳定时，不再调整第二周期。需要说明的是，不对具体的调整次数和每次调整的幅度进行限定。
步骤902，根据调整后的第二周期更新每个KQI的第二阈值。
在本实施方式中，每调整一次第二周期就要执行一次步骤902。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于考核周期可以调整，使得在算法运行较长时间后，能够保证业务质量指标有效阈值的稳定性，否则计算所得的感知分数会变化较大，不利于业务差质问题的分析。
本发明第六实施方式涉及一种电子设备，如图10所示，包括：
至少一个处理器1001；以及，
与所述至少一个处理器1001通信连接的存储器1002；其中，
所述存储器1002存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器1001执行，以使所述至少一个处理器1001能够执行本发明第一至第五实施方式所述的网络业务的评价方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种网络业务的评价方法，其特征在于，包括：
根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值；
根据第二周期内每个KQI所有的所述第一阈值，获取每个KQI的第二阈值，其中，所述第二周期包含至少一个所述第一周期；
根据每个KQI的所述第二阈值和第三周期内的话单数据，获取网络业务的感知分数。
2.根据权利要求1所述的方法，其特征在于，所述根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值之前，还包括：
获取探针采集的用户平面S1-U接口的话单数据，其中，所述探针设置在无线基站和服务网关之间；
设置所述第一周期、所述第二周期和所述第三周期；
根据网络业务的类型和所述第一周期对所述S1-U接口的话单数据进行划分，获取所述第一周期内的话单数据；
根据所述网络业务的类型和所述第三周期对所述S1-U接口的话单数据进行划分，获取所述第三周期内的话单数据。
3.根据权利要求1所述的方法，其特征在于，所述根据第一周期内的话单数据对每个关键质量指标KQI进行统计分析，获取每个KQI的第一阈值包括：
根据所述第一周期内的话单数据获取每个用户的每个KQI数值；
对所述每个KQI在不同数值下的用户数量进行统计，获取每个KQI的概率密度曲线；
分析所述每个KQI的概率密度曲线，获取所述每个KQI的第一阈值。
4.根据权利要求3所述的方法，其特征在于，所述分析所述每个KQI的概率密度曲线，获取所述每个KQI的第一阈值包括：
对所述每个KQI分别设置第一阈值分位点和第二阈值分位点，其中，所述第一阈值分位点小于所述第二阈值分位点；
根据所述每个KQI的变化特性、所述每个KQI的概率密度曲线、所述第一阈值分位点和所述第二阈值分位点，获取所述每个KQI的第一阈值，其中，所述每个KQI的第一阈值包括优质阈值和差质阈值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述每个KQI的变化特性、所述每个KQI的概率密度曲线、所述第一阈值分位点和所述第二阈值分位点，获取所述每个KQI的第一阈值，其中，所述每个KQI的第一阈值包括优质阈值和差质阈值包括：
若所述KQI的变化特性是数值越大网络业务质量越好，所述第一阈值分位点在所述概率密度曲线上对应的KQI的数值是所述差质阈值，所述第二阈值分位点在所述概率密度曲线上对应的KQI数值是所述优质阈值；
若所述KQI的变化特性是数值越小网络业务质量越好，所述第一阈值分位点在所述概率密度曲线上对应的KQI数值是所述优质阈值，所述第二阈值分位点在所述概率密度曲线上对应的KQI数值是所述差质阈值。
6.根据权利要求1所述的方法，其特征在于，所述根据第二周期内每个KQI所有的所述第一阈值，获取每个KQI的第二阈值，其中，所述第二周期包含至少一个所述第一周期包括：
对所述第二周期内每个KQI所有的所述第一阈值进行平均，获取每个KQI的第二阈值。
7.根据权利要求1所述的方法，其特征在于，所述根据每个KQI的所述第二阈值和第三周期内的话单数据，获取网络业务的感知分数包括：
对所述第三周期内的话单数据进行分类，获取每一类话单数据的KQI；
对所述每一类话单数据的KQI分别进行平均，获取所述第三周期内的每个KQI的平均数；
根据所述每个KQI的所述第二阈值确定每个KQI的评分函数；
根据所述每个KQI的平均数和所述每个KQI的评分函数确定每个KQI的评价分数；
根据预设的权重对同一网络业务的所述KQI的评价分数进行加权平均，获取所述网络业务的感知分数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述每个KQI的第二阈值和第三周期内的话单数据，获取网络业务的感知分数之前，还包括：
对所述第二周期由小到大地进行调整；
根据调整后的所述第二周期更新所述每个KQI的第二阈值。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任意一项所述的网络业务的评价方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任意一项所述的网络业务的评价方法。
CN202011155978.7A 2020-10-26 2020-10-26 网络业务的评价方法、电子设备和存储介质 Pending CN114491406A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011155978.7A CN114491406A (zh) 2020-10-26 2020-10-26 网络业务的评价方法、电子设备和存储介质
PCT/CN2021/125784 WO2022089326A1 (zh) 2020-10-26 2021-10-22 网络业务的评价方法、电子设备和存储介质
EP21885053.5A EP4236421A1 (en) 2020-10-26 2021-10-22 Method for evaluating network service, electronic device, and storage medium
US18/093,909 US20230156499A1 (en) 2020-10-26 2023-01-06 Method for evaluating network service, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011155978.7A CN114491406A (zh) 2020-10-26 2020-10-26 网络业务的评价方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114491406A true CN114491406A (zh) 2022-05-13

Family

ID=81383625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011155978.7A Pending CN114491406A (zh) 2020-10-26 2020-10-26 网络业务的评价方法、电子设备和存储介质

Country Status (4)

Country Link
US (1) US20230156499A1 (zh)
EP (1) EP4236421A1 (zh)
CN (1) CN114491406A (zh)
WO (1) WO2022089326A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
WO2013044997A1 (en) * 2011-09-28 2013-04-04 Telefonica, S.A. A method to measure quality of experience of a video service
CN103840978B (zh) * 2012-11-21 2018-06-19 华为技术有限公司 一种获取kqi门限的方法及设备
CN104378220A (zh) * 2013-08-14 2015-02-25 中兴通讯股份有限公司 评价用户体验质量的方法及装置、用户终端、网络服务器

Also Published As

Publication number Publication date
US20230156499A1 (en) 2023-05-18
WO2022089326A1 (zh) 2022-05-05
EP4236421A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
CN109921941B (zh) 网络业务质量评估和优化方法、装置、介质及电子设备
CN109005556B (zh) 一种基于用户话单的4g网络质量优化方法与系统
CN105357691B (zh) Lte无线网络用户感知监测方法和系统
EP2806594B1 (en) Method and device for evaluating the stability of a telecommunication line
CN106412917B (zh) 一种网络扩容方法及装置
CN107026750B (zh) 一种用户上网QoE评价方法及装置
CN109362084B (zh) 通信业务质量优化的方法、装置、设备和介质
JP5612696B2 (ja) 通信ネットワーク内のサービス品質結果の特定及びアクセスのためのネットワーク管理システム及び方法
TW201032503A (en) System and method for facilitating capacity monitoring &amp; recommending action for wireless networks
US9781040B2 (en) Congestion detection based on resource utilization information and user quality-of-experience indicators
CN103607309B (zh) 一种业务kqi与qoe的映射方法
CN103891383A (zh) 分析Wi-Fi信道拥塞和干扰以优化信道选择
CN111294819A (zh) 一种网络优化方法及装置
JP2017034619A (ja) 通信管理装置、無線端末及びプログラム
CN111245684A (zh) 流量调度方法和装置、电子设备、计算机可读介质
CN107155192B (zh) 一种用户体验质量评估方法及装置
EP2816518A2 (en) Methods and apparatuses to identify user dissatisfaction from early cancelation
EP2958360A1 (en) Glass box models for predicting circuit switched speech quality in 3G telecommunications networks
FI129839B (en) A method for determining a performance indicator for a wireless telecommunications network
CN107079321B (zh) 通信服务的性能指标确定
CN114491406A (zh) 网络业务的评价方法、电子设备和存储介质
CN111343647B (zh) 用户感知评估的方法、装置、设备和介质
CN111093089B (zh) 用于管理视频的方法、边缘缓存调度中心和通信系统
WO2023051318A1 (zh) 模型训练方法、无线资源调度方法及其装置及电子设备
CN109005064B (zh) 面向QoE的服务质量评估方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination