CN108399478B - 一种用户感知评价标准的确定方法、装置及设备 - Google Patents

一种用户感知评价标准的确定方法、装置及设备 Download PDF

Info

Publication number
CN108399478B
CN108399478B CN201710144466.2A CN201710144466A CN108399478B CN 108399478 B CN108399478 B CN 108399478B CN 201710144466 A CN201710144466 A CN 201710144466A CN 108399478 B CN108399478 B CN 108399478B
Authority
CN
China
Prior art keywords
time period
period sample
parameter
kqi
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710144466.2A
Other languages
English (en)
Other versions
CN108399478A (zh
Inventor
郑辉
唐蓉
赵冠哲
庞会静
李绍庆
贾燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Hebei Co Ltd filed Critical China Mobile Communications Group Co Ltd
Publication of CN108399478A publication Critical patent/CN108399478A/zh
Application granted granted Critical
Publication of CN108399478B publication Critical patent/CN108399478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种用户感知评价标准的确定方法、装置及设备，用于通信技术领域，能够解决现有的P/Q表不准确，导致无法根据计算的用户感知评估结果提升用户感知、指导业务优化的问题。该方法包括：预设KPI，以及KPI对应参数的排列顺序与KQI得分之间的映射关系；分别对KPI对应的第一时间段样本参数和第二时间段样本参数排序；根据第一时间段样本参数的排列顺序、第二时间段样本参数的排列顺序和映射关系计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度；基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系，并确定为KPI的用户感知评价标准。

Description

一种用户感知评价标准的确定方法、装置及设备
技术领域
本发明涉及通信技术领域，尤其涉及一种用户感知评价标准的确定的方法、装置及设备。
背景技术
OTT(Over The Top)是指通过互联网向用户提供各种应用服务。目前，OTT视频业务作为一种新兴的业务正得到蓬勃的发展，并逐步成为了流量业务的重要组成部分，所以对于OTT视频业务的用户感知的评估也变得日益重要。QoE(Quality of Experience，体验质量)指标是对互联网用户感知进行管理的核心参数之一，是从用户的角度分析系统的整体性能，构建准确和有效的用户QoE感知评估系统，可以有效用于指导网络优化、排查故障、提升用户感知，对于当前的OTT视频服务优化具有极为重要的意义。
现有的用户感知评估，主要依赖于三个关键参数：K P I(Key PerformanceIndicator，关键绩效指标)，KPI与KQI(Key Quantity Indicators，关键质量指标)的映射表(简称P/Q表)，以及KQI转换成QoE的权重指标(W)。在这三个参数中，KPI(P)指标是公认的，即客观性的标准，可以通过测量手段得到；权重指标为针对某种特定的业务也是确定的；P/Q表中评分标准是将客观性的测量数据转换为用户心理满意度的关键部分，也是保证用户感知评估准确性的关键。
目前P/Q表是通过调查问卷或者基于对用户心理的估计得出的，即根据经验值手工设定P/Q表数据，所以P/Q表的设定方式完全是主观的。如果要得出比较准确的P/Q表，必须针对不同的用户群，做大量的调查统计。同时随着时间的变化，还需要不断的进行调整。但是，对于涉及的用户群数量太多的OTT视频业务，没有任何机构或者部门有能力做到细致的调查，所以现有的P/Q表中评分标准区间无法做到非常准确，进而计算出的用户感知评估结果也很难公允的体现大部分用户的真实感受，从而对提升用户感知、指导业务优化等方面无法产生很好的作用。
发明内容
本发明实施例提供了一种用户感知评价标准的确定方法、装置及设备，能够解决现有的P/Q表不准确，导致计算出的用户感知评估结果对提升用户感知、指导业务优化等方面无法产生很好的作用的问题。
第一方面，本发明实施例提供了一种用户感知评价标准的确定方法，包括：
预设用于评价用户感知的KPI，以及KPI对应参数的排列顺序与KQI得分之间的映射关系；
按照参数值分别对KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
根据第一时间段样本参数的排列顺序、第二时间段样本参数的排列顺序和映射关系，计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度；
基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系；
将目标对应关系确定为KPI的用户感知评价标准。
第二方面，本发明实施例提供了一种用户感知评价标准的确定装置，包括：
设置单元，用于预设用于评价用户感知的KPI，以及KPI对应参数的排列顺序与KQI得分之间的映射关系；
排序单元，用于按照参数值分别对KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
计算单元，用于根据第一时间段样本参数的排列顺序、第二时间段样本参数的排列顺序和映射关系计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度；
计算单元，还用于基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系；
确定单元，用于将目标对应关系确定为KPI的用户感知评价标准。
第三方面，本发明实施例提供了一种用户感知评价标准的确定设备，包括：
存储器、处理器、通信接口和总线；
存储器、处理器和通信接口通过总线连接并完成相互间的通信；
存储器用于存储程序代码；
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行一种用户感知评价标准的确定方法；其中，用户感知评价标准的确定包括：
预设用于评价用户感知的KPI，以及KPI对应参数的排列顺序与KQI得分之间的映射关系；
按照参数值分别对KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
根据第一时间段样本参数的排列顺序、第二时间段样本参数的排列顺序和映射关系，计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度；
基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系；
将目标对应关系确定为KPI的用户感知评价标准。
本发明实施例提供了一种用户感知评价标准的确定方法、装置及设备，本发明实施例中预先设置了KPI对应参数的排列顺序与KQI得分之间的映射关系，在对第一时间段样本参数和第二时间段样本参数排序后，即可计算出在第一时间段样本参数中与KQI得分对应的参数值和在第二时间段样本参数中与KQI得分对应的参数值之间的匹配度，即通过第一时间段样本参数计算出的与KQI得分对应的KPI参数值和通过第二时间段样本参数计算出的与KQI得分对应的KPI参数值之间的一致程度，然后基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系，即P/Q表，并将计算的目标对应关系确定为KPI的用户感知评价标准。如此，本发明实施例中，通过对多个时间段的KPI对应的样本参数的排列顺序自动计算出KPI参数值与KQI得分之间的对应关系，不需要对用户群进行调查统计，即可得出准确的KQI得分与KPI的参数值之间的对应关系，即得出准确的P/Q表，进而基于得出的P/Q表计算准确的用户感知评估结果，从而能够有效的用于提升用户感知、指导业务优化的方面。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一实施例提供的用户感知评价标准的确定方法的示意性流程图；
图2是根据本发明又一实施例提供的用户感知评价标准的确定方法的示意性流程图；
图3示出了根据本发明一实施例的用户感知评价标准的确定装置的示意性框图；
图4示出了根据本发明又一实施例的用户感知评价标准的确定装置的示意性框图；
图5是根据本发明一实施例的用户感知评价标准的确定设备的示意性框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本发明一实施例的用户感知评价标准的确定方法的示意性流程图。如图1所示，该方法包括以下步骤：
110，预设用于评价用户感知的KPI，以及KPI对应参数的排列顺序与KQI得分之间的映射关系。
其中，KPI是指选取的用来反映用户感知的指标。在OTT视频业务中，每种不同的KQI都有不同的KPI指标体系，例如，KPI可以包括下述参数中的任一个：视频卡顿次数比(次)、视频卡顿时间比(％)、机顶盒认证时延(ms)、EPG菜单打开时延(ms)、视频首缓冲时延(s)、视频缓存时长(s)、HTTP下载速率(KB)、HTTP响应时延(ms)、TCP连接建立时间(ms)、TCP重传率(％)等等。
KPI的排列顺序与KQI得分之间的映射关系表示对于KPI这项指标采集样本参数，样本参数按照各参数值排列顺序后与KQI得分之间的映射关系，KQI得分包括多个分值，每个分值与排列顺序后的KPI中一部分参数对应。
例如，在本发明实施例中，可以设定映射关系为：KQI＝1对应KPI排列顺序中处于最差的1％的参数；KQI＝2对应KPI排列顺序中处于最差的1％-2％的参数；以此类推，KQI＝100对应KPI排列顺序中处于最好的1％的参数。根据上述设定的映射关系，当一个用户的QoE用户感知较低时，体现出来的是相对其他统计的用户，此用户的业务质量排名处于较差的位置。
120，按照参数值分别对KPI对应的第一时间段样本参数和第二时间段样本参数进行排序。
其中，在本步骤中预先采集不同时间段的KPI的样本参数，第一时间段样本参数和第二时间段样本参数表示不同时间段采集的相同用户的样本参数，然后分别按照参数值的大小进行排序。
需要说明的是，为了保证计算的准确性，第一时间段样本参数和第二时间段样本参数可以采集对于相同用户在同种状态下不同时间段的样本参数，例如，第一时间段样本参数为第一天在用户处于忙时采集的样本参数，第一时间段样本参数为第二天(或其他的一天)在用户处于忙时采集的样本参数。
KPI对应的样本参数可以通过测量手段得到准确的数据，例如，在现网应用中可通过探针拨测来模拟用户访问感知等手段获得，还可以在用户机顶盒等设备中采集。采集的样本参数对于自适应程序而言，需要平衡精确度和计算时间之间的关系，在本发明实施例中，采样点(即采集的用户数)越多，则计算的结果越精确；但是采样点越多，计算时间越长，所以采样点的数量，以及采集的样本参数的数量可以根据具体的实际需求设定。
130，根据第一时间段样本参数的排列顺序、第二时间段样本参数的排列顺序和映射关系，计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度。
在本发明实施例中，根据步骤110设置的映射关系和步骤120排序后的第一时间段样本参数可以得出在第一时间段样本参数中与各KQI得分对应的参数值，即与KQI得分对应的第一时间段样本参数的参数值。
根据步骤110设置的映射关系和步骤120排序后的第二时间段样本参数可以得出在第二时间段样本参数中与各KQI得分对应的参数值，即与KQI得分对应的第二时间段样本参数的参数值。然后可以计算出与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度，匹配度表示对于各KQI得分，在第一时间段样本参数中与其对应的参数值和在第二时间段样本参数中与其对应的参数值之间一致的程度。
对于某个KQI得分，如果在第一时间段样本参数中与其对应的参数值和在第二时间段样本参数中与其对应的参数值相等(或者近似相等)，则可以认为对应于此KQI得分的第一时间段样本参数的参数值和对应于此KQI得分的第二时间段样本参数的参数值匹配，即一致。本发明实施例中可以通过统计匹配的KQI得分的个数占KQI得分总个数的比例计算匹配度。
140，基于匹配度计算KQI得分与KPI的参数值之间的目标对应关系。
150，将目标对应关系确定为KPI的用户感知评价标准。
需要说明的是，在本发明实施例计算出KPI的用户感知评价标准，即计算出P/Q表，因为KQI到QoE的映射过程中权重(W)为固定值，本发明实施例还可以在得出P/Q表后，直接结合权重计算出QoE，即基于KPI测量数据来自动计算QoE，摆脱了现有技术中QoE计算的主观和人工因素，使得计算的QoE可以成为服务优化和控制的关键参数。
需要说明的是，用户感知实际上并不存在绝对性的指标，用户对服务的满意程度，主要取决于他对服务水平的预期和横向使用经验的对比，取决于和同类用户或者历史经验相比得到的网络质量是好还是差。因此，对于KPI参数值到KQI得分的对应关系，是基于用户自身得到的服务水平在整个网络中同类用户服务水平的排名，而不是一个绝对数值。KPI参数值到KQI得分的对应关系，不取决于KPI的绝对值，而取决于KPI的参数值在所有取样点中的排名。如此来计算KPI参数值到KQI得分的对应关系消除了P/Q映射表中的不确定性和主观因素，从而可以完全基于自动化程序计算得出。
本发明实施例中，通过对多个时间段的KPI对应的样本参数的排列顺序自动计算出KPI参数值与KQI得分之间的对应关系，不需要对用户群进行调查统计，即可得出准确的KQI得分与KPI的参数值之间的对应关系，即得出准确的P/Q表，进而基于得出的P/Q表计算准确的用户感知评估结果，从而能够有效的用于提升用户感知、指导业务优化的方面。
可以理解的是，在本发明实施例中，步骤130还可以具体执行为如下步骤：
131，根据第一时间段样本参数的排列顺序和映射关系计算KQI得分与第一时间段样本参数的第一对应关系，以及根据第二时间段样本参数的排列顺序和映射关系计算KQI得分与第二时间段样本参数的第二对应关系。
其中，步骤110中设置了KQI得分与KPI的排列顺序之间的映射关系，所以基于映射关系可以得出各KQI得分与第一时间段样本参数中哪些参数对应，即第一对应关系，以及各KQI得分与第二时间段样本参数中哪些参数对应，即第二对应关系。
例如，以步骤110中举例说明的映射关系为例，KQI得分包括分数1-100，共100个得分，则将排列顺序后第一时间段样本参数划分为100份，根据参数值的好坏可以计算出分别与分数1-100对应的样本参数，即可确定出第一对应关系，同理可得出第二对应关系。
132，由第一对应关系确定与KQI得分对应的第一时间段样本参数的参数值，以及由第二对应关系确定与KQI得分对应的第二时间段样本参数的参数值。
其中，根据第一对应关系可以确定出在第一时间段样本参数与各KQI得分对应的参数，这些参数的参数值即为各KQI得分对应的参数值，从而得出与KQI得分对应的第一时间段样本参数的参数值，同理可以得出与KQI得分对应的第二时间段样本参数的参数值。如果与某KQI得分对应的参数中包括二个或二个以上的参数值，则可以以二个或二个以上的参数值的平均值作为此KQI得分对应的参数值。
133，计算与KQI得分对应的第一时间段样本参数的参数值和与KQI得分对应的第二时间段样本参数的参数值之间的匹配度。
其中，在步骤132计算出与KQI得分对应的第一时间段样本参数的参数值，以及与KQI得分对应的第二时间段样本参数的参数值后，比较对于同一个KQI得分，与其对应的第一时间段样本参数的参数值和与其对应的第二时间段样本参数的参数值是否相同。如果相同，则两者匹配；如果不相同，则两者不匹配。然后统计所有KQI得分中匹配的个数占总个数的比例即可计算出匹配度。
例如，以步骤110中举例说明的映射关系为例，KQI得分中，以得分为100分为例，如果与其对应的第一时间段样本参数的参数值为200，与其对应的第二时间段样本参数的参数值也为200，则表示对于得分为100的KQI得分，第一时间段样本参数的参数值和第二时间段样本参数的参数值匹配，以此类推，可以计算出100个KQI得分中，第一时间段样本参数的参数值和第二时间段样本参数的参数值匹配的得分个数，然后将匹配的得分个数占总个数(100)的比例计算为匹配度。
可以理解的是，在本发明实施例中，步骤140还可以具体执行为如下步骤：
141，当匹配度未达到预设值时，更新第一时间段样本参数和第二时间段样本参数。
其中，预设值可以根据实际需求设置，例如设置为95％。在步骤130计算出匹配度后，可以将计算出的匹配度与预设值比较，当匹配度未达到预设值时，说明此时得出的KQI得分与KPI的参数值之间的对应关系不准确，更新第一时间段样本参数和第二时间段样本参数。
需要说明的是，更新第一时间段样本参数和第二时间段样本参数的方式有多种，例如，重新采集与KPI对应的第三时间段样本参数和第四时间段样本参数来作为更新后的第一时间段样本参数和更新后的第二时间段样本参数，第三时间段样本参数和第四时间段样本参数的采集方式与步骤120中第一时间段样本参数和第二时间段样本参数的采集方式相同；还可以将更新前的第一时间段样本参数和更新前的第二时间段样本参数合并作为更新后的第一时间段样本参数，重新采集与KPI对应的第三时间段样本参数作为更新后的第二时间段样本参数等等，在此不做限定。
142，分别对更新后的第一时间段样本参数和更新后的第二时间段样本参数按照参数值进行排序，并计算匹配度，直到匹配度达到预设值。
其中，在步骤141更新第一时间段样本参数和第二时间段样本参数后，对更新后的第一时间段样本参数和更新后的第二时间段样本参数按照步骤120和步骤130所述的处理过程进行处理，计算得出对应于更新后的第一时间段样本参数和更新后的第二时间段样本参数的匹配度，然后在与预设值比较，判断是否达到预设值。如果未达到预设值，则继续执行步骤141，即更新第一时间段样本参数和第二时间段样本参数，然后执行本步骤，直到计算出的匹配度达到预设值。
143，当匹配度达到预设值时，将KQI得分与第一时间段样本参数的参数值之间的对应关系确定为目标对应关系。
其中，当匹配度达到预设值时，说明此时得出的KQI得分与KPI的参数值之间的对应关系能够满足需求，即可将此时KQI得分与第一时间段样本参数的参数值之间的对应关系确定为目标对应关系，即得出了P/Q表。
需要说明的是，为了保证计算出的目标对应关系准确性，可以周期性执行本发明实施例的方法，即适时调整计算出的目标关系。
可以理解的是，本发明实施例中，步骤120还可以具体执行为：通过自适应迭代算法，按照第一时间段样本参数的参数值由大到小的顺序将第一时间段样本参数排序，以及按照第二时间段样本参数的参数值由大到小的顺序将第二时间段样本参数排序。
其中，本发明实施例中对第一时间段样本参数和第二时间段样本参数排序的方式不做限定，例如可以采用自适应迭代算法实现。
图2是根据本发明又一实施例提供的用户感知评价标准的确定方法的示意性流程图。图2所示方法中步骤110至步骤150执行的过程与图1所示步骤110至步骤150执行的过程基本相同。不同之处在于，在步骤120之前，还包括：160，过滤第一时间段样本参数和第二时间段样本参数。
其中，步骤160为对第一时间段样本参数和第二时间段样本参数进行预处理，将偏差较大的样本参数过滤掉。由于P/Q表的计算是基于统计原则，因此需要将不符合统计原则的特殊样本参数(过大或者过小)滤除以便保证得出的P/Q表的普遍性。具体过滤方式可以为通过测量方差偏离的方法，滤除偏离度过高的数据。
本发明实施例的方法，消除了传统方法中的主观因素影响，由此得到的QoE取值，可以更加的贴近用户的真实体验，可以符合终端用户对移动网络提供的业务性能的主观感受，因此可以以此QoE分值为依托，按地市、小区等维度排查质差原因，分析用户行为，从而获取不断提升用户的OTT用户体验，提升用户黏度。本发明实施例的方法即可以应用于确定OTT视频业务的用户感知评价标准，还可以以此类推应用于其他互联网业务中，并进一步用于提升相应的用户体验。
图3示出了根据本发明一实施例的用户感知评价标准的确定装置200的示意性框图。如图3所示，该装置200包括：
设置单元201，用于预设用于评价用户感知的关键绩效指标KPI，以及所述KPI对应参数的排列顺序与关键质量指标KQI得分之间的映射关系；
排序单元202，用于分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数按照参数值进行排序；
计算单元203，用于根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度；
所述计算单元203还用于基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系；
确定单元204，用于将所述目标对应关系确定为所述KPI的用户感知评价标准。
本发明实施例中，通过对多个时间段的KPI对应的样本参数的排列顺序自动计算出KPI参数值与KQI得分之间的对应关系，不需要对用户群进行调查统计，即可得出准确的KQI得分与KPI的参数值之间的对应关系，即得出准确的P/Q表，进而基于得出的P/Q表计算准确的用户感知评估结果，从而能够有效的用于提升用户感知、指导业务优化的方面。
可以理解的是，所述计算单元203具体用于：
根据所述第一时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第一时间段样本参数的第一对应关系，以及根据所述第二时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第二时间段样本参数的第二对应关系；
由所述第一对应关系确定与KQI得分对应的所述第一时间段样本参数的参数值，以及由所述第二对应关系确定与KQI得分对应的所述第二时间段样本参数的参数值；
计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度。
可以理解的是，所述计算单元203具体用于：
当所述匹配度未达到所述预设值时，更新所述第一时间段样本参数和所述第二时间段样本参数；
分别对更新后的第一时间段样本参数和更新后的第二时间段样本参数按照参数值进行排序，并计算所述匹配度，直到所述匹配度达到所述预设值；
当所述匹配度达到所述预设值时，将所述KQI得分与所述第一时间段样本参数的参数值之间的对应关系确定为所述目标对应关系。
可以理解的是，更新后的第一时间段样本参数包括更新前的第一时间段样本参数和更新前的第二时间段样本参数。
可以理解的是，所述排序单元202具体用于：
通过自适应迭代算法，按照所述第一时间段样本参数的参数值由大到小的顺序将所述第一时间段样本参数排序，以及按照所述第二时间段样本参数的参数值由大到小的顺序将所述第二时间段样本参数排序。
图4示出了根据本发明又一实施例的用户感知评价标准的确定装置200的示意性框图。
可以理解的是，如图4所示，该装置200还可以包括：
过滤单元205，用于过滤所述第一时间段样本参数和所第二时间段样本参数。
根据本发明实施例的用户感知评价标准的确定装置200可对应于根据本发明实施例的用户感知评价标准的确定方法中的执行主体，并且用户感知评价标准的确定装置200中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。
图5是根据本发明一实施例的用户感知评价标准的确定设备300的示意性框图。如图5所示，设备300包括处理器301、存储器302和通信接口303，存储器302用于存储可执行的程序代码，处理器301通过读取存储器302中存储的可执行程序代码来运行与可执行程序代码对应的程序，通信接口303用于与外部设备通信，设备300还可以包括总线304，总线304用于连接处理器301、存储器302和通信接口303，使处理器301、存储器302和通信接口303通过总线304进行相互通信。
具体地，处理器301还用于执行一种用户感知评价标准的确定方法；
其中，所述用户感知评价标准的确定方法包括：
预设用于评价用户感知的关键绩效指标KPI，以及所述KPI对应参数的排列顺序与关键质量指标KQI得分之间的映射关系；
按照参数值分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度；
基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系；
将所述目标对应关系确定为所述KPI的用户感知评价标准。
根据本发明实施例的用户感知评价标准的确定设备300可对应于根据本发明实施例的用户感知评价标准的确定方法中的执行主体，并且用户感知评价标准的确定设备300中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种用户感知评价标准的确定方法，其特征在于，包括：
预设用于评价用户感知的关键绩效指标KPI，以及所述KPI对应参数的排列顺序与关键质量指标KQI得分之间的映射关系；
按照参数值分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度，其中，所述匹配度为对于各KQI得分，在所述第一时间段样本参数中与其对应的参数值和在第二时间段样本参数中与其对应的参数值之间一致的程度，所述匹配度为匹配的KQI得分的个数与占KQI得分总个数的比例；
基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系；
将所述目标对应关系确定为所述KPI的用户感知评价标准。
2.根据权利要求1所述用户感知评价标准的确定方法，其特征在于，所述根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度，包括：
根据所述第一时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第一时间段样本参数的第一对应关系，以及根据所述第二时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第二时间段样本参数的第二对应关系；
由所述第一对应关系确定与所述KQI得分对应的所述第一时间段样本参数的参数值，以及由所述第二对应关系确定与所述KQI得分对应的所述第二时间段样本参数的参数值；
计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度。
3.根据权利要求1所述用户感知评价标准的确定方法，其特征在于，所述基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系，包括：
当所述匹配度未达到预设值时，更新所述第一时间段样本参数和所述第二时间段样本参数；
分别对更新后的第一时间段样本参数和更新后的第二时间段样本参数按照参数值进行排序，并计算所述匹配度，直到所述匹配度达到所述预设值；
当所述匹配度达到所述预设值时，将所述KQI得分与所述第一时间段样本参数的参数值之间的对应关系确定为所述目标对应关系。
4.根据权利要求3所述用户感知评价标准的确定方法，其特征在于，更新后的第一时间段样本参数包括更新前的第一时间段样本参数和更新前的第二时间段样本参数。
5.根据权利要求1所述用户感知评价标准的确定方法，其特征在于，所述分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数按照参数值进行排序，包括：
通过自适应迭代算法，按照所述第一时间段样本参数的参数值由大到小的顺序将所述第一时间段样本参数排序，以及按照所述第二时间段样本参数的参数值由大到小的顺序将所述第二时间段样本参数排序。
6.根据权利要求1或5所述用户感知评价标准的确定方法，其特征在于，在所述分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数按照参数值进行排序之前，还包括：
过滤所述第一时间段样本参数和所述第二时间段样本参数。
7.一种用户感知评价标准的确定装置，其特征在于，包括：
设置单元，用于预设用于评价用户感知的关键绩效指标KPI，以及所述KPI对应参数的排列顺序与关键质量指标KQI得分之间的映射关系；
排序单元，用于按照参数值分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
计算单元，用于根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与KQI得分对应的所述第一时间段样本参数的参数值和与KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度，其中，所述匹配度为对于各KQI得分，在所述第一时间段样本参数中与其对应的参数值和在第二时间段样本参数中与其对应的参数值之间一致的程度，所述匹配度为匹配的KQI得分的个数与占KQI得分总个数的比例；
所述计算单元还用于，基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系；
确定单元，用于将所述目标对应关系确定为所述KPI的用户感知评价标准。
8.根据权利要求7所述用户感知评价标准的确定装置，其特征在于，所述计算单元具体用于：
根据所述第一时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第一时间段样本参数的第一对应关系，以及根据所述第二时间段样本参数的排列顺序和所述映射关系计算所述KQI得分与所述第二时间段样本参数的第二对应关系；
由所述第一对应关系确定与所述KQI得分对应的所述第一时间段样本参数的参数值，以及由所述第二对应关系确定与所述KQI得分对应的所述第二时间段样本参数的参数值；
计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度。
9.根据权利要求7所述用户感知评价标准的确定装置，其特征在于，所述计算单元具体用于：
当所述匹配度未达到预设值时，更新所述第一时间段样本参数和所述第二时间段样本参数；
分别对更新后的第一时间段样本参数和更新后的第二时间段样本参数按照参数值进行排序，并计算所述匹配度，直到所述匹配度达到所述预设值；
当所述匹配度达到所述预设值时，将所述KQI得分与所述第一时间段样本参数的参数值之间的对应关系确定为所述目标对应关系。
10.根据权利要求9所述用户感知评价标准的确定装置，其特征在于，更新后的第一时间段样本参数包括更新前的第一时间段样本参数和更新前的第二时间段样本参数。
11.根据权利要求9所述用户感知评价标准的确定装置，其特征在于，所述排序单元具体用于：
通过自适应迭代算法，按照所述第一时间段样本参数的参数值由大到小的顺序将所述第一时间段样本参数排序，以及按照所述第二时间段样本参数的参数值由大到小的顺序将所述第二时间段样本参数排序。
12.根据权利要求7或11所述用户感知评价标准的确定装置，其特征在于，还包括：
过滤单元，用于过滤所述第一时间段样本参数和所述第二时间段样本参数。
13.一种用户感知评价标准的确定设备，其特征在于，包括：
存储器、处理器、通信接口和总线；
所述存储器、所述处理器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器用于存储程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行一种用户感知评价标准的确定方法；其中，所述用户感知评价标准的确定方法包括：
预设用于评价用户感知的关键绩效指标KPI，以及所述KPI对应参数的排列顺序与关键质量指标KQI得分之间的映射关系；
按照参数值分别对所述KPI对应的第一时间段样本参数和第二时间段样本参数进行排序；
根据所述第一时间段样本参数的排列顺序、所述第二时间段样本参数的排列顺序和所述映射关系，计算与所述KQI得分对应的所述第一时间段样本参数的参数值和与所述KQI得分对应的所述第二时间段样本参数的参数值之间的匹配度，其中，所述匹配度为对于各KQI得分，在所述第一时间段样本参数中与其对应的参数值和在第二时间段样本参数中与其对应的参数值之间一致的程度，所述匹配度为匹配的KQI得分的个数与占KQI得分总个数的比例；
基于所述匹配度计算所述KQI得分与所述KPI的参数值之间的目标对应关系；
将所述目标对应关系确定为所述KPI的用户感知评价标准。
CN201710144466.2A 2017-02-04 2017-03-10 一种用户感知评价标准的确定方法、装置及设备 Active CN108399478B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017100570634 2017-02-04
CN201710057063 2017-02-04

Publications (2)

Publication Number Publication Date
CN108399478A CN108399478A (zh) 2018-08-14
CN108399478B true CN108399478B (zh) 2020-12-11

Family

ID=63094212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710144466.2A Active CN108399478B (zh) 2017-02-04 2017-03-10 一种用户感知评价标准的确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN108399478B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269575B (zh) * 2020-02-14 2024-07-19 北京沃东天骏信息技术有限公司 计算时序队列的方法和装置
CN114491406A (zh) * 2020-10-26 2022-05-13 中兴通讯股份有限公司 网络业务的评价方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143507A (zh) * 2010-11-23 2011-08-03 北京中创信测科技股份有限公司 一种业务质量监测方法、系统、以及分析方法和系统
CN103607309A (zh) * 2013-11-29 2014-02-26 中国移动通信集团广东有限公司江门分公司 一种业务kqi与qoe的映射方法
CN105517087A (zh) * 2015-12-07 2016-04-20 中国联合网络通信集团有限公司 用户感知评估的方法及装置
CN105677874A (zh) * 2016-01-11 2016-06-15 江苏省现代企业信息化应用支撑软件工程技术研发中心 一种对提取的Web表格数据进行集成的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2553202T3 (es) * 2011-09-28 2015-12-07 Telefónica S.A. Un método para medir la calidad de experiencia de un servicio de vídeo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143507A (zh) * 2010-11-23 2011-08-03 北京中创信测科技股份有限公司 一种业务质量监测方法、系统、以及分析方法和系统
CN103607309A (zh) * 2013-11-29 2014-02-26 中国移动通信集团广东有限公司江门分公司 一种业务kqi与qoe的映射方法
CN105517087A (zh) * 2015-12-07 2016-04-20 中国联合网络通信集团有限公司 用户感知评估的方法及装置
CN105677874A (zh) * 2016-01-11 2016-06-15 江苏省现代企业信息化应用支撑软件工程技术研发中心 一种对提取的Web表格数据进行集成的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《业务质量的用户满意度建模》;江峰 等;《北京邮电大学学报》;20151231;第28卷(第6期);第93-96页 *

Also Published As

Publication number Publication date
CN108399478A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN110880984A (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
CN105072191B (zh) 一种确定目标通信通道的方法及服务器
CN110769283B (zh) 一种视频推送方法、装置、计算机设备和存储介质
CN107679818A (zh) 软件项目管理方法、终端及计算机可读存储介质
CN105487970B (zh) 一种界面展示方法及装置
CN107026750B (zh) 一种用户上网QoE评价方法及装置
CN113642938B (zh) 一种智能化生产管理方法及系统
CN108399478B (zh) 一种用户感知评价标准的确定方法、装置及设备
WO2020093502A1 (zh) 一种调整额定带宽的方法和装置
KR101953558B1 (ko) 스마트 기기 결함 관리 장치 및 방법
CN113094284A (zh) 应用故障检测方法及装置
CN111277451B (zh) 一种业务评估方法、装置、终端设备和介质
CN113867966A (zh) 一种混合云模式的云资源调度方法
CN107943678B (zh) 一种评价应用访问过程的方法及评价服务器
CN109995549B (zh) 一种评估流量价值的方法及装置
CN113434229A (zh) 一种教育教学云桌面智能分析管理方法、系统及计算机存储介质
CN111046156B (zh) 奖励数据的确定方法、装置和服务器
CN110401551B (zh) 基于s1接口的互联网健康度评估方法及系统
CN116386813A (zh) 手术间负荷均衡方法、装置、设备及存储介质
CN113489624A (zh) 出口带宽流量优化方法、装置、计算机设备及存储介质
CN114675551A (zh) 操作行为的确定方法和装置、存储介质及电子装置
CN109982234B (zh) 一种质差终端的定位方法、装置、设备及介质
CN113517990A (zh) 一种网络净推荐值nps的预测方法及装置
CN110572356A (zh) 基于边缘网关数据质量评价的计算能力迁移方法及系统
CN114401427B (zh) 一种用于云游戏的流媒体数据传输系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant