CN102685789B - 模拟用户行为的话音业务用户感知体验QoE的评测方法 - Google Patents

模拟用户行为的话音业务用户感知体验QoE的评测方法 Download PDF

Info

Publication number
CN102685789B
CN102685789B CN201210159906.9A CN201210159906A CN102685789B CN 102685789 B CN102685789 B CN 102685789B CN 201210159906 A CN201210159906 A CN 201210159906A CN 102685789 B CN102685789 B CN 102685789B
Authority
CN
China
Prior art keywords
kqi
value
voice service
state
called
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210159906.9A
Other languages
English (en)
Other versions
CN102685789A (zh
Inventor
刘勇
杜海清
亓玉娇
徐静涛
叶艳柯
周小毛
王永峰
许克辉
孟欣欣
胡文
李湘平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ORIENT SOFT Corp
Beijing University of Posts and Telecommunications
Original Assignee
BEIJING ORIENT SOFT Corp
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ORIENT SOFT Corp, Beijing University of Posts and Telecommunications filed Critical BEIJING ORIENT SOFT Corp
Priority to CN201210159906.9A priority Critical patent/CN102685789B/zh
Publication of CN102685789A publication Critical patent/CN102685789A/zh
Application granted granted Critical
Publication of CN102685789B publication Critical patent/CN102685789B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种模拟用户行为的话音业务用户感知体验QoE的评测方法,是先设置一套包括主叫和被叫两种用户感知体验、并把两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面体验参数的话音业务QoE测评指标体系;然后,用测试终端模拟用户使用话音业务的主被叫全过程,分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI,进而计算其相应的关键质量指标KQI,以及利用心理模型并结合KQI进行综合运算,获得相应的关键体验指标KEI,然后对这些KEI指标进行综合分析,获得等效于国际标准MOS的五分制话音业务QoE值。本发明的测评参数标准客观、实用,操作步骤简单、计算复杂度低、容易实现;能模拟用户行为得到相对客观、公正的用户体验感知质量。

Description

模拟用户行为的话音业务用户感知体验QoE的评测方法
技术领域
本发明涉及一种对移动通信网络的话音业务体验质量QoE(Quality ofExperience)的评估方法,确切地说,涉及一种使用客观方法模拟用户行为的话音业务质量的感知体验评测方法,属于移动通信网络业务质量评估的技术领域。
背景技术
随着移动通信网络的不断发展和逐渐普及,用户对移动通信网的话音业务质量的要求也随之不断提高;可以说,话音质量的好坏直接影响着用户对于运营商的选择。因此,根据移动通信网络业务质量的要求,亟需建立一套话音业务服务质量和用户感知体验的客观评测体系,以便能够更好地对话音业务服务质量和用户感知体验进行定量分析和评估。这个需求已经逐步成为移动网络运营商在网络建设过程中必须考虑的关键问题。
下面简介话音服务质量和用户感知体验的客观评测方法的现有技术状况:
(1)针对话音服务质量评估的专利申请:
《一种评估移动通信话音质量的方法》(中国专利申请号:201010549835.4)是在移动通信网络进行通话时,采集在网络间传输的各种信令,利用信令中携带的相关数据与信息来评估用户通话质量的好坏。该项技术只是客观评价话音内容的传输质量,没有全面评估用户对话音业务的感知体验,没有涉及用户通话的接入与释放等过程。
《用于估计语音质量的方法和设备》(中国专利申请号:200580051845.2),该方法介绍了为接入网络与核心网络之间和在核心网络中传输的语音帧和确定帧的丢失比率,并将帧丢失的比率映射到质量估计值。该项技术仅仅考虑语音的丢帧率来计算语音平均意见得分值MOS(Mean Opinion Score),不能反映用户对话音业务的整体体验感知状况。
(2)国内外的一些厂商、公司也提出了不同的客观评测话音业务质量的解决方案,例如,世纪鼎利话音质量感知评估PESQ(Perceptual Evaluation of SpeechQuality)系统是利用国际电联ITUP.862推荐话音评估最新算法PESQ制作的,用于测试话音业务的MOS值。然而,该系统只能得到话音业务的MOS值,而MOS值只是用户体验的一个指标参数,它没有模拟用户拨打电话的接入或保持通话等过程,无法全面评估一次话音业务。
华为公司的话音业务质量评估方法VQI(Voice Quality Index)是一种在运营过程中对上行话音的一些技术指标进行统计、分析和计算,从而判断上行话音业务质量的方法。但是,该方法只适用于上行话音业务质量的评估,不够全面和真实,没有模拟用户的双工话音业务。
爱立信提出的自动化网络监测解决方案(TEMS Automatic)能够通过对话音和数据服务执行真正的端到端测试,并站在用户角度评估网络质量。虽然该技术通过监测网络质量来评估业务质量,但缺陷是没有直观的业务质量评估数值。
上述多种话音业务质量评估方案,有的虽然实施简单,技术完善,但是无法真正模拟用户使用话音业务的过程,不能客观地反映主被叫用户双方对同一次话音业务的不同体验。总之,尽管现有技术已经提出若干种话音业务的质量和用户体验的评估方案,其中,有的方案操作简单,技术也比较完善;但是,这些技术都不能真正模拟用户使用话音业务的全过程,不能客观地反映用户对话音业务全过程的体验感知评测。
发明内容
有鉴于此,本发明的目的是提供一种模拟用户行为的话音业务用户感知体验QoE的评测方法,以便能够对话音业务质量进行定量分析和评测,全面评估话音业务中主被叫双方用户的不同体验感知质量,以弥补现有技术缺陷和满足网络运营商的需求。
为了达到上述目的,本发明提供了一种模拟用户行为的话音业务用户感知体验QoE(Quality of Experience)的评测方法,其特征在于:先设置一套包括主叫用户和被叫用户两种感知体验、并把这两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面用户体验参数的话音业务QoE测评指标体系;然后,利用测试终端模拟用户使用话音业务的主叫和被叫的全过程,分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI(KeyPerformance Indicator),进而计算其相应的话音业务关键质量指标KQI(KeyQuality Indicator),以及利用心理模型并结合KQI进行综合运算,获得相应的话音业务的关键体验指标KEI(Key Experience Indicator),然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见得分值MOS(Mean OpinionScore)的五分制话音业务QoE值;所述方法包括下述步骤:
(1)测试终端采集和计算一次话音业务主被叫通话双方用户的KPI参数;
(2)根据话音业务QoE测评指标体系中主被叫两种用户的KPI参数,分别计算主被叫话音业务各自相应的KQI和利用心理模型对KQI进行综合运算,从而获得相应的KEI,最终获得模拟用户本次使用话音业务的QoE值;
该步骤中,计算话音业务的主被叫用户各自KQI的操作步骤相同,分别包括下列操作内容:
(21)利用测试终端采集到的话音业务主被叫用户的KPI分别计算各自对应的KQI:
接入时延,分别与主叫回铃时延或被叫振铃时延的定义和数值涵义相对应;
接通状态、掉话状态、单通状态和串话状态,分别与KPI指标逐一对应;
话音稳定度,为MOS采样值的标准差系数,其计算公式为:
信号稳定度,为信号电平的标准差系数,其计算公式:
话音质量,为实测的话音质量平均意见得分值MOS的均值;
释放性,与释放时延的定义和数值涵义相对应;
(22)先将KQI指标分为两类:实际数值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标,其中正向指标包括:接通状态,掉话状态、单通状态、串话状态和话音质量;反向指标包括:接入时延、话音稳定度、信号稳定度和释放性;
再将每项KQI指标与其期望值相比较,并按照满意度映射函数计算每个KQI的满意度值KQIMOS,即等效于MOS[0,5]区间的得分值;所述期望值是由评估者根据人的主观体验和需求,针对不同类型的应用进行差异化设置的数值;所述满意度映射函数是根据人的主观体验模型,即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式:
正向指标满意度映射函数式: KQI MOS = 0 , KQI % = 0 5 1 + a e bKQI , KQ I % 5 , KQI % ≥ 100 % ∈ ( 0,100 % )
反向指标满意度映射函数式: KQI MOS = 0 , KQI % ≥ 200 % 5 1 + a e b ( 2 - KQI ) , KQ I % 5 , KQI % ≥ 100 % ∈ ( 100 % , 200 % ) ; 式中,系数a取决于初始值,且a>0;系数b用于决定S型曲线的变化率;变量KQI%表示KQI实测值与其期望值之比;其中的正向指标满意度映射函数式表示:KQI值低于期望值而高于设定数值时,对人的主观体验性能影响小;当KQI值降低到该设定数值后仍继续降低,人的主观体验性能急剧下降;但当KQI值降低到另一设定数值后再继续降低,人的主观体验性能变化平稳;而反向指标满意度映射函数式表示:当KQI值高于期望值而低于设定数值时,对人的主观体验性能影响小;当KQI值增高到该设定数值后仍继续增高,人的主观体验性能急剧下降;但当KQI值增高到另一设定数值后再继续增高,人的主观体验性能变化平稳;
(23)利用每个KQI的满意度值KQIMOS和层次分析法AHP(AnalyticHierarchy Process)计算其KEI,得到的KEI的分值区间为[0,5];
为全面评测话音业务的QoE,KEI参数被细分为三种:分别为接入性、保持性和完整性的KEI,且其计算公式相同,都为:KEIi=∑ωiKQIMOS,i,其中,自然数下标i表示上述接入性、保持性和完整性三种KEI的序号,权重ωi则由AHP得到,且满足∑ωi=1;
(24)按照下述公式加权计算主被叫用户每一次话音业务的QoE值,就能够分别评估主被叫用户的体验质量:
QoE=ω接入性KEI接入性保持性KEI保持性完整性KEI完整性;该步骤的操作与步骤(23)相同,即利用AHP方法先构造各KEI关系判断矩阵,再计算该判断矩阵的最大特征值与其对应的特征向量,归一化后的特征向量的每个元素就是各KEI对应的权重ωi,最后进行一致性检验;但要说明的是:当上述三个KEI中的任意一个数值为0时,则其对应的QoE即为0;
(3)在不同时间和/或不同地点分别执行上述两个步骤(1)和(2)的操作后,对获得的多次话音业务的主被叫用户不同QoE值进行分析与统计,获得在设定时间和/或设定地区的话音业务用户感知体验的质量状况。
所述话音业务QoE测评指标体系中主叫用户的业务接入性能的KQI参数设有两项:取决于主叫回铃时延的接入时延和取决于摘机状态的接通状态,业务保持性能的KQI参数设有五项:取决于呼叫结束状态及其原因的掉话状态、取决于实测的话音质量平均意见得分值MOS值的单通状态、串话状态和话音稳定度,以及取决于信号电平标准差的信号稳定度,业务完整性能的KQI参数设有两项:取决于平均MOS值的话音质量和取决于释放时延的释放性;被叫用户的业务接入性能的KQI参数也设有两项:取决于被叫振铃时延的接入时延和取决于业务信道状态的接通状态,其业务保持和业务完整性能的KQI参数的项目内容与数量都与主叫用户相同。
所述步骤(1)中,话音业务KPI参数包括两类:主叫用户KPI参数和被叫用户KPI参数,其中,话音业务主叫用户KPI设有下述9项检测参数:
主叫回铃时延:为主叫用户接收到回铃时间与其拨号完成时间之差,单位为秒(s);
主叫接通状态:为主叫用户摘机且业务信道分配成功时的状态,其数值为1,否则为0;
主叫掉话状态:为主叫用户通话未结束就中断通信链路的状态,取决于呼叫结束状态及其原因,其数值在未掉话时为0,掉话时为1;
单通状态:为主、被叫双方用户中有一方听不到对方声音的状态,当主、被叫用户中一方实测MOS值为0时,该用户的单通状态数值为1,否则为0;
串话状态:为其他信号耦合到本次通信线路造成干扰的状态,检测方法是在话音编码帧里插入测试比特位,根据通话前后对该测试比特位的检测来判断通话过程中是否产生串话;其数值在未串话时为0,串话时为1;
MOS标准差:为每一次通话时间内话音MOS采样值的均方差;
信号电平标准差:为测试时间内信号电平值的均方差,单位为分贝(dBm);
平均MOS值:为每一次通话时间段内的MOS平均值;
释放时延:为用户主动结束呼叫到系统完成资源释放的时延,单位为毫秒(ms)。
话音业务被叫用户KPI也设有下述共9项检测参数:
被叫振铃时延:为振铃开始时间与寻呼指令到达被叫终端的时间之差,单位为秒(s);
被叫接通状态:为被叫用户摘机且业务信道分配成功时的状态,其数值为1,否则为0;
其他六个参数:掉话状态、单通状态、串话状态、MOS标准差、信号电平标准差、平均MOS值和释放时延的定义及其数值涵义都与主叫用户KPI相同。
本发明模拟用户行为的话音业务用户感知体验QoE的评测方法优点是:能够真正模拟主被叫用户使用话音业务的全过程,包括用户拨打电话的接入,通话的保持,通话内容的完整性三个方面,并且,能够同时分别评测主被叫用户双方对每次通话过程的不同感知体验质量。而且,该测评方法选用的参数指标标准客观、实用,操作步骤简单、容易实现;该测评方法也不需改变现有移动通信网络的组成架构,只需用户使用测试终端在任意时间和/或任意地点进行拨打电话的评测,就可采集到所需的各种测评数据,再根据这些测评参数逐步计算KPI、KQI、KEI和QoE,从而得到模拟用户行为的相对客观、公正的感知体验的质量数值或测评结果。
因此,本发明能够在现网实时评测用户使用话音业务的体验质量,方便运营商据此对现网实现优化调整,具有较好的推广价值和应用前景。
附图说明
图1是本发明模拟用户行为的话音业务用户感知体验QoE评测方法的操作步骤流程图。
图2是本发明方法中的主叫用户QoE测评指标体系架构图。
图3是本发明方法中的被叫用户QoE测评指标体系架构图。
图4(A)、(B)分别是本发明方法实施例中的正向KQI满意度映射函数曲线和反向KQI满意度映射函数曲线在其取值区间的变化趋势示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
本发明模拟用户行为的话音业务用户感知体验QoE的评测方法,是先设置一套包括主叫用户和被叫用户两种感知体验、并把这两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面用户体验参数的话音业务QoE测评指标体系;然后,利用测试终端模拟用户使用话音业务的主叫和被叫的全过程,分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI,进而计算其相应的话音业务关键质量指标KQI,以及利用心理模型并结合KQI进行综合运算,获得相应的话音业务的关键体验指标KEI,然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见得分值MOS的五分制话音业务QoE值。
下面参见图1~图3,说明本发明方法的三个具体操作步骤:
步骤1,测试终端采集和计算一次话音业务主被叫通话双方用户的KPI参数:首先新建话音业务测试的实施例任务,设置下述模拟用户拨打电话行为的测试条件和参数:测试任务执行次数(1次);拨打电话的呼叫间隔时间(0),呼叫次数(1次),呼叫持续时间(60s),超时时间(30s);话音接听的接听次数(1次),接听间隔时间(0),接听持续时间(60s),超时时间(30s);终端选择(主叫端,被叫端)等,然后,存储并执行测试任务,测试终端完成一次通话主被叫用户的KPI下述参数的测试和采集(如下表1所示):
步骤2,根据图2和图3所示的话音业务QoE测评指标体系中主被叫两种用户的KPI性能参数,逐步分别计算主被叫话音业务各自相应的KQI和利用心理模型对KQI进行综合运算,以获得相应的KEI,并最终获得模拟用户本次使用话音业务的QoE值。该步骤包括下列操作内容:
(21)利用测试终端采集到的上述表1所示的话音业务主被叫用户的KPI,分别计算各自对应的KQI(参见下表2所示):
(22)先将KQI指标分为两类:实测的指标参数值越大、网络性能越好的正向指标和实测的指标参数值越小、网络性能越好的反向指标,其中正向指标包括:接通状态,掉话状态、单通状态、串话状态和话音质量;反向指标包括:接入时延、话音稳定度、信号稳定度和释放性。
再将每项KQI指标分别与其期望值进行比较,并按照满意度映射函数计算每个KQI的满意度值KQIMOS,即等效于MOS取值区间[0,5]之间的得分值。该得分值对于主被叫用户是相同的(如下表3、即该实施例所采用的KQI期望值和百分比指标与KQIMOS的映射关系表所示):
KQI名称 期望值 单位 0分 1分 2分 3分 4分 5分
接入时延 8 秒(s) 200% 162% 151% 141% 130% 100%
接通状态 1 0% 100%
掉话状态 1 100% 0%
单通状态 1 100% 0%
串话状态 1 100% 0%
话音稳定度 0.085 200% 162% 151% 141% 130% 100%
信号稳定度 0.05 200% 162% 151% 141% 130% 100%
话音质量 5 0% 39% 51% 60% 72% 100%
释放性 80 毫秒(ms) 0% 39% 51% 60% 72% 100%
需要说明的是:该步骤中的期望值是由评估者根据人的主观体验和需求,针对不同类型的应用进行差异化设置的数值。满意度映射函数是根据人的主观体验模型,即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式。其中,
正向指标满意度映射函数式: KQI MOS = 0 , KQI % = 0 5 1 + a e bKQI , KQ I % 5 , KQI % ≥ 100 % ∈ ( 0,100 % )
反向指标满意度映射函数式: KQI MOS = 0 , KQI % ≥ 200 % 5 1 + a e b ( 2 - KQI ) , KQ I % 5 , KQI % ≥ 100 % ∈ ( 100 % , 200 % ) ; 式中,系数a取决于初始值,且a>0;系数b用于决定S型曲线的变化率;变量KQI%表示KQI实测值与其期望值之比。其中的正向指标满意度映射函数式表示:KQI值低于期望值而高于设定数值时,对人的主观体验性能影响小;当KQI值降低到该设定数值后仍继续降低,人的主观体验性能急剧下降;但当KQI值降低到另一设定数值后再继续降低,人的主观体验性能变化平稳(参见图4(A)所示);而反向指标满意度映射函数式表示:当KQI值高于期望值而低于设定数值时,对人的主观体验性能影响小;当KQI值增高到该设定数值后再继续增高,人的主观体验性能急剧下降;但当KQI值继续增高到另一设定数值后再继续增高,人的主观体验性能变化平稳(参见图4(B)所示)。
(23)利用每个KQI的满意度值KQIMOS和层次分析法AHP,按照公式KEIi=∑ωiKQIMOS,i计算其关键体验指标KEI,得到的KEI的分值区间为[0,5],其中,ωi为各个KQI指标的权重;
本发明实施例中,利用AHP计算业务KEI的操作过程包括下述三个步骤:
(23A)用AHP方法构造各项KQI相对重要性关系的判断矩阵:利用1-9之间的自然数及其倒数作为标度,构造两两比较判断矩阵:以便对各个KQI指标之间采用相对尺度进行两两相对的比较,得到每个KQI指标对于KEI的重要性。式中,Ci和Cj分别是两个KQIMOS指标i和j对于目标KEI的相对重要性,自然数下标i和j的最大值都是n;aij的涵义参见下表4所示:
例如,两个接入性KQI接通状态和接入时延的关系判断矩阵为: 1 4 1 / 4 1 , 其中,4表示接通状态与接入时延两个指标相比较的话,接通状态比接入时延重要。按照同样的方法,可以写出4个业务保持性KQI指标的4×4关系判断矩阵,2个业务完整性KQI指标的2×2关系判断矩阵。
(23B)计算各指标权重,即计算KQI关系判断矩阵的最大特征值与其对应的特征向量,并对该特征向量进行归一化处理,归一化处理后的向量的每个元素就是每项KEI下的各KQI对应的权重ωi
上述两个业务接入性KQI接通状态和接入时延的关系判断矩阵的最大特征值为:λmax=2,该最大特征值所对应的特征向量为:p=(0.9701,0.2425),再对其进行归一化处理,得到的权重向量为:ω=(0.8,0.2)。
(23C)进行一致性检验:构造判断矩阵时,并不要求判断结果是一致的,但是,要避免得到的判断结果差异过大,因此需要进行一致性检验;
先计算一致性指标再计算随机一致性比率其中,RI为平均的随机一致性指标,RI取值见下表5所示
n 1 2 3 4 5 6 7 8 9 10
RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49
当CR小于0.1时,认为该判断矩阵具有一致性;否则,调整矩阵数值直到满足一致性条件。
这样,这两个业务接入性KQI的接通状态和接入时延的关系判断矩阵的随机一致性比率CR=0<0.1,满足一致性检验的条件。两个业务接入性KQI接通状态和接入时延的权重数值为依次为0.8和0.2。
按照同样方法,可得到本次话音业务中主被叫用户的其他各个KQI对应的权重(需要说明的是:主被叫用户对应的KQI权重相同),如下表6所示:
由此,就可以得到本次话音业务主叫用户的三个KEI接入性、保持性、完整性的数值依次为:5、4.6183、4.0851;被叫用户的三个KEI接入性、保持性、完整性的数值依次为:5、4.5913、4.2445。
(24)按照下述公式分别计算测试终端模拟用户一次话音业务的主被叫用户QoE值:QoE=∑ωiKEIi接入性KEI接入性保持性KEI保持性完整性KEI完整性;其中,权重ωi为KEI关系判断矩阵的归一化最大特征向量。
该步骤的操作内容与步骤(23)相同,在此不再赘述。最终得到接入性、保持性、完整性KEI的权重因子数值分别为:0.4、0.3、0.3,主被叫用户相同。
由此,得到本次话音业务主被叫用户的QOE分值分别为:4.611,4.6507。
步骤3,在不同时间和/或不同地点分别执行上述两个步骤(1)和(2)的操作后,对获得的多次话音业务的主被叫用户不同QoE评测值进行统计分析,获得在设定时间和/或设定地区的话音业务用户感知体验的质量状况。
下表7为三组实施例测试的数据。其中,最后一行是上述测试一次话音业务的结果数据。
本发明方法已经进行了多次仿真实施试验,试验结果是成功的,实现了发明目的:证明利用本发明方法得到的5分制QoE值,与人们在不同时段、不同地点使用话音业务时的主观感受具有良好的一致性。
以上所述仅为本发明较佳的实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (3)

1.一种模拟用户行为的话音业务用户感知体验QoE的评测方法,其特征在于:先设置一套包括主叫用户和被叫用户两种感知体验、并把这两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面用户体验参数的话音业务QoE测评指标体系;然后,利用测试终端模拟用户使用话音业务的主叫和被叫的全过程,分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI(Key Performance Indicator),进而计算其相应的话音业务关键质量指标KQI(Key Quality Indicator),以及利用心理模型并结合KQI进行综合运算,获得相应的话音业务的关键体验指标KEI(Key Experience Indicator),然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见得分值MOS(MeanOpinion Score)的五分制话音业务QoE值;所述方法包括下述步骤:
(1)测试终端采集和计算一次话音业务主被叫通话双方用户的KPI参数;
(2)根据话音业务QoE测评指标体系中主被叫两种用户的KPI参数,分别计算主被叫话音业务各自相应的KQI和利用心理模型对KQI进行综合运算,从而获得相应的KEI,最终获得模拟用户本次使用话音业务的QoE值;其中,计算话音业务的主被叫用户各自KQI的操作步骤相同,分别包括下列操作内容:
(21)利用测试终端采集到的话音业务主被叫用户的KPI分别计算各自对应的KQI:
接入时延,分别与主叫回铃时延或被叫振铃时延的定义和数值涵义相对应;
接通状态、掉话状态、单通状态和串话状态,分别与KPI指标逐一对应;
话音稳定度,为MOS采样值的标准差系数,其计算公式为:
信号稳定度,为信号电平的标准差系数,其计算公式:
话音质量,为实测的话音质量平均意见得分值MOS的均值;
释放性,与释放时延的定义和数值涵义相对应;
(22)先将KQI指标分为两类:实际数值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标,其中正向指标包括:接通状态,掉话状态、单通状态、串话状态和话音质量;反向指标包括:接入时延、话音稳定度、信号稳定度和释放性;
再将每项KQI指标与其期望值相比较,并按照满意度映射函数计算每个KQI的满意度值KQIMOS,即等效于MOS[0,5]区间的得分值;所述期望值是由评估者根据人的主观体验和需求,针对不同类型的应用进行差异化设置的数值;所述满意度映射函数是根据人的主观体验模型,即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式:
正向指标满意度映射函数式: KQI MOS = 0 , KQI % = 0 5 1 + a e bKQI , KQ I % 5 , KQI % &GreaterEqual; 100 % &Element; ( 0,100 % )
反向指标满意度映射函数式: KQI MOS = 0 , KQI % &GreaterEqual; 200 % 5 1 + a e b ( 2 - KQI ) , KQ I % 5 , KQI % &GreaterEqual; 100 % &Element; ( 100 % , 200 % ) ; 式中,系数a取决于初始值,且a>0;系数b用于决定S型曲线的变化率;变量KQI%表示KQI实测值与其期望值之比;其中的正向指标满意度映射函数式表示:KQI值低于期望值而高于设定数值时,对人的主观体验性能影响小;当KQI值降低到该设定数值后仍继续降低,人的主观体验性能急剧下降;但当KQI值降低到另一设定数值后再继续降低,人的主观体验性能变化平稳;而反向指标满意度映射函数式表示:当KQI值高于期望值而低于设定数值时,对人的主观体验性能影响小;当KQI值增高到该设定数值后仍继续增高,人的主观体验性能急剧下降;但当KQI值增高到另一设定数值后再继续增高,人的主观体验性能变化平稳;
(23)利用每个KQI的满意度值KQIMOS和层次分析法AHP(AnalyticHierarchy Process)计算其KEI,得到的KEI的分值区间为[0,5];
为全面评测话音业务的QoE,KEI参数被细分为三种:分别为接入性、保持性和完整性的KEI,且其计算公式相同,都为:KEIi=∑ωiKQIMOS,i,其中,自然数下标i表示上述接入性、保持性和完整性三种KEI的序号,权重ωi则由AHP得到,且满足∑ωi=1;
(24)按照下述公式加权计算主被叫用户每一次话音业务的QoE值,就能够分别评估主被叫用户的体验质量:
QoE=ω接入性KEI接入性保持性KEI保持性完整性KEI完整性;该步骤的操作与步骤(23)相同,即利用AHP方法先构造各KEI关系判断矩阵,再计算该判断矩阵的最大特征值与其对应的特征向量,归一化后的特征向量的每个元素就是各KEI对应的权重ωi,最后进行一致性检验;但要说明的是:当上述三个KEI中的任意一个数值为0时,则其对应的QoE即为0;
(3)在不同时间和/或不同地点分别执行上述两个步骤(1)和(2)的操作后,对获得的多次话音业务的主被叫用户不同QoE值进行分析与统计,获得在设定时间和/或设定地区的话音业务用户感知体验的质量状况。
2.根据权利要求1所述的评测方法,其特征在于:所述话音业务QoE测评指标体系中主叫用户的业务接入性能的KQI参数设有两项:取决于主叫回铃时延的接入时延和取决于摘机状态的接通状态,业务保持性能的KQI参数设有五项:取决于呼叫结束状态及其原因的掉话状态、取决于实测的话音质量平均意见得分值MOS的单通状态、串话状态和话音稳定度,以及取决于信号电平标准差的信号稳定度,业务完整性能的KQI参数设有两项:取决于平均MOS值的话音质量和取决于释放时延的释放性;被叫用户的业务接入性能的KQI参数也设有两项:取决于被叫振铃时延的接入时延和取决于业务信道状态的接通状态,其业务保持和业务完整性能的KQI参数的项目内容与数量都与主叫用户相同。
3.根据权利要求1所述的方法,其特征在于:所述步骤(1)中,话音业务KPI参数包括两类:主叫用户KPI参数和被叫用户KPI参数,其中,话音业务主叫用户KPI设有下述9项检测参数:
主叫回铃时延:为主叫用户接收到回铃时间与其拨号完成时间之差,单位为秒(s);
主叫接通状态:为主叫用户摘机且业务信道分配成功时的状态,其数值为1,否则为0;
主叫掉话状态:为主叫用户通话未结束就中断通信链路的状态,取决于呼叫结束状态及其原因,其数值在未掉话时为0,掉话时为1;
单通状态:为主、被叫双方用户中有一方听不到对方声音的状态,当主、被叫用户中一方实测MOS值为0时,该用户的单通状态数值为1,否则为0;
串话状态:为其他信号耦合到本次通信线路造成干扰的状态,检测方法是在话音编码帧里插入测试比特位,根据通话前后对该测试比特位的检测来判断通话过程中是否产生串话;其数值在未串话时为0,串话时为1;
MOS标准差:为每一次通话时间内话音MOS采样值的均方差;
信号电平标准差:为测试时间内信号电平值的均方差,单位为分贝(dBm);
平均MOS值:为每一次通话时间段内的MOS平均值;
释放时延:为用户主动结束呼叫到系统完成资源释放的时延,单位为毫秒(ms);
话音业务被叫用户KPI也设有下述共9项检测参数:
被叫振铃时延:为振铃开始时间与寻呼指令到达被叫终端的时间之差,单位为秒(s);
被叫接通状态:为被叫用户摘机且业务信道分配成功时的状态,其数值为1,否则为0;
其他六个参数:掉话状态、单通状态、串话状态、MOS标准差、信号电平标准差、平均MOS值和释放时延的定义及其数值涵义都与主叫用户KPI相同。
CN201210159906.9A 2012-05-22 2012-05-22 模拟用户行为的话音业务用户感知体验QoE的评测方法 Expired - Fee Related CN102685789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210159906.9A CN102685789B (zh) 2012-05-22 2012-05-22 模拟用户行为的话音业务用户感知体验QoE的评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210159906.9A CN102685789B (zh) 2012-05-22 2012-05-22 模拟用户行为的话音业务用户感知体验QoE的评测方法

Publications (2)

Publication Number Publication Date
CN102685789A CN102685789A (zh) 2012-09-19
CN102685789B true CN102685789B (zh) 2014-07-16

Family

ID=46817014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210159906.9A Expired - Fee Related CN102685789B (zh) 2012-05-22 2012-05-22 模拟用户行为的话音业务用户感知体验QoE的评测方法

Country Status (1)

Country Link
CN (1) CN102685789B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103840978B (zh) * 2012-11-21 2018-06-19 华为技术有限公司 一种获取kqi门限的方法及设备
WO2015100552A1 (zh) * 2013-12-30 2015-07-09 华为技术有限公司 业务质量统计方法和装置
CN107612701A (zh) * 2016-07-11 2018-01-19 中国电信股份有限公司 一种QoE参数的处理方法、装置与客户体验管理系统
CN107645393A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 确定黑盒系统输入输出关联度的方法、装置以及系统
CN106953757A (zh) * 2017-03-20 2017-07-14 重庆信科设计有限公司 一种LTE网络中QoE量化指标模型的建立方法
CN106992894A (zh) * 2017-05-22 2017-07-28 安徽电信规划设计有限责任公司 一种移动互联网业务感知分析测试系统
CN109246664B (zh) * 2017-06-13 2021-07-23 上海大唐移动通信设备有限公司 一种语音测试方法及装置
CN107992754A (zh) * 2017-11-16 2018-05-04 成都艾尔普科技有限责任公司 基于ahp的行为信任证据权重的一致性检验方法
CN107920362B (zh) * 2017-12-06 2020-12-01 南京华苏科技有限公司 一种基于微区域的lte网络性能评估方法
CN109785860A (zh) * 2019-01-08 2019-05-21 北京中创信测科技股份有限公司 一种2g3g4g语音质量故障四域六维智能定界的方法
CN109768888B (zh) * 2019-01-16 2021-09-03 广东工业大学 一种网络服务质量评价方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188847A (zh) * 2007-11-28 2008-05-28 中讯邮电咨询设计院 基于人工神经网络的移动通信业务用户体验评估方法
CN101783754A (zh) * 2010-02-23 2010-07-21 浪潮通信信息系统有限公司 一种互联网业务客户感知QoE的测量方法
CN102014420A (zh) * 2010-11-18 2011-04-13 北京拓明科技有限公司 一种评估移动通信话音质量的方法
CN102104900A (zh) * 2011-01-27 2011-06-22 大唐移动通信设备有限公司 用户感知的分析方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008107020A1 (en) * 2007-03-08 2008-09-12 Telefonaktiebolaget L M Ericsson (Publ) An arrangement and a method relating to performance monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188847A (zh) * 2007-11-28 2008-05-28 中讯邮电咨询设计院 基于人工神经网络的移动通信业务用户体验评估方法
CN101783754A (zh) * 2010-02-23 2010-07-21 浪潮通信信息系统有限公司 一种互联网业务客户感知QoE的测量方法
CN102014420A (zh) * 2010-11-18 2011-04-13 北京拓明科技有限公司 一种评估移动通信话音质量的方法
CN102104900A (zh) * 2011-01-27 2011-06-22 大唐移动通信设备有限公司 用户感知的分析方法及设备

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
一种KPI映射到KQI的通用算法;倪萍等;《电子与信息学报》;20081031;第30卷(第10期);全文 *
倪萍等.一种KPI映射到KQI的通用算法.《电子与信息学报》.2008,第30卷(第10期),全文.
刘宗贤等.基于QoE的业务指标权重分析系统实现.《北京联合大学学报》.2010,第24卷(第3期总81期),全文.
基于QoE的业务指标权重分析系统实现;刘宗贤等;《北京联合大学学报》;20100930;第24卷(第3期总81期);全文 *
杨燕.移动业务QoE量化指标体系的构建与应用.《电讯技术》.2010,第50卷(第12期),全文.
林闯等.用户体验质量(QOE)的模型与评价方法综述.《计算机学报》.2012,第35卷(第1期),全文.
用户体验质量(QOE)的模型与评价方法综述;林闯等;《计算机学报》;20120131;第35卷(第1期);全文 *
移动业务QoE量化指标体系的构建与应用;杨燕;《电讯技术》;20101231;第50卷(第12期);全文 *
移动通信网的QoE测量及其量化方法;赵飞龙等;《电子测量与仪器学报》;20100331;第24卷(第3期);全文 *
赵飞龙等.移动通信网的QoE测量及其量化方法.《电子测量与仪器学报》.2010,第24卷(第3期),全文.

Also Published As

Publication number Publication date
CN102685789A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
CN102685789B (zh) 模拟用户行为的话音业务用户感知体验QoE的评测方法
CN102685790B (zh) 模拟用户行为的移动流媒体业务感知体验QoE的测评方法
KR101450494B1 (ko) 통신 네트워크에서의 서비스 성능
CN108093427B (zh) 一种VoLTE业务质量评估方法及系统
US20130316701A1 (en) Data processing method and device for essential factor lost score
CN101562829A (zh) 一种用户感知的测算方法
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
CN109548036B (zh) 一种移动网络潜在投诉用户预测方法和装置
CN104767652A (zh) 监视数字传输环境性能的方法和确定服务潜在质量的系统
CN108243441B (zh) 室内分布系统故障判定方法及装置
CN103987067B (zh) 一种基于数据挖掘的3g语音业务质量评估方法
EP3525507B1 (en) Method and test system for mobile network testing as well as prediction system
CN101888654B (zh) 一种通话质量测试方法、装置及系统
CN105679335A (zh) 基于无线分析的语音质量评估方法及系统
CN102149113B (zh) 一种移动用户感知量化方法
CN103686833A (zh) 移动网络语音质量评估方法和装置
CN1848872B (zh) 移动核心网大话务量下的语音抽检测试方法及其装置
CN109005064B (zh) 面向QoE的服务质量评估方法、装置及电子设备
CN102026262A (zh) 用户感受评估方法和服务器
Nguyen et al. Modelling of quality of experience for web traffic
CN115426244B (zh) 一种基于大数据的网络设备故障检测方法
CN104125346A (zh) 语音质量的告警方法和装置
CN109474940B (zh) 业务质量检测方法及装置
CN102014420B (zh) 一种评估移动通信话音质量的方法
CN103943114A (zh) 一种语音业务通话质量的评估方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140716

Termination date: 20150522

EXPY Termination of patent right or utility model