CN105791043B - 一种业务网络服务体验质量自动评价方法及系统 - Google Patents
一种业务网络服务体验质量自动评价方法及系统 Download PDFInfo
- Publication number
- CN105791043B CN105791043B CN201410827613.2A CN201410827613A CN105791043B CN 105791043 B CN105791043 B CN 105791043B CN 201410827613 A CN201410827613 A CN 201410827613A CN 105791043 B CN105791043 B CN 105791043B
- Authority
- CN
- China
- Prior art keywords
- response
- quality
- experience
- response phase
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000004044 response Effects 0.000 claims abstract description 402
- 238000013441 quality evaluation Methods 0.000 claims description 56
- 238000000605 extraction Methods 0.000 claims description 54
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 51
- 230000008569 process Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 13
- 238000013210 evaluation model Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
Abstract
本发明实施例提供了一种业务网络服务体验质量自动评价方法及系统，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的体验质量评价函数，所选取的体验质量评价函数根据上一阶段体验质量和本响应阶段的响应时延对本阶段结束时的体验质量进行评估，依次获得各个响应阶段的体验质量值，并将最后一个响应阶段结束时的体验质量值作为业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，本发明的体验质量评价方法和系统，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种业务网络服务体验质量自动评价方法及系统。
背景技术
当前网络正在朝着高速化的方向不断地发展，网络应用也得到了更大范围的普及。目前，基于web的网页浏览已经成为大众日常工作、学习、娱乐中使用最为频繁的业务，并且，大众对网页浏览的依赖性还在不断增加，对浏览体验的要求也越来越高。面对高速复杂灵活多变的网络环境，如何为用户提供良好的浏览体验成为了网络运营商需要面对的重大挑战。作为对改进服务最为重要的参考依据，对服务质量的评价受到了越来越多的重视。
在传统的方式下，网络运营商通常通过测量如吞吐率、丢包率或时延等网络的服务质量(英文：Quality of Service，简称：QoS)参数来评价运行在其上的服务性能。然而在实际中，用户和网络运营商由于其对服务评价的出发点不同，对网页浏览服务的性能评价方法与侧重点之间存在着一定的差异，即用户和运营商之间使用不同的标准来判定服务的性能。相对于网络运营商参考网络媒体参数，用户往往是在相对主观和非技术的背景下，通过自身的感受和体验来评价服务的性能。通常，用户需要的是理想的服务响应时间和好的服务体验，并不关心网络中的技术参数。近年来，随着科研人员对质量评价研究的不断深入，研究发现网络QoS参数并不能很好的体现上层用户的真实体验和感知状况，这就产生了运用用户主观因素评价服务质量的评价方法。这种用户对于服务的满意程度和评价指标通常被称为用户的体验质量(英文：Quality of Experience，简称：QoE)。ITU-T定义QoE是指终端用户主观体验和感知到的，对某项应用或者服务的总体可接受的程度。由于需要获得用户的主观体验感受，一般要求组织大量人员针对服务进行主观打分，将评价结果作为评价模型的参考值，该过程会耗费大量的人工和经济成本。
发明内容
本发明实施例提供一种业务网络服务体验质量自动评价方法及系统，以实现自动地对业务网络服务体验质量进行评价。
第一方面，提供了一种业务网络服务体验质量自动评价方法，包括：
获取业务网络服务的至少一个响应阶段的响应时延；
根据每个响应阶段的响应时延评价评价，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数；
根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值；
将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得步骤，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
在第一种可能的实现方式中，第一个响应阶段的初始体验质量值采用系统预先配置的初始值。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述每个响应阶段的至少一个体验质量评价函数包括：
其中，fi(t)为第i个响应阶段的体验质量值，T1 i、T2 i、T3 i为第i个响应阶段内的三个时间阈值参数，用于评价函数和参数的选择，currentScore为上一个响应阶段的体验质量值fi-1(t)。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述fi(t)具体为：
其中，a1、b1、c1、a2、b2、c2、d为同一响应阶段内的体验质量评价的相关参数，不同响应阶段的体验质量评价参数不同或相同。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当客户端检测到URL的提交请求时，记录系统时间t1；
当所述客户端检测到加载标题结束时，记录系统时间t2；
当所述客户端检测到加载文字结束时，记录系统时间t3；
当所述客户端检测到加载页面内首个可显示内容结束时，记录系统时间t4；
当所述客户端检测到加载其余可显示内容结束时，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当在接入网或核心网的任意网络节点检测到URL的HTTP GET请求时，记录系统时间t1；
当所述网络节点检测到所述URL的HTTP GET的第一个响应报文后，记录系统时间t2；
当所述网络节点检测到第二个HTTP GET的请求后，记录系统时间t3；
当所述网络节点检测到第一个图片HTTP GET请求的最后一个响应报文后，记录系统时间t4；
当所述网络节点检测到整个网页传输完毕后，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第六种可能的实现方式中，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当业务服务器接收到第一个HTTP GET请求后，记录系统时间t1；
当所述业务服务器发送完主文件中包含标题部分的响应后，记录系统时间t2；
当所述业务服务器接收到下一个HTTP GET请求后，记录系统时间t3；
当所述业务服务器对第一个可显示对象发送结束后，记录系统时间t4；
当所述业务服务器全部响应结束时，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
第二方面，提供了一种业务网络服务体验质量自动评价方法，包括：
获取业务网络服务的至少一个响应阶段的响应时延；
根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值；
根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
第三方面，提供了一种业务网络服务体验质量自动评价系统，包括：
时延提取单元，用于获取业务网络服务的至少一个响应阶段的响应时延；
选择单元，用于根据每个响应阶段的响应时延，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数；
质量评价单元，用于根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值；
所述质量评价单元还用于：将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
在第一种可能的实现方式中，第一个响应阶段的初始体验质量值采用系统预先配置的初始值。
结合第三方面或第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述每个响应阶段的至少一个体验质量评价函数包括：
其中，fi(t)为第i个响应阶段的体验质量值，T1 i、T2 i、T3 i为第i个响应阶段内的三个时间阈值参数，用于评价函数和参数的选择，currentScore为上一个响应阶段的体验质量值fi-1(t)。
结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述fi(t)具体为：
其中，a1、b1、c1、a2、b2、c2、d为同一响应阶段内的体验质量评价的相关参数，不同响应阶段的体验质量评价参数不同或相同。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式或第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述时延提取单元包括：
第一记录单元，用于当客户端检测到URL的提交请求时，记录系统时间t1；
所述第一记录单元还用于当所述客户端检测到加载标题结束时，记录系统时间t2；
所述第一记录单元还用于当所述客户端检测到加载文字结束时，记录系统时间t3；
所述第一记录单元还用于当所述客户端检测到加载页面内首个可显示内容结束时，记录系统时间t4；
所述第一记录单元还用于当所述客户端检测到加载其余可显示内容结束时，记录系统时间t5；
第一获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式或第三方面的第三种可能的实现方式，在第五种可能的实现方式中，所述时延提取单元包括：
第二记录单元，用于当在接入网或核心网的任意网络节点检测到URL的HTTP GET请求时，记录系统时间t1；
所述第二记录单元还用于当所述网络节点检测到所述URL的HTTP GET的第一个响应报文后，记录系统时间t2；
所述第二记录单元还用于当所述网络节点检测到第二个HTTP GET的请求后，记录系统时间t3；
所述第二记录单元还用于当所述网络节点检测到第一个图片HTTP GET请求的最后一个响应报文后，记录系统时间t4；
所述第二记录单元还用于当所述网络节点检测到整个网页传输完毕后，记录系统时间t5；
第二获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式或第三方面的第三种可能的实现方式，在第六种可能的实现方式中，所述时延提取单元包括：
第三记录单元，用于当业务服务器接收到第一个HTTP GET请求后，记录系统时间t1；
所述第三记录单元还用于当所述业务服务器发送完主文件中包含标题部分的响应后，记录系统时间t2；
所述第三记录单元还用于当所述业务服务器接收到下一个HTTP GET请求后，记录系统时间t3；
所述第三记录单元还用于当所述业务服务器对第一个可显示对象发送结束后，记录系统时间t4；
所述第三记录单元还用于当所述业务服务器全部响应结束时，记录系统时间t5；
第三获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
第四方面，提供了一种业务网络服务体验质量自动评价系统，包括：
时延提取单元，用于获取业务网络服务的至少一个响应阶段的响应时延；
获取单元，用于根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值；
质量评价单元，用于根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
可见，根据本发明实施例提供的一种业务网络服务体验质量自动评价方法及系统，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的体验质量评价函数，所选取的体验质量评价函数根据将上一阶段体验质量和本响应阶段的响应时延对本阶段结束时的体验质量进行评估，依次获得各个响应阶段的体验质量值，并将最后一个响应阶段结束时的体验质量值作为业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，本发明的体验质量评价方法和系统，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的业务网络服务质量评价的网络结构示意图；
图2为本发明实施例提供的一种业务网络服务体验质量自动评价方法的流程图；
图3为本发明实施例的整体的业务网络服务体验质量自动评价过程示意图；
图4为5分制评价准则示意图；
图5为网页加载阶段划分示意图；
图6为本发明实施例的体验质量评价函数的流程图；
图7为本发明实施例示例的在浏览器进行监测评价的流程示意图；
图8为体验质量在第一阶段内的变化情况示意图；
图9为本发明实施例示例的在接入网进行监测评价的流程示意图；
图10为本发明实施例示例的在web服务器进行监测评价的流程示意图；
图11为本发明实施例提供的另一种业务网络服务体验质量自动评价方法的流程图；
图12为本发明实施例提供的一种业务网络服务体验质量自动评价系统的结构示意图；
图13为图12所示的一个时延提取单元11的结构示意图；
图14为图12所示的另一个时延提取单元11的结构示意图；
图15为图12所示的又一个时延提取单元11的结构示意图；
图16为本发明实施例提供的另一种业务网络服务体验质量自动评价系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例所涉及的业务包括网页浏览，但不限于网页浏览，还可以是其它分阶段加载内容的网络业务。本发明实施例以网页浏览为例，现有研究在评价网页浏览服务质量时，只考虑了整体的等待时延和加载时延，将整个浏览过程作为评价服务质量的对象进行研究。然而，在浏览网页时，由于浏览器分阶段加载网页，用户的浏览体验往往受到一些加载事件分阶段的影响。例如当网页标题加载时间较长时用户普遍会直接关闭该网页而终止浏览行为；当网页第一版加载完毕后用户浏览第一版内容而受后续内容加载时间的影响较小。考虑到用户浏览网页时分阶段的真实体验过程，本发明实施例将整个网页加载过程分为多个阶段，分阶段对浏览过程进行评价。此外，又考虑到用户对前一阶段事件的感知会影响到其对当前阶段事件的感知，即使在同一阶段内，前一时刻对当前时刻也存在影响。本发明实施例利用多阶段影响的连续性，提出了针对基于web网页浏览服务质量的评价方案。该方案将整个浏览过程转化为多个连续出现的过程进行评价，从用户感知的角度动态的评价用户的浏览体验。由于充分考虑了用户浏览过程中感知的波动过程，本发明实施例提出的评价方案可以更加准确和实时的反映用户的浏览体验质量，将网页的加载时延与用户体验一一对应。
本发明可以在用户设备、接入网、网络节点或服务器内实时监测并记录网页加载时延，实时或批量评价用户浏览网页的服务质量，为网络运营商改进服务提供重要参考依据，业务网络服务质量评价的网络结构如图1所示。此处，用户设备可以为手持终端或其他能够提供网页浏览服务的终端设备。接入网可以为广播网、局域网、广域网或无线网等适合包类通信(英文：Packet-type Communications)的网络。这些网络可以使用包括数字用户线路(英文：Digital Subscriber Line，简称：DSL)，有线宽带(Cable Broadband)，802.11Wi-Fi，全球移动通信系统(英文：Global System for Mobile Communication，简称：GSM)，宽带码分多址(英文：Wideband Code Division Multiple Access，简称：WCDMA)，CDMA2000(Code Division Multiple Access 2000)，全球微波互联接入(英文：WorldwideInteroperability for Microwave Access，简称：WiMax)或长期演进(英文：Long TermEvolution，简称：LTE)等技术。本发明中的评价不仅可以使用在用户设备上的客户端(如浏览器)、接入网、任意网络节点或服务器中，还可以从上述任意位置提取评价参数后单独设立模块进行质量评价。此外，评价过程可以实时进行或者采集数据后进行后期的评价分析。
请参阅图2，为本发明实施例提供的一种业务网络服务体验质量自动评价方法的流程图，该方法包括以下步骤：
步骤S101，获取业务网络服务的至少一个响应阶段的响应时延。
一个网络业务可以划分为多个响应阶段，每个响应阶段的响应时延反映了该阶段用户的体验质量。
可以根据响应监测的位置不同，确定获取响应时延的方式，例如，在用户设备的客户端上监测响应时延，可以由客户端获取每个响应阶段的响应时延；如果在接入网或核心网的任意网络节点上监测响应时延，可以由网络节点获取每个响应阶段的响应时延；如果在服务器监测响应时延，可以由服务器获取每个响应阶段的响应时延。如果该评价在客户端、网络节点或服务器进行，则由客户端、网络节点或服务器直接获取每个响应阶段的响应时延；如果该评价在一个单独的系统里进行，则从客户端、网络节点或服务器获取每个响应阶段的响应时延。
步骤S102，根据每个响应阶段的响应时延，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数。
网络业务中的各个响应阶段对用户的体验影响程度并不都相同，每个响应阶段内不同的响应时延对用户的体验影响也不相同，因此，要求在各响应阶段根据每个响应阶段的响应时延，从每个响应阶段的一个或多个体验质量评价函数中选择该响应阶段的体验质量评价函数，或使用不同的评价函数的相关参数，以符合用户的感知特征。
步骤S103，根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值。
利用影响累加的思想，随时刻动态评价每个响应阶段用户的体验质量。体验质量评价函数是与上一个响应阶段的体验质量值和每个响应时延相关的函数。
步骤S104，将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得步骤，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
每个响应阶段体验质量值的初始值均为前一阶段结束时的体验质量值。最后一个响应阶段结束后输出的质量体验值即为最终的体验质量值，作为整个业务网络服务的体验质量值。
如图3所示的本发明实施例的整体的业务网络服务体验质量自动评价过程示意图，其包括四个响应阶段，第四阶段输出的质量体验值即为最终的体验质量值，也可以根据需要，分别输出各响应阶段结束时的体验质量值。MOS(Mean Opinion Score)，是目前使用得最广泛的一种主观评定方法，评分范围是1到5分。如图4所示的5分制评价准则示意图，评价中可以使用国际上常用的5分制评价标准，按照体验感受划分为5个等级。
根据本发明实施例提供的一种业务网络服务体验质量自动评价方法，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的体验质量评价函数，所选取的体验质量评价函数根据将上一阶段体验质量和本响应阶段的响应时延对本阶段结束时的体验质量进行评估，依次获得各个响应阶段的体验质量值，并将最后一个响应阶段结束时的体验质量值作为业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
请参阅图5，为网页加载阶段划分示意图，在这里，进行网页加载的客户端可以为浏览器。在用户设备上，用户在浏览网页时，浏览器(如Internet Explorer，Firefox,Chrome,Safari和UC等)通常需要经过多个加载过程才能将用户请求的网页加载完毕，本发明实施例按照浏览中加载事件出现的顺序，将用户浏览网页时点击超链接到网页加载完毕的过程划分为四个阶段：1、浏览器解析接收到的超文本标记语言(英文：Hyper TextMarkup language，简称：HTML)文档标题，即对网页标题的加载；2、浏览器对HTML文档加载完毕，即对网页内文字的加载；3、浏览器请求第一个HTML内嵌资源到第一个内嵌资源接收并加载完毕，即对首个对象完成加载；4、浏览器对其余内嵌资源的请求、接收和加载。
由于用户往往更加关注服务的响应时间，所以本实施例将上述不同阶段加载的时延作为评价方法的评价参数。在客户端通过相应的技术获得用户浏览网页不同阶段的加载时延Di,i＝1,2,3,4后，根据各个加载时延进行质量评价。评价中可以使用国际上常用的5分制评价标准，按照体验感受划分为5个等级。
由于浏览中的服务响应时间，即加载时延显然越小越好，所以加载时延的出现通常会导致用户体验的下降。然而，当第三阶段结束时，由于文字和首个对象已经加载完毕，用户可以先对已加载的内容进行浏览，用户的主观感知会出现轻微的回升。此外，网页加载的各个阶段对用户的体验影响程度并不相同，例如，用户普遍对第一和第四阶段中的时延较为敏感，所以第一与第四阶段的时延对用户体验的影响要大于第二和第三阶段时延造成的影响。这就要求在各阶段使用不同的模型参数以符合用户的感知特征。在获得各阶段的时延后，服务质量评价的过程如图3所示。每个阶段体验值的初始值均为前一阶段结束时的体验值，第四阶段结束后输出的体验值即为最终的体验分值。模型也可以根据需要，分别输出各阶段结束时的体验分值，以分析各阶段在浏览过程中的影响，如图3所示。
基于上述分析，本发明实施例利用影响累加的思想，提出在浏览过程中随时刻动态评价用户的体验质量的服务质量评价方法，各个阶段内的通用的体验质量评价函数为：
fi(t)＝max(1,min(fi(t),5))
上式中，currentScore为当前时刻开始时的体验分值，初始值为5分。T1 i、T2 i、T3 i为第i阶段内的三个时间阈值参数，用来评价函数和参数的选择，评价同一阶段不同的响应时延对体验质量评价的影响，不同阶段内的时间点划分方式不同。f1 i(t)、f2 i(t)和f3 i(t)分别为不同划分区间内体验值的变化函数。以第一个响应阶段内的体验质量值的计算过程为例，根据第一个响应阶段的响应时延与T1 1、T2 1、T3 1的比较，确定采用公式(1)中的哪个评价函数计算该阶段的体验质量值。体验质量评价函数的流程图如图6所示，其中，Di为各个响应阶段的时延。
具体的，可以取如下的函数形式：
fi(t)＝max(1,min(fi(t),5))
其中，参数a1、b1、c1、a2、b2、c2、d为在同一阶段内的模型参数，需要说明的是，在不同阶段内参数的取值可以相同或不同，阶段间不同的模型参数可以反映体验值不同的变化形式。由于在各阶段内时延没有上界，所以在任意阶段内，当t＞Tthreshold时，取MOS＝MOSmin，例如MOSmin为0或1，即，时延过大时用户体验已经无法忍受，用户将离开浏览服务。第四阶段加载结束后，输出的f4(t)即为最终的用户体验MOS值。具体的，第一阶段内T1 1取值一般很小，以表示在用户反应时间内体验持续为5分的情况。并且在第一阶段内，T2 1通常取与T1 1相同的值，即两个时间点重合，此时，表示该阶段没有体验质量上升的区间。当时延大于T1 1后，体验值将直接进入T2 1至T3 1间的下降区间。在第二和第三阶段中，通常令T1 2＝T2 2＝0、T1 3＝T2 3＝0，即不存在体验值保持不变和上升的区间。然而，在第四阶段，考虑到存在体验值上升的情况，所以T1 4和T2 4取不同的值。即，在时延大于T1 4时，体验值会进入T1 4至T2 4间的体验值上升的区间。
对于模型参数的选取，可以采用对各阶段递进式的主观打分方法获得MOS值。例如，对相同的网页，分别在第一阶段和第二阶段结束后进行主观打分，认为第二阶段体验值的变化建立在第一阶段的主观体验之上，以此获得第二阶段内体验的变化范围，进而通过拟合等方法获得具体的模型参数。其余阶段以此类推，即可计算出各阶段内的模型参数。
下面以在用户设备的客户端进行评价监测为例进一步描述该评价方法，例如可以将该方法流程集成进浏览器的软件功能模块或在浏览器外设置该软件功能模块来完成评价。实施例将评价过程分为时延提取和浏览质量评价两个部分。首先于客户端(如浏览器)中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型进行质量评价。具体的，在评价过程中，各个单元的交互过程如图7所示。
在浏览器进行评价时，当监测到用户输入URL并提交后，浏览器解析单元通知时延提取单元记录系统时间t1，在这里，浏览器解析单元是浏览器现有的一个单元，时延提取单元可以认为是步骤S101的软件功能单元；当其加载完标题时通知时延提取单元记录系统时间t2；随后在文字加载结束，首个可显示内容加载结束和整个网页加载结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，计算出各个阶段的时延Di并将Di送入质量评价单元进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当网页内只有文字信息时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例将网页加载过程分为四个阶段，分别为：1、网页标题加载；2、网页内文字加载；3、页面内首个可显示对象加载；4、其余对象加载。时延提取单元于客户端(如浏览器)内，通过对加载过程的分析获得各个阶段的加载时延Di,i＝1,2,3,4。由于建立链接的时间很短，所以在这里可以忽略建立链接的时延。
若网页中不存在流程中的部分内容，则在流程中跳过该判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价单元，分阶段进行质量评价。各阶段内的评价模型通式如公式(1)所示。
第一阶段的起始currentScore＝5，其余各阶段的currentScore起始值为前一阶段结束时的f(t)，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。一组可用的参数的值如表1所示。
表1.质量评价函数的相关参数
| 参数 | 阶段一 | 阶段二 | 阶段三 | 阶段四 |
| a<sub>1</sub> | 3.18 | 3.41 | 2.64 | 2.94 |
| b<sub>1</sub> | 2.71 | 1.95 | 0.04 | 25.9 |
| c<sub>1</sub> | 1 | 1 | 1 | 1 |
| a<sub>2</sub> | 3.13 | 3.01 | 2.73 | 3 |
| b<sub>2</sub> | 2.41 | 1.85 | 0.05 | 26 |
| c<sub>2</sub> | 1 | 1 | 1 | 1 |
| d | 0 | 0.6 | 0 | 0.6 |
| T<sub>1</sub> | 0.4s | 0s | 0s | 0s |
| T<sub>2</sub> | 0.4s | 0s | 0s | 0.5s |
| T<sub>3</sub> | +∞ | 2s | +∞ | 3s |
例如，用户感知在第一阶段很短的时延T1内并没有受到的影响，currentScore保持在5分。当时延大于0.4s时，由于用户在该阶段不存在体验提高的过程，所以T2 1＝T1 1，currentScore将直接进入下降的过程。时延超过阈值Tthreshold＝5s后用户体验立刻下降至0，即用户将离开浏览操作。图8展示了体验质量在第一阶段内的变化情况。
以接入网监测业务网络服务来进一步描述本发明的评价方法。将评价过程分为时延提取和浏览质量评价。首先于接入网中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型函数进行质量评价。
具体的，在评价过程中，各个单元的交互过程如图9所示。
在接入网进行评价时，当接入网监测到某个URL的HTTP GET请求后，网络抓包和分析单元通知时延提取单元记录系统时间t1，网络抓包和分析单元是接入网现有的一个软件功能单元，时延提取单元可以认为是S101的软件功能单元；当检测到该URL的HTTP GET的第一个响应报文后，通知时延提取单元记录系统时间t2；随后在监测到第二个HTTP GET的请求，第一个图片HTTP GET请求的最后一个响应报文和整个网页传输结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，计算出各个阶段的时延Di并将Di送入质量评价单元进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当没有检测到第一个图片HTTP GET请求的最后一个响应报文时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例的时延提取单元于接入网关，通过包分析得到各传输包的时间戳和类型信息，进而获得各个阶段的加载时延Di,i＝1,2,3,4。
若网页中不存在流程中的部分内容，则在流程中跳过该判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价，分阶段进行质量评价。各阶段内的评价模型通式如公式(1)所示。
各个阶段的起始currentScore＝5，即本发明也可以简化各阶段间的评价相互独立，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。
以在web服务器监测业务网络服务来进一步描述本发明的评价方法。将评价过程分为时延提取和浏览质量评价。首先于web服务器中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型进行质量评价。
在评价过程中，各个单元的交互过程如图10所示。
在web服务器进行评价时，当其收到第一个HTTP GET请求时，服务器通知时延提取单元记录系统时间t1；当服务器发送完主文件中包含标题部分的响应后通知时延提取单元记录系统时间t2；随后在监测到下一个HTTP GET请求，第一个可显示对象和整个网页传输结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，计算出各个阶段的时延Di并将Di送入质量评价单元进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当没有检测到可显示对象的GET请求时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例时延提取单元于web服务器内，通过对发送过程的分析获得各个阶段的加载时延Di,i＝1,2,3,4。
若用户请求的网页中不存在流程中的部分内容，则在流程中跳过对该部分的判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当被请求的网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价，分阶段进行质量评价。各阶段内的评价模型通式如公式(1)所示。
第一阶段的起始currentScore＝5，其余各阶段的currentScore起始值为前一阶段结束时的f(t)，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。
请参阅图11，为本发明实施例提供的另一种业务网络服务体验质量自动评价方法的流程图，该方法包括以下步骤：
步骤S201，获取业务网络服务的至少一个响应阶段的响应时延。
一个网络业务可以划分为多个响应阶段，每个响应阶段的响应时延反映了该阶段用户的体验质量。
步骤S202，根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值。
网络业务中的各个响应阶段对用户的体验影响程度并不都相同，每个响应阶段内不同的响应时延对用户的体验影响也不相同，因此，根据每个响应阶段的响应时延，可以获取每个响应阶段的体验质量值及加权值，该加权值为根据每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值。
步骤S203，根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
若在要求计算复杂度较低的应用场合，可以将评价过程简化为各阶段各自质量评价的范数：
MOS＝||ω·segment_MOSi||p (3)
当上式中p＝1时，MOS值即为各段体验值的加权和。ω为依据各个响应阶段影响程度所分配的加权值。
根据本发明实施例提供的一种业务网络服务体验质量自动评价方法，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的加权值，将每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
请参阅图12，为本发明实施例提供的一种业务网络服务体验质量自动评价系统的结构示意图，该系统1000包括：
时延提取单元11，用于获取业务网络服务的至少一个响应阶段的响应时延。
一个网络业务可以划分为多个响应阶段，每个响应阶段的响应时延反映了该阶段用户的体验质量。
可以根据响应监测的位置不同，确定获取响应时延的方式，例如，在用户设备的客户端上监测响应时延，可以由客户端获取每个响应阶段的响应时延；如果在接入网或核心网的任意网络节点上监测响应时延，可以由网络节点获取每个响应阶段的响应时延；如果在服务器监测响应时延，可以由服务器获取每个响应阶段的响应时延。如果该评价在客户端、网络节点或服务器进行，则由客户端、网络节点或服务器直接获取每个响应阶段的响应时延；如果该评价在一个单独的系统里进行，则从客户端、网络节点或服务器获取每个响应阶段的响应时延。
选择单元12，用于根据每个响应阶段的响应时延，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数。
网络业务中的各个响应阶段对用户的体验影响程度并不都相同，每个响应阶段内不同的响应时延对用户的体验影响也不相同，因此，要求在各响应阶段根据每个响应阶段的响应时延，从每个响应阶段的一个或多个体验质量评价函数中选择该响应阶段的体验质量评价函数，或使用不同的评价函数的相关参数，以符合用户的感知特征。
质量评价单元13，用于根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值。
利用影响累加的思想，随时刻动态评价每个响应阶段用户的体验质量。体验质量评价函数是与上一个响应阶段的体验质量值和每个响应时延相关的函数。
质量评价单元13还用于将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
每个响应阶段体验质量值的初始值均为前一阶段结束时的体验质量值。最后一个响应阶段结束后输出的质量体验值即为最终的体验质量值，作为整个业务网络服务的体验质量值。
如图3所示的业务网络服务体验质量自动评价过程示意图，其包括四个响应阶段，第四阶段输出的质量体验值即为最终的体验质量值，也可以根据需要，分别输出各响应阶段结束时的体验质量值。MOS(Mean Opinion Score)，是目前使用得最广泛的一种主观评定方法，评分范围是1到5分。如图4所示的5分制评价准则示意图，评价中可以使用国际上常用的5分制评价标准，按照体验感受划分为5个等级。
根据本发明实施例提供的一种业务网络服务体验质量自动评价系统，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的体验质量评价函数，所选取的体验质量评价函数根据将上一阶段体验质量和本响应阶段的响应时延对本阶段结束时的体验质量进行评估，依次获得各个响应阶段的体验质量值，并将最后一个响应阶段结束时的体验质量值作为业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
下面以在用户设备的客户端进行评价监测为例进一步描述该评价系统。实施例将评价过程分为时延提取和浏览质量评价两个部分。首先于客户端(如浏览器)中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型进行质量评价。具体的，在评价过程中，各个单元的交互过程如图7所示。
请参阅图13所示的一个时延提取单元11的结构示意图，时延提取单元11包括：第一记录单元111，用于当监测到用户输入URL并提交后，浏览器解析单元通知时延提取单元记录系统时间t1，在这里，浏览器解析单元是浏览器现有的一个单元；第一记录单元111还用于当其加载完标题时通知时延提取单元记录系统时间t2；第一记录单元111还用于在文字加载结束，首个可显示内容加载结束和整个网页加载结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，第一获取单元112用于计算出各个阶段的时延Di并将Di送入质量评价单元13进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当网页内只有文字信息时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例将网页加载过程分为四个阶段，分别为：1、网页标题加载；2、网页内文字加载；3、页面内首个可显示对象加载；4、其余对象加载。时延提取单元于客户端(如浏览器)内，通过对加载过程的分析获得各个阶段的加载时延Di,i＝1,2,3,4。由于建立链接的时间很短，所以在这里可以忽略建立链接的时延。
若网页中不存在流程中的部分内容，则在流程中跳过该判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价单元，分阶段进行质量评价。选择单元12在如公式(1)所示的各阶段内的评价模型通式选择合适的体验质量评价函数。
第一阶段的起始currentScore＝5，其余各阶段的currentScore起始值为前一阶段结束时的f(t)，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。一组可用的参数的值如表1所示。
例如，用户感知在第一阶段很短的时延T1内并没有受到的影响，currentScore保持在5分。当时延大于0.4s时，由于用户在该阶段不存在体验提高的过程，所以T2 1＝T1 1，currentScore将直接进入下降的过程。时延超过阈值Tthreshold＝5s后用户体验立刻下降至0，即用户将离开浏览操作。图8展示了体验质量在第一阶段内的变化情况。
以接入网监测业务网络服务来进一步描述本发明的评价系统。将评价过程分为时延提取和浏览质量评价。首先于接入网中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型函数进行质量评价。
具体的，在评价过程中，各个单元的交互过程如图9所示。
请参阅图14所示的另一个时延提取单元11的结构示意图，在接入网进行评价时，时延提取单元11包括：第二记录单元113，用于当接入网监测到某个URL的HTTP GET请求后，网络抓包和分析单元通知时延提取单元记录系统时间t1，网络抓包和分析单元是接入网现有的一个软件功能单元；第二记录单元113还用于当检测到该URL的HTTP GET的第一个响应报文后，通知时延提取单元记录系统时间t2；第二记录单元113还用于随后在监测到第二个HTTP GET的请求，在第一个图片HTTPGET请求的最后一个响应报文和整个网页传输结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，第二获取单元114用于计算出各个阶段的时延Di并将Di送入质量评价单元13进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当没有检测到第一个图片GET请求时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例的时延提取单元11于接入网关，通过包分析得到各传输包的时间戳和类型信息，进而获得各个阶段的加载时延Di,i＝1,2,3,4。
若网页中不存在流程中的部分内容，则在流程中跳过该判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价，分阶段进行质量评价。选择单元12在如公式(1)所示的各阶段内的评价模型通式选择合适的体验质量评价函数。
各个阶段的起始currentScore＝5，即本发明也可以简化各阶段间的评价相互独立，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。
以在web服务器监测业务网络服务来进一步描述本发明的评价系统。将评价过程分为时延提取和浏览质量评价。首先于web服务器中提取四个阶段的时延数据，再将提取的时延数据送入各阶段的评价模型进行质量评价。
在评价过程中，各个单元的交互过程如图10所示。
请参阅图15所示的又一个时延提取单元11的结构示意图，在web服务器进行评价时，时延提取单元11包括：第三记录单元115，用于当其收到第一个HTTP GET请求时，服务器通知时延提取单元记录系统时间t1；第三记录单元115还用于当服务器发送完主文件中包含标题部分的响应后通知时延提取单元记录系统时间t2；随后在监测到下一个HTTP GET请求，第三记录单元115还用于第一个可显示对象和整个网页传输结束时分别通知时延提取单元记录系统时间t3，t4和t5。此时，第三获取单元116用于计算出各个阶段的时延Di并将Di送入质量评价单元13进行质量评价。时延提取过程中可能会出现某个单元不存在的情况，当此种情况出现时可以将记录的时间设置为前一事件记录的系统时间，对应的时延也设置为0。例如，当没有检测到可显示对象的GET请求时，则t4＝t3，t5＝t3，且设置D3＝0，D4＝0。
本实施例时延提取单元于web服务器内，通过对发送过程的分析获得各个阶段的加载时延Di,i＝1,2,3,4。
若用户请求的网页中不存在流程中的部分内容，则在流程中跳过对该部分的判断，将其对应记录的时间设置为前一判断时记录的时间并将时延设置为0。例如当被请求的网页中没有文字时则跳过对文字显示结束的判断并设置t3＝t2，D2＝0。
在时延提取结束后，将各时延数据依次通过图3中虚线框内的浏览质量评价，分阶段进行质量评价。选择单元12在如公式(1)所示的各阶段内的评价模型通式选择合适的体验质量评价函数。
第一阶段的起始currentScore＝5，其余各阶段的currentScore起始值为前一阶段结束时的f(t)，其中t＝D。也可以增加一个时延阈值Tthreshold＝5s，即认为在阶段内当时延大于5s时用户会采取中断浏览的操作，此时取MOS分为最小值(如0)。
请参阅图16，为本发明实施例提供的另一种业务网络服务体验质量自动评价系统的结构示意图，该系统2000包括：
时延提取单元21，用于获取业务网络服务的至少一个响应阶段的响应时延。
一个网络业务可以划分为多个响应阶段，每个响应阶段的响应时延反映了该阶段用户的体验质量。
获取单元22，用于根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值。
网络业务中的各个响应阶段对用户的体验影响程度并不都相同，每个响应阶段内不同的响应时延对用户的体验影响也不相同，因此，根据每个响应阶段的响应时延，可以获取每个响应阶段的体验质量值及加权值，该加权值为根据每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值。
质量评价单元23，用于根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
若在要求计算复杂度较低的应用场合，可以将评价过程简化为各阶段各自质量评价的范数：
MOS＝||ω·segment_MOSi||p (3)
当上式中p＝1时，MOS值即为各段体验值的加权和。ω为依据各个响应阶段影响程度所分配的加权值。
根据本发明实施例提供的一种业务网络服务体验质量自动评价系统，通过将业务网络服务划分为多个响应阶段，获取每个响应阶段的响应时延，然后根据响应阶段及该阶段的响应时延选取合适的加权值，将每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值，从用户感知的角度动态的评价用户的浏览体验，不仅考虑了业务不同响应阶段对体验的影响，而且考虑了上一阶段体验影响传递到下一阶段，从而能够更加准确地评价业务网络服务体验质量。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(Digital Subscriber Line，DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种业务网络服务体验质量自动评价方法，其特征在于，包括：
获取业务网络服务的至少一个响应阶段的响应时延，每个响应阶段的响应时延反映了该阶段用户的体验质量；
根据每个响应阶段的响应时延，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数，所述体验质量评价函数是与上一个响应阶段的体验质量值和每个响应时延相关的函数；
根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值；
将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得步骤，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
2.如权利要求1所述的方法，其特征在于，第一个响应阶段的初始体验质量值采用系统预先配置的初始值。
3.如权利要求1所述的方法，其特征在于，所述每个响应阶段的至少一个体验质量评价函数包括：
其中，fi(t)为第i个响应阶段的体验质量值，T1 i、T2 i、T3 i为第i个响应阶段内的三个时间阈值参数，用于评价函数和参数的选择，currentScore为上一个响应阶段的体验质量值fi-1(t)。
4.如权利要求3所述的方法，其特征在于，所述fi(t)具体为：
其中，a1、b1、c1、a2、b2、c2、d为同一响应阶段内的体验质量评价的相关参数，不同响应阶段的体验质量评价参数不同或相同。
5.如权利要求1-4任意一项所述的方法，其特征在于，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当客户端检测到URL的提交请求时，记录系统时间t1；
当所述客户端检测到加载标题结束时，记录系统时间t2；
当所述客户端检测到加载文字结束时，记录系统时间t3；
当所述客户端检测到加载页面内首个可显示内容结束时，记录系统时间t4；
当所述客户端检测到加载其余可显示内容结束时，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
6.如权利要求1-4任意一项所述的方法，其特征在于，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当在接入网或核心网的任意网络节点检测到URL的HTTP GET请求时，记录系统时间t1；
当所述网络节点检测到所述URL的HTTP GET的第一个响应报文后，记录系统时间t2；
当所述网络节点检测到第二个HTTP GET的请求后，记录系统时间t3；
当所述网络节点检测到第一个图片HTTP GET请求的最后一个响应报文后，记录系统时间t4；
当所述网络节点检测到整个网页传输完毕后，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
7.如权利要求1-4任意一项所述的方法，其特征在于，所述获取网络服务的至少一个响应阶段的响应时延，包括：
当业务服务器接收到第一个HTTP GET请求后，记录系统时间t1；
当所述业务服务器发送完主文件中包含标题部分的响应后，记录系统时间t2；
当所述业务服务器接收到下一个HTTP GET请求后，记录系统时间t3；
当所述业务服务器对第一个可显示对象发送结束后，记录系统时间t4；
当所述业务服务器全部响应结束时，记录系统时间t5；
获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
8.一种业务网络服务体验质量自动评价方法，其特征在于，包括：
获取业务网络服务的至少一个响应阶段的响应时延，每个响应阶段的响应时延反映了该阶段用户的体验质量；
根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值；
根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
9.一种业务网络服务体验质量自动评价系统，其特征在于，包括：
时延提取单元，用于获取业务网络服务的至少一个响应阶段的响应时延，每个响应阶段的响应时延反映了该阶段用户的体验质量；
选择单元，用于根据每个响应阶段的响应时延，从每个响应阶段的至少一个体验质量评价函数中选择每个响应阶段的体验质量评价函数或评价函数的相关参数，所述体验质量评价函数是与上一个响应阶段的体验质量值和每个响应时延相关的函数；
质量评价单元，用于根据每个响应时延、以及上一个响应阶段的体验质量值，通过所选择的体验质量评价函数，获得每个响应阶段的体验质量值；
所述质量评价单元还用于：将上一个响应阶段的体验质量值作为当前响应阶段的初始体验质量值，重复上述每个响应阶段的体验质量值的获得，直至获得最后一个响应阶段的体验质量值，作为所述业务网络服务的体验质量值。
10.如权利要求9所述的系统，其特征在于，第一个响应阶段的初始体验质量值采用系统预先配置的初始值。
11.如权利要求9所述的系统，其特征在于，所述每个响应阶段的至少一个体验质量评价函数包括：
其中，fi(t)为第i个响应阶段的体验质量值，T1 i、T2 i、T3 i为第i个响应阶段内的三个时间阈值参数，用于评价函数和参数的选择，currentScore为上一个响应阶段的体验质量值fi-1(t)。
12.如权利要求11所述的系统，其特征在于，所述fi(t)具体为：
其中，a1、b1、c1、a2、b2、c2、d为同一响应阶段内的体验质量评价的相关参数，不同响应阶段的体验质量评价参数不同或相同。
13.如权利要求9-12任意一项所述的系统，其特征在于，所述时延提取单元包括：
第一记录单元，用于当客户端检测到URL的提交请求时，记录系统时间t1；
所述第一记录单元还用于当所述客户端检测到加载标题结束时，记录系统时间t2；
所述第一记录单元还用于当所述客户端检测到加载文字结束时，记录系统时间t3；
所述第一记录单元还用于当所述客户端检测到加载页面内首个可显示内容结束时，记录系统时间t4；
所述第一记录单元还用于当所述客户端检测到加载其余可显示内容结束时，记录系统时间t5；
第一获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
14.如权利要求9-12任意一项所述的系统，其特征在于，所述时延提取单元包括：
第二记录单元，用于当在接入网或核心网的任意网络节点检测到URL的HTTP GET请求时，记录系统时间t1；
所述第二记录单元还用于当所述网络节点检测到所述URL的HTTP GET的第一个响应报文后，记录系统时间t2；
所述第二记录单元还用于当所述网络节点检测到第二个HTTP GET的请求后，记录系统时间t3；
所述第二记录单元还用于当所述网络节点检测到第一个图片HTTP GET请求的最后一个响应报文后，记录系统时间t4；
所述第二记录单元还用于当所述网络节点检测到整个网页传输完毕后，记录系统时间t5；
第二获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
15.如权利要求9-12任意一项所述的系统，其特征在于，所述时延提取单元包括：
第三记录单元，用于当业务服务器接收到第一个HTTP GET请求后，记录系统时间t1；
所述第三记录单元还用于当所述业务服务器发送完主文件中包含标题部分的响应后，记录系统时间t2；
所述第三记录单元还用于当所述业务服务器接收到下一个HTTP GET请求后，记录系统时间t3；
所述第三记录单元还用于当所述业务服务器对第一个可显示对象发送结束后，记录系统时间t4；
所述第三记录单元还用于当所述业务服务器全部响应结束时，记录系统时间t5；
第三获取单元，用于获取各个响应阶段的响应时延，所述各个响应阶段的响应时延依次为D1＝t2-t1，D2＝t3-t2，D3＝t4-t3，D4＝t5-t4。
16.一种业务网络服务体验质量自动评价系统，其特征在于，包括：
时延提取单元，用于获取业务网络服务的至少一个响应阶段的响应时延，每个响应阶段的响应时延反映了该阶段用户的体验质量；
获取单元，用于根据每个响应阶段的响应时延，获取每个响应阶段的体验质量值及加权值，所述加权值为根据所述每个响应阶段的响应时延对每个响应阶段的体验质量值的影响程度所分配的权值；
质量评价单元，用于根据每个响应阶段的加权值，获取每个响应阶段的体验质量值的加权和，作为所述业务网络服务的体验质量值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410827613.2A CN105791043B (zh) | 2014-12-25 | 2014-12-25 | 一种业务网络服务体验质量自动评价方法及系统 |
| PCT/CN2015/093781 WO2016101711A1 (zh) | 2014-12-25 | 2015-11-04 | 一种业务网络服务体验质量自动评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410827613.2A CN105791043B (zh) | 2014-12-25 | 2014-12-25 | 一种业务网络服务体验质量自动评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105791043A CN105791043A (zh) | 2016-07-20 |
| CN105791043B true CN105791043B (zh) | 2019-01-25 |
Family
ID=56149199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410827613.2A Active CN105791043B (zh) | 2014-12-25 | 2014-12-25 | 一种业务网络服务体验质量自动评价方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105791043B (zh) |
| WO (1) | WO2016101711A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151219B (zh) * | 2018-09-07 | 2021-08-17 | 携程旅游信息技术（上海）有限公司 | 呼叫中心语音质量检测方法、系统、设备及存储介质 |
| CN111601298B (zh) * | 2020-04-16 | 2023-05-26 | 维沃移动通信有限公司 | Sim卡控制方法及电子设备 |
| CN115514661B (zh) * | 2021-06-03 | 2023-11-03 | 中国移动通信集团四川有限公司 | 一种移动支付业务的质量评估方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143388A (zh) * | 2011-04-22 | 2011-08-03 | 赛特斯网络科技(南京)有限责任公司 | Iptv用户体验质量评估装置及评估方法 |
| CN102413016A (zh) * | 2011-11-30 | 2012-04-11 | 华为技术有限公司 | 一种实现体验质量评估的方法、装置和系统 |
| CN102711061A (zh) * | 2012-05-22 | 2012-10-03 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的彩信业务用户感知体验QoE的测评方法 |
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4935911B2 (ja) * | 2010-01-28 | 2012-05-23 | 沖電気工業株式会社 | 通信制御装置 |
-
2014
- 2014-12-25 CN CN201410827613.2A patent/CN105791043B/zh active Active
-
2015
- 2015-11-04 WO PCT/CN2015/093781 patent/WO2016101711A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143388A (zh) * | 2011-04-22 | 2011-08-03 | 赛特斯网络科技(南京)有限责任公司 | Iptv用户体验质量评估装置及评估方法 |
| CN102413016A (zh) * | 2011-11-30 | 2012-04-11 | 华为技术有限公司 | 一种实现体验质量评估的方法、装置和系统 |
| CN102711061A (zh) * | 2012-05-22 | 2012-10-03 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的彩信业务用户感知体验QoE的测评方法 |
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105791043A (zh) | 2016-07-20 |
| WO2016101711A1 (zh) | 2016-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105868256A (zh) | 处理用户行为数据的方法和系统 | |
| US20170264501A1 (en) | System and method for generating advice for improving internet and wifi performance in a network using machine-learning techniques | |
| US20070256033A1 (en) | System and method for flagging information content | |
| US10609570B2 (en) | Method and system for optimizing network parameters to improve customer satisfaction of network content | |
| US8818927B2 (en) | Method for generating rules and parameters for assessing relevance of information derived from internet traffic | |
| CN105704487A (zh) | 电视稳定性测试方法及装置 | |
| US8135733B2 (en) | Information retrieval apparatus, information retrieval method and information retrieval processing program | |
| CN105791043B (zh) | 一种业务网络服务体验质量自动评价方法及系统 | |
| US9479414B1 (en) | System and method for analyzing computing performance | |
| CN103902446A (zh) | 一种网络服务器自动化测试的方法和装置 | |
| CN110798380A (zh) | 一种数据获取方法、系统、装置、测试设备及测试服务器 | |
| CN105469381A (zh) | 一种信息处理方法及终端 | |
| CN107766234A (zh) | 一种基于移动设备的网页健康度的测评方法、装置及系统 | |
| CN106713011A (zh) | 一种获取测试数据的方法与系统 | |
| JP2006053616A (ja) | サーバ装置、ｗｅｂサイト推奨方法およびプログラム | |
| CN111294620A (zh) | 视频的推荐方法及装置 | |
| RU2640637C2 (ru) | Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения | |
| CN103139004B (zh) | 利用网络限速工具模拟网络带宽的方法及系统 | |
| CN106802906A (zh) | 信息查询方法、装置及服务器设备 | |
| CN114285760A (zh) | 一种网页访问质量评估方法及装置 | |
| CN110278105B (zh) | 基于zabbix和web拨测检测整体业务运行质量的方法 | |
| CN110401551B (zh) | 基于s1接口的互联网健康度评估方法及系统 | |
| CN105245394A (zh) | 一种基于分层方式分析网络访问日志的方法和设备 | |
| JP6164596B2 (ja) | キーワードターゲティングシステム、キーワードターゲティング装置、サーバ装置、キーワードターゲティング方法、及びプログラム | |
| CN108268370B (zh) | 基于Referer和模板库匹配的网站质量分析方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |