CN117221148A - 多类型网络应用服务质量评估系统和方法 - Google Patents

Abstract

本发明提供的多类型网络应用服务质量评估系统和方法，包括网络服务综合指标监测子系统、网络服务质量精细评估子系统和服务分级评估可视化子系统。网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立监测模型，对评估模板的指标进行监测。网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定打分模板，获得总评分。服务分级评估可视化子系统用于：用户与多类型网络应用服务质量评估系统的交互操作，设置应用服务质量参数；存储监测评估数据功能。本发明提供的系统和方法，实现了系统在不同网络节点对应用的服务质量进行综合评估。

Description

多类型网络应用服务质量评估系统和方法

技术领域

本发明涉及互联网技术领域，尤其涉及多类型网络应用服务质量评估系统和方法。

背景技术

随着互联网技术的快速发展，各类网络应用不断涌现，极大方便了人们的生活。因此，为了提供更好的应用服务，需要实现对以网页、流媒体、即时通讯为代表的多类型网络应用的服务质量评估。QoE是以用户为中心的网络应用服务质量评估方式，反映了用户使用时的直观感受。网络应用服务质量是由一系列相互叠加的因素共同构成的结果，为了准确评价网络应用服务质量，必须建立多指标、精细化的网络应用服务质量QoE模型。同时，影响不同网络应用体验的关键指标不同，需要对不同网络应用建立差异化的QoE模型。

目前，国内外有关网络应用服务质量QoE评价模型的研究有很多，可以分为主观评价和客观评价。主观评价方法就是直接围绕用户感知为中心，选择一定数量的测试人员，在特定环境下按照评分标准对网络应用的使用体验质量进行打分，最后根据打分结果统计分析得到网络应用服务质量评价。主观评价虽然可以直接反映出用户使用中的服务体验，但是其实验成本较大，过程繁琐。因此主观评价常用于作为客观评价的结果验证。国际标准组织ITU-R BT.500-11中介绍了几种主观评估方法^[1]：单激励评估法(Single StimulusMethod，SSM)、双激励减损等级评估法(Double Stimulus Impairment Scale，DSIS)。单激励评估法测试中，工作人员将测试对象随机打乱后交给测试人员打分，同一测试对象有可能出现多次，将所有主观分数进行统计评价处理，即为平均意见分。双激励减损等级评估法中，同一测试对象将连续出现，首先测试人员查看无损测试对象，接着再对有损测试对象进行打分，分数代表有损测试对象的减损程度。客观评价是通过监测影响网络应用服务质量的相关指标，建立服务质量评估模型，间接表示用户体验。常用的客观方法大都以机器学习的方式，通过对大量样本用户数据进行学习，得到各个指标与网页QoE的映射关系。文献[2]中提出使用决策树+adaboost方式建立视频流媒体业务的QoE到用户体验分数的映射模型，对用户的实际体验进行预测。但文章的服务质量评测方法仅能在其自行搭建的模拟平台上使用，不能用于实际中对真实服务质量进行评估。

国际上也都在开展网络应用服务质量评估系统的研发与完善。Lighthouse是谷歌推出的一款针对网页的服务质量评估工具，它可以检测多个网页性能指标，分析Web应用的性能并生成报告，并提供网页性能优化建议，其优点是安装方便、本地节点运行，但其打分模板不公开，无法根据需求选择自定义评估模板。美国的WebPageTest是一款专业的Web页面性能分析工具，它可以对检测分析的环境配置进行高度自定义化，内容包括测试节点的物理位置、设备型号、浏览器版本、网络条件和检测次数等。但WebPageTest的监测大都位于国外，在面对监测评估国内网站时用存在数据量较小，单次结果不够稳定等问题。Pytomo是一款针对YouTube视频的服务质量检测工具，通过模拟用户使用，得到YouTube的服务器响应时延、下载速率、缓冲时间指标，但是没有对其服务质量进行评价打分。这些工具都只针对单一网络应用，评估模板固定、不公开，不能很好满足多类型网络应用服务质量评估基本需求，无法完全照搬。对此，本发明为满足多类型网络应用精细化服务质量评估的需求而出现，具有多指标监测、多类型应用服务质量评估模型构建、灵活模板配置、多节点综合评估功能，对提升应用服务质量，提高用户体验有重要意义。

谷歌浏览器提出的Lighthouse是一款开源网页服务质量评估工具，其通过设置指标分数及指标权重，通过加权平均法来估算网页性能。Lighthouse的指标来自谷歌提出的“web指标”[3]。谷歌选取了5个指标对网页服务质量进行评估，包括首次内容绘制时间(FCP)、速度指数(SI)、最大内容绘制时间(LCP)、总阻塞时间(TBT)和累积布局偏移时间(CLS)。其中指标的分数映射则来自谷歌用户体验报告提供的数据进行统计得到的分布函数确定，分数区间为0到100。其权重的设定分别为：10％、10％、25％、30％、25％。各项指标的说明参照谷歌的“web指标”如下：FCP是页面从开始加载到页面内容的任何部分在屏幕上完成渲染的时间；SI用于衡量内容在页面加载期间的视觉显示速度；LCP是测量感知加载速度的一个以用户为中心的重要指标，该项指标表示可视区域内可见的最大图像或文本块完成渲染的相对时间；TBT测量交互可靠性的重要指标，该项指标是FCP与可交互时间(TTI)这期间主线程被阻塞的时间。CLS测量视觉稳定性的一个以用户为中心的重要指标，该项指标有助于量化用户经历意外布局偏移的频率。

发明内容

本发明的实施例提供了一种多类型网络应用服务质量评估系统和方法，用于解决现有技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案。

多类型网络应用服务质量评估系统，包括网络服务综合指标监测子系统、网络服务质量精细评估子系统和服务分级评估可视化子系统；

网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；不同类型网络应用评估模板包括网页指标、流媒体指标和即时通讯指标；

网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

服务分级评估可视化子系统用于：提供用户与多类型网络应用服务质量评估系统的交互操作，以及设置应用服务质量参数的功能；提供存储监测评估数据功能；将评估结果进行可视化输出。

优选地，网络服务质量精细评估子系统包括监测指标打分模块、层次分析模块和服务质量打分模块；

监测指标打分模块用于：确定监测指标的评分标准，对监测的网页指标、流媒体指标和即时通讯指标的结果进行打分；

层次分析模块用于：通过建立层次结构模型，对指标数据进行层次分级，确定每级指标的权重；基于两级指标体系，对指标数据层级进行两两比对，构建对比矩阵；计算对比矩阵的权重向量，检验权重向量的一致性；将每级指标的权重进行组合，获得所有指标数据未进行层次分级的指标权重；

服务质量打分模块用于：根据监测指标打分模块得到的打分标准，对指标监测子系统传入的监测值进行分数映射；根据用户所选指标、评分模板以及层次分析模块确定的权重矩阵，对监测的网络应用服务质量进行打分。

优选地，监测指标打分模块通过如下过程对监测的网页指标的结果进行打分：

A1读取一条获取的URL数据，判断读取的URL数据的URL数n是否为0，若是则执行步骤A2，否则，保存网页指标的值，将URL数n-1，然后重新执行本步骤；

A2对网页指标的数据进行数据清洗处理；

A3对数据清洗处理后的网页指标的数据存入xlsx文件；

A4读取数据清洗处理后的网页指标的数据，获得指标数据分布情况；

A5根据指标数据分布情况，指定网页指标的打分标准并保存；

监测指标打分模块通过如下过程对监测的流媒体指标的结果进行打分：

B1录制原始用户体验流媒体应用播放的视频；

B2通过工具多次改变视频的指标；

B3基于步骤B2的执行结果，录制不同指标不同损失程度下的用户流媒体播放体验视频；

B4对不同指标不同损失程度下的用户流媒体播放体验视频分别进行打分；

B5对步骤B4的打分结果进行数据清洗操作；

B6基于步骤B5的执行结果，确定指标数据与打分结果的映射关系；

步骤B5具体包括：

B51设置打分误差区间为A，首次打分的结果为X，T为筛选强度；

B52若重复打分结果位于区间[X-A,X+A]范围内的比例为P，且P<T时，判定打分结果为有效；

B53设置用户i的打分结果为Ri，筛选强度为T；

B54若用户i的打分结果满足时，判定打分结果为有效；

监测指标打分模块通过如下过程对监测的即时通讯指标的结果进行打分：

C1录制原始情况的用户体验即时通讯应用视频；

C2通过工具多次改变原始情况的用户体验即时通讯应用视频的指标；

C3基于步骤C2的执行结果，录制不同指标不同损失程度下的用户即时通讯播放体验视频；

C4对不同指标不同损失程度下的用户即时通讯播放体验视频分别进行打分；

C5对步骤C4的打分结果进行数据清洗操作；

C6基于步骤C5的执行结果，确定指标数据与打分结果的映射关系。

优选地，服务分级评估可视化子系统包括：评估选择模块、注册登录模块、个人中心模块、日志审计模块和用户管理模块；

评估选择模块用于：提供不同的网络服务质量评估的输入参数设置选项，将选择完成的输入参数发送至网络服务综合指标监测子系统；对网络服务质量精细评估子系统的评估结果进行可视化输出；

注册登录模块用于为用户提供系统登录、注册和注销功能；

个人中心模块用于查看用户账户的所有历史测试结果；

日志审计模块用于记录系统运行期间的所有报错异常；

用户管理模块用于：增加注册用户，删除注册用户，修改注册用户，管理注册用户的权限。

优选地，网络服务综合指标监测子系统包括网页指标监测模块、流媒体指标监测模块、即时通讯指标监测模块和监测类型选择模块；

网页指标监测模块用于：通过构建网页的两级指标体系，对网页类型模板的指标进行定义评估；基于定义评估的网页指标，建立监测网页类型相关值的模型；设计网页爬虫程序，通过网页爬虫程序爬取网页数据；

流媒体指标监测模块用于：通过构建流媒体的两级指标体系，对流媒体类型的指标进行定义评估；基于定义评估的流媒体指标，建立监测流媒体类型相关值的模型；

即时通讯指标监测模块用于：通过构建即时通讯的两级指标体系，对即时通讯类型的指标进行定义评估；基于定义评估的即时通讯指标，建立监测即时通讯类型相关值的模型；

监测类型选择模块用于：接收主控节点发送的监测指令，调用对应的指标监测函数，将指标检测结果传入服务质量精细评估子系统。

优选地，层次分析模块通过建立层次结构模型，对URL指标数据进行层次分级，确定每级指标的权重的过程包括：

确定一级指标的权重；

确定二级指标占一级指标的权重；

通过一级指标的权重乘以二级指标占一级指标的权重，获得所有指标权重；

层次分析模块基于两级指标体系，对指标数据层级进行两两比对，构建对比矩阵，以及计算对比矩阵的权重向量，检验权重向量的一致性的过程包括：

通过对一级指标中的指标进行两两比对，构建第一对比矩阵；

通过对二级指标中的指标进行两两对比，分别构建第二对比矩阵、第三对比矩阵和第四对比矩阵；

计算第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的最大特征根λ和对应的特征向量W；

通过式

CI＝λ-n/n-1

分别计算获得第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的一致性指标CI；式中，λ为最大特征根，n为指标数；

通过式

CR＝CI/RI

分别计算获得第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的一致性比率CR；式中，RI为随机一致性指标；

若CR<0.1，则检验通过，将权重向量w作为特征向量；若CR>＝0.1，则检验不通过，返回执行构造对比矩阵的子步骤；

将每级指标的权重进行组合，获得所有指标数据未进行层次分级的指标权重。

优选地，网页的两级指标体系中，一级指标包括响应时间属性、传输速率属性和服务鲁棒性；二级指标包括：响应时间属性中的建立连接时间、DNS解析时间、传输时间和首包时间，传输速率属性中的下载速度、最大内容绘制速率LCP和首次内容绘制速率FCP；

服务鲁棒属性中的传输丢包率、时延抖动和HTTP状态码；

流媒体的两级指标体系中，一级指标包括响应时间属性、传输速率属性和观看属性；二级指标包括：响应时间属性中的建立连接时间、DNS解析时间、传输总时间和首包时间，传输速率属性中的下载速度、码流和帧率，观看属性中的传输丢包率、时延抖动和卡帧率；

即时通讯的两级指标体系中，一级指标包括响应时间属性、交互质量属性和服务鲁棒属性；二级指标包括：响应时间属性中的登录时间和拨号连接时间，交互质量属性中的文件传输速度、消息发送延迟、图片发送速率和视频发送速率，服务鲁棒属性中的掉线率和错误码。

第二方面，本发明提供一种多类型网络应用服务质量评估方法，包括：

S1选择待评估的网络应用服务类型，选择执行监测评估任务的节点，输入待测网络应用服务的URL，选择自定义监测模块或固定监测模板，调用指标API采集初始信息；

S2基于采集的初始信息，定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；

S3确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

S4对网络服务质量精细评估子系统的评估结果进行可视化输出。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的多类型网络应用服务质量评估系统和方法，包括网络服务综合指标监测子系统、网络服务质量精细评估子系统和服务分级评估可视化子系统。网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；不同类型网络应用评估模板包括网页指标、流媒体指标和即时通讯指标。网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分。服务分级评估可视化子系统用于：用户与多类型网络应用服务质量评估系统的交互操作，设置应用服务质量参数；存储监测评估数据功能。本发明提供的系统和方法，针对评估指标粒度粗的问题，制定了多项评估指标，实现细粒度的应用服务状态精准探测感知；针对评价模型固定、不公开的问题，针对不同网络应用选择多指标构成不同评估模板，同时支持用户自定义模板，实现不同应用多样化评估；针对探测节点单一且发起于国外的问题，设计了总控节点与子节点结构的部署拓扑，实现系统在不同网络节点对应用的服务质量进行综合评估，评估结果更真实、有效。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的多类型网络应用服务质量评估系统的架构图；

图2为本发明提供的多类型网络应用服务质量评估系统的网络服务综合指标监测子系统的架构图；

图3为本发明提供的多类型网络应用服务质量评估系统的网络服务质量精细评估子系统的架构图；

图4为本发明提供的多类型网络应用服务质量评估系统的建立连接时间指标分布图；

图5为本发明提供的多类型网络应用服务质量评估系统的网页指标打分标准获取流程图；

图6为本发明提供的多类型网络应用服务质量评估系统的流媒体指标打分标准获取流程图；

图7为本发明提供的多类型网络应用服务质量评估系统的即时通讯指标打分标准获取流程图；

图8为本发明提供的多类型网络应用服务质量评估系统的层次分析确定指标权重流程图；

图9为本发明提供的多类型网络应用服务质量评估系统的服务分级评估可视化子系统架构图；

图10为本发明提供的多类型网络应用服务质量评估系统的使用流程图；

图11为本发明提供的多类型网络应用服务质量评估方法的处理流程图；

图12为本发明提供的多类型网络应用服务质量评估系统集群的拓扑结构图。

图中：

101.网络服务综合指标监测子系统102.网络服务质量精细评估子系统103.服务分级评估可视化子系统；

201.网页指标监测模块202.流媒体指标监测模块203.即时通讯指标监测模块204.监测类型选择模块；

301.监测指标打分模块302.层次分析模块303.服务质量打分模块；

901.评估选择模块902.注册登录模块903.个人中心模块904.日志审计模块905.用户管理模块。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明提供了一种针对不同网络应用的服务质量评估系统和方法，主要用于解决现有技术存在的如下技术问题。

现有技术一Lighthouse是谷歌浏览器提出的一款开源自动化工具，其通过0-100的分数区间来表示网页性能的好坏和网页QoE。其对网页服务质量的打分为网页性能分数等于各指标分数与相应的指标权重的乘积的累计和。Lighthouse的指标来自谷歌提出的“web指标”。在Lighthouse中，其选取的5个指标包括首次内容绘制时间(FCP)、速度指数(SI)、最大内容绘制时间(LCP)、总阻塞时间(TBT)和累积布局偏移时间(CLS)。其中各指标值对应的分数映射则通过谷歌根用户体验报告提供的数据，统计得到的分布函数确定，指标的分数映射，分数区间为0到100。权重值分别为：10％、10％、25％、30％、25％。该现有技术的缺点在于：

(1)技术一模型的评估指标较少，网页的评估结果可能较为片面，评估粒度较粗；评估的模板固定，用户无法选择自己想要的指标，根据需求进行更改；服务质量评估监测节点仅为运行lighthouse的主机，评估结果容易受节点自身状况影响，不够准确。

(2)技术一中的指标权重确定的方案没有公开，直接公布了权重的结果，其打分结果可能不够精准，无法使人信服。

现有技术二针对云服务下的流媒体业务，选择初始缓存时延，卡顿时长，卡顿次数，卡顿占比，码率切换次数和平均码率作为其客观评价指标。根据每个指标对QoE影响的重要程度不同使用CRITIC赋权法对QoE指标进行加权聚类；将QoE分数划分为五个等级，使用决策树+adaboost方式建立视频流媒体业务的QoE到用户体验分数的映射模型，对用户的实际体验进行预测。该技术方案的缺点在于：

(1)技术二仅在自行搭建的服务器环境下手动控制参数进行的测试，缺乏对真实业务场景的评估实现与模型准确性验证。

(2)技术二中服务质量评估结果仅简单将用户体验分数划分为五个等级，缺乏精细化的服务质量评估结果。

参见图1，本发明提供一种多类型网络应用服务质量评估系统，包括网络服务综合指标监测子系统101、网络服务质量精细评估子系统102和服务分级评估可视化子系统103；

网络服务综合指标监测子系统101用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；不同类型网络应用评估模板包括网页指标、流媒体指标和即时通讯指标；

网络服务质量精细评估子系统102用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

服务分级评估可视化子系统103用于：提供用户与所述多类型网络应用服务质量评估系统的交互操作，以及设置应用服务质量参数的功能；提供存储监测评估数据功能；将评估结果进行可视化输出。用户可以选择待测应用类型、应用地址、打分评估模板和监测节点，将指标监测结果、总评分，通过图表的形式展现出来。还提供网页帮助用户使用该系统并查看评估结果。

本项发明的目的为满足对不同类型网络应用精细化服务质量评估可定制、精细化的实际业务需求，实现对不同类型网络应用进行准确客观的服务质量评估。本发明要解决当前网络应用服务质量评估中评估手段粒度粗、评估模型固定、不公开和监测节点单一等技术问题。为此提供了一种多类型网络应用服务质量评估方法和系统。针对评估指标粒度粗的问题，制定了多项评估指标，实现细粒度的应用服务状态精准探测感知；针对评价模型固定、不公开的问题，针对不同网络应用选择多指标构成不同评估模板，同时支持用户自定义模板，实现不同应用多样化评估；针对探测节点单一且发起于国外的问题，设计了总控节点与子节点结构的部署拓扑，实现系统在不同网络节点对应用的服务质量进行综合评估，评估结果更真实、有效。

网络服务综合指标监测子系统

在本发明提供的优选实施例中，网络服务综合指标监测子系统101位于监测节点，如图2所示，由网页指标监测模块201、流媒体指标监测模块202、即时通讯指标监测模块203、监测类型选择模块204组成。功能是定义评估不同类型网络应用模板的指标，并设计能够监测其相关值的函数和程序；接收、解析主控节点发送的监测指令，并将监测结果返回主控节点。

网页指标监测模块

(1)网页类型指标体系确定

网页指标监测模块201首先需要确定影响网页服务质量的关键指标，经过分析，共选取了包含13个指标的二级指标体系。其中一级指标为：响应时间属性、传输速率属性、服务鲁棒属性。二级指标为一级指标下13个指标，包括响应时间属性中的建立连接时间、首包时间、DNS解析时间、网络延时、传输总时间、SSL握手时间、重定向时间；传输速率属性中的下载速度、最大内容绘制速率LCP、首次内容绘制速率FCP；服务鲁棒属性中的传输丢包率、时延抖动、HTTP状态码。二级指标体系如表1所示：

表1网页类型指标分级表

响应时间属性：页面加载速度快慢和一定时间内加载内容的多少

建立连接时间：通过TCP报文中时间戳、ACK、SEQ等字段信息，统计客户端发出TCP连接请求到接收服务器返回的确认报文，成功建立TCP连接所花费时间。

首包时间：指从客户端开始发送HTTP GET请求到收到服务器端返回的第一个HTTP协议数据包之间所需要的时间。

SSL握手时间：针对HTTPS业务请求，从客户端开始到与服务器完成SSL/SSH连接所花费的时间。

网络延时：数据包从客户端传输到服务器所花费的时间。

传输时间：客户端与服务器在建立连接后，完成所有数据传输所花费时间。

DNS解析时间：客户端从开始向域名服务器发送DNS请求报文，到接收DNS响应报文，完成域名解析所花费时间。

传输速率属性：资源下载速度的快慢和页面内容加载的快慢

内容下载速率：客户端从服务器下载网站全部数据的平均下载速度。

最大内容绘制速率(LCP)：是谷歌测量感知加载速度的一个以用户为中心的重要指标，记录页面的主要内容基本加载完成时，在页面加载时间轴中标记的时间点。

首次内容绘制速率(FCP)：是谷歌测量感知加载速度的一个以用户为中心的重要指标，从用户首次在屏幕上看到任何内容时，在页面加载时间轴中标记出相应的点。

服务鲁棒属性：网页在网络环境较差情况下提供服务的性能

传输丢包率：统计计算客户端与服务器间TCP重传包的个数与传输包总数的比值。

网络抖动：统计一段时间内网络时延多次检测的结果，将其前后做差求平均值。

HTTP状态码：表示服务器向客户端返回的表示本次请求完成情况的的数字代码。

(2)网页指标监测函数实现

通过pycurl库中提供的方法，使用python代码进行二次开发，实现建立连接时间、DNS解析时间、传输总时间、首包时间、SSL握手时间、重定向时间、HTTP状态码、下载速度指标的监测。

通过使用Google的web指标的评分工具lighthouse的开源代码修改编写实现最大内容绘制速率LCP、首次内容绘制速率FCP指标监测；

通过tsharke工具结合python代码，抓包统计待测网站URL在一段时间内重传的TCP包数与传输总的TCP包数之间的比值得到传输丢包率指标监测结果。

通过python的ping3库，向指定网站发送ICMP请求报文，根据返回报文的时间戳，统计、计算实现网络延时和时延抖动指标的监测。

流媒体指标监测模块

(1)流媒体类型指标体系确定

流媒体指标检测模块202首先需要确定影响流媒体服务质量的关键指标，为此经过分析，我们设计选取了共11个指标的二级指标体系。其中一级指标为：响应时间属性、传输速率属性、观看质量属性。二级指标为一级指标下11个指标，包括响应时间属性中的建立连接时间、DNS解析时间、传输总时间、首包时间；传输速率属性中的下载速度、码流、丢包率；观看质量属性中的传输丢包率、时延抖动、HTTP状态码、卡顿率。二级指标体系如表2所示：

表2流媒体类型指标分级表

响应时间属性：页面加载速度快慢和一定时间内加载内容的多少

建立连接时间：通过TCP报文中时间戳、ACK、SEQ等字段信息，统计客户端发出TCP连接请求到接收服务器返回的确认报文，成功建立TCP连接所花费时间。

首包时间：指从客户端开始发送HTTP GET请求到收到服务器端返回的第一个HTTP协议数据包之间所需要的时间。

传输总时间：客户端与服务器在建立连接后，从开始传输到所有数据传输完毕所花费的总时间。

DNS解析时间：客户端从开始向域名服务器发送DNS请求报文，到接收DNS响应报文，完成域名解析所花费时间。

传输速率属性：从服务器下载资源速度的快慢

内容下载速率：客户端从服务器下载流媒体数据的速率。

码流：视频文件在单位时间内使用的数据流量。

帧率：每秒钟播放的图片数量。

观看质量属性：流媒体应用提供服务的稳定性

传输丢包率：统计计算客户端与服务器间TCP重传包的个数与传输包总数的比值。

网络抖动：统计一段时间内网络时延多次检测的结果，将其前后做差求平均值。

卡顿率：当视频的缓存速度小于其播放速度，且缓存内容播放完时，其缓存内容的这一等待时间总和与视频正常播放完的时间的比值，称为卡顿率。

(2)流媒体指标监测函数实现

通过pycurl库中提供的方法，使用python代码进行二次开发，实现建立连接时间、DNS解析时间、开始/结束时间、首包时间的指标监测。

通过python的requests库将流媒体链接视频下载，用下载视频大小除以下载时间得到下载速率。

通过python的cv2库获得视频的码流、帧率、视频时长。如果视频时长大于下载时间记卡顿率为0，否则卡顿率＝(下载时间-视频时长)/视频时长。

通过tsharke工具结合python代码，抓包统计待测网站URL在一段时间内重传的TCP包数与传输总的TCP包数之间的比值得到传输丢包率指标监测结果。

通过python的ping3库，向指定网站发送ICMP请求报文，根据返回报文的时间戳，统计、计算实现网络延时和时延抖动指标的监测。

即时通讯指标监测模块

(1)即时通讯类型指标体系确定

即时通讯指标检测模块203首先需要确定影响即时通讯服务质量的关键指标，为此经过分析，我们设计选取了共8个指标的二级指标体系。其中一级指标为：响应时间属性、交互质量属性、服务鲁棒属性。二级指标为一级指标下8个指标，包括响应时间属性中的登录时间、拨号连接时间；交互质量属性中的消息发送时延、文件传输速率、图片发送速率、视频发送速率；服务鲁棒属性中的掉线率、错误码。二级指标体系如表3所示：

表3即时通讯类型指标分级表

响应时间属性：即时通讯服务器收到请求后，做出响应所花费的时间。

登录时间：客户端向服务器发送登录请求，完成登录过程所花费的时间。

拨号连接时间：客户端发出语音拨号请求到成功振铃过程所花费时间。

交互质量属性：完成即时通讯应用基本功能的快慢

文件传输速率：客户端间文件发送传输的速率。

消息发送时延：客户端发送短消息到对方成功接收所花费时间。

图片发送速率：客户端间图片发送传输的速率。

视频发送速率：客户端间视频发送传输的速率。

服务鲁棒属性：即时通讯应用正常提供服务的稳定性

掉线率：即时通讯客户端diaox时间除以正常登录在线时间。

错误码：即时通讯服务器出现异常时返回的错误码。

(2)即时通讯指标监测函数实现

对于即时通讯应用Telegram，采用python的pyrogram库中提供的方法，实现客户端与Telegram服务器间的交互，完成登录、消息发送、语音拨号、文件传输等功能，并监测这些功能完成所花费时间，得到指标监测结果。

对于即时通讯应用Whatsapp，通过Node.js中的WhatsApp-web.js库，实现客户端与Whatsapp服务器间的交互，完成登录、消息发送、语音拨号、文件传输等功能，并监测这些功能完成所花费时间，得到指标监测结果。

监测类型选择模块

监测类型选择模块204的主要功能是监测节点接收主控节点发送的监测指令，调用对应的指标监测函数，将指标检测结果传入服务质量评估子系统，具体流程为：

主控节点通过http协议向监测节点发送json格式的监测指令信息，传输用户设置的监测指令，其中json数据的键”author”的值对应本次测试用户的用户名，键”apptypes”的值对应用户选择的监测应用类型；键”url”的值对应待测应用地址；键”fixed”的值对应待测应用类型；键”testmodels”的值对应用户选择的服务质量评估模板。指标监测完成后，将指标结果传入用户选择的评估模板函数，进行后续的评估打分。

服务质量精细评估子系统

在本发明提供的优选实施例中，如图3所示，服务质量精细评估子系统位于监测节点，由监测指标打分模块、层次分析模块、服务质量打分模块组成。功能是制定监测指标打分标准，确定各指标间权重，得到服务质量总评分。

监测指标打分模块

监测指标打分模块301的功能是确定监测指标的评分标准，对监测的单个指标结果进行打分。

对于网页类型应用，编写爬虫程序爬取足够多的URL数据，调用网页指标监测模块对这些网站的服务质量相关指标进行监测。接着对得到的指标数据进行数据清洗，剔除对打分标准产生干扰的离群值、异常值，最后根据指标监测结果值的分布情况划定指标打分区间，例如建立连接时间指标分布情况如图4。指标打分范围为0到100分，根据监测指标值占全部指标值的百分比，将数据分布划分为10等分，即第一等分的数据对应着0-10分，第二等分的数据对应着10-20分等依次类推。其中每一等分的分数区间端点的指标数据值取前各自10％的值，例如端点分数为10分取数据分布中10％时的指标数据值。每一等分内的数据分数映射则为根据端点的指标数据值和分数得到的线性映射。数据获取处理得到打分标准的流程如图5所示。

对于流媒体类型应用，如图6所示，首先录制原始流媒体应用播放视频，再通过moviepy、TC等工具每次控制流媒体应用的单个指标变化，录制指标有损情况下的流媒体播放视频；发放打分问卷，用户首先观看正常条件下流媒体播放录制视频，接着再观看不同指标调整下的若干播放视频，体验不同指标变化下的流媒体应用服务质量变化，对体验感受进行打分，收集打分结果。为进一步保证打分结果的可靠性，对收集到的打分结果进行数据清洗。数据清洗过程如下：(1)个体一致性：为提高数据有效性，问卷中会随机提供重复的服务质量视频令用户打分，设置打分误差区间为A，用户首次打分结果为X，T为筛选强度，若重复打分结果位于区间[X-A,X+A]范围内的比例为P，当P<T时，则认为用户针对该指标的打分结果有效。(2)个体偏差：个体偏差用于衡量单个用户对单个子任务内视频打分与其他用户打分均值的差异，记用户i的打分结果为Ri，筛选强度T，当该用户的打分结果满足时，认为用户针对该指标的打分结果有效。根据用户对不同指标下的服务质量打分结果，建立监测指标数据与打分直接的映射关系。上述两个过程同时执行。/>

对于即时通讯类型应用，类似流媒体应用指标打分标准制定过程，如图7所示，首先录制正常情况下用户使用即时通讯应用的视频，再通过TC等工具每次控制其单个指标发生变化，分别录制指标有损条件下的应用使用视频；发放打分问卷，用户首先观看正常条件下使用即时通讯应用的流程视频，接着再观看不同指标调整下的若干使用视频，体验不同指标变化下的即时通讯应用服务质量变化，对使用体验进行打分，收集打分结果。为保证打分结果的有效性，同样采用个体一致性与个体偏差方法对数据进行清洗，根据用户对不同指标下的服务质量打分结果，建立监测指标数据与打分直接的映射关系。

层次分析模块

层次分析模块302的功能是使用层次分析法确定影响服务质量的不同指标间权重，如图7所示，层次分析法确定各指标过程如下：

1、建立层次结构模型。由于指标数量较多，因此根据其类型，将指标分为两级。先对一级指标确定权重，再确定二级指标占一级指标的权重，最后所有指标权重就等于一级指标权重乘以二级指标占一级指标的权重。

2、确定指标的成对比较矩阵。如上文所述，由于将指标分为两级，所以首先确定一级指标间权重，再确定二级指标。以网页类型应用为例，其中包括响应时间属性、传输速率属性、服务鲁棒属性三个一级指标，通过两两比对，构建成对比较矩阵；再对二级指标响应时间属性下的指标：建立连接时间、DNS解析时间、传输总时间、首包时间、SSL握手时间、网络延时、重定向时间，构建成对比较矩阵；对二级指标传输速率属性下的指标：下载速度、最大内容绘制速率LCP、首次内容绘制速率FCP构建成对比较矩阵；对服务鲁棒属性中的传输丢包率、时延抖动构建成对比较矩阵。

3、计算权重向量并做一致性检验。对于上述的每一个成对比较矩阵计算最大特征根λ及对应特征向量W，利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验。其中CI＝λ-n/n-1，式中λ为最大特征根，n为指标数；RI的标准如下表4所示；CR＝CI/RI。若CR<0.1，则检验通过，特征向量(归一化后)即为权重向量w；若CR>＝0.1,则不通过，需重新构造成对比较阵。

表4随机一致性指标RI

n	1	2	3	4	5	6	7	8	…
										RI	0	0	0.52	0.89	1.12	1.36	1.41	1.46	…

4、组合各级权重向量。将一级指标的权重与二级指标占一级指标的权重进行组合，得到该系统所有指标没有分级时的指标权重并保存。

在另外一些实施例中，还可以采用机器学习的方法计算指标权重。

机器学习是一门关于数据学习的科学技术，它能帮助机器从现有的复杂数据中学习规律，以预测未来的行为结果和趋势。为了确定网页类型的细粒度评估模型的分级指标的权重，还可以采取机器学习的方式，通过对数据进行归一化处理和对数据打标签，输入监测指标T_i，输出指标权重W_i，以此确定网页评分。网页三个维度的评分和总的评分可由以下公式实现

/>

其中S可表示为网页三个维度的评分和总的评分，T_i表示为评分对应的指标i的分值、W_i表示为评分对应的指标i的权重。

建立机器学习模型的输入量有多种表述方法，如变量(variable)、特征(feature)、描述符(descriptor)等，其根据研究问题或目标量的需求而定。在本项目中，一般是获取连接时间、DNS解析时间、下载速度和丢包率等从网页监测中获取的指标数据。通过数据清洗和数据归一化等方法对数据进行处理，同时还需对这些指标数据进行网页好坏的打标签处理。机器学习模型的输入量应为数据处理后的各项指标与其标签，其输出量应为以各项指标的权重。根据指标权重自然而然的可以得到分级指标系统的三维指标的权重，从而实现对于指标权重的确定。知道指标权重与指标分数，最终可以实现网页的性能评分。

服务质量打分模块

服务质量打分模块303的功能是按照用户的选择对应用服务质量进行打分。首先根据监测指标打分模块得到的打分标准，对指标监测子系统传入的监测值进行0-100的分数映射；根据用户所选指标、评分模板以及层次分析模块确定的权重矩阵，对监测的网络应用服务质量进行打分。对每个网络应用，用户既可以使用系统提供的固定评分模板，也可以灵活选择监测指标定义新模板。系统通过对指标的灵活选择和组合，实现多样化的评分模板，对不同类型应用服务进行精细化评估，并生成数据字典通过接口返回结果数据。

服务分级评估可视化子系统

在本发明提供的优选实施例中，服务分级评估可视化子系统采用Django框架做后端、Vue框架做前端以及MYSQL作为数据库，采取Web的可视化方式与用户进行交互，部署网站后用户只需访问页面并登陆即可进行网络应用服务质量评估，用户使用更加便捷和高效。如图9所示，该子系统包括：评估选择模块901、注册登录模块902、个人中心模块903、日志审计模块904、用户管理模块905。

评估选择模块901的功能是用户设置不同参数使用该系统进行服务质量评估，同时将结果可视化呈现。用户操作进行一次服务质量评估的流程为：打开可视化评分网页——选择待测应用类型并输入应用地址——选择评分指标、节点等参数，点击确定进行评估——查看指标监测结果和评分数据图表。系统还同时支持批量评估，用户可以将全部待测应用URL写入word、excel、txt上传至网站进行批量评估。

注册登录模块902：为用户提供系统登录、注册、注销功能。用户点击注册按钮，输入用户名、密码等信息，通过验证完成注册。在网站初始登录页面输入用户名、密码即可登录使用本系统。

个人中心模块903：用户登录后点击个人中心模块903可以查看该账户的所有历史测试结果。

日志审计模块904：记录了系统运行期间的所有报错异常，便于后续升级优化。

用户管理模块905：系统管理员通过该模块实现对用户的增删改；对用户权限进行管理。

图10为本发明提供的系统的使用过程示例图。

第二方面，如图11所示，本发明提供一种多类型网络应用服务质量评估方法，包括：

S1选择待评估的网络应用服务类型，选择执行监测评估任务的节点，输入待测网络应用服务的URL，选择自定义监测模块或固定监测模板，调用指标API采集初始信息；

S2基于采集的初始信息，定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；

S3确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

S4对网络服务质量精细评估子系统的评估结果进行可视化输出。

该评估结果用于多类型网络应用服务质量的监测和评价，并且为网络应用的后续改进升级提供依据。

第三方面，本发明提供一种多类型网络应用服务质量评估系统集群，包括多个监测节点，以及分别控制该多个监测节点的总控节点。每个监测节点都具有上述的评估系统。具体可以如图12所显示的，其中总控节点用于系统的数据的存储与可视化呈现，根据用户选择的参数向监测节点发出监测评估指令，并接收、呈现其评估结果。但由于网络应用通常对不同地区用户所能提供的服务质量不同，仅从单一节点对服务质量进行评估，不能真实反映在全球范围内的服务质量水平；同时指标监测结果也可能受节点自身网络状况的影响，导致出现网络异常波动时不能准确评估应用服务质量。因此本系统将监测节点部署于全球各个地区，用于不同地区对该应用的指标数据获取和服务质量评估，用户可以灵活选择查看单个监测节点的监测结果，或选取多个监测节点结果均值以综合评估网络应用服务质量，实现对不同网络应用服务质量的精细化、准确评估。

本发明还提供两个实施例，用于示例性地显示本发明提供的系统的应用场景。

实施例一

使用本发明所述多类型网络应用服务质量评估系统，用户既可以使用系统提供的若干打分模型，也可根据需要自定义设置打分模型参数，得到不同应用的服务质量精细化评估结果。

A、企业开发人员可以使用本发明系统对开发的网络应用进行监控，及时发现服务质量的异常情况，根据指标监测结果，寻找应用出现的问题，做出合适的调整，提高用户体验。

B、或者企业开发人员想要将自身应用服务质量与其他厂商应用进行横向对比，可以使用本开发系统对应用进行监测，根据评估结果查看不同应用间服务质量差距，并通过指标监测结果寻找后续应用升级、优化方向。

C、或者网络应用用户想要在若干同类型应用中寻找服务质量最好的、最贴合自身需求的应用，可以使用本发明系统对应用服务质量进行评估，选择最合适的应用。

实施例二

使用本发明所述多类型网络应用服务质量评估系统，用户可以选择不同节点对应用服务质量进行评估。

A、用户可以选择不同的单个监测节点，查看该节点的服务质量评估结果，反映该节点位置用户的使用体验。

B、或者用户可以选择若干监测节点同时对应用服务质量进行监测，取评估得分均值，得到服务质量综合评估结果。

综上所述，本发明提供的多类型网络应用服务质量评估系统和方法，包括网络服务综合指标监测子系统、网络服务质量精细评估子系统和服务分级评估可视化子系统。网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对不同类型网络应用评估模板的指标进行监测；不同类型网络应用评估模板包括网页指标、流媒体指标和即时通讯指标。网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分。服务分级评估可视化子系统用于：用户与多类型网络应用服务质量评估系统的交互操作，设置应用服务质量参数；存储监测评估数据功能。本发明提供的系统和方法，针对评估指标粒度粗的问题，制定了多项评估指标，实现细粒度的应用服务状态精准探测感知；针对评价模型固定、不公开的问题，针对不同网络应用选择多指标构成不同评估模板，同时支持用户自定义模板，实现不同应用多样化评估；针对探测节点单一且发起于国外的问题，设计了总控节点与子节点结构的部署拓扑，实现系统在不同网络节点对应用的服务质量进行综合评估，评估结果更真实、有效。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.多类型网络应用服务质量评估系统，其特征在于，包括网络服务综合指标监测子系统、网络服务质量精细评估子系统和服务分级评估可视化子系统；

所述网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对所述不同类型网络应用评估模板的指标进行监测；所述不同类型网络应用评估模板包括网页指标、流媒体指标和即时通讯指标；

网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

所述服务分级评估可视化子系统用于：提供用户与所述多类型网络应用服务质量评估系统的交互操作，以及设置应用服务质量参数的功能；提供存储监测评估数据功能；将评估结果进行可视化输出。

2.根据权利要求1所述的系统，其特征在于，所述网络服务质量精细评估子系统包括监测指标打分模块、层次分析模块和服务质量打分模块；

所述监测指标打分模块用于：确定监测指标的评分标准，对监测的网页指标、流媒体指标和即时通讯指标的结果进行打分；

所述层次分析模块用于：通过建立层次结构模型，对指标数据进行层次分级，确定每级指标的权重；基于所述两级指标体系，对指标数据层级进行两两比对，构建对比矩阵；计算所述对比矩阵的权重向量，检验所述权重向量的一致性；将每级指标的权重进行组合，获得所有指标数据未进行层次分级的指标权重；

所述服务质量打分模块用于：根据所述监测指标打分模块得到的打分标准，对所述指标监测子系统传入的监测值进行分数映射；根据用户所选指标、评分模板以及所述层次分析模块确定的权重矩阵，对监测的网络应用服务质量进行打分。

3.根据权利要求2所述的系统，其特征在于，所述监测指标打分模块通过如下过程对监测的网页指标的结果进行打分：

A1读取一条获取的URL数据，判断读取的URL数据的URL数n是否为0，若是则执行步骤A2，否则，保存网页指标的值，将URL数n-1，然后重新执行本步骤；

A2对网页指标的数据进行数据清洗处理；

A3对数据清洗处理后的网页指标的数据存入xlsx文件；

A4读取数据清洗处理后的网页指标的数据，获得指标数据分布情况；

A5根据指标数据分布情况，指定网页指标的打分标准并保存；

所述监测指标打分模块通过如下过程对监测的流媒体指标的结果进行打分：

B1录制原始用户体验流媒体应用播放的视频；

B2通过工具多次改变所述视频的指标；

B3基于步骤B2的执行结果，录制不同指标不同损失程度下的用户流媒体播放体验视频；

B4对所述不同指标不同损失程度下的用户流媒体播放体验视频分别进行打分；

B5对步骤B4的打分结果进行数据清洗操作；

B6基于步骤B5的执行结果，确定指标数据与打分结果的映射关系；

步骤B5具体包括：

B51设置打分误差区间为A，首次打分的结果为X，T为筛选强度；

B52若重复打分结果位于区间[X-A,X+A]范围内的比例为P，且P<T时，判定打分结果为有效；

B53设置用户i的打分结果为Ri，筛选强度为T；

B54若用户i的打分结果满足时，判定打分结果为有效；

所述监测指标打分模块通过如下过程对监测的即时通讯指标的结果进行打分：

C1录制原始情况的用户体验即时通讯应用视频；

C2通过工具多次改变所述原始情况的用户体验即时通讯应用视频的指标；

C3基于步骤C2的执行结果，录制不同指标不同损失程度下的用户即时通讯播放体验视频；

C4对所述不同指标不同损失程度下的用户即时通讯播放体验视频分别进行打分；

C5对步骤C4的打分结果进行数据清洗操作；

C6基于步骤C5的执行结果，确定指标数据与打分结果的映射关系。

4.根据权利要求1所述的系统，其特征在于，所述服务分级评估可视化子系统包括：评估选择模块、注册登录模块、个人中心模块、日志审计模块和用户管理模块；

所述评估选择模块用于：提供不同的网络服务质量评估的输入参数设置选项，将选择完成的输入参数发送至所述网络服务综合指标监测子系统；对所述网络服务质量精细评估子系统的评估结果进行可视化输出；

所述注册登录模块用于为用户提供系统登录、注册和注销功能；

所述个人中心模块用于查看用户账户的所有历史测试结果；

所述日志审计模块用于记录所述系统运行期间的所有报错异常；

所述用户管理模块用于：增加注册用户，删除注册用户，修改注册用户，管理注册用户的权限。

5.根据权利要求1至4任一所述的系统，其特征在于，所述网络服务综合指标监测子系统包括网页指标监测模块、流媒体指标监测模块、即时通讯指标监测模块和监测类型选择模块；

所述网页指标监测模块用于：通过构建网页的两级指标体系，对网页类型模板的指标进行定义评估；基于定义评估的网页指标，建立监测网页类型相关值的模型；设计网页爬虫程序，通过所述网页爬虫程序爬取网页数据；

所述流媒体指标监测模块用于：通过构建流媒体的两级指标体系，对流媒体类型的指标进行定义评估；基于定义评估的流媒体指标，建立监测流媒体类型相关值的模型；

所述即时通讯指标监测模块用于：通过构建即时通讯的两级指标体系，对即时通讯类型的指标进行定义评估；基于定义评估的即时通讯指标，建立监测即时通讯类型相关值的模型；

所述监测类型选择模块用于：接收主控节点发送的监测指令，调用对应的指标监测函数，将指标检测结果传入所述服务质量精细评估子系统。

6.根据权利要求5所述的系统，其特征在于，所述层次分析模块通过建立层次结构模型，对URL指标数据进行层次分级，确定每级指标的权重的过程包括：

确定一级指标的权重；

确定二级指标占一级指标的权重；

通过一级指标的权重乘以二级指标占一级指标的权重，获得所有指标权重；

所述层次分析模块基于所述两级指标体系，对指标数据层级进行两两比对，构建对比矩阵，以及计算所述对比矩阵的权重向量，检验所述权重向量的一致性的过程包括：

通过对所述一级指标中的指标进行两两比对，构建第一对比矩阵；

通过对所述二级指标中的指标进行两两对比，分别构建第二对比矩阵、第三对比矩阵和第四对比矩阵；

计算所述第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的最大特征根λ和对应的特征向量W；

通过式

CI＝λ-n/n-1

分别计算获得所述第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的一致性指标CI；式中，λ为最大特征根，n为指标数；

通过式

CR＝CI/RI

分别计算获得所述第一对比矩阵、第二对比矩阵、第三对比矩阵和第四对比矩阵的一致性比率CR；式中，RI为随机一致性指标；

若CR<0.1，则检验通过，将权重向量w作为特征向量；若CR>＝0.1，则检验不通过，返回执行构造对比矩阵的子步骤；

将每级指标的权重进行组合，获得所有指标数据未进行层次分级的指标权重。

7.根据权利要求6所述的系统，其特征在于，所述网页的两级指标体系中，一级指标包括响应时间属性、传输速率属性和服务鲁棒性；二级指标包括：响应时间属性中的建立连接时间、DNS解析时间、传输时间和首包时间，传输速率属性中的下载速度、最大内容绘制速率LCP和首次内容绘制速率FCP；服务鲁棒属性中的传输丢包率、时延抖动和HTTP状态码；

所述流媒体的两级指标体系中，一级指标包括响应时间属性、传输速率属性和观看属性；二级指标包括：响应时间属性中的建立连接时间、DNS解析时间、传输总时间和首包时间，传输速率属性中的下载速度、码流和帧率，观看属性中的传输丢包率、时延抖动和卡帧率；

所述即时通讯的两级指标体系中，一级指标包括响应时间属性、交互质量属性和服务鲁棒属性；二级指标包括：响应时间属性中的登录时间和拨号连接时间，交互质量属性中的文件传输速度、消息发送延迟、图片发送速率和视频发送速率，服务鲁棒属性中的掉线率和错误码。

8.多类型网络应用服务质量评估方法，其特征在于，包括：

S1选择待评估的网络应用服务类型，选择执行监测评估任务的节点，输入待测网络应用服务的URL，选择自定义监测模块或固定监测模板，调用指标API采集初始信息；

S2基于采集的初始信息，定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对所述不同类型网络应用评估模板的指标进行监测；

S3确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；

S4对所述网络服务质量精细评估子系统的评估结果进行可视化输出。