CN110535684A - 一种基于dpi实现网页浏览业务感知评估的方法和装置 - Google Patents

一种基于dpi实现网页浏览业务感知评估的方法和装置 Download PDF

Info

Publication number
CN110535684A
CN110535684A CN201910671840.3A CN201910671840A CN110535684A CN 110535684 A CN110535684 A CN 110535684A CN 201910671840 A CN201910671840 A CN 201910671840A CN 110535684 A CN110535684 A CN 110535684A
Authority
CN
China
Prior art keywords
http
dns
dpi
index
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671840.3A
Other languages
English (en)
Inventor
张金树
叶志钢
张本军
刘卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Greenet Information Service Co Ltd
Original Assignee
Wuhan Greenet Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Greenet Information Service Co Ltd filed Critical Wuhan Greenet Information Service Co Ltd
Priority to CN201910671840.3A priority Critical patent/CN110535684A/zh
Publication of CN110535684A publication Critical patent/CN110535684A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0847—Transmission error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及网络通信技术领域，具体涉及一种基于DPI实现网页浏览业务感知评估的方法和装置，方法包括：通过DPI技术将用户上网的三个关键业务过程进行关联，生成过程话单；对所述过程话单进行分析，获取主流网站的多个页面相关指标；对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分；其中，所述三个关键业务过程分别为：DNS解析、TCP建立和http请求/响应。本发明基于DPI技术将用户上网的三个业务过程关联，生成过程话单，根据过程话单获取的页面相关指标计算得到评分，可从整体上对网页浏览业务进行感知评估，有利于全网感知质量评价，并能及时发现和定位影响用户体验差的大面积故障。

Description

一种基于DPI实现网页浏览业务感知评估的方法和装置
【技术领域】
本发明涉及网络通信技术领域，具体涉及一种基于DPI实现网页浏览业务感知评估的方法和装置。
【背景技术】
随着4G流量井喷式的增长，移动互联网业务的发展将进入一个全新的时期，而数据业务急激增长使得对移动用户感知满意度的测评显得尤为重要，这就需要建立一种移动业务感知评估模型，从端到端的各个环节来探索网页浏览等业务感知。移动网业务感知系统，以移动用户上网业务流程交互的各个环节指标为主，全面准确地反映用户上网业务感知情况，对影响用户上网业务感知质量进行问题分析和定位。系统面向业务质量、网络性能、网元性能等建立业务质量KQI(Key Quality Indicators，关键质量指标)指标体系，关联体现上网业务过程的KPI(Key Performance Indicator，关键绩效指标)指标体系，从而快速准确地分析问题发生阶段，并使用错误原因码与多维分析找到问题原因、业务瓶颈；同时，以网元聚类、错误码定界等方法进行问题的定界、定位分析，从而针对特定问题进行解决制定出切实有效的解决方案。
移动互联网业务感知系统，对于数据采集部分包括APP测试数据和DPI采集数据，APP测试数据通过在终端上模拟用户上网的模式采集业务感知KQI指标，DPI采集数据则是从核心网侧采集业务感知KQI指标。两者的不同在于，APP测试数据可记录用户上网业务从终端到接入网到核心网到基站的完整过程，其中就包括了DNS解析、TCP建立和http请求/响应这三个关键的业务过程；而DPI采集数据主要记录核心侧到SP侧之间的过程，并生成DNS话单和HTTP话单这两类话单。其中，DNS话单主要涉及DNS解析过程，HTTP话单主要涉及TCP建立和http请求/响应过程。
传统方案中，在利用DPI技术进行业务感知评价时，只能分别对两类话单进行指标分析，基于这两类话单建立端到端的QoE(Quality of Experience，体验质量)指标体系，而无法将用户上网的三个关键业务过程进行关联分析，即无法分析总过程，导致最终无法从整体上对网页浏览业务进行感知评估，评价粒度相对较粗，不利于全网感知质量评价，也就不利于及时发现和定位影响用户体验差的大面积故障。
鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明需要解决的技术问题是：
传统方案在利用DPI进行业务感知评价时，基于DNS话单和HTTP话单进行指标分析，无法将用户上网的三个关键业务过程进行关联，评价粒度相对较粗，导致无法从整体上对网页浏览业务进行感知评估，不利于全网感知质量评价，也不利于及时发现和定位故障。
本发明通过如下技术方案达到上述目的：
第一方面，本发明提供了一种基于DPI实现网页浏览业务感知评估的方法，包括：
通过DPI技术将用户上网的至少三个关键业务过程进行关联，生成过程话单；
对所述过程话单进行分析，获取网站的多个页面相关指标；
对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分；
其中，所述至少三个关键业务过程包括：DNS解析、TCP建立和http请求/响应。
优选的，所述通过DPI技术将用户上网的三个关键业务过程进行关联，生成过程话单，具体包括：
创建一个新的http过程表，记为HTTP_procedure；其中，所述HTTP_procedure的主键为user_ip+host；
当DNS请求到来时，根据主键user_ip+host创建过程数据块，并将DNS相关的字段信息填到所述过程数据块；
当host请求到来，且与DNS请求关联匹配上时，根据主键user_ip+host找到过程数据块，并将http字段信息填到所述过程数据块；
基于所述过程数据块中的信息生成过程话单，并从HTTP_procedure输出所述过程话单。
优选的，判断host请求与DNS请求是否关联匹配上的方法具体为：计算host请求与DNS请求之间的时间间隔，并与第一预设时间阈值比较；
如果所述时间间隔超过所述第一预设时间阈值，则DNS请求与http请求不属于同一个http过程，host请求与DNS请求不能关联匹配；
如果所述时间间隔在所述第一预设时间阈值内，则DNS请求与http请求属于同一个http过程，host请求与DNS请求能够关联匹配。
优选的，在所述从HTTP_procedure输出所述过程话单之前，所述方法还包括：
根据所述过程数据块的创建时间计算所述过程数据块的存活时间，并判断所述存活时间是否达到第二预设时间阈值；
当所述存活时间达到第二预设时间阈值时，从HTTP_procedure输出所述过程话单。
优选的，所述过程话单中包括用户上网过程的关键字段的信息；其中，所述关键字段包括Start Time、End Time、Duration、Status、DomainName、DNS Number、User Port、DNSServer IP Addr、DNS Server Port、DNS QueryTime、DNS ResponseTime、DNS Qurey Type、DNS A Count、DNS CNAME Count、DNS Anwser、DNS Reply Code、Service Type、HTTP StartTime、HTTP End Time、HTTP Duration、TCP SYN Time、TCP SYN_ACK Time、TCP ACK Time、Host、URL、HTTP Status、HTTP Request Time、HTTP First Response Time和HTTP LastRespones Time中的一项或多项。
优选的，所述页面相关指标包括KPI指标和KQI指标；
所述KPI指标包括TCP Ack2、TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率中的一项或多项；
所述KQI指标包括首包时延、首页时延和下载速率中的一项或多项。
优选的，在多个页面相关指标中，KPI指标中的TCP Ack2属于无线网环节，KPI指标中的TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率，以及KQI指标中的首包时延、首页时延和下载速率属于业务平台环节；
在对所述多个页面相关指标进行加权计算之前，所述方法还包括：针对每个环节中的各个页面相关指标，分别赋予相应的指标权重；对两个环节分别赋予相应的业务权重。
优选的，所述对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分，具体包括：
根据指标权重，分别对无线网环节的各项页面指标进行加权计算，得到无线网环节对应的第一感知评分；
根据指标权重，分别对业务平台环节的各项页面指标进行加权计算，得到业务平台环节对应的第二感知评分；
根据业务权重，对所述第一感知评分和所述第二感知评分进行加权计算，得到用户网页浏览业务的综合感知评分。
优选的，所述网站包括苹果、微博、腾讯、新浪、网易163、搜狐、人民网、百度、淘宝和凤凰网中的一项或多项。
第二方面，本发明还提供了一种基于DPI实现网页浏览业务感知评估的装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于第一方面所述的基于DPI实现网页浏览业务感知评估的方法。
本发明的有益效果是：
本发明提供的网页浏览业务感知评估方法中，基于DPI技术将用户上网的三个关键业务过程进行关联，生成新的过程话单，通过分析过程话单获取网站的页面相关指标，最终通过指标计算即可得到评分；该方案可通过实时监控从整体上对网页浏览业务进行感知评估，有利于全网感知质量评价，并能及时发现和定位影响用户体验差的大面积故障，实现网络质量异动预警。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于DPI实现网页浏览业务感知评估的方法流程图；
图2为本发明实施例提供的通过分析过程话单获取的多个页面相关指标的分类图；
图3为本发明实施例提供的一种过程话单的生成方法流程图；
图4为本发明实施例提供的一种过程话单的生成逻辑示意图；
图5为本发明实施例提供的一种综合感知评分的计算示意图；
图6为本发明实施例提供的一种基于城市维度的得分情况示意图；
图7为本发明实施例提供的一种基于DPI实现网页浏览业务感知评估的装置架构图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明各实施例中，符号“/”表示同时具有两种功能的含义，而对于符号“A和/或B”则表明由该符号连接的前后对象之间的组合包括“A”、“B”、“A和B”三种情况。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1：
本发明实施例提供了一种基于DPI实现网页浏览业务感知评估的方法，用于评估用户上网浏览时的业务感知。如图1所示，所述方法主要包括以下步骤：
步骤201，通过DPI技术将用户上网的至少三个关键业务过程进行关联，生成过程话单。
其中，所述至少三个关键业务过程包括：DNS解析、TCP建立和http请求/响应。为简化关联过程，过程话单并不是针对全网业务进行关联，而是根据指定的多个有代表性的主流网站进行关联，通过对多个主流网站网页时延的检查来衡量网络质量，判断是否出现面积性的故障。需要注意的是，这里的过程话单是指http过程话单，本发明实施例中简称为“过程话单”。
对于主流网站的选取应具有代表性，用户浏览量应较大，比如可选取苹果、微博、腾讯、新浪、网易163、搜狐、人民网、百度、淘宝和凤凰网等等；同时，选取的数量也应适当，可形成足够的样本。在本发明实施例中，选取了上述提到的10个主流网站，通过对10个主流网站的业务过程进行关联，生成所需的过程话单。
步骤202，对所述过程话单进行分析，获取主流网站的多个页面相关指标。
获取到的页面相关指标理应能够反应出用户上网感知情况，主要体现在网页响应时延、DNS解析时延、DNS成功率、TCP建立时延、发送请求时延等，基本上可涵盖业务过程的三个关键阶段从而形成端到端的监控分析。在本发明实施例中，所述页面相关指标包括KPI指标和KQI指标；所述KPI指标包括TCP Ack2、TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率中的一项或多项；所述KQI指标包括首包时延、首页时延和下载速率中的一项或多项。
其中，在多个页面相关指标中，KPI指标中的TCP Ack2属于无线网环节，KPI指标中的TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率，以及KQI指标中的首包时延、首页时延和下载速率属于业务平台环节，如图2所示。为了完成步骤203中的加权计算，需要先针对每个环节中的各个页面相关指标，分别赋予相应的指标权重；同时对两个环节分别赋予相应的业务权重。
步骤203，对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分。
本发明从各个环节入手来进行端到端的感知质量评价，评分过程具体如下：首先，根据预先设置的指标权重，分别对无线网环节的各项页面指标进行加权计算，得到无线网环节对应的第一感知评分；同时，仍是根据预先设置的指标权重，分别对业务平台环节的各项页面指标进行加权计算，得到业务平台环节对应的第二感知评分；然后，根据预先设置的业务权重，对所述第一感知评分和所述第二感知评分进行加权计算，得到用户网页浏览业务的综合感知评分，即全网业务感知的QoE得分。根据得分即可确定用户上网的业务感知情况。
本发明实施例提供的上述网页浏览业务感知评估方法中，基于DPI技术将用户上网的三个关键业务过程进行关联，生成新的过程话单，通过分析过程话单获取网站的页面相关指标，最终通过指标计算即可得到评分，可从整体上对网页浏览业务进行感知评估，有利于全网感知质量评价，并能及时发现和定位影响用户体验差的大面积故障，实现网络质量异动预警。
其中，本发明实施例中选取考核的10个主流网站如表1。
表1 10个主流网站及其URL
网站 URL
苹果 http://<u>www.apple.com/cn</u>
微博 <u>http://m.weibo.cn</u>
腾讯 <u>http://info.3g.qq.com</u>
新浪 http://<u>sina.cn</u>
网易163 http://<u>3g.163.com</u>/touch
搜狐 http://<u>m.sohu.com</u>
人民网 http://<u>m.people.cn</u>
百度 http://<u>m.baidu.com</u>
淘宝 http://<u>m.taobao.com</u>
凤凰网 http://<u>i.ifeng.com</u>
在所述步骤201生成的过程话单中，包括了用户上网过程的关键字段的信息；其中，所述关键字段包括Start Time、End Time、Duration、Status、DomainName、DNS Number、User Port、DNS Server IP Addr、DNS Server Port、DNS QueryTime、DNS ResponseTime、DNS Qurey Type、DNS A Count、DNS CNAME Count、DNS Anwser、DNS Reply Code、ServiceType、HTTP Start Time、HTTP End Time、HTTP Duration、TCP SYN Time、TCP SYN_ACKTime、TCP ACK Time、Host、URL、HTTP Status、HTTP Request Time、HTTP First ResponseTime和HTTP Last Respones Time中的一项或多项。具体如表2所示。
表2 过程话单中包括的关键字段信息
参考图3，所述通过DPI技术将用户上网的三个关键业务过程进行关联，生成过程话单，即步骤201，具体包括以下步骤：
步骤2011，创建一个新的http过程表，记为HTTP_procedure；其中，所述HTTP_procedure的主键为user_ip+host。
具体可结合图4，首先在感知评估系统创建一个新的http过程表，用于后续输出过程话单，该表的主键key为user_ip+host，即user_ip和host的组合方式呈现；例如：“192.168.1.1_adminstor”。
步骤2012，当DNS请求到来时，根据主键user_ip+host创建过程数据块，并将DNS相关的字段信息填到所述过程数据块。
一个http过程中会有多个DNS请求，在首个DNS请求到来时即可创建过程数据块，并将DNS相关的字段信息刷入所述过程数据块；后续每次DNS请求到来时，同样将DNS相关的字段信息刷入所述过程数据块。结合图4，过程数据块的建立是为了后续创建过程关联时使用，所述DNS相关的字段信息包括DNS请求时间戳(DNS QueryTime)、DNS响应时间戳(DNSResponseTime)、DNS响应码(DNS Reply Code)和DNS服务器IP地址(DNS Server IP Addr)等等，具体可参考表2中的字段信息，未在图4中一一列出。
步骤2013，当host请求到来，且与DNS请求关联匹配上时，根据主键user_ip+host找到过程数据块，并将http字段信息填到所述过程数据块。
继续结合图4，DNS请求到来后，会建立TCP连接，并通过TCP连接发起http请求，http请求会与DNS请求进行关联匹配，如果能够关联匹配上，也就相当于http请求/响应过程(其中包括TCP建立)可与DNS解析过程关联匹配，则可继续将http字段信息(http info)填到所述过程数据块。其中，所述http字段信息包括HTTP请求包时间戳(HTTP RequestTime)、HTTP业务流开始时间(HTTP Start Time)、HTTP业务流结束时间(HTTP End Time)、HTTP业务流持续时间(HTTP Duration)等等，具体可参考表2中的字段信息，未在图4中一一列出。
步骤2014，基于所述过程数据块中的信息生成过程话单，并从HTTP_procedure输出所述过程话单。
通过步骤2011-2013，用户上网的三个关键业务过程已经关联完成，因此可以基于所述过程数据块中填充的信息生成HTTP_procedure XDR(即http的过程话单)，并从http表HTTP_procedure中输出。
其中，在步骤2013中，判断host请求与DNS请求是否关联匹配上的方法具体如下：
计算host请求与DNS请求之间的时间间隔，并与第一预设时间阈值比较，以此来校验host请求与DNS请求是否属于同一个http过程。如果所述时间间隔超过所述第一预设时间阈值，则DNS请求与http请求不属于同一个http过程，host请求与DNS请求不能关联匹配；如果所述时间间隔在所述第一预设时间阈值内，则DNS请求与http请求属于同一个http过程，host请求与DNS请求能够关联匹配。
例如，所述第一预设时间阈值可设置为4s，如果发起www.baidu.com的DNS请求后10秒才发起www.baidu.com的http请求，则此DNS请求与http请求不属于一个过程(10s＞4s)，对应的http请求/响应过程也就无法与DNS解析过程关联，无需向所述过程数据块内添加http字段信息。相反地，如果发起www.baidu.com的DNS请求后2秒就发起www.baidu.com的http请求，则此DNS请求与http请求属于一个过程(2s＜4s)，对应的http请求/响应过程与DNS解析过程关联上，此时向所述过程数据块内添加对应的http字段信息。
进一步参考图4，在步骤2014中，对于关联成功后得到的过程数据块，可直接基于过程数据块中的信息生成过程话单，并从HTTP_procedure输出所述过程话单。而对于未在第一预设时间阈值内关联成功的情况，考虑到临时创建的过程数据块都是有一定的存活时间要求的，为防止所述过程数据块意外超时，对应生成的过程话单也需要及时输出。结合图4，对于这类情况，在步骤2014中生成过程话单之后，从HTTP_procedure输出所述过程话单之前，所述方法还包括：
根据所述过程数据块的创建时间计算所述过程数据块的存活时间，并判断所述存活时间是否达到第二预设时间阈值；当所述存活时间达到第二预设时间阈值时，从HTTP_procedure输出所述过程话单。例如，所述第二预设时间阈值可设置为10s，当所述过程数据块的存活时间已经达到或超过10s，则为了防止过程数据块的意外超时，此时需从HTTP_procedure输出HTTP_procedure XDR(即过程话单)。
进一步地，在所述步骤203中对得到的多个页面相关指标进行加权计算时，需首先建立一套评分机制，即针对无线网环节中的各个页面相关指标分别赋予相应的指标权重，针对业务平台环节中的各个页面相关指标分别赋予相应的指标权重，针对两个环节分别赋予相应的业务权重。在一个具体的实施例中，评分机制可参考表3。
表3 QoE评分机制
在本发明实施例中，由于无线网环节仅涉及TCP Ack2指标，因此该指标的指标权重直接设为100％。在业务平台环节中，TCP成功率、TCP重传率、TCP乱序率、DNS成功率、http成功率、首包时延、首页时延和下载速率等各项指标，可按照实际的分析需求和/或各指标在分析时的重要程度等，来赋予对应的指标权重。表3中提供的各权重值仅为给出的一个具体实施例，但并不用以限制本发明。
按照上述具体实施例中的评分机制，在进行加权计算时，可按照小时或天的粒度来计算综合感知评分，得分情况如图5所示：由TCP Ack2指标得分直接得到无线网环节对应的第一感知评分，根据表3中的指标权重对TCP成功率、TCP重传率、TCP乱序率、DNS成功率、http成功率、首包时延、首页时延和下载速率进行加权计算，得到业务平台环节对应的第二感知评分；最后根据表3中的业务权重，对两个环节对应的得分(即第一感知评分和第二感知评分)加权计算，得到用户网页浏览业务的综合感知评分。
其中，在生成过程话单时采集的信息中通常都会包含对应的城市位置、终端、用户等不同维度的信息；因此，在最后计算得分时，也可以按照实际需求对维度信息进行筛选分类，进而从不同的维度来计算QoE得分。例如，如果想要获取不同城市的用户网页浏览业务的感知情况，则对过程话单中获取的指标信息按照城市属性进行分类，然后分别对不同城市维度下的指标进行加权计算，最终得到不同城市的QoE得分，不同城市分别以不同字母表示，得分情况如图6所示。
通过上述方法，最终得到的QoE评分即可代表全网用户评分，从评分高低就可对用户网页浏览业务的感知情况进行评估，有利于及时发现和定位影响用户体验差的大面积故障，并基于全网用户的端到端网络给出优化建议。
实施例2：
在上述实施例1提供的基于DPI实现网页浏览业务感知评估的方法的基础上，本发明还提供了一种可用于实现上述方法的基于DPI实现网页浏览业务感知评估的装置，如图7所示，是本发明实施例的装置架构示意图。本实施例的基于DPI实现网页浏览业务感知评估的装置包括一个或多个处理器21以及存储器22。其中，图7中以一个处理器21为例。
所述处理器21和所述存储器22可以通过总线或者其他方式连接，图7中以通过总线连接为例。
所述存储器22作为一种基于DPI实现网页浏览业务感知评估的方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的基于DPI实现网页浏览业务感知评估的方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块，从而执行基于DPI实现网页浏览业务感知评估的装置的各种功能应用以及数据处理，即实现实施例1和实施例2的基于DPI实现网页浏览业务感知评估的方法。
所述存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，所述存储器22可选包括相对于所述处理器21远程设置的存储器，这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的基于DPI实现网页浏览业务感知评估的方法，例如，执行以上描述的图2-图5所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于DPI实现网页浏览业务感知评估的方法，其特征在于，包括：
通过DPI技术将用户上网的至少三个关键业务过程进行关联，生成过程话单；
对所述过程话单进行分析，获取网站的多个页面相关指标；
对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分；
其中，所述至少三个关键业务过程包括：DNS解析、TCP建立和http请求/响应。
2.根据权利要求1所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，所述通过DPI技术将用户上网的三个关键业务过程进行关联，生成过程话单，具体包括：
创建一个新的http过程表，记为HTTP_procedure；其中，所述HTTP_procedure的主键为user_ip+host；
当DNS请求到来时，根据主键user_ip+host创建过程数据块，并将DNS相关的字段信息填到所述过程数据块；
当host请求到来，且与DNS请求关联匹配上时，根据主键user_ip+host找到过程数据块，并将http字段信息填到所述过程数据块；
基于所述过程数据块中的信息生成过程话单，并从HTTP_procedure输出所述过程话单。
3.根据权利要求2所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，判断host请求与DNS请求是否关联匹配上的方法具体为：计算host请求与DNS请求之间的时间间隔，并与第一预设时间阈值比较；
如果所述时间间隔超过所述第一预设时间阈值，则DNS请求与http请求不属于同一个http过程，host请求与DNS请求不能关联匹配；
如果所述时间间隔在所述第一预设时间阈值内，则DNS请求与http请求属于同一个http过程，host请求与DNS请求能够关联匹配。
4.根据权利要求2所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，在所述从HTTP_procedure输出所述过程话单之前，所述方法还包括：
根据所述过程数据块的创建时间计算所述过程数据块的存活时间，并判断所述存活时间是否达到第二预设时间阈值；
当所述存活时间达到第二预设时间阈值时，从HTTP_procedure输出所述过程话单。
5.根据权利要求1-4任一所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，所述过程话单中包括用户上网过程的关键字段的信息；其中，所述关键字段包括StartTime、End Time、Duration、Status、DomainName、DNS Number、User Port、DNS ServerIPAddr、DNS Server Port、DNS QueryTime、DNS ResponseTime、DNS Qurey Type、DNS ACount、DNS CNAME Count、DNS Anwser、DNS Reply Code、Service Type、HTTP Start Time、HTTP End Time、HTTP Duration、TCP SYN Time、TCP SYN_ACKTime、TCPACK Time、Host、URL、HTTP Status、HTTP Request Time、HTTP First Response Time和HTTP LastRespones Time中的一项或多项。
6.根据权利要求1所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，所述页面相关指标包括KPI指标和KQI指标；
所述KPI指标包括TCPAck2、TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率中的一项或多项；
所述KQI指标包括首包时延、首页时延和下载速率中的一项或多项。
7.根据权利要求6所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，在多个页面相关指标中，KPI指标中的TCPAck2属于无线网环节，KPI指标中的TCP成功率、TCP重传率、TCP乱序率、DNS成功率和http成功率，以及KQI指标中的首包时延、首页时延和下载速率属于业务平台环节；
在对所述多个页面相关指标进行加权计算之前，所述方法还包括：针对每个环节中的各个页面相关指标，分别赋予相应的指标权重；对两个环节分别赋予相应的业务权重。
8.根据权利要求7所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，所述对所述多个页面相关指标进行加权计算，得到用户网页浏览业务的综合感知评分，具体包括：
根据指标权重，分别对无线网环节的各项页面指标进行加权计算，得到无线网环节对应的第一感知评分；
根据指标权重，分别对业务平台环节的各项页面指标进行加权计算，得到业务平台环节对应的第二感知评分；
根据业务权重，对所述第一感知评分和所述第二感知评分进行加权计算，得到用户网页浏览业务的综合感知评分。
9.根据权利要求1所述的基于DPI实现网页浏览业务感知评估的方法，其特征在于，所述网站包括苹果、微博、腾讯、新浪、网易163、搜狐、人民网、百度、淘宝和凤凰网中的一项或多项。
10.一种基于DPI实现网页浏览业务感知评估的装置，其特征在于，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9任一所述的基于DPI实现网页浏览业务感知评估的方法。
CN201910671840.3A 2019-07-24 2019-07-24 一种基于dpi实现网页浏览业务感知评估的方法和装置 Pending CN110535684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671840.3A CN110535684A (zh) 2019-07-24 2019-07-24 一种基于dpi实现网页浏览业务感知评估的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671840.3A CN110535684A (zh) 2019-07-24 2019-07-24 一种基于dpi实现网页浏览业务感知评估的方法和装置

Publications (1)

Publication Number Publication Date
CN110535684A true CN110535684A (zh) 2019-12-03

Family

ID=68660807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671840.3A Pending CN110535684A (zh) 2019-07-24 2019-07-24 一种基于dpi实现网页浏览业务感知评估的方法和装置

Country Status (1)

Country Link
CN (1) CN110535684A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030876A (zh) * 2019-12-25 2020-04-17 武汉绿色网络信息服务有限责任公司 一种基于DPI的NB-IoT终端故障定位方法和装置
CN112910720A (zh) * 2021-05-06 2021-06-04 成都云智天下科技股份有限公司 一种基于用户体验量化指标的智能网络调度方法及系统
CN113676926A (zh) * 2020-05-15 2021-11-19 中国移动通信集团设计院有限公司 用户网络感知画像方法及装置
CN113905400A (zh) * 2020-07-07 2022-01-07 中国联合网络通信集团有限公司 网络优化处理方法、装置、电子设备及存储介质
CN113923691A (zh) * 2021-09-24 2022-01-11 广州瀚信通信科技股份有限公司 基于5g信令数据的客户感知评估方法及装置
CN115086140A (zh) * 2021-03-16 2022-09-20 中国移动通信集团江苏有限公司 宽带业务的质量评估方法、装置、电子设备及存储介质
CN115174357A (zh) * 2022-09-07 2022-10-11 浪潮通信信息系统有限公司 网络故障定位方法及系统
WO2023041051A1 (zh) * 2021-09-18 2023-03-23 中兴通讯股份有限公司 用户感知评估方法、装置、存储介质以及电子装置
CN113723720B (zh) * 2020-05-20 2023-08-18 中国移动通信集团河北有限公司 页面浏览质量评估方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304905A1 (en) * 2012-03-30 2013-11-14 Wipro Limited System and method for improved end-user experience by proactive management of an enterprise network
CN103686815A (zh) * 2013-12-26 2014-03-26 赛特斯信息科技股份有限公司 基于话单关联分析实现用户体验故障分析的系统及方法
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
CN108200586A (zh) * 2016-12-08 2018-06-22 中国电信股份有限公司 用于移动网感知数据关联的方法和系统
CN108270637A (zh) * 2016-12-30 2018-07-10 中国移动通信集团浙江有限公司 一种网站质量多层钻取系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304905A1 (en) * 2012-03-30 2013-11-14 Wipro Limited System and method for improved end-user experience by proactive management of an enterprise network
CN103686815A (zh) * 2013-12-26 2014-03-26 赛特斯信息科技股份有限公司 基于话单关联分析实现用户体验故障分析的系统及方法
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
CN108200586A (zh) * 2016-12-08 2018-06-22 中国电信股份有限公司 用于移动网感知数据关联的方法和系统
CN108270637A (zh) * 2016-12-30 2018-07-10 中国移动通信集团浙江有限公司 一种网站质量多层钻取系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周娟: "移动互联网统一DPI方案浅析", 《互联网天地》 *
陈森等: "基于大数据分析的移动互联网用户感知评估系统", 《电信科学》 *
马啸威等: "移动互联网业务感知质量优化方法及系统", 《广东通信技术》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030876B (zh) * 2019-12-25 2022-05-06 武汉绿色网络信息服务有限责任公司 一种基于DPI的NB-IoT终端故障定位方法和装置
CN111030876A (zh) * 2019-12-25 2020-04-17 武汉绿色网络信息服务有限责任公司 一种基于DPI的NB-IoT终端故障定位方法和装置
CN113676926B (zh) * 2020-05-15 2024-03-19 中国移动通信集团设计院有限公司 用户网络感知画像方法及装置
CN113676926A (zh) * 2020-05-15 2021-11-19 中国移动通信集团设计院有限公司 用户网络感知画像方法及装置
CN113723720B (zh) * 2020-05-20 2023-08-18 中国移动通信集团河北有限公司 页面浏览质量评估方法及装置
CN113905400A (zh) * 2020-07-07 2022-01-07 中国联合网络通信集团有限公司 网络优化处理方法、装置、电子设备及存储介质
CN113905400B (zh) * 2020-07-07 2023-11-21 中国联合网络通信集团有限公司 网络优化处理方法、装置、电子设备及存储介质
CN115086140A (zh) * 2021-03-16 2022-09-20 中国移动通信集团江苏有限公司 宽带业务的质量评估方法、装置、电子设备及存储介质
CN112910720A (zh) * 2021-05-06 2021-06-04 成都云智天下科技股份有限公司 一种基于用户体验量化指标的智能网络调度方法及系统
WO2023041051A1 (zh) * 2021-09-18 2023-03-23 中兴通讯股份有限公司 用户感知评估方法、装置、存储介质以及电子装置
CN113923691B (zh) * 2021-09-24 2023-10-03 广州瀚信通信科技股份有限公司 基于5g信令数据的客户感知评估方法及装置
CN113923691A (zh) * 2021-09-24 2022-01-11 广州瀚信通信科技股份有限公司 基于5g信令数据的客户感知评估方法及装置
CN115174357B (zh) * 2022-09-07 2022-12-13 浪潮通信信息系统有限公司 网络故障定位方法及系统
CN115174357A (zh) * 2022-09-07 2022-10-11 浪潮通信信息系统有限公司 网络故障定位方法及系统

Similar Documents

Publication Publication Date Title
CN110535684A (zh) 一种基于dpi实现网页浏览业务感知评估的方法和装置
CN103257989B (zh) 网页下载时间分析
CN104994133B (zh) 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
KR102076861B1 (ko) 네트워크 성능 진단 방법 및 장치, 및 시스템
CN104052832B (zh) 设置域名解析服务器的ip地址的方法、装置及服务器
CN102143507B (zh) 一种业务质量监测方法、系统、以及分析方法和系统
US9231982B2 (en) Data transfer for network interaction fraudulence detection
CN111327539B (zh) 一种业务调度的方法、装置及设备
CN107786992B (zh) 一种检测移动通信网络质量的方法和装置
US10057155B2 (en) Method and apparatus for determining automatic scanning action
CN107342913B (zh) 一种cdn节点的探测方法和装置
WO2013039832A1 (en) System and method for automated classification of web pages and domains
CN104113870B (zh) 网络测试方法和移动终端
CN108206769B (zh) 过滤网络质量告警的方法、装置、设备和介质
CN103955507A (zh) 基于用户感知的预警方法及装置
CN103873604A (zh) 一种基于分析cdn网络数据的网络访问方法
CN104640125A (zh) 一种评估wlan业务的质量的方法和装置
EP2719152A1 (en) Method for generating rules and parameters for assessing relevance of information derived from internet traffic
CN112954089A (zh) 一种解析数据的方法、装置、设备以及存储介质
CN117221148A (zh) 多类型网络应用服务质量评估系统和方法
CN113676926B (zh) 用户网络感知画像方法及装置
CN108268370B (zh) 基于Referer和模板库匹配的网站质量分析方法、装置和系统
JP2014523671A (ja) 対話型アプリケーションサービスの全体的なパフォーマンスの評価
CN105721231B (zh) 一种业务质量感知探测方法及装置
CN102932400B (zh) 一种识别统一资源定位符主链接的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203

RJ01 Rejection of invention patent application after publication