CN104410516A - 一种用户业务感知度评估方法和装置 - Google Patents
一种用户业务感知度评估方法和装置 Download PDFInfo
- Publication number
- CN104410516A CN104410516A CN201410681810.8A CN201410681810A CN104410516A CN 104410516 A CN104410516 A CN 104410516A CN 201410681810 A CN201410681810 A CN 201410681810A CN 104410516 A CN104410516 A CN 104410516A
- Authority
- CN
- China
- Prior art keywords
- message
- streaming media
- http
- kqi
- success rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种用户业务感知度评估方法和装置,其中,方法包括:采集移动互联网上控制面和用户面的IP报文,将五元组信息相同的IP报文整合为一条业务流,将业务流中的http类流媒体业务流按照重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,整合到各个单用户单业务粒度的http类流媒体业务操作记录中,根据单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,计算关键质量指标KQI,使得关键质量指标KQI能够反映单个用户真实的业务感知度,从而提高了评估精度和评估效果。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种用户业务感知度评估方法和装置。
背景技术
目前,随着移动网络和智能终端的迅猛发展,人们在随时随地通过移动网络观看http类流媒体的同时也更加关注对流媒体业务的感知情况,例如,http类流媒体是否播放成功、http类流媒体是否成功缓冲、http类流媒体的播放是否流畅等。
现有技术中,评估http类流媒体业务的用户感知度的方法主要为:获取移动互联网中各网元设备上报的关键性能指标参数(KPI),根据关键性能指标参数评估和分析用户的感知度。
然而,现有技术中,关键性能指标参数KPI一般为移动网络中基于小区或基于区域的相关参数,例如一个小区的HTTP流媒体转发时延、一个小区内的HTTP流媒体业务量等,难以细化到每个用户,且关键性能指标参数KPI难以涵盖用户业务的各个环节的各个参数,导致评估得到的用户感知度与单个用户真实的感知度偏离过大,评估精度较低,评估效果差。
发明内容
本发明提供一种用户业务感知度评估方法和装置,用于解决现有技术中评估精度低,评估效果差的问题。
本发明的第一个方面是提供一种用户业务感知度评估方法,包括:
采集移动互联网上控制面和用户面的IP报文,所述IP报文中携带协议类型标识和五元组信息;所述五元组信息包括:源IP、目的IP、源端口、目的端口和协议号;
根据所述IP报文的五元组信息,将五元组信息相同的所述IP报文整合为一条业务流;
根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为超文本传送协议http类流媒体报文,若所述业务流中各个所述报文为http类流媒体报文,则确定所述业务流为http类流媒体业务流;
获取所述http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录;
获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
基于第一个方面,在第一个方面的第一种实施方式中,所述KQI指标包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;
所述播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;
所述下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
基于第一个方面的第一种实施方式,在第一个方面的第二种实施方式中,
所述流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
所述流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
所述流媒体卡顿频次=卡顿次数和/观看时长;
所述流媒体卡顿占比=卡顿时长和/观看时长。
基于第一个方面,在第一个方面的第三种实施方式中,所述协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
所述根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文,包括:
获取所述IP报文的TCP端口号或者request version字段;
若所述IP报文的TCP端口号为80或8080,或者所述request version字段为http类型,确定所述IP报文为http协议的IP报文;
获取所述http协议的IP报文中的content-type字段;
若所述content-type字段为流媒体格式,确定所述http协议的IP报文为http类流媒体报文。
基于第一个方面,在第一个方面的第四种实施方式中,所述获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI之后,还包括:
获取当前时刻之前计算得到的历史KQI指标;
将所述KQI指标与所述历史KQI指标进行比较,判断所述KQI指标与所述历史KQI指标的差值是否大于预设值;
若所述KQI指标与所述历史KQI指标的差值大于预设值,将所述KQI指标与预设的阈值配置库进行比对,判断所述KQI指标是否异常;
若所述KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致所述KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得所述KQI指标恢复正常。
本发明的第二个方面还提供一种用户业务感知度评估装置,包括:
采集模块,用于采集移动互联网上控制面和用户面的IP报文,所述IP报文中携带协议类型标识和五元组信息;所述五元组信息包括:源IP、目的IP、源端口、目的端口和协议号;
整合模块,用于根据所述IP报文的五元组信息,将五元组信息相同的所述IP报文整合为一条业务流;
确定模块,用于根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文,若所述业务流中各个所述报文为http类流媒体报文,则确定所述业务流为http类流媒体业务流;
整合模块,还用于获取所述http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录;
计算模块,用于获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
基于第二个方面,在第二个方面的第一种实施方式中,所述KQI指标包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;
所述播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;
所述下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
基于第二个方面的第一种实施方式,在第二个方面的第二种实施方式中,
所述流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
所述流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
所述流媒体卡顿频次=卡顿次数和/观看时长;
所述流媒体卡顿占比=卡顿时长和/观看时长。
基于第二个方面,在第二个方面的第三种实施方式中,所述协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
所述确定模块根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文中,所述确定模块具体用于,
获取所述IP报文的TCP端口号或者request version字段;
若所述IP报文的TCP端口号为80或8080,或者所述request version字段为http类型,确定所述IP报文为http协议的IP报文;
获取所述http协议的IP报文中的content-type字段;
若所述content-type字段为流媒体格式,确定所述http协议的IP报文为http类流媒体报文。
基于第二个方面,在第二个方面的第四种实施方式中,所述装置还包括:获取模块和判断模块;
所述计算模块计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI之后,所述获取模块用于,获取当前时刻之前计算得到的历史KQI指标;
所述判断模块用于,将所述KQI指标与所述历史KQI指标进行比较,判断所述KQI指标与所述历史KQI指标的差值是否大于预设值;
所述判断模块还用于,若所述KQI指标与所述历史KQI指标的差值大于预设值,将所述KQI指标与预设的阈值配置库进行比对,判断所述KQI指标是否异常;
所述确定模块还用于,若所述KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致所述KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得所述KQI指标恢复正常。
本发明中,通过采集移动互联网上控制面和用户面的IP报文,将五元组信息相同的IP报文整合为一条业务流,将业务流中的http类流媒体业务流按照重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,整合到各个单用户单业务粒度的http类流媒体业务操作记录中,根据单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,计算关键质量指标KQI,使得关键质量指标KQI能够反映单个用户真实的业务感知度,从而提高了评估精度和评估效果。
附图说明
图1为本发明提供的用户业务感知度评估方法一个实施例的流程图;
图2为本发明提供的用户业务感知度评估方法又一个实施例的流程图;
图3为本发明提供的用户业务感知度评估装置实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明提供的用户业务感知度评估方法一个实施例的流程图,如图1所示,包括:
101、采集移动互联网上控制面和用户面的IP报文,IP报文中携带协议类型标识和五元组信息;五元组信息包括:源IP、目的IP、源端口、目的端口和协议号。
本发明提供的用户业务感知度评估方法的执行主体,具体可以为用户业务感知度评估装置,用户业务感知度评估装置具体可以为位于移动互联网上能够采集控制面和用户面的IP报文的服务器等设备。
其中,从移动通信网络中采集移动互联网业务的控制面和用户面的IP报文时,鉴于移动互联网业务为IP网络所承载,可以在移动通信网分组域的IU-PS接口、Gn接口、Gi接口等接口上采取分光或镜像的方式采集到全网所有用户的控制面和用户面IP报文。协议号可以为传输控制协议(TransmissionControl Protocol,TCP)或用户数据包协议(User Datagram Protocol,UDP)。
102、根据IP报文的五元组信息,将五元组信息相同的IP报文整合为一条业务流。
103、根据业务流中各个IP报文的协议类型标识,判断各个IP报文是否为超文本传送协议http类流媒体报文,若业务流中各个报文为http类流媒体报文,则确定业务流为http类流媒体业务流。
具体地,协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
对应的,步骤103可以包括:获取IP报文的TCP端口号或者request version字段;若IP报文的TCP端口号为80或8080,或者request version字段为http类型,例如HTTP/1.1,确定IP报文为http协议的IP报文;获取http协议的IP报文中的content-type字段;若content-type字段为流媒体格式,确定http协议的IP报文为http类流媒体报文。
其中,content-type字段具体可以为:在线视频(FLASH VIDEO,flv)、mp4、3gp、mov或ts等语音或视频格式。
104、获取http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录。
具体地,用户业务感知度评估装置可以获取GET请求返回响应为HTTP/1.0302Found的流媒体业务流,解析其Location字段,获得重定向服务器IP地址,然后匹配具有时间连续性的其他流媒体业务流,如果上述重定向服务器IP与后续匹配的业务流的层三服务器IP相同,则确定这些业务流属于同一个流媒体业务,将它们整合为一个用户面的http类流媒体操作记录。用户面IP报文整合完成后,再根据用户IP地址、GPRS隧道协议(GPRSTunneling protocol,GTP)隧道ID和时间等几个要素将控制面的IP报文与用户面的http类流媒体操作记录进行进一步的整合,最终形成完整的与用户真实行为一一对应的http类流媒体操作记录。这种整合的粒度为单用户单业务粒度,即:一个用户播放一个流媒体则整合形成一条流媒体操作记录。
105、获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
其中,关键质量指标(Key Quality Indicators,KQI)指标具体可以包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;
播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;
下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
对应的,流媒体播放成功率的计算公式具体可以为:
流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
其中,流媒体播放成功率具体用于反映当用户浏览视频网站播放音频、视频等多媒体文件时,从点击“播放”按钮开始,到多媒体文件开始播放的成功率。该指标基于http类流媒体业务交互流程统计流媒体播放成功率,http类流媒体业务交互流程可以分为两个阶段:页面浏览业务阶段和流媒体业务阶段,该指标不考虑页面浏览业务阶段。
其中,第一GET成功率指的是TCP建立过程中重定向返回302的概率,第二GET成功率指的是重定向后TCP建立过程中返回200OK的概率。
域名解析成功率=[DNS查询成功次数]/[DNS查询请求次数]×100%;
TCP建立成功率=[TCP建立成功次数]/[TCP建立请求次数]×100%;
GET成功率=[GET成功次数]/[GET请求次数]×100%
初始缓冲区下载成功率=[初始缓冲区下载满次数]/[初始缓冲区开始下载次数]×100%
具体地,GET成功率(重定向返回302)指的是:客户端向服务器请求数据时可能视频文件存放在其他的服务器上,所以要进行重定向,此时返回的成功消息时HTTP Reply 302found。如果流程中没有重定向,则GET成功率(重定向返回302)指标记为0。初始缓冲区下载成功率:当初始缓冲区满视频文件才开始播放,即此指标影响流媒体播放成功率。
对应的,流媒体播放等待时长的计算公式具体可以为:
流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
其中,流媒体播放等待时长具体反映当用户浏览视频网站播放音频、视频等多媒体文件时,从点击“播放”按钮开始,到多媒体文件开始播放的时长。该指标基于http类流媒体业务交互流程统计流媒体播放等待时长,http类流媒体业务交互流程可以分为两个阶段:页面浏览业务阶段和流媒体业务阶段,该指标不考虑页面浏览业务阶段。
其中,首个业务流程发起消息:即域名解析请求不一定每次进行流媒体业务都有,所以首个业务流程发起的消息可能是域名解析请求也可能是TCP建链。初始缓冲区满:通过实验室模拟环境,假定入的传输速率与应用层的码流速率相当时,这样恒定的环境不会出现克顿,这样的情况当点击播放到开始播放的时间(表示初始缓冲区满)记录为T,多次试验求平均值确定T1,从而通过码率×T1得到初始缓冲区的大小。
对应的,流媒体卡顿频次的计算公式具体可以为:
流媒体卡顿频次=卡顿次数和/观看时长;
其中,流媒体卡顿频次反映当用户浏览视频网站播放音频、视频等多媒体文件时,媒体开始播放后,每分钟出现卡顿现象的次数。卡顿为当初始缓冲区和后续数据包被播放器消耗完时,则计1次卡顿。
其中,卡顿次数=[(初始缓冲区大小+TCP1+TCP2+…+TCPn-1)-(T12+T23+…+Tn-1,n)×码率]<0,记为一次,共需要计算n-1次。TCPn-1指初始缓冲区满后收到第n-1个TCP包解压的流媒体流大小,Tn-1,n指客户端收到第n个TCP包与第n-1个TCP包之间的时间间隔;观看时长=文件大小/码率+卡顿时长。
卡顿时长:当[(初始缓冲区大小+TCP1+TCP2+…+TCPn-1)-(T12+T23+…+Tn-1,n)×码率]<0时,记录时间点为T1,当后续第一次出现[(初始缓冲区大小+TCP1+TCP2+…+TCPn-1)-(T12+T23+…+Tn-1,n)×码率]>0时,记录时间点为T2,本次的卡顿时长为T2-T1。
对应的,流媒体卡顿占比的计算公式具体可以为:
流媒体卡顿占比=卡顿时长和/观看时长。
其中,流媒体卡顿占比具体反映当用户浏览视频网站播放音频、视频等多媒体文件时,主观感觉总卡顿时间占总播放时间的比例。
需要进行说明的是,通过上述技术方案,可以获取全网维度的http类流媒体业务的各项KQI指标结果。由于之前整合的http类流媒体操作记录是单用户单业务粒度的,关键参数的提取也是基于单用户单业务粒度的,而每条单用户单业务的记录中都包含有终端类型、CELL、RNC、SGSN、GGSN、网站服务器IP地址等各个维度的信息。基于此,可以从以上各个维度进行筛选过滤,进而重新归并计算出终端类型、CELL、RNC、SGSN、GGSN、网站服务器IP地址等更小维度范围内用户的各项HTTP类流媒体业务KQI指标。譬如:根据将每条记录中的SGSN信息进行过滤、筛选和重新归并,可以得出全网每个SGSN下的HTTP类流媒体业务操作记录,通过对每个SGSN下的记录进行汇总平均计算,可进一步得到每个SGSN下所有用户的HTTP类流媒体业务的各项KQI指标结果。
本实施例中,通过采集移动互联网上控制面和用户面的IP报文,将五元组信息相同的IP报文整合为一条业务流,将业务流中的http类流媒体业务流按照重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,整合到各个单用户单业务粒度的http类流媒体业务操作记录中,根据单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,计算关键质量指标KQI,使得关键质量指标KQI能够反映单个用户真实的业务感知度,从而提高了评估精度和评估效果。
图2为本发明提供的用户业务感知度评估方法又一个实施例的流程图,如图2所示,在图1所示实施例的基础上,步骤105之后,还可以包括:
106、获取当前时刻之前计算得到的历史KQI指标。
107、将KQI指标与历史KQI指标进行比较,判断KQI指标与历史KQI指标的差值是否大于预设值。
108、若KQI指标与历史KQI指标的差值大于预设值,将KQI指标与预设的阈值配置库进行比对,判断KQI指标是否异常。
例如,若流媒体播放成功率指标在8点整的为70%,而对应的预设阈值为80%,且连续两个周期KQI指标值都低于阈值,则判定为指标异常。
109、若KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得KQI指标恢复正常。
其中,用户业务感知度评估装置具体可以为:基于移动互联网的情况设计各维度的收敛基数表和去噪表,其方法是首先设计收敛度的计算公式,收敛度=(1-低于门限数量/收敛基数)×100%,小于0的直接置为0%,不出现负值。收敛基数是通过统计和经验而估算的值,假定用户感知的维度设计包含A1、A2、A3、……、An的n个维度,其中选择收敛基数固定的且为最小的为基准假定为A1,且最有可能低于门限的数量为B,则可以得到A1的譬如移动互联网中GGSN设备的数量,此时,根据收敛度计算公式,可以得到A1的收敛度α1。基于α1为基准计算其他维度的收敛基数,首先需要先根据网络架构以及经验确定低于门限的数量,然后计算出各维度的收敛基数。例如,移动互联网中,可以先以GGSN维度为固定的最小的收敛基数,假如是10套,根据经验最有可能出现低于门限的数量为1套GGSN,则计算得到GGSN维度的收敛度为90%,以90%为基准,我们来估算RNC维度的收敛基数,通过网络架构组网情况以及日常问题的处理经验(单个RNC故障或者挂接在同一个传输设备上)总结发现,RNC维度最有可能出现问题的数量是3个或3个以下,则根据上述的公式90%=(1-3/收敛基数)×100%,我们可以计算出收敛基数为30。去噪表的设计的方法为假定某KQI指标异常,分析维度C的收敛情况,其收敛基数为m个,分别为C1、C2、……、Cm,对应各个收敛基数的CDR数量分别是C1为X1、C2为X2、……、Cm为Xm,其中若Xm对应的CDR的数量远远小于其他的,那么需要将Cm去掉,否则影响整体分析的准确性和失去问题分析的实际意义。就以上述的RNC维度为例,如果我们定位到3个RNC有问题,其中影响KQI指标的CDR的数量分别为RNC1占1200条、RNC2占15条、RNC3占900条,显然影响KQI主要因素是RNC1和RNC3。如果还选择三个RNC显然缺乏合理性,此时需要根据设计的“去噪表”,剔除RNC2这个非主要原因,这样针对RNC1和RNC3来计算收敛度,并继续分析问题原因。因此,在系统开发阶段要首先设计一套收敛基数表和去噪表,并在日常维护过程中需要根据经验不断的优化这两张表;然后对于异常指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,其方法为针对异常的KQI指标筛选影响指标的CDR,然后根据各维度进行分类汇总统计并基于上述的收敛度的方法计算出各维度的收敛度;最后根据收敛度的情况一站式自动输出初步分析报告,其方法是根据上述各维度的收敛度,自动一步一步进行分析,直到最小的维度,譬如:TOPn小区、TOPn用户、TOPn的服务器等等,将整个分析过程汇总为初步的分析报告上报给相关的部门进行处理。
本实施例中,通过采集移动互联网上控制面和用户面的IP报文,将五元组信息相同的IP报文整合为一条业务流,将业务流中的http类流媒体业务流按照重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,整合到各个单用户单业务粒度的http类流媒体业务操作记录中,根据单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,计算关键质量指标KQI,使得关键质量指标KQI能够反映单个用户真实的业务感知度,并获取当前时刻之前计算得到的历史KQI指标,根据关键质量指标KQI和历史KQI指标确定KQI指标是否异常,以及导致KQI指标异常的户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得KQI指标恢复正常,从而提高了评估精度和评估效果,并对导致KQI指标异常的因素进行调整,提高用户的业务感知效果。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明提供的用户业务感知度评估装置实施例的结构示意图,如图3所示,包括:
采集模块31,用于采集移动互联网上控制面和用户面的IP报文,IP报文中携带协议类型标识和五元组信息;五元组信息包括:源IP、目的IP、源端口、目的端口和协议号;
整合模块32,用于根据IP报文的五元组信息,将五元组信息相同的IP报文整合为一条业务流;
确定模块33,用于根据业务流中各个IP报文的协议类型标识,判断各个IP报文是否为http类流媒体报文,若业务流中各个报文为http类流媒体报文,则确定业务流为http类流媒体业务流;
整合模块32,还用于获取http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录;
计算模块34,用于获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
其中,KQI指标包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
对应的,流媒体播放成功率的计算公式具体可以为:流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
流媒体播放等待时长的计算公式具体可以为:流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
流媒体卡顿频次的计算公式具体可以为:流媒体卡顿频次=卡顿次数和/观看时长;
流媒体卡顿占比的计算公式具体可以为:流媒体卡顿占比=卡顿时长和/观看时长。
进一步地,协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
确定模块33根据业务流中各个IP报文的协议类型标识,判断各个IP报文是否为http类流媒体报文中,确定模块33具体用于,
获取IP报文的TCP端口号或者request version字段;
若IP报文的TCP端口号为80或8080,或者request version字段为http类型,确定IP报文为http协议的IP报文;
获取http协议的IP报文中的content-type字段;
若content-type字段为流媒体格式,确定http协议的IP报文为http类流媒体报文。
更进一步地,用户业务感知度评估装置还可以包括:获取模块和判断模块;
计算模块34计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI之后,获取模块用于,获取当前时刻之前计算得到的历史KQI指标;
判断模块用于,将KQI指标与历史KQI指标进行比较,判断KQI指标与历史KQI指标的差值是否大于预设值;
判断模块还用于,若KQI指标与历史KQI指标的差值大于预设值,将KQI指标与预设的阈值配置库进行比对,判断KQI指标是否异常;
确定模块33还用于,若KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得KQI指标恢复正常。
本实施例中,通过采集移动互联网上控制面和用户面的IP报文,将五元组信息相同的IP报文整合为一条业务流,将业务流中的http类流媒体业务流按照重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,整合到各个单用户单业务粒度的http类流媒体业务操作记录中,根据单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,计算关键质量指标KQI,使得关键质量指标KQI能够反映单个用户真实的业务感知度,从而提高了评估精度和评估效果。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种用户业务感知度评估方法,其特征在于,包括:
采集移动互联网上控制面和用户面的IP报文,所述IP报文中携带协议类型标识和五元组信息;所述五元组信息包括:源IP、目的IP、源端口、目的端口和协议号;
根据所述IP报文的五元组信息,将五元组信息相同的所述IP报文整合为一条业务流;
根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为超文本传送协议http类流媒体报文,若所述业务流中各个所述报文为http类流媒体报文,则确定所述业务流为http类流媒体业务流;
获取所述http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录;
获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
2.根据权利要求1所述的方法,其特征在于,所述KQI指标包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;
所述播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;
所述下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
3.根据权利要求2所述的方法,其特征在于,
所述流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
所述流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
所述流媒体卡顿频次=卡顿次数和/观看时长;
所述流媒体卡顿占比=卡顿时长和/观看时长。
4.根据权利要求1所述的方法,其特征在于,所述协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
所述根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文,包括:
获取所述IP报文的TCP端口号或者request version字段;
若所述IP报文的TCP端口号为80或8080,或者所述request version字段为http类型,确定所述IP报文为http协议的IP报文;
获取所述http协议的IP报文中的content-type字段;
若所述content-type字段为流媒体格式,确定所述http协议的IP报文为http类流媒体报文。
5.根据权利要求1所述的方法,其特征在于,所述获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI之后,还包括:
获取当前时刻之前计算得到的历史KQI指标;
将所述KQI指标与所述历史KQI指标进行比较,判断所述KQI指标与所述历史KQI指标的差值是否大于预设值;
若所述KQI指标与所述历史KQI指标的差值大于预设值,将所述KQI指标与预设的阈值配置库进行比对,判断所述KQI指标是否异常;
若所述KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致所述KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得所述KQI指标恢复正常。
6.一种用户业务感知度评估装置,其特征在于,包括:
采集模块,用于采集移动互联网上控制面和用户面的IP报文,所述IP报文中携带协议类型标识和五元组信息;所述五元组信息包括:源IP、目的IP、源端口、目的端口和协议号;
整合模块,用于根据所述IP报文的五元组信息,将五元组信息相同的所述IP报文整合为一条业务流;
确定模块,用于根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文,若所述业务流中各个所述报文为http类流媒体报文,则确定所述业务流为http类流媒体业务流;
整合模块,还用于获取所述http类流媒体业务流的重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数,将重定向服务器IP地址、用户IP地址、GTP隧道ID和时间参数均相同的http类流媒体业务流整合为一条单用户单业务粒度的http类流媒体业务操作记录;
计算模块,用于获取单用户单业务粒度的http类流媒体操作记录中http流媒体业务流的播放相关参数和下载相关参数,根据所述播放相关参数和下载相关参数,计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI。
7.根据权利要求6所述的装置,其特征在于,所述KQI指标包括:流媒体播放成功率、流媒体播放等待时长、流媒体卡顿频次和流媒体卡顿占比;
所述播放相关参数包括:卡顿次数和、卡顿时长和、观看时长;
所述下载相关参数包括:初始缓冲区满的时刻、首个业务流程发起消息的时刻、域名解析成功率、TCP建立成功率、第一GET成功率、重定向后TCP建立成功率、第二GET成功率和初始缓冲区下载成功率。
8.根据权利要求7所述的装置,其特征在于,
所述流媒体播放成功率=域名解析成功率×TCP建立成功率×第一GET成功率×重定向后TCP建立成功率×第二GET成功率×初始缓冲区下载成功率;
所述流媒体播放等待时长=初始缓冲区满的时刻-首个业务流程发起消息的时刻;
所述流媒体卡顿频次=卡顿次数和/观看时长;
所述流媒体卡顿占比=卡顿时长和/观看时长。
9.根据权利要求6所述的装置,其特征在于,所述协议类型标识包括:TCP端口号和/或request version字段,以及content-type字段;
所述确定模块根据业务流中各个IP报文的协议类型标识,判断各个所述IP报文是否为http类流媒体报文中,所述确定模块具体用于,
获取所述IP报文的TCP端口号或者request version字段;
若所述IP报文的TCP端口号为80或8080,或者所述request version字段为http类型,确定所述IP报文为http协议的IP报文;
获取所述http协议的IP报文中的content-type字段;
若所述content-type字段为流媒体格式,确定所述http协议的IP报文为http类流媒体报文。
10.根据权利要求6所述的装置,其特征在于,还包括:获取模块和判断模块;
所述计算模块计算单用户单业务粒度的http类流媒体操作记录的关键质量指标KQI之后,所述获取模块用于,获取当前时刻之前计算得到的历史KQI指标;
所述判断模块用于,将所述KQI指标与所述历史KQI指标进行比较,判断所述KQI指标与所述历史KQI指标的差值是否大于预设值;
所述判断模块还用于,若所述KQI指标与所述历史KQI指标的差值大于预设值,将所述KQI指标与预设的阈值配置库进行比对,判断所述KQI指标是否异常;
所述确定模块还用于,若所述KQI指标异常,对发生异常的KQI指标的CDR进行多维度分类汇总统计并计算各维度的收敛度,根据各维度的收敛度确定导致所述KQI指标异常的用户ID、用户所在小区或相关服务器,以便对用户ID、用户所在小区或相关服务器进行处理,使得所述KQI指标恢复正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410681810.8A CN104410516B (zh) | 2014-11-24 | 2014-11-24 | 一种用户业务感知度评估方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410681810.8A CN104410516B (zh) | 2014-11-24 | 2014-11-24 | 一种用户业务感知度评估方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104410516A true CN104410516A (zh) | 2015-03-11 |
CN104410516B CN104410516B (zh) | 2017-12-19 |
Family
ID=52648114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410681810.8A Active CN104410516B (zh) | 2014-11-24 | 2014-11-24 | 一种用户业务感知度评估方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104410516B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105007175A (zh) * | 2015-06-03 | 2015-10-28 | 北京云杉世纪网络科技有限公司 | 一种基于openflow的流深度关联分析方法及系统 |
CN105188079A (zh) * | 2015-10-20 | 2015-12-23 | 武汉虹信技术服务有限责任公司 | 流媒体质量评测及移动网络质量提升的系统及方法 |
CN105847885A (zh) * | 2016-05-25 | 2016-08-10 | 武汉斗鱼网络科技有限公司 | 一种基于视频流播放状态的白名单生成系统及方法 |
CN105915374A (zh) * | 2016-04-11 | 2016-08-31 | 电子科技大学 | 网络游戏类业务感知质量模型建立方法 |
CN106911958A (zh) * | 2015-12-23 | 2017-06-30 | 北京国双科技有限公司 | 视频检测方法和装置 |
WO2017128947A1 (zh) * | 2016-01-30 | 2017-08-03 | 华为技术有限公司 | 网络业务质量评估方法、系统及网络设备 |
CN107360586A (zh) * | 2016-05-10 | 2017-11-17 | 中国移动通信集团黑龙江有限公司 | 一种网络质量的评估方法及装置 |
CN108235149A (zh) * | 2016-12-21 | 2018-06-29 | 中国移动通信集团公司 | 一种优化视频播放流畅度的方法及装置 |
CN108268370A (zh) * | 2016-12-30 | 2018-07-10 | 中国移动通信集团浙江有限公司 | 基于Referer和模板库匹配的网站质量分析方法、装置和系统 |
CN108737885A (zh) * | 2018-06-07 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种分析在线视频播放卡顿的方法及装置 |
US10277586B1 (en) * | 2018-10-29 | 2019-04-30 | Syniverse Technologies, Llc | Mobile authentication with URL-redirect |
CN109981550A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团北京有限公司 | 一种游戏业务质量评估方法及装置 |
CN110139167A (zh) * | 2018-02-09 | 2019-08-16 | 华为技术有限公司 | 数据处理方法、服务器以及数据采集设备 |
CN113453076A (zh) * | 2020-03-24 | 2021-09-28 | 中国移动通信集团河北有限公司 | 用户视频业务质量评估方法、装置、计算设备和存储介质 |
CN114491406A (zh) * | 2020-10-26 | 2022-05-13 | 中兴通讯股份有限公司 | 网络业务的评价方法、电子设备和存储介质 |
CN114598924A (zh) * | 2022-03-10 | 2022-06-07 | 恒安嘉新(北京)科技股份公司 | 客户端综合视频播放状态的检测方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685790A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的移动流媒体业务感知体验QoE的测评方法 |
CN103955507A (zh) * | 2014-04-25 | 2014-07-30 | 中国联合网络通信集团有限公司 | 基于用户感知的预警方法及装置 |
-
2014
- 2014-11-24 CN CN201410681810.8A patent/CN104410516B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685790A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的移动流媒体业务感知体验QoE的测评方法 |
CN103955507A (zh) * | 2014-04-25 | 2014-07-30 | 中国联合网络通信集团有限公司 | 基于用户感知的预警方法及装置 |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105007175A (zh) * | 2015-06-03 | 2015-10-28 | 北京云杉世纪网络科技有限公司 | 一种基于openflow的流深度关联分析方法及系统 |
CN105188079A (zh) * | 2015-10-20 | 2015-12-23 | 武汉虹信技术服务有限责任公司 | 流媒体质量评测及移动网络质量提升的系统及方法 |
CN105188079B (zh) * | 2015-10-20 | 2018-08-10 | 武汉虹信技术服务有限责任公司 | 流媒体质量评测及移动网络质量提升的系统及方法 |
CN106911958A (zh) * | 2015-12-23 | 2017-06-30 | 北京国双科技有限公司 | 视频检测方法和装置 |
CN106911958B (zh) * | 2015-12-23 | 2019-10-25 | 北京国双科技有限公司 | 视频检测方法和装置 |
US10917315B2 (en) | 2016-01-30 | 2021-02-09 | Huawei Technologies Co., Ltd. | Network service quality evaluation method and system, and network device |
WO2017128947A1 (zh) * | 2016-01-30 | 2017-08-03 | 华为技术有限公司 | 网络业务质量评估方法、系统及网络设备 |
CN107026746A (zh) * | 2016-01-30 | 2017-08-08 | 华为技术有限公司 | 网络业务质量评估方法、系统及网络设备 |
CN107026746B (zh) * | 2016-01-30 | 2020-06-02 | 华为技术有限公司 | 网络业务质量评估方法、系统及网络设备 |
CN105915374B (zh) * | 2016-04-11 | 2019-06-14 | 电子科技大学 | 网络游戏类业务感知质量模型建立方法 |
CN105915374A (zh) * | 2016-04-11 | 2016-08-31 | 电子科技大学 | 网络游戏类业务感知质量模型建立方法 |
CN107360586A (zh) * | 2016-05-10 | 2017-11-17 | 中国移动通信集团黑龙江有限公司 | 一种网络质量的评估方法及装置 |
CN107360586B (zh) * | 2016-05-10 | 2020-02-18 | 中国移动通信集团黑龙江有限公司 | 一种网络质量的评估方法及装置 |
CN105847885B (zh) * | 2016-05-25 | 2019-03-15 | 武汉斗鱼网络科技有限公司 | 一种基于视频流播放状态的白名单生成系统及方法 |
CN105847885A (zh) * | 2016-05-25 | 2016-08-10 | 武汉斗鱼网络科技有限公司 | 一种基于视频流播放状态的白名单生成系统及方法 |
CN108235149A (zh) * | 2016-12-21 | 2018-06-29 | 中国移动通信集团公司 | 一种优化视频播放流畅度的方法及装置 |
CN108235149B (zh) * | 2016-12-21 | 2021-03-05 | 中国移动通信集团公司 | 一种优化视频播放流畅度的方法及装置 |
CN108268370B (zh) * | 2016-12-30 | 2021-06-15 | 中国移动通信集团浙江有限公司 | 基于Referer和模板库匹配的网站质量分析方法、装置和系统 |
CN108268370A (zh) * | 2016-12-30 | 2018-07-10 | 中国移动通信集团浙江有限公司 | 基于Referer和模板库匹配的网站质量分析方法、装置和系统 |
CN109981550B (zh) * | 2017-12-28 | 2021-10-01 | 中国移动通信集团北京有限公司 | 一种游戏业务质量评估方法及装置 |
CN109981550A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团北京有限公司 | 一种游戏业务质量评估方法及装置 |
CN110139167A (zh) * | 2018-02-09 | 2019-08-16 | 华为技术有限公司 | 数据处理方法、服务器以及数据采集设备 |
CN110139167B (zh) * | 2018-02-09 | 2022-02-25 | 华为技术有限公司 | 数据处理方法以及服务器 |
US11936930B2 (en) | 2018-02-09 | 2024-03-19 | Huawei Technologies Co., Ltd. | Data processing method, server, and data collection device |
CN108737885A (zh) * | 2018-06-07 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种分析在线视频播放卡顿的方法及装置 |
US10277586B1 (en) * | 2018-10-29 | 2019-04-30 | Syniverse Technologies, Llc | Mobile authentication with URL-redirect |
CN113453076A (zh) * | 2020-03-24 | 2021-09-28 | 中国移动通信集团河北有限公司 | 用户视频业务质量评估方法、装置、计算设备和存储介质 |
CN114491406A (zh) * | 2020-10-26 | 2022-05-13 | 中兴通讯股份有限公司 | 网络业务的评价方法、电子设备和存储介质 |
EP4236421A4 (en) * | 2020-10-26 | 2024-08-28 | Zte Corp | NETWORK SERVICE EVALUATION METHOD, ELECTRONIC DEVICE AND STORAGE MEDIUM |
CN114598924A (zh) * | 2022-03-10 | 2022-06-07 | 恒安嘉新(北京)科技股份公司 | 客户端综合视频播放状态的检测方法、装置、设备及介质 |
CN114598924B (zh) * | 2022-03-10 | 2024-03-22 | 恒安嘉新(北京)科技股份公司 | 客户端综合视频播放状态的检测方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104410516B (zh) | 2017-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104410516A (zh) | 一种用户业务感知度评估方法和装置 | |
CN105930363B (zh) | 一种基于html5网页的用户行为分析方法及装置 | |
Aggarwal et al. | Prometheus: Toward quality-of-experience estimation for mobile apps from passive network measurements | |
EP3436951B1 (en) | Systems and methods for measuring effective customer impact of network problems in real-time using streaming analytics | |
CN107247733B (zh) | 一种视频片段观看热度分析方法及系统 | |
Casas et al. | Monitoring YouTube QoE: Is your mobile network delivering the right experience to your customers? | |
CN103686237A (zh) | 推荐视频资源的方法及系统 | |
Schatz et al. | Vienna surfing: assessing mobile broadband quality in the field | |
EP2719153A1 (en) | Model-based method for managing information derived from network traffic | |
CA2769946A1 (en) | A method and system for efficient and exhaustive url categorization | |
CN104091276A (zh) | 在线分析点击流数据的方法和相关装置及系统 | |
Chen et al. | A study of user behavior in online VoD services | |
CN106230809B (zh) | 一种基于url的移动互联网舆情监测方法及系统 | |
CN107786992B (zh) | 一种检测移动通信网络质量的方法和装置 | |
CN104683998A (zh) | 业务质量的处理方法及装置 | |
US20140304653A1 (en) | Method For Generating Rules and Parameters for Assessing Relevance of Information Derived From Internet Traffic | |
CN103812683A (zh) | 一种用户行为数据的处理方法、装置和系统 | |
Seufert et al. | Unsupervised QoE field study for mobile YouTube video streaming with YoMoApp | |
CN103974057A (zh) | 一种视频质量用户体验值测评方法、设备及系统 | |
CN109982068A (zh) | 合成视频质量评估方法、装置、设备及介质 | |
US20140379891A1 (en) | Methods and Apparatuses to Identify User Dissatisfaction from Early Cancelation | |
CN111277451B (zh) | 一种业务评估方法、装置、终端设备和介质 | |
Bartolec et al. | Inclusion of end user playback-related interactions in youtube video data collection and ml-based performance model training | |
Bartolec et al. | Impact of user playback interactions on in-network estimation of video streaming performance | |
Matulin et al. | State-of-the-practice in evaluation of quality of experience in real-life environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |