CN110958494A - 一种基于xdr记录识别视频卡顿的方法 - Google Patents
一种基于xdr记录识别视频卡顿的方法 Download PDFInfo
- Publication number
- CN110958494A CN110958494A CN201911003501.4A CN201911003501A CN110958494A CN 110958494 A CN110958494 A CN 110958494A CN 201911003501 A CN201911003501 A CN 201911003501A CN 110958494 A CN110958494 A CN 110958494A
- Authority
- CN
- China
- Prior art keywords
- information
- video
- list
- request
- video playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
- H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种基于XDR记录识别视频卡顿的方法,利用网络抓包工具对视频播放页面信息进行抓取,并将视频播放页面中的视频信息和视频播放URL信息进行数据库关联存储;通过网络抓包工具对视频播放过程中产生的所有HTTP请求信息和时间节点信息进行获取,并将获取的信息通过数据表记录;覆盖视频源全面:只要是通过运营商端口进行播放的在线视频都可以进行监控,覆盖视频源全面;覆盖时间点全面:任意时间点、时间段都可以进行监控视频卡顿情况分析、记录;覆盖网络链路全面:运营商可以对全网在线播放请求进行获取,不受地域限制。
Description
技术领域
本发明涉及一种识别方法,尤其涉及基于XDR记录识别视频卡顿的方法。
背景技术
据中国互联网发布消息显示,截止2017年12月,我国网络视频用户数量达到5.62亿。其中95%的用户通过客户手机端收看视频。这一庞大的数据体现出中国手机移动网络视频业务的强大吸引力和发展潜力。尤其是伴随着4G网络的不断发展,用户数据流量更是呈现出持续增长的趋势。与此同时,强大市场需求吸引着国内外各家运营商相继制定视频战略,借助于其自身管道优势,通过免流量服务、定向流量包产品等举措来提升管道价值。总体来看,视频业务属于高码流、高并发性的移动业务,网络视频用户对该项视频业务的质量要求较高。
然而据消费者协会对中国网民的手机端网络视频满意度调研数据信息反馈,有85.3%的移动网络视频用户反映视频在播放过程中存在卡顿现象,同时有接近98%的用户表示他们在浏览视频过程中最关注的就是视频播放的流畅度。视频卡顿现象的存在一方面影响视频用户的体验度,进而影响客户对移动网络运营商的满意度和忠诚度;另一方面影响视频本身的品质和效果,影响移动网络视频运营商与主流网络视频平台的业务开展。
所谓的视频业务卡顿主要和移动运营商的视频业务的技术流程密切相关。移动运营商依托流媒体方式来开展视频点播业务。目前国内典型的视频类APP平台全部采用HCP/HTTP协议来传递视频数据信息。当用户手机终端在线播放视频,手机终端向服务器发出信息请求,进而服务器响应请求,并发送特定信息。手机客户端在播放视频前需等待一段时间用来缓冲数据。之后手机客户端所接收的数据信息超出初始缓冲门限后,视频得以顺畅播放。但当视频业务播放过程中网络吞吐量低而引发的视频画面冻结当传播速率小于播放速率,且缓冲区已被清空的情况下,就会导致卡顿问题。
基于对10000次视频卡顿问题分析,并结合相关后台运营数据分析,当前网络视频卡顿问题的原因主要可以有四个方面:一是手机移动网络通信商的视频处理技术因素;二是(如手机配置、电脑CPU和内存显卡)因素;三是网络视频源的因素;四是WIFI、4G信号等问题。
根据这种数据信息分析并结合上述网络视频用户的满意度分析,创新、优化移动网络通信商的视频处理技术,进而解决视频卡顿问题,确保视频的流畅度成为摆在手机移动网络通信商面前的重要课题。
当前手机移动网络通信商的网络视频处理播放中的卡顿问题,主要采用拨测技术。该技术处理视频的原理主要基于预先设置的网站视频,来对视频进行播发检测,在检测中发现潜在的视频卡顿问题,为相关技术人员解决卡顿问题提供重要参考。
通过自动拨测技术识别视频卡顿有如下缺点:
1、覆盖视频源不全面:自动拨测技术只能对指定视频源进行拨测,拨测的视频源有限,不能覆盖所有视频源。
2、覆盖时间点不全面:自动拨测技术只能周期性的进行拨测,不能保证每时每刻监控视频卡顿情况。
3、覆盖网络链路不全面:自动拨测设备受地理条件限制,不能针对所有的位置发起播放请求。
发明内容
针对上述出现的问题,本发明提供了一种通过XDR记录识别的功能,将视频在播放过程中遇到的所以卡顿情况和信息进行记录,通过数据分析整理出视频源文件出现卡顿的时间、用户访问情况、卡顿时间节点整理有效的数据报告,有助于运营商进行后期处理和完善视频质量。
一种基于XDR记录识别视频卡顿的方法,利用网络抓包工具对视频播放页面信息进行抓取,并将视频播放页面中的视频信息和视频播放URL信息进行数据库关联存储;
通过网络抓包工具对视频播放过程中产生的所有HTTP请求信息和时间节点信息进行获取,并将获取的信息通过数据表记录;
对视频播放过程中产生的HTTP请求信息和时间节点信息进行数据差异对比,将对比后获得的HTTP请求信息进行XDR记录识别,获得其中的卡顿特征关键字;将卡顿特征关键字与数据库中的视频播放URL信息进行匹配,获得卡顿特征记录信息,并提取视频播放URL信息里的字段信息;
通过字段信息识别时间间隔最近的视频播放请求URL信息,将此URL信息与数据库中关联的视频播放页面中的视频信息进行识别提取,将提取的视频信息与卡顿特征进行数据记录,做为一个视频卡顿信息。
进一步的,所述通过网络抓包工具抓取视频播放期间产生的信息包括视频播放期间产生的所有HTTP请求信息和时间节点信息,并将信息记录标记为LIST_A集合;视频播放期间因用户操作而产生的HTTP请求信息和时间节点信息,将信息记录标记为LIST_B集合;视频播放期间出现卡顿的时间节点信息,时间节点信息记录标记为LIST_C集合。
进一步的,所述差异对比包括如下步骤:S1将LIST_C集合与LIST_A集合进行差异匹配,提取LIST_A集合中与LIST_C集合具有相同时间节点信息的请求信息,并将请求信息集合记录为LIST_A_1;S2将LIST_A_1集合与LIST_B集合进行差异匹配,提取出LIST_A_1集合中与LIST_B集合不相同的请求信息,并将请求信息集合记录为LIST_A_2,LIST_A_2集合中的信息即为卡顿信息,通过对LIST_A_2集合中的请求信息进行XDR字段记录识别,提取出卡顿特征关键字。
进一步的,当LIST_A_2集合中的值为0时,对LIST_A_1集合中的请求信息进行内部参数识别,通过XDR记录识别提取请求中相同参数最多的请求,请求中的参数赋值与LIST_A集合中具有相同请求的参数的赋值对比是否相同,如相同继续获取其他请求中的参数做识别,如不同此请求为卡顿信息请求,通过对卡顿信息请求进行XDR字段记录识别,获取卡顿特征关键字。
进一步的,所述提取视频播放URL信息里的字段信息包括用户信息、用户端口信息、视频播放时间。
进一步的,所述利用网络抓包工具对视频播放页面进行信息抓取的视频信息和视频播放URL信息标记为LIST_URL_TITLE集合。
与现有技术相比,本方法具有的有益效果为:1、覆盖视频源全面:只要是通过运营商端口进行播放的在线视频都可以进行监控,覆盖视频源全面;2、覆盖时间点全面:任意时间点、时间段都可以进行监控视频卡顿情况分析、记录;3、覆盖网络链路全面:运营商可以对全网在线播放请求进行获取,不受地域限制。
附图说明
图1为本发明基于XDR记录识别视频卡顿的方法流程图。
图2为本发明网络抓包工具抓取特征页面流程图。
具体实施方式
本发明的具体实施方式通过如下技术方案实现。
第一步:通过网络抓包工具获取播放视频URL请求与视频名称的对应关系。
使用网络抓包工具,对视频播放页面信息进行抓取,将页面内的title提取出来与视频播放URL进行关联,例如:
http://v.youku.com/v_show/id_XMzM3MTIzMTM0OA==.html,
对应的title为:
<title>《三分钟》-陈可辛导演短篇作品—在线播放—《《三分钟》-陈可辛导演短篇作品》—电影—优酷网,视频高清在线观看</title>。将爬取到的URL与title的对应关系记为LIST_URL_TITLE,记录备用;
第二步:获取视频播放情况一、腾讯视频抓取视频正常播放过程中请求进入表一
表一
第三步:获取视频操作请求
从视频播放设备上面,利用网络抓包工具,监听视频播放期间,因为用户操作而产生的http请求和时间节点信息,用户操作包括对视频播放过程中进行的开始、暂停、拖拽(前进、后退)等命令,信息记录标记为LIST_B集合。
表二数据为LIST_B集合中截取的部分播放操作请求数据:
表二
第四步:获取卡顿请求
在视频播放过程中,认为制造网络堵塞等情况造成视频卡顿,然后通过抓包工具抓取到对应的URL信息,放到集合LIST_C中,标记为卡顿预选URL集合。
表三数据为LIST_C集合中截取的部分卡顿发生时URL信息:
表三
第五步:分析卡顿特征
先对卡顿过程中本身产生的URL进行过滤,去除无特征值,那么去掉LIST_C中的1跟2,然后发现3跟4的URL相同,但是参数不同,则判定卡顿特征在URL的参数中,首先判定卡顿特征是参数名称不同,把3跟4与表一跟表二对比,发现只有表三中的4这个url中有个flowid参数名称值出现在卡顿url列表中,则flowid为卡顿特征参数。则判定
https://btrace.video.qq.com/kvcollect?BossId=3717&Pwd=1055758521&version=3.5.57&uid=06b3043760165b5cedb54f30a3e3fcc8&pid=f225330433c0e3971dc629a8c3d651af&vid=m002436febo&flowid=chromehls&video_type=1&platform=10201&usr_action=pip-btn-show&usr_action_detail=&url=https://v.qq.com/x/cover/zaasslvhhyy1sg7/m002436febo.html
这个url为卡顿特征
情况二、爱奇艺
抓取的url类型同情况一,表如下
表四
表四为正常播放期间URL
表五
表五为播放器操作期间URL
表六
表六为视频卡顿过程中的URL
对比步骤与情况一腾讯视频对比步骤相同,发现表六的URL在表四以及表五中都出现,则判定卡顿特征在URL参数中,但是发现URL参数与表五表六都相同,则判定卡特征在参数中,由于,表六中的1和2会大量出现且对应的参数值都不同,则判定1跟2都不是,并且表六的3中在卡顿是也大量出现,虽然参数名称与表四的1相同,但是参数中有一个参数名为rec的参数值不同,rec值为lag时,只在卡顿期间出现,所以判定卡顿特征是rec=lag。
第六步:识别XDR记录中的卡顿记录
通过第五步得到的卡顿特征,将卡顿特征与LIST_URL_TITLE记录中URL字段进行匹配,得到包含卡顿特征的记录,一条记录记为一次卡顿,同时获取此条卡顿记录中包含的:时间,用户IP,用户端口等信息。
表七数据为卡顿记录中的UTC时间,用户IP,用户端口
序号 | 用户信息字段 | 值 |
1 | UTC时间 | 1545381295 |
2 | 用户IP | 223.79.30.152 |
3 | 用户端口 | 19572 |
第七步:识别XDR记录中的卡顿对应的视频名称
通过第六步识别到的XDR卡顿记录,提取该条记录的用户IP与用户端口,找出XDR记录中,在这条记录之前,与之记录时间间隔最近的,相同用户IP与用户端口的视频播放请求URL;再将此条视频播放请求URL通过第一步获取的LIST_URL_TITLE进行关联,得到实际的视频名称;至此,可以分析出某一个具体视频在某一个具体时间发生了一次视频卡顿。
表八为具体视频的卡顿情况
Claims (6)
1.一种基于XDR记录识别视频卡顿的方法,其特征在于,利用网络抓包工具对视频播放页面信息进行抓取,并将视频播放页面中的视频信息和视频播放URL信息进行数据库关联存储;
通过网络抓包工具对视频播放过程中产生的所有HTTP请求信息和时间节点信息进行获取,并将获取的信息通过数据表记录;
对视频播放过程中产生的HTTP请求信息和时间节点信息进行数据差异对比,将对比后获得的HTTP请求信息进行XDR记录识别,获得其中的卡顿特征关键字;
将卡顿特征关键字与数据库中的视频播放URL信息进行匹配,获得卡顿特征记录信息,并提取视频播放URL信息里的字段信息;
通过字段信息识别时间间隔最近的视频播放请求URL信息,将此URL信息与数据库中关联的视频播放页面中的视频信息进行识别提取,将提取的视频信息与卡顿特征进行数据记录,做为一个视频卡顿信息。
2.如权利要求1所述基于XDR记录识别视频卡顿的方法,其特征在于,所述通过网络抓包工具抓取视频播放期间产生的信息包括视频播放期间产生的所有HTTP请求信息和时间节点信息,并将信息记录标记为LIST_A集合;视频播放期间因用户操作而产生的HTTP请求信息和时间节点信息,将信息记录标记为LIST_B集合;视频播放期间出现卡顿的时间节点信息,时间节点信息记录标记为LIST_C集合。
3.如权利要求2所述基于XDR记录识别视频卡顿的方法,其特征在于,所述差异对比包括如下步骤:S1将LIST_C集合与LIST_A集合进行差异匹配,提取LIST_A集合中与LIST_C集合具有相同时间节点信息的请求信息,并将请求信息集合记录为LIST_A_1;S2将LIST_A_1集合与LIST_B集合进行差异匹配,提取出LIST_A_1集合中与LIST_B集合不相同的请求信息,并将请求信息集合记录为LIST_A_2,LIST_A_2集合中的信息即为卡顿信息,通过对LIST_A_2集合中的请求信息进行XDR字段记录识别,提取出卡顿特征关键字。
4.如权利要求3所述基于XDR记录识别视频卡顿的方法,其特征在于,当LIST_A_2集合中的值为0时,对LIST_A_1集合中的请求信息进行内部参数识别,通过XDR记录识别提取请求中相同参数最多的请求,请求中的参数赋值与LIST_A集合中具有相同请求的参数的赋值对比是否相同,如相同继续获取其他请求中的参数做识别,如不同此请求为卡顿信息请求,通过对卡顿信息请求进行XDR字段记录识别,获取卡顿特征关键字。
5.如权利要求1所述基于XDR记录识别视频卡顿的方法,其特征在于,所述提取视频播放URL信息里的字段信息包括用户信息、用户端口信息、视频播放时间。
6.如权利要求1所述基于XDR记录识别视频卡顿的方法,其特征在于,所述利用网络抓包工具对视频播放页面进行信息抓取的视频信息和视频播放URL信息标记为LIST_URL_TITLE集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911003501.4A CN110958494A (zh) | 2019-10-22 | 2019-10-22 | 一种基于xdr记录识别视频卡顿的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911003501.4A CN110958494A (zh) | 2019-10-22 | 2019-10-22 | 一种基于xdr记录识别视频卡顿的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110958494A true CN110958494A (zh) | 2020-04-03 |
Family
ID=69976423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911003501.4A Pending CN110958494A (zh) | 2019-10-22 | 2019-10-22 | 一种基于xdr记录识别视频卡顿的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110958494A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8489923B1 (en) * | 2006-11-15 | 2013-07-16 | Conviva Inc. | Detecting problems in content distribution |
US20160127440A1 (en) * | 2014-10-29 | 2016-05-05 | DLVR, Inc. | Configuring manifest files referencing infrastructure service providers for adaptive streaming video |
CN108235149A (zh) * | 2016-12-21 | 2018-06-29 | 中国移动通信集团公司 | 一种优化视频播放流畅度的方法及装置 |
CN109587521A (zh) * | 2017-09-29 | 2019-04-05 | 北京国双科技有限公司 | 视频卡顿的判定方法及装置 |
CN109936769A (zh) * | 2019-04-23 | 2019-06-25 | 深圳大学 | 一种视频卡顿检测方法、检测系统、移动终端及存储装置 |
CN109982068A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团福建有限公司 | 合成视频质量评估方法、装置、设备及介质 |
-
2019
- 2019-10-22 CN CN201911003501.4A patent/CN110958494A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8489923B1 (en) * | 2006-11-15 | 2013-07-16 | Conviva Inc. | Detecting problems in content distribution |
US20160127440A1 (en) * | 2014-10-29 | 2016-05-05 | DLVR, Inc. | Configuring manifest files referencing infrastructure service providers for adaptive streaming video |
CN108235149A (zh) * | 2016-12-21 | 2018-06-29 | 中国移动通信集团公司 | 一种优化视频播放流畅度的方法及装置 |
CN109587521A (zh) * | 2017-09-29 | 2019-04-05 | 北京国双科技有限公司 | 视频卡顿的判定方法及装置 |
CN109982068A (zh) * | 2017-12-28 | 2019-07-05 | 中国移动通信集团福建有限公司 | 合成视频质量评估方法、装置、设备及介质 |
CN109936769A (zh) * | 2019-04-23 | 2019-06-25 | 深圳大学 | 一种视频卡顿检测方法、检测系统、移动终端及存储装置 |
Non-Patent Citations (2)
Title |
---|
唐辉: "基于传输层的视频卡顿实时检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
殷文珊: "抓包分析解决视频点播卡顿故障处理的应用实例", 《通讯世界》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230127341A1 (en) | Methods and apparatus to credit media presentations for online media distributions | |
US10841358B2 (en) | System and method for determining quality of a media stream | |
CN100379208C (zh) | 网络使用情况监视设备和相关方法 | |
US11973816B2 (en) | Using messaging associated with adaptive bitrate streaming to perform media monitoring for mobile platforms | |
CN106656629B (zh) | 一种流媒体播放质量的预测方法 | |
US11736750B2 (en) | Methods and apparatus to generate reference signatures from streaming media | |
US11877028B2 (en) | Methods and apparatus to identify media presentations by analyzing network traffic | |
CN109982068B (zh) | 合成视频质量评估方法、装置、设备及介质 | |
Yeganeh et al. | Delivery quality score model for Internet video | |
Dimopoulos et al. | Analysis of YouTube user experience from passive measurements | |
CN113596519B (zh) | 对监控设备直播推流的调控方法及电子设备 | |
US11743195B2 (en) | System and method for monitoring and managing video stream content | |
CN106209472A (zh) | 一种宽带用户数据挖掘和预警的方法 | |
CN104469540A (zh) | 实现iptv单播业务端到端质量保障的系统 | |
CN110958494A (zh) | 一种基于xdr记录识别视频卡顿的方法 | |
CN113453076B (zh) | 用户视频业务质量评估方法、装置、计算设备和存储介质 | |
CN107623847B (zh) | 一种视频业务的视频质量评估方法和装置 | |
Ahsan et al. | Impact of duration on active video testing | |
CN117241071B (zh) | 一种基于机器学习算法感知视频卡顿质差的方法 | |
FR2908571A1 (fr) | Dispositif et procede pour mesure d'audience dans un foyer numerique | |
Kulkarni et al. | A Study of YouTube’s Service Quality | |
CN115225936A (zh) | 一种视频资源的清晰度指标确定方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200403 |