CN107222739A - 一种基于爬虫技术的iptv业务质量拨测方法 - Google Patents

Abstract

本发明涉及一种基于爬虫技术的IPTV业务质量拨测方法，按照如下步骤实现：扫描待拨测的任务，获取要拨测EPG节点、业务类型及地市；获取EPG节点对应IPTV用户信息，模拟其机顶盒登陆过程，并获取对应的会话信息；判断待拨测的业务类型；根据不同的业务类型采用不同的测试方案进行测试。本发明所提出的一种基于爬虫技术的IPTV业务质量拨测方法，提高了天翼高清业务内容质量监管，同时可对各地市实现问题内容的集约化管理，从而加大拨测规模，提高了平台拨测范围及成效。

Description

一种基于爬虫技术的IPTV业务质量拨测方法

技术领域

本发明涉及电信IPTV软终端技术领域，特别是一种基于爬虫技术的IPTV业务质量拨测方法。

背景技术

现有方案采用人工检测结合平台维护的方式来完成,其主要技术内容如下：

1、通过人工使用机顶盒进行节目浏览，对EPG页面层级的每个节目的进行查看和播放，从而完成上线业务检测。

2、通过人工分析平台节目上传日志，找出失败记录，手工进行重发。

现有ITV内容较常出现以下几个问题：页面元素是否缺失、链接是否正常、图片显示是否正常；内容黑/白屏、重复、缺集漏集、无法播放的错误代码提示等，目前主要是通过人工拨测，存在效率低下和测试准确性难保证的情况。

发明内容

本发明的目的在于提供一种基于爬虫技术的IPTV业务质量拨测方法，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种基于爬虫技术的IPTV业务质量拨测方法,按照如下步骤实现：

步骤S1：扫描待拨测的任务，获取要拨测EPG节点、业务类型及地市；

步骤S2：获取EPG节点对应IPTV用户信息，模拟其机顶盒登陆过程，并获取对应的会话信息；

步骤S3：判断待拨测的业务类型；

步骤S4：根据不同的业务类型采用不同的测试方案进行测试。

在本发一实施例中，在所述步骤S4中，还包括如下步骤：

步骤S41：若是直播类或视频点播类，则根据其BesttvCode，获取对应视频播放地址，并检测其是否可播放；

步骤S42：若是增值类业务，则对其首页连通性进行测试；

步骤S43：若是看吧类业务，则根据EPG节目对应的URL进行测试。

在本发一实施例中，在所述步骤S43中，还包括如下步骤：

步骤S431：分析给定的EPG节目入口URL，对页面进行可访问性检测；若出错，则记录原因，并停止检测此页面；

步骤S432：抓取页面中的图片，并进行可访问性检测，出错则记录原因；

步骤S433：通过正则表达式抓取页面中的节目URL，先重复所述步骤S431至所述步骤S432步骤，然后分析获取其播放地址，并检测其是否可播放以及是否缺集；

步骤S434：通过正则表达式抓取页面中的分类节目URL，重复所述步骤S431至所述步骤S433。

在本发一实施例中，在所述步骤S433中，还包括如下步骤：

步骤S4331：根据URL获取页面HTML内容；

步骤S4332：根据HTML内容分析出页面中视频节日标题；

步骤S4333：通过正则表达式抓取从HTML内容分析出视频节日播放URL；

步骤S4334：访问视频节日播放URL，获取节目的BesttvCode；

步骤S4335：根据节目的BesttvCode获取其视频流播放地址；

步骤S4336：根据获取的视频流播放地址，利用VLCJ播放视频检测视频流是否正常，若不能播放则记录原因。

在本发一实施例中，还包括一基于爬虫技术的IPTV业务质量拨测系统，包括：数据层、处理层、应用层以及展示层；所述处理层包括：拨测方案管理模块、拨测任务管理模块、拨测结果查询以及告警管理模块。

在本发一实施例中，，通过所述拨测方案管理模块用于对全省或各地市的不同业务类型下的所有节目进行拨测方案的配置；通过所述拨测任务管理模块，对已提交成功的拨测方案，按其拨测时间在任务队列中的进度进行查看，对任一拨测方案不同业务类型的当前拨测节目完成情况查看，对不同状态下的任务进行对应的暂停以及删除操作；通过所述拨测结果查询，对各拨测状态下的拨测结果信息，包括：各节目正常以及异常信息，进行查看；通过所述告警管理模块对错误代码中需要提示的告警事件以及对应的告警级别进行配置。

在本发一实施例中，在执行拨测任务过程中，包括如下任务状态：进行中状态、已暂停状态、已删除状态、未开始状态以及已完成状态。

在本发一实施例中，所述任务状态的转换为：

所述暂停状态通过恢复操作转换为所述未开始状态或所述进行中状态；所述暂停状态经阐述操作转换为所述已删除状态；

所述未开始状态通过暂停操作转换为所述暂停操作；所述未开始状态在到达拨测时间使，转换为所述进行中状态；所述未开始状态经删除操作转换为所述已删除状态；

所述进行中状态经暂停操作转换为所述暂停操作；所述进行中状态经删除操作转换为已删除状态；所述进行中状态经拨测完成后，转换为所述已完成状态；

所述已完成状态经删除操作转换为已删除状态。

相较于现有技术，本发明具有以下有益效果：本发明提供的一种基于爬虫技术的IPTV业务质量拨测方法，采集全面，只需要给定的EPG节目入口URL，就可以对页面进行反复逐级抓取。有特殊情况需要特殊处理才能采集的，也支持配置脚本。配置灵活，支持动态调整、自动定时采集。精度高，支持正则表达式和脚本配置更加做到精准采集。提高了天翼高清业务内容质量监管，同时可对各地市实现问题内容的集约化管理，从而加大了拨测规模，提高了平台拨测范围及效。

附图说明

图1为本发明一实施例中EPG节目拨测流程图。

图2为本发明一实施例中基于爬虫技术的IPTV业务质量拨测系统的框架图。

图3为本发明一实施例中拨测任务状态扭转图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于爬虫技术的IPTV业务质量拨测方法，如图1所示，包括如下步骤：

步骤S1.扫描待拨测的任务，获取要拨测EPG节点、业务类型及地市；

步骤S2.获取EPG节点对应IPTV用户信息，模拟其机顶盒登陆过程并获取会话相关信息；

步骤S3.判断要拨测的业务类型；

步骤S4.若是直播类或视频点播类则根据其BesttvCode，获取对应视频播放地址，并检测其是否可播放；

步骤S5.若是增值类业务则仅对其首页连通性进行测试；

步骤S6.若是看吧类业务则执行以下流程

步骤S 6.1.分析给定的EPG节目入口URL，对页面进行可访问性检测，出错则记录原因并停止检测此页面；

步骤S6.2.抓取页面中的图片并进行可访问性检测，出错则记录原因；

步骤S6.3.通过正则表达式抓取页面中的具体节目URL，先重复步骤S6.1-步骤S6.2步骤，然后分析获取其播放地址并检测其是否可播放，是否缺集等

步骤Sa)根据URL获取页面HTML内容；

步骤Sb)根据HTML内容分析出页面中视频节日标题；

步骤Sc)通过正则表达式抓取从HTML内容分析出视频节日播放URL；

步骤Sd)访问视频节日播放URL，获取节目的BesttvCode；

步骤Se)根据节目的BesttvCode获取其视频流播放地址；

步骤Sf)根据获取的视频流播放地址，利用VLCJ播放视频检测视频流是否正常，若不能播放则记录原因；

步骤S6.4.通过正则表达式抓取页面中的分类节目URL，重复步骤S6.1-步骤S6.3步骤。

进一步的，在本实施例中，为了保障高清视频业务的良好运行，取代传统人工拨测方式，模拟机顶盒，实现账号与节点关联绑定，通过检测任务模式，定时定量灵活实现对EPG首页/看吧/视频点播/直播/增值业务的在线监测、实时报警，从而加大拨测规模，提高平台拨测范围及成效，将日常维护集中化管理。获取EPG节点对应IPTV用户信息，模拟其机顶盒登陆过程并获取会话相关信息；分析给定的EPG节目入口URL，通过正则表达式抓取页面中的具体节目URL，对页面进行可访问性检测，出错则记录原因并停止检测此页面，抓取页面中的图片并进行可访问性检测，出错则记录原因，然后分析获取其播放地址并检测其是否可播放，是否缺集等。

进一步的，在本实施例中，如图2所示，还包括一种基于爬虫技术的IPTV业务质量拨测系统。其中，拨测方案管理模块用于可选择性的对全省或各地市的不同业务类型下的所有节目进行拨测方案的配置。拨测任务管理模块用于对已提交成功的拨测方案按其拨测时间在任务队列中的进度进行查看，可查看某一拨测方案不同业务类型的当前拨测节目完成情况。同时，可对不同状态下的任务进行对应的暂停、删除操作。拨测结果查询模块可查看各拨测状态下的拨测结果信息，即：各节目正常、异常（含错误代码）信息等。告警管理模块实现对错误代码中需要提示的告警事件、对应的告警级别进行配置。

进一步的，在本实施例中，如图3所示，提供：

业务规则：

1)任务暂停后可恢复暂停；

2)任务状态：进行中、已暂停、已删除、未开始、已完成。

其中，暂停状态通过恢复操作转换为未开始状态或进行中状态；暂停状态经阐述操作转换为已删除状态；

未开始状态通过暂停操作转换为暂停操作；未开始状态在到达拨测时间使，转换为进行中状态；未开始状态经删除操作转换为已删除状态；

进行中状态经暂停操作转换为暂停操作；进行中状态经删除操作转换为已删除状态；进行中状态经拨测完成后，转换为已完成状态；

已完成状态经删除操作转换为已删除状态。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，按照如下步骤实现：

步骤S1：扫描待拨测的任务，获取要拨测EPG节点、业务类型及地市；

步骤S2：获取EPG节点对应IPTV用户信息，模拟其机顶盒登陆过程，并获取对应的会话信息；

步骤S3：判断待拨测的业务类型；

步骤S4：根据不同的业务类型采用不同的测试方案进行测试。

2.根据权利要求1所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，在所述步骤S4中，还包括如下步骤：

步骤S41：若是直播类或视频点播类，则根据其BesttvCode，获取对应视频播放地址，并检测其是否可播放；

步骤S42：若是增值类业务，则对其首页连通性进行测试；

步骤S43：若是看吧类业务，则根据EPG节目对应的URL进行测试。

3.根据权利要求2所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，在所述步骤S43中，还包括如下步骤：

步骤S431：分析给定的EPG节目入口URL，对页面进行可访问性检测；若出错，则记录原因，并停止检测此页面；

步骤S432：抓取页面中的图片，并进行可访问性检测，出错则记录原因；

步骤S433：通过正则表达式抓取页面中的节目URL，先重复所述步骤S431至所述步骤S432步骤，然后分析获取其播放地址，并检测其是否可播放以及是否缺集；

步骤S434：通过正则表达式抓取页面中的分类节目URL，重复所述步骤S431至所述步骤S433。

4.根据权利要求3所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，在所述步骤S433中，还包括如下步骤：

步骤S4331：根据URL获取页面HTML内容；

步骤S4332：根据HTML内容分析出页面中视频节日标题；

步骤S4333：通过正则表达式抓取从HTML内容分析出视频节日播放URL；

步骤S4334：访问视频节日播放URL，获取节目的BesttvCode；

步骤S4335：根据节目的BesttvCode获取其视频流播放地址；

步骤S4336：根据获取的视频流播放地址，利用VLCJ播放视频检测视频流是否正常，若不能播放则记录原因。

5.根据权利要求1所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，还包括一基于爬虫技术的IPTV业务质量拨测系统，包括：数据层、处理层、应用层以及展示层；所述处理层包括：拨测方案管理模块、拨测任务管理模块、拨测结果查询以及告警管理模块。

6.根据权利要求5所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，通过所述拨测方案管理模块用于对全省或各地市的不同业务类型下的所有节目进行拨测方案的配置；通过所述拨测任务管理模块，对已提交成功的拨测方案，按其拨测时间在任务队列中的进度进行查看，对任一拨测方案不同业务类型的当前拨测节目完成情况查看，对不同状态下的任务进行对应的暂停以及删除操作；通过所述拨测结果查询，对各拨测状态下的拨测结果信息，包括：各节目正常以及异常信息，进行查看；通过所述告警管理模块对错误代码中需要提示的告警事件以及对应的告警级别进行配置。

7.根据权利要求1所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，在执行拨测任务过程中，包括如下任务状态：进行中状态、已暂停状态、已删除状态、未开始状态以及已完成状态。

8.根据权利要求7所述的一种基于爬虫技术的IPTV业务质量拨测方法,其特征在于，所述任务状态的转换为：

所述暂停状态通过恢复操作转换为所述未开始状态或所述进行中状态；所述暂停状态经阐述操作转换为所述已删除状态；

所述未开始状态通过暂停操作转换为所述暂停操作；所述未开始状态在到达拨测时间使，转换为所述进行中状态；所述未开始状态经删除操作转换为所述已删除状态；

所述进行中状态经暂停操作转换为所述暂停操作；所述进行中状态经删除操作转换为已删除状态；所述进行中状态经拨测完成后，转换为所述已完成状态；

所述已完成状态经删除操作转换为已删除状态。