CN104468266A - 基于智能终端实现流媒体用户体验监测的系统及方法 - Google Patents

Abstract

本发明涉及一种基于智能终端实现流媒体用户体验监测的系统及方法，其中系统包括智能终端和系统平台，智能终端包括播放体验模块，用以在智能终端中进行流媒体视频体验播放；监测参数采集模块，用以在流媒体视频体验播放期间进行监测参数采集；监测参数上传模块，用以将采集的监测参数上传至系统平台；系统平台包括数据存储查询模块，用以存储监测参数并进行监测参数查询；综合性能分析模块，用以根据监测参数进行综合性能分析得到用户体验值。采用该种结构的基于智能终端实现流媒体用户体验监测的系统及方法，实现了通过智能终端即可完成各项性能监测，操作简单方便，依据用户实际使用场景进行监测，贴近用户实际感知，具有更广泛的应用范围。

Description

基于智能终端实现流媒体用户体验监测的系统及方法

技术领域

本发明涉及终端监测领域，尤其涉及用户体验监测领域，具体是指一种基于智能终端实现流媒体用户体验监测的系统及方法。

背景技术

随着3G/4G网络的发展和智能终端的普及，移动客户端APP被广泛应用于手机聊天、手机视频、手机银行等各类应用，便捷了人们的日常生活。随着应用的普及，用户对移动客户端应用体验的要求越来越高。国内主流运营商在比拼客户服务质量的同时，也愈发关注其3G/4G网内用户使用的真实体验。因此，运营商需要定期了解网络的运行情况，并采取相应的措施进行更为精细的网络优化，从而保障终端用户的业务体验。路测是运营商了解网络性能和用户体验的重要方式。传统路测需要专业测试人员携带笔记本电脑，专业测试手机，GPS(Global Position System，全球定位系统)等设备，不仅操作复杂，路测线路受到限制，数据分析也不及时。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现通过智能终端即可完成移动端各项性能监测、操作简单方便、完整依据用户实际使用场景进行监测、贴近用户实际感知、具有更广泛应用范围的基于智能终端实现流媒体用户体验监测的系统及方法。

为了实现上述目的，本发明的基于智能终端实现流媒体用户体验监测的系统及方法具有如下构成：

该基于智能终端实现流媒体用户体验监测的系统，其主要特点是，所述的系统包括智能终端和系统平台，所述的智能终端包括：

播放体验模块，用以在所述的智能终端中进行流媒体视频体验播放；

监测参数采集模块，用以在流媒体视频体验播放期间进行监测参数采集；

监测参数上传模块，用以将采集的监测参数上传至所述的系统平台；

所述的系统平台包括：

数据存储查询模块，用以存储所述的监测参数并进行监测参数查询；

综合性能分析模块，用以根据所述的监测参数进行进一步统计分析。

较佳地，所述的系统平台还包括测试计划分配模块，所述的测试计划分配模块用以为智能终端分配并下发测试计划，所述的智能终端还包括测试计划管理模块，所述的测试计划管理模块用以从所述的测试计划分配模块获取未完成的测试计划并对各个测试计划进行管理。

较佳地，所述的系统平台还包括质差小区统计模块，所述的质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。

较佳地，所述的监测参数包括视频客户端名称、视频后台对应的进程名称、视频开始观看时间、视频画质信息、视频观看过程中用户移动轨迹、网络质量参数、用户体验参数和无线指标参数。

更佳地，所述的网络质量参数包括平均下载速度、RTT、TCP重传率和请求成功率，所述的用户体验参数包括视频的分辨率、帧率、平均码率、观看视频过程中的缓冲次数、缓冲时长和初始缓冲时长，所述的无线指标参数包括视频观看过程中所处网络类型、小区切换信息和信号强度。

本发明还涉及一种通过所述的系统基于智能终端实现流媒体用户体验监测的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的播放体验模块在所述的智能终端中进行流媒体视频体验播放；

(2)所述的监测参数采集模块在流媒体视频体验播放期间进行监测参数采集；

(3)所述的监测参数上传模块将采集的监测参数上传至所述的系统平台；

(4)所述的数据存储查询模块接收所述的监测参数并进行存储；

(5)所述的综合性能分析模块根据所述的监测参数进行进一步统计分析。

较佳地，所述的系统平台还包括测试计划分配模块，所述的智能终端还包括测试计划管理模块，所述的步骤(1)之前，还包括以下步骤：

(0-1)所述的测试计划分配模块为智能终端分配并下发测试计划；

(0-2)所述的测试计划管理模块获取未完成的测试计划并对各个测试计划进行管理。

较佳地，所述的系统平台还包括质差小区统计模块，所述的步骤(5)之后，还包括：

(6)所述的质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。

采用了该发明中的基于智能终端实现流媒体用户体验监测的系统及方法，具有如下有益效果：

本发明采用的基于智能终端的流媒体用户体验监测技术从用户体验角度出发，自动识别并监测视频客户端流媒体播放行为、并与无线质量指标相关联，定位导致用户视频体验下降的原因，为网络优化及维护提供支持。本发明通过采用基于智能终端的流媒体用户体验监测技术，只需一台商用智能手机即可完成移动端应用网络质量、用户体验及无线网络性能的监测，操作简单方便，完整依据用户实际使用场景进行监测，贴近用户实际感知，测试数据实时上传到平台进行同步分析，具有更广泛的应用范围。

附图说明

图1为本发明的基于智能终端实现流媒体用户体验监测的系统的结构示意图。

图2为本发明一实施例的基于智能终端实现流媒体用户体验监测的系统的示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明采用的技术方案如下：

1、系统分为终端侧和平台侧两部分，终端侧主要完成流媒体视频体验播放及参数监测采集功能，并可将监测记录实时上报到平台侧进行分析。平台侧则根据终端侧上报的监测记录结果，进行数据存储查询、网络性能分析、质差小区统计等功能。

2、终端侧功能以APP应用的形式体现，可以采用android、IOS、windows等各种智能终端，例如采用商用android智能终端，安装移动视频用户体验监测系统文件包，获取终端root权限后，即可进行终端侧移动视频参数采集及用户体验监测。

3、平台侧通过获取终端侧上报的监测记录，对海量监测记录入库保存，并通过平台系统进行监测记录的展示查询、质差小区统计、网络类型分析等各类统计分析功能。

4、平台侧可以通过测试计划功能，创建统一的测试计划，下发到终端侧。测试人员可在终端侧通过查询领取自己所要执行的测试计划，完成相关测试后，将该计划下的监测记录一起上报到平台侧。

5、终端侧也可以在测试计划外，自行进行移动视频体验监测，所产生的计划外自测监测结果，可通过终端侧提供的上报功能选择所需的记录进行上报。

根据上述技术方案，如图1所示，本发明的基于智能终端实现流媒体用户体验监测的系统包括智能终端和系统平台，智能终端包括：

播放体验模块，用以在智能终端中进行流媒体视频体验播放；

监测参数采集模块，用以在流媒体视频体验播放期间进行监测参数采集；

监测参数上传模块，用以将采集的监测参数上传至系统平台；

测试计划管理模块，用以从测试计划分配模块获取未完成的测试计划并对各个测试计划进行管理。

系统平台包括：

数据存储查询模块，用以存储监测参数并进行监测参数查询；

综合性能分析模块，用以根据所述的监测参数进行进一步统计分析；

测试计划分配模块，用以为智能终端分配并下发测试计划。

质差小区统计模块，质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。

在一种较佳的实施方式中，监测参数可以包括视频客户端名称、视频后台对应的进程名称、视频开始观看时间、视频画质信息、视频观看过程中用户移动轨迹、网络质量参数、用户体验参数和无线指标参数。在实际应用中，监测参数还可以包括其他用户或测试人员需要了解的参数。

用户视频体验值是在终端侧监测完成后就分析得出的，终端侧可以直接直观的反映出当次视频体验mos值。平台侧会在终端侧监测结果、用户体验值的基础上做更详细的多维度统计分析。

在一种更佳的实施方式中，网络质量参数包括平均下载速度、RTT(Round-Trip Time，往返时间)、TCP(Transmission Control Protocol，传输控制协议)重传率和请求成功率，用户体验参数包括视频的分辨率、帧率、平均码率、观看视频过程中的缓冲次数、缓冲时长和初始缓冲时长，无线指标参数包括视频观看过程中所处网络类型、小区切换信息和信号强度。其中信号强度可以包括RSSI(Received Signal Strength Indicator，接收信号强度指示器)、RSRP(Reference Signal Receiving Power，参考信号接收功率)和RSRQ(Reference Signal ReceivingQuality，参考信号接收质量)。

本发明还涉及一种通过系统基于智能终端实现流媒体用户体验监测的方法，其特征在于，方法包括以下步骤：

(0-1)测试计划分配模块为智能终端分配并下发测试计划；

(0-2)测试计划管理模块获取未完成的测试计划并对各个测试计划进行管理。

在实际应用中，系统平台也可以不为智能终端下发测试计划，用户或测试员可以根据自己需要进行自主测试和测试数据上传。

(1)播放体验模块在智能终端中进行流媒体视频体验播放；

(2)监测参数采集模块在流媒体视频体验播放期间进行监测参数采集；

(3)监测参数上传模块将采集的监测参数上传至系统平台；

(4)数据存储查询模块接收监测参数并进行存储；

(5)综合性能分析模块根据所述的监测参数进行进一步统计分析。

在一种较佳的实施方式中，为了了解各个不同小区的网络性能情况，可以增加如下步骤：

(6)质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。

如图2所示，为本发明的一种实施例的实现流媒体用户体验监测的示意图。

当测试人员需要进行流媒体体验监测时，首先需要登录移动流媒体用户体验监测终端APP，测试人员的账号由平台侧统一分配及注册，终端侧只提供测试人员登录功能。

测试人员登录智能终端APP后，在智能终端界面测试计划管理模块会提供获取测试计划功能，测试人员点击获取测试计划按钮，系统平台的测试计划分配模块会自动将平台侧所有未领取的测试计划同步到终端，测试计划中会明确计划测试人员、计划测试区域范围、计划测试网络类型及计划测试应用客户端等信息，测试人员根据测试计划列出的详细信息，根据自身所处的地区环境等因素领取合适的测试计划。测试人员也可以在我的计划中查看到自己当前正在执行的或是已执行完成的测试计划信息。

测试人员或对用户体验特别关注的大众用户也可以不领取测试计划，利用智能终端APP进行自由测试，即测试人员根据自身所处的区域、所处的网络进行自行测试。

在测试计划或是自行制定的计划下，测试人员根据相应的网络类型、应用客户端等信息，将移动流媒体用户体验监测终端APP应用保持到后台运行，然后通过视频播放体验模块在手机上观看视频或网页，如打开优酷视频客户端，选择一个电影进行播放观看，在观看电影过程中，移动流媒体用户体验监测终端APP应用即会通过监测参数采集模块在后台对视频播放过程中的播放质量参数、用户体验参数及相关的无线网络指标进行监测，当测试人员观看完电影或是中途退出观看，此时再次打开移动流媒体用户体验监测终端APP应用，即可在界面上查看到该次测试的监测记录信息。移动流媒体用户体验监测终端APP只会在有流媒体请求时才会进行后台监测，同时只监测流媒体播放过程中的网络质量及用户体验情况，并不获取流媒体播放内容及其他可能涉及用户隐私等信息。

监测记录基本信息包括视频客户端名称，视频客户端后台对应的进程名称，视频开始观看时间，视频画质信息，视频观看过程中测试人员或用户的移动轨迹。同时监测视频播放过程中的网络质量参数，包括平均下载速度、RTT、TCP重传率、请求成功率等指标；用户体验参数包括视频的分辨率、帧率、平均码率、观看视频过程中的缓冲次数、缓冲时长、初始缓冲时长等参数信息；无线指标参数包括视频观看过程中所处网络类型、小区切换信息及相应的信号强度RSSI、RSRP、RSRQ等无线指标。最终系统会在这些参数基础上根据相关算法计算出观看该视频的整体体验MOS(Mean Opinion Score，平均意见得分)值，从贴近用户感知角度整体评估当前视频的观看体验。

当测试人员完成测试后，可以查看测试计划或自测计划下的监测记录，并可根据需要对监测记录进行删除等管理操作，待确认好所有的监测记录后，测试人员可以在终端侧通过监测参数上传模块的提交计划功能将测试计划下的所有监测记录上报到平台进行分析，同时对于自测的监测记录也可以通过选择提交到平台侧。

平台侧获取到终端侧上报的所有的监测记录后，对所有的监测记录及参数进行入库保存，保存至数据存储查询模块，并按照类别进行分类提供展示查询。同时综合性能模块对海量的终端监测记录进行数据分析，包括根据不同的小区进行小区质量、信号强度、MOS值的统计分析功能，由质差小区统计模块对不同网络类型按照下载速率及MOS值进行统计对比，从整体角度分析不同小区不同网络类型下流媒体用户整体体验情况，利于运营商进一步优化网络。

采用了该发明中的基于智能终端实现流媒体用户体验监测的系统及方法，具有如下有益效果：

本发明采用的基于智能终端的流媒体用户体验监测技术从用户体验角度出发，自动识别并监测视频客户端流媒体播放行为、并与无线质量指标相关联，定位导致用户视频体验下降的原因，为网络优化及维护提供支持。本发明通过采用基于智能终端的流媒体用户体验监测技术，只需一台商用智能手机即可完成移动端应用网络质量、用户体验及无线网络性能的监测，操作简单方便，完整依据用户实际使用场景进行监测，贴近用户实际感知，测试数据实时上传到平台进行同步分析，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种基于智能终端实现流媒体用户体验监测的系统，其特征在于，所述的系统包括智能终端和系统平台，所述的智能终端包括：

播放体验模块，用以在所述的智能终端中进行流媒体视频体验播放；

监测参数采集模块，用以在流媒体视频体验播放期间进行监测参数采集；

监测参数上传模块，用以将采集的监测参数上传至所述的系统平台；

所述的系统平台包括：

数据存储查询模块，用以存储所述的监测参数并进行监测参数查询；

综合性能分析模块，用以根据所述的监测参数进行进一步统计分析。

2.根据权利要求1所述的基于智能终端实现流媒体用户体验监测的系统，其特征在于，所述的系统平台还包括测试计划分配模块，所述的测试计划分配模块用以为智能终端分配并下发测试计划，所述的智能终端还包括测试计划管理模块，所述的测试计划管理模块用以从所述的测试计划分配模块获取未完成的测试计划并对各个测试计划进行管理。

3.根据权利要求1所述的基于智能终端实现流媒体用户体验监测的系统，其特征在于，所述的系统平台还包括质差小区统计模块，所述的质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。

4.根据权利要求1所述的基于智能终端实现流媒体用户体验监测的系统，其特征在于，所述的监测参数包括视频客户端名称、视频后台对应的进程名称、视频开始观看时间、视频画质信息、视频观看过程中用户移动轨迹、网络质量参数、用户体验参数和无线指标参数。

5.根据权利要求4所述的基于智能终端实现流媒体用户体验监测的系统，其特征在于，所述的网络质量参数包括平均下载速度、往返时间、TCP重传率和请求成功率，所述的用户体验参数包括视频的分辨率、帧率、平均码率、观看视频过程中的缓冲次数、缓冲时长和初始缓冲时长，所述的无线指标参数包括视频观看过程中所处网络类型、小区切换信息和信号强度。

6.一种通过权利要求1至5中任一项所述的系统基于智能终端实现流媒体用户体验监测的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的播放体验模块在所述的智能终端中进行流媒体视频体验播放；

(2)所述的监测参数采集模块在流媒体视频体验播放期间进行监测参数采集；

(3)所述的监测参数上传模块将采集的监测参数上传至所述的系统平台；

(4)所述的数据存储查询模块接收所述的监测参数并进行存储；

(5)所述的综合性能分析模块根据所述的监测参数进行进一步统计分析。

7.根据权利要求6所述的基于智能终端实现流媒体用户体验监测的方法，其特征在于，所述的系统平台还包括测试计划分配模块，所述的智能终端还包括测试计划管理模块，所述的步骤(1)之前，还包括以下步骤：

(0-1)所述的测试计划分配模块为智能终端分配并下发测试计划；

(0-2)所述的测试计划管理模块获取未完成的测试计划并对各个测试计划进行管理。

8.根据权利要求6所述的基于智能终端实现流媒体用户体验监测的方法，其特征在于，所述的系统平台还包括质差小区统计模块，所述的步骤(5)之后，还包括：

(6)所述的质差小区统计模块用以对各个小区的用户体验进行统计和比较分析。