CN103716826A - 基于无线数据业务仿真场景的用户体验质量测试方法 - Google Patents
基于无线数据业务仿真场景的用户体验质量测试方法 Download PDFInfo
- Publication number
- CN103716826A CN103716826A CN201310653243.0A CN201310653243A CN103716826A CN 103716826 A CN103716826 A CN 103716826A CN 201310653243 A CN201310653243 A CN 201310653243A CN 103716826 A CN103716826 A CN 103716826A
- Authority
- CN
- China
- Prior art keywords
- user
- experience quality
- action
- packet
- user experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012372 quality testing Methods 0.000 title abstract 3
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 43
- 238000010998 test method Methods 0.000 claims description 10
- 238000000205 computational method Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 2
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种基于无线数据业务仿真场景的用户体验质量测试方法，包括以下步骤：1)获取用户使用数据流量业务的动作信息，并由此建立用户动作模型；2)获取真实通信场景下用户动作所触发的数据包，建立动作数据库；3)识别能够影响用户体验质量的数据包关键字段特征，并且按照不同的通信场景生成仿真场景；4)根据用户动作模型，在仿真场景内根据步骤2)中动作数据库内的真实数据编辑测试用例；5)通过回放系统回放测试用例，同时在通讯终端处抓取在回放测试用例过程中产生的所有数据包；6)根据步骤5)获取的数据包计算用户体验质量。与现有技术相比，本发明具有场景仿真度高、复用度高、数据库较小等优点。
Description
技术领域
本发明涉及一种用户体验质量测试方法，尤其是涉及一种基于无线数据业务仿真场景的用户体验质量测试方法。
背景技术
突发数据应用领域包括社会性网络服务，即时信息，电子邮件等业务。本发明针对这一应用领域中的小数据流量业务，并不涉及连续大数据流量业务，例如视频、音频应用。
在如今的移动网络应用中，突发数据应用正越发成为主流应用模式。这也驱使运营商和设备提供商对任务调度策略不断翻新以保障用户体验质量和节约资源。这些智能任务调度策略可以识别特定的应用程序，这一功能基于深度报文识别技术，某些相应动作将被执行以优化用户体验质量。这一改变毫无疑问的为传统测试系统和仿真技术带来挑战。传统测试系统用以评价通信系统性能的方式是单纯以业务网络流量情况建立模型、设计测试场景，并且使用通常的性能指标。而新的智能化的任务调度策略可以识别网络流量中属于不同业务的部分，这一特性可以帮助我们面向各业务建立符合该业务特点的模型，并定义能更好表现这一业务在用户层面性能的性能指标。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无线数据业务仿真场景的用户体验质量测试方法。
本发明的目的可以通过以下技术方案来实现：
一种基于无线数据业务仿真场景的用户体验质量测试方法，包括以下步骤：
1)获取用户使用数据流量业务的动作信息，并由此建立用户动作模型；
2)获取真实通信场景下用户动作所触发的数据包，建立动作数据库；
3)识别能够影响用户体验质量的数据包关键字段特征，并且按照不同的通信场景生成仿真场景；
4)根据用户动作模型，在仿真场景内根据步骤2)中动作数据库内的真实数据编辑测试用例；
5)通过回放系统回放测试用例，同时在通讯终端处抓取在回放测试用例过程中产生的所有数据包；
6)根据步骤5)获取的数据包计算用户体验质量。
所述的动作模型包括动作名称、动作频率和动作收发信息大小。
步骤2)的具体操作为：在用户终端采集用户动作所触发的数据包，把每个动作触发的所有数据包分别存储在同一文件中，所有动作所对应的文件构成动作数据库。
步骤3)生成的仿真场景通过脚本语言对场景内的动作模型进行描述，所述脚本语言包含用户的基本动作、基本动作频次和基本动作次序。
步骤6)中用户用户体验质量的计算方法为：首先识别数据包内关键字段，再由关键字段识别关键数据包以及关键字段与关键数据包之间的关联，然后根据关键数据包内的关键质量属性信息计算用户体验质量。
与现有技术相比，本发明针对无线小流量数据业务，包括社交网站、即时通讯软件、电子邮件等，根据从真实业务场景中抽取的用户基本动作单元数据报文以及用户行为模型，组装出不同仿真场景，由回放系统实现仿真场景在被测试网络环境中的回放，实时抓取网络数据包，进而分析出用户体验质量指标。
本发明从真实数据中抽取基本用户动作的真实数据报文，根据用户行为模型并利用本发明提供的脚本语言对各动作单元进行拼装，依托回放系统重现场景中每个动作的数据报文在网络中传输的过程，提高了场景的仿真度，并且依此能够构建出比源真实数据更丰富的测试场景，同时，不同用户模型及场景对相同动作单元的复用，有效减小数据库的大小。回放过程中，本地抓取实时的网络数据包，提供用户体验质量指标定义模板，可以自动分析出各类数据业务的不同用户体验指标。
附图说明
图1为本所使用的回放系统的结构示意图；
图2为本发明的进行测试时的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
图2是采用本发明进行用户体验质量测试的具体流程图，包括以下步骤：
步骤1，获取用户使用数据流量业务的动作信息，并由此建立用户动作模型，具体包括动作名称、动作频率和动作收发信息大小。其中，用户的动作包含由软件自动触发的可以引起网络数据流量的行为，具体的动作模型参见表1。
表1
| 动作 | 用时 |
| Loop | |
| 好友状态改变 | |
| Wait9s | 9 |
| 好友状态改变 | 3 |
| Wait15s | 15 |
| 好友状态改变 | |
| 接收消息 | |
| Wait9s | 9 |
| 好友状态改变 | 3 |
| Wait15s | 15 |
| 好友状态改变 | |
| LoopEnd | 54 |
| 动作 | 用时 |
| Loop | |
| 好友状态改变 | |
| Wait9s | 9 |
| 好友状态改变 | 3 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait10s | 10 |
| 好友状态改变 | |
| Wait9s | 9 |
| 好友状态改变 | 3 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait10s | 10 |
| LoopEnd | 54 |
| 动作 | 用时 |
| Loop | |
| Loop*2 | |
| 好友状态改变 | 0 |
| 发送消息 | |
| Wait2s | 2 |
| 发送消息 | |
| Wait2s | 2 |
| 接收消息 | |
| 好友状态改变 | 3 |
| 发送消息 | |
| Wait2s | 2 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait2s | 2 |
| 接收消息 | |
| Wait2s | 2 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| LoopEnd | 28 |
| LoopEnd | 56 |
| 动作 | 用时 |
| Loop | |
| 好友状态改变 | 0 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait4s | 4 |
| 好友状态改变 | 3 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait10s | 10 |
| 好友状态改变 | 0 |
| 发送消息 | |
| Wait5s | 5 |
| 接收消息 | |
| Wait4s | 4 |
| 好友状态改变 | 3 |
| Wait15s | 15 |
| LoopEnd | 54 |
步骤2，在用户终端采集足量的用户动作所触发的数据包，识别每个用户的基本动作(例如QQ业务中，用户动作有登录、注销、发送消息、接收消息等，系统动作有心跳、刷新好友状态等)，把每个动作触发的所有数据包分别存储在同一文件中，所有动作所对应的文件构成动作数据库。
步骤3，识别能够影响用户体验质量的数据包关键字段特征，按照不同的通信场景生成仿真场景。其中，仿真场景通过如表2所示的脚本语言对场景内的动作模型进行描述，所述脚本语言包含用户的基本动作、基本动作频次和基本动作次序。而识别关键字段特征则通过如表3所示的形式进行。表3-1识别数据包内关键字段，表3-2由关键字段识别关键数据包以及关键字段与关键数据包之间的关联，表3-3通过关键数据包内的关键质量属性信息计算用户体验质量。
表2
表3
步骤4，根据用户动作模型，在仿真场景内根据步骤2)中动作数据库内的真实数据编辑测试用例；
5)通过如图1所示的回放系统回放测试用例，同时在通讯终端处抓取在回放测试用例过程中产生的所有数据包。回放系统是一套模拟真实应用交互过程的系统，将由步骤4得到的测试用例副本分别存在应用程序控制器主机和虚拟应用程序服务器上，应用程序控制器主机根据测试用例发起会话，相关的数据包经过网络被虚拟应用程序服务器接收，服务器经过对数据包的分析后依据测试用例做出回应，回应的数据包会被应用程序控制器主机接收，在应用程序控制器主机和虚拟应用程序服务器根据测试用例完成交互以后，连接自动断开。
6)根据步骤5)获取的数据包计算用户体验质量，首先识别数据包内关键字段，再由关键字段识别关键数据包以及关键字段与关键数据包之间的关联，然后根据关键数据包内的关键质量属性信息计算用户体验质量。
Claims (5)
1.一种基于无线数据业务仿真场景的用户体验质量测试方法，其特征在于，包括以下步骤：
1)获取用户使用数据流量业务的动作信息，并由此建立用户动作模型；
2)获取真实通信场景下用户动作所触发的数据包，建立动作数据库；
3)识别能够影响用户体验质量的数据包关键字段特征，并且按照不同的通信场景生成仿真场景；
4)根据用户动作模型，在仿真场景内根据步骤2)中动作数据库内的真实数据编辑测试用例；
5)通过回放系统回放测试用例，同时在通讯终端处抓取在回放测试用例过程中产生的所有数据包；
6)根据步骤5)获取的数据包计算用户体验质量。
2.根据权利要求1所述的基于无线数据业务仿真场景的用户体验质量测试方法，其特征在于，所述的动作模型包括动作名称、动作频率和动作收发信息大小。
3.根据权利要求1所述的基于无线数据业务仿真场景的用户体验质量测试方法，其特征在于，步骤2)的具体操作为：在用户终端采集用户动作所触发的数据包，把每个动作触发的所有数据包分别存储在同一文件中，所有动作所对应的文件构成动作数据库。
4.根据权利要求1所述的基于无线数据业务仿真场景的用户体验质量测试方法，其特征在于，步骤3)生成的仿真场景通过脚本语言对场景内的动作模型进行描述，所述脚本语言包含用户的基本动作、基本动作频次和基本动作次序。
5.根据权利要求1所述的基于无线数据业务仿真场景的用户体验质量测试方法，其特征在于，步骤6)中用户用户体验质量的计算方法为：首先识别数据包内关键字段，再由关键字段识别关键数据包以及关键字段与关键数据包之间的关联，然后根据关键数据包内的关键质量属性信息计算用户体验质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310653243.0A CN103716826B (zh) | 2013-12-05 | 2013-12-05 | 基于无线数据业务仿真场景的用户体验质量测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310653243.0A CN103716826B (zh) | 2013-12-05 | 2013-12-05 | 基于无线数据业务仿真场景的用户体验质量测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103716826A true CN103716826A (zh) | 2014-04-09 |
| CN103716826B CN103716826B (zh) | 2017-04-12 |
Family
ID=50409291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310653243.0A Expired - Fee Related CN103716826B (zh) | 2013-12-05 | 2013-12-05 | 基于无线数据业务仿真场景的用户体验质量测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103716826B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105007297A (zh) * | 2015-05-27 | 2015-10-28 | 国家计算机网络与信息安全管理中心 | 社交网络的交互方法及装置 |
| CN106485059A (zh) * | 2016-09-23 | 2017-03-08 | 西安交通大学 | 一种面向场景的移动网络仿真可信度量化评估方法 |
| CN106909508A (zh) * | 2017-02-28 | 2017-06-30 | 国家电网公司 | 一种信息系统运行测试方法及系统 |
| CN107168861A (zh) * | 2017-05-25 | 2017-09-15 | 中国信息通信研究院 | 用于智能终端交互体验的评测方法及装置 |
| CN109889374A (zh) * | 2019-01-22 | 2019-06-14 | 中国联合网络通信集团有限公司 | 承载评估方法及装置 |
| CN110913405A (zh) * | 2019-12-04 | 2020-03-24 | 北京交通大学 | 基于场景分级与评估反馈的智能通信系统测试方法及系统 |
| CN110958446A (zh) * | 2018-09-27 | 2020-04-03 | 中兴通讯股份有限公司 | 视频业务质量评估方法、装置、设备、及可读存储介质 |
| CN112433948A (zh) * | 2020-11-30 | 2021-03-02 | 上海天旦网络科技发展有限公司 | 一种基于网络数据分析的仿真测试系统及方法 |
| CN112491571A (zh) * | 2019-09-11 | 2021-03-12 | 比亚迪股份有限公司 | 网络数据调试方法和装置，存储介质 |
| CN114826439A (zh) * | 2022-04-25 | 2022-07-29 | 展讯半导体(成都)有限公司 | 通信模块的用户体验测试方法、装置、系统和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101188847A (zh) * | 2007-11-28 | 2008-05-28 | 中讯邮电咨询设计院 | 基于人工神经网络的移动通信业务用户体验评估方法 |
| CN102625344A (zh) * | 2012-03-13 | 2012-08-01 | 重庆信科设计有限公司 | 移动终端用户体验质量评估模型及方法 |
| CN102685791A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的WAP业务用户感知体验QoE评测方法 |
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
-
2013
- 2013-12-05 CN CN201310653243.0A patent/CN103716826B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101188847A (zh) * | 2007-11-28 | 2008-05-28 | 中讯邮电咨询设计院 | 基于人工神经网络的移动通信业务用户体验评估方法 |
| CN102625344A (zh) * | 2012-03-13 | 2012-08-01 | 重庆信科设计有限公司 | 移动终端用户体验质量评估模型及方法 |
| CN102685791A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的WAP业务用户感知体验QoE评测方法 |
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105007297A (zh) * | 2015-05-27 | 2015-10-28 | 国家计算机网络与信息安全管理中心 | 社交网络的交互方法及装置 |
| CN106485059A (zh) * | 2016-09-23 | 2017-03-08 | 西安交通大学 | 一种面向场景的移动网络仿真可信度量化评估方法 |
| CN106485059B (zh) * | 2016-09-23 | 2018-11-09 | 西安交通大学 | 一种面向场景的移动网络仿真可信度量化评估方法 |
| CN106909508A (zh) * | 2017-02-28 | 2017-06-30 | 国家电网公司 | 一种信息系统运行测试方法及系统 |
| CN107168861A (zh) * | 2017-05-25 | 2017-09-15 | 中国信息通信研究院 | 用于智能终端交互体验的评测方法及装置 |
| CN110958446B (zh) * | 2018-09-27 | 2022-08-12 | 中兴通讯股份有限公司 | 视频业务质量评估方法、装置、设备、及可读存储介质 |
| CN110958446A (zh) * | 2018-09-27 | 2020-04-03 | 中兴通讯股份有限公司 | 视频业务质量评估方法、装置、设备、及可读存储介质 |
| CN109889374A (zh) * | 2019-01-22 | 2019-06-14 | 中国联合网络通信集团有限公司 | 承载评估方法及装置 |
| CN109889374B (zh) * | 2019-01-22 | 2022-04-26 | 中国联合网络通信集团有限公司 | 承载评估方法及装置 |
| CN112491571A (zh) * | 2019-09-11 | 2021-03-12 | 比亚迪股份有限公司 | 网络数据调试方法和装置，存储介质 |
| CN112491571B (zh) * | 2019-09-11 | 2022-03-18 | 比亚迪股份有限公司 | 网络数据调试方法和装置，存储介质 |
| CN110913405B (zh) * | 2019-12-04 | 2021-04-13 | 北京交通大学 | 基于场景分级与评估反馈的智能通信系统测试方法及系统 |
| CN110913405A (zh) * | 2019-12-04 | 2020-03-24 | 北京交通大学 | 基于场景分级与评估反馈的智能通信系统测试方法及系统 |
| CN112433948A (zh) * | 2020-11-30 | 2021-03-02 | 上海天旦网络科技发展有限公司 | 一种基于网络数据分析的仿真测试系统及方法 |
| CN114826439A (zh) * | 2022-04-25 | 2022-07-29 | 展讯半导体(成都)有限公司 | 通信模块的用户体验测试方法、装置、系统和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103716826B (zh) | 2017-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103716826A (zh) | 基于无线数据业务仿真场景的用户体验质量测试方法 | |
| US8737980B2 (en) | End to end application automatic testing | |
| CN102404858B (zh) | 一种无线资源优化方法、装置及系统 | |
| CN104581785B (zh) | 无线网络测试方法、测试装置和移动终端 | |
| CN103167428B (zh) | 图片适配方法、手机报推送装置与系统 | |
| CN102740342A (zh) | 网管设备性能的模拟测试方法和系统 | |
| CN106953902A (zh) | 电能表固件升级的方法和装置 | |
| CN107819611B (zh) | 基于iec61850多服务端仿真的客户端测试方法 | |
| CN101888318A (zh) | 一种通信系统性能指标测试的系统和方法 | |
| CN104683124A (zh) | 终端类型识别方法和装置 | |
| CN111522727A (zh) | 一种模拟对象测试方法、设备和系统 | |
| CN104717670A (zh) | 一种业务质量测试方法、装置及系统 | |
| CN110601912A (zh) | 一种物联网网关数据仿真设计系统和方法 | |
| CN111935767B (zh) | 一种网络仿真系统 | |
| CN114071391A (zh) | 内容计费测试方法、管理设备、终端设备及存储介质 | |
| CN115460638A (zh) | 网络业务时延监测方法、装置、设备及存储介质 | |
| CN106202162B (zh) | 一种用于测试推荐房间数据列表的测试系统及方法 | |
| CN110798857B (zh) | 一种5g切片网络对业务影响的仿真方法 | |
| CN104376440A (zh) | 基于网络发令的电网调度电子令自动确认方法 | |
| CN109831335A (zh) | 一种数据监控方法、监控终端、存储介质及数据监控系统 | |
| CN101715202B (zh) | 一种监测无线网络用户行为的方法及系统 | |
| TWI580288B (zh) | Action online quality analysis system and method | |
| CN115242760B (zh) | 一种基于WebRTC的SFU系统及方法 | |
| WO2016201810A1 (zh) | 日志生成方法及装置 | |
| GB2424498A (en) | Test simulation using live real-world characteristics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170412 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |