CN107908558A - 一种手机客户端软件质量自动化评测方法 - Google Patents

一种手机客户端软件质量自动化评测方法 Download PDF

Info

Publication number
CN107908558A
CN107908558A CN201711125211.8A CN201711125211A CN107908558A CN 107908558 A CN107908558 A CN 107908558A CN 201711125211 A CN201711125211 A CN 201711125211A CN 107908558 A CN107908558 A CN 107908558A
Authority
CN
China
Prior art keywords
mobile phone
client software
phone client
evaluation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711125211.8A
Other languages
English (en)
Other versions
CN107908558B (zh
Inventor
黄宏昌
刘小坤
吴林辉
陈海建
王汉威
罗俊
唐谷垚
朱煜家
黄苑娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG HUATONG JIUFANG TECHNOLOGY CO LTD
Original Assignee
GUANGDONG HUATONG JIUFANG TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG HUATONG JIUFANG TECHNOLOGY CO LTD filed Critical GUANGDONG HUATONG JIUFANG TECHNOLOGY CO LTD
Priority to CN201711125211.8A priority Critical patent/CN107908558B/zh
Publication of CN107908558A publication Critical patent/CN107908558A/zh
Application granted granted Critical
Publication of CN107908558B publication Critical patent/CN107908558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开一种手机客户端软件质量自动化评测方法，包括以下步骤：输入质量指标分析规则，对规则进行校验、解析并加载规则于服务器；在软件评测数据中提取所需指标数据，加载评测数据于服务器；建立软件质量解析规则，对手机客户端软件质量通过指标评估方法形成对应的解析规则，对评估类型的每个项目进行评估；根据解析规则匹配对应的评测指标数据，定时从评测结果中抽取数据进行手机客户端软件质量问题挖掘工作，生成质量问题列表。本发明可根据手机客户端软件质量问题分析判定规则，从互联网数据中挖掘手机客户端软件质量问题。建立手机客户端软件监测引擎透视手机客户端软件质量问题和影响，自动从评测数据中挖掘客户端软件的质量问题。

Description

一种手机客户端软件质量自动化评测方法
技术领域
本发明涉及一种评测方法，特别涉及一种手机客户端软件质量自动化评测方法。
背景技术
随着移动互联网技术高速发展，越来越多的手机客户端软件应用在移动互联网上，在参差不齐的手机客户端软件质量的影响下，用户在移动互联网应用的质量体验上感到下滑。基于手机客户端软件的急速增长，为提升对软件质量评测的效率，需要建立一套手机客户端软件质量自动化评测方法，解决数量剧增的手机客户端软件质量评测技术问题，提升用户对手机客户端软件的质量体验
目前手机客户端软件质量缺乏有效的评测体系，各个应用厂商都是运用自身的技术对产品进行评测，例如手机拨测、网络抓包等手段，缺乏自动化评测的技术，大大地降低用户对手机客户端软件应用质量的体验。
发明内容
为解决现有技术的不足，本发明旨在提供一种手机客户端软件质量自动化评测方法。
为达到上述目的，本发明采用的技术方案如下：
本发明公开的一种手机客户端软件质量自动化评测方法，包括以下步骤：
a)输入质量指标分析规则，对规则进行校验、解析并加载规则于服务器；
b)在软件评测数据中提取所需指标数据，加载评测数据于服务器；
c)建立软件质量解析规则，对手机客户端软件问题通过指标评估方法形成对应的解析规则，对评估类型的每个项目进行评估；
d)根据解析规则匹配对应的评测指标数据，定时从评测结果中抽取数据进行手机客户端软件质量问题挖掘工作，生成质量问题列表。
优选的，所述b)步骤中，所述指标是由移动网络进行数据采集，然后汇聚计算所得的评测指标。设置以移动互联网用户为中心的指标来衡量移动互联网端到端业务应用中关键目标的转化过程，同时从数据驱动以及从移动互联网用户为中心的角度出发，把手机客户端软件质量评测目标与指标评测分数相互关联，建立以移动互联网用户体验为中心度量的指标体系。
优选的，所述评测指标为通过分析影响手机客户端软件用户体验感知的因素，建立用户与手机客户端交互的体验感知关键指标。例如，用户使用某影音软件的感知指标比较差，视频播放速率低等。
进一步的，所述体验感知关键指标包括：手机客户端软件DNS质量、手机客户端软件服务器响应时延、手机客户端软件下载速率、手机客户端响应请求时延、手机客户端软件业务成功率。
进一步的，所述手机客户端软件DNS质量的评估项目包括：DNS域名解析平均时延、DNS域名解析时延可接受影响用户占比、DNS域名解析时延不可接受影响用户占比、DNS域名解析成功率、DNS域名解析失败影响用户占比；
所述手机客户端软件服务器响应时延的评估项目包括：互联网最大时延、互联网最小时延、互联网平均时延；
所述手机客户端软件下载速率的评估项目包括：2G最小速率、2G最大速率、3G最小速率、3G最大速率、2G平均下载速率、3G平均下载速率；
所述手机客户端响应请求时延的评估项目包括：最大时延、最小时延；
所述手机客户端软件业务成功率的评估项目包括：HTTP成功率、TCP握手成功率、HTTP请求失败影响用户占比。
优选的，所述评测指标通过收集MAMS系统、终端专家分析系统和信令平台的数据初步汇聚统一统计维度和相应指标单位，然后进一步合并数据源计算手机客户端软件质量评测指标，以便于快速定位手机客户端软件质量问题和问题溯源，及用于手机客户端软件质量问题挖掘。
优选的，所述d)步骤之后，对手机客户端软件质量问题钻取溯源。
进一步的，所述溯源包括服务器交互问题溯源、大文件传输效率溯源和DNS成功率溯源。
本发明具有以下有益效果：
1、本发明能自动化完成手机客户端软件质量评测分析流程，节省大量资源投入；
2、本发明能够高效率地处理移动互联网中海量的手机客户端软件质量评测，满足移动互联网市场不断发展的需求。
附图说明
图1为自动化评测方法的流程示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，本发明公开的一种手机客户端软件质量自动化评测方法，包括以下步骤：
a)输入质量指标分析规则，对规则进行校验、解析并加载规则于服务器；
b)在软件评测数据中提取所需指标数据，加载评测数据于服务器；
c)建立软件质量解析规则，对手机客户端软件问题通过指标评估方法形成对应的解析规则，对评估类型的每个项目进行评估；
d)根据解析规则匹配对应的评测指标数据，定时从评测结果中抽取数据进行手机客户端软件质量问题挖掘工作，生成质量问题列表。具体的，b)步骤中，指标是由移动网络进行数据采集，然后汇聚计算所得的评测指标。设置以移动互联网用户为中心的指标来衡量移动互联网端到端业务应用中关键目标的转化过程，同时从数据驱动以及从移动互联网用户为中心的角度出发，把手机客户端软件质量评测目标与指标评测分数相互关联，建立以移动互联网用户体验为中心度量的指标体系。
为了让评测基准更加贴近人性化，评测指标为通过分析影响手机客户端软件用户体验感知的因素，建立用户与手机客户端交互的体验感知关键指标。例如，用户使用某影音软件的感知指标比较差，视频播放速率低等。
具体的，体验感知关键指标包括：手机客户端软件DNS质量、手机客户端软件服务器响应时延、手机客户端软件下载速率、手机客户端响应请求时延和手机客户端软件业务成功率，具体评估项目及评估方法如下：
具体的，评测指标通过收集MAMS系统、终端专家分析系统和信令平台的数据初步汇聚统一统计维度和相应指标单位，然后进一步合并数据源计算手机客户端软件质量评测指标，以便于快速定位手机客户端软件质量问题和问题溯源，及用于手机客户端软件质量问题挖掘。
为了增加对软件质量问题的溯源功能，d)步骤之后，对手机客户端软件质量问题钻取溯源。客户端软件质量问题钻取溯源通过质量评测的问题溯源规则分析完成。
具体的，溯源规则包括服务器交互问题溯源规则、大文件传输效率溯源和DNS成功率溯源规则。
手机客户端软件评测结果是根据网络指标的好坏溯源，默认都是按指标差到好排序。快速了解客户端软件在访问量占比、成功率/时延不同情况的排名情况。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种手机客户端软件质量自动化评测方法，其特征在于包括以下步骤：
a)输入质量指标分析规则，对规则进行校验、解析并加载规则于服务器；
b)在软件评测数据中提取所需指标数据，加载评测数据于服务器；
c)建立软件质量解析规则，对手机客户端软件质量通过指标评估方法形成对应的解析规则，对评估类型的每个项目进行评估；
d)根据解析规则匹配对应的评测指标数据，定时从评测结果中抽取数据进行手机客户端软件质量问题挖掘工作，生成质量问题列表。
2.根据权利要求1所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述b)步骤中，所述指标是由移动网络进行数据采集，然后汇聚计算所得的评测指标。
3.根据权利要求2所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述评测指标为通过分析影响手机客户端软件用户体验感知的因素，建立用户与手机客户端交互的体验感知关键指标。
4.根据权利要求3所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述体验感知关键指标包括：手机客户端软件DNS质量、手机客户端软件服务器响应时延、手机客户端软件下载速率、手机客户端响应请求时延、手机客户端软件业务成功率。
5.根据权利要求4述的一种手机客户端软件质量自动化评测方法，其特征在于：
所述手机客户端软件DNS质量的评估项目包括：DNS域名解析平均时延、DNS域名解析时延可接受影响用户占比、DNS域名解析时延不可接受影响用户占比、DNS域名解析成功率、DNS域名解析失败影响用户占比；
所述手机客户端软件服务器响应时延的评估项目包括：互联网最大时延、互联网最小时延、互联网平均时延；
所述手机客户端软件下载速率的评估项目包括：2G最小速率、2G最大速率、3G最小速率、3G最大速率、2G平均下载速率、3G平均下载速率；
所述手机客户端响应请求时延的评估项目包括：最大时延、最小时延；
所述手机客户端软件业务成功率的评估项目包括：HTTP成功率、TCP握手成功率、HTTP请求失败影响用户占比。
6.根据权利要求2-5任意一项所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述评测指标通过收集MAMS系统、终端专家分析系统和信令平台的数据初步汇聚统一统计维度和相应指标单位，然后进一步合并数据源计算手机客户端软件质量评测指标。
7.根据权利要求1所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述d)步骤之后，对手机客户端软件质量问题钻取溯源。
8.根据权利要求7所述的一种手机客户端软件质量自动化评测方法，其特征在于：所述溯源包括服务器交互问题溯源、大文件传输效率溯源和DNS成功率溯源。
CN201711125211.8A 2017-11-14 2017-11-14 一种手机客户端软件质量自动化评测方法 Active CN107908558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711125211.8A CN107908558B (zh) 2017-11-14 2017-11-14 一种手机客户端软件质量自动化评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711125211.8A CN107908558B (zh) 2017-11-14 2017-11-14 一种手机客户端软件质量自动化评测方法

Publications (2)

Publication Number Publication Date
CN107908558A true CN107908558A (zh) 2018-04-13
CN107908558B CN107908558B (zh) 2021-01-05

Family

ID=61844128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711125211.8A Active CN107908558B (zh) 2017-11-14 2017-11-14 一种手机客户端软件质量自动化评测方法

Country Status (1)

Country Link
CN (1) CN107908558B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373087A (ja) * 2001-06-18 2002-12-26 Hitachi Ltd 品質管理システム
CN101261604A (zh) * 2008-04-09 2008-09-10 中兴通讯股份有限公司 一种软件质量评价装置及软件质量评价的定量分析方法
CN101282242A (zh) * 2007-04-06 2008-10-08 中兴通讯股份有限公司 一种电信网络服务质量监测系统和方法
US20090076841A1 (en) * 2006-12-07 2009-03-19 Baker Geoffrey B Rules-based software and methods for health care measurement applications and uses thereof
CN102193797A (zh) * 2010-03-18 2011-09-21 埃森哲环球服务有限公司 软件设计质量的评价和强制实行
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统
CN102769551A (zh) * 2012-07-02 2012-11-07 深信服网络科技（深圳）有限公司 网络质量评测与网络优化的方法及系统
CN103247008A (zh) * 2013-05-07 2013-08-14 国家电网公司 一种电力统计指标数据的质量评估方法
CN103841412A (zh) * 2014-03-18 2014-06-04 北京邮电大学 一种网络视频用户体验质量测量方法和装置
CN104053054A (zh) * 2014-06-23 2014-09-17 中兴通讯股份有限公司 数据采集方法及装置
CN104427547A (zh) * 2013-08-29 2015-03-18 中国移动通信集团公司 业务和网络关联测试方法、装置及系统
CN104618924A (zh) * 2015-01-30 2015-05-13 南京邮电大学 基于无线泛在网的用户体验质量指标系统和测量方法
CN104794570A (zh) * 2015-04-17 2015-07-22 云南同创检测技术股份有限公司 一种产品质量评价方法
CN104834596A (zh) * 2015-03-05 2015-08-12 浙江大学 一种基于多层降维的移动应用可用性评估系统及评估方法
CN104994133A (zh) * 2015-05-22 2015-10-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN105321047A (zh) * 2015-11-10 2016-02-10 中国电力科学研究院 一种调度计划类数据多维度校验方法
CN105630660A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种软件设计质量的评价和强制实行
CN106792879A (zh) * 2016-12-28 2017-05-31 成都网丁科技有限公司 一种业务质量的主动拨测方法
CN106954240A (zh) * 2017-03-10 2017-07-14 清华大学 智能移动端接口选择框架与方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373087A (ja) * 2001-06-18 2002-12-26 Hitachi Ltd 品質管理システム
US20090076841A1 (en) * 2006-12-07 2009-03-19 Baker Geoffrey B Rules-based software and methods for health care measurement applications and uses thereof
CN101282242A (zh) * 2007-04-06 2008-10-08 中兴通讯股份有限公司 一种电信网络服务质量监测系统和方法
CN101261604A (zh) * 2008-04-09 2008-09-10 中兴通讯股份有限公司 一种软件质量评价装置及软件质量评价的定量分析方法
CN102193797A (zh) * 2010-03-18 2011-09-21 埃森哲环球服务有限公司 软件设计质量的评价和强制实行
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统
CN102769551A (zh) * 2012-07-02 2012-11-07 深信服网络科技（深圳）有限公司 网络质量评测与网络优化的方法及系统
CN103247008A (zh) * 2013-05-07 2013-08-14 国家电网公司 一种电力统计指标数据的质量评估方法
CN104427547A (zh) * 2013-08-29 2015-03-18 中国移动通信集团公司 业务和网络关联测试方法、装置及系统
CN103841412A (zh) * 2014-03-18 2014-06-04 北京邮电大学 一种网络视频用户体验质量测量方法和装置
CN104053054A (zh) * 2014-06-23 2014-09-17 中兴通讯股份有限公司 数据采集方法及装置
CN105630660A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种软件设计质量的评价和强制实行
CN104618924A (zh) * 2015-01-30 2015-05-13 南京邮电大学 基于无线泛在网的用户体验质量指标系统和测量方法
CN104834596A (zh) * 2015-03-05 2015-08-12 浙江大学 一种基于多层降维的移动应用可用性评估系统及评估方法
CN104794570A (zh) * 2015-04-17 2015-07-22 云南同创检测技术股份有限公司 一种产品质量评价方法
CN104994133A (zh) * 2015-05-22 2015-10-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN105321047A (zh) * 2015-11-10 2016-02-10 中国电力科学研究院 一种调度计划类数据多维度校验方法
CN106792879A (zh) * 2016-12-28 2017-05-31 成都网丁科技有限公司 一种业务质量的主动拨测方法
CN106954240A (zh) * 2017-03-10 2017-07-14 清华大学 智能移动端接口选择框架与方法

Also Published As

Publication number Publication date
CN107908558B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11349726B2 (en) Systems and methods for real-time service assurance
US11018958B2 (en) Communication network quality of experience extrapolation and diagnosis
US9853867B2 (en) Method and apparatus to determine network quality
CN102473132B (zh) 监控软件应用的性能的方法
CN101044463B (zh) 用于监视客户端-服务器架构的性能的方法和系统
US8964582B2 (en) Data integrity scoring and visualization for network and customer experience monitoring
WO2017041406A1 (zh) 一种故障定位方法及装置
US20110106942A1 (en) Data collection associated with components and services of a wireless communication network
US20140068348A1 (en) System and method for intelligent troubleshooting of in-service customer experience issues in communication networks
US20130166730A1 (en) Confidence Intervals for Key Performance Indicators in Communication Networks
US20100145755A1 (en) Arrangement and a related method for providing business assurance in communication networks
EP1803230A2 (en) Rule based data collection and management in a wireless communications network
US20120124197A1 (en) Method, system, and computer program product for providing network data flow analysis and routing
US20100280861A1 (en) Service Level Agreement Negotiation and Associated Methods
CN105956987A (zh) 一种公路交通工程试验检测数据采集和评价系统
US7617313B1 (en) Metric transport and database load
CN104363130B (zh) 通信网络中实现网络质量问题分析定位控制的系统及方法
CN104978257B (zh) 计算设备弹性评分方法及装置
CN108243439A (zh) 移动互联网数据业务质量劣化定位的方法及系统
CN107844486A (zh) 一种用于客户端的分析网页问题的方法和系统
CN107908558A (zh) 一种手机客户端软件质量自动化评测方法
CN107632935A (zh) 一种软件系统压力测试方法、装置、设备及存储介质
Nguyen et al. Benchmarking in virtual desktops for end-to-end performance traceability
CN105656724A (zh) 一种服务器的监控方法及系统
CN109685662A (zh) 投资数据处理方法、装置、计算机设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant