CN105553769B - 一种数据采集分析系统和方法 - Google Patents

一种数据采集分析系统和方法 Download PDF

Info

Publication number
CN105553769B
CN105553769B CN201510938627.6A CN201510938627A CN105553769B CN 105553769 B CN105553769 B CN 105553769B CN 201510938627 A CN201510938627 A CN 201510938627A CN 105553769 B CN105553769 B CN 105553769B
Authority
CN
China
Prior art keywords
information
parameter
acquisition
application
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510938627.6A
Other languages
English (en)
Other versions
CN105553769A (zh
Inventor
王景正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510938627.6A priority Critical patent/CN105553769B/zh
Publication of CN105553769A publication Critical patent/CN105553769A/zh
Priority to PCT/CN2016/104923 priority patent/WO2017101606A1/zh
Application granted granted Critical
Publication of CN105553769B publication Critical patent/CN105553769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/022Capturing of monitoring data by sampling
    • H04L43/024Capturing of monitoring data by sampling by adaptive sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Abstract

本发明实施例提供了一种数据采集分析系统和方法,所述系统包括:采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,数据终端中安装有采集工具;采集控制服务器,用于配置采集配置信息给数据终端并下发给相应的数据终端;数据终端,用于在应用运行时调用采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给数据分析服务器;数据分析服务器,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将数据分析结果发送给报表生成服务器;报表生成服务器,用于依据数据分析结果生成数据报表;通过该数据报表获知用户需求、习惯等,对业务进行调整,更符合用户需求。

Description

一种数据采集分析系统和方法
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据采集分析方法和一种数据采集分析装置。
背景技术
随着通信技术的快速发展,尤其是随着移动互联网的推广,智能终端的普及越来越快,且智能终端的功能也越来越丰富。其中,智能终端通过安装各种各样的应用实现其功能,提供多样化的服务。
为了提高服务质量,各服务平台的开发人员需要设置的数据采集方案采集应用的数据,以了解业务需求。其中,不同的业务需要采集的应用数据不同。因此,服务平台的开发人员需要根据不同的业务设置不同的应用数据采集方案。
具体的,服务平台的开发人员需要根据服务平台提供的业务,设置各应用的采集参数,按照设置的采集参数对各应用进行数据采集,生成该服务平台的业务报表,以了解业务需求。但是,安装在智能终端上的应用比较多,即需要采集的应用数据比较多,导致各服务平台的数据采集格式难以统一。因此,各服务平台的开发人员还需要定义各应用的数据采集格式,使得各服务平台可以按照设置的数据采集格式采集各应用的数据,进一步增加开发人员的工作量。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据采集分析方法和相应的数据采集分析系统。
依据本发明的一个方面,提供了一种数据采集分析系统,包括:采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;所述采集控制服务器,用于配置所述采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集;所述数据终端,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给所述数据分析服务器;所述数据分析服务器,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器;所述报表生成服务器,用于依据所述数据分析结果生成数据报表。
可选地,述采集控制服务器包括云控服务器;所述云控服务器,用于依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
可选地,所述云控服务器,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;以及,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
可选地,所述数据终端,用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息;以及,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
可选地,所述数据终端,用于当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
可选地,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
可选地,所述报表生成服务器,用于依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
可选地,所述报表生成服务器,还用于从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
可选地,所述报表生成服务器,用于依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;以及确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
可选地,所述采集控制服务器,还用于配置所述目标应用对应测试设备的测试信息;
所述数据分析服务器,还用于对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器,还用于判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
可选地,所述采集控制服务器,包括:开发配置服务器;所述开发配置服务器,用于在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;所述数据分析服务器,还用于从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
可选地,所述数据分析服务器,还用于从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
可选地,所述数据分析服务器,用于确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
可选地,所述数据分析服务器,还用于从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
可选地,所述数据分析服务器,用于确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
根据本发明的另一方面,提供了所述数据采集分析方法应用于数据采集分析系统中,数据采集分析系统包括:所述采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;
所述的方法包括:所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端;所述数据终端在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;所述数据终端将采集的参数信息上传给所述采集控制服务器;所述数据分析服务器对上传的各采集参数对应参数信息进行分析,获取数据分析结果;所述数据分析服务器将所述数据分析结果发送给所述报表生成服务器;所述报表生成服务器依据所述数据分析结果生成数据报表。
可选地,所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端,包括:所述采集控制服务器依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置的采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
可选地,依据所述应用和应用所在终端配置的采集配置信息的步骤包括以下至少一种:配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
可选地,所述依据采集配置信息对采集参数的参数信息进行采集,包括:采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息;采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
可选地,据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种:当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
可选地,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
可选地,所述报表生成服务器依据所述数据分析结果生成数据报表,包括:所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
可选地,还包括配置自定义管理信息的步骤:从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
可选地,依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表,包括:依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
可选地,所述方法,还包括:所述采集控制服务器配置所述目标应用对应测试设备的测试信息;所述数据分析服务器对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
可选地,配置所述目标应用对应测试设备的测试信息,包括:在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;
所述的方法还包括:所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
可选地,所述方法,还包括:数据分析服务器从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
可选地,从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果,包括:确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
可选地,所述方法,还包括:所述数据分析服务器从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
可选地,从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果,包括:确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
应用启动并进行初始化时调用采集工具,采用该采集工具对应用进行数据采集时,采集工具可以依据采集配置信息采集所述应用中各采集参数的参数信息。采集工具采集所述应用中各采集参数的参数信息后,判断是否满足上传条件,若满足,采集工具按照预置算法将参数信息进行压缩,然后上传给数据分析服务器。
数据分析服务器对上传的各采集参数对应参数信息进行分析,如对各采集参数对应的参数信息进行统计,从而获取数据分析结果,再将所述数据分析结果发送给所述报表生成服务器,所述报表生成服务器依据所述数据分析结果,为各逻辑的数据分析结果配置可读的属性信息生成数据报表,从而可以基于该数据报表确定应用的使用情况。
从而通过采集工具能够在应用运行的数据终端中采集各采集参数的参数信息,在上传给数据分析服务器后,依据统计需求进行数据分析,从而生成相应业务的数据报表,通过该数据报表获知用户需求、习惯等,对业务进行调整,更符合用户需求。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的数据采集分析系统结构框图;
图2示出了根据本发明一个实施例的数据采集分析方法的步骤流程图;
图3示出了根据本发明另一个实施例的数据采集分析系统结构框图;
图4示出了根据本发明另一个实施例的数据采集分析方法的步骤流程图;
图5示出了根据本发明另一个实施例的自定义事件处理方法的步骤流程图;
图6示出了根据本发明另一个实施例的目标应用的测试方法的步骤流程图;
图7示出了根据本发明另一个实施例的传输校验方法的步骤流程图;以及
图8示出了根据本发明另一个实施例的数据质量校验方法的步骤流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
通常,一些终端如手机、平板电脑的供应商、软件开发商通过采集安装在终端上的应用在运行时的数据,并对采集的数据进行分析,生成业务报表,以了解业务需求。本发明实施例提供了一种数据采集分析系统,该系统具有通用性,能够为各种应用采集、分析数据并生成不同的业务报表。
参照图1,示出了根据本发明一个实施例的数据采集分析系统结构框图。
该数据采集分析系统,包括:采集控制服务器102、数据分析服务器104、报表生成服务器106和至少一个数据终端108,所述数据终端中安装有采集工具。
所述采集控制服务器102,用于配置所述采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集;
所述数据终端108,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给所述数据分析服务器;
所述数据分析服务器104,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器;
所述报表生成服务器106,用于依据所述数据分析结果生成数据报表。
基于上述数据采集分析系统,相应的数据采集分析方法的步骤如下:
参照图2,示出了根据本发明一个实施例的数据采集分析方法的步骤流程图。
步骤202,所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端。
步骤204,所述数据终端在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集。
步骤206,所述数据终端将采集的参数信息上传给所述采集控制服务器。
步骤208,所述数据分析服务器对上传的各采集参数对应参数信息进行分析,获取数据分析结果。
步骤210,所述数据分析服务器将所述数据分析结果发送给所述报表生成服务器。
步骤212,所述报表生成服务器依据所述数据分析结果生成数据报表。
本发明实施例的应用是指安装在终端上的应用程序,如手机助手、浏览器、安全卫士、播放器等。为了保证采集数据的完整性和准确性,可以在应用运行时调用采集工具。采集工具包括软件开发工具包(SDK,Software Development Kit)。
针对不同的应用以及应用所在终端,采集控制服务器可以配置各应用的采集参数以及采集配置信息,生成采集工具的控制信息。当应用所在终端调用采集工具对应用进行数据采集时,采集工具可以依据采集配置信息采集所述应用中各采集参数的参数信息。其中,所述采集配置信息用于控制所述采集参数的采集和上传。所述采集参数包括静态参数和/或动态参数。该静态参数可以用于采集该应用所对应的静态的参数信息;动态参数可以用于采集该应用运行时的动态的参数信息。
应用启动并进行初始化时调用采集工具,采用该采集工具对应用进行数据采集时,采集工具可以依据采集配置信息采集所述应用中各采集参数的参数信息。采集工具采集所述应用中各采集参数的参数信息后,判断是否满足上传条件,若满足,采集工具按照预置算法将参数信息进行压缩,然后上传给数据分析服务器。
数据分析服务器对上传的各采集参数对应参数信息进行分析,如对各采集参数对应的参数信息进行统计,从而获取数据分析结果,再将所述数据分析结果发送给所述报表生成服务器,所述报表生成服务器依据所述数据分析结果,为各逻辑的数据分析结果配置可读的属性信息生成数据报表,从而可以基于该数据报表确定应用的使用情况。
从而通过采集工具能够在应用运行的数据终端中采集各采集参数的参数信息,在上传给数据分析服务器后,依据统计需求进行数据分析,从而生成相应业务的数据报表,通过该数据报表获知用户需求、习惯等,对业务进行调整,更符合用户需求。
实施例二
参照图3,示出了根据本发明另一个实施例的数据采集分析系统结构框图。
所述采集控制服务器102包括云控服务器1022;所述云控服务器1022,用于依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
所述云控服务器1022,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;以及,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
所述数据终端108,用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息;以及,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
所述数据终端108,用于当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
基于上述数据采集分析系统,可以在数据终端中应用运行时对参数信息的采集、上传分析生成相应的报表,具体步骤如下:
参照图4,示出了根据本发明另一个实施例的数据采集分析方法的步骤流程图。
步骤402,所述采集控制服务器依据应用类型确定所述应用的采集参数。
实质上,针对不同的应用以及应用所在终端,云服务器可以配置各应用的采集参数以及采集配置信息,生成采集工具的控制信息。当应用所在终端通过调用采集工具对应用进行数据采集时,云服务器就可以通过采集工具的控制信息控制应用所在终端对各应用的数据采集。其中,所述采集参数包括:动态参数和/或静态参数。所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
静态参数可以用于采集该应用对应的静态参数信息,如应用所在终端的标识信息、版本信息、渠道信息、网络类型和分辨率信息等。其中,终端的标识信息可以用于识别应用所在终端,如可以基于终端的硬件等信息计算M2值,该M2值可以通过序列号、机型号、版本信息等计算,该M2值既能够标识不同的终端又不会泄露终端的硬件信息,保证用户的隐私安全;版本信息可以用于记录该应用对应的版本,如终端的操作系统版本,软件版本或者软件开发工具包版本等;渠道信息可以用于识别该应用的获取路径;网络类型用于确定应用所在终端连接的网络类型;分辨率信息用于确定该应用所在终端的显示分辨率,显示分辨率又可以称为屏幕分辨率。
动态参数可以用于采集该应用在运行过程中生成的参数信息,如应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息等。其中,应用界面启动信息用于记录应用的界面切换时切换前的页面以及切换后的界面;按钮点击信息用于记录用户点击该应用中各按钮对应的按钮编号以及该按钮编号对应的点击次数;时长信息根据启动时间点和关闭时间点确定,如应用运行时间、界面运行时间;异常信息用于记录应用运行异常的信息,如应用启动失败的时间点或者次数;会话信息用于记录该应用在运行时产生的会话类的消息。
步骤404,所述采集控制服务器依据所述应用和应用所在终端配置的采集配置信息。
依据所述应用和应用所在终端配置的采集配置信息的步骤包括以下至少一种:配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
步骤406,所述采集控制服务器将采集参数和采集配置信息下发给应用所在的数据终端。
其中,所述采集配置信息用于控制所述采集参数的采集和上传。
在具体实现中,按照采集配置信息对应用以及应用所在终端进行数据采集,并且需要按照采集配置信息中上传采集到的数据。因此,云服务器可以依据待采集的应用以及该应用所在终端,设置采集配置信息,使得各应用或者应用的终端可以按照该采集配置信息采集、上传采集参数。
其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。云服务器可以通过设置采样条件,并将采样条件添加到采集配置信息中,使得应用所在终端依据采集配置信息中的采样条件对应用进行数据采集。具体的,通过检测,可以确定应用的数据是否符合采样条件。例如,当应用具有测试标识时,该应用的全部参数信息符合采样条件,采集工具获取该应用中各静态参数的参数信息和动态参数的参数信息。例如,开发人员在维护应用过程中,依据需求等不断更新应用的版本,其中一些版本为测试版即Beta版,在测试通过后才会上线正式版,针对应用的Beta版即可配置测试标识,从而采集更多甚至全部参数,以测试应用运行情况。
在采集到参数信息后,还可以将采集到的参数信息缓存在本地。在参数信息满足采样配置信息中的上传条件时,将该参数信息进行上传。例如,云服务器可以通过设置各参数信息上传的优先级或者上传间隔,设置各参数信息的上传条件,并将该上传条件保存到采集配置信息中。在当前时刻达到参数信息的上传间隔时间时,应用所在终端可以将该参数信息进行压缩后,上传给云服务器,即将满足上传条件的参数信息上传。显然,云服务器可以针对不同的参数信息设置上传条件,并添加到采集配置信息中,进而可以通过该上传条件控制各参数信息的上传。
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中。其中,采集阈值用于依据终端的内存信息确定采集的采集参数。在本发明实施例中,考虑到不同类型的终端配置不同,有些终端内存较大如内存达到2G,而有些终端内存较小,为了减少数据采集对终端的影响,使得终端能够正常运行应用,云服务器可以根据应用所在终端的内存设置采集阈值,并将该采集阈值添加到采集配置信息中,从而可以依据终端的内存信息控制采集的采集参数。例如采集阈值配置为50M,则当终端的内存小于50M时,为了不影响终端的使用可以限制采集参数的采集,如不采集动态参数,仅采集终端标识等静态参数上传一次即可。
作为本发明的一个具体示例,当应用所在终端的内存信息未达到采集阈值时,可以不采集安装该终端上的应用的动态参数对应的参数信息,可以采集静态参数对应的参数信息,如采集终端标识;当终端的内存信息达到采集阈值,则按照采集配置信息采集应用中各采集参数的参数信息,如采集应用中静态参数的参数信息和动态参数的参数信息。
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中。其中,所述上传间隔为定时上传的间隔,如5分钟、10分钟等。实质上,通过不同类型的网络传输数据,数据的传输速率不一样。因此,可以根据网络类型对应的数据传输速率,设置应用所在终端对应网络类型的上传间隔,并将不同网络类型的上传间隔添加到采集配置信息中。
在本发明实施例中,可以根据应用所在终端连接的网络类型,选择该网络类型对应的上传间隔,使得各应用可以依据当前连接网络的数据传输速率上传采集参数的参数信息,从而可以充分利用了网络资源,并且保证参数信息的上传速率。本实施例中,上传间隔可以依据网络类型和采集参数本身的优先级来确定。
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中。其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。具体而言,不同的终端的性能不同,因此其可以缓存的参数信息的数据量不同。根据应用所在终端可以缓存的数据量,可以设置该终端对应的缓存阈值,并将该缓存阈值添加到采集配置信息中。当终端的本地缓存的参数信息超过缓存阈值时,云服务器可以控制终端删除缓存时间在前的参数信息,直到缓存的参数信息不超过所述缓存阈值,保证了数据采集的效率。例如设置缓存阈值为2M,在采集参数信息要存储时判断本地缓存已超过2M,则可以按照时间的前后顺序,从前面开始删除参数信息,直到存储该采集参数也不超过2M为止。
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。在具体实现中,云服务器可以对网络所采用的网络传输协议进行统计,确定各网络传输协议的优先级,生成协议上传顺序。例如,协议上传顺序可以如下:1、传输控制协议(Transmission Control Protocol,TCP);2、无线应用协议(Wireless Application Protocol,WAP);3、用户数据报协议(User DatagramProtocol,UDP);4、实时传输协议(Real-time Transport Protocol,RTP);5、超文本传输协议(HTTP,HyperText Transfer Protocol)。其中,网络传输协议对应的顺序编号可以代表了该网络传输协议的优先级,顺序编号越小代表该该网络传输协议的优先级越高,如1代表TCP协议的优先级最高。将协议上传的顺序添加到采集配置信息中,就可以控制参数信息上传时所采用的网络传输协议,如上述例子的协议上传顺序,参数信息优选采用优先级最高的TCP协议上传,当不可以采用TCP协议上传时采用WAP协议上传,即按照优先级的顺序选择上传协议,避免由于终端、应用不支持采用某一网络传输协议而导致参数信息上传失败的问题,保证参数信息的上传效率和上传质量。
当终端比较多的时候,云服务器可以对应用所在终端进行统计,确定采样率。通过采样率,可以确定待采样的终端数量,并且可以按照所确定的终端数量随机选取应用所在终端,将选取的终端作为目标终端,以及确定为采样的终端。作为本发明的一个具体示例,可以通过预置的算法对各终端的终端标识进行计算,选取目标终端,如通过终端标识的最后一位或两位的数字,确定目标终端。当然,云服务器还可以通过其他方式确定采样的终端,如通过对终端标识进行取模或者取余等运算确定采样的终端,本发明实施例对此不作限制。通过将采样率添加到采样配置信息中,云服务器可以控制采样的终端数量,避免采样大量的终端而造成云端服务器数据处理压力大的问题,保证数据的采样效率,进而加快数据采集的进度。
云服务器还可以通过设置各采集参数的优先级,控制采集参数的参数信息的采集次数和上传间隔。例如,参照表1,当应用或应用所在终端确定采集参数的优先级,就可以依据所确定的优先级对应的采集次数对该采集参数的信息进行采集,并按照该优先级对应的上传间隔上传该采集参数的参数信息,如采集参数I的优先级为A级,则该采集参数I的参数信息的采集次数为1000次,且上传间隔为20分钟,即每隔20分钟,就上传一次该采集参数I的参数信息。
采集参数的优先级 参数信息的采集次数 参数信息的上传间隔
A级 1000次 20分钟
B级 700次 1小时
C级 300次 3小时
D级 10次 12小时
F级 1次 24小时
表1
在本发明实施例中,可以根据业务需求或者采集数据的特性,预先设置采集参数的优先级,以及各优先级对应的参数信息采集次数和上传间隔,使得云服务器可以通过将采集参数的优先级添加到采集配置信息中,控制应用或者应用所在终端按照采样参数的优选级对参数信息进行采集以及上传。通过采集参数的优先级,可以及时采集到各应用采集参数的参数信息,并且还可以及时将采集到的参数信息上传。
步骤408,采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息。
步骤410,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
依据所述采集控制服务器下发的采集配置信息,可以在应用运行时对采集参数进行采集,包括:依据所述配置信息中各采集参数的优先级,确定所述采集参数的参数信息的采集次数和上传间隔。获取所述应用所在移动终端的内存信息,判断所述内存信息是否达到采集阈值;当所述内存信息未达到采集阈值时,采集所述静态参数的采集参数上传给所述服务器,以结束采集步骤;当所述内存信息达到采集阈值时,应用运行时调用采集工具采集所述应用中各采集参数的参数信息,其中,所述采集参数包括静态参数和/或动态参数。
在本发明实施例中,考虑到不同类型的终端配置不同,有些终端内存较大如内存达到2G,而有些终端内存较小,为了减少数据采集对终端的影响,使得终端能够正常运行应用,云服务器可以根据应用所在终端的内存设置采集阈值,并将该采集阈值添加到采集配置信息中,从而可以依据终端的内存信息控制采集的采集参数。当应用所在终端的内存信息未达到采集阈值时,可以不采集安装该终端上的应用的动态参数对应的参数信息,可以采集静态参数对应的参数信息,如采集终端标识;例如采集阈值配置为50M,则当终端的内存小于50M时,为了不影响终端的使用可以限制采集参数的采集,如不采集动态参数,仅采集终端标识等静态参数上传一次即可。
依据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种:
当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中。即在对用户在应用界面中访问记录时,为了保证访问的连续,可以在记录当前界面的同时记录上一访问界面,从而每一个界面记录均为当前页+上一页,当然若是首页,则上一页为空。
当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中。应用中可以包括许多按钮,可以给每个按钮进行编号来标识不同的按钮,从而在按钮被点击时记录按钮编号以及点击次数,即点击次数初始为0,每点击一次即加一。
应用可以通过多进程方式运行,通常多进程运行时应用启动采用主进程记录启动时间点,采用最后一个进程记录结束时间点,但是,当应用启动时间过短时可能出现主进程未完全启动则应用已关闭的问题,此时记录的运行时间就可能为负值,或者采用上次启动的启动时间点与本次关闭的结束时间点计算时长,则会出现时长超长的情况,导致时长记录不准确。
为解决上述不准确的问题,采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。其中,所述采集所述应用相关的运行时间作为时长信息包括:所述应用的主进程记录启动时间点和结束时间点,依据所述启动时间点和结束时间点记录运行时间,将所述运行时间作为时长信息。即本实施例针对多进程运行的应用,开始和结束时间的记录均从采用主进程进行记录,即应用启动时采用主进程记录启动时间点,应用关闭是采用主进程记录结束时间点,从而计算结束时间点和启动时间点的差值即为运行时间,确保准确记录运行时长。
此外,本发明实施例中为了节省用户流量等资源,可以将采集的参数信息缓存在本地,为了减少对数据终端的应用,可以配置缓存阈值,该缓存阈值用于确定在终端的缓存的参数信息的数据量。具体而言,不同的终端的性能不同,因此其可以缓存的参数信息的数据量不同。根据应用所在终端可以缓存的数据量,可以设置该终端对应的缓存阈值,并将该缓存阈值添加到采集配置信息中。当终端的本地缓存的参数信息超过缓存阈值时,云服务器可以控制终端删除缓存时间在前的参数信息,直到缓存的参数信息不超过所述缓存阈值,保证了数据采集的效率。例如设置缓存阈值为2M,在采集参数信息要存储时判断本地缓存已超过2M,则可以按照时间的前后顺序,从前面开始删除参数信息,直到存储该采集参数也不超过2M为止。
步骤412,所述数据终端将采集的参数信息上传给所述采集控制服务器。
在进行参数信息的上传时,可以首先确定是否达到上传间隔,其中上传间隔处理依据参数优先级确定之外,还可以依据当前的网络类型确定上传间隔,判断当前时刻是否满足上传间隔。
为了提高上传的成功率,还可以配置上传阈值,即每次上传数据量的阈值,检测当前缓存的参数信息是否大于上传阈值。在参数信息满足采样配置信息中的上传条件时,将该参数信息进行上传。例如,云服务器可以通过设置各参数信息上传的优先级或者上传间隔,设置各参数信息的上传条件,并将该上传条件保存到采集配置信息中。在当前时刻达到参数信息的上传间隔时间时,检测所述参数信息是否超过上传阈值。
本发明实施例向服务器上传参数信息是通过数据包上传。若一个数据包包含的数据量过大,容易造成上传失败。本发明实施例通过上传阈值,来限制每次上传数据包的大小。当需要上传的参数信息超过上传阈值时,就采取分包的措施,即将所述参数信息划分为至少两个数据包。分包上传,可以避免数据量过大造成的上传失败。例如上传阈值为100k时,当需要上传的参数信息大于100k,可以将参数信息划分为至少两个数据包,例如需要上传的参数信息为250k,则可以分成三个数据包100k、100k以及50k。
然后,将所述参数信息按照预置算法进行压缩编码,生成参数数据包。,依据预置协议上传顺序选择上传协议,依据所述上传协议向服务器上传参数信息。
另外,参数信息上传给服务器时,可能会出现上传失败。此时可能需要将未上传的参数信息继续上传,为了便于区分参数信息的上传情况,可以依据上传结果配置上传成功标记位。通过上传成功标记位来标识上传结果。其中,若所述缓存的参数信息上传失败则配置上传成功标记位为失败,若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
在所述应用所在移动终端解锁时,对上传成功标记位进行检测。若所述上传成功标记为失败,获取当前的网络类型,判断所述网络类型是否允许上传数据。在确定上传成功标记为失败时,说明参数信息未上传成功,则可以获取当前的网络类型,判断网络类型是否允许上传数据,如网络是否连接,已连接的情况下判断为2G、3G、4G或WIFI等。若是,即所述网络类型允许上传数据时,将未上传的参数信息上传给所述服务器。若否,即网络类型不允许上传数据,在下次解锁后重新检测上传。
为了节省资源,在所述应用下一次运行时如在所述应用所在移动终端解锁时,对上传成功标记位进行检测,判断参数信息的上传情况。若所述上传成功标记为失败,获取当前的网络类型,判断所述网络类型是否允许上传数据,在所述网络类型允许上传数据时,执行将未上传的参数信息上传给所述服务器的步骤。
步骤414,所述数据分析服务器对上传的各采集参数对应参数信息进行分析,获取数据分析结果。
步骤416,所述数据分析服务器将所述数据分析结果发送给所述报表生成服务器。
步骤418,所述报表生成服务器依据所述数据分析结果生成数据报表。
数据分析服务器对上传的各采集参数对应参数信息进行分析,如对各采集参数对应的参数信息进行统计,从而获取数据分析结果,再将所述数据分析结果发送给所述报表生成服务器,所述报表生成服务器依据所述数据分析结果,为各逻辑的数据分析结果配置可读的属性信息生成数据报表,从而可以基于该数据报表确定应用的使用情况。
通过在应用运行时调用采集工具;采集工具采集所述应用中各采集参数的参数信息;依据当前的网络类型确定上传间隔,判断当前时刻是否满足上传间隔;在当前时刻达到所述上传间隔时,将所述参数信息按照预置算法进行压缩编码,生成参数数据包;将所述参数数据包上传给服务器,以使所述服务器依据所述参数信息进行数据分析。从而减少了各服务平台的开发人员的工作量,进而降低用人成本,在各种应用中均可以使用,可扩展性较好。
本实施例中,所述报表生成服务器106,用于依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
对事件进行统计时,往往只能对通用事件进行统计,通用事件只能对共有的特征进行统计,而对于一些特有的特征采用通用事件进行统计,统计效果不明显。而本实施例中,为使报表能够适应各种业务的需求,将终端上的各个应用对应需要统计的业务进行自定义,生成自定义事件,并依据各个应用对应自定义事件配置自定义管理信息。
所述报表生成服务器106,还用于从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
所述报表生成服务器106,用于依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;以及确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
所述报表生成服务器依据所述数据分析结果生成数据报表,包括:所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。还包括配置自定义管理信息的步骤:从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表,包括:依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
上述自定事件的配置以及采集后统计生成报表的步骤具体如下:
参照图5,示出了根据本发明另一个实施例的自定义事件处理方法的步骤流程图。
步骤502,依据配置请求反馈业务管理页面。
步骤504,从业务管理页面中获取应用的应用路径,以及应用对应自定义事件的自定义事件信息。
步骤506,采用应用路径和自定义事件信息生成自定义管理信息。
对移动终端中应用的一些特有事件进行自定义,以使通过自定义事件实现对应用中一些特有数据进行统计。
首先依据配置请求,将应用对应的自定义事件进行处理反馈业务管理页面,并从业务管理页面中获取该应用对应的应用路径,如依据每条自定义事件确定其属于的哪条业务,再依据确定的业务信息,确定该业务对应的应用,依此,确定应用对应的应用路径,以及获取应用对应自定义事件的自定义事件信息,其中,自定义事件信息包括:事件名称和事件属性,自定义事件包括以下至少一种:流量统计事件、点击事件、选中事件。事件属性包括:自定义事件的统计方式。将应用路径、自定义事件的事件名称和事件属性生成自定义管理信息。
如现统计某一时间段内流量消耗情况,将流量统计事件设为自定义事件;并查找该段时间内所有应用有哪些在消耗流量;获取应用的对应的应用路径,现查找到该段时间内只有手机助手和浏览器在消耗流量,将手机助手和浏览器在该段时间内消耗流量的情况作为自定义管理信息。
步骤508,依据应用路径确定应用。
步骤510,针对应用,获取各自定义事件的事件名称和事件属性对应的业务统计信息。
依据业务管理页面中的应用路径确定应用,从确定应用路径后的应用中获取对应每条自定义事件的事件名称和事件属性对应的业务统计信息。
在进行业务统计之前可以配置各应用的采集参数以及采集配置信息,从而对采集参数进行采集并上传。
在初始配置时可以配置各应用的采集参数以及采集配置信息,云服务器可以将采集参数和采集配置信息下发到应用所在终端。当应用所在终端通过采集工具对各应用进行数据采集时,采集工具如调用SDK(Software Development Kit,软件开发工具包)就可以对各应用进行数据采集,即依据采集配置信息采集应用中各采集参数的参数信息,其中采集参数包括静态参数和动态参数。
在接收到上传的各参数信息之后,可以进行业务统计。
其中,依据所述自定义管理信息获取业务统计信息,包括如下子步骤:针对每个自定义事件,获取事件名称对应的逻辑名称,以及事件属性对应的逻辑属性。查找逻辑名称对应采集参数,依据逻辑属性确定采集参数对应的业务统计信息。
服务器依据自定义管理信息进行数据处理和数据统计,在每条自定义事件中,都有对应的事件名称和对应的逻辑名称,如页面中的某按钮触发事件,首先对该页面的中按钮依次进行编号,再将按钮触发事件定义为按钮事件,如事件名称为按钮1,对应的逻辑名称为button。每条自定义事件都对应有逻辑属性,采用统计的方式对每条自定义事件进行统计,如某页面按钮触发事件定义为按钮事件1,在其触发一次,对其进行累加,取其最终值。依据每条自定义事件,获取每条自定义事件名称对应的逻辑名称,以及事件属性对应的逻辑属性,所谓的逻辑名称和逻辑属性实际为底层代码中自定义事件的一种表现形式,后台服务器以逻辑名称和逻辑属性对数据进行统计。
每个应用对应一项业务,每项业务对应有多个条自定义事件,依据每条事件的逻辑名称查找该自定义事件对应的采集参数,依据逻辑属性,对采集参数以统计的方式进行业务统计,得到该条自定义事件对应的业务统计信息;依此,确定出每条自定义事件对应的业务统计信息。如,某页面包括三段文字,现需统计其中每段,被选中且被复制的次数;将其定义为一项业务,再定义三种自定义事件,如第一段被选中且被复制的事件定义为选中1、第二段被选中且被复制的事件定义为选中2、第三段被选中且被复制的事件定义为选中3;自定义事件选中的逻辑名称为check;采集参数包括自定义事件选中的执行次数,即每段文字被选中且复制的次数。
又如某时间段内,第一段文字被选中且复制的次数为0,第二段文字被选中且复制的次数为1,第三段文字被选中且复制的次数为6。相应的,事件名称为选中1、逻辑名称为check1、采集参数对应的业务统计信息为0;事件名称为选中2、逻辑名称为check2、采集参数对应的业务统计信息为1;事件名称为选中3、逻辑名称为check3、采集参数对应的业务统计信息为6。
依据事件名称确定与之对应的逻辑名称,依据事件属性确定一致对应的逻辑属性;再依据逻辑名和逻辑属性,确定相应的采集参数和业务统计信息;可以清楚的确定每条自定义事件对应的业务统计信息。
步骤512,确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
数据分析服务器接收参数信息,并依据参数信息确定各个应用对应自定义事件的事件名称、逻辑名称、采集参数对应的业务统计信息;并将自定义事件的事件名称、逻辑名称、采集参数对应的业务统计信息发送给报表生成服务器;报表生成服务器依据每项业务确定出该业务对应的多条自定义事件,再依据该定义事件,确定该自定义事件对应的事件名称、逻辑名称、采集参数对应的业务统计信息;依据每条自定义事件对应的事件名称和采集参数对应的业务统计信息生成应用的自定义事件报表,其中业务统计信息即采集参数对应的采集数据,采集的数据以累加的方式进行统计。
步骤514,获取通用事件信息对应的业务统计信息,将通用事件对应业务统计信息添加到自定义事件报表中。
本发明的一种可选实施例,对于通用事件只需依据通用事件对应的事件名称获取其对应的业务统计信息,将通用事件的事件名称以及通用事件对应的业务统计信息,添加到自定义事件报表中。
本发明实施例通过从业务管理界面中获取应用的应用路径,以及应用对应自定义事件的自定义事件信息;依据应用路径确定应用,针对应用,获取各自定义事件的事件名称和事件属性对应的业务统计信息,依据业务统计信息生成自定义事件报表,每个应用对应一项业务,一项业务包括多条自定义事件,依据每条自定义事件对应的业务统计,生成自定义事件报表;在自定义事件报表中可以直观的表示出每条自定义事件对应的业务统计数据,这样的统计方式更加具有代表性,更能统计出一些特有事件,增强了统计效果;本发明实施例还可以将通用事件添加到自定义事件报表中,实现了通用事件和自定义事件的结合统计,使得用户可以从一个业务报表中获取所需的各种事件的统计信息,满足各种用户需求。
其中,所述采集控制服务器,还用于配置所述目标应用对应测试设备的测试信息;所述数据分析服务器,还用于对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器,还用于判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
其中,所述采集控制服务器102,包括:开发配置服务器1024;所述开发配置服务器,用于在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;所述数据分析服务器,还用于从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
所述的方法还包括:所述采集控制服务器配置所述目标应用对应测试设备的测试信息;所述数据分析服务器对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。配置所述目标应用对应测试设备的测试信息,包括:在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;所述的方法还包括:所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
在开发配置服务器1024配置目标应用并进行测试的步骤具体如下:
参照图6,示出了根据本发明另一个实施例的目标应用的测试方法的步骤流程图。
步骤602,接收目标应用的注册请求。
步骤604,依据注册请求为目标应用分配应用标识。
为了应用的开发与维护,可以在应用运行过程中采集相应的采集参数来确定应用的运行情况,本实施例各应用采用通用的采集工具,因此可以预先测试应用调用采集工具进行参数采集是否正常,可以将需要测试的应用作为目标应用。目标应用的测试通常需要实时获知测试结果,因此可以为目标应用配置测试设备,实时对测试设备的采集结果进行分析。首先对目标应用进行注册,可以发出注册请求,该注册请求中携带有目标应用的相关信息,服务器中获取依据注册请求为目标应用分配应用标识,从而通过应用标识唯一标识一款应用程序。在目标应用完成注册后,可以发送采集工具即采集数据所需的SDK给目标应用,使得目标应用能够在运行时调用该采集工具进行采集。
步骤606,对目标应用,配置至少一个测试设备的测试标识。
步骤608,为目标应用配置待测试的采集参数,将测试标识和采集参数作为测试信息。
目标应用完成注册后,可以上传测试设备的终端标识如M2值给开发配置服务器,开发配置服务器将终端标识配置为测试设备的测试标识,从而可以对目标应用配置至少一个测试设备的测试标识。还可以配置目标应用待测试的采集参数,即确定测试时需要从目标应用中采集的采集参数,从而得到相应采集参数的参数信息。将测试标识和采集参数作为测试信息。从而目标应用可以调用采集工具进行采集,即目标应用为添加采集工具的测试应用。
云服务器依据采集参数以及相应的采集策略生成采集配置信息,将采集配置信息下发给各数据终端,使得各相应的应用可以依据采集配置信息对采集参数对应的参数信息进行上报,即云服务器可以通过采集参数和采集配置信息控制应用所在的终端采集各采集参数对应的参数信息,自动完成应用的数据采集。终端设备依据采集配置信息,调用采集工具,如调用SDK对目标应用进行参数的采集,并将采集的到的参数信息上传给数据分析服务器。
步骤610,从上传的参数信息中获取目标应用对应采集参数的参数信息。
步骤612,对参数信息的来源进行分析,判断参数信息是否属于测试设备。
数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息,然后从参数信息中查找终端参数对应终端标识,将该终端标识和预先配置的测试设备表中测试标识进行比对,判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备,即该参数信息是从测试设备中采集得到的。
根据本发明一个可选实施例中,判断参数信息是否属于测试设备,具体可以包括:通过参数信息中终端参数对应终端标识,确定参数信息的来源;判断终端标识与测试设备表中测试标识是否相同;当终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。本实施例中,可以在服务器中保存各测试设备的测试标识,生成相应的测试设备表,便于后续分析时确定测试设备。从参数信息中查找终端参数对应终端标识,该终端标识可以标识参数信息的来源,即是从哪个终端中采集得到的。
将终端标识与测试设备表中的测试标识进行比对,判断终端标识与测试设备表中测试标识是否相同,即判断当前参数信息是否属于测试设备。若是,即终端标识与测试设备表中任一测试标识相同,则判断参数信息属于测试设备,即该参数信息是从测试设备中采集得到的。反之,若终端标识与测试设备表中测试标识均不相同,则该参数信息不是从测试设备中采集得到的,即参数信息不属于测试设备,可以按照通用的处理流程进行统计生成报表,而无误实时统计。
通过终端标识来确定上传的参数信息是否来自测试设备,若是,即参数信息属于测试设备,执行步骤614;若否,即参数信息不属于测试设备,结束该流程,无需实时统计。
步骤614,针对属于测试设备的各个参数信息,分别按照统计方式对相应参数信息进行统计。
步骤616,依据各参数信息对应统计结果生成测试报表。
在确定参数信息属于测试设备后,对测试设备的各个参数信息进行处理,其中按照统计的方式对相应的参数信息进行统计。如某页面某个按钮触发的次数,对该页面的所有按钮进行编号,即每个按钮都有自己对应的编号,按钮触发一次,对按钮触发的次数进行叠加,如编号为1的按钮触发了3次,即对应统计的数据包括按钮1触发3次。又如页面的切换,首先确定当前页面信息,再向上查找,确定上一页面的页面信息,若当前页面为首页,则将上一页面记录为空,再查找下一页面的页面信息,依次进行统计。
依据各参数对应的统计信息,确定每个目标应用对应的一个或多个采集参数;并确定每个参数对应的统计数据,按照应用的分类将各个参数和参数对应的统计数据生成测试报表。
步骤618、依据测试报表分析采集工具在目标应用中的运行结果。
目标应用中添加有采集工具,从而通过采集工具辅助目标应用对测试信息的采集。在采集、上传并实时统计生成测试报表后,还可以依据测试报表分析采集工具在目标应用中的运行结果。运行结果包括以下至少一项:数据采集结果、数据上传结果、报表生成结果和应用运行结果。
数据采集结果即通过测试报表分析测试设备中采集工具对参数的采集情况,如是否能够正常采集。数据上传结果即通过测试报表分析测试设备中采集工具的参数信息上传情况,如上传是否正常。报表生成结果即通过测试报表分析测试设备中采集工具上传参数信息后,报表生成情况,即能够正常统计参数信息生成报表。应用运行结果即通过测试报表分析测试设备通过采集工具进行采集、上传时目标应用的运行情况,如目标应用运行是否正常,是否出现卡顿、闪退、崩溃等问题。
本发明实施例通过在测试设备中安装目标应用,再为目标分配应用标识,为测试设备配置测试标识,将目标应用的采集参数和测试标识作为测试信息上传服务器,服务器通过解析多个设备上传的数据信息,依据测试标识确定测试信息所属的测试设备,对参数信息以统计方式进行统计,依据统计结果生成测试报表,通过测试报表能够清楚的反应当前目标应用在测试设备的运行情况;还可以在目标应用中安装采集工具的测试应用辅助参数信息的采集,利用测试报表分析采集工具在目标应用中的运行情况。
所述数据分析服务器104,还用于从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
所述数据分析服务器104,用于确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
所述的方法还包括:数据分析服务器从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果,包括:确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
参数信息采集完成统计时,还可以检验传输以及统计结果,其中对于传输的校验步骤具体如下:
参照图7,示出了根据本发明另一个实施例的传输校验方法的步骤流程图。
步骤702,接收上传的参数信息。
其中,所述参数信息为应用运行时针对各采集参数采集得到的。在数据采集分析系统中,采集控制服务器基于各服务平台所需要采集的数据,确定待采集的应用。在确定应用后,云服务器可以根据应用类型确定待采集的应用的静态参数、动态参数,以及设置采集配置信息,使得各应用或者应用的终端可以按照该采集配置信息采集、上传采集到的各采集参数对应参数信息。
可选的,上传的参数信息可以包括:劫持后中转返回目的地址的参数信息,以及直接上传目的地址的参数信息。其中,目的地址属于地址列表。实质上,可以在数据分析服务器预先设置地址列表。该地址列表包含了上传到数据分析服务器的各IP地址,相当于目标地址;以及各IP地址对应的地址信息,相当于目标地址信息。当参数信息需要上传到某一目标地址,可以将该目标地址作为目的地址。
在具体实现中,通过确定上传的IP地址,参数信息可以从应用所在终端上传到数据分析服务器。因此,可以在参数信息中记录其上传的IP地址,生成上传目的地址的参数信息,如记录上一次上传IP地址生成LastIP信息。其中,上传目的地址的参数信息可以包括直接上传目的地址的参数信息和劫持后中转返回目的地址的参数信息等。
步骤704,确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息。
在本发明实施例中,数据分析分析服务器可以根据校验需求,确定需要校验的校验参数。通过确定校验参数的参数标识,就可以依据所确定的参数标识进行查找。若从参数信息中查找到所确定的参数标识对应的校验信息,就可以将找到的校验信息提取出来,以便检测参数信息在传输过程中是否被拦截。作为本发明的一个具体示例,假设参数信息从终端A上传到数据分析服务器B中,分析服务器B在确定IP地址的标识符后,依据该IP地址的标识符就可以从上传的参数信息中提取IP地址的标识符对应的LastIP信息,该LastIP信息包含了参数信息从终端A到分析服务器B上传的各IP地址,如LastIP1、LastIP2、LastIP3等。
步骤706,检测所述校验信息是否为目标信息。
若所述校验信息不为目标信息,则执行步骤708;若所述校验信息为目标信息,则执行步骤710。
可选的,数据分析服务器可以通过检测IP地址信息与地址列表中的目标地址信息匹配,判断参数信息是否被拦截过。在本发明的一个优选实施例中,上述步骤706可以是检测所述IP地址信息与地址列表中的目标地址信息匹配。具体的,若从参数信息中所提取的IP地址信息对应的IP地址不在预置的地址列表中,即在地址列表不能查找到所提取的IP地址信息对应的目标地址时,判定所提取的IP地址信息与地址列表中的目标地址信息不匹配,则可以确定参数信息被拦截过,执行步骤708。若从参数信息中所提取的IP地址信息对应的IP地址在预置的列表中,即在地址列表可以查找到所提取的IP地址信息对应的IP地址,判定所提取的IP地址信息与地址列表中的目标地址信息匹配,则可以确定参数信息没有被拦截过,执行步骤710。结合上述例子,若能在预置的地址列表中查找到LastIP1、LastIP2以及LastIP3,则可以确定参数信息没有被拦截,执行步骤710;若不能在地址列表中查找到LastIP1,可以判断出参数信息被非法终端或恶意程序拦截,且拦截参数信息的非法终端或恶意程序对应的IP地址为LastIP1,则执行步骤708。
步骤708,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常。
具体的,数据分析服务器确定参数信息被拦截过,就可以确定参数信息上传过程中存在流量劫持现象,并且此次接收到的参数信息有可能被拦截的终端或恶意程序篡改,即可以确定该参数信息上传所对应的流量存在劫持异常,在劫持校验结果中记录该参数信息的劫持异常,如在劫持校验结果中记录参数信息被LastIP1的终端拦截或者记录LastIP1为非法IP地址、恶意IP地址等,生成数据分析结果,从而可以避免采用被拦截的参数信息进行统计,保证数据分析结果的准确性。
步骤710,确定数据传输正常,在所述劫持校验结果中记录传输正常。
当参数信息没有拦截过,就可以确定数据传输正常,劫持校验结果中记录该参数信息传输正常,保证了数据分析结果的准确性。
所述数据分析服务器104,还用于从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。所述数据分析服务器104,用于确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
实际上,当数据终端(简称终端)如手机、平板电脑通过采集工具采集到应用数据后,即在采集到各采集参数对应的参数信息后,就会将采集到的参数信息上传,使得数据分析服务器可以接收到该上传的参数信息。该参数信息可以包括存储信息、校验信息和采集参数对应的信息等。其中,存储信可以用来检测数据质量,确定质量校验结果,如安全数码卡(Secure Digital Memory Card)信息(简称SD卡信息)、多媒体存储卡(Multi MediaCard,MMC)信息、SM卡(Smart Media Card)信息、CF卡(Compact Flash Card)信息等;校验信息可以用于分析数据传输情况,确定劫持校验结果,如IP(Internet Protocol)地址信息。在接收到参数信息后,数据分析服务器可以对参数信息进行分析,从所述参数信息中查找存储参数对应存储信息。具体的,可以根据检测需要设预置存储参数,如预置SD卡参数。在数据分析的过程中,通过查找预置的存储参数对应的存储信息,就可以获取到该存储参数所对应的存储信息。数据分析服务器在提取到存储信息后,采用存储信息对参数信息进行数据质量检测,以判断采集到的参数信息是否存在数据造假,即判断采集到的参数信息的准确性,确定质量校验结果。
所述的方法还包括:所述数据分析服务器从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果,包括:确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
参数信息采集完成后,还可以检验所采集数据的质量,其中对于传输的数据的质量校验步骤具体如下:
参照图8,示出了根据本发明另一个实施例的数据质量校验方法的步骤流程图。
步骤802,接收上传的参数信息。
其中,所述参数信息为应用运行时针对各采集参数采集得到的。
在数据采集分析系统中,采集控制服务器基于各服务平台所需要采集的数据,确定待采集的应用。在确定应用后,云服务器可以根据应用类型确定待采集的应用的静态参数、动态参数,以及设置采集配置信息,使得各应用或者应用的终端可以按照该采集配置信息采集、上传采集到的各采集参数对应参数信息。
步骤804,确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息。
在本发明实施例中,数据分析分析服务器可以根据数据质量检测的需求,确定所需要提取的存储信息,采用所提取的存储信息对参数信息进行数据质量检测,以判断上传的参数信息是否异常。具体的,通过确定存储参数的存储标识,就可以依据所确定的参数标识进行查找;若从参数信息中查找到所确定的存储标识对应存储信息,就可以将找到的存储信息提取出来,以便对上传的参数信息进行数据质量的检测,如判断上传的参数信息是否为造假的数据。
实际上,数据分析服务器设置的存储参数可以包括SD卡参数,则存储参数对应存储信息可以包括SD卡信息。作为本发明的一个具体示例,数据分析服务器可以通过确定SD卡标识符,就可以依据SD卡标识符对接收到的参数信息进行查找,从参数信息中提取该SD卡标识符对应SD卡信息。需要说明的是,每个SD卡具有唯一对应的SD卡标识,并且SD卡信息可以用于查找SD卡所对应的SD卡标识。
步骤806,依据所述存储信息查找至少一个终端标识。
在提取存储信息后,就可以依据存储信息进行数据质量检测,判断采集到的参数信息是否存在数据造假。具体的,从接收到的所有参数信息中提取各终端的标识信息;并判断所提取标识信息的终端标识是否对应所提取的存储信息;若是终端标识是否对应所提取的存储信息,即可以确定所提取的存储信息为该终端的存储信息,建立所提取存储信息与该终端的终端标识的对应关系。
作为本发明的一个具体示例,假设终端A、终端B以及终端C连接同一个SD卡,标注为SD卡1,并且将SD卡1的SD卡信息标注为SD卡信息1;终端D连接另一个SD卡,标注为SD卡2,并且将SD卡2的SD卡信息标注为SD卡信息2。当数据分析服务器从终端A、终端B或终端C上传的参数信息中提取SD卡信息时,其所提取的SD卡信息为SD卡信息1,依据SD卡信息1查找SD卡标识,可以找到终端A对应的SD卡标识、终端B对应的SD卡标识以及终端C对应的SD卡标识,即依据SD卡信息1查找上传的参数信息,可以得到SD卡信息1所对应的3个SD卡标识。当数据分析服务器从终端D上传的参数信息中提取SD卡信息时,其所提取的SD卡信息为SD卡信息2,依据SD卡信息2查找SD卡标识,可以找到终端D对应的SD卡标识,即依据SD卡信息2查找上传的参数信息,可以得到SD卡信息2所对应的1个SD卡标识。
步骤808,采用所述终端标识检测数据质量,确定质量校验结果。
在具体实现中,数据分析服务器可以对存储信息所对应的终端标识进行统计,确定该存储信息对应终端标识的数量,基于终端标识的数量判断该存储信息是否属于一个终端,相当于判断该存储信息所对应的参数信息是否存在数据造假。若存储信息对应的终端标识的数量为1,则该存储信息属于一个终端,如上述例子中,SD卡信息2属于终端D,可以判定采集到的数据正常,即确定SD卡信息2所对应的参数信息不是造假的数据,生成该数据采集质量合格的质量校验结果。若存储信息对应的终端标识的数量不为1,则该存储信息不是属于一个终端,如上述例子中,SD卡信息1属于3个终端,可以判定采集到的数据异常,即SD卡信息1所对应的参数信息可能是造假的数据,生成该数据异常的质量校验结果。
可选的,当所述存储信息对应一个终端标识,生成质量合格的质量校验结果。当所述存储信息对应多于一个终端标识,生成数据异常的质量校验结果。具体的,当存储信息对应一个终端标识时,数据分析服务器可以判断该存储信息所对应的参数信息为正常数据,可以采用该参数信息进行数据分析,生成各服务平台所需要的数据报表,以了解业务需求,对业务进行调整。
可选的,当所述终端标识存在多于一个终端标识时,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序;依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常。实际上,一些应用所在的终端设备如显示器,在本地没有存储空间,通过连接处理器或者硬盘,利用处理器或者硬盘的存储空间处理数据。其中,多个终端可以共用同一个处理器或者硬盘的存储空间处理数据,如多个显示器连接同一个SD卡,即共用同一个SD卡的存储空间。在采集数据过程中,对连接同一个硬盘或者处理器的多个终端进行数据采集,实质上采集到的参数信息是同一个硬盘或者处理器的数据。
当存储信息对应多于一个终端标识时,数据分析服务器可以查找各终端标识对应成功上传信息,如成功传输日志信息(transformation)。终端标识对应成功上传信息包括了成功传输次数,如成功传输日志的次数transformation times(简称为tt值)。每一次成功上传采集到的参数信息,tt值自动按照单位值增加,如自动加1。
在存储信息对应终端标识多于一个时,数据分析服务器可以将各终端标识对应上传成功信息进行排序,如按照tt值的大小进行排序,基于排序结果判断上传成功信息是否存在冗余。当上传成功信息不存在冗余时,可以确定存储信息对应的多个终端标识实质上是同一个处理器或者硬盘的数据,即存在数据造假,判定数据异常。结合上述例子,SD卡信息1对应3个SD卡标识,数据分析服务器按照tt值的大小,对成功传输日志的次数进行排序,判断成功传输日志的次数是否重复;当成功传输日志的次数不重复时,即在成功传输日志的次数不存在冗余时,可以判定数据异常,如假设终端A对应的SD卡标识的tt值为1,终端B对应的SD卡标识的tt值为3,终端C对应的SD卡标识的tt值为2,即成功传输日志的次数不存在冗余,可以判定包含SD卡信息1的参数信息异常,相当于确定包含SD卡信息1的参数信息存在数据造假,生成数据异常的质量校验结果,避免该参数信息进行数据分析,即避免采用异常的参数信息进行分析,提高数据采集的准确度。
在本发明实施例中,当存储信息对应多于一个终端标识时,数据分析服务器可以判定数据异常,生成数据异常的质量校验结果,以避免采用异常的数据进行数据分析,保证数据分析结果的准确性。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据采集分析系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种数据采集分析系统,包括:采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;
所述采集控制服务器,用于配置所述采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集;
所述数据终端,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给所述数据分析服务器;
所述数据分析服务器,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器;
所述报表生成服务器,用于依据所述数据分析结果生成数据报表。
A2、如A1所述的系统,所述采集控制服务器包括云控服务器;
所述云控服务器,用于依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
A3、如A2所述的系统,
所述云控服务器,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;以及,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
A4、如A2所述的系统,
所述数据终端,用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息;以及,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
A5、如A4所述的系统,
所述数据终端,用于当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
A6、如A2至A5任一所述的系统,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
A7、如A1所述的系统,
所述报表生成服务器,用于依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
A8、如A7所述的系统,
所述报表生成服务器,还用于从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
A9、如A8所述的系统,
所述报表生成服务器,用于依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;以及确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
A10、如A1所述的系统,
所述采集控制服务器,还用于配置所述目标应用对应测试设备的测试信息;
所述数据分析服务器,还用于对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;
所述报表生成服务器,还用于判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
A11、如A10所述的系统,所述采集控制服务器,包括:开发配置服务器;
所述开发配置服务器,用于在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;
所述数据分析服务器,还用于从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
A12、如A1所述的系统,
所述数据分析服务器,还用于从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
A13、如A12所述的系统,
所述数据分析服务器,用于确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
A14、如A1所述的系统,
所述数据分析服务器,还用于从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
A15、如A14所述的系统,
所述数据分析服务器,用于确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
本发明还公开了B16、一种数据采集分析方法,其中,所述数据采集分析方法应用于数据采集分析系统中,数据采集分析系统包括:所述采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;
所述的方法包括:
所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端;
所述数据终端在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;
所述数据终端将采集的参数信息上传给所述采集控制服务器;
所述数据分析服务器对上传的各采集参数对应参数信息进行分析,获取数据分析结果;
所述数据分析服务器将所述数据分析结果发送给所述报表生成服务器;
所述报表生成服务器依据所述数据分析结果生成数据报表。
B17、如B16所述的方法,所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端,包括:
所述采集控制服务器依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;
依据所述应用和应用所在终端配置的采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;
将采集参数和采集配置信息下发给应用所在的数据终端。
B18、如B17所述的方法,依据所述应用和应用所在终端配置的采集配置信息的步骤包括以下至少一种:
配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
B19、如B17所述的方法,所述依据采集配置信息对采集参数的参数信息进行采集,包括:
采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息;
采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
B20、如B19所述的方法,依据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种:
当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;
当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;
采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
B21、如B17至B20任一所述的方法,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
B22、如B16所述的方法,所述报表生成服务器依据所述数据分析结果生成数据报表,包括:
所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
B23、如B22所述的方法,还包括配置自定义管理信息的步骤:
从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;
采用所述应用路径和自定义事件信息生成自定义管理信息。
B24、如B23所述的方法,依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表,包括:
依据所述应用路径确定应用;
针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;
查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;
确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
B25、如B16所述的方法,还包括:
所述采集控制服务器配置所述目标应用对应测试设备的测试信息;
所述数据分析服务器对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;
所述报表生成服务器判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
B26、如B25所述的方法,配置所述目标应用对应测试设备的测试信息,包括:
在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;
所述的方法还包括:
所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
B27、如B16所述的方法,还包括:
数据分析服务器从所述参数信息中查找校验参数对应校验信息;
对所述校验信息进行分析确定劫持校验结果。
B28、如B27所述的方法,从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果,包括:
确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;
检测所述校验信息是否为目标信息;
若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;
若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
B29、如B16所述的方法,还包括:
所述数据分析服务器从所述参数信息中查找存储参数对应存储信息;
依据所述存储信息检测数据质量,确定质量校验结果。
B30、如B29所述的方法,从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果,包括:
确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;
依据所述存储信息查找至少一个终端标识;
当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;
当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;
将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。

Claims (30)

1.一种数据采集分析系统,包括:采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;
所述采集控制服务器,用于配置采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集;所述采集配置信息包括:采集阈值;所述采集参数包括:静态参数和/或动态参数;
所述数据终端,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集,以及将采集的参数信息上传给所述数据分析服务器,包括:获取所述应用所在数据终端的内存信息;当所述内存信息未达到所述采集阈值时,采集所述静态参数的参数信息,当所述内存信息达到所述采集阈值时,所述应用运行时采集所述应用中各静态参数和/或动态参数的参数信息;
所述数据分析服务器,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器;
所述报表生成服务器,用于依据所述数据分析结果生成数据报表。
2.根据权利要求1所述的系统,其特征在于,所述采集控制服务器包括云控服务器;
所述云控服务器,用于依据应用类型确定所述应用的采集参数;依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
3.根据权利要求2所述的系统,其特征在于,
所述云控服务器,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;以及,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
4.根据权利要求2所述的系统,其特征在于,
所述数据终端,用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息;以及,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
5.根据权利要求4所述的系统,其特征在于,
所述数据终端,用于当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
6.根据权利要求2至5任一所述的系统,其特征在于,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
7.根据权利要求1所述的系统,其特征在于,
所述报表生成服务器,用于依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
8.根据权利要求7所述的系统,其特征在于,
所述报表生成服务器,还用于从业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
9.根据权利要求8所述的系统,其特征在于,
所述报表生成服务器,用于依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;以及确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
10.根据权利要求1所述的系统,其特征在于,
所述采集控制服务器,还用于配置目标应用对应测试设备的测试信息;
所述数据分析服务器,还用于对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;
所述报表生成服务器,还用于判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
11.根据权利要求10所述的系统,其特征在于,所述采集控制服务器,包括:开发配置服务器;
所述开发配置服务器,用于在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;
所述数据分析服务器,还用于从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
12.根据权利要求1所述的系统,其特征在于,
所述数据分析服务器,还用于从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
13.根据权利要求12所述的系统,其特征在于,
所述数据分析服务器,用于确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
14.根据权利要求1所述的系统,其特征在于,
所述数据分析服务器,还用于从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
15.根据权利要求14所述的系统,其特征在于,
所述数据分析服务器,用于确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
16.一种数据采集分析方法,其中,所述数据采集分析方法应用于数据采集分析系统中,数据采集分析系统包括:采集控制服务器、数据分析服务器、报表生成服务器和至少一个数据终端,所述数据终端中安装有采集工具;
所述的方法包括:
所述采集控制服务器配置采集配置信息给数据终端并下发给相应的数据终端;所述采集配置信息包括:采集阈值;采集参数包括:静态参数和/或动态参数;
所述数据终端在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集,包括:获取所述应用所在数据终端的内存信息,当所述内存信息未达到所述采集阈值时,采集所述静态参数的参数信息,当所述内存信息达到所述采集阈值时,所述应用运行时采集所述应用中各静态参数和/或动态参数的参数信息;
所述数据终端将采集的参数信息上传给所述采集控制服务器;
所述数据分析服务器对上传的各采集参数对应参数信息进行分析,获取数据分析结果;
所述数据分析服务器将所述数据分析结果发送给所述报表生成服务器;
所述报表生成服务器依据所述数据分析结果生成数据报表。
17.根据权利要求16所述的方法,其特征在于,所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端,包括:
所述采集控制服务器依据应用类型确定所述应用的采集参数;
依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;
将采集参数和采集配置信息下发给应用所在的数据终端。
18.根据权利要求17所述的方法,其特征在于,依据所述应用和应用所在终端配置采集配置信息的步骤包括以下至少一种:
配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
19.根据权利要求17所述的方法,其特征在于,所述依据采集配置信息对采集参数的参数信息进行采集,包括:
采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息;
采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
20.根据权利要求19所述的方法,其特征在于,依据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种:
当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;
当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;
采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
21.根据权利要求17至20任一所述的方法,其特征在于,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
22.根据权利要求16所述的方法,其特征在于,所述报表生成服务器依据所述数据分析结果生成数据报表,包括:
所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
23.根据权利要求22所述的方法,其特征在于,还包括配置自定义管理信息的步骤:
从业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;
采用所述应用路径和自定义事件信息生成自定义管理信息。
24.根据权利要求23所述的方法,其特征在于,依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表,包括:
依据所述应用路径确定应用;
针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;
查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;
确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
25.根据权利要求16所述的方法,其特征在于,还包括:
所述采集控制服务器配置目标应用对应测试设备的测试信息;
所述数据分析服务器对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;
所述报表生成服务器判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
26.根据权利要求25所述的方法,其特征在于,配置所述目标应用对应测试设备的测试信息,包括:
在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;
所述的方法还包括:
所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
27.根据权利要求16所述的方法,其特征在于,还包括:
数据分析服务器从所述参数信息中查找校验参数对应校验信息;
对所述校验信息进行分析确定劫持校验结果。
28.根据权利要求27所述的方法,其特征在于,从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果,包括:
确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;
检测所述校验信息是否为目标信息;
若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;
若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
29.根据权利要求16所述的方法,其特征在于,还包括:
所述数据分析服务器从所述参数信息中查找存储参数对应存储信息;
依据所述存储信息检测数据质量,确定质量校验结果。
30.根据权利要求29所述的方法,其特征在于,从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果,包括:
确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;
依据所述存储信息查找至少一个终端标识;
当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;
当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;
将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
CN201510938627.6A 2015-12-15 2015-12-15 一种数据采集分析系统和方法 Active CN105553769B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510938627.6A CN105553769B (zh) 2015-12-15 2015-12-15 一种数据采集分析系统和方法
PCT/CN2016/104923 WO2017101606A1 (zh) 2015-12-15 2016-11-07 一种数据采集分析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510938627.6A CN105553769B (zh) 2015-12-15 2015-12-15 一种数据采集分析系统和方法

Publications (2)

Publication Number Publication Date
CN105553769A CN105553769A (zh) 2016-05-04
CN105553769B true CN105553769B (zh) 2019-03-05

Family

ID=55832708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510938627.6A Active CN105553769B (zh) 2015-12-15 2015-12-15 一种数据采集分析系统和方法

Country Status (2)

Country Link
CN (1) CN105553769B (zh)
WO (1) WO2017101606A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553769B (zh) * 2015-12-15 2019-03-05 北京奇虎科技有限公司 一种数据采集分析系统和方法
CN106101175B (zh) * 2016-05-25 2019-08-23 腾讯科技(深圳)有限公司 设备管控方法、装置和系统
CN107809344B (zh) * 2016-09-09 2021-01-22 中华电信股份有限公司 实时讯务量搜集与分析系统及方法
CN106549830A (zh) * 2016-11-09 2017-03-29 上海最会保网络科技有限公司 一种移动应用数据采集装置和方法
CN106506851B (zh) * 2016-11-28 2021-01-01 深圳前海谷谷力生物科技有限公司 移动终端的数据统计适配方法与装置
CN106649240A (zh) * 2016-12-27 2017-05-10 北京奇虎科技有限公司 基于自定义事件展示报表的方法及装置
CN106649241A (zh) * 2016-12-27 2017-05-10 北京奇虎科技有限公司 基于自定义事件生成报表的方法及装置
CN107102860A (zh) * 2017-04-21 2017-08-29 上海青橙实业有限公司 数据采集方法、移动终端以及服务器
CN107018046A (zh) * 2017-06-06 2017-08-04 上海鋆创信息技术有限公司 一种数据采集方法、装置、终端及存储介质
CN109769305A (zh) * 2017-11-09 2019-05-17 普天信息技术有限公司 调度处理的方法、基站、电子设备和存储介质
CN109905253B (zh) * 2017-12-07 2022-05-17 航天信息股份有限公司 一种日志信息采集方法及装置
CN108418787B (zh) * 2018-01-02 2021-02-26 深圳壹账通智能科技有限公司 企业资源计划数据的采集方法、终端设备及介质
CN110221922A (zh) * 2018-03-02 2019-09-10 网易(杭州)网络有限公司 程序产品的卡顿定位方法及装置、介质及计算设备
CN108833459B (zh) * 2018-04-09 2022-05-13 平安普惠企业管理有限公司 数据上报方法及终端设备
CN110391925A (zh) * 2018-04-20 2019-10-29 阿里巴巴集团控股有限公司 一种数据采集方法、数据采集装置及服务器
CN108762960B (zh) * 2018-05-14 2021-07-06 国网福建省电力有限公司 一种移动应用监测系统
CN109189664B (zh) * 2018-07-24 2022-08-02 网宿科技股份有限公司 应用程序的信息采集方法及终端
CN109376140A (zh) * 2018-08-24 2019-02-22 国网吉林省电力有限公司信息通信公司 一种静态资源自动化采集方法、系统、设备及存储介质
CN111198942B (zh) * 2018-10-31 2023-07-04 合肥神策数据网络科技有限公司 数据分析报告生成方法、装置、移动终端及存储介质
CN109711156B (zh) * 2018-12-28 2023-01-31 上海北信源信息技术有限公司 一种内网计算机硬盘信息监控管理的方法及系统
CN110159252A (zh) * 2019-06-04 2019-08-23 国网北京市电力公司 数据采集系统及方法
CN110633205A (zh) * 2019-06-20 2019-12-31 北京无限光场科技有限公司 一种埋点事件的检测方法、装置、终端设备及介质
CN110287471A (zh) * 2019-06-28 2019-09-27 重庆回形针信息技术有限公司 一种图表分析系统
CN110275902A (zh) * 2019-06-28 2019-09-24 重庆回形针信息技术有限公司 一种数据采集分析系统及方法
CN112395173B (zh) * 2019-08-14 2023-10-13 腾讯科技(深圳)有限公司 信息流数据上报的方法和装置
CN110569168B (zh) * 2019-08-26 2022-07-08 腾讯科技(深圳)有限公司 一种数据交互方法、相关设备及存储介质
CN112434023B (zh) * 2019-08-26 2022-06-10 长鑫存储技术有限公司 工艺数据分析方法及装置、存储介质及计算机设备
CN110515963A (zh) * 2019-08-30 2019-11-29 北京东软望海科技有限公司 收集统计信息的方法、装置、电子设备及可读存储介质
CN110995524B (zh) * 2019-10-28 2022-06-14 北京三快在线科技有限公司 流量数据监控方法、装置、电子设备和计算机可读介质
CN111209057B (zh) * 2020-01-10 2022-09-09 厦门瑞为信息技术有限公司 一种快速调整感知终端的方法以及装置
CN113126562B (zh) * 2020-01-16 2023-03-10 智能云科信息科技有限公司 数据采集方法、装置、系统及计算机可读存储介质
CN115004667B (zh) * 2020-04-24 2024-04-02 深圳市欢太科技有限公司 信息推送方法、装置、电子设备及计算机可读介质
CN111581931B (zh) * 2020-04-26 2023-08-11 泰康保险集团股份有限公司 基于数据防泄漏系统的报表生成方法及装置
CN111611256B (zh) * 2020-04-30 2023-05-09 广东良实机电工程有限公司 设备能耗监测方法、装置、终端设备及存储介质
CN111694720B (zh) * 2020-06-15 2023-11-24 山东浪潮云服务信息科技有限公司 一种自动监控数据采集进度的方法
CN111897714B (zh) * 2020-06-24 2024-03-26 方欣科技有限公司 一种基于辅助测试工具的测试数据沉淀方法、装置及系统
CN112181804B (zh) * 2020-08-31 2023-09-08 五八到家有限公司 一种参数校验方法、设备以及存储介质
CN112130854B (zh) * 2020-09-09 2023-12-22 海看网络科技(山东)股份有限公司 一种iptv检测探针系统关键字的方法
CN112015870A (zh) * 2020-09-14 2020-12-01 支付宝(杭州)信息技术有限公司 数据上传方法及装置
CN112328619A (zh) * 2020-09-24 2021-02-05 杭州小电科技股份有限公司 数据质量监控方法、装置、系统、电子装置和存储介质
CN112235060A (zh) * 2020-09-29 2021-01-15 石家庄市善理通益科技有限公司 一种应用于对讲终端的异常行为监控采集方法
CN112817782B (zh) * 2021-02-20 2023-10-13 腾讯科技(深圳)有限公司 一种数据采集上报方法、装置、电子设备和存储介质
CN113014647B (zh) * 2021-02-25 2022-05-03 浙江正元智慧科技股份有限公司 一种基于大数据的运维平台远程数据采集系统
CN113515507B (zh) * 2021-03-12 2024-02-02 中电建电力检修工程有限公司 应用于大坝渗水检测的方法及系统
CN113114736A (zh) * 2021-03-25 2021-07-13 北京数字磐石科技有限公司 矿机管理方法和系统
CN113626477B (zh) * 2021-07-19 2023-10-10 浙江中控信息产业股份有限公司 基于水厂物联网系统的可配置报表系统及方法
CN114615291A (zh) * 2021-12-08 2022-06-10 江苏众亿国链大数据科技有限公司 一种基于物联网的数据采集方法
CN114401289A (zh) * 2021-12-31 2022-04-26 深圳市麦谷科技有限公司 任务分批上传方法及系统
CN114460400A (zh) * 2022-01-19 2022-05-10 西北核技术研究所 一种脉冲电流注入自动化实验系统及方法
CN114296009B (zh) * 2022-03-10 2022-05-24 山东汇能电气有限公司 一种变压器运行智能分析系统
CN114785784B (zh) * 2022-04-14 2023-10-24 中国第一汽车股份有限公司 数据处理方法、装置、电子设备
CN115102936B (zh) * 2022-06-22 2023-11-21 苏州达家迎信息技术有限公司 批量信息上传方法、装置、存储介质及电子设备
CN116303689A (zh) * 2023-05-25 2023-06-23 武汉科迪智能环境股份有限公司 数据报表的生成方法、装置、计算机设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557582A (zh) * 2008-04-08 2009-10-14 中国移动通信集团公司 一种移动通信用户信息统计方法及装置
CN102711141A (zh) * 2012-05-15 2012-10-03 上海交通大学无锡研究院 一种基于移动终端的移动网络服务质量分布式采集方法
CN103118095A (zh) * 2013-01-25 2013-05-22 浪潮电子信息产业股份有限公司 一种云数据中心信息差量采集方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188088B (zh) * 2011-12-27 2015-11-18 北京新媒传信科技有限公司 设备信息采集系统及方法
CN103248651B (zh) * 2012-02-09 2016-02-24 腾讯科技(深圳)有限公司 一种性能监控的方法和系统以及客户端和服务器
WO2013186870A1 (ja) * 2012-06-13 2013-12-19 株式会社日立製作所 サービス監視システム、及び、サービス監視方法
CN103795580B (zh) * 2012-10-29 2016-10-26 腾讯科技(深圳)有限公司 一种数据监控方法、系统及相关设备
CN104239577A (zh) * 2014-10-09 2014-12-24 北京奇虎科技有限公司 检测网页数据真伪的方法和装置
CN104657278A (zh) * 2015-03-13 2015-05-27 百度在线网络技术(北京)有限公司 客户端性能评估方法及系统
CN105119899B (zh) * 2015-07-17 2019-01-11 世纪龙信息网络有限责任公司 非入侵式客户端运行时数据采集方法与系统
CN105553770B (zh) * 2015-12-15 2019-12-24 北京奇虎科技有限公司 一种数据采集控制方法和装置
CN105577472A (zh) * 2015-12-15 2016-05-11 北京奇虎科技有限公司 一种数据采集测试方法和装置
CN105553769B (zh) * 2015-12-15 2019-03-05 北京奇虎科技有限公司 一种数据采集分析系统和方法
CN105574150A (zh) * 2015-12-15 2016-05-11 北京奇虎科技有限公司 一种数据处理方法和装置
CN105391602B (zh) * 2015-12-15 2019-02-26 北京奇虎科技有限公司 一种数据采集测试方法和装置
CN105516321B (zh) * 2015-12-15 2019-06-04 北京奇虎科技有限公司 一种数据采集方法和装置
CN105515909B (zh) * 2015-12-15 2018-10-19 北京奇虎科技有限公司 一种数据采集测试方法和装置
CN105376335B (zh) * 2015-12-15 2019-12-24 北京奇虎科技有限公司 一种采集数据上传方法和装置
CN105373293A (zh) * 2015-12-15 2016-03-02 北京奇虎科技有限公司 一种数据采集方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557582A (zh) * 2008-04-08 2009-10-14 中国移动通信集团公司 一种移动通信用户信息统计方法及装置
CN102711141A (zh) * 2012-05-15 2012-10-03 上海交通大学无锡研究院 一种基于移动终端的移动网络服务质量分布式采集方法
CN103118095A (zh) * 2013-01-25 2013-05-22 浪潮电子信息产业股份有限公司 一种云数据中心信息差量采集方法

Also Published As

Publication number Publication date
WO2017101606A1 (zh) 2017-06-22
CN105553769A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105553769B (zh) 一种数据采集分析系统和方法
CN106844217B (zh) 对应用的控件进行埋点的方法及装置、可读存储介质
CN105516321B (zh) 一种数据采集方法和装置
CN106649063B (zh) 用于监测程序运行时耗时数据的方法及系统
Ma et al. Design and implementation of a toolkit for usability testing of mobile apps
CN109302522A (zh) 测试方法、装置以及计算机系统和介质
CN105376335A (zh) 一种采集数据上传方法和装置
CN112363943B (zh) 一种埋点设置方法、装置、计算机设备和存储介质
CN104966002B (zh) 识别虚假移动终端的方法和装置
CN105515909B (zh) 一种数据采集测试方法和装置
CN109885496B (zh) 测试日志管理方法及系统
CN107800757B (zh) 用户行为记录方法及装置
CN105373293A (zh) 一种数据采集方法和装置
CN109491860A (zh) 应用程序的异常检测方法、终端设备及介质
CN105577472A (zh) 一种数据采集测试方法和装置
CN111654495B (zh) 用于确定流量产生来源的方法、装置、设备及存储介质
CN108074033A (zh) 指标数据的处理方法、系统、电子设备和存储介质
CN105022694A (zh) 用于移动终端测试的测试用例生成方法及系统
CN105574150A (zh) 一种数据处理方法和装置
CN106980572B (zh) 分布式系统的在线调试方法和系统
CN105183658A (zh) 测试软件代码的方法及装置
CN114356631A (zh) 故障定位方法、装置、计算机设备和存储介质
CN105553770B (zh) 一种数据采集控制方法和装置
CN112650688A (zh) 自动化回归测试方法、关联设备以及计算机程序产品
CN114610799A (zh) 基于环境监测的数据处理方法、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220721

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.