CN105553770B - 一种数据采集控制方法和装置 - Google Patents

一种数据采集控制方法和装置 Download PDF

Info

Publication number
CN105553770B
CN105553770B CN201510940045.1A CN201510940045A CN105553770B CN 105553770 B CN105553770 B CN 105553770B CN 201510940045 A CN201510940045 A CN 201510940045A CN 105553770 B CN105553770 B CN 105553770B
Authority
CN
China
Prior art keywords
acquisition
information
application
terminal
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510940045.1A
Other languages
English (en)
Other versions
CN105553770A (zh
Inventor
王景正
李宠波
孙雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510940045.1A priority Critical patent/CN105553770B/zh
Publication of CN105553770A publication Critical patent/CN105553770A/zh
Application granted granted Critical
Publication of CN105553770B publication Critical patent/CN105553770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic

Abstract

本发明实施例提供了一种数据采集控制方法和装置,该方法包括:配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;将采集参数和采集配置信息下发给相应的应用;接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。本发明通过云服务器控制各应用的数据采集,无需各服务平台的开发人员设置数据采集格式,减少各服务平台的开发人员的工作量,进而降低了数据采集的成本。

Description

一种数据采集控制方法和装置
技术领域
本发明涉及通信技术领域,特别是涉及一种数据采集控制方法和一种数据采集控制装置。
背景技术
随着通信技术的快速发展,尤其是随着移动互联网的推广,智能终端的普及越来越快,且智能终端的功能也越来丰富。其中,智能终端通过安装各种各样的应用实现其功能,提供多样化的服务。
为了提高服务质量,各服务平台的开发人员需要设置的数据采集方案采集应用的数据,以了解业务需求。其中,不同的业务需要采集的应用数据不同。因此,服务平台的开发人员需要根据不同的业务设置不同的应用数据采集方案。
具体的,服务平台的开发人员需要根据服务平台提供的业务,设置各应用的采集参数,按照设置的采集参数对各应用进行数据采集,生成该服务平台的业务报表,以了解业务需求。但是,安装在智能终端上的应用比较多,即需要采集的应用数据比较多,导致各服务平台的数据采集格式难以统一。因此,各服务平台的开发人员还需要定义各应用的数据采集格式,使得各服务平台可以按照设置的数据采集格式采集各应用的数据,进一步增加开发人员的工作量。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据采集控制方法和相应的数据采集控制装置。
依据本发明的一个方面,提供了一种数据采集控制方法,包括:
配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;
将采集参数和采集配置信息下发给相应的应用;
接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。
可选地,所述配置各应用的采集参数和采集配置信息,包括:
依据应用类型确定所述应用的动态参数和/或静态参数;
依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传。
可选地,依据所述应用和应用所在终端配置采集配置信息,包括:
配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
可选地,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
可选地,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
可选地,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
可选地,依据所述应用和应用所在终端配置的采集配置信息,包括:
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
可选地,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
根据本发明的另一方面,提供了一种数据采集控制装置,包括:
采集配置模块,用于配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;
下发模块,用于将采集参数和采集配置信息下发给相应的应用;
信息接收模块,用于接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。
可选地,所述采集配置模块,包括:
参数确定子模块,用于依据应用类型确定所述应用的动态参数和/或静态参数;
信息配置子模块,用于依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传。
可选地,所述信息配置子模块,包括:
条件配置单元,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
可选地,所述信息配置子模块,包括:
采集阈值配置单元,用于配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
可选地,所述信息配置子模块,包括:
上传间隔配置单元,用于配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
可选地,所述信息配置子模块,包括:
缓存阈值配置单元,用于配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
可选地,所述信息配置子模块,包括:
采集配置单元,用于在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
可选地,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
根据本发明的数据采集控制方案,可以为各应用配置采集参数和采集配置信息,通过将采集参数和采集配置信息下发给相应的应用,从而可以接受各应用上传的采集参数对应的参数信息,由此解决了现有的数据采集方法无法统一各服务平台的数据采集格式,以致开发人员工作量大的问题,减少各服务平台的开发人员的工作量,进而降低用人成本,取得了节省人力和物力的有益效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明实施例的数据采集分析系统结构框图;
图2示出了根据本发明一个实施例的数据采集控制方法的步骤流程图;
图3示出了根据本发明另一个实施例的数据采集控制方法的步骤流程图;
图4示出了根据本发明一个实施例的数据采集控制装置的结构框图;
图5示出了根据本发明另一个实施例的数据采集控制装置的结构框图;
图6示出了根据本发明另一个实施例的数据采集控制装置中信息配置子模块结构框图;
图7示出了根据本发明另一个实施例的数据采集分析系统结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
通常,一些终端如手机、平板电脑的供应商、软件开发商通过采集安装在终端上的应用在运行时的数据,并对采集的数据进行分析,生成业务报表,以了解业务需求。本发明实施例提供了一种数据采集分析系统,该系统具有通用性,能够为各种应用采集、分析数据并生成不同的业务报表。
参照图1,示出了根据本发明实施例的数据采集分析系统结构框图。
该数据采集分析系统,包括:采集控制服务器102、数据分析服务器104、报表生成服务器106和至少一个数据终端108,所述数据终端中安装有采集工具。
所述采集控制服务器102,用于配置所述采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集。
所述数据终端108,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给所述数据分析服务器。
所述数据分析服务器104,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器。
所述报表生成服务器106,用于依据所述数据分析结果生成数据报表。
从而通过采集控制服务器(简称云服务器)的控制,使得采集工具能够在应用运行的数据终端中采集各采集参数的参数信息,在上传给数据分析服务器后,依据统计需求进行数据分析,从而生成相应业务的数据报表,通过该数据报表获知用户需求、习惯等,对业务进行调整,更符合用户需求。
本发明实施例详细论述云服务器对于采集的控制。
实施例一
参照图2,示出了根据本发明一个实施例的数据采集控制方法的步骤流程图,具体可以包括如下步骤:
步骤202,配置各应用的采集参数和采集配置信息。
实质上,针对不同的应用以及应用所在终端,云服务器可以配置各应用的采集参数以及采集配置信息,生成采集工具的控制信息。当应用所在终端通过调用采集工具对应用进行数据采集时,云服务器就可以通过采集工具的控制信息控制应用所在终端对各应用的数据采集。其中,采集参数包括:动态参数和/或静态参数。该静态参数可以用于采集该应用所对应的静态的参数信息,如该应用所在终端的终端标识、版本信息、渠道信息、网络类型和分辨率信息等;动态参数可以用于采集该应用运行时的动态的参数信息,如应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息等,本发明实施例对此不作限制。
可选的,云服务器可以依据应用类型确定所述应用的动态参数和/或静态参数,以及依据所述应用和应用所在终端配置采集配置信息。其中,所述采集配置信息用于控制所述采集参数的采集和上传。采集配置信息可以包括:参数信息的上传条件和/或采样条件、采集阈值、上传间隔、缓存阈值、协议上传顺序、采样率、采样参数的优先级等其中任意一项或几项,本发明实施例对此也不作限制。
需要说明的是,本发明实施例的应用是指安装在终端上的应用程序,如手机助手、浏览器、安全卫士、播放器等。
步骤204,将采集参数和采集配置信息下发给相应的应用。
在配置好各应用的采集参数以及采集配置信息后,云服务器可以将采集参数和采集配置信息下发到应用所在终端。当应用所在终端通过采集工具对各应用进行数据采集时,采集工具就可以按照控制信息对各应用进行数据采集,即依据采集配置信息采集应用中各采集参数的参数信息。云服务器将采集参数与采集配置信息发给相应的应用,使得各应用可以按照采集配置信息上传采集参数对应的参数信息。
作为本发明的一个具体示例,在应用初始化时,可以通过调用采集工具,如调用数据采集相关的软件开发工具包(Software Development Kit,SDK),依据采集配置信息如采样条件、采集阈值或者采集优先级等,采集安装在该手机上的应用中各采集参数的参数信息。此外,还可以依据采集配置信息中的缓存阈值对已经采集到参数信息进行缓存,按照采集配置信息中的上传条件、上传间隔对缓存的参数信息进行上传。显然,采集工具可以按照云服务器所生成的控制信息,采集各应用的数据,使得各应用按照采集配置信息上传采集参数对应的参数信息。
其中,静态参数对应的参数信息可以包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;动态参数对应的参数信息可以包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息,本发明实施例对应用上传的参数信息的种类不作限制。
步骤206,接收各应用上传的采集参数对应的参数信息。
实际上,云服务器可以通过无线或者有线连接的方式连接各应用所在终端,从而可以接收各应上传采集参数对应的参数信息。云服务器接收到采集参数对应的参数信息后,可以将接收到参数信息转发给数据分析服务器,使得数据分析服务器可以按照预置的算法对参数信息进行分析,生成各服务平台所需要的业务信息,如生成业务报表、确定业务指标等。
在本发明实施例中,云服务器通过为各应用配置采集参数和采集配置信息,将采集参数和采集配置信息下发给相应的应用,从而可以接受各应用上传的采集参数对应的参数信息,即通过云服务器控制各应用的数据采集,无需各服务平台的开发人员设置数据采集格式,由此解决了现有的数据采集方法无法统一各服务平台的数据采集格式,以致开发人员工作量大的问题,在减少开发人员工作量的同时,降低了数据采集的成本。
实施例二
参照图3,示出了根据本发明另一个实施例的数据采集控制方法的步骤流程图,具体可以包括如下步骤:
步骤302,依据应用类型确定所述应用的动态参数和/或静态参数。
具体的,云服务器可以基于各服务平台所需要采集的数据,确定待采集的应用。在确定应用后,云服务器可以根据应用类型确定待采集的应用的静态参数、动态参数。
静态参数可以用于采集该应用对应的静态参数信息,如应用所在终端的标识信息、版本信息、渠道信息、网络类型和分辨率信息等。其中,终端的标识信息可以用于识别应用所在终端,如可以基于终端的硬件等信息计算M2值,该M2值可以通过序列号、机型号、版本信息等计算,该M2值既能够标识不同的终端又不会泄露终端的硬件信息,保证用户的隐私安全;版本信息可以用于记录该应用对应的版本,如终端的操作系统版本,软件版本或者软件开发工具包版本等;渠道信息可以用于识别该应用的获取路径;网络类型用于确定应用所在终端连接的网络类型;分辨率信息用于确定该应用所在终端的显示分辨率,显示分辨率又可以称为屏幕分辨率。
动态参数可以用于采集该应用在运行过程中生成的参数信息,如应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息等。其中,应用界面启动信息用于记录应用的界面切换时切换前的页面以及切换后的界面;按钮点击信息用于记录用户点击该应用中各按钮对应的按钮编号以及该按钮编号对应的点击次数;时长信息根据启动时间点和关闭时间点确定,如应用运行时间、界面运行时间;异常信息用于记录应用运行异常的信息,如应用启动失败的时间点或者次数;会话信息用于记录该应用在运行时产生的会话类的消息。
步骤304,依据所述应用和应用所在终端配置采集配置信息。
其中,所述采集配置信息用于控制所述采集参数的采集和上传。
在具体实现中,按照采集配置信息对应用以及应用所在终端进行数据采集,并且需要按照采集配置信息中上传采集到的数据。因此,云服务器可以依据待采集的应用以及该应用所在终端,设置采集配置信息,使得各应用或者应用的终端可以按照该采集配置信息采集、上传采集参数。
在本发明的一种优选实施例中,上述步骤304,可以包括如下子步骤:
子步骤3040,配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中。
其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
云服务器可以通过设置采样条件,并将采样条件添加到采集配置信息中,使得应用所在终端依据采集配置信息中的采样条件对应用进行数据采集。具体的,通过检测,可以确定应用的数据是否符合采样条件。例如,当应用具有测试标识时,该应用的全部参数信息符合采样条件,采集工具获取该应用中各静态参数的参数信息和动态参数的参数信息。例如,开发人员在维护应用过程中,依据需求等不断更新应用的版本,其中一些版本为测试版即Beta版,在测试通过后才会上线正式版,针对应用的Beta版即可配置测试标识,从而采集更多甚至全部参数,以测试应用运行情况。
在采集到参数信息后,还可以将采集到的参数信息缓存在本地。在参数信息满足采样配置信息中的上传条件时,将该参数信息进行上传。例如,云服务器可以通过设置各参数信息上传的优先级或者上传间隔,设置各参数信息的上传条件,并将该上传条件保存到采集配置信息中。在当前时刻达到参数信息的上传间隔时间时,应用所在终端可以将该参数信息进行压缩后,上传给云服务器,即将满足上传条件的参数信息上传。显然,云服务器可以针对不同的参数信息设置上传条件,并添加到采集配置信息中,进而可以通过该上传条件控制各参数信息的上传。
子步骤3042,配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中。
其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
在本发明实施例中,考虑到不同类型的终端配置不同,有些终端内存较大如内存达到2G,而有些终端内存较小,为了减少数据采集对终端的影响,使得终端能够正常运行应用,云服务器可以根据应用所在终端的内存设置采集阈值,并将该采集阈值添加到采集配置信息中,从而可以依据终端的内存信息控制采集的采集参数。例如采集阈值配置为50M,则当终端的内存小于50M时,为了不影响终端的使用可以限制采集参数的采集,如不采集动态参数,仅采集终端标识等静态参数上传一次即可。
作为本发明的一个具体示例,当应用所在终端的内存信息未达到采集阈值时,可以不采集安装该终端上的应用的动态参数对应的参数信息,可以采集静态参数对应的参数信息,如采集终端标识;当终端的内存信息达到采集阈值,则按照采集配置信息采集应用中各采集参数的参数信息,如采集应用中静态参数的参数信息和动态参数的参数信息。
子步骤3044,配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中。
其中,所述上传间隔为定时上传的间隔,如5分钟、10分钟等。
实质上,通过不同类型的网络传输数据,数据的传输速率不一样。因此,可以根据网络类型对应的数据传输速率,设置应用所在终端对应网络类型的上传间隔,并将不同网络类型的上传间隔添加到采集配置信息中。
在本发明实施例中,可以根据应用所在终端连接的网络类型,选择该网络类型对应的上传间隔,使得各应用可以依据当前连接网络的数据传输速率上传采集参数的参数信息,从而可以充分利用了网络资源,并且保证参数信息的上传速率。本实施例中,上传间隔可以依据网络类型和采集参数本身的优先级来确定。
子步骤3046,配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中。
其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
具体而言,不同的终端的性能不同,因此其可以缓存的参数信息的数据量不同。根据应用所在终端可以缓存的数据量,可以设置该终端对应的缓存阈值,并将该缓存阈值添加到采集配置信息中。当终端的本地缓存的参数信息超过缓存阈值时,云服务器可以控制终端删除缓存时间在前的参数信息,直到缓存的参数信息不超过所述缓存阈值,保证了数据采集的效率。例如设置缓存阈值为2M,在采集参数信息要存储时判断本地缓存已超过2M,则可以按照时间的前后顺序,从前面开始删除参数信息,直到存储该采集参数也不超过2M为止。
子步骤3048,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
在具体实现中,云服务器可以对网络所采用的网络传输协议进行统计,确定各网络传输协议的优先级,生成协议上传顺序。例如,协议上传顺序可以如下:1、传输控制协议(Transmission Control Protocol,TCP);2、无线应用协议(Wireless ApplicationProtocol,WAP);3、用户数据报协议(User Datagram Protocol,UDP);4、实时传输协议(Real-time Transport Protocol,RTP);5、超文本传输协议(HTTP,HyperText TransferProtocol)。其中,网络传输协议对应的顺序编号可以代表了该网络传输协议的优先级,顺序编号越小代表该该网络传输协议的优先级越高,如1代表TCP协议的优先级最高。将协议上传的顺序添加到采集配置信息中,就可以控制参数信息上传时所采用的网络传输协议,如上述例子的协议上传顺序,参数信息优选采用优先级最高的TCP协议上传,当不可以采用TCP协议上传时采用WAP协议上传,即按照优先级的顺序选择上传协议,避免由于终端、应用不支持采用某一网络传输协议而导致参数信息上传失败的问题,保证参数信息的上传效率和上传质量。
当终端比较多的时候,云服务器可以对应用所在终端进行统计,确定采样率。通过采样率,可以确定待采样的终端数量,并且可以按照所确定的终端数量随机选取应用所在终端,将选取的终端作为目标终端,以及确定为采样的终端。作为本发明的一个具体示例,可以通过预置的算法对各终端的终端标识进行计算,选取目标终端,如通过终端标识的最后一位或两位的数字,确定目标终端。当然,云服务器还可以通过其他方式确定采样的终端,如通过对终端标识进行取模或者取余等运算确定采样的终端,本发明实施例对此不作限制。通过将采样率添加到采样配置信息中,云服务器可以控制采样的终端数量,避免采样大量的终端而造成云端服务器数据处理压力大的问题,保证数据的采样效率,进而加快数据采集的进度。
云服务器还可以通过设置各采集参数的优先级,控制采集参数的参数信息的采集次数和上传间隔。例如,参照表1,当应用或应用所在终端确定采集参数的优先级,就可以依据所确定的优先级对应的采集次数对该采集参数的信息进行采集,并按照该优先级对应的上传间隔上传该采集参数的参数信息,如采集参数I的优先级为A级,则该采集参数I的参数信息的采集次数为1000次,且上传间隔为20分钟,即每隔20分钟,就上传一次该采集参数I的参数信息。
采集参数的优先级 参数信息的采集次数 参数信息的上传间隔
A级 1000次 20分钟
B级 700次 1小时
C级 300次 3小时
D级 10次 12小时
F级 1次 24小时
表1
在本发明实施例中,可以根据业务需求或者采集数据的特性,预先设置采集参数的优先级,以及各优先级对应的参数信息采集次数和上传间隔,使得云服务器可以通过将采集参数的优先级添加到采集配置信息中,控制应用或者应用所在终端按照采样参数的优选级对参数信息进行采集以及上传。通过采集参数的优先级,可以及时采集到各应用采集参数的参数信息,并且还可以及时将采集到的参数信息上传。
上述是依据所述应用和应用所在终端配置采集配置信息的各子步骤,仅用于举例说明采集配置信息的配置方法,本实施例不限制各子步骤的执行顺序。
步骤306,将采集参数和采集配置信息下发给相应的应用。
步骤308,接收各应用上传的采集参数对应的参数信息。
在本发明实施例中,云服务器通过将采集参数以及采集配置信息发送到与其连接的终端,使得各相应的应用可以依据采集配置信息对采集参数对应的参数信息进行上报,即云服务器可以通过采集参数和采集配置信息控制应用所在的终端采集各采集参数对应的参数信息,自动完成应用的数据采集。
本发明实施例通过云服务器控制各应用的数据采集,节省数据采集的人力和物力,降低数据采集的成本。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例四
参照图4,示出了根据本发明一个实施例的数据采集控制装置的结构框图,具体可以包括如下模块:
采集配置模块402,用于配置各应用的采集参数和采集配置信息。其中,所述采集参数包括:动态参数和/或静态参数。
下发模块404,用于将采集参数和采集配置信息下发给相应的应用。
信息接收模块406,用于接收各应用上传的采集参数对应的参数信息。其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。
在本发明的一种优选实施例中,静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
参照图5,示出了根据本发明另一个实施例的数据采集控制装置的结构框图,具体可以包括如下模块:
可选的,采集配置模块402可以包括参数确定子模块4020和信息配置子模块4022。
参数确定子模块4020,可以用于依据应用类型确定所述应用的动态参数和/或静态参数。
信息配置子模块4022,可以用于依据所述应用和应用所在终端配置采集配置信息。其中,所述采集配置信息用于控制所述采集参数的采集和上传。
参照图6,示出了根据本发明另一个实施例的数据采集控制装置中信息配置子模块结构框图,具体可以包括如下模块:
在本发明的一种优选实施例中,信息配置子模块4022可以包括以下单元:
条件配置单元40220,可以用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中。其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
采集阈值配置单元40222,用于配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中。其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
上传间隔配置单元40224,用于配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中。其中,所述上传间隔为定时上传的间隔。
缓存阈值配置单元40226,用于配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中。其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
采集配置单元40228,用于在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
在本发明实施例中,云服务器通过将采集参数以及采集配置信息发送到与其连接的终端,使得各相应的应用可以依据采集配置信息对采集参数对应的参数信息进行上报,即云服务器可以通过采集参数和采集配置信息控制应用所在的终端采集各采集参数对应的参数信息,自动完成应用的数据采集。
本发明实施例通过云服务器控制各应用的数据采集,节省数据采集的人力和物力,降低数据采集的成本。
在上述数据采集分析系统中,本实施例的数据采集控制装置可以配置于采集控制服务器中,如图7所示,该数据采集分析系统,包括:采集控制服务器102、数据分析服务器104、报表生成服务器106和至少一个数据终端108,所述数据终端中安装有采集工具。采集控制服务器102包括:云控服务器1022和开发配置服务器1024。则数据采集控制装置可以配置于云控服务器1022中。
其中,采集控制服务器102配置所述采集配置信息给数据终端并下发给相应的数据终端108;所述数据终端108在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;所述数据终端108将采集的参数信息上传给所述采集控制服务器104;所述数据分析服务器104对上传的各采集参数对应参数信息进行分析,获取数据分析结果;所述数据分析服务器104将所述数据分析结果发送给所述报表生成服务器106;所述报表生成服务器106依据所述数据分析结果生成数据报表。
一个示例中,所述采集控制服务器102,用于配置所述采集配置信息给数据终端并下发给相应的数据终端,其中,所述配置信息用于控制采集参数的采集;所述数据终端108,用于在应用运行时调用所述采集工具,依据采集配置信息对采集参数的参数信息进行采集;以及将采集的参数信息上传给所述数据分析服务器;所述数据分析服务器104,用于对上传的各采集参数对应参数信息进行分析,获取数据分析结果;将所述数据分析结果发送给所述报表生成服务器;所述报表生成服务器106,用于依据所述数据分析结果生成数据报表。
一个可选实施例中,所述采集控制服务器102包括云控服务器1022;所述云控服务器1022,用于依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
其中,所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端,包括:所述采集控制服务器依据应用类型确定所述应用的采集参数,其中,所述采集参数包括:动态参数和/或静态参数;依据所述应用和应用所在终端配置的采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;将采集参数和采集配置信息下发给应用所在的数据终端。
所述云控服务器1022,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;以及,在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
依据所述应用和应用所在终端配置的采集配置信息的步骤包括以下至少一种:配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中;配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中;配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中;配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中;在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
其中,所述数据终端108,用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息;以及,采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
所述依据采集配置信息对采集参数的参数信息进行采集,包括:采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息;采用所述采集工具依据采集配置信息确定待采集的动态参数,依据所述应用的运行实时采集所述动态参数的参数信息。
所述数据终端108,用于当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
依据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种:当检测到所述应用的界面切换时,记录切换前的界面为上一页,记录切换后的界面为当前页,将所述上一页和当前页添加到应用界面启动信息中;当检测到所述应用的按钮被触发时,获取所述按钮对应的按钮编号,更新所述按钮编号对应的点击次数,将所述按钮编号和点击次数添加到按钮点击信息中;采集所述应用相关的运行时间作为时长信息,其中,所述时长信息包括:界面运行时间和应用运行时间。
其中,所述静态参数的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
本实施例中,所述报表生成服务器106,用于依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
所述报表生成服务器依据所述数据分析结果生成数据报表,包括:所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表。
所述报表生成服务器106,还用于从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
还包括配置自定义管理信息的步骤:从所述业务管理页面中获取所述应用的应用路径,以及所述应用对应自定义事件的自定义事件信息,其中,所述自定义事件信息包括:事件名称和事件属性;采用所述应用路径和自定义事件信息生成自定义管理信息。
所述报表生成服务器106,用于依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;以及确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
依据配置的应用对应自定义事件的自定义管理信息,获取业务统计信息;依据所述自定义管理信息和业务统计信息生成自定义事件报表,包括:依据所述应用路径确定应用;针对每个自定义事件,获取所述事件名称对应的逻辑名称,以及所述事件属性对应的逻辑属性;查找所述逻辑名称对应采集参数,依据所述逻辑属性确定所述采集参数对应的业务统计信息;确定各采集参数对应的事件名称,采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
其中,所述采集控制服务器,还用于配置所述目标应用对应测试设备的测试信息;所述数据分析服务器,还用于对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器,还用于判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
所述的方法还包括:所述采集控制服务器配置所述目标应用对应测试设备的测试信息;所述数据分析服务器对所述目标应用对应上传的参数信息进行分析;判断所述参数信息属于测试设备时,实时对属于测试设备的参数信息进行分析;所述报表生成服务器判断所述参数信息属于测试设备时,依据数据分析结果实时生成数据报表。
其中,所述采集控制服务器102,包括:开发配置服务器1024;所述开发配置服务器,用于在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;所述数据分析服务器,还用于从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
配置所述目标应用对应测试设备的测试信息,包括:在目标应用完成注册后,对所述目标应用配置至少一个测试设备的测试标识;为所述目标应用配置待测试的采集参数,将所述测试标识和采集参数作为测试信息;所述的方法还包括:所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息;通过所述参数信息中终端参数对应终端标识;判断所述终端标识与测试设备表中测试标识是否相同,当所述终端标识与测试设备表中任一测试标识相同时,判断参数信息属于测试设备。
所述数据分析服务器104,还用于从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
所述的方法还包括:数据分析服务器从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果。
所述数据分析服务器104,用于确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
从所述参数信息中查找校验参数对应校验信息;对所述校验信息进行分析确定劫持校验结果,包括:确定校验参数的参数标识,从所述参数信息中查找所述参数标识对应校验信息;检测所述校验信息是否为目标信息;若所述校验信息不为目标信息,确定流量存在劫持异常,在所述劫持校验结果中记录劫持异常;若所述校验信息为目标信息,确定数据传输正常,在所述劫持校验结果中记录传输正常。
所述数据分析服务器104,还用于从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
所述的方法还包括:所述数据分析服务器从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果。
所述数据分析服务器104,用于确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
从所述参数信息中查找存储参数对应存储信息;依据所述存储信息检测数据质量,确定质量校验结果,包括:确定存储参数的存储标识,从所述参数信息中查找所述存储标识对应存储信息;依据所述存储信息查找至少一个终端标识;当所述存储信息对应一个终端标识,生成质量合格的质量校验结果;当所述存储信息对应多于一个终端标识,查找所述终端标识对应成功上传信息;将各终端标识对应上传成功信息进行排序,依据排序结果确定所述上传成功信息不存在冗余时,判断数据异常,生成数据异常的质量校验结果。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据采集控制的设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种数据采集控制方法,包括:
配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;
将采集参数和采集配置信息下发给相应的应用;
接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。
A2、如A1所述的方法,包括:
依据应用类型确定所述应用的动态参数和/或静态参数;
依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传。
A3、如A2所述的方法,依据所述应用和应用所在终端配置采集配置信息,包括:
配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
A4、如A2所述的方法,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
A5、如A2所述的方法,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
A6、如A2所述的方法,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
A7、如A2所述的方法,依据所述应用和应用所在终端配置的采集配置信息,包括:
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
A8、如A1所述的方法,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
本发明还公开了B9、一种数据采集控制装置,包括:
采集配置模块,用于配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;
下发模块,用于将采集参数和采集配置信息下发给相应的应用;
信息接收模块,用于接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的。
B10、如B9所述的装置,所述采集配置模块,包括:
参数确定子模块,用于依据应用类型确定所述应用的动态参数和/或静态参数;
信息配置子模块,用于依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传。
B11、如B10所述的装置,所述信息配置子模块,包括:
条件配置单元,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
B12、如B10所述的装置,所述信息配置子模块,包括:
采集阈值配置单元,用于配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数。
B13、如B10所述的装置,所述信息配置子模块,包括:
上传间隔配置单元,用于配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
B14、如B10所述的装置,所述信息配置子模块,包括:
缓存阈值配置单元,用于配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
B15、如B10所述的装置,所述信息配置子模块,包括:
采集配置单元,用于在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
B16、如B9所述的装置,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。

Claims (12)

1.一种数据采集控制方法,包括:
配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;所述动态参数用于采集该应用运行时的动态的参数信息;所述静态参数用于采集该应用所对应的静态的参数信息;
将采集参数和采集配置信息下发给相应的应用;
接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的;
其中,所述配置各应用的采集参数和采集配置信息,包括:
依据应用类型确定所述应用的动态参数和/或静态参数;
依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;
依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数;具体的,当应用所在终端的内存信息未达到采集阈值时,不采集该终端上应用的动态参数对应的参数信息;当终端的内存信息达到采集阈值,则按照采集配置信息采集应用中各采集参数的参数信息。
2.根据权利要求1所述的方法,其特征在于,依据所述应用和应用所在终端配置采集配置信息,包括:
配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
3.根据权利要求1所述的方法,其特征在于,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
4.根据权利要求1所述的方法,其特征在于,依据所述应用和应用所在终端配置的采集配置信息,包括:
配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
5.根据权利要求1所述的方法,其特征在于,依据所述应用和应用所在终端配置的采集配置信息,包括:
在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
6.根据权利要求1所述的方法,其特征在于,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
7.一种数据采集控制装置,包括:
采集配置模块,用于配置各应用的采集参数和采集配置信息,其中,所述采集参数包括:动态参数和/或静态参数;所述动态参数用于采集该应用运行时的动态的参数信息;所述静态参数用于采集该应用所对应的静态的参数信息;
下发模块,用于将采集参数和采集配置信息下发给相应的应用;
信息接收模块,用于接收各应用上传的采集参数对应的参数信息,其中,所述参数信息是基于所述采集配置信息依据所述应用采集的;
其中,所述采集配置模块,包括:
参数确定子模块,用于依据应用类型确定所述应用的动态参数和/或静态参数;
信息配置子模块,用于依据所述应用和应用所在终端配置采集配置信息,其中,所述采集配置信息用于控制所述采集参数的采集和上传;
所述信息配置子模块,包括:
采集阈值配置单元,用于配置所述应用所在终端对应内存的采集阈值,将所述采集阈值添加到采集配置信息中,其中,采集阈值用于依据终端的内存信息确定采集的采集参数;具体的,当应用所在终端的内存信息未达到采集阈值时,不采集该终端上应用的动态参数对应的参数信息;当终端的内存信息达到采集阈值,则按照采集配置信息采集应用中各采集参数的参数信息。
8.根据权利要求7所述的装置,其特征在于,所述信息配置子模块,包括:
条件配置单元,用于配置参数信息的上传条件和/或采样条件,将上传条件和/或采样条件添加到采集配置信息中,其中,所述上传条件用于依据上传成功标记位控制参数信息的上传,所述采样条件用于依据测试标识控制参数信息的采集。
9.根据权利要求7所述的装置,其特征在于,所述信息配置子模块,包括:
上传间隔配置单元,用于配置所述应用所在终端对应网络类型的上传间隔,将所述上传间隔添加到所述采集配置信息中,其中,所述上传间隔为定时上传的间隔。
10.根据权利要求7所述的装置,其特征在于,所述信息配置子模块,包括:
缓存阈值配置单元,用于配置所述应用所在终端对应缓存阈值,将所述缓存阈值添加到采集配置信息中,其中,缓存阈值用于确定在终端的缓存的参数信息的数据量。
11.根据权利要求7所述的装置,其特征在于,所述信息配置子模块,包括:
采集配置单元,用于在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级,其中,所述协议上传顺序用于确定采集参数的上传协议,所述采样率用于确定采样的终端,所述优先级用于确定参数信息的采集次数和上传间隔。
12.根据权利要求7所述的装置,其特征在于,所述静态参数对应的参数信息包括以下至少一项:终端标识、版本信息、渠道信息、网络类型和分辨率信息;所述动态参数对应的参数信息包括以下至少一项:应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
CN201510940045.1A 2015-12-15 2015-12-15 一种数据采集控制方法和装置 Active CN105553770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510940045.1A CN105553770B (zh) 2015-12-15 2015-12-15 一种数据采集控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510940045.1A CN105553770B (zh) 2015-12-15 2015-12-15 一种数据采集控制方法和装置

Publications (2)

Publication Number Publication Date
CN105553770A CN105553770A (zh) 2016-05-04
CN105553770B true CN105553770B (zh) 2019-12-24

Family

ID=55832709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510940045.1A Active CN105553770B (zh) 2015-12-15 2015-12-15 一种数据采集控制方法和装置

Country Status (1)

Country Link
CN (1) CN105553770B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553769B (zh) * 2015-12-15 2019-03-05 北京奇虎科技有限公司 一种数据采集分析系统和方法
CN110391925A (zh) * 2018-04-20 2019-10-29 阿里巴巴集团控股有限公司 一种数据采集方法、数据采集装置及服务器
CN108810098A (zh) * 2018-05-22 2018-11-13 腾讯科技(深圳)有限公司 一种数据上报方法、装置、终端及存储介质
CN110113325A (zh) * 2019-04-25 2019-08-09 成都卫士通信息产业股份有限公司 基于第三方sdk的网络数据监控方法、装置及存储介质
CN111694720B (zh) * 2020-06-15 2023-11-24 山东浪潮云服务信息科技有限公司 一种自动监控数据采集进度的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440139A (zh) * 2013-09-11 2013-12-11 北京邮电大学 一种面向主流微博网站微博id的采集方法及工具
CN104572409A (zh) * 2015-01-14 2015-04-29 东莞宇龙通信科技有限公司 应用参数的管理方法、系统及电子装置
CN104899325A (zh) * 2015-06-19 2015-09-09 上海卓悠网络科技有限公司 一种app采集数据的收集方法、终端、服务器及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449287B2 (en) * 2014-04-29 2016-09-20 Wipro Limited System and method for predicting personality traits using disc profiling and big five personality techniques
US20150356637A1 (en) * 2014-06-06 2015-12-10 Encore Repair Services, inc. Retail station for e-device identification, assessment and trade in

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440139A (zh) * 2013-09-11 2013-12-11 北京邮电大学 一种面向主流微博网站微博id的采集方法及工具
CN104572409A (zh) * 2015-01-14 2015-04-29 东莞宇龙通信科技有限公司 应用参数的管理方法、系统及电子装置
CN104899325A (zh) * 2015-06-19 2015-09-09 上海卓悠网络科技有限公司 一种app采集数据的收集方法、终端、服务器及系统

Also Published As

Publication number Publication date
CN105553770A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105376335B (zh) 一种采集数据上传方法和装置
CN108156006B (zh) 一种埋点数据上报方法、装置及电子设备
WO2017101606A1 (zh) 一种数据采集分析系统和方法
CN105553770B (zh) 一种数据采集控制方法和装置
CN106202117B (zh) 数据处理方法、装置和服务器
US20130066875A1 (en) Method for Segmenting Users of Mobile Internet
CN106874273B (zh) 渠道信息统计方法、装置和系统
WO2010080598A1 (en) Mobile device and method for providing logging and reporting of user-device interaction
CN111163054B (zh) 检测网页恶意行为的方法和装置
CN106357480B (zh) 监测应用的网络性能的方法、装置及移动终端
WO2013039832A1 (en) System and method for automated classification of web pages and domains
CN105373293A (zh) 一种数据采集方法和装置
CN107634850B (zh) 一种应用状态获取方法及其设备、存储介质、服务器
CN109905292B (zh) 一种终端设备识别方法、系统及存储介质
CN105516321A (zh) 一种数据采集方法和装置
CN105577472A (zh) 一种数据采集测试方法和装置
US20200314159A1 (en) Anomaly detection for streaming data
US10775751B2 (en) Automatic generation of regular expression based on log line data
US10346281B2 (en) Obtaining and analyzing a reduced metric data set
CN105515909A (zh) 一种数据采集测试方法和装置
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN108039956A (zh) 应用监控方法、系统和计算机可读存储介质
CN112948224A (zh) 一种数据处理方法、装置、终端及存储介质
US20170223136A1 (en) Any Web Page Reporting and Capture
CN110020166B (zh) 一种数据分析方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.