CN105516321B - 一种数据采集方法和装置 - Google Patents
一种数据采集方法和装置 Download PDFInfo
- Publication number
- CN105516321B CN105516321B CN201510939747.8A CN201510939747A CN105516321B CN 105516321 B CN105516321 B CN 105516321B CN 201510939747 A CN201510939747 A CN 201510939747A CN 105516321 B CN105516321 B CN 105516321B
- Authority
- CN
- China
- Prior art keywords
- information
- parameter
- acquisition
- parameter information
- upload
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例提供了一种数据采集的方法和装置。所述的方法包括：应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。从而减少了各服务平台的开发人员的工作量，进而降低用人成本，在各种应用中均可以使用，可扩展性较好。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据采集方法和一种数据采集装置。
背景技术
随着通信技术的快速发展，尤其是随着移动互联网的推广，智能终端的普及越来越快，且智能终端的功能也越来越丰富。其中，智能终端通过安装各种各样的应用实现其功能，提供多样化的服务。
为了提高服务质量，各服务平台的开发人员需要设置的数据采集方案采集应用的数据，以了解业务需求。其中，不同的业务需要采集的应用数据不同。因此，服务平台的开发人员需要根据不同的业务设置不同的应用数据采集方案。
具体的，服务平台的开发人员需要根据服务平台提供的业务，设置各应用的采集参数，按照设置的采集参数对各应用进行数据采集，生成该服务平台的业务报表，以了解业务需求。但是，安装在智能终端上的应用比较多，即需要采集的应用数据比较多，导致各服务平台的数据采集格式难以统一。因此，各服务平台的开发人员还需要定义各应用的数据采集格式，使得各服务平台可以按照设置的数据采集格式采集各应用的数据，进一步增加开发人员的工作量。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据采集方法和相应的数据采集装置。
依据本发明的一个方面，提供了一种数据采集的方法，所述的方法包括：应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
可选地，获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集步骤。
可选地，依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
可选地，在所述应用所在移动终端解锁时，对上传成功标记位进行检测；
若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
可选地，获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，执行将未上传的参数信息上传给所述服务器的步骤。
可选地，检测所述参数信息是否超过上传阈值；
当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
可选地，检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
可选地，依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
可选地，依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
根据本发明的另一方面，提供了一种数据采集装置，包括：采集模块，用于应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；上传判断模块，用于依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；压缩模块，用于在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；上传模块，用于将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
可选地，所述采集模块，还用于获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集。
可选地，标记位配置模块，用于依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
可选地，所述上传模块，还用于在所述应用所在移动终端解锁时，对上传成功标记位进行检测；若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
可选地，所述上传模块，还用于获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，将未上传的参数信息上传给所述服务器。
可选地，所述压缩模块，还用于检测所述参数信息是否超过上传阈值；当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
可选地，缓存模块，用于检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
可选地，所述采集模块，还用于依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
可选地，所述上传模块，用于依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
根据本发明的应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。可以减少各服务平台的开发人员的工作量，，由此解决了各服务平台的开发人员的工作量繁重的问题，取得了降低用人成本，在各种应用中均可以使用，可扩展性较好的有益效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例的数据采集分析系统结构框图；
图2示出了根据本发明一个实施例的数据采集方法实施例的步骤流程图；
图3示出了根据本发明另一个实施例的数据采集方法实施例的步骤流程图；
图4示出了根据本发明一个实施例的数据采集装置的结构框图；
图5示出了根据本发明另一个实施例的数据采集装置的结构框图；
图6示出了根据本发明另一个实施例的数据采集分析系统结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
通常，一些终端如手机、平板电脑的供应商、软件开发商通过采集安装在终端上的应用在运行时的数据，并对采集的数据进行分析，生成业务报表，以了解业务需求。本发明实施例提供了一种数据采集分析系统，该系统具有通用性，能够为各种应用采集、分析数据并生成不同的业务报表。
参照图1，示出了根据本发明实施例的数据采集分析系统结构框图。
该数据采集分析系统，包括：采集控制服务器102、数据分析服务器104、报表生成服务器106和至少一个数据终端108，所述数据终端中安装有采集工具。
所述采集控制服务器102，用于配置所述采集配置信息给数据终端并下发给相应的数据终端，其中，所述配置信息用于控制采集参数的采集；
所述数据终端108，用于在应用运行时调用所述采集工具，依据采集配置信息对采集参数的参数信息进行采集；以及将采集的参数信息上传给所述数据分析服务器；
所述数据分析服务器104，用于对上传的各采集参数对应参数信息进行分析，获取数据分析结果；将所述数据分析结果发送给所述报表生成服务器；
所述报表生成服务器106，用于依据所述数据分析结果生成数据报表。
从而通过采集控制服务器(简称云服务器)的控制，使得采集工具能够在应用运行的数据终端中采集各采集参数的参数信息，在上传给数据分析服务器后，依据统计需求进行数据分析，从而生成相应业务的数据报表，通过该数据报表获知用户需求、习惯等，对业务进行调整，更符合用户需求。
本发明实施例详细论述采集工具的数据采集方法。
实施例一
参照图2，示出了根据本发明一个实施例的数据采集方法实施例的步骤流程图，具体可以包括如下步骤：
步骤202，应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数。
本发明实施例的应用是指安装在终端上的应用程序，如手机助手、浏览器、安全卫士、播放器等。为了保证采集数据的完整性和准确性，可以在应用运行时调用采集工具。采集工具包括软件开发工具包(SDK，Software Development Kit)。
针对不同的应用以及应用所在终端，云服务器可以配置各应用的采集参数以及采集配置信息，生成采集工具的控制信息。当应用所在终端调用采集工具对应用进行数据采集时，采集工具可以依据采集配置信息采集所述应用中各采集参数的参数信息。其中，所述采集配置信息用于控制所述采集参数的采集和上传。所述采集参数包括静态参数和/或动态参数。该静态参数可以用于采集该应用所对应的静态的参数信息；动态参数可以用于采集该应用运行时的动态的参数信息。
步骤204，依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔。
实质上，通过不同类型的网络传输数据，数据的传输速率不一样。因此，可以根据网络类型对应的数据传输速率，设置应用所在终端对应网络类型的上传间隔，并将不同网络类型的上传间隔添加到采集配置信息中。
在本发明实施例中，可以根据应用所在终端连接的网络类型，选择该网络类型对应的上传间隔，使得各应用可以依据当前连接网络的数据传输速率上传采集参数的参数信息，从而可以充分利用了网络资源，并且保证参数信息的上传速率。
获取当前时刻，判断当前时刻是否满足上传间隔，若当前时刻满足上传间隔，执行步骤206；若当前时刻不满足上传间隔，返回步骤202继续采集。
步骤206，将所述参数信息按照预置算法进行压缩编码，生成参数数据包。
在当前时刻达到所述上传间隔时，终端将参数信息上传给服务器可以通过数据包的形式发送，因此应用所在终端可以将该参数信息进行压缩编码，生成参数数据包。
步骤208，将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
应用所在终端将所述参数数据包上传给云服务器，即将满足上传条件的参数信息上传，以使所述服务器依据所述参数信息进行数据分析。
综上所述，通过在应用运行时调用采集工具；采集工具采集所述应用中各采集参数的参数信息；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。从而减少了各服务平台的开发人员的工作量，进而降低用人成本，在各种应用中均可以使用，可扩展性较好。
实施例二
参照图3，示出了根据本发明另一个实施例的数据采集方法实施例的步骤流程图，具体可以包括如下步骤：
步骤302，依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
云服务器可以通过设置各采集参数的优先级，控制采集参数的参数信息的采集次数和上传间隔。例如，参照表1，当应用或应用所在终端确定采集参数的优先级，就可以依据所确定的优先级对应的采集次数对该采集参数的信息进行采集，并按照该优先级对应的上传间隔上传该采集参数的参数信息，如采集参数I的优先级为A级，则该采集参数I的参数信息的采集次数为1000次，且上传间隔为20分钟，即每隔20分钟，就上传一次该采集参数I的参数信息。
表1
在本发明实施例中，可以根据业务需求或者采集数据的特性，预先设置采集参数的优先级，以及各优先级对应的参数信息采集次数和上传间隔，使得云服务器可以通过将采集参数的优先级添加到采集配置信息中，控制应用或者应用所在终端按照采样参数的优选级对参数信息进行采集以及上传。通过采集参数的优先级，可以及时采集到各应用采集参数的参数信息，并且还可以及时将采集到的参数信息上传。
步骤304，获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值。
在本发明实施例中，考虑到不同类型的终端配置不同，有些终端内存较大如内存达到2G，而有些终端内存较小，为了减少数据采集对终端的影响，使得终端能够正常运行应用，云服务器可以根据应用所在终端的内存设置采集阈值，并将该采集阈值添加到采集配置信息中，从而可以依据终端的内存信息控制采集的采集参数。
判断所述内存信息是否达到采集阈值，若没有达到，执行步骤306；若达到，执行步骤308。
步骤306，当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集步骤。
当应用所在终端的内存信息未达到采集阈值时，可以不采集安装该终端上的应用的动态参数对应的参数信息，可以采集静态参数对应的参数信息，如采集终端标识；例如采集阈值配置为50M，则当终端的内存小于50M时，为了不影响终端的使用可以限制采集参数的采集，如不采集动态参数，仅采集终端标识等静态参数上传一次即可。
步骤308，应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数。
云服务器可以基于各服务平台所需要采集的数据，确定待采集的应用。在确定应用后，云服务器可以根据应用类型确定待采集的应用的静态参数。应用运行时调用采集工具，采集所述应用中的静态参数的参数信息。
静态参数可以用于采集该应用对应的静态参数信息，如应用所在终端的标识信息、版本信息、渠道信息、网络类型和分辨率信息等。其中，终端的标识信息可以用于识别应用所在终端，如可以基于终端的硬件等信息计算M2值，该M2值可以通过序列号、机型号、版本信息等计算，该M2值既能够标识不同的终端又不会泄露终端的硬件信息，保证用户的隐私安全；版本信息可以用于记录该应用对应的版本，如终端的操作系统版本，软件版本或者软件开发工具包版本等；渠道信息可以用于识别该应用的获取路径；网络类型用于确定应用所在终端连接的网络类型；分辨率信息用于确定该应用所在终端的显示分辨率，显示分辨率又可以称为屏幕分辨率。
同时，云服务器可以基于各服务平台所需要采集的数据，确定待采集的应用。在确定应用后，采集工具可以根据应用类型确定待采集的应用的动态参数。应用运行时调用采集工具，采集所述应用中的动态参数的参数信息。
动态参数可以用于采集该应用在运行过程中生成的参数信息，如应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息等。
其中，应用界面启动信息用于记录应用的界面切换时切换前的页面以及切换后的界面；按钮点击信息用于记录用户点击该应用中各按钮对应的按钮编号以及该按钮编号对应的点击次数；时长信息根据启动时间点和关闭时间点确定，如应用运行时间、界面运行时间；异常信息用于记录应用运行异常的信息，如应用启动失败的时间点或者次数；会话信息用于记录该应用在运行时产生的会话类的消息。
在本发明的一种优选实施例中，依据所述应用的运行实时采集所述动态参数的参数信息包括：
当检测到所述应用的界面切换时，记录切换前的界面为上一页，记录切换后的界面为当前页，将所述上一页和当前页添加到应用界面启动信息中。即在对用户在应用界面中访问记录时，为了保证访问的连续，可以在记录当前界面的同时记录上一访问界面，从而每一个界面记录均为当前页+上一页，当然若是首页，则上一页为空。
当检测到所述应用的按钮被触发时，获取所述按钮对应的按钮编号，更新所述按钮编号对应的点击次数，将所述按钮编号和点击次数添加到按钮点击信息中。应用中可以包括许多按钮，可以给每个按钮进行编号来标识不同的按钮，从而在按钮被点击时记录按钮编号以及点击次数，即点击次数初始为0，每点击一次即加一。
应用可以通过多进程方式运行，通常多进程运行时应用启动采用主进程记录启动时间点，采用最后一个进程记录结束时间点，但是，当应用启动时间过短时可能出现主进程未完全启动则应用已关闭的问题，此时记录的运行时间就可能为负值，或者采用上次启动的启动时间点与本次关闭的结束时间点计算时长，则会出现时长超长的情况，导致时长记录不准确。
为解决上述不准确的问题，采集所述应用相关的运行时间作为时长信息，其中，所述时长信息包括：界面运行时间和应用运行时间。其中，所述采集所述应用相关的运行时间作为时长信息包括：所述应用的主进程记录启动时间点和结束时间点，依据所述启动时间点和结束时间点记录运行时间，将所述运行时间作为时长信息。即本实施例针对多进程运行的应用，开始和结束时间的记录均从采用主进程进行记录，即应用启动时采用主进程记录启动时间点，应用关闭是采用主进程记录结束时间点，从而计算结束时间点和启动时间点的差值即为运行时间，确保准确记录运行时长。
步骤310，检测本地缓存的参数信息是否超过缓存阈值。
当本地缓存的参数信息超过缓存阈值时，执行步骤312；当本地缓存的参数信息未超过缓存阈值时，执行步骤314。
步骤312，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
本发明实施例中的缓存阈值用于确定在终端的缓存的参数信息的数据量。具体而言，不同的终端的性能不同，因此其可以缓存的参数信息的数据量不同。根据应用所在终端可以缓存的数据量，可以设置该终端对应的缓存阈值，并将该缓存阈值添加到采集配置信息中。当终端的本地缓存的参数信息超过缓存阈值时，云服务器可以控制终端删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值，保证了数据采集的效率。例如设置缓存阈值为2M，在采集参数信息要存储时判断本地缓存已超过2M，则可以按照时间的前后顺序，从前面开始删除参数信息，直到存储该采集参数也不超过2M为止。
步骤314，将采集的参数信息缓存在本地。
步骤316，依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔。
若当前时刻达到所述上传间隔时，执行步骤318；若没有满足，返回步骤316。
步骤318，检测所述参数信息是否超过上传阈值。
为了提高上传的成功率，还可以配置上传阈值，即每次上传数据量的阈值，检测当前缓存的参数信息是否大于上传阈值。当所述参数信息超过上传阈值时，执行步骤320；当所述参数信息没有超过上传阈值时，执行步骤322。
步骤320，将所述参数信息划分为至少两个数据包。
在参数信息满足采样配置信息中的上传条件时，将该参数信息进行上传。例如，云服务器可以通过设置各参数信息上传的优先级或者上传间隔，设置各参数信息的上传条件，并将该上传条件保存到采集配置信息中。在当前时刻达到参数信息的上传间隔时间时，检测所述参数信息是否超过上传阈值。
本发明实施例向服务器上传参数信息是通过数据包上传。若一个数据包包含的数据量过大，容易造成上传失败。本发明实施例通过上传阈值，来限制每次上传数据包的大小。当需要上传的参数信息超过上传阈值时，就采取分包的措施，即将所述参数信息划分为至少两个数据包。分包上传，可以避免数据量过大造成的上传失败。例如上传阈值为100k时，当需要上传的参数信息大于100k，可以将参数信息划分为至少两个数据包，例如需要上传的参数信息为250k，则可以分成三个数据包100k、100k以及50k。
步骤322，将所述参数信息按照预置算法进行压缩编码，生成参数数据包。
步骤324，依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
应用所在终端可以将所述参数信息进行压缩编码，生成参数数据包。所述协议上传顺序用于确定采集参数的上传协议。在具体实现中，云服务器可以对网络所采用的网络传输协议进行统计，确定各网络传输协议的优先级，生成协议上传顺序。
例如，协议上传顺序可以如下：1、传输控制协议(Transmission ControlProtocol，TCP)；2、无线应用协议(Wireless Application Protocol，WAP)；3、用户数据报协议(User Datagram Protocol,UDP)；4、实时传输协议(Real-time Transport Protocol，RTP)。其中，网络传输协议对应的顺序编号可以代表了该网络传输协议的优先级，顺序编号越小代表该该网络传输协议的优先级越高，如1代表TCP协议的优先级最高。将协议上传的顺序添加到采集配置信息中，就可以控制参数信息上传时所采用的网络传输协议，如上述例子的协议上传顺序，参数信息优选采用优先级最高的TCP协议上传，当不可以采用TCP协议上传时采用WAP协议上传，即按照优先级的顺序选择上传协议，避免由于终端、应用不支持采用某一网络传输协议而导致参数信息上传失败的问题，保证参数信息的上传效率和上传质量。
将所述参数数据包上传给云服务器，即将满足上传条件的参数信息上传。以使所述服务器依据所述参数信息进行数据分析。显然，云服务器可以针对不同的参数信息设置上传条件，并添加到采集配置信息中，进而可以通过该上传条件控制各参数信息的上传。使得所述服务器依据所述参数信息进行数据分析。
步骤326，依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
参数信息上传给服务器时，可能会出现上传失败。此时可能需要将未上传的参数信息继续上传，为了便于区分参数信息的上传情况，可以依据上传结果配置上传成功标记位。通过上传成功标记位来标识上传结果。其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
步骤328，在所述应用所在移动终端解锁时，对上传成功标记位进行检测。
步骤330，若所述上传成功标记为失败，获取当前的网络类型，判断所述网络类型是否允许上传数据。
在确定上传成功标记为失败时，说明参数信息未上传成功，则可以获取当前的网络类型，判断网络类型是否允许上传数据，如网络是否连接，已连接的情况下判断为2G、3G、4G或WIFI等。
若是，即所述网络类型允许上传数据时，执行步骤324以将未上传的参数信息上传给所述服务器。若否，即网络类型不允许上传数据，返回步骤328，在下次解锁后重新检测上传。
为了节省资源，在所述应用下一次运行时如在所述应用所在移动终端解锁时，对上传成功标记位进行检测，判断参数信息的上传情况。若所述上传成功标记为失败，获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，执行将未上传的参数信息上传给所述服务器的步骤。
综上所述，通过获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数上传给所述服务器，以结束采集步骤。同时考虑到不同配置的终端，在保证不影响终端的正常使用的同时对终端的应用进行数据采集。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了根据本发明一个实施例的数据采集装置的结构框图，具体可以包括如下模块：
采集模块402，用于应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数。
上传判断模块404，用于依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔。
压缩模块406，用于在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包。
上传模块408，用于将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
综上所述，通过在应用运行时调用采集工具；采集工具采集所述应用中各采集参数的参数信息；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。从而减少了各服务平台的开发人员的工作量，进而降低用人成本，在各种应用中均可以使用，可扩展性较好。
参照图5，示出了根据本发明另一个实施例的数据采集装置的结构框图，具体可以包括如下模块：
采集模块402，用于应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数。
缓存模块412，用于检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
上传判断模块404，用于依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔。
压缩模块406，用于在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包。
上传模块408，用于将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
标记位配置模块410，用于依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
所述采集模块402，还用于获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集。
所述上传模块408，还用于在所述应用所在移动终端解锁时，对上传成功标记位进行检测；若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
所述上传模块408，还用于获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，将未上传的参数信息上传给所述服务器
所述压缩模块406，还用于检测所述参数信息是否超过上传阈值；当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
所述采集模块402，还用于依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
所述上传模块408，用于依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
综上所述，通过获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数上传给所述服务器，以结束采集步骤。同时考虑到不同配置的终端，在保证不影响终端的正常使用的同时对终端的应用进行数据采集。
在上述数据采集分析系统中，本实施例的采集数据装置可以配置于数据终端中，如图6所示，该数据采集分析系统，包括：采集控制服务器102、数据分析服务器104、报表生成服务器106和至少一个数据终端108，所述数据终端中安装有采集工具。采集控制服务器102包括：云控服务器1022和开发配置服务器1024。
其中，采集控制服务器102配置所述采集配置信息给数据终端并下发给相应的数据终端108；所述数据终端108在应用运行时调用所述采集工具，依据采集配置信息对采集参数的参数信息进行采集；所述数据终端108将采集的参数信息上传给所述采集控制服务器104；所述数据分析服务器104对上传的各采集参数对应参数信息进行分析，获取数据分析结果；所述数据分析服务器104将所述数据分析结果发送给所述报表生成服务器106；所述报表生成服务器106依据所述数据分析结果生成数据报表。
一个示例中，所述采集控制服务器102，用于配置所述采集配置信息给数据终端并下发给相应的数据终端，其中，所述配置信息用于控制采集参数的采集；所述数据终端108，用于在应用运行时调用所述采集工具，依据采集配置信息对采集参数的参数信息进行采集；以及将采集的参数信息上传给所述数据分析服务器；所述数据分析服务器104，用于对上传的各采集参数对应参数信息进行分析，获取数据分析结果；将所述数据分析结果发送给所述报表生成服务器；所述报表生成服务器106，用于依据所述数据分析结果生成数据报表。
一个可选实施例中，所述采集控制服务器102包括云控服务器1022；所述云控服务器1022，用于依据应用类型确定所述应用的采集参数，其中，所述采集参数包括：动态参数和/或静态参数；依据所述应用和应用所在终端配置采集配置信息，其中，所述采集配置信息用于控制所述采集参数的采集和上传；将采集参数和采集配置信息下发给应用所在的数据终端。
其中，所述采集控制服务器配置所述采集配置信息给数据终端并下发给相应的数据终端，包括：所述采集控制服务器依据应用类型确定所述应用的采集参数，其中，所述采集参数包括：动态参数和/或静态参数；依据所述应用和应用所在终端配置的采集配置信息，其中，所述采集配置信息用于控制所述采集参数的采集和上传；将采集参数和采集配置信息下发给应用所在的数据终端。
所述云控服务器1022，用于配置参数信息的上传条件和/或采样条件，将上传条件和/或采样条件添加到采集配置信息中；配置所述应用所在终端对应内存的采集阈值，将所述采集阈值添加到采集配置信息中；配置所述应用所在终端对应网络类型的上传间隔，将所述上传间隔添加到所述采集配置信息中；配置所述应用所在终端对应缓存阈值，将所述缓存阈值添加到采集配置信息中；以及，在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
依据所述应用和应用所在终端配置的采集配置信息的步骤包括以下至少一种：配置参数信息的上传条件和/或采样条件，将上传条件和/或采样条件添加到采集配置信息中；配置所述应用所在终端对应内存的采集阈值，将所述采集阈值添加到采集配置信息中；配置所述应用所在终端对应网络类型的上传间隔，将所述上传间隔添加到所述采集配置信息中；配置所述应用所在终端对应缓存阈值，将所述缓存阈值添加到采集配置信息中；在所述采集配置信息中配置协议上传顺序、采样率和采样参数的优先级。
其中，所述数据终端108，用于采用采集工具依据采集配置信息采集所述应用的静态参数的参数信息；以及，采用所述采集工具依据采集配置信息确定待采集的动态参数，依据所述应用的运行实时采集所述动态参数的参数信息。
所述依据采集配置信息对采集参数的参数信息进行采集，包括：采用所述采集工具依据采集配置信息采集所述应用的静态参数的参数信息；采用所述采集工具依据采集配置信息确定待采集的动态参数，依据所述应用的运行实时采集所述动态参数的参数信息。
所述数据终端108，用于当检测到所述应用的界面切换时，记录切换前的界面为上一页，记录切换后的界面为当前页，将所述上一页和当前页添加到应用界面启动信息中；当检测到所述应用的按钮被触发时，获取所述按钮对应的按钮编号，更新所述按钮编号对应的点击次数，将所述按钮编号和点击次数添加到按钮点击信息中；采集所述应用相关的运行时间作为时长信息，其中，所述时长信息包括：界面运行时间和应用运行时间。
依据所述应用的运行实时采集所述动态参数的参数信息的步骤包括以下至少一种：当检测到所述应用的界面切换时，记录切换前的界面为上一页，记录切换后的界面为当前页，将所述上一页和当前页添加到应用界面启动信息中；当检测到所述应用的按钮被触发时，获取所述按钮对应的按钮编号，更新所述按钮编号对应的点击次数，将所述按钮编号和点击次数添加到按钮点击信息中；采集所述应用相关的运行时间作为时长信息，其中，所述时长信息包括：界面运行时间和应用运行时间。
其中，所述静态参数的参数信息包括以下至少一项：终端标识、版本信息、渠道信息、网络类型和分辨率信息；所述动态参数的参数信息包括以下至少一项：应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
本实施例中，所述报表生成服务器106，用于依据配置的应用对应自定义事件的自定义管理信息，获取业务统计信息；依据所述自定义管理信息和业务统计信息生成自定义事件报表。
所述报表生成服务器依据所述数据分析结果生成数据报表，包括：所述报表生成服务器依据配置的应用对应自定义事件的自定义管理信息，获取业务统计信息；依据所述自定义管理信息和业务统计信息生成自定义事件报表。
所述报表生成服务器106，还用于从所述业务管理页面中获取所述应用的应用路径，以及所述应用对应自定义事件的自定义事件信息，其中，所述自定义事件信息包括：事件名称和事件属性；采用所述应用路径和自定义事件信息生成自定义管理信息。
还包括配置自定义管理信息的步骤：从所述业务管理页面中获取所述应用的应用路径，以及所述应用对应自定义事件的自定义事件信息，其中，所述自定义事件信息包括：事件名称和事件属性；采用所述应用路径和自定义事件信息生成自定义管理信息。
所述报表生成服务器106，用于依据所述应用路径确定应用；针对每个自定义事件，获取所述事件名称对应的逻辑名称，以及所述事件属性对应的逻辑属性；查找所述逻辑名称对应采集参数，依据所述逻辑属性确定所述采集参数对应的业务统计信息；以及确定各采集参数对应的事件名称，采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
依据配置的应用对应自定义事件的自定义管理信息，获取业务统计信息；依据所述自定义管理信息和业务统计信息生成自定义事件报表，包括：依据所述应用路径确定应用；针对每个自定义事件，获取所述事件名称对应的逻辑名称，以及所述事件属性对应的逻辑属性；查找所述逻辑名称对应采集参数，依据所述逻辑属性确定所述采集参数对应的业务统计信息；确定各采集参数对应的事件名称，采用各事件名称和对应采集参数的业务统计信息生成应用的自定义事件报表。
其中，所述采集控制服务器，还用于配置所述目标应用对应测试设备的测试信息；所述数据分析服务器，还用于对所述目标应用对应上传的参数信息进行分析；判断所述参数信息属于测试设备时，实时对属于测试设备的参数信息进行分析；所述报表生成服务器，还用于判断所述参数信息属于测试设备时，依据数据分析结果实时生成数据报表。
所述的方法还包括：所述采集控制服务器配置所述目标应用对应测试设备的测试信息；所述数据分析服务器对所述目标应用对应上传的参数信息进行分析；判断所述参数信息属于测试设备时，实时对属于测试设备的参数信息进行分析；所述报表生成服务器判断所述参数信息属于测试设备时，依据数据分析结果实时生成数据报表。
其中，所述采集控制服务器102，包括：开发配置服务器1024；所述开发配置服务器，用于在目标应用完成注册后，对所述目标应用配置至少一个测试设备的测试标识；为所述目标应用配置待测试的采集参数，将所述测试标识和采集参数作为测试信息；所述数据分析服务器，还用于从上传的参数信息中获取目标应用对应采集参数的参数信息；通过所述参数信息中终端参数对应终端标识；判断所述终端标识与测试设备表中测试标识是否相同，当所述终端标识与测试设备表中任一测试标识相同时，判断参数信息属于测试设备。
配置所述目标应用对应测试设备的测试信息，包括：在目标应用完成注册后，对所述目标应用配置至少一个测试设备的测试标识；为所述目标应用配置待测试的采集参数，将所述测试标识和采集参数作为测试信息；所述的方法还包括：所述数据分析服务器从上传的参数信息中获取目标应用对应采集参数的参数信息；通过所述参数信息中终端参数对应终端标识；判断所述终端标识与测试设备表中测试标识是否相同，当所述终端标识与测试设备表中任一测试标识相同时，判断参数信息属于测试设备。
所述数据分析服务器104，还用于从所述参数信息中查找校验参数对应校验信息；对所述校验信息进行分析确定劫持校验结果。
所述的方法还包括：数据分析服务器从所述参数信息中查找校验参数对应校验信息；对所述校验信息进行分析确定劫持校验结果。
所述数据分析服务器104，用于确定校验参数的参数标识，从所述参数信息中查找所述参数标识对应校验信息；检测所述校验信息是否为目标信息；若所述校验信息不为目标信息，确定流量存在劫持异常，在所述劫持校验结果中记录劫持异常；若所述校验信息为目标信息，确定数据传输正常，在所述劫持校验结果中记录传输正常。
从所述参数信息中查找校验参数对应校验信息；对所述校验信息进行分析确定劫持校验结果，包括：确定校验参数的参数标识，从所述参数信息中查找所述参数标识对应校验信息；检测所述校验信息是否为目标信息；若所述校验信息不为目标信息，确定流量存在劫持异常，在所述劫持校验结果中记录劫持异常；若所述校验信息为目标信息，确定数据传输正常，在所述劫持校验结果中记录传输正常。
所述数据分析服务器104，还用于从所述参数信息中查找存储参数对应存储信息；依据所述存储信息检测数据质量，确定质量校验结果。
所述的方法还包括：所述数据分析服务器从所述参数信息中查找存储参数对应存储信息；依据所述存储信息检测数据质量，确定质量校验结果。
所述数据分析服务器104，用于确定存储参数的存储标识，从所述参数信息中查找所述存储标识对应存储信息；依据所述存储信息查找至少一个终端标识；当所述存储信息对应一个终端标识，生成质量合格的质量校验结果；当所述存储信息对应多于一个终端标识，查找所述终端标识对应成功上传信息；将各终端标识对应上传成功信息进行排序，依据排序结果确定所述上传成功信息不存在冗余时，判断数据异常，生成数据异常的质量校验结果。
从所述参数信息中查找存储参数对应存储信息；依据所述存储信息检测数据质量，确定质量校验结果，包括：确定存储参数的存储标识，从所述参数信息中查找所述存储标识对应存储信息；依据所述存储信息查找至少一个终端标识；当所述存储信息对应一个终端标识，生成质量合格的质量校验结果；当所述存储信息对应多于一个终端标识，查找所述终端标识对应成功上传信息；将各终端标识对应上传成功信息进行排序，依据排序结果确定所述上传成功信息不存在冗余时，判断数据异常，生成数据异常的质量校验结果。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据采集方法和数据采集装置设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种数据采集方法，包括：应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
A2、如A1所述的方法，调用采集工具采集所述应用中各采集参数的参数信息之前，还包括：获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集步骤。
A3、如A1所述的方法，还包括：依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
A4、如A3所述的方法，还包括：在所述应用所在移动终端解锁时，对上传成功标记位进行检测；若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
A5、如A4所述的方法，在判断所述上传成功标记为失败时，所述的方法还包括：获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，执行将未上传的参数信息上传给所述服务器的步骤。
A6、如A1所述的方法，将所述参数信息按照预置算法进行压缩编码之前，还包括：检测所述参数信息是否超过上传阈值；当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
A7、如A2所述的方法，采集所述应用中各采集参数的参数信息之后，还包括：检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
A8、如A1所述的方法，还包括：依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
A9、如A1所述的方法，将参数信息上传给服务器的步骤包括：依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
本发明还公开了B10、一种数据采集装置，包括：采集模块，用于应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；上传判断模块，用于依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；压缩模块，用于在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；上传模块，用于将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析。
B11、如B10所述的装置，所述采集模块，还用于获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集。
B12、如B10所述的装置，还包括：标记位配置模块，用于依据上传结果配置上传成功标记位，其中，若所述缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
B13、如B12所述的装置，所述上传模块，还用于在所述应用所在移动终端解锁时，对上传成功标记位进行检测；若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
B14、如B13所述的装置，所述上传模块，还用于获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，将未上传的参数信息上传给所述服务器。
B15、如B10所述的装置，所述压缩模块，还用于检测所述参数信息是否超过上传阈值；当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
B16、如B11所述的装置，还包括：缓存模块，用于检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
B17、如B10所述的装置，所述采集模块，还用于依据所述配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
B18、如B10所述的装置，所述上传模块，用于依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
Claims (18)
1.一种数据采集方法，包括：
应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；
依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；
在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；
将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析；
其中，所述静态参数用于采集所述应用对应的静态参数信息，包括：所述应用所在终端的标识信息、版本信息、渠道信息、网络类型和分辨率信息；
所述动态参数用于采集所述应用在运行过程中生成的参数信息，包括：应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
2.根据权利要求1所述的方法，其特征在于，调用采集工具采集所述应用中各采集参数的参数信息之前，还包括：
获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；
当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；
当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集步骤。
3.根据权利要求1所述的方法，其特征在于，还包括：
依据上传结果配置上传成功标记位，其中，若缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
4.根据权利要求3所述的方法，其特征在于，还包括：
在所述应用所在移动终端解锁时，对上传成功标记位进行检测；
若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
5.根据权利要求4所述的方法，其特征在于，在判断所述上传成功标记为失败时，所述的方法还包括：
获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，执行将未上传的参数信息上传给所述服务器的步骤。
6.根据权利要求1所述的方法，其特征在于，将所述参数信息按照预置算法进行压缩编码之前，还包括：
检测所述参数信息是否超过上传阈值；
当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
7.根据权利要求2所述的方法，其特征在于，采集所述应用中各采集参数的参数信息之后，还包括：
检测本地缓存的参数信息是否超过缓存阈值；
当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；
当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
8.根据权利要求1所述的方法，其特征在于，还包括：
依据配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
9.根据权利要求1所述的方法，其特征在于，将参数信息上传给服务器的步骤包括：
依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
10.一种数据采集装置，包括：
采集模块，用于应用运行时调用采集工具采集所述应用中各采集参数的参数信息，其中，所述采集参数包括静态参数和/或动态参数；
上传判断模块，用于依据当前的网络类型确定上传间隔，判断当前时刻是否满足上传间隔；
压缩模块，用于在当前时刻达到所述上传间隔时，将所述参数信息按照预置算法进行压缩编码，生成参数数据包；
上传模块，用于将所述参数数据包上传给服务器，以使所述服务器依据所述参数信息进行数据分析；
其中，所述静态参数用于采集所述应用对应的静态参数信息，包括：所述应用所在终端的标识信息、版本信息、渠道信息、网络类型和分辨率信息；
所述动态参数用于采集所述应用在运行过程中生成的参数信息，包括：应用界面启动信息、按钮点击信息、时长信息、异常信息和会话信息。
11.根据权利要求10所述的装置，其特征在于，
所述采集模块，还用于获取所述应用所在移动终端的内存信息，判断所述内存信息是否达到采集阈值；当所述内存信息达到采集阈值时，执行依据采集配置信息采集所述应用中各采集参数的参数信息的步骤；当所述内存信息未达到采集阈值时，采集所述静态参数的采集参数上传给所述服务器，以结束采集。
12.根据权利要求10所述的装置，其特征在于，还包括：
标记位配置模块，用于依据上传结果配置上传成功标记位，其中，若缓存的参数信息上传失败则配置上传成功标记位为失败，若所述缓存的参数信息上传成功则配置上传成功标记位为成功。
13.根据权利要求12所述的装置，其特征在于，
所述上传模块，还用于在所述应用所在移动终端解锁时，对上传成功标记位进行检测；若所述上传成功标记为失败，则将未上传的参数信息上传给所述服务器。
14.根据权利要求13所述的装置，其特征在于，
所述上传模块，还用于获取当前的网络类型，判断所述网络类型是否允许上传数据，在所述网络类型允许上传数据时，将未上传的参数信息上传给所述服务器。
15.根据权利要求10所述的装置，其特征在于，
所述压缩模块，还用于检测所述参数信息是否超过上传阈值；当所述参数信息超过上传阈值时，将所述参数信息划分为至少两个数据包。
16.根据权利要求11所述的装置，其特征在于，还包括：
缓存模块，用于检测本地缓存的参数信息是否超过缓存阈值；当本地缓存的参数信息未超过缓存阈值时，将采集的参数信息缓存在本地；当本地缓存的参数信息超过缓存阈值时，删除缓存时间在前的参数信息，直到缓存的参数信息不超过所述缓存阈值后，将采集的参数信息缓存在本地。
17.根据权利要求10所述的装置，其特征在于，
所述采集模块，还用于依据配置信息中各采集参数的优先级，确定所述采集参数的参数信息的采集次数和上传间隔。
18.根据权利要求10所述的装置，其特征在于，
所述上传模块，用于依据预置协议上传顺序选择上传协议，依据所述上传协议向服务器上传参数信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510939747.8A CN105516321B (zh) | 2015-12-15 | 2015-12-15 | 一种数据采集方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510939747.8A CN105516321B (zh) | 2015-12-15 | 2015-12-15 | 一种数据采集方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105516321A CN105516321A (zh) | 2016-04-20 |
| CN105516321B true CN105516321B (zh) | 2019-06-04 |
Family
ID=55723951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510939747.8A Active CN105516321B (zh) | 2015-12-15 | 2015-12-15 | 一种数据采集方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105516321B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105553769B (zh) * | 2015-12-15 | 2019-03-05 | 北京奇虎科技有限公司 | 一种数据采集分析系统和方法 |
| CN107822624B (zh) * | 2017-10-31 | 2021-01-08 | 粒恩医疗科技（深圳）有限公司 | 实时连续心电数据的传输分析方法及装置 |
| CN108377270B (zh) * | 2018-03-21 | 2021-02-26 | 耘申信息科技（上海）有限公司 | 一种设备使用数据的上报管理方法及系统 |
| CN110764783B (zh) * | 2018-07-25 | 2023-04-07 | 中兴通讯股份有限公司 | 一种生成信息采集工具的方法及装置、设备、存储介质 |
| CN110035055B (zh) * | 2019-02-19 | 2022-02-01 | 中国铁建重工集团股份有限公司 | 工业装备远程数据的传输方法 |
| CN112632595B (zh) * | 2019-09-24 | 2024-04-09 | 中国石油化工股份有限公司 | 一种基于地震资料解释软件的信息搜集方法及系统 |
| CN111935310A (zh) * | 2020-09-18 | 2020-11-13 | 翱捷科技(深圳)有限公司 | 应用于物联网终端的数据上报系统及数据上报方法 |
| CN112487038A (zh) * | 2020-12-15 | 2021-03-12 | 平安国际智慧城市科技股份有限公司 | 水源监测轨迹数据处理方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077224A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 软件功能分析系统与方法 |
| CN104391996A (zh) * | 2014-12-15 | 2015-03-04 | 携程计算机技术（上海）有限公司 | 移动终端的用户交互行为的收集分析方法 |
| CN104899325A (zh) * | 2015-06-19 | 2015-09-09 | 上海卓悠网络科技有限公司 | 一种app采集数据的收集方法、终端、服务器及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI126220B (fi) * | 2009-01-30 | 2016-08-31 | Alekstra Oy | Menetelmä ja järjestely datan keräämiseksi tietoliikenneverkosta |
-
2015
- 2015-12-15 CN CN201510939747.8A patent/CN105516321B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077224A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 软件功能分析系统与方法 |
| CN104391996A (zh) * | 2014-12-15 | 2015-03-04 | 携程计算机技术（上海）有限公司 | 移动终端的用户交互行为的收集分析方法 |
| CN104899325A (zh) * | 2015-06-19 | 2015-09-09 | 上海卓悠网络科技有限公司 | 一种app采集数据的收集方法、终端、服务器及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Ajax的移动应用数据采集与分析;康洁 等;《第23届中国数字广播电视与网络发展年会暨第14届全国互联网与音视频广播发展研讨会》;20150430;第127-137页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105516321A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105516321B (zh) | 一种数据采集方法和装置 | |
| CN105553769B (zh) | 一种数据采集分析系统和方法 | |
| CN109688202B (zh) | 一种接口数据的处理方法、装置、计算设备及存储介质 | |
| CN105556482B (zh) | 监视移动应用性能 | |
| CN105376335B (zh) | 一种采集数据上传方法和装置 | |
| CN109905293B (zh) | 一种终端设备识别方法、系统及存储介质 | |
| CN105320602B (zh) | 一种应用启动速度的测试方法及装置 | |
| US11140179B1 (en) | Cybersecurity investigation tools utilizing information graphs | |
| CN105302706B (zh) | 应用程序测试方法和装置 | |
| CN105515909B (zh) | 一种数据采集测试方法和装置 | |
| CN105373293A (zh) | 一种数据采集方法和装置 | |
| CN107066390A (zh) | 一种动态内存泄漏检测方法及系统 | |
| CN104966002B (zh) | 识别虚假移动终端的方法和装置 | |
| CN106453320B (zh) | 恶意样本的识别方法及装置 | |
| CN106790895A (zh) | 一种故障处理方法和装置 | |
| CN112363943A (zh) | 一种埋点设置方法、装置、计算机设备和存储介质 | |
| CN108874268A (zh) | 用户行为数据的采集方法及装置 | |
| CN106897207A (zh) | 用户界面测试方法与装置 | |
| CN105577472A (zh) | 一种数据采集测试方法和装置 | |
| CN112685799B (zh) | 设备指纹生成方法、装置、电子设备和计算机可读介质 | |
| CN105574150A (zh) | 一种数据处理方法和装置 | |
| CN105183658A (zh) | 测试软件代码的方法及装置 | |
| CN105553770B (zh) | 一种数据采集控制方法和装置 | |
| CN106155905B (zh) | 应用环境切换方法以及装置 | |
| CN111382183A (zh) | 一种数据查询方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220802 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |