CN115001967A - 一种数据采集方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据采集方法、装置、电子设备及存储介质。该方法包括向服务端发送配置请求，其中，配置请求包含应用程序标识、设备标识和用户标识，通过服务端基于应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；获取服务端发送的配置响应，其中，配置响应包含分桶配置信息和采集配置信息；通过软件开发工具包SDK基于分桶配置信息获取网络资源信息，根据网络资源信息生成用户界面，其中，SDK嵌入于应用程序；获取用户界面中的操作数据，通过SDK基于采集配置信息确定操作数据中的待上报数据，发送待上报数据给服务端。本发明实施例实现一次发版即可完成多类型用户、多APP功能和多APP页面数据的采集。

Description

一种数据采集方法、装置、电子设备及存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，移动应用服务(即移动APP)基于移动终端的随时随身性、互动性特点实现裂变式增长。移动应用服务逐步替代PC端应用服务，成为人们日常生活中主要使用的工具。

对用户行为的采集是用户行为监管和内容推荐等应用场景的基础。目前行业内常用的用户行为采集技术是采用自动采集埋点和代码埋点的方式，对同一样式及相同功能的用户界面上的用户行为数据进行采集。然而，相关技术中的埋点方式，数据SDK的配置信息需要跟随移动APP发版下发给移动终端内的SDK，无法在不发版的情况下改变SDK的配置。例如，数据SDK的数据采集策略需要跟随移动APP发版升级，无法在不发版的情况下改变数据SDK的数据采集策略。此外，通过目前的埋点方式采集的用户行为数据无法进行页面样式或功能等方面的比对测试。

发明内容

本发明提供了一种数据采集方法、装置、电子设备及存储介质，以解决目前的埋点方式不能动态改变SDK的配置，以及不能进行比对测试的问题。

根据本发明的一方面，提供了一种数据采集方法，包括：

向服务端发送配置请求，其中，所述配置请求包含应用程序标识、设备标识和用户标识，通过所述服务端基于所述应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；

获取所述服务端发送的配置响应，其中，所述配置响应包含所述分桶配置信息和采集配置信息；

通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面，其中，所述SDK嵌入于应用程序；

获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

根据本发明的另一方面，提供了一种数据采集装置，包括：

请求发送模块，用于执行向服务端发送配置请求，其中，所述配置请求包含应用程序标识、设备标识和用户标识，通过所述服务端基于所述应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；

响应获取模块，用于执行获取所述服务端发送的配置响应，其中，所述配置响应包含所述分桶配置信息和采集配置信息；

界面生成模块，用于执行通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面，其中，所述SDK嵌入于应用程序；

数据上报模块，用于执行获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据采集方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的数据采集方法。

本发明实施例的技术方案，通过SDK基于服务端下发的分桶配置信息实现向不同分桶下的用户展示不同样式的用户界面以及不同页面功能，采集用户界面中的操作数据而非埋点代码对应的用户行为数据，通过SDK基于服务端下发的采集配置信息过滤出操作数据中的待上报数据，实现应用程序无需重新发版即可动态调整数据上报策略，解决了目前的埋点方式不能动态改变SDK的采集配置，以及不能进行比对测试的问题，达到减少应用埋点，减少应用发版，提高应用开发效率的效果。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供了一种数据采集方法的流程图；

图2为本发明实施例提供的一种数据采集方法中初始化SDK的流程图；

图3为本发明实施例提供的另一种数据采集方法的流程图；

图4为本发明实施例提供的一种数据采集方法中日志上报流程图；

图5为本发明实施例提供的又一种数据采集方法的流程图；

图6为本发明实施例提供的一种数据采集方法的时序图；

图7为本发明实施例提供的一种数据采集装置的结构示意图；

图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“待上报数据”、“备选待上报数据”等是用于区别类似的对象，备选待上报数据可以包含待上报数据。此外，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本发明技术方案中对于用户个人信息的采集、存储、使用和处理等操作遵循国家有关个人信息安全的相关法律法规。

图1为本发明实施例提供了一种数据采集方法的流程图，本实施例可适用于采集用户行为数据的情况，该方法可以由数据采集装置来执行，该数据采集装置可以采用硬件和/或软件的形式实现，该数据采集装置可配置于电子设备中。如图1所示，该方法包括：

S110、向服务端发送配置请求。

其中，配置请求为客户端向服务端请求软件开发工具包SDK(SoftwareDevelopment Kit，以下简称为SDK)的配置信息的请求。具体地，配置请求包含应用程序标识、设备标识和用户标识，通过服务端基于应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息。SDK嵌入于应用程序。

例如，配置请求包含APP ID、设备ID号和IP地址。其中，APP ID为服务端为应用程序(以下简称为APP)分配的标识号。设备ID号可以为设备标识码。以手机为例，设备ID号可以为IMEI。用户标识还可以为APP的用户注册信息，例如，用户名或者手机号码等等。

分桶配置信息用于标识各个分桶内用户的客户端中待显示的网络资源信息的网络资源地址。其中，网络资源地址可以为URL(Uniform Resource Locator,统一资源定位器)等。客户端为向用户提供本地服务的应用程序。

采集配置信息用于过滤上报给服务端的用户界面上的操作数据。具体地，采集配置信息用于规定需要上报操作数据的应用程序。此外，采集配置信息还用于对需要上报操作数据的应用程序，规定需要上报操作数据的内容范围。此外，采集配置信息还用于对需要上报的操作数据内容，规定采集频率。

可选地，采集配置信息还用于过滤上报给服务端的客户端异常数据。具体地，采集配置信息用于规定需要立即上报的异常数据范围。此外，采集配置信息还用于规定上报数据的频率等。

在本发明实施例中，通过采集配置信息包括的配置参数规定了是否开启SDK、是否自动采集操作数据、哪些页面不采、哪些操作事件不采，采集哪些类型的控件、采集哪些组别的用户的操作数据(用户所属组别由分桶配置信息确定，不同分桶的用户属于不同组别)、采集哪些等级的日志数据、日志文件大小阈值、日志条数阈值、异常日志上传和网络环境等。

以采集配置信息包含的采集哪些类型的控件的配置参数为例，对过滤策略的过滤机制进行说明。具体地，配置参数为tagsID，其作用为初始化配置特定类型控件，对相应控件事件触发的数据进行捕获。

假设配置参数的数值为[“button”“btnid1,btnid2”,“text”:“textid1,textid2,textid3”]，表示在APP以数组类型展示，目前支持button和text两类控件类型的特定埋点。如“button”,针对在APP页面结构中，绝对匹配id＝btnid1或者btnid2的标签，可以通过监听获取到控件的所有事件和属性。

在本发明实施例中，对客户端向服务端发送配置请求的时机并不作具体限定。示例性地，可以在SDK初始化时，根据应用程序标识、设备标识和用户标识生成配置请求，并发送配置请求给服务端。

S120、获取所述服务端发送的配置响应。

其中，配置响应包含分桶配置信息和采集配置信息。

一种情况下，服务端在基于应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息之后，直接发送分桶配置信息和采集配置信息给客户端。

另一种情况下，客户端在向服务端发送配置请求之后，轮询服务端以获取服务端确定的分桶配置信息和采集配置信息。

基于分桶配置信息和采集配置信息初始化SDK，以通过SDK对APP进行展示控制和数据采集事件控制。

S130、通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面。

其中，网络资源信息为信息资源的定位标识，用于唯一标识互联网中的信息资源。具体地，网络资源信息可以为URL。APP可以根据分桶配置包含的URL，路由到对应的资源服务器。客户端从资源服务器获取对应网址的信息资源，并展示该信息资源，实现对不同用户展示不同页面和不同功能。

用户界面(User Interface，简称UI)为应用程序与用户之间进行交互和信息交换的媒介，用于实现信息的内部形式与人类可以接受形式之间的转换。

示例性地，通过SDK基于分桶配置信息包含的网络资源地址获取网络资源信息，其中，网络资源地址与页面标识关联存储，通过服务端基于应用程序标识、设备标识和用户标识拼接得到的字符串的哈希值与分桶数量确定页面标识。根据页面标识对应的网络资源地址从相应资源服务器获取网络资源信息，根据网络资源信息生成用户界面，并基于用户界面更新客户端的当前显示内容。

具体地，服务端计算由APPID、设备ID和IP地址拼接成的字符串的哈希值hashCode，对哈希值与分桶数量求余，根据余数的绝对值确定将当前配置请求对应的用户分到哪个桶。需要说明的是，预先设置不同分桶对应不同的页面样式和页面功能，可以以页面标识pattern_id代表页面样式和页面功能，器数值表示各个分桶对应的页面样式和页面功能，通过匹配余数的绝对值和pattern_id确定当前配置请求对应的页面标识。

在本方案中，预先设置各个pattern_id对应的网络资源地址。具体地，可以是建立分桶与网络资源地址的关联关系，不同分桶关联不同网络资源地址，以指示客户端从所属分桶对应的网络资源地址获取要展示的网络资源信息。例如，以分桶数量bucket＝3为例，设置pattern_id分别为0,1,2。根据hashCode％bucket的余数的绝对值匹配页面标识pattern_id，pattern_id与网络资源地址具有关联关系，可以通过pattern_id确定网络资源地址。若余数的绝对值未匹配到pattern_id，则获取默认页面样式和默认功能对应的默认网络资源地址。

S140、获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

其中，操作数据为用户界面上的用户行为数据。例如，用户行为数据可以为点击按钮、滑动或输入文本等。

待上报数据为满足采集配置信息包含的过滤策略的操作数据。其中，过滤策略为在用户行为发生时，对当前用户行为对应的用户行为事件是否进行采集、采集内容以及采集频率进行控制的策略。

图2为本发明实施例提供的一种数据采集方法中初始化SDK的流程图。如图2所示，在通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据之前，基于采集配置信息对SDK的初始化具体包括：初始化AOP(Aspect Oriented Programming，面向切面变成)线程服务和初始化存储服务。其中，AOP为通过预编译方式和运行期动态代理实现程序功能的统一维护的技术。初始化AOP线程服务具体包括初始化线程本地变量ThreadLocal、启动应用生命周期监测服务、启动日志本地读写线程和启动触发器阈值监测服务等。

利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各个部分之间的耦合度降低。例如，在程序代码中，对象与对象之间，方法与方法之间，模块与模块之间都是一个个切面。可以通过切面对用户在APP中的所有行为进行监听，实现基于SDK的可视化事件监测。虽然，通过切面可以监测用户在APP中的所有行为，但是向服务端上报哪些数据是基于数据过滤SDK中的数据过滤策略确定的。

初始化存储服务具体包括初始化日志存储的缓存Cache区域、新建日志存储的SP文件以及结构并初始化结构、初始化Sqlite数据库，构建相应表结构和文件操作异常处理等。

示例性地，通过AOP切面对用户界面中的用户行为进行监听，以获取操作数据。通过SDK基于采集配置信息确定操作数据中的待上报数据具体包括：通过SDK基于采集配置信息包含的采集范围，采集内容和采集频率过滤操作数据，得到待上报数据。在待上报数据满足采集配置信息包含的上报条件时，加密待上报数据得到加密数据，发送加密数据给服务端。

其中，采集范围用于区分需要采集的应用程序和不需要采集的应用程序。需要说明的是，此处的采集是指客户端向服务端发送待上报数据。采集内容用于区分需要采集的应用程序的操作数据中需要采集的内容和不需要采集的内容。采集频率用于标识采集时机，即若配置采集频率是1秒采集一次，且在11:30:00秒向服务端发送了待上报数据，则AOP切面在此后的0.5秒又采集到操作数据，由于不满足采集频率对此操作数据不上报服务端，而是通过本地日志文件记录下来。可选地，在本地日志量达到预设第一阈值时，触发日志数据上报。在上报成功时，客户端清除上报成功的本地日志。或者，在本地日志文件大小达到预设第二阈值时，

本发明实施例的技术方案，通过SDK基于服务端下发的分桶配置信息实现向不同分桶下的用户展示不同样式的用户界面以及不同页面功能，采集用户界面中的操作数据而非埋点代码对应的用户行为数据，通过SDK基于服务端下发的采集配置信息过滤出操作数据中的待上报数据，实现应用程序无需重新发版即可动态调整数据上报策略，解决了目前的埋点方式不能动态改变SDK的采集配置，以及不能进行比对测试的问题，达到减少应用埋点，减少应用发版，提高应用开发效率的效果。

图3为本发明实施例提供的另一种数据采集方法的流程图，本实施例在上述实施例的基础上对确定待上报数据的步骤进行进一步限定。如图3所示，该方法包括：

S310、向服务端发送配置请求。

S320、获取所述服务端发送的配置响应。

S330、通过所述SDK基于所述分桶配置信息包含的网络资源地址获取网络资源信息，根据所述网络资源信息生成用户界面。

S340、通过所述SDK基于所述采集配置信息包含的采集范围，判断当前应用程序是否为待采集应用程序，若是，则执行S350，否则执行S380。

示例性地，通过SDK比对当前应用程序的应用标识和采集范围中的应用标识，若存在相同应用标识，则确定当前应用程序为待采集应用程序，否则，确定当前应用程序不是待采集应用程序。

S350、通过所述SDK基于所述采集内容从所述当前应用程序的操作数据中选择备选待上报数据。

示例性地，通过SDK匹配当前应用程序的操作数据与采集内容，将匹配上的操作数据作为备选待上报数据。具体地，确定与采集内容的数据类型一致的操作数据，将类型一致的操作数据作为备选待上报数据。或者，确定与采集内容的字段一致的操作数据，确定字段一致的操作数据作为备选待上报数据。需要说明的是，采集内容可以根据实际应用场景动态配置。

S360、通过所述SDK基于所述采集频率从所述备选待上报数据中选择待上报数据。

示例性地，通过SDK确定新采集的备选待上报数据与前一次上报数据的时间间隔，基于时间间隔确定备选待上报数据是否满足采集频率。若满足，则将备选待上报数据作为待上报数据。否则，确定新采集的备选待上报数据不是待上报数据。可选地，在确定新采集的备选待上报数据不是待上报数据的情况下，可以将新采集的备选待上报数据记录到本地日志文件。

S370、在所述待上报数据满足所述采集配置信息包含的上报条件时，加密所述待上报数据得到加密数据，发送所述加密数据给所述服务端。

其中，上报条件可以基于实际应用场景动态配置。例如，可以配置特定类型的操作数据一经采集就立即上报，还可以配置其它类型的操作数据批量上报。对于批量上报的操作数据，上报条件可以包括数据数量达到预设阈值时上报，或者，还可以为数量文件大小达到预设阈值时上报。

示例性地，通过SDK基于采集配置信息包含的上报条件确定待上报数据中的立即上报数据和批量上报数据。加密立即上报数据后上报给服务端。通过本地日志文件记录批量上报数据，在本地日志量达到预设阈值时，加密本地日志数据后上报给服务端。

加密算法包括DES(Data Encryption Standard，数据加密标准)、3DES(TripleDES)和AES(Advanced Encryption Standard，高级加密标准)等对称加密算法，还包括RSA、ECC(Elliptic Curves Cryptography，椭圆曲线密码编码学)、Diffie-Hellman密钥交换算法、El Gamal算法等非对称加密算法，以及，还包括MD5(Message Digest Algorithm 5)、SHA(Secure Hash Algorithm，安全哈希算法)、HMAC(Hash-based MessageAuthentication Code，哈希运算消息认证码)、HMAC-MD5、HMAC-SHA1等哈希算法。

具体地，通过SDK匹配待上报数据与上报条件，基于匹配结果确定待上报数据中的立即上报数据，采用加密算法加密立即上报数据后，将其上报给服务端。此外，对于基于匹配结果确定的待上报数据中的批量上报数据，将其就于本地日志文件。当本地日志文件的文件大小满足采集配置信息包含的文件大小阈值时，加密本地日志数据后上报给服务端。可选地，还可以采用加密算法对文件大小超过文件大小阈值的本地日志文件进行文件加密，将加密文件上报给服务端。

具体地，加密本地日志数据后上报给所述服务端包括：获取网络权限状态；在所述网络权限状态为开启时，启动网络服务线程，通过所述网络服务线程读取所述本地日志文件中的本地日志数据，对所述本地日志数据进行加密后上报给所述服务端。

图4为本发明实施例提供的一种数据采集方法中日志上报流程图。如图4所示，在触发开始日志上传之时，获取应用程序的网络权限状态。根据网络权限状态判断应用程序是否具有网络权限，若是，则启动网络服务线程。否则，动态申请网络服务权限。在网络服务线程启动之后，通过SDK判断本地日志数据是否上报给服务端。若是，则读取本地日志文件。否则，放弃上传日志，回收网络服务线程。在读取本地日志文件中的本地日志数据之后，采用加密算法对本地日志数据进行加密之后，将加密数据上报给服务端。获取服务端的上报响应，根据上报响应判断日志上传是否成功。若成功，则清空本地日志数据，回收网络服务线程。若失败，则返回执行读取本地日志文件，直至日志上报成功。

S380、确定所述当前应用程序不是待采集应用程序，放弃上报所述当前应用程序的操作数据。

本发明实施例的技术方案，通过AOP切面对用户界面中的操作数据进行全面采集，通过服务端下发的采集配置信息动态控制待采集的APP，以及所采集的操作数据内容，以及采集频率，可以减少人工埋点，并可以根据业务需求动态调整采集配置信息，实现在APP不发版的情况下完成采集数据调整，提升对业务需求的响应速度，提高APP的开发效率。此外，对待上报数据进行加密，以保存数据上报的安全性。

图5为本发明实施例提供的又一种数据采集方法的流程图，本实施例在上述实施例的基础上，在生成用户界面之后附加了确定并上报应用程序的异常数据的步骤。如图5所示，该方法包括：

S510、向服务端发送配置请求。

S520、获取所述服务端发送的配置响应。

S530、通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面。

S540、获取所述用户界面中的操作数据。

S550、监听当前应用程序的运行信息。

S560、根据所述运行信息判断所述当前应用程序是否正常运行，若是，则执行S570，否则，执行S580。

S570、获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

S580、获取所述当前应用程序的异常数据，通过所述SDK基于所述采集配置信息确定是否上报所述异常数据给所述服务端。

其中，异常数据为应用程序运行异常产生的数据。例如，异常数据包括异常退出、异常黑屏或者异常卡顿等。由于客户端运行时的异常数据也是APP优化所需的数据，因此，本发明实施例不仅需要获取用户界面中的操作数据，还需要获取客户端异常数据。例如，获取客户端运行时发生异常退出、异常黑屏或者异常卡顿等情况下的异常数据。

示例性地，可以通过采集配置信息预先配置立即上报的异常数据类型和批量上报的异常数据类型。在获取异常数据之后，通过SDK基于采集配置信息确定异常数据中需要立即上报的目标异常数据，并将目标异常数据上报给服务端。对于批量上报的异常数据，可以暂缓上报，而是通过本地日志文件记录对应的异常数据。

本发明实施例的技术方案，将应用程序的运行中的异常数据也上报给服务端，丰富了APP优化的数据来源，可以更有针对性的修复APP的代码程序中的缺陷。

图6为本发明实施例提供的一种数据采集方法的时序图。如图6所示，该方法包括：

S601、客户端启动，检查SDK的默认配置信息。

实例性地，在客户端(即应用APP)启动时，检查是否存在SDK的默认配置信息，以及，还检测默认配置信息是否完整。在默认配置信息存在且完整时，执行S602，否则SDK初始化失败。

S602、向服务端包含的配置管理后台发送配置请求。

S603、配置管理后台根据配置请求确定分桶配置信息和采集配置信息。

S604、向客户端发送配置响应。

其中，配置响应包含分桶配置信息和采集配置信息。

S605、客户端基于分桶配置信息和采集配置信息初始化SDK。

示例性地，SDK基于分桶配置信息包含的网络资源地址，路由到对应的资源服务器，从资源服务器获取对应的地址的信息资源，展示该信息资源，实现对不同类型的用户展示不同页面和不同功能。

SDK基于采集配置信息更新客户端中的默认采集配置信息，实现动态调整数据过滤策略，以更新采集范围、采集内容和采集频率。

S606、客户端通过AOP切面监听用户操作事件，得到操作数据。

需要说明的是，用户操作事件为用户客户端行为。用户对客户端的操作触发用户操作事件。

此外，客户端还监听客户端异常数据

S607、SDK检测采集配置，对操作数据执行如下各项操作中的至少一项：

1、判断用户操作事件是否采集；

2、判断采集内容是否符合采集配置信息；

3、控制采集频率，超出采集频率的用户操作事件不采集。

S608、SDK判定满足上报条件时，向服务端中的数据采集后台发送上报请求。

其中，上报请求包含加密后的操作数据。

S609、数据采集后台向客户端的SDK发送请求响应。

其中，请求响应包含数据上报确认信息，用于标识操作数据是否上报成功。

S610、SDK根据采集配置信息判断是否将操作数据或异常数据存储到本地日志文件，若是，则执行S611。若否，则直接上报数据采集后台。

S611、客户端将操作数据或异常数据记录到本地日志文件。

S612、SDK检测本地日志量是否达到阈值，若达到阈值，则确定本地日志满足上报条件，触发日志上报事件。

S613、SDK加密本地日志数据，向数据采集后台发送上报日志请求。

其中，日志上报请求包含加密后的本地日志数据。

S614、数据采集后台向客户端的SDK发送上报日志响应。

其中，上报日志响应包含日志上报确认信息，用于标识日志上报是否成功。

S615、在日志上报成功时，SDK向客户端发送日志清空请求。

S616、SDK获取客户端发送的日志清空响应。

其中，日志清空响应包含日志清空确认信息，用于标识日志是否清空。

本发明实施例的技术方案，通过对不同用户展示不同页面和功能，采集不同用户对不同页面和不同功能的操作数据，从而，在服务端对各种类型用户的操作数据进行分析和对比，实现一次发版即可完成多类型用户、多APP功能和多APP页面数据的采集。

图7为本发明实施例提供的一种数据采集装置的结构示意图。如图7所示，该装置包括请求发送模块710、响应获取模块720、界面生成模块730和数据上报模块740。

请求发送模块710，用于执行向服务端发送配置请求，其中，所述配置请求包含应用程序标识、设备标识和用户标识，通过所述服务端基于所述应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；

响应获取模块720，用于执行获取所述服务端发送的配置响应，其中，所述配置响应包含所述分桶配置信息和采集配置信息；

界面生成模块730，用于执行通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面，其中，所述SDK嵌入于应用程序；

数据上报模块740，用于执行获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

可选的，界面生成模块730具体用于执行：

通过所述SDK基于所述分桶配置信息包含的网络资源地址获取网络资源信息，其中，所述网络资源地址与页面标识关联存储，通过所述服务端基于所述应用程序标识、设备标识和用户标识拼接得到的字符串的哈希值与分桶数量确定所述页面标识。

可选地，数据上报模块740包括：

数据过滤子模块741，用于执行通过所述SDK基于所述采集配置信息包含的采集范围，采集内容和采集频率过滤所述操作数据，得到待上报数据；

数据上报子模块742，用于执行在所述待上报数据满足所述采集配置信息包含的上报条件时，加密所述待上报数据得到加密数据，发送所述加密数据给所述服务端。

可选地，数据过滤子模块741具体用于执行：

通过所述SDK基于所述采集配置信息包含的采集范围，判断当前应用程序是否为待采集应用程序；

若是，则通过所述SDK基于所述采集内容从所述当前应用程序的操作数据中选择备选待上报数据；

通过所述SDK基于所述采集频率从所述备选待上报数据中选择待上报数据。

可选地，数据上报子模块742具体用于执行：

通过所述SDK基于所述采集配置信息包含的上报条件确定所述待上报数据中的立即上报数据和批量上报数据；

加密所述立即上报数据后上报给所述服务端；

通过本地日志文件记录所述批量上报数据，在本地日志量达到预设阈值时，加密本地日志数据后上报给所述服务端。

可选地，数据上报子模块742具体还用于执行：

获取网络权限状态；

在所述网络权限状态为开启时，启动网络服务线程，通过所述网络服务线程读取所述本地日志文件中的本地日志数据，对所述本地日志数据进行加密后上报给所述服务端。

可选地，该装置还包括：

监听模块，用于执行在根据所述网络资源信息生成用户界面之后，监听当前应用程序的运行信息，根据所述运行信息判断所述当前应用程序是否正常运行；

若是，则执行获取所述用户界面中的操作数据的步骤；

否则，获取所述当前应用程序的异常数据，通过所述SDK基于所述采集配置信息确定是否上报所述异常数据给所述服务端。

本发明实施例所提供的数据采集装置可执行本发明任意实施例所提供的数据采集方法，具备执行方法相应的功能模块和有益效果。

图8为本发明实施例提供的一种电子设备的结构示意图。图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据采集方法。

在一些实施例中，数据采集方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据采集方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据采集方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

向服务端发送配置请求，其中，所述配置请求包含应用程序标识、设备标识和用户标识，通过所述服务端基于所述应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；

获取所述服务端发送的配置响应，其中，所述配置响应包含所述分桶配置信息和采集配置信息；

通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面，其中，所述SDK嵌入于应用程序；

获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

2.根据权利要求1所述的方法，其特征在于，所述通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，包括：

通过所述SDK基于所述分桶配置信息包含的网络资源地址获取网络资源信息，其中，所述网络资源地址与页面标识关联存储，通过所述服务端基于所述应用程序标识、设备标识和用户标识拼接得到的字符串的哈希值与分桶数量确定所述页面标识。

3.根据权利要求1所述的方法，其特征在于，所述通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，包括：

通过所述SDK基于所述采集配置信息包含的采集范围，采集内容和采集频率过滤所述操作数据，得到待上报数据；

在所述待上报数据满足所述采集配置信息包含的上报条件时，加密所述待上报数据得到加密数据，发送所述加密数据给所述服务端。

4.根据权利要求3所述的方法，其特征在于，所述通过所述SDK基于所述采集配置信息包含的采集范围，采集内容和采集频率过滤所述操作数据，得到待上报数据，包括：

通过所述SDK基于所述采集配置信息包含的采集范围，判断当前应用程序是否为待采集应用程序；

若是，则通过所述SDK基于所述采集内容从所述当前应用程序的操作数据中选择备选待上报数据；

通过所述SDK基于所述采集频率从所述备选待上报数据中选择待上报数据。

5.根据权利要求3所述的方法，其特征在于，所述在所述待上报数据满足所述采集配置信息包含的上报条件时，加密所述待上报数据得到加密数据，发送所述加密数据给所述服务端，包括：

通过所述SDK基于所述采集配置信息包含的上报条件确定所述待上报数据中的立即上报数据和批量上报数据；

加密所述立即上报数据后上报给所述服务端；

通过本地日志文件记录所述批量上报数据，在本地日志量达到预设阈值时，加密本地日志数据后上报给所述服务端。

6.根据权利要求5所述的方法，其特征在于，所述加密本地日志数据后上报给所述服务端，包括：

获取网络权限状态；

在所述网络权限状态为开启时，启动网络服务线程，通过所述网络服务线程读取所述本地日志文件中的本地日志数据，对所述本地日志数据进行加密后上报给所述服务端。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在根据所述网络资源信息生成用户界面之后，还包括：

监听当前应用程序的运行信息，根据所述运行信息判断所述当前应用程序是否正常运行；

若是，则执行获取所述用户界面中的操作数据的步骤；

否则，获取所述当前应用程序的异常数据，通过所述SDK基于所述采集配置信息确定是否上报所述异常数据给所述服务端。

8.一种数据采集装置，其特征在于，包括：

请求发送模块，用于执行向服务端发送配置请求，其中，所述配置请求包含应用程序标识、设备标识和用户标识，通过所述服务端基于所述应用程序标识、设备标识和用户标识确定分桶配置信息和采集配置信息；

响应获取模块，用于执行获取所述服务端发送的配置响应，其中，所述配置响应包含所述分桶配置信息和采集配置信息；

界面生成模块，用于执行通过软件开发工具包SDK基于所述分桶配置信息获取网络资源信息，根据所述网络资源信息生成用户界面，其中，所述SDK嵌入于应用程序；

数据上报模块，用于执行获取所述用户界面中的操作数据，通过所述SDK基于所述采集配置信息确定所述操作数据中的待上报数据，发送所述待上报数据给所述服务端。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据采集方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-7中任一项所述的数据采集方法。

Images