CN109426600B

CN109426600B - 数据采集处理方法、装置、设备及可读存储介质

Info

Publication number: CN109426600B
Application number: CN201711415027.7A
Authority: CN
Inventors: 杨学强; 薛良贵
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2022-04-22
Anticipated expiration: 2037-12-21
Also published as: CN109426600A

Abstract

本发明公开了一种数据采集处理方法，包括以下步骤：基于预置的统一事件模型，构建用于存储采集数据的事件容器并对所述事件容器进行实例化；将采集的应用程序的事件数据填充至实例化的所述事件容器中；以所述统一事件模型的属性为对象，将所述事件容器中数据转换为预设格式的字符串并保存至本地数据库中；将本地数据库中保存的所述字符串批量上传后台服务器，以供后台服务器对所述应用程序进行性能分析。本发明还公开了一种数据采集处理装置、设备以及可读存储介质。本发明在数据采集上使用统一的数据格式，进而方便后续的数据分析，提升数据处理效率。

Description

数据采集处理方法、装置、设备及可读存储介质

技术领域

本发明涉及应用性能监控领域，尤其涉及一种数据采集处理方法、装置、设备及计算机可读存储介质。

背景技术

通常，应用程序APP运营方为了后续能够对APP进行性能上的持续改进，因而需要获得APP运行过程中的性能数据，也即APP运营方需要主动对APP用户端进行监控以获取APP的性能监控数据。

对于数据采集与数据分析来说，数据模型至关重要。后台服务器需要采集的数据类型多种多样，如果不同类型的数据使用不同的数据结构，并且数据存储时分开存储，那么在分析数据时，将大大增加数据的分析难度与处理效率，而这并不利于实现对APP进行性能上的持续改进。

发明内容

本发明的主要目的在于提供一种数据采集处理方法、装置、设备及计算机可读存储介质，旨在解决现有技术中在采集数据时使用的数据模型不统一，进而增加了数据的分析难度与处理效率的技术问题。

为实现上述目的，本发明提供一种数据采集处理方法，应用安装有应用程序的终端，所述数据采集处理方法包括以下步骤：

基于预置的统一事件模型，构建用于存储采集数据的事件容器并对所述事件容器进行实例化；

将采集的应用程序的事件数据填充至实例化的所述事件容器中；

以所述统一事件模型的属性为对象，将所述事件容器中数据转换为预设格式的字符串并保存至本地数据库中；

将本地数据库中保存的所述字符串批量上传后台服务器，以供后台服务器对所述应用程序进行性能分析。

可选地，所述统一事件模型的属性包括：事件的触发者、事件的处理者、事件的属性信息以及事件的关联子事件信息；

其中，当处理者可以单独处理事件时，该事件的关联子事件信息为空，当处理者需要其他处理者参与处理事件时，该事件的关联子事件信息非空且用于描述其他处理者处理该事件的相关信息。

可选地，所述触发者的属性包括：触发者所处的设备信息、触发者所处的模块信息、触发者实例所在的进程与线程信息；

所述处理者的属性包括：处理者所处的设备信息、处理者所处的模块信息、处理者实例所在的进程与线程信息；

所述事件的属性信息包括：事件ID、用于串联各事件链中不同事件的事件链key、事件携带的参数数据、事件发生的时间、参与事件的用户ID、事件的处理时长、事件的处理结果、事件的类型标记；

所述事件的关联子事件信息包括：子事件ID、子事件的处理结果、子事件的处理时长；

其中，通过事件链key可将多个事件串联为一个整体事件以供后台服务器对该整体事件所对应的业务进行性能分析、通过事件或子事件的处理时长可供后台服务器分析事件或子事件的响应速度。

可选地，所述以所述统一事件模型的属性为对象，将所述事件容器中数据转换为预设格式的字符串并保存至本地数据库中包括：

以所述统一事件模型的触发者、处理者、事件的属性信息、事件的关联子事件信息为对象，采用GSON工具将所述事件容器中数据转换为JSON格式的字符串；

基于所述事件数据特征设置的数据分类规则，对所述字符串进行分类，并将分类结果保存至本地数据库中。

可选地，所述基于所述事件数据特征设置的数据分类规则，对所述字符串进行分类包括：

基于所述事件数据特征设置的数据分类规则，提取所述字符串中所述终端的网络状态；

以所述终端的网络状态为分类依据，对所述字符串进行分类，其中，同一网络状态对应一类字符串。

可选地，所述将本地数据库中保存的所述字符串批量上传后台服务器包括：

在上传数据时，将本地数据库中保存的同一类字符串与对应的一条网络状态信息按照预设的JSON格式进行组装，并将组装完成后的数据上传后台服务器。

可选地，所述数据采集处理方法还包括：

在采集数据之前，向后台服务器发送数据采集策略的获取请求，其中，所述获取请求中包含有所述终端的基本信息；

接收后台服务器基于所述终端的基本信息进行策略匹配而得到的数据采集策略；

基于接收到的数据采集策略，采集应用程序的事件数据。

进一步地，为实现上述目的，本发明还提供一种数据采集处理装置，所述数据采集处理装置包括：

构建模块，用于基于预置的统一事件模型，构建用于存储采集数据的事件容器并对所述事件容器进行实例化；

填充模块，用于将采集的应用程序的事件数据填充至实例化的所述事件容器中；

转换模块，用于以所述统一事件模型的属性为对象，将所述事件容器中数据转换为预设格式的字符串并保存至本地数据库中；

上传模块，用于将本地数据库中保存的所述字符串批量上传后台服务器，以供后台服务器对所述应用程序进行性能分析。

进一步地，为实现上述目的，本发明还提供一种数据采集处理设备，安装有应用程序，所述数据采集处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集处理程序，所述数据采集处理程序被所述处理器执行时实现如上述任一项所述的数据采集处理方法的步骤。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集处理程序，所述数据采集处理程序被所述处理器执行时实现如上述任一项所述的数据采集处理方法的步骤。

本发明中，以统一事件模型为数据容器，对采集的事件数据进行抽象，从而实现采集数据在数据结构上的通用性。不同的监控场景使用相同的数据模型并统一存储，进而实现了数据采集与分析的字段统一，降低了数据的分析难度，同时提升了对应用程序进行性能监控的处理效率。

附图说明

图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图；

图2为本发明数据采集处理方法第一实施例的流程示意图；

图3为本发明统一事件模型一实施例的属性参数设置示意图；

图4为图2中步骤S30一实施例的流程示意图；

图5为本发明数据采集处理方法第二实施例的流程示意图；

图6为本发明数据采集处理装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图。

本发明实施例数据采集处理设备可以是智能手机、平板电脑、便携计算机等具有显示功能的设备。

如图1所示，该数据采集处理设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

本领域技术人员可以理解，图1中示出的数据采集处理设备的硬件结构并不构成对数据采集处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集处理程序。其中，操作系统是管理和控制数据采集处理设备与软件资源的程序，支持网络通信模块、用户接口模块、数据采集处理程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的数据采集处理设备硬件结构中，网络接口1004主要用于连接系统后台，与系统后台进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；数据采集处理设备通过处理器1001调用存储器1005中存储的数据采集处理程序，并执行以下步骤：

进一步地，所述数据采集处理设备通过处理器1001调用存储器1005中存储的数据采集处理程序，以执行以下操作：

基于接收到的数据采集策略，采集应用程序的事件数据。

基于上述硬件结构，提出本发明数据采集处理方法的各个实施例。

参照图2，图2为本发明数据采集处理方法第一实施例的流程示意图。

本实施例中，数据采集处理设备中安装有应用程序(也即APP客户端)，数据采集处理设备通过该应用程序可实现与后台服务器的通信连接。

本实例中，数据采集处理方法包括以下步骤：

步骤S10，基于预置的统一事件模型，构建用于存储采集数据的事件容器并对事件容器进行实例化；

本实施例中，统一事件模型具体为一种数据模型结构、是对事件的抽象化处理，用于对各事件数据进行抽象化描述。以事件为中心的统一事件模型可以保证针对不同事件的数据采集所得到的事件数据在字段上统一，进而便于存储与分析。

可选的，在一实施例中，统一事件模型的属性包括：

(1)事件的触发者，触发事件的对象、事件的触发源；

(2)事件的处理者，处理事件的对象、事件的执行者；

(3)事件的属性信息，事件的信息和属性、事件自身的数据；

(4)事件的关联子事件信息，事件关联的子事件。其中，当处理者可以单独处理事件时，该事件的关联子事件信息为空，当处理者需要其他处理者参与处理事件时，该事件的关联子事件信息非空且用于描述其他处理者处理该事件的相关信息。

本实施例中，统一事件模型是对事件的抽象，描述的是事件的属性，具体选用触发事件的对象、处理事件的对象、事件的信息和属性以及事件关联的子事件作为属性以描述事件。

本实施例中，统一事件模型适用于数据采集处理设备内部各模块之间的通信，数据采集处理设备到后台服务器之间的通信，后台服务器到其他服务器之间的通信的各种场景。

其中，触发者和处理者可以在同一台设备上，比如数据采集处理设备的某个模块调用自身的其它模块。触发者和处理者也可以在不同的设备上，比如数据采集处理设备调用后台服务器的数据上传接口。

以事件为中心、进行统一建模的好处是可以适用于各种不同的系统角色和事件场景，整个系统使用相同的数据结构模型来处理和分析数据，从而可提升数据处理效率。

本实施例中，事件容器具体为一种数据结构，通过特定数据模型结构以存储数据。

数据采集处理设备基于预置的统一事件模型，构建用于存储采集数据的事件容器并对事件容器进行实例化。

步骤S20，将采集的应用程序的事件数据填充至实例化的事件容器中；

本实施例中，数据采集处理设备具体基于统一事件模型中各属性参数，采集应用程序的对应事件数据，然后再填充至实例化的事件容器中。

可选的，如图3所示，在一实施例中，本发明统一事件模型的属性参数设置如下：

(1)触发者

表1

属性	说明
		设备信息	触发者所处的设备信息
模块	发者所处的模块信息，使用URI标记模块
		实例	触发者实例所在的进程与线程信息，包括进程pid与线程tid

(2)处理者

表2

属性	说明
		设备信息	处理者所处的设备信息
模块	处理者所处的模块信息，使用URI标记模块
		实例	处理者实例所在的进程与线程信息，包括进程pid与线程tid

(3)事件的属性信息

表3

属性	说明
		事件ID	事件的URL标记，使用类名+方法名构成
事件链key	串联各事件链中不同事件
		事件参数	事件携带的参数数据
事件发生时间	事件发生的时间
		参与事件的用户	参与事件的用户ID
事件处理时长	事件从请求到响应的处理时长
		事件处理结果	结果数据
事件标签	事件的类型标记

(4)事件的关联子事件信息

表4

属性	说明
		子事件ID	子事件的URL标记，使用类名+方法名构成
事件处理结果	子事件的结果数据
		事件处理时长	子事件从请求到响应的处理时长

本实施例中，数据采集处理设备将采集的应用程序的事件数据填充至实例化的事件容器中，也即将采集的事件数据赋值给实例化的事件容器中统一事件模型的对应属性。其中，通过事件链key可将多个事件串联为一个整体事件以供后台服务器对该整体事件所对应的业务进行性能分析、通过事件或子事件的处理时长可供后台服务器分析事件或子事件的响应速度。

例如，一个整体事件M可以依次通过M1、M2、M3多个事件来实现，如果多个事件都携带有相同的事件链key，则该多个事件通过事件key可串联为一个整体事件。比如，实现某项交易业务(整体事件M)，需要依次执行交易项目选定事件、交易发起事件、交易结算事件、账户更新事件等多个事件，该多个事件都携带有事件链key，进而可串联为一个整体事件(一项交易业务)，通过对各事件进行性能分析，进而可实现对该整体事件所对应业务的性能分析，比如业务处理时长、业务占用的系统资源、业务异常处理等性能分析。

步骤S30，以统一事件模型的属性为对象，将事件容器中数据转换为预设格式的字符串并保存至本地数据库中；

步骤S40，将本地数据库中保存的字符串批量上传后台服务器，以供后台服务器对应用程序进行性能分析。

本实施例中，为便于后续上传与分析数据，因此，在数据采集端，数据采集处理设备进一步将实例化的事件容器中填充的数据转换为字符串，并保存到本地数据库中。

在上传数据时，数据采集处理设备将本地数据库中保存的字符串批量上传后台服务器，从而便于后台服务器进行性能分析。需要进一步说明的是，本发明中，后台服务器采用同样的统一事件模型进行分析处理，进而实现前端采集与后端分析的数据结构、字段的统一。

本实施例中，以统一事件模型为数据容器，对采集的事件数据进行抽象，从而实现采集数据在数据结构上的通用性。不同的监控场景使用相同的数据模型并统一存储，进而实现了数据采集与分析的字段统一，降低了数据的分析难度，同时提升了对应用程序进行性能监控的处理效率。

参照图4，图4为图2中步骤S30一实施例的流程示意图。本实施例中，上述步骤S30：以统一事件模型的属性为对象，将事件容器中数据转换为预设格式的字符串并保存至本地数据库中进一步包括：

步骤S301，以统一事件模型的触发者、处理者、事件的属性信息、事件的关联子事件信息为对象，采用GSON工具将事件容器中数据转换为JSON格式的字符串；

步骤S302，基于所述事件数据特征设置的数据分类规则，对字符串进行分类，并将分类结果保存至本地数据库中。

本实施例中，GSON工具是一种Java API，用于转换Java对象和Json对象。本实施例具体以统一事件模型的触发者、处理者、事件的属性信息、事件的关联子事件信息为对象，将事件容器中Java格式的对象数据转换为JSON格式的字符串。

例如，处理者handler对应的属性以JSON格式的字符串表示如下：

handler:{"device":Monitor,"instance":{"pid":3901,"tid":3901},"module":{

"mid":"com.pingan.demo"}}

本实施例中，数据采集处理设备将触发者、处理者、事件的属性信息、事件的关联子事件信息各自对应的JSON格式的字符串串联起来，就构成一个事件的JSON格式字符串。

此外，为便于后台服务器进行数据分析，因此，数据采集处理设备将基于预置的数据分类规则，对字符串进行分类，并将分类结果保存至本地数据库中。

可选的，数据采集处理设备基于所述事件数据特征设置的数据分类规则，提取所述字符串中所述终端的网络状态；并以所述终端的网络状态为分类依据，对字符串进行分类，其中，同一网络状态对应一类字符串。其中，网络状态包括：网络类型、IP地址，比如网络类型为3G、4G信号或者WIFI无线信号。

例如，有A、B、C三个监控事件，在9点、12点，网络状态发生了变化，则将9点之前采集的事件数据对应的JSON格式字符串分为第一类，而将9点到12点之间采集的事件数据对应的JSON格式字符串分为第二类，将12点以后采集的事件数据对应的JSON格式字符串分为第三类。

进一步可选的，在上传数据时，数据采集处理设备将本地数据库中保存的同一类字符串与对应的一条网络状态信息按照预设的JSON格式进行组装，并将组装完成后的数据上传后台服务器。

通常每一个采集事件都对应一条网络状态信息，如果上报N条采集事件对应数据的话，则同时还需要上传N条相同的网络状态信息，也即存在冗余数据的上传而消耗用户流量，因此，本可选实施例中，在上报一类字符串(包括多条采集事件数据)时，对于重复的网络状态信息只需上报一条即可，并按照预设的JSON格式进行组装，最后再将组装完成后的数据上传后台服务器。

参照图5，图5为本发明数据采集处理方法第二实施例的流程示意图。本实施例中，数据采集处理方法还包括：

步骤S1、在采集数据之前，向后台服务器发送数据采集策略的获取请求，其中，获取请求中包含有终端的基本信息；

步骤S2、接收后台服务器基于终端的基本信息进行策略匹配而得到的数据采集策略；

步骤S3、基于接收到的数据采集策略，采集应用程序的事件数据。

本实施例中，在后台服务端设置一策略中心，用以向数据采集处理设备(也即终端)提供数据采集策略，数据采集处理设备通过发起数据采集策略的获取请求以访问策略中心，从而获取与自身情况匹配的数据采集策略，进而实现数据采集策略的动态下发，同时，在后台服务端可根据需要灵活设置不同的数据采集策略，从而获得所需范围内的监控数据。

可选的，以终端为手机终端为例，上述终端的基本信息可以包括：手机机型、手机系统版本、APP版本、手机所在地理区域、手机号码等。后台服务器基于终端的基本信息进行策略匹配，如果匹配到，则将对应的数据采集策略下发给数据采集处理设备。如下表5所示。

表5数据采集策略与匹配项的映射关系示例

例如，手机上传的基本信息为：OPPO、Android、V1、深圳、130，则后台服务器通过策略匹配，确定匹配的策略为策略A，并将该策略A下发给手机，进而手机基于该策略A对手机上安装的对应应用程序进行性能监控，并将监控结果上传后台服务器。

参照图6，图6为本发明数据采集处理装置一实施例的功能模块示意图。本实施例中，数据采集处理装置包括：

构建模块10，用于基于预置的统一事件模型，构建用于存储采集数据的事件容器并对事件容器进行实例化；

填充模块20，用于将采集的应用程序的事件数据填充至实例化的事件容器中；

转换模块30，用于以统一事件模型的属性为对象，将事件容器中数据转换为预设格式的字符串并保存至本地数据库中；

上传模块40，用于将本地数据库中保存的字符串批量上传后台服务器，以供后台服务器对应用程序进行性能分析。

本实施例中，数据采集处理装置以统一事件模型为数据容器，对采集的事件数据进行抽象，从而实现采集数据在数据结构上的通用性。不同的监控场景使用相同的数据模型并统一存储，进而实现了数据采集与分析的字段统一，降低了数据的分析难度，同时提升了对应用程序进行性能监控的处理效率。

本发明还提供一种应用于数据采集处理设备的计算机可读存储介质。

计算机可读存储介质上存储有数据采集处理程序，该数据采集处理程序被处理器执行时实现上述数据采集处理方法任一实施例中的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims

1.一种数据采集处理方法，应用于安装有应用程序的终端，其特征在于，所述数据采集处理方法包括以下步骤：

2.如权利要求1所述的数据采集处理方法，其特征在于，所述统一事件模型的属性包括：事件的触发者、事件的处理者、事件的属性信息以及事件的关联子事件信息；

其中，当处理者单独处理事件时，该事件的关联子事件信息为空，当处理者需要其他处理者参与处理事件时，该事件的关联子事件信息非空且用于描述其他处理者处理该事件的相关信息。

3.如权利要求2所述的数据采集处理方法，其特征在于，

所述触发者的属性包括：触发者所处的设备信息、触发者所处的模块信息、触发者实例所在的进程与线程信息；

其中，通过事件链key将多个事件串联为一个整体事件以供后台服务器对该整体事件所对应的业务进行性能分析、通过事件或子事件的处理时长可供后台服务器分析事件或子事件的响应速度。

4.如权利要求3所述的数据采集处理方法，其特征在于，所述以所述统一事件模型的属性为对象，将所述事件容器中数据转换为预设格式的字符串并保存至本地数据库中包括：

5.如权利要求4所述的数据采集处理方法，其特征在于，所述基于所述事件数据特征设置的数据分类规则，对所述字符串进行分类包括：

6.如权利要求5所述的数据采集处理方法，其特征在于，所述将本地数据库中保存的所述字符串批量上传后台服务器包括：

7.如权利要求1-6中任一项所述的数据采集处理方法，其特征在于，所述数据采集处理方法还包括：

基于接收到的数据采集策略，采集应用程序的事件数据。

8.一种数据采集处理装置，其特征在于，所述数据采集处理装置包括：

9.一种数据采集处理设备，安装有应用程序，其特征在于，所述数据采集处理设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的数据采集处理程序，所述数据采集处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据采集处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集处理程序，所述数据采集处理程序被处理器执行时实现如权利要求1至7中任一项所述的数据采集处理方法的步骤。