CN110096420A - 一种数据处理方法、系统和装置 - Google Patents
一种数据处理方法、系统和装置 Download PDFInfo
- Publication number
- CN110096420A CN110096420A CN201910345858.4A CN201910345858A CN110096420A CN 110096420 A CN110096420 A CN 110096420A CN 201910345858 A CN201910345858 A CN 201910345858A CN 110096420 A CN110096420 A CN 110096420A
- Authority
- CN
- China
- Prior art keywords
- specific field
- user operation
- server
- operation case
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
Abstract
本申请实施例提供一种数据处理方法、系统和装置，用以避免在客户端进行埋点，节省开发人员工作量，涉及数据处理分析技术领域。该方法中：第一终端设备监听页面内的用户操作事件；第一终端设备根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；第一终端设备将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。上述方法，由于不需要在客户端埋点，减少了开发人员的工作量，缩短了客户端的开发周期，方便维护。并，由于各用户操作事件对应的指定字段相同，所以，在测试时不需要人工一对一的操作和分析，节省了工作量。
Description
技术领域
本申请涉及数据处理分析技术领域，尤其涉及一种数据处理方法、系统和装置。
背景技术
目前，埋点均采用在客户端按照固定的数据格式要求预埋，当用户在客户端埋点处有操作时，会将用户的操作数据上传给服务器。现有技术的埋点方式，需要开发人员手工埋点，工作量大，且容易出现差错。不仅如此，一旦埋点出错，则需要对客户端进行修改，重新发版并重新上线。
所以，现有技术中的埋点方式导致后台统计分析效率低，工作量大的问题。
发明内容
为了避免在客户端进行埋点，并提高数据统计分析的效率，节省应用程序开发周期，本申请实施例提供一种数据处理费方法和系统。
第一方面，本申请实施例提供第一终端设备侧的一种数据处理方法。该方法包括：
第一终端设备监听页面内的用户操作事件；
第一终端设备根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；
第一终端设备将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
可选的，所述指定字段包括以下中的至少两种：用户操作事件发生时间，用户操作事件ID，用户操作事件类型，用户操作事件的上报时间，用户操作事件的属性。
可选的，所述指定字段还包括：所述页面的运行环境的环境描述信息。
第二方面，本申请实施例提供服务器侧的一种数据处理方法。该方法包括：
服务器接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器；
服务器根据预设分类规则对所述指定字段进行分类，并存储分类结果。
可选的，服务器根据预设分类规则对所述指定字段进行分类，并存储分类结果，包括：
服务器将所述指定字段按照不同的话题topic进行分类；
服务器根据标签分配规则，为各用户操作事件对应的各指定字段分配标签；
服务器并根据topic和标签存储各用户操作事件对应的各指定字段的字段值。
可选的，所述方法还包括：
服务器接收标签分配规则的配置指令，所述配置指令包括以下指令中的至少一种：新增标签分配规则、修改选定标签分配规则、删除标签分配规则；
服务器根据所述配置指令执行相应操作。
可选的，所述方法还包括：
服务器接收第二终端设备发送的订阅带有指定标签的数据请求；
服务器基于所述数据请求，根据所述第二终端设备的信息访问权限，返回所述第二终端设备的访问权限内的且含有所述指定标签的数据。
第三方面，本申请实施例提供第二终端设备侧的一种数据处理方法。该方法包括：
第二终端设备发送订阅数据请求给分布式发布订阅消息系统的服务器；
第二终端设备接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
可选的，所述订阅数据请求还包括指定标签，所述方法还包括：
第二终端设备接收所述服务器返回的访问权限内的且含有所述指定标签的数据。
第四方面，本申请实施例提供一种数据处理系统，该系统包括：
第一终端设备、分布式发布订阅消息系统的服务器、第二终端设备；
其中，所述第一终端设备用于监听页面内的用户操作事件，并根据监听到的用户操作事件，获取指定字段对应的字段值；所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；以及，将获取的指定字段对应的字段值上报给分布式发布订阅消息系统的服务器；
所述分布式发布订阅消息系统的服务器，用于接收第一终端设备上报的所述指定字段对应的字段值；以及，根据预设分类规则对所述指定字段进行分类，并存储分类结果；
所述第二终端设备，用于发送订阅数据请求给所述服务器；
所述服务器还用于，根据所述订阅数据请求返回所述第二终端设备的访问权限内的数据；
所述第二终端设备还用于接收所述服务器返回的数据。
第五方面，本申请实施例还提供一种数据处理装置，该装置包括：
监听模块，用于监听页面内的用户操作事件；
获取模块，用于根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；
上报模块，用于将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
第六方面，本申请实施例还提供另一种数据处理装置，该装置包括：
接收模块，用于接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器；
分类存储模块，用于根据预设分类规则对所述指定字段进行分类，并存储分类结果。
第七方面，本申请实施例还提供另一种数据处理装置，该装置包括：
发送模块，用于发送订阅数据请求给分布式发布订阅消息系统的服务器；
接收模块，用于接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
本申请另一实施例还提供了一种计算装置，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一数据处理方法。
本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一数据处理方法。
本申请实施例提供的一种数据处理方法、系统和装置，由于不需要在客户端埋点，减少了开发人员的工足量，缩短了客户端的开发周期，方便维护。并，由于各用户操作事件对应的指定字段相同，所以，在测试时不需要人工一对一的操作并分析，节省了工作量。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种数据处理系统示意图；
图2为本申请实施例中第一终端设备侧一种数据处理方法流程图；
图3为本申请实施例中服务器侧一种数据处理方法流程图；
图4为本申请实施例中第二终端设备侧一种数据处理方法流程图；
图5为本申请实施例中一种数据处理装置示意图；
图6为本申请实施例中另一种数据处理装置示意图；
图7为本申请实施例中另一种数据处理装置示意图；
图8为根据本申请实施方式的计算装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
目前，通常利用埋点的方式采集数据，之后对采集的数据进行统计分析。然而，现有技术中埋点方式通常需要开发人员手工埋点，工作量大，导致数据统计分析效率低的问题。
有鉴于此，本申请实施例提供一种数据处理系统。如图1所示，为本申请实施例中一种数据处理系统示意图。该系统包括：第一终端设备100、分布式发布订阅消息系统的服务器101、第二终端设备102。
其中，第一终端设备100用于监听页面内的用户操作事件，并根据监听到的用户操作事件，获取指定字段对应的字段值；所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；以及，将获取的指定字段对应的字段值上报给分布式发布订阅消息系统的服务器。
具体的，指定字段中至少包括以下中的两种：用户操作事件发生时间，用户操作事件ID，用户操作事件类型，用户操作事件的上报时间，用户操作事件的属性。其中，用户操作时间的属性包括：用户操作事件发生的页面标识，用户操作事件的元素标识，用户操作事件视图路径和用户操作事件视图类型。
例如，第一终端设备监听到用户对APP中一页面中一按钮的点击操作，则获取的指定字段对应的字段值如下：
具体实施时，基于用户操作事件获取的指定字段还包括：所述页面的运行环境的环境描述信息。例如，页面的运行系统，页面的屏幕高度、屏幕宽度等。
举例来说，假设用户对页面的某一按钮执行了点击操作，则第一终端设备100获取的指定字段中的环境描述信息可以为如下所示：
"distinct_id":"newId",//设备ID，
具体实施时，设备ID可以是移动终端的IMEI(International Mobile EquipmentIdentity,国际移动设备识别码)号码,也可以是第一终端设备随机生成的序列号。
具体实施时，第一终端设备100获取上述的全部字段对应的字段值，也可以是预先设置的指定字段对应的字段值。
上述系统，不需要在客户端进行手工埋点，减少了开发人员的工作量，并且由于各用户操作事件对应的指定字段相同，在测试阶段可以通过脚本进行测试，无需人工操作一一分析操作和统计结果，节省了统计分析时间。并且，由于无需在客户端埋点，所以，测试出问题时也能够及时修复，不需要重新发版。
分布式发布订阅消息系统的服务器101，用于接收第一终端设备100上报的指定字段对应的字段值，并，根据预设分类规则对指定字段进行分类，并存储分类结果。
具体的，可以将指定字段按照不同的topic进行分类，例如一个应用程序表示一个topic，或者，一个应用程序中还可以根据不同的小程序分为多个topic，即一个小程序对应一个topic。
例如，应用程序1对应topic1，应用程序2对应topic2。若用户在应用程序1中执行了操作事件1，和操作事件2，在应用程序2执行了操作事件3。则分类结果为，topic1中包括操作事件1对应的指定字段和操作事件2对应的指定字段；topic2中包括操作事件3对应的指定字段。
又例如，应用程序1中包括1-4等四个小程序，所以，小程序1对应topic1，小程序2对应topic2，小程序3对应topic3，小程序4对应topic4。若用户在小程序1执行了操作事件1，在小程序2执行了操作事件2和操作事件3，则分类结果为，topic1包括操作事件1对应的指定字段，topic2包括操作事件2对应的指定字段和操作事件3对应的指定字段。
具体实施时，还可以根据标签分配规则，为各用户操作事件对应的各指定字段分配标签。具体的，可以根据指定字段的字段值确定事件类型，并为一个事件类型分配一个标签。例如，指定字段的字段值的事件类型为登录，则为该指定字段分配的标签为登录；指定字段的字段值的事件类型为曝光，则为该指定字段分配的标签为曝光。
并根据topic和标签存储各用户操作事件对应的各指定字段的字段值。例如，用户在应用程序1中执行了操作事件1，则根据操作事件1的指定字段的字段值确定操作事件1的事件类型为登录，并且应用程序1对应的分类为topic1，则操作事件1的指定字段存储如下：
上述系统，能够用户操作事件对应的指定字段和字段值进行存储，能够在出现问题时，回溯存储的数据。并且，通过为指定字段进行分类和添加标签，在获取指定字段时通过分类结果和标签进行查找，操作简单方便。
具体的，前述标签分配规则可以自行配置。例如，新增标签分配规则、修改选定标签分配规则、删除标签分配规则。这样，实现了灵活配置标签分配规则的目的，能够使得标签分配规则满足多种需求。
所述第二终端设备102，用于发送订阅数据请求给所述服务器101。所述服务器101，基于发送订阅数据请求中的第二终端设备标识对第二终端设备102进行身份认证，在身份认证通过后根据上述订阅数据请求返回第二终端设备的访问权限内的数据。
具体的，一个第二终端设备可以对应一个topic或者多个topic，例如，第二终端设备a的访问权限可以包括topic1，第二终端设备b的访问权限包括topic2和topic3。
具体实施时，第二终端设备102发送的订阅数据请求中还包括指定标签，则服务器101根据所述指定标签，在访问权限内查找所述指定标签对应的指定字段和字段值，并返回查找到的数据。
例如，第二终端设备102发送的订阅数据请求中包括“登录”。服务器101首先查找第二终端设备102的访问权限，该第二终端设备102的访问权限为topic1，则服务器101在topic1包括的指定字段中，查找“登录”对应的指定字段和字段值，例如前述示例中的字段值：
第二终端设备102，还用于接收所述服务器101返回的数据。
上述系统，不同的第二终端设备对应不同的topic，使得第二终端设备可以快速的查找对应的topic中的字段值，并且可以查找指定标签的指定字段和字段值，节省了数据统计分析的时间，提高了数据统计分析的效率。
基于相同的发明构思，本申请实施例还提供一种数据处理方法。如图2所示，为本申请实施例中第一终端设备侧一种数据处理方法流程图。该流程包括以下步骤：
步骤201：第一终端设备监听页面内的用户操作事件。
步骤202：第一终端设备根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同。
步骤203：第一终端设备将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
可选的，所述指定字段包括以下中的至少两种：用户操作事件发生时间，用户操作事件ID，用户操作事件类型，用户操作事件的上报时间，用户操作事件的属性。
可选的，所述指定字段还包括：所述页面的运行环境的环境描述信息。
基于相同的发明构思，本申请实施例还提供另一种数据处理方法。如图3所示，为本申请实施例中服务器侧一种数据处理方法流程图。该流程包括以下步骤：
步骤301：服务器接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器。
步骤302：服务器根据预设分类规则对所述指定字段进行分类，并存储分类结果。
可选的，上述步骤302可以执行为如步骤A1-A3所示的操作：
步骤A1：将所述指定字段按照不同的话题topic进行分类。
步骤A2：根据标签分配规则，为各用户操作事件对应的各指定字段分配标签。
步骤A3：并根据topic和标签存储各用户操作事件对应的各指定字段的字段值。
可选的，该方法还包括：
接收标签分配规则的配置指令，所述配置指令包括以下指令中的至少一种：新增标签分配规则、修改选定标签分配规则、删除标签分配规则；
根据所述配置指令执行相应操作。
可选的，该方法还包括：
接收第二终端设备发送的订阅带有指定标签的数据请求；
基于所述数据请求，根据所述第二终端设备的信息访问权限，返回所述第二终端设备的访问权限内的且含有所述指定标签的数据。
基于相同的发明构思，本申请实施例还提供另一种数据处理方法。如图4所示，为本申请实施例中第二终端设备侧一种数据处理方法流程图。该流程包括以下步骤：
步骤401：第二终端设备发送订阅数据请求给分布式发布订阅消息系统的服务器。
步骤402：第二终端设备接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
可选的，所述订阅数据请求还包括指定标签，所述方法还包括：
接收所述服务器返回的访问权限内的且含有所述指定标签的数据。
基于相同的发明构思，本申请实施例还提供一种数据处理装置。如图5所示，为本申请实施例中一种数据处理装置示意图，该装置包括：
监听模块501，用于监听页面内的用户操作事件；
获取模块502，用于根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；
上报模块503，用于将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
可选的，所述指定字段包括以下中的至少两种：用户操作事件发生时间，用户操作事件ID，用户操作事件类型，用户操作事件的上报时间，用户操作事件的属性。
可选的，所述指定字段还包括：所述页面的运行环境的环境描述信息。
基于相同的发明构思，本申请实施例还提供另一种数据处理装置。如图6所示，为本申请实施例中另一种数据处理装置示意图。该装置包括：
接收模块601，用于接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器；
分类存储模块602，用于根据预设分类规则对所述指定字段进行分类，并存储分类结果。
可选的，分类存储模块602具体用于：
将所述指定字段按照不同的话题topic进行分类；
根据标签分配规则，为各用户操作事件对应的各指定字段分配标签；
并根据topic和标签存储各用户操作事件对应的各指定字段的字段值。
可选的，所述接收模块601还用于：
接收标签分配规则的配置指令，所述配置指令包括以下指令中的至少一种：新增标签分配规则、修改选定标签分配规则、删除标签分配规则；
根据所述配置指令执行相应操作。
可选的，所述接收模块601还用于：
接收第二终端设备发送的订阅带有指定标签的数据请求；
基于所述数据请求，根据所述第二终端设备的信息访问权限，返回所述第二终端设备的访问权限内的且含有所述指定标签的数据。
基于相同的发明构思，本申请实施例中还提供另一种数据处理装置。如图7所示，为本申请实施例中另一种数据处理装置示意图。该装置包括：
发送模块701，用于发送订阅数据请求给分布式发布订阅消息系统的服务器；
接收模块702，用于接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
可选的，所述订阅数据请求还包括指定标签，所述接收模块702还用于：
接收所述服务器返回的访问权限内的且含有所述指定标签的数据。
在介绍了本申请示例性实施方式的一种数据处理方法、系统和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器(如前述的第一服务器)。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-203或者如图3中所述的步骤301-302或者如图4中所示的步骤401-402。
下面参照图8来描述根据本申请的这种实施方式的计算装置130。图8显示的计算装置130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算装置130以通用计算装置的形式表现。计算装置130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置130交互的设备通信，和/或与使得该计算装置130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算装置130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算装置130的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的数据处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理法中的步骤，例如，计算机设备可以执行如图2中所示的步骤201-203或者如图3所示的步骤301-302或者如图4所示的步骤401-402。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于数据处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种数据处理方法，其特征在于，所述方法包括：
第一终端设备监听页面内的用户操作事件；
根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；
将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
2.根据权利要求1所述的方法，其特征在于，所述指定字段包括以下中的至少两种：用户操作事件发生时间，用户操作事件ID，用户操作事件类型，用户操作事件的上报时间，用户操作事件的属性。
3.根据权利要求1所述的方法，其特征在于，所述指定字段还包括：所述页面的运行环境的环境描述信息。
4.一种数据处理方法，其特征在于，所述方法包括：
服务器接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器；
根据预设分类规则对所述指定字段进行分类，并存储分类结果。
5.根据权利要求4所述的方法，其特征在于，根据预设分类规则对所述指定字段进行分类，并存储分类结果，包括：
将所述指定字段按照不同的话题topic进行分类；
根据标签分配规则，为各用户操作事件对应的各指定字段分配标签；
并根据topic和标签存储各用户操作事件对应的各指定字段的字段值。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收标签分配规则的配置指令，所述配置指令包括以下指令中的至少一种：新增标签分配规则、修改选定标签分配规则、删除标签分配规则；
根据所述配置指令执行相应操作。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收第二终端设备发送的订阅带有指定标签的数据请求；
基于所述数据请求，根据所述第二终端设备的信息访问权限，返回所述第二终端设备的访问权限内的且含有所述指定标签的数据。
8.一种数据处理方法，其特征在于，所述方法包括：
发送订阅数据请求给分布式发布订阅消息系统的服务器；
接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
9.根据权利要求8所述的方法，其特征在于，所述订阅数据请求还包括指定标签，所述方法还包括：
接收所述服务器返回的访问权限内的且含有所述指定标签的数据。
10.一种数据处理系统，其特征在于，所述系统包括：第一终端设备、分布式发布订阅消息系统的服务器、第二终端设备；
其中，所述第一终端设备用于监听页面内的用户操作事件，并根据监听到的用户操作事件，获取指定字段对应的字段值；所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；以及，将获取的指定字段对应的字段值上报给分布式发布订阅消息系统的服务器；
所述分布式发布订阅消息系统的服务器，用于接收第一终端设备上报的所述指定字段对应的字段值；以及，根据预设分类规则对所述指定字段进行分类，并存储分类结果；
所述第二终端设备，用于发送订阅数据请求给所述服务器；
所述服务器还用于，根据所述订阅数据请求返回所述第二终端设备的访问权限内的数据；
所述第二终端设备还用于接收所述服务器返回的数据。
11.一种数据处理装置，其特征在于，所述装置包括：
监听模块，用于监听页面内的用户操作事件；
获取模块，用于根据监听到的用户操作事件，获取指定字段对应的字段值，所述指定字段至少包括后台统计分析时所需的必须字段，且各用户操作事件对应的指定字段相同；
上报模块，用于将获取的指定字段对应的字段值上报给分布式发布订阅消息系统中的服务器。
12.一种数据处理装置，其特征在于，所述装置包括：
接收模块，用于接收第一终端设备上报的基于用户操作事件获取的各指定字段的字段值；其中，各用户操作事件对应的指定字段相同；所述服务器为分布式发布订阅消息系统中的服务器；
分类存储模块，用于根据预设分类规则对所述指定字段进行分类，并存储分类结果。
13.一种数据处理装置，其特征在于，所述装置包括：
发送模块，用于发送订阅数据请求给分布式发布订阅消息系统的服务器；
接收模块，用于接收所述服务器根据所述订阅数据请求返回的访问权限内的数据；其中，返回的数据中包括各用户操作事件的指定字段对应的字段值，各用户操作事件对应的指定字段相同。
14.一种计算机可读介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-3中任一权利要求所述的方法或者如权利要求4-7中任一权利要求所述的方法或者如权利要求8-9任一权利要求所述的方法。
15.一种计算装置，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-3中任一权利要求所述的方法或者如权利要求4-7中任一权利要求所述的方法或者如权利要求8-9任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345858.4A CN110096420A (zh) | 2019-04-26 | 2019-04-26 | 一种数据处理方法、系统和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345858.4A CN110096420A (zh) | 2019-04-26 | 2019-04-26 | 一种数据处理方法、系统和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110096420A true CN110096420A (zh) | 2019-08-06 |
Family
ID=67446029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910345858.4A Pending CN110096420A (zh) | 2019-04-26 | 2019-04-26 | 一种数据处理方法、系统和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110096420A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112218417A (zh) * | 2020-10-26 | 2021-01-12 | 青岛海信智慧家居系统股份有限公司 | 一种照明装置及照明系统 |
| CN112395173A (zh) * | 2019-08-14 | 2021-02-23 | 腾讯科技（深圳）有限公司 | 信息流数据上报的方法和装置 |
| CN113377634A (zh) * | 2021-05-25 | 2021-09-10 | 北京猿力教育科技有限公司 | 用于回溯用户操作的监听方法、用户操作回溯方法和设备 |
| CN113377631A (zh) * | 2021-05-25 | 2021-09-10 | 北京猿力教育科技有限公司 | 用户行为的回溯方法及装置 |
| CN113407879A (zh) * | 2020-03-16 | 2021-09-17 | 北京搜狗科技发展有限公司 | 一种数据上报方法、装置及可读介质 |
| CN113779063A (zh) * | 2021-08-03 | 2021-12-10 | 广州心娱网络科技有限公司 | 报表数据的处理、显示方法、系统、装置及存储介质 |
| CN113407879B (zh) * | 2020-03-16 | 2024-04-30 | 北京搜狗科技发展有限公司 | 一种数据上报方法、装置及可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
| CN108415804A (zh) * | 2018-01-23 | 2018-08-17 | 平安普惠企业管理有限公司 | 获取信息的方法、终端设备及计算机可读存储介质 |
| CN109286648A (zh) * | 2017-07-21 | 2019-01-29 | 比亚迪股份有限公司 | 数据推送方法、装置、系统和终端设备 |
-
2019
- 2019-04-26 CN CN201910345858.4A patent/CN110096420A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286648A (zh) * | 2017-07-21 | 2019-01-29 | 比亚迪股份有限公司 | 数据推送方法、装置、系统和终端设备 |
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
| CN108415804A (zh) * | 2018-01-23 | 2018-08-17 | 平安普惠企业管理有限公司 | 获取信息的方法、终端设备及计算机可读存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395173A (zh) * | 2019-08-14 | 2021-02-23 | 腾讯科技（深圳）有限公司 | 信息流数据上报的方法和装置 |
| CN112395173B (zh) * | 2019-08-14 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 信息流数据上报的方法和装置 |
| CN113407879A (zh) * | 2020-03-16 | 2021-09-17 | 北京搜狗科技发展有限公司 | 一种数据上报方法、装置及可读介质 |
| CN113407879B (zh) * | 2020-03-16 | 2024-04-30 | 北京搜狗科技发展有限公司 | 一种数据上报方法、装置及可读介质 |
| CN112218417A (zh) * | 2020-10-26 | 2021-01-12 | 青岛海信智慧家居系统股份有限公司 | 一种照明装置及照明系统 |
| CN113377634A (zh) * | 2021-05-25 | 2021-09-10 | 北京猿力教育科技有限公司 | 用于回溯用户操作的监听方法、用户操作回溯方法和设备 |
| CN113377631A (zh) * | 2021-05-25 | 2021-09-10 | 北京猿力教育科技有限公司 | 用户行为的回溯方法及装置 |
| CN113779063A (zh) * | 2021-08-03 | 2021-12-10 | 广州心娱网络科技有限公司 | 报表数据的处理、显示方法、系统、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096420A (zh) | 一种数据处理方法、系统和装置 | |
| US9442827B2 (en) | Simulation environment for distributed programs | |
| CN109408105A (zh) | 用户行为数据的采集方法、装置、计算装置和存储介质 | |
| CN111352800A (zh) | 大数据集群监控方法及相关设备 | |
| CN112870726B (zh) | 图形处理器的资源分配方法、装置和存储介质 | |
| CN107704387B (zh) | 用于系统预警的方法、装置、电子设备及计算机可读介质 | |
| US10999333B2 (en) | Contemporaneous feedback during web-conferences | |
| CN108696400A (zh) | 网络监测方法和装置 | |
| US11722371B2 (en) | Utilizing unstructured data in self-organized networks | |
| CN108595316A (zh) | 分布式应用的生命周期管理方法、管理器、设备和介质 | |
| CN110781180B (zh) | 一种数据筛选方法和数据筛选装置 | |
| US20150269062A1 (en) | Defining test bed requirements | |
| JP2022033685A (ja) | 堅牢性を確定するための方法、装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム | |
| CN110096444A (zh) | 一种基于excel生成测试用例的管理系统、使用方法及设备 | |
| CN109743286A (zh) | 一种基于图卷积神经网络的ip类型标记方法及设备 | |
| US11663505B2 (en) | Estimating performance and required resources from shift-left analysis | |
| US20180004638A1 (en) | Run time workload threshold alerts for customer profiling visualization | |
| CN114185770A (zh) | 生成测试数据的方法、装置、计算机设备和存储介质 | |
| US11205092B2 (en) | Clustering simulation failures for triage and debugging | |
| CN115668895A (zh) | 云服务系统的资源配置确定方法及装置 | |
| US20200026701A1 (en) | Dynamic visualization of application and infrastructure components with layers | |
| CN103152212A (zh) | 一种告警相关性分析方法、装置及网络管理系统 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| US20110213663A1 (en) | Service intelligence module program product | |
| CN115220131A (zh) | 气象数据质检方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |