CN113836387A - 一种数据处理方法和相关装置 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法和相关装置，在终端设备需要向服务器上报用户数据的场景中，终端设备根据待上报服务器的第一用户数据，确定第一用户数据的上报场景，由于该上报场景可以标识第一用户数据涉及的业务功能，故可以根据对应上报场景的数据处理方式，对第一用户数据进行符合业务服务的数据处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据。终端设备将第二用户数据上报服务器，使得服务器不再需要对第二用户数据进行额外处理即可针对该业务服务使用，降低了服务器的数据计算压力。

Description

一种数据处理方法和相关装置

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法和相关装置。

背景技术

用户通过使用终端所产生的数据可以应用于各类业务服务中，例如，用户通过使用终端所部署应用可以产生用户行为数据，通过用户行为数据可以确定出对应不同用户的用户画像。该用户画像能够体现出用户行为喜好，可以有效应用于个性化推荐等互联网场景中。

针对用户通过终端产生的数据，在应用于业务服务之前，需要进行数据处理，例如去除无效数据、数据去重、分类等。在一种相关技术中，终端会直接将用户产生的数据上报至服务器，服务器对各个终端上报的数据进行统一的数据存储、清洗、计算。

然而，当涉及的终端数量较多时，服务器会有较大的数据计算压力。

发明内容

为了解决上述技术问题，本申请提供了一种数据处理方法和相关装置，由终端设备在上报用户数据之前先进行标准化处理，降低了服务器的数据计算压力。

本申请实施例公开了如下技术方案：

一方面，本申请实施例提供了一种数据处理方法，所述方法由终端设备执行，所述方法包括：

获取所述终端设备待上报服务器的第一用户数据；

确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

将所述第二用户数据上报所述服务器。

另一方面，本申请实施例提供了一种用于数据处理的终端设备，所述终端设备包括获取单元、确定单元、处理单元和上报单元：

所述获取单元，用于获取所述终端设备待上报服务器的第一用户数据；

所述确定单元，用于确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

所述处理单元，用于对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

所述上报单元，用于将所述第二用户数据上报所述服务器。

可选的，所述处理单元还用于：

通过所述目标软件调用脚本语言JS引擎执行所述代码文件，对所述第一用户数据进行数据处理。

可选的，所述终端设备还包括存储单元：

所述存储单元，用于通过内存映射的方式，将所述第一用户数据保存在持久存储空间。

可选的，所述终端设备包括智能手机、车载系统、智能家电。

可选的，所述数据处理包括数据清洗和对应所述业务服务的数据计算。

另一方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。

由上述技术方案可以看出，在终端设备需要向服务器上报用户数据的场景中，终端设备根据待上报服务器的第一用户数据，确定第一用户数据的上报场景，由于该上报场景可以标识第一用户数据涉及的业务功能，故可以根据对应上报场景的数据处理方式，对第一用户数据进行符合业务服务的数据处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据。终端设备将第二用户数据上报服务器，使得服务器不再需要对第二用户数据进行额外处理即可针对该业务服务使用，降低了服务器的数据计算压力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为一种用户数据上报场景的示意图；

图1b为本申请实施例提供的一种用户数据上报场景的示意图；

图2为本申请实施例提供的一种数据处理方法的方法流程图；

图3为本申请实施例提供的一种用户数据的组成示意图；

图4为本申请实施例提供的终端设备对用户数据进行处理的场景示意图；

图5为本申请实施例提供的一种安卓系统中通过JS引擎处理用户数据的示意图；

图6为本申请实施例提供的用于数据处理的系统架构示意图；

图7为本申请实施例提供的用于数据处理的终端设备的装置结构图；

图8为本申请实施例提供的服务器的结构示意图；

图9为本申请实施例提供的终端设备的结构示意图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

在相关技术中，服务器针对终端设备上报的用户数据，需要在后台存储所有用户数据，并进行一系列的操作数据的流程。这种在后台进行数据存储、清洗、计算的方案有助于数据分析人员筛选出自己想要的数据，并导入模型进行训练，根据训练后的结果分析用户的行为。例如图1a所示的相关技术的用户数据上报场景中，客户端上报用户数据至服务器，服务器对用户数据进行存储后，对所存储的用户数据进行数据清洗和数据计算的操作。

然而，当涉及的终端数量较多时，终端几乎每时每刻都在上传用户数据，海量数据为服务器带来了较大的处理、存储压力。

为此，本申请实施例提供了一种数据处理方案，在终端设备需要向服务器上报用户数据的场景中，将改由终端设备来对待上报的用户数据预先进行相应的数据处理，使得服务器不再需要对上报的用户数据进行额外处理即可针对该业务服务使用。

本申请实施例所应用的用户数据上报场景涉及终端设备和服务器，其中，终端设备具体可以为智能手机、计算机、个人数字助理(Personal Digital Assistant，PDA)、平板电脑等，也可以为车载智能系统、智能家电等。服务器具体可以为独立服务器，也可以为集群服务器或云服务器。

如图1b所示的场景中，在该场景中，终端设备为智能手机100，用户在使用智能手机100的过程中会产生用户数据，例如第一用户数据。

智能手机100在向服务器200上报第一用户数据之前，确定第一用户数据的上报场景，在图1b中上报场景具体为“评论”，即第一用户数据是用户在涉及“评论”这一业务功能时产生的用户数据，例如第一用户数据可以是用户在某应用中评论产品或美食时产生的，可以包含该评论的相关信息。

智能手机100通过第一用户数据的上报场景“评论”，确定出对应的数据处理方式来对第一用户数据进行符合业务服务的数据处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据。

智能手机100将第二用户数据上报服务器200，使得服务器200不再需要对第二用户数据进行额外处理即可针对该业务服务进行使用，降低了服务器的数据计算压力。

图2为本申请实施例提供的一种数据处理方法的方法流程图，所述方法由终端设备执行，所述方法包括：

S201：获取所述终端设备待上报服务器的第一用户数据。

如前所述，终端设备可以是各类可由用户操作的智能设备。用户在操作终端设备时，例如在使用终端设备上安装的应用、小程序、应用程序等软件所提供的服务时，就会产生用户数据。产生的用户数据可以体现相关的用户行为和内容。需要注意的是，在一些情况下，并不是所有用户数据都需要上报服务器，需要上报的可以仅是用户数据中的一部分。

用户数据携带了各类体现用户行为和内容的信息，例如图3就示出了一种用户数据的结构示意图，该用户数据是通过终端设备上的目标软件生成的，包括了四个部分，分别为业务、用户标识、上报场景和上报内容。

其中，业务可以为产生该用户数据的目标软件，例如某社交软件、某点评软件等。

用户标识用于标识产生该用户数据的用户，可以通过用户名、用户ID等方式体现。

上报场景可以体现出用户数据是通过目标软件的哪一种业务功能产生的，例如评论功能、点赞功能、收藏功能等。

上报内容可以体现出用户行为或内容，例如具体的就餐评论内容，点赞的主播，收藏的视频等。

在确定第一用户数据属于待上报服务器的用户数据时，终端设备可以对第一用户数据进行上报场景的识别。

为了避免数据丢失，可以将第一用户数据进行持久化保存，避免当设备重启、应用关闭等情况导致数据丢失。

在一种可选的实现方式中，终端设备可以通过内存映射(mmap，一种内存映射文件的方法)的方式，将所述第一用户数据保存在持久存储空间，例如本地磁盘中。

S202：确定所述第一用户数据的上报场景。

所述上报场景用于标识所述第一用户数据涉及的业务功能，例如前述的评论、点赞功能等。由于不同场景的数据，后续的业务服务有着不同的使用需求。这里所述的业务服务可以为向用户提供特定服务的业务，例如可以为向用户提供网络推荐服务的用户画像确定业务。

S203：对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据。

通过识别第一用户数据的上报场景，可以确定出对应该上报场景的数据处理方式，并以此对第一用户数据进行符合业务服务的标准化处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据，例如在后续确定用户画像时，可以直接训练、使用第二用户数据。

这里对第一用户数据的数据处理可以包括去噪等预处理阶段的处理手段，并将第一用户数据调整为符合该业务服务的使用标准。

在一种可选的实现方式中，数据处理包括数据清洗和对应所述业务服务的数据计算。

在对第一用户数据进行数据处理时，可以通过调用并执行相应的代码文件来实现。可以将数据过滤、存储、清洗和计算相关逻辑承载在代码文件中，这些代码文件可以保存在终端设备中，也可以保存在终端设备可以调用的其他本地、网络设备中，例如可以是本申请中的服务器。代码文件的方式可以使得终端设备更为便利的进行数据处理时的处理逻辑调用。

在该可能的实现方式中，终端设备获取所述上报场景对应的代码文件，并通过执行所述代码文件，对所述第一用户数据进行数据处理。

本申请不限定终端设备获取代码文件的方式，若代码文件保存在终端设备中，终端设备可以从本地获取上报场景对应的代码文件，若代码文件保存在其他设备例如服务器中，终端设备可以从服务器获取上报场景对应的代码文件。

如图4所示的场景中，服务器可以将签署代码文件下发到终端设备中，终端设备在获取第一用户数据(其在图4中示出的结构和图3一致)时，可以通过执行对应的代码文件对第一用户数据进行数据过滤、数据存储、数据清洗和数据计算，以得到第二用户数据。

需要注意的是，在一些场景中，终端设备中一个软件所产生的用户数据由该软件进行相应的数据处理。例如第一用户数据可以通过目标软件产生。

为了实现能通过目标软件动态化进行数据处理的能力，作为客户端的目标软件需要能执行代码文件。为此，可选的，可以在客户端中移植JS(Javascript，一种计算机脚本语言)引擎，通过所述目标软件调用脚本语言JS引擎执行所述代码文件(被配置为JS文件)，对所述第一用户数据进行数据处理。

JS引擎是Apple开发的Javascript核心引擎。在苹果系统(iOS)中，该引擎是内置的，Apple直接提供了引擎接口。

而在安卓(Android)中，需要进行如图5所示的处理。

在动态库汇中将该JS引擎的C++代码编译为so文件，并通过Java本地接口(JavaNative Interface，JNI)将引擎的接口暴露给安卓的Java层的Java类使用。

由于JS是一种可边翻译边执行的动态化语言，即可以未经编译就可以在客户端中执行，从而实现了通过目标软件动态化的处理用户数据。

S204：将所述第二用户数据上报所述服务器。

由此可见，在终端设备需要向服务器上报用户数据的场景中，终端设备根据待上报服务器的第一用户数据，确定第一用户数据的上报场景，由于该上报场景可以标识第一用户数据涉及的业务功能，故可以根据对应上报场景的数据处理方式，对第一用户数据进行符合业务服务的数据处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据。终端设备将第二用户数据上报服务器，使得服务器不再需要对第二用户数据进行额外处理即可针对该业务服务使用，降低了服务器的数据计算压力。

接下来通过图6所示的系统架构进一步说明本申请实施例提供的数据处理方式。如图6所示，整个框架包括几个部分，分别为框架模块、任务执行模块、存储映射模块。

其中，框架模块用于加载后台下发的代码文件、加载动态库、处理框架生命周期等；

用户数据在产生后，可以在上报服务器前通过拦截的方式获取，这些用户数据可以包括wifi、地理位置等数据，拦截的用户数据将传输到任务执行模块。

任务执行模块将首先对根据用户数据的上报场景，对用户数据进行过滤、分类，并将过滤后的用户数据传入框架模块加载的代码文件并开始运行，代码文件将对用户数据进行清洗和计算。

存储映射模块提供数据持久化能力，即使应用关闭了，数据仍然可以永久保存在终端设备中。

由于终端设备中的目标软件具备可动态执行后台下发的代码文件的能力，故可以将数据清洗、存储和计算的代码打包成JS文件作为代码文件，将JS文件下发到终端设备，由终端设备中的目标软件调用JS引擎模块执行，具体步骤如下所示：

1.服务器后台向终端设备下发包含JS文件，其中可包括数据过滤、存储和计算等逻辑；

2.终端设备的目标软件收到后使用JS引擎模块加载JS文件；

3.终端设备的目标软件获取用户数据，并传入JS引擎执行数据处理流程；

4.JS引擎执行数据处理完成后可使用内置的网络模块将结果上传至服务器后台。

针对上述实施例提供的数据处理方法，本申请实施例提供了一种用于数据处理的终端设备。

图7为本申请实施例提供的一种用于数据处理的终端设备的装置结构图，所述终端设备700包括获取单元701、确定单元702、处理单元703和上报单元704：

所述获取单元701，用于获取所述终端设备待上报服务器的第一用户数据；

所述确定单元702，用于确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

所述处理单元703，用于对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

所述上报单元704，用于将所述第二用户数据上报所述服务器。

可选的，所述处理单元还用于：

获取所述上报场景对应的代码文件；

通过执行所述代码文件，对所述第一用户数据进行数据处理。

可选的，所述处理单元还用于：

通过所述目标软件调用脚本语言JS引擎执行所述代码文件，对所述第一用户数据进行数据处理。

可选的，所述终端设备还包括存储单元：

所述存储单元，用于通过内存映射的方式，将所述第一用户数据保存在持久存储空间。

可选的，所述终端设备包括智能手机、车载系统、智能家电。

可选的，所述数据处理包括数据清洗和对应所述业务服务的数据计算。

由此可见，在终端设备需要向服务器上报用户数据的场景中，终端设备根据待上报服务器的第一用户数据，确定第一用户数据的上报场景，由于该上报场景可以标识第一用户数据涉及的业务功能，故可以根据对应上报场景的数据处理方式，对第一用户数据进行符合业务服务的数据处理，以此得到的第二用户数据可以作为实现该业务服务的基础数据。终端设备将第二用户数据上报服务器，使得服务器不再需要对第二用户数据进行额外处理即可针对该业务服务使用，降低了服务器的数据计算压力。

本申请实施例还提供了一种用于数据处理的终端设备，下面将从硬件实体化的角度对本申请实施例提供的用于数据处理的终端设备进行介绍。

参见图8，图8是本申请实施例提供的一种服务器结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。

服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。

针对上文描述的数据处理方法，本申请实施例还提供了一种用于数据处理的终端设备，以使上述数据处理方法在实际中实现以及应用。

参见图9，图9为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)等任意终端设备：

图9示出的是与本申请实施例提供的终端相关的部分结构的框图。参考图9，该终端包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图9中示出的平板电脑结构并不构成对平板电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图9对平板电脑的各个构成部件进行具体的介绍：

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而实现终端的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1580是终端的控制中心，利用各种接口和线路连接整个平板电脑的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行平板电脑的各种功能和处理数据，从而对平板电脑进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

在本申请实施例中，该终端所包括的存储器1520可以存储程序代码，并将所述程序代码传输给所述处理器。

该终端所包括的处理器1580可以根据所述程序代码中的指令执行：

获取所述终端设备待上报服务器的第一用户数据；

确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

将所述第二用户数据上报所述服务器。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行上述实施例提供的编译方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法由终端设备执行，所述方法包括：

获取所述终端设备待上报服务器的第一用户数据；

确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

将所述第二用户数据上报所述服务器。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，包括：

获取所述上报场景对应的代码文件；

通过执行所述代码文件，对所述第一用户数据进行数据处理。

3.根据权利要求2所述的方法，其特征在于，所述第一用户数据由目标软件产生，所述通过执行所述代码文件，对所述第一用户数据进行数据处理，包括：

通过所述目标软件调用脚本语言JS引擎执行所述代码文件，对所述第一用户数据进行数据处理。

4.根据权利要求2所述的方法，其特征在于，所述获取所述上报场景对应的代码文件，包括：

从服务器获取所述上报场景对应的代码文件。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过内存映射的方式，将所述第一用户数据保存在持久存储空间。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述终端设备包括智能手机、车载系统、智能家电。

7.根据权利要求1-5任意一项所述的方法，其特征在于，所述数据处理包括数据清洗和对应所述业务服务的数据计算。

8.一种用于数据处理的终端设备，其特征在于，所述终端设备包括获取单元、确定单元、处理单元和上报单元：

所述获取单元，用于获取所述终端设备待上报服务器的第一用户数据；

所述确定单元，用于确定所述第一用户数据的上报场景，所述上报场景用于标识所述第一用户数据涉及的业务功能；

所述处理单元，用于对所述第一用户数据进行对应所述上报场景的数据处理，得到第二用户数据，所述第二用户数据为用于业务服务的基础数据；

所述上报单元，用于将所述第二用户数据上报所述服务器。

9.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7任意一项所述的方法。

Images