CN111796923A - 数据处理方法、装置、存储介质及服务器 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、装置、存储介质及服务器，所述数据处理方法包括：当接收到传入的数据时，获取所述数据的属性信息；若所述数据为流数据，则将所述数据分发至流数据处理节点；若所述数据为非流数据，则将所述数据分发至非流数据处理节点；将接收到的流数据按照事件切分为多个事件数据块，并分发至流数据机器学习平台进行处理；将接收到的非流数据按照时间间隔切分为多个批处理数据块，并分发至非流数据机器学习平台进行处理。所述数据处理方法可以根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

Description

数据处理方法、装置、存储介质及服务器

技术领域

本申请涉及电子技术领域，特别涉及一种数据处理方法、装置、存储介质及服务器。

背景技术

随着电子技术的发展，诸如智能手机等电子设备能够为用户提供的服务越来越多。例如，电子设备可以为用户提供社交服务、导航服务、旅游推荐服务等。电子设备提供的服务越多，就意味着需要处理的数据量越大，甚至很多服务需要依赖于服务器对大量的数据进行统一处理。

发明内容

本申请实施例提供一种数据处理方法、装置、存储介质及服务器，可以提高服务器的数据处理效率。

本申请实施例提供一种数据处理方法，应用于服务器，所述服务器包括数据分发单元以及与所述数据分发单元通信连接的流数据处理节点和非流数据处理节点，所述数据处理方法包括：

当所述数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

若所述数据为流数据，则将所述数据分发至流数据处理节点；

若所述数据为非流数据，则将所述数据分发至非流数据处理节点；

所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

本申请实施例还提供一种数据处理装置，应用于服务器，所述服务器包括数据分发单元以及与所述数据分发单元通信连接的流数据处理节点和非流数据处理节点，所述数据处理装置包括：

属性获取模块，用于当接收到传入的数据时，通过所述数据分发单元获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

第一数据分发模块，用于若所述数据为流数据，则通过所述数据分发单元将所述数据分发至流数据处理节点；

第二数据分发模块，用于若所述数据为非流数据，则通过所述数据分发单元将所述数据分发至非流数据处理节点；

第一数据处理模块，用于通过所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

第二数据处理模块，用于通过所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述数据处理方法。

本申请实施例还提供一种服务器，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述数据处理方法。

本申请实施例还提供一种服务器，包括：

数据分发单元，用于：

当接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

若所述数据为流数据，则将所述数据分发至流数据处理节点；

若所述数据为非流数据，则将所述数据分发至非流数据处理节点；

流数据处理节点，与所述数据分发单元通信连接，所述流数据处理节点用于：

将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

非流数据处理节点，与所述数据分发单元通信连接，所述非流数据处理节点用于：

将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

本申请实施例提供的数据处理方法，包括：当数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；若所述数据为流数据，则将所述数据分发至流数据处理节点；若所述数据为非流数据，则将所述数据分发至非流数据处理节点；所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。所述数据处理方法中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的电子设备中的全景感知架构示意图。

图2为本申请实施例的分布式数据处理系统的结构示意图。

图3为本申请实施例提供的数据处理方法的第一种流程示意图。

图4为本申请实施例提供的数据处理方法的第二种流程示意图。

图5为本申请实施例的分布式数据处理系统中的流数据处理节点的结构示意图。

图6为本申请实施例提供的数据处理方法的第三种流程示意图。

图7为本申请实施例的分布式数据处理系统中的非流数据处理节点的结构示意图。

图8为本申请实施例提供的数据处理方法的第四种流程示意图。

图9为本申请实施例提供的数据处理方法的第五种流程示意图。

图10为本申请实施例提供的数据处理方法的第六种流程示意图。

图11为本申请实施例提供的数据处理装置的第一种结构示意图。

图12为本申请实施例提供的数据处理装置的第二种结构示意图。

图13为本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

参考图1，图1为本申请实施例的电子设备中的全景感知架构示意图。所述全景感知架构为电子设备中的硬件和软件的集成。所述全景感知架构可以用于实现电子设备的全景数据的采集。

其中，所述电子设备可以为智能手机、平板电脑、游戏设备、AR(AugmentedReality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本电脑、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。

其中，全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。

信息感知层用于获取电子设备自身的信息或者外部环境中的信息。所述信息感知层可以包括多个传感器。例如，所述信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。

其中，距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器，可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。

数据处理层用于对信息感知层获取到的数据进行处理。例如，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。

其中，数据清理是指对信息感知层获取到的大量数据进行清理，以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度，以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等，以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下，最大限度的精简数据量。

特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取所述数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。

其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。

过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。

情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。

智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行系统智能优化，还可以为用户提供个性化智能服务。

此外，全景感知架构中还可以包括多种算法，每一种算法都可以用于对数据进行分析处理，所述多种算法可以构成算法库。例如，所述算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机分类算法、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。

本申请实施例提供一种数据处理方法。所述数据处理方法可以应用于一分布式数据处理系统中。所述数据处理方法的执行主体可以为分布式数据处理系统中的服务器、服务器中的一个或多个子服务器、服务器中的一个或多个单元、服务器中的一个或多个模块等。

参考图2，图2为本申请实施例的分布式数据处理系统的结构示意图。

其中，分布式数据处理系统包括多个电子设备以及服务器。所述多个电子设备均与所述服务器通信连接。

所述服务器包括数据调度单元、地址管理单元、数据分发单元、流数据处理节点、非流数据处理节点、流数据机器学习平台以及非流数据机器学习平台。

其中，所述数据调度单元、地址管理单元、数据分发单元均可以为一个或多个。所述流数据处理节点、非流数据处理节点、流数据机器学习平台、非流数据机器学习平台均为多个。尽管图2示出服务器包括一个数据调度单元、一个地址管理单元、一个数据分发单元，但本申请不以此为限定。

其中，每一数据调度单元均与每一电子设备、每一地址管理单元、每一数据分发单元通信连接。每一数据分发单元还与每一流数据处理节点、每一非流数据处理节点通信连接。每一流数据处理节点还与一个或多个流数据机器学习平台通信连接。每一非流数据处理节点还与一个或多个非流数据机器学习平台通信连接。

其中，电子设备用于采集用户的全景数据，并将采集到的全景数据上传到数据调度单元。或者，电子设备也可以对采集到的全景数据进行处理，并将处理结果数据上传到数据调度单元。其中，电子设备对采集到的全景数据进行的处理可以包括但不限于特征抽取、特征计算、特征转换、数据分类、特征分类、数据建模、特征建模等等，并根据不同的处理得到相应的处理结果数据。

需要说明的是，每一电子设备只需要将采集到的全景数据或者处理结果数据上传到一个数据调度单元即可。不同的电子设备可以将全景数据或者处理结果数据上传到不同的数据调度单元。

其中，所述全景数据可以包括电子设备所处环境中的任意数据。例如，所述全景数据可以包括环境温度、环境光强度、环境噪声等环境数据。所述全景数据还可以包括电子设备上的图像数据、内存数据、电子设备上显示的文本数据等电子设备的运行数据。所述全景数据还可以包括用户行为习惯数据，例如用户的作息时间、用户进行的娱乐活动等。

数据调度单元用于对电子设备上传的数据进行属性识别以及分类，得到不同属性的数据以及不同类型的数据，并根据数据属性和数据类型确定出目标数据处理节点。

其中，所述数据属性包括流数据和非流数据。流数据是按时间顺序快速连续到达的数据序列。一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。除了流数据以外的其它数据即为非流数据，也称为普通数据。

所述数据类型可以根据数据的用途进行划分，例如数据类型可以包括图像数据、音频数据、文本数据、用户习惯数据等。所述数据类型还可以根据数据产生的途径进行划分，例如数据类型可以包括重力传感器数据、温度传感器数据、光线传感器数据、显示屏数据、扬声器数据、麦克风数据、处理器数据等。所述数据类型还可以根据电子设备对数据的处理程度进行划分，例如数据类型可以包括原始数据、特征数据、特征转换数据、模型数据、模型参数数据等。

数据分发单元用于根据数据调度单元确定出的结果将数据分发到对应的目标数据处理节点。例如，数据分发单元根据数据调度单元确定出的结果将数据分发至流数据处理节点或者非流数据处理节点。

地址管理单元用于对所述多个流数据处理节点以及所述多个非流数据处理节点的物理地址进行存储和维护，以便于数据调度单元查询每个流数据处理节点和非流数据处理节点的物理地址。其中，所述物理地址可以为流数据处理节点、非流数据处理节点的媒体访问控制地址(Media Access Control Address，MAC)，或者流数据处理节点、非流数据处理节点在服务器上的内存地址。

流数据处理节点用于对流数据进行初步处理，并将初步处理后的流数据分发至流数据机器学习平台，由流数据机器学习平台对流数据进行最终处理。其中，所述最终处理可以包括诸如数据计算、数据过滤等处理。需要说明的是，不同的流数据处理节点可以配置为处理不同类型的流数据。同时，为了提高服务器的数据处理效率，也可以将多个流数据处理节点配置为处理相同类型的流数据。

非流数据处理节点用于对非流数据进行初步处理，并将初步处理后的非流数据分发至非流数据机器学习平台，由非流数据机器学习平台对非流数据进行最终处理。其中，所述最终处理可以包括诸如数据计算、数据过滤等处理。需要说明的是，不同的非流数据处理节点可以配置为处理不同类型的非流数据。同时，为了提高服务器的数据处理效率，也可以将多个非流数据处理节点配置为处理相同类型的非流数据。

需要说明的是，所述数据调度单元、地址管理单元、数据分发单元、流数据处理节点、非流数据处理节点、流数据机器学习平台、非流数据机器学习平台可以为设置在同一个服务器上的不同功能模块，也可以为彼此独立设置的子服务器。其中，所述数据调度单元、地址管理单元、数据分发单元均可以包括大量的功能模块，从而形成功能模块集群。例如，数据调度单元可以包括大量的基于内存级的功能模块，从而形成数据调度单元集群。数据分发单元也可以包括大量的基于内存级的功能模块，从而形成数据分发单元集群。

参考图3，图3为本申请实施例提供的数据处理方法的第一种流程示意图。

其中，所述数据处理方法包括以下步骤：

110，当数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据。

当服务器中的数据分发单元接收到传入的数据时，所述数据分发单元获取所述数据的属性信息。其中，所述属性信息包括流数据以及非流数据。随后，所述数据分发单元根据所述属性信息对所述数据进行不同的处理。

可以理解的，所述数据分发单元可以根据所述数据的时间特性来识别所述数据的属性信息。例如，若所述数据为连续的数据，并且持续不断地传入数据分发单元，则数据分发单元可以识别出所述数据为流数据。若所述数据为具有时间间隔的数据，则数据分发单元可以识别出所述数据为非流数据。

在一些实施例中，数据在传入所述数据分发单元时，所述数据中可以携带所述数据的属性信息。此时，数据分发单元可以根据所述数据直接获取到所述数据的属性信息。例如，电子设备在将数据上传到服务器时，可以在所述数据中加入所述数据的属性信息，以便于服务器对所述数据的处理。

120，若所述数据为流数据，则将所述数据分发至流数据处理节点。

若数据分发单元获取到所述数据的属性信息为流数据，则数据分发单元将所述数据分发至流数据处理节点，由流数据处理节点对所述数据进行下一步处理。

130，若所述数据为非流数据，则将所述数据分发至非流数据处理节点。

若数据分发单元获取到所述数据的属性信息为非流数据，则数据分发单元将所述数据分发至非流数据处理节点，由非流数据处理节点对所述数据进行下一步处理。其中，非流数据也可以称为普通数据，非流数据处理节点也可以称为普通数据处理节点。

140，所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理。

流数据处理节点接收到数据分发单元分发的流数据后，对所述流数据进行初步处理。其中，流数据处理节点可以将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理。

可以理解的，由于流数据为持续不断的数据，因此流数据可以反映出不同事件的连续变化。例如，当所述流数据为重力传感器采集到的加速度数据时，加速度为零表示电子设备处于静止状态或者匀速运动状态，而当加速度大于零时表示电子设备处于加速运动状态，当加速度小于零时表示电子设备处于减速运动状态。此时，加速度为零可以表示为一个事件，加速度大于零可以表示为另一个事件，加速度小于零可以表示为又一个事件。流数据处理节点即可根据这三个事件将所述加速度数据切分为三个事件数据块，并将切分后的三个事件数据块分发至流数据机器学习平台进行处理。

可以理解的，对于一些不需要进一步处理的流数据，流数据处理节点在接收到所述流数据后，可以将所述流数据存储起来，而不继续往流数据机器学习平台进行分发。

150，所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

非流数据处理节点接收到数据分发单元分发的非流数据后，对所述非流数据进行初步处理。其中，非流数据处理节点可以将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

可以理解的，非流数据为不连续的数据，因此非流数据的不同数据片段之间具有时间间隔。例如，当所述非流数据为用户与其他用户之间的聊天数据时，所述聊天数据是以一条一条的消息呈现的，而每一条消息之间具有时间间隔。此时，非流数据处理节点即可根据所述聊天数据中的时间间隔将所述聊天数据切分为多个批处理数据块，并将切分后的多个批处理数据块分发至非流数据机器学习平台进行处理。

可以理解的，对于一些不需要进一步处理的非流数据，非流数据处理节点在接收到所述非流数据后，可以将所述非流数据存储起来，而不继续往非流数据机器学习平台进行分发。

例如，在一些实施例中，电子设备可以通过信息感知层来采集用户的全景数据，并将采集到的全景数据上传到服务器，例如上传到服务器中的数据分发单元。

在一些实施例中，电子设备的信息感知层采集到用户的全景数据后，还可以通过数据处理层对所述全景数据进行处理，例如对所述全景数据进行数据清洗、数据变换等处理，并将处理后的全景数据上传到服务器，例如上传到服务器中的数据分发单元。

在一些实施例中，电子设备的数据处理层对全景数据进行处理后，还可以通过特征抽取层对所述处理过的全景数据进行特征抽取，例如抽取所述全景数据中包括的特征，并将特征抽取后得到的数据上传到服务器，例如上传到服务器中的数据分发单元。

在一些实施例中，电子设备的特征抽取层对全景数据进行特征抽取后，还可以通过情景建模层对抽取到的特征进行建模，并将建模后得到的数据上传到服务器，例如上传到服务器中的数据分发单元。

随后，由服务器对电子设备上传的数据进行处理。例如，服务器获取所述数据的属性信息；若所述数据为流数据，则将所述数据分发至流数据处理节点，由所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；若所述数据为非流数据，则将所述数据分发至非流数据处理节点，由所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

本申请实施例提供的数据处理方法中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

在一些实施例中，参考图4和图5，图4为本申请实施例提供的数据处理方法的第二种流程示意图，图5为本申请实施例的分布式数据处理系统中的流数据处理节点的结构示意图。

其中，步骤140、所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理，包括以下步骤：

141，当流数据事件监听器监听到流数据传入时，将所述流数据传送给流数据处理容器；

142，所述流数据处理容器将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块映射给流数据处理单元；

143，所述流数据处理单元将所述多个事件数据块传送给流数据调度单元；

144，所述流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。

其中，流数据处理节点中设置有流数据事件监听器、流数据处理容器、流数据调度单元。所述流数据处理容器与所述流数据事件监听器、所述流数据调度单元均通信连接。

所述流数据事件监听器用于监听流数据传入事件。当数据分发单元将流数据分发至流数据处理节点时，所述流数据事件监听器可以监听到此时的流数据传入。随后，所述流数据事件监听器将传入的流数据传送给流数据处理容器。

所述流数据处理容器包括多个流数据处理单元。所述流数据处理容器用于将流数据按照事件切分为多个事件数据块，并将切分后的多个事件数据块映射给一个或多个流数据处理单元。

流数据处理单元接收到流数据处理容器映射的多个事件数据块后，将所述多个事件数据块传送给流数据调度单元。

最后，流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。例如，所述流数据机器学习平台可以对接收到的事件数据块进行计算或者数据过滤等处理。

在一些实施例中，参考图6和图7，图6为本申请实施例提供的数据处理方法的第三种流程示意图，图7为本申请实施例的分布式数据处理系统中的非流数据处理节点的结构示意图。

其中，步骤150、所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理，包括以下步骤：

151，当非流数据事件监听器监听到非流数据传入时，将所述非流数据传送给非流数据处理容器；

152，所述非流数据处理容器将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元；

153，所述非流数据处理单元将所述多个批处理数据块传送给非流数据调度单元；

154，所述非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

其中，非流数据处理节点中设置有非流数据事件监听器、非流数据处理容器、非流数据调度单元。所述非流数据处理容器与所述非流数据事件监听器、所述非流数据调度单元均通信连接。

所述非流数据事件监听器用于监听非流数据传入事件。当数据分发单元将非流数据分发至非流数据处理节点时，所述非流数据事件监听器可以监听到此时的非流数据传入。随后，所述非流数据事件监听器将传入的非流数据传送给非流数据处理容器。

所述非流数据处理容器包括多个非流数据处理单元。所述非流数据处理容器用于将非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元。

非流数据处理单元接收到非流数据处理容器映射的多个批处理数据块后，将所述多个批处理数据块传送给非流数据调度单元。

最后，非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。例如，所述非流数据机器学习平台可以对接收到的批处理数据块进行计算或者数据过滤等处理。

在一些实施例中，参考图8，图8为本申请实施例提供的数据处理方法的第四种流程示意图。

其中，步骤110、当所述数据分发单元接收到传入的数据时，获取所述数据的属性信息之前，还包括以下步骤：

161，当所述数据调度单元监听到数据传入时，识别所述数据的属性信息；

162，将所述数据以及所述数据的属性信息传送给所述数据分发单元。

服务器还包括数据调度单元，所述数据调度单元与所述数据分发单元通信连接。所述数据调度单元用于监听数据传入事件。例如，当电子设备将采集到的数据上传到服务器时，所述数据调度单元即可监听到此时的数据传入。

当数据调度单元监听到数据传入时，识别所述数据的属性信息。其中，所述数据调度单元可以根据所述数据的时间特性来识别所述数据的属性信息。例如，若所述数据为连续的数据，并且持续不断地传入服务器，则数据调度单元可以识别出所述数据为流数据。若所述数据为具有时间间隔的数据，则数据调度单元可以识别出所述数据为非流数据。

随后，数据调度单元将所述数据以及所述数据的属性信息传送给数据分发单元，由数据分发单元对所述数据进行后续处理。

在一些实施例中，参考图9，图9为本申请实施例提供的数据处理方法的第五种流程示意图。

其中，当监听到数据传入时，所述数据调度单元还执行以下步骤：

171，识别所述数据的数据类型；

172，根据所述数据类型确定目标数据处理节点，所述目标数据处理节点用于对所述数据进行处理；

173，获取所述目标数据处理节点的物理地址信息；

174，将所述物理地址信息传送给所述数据分发单元。

当监听到数据传入时，所述数据调度单元还可以识别所述数据的数据类型。

例如，电子设备上传至服务器的数据可以包括数据内容以及与所述数据内容对应的数据类型。其中，数据内容即为待处理的数据，例如数据内容可以为电子设备采集到的原始全景数据，或者电子设备从全景数据中提取的特征。数据类型即为所述数据内容所属的类型，例如数据类型可以为麦克风数据。

当监听到数据传入时，所述数据调度单元即可根据所述数据中携带的数据类型对所述数据进行识别，以获取所述数据的数据类型。

其中，每一流数据处理节点可以用于对一种类型的流数据进行处理，不同的流数据处理节点用于处理的流数据的数据类型不同。同样的，每一非流数据处理节点可以用于对一种类型的非流数据进行处理，不同的非流数据处理节点用于处理的非流数据的数据类型不同。

数据调度单元识别出数据的数据类型后，即可根据所述数据类型从多个流数据处理节点或者多个非流数据处理节点中确定出目标数据处理节点。其中，所述目标数据处理节点可以用于对识别出的类型的数据进行处理。

随后，数据调度单元可以从地址管理单元中获取所述目标数据处理节点的物理地址信息，并将所述物理地址信息传送给所述数据分发单元。

例如，所述地址管理单元中可以预先存储每一流数据处理节点、每一非流数据处理节点的物理地址信息，以形成流数据处理节点、非流数据处理节点与物理地址信息之间的预设映射关系表。所述数据调度单元通过查询所述预设映射关系表即可获取到目标数据处理节点的物理地址信息。

在一些实施例中，参考图10，图10为本申请实施例提供的数据处理方法的第六种流程示意图。

其中，步骤171、识别所述数据的数据类型，包括以下步骤：

1711，提取所述数据的多个特征；

1712，根据所述多个特征构建所述数据的特征向量；

1713，根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

当监听到数据传入时，数据调度单元可以根据所述数据提取所述数据的多个特征，并根据所述多个特征构建所述数据的特征向量。

其中，针对不同的数据，提取到的特征可以是不同的，提取到的特征的数量也可以是不同的，从而构建出的特征向量也可以是不同的。例如，针对麦克风数据，数据调度单元提取到的特征可以包括采集数据的时刻、数据的持续时长、音频数据的音量、音频数据的音色等多个特征，并根据该多个特征构建特征向量。

随后，数据调度单元根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。例如，数据调度单元构建得到特征向量后，可以根据支持向量机分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提供的数据处理方法，包括：当数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；若所述数据为流数据，则将所述数据分发至流数据处理节点；若所述数据为非流数据，则将所述数据分发至非流数据处理节点；所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。所述数据处理方法中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

本申请实施例还提供一种数据处理装置，所述数据处理装置可以集成在服务器中，或者集成在服务器的子服务器或者功能模块中。

参考图11，图11为本申请实施例提供的数据处理装置的第一种结构示意图。

其中，所述数据处理装置200包括：属性获取模块201、第一数据分发模块202、第二数据分发模块203、第一数据处理模块204、第二数据处理模块205。

属性获取模块201，用于当接收到传入的数据时，通过所述数据分发单元获取所述数据的属性信息，所述属性信息包括流数据以及非流数据。

当服务器中的数据分发单元接收到传入的数据时，属性获取模块201通过所述数据分发单元获取所述数据的属性信息。其中，所述属性信息包括流数据以及非流数据。随后，所述数据分发单元根据所述属性信息对所述数据进行不同的处理。

可以理解的，所述数据分发单元可以根据所述数据的时间特性来识别所述数据的属性信息。例如，若所述数据为连续的数据，并且持续不断地传入数据分发单元，则数据分发单元可以识别出所述数据为流数据。若所述数据为具有时间间隔的数据，则数据分发单元可以识别出所述数据为非流数据。

在一些实施例中，数据在传入所述数据分发单元时，所述数据中可以携带所述数据的属性信息。此时，数据分发单元可以根据所述数据直接获取到所述数据的属性信息。例如，电子设备在将数据上传到服务器时，可以在所述数据中加入所述数据的属性信息，以便于服务器对所述数据的处理。

第一数据分发模块202，用于若所述数据为流数据，则将所述数据分发至流数据处理节点。

若获取到所述数据的属性信息为流数据，则第一数据分发模块202通过数据分发单元将所述数据分发至流数据处理节点，由流数据处理节点对所述数据进行下一步处理。

第二数据分发模块203，用于若所述数据为非流数据，则将所述数据分发至非流数据处理节点。

若获取到所述数据的属性信息为非流数据，则第二数据分发模块203通过数据分发单元将所述数据分发至非流数据处理节点，由非流数据处理节点对所述数据进行下一步处理。其中，非流数据也可以称为普通数据，非流数据处理节点也可以称为普通数据处理节点。

第一数据处理模块204，用于通过所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理。

流数据处理节点接收到数据分发单元分发的流数据后，对所述流数据进行初步处理。其中，流数据处理节点可以将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理。

可以理解的，由于流数据为持续不断的数据，因此流数据可以反映出不同事件的连续变化。例如，当所述流数据为重力传感器采集到的加速度数据时，加速度为零表示电子设备处于静止状态或者匀速运动状态，而当加速度大于零时表示电子设备处于加速运动状态，当加速度小于零时表示电子设备处于减速运动状态。此时，加速度为零可以表示为一个事件，加速度大于零可以表示为另一个事件，加速度小于零可以表示为又一个事件。流数据处理节点即可根据这三个事件将所述加速度数据切分为三个事件数据块，并将切分后的三个事件数据块分发至流数据机器学习平台进行处理。

可以理解的，对于一些不需要进一步处理的流数据，流数据处理节点在接收到所述流数据后，可以将所述流数据存储起来，而不继续往流数据机器学习平台进行分发。

第二数据处理模块205，用于通过所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

非流数据处理节点接收到数据分发单元分发的非流数据后，对所述非流数据进行初步处理。其中，非流数据处理节点可以将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

可以理解的，非流数据为不连续的数据，因此非流数据的不同数据片段之间具有时间间隔。例如，当所述非流数据为用户与其他用户之间的聊天数据时，所述聊天数据是以一条一条的消息呈现的，而每一条消息之间具有时间间隔。此时，非流数据处理节点即可根据所述聊天数据中的时间间隔将所述聊天数据切分为多个批处理数据块，并将切分后的多个批处理数据块分发至非流数据机器学习平台进行处理。

可以理解的，对于一些不需要进一步处理的非流数据，非流数据处理节点在接收到所述非流数据后，可以将所述非流数据存储起来，而不继续往非流数据机器学习平台进行分发。

本申请实施例提供的数据处理装置中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高数据处理的效率。

在一些实施例中，第一数据处理模块204用于控制执行以下步骤：

当流数据事件监听器监听到流数据传入时，将所述流数据传送给流数据处理容器；

所述流数据处理容器将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块映射给流数据处理单元；

所述流数据处理单元将所述多个事件数据块传送给流数据调度单元；

所述流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。

其中，流数据处理节点中设置有流数据事件监听器、流数据处理容器、流数据调度单元。所述流数据处理容器与所述流数据事件监听器、所述流数据调度单元均通信连接。

所述流数据事件监听器用于监听流数据传入事件。当数据分发单元将流数据分发至流数据处理节点时，所述流数据事件监听器可以监听到此时的流数据传入。随后，所述流数据事件监听器将传入的流数据传送给流数据处理容器。

所述流数据处理容器包括多个流数据处理单元。所述流数据处理容器用于将流数据按照事件切分为多个事件数据块，并将切分后的多个事件数据块映射给一个或多个流数据处理单元。

流数据处理单元接收到流数据处理容器映射的多个事件数据块后，将所述多个事件数据块传送给流数据调度单元。

最后，流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。例如，所述流数据机器学习平台可以对接收到的事件数据块进行计算或者数据过滤等处理。

在一些实施例中，第二数据处理模块205用于控制执行以下步骤：

当非流数据事件监听器监听到非流数据传入时，将所述非流数据传送给非流数据处理容器；

所述非流数据处理容器将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元；

所述非流数据处理单元将所述多个批处理数据块传送给非流数据调度单元；

所述非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

其中，非流数据处理节点中设置有非流数据事件监听器、非流数据处理容器、非流数据调度单元。所述非流数据处理容器与所述非流数据事件监听器、所述非流数据调度单元均通信连接。

所述非流数据事件监听器用于监听非流数据传入事件。当数据分发单元将非流数据分发至非流数据处理节点时，所述非流数据事件监听器可以监听到此时的非流数据传入。随后，所述非流数据事件监听器将传入的非流数据传送给非流数据处理容器。

所述非流数据处理容器包括多个非流数据处理单元。所述非流数据处理容器用于将非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元。

非流数据处理单元接收到非流数据处理容器映射的多个批处理数据块后，将所述多个批处理数据块传送给非流数据调度单元。

最后，非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。例如，所述非流数据机器学习平台可以对接收到的批处理数据块进行计算或者数据过滤等处理。

在一些实施例中，参考图12，图12为本申请实施例提供的数据处理装置的第二种结构示意图。

其中，数据处理装置200还包括数据调度模块206，所述数据调度模块206用于控制执行以下步骤：

当所述数据调度单元监听到数据传入时，识别所述数据的属性信息；

将所述数据以及所述数据的属性信息传送给所述数据分发单元。

服务器还包括数据调度单元，所述数据调度单元与所述数据分发单元通信连接。所述数据调度单元用于监听数据传入事件。例如，当电子设备将采集到的数据上传到服务器时，所述数据调度单元即可监听到此时的数据传入。

当数据调度单元监听到数据传入时，识别所述数据的属性信息。其中，所述数据调度单元可以根据所述数据的时间特性来识别所述数据的属性信息。例如，若所述数据为连续的数据，并且持续不断地传入服务器，则数据调度单元可以识别出所述数据为流数据。若所述数据为具有时间间隔的数据，则数据调度单元可以识别出所述数据为非流数据。

随后，数据调度单元将所述数据以及所述数据的属性信息传送给数据分发单元，由数据分发单元对所述数据进行后续处理。

在一些实施例中，当监听到数据传入时，所述数据调度模块206还控制数据调度单元还执行以下步骤：

识别所述数据的数据类型；

根据所述数据类型确定目标数据处理节点，所述目标数据处理节点用于对所述数据进行处理；

获取所述目标数据处理节点的物理地址信息；

将所述物理地址信息传送给所述数据分发单元。

当监听到数据传入时，所述数据调度单元还可以识别所述数据的数据类型。

例如，电子设备上传至服务器的数据可以包括数据内容以及与所述数据内容对应的数据类型。其中，数据内容即为待处理的数据，例如数据内容可以为电子设备采集到的原始全景数据，或者电子设备从全景数据中提取的特征。数据类型即为所述数据内容所属的类型，例如数据类型可以为麦克风数据。

当监听到数据传入时，所述数据调度单元即可根据所述数据中携带的数据类型对所述数据进行识别，以获取所述数据的数据类型。

其中，每一流数据处理节点可以用于对一种类型的流数据进行处理，不同的流数据处理节点用于处理的流数据的数据类型不同。同样的，每一非流数据处理节点可以用于对一种类型的非流数据进行处理，不同的非流数据处理节点用于处理的非流数据的数据类型不同。

数据调度单元识别出数据的数据类型后，即可根据所述数据类型从多个流数据处理节点或者多个非流数据处理节点中确定出目标数据处理节点。其中，所述目标数据处理节点可以用于对识别出的类型的数据进行处理。

随后，数据调度单元可以从地址管理单元中获取所述目标数据处理节点的物理地址信息，并将所述物理地址信息传送给所述数据分发单元。

例如，所述地址管理单元中可以预先存储每一流数据处理节点、每一非流数据处理节点的物理地址信息，以形成流数据处理节点、非流数据处理节点与物理地址信息之间的预设映射关系表。所述数据调度单元通过查询所述预设映射关系表即可获取到目标数据处理节点的物理地址信息。

在一些实施例中，识别所述数据的数据类型时，所述数据调度单元206控制执行以下步骤：

提取所述数据的多个特征；

根据所述多个特征构建所述数据的特征向量；

根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

当监听到数据传入时，数据调度单元可以根据所述数据提取所述数据的多个特征，并根据所述多个特征构建所述数据的特征向量。

其中，针对不同的数据，提取到的特征可以是不同的，提取到的特征的数量也可以是不同的，从而构建出的特征向量也可以是不同的。例如，针对麦克风数据，数据调度单元提取到的特征可以包括采集数据的时刻、数据的持续时长、音频数据的音量、音频数据的音色等多个特征，并根据该多个特征构建特征向量。

随后，数据调度单元根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。例如，数据调度单元构建得到特征向量后，可以根据支持向量机分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。

由上可知，本申请实施例提供的数据处理装置200，包括：属性获取模块201，用于当接收到传入的数据时，通过数据分发单元获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；第一数据分发模块202，用于若所述数据为流数据，则通过所述数据分发单元将所述数据分发至流数据处理节点；第二数据分发模块203，用于若所述数据为非流数据，则通过所述数据分发单元将所述数据分发至非流数据处理节点；第一数据处理模块204，用于通过所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；第二数据处理模块205，用于通过所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。所述数据处理装置中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

本申请实施例还提供一种服务器。所述服务器包括数据分发单元以及与所述数据分发单元通信连接的数据调度单元、流数据处理节点、非流数据处理节点。

参考图13，图13为本申请实施例提供的服务器的结构示意图。

服务器300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。

处理器301是服务器300的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。

在本实施例中，服务器300中的处理器301按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而执行以下步骤：

当数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

若所述数据为流数据，则将所述数据分发至流数据处理节点；

若所述数据为非流数据，则将所述数据分发至非流数据处理节点；

所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

在一些实施例中，所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理时，处理器301执行以下步骤：

当流数据事件监听器监听到流数据传入时，将所述流数据传送给流数据处理容器；

所述流数据处理容器将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块映射给流数据处理单元；

所述流数据处理单元将所述多个事件数据块传送给流数据调度单元；

所述流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。

在一些实施例中，所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理时，处理器301执行以下步骤：

当非流数据事件监听器监听到非流数据传入时，将所述非流数据传送给非流数据处理容器；

所述非流数据处理容器将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元；

所述非流数据处理单元将所述多个批处理数据块传送给非流数据调度单元；

所述非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

在一些实施例中，当所述数据分发单元接收到传入的数据时，获取所述数据的属性信息之前，处理器301还执行以下步骤：

当所述数据调度单元监听到数据传入时，识别所述数据的属性信息；

将所述数据以及所述数据的属性信息传送给所述数据分发单元。

在一些实施例中，处理器301还执行以下步骤：

当所述数据调度单元监听到数据传入时，还识别所述数据的数据类型；

根据所述数据类型确定目标数据处理节点，所述目标数据处理节点用于对所述数据进行处理；

获取所述目标数据处理节点的物理地址信息；

将所述物理地址信息传送给所述数据分发单元。

在一些实施例中，识别所述数据的数据类型时，处理器301执行以下步骤：

提取所述数据的多个特征；

根据所述多个特征构建所述数据的特征向量；

根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。

尽管图13中未示出，服务器300还可以包括控制电路、输入输出电路等，在此不再赘述。

由上可知，本申请实施例提供了一种服务器，所述服务器执行以下步骤：当数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；若所述数据为流数据，则将所述数据分发至流数据处理节点；若所述数据为非流数据，则将所述数据分发至非流数据处理节点；所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。所述服务器中，数据分发单元可以获取数据的属性信息，并根据数据的不同属性将所述数据分发到不同的处理节点进行不同的处理，从而可以实现对大量数据的分布式处理，减少对数据进行处理的拥堵和延时，从而可以提高服务器的数据处理效率。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的数据处理方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本申请实施例所提供的数据处理方法、装置、存储介质及服务器进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种数据处理方法，应用于服务器，其特征在于，所述服务器包括数据分发单元以及与所述数据分发单元通信连接的流数据处理节点和非流数据处理节点，所述数据处理方法包括：

当所述数据分发单元接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

若所述数据为流数据，则将所述数据分发至流数据处理节点；

若所述数据为非流数据，则将所述数据分发至非流数据处理节点；

所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理，包括：

当流数据事件监听器监听到流数据传入时，将所述流数据传送给流数据处理容器；

所述流数据处理容器将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块映射给流数据处理单元；

所述流数据处理单元将所述多个事件数据块传送给流数据调度单元；

所述流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。

3.根据权利要求1所述的数据处理方法，其特征在于，所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理，包括：

当非流数据事件监听器监听到非流数据传入时，将所述非流数据传送给非流数据处理容器；

所述非流数据处理容器将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元；

所述非流数据处理单元将所述多个批处理数据块传送给非流数据调度单元；

所述非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述服务器还包括数据调度单元，所述数据调度单元与所述数据分发单元通信连接，所述当所述数据分发单元接收到传入的数据时，获取所述数据的属性信息之前，还包括：

当所述数据调度单元监听到数据传入时，识别所述数据的属性信息；

将所述数据以及所述数据的属性信息传送给所述数据分发单元。

5.根据权利要求4所述的数据处理方法，其特征在于，还包括：

当所述数据调度单元监听到数据传入时，还识别所述数据的数据类型；

根据所述数据类型确定目标数据处理节点，所述目标数据处理节点用于对所述数据进行处理；

获取所述目标数据处理节点的物理地址信息；

将所述物理地址信息传送给所述数据分发单元。

6.根据权利要求5所述的数据处理方法，其特征在于，所述识别所述数据的数据类型的步骤包括：

提取所述数据的多个特征；

根据所述多个特征构建所述数据的特征向量；

根据预设分类算法对所述特征向量进行分类计算，以得到所述数据的数据类型。

7.一种数据处理装置，应用于服务器，其特征在于，所述服务器包括数据分发单元以及与所述数据分发单元通信连接的流数据处理节点和非流数据处理节点，所述数据处理装置包括：

属性获取模块，用于当接收到传入的数据时，通过所述数据分发单元获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

第一数据分发模块，用于若所述数据为流数据，则通过所述数据分发单元将所述数据分发至流数据处理节点；

第二数据分发模块，用于若所述数据为非流数据，则通过所述数据分发单元将所述数据分发至非流数据处理节点；

第一数据处理模块，用于通过所述流数据处理节点将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

第二数据处理模块，用于通过所述非流数据处理节点将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

8.根据权利要求7所述的数据处理装置，其特征在于，所述第一数据处理模块用于控制执行以下步骤：

当流数据事件监听器监听到流数据传入时，将所述流数据传送给流数据处理容器；

所述流数据处理容器将所述流数据按照事件切分为多个事件数据块，并将所述多个事件数据块映射给流数据处理单元；

所述流数据处理单元将所述多个事件数据块传送给流数据调度单元；

所述流数据调度单元将所述多个事件数据块分发至流数据机器学习平台进行处理。

9.根据权利要求7所述的数据处理装置，其特征在于，所述第二数据处理模块用于控制执行以下步骤：

当非流数据事件监听器监听到非流数据传入时，将所述非流数据传送给非流数据处理容器；

所述非流数据处理容器将所述非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块映射给非流数据处理单元；

所述非流数据处理单元将所述多个批处理数据块传送给非流数据调度单元；

所述非流数据调度单元将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至6任一项所述的数据处理方法。

11.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1至6任一项所述的数据处理方法。

12.一种服务器，其特征在于，包括：

数据分发单元，用于：

当接收到传入的数据时，获取所述数据的属性信息，所述属性信息包括流数据以及非流数据；

若所述数据为流数据，则将所述数据分发至流数据处理节点；

若所述数据为非流数据，则将所述数据分发至非流数据处理节点；

流数据处理节点，与所述数据分发单元通信连接，所述流数据处理节点用于：

将接收到的流数据按照事件切分为多个事件数据块，并将所述多个事件数据块分发至流数据机器学习平台进行处理；

非流数据处理节点，与所述数据分发单元通信连接，所述非流数据处理节点用于：

将接收到的非流数据按照时间间隔切分为多个批处理数据块，并将所述多个批处理数据块分发至非流数据机器学习平台进行处理。

Images