CN116257754A - 一种数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法及装置，该方法包括：获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用。本申请能够提高获取数据的效率，提高用户的体验。

Description

一种数据处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着社会的发展，社会逐渐进入信息化时代。在信息化时代中，数据已经变成人们日常生活中，不可获缺的部分。

但是由于终端设备的增多，数据量也逐渐增大，使得当前用户难以在繁杂的数据量中获取需要的数据，使得用户获取需要的数据的效率较低，降低了用户的体验。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法、装置及电子设备，能够提高获取数据的效率，提高用户的体验。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的；

基于数据分类模型对存储的数据进行分类，得到多种数据类型；

将所数据类型的标识对应的数据类型下的数据发送至数据应用。

根据本申请实施例的一种具体实现方式，在将所数据类型的标识对应的数据类型下的数据发送至数据应用之后，方法还包括：

对接收到的新数据进行分类，得到多种数据类型；

将数据应用对应的数据类型下的数据发送至数据应用。

根据本申请实施例的一种具体实现方式，在基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，方法还包括：

基于预设的数据预处理规则，对数据进行预处理，得到标准格式的数据；

基于数据分类模型对存储的数据进行分类，得到多种数据类型，包括：

基于数据分类模型对存储的标准格式的数据进行分类，得到多种数据类型。

根据本申请实施例的一种具体实现方式，在基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，方法还包括：

基于训练样本对数据分类模型进行训练；

在满足预设条件的情况下，停止训练，得到训练完成的数据分类模型。

根据本申请实施例的一种具体实现方式，满足预设条件包括：训练次数满足预设次数和/或数据分类模型对应的损失函数值满足预设阈值。

根据本申请实施例的一种具体实现方式，在基于训练样本对数据分类模型进行训练之前，方法还包括：

获取多个数据应用发送的数据类型；

基于多个数据类型以及历史数据生成训练样本。

第二方面，本申请实施例提供一种数据处理装置，包括：

第一获取模块，用于获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的；

第一分类模块，用于基于数据分类模型对存储的数据进行分类，得到多种数据类型；

第一发送模块，用于将所数据类型的标识对应的数据类型下的数据发送至数据应用。

根据本申请实施例的一种具体实现方式，装置还包括：

第二分类模块，在将所数据类型的标识对应的数据类型下的数据发送至数据应用之后，用于对接收到的新数据进行分类，得到多种数据类型；

第二发送模块，用于将数据应用对应的数据类型下的数据发送至数据应用。

根据本申请实施例的一种具体实现方式，数据处理装置还包括：

训练模块，在基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，用于基于训练样本对数据分类模型进行训练；

判断模块，用于在满足预设条件的情况下，停止训练，得到训练完成的数据分类模型。

根据本申请实施例的一种具体实现方式，满足预设条件包括：训练次数满足预设次数和/或数据分类模型对应的损失函数值满足预设阈值。

根据本申请实施例的一种具体实现方式，数据处理装置还包括：

第二获取模块，在基于训练样本对数据分类模型进行训练之前，用于获取多个数据应用发送的数据类型；

生成模块，用于基于多个数据类型以及历史数据生成训练样本。

第三方面，本申请实施例提供一种电子设备，电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实现方式的方法。

第四方面，本申请的实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述的方法。

本申请实施例提供的一种数据处理方法、装置、电子设备及可读存储介质，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用，使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一的数据处理方法的流程示意图；

图2为本申请实施例二的数据处理方法的流程示意图；

图3为本申请实施例三的数据处理方法的流程示意图；

图4为本申请实施例四的数据处理装置的流程示意图；

图5为本申请电子设备一个实施例的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了对本申请进行详细的说明，首先对本申请出现的名词进行解释：

从数据需求方面来看，有数百个上层应用，需要从该系统中获取数据。每个系统都要根据其自身独特的业务提出不一样的数据需求，从而造成了，该系统需要对外提供几百种不同的数据接口。

系统建设初期，所纳管的设备数量有限，支持的上层应用也比较少，采用针对每个不同的上层应用定制的模式，即每个上层应用提出数据需求的时候，先针对上层应用的需求进行分析，然后针对该需求进行数据组装的程序开发，在开发的过程中，尽可能的复用代码，提升代码复用率。但是随着上层应用数据的不断增加，从需求提出，到实际提供数据支撑，整个过程越变越长。在此基础上，为了解决数据支撑速度的问题，针对需求进行数据组装程序开发的步骤，改成了配置加定制的形式，即针对需求进行综合整理分析，把一些通用的数据需求配置化，对一些个性化的数据需求，再进行程序开发，这样大大增加了数据支撑需求的效率。但由于上层应用数量多，需求多种多样，虽然效率有了提升，但是数据支撑这个流程依然是业务流程中的瓶颈。

为了解决上述技术问题，本申请实施例提供了一种数据处理方法。

图1为本申请实施例一提供的一种数据处理方法流程图，如图1所示，方法可以包括：

S110，获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的。

在一些实施例中，数据需求可以包括由配置在终端设备上的数据应用向存储数据的服务器发送的需求。

可选地，不同的终端设备中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。

服务器可以是提供各种服务的服务器，例如对用户利用终端设备所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本领域技术人员可以知晓，上述终端设备、网络和服务器的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。本申请实施例对此不作限定。

可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

在一些实施例中，数据需求可以包括多种数据元需求，其中每种数据元需可以是最小的数据类型组合成的需求。

需要说明的是，可以由用户自定义设置数据元需求，示例性的，数据元需求可以包括：村庄名称、时间、数据大小。然后数据需求可以包括由上述村庄名称、时间、数据大小组成的需求。

S120，基于数据分类模型对存储的数据进行分类，得到多种数据类型。

在一个实施例中，数据分类模型可以包括多种能够进行分类的模型，本申请实施例中并不做具体限定。

在一个实施例中，可以将数据类型进行向量化，然后将数据类型对应的特征向量进行分类。

S130，将所数据类型的标识对应的数据类型下的数据发送至数据应用。

在一个实施例中，数据类型有多种，而每种数据类型均对应多个数据。在确定数据应用需要的数据类型后，可以将此数据类型下的数据发送至数据应用。

本申请实施例提供的一种数据处理方法中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用，使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率。

图2为本申请实施例二提供的一种数据处理方法流程图，如图2所示，方法可以包括：

S210，获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的；

S220，基于数据分类模型对存储的数据进行分类，得到多种数据类型；

S230，将所数据类型的标识对应的数据类型下的数据发送至数据应用；

S240，对接收到的新数据进行分类，得到多种数据类型。

在一些实施例中，数据处理装置还可以持续接收新数据，其中，新数据可以包括IT云、CT云、天翼云各云池的物理设备以及虚拟设备数据。

在一些实施例中，获取新数据的方法可以包括通过蠕虫爬取数据，也可以通过人工导入的方法获取新数据。

S250，将数据应用对应的数据类型下的数据发送至数据应用。

在一些实施例中，对新数据进行分类的方法与上述实施例中分类的方法相同，此处不再赘述。

本申请实施例中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用，使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率，并且可以对接收到的新数据进行处理，然后得到处理后的新数据，可以及时对新数据进行分类，避免了数据应用无法获取新数据。

在一些实施例中，在在基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，数据处理方法还可以包括：

基于预设的数据预处理规则，对数据进行预处理，得到标准格式的数据。

在一些实施例中，预设的处理规则可以包括用户自定义的处理规则。

在一些实施例中，对数据进行预处理包括将数据进行清洗、集成、转换、离散、归约、特征选择。

在一些实施例中，可以将预处理后的标准格式的数据输入至数据分类模型，以得到多种数据类型。

图3为本申请实施例三提供的一种数据处理方法流程图，如图3所示，方法可以包括：

S310，获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的；

S320，基于训练样本对数据分类模型进行训练。

在一个实施例中，可以获取多个数据应用发送的数据类型；然后基于多个数据类型以及历史数据生成训练样本。

S330，在满足预设条件的情况下，停止训练，得到训练完成的数据分类模型。

在一些实施例中，训练次数满足预设次数和/或数据分类模型对应的损失函数值满足预设阈值。

S340，基于数据分类模型对存储的数据进行分类，得到多种数据类型；

S350，将所数据类型的标识对应的数据类型下的数据发送至数据应用。

本申请实施例中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用。而在使用数据分类模型之前，首先将数据分类模型进行训练，可以使得数据分类模型的分类更加精准。使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率。

基于相同的发明构思，本申请实施例中还提供了一种数据处理装置。

图4为本申请实施例三提供的一种数据处理装置结构图，如图4所示，装置可以包括：

第一获取模块410，用于获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的；

第一分类模块420，用于基于数据分类模型对存储的数据进行分类，得到多种数据类型；

第一发送模块430，用于将所数据类型的标识对应的数据类型下的数据发送至数据应用。

本申请实施例提供的一种数据处理装置中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用，使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率。

根据本申请实施例的一种具体实现方式，装置还包括：

第二分类模块，在将所数据类型的标识对应的数据类型下的数据发送至数据应用之后，用于对接收到的新数据进行分类，得到多种数据类型；

第二发送模块，用于将数据应用对应的数据类型下的数据发送至数据应用。

本申请实施例中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用，使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率，并且可以对接收到的新数据进行处理，然后得到处理后的新数据，可以及时对新数据进行分类，避免了数据应用无法获取新数据。

根据本申请实施例的一种具体实现方式，数据处理装置还包括：

训练模块，在基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，用于基于训练样本对数据分类模型进行训练；

判断模块，用于在满足预设条件的情况下，停止训练，得到训练完成的数据分类模型。

根据本申请实施例的一种具体实现方式，满足预设条件包括：训练次数满足预设次数和/或数据分类模型对应的损失函数值满足预设阈值。

本申请实施例中，通过获取数据应用发送的数据需求，数据需求包括数据类型的标识，其中数据类型是根据数据的应用场景确定的，基于数据分类模型对存储的数据进行分类，得到多种数据类型，将所数据类型的标识对应的数据类型下的数据发送至数据应用。而在使用数据分类模型之前，首先将数据分类模型进行训练，可以使得数据分类模型的分类更加精准。使得用户能够精准的获取需要的数据，提高了用户获取数据的准确率。

根据本申请实施例的一种具体实现方式，数据处理装置还包括：

第二获取模块，在基于训练样本对数据分类模型进行训练之前，用于获取多个数据应用发送的数据类型；

生成模块，用于基于多个数据类型以及历史数据生成训练样本。

图5为本申请电子设备一个实施例的结构示意图，可以实现本申请图1-4所示实施例的流程，如图5所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例的方法的步骤。

处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本申请图1-4所示实施例的描述，在此不再赘述。

该电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

第五方面，本申请的实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本申请任一实施例提供的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本申请时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取数据应用发送的数据需求，所述数据需求包括数据类型的标识，其中所述数据类型是根据数据的应用场景确定的；

基于数据分类模型对存储的数据进行分类，得到多种数据类型；

将所数据类型的标识对应的数据类型下的数据发送至所述数据应用。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述将所数据类型的标识对应的数据类型下的数据发送至数据应用之后，所述方法还包括：

对接收到的新数据进行分类，得到多种数据类型；

将所述数据应用对应的数据类型下的数据发送至所述数据应用。

3.根据权利要求1所述的数据处理方法，其特征在于，在所述基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，所述方法还包括：

基于预设的数据预处理规则，对所述数据进行预处理，得到标准格式的数据；

所述基于数据分类模型对存储的数据进行分类，得到多种数据类型，包括：

所述基于数据分类模型对存储的标准格式的数据进行分类，得到多种数据类型。

4.根据权利要求1所述的数据处理方法，其特征在于，在所述基于数据分类模型对存储的数据进行分类，得到多种数据类型之前，所述方法还包括：

基于训练样本对所述数据分类模型进行训练；

在满足预设条件的情况下，停止训练，得到训练完成的数据分类模型。

5.根据权利要求4所述的数据处理方法，其特征在于，所述满足预设条件包括：训练次数满足预设次数和/或数据分类模型对应的损失函数值满足预设阈值。

6.根据权利要求4所述的数据处理方法，其特征在于，在基于训练样本对所述数据分类模型进行训练之前，所述方法还包括：

获取多个数据应用发送的数据类型；

基于多个数据类型以及历史数据生成所述训练样本。

7.一种数据处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取数据应用发送的数据需求，所述数据需求包括数据类型的标识，其中所述数据类型是根据数据的应用场景确定的；

第一分类模块，用于基于数据分类模型对存储的数据进行分类，得到多种数据类型；

第一发送模块，用于将所数据类型的标识对应的数据类型下的数据发送至所述数据应用。

8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：

第二分类模块，在所述将所数据类型的标识对应的数据类型下的数据发送至数据应用之后，用于对接收到的新数据进行分类，得到多种数据类型；

第二发送模块，用于将所述数据应用对应的数据类型下的数据发送至所述数据应用。

9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1至6任一项所述的方法。

Images