CN117439854A - 数据处理方法、设备及存储介质 - Google Patents

Abstract

本发明实施例提供提供一种数据处理方法、设备及存储介质，属于数据管理技术领域。该方法包括：响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息；根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD；根据预设的数据获取规则，从至少一个所述POD中获取第二数据，其中，所述第二数据由所述宿主机在至少一个所述POD中根据预设的数据处理规则，对所述第一数据进行处理得到；将所述第二数据发送至终端设备。本发明实施例的技术方案旨在简化数据的处理流程，提高数据的处理效率，提升用户的使用体验。

Description

数据处理方法、设备及存储介质

技术领域

本发明涉及数据管理技术领域，尤其涉及一种数据处理方法、设备及存储介质。

背景技术

目前，业界一般利用分布式文件系统如HDFS(Hadoop Distributed File System，分布式文件系统)，Ceph等对数据进行存储和/或调用。举例而言，若在GIS系统(GeographicInformation System，地理化信息系统)中使用分布式文件系统，则GIS系统在读写数据时，由于分布式文件系统需要对大量的数据进行序列化处理、反序列化处理以及网络传输等处理流程，数据的处理流程复杂，容易导致数据的处理效率较低，影响用户的使用体验。

发明内容

本发明实施例提供一种数据处理方法，设备及存储介质，旨在简化数据的处理流程，提高数据的处理效率，提升用户的使用体验。

第一方面，本发明实施例提供一种数据处理方法，包括：

响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息；

根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD；

根据预设的数据获取规则，从至少一个所述POD中获取第二数据，其中，所述第二数据由所述宿主机在至少一个所述POD中根据预设的数据处理规则，对所述第一数据进行处理得到；

将所述第二数据发送至所述终端设备。

第二方面，本发明实施例还提供一种数据处理设备，所述数据处理设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明说明书提供的任一项数据处理方法的步骤。

第三方面，本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项数据处理方法的步骤。

本发明实施例提供一种数据处理方法、设备及存储介质，本发明实施例通过响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息；根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD；根据预设的数据获取规则，从至少一个所述POD中获取第二数据，其中，所述第二数据由所述宿主机在至少一个所述POD中根据预设的数据处理规则，对所述第一数据进行处理得到；将所述第二数据发送至所述终端设备。解决了数据的处理流程复杂的问题，简化了数据的处理流程，提高了数据的处理效率，提升了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明一实施例涉及的数据处理框架的示意图；

图3为本发明一实施例涉及的数据处理交互图；

图4为本发明一实施例涉及的数据处理交互图；

图5为本发明实施例提供的一种数据处理设备的结构示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

本发明实施例提供一种数据处理方法设备及存储介质。其中，该数据处理方法可应用于终端设备中，该终端设备可以是手机、平板电脑、笔记本电脑、台式电脑等电子设备。也可以应用于服务器中，该服务器可以是单独的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

下面结合附图，对本发明的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1为本发明实施例提供的一种数据处理方法的流程示意图。

请参阅图2，图2为本发明一实施例涉及的数据处理框架的示意图。

可选地，数据处理框架部署于Kubernetes环境中。举例而言，如图2所示，数据处理框架包括Master、宿主机以及POD，其中，Master可连接多个宿主机并与多个宿主机进行通信，宿主机可容纳多个POD。

在一些实施例中，Master用于管理Kubernetes环境中的集群，例如宿主机以及POD；宿主机用于与Master通信；POD为Kubernetes环境中的最小部署单元，用于存储数据。

如图1所示，该数据处理方法包括步骤S101至步骤S104。

步骤S101、响应于终端设备发送的数据获取请求，基于数据获取请求确定第一数据的标识信息。

示例性的，该数据处理方法可以应用于任意需要对大量数据进行分布式存储或者调用大量数据的系统例如应用于GIS系统中，以对GIS系统的相关数据进行处理。在一些实施例中，响应于用户对终端设备的相关操作，GIS系统需要向用户呈现对应的地理化图像。举例而言，地理化图像的呈现需要获取GIS系统的相应数据，并对获取的数据进行处理得到地理化图像。

可选地，GIS系统的数据分布存储于数据处理框架中的POD中。在一些实施例中，当终端设备请求呈现某一地理化图像时，相当于接收到终端设备发送的数据获取请求。示例性的，数据处理框架中的Master可以基于该数据获取请求，分析确定呈现对应的地理化图像所需的第一数据，例如，Master响应于终端设备发送的数据获取请求，基于数据获取请求确定第一数据的标识信息。

步骤S102、根据第一数据的标识信息，确定各个宿主机以及各个宿主机各自对应的POD。

在一些实施例中，Master可以根据第一数据的标识信息，确定第一数据的存储位置，例如，确定存储有第一数据的各个POD所在的各个宿主机以及对应的POD。

可选地，根据第一数据的标识信息，确定各个宿主机以及各个宿主机各自对应的POD，包括：根据第一数据的标识信息，从预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系中，确定各个宿主机以及各个宿主机各自对应的POD。

示例性的，Master中设置有多个数据库，例如，该数据库可以为轻量级数据库，举例而言，该数据库可以用于存储预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系和/或存储从POD获取的第二数据。在一些实施例中，例如使用HDFS对GIS系统的数据进行分布式存储时，由于HDFS需要响应于数据获取指令，获取第一数据，并对第一数据进行序列化、网络传输、反序列化等处理过程，任何数据均以对象的形式存储在HDFS中的Master中，举例而言，若每个对象约占150byte，则当有一百万个对象时，HDFS中的Master对每个对象进行存储大约需要2G内存，并且随着对象数量的增加，HDFS中的Master的内存容量需求也相应地增加。可以理解的，HDFS中的Master的内存容量严重制约了集群的扩展。可选地，在Master中设置有多个数据库例如轻量级数据库用于存储各个对象例如存储预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系和/或存储从POD获取的第二数据，则可以使得Master中的内存占用量稳定维持在较低水平，不会随着对象的增长而增长，有利于集群的扩展。

可选地，预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系可以是预先设置的，也可以是实时更新的。

举例而言，在响应于终端设备发送的数据获取请求，基于数据获取请求确定第一数据的标识信息之前，还可以：向各个宿主机发送标识信息上报指令，以指示各个宿主机中的各个POD分别上报数据标识信息、宿主机标识信息以及POD标识信息；根据数据标识信息、宿主机标识信息、POD标识信息之间的关联关系。当然也不限于此，例如，Master可以定时或者在检测到宿主机发生变更时，向各个宿主机发送标识信息上报指令，以更新数据标识、宿主机标识信息、POD标识信息之间的关联关系，在此不做限制。

在一些实施例中，Master根据预设的第一数据的标识信息，从预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系中，确定与第一数据的标识信息相关联的宿主机标识信息以及POD标识信息。举例而言，可以通过确定的宿主机标识信息以及POD标识信息，确定各个宿主机以及各个宿主机各自对应的POD，以确定第一数据的存储位置。

可选地，Master可以对各个宿主机以及各个宿主机对应的POD中存储的数据进行管理。示例性的，检测是否存在第三数据；若存在第三数据，基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD；分别指示对应的宿主机将对应类别的第三数据存储至对应的POD中。

在一些实施例中，基于预设的存储规则，对于同一类别的第三数据可以创建相应数量的副本分别存储在不同宿主机对应的POD中。

举例而言，基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD，包括：确定第三数据对应的类别数量；根据第三数据的类别数量以及宿主机的数量，确定各个类别的第三数据各自对应的副本数；根据各个类别的第三数据各自对应的副本数，确定存储对应类别的第三数据的宿主机的个数；根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD。

示例性的，Master可以获取第三数据的标识信息，可以理解的，不同类别的第三数据的标识信息不同，Master例如可以根据第三数据的标识信息之间的不相同个数，确定第三数据对应的类别数量，当然也不限于此。

在一些实施例中，根据第三数据的类别数量以及宿主机的数量，确定各个类别的第三数据各自对应的副本数，以根据各个类别的第三数据各自对应的副本数将对应类别的第三数据进行副本复制，直至达到副本数对应的份数，以将多份同一类别的第三数据分别存储在不同的宿主机以及各个宿主机对应的POD中。

示例性的，在确定各个类别的第三数据各自对应的副本数之后，例如根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，确定当前各个宿主机中的各个POD存储的数据的类别数量，从而确定存储各个类别的第三数据的宿主机以及各个宿主机对应的POD。

请参阅图3，图3为本发明一实施例涉及的数据处理交互图。

如图3所示，Master检测到的第三数据例如暂时存储在HDFS中，其中，第三数据包括A.zip、B.zip、C.zip以及D.zip，并且当前连接Master的宿主机包括宿主机1、宿主机2以及宿主机3。示例性的，Master基于预设的存储规则，根据第三数据的类别数量为4以及宿主机的数量为3，确定A.zip、B.zip、C.zip以及D.zip各自对应的副本数为2，以控制A.zip、B.zip、C.zip以及D.zip的副本数，同时根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，指示宿主机1对A.zip、C.zip以及D.zip进行存储，宿主机2对B.zip以及D.zip进行存储，以及宿主机3对A.zip、B.zip、C.zip进行存储，以均衡地将A.zip、B.zip、C.zip以及D.zip分布存储于宿主机1、宿主机2以及宿主机3中。

在一些实施例中，还可以根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，确定宿主机1、宿主机2以及宿主机3包括的各个POD当前存储的数据对应的类别数量，从而分别确定宿主机1、宿主机2以及宿主机3中存储A.zip、B.zip、C.zip以及D.zip对应的POD，以均衡宿主机1、宿主机2以及宿主机3中各个POD存储的数据对应的类别数量。

步骤S103、根据预设的数据获取规则，从至少一个POD中获取第二数据，其中，第二数据由宿主机在至少一个POD中根据预设的数据处理规则，对第一数据进行处理得到。

在一些实施例中，若Master根据第一数据的标识信息，确定第一数据的存储位置之后，对第一数据进行获取并发送给终端设备，则终端设备仍需要对第一数据进行相应的处理，例如使用HDFS对GIS系统的数据进行分布式存储时，需要响应于数据获取指令，获取第一数据，并对第一数据进行序列化、网络传输、反序列化等处理过程方能将第一数据发送至GIS系统，GIS系统仍需对第一数据进行处理以生成地理化图像，再进行地理化图像的显示，流程复杂，并耗费大量时间，数据的处理效率相对较低。示例性的，由于HDFS需要响应于数据获取指令，获取第一数据，并对第一数据进行序列化、网络传输、反序列化等处理过程，数据的处理过程对应的时延相对较大，相应地，HDFS中的用于存储数据的存储设备载体例如硬盘在进行数据的读写时需要保持非常高的实时性，对存储设备载体的要求相对较高。

可选地，可以根据预设的数据获取规则，从至少一个POD中直接获取第二数据，其中，第二数据由宿主机在至少一个POD中根据预设的数据处理规则，对第一数据进行处理得到。举例而言，宿主机基于预设的数据处理规则，对GIS系统生成地理化图像所需的第一数据进行处理，生成地理化图像，并将生成的地理化图像作为第二数据反馈给Master，从而Master可以将地理化图像发送给终端设备，终端设备无需再对第一数据进行处理，节省数据处理的流程，提高数据处理的效率。示例性的，基于节省的数据处理的流程，数据的处理过程对应的时延相对较小，则POD可以灵活采用不同的硬盘，例如机械硬盘或其他硬盘，对存储设备载体的要求较低。

示例性的，基于预设的数据存储规则，对于同一类别的数据可以通过建立副本将其存储于多个宿主机对应的POD中，则对于同一类别的数据的获取，根据预设的数据获取规则，可以从至少一个POD中进行获取。

可选地，根据预设的数据获取规则，从至少一个POD中获取第二数据，包括：当数据获取请求用于指示获取相同类别数据时，根据需要获取的类别数据的数据量，确定存储有对应类别数据的各个POD需反馈的数据量；分别从对应的POD中获取对应数据量的第二数据。

示例性的，请结合图4，当数据获取请求用于指示获取相同类别数据时，例如数据获取请求用于指示获取A.zip时，根据需要获取的A.zip的数据量，例如需要获取十份A.zip，则可以确定存储有A.zip的各个POD需反馈的数据量，例如宿主机1的POD1存储有A.zip，宿主机3的POD3存储有A.zip，则宿主机1的POD1需反馈的数据量为5份A.zip，宿主机3的POD3需反馈的数据量为5份A.zip，从而，宿主机1和宿主机3可以同时对A.zip进行处理得到对应数据量的第二数据以反馈对应数据量的第二数据至Master，提高数据处理的并发性，从而提高数据的处理效率。

可选地，根据预设的数据获取规则，从至少一个POD中获取第二数据，包括：当数据获取请求用于指示获取不同类别数据时，根据需要获取的任一类别数据的数据量，确定存储有该任一类别数据的任一POD需反馈的数据量；从该任一POD中获取对应数据量的第二数据。

示例性的，请结合图4，当数据获取请求用于指示获取不同类别的数据时，例如数据获取请求用于指示获取A.zip、B.zip以及C.zip时，根据需要获取的A.zip、B.zip以及C.zip各自对应的数据量，例如需要获取一份A.zip、一份B.zip以及一份C.zip，则可以确定存储有该任一类别数据的任一POD需反馈的数据量，例如宿主机1的POD1中存储有A.zip以及POD2中存储有C.zip，宿主机2的POD2中存储有B.zip，宿主机3的POD1中存储有C.zip以及POD3中存储有A.zip，示例性的，确定宿主机1的POD1需要反馈的数据量为一份A.zip，宿主机2的POD2需要反馈的数据量为一份B.zip，宿主机3的POD1需要反馈的数据量为一份C.zip，从而宿主机1、宿主机2以及宿主机3可以分别对POD反馈的数据量进行处理得到对应数据量的第二数据以反馈对应数据量的第二数据至Master，提高数据处理的并发性，均衡各个宿主机以及各个宿主机对应的POD的反馈数据量，从而提高数据的处理效率。

步骤S104、将第二数据发送至终端设备。

在一些实施例中，终端设备例如包括GIS系统的终端设备，根据第二数据，可以直接向用户呈现地理化图像，从而提升了用户的使用体验。

可选地，该数据处理方法还包括：检测是否存在宿主机变更；当检测到宿主机变更时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，调整各个宿主机以及各个宿主机各自对应的POD中的数据。

示例性的，宿主机变更类别包括添加宿主机、减少宿主机、更换宿主机中的任意一种。在一些实施例中，可以对宿主机的变更情况进行跟踪。示例性的，可以根据在相邻的第一时间阈值和第二时间阈值内宿主机的变更情况，确定宿主机变更类别，其中，第一时间阈值早于第二时间阈值。例如，若在第一时间阈值内，检测到宿主机增加，在第二时间阈值内，检测到宿主机减少，则可以确定宿主机变更类别为更换宿主机；若在第一时间阈值内，检测到宿主机减少，在第二时间阈值内，检测到宿主机增加，则可以确定宿主机变更类别为更换宿主机；若在第一时间阈值内，检测到宿主机增加，在第二时间阈值内，未检测到宿主机变更，则可以确定宿主机变更类别为添加宿主机；若在第一时间阈值，检测到宿主机减少，在第二时间阈值内，未检测到宿主机变更，则可以确定宿主机变更类别为减少宿主机。

在一些实施例中，当宿主机变更为更换宿主机时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息的匹配情况，可以确定宿主机变更后缺少的数据标识信息，从而可以确定丢失的数据。示例性的，可以将丢失的数据下载至更换的宿主机中，和/或根据预设的存储规则，确定在更换的宿主机中存储各个类别的丢失的数据对应的POD。举例而言，可以按照数据的存储时间以及获取频率，将丢失的数据存储至更换的宿主机的相应POD中。例如，数据的存储时间距离宿主机的变更时间越近，则优先对相应的数据进行存储；又例如，数据的获取频率越高，则优先对相应的数据进行存储，以避免数据丢失。

在一些实施例中，当宿主机变更为增加宿主机时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，确定各个宿主机以及各个宿主机对应的POD中存储的数据对应的类别数量的差别，从而根据各个宿主机以及各个宿主机对应的POD中存储的数据对应的类别数量的差别，调整相应类别的数据的副本量和/或将相应类别的数据迁移至增加的宿主机的相应POD中，以均衡各个宿主机以及各个宿主机对应的POD中存储的数据对应的类别数量。

在一些实施例中，当宿主机变更为减少宿主机时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，确定丢失的数据，并确定各个宿主机以及各个宿主机对应的POD中存储的数据对应的类别数量差别。示例性的，可以根据数据的存储时间以及获取频率，将丢失的数据存储至相应的宿主机以及相应的宿主机各自对应的POD中和/或调整相应类别的数据的副本量和/或将相应类别的数据迁移至相应的宿主机对应的POD中，以均衡各个宿主机以及各个宿主机对应的POD中存储的数据对应的类别数量。

可选地，在根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，调整各个宿主机以及各个宿主机各自对应的POD中的数据之后，更新数据标识信息、宿主机标识信息、POD标识信息之间的关联关系。

在一些实施例中，各个宿主机中的各个POD分别向Master上报数据标识信息、宿主机标识信息以及POD标识信息，以使得Master更新数据标识信息、宿主机标识信息、POD标识信息之间的关联关系。

可选地，该数据处理方法还可以对数据的存储时间和获取频率进行检测。举例而言，当数据的存储时间大于预设存储时间阈值，并且，数据的获取频率低于预设获取频率阈值时，可以对相应的数据进行删除，以减少各个宿主机以及各个宿主机对应的POD中存储的冗余数据。

通过响应于终端设备发送的数据获取请求，基于数据获取请求确定第一数据的标识信息；根据第一数据的标识信息，确定各个宿主机以及各个宿主机各自对应的POD；根据预设的数据获取规则，从至少一个POD中获取第二数据，其中，第二数据由宿主机在至少一个POD中根据预设的数据处理规则，对第一数据进行处理得到，将第二数据发送至终端设备，有效解决了数据的处理流程复杂，导致数据的处理效率较低，影响用户的使用体验的问题，简化了数据的处理流程，提高了数据的处理效率，提升了用户的使用体验。

请参阅图5，图5为本发明实施例提供的一种数据处理设备的结构示意性框图。

如图5所示，数据处理设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C(Inter-integrated Circuit)总线。

具体地，处理器301用于提供计算和控制能力，支撑整个数据处理设备的运行。处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明实施例方案相关的部分结构的框图，并不构成对本发明实施例方案所应用于其上的数据处理设备的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据处理方法。

在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：

响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息；

根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD；

根据预设的数据获取规则，从至少一个所述POD中获取第二数据，其中，所述第二数据由所述宿主机在至少一个所述POD中根据预设的数据处理规则，对所述第一数据进行处理得到；

将所述第二数据发送至所述终端设备。

在一实施例中，所述处理器在实现所述根据所述第一数据的标识信息，确定各个宿主机以及各个宿主机各自对应的POD时，用于实现：

根据所述第一数据的标识信息，从预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系中，确定各个宿主机以及所述各个宿主机各自对应的POD。

在一实施例中，所述处理器在实现所述根据预设的数据获取规则，从至少一个所述POD中获取第二数据时，用于实现：

当所述数据获取请求用于指示获取相同类别数据时，根据需要获取的类别数据的数据量，确定存储有对应类别数据的各个所述POD需反馈的数据量；

分别从对应的所述POD中获取对应数据量的所述第二数据。

在一实施例中，所述处理器在实现所述根据预设的数据获取规则，从至少一个所述POD中获取第二数据，包括：

当所述数据获取请求用于指示获取不同类别数据时，根据需要获取的任一类别数据的数据量，确定存储有该任一类别数据的任一POD需反馈的数据量；

从该任一POD中获取对应数据量的所述第二数据。

在一实施例中，所述处理器在实现数据处理方法时，用于实现：

检测是否存在第三数据；

若存在第三数据，基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD；

分别指示对应的宿主机将对应类别的第三数据存储至对应的POD中。

在一实施例中，所述处理器在实现所述基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD时，用于实现：

确定所述第三数据对应的类别数量；

根据第三数据的类别数量以及宿主机的数量，确定各个类别的第三数据各自对应的副本数；

根据各个类别的第三数据各自对应的副本数，确定存储对应类别的第三数据的宿主机的个数；

根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD。

在一些实施例中，所述处理器在实现所述响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息之前，用于实现：

向各个所述宿主机发送标识信息上报指令，以指示各个所述宿主机中的各个POD分别上报数据标识信息、宿主机标识信息以及POD标识信息；

根据所述数据标识信息、所述宿主机标识信息以及所述POD标识信息，确定数据标识信息、宿主机标识信息、POD标识信息之间的关联关系。

在一实施例中，所述处理器在实现数据处理方法时，用于实现：

检测是否存在宿主机变更；

当检测到存在宿主机变更时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，调整各个宿主机以及各个宿主机各自对应的POD中的数据。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据处理设备的具体工作过程，可以参考前述数据处理方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例说明书提供的任一项数据处理的方法的步骤。

其中，所述存储介质可以是前述实施例所述的数据处理设备的内部存储单元，例如所述数据处理设备的硬盘或内存。所述存储介质也可以是所述数据处理设备的外部存储设备，例如所述数据处理设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息；

根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD；

根据预设的数据获取规则，从至少一个所述POD中获取第二数据，其中，所述第二数据由所述宿主机在至少一个所述POD中根据预设的数据处理规则，对所述第一数据进行处理得到；

将所述第二数据发送至所述终端设备。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第一数据的标识信息，确定各个宿主机以及所述各个宿主机各自对应的POD，包括：

根据所述第一数据的标识信息，从预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系中，确定各个宿主机以及所述各个宿主机各自对应的POD。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设的数据获取规则，从至少一个所述POD中获取第二数据，包括：

当所述数据获取请求用于指示获取相同类别数据时，根据需要获取的类别数据的数据量，确定存储有对应类别数据的各个所述POD需反馈的数据量；

分别从对应的所述POD中获取对应数据量的所述第二数据。

4.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设的数据获取规则，从至少一个所述POD中获取第二数据，包括：

当所述数据获取请求用于指示获取不同类别数据时，根据需要获取的任一类别数据的数据量，确定存储有该任一类别数据的任一POD需反馈的数据量；

从该任一POD中获取对应数据量的所述第二数据。

5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，还包括：

检测是否存在第三数据；

若存在第三数据，基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD；

分别指示对应的宿主机将对应类别的第三数据存储至对应的POD中。

6.根据权利要求5所述的数据处理方法，其特征在于，所述基于预设的数据存储规则，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD，包括：

确定所述第三数据对应的类别数量；

根据第三数据的类别数量以及宿主机的数量，确定各个类别的第三数据各自对应的副本数；

根据各个类别的第三数据各自对应的副本数，确定存储对应类别的第三数据的宿主机的个数；

根据预设的数据标识信息、宿主机标识信息和POD标识信息之间的关联关系，确定存储各个类别的第三数据的各个宿主机以及各个宿主机对应的POD。

7.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，在所述响应于终端设备发送的数据获取请求，基于所述数据获取请求确定第一数据的标识信息之前，还包括：

向各个所述宿主机发送标识信息上报指令，以指示各个所述宿主机中的各个POD分别上报数据标识信息、宿主机标识信息以及POD标识信息；

根据所述数据标识信息、所述宿主机标识信息以及所述POD标识信息，确定数据标识信息、宿主机标识信息、POD标识信息之间的关联关系。

8.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，还包括：

检测是否存在宿主机变更；

当检测到存在宿主机变更时，根据宿主机变更后的数据标识信息与宿主机变更前的数据标识信息之间的匹配情况，调整各个宿主机以及各个宿主机各自对应的POD中的数据。

9.一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的数据处理方法的步骤。

10.一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的数据处理方法的步骤。