CN110417901B - 数据处理方法、装置及网关服务器 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置及网关服务器；其中，该方法包括：获取待处理数据的时间信息；时间信息用于指示待处理数据到达当前设备的时间；根据时间信息，确定待处理数据是否满足预设条件；如果满足预设条件，删除待处理数据。本发明通过时间信息清理无效数据，保证了监控数据的时效性，同时提高了网关存储空间的利用率。

Description

数据处理方法、装置及网关服务器

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据处理方法、装置及网关服务器。

背景技术

相关技术中，为了监控容器集群的工作状态，可以在各个容器集群中进行监控数据采集，并将监控数据暂存于网关服务器(也可以称为数据接收网关)中，中控平台(也可以称为监控数据存储处理平台)从网关服务器中读取监控数据以分析容器集群的工作状态。受网关服务器存储空间的限制，历史监控数据会被新的监控数据覆盖；如果某个容器集群被删除，关于该容器集群的监控数据不再更新；而网关服务器中依然保存该容器集群的历史监控数据，不仅浪费网关服务器的存储空间，而且不利于后续基于监控数据对整体集群的状态分析和判断。

发明内容

本发明的目的在于提供一种数据处理方法、装置及网关服务器，以保证监控数据的时效性，同时提高网关存储空间的利用率。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：获取待处理数据的时间信息；时间信息用于指示待处理数据到达当前设备的时间；根据时间信息，确定待处理数据是否满足预设条件；如果满足预设条件，删除待处理数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据时间信息，确定待处理数据是否满足预设条件的步骤，包括：计算时间信息与当前时间的时间差；判断时间差是否大于或等于预设的时间差阈值；如果是，确定满足预设条件；如果否，确定不满足预设条件。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据时间信息，确定待处理数据是否满足预设条件的步骤，包括：根据时间信息和待处理数据对应的容器集群的集群状态，确定待处理数据是否满足预设条件。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述待处理数据包括多个；根据时间信息和待处理数据对应的容器集群的集群状态，确定待处理数据是否满足预设条件的步骤，包括：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；获取待处理数据对应的容器集群的集群状态；针对每个待处理数据，如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且当前待处理数据对应的容器集群的集群状态为已删除，确定当前待处理数据满足预设条件。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述待处理数据包括多个；根据时间信息和待处理数据对应的容器集群的集群状态，确定待处理数据是否满足预设条件的步骤，包括：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据；获取待定数据对应的容器集群的集群状态；针对每个待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，确定当前待定数据满足预设条件。

第二方面，本发明实施例还提供一种数据处理装置，装置包括：信息获取模块，用于获取待处理数据的时间信息；时间信息用于指示待处理数据到达当前设备的时间；条件确定模块，用于根据时间信息，确定待处理数据是否满足预设条件；数据删除模块，用于如果满足预设条件，删除待处理数据。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述条件确定模块还包括：时间差计算单元，用于计算时间信息与当前时间的时间差；第一阈值判断单元，用于判断时间差是否大于或等于预设的时间差阈值；如果是，确定满足预设条件；如果否，确定不满足预设条件。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述条件确定模块还包括：第一条件确定单元，用于根据时间信息和待处理数据对应的容器集群的集群状态，确定待处理数据是否满足预设条件。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述待处理数据包括多个；第一条件确定单元还用于：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；获取待处理数据对应的容器集群的集群状态；针对每个待处理数据，如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且当前待处理数据对应的容器集群的集群状态为已删除，确定当前待处理数据满足预设条件。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述待处理数据包括多个；上述第一条件确定单元还用于：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据；获取待定数据对应的容器集群的集群状态；针对每个待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，确定当前待定数据满足预设条件。

第三方面，本发明实施例还提供一种网关服务器，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述数据处理方法。

第四方面，本发明实施例还提供机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述数据处理方法。

上述一种数据处理方法、装置及网关服务器，首先获取待处理数据的时间信息；进而根据该时间信息，确定待处理数据是否满足预设条件；如果满足预设条件，则删除待处理数据。该方式通过时间信息清理无效数据，保证了监控数据的时效性，同时提高了网关存储空间的利用率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理的应用场景的示意图；

图2为本发明实施例提供的一种数据处理方法的流程图；

图3为本发明实施例提供的另一种数据处理方法的流程图；

图4为本发明实施例提供的另一种数据处理方法的流程图；

图5为本发明实施例提供的另一种数据处理方法的流程图；

图6为本发明实施例提供的另一种数据处理方法的流程图；

图7为本发明实施例提供的一种多容器集群的监控数据接收过程示意图；

图8为本发明实施例提供的一种数据处理装置的结构示意图；

图9为本发明实施例提供的一种网关服务器的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，可以在每个容器集群中设置多个数据采集器，以采集所在集群的各种监控数据，同时设置与各个采集器连接的数据汇总转发代理设备，用于收集各种数据采集器采集的数据，并推送或转发到接收数据的网关服务器。为了便于理解，图1示出该应用场景，该场景包括多个容器集群、接收数据的网关服务器以及中控平台；其中，接收数据的网关服务器上可以安装有Pushgateway组件，中控平台也可以称为监控数据存储处理平台，该平台中可以运行有Prometheus系统。

该Prometheus系统是一种开源的监控报警系统，可以用于监控容器集群的运行状态；Prometheus系统通常采用拉取的方式从目标设备中获取数据，但是对于一些特殊的监控数据可能不能通过拉取的方式获得，此时，可以采用上述Pushgateway组件。该Pushgateway组件可以理解为一个缓存，目标设备可以将监控数据推送并保存至Pushgateway组件中，再由Prometheus系统以拉取数据的方式从Pushgateway组件中获取监控数据。例如，上述容器集群中的数据汇总转发代理设备，可以将该容器集群中各种数据采集器采集的数据推送并保存至网关服务器中的Pushgateway组件，中控平台中的Prometheus以一定的时间频率从Pushgateway组件中拉取数据。

图1中的数据采集器以节点监控数据采集器、容器监控数据采集器及Kubernetes(简称k8s)服务监控数据采集器为例进行说明，这三种数据采集器可以采集所在集群的节点处理器利用率、Pod运行状态、kube-apiserver请求延迟等监控数据。其中，Kubernetes是一种开源的容器编排引擎，通过Kubernetes可以自动化地部署、扩展、监控容器集群。Kubernetes内设置有多种组件用于监控容器集群的运行状态，如Probes组件、cAdvisor组件等，这些组件可以设置在上述容器监控数据采集器或者上述Kubernetes服务监控数据采集器中，以采集部分容器集群的监控数据。

通常，容器集群中的所有容器均运行在Pod中，Pod是容器云调度的基础单位，一个Pod可以理解为一组容器集合，一个容器集群可以划分为多个Pod；上述容器监控数据采集器或者Kubernetes服务监控数据采集器可以通过相关组件监控Pod的运行状态，该Pod的运行状态可以为运行中、等待中、正常终止、异常终止、未知状态等。

上述kube-apiserver是用于提供容器集群管理的REST(Representational StateTransfer，表现层状态转移)API(Application Programming Interface，应用程序接口)接口，该kube-apiserver可以用于容器集群的认证授权、数据校验以及集群状态变更等，还可以用于容器集群状态的存储操作等，因此kube-apiserver的请求延迟很大程度上影响容器集群的运行状态，上述Kubernetes服务监控数据采集器可以通过相关组件监控kube-apiserver的请求延迟。

每个容器集群中的数据汇总转发代理设备收集当前集群每个数据采集器的数据，处理并推送到接收数据的网关服务器，该网关服务器接收并暂存所有容器集群的数据汇总转发代理设备推送过来的最近一次监控数据。中控平台中的Prometheus系统定时从网关服务器获取采集的监控数据，并根据该监控数据对整体集群及各个集群的状态分析和判断；此外，该中控平台还兼具检索和展示功能，可以用于监控数据的检索和展示。

在具体工作过程中，由于网关服务器的存储空间有限，因此数据汇总转发代理设备每向网关服务器发送一条新数据时，都会覆盖该新数据对应的上一条历史数据，即网关服务器中只存储每个集群的最新的一条数据。基于该特点，若某个集群被删除后，网关中还会保留该集群最后上传至网关的一条历史数据，这样就会产生两个问题：其一，遗留的历史数据的数据量大的时候，会占据网关服务器较多的存储空间；其二，由于中控平台的Prometheus系统在定时从网关服务器获取数据时，只要网关服务器中存在历史数据，就会将其取走，因此，若某个集群已经被删除，Prometheus系统会不停地获取同一条历史数据，这些重复的历史数据是无效采样，会误导Prometheus系统后续判断分析，不利于基于监控数据对整体集群的状态分析和判断。

基于此，本发明实施例提供一种数据处理方法、装置及网关服务器，该技术可以应用于各种要求数据具有时效性的场景中，如容器集群的监控数据、网络系统的状态监控数据等的数据处理场景中。

首先参见图2所示的一种数据处理方法的流程图；该方法可以应用于网关服务器，该方法包括：

步骤S200，获取待处理数据的时间信息；该时间信息用于指示待处理数据到达当前设备的时间。

上述待处理数据可以为各类监控数据、传感数据等；例如，通过各个容器集群中的数据采集器采集到的监控数据，如网络流量、中央处理器(Central Processing Unit，CPU)使用率及内存使用情况等；这些监控数据都是根据容器集群的工作状态及系统状态实时变化的，通过对监控数据进行分析及统计，可以分析及评价各个容器集群及容器集群系统的状态。上述待处理数据可以由其他设备主动发送至当前设备，例如，如果当前设备是网关服务器时，各个容器集群中的数据汇总转发代理设备向网关服务器发送待处理数据；上述待处理数据也可以通过当前设备从其他设备获取，如网关服务器从每个容器集群中的数据汇总转发代理设备获取待处理数据。

当待处理数据到达当前设备时，当前设备在存储该待处理数据的时候通常会为该待处理数据添加时间信息，该时间信息指示待处理数据到达当前设备的时间。另一种方式中，与当前设备连接的其他设备发送待处理数据时，可以将时间信息携带至待处理数据中，一同发送至当前设备。该时间信息可以为一串预先约定的表示时间的字符，该字符添加在待处理数据对应的约定位置，如在待处理数据结尾处添加表示时间的字符；该时间信息还可以为较为常见的时间戳，时间戳是一个经加密后形成的凭证文档。通常，相比于上述约定字符，时间戳更为可信。

步骤S202，根据上述时间信息，确定待处理数据是否满足预设条件。

上述预设条件用于指示是否删除该待处理数据；该预设条件可以为与时间信息相关联的条件，如该预设条件可以是一个时间差阈值。具体而言，该预设条件可以与待处理数据的更新周期相关；如待处理数据的更新周期为24小时，预设条件可以设定为：在当前设备中的存储时间大于24小时；如果待处理数据在当前设备的存储时间为25小时，待处理数据满足上述预设条件。考虑到更新待处理数据过程中，可能出现网络问题导致的延迟更新，也可以将预设条件设置为：在当前设备中的存储时间大于n倍的待处理数据的更新周期，n为大于或等于1的整数。

在确定待处理数据是否满足预设条件的过程中，可以将待处理数据在当前设备中的存储时间与时间差阈值比较，根据比较结果确定是否满足预设条件。上述待处理数据在当前设备中的存储时间，可以通过将待处理数据的时间信息与当前时间进行运算得到。

此外，在时间信息的基础上，同时还可以考虑待处理数据对应的容器集群的状态设置预设条件。例如，如果待处理数据在当前设备中的存储时间较长，同时，该待处理数据对应的容器集群被删除，则可以确定待处理数据满足预设条件。

步骤S204，如果满足上述预设条件，删除待处理数据。

当待处理数据满足预设条件时，可以将待处理数据从当前设备中删除，以释放保存该待处理数据的存储空间。

上述数据处理方法，首先获取待处理数据的时间信息；进而根据该时间信息，确定待处理数据是否满足预设条件；如果满足预设条件，则删除待处理数据。该方式通过时间信息清理无效数据，保证了监控数据的时效性，同时提高了网关存储空间的利用率。

本发明实施例还提供另一种数据处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述根据时间信息，确定待处理数据是否满足预设条件的具体实现过程，如图3所示，该方法包括如下步骤：

步骤S300，获取待处理数据的时间信息；该时间信息用于指示待处理数据到达当前设备的时间。

步骤S302，计算上述时间信息与当前时间的时间差。

通常来说，可以从当前设备中或互联网中直接获取到当前时间；例如，如果当前设备为网关服务器，网关服务器通常设置有精确的计时装置，如无线电时钟或原子钟。将当前时间减去上述时间信息，即待处理数据到达当前设备的时间，即可得到上述时间差；该时间差也可以理解为待处理数据在当前设备中存储时间。

步骤S304，判断上述时间差是否大于或等于预设的时间差阈值；如果是，执行步骤S306；如果否，结束。

上述时间差阈值可以与中控平台读取待处理数据的周期相关，也可以与待处理数据更新的周期相关。作为示例，中控平台以预设的第一时间周期读取网关服务器中的监控数据(即上述待处理数据)；各个容器集群的数据汇总转发代理设备以预设的第二时间周期(即数据更新周期)将数据采集器采集到的监控数据发送至网关服务器，每个容器集群对应的第二时间周期可能不同。为了使读取到的监控数据均为已经更新过的监控数据，上述第一时间周期可以大于容器集群中最长的第二时间周期。在这种情况下，在上次监控数据读取时刻至本次监控数据读取时刻之间，每个容器集群的数据汇总转发代理设备至少已经发送一次监控数据至网关服务器，即待处理数据至少更新过一次。上述第一时间周期可以根据具体需求进行设置，如设置为上述最长的数据更新周期的若干倍等。

上述时间差阈值可以与中控平台读取监控数据的时间周期相同。在该时间差阈值内，网关服务器中存储的各个容器集群的监控数据，即待处理数据至少更新过一次；当确定某个容器集群的待处理数据在当前设备中的存储时间大于预设的时间差阈值时，说明该待处理数据没有被更新，该待处理数据需要被删除。

上述时间差阈值还可以与上述最长的第二时间周期相同。如果各个容器集群的监控数据转发至网关服务器的过程均正常，在该时间差阈值内，网关服务器中存储的各个容器集群的监控数据，即待处理数据至少更新过一次；当确定某个容器集群的待处理数据在当前设备中的存储时间大于预设的时间差阈值时，说明该待处理数据没有被更新，该待处理数据需要被删除。

当上述时间差阈值设置为上述最长的第二时间周期与第一时间周期之间的任一时间长度时，如果可以确定待处理数据均不满足预设条件，可以保证中控平台相邻两次读取的监控数据均为更新过的监控数据。如果对获取更新监控数据的时间间隔还有其他要求，如中控平台不能连续三次读取到同一监控数据，可以依据该要求对该时间差阈值进行对应的设置。

步骤S306，删除待处理数据。

上述数据处理方法中，计算待处理数据的时间信息与当前时间的时间差，并将该时间差与预设的时间差阈值进行比较，当该时间差大于时间差阈值时，删除待处理数据；该方式通过删除没有及时更新的待处理数据，保证了监控数据的时效性，同时释放了网关服务器的存储空间。

本发明实施例还提供另一种数据处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述根据待处理数据的时间信息和对应的容器集群的集群状态，判断是否删除该数据的具体实现过程，如图4所示，该方法包括如下步骤：

步骤S400，获取待处理数据的时间信息；该时间信息用于指示待处理数据到达当前设备的时间。

步骤S402，根据上述时间信息和待处理数据对应的容器集群的集群状态，判断待处理数据是否满足预设条件；如果是，执行步骤S404；如果否，结束。

上述待处理数据可以为对应的容器集群的监控数据；上述容器集群的集群状态包括创建中(Initial)、运行中(Running)、升级中(Updating)、已删除(Deleted)等。上述预设条件可以根据时间信息及对应的容器集群的集群状态进行设置。例如，预设条件可以划分为第一预设子条件和第二预设子条件；其中，第一预设子条件可以为，根据上述时间信息确定待处理数据的存储时间，该存储时间大于预设的时间差阈值；上述第二预设子条件可以设置为待处理数据对应的集群状态为已删除。

针对待处理数据，可以分别判断该待处理数据的存储时间是否满足第一子预设条件，得到第一判断结果；判断该待处理数据对应容器集群的集群状态是否满足第二子预设条件，得到第二判断结果；然后根据第一判断结果及第二判断结果，判断待处理数据是否同时满足第一预设子条件及第二预设子条件，如果是，则确认待处理数据满足预设条件。

另一种方式中，还可以首先判断该待处理数据的存储时间是否满足第一预设子条件，在满足第一预设子条件的情况下，再判断待处理数据对应容器集群的集群状态是否满足第二预设子条件，如果也满足第二预设子条件，确认该待处理数据满足预设条件。同样地，也可以先判断是否满足第二预设子条件，在满足该条件的情况下，再进行第一预设子条件的判断；如果也满足第一预设子条件，确认该待处理数据满足预设条件。

步骤S404，删除待处理数据。

上述数据处理方法中，获取待处理数据的时间信息，并在时间信息及待处理数据对应的容器集群状态满足预设条件的情况下，清除待处理数据；该方式在删除待处理数据的过程中，考虑待处理数据是否及时更新的同时，考虑了该待处理数据对应的容器集群是否已被删除，保证了待处理数据的时效性。

本发明实施例还提供另一种数据处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述了在待处理数据为多个时，根据时间信息和集群状态，判断待处理数据是否满足预设条件的具体实现过程，如图5所示，该方法包括如下步骤：

步骤S500，获取待处理数据的时间信息；该时间信息用于指示待处理数据到达当前设备的时间。

步骤S502，计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果。该判断结果可以包括两种，一种为时间差大于或等于预设的时间差阈值，另一种为时间差小于预设的时间差阈值。

步骤S504，获取待处理数据对应的容器集群的集群状态。

通常情况下，容器集群管理平台的关系型数据库中，存储有每个集群的基本信息，其中包括集群状态；可以向容器集群管理平台发送请求，询问待处理数据对应的容器集群的集群状态；该请求中通常包括所查询的容器集群的标识。在获取到待处理数据对应的容器集群的集群状态后，可以把集群状态保存在当前设备设定的存储空间中。

步骤S506，针对每个待处理数据，判断当前待处理数据的判断结果是否为大于或等于预设的时间差阈值，且当前待处理数据对应的容器集群的集群状态为已删除；如果是，执行步骤S508；如果否，结束。

具体而言，可以按照预设的顺序，逐一对每个待处理数据进行下述处理：首先，从上述判断结果中获取当前待处理数据的判断结果；然后再从上述获取到的集群状态中获取当前待处理数据对应的容器集群的集群状态；如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且当前待处理数据对应的容器集群的集群状态为已删除，则可以确定当前待处理数据满足预设条件，该待处理数据需要删除。

步骤S508，删除待处理数据。

上述数据处理方法中，获取待处理数据的时间信息及对应的容器集群的集群状态，并在时间信息及容器集群状态满足预设条件的情况下，清除待处理数据；该方式在删除待处理数据的过程中，考虑待处理数据是否及时更新的同时，考虑了该待处理数据对应的容器集群是否已被删除，保证了待处理数据的时效性。

本发明实施例还提供另一种数据处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述了在待处理数据为多个时，根据时间信息和集群状态，判断待处理数据是否满足预设条件的具体实现过程，如图6所示，该方法包括如下步骤：

步骤S600，获取待处理数据的时间信息；该时间信息用于指示待处理数据到达当前设备的时间。

步骤S602，计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果。

步骤S604，将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据。

步骤S606，获取待定数据对应的容器集群的集群状态。

该待定数据是基于上述步骤S602的判断，从上述待处理数据中筛选出的一部分数据，通常，该待定数据的数据量不大于待处理数据。待定数据确定后，即可向容器集群管理平台发送请求，查询各个待定数据对应的容器集群的集群状态对应的集群状态，接收该平台返回的信息，得到各个待定数据对应的容器集群的集群状态。

步骤S608，针对每个待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，执行步骤610；如果否，结束。

步骤S610，删除待处理数据。

上述数据处理方式中，在确定待处理数据为长时间未更新的数据后，获取其对应的容器集群的集群状态，在确定该集群状态为已删除后，删除该待处理数据；该方式仅获取未及时更新的待处理数据对应的容器集群的集群状态，以删除未及时更新且集群状态为已删除的待处理数据，在保证监控数据的时效性的基础上，减少了对集训状态的查询次数，节约计算资源，效率较高。

本发明实施例还提供了另一种数据处理方法，该方法在上述实施例所述方法的基础上实现；该方法应用于多容器集群的监控数据接收适配过程。

多容器集群的监控数据接收过程示意图如图7所示，数据汇总转发代理设备(也可以称为采集代理)从数据采集器(也可以称为采集对象)中获取容器集群的监控数据，将该监控数据发送至网关服务器；网关服务器接收该监控数据，并将该监控数据存入数据队列，继而将数据存储至网关服务器的内存中；在接收到属于某个容器集群的监控数据后，网关服务器将内存中该容器集群的历史监控数据更新为当前的监控数据；中控平台(也可称为监控平台)经过数据检索后读取网关服务器内存中的监控数据；上述实施例提供的数据处理方法主要应用于网关服务器，在数据存储和数据检索步骤之间实现了对网关服务器内存的数据清理功能。

在仅考虑到监控数据在网关服务器中的存储时间时，该方法包括以下步骤：

步骤1，获取已存储的每条监控数据的时间戳；其中，时间戳是网关服务器接收到数据的时间。

步骤2，获取当前时间，并将当前时间和监控数据的时间戳做差值计算，得到时间差。

步骤3，将时间差和预设阈值进行比对。

步骤4，基于比对结果判定每条监控数据是否为无效数据，即如果时间差大于预设阈值，则判定该监控数据为无效数据。

步骤5，清除无效数据。

采用上述方法可以定期处理掉一些无效数据，然而，也可能会误将一些监控数据作为无效数据删掉；例如，当容器集群和网关服务器由于一些问题连接中断时，存储在网关中的与该集群对应的监控数据无法更新，在进行无效数据的判定过程中，会将该监控数据判定为无效数据，并删除。然而该监控数据对应的容器集群没有被删除，当该容器集群和网关服务器的网络连接恢复之后，该容器集群对应的监控数据可以继续更新。因此，在考虑到该监控数据对应的容器集群的集群状态，对该方法进行改进后，该方法可以通过以下步骤实现：

步骤1，获取每条监控数据的时间戳。

步骤2，获取当前时间，并将当前时间和该监控数据的时间戳做差值计算，得到时间差。

步骤3，将时间差和预设阈值进行比对，得到比对结果。

步骤4，获取每个监控数据对应的容器集群的集群状态。

步骤5，基于比对结果和每个监控数据对应的容器集群的集群状态，判定每条数据是否为无效数据；具体地，如果比对结果时间差为大于预设阈值，且该监控数据对应的容器集群的集群状态为已删除状态，则判定该数据为无效数据。

步骤6，清除无效数据。

进一步地，为了节约计算资源，可以先通过时间戳的判断缩小获取集群的状态的数据量，再查询对应的集群状态；此时，该方法可以通过以下步骤实现：

步骤1，获取每条监控数据的时间戳。

步骤2，获取当前时间，并将当前时间和该监控数据的时间戳做差值计算，得到时间差。

步骤3，将时间差和预设阈值进行比对，得到比对结果；若比对结果为时间差大于预设阈值，则判定该监控数据为待定无效数据。

步骤4，获取每个待定无效数据对应的容器集群的集群状态。

步骤5，基于每条待定无效数据对应的容器集群的集群状态判定该待定无效数据是否为无效数据；若集群状态为已删除状态，则判定该待定无效数据为无效数据。

步骤6，清除无效数据。

上述方法，根据监控数据的时间戳与当前时间的时间差，以及该监控数据对应的容器集群的集群状态，判定该监控数据是否为无效数据，并删除了无效数据，释放了网关服务器的存储空间，提高了网关存储空间的利用率。

对应于上述数据处理方法实施例，本发明实施例提供了一种数据处理装置，如图8所述，该装置包括：

信息获取模块800，用于获取待处理数据的时间信息；时间信息用于指示待处理数据到达当前设备的时间；

条件确定模块802，用于根据时间信息，确定待处理数据是否满足预设条件；

数据删除模块804，用于如果满足预设条件，删除待处理数据。

上述一种数据处理装置，首先获取待处理数据的时间信息；进而根据该时间信息，确定待处理数据是否满足预设条件；如果满足预设条件，则删除待处理数据。该方式通过时间信息清理无效数据，保证了监控数据的时效性，同时提高了网关存储空间的利用率。

进一步地，上述条件确定模块还包括：时间差计算单元，用于计算时间信息与当前时间的时间差；第一阈值判断单元，用于判断时间差是否大于或等于预设的时间差阈值；如果是，确定满足预设条件；如果否，确定不满足预设条件。

进一步地，上述条件确定模块还包括：第一条件确定单元，用于根据时间信息和待处理数据对应的容器集群的集群状态，确定待处理数据是否满足预设条件。

当上述待处理数据包括多个时，上述第一条件确定单元还用于：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；获取待处理数据对应的容器集群的集群状态；针对每个待处理数据，如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且当前待处理数据对应的容器集群的集群状态为已删除，确定当前待处理数据满足预设条件。

当上述待处理数据包括多个时，上述第一条件确定单元还用于：计算每个待处理数据的时间信息与当前时间的时间差，判断时间差是否大于或等于预设的时间差阈值，得到每个待处理数据的判断结果；将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据；获取待定数据对应的容器集群的集群状态；针对每个待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，确定当前待定数据满足预设条件。

本发明实施例所提供的数据处理装置，其实现原理及产生的技术效果和前述数据处理方法实施例相同，为简要描述，数据处理装置实施例部分未提及之处，可参考前述数据处理方法实施例中相应内容。

本发明实施例还提供了一种网关服务器，参见图9所示，该网关服务器包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述数据处理方法。

进一步地，图9所示的网关服务器还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的数据处理方法及装置和网关服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据的时间信息；所述时间信息用于指示所述待处理数据到达当前设备的时间；

根据所述时间信息，确定所述待处理数据是否满足预设条件；

如果满足预设条件，删除所述待处理数据；

根据所述时间信息，确定所述待处理数据是否满足预设条件的步骤，包括：

根据所述时间信息和所述待处理数据对应的容器集群的集群状态，确定所述待处理数据是否满足预设条件；

所述待处理数据包括所述容器集群的监控数据；在所述容器集群与所述当前设备正常通信的情况下，对应的所述监控数据按照设定的更新周期更新；

所述待处理数据包括多个；根据所述时间信息和所述待处理数据对应的容器集群的集群状态，确定所述待处理数据是否满足预设条件的步骤，包括：

计算每个所述待处理数据的时间信息与当前时间的时间差，判断所述时间差是否大于或等于预设的时间差阈值，得到每个所述待处理数据的判断结果；

将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据；

获取所述待定数据对应的容器集群的集群状态；

针对每个所述待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，确定所述当前待定数据满足预设条件。

2.根据权利要求1所述的方法，其特征在于，根据所述时间信息，确定所述待处理数据是否满足预设条件的步骤，包括：

计算所述时间信息与当前时间的时间差；

判断所述时间差是否大于或等于预设的时间差阈值；如果是，确定满足预设条件；如果否，确定不满足预设条件。

3.根据权利要求1所述的方法，其特征在于，所述待处理数据包括多个；

根据所述时间信息和所述待处理数据对应的容器集群的集群状态，确定所述待处理数据是否满足预设条件的步骤，包括：

计算每个所述待处理数据的时间信息与当前时间的时间差，判断所述时间差是否大于或等于预设的时间差阈值，得到每个所述待处理数据的判断结果；

获取所述待处理数据对应的容器集群的集群状态；

针对每个所述待处理数据，如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且所述当前待处理数据对应的容器集群的集群状态为已删除，确定所述当前待处理数据满足预设条件。

4.一种数据处理装置，其特征在于，所述装置包括：

信息获取模块，用于获取待处理数据的时间信息；所述时间信息用于指示所述待处理数据到达当前设备的时间；

条件确定模块，用于根据所述时间信息，确定所述待处理数据是否满足预设条件；

数据删除模块，用于如果满足预设条件，删除所述待处理数据；

第一条件确定单元，用于根据所述时间信息和所述待处理数据对应的容器集群的集群状态，确定所述待处理数据是否满足预设条件；

所述待处理数据包括所述容器集群的监控数据；在所述容器集群与所述当前设备正常通信的情况下，对应的所述监控数据按照设定的更新周期更新；

所述待处理数据包括多个；

所述第一条件确定单元还用于：

计算每个所述待处理数据的时间信息与当前时间的时间差，判断所述时间差是否大于或等于预设的时间差阈值，得到每个所述待处理数据的判断结果；

将判断结果为时间差大于或等于预设的时间差阈值的待处理数据确定为待定数据；

获取所述待定数据对应的容器集群的集群状态；

针对每个所述待定数据，判断当前待定数据对应的容器集群的集群状态是否是已删除；如果是，确定所述当前待定数据满足预设条件。

5.根据权利要求4所述的装置，其特征在于，所述条件确定模块还包括：

时间差计算单元，用于计算所述时间信息与当前时间的时间差；

第一阈值判断单元，用于判断所述时间差是否大于或等于预设的时间差阈值；如果是，确定满足预设条件；如果否，确定不满足预设条件。

6.根据权利要求4所述的装置，其特征在于，所述待处理数据包括多个；

所述第一条件确定单元还用于：

计算每个所述待处理数据的时间信息与当前时间的时间差，判断所述时间差是否大于或等于预设的时间差阈值，得到每个所述待处理数据的判断结果；

获取所述待处理数据对应的容器集群的集群状态；

针对每个所述待处理数据，如果当前待处理数据的判断结果为大于或等于预设的时间差阈值，且所述当前待处理数据对应的容器集群的集群状态为已删除，确定所述当前待处理数据满足预设条件。

7.一种网关服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至3任一项所述的数据处理方法。

8.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至3任一项所述的数据处理方法。

Images