CN111159139B

CN111159139B - 一种数据处理方法、装置、存储介质及监视设备

Info

Publication number: CN111159139B
Application number: CN201911402956.3A
Authority: CN
Inventors: 杨昊; 孟祥瑞
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2022-04-22
Anticipated expiration: 2039-12-30
Also published as: CN111159139A

Abstract

本申请公开了一种数据处理方法，应用于监视设备，该方法包括：接收分布式存储系统中主对象存储设备OSD上报的目标统计数据；根据目标统计数据的大小，确定目标统计数据是否为异常数据；如果是，则修正目标统计数据的大小；在监视界面中输出修正后的目标统计数据的大小。应用本申请实施例所提供的技术方案，可以避免出现较大的数值波动，以免进行异常情况误报，导致用户进行问题排查增加人力成本。本申请还公开了一种数据处理装置、存储介质及监视设备，具有相应技术效果。

Description

一种数据处理方法、装置、存储介质及监视设备

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种数据处理方法、装置、存储介质及监视设备。

背景技术

在分布式存储系统中，可以通过多个OSD(Object-based Storage Device，对象存储设备)进行数据收集，多个OSD包括一个主OSD和多个从OSD，主OSD将自身及各个从OSD收集的数据上报给监视设备，监视设备通过监视界面为用户输出接收到的数据情况，如大小等。

在各个OSD运行过程中，难免会有OSD出现问题。如果主OSD出现问题，将会在从OSD中选择一个作为新主OSD，进行数据上报。但是，新主OSD将无法获得前主OSD已统计的数据，当前时刻，新主OSD可能仅将自身的数据上报给监视设备，使得监视设备接收到的数据的大小出现比较大的数值波动。如果用户在监视界面上监测到这个异常现象，可能就会进行异常情况排查，而这种异常现象可能很快就会消失，没有排查的必要，但对于异常情况的排查无疑会增加人力成本。

发明内容

本申请的目的是提供一种数据处理方法、装置、存储介质及监视设备，以对数据进行有效处理，减少误报。

为解决上述技术问题，本申请提供如下技术方案：

一种数据处理方法，应用于监视设备，所述方法包括：

接收分布式存储系统中主对象存储设备OSD上报的目标统计数据；

根据所述目标统计数据的大小，确定所述目标统计数据是否为异常数据；

如果是，则修正所述目标统计数据的大小；

在监视界面中输出修正后的所述目标统计数据的大小。

在本申请的一种具体实施方式中，所述根据所述目标统计数据的大小，确定所述目标统计数据是否为异常数据，包括：

将所述目标统计数据与前一次接收的统计数据进行大小比较；

根据比较结果，确定所述目标统计数据是否为异常数据。

在本申请的一种具体实施方式中，所述根据比较结果，确定所述目标统计数据是否为异常数据，包括：

如果所述目标统计数据的大小小于前一次接收的统计数据的大小，则确定所述目标统计数据为异常数据；

或者，

如果所述目标统计数据的大小小于前一次接收的统计数据的大小，且差值绝对值大于预设阈值，则确定所述目标统计数据为异常数据。

在本申请的一种具体实施方式中，所述修正所述目标统计数据的大小，包括：

确定前N次的统计数据中，每相邻两次的统计数据的增量，N为正整数；

基于确定的增量，对所述目标统计数据的大小进行修正处理。

在本申请的一种具体实施方式中，所述基于确定的增量，对所述目标统计数据的大小进行修正处理，包括：

基于确定的增量，计算增量均值；

基于前一次统计数据的大小与所述增量均值，修正所述目标统计数据的大小。

在本申请的一种具体实施方式中，还包括：

如果确定所述目标统计数据为异常数据，且确定为异常数据的次数达到设定次数阈值，则输出报警信息。

在本申请的一种具体实施方式中，还包括：

在确定所述目标统计数据为异常数据时，向所述主OSD返回异常确认消息。

一种数据处理装置，应用于监视设备，所述装置包括：

数据接收模块，用于接收分布式存储系统中主对象存储设备OSD上报的目标统计数据；

异常确定模块，用于根据所述目标统计数据的大小，确定所述目标统计数据是否为异常数据，如果是，则触发大小修正模块；

所述大小修正模块，用于修正所述目标统计数据的大小；

大小输出模块，用于在监视界面中输出修正后的所述目标统计数据的大小。

一种监视设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述数据处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据处理方法的步骤。

应用本申请实施例所提供的技术方案，监视设备在接收到分布式存储系统中主OSD上报的目标统计数据时，根据目标统计数据的大小，确定目标统计数据是否为异常数据，如果是，则修正目标统计数据的大小，在监视界面中输出修正后的目标统计数据的大小。这样可以避免出现较大的数值波动，以免进行异常情况误报，导致用户进行问题排查增加人力成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种数据处理方法的实施流程图；

图2为本申请实施例中一种数据处理装置的结构示意图；

图3为本申请实施例中一种监视设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1所示，为本申请实施例所提供的数据处理方法的实施流程图，该方法可以包括以下步骤：

S110：接收分布式存储系统中主对象存储设备OSD上报的目标统计数据。

本申请实施例可以在监视设备处执行，监视设备也可称为监视器(Monitor)，监视设备的主要功能是维护分布式存储系统整个集群的健康状态，提供一致性决策。

分布式存储系统中可以通过多个OSD进行数据收集，OSD的主要功能包括存储数据、处理数据的复制、恢复、回补、平衡数据分布。多个OSD包括一个主OSD和多个从OSD。主OSD将自身及各个从OSD收集的数据上报给监视设备，监视设备通过监视界面为用户输出接收到的数据情况，如大小等。

分布式存储系统中的这多个OSD协同工作，当某个从OSD出现问题，无法进行数据收集时，该从OSD的数据收集工作将会由其他OSD接替。但是，因为只有主OSD才会向监视设备上报统计数据，所以，如果主OSD出现问题，将会在从OSD中选取出一个OSD作为新主OSD，之后该新主OSD会将自身及各从OSD收集的数据上报给监视设备，但是当前时刻，新主OSD无法获得前主OSD已经统计的数据，其上报给监视设备的统计数据的大小将会很小。

举例而言，OSD1为主OSD，OSD2、OSD3为从OSD，主OSD获得自身及OSD2、OSD3收集的数据后，还未上报给监视设备就出现了问题，在OSD2、OSD3中选择OSD2作为新的主OSD，当前时刻，该新的主OSD没有数据上报给监视设备，或者只有自身的数据上报给监视设备，使得监视设备收到的统计数据的大小偏小，会有数值波动，接下来，该新的主OSD可以将自身和OSD3收集的数据上报给监视设备，大小恢复正常。

监视设备接收分布式存储系统中主OSD上报的目标统计数据后，可以继续执行步骤S120的操作。

S120：根据目标统计数据的大小，确定目标统计数据是否为异常数据。

在实际应用中，主OSD会按照设定的时间间隔或者设定的上报规则，不断地将统计数据上报给监视设备。监视设备在接收到主OSD上报的目标统计数据后，可以确定目标统计数据的大小，并根据目标统计数据的大小，确定目标统计数据是否为异常数据。

具体的，可以将目标统计数据与前一次接收的统计数据进行大小比较，然后根据比较结果，确定目标统计数据是否为异常数据。

因为主OSD上报的统计数据是一个累加的过程，大小是在不断增大的，呈现一个稳定的状态。通过将目标统计数据与前一次接收的统计数据进行大小比较，可以确定当前接收的目标统计数据是否存在问题。

在本申请的一种具体实施方式中，可以通过以下步骤确定目标统计数据是否为异常数据：

如果目标统计数据的大小小于前一次接收的统计数据的大小，则确定目标统计数据为异常数据。

如前所描述的，主OSD上报的统计数据是一个累加的过程，大小是在不断增大的，所以如果监视设备将当前接收到的目标统计数据与前一次接收的统计数据进行大小的大小比较，只要目标统计数据的大小小于前一次接收的统计数据的大小，就可以确定目标统计数据为异常数据。

在本申请的另一种具体实施方式中，还可以通过以下步骤确定目标统计数据是否为异常数据：

如果目标统计数据的大小小于前一次接收的统计数据的大小，且差值绝对值大于预设阈值，则确定目标统计数据为异常数据。

在本申请实施例中，可以预先设定一个阈值，该阈值的大小可以根据实际情况进行设定和调整。

监视设备将当前接收到的目标统计数据与前一次接收的统计数据进行大小比较，如果目标统计数据的大小小于前一次接收的统计数据的大小，且差值绝对值大于预设阈值，即目标统计数据的大小比前一次接收的统计数据的大小小的多，则可以确定目标统计数据为异常数据。

根据目标统计数据与前一次接收的统计数据的大小的比较结果，可以准确确定出目标统计数据是否为异常数据。

S130：如果确定目标统计数据为异常数据，则修正目标统计数据的大小。

在本申请实施例中，如果确定目标统计数据为异常数据，则可以对目标统计数据的大小进行修正。因为如果确定目标统计数据为异常数据，则表明目标统计数据是在主OSD出现问题时上报的数据，数据并不全面。如果按照当前目标统计数据的大小在监视界面中输出，则将会使得监视界面所展示的数据量波形出现较大的波动，从而使得用户误以为系统出现了较大问题，需要人力排查。为避免误报，本申请实施例对于确定为异常数据的目标统计数据的大小进行修正。如可以将前两次的统计数据的增量作为本次目标统计数据与前一次统计数据的增量，得到本次目标统计数据的大小。

在本申请的一种具体实施方式中，可以通过以下步骤修正目标统计数据的大小：

步骤一：确定前N次的统计数据中，每相邻两次的统计数据的增量；

步骤二：基于确定的增量，对目标统计数据的大小进行修正处理。

为便于描述，将上述两个步骤结合起来进行说明。

在本申请实施例中，监视设备在接收到主OSD上报的目标统计数据，根据目标统计数据的大小，确定目标统计数据为异常数据时，可以确定前N次的统计数据中，每相邻两次的统计数据的增量。N为正整数。以N＝4为例，前N次接收到的统计数据的大小分别为100M、200M、310M、430M，每相邻两次的统计数据的增量分别为200M-100M＝100M、310M-200M＝110M、430M-310M＝120M。

基于确定的增量，可以对目标统计数据的大小进行修正处理。

具体的，可以根据确定的增量，构建一个关系函数，基于该关系函数确定前一次统计数据到当前统计数据的增量，如基于关系函数确定前一次统计数据到当前统计数据的增量为130M，则当前目标统计数据的大小可以修正为430M+130M＝560M。

或者，可以基于确定的增量，计算增量均值，基于前一次统计数据的大小与增量均值，修正目标统计数据的大小。具体的，可以直接在前一次统计数据的大小上加上该增量均值，得到修正后的目标统计数据的大小，还可以在前一次统计数据的大小上加上该增量均值与权重的比值，得到修正后的目标统计数据的大小。

举例而言，基于确定的增量，计算增量均值为(100+110+120)M/3＝110M，前一次统计数据的大小为430M，修正后的目标统计数据的大小为430M+110M＝540M。

S140：在监视界面中输出修正后的目标统计数据的大小。

修正目标统计数据的大小后，可以在监视界面中输出修正后的目标统计数据的大小。

应用本申请实施例所提供的方法，监视设备在接收到分布式存储系统中主OSD上报的目标统计数据时，根据目标统计数据的大小，确定目标统计数据是否为异常数据，如果是，则修正目标统计数据的大小，在监视界面中输出修正后的目标统计数据的大小。这样可以避免出现较大的数值波动，以免进行异常情况误报，导致用户进行问题排查增加人力成本。

在本申请的一个实施例中，在步骤S110之后、步骤S120之前，还可以包括以下步骤：

步骤一：对目标统计数据进行完整性校验；

步骤二：如果确定目标统计数据完整，则执行步骤S120根据目标统计数据的大小，确定目标统计数据是否为异常数据的操作；

步骤三：如果确定目标统计数据不完整，则丢弃目标统计数据。

为便于描述，将上述三个步骤结合起来进行说明。

在本申请实施例中，主OSD向监视设备上报的目标统计数据中可以携带校验标记。

监视设备接收到主OSD上报的目标统计数据后，通过对目标统计数据进行分析，可以获得目标统计数据的校验标记。基于校验标记，可以对目标统计数据进行完整性校验。如果确定目标统计数据完整，则可以继续执行步骤S120的操作，如果确定目标统计数据不完整，则可以丢弃目标统计数据。。

先对目标统计数据进行完整性校验，可以先排除数据传输问题导致的目标统计数据的异常，再通过大小比较进行异常判断，以准确确定目标统计数据是否异常。

在本申请的一个实施例中，该方法还可以包括以下步骤：

在确定目标统计数据为异常数据时，向主OSD返回异常确认消息。

在本申请实施例中，监视设备接收到主OSD上报的目标统计数据，根据目标统计数据的大小，确定目标统计数据为异常数据时，向主OSD返回异常确认消息。主OSD接收到监视设备返回的异常确认消息，可以知悉之前上报的统计数据存在异常，可以调整与各个从OSD的连接，以便顺利接收到各从OSD发送的数据。

如果确定目标统计数据为正常数据，也可以向主OSD返回正常确认消息。

在实际应用中，可以采用C++高级语言进行具体功能的实现。可以在OSD端的OSDMap(OSD地图)中增加struct结构体，以对监视设备返回的消息，如异常确认消息、正常确认消息等进行解析，以便主OSD能够获知消息内容。OSDMap是存储了分布式存储系统中所有OSD的信息，所有OSD节点的改变如进程退出、节点的加入或者退出、或者节点权重的变化都会反映到这张Map上。

在本申请的一个实施例中，该方法还可以包括以下步骤：

如果确定目标统计数据为异常数据，且确定为异常数据的次数达到设定次数阈值，则输出报警信息。

在本申请实施例中，如果确定目标统计数据为异常数据，则可以进一步判断确定为异常数据的次数是否达到设定次数阈值，如果是，则表明连续几次接收到的统计数据均为异常数据，可能是OSD存在问题未完全恢复，在这种情况下，可以输出报警信息，以使技术人员及时查看。

次数阈值可以根据实际情况进行设定和调整。

相应于上面的方法实施例，本申请实施例还提供了一种数据处理装置，应用于监视设备，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。

参见图2所示，该装置包括以下模块：

数据接收模块210，用于接收分布式存储系统中主对象存储设备OSD上报的目标统计数据；

异常确定模块220，用于根据目标统计数据的大小，确定目标统计数据是否为异常数据，如果是，则触发大小修正模块230；

大小修正模块230，用于修正目标统计数据的大小；

大小输出模块240，用于在监视界面中输出修正后的目标统计数据的大小。

应用本申请实施例所提供的装置，监视设备在接收到分布式存储系统中主OSD上报的目标统计数据时，根据目标统计数据的大小，确定目标统计数据是否为异常数据，如果是，则修正目标统计数据的大小，在监视界面中输出修正后的目标统计数据的大小。这样可以避免出现较大的数值波动，以免进行异常情况误报，导致用户进行问题排查增加人力成本。

在本申请的一种具体实施方式中，异常确定模块220，用于：

将目标统计数据与前一次接收的统计数据进行大小比较；

根据比较结果，确定目标统计数据是否为异常数据。

在本申请的一种具体实施方式中，异常确定模块220，用于：

如果目标统计数据的大小小于前一次接收的统计数据的大小，则确定目标统计数据为异常数据；

或者，

在本申请的一种具体实施方式中，大小修正模块230，用于：

基于确定的增量，对目标统计数据的大小进行修正处理。

在本申请的一种具体实施方式中，大小修正模块230，用于：

基于确定的增量，计算增量均值；

基于前一次统计数据的大小与增量均值，修正目标统计数据的大小。

在本申请的一种具体实施方式中，还包括报警模块，用于：

在本申请的一种具体实施方式中，还包括消息返回模块，用于：

相应于上面的方法实施例，本申请实施例还提供了一种监视设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现上述数据处理方法的步骤。

如图3所示，为监视设备的组成结构示意图，监视设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。

在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。

处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行数据处理方法的实施例中的操作。

存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：

根据目标统计数据的大小，确定目标统计数据是否为异常数据；

如果是，则修正目标统计数据的大小；

在监视界面中输出修正后的目标统计数据的大小。

在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如声音播放功能、图像播放功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如统计数据、收集数据等。

此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

通信接口13可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图3所示的结构并不构成对本申请实施例中监视设备的限定，在实际应用中监视设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。

相应于上面的方法实施例，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种数据处理方法，其特征在于，应用于监视设备，所述方法包括：

如果是，则修正所述目标统计数据的大小；

在监视界面中输出修正后的所述目标统计数据的大小；

其中，所述根据所述目标统计数据的大小，确定所述目标统计数据是否为异常数据，包括：将所述目标统计数据与前一次接收的统计数据进行大小比较；根据比较结果，确定所述目标统计数据是否为异常数据；

所述根据比较结果，确定所述目标统计数据是否为异常数据，包括：如果所述目标统计数据的大小小于前一次接收的统计数据的大小，则确定所述目标统计数据为异常数据；或者，如果所述目标统计数据的大小小于前一次接收的统计数据的大小，且差值绝对值大于预设阈值，则确定所述目标统计数据为异常数据。

2.根据权利要求1所述的方法，其特征在于，所述修正所述目标统计数据的大小，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于确定的增量，对所述目标统计数据的大小进行修正处理，包括：

基于确定的增量，计算增量均值；

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求1至4之中任一项所述的方法，其特征在于，还包括：

6.一种数据处理装置，其特征在于，应用于监视设备，所述装置包括：

所述大小修正模块，用于修正所述目标统计数据的大小；

大小输出模块，用于在监视界面中输出修正后的所述目标统计数据的大小；

其中，所述异常确定模块根据所述目标统计数据的大小，确定所述目标统计数据是否为异常数据，包括：将所述目标统计数据与前一次接收的统计数据进行大小比较；根据比较结果，确定所述目标统计数据是否为异常数据；

所述异常确定模块根据比较结果，确定所述目标统计数据是否为异常数据，包括：如果所述目标统计数据的大小小于前一次接收的统计数据的大小，则确定所述目标统计数据为异常数据；或者，如果所述目标统计数据的大小小于前一次接收的统计数据的大小，且差值绝对值大于预设阈值，则确定所述目标统计数据为异常数据。

7.一种监视设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述数据处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法的步骤。