CN109491976A

CN109491976A - 一种存储数据解析方法、装置及相关设备

Info

Publication number: CN109491976A
Application number: CN201811407388.1A
Authority: CN
Inventors: 郭坤; 王祥
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2019-03-19

Abstract

本申请公开了一种存储数据解析方法，包括FTP服务器实时接收存储节点上传的性能文件；判断所述性能文件是否接收完毕；若是，则将所述性能文件拷贝至管理存储软件，以使所述管理存储软件对所述性能文件进行解析，获得性能数据；该存储数据解析方法可有效实现对存储数据的离线管理，进一步提高了数据解析效率；本申请还公开了一种存储数据解析装置、FTP服务器、数据解析系统以及计算机可读存储介质，也具有上述有益效果。

Description

一种存储数据解析方法、装置及相关设备

技术领域

本申请涉及计算机数据数据技术领域，特别涉及一种存储数据解析方法，还涉及一种存储数据解析装置、FTP服务器、数据解析系统以及计算机可读存储介质。

背景技术

科学技术的进步推动了互联网技术的快速发展，其所产生的互联网数据也在急剧增长。一般而言，会将互联网数据以某种数据格式存储于相应的存储介质中，如磁盘、硬盘等，当需要调用存储数据进行处理时，再从存储介质中调取使用即可。

一般的，当前对存储系统中所存储的性能数据的采集与解析，普遍采用持续采集与实时解析的方案，具体而言，用户可以通过管理存储软件查看存储节点中存储的性能数据信息，当需要对其进行相应的处理操作时，直接在存储节点采集数据信息并解析即可。然而，以上数据处理操作实现的前提在于存储节点与管理存储软件部署于同一网段，而当二者未部署在同一网段时，即管理存储软件连接不上存储节点时，就无法实现存储数据的持续采集和实时解析，只有等到二者处于相同网段时方可恢复正常的数据处理流程。因此，已有技术中存储数据的采集与解析方法的使用场景具有局限性，无法实现存储数据的离线管理，且存储数据的解析效率较低。

因此，如何有效实现存储数据的离线管理，进一步提高数据解析效率是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种存储数据解析方法，该存储数据解析方法可有效实现对存储数据的离线管理，进一步提高了数据解析效率；本申请的另一目的是提供一种存储数据解析装置、FTP服务器、数据解析系统以及计算机可读存储介质，也具有上述有益效果。

为解决上述技术问题，本申请提供了一种存储数据解析方法，所述存储数据解析方法包括：

FTP服务器实时接收存储节点上传的性能文件；

判断所述性能文件是否接收完毕；

若是，则将所述性能文件拷贝至管理存储软件，以使所述管理存储软件对所述性能文件进行解析，获得性能数据。

优选的，所述FTP服务器实时接收存储节点上传的性能文件，包括：

所述存储节点实时收集所述性能文件；

按照预设时间间隔将所述性能文件上传至所述FTP服务器。

优选的，所述管理存储软件对所述性能文件进行解析，获得性能数据之前，还包括：

对所述性能文件进行分类处理，获得分类文件；

将所述分类文件保存至预设存储目录。

优选的，所述管理存储软件对所述性能文件进行解析，获得性能数据之后，还包括：

将所述性能数据保存至数据库。

优选的，所述将所述性能数据保存至数据库之后，还包括：

将所述性能文件删除。

优选的，所述存储数据解析方法还包括：

当接收到数据查询指令时，所述管理存储软件根据所述数据查询指令在所述数据库中调取对应的目标性能数据，并将所述目标性能数据发送至显示设备。

为解决上述技术问题，本申请提供了一种存储数据解析装置，所述存储数据解析装置包括：

接收模块，用于FTP服务器实时接收存储节点上传的性能文件；

判断模块，用于判断所述性能文件是否接收完毕；

拷贝模块，用于若所述性能文件接收完毕，则将所述性能文件拷贝至管理存储软件，以使所述管理存储软件对所述性能文件进行解析，获得性能数据。

为解决上述技术问题，本申请提供了一种FTP服务器，所述FTP服务器包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一种存储数据解析方法的步骤。

为解决上述技术问题，本申请提供了一种数据解析系统，所述数据解析系统包括：

如上所述的FTP服务器，用于实时接收存储节点上传的性能文件；判断所述性能文件是否接收完毕；若是，则将所述性能文件拷贝至管理存储软件；

所述存储节点，用于上传所述性能文件至所述FTP服务器；

所述管理存储软件，用于对所述性能文件进行解析，获得性能数据。

为解决上述技术问题，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种存储数据解析方法的步骤。

本申请所提供的一种存储数据解析方法，包括FTP服务器实时接收存储节点上传的性能文件；判断所述性能文件是否接收完毕；若是，则将所述性能文件拷贝至管理存储软件，以使所述管理存储软件对所述性能文件进行解析，获得性能数据。

可见，本申请所提供的存储数据解析方法，在存储节点所处的网段设置FTP服务器(File Transfer Protocol Server，文件传输协议服务器)，在对存储节点中的存储数据进行处理操作时，不直接将该存储数据发送至管理存储软件进行解析处理，而是先上传至FTP服务器，再由FTP服务器拷贝至管理存储软件，即将FTP服务器作为中转站实现存储数据的解析。由于FTP服务器支持FTP协议，而FTP协议是一种统一的专用于实现文件传输的协议，不受系统类型、网络种类的限制即可实现文件传输，因此，该存储数据的采集与解析方法可有效实现对存储数据的离线管理，不仅扩充了管理存储软件的使用场景，也极大地提高了存储数据的解析效率。

本申请所提供的一种存储数据解析装置、FTP服务器、数据解析系统以及计算机可读存储介质，也具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请所提供的一种存储数据解析方法的流程示意图；

图2为本申请所提供的另一种存储数据解析方法的流程示意图；

图3为本申请所提供的一种存储数据解析装置的结构示意图；

图4为本申请所提供的一种FTP服务器的结构示意图；

图5为本申请所提供的一种数据解析系统的结构示意图。

具体实施方式

本申请的核心是提供一种存储数据解析方法，该存储数据解析方法可有效实现对存储数据的离线管理，进一步提高了数据解析效率；本申请的另一核心是提供一种存储数据解析装置、FTP服务器、数据解析系统以及计算机可读存储介质，也具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在已有技术中，当存储节点与管理存储软件未部署在同一网段时，即管理存储软件连接不上存储节点时，将无法实现存储数据的持续采集和实时解析，只有等到二者处于相同网段时方可恢复正常的数据处理流程，所以已有技术中存储数据的采集与解析方法的使用场景具有局限性，无法实现存储数据的离线管理，且存储数据的解析效率较低。为解决上述技术问题，本申请提供了一种存储数据解析方法，该存储数据解析方法可有效实现对存储数据的离线管理，不仅扩充了管理存储软件的使用场景，也极大地提高了存储数据的解析效率。

请参考图1，图1为本申请所提供的一种存储数据解析方法的流程示意图，该存储数据解析方法可以包括：

S101：FTP服务器实时接收存储节点上传的性能文件；

本步骤旨在通过FTP服务器实现对存储节点上存储数据的收集，该存储数据即为上述性能文件。具体而言，存储节点可将自身产生的，或自身存储的性能文件上传至FTP服务器，而相对应的，FTP服务器对于上述性能文件则处于实时接收的状态。其中，对于上述性能文件，可将其具体的采集时间作为文件名，其具体的文件内容可包括存储节点上各种资源及其对应的性能指标的数值。进一步，FTP服务器在接收到性能文件后，还可将其存储至以存储标识命名的目录下，以作备份。

此外，对于上述性能文件的上传过程，可以为实时上传，也可以为定时上传，其具体实现过程并不影响本技术方案的实施。

优选的，上述FTP服务器实时接收存储节点上传的性能文件，可以包括：存储节点实时收集性能文件；按照预设时间间隔将性能文件上传至FTP服务器。

本申请提供了一种较为具体的性能文件的上传方法，即定时上传。具体而言，存储节点可对自身存储的性能文件进行实时收集，并按照预设时间间隔将其上传至FTP服务器。其中，对于上述预设时间间隔的具体取值，本申请不做具体限定，例如，在本申请中，将其设置为1分钟，即每隔一分钟进行一次性能文件的上传。

S102：判断性能文件是否接收完毕；若是，则执行S103，若否，则返回S101；

具体的，FTP服务器在接收性能文件的过程中，还可实时判断该性能文件是否接收完毕，如果已经接收完毕，则可继续执行后续步骤S103，进行性能文件的解析处理即可；如果没有接收完毕，则返回S101继续性能文件的接收即可。其中，对于上述判断过程的实现，可采用已有技术中的任意一种，本申请不做具体限定。

本申请提供了一种较为具体的判断方法，即FTP服务器实时判断是否在预设时间内未接收到性能文件，若是，则确定性能文件接收完毕。也就是说，假如FTP服务器在预设的时间段内，如10s内均未接收到性能文件，则说明性能文件已经接收完毕，此时执行S103进行性能文件的解析即可；假如在上述预设时间内一直有接收到性能文件，则说明还未接收完毕，此时返回S101继续接收即可。其中，对于上述预设时间的具体取值，可由技术人员根据实际需求进行自定义设置，本申请对此不做限定。

本申请提供了另一种较为具体的判断方法，即FTP服务器实时判断当前接收的性能文件的数量是否达到预设数量，若是，则确定性能文件接收完毕。也就是说，预先对FTP服务器一次性可收集的性能文件的数量进行设置，例如，将其设置为10个，每当FTP服务器接收的性能文件的数量达到10个时，即可认为性能文件接收完毕，此时执行S103进行数据解析即可；而当其接收数量未达到10个时，则返回S101继续性能文件的收集。其中，对于上述预设数量的具体取值，同样可由技术人员根据实际需求进行自定义设置，本申请对此不做限定。

S103：将性能文件拷贝至管理存储软件，以使管理存储软件对性能文件进行解析，获得性能数据。

本步骤旨在实现对性能文件的解析处理。具体而言，FTP服务器可将接收的性能文件拷贝至管理存储软件的指定存储目录下，进一步，当存储管理软件接收到文件解析指令时，即可基于该文件解析指令在上述指定存储目录下获取性能文件，并对其进行解析处理，获得对应的性能数据。其中，对于性能文件的具体解析过程，参照已有技术即可，本申请在此不再赘述。

进一步，为便于技术人员了解性能文件的解析进度，还可根据性能文件的总数目和剩余数目进行计算，以获得对应的解析进度。此外，还可将该解析进度发送至前端显示设备进行显示。

作为一种优选实施例，上述管理存储软件对性能文件进行解析，获得性能数据之前，还可以包括对性能文件进行分类处理，获得分类文件；将分类文件保存至预设存储目录。

具体的，为便于后续进行数据分析及处理，提高数据处理效率，在对性能文件进行解析之前，还可对其做进一步的分类处理，获得对应的分类文件，并将该分类文件保存至上述指定存储目录。例如，可将所有的性能文件按照接收时间进行分类和排序，并将所属同一时间段内的性能文件移动到对应的文件夹中，如以日期命名的文件夹等。

当然，以上分类方式仅为本申请所提供的一种实施方式，并不唯一，还可按照文件类型进行分类处理，并不影响本技术方案的实施。

本申请所提供的存储数据解析方法，在存储节点所处的网段设置FTP服务器，在对存储节点中的存储数据进行处理操作时，不直接将该存储数据发送至管理存储软件进行解析处理，而是先上传至FTP服务器，再由FTP服务器拷贝至管理存储软件，即将FTP服务器作为中转站实现存储数据的解析。由于FTP服务器支持FTP协议，而FTP协议是一种统一的专用于实现文件传输的协议，不受系统类型、网络种类的限制即可实现文件传输，因此，该存储数据的采集与解析方法可有效实现对存储数据的离线管理，不仅扩充了管理存储软件的使用场景，也极大地提高了存储数据的解析效率。

在上述各个实施例的基础上，请参考图2，图2为本申请所提供的另一种存储数据解析方法的流程示意图。

作为一种优选实施例，上述管理存储软件对性能文件进行解析，获得性能数据之后，还可以包括：

S105：将性能数据保存至数据库。

本步骤旨在实现对性能数据的存储，即将对性能文件解析获得的性能数据存储至数据库，以便后续调用和处理。其中，该数据库中存储有每次数据解析后的性能数据，即历史数据，便于进行后续对比分析处理。

优选的，上述将性能数据保存至数据库之后，还可以包括：

S106：将性能文件删除。

具体的，在完成性能数据的存储之后，其对应的性能文件基本不会再次使用，因此，为降低空间占用率，避免资源浪费，还可进一步将解析完成的性能文件进行删除。

优选的，该存储数据解析方法还可以包括：

S107：当接收到数据查询指令时，管理存储软件根据数据查询指令在数据库中调取对应的目标性能数据，并将目标性能数据发送至显示设备。

本步骤旨在实现对性能数据的查询，当管理存储软件接收到数据查询指令时，可根据该指令在数据库中调取所需的性能数据，即上述目标性能数据发送至显示设备进行显示。进一步，还可以将该目标性能数据与对应的历史数据进行显示，以便技术人员对其进行对比分析。

具体而言，技术人员可基于客户端选择开始时间及结束时间，即技术人员所需要查询的目标性能数据所处的时间段，将其作为数据查询指令发送至管理存储软件；进一步，管理存储软件即可根据该数据查询指令确定所要查询的时间段，以及该时间段内数据库中包含的所有资源，即目标性能数据，并将其填充于显示界面的资源下拉框中，如卷1、卷2至卷10；进一步，技术人员即可选择资源名称去数据库查询该资源的性能数据，在不选择的情况下，则在数据库中查询该时间段内卷1的性能数据，在显示界面进行默认展示，当技术人员在资源下拉框中选择卷2时，则在数据库中查询该时间段内卷2的性能数据，并进行展示。以上整个查询的过程不需要连接存储，只需连接数据库即可。

对于本申请实施例的其他实现步骤，参照上一实施例即可，本申请在此不再赘述。

为解决上述问题，请参考图3，图3为本申请所提供的一种存储数据解析装置的结构示意图，该存储数据解析装置可包括：

接收模块1，用于实时接收存储节点上传的性能文件；

判断模块2，用于判断性能文件是否接收完毕；

拷贝模块3，用于若性能文件接收完毕，则将性能文件拷贝至管理存储软件，以使管理存储软件对性能文件进行解析，获得性能数据。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，请参考图4，图4为本申请所提供的一种FTP服务器的结构示意图，该FTP服务器可包括：

存储器11，用于存储计算机程序；

处理器12，用于执行计算机程序时可实现如下步骤：

实时接收存储节点上传的性能文件；判断性能文件是否接收完毕；若是，则将性能文件拷贝至管理存储软件，以使管理存储软件对性能文件进行解析，获得性能数据。

对于本申请提供的服务器的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，请参考图5，图5为本申请所提供的一种数据解析系统的结构示意图，该数据解析系统可包括：

如上所述的FTP服务器10，用于实时接收存储节点20上传的性能文件；判断性能文件是否接收完毕；若是，则将性能文件拷贝至管理存储软件30；

存储节点20，用于上传性能文件至FTP服务器；

管理存储软件30，用于对性能文件进行解析，获得性能数据。

作为一种优选实施例，上述存储节点20可具体用于实时收集性能文件；按照预设时间间隔将性能文件上传至FTP服务器。

作为一种优选实施例，上述管理存储软件30还可用于对性能文件进行分类处理，获得分类文件；将分类文件保存至预设存储目录。

作为一种优选实施例，上述管理存储软件30还可用于将性能数据保存至数据库。

作为一种优选实施例，上述管理存储软件30还可用于将性能文件删除。

作为一种优选实施例，上述管理存储软件30还可用于当接收到数据查询指令时，根据数据查询指令在数据库中调取对应的目标性能数据，并将目标性能数据发送至显示设备。

对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的存储数据解析方法、装置、FTP服务器、数据解析系统以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。

Claims

1.一种存储数据解析方法，其特征在于，包括：

FTP服务器实时接收存储节点上传的性能文件；

判断所述性能文件是否接收完毕；

2.如权利要求1所述的存储数据解析方法，其特征在于，所述FTP服务器实时接收存储节点上传的性能文件，包括：

所述存储节点实时收集所述性能文件；

按照预设时间间隔将所述性能文件上传至所述FTP服务器。

3.如权利要求1所述的存储数据解析方法，其特征在于，所述管理存储软件对所述性能文件进行解析，获得性能数据之前，还包括：

对所述性能文件进行分类处理，获得分类文件；

将所述分类文件保存至预设存储目录。

4.如权利要求1至3任意一项所述的存储数据解析方法，其特征在于，所述管理存储软件对所述性能文件进行解析，获得性能数据之后，还包括：

将所述性能数据保存至数据库。

5.如权利要求4所述的存储数据解析方法，其特征在于，所述将所述性能数据保存至数据库之后，还包括：

将所述性能文件删除。

6.如权利要求5所述的存储数据解析方法，其特征在于，还包括：

7.一种存储数据解析装置，其特征在于，包括：

判断模块，用于判断所述性能文件是否接收完毕；

8.一种FTP服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任意一项所述的存储数据解析方法的步骤。

9.一种数据解析系统，其特征在于，包括：

如权利要求8所述的FTP服务器，用于实时接收存储节点上传的性能文件；判断所述性能文件是否接收完毕；若是，则将所述性能文件拷贝至管理存储软件；

所述存储节点，用于上传所述性能文件至所述FTP服务器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的存储数据解析方法的步骤。