CN117149847A - 数据的处理方法及装置、数据处理系统 - Google Patents

Abstract

本申请公开了一种数据的处理方法及装置、数据处理系统。其中，该方法包括：接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码；获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；依据每个时序指标数据的类型确定用于解析目标文件的解析方法；依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库。本申请解决了由于相关技术中通过人工对接的方式确定解析存储时序数据的文件的方法造成的文件解析的速度慢进而无法保证时序数据的时效性的技术问题。

Description

数据的处理方法及装置、数据处理系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据的处理方法及装置、数据处理系统。

背景技术

运营商网络设备的日常运营工作需要设备巡检、故障分析、可视化展示等业务场景下的大量、实时的通信设备运行数据来支撑。相关技术中，对数据采集和数据解析进行了解耦，在一个采集周期中通过不同功能的多种类型的设备同时采集大量通信数据；通过人工对接的方式根据数据的类型确定解析方法，导致解析的速度慢，无法保证时序数据的时效性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据的处理方法及装置、数据处理系统，以至少解决由于相关技术中通过人工对接的方式确定解析存储时序数据的文件的方法造成的文件解析的速度慢进而无法保证时序数据的时效性的技术问题。

根据本申请实施例的一个方面，提供了一种数据的处理方法，包括：接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码；获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；依据每个时序指标数据的类型确定用于解析目标文件的解析方法；依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的。

可选地，指标信息表用于记载多种类型的时序指标数据的多个编码、模型类型、模型内容、多个编码中每个编码关联的模型类型，以及每个编码关联的模型内容，其中，模型类型用于指示解析每个编码对应的时序指标数据的数据模型的类型，模型内容用于指示每个编码对应的时序指标数据的解析结果；在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型，包括：在指标信息表中确定目标编码，其中，目标编码为与目标文件中的时序指标数据的编码相同的编码；在指标信息表中确定目标编码关联的模型类型，其中，模型类型为目标编码对应的时序数据的类型，模型类型包括；单指标模型、多指标模型。

可选地，依据解析方法和指标信息表对目标文件进行解析，包括：如果目标文件中仅存在一种类型的时序指标数据，确定利用单指标模型对目标文件进行解析；在指标信息表中确定单指标模型关联的第一类模型内容，其中，第一类模型内容包括：指标编码和端口；利用单指标模型对目标文件进行解析，得到符合第一类模型内容的第一类解析结果，其中，第一类解析结果包括：目标文件中的每个时序指标数据的编码和每个时序指标数据对应的端口；如果目标文件中存在多种类型的时序指标数据，确定利用多指标模型对目标文件进行解析。

可选地，利用多指标模型对目标文件进行解析，包括：确定时序指标数据的数据层级；在时序指标数据的数据层级为0层的情况下，在指标信息表中确定多指标模型关联的第二类模型内容，其中，第二类模型内容包括：编码；利用多指标模型对目标文件进行解析，得到符合第二类模型内容的第二类解析结果，其中，第二类解析结果包括：每个时序指标数据的编码。

可选地，利用多指标模型对目标文件进行解析，还包括：如果时序指标数据的数据层级大于0层，在指标信息表中确定多指标模型关联的第三类模型内容，其中，第三类模型内容包括：端口、虚拟局域网标识符和编码；利用多指标模型对目标文件进行解析，得到符合第二类模型内容的第三类解析结果，其中，第三类解析结果包括：目标文件中的多个时序指标数据对应的一个端口、多个时序指标数据中每个时序指标数据对应的虚拟局域网标识符，以及每个时序指标数据的编码。

可选地，数据的处理方法还包括：监控数据处理的过程，并在监控到数据处理发生异常时生成通知信息；确定发生异常的进程，其中，进程包括：通知消息进程、文件写入进程、文件解析进程和数据入库进程；并根据发生异常的进程确定接收通知消息的目标对象。

可选地，根据发生异常的进程确定接收通知消息的目标对象，包括：在发生异常的进程为通知消息进程、文件写入进程中的第一类异常或者文件解析进程中的第二类异常之一的情况下，将通知消息发送至第一目标对象，其中，第一目标对象为发送目标文件的平台，第一类异常包括：文件大小异常、文件缺失和文件内容为空，第二类异常包括：不存在时序指标数据和解析模型缺失；发生异常的进程为文件写入进程中的第三类异常或者数据入库进程之一时，将通知消息发送至第二目标对象，其中，第二目标对象为处理目标文件的平台，第三类异常包括：文件下载异常和分布式服务器连接异常；发生异常的进程为文件解析进程中的第四类异常时，将通知消息发送至第一目标对象和第二目标对象，其中，第四类异常为文件解析出现异常。

可选地，数据的处理方法还包括：接收更新信息，其中，更新信息用于更新时序指标数据的类型和解析时序指标数据的数据模型的类型，更新信息对应的更新方式包括全量更新和增量更新。

根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：分布式服务器、模型管理模块、文件解析模块和监控告警模块，其中，模型管理模块，用于接收更新信息，依据更新信息更新时序数据的类型和解析时序数据的数据模型，并将时序数据的类型和解析时序数据的数据模型记录在指标信息表中；分布式服务器，用于接收写入的目标文件，并将目标文件发送至文件解析模块，其中，目标文件中包括多个通信设备的多个时序指标数据；文件解析模块，用于接收通知消息和目标文件，其中，通知消息指示分布式服务器被写入了目标文件，通知消息包括：多个时序指标数据的多个编码；文件解析模块，还用于获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型，依据每个时序指标数据的类型确定用于解析目标文件的解析方法；文件解析模块，还用于依据解析方法和指标信息表对目标文件进行解析，得到目标文件的解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的；监控告警模块，用于监控分布式服务器、模型管理模块和文件解析模块的运行进程，在监控到数据处理发生异常时生成通知信息，并根据发生异常的进程确定接收通知消息的目标对象。

根据本申请实施例的另一方面，还提供了一种数据的处理装置，包括：接收模块，用于接收通知消息，其中，通知消息指示分布式服务器被写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息包括多个时序指标数据对应的多个编码；获取模块，用于获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；确定模块，用于依据每个时序指标数据的类型确定用于解析目标文件的解析方法；解析模块，用于依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的时序数据的生成时间确定的。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有计算机程序，其中，在非易失性存储介质所在设备通过运行计算机程序执行上述的数据的处理方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述的数据的处理方法。

在本申请实施例中，采用接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码；获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；依据每个时序指标数据的类型确定用于解析目标文件的解析方法；依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的方式，通过去中心化的分布式服务器(ceph服务器)以并发的方式存储的文件，达到了保证通信设备运行数据的时效性的目的；通过自动更新指标信息和解析模型，自动识别不同采集任务中包含的指标内容并完成解析，达到了提高数据解析的效率的目的；通过对数据处理进行全程监控，达到了及时发现数据处理的异常进程并发送通知消息的目的；从而实现了提高数据解析的速度、保障时序数据的时效性和快速定位故障位置的技术效果，进而解决了由于相关技术中通过人工对接的方式确定解析存储时序数据的文件的方法造成的文件解析的速度慢进而无法保证时序数据的时效性技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现数据的处理方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例的一种数据的处理方法的步骤流程图；

图3是根据本申请实施例的一种发送通知消息中断告警时的流程图；

图4是根据本申请实施例的一种数据处理系统的示意图；

图5是根据本申请实施例的一种数据处理系统的工作流程图；

图6是根据本申请实施例的一种数据的处理装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如下：

时序指标数据：衡量通信系统中的时序性能的指标数据，例如：传输时延和处理时延等。

在相关技术中，对数据采集和数据解析进行了解耦，采用周期性的批量文件来传输设备运行数据，由于数据从采集到解析涉及到多个系统，因此，相关技术在对通信设备的运行数据进行采集和解析时存在以下问题：1)采用人工对接的方式同时对多种类型的通信设备的数据解析，指标类型不固定，人工对接过程繁琐；2)不同指标的采集指令存在差异，数据格式差别较大，导致数据解析耗费时间长；3)一个采集周期的文件量可达到上万个，采用周期性的批量文件来传输设备运行数据无法保证数据的时效性；4)数据解析的整个流程包括数据读取、模型解析、数据入库等多个环节，一旦出现数据异常、数据缺失等问题，无法快速定位故障位置，进行故障修复。为了解决上述问题，本申请实施例中提供了相关的解决方案，以下详细说明。

根据本申请实施例，提供了一种数据的处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据的处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据的处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

在上述运行环境下，本申请实施例提供了一种数据的处理方法，图2是根据本申请实施例提供的一种数据的处理方法的步骤流程图，如图2所示，该方法包括如下步骤：

步骤S202，接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码。

本申请实施例提供的方法用于处理运营商的各种通信设备的运行数据中的时序指标数据，在步骤S202中，当将时序指标数据以(目标)文件的形式批量写入到分布式服务器(ceph服务器)后，处理数据的数据共享平台会接收到文件写入通知(即通知信息)，其中，文件写入通知(即通知信息)中包括用于记录本次写入的(目标)文件中的每个时序指标数据的虚指令编码，每种类型的时序指标数据具有唯一的虚指令编码，因此，数据共享平台能够虚指令编码确定时序指标数据的类型等时序指标数据的相关信息。

另外，上述文件写入通知(即通知信息)还包括：(目标)文件的名称、(目标)文件的路径、(目标)文件的生成时间、(目标)文件的字节数、(目标)文件中每个时序指标数据的采集设备的标识(采空源ID)、生成每个时序指标数据的设备的标识(设备ID)、生成每个时序指标数据的设备的类型等(目标)文件中时序指标数据的相关信息。

步骤S204，获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型。

在步骤S204中，数据共享平台接收到文件写入通知(即通知信息)之后，获取存储在共享平台中的指标信息表，在指标信息表中查询文件写入通知(即通知信息)中携带的指标列表中的编码，以确定(目标)文件中的时序指标数据的类型。

上述指标信息表中用于记录数据共享平台在历史进程中接收到的时序指标数据的相关信息，可选地，指标信息表用于记载多种类型的时序指标数据的多个编码、模型类型、模型内容、多个编码中每个编码关联的模型类型，以及每个编码关联的模型内容，其中，模型类型用于指示解析每个编码对应的时序指标数据的数据模型的类型，模型内容用于指示每个编码对应的时序指标数据的解析结果；在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型，包括：在指标信息表中确定目标编码，其中，目标编码为与目标文件中的时序指标数据的编码相同的编码；在指标信息表中确定目标编码关联的模型类型，其中，模型类型为目标编码对应的时序数据的类型，模型类型包括；单指标模型、多指标模型。

在本实施例中，指标信息表将时序指标数据的虚指令编码、解析时序指标数据的数据模型的类型，以及解析时序指标数据应该得到的结果(即模型内容)以关联的形式进行记录；其中，一种类型的时序指标数据的虚指令编码只记录一次，与虚指令编码关联的数据模型的类型为解析这一类时序指标数据的模型类型(如，单指标模型、多指标模型)，与虚指令编码关联的模型内容为解析这一类时序指标数据得到的解析结果中应包括的字段(如数据格式字段、端口字段等)；因此，可以通过时序指标数据的虚指令编码在指标信息表中查询到解析该时序指标数据的所在的文件的数据模型。在确定(目标)文件的解析方法时，首先获取存储在数据共享平台中的指标信息表，在指标信息表中查询(目标)文件中的时序指标数据的编码，当在指标信息表中查询到与(目标)文件中的时序指标数据的编码相同的编码(即目标编码)后，将与目标编码关联的数据模型确定为用于解析(目标)文件的数据模型；在本申请实施例中，解析文件的数据模型包括单指标模型和多指标模型两种。

步骤S206，依据每个时序指标数据的类型确定用于解析目标文件的解析方法。

在本申请实施例提供的方法中，针对不同类型的时序指标数据提供不同解析方法，因此，在步骤S204中确定了时序指标数据的类型之后，在步骤S206中，依据时序指标数据的类型确定(目标)文件的解析方法。

步骤S208，依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的。

在步骤S208中，利用与(目标)文件中的时序指标数据的类型对应的解析方法解析目标文件，并将解析得到的数据(即解析结果)按照解析结果对应的时序指标数据的生成时间从早到晚的顺序(即时间顺序)存储在共享平台的数据库如开源的时序数据库(OpenTime Series Database，OpenTSDB)、键值型数据库(Remote Dictionary Server，Redis)中。

根据本申请一个可选的实施例，依据解析方法和指标信息表对目标文件进行解析，包括：如果目标文件中仅存在一种类型的时序指标数据，确定利用单指标模型对目标文件进行解析；在指标信息表中确定单指标模型关联的第一类模型内容，其中，第一类模型内容包括：指标编码和端口；利用单指标模型对目标文件进行解析，得到符合第一类模型内容的第一类解析结果，其中，第一类解析结果包括：目标文件中的每个时序指标数据的编码和每个时序指标数据对应的端口；如果目标文件中存在多种类型的时序指标数据，确定利用多指标模型对目标文件进行解析。

在本申请实施例提供的方法中仅通过单指标指令或多指标指令采集数据，其中，单指标指令是从多个端口采集同一类型的时序指标数据，多指标指令是从一个端口采集多种类型的时序指标数据。在本实施例中，根据(目标)文件中的时序指标数据确定解析方法包括以下两种情况，如果(目标)文件中的时序指标数据均为同一类型的时序指标数据，说明(目标)文件中的时序指标数据是通过单指标指令采集的时序指标数据，同时，可以在指标信息表中查询到与单指标指令采集的数据的虚指令编码关联的数据解析模型为单指标模型，因此，确定利用单指标模型解析(目标)文件；在利用单指标模型解析(目标)文件之前，在指标信息表中还可以查询到与单指标模型关联的(第一类)模型内容包括指标编码字段和端口字段，因此，在利用单指标模型解析(目标)文件得到的解析结果中包括每个时序指标数据的编码和在采集时序指标数据时，传输每个时序指标数据的端口的端口号(如8080等)和/或端口名称等端口的信息。如果(目标)文件中的时序指标数据为不同类型的时序指标数据，说明(目标)文件中的时序指标数据是通过多指标指令采集的时序指标数据，同时，可以在指标信息表中查询到与多指标指令采集的数据的虚指令编码关联的数据解析模型为多指标模型，因此，确定利用多指标模型解析(目标)文件。

可选地，利用多指标模型对目标文件进行解析，包括：确定时序指标数据的数据层级；在时序指标数据的数据层级为0层的情况下，在指标信息表中确定多指标模型关联的第二类模型内容，其中，第二类模型内容包括：编码；利用多指标模型对目标文件进行解析，得到符合第二类模型内容的第二类解析结果，其中，第二类解析结果包括：每个时序指标数据的编码。

在本实施例中，在利用多指标模型解析由同一个端口采集的多种类型的时序指标数据组成的(目标)文件时，针对时序指标数据的数据层级的不同，采用不同的解析方法，具体的，当时序指标数据的数据层级为0层时，与多指标模型关联的(第二类)模型内容为编码字段，因此，利用多指标模型对(目标)文件解析得到的解析结果为(目标)文件中每个时序指标数据的虚指令编码，另外，由于时序指标数据为由键值对组成的轻量级数据格式的数据(JSON数据)，因此，在每个虚指令编码下还可以包括该虚指令编码对应的时序指标数据的属性，例如，包括该虚指令编码对应的时序指标数据对应的设备的内存使用率和中央处理器(Central Processing Unit，CPU)的使用率。

根据本申请一些可选的实施例，利用多指标模型对目标文件进行解析，还包括：如果时序指标数据的数据层级大于0层，在指标信息表中确定多指标模型关联的第三类模型内容，其中，第三类模型内容包括：端口、虚拟局域网标识符和编码；利用多指标模型对目标文件进行解析，得到符合第二类模型内容的第三类解析结果，其中，第三类解析结果包括：目标文件中的多个时序指标数据对应的一个端口、多个时序指标数据中每个时序指标数据对应的虚拟局域网标识符，以及每个时序指标数据的编码。

在一些实施例中，当时序指标数据的数据层级大于0层时，与多指标模型关联的(第三类)模型内容包括：每个时序指标数据的虚指令编码、产生每个时序指标数据的设备的虚拟局域网标识符(vlan)，以及数据采集时传输每个时序指标数据的端口的端口号(如0808)和/或端口名称等端口相关信息。例如，时序指标数据的数据层级为3层，则利用多指标模型解析由同一个端口采集的不同类型的时序指标数据组成的(目标)文件时，得到的解析结果包括3层，其中，第一层为传输时序指标数据的端口的端口名称，第二层为产生每个时序指标数据的设备的虚拟局域网标识(vlan号)和互联网协议(Internet ProtocolAddress，IP)地址，第三层为每个时序指标数据的虚指令编码。

根据本申请一个可选的实施例，数据的处理方法还包括：监控数据处理的过程，并在监控到数据处理发生异常时生成通知信息；确定发生异常的进程，其中，进程包括：通知消息进程、文件写入进程、文件解析进程和数据入库进程；并根据发生异常的进程确定接收通知消息的目标对象。

本申请实施例提供的方法还对数据处理的进行实时监控，在本实施例中，数据处理包括：接收文件写入通知(即通知消息)的通知消息进程、在分布式服务器(ceph服务器)中写入(目标)文件的文件写入进程，以及将解析结果写入数据库的数据入库进程，对上述数据处理进程进行全进程监控，并在监控到异常时，确定发生异常的进程，根据发生异常的进程确定接收告警消息(即通知消息)的平台(即目标对象)。

可选地，上一实施例中提及的根据发生异常的进程确定接收通知消息的目标对象，包括：在发生异常的进程为通知消息进程、文件写入进程中的第一类异常或者文件解析进程中的第二类异常之一的情况下，将通知消息发送至第一目标对象，其中，第一目标对象为发送目标文件的平台，第一类异常包括：文件大小异常、文件缺失和文件内容为空，第二类异常包括：不存在时序指标数据和解析模型缺失；发生异常的进程为文件写入进程中的第三类异常或者数据入库进程之一时，将通知消息发送至第二目标对象，其中，第二目标对象为处理目标文件的平台，第三类异常包括：文件下载异常和分布式服务器连接异常；发生异常的进程为文件解析进程中的第四类异常时，将通知消息发送至第一目标对象和第二目标对象，其中，第四类异常为文件解析出现异常。

在申请实施例中按照如下规则根据发生异常的进程确定接收告警消息(即通知消息)的平台(即目标对象)，当发生异常的进程为通知消息进程异常(如通知消息传输中断、通知消息的格式异常等)、文件写入进程异常中的文件大小异常、文件缺失和文件内容为空(即第一类异常)，或者文件解析进程中的解析结果中的不存在时序指标数据、解析模型缺失(即第三类异常)中的任意一种进程异常时，将告警信息(即通知消息)发送到发送(目标)文件的采控平台(即第一目标对象)。当发生异常的进程为文件写入进程异常中的分布式服务器(ceph服务器)连接异常、文件下载异常(即第四类异常)、数据入库进程异常(如OpenTSDB连接异常、OpenTSDB插入失败、Redis连接异常、Redis插入失败等)中的任意一种异常时，将告警信息(即通知消息)发送到处理(目标)文件的数据共享平台(即第二目标对象)。当发生异常的进程为文件解析进程中的解析过程异常(即第四类异常)时，将告警信息(即通知消息)同时发送到采控平台(即第一目标对象)和数据共享平台(即第二目标对象)。图3是发送通知消息中断告警时的流程图，如图3所示，从数据共享平台接收到文件写入通知(即通知消息)开始，监控数据传输处理过程产生的日志(ES日志)以及通知信息的状态，如果监控到日志中没有新记录产生且没有通知信息的积压，确定通知消息中断，此时，为避免连续发送重复的告警消息，检测是否存在相同的、未恢复的告警记录，如果存在，继续监控ES日志和通知信息而不发送告警消息；如果不存在，根据上述规则确定接收通知消息中断的平台为采控平台，向采控平台发送通知消息中断的告警消息，并将发送了消息中断的告警消息的这一动作记录下来；其中，告警消息中包括：监测时间、出现异常的进程的名称、该异常影响的时序指标数据、该异常影响的通信设备数量，以及该异常影响最大的前5个设备的互联网协议地址，告警消息的形式可以是邮件、短信等形式。如图3所示，在发送了告警消息后，继续监控ES日志和通知信息，直到监控到有ES日志产生或者监控到有通知消息出现，判断是否存在未恢复的告警记录，如果不存在，继续监控ES日志和通知信息；如果存在，将告警记录的状态重置为已恢复，并向采控平台发送异常恢复的通知消息。

根据本申请另一些可选的实施例，数据的处理方法还包括：接收更新信息，其中，更新信息用于更新时序指标数据的类型和解析时序指标数据的数据模型的类型，更新信息对应的更新方式包括全量更新和增量更新。

在另一些实施例中，数据共享平台周期性的更新存储在其中的指标信息表中的时序指标数据的类型、用于解析由时序指标数据组成的文件的数据模型的类型，以便指标信息表中存储的信息为最新、最全面的信息；具体的，本申请实施例中的数据共享平台支持全量更新和增量更新这两种更新方式，其中，采用全量更新的方式更新指标信息表时，调用应用程序接口(Application Programming Interface，API)向数据共享平台传输用于更新指标信息表的数据；采用增量更新的方式更新指标信息表时，采用分布式数据流处理平台(Kafka)传输用于更新指标信息表的数据。

通过上述步骤，采用分布式服务器(ceph服务器)并发存储文件，降低了数据传输过程产生的时延；同时兼容不同的数据结构，并针对不同数据结构的时序指标数据提供不同的解析方法，对不同数据格式的时序指标数据自动识别、自动解析，提高了数据解析的速度；对数据处理的过程进行全流程监控，在监控到进程异常时，及时发送告警信息，为快速故障定位和故障处理，提供技术支撑，有效保障时序数据的时效性。

图4是根据本申请实施例的提供的一种数据处理系统的示意图，如图4所示，数据处理系统包括：分布式服务器40、模型管理模块42、文件解析模块44和监控告警模块46，其中，模型管理模块42，用于接收更新信息，依据更新信息更新时序数据的类型和解析时序数据的数据模型，并将时序数据的类型和解析时序数据的数据模型记录在指标信息表中；分布式服务器40，用于接收写入的目标文件，并将目标文件发送至文件解析模块44，其中，目标文件中包括多个通信设备的多个时序指标数据；文件解析模块44，用于接收通知消息和目标文件，其中，通知消息指示分布式服务器40被写入了目标文件，通知消息包括：多个时序指标数据的多个编码；文件解析模块44，还用于获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型，依据每个时序指标数据的类型确定用于解析目标文件的解析方法；文件解析模块44，还用于依据解析方法和指标信息表对目标文件进行解析，得到目标文件的解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的；监控告警模块46，用于监控分布式服务器40、模型管理模块42和文件解析模块44的运行进程，在监控到数据处理发生异常时生成通知信息，并根据发生异常的进程确定接收通知消息的目标对象。

图5是数据处理系统的工作流程图，如图5所示，处理由时序指标数据组成的(目标)文件的数据共享平台与采集时序指标数据的采控平台进行数据交互；用户提前在采控平台中定义不同结构的时序指标数据对应的解析模型，并将解析模型的类型、不同类型数据的解析结果(即模型内容)以及时序指标数据的结构同数据信息与数据共享平台同步；在分布式服务器40接收到文件写入通知(即通知消息)后，将通知消息传递给文件解析模块44，由文件解析模块44根据通知消息的内容在模型管理模块42中获取指标信息表后，根据指标信息表确定时序指标数据的类型，其中，文件写入通知(即通知消息)的内容包括：写入的文件的名称、文件的写入路径，以及文件中的每个时序指标数据的编码；接下来，文件解析模块44根据通知消息的内容在指标信息表中进一步确定解析接收到的文件的解析模型，如图5所示，在利用解析模型解析接收到的文件时，包括以下两种情况：当解析模型为单指标模型时，按照解析结果为虚指令编码和端口信息对接收到为文件进行解析；当解析模型为多指标模型时，则判断时序指标数据的数据层级，针对数据层级为0层的时序指标数据，按照解析结果为虚指令编码对接收到的文件进行解析；针对数据层级大于0层的时序指标数据，按照解析结果为虚指令编码、端口信息和虚拟局域网信息对接收到的文件进行解析；如图5所示，无论采用哪种解析模型，最后均执行解析入库的进程，将解析的结果按照其对应的时序指标数据的生成时间由早到晚进行存储。如图5所示，数据共享平台中的监控告警模块46对上述数据处理进行全进程监控，具体的，在接收文件写入通知(即通知消息)时，执行通知消息监控，在确定解析模型和解析文件的过程中执行文件写入监控和文件解析监控，在将解析结果存储到数据库的进程时，执行数据入库监控；并且，在监控到上述任意一个进程出现异常时，向异常进程对应的平台发送告警消息。

图6是根据本申请实施例提供的一种数据的处理装置的结构图，如图6所示，数据的处理装置包括：接收模块60，用于接收通知消息，其中，通知消息指示分布式服务器被写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息包括多个时序指标数据对应的多个编码；获取模块62，用于获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；确定模块64，用于依据每个时序指标数据的类型确定用于解析目标文件的解析方法；解析模块66，用于依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的时序数据的生成时间确定的。

数据的处理装置工作时，由接收模块60接收(目标)文件写入通知(即通知消息)，由获取模块62获取指标信息表，在指标信息表中查询与通知消息中的虚指令编码相同的编码；由确定模块64根据指标信息表中记载的时序指标数据的虚指令编码确定解析接收到的(目标)文件的解析方法；并由解析模块66利用确定模块64输出的计息方法解析接收的(目标)文件。

需要说明的是，图6所示实施例的优选实施方式可以参见图2所示实施例的相关描述，此处不再赘述。

本申请实施例还提供了一种非易失性存储介质，非易失性存储介质中存储有计算机程序，在非易失性存储介质所在设备通过运行计算机程序执行以上的数据的处理方法。

上述非易失性存储介质用于存储执行以下功能的程序：接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码；获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；依据每个时序指标数据的类型确定用于解析目标文件的解析方法；依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的。

本申请实施例还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行以上的数据的处理方法。

上述电子设备中的处理器用于运行执行以下功能的程序：接收通知消息，其中，通知消息指示分布式服务器已经写入了目标文件，目标文件中包括多个通信设备的多个时序指标数据，通知消息中携带有多个时序指标数据对应的多个编码；获取指标信息表，在指标信息表中确定多个编码中每个编码对应的时序指标数据的类型；依据每个时序指标数据的类型确定用于解析目标文件的解析方法；依据解析方法和指标信息表对目标文件进行解析，得到解析结果，并将解析结果按照时间顺序存储在数据库，其中，时间顺序是根据目标文件中的多个时序指标数据的生成时间确定的。

需要说明的是，上述数据的处理装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合)，也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种数据的处理方法，其特征在于，包括：

接收通知消息，其中，所述通知消息指示分布式服务器已经写入了目标文件，所述目标文件中包括多个通信设备的多个时序指标数据，所述通知消息中携带有所述多个时序指标数据对应的多个编码；

获取指标信息表，在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型；

依据每个所述时序指标数据的类型确定用于解析所述目标文件的解析方法；

依据所述解析方法和所述指标信息表对所述目标文件进行解析，得到解析结果，并将所述解析结果按照时间顺序存储在数据库，其中，所述时间顺序是根据所述目标文件中的多个时序指标数据的生成时间确定的。

2.根据权利要求1所述的方法，其特征在于，所述指标信息表用于记载多种类型的时序指标数据的多个编码、模型类型、模型内容、所述多个编码中每个编码关联的模型类型，以及所述每个编码关联的模型内容，其中，所述模型类型用于指示解析所述每个编码对应的时序指标数据的数据模型的类型，所述模型内容用于指示所述每个编码对应的时序指标数据的解析结果；

在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型，包括：

在所述指标信息表中确定目标编码，其中，所述目标编码为与所述目标文件中的时序指标数据的编码相同的编码；

在所述指标信息表中确定所述目标编码关联的模型类型，其中，所述模型类型为所述目标编码对应的时序数据的类型，所述模型类型包括；单指标模型、多指标模型。

3.根据权利要求2所述的方法，其特征在于，依据解析方法和所述指标信息表对所述目标文件进行解析，包括：

如果所述目标文件中仅存在一种类型的时序指标数据，确定利用单指标模型对所述目标文件进行解析；

在所述指标信息表中确定所述单指标模型关联的第一类模型内容，其中，所述第一类模型内容包括：指标编码和端口；

利用所述单指标模型对所述目标文件进行解析，得到符合所述第一类模型内容的第一类解析结果，其中，所述第一类解析结果包括：所述目标文件中的每个时序指标数据的编码和所述每个时序指标数据对应的端口；

如果所述目标文件中存在多种类型的时序指标数据，确定利用多指标模型对所述目标文件进行解析。

4.根据权利要求3所述的方法，其特征在于，利用多指标模型对所述目标文件进行解析，包括：

确定所述时序指标数据的数据层级；

在所述时序指标数据的数据层级为0层的情况下，在所述指标信息表中确定所述多指标模型关联的第二类模型内容，其中，所述第二类模型内容包括：编码；

利用所述多指标模型对所述目标文件进行解析，得到符合所述第二类模型内容的第二类解析结果，其中，所述第二类解析结果包括：所述每个时序指标数据的编码。

5.根据权利要求4所述的方法，其特征在于，利用多指标模型对所述目标文件进行解析，还包括：

如果所述时序指标数据的数据层级大于0层，在所述指标信息表中确定所述多指标模型关联的第三类模型内容，其中，所述第三类模型内容包括：端口、虚拟局域网标识符和编码；

利用所述多指标模型对所述目标文件进行解析，得到符合所述第二类模型内容的第三类解析结果，其中，所述第三类解析结果包括：所述目标文件中的多个时序指标数据对应的一个端口、所述多个时序指标数据中每个时序指标数据对应的虚拟局域网标识符，以及所述每个时序指标数据的编码。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：监控数据处理的过程，并在监控到所述数据处理发生异常时生成通知信息；

确定发生异常的进程，其中，所述进程包括：通知消息进程、文件写入进程、文件解析进程和数据入库进程；

并根据所述发生异常的进程确定接收所述通知消息的目标对象。

7.根据权利要求6所述的方法，其特征在于，根据所述发生异常的进程确定接收所述通知消息的目标对象，包括：

在发生异常的进程为所述通知消息进程、所述文件写入进程中的第一类异常或者所述文件解析进程中的第二类异常之一的情况下，将所述通知消息发送至第一目标对象，其中，所述第一目标对象为发送所述目标文件的平台，所述第一类异常包括：文件大小异常、文件缺失和文件内容为空，所述第二类异常包括：不存在时序指标数据和解析模型缺失；

发生异常的进程为所述文件写入进程中的第三类异常或者所述数据入库进程之一时，将所述通知消息发送至第二目标对象，其中，所述第二目标对象为处理所述目标文件的平台，所述第三类异常包括：文件下载异常和分布式服务器连接异常；

发生异常的进程为所述文件解析进程中的第四类异常时，将所述通知消息发送至所述第一目标对象和所述第二目标对象，其中，所述第四类异常为文件解析出现异常。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收更新信息，其中，所述更新信息用于更新时序指标数据的类型和解析所述时序指标数据的数据模型的类型，所述更新信息对应的更新方式包括全量更新和增量更新。

9.一种数据处理系统，其特征在于，包括：分布式服务器、模型管理模块、文件解析模块和监控告警模块，其中，

所述模型管理模块，用于接收更新信息，依据所述更新信息更新时序数据的类型和解析所述时序数据的数据模型，并将所述时序数据的类型和解析所述时序数据的数据模型记录在指标信息表中；

所述分布式服务器，用于接收写入的目标文件，并将所述目标文件发送至所述文件解析模块，其中，所述目标文件中包括多个通信设备的多个时序指标数据；

所述文件解析模块，用于接收通知消息和所述目标文件，其中，所述通知消息指示分布式服务器被写入了目标文件，所述通知消息包括：所述多个时序指标数据的多个编码；

所述文件解析模块，还用于获取所述指标信息表，在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型，依据每个所述时序指标数据的类型确定用于解析所述目标文件的解析方法；

所述文件解析模块，还用于依据所述解析方法和所述指标信息表对所述目标文件进行解析，得到所述目标文件的解析结果，并将所述解析结果按照时间顺序存储在数据库，其中，所述时间顺序是根据所述目标文件中的多个时序指标数据的生成时间确定的；

所述监控告警模块，用于监控所述分布式服务器、所述模型管理模块和所述文件解析模块的运行进程，在监控到所述数据处理发生异常时生成通知信息，并根据所述发生异常的进程确定接收所述通知消息的目标对象。

10.一种数据的处理装置，其特征在于，包括：

接收模块，用于接收通知消息，其中，所述通知消息指示分布式服务器被写入了目标文件，所述目标文件中包括多个通信设备的多个时序指标数据，所述通知消息包括所述多个时序指标数据对应的多个编码；

获取模块，用于获取指标信息表，在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型；

确定模块，用于依据每个所述时序指标数据的类型确定用于解析所述目标文件的解析方法；

解析模块，用于依据解析方法和所述指标信息表对所述目标文件进行解析，得到解析结果，并将所述解析结果按照时间顺序存储在数据库，其中，所述时间顺序是根据所述目标文件中的时序数据的生成时间确定的。

11.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有计算机程序，其中，在所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至8中任意一项所述的数据的处理方法。

12.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至8中任意一项所述的数据的处理方法。