CN105446707B - 一种数据转换方法 - Google Patents

Abstract

本发明公开了一种数据转换方法，用于运维系统的采集数据和告警数据之间的转换，所述方法根据事先设定的采集数据类型和告警数据类型之间的映射关系和采集数据字段和告警数据字段之间的映射关系，进而实现将采集数据转换成告警数据的正向转换，以及将告警数据转换成采集数据的逆向转换。本发明中，由正向转换获得的告警数据为运维人员提供了更加全面的告警信息，降低运维人员对运维数据分析复杂度，解决了系统设备增多而随之带来告警数据丢失问题，降低了视频云存储运维平台故障处理流程操作复杂度。另一方面，由逆向转换获得的采集数据，推送到前端展示系统，增强了设备异常状态下的实时显示，为运维人员提供了更加准确的设备故障信息。

Description

一种数据转换方法

技术领域

本发明涉及系统运营维护领域，特别涉及一种运维系统中的采集数据和告警数据之间的数据转换方法。

背景技术

运维系统(运营维护系统)是对已经建立好的软硬件系统的维护系统。

运维系统中包括有两类数据：采集数据和告警数据。其中，采集数据，即运维数据，包括已经建立好的软硬件系统运行过程中的硬件信息、软件信息和网络信息等。对于视频云存储的运维系统来说，采集数据包括了视频云存储运行过程中的硬件信息、软件信息和网络信息等。现有的采集数据的来源是从视频网管采集服务中接收的采集数据。

告警数据包括已经建立好的软硬件系统在运行过程中，在硬件、软件或者网络状态等处于不正常情况下，产生的告警信息。对于视频云存储的运维系统来说，告警数据包括了视频云存储系统运行过程中，在硬件、软件或网络状态处于不正常情况下，产生的告警信息。现有的告警数据的来源是从视频网管采集服务中接收的告警数据。

运维系统中的采集数据和告警数据二者之间分属于不同类型的数据，具有不同的作用，同时二者之间还有一些联系，例如告警数据所反映的问题必然会在采集数据中体现等等，但是并不能将采集数据作为告警数据来使用，或者将告警数据作为采集数据来使用。

在普遍的运维系统中，运维人员通过运维系统的告警数据定位到已经建立好的软硬件系统中的损坏或者非正常运行设备，进而对该设备进行检查、修复、替换等工作。待修复或替换损坏或非正常运行的设备后，运维人员需要操作运维系统以完成特定流程，进而表明该故障已处理，之后设备才能够正常运行。然而，从出现告警数据到故障处理完毕的整个过程中可能包括多个需要处理的审核流程，处理过程复杂，耽误时间长，并且增加人工处理成本。

另外，对于已建立好的软硬件系统来说，在某些特定环境下，告警数据中的某些特殊类型告警的个数同一时刻上报的数量会达到万级别以上。随着云存储设备的增加，告警数量随之增加，因此带来一些问题。进而在高负载、高并发的处理过程中，为了系统的健壮性、稳定性，使用底层通讯协议还会造成一些重要告警数据的丢失。

对于视频云存储运维平台系统来说，其监控信息来源于采集数据，随着采集数据的周期性采集，前端监控信息也随之改变，因此在周期段内无法体现视频云存储系统中设备的当前实时的运行状况。总之，由于视频云存储运维平台系统中的采集数据不具备实时性，进而使得监控信息不具备实时性，运维人员难以实时监控视频云存储系统的当前状况。但是，告警数据在运维系统中却是采取实时推送方式，但是不能将告警数据作为监控信息以在监控前端进行视频云存储系统的运营监控。

发明内容

有鉴于此，本发明提供一种数据转换方法，将采集数据和告警数据互相转换，进而简化运维人员处理告警数据的过程，并实现运维系统的实时监控。

本申请的技术方案是这样实现的：

一种数据转换方法，用于运维系统的采集数据和告警数据之间的转换，所述方法包括将采集数据转换成告警数据的正向转换和将告警数据转换成采集数据的逆向转换，其中：

所述正向转换包括：

根据采集数据类型和告警数据类型之间的映射关系，确定采集数据所对应的告警数据类型；

如果所述采集数据的采集数据类型允许转换成其所对应的告警数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述采集数据转换为其所对应的告警数据类型的告警数据；

所述逆向转换包括：

根据采集数据类型和告警数据类型之间的映射关系，确定告警数据所对应的采集数据类型；

如果所述告警数据的告警数据类型允许转换成其所对应的采集数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述告警数据转换为其所对应的采集数据类型的采集数据。

进一步，所述正向转换中，在确定采集数据所对应的告警数据类型之前，还包括：

将采集数据的格式转换成规定的采集数据格式。

进一步，所述正向转换中，将所述采集数据的格式转换成规定的采集数据格式之后，确定采集数据所对应的告警数据类型之前，还包括：

将转换成规定的采集数据格式之后的采集数据存入采集队列，并从所述采集队列中提取采集数据。

进一步，在所述正向转换之后，还包括：

将经过所述正向转换获得的告警数据进行告警流程处理。

进一步，所述逆向转换中，在确定告警数据所对应的采集数据类型之前，还包括：

将所述告警数据的格式转换成规定的告警数据格式。

进一步，所述逆向转换中，将所述告警数据的格式转换成规定的告警数据格式之后，确定告警数据所对应的采集数据类型之前，还包括：

将转换成规定的告警数据格式之后的告警数据存入告警队列，并从所述告警队列中提取告警数据。

进一步，在所述逆向转换之后，还包括：

将经过所述逆向转换获得的采集数据的关键状态字段与运维系统的最新采集数据的关键状态字段进行对比，若二者相同，则过滤掉经过所述逆向转换获得的采集数据。

进一步，所述采集数据类型和告警数据类型之间的映射关系中，1个采集数据类型对应至少1个告警数据类型，1个告警数据类型仅对应1个采集数据类型；

在所述正向转换中，1条采集数据转换为至少1条告警数据；

在所述逆向转换中，1条告警数据仅转换为1条采集数据。

进一步，在进行正向转换和/或逆向转换之前，还包括：

设定采集数据格式；

设定采集数据类型；

设定采集数据的关键状态字段；

设定告警数据格式；

设定告警数据类型；

设定告警数据的关键状态字段；

设定采集数据类型和告警数据类型之间的映射关系；

设定采集数据字段和告警数据字段之间的映射关系；

设定采集数据类型是否允许逆向转换；

设定告警数据类型是否允许正向转换。

从上述方案可以看出，本发明的数据转换方法，实现了运维系统中的采集数据和告警数据之间的转换。一方面，从运维角度来说，由正向转换获得的告警数据为运维人员提供了更加全面的告警信息，降低运维人员对运维数据分析复杂度，在视频云存储运维平台中，解决了云存储系统中设备增多而随之带来告警数据丢失问题，也为告警数据自动恢复提供必要前提条件，降低了视频云存储运维平台故障处理流程操作复杂度。另一方面，由告警数据逆向转换成采集数据，实时推送到前端展示系统，增强了设备异常状态下的实时显示，为运维人员提供了更加准确的设备故障信息。

附图说明

图1为本发明的数据转换方法中的正向转换过程流程图；

图2为本发明的数据转换方法中的逆向转换过程流程图；

图3为本发明中转换规则的设定过程实施例示意图；

图4为本发明中的正向转换实施例流程图；

图5为本发明中的逆向转换实施例流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

本发明的数据转换方法，用于运维系统的采集数据和告警数据之间的转换，所述方法包括将采集数据转换成告警数据的正向转换和将告警数据转换成采集数据的逆向转换。

如图1所示，其中正向转换过程包括以下步骤：

步骤a1、根据采集数据类型和告警数据类型之间的映射关系，确定所述采集数据所对应的告警数据类型；

步骤a2、如果所述采集数据的采集数据类型允许转换成其所对应的告警数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述采集数据转换为其所对应的告警数据类型的告警数据。

对于运维系统来说，采集数据的数据种类较多，进而采集数据的格式可能会有多种多样。本发明的方法中，需要将所有采集数据的格式进行统一，以便于正向转换。因此，如图1所示，在步骤a1的确定所述采集数据所对应的告警数据类型之前，正向转换流程中还包括：

步骤a0、将采集数据的格式转换成规定的采集数据格式。

为了提高运维系统的交互处理延迟，并为后续步骤的处理提供多线程并发处理条件，如图1所示，在步骤a0的将所述采集数据的格式转换成规定的采集数据格式之后，步骤a1的确定所述采集数据所对应的告警数据类型之前，所述正向转换还包括：

步骤a3、将转换成规定的采集数据格式之后的采集数据存入采集队列；

步骤a4、从所述采集队列中提取采集数据。

从本步骤a4开始，便可以采取多线程处理方式对采集数据进行后续的正向转换工作。

由于经过正向转换的步骤a2之后产生的告警数据并不一定完全需要给运维人员进行查看，所以需要对这些转换后的告警数据进行进一步的处理以生成最终需要给运维人员查看的告警信息。因此，如图1所示，在步骤a2之后还包括：

步骤a5、将经过所述正向转换获得的告警数据进行告警流程处理，以生成最终需要给运维人员查看的告警信息。

如图2所示，其中逆向转换过程包括以下步骤：

步骤b1、根据采集数据类型和告警数据类型之间的映射关系，确定所述告警数据所对应的采集数据类型；

步骤b2、如果所述告警数据的告警数据类型允许转换成其所对应的采集数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述告警数据转换为其所对应的采集数据类型的采集数据。

对于运维系统来说，告警数据的数据种类较多，告警数据的格式也是多种多样。本发明的方法中，也需要将所有告警数据的格式进行统一，以便于逆向转换。因此，如图2所示，在步骤b1的确定所述告警数据所对应的采集数据类型之前，逆向转换流程中还包括：

步骤b0、将所述告警数据的格式转换成规定的告警数据格式。

如图2所示，在步骤b0的将所述告警数据的格式转换成规定的告警数据格式之后，步骤b1的确定所述告警数据所对应的采集数据类型之前，所述逆向转换还包括：

步骤b3、将转换成规定的告警数据格式之后的告警数据存入告警队列；

步骤b4、从所述告警队列中提取告警数据。

经过上述逆向转换后，会产生大量转换后的采集数据，这些转换后的采集数据可能会与运维系统本身的采集数据相重复，如果直接将这些转换后的采集数据进行保存，将会产生大量相同数据保存而浪费存储资源的问题。因此，如图2所示，在步骤b2之后还包括：

步骤b5、过滤经过所述逆向转换获得的采集数据。

本步骤b5中的过程为：将经过所述逆向转换获得的采集数据的关键状态字段与运维系统的最新的同类型的采集数据的关键状态字段进行对比，若二者相同，则过滤掉经过所述逆向转换获得的采集数据。

本发明的数据转换方法中，所述采集数据类型和告警数据类型之间的映射关系是1对N(N≥1)的，即1个采集数据类型对应N个告警数据类型，1个告警数据类型仅对应1个采集数据类型。进而，在所述正向转换中，根据所述采集数据类型和告警数据类型之间的映射关系，可以使得1条采集数据转换为至少1条告警数据；在所述逆向转换中，根据所述采集数据类型和告警数据类型之间的映射关系，使得1条告警数据仅能转换为1条采集数据。

本发明的数据转换方法中，在进行正向转换和/或逆向转换之前，需要对相关转换规则进行事先设定，转换规则的设定包括：设定采集数据格式；设定采集数据类型；设定采集数据的关键状态字段；设定告警数据格式；设定告警数据类型；设定告警数据的关键状态字段；设定采集数据类型和告警数据类型之间的映射关系；设定采集数据字段和告警数据字段之间的映射关系；设定采集数据类型是否允许逆向转换；设定告警数据类型是否允许正向转换。

这样，在设定完上述转换规则后，便可以依据所设定的转换规则进行相应的正向转换和逆向转换。

以下结合一具体实施例，对本发明的数据转换方法进行进一步说明。

该实施例是通过接收视频网管采集服务模块发送特定类型的数据，根据转换规则对特定类型数据进行分析、转换、过滤的一种数据转换方法。特定类型数据分别为采集数据和告警数据两大类，其中采集数据类型主要有17种，告警数据类型主要有41种，本实施例的本质是采用面向对象思想实现采集数据正向转换成告警数据和告警数据逆向转换成采集数据的转换过程。采集数据与告警数据互相转换是一个简单可配置过程，运维人员可根据对转换规则的动态配置，以获得所需要进行转换的告警数据和采集数据。本实施例属于视频云存储运维平台中的数据转换过程，可在视频云存储运维平台中增加一数据转换模块实现本实施例的过程。数据转换模块可包括转换规则定义单元，采集数据正向转换成告警数据单元，告警数据逆向转换成采集数据单元等。其中，采集数据正向转换成告警数据单元用以完成上述正向转换步骤过程，告警数据逆向转换成采集数据单元用以完成上述逆向转换步骤过程，转换规则定义单元用以设定(定义)和/或更改进行正向转换和/或逆向转换的转换规则。为配合数据转换模块的工作，还需要采用一通讯模块以建立数据转换模块和视频云存储运维平台之间的连接，以实现数据转换模块和视频云存储运维平台之间的数据通讯。

视频云存储运维平台中采用一数据库存储转换规则。配合整个视频云存储运维平台的运行过程：首先，视频云存储运维平台进行初始化；初始化完成后，从的数据库中读取转换规则，并将转换规则加载到视频云存储运维平台的全局规则对象当中，这样可使得本发明的数据转换过程融合到整个视频云存储运维平台的工作中。

待转换规则加载完毕后，在进行正向转换和/或逆向转换之前，需要对转换规则进行设定，该设定过程在转换规则定义单元中进行。如图3所示，转换规则的设定包括以下步骤。

步骤c1、设定采集数据类型，设定采集数据格式，设定采集数据优先级别。

其中，设定采集数据类型是指，确定都有哪些采集数据类型，对于尚未确定采集数据类型的视频云存储运维平台来说，设定采集数据类型过程中需要逐一定义各类采集数据类型(例如定义视频云存储运维平台中的所有17种采集数据类型)。对于已经确定采集数据类型的视频云存储运维平台来说，如果采集数据类型发生了变化，则设定采集数据类型过程中需要重新定义新的采集数据类型或者修改已有的采集数据类型，如果采集数据类型未发生变化则可直接将已有的采集数据类型进行确认即可。

设定采集数据格式，是为了将所有原始的采集数据统一成一致的格式，以利于数据的转换。

采集数据格式包括采集数据类型字段、采集字段、对应的告警类型、采集数据类型是否允许逆向转换、采集数据的优先级、采集数据关键状态字段。

采集数据的优先级的主要作用是提供运维人员对运维数据查看的优先顺序，因为采集数据的数据量庞大，通过采集数据优先级的设定可以使得运维人员较快的从众多采集数据中找到所需要和关注的采集数据。

步骤c2、设定采集数据的关键状态字段。

关键状态字段是在逆向转换之后所生成的采集数据与系统本身采集数据之间进行对比以发现区别，进而判断是否将采集数据发送到前端展示系统之用，后续说明中进行进一步说明。

步骤c3、设定采集数据类型是否允许逆向转换，以用于在逆向转换时确定告警数据是否允许转换成其所对应的采集数据类型。

运维人员并不一定需要全部类型的经过逆向转换所获得的采集数据，并且过多无用的逆向转换将导致系统开销的增大，因此，对逆向转换中所允许转换成的采集数据类型进行设定可减少系统开销。运维人员可以根据该设置来选择需要通过逆向转换所获得的采集数据类型。默认采取全部转换模式。

步骤c4、设定告警数据类型，设定告警数据格式，设定告警类型优先级别。

其中，设定告警数据类型是指，确定都有哪些告警数据类型，对于尚未确定告警数据类型的视频云存储运维平台来说，设定告警数据类型过程中需要逐一定义各类告警数据类型(例如定义视频云存储运维平台中的所有41种告警数据类型)。对于已经确定告警数据类型的视频云存储运维平台来说，如果告警数据类型发生了变化，则设定告警数据类型过程中需要重新定义新的告警数据类型或者修改已有的告警数据类型，如果告警数据类型未发生变化则可直接将已有的告警数据类型进行确认即可。

设定告警数据格式，是为了将所有原始的告警数据统一成一致的格式，以利于数据的转换。

告警数据格式包括告警数据类型字段、告警字段、对应的采集类型、告警数据类型是否允许正向转换、告警数据的优先级、告警数据的关键状态字段。

告警数据的优先级的主要作用是用于告警数据在前端展示或通知的先后顺序排序，可根据告警数据的优先级设定而改变告警数据在展示中的先后顺序。进而，运维人员可将认为重要的告警数据的优先级设定为较高的优先级，将认为不重要的告警数据的优先级设定为较低的优先级。

步骤c5、设定告警数据的关键状态字段。

告警数据的关键状态字段是在正向转换之后所生成的告警数据在进入告警处理单元进行处理时，用于判断告警数据属于异常告警还是正常告警，详见后续说明。

步骤c6、设定告警数据类型是否允许正向转换，以用于在正向转换时确定采集数据是否允许转换成其所对应的告警数据类型。

运维人员并不一定需要全部类型的经过正向转换所获得的告警数据，并且过多无用的正向转换将导致系统开销的增大，因此，对正向转换中所允许转换成的告警数据类型进行设定可减少系统开销。运维人员可以根据该设置来选择需要通过正向转换所获得的告警数据类型。默认采取全部转换模式。

步骤c7、设定采集数据类型和告警数据类型之间的映射关系，设定采集数据字段和告警数据字段之间的映射关系。

即每个采集数据类型都对应哪个或者哪些告警数据类型，以及每个告警数据类型都对应哪个采集数据类型。本实施例中，采集数据类型和告警数据类型之间的映射关系是1对N(N≥1)的映射关系，即1个采集数据类型对应N个告警数据类型，1个告警数据类型仅对应1个采集数据类型。

采集数据字段和告警数据字段之间的映射关系用于最终将采集数据内容转换成告警数据的内容。设定采集数据字段和告警数据字段之间的映射关系，是将采集数据中的采集字段与告警数据中的告警字段进行对应，进而实现将采集数据的采集字段内容更新到相应的告警数据的告警字段中。例如，采集字段包括字段A、字段B、字段C、字段D等，报警字段包括字段A’、字段B’、字段C’、字段D’等，将字段A映射到字段A’，字段B映射到字段D’等等。作为一个具体实施例，采集字段与告警字段彼此通过相同的字段名称而直接产生映射，即采集字段中的名称与告警字段中的名称相同的字段之间直接产生映射，例如，采集字段中的字段A与告警字段中的字段A’的名称相同，则字段A与字段A’直接产生映射，在随后的转换过程中，若为正向转换，则直接将字段A的内容写入字段A’，若为逆向转换，则直接将字段A’的内容写入字段A。

完成上述转换规则的设定后，将新设定的转换规则同步到数据库中。

正向转换的实施例流程请参照图4所示，包括以下步骤。

步骤d1、接收采集数据，之后进入步骤d2。

作为具体实施例，本步骤中，视频云存储运维平台周期性从视频网管采集服务中接收采集数据。视频网管采集服务与视频云存储运维平台之间的通讯采用HTTP(HyperTextTransfer Protocol，超文本传输协议)通讯方式，报文中数据格式采取计划、资源、数据值的三层XML(可扩展标记语言)结构。

步骤d2、将采集数据的格式转换成规定的采集数据格式，之后进入步骤d3。

本步骤d2中，从视频网管采集服务中接收的三层结构的采集数据转换成通讯模块中定义的数据格式(作为一个具体实施例，该数据格式通过java面向对象方式保存)，然后转换成转换规则中所定义的采集数据格式。

作为一个具体实施例，采集数据格式中：

采集数据类型字段内容例如：hikServerStat(服务器硬件性能)；

采集字段内容例如包括以下字段：

字段hikCPUNum(CPU核数)、字段hikCPUFrequency(CPU主频)、字段hikCPUUsage(CPU使用率)、字段hikMemTotal(内存总容量)、字段hikMemUsed(内存已用容量)、字段hikMemUsage(内存使用率)、字段hikSwapTotal(交换区容量)、字段hikSwapUsed(已用交换分区大小)、字段hikDeviceStatus(运行状态)、字段hikServerCurTime(服务器当前时间)、字段hikDiskNum(磁盘个数)、字段resId(资源id，对应告警类型中的网元编码，设备名称，服务器ip)；

对应的告警类型内容例如：hikCPUTrap(CPU使用率告警)、hikMemTrap(内存使用率告警)；

该采集数据类型是否允许逆向转换例如：默认允许逆向转换，也就是允许hikCPUTrap、hikMemTrap逆向转换成hikServerStat；

采集数据关键状态字段例如：字段hikCPUUsage、字段hikMemUsage。

步骤d3、将转换成规定的采集数据格式之后的采集数据存入采集队列，之后进入步骤d4。

本步骤中，采集数据进入采集队列，并将采集数据插入到数据库中。使用采集队列目的是为了提高视频网管采集服务与通讯模块的交互处理延迟，并为后续步骤的处理提供多线程并发处理条件。

步骤d4、从采集队列中提取采集数据，根据所提取采集数据的采集数据类型，并根据转换规则中的采集数据类型和告警数据类型之间的映射关系，进而获得与所提取的采集数据对应的告警数据类型，之后进入步骤d5。从本步骤开始采取多线程处理，进而提高并发处理速度，降低后续数据库操作的延迟。

转换规则中的采集数据类型和告警数据类型之间的映射关系是1对N(N≥1)的映射关系，因此一个采集数据的采集数据类型同时对应N个告警数据类型。这样，在随后的步骤中，将会使得一条采集数据转换成多条告警数据。在随后的步骤d5到步骤d7的循环判断过程，便是一条采集数据转换成多条告警数据的过程，每一个循环对应一个告警数据类型的告警数据的产生。

作为一个具体实施例，如前所述，采集数据类型字段内容例如：hikServerStat(服务器硬件性能)；其所对应的告警类型内容例如：hikCPUTrap(CPU使用率告警)、hikMemTrap(内存使用率告警)。若采集数据类型字段为hikServerStat，则本步骤d4中获得的其所对应的告警类型为hikCPUTrap、hikMemTrap。

步骤d5、判断所获得的其中一条告警数据类型是否是允许正向转换成的告警数据类型，如果是则进入步骤d6，否则结束该条告警数据类型的正向转换流程。

本步骤d5是一个判断步骤，步骤d4中所获得的多条告警数据类型中的一条如果是允许正向转换成的告警数据类型，换句话说，如果所述采集数据的采集数据类型允许转换成其所对应的该条告警数据类型，则进入步骤d6。将所述采集数据确定为其所对应的告警数据类型的告警数据。

以由采集数据hikServerStat转换成告警数据hikCPUTrap为例，本步骤d5中，判断hikCPUTrap告警数据是否允许正向转换，如果允许正向转换，则进入随后的流程(步骤d6)，否则结束hikCPUTrap的正向转换流程。

步骤d6、将所述采集数据转换成该条告警数据类型的告警数据，之后进入步骤d7。

本步骤d6中，是根据转换规则中的采集数据字段和告警数据字段之间的映射关系，进行所述采集数据向告警数据转换的。

仍以由采集数据hikServerStat转换成告警数据hikCPUTrap为例。若步骤d5中，hikCPUTrap告警数据允许正向转换，则本步骤d6中：

将采集字段内容中的字段resid转换成对应告警类型中的字段hikServerIndexCode(网元编码)、字段hikServerLabel(设备名称)和字段hikServerIp(服务器ip)；

将采集字段和告警字段中相同字段名字的值进行直接映射，例如，将采集字段内容中的字段hikCPUUsage映射到告警字段内容中的字段hikCPUUsage(即将采集字段内容中的字段hikCPUUsage的值复制到告警字段内容中的字段hikCPUUsage中)，将采集字段内容中的字段hikServerCurTime映射到告警字段内容中的字段hikServerCurTime(即将采集字段内容中的字段hikServerCurTime的值复制到告警字段内容中的字段hikServerCurTime中)。

步骤d7、将告警数据送入告警处理单元，之后返回步骤d5，直到针对所有的告警类型的转换全部完毕后结束。

需要说明的是，经过步骤d6所生成的告警数据，并不是最终提供给运维人员查看的告警信息，而必须经过告警处理单元的进一步处理。例如，经过步骤d6获得的转换后的hikCPUTrap告警数据不一定都是运维人员都需要看到的告警，需要进入告警处理单元进行处理，告警处理单元通过告警数据的关键状态字段来判断是异常告警还是正常告警，异常告警直接推送到前端展示，正常告警用来自动恢复以前产生的同类型异常告警。告警处理单元中包括告警队列处理，批次处理、告警过滤处理、有效通知间隔时间处理、自动恢复处理等环节，此为现有技术，不再赘述。

采集数据类型与告警数据类型是1对N的，在告警单元处理结束后，对采集数据需要进行步骤d5至步骤d7的循环判断，直至对应告警类型全部判断完毕，例如hikServerStat所对应的告警类型内容为hikCPUTrap和hikMemTrap，则对hikCPUTrap告警类型处理完毕后，需要再次进行步骤d5至步骤d7以进行hikMemTrap告警类型的处理。

至此，便完成了一次正向转换。

逆向转换的实施例流程请参照图5所示，包括以下步骤。

步骤e1、接收告警数据，之后进入步骤e2。

本步骤e1中，从视频网管采集服务中接收告警数据，其方式是底层设备一旦发生告警，视频网管采集服务主动向视频云存储运维平台推送告警信息。

步骤e2、将告警数据的格式转换成规定的告警数据格式，之后进入步骤d3。

作为一个具体实施例，告警数据格式中：

告警数据类型字段内容例如：hikCPUTrap(cpu使用率告警)；

告警字段内容例如包括以下字段：

字段hikServerIndexCode(网元编码)、字段hikServerLabel(设备名称)、字段hikServerIp(服务器ip)、字段hikCPUUsage(CPU使用率)、字段hikServerCurTime(服务器当前时间)；

对应的采集类型内容例如：hikServerStat；

该告警数据类型是否允许正向转换例如：默认允许正向转换，也就是允许hikServerStat正向转换成hikCPUTrap；

告警数据关键状态字段例如：字段hikCPUUsage。

步骤e3、将转换成规定的告警数据格式之后的告警数据存入告警队列，之后分别进入步骤e4和步骤e5。

本步骤e3中，根据当前不同告警类型和告警数据量分成若干告警队列，每个告警队列都包含各自独立的处理线程。

步骤e4、从告警队列中提取告警数据进入告警处理单元，处理完毕后插入数据库。

告警处理单元对告警数据的处理为已有技术，此处不再赘述。

步骤e5、从告警队列中提取告警数据，根据所提取告警数据的告警数据类型，并根据转换规则中的采集数据类型和告警数据类型之间的映射关系，进而获得与所提取的告警数据对应的采集数据类型，之后进入步骤e6。

作为一个具体实施例，如前所述，告警数据类型字段内容例如：hikCPUTrap(cpu使用率告警)；其所对应的采集类型内容例如：hikServerStat。若告警数据类型字段为hikCPUTrap，则本步骤e5中获得的其所对应的采集类型为hikServerStat。

步骤e6、判断所获得的采集数据类型是否是允许逆向转换成的采集数据类型，如果是则进入步骤e7，否则结束该条告警数据的逆向转换流程。

以由告警数据hikCPUTrap转换成采集数据hikServerStat为例，本步骤e6中，判断hikServerStat采集数据是否允许逆向转换，如果允许逆向转换，则进入随后的流程(步骤e7)，否则结束hikServerStat的逆向转换流程。

步骤e7、将所述告警数据转换成该条采集数据类型的采集数据，之后进入步骤d7。

本步骤e7根据转换规则中的采集数据字段和告警数据字段之间的映射关系，进行告警数据向采集数据的转换。

仍以由告警数据hikCPUTrap转换成采集数据hikServerStat为例。若步骤e6中，hikServerStat采集数据允许逆向转换，则本步骤e7中：

将告警字段和采集字段中相同字段名字的值进行直接映射，例如，将告警字段内容中的字段hikCPUUsage映射到采集字段内容中的字段hikCPUUsage(即将告警字段内容中的字段hikCPUUsage的值复制到采集字段内容中的字段hikCPUUsage中)，将告警字段内容中的字段hikServerCurTime映射到采集字段内容中的字段hikServerCurTime(即将告警字段内容中的字段hikServerCurTime的值复制到采集字段内容中的字段hikServerCurTime中)。

这时，转换后的采集数据只包含hikCPUUsage、hikServerCurTim两个字段值。

步骤e8、过滤经过所述逆向转换获得的采集数据，之后结束流程。

本步骤e8中，是将转换后的采集数据与数据库中同类型且最新的采集数据进行对比，对比字段为转换规则中定义的关键状态字段，关键字段可以包含多个；如果字段值完全相同，过滤该条采集数据，如果不同，则推送到展现模块，并插入到数据库中。

作为一个具体实施例，经过步骤e7后获得的转换后的采集数据hikServerStat只包含hikCPUUsage、hikServerCurTim两个字段值。本步骤e8中，根据告警数据中的hikServerIndexCode(网元编码)查找最新的采集数据hikServerStat，根据告警数据和采集数据中含有的相同关键状态字段hikCPUUsage，对比最新的采集数据和转换后的采集数据，如果二者的hikCPUUsage值不同，则使用最新的采集数据的字段值对转换后的采集数据字段值(除字段hikCPUUsage和字段hikServerCurTim以外的字段值)进行赋值，然后同步到数据库，并且刷新前端监控页面。

至此，便完成了一次逆向转换。

采用本发明提供的上述数据转换方法，进而实现了运维系统中的采集数据和告警数据之间的转换，一方面，从运维角度来说，由正向转换获得的告警数据为运维人员提供了更加全面的告警信息，降低运维人员对运维数据分析复杂度，在视频云存储运维平台中，解决了云存储系统中设备增多而随之带来告警数据丢失问题，也为告警数据自动恢复提供必要前提条件，降低了视频云存储运维平台故障处理流程操作复杂度。另一方面，由告警数据逆向转换成采集数据，实时推送到前端展示系统，增强了设备异常状态下的实时显示，为运维人员提供了更加准确的设备故障信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种数据转换方法，用于运维系统的采集数据和告警数据之间的转换，所述采集数据包括已经建立的软硬件系统运行过程中的硬件信息、软件信息和网络信息，所述告警数据包括已经建立的软硬件系统运行过程中，在硬件、软件或者网络状态处于不正常的情况下，产生的告警信息，所述方法包括将采集数据转换成告警数据的正向转换和将告警数据转换成采集数据的逆向转换，其中：

所述正向转换包括：

根据采集数据类型和告警数据类型之间的映射关系，将采集数据的格式转换成规定的采集数据格式，将转换成规定的采集数据格式之后的采集数据存入采集队列；

采用多线程处理方式执行以下过程：

从所述采集队列中提取采集数据；

确定采集数据所对应的告警数据类型；

如果所述采集数据的采集数据类型允许转换成其所对应的告警数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述采集数据转换为其所对应的告警数据类型的告警数据，将所述告警数据送入告警处理单元，所述告警处理单元判断所述告警数据是异常告警还是正常告警，在所述告警数据为异常告警时，将所述异常告警推送至前端展示，在所述告警数据为正常告警时，存储所述正常告警，用于自动恢复以前产生的同类型的异常告警；

所述逆向转换包括：

根据采集数据类型和告警数据类型之间的映射关系，确定告警数据所对应的采集数据类型；

如果所述告警数据的告警数据类型允许转换成其所对应的采集数据类型，则根据采集数据字段和告警数据字段之间的映射关系，将所述告警数据转换为其所对应的采集数据类型的采集数据，过滤转换后的采集数据，将过滤后的采集数据推送到展现模块，以将所述告警数据作为监控信息在所述展现模块中进行运行监控。

2.根据权利要求1所述的数据转换方法，其特征在于，在所述正向转换之后，还包括：

将经过所述正向转换获得的告警数据进行告警流程处理。

3.根据权利要求1所述的数据转换方法，其特征在于，所述逆向转换中，在确定告警数据所对应的采集数据类型之前，还包括：

将所述告警数据的格式转换成规定的告警数据格式。

4.根据权利要求3所述的数据转换方法，其特征在于，所述逆向转换中，将所述告警数据的格式转换成规定的告警数据格式之后，确定告警数据所对应的采集数据类型之前，还包括：

将转换成规定的告警数据格式之后的告警数据存入告警队列，并从所述告警队列中提取告警数据。

5.根据权利要求1所述的数据转换方法，其特征在于，在所述逆向转换之后，还包括：

将经过所述逆向转换获得的采集数据的关键状态字段与运维系统的最新采集数据的关键状态字段进行对比，若二者相同，则过滤掉经过所述逆向转换获得的采集数据。

6.根据权利要求1至5任一项所述的数据转换方法，其特征在于：

所述采集数据类型和告警数据类型之间的映射关系中，1个采集数据类型对应至少1个告警数据类型，1个告警数据类型仅对应1个采集数据类型；

在所述正向转换中，1条采集数据转换为至少1条告警数据；

在所述逆向转换中，1条告警数据仅转换为1条采集数据。

7.根据权利要求1至5任一项所述的数据转换方法，其特征在于，在进行正向转换和/或逆向转换之前，还包括：

设定采集数据格式；

设定采集数据类型；

设定采集数据的关键状态字段；

设定告警数据格式；

设定告警数据类型；

设定告警数据的关键状态字段；

设定采集数据类型和告警数据类型之间的映射关系；

设定采集数据字段和告警数据字段之间的映射关系；

设定采集数据类型是否允许逆向转换；

设定告警数据类型是否允许正向转换。

Images