CN107797875A - 一种大数据管理方法、终端以及设备 - Google Patents

Abstract

本发明实施例公开了一种大数据管理方法、终端以及设备，该方法包括：预先定义规范化处理模板；管理当前主机中大数据的应用配置信息；若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；若接收到告警通知，根据所述告警通知生成告警事件；根据预先定义的规范化处理模板对所述告警事件进行自动化处理。本发明可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。

Description

一种大数据管理方法、终端以及设备

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据管理方法、终端以及设备。

背景技术

大数据(Big data，mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

目前，在使用大数据进行数据分析的过程中，经常存在重复出现的分析异常现象，并且对于大数据分析异常的管理只有相关的管理人员有权对相关的应用配置库进行查询并处理相对应的异常，另外，现有的大数据分析异常的处理方式中一般只能依赖人工操作以恢复大数据分析过程的正常进行，但是依赖人工进行恢复的方式容易出现操作失误，且依赖人工进行操作的方式效率不高，影响了异常恢复的时效，导致利用大数据分析的过程时间增加。

发明内容

本发明实施例提供一种大数据管理方法、终端以及设备，可以自动处理大数据分析过程中出现的异常现象，并缩短异常恢复的时间，提高异常恢复工作的效率。

一方面，本发明实施例提供了一种大数据管理方法，该方法包括：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，将所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

进一步地，所述预先定义规范化处理模板，具体包括：

封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

将所述工作流进行固化并形成规范化处理模板；

将所述规范化处理模板写入当前主机的应用配置库中。

进一步地，所述管理当前主机中大数据的应用配置信息，具体包括：

获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改所述配置项和配置文件；

将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

进一步地，所述若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控之后，还包括：

获取所述当前主机中被监控的数据并提交至监控中心；

用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。

进一步地，所述方法还包括：

提供自助查询界面以供用户自助查询相关的信息。

另一方面，本发明实施例提供了一种大数据管理终端，该终端包括：

定义单元，用于预先定义规范化处理模板；

管理单元，用于管理当前主机中大数据的应用配置信息；

自动监控单元，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

事件生成单元，用于若接收到告警通知，将所述告警通知生成告警事件；

第一自动处理单元，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

进一步地，所述定义单元，具体包括：

封装单元，用于封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

模板形成单元，用于将所述工作流进行固化并形成规范化处理模板；

写入单元，用于将所述规范化处理模板写入当前主机的应用配置库中。

进一步地，所述管理单元，具体包括：

第一获取单元，用于获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改单元，用于修改所述配置项和配置文件；

分发单元，用于将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

进一步地，所述终端还包括：

第二获取单元，用于获取所述当前主机中被监控的数据并提交至监控中心；

第二自动处理单元，用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。

进一步地，所述终端还包括：

提供单元，用于提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

另一方面，本发明实施例还提出一种大数据管理设备，所述设备包括：存储器以及处理器；

存储器，用于存储实现告警事件自动化处理的程序；

处理器，用于运行所述存储器中存储的程序，以执行以下操作：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，根据所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

综上所述，本发明具有以下有益效果：本发明实施例通过预先定义规范化处理模板，管理当前主机中大数据的应用配置信息，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控，若接收到告警通知，根据所述告警通知生成告警事件，根据预先定义的规范化处理模板对所述告警事件进行自动化处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种大数据管理方法的示意流程图。

图2是本发明实施例提供的一种大数据管理方法的另一示意流程图。

图3是本发明实施例提供的一种大数据管理方法的另一示意流程图。

图4是本发明实施例另一实施例提供的一种大数据管理方法的示意流程图。

图5是本发明实施例提供的一种大数据管理终端的示意性框图。

图6是本发明实施例提供的一种大数据管理终端的另一示意性框图。

图7是本发明实施例提供的一种大数据管理终端的另一示意性框图。

图8是本发明实施例提供的一种大数据管理终端的另一示意性框图。

图9是本发明实施例提供的一种大数据管理设备的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

请参阅图1，图1是本发明实施例提供的一种大数据管理方法的示意流程图。该方法主要是对大数据分析过程中的出现的异常现象进行处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析出现的异常的恢复时间，并提高异常恢复工作的效率。如图1所示，该方法的步骤包括S101～S105。

S101，预先定义规范化处理模板。

在本发明实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x'，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。

进一步地，如图2所示，步骤S101包括步骤S201～S203。

S201，封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流。

在本发明实施例中，将用户定义的每个规范化处理对象都看作为一个原子，通过预设的封装工具将每个规范化处理对象进行封装并形成相对应的每一个原子，也就是将规范化处理所涉及的操作数据和与操作数据相关的源代码进行有机的结合并成为一个整体，其中，不同的规范化处理对象对应不同的原子，每一种规范化处理对象对应一个原子，并采用拖拽形式将所述原子组装成工作流，其中，用户可以通过终端所提供的拖拽界面对所述原子进行拖拽，每一个原子都可以通过鼠标拖、拉、拽的方式来完成原子的组装，另外，用户还可以根据具体的情况调整原子的组装。

S202，将所述工作流进行固化并形成规范化处理模板。

在本发明实施例中，当将每个规范化处理对象封装成每一个原子并将所有原子组装成工作流之后，对所组装的工作流进行固定，被固定的工作流不再接受拖拽或者修改，被固定的工作流中确定了工作流中每个原子之间的关系以及处理逻辑，将被固定的所述工作流作为所述规范化处理模板。

S203，将所述规范化处理模板写入当前主机的应用配置库中。

在本发明实施例中，所述当前主机的应用配置库可以包括ACCEESS、MSSQL以及MYSQL等，将所述规范化处理模板写入至当前主机的应用配置库中，不同的规范化处理模板在所述应用配置库中的位置不相同，所述规范化处理模板在所述应用配置库中的具体位置由用户自行定义。例如，规范化处理模板在应用配置库中对应的文件名为glkf_Data，glkf_Data在应用配置库中的位置为D:\xiaox_db\glkf_Data.MDF。

S102，管理当前主机中大数据的应用配置信息。

在本发明实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。

进一步地，如图3所示，步骤S102包括步骤S301～S303。

S301，获取当前主机的应用配置库中关于大数据的配置项和配置文件。

在本发明实施例中，用户通过JDBC连接MYSQL应用配置库获取所述应用配置库中关于大数据的配置项和配置文件，其中，通过JDBC连接MYSQL应用配置库的代码执行逻辑如下：

class.forName("com.mysql.jdbc.Driver").newInstance()；

Connection conn＝DriverManager.getConnection("jdbc:mysql://localhost/test？user＝root&password＝123456")

通过JDBC获取MYSQL应用配置库中的配置项和配置文件的代码执行逻辑如下：

m_DBMetaData＝m_Connection.getMetaData()；

ResultSet tableRet＝m_DBMetaData.getTables(null,"％",m_TableName,newString[]{"TABLE"})

其中，"％"就是表示*的意思，也就是任意所有的意思；m_TableName就是要获取的配置项的名字，如果想获取所有的配置项，就可以使用"％"作为参数了。

S302，修改所述配置项和配置文件。

在本发明实施例中，用户通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中的配置项和配置文件后，可以使用MYSQL数据库程序代码对所获取的配置项和配置文件进行修改。

需要说明的是，由于所述配置项和配置文件的修改由用户根据大数据分析的需要进行制定，在修改所述配置项和配置文件时，用户可以根据需要选择一项或者多项配置项进行修改，也可以根据需要选择一个或者多个配置文件进行修改。

S303，将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

在本发明实施例中，由于当前主机连接着进行大数据分析的其它主机，需要将对大数据的配置项和配置文件的修改结构果分发至与所述当前主机相连接的其它主机，以保证大数据分析的顺畅，并避免大数据分析的故障。

S103，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。

在本发明实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。

S104，若接收到告警通知，根据所述告警通知生成告警事件。

在本发明实施例中，在当前主机进行大数据分析时，若预设的监控中心监控到发生变更的数据出现异常，针对相对应的异常发出告警通知，其中，针对不同的异常形成一个告警通知，并将该告警通知发送至当前主机，当前主机若接收到预设监控中心发送的告警通知，将所述告警通知生成相对应的告警事件，由于预先定义的规范化处理模板只针对告警事件进行自动化处理，因此需要将告警通知转化为符合规范化处理模板的告警事件，其中，将所述告警通知生成相对应的告警事件，比如，将告警通知形成以邮件、短号消息或者XML文件的方式。

S105，根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

在本发明实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。

需要说明的是，本发明实施例还提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

由以上可见，本发明实施例通过预先定义规范化处理模板，管理当前主机中大数据的应用配置信息，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控，若接收到告警通知，根据所述告警通知生成告警事件，根据预先定义的规范化处理模板对所述告警事件进行自动化处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。

请参阅图4，图4是本发明实施例二提供的一种大数据管理方法的示意流程图。该方法主要是对大数据分析过程中的出现的异常现象进行处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析出现的异常的恢复时间，并提高异常恢复工作的效率。如图4所示，该方法的步骤包括S401～S406。

S401，预先定义规范化处理模板。

在本发明实施例中，在本发明实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x'，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。

S402，管理当前主机中大数据的应用配置信息。

在本发明实施例中，在本发明实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。

S403，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。

在本发明实施例中，在本发明实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。

S404，获取所述当前主机中被监控的数据并提交至监控中心。

在本发明实施例中，当前主机通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中被监控的数据，并将被监控的数据提交至监控中心。

S405，若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。

在本发明实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。

S406，提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

在本发明实施例中，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

由以上可见，本发明实施例通过获取所述当前主机中被监控的数据并提交至监控中心；若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理，可以准确地确定大数据分析过程中出现的异常，并且自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率，通过提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

请参阅图5，对应上述一种大数据管理方法，本发明实施例还提出一种大数据管理装置，该装置500包括：定义单元501、管理单元502、自动监控单元503、事件生成单元504、自动处理单元505。

其中，所述定义单元501，用于预先定义规范化处理模板。在本发明实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x'，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。

管理单元502，用于管理当前主机中大数据的应用配置信息。在本发明实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。

自动监控单元503，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。在本发明实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。

事件生成单元504，用于若接收到告警通知，将所述告警通知生成告警事件。在本发明实施例中，在当前主机进行大数据分析时，若预设的监控中心监控到发生变更的数据出现异常，针对相对应的异常发出告警通知，其中，针对不同的异常形成一个告警通知，并将该告警通知发送至当前主机，当前主机若接收到预设监控中心发送的告警通知，将所述告警通知生成相对应的告警事件，由于预先定义的规范化处理模板只针对告警事件进行自动化处理，因此需要将告警通知转化为符合规范化处理模板的告警事件，其中，将所述告警通知生成相对应的告警事件，比如，将告警通知形成以邮件、短号消息或者XML文件的方式。

第一自动处理单元505，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。在本发明实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。

需要说明的是，本发明实施例还提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

如图6所示，所述定义单元501，包括：

封装单元5011，用于封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流。在本发明实施例中，将用户定义的每个规范化处理对象都看作为一个原子，通过预设的封装工具将每个规范化处理对象进行封装并形成相对应的每一个原子，也就是将规范化处理所涉及的操作数据和与操作数据相关的源代码进行有机的结合并成为一个整体，其中，不同的规范化处理对象对应不同的原子，每一种规范化处理对象对应一个原子，并采用拖拽形式将所述原子组装成工作流，其中，用户可以通过终端所提供的拖拽界面对所述原子进行拖拽，每一个原子都可以通过鼠标拖、拉、拽的方式来完成原子的组装，另外，用户还可以根据具体的情况调整原子的组装。

模板形成单元5012，用于将所述工作流进行固化并形成规范化处理模板。在本发明实施例中，当将每个规范化处理对象封装成每一个原子并将所有原子组装成工作流之后，对所组装的工作流进行固定，被固定的工作流不再接受拖拽或者修改，被固定的工作流中确定了工作流中每个原子之间的关系以及处理逻辑，将被固定的所述工作流作为所述规范化处理模板。

写入单元5013，用于将所述规范化处理模板写入当前主机的应用配置库中。在本发明实施例中，所述当前主机的应用配置库可以包括ACCEESS、MSSQL以及MYSQL等，将所述规范化处理模板写入至当前主机的应用配置库中，不同的规范化处理模板在所述应用配置库中的位置不相同，所述规范化处理模板在所述应用配置库中的具体位置由用户自行定义。例如，规范化处理模板在应用配置库中对应的文件名为glkf_Data，glkf_Data在应用配置库中的位置为D:\xiaox_db\glkf_Data.MDF。

如图7所示，所述管理单元502，包括：

第一获取单元5021，用于获取当前主机的应用配置库中关于大数据的配置项和配置文件。在本发明实施例中，用户通过JDBC连接MYSQL应用配置库获取所述应用配置库中关于大数据的配置项和配置文件，其中，通过JDBC连接MYSQL应用配置库的代码执行逻辑如下：

class.forName("com.mysql.jdbc.Driver").newInstance()；

Connection conn＝DriverManager.getConnection("jdbc:mysql://localhost/test？user＝root&password＝123456")

通过JDBC获取MYSQL应用配置库中的配置项和配置文件的代码执行逻辑如下：

m_DBMetaData＝m_Connection.getMetaData()；

ResultSet tableRet＝m_DBMetaData.getTables(null,"％",m_TableName,newString[]{"TABLE"})

其中，"％"就是表示*的意思，也就是任意所有的意思；m_TableName就是要获取的配置项的名字，如果想获取所有的配置项，就可以使用"％"作为参数了。

修改单元5022，用于修改所述配置项和配置文件。在本发明实施例中，用户通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中的配置项和配置文件后，可以使用MYSQL数据库程序代码对所获取的配置项和配置文件进行修改。

需要说明的是，由于所述配置项和配置文件的修改由用户根据大数据分析的需要进行制定，在修改所述配置项和配置文件时，用户可以根据需要选择一项或者多项配置项进行修改，也可以根据需要选择一个或者多个配置文件进行修改。

分发单元5023，用于将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。在本发明实施例中，由于当前主机连接着进行大数据分析的其它主机，需要将对大数据的配置项和配置文件的修改结构果分发至与所述当前主机相连接的其它主机，以保证大数据分析的顺畅，并避免大数据分析的故障。

由以上可见，通过预先定义规范化处理模板，管理当前主机中大数据的应用配置信息，若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控，若接收到告警通知，根据所述告警通知生成告警事件，根据预先定义的规范化处理模板对所述告警事件进行自动化处理，可以自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率。

请参阅图8，对应上述一种大数据管理方法，本发明实施例还提出一种大数据管理装置，该装置600包括：定义单元601、管理单元602、自动监控单元603、第二获取单元604、启动单元605、提供单元606。

其中，所述定义单元501，用于预先定义规范化处理模板。在本发明实施例中，在本发明实施例中，所述规范化处理模板由用户自行定义，用户根据大数据分析的需要制定规范化处理模块，所述规范化处理模板可以包括数据同趋化处理模板和无量纲化处理模板，其中，所述数据同趋化处理模板是处理大数据分析过程中数据性质不同的问题，对性质不同的数据先考虑改变逆变指标数据性质，使所有指标对数据的作用力同趋化，再对相应的数据加总以达到处理数据异常的效果；所述无量纲化处理模板是处理大数据分析过程中数据的可比性问题，所述无量纲化处理模板包括有以下方法：最小-最大标准化方法等，其中所述最小-最大标准化方法指的是对数据分析过程中的问题数据进行线性变换，例如设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过最小-最大标准化方法映射成在区间[0，1]中的值x'，并通过以下公式得到新数据，公式为：新数据＝(问题数据-极小值)/(极大值-极小值)。

管理单元502，用于管理当前主机中大数据的应用配置信息。在本发明实施例中，在本发明实施例中，用户管理当前主机中大数据的应用配置信息指的是连接应用配置库并对配置库中的大数据进行修改、新增等操作，用户可以通过JDBC方式连接应用配置库，并获取应用配置库中的大数据的配置表，以及读取配置表中的字段或者字段属性等等。

自动监控单元503，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控。在本发明实施例中，在本发明实施例中，若当前主机中大数据的应用配置信息发生变更，根据当前主机中预设的反馈机制针对该变更形成反馈信息，并向预设的监控中心发送反馈信息，通过预设的监控中心对所述当前主机中大数据的应用配置信息进行监控，具体地，若当前主机对所变更的大数据进行大数据分析，预设的监控中心便会实时监控大数据中发生变更的数据。

第二获取单元604，用于获取所述当前主机中被监控的数据并提交至监控中心。在本发明实施例中，当前主机通过JDBC连接MYSQL应用配置库，并通过JDBC获取到MYSQL应用配置库中被监控的数据，并将被监控的数据提交至监控中心。

第二自动处理605，用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。在本发明实施例中，当前主机连接应用配置库获取应用配置库中的预先定义的规范化处理模板，并读取所述规范处理模板所对应的执行逻辑针对所述告警事件进行自动化处理。

提供单元606，用于提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。在本发明实施例中，通过当前主机所提供的自助查询界面，用户可以自助查询当前主机中与大数据的相关信息，比如，可以查询大数据分析异常的处理结果，以及分析异常处理的情况；通过当前主机所提供的自助查询界面，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

由以上可见，本发明实施例通过获取所述当前主机中被监控的数据并提交至监控中心；若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理，可以准确地确定大数据分析过程中出现的异常，并自动处理大数据分析过程中出现的异常现象，缩短大数据分析异常恢复的时间，并提高异常恢复工作的效率，通过提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息，可以满足用户自动查询关于大数据分析的需求，改善用户的使用体验。

图9为本发明一种大数据管理设备的结构组成示意图。如图9所示，该设备700可包括：输入装置701、输出装置702、收发装置703、存储器704以及处理器705，其中：

所述输入装置701，用于接收外部访问控制设备的输入数据。具体实现中，本发明实施例所述的输入装置701可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置、扫描仪等。

所述输出装置702，用于对外输出访问控制设备的输出数据。具体实现中，本发明实施例所述的输出装置702可包括显示器、扬声器、打印机等。

所述收发装置703，用于通过通信链路向其他设备发送数据或者从其他设备接收数据。具体实现中，本发明实施例的收发装置703可包括射频天线等收发器件。

所述存储器704，用于存储实现大数据管理的程序和数据。本发明实施例的存储器704可以是系统存储器，比如，挥发性的(诸如RAM)，非易失性的(诸如ROM，闪存等)，或者两者的结合。具体实现中，本发明实施例的存储器704还可以是系统之外的外部存储器，比如，磁盘、光盘、磁带等。

所述处理器705，用于运行所述存储器704中存储的实现大数据管理的程序和数据，并执行如下操作：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，根据所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

进一步地，所述预先定义规范化处理模板，具体包括：

封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

将所述工作流进行固化并形成规范化处理模板；

将所述规范化处理模板写入当前主机的应用配置库中。

进一步地，所述管理当前主机中大数据的应用配置信息，具体包括：

获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改所述配置项和配置文件；

将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

进一步地，所述处理器704还执行如下操作：

获取所述当前主机中被监控的数据并提交至监控中心；

若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。

进一步地，所述处理器704还执行如下操作：

提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

本领域技术人员可以理解，图9中示出的大数据管理设备的实施例并不构成对大数据管理设备具体构成的限定，在其他实施例中，大数据管理设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，大数据管理设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。

本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行，以实现以下步骤：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，根据所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

进一步地，所述预先定义规范化处理模板，具体包括：

封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

将所述工作流进行固化并形成规范化处理模板；

将所述规范化处理模板写入当前主机的应用配置库中。

进一步地，所述管理当前主机中大数据的应用配置信息，具体包括：

获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改所述配置项和配置文件；

将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

进一步地，所述步骤还包括：

获取所述当前主机中被监控的数据并提交至监控中心；

若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动处理。

进一步地，所述步骤还包括：

提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等各种可以存储程序代码的介质。

本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例终端中的单元可以根据实际需要进行合并、划分和删减。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种大数据管理方法，其特征在于，所述方法包括：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，根据所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

2.如权利要求1所述的方法，其特征在于，所述预先定义规范化处理模板，具体包括：

封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

将所述工作流进行固化并形成规范化处理模板；

将所述规范化处理模板写入当前主机的应用配置库中。

3.如权利要求1所述的方法，其特征在于，所述管理当前主机中大数据的应用配置信息，具体包括：

获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改所述配置项和配置文件；

将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

4.如权利要求1所述的方法，其特征在于，所述若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控之后，还包括：

获取所述当前主机中被监控的数据并提交至监控中心；

若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理。

5.如权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：

提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

6.一种大数据管理终端，其特征在于，所述终端包括：

定义单元，用于预先定义规范化处理模板；

管理单元，用于管理当前主机中大数据的应用配置信息；

自动监控单元，用于若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

事件生成单元，用于若接收到告警通知，将所述告警通知生成告警事件；

第一自动处理单元，用于根据预先定义的规范化处理模板对所述告警事件进行自动化处理。

7.如权利要求6所述的终端，其特征在于，所述定义单元，具体包括：

封装单元，用于封装用于规范化处理的原子，并采用拖拽形式将所述原子组装成工作流；

模板形成单元，用于将所述工作流进行固化并形成规范化处理模板；

写入单元，用于将所述规范化处理模板写入当前主机的应用配置库中。

8.如权利要求6所述的终端，其特征在于，所述管理单元，具体包括：

第一获取单元，用于获取当前主机的应用配置库中关于大数据的配置项和配置文件；

修改单元，用于修改所述配置项和配置文件；

分发单元，用于将所述配置项和配置文件的修改结果分发至与所述当前主机相对应的其它主机。

9.如权利要求6所述的终端，其特征在于，所述终端还包括：

第二获取单元，用于获取所述当前主机中被监控的数据并提交至监控中心；

第二自动处理单元，用于若所述监控中心发出告警通知，根据预先定义的规范化处理模板对所述告警通知进行自动化处理；

提供单元，用于提供自助查询界面以供用户自助查询当前主机中与大数据相关的信息。

10.一种大数据管理设备，其特征在于，所述设备包括：存储器以及处理器；

存储器，用于存储实现告警事件自动化处理的程序；

处理器，用于运行所述存储器中存储的程序，以执行以下操作：

预先定义规范化处理模板；

管理当前主机中大数据的应用配置信息；

若当前主机中大数据的应用配置信息发生变更，根据变更所反馈的信息对当前主机中的大数据进行自动监控；

若接收到告警通知，根据所述告警通知生成告警事件；

根据预先定义的规范化处理模板对所述告警事件进行自动化处理。