CN110928851B - 处理日志信息的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及大数据领域，提供一种处理日志信息的方法、装置、设备及存储介质，方法包括：分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存所述分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于所述SAN城域网通过确定的运行通道将所述经过分布式缓存的分类信息同步存储至所述灾备中心；根据所述索引创建映射接口表，将存储至所述灾备中心的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的分类信息进行统计与分析，以获得分析结果。采用本方案，能够提高日志信息管理系统的可用性。

Description

处理日志信息的方法、装置、设备及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及处理日志信息的方法、装置、设备及存储介质。

背景技术

目前的数据处理中，通过应用平台框架获取日志信息，将所述日志信息发送到数据库中，对所述日志信息进行数据清洗处理，对经过数据清洗处理的日志信息进行分析，获得分析结果，将所述分析结果存储在所述数据库中。

由于将采集的日志信息直接存储在运行系统的数据库中，一方面，致使数据库存储压力随着坐席访问量的增加而急速增大；另一方面，致使系统的并行处理效率低；导致数据库中的日志信息丢失或者日志信息管理系统的宕机，从而，导致日志信息管理系统的可用性低。

发明内容

本申请提供了一种处理日志信息的方法、装置、设备及存储介质，能够解决现有技术中日志信息管理系统的可用性低的问题。

第一方面，本申请提供一种处理日志信息的方法，所述方法包括：

获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；

对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；

将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；

根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；

基于通过所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；

启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；

根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；

将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。

一种可能的设计中，所述根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，包括：

获取局域网中的空闲资源，并获取所述空闲资源的大小；

分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；

通过计算所述空闲资源的大小总和是否等于或者约等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；

将排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；

实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；

当监控到所述新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将所述新增节点切换到所述预设移动节点，以所述移动节点对应的设备作为更新后的新增节点，所述预设条件包括所述预设移动节点的资源信息与所述新增节点的资源信息相近，所述资源信息包括资源的类型、资源总量和资源占比。

一种可能的设计中，所述通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，包括：

通过所述新增节点中的文件哈希值计算工具计算输入所述新增节点的文件和字符串，获得第一哈希值，以及通过所述文件哈希值计算工具计算所述分类信息中的文件和字符串，获得第二哈希值；

根据所述第一哈希值和所述第二哈希值确定分布式文件系统中的数据库中的值空间；

创建所述分类信息与所述新增节点的映射关系，通过所述映射关系将所述分类信息映射到所述值空间中；

通过预置的分布式一致性协议将映射到所述值空间中的分类信息写入缓存，以将所述分类信息更新到所述分布式文件系统中的数据库中。

一种可能的设计中，所述方法包括运行系统和服务器，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果之后，所述方法还包括：

创建备份系统，并建立数据链路层以连接所述备份系统和所述运行系统；

通过已编辑的Sql语句从所述运行系统中读取数据信息，并将所述数据信息更新到所述备份系统中，更新后的所述备份系统进入休眠状态，所述数据信息包括所述分类信息，获取所述分析结果的分析过程的数据和所述分析结果；

创建每隔预设时段执行一次的死循环脚本，通过所述死循环脚本对所述服务器的存活状态进行实时监测；

若监测到所述服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的所述备份系统，更新后的所述备份系统的休眠状态转换为工作状态；

重启被切换的所述运行系统，将重启后的所述运行系统的状态转换为休眠状态。

一种可能的设计中，所述启动已创建的信息处理脚本对所述容灾中心中的所述分类信息进行数据清洗处理，包括：

调用已创建的编程模型MapReduce中存储的信息处理脚本对所述容灾中心中的所述分类信息进行检测与处理；

若检测到所述容灾中心中的所述分类信息存在删除信息，则删除所述删除信息对应的所述分类信息，所述删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；

若检测到所述容灾中心中的所述分类信息的数据格式不符合预设要求，则转换不符合所述预设要求的所述分类信息的数据格式；

若检测到所述容灾中心中的所述分类信息不符合逻辑性，则删除不符合逻辑性的分类信息；

当检测到经过所述信息处理脚本处理的待处理信息符合预设数据清洗要求，以及检测到所述信息处理脚本停止运行时，服务器接收客户端发送的HTTP协议请求；

调用开源数据库HBase的应用程序接口，将经过所述信息处理脚本处理的所述分类信息存储到所述HBase中，所述预设数据清洗要求包括不存在所述删除信息、所述数据格式符合所述预设要求和符合逻辑性。

一种可能的设计中，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据所选中的预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果，包括：

调用MySQL数据库，并启动所述MySQL数据库中的存储引擎federated，根据所述索引建立Map接口的映射接口表，将所述分类信息映射到所述映射接口表；

接收用户输入的业务需求，根据所述业务需求匹配统计分析条件，所述统计分析条件包括根据所述业务需要而进行对应的运行状态或运行结果或其他的一系列的分析方案；

根据所述统计分析条件创建多线程，在所述多线程的类中创建线程程序ThreadLocal对象，根据所述ThreadLocal对象，创建函数get()，函数方法get()用于获取要隔离访问的数据，所述多线程包括多线程异步；

在所述函数get()中添加异步回调函数，并对分装到所述映射接口表中的所述分类信息进行所述多线程异步的统计与分析处理，获得待分析结果；

通过指数平滑法对所述待分析结果进行预测分析，获得分析结果。

一种可能的设计中，所述对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引，包括：

获取所述待处理信息的文件来源，并对所述文件来源相同的待处理信息进行整理分类，获得第一分类信息；

获取所述待处理信息的文件日期，并对所述第一分类信息中所述文件日期相同的待处理信息进行整理分类，获得第二分类信息；

获取所述第二分类信息的文件大小，按照预设文件大小对所述第二分类信息进行分类，得到分类信息；

根据所述文件大小，通过已创建的日志采集系统flume将所述分类信息存储在存储数据库中，并对所述分类信息进行分布式缓存，所述存储数据库为已创建的分布式文件系统HDFS中与所述文件大小对应的存储数据库；

启动已创建的索引脚本，以检测所述分类信息中是否存在预设特定语句，所述预设特定语句包括WHERE条件语句、exist字段、left join字段和order by字段；

若所述分类信息中存在预设特定语句，则根据所述预设特定语句分别单独创建多个索引；

若所述分类信息中不存在预设特定语句，则创建一个索引。

第二方面，本申请提供一种用于处理日志信息的装置，具有实现对应于上述第一方面提供的处理日志信息的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一种可能的设计中，所述装置包括：

收发模块，用于接收待处理信息的大小；

第一确定模块，用于根据所述收发模块接收的待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；

分类模块，用于对所述待处理信息进行分类得到分类信息，通过所述第一确定模块获得的新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；

创建模块，用于将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；

第二确定模块，用于根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；

存储模块，用于基于所述创建模块建立的所述SAN城域网通过所述第二确定模块确定的运行通道将所述分类模块获得的分类信息同步存储至所述灾备中心；

启动模块，用于启动已创建的信息处理脚本对所述存储模块存储的所述分类信息进行数据清洗处理；

分析模块，用于根据所述分类模块创建的索引创建映射接口表，将所述启动模块获得的分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；

生成模块，用于将所述分析模块获得的分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。

一种可能的设计中，所述确定模块具体用于：

获取局域网中的空闲资源，并获取所述空闲资源的大小；

分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；

通过计算所述空闲资源的大小总和是否等于或者约等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；

将在排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；

实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；

当监控到所述新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将所述新增节点切换到所述预设移动节点，以所述移动节点对应的设备作为更新后的新增节点，所述预设条件包括所述预设移动节点的资源信息与所述新增节点的资源信息相近，所述资源信息包括资源的类型、资源总量和资源占比。

一种可能的设计中，所述分类模块具体用于：

通过所述新增节点中的文件哈希值计算工具计算输入所述新增节点的文件和字符串，获得第一哈希值，以及通过所述文件哈希值计算工具计算输入所述分类信息中的文件和字符串，获得第二哈希值；

根据所述第一哈希值和所述第二哈希值确定分布式文件系统中的数据库中的值空间；

创建所述分类信息与所述新增节点的映射关系，通过所述映射关系将所述分类信息映射到所述值空间中；

通过预置的分布式一致性协议将映射到所述值空间中的分类信息写入缓存，以将所述分类信息更新到所述分布式文件系统中的数据库中。

一种可能的设计中，所述装置，还包括：

创建备份系统，并建立数据链路层以连接所述备份系统和所述运行系统；

通过已编辑的Sql语句从所述运行系统中读取数据信息，并将将所述数据信息更新到所述备份系统中，更新后的所述备份系统进入休眠状态，所述数据信息包括所述分类信息，获取所述分析结果的分析过程的数据和所述分析结果；

创建每隔预设时段执行一次的死循环脚本，通过所述死循环脚本对所述服务器的存活状态进行实时监测；

若监测到所述服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的所述备份系统，更新后的所述备份系统的休眠状态转换为工作状态；

重启所述运行系统，将重启后的所述运行系统的状态转换为休眠状态。

一种可能的设计中，所述启动模块还用于：

调用已创建的编程模型MapReduce中存储的信息处理脚本对所述容灾中心中的所述分类信息进行检测与处理；

若检测到所述容灾中心中的所述分类信息存在删除信息，则删除所述删除信息对应的所述分类信息，所述删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；

若检测到所述容灾中心中的所述分类信息的数据格式不符合预设要求，则转换不符合所述预设要求的所述分类信息的数据格式；

若检测到所述容灾中心中的所述分类信息不符合逻辑性，则删除不符合逻辑性的待处理信息；

当检测到经过所述信息处理脚本处理的所述分类信息符合预设数据清洗要求，以及检测到所述信息处理脚本停止运行时，服务器接收客户端发送的HTTP协议请求；

调用开源数据库HBase的应用程序接口，将经过所述信息处理脚本处理的所述分类信息存储到所述HBase中，所述预设数据清洗要求包括不存在所述删除信息、所述数据格式符合所述预设要求和符合逻辑性。

一种可能的设计中，所述分析模块具体用于：

调用MySQL数据库，并启动所述MySQL数据库中的存储引擎federated，根据所述索引建立Map接口的映射接口表，将所述分类信息映射到所述映射接口表；

接收用户输入的业务需求，根据所述业务需求匹配统计分析条件，所述统计分析条件包括根据所述业务需要而进行对应的运行状态或运行结果或其他的一系列的分析方案；

根据所述统计分析条件创建多线程，在所述多线程的类中创建线程程序ThreadLocal对象，根据所述ThreadLocal对象，创建函数get()，所述函数get()用于获取要隔离访问的数据，所述多线程包括多线程异步；

在所述函数get()中添加异步回调函数，并对分装到所述映射接口表中的所述分类信息进行所述多线程异步的统计与分析处理，获得待分析结果；

通过指数平滑法对所述待分析结果进行预测分析，获得分析结果。

一种可能的设计中，所述分类模块具体用于：

获取所述待处理信息的文件来源，并对所述文件来源相同的待处理信息进行整理分类，获得第一分类信息；

获取所述待处理信息的文件日期，并对所述第一分类信息中所述文件日期相同的待处理信息进行整理分类，获得第二分类信息；

获取所述第二分类信息的文件大小，按照预设文件大小对所述第二分类信息进行分类，得到分类信息；

根据所述文件大小，通过已创建的日志采集系统flume将所述分类信息存储在存储数据库中，并对所述分类信息进行分布式缓，所述存储数据库为已创建的分布式文件系统HDFS中与所述文件大小对应的；

启动已创建的索引脚本，以检测所述分类信息中是否存在预设特定语句，所述预设特定语句包括WHERE条件语句、exist字段、left join字段和order by字段；

若所述分类信息中存在预设特定语句，则根据所述预设特定语句分别单独创建多个索引；

若所述分类信息中不存在预设特定语句，则创建一个索引。

本申请又一方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的方法。

本申请又一方面提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

相较于现有技术，本申请提供的方案中，通过分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存所述分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于所述SAN城域网通过确定的运行通道将经过分布式缓存的分类信息同步存储至所述灾备中心；根据所述索引创建映射接口表，将存储至所述灾备中心的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的分类信息进行统计与分析，以获得分析结果。由于是通过创建多个节点和将数据储存在多个系统之外的数据库中，提高系统的扩容性；根据预置的连接外部设备的字节传送速率选择合适的字节多路通道、选择通道或数组多路通道，提高运行效率；通过映射接口表存储待处理信息，提高数据查询的效率和准确性，因而，本申请能够提高日志信息管理系统的可用性。

附图说明

图1为本申请实施例中处理日志信息的方法的一种流程示意图；

图2为本申请实施例中用于处理日志信息的装置的一种结构示意图；

图3为本申请实施例中计算机装置的一种结构示意图；

本申请的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。

本申请提供一种处理日志信息的方法、装置、设备及存储介质，可用于网络日志信息采集与分析系统，该方法由计算机设备执行，计算机设备可为服务器或者终端，当图2所示的装置20为应用或者执行程序时，终端为安装图2所示的装置20的终端，本申请不对执行主体的类型作限制。

为解决上述技术问题，本申请主要提供以下技术方案：

通过分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于SAN城域网通过确定的运行通道将经过分布式缓存的分类信息同步存储至灾备中心；根据索引创建映射接口表，将分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果。由于是通过创建多个节点和将数据储存在多个系统之外的数据库中，提高系统的扩容性；根据预置的连接外部设备的字节传送速率选择合适的字节多路通道、选择通道或数组多路通道，提高运行效率；通过映射接口表存储待处理信息，提高数据查询的效率和准确性，因而，本申请能够提高日志信息管理系统的可用性。

请参照图1，以下对本申请提供一种处理日志信息的方法进行举例说明，所述方法包括：

101、获取待处理信息的大小，根据待处理信息的大小确定调用的局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点。

其中，待处理信息包括日志信息和坐席操作信息，空闲资源的数量包括多个。

本申请实施例中，网页或者平台被操作时相应地生成日志信息和坐席操作信息，本申请方法对应的执行主体计算机设备将生成的日志信息和坐席操作信息收集起来，将其作为待处理信息，并通过获取接近待处理信息的大小的局域网中的目标空闲资源，将目标空闲资源作为处理待处理信息的新增节点，以减缓本申请方法对应的执行主体处理待处理信息的负荷。通过增加新增节点，以提高日志信息管理系统的可扩展性和减小日志信息管理系统的负荷。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可扩展性和减小日志信息管理系统的负荷的情况下，为了进一步加强对新增节点的获取，具体操作如下，上述的获取待处理信息的大小，根据待处理信息的大小确定调用的局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点，包括：

获取局域网中的空闲资源，并获取空闲资源的大小；

分析和预测空闲资源的待空闲时间，以及分析和预测空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对评估值进行排序；

通过计算空闲资源的大小总和是否等于或者约等于待处理信息的大小，以确定调用的目标空闲资源和目标空闲资源的目标数量；

将排序在前且数量为目标数量的目标空闲资源对应的设备作为新增节点；

实时监控新增节点的资源情况，并在预设时段内更新和反馈新增节点的资源；

当监控到新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将新增节点切换到预设移动节点，以移动节点对应的设备作为更新后的新增节点，其中，预设条件包括预设移动节点的资源信息与新增节点的资源信息相近，资源信息包括资源的类型、资源总量和资源占比。

通过采用基于微移动协议的平滑切换方式，以保证在让新增节点在移动的同时不断开连接，还能正确收发待处理信息，以及提高新增节点的通信性能。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性情况下，为了进一步提高分布式文件系统的存储空间可扩展性，具体操作如下，上述的获取待处理信息的大小之后，本申请方法还包括：

接收客户端发送的采集请求，当检测到待处理信息的生成时，复制待处理信息，并将待处理信息存储在信息采集数据库中；

当接收到信息处理的指令时，检测待处理信息的大小；

根据待处理信息的大小，确定调用createElement()创建的新元素的个数；

调用createTextNode()创建与新元素的个数对应的文本节点；

调用appendChild()将文本节点添加至新元素，获得创建的目标节点；

将目标节点添加至分布式文件系统，建立目标节点与数据库的连接关系。

通过根据待处理信息的大小来确定所建立的文本节点的个数，并将文本节点与数据库连接，以提高分布式文件系统的存储空间的可扩展性。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步提高获取的待处理信息的准确性，具体操作如下，本申请方法包括数据清洗规则，上述的获取待处理信息的大小之前，本申请方法还包括：

确定数据清洗规则，根据数据清洗规则对待处理信息进行数据清洗，其中，数据清洗规则包括清除不完整的数据、错误的数据和重复的数据；

获取经过数据清洗的待处理信息的评判指标，分析评判指标，判断评判指标是否符合预设评判要求，其中，评判指标包括数据的精确性、完整性、一致性、有效性、唯一性、时间性和稳定性；

若评判指标不符合预设评判要求，调用数据清洗规则对经过数据清洗的待处理信息进行数据清洗，直至评判指标符合预设评判要求。

通过对待处理信息进行数据清洗，以保证所获取的待处理信息的完整性和准确性，以便于后续提高对待处理信息的分析准确性。

102、对待处理信息进行分类得到分类信息，通过新增节点将分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引。

本申请实施例中，可通过按照待处理信息的文件大小、文件日期、文件来源和任务类型对待处理信息进行分类得到分类信息，以便于对分类信息的管理与获取。通过将经分类信息存储至分布式文件系统中的多个数据库，以分布式文件系统的支持超大文件、高容错性、高数据吞吐量和流式数据访问的优势有效地对分类信息进行存储和管理。对分类信息进行分布式缓存，以结合分布式缓存的高性能、动态扩展性、高可用性和易用性的特性增强对分类信息的存储、加快对分类信息的访问速度和减缓对分类信息的访问压力。其中，本申请实施例中采用高扩展性和高性能的Lustre分布式文件系统。通过创建索引以加快对分类信息的查询速度和减少日志信息管理系统的响应时间。本申请实施例中可通过ALTERTABLE语句来创建索引。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步加强对待处理信息的存储和管理，具体操作如下，上述的通过新增节点将分类信息存储至分布式文件系统中的数据库并进行分布式缓存，包括：

通过新增节点中的文件哈希值计算工具计算输入新增节点的文件和字符串，获得第一哈希值，以及通过文件哈希值计算工具计算输入分类信息中的文件和字符串，获得第二哈希值；

根据第一哈希值和第二哈希值确定分布式文件系统中的数据库中的值空间；

创建分类信息与新增节点的映射关系，通过映射关系将分类信息映射到值空间中；

通过预置的分布式一致性协议将映射到值空间中的分类信息写入缓存，以将分类信息更新到分布式文件系统中的数据库中。

通过使用哈希值查找以加快查询速度，降低对灾备中心的访问次数，降低灾备中心的负荷、提高灾备中心的服务能力和提高系统的可用性。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步加强对待处理信息的存储和管理，以及加快查询速度和减少响应时间，具体操作如下，上述的对待处理信息进行分类得到分类信息，通过新增节点将分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引，包括：

获取待处理信息的文件来源，并对文件来源相同的待处理信息进行整理分类，获得第一分类信息；

获取待处理信息的文件日期，并对第一分类信息中文件日期相同的待处理信息进行整理分类，获得第二分类信息；

获取第二分类信息的文件大小，按照预设文件大小对第二分类信息进行分类，得到分类信息；

根据文件大小，通过已创建的日志采集系统flume将分类信息存储在存储数据库中，并对所述分类信息进行分布式缓存，其中，存储数据库为已创建的分布式文件系统HDFS中与文件大小对应的；

启动已创建的索引脚本，以检测分类信息中是否存在预设特定语句，其中，预设特定语句包括WHERE条件语句、exist字段、left join字段和order by字段；

若分类信息中存在预设特定语句，则根据预设特定语句分别单独创建多个索引；

若分类信息中不存在预设特定语句，则创建一个索引。

通过根据待处理信息的文件大小、文件日期、文件来源和任务类型对待处理信息进行分类，以便于对待处理信息的管理与获取。通过根据预设特定语句创建索引，以便于快速而有目的性地创建索引。

103、将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网。

本申请实施例中，通过连接区域存储网络(Storage Area Network，SAN)和建立SAN城域网，以SAN城域网连接新增节点，以提供一个能存储大量数据且具有高可靠性和高升级能力的数据存储系统和实现真正高速的共享存储，进而有利于提高日志信息管理系统的可用性。

104、根据预置的连接外部设备的字节传送速率确定运行通道，运行通道用于指示字节多路通道、选择通道或数组多路通道。

本申请实施例中，通过获取通道的极限流量和预置的连接的外部设备的字节传送速率，并分析预置的连接的外部设备的字节传送速率，得到字节传送速率和以及值最大的字节传送速率，若通道的极限流量大于字节传送速率和，则调用字节多路通道；若通道的极限流量大于值最大的字节传送速率，则调用选择通道或数组多路通道，其中，优先调用数组多路通道。通过根据预置的连接外部设备的字节传送速率确定运行通道，以灵活运用通道，以避免通道拥挤和提高对分类信息的处理效率。

105、基于SAN城域网通过运行通道将经过分布式缓存的分类信息同步存储至灾备中心。

本申请实施例中，以将经过分布式缓存的分类信息同步存储至灾备中心，以提供分类信息的数据恢复和保管能力，和提高分类信息的数据可用性的能力，以及预防自然灾难所造成的对系统存储数据的影响和损失，从而提高日志信息管理系统的可用性。容灾中心采用基于镜像技术的容灾方案，镜像技术采用基于SAN城域网的镜像技术，其中，可通过VERITAS Storage Foundation系列软件来实现同城容灾，以构建灾备中心的容灾方案。

106、启动已创建的信息处理脚本对灾备中心中的分类信息进行数据清洗处理。

本申请实施例中，通过启动已创建的信息处理脚本对灾备中心中的分类信息进行数据清洗处理，以在获取分析结果前获取相对正确和有序的分类信息，以提高对分类信息的分析准确性。其中，数据清洗处理可包括但不限于对分类信息的完整性和一致性进行检测和处理、检测和之前的分类情况是否相符和检测并处理分类信息的维度情况。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步提高对待处理信息的分析准确性，具体操作如下，上述的启动已创建的信息处理脚本对运行通道中的分类信息进行数据清洗处理，包括：

调用已创建的编程模型MapReduce中存储的信息处理脚本对容灾中心中的分类信息进行检测与处理；

若检测到容灾中心中的分类信息存在删除信息，则删除删除信息对应的分类信息，删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；

若检测到容灾中心中的分类信息的数据格式不符合预设要求，则转换不符合预设要求的分类信息的数据格式；

若检测到容灾中心的分类信息不符合逻辑性，则删除不符合逻辑性的分类信息；

当检测到经过信息处理脚本处理的分类信息符合预设数据清洗要求，以及检测到信息处理脚本停止运行时，服务器接收客户端发送的HTTP协议请求；

调用开源数据库HBase的应用程序接口，将经过信息处理脚本处理的分类信息存储到HBase中，其中，预设数据清洗要求包括不存在删除信息、数据格式符合预设要求和符合逻辑性。

通过删除具有删除信息对应的分类信息，以减低存储和处理分类信息的负荷，以及避免后续对分类信息进行分析的干扰。结合HBase的高可靠性、高性能和扩展性的特点，提高日志信息管理系统的可用性。

107、根据索引创建映射接口表，将经过数据清洗处理的分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果。

本申请实施例中，通过创建映射接口表以支持索引，以加快对分类信息的查询和获取；通过映射接口表的支持多种不同的存储类型和保存元数据在关系数据库中以减少对分类信息的处理操作和减少在查询过程中执行语义检查的时间，从而提高日志信息管理系统处理日志信息的效率和可用性。其中，可采用数据仓库工具hive创建映射接口表。

可根据用户输入的分析要求对分类信息进行统计与分析，获得和用户输入的分析要求对应的分析结果；也可根据用户输入的分析需求匹配创建的分析库中的分析方案对对分类信息进行统计与分析，获得和匹配的分析库中的分析方案对应的分析结果。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步加强对待处理信息的存储与管理，具体操作如下，本申请方法包括运行系统和服务器，上述的根据索引创建映射接口表，将经过数据清洗处理的分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果之后，本申请方法还包括：

创建备份系统，并建立数据链路层以连接备份系统和运行系统；

通过已编辑的Sql语句从运行系统中读取数据信息，并将将数据信息更新到备份系统，更新后的备份系统进入休眠状态，其中，数据信息包括分类信息、获取分析结果的分析过程的数据和分析结果；

创建每隔预设时段执行一次的死循环脚本，通过死循环脚本对服务器的存活状态进行实时监测；

若监测到服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的备份系统，更新后的备份系统的休眠状态转换为工作状态；

重启被切换的运行系统，将重启后的运行系统的状态转换为休眠状态。

通过备份系统，以便于在遇到不可抗拒的自然灾害或破坏时，能保证源数据的恢复或重新获取。通过实时监测仪转换休眠状态，以利于运行系统的工作状态转换，从而保证在对数据进行备份保存时，又不影响到其他操作的正常工作。

可选的，在本申请的一些实施例中，在提高日志信息管理系统的可用性的情况下，为了进一步提高对待处理信息的处理效率，可采取/具体操作如下，上述的根据索引创建映射接口表，将经过数据清洗处理的分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果，包括：

调用MySQL数据库，并启动MySQL数据库中的存储引擎federated，根据索引建立Map接口的映射接口表，将分类信息映射到映射接口表；

接收用户输入的业务需求，根据业务需求匹配统计分析条件，其中，统计分析条件包括根据业务需要而进行对应的运行状态或运行结果或其他的一系列的分析方案；

根据统计分析条件创建多线程，在多线程的类中创建线程程序ThreadLocal对象，根据ThreadLocal对象，创建函数get()，其中，函数get()用于获取要隔离访问的数据，多线程包括多线程异步；

在函数get()中添加异步回调函数，并对分装到映射接口表的分类信息进行多线程异步的统计与分析处理，获得待分析结果；

通过指数平滑法对待分析结果进行预测分析，获得分析结果。

通过创建映射接口表，以便于快速而准确地查询到所需的日志信息；通过多线程处理，节省储存地址、提高处理速度和合理利用资源；通过异步处理以提高设备使用率和运行效率。

108、将分析结果输入到可视化数据库，调用可视化图表处理工具对分析结果进行统计与分析以生成可视化图表。

本申请实施例中，可视化图表处理包括但不限于电子表格ECharts工具，调用电子表格ECharts工具对分析结果进行统计与分析以生成可视化图表，以便于用户对获取的日志信息的理解。

可选的，在本申请的一些实施例中，在便于用户对获取的日志信息的理解的情况下，为了进一步加强生成可视化图表，具体操作如下，上述的将分析结果输入到可视化数据库，调用可视化图表处理工具对分析结果进行统计与分析以生成可视化图表，包括：

创建可视化插件，并将分析结果输入到mysql数据库中，其中，可视化插件连接mysql数据库，可视化插件用于将mysql数据库中的分析结果生成可视化图表；

接收输入的显示条件，调用可视化插件中的ECharts工具，根据显示条件将mysql数据库中的分析结果生成与显示条件对应的可视化图表；

将分析结果根据可视化图表的统计类型进行分类整理，并生成多个分类文本信息；

将多个分类文本信息添加链接在可视化图表上，获取更新后的可视化图表。

通过将多个分类文本信息添加链接在可视化图表上，以便于多角度和多类型显示分析结果，进而以便于用户可根据个人的方便或喜好方式对分析结果进行阅览，以及能多方向地了解分析结果。

与现有机制相比，本申请实施例中，通过分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于SAN城域网通过确定的运行通道将经过分布式缓存的分类信息同步存储至灾备中心；根据索引创建映射接口表，将存储至灾备中心的分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果。由于是通过创建多个节点和将数据储存在多个系统之外的数据库中，提高系统的扩容性；根据预置的连接外部设备的字节传送速率选择合适的字节多路通道、选择通道或数组多路通道，提高运行效率；通过映射接口表存储待处理信息，提高数据查询的效率和准确性，因而，本申请能够提高日志信息管理系统的可用性。

上述图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所提及的技术特征也同样适用于本申请中的图2和图3所对应的实施例，后续类似之处不再赘述。

以上对本申请中一种处理日志信息的方法进行说明，以下对执行上述处理日志信息的方法的装置进行描述。

如图2所示的一种用于处理日志信息的装置20的结构示意图，其可应用于处理日志信息。本申请实施例中的装置20能够实现对应于上述图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所执行的处理日志信息的方法的步骤。装置20实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述装置20可包括收发模块201、第一确定模块202、分类模块203、创建模块204、第二确定模块205、存储模块206、启动模块207、分析模块208和生成模块209，收发模块201、第一确定模块202、分类模块203、创建模块204、第二确定模块205、存储模块206、启动模块207、分析模块208和生成模块209的功能实现可参考图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所执行的操作，此处不作赘述。

一些实施方式中，收发模块201，用于接收待处理信息的大小；第一确定模块202用于根据收发模块201接收的待处理信息的大小确定调用的局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点，其中，待处理信息包括日志信息和坐席操作信息；分类模块203，用于对待处理信息进行分类得到分类信息，通过第一确定模块202获得的新增节点将分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；创建模块204，用于将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；第二确定模块205，用于根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；存储模块206，用于基于所述创建模块204建立的SAN城域网通过第二确定模块205确定的运行通道将分类模块203获得的分类信息同步存储至灾备中心；启动模块207，用于启动已创建的信息处理脚本对存储模块206存储的分类信息进行数据清洗处理；分析模块208，用于根据分类模块203创建的索引创建映射接口表，将启动模块207获得的分类信息分装到映射接口表中，并根据预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果；生成模块209，用于将分析模块208获得的分析结果输入到可视化数据库，调用可视化图表处理工具对分析结果进行统计与分析以生成可视化图表。

其中，待处理信息包括日志信息和坐席操作信息。

本申请实施例中，第一确定模块202通过根据收发模块201接收的待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；分类模块203获取分类信息，分布式缓存分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；存储模块206基于通过SAN城域网通过第二确定模块205确定的运行通道将经过分布式缓存的分类信息同步存储至灾备中心；分析模块208根据索引创建映射接口表，将启动模块207获得的分类信息分装到映射接口表，并根据所选中的预设统计分析条件对映射接口表中的分类信息进行统计与分析，以获得分析结果。由于是通过创建多个节点和将数据储存在多个系统之外的数据库中，提高系统的扩容性；根据预置的连接外部设备的字节传送速率选择合适的字节多路通道、选择通道或数组多路通道，提高运行效率；通过映射接口表存储待处理信息，提高数据查询的效率和准确性，因而，本申请能够提高日志信息管理系统的可用性。

可选的，在本申请的一些实施方式中，上述处理日志信息的方法的任一实施例或实施方式中所提及的技术特征也同样适用于本申请中的对执行上述处理日志信息的方法的装置20，后续类似之处不再赘述。

上面从模块化功能实体的角度分别介绍了本申请实施例中的装置20，以下从硬件角度介绍一种计算机装置，如图3所示，其包括：处理器、存储器、收发器(也可以是输入输出单元，图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中处理日志信息的方法对应的程序。例如，当计算机装置实现如图2所示的装置20的功能时，所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由装置20执行的处理日志信息的方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述图2所对应的实施例的装置20中各模块的功能。又例如，该计算机程序可以为图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中处理日志信息的方法对应的程序。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述收发器也可以用接收器和发送器代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为收发器。该收发器可以为输入输出单元。图2中的第一确定模块202、分类模块203、创建模块204、第二确定模块205、存储模块206、启动模块207、分析模块208和生成模块209对应的实体设备可以为图3中的收发器。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。

Claims (10)

1.一种处理日志信息的方法，其特征在于，包括：

获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；

对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；

将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；

根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；

基于所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；

启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；

根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；

将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，包括：

获取局域网中的空闲资源，并获取所述空闲资源的大小；

分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；

通过计算所述空闲资源的大小总和是否等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；

将排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；

实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；

当监控到所述新增节点的资源占比达到预设阈值时，获取满足预设条件的预设移动节点，并通过基于微移动协议的平滑切换方式将所述新增节点切换到所述预设移动节点，以所述移动节点对应的设备作为更新后的新增节点，所述预设条件包括所述预设移动节点的资源信息与所述新增节点的资源信息相同，所述资源信息包括资源的类型、资源总量和资源占比。

3.根据权利要求1所述的方法，其特征在于，所述通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，包括：

通过所述新增节点中的文件哈希值计算工具计算输入所述新增节点的文件和字符串，获得第一哈希值，以及通过所述文件哈希值计算工具计算输入所述分类信息中的文件和字符串，获得第二哈希值；

根据所述第一哈希值和所述第二哈希值确定分布式文件系统中的数据库中的值空间；

创建所述分类信息与所述新增节点的映射关系，通过所述映射关系将所述分类信息映射到所述值空间中；

通过预置的分布式一致性协议将映射到所述值空间中的分类信息写入缓存，以将所述分类信息更新到所述分布式文件系统中的数据库中。

4.根据权利要求1所述的方法，其特征在于，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果之后，所述方法还包括：

创建备份系统，并建立数据链路层以连接所述备份系统和运行系统；

通过已编辑的SQL语句从所述运行系统中读取数据信息，并将所述数据信息更新到所述备份系统中，更新后的所述备份系统进入休眠状态，所述数据信息包括所述分类信息、获取所述分析结果的分析过程的数据和所述分析结果；

创建每隔预设时段执行一次的死循环脚本，通过所述死循环脚本对服务器的存活状态进行实时监测；

若监测到所述服务器的存活状态即将处于宕机状态，则将当前的运行系统切换为更新后的所述备份系统，更新后的所述备份系统的休眠状态转换为工作状态；

重启被切换的所述运行系统，将重启后的所述运行系统的状态转换为休眠状态。

5.根据权利要求1所述的方法，其特征在于，所述启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理，包括：

调用已创建的编程模型MapReduce中存储的信息处理脚本对所述灾备中心中的所述分类信息进行检测与处理；

若检测到所述灾备中心中的所述分类信息存在删除信息，则删除所述删除信息对应的所述分类信息，所述删除信息包括GET开头的访问记录信息、staticsource开头的访问记录信息、GET字符串和POST字符串；

若检测到所述灾备中心中的所述分类信息的数据格式不符合预设要求，则转换不符合所述预设要求的所述分类信息的数据格式；

若检测到所述灾备中心中的所述分类信息不符合逻辑性，则删除不符合逻辑性的分类信息；

当检测到经过所述信息处理脚本处理的分类信息符合预设数据清洗要求，以及检测到所述信息处理脚本停止运行时，接收客户端发送的HTTP协议请求；

调用开源数据库HBase的应用程序接口，将经过所述信息处理脚本处理的所述分类信息存储到所述HBase中，所述预设数据清洗要求包括不存在所述删除信息、所述数据格式符合所述预设要求和符合逻辑性。

6.根据权利要求1所述的方法，其特征在于，所述根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果，包括：

调用MySQL数据库，并启动所述MySQL数据库中的存储引擎federated，根据所述索引建立Map接口的映射接口表，将所述分类信息映射到所述映射接口表；

接收用户输入的业务需求，根据所述业务需求匹配统计分析条件，所述统计分析条件包括根据所述业务需求而进行对应的运行状态或运行结果或其他的一系列的分析方案；

根据所述统计分析条件创建多线程，在所述多线程的类中创建线程程序ThreadLocal对象，根据所述ThreadLocal对象，创建函数get()，所述函数get()用于获取要隔离访问的数据，所述多线程包括多线程异步；

在所述函数get()中添加异步回调函数，并对分装到所述映射接口表中的所述分类信息进行所述多线程异步的统计与分析处理，获得待分析结果；

通过指数平滑法对所述待分析结果进行预测分析，获得分析结果。

7.根据权利要求1所述的方法，其特征在于，所述对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引，包括：

获取所述待处理信息的文件来源，并对所述文件来源相同的待处理信息进行整理分类，获得第一分类信息；

获取所述待处理信息的文件日期，并对所述第一分类信息中所述文件日期相同的待处理信息进行整理分类，获得第二分类信息；

获取所述第二分类信息的文件大小，按照预设文件大小对所述第二分类信息进行分类，得到分类信息；

根据所述文件大小，通过已创建的日志采集系统flume将所述分类信息存储在存储数据库中，并对所述分类信息进行分布式缓存，所述存储数据库为已创建的分布式文件系统HDFS中与所述文件大小对应的存储数据库；

启动已创建的索引脚本，以检测所述分类信息中是否存在预设特定语句，所述预设特定语句包括WHERE条件语句、exist字段、left join字段和order by字段；

若所述分类信息中存在预设特定语句，则根据所述预设特定语句分别单独创建多个索引；

若所述分类信息中不存在预设特定语句，则创建一个索引。

8.一种用于处理日志信息的装置，其特征在于，所述装置包括：

收发模块，用于接收待处理信息的大小；

第一确定模块，用于根据所述收发模块接收的待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；

分类模块，用于对所述待处理信息进行分类得到分类信息，通过所述第一确定模块获得的新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；

创建模块，用于将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；

第二确定模块，用于根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；

存储模块，用于基于所述创建模块建立的所述SAN城域网通过所述第二确定模块确定的运行通道将所述分类模块获得的分类信息同步存储至所述灾备中心；

启动模块，用于启动已创建的信息处理脚本对所述存储模块存储的所述分类信息进行数据清洗处理；

分析模块，用于根据所述分类模块创建的索引创建映射接口表，将所述启动模块获得的分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；

生成模块，用于将所述分析模块获得的分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。

9.一种计算机设备，其特征在于，所述计算机设备包括：

至少一个处理器、存储器和收发器；

其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-7中任一项所述的方法。

10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。

Images