CN114721856A - 业务数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及数据监控领域，公开了一种业务数据处理方法、装置、设备及存储介质，用于提高异常数据检测的准确率。所述业务数据处理方法包括：获取运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，根据标识信息查询初始数据表；对初始数据表进行属性提取，得到属性字段，并计算属性字段对应的属性值；根据转换规则对属性字段进行数据表转换，得到目标数据表；将目标数据表输入数据异常检测模型进行异常检测，得到检测结果；若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至终端，通过终端对告警信息进行可视化展示。此外，本发明还涉及区块链技术，告警信息可存储于区块链节点中。

Description

业务数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据监控领域，尤其涉及一种业务数据处理方法、装置、设备及存储介质。

背景技术

在日常运维、重点保障、以及应急期间会产生的大量实时监控数据，因此需要快速的进行故障分析和问题定位使数据可视化，让运维人员可以浏览大量的数据，并迅速发现异常数据或探测将来的趋势和问题。

现有方案通过可视化工具对数据进行底层的异常检测，但是其监控图形显示过于简单，且运维方面较弱，即现有方案的准确率低。

发明内容

本发明提供了一种业务数据处理方法、装置、设备及存储介质，用于提高异常数据检测的准确率。

本发明第一方面提供了一种业务数据处理方法，所述业务数据处理方法包括：获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

可选的，在本发明第一方面的第一种实现方式中，在所述对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值之后，所述根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表之前，所述业务数据处理方法还包括：调用预置的转换规则库并根据所述标识信息查询所述标识信息对应的转换规则；若所述转换规则库中存在与所述标识信息对应的预设转换规则，则将所述预设转换规则作为所述标识信息对应的转换规则；若所述转换规则库中不存在与所述标识信息对应的所述预设转换规则，则将所述初始数据表发送至预置的数据库中心；接收所述数据库中心返回的通用转换规则，将所述通用转换规则作为所述标识信息对应的转换规则，并将所述通用转换规则和所述标识信息存储至所述转换规则库中。

可选的，在本发明第一方面的第二种实现方式中，所述业务数据处理方法还包括：计算所述目标数据表和所述初始数据表的相似度；判断所述相似度是否超过预设目标值；若超过，则执行所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若不超过，则生成报错信息，并将所述报错信息传输至所述运维监控中心。

可选的，在本发明第一方面的第三种实现方式中，所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果，包括：对所述目标数据表进行二维转换，得到二维向量；将所述二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；调用预置损失函数计算所述二维向量和所述输出向量的损失值，并判断所述损失值是否超过预置损失阈值；若是，则确定所述目标数据表存在异常并生成检测结果为异常；若否，则将所述目标数据表发送至预置的审核中心。

可选的，在本发明第一方面的第四种实现方式中，在所述若否，则将所述目标数据表发送至预置的审核中心之后，所述业务数据处理方法还包括：通过所述审核中心对所述目标数据表和所述初始数据表进行核验，得到核验后的数据表；接收所述核验后的数据表，并将所述核验后的数据表作为标准数据表存储至所述运维监控中心。

可选的，在本发明第一方面的第五种实现方式中，所述若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示之后，所述业务数据处理方法还包括：获取所述告警信息，并对所述告警信息进行预处理，生成所述告警信息对应的告警信息编码向量；将所述告警信息编码向量输入预置根故障分析模型进行根因分析，得到所述告警信息对应的根故障信息。

可选的，在本发明第一方面的第六种实现方式中，在所述若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示之后，所述业务数据处理方法还包括：获取用户确认请求，其中，所述用户确认请求包括用户身份标识和异常数据确认标识；根据所述用户身份标识对用户进行身份核验，生成身份核验结果，其中，所述身份核验结果包括通过和不通过；若所述身份核验结果为通过，则基于所述异常数据确认标识，对所述目标数据表进行故障处理；若所述身份核验结果为不通过，则将所述告警信息发送至所述运维监控中心。

本发明第二方面提供了一种业务数据处理装置，所述业务数据处理装置包括：获取模块，用于获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；提取模块，用于对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；转换模块，用于根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；检测模块，用于将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；可视化模块，用于若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

可选的，在本发明第二方面的第一种实现方式中，所述业务数据处理装置还包括：匹配模块，用于调用预置的转换规则库并根据所述标识信息查询所述标识信息对应的转换规则；若所述转换规则库中存在与所述标识信息对应的预设转换规则，则将所述预设转换规则作为所述标识信息对应的转换规则；若所述转换规则库中不存在与所述标识信息对应的所述预设转换规则，则将所述初始数据表发送至预置的数据库中心；接收所述数据库中心返回的通用转换规则，将所述通用转换规则作为所述标识信息对应的转换规则，并将所述通用转换规则和所述标识信息存储至所述转换规则库中。

可选的，在本发明第二方面的第二种实现方式中，所述业务数据处理装置还包括：计算模块，用于计算所述目标数据表和所述初始数据表的相似度；判断所述相似度是否超过预设目标值；若超过，则执行所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若不超过，则生成报错信息，并将所述报错信息传输至所述运维监控中心。

可选的，在本发明第二方面的第三种实现方式中，所述检测模块具体用于：对所述目标数据表进行二维转换，得到二维向量；将所述二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；调用预置损失函数计算所述二维向量和所述输出向量的损失值，并判断所述损失值是否超过预置损失阈值；若是，则确定所述目标数据表存在异常并生成检测结果为异常；若否，则将所述目标数据表发送至预置的审核中心。

可选的，在本发明第二方面的第四种实现方式中，所述业务数据处理装置还包括：核验模块，用于通过所述审核中心对所述目标数据表和所述初始数据表进行核验，得到核验后的数据表；接收所述核验后的数据表，并将所述核验后的数据表作为标准数据表存储至所述运维监控中心。

可选的，在本发明第二方面的第五种实现方式中，所述业务数据处理装置还包括：根因分析模块，用于获取所述告警信息，并对所述告警信息进行预处理，生成所述告警信息对应的告警信息编码向量；将所述告警信息编码向量输入预置根故障分析模型进行根因分析，得到所述告警信息对应的根故障信息。

可选的，在本发明第二方面的第六种实现方式中，所述业务数据处理装置还包括：处理模块，用于获取用户确认请求，其中，所述用户确认请求包括用户身份标识和异常数据确认标识；根据所述用户身份标识对用户进行身份核验，生成身份核验结果，其中，所述身份核验结果包括通过和不通过；若所述身份核验结果为通过，则基于所述异常数据确认标识，对所述目标数据表进行故障处理；若所述身份核验结果为不通过，则将所述告警信息发送至所述运维监控中心。

本发明第三方面提供了一种业务数据处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述业务数据处理设备执行上述的业务数据处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的业务数据处理方法。

本发明提供的技术方案中，获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。本发明通过深度学习模型对运维监控中心产生的数据进行检测，有效提高了异常数据监测的准确率。

附图说明

图1为本发明实施例中业务数据处理方法的一个实施例示意图；

图2为本发明实施例中业务数据处理方法的另一个实施例示意图；

图3为本发明实施例中业务数据处理装置的一个实施例示意图；

图4为本发明实施例中业务数据处理装置的另一个实施例示意图；

图5为本发明实施例中业务数据处理设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种业务数据处理方法、装置、设备及存储介质，用于提高异常数据检测的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中业务数据处理方法的一个实施例包括：

101、获取预置运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，以及根据标识信息查询标识信息对应的初始数据表；

可以理解的是，本发明的执行主体可以为业务数据处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

需要说明的是，服务器从运维监控中心的数据存储中心获取到异构数据，其中，异构数据包括：监控数据、业务数据、运维系统中的数据。标识信息是指用于唯一标识初始数据表，每个初始数据表有唯一的标识信息。标识信息包括但不限于数据表的业务名或数据表的编号，例如，标识信息可以为数据表的编号“1”、“2”或“3”等。属性字段如“数据集”、“报表”等。属性字段对应的属性值，例如：数据集对应的属性值为“10个”，或者“报表”对应的属性值为“100份”等。

102、对初始数据表进行属性提取，得到初始数据表对应的属性字段，并计算属性字段对应的属性值；

具体的，服务器转换规则包括一个或多个条件项，用于制约或决定对数据表的处理操作，转换规则库包括标识信息，以及与标识信息相对应的转换规则，其中，标识信息至多对应一个转换规则，即每个标识信息可以唯一对应一个转换规则，也可以是没有对应的转换规则。

103、根据预置的转换规则对属性字段进行数据表转换，得到目标数据表；

具体的，服务器在属性字段中，查找满足转换规则的属性字段，并按照转换规则，对属性字段进行转换，得到目标数据表。其中，属性字段是用于按照转换规则进行转换的属性字段。在初始数据表中找到属性字段的方式具体可以是遍历初始数据表中的所有属性字段，检测到与转换规则中的预设的属性字段相同的属性字段，将该属性字段作为属性字段，或者可以通过其他查找方式，得到目标数据表。

104、将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

需要说明的是，数据异常检测模型包括编码器和解码器，其中，编码器由多层一维卷积层和池化层构成，解码器由多层一维反卷积层和卷积层构成。一维卷积层是将输入的目标数据表进行压缩，例如：输入的数据维度为6，过滤器的维度为5，卷积后输出的数据维度为6-5+1=2。池化层主要的作用进行下采样然后降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗。一维反卷积层的作用是将压缩后的矩阵进行还原，例如：一个步长为2，尺寸为3的反卷积输出数量为输入的两倍，系数变为4。卷积层输出一个[N，3N]的输出向量，解码器通过对输出向量进行反向解码计算，得到最终模型的检测结果。

105、若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至预置的终端，通过终端对告警信息进行可视化展示。

具体的，若检测结果为异常，则服务器实时监听目标系统生产环境中的告警信息，该告警信息根据实施生产环境中的日志服务，可以提供数据加工任务运行指标的数据加工诊断器，可以随时查看加工任务的运行指标信息，还可以通过订阅数据诊断器，针对数据诊断器中的指标信息设置告警监控。对数据加工任务设置监控，可以发现数据流量、加工逻辑、系统运行等潜在异常，并及时反馈给用户告警信息，服务器采用视频图像智能识别技术系统对接收告警信息并发出告警警报，通过预置的视频终端对该告警信息进行可视化展示。

进一步地，服务器将告警信息存储于区块链数据库中，具体此处不做限定。

本发明实施例中，获取预置运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，以及根据标识信息查询标识信息对应的初始数据表；对初始数据表进行属性提取，得到初始数据表对应的属性字段，并计算属性字段对应的属性值；根据预置的转换规则对属性字段进行数据表转换，得到目标数据表；将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至预置的终端，通过终端对告警信息进行可视化展示。本发明通过深度学习模型对运维监控中心产生的数据进行检测，有效提高了异常数据监测的准确率。

请参阅图2，本发明实施例中业务数据处理方法的另一个实施例包括：

201、获取预置运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，以及根据标识信息查询标识信息对应的初始数据表；

需要说明的是，服务器从运维监控中心的数据存储中心获取到异构数据，其中，异构数据包括：监控数据、业务数据、运维系统中的数据。标识信息是指用于唯一标识初始数据表，每个初始数据表有唯一的标识信息。标识信息包括但不限于数据表的业务名或数据表的编号，例如，标识信息可以为数据表的编号“1”、“2”或“3”等。属性字段如“数据集”、“报表”等。属性字段对应的属性值，例如：数据集对应的属性值为“10个”，或者“报表”对应的属性值为“100份”等。

202、对初始数据表进行属性提取，得到初始数据表对应的属性字段，并计算属性字段对应的属性值；

可选的，服务器调用预置的转换规则库并根据标识信息查询标识信息对应的转换规则；服务器若转换规则库中存在与标识信息对应的预设转换规则，则将预设转换规则作为标识信息对应的转换规则；服务器若转换规则库中不存在与标识信息对应的预设转换规则，则将初始数据表发送至预置的数据库中心；服务器接收数据库中心返回的通用转换规则，将通用转换规则作为标识信息对应的转换规则，并将通用转换规则和标识信息存储至转换规则库中。

具体的，服务器在转换规则库中找到与查询标识信息形式相同的标识信息的方法，具体可以是遍历转换规则库中的标识信息，检测到和查询标识信息完全一致的标识信息，或者是选择查询标识信息中的关键词，在转换规则库筛选出有相同关键词的标识信息，进而根据查询标识信息，从有相同关键词的标识信息中，再筛选出与查询标识信息完全一致的标识信息。进一步地，服务器获取到的查询标识信息，在转换规则库中进行遍历，当检索到和然后查询标识信息完全一致的标识信息，则根据查找到的标识信息，可以快速获取与该标识信息相对应的转换规则。具体的，服务器当在转换规则库中不存在与标识信息相对应的预设转换规则时，为了能够实现对初始数据表的属性字段的自动化转换，以提高数据表的处理效率，可以将初始数据表、标识信息和缺少预设转换规则包含在发送的内容中发送至审核员，便于审核员及时了解初始数据表的处理状态，以及能够及时根据实际业务需求，补充适用于接收到的内容信息中的初始数据表的转换规则。

203、根据预置的转换规则对属性字段进行数据表转换，得到目标数据表；

可选的，服务器计算目标数据表和初始数据表的相似度；服务器判断相似度是否超过预设目标值；服务器若超过，则执行将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；服务器若不超过，则生成报错信息，并将报错信息传输至运维监控中心。具体的，服务器根据目标数据表和初始数据表的数据字段相似度，服务器判断相似度是否超过预设目标值；若超过，则服务器执行将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；服务器若不超过，则生成报错信息，并将报错信息传输至运维监控中心，该报错信息用于运维人员对目标数据表进行修改。

204、将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

可选的，服务器对目标数据表进行二维转换，得到二维向量；服务器将二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；服务器调用预置损失函数计算二维向量和输出向量的损失值，并判断损失值是否超过预置损失阈值；服务器若是，则确定目标数据表存在异常并生成检测结果为异常；服务器若否，则将目标数据表发送至预置的审核中心。

具体的，服务器通过结合时间序列二维化与数据异常检测模型进行异常检测，能够根据所输入的时间序列进行计算检测，并识别存在异常的时刻，具体为：采集待检测的目标数据表，并通过预置滑动时间窗提取固定时间长度的子目标数据表，通过二维化可以获取到目标数据表中的时间序列的依赖信息；将二维向量输入预置数据异常检测模型进行目标数据表重构，得到检测结果，数据异常检测模型对无异常时间序列具有较好的重构能力，但是对异常数据进行重构的损失值偏大，因此将模型用于数据监控，并将损失值大于预设阈值的目标数据表判定为异常。

205、若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至预置的终端，通过终端对告警信息进行可视化展示；

可选的，服务器通过审核中心对目标数据表和初始数据表进行核验，得到核验后的数据表；服务器接收核验后的数据表，并将核验后的数据表作为标准数据表存储至运维监控中心。

具体的，服务器对目标数据表进行校验的方式具体可以是采用加密校验算法，通过对目标数据表中的属性值执行散列运算，来检查属性值的正确性，将计算出目标数据表中属性值的散列值与初始数据表中属性值的散列值进行比较，若两个散列值相同，则说明目标数据表完整无误，目标数据表中的属性值没有被窜改过，还可以通过其他校验方式对目标数据表进行校验，得到的校验结果包括正确或错误。

206、获取告警信息，并对告警信息进行预处理，生成告警信息对应的告警信息编码向量；

具体的，服务器获取待处理的告警信息，告警信息的获取主要包括以下这些种类：例如，通过监听生产系统，获取告警信息，比如获取转换单元重要告警信息：装置故障、SV总警告、SV采样链路中断、SV采样数据异常、GOOSE总警告、GOOSE链路中断等，告警信息主要是以往在生产环境中，比如AI开发、装置故障等过程中依靠人工对这些故障进行检查分析并发现问题根源的过程中形成的经验，凭借这些经验可以直接获取故障的根源所在，而且有着较高的准确率。这些凭借经验可以准确解决的告警信息被用作根故障分析模型的训练样本。需要说明的是，服务器将告警信息与各根故障信息进行匹配，得到告警信息与根故障信息一一对应的规则，将告警信息与各根故障信息一一对应的规则进行组合最终生成根故障信息。

207、将告警信息编码向量输入预置根故障分析模型进行根因分析，得到告警信息对应的根故障信息。

具体的，服务器将各告警信息编码向量输入预置根故障分析模型中进行特征信息的处理，根故障分析模型通过算法对告警信息溯源，建立根源告警信息和衍生告警信息直接的联系，执行算法的训练结果用作根因分析，或做新数据预测分析。预置根故障分析模型基于蒙特卡洛算法模型构建，以确定性的超均匀分布代替蒙特卡洛算法中的随机数序列，对于某些特定问题计算速度比普通的蒙特卡洛算法高几百倍。需要说明的是，根故障分析指针对严重伤害事件，经由回溯性调查过程，广泛地收集各种主、客观科学证据，区分出近端与远端原因，以了解造成失误的过程和原因，并进行系统性检讨，研拟改善策略以减少失误的发生，就是找出造成潜在执行偏差的最基本或有因果关系的程序。根本原因分析法的基本概念是以系统改善为目的，着眼于整个系统及过程面的探究。

可选的，服务器获取用户确认请求，其中，用户确认请求包括用户身份标识和异常数据确认标识；服务器根据用户身份标识对用户进行身份核验，生成身份核验结果，其中，身份核验结果包括通过和不通过；服务器若身份核验结果为通过，则基于异常数据确认标识，对目标数据表进行故障处理；服务器若身份核验结果为不通过，则将告警信息发送至运维监控中心。

需要说明的是，用户身份标识是指用户的标识。服务器获取到异常数据后，发送给监控端预设的接口，监控端根据该预设的接口查看异常数据，并对该异常数据进行判断，向服务器发送用户确认请求，服务器获取的用户确认请求中包括用户身份标识。其中，异常数据确认标识是指与用户身份标识对应的用户对异常数据进行修改或确认的标识。具体的，数据库中存储有可对异常数据进行修改或确认的标识。服务器获取用户身份标识，通过用户身份标识查找数据库，若从数据库中查找到与用户身份标识相对应的标识，则身份验证成功，则可对异常数据进行修改或确认。具体的，若身份验证成功后，服务器根据用户确认请求中的异常数据确认标识对异常数据进行修改或确认处理。进一步地，服务器若身份核验结果为通过，则基于异常数据确认标识，对目标数据表进行故障处理；服务器若身份核验结果为不通过，则将告警信息发送至运维监控中心。

进一步地，服务器将告警信息存储于区块链数据库中，具体此处不做限定。

本发明实施例中，获取预置运维监控中心的异构数据，并对异构数据进行标识提取，得到标识信息，以及根据标识信息查询标识信息对应的初始数据表；对初始数据表进行属性提取，得到初始数据表对应的属性字段，并计算属性字段对应的属性值；根据预置的转换规则对属性字段进行数据表转换，得到目标数据表；将目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若检测结果为异常，则根据目标数据表生成告警信息，并将告警信息传输至预置的终端，通过终端对告警信息进行可视化展示。本发明通过深度学习模型对运维监控中心产生的数据进行检测，有效提高了异常数据监测的准确率。

上面对本发明实施例中业务数据处理方法进行了描述，下面对本发明实施例中业务数据处理装置进行描述，请参阅图3，本发明实施例中业务数据处理装置的一个实施例包括：

获取模块301，用于获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；

提取模块302，用于对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；

转换模块303，用于根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；

检测模块304，用于将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

可视化模块305，用于若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

进一步地，服务器将告警信息存储于区块链数据库中，具体此处不做限定。

本发明实施例中，获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。本发明通过深度学习模型对运维监控中心产生的数据进行检测，有效提高了异常数据监测的准确率。

请参阅图4，本发明实施例中业务数据处理装置的另一个实施例包括：

获取模块301，用于获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；

提取模块302，用于对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；

转换模块303，用于根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；

检测模块304，用于将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

可视化模块305，用于若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

可选的，业务数据处理装置还包括：

匹配模块306，用于调用预置的转换规则库并根据所述标识信息查询所述标识信息对应的转换规则；若所述转换规则库中存在与所述标识信息对应的预设转换规则，则将所述预设转换规则作为所述标识信息对应的转换规则；若所述转换规则库中不存在与所述标识信息对应的所述预设转换规则，则将所述初始数据表发送至预置的数据库中心；接收所述数据库中心返回的通用转换规则，将所述通用转换规则作为所述标识信息对应的转换规则，并将所述通用转换规则和所述标识信息存储至所述转换规则库中。

可选的，业务数据处理装置还包括：

计算模块307，用于计算所述目标数据表和所述初始数据表的相似度；判断所述相似度是否超过预设目标值；若超过，则执行所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若不超过，则生成报错信息，并将所述报错信息传输至所述运维监控中心。

可选的，检测模块304具体用于：

对所述目标数据表进行二维转换，得到二维向量；将所述二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；调用预置损失函数计算所述二维向量和所述输出向量的损失值，并判断所述损失值是否超过预置损失阈值；若是，则确定所述目标数据表存在异常并生成检测结果为异常；若否，则将所述目标数据表发送至预置的审核中心。

可选的，业务数据处理装置还包括：

核验模块308，用于通过所述审核中心对所述目标数据表和所述初始数据表进行核验，得到核验后的数据表；接收所述核验后的数据表，并将所述核验后的数据表作为标准数据表存储至所述运维监控中心。

可选的，业务数据处理装置还包括：

根因分析模块309，用于获取所述告警信息，并对所述告警信息进行预处理，生成所述告警信息对应的告警信息编码向量；将所述告警信息编码向量输入预置根故障分析模型进行根因分析，得到所述告警信息对应的根故障信息。

可选的，业务数据处理装置还包括：

处理模块310，用于获取用户确认请求，其中，所述用户确认请求包括用户身份标识和异常数据确认标识；根据所述用户身份标识对用户进行身份核验，生成身份核验结果，其中，所述身份核验结果包括通过和不通过；若所述身份核验结果为通过，则基于所述异常数据确认标识，对所述目标数据表进行故障处理；若所述身份核验结果为不通过，则将所述告警信息发送至所述运维监控中心。

进一步地，服务器将告警信息存储于区块链数据库中，具体此处不做限定。

本发明实施例中，获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。本发明通过深度学习模型对运维监控中心产生的数据进行检测，有效提高了异常数据监测的准确率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的业务数据处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中业务数据处理设备进行详细描述。

图5是本发明实施例提供的一种业务数据处理设备的结构示意图，该业务数据处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对业务数据处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在业务数据处理设备500上执行存储介质530中的一系列指令操作。

业务数据处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的业务数据处理设备结构并不构成对业务数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种业务数据处理设备，所述业务数据处理设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述业务数据处理方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述业务数据处理方法的步骤。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种业务数据处理方法，其特征在于，所述业务数据处理方法包括：

获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；

对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；

根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；

将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

2.根据权利要求1所述的业务数据处理方法，其特征在于，在所述对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值之后，所述根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表之前，所述业务数据处理方法还包括：

调用预置的转换规则库并根据所述标识信息查询所述标识信息对应的转换规则；

若所述转换规则库中存在与所述标识信息对应的预设转换规则，则将所述预设转换规则作为所述标识信息对应的转换规则；

若所述转换规则库中不存在与所述标识信息对应的所述预设转换规则，则将所述初始数据表发送至预置的数据库中心；

接收所述数据库中心返回的通用转换规则，将所述通用转换规则作为所述标识信息对应的转换规则，并将所述通用转换规则和所述标识信息存储至所述转换规则库中。

3.根据权利要求1所述的业务数据处理方法，其特征在于，所述业务数据处理方法还包括：

计算所述目标数据表和所述初始数据表的相似度；

判断所述相似度是否超过预设目标值；

若超过，则执行所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

若不超过，则生成报错信息，并将所述报错信息传输至所述运维监控中心。

4.根据权利要求1所述的业务数据处理方法，其特征在于，所述将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果，包括：

对所述目标数据表进行二维转换，得到二维向量；

将所述二维向量输入预置的数据异常检测模型进行时序数据重构，得到输出向量；

调用预置损失函数计算所述二维向量和所述输出向量的损失值，并判断所述损失值是否超过预置损失阈值；

若是，则确定所述目标数据表存在异常并生成检测结果为异常；

若否，则将所述目标数据表发送至预置的审核中心。

5.根据权利要求4所述的业务数据处理方法，其特征在于，在所述若否，则将所述目标数据表发送至预置的审核中心之后，所述业务数据处理方法还包括：

通过所述审核中心对所述目标数据表和所述初始数据表进行核验，得到核验后的数据表；

接收所述核验后的数据表，并将所述核验后的数据表作为标准数据表存储至所述运维监控中心。

6.根据权利要求1所述的业务数据处理方法，其特征在于，所述若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示之后，所述业务数据处理方法还包括：

获取所述告警信息，并对所述告警信息进行预处理，生成所述告警信息对应的告警信息编码向量；

将所述告警信息编码向量输入预置根故障分析模型进行根因分析，得到所述告警信息对应的根故障信息。

7.根据权利要求1-6中任一项所述的业务数据处理方法，其特征在于，在所述若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示之后，所述业务数据处理方法还包括：

获取用户确认请求，其中，所述用户确认请求包括用户身份标识和异常数据确认标识；

根据所述用户身份标识对用户进行身份核验，生成身份核验结果，其中，所述身份核验结果包括通过和不通过；

若所述身份核验结果为通过，则基于所述异常数据确认标识，对所述目标数据表进行故障处理；

若所述身份核验结果为不通过，则将所述告警信息发送至所述运维监控中心。

8.一种业务数据处理装置，其特征在于，所述业务数据处理装置包括：

获取模块，用于获取预置运维监控中心的异构数据，并对所述异构数据进行标识提取，得到标识信息，以及根据所述标识信息查询所述标识信息对应的初始数据表；

提取模块，用于对所述初始数据表进行属性提取，得到所述初始数据表对应的属性字段，并计算所述属性字段对应的属性值；

转换模块，用于根据预置的转换规则对所述属性字段进行数据表转换，得到目标数据表；

检测模块，用于将所述目标数据表输入预置的数据异常检测模型进行异常检测，得到检测结果；

可视化模块，用于若所述检测结果为异常，则根据所述目标数据表生成告警信息，并将所述告警信息传输至预置的终端，通过所述终端对所述告警信息进行可视化展示。

9.一种业务数据处理设备，其特征在于，所述业务数据处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述业务数据处理设备执行如权利要求1-7中任一项所述的业务数据处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的业务数据处理方法。

Images