CN113821366B - 基于doris的自动分析异常方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于doris的自动分析异常方法。该方法包括：采集各个命名类别的日志，生成多个数据表；接收用户输入的元信息，基于doris利用元信息对多个数据表进行维护；基于doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于指定维度项目和/或指定指标项目异常，利用与定维度项目和/或指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；利用至少一个异常分析结果，确定最终异常分析结果。本发明实施例还提供一种基于doris的自动分析异常系统。本发明实施例可以分析出维度字段、指标字段，实现了各个命名类别日志的自动分析。同时确定出异常分析结果，减少了监控数据的人员的工作量。

Description

基于doris的自动分析异常方法及系统

技术领域

本发明涉及数据分析领域，尤其涉及一种基于doris的自动分析异常方法及系统。

背景技术

为了保证企业中各业务的稳定运行，会对各业务进行监控，例如活跃度、访问量、用户数等功能进行监控。通常都是使用数据开发ETL(Extract-Transform-Load，数据仓库技术)将业务日志解析并清洗，建立数据仓库，再根据业务需求计算业务指标，如活跃率，用户数等。为关注这些业务指标，会对这些指标额外配置监控功能，定时关注这些指标的变化，一旦触发阈值会告知相关关注人，相关关注人再去人工调取数据进行进一步分析并得出结论。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

监控核心指标是为了发现问题，然而用户的最终的目的是定位问题并在最短时间得出结论和给出反馈。但现有技术只做到了发现问题。从发现问题到给出结论还需要人力支持。

现有技术中，由于不同的数据开发工程师有自己的命名习惯与规范，难以自动分析进行区分，同时如果在对多个指标进行监控，若同一个问题会导致的多个指标异常，当这些多个指标异常警告时，会对同一个问题进行重复多次警告，相关关注人会收到冗余的告警信息，加重工作量。

发明内容

为了至少解决现有技术中由于不同数据开发工程师习惯不同，难以自动区分、以指标异常进行警告会产生冗余警告信息，加重相关数据关注人员的工作量，无法定位问题对应的结论的问题。

第一方面，本发明实施例提供一种基于doris的自动分析异常方法，包括：

采集各个命名类别的日志，生成多个数据表；

接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；

基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；

利用所述至少一个异常分析结果，确定最终异常分析结果。

第二方面，本发明实施例提供一种基于doris的自动分析异常系统，包括：

数据表生成程序模块，用于采集各个命名类别的日志，生成多个数据表；

维护程序模块，用于接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；

监控程序模块，用于基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；

异常分析程序模块，用于利用所述至少一个异常分析结果，确定最终异常分析结果。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于doris的自动分析异常方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于doris的自动分析异常方法的步骤。

本发明实施例的有益效果在于：解决了不同的数据开发工程师有自己的命名习惯与规范时，可以分析出维度字段、指标字段，实现了各个命名类别日志的自动分析。同时可以根据同一个异常指标配置多种异常判定算法，根据需要自动分析的维度配置多种异常判断算法，确定出异常分析结果，减少了监控数据的人员的工作量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种基于doris的自动分析异常方法的流程图；

图2是本发明一实施例提供的一种基于doris的自动分析异常方法的设置指标和维度示意图；

图3是本发明一实施例提供的一种基于doris的自动分析异常方法的具体指标维度示意图；

图4是本发明一实施例提供的一种基于doris的自动分析异常方法的最终异常分析结果示意图；

图5是本发明一实施例提供的一种基于doris的自动分析异常方法的整体流程图；

图6是本发明一实施例提供的一种基于doris的自动分析异常系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明一实施例提供的一种基于doris的自动分析异常方法的流程图，包括如下步骤：

S11：采集各个命名类别的日志，生成多个数据表；

S12：接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；

S13：基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；

S14：利用所述至少一个异常分析结果，确定最终异常分析结果。

在本实施方式中，考虑到业务场景的多样性，例如语音领域中，场景业务，产品业务，技能业务等。因此对不同指标的分析算法有不同，监控指标的场景也会比相对固定的运营场景丰富。例如：在技能优化方面，技能在日请求数，活跃的用户数出现陡增都降，可以判断是某个产品新接入导致的，还是技能在某个场景上用户突然增多导致日用户数增多。

对于步骤S11，不同的开发者按照不同的业务进行ETL开发，由于不同的数据开发工程师有自己的命名习惯与规范，采集各个命名类别的JSON日志。用sparkSQL将数据处理并写入Hive(基于hadoop的数据仓库工具)，其中，Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。相比于Spark RDD API，Spark SQL包含了对结构化数据和在其上运算的更多信息，SparkSQL使用这些信息进行了额外的优化，使对结构化数据的操作更加高效和方便。

以技能优化举例：

例如，上述日志中，可以将productId，技能ID，城市，deviceId，userId等信息解析出来，做成一张数据表，基于这张表也可以继续做其他统计表出来，统计表中就有相应的指标，也就是需要监控的指标。同样的，其他日志的数据表生成在此不再赘述。

对于步骤S12，元信息是由开发人员在第一次创建表，对数据表构建模型的时候，对数据表增加相应的元信息的，如图2所示，例如，在设置指标中，开发人员可以自由的将“device_id”、“turn_amount”设置进指标当中，也可以将其他的命名加入至指标中。同样的，也可以在设置维度中进行命名的添加，对不同命名规则进行了维度、指标的统一。这样避免了不同的数据开发工程师有自己的命名习惯与规范，无法判断维度字段，指标字段等。

对ETL产生的数据仓库中的每一张表的字段是维度还是指标，并且指出哪些字段是时间字段。将这些信息维护至Doris中，因此在doris中可以查询到每张表的所有字段中哪些字段是维度，哪些是指标。

对于步骤S13，以技能监控为例，如图3所示，这个场景下需要对请求量进行监控，那么就需要先对每个技能的请求量进行统计。请求量是要用求和还是去重求和等等逻辑都是在这一步去做。

接下来需要对请求数监控，目前这个场景下，会计算每个技能的同比，环比以及连续几日增长的变化率和变化量，如果请求数超出预设的阈值时(这个阈值是由数据开发人员配置，不做限制)，就会被判定为异常。进一步地对比算法的异常结果，只要一个技能的请求量在这几个算法中有两个异常(例如，同比。环比。变化率都异常)，那就会被最终认定为异常。

在确定异常后，需要对第三步的指标进行异常判定，若算法判定指标异常，需要给出异常的指标的维度的具体数值。并将这个数据传至分析接口。在自动分析时，如何根据场景的不同使用不同的分析算法。因此在自动分析模块中可以根据同一个异常指标配置多种异常判定算法，根据需要自动分析的维度配置多种异常判断算法。分析接口会获取异常指标的具体维度以及指标的情况，同时需要两个信息，一是会获取该指标的表中其他的维度的信息，二是该指标异常之后需要的异常分析的算法。在获得以上信息之后，程序会根据获得维度信息来更换维度来计算指标，继而对调取的数据执行多种异常分析算法，在每一个异常算法结果中会计算中会计算出每一个结果的置信值，并将结果保存。

具体的，技能监控为例，分析接口需要三个信息，数据模型的元信息(图2中的指标、维度信息)，图3中的数据信息，还有异常判断的具体数据集。

作为一种实施方式，所述异常分析结果用于判断语音产品异常或意图异常；

如果最终数据集中某个技能A在同比的情况下出现异常了，需要判断技能在哪个维度出现问题了，是语音产品中的异常还是意图层面的异常。

1、先获得技能A在昨天和今天的每个产品的请求量数据，同时计算技能A在两日的请求量之差是多少。

2、然后计算每个产品在技能A情况下同比，请求数变化量以及变化量占总变化量的比例。

3、计算这个产品异常的可能性，例如可以用：同比*变化量占总变化量的比例＝异常可能性。

4、然后更换维度将产品换成意图，重复上述1、2、3步，得到每个维度的异常分析结果。

对于步骤S14，将在步骤S13中得到的多个异常分析结果进行融合，从而确定最终异常分析结果，目的为将多个指标异常(同一个问题导致的多个异常)融合成一个整体异常问题，从而输出一个整体的异常分析结果。

通过该实施方式可以看出，解决了不同的数据开发工程师有自己的命名习惯与规范时，可以分析出维度字段、指标字段，实现了各个命名类别日志的自动分析。同时可以根据同一个异常指标配置多种异常判定算法，根据需要自动分析的维度配置多种异常判断算法，确定出异常分析结果，减少了监控数据的人员的工作量。

作为一种实施方式，在本实施例中，所述利用所述至少一个异常分析结果，确定最终分析结果包括：

按照异常置信度，从高到低的提取所述至少一个异常分析结果中预设数量的异常分析结果，将所述预设数量的异常分析结果进行融合，得到最终异常分析结果。

在本实施方式中，在获得了多个异常分析算法得到的异常分析结果之后，对比不同异常分析算法的置信值进行排序，可以得到异常分析结果的排序，然后将分析结果的前几个进行融合(置信度较高)，将分析结果的前几个融合成一个文本，如图4所示，【激活设备趋势】16S+(3128)，安卓-全链路以上异常，请前往系统的test_for_gj，demo1，demo2。融合后的异常分析结果是会显示哪些维度值导致指标发生了异常。

通过该实施方式可以看出，为了确保准确性，并非选择全部的异常分析结果，而是进一步地筛选了置信度更高的异常分析结果，提升了最终分析结果的准确性。

作为一种实施方式，在本实施例中，所述元信息还包括：时间字段，以通过判断字段为每个数据表中与所述时间相关的字段增加时间字段，用于规范与时间相关的命名类别。

在本实施方式中，考虑到了时间也是判断异常的一个重要的因素，例如请求量、占比等数据，在统计时都需要基于时间进行判断。因此，进一步地，可以在元信息中设置时间字段，可以统一判断关于时间的字段，提升异常分析结果的准确性。

作为一种实施方式，在本实施例中，在所述确定最终异常分析结果之后，所述方法还包括：

将所述最终异常分析结果发送至预设定的地址或语音警报。

在本实施方式中，考虑到监控数据的人员可能是单个人，也可能是一个项目组。可以将异常时的最终异常分析结果发送给单个人，也可以发送给群组。同样的，也可以进行语音播报，进一步提升警报效果，最终，基于doris的自动分析异常的流程如图5所示。

如图6所示为本发明一实施例提供的一种基于doris的自动分析异常系统的结构示意图，该系统可执行上述任意实施例所述的基于doris的自动分析异常方法，并配置在终端中。

本实施例提供的一种基于doris的自动分析异常系统10包括：数据表生成程序模块11，维护程序模块12，监控程序模块13和异常分析程序模块14。

其中，数据表生成程序模块11用于采集各个命名类别的日志，生成多个数据表；维护程序模块12用于接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；监控程序模块13用于基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；异常分析程序模块14用于利用所述至少一个异常分析结果，确定最终异常分析结果。

进一步地，所述异常分析结果用于判断语音产品异常或意图异常；

所述异常分析程序模块用于：

按照异常置信度，从高到低的提取所述至少一个异常分析结果中预设数量的异常分析结果，将所述预设数量的异常分析结果进行融合，得到最终异常分析结果。

进一步地，所述元信息还包括：时间字段，以通过判断字段为每个数据表中与所述时间相关的字段增加时间字段，用于规范与时间相关的命名类别。

进一步地，所述系统还包括异常警报程序模块，用于：

将所述最终异常分析结果发送至预设定的地址或语音警报。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于doris的自动分析异常方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

采集各个命名类别的日志，生成多个数据表；

接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；

基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和/或所述指定指标项目异常，利用与所述定维度项目和/或所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；

利用所述至少一个异常分析结果，确定最终异常分析结果。

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的基于doris的自动分析异常方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于doris的自动分析异常方法的步骤。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据处理功能的电子装置。

在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于doris的自动分析异常方法，包括：

采集各个命名类别的日志，生成多个数据表；

接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；所述元信息是由开发人员在第一次创建数据表，对数据表构建模型的时候，对数据表增加的；

基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和所述指定指标项目异常，利用与所述定维度项目和所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；所述指定维度项目包括时间、技能ID和技能名称，所述指定指标项目包括请求数；

利用所述至少一个异常分析结果，确定最终异常分析结果。

2.根据权利要求1所述的方法，其中，所述异常分析结果用于判断语音产品异常或意图异常；

所述利用所述至少一个异常分析结果，确定最终分析结果包括：

按照异常置信度，从高到低的提取所述至少一个异常分析结果中预设数量的异常分析结果，将所述预设数量的异常分析结果进行融合，得到最终异常分析结果。

3.根据权利要求1所述的方法，其中，所述元信息还包括：时间字段，以通过判断字段为每个数据表中与所述时间相关的字段增加时间字段，用于规范与时间相关的命名类别。

4.根据权利要求1所述的方法，其中，在所述确定最终异常分析结果之后，所述方法还包括：

将所述最终异常分析结果发送至预设定的地址或语音警报。

5.一种基于doris的自动分析异常系统，包括：

数据表生成程序模块，用于采集各个命名类别的日志，生成多个数据表；

维护程序模块，用于接收用户输入的元信息，基于doris利用所述元信息对所述多个数据表进行维护，其中，所述元信息包括：维度、指标，以通过判断字段为每个数据表中与所述元信息相关的字段增加维度或指标；所述元信息是由开发人员在第一次创建数据表，对数据表构建模型的时候，对数据表增加的；

监控程序模块，用于基于所述doris维护后的数据表确定每个维度下需要监控的指定维度项目和指定指标项目，响应于所述指定维度项目和所述指定指标项目异常，利用与所述定维度项目和所述指定指标项目相对应的至少一种异常分析算法，确定至少一个异常分析结果；所述指定维度项目包括时间、技能ID和技能名称，所述指定指标项目包括请求数；

异常分析程序模块，用于利用所述至少一个异常分析结果，确定最终异常分析结果。

6.根据权利要求5所述的系统，其中，所述异常分析结果用于判断语音产品异常或意图异常；

所述异常分析程序模块用于：

按照异常置信度，从高到低的提取所述至少一个异常分析结果中预设数量的异常分析结果，将所述预设数量的异常分析结果进行融合，得到最终异常分析结果。

7.根据权利要求5所述的系统，其中，所述元信息还包括：时间字段，以通过判断字段为每个数据表中与所述时间相关的字段增加时间字段，用于规范与时间相关的命名类别。

8.根据权利要求5所述的系统，其中，所述系统还包括异常警报程序模块，用于：

将所述最终异常分析结果发送至预设定的地址或语音警报。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。