CN111327492A - 一种全链路监控处理方法 - Google Patents

Abstract

本发明涉及一种全链路监控处理方法，所述方法包括：步骤S1：节点进行业务处理并获取监控数据；步骤S2：基于监控数据确定重点业务和重点节点；步骤S3：基于重点业务和重点节点进行业务处理调整。本发明能够根据信息或者业务的数据的外在特征和数据本身的内容特征进行全链路监控；通过多维度数据监控，在考虑节点异常时，不独立的处理节点而将节点的连接关系，节点和业务的关系等融合起来，从而提高了监控效率，通过和上述监控处理方式配合的业务处理调整最大化了监控利用率。

Description

一种全链路监控处理方法

【技术领域】

本发明属于计算机技术领域，尤其涉及一种全链路监控处理方法。

【背景技术】

随着现代技术的革新，大部分的智能化设备以及系统渐渐被人们所熟知。从智能医疗呼叫查询通信系统、智能家居、智能交通、智能电网，智能建筑。智能技术正在改变我们的生活。爆炸式的数据已经大大超出了人们所承受的限度，所以他们破迫切的需要变革。如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。因此，数据挖掘方法应运而生。现在的传统的数据分析处理技术已经越来越不适应当前大数据分析和处理的需求。为了节约成本，为大规模数据的存储和计算提供分布式处理框架，云计算、大数据、云存储、MapReduce、BigTable等相关技术被提出。面对现在的大数据形式、虚拟化处理的信息处理方式，业务的处理节点是透明不可见的，业务的处理可能涉及多个节点，在这样的环境下，传统的监控处理方式显然不能够适应了，如何在这样的技术发展阶段仍旧能够有效的进行信息的监控是热点问题。本发明能够根据信息或者业务的数据的外在特征和数据本身的内容特征进行全链路监控；通过多维度数据监控，能够从多个维度出发进行异常发现量化，在进行多维度化后，直接的进行简单的矩阵区域限定就能够使得异常的处理向着特定的维度倾斜，从而有效的进行特定类型异常的发现，从而实现层次化监控；通过节点级和平台级的全链路监控处理，能够对业务和节点异常进行部分独立和部分融合的统一化处理；对于可能出现不匹配、业务独立异常和节点独立异常情况分别的进行有针对性的处理。在考虑节点异常时，不独立的处理节点而将节点的连接关系，节点和业务的关系等融合起来，从而提高了监控效率，通过和上述监控处理方式配合的业务处理调整最大化了监控利用率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种全链路监控处理方法，所述方法包含：

步骤S1：节点进行业务处理并获取监控数据；

步骤S2：基于监控数据确定重点业务和重点节点；

步骤S3：基于重点业务和重点节点进行业务处理调整。

进一步的，所述步骤S1具体为：节点进行业务的部分或者全部处理，获取多维度监控数据，标准化所述多维度监控数据，基于所述标准化后的多维度监控数据进行节点级数据监控。

进一步的，所述步骤S2具体为:从各个业务节点获取监控数据，基于异常信息和业务的执行节点及其业务执行情况确定重点业务，基于异常信息和节点的连接关系确定重点节点。

进一步的，所述步骤S3具体为：对于重点业务，更换节点进行业务处理；对于重点节点，圈定重点区域，获取重点区域内节点中所有出现业务异常的业务，对这些业务的类型进行类型分析，如果类型为集中的，则确定为节点和业务之间不匹配而调整业务的分配；否则，确定为节点异常，从对进行节点异常的排查。

进一步的，所述获取多维度监控数据，具体为：获取三个维度的监控数据。

进一步的，所述三个维度的监控信息分别为业务处理过程中节点的资源使用情况信息、业务完成情况信息、业务内容信息。

进一步的，所述标准化所述多维度监控数据，具体为：将所述多维度监控数据中的每一维度数据分别进行标准化处理后用向量的形式表示。

进一步的，所述从各个业务节点获取的监控数据包含异常信息。

进一步的，业务调整处理包括业务分配的调整、节点的测试启动、重点节点的重点监测；或者节点分配黑名单的设置。

进一步的，所述更换节点进行业务处理，具体为：对于出现业务异常的业务，在重新选择节点进行所述业务的执行。

本发明的有益效果包括：能够根据信息或者业务的数据的外在特征和数据本身的内容特征进行全链路监控；通过多维度数据监控，能够从多个维度出发进行异常发现量化，在进行多维度化后，直接的进行简单的矩阵区域限定就能够使得异常的处理向着特定的维度倾斜，从而有效的进行特定类型异常的发现，从而实现层次化监控；通过节点级和平台级的全链路监控处理，能够对业务和节点异常进行部分独立和部分融合的统一化处理；对于可能出现不匹配、业务独立异常和节点独立异常情况分别的进行有针对性的处理。在考虑节点异常时，不独立的处理节点而将节点的连接关系，节点和业务的关系等融合起来，从而提高了监控效率，通过和上述监控处理方式配合的业务处理调整最大化了监控利用率。。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的全链路监控处理方法示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种全链路监控处理方法进行详细说明，如附图1所示，所述方法包含：

在大数据、云计算环境下，业务在处理过程中涉及一个或多个处理节点，每个处理节点本身对于业务的提交者来说是透明的，但是一些数据对用户来说是可见的，例如：业务的整体处理时间等；而对于其中有些一些非透明的信息，也可以通过添加必要的监控事件的方式从日志中等获取相关信息；

步骤S1：节点进行业务处理并获取监控数据；具体的：节点进行业务的部分或者全部处理，获取多维度监控数据，标准化所述多维度监控数据，基于所述标准化后的多维度监控数据进行节点级数据监控；

所述获取多维度监控数据，具体为：获取三个维度的监控数据；所述三个维度的监控信息分别为业务处理过程中节点的资源使用情况信息、业务完成情况信息、业务内容信息；其中：资源使用情况为节点的处理器使用情况、端口使用情况、存储器使用情况等，这些使用情况用相应的特征值表征，例如：处理器使用率，端口使用率、存储空间占用大小等来表征；业务完成情况为业务完成的一些整体情况信息，例如：业务的完成时间、业务所处理的数据量大小等；业务内容信息为业务本身涉及的内容信息；例如：内容抽样信息，对业务的特征值进行抽样，选择特定业务特征值，针对该抽样值或者特征值查看其内容、边界值内容次数，特定内容的值为边界值的次数等；现有技术中，监控往往仅仅是信息流进行监控，对于信息的具体内容或者信息引起的执行主体的情况均不做考虑，这样就导致重要的监控信息遗失，降低了监控的效率；显然多维度可以是2到任意多的维度，对于这些维度只要能进行量化，枚举化等数学表示就能够进行监控数据的后续计算；

所述标准化所述多维度监控数据，具体为：将所述多维度监控数据中的每一维度数据分别进行标准化处理后用向量的形式表示；例如：资源使用情况信息分别用处理器使用率，端口使用率、存储空间占用大小来表征，标准化为<PU,PC,PM>＝<处理器使用率，端口使用率、存储空间占用率>；

所述基于所述标准化后的多维度监控数据进行节点级数据监控，具体为：对于每个维度，确定所述维度的监控数据距离所述维度监控数据的聚类中心之间的差值，基于所述差值计算加权距离；基于所述加权距离确定待确定异常或者异常；此时可以直接进行异常的判定，也可以进一步的在从每个特征表征的维度含义出发进行异常的确定；其中：所述差值为将监控数据对应的向量和聚类中心对应的向量相减后得到的差值向量对应的绝对值向量；

对于每个维度来说，监控数据的聚类中心为根据历时监控数据进行数据聚类后获取的；聚类中心用向量表示，监控数据对应的向量和聚类中心对应的向量之间的差值也通过向量的形式表示；

基于所述差值计算加权距离，具体为：对于每个维度的差值向量计算加权开平方距离作为所述加权距离；

所述基于所述加权距离确定待确定异常，具体为；确定加权距离中超过距离阈值的维度个数，如果所述个数大于个数阈值，则确定异常或待确定异常；在确定异常的情况下，直接确定所述业务出现业务异常；而在待确定异常情况下，需要进一步的确定是否所述异常是确实存在的；其中：每个维度的加权距离对应的距离阈值是不同的；个数阈值为动态设置的预设值，能够根据监控策略进行动态调整，这个调整是全局、全平台范围内的调整；所述个数阈值还能够根据本地硬件资源使用情况进行动态调整，这个调整是局部范围内的调整，当节点在忙着处理业务时，所述个数阈值的设置为较大的值，从而容忍更多的数据摆动，反之亦然；可以根据节点中单位时间内处理的业务的个数或者业务的大小来确定节点是忙着处理业务还是因为异常情况而导致资源繁忙；通过距离的差异化设置和个数来进行监控的松紧调整，能够初步的适应性的确定异常，从多个维度的角度看，是否出现异常可能；

进一步，在确定待确定异常的情况下，基于所述差值确定差值矩阵，基于所述差值矩阵确定异常；其中：所述差值为将监控数据对应的向量和聚类中心对应的向量相减后得到的差值向量对应的绝对值向量；

所述基于所述差值确定差值矩阵，具体为：将所有维度中的每个维度对应的绝对值向量作为矩阵的一行所构成的矩阵为差值矩阵；对于矩阵中缺失的元素填充默认值，所述默认值为NULL；当监控数据被分为N维时，对应的差值矩阵包括N行；

所述基于所述差值矩阵确定异常，具体为：将差值矩阵和阈值矩阵进行比较以设置异常矩阵，当差值矩阵中的元素在阈值矩阵中相应的元素范围内时，设置异常矩阵中相应的元素为1，否则设置相应的元素为0，根据异常矩阵中相应位置的元素为1的个数确定异常；其中：异常矩阵中元素的初始值均为NULL，异常矩阵和阈值矩阵以及差值矩阵的维度相同；在差值矩阵中相应元素值为NULL时，直接设置异常矩阵中的相应元素值为NULL；

优选的：所述相应位置为异常矩阵中的全部区域；

优选的：所述相应位置为异常矩阵中的部分区域；例如：异常矩阵中第1，2行对应的区域；通过异常矩阵的区域选取，能够在可能发生特征异常的晴光下，对特定类型的特征异常进行额外的关注；例如：对资源使用情况尽心特殊关注，这样就只需要关注第一行对应的区域；

优选的：异常为业务异常；

优选的：异常还包括节点异常；当连续出现业务异常的个数超过预设值、或单位时间内异常业务的个数超过预设值时确定为节点异常；节点异常可以在平台级确定，也可以在节点级确定并上报平台级；

步骤S2：基于监控数据确定重点业务和重点节点；具体的：从各个业务节点获取监控数据，基于异常信息和业务的执行节点及其业务执行情况确定重点业务，基于异常信息和节点的连接关系确定重点节点；步骤S1中进行了节点级监控，基于节点及监控数据能够进一步的进行平台级的节点监控，从而实现全链路的监控，进而进行业务调整处理，例如：业务分配的调整、节点的测试启动、重点节点的重点监测；或者节点分配黑名单的设置等；

优选的：所述从各个业务节点获取的监控数据包含异常信息；

所述基于异常信息和业务的执行节点及其业务执行情况确定重点业务，具体为：获取异常信息中的业务异常信息，对于每个业务确定异常向量VS＝<vs1,vs2,···vsi···，vsn>，基于异常向量从业务中确定重点业务；其中：n为业务被并行执行的节点数，vsi为业务在第i个节点上执行时的异常值；异常值表示了业务在该节点上异常情况的量化值；

优选的：当业务在节点i上执行且出现了异常，则vsi＝1，否则vsi＝0；采用这种方式进行评判仅仅是依赖于业务在该节点上执行且出现了异常，对于业务如何在节点之间分配，业务的实际执行量等均为考量，而实际上业务节点上分配的执行量是不同的，通过详细刻画该执行量才能够更好的进行异常的量化评判；

优选的：通过下式计算异常值；

其中：NEi为业务在节点i上单位时间内出现的异常个数，Ti为业务在节点i上的执行时间；其中：单位时间可以为进行节点级监控的监控周期；该监控周期在所有节点上是相同的；在每个节点对应的监控周期不同时，需要对该监控周期及其对应的NEi进行标准化处理以进行多节点的一致性评判；

所述基于异常向量从业务中确定重点业务，具体为：基于下式计算业务异常值SE；确定业务异常值超过异常值阈值的业务为重点业务；

其中；n1为业务在节点上出现异常的节点数量总和；

可替换的：选择∑vsi的值超过异常值阈值的业务为重点业务；其中：异常值阈值为预设值；

所述基于异常信息和节点的连接关系确定重点节点，具体为：确定节点异常信息，对于每个节点，当节点异常信息符合预设条件时，设置所述节点为重点节点，并设置重点节点对应的重点值为初始值；基于所述节点的连接关系对所述重点值进行调整，基于调整后的重点值动态设置所述节点是否为重点节点并相应的设置重点值为调整后的重点值；重点值表征了节点为重点节点的程度；

优选的：当异常信息中包含节点异常信息时，直接从异常信息中获取节点异常信息；否则，同一个节点连续出现业务异常的个数超过预设值、或同一个节点单位时间内异常业务的个数超过预设值时确定为节点异常；

预设条件为对节点异常信息的判断条件；判断节点异常信息是否符合预设条件和节点异常信息包含的具体内容相关，当节点异常信息为连续出现业务异常个数时，预设条件设置为当连续出现业务异常的个数超过预设值时、或连续出现业务异常的个数超过预设值的次数超过预设次数时等；类似可以设置其他预设条件；

所述基于所述节点的连接关系对所述重点值进行调整，具体为：基于和所述节点直接相连的节点的重点值信息对重点值进行调整；例如：当和所述节点直接相连的节点中重点值超过预设值的节点个数和/或比例超过第一预设个数和/或第一预设比例时，增加所述重点值；反之，当直接相连的节点中重点值低于预设值的节点个数和/或比例低于第二预设个数和/或第二比例时，降低所述重点值；

所述基于调整后的重点值动态设置所述节点是否为重点节点并相应的设置重点值为调整后的重点值，具体为：当经过调整后的重点值在设置重点值范围内时，保持所述节点为重点节点，并设置所述重点值为调整后的重点值；反之，取消所述节点为重点节点；考虑到重点值和节点的连接关系都是动态变化的，所以重点节点的构成也是动态变化的，基于重点节点和业务处理方式得随之调整，从而使得整个全链路监控为动态监控和动态调整的；

步骤S3：基于重点业务和重点节点进行业务处理调整；具体的：对于重点业务，更换节点进行业务处理；对于重点节点，圈定重点区域，获取重点区域内节点中所有出现业务异常的业务，对这些业务的类型进行类型分析，如果类型为集中的，则确定为节点和业务之间不匹配而调整业务的分配；否则，确定为节点异常，从对进行节点异常的排查；

所述更换节点进行业务处理，具体为：对于出现业务异常的业务，在重新选择节点进行所述业务的执行；

可替换的：对于重点业务，基于重点业务的多维度监控数据调整业务处理；基于多维度监控数据确定异常产生的维度，基于所述维度调整业务处理；例如：在多维监控数据为上述三个维度时，业务内容信息维度出现异常，那么需要对业务本身进行调整以顺利执行该业务；又例如：资源使用情况出现异常，那么可能是节点本身不能够满足业务处理的需要，从而需要调整节点进行所述业务的执行，还可能是业务本身对资源的使用方面有异常情况，从而可以有针对性的调整；在调整节点进行业务执行时，可以选择资源方面满足所述业务需求的节点进行有针对性的调整；

所述圈定重点区域，具体为：将彼此连通的重点节点构成的区域作为重点区域；重点区域中包含一个或者多个彼此连通的重点节点；那么对于整个平台来说，可能存在一个或多个重点区域；所述彼此连通为直接连接；

可替换的，所述圈定重点区域，具体为：将彼此连通的重点节点构成的区域作为种子重点区域；种子重点区域中包含一个或者多个彼此连通的重点节点；将所有和种子重点区域中的超过预定数量的重点节点保持直接通信连接的节点设置为重点区域中的节点；例如：对于和所有种子重点区域中的重点节点均直接通信连接的节点，其软件异常的可能性很大，因为直接通信的数量大所以物理距离不大而主机本身为属于相同的环境下，那么同类型硬件异常的可能性也很大；所以有必要进行重点区域的有效扩展来提高异常的排除效率；

所述获取重点区域内节点中所有出现业务异常的业务，具体为：对于重点区域内的所有重点节点上执行的业务，确定业务是否出现业务异常以获取所有出现业务异常的业务；

优选的：对一定时间范围内的业务进行分析；

优选的：周期性的基于重点业务和重点节点进行业务处理调整；因此这里获取所有出现业务异常的业务也是获取周期范围内的业务；

所述业务的类型可以为多种类型分类，例如：可以是业务本身的应用类型(支付、鉴权等；又或者个人业务和集体业务等)、资源使用类型(通信集中性、计算密集型等)、完成类型(例如：执行时间长、执行时间段等)，或者业务内容类型(摘要值为特定值、多边界值访问等)中的一个或者多个；

上面进行类型分析可以是确定是否为特定类型的业务；或者对类型本身进行聚类分析，从而确定类型的大致分布情况；如果类型分布为特定的几种类型，例如：异常类型大多数均是通信密集型业务，此时类型为集中的，节点本身和通信集中型业务之间是不匹配的，因此，在进行所述类型的业务后续分配过程中，将所述业务重新进行节点分配，从而避免异常的发生；反之，如果是节点因为软硬件问题而导致业务执行出现了问题，那么需要对节点本身进行软硬件排查；

所述进行节点异常的排查，例如：对节点本身进行执行监控以判断是否出现硬件或者软件异常；

优选的：所述进行业务处理调整，具体为：业务分配的调整、节点测试的启动、重点节点的重点监测；或者节点分配黑名单的设置等；；

通过上面这这样的结合节点和平台本身的全链路监控，能够大大的提高异常发现的效率，并有针对性的进行相应的调整处理；

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种全链路监控处理方法，其特征在于，所述方法包含：

步骤S1：节点进行业务处理并获取监控数据；

步骤S2：基于监控数据确定重点业务和重点节点；

步骤S3：基于重点业务和重点节点进行业务处理调整。

2.根据权利要求1所述的全链路监控处理方法，其特征在于，所述步骤S1具体为：节点进行业务的部分或者全部处理，获取多维度监控数据，标准化所述多维度监控数据，基于所述标准化后的多维度监控数据进行节点级数据监控。

3.根据权利要求2所述的全链路监控处理方法，其特征在于，所述步骤S2具体为:从各个业务节点获取监控数据，基于异常信息和业务的执行节点及其业务执行情况确定重点业务，基于异常信息和节点的连接关系确定重点节点。

4.根据权利要求3所述的全链路监控处理方法，其特征在于，所述步骤S3具体为：对于重点业务，更换节点进行业务处理；对于重点节点，圈定重点区域，获取重点区域内节点中所有出现业务异常的业务，对这些业务的类型进行类型分析，如果类型为集中的，则确定为节点和业务之间不匹配而调整业务的分配；否则，确定为节点异常，从对进行节点异常的排查。

5.根据权利要求4所述的全链路监控处理方法，其特征在于，所述获取多维度监控数据，具体为：获取三个维度的监控数据。

6.根据权利要求5所述的全链路监控处理方法，其特征在于，所述三个维度的监控信息分别为业务处理过程中节点的资源使用情况信息、业务完成情况信息、业务内容信息。

7.根据权利要求6所述的全链路监控处理方法，其特征在于，所述标准化所述多维度监控数据，具体为：将所述多维度监控数据中的每一维度数据分别进行标准化处理后用向量的形式表示。

8.根据权利要求7所述的全链路监控处理方法，其特征在于，所述从各个业务节点获取的监控数据包含异常信息。

9.根据权利要求8所述的全链路监控处理方法，其特征在于，业务调整处理包括业务分配的调整、节点的测试启动、重点节点的重点监测；或者节点分配黑名单的设置。

10.根据权利要求9所述的全链路监控处理方法，其特征在于，所述更换节点进行业务处理，具体为：对于出现业务异常的业务，在重新选择节点进行所述业务的执行。

Images