CN107786368A - 异常节点检测方法以及相关装置 - Google Patents

异常节点检测方法以及相关装置 Download PDF

Info

Publication number
CN107786368A
CN107786368A CN201610799119.9A CN201610799119A CN107786368A CN 107786368 A CN107786368 A CN 107786368A CN 201610799119 A CN201610799119 A CN 201610799119A CN 107786368 A CN107786368 A CN 107786368A
Authority
CN
China
Prior art keywords
node
numerical value
multiple node
abod
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610799119.9A
Other languages
English (en)
Other versions
CN107786368B (zh
Inventor
贾禛
任睿
常玉立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Institute of Computing Technology of CAS
Original Assignee
Huawei Technologies Co Ltd
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Institute of Computing Technology of CAS filed Critical Huawei Technologies Co Ltd
Priority to CN201610799119.9A priority Critical patent/CN107786368B/zh
Publication of CN107786368A publication Critical patent/CN107786368A/zh
Application granted granted Critical
Publication of CN107786368B publication Critical patent/CN107786368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种异常节点检测方法，用于检测MapReduc集群中的异常节点。本申请提供的方法包括：异常节点检测装置接收各节点发送的性能消息，并使用ABOD算法对性能消息中携带的各节点的多个性能参数的数值进行分析，进而确定异常节点。通过这样的方法，使得异常检测装置能够定位异常节点，使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个，故异常检测装置能够基于各节点的多维数据进行ABOD分析，分析得到的异常节点具有较高的可信度。本申请还提供了相关的异常检测装置。

Description

异常节点检测方法以及相关装置
技术领域
本发明涉及数据处理领域，尤其涉及一种异常节点检测方法以及相关装置。
背景技术
MapReduce是现阶段常用的一种大规模数据计算框架，用于大规模数据集的并行运算。将MapReduce框架部署在分布式节点系统上，就得到了MapReduce集群。MapReduc集群一般包括1至2个管理节点(英文：name node)和多个计算节点(英文：data node)，其中管理节点主要用于对集群中的节点进行管理调度，计算节点主要用于进行数据计算。
MapReduce集群中的节点在运行过程中随时可能出现异常。例如可能因磁盘故障而导致读写速度慢、因网络连接故障导致丢包率高、因软件或硬件老化导致计算效率低下、或因为其它原因出现异常。
异常节点不仅自身无法正常工作，也拉低了集群的整体性能，故需要及时修复。但是现阶段的MapReduce集群并没有提供完善的异常节点检测机制，异常节点在未宕机的情况下难以被察觉。且即便集群察觉到异常，也难以准确定位异常节点。因此维护人员无法对异常节点进行及时修复，不能保证MapReduce集群的高效运行。
发明内容
本申请提供了一种异常节点检测方法以及相关的异常检测装置，用于确定MapReduce集群中的异常节点。
本申请第一方面提供了一种异常节点检测方法。其中，异常检测装置接收MapReduce集群中的多个节点发送的性能消息，每个节点发送的性能消息中包括该节点的多个性能参数的数值。异常检测装置根据ABOD算法，分析该多个节点的多个性能参数的数值，确定该多个节点中的异常节点。通过这样的方法，使得异常检测装置能够定位异常节点，使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个，故异常检测装置能够基于各节点的多维数据进行ABOD分析，分析得到的异常节点具有较高的可信度。
可选的，每个节点的多个性能参数，包括该节点处于预置阶段时的多个性能参数的数值，其中，预置阶段可以为Map阶段和/或Reduce阶段。异常检测装置具体根据ABOD算法，对该多个节点处于预置阶段时的多个性能参数的数值进行分析，确定该多个节点中，在处于预置阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故不同阶段的性能参数的数值能够反映节点在不同阶段的运行情况，这样就能够确定在不同阶段表现出异常的节点，提高了确定异常节点的精度。需要指出的是，若节点在处于任一阶段时出现异常，则该节点即为异常节点。
可选的，该多个节点的多个性能参数的数值，具体可以包括该多个节点在Map阶段时的第一性能参数的数值；和/或，该多个节点在Reduce阶段时的第二性能参数的数值。异常检测装置在确定异常节点时，具体根据ABOD算法，对个该多个节点的第一性能参数的数值进行分析，得到该多个节点中在处于Map阶段时存在异常的节点；和/或，根据ABOD算法，对个该多个节点的第二性能参数的数值进行分析，得到该多个节点中在处于Reduce阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故异常检测装置将该多个节点的Map阶段和Reduce阶段的性能参数的数值分开处理，能够分别确定在Map阶段和Reduce阶段存在异常的节点，提升异常节点的检测精度。
可选的，由于节点在Map阶段主要执行计算相关操作，故第一性能参数中包括多个用于描述节点的计算性能的参数；由于节点在Reduce阶段主要执行IO相关操作，故第二性能参数中包括多个用于描述节点的IO性能的参数。
可选的，第一性能参数包括下列参数中的一项或多项：浮点指令比例；整形指令比例；上载(英文：load)/存储(英文：store)指令比例；分支指令比例；缓存(英文：cache)命中率，可细分为任何一级缓存的命中率；缓存每千条指令未命中次数(英文：miss per kiloinstruction，缩写：MPKI)，可细分为任何一级缓存的MPKI；传输后备缓冲器(英文：translation lookaside buffer，缩写：TLB)MPKI，可细分为数据TLB(缩写：DTLB)MPKI，以及指令TLB(缩写：ITLB)MPKI；中央处理器(英文：central processing unit，缩写：CPU)利用率。
可选的，第二性能参数包括下列参数中的一项或多项：磁盘读带宽、磁盘写带宽，即节点访问本地磁盘的读写带宽；网络读带宽、网络写带宽，即节点访问MapReduce集群内节点之间的网络的读写带宽；内存读带宽、内存写带宽，即节点本地内存的读写带宽；IO等待(英文：wait)比率。
可选的，异常检测装置根据ABOD算法对该多个节点的多个性能参数的数值进行分析，得到多个节点中的异常节点，具体可以是根据该多个节点的多个性能参数的数值，计算每个节点的ABOD值；然后将ABOD值超出预置范围的节点确定为异常节点。
可选的，异常检测装置计算该多个节点的ABOD值，具体可以是根据该多个节点的多个性能参数的数值，确定每个节点的多维坐标点。然后根据该多个节点的多维坐标点，计算每个节点的ABOD值。其中，第i节点的ABOD值ABOD(xi)为：其中，X为该多个节点的多维坐标点的集合，xi、xj、xk分别为该多个节点中的第i节点、第j节点、第k节点的多维坐标点，表示xj到xi的向量，表示xi到xk的向量。Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
本申请第二方面提供了一种异常检测装置，包括消息接收模块以及异常分析模块。消息接收模块用于接收MapReduce集群中的多个节点发送的性能消息，每个节点发送的性能消息中包括该节点的多个性能参数的数值。异常分析模块用于根据ABOD算法，分析该多个节点的多个性能参数的数值，确定该多个节点中的异常节点。本申请中的异常检测装置能够定位异常节点，使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个，故异常检测装置能够基于各节点的多维数据进行ABOD分析，分析得到的异常节点具有较高的可信度。
可选的，每个节点的多个性能参数，包括该节点处于预置阶段时的多个性能参数的数值，其中，预置阶段可以为Map阶段和/或Reduce阶段。异常分析模块具体根据ABOD算法，对该多个节点处于预置阶段时的多个性能参数的数值进行分析，确定该多个节点中，在处于预置阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故不同阶段的性能参数的数值能够反映节点在不同阶段的运行情况，这样就能够确定在不同阶段表现出异常的节点，提高了确定异常节点的精度。需要指出的是，若节点在处于任一阶段时出现异常，则该节点即为异常节点。
可选的，该多个节点的多个性能参数的数值，具体可以包括该多个节点在Map阶段时的第一性能参数的数值；和/或，该多个节点在Reduce阶段时的第二性能参数的数值。异常分析模块在确定异常节点时，具体根据ABOD算法，对个该多个节点的第一性能参数的数值进行分析，得到该多个节点中在处于Map阶段时存在异常的节点；和/或，根据ABOD算法，对个该多个节点的第二性能参数的数值进行分析，得到该多个节点中在处于Reduce阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故异常分析模块将该多个节点的Map阶段和Reduce阶段的性能参数的数值分开处理，能够分别确定在Map阶段和Reduce阶段存在异常的节点，提升异常节点的检测精度。
可选的，由于节点在Map阶段主要执行计算相关操作，故第一性能参数中包括多个用于描述节点的计算性能的参数；由于节点在Reduce阶段主要执行IO相关操作，故第二性能参数中包括多个用于描述节点的IO性能的参数。
可选的，第一性能参数包括下列参数中的一项或多项：浮点指令比例；整形指令比例；load/store指令比例；分支指令比例；cache命中率，可细分为任何一级缓存的命中率；缓存MPKI，可细分为任何一级缓存的MPKI；TLB MPKI，可细分为DTLB MPKI，以及ITLB MPKI；CPU利用率。
可选的，第二性能参数包括下列参数中的一项或多项：磁盘读带宽、磁盘写带宽，即节点访问本地磁盘的读写带宽；网络读带宽、网络写带宽，即节点访问MapReduce集群内节点之间的网络的读写带宽；内存读带宽、内存写带宽，即节点本地内存的读写带宽；IOwait比率。
可选的，异常分析模块具体用于根据该多个节点的多个性能参数的数值，计算每个节点的ABOD值；然后将ABOD值超出预置范围的节点确定为异常节点。
可选的，异常分析模块具体用于根据该多个节点的多个性能参数的数值，确定每个节点的多维坐标点。然后根据该多个节点的多维坐标点，计算每个节点的ABOD值。其中，第i节点的ABOD值ABOD(xi)为：其中，X为该多个节点的多维坐标点的集合，xi、xj、xk分别为该多个节点中的第i节点、第j节点、第k节点的多维坐标点，表示xj到xi的向量，表示xi到xk的向量。Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
本申请第三方面提供了一种异常检测装置，处理器、存储器、和通信接口。其中处理器、存储器和通信接口之间彼此通信可达。例如，该异常检测装置还可以包括总线，该处理器、存储器和通信接口通过总线实现彼此之间的通信连接。通过调用存储器中存储的程序代码，处理器用于：接收MapReduce集群中的多个节点发送的性能消息，每个节点发送的性能消息中包括该节点的多个性能参数的数值。根据ABOD算法，分析该多个节点的多个性能参数的数值，确定该多个节点中的异常节点。通过这样的方法，使得异常检测装置能够定位异常节点。且由于各节点的性能参数的个数为多个，故分析得到的异常节点具有较高的可信度。
可选的，每个节点的多个性能参数，包括该节点处于预置阶段时的多个性能参数的数值，其中，预置阶段可以为Map阶段和/或Reduce阶段。处理器还用于：根据ABOD算法，对该多个节点处于预置阶段时的多个性能参数的数值进行分析，确定该多个节点中，在处于预置阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故不同阶段的性能参数的数值能够反映节点在不同阶段的运行情况，这样就能够确定在不同阶段表现出异常的节点，提高了确定异常节点的精度。
可选的，该多个节点的多个性能参数的数值，具体可以包括该多个节点在Map阶段时的第一性能参数的数值；和/或，该多个节点在Reduce阶段时的第二性能参数的数值。处理器还用于：根据ABOD算法，对个该多个节点的第一性能参数的数值进行分析，得到该多个节点中在处于Map阶段时存在异常的节点；和/或，根据ABOD算法，对个该多个节点的第二性能参数的数值进行分析，得到该多个节点中在处于Reduce阶段时存在异常的节点。由于节点在Map阶段和Reduce阶段会表现出不同的性能，故处理器将该多个节点的Map阶段和Reduce阶段的性能参数的数值分开处理，能够分别确定在Map阶段和Reduce阶段存在异常的节点，提升异常节点的检测精度。
可选的，由于节点在Map阶段主要执行计算相关操作，故第一性能参数中包括多个用于描述节点的计算性能的参数；由于节点在Reduce阶段主要执行IO相关操作，故第二性能参数中包括多个用于描述节点的IO性能的参数。
可选的，第一性能参数可以包括如下参数中的一项或多项：浮点指令比例、整形指令比例、load/store指令比例、分支指令比例、任何一级cache的命中率、任何一级cache的MPKI、TLB MPKI、ITLB MPKI、CPU利用率。
可选的，第二性能参数可以包括如下参数中的一项或多项：磁盘读带宽、磁盘写带宽、网络读带宽、网络写带宽、内存读带宽、内存写带宽、IO wait比率。
可选的，处理器用于根据ABOD算法对该多个节点的多个性能参数的数值进行分析，得到多个节点中的异常节点，具体是用于：根据该多个节点的多个性能参数的数值，计算每个节点的ABOD值；然后将ABOD值超出预置范围的节点确定为异常节点。
可选的，处理器用于计算该多个节点的ABOD值，具体可以是用于根据该多个节点的多个性能参数的数值，确定每个节点的多维坐标点。然后根据该多个节点的多维坐标点，计算每个节点的ABOD值。其中，第i节点的ABOD值ABOD(xi)为：其中，X为该多个节点的多维坐标点的集合，xi、xj、xk分别为该多个节点中的第i节点、第j节点、第k节点的多维坐标点，表示xj到xi的向量，表示xi到xk的向量。Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
附图说明
图1为MapReduc集群的基本架构示意图；
图2为本申请提供的异常节点检测方法一个实施例流程图；
图3(a)为本申请提供的异常检测装置一个实施例结构图；
图3(b)为本申请提供的异常检测装置另一个实施例结构图；
图4为本申请提供的异常检测装置另一个实施例结构图。
具体实施方式
本申请提供了一种异常节点检测方法，用于检测MapReduc集群中的异常节点。本申请还提供了相关的异常检测装置，以下将分别进行描述。
MapReduc集群的基本架构请参阅图1，一般包括1至2个管理节点和多个计算节点，图1中仅以1个管理节点和4个计算节点为例进行描述。管理节点主要用于对集群中的节点进行管理调度，其负载往往较大。计算节点主要用于进行数据计算，其负载大小视各计算节点上运行的应用而定。
在图1所示的MapReduc集群的基础上，本申请在MapReduc集群中新增了一种异常检测装置，用于发现MapReduc集群的节点(包括管理节点和计算节点)中的异常节点。该异常检测装置可以部署在管理节点上，也可以由管理节点本身来担任。但是由于管理节点的负载较大，故异常检测装置更适宜部署在计算节点上或由计算节点本身来担任。异常检测装置也可以作为一个独立的设备部署在MapReduc集群中，本申请中不做限定。由于异常检测装置在MapReduce集群中的部署位置是不定的，故图1中未对异常检测装置进行展示。
在图1所示的MapReduce集群的基础上，本申请还提供了详细的异常节点检测方法，其基本流程请参阅图2：
本申请提供的异常节点检测方法用于在MapReduc集群的多个节点中确定异常节点，该多个节点中，每个节点均执行步骤201～204。为了便于描述，步骤201至204中仅以第一节点为例来介绍本申请提供的异常节点检测方法。第一节点可以为MapReduc集群的多个节点中的任意节点，此处不做限定。
201、确定当前所处的阶段；
MapReduce集群中的节点执行应用的过程，一般可以分为映射(英文：Map)阶段和规约(英文：Reduce)阶段。Map阶段主要用于执行计算密集型的操作，Reduce阶段主要用于执行输入输出(英文：input output，缩写：IO)相关的操作。节点在不同阶段的操作类型不同，故在不同阶段表现出不同的性能。在分析节点是否异常时，应针对节点在不同阶段的表现来进行分析。
因此，本步骤中第一节点首先确定第一节点当前所处的阶段，即确定第一节点当前处于Map阶段还是Reduce阶段。
202、确定当前所处的阶段对应的多个性能参数。
第一节点确定了当前所处的阶段后，确定当前所处的阶段对应的多个参数。为了便于描述，本申请中将Map阶段对应的多个性能参数的集合称为第一性能参数，将Reduce阶段对应的多个性能参数的集合称为第二性能参数。
由于节点在Map阶段主要执行计算相关操作，故第一性能参数中应包括多个用于描述节点的计算性能的参数，具体可以包括如下参数中的一项或多项：浮点指令比例；整形指令比例；load/store指令比例；分支指令比例；cache命中率，可细分为任何一级缓存的命中率；缓存MPKI，可细分为任何一级缓存的MPKI；TLB MPKI，可细分为DTLB MPKI，以及ITLBMPKI；CPU利用率。第一性能参数中还可以包括其它用于描述节点的计算性能的参数，也可以包括非计算相关的参数，此处不做限定。
由于节点在Reduce阶段主要执行IO相关操作，故第二性能参数中应包括多个用于描述节点的IO性能的参数，具体可以包括如下参数中的一项或多项：磁盘读带宽、磁盘写带宽，即节点访问本地磁盘的读写带宽；网络读带宽、网络写带宽，即节点访问MapReduce集群内节点之间的网络的读写带宽；内存读带宽、内存写带宽，即节点本地内存的读写带宽；IOwait比率。第二性能参数中还可以包括其它用于描述节点的IO性能的参数，也可以包括非IO相关的参数，此处不做限定。
本申请中，第一性能参数和第二性能参数的个数均为多个，多个性能参数能够反映节点多方面的特性，与单个性能参数相比能够显著提高异常节点检测的准确度。
203、确定所述多个性能参数的数值；
第一节点在步骤202中确定了当前所处的阶段对应的多个性能参数后，确定第一节点的所述多个性能参数的当前的数值。
其中，若第一节点当前处于Map阶段，则确定第一节点当前在Map阶段的第一性能参数的数值。若第一节点当前处于Reduce阶段，则确定第一节点当前在Reduce阶段的第二性能参数的数值。根据第一节点所处的阶段采集第一节点的性能参数的数值，使得采集得到的数据能够突出第一节点各阶段的运行特点。
举例来说，若第一节点当前处于Map阶段，步骤202中确定Map阶段对应的第一性能参数包括：浮点指令比例、整形指令比例以及底层缓存命中率，于是第一节点确定第一节点当前的浮点指令比例的数值、整形指令比例的数值、以及底层缓存命中率的数值。
具体的，第一节点可以利用脚本或通过其它方式收集第一节点作业的运行日志，并从运行日志中获取所述多个性能参数的数值。第一节点也可以通过其它方式确定所述多个性能参数的数值，本实施例中不做限定。
可选的，步骤201～203可以不是一次性的操作，第一节点可以循环执行步骤201～203。举例来说：第一节点在上午10：00时处于Map阶段，并通过执行步骤201至203确定了第一节点在Map阶段时的第一性能参数的数值。在10：05时，第一节点通过脚本收集运行日志，确定第一节点当前所处的阶段从Map阶段变为Reduce阶段。于是第一节点根据运行日志，再次执行步骤201～203，确定第一节点在Reduce阶段时的第二性能参数的数值。
可选的，步骤201～203为可选步骤，本申请中也可以通过其它方式来确定集群中各节点的多个性能参数的数值，此处不做限定。
204、将所述多个性能参数的数值携带在性能消息中发送给异常检测装置；
第一节点在步骤203中确定了多个性能参数的数值后，将该多个性能参数的数值携带在性能消息中发送给异常检测装置。
第一节点可以在获取了多次性能参数的数值后，将多次获取的性能参数的数值统一发送给异常检测装置。举例来说：大多数的应用需要执行一次Map操作和一次Reduce操作，因此可选的，第一节点可以在Map阶段执行一次步骤201～203，获取第一节点在Map阶段时的第一性能参数的数值；然后在Reduce阶段再执行一次步骤201～203，获取第一节点在Reduce阶段时的第二性能参数的数值。然后在步骤204中，将第一性能参数的数值以及第二性能参数的数值统一发送给异常检测装置。再举例来说：有些应用需要多次执行Map操作和Reduce操作，第一节点可以先获取一次Map操作中的第一性能参数的数值和一次Reduce操作中的第二性能参数的数值，然后执行步骤204；第一节点也可以获取多次Map操作中的第一性能参数的数值和多次Reduce操作中的第二性能参数的数值，再执行步骤204，本实施例中不做限定。
可选的，若性能消息中携带的性能参数的数值属于两个或两个以上的阶段，则可以在性能消息中标识出每个性能参数的数值所属的阶段。
第一节点也可以在获取了一次性能参数的数值后立即执行步骤204。举例来说：有些应用只需要执行Map操作，则第一节点可以在获取了第一节点在Map阶段时的第一性能参数的数值后执行步骤204。有些应用只需要执行Reduce操作，则第一节点可以在获取了第一节点在Reduce阶段时的第二性能参数的数值后执行步骤204。
可选的，若当前MapReduce集群的网络拥塞，则第一节点也可以待网络通畅后，再执行步骤204。
当MapReduce集群中的多个节点分别执行了步骤201～204后，异常检测装置就获取了多个节点发送的性能消息，每个节点发送的性能消息中均包括该节点的多个性能参数的数值。
205、根据ABOD算法确定异常节点。
MapReduce集群中的各节点用于执行同类型的操作(Map操作和Reduce操作)，因此各节点在性能参数上应表现出一致性。若某个节点的性能参数的数值与其它节点不一致，则说明该节点出现异常。为此，本申请中对各节点的多个性能参数的数值进行分析，以确定出现异常的节点。具体的，异常检测装置根据基于角度的离群点检测(英文：angle basedoutlier detection，缩写：ABOD)算法对该各节点的多个性能参数的数值进行分析，得到该多个节点中的异常节点。
ABOD算法是一种既有算法，主要用于分析多个坐标点中的离群点(英文：outlier)。离群点用于表示在一系列的坐标点的集合中，与其它坐标点具有显著差异的点。本申请中，异常检测装置将各节点的性能参数转化为坐标点，然后采用ABOD算法确定各节点转化的坐标点中的离群点。离群点与其它坐标点具有显著差异，说明离群点对应的节点与其它节点一致性较低，故离群点对应的节点即为集群中的异常节点。
异常检测装置将各节点的性能参数转化为坐标点的方式很简单，举例来说：若ABOD算法共分析某个节点的n个第一性能参数，该节点发送的性能消息中包括该n个第一性能参数的取值分别为a1、a2、……an，则将该n个第一性能参数转化为一个n维坐标点(a1，a2，……an)即可。其中，由于各节点的性能参数的个数(不论是第一性能参数还是第二性能参数的个数)为多个，故生成的坐标点均为多维坐标点。多个性能参数能够反映节点多方面的特性，与单个性能参数相比能够显著提高ABOD检测的准确度。
可选的，异常检测装置将各节点的性能参数转化为坐标点后，就可以计算各节点的ABOD值。若某个节点的ABOD值超出预置范围，则认为该节点对应的坐标点为离群点，该节点为异常节点。其中，预置范围可以由人为设定，或由异常检测装置根据经验值设定，或由异常检测装置对各节点的ABOD值进行统计后设定，此处不做限定。
在本申请的一些实施例中，一种计算ABOD值的方法如下：设异常检测装置待分析的节点的多维坐标点的集合为X，该多个节点中包括第i节点、第j节点以及第k节点，第i节点的多维坐标点为xi，第j节点的多维坐标点为xj，第k节点的多维坐标点为xk，则第i节点的ABOD值为：
确定第i节点的ABOD值ABOD(xi)为：
其中，表示xj到xi的向量，表示xi到xk的向量。Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
可选的，在本发明的一些实施例中，由于异常检测装置接收到的性能消息中可能包括各节点在Map阶段的第一性能参数的数值，也可能包括各节点在Reduce阶段的第二性能参数的数值，故异常检测装置具体可以根据ABOD算法对各节点的第一性能参数的数值进行分析，确定集群中异常节点。由于第一性能参数中包括了多个计算性能的参数，故根据第一性能参数的数值进行分析得到的异常节点，很可能是计算方面出现了异常。异常检测装置还可以根据ABOD算法对各节点的第二性能参数的数值进行分析，确定集群中异常节点。由于第二性能参数中包括了多个节点的IO性能的参数，故根据第二性能参数的数值进行分析得到的异常节点，很可能是IO方面出现了异常。通过对性能参数的数值进行分阶段的分析，能够分析出节点是计算方面还是IO方面出现了异常。且针对节点在不同阶段的运行特点进行异常检测，缩小了异常节点检测的粒度，有利于提高异常节点检测的精度。
本实施例提供了一种异常节点检测方法，其中，异常节点检测装置接收各节点发送的性能消息，并使用ABOD算法对性能消息中携带的各节点的多个性能参数的数值进行分析，进而确定异常节点。通过这样的方法，使得异常检测装置能够定位异常节点，使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个，故异常检测装置能够基于各节点的多维数据进行ABOD分析，分析得到的异常节点具有较高的可信度。
图2所示的实施例介绍了本申请提供的异常节点检测方法，下面将介绍用于实现上述方法的异常检测装置，请参阅图3(a)。本申请提供的一种异常检测装置的基本结构包括：
消息接收模块301，用于接收MapReduce集群中的多个节点发送的性能消息，每个节点发送的性能消息中包括该节点的多个性能参数的数值；
异常分析模块302，用于根据ABOD算法对该多个节点的多个性能参数的数值进行分析，得到该多个节点中的异常节点。
本实施例提供了一种异常节点检测方法，其中，消息接收模块301接收各节点发送的性能消息，异常分析模块302使用ABOD算法对性能消息中携带的各节点的多个性能参数的数值进行分析，进而确定异常节点。本申请提供的异常检测装置能够定位异常节点，使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个，故异常检测装置能够基于各节点的多维数据进行ABOD分析，分析得到的异常节点具有较高的可信度。
可选的，每个节点的多个性能参数的数值，可以包括该节点处于Map阶段时的第一性能参数的数值，和/或该节点处于Reduce阶段时的第二性能参数的数值。其中第一性能参数和第二性能参数中所包括的参数的个数均为多个。异常分析模块302具体用于：根据ABOD算法对该多个节点的第一性能参数的数值进行分析，得到该多个节点中的异常节点；和/或，根据ABOD算法对该多个节点的第二性能参数的数值进行分析，得到该多个节点中的异常节点。
可选的，第一性能参数包括多个用于描述节点的计算性能的参数，第二性能参数包括多个用于描述节点的IO性能的参数。
可选的，第一性能参数可以包括如下参数中的一项或多项：浮点指令比例、整形指令比例、load/store指令比例、分支指令比例、任何一级cache的命中率、任何一级cache的MPKI、TLB MPKI、ITLB MPKI、CPU利用率。
可选的，第二性能参数可以包括如下参数中的一项或多项：磁盘读带宽、磁盘写带宽、网络读带宽、网络写带宽、内存读带宽、内存写带宽、IO wait比率。
可选的，异常分析模块302可以包括计算单元3021以及确定单元3022，如图3(b)所示。其中，计算单元3021用于根据各节点的多个性能参数的数值，计算各节点的ABOD值。确定单元3022用于将该多个节点中，ABOD值超出预置范围的节点确定为异常节点。
可选的，计算单元3021具体用于：根据各个节点的多个性能参数的数值，确定各节点中每个节点的多维坐标点。然后根据如下公式，确定第i节点的ABOD值ABOD(xi)：
其中，异常检测装置待分析的节点的多维坐标点的集合为X，该多个节点中包括第i节点、第j节点以及第k节点，第i节点的多维坐标点为xi，第j节点的多维坐标点为xj，第k节点的多维坐标点为xk，表示xj到xi的向量，表示xi到xk的向量，Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
图3(a)与图3(b)中的异常检测装置的具体介绍可以参考方法部分实施例的相关描述，此处不做过多赘述。
上面介绍了本申请提供的异常节点检测方法以及异常检测装置，下面将提供一种异常检测装置400，其基本结构请参阅图4。图2所述的异常节点检测方法、图3(a)与图3(b)所述的异常检测装置均可以由图4所示的异常检测装置400来实现：
异常检测装置400包括处理器401、存储器402、通信接口403，处理器401、存储器402、通信接口403通信可达。可选的，还可以包括总线404。处理器201、存储器402、通信接口403之间可以通过总线404实现彼此之间的通信连接。当然，也可以通过无线传输等其他手段实现通信。
存储器402可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(Solid StateDisk，SSD)；存储器402还可以包括上述种类的存储器的组合。在通过软件来实现本申请提供的技术方案时，用于实现本申请图2提供的异常节点检测方法的程序代码可以保存在存储器402中，并由处理器401来执行。
通信接口403可以是可以是有线接口，例如光纤分布式数据接口(英文：FiberDistributed Data Interface，简称：FDDI)、以太网(英文：Ethernet)接口。通信接口403也可以是无线接口，例如无线局域网接口。通信接口403用于：接收MapReduce集群中的多个节点发送的性能消息，该多个节点发送的性能消息中包括该多个节点的多个性能参数的数值。
处理器401可以为CPU，硬件芯片或CPU和硬件芯片的组合。处理器401在运行时，通过调用存储器402的程序代码，可以执行如下步骤：控制通信接口403接收该多个节点发送的性能消息，并根据ABOD算法对该多个节点的多个性能参数的数值进行分析，得到该多个节点中的异常节点。
可选的，每个节点的多个性能参数的数值，可以包括该节点处于Map阶段时的第一性能参数的数值，和/或该节点处于Reduce阶段时的第二性能参数的数值。其中第一性能参数和第二性能参数中所包括的参数的个数均为多个。处理器401具体用于：根据ABOD算法对该多个节点的第一性能参数的数值进行分析，得到该多个节点中的异常节点；和/或，根据ABOD算法对该多个节点的第二性能参数的数值进行分析，得到该多个节点中的异常节点。
可选的，第一性能参数包括多个用于描述节点的计算性能的参数，第二性能参数包括多个用于描述节点的IO性能的参数。
可选的，第一性能参数可以包括如下参数中的一项或多项：浮点指令比例、整形指令比例、load/store指令比例、分支指令比例、任何一级cache的命中率、任何一级cache的MPKI、TLB MPKI、ITLB MPKI、CPU利用率。
可选的，第二性能参数可以包括如下参数中的一项或多项：磁盘读带宽、磁盘写带宽、网络读带宽、网络写带宽、内存读带宽、内存写带宽、IO wait比率。
可选的，处理器401具体用于通过如下方法对多个节点的多个性能参数的数值进行分析确定异常节点：根据各节点的多个性能参数的数值，计算各节点的ABOD值。将该多个节点中，ABOD值超出预置范围的节点确定为异常节点。
可选的，处理器401具体用于通过如下步骤计算各节点的ABOD值：根据各个节点的多个性能参数的数值，确定各节点中每个节点的多维坐标点。然后根据如下公式，确定第i节点的ABOD值ABOD(xi)：
其中，异常检测装置待分析的多个节点的多维坐标点的集合为X，该多个节点中包括第i节点、第j节点以及第k节点，第i节点的多维坐标点为xi，第j节点的多维坐标点为xj，第k节点的多维坐标点为xk，表示xj到xi的向量，表示xi到xk的向量，Var表示求方差运算，||||表示求范数运算。\表示集合的去除运算，X\{xi}表示X中去除xi，X\{xi,xj}表示X中去除xi和xj。表示所有关系，表示xj取遍X中除xi之外的所有多维坐标点，表示xk xj取遍X中除xi和xj之外的所有多维坐标点。
异常检测装置400的具体介绍可以参考方法部分实施例的相关描述，此处不做过多赘述。
本申请中的“第一”“第二”等描述仅用于区分不同的对象，并不用于对对象本身进行限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种异常节点检测方法，适用于异常检测装置，其特征在于，所述方法包括：
接收MapReduce集群中的多个节点发送的性能消息，所述多个节点发送的性能消息中包括所述多个节点的多个性能参数的数值；
根据基于角度的离群点检测ABOD算法对所述多个节点的多个性能参数的数值进行分析，得到所述多个节点中的异常节点。
2.根据权利要求1所述的异常节点检测方法，其特征在于，所述多个节点的多个性能参数的数值包括：
所述多个节点处于预置阶段时的多个性能参数的数值，所述预置阶段包括映射Map阶段或归纳Reduce阶段；
所述根据ABOD算法对所述多个节点的多个性能参数的数值进行分析，得到所述多个节点中的异常节点包括：
根据ABOD算法对所述多个节点处于所述预置阶段时的多个性能参数的数值进行分析，得到所述多个节点中，在处于所述预置阶段时存在异常的节点。
3.根据权利要求1或2所述的异常节点检测方法，其特征在于，所述多个节点的多个性能参数的数值包括：
所述多个节点在处于Map阶段时第一性能参数的数值；和/或，所述多个节点在处于Reduce阶段时第二性能参数的数值；
所述根据ABOD算法对所述多个节点的多个性能参数的数值进行分析，得到所述多个节点中的异常节点包括：
根据ABOD算法对所述多个节点的第一性能参数的数值进行分析，得到所述多个节点中，在处于Map阶段时存在异常的节点；和/或，根据ABOD算法对所述多个节点的第二性能参数的数值进行分析，得到所述多个节点中，在处于Reduce阶段时存在异常的节点。
4.根据权利要求3所述的异常节点检测方法，其特征在于：
所述第一性能参数中包括多个用于描述所述多个节点的计算性能的参数；
所述第二性能参数中包括多个用于描述所述多个节点的输入输出IO性能的参数。
5.根据权利要求3或4所述的异常节点检测方法，其特征在于：
所述第一性能参数包括浮点指令比例、整形指令比例、上载load/存储store指令比例、分支指令比例、缓存cache每千条指令未命中次数MPKI、传输后备缓冲器TLB MPKI、中央处理器CPU利用率中的一项或多项；
所述第二性能参数包括磁盘读带宽、磁盘写带宽、网络读带宽、网络写带宽、内存读带宽、内存写带宽、IO等待比率中的一项或多项。
6.根据权利要求1至5中任一项所述的异常节点检测方法，其特征在于，所述根据ABOD算法对所述多个节点的多个性能参数的数值进行分析，得到所述多个节点中的异常节点包括：
根据所述多个节点的多个性能参数的数值，分别计算所述多个节点的ABOD值；
将所述多个节点中，ABOD值超出预置范围的节点确定为异常节点。
7.根据权利要求6所述的异常节点检测方法，其特征在于，所述根据所述多个节点的多个性能参数的数值，分别计算所述多个节点的ABOD值包括：
根据所述多个节点的多个性能参数的数值，确定所述多个节点中每个节点的多维坐标点；
确定第i节点的ABOD值ABOD(xi)为：
其中，X表示所述多个节点的多维坐标点的集合，所述多个节点中包括所述第i节点，还包括第j节点与第k节点，xi表示所述第i节点的多维坐标点，xj表示所述第j节点的多维坐标点，xk表示所述第k节点的多维坐标点，X\{xi}表示所述多个节点的多维坐标点除去xi后的集合，X\{xi,xj}表示所述多个节点的多维坐标点除去xi和xj后的集合，表示xj到xi的向量，表示xi到xk的向量，Var表示求方差运算，|| ||表示求范数运算。
8.一种异常检测装置，其特征在于，包括：
消息接收模块，用于接收MapReduce集群中的多个节点发送的性能消息，所述多个节点发送的性能消息中包括所述多个节点的多个性能参数的数值；
异常分析模块，用于根据基于角度的离群点检测ABOD算法对所述多个节点的多个性能参数的数值进行分析，得到所述多个节点中的异常节点。
9.根据权利要求8所述的异常检测装置，其特征在于，所述多个节点的多个性能参数的数值包括：
所述多个节点处于预置阶段时的多个性能参数的数值，所述预置阶段包括映射Map阶段或归纳Reduce阶段；
所述异常分析模块具体用于：
根据ABOD算法对所述多个节点处于所述预置阶段时的多个性能参数的数值进行分析，得到所述多个节点中，在处于所述预置阶段时存在异常的节点。
10.根据权利要求8或9所述的异常检测装置，其特征在于，所述多个节点的多个性能参数的数值包括：
所述多个节点在处于Map阶段时第一性能参数的数值；和/或，所述多个节点在处于Reduce阶段时第二性能参数的数值；
所述异常分析模块具体用于：
根据ABOD算法对所述多个节点的第一性能参数的数值进行分析，得到所述多个节点中，在处于Map阶段时存在异常的节点；和/或，根据ABOD算法对所述多个节点的第二性能参数的数值进行分析，得到所述多个节点中在处于Reduce阶段时存在异常的节点。
11.根据权利要求10所述的异常检测装置，其特征在于：
所述第一性能参数中包括多个用于描述所述多个节点的计算性能的参数；
所述第二性能参数中包括多个用于描述所述多个节点的输入输出IO性能的参数。
12.根据权利要求10或11所述的异常检测装置，其特征在于：
所述第一性能参数包括浮点指令比例、整形指令比例、上载load/存储store指令比例、分支指令比例、缓存cache每千条指令未命中次数MPKI、传输后备缓冲器TLB MPKI、中央处理器CPU利用率中的一项或多项；
所述第二性能参数包括磁盘读带宽、磁盘写带宽、网络读带宽、网络写带宽、内存读带宽、内存写带宽、IO等待比率中的一项或多项。
13.根据权利要求8至12中任一项所述的异常检测装置，其特征在于，所述异常分析模块具体包括：
计算单元，用于根据所述多个节点的多个性能参数的数值，分别计算所述多个节点的ABOD值；
确定单元，用于将所述多个节点中，ABOD值超出预置范围的节点确定为异常节点。
14.根据权利要求13所述的异常检测装置，其特征在于，所述计算单元具体用于：
根据所述多个节点的多个性能参数的数值，确定所述多个节点中每个节点的多维坐标点；
确定第i节点的ABOD值ABOD(xi)为：
其中，X表示所述多个节点的多维坐标点的集合，所述多个节点中包括所述第i节点，还包括第j节点与第k节点，xi表示所述第i节点的多维坐标点，xj表示所述第j节点的多维坐标点，xk表示所述第k节点的多维坐标点，X\{xi}表示所述多个节点的多维坐标点除去xi后的集合，X\{xi,xj}表示所述多个节点的多维坐标点除去xi和xj后的集合，表示xj到xi的向量，表示xi到xk的向量，Var表示求方差运算，|| ||表示求范数运算。
15.一种异常检测装置，包括处理器、存储器、和通信接口，其特征在于，通过调用所述存储器中存储的程序代码，所述处理器用于执行如权利要求1至7中任一项所述的异常节点检测方法。
CN201610799119.9A 2016-08-31 2016-08-31 异常节点检测方法以及相关装置 Active CN107786368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610799119.9A CN107786368B (zh) 2016-08-31 2016-08-31 异常节点检测方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610799119.9A CN107786368B (zh) 2016-08-31 2016-08-31 异常节点检测方法以及相关装置

Publications (2)

Publication Number Publication Date
CN107786368A true CN107786368A (zh) 2018-03-09
CN107786368B CN107786368B (zh) 2021-09-07

Family

ID=61451893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610799119.9A Active CN107786368B (zh) 2016-08-31 2016-08-31 异常节点检测方法以及相关装置

Country Status (1)

Country Link
CN (1) CN107786368B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965259A (zh) * 2018-06-21 2018-12-07 佛山科学技术学院 一种区块链恶意节点发现与隔离方法及装置
CN109189768A (zh) * 2018-08-08 2019-01-11 佛山科学技术学院 一种复杂制造过程感知数据预处理方法及装置
CN109284624A (zh) * 2018-09-03 2019-01-29 佛山科学技术学院 一种基于区块链存储的数据安全隔离方法及装置
CN109413095A (zh) * 2018-11-29 2019-03-01 新华三大数据技术有限公司 防御攻击的方法及装置
CN109753372A (zh) * 2018-12-20 2019-05-14 东软集团股份有限公司 多维数据异常检测方法、装置、可读存储介质及电子设备
CN111355625A (zh) * 2018-12-24 2020-06-30 中移（杭州）信息技术有限公司 异常物联网卡的分析方法及装置
CN112470131A (zh) * 2018-07-20 2021-03-09 华为技术有限公司 检测数据集中异常的装置和方法以及它们相应的计算机程序产品
CN112666451A (zh) * 2021-03-15 2021-04-16 南京邮电大学 一种集成电路扫描测试向量生成方法
CN113094243A (zh) * 2020-01-08 2021-07-09 北京小米移动软件有限公司 节点性能检测方法和装置
CN114019940A (zh) * 2020-03-02 2022-02-08 阿波罗智联(北京)科技有限公司 用于检测异常的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040068493A1 (en) * 2002-10-04 2004-04-08 International Business Machines Corporation Data retrieval method, system and program product
CN104008420A (zh) * 2014-05-26 2014-08-27 中国科学院信息工程研究所 一种基于自动编码机的分布式离群点检测方法及系统
CN105046275A (zh) * 2015-07-13 2015-11-11 河海大学 基于角度方差的大规模高维离群数据检测方法
CN105138641A (zh) * 2015-08-24 2015-12-09 河海大学 一种基于角度的高维数据离群检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040068493A1 (en) * 2002-10-04 2004-04-08 International Business Machines Corporation Data retrieval method, system and program product
CN104008420A (zh) * 2014-05-26 2014-08-27 中国科学院信息工程研究所 一种基于自动编码机的分布式离群点检测方法及系统
CN105046275A (zh) * 2015-07-13 2015-11-11 河海大学 基于角度方差的大规模高维离群数据检测方法
CN105138641A (zh) * 2015-08-24 2015-12-09 河海大学 一种基于角度的高维数据离群检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANS-PETER KRIEGEL ET AL.: "Angle-Based Outlier Detection in High-dimensional Data", 《IN PROC. OF THE 14TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》 *
ZHU SUNJING ET AL.: "A MapReduced-Based and Cell-Based", 《WUHAN UNIVERSITY JOURNAL OF NATURAL SCIENCES》 *
王凯: "MapReduce环境下的性能异常检测和资源调度方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965259A (zh) * 2018-06-21 2018-12-07 佛山科学技术学院 一种区块链恶意节点发现与隔离方法及装置
CN112470131A (zh) * 2018-07-20 2021-03-09 华为技术有限公司 检测数据集中异常的装置和方法以及它们相应的计算机程序产品
CN112470131B (zh) * 2018-07-20 2023-02-07 华为技术有限公司 检测数据集中异常的装置和方法以及它们相应的计算机程序产品
CN109189768A (zh) * 2018-08-08 2019-01-11 佛山科学技术学院 一种复杂制造过程感知数据预处理方法及装置
CN109284624A (zh) * 2018-09-03 2019-01-29 佛山科学技术学院 一种基于区块链存储的数据安全隔离方法及装置
CN109284624B (zh) * 2018-09-03 2022-09-27 上海信领数字科技有限公司 一种基于区块链存储的数据安全隔离方法及装置
CN109413095A (zh) * 2018-11-29 2019-03-01 新华三大数据技术有限公司 防御攻击的方法及装置
CN109753372A (zh) * 2018-12-20 2019-05-14 东软集团股份有限公司 多维数据异常检测方法、装置、可读存储介质及电子设备
CN111355625B (zh) * 2018-12-24 2021-12-07 中移（杭州）信息技术有限公司 异常物联网卡的分析方法及装置
CN111355625A (zh) * 2018-12-24 2020-06-30 中移（杭州）信息技术有限公司 异常物联网卡的分析方法及装置
CN113094243A (zh) * 2020-01-08 2021-07-09 北京小米移动软件有限公司 节点性能检测方法和装置
CN114019940A (zh) * 2020-03-02 2022-02-08 阿波罗智联(北京)科技有限公司 用于检测异常的方法和装置
CN114035544A (zh) * 2020-03-02 2022-02-11 阿波罗智联(北京)科技有限公司 用于检测异常的方法和装置
CN112666451A (zh) * 2021-03-15 2021-04-16 南京邮电大学 一种集成电路扫描测试向量生成方法
CN112666451B (zh) * 2021-03-15 2021-06-29 南京邮电大学 一种集成电路扫描测试向量生成方法

Also Published As

Publication number Publication date
CN107786368B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN107786368A (zh) 异常节点检测方法以及相关装置
US20220027746A1 (en) Gradient-based auto-tuning for machine learning and deep learning models
Chen et al. Asynchronous online federated learning for edge devices with non-iid data
Liu et al. Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop
US11099842B2 (en) Source code similarity detection using digital fingerprints
CN108650684B (zh) 一种关联规则确定方法及装置
US9342370B2 (en) Server migration
CN107133632A (zh) 一种风电设备故障诊断方法及系统
CN103714004A (zh) Jvm在线内存泄露分析方法及系统
CN112819054B (zh) 一种切片模板配置方法及装置
CN107679089A (zh) 一种用于电力传感数据的清洗方法、装置和系统
Nejatollahi et al. Flexible ntt accelerators for rlwe lattice-based cryptography
Xu et al. Optimizing federated learning on device heterogeneity with a sampling strategy
CN114513470A (zh) 网络流量控制方法、装置、设备及计算机可读存储介质
CN117234301A (zh) 一种基于人工智能的服务器热管理方法
Jiang et al. Computation and communication efficient federated learning with adaptive model pruning
CN113504996B (zh) 一种负载均衡检测方法、装置、设备及存储介质
CN106789163A (zh) 一种网络设备用电信息监测方法、装置和系统
CN111598722A (zh) 一种基于云计算实现电力大数据布局和信息共享方法
CN109952742A (zh) 图结构处理方法、系统、网络设备及存储介质
CN113229798B (zh) 模型迁移训练方法、装置、计算机设备及可读存储介质
CN109670526A (zh) 一种电网的干扰源类型辨识方法、装置、设备及存储介质
CN107515779A (zh) 基于探测器的虚拟机性能干扰度量系统及方法
US11003825B1 (en) System, method, and computer program product for optimization in an electronic design
CN103425476B (zh) 用于为性能监控的用户界面提供数据的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant