CN114761928A - 识别集成电路芯片中观察到的异常的原因 - Google Patents
识别集成电路芯片中观察到的异常的原因 Download PDFInfo
- Publication number
- CN114761928A CN114761928A CN202080083699.6A CN202080083699A CN114761928A CN 114761928 A CN114761928 A CN 114761928A CN 202080083699 A CN202080083699 A CN 202080083699A CN 114761928 A CN114761928 A CN 114761928A
- Authority
- CN
- China
- Prior art keywords
- feature
- windows
- window
- measured
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/348—Circuit details, i.e. tracer hardware
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/28—Testing of electronic circuits, e.g. by signal tracer
- G01R31/317—Testing of digital circuits
- G01R31/3181—Functional testing
- G01R31/3185—Reconfiguring for testing, e.g. LSSD, partitioning
- G01R31/318505—Test of Modular systems, e.g. Wafers, MCM's
- G01R31/318513—Test of Multi-Chip-Moduls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/349—Performance evaluation by tracing or monitoring for interfaces, buses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Image Analysis (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
一种识别从集成电路(IC)芯片上的系统电路装置测得的异常特征的原因的方法,IC芯片包括系统电路装置和监控电路装置,监控电路装置用于通过测量一系列窗口的每个窗口中的系统电路装置的特征来监控系统电路装置,该方法包括:(i)从包括异常特征的异常窗口之前的窗口集中,识别候选窗口集,以便在候选窗口集中搜索异常特征的原因;(ii)针对系统电路装置的测得特征中的每个测得特征:(a)针对候选窗口集计算该测得特征的第一特征概率分布;(b)针对不在候选窗口集中的窗口计算该测得特征的第二特征概率分布;(c)比较第一和第二特征概率分布;以及(d)如果第一和第二特征概率分布相差超过阈值,则识别出在候选窗口集的时间范围内的该测得特征作为异常特征的原因;(iii)针对来自异常窗口之前的窗口集的其他候选窗口集,迭代步骤(i)和(ii);以及(iv)输出信号,该信号指示步骤(ii)(d)中被识别为异常特征的原因的测得特征。
Description
技术领域
本发明涉及对于从片上系统(SoC)或者多芯片模块(MCM)中的系统电路装置测得的特征的分析。
背景技术
过去,具有多个核心设备(处理器、存储器等)的嵌入式系统被整合到一个印刷电路板(PCB)上,并在PCB上经由总线进行连接。嵌入式系统中的业务通过这些总线传递。这种布置对监控核心设备很方便,因为诸如示波器和逻辑分析器等的监控工具可以附接到PCB的总线,以允许直接访问核心设备。
市场对小型产品的需求加上半导体技术的进步引起了片上系统(SoC)设备的发展。在SoC中,嵌入式系统的多个核心设备被集成到一个芯片上。在SoC中,嵌入式系统中的业务是通过内部总线传递的,因此监控工具无法再直接连接到系统总线上。随之而来的访问减少加上围绕芯片传输的数据量增多(由于SoC技术的发展导致了多个处理核心的集成和较高的内部时钟频率),降低了外部监控工具在工业要求的时间范围内对系统的安全漏洞、缺陷和安全关注点进行监控的能力。此外,当多个核心设备被嵌入到同一个单个芯片上时,由于每个单独核心设备与其他核心设备的互动以及例如触发器和警报等实时事件,每个单独核心设备的行为都与其孤立时的行为不同。
因此,SoC设备的发展需要在监控技术中的关联发展,以使得一些监控功能被整合到SoC上。现在已知的是,对于SoC内的监控电路装置而言追踪在核心设备(如CPU)上执行程序的处理器的输出。追踪数据通常被输出用于片外分析。
期望的是,能对片上监控电路装置收集的数据进行更详细的分析,特别是调查数据中的异常。
发明内容
根据第一方面,提供一种识别从集成电路(IC)芯片上的系统电路装置测得的异常特征的原因的方法,IC芯片包括系统电路装置和监控电路装置,监控电路装置用于通过测量一系列窗口的每个窗口中的系统电路装置的特征来监控系统电路装置,该方法包括:(i)从包括异常特征的异常窗口之前的窗口集中,识别候选窗口集,以便在候选窗口集中搜索异常特征的原因;(ii)针对系统电路装置的测得特征中的每个测得特征:(a)针对候选窗口集计算该测得特征的第一特征概率分布;(b)针对不在候选窗口集中的窗口计算该测得特征的第二特征概率分布;(c)比较第一和第二特征概率分布;以及(d)如果第一和第二特征概率分布相差超过阈值,则识别出在候选窗口集的时间范围内的该测得特征作为异常特征的原因;(iii)针对来自异常窗口之前的窗口集的其他候选窗口集,迭代步骤(i)和(ii);以及(iv)输出信号,该信号指示步骤(ii)(d)中被识别为异常特征的原因的测得特征。
步骤(ii)(c)可以包括,确定第一特征概率分布与第二特征概率分布之间的差异度量;以及步骤(ii)(d)可以包括,如果该差异度量大于所述阈值,则识别出所述候选窗口集的时间范围内的所述测得特征是所述异常特征的原因。
差异度量可以是由迭代的第一与第二特征概率分布之间的随时间的差异的百分位数来缩放的。
异常窗口之前的窗口集能够被(i)异常窗口和(ii)远端早期窗口界定。
步骤(ii)(b)可以包括,针对在候选窗口集与异常窗口之间的窗口集计算测得特征的第二特征概率分布。
候选窗口集可以包括少于10个窗口。
候选窗口集可以仅包括一个窗口。
第一和第二特征概率分布可以是在步骤(ii)(a)和(ii)(b)中通过对已识别窗口的测得特征拟合高斯模型来计算的。
该方法还可以包括,识别受异常特征影响的测得特征,该受影响的测得特征位于异常窗口之后的窗口中,该方法包括:(v)从异常窗口之后的窗口集中,识别后续候选窗口集,以便在后续候选窗口集中搜索异常特征的影响;(vi)针对系统电路装置的测得特征中的每一个:(a)针对后续候选窗口集,计算该测得特征的第三特征概率分布;(b)针对不在后续候选窗口集中的后续窗口,计算该测得特征的第四特征概率分布;(c)比较第三和第四特征概率分布;以及(d)如果第三和第四特征概率分布相差超过其他阈值,则识别出在后续候选窗口集的时间范围内的该测得特征作为受到异常特征影响;以及(vii)对异常窗口之后的窗口集的其他后续候选窗口集,迭代步骤(v)和(vi);以及(viii)输出信号,该信号指示步骤(vi)(d)中被识别为受异常特征影响的测得特征。
步骤(vi)(c)可以包括,确定第三特征概率分布和第四特征概率分布之间的其他差异度量;以及步骤(vi)(d)可以包括,如果该其他差异度量大于其他阈值,则识别出在后续候选窗口集的时间范围内的测得特征受到异常特征影响。
其他差异度量可以是在第三和第四特征概率分布之间随时间缩放的差异。
异常窗口之后的窗口集能够被(i)异常窗口和(ii)远端后期窗口界定。
步骤(vi)(b)可以包括,针对后续候选窗口集和异常窗口之间的窗口集计算测得特征的第四特征概率分布。
后续候选窗口集可以包括少于10个窗口。
后续候选窗口集可以仅包括一个窗口。
第三和第四特征概率分布可以是在步骤(vi)(a)和(vi)(b)中通过对已识别窗口的测得特征拟合高斯模型来计算的。
测得特征可以包括从由监控电路装置从通过系统电路装置的组件输出的数据产生的追踪数据得出的那些特征。
测得特征可以包括从由监控电路装置从向系统电路装置的组件输入的数据或从系统电路装置的组件输出的数据识别出的匹配事件得出的那些特征。
测得特征可以包括从监控电路装置的计数器得出的特征,计数器被配置用于每次从系统电路装置的组件观察到特定项目时进行计数。
附图说明
现在参照附图,以举例的方式描述本发明。在附图中。
图1是示例性的集成电路芯片设备的示意图;
图2是集成电路芯片设备上的示例性的监控网络和系统电路装置的示意图;
图3是识别从系统电路装置测得的异常特征的原因的方法的流程图;
图4示出了测得特征序列的时间窗口;
图5是描述作为后续异常特征原因的特征的图表;
图6是识别受到从系统电路装置测得的异常特征影响的后续测得特征的方法的流程图;
图7示出了测得特征序列的时间窗口。
图8是描述作为后续异常特征原因的特征和受异常特征影响的特征的图表;
图9a、图9b、图9c和图9d是针对不同长度的候选窗口集,描述作为后续异常特征原因的特征和受异常特征影响的特征的图表。
具体实施方式
以下公开内容描述了一种适合在集成电路芯片上实施的监控架构。集成电路芯片可以是SoC或多芯片模块(MCM)。
图1和图2是示例性系统架构以及系统架构内的组件的示意图。这些图以功能块的方式呈现结构。在这些图中省略了一些用于执行本领域公知功能的功能块。图3和图6是流程图,它们示出了分析由监控电路装置测量的统计数据的方法。每个流程图描述了可以实施该流程图的方法的顺序。然而,这些流程图并不意图限制按所描述的顺序实施所描述的方法。这些方法的步骤可以按照流程图中描述的顺序的替代顺序来执行。
图1示出了SoC 100的示例性监控网络的一般结构。监控电路装置101被布置用于监控系统电路装置102。例如,用于检测与安全性或安全保障关注点有关的核心设备的不当运行。
图2示出了示例性的系统电路装置,其包括通过SoC互连203连接的核心设备201、202。核心设备201a、201b、201c是主设备。核心设备202a、202b、202c是从设备。任意数量的核心设备都可以被适当地集成到系统电路装置中,如图2上主设备和从设备的编号为1、2、...N所示。SoC互连203形成了SoC的通信主干,主设备和从设备通过该通信主干相互通信。这些通信是双向的。
主设备是发起业务、如网络中的读/写请求的设备。主设备的示例是处理器,如DSP(数字信号处理器)、视频处理器、应用处理器、CPU(中央处理器单元)和GPU(图形处理器单元)。任何可编程的处理器都可以是主设备。主设备的其他示例是具有DMA(直接存储器访问)能力的设备,如用于将数据从一个位置移动到另一个位置的传统DMA,具有DMA能力的自主协处理器(如加密引擎),以及具有DMA能力的外围设备(如以太网控制器)。
从设备是响应主设备的命令的设备。从设备的示例是片上存储器、片外存储器(如DRAM)的存储器控制器和外围单元。
SoC互连203的拓扑结构取决于SoC。例如,其可以包括用于围绕系统电路装置传输通信的以下网络类型的任何一种或组合:总线网络、环形网络、树形网络或网状网络。
监控电路装置101包括监控单元204a、204b,其通过监控互连205连接到通信器206。
在监控电路装置中可以集成任意数量的监控单元。每个监控单元都连接到主设备与从设备之间的通信链路。这种连接可以在主设备与SoC互连之间,例如在主设备与SoC互连之间的接口处。该连接可以在SoC互连与从设备之间,例如在从设备与SoC互连之间的接口处。每个监控单元可以连接到一个单独的通信链路。替代性地,监控电路装置101的一个或多个监控单元可以连接到多个通信链路。监控单元204通过监控在受监控的通信链路上的通信来监控核心设备的运行。可选地,监控单元也可以能够操纵它们所监控的核心设备的运行。
通信器206可以是与片外实体进行通信的接口。例如,监控电路装置101可以通过通信器206与片外分析器通信。附加地或者替代性地,通信器206可以被配置用于与片上其他实体通信。例如,监控电路装置101可以通过通信器206与片上分析器通信。尽管图2示出了一个通信器206,但任意数量的通信器都可以被集成到SoC上。所实施的通信器是根据要进行的连接类型来选择的。示例性的通信器包括:JTAG、并行跟踪输入/输出、和基于Aurora的高速串行接口;以及诸如USB、以太网、RS232、PCIe和CAN的系统接口的重复使用。
监控互连205的拓扑结构可以包括用于围绕监控电路装置传输通信的以下任何一种网络类型或其组合:总线网络、环形网络、树形网络或网状网络。监控单元204与通信器206之间的通信链路是双向的。
如上所述,图2的监控单元204监控主设备201与从设备202之间的通信。监控单元可以从它们所监控的通信中收集统计数据。所收集的统计数据和完成统计收集的时间窗口是可配置的。例如,每个监控单元204可以从片上或片外的分析器接收配置命令,该分析器命令监控单元监控特定的通信参数。分析器还可以规定监控参数的时间窗口的长度。分析器还可以规定何时将采集的数据报告给分析器。通常,分析器要求定期报告所采集的数据。
因此,监控单元204可以被配置用于监控其所连接的组件(无论是主设备201还是从设备202)在一系列监控时间窗口上的通信。每个监控时间窗口的长度可以由上述的分析器规定。监控时间窗口可以是不重叠的。例如,监控时间窗口可以是连续的。替代性地,监控时间窗口可以是重叠的。
由对系统电路装置的一个或多个组件进行观察的监控单元可以产生的数据示例包括:
-追踪数据。生成的追踪数据可以是监控单元观察到的数据的副本。例如,由CPU执行的指令序列的副本,或总线上的一组事务。
-匹配数据。监控单元可以被配置用于针对特定事件的发生来监控系统电路装置。在识别到特定事件时,监控单元产生匹配数据。监控单元可以立即将该匹配数据输出给分析器。
-计数器数据。监控单元可以包括一个或多个计数器。每个计数器被配置用于对特定事件的发生进行计数。计数器的计数值可以定期输出给分析器。
由监控单元产生的原始数据被适当地转换为一系列时间窗口的每个窗口的一组测得特征。每个测得特征都有针对每个窗口的值。
测得特征的示例包括:
-从总线捕获的聚合带宽。其可以分为用于读操作的聚合带宽,以及单独的用于写操作的聚合带宽。
-从总线捕获的读操作的最大延迟、最小延迟和/或平均延迟。
-地址匹配事件的数量。换而言之,对所选择的存储器区域的访问数量。
-根据软件执行追踪,在每个单独的线程中:(i)在线程中花费的累计时间;和/或(ii)最小、最大、和/或平均线程间隔时间;和/或(iii)线程计划事件的数量,可选地指定从哪个线程接管。
-根据软件执行追踪,中断的数量,和/或在中断处理时花费的最小、最大、和/或平均时间。
-根据CPU指令追踪,执行的指令数量,可选地按其中可能包括分支的指令类别归类。
原始数据到测得特征的转换可以通过本领域中已知的任何方法进行。这种转换可以由片上的监控电路装置101执行。替代性地,转换可以由分析器执行,分析器可以是片上或片外的。在生成测得特征中,从监控单元204以外的资源获得的数据可以与监控单元产生的原始数据结合使用。聚合测得特征的时间窗口可以具有在1ms和1000ms之间的长度。聚合测得特征的时间窗口可以具有10ms和100ms之间的长度。
然后,一系列时间窗口中的测得特征可以被输入到异常检测方法中,以识别这些测得特征中任一测得特征是否异常。异常检测方法可能由分析器执行。然而,替代性地,异常检测方法可以由监控电路装置101执行。
在第一示例中,异常检测是利用从已知的良好序列训练出的模型来执行的。在本示例中,该模型捕捉了一系列时间窗口的行为,这些时间窗口的测得特征已知不是异常的。建立模型包括为每个特征构建特征分布。例如,可以使用核密度估计器(KDE)来建立分布。KDE从一条平坦的零线开始,为来自一系列时间窗口中的每个窗口的每个特征的值添加小高斯核。每个特征值对分布的贡献量是相同的。然后,最终值可以被缩放。结果是一个特征分布,其指示特征的特定值代表正常行为的可能性。因此,该模型包括一组代表这些特征的正常行为的特征分布。
然后,后续序列可以与该模型进行比较。后续序列包括一系列的时间窗口,其测得特征不知道是异常的还是正常的。通过将后续序列的单个窗口与模型比较,后续序列可以与模型进行比较。在这种情况下,确定与单个窗口中的特征的值相对应的模型特征分布的值。如果分布的值指示该特征值是正常行为的可能性很低,那么该特征被确定为在该单个窗口中是异常的。例如,如果分布值低于阈值,那么该特征就被确定为在单个窗口中是异常的。阈值对于不同的特征可以是不同的。
异常特征作为电信号输出给用户(例如作为屏幕上的视觉信号)。如果识别出两个或更多的异常特征,那么这些特征可以在输出信号中进行排序。异常特征可按其值低于阈值的次序排序,低于阈值最远的异常特征被排在第一位,而低于阈值最接近的异常特征被排在最后。
通过首先为后续序列的每个特征构建特征分布,后续序列可以与该模型进行比较。例如,可使用KDE来生成每个特征分布,如上文关于模型生成所述的那样。然后为每个特征获取在模型特征分布与后续序列特征分布之间的差异。如果对于一个特征而言这两个特征分布之间的平均差异大于阈值,那么后续序列中的该特征被确定为包含异常。
异常特征作为电信号输出给用户(例如作为屏幕上的视觉信号)。如果确定了两个或更多的异常特征,那么这些特征可以在输出信号中进行排序。异常特征可以按照它们在模型特征分布和后续序列特征分布之间的平均差异的次序进行排序,具有最大平均差异的异常特征被排在第一位,具有最小平均差异的异常特征被排在最后。
在第二示例中,在不利用已知其测得特征不是异常的一系列时间窗口的行为的情况下,执行异常检测。对包含一系列测得特征的时间窗口的序列执行异常检测。这些测得特征不知道是异常的还是正常的。该示例包括为该序列的每个特征构建特征分布。这可以使用如上文关于第一示例所述的KDE来执行。每个特征的特征分布中的最低值被识别为潜在异常。这些潜在异常特征作为电信号输出给用户(例如,作为屏幕上的视觉信号)。用户可以拒绝被识别的特征,认为它们不是异常的,或者接受被识别的特征为异常的。用户也可以将其他特征手动标记为异常的。
输出的异常特征可被分组到异常窗口中。异常窗口可按其在所有特征上的可能性的次序排序,具有在所有特征上代表正常行为的最低可能性的异常窗口被排在第一位,具有在所有特征上代表正常行为的最高可能性的异常窗口被排在最后。
适当地,对所选择的异常检测方法执行多次迭代,每次迭代使用不同的时间窗口长度。例如,在迭代中可以利用从10ms到100ms的时间窗口长度范围。这可以使得在特定窗口长度内更容易观察到的由暂时属性所导致的异常能够被识别出。在每次迭代中,时间窗口可以是不重叠的。例如,时间窗口可以是连续的。替代性地,时间窗口可以是重叠的。
现在,参照图3说明用于识别SoC上的组件活动中的异常特征的原因的方法。这些异常特征已经用异常检测方法(如上所述的方法之一)被识别出。参照图3说明的方法在处理器上执行。适当地,该处理器位于分析器处。该分析器可以在SoC 100上。替代性地,分析器可以是片外组件。替代性地,处理器也可以位于SoC的监控电路装置101中。
处理器接收测得特征序列作为输入。处理器还接收一个或多个时间窗口作为输入,这些时间窗口被识别为其中具有至少一个异常特征。可选地,异常特征本身也可以被识别。处理器使用这些输入在异常窗口之前的时间窗口中搜索异常特征的可能原因。
在步骤301,处理器选择候选窗口集j,在该候选窗口集中搜索异常特征的原因。针对每个异常窗口,处理器选择一个或多个窗口加入候选窗口集j。针对每个异常窗口,从异常窗口和测得特征序列中在异常窗口之前的窗口集中,选择添加到候选窗口集j的窗口。图4示出了测得特征的示例序列。异常窗口被标记为401。针对该异常窗口,从标有402的窗口中选择由处理器添加到候选窗口集j的窗口。该窗口集402通过以下来界定:(i)异常窗口404,和(ii)远端早期窗口405。远端早期窗口要在其中搜索异常特征原因的最早窗口。为了便于说明,在异常窗口401之前只显示了10个窗口。在实践中,窗口集402可以包括多达1000个窗口。例如,窗口集402可以包括100个窗口。添加到用于异常窗口401的候选窗口集j中的窗口Cj被标记为403。添加到候选窗口集j中的窗口Cj的长度是可配置的。窗口Cj的长度可以是仅单个窗口。替代性地,窗口Cj的长度可以包括两个或更多个窗口。窗口Cj的长度可以包括多达10个窗口。在图4的示例中,窗口Cj的长度被显示为包括三个窗口:窗口4、5和6。处理器选择窗口Cj添加到用于测得特征序列中的每个异常窗口的候选窗口集j。例如,在这次迭代中,处理器可以为每个异常窗口向候选窗口集j添加三个窗口,这三个窗口是从异常窗口回退4到6个窗口的连续窗口。
在步骤301之后,处理器转到步骤302。在步骤302,对于测得特征i,处理器针对候选窗口集j计算该测得特征i的第一特征概率分布PD1。
在步骤303,对于每个测得特征i,处理器针对在序列中但不在候选窗口集j中的窗口计算该测得特征i的第二特征概率分布PD2。第二特征概率分布PD2可针对包括不在候选窗口集j中的所有窗口402的窗口集来计算。
步骤302和303可以同时执行。替代性地,如图3所示,步骤302可以在步骤303之前。替代性地,步骤303可以在步骤302之前。
第一和第二特征概率分布可以由处理器应用上述的KDE方法对测得特征序列的所识别窗口来计算。替代性地,第一和第二特征概率分布可以由处理器通过对测得特征序列的所识别窗口拟合高斯混合模型来计算。在其中识别到其他异常的异常窗口之前,可能只有少量的窗口。高斯混合模型产生的分布比KDE模型更简单,对较少的数据点更有效,因此在此可能在此为更优选的。另外,本领域中已知的不同模型可以用于生成第一和第二特征概率分布。
在步骤302和303计算出第一和第二特征概率分布后,处理器在步骤304对这两个分布进行比较。分布之间的巨大差异指示该特征是异常窗口中观察到的异常的原因或贡献者。因此,处理器确定第一和第二特征概率分布的差异是否超过了阈值Vt。在步骤304,如果第一和第二特征概率分布PD1和PD2相差超过阈值Vt,则处理器转到步骤305,在该步骤中处理器将候选窗口集j中的特征i识别为异常窗口中的异常特征的原因。如果在步骤304,第一和第二特征概率分布PD1和PD2的差异小于阈值Vt,则处理器不将候选窗口集j中的特征i识别为异常窗口中的异常特征的原因。
为了评估第一和第二特征概率分布的差异是否超过阈值,处理器可以确定这两个概率分布之间的差异度量。该差异度量是一个单独值。该单独值可以代表概率分布之间的平均差异。换而言之,在两个分布中的每个特征值处观察到的特征数量之间的平均差异。替代性地,该单独值可以代表概率分布之间的总差异。换而言之,在两个分布中的每个特征值处观察到的特征数量之间的总差异。该差异度量可以通过本领域中已知的任意方法计算。然后,在步骤304将该差异度量|PD1-PD2|与阈值Vt比较。
然后处理器转到步骤306。在步骤306,处理器确定是否还有图3的方法关于候选窗口集j尚未应用到的其他测得特征。如果还有测得特征,那么处理器转到步骤307,在该步骤中选择下一个测得特征。然后,处理器针对候选窗口集j针对下一个测得特征重复步骤302至306。在步骤306,如果处理器确定没有其他测得特征,则转到步骤308。
在步骤308,处理器确定是否还有图3的方法尚未应用到的候选窗口集。下一个候选窗口集j+1可以与候选窗口集j重叠。例如,对于下一个候选窗口集j+1,对于每个异常窗口,相比于其所选择添加到候选窗口集j的窗口,处理器可以选择不同的一个或多个窗口加入到候选窗口集j+1中。与候选窗口集j一样,对于每个异常窗口,加入到候选窗口集j+1的窗口从异常窗口和在测得特征序列中位于异常窗口之前的窗口集中选择出。参照图4,处理器为用于异常窗口401的候选窗口集j+1所添加的窗口Cj+1被标记为408,其仅包括窗口5、6和7。在本示例中,候选窗口集j+1的窗口5和6与候选窗口集j重叠。替代性地,下一个候选窗口集j+1可以不与候选窗口集j重叠,但与它相邻。例如,参考图4,处理器为用于异常窗口401的候选窗口集j+1所添加的窗口Cj+1被标记为409,其包括窗口7、8和9。在本示例中,关于异常窗口401选择的候选窗口集j+1和候选窗口集j没有重叠的窗口。一旦迭代到达远端早期窗口405,那么就没有其他候选窗口集。
如果在步骤308确定有更多的候选窗口集,那么处理器转到步骤309,在该步骤中选择下一个候选窗口集。然后,处理器为下一个候选窗口集重复步骤302至308。如果在步骤308确定没有更多的候选窗口集,那么处理器转到步骤310,在该步骤输出异常窗口的异常特征的所识别原因(如果有)。
在步骤310,异常特征的原因可以作为电信号输出给用户(例如,作为分析器屏幕上的视觉信号)。例如,可以向屏幕输出如图5中所示的图表。图5的图表示出了多个曲线图。每个曲线图绘出了一个测得特征的第一和第二特征分布之间的缩放的差异度量(在y轴上)与从异常窗口回退的窗口数量(在x轴上)。时间上回退的窗口数量可被作为候选窗口集的最接近异常窗口的窗口。例如,见图4,对于候选窗口集j的第一和第二特征概率分布之间的缩放差异度量被标记在x轴上按时间回退的三个窗口处。
不同的测得特征之间的差异度量是不一致的。例如,累积时间可能始终比存储器饱和的更具变化性。由于图5将所有测得特征的差异度量值在一张图上绘出,差异度量被缩放成它们是可比较的。因此,差异度量为不同的测得特征提供了相对度量。例如,差异度量可以由它们随时间的差异的百分位数来缩放。例如,差异度量可按第50百分位来缩放。
通过在与异常窗口的时间偏移上绘制缩放的差异度量,作为异常特征的原因的测得特征对用户来说是很明显的。在特定数量的时间上回退的窗口,对于测得特征的大缩放差异指示在该时间上回退的窗口数量上在该测得特征中发生原因的可能性很大。
图5的图表示出了对软件线程切换数据执行的图3的方法。分别使用高斯混合模型(GMM)生成第一和第二特征概率分布。候选窗口集有单个窗口。相对的GMM分布差异被用作差异度量。该图表示,时间上接近异常窗口的rt线程是异常特征的原因。这表现在对于最大和最小rt时间的测量差异在0到1的窗口范围内明显高于其他特征的测量差异。
与参照图3描述的方法相对应的方法也可以应用于测得特征序列中的异常窗口之后的窗口。该方法在图6中示出并且可用于识别受异常窗口中的异常特征影响的后续测得特征。图6的方法是在执行图3的方法的相同处理器中执行的。
与图3一样,对于图6的方法,处理器接收测得特征的序列和被识别为其中具有至少一个异常特征的一个或多个时间窗口作为输入。处理器使用这些输入来搜索在异常窗口之后的时间窗口中受异常特征影响的后续特征。
在步骤601,处理器选择后续候选窗口集k,在该后续候选窗口集中搜索受异常特征影响的测得特征。对于每个异常窗口,处理器选择一个或多个窗口添加到后续候选窗口集k中。对于每个异常窗口,添加到后续候选窗口集k中的窗口从异常窗口和在测得特征序列中位于异常窗口之后的窗口集中选择。图7示出了测得特征的示例序列。异常窗口被标记为401。对于该异常窗口,由处理器添加到后续候选窗口集j中的窗口从标有701的窗口中选择。该窗口集701通过以下界定:(i)异常窗口702,和(ii)远端后期窗口703。远端后期窗口703是要在其中搜索异常特征的影响的最迟窗口。为了便于说明,在异常窗口401之后只显示了10个窗口。在实践中,窗口集701可以包括多达1000个窗口。例如,窗口集701可以包括100个窗口。添加到用于异常窗口401的后续候选窗口集k中的窗口Ck被标记为704。添加到后续候选窗口集k中的窗口Ck的长度是可配置的。窗口Ck的长度可以是单个窗口。替代性地,窗口Ck的长度可以包括两个或更多个窗口。窗口Ck的长度可以包括多达10个窗口。在图7的示例中,窗口Ck的长度被显示为包括三个窗口:窗口5、6和7。处理器选择窗口Ck添加到用于测得特征序列中的每个异常窗口的后续候选窗口集k。例如,在这次迭代中,处理器可以为用于每个异常窗口的候选窗口集k添加三个窗口,这三个窗口是在异常窗口前方5到7个窗口的连续窗口。
在步骤601之后,处理器转到步骤602。在步骤602,对于测得特征I,处理器对于后续候选窗口集k计算该测得特征I的第三特征概率分布PD3。
在步骤603,对于每个测得特征I,处理器对于序列中但不在后续候选窗口集k中的窗口计算该测得特征I的第四特征概率分布PD4。第四特征概率分布PD4可以针对包括不在后续候选窗口集k中的所有窗口701的窗口集704来计算。
步骤602和603可以同时执行。替代性地,如图3所示,步骤602可以在步骤603之前。替代性地,步骤603可以在步骤602之前。
第三和第四特征概率分布可由处理器使用上述关于第一和第二特征概率分布的任意方法计算。
在步骤602和603中计算出第三和第四特征概率分布后,处理器在步骤604对这两个分布进行比较。分布之间的巨大差异指示该特征受到异常窗口中观察到的异常的影响。因此,处理器确定第三和第四特征概率分布的差异是否超过阈值Vt'。在步骤604,如果第三和第四特征概率分布PD3和PD4相差超过阈值Vt',则处理器转到步骤605,其中处理器将后续候选窗口集k中的特征I识别为受到异常窗口中的异常特征的影响。在步骤604,如果第三和第四特征概率分布PD3和PD4相差小于阈值Vt',则处理器不将后续候选窗口集k中的特征I识别为受到异常窗口中的异常特征影响。
为了评估第三和第四特征概率分布的差异是否超过阈值,处理器可以确定两个概率分布之间的差异度量。该差异度量可按上述参考图3的第一和第二特征概率分布来计算。
然后,处理器转到步骤606。在步骤606,处理器确定是否还有图6的方法关于后续候选窗口集k尚未应用到的任何测得特征。如果有更多的测得特征,则处理器转到步骤607,在该步骤中选择下一个测得特征。然后,处理器针对后续候选窗口集k对于下一个测得特征重复步骤602至606。如果在步骤606,处理器确定没有其他测得特征,那么处理器转到步骤608。
在步骤608,处理器确定是否还有图6的方法尚未应用到的后续候选窗口集。下一个后续候选窗口集k+1可以与后续候选窗口集k重叠。例如,对于下一个候选窗口集k+1,对于每个异常窗口,相比于被选择添加到后续候选窗口集k的窗口,处理器可以选择不同的一个或多个窗口添加到后续候选窗口集k+1中。与后续候选窗口集k一样,对于每个异常窗口,添加到后续候选窗口集k+1的窗口是从异常窗口和测得特征序列中位于异常窗口之后的窗口集中选择的。参照图7,处理器为用于异常窗口401的后续候选窗口集k+1所添加的窗口Ck+1被标记为707,其仅包括窗口6、7和8。在本示例中,后续候选窗口集k+1的窗口6和7与后续候选窗口集k重叠。替代性地,后续候选窗口集k+1可以不与后续候选窗口集k重叠,但与它相邻。例如,参照图7,处理器为用于异常窗口401的后续候选窗口集k+1所添加的窗口Ck+1被标记为708,其包括窗口8、9和10。在本示例中,关于异常窗口401所选择的后续候选窗口集k+1和后续候选窗口集k没有重叠的窗口。一旦迭代到达远端后期窗口703,那么就没有其他后续候选窗口集。
如果在步骤608确定有更多的后续候选窗口集,那么处理器转到步骤609,在该步骤选择下一个后续候选窗口集。然后,处理器对下一个后续候选窗口集重复步骤602至608。如果在步骤608确定没有更多的后续候选窗口集,那么处理器转到步骤610,在该步骤输出被识别为受异常窗口的异常特征影响的测得特征。
在步骤610,受影响的测得特征可以作为电信号输出给用户(例如,作为分析器屏幕上的视觉信号)。例如,可以输出与图5相对应的图表,该图表示出了对于测得特征的第三与第四特征分布之间的缩放的差异度量(在y轴上)与在时间上从异常窗口向前的时间窗口的数(在x轴上)。时间上向前的窗口数量可以被作为后续候选窗口集中与异常窗口最接近的窗口。例如,见图7,在用于后续候选窗口集k的第三与第四特征概率分布之间的缩放差异度量被标记在x轴上时间上向前的四个窗口处。差异度量可按参照图3和图5描述的相同方式进行缩放。
图8是一图表,其示出了在相同测得特征序列上执行参照图3和图6描述的两种方法的结果,该测得特征序列与用于生成图5的图表的测得特征序列相同。这些方法可以单独执行,如上所述那样。替代性地,这些方法可以被共同执行为单个方法,具有图3中的包括异常窗口之前和之后的两个窗口的候选窗口集。在图8的图表中,测得特征i与测得特征I的特征类型相同。候选窗口集j的长度与后续候选窗口集k的长度相同。与图5一样,特征概率分布全部用高斯混合模型生成,(后续)候选窗口集有单个窗口。与图5一样,图8的图表指示,与异常窗口时间相近的rt线程是异常特征的原因,以及指示异常窗口之后的rt线程也受到异常特征的影响。这表现在最小rt时间的测量差异在-1至1窗口范围内比其他特征的测量差异明显更大。
图5和图8都是在处理器执行参照图3和图6描述的方法使用仅有单个窗口的(后续)候选窗口集时产生的。(后续)候选窗口集中的窗口数量可以大于一。这可能使这些方法对发生错误的准确时间点不那么敏感。在(后续)候选窗口集长度为2、3、5和10个窗口的情况下重复实施所实施的生成图8的方法,其结果分别显示在图9a、图9b、图9c和图9d中。这些图示出了,关于长度为2个窗口的(后续)候选窗口集,rt线程可以被轻松识别为原因和受影响特征。关于长度为3和5个窗口的(后续)候选窗口集,rt线程可以被识别为原因和受影响特征。然而,在图9d的(后续)候选窗口集长度为10个窗口的情况下,(后续)候选窗口集的特征概率分布与(后续)候选窗口集以外的窗口的特征概率分布过于相似,无法将rt线程识别为原因和受影响特征。
IC芯片上的监控电路装置,如图2所示,可以产生巨量的监控数据。本文描述的方法提供了一种分析这种数据的方法,以识别从系统电路装置测得的异常特征的原因,以及受异常特征影响的后续特征。这些方法可以在系统电路装置持续执行其功能时实时实施。替代性地,这些方法可以在晚些的时间离线实施。
异常检测可以适用于金融、商业、企业、工业和工程市场等广泛领域。本文所述方法的示例性使用是:用于安全监控,如欺诈检测或入侵检测、安全监控、工业设备(如传感器)的预防性维护和性能监控。
图1和图2中示出的SoC的每个组件可以用专用硬件实现。替代性地,图1和图2中示出的SoC的每个组件可以用软件来实现。有些组件可以用软件实现,而其他组件则用专用硬件实现。
所描述的SoC被适当地整合到基于计算的设备中。基于计算的设备可以是电子设备。适当地,基于计算的设备包括一个或多个处理器以用于处理计算机可执行的指令来控制设备的运行,从而实现本文所述的方法。可以使用任何计算机可读介质,如存储器,来提供计算机可执行的指令。本文所述的方法可由有形存储介质上的机器可读形式的软件执行。在基于计算的设备上可以提供软件来实现本文所述的方法。
以上说明描述了将系统电路装置和监控电路装置包含在同一SoC上。在替代性实施方案中,系统电路装置和监控电路装置包含在MCM的两个或更多个集成电路芯片上。在MCM中,集成电路芯片通常堆叠在一起,或相邻地位于中介基底上。一些系统电路装置可能位于一个集成电路芯片上,其他系统电路装置位于MCM的不同集成电路芯片上。同样地,监控电路装置可以分布在MCM的多于一个的集成电路芯片上。因此,上述在SoC背景下描述的方法和装置也适用于MCM的背景。
申请人在此单独公开了本文所述的每个独立特征以及两个或更多个此类特征的任意组合,只要此类特征或组合能够根据本领域技术人员的公知常识基于本说明书整体来进行,而不考虑此类特征或特征组合是否解决了本文所公开的任何问题,并且不对权利要求的范围产生限制。申请人表示,本发明的各个方面可以由任何这种单独特征或特征组合构成。鉴于上述说明,对于本领域技术人员来说,显然可以在本发明的范围内进行各种修改。
Claims (19)
1.一种识别从一个集成电路(IC)芯片上的系统电路装置测得的异常特征的原因的方法,所述IC芯片包括所述系统电路装置和监控电路装置,所述监控电路装置用于通过测得一系列窗口中的每个窗口中的所述系统电路装置的特征来监控所述系统电路装置,所述方法包括:
(i)从包括所述异常特征的异常窗口之前的一个窗口集中,识别一个候选窗口集,以便在所述候选窗口集中搜索所述异常特征的原因;
(ii)针对所述系统电路装置的所测得的特征中的每个测得的特征:
(a)针对所述候选窗口集,计算该测得的特征的第一特征概率分布;
(b)针对不在所述候选窗口集中的窗口,计算该测得的特征的第二特征概率分布;
(c)比较所述第一特征概率分布和所述第二特征概率分布;以及
(d)如果所述第一特征概率分布和所述第二特征概率分布相差超过阈值,则识别出在所述候选窗口集的时间范围内的该测得的特征作为所述异常特征的原因;
(iii)针对来自所述异常窗口之前的所述窗口集的多个其他候选窗口集,迭代步骤(i)和(ii);以及
(iv)输出一个信号,所述信号指示步骤(ii)(d)中被识别为所述异常特征的原因的那些测得的特征。
2.根据权利要求1所述的方法,其中:
步骤(ii)(c)包括,确定所述第一特征概率分布与所述第二特征概率分布之间的差异度量;以及
步骤(ii)(d)包括,如果该差异度量大于所述阈值,则识别出所述候选窗口集的时间范围内的所测得的特征是所述异常特征的原因。
3.根据权利要求2所述的方法,其中,所述差异度量是由所述迭代的第一特征概率分布与第二特征概率分布之间的随时间的差异的百分位数来缩放的。
4.根据前述权利要求中任一项所述的方法,其中,所述异常窗口之前的所述窗口集被(i)所述异常窗口和(ii)一个远端早期窗口界定。
5.根据权利要求4所述的方法,其中,步骤(ii)(b)包括,针对在所述候选窗口集与所述异常窗口之间的一个窗口集,计算该测得的特征的所述第二特征概率分布。
6.根据前述权利要求中任一项所述的方法,其中,所述候选窗口集包括少于10个窗口。
7.根据权利要求6所述的方法,其中,所述候选窗口集仅包括一个窗口。
8.根据前述权利要求中任一项所述的方法,其中,所述第一特征概率分布和所述第二特征概率分布是在步骤(ii)(a)和(ii)(b)中通过对已识别的所述窗口的所测得的特征拟合高斯模型来计算的。
9.根据前述权利要求中任一项所述的方法,还包括,识别受所述异常特征影响的测得的特征,受影响的所述测得的特征位于所述异常窗口之后的一个窗口中,所述方法包括:
(v)从所述异常窗口之后的一个窗口集中,识别一个后续候选窗口集,以便在所述后续候选窗口集中搜索所述异常特征的影响;
(vi)针对所述系统电路装置的所测得的特征中的每个测得的特征:
(a)针对所述后续候选窗口集,计算该测得的特征的第三特征概率分布;
(b)针对不在所述后续候选窗口集中的后续窗口,计算该测得的特征的第四特征概率分布;
(c)比较所述第三特征概率分布和所述第四特征概率分布;以及
(d)如果所述第三特征概率分布和所述第四特征概率分布相差超过其他阈值,则识别出在所述后续候选窗口集的时间范围内的该测得的特征作为受到所述异常特征影响;以及
(vii)针对所述异常窗口之后的所述窗口集的多个其他后续候选窗口集,迭代步骤(v)和(vi);以及
(viii)输出一个信号,所述信号指示步骤(vi)(d)中被识别为受所述异常特征影响的那些测得的特征。
10.根据权利要求9所述的方法,其中:
步骤(vi)(c)包括,确定所述第三特征概率分布与所述第四特征概率分布之间的其他差异度量;以及
步骤(vi)(d)包括,如果该其他差异度量大于所述其他阈值,则识别出在所述后续候选窗口集的时间范围内的所测得的特征受到所述异常特征影响。
11.根据权利要求10所述的方法,其中,所述其他差异度量是在所述第三特征概率分布和所述第四特征概率分布之间随时间缩放的差异。
12.根据权利要求9至11中任一项所述的方法,其中,所述异常窗口之后的所述窗口集被(i)所述异常窗口和(ii)一个远端后期窗口界定。
13.根据权利要求12所述的方法,其中,步骤(vi)(b)包括,针对在所述后续候选窗口集与所述异常窗口之间的一个窗口集,计算该测得的特征的所述第四特征概率分布。
14.根据权利要求9至13中任一项所述的方法,其中,所述后续候选窗口集包括少于10个窗口。
15.根据权利要求14所述的方法,其中,所述后续候选窗口集仅包括一个窗口。
16.根据权利要求9至15中任一项所述的方法,其中,所述第三特征概率分布和所述第四特征概率分布是在步骤(vi)(a)和(b)中通过对已识别的所述窗口的所测得的特征拟合高斯模型来计算的。
17.根据前述权利要求中任一项所述的方法,其中,所测得的特征包括从由所述监控电路装置从通过所述系统电路装置的多个组件输出的数据产生的追踪数据得出的那些特征。
18.根据前述权利要求中任一项所述的方法,其中,所测得的特征包括从由所述监控电路装置从向所述系统电路装置的多个组件输入的数据或从所述系统电路装置的多个组件输出的数据识别出的匹配事件得出的那些特征。
19.根据前述权利要求中任一项所述的方法,其中,所测得的特征包括从所述监控电路装置的多个计数器得出的特征,所述计数器被配置用于每次从所述系统电路装置的多个组件观察到一个特定项目时进行计数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1917652.8A GB2589593B (en) | 2019-12-03 | 2019-12-03 | Identifying causes of anomalies observed in an integrated circuit chip |
GB1917652.8 | 2019-12-03 | ||
PCT/EP2020/083479 WO2021110530A1 (en) | 2019-12-03 | 2020-11-26 | Identifying causes of anomalies observed in an integrated circuit chip |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114761928A true CN114761928A (zh) | 2022-07-15 |
Family
ID=69147107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080083699.6A Pending CN114761928A (zh) | 2019-12-03 | 2020-11-26 | 识别集成电路芯片中观察到的异常的原因 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11816016B2 (zh) |
EP (1) | EP4070194A1 (zh) |
JP (1) | JP7425871B2 (zh) |
CN (1) | CN114761928A (zh) |
GB (1) | GB2589593B (zh) |
WO (1) | WO2021110530A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3123468B1 (fr) * | 2021-05-31 | 2024-04-19 | St Microelectronics Srl | Système sur puce |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065354A (ja) | 2009-09-16 | 2011-03-31 | Toshiba Corp | 水力発電所の水位管理システムおよびその方法 |
JP5637145B2 (ja) * | 2009-11-26 | 2014-12-10 | 日本電気株式会社 | バスモニタ回路及びバスモニタ方法 |
JP5928104B2 (ja) | 2012-03-31 | 2016-06-01 | 日本電気株式会社 | 性能監視装置、性能監視方法、及びそのプログラム |
US20160164721A1 (en) * | 2013-03-14 | 2016-06-09 | Google Inc. | Anomaly detection in time series data using post-processing |
JP2015184818A (ja) | 2014-03-20 | 2015-10-22 | 株式会社東芝 | サーバ、モデル適用可否判定方法およびコンピュータプログラム |
US10891558B2 (en) | 2015-01-21 | 2021-01-12 | Anodot Ltd. | Creation of metric relationship graph based on windowed time series data for anomaly detection |
US10261851B2 (en) * | 2015-01-23 | 2019-04-16 | Lightbend, Inc. | Anomaly detection using circumstance-specific detectors |
JP6504610B2 (ja) | 2016-05-18 | 2019-04-24 | Necプラットフォームズ株式会社 | 処理装置、方法及びプログラム |
US11055407B2 (en) | 2017-09-30 | 2021-07-06 | Oracle International Corporation | Distribution-based analysis of queries for anomaly detection with adaptive thresholding |
US20190243743A1 (en) * | 2018-02-07 | 2019-08-08 | Apple Inc. | Unsupervised anomaly detection |
US11709939B2 (en) | 2018-05-04 | 2023-07-25 | New York University | Anomaly detection in real-time multi-threaded processes on embedded systems and devices using hardware performance counters and/or stack traces |
US10685159B2 (en) * | 2018-06-27 | 2020-06-16 | Intel Corporation | Analog functional safety with anomaly detection |
US10798230B2 (en) * | 2018-08-23 | 2020-10-06 | Morgan Stanley Services Group Inc. | Faulty distributed system component identification |
US11060885B2 (en) * | 2019-09-30 | 2021-07-13 | Oracle International Corporation | Univariate anomaly detection in a sensor network |
-
2019
- 2019-12-03 GB GB1917652.8A patent/GB2589593B/en active Active
-
2020
- 2020-11-26 US US17/780,837 patent/US11816016B2/en active Active
- 2020-11-26 JP JP2022533133A patent/JP7425871B2/ja active Active
- 2020-11-26 CN CN202080083699.6A patent/CN114761928A/zh active Pending
- 2020-11-26 WO PCT/EP2020/083479 patent/WO2021110530A1/en unknown
- 2020-11-26 EP EP20824109.1A patent/EP4070194A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230004471A1 (en) | 2023-01-05 |
US11816016B2 (en) | 2023-11-14 |
EP4070194A1 (en) | 2022-10-12 |
GB201917652D0 (en) | 2020-01-15 |
GB2589593B (en) | 2022-05-11 |
JP2023504658A (ja) | 2023-02-06 |
JP7425871B2 (ja) | 2024-01-31 |
WO2021110530A1 (en) | 2021-06-10 |
GB2589593A (en) | 2021-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ohlsson et al. | Predicting fault-prone software modules in telephone switches | |
US7974800B2 (en) | Method, apparatus, and program for detecting the correlation between repeating events | |
JPH10510385A (ja) | ソフトウエア品質のアーキテクチャに基づく分析のための方法およびシステム | |
CN111796233B (zh) | 双母线接线形式下多台电压互感器继发性误差的评估方法 | |
CN113592343A (zh) | 二次系统的故障诊断方法、装置、设备和存储介质 | |
CN111045939B (zh) | Weibull分布的故障检测开源软件可靠性建模方法 | |
CN110300008A (zh) | 一种确定网络设备的状态的方法及装置 | |
CN114169286A (zh) | 晶圆缺陷的溯源方法、装置、电子设备及计算机可读介质 | |
CN113626267A (zh) | 复杂电子系统不确定性故障诊断效能评估方法 | |
CN114761928A (zh) | 识别集成电路芯片中观察到的异常的原因 | |
CN105589785A (zh) | 监控存储设备的io性能的装置和方法 | |
CN116955045B (zh) | 一种远程jtag多路复用测试方法及系统 | |
CN118133952A (zh) | 批量系统的事件影响性确定方法、装置、设备和存储介质 | |
CN116954624B (zh) | 基于软件开发包的编译方法、软件开发系统及服务器 | |
Boussif et al. | A twin-plant based approach for diagnosability analysis of intermittent failures | |
CN105574312B (zh) | 用于工程改变数据分析的方法和系统 | |
WO2023181241A1 (ja) | 監視サーバ装置、システム、方法、及びプログラム | |
CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 | |
EP4070198B1 (en) | Detecting anomalous latent communications in an integrated circuit chip | |
CN112162528B (zh) | 一种数控机床的故障诊断方法、装置、设备和存储介质 | |
US7831879B2 (en) | Generating test coverage bin based on simulation result | |
CN117762716B (zh) | 一种快速定位主板上内存条异常的方法及系统 | |
US8798944B2 (en) | Estimating ball-grid-array longevity in a computer system | |
Jin et al. | Anomaly detection and health-status analysis in a core router system | |
CN117971627B (zh) | 一种基于数据分析的服务器主机断电测试分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |