CN111712813B - 多维时间序列数据的智能预处理 - Google Patents
多维时间序列数据的智能预处理 Download PDFInfo
- Publication number
- CN111712813B CN111712813B CN201980011876.7A CN201980011876A CN111712813B CN 111712813 B CN111712813 B CN 111712813B CN 201980011876 A CN201980011876 A CN 201980011876A CN 111712813 B CN111712813 B CN 111712813B
- Authority
- CN
- China
- Prior art keywords
- data
- time series
- training data
- preprocessing
- precursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 65
- 238000012544 monitoring process Methods 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 83
- 239000002243 precursor Substances 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 67
- 238000003909 pattern recognition Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
- G06N5/047—Pattern matching networks; Rete networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/004—Error avoidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Debugging And Monitoring (AREA)
Abstract
所公开的实施例涉及一种对传感器数据进行预处理以促进预兆监控操作的系统。在操作期间，系统在被监视系统的操作期间从被监视系统中的传感器获得训练数据，其中该训练数据包括从由传感器所产生的信号采样的时间序列数据。该系统还获得预兆监控操作的功能需求。接下来，系统对训练数据执行预兆监控操作，并且在对非训练数据进行测试时确定预兆监控操作是否满足功能需求。如果预兆监控操作不满足功能需求，那么以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
Description
技术领域
公开的实施例一般而言涉及用于存储多维时间序列遥测(telemetry)数据的数据库系统。更具体而言，所公开的实施例涉及数据库系统，该数据库系统对多维时间序列数据执行智能预处理操作，以促进后续的预兆监控(prognostic-surveillance)操作，以主动检测被监视资产中的即将发生的问题。
背景技术
目前正在部署大量传感器以监视不同行业中的关键资产。例如，中型数据中心可以包括监视数以千计的关键业务服务器的超过1,000,000个传感器，现代客机可以包括75,000个传感器，而炼油厂可以包括超过1,000,000个传感器。这些传感器生成大量的时间序列数据，可以使用基于机器学习(ML)的预兆监控技术进行分析，以在问题出现之前检测降级机制的发作。这使得可能执行“主动维护”以在其造成关键资产发生故障之前解决即将发生的问题。应注意的是，主动维护技术优于常规的“被动维护技术”，后者通常在降级事件显著发生之后或关键资产发生故障后生成警报。
但是，时间序列传感器数据常常有问题。例如，常常从产生低分辨率数据值的低分辨率传感器收集时间序列数据，这可能对预兆监控产生不利影响。而且，因为通常通过共享的并且可能不可靠的通信通道来传送时间序列数据，所以数据值可能丢失。而且，个别传感器可能发生故障、无法校准或出现间歇性“卡壳”故障，并且用于搜集传感器数据的时基可能(可变地)错位。这些和其它传感器干扰问题可能显著降低后续预兆监控操作的有效性。
因此，提供用于预处理时间序列传感器数据以减轻上述问题的技术可能是适当的。
发明内容
所公开的实施例涉及一种对传感器数据进行预处理以促进预兆监控操作的方法。在操作期间，系统在被监视系统的操作期间从该被监视系统中的传感器获得训练数据，其中该训练数据包括从该传感器所产生的信号采样的时间序列数据。该系统还获得预兆监控操作的功能需求。接下来，该系统对训练数据执行预兆监控操作并且确定预兆监控操作是否满足功能需求。如果在对非训练数据进行测试时预兆监控操作不满足功能需求，那么该系统以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
在一些实施例中，一个或多个预处理操作包括以下中的一项或多项：故障传感器检测操作，检测故障传感器并且替换或移除由故障传感器产生的数据；数据去量化操作，对低分辨率的时间序列数据进行去量化以产生较高分辨率的时间序列数据；缺失数据插补操作，将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值；分析重采样操作，重新同步数据测量，所述数据测量由于用于不同信号的测量仪器中的时钟同步差异而异相；三点聚类操作，识别聚类内高度相关的信号的聚类，所述聚类之间的相关性弱；最优存储器向量化操作，使用最小的向量集表示时间序列数据的结构；统计压缩操作，使用循环文件压缩技术来压缩较旧的数据值；以及剩余使用寿命(RUL)估计操作，估计被监视系统中的一个或多个部件的剩余使用寿命。
在一些实施例中，预兆监控操作的功能需求包括以下中的一项或多项：错误警报概率(FAP)；缺失警报概率(MAP)；以及用于发现异常的检测时间(TTD)度量。
在一些实施例中，迭代地将所述一个或多个预处理操作应用于训练数据包括根据需要重复以下操作：将最低计算成本预处理操作应用于训练数据，该最低计算成本预处理操作尚未应用于训练数据；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果预兆监控操作不满足功能需求，那么重复该操作。
在一些实施例中，系统附加地使用训练数据来训练用于预兆模式识别系统的推理模型，并且使用与应用于训练数据相同的预处理操作对随后从传感器接收的时间序列数据进行预处理。然后，系统将在监控模式中使用推理模型的预兆模式识别系统应用于随后接收的时间序列数据，以检测在被监视系统的后续执行期间出现的早期异常。
在一些实施例中，训练数据和随后接收的时间序列数据被存储在时间序列数据库系统中。在这些实施例中，预处理操作和预兆模式识别操作由被结合到时间序列数据库系统中的功能执行。
在一些实施例中，使用非线性非参数(NLNP)回归技术来训练推理模型。
在一些实施例中，NLNP回归技术包括多变量状态估计技术(MSET)。
在一些实施例中，执行预处理操作和预兆模式识别操作的功能通过以下中的一项或多项被结合到时间序列数据库系统中：声明性查询；数据完整性约束强制执行机制；以及MSET模型，该MSET模型被结合到时间序列数据库系统内的数据出处(provenance)跟踪机制中。应注意的是，通过声明性查询和通过数据库系统的约束强制执行机制将功能结合到数据库系统中的机制是众所周知的。而且，在发明人Kenny C.Gross等人于2017年12月21日提交的标题为“MSET-Based Process for Certifying Provenance of Time-Series Datain a Time-Series Database”的编号为15/850,027的美国专利申请中公开了基于MSET的防篡改出处跟踪机制，该专利申请通过引用并入本文。
在一些实施例中，应用预兆模式识别系统来检测早期异常包括检测被监视系统中的即将发生的故障。
在一些实施例中，系统在处理接收的时间序列数据之前证明任何接收的时间序列数据的出处。
附图说明
图1A图示了根据所公开的实施例的示例预兆监控系统。
图1B图示了根据所公开的实施例的预处理模块的库。
图2图示了根据所公开的实施例的示例情境感知(situational awareness,SA)决策环(decision loop)。
图3图示了根据所公开的实施例的智能数据预处理(IDP)数据流。
图4给出了图示根据所公开的实施例的迭代预处理操作的流程图。
图5给出了图示根据所公开的实施例的迭代地将预处理操作应用于训练数据所涉及的操作的流程图。
具体实施方式
给出以下描述以使本领域的任何技术人员能够制造和使用给出的实施例，并且在特定应用及其需求的上下文中提供以下描述。对于所公开的实施例的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本实施例的精神和范围的情况下，本文中定义的一般原理可以应用于其它实施例和应用。因此，给出的实施例不限于所示的实施例，而是应当被赋予与本文所公开的原理和特征一致的最宽范围。
在本具体实施方式中描述的数据结构和代码通常由计算机可读介质存储或传输，该计算机可读介质可以是可以存储或传输代码和/或数据以供计算机系统使用的任何设备或介质。计算机可读介质可以包括瞬态介质，诸如载波和传输信号，其可以在计算机系统之间和/或在计算机系统内发生。计算机可读介质还可以包括非瞬态介质，诸如计算机可读存储介质。计算机可读存储介质可以包括但不限于易失性存储器、非易失性存储器、磁性和光学存储设备(诸如盘驱动器、磁带、CD(光盘)、DVD(数字多功能光盘或数字视频光盘))或现在已知或以后开发的能够存储计算机可读介质的其它介质。
在具体实施方式部分中描述的方法和处理可以被实现为代码和/或数据，其可以如上所述被计算机可读介质存储或传输。当计算机系统读取并执行由计算机可读介质存储或传输的代码和/或数据时，计算机系统执行被实施为数据结构和代码并存储在计算机可读介质内的方法和处理。此外，以下描述的方法和处理可以被包括在硬件模块中。例如，硬件模块可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及现在已知或以后开发的其它可编程逻辑器件。当硬件模块被激活时，硬件模块执行硬件模块内包括的方法和处理。
在本具体实施方式内，术语“云计算服务”和“云服务”是指通过将资源和软件通过网络(诸如互联网)共享给计算设备来提供计算即服务的系统，通常为付费(例如，计费或订阅)服务。例如，云服务向其客户提供存储资源、计算能力、软件和数据访问，而客户一般不知道促进服务的物理设备和软件的底层结构。云计算服务供应商的示例包括华盛顿州西雅图的Amazon公司(供应Amazon Web服务)；德克萨斯州圣安东尼奥的Rackspace公司；以及华盛顿州雷德蒙德的Microsoft公司(供应Windows Azure)。
概述
所公开的实施例涉及新的基于云的服务，称为“智能数据处理”(IDP)。IDP提供了用于预处理大数据时间序列数据库的通用框架，用以：促进后续的预兆监控操作；改善和压缩数据以进行后续处理；并将最相关的数据带给系统用户的感知。应注意的是，物联网(IoT)系统必须摄取大量的多维时间序列数据并且必须实时检测异常状况。重要的附加需求是将传感器错误与资产错误隔开。两项任务都要求：最低可能的假阳性率和假阴性率；传感器数据的完整出处；“清理”传感器数据以提供改善的质量；重新对准数据以校正数据采样、存档和传输仪器中的时钟不匹配问题；以及压缩传感器数据以减小尺寸并提高处理效率。这样，基于IDP的系统将为用户提供异常状况的及时通知，同时提供对具体数据项的快速访问，这是快速而准确的根本原因分析所必需的。除了促进快速和高质量的决策制定之外，IDP服务还改善对后续调查、应用演化以及涉及数据的研究的支持。
预兆监控系统
图1A图示了根据所公开的实施例的示例预兆监控系统100。如图1A中所示，预兆监控系统100对从被监控系统102中的传感器获得的时间序列信号103的集合进行操作。被监控系统102一般可以包括任何类型的机械或设施，其包括传感器并生成时间序列信号。而且，时间序列信号103可以源自任何类型的传感器，其可以位于被监控系统102中的部件中，包括：电压传感器；电流传感器；压力传感器；转速传感器；以及振动传感器。
在预兆监控系统102的操作期间，时间序列信号103可以通过预处理模块104馈入时间序列数据库106，该时间序列数据库106存储时间序列信号103以用于后续分析。预处理模块104使用从预处理库105获得的代码模块执行各种预处理操作，诸如对数据值进行去量化和对数据值进行重采样。应注意的是，这些预处理操作可以提高后续涉及时间序列数据103的预兆监控操作的有效性。
接下来，时间序列信号103从时间序列数据库106馈入MSET模式识别模型108。(有关MSET的描述，参见发明人Kenny C.Gross等人于2004年2月11日提交的标题为“Detectingand Correcting a Failure Sequence in a Computer System Before a FailureOccurs”的编号为7,181,651的美国专利，该专利通过引用并入本文。)虽然将MSET用于模式识别目的是有利的，但是所公开的实施例一般可以使用被称为“非线性、非参数(NLNP)回归”的模式识别技术的通用类别中的任何一种，其包括神经网络、支持向量机(SVM)、自相关核回归(AAKR)以及甚至简单线性回归(LR)。
接下来，对MSET模型108进行“训练”以学习所有时间序列信号103之间的相关性的模式。这个训练处理包括一次性的计算密集型计算，该计算是用不包含异常的累积数据离线执行的。然后将模式识别系统置于“实时监控模式”，其中经训练的MSET模型108基于其它相关变量来预测每个信号应该是什么；这些是图1A中所示的“估计的信号值”110。接下来，系统使用差分模块112在实际信号值与估计的信号值之间执行成对的差分操作，以产生残差114。然后，系统通过使用SPRT模块116对残差114执行“检测操作”，以检测异常并可能生成警报118。(有关SPRT模型的描述，请参见Wald,Abraham,1945年6月,“Sequential Testsof Statistical Hypotheses”,Annals of Mathematical Statistics.16(2):117–186。)以这种方式，预兆监控系统100可以主动警告系统操作者即将发生的异常，诸如即将发生的故障，有望有足够的提前期(lead time)，从而可以避免问题或主动修复问题。
图1B图示了根据所公开的实施例的包含各种预处理模块的示例预处理库105。这些模块包括故障传感器检测模块122，其检测故障传感器并替换或移除由故障传感器产生的数据。(参见发明人Kenny C.Gross等人于2004年7月26日提交的标题为“Method andApparatus for Validating Sensor Operability in a Computer System”的编号为7,076,389的美国专利，该专利通过引用并入本文。)这些模块还包括数据去量化模块124，该数据去量化模块124将低分辨率时间序列数据进行去量化以产生更高分辨率时间序列数据。(参见发明人Kenny C.Gross等人于2006年1月27日提交的标题为“Method andApparatus for Removing Quantization Effects in a Quantized Signal”的编号为7,248,980的美国专利，该专利通过引用并入本文。)这些模块还包括缺失数据插补模块126，该缺失数据插补模块126将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值。(参见发明人Kenny C.Gross等人于2004年2月3日提交的标题为“Replacing a Signal from a Failed Sensor with an Estimated Signal Derivedfrom Correlations with Other Signals”的编号为7,292,95的美国专利，该专利通过引用并入本文。)这些模块还包括分析重采样(analytic-resampling,ARP)模块128，该ARP模块128重新同步数据测量，该数据测量由于在针对不同信号的测量仪器中的时钟同步差异而异相。(参见发明人Kenny C.Gross等人于2003年9月26日提交的标题为“Correlatingand Aligning Monitored Signals for Computer System Performance Parameters”的编号为7,292,659的美国专利，该专利通过引用并入本文。)这些模块还包括三点聚类模块130，该三点聚类模块130识别在聚类内高度相关的信号的聚类，聚类之间的相关性很差。(参见发明人Alan Paul Wood等人于2013年3月15日提交的标题为“Per-Attribute DataClustering Using Tri-Point Data Arbitration”的编号9,514,213的美国专利，该专利通过引用并入本文。)这些模块还包括最优存储器向量化模块132，该最优存储器向量化模块132使用最小的向量集表示时间序列数据的结构。(参见发明人Kenny C.Gross等人于2006年4月11日提交的标题为“Reducing the Size of a Training Set forClassification”的编号为7,478,075的美国专利，该专利通过引用并入本文。)这些模块还包括统计压缩模块134，该统计压缩模块134使用循环文件压缩技术来压缩较旧的数据值。(参见发明人Kenny C.Gross等人于2005年2月29日提交的标题为“Method for StoringLong-Term Performance Data in a Computer System with Finite Storage Space”的编号为7,281,112的美国专利，该专利通过引用并入本文。)这些模块还包括剩余使用寿命(RUL)估计模块136，该RUL模块估计被监视系统中的一个或多个部件的剩余使用寿命。(参见发明人Kenny C.Gross等人于2008年6月12日提交的标题为“Method and Apparatus forPredicting Remaining Useful Like for a Computer System”的编号为7,702,485的美国专利，该专利通过引用并入本文。)
SA决策环
所公开的实施例提供了用于人在环监管控制的促进情境感知(SA)的系统。该系统使人类监管者能够使用从大型时间序列数据库被动收集的信息，对复杂资产实践主动的“基于状况的维护”。最近，SA已成为业务关键和安全关键行业的关注焦点。当两个或更多个事件同时发生时，或者真实的警报被掩盖在错误警报流中，或者在由于噪声信号而没有触发警报并且人类监管者无法察觉新的降级趋势的情况下，经训练的人类专家常常发生错误。例如，在2017年，发生了三起重大美国海军船舶碰撞事故，涉及船上技术非常先进的船舶。这些碰撞归因于人类在控制室中发生的SA故障，并导致数亿美元的损失和生命损失。SA故障也是美国驱逐舰在第一次海湾战争中击落一架客机杀死300名平民的原因。造成人类操作员采取不适当的行动的SA问题也经常导致业务关键设施的停机。
所公开的实施例通过提供系统来促进增强的SA，该系统将时间序列数据存储在日志和相关联的工作集中，并且还将自动的预兆发现与常规的DB查询功能集成。例如，图2图示了根据所公开的实施例的利用这种系统的示例情况感知(SA)决策环。在操作期间，来自外部世界206的各种数据馈入到智能数据预处理(IDP)系统208中，该系统包括日志212和工作集210，下面将对此进行详细描述。在操作期间，IDP 208检测异常模式或输入并生成对应的通知214。这些通知214被传送到定性数据处理(qualitative data processing,QDP)单元204，其对数据进行格式化以供人在环202分析。这使得人在环202能够形成感知、发展假设并生成指令，这些指令被用于触发外部世界206中的动作。
IDP数据流
在一些实施例中，上述预兆监控系统100结合到IDP系统中，该IDP系统将高级MSET模式识别与一套预处理技术和DB查询功能集成在一起。这种IDP系统促进自动的预兆异常发现，这在以下方面是稳健的：传感器干扰；时钟不匹配问题引起的信号异步；客户资产中的低分辨率传感器；以及摄取的数据流中缺失的值。同时，IDP系统为原始未加工的时间序列提供防篡改出处证明。应注意的是，到目前为止，数据库已通过关注数据的结构和忽略数据内容来管理数据。借助IDP，数据库能够实时地通知用户有关数据内容指示的异常状况，而无需任何编程工作。
应注意的是，大数据实质上是不可管理的。对于人类专家来说，了解什么是重要的以及什么时间是几乎不可能的；仅仅是因为数据太多了。但是，MSET能够处理多维时间序列数据以实时地识别异常情境。一旦识别出这种异常情境，就需要回答三个重要问题：(1)分类-出现了什么异常模式；(2)评估–最可能的根本原因是什么？(3)决策-对此情境应当做什么，其中可能的答案从“继续监视”到“规划补救维护”到“立即终止操作”。
通过将当前情境与过去识别出并存储在日志中的类似情况进行比较，IDP可以促进调用最接近的匹配。本质上，IDP提供了自动方式：识别人类专家可能不知道要查询的异常；表征异常(包括触发异常警报的确切信号，这对于根本原因分析是重要的)；并提取相关案例(从过去类似异常事件的日志库中提取)。这使得有可能在一大群专家之间共享异常行为体验的描述。
图3图示了根据所公开的实施例的示例IDP数据流。在操作期间，通信部件302通过适配器321从各种数据源301摄取数据，并负责核实资源的真实性；它还监管输入数据的及时到达。在这个处理期间，通信部件302可以接受有关传入数据的监管信息，例如，该信息可以指定谁应当发送数据，或者是否存在任何调度约束。通信部件302还可以识别(时间)违反约束，并且可以对照监管约束来核实传入消息，并且还可以执行所需的身份管理和安全检查。
通信部件302通过适配器322将未加工传感器数据304馈送到日志管理模块305，该日志管理模块305摄取数据304并通过适配器323将其递送到MSET模块308。在这个处理期间，日志管理模块305将数据变换和优化以供内部消耗，例如变换成企业parquet格式。日志管理模块305还：将数据插入日志306；管理对日志306的访问；并执行各种优化，诸如支持索引、重新聚类和信息生命周期管理(ILM)。
日志管理模块305还将数据传送到日志306，还可能传送到外部设备，以提高可靠性。应注意的是，日志306可以存储所有传入数据和相关联的活动。日志306的重要特点包括读取和写入的高顺序速度以及极高的可靠性。这可通过技术的组合来实现。例如，RAID 5可以用于以低资源开销提高速度和可靠性两者，并在速度、可靠性和资源消耗之间实现最优平衡。MSET可以用于提供对防篡改的支持。
日志306包括一个或多个容器，该一个或多个容器捕获所有数据和相关联活动的“最终真相”。更具体而言，日志306捕获所有传入的数据和活动，诸如传感器读数、训练集、模型和查询，而无意解释任何数据。日志306还通过例如维护关于谁添加具体数据项并在具体时间进行特定查询的信息以及通过使管理员能够重播访问或活动来促进“出处”。日志306还维护关于以下的信息：MSET派生了什么；使用哪种模型；基于哪些数据；以及在什么时候。日志306还可以通过启用对日志306的修改进行检测来支持防篡改。
关于操作特点，日志306支持：高速插入和高速面向批量的读取。它还通过促进用户定义的可靠性级别来支持稳健性。可以基于访问模式来物理地组织(例如通过自适应聚类)日志306。日志306可以使用日志结构化的合并树(LSM)机制基于未来使用对数据进行聚类并促进对数据的立即访问。应注意的是，LSM促进自定义并且可以适于最优聚类和重新聚类执行。
如上面所提到的，日志管理模块305通过适配器323来馈送数据，适配器323变换数据以供MSET模块308消耗。然后，MSET模块308准备用于存储和后续处理的数据。在这样做时，MSET模块308可以识别数据中的异常，并且还可以清理和压缩数据。在识别数据中的异常时，MSET模块308可以：描述与规范的偏差；估计资产的剩余使用寿命(RUL)；指导根本原因分析；以及推荐补救问题的动作。MSET模块308还可以在处理时间序列数据之前证明时间序列数据的出处。
应注意的是，适配器325用于促进存储在数据库中的MSET元数据310和MSET模块308之间的交互。MSET元数据310可以包括：训练数据集；派生的模型；以及模型和数据之间的关联。更具体而言，MSET元数据310可以包括所有模型、训练集、数据结构和变换的完整注册表，其中变换被用于在部件之间进行通信。MSET元数据310还包含关于模型与日志数据之间的关联的信息。例如，对于每个模型，MSET元数据310可以存储关于以下的信息：(1)训练数据集；(2)相关联的派生的模型的数学描述；(3)派生的模型的二进制表示，其已针对当前执行环境进行了优化；以及(4)识别哪些数据适用于模型的表达。这包括识别以下内容的表达：合格的对象；各个对象的元素；以及以时间遍历准则对日志数据进行SQL查询形式的表达。应注意的是，数据库内的SQL查询或约束强制执行机制可以用于激活功能，以证明用于派生MSET模型的原始未加工数据的出处。
适配器324还用于处理从MSET模块308被传送到工作集312中的数据，该工作集312包括用于存储高质量的经清理和压缩的数据的资产数据存储库315，以及事件流316-318。应注意的是，存储在工作集312中的给定工作集取决于对应的训练数据资产。而且，在工作集存储库312内可以存在多个工作集，这反映了训练数据集的演变和多样性。
在高级别，工作集312表示经解释的日志数据，其中解释(interpretation)是基于模型的。它还允许模型演变以及竞争模型之间的相互比较。这使得数据更有价值，因为数据处于更有用的形式。因此，模型有效地充当对未加工数据的“透镜”。而且，工作集312提供显著减少的日志数据集，这使得用户能够专注于具体时刻的重要事项。工作集312还通过在日志306上用VIEW支持虚拟化来促进对曾经存在的任何数据的访问。
工作集312还支持实时快速访问由MSET派生的信息，其中该信息可以表示：异常状况；传感器问题；资产问题；以及缺失或意外的数据。工作集312还存储使用MSET清理、改善和压缩的数据。应注意的是，日志工作集基于访问模式和可用性准则而自动演变。
返回参考图3，应注意的是，适配器326也存在于MSET模块308与事件流之间，以处理异常状况，诸如遥测问题事件流316和资产问题事件流317。最后，在通信部件302与事件流之间存在适配器327，以处理输入问题事件流318。应注意的是，Apache KafkaTM可以用于提供事件流和工作集312的简单实施方式。但是，可以基于其它数据库技术来产生更复杂的实施方式，并且对层次结构和网络提供最新的支持，诸如JSON/XML和图形。
预处理操作
图4给出了图示根据所公开的实施例的迭代预处理操作的流程图。在操作期间，系统在被监视系统的操作期间从被监视系统中的传感器获得训练数据，其中训练数据包括从传感器所产生的信号采样的时间序列数据(步骤402)。系统还获得预兆监控操作的功能需求(步骤404)。接下来，系统对训练数据执行预兆监控操作(步骤406)，并确定预兆监控操作是否满足功能需求(步骤408)。如果预兆监控操作不满足功能需求，那么系统以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止(步骤310)。
图5给出了图示根据所公开的实施例的迭代地将预处理操作应用于训练数据所涉及的操作的流程图。(这个流程图更详细地图示了在图4中出现的流程图中的步骤410中所涉及的操作。)在这个迭代处理期间，系统将最低计算成本预处理操作应用于训练数据，该操作尚未应用于训练数据(步骤502)。(应注意的是，可以基于经验建立的非线性函数来为每个预处理操作确定计算成本，其中该非线性函数将计算成本与以下三元函数相关联：(1)观察的次数(即，采样率)、(2)信号的数量，以及(3)信号的信噪比。接下来，系统对训练数据执行预兆监控操作(步骤504)，并确定预兆监控操作是否满足功能需求(步骤506)。如果预兆监控操作不满足功能需求，那么系统重复该操作(步骤508)。
因此，从一个角度来看，已经描述了对传感器数据进行预处理以促进预兆监控操作的系统。在操作期间，系统在被监视系统的操作期间从被监视系统中的传感器获得训练数据，其中该训练数据包括从传感器所产生的信号采样的时间序列数据。该系统还获得预兆监控操作的功能需求。接下来，系统对训练数据执行预兆监控操作，并在对非训练数据进行测试时确定预兆监控操作是否满足功能需求。如果预兆监控操作不满足功能需求，那么系统以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
本教导的进一步示例在以下编号的条款中阐述：
条款1、一种用于对传感器数据进行预处理以促进预兆监控操作的方法，包括：在被监视系统的操作期间从该被监视系统中的传感器获得训练数据，其中该训练数据包括从该传感器所产生的信号采样的时间序列数据；获得预兆监控操作的功能需求；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果在对非训练数据进行测试时预兆监控操作不满足功能需求，那么以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
条款2、如条款1所述的方法，其中所述一个或多个预处理操作包括以下中的一项或多项：故障传感器检测操作，检测故障传感器并且替换或移除由故障传感器产生的数据；数据去量化操作，对低分辨率的时间序列数据进行去量化以产生较高分辨率的时间序列数据；缺失数据插补操作，将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值；分析重采样操作，重新同步数据测量，所述数据测量由于用于不同信号的测量仪器中的时钟同步差异而异相；三点聚类操作，识别聚类内高度相关的信号的聚类，所述聚类之间的相关性弱；最优存储器向量化操作，使用最小的向量集表示时间序列数据的结构；统计压缩操作，使用循环文件压缩技术来压缩较旧的数据值；以及剩余使用寿命(RUL)估计操作，估计被监视系统中的一个或多个部件的剩余使用寿命。
条款3、如条款1或2所述的方法，其中预兆监控操作的功能需求包括以下中的一项或多项：错误警报概率(FAP)；缺失警报概率(MAP)；以及用于发现异常的检测时间(TTD)度量。
条款4、如条款1、2或3所述的方法，其中迭代地将所述一个或多个预处理操作应用于训练数据包括根据需要重复以下操作：将最低计算成本预处理操作应用于训练数据，该最低计算成本预处理操作尚未应用于训练数据；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果预兆监控操作不满足功能需求，那么重复该操作。
条款5、如条款1-4中任一项所述的方法，其中所述方法还包括：使用训练数据来训练用于预兆模式识别系统的推理模型；使用与应用于训练数据相同的预处理操作对随后从传感器接收的时间序列数据进行预处理；以及将在监控模式中使用推理模型的预兆模式识别系统应用于随后接收的时间序列数据，以检测在被监视系统的后续执行期间出现的早期异常。
条款6、如条款5所述的方法，其中训练数据和所述随后接收的时间序列数据被存储在时间序列数据库系统中；以及其中预处理操作和预兆模式识别操作由被结合到时间序列数据库系统中的功能执行。
条款7、如条款5或6所述的方法，其中使用多变量状态估计技术(MSET)来训练推理模型。
条款8、如条款5、6或7所述的方法，其中所述功能通过以下中的一项或多项被结合到时间序列数据库系统中：声明性查询；数据完整性约束强制执行机制；以及MSET模型，该MSET模型被结合到时间序列数据库系统内的数据出处跟踪机制中。
条款9、如条款1-8中任一项所述的方法，其中应用预兆模式识别系统来检测早期异常包括检测被监视系统中的即将发生的故障。
条款10、如条款1-9中任一项所述的方法，其中所述方法还包括在处理接收的时间序列数据之前证明任何接收的时间序列数据的出处。
条款11、一种携带指令的计算机可读介质，该指令在由计算机执行时，使得所述计算机执行用于对传感器数据进行预处理以促进预兆监控操作的方法，该方法包括：在被监视系统的操作期间从该被监视系统中的传感器获得训练数据，其中该训练数据包括从该传感器所产生的信号采样的时间序列数据；获得预兆监控操作的功能需求；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果在对非训练数据进行测试时预兆监控操作不满足功能需求，那么以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
条款12、如条款11所述的计算机可读介质，其中所述一个或多个预处理操作包括以下中的一项或多项：故障传感器检测操作，检测故障传感器并且替换或移除由故障传感器产生的数据；数据去量化操作，对低分辨率的时间序列数据进行去量化以产生较高分辨率的时间序列数据；缺失数据插补操作，将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值；分析重采样操作，重新同步数据测量，所述数据测量由于用于不同信号的测量仪器中的时钟同步差异而异相；三点聚类操作，识别聚类内高度相关的信号的聚类，所述聚类之间的相关性弱；最优存储器向量化操作，使用最小的向量集表示时间序列数据的结构；统计压缩操作，使用循环文件压缩技术来压缩较旧的数据值；以及剩余使用寿命(RUL)估计操作，估计被监视系统中的一个或多个部件的剩余使用寿命。
条款13、如条款11或12所述的计算机可读介质，其中预兆监控操作的功能需求包括以下中的一项或多项：错误警报概率(FAP)；缺失警报概率(MAP)；以及用于发现异常的检测时间(TTD)度量。
条款14、如条款11、12或13所述的计算机可读介质，其中迭代地将所述一个或多个预处理操作应用于训练数据包括根据需要重复以下操作：将最低计算成本预处理操作应用于训练数据，该最低计算成本预处理操作尚未应用于训练数据；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果预兆监控操作不满足功能需求，那么重复该操作。
条款15、如条款11-14中任一项所述的计算机可读介质，其中所述方法还包括：使用训练数据来训练用于预兆模式识别系统的推理模型；使用与应用于训练数据相同的预处理操作对随后从传感器接收的时间序列数据进行预处理；以及将在监控模式中使用推理模型的预兆模式识别系统应用于随后接收的时间序列数据，以检测在被监视系统的后续执行期间出现的早期异常。
条款16、如条款15所述的计算机可读介质，其中训练数据和所述随后接收的时间序列数据被存储在时间序列数据库系统中；以及其中预处理操作和预兆模式识别操作由被结合到时间序列数据库系统中的功能执行。
条款17、如条款11-16中任一项所述的计算机可读介质，其中所述方法还包括在处理接收的时间序列数据之前证明任何接收的时间序列数据的出处。
条款18、一种执行预兆监控操作的系统，包括：至少一个处理器及至少一个相关联的存储器；以及在所述至少一个处理器上执行的预兆监控机制，其中，在操作期间，预兆监控机制通过以下操作对传感器数据进行预处理以促进预兆监控操作：在被监视系统的操作期间从该被监视系统中的传感器获得训练数据，其中该训练数据包括从该传感器所产生的信号采样的时间序列数据；获得预兆监控操作的功能需求；对训练数据执行预兆监控操作；确定预兆监控操作是否满足功能需求；以及如果在对非训练数据进行测试时预兆监控操作不满足功能需求，那么以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止。
条款19、如条款18所述的系统，其中所述一个或多个预处理操作包括以下中的一项或多项：故障传感器检测操作，检测故障传感器并且替换或移除由故障传感器产生的数据；数据去量化操作，对低分辨率的时间序列数据进行去量化以产生较高分辨率的时间序列数据；缺失数据插补操作，将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值；分析重采样操作，重新同步数据测量，所述数据测量由于用于不同信号的测量仪器中的时钟同步差异而异相；三点聚类操作，识别聚类内高度相关的信号的聚类，所述聚类之间的相关性弱；最优存储器向量化操作，使用最小的向量集表示时间序列数据的结构；统计压缩操作，使用循环文件压缩技术来压缩较旧的数据值；以及剩余使用寿命(RUL)估计操作，估计被监视系统中的一个或多个部件的剩余使用寿命。
条款20、如条款18或19所述的系统，其中预兆监控操作的功能需求包括以下中的一项或多项：错误警报概率(FAP)；缺失警报概率(MAP)；以及用于发现异常的检测时间(TTD)度量。
对所公开的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不脱离本教导的精神和范围的情况下，本文中定义的一般原理可以应用于其它实施例和应用。因此，范围不限于所示出的实施例，而是应当被赋予与本文公开的原理和特征一致的最宽范围。
仅出于说明和描述的目的给出了实施例的前述描述。它们并不旨在是详尽的或将本描述限制为所公开的形式。因而，许多修改和变化对于本领域技术人员来说将是显而易见的。此外，以上公开内容并非旨在限制本描述。本描述的范围由所附权利要求书限定。
Claims (12)
1.一种用于对传感器数据进行预处理以促进预兆监控操作的方法，包括：
在被监视系统的操作期间从该被监视系统中的传感器获得训练数据，其中该训练数据包括从该传感器所产生的信号采样的时间序列数据；
获得预兆监控操作的功能需求，其中预兆监控操作的功能需求包括以下中的一项或多项：
错误警报概率(FAP)；
缺失警报概率(MAP)；以及
用于发现异常的检测时间(TTD)度量；
对训练数据执行预兆监控操作；
确定预兆监控操作是否满足功能需求；以及
如果在对非训练数据进行测试时预兆监控操作不满足功能需求，那么以增加计算成本的顺序迭代地将一个或多个预处理操作应用于训练数据，直到满足功能需求为止，其中基于经验建立的非线性函数来为每个预处理操作确定计算成本，该非线性函数将计算成本与以下三元函数相关联：(1)采样率、(2)信号的数量，以及(3)信号的信噪比。
2.如权利要求1所述的方法，其中所述一个或多个预处理操作包括以下中的一项或多项：
故障传感器检测操作，检测故障传感器并且替换或移除由故障传感器产生的数据；
数据去量化操作，对低分辨率的时间序列数据进行去量化以产生较高分辨率的时间序列数据；
缺失数据插补操作，将时间序列数据中缺失的数据值替换为基于信号之间的相关性确定的插补数据值；
分析重采样操作，重新同步数据测量，所述数据测量由于用于不同信号的测量仪器中的时钟同步差异而异相；
三点聚类操作，识别聚类内高度相关的信号的聚类，所述聚类之间的相关性弱；
最优存储器向量化操作，使用最小的向量集表示时间序列数据的结构；
统计压缩操作，使用循环文件压缩技术来压缩较旧的数据值；以及
剩余使用寿命(RUL)估计操作，估计被监视系统中的一个或多个部件的剩余使用寿命。
3.如权利要求1或2所述的方法，其中迭代地将所述一个或多个预处理操作应用于训练数据包括根据需要重复以下操作：
将最低计算成本预处理操作应用于训练数据，该最低计算成本预处理操作尚未应用于训练数据；
对训练数据执行预兆监控操作；
确定预兆监控操作是否满足功能需求；以及
如果预兆监控操作不满足功能需求，那么重复该操作。
4.如权利要求1或2所述的方法，其中所述方法还包括：
使用训练数据来训练用于预兆模式识别系统的推理模型；
使用与应用于训练数据相同的预处理操作对随后从传感器接收的时间序列数据进行预处理；以及
将在监控模式中使用推理模型的预兆模式识别系统应用于随后接收的时间序列数据，以检测在被监视系统的后续执行期间出现的早期异常。
5.如权利要求4所述的方法，
其中训练数据和所述随后接收的时间序列数据被存储在时间序列数据库系统中；以及
其中预处理操作和预兆模式识别操作由被结合到时间序列数据库系统中的功能执行。
6.如权利要求4所述的方法，其中使用多变量状态估计技术(MSET)来训练推理模型。
7.如权利要求5所述的方法，其中所述功能通过以下中的一项或多项被结合到时间序列数据库系统中：
声明性查询；
数据完整性约束强制执行机制；以及
MSET模型，该MSET模型被结合到时间序列数据库系统内的数据出处跟踪机制中。
8.如权利要求4所述的方法，其中应用预兆模式识别系统来检测早期异常包括检测被监视系统中的即将发生的故障。
9.如权利要求1或2所述的方法，其中所述方法还包括在处理接收的时间序列数据之前证明任何接收的时间序列数据的出处。
10.一种携带指令的计算机可读介质，该指令在由计算机执行时，使得所述计算机执行如权利要求1-9中任一项所述的方法。
11.一种执行预兆监控操作的系统，包括：
至少一个处理器及至少一个相关联的存储器；以及
在所述至少一个处理器上执行的预兆监控机制，其中，在操作期间，预兆监控机制通过执行如权利要求1-9中任一项所述的方法对传感器数据进行预处理以促进预兆监控操作。
12.一种包括用于执行如权利要求1-9中任一项所述的方法的部件的装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/925,427 US10740310B2 (en) | 2018-03-19 | 2018-03-19 | Intelligent preprocessing of multi-dimensional time-series data |
| US15/925,427 | 2018-03-19 | ||
| PCT/US2019/014513 WO2019182679A1 (en) | 2018-03-19 | 2019-01-22 | Intelligent preprocessing of multi-dimensional time-series data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111712813A CN111712813A (zh) | 2020-09-25 |
| CN111712813B true CN111712813B (zh) | 2024-04-12 |
Family
ID=65516744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980011876.7A Active CN111712813B (zh) | 2018-03-19 | 2019-01-22 | 多维时间序列数据的智能预处理 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10740310B2 (zh) |
| EP (1) | EP3769241B1 (zh) |
| CN (1) | CN111712813B (zh) |
| WO (1) | WO2019182679A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10740310B2 (en) * | 2018-03-19 | 2020-08-11 | Oracle International Corporation | Intelligent preprocessing of multi-dimensional time-series data |
| US11341588B2 (en) | 2019-09-04 | 2022-05-24 | Oracle International Corporation | Using an irrelevance filter to facilitate efficient RUL analyses for utility system assets |
| US11301354B2 (en) * | 2019-10-09 | 2022-04-12 | Microsoft Technology Licensing, Llc | Root cause discovery system |
| US11367018B2 (en) | 2019-12-04 | 2022-06-21 | Oracle International Corporation | Autonomous cloud-node scoping framework for big-data machine learning use cases |
| JP7222344B2 (ja) * | 2019-12-06 | 2023-02-15 | 横河電機株式会社 | 判定装置、判定方法、判定プログラム、学習装置、学習方法、および、学習プログラム |
| US11221934B2 (en) * | 2020-01-10 | 2022-01-11 | International Business Machines Corporation | Identifying anomalies in data during data outage |
| US11460500B2 (en) | 2020-02-07 | 2022-10-04 | Oracle International Corporation | Counterfeit device detection using EMI fingerprints |
| US11255894B2 (en) * | 2020-02-28 | 2022-02-22 | Oracle International Corporation | High sensitivity detection and identification of counterfeit components in utility power systems via EMI frequency kiviat tubes |
| US11275144B2 (en) | 2020-03-17 | 2022-03-15 | Oracle International Corporation | Automated calibration of EMI fingerprint scanning instrumentation for utility power system counterfeit detection |
| US11948051B2 (en) | 2020-03-23 | 2024-04-02 | Oracle International Corporation | System and method for ensuring that the results of machine learning models can be audited |
| US11842269B2 (en) * | 2020-05-28 | 2023-12-12 | Hitachi, Ltd. | AI enabled sensor data acquisition |
| KR102251139B1 (ko) * | 2020-10-13 | 2021-05-12 | (주)비아이매트릭스 | 데이터 증강 기반 기계학습 방식의 결측치 보정 시스템 |
| US20220164744A1 (en) * | 2020-11-20 | 2022-05-26 | International Business Machines Corporation | Demand forecasting of service requests volume |
| US11822036B2 (en) | 2021-10-07 | 2023-11-21 | Oracle International Corporation | Passive spychip detection through time series monitoring of induced magnetic field and electromagnetic interference |
| US11740122B2 (en) | 2021-10-20 | 2023-08-29 | Oracle International Corporation | Autonomous discrimination of operation vibration signals |
| US12001254B2 (en) | 2021-11-02 | 2024-06-04 | Oracle International Corporation | Detection of feedback control instability in computing device thermal control |
| US11729940B2 (en) | 2021-11-02 | 2023-08-15 | Oracle International Corporation | Unified control of cooling in computers |
| US20230153680A1 (en) * | 2021-11-18 | 2023-05-18 | Oracle International Corporation | Recommendation generation using machine learning data validation |
| CN114185914B (zh) * | 2022-02-16 | 2022-04-29 | 西安热工研究院有限公司 | 计算标签数据的补算方法、系统、设备及存储介质 |
| US12007832B2 (en) | 2022-02-25 | 2024-06-11 | Bank Of America Corporation | Restoring a system by load switching to an alternative cloud instance and self healing |
| EP4328687A1 (en) * | 2022-08-26 | 2024-02-28 | Siemens AG Österreich | Method and system for identifying a root cause of an event |
| WO2024122786A1 (ko) * | 2022-12-09 | 2024-06-13 | 주식회사 엑셈 | 전력 사용량 데이터를 처리하는 방법 및 이를 구현하는 서버 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101263499A (zh) * | 2005-07-11 | 2008-09-10 | 布鲁克斯自动化公司 | 智能状态监测和故障诊断系统 |
| CN103996077A (zh) * | 2014-05-22 | 2014-08-20 | 中国南方电网有限责任公司电网技术研究中心 | 一种基于多维时间序列的电气设备故障预测方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194395B2 (en) * | 2000-02-23 | 2007-03-20 | The United States Of America As Represented By The Secretary Of The Army | System and method for hazardous incident decision support and training |
| US6917839B2 (en) * | 2000-06-09 | 2005-07-12 | Intellectual Assets Llc | Surveillance system and method having an operating mode partitioned fault classification model |
| WO2003029922A2 (en) * | 2001-10-01 | 2003-04-10 | Kline & Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
| US7292659B1 (en) | 2003-09-26 | 2007-11-06 | Sun Microsystems, Inc. | Correlating and aligning monitored signals for computer system performance parameters |
| US7171589B1 (en) | 2003-12-17 | 2007-01-30 | Sun Microsystems, Inc. | Method and apparatus for determining the effects of temperature variations within a computer system |
| US7292952B1 (en) | 2004-02-03 | 2007-11-06 | Sun Microsystems, Inc. | Replacing a signal from a failed sensor in a computer system with an estimated signal derived from correlations with other signals |
| US7181651B2 (en) | 2004-02-11 | 2007-02-20 | Sun Microsystems, Inc. | Detecting and correcting a failure sequence in a computer system before a failure occurs |
| US7281112B1 (en) | 2005-02-28 | 2007-10-09 | Sun Microsystems, Inc. | Method for storing long-term performance data in a computer system with finite storage space |
| US7248980B1 (en) | 2006-01-27 | 2007-07-24 | Sun Microsystems, Inc. | Method and apparatus for removing quantization effects in a quantized signal |
| US7478075B2 (en) | 2006-04-11 | 2009-01-13 | Sun Microsystems, Inc. | Reducing the size of a training set for classification |
| US7702485B2 (en) | 2006-12-06 | 2010-04-20 | Oracle America, Inc. | Method and apparatus for predicting remaining useful life for a computer system |
| US8311774B2 (en) * | 2006-12-15 | 2012-11-13 | Smartsignal Corporation | Robust distance measures for on-line monitoring |
| US9843596B1 (en) * | 2007-11-02 | 2017-12-12 | ThetaRay Ltd. | Anomaly detection in dynamically evolving data and systems |
| US8046637B2 (en) * | 2009-03-06 | 2011-10-25 | Oracle America, Inc. | Telemetry data filtering through sequential analysis |
| US9190844B2 (en) * | 2012-11-04 | 2015-11-17 | Bao Tran | Systems and methods for reducing energy usage |
| US9514213B2 (en) | 2013-03-15 | 2016-12-06 | Oracle International Corporation | Per-attribute data clustering using tri-point data arbitration |
| US9672257B2 (en) | 2015-06-05 | 2017-06-06 | Palantir Technologies Inc. | Time-series data storage and processing database system |
| US10148680B1 (en) * | 2015-06-15 | 2018-12-04 | ThetaRay Ltd. | System and method for anomaly detection in dynamically evolving data using hybrid decomposition |
| US11263650B2 (en) | 2016-04-25 | 2022-03-01 | [24]7.ai, Inc. | Process and system to categorize, evaluate and optimize a customer experience |
| US10540612B2 (en) | 2016-08-26 | 2020-01-21 | Oracle International Corporation | Technique for validating a prognostic-surveillance mechanism in an enterprise computer system |
| US10740310B2 (en) * | 2018-03-19 | 2020-08-11 | Oracle International Corporation | Intelligent preprocessing of multi-dimensional time-series data |
-
2018
- 2018-03-19 US US15/925,427 patent/US10740310B2/en active Active
-
2019
- 2019-01-22 WO PCT/US2019/014513 patent/WO2019182679A1/en unknown
- 2019-01-22 EP EP19706806.7A patent/EP3769241B1/en active Active
- 2019-01-22 CN CN201980011876.7A patent/CN111712813B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101263499A (zh) * | 2005-07-11 | 2008-09-10 | 布鲁克斯自动化公司 | 智能状态监测和故障诊断系统 |
| CN103996077A (zh) * | 2014-05-22 | 2014-08-20 | 中国南方电网有限责任公司电网技术研究中心 | 一种基于多维时间序列的电气设备故障预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3769241B1 (en) | 2023-08-16 |
| WO2019182679A1 (en) | 2019-09-26 |
| US10740310B2 (en) | 2020-08-11 |
| US20190286725A1 (en) | 2019-09-19 |
| EP3769241A1 (en) | 2021-01-27 |
| CN111712813A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111712813B (zh) | 多维时间序列数据的智能预处理 | |
| US11586972B2 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
| US10025659B2 (en) | System and method for batch monitoring of performance data | |
| US10410135B2 (en) | Systems and/or methods for dynamic anomaly detection in machine sensor data | |
| US8181069B2 (en) | Method and system for problem determination using probe collections and problem classification for the technical support services | |
| US10452510B2 (en) | Hybrid clustering-partitioning techniques that optimizes accuracy and compute cost for prognostic surveillance of sensor data | |
| US20190268214A1 (en) | Predicting issues before occurrence, detection, or reporting of the issues | |
| Li et al. | FLAP: An end-to-end event log analysis platform for system management | |
| US20140258187A1 (en) | Generating database cluster health alerts using machine learning | |
| US10796242B2 (en) | Robust training technique to facilitate prognostic pattern recognition for enterprise computer systems | |
| US11886276B2 (en) | Automatically correlating phenomena detected in machine generated data to a tracked information technology change | |
| US20230362071A1 (en) | Impact predictions based on incident-related data | |
| US11055631B2 (en) | Automated meta parameter search for invariant based anomaly detectors in log analytics | |
| US20230105304A1 (en) | Proactive avoidance of performance issues in computing environments | |
| WO2022115419A1 (en) | Method of detecting an anomaly in a system | |
| Killeen | Knowledge-based predictive maintenance for fleet management | |
| US20230376372A1 (en) | Multi-modality root cause localization for cloud computing systems | |
| Gaikwad et al. | A framework design for algorithmic it operations (aiops) | |
| Remil et al. | Aiops solutions for incident management: Technical guidelines and a comprehensive literature review | |
| WO2022222623A1 (en) | Composite event estimation through temporal logic | |
| Harutyunyan et al. | Challenges and experiences in designing interpretable KPI-diagnostics for cloud applications | |
| CN117435441B (zh) | 一种基于日志数据的故障诊断方法及装置 | |
| Deb et al. | Towards systems level prognostics in the cloud | |
| Afshinpour et al. | Telemetry-based Software Failure Prediction by Concept-space Model Creation | |
| Quan et al. | Heterogeneous Syslog Analysis: There Is Hope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |