CN115204440A - 用于跨多个kpi的高维数据集的基于机器学习的交互式可视化监视工具 - Google Patents

用于跨多个kpi的高维数据集的基于机器学习的交互式可视化监视工具 Download PDF

Info

Publication number
CN115204440A
CN115204440A CN202210231210.6A CN202210231210A CN115204440A CN 115204440 A CN115204440 A CN 115204440A CN 202210231210 A CN202210231210 A CN 202210231210A CN 115204440 A CN115204440 A CN 115204440A
Authority
CN
China
Prior art keywords
visual representation
metrics
data
metric
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210231210.6A
Other languages
English (en)
Inventor
艾哈迈德·雷达·穆罕默德·赛义德·阿卜杜勒
巴斯·乔恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/228,235 external-priority patent/US11385782B2/en
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN115204440A publication Critical patent/CN115204440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

描述了被配置成检测与平台相关联的一个或更多个度量内的小但重要的异常的计算系统和方法。系统显示度量的可视化表示，使得对平台进行监视的用户可以有效地注意到与异常相关联的问题并且采取适当的行动来对问题进行补救。操作可视化表示包括基于雷达的可视化表示，基于雷达的可视化表示具有布置度量的热图和表示度量的状态的节点。此外，系统使用无监督机器学习算法的集合来对数十万个受监视的度量进行多维聚类。经由可视化表示和机器学习算法的实现方式，所描述的技术提供了表示和模拟平台的被监视的许多度量的改进的方式。此外，上述技术被配置成以可以有效地理解的方式披露与平台相关联的可行且有用的信息。

Description

用于跨多个KPI的高维数据集的基于机器学习的交互式可视 化监视工具
相关申请
本申请是2020年1月17日提交的题为“Visualization of High-DimensionalData”的美国专利申请序号第16/745,792号、2020年1月17日提交的题为“AnomalyDetection by Correlated Metrics”的美国专利申请序号第16/745,822号的部分继续申请并且要求其权益和优先权，美国专利申请序号第16/745,822号要求2019年9月6日提交的题为“Dynamic Visualization of Metrics and Model Construction”的美国临时申请第62/897,164号的优先权，上述专利申请的全部公开内容通过引用并入本文中。
背景技术
机器学习越来越多地用于执行各种任务，其中可以分析模式和推导以监视系统例如托管网站的平台中可能出现的问题。更具体地，异常检测算法可以用于检测与平台相关联的一组度量的重要异常(例如偏差)。这些异常中的许多异常容易被检测和/或注意到，因为它们在被监视的度量中由大的下降或大的猛增呈现。例如，被监视的度量可能会在短时段(例如，三十秒、两分钟、五分钟等)内经历数据值的突然和急剧的下降。或者，被监视的度量可能会在短时段内经历数据值的突然和急剧的增加。
然而，常规的异常检测算法对于检测较小而重要的异常基本上是无效的，而较小而重要的异常的检测可能有助于在发生更严重的后果之前识别系统内的问题。因此，常规的异常检测算法无法检测可以称为“缓慢失血(slow bleed)”异常的异常，或者用于被监视的度量的实际数据值与用于度量的预期数据值有微小差异的场景，但是这种微小的差异可能是平台正在经历的日益严重的问题的重要信号。
另外，实现这些异常检测算法的常规系统缺乏以以下方式显示所生成的信息的能力：使用户能够监视与平台相关联的数百个度量以有效地理解信息并且采取适当的行动来对问题进步补救。此外，在预测系统的状态，甚至识别系统异常值或劣势方面，独立的用户专业知识一直以来就是不可靠或不准确的。
正是关于这些和其它技术考虑，提出了本文中进行的公开内容。
发明内容
本文中描述的技术被配置成检测或预测被监视的与平台相关联的一个或更多个度量内的小但重要的异常。这些技术被配置成显示度量的可视化表示，以便监视平台的用户可以有效地注意到与异常相关联的问题并且采取适当的措施来补救或防止问题。此外，这些技术使用具有多智能体表决系统的机器学习算法的集合来检测异常。因此，经由可视化表示的显示和机器学习算法的实现方式，本文中描述的技术提供了改进的方式来表示平台的被监视的许多度量(例如，数百、数千等)，并且用于进一步表示平台的模拟状态。此外，这些技术被配置成以用户可以有效地理解的方式披露可操作且有用的与平台相关联的信息，例如平台的预测未来状态。
本文中描述的技术可以用于如下场景：一个或更多个用户负责实时监视与平台相关联的一组度量，以便对潜在问题进行分类和/或采取适当的补救措施。例如，站点可靠性工程团队的用户可能会负责监视与支持网站的平台有关的数百或数千个度量。例如，被监视的度量可以是关键性能指标(“KPI”)。被监视的度量可以与平台的特定功能或过程例如客户经由电子商务站点购买物品的能力有关。在更具体的示例中，被监视的度量可以与能够登录的客户、能够结账的客户等中的一个或更多个有关。这些技术也可以在其它场景中使用。
在一些实现方式中，更广泛类别的度量例如“结账(checkout)”可以被划分为多个子类别度量(例如，“结账_完成(checkouts_completed)”和“结账_取消(checkouts_cancelled)”)。此外，度量可以包括不同的属性。例如，属性可以与客户从网站购买物品的位置、用于购买物品的设备的类型、用于支付物品的支付方法等等有关。因此，被监视的度量的集合可以是扩展的，并且可以根据被监视的平台的功能或过程、组成度量的多个类别和/或子类别和/或可以从一个度量到下一个度量变化的多个属性快速地扩展至数百或数千个。
为了进一步示出属性可以如何变化，“结账_完成(checkouts_completed)”度量可以具有在不同国家例如美国、大不列颠、澳大利亚、法国、俄罗斯、南非、巴西等中的客户结账的单独的度量。“结账_完成(checkouts_completed)”度量还可以具有用于使用不同类型的设备例如IPHONE设备、ANDROID设备和/或其它类型的设备执行结帐的单独的度量。“结账_完成(checkouts_completed)”度量还可以具有用于使用不同的支付方法例如PAYPAL、信用卡和/或其它类型的支付方法为物品付款的结账的单独的度量。单独的度量可以包括一个或多个属性，并且一个不同的属性可能会得到被监视的不同的度量。例如，以下是可以被监视的不同的“结帐”度量：
·“结账_完成_全部(checkouts_completed_overall)”度量(例如，无论位置、设备和付款方法如何，使用平台实现所有结账)，
·“结账_完成_美国_IPHONE_PAYPAL(checkouts_completed_USA_IPHONE_PAYPAL)”度量，
·“结账_完成_澳大利亚_IPHONE_PAYPAL(checkouts_completed_AUSTRALIA_IPHONE_PAYPAL)”度量，
·“结账_完成_美国_ANDROID_PAYPAL(checkouts__completed_USA_ANDROID_PAYPAL)”度量，
·“结账_完成_美国_IPHONE_信用卡(checkouts__completed_USA_IPHONE_creditcard)”度量。
基于以上描述，可以看出，随着支持网站的平台扩展以适应不同的位置、不同的设备、不同的支付方法和/或其它区别属性，被监视的度量的数目可能大并且可以快速地增长。本文中描述的系统通过生成和显示表示与被监视的度量相关联的数据(例如，实时或接近实时的数据值)的多个可视化表示来帮助降低监视用于异常的大量度量的复杂性。使用与被监视的度量相关联的数据，系统可以生成并显示可视化表示以提供平台是否健康的高级指示。当与度量相关联的数据值没有以重要的方式偏离预期或预测的数据值时，平台可能是健康的。可视化表示可以随着由系统继续接收与度量相关联的数据而实时更新。
本文中描述的用户接口的技术优势包括使用诸如操作可视化表示、基于雷达的可视化表示等的可视化表示实时监视数百或数千个度量的能力。这导致可扩展性和效率，原因是可以同时监视和显示如此多的度量。因为可以避免常规的度量显示的方法，这也导致了度量显示的更加存储器和CPU有效的方法。另外，因为可以以紧凑的形式进行许多度量的可视化，所以可视化表示对于在诸如具有有限尺寸显示屏的移动电话的紧凑计算机设备上监视许多度量也是在技术上有利的。另外，平台更加有效，因为平台的客户端设备可以快速地检查许多度量的可视化，例如基于应用的模拟设置(例如，未来时间点)表示模拟数据的操作可视化表示或更新的操作可视化表示，并且用户可以准确地链接至示出问题(例如，当前问题、未来的问题、过去的问题、流量负载问题等)的任何度量。
在各种示例中，一个可视化表示可以是表示描述在线平台的操作数据的操作可视化表示。操作可视化表示可以包括其它可视化表示，例如可以在其上绘制从底层数据导出的对象(例如，点、数据库节点、节点)的基于雷达的可视化表示。可以至少部分地使用将高维数据投影到二维地图上的无监督人工神经网络算法来生成操作可视化表示或基于雷达的可视化表示。例如，可以使用自组织映射(SOM)的定制的修改来生成操作可视化表示或基于雷达的可视化表示。可以使用更广泛的度量的类别例如与客户结账有关的度量来构建自组织映射。
在基于雷达的可视化表示上绘制的对象(例如，节点)可以表示与被监视的平台的方面有关的度量(例如，结账_完成(checkouts_completed))的组合相关联的数据。配置基于雷达的可视化表示以用于显示的方式能够使对象预示与度量的组合相关联的异常活动。例如，基于将与度量的组合相关联的当前实时数据与度量的组合的历史数据的最接近观察值相匹配来确定对象的位置。因此，朝向基于雷达的可视化表示的中心的区域可能表示对于数据经常观察到的较常见的场景。朝向基于雷达的可视化表示的外围的区域表示对于数据很少被观察到的较不常见的场景。因此，在对象的绘制位置随时间朝向基于雷达的可视化表示的外围移动时，可以预示异常活动。相对地，如果对象的绘制位置保持朝向基于雷达的可视化表示的中心，则对象的绘制位置可以预示与度量的组合相关联的正常活动。用户可以观察到对象随时间从基于雷达的可视化表示的中心朝向外围的移动，并且用户可以使用他的或她的判断来确定是否应该基于对象的位置对问题进行进一步的调查。
基于雷达的可视化表示可以包括不同的颜色区域和/或阴影(例如，热图)以帮助预示问题。例如，围绕中心点的基于雷达的可视化表示的内部部分可能是不同色调的蓝色(例如，朝向中心的较深的蓝色阴影在向外朝向外围看时变成较浅的阴影)。基于雷达的可视化表示的外部部分可能是不同色调的红色(例如，朝向外围的较深的阴影或红色当向内朝向中心看时变成较浅的阴影)。用户可以注意到对象何时开始从靠近基于雷达的可视化表示的中心的深蓝色阴影区域朝向基于雷达的可视化表示外围附近的深红色阴影区域移动，深蓝色阴影区域可以是由对象表示的度量的组合的正常活动的强烈信号，深红色阴影区域可以是由对象表示的度量的组合的异常活动的强烈信号。
异常的另一信号可以包括对象的大小(例如，点的大小)的增加。对象的大小表示用于度量的组合的实时、模拟或预测数据对于观察到的历史数据的异常程度。对象可能位于基于雷达的可视化表示的中心附近，然而实时模拟或预测的度量值中的一个或更多个度量值是外来的并且在历史数据中不常见。在特定示例中，被监视的大量度量可能具有与历史观察密切匹配的正常值，但是被监视的少量度量(例如，一、二、三等)可能具有不常见或以前从未观察到的实时、模拟、或预测值(例如，外来值)。在这种情况下，因为对象的位置很可能由于对大量度量的正常观察而朝向基于雷达的可视化表示的中心绘制，可以利用对象的增加的大小来预示异常。
在一些示例中，绘制对象的移动和绘制对象的大小可以一起作用以预示异常。这可能是有用的，因为仅红色区域中的绘制对象可能由于高峰期、缓慢期或可能预示异常但可能不完全异常的一些其它因素的影响而出现。因此，绘制对象的大小可以提供异常行为的强指示，因为绘制对象的大小可以指示在训练期间之前没有发生过这种观察。
系统还可以基于接收到的用户输入例如识别的动作(例如，点击、敲击等)、手势或口头发音来生成和呈现更新的操作可视化表示。这样的用户输入也可以经由交互式滑块、数字输入等来接收。可以接收一个或更多个用户输入，使得应用多个模拟设置或条件，可以移除先前的用户输入等。例如，可以接收指示流量状况和时间点二者的模拟设置的变化的用户输入。在一种实现方式中，交互式滑块可以接收用户输入(例如，选择、拖动等)，使得改变、应用、更新或移除不同的设置，例如图表属性、KPI或服务的时间线属性。
使用与被监视的度量相关联的数据，系统还可以生成并且显示使用户能够将问题定位于被监视的较小的一组度量的不同的可视化表示，从而使用户能够从数百或数千的被监视的度量中确定哪些度量正在经历异常活动。
在各种示例中，一种这样的不同的可视化表示可以是包括多个部分的树形图可视化表示。树形图可视化表示中的每个部分可以与用于构成一个或更多个被监视的度量(例如，“结帐”度量)的特定属性相关联。单独的部分的大小和/或颜色可以用于指示特定属性的异常活动。如上所述，特定属性可以是客户可以从其经由电子商务站点和支持平台(例如美国、大不列颠、澳大利亚、法国、俄罗斯、南非、巴西等)购买物品的多个不同位置的位置，可以被客户使用以经由电子商务站点和支持平台(例如，IPHONE、ANDROID等)购买物品的各种不同类型的设备的设备类型，客户可以使用以经由电子商务站点和支持平台(例如，PAYPAL、信用卡等)购买物品的各种不同的支付方法的支付方法等等。
用户可以与树形图可视化表示交互以将问题定位于较小的一组度量。例如，用户可能会注意到树形图可视化表示中较大的红色部分，其预示对于特定属性(例如，美国、IPHONE、PAYPAL等)的异常活动。然后用户可以选择与特定属性相关联的部分。然后系统可以接收用户输入，该用户输入选择树形图可视化表示的部分并且更新操作可视化表示、基于雷达的可视化表示和/或树形图可视化表示，使得仅表示与特定属性有关的度量。换言之，与特定属性有关的较小的一组度量用于基于用户输入重建操作可视化表示、基于雷达的可视化表示和树形图可视化表示中的一个或全部。
因此，本文中描述的系统提供了实时的交互式应用，其中用户可以在初期通过查看在尺寸上增长和/或朝向基于雷达的可视化表示或在基于雷达的可视化表示的外围移动的对象来注意到问题，并且然后用户可以与操作可视化表示或另一详细的可视化表示交互，以更深入地查看相关的部件或更好地理解问题。应当理解，基于雷达的可视化表示可以示出一个或更多个对象，并且每个对象可以表示多个度量。在各种示例中，本文中描述的系统提供交互式应用，其中用户可以通过将不同的模拟设置应用于实时数据来注意到未来的问题，从而生成和呈现在线平台的模拟状态的模拟数据的表示。
在本文中描述的各种示例中，可以使用“自组织映射”(SOM)算法的修改版本(即，“Kohonen网络”)生成提供平台的健康状况的高级概述的基于雷达的可视化表示。SOM算法实现了高维数据的低维视图。例如，可以使用该算法将高维数据映射为二维数据矩阵，并且然后可以将二维数据矩阵可视化为热图。SOM算法的修改版本导致时间序列数据并且改变输出表示使得显示对称的基于雷达的可视化表示。因此，SOM算法的修改版本在本文中可以被称为“自组织雷达”(SOR)算法。
配置基于雷达的可视化表示的方式使表示度量的组合的对象能够在对象的绘制位置随时间朝向基于雷达的可视化表示的外围移动或定位时通常预示异常活动。相对地，如果对象的绘制位置保持朝向基于雷达的可视化表示的中心，则对象的绘制位置通常预示与度量的组合相关联的正常活动。这为用户在问题完全发展并且导致更严重的后果之前及早注意到问题提供了有效且高效的方式。与常规的技术相比，用户无需检查或解释大量复杂的信息，例如数学方程式、数值/系数、与阈比较的值、多个图表等来确定问题存在。
在本文中描述的各种示例中，可以使用各种机器学习智能体的多智能体表决系统来生成树形图可视化表示。在一个实现方式中，智能体是用于进行表决决策的与分位数损失梯度提升树(QLGBT)机器学习模型相结合的回归模型。系统分析被监视的度量并且确定哪些度量高度相关以分布在智能体上。例如，系统可以使用独立的回归量以确定第一度量和第二度量满足相关阈值，因此是高度相关的并且可以被分配给一个或更多个智能体。如果第一度量与第二度量高度相关，则智能体可以自信地使用用于第一度量的数据值以使用选择的智能体的回归方法(例如多项式回归)预测用于第二度量的数据值。在更具体的示例中，数据值的历史分析可以用于识别相关性，其中用于“结账_完成(checkouts_completed)”度量的数据值可以用于预测用于“结账_取消(checkouts_cancelled)”度量的数据值。在另一具体示例中，数据值的历史分析可以用于识别相关性，其中用于“结账_完成_法国(checkouts_completed_France)”度量的数据值可以用于预测用于“结账_完成_全部(checkouts_completed_overall)”度量的数据值。
给定两个高度相关的度量，智能体生成预测模型，使得第一度量的数据值可以预测用于第二度量的数据值。可以由多个不同的智能体生成用于每组高度相关的度量的预测模型。提供用于特定度量的实际数据值，智能体被配置成将实际数据值与由与特定度量联合生成的智能体的预测模型预测的数据值进行比较。然后智能体使用其自己的预测误差和/或其它外生因素例如时间因素、假期因素等来使用QLGBT生成关于误差的上下分位数限制或界限。如果当与实际数据值相比时，预测数据值的误差超出置信区间(例如上界和下界)，则智能体提供预示异常的表决。换言之，智能体的表决意味着预测用于度量的数据值的误差超出了可接受的误差范围。在各种示例中，误差是与数据的规模无关的归一化误差(例如，百分比)。在其它示例中，误差可以是绝对误差。
表决与基于误差是否超出上界或下界的特定度量相关联。例如，第一相关度量可以与上界相关联并且第二相关度量可以与下界相关联。当异常与值的减少(例如下降)相关联时，智能体可以使用这种方法。如果预测数据值的误差在上界之外，则第一相关度量接收表决，并且因此是表决的度量。如果预测数据值的误差在下界之外，则第二相关度量接收表决，并且因此是表决的度量。在另一示例中，第一相关度量可以与下界相关联并且第二相关度量可以与上界相关联。当异常与值的增加(例如，猛增)相关联时，智能体可以使用这种方法。
一旦从与被监视的大量相关的度量的集合(例如，数百、数千等)相关联的所有智能体接收到表决，系统就可以分析确定为与所表决的度量相关联的智能体，并且将问题定位于特定属性。系统可以检查所有智能体以确定与所表决的度量共享属性(例如，诸如美利坚合众国的位置)的智能体的总数目，而不考虑智能体是否表决。此外，系统可以检查表决智能体以确定与所表决的度量共享相同属性(例如，诸如美利坚合众国的位置)的表决智能体的数目。
如果基于共享属性的表决智能体的数目和共享相同属性的智能体的总数目确定的百分比大于预定的阈值百分比(例如，百分之七十与百分之九十之间的百分比)，则系统可以确定可以将问题定位于该属性。在特定示例中，阈值可以被设置成百分之七十五，并且因此，如果使用与美利坚合众国属性有关的度量的来自总共一百个智能体的八十个提供预示异常的表决，则系统可以将问题定位于特定位置，即美利坚合众国。
系统可以使用在树形图可视化表示中的该信息以示出可能存在与特定属性例如美利坚合众国相关的问题。也就是说，系统可以增加与特定属性对应的树形图可视化表示中的部分的大小和/或改变其颜色。在一个实现方式中，部分的大小和/或颜色与表决支持特定定位(例如，特定属性)内的误差的智能体的百分比有关。
使用机器学习模型，例如但不限于分位数损失梯度提升树(QLGBT)机器学习模型，以在多智能体表决系统内对单个智能体的决策进行建模，该系统能够对“缓慢失血”异常，或者用于度量的实际数据值与用于度量的预期数据值略有不同的场景——但是微小的差异可能是平台正在经历的增长的问题的重要信号——提供更高的灵敏度。多智能体表决系统的使用还提供了对假阳性的更高抵抗力，因为虽然单个智能体中可能出现假阳性，但是在大量智能体中同时出现假阳性的可能性较低。此外，智能体在其分配的度量、外生变量和使用的模型方面的多样性克服了由于使用单个模型或有限的度量集合的脆弱性而导致的偏差。因此，基于机器学习的多智能体表决系统包括问题推导工具，而不仅仅是异常值检测工具。
尽管上述示例中的一些示例涉及诸如电子商务站点的网站的健康监视，但是这些技术可以另外地或替选地应用于其它度量和/或其它平台被监视的其它示例。例如，本文中描述的技术可以用于：显示表示物品的卖方的活跃列表和市场状态的可视化表示，显示表示搜索结果的分段的可视化表示，或显示表示在各种可能的人工智能(AI)输出之上的后处理层的可视化表示。同样地，以上示例可以应用于其它性能度量，例如监视数据中心中的机器度量，例如CPU利用率、存储器利用率、磁盘活动或其它度量。
应当理解，上面描述的以及下面进一步详细描述的主题可以被实现为计算机控制的装置、计算机实现的方法、计算设备或者诸如计算机可读存储介质的制品。根据以下具体实施方式的阅读和相关联附图的查看，这些和各种其它特征将变得明显。
本发明内容以简化形式介绍了将在下面的具体实施方式中进一步描述的一系列构思。因此，本发明内容并不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参照附图描述具体实现方式。附图中表示的实体可以指示一个或更多个实体，并且因此，在讨论中可以互换地引用单数形式或复数形式的实体。附图通过示例而非限制的方式示出了实现本发明主题的系统、方法和计算机程序产品的各种实现方式。
图1是示例实现方式中的环境的图示，该示例实现方式可操作以采用本文中所描述的用于高维数据集的基于机器学习的交互式可视化监视的技术。
图2A描绘了示出图1的监视系统的操作示例实现方式中的系统，除了基于选择的模拟设置的更新的操作可视化表示之外，更详细地描述了生成和呈现表示描述在线平台的操作数据的操作可视化表示。
图2B是示出了叠加在操作可视化表示或更新的操作可视化表示上的网络图，以及网络图可以如何用于使所选择的节点的KPI值与同一节点的其它KPI之间的关系的表示在操作可视化表示或更新的操作可视化表示上可视化。
图2C是示出了可以在用户接口上显示的替选的可视化表示(例如，“旭日”可视化表示)以及替选的可视化表示可以如何用于将平台的问题定位于被监视的特定KPI的图。
图3是描绘了示例实现方式中的过程的流程图，其中，基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的模拟设置生成在线平台的模拟状态的模拟数据，以及基于模拟数据进一步生成和呈现更新的操作可视化表示。
图4是描绘了示例实现方式中的过程的流程图，其中，基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的模拟设置生成在线平台的预测未来状态的预测数据，以及基于预测数据进一步生成和呈现更新的操作可视化表示。
图5是描绘示例实现方式中的过程的流程图，其中，基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的时间点生成在线平台的模拟状态的模拟数据，以及基于模拟数据进一步生成和呈现更新的操作可视化表示。
图6描绘了示例实现方式中的系统，其中客户端设备经由显示数字内容的用户接口接收模拟设置的用户选择。
图7是示出了基于机器学习的交互式可视化监视生态系统的图，其中监视系统被配置成显示可视化表示，使得用户可以查看针对平台的健康指示并且将问题定位到被监视的一个或更多个度量和/或属性。
图8是示出了可以在用户接口上显示的基于雷达的可视化表示和树形图可视化表示，以及基于雷达的可视化表示和树形图可视化表示如何可以用于将平台的问题定位于被监视的特定度量和/或特定属性的图。
图9是示出了可以在用户接口上显示的基于雷达的可视化表示和树形图可视化表示，以及如何可以基于定位于特定属性的问题来更新基于雷达的可视化表示和树形图可视化表示的图。
图10示出了基于分位数损失梯度提升树(Quantile Loss Gradient BoostedTrees，QLGBT)模型的多智能体系统如何可以用于产生要通过树形图可视化表示表示的信息的示例。
图11A是示出了用户如何可以使用基于雷达的可视化表示查看与被监视的度量而不是大量的图表相关联的信息的示例的图，其中每个图表与单独的度量相关联。
图11B是示出了用户如何可以使用操作可视化表示查看与被监视的度量(例如，KPI)而不是大量的图表相关联的信息的示例的图，其中每个图表与单独的度量相关联。
图12是示出了根据本文中公开的一种实现方式的说明性方法的各方面的流程图。
图13A至图13B包括示出了根据本文中公开的一种实现方式的说明性方法的各方面的流程图。
图14是示出了可以在用户接口上显示的基于雷达的可视化表示和树形图可视化表示，以及如何可以提供用户输入(例如，与关于基于雷达的可视化表示和/或树形图可视化表示的部分的对象相关联的悬停输入)以查看元数据的图。
图15是示出了可以在用户接口上显示的基于雷达的可视化表示和替选的可视化表示(例如，“旭日”可视化表示)，以及可视化表示如何可以用于将平台的问题定位到被监视的特定度量和/或特定属性的图。
图16是示出了图15的基于雷达的可视化表示和替选的可视化表示，以及示出针对最近时段的事件得分的时间线可视化表示的图。
图17是示出了多智能体系统如何可以用于识别可能与异常活动相关联的属性的示例的图。
图18是示出了如何可以将针对属性的多个表决与阈值进行比较以确定属性可能与异常活动相关联的示例的图。
图19是示出了根据本文中公开的一种实现方式的说明性方法的各方面的流程图。
图20是示出了用于能够执行本文中描述的软件组件的计算机的示例计算机架构的各方面的计算机架构图。
具体实施方式
概述
在以下描述中，将参考用于执行本发明主题的具体示例实现方式。这些具体实现方式的示例在附图中示出。将理解，这些示例并非旨在将权利要求的范围限制于示出的实现方式。相反，它们旨在涵盖可以包括在本公开内容的范围内的替代方案、修改和等效物。在以下描述中，为了提供对主题的透彻理解，阐述了具体细节。可以在没有这些具体细节的一些或全部的情况下实践实现方式。
本公开内容涉及实现用于高维数据集的基于机器学习的交互式可视化监视的各个技术方面。在各种实现方式中，监视系统基于从一个或更多个计算设备接收的数据生成和呈现操作可视化表示，上述数据描述在线平台的操作。在各种实现方式中，监视系统还经由一个或更多个客户端设备接收用户输入，其中用户输入可以选择一个或更多个设置(例如，模拟设置)以应用于操作可视化表示，使监视系统根据识别的用户输入进行响应。非限制性地，例如，监视系统的功能可以包括用于支付和运输安排的交易功能，和/或搜索和发现特征、警报工具或当满足特定条件时触发的自动化特征。所公开的技术呈现用于基于实时和历史数据生成表示实时监视数据或模拟数据的可视化表示的技术，其可用于鉴于一个或更多个模拟条件指示与平台的健康相关联的问题，并且使平台、系统或用户能够识别与问题相关联的特定度量和/或特定属性。所公开的技术可以增强各种机器学习系统和相关应用的功能和效率。
在以下讨论中，首先描述可以采用本文中所描述的技术的示例环境。然后描述可以在示例环境以及其它环境中执行的示例过程。因此，示例过程的执行不限于示例环境并且示例环境不限于示例过程的执行。
示例环境
图1是示例实现方式中的数字媒体环境100的图示，该示例实现方式可操作以采用本文中描述的用于高维数据集的基于机器学习的交互式可视化监视技术。示出的环境100包括经由网络110彼此通信上耦接的计算设备102(1)-(N)(其在本文中可称为“计算设备102”，其中图1的上下文中的N是可以是数百、数千、数十万等的正整数)、平台104、监视系统106和客户端设备108。计算设备102与平台104交互以实现由平台104支持的特定的功能或过程。监视系统106被配置成生成、呈现和/或可视化，使得诸如客户端设备108的设备可以显示可视化表示(例如，操作可视化表示112或更新的操作可视化表示114)，该设备在有人为干预或没有人为干预的情况下呈现平台104的操作的健康指示、平台104的预测的未来状态、平台104的模拟状态等。
计算设备102可以属于各种类别的设备，例如服务器型设备、台式计算机型设备、移动型设备、专用型设备、嵌入式型设备和/或可穿戴型设备。因此，计算设备102可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(PDA)、移动电话/平板混合设备、膝上型计算机、电信设备、可穿戴设备、虚拟现实(VR)设备、增强现实(AR)设备、汽车用计算机、支持网络的电视、终端、物联网(IoT)设备、工作站、媒体播放器、个人视频录像机(PVR)、机顶盒、或任何其它类型的计算设备。
在各种示例中，监视系统106的设备可以包括一个或更多个计算设备，这些计算设备在集群或其它分组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余，或用于其它目的。例如，监视系统106的一个或更多个设备可以属于各种类别的设备，例如常规的服务器型设备。在实现方式中，监视系统106被配置成显示可视化表示，使得客户端设备108可以将问题定位于被监视的平台104的一个或更多个度量和/或属性。在一种配置中，监视系统106可以是平台104的一部分。替选地，监视系统106可以是可以由平台104调用以实现本文中描述的监视的单独系统。监视系统可以以各种方式配置，例如以支持即时消息、社交网络通信(例如，“共享”、帖子、私人消息)、电子消息、加密消息、电子商务、电子邮件等等。
计算设备102各自被配置成生成与平台104的被监视的度量、属性或KPI相关联的数据并且将其发送到平台104、监视系统106和/或客户端设备108。相应地，图1示出了计算设备102通过一个或更多个网络(表示为网络110)生成和/或发送与被监视的数据118相关联的数据(在本文中可以称为数据118)，并且数据118被监视系统106接收。
计算设备102的计算设备可以包括通信模块116，该通信模块116可以用于将数据118(例如，被监视的度量、属性等的数据)传达给监视系统106；通信模块116至少部分地在一个或更多个计算设备102的硬件中实现，以与经由网络110可访问的平台104、监视系统106和客户端设备108交互。
在一个示例中，平台104可以包括支持诸如电子商务站点的网站的资源(例如，处理资源、网络资源、存储资源等)。平台104可以是或包括服务器、网站、移动应用、语音接口、电话订购系统或其它技术实现方式。在一些实现方式中，平台104例如经由网站和/或一个或更多个API(例如，网络API)由服务器(包括一个或更多个服务器计算机)实现，该服务器由监视系统106操作、代表监视系统106和/或受监视系统106控制，该服务器披露监视系统106的功能中的一些功能。作为示例，
Figure BDA0003538431580000141
Figure BDA0003538431580000142
或其它公司可以整合用于高维数据集的基于机器学习的交互式可视化监视以适应被监视的服务的变化，减少对不可靠的人类专家的常规依赖，提供针对人类专家将无法处理的数据的量的可视化监视，并且在各种不同的场景(包括实时、过去和未来场景)下提供更准确的在线平台的监视服务(例如，KPI)的状态评估。
此外，计算设备102可以部分地负责站点可靠性工程，实时监视数百或数千个数据118，以便对与平台104相关联的潜在问题进行分类和/或在有或没有人为干预的情况下采取适当的补救措施。被监视的数据118可以与由平台104支持的特定功能或过程有关，例如客户经由电子商务站点(例如，www.eBay.com)购买物品或服务的能力。
尽管本文中描述的示例中的一些涉及诸如电子商务站点的网站的健康监视，但是这些技术可以另外地或替选地应用于监视其它度量和/或其它平台的其它示例。例如，本文中描述的技术可以用于：基于从客户端设备108接收的模拟设置生成模拟数据，呈现表示多个模拟设置(例如，未来时间点、过去时间点、特定流量负载等等)的可视化表示，显示表示平台104的KPI的可视化表示，显示表示各种可能的人工智能(AI)输出之上的后处理层的可视化表示等等。
监视系统106可以包括经由一个或更多个网络110彼此通信、与平台104和/或与计算设备102通信的设备(例如，服务器)和/或其它部件。此外，监视系统106可以包括数据管理器模块120、可视化表示管理器模块122、可视化表示呈现模块124、用户接口模块126、模拟管理器模块128、可视化表示更新器模块130和可视化表示重新呈现模块132。此外，监视系统包括存储设备134，其可以存储各种事物，例如数据118、操作可视化表示112、更新的操作可视化表示114、模拟或预测数据等等。示出的模块的数目只是示例，并且数目可以变得更高或更低。也就是说，本文中与所示模块联合描述的功能可以由一个设备上或者分布在多个设备上的更少数目的模块或更多数目的模块执行。
使用被监视的数据118，可视化表示管理器模块122可以用于生成操作可视化表示112以提供平台104是否健康的高级指示，例如平台104的KPI。可视化表示呈现模块124可以用于呈现操作可视化表示112以供显示。当与度量相关联的数据118没有以重要的方式偏离预期或预测的数据值时，平台104可能是健康的。操作可视化表示112可以随着数据118随时间继续被监视系统106接收而实时更新。类似地，更新的操作可视化表示114及其相关联的模拟或预测数据可以随着数据118随时间继续被监视系统106接收而实时更新。操作可视化表示112和更新的操作可视化表示114可以包括能够显示度量的其它可视化表示，例如基于雷达的可视化表示、树形图可视化表示、详细的网格视图等。
通过生成和显示操作可视化表示112或更新的操作可视化表示114，监视系统106提供实时的交互式应用，其中客户端设备108可以在初期就注意到问题，获得对问题来源的更好了解，控制关于问题的各方面等。这在本文中关于图2A至图2C作进一步描述。
网络110可以包括例如诸如因特网的公共网络、诸如机构和/或个人内联网的私有网络、或私有和公共网络的某种组合。网络110还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等等)或其任意组合。网络110可以利用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其它类型的协议。此外，网络110还可以包括促进网络通信和/或形成用于网络的硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等。
实现这些设备和系统的计算设备可以以各种方式配置。例如，计算设备可以被配置为台式计算机、膝上型计算机、移动设备(例如，假设手持配置，例如平板电脑或移动电话)。因此，计算设备的范围可以从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限的存储器和/或处理资源的低资源设备(例如，移动设备)。另外，尽管在某些实例中描绘和描述了单个计算设备，但是计算设备可以表示多个不同的设备例如由企业使用的多个服务器，以针对平台的服务和监视服务“在云上”执行操作。
客户端设备108被配置成通过使用其客户端接口模块136经由网络110与计算设备通信。客户端接口模块136还使客户端设备108能够与监视系统106、平台104和计算设备102通信。由客户端接口模块136支持的通信可以以各种方式配置。通信的配置的示例包括通知、警报、即时消息、帖子、电子邮件、文本消息、用户输入、QR码以及可以经由网络110通信的其它类型的用户交互。
在某些实例中，用户可能希望将模拟设置应用于操作可视化表示，使得它们在一组模拟情况下更好地了解在线平台的KPI。举例来说，用户可以通过调节正在显示的一个或更多个交互式滑块来与客户端设备108的用户接口交互，使得模拟设置被应用。在一种实现方式中，一个模拟设置是未来时间点，例如2024年3月13日。在另一示例实现方式中，一个模拟设置是特定流量负载(例如，25％、100％、125％或500％)。在又一示例实现方式中，一个模拟设置是在线平台的新服务的添加或旧服务的移除。基于经由客户端设备的用户接口的用户输入接收的选择的模拟设置，客户端接口模块136可以将选择的模拟设置传达给监视系统106的用户接口模块126，从而基于一个或更多个选择的模拟设置，经由模拟管理器模块128、可视化表示更新器模块130和可视化表示重新呈现模块132来开始生成模拟或预测的数据的过程，以生成和呈现更新的操作可视化表示，更新的操作可视化表示存储在存储设备134中。
一般而言，可以在本部分中描述的示例过程的上下文中采用与以上示例和以下示例相关的功能、特征和构思。此外，关于本文献中的不同附图和示例描述的功能、特征和构思可以在彼此之间互换并且不限于在特定附图或过程的上下文中的实现方式。此外，与本文中的不同代表性过程和对应的附图相关联的块可以一起应用和/或以不同方式的组合。因此，关于本文中的不同示例环境、设备、部件、附图和过程所描述的各个功能、特征和构思可以以任何合适的组合使用，并且不限于本说明书中列举的示例所表示的特定组合。
监视系统-操作可视化表示，更新的操作可视化表示
图2A描绘了示出图1的监视系统的操作示例实现方式中的系统200，除了基于选择的模拟设置的更新的操作可视化表示之外，更详细地描述了生成和呈现表示描述在线平台的操作数据的操作可视化表示。图2B描绘了示出系统200的网络图和网络图如何叠加在操作可视化表示或更新的操作可视化表示上，以及网络图可以如何用于使所选择的节点的KPI值相比于同一节点的其它KPI之间的关系的表示在操作可视化表示或更新的操作可视化表示上可视化。图2C描绘了示出可以在用户接口上显示的系统200的替选的可视化表示(例如，“旭日”可视化表示)，以及替选的可视化表示可以如何用于将平台的问题定位于被监视的特定KPI的图。图3描绘了示例实现方式中的过程300，其中基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的模拟设置生成在线平台的模拟状态的模拟数据，以及基于模拟数据进一步生成和呈现更新的操作可视化表示。图4描绘了示例实现方式中的过程400，其中基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的模拟设置生成在线平台的预测未来状态的预测数据，以及基于预测数据进一步生成和呈现更新的操作可视化表示。图5描绘了示例实现方式中的过程500，其中基于描述在线平台的操作数据生成和呈现操作可视化表示，基于选择的时间点生成在线平台的模拟状态的模拟数据，以及基于模拟数据进一步生成和呈现更新的操作可视化表示。图6描绘了示例实现方式中的系统600，其中客户端设备经由显示数字内容的用户接口接收经由用户输入的模拟设置的用户选择。
以下讨论描述了可以利用先前描述的系统和设备实现的技术。过程中的每个过程的各方面可以在硬件、固件、软件或它们的组合中实现。这些过程作为一组块示出，这些块指定由一个或更多个设备执行的操作，并且不必限于示出的用于执行相应块的操作顺序。在以下讨论的部分中，可互换地参照图2至图6。
为了开始该示例，监视系统106的数据管理器模块120接收描述平台104的操作数据118，数据118包括自动且无用户干预地监视的多个度量(块302、402和502)。举例来说，监视系统可以接收与KPI相关联的数据，其中，度量自动且无用户干预地监视。接下来，可视化表示管理器模块122生成表示数据118的操作可视化表示112的可视化表示数据208，操作可视化表示112包括经由自组织雷达(SOR)模块204生成的基于雷达的可视化表示210，基于雷达的可视化表示210包括布置多个度量的热图212和表示多个度量的初始状态的节点214(块304、404和504)。
可视化表示管理器模块还包括表决模块206，其可以生成其它可视化表示，例如树形图可视化表示(块306、406和506)。通过使用各种机器学习智能体的多智能体表决系统，可以经由表决模块206生成树形图可视化表示。在一种实现方式中，智能体是用于进行表决决策的与分位数损失梯度提升树(QLGBT)机器学习模型相结合的回归模型。系统分析被监视的度量并且确定哪些度量高度相关以分布在智能体上。例如，系统可以使用独立的回归量以确定第一度量和第二度量满足相关阈值，因此是高度相关的并且可以被分配给一个或更多个智能体。如果第一度量与第二度量高度相关，则智能体可以确信地使用用于第一度量的数据值以使用选择的智能体的回归方法(例如多项式回归)预测用于第二度量的数据值。
接下来，可视化表示呈现模块124呈现操作可视化表示112；可视化表示呈现模块124可以基于由可视化表示管理器模块122生成的可视化表示数据208来呈现操作可视化表示112，操作可视化表示112包括基于雷达的可视化表示210、热图212和节点214(块308、408、和508)。接下来，用户接口模块126接收用户输入216，用户输入216选择模拟设置(例如，时间点、流量负载等)以应用于操作可视化表示112(块310、410和510)。举例来说，用户输入216可以经由交互式滑块接收以选择模拟设置，例如125％的流量模拟设置。这种用户输入数据218由模拟管理器模块128接收，该模拟管理器模块128至少基于用户输入数据218为经由用户输入216选择的模拟设置下的多个度量中的一个或多个度量生成在线平台的模拟状态的模拟的数据220(块312、412和512)。可以通过其它识别的方式，例如识别的手势、发音、点击、敲击、密码、通信耦合等等接收用户输入。
监视系统可以被配置成基于接收的数据202和模拟的数据220控制对特定特征的访问。举例来说，当接收的数据202或模拟的数据220指示被监视的特定度量表示平台104的不健康的状态时，监视系统可以自动地采取行动以阻止系统的模拟或预测的未来状态，例如阻止添加新服务或移除旧服务，或者通过基于接收的数据202和模拟的数据220的分析增加新服务的添加和移除旧服务。
接下来，监视系统106的可视化表示更新器模块130基于模拟的数据220(例如，预测数据)更新操作可视化表示112以表示平台104的模拟状态(例如，平台的预测状态)，从而产生更新的可视化表示数据222(块312、412和512)。最后，可视化表示重新呈现模块132基于初始操作可视化表示112的更新的可视化表示数据222来呈现更新的操作可视化表示114(块314、414和514)，更新的操作可视化表示114表示将用户输入216和用户输入数据218考虑在内的平台104的模拟的或预测的状态。呈现的更新的操作可视化表示114可以作为二维图像、增强现实图像等呈现。在呈现更新的操作可视化表示114之后，类似于初始操作可视化表示112，更新的操作可视化表示114可以继续自动、实时地更新。
在一种实现方式中，如通过附图标记224所描述的，用户可以通过选择显示的节点214中之一(例如，提供用户输入以选择表示节点214(1)的对象，节点214(1)描绘节点214(1)的多个KPI 224(1-N)中的KPI226(1))来与操作可视化表示112或更新的操作可视化表示114交互。响应于节点214(1)的选择，操作可视化表示112呈现叠加在操作可视化表示112或操作可视化表示112的基于雷达的可视化表示210上的网络图228，网络图228表示操作可视化表示112或更新的操作可视化表示114上的节点214(1)的KPI值226(1)相比于同一节点的其它KPI 226(例如，KPI 226(N))之间的关系(例如，对于给定节点214的“存储器使用”与“读写速度”之间的关系)。
在各种示例中，操作可视化表示112或更新的操作可视化表示114可以包括如至少由图8和图9所描绘的不同的可视化表示，例如包括多个部分的树形图可视化表示，并且在本申请中进一步阐述。树形图可视化表示中的每个部分，如至少在图8和图9中所描绘的，可以与用于构成被监视的度量中的一个或更多个度量(例如，KPI 226)的特定属性相关联。各个部分的大小和/或颜色可以用于指示特定属性的异常活动。也就是说，随着异常活动的量增加，部分的大小将增加并且颜色可能会改变(例如，从绿色到黄色到红色)。在示例实现方式中，操作可视化表示112或更新的操作可视化表示114的不同可视化表示是被分段(例如，像饼图)的替选的可视化表示230，并且每个部分232(1-N)和234(1-N)可以被动态地着色以反映整个系统关于一个或更多个KPI 226的性能。因此，在一种实现方式中，如呈现和/或显示的部分的232(1-N)和234(1-N)颜色，可能在接收到用户输入216时实时改变(例如，经由交互式滑块以选择模拟设置)。
如上所述，替选的可视化表示230中的各个部分的大小和/或颜色可以用于指示特定KPI的异常活动。也就是说，随着异常活动的量增加，部分的大小将增加和/或颜色可能会改变。因此，替选的可视化表示230可以用于将平台的问题定位于被监视的特定KPI。
基于机器学习的交互式可视化监视生态系统
现在参照附图，图7以框图形式示出了根据示例实现方式的基于机器学习的交互式可视化监视生态系统700。在生态系统700内，图7是示出示例环境700的图，在示例环境700中监视系统106被配置成显示可视化表示使得用户704可以查看针对平台104的健康指示并且将问题定位于被监视的一个或更多个度量和/或属性。在一种配置中，监视系统106可以是平台104的一部分。替选地，监视系统106可以是可以被平台104调用以实现本文中所描述的监视的独立系统。
在一个示例中，平台104可以包括支持诸如电子商务站点的网站的资源(例如，处理资源、网络资源、存储资源等)。此外，用户704可以是站点可靠性工程团队(SiteReliability Engineering team)的一部分，该团队负责实时监视成百上千的度量704，以便对与平台104相关联的潜在问题进行分类和/或采取适当的补救措施。受监视的度量704可以与平台104支持的特定功能或过程例如客户经由电子商务站点购买物品的能力有关。
尽管本文中描述的示例中的一些涉及诸如电子商务站点的网站的健康监视，但是这些技术可以另外地或替选地应用于监视其它度量和/或其它平台的其它示例。例如，本文中描述的技术可以用于：为物品的卖方(例如，图7中的用户704可以是在电子商务站点上列出物品的人)显示表示活动列表和市场状态的可视化表示，显示表示搜索结果分段的可视化表示，或显示表示在各种可能的人工智能(AI)输出上的后处理层的可视化表示。
图7示出了可以与平台104交互以实现由平台104支持的特定功能或过程的各种设备102。设备102各自被配置成生成与被监视的度量708相关联的数据118并且将其发送到平台104和/或监视系统106。相应地，图7示出了设备102通过一个或更多个网络110生成和发送与被监视的度量708相关联的数据118，并且数据118被监视系统106接收。
在各种示例中，被监视的度量708可以属于度量的类别，例如从电子商务站点结账(例如，“结账(checkouts)”)。因此，度量的类别可以被划分为多个子类别度量(例如，“结账_完成(checkouts_completed)”和“结账_取消(checkouts_cancelled)”)。此外，度量可以包括不同的属性。为此，图7示出了与由设备102提供的被监视的度量708相关联的数据118可以包括属性716(1)-716(N)(在本文中可以称为数据716)。属性716可以与客户从网站购买物品的位置、用于购买物品的设备的类型、用于支付物品的支付方法等等有关。
更具体地，被监视的度量708可以基于客户在不同的国家，例如美国、大不列颠、澳大利亚、法国、俄罗斯、南非、巴西等结账和购买物品。被监视的度量708可以基于客户使用不同类型的设备，例如IPHONE设备、ANDROID设备和/或其它类型的设备结账和购买物品。被监视的度量704可以基于客户使用不同的支付方法，例如PAYPAL、信用卡和/或其它类型的支付方法结账、购买物品以及为物品付款。单独的度量708可以包括一个或更多个属性716，并且一个变化的属性716可以导致被监视的不同的度量708。例如，以下是可以被监视的不同的“结帐”度量：
·“结账_完成_全部(checkouts_completed_overall)”度量(例如，无论位置、设备和付款方法如何，使用平台实现所有结账)，
·“结账_完成_美国_IPHONE_PAYPAL(checkouts_completed_USA_IPHONE_PAYPAL)”度量，
·“结账_完成_澳大利亚_IPHONE_PAYPAL(checkouts_completed_AUSTRALIA_IPHONE_PAYPAL)”度量，
·“结账_完成_美国_ANDROID_PAYPAL(checkouts__completed_USA_ANDROID_PAYPAL)”度量，
·“结账_完成_美国_IPHONE_信用卡(checkouts__completed_USA_IPHONE_creditcard)”度量。
监视系统106可以包括经由一个或更多个网络110彼此通信、与平台104和/或与设备102通信的设备(例如，服务器)和/或其它部件。此外，监视系统106可以包括自组织雷达(SOR)模块204和表决模块206。示出的模块的数目只是示例，并且数目可以变得更高或更低。也就是说，本文中与所示模块联合描述的功能可以由一个设备上或者分布在多个设备上的更少数目的模块或更多数目的模块执行。
使用与被监视的度量708相关联的数据118，自组织雷达(SOR)模块204可以用于生成和显示基于雷达的可视化表示210以提供平台104是否健康的高级指示。当与度量708相关联的数据值没有以重要的方式偏离预期或预测的数据值时，平台104可能是健康的。基于雷达的可视化表示210可以随着与度量708相关联的数据118随时间继续被监视系统106接收而实时更新。
使用与被监视的度量708相关联的数据118，表决模块206可以可选地用于生成和显示另一详细的显示，例如树形图可视化表示722。树形图可视化表示722使用户704能够将问题定位于被监视的较小的一组度量708。换句话说，树形图可视化表示722允许用户确定在被监视的数百或数千个度量中哪些度量正在经历异常活动。如本文中进一步描述的，可以使用基于关于度量708的历史数据值构建的机器学习模型来生成树形图可视化表示722。应当意识到，树形图可视化表示722可以是能够显示度量的任何其它可视化表示，例如详细的网格视图或其它图表。
通过生成和显示可视化表示，例如可视化表示210和722，监视系统106提供实时、交互式应用，其中用户704可以使用基于雷达的可视化表示210在初期就注意到问题，然后用户704可以将其注意力转移到树形图可视化表示722以获得对问题来源的更好了解。这在本文中关于图8和图9进一步描述。
网络110可以包括例如诸如因特网的公共网络、诸如机构和/或个人内联网的私有网络、或私有和公共网络的某种组合。网络110还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或其任意组合。网络110可以利用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其它类型的协议。此外，网络110还可以包括促进网络通信和/或形成用于网络的硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等。
在各种示例中，监视系统106的设备可以包括一个或更多个计算设备，这些计算设备在集群或其它分组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余，或用于其它目的。例如，监视系统106的设备可以属于各种类别的设备，例如常规的服务器型设备。
设备102可以属于各种类别的设备，例如服务器型设备、台式计算机型设备、移动型设备、专用型设备、嵌入式型设备和/或可穿戴型设备。因此，设备102可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(PDA)、移动电话/平板混合设备、膝上型计算机、电信设备、可穿戴设备、虚拟现实(VR)设备、增强现实(AR)设备、汽车用计算机、支持网络的电视、终端、物联网(IoT)设备、工作站、媒体播放器、个人视频录像机(PVR)、机顶盒或任何其它类型的计算设备。
现在转到图8，图8是示出基于雷达的可视化表示210和树形图可视化表示722以及基于雷达的可视化表示210和树形图可视化表示722可以如何用于将问题定位到被监视的特定度量的图。
基于雷达的可视化表示210被配置成基于与被监视的度量708相关联地接收的数据118来绘制对象。在一种实现方式中，可以使用将高维数据投影到二维地图上的无监督人工神经网络算法来生成基于雷达的可视化表示210。在一种配置中，可以使用“自组织映射”(SOM)算法(即“Kohonen网络”)的修改版本来生成基于雷达的可视化表示210。SOM算法实现了高维数据的低维视图。例如，可以使用算法将高维数据映射为二维数据矩阵，并且然后可以将二维数据矩阵可视化为热图、表格或其它可视物。SOM算法的修改版本得到时间序列数据并且改变输出表示，使得显示对称的基于雷达的可视化表示，并且因此可以称为“自组织雷达”(SOR)算法806。
在一些实现方式中，调整SOR算法806以适应对被监视的度量的基于时间的期望。换句话说，单独的SOR算法806可以用于不同的预定时间段。例如，SOR算法806可以包括针对一年中的特定星期的每天的每个小时的调整。这得到每日和/或季节性的预期。在其它实现方式中，SOR算法806可以随时间更新以反映被监视的度量的趋势。
基于雷达的可视化表示210可以包括不同的颜色和/或阴影区域以帮助预示问题。例如，围绕中心点的基于雷达的可视化表示210的内部部分可以包括由不同颜色(例如蓝色)的阴影表示的区域808、810、812。区域808可以是较深的蓝色阴影，其指示正常活动的强信号，而区域812可以是较浅的蓝色阴影，其指示正常活动的较弱信号。区域810可以是较深阴影与较浅阴影之间的蓝色阴影。
基于雷达的可视化表示210的外部部分可以包括由另一颜色(例如红色)的不同阴影表示的区域814、816、818。区域814可以是较深的红色阴影，其指示异常活动的强信号，而区域818可以是较浅的红色阴影，其指示异常活动的较弱信号。区域816可以是较深阴影与较浅阴影之间的红色阴影。
在基于雷达的可视化表示210上绘制的对象820(例如，点)可以表示与被监视的平台104的方面相关的度量的组合。例如，度量的组合可以与“结账_完成(checkouts_completed)”类别或子类别相关，并且组合中的单独的度量可能具有不同的属性(例如，不同的位置、不同的设备、不同的支付方法)。配置基于雷达的可视化表示210以用于显示的方式能够使对象820在对象的绘制位置随时间朝向基于雷达的可视化表示210的外围移动时预示与度量的组合相关联的异常活动。例如，如果对象820从区域808中的所示位置移动至区域816中的位置，则该移动预示度量的组合内异常活动的增长。相对地，如果对象820的绘制位置保持朝向基于雷达的可视化表示210的中心(在区域808内)，则对象820的绘制位置预示与度量的组合相关联的正常活动。应当意识到，基于雷达的可视化表示210可以同时显示多于一个对象。
在一些实现方式中，对象的大小(例如，点的大小)可以随着对象通过基于雷达的可视化表示210的中心附近的区域朝向基于雷达的可视化表示210的外围附近的区域移动而增加。这由对象820位于区域808时的大小与对象移动至区域816之后的大小相比较来示出。对象的大小可以帮助确定异常活动是否由潜在的正常但不频繁的事件，例如需求高峰时段、推广或假期引起，或者可能由之前未观察到的活动引起。换言之，对象的大小可以指示对象如何根据在基于雷达的可视化表示的特定区域而增大或有所不同。增大的对象可以意味着雷达在训练时很少或从未见过这种行为。
因此，对象820的大小可以表示用于度量的组合的实时数据对于观察到的历史数据而言异常的程度。对象可能位于基于雷达的可视化表示的中心附近，然而实时度量值的一个或更多个是外来的并且在历史数据中不常见。在特定示例中，被监视的大量度量可能具有与历史观察密切匹配的正常值，但是被监视的少量度量(例如，一个、二个、三个等)可能具有不常见或以前从未观察到的实时值(例如，外来值)。在这种情况下，对象的增加的大小可以用于预示异常，因为对象的位置很可能由于对大量度量的正常观察而朝向基于雷达的可视化表示的中心绘制。
用户可以在对象开始从靠近基于雷达的可视化表示210的中心的蓝色区域808、810、812朝向靠近基于雷达的可视化表示210的外围的红色区域814、816、818移动时加以注意。因此，移动或没有移动提供了平台104的健康的指示。应当理解，在本公开内容的上下文中，基于雷达的可视化表示210可以被分割以同时显示表示不同的度量组合的多个不同对象。替选地，基于雷达的可视化表示210可以在与这些时间帧相关联的段上显示在不同时间帧处生成的对象。此外，基于雷达的可视化表示210可以被分割以示出和比较或对比同一雷达上的不同域，例如可视化表示的一半上的业务方面域与后一半上的基础设施域相比较，或者一个数据中心的健康状况与另一数据中心的健康状况相比。
树形图可视化表示804包括多个部分，并且树形图可视化表示804中的每个部分可以与特定属性824(1)-824(M)相关联，属性824(1)-824(M)用于构成被监视的度量的一个或更多个(其中M在图8的上下文中是可以是数百、数千等的正整数)。单个部分的大小和/或颜色可以用于指示特定属性824(1)-824(M)的异常活动。也就是说，随着异常活动的量的增长，部分的大小将增加并且颜色可能会变化(例如，从绿色到黄色，再到红色)。
如上所述，特定属性824(1)-824(M)可以是多个不同位置的位置，客户可以经由电子商务站点和支持平台(例如，美利坚合众国、大不列颠、澳大利亚、法国、俄罗斯、南非、巴西等)从这些不同位置购买物品，各种不同类型的设备的一种类型的设备可以由客户使用以经由电子商务站点和支持平台(例如，IPHONE，ANDROID等)购买物品，客户可以使用以经由电子商务站点和支持平台(例如，PAYPAL、信用卡等)购买物品的多种不同支付方法的支付方法，等等。
可以使用构成多智能体表决系统828的基于机器学习的智能体826(例如，数百个智能体、数千个智能体等)来生成树形图可视化表示804。在一种实现方式中，基于机器学习的智能体826可以包括与分位数损失梯度提升树(QLGBT)机器学习模型相结合的多项式回归模型。监视系统106被配置成分析被监视的度量并且确定哪些度量高度相关以在智能体826之间分布。监视系统106可以最终确定成百上千的在被监视的度量之间的相关性。例如，独立回归量可以用于确定第一度量和第二度量满足相关阈值，因此是高度相关的。如果第一度量与第二度量高度相关，则分配的智能体可以根据第一度量确信地预测用于第二度量的数据值。在更具体的示例中，历史数据值726的分析可以产生相关性，其中用于“结账_完成(checkouts_completed)”度量的数据值可以用于预测用于“结账_取消(checkouts_cancelled)”度量的数据值。在另一具体示例中，数据值的历史分析可以用于识别相关性，其中用于“结账_完成_法国(checkouts_completed_France)”度量的数据值可以用于预测用于“结账_完成_全部(checkouts_completed_overall)”度量的数据值。
给定两个高度相关的度量，智能体826生成预测模型，使得第一度量的数据值可以预测用于第二度量的数据值。可以由多个不同的智能体生成用于每组高度相关的度量的预测模型。如果存在用于特定度量的实际数据值，智能体被配置成将实际数据值与由智能体预测模型预测的数据值进行比较，该智能体预测模型与特定度量相关联地生成。然后智能体使用其自己的预测误差和/或其它外生因素例如时间因素、假期因素等来使用QLGBT生成关于误差的上分位数限制和下分位数限制(即界限)。也可以使用其它机制例如分位数损失深度神经网络(QL-DNN)来生成上限和下限。如果当与实际数据值相比时，预测数据值的误差落在置信区间之外，则智能体提供预示异常的表决。换言之，智能体的表决意味着预测用于度量的数据值的误差超出了可接受的误差范围。在各种示例中，误差是与数据的规模无关的归一化误差(例如，百分比)。在其它示例中，误差可以是绝对误差。
表决基于误差是否超出上界或下界与特定度量相关联。例如，第一相关度量可以与上界相关联并且第二相关度量可以与下界相关联。智能体可以在异常与值的减少(例如下降)相关联时使用这种方法。如果预测数据值的误差在上界外，则第一相关度量接收表决，并且因此是被表决的度量。如果预测数据值的误差在下界外，则第二相关度量接收表决，并且因此是被表决的度量。在另一示例中，第一相关度量可以与下界相关联并且第二相关度量可以与上界相关联。智能体可以在异常与值的增加(例如，猛增)相关联时使用这种方法。
一旦接收到表决，表决模块206就可以分析分配给被表决的度量的智能体，并且将问题定位于特定属性。例如，表决模块206可以检查智能体826以确定与所表决的度量共享属性(例如，诸如美利坚合众国的位置)的智能体的总数目，而不管智能体是否表决。表决模块206还确定共享相同属性(例如，诸如美利坚合众国的位置)的表决智能体。
如果基于共享属性的表决智能体的数目和共享相同属性的智能体的总数目确定的百分比大于预定的阈值百分比(例如，百分之七十与百分之九十之间的百分比)，则系统可以确定问题可能定位于该属性。在特定示例中，阈值可以被设置成百分之七十五，并且因此，如果来自使用与美利坚合众国属性有关的度量的总共一百个智能体中的八十个智能体提供预示异常的表决，则系统可以将问题定位于特定位置，即美利坚合众国。
此外，表决模块206可以使用树形图可视化表示804中的该信息以向用户示出可能存在与特定属性例如美利坚合众国相关的问题。例如，基于根据共享属性的表决智能体的数目和共享属性的智能体的总数目确定的百分比和/或基于百分比是否超过预定的阈值百分比，部分的大小可以增加和/或部分的颜色可以改变。
在图8的示例中，表示属性824(3)的部分具有增加的大小和/或不同的颜色，并且因此，属性824(3)可能与异常活动相关联。因此，用户可以选择属性824(3)以便更好地理解问题，如由830所附注的。
基于用户选择，可以使用与包括属性824(3)的度量相关联的数据来更新和/或重建基于雷达的可视化表示和树形图可视化表示二者，如由图9中的832和834所附注的。例如，如果属性824(3)与美利坚合众国有关，则由自组织雷达(SOR)算法806使用包括美利坚合众国作为属性的度量重新生成基于雷达的可视化表示。此外，更新树形图可视化表示以显示表示包括美利坚合众国作为属性的度量836(1)-836(L)(其中图9的上下文中的L是正整数)的部分。以这种方式，用户可以更深入地挖掘以查看问题所在的位置(例如，关于度量836(2)和/或836(3))。
在一些示例中，基于雷达的可视化表示上的对象在更新基于雷达的可视化表示时将不改变位置，而是重新分配背景颜色区域。然而，在其它示例中，背景颜色区域可以保持不变并且对象可以改变位置(例如，重新绘制对象)。
图10示出了基于分位数损失梯度提升树(QLGBT)模型的多智能体系统的使用，该系统可以用于生成树形图可视化表示。对于度量的每个类别(例如结帐)，确定一组高度相关的度量作为独立的回归量。对于每个相关的度量对，拟合具有多项式关系的与时间无关的广义线性模型(GLM)，如由1002所附注的。也可以使用除广义线性模型之外的模型。
使用作为目标的回归误差以及时间和外生变量，围绕预测误差拟合两个梯度提升树(GBT)模型，其示例由1004附注。一个梯度提升树(GBT)模型可以对应于上界并且另一梯度提升树(GBT)模型可以对应于下界。
在提升过程中使用分位数损失/目标函数的梯度，获得预测误差的区间。最终结果是提供关于误差的阈值的管道，该阈值是根据针对度量的预测数据值与针对度量的实际数据值相比较来计算的，如由1006所附注。该过程可以称为动态误差阈值(Dynamic ErrorThresholding)。该结果针对大量(例如，数百个)利用相关的度量对的模型获得。
单个智能体可以是相关的度量对、度量的属性、多项式回归模型以及驱动智能体的决策的相应QLGBT模型(或QL-DNN模型)的实现方式。智能体的决策目的是是否表决以及将度量对中的哪个度量表决为异常。
然后从智能体收集投票。当智能体表决时，这意味着预测针对度量的数据值的误差超出了允许的误差范围。如由1008所附注的，可以通过将共享属性的表决智能体的数目与共享该属性的智能体的总数目进行比较来定位问题。比较产生百分比，并且随着百分比的增加，将问题定位于属性的可能性也会增加。
图11A是示出用户可以如何使用基于雷达的可视化表示以查看与被监视的度量相关联的信息而不是大量图表的示例的图，其中每个图表与单独的度量相关联。附图标记1102示出了诸如站点可靠性工程师(Site Reliability Engineer)的用户通常必须查看具有大量图表的用户接口。每个图表表示被监视的单个度量，并且因此，负责监视大量度量(例如数百个)的用户发现自己当尝试识别问题时在图表和/或不同的画面之间切换。
附图标记1100以基于雷达的可视化表示210的形式示出了更有效的数据可视化方法，该数据可视化方法可以一次展示大量(例如，数百个)度量。基于雷达的可视化表示210能够通过绘制对象来告诉观察者在某个度量的集合内是否正在出现问题，其中对象的位置提供了被监视的平台的健康状况的指示。这是对常规的方法1102的大的改进，在常规的方法1102中，用户必须查看关于大量度量的大量图表。
图11B是示出用户可以如何使用操作可视化表示112以查看与被监视的度量(例如，KPI 226)相关联的信息而不是大量图表的示例的图，其中每个图表与单独的度量相关联。附图标记1106以操作可视化表示112的形式示出了更有效的数据可视化方法，该数据可视化方法可以一次展示大量(例如，数百个)度量。在所示的附图标记1106中，度量是KPI226。操作可视化表示112能够通过绘制对象告诉观察者在某个度量的集合内是否正在出现问题，其中对象的位置提供了被监视的平台的健康状况的指示。在附图标记1106和1108中，对象表示节点214。用户还可以使用更新的操作可视化表示114以查看与被监视的度量(例如，KPI 226)相关联的信息而不是大量图表，其中每个图表与单独的度量相关联。
图12和图13A至图13B是示出用于实现本文中公开的技术中的一些技术的方法1200和1300的各方面的图。本领域普通技术人员应当理解，本文中所公开的方法的操作不一定以任何特定顺序呈现，并且以替选的顺序来执行这些操作中的一些或全部操作是可行的并且可以是可以想到的。为了便于描述和说明，已经以所演示的顺序呈现了操作。在不脱离所附权利要求的范围的情况下，可以添加、省略、一起执行和/或同时执行这些操作。
还应当理解，所示出的方法可以在任何时间结束，并且不需要被整体执行。如本文中所限定的，可以通过执行包括在计算机可读存储介质上的计算机可读指令来执行方法中的一些或全部操作和/或基本等效的操作。如在说明书和权利要求书中所使用的，术语“计算机可读指令”及其变型在本文中被广泛地使用以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，所述各种系统配置包括单处理器系统或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。尽管下面描述的示例方法在计算设备上操作，但是可以理解，这些方法可以在任何计算系统上执行，该计算系统可以包括协同工作以执行本文中公开的操作多个计算设备(例如，服务器)。
因此，应当理解，本文中所描述的逻辑操作被实现为：(1)一系列计算机实现的动作或在计算系统例如本文中所描述的那些计算系统上运行的程序模块，和/或(2)计算系统内互连的机器逻辑电路或电路模块。实现方式是取决于计算系统的性能和其它需求的选择问题。因此，可以以软件、固件、专用数字逻辑及其任意组合来实现逻辑操作。
方法1200开始于操作1202，其示出了接收关于与平台相关联的被监视的多个度量的数据。例如，被监视的度量可以与平台的特定功能或过程有关，例如与客户经由电子商务站点购买物品的能力有关。在更具体的示例中，被监视的度量可以与能够登录的客户、能够结账的客户等中的一个或更多个有关。
操作1204示出了生成表示数据的第一可视化表示。如上所述，第一可视化表示可以包括基于雷达的可视化表示，基于雷达的可视化表示呈现表示多个度量的热图和对象。基于雷达的可视化表示可以基于多个度量提供平台是否健康的高级指示。也就是说，对象在基于雷达的可视化表示内的移动可以预示关于多个度量的正常活动或异常活动。另外地或替选地，对象的大小可以预示关于多个度量的正常活动或异常活动。
操作1206示出了生成表示数据的第二可视化表示。第二可视化表示可以包括树形图可视化表示，该树形图可视化表示包括第一多个部分并且第一多个部分的每个部分与用于构成多个度量中的一个或更多个度量的属性相关联。如以上示例中所描述的，属性可以与位置、设备类型、支付方法类型等有关。
操作1208示出了接收选择第一多个部分的部分的用户输入。可以提供用户输入以便帮助用户尝试将潜在问题定位于特定度量和/或特定属性。
操作1210示出了至少基于用户输入来识别关于与所选择的部分相关联的属性的多个度量的子集。
操作1212示出了更新第一可视化表示以重新呈现表示多个度量的子集的热图和对象。这个更新的第一可视化表示可以向用户提供平台是否正在经历关于多个度量的子集的异常活动的高级指示。
操作1214示出了更新第二可视化表示以包括第二多个部分。第二多个部分中的单独部分与多个度量的子集中的单独度量相关联。
切换至图13A至图13B，方法1300开始于操作1302，其示出了评估多个度量以确定第一度量与第二度量相关。因此，该评估操作可以为平台实现的特定功能或过程(例如，结账)产生一组相关的度量。
操作1304示出了生成用于第一度量和第二度量的预测模型。提供用于第一度量的实际数据值，预测模型被配置成预测用于第二度量的数据值。
操作1306示出了获得预测模型的误差。在一些示例中，可以使用外生变量来获得误差。
操作1308确定预测模型的误差的上界和下界。在一个示例中，使用分位数损失梯度提升树误差阈模型来确定上界和下界。上界可以与第一度量相关联并且下界可以与第二度量相关联。替选地，上界可以与第二度量相关联并且下界可以与第一度量相关联。
操作1310示出了在提供用于第一度量的实际数据值的条件下使用预测模型来预测用于第二度量的数据值。
操作1312示出了将用于第二度量的实际数据值与用于第二度量的预测数据值进行比较以确定差。
操作1314示出了确定差在上界或下界外。当差在上界之外时，与预测模型相关联的智能体提供预示与第一度量或第二度量相关联的异常的表决，无论第一度量或第二度量哪个与上界相关联。也就是说，智能体是表决智能体并且预示异常的度量是所表决的度量。当差在下界之外时，与预测模型相关联的智能体提供预示与第一度量或第二度量中的另一相关联的异常的表决。也就是说，智能体仍然是表决智能体，但是预示异常的另一度量是所表决的度量。在上述示例中，智能体可以提供三种可能的决策输出：对第一度量的表决、对第二度量的表决或不提供表决。
操作1316示出了显示与所表决的度量相关联的异常。例如，预示异常的表决可以用作生成基于雷达的可视化表示和/或树形图可视化表示的基础。
可以使用图13B中的以下操作来确定问题是否可能定位于所表决的度量中包括的特定属性和/或基于该确定改变显示的可视化表示。
操作1320示出了确定具有与所表决的度量共享特定属性的度量的智能体的总数目。
操作1322示出了从智能体的总数目中识别提供预示异常活动的表决的表决智能体的数目。
操作1324示出了基于表决智能体的数目和智能体的总数目生成针对特定属性的百分比。
操作1326示出了确定百分比是否超过阈值百分比(例如，百分之七十与百分之九十之间的百分比)。
操作1328示出了基于确定百分比是否超过阈值百分比来确定是否将问题定位于特定属性。例如，如果生成的百分比达到或超过阈值百分比，则问题可能与特定属性相关联。如果生成的百分比小于阈值百分比，则问题不太可能与特定属性相关联(例如，表决智能体可能已经识别出异常点实例)。
可以针对所表决的度量中包括的属性中的每个属性重复操作1320至1328，使得可以将问题定位于可能导致问题的属性。
图14是示出可以在用户接口上显示的基于雷达的可视化表示和树形图可视化表示，以及可以如何提供用户输入(例如，与基于雷达的可视化表示和/或树形图可视化表示的部分上的对象相关联的悬停输入)来查看元数据的图1400。为了便于讨论，图14再现了上面关于图9描述的内容。
如所示出的，诸如站点可靠性工程师的用户可以与基于雷达的可视化表示和/或树形图可视化表示交互以收集关于被监视的度量和/或属性的更多信息。例如，交互可以包括悬停在基于雷达的可视化表示上绘制的对象(例如，点)上的输入1402。基于输入1402，可以显示进一步描述与由对象表示的度量相关联的底层数据的元数据1404。在一个示例中，元数据1404可以识别包括来自智能体的最大百分比的表决的一个或更多个度量。因此，这些度量可能会导致被监视的平台出现问题(例如，缓慢失血异常)。在另一示例中，元数据1404可以使用数字和/或图表来揭示可能对问题有贡献的这些度量的实际实时数据(例如，在法国80％的IPHONE结账被意外地取消)。
类似地，另外的用户交互可以包括悬停在树形图可视化表示的部分824(3)上的输入1406。在该示例中，该部分表示特定度量，但是在其它示例中，该部分可以表示属性。基于输入1406，可以显示进一步描述与部分相关联的底层数据的元数据1408。同样，元数据1408可以识别包括来自智能体的最大百分比的表决的一个或更多个度量以及/或者元数据1408可以使用数字和/或图表来揭示度量或属性的实际实时数据。
图15是示出基于雷达的可视化表示210和替选的可视化表示230(例如，“旭日”可视化表示)的图1500。替选的可视化表示230可以在用户接口上而不是在图8中的树形图可视化表示上显示层次数据的表示。替选的可视化表示230的内层包括表示各个属性的上层部分232(1-N)(其中N是可以是数百、数千等的正整数)。如上所述，属性可以包括特定国家或其它当地人、特定支付方法、特定设备等。替选的可视化表示230的外层包括表示被监视的单独度量的下层部分234(1-N)(其中N是可以是数百、数千等的正整数)。外层中的部分234(1-N)包括以图表方式与部分234(1-N)连接的内层的部分232(1-N)中的属性。例如，通过部分234(11)和234(12)表示的度量包括由部分232(4)所表示的属性。
如上所述，替选的可视化表示230中的各个部分的大小和/或颜色可以用于指示特定属性和/或特定度量的异常活动。也就是说，随着异常活动的量增加，部分的大小将增加和/或颜色可能会改变。因此，基于雷达的可视化表示210和替选的可视化表示230可以用于将平台的问题定位于被监视的特定度量和/或特定属性。例如，部分232(4)、234(11)和/或234(12)的大小提供了如下可视化指示：问题可能相对于由232(4)表示的属性发生并且问题可能是特定于由部分234(11)和234(12)所表示的度量。
在一些示例中，用户接口可以包括切换输入，因此用户可以在查看如上所述的树形图可视化表示与图15中示出的替选的可视化表示1504(例如，“旭日”可视化表示)之间切换。
图16是示出图15的基于雷达的可视化表示和替选的可视化表示，以及示出最近时段的事件得分的时间线可视化表示1602的图。在当班的站点可靠性工程师正在离开并且新的站点可靠性工程师正在到达时，时间线可视化表示1602可以在移交期间提供平台的整体健康状况的良好历史表示。因此，时间线可视化表示1602绘制最近时段(例如，最近二十四小时、最近十二小时、最近六小时等)内的事件得分的曲线图。事件得分反映了对于被监视度量的预期数据中的误差。因此，如果事件得分在时段内(例如，一小时)增加，则查看时间线可视化表示1602的用户可以快速地看到问题何时发生或正在发生。
图17是示出多智能体系统可以如何用于识别可能与异常活动相关联的属性的示例的图1700。图17示出了六个预测模型1702(1-6)，其中两个相关度量中至少之一包括同一属性“X”(例如，同一属性由预测模型1702(1-6)的每个预测模型中的度量共享)。为了便于讨论，示出了六个预测模型。然而，数百或数千个预测模型可以经由本文中包含的相关度量与每个属性相关联。注意，预测模型1702(1-6)可以包括完全不同的度量或重复度量(例如，同一度量可以在大于一个预测模型1702(1-6)中使用)。
如上所述，预测模型1702(1)可以确定预测度量值中的误差在与包括属性“X”1704(1)的度量相关联的界限(例如，上界或下界)之外。类似地，预测模型1702(2)可以确定预测度量值中的误差在与包括属性“X”1704(2)的度量相关联的界限之外，预测模型1702(4)可以确定预测度量值中的误差在与包括属性“X”1704(4)的度量相关联的界限之外，并且预测模型1702(6)可以确定预测度量值中的误差在与包括属性“X”1704(6)的度量相关联的界限之外。因此，预测模型1702(1)、1702(2)、1702(4)、1702(6)以及本文中描述的误差检测机制变成表决智能体并且为属性“X”提交表决1706。表决预示与属性“X”相关联的异常活动。
然而，预测模型1702(3)产生在与包括属性“X”1704(3)的度量相关联的界限(例如，上界或下界)之内的误差。类似地，预测模型1702(5)产生在与包括属性“X”1704(5)的度量相关联的界限(例如，上界或下界)之内的误差。因此，预测模型1702(3)、1702(5)不与提供表决的智能体相关联。因此，总共六个可能的智能体中有四个智能体表决给属性“X”1708。
继续到图18，基于表决智能体的数目和共享属性“X”的智能体的总数目产生百分比1802(例如，66.6％)。将该百分比与阈值百分比1804进行比较以确定问题是否可能被定位于属性“X”。例如，如果阈值百分比是百分之五十，则多智能体表决系统确定问题可能被定位于属性“X”1806(例如，因为66.6％大于或等于50％)。如果阈值百分比为百分之七十五，则多智能体表决系统缺乏信心将问题定位于属性“X”1808(例如，因为66.6％小于75％)。
多智能体表决系统可以使用为属性“X”确定的百分比和/或百分比是否超过阈值百分比作为用于缩放树形图可视化表示中的部分的基础。例如，随着百分比的增加，表示属性“X”的部分的大小可以增加和/或改变颜色。
在各种示例中，用户反馈可以用于更新用于驱动表决的QLGBT模型和/或用于确定是否将问题定位于特定属性的阈值百分比1804。例如，用户可能在用户基于系统确定问题可能被定位于属性“X”1806而提供进一步的调查之后提供指示不存在与属性“X”相关联的问题的反馈1812(例如，假阳性)。因此，系统可以基于反馈1812增加对于特定属性(例如，属性“X”)或属性类型的阈值百分比。另外地或替选地，系统可以通过预定的因子(例如，5％、10％等)调节如何针对预测模型1702(1-6)确定界限使得减小误差的置信区间的尺寸。
在另一示例中，用户可以提供反馈1810，反馈1810指示存在与属性“X”相关联的问题并且系统未能通知用户该问题可能被定位于属性“X”1806(例如，假阴性)。因此，系统可以基于反馈1810降低对于特定属性(例如，属性“X”)或属性类型的阈值百分比。另外地或替选地，系统可以通过预定的因子(例如，5％、10％等)调节如何针对预测模型1702(1-6)确定界限使得扩大误差的置信区间的大小。
多个智能体并行协作的系统变得高度可定制，其能够实现持续改进和在线学习。这种持续改进的一个示例是可以为不同的表决智能体分配不同的权重，这些权重可以基于用户反馈随时间更新。这种持续改进的另一示例是：代替使用权重，可以将表决智能体的上界和下界乘以松弛因子以限制或增加其警报频率。另外地，用户可以决定选择表决智能体的一个或更多个以及将它们完全从系统中移除，或者用新的、单独训练的表决智能体替换它们。例如，这可以实现以将新添加的度量包括到系统中，而无需重置整个系统的训练和部署。
图19是示出用于实现本文中公开的技术中的一些的方法1900的各方面的图。本领域普通技术人员应当理解，本文中所公开的方法的操作不一定以任何特定顺序呈现，并且以替选的顺序来执行这些操作中的一些或全部是可行的并且可以是可以想到的。为了便于描述和说明，已经以所演示的顺序呈现了操作。在不脱离所附权利要求的范围的情况下，可以添加、省略、一起执行和/或同时执行这些操作。
还应当理解，所示出的方法可以在任何时间结束，并且不需要完全执行。如本文中所限定的，可以通过执行包括在计算机可读存储介质上的计算机可读指令来执行方法中的一些或全部操作和/或基本等效的操作。如在说明书和权利要求书中所使用的，术语“计算机可读指令”及其变型在本文中被广泛地使用以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，所述各种系统配置包括单处理器系统或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。尽管下面描述的示例方法在计算设备上操作，但是可以理解，这些方法可以在任何计算系统上执行，该计算系统可以包括协同工作以执行本文中公开的操作多个计算设备(例如，服务器)。
因此，应当理解，本文中所描述的逻辑操作被实现为：(1)一系列计算机实现的动作或在计算系统例如本文中所描述的那些计算系统上运行的程序模块，和/或(2)计算系统内互连的机器逻辑电路或电路模块。实现方式是取决于计算系统的性能和其它需求的选择问题。因此，可以以软件、固件、专用数字逻辑及其任意组合来实现逻辑操作。
方法1900开始于操作1902，其示出了接收与与平台相关联的被监视的多个度量相关联的数据。例如，被监视的度量可以与平台的特定功能或过程有关，例如与客户经由电子商务站点购买物品的能力有关。在更具体的示例中，被监视的度量可以与能够登录的客户、能够结账的客户等中的一个或更多个有关。
操作1904示出了生成表示数据的第一可视化表示。如上所述，第一可视化表示可以包括呈现表示多个度量的热图和对象的基于雷达的可视化表示。基于雷达的可视化表示可以基于多个度量提供平台是否健康的高级指示。也就是说，对象在基于雷达的可视化表示内的移动可以预示关于多个度量的正常活动或异常活动。另外地或替选地，对象的大小可以预示关于多个度量的正常活动或异常活动。
操作1906示出了生成表示数据的第二可视化表示。第二可视化表示可以包括树形图可视化表示，该树形图可视化表示包括第一多个部分并且第一多个部分的每个部分与用于构成多个度量中的一个或更多个度量的属性相关联。如以上示例中所描述的，属性可以与位置、设备类型、支付方法类型等有关。
操作1908示出了接收选择第一多个部分的部分的用户输入。可以提供用户输入以便帮助用户尝试将潜在问题定位于特定度量和/或特定属性。
操作1910示出了至少基于用户输入来识别关于与所选择的部分相关联的属性的多个度量的子集。
操作1912示出了更新第一可视化表示以重新呈现表示多个度量的子集的热图和对象。这个更新的第一可视化表示可以向用户提供平台是否正在经历关于多个度量的子集的异常活动的高级指示。
操作1914示出了更新第二可视化表示以包括第二多个部分。第二多个部分中的各个部分与多个度量的子集中的单独度量相关联。
图20示出了用于能够提供本文中描述的功能的计算机的示例计算机架构，计算机诸如是例如被配置成实现上面参照图1至图19描述的功能的计算设备。因此，图20中示出的计算机架构2000示出了适合于实现本文中所描述的功能的服务器计算机或另一类型的计算设备的架构。计算机架构2000可以被用来执行本文中所呈现的各种软件部件以实现所公开的技术。
图20中示出的计算机架构700包括：中央处理单元2002(“CPU”)；系统存储器2004，其包括随机存取存储器2006(“RAM”)和只读存储器(“ROM”)708；以及将存储器2004耦接至CPU 2002的系统总线2010。在ROM 2008中存储有包含诸如在启动期间帮助在计算机架构700内的元件之间传递信息的基本例程的固件。计算机架构2000还包括大容量存储装置2012，用于存储操作系统2014、其它数据以及一个或更多个可执行程序，包括例如SOR模块204/或表决模块206。
大容量存储装置2012通过连接至总线2010的大容量存储器控制器(未示出)连接至CPU 2002。大容量存储装置2012及其相关联的计算机可读介质为计算机架构2000提供非易失性存储。虽然本文中包含的计算机可读介质的描述是指诸如固态驱动器、硬盘或光学驱动器的大容量存储装置，但是本领域技术人员应当理解，计算机可读介质可以是可以由计算机架构2000访问的任何可用的计算机存储介质或通信介质。
通信介质包括：计算机可读指令、数据结构、程序模块、或诸如载波或其它传输机制的调制数据信号中的其它数据，并且包括任何传送介质。术语“调制数据信号”是指以关于在信号中编码信息的方式使该信号的特性中的一个或更多个被改变或被设置的信号。作为示例而非限制，通信介质包括：有线介质例如有线网络或直接有线连接；以及无线介质例如声学、射频、红外和其它无线介质。上述的任何组合也应当被包括在计算机可读介质的范围内。
作为示例而非限制，计算机可读存储介质可以包括以任何方法或技术实现的用于存储信息例如计算机可读指令、数据结构、程序模块或其它数据的易失性和非易失性、可移除和不可移除的介质。例如，计算机介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、数字多功能盘(“DVD”)、HD-DVD、BLU-RAY或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储装置，或可以用于存储所期望的信息并且可以由计算机架构700访问的任何其它介质。出于权利要求的目的，短语“计算机存储介质”、“计算机可读存储介质”以及其变型本身不包括波、信号和/或其它暂态和/或无形通信介质。
根据各种实现方式，计算机架构700可以使用通过网络2050与远程计算机的逻辑连接在联网环境中进行操作。实现计算机架构2000的计算设备可以通过连接至总线2010的网络接口单元2016连接至网络2050。应当理解，网络接口单元2016也可以用于连接至其它类型的网络和远程计算机系统。
计算机架构2000还可以包括用于接收和处理来自若干其它设备的输入的输入/输出控制器2018，若干其它设备包括键盘、鼠标或电子笔。类似地，输入/输出控制器2018可以向显示屏、打印机或其它类型的输出设备提供输出。
应当理解，本文中描述的软件部件在被加载至CPU 2002中并被执行时，可以将CPU2002和整个计算机架构2000从通用计算系统转换为被定制成促进本文中呈现的功能的专用计算系统。CPU 2002可以由任意数目的晶体管或其它分立电路元件构成，晶体管或其它分立电路元件可以单独地或共同地假定任意数目的状态。更具体地，CPU 2002可以响应于包含在本文中所公开的软件模块内的可执行指令而操作为有限状态机。这些计算机可执行指令可以通过指定CPU 2002如何在状态之间转变来对CPU2002进行转换，从而对构成CPU2002的晶体管或其它分立硬件元件进行转换。
对本文中呈现的软件模块进行编码还可以对本文中呈现的计算机可读介质的物理结构进行转换。在本描述的不同实现方式中，物理结构的具体转换可能取决于各种因素。这样的因素的示例可以包括但不限于用于实现计算机可读介质的技术、计算机可读介质是以主存储装置还是辅助存储装置为特征等。如果计算机可读介质被实现为基于半导体的存储器，则本文中所公开的软件可以通过对半导体存储器的物理状态进行转换而被编码在计算机可读介质上。例如，该软件可以对构成半导体存储器的晶体管、电容器或其它分立电路元件的状态进行转换。该软件还可以对这样的部件的物理状态进行转换，以便在其上存储数据。
作为另一示例，可以使用磁性或光学技术来实现本文公开的计算机可读介质。在这样的实现方式中，本文中呈现的软件可以在该软件被编码在磁介质或光学介质中时对磁介质或光学介质的物理状态进行转换。这些转换可以包括改变给定磁性介质内位置的磁性特征。这些转换还可以包括改变给定光学介质内位置的物理特性或特征，以改变这些位置的光学特征。在不脱离本说明书的范围和精神的情况下，物理介质的其它转换是可以的，其中提供前述示例仅是为了便于该讨论。
鉴于上述内容，应当理解，许多类型的物理转换发生在计算机架构700中，以便存储和执行本文中呈现的软件组件。还应当理解，计算机架构2000可以包括其它类型的计算设备，包括手持式计算机、嵌入式计算机系统、个人数字助理和本领域技术人员已知的其它类型的计算设备。
还想到的是，计算机架构2000可以不包括图20中示出的所有部件，可以包括未在图1或图7中明确示出的其它部件，或者可以利用与图20中示出的架构完全不同的架构。例如并且不限于此，本文中公开的技术可以与用于通过并行化来改进性能的多个CPU、用于较快计算的图形处理单元(“GPU”)和/或张量处理单元(“TPU”)一起使用。如本文中使用的术语“处理器”包含CPU、GPU、TPU以及其它类型的处理器。
本文中呈现的本公开内容还包含以下条款中阐述的主题。
示例条款A，一种方法，包括：确定第一度量与第二度量相关；通过一个或更多个设备生成用于与第二度量相关的第一度量的预测模型；获得预测模型的误差；确定预测模型的误差的上界和下界；使用预测模型以根据用于第一度量的实际数据值来预测用于第二度量的数据值；将用于第二度量的实际数据值与用于第二度量的预测数据值进行比较以确定差；确定差在上界或下界之外，从而使表决智能体预示与所表决的度量相关联的异常；以及显示与所表决的度量相关联的异常。
示例条款B，根据示例条款A所述的方法，还包括：确定与所表决的度量共享属性的智能体的总数目；确定智能体的总数目中的表决智能体的数目；基于表决智能体的数目和智能体的总数目生成针对属性的百分比；确定该百分比大于或等于阈值百分比；以及基于百分比大于或等于阈值百分比确定与异常相关联的问题被定位于属性。
示例条款C，根据示例条款B所述的方法，其中，该属性包括特定位置、设备类型或支付方法类型之一。
示例条款D，根据示例条款B所述的方法，其中，该属性与由电子商务站点的用户正在出售的物品的列表有关。
示例条款E，根据示例条款A所述的方法，还包括：确定与所表决的度量共享属性的智能体的总数目；确定智能体的总数目中的表决智能体的数目；基于表决智能体的数目和智能体的总数目生成针对属性的百分比；确定该百分比小于阈值百分比；以及基于百分比小于阈值百分比确定与异常相关联的问题不被定位于属性。
示例条款F，根据示例条款A至E中任一项所述的方法，其中：使用第一分位数损失梯度提升树(QLGBT)误差阈值模型来确定预测模型的误差的上界；以及使用第二QLGBT误差阈值模型来确定预测模型的误差的下界。
示例条款G，根据示例条款F所述的方法，还包括：将第一QLGBT误差阈值模型或第二QLGBT误差阈值模型中之一分类为表决智能体，该表决智能体预示与所表决的度量相关联的异常。
示例条款H，根据示例条款A至G中任一项所述的方法，还包括：评估多个度量以确定第一度量与第二度量相关。
示例条款I，一种系统，包括：一个或更多个处理单元；以及存储指令的计算机可读存储介质，所述指令在由一个或更多个处理单元执行时使系统执行操作，该操作包括：确定第一度量与第二度量相关；生成用于与第二度量相关的第一度量的预测模型；获得预测模型的误差；确定预测模型的误差的上界和下界；使用预测模型以根据用于第一度量的实际数据值来预测用于第二度量的数据值；将用于第二度量的实际数据值与用于第二度量的预测数据值进行比较以确定差；确定差在上界或下界之外，从而使表决智能体预示与所表决的度量相关联的异常；以及显示与所表决的度量相关联的异常。
示例条款J，根据示例条款I所述的系统，其中，该操作还包括：确定与所表决的度量共享属性的智能体的总数目；确定智能体的总数目中的表决智能体的数目；基于表决智能体的数目和智能体的总数目生成针对属性的百分比；确定该百分比大于或等于阈值百分比；以及基于百分比大于或等于阈值百分比确定与异常相关联的问题被定位于属性。
示例条款K，根据示例条款J所述的系统，其中，该属性包括特定位置、设备类型或支付方法类型之一。
示例条款L，根据示例条款J所述的系统，其中，该属性与由电子商务站点的用户正在出售的物品的列表有关。
示例条款M，根据示例条款I所述的系统，其中，该操作还包括：确定与所表决的度量共享属性的智能体的总数目；确定智能体的总数目中的表决智能体的数目；基于表决智能体的数目和智能体的总数目生成针对属性的百分比；确定该百分比小于阈值百分比；以及基于百分比小于阈值百分比确定与异常相关联的问题不被定位于属性。
示例条款N，根据示例条款I至M中任一项所述的系统，其中：第一分位数损失梯度提升树(QLGBT)误差阈值模型用于确定预测模型的误差的上界；以及第二QLGBT误差阈值模型用于确定预测模型的误差的下界。
示例条款O，根据示例条款N所述的系统，其中，该操作还包括：将第一QLGBT误差阈值模型或第二QLGBT误差阈值模型中之一分类为表决智能体，该表决智能体预示与所表决的度量相关联的异常。
示例条款P，根据示例条款I至O中任一项所述的系统，还包括：评估多个度量以确定第一度量与第二度量相关。
示例条款Q，一种包括指令的计算机可读存储介质，所述指令在由一个或更多个处理单元执行时使系统执行操作，该操作包括：确定第一度量与第二度量相关；生成用于与第二度量相关的第一度量的预测模型；获得预测模型的误差；确定预测模型的误差的上界和下界；使用预测模型以根据用于第一度量的实际数据值来预测用于第二度量的数据值；将用于第二度量的实际数据值与用于第二度量的预测数据值进行比较以确定差；确定差在上界或下界之外，从而使表决智能体预示与所表决的度量相关联的异常；以及显示与所表决的度量相关联的异常。
示例条款R，根据示例条款Q所述的计算机可读存储介质，其中，该操作还包括：确定与所表决的度量共享属性的智能体的总数目；确定智能体的总数目中的表决智能体的数目；基于表决智能体的数目和智能体的总数目生成针对属性的百分比；确定该百分比大于或等于阈值百分比；以及基于百分比大于或等于阈值百分比确定与异常相关联的问题被定位于属性。
示例条款S，根据示例条款R所述的计算机可读存储介质，其中，该属性包括特定位置、设备类型或支付方法类型中之一。
示例条款T，根据示例条款Q至S中任一项所述的计算机可读存储介质，其中：第一分位数损失梯度提升树(QLGBT)误差阈值模型用于确定预测模型的误差的上界；第二QLGBT误差阈值模型用于确定预测模型的误差的下界；并且该操作还包括将第一QLGBT误差阈值模型或第二QLGBT误差阈值模型中之一分类为预示与所表决的度量相关联的异常的表决智能体。
在描述本技术的上下文中(特别是在所附权利要求书的上下文中)，除非在本文中另有指示或与上下文明显矛盾，否则术语“一”、“一个”、“该”以及类似的修饰词应被解释为覆盖单数和复数二者。除非另有说明或与上下文明显矛盾，否则术语“基于”、“根据”和类似的指示物应被解释为是指包括“部分基于”和“全部基于”的“至少部分基于”。
应当理解的是，在发明内容和/或具体实施方式中对“第一”、“第二”等要素的任何引用并不旨在并且也不应被解释为必然对应于权利要求书的“第一”、“第二”等要素的任何引用。确切地说，在发明内容、具体实施方式和/或权利要求书内对“第一”和“第二”的任何使用可以用于分清同一要素的两个不同实例(例如，两个不同的度量、两个不同的可视化表示等)。
应当理解的是除非另有明确说明，否则本文中使用的条件性语言，例如其中的“可以”、“能够”、“也许”或“可能”在上下文中被理解为呈现某些示例包括某些特征、要素和/或步骤而其它示例不包括某些特征、要素和/或步骤。因此，这样的条件语言通常不旨在暗示：一个或更多个示例以任何方式需要特征、要素和/或步骤，或者一个或更多个示例必须包括用于在有或没有用户输入或提示的情况下决定某些特征、要素和/或步骤是否被包括在任何特定示例中或者要在任何特定示例中被执行的逻辑。除非另有明确说明，否则诸如短语“X、Y或Z中的至少一个”的连接性语言应被理解为表示可以是X、Y或Z或其组合的要素。
还应当理解的是，可以对上述示例进行许多变型和修改，其中的要素应理解为在其它可接受的示例中。所有这样的修改和变型在本文中都旨在被包括在本公开内容的范围内并且受所述权利要求保护。
最后，虽然已经用特定于结构特征和/或方法动作的语言描述了各种配置，但是应当理解，在所附陈述中限定的主题不一定限于所描述的特定特征或动作。而是，特定特征和动作是作为实现所要求保护的主题的示例形式公开的。虽然已经参考具体示例实现方式描述了本发明主题，但是将明显的是，可以在不背离本发明的更广泛范围的情况下对这些实现方式做出各种修改和改变。因此，说明书和附图应被视为说明性意义而不是限制性意义。形成本文的一部分的附图以图示的方式，并且非限制性地示出了可以实践主题的具体实现方式。足够详细地描述了所示的实现方式，以使本领域技术人员能够实践本文中公开的教导。可以利用并且由此得到其它实现方式，使得可以在不背离本公开内容的范围的情况下做出结构性和逻辑性替换和改变。因此，具体实施方式不以限制性意义理解，并且各种实现方式的范围仅由所附权利要求连同这样的权利要求所具有的等同物的全部范围来限定。
仅仅为了方便，可以在本文中通过术语“发明”单独地和/或共同地引用本发明主题的实现方式，并且如果事实上公开了不止一个发明或发明构思，则并不旨在自愿地将本申请的范围限制为任何单个发明或发明构思。因此，虽然已经在本文中示出和描述了具体实现方式，但是应当理解，可以用被计算以实现相同目的的任何布置来替换所示出的具体实现方式。本公开内容旨在涵盖各种实现方式的任何以及全部调整或变型。对于本领域技术人员而言，在查阅上述描述时，上述实现方式以及本文中未具体描述的其它实现方式的组合将是明显的。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求中限定的发明不一定限于所描述的特定特征或动作。而是，特定特征和动作作为实现所要求保护的发明的示例形式被公开。

Claims (20)

1.一种由计算设备实现的方法，所述方法包括：
由所述计算设备接收描述在线平台的操作的数据，所述数据包括自动且无用户干预地监视的多个度量；
由所述计算设备生成表示所述数据的操作可视化表示，所述操作可视化表示包括基于雷达的可视化表示，所述基于雷达的可视化表示包括布置所述多个度量的热图和表示所述多个度量的初始状态的节点；
由所述计算设备呈现所述操作可视化表示；
由所述计算设备接收选择未来时间点的用户输入；
由所述计算设备至少基于所述用户输入生成在所述未来时间点对于所述多个度量中的一个或更多个度量的所述在线平台的预测未来状态的预测数据；
由所述计算设备基于所述预测数据更新所述操作可视化表示，以表示所述在线平台的所述预测未来状态；以及
由所述计算设备呈现更新后的所述操作可视化表示。
2.根据权利要求1所述的方法，其中，经由交互式滑块接收所述用户输入。
3.根据权利要求1所述的方法，其中，所述操作可视化表示包括替选的可视化表示，所述替选的可视化表示包括多个部分并且所述多个部分中的每个部分与KPI相关联，其中，所述多个部分中的所述每个部分被动态地着色以指示关于所述KPI的性能，以及在接收到所述用户输入时实时动态地改变颜色。
4.根据权利要求1所述的方法，其中，所述多个度量表示关键性能指标KPI。
5.根据权利要求4所述的方法，还包括：
由所述计算设备接收用户对被选择节点的选择；以及
由所述计算设备呈现网络图，所述网络图叠加在所述操作可视化表示上以使所述被选择节点的KPI值与所述被选择节点的其它KPI值之间的关系的表示可视化。
6.根据权利要求1所述的方法，其中，所述操作可视化表示包括树形图可视化表示，所述树形图可视化表示包括多个部分并且所述多个部分中的每个部分与用于构成所述多个度量中的一个或更多个度量的属性相关联。
7.根据权利要求6所述的方法，其中，所述多个部分中的一个部分的大小或颜色中至少之一指示与这一部分相关联的属性的异常活动的量。
8.根据权利要求1所述的方法，其中，基于雷达的可视化表示上的所述节点的位置在所述节点的位置随时间从所述基于雷达的可视化表示的中心区域朝向所述基于雷达的可视化表示的外围区域移动时预示与所述多个度量相关联的异常活动。
9.根据权利要求1所述的方法，其中，基于雷达的可视化表示上的所述节点的位置在所述节点的位置随时间保持在所述基于雷达的可视化表示的一组中心区域内时预示与所述多个度量相关联的正常活动。
10.一种系统，包括：
至少部分地在计算设备的硬件中实现的数据管理器模块，所述数据管理器模块接收描述在线平台的操作的数据，所述数据包括自动且无用户干预地监视的多个度量；
至少部分地在计算设备的硬件中实现的可视化表示管理器模块，所述可视化表示管理器模块生成表示所述数据的操作可视化表示，所述操作可视化表示包括基于雷达的可视化表示，所述基于雷达的可视化表示包括布置所述多个度量的热图和表示所述多个度量的初始状态的节点；
至少部分地在计算设备的硬件中实现的可视化表示呈现模块，所述可视化表示呈现模块呈现所述操作可视化表示；
至少部分地在计算设备的硬件中实现的用户接口模块，所述用户接口模块接收选择应用于所述操作可视化表示的模拟设置的用户输入；
至少部分地在计算设备的硬件中实现的模拟管理器模块，所述模拟管理器模块至少基于所述用户输入生成在所选择的所述模拟设置下对于所述多个度量中的一个或更多个度量的所述在线平台的模拟状态的模拟数据；
至少部分地在计算设备的硬件中实现的可视化表示更新器模块，所述可视化表示更新器模块基于所述模拟数据更新所述操作可视化表示以表示所述在线平台的所述模拟状态；以及
至少部分地在计算设备的硬件中实现的可视化表示重新呈现模块，所述可视化表示重新呈现模块呈现更新后的所述操作可视化表示。
11.根据权利要求10所述的系统，其中，使用将高维数据投影到二维地图上的无监督人工神经网络算法生成所述操作可视化表示。
12.根据权利要求11所述的系统，其中，所述无监督人工神经网络算法包括自组织映射SOM算法，所述自组织映射SOM算法得到时间序列数据并且改变输出表示，使得显示对称的基于雷达的可视化表示。
13.根据权利要求10所述的系统，其中，所述用户输入是识别的手势或发音。
14.根据权利要求10所述的系统，其中，所述模拟设置是流量模拟设置。
15.根据权利要求10所述的系统，其中，所述模拟设置是未来时间点。
16.一种包括指令的计算机可读存储介质，所述指令在由一个或更多个处理单元执行时使系统执行操作，所述操作包括：
接收描述在线平台的操作的数据，所述数据包括自动且无用户干预地监视的多个度量；
生成表示所述数据的操作可视化表示，所述操作可视化表示包括基于雷达的可视化表示，所述基于雷达的可视化表示包括布置所述多个度量的热图和表示所述多个度量的初始状态的节点；
呈现所述操作可视化表示；
接收选择应用于所述操作可视化表示的模拟设置的用户输入；
至少基于所述用户输入生成在所选择的所述模拟设置下对于所述多个度量中的一个或更多个度量的所述在线平台的模拟状态的模拟数据；
基于所述模拟数据更新所述操作可视化表示以表示所述在线平台的所述模拟状态；以及
呈现更新后的所述操作可视化表示。
17.根据权利要求16所述的计算机可读存储介质，其中，所述多个度量表示多个系统的关键性能指标KPI。
18.根据权利要求16所述的计算机可读存储介质，其中，所述操作可视化表示至少部分地通过使用基于分位数损失梯度提升树QLGBT机器学习模型的智能体的多智能体表决系统生成。
19.根据权利要求16所述的计算机可读存储介质，其中，所述操作可视化表示包括多个部分并且所述多个部分的每个部分与用于构成所述多个度量中的一个或更多个度量的KPI相关联。
20.根据权利要求19所述的计算机可读存储介质，其中，所述多个部分中的一个部分的大小或颜色中至少之一指示与这一部分相关联的属性的异常活动的量。
CN202210231210.6A 2021-04-12 2022-03-09 用于跨多个kpi的高维数据集的基于机器学习的交互式可视化监视工具 Pending CN115204440A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/228,235 2021-04-12
US17/228,235 US11385782B2 (en) 2019-09-06 2021-04-12 Machine learning-based interactive visual monitoring tool for high dimensional data sets across multiple KPIs

Publications (1)

Publication Number Publication Date
CN115204440A true CN115204440A (zh) 2022-10-18

Family

ID=81074210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231210.6A Pending CN115204440A (zh) 2021-04-12 2022-03-09 用于跨多个kpi的高维数据集的基于机器学习的交互式可视化监视工具

Country Status (3)

Country Link
EP (1) EP4075297A1 (zh)
KR (1) KR20220141220A (zh)
CN (1) CN115204440A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11782780B2 (en) * 2021-12-17 2023-10-10 Bank Of America Corporation Automatic remediation of failures within a computational environment using independent execution units

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437022B2 (en) * 2014-01-27 2016-09-06 Splunk Inc. Time-based visualization of the number of events having various values for a field
RU2724716C1 (ru) * 2018-12-28 2020-06-25 Акционерное общество "Лаборатория Касперского" Система и способ формирования данных для мониторинга кибер-физической системы с целью раннего определения аномалий в системе графического интерфейса пользователя
US20210073658A1 (en) * 2019-09-06 2021-03-11 Ebay Inc. Anomaly detection by correlated metrics

Also Published As

Publication number Publication date
EP4075297A1 (en) 2022-10-19
KR20220141220A (ko) 2022-10-19

Similar Documents

Publication Publication Date Title
US11593682B2 (en) Visualization of high-dimensional data
US10636007B2 (en) Method and system for data-based optimization of performance indicators in process and manufacturing industries
US11385782B2 (en) Machine learning-based interactive visual monitoring tool for high dimensional data sets across multiple KPIs
US20230114754A1 (en) Systems and methods for interfaces to a supply chain management system
US10459827B1 (en) Machine-learning based anomaly detection for heterogenous data sources
Zheng et al. Federated machine learning for privacy preserving, collective supply chain risk prediction
US20230401141A1 (en) Application state prediction using component state
US11436617B2 (en) Behavior pattern search system and behavior pattern search method
US20150339415A1 (en) System and method for creating a simulation model via crowdsourcing
US20200090088A1 (en) Enterprise health control processor engine
AU2017427586A1 (en) Interactive model performance monitoring
CN115204440A (zh) 用于跨多个kpi的高维数据集的基于机器学习的交互式可视化监视工具
US20220207445A1 (en) Systems and methods for dynamic relationship management and resource allocation
JP7466479B2 (ja) 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体
US20230214100A1 (en) Systems for Generating Sequential Supporting Answer Reports
US20210158179A1 (en) Dynamic recommendation system for correlated metrics and key performance indicators
US20230409460A1 (en) System and method for optimizing performance of a process
WO2023049280A1 (en) Systems and methods to screen a predictive model for risks of the predictive model
CN115033891A (zh) 漏洞评估方法及装置、存储介质、电子设备
de Carvalho et al. Dynamic threshold modelling and the US business cycle
KR20210128835A (ko) 인공신경망을 이용한 창업 기업의 분석 방법 및 장치
US20200342302A1 (en) Cognitive forecasting
US20190188580A1 (en) System and method for augmented media intelligence
US20180232463A1 (en) Dynamic application landscape processing system
Herrmann et al. Unmasking overestimation: a re-evaluation of deep anomaly detection in spacecraft telemetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination