CN105765579A - 数据遥测 - Google Patents

数据遥测 Download PDF

Info

Publication number
CN105765579A
CN105765579A CN201480064562.0A CN201480064562A CN105765579A CN 105765579 A CN105765579 A CN 105765579A CN 201480064562 A CN201480064562 A CN 201480064562A CN 105765579 A CN105765579 A CN 105765579A
Authority
CN
China
Prior art keywords
data
remote measurement
assembly
information
telemetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480064562.0A
Other languages
English (en)
Inventor
Z·刘
C-C·B·麦克
J·何
L·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105765579A publication Critical patent/CN105765579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

各实施例针对一种统一的且可扩展的遥测方法，以及一种针对系统的数据活动的数据遥测模型使用遥测分析对使用所述遥测数据模型收集的信息进行分析，通过对单一事件和这些事件之间的后续线性关系以及各数据活动之间更一般化的网络化的多维关系的分析，来获得关于数据活动的洞察。这样的分析可为系统所有者提供洞察以便理解过去的数据活动、最优化当前的数据活动、以及预测未来的数据活动需求和要求。

Description

数据遥测
背景
存在许多允许开发者对诸如非预期事件和故障之类的服务器或应用行为进行故障排查与调试的日志应用可供使用。这些日志应用通常被设计用于记录系统上的程序动作以及和与其他各方的交互。现有的日志应用通常不被设计用于跟踪对数据的影响以及对数据上的程序动作之间的依赖关系的影响。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
各实施例针对一种供系统的所有组件使用的统一的且可扩展的遥测数据模型。使用遥测分析工具对用遥测数据模型收集的信息进行分析，通过对单一事件和这些事件之间的后续线性关系以及数据活动之间更一般化的网络化的多维关系的分析，来从数据活动获得洞察。这样的分析可为系统所有者提供洞察以便理解过去的数据活动，最优化当前的数据活动，以及预测未来的数据活动需求和要求。
附图
为了进一步阐明本发明的各实施例的以上和其他优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。本发明将通过使用附图用附加特征和细节来描述和解释，附图中：
图1是例示出在系统中一用户与多个组件之间的关系的框图。
图2是例示出在具有多个组件的系统中数据收集流程的一个示例的框图。
图3是例示出用于监视系统中的数据活动的方法的示例的流程图。
图4例示出用于监视系统中的数据活动的合适的计算和联网环境的示例。
详细描述
系统所有者和管理者可能对最终用户在具有大量组件的大型系统中如何访问和使用数据感兴趣。使用现有的日志应用无法获得反映出关于在整个系统上进行的数据访问和使用的用户行为的遥测数据。各实施例提供了从大型系统的不同组件有效且高效地收集遥测数据的系统和方法。通过从每个组件收集有意义的和可扩展的信息，系统管理者可以分析所收集的数据，以获得针对关于数据如何被访问和使用的用户行为的洞察。
一种统一的遥测收集架构可被用于具有许多组件的大型系统。遥测数据是使用可被应用于每个组件的可扩展数据模型来被收集的。基于该数据模型的一组分析被使用，以便为系统管理者提供洞察以便分析过去的数据的使用和访问，最优化当前的数据使用与访问，以及预测未来的使用和访问需求。
各实施例定义并收集与相关数据活动和关联关系有关的适当的日志。在数据收集期间使用完善定义的遥测数据模型，不仅允许对单一事件和数据活动进行分析，而且允许对个体活动的后续线性关系以及活动的多维网络进行分析。
表格1是在一个实施例中使用的示例遥测数据模型。
表1
一列数据是用表一中所示的字段从用户收集的。Id字段为每个数据事务提供唯一标示符。TrackingId字段用于将来自多个事件的遥测数据相关。TrackingId可以是例如会话标示符。UserType字段标识用户类型，诸如最终用户或服务器。UserInfo字段保存用户或服务器相关信息，诸如举例来说标示符、账号、或组号。DateTime字段是时间戳，诸如使用ISO-8601格式。
EventName字段是操作名，诸如HTTPURL或方法名。EventType字段标识事件是请求还是响应。EventCategory字段标识事件类别，诸如读、创建、更新或删除。EventChannel字段标识所用的信道，诸如HTTP、HTTPS、TCP、UDP或方法调用。EventSource字段列出用于生成事件的组件名。EventTarget字段列出事件的目标组件。
EventResult字段指示出事件是成功的还是失败的。EventResult字段可包括例如HTTP状态码。EventResultDetail字段提供结果的详细描述，诸如根源错误原因。EventResultSize字段指示出响应大小长度，诸如千字节数。
InputDataInfo字段可被用于输入数据实体信息，诸如数据实体名和数据实体位置。OutputDataInfo字段可被用于输出数据实体信息，诸如数据实体名和数据实体位置。数据实体名和数据实体位置可由冒号分隔开(例如“Weather:HBase”)，而多个数据实体可由竖线(pipe)分隔开(例如“Weather:HBase|AQI:HBase”)。
EventCustomDetails字段可包括包含自定义业务相关事件详细信息的键值对。
将理解，表1中例示出的遥测数据模型仅仅是一示例，且不旨在限制可被收集的遥测信息的量和类型。
完善定义的数据遥测模型收集关于以下的信息：谁调用了数据、数据何时被调用、从何处调用数据、使用什么查询调用数据、数据如何被访问等等。数据模型不仅仅针对单一事件和个体数据活动收集信息，也针对这些活动之间的后续线性关系以及多维网络活动收集信息。
图1是例示出在系统中一用户和多个组件之间的关系的框图。用户101从组件A102调用数据。数据模型捕获与作为一个事件的该数据调用相关联的信息。组件A102可从组件B103和/或从组件C104调用信息。组件B103和组件C104也可直接进行交互。数据模型还捕获与这些事件相关联的信息，并例如使用相应的组件标识符来标识它们。组件102－104可以是服务器、数据库、终端、或者是系统中的任何其他节点。
使用由数据模型捕获的信息，能够分析与某一用户或组件相关联的个体或点事件。两个组件之间或一用户与一组件之间的直线关系可被分析。例如，组件A102可多次从组件B103调用数据，并且使用在一系列事件上收集的全部数据模型信息可分析该关系。此外，在所述系统中多个组件之间的表面关系也可被分析。例如，如果组件A102从组件B103调用数据，而后者接着从组件C104调用数据，则该多维关系可被分析，而组件A102和组件C104之间的间接连接可被研究。
图2是例示出在具有多个组件201-203的系统中数据收集流程的一个示例的框图。每一个组件201-203在它们的代码中使用客户端库204-206来基于预定义的数据模型提供遥测数据，诸如表1中所示的示例。每个组件上的客户端库针对该数据模型收集信息，并然后异步地将信息发送到集中式总线207。
数据摄取代理208从总线207接收信息，并分派数据以便存储在基于列的存储209(诸如Hbase表)中。基于列的存储209被映射到数据仓库基础结构210，诸如Hive表。
分析和报告生成工具利用存储在Hive表210中的数据。链接了SQL的服务器211使用开放数据库连接性(ODBC)API连接至Hive表210。SQL服务器报表服务(SSRS)212提供了用于基于数据模型信息创建、部署和管理报表的工具和服务。系统管理者可以自定义SSRS报表服务的报表功能，以便为各种各样的数据源(诸如组件201-203)提供全面的报表功能。此外，SQL服务器分析服务(SSAS)213可被用于递送在线分析处理(OLAP)和数据挖掘功能用于商业智能应用。例如，利用SSAS，系统管理者可以设计、创建和管理多维结构，所述多维结构包含从其他数据源(诸如组件201-203)聚集的数据。对于数据挖掘应用，SSAS213可被系统管理者使用以便使用工业标准数据挖掘算法来设计、创建和可视化数据挖掘模型。
系统管理者可使用分析仪表板214或自服务商业智能接口以任何适当的查看格式(诸如表格、图形或自由形式报表)接收报表。
使用用所述数据模型从系统组件收集到的数据，所述分析工具可执行传统的性能和安全分析，诸如测量系统中的成功率、响应时间和数据量。
更重要的是，使用所述数据模型从系统组件收集到的数据可被用来分析数据活动，诸如数据如何被使用和变换。这可包括，例如，数据实体上的活动、数据实体的使用频率、数据实体关联性、以及数据实体序列。此外，数据起源可被跟踪，诸如在数据从一个组件移动到另一个组件时跨系统映射数据起源。
通过使用所述数据模型将信息从分布式系统组件提供至中央数据存储，系统管理者可分析数据集如何跨系统移动。此外，数据集在系统各组件之间移动时数据集的变换可被分析。对集中存储的数据集合的分析可提供关于数据在从一个组件移动到另一个组件时如何变化的洞察，使得系统管理者能够确定数据集是如何以及为何演变的。
数据合规性(datacompliance)也可被测量，诸如按机密级别或信道分析数据访问，和/或分析个人可识别信息(PII)被加密或屏蔽的数据的数据活动。数据的时效性也可以用数据模型来被分析。
图3是例示出用于监视系统中的数据活动的示例方法的流程图。在步骤301中，遥测数据模型被使用以便收集与系统中的多个组件处的数据事务相关联的信息。例如，遥测数据模型可被存储在系统组件上的客户端库中。在步骤302中，所收集的数据被存储在中央存储中。在步骤303中，将遥测分析应用于所存储的信息。
在步骤304中，不同系统组件之间的关系被标识。所述关系与各组件之间交换的数据集的变换相关联。不同系统组件之间的线性关系可基于相关数据活动来被标识。三个或更多个系统组件的网络之中的多维关系可被标识。
在步骤305中，遥测分析结果经由仪表板被提供给系统管理者。
图4例示出其上可实现图1-3的示例的合适的计算和联网环境400的示例。计算系统环境400只是合适的计算环境的一个示例，而非意在暗示对本发明的使用或功能性范围有任何限制。计算机系统环境400可以代表收集有关数据活动信息的组件，和/或数据存储，或存储或者分析存储的数据活动信息的服务器。
本发明可用众多其他通用或专用计算系统环境或配置来操作。适用于本发明的公知计算系统、环境、和/或配置的示例包括但不限于：个人计算机、服务器计算机、手持式或膝上型设备、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境等等。
本发明可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本发明也可被实践在分布式计算环境中，分布式计算环境中任务是由通过通信网络链接的远程处理设备执行的。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和/或远程计算机存储介质中。
参考图4，用于实现本发明的各方面的示例性系统可包括计算机400形式的通用计算设备。组件可包括但不限于诸如处理单元401之类的各种硬件组件、诸如系统存储器之类的数据存储402、以及将包括数据存储403在内的各种系统组件耦合到处理单元402的系统总线401。系统总线403可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也称为夹层(Mezzanine)总线)。
计算机400通常包括各种计算机可读介质404。计算机可读介质404可以是能由计算机400访问的任何可用介质，并同时包含易失性和非易失性介质以及可移动、不可移动介质，但不包括传播信号。作为示例而非限制，计算机可读介质404可包括计算机存储介质和通信介质。计算机存储介质包括以存储诸如计算机可读的指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不仅限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可以被计算机400访问的任何其他介质。通信介质通常以诸如载波或其他传输机制之类的已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上面各项中的任何项的组合也包括在计算机可读介质的范围内。计算机可读介质可被实现为计算机程序产品，诸如存储在计算机存储介质上的软件。
数据存储或系统存储器402包括诸如只读存储器(ROM)和/或随机存取存储器(RAM)之类的易失性和/或非易失性存储器形式的计算机存储介质。基本输入/输出系统(BIOS)包含有助于诸如启动时在计算机400中元件之间传递信息的基本例程，它通常被存储在ROM中。RAM通常包含处理单元401可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制性，数据存储402保存操作系统、应用程序、其他程序模块、和程序数据。
数据存储402还可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，数据存储402可以是对不可移动、非易失性磁介质进行读写的硬盘驱动器，对可移动、非易失性磁盘进行读写的磁盘驱动器，以及对诸如CDROM或其它光学介质等可移动、非易失性光盘进行读写的光盘驱动器。可在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。以上描述并在图4中示出的驱动器及其相关联的计算机存储介质为计算机400提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。
用户可通过用户界面405或诸如平板、电子数字化仪、话筒、键盘和/或定点设备(通常指的是鼠标、跟踪球或触摸垫)等其它输入设备输入命令和信息。其他输入设备可以包括操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。另外，语音输入、使用手或手指的手势输入、或其它自然用户界面(NUI)也可与适当的输入设备(诸如话筒、相机、平板、触摸垫、手套、或其它传感器)一起使用。这些及其他输入设备常常通过耦合到系统总线401的用户输入接口405连接到处理单元403，但是，也可以通过其他接口和总线结构，如并行端口、游戏端口、通用串行总线(USB)端口来进行连接。监视器406或其他类型的显示设备也通过诸如视频接口之类的接口连接至系统总线403。监视器406也可以与触摸屏面板等集成。注意到监视器和/或触摸屏面板可以在物理上耦合至其中包括计算设备400的外壳，诸如在平板型个人计算机中。此外，诸如计算设备400等计算机还可以包括其他外围输出设备，诸如扬声器和打印机，它们可以通过输出外围接口等连接。
计算机400可使用至一个或多个远程设备(诸如远程计算机)的逻辑连接407在网络化或云计算环境中操作。远程计算机可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，并且一般包括上面关于计算机400所述的许多或全部元件。图4中所描述的逻辑连接包括一个或多个局域网(LAN)和一个或多个广域网(WAN)，但是，也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在联网或云计算环境中使用时，计算机400可通过网络接口或适配器407连接至公共或私有网络。在一些实施例中，使用调制解调器或用于在网络上建立通信的其它装置。调制解调器可以是内置或外置的，它经由网络接口403或其它适当的机制连接至系统总线407。诸如包括接口和天线的无线联网组件可通过诸如接入点或对等计算机之类的合适的设备耦合到网络。在联网环境中，相关于计算机400所示的程序模块或其部分可被存储在远程存储器存储设备中。可以理解，所示的网络连接是示例性的，也可以使用在计算机之间建立通信链路的其他手段。
一种用于监视系统中的数据活动的方法，包括使用遥测数据模型来收集与所述系统中的多个组件处的数据事务相关联的信息，将所述信息存储在中央存储中，以及向所存储的信息应用遥测分析。所述遥测数据模型可被存储在系统组件上的客户端库中。
所述方法可进一步包括使用所述遥测分析基于相关数据活动来识别不同系统组件之间的线性关系。所述方法可进一步包括使用所述遥测分析在三个或更多个系统组件的网络之中标识多维关系。所述方法可进一步包括标识不同系统组件之间的关系，所述关系与在各组件之间交换的数据集的变换相关联
所述方法可进一步包括经由仪表板提供遥测分析结果。
一种用于分析数据活动的系统，包括从多个组件接收数据活动信息的中央数据存储，所述数据活动信息是使用遥测数据模型收集的，以及与所述中央数据存储耦合的服务器，所述服务器向所述数据活动信息应用遥测分析应用以便分析数据事件。所述系统可进一步包括与所述服务器耦合的仪表板，用于向用户提供遥测分析结果。
所述遥测分析可被配置成提取与一单一数据活动事件相关联的洞察。所述遥测分析可进一步被配置成标识组件和数据活动之间的线性关系，和/或基于所述数据活动标识三个或更多个组件的多维网络。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (11)

1.一种用于监视系统中的数据活动的方法，包括：
使用遥测数据模型来收集与所述系统中的多个组件处的数据事务相关联的信息；
将所述信息存储在中央存储中；以及
向所存储的信息应用遥测分析。
2.如权利要求1所述的方法，其特征在于，进一步包括：
使用所述遥测分析基于相关数据活动来标识不同系统组件之间的线性关系。
3.如权利要求1所述的方法，其特征在于，进一步包括：
使用所述遥测分析标识三个或者更多个系统组件的网络之间的多维关系。
4.如权利要求1所述的方法，其特征在于，进一步包括：
标识不同系统组件之间的关系，所述关系与在各组件之间交换的数据集的变换相关联。
5.如权利要求1所述的方法，其特征在于，所述遥测数据模型被存储在系统组件上的客户端库中。
6.如权利要求1所述的方法，其特征在于，进一步包括：
经由仪表板提供遥测分析结果。
7.一种用于分析数据活动的系统，包括：
从多个组件接收的数据活动信息的中央数据存储，所述数据活动信息是使用遥测数据模型收集的；以及
耦合到所述中央数据存储的服务器，所述服务器向所述数据活动信息应用遥测分析应用以便分析数据事件。
8.如权利要求7所述的系统，其特征在于，进一步包括：
耦合到所述服务器的用于向用户提供遥测分析结果的仪表板。
9.如权利要求7所述的系统，其特征在于，所述遥测分析被配置成提取与一单一数据活动事件相关联的洞察。
10.如权利要求7所述的系统，其特征在于，所述遥测分析被配置成标识组件与数据活动之间的线性关系。
11.如权利要求7所述的系统，其特征在于，所述遥测分析被配置成基于所述数据活动标识三个或更多个组件之间的多维网络。
CN201480064562.0A 2014-09-29 2014-09-29 数据遥测 Pending CN105765579A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/087752 WO2016049797A1 (en) 2014-09-29 2014-09-29 Telemetry for data

Publications (1)

Publication Number Publication Date
CN105765579A true CN105765579A (zh) 2016-07-13

Family

ID=55584549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064562.0A Pending CN105765579A (zh) 2014-09-29 2014-09-29 数据遥测

Country Status (4)

Country Link
US (1) US20160092333A1 (zh)
EP (1) EP3201798A4 (zh)
CN (1) CN105765579A (zh)
WO (1) WO2016049797A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791533A (zh) * 2016-09-30 2019-05-21 英特尔公司 推送遥测数据累积

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614085B2 (en) * 2016-05-26 2020-04-07 International Business Machines Corporation System impact based logging with enhanced event context
US10614398B2 (en) 2016-05-26 2020-04-07 International Business Machines Corporation System impact based logging with resource finding remediation
US10331876B2 (en) 2017-02-24 2019-06-25 Microsoft Technology Licensing, Llc Automated secure disposal of hardware components
CN114902624A (zh) * 2020-01-03 2022-08-12 华为技术有限公司 支持移动网络中分析生成的网络实体
US11848837B2 (en) * 2021-10-19 2023-12-19 Mellanox Technologies, Ltd. Network telemetry based on application-level information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832407A (zh) * 2005-03-11 2006-09-13 微软公司 遥测数据的类属收集和传递
US20100287019A1 (en) * 2009-05-11 2010-11-11 Microsoft Corporation Server farm management
US20120310875A1 (en) * 2011-06-03 2012-12-06 Prashanth Prahlad Method and system of generating a data lineage repository with lineage visibility, snapshot comparison and version control in a cloud-computing platform
US20130332423A1 (en) * 2012-06-12 2013-12-12 Accenture Global Services Limited Data lineage tracking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180610B2 (en) * 2003-10-08 2012-05-15 Honeywell International Inc. Model-based diagnostic interface for a vehicle health management system having a system model with a system nomeclature
CN1674011A (zh) * 2004-03-26 2005-09-28 赖明勇 电子商务决策支持系统
US8751184B2 (en) * 2011-03-31 2014-06-10 Infosys Limited Transaction based workload modeling for effective performance test strategies
US9405914B2 (en) * 2011-05-10 2016-08-02 Thales Canada Inc. Data analysis system
US8874733B2 (en) * 2011-12-14 2014-10-28 Microsoft Corporation Providing server performance decision support
US20140019569A1 (en) * 2012-07-12 2014-01-16 Amit Vasant Sharma Method to determine patterns represented in closed sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832407A (zh) * 2005-03-11 2006-09-13 微软公司 遥测数据的类属收集和传递
US20100287019A1 (en) * 2009-05-11 2010-11-11 Microsoft Corporation Server farm management
US20120310875A1 (en) * 2011-06-03 2012-12-06 Prashanth Prahlad Method and system of generating a data lineage repository with lineage visibility, snapshot comparison and version control in a cloud-computing platform
US20130332423A1 (en) * 2012-06-12 2013-12-12 Accenture Global Services Limited Data lineage tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791533A (zh) * 2016-09-30 2019-05-21 英特尔公司 推送遥测数据累积

Also Published As

Publication number Publication date
US20160092333A1 (en) 2016-03-31
WO2016049797A1 (en) 2016-04-07
EP3201798A4 (en) 2018-04-04
EP3201798A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
CN110275898B (zh) 使用基于知识图的解释性设备管理的集成监控与通信系统
CN105765579A (zh) 数据遥测
US10789054B2 (en) Methods, systems, apparatuses and devices for facilitating change impact analysis (CIA) using modular program dependency graphs
US11169906B2 (en) Extraction of problem diagnostic knowledge from test cases
JP7064333B2 (ja) 知識集約型データ処理システム
US10681060B2 (en) Computer-implemented method for determining computer system security threats, security operations center system and computer program product
CN102929759B (zh) 业务活动监视运行时程序
Fülöp et al. Survey on complex event processing and predictive analytics
CN104714873B (zh) 记录gui数据的方法和系统
US9762597B2 (en) Method and system to detect and interrupt a robot data aggregator ability to access a website
US11601453B2 (en) Methods and systems for establishing semantic equivalence in access sequences using sentence embeddings
CN104516807A (zh) 自动日志传感器调谐
CN105556482A (zh) 监视移动应用性能
CN109614318A (zh) 自动化测试方法、装置、电子设备及计算机可读介质
Qureshi et al. Five traits of performance enhancement using cloud robotics: A survey
CN109614319A (zh) 自动化测试方法、装置、电子设备及计算机可读介质
US20150066965A1 (en) Data processing, data collection
CN107678931A (zh) 阅读行为评价方法及装置、存储介质和电子设备
Romero et al. Integration of DevOps practices on a noise monitor system with CircleCI and Terraform
US9460393B2 (en) Inference of anomalous behavior of members of cohorts and associate actors related to the anomalous behavior based on divergent movement from the cohort context centroid
Alspaugh et al. Better logging to improve interactive data analysis tools
Contreras Location-based open source intelligence to infer information in lora networks
CN108647284A (zh) 记录用户行为的方法及装置、介质和计算设备
CN110019501A (zh) 一种数据采集方法、装置及终端设备
CN109286608B (zh) 调用链处理方法、装置及存储设备、计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160713