CN108369550A - 实时更改来自不同源的数据 - Google Patents

实时更改来自不同源的数据 Download PDF

Info

Publication number
CN108369550A
CN108369550A CN201680070787.6A CN201680070787A CN108369550A CN 108369550 A CN108369550 A CN 108369550A CN 201680070787 A CN201680070787 A CN 201680070787A CN 108369550 A CN108369550 A CN 108369550A
Authority
CN
China
Prior art keywords
data
change
change data
source
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070787.6A
Other languages
English (en)
Other versions
CN108369550B (zh
Inventor
K·梅尔-马格鲁德
S·贝克
C·麦克丹尼尔斯
G·林格
D·道森
D·韦尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108369550A publication Critical patent/CN108369550A/zh
Application granted granted Critical
Publication of CN108369550B publication Critical patent/CN108369550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323Visualisation of programs or trace data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

在一个实施例中,更改数据监视系统可从各自具有不同的专用源格式的多个数据源收集更改数据。更改数据监视系统可从使用多个专用源格式跟踪在线系统的数据源组的数据源接收具有描述对该在线系统作出的更改的更改数据集的更改数据报告。更改数据监视系统可将更改数据集从专用源格式转换为标准化数据呈现格式。更改数据监视系统可以标准化数据呈现格式来向用户呈现更改数据集。

Description

实时更改来自不同源的数据
背景
在线系统是网络服务或作为跨多个网络设备使用的服务的软件。在线系统可涵盖各自具有多个服务器的多个提供商和服务。这些服务或提供商中的每一者可使得多个更改针对性能条件和正被执行的底层代码而被作出。每个服务器和提供商可具有用于储存这些更改的记录的专用格式。在线服务可收集描述对所执行的代码或来自每个提供商或服务器的数据作出的更改的更改数据,这些更改数据各自采用不同的专用格式。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
下面讨论的各实施例涉及从各自具有不同的专用源格式的多个数据源收集更改数据。更改数据监视系统可从使用多个专用源格式跟踪在线系统的数据源组的数据源接收具有描述对该在线系统作出的更改的更改数据集的更改数据报告。更改数据监视系统可将更改数据集从专用源格式转换为标准化数据呈现格式。更改数据监视系统可以标准化数据呈现格式来向用户呈现更改数据集。
附图
为了描述可以获得以上所列举的及其它优点和特征的方式,更具体的描述被阐述且将通过参考在附图中解说的其具体实施例来呈现。可以理解这些附图只描绘了典型的实施例,且因此不被视为对其范围的限制,将通过使用各个附图并利用附加的特征和细节来描述和解释各实现。
图1以框图解说了数据网络的一个实施例。
图2以框图解说了计算设备的一个实施例。
图3以框图解说了用于更改数据监视系统的计算机架构的一个实施例。
图4以框图解说了用于临时数据存储的数据库模式的一个实施例。
图5以框图解说了用于更改数据报告的标准化数据呈现格式的一个实施例。
图6以框图解说了用于显示更改数据集的用户界面的一个实施例。
图7以流程图解说了用于在更改数据监视系统中收集异构更改数据的方法的一个实施例。
图8以流程图解说了用于以更改数据监视系统来呈现更改数据的方法的一个实施例。
图9以流程图解说了用于在更改数据监视系统中从多个位置收集更改数据的方法的一个实施例。
图10以流程图解说了用于以更改数据监视系统来处理更改数据的方法的一个实施例。
图11以流程图解说了用于在数据源处提供专用更改数据的方法的一个实施例。
图12以流程图解说了用于在数据源处处理数据转储的方法的一个实施例。
图13以流程图解说了用于在更改数据监视系统中收集同构更改数据的方法的一个实施例。
图14以流程图解说了用于在数据源处提供标准化更改数据的方法的一个实施例。
详细描述
下面将详细地讨论各实施例。尽管讨论了具体实现,但应当理解,这仅仅是出于解说目的而完成的。相关领域的技术人员将认识到,可以在不偏离本公开的主题的精神和范围的情况下使用其它组件和配置。这些实现可以是更改数据监视系统、计算设备或机器实现的方法。
在一个实施例中,更改数据监视系统可从各自具有不同的专用源格式的多个数据源收集更改数据。更改数据监视系统可从使用多个专用源格式跟踪在线系统的数据源组的数据源接收具有描述对该在线系统作出的更改的更改数据集的更改数据报告。更改数据监视系统可将更改数据集从专用源格式转换为标准化数据呈现格式。更改数据监视系统可以标准化数据呈现格式来向用户呈现更改数据集。
运行在线系统可导致时间和能量花费在以下上:观察和收集来自各种服务、服务器和基础设施的数据以检测该在线系统的问题。这些数据点通常可有助于确定影响,但在确定根本原因时可能没有那么有效。由于在线系统中的占大比率的服务中断可归因于更改,因此更改数据监视系统可被用来获得对给定时间处在环境中发生的更改的快速且清楚的理解。因为若干不同的系统可发起、跟踪和收集更改数据,所以管理员可能在分开检查每个系统的报告功能以获得更改数据集的整体视图的事件期间浪费宝贵的时间。为了降低花费在收集和检查更改数据上的时间量,更改数据监视系统可近乎实时地实现更改的按计划的记录和更改的可审计制品(统称为“更改数据”)的收集、汇总和快速观察。管理员可接着以更高的速度和精度来查明时间的原因,从而增加用于问题的解决的平均时间并最终减少服务中断时间。
更改数据监视系统可按照定义的标准模式来独立地执行数据提取(data pull)。更改数据监视系统可成批地随指示某批次当前是否用于给定数据源的指示符来储存数据。如果单个数据源未能提取数据,则更改数据监视系统可避免阻止任何其它数据源。更改数据监视系统可在数据提取失败的情况下将针对受影响的数据源所提取的最后一个数据副本保持可用。更改数据监视系统可通过对以下进行处置来控制数据提取:按所配置的间隔来执行提取、更新批次标识符和状态、以及清理旧批次中的过期数据。更改数据监视系统可将一组源数据(诸如开始时间和停止时间、记录类型、环境、状态和其它数据点)定义和更新为标准数据映射,这些标准数据映射可因数据类型和数据源而不同。更改数据监视系统可允许跨更改数据集进行通用排序和过滤。更改数据监视系统可在按环境的初始分组或按时机数据的初始分组中向用户呈现更改数据集。时机数据可将动作分成过往数据动作、当前数据动作和将来的调度数据动作。更改数据监视系统可按时间先后顺序来初始地排序并呈现更改数据以开始。对于具有web接口的数据源,更改数据监视系统可以为给定记录提供指向该数据源的链接,从而允许用户只需单击一下即可在数据源中查看该记录的详细信息。
图1以框图解说了监视在线系统中的更改数据的数据网络100的一个实施例。更改数据监视系统110可在集中式数据位置中收集来自一个或多个外部数据源120的更改数据,每个外部数据源120具有用于储存由该数据源寄存的任何更改数据的专用格式。对于该示例,外部数据源120可以是更改请求存储121、转出(rollout)服务器122、服务管理器123、安全配置存储124、会话数据存储125、源代码管理器126、伙伴数据存储127或其它数据存储或服务器。更改请求存储121(诸如MSChange)将由管理员或其它用户请求的每个更改的记录储存到系统。转出服务器122(诸如AutoPilot)储存用于应用、数据和配置文件的转出信息。服务管理器123储存更改记录、事件记录和其它记录的事件。安全配置存储124(诸如Tripwire)储存用于服务器、数据库和网络设备的安全配置数据。会话数据存储125(诸如Arcsight)储存来自服务器的登录和注销数据。源代码管理器126(诸如Team FoundationServer(团队基础服务器))对正被执行的软件的源代码执行版本控制。伙伴数据存储127储存用于对与在线系统交互但不受在线系统的直接控制的软件作出的任何更改的数据。
更改数据监视系统110可具有后端130和前端140。后端130可收集来自外部数据源120的更改数据。后端130可执行数据提取模块132,该数据提取模块132调度将数据提取请求发送到外部数据源120以请求更改数据。数据提取模块132可将这些数据提取请求发送到外部数据源120。数据提取模块132可处理描述从外部数据源120接收到的更改数据的任何更改数据报告。数据提取模块132可接着将更改数据报告中的更改数据集储存在临时数据存储134中。
前端140可将更改数据呈现给用户。数据访问层(DAL)142可从临时数据存储134中检索用户所请求的任何更改数据集。数据访问层142可接着将该更改数据集提供给用户界面144以呈现给用户。用户可经由用户界面144提交特定更改数据请求。数据访问层142可处理来自用户的特定更改数据请求并联系数据提取模块132以从外部数据源120调度这些特定更改数据请求。
图2解说了可充当更改数据监视系统或数据源的示例性计算设备200的框图。计算设备200可组合硬件、软件、固件、和片上系统技术中的一者或多者来实现更改数据监视系统或数据源。计算设备200可包括总线210、处理核220、存储器230、数据存储240、输入设备250、输出设备260,以及通信接口270。总线210或其它组件互连可准许在计算设备200的各组件之间的通信。
处理核220可包括解释并执行一组指令的至少一个常规处理器或微处理器。处理核220可具有至少一个处理器,该至少一个处理器被配置成将更改数据集从专用源格式转换为标准化数据呈现格式。处理核220可执行数据提取模块来为数据源调度数据提取。处理核220可丢弃在前驱更改数据集之前从数据源接收到的祖辈前驱更改数据集,以及在接收到来自数据源的更改数据集之际丢弃该更改数据集。处理核220可基于数据源的数据环境来组织更改数据集。处理核220可将更改数据集组织为过往数据动作、当前数据动作和将来数据动作中的至少一者。
处理核220可对更改数据集和用于在线系统的性能度量数据进行联用以确定进一步的动作步骤。处理核220可将性能度量故障的时机与更改数据集相关联。处理核220可基于更改数据集和性能度量故障之间的关联来应用数据改进动作。数据改进动作是基于对在线系统软件的更改来修复性能度量故障的操作,诸如回滚最近的更改或应用已知的修补程序。
存储器230可以是储存信息和供处理器220执行的指令的随机存取存储器(RAM)或另一种类型的动态数据存储。存储器230还可储存在处理器220执行指令期间所使用的临时变量或其它中间信息。存储器230可充当被配置成储存更改数据集的临时数据存储。临时数据存储可将更改数据集与到用于数据源的web接口的源链接相关联。临时数据存储可将更改数据集与标识更改数据集是否在预设新鲜度周期内的状态指示符相关联。
数据存储240可包括常规ROM设备或为处理器220储存静态信息和指令的另一种类型的静态数据存储。数据存储240可包括任何类型的有形的机器可读介质,诸如举例而言,磁或光记录介质(诸如数字视频盘)及其对应的驱动器。有形的机器可读介质是储存机器可读代码或指令的物理介质,而非信号。如本文中所描述的使指令存储在计算机可读介质中与使指令被传播或传送是有区别的,因为传播转移指令而非储存指令(诸如可以在具有使指令存储在其上的计算机可读介质的情况下发生)。因此,除非另作说明,以此或类似的形式提及使指令存储在其上的计算机可读介质时,指的是其上可存储或保留数据的有形介质。数据存储240可储存一组详述一种方法的指令集,该指令集在由一个或多个处理器执行致使一个或多个处理器执行该方法。数据存储240也可以是用于访问外部数据源的数据库或数据库接口。
输入设备250可包括准许用户向计算设备200输入信息的一种或多种常规机制,诸如键盘、鼠标、语音识别设备、麦克风、耳机、触摸屏252、触摸垫254、姿势识别设备256等等。输出设备260可包括向用户输出信息的一种或多种常规机制,包括显示器262、打印机、一个或多个扬声器264、耳机、振动器、或介质(诸如存储器)、或磁盘或光盘及对应的盘驱动器。显示器262可以标准化数据呈现格式向用户呈现更改数据集。
通信接口270可包括使计算设备200能与其它设备或网络通信的任何类似于收发器的机制。通信接口270可包括网络接口或收发器接口。通信接口270可以是无线、有线、或光接口。通信接口270可从使用多个专用源格式跟踪在线系统的数据源组的数据源接收具有描述对该在线系统作出的更改的更改数据集的更改数据报告。通信接口270可从描述在线系统的性能的性能度量监视器接收性能度量。通信接口270可基于更改数据集和性能度量故障之间的关联来从数据源请求数据转储。通信接口270可基于更改数据集和性能度量故障之间的关联来自动地提醒系统管理员。
计算设备200可响应于处理器220执行计算机可读介质(诸如举例而言,存储器230、磁盘、或光盘)中所包含的指令序列来执行此类功能。此类指令可以从另一计算机可读介质(诸如数据存储240)或经由通信接口260从分开的设备被读取到存储器230中。
图3以框图解说了用于更改数据监视系统的计算机架构300的一个实施例。更改数据监视系统可具有被配置成从各种外部数据源获取更改数据的数据加载器服务310。数据加载器服务310可具有调度器312、用于每一个已知的外部数据源的源数据提取模块314、以及数据修整模块316。
调度器312可调度针对各种外部数据源的数据提取请求。调度器312可为每个源数据提取模块314设立定时器来以适当的间隔执行工作。调度器312可能不知晓特定数据提取批次是成功还是失败。成功或失败可能不会影响将来各批次或已调度或正在进行的任何其它数据提取。调度器312可跟踪执行持续时间并将这些跟踪执行持续时间写入性能计数器。
源数据提取模块314可以与个体数据源交互。源数据提取模块314可在批次开始和结束时将状态和结果写回临时数据存储320。源数据提取模块314可将数据提取请求发送到指定的外部数据源。附加地,源数据提取模块314可处置数据的变换以及数据加载到数据存储中。更改数据监视系统可将每个源数据提取模块表示为实现标准接口的C#类。通过使用标准接口,调度器312可以相同方式与任何源数据提取模块314交互,而不管内部操作如何。源数据提取模块314可将任何所得到的更改数据报告从外部数据源所使用的专用源格式转换为标准化数据呈现格式。替代地,源数据提取模块314可包括用于标准化数据呈现格式的规范,使得外部数据源可在传输之前将专用源格式转换为标准化数据呈现格式。
数据修整模块316可执行数据修整以及类似于源数据提取模块314调度的任何其它维护工作。数据修整模块316可在设定的分钟间隔之上执行数据修整。每当数据修整模块316运行时,数据修整模块316可清除每个数据源表中的至少两批次旧的数据。该规程可确保没有正在使用的数据被删除。
临时数据存储320可针对每个外部数据源以结构化查询语言(SQL)格式储存瞬态更改数据。临时数据存储320可针对读取进行优化,同时防止由于数据导入而导致的锁定。临时数据存储320可将搜索和读取优化的责任推入数据访问层330,从而使临时数据存储320简单且轻量。
数据访问层330可执行更改数据的关联和汇总。数据访问层可实现高速缓存332以快速保持来自用户界面340的调用。来自用户界面340的请求可命中高速缓存332。数据访问层可在用户访问用户界面340之前预先缓存数据。用户界面340可允许用户访问更改数据。
图4以框图解说了用于临时数据存储的数据库模式400的一个实施例。临时数据存储可具有用于每个数据源的数据源表402,该数据源表402包含从每个数据源提取进来的记录。随着新的数据源联机,数据访问层可创建新的数据源表402以保持数据。数据提取批次表404可在每次数据提取模块从给定数据源提取数据时进行跟踪。数据源表402可储存多个批次,从而允许在先前完成的批次被访问的同时导入新的数据。为了避免争用问题,数据访问层可使用重高速缓存以允许不频繁的读取。数据提取表406可跟踪提供数据的每个数据源的存在。
其它表可被实现以便于查找。数据提取状态表408可提供更改数据集的状态。批次结果表410可提供针对该间隔的当前更改数据集报告。批次状态表412可提供针对该间隔的当前更改数据集的状态报告。
在数据源侧,环境表414可为每个数据源提供环境数据。记录状态表416可提供每个数据源的状态,其指示来自该数据源的更改报告是否是当前的。数据中心表418可为每个数据源标识数据中心。记录类型表420可标识用于每个数据源的专用源格式。
图5以框图解说了用于更改数据报告的标准化数据呈现格式500的一个实施例。更改数据报告可具有批次标识符(ID)502,其指示当前更改数据报告的批次。更改数据报告可具有标识在线服务的服务标识符504,以及标识提供更改数据报告的在线服务的特定服务器的服务器标识符506。更改数据报告可具有标识下令了该更改的用户的用户字段508。更改数据报告可具有描述对在线服务作出的更改的更改数据集510。更改数据报告可具有指示更改何时开始的开始时间字段512,以及指示更改何时完成的停止时间字段514。更改数据报告可具有描述更改数据的类型的类型字段516,其可能指示更改数据集的专用源格式。环境(ENV)字段518可描述其中操作在线服务的条件。状态字段520可指示更改数据是否是当前的、处于至少预设新鲜度周期内。
图6以框图解说了用于显示更改数据集的用户界面600的一个实施例。用户界面600可显示描述正被显示的更改数据的类型的类型字段610。用户界面600可显示描述对在线系统作出的更改的更改字段620。用户界面600可显式指示更改何时开始的开始时间字段630,以及指示更改何时完成的停止时间字段640。用户界面600可具有标识下令更改的用户的用户字段650。用户界面600可具有标识提供更改数据的服务器的服务器字段660。用户界面600可具有描述在其中实现更改的环境的环境字段670。用户界面600可具有时机字段680,从而允许用户按已经发生的过往动作682、当前正在发生的当前动作684以及在将来已调度要发生的将来动作686来组织更改数据。用户界面600可具有在更改实现期间指示诸如网络延迟或处理器或存储器使用等服务性能的性能图690。
图7以流程图解说了用于在更改数据监视系统中收集异构更改数据的方法700的一个实施例。更改数据监视系统可从使用至少两种专用源格式来跟踪在线系统的数据源组的数据源调度针对更改数据集的数据提取(框702)。更改数据监视系统可以已调度的数据提取间隔向数据源发送数据提取请求(框704)。更改数据监视系统可从使用多个专用源格式跟踪在线系统的数据源组的数据源接收具有描述对该在线系统作出的更改的更改数据集的更改数据报告(框706)。更改数据监视系统可将更改数据集从专用源格式转换为标准化数据呈现格式(框708)。更改数据监视系统可将更改数据集储存在被设计为储存更改数据集不多于预设存储时间段的临时数据存储中(框710)。更改数据监视系统可将更改数据集与标识更改数据集是否在预设新鲜度周期内的状态指示符相关联(框712)。更改数据监视系统可将更改数据集与到用于数据源的web接口的源链接相关联(框714)。更改数据监视系统可结合性能度量来处理更改数据集以确定动作步骤(框716)。更改数据监视系统可丢弃在前驱更改数据集之前从数据源接收到的祖辈前驱更改数据集,以及在接收到来自数据源的更改数据集之际丢弃该更改数据集(框718)。
图8以流程图解说了用于以更改数据监视系统来呈现更改数据的方法800的一个实施例。更改数据监视系统可接收指示对用于呈现更改数据集的组织方案的选择的用户输入(框802)。如果用户输入选择按时机进行组织(框804),则更改数据监视系统可将更改数据集组织为过往数据动作、当前数据动作或将来数据动作中的至少一者(框806)。如果用户输入选择按环境进行组织(框804),则更改数据监视系统可基于数据源的数据环境来组织更改数据集(框808)。更改数据监视系统可实时地以标准化数据呈现格式来向用户呈现更改数据集(框810)。
图9以流程图解说了用于在更改数据监视系统中从多个源收集更改数据的方法900的一个实施例。更改数据监视系统可以为使用第一专用源格式的第一数据源调度第一数据提取以用于跟踪对在线系统的更改,以及为使用第二专用源格式的第二数据源调度第二数据提取以用于跟踪对在线系统的更改(框902)。更改数据监视系统可以第一已调度数据提取间隔向第一数据源发送第一数据提取请求,以及以第二已调度数据提取间隔向第二数据源发送第二数据提取请求(框904)。充当集中式数据位置的更改数据监视系统可从第一数据源接收第一更改数据报告,该第一更改数据报告具有描述以第一专用源格式的更改的第一更改数据集(框906)。更改数据监视系统可将第一更改数据集从第一专用源格式转换为标准化数据呈现格式(框908)。更改数据监视系统可从第二数据源接收第二更改数据报告,该第二更改数据报告具有描述以第二专用源格式的更改的第二更改数据集(框910)。更改数据监视系统可将第二更改数据集从第二专用源格式转换为标准化数据呈现格式(框912)。更改数据监视系统可将第一更改数据集和第二更改数据集储存在被设计为储存每个更改数据集不多于预设存储时间段的临时数据存储中(框914)。更改数据监视系统可将第一更改数据集与第一状态指示符相关联,以及将第二更改数据集与第二状态指示符相关联,每个状态指示符标识相关联的更改数据集是否在预设新鲜度周期内(框916)。更改数据监视系统可将第一更改数据集与到用于第一数据源的第一web接口的第一源链接相关联,以及将第二更改数据集与到用于第二数据源的第二web接口的第二源链接相关联(块918)。更改数据监视系统可丢弃在第一前驱更改数据集之前从第一数据源接收到的第一祖辈前驱更改数据集,且在接收到来自第一数据源的第一更改数据集之际丢弃该第一更改数据集,以及丢弃在第二前驱更改数据集之前从第二数据源接收到的第二祖辈前驱更改数据集,且在接收到来自第二数据源的第二更改数据集之际丢弃该第二更改数据集(框920)。更改数据监视系统可实时地以标准化数据呈现格式来向用户呈现第一更改数据集和第二更改数据集(框922)。
更改数据监视系统可对用于在线系统的分开的性能度量数据和更改数据进行联用以确定更改对在线系统的性能的影响。图10以流程图解说了用于在更改数据监视系统中处理更改数据的方法1000的一个实施例。更改数据监视系统可从用于在线系统的性能度量监视器接收性能度量(框1002)。更改数据监视系统可将度量阈值应用于性能度量,以按大于或小于度量阈值来确定性能度量是否未能满足合理的性能标准(框1004)。例如,性能度量监视器可测量网络速度并将结果与网络速度阈值进行比较。替代地,性能度量监视器可应用度量阈值并且可提醒更改数据监视系统该结果。如果性能度量未能满足度量阈值(框1006),则更改数据监视系统可将性能度量故障的时机与更改数据集相关联(框1008)。更改数据监视系统可基于更改数据集和性能度量故障之间的关联来自动地提醒系统管理员(1010)。更改数据监视系统可基于更改数据集和性能度量故障之间的关联来从数据源请求数据转储(1012)。更改数据监视系统可基于数据转储请求从数据源接收数据转储(1014)。更改数据监视系统可向用户呈现数据转储(1016)。更改数据监视系统可基于更改数据集和性能度量故障之间的关联来应用数据改进动作(1018)。
图11以流程图解说了用于在数据源处提供专用更改数据的方法1100的一个实施例。数据源可跟踪描述对在线系统作出的更改的更改数据(框1102)。数据源可按专用源格式来格式化更改数据集(框1104)。数据源可储存以专用源格式描述对在线系统作出的更改的更改数据集(框1106)。数据源可从更改数据监视系统接收对更改数据集的数据提取请求(框1108)。数据源可生成描述更改数据集的更改数据报告(框1110)。数据源可将到用于数据源的web接口的源链接放置在更改数据报告中(框1112)。数据源可将用于更改数据集的时间戳放置在更改数据报告中(框1114)数据源可在更改数据报告中描述数据环境(框1116)。数据源可在更改数据报告中将更改数据集中的动作的时机描述为过往数据动作、当前数据动作和将来数据动作中的至少一者(框1118)。数据源可将以专用源格式描述更改数据集的更改数据报告发送到更改数据监视系统以汇总并呈现给用户(框1120)。
图12以流程图解说了用于在数据源处处理数据转储的方法1200的一个实施例。数据源可基于更改数据集和性能度量故障之间的关联来从更改数据监视系统接收数据转储(1202)。数据源可将所请求的数据转储发送到更改数据监视系统(框1204)。数据源可基于更改数据集与性能度量故障之间的关联来从更改数据监视系统接收要转发给系统管理员的自动提醒(框1206)。数据源可将该提醒转发给系统管理员(框1208)。数据源可基于更改数据集和性能度量故障之间的关联来从更改数据监视系统接收用于数据改进动作的动作指令(框1210)。数据源可执行数据改进动作(框1212)。
从专用源格式到标准化数据呈现格式的转换可发生在更改数据监视系统处或者发生在数据源处。图13以流程图解说了用于在更改数据监视系统中收集同构更改数据的方法1300的一个实施例。更改数据监视系统可从使用至少两种专用源格式来跟踪在线系统的数据源组的数据源调度针对更改数据集的数据提取(框1302)。更改数据监视系统可将描述标准化数据呈现格式的格式指令插入到数据提取请求中(框1304)。更改数据监视系统可以已调度的数据提取间隔向数据源发送数据提取请求(框1306)。更改数据监视系统可从跟踪在线系统的数据源组的数据源接收具有以标准化数据呈现格式描述对该在线系统作出的更改的更改数据集的更改数据报告(框1308)。更改数据监视系统可将更改数据集储存在被设计为储存更改数据集不多于预设存储时间段的临时数据存储中(框1310)。更改数据监视系统可将更改数据集与标识更改数据集是否在预设新鲜度周期内的状态指示符相关联(框1312)。更改数据监视系统可将更改数据集与到用于数据源的web接口的源链接相关联(框1314)。更改数据监视系统可结合性能度量来处理更改数据集以确定动作步骤(框1316)。更改数据监视系统可丢弃在前驱更改数据集之前从数据源接收到的祖辈前驱更改数据集,以及在接收到来自数据源的更改数据集之际丢弃该更改数据集(框1318)。
图14以流程图解说了用于在数据源处提供标准化更改数据的方法1400的一个实施例。数据源可跟踪描述对在线系统作出的更改的更改数据(框1402)。数据源可按专用源格式来格式化更改数据集(框1404)。数据源可储存以专用源格式描述对在线系统作出的更改的更改数据集(框1406)。数据源可从更改数据监视系统接收针对更改数据集的详述标准化数据呈现格式的数据提取请求(框1408)。数据源可在数据提取请求中检测描述标准化数据呈现格式的格式指令(框1410)。数据源可将更改数据集转换为标准化数据呈现格式(框1412)。数据源可生成描述更改数据集的更改数据报告(框1414)。数据源可将到用于数据源的web接口的源链接放置在更改数据报告中(框1416)。数据源可将用于更改数据集的时间戳放置在更改数据报告中(框1418)数据源可在更改数据报告中描述数据环境(框1420)。数据源可在更改数据报告中将更改数据集中的动作的时机描述为过往数据动作、当前数据动作和将来数据动作中的至少一者(框1422)。数据源可将以专用源格式描述更改数据集的更改数据报告发送到更改数据监视系统以汇总并呈现给用户(框1424)。
尽管已经用对结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中的本主题不必受公开的这些具体特征或动作的限制。相反,上文所描述的具体特征和动作是作为实现权利要求的示例形式来公开的。
本发明的范围内的实施例还可包括用于携带或其上储存有计算机可执行指令或数据结构的计算机可读存储介质。这样的计算机可读存储介质可以是可由通用或专用计算机访问的任何可用介质。作为示例而非限制,这样的计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性数据存储器、或可用于携带或存储计算机可执行指令或数据结构形式的所需程序代码装置的任何其它介质,如与诸如信号或载波的传播媒介相对。计算机可读存储介质明确地不指这样的传播媒介。上述的组合也应被包括在计算机可读存储介质的范围内。
各实施例也可以在其中任务由通过通信网络链接的(通过硬连线的链路、无线链路,或者通过其组合)本地以及远程处理设备执行的分布式计算环境中实现。
计算机可执行指令包括,例如,使通用计算机、专用计算机、或专用处理设备执行某一功能或某组功能的指令和数据。计算机可执行指令还包括由计算机在独立或网络环境中执行的程序模块。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、以及数据结构等等。计算机可执行指令,相关联的数据结构,以及程序模块表示用于执行此处所公开的方法的步骤的程序代码装置的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现这样的步骤中所描述的功能的对应的动作的示例。
虽然以上描述可能包含具体细节,但决不应将其解释为是对权利要求的限制。所描述的实施例的其它配置是本发明的范围的一部分。例如,可以将本发明的原理应用于每一个体用户,其中,每一个用户都可以分别地部署这样的系统。这会使每一个用户都能使用本发明的好处,即使大量的可能的应用程序中的任何一个不使用此处所描述的功能。电子设备的多个实例中的每一个实例都可以以各种可能的方式处理内容。各实现不一定都在所有最终用户所使用的一个系统中。因此,所附权利要求书以及它们的法定等效内容只能定义本发明的范围,而并非给定的任何具体示例。

Claims (15)

1.一种更改数据监视系统,包括:
通信接口,所述通信接口被配置成从数据源组中的使用多个专用源格式来跟踪在线系统的数据源接收具有描述对所述在线系统作出的更改的更改数据集的更改数据报告;
具有至少一个处理器的处理核,所述至少一个处理器被配置成将所述更改数据集从专用源格式转换为标准化数据呈现格式以及将性能度量故障的时机与所述更改数据集相关联;以及
显示器,所述显示器被配置成以所述标准化数据呈现格式向用户呈现所述更改数据集。
2.根据权利要求1所述的更改数据监视系统,其特征在于,所述处理核被配置成执行数据提取模块来调度针对所述数据源的数据提取。
3.根据权利要求1所述的更改数据监视系统,其特征在于,进一步包括:
临时数据存储,所述临时数据存储被配置成将所述更改数据集与到用于所述数据源的web接口的源链接和标识所述更改数据集是否在预设新鲜度周期内的状态指示符中的至少一者相关联。
4.根据权利要求1所述的更改数据监视系统,其特征在于,所述处理核被配置成丢弃在前驱更改数据集之前从所述数据源接收到的祖辈前驱更改数据集,以及在接收到来自所述数据源的更改数据集之际丢弃该更改数据集。
5.根据权利要求1所述的更改数据监视系统,其特征在于,所述处理核被配置成基于所述数据源的数据环境来组织所述更改数据集。
6.根据权利要求1所述的更改数据监视系统,其特征在于,所述通信接口被配置成基于所述关联来从所述数据源请求数据转储。
7.根据权利要求1所述的更改数据监视系统,其特征在于,所述通信接口被配置成基于所述关联来自动地提醒系统管理员。
8.一种具有用于储存以专用源格式来描述对在线系统作出的更改的更改数据集的存储器的计算设备,所述计算设备被配置成从更改数据监视系统接收针对详述标准化数据呈现格式的所述更改数据集的数据提取请求,所述计算设备被进一步配置成将所述更改数据集转换为所述标准化数据呈现格式,并且所述计算设备还被配置成将描述所述更改数据集的更改数据报告发送到所述更改数据监视系统以用于汇总并呈现给用户,以及将性能度量故障的时机与所述更改数据集相关联。
9.根据权利要求8所述的计算设备,其特征在于,所述计算设备被进一步配置成将到用于所述数据源的的web接口的源链接放置在所述更改数据报告中。
10.根据权利要求8所述的计算设备,其特征在于,所述计算设备被进一步配置成将用于所述更改数据集的时间戳放置在所述更改数据报告中。
11.根据权利要求8所述的计算设备,其特征在于,所述计算设备被进一步配置成在所述更改数据报告中描述所述数据环境。
12.根据权利要求8所述的计算设备,其特征在于,所述计算设备被进一步配置成基于所述关联从所述更改数据监视系统接收数据转储请求。
13.根据权利要求8所述的计算设备,其特征在于,所述计算设备被进一步配置成基于所述关联从所述更改数据监视系统接收要转发给系统管理员的自动提醒。
14.一种机器实现的方法,包括:
在更改数据监视系统中为使用第一专用源格式的第一数据源调度第一数据提取以用于跟踪对在线系统的更改,以及为使用第二专用源格式的第二数据源调度第二数据提取以用于跟踪对所述在线系统的更改;
从所述第一数据源接收具有第一更改数据集的第一更改数据报告,所述第一更改数据集以所述第一专用源格式描述对在线服务作出的更改;
将所述第一更改数据集从所述第一专用源格式转换为标准化数据呈现格式;
从所述第二数据源接收具有第二更改数据集的第二更改数据报告,所述第二更改数据集以所述第二专用源格式描述对所述在线服务作出的更改;
将所述第二更改数据集从所述第二专用源格式转换为所述标准化数据呈现格式;
将性能度量故障的时机与所述第一更改数据集和所述第二更改数据集相关联;以及
以所述标准化数据呈现格式向用户呈现所述第一更改数据集和所述第二更改数据集。
15.根据权利要求14所述的方法,其特征在于,进一步包括:
丢弃在第一前驱更改数据集之前从所述第一数据源接收到的第一祖辈前驱更改数据集,以及在接收到所述第一更改数据集之际丢弃所述第一更改数据集。
CN201680070787.6A 2015-12-01 2016-11-24 实时更改来自不同源的数据 Active CN108369550B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/956,377 2015-12-01
US14/956,377 US10877988B2 (en) 2015-12-01 2015-12-01 Real-time change data from disparate sources
PCT/US2016/063720 WO2017095717A1 (en) 2015-12-01 2016-11-24 Real-time change data from disparate sources

Publications (2)

Publication Number Publication Date
CN108369550A true CN108369550A (zh) 2018-08-03
CN108369550B CN108369550B (zh) 2021-08-24

Family

ID=57589177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070787.6A Active CN108369550B (zh) 2015-12-01 2016-11-24 实时更改来自不同源的数据

Country Status (4)

Country Link
US (1) US10877988B2 (zh)
EP (1) EP3384391B1 (zh)
CN (1) CN108369550B (zh)
WO (1) WO2017095717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113474764A (zh) * 2020-01-31 2021-10-01 斯诺弗雷克公司 共享数据库对象上的流

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909022B2 (en) * 2017-09-12 2021-02-02 Facebook, Inc. Systems and methods for identifying and tracking application performance incidents
US10936539B2 (en) * 2018-06-04 2021-03-02 Sap Se Source data assignment based on metadata
GB2574905A (en) * 2018-06-18 2019-12-25 Arm Ip Ltd Pipeline template configuration in a data processing system
CN113170283A (zh) * 2020-04-14 2021-07-23 思杰系统有限公司 基于到应用用户的消息触发事件通知
US11983193B2 (en) * 2020-12-25 2024-05-14 Boe Technology Group Co., Ltd. Data processing method, platform, computer-readable storage medium and electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6202199B1 (en) * 1997-07-31 2001-03-13 Mutek Solutions, Ltd. System and method for remotely analyzing the execution of computer programs
US20040044665A1 (en) * 2001-03-15 2004-03-04 Sagemetrics Corporation Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources
US20080127108A1 (en) * 2006-09-29 2008-05-29 Sap Ag Common performance trace mechanism
CN101490668A (zh) * 2006-07-21 2009-07-22 微软公司 可用源数据的重用和本地化
CN102855170A (zh) * 2011-07-01 2013-01-02 国际商业机器公司 用于数据质量监控的系统和方法
US20150058681A1 (en) * 2013-08-26 2015-02-26 Microsoft Corporation Monitoring, detection and analysis of data from different services

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644242B2 (ja) 1988-03-17 1994-06-08 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・システムにおける問題解決方法
JP3042940B2 (ja) 1992-11-20 2000-05-22 富士通株式会社 伝送装置集中監視システム
WO2000068793A1 (en) 1999-05-10 2000-11-16 Handsfree Networks, Inc. System for automated problem detection, diagnosis, and resolution in a software driven system
US6718489B1 (en) 2000-12-07 2004-04-06 Unisys Corporation Electronic service request generator for automatic fault management system
US7334028B2 (en) 2003-05-21 2008-02-19 Hewlett-Packard Development Company, L.P. Tiered multi-source software support using automated diagnostic-data transfers
US7558834B2 (en) 2003-12-29 2009-07-07 Ebay Inc. Method and system to process issue data pertaining to a system
US7676035B2 (en) 2007-07-13 2010-03-09 Plumchoice, Inc. Systems and methods for distributing remote technical support via a centralized service
US8949671B2 (en) 2008-01-30 2015-02-03 International Business Machines Corporation Fault detection, diagnosis, and prevention for complex computing systems
US7992040B2 (en) 2009-02-20 2011-08-02 International Business Machines Corporation Root cause analysis by correlating symptoms with asynchronous changes
US8832653B2 (en) 2012-01-18 2014-09-09 Sap Ag Centralized, object-level change tracking
US8984134B2 (en) 2012-05-07 2015-03-17 International Business Machines Corporation Unified cloud computing infrastructure to manage and deploy physical and virtual environments
US8862727B2 (en) 2012-05-14 2014-10-14 International Business Machines Corporation Problem determination and diagnosis in shared dynamic clouds
US9965772B2 (en) * 2013-01-15 2018-05-08 Datorama Technologies, Ltd. System and method for unifying user-level data across different media platforms
US10027728B2 (en) * 2015-03-06 2018-07-17 Ebay Inc. Systems and methods of streaming data
US9898497B2 (en) * 2015-03-31 2018-02-20 Oracle International Corporation Validating coherency between multiple data sets between database transfers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6202199B1 (en) * 1997-07-31 2001-03-13 Mutek Solutions, Ltd. System and method for remotely analyzing the execution of computer programs
US20040044665A1 (en) * 2001-03-15 2004-03-04 Sagemetrics Corporation Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources
CN101490668A (zh) * 2006-07-21 2009-07-22 微软公司 可用源数据的重用和本地化
US20080127108A1 (en) * 2006-09-29 2008-05-29 Sap Ag Common performance trace mechanism
CN102855170A (zh) * 2011-07-01 2013-01-02 国际商业机器公司 用于数据质量监控的系统和方法
US20150058681A1 (en) * 2013-08-26 2015-02-26 Microsoft Corporation Monitoring, detection and analysis of data from different services

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113474764A (zh) * 2020-01-31 2021-10-01 斯诺弗雷克公司 共享数据库对象上的流

Also Published As

Publication number Publication date
CN108369550B (zh) 2021-08-24
EP3384391B1 (en) 2020-02-12
US10877988B2 (en) 2020-12-29
US20170154086A1 (en) 2017-06-01
EP3384391A1 (en) 2018-10-10
WO2017095717A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN108369550A (zh) 实时更改来自不同源的数据
US11627053B2 (en) Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
CN109408347B (zh) 一种指标实时分析系统及指标实时计算方法
CN109408337B (zh) 一种接口运维的方法及装置
CN105357038B (zh) 监控虚拟机集群的方法和系统
CN104731690B (zh) 适应性度量收集、存储、和警告阈值
CN107918562A (zh) 一种统一接口管理方法和系统
US20070234306A1 (en) Tracing performance of machine-readable instructions
US20140136512A1 (en) Relative performance prediction of a replacement database management system (dbms)
CA2804441C (en) Database performance analysis
CN109656963A (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN108647357A (zh) 数据查询的方法及装置
CN110457371A (zh) 数据管理方法、装置、存储介质及系统
CA3167981A1 (en) Offloading statistics collection
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN110737655B (zh) 用于上报数据的方法和装置
US11537576B2 (en) Assisted problem identification in a computing system
CN107515864B (zh) 监控工作流的方法及设备
KR101376226B1 (ko) 오픈 소스 통합 관리 방법 및 그 서버
JP2014029621A (ja) トランザクションデータ採取方法、トランザクションデータ採取プログラム、および情報処理装置
US11455294B2 (en) Information lifecycle management notification framework
CN110413496A (zh) 一种实现电子证照运行数据组件化收集的方法
CN111223028A (zh) 一种政策信息分享系统及分享方法
US20230086203A1 (en) Stale data recognition
CN112561368B (zh) 一种oa审批系统的可视化业绩计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant