CN110546606B - 租户升级分析系统及方法 - Google Patents

租户升级分析系统及方法 Download PDF

Info

Publication number
CN110546606B
CN110546606B CN201880024977.3A CN201880024977A CN110546606B CN 110546606 B CN110546606 B CN 110546606B CN 201880024977 A CN201880024977 A CN 201880024977A CN 110546606 B CN110546606 B CN 110546606B
Authority
CN
China
Prior art keywords
tenant
telemetry data
metrics
data collected
tenants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024977.3A
Other languages
English (en)
Other versions
CN110546606A (zh
Inventor
J·D·斯科夫龙
J·C·奥布莱恩
R·夏斯特里
C·G·迪亚科努
S·拉贾舍卡拉
D·W·布罗德斯基
S·甘古利
O·S·I·尼卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110546606A publication Critical patent/CN110546606A/zh
Application granted granted Critical
Publication of CN110546606B publication Critical patent/CN110546606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0748—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a remote unit communicating with a single-box computer node experiencing an error/fault
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0866—Checking the configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/065—Generation of reports related to network devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Accounting & Taxation (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Selective Calling Equipment (AREA)

Abstract

用于确定云环境中的租户的升级准备度量的方法和系统。一种方法包括：利用电子处理器，接收与云环境中的第一多个租户相关联的多个设备的设备遥测数据；利用电子处理器，接收云环境中的第二多个租户的软件遥测数据。该方法还包括：利用电子处理器，基于设备遥测数据和软件遥测数据来确定租户的升级准备度量；以及在用户界面中显示该升级准备度量。

Description

租户升级分析系统及方法
相关申请
本申请要求享受2017年4月14日提交的美国临时专利申请No.62/485,754的优先权，故以引用方式将其全部内容并入本文。
技术领域
本文描述的实施例涉及用于通过利用包括例如设备状态和软件状态的云侧遥测数据来管理与组织相关联的设备的方法和系统。
背景技术
当前的设备管理工具需要信息技术(IT)专业人员进行大量的手工工作，以收集设备数据并弄清多个设备的各种软件配置的状态，以评估软件部署风险和缓解步骤。例如，这种手动过程通常需要几个月的时间才能完成，并且会受到人为错误、数据不完整以及其它不利因素的影响。例如，如果设备数据不可用于与组织相关联的一个或多个设备，则这种信息缺乏会影响IT专业人员提供关于与部署新软件或更新软件相关联的风险的准确信息的能力。此外，这种设备数据的收集通常由设备进行收集(通过执行软件代理)，并发送到一个或多个外部服务器或设备。因此，难以修改由设备收集的数据，并且数据的集合严重依赖于这种代理的操作和适当的配置。
由于这种困难，IT专业人员很难跟上整个组织的改变，并且可能不愿执行升级，包括切换到新平台(例如，云服务)。例如，IT专业人员经常担心应用程序和驱动程序的兼容性以及持续进行的验证，执行全面的库存和设备管理(跨操作系统和软件应用程序)以及频繁更新所消耗的网络带宽。
因此，本文所描述的实施例为组织(IT专业人员)提供了一种智能驱动的云解决方案，该解决方案通过减少执行升级和验证时的猜测，同时使组织能够使其软件保持最新并保持最新状态，来建立采用新模型(云服务)的信任和信心。具体而言，如下面更详细地描述的，本文描述的实施例通过提供识别问题和补救步骤的计划、关于如何实现目标的指导、以及部署规划的部署后监测和组织环境的整体健康状况，使用户(专业人员)能够完成部署任务。
例如，本文所描述的实施例利用通过云侧遥测数据收集的设备数据，该云侧遥测数据包括例如设备状态和软件状态。通过使用云服务收集的关于用户的数据，设备管理工具可以为IT专业人员提供与特定组织相关联的设备的更完整视图，以及关于云服务的特定设备或特定租户的升级准备情况的更准确信息。
例如，一个实施例提供了一种用于确定云环境中的租户的升级准备度量的方法。该方法包括：利用电子处理器，接收与云环境中的第一多个租户相关联的多个设备的设备遥测数据；利用电子处理器，接收云环境中的第二多个租户的软件遥测数据。该方法还包括：利用电子处理器，基于设备遥测数据和软件遥测数据来确定租户的升级准备度量；在用户界面中显示该升级准备度量。
附图说明
图1根据一些实施例，示意性地示出了用于实现用于云服务的分析系统的环境。
图2根据一些实施例，示意性地示出了包括在图1的分析系统中的服务器。
图3是根据一些实施例，示出用于由图1的分析系统执行的为租户生成准备度量的方法的流程图。
图4到图6根据一些实施例，示出了由经由图1的分析系统提供的软件部署工具生成的用户界面，其提供与用户相关联的设备和资产的清单。
图7到图11根据一些实施例，示出了由经由图1的分析系统提供的软件部署工具生成的用户界面，其允许用户创建软件部署规划。
图12根据一些实施例，示出了由经由图1的分析系统提供的软件部署工具所生成的用户界面，其提供用于租户的准备度量。
图13根据一些实施例，示出了由经由图1的分析系统提供的软件部署工具生成的用户界面，其提供了用于软件部署规划的仪表板。
具体实施方式
在以下描述和附图中描述和说明了一个或多个实施例。这些实施例并不限于本文所提供的特定细节，并且可以以各种方式进行修改。此外，可存在本文未描述的其它实施例。此外，本文描述的由一个组件执行的功能可以以分布式方式由多个组件来执行。同样地，由多个组件执行的功能可以进行合并，并由单个组件来执行。类似地，被描述为执行特定功能的组件也可以执行本文未描述的其它功能。例如，以某种方式“配置”的设备或结构至少以该方式进行配置，但也可以以未列出的方式进行配置。此外，本文描述的一些实施例可以包括一个或多个电子处理器，所述一个或多个电子处理器被配置为通过执行存储在非临时性计算机可读介质中的指令来执行所描述的功能。类似地，本文描述的实施例可以实现为非临时性计算机可读介质存储，其存储有可由一个或多个电子处理器执行以执行所描述的功能的指令。如在本申请中所使用的，“非临时性计算机可读介质”包括所有计算机可读介质，但不包括暂时的传播信号。因此，非临时性计算机可读介质可以包括例如硬盘、CD-ROM、光学存储设备、磁存储设备、ROM(只读存储器)、RAM(随机存取存储器)、寄存器存储器、处理器高速缓存或者其任何组合。
此外，本文所使用的措辞和术语只是为了描述的目的，其不应当被认为是限制性的。例如，本文中对于“包括”、“含有”、“包含”、“具有”及其变型的使用，旨在涵盖其后列出的项目及其等同物以及其它项目。广泛地使用术语“连接”和“耦合”，其涵盖直接和间接地连接和耦合。此外，“连接”和“耦合”并不限于物理或机械连接或耦合，并且可以包括电连接或耦合，无论是直接的还是间接的。另外，可以使用有线连接、无线连接或其组合来执行电子通信和通知，并且可以通过各种类型的网络、通信信道和连接，直接地或通过一个或多个中间设备来发送电子通信和通知。此外，本文可以使用诸如第一和第二、顶部和底部之类的关系术语，以仅用于将一个实体或动作与另一个实体或动作区分开，而不是必须要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。
图1示出了用于使用遥测数据为云服务实现分析系统的示例性环境100。在环境100中，第一用户102A和第二用户102B(统称为“用户102”)代表使用相应的客户端计算设备104A和104B(统称为“客户端计算设备104”)访问数据中心108的一个或多个服务器106的多个用户102，其中数据中心108提供一个或多个在线服务。在线服务可以包括但不限于：个人信息管理(PIM)服务(例如，电子邮件服务)、web托管服务、存储服务、虚拟机服务、企业生产力服务、娱乐服务(例如，音乐服务、视频服务、游戏服务等等)、个人生产力服务(例如，旅行服务)、社交网络服务或任何类似的基于云的服务。应当理解，在各种配置中，环境100可以包括除了图1所示的组件之外的其它组件。例如，虽然在图1中仅示出了两个客户端计算设备104作为一个示例，但更多的用户可以(经由客户端计算设备)与经由数据中心108提供的在线服务进行交互。此外，数据中心108可以包括以各种配置组织的任何数量的服务器。此外，在一些实施例中，客户端计算设备104可以经由一个或多个中间设备(其包括例如防火墙、网关、路由器等等)，通过网络112与数据中心108中包括的服务器106进行通信。
在本文中可互换地使用术语“用户”、“消费者”、“客户”或“订户”以指代用户102，一个或多个用户102可以订阅或以其它方式注册对作为在线服务的“租户”的在线服务中的一个或多个的访问。在该方面，例如当具有数百名员工的企业注册为在线服务的租户时，租户可以包括单个用户102或一组多个用户102。因此，数据中心108可以使用数据库或类似的数据结构来管理在线服务的注册租户，其包括对单个用户102的访问凭证的管理。每个租户还与一个或多个设备(例如，一个或多个客户端计算设备104)和诸如软件应用程序、(自定义)加载项、(自定义)宏等等之类的资产(代表租户进行拥有或经营)相关联。
客户端计算设备104(有时在本文中称为“客户端设备104”)可以实现为任何数量的计算设备，其包括但不限于个人计算机、膝上型计算机、台式计算机、便携式数字助理(PDA)、移动电话、平板计算机、电子书(eBook)阅读器设备、机顶盒、游戏控制台、智能电视、可穿戴设备(例如，智能手表、电子“智能”眼镜、健身追踪器等等)，或可以通过一个或多个网络发送和接收数据的任何其它电子设备。图1中所示的网络112可以包括：使得能够在环境100中的各个实体之间进行通信的有线网络、无线网络或者其组合。在一些配置中，网络112包括电缆网络、互联网、局域网(LAN)、广域网(WAN)、移动电话网络(MTN)和其它类型的网络，它们可以相互结合使用，以促进服务器106与客户端设备104之间的通信。
可以将与数据中心108相关联的服务器106组织成一个或多个按地理位置分布的服务器群集，其中服务器群集可以包括服务器106的子组。以这种方式，大量用户102可以访问来自全球不同地理位置的在线服务。
如图2中所示，包括在数据中心108中的服务器106可以包括电子处理器200、计算机可读存储器模块202和通信接口204。存储器模块202可以包括非临时性存储器，例如，随机存取存储器、只读存储器或者其组合。电子处理器200可以包括被配置为执行存储在存储器模块202中的指令的微处理器。存储器模块202还可以存储与指令一起使用并通过指令的执行生成的数据。通信接口204允许服务器106与包括网络112在内的外部网络和设备进行通信。例如，通信接口204可以包括用于与网络112进行通信的无线收发器。应当理解的是，在各种配置中，数据中心108中包括的服务器106可以包括除图2中列出的组件之外的其它组件。例如，在一些实施例中，数据中心108中包括的服务器106包括多个电子处理器、存储器模块、通信接口或者其组合。
也如图2中所示，存储器模块202可以存储在线服务应用程序208。在线服务应用程序208(由电子处理器200执行)向经由客户端设备104与服务器106通信的用户提供在线服务。在一些实施例中，在线服务应用程序208包括文字处理应用程序、日历应用程序、演示应用程序、电子邮件应用程序等等。应当理解，数据中心108中包括的每个服务器106可以存储并执行一个或多个不同的在线服务应用程序208，以向用户提供多个在线服务。
在一些实施例中，存储器模块202还存储服务遥测代理209。服务遥测代理209(如由电子处理器200执行)收集关于经由数据中心108提供的在线服务的服务遥测数据。通常，服务遥测数据包括由于客户端应用程序216访问(连接或断开)经由数据中心108提供的在线服务110以及由于用户102通过客户端应用程序216使用在线服务而生成的数据。例如，服务遥测数据可以包括客户端设备104从其连接到数据中心108的互联网协议(IP)地址、成功连接的日志、在线服务使用、使用持续时间和使用的类型、失败请求的日志、错误日志和错误代码、网络类型信息(例如，有线网络连接、无线网络连接、连接到代理等等)、客户端设备104连接到的最新已知服务器106的服务器标识符、客户端设备104当前连接到的服务器106的服务器标识符、经由客户端应用程序216的用户界面接收的用户输入命令的日志、服务连接性数据(例如，登录事件、自动发现事件等)、用户反馈数据(例如，关于在线服务功能的反馈)、客户端配置、用于响应用户输入事件的时间段的日志(指示挂起或崩溃的时间段)、以下状态的时间段的日志：连接、断开、无网络、需要密码、获取凭证、显示密码提示、显示证书错误、显示用户界面、脱机工作、短暂故障、版本阻止的演示模式、尝试连接、故障锁定或等待等等。服务遥测代理209可以出于包括以下的各种目的而收集遥测数据：例如，计费、安全性、审计、反馈目的、性能跟踪等等。例如，如下面更详细描述的，服务遥测数据可以用于确定在线服务的特定租户的软件部署推荐。在一些实施例中，服务遥测代理209无需客户端设备104上的代理即可收集服务遥测数据。
服务遥测代理209可以本地存储收集的服务遥测数据和/或可以将数据发送到服务器106外部的另一个数据存储位置和数据中心108外部的事件。无论服务遥测数据存储在何处，分析系统120都可以访问该数据。如图1中所示，分析系统120包括一个或多个服务器122，并与网络12进行通信。在一些实施例中，服务器122包括在数据中心108中，并且可以如上面关于服务器106所描述的那样提供对在线服务的访问。但是，在其它实施例中，如图1中所示，服务器122可以与数据中心108分离，但是可以被配置为与数据中心108(数据中心108中包括的各个服务器106)通信。如下面也更详细地描述的，分析系统120被配置为处理遥测数据并基于遥测数据来提供软件部署推荐。
因此，在一些实施例中，服务遥测代理209被配置为收集服务遥测数据并将服务遥测数据发送至分析系统120。服务遥测代理209可以被配置为周期性地和/或响应事件或规则，将收集的遥测数据发送到服务器122。例如，服务遥测代理209可以被配置为以预定频率(例如，每5、10或15分钟或者以任何适当的时间间隔)，将收集的数据发送到服务器122。再举一个例子，服务遥测代理209可以应用一个或多个规则来确定何时应当将收集到的数据发送到服务器122(例如，响应于某个事件)。事件可以包括错误事件(连接失败)或成功事件(成功连接)。替代地或另外地，服务器122可以被配置为以预定频率、响应于检测到的事件(包括接收到请求软件开发推荐的用户输入)等等，从服务遥测代理209(或另一个数据源)请求收集的服务遥测数据。例如，由于收集的服务遥测数据可以具有与确定软件部署推荐不同的多种用途，因此服务遥测代理209可以被配置为将收集的数据存储到一个或多个数据存储库，并且分析系统120可以被配置为访问这些存储库和获取的所需数据以执行适当的软件部署推荐。
如图2中所示，客户端设备104可以包括电子处理器210、计算机可读存储器模块212和通信接口214，它们类似于上面关于服务器106所描述的电子处理器200、存储器模块202和通信接口204。但是，如图2中所示，包括在客户端设备104中的存储器模块212可以存储客户端应用程序216。由电子处理器210执行的客户端应用程序216允许用户102通过网络112访问服务器106提供的在线服务(经由在线服务应用程序208)。在一些配置中，客户端应用程序216包括用于与数据中心108通信的专用应用程序，例如，被配置为访问在线服务的文字处理应用程序、日历应用程序、演示应用程序、电子邮件客户端应用程序等等。替代地，客户端应用程序216可以包括网络浏览器，该网络浏览器允许客户端设备104响应于用户102在web浏览器的地址栏中输入统一资源定位符(URL)来访问经由数据中心108提供的在线服务。
在一些实施例中，客户端设备104还包括设备遥测代理218。类似于服务遥测代理209，设备遥测代理218(由客户端设备104中包括的电子处理器200执行)被配置为收集设备遥测数据，并将设备遥测数据发送到分析系统120。在一些实施例中，设备遥测代理218发送的设备遥测数据包括关于客户端设备104的信息，例如，包括硬件属性(例如，关于电子处理器210、存储器模块212、通信接口214或客户端设备104的其它硬件组件的属性)的配置信息、以及与性能有关的信息(例如，正常运行时间和休眠细节以及崩溃或挂起的次数)。在一些实施例中，设备遥测数据还包括关于安装在客户端设备104上的软件的信息，该软件包括例如操作系统和其它软件应用程序、驱动程序、插件等(在本文中统称为软件或“应用程序”)和相关联的配置。设备遥测数据还可以包括关于客户端设备104的识别信息，例如，包括租户标识符、用户标识符、机器访问控制(MAC)地址、客户端设备104的构建、品牌和型号、或者其组合。
如图2中所示，包括在分析系统120中的每个服务器122可以包括电子处理器220、计算机可读存储器模块222和通信接口224，它们类似于如上面关于服务器106所描述的电子处理器200、存储器模块202和通信接口204。但是，如图2中所示，服务器122中包括的存储器模块222可以存储软件部署工具226。由电子处理器220执行的软件部署工具226，处理一个或多个服务遥测代理209和一个或多个设备遥测代理218收集的遥测数据，以生成用于特定租户的软件部署推荐。因此，与仅使用设备遥测时相比，软件部署工具226可以将关于在线服务收集的现有服务遥测数据与设备遥测数据一起使用，以生成更准确和有用的部署推荐。
例如，使用服务遥测数据提供对租户的使用、模式和需求的进一步了解，与仅使用设备遥测数据相比，这允许软件部署工具226产生更佳的推荐。此外，由于多个租户通常使用在线服务，因此可以使用与其它租户相关联的遥测数据(设备、服务或两者)来生成推荐。举一个例子，存在用于向设备或设备组提供度量(例如，准备度量)的模型，以指示设备准备好进行更新的程度(例如，成功更新的概率)。这些模型可以考虑设备的各种遥测数据。但是，如果遥测数据不可用于特定设备，则这种信息的缺乏可能会影响准备度量(或其它升级推荐)。因此，在这些情况下，软件部署工具226可以使用在线服务来考虑与其它租户相关联的类似设备的遥测(设备、服务或两者)。软件部署工具226可以应用一个或多个规则来确定何时以及如何使用与其它租户相关联的遥测数据。例如，这些规则可以指定：如果完整的设备遥测数据可用于特定租户，则可以不考虑其它租户的遥测数据。其它规则可以指定：在使用与设备相关联的遥测数据之前，另一个租户的设备需要多么“相似”。此外，除了填补关于特定租户的信息中的空白以确定准备度量或其它类型的推荐之外，或者作为替代，可以使用类似情况的租户的部署结果来生成用于生成准备度量或其它推荐的模型。例如，机器学习和其它建模技术可以应用于为在线服务的租户执行的部署(使用适用的遥测数据)以开发出准确的模型，而不是应用于其它租户的遥测数据来生成部署推荐(准备度量、时间表、范围、时间等等)。
例如，图3示出了用于确定云环境中的租户的升级准备度量的方法300。在本文中将方法300描述为由软件部署工具226执行(由分析系统120中的服务器122里包括的电子处理器220执行)。但是，应当理解的是，在各种配置中，可以组合和分布本文关于方法300所描述的功能。例如，在一些实施例中，数据中心108中包括的服务器106执行方法300的一个或多个部分。
如图3所示，方法300包括：使用软件部署工具226接收由数据中心108提供的与云环境中的第一多个租户相关联的多个设备的设备遥测数据(在方框302处)。如上所述，由客户端计算设备104执行的设备遥测代理218可以被配置为发送设备遥测数据以存储在数据中心108、分析系统120或者其组合中。在一些实施例中，第一多个租户包括寻求升级准备度量的租户。但是。如上所述。在一些实施例中，可以使用其它租户(例如具有类似设备的其它租户)的设备遥测数据来向特定租户提供部署推荐。特别地，软件部署工具226可以访问与该租户不同的租户相关联的至少一个设备的设备遥测数据，其寻求具有与该租户相关联的设备的属性类似的属性的准备度量(例如，结构、模型、配置，等等)。
方法300还包括：接收由数据中心108提供的云环境中的第二多个租户的软件遥测数据(在方框304处)。如上所述，由数据中心108执行的服务遥测代理209可以被配置为：在用户访问和使用经由数据中心108提供的在线服务时，收集服务遥测数据。如上所述，服务遥测数据可以包括：关于经由数据中心108提供的在线服务的租户使用的数据。在一些实施例中，第一多个租户(与设备遥测数据相关联)和第二多个租户(与服务遥测数据相关联)是相同的。但是，在其它实施例中，包括在每个多个租户中的租户可以不同，这取决于哪些租户提供了设备遥测数据、哪些租户最近或频繁使用了在线服务等等。此外，在一些实施例中，第二多个租户包括寻求准备度量的租户。但是，如上所述，针对在线环境的其它租户(例如，具有类似属性的租户)的服务遥测也可以用于生成租户的部署推荐。
方法300还包括：基于设备遥测数据和软件遥测数据，确定用于租户的升级准备度量(在方框306处)，并在用户界面内显示升级准备度量(在方框308处)。在一些实施例中，在实时更新的仪表板内显示升级准备度量。例如，图4示出了由软件部署工具226生成的用户界面400，其显示与租户相关联的各种软件部署信息。在一些实施例中，通过专用门户来提供用户界面400。如下面所更详细描述的，用户界面400可以允许用户(IT专业人员)查看新版本的通知(提供的、要求的或推荐的升级)、查看设备和资产、以及确定范围并规定软件部署计划。软件部署计划可以包括一组推荐步骤，以通过使用来自租户的设备、资产、其它遥测数据、目标期限等等的可用信息来完成任务。可以作为部署计划的一部分，对这些步骤进行审查、验证、修正和优化。在一些实施例中，用户界面还允许用户监测部署计划的执行，并且可选地执行对租户的设备、资产或其组合的持续监测，以跟踪租户整体健康状况并相应地触发警报。
如图4中所示，用户界面400可以包括：提供新版本的通知的馈送部分402、提供关于一个或多个(活动)部署计划的信息的部署计划部分404、提供关于租户的设备和资产的信息的设备和资产部分406、以及提供关于租户的一个或多个度量(例如，环境配置、安全合规性和特征货币)的度量部分408。可以以各种文本和图形形式，提供通过度量部分408提供的信息。例如，可以将度量提供为饼图、条形图或其它类型的图形或文本数据。
从馈送部分402选择通知可以显示关于发布的其它信息，其包括描述、发布日期、包装尺寸等等。在一些实施例中，还可以提供用于发布的一个或多个度量，例如已经应用升级的用户的百分比(其包括已经应用升级的在线服务的租户的百分比)。
选择包括在设备和资产部分406中的信息(平铺)可以显示关于租户的设备、资产或两者的其它信息。例如，如图5中所示，用户界面400可以显示租户的设备、应用、插件、宏、计算机或设备组等等的清单。可以从如上所述收集的设备遥测数据、服务遥测数据或两者中，收集在这些清单中提供的信息。如图6中所示，所显示的清单中的一列或多列可以通过用户界面400进行编辑。例如，用户能够设置设备的组、应用程序或插件的重要性、或者用于设备的部署规则(设备是否可以包含在部署中、设备是否可以是试验设备等等)。软件部署工具226可以使用这些用户输入来定制特定租户的部署计划，例如通过从初始试验中排除关键应用程序以防止干扰这些应用程序，直到已确定并解决任何问题为止。类似地，用户可能更喜欢将某些设备或设备组包括在试验(或整个部署计划)之中或从中排除。类似地，用户能够将设备分配给组，以将部署限制于租户设备的特定子集。
在一些实施例中，用户界面400还提供一个或多个报告，这些报告指示正在进行处理以添加到租户的清单中的设备、资产或两者的状态(例如，已被处理并添加到清单中的设备或资产的百分比和剩余的百分比)。在这些报告中，还可以提供对租户清单中包含的设备或资产进行处理时的任何错误。
类似地，选择部署计划部分404可以允许用户查看现有的部署计划并创建新的部署计划。例如，图7到图11示出了由软件部署工具226生成的用户界面700，其显示了用于接收用户输入以配置新的(或现有的)部署计划的多个输入机制。使用用户界面700，实现与要更新的租户相关联的目标设备(或设备组)、与要更新的租户相关联的目标软件应用程序(或应用程序组)、用于执行更新的目标调度以及目标完成日期。用户界面700还可允许用户设置升级的范围，例如通过升级到仅操作系统的范围、仅软件应用程序的范围、或者操作系统和软件应用程序的范围。例如，如图7中所示，用户界面700可以允许用户指定部署计划是否应当包括操作系统升级、软件应用程序升级或者其组合。用户界面700还可以允许用户指定在升级期间要应用的操作系统或软件应用程序的版本。类似地，如图8中所示，用户可以设置要包含在升级中的设备(单独、按组或者其组合)。用户界面700可以允许用户查询清单以定位期望的设备，并且可以例如通过指示所包括的设备的数量以及与这些设备相关联的资产的数量来显示所选设备的摘要。在一些实施例中，如图12中所示，软件部署工具226还提供租户设备的各种度量(其包括准备度量)，以帮助用户选择要包括在升级中的适当数量设备和设备组。
如图9中所示，作为创建部署计划的一部分，用户可以设置部署规则。例如，用户可以通过用户界面700选择从升级中排除特定的硬件、驱动程序或软件应用程序。例如，如图10中所示，可以诸如基于类别(业务对比游戏)或安装次数，单独地或成组地将应用包括在升级中或者从升级中排除。用户还可以为升级设置验证规则，该规则规定如何测试和验证特定设备或资产的升级。如图11中所示，用户可以为具有不同重要性类别(关键任务对比尽力而为)的资产，规定不同的验证计划。在一些实施例中，用户还可以设置准备规则，该准备规则规定特定设备或应用程序被视为“准备就绪”需要满足哪些条件。软件部署工具226可以应用这些规则以使计划的一部分自动化。例如，在一些实施例中，当满足适用的规则时，部署计划的某些时期或阶段可以由软件部署工具226自动实施(除非用户优先于这种自动化)。
在创建计划之后，用户可以通过设置各种设备、应用程序和附加组件的重要性，解决已知问题，查看低风险项并设置升级决定，以及通过推荐优先级列表进行工作(所有这些都可以通过软件部署工具226提供和管理)，来进行设备准备工作。例如，图13示出了由软件部署工具226生成的用户界面(仪表板)800(实时地更新)，以跟踪现有计划的进度，其包括为一组设备提供准备度量。用户可以向下选取准备度量，以查看关于单个设备的信息以及每个设备需要采取哪些操作才能为升级做好准备。
如图13中所示，用户界面800还提供关于用于升级的一个或多个试验的信息。在一些实施例中，软件部署工具226生成针对试验的推荐，其包括针对试验的推荐数量的设备，并且可以指示在试验中代表与租户相关联的不同设备的百分比。用户可以修改这些推荐，其包括从试验中排除某些设备。软件部署工具226还可以被配置为生成部署计划内的其它推荐，其包括：例如，与要包括在软件部署计划中的租户相关联的一组推荐的设备、为租户推荐的部署时间表、以及作为软件部署的一部分进行更新的一组推荐的应用程序。如上所述，软件部署工具226可以被配置为使用遥测数据和机器学习技术来开发用于生成这些推荐的模型，从而可以利用针对多个租户收集的数据来提供更准确的推荐。此外，在一些实施例中，软件部署工具226可以使用关于对特定设备、应用程序等等的支持的可用性的信息，并使用该信息来推荐计划的时间表或完成日期，以确保在支持结束(或受限制)之前完成升级。在一些实施例中，软件部署工具226还被配置为推荐一个或多个设备的安全设置作为升级的一部分。同样，通过考虑其它设备(用于该租户或其它租户)的安全设置，软件部署工具可以了解哪些设置导致特定类型的设备、应用程序或其组合的成功升级。
在查看并配置了试验之后，用户可以通过软件部署工具226来部署试验设备的升级，因此可以使用该工具226来监测试验的部署状态(例如，参见图13)，并深入了解故障和补救措施。因此，用户可以通过软件部署工具226，根据需要来查看试验结果和项目签署(sign-off)。用户还可以使用试验的结果来修改部署计划(包括修改当前试验、将来的试验和生产部署)。
随后，用户可以将计划部署到生产中，例如在成功试验之后，然后可以监测部署状态(例如，参见图13)，并通过软件部署工具226了解失败和补救措施。软件部署工具226还可以被配置为针对具有升级后问题的设备，触发警报。还可以对部署计划进行存档(在用户签署之后)，并用作反馈以改善由软件部署工具226为该租户或其它租户生成的后续自动操作和建议。
因此，本文所描述的实施例利用跨多个租户环境收集的遥测数据来预测云系统中的特定租户的升级准备情况。还可以使用遥测数据来向租户推荐部署详细信息，例如升级计划、试验、设备、应用程序等等。可以通过用户界面(例如，在实时基础上提供数据的仪表板)提供所有这些信息，从而逐步引导用户进行升级的创建、管理和部署。因此，与现有的升级管理工具相比，本文所描述的实施例通过利用云系统数据来提供更准确和高效的升级过程来提供技术上的改进。
在以下的权利要求中阐述了一些实施例的各种特征和优点。

Claims (12)

1.一种用于确定云环境的第一租户接收所述云环境内的更新的准备情况的系统，所述系统包括：
至少一个电子处理器，其被配置为：
访问针对所述云环境的多个租户中的每个租户而收集的存储遥测数据；
确定所述第一租户对所述云环境的使用；
识别所述多个租户中的第二租户，所述第二租户与所述第一租户相关联但不同于所述第一租户；
从所述存储遥测数据中选择针对所述第二租户而收集的遥测数据；以及
至少提供针对所述第二租户而收集的所述遥测数据作为针对模型的输入；
响应于至少向所述模型提供针对所述第二租户而收集的所述遥测数据，从所述模型接收针对所述第一租户的度量，所述度量表示所述第一租户针对所述更新的所述准备情况；以及
在用户界面中显示所述度量。
2.根据权利要求1所述的系统，其中，所述电子处理器被配置为至少基于针对所述第二租户而收集的所述遥测数据以及针对所述第一租户而收集的遥测数据来确定所述度量。
3.一种用于确定云环境的第一租户接收所述云环境内的更新的准备情况的方法，所述方法包括：
利用电子处理器来访问针对所述云环境的多个租户中的每个租户而收集的存储遥测数据；
利用所述电子处理器来确定所述第一租户对所述云环境的使用；
利用所述电子处理器来识别所述多个租户中的第二租户，所述第二租户与所述第一租户相关联但不同于所述第一租户；
利用所述电子处理器从所述存储遥测数据中选择针对所述第二租户而收集的遥测数据；以及
至少提供针对所述第二租户而收集的所述遥测数据作为针对模型的输入；
响应于至少向所述模型提供针对所述第二租户而收集的所述遥测数据；利用所述电子处理器从所述模型接收针对所述第一租户的度量，所述度量表示所述第一租户针对所述更新的所述准备情况；以及
在用户界面中显示所述度量。
4.根据权利要求3所述的方法，还包括至少基于针对所述第二租户而收集的所述遥测数据以及针对所述第一租户而收集的遥测数据来确定所述度量。
5.根据权利要求3所述的方法，还包括：经由所述用户界面，接收用于基于所述度量来配置用于所述第一租户的更新的用户输入，其中，接收所述用户输入包括接收软件部署规划的目标范围，所述目标范围包括从以下各项构成的组中选择的至少一个：仅操作系统范围、仅软件应用程序范围、以及组合的操作系统和软件应用程序范围。
6.根据权利要求3所述的方法，还包括：基于所述度量，确定软件部署推荐，并且经由所述用户界面显示所述软件部署推荐，所述软件部署推荐包括从以下各项构成的组中选择的至少一个：
将包括在软件部署中的、与所述第一租户相关联的多个设备中的一组推荐的设备，
针对所述第一租户的推荐的部署时间表，
作为所述软件部署的一部分进行更新的一组推荐的应用程序；以及
用于与所述第一租户相关联的至少一个设备的安全设置，其中，所述安全设置是基于针对所述第二租户而收集的数据的。
7.存储指令的非临时性计算机可读介质，其中当所述指令由电子处理器执行时，执行一组功能，该组功能包括：
访问针对云环境的多个租户中的每个租户而收集的存储遥测数据；
确定第一租户对所述云环境的使用；
识别所述多个租户中的第二租户，所述第二租户与所述第一租户相关联但不同于所述第一租户；
从所述存储遥测数据中选择针对所述第二租户而收集的遥测数据；以及
至少提供针对所述第二租户而收集的所述遥测数据作为针对模型的输入；
响应于至少向所述模型提供针对所述第二租户而收集的所述遥测数据，从所述模型接收针对所述第一租户的度量，所述度量表示所述第一租户针对所述云环境内的更新的准备情况；以及
在用户界面中显示所述度量。
8.根据权利要求7所述的计算机可读介质，其中，所述一组功能还包括：至少基于针对所述第二租户而收集的所述遥测数据以及针对所述第一租户而收集的遥测数据来确定所述度量。
9.根据权利要求7所述的计算机可读介质，其中，所述一组功能还包括：经由所述用户界面，接收用于基于所述度量来配置用于所述第一租户的更新的用户输入。
10.根据权利要求9所述的计算机可读介质，其中，接收所述用户输入包括：接收软件部署规划的目标范围，所述目标范围包括从以下各项构成的组中选择的至少一个：仅操作系统范围、仅软件应用程序范围、以及组合的操作系统和软件应用程序范围。
11.根据权利要求7所述的计算机可读介质，其中，所述存储遥测数据包括针对由设备所使用的操作系统以及由所述设备所使用的至少一个软件应用的遥测数据。
12.根据权利要求7所述的计算机可读介质，其中，在所述用户界面内显示所述度量包括：在实时更新的仪表板中显示所述度量。
CN201880024977.3A 2017-04-14 2018-04-13 租户升级分析系统及方法 Active CN110546606B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762485754P 2017-04-14 2017-04-14
US62/485,754 2017-04-14
US15/941,714 2018-03-30
US15/941,714 US10754631B2 (en) 2017-04-14 2018-03-30 Tenant upgrade analytics
PCT/US2018/027459 WO2018191597A2 (en) 2017-04-14 2018-04-13 Tenant upgrade analytics

Publications (2)

Publication Number Publication Date
CN110546606A CN110546606A (zh) 2019-12-06
CN110546606B true CN110546606B (zh) 2023-06-20

Family

ID=63790664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024977.3A Active CN110546606B (zh) 2017-04-14 2018-04-13 租户升级分析系统及方法

Country Status (4)

Country Link
US (3) US20190018729A1 (zh)
EP (1) EP3610370A2 (zh)
CN (1) CN110546606B (zh)
WO (1) WO2018191597A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210286617A1 (en) * 2015-08-11 2021-09-16 Arnon Harish Methods circuits devices systems and functionally associated machine executable code for recommendation & distribution of digital content
US20190018729A1 (en) 2017-04-14 2019-01-17 Microsoft Technology Licensing, Llc Anomaly remediation using device analytics
US10656987B1 (en) * 2017-04-26 2020-05-19 EMC IP Holding Company LLC Analysis system and method
US10579357B2 (en) * 2017-07-20 2020-03-03 International Business Machines Corporation Cognitive expected program code installation result assessment
US10579371B2 (en) * 2017-12-13 2020-03-03 International Business Machines Corporation Recommendations for custom software upgrade by cognitive technologies
US10824412B2 (en) * 2018-04-27 2020-11-03 Nutanix, Inc. Method and apparatus for data driven and cluster specific version/update control
US10740079B2 (en) * 2018-05-15 2020-08-11 Microsoft Technology Licensing, Llc Maintaining tight coupling between driver and application versions
US10558454B2 (en) * 2018-06-04 2020-02-11 Palantir Technologies Inc. Constraint-based upgrade and deployment
US11226804B2 (en) * 2018-07-16 2022-01-18 Uber Technologies, Inc. Staged rollout framework for feature release
CN110851152B (zh) * 2018-08-20 2023-10-13 联想企业解决方案(新加坡)有限公司 使用区块链执行固件更新的方法
US10656930B2 (en) * 2018-09-12 2020-05-19 Microsoft Technology Licensing, Llc Dynamic deployment target control
US11347629B2 (en) * 2018-10-31 2022-05-31 Dell Products L.P. Forecasting a quality of a software release using machine learning
US11232372B2 (en) * 2018-11-09 2022-01-25 Cisco Technology, Inc. Merging and optimizing heterogeneous rulesets for device classification
US20200159622A1 (en) * 2018-11-19 2020-05-21 Hewlett Packard Enterprise Development Lp Rule based failure addressing
US10929118B2 (en) * 2018-11-30 2021-02-23 International Business Machines Corporation Cognitive microcode simulation, planning, and risk assessment
US10521220B1 (en) 2018-12-18 2019-12-31 Palantir Technologies Inc. Systems and methods for coordinating the deployment of components to defined user groups
CN109814503B (zh) * 2019-01-15 2022-03-08 邵永青 一种高精度机械加工的管理和生产系统
CN113168398A (zh) 2019-02-01 2021-07-23 惠普发展公司，有限责任合伙企业 基于遥测数据的设备的升级确定
WO2020159548A1 (en) 2019-02-01 2020-08-06 Hewlett-Packard Development Company, L.P. Upgrades based on analytics from multiple sources
US11151015B2 (en) 2019-02-22 2021-10-19 Microsoft Technology Licensing, Llc Machine-based recognition and dynamic selection of subpopulations for improved telemetry
US11451456B2 (en) * 2019-04-19 2022-09-20 Cisco Technology, Inc. Learning stable representations of devices for clustering-based device classification systems
US11301232B2 (en) 2019-05-29 2022-04-12 Microsoft Technology Licensing, Llc Update management service for enterprise computing environments
US10917302B2 (en) * 2019-06-11 2021-02-09 Cisco Technology, Inc. Learning robust and accurate rules for device classification from clusters of devices
US11552983B2 (en) * 2019-09-09 2023-01-10 Reliaquest Holdings, Llc Threat mitigation system and method
CN112953784B (zh) * 2019-12-10 2023-10-31 中盈优创资讯科技有限公司 物联网设备性能采集方法、装置、设备及可读存储介质
US11663544B2 (en) * 2020-01-28 2023-05-30 Salesforce.Com, Inc. System and methods for risk assessment in a multi-tenant cloud environment
US11567756B2 (en) * 2020-03-16 2023-01-31 Microsoft Technology Licensing, Llc Causality determination of upgrade regressions via comparisons of telemetry data
US20210294713A1 (en) * 2020-03-20 2021-09-23 5thColumn LLC Generation of an identification evaluation regarding a system aspect of a system
US11755928B1 (en) * 2020-04-27 2023-09-12 Wells Fargo Bank, N.A. Computing cluster configuration standardization
US11341021B2 (en) 2020-05-31 2022-05-24 Microsoft Technology Licensing, Llc Feature deployment readiness prediction
US11816461B2 (en) * 2020-06-30 2023-11-14 Paypal, Inc. Computer model management system
US11196841B1 (en) 2020-08-04 2021-12-07 Charter Communications Operating, Llc Smart remote agent on an access CPE with an agile OpenWrt software architecture
US11727464B2 (en) * 2020-08-31 2023-08-15 Accenture Global Solutions Limited Utilizing machine learning models to determine and recommend new releases from cloud providers to customers
US11269616B1 (en) * 2020-11-19 2022-03-08 Oracle International Corporation Impact driven continuous deployment system
US20220366340A1 (en) * 2021-05-13 2022-11-17 Microsoft Technology Licensing, Llc Smart rollout recommendation system
US20220398178A1 (en) * 2021-06-12 2022-12-15 EMC IP Holding Company LLC Method and system for determine system upgrade recommendations
US11494250B1 (en) 2021-06-14 2022-11-08 EMC IP Holding Company LLC Method and system for variable level of logging based on (long term steady state) system error equilibrium
US11822452B2 (en) 2021-06-22 2023-11-21 Microsoft Technology Licensing, Llc Dynamic remote collection of supplemental diagnostic data and triggering of client actions for client software application
US11789783B2 (en) * 2021-07-06 2023-10-17 Bank Of America Corporation Hosted virtual desktop slicing using federated edge intelligence
US20230067057A1 (en) * 2021-08-31 2023-03-02 Microsoft Technology Licensing, Llc Dark deployment of infrastructure cloud service components for improved safety
US11782695B2 (en) 2021-11-29 2023-10-10 Microsoft Technology Licensing, Llc Dynamic ring structure for deployment policies for improved reliability of cloud service
US11907703B2 (en) * 2022-03-15 2024-02-20 Zebra Technologies Corporation System and method for phased software update deployment
US12086052B2 (en) * 2022-07-11 2024-09-10 Fmr Llc Systems and methods for a continuous integration / continuous deployment model
US11870663B1 (en) * 2022-08-03 2024-01-09 Tableau Software, LLC Automated regression investigator
US12032462B2 (en) * 2022-10-20 2024-07-09 Dell Products L.P. Preserving hardware status points in operating system environment for use in preboot diagnostics

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664749A (zh) * 2012-04-09 2012-09-12 北京航空航天大学 一种可配置遥测数据的监控系统
CN102937901A (zh) * 2012-10-17 2013-02-20 武汉钢铁(集团)公司 多租户架构设计方法
CN105049502A (zh) * 2015-06-30 2015-11-11 杭州华三通信技术有限公司 一种云端网络管理系统中设备软件更新的方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080141B1 (en) 2002-04-12 2006-07-18 Cisco Technology, Inc. Arrangement for automated fault detection and fault resolution of a network device
US7146542B2 (en) 2002-12-20 2006-12-05 Hewlett-Packard Development Company, L.P. Method and apparatus for diagnosis and repair of computer devices and device drivers
US7293201B2 (en) 2003-01-17 2007-11-06 Microsoft Corporation System and method for active diagnosis and self healing of software systems
US7584467B2 (en) * 2003-03-17 2009-09-01 Microsoft Corporation Software updating system and method
US7739661B2 (en) 2003-05-14 2010-06-15 Microsoft Corporation Methods and systems for planning and tracking software reliability and availability
WO2005055073A1 (en) 2003-11-27 2005-06-16 Qinetiq Limited Automated anomaly detection
US7562358B2 (en) 2004-10-04 2009-07-14 United Parcel Service Of America, Inc. Controlled deployment of software in a web-based architecture
US8001527B1 (en) 2004-12-21 2011-08-16 Zenprise, Inc. Automated root cause analysis of problems associated with software application deployments
US7624423B1 (en) 2005-01-20 2009-11-24 Landesk Software, Inc. Systems and methods for software distribution using distribution policies
US7702966B2 (en) 2005-09-07 2010-04-20 Intel Corporation Method and apparatus for managing software errors in a computer system
US7865889B1 (en) 2006-09-14 2011-01-04 Crimson Corporation Systems and methods for verifying the compatibility of software with a group of managed nodes
US8838755B2 (en) 2007-03-23 2014-09-16 Microsoft Corporation Unified service management
US8135775B1 (en) 2007-08-31 2012-03-13 Crimson Corporation Systems and methods for staged deployment of software
US9262366B2 (en) 2007-09-21 2016-02-16 Microsoft Technology Licensing, Llc Software deployment in large-scale networked systems
US8255902B1 (en) 2008-03-17 2012-08-28 Symantec Corporation Systems and methods for determining and quantifying the impact of an application on the health of a system
US8219983B1 (en) 2008-03-31 2012-07-10 Symantec Corporation Systems and methods for providing guidance on the potential impact of application and operating-system changes on a computing system
US8561179B2 (en) 2008-07-21 2013-10-15 Palo Alto Research Center Incorporated Method for identifying undesirable features among computing nodes
US8914783B2 (en) 2008-11-25 2014-12-16 Fisher-Rosemount Systems, Inc. Software deployment manager integration within a process control system
WO2011094484A1 (en) 2010-01-28 2011-08-04 Drexel University Detection, diagnosis, and mitigation of software faults
US20120117227A1 (en) * 2010-11-10 2012-05-10 Sony Corporation Method and apparatus for obtaining feedback from a device
US8898178B2 (en) 2011-12-15 2014-11-25 Microsoft Corporation Solution monitoring system
US8671099B2 (en) 2011-12-28 2014-03-11 International Business Machines Corporation Clustering devices in an internet of things (‘IoT’)
US20150133076A1 (en) 2012-11-11 2015-05-14 Michael Brough Mobile device application monitoring software
US9813318B2 (en) 2013-03-15 2017-11-07 International Business Machines Corporation Assessment of best fit cloud deployment infrastructures
US9449278B2 (en) 2013-04-12 2016-09-20 Apple Inc. Cloud-based diagnostics and remediation
US9438648B2 (en) 2013-05-09 2016-09-06 Rockwell Automation Technologies, Inc. Industrial data analytics in a cloud platform
US9166993B1 (en) 2013-07-25 2015-10-20 Symantec Corporation Anomaly detection based on profile history and peer history
US9274874B1 (en) 2013-09-30 2016-03-01 Emc Corporation Automated defect diagnosis from machine diagnostic data
US9753796B2 (en) 2013-12-06 2017-09-05 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
US9354963B2 (en) * 2014-02-26 2016-05-31 Microsoft Technology Licensing, Llc Service metric analysis from structured logging schema of usage data
US9971979B2 (en) 2014-03-04 2018-05-15 Roseboard Inc. System and method for providing unified and intelligent business management applications
US9424063B2 (en) * 2014-04-29 2016-08-23 Vmware, Inc. Method and system for generating remediation options within a cluster of host computers that run virtual machines
US9503467B2 (en) 2014-05-22 2016-11-22 Accenture Global Services Limited Network anomaly detection
US9547564B1 (en) 2014-11-10 2017-01-17 Amazon Technologies, Inc. Automated deployment of applications
US9626277B2 (en) 2015-04-01 2017-04-18 Microsoft Technology Licensing, Llc Anomaly analysis for software distribution
US9904534B2 (en) 2015-05-29 2018-02-27 Oracle International Corporation Inter-tenant and intra-tenant flock management
US9665452B2 (en) 2015-06-17 2017-05-30 Dell Products, L.P. Systems and methods for smart diagnoses and triage of failures with identity continuity
US9600394B2 (en) 2015-06-18 2017-03-21 Oracle International Corporation Stateful detection of anomalous events in virtual machines
US10228931B2 (en) 2016-11-07 2019-03-12 Microsoft Technology Licensing, Llc Peripheral device support with a digital assistant for operating system upgrades
US20190018729A1 (en) 2017-04-14 2019-01-17 Microsoft Technology Licensing, Llc Anomaly remediation using device analytics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664749A (zh) * 2012-04-09 2012-09-12 北京航空航天大学 一种可配置遥测数据的监控系统
CN102937901A (zh) * 2012-10-17 2013-02-20 武汉钢铁(集团)公司 多租户架构设计方法
CN105049502A (zh) * 2015-06-30 2015-11-11 杭州华三通信技术有限公司 一种云端网络管理系统中设备软件更新的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦山第二核电厂计算机网络监控系统的扩充、升级和改造;王建成;;华中电力(02);全文 *

Also Published As

Publication number Publication date
US20190018729A1 (en) 2019-01-17
EP3610370A2 (en) 2020-02-19
CN110546606A (zh) 2019-12-06
US10747520B2 (en) 2020-08-18
US20180300180A1 (en) 2018-10-18
US20180302303A1 (en) 2018-10-18
WO2018191597A2 (en) 2018-10-18
WO2018191597A3 (en) 2018-11-22
US10754631B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110546606B (zh) 租户升级分析系统及方法
US9985905B2 (en) System and method for cloud enterprise services
US10620944B2 (en) Cloud-based decision management platform
US20170160880A1 (en) System and Method for Integrating Microservices
US10304024B2 (en) Intelligent key performance indicator catalog
US10938826B2 (en) Intelligent device security
US20110093367A1 (en) Method, apparatus, and computer product for centralized account provisioning
EP3091487A1 (en) Network deployment for cellular, backhaul, fiber optic and other network infrastructure
US11810127B2 (en) Session signatures
US20140330975A1 (en) Enhanced command selection in a networked computing environment
CN114466005B (zh) 物联网设备编排
US20170011322A1 (en) Business process managment
Jaju Maximizing DevOps Scalability in Complex Software Systems: Maximizing DevOps Scalability in Complex Software Systems
BR102020016116A2 (pt) plataforma de integração de ferramentas open source
US20190139053A1 (en) Engineering change announcement management system
US11593226B2 (en) System and method for ensuring compliance of protection policy requirements using visual representation of backups
CN115812298B (zh) 供应故障的区块链管理
AU2013222038B2 (en) System and method for cloud enterprise services
KR100874587B1 (ko) 업무 프로세스 자산관리 방법
CN116472517A (zh) 需求驱动的区域设置管理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant