CN116982061A - 基于绩效的项目管理的数据驱动方法 - Google Patents

基于绩效的项目管理的数据驱动方法 Download PDF

Info

Publication number
CN116982061A
CN116982061A CN202180095886.0A CN202180095886A CN116982061A CN 116982061 A CN116982061 A CN 116982061A CN 202180095886 A CN202180095886 A CN 202180095886A CN 116982061 A CN116982061 A CN 116982061A
Authority
CN
China
Prior art keywords
machine learning
unsupervised
learning model
unsupervised machine
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095886.0A
Other languages
English (en)
Inventor
张永强
林威
王默涵
威廉·施马尔佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Data System Corp
Original Assignee
Hitachi Data System Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Data System Corp filed Critical Hitachi Data System Corp
Publication of CN116982061A publication Critical patent/CN116982061A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本文描述的示例实现方式涉及项目管理系统和里程碑管理。在示例实现方式中,对于具有项目数据和员工数据的项目的输入,这样的实现包括:对于涉及项目数据和员工数据的项目的输入,对项目数据以及员工数据执行特征提取以生成特征;对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;对所生成的特征执行绩效监测过程,以确定转变到与关键绩效指标相关的里程碑的概率;以及对所生成的特征、所导出的集群、所导出的异常、到与关键绩效指标相关联的里程碑的转变的概率执行有监督机器学习模型,以生成项目的预测绩效。

Description

基于绩效的项目管理的数据驱动方法
技术领域
本公开涉及项目管理系统,并且更具体地,涉及使用数据驱动方法来支持基于绩效的项目管理。
背景技术
项目(或计划)是指通过研究或设计单独地或合作地开展的、经过仔细规划(如由项目团队)以实现特定目标的任何事业。
项目可以具有各种属性。例如,项目可以是内部的(例如产品开发)或外部的(例如客户解决方案)。项目也可以分为不同的类别,如软件、服务和分析。项目可以在不同的行业,如制造业、运输和医疗保健等。项目的期限各不相同,从几周到几个月到几年不等。项目可能涉及一次性任务(例如咨询)或持续工作(例如,咨询阶段一、二、三;产品开发版本1、2、3)。
给定一个项目,管理者或利益相关者需要理解和分析上面列出的这些项目属性,并相应地计划项目的管理和执行。管理者或利益相关者可以分别分析每个单独的属性,手动地将几个属性组合在一起,并基于他们的经验和领域知识获得洞察(insight)。
为了有效地优化,项目管理包括几个考虑的关键组成部分。一个项目可以作为一系列事件来管理,这些事件通常是一组相互关联的任务,这些任务是在一个固定的时间周期内、在一定的成本范围内、以及其他限制和风险内执行的。在项目正式开始之前,管理者或利益相关者可能需要估计绩效,例如交付的利润率。管理者或利益相关者可能需要计划项目的管理和执行,以实现最好的结果和绩效。项目开始后,管理者可能需要监控项目的进展情况,并根据需要调整项目的执行计划。
发明内容
下面讨论传统系统和方法的若干限制和约束。这里描述的示例实现方式引入了解决以下问题的技术。
在现有技术的第一问题中,基于项目属性手动地审查和分析项目。理解和分析的结果被用来获得项目的洞察。项目中一些重要的隐藏因素可能没有被发现。这样的审查和分析过程可能是耗时的、主观的并且容易出现风险。有必要使用数据驱动的方法来使项目分析和剖析(profiling)自动化,以发现项目中隐藏的业务洞察因素。
在现有技术的第二个问题中,通过定期检查或里程碑(milestone)来手动监测项目。人工分析并评估项目的绩效,并可能对执行计划进行一些调整。这种监测和评估既费时又主观,而且容易产生风险。需要有一个自动化和标准的过程或方法,以利用数据驱动的方法来监测和评估项目进展情况。
在现有技术的第三个问题中,基于对项目的一些属性、人力资源的一些方面和一些约束的理解和分析结果来人工估计项目的绩效。然而,并不是项目的所有属性、人力资源和制约因素都得到系统分析和总结。并非所有可用信息都得到利用或适当使用。此外,通常是基于项目开始前的可用信息,对最终交付绩效(如交付利润率)进行估计。这种基于经验和领域知识的手动估计是主观的、耗时的,并且容易出现风险。因此,需要有一种自动化的、数据驱动的方法,通过纳入所有可用的信息来估计和预测项目绩效。数据驱动方法还可以通过使用里程碑之前的所有可用信息(包括项目执行信息)来预测每个里程碑处的项目绩效。还需要提供对预测的解释。
在现有技术的第四个问题中,项目管理者通过几乎专门关注资源可用性和到预期日期完成项目的调度而不是关注项目内的绩效来设计执行项目的计划。并不是对项目的所有属性、人力资源的所有方面、制约因素都进行系统分析和总结。因此,项目可能无法实现最佳绩效。这种基于经验和领域知识的手动规划是主观的、耗时的,并且容易出现风险。因此,需要数据驱动的方法来系统地分析和总结所有相关因素并优化项目绩效。
为了解决上述四个问题,这里描述的示例实现方式涉及若干方面。一个方面涉及项目自剖析(self-profiling),其中引入了用于自动学习和导出项目的隐藏属性的若干无监督学习方案。这些技术有助于使用数据驱动的方法实现项目分析和剖析的自动化,并发现业务洞察和下游任务的隐藏因素。另一个方面涉及绩效监测,其中引入了根据里程碑之间的多个关键绩效指标(KPI)来捕捉项目绩效的转变的数据驱动方法。示例实现方式还引入了一种方法来预测每个里程碑处的多个绩效KPI。另一方面涉及项目绩效预测和根本原因分析,其中引入机器学习方法来预测每个里程碑处的项目绩效并解释预测。另一个方面涉及项目绩效优化,其中引入了通过为项目确定最佳项目团队来优化项目绩效的数据驱动方法。
本公开的各方面可以涉及一种用于支持项目管理的计算机实现的方法,所述方法可以包括:对于涉及项目数据和员工数据的项目的输入,对项目数据以及员工数据执行特征提取以生成特征;对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率;以及对所生成的特征、所导出的集群、所导出的异常、所述关键绩效指标值在所述里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效值。计算机实现的方法可以作为计算机程序在一个或多个处理器上执行,并且存储在非瞬态可读介质上。
本公开的各方面可涉及一种用于支持项目管理的系统,该系统可以包括:对于涉及项目数据和员工数据的项目的输入,用于对项目数据及员工数据执行特征提取以生成特征的装置;用于对所生成的特征执行配置有无监督机器学习的自剖析算法以导出所述项目的集群和异常的装置;用于对所生成的特征执行绩效监测过程以确定关键绩效指标值在里程碑处的概率的装置;以及用于对所生成的特征、所导出的集群、所导出的异常、所述里程碑处的关键绩效指标值的概率执行有监督机器学习模型以生成所述项目的预测绩效值的装置。
本公开的各方面还涉及一种计算机实现的方法,该方法可以包括:从项目绩效数据生成矩阵,所述矩阵被构造为以不同维度的员工相关数据为行、以项目相关数据为列,所述矩阵涉及指示从项目绩效数据导出的绩效得分的值;对于矩阵中缺失的值,从训练过程中生成矩阵中的缺失值;对于新项目的输入,识别与新项目中的员工相关数据和新项目的项目相关数据相匹配的行和列;将与所识别的行和列相对应的值进行汇总;根据汇总的值对员工相关数据中的员工组进行排序;以及从所述员工相关数据中选择排序最高的员工组以执行所述新项目。计算机实现的方法可以作为计算机程序在一个或多个处理器上执行,并且存储在非瞬态可读介质上。
本公开的各方面还涉及一种系统,该系统可以包括:用于从项目绩效数据生成矩阵的装置,所述矩阵被构造为以不同维度的员工相关数据为行、以项目相关数据为列,所述矩阵涉及指示从项目绩效数据导出的绩效得分的值;对于矩阵中缺失的值,用于从训练过程中生成矩阵中的缺失值的装置;对于新项目的输入,用于识别与新项目中的员工相关数据和新项目的项目相关数据相匹配的行和列的装置;用于将与所标识的行和列相对应的值进行汇总的装置;用于根据汇总的值对员工相关数据中的员工组进行排序的装置;以及用于从所述员工相关数据中选择排序最高的员工组以执行所述新项目的装置。
本公开的各方面还涉及一种用于对所生成的特征执行配置有无监督机器学习的自剖析算法以导出物联网(IoT)数据的集群和异常的计算机实现的方法,所述方法包括:对所生成的特征执行来自一组无监督学习模型算法的每个无监督机器学习模型;为每个无监督机器学习模型算法确定具有相关联的最佳参数集的无监督机器学习模型中的最佳的一个;以及从每个无监督机器学习模型算法的无监督机器学习模型中的最佳的一个中确定跨该组无监督机器学习模型算法的最佳无监督模型。计算机实现的方法可以作为计算机程序在一个或多个处理器上执行,并且存储在非瞬态可读介质上。
本公开的各方面还涉及一种用于对所生成的特征执行配置有无监督机器学习的自剖析算法以导出物联网(IoT)数据的集群和异常的系统,所述系统包括:用于对所生成的特征执行来自一组无监督学习模型算法的每个无监督机器学习模型的装置;用于为每个无监督机器学习模型算法确定具有相关联的最佳参数集的无监督机器学习模型中的最佳的一个的装置;以及用于从每个无监督机器学习模型算法的无监督机器学习模型中的最佳的一个中确定跨该组无监督机器学习模型算法的最佳无监督模型的装置。
本公开的各方面还涉及一种用于对所生成的特征执行配置有无监督机器学习的自剖析算法以导出物联网(IoT)保险数据的集群和异常的计算机实现的方法,所述方法包括:a)将一组无监督机器学习模型算法应用于所生成的特征,以生成用于每个所述无监督机器学习算法的无监督模型;b)将来自所述无监督机器学习模型的无监督输出附加到所述特征;以及c)重复步骤a)和b)直到满足退出标准。计算机实现的方法可以作为计算机程序在一个或多个处理器上执行,并且存储在非瞬态可读介质上。
附图说明
图1示出了根据示例实现方式的基于绩效的项目管理的解决方案架构。
图2示出了根据示例实现方式的支持无监督机器学习与超参数调谐的框架组件。
图3示出了根据示例实现方式的迭代学习方案的示例。
图4示出了根据示例实现方式的示例性递归学习方案。
图5示出了根据示例实现方式的基于里程碑的KPI转变网络。
图6示出了根据示例实现方式的表格式的多任务KPI预测问题的表达(formulation)。
图7示出了根据示例实现方式的每个里程碑的项目绩效预测的示例。
图8示出了根据示例实现方式的用于项目团队优化的多级多维协作过滤矩阵的示例。
图9示出了具有适于在一些示例实现式中使用的示例性计算机设备的示例性计算环境。
具体实施方式
以下详细描述提供了本申请的附图和示例实现方式的详细信息。为了清楚起见,省略了附图之间的冗余要素的附图标记和描述。在整个说明书中使用的术语是作为示例提供的,而不是限制性的。例如,根据实践本申请的实现的本领域普通技术人员的期望实现,术语“自动”的使用可以涉及全自动或涉及用户或管理员对实现的某些方面的控制的半自动实现。选择可以由用户通过用户界面或其他输入手段来进行,或者可以通过期望的算法来实现。可以单独地或组合地利用本文描述的示例实现式,并且可以通过根据期望实现的任何手段来实现示例实现式的功能。
图1示出了根据示例实现方式的基于绩效的项目管理的解决方案架构。解决方案架构可以涉及如下文和本公开通篇描述的各种组件。通过组件102~106提供输入101以生成项目的预测绩效和最优团队。
数据准备110可以涉及以下组件,这些组件收集并准备用于后续洞察发现120组件和绩效建模130组件的数据。来自多个源的输入101被收集并用作该方案中的输入。在一个示例中,项目的输入101可以包括但不限于:诸如项目属性和绩效(最终绩效和基于里程碑的绩效)的项目数据和项目机会管理,以及诸如员工属性和绩效(基于人力资源和项目)的员工数据等。特征工程组件102用于导出将用于在洞察发现组件和绩效建模组件中构建模型的特征。
洞察发现120可以涉及以下组件以独立地从特征或项目绩效发现洞察。自剖析组件103通过关于项目和员工的特征(例如,非绩效数据)的无监督学习技术发现关于项目的洞察。绩效监测组件104通过基于里程碑的绩效转变网络或基于KPI的绩效数据上的多任务有监督机器学习模型来发现关于项目的洞察。
绩效建模130涉及以下组件以在两个场景中优化项目绩效。给定项目数据和项目团队,绩效预测105预测项目的基于里程碑的绩效。该组件的输出是项目的预测绩效和最佳团队。给定项目数据而没有项目团队,绩效优化106找到可以实现最佳项目绩效的项目团队。该组件的输出是具有最优项目绩效的项目团队。
在下面的描述中,将详细讨论解决方案体系结构中的每个组件。
以下描述针对如何收集和准备用于数据驱动方法的数据。
数据准备110
收集来自多个来源的数据101。根据数据的可用性,可以收集以下数据并将其用于在此构建解决方案:项目数据、员工数据和客户数据。
项目数据规定了获取、定义、描述和监测项目的信息。项目数据包括但不限于以下组成部分的一部分或全部:项目描述、项目的各种属性、项目绩效、项目执行信息、工作说明书、项目机会管理数据。项目描述是对项目的描述。项目属性涉及每个项目的各种属性。例如,根据期望的实施方式,项目可以是内部的(产品开发)或外部的(客户解决方案),可以分为不同的类别(例如,软件、服务、分析等)、不同的持续时间(例如周、月或年)、一次性任务(咨询)或持续工作(咨询-阶段一、二、三;产品开发)、概念证明(PoC)项目或正式咨询项目,等等。项目绩效涉及使用不同的度量标准或KPI来测量项目绩效。KPI可以包含一个可测量的值,该值表明项目团队如何有效地实现项目的关键业务目标。通常,项目可以分成几个里程碑,这样的KPI可以在每个里程碑进行测量。总的来说,也可以测量整个项目期间的KPI。
KPI可以包括但不限于以下内容。收入KPI衡量项目团队从项目的所有权或运营中获得的所有收入和现金收入。成本KPI衡量完成项目或工作所需的总资金,包括直接成本和间接成本。直接成本和间接成本,甚至更细的成本可以用作如下的子KPI。直接成本(DC)是与特定任务或项目直接相关的费用,并且可以被识别为特定的成本中心。项目直接成本包括员工、设备和材料成本,以及直接涉及工作或费用的外包承包商成本,与项目管理/工程/采购相关的成本,如运输和清关;施工管理/劳动力/设备和耗材/分包商成本等。
间接成本是指不直接涉及特定任务或项目,且不能准确地归属于特定成本中心的任何成本。间接成本可以是固定成本,也可以是可变成本。间接成本包括行政、人事和安保费用。这些成本与生产没有直接关系。
毛利率(GPM)是衡量项目盈利能力的KPI。GPM是在针对运营成本(如营销、管理费用和工资)进行调整之前的实际利润占收入的百分比。一个示例计算可以是毛利率=(收入-成本)/收入,其中成本代表销售货物的成本(COGS)。
资源利用率是衡量实际资源利用率与预期资源利用率之差的KPI。
任务完成率是衡量已完成任务在预期完成的工作总量中所占的百分比的KPI。任务可以在不同的工作流中进行度量,包括产品管理、开发、质量控制等。这些任务可以用作子KPI。
客户满意度是衡量客户满意度的关键绩效指标。
根据期望的实现,也可以利用其他KPI,并且本公开不限于此。
其他项目数据也可以涉及工作说明书(SOW),其是捕获和定义项目所有方面的文档。SOW是一个详细的文档,因为其将为项目计划奠定基础。SOW可以包括项目介绍、项目目的、工作范围、任务列表、里程碑、可交付成果、时间表等。
此外,项目机会管理数据包括关于获得项目的信息,包括机会源、机会阶段的时间线、评估信息(财务、技术、数据和风险)、关于销售团队的信息、付款条款等。
另外,项目数据可涉及项目执行信息。一旦项目开始,就可以收集与项目绩效相关的一些数据。这包括但不限于数据可用性、数据质量、开发环境设置和可用性、技术准备、员工缺勤、沟通可用性和质量、我们刚刚在每个里程碑讨论的KPI等。
关于员工数据,由一组员工组成一个项目团队。每个员工数据为员工队伍管理指定每个员工的信息。员工数据包括但不限于以下部分或全部信息。人力资源(HR)信息包括HR数据库中关于员工的所有数据,HR数据库包括员工人口统计数据、技术技能、兴趣、资历、角色、职位头衔等。项目特定数据包括基于已完成项目的绩效或已完成或正在进行的项目的每个里程碑的绩效的员工绩效。
客户数据可以包括但不限于以下类型的信息。客户可以是内部的(产品开发)或外部的(咨询客户)。客户可以来自不同的行业(如制造业、运输业、医疗保健业等)。客户在员工数量、收入或利润方面可以具有不同的规模(例如,大、中或小)。客户可以在不同的地区或国家。客户可以在付款难易程度上有不同的信用。根据期望的实施方式,也可以结合其他客户数据。
一旦收集了数据,就可以通过特征工程组件102从数据中导出特征。可以基于领域知识和数据分析来手动导出特征。这里描述的示例实现方式集中于自动特征工程技术。以下技术属于无监督学习,其中不使用标签。
主成分分析(PCA)是通过将每个数据点仅投影到前几个主成分上以获得较低维数据同时尽可能多地保留数据变化的降维过程。PCA还具有由未捕获的方差引起的噪声减少的效果。PCA使下游模型更加一般化。
零相分量分析(ZCA)是用于降维的另一种技术。ZCA执行与PCA不同的旋转。如果目标是压缩原始数据(因为主成分是根据其解释的方差排序的),那么PCA是最优分析。如果目标是保持变换后的随机向量与原始向量尽可能相似,则ZCA是最优分析。
自动编码器(AutoEncoder)是用于降维和降噪的另一种技术。自动编码器使用一种人工神经网络以无监督的方式学习有效的数据编码。其使用数据作为神经网络的输入层和输出层,以及具有较小尺寸的一个或多个隐藏层。自动编码器可以分为两个部分:编码器,首先将数据编码成较小的编码;解码器,然后将编码解码成原始数据。自动编码器的有效性由编码能够多精确地表示原始数据来衡量,而原始数据又由神经网络的精度来衡量。自动编码器有不同的类型:正则化自动编码器(稀疏、去噪和压缩自动编码器),其在学习下游任务的表示方面是高效和有效的;以及变分自动编码器,其对生成模型有用。
通过本文描述的PCA、ZCA和自动编码器技术,与现有技术相比,示例实现方式具有两个益处和改进。首先,这些技术减少应用的特征空间以并入机器学习技术中。当在项目上执行绩效预测模型时,存在可以利用的许多模型特征。然而,项目数据往往是稀疏的,并且对于训练成机器学习模型来说不够密集。在模型特征的示例中,可能存在不足的数据(例如,许多列但很少行的数据),因此本文描述的示例实现方式减少特征空间以支持并入机器学习技术中。此外,在项目管理下的项目可能需要很长时间来支持(例如,一年或两年),这导致用于训练机器学习技术的数据的稀疏性。通过使用如本文所述的特征空间缩减,然后可以利用数据的训练模型来预测适当的KPI。因此,运行时间和模型精度都得到了提高。其次,这些技术可以帮助减少原始数据和特征中的噪声。这样只保留了原始数据和特征中的信号和少量的噪声,有利于提高模型的精度,使模型能够推广到未观测到的测试数据。
洞察发现120
给定从数据和绩效数据导出的特征,还可以通过洞察发现120发现洞察并将其用于决策和下游任务。根据使用何种数据来发现项目洞察,有两个解决方案组件。自剖析组件103基于项目特征发现关于项目的洞察。绩效监测组件104基于项目绩效发现关于项目的洞察。
自剖析组件103处理项目的特征并发现关于项目的洞察。自剖析通过无监督学习完成,利用该无监督学习,聚类算法根据项目的相似性发现项目集群,并将每个项目分配到一个集群中;异常检测算法根据一个项目与其余项目的显著差异识别项目异常,并判断一个项目是否为异常项目。
在这里描述的示例实现方式中,利用通过监督学习技术来解决无监督学习任务的框架。对于每个无监督学习任务,根据模型算法和参数集来建立和评估多个无监督模型。根据模型评估结果,选择最佳模型作为无监督学习任务的最终无监督模型。这里,通过重用如2020年10月30日提交的PCT申请No.PCT/US2020/58311“AUTOMATED REAL-TIME DETECTION,PREVENTION,AND PREVENTION OF RARE FAILURES IN INDUSTRIAL SYSTEM WITHUNLABELED SENSOR DATA(具有未标记传感器数据的工业系统中罕见故障的自动实时检测、预防和预防)”中描述的框架中的一个组件,存在用于无监督模型的两个学习方案,上述申请在此通过引用将其全部内容并入以用于所有目的。
图2示出了根据示例实现方式的支持无监督机器学习与超参数调谐的框架组件210。对于无监督机器学习模块201中的每个无监督机器学习模型算法,该组件用于找到导致满足期望的选择标准(例如,最佳精度模型、最低误差模型等)的模型的参数集,该模型在此将被称为“最佳”模型和“最佳”参数集。每个参数集用于建立无监督模型。用后续集成的(ensemble)有监督学习模块202对模型进行评估,然后选择具有给定参数集的最佳模型作为最佳无监督模型203。在图2中的无监督机器学习与超参数调谐模块210中,输入是从特征工程模块102导出的特征,输出是最佳无监督模型203。
图3示出了根据示例实现方式的迭代学习方案的示例。以图2中的无监督机器学习与超参数调谐模块210为例,介绍了如图3所示的迭代学习方案。迭代学习方案的流程如下。
首先,选择无监督模型算法并将其应用于从特征工程模块102导出的特征。在识别出用于给定模型算法的最佳无监督模型之后,将该模型应用于特征以生成无监督输出。然后将无监督输出附加到特征上。重复该流程,直到满足退出标准。取决于期望的实现,退出标准可以包括但不限于模型评估度量满足预定义阈值,或者使用无监督模型算法的预定义列表。
因此,如图3所示的学习方案将无监督学习模型迭代地应用于特征,并将从当前轮输出的无监督模型附加到特征,以在下一轮中建立无监督的模型。存在如下所述的迭代学习方案的若干变型。
在一个示例变型中,对于中间无监督学习模型算法可以有不同的机器学习类型。在该方案中,图3中的“无监督机器学习与超参数调谐模块M”与“最佳无监督模型”具有相同的机器学习类型。也就是说,它们既是“聚类”算法,也可能都是“异常检测”算法。
“无监督机器学习与超参数调谐模块X”,其中1<=X<M可以与“最佳无监督模型”具有相同或不同的机器学习类型。例如,如果“最佳无监督模型”是一种聚类类型,那么“无监督机器学习与超参数调谐模块X”,其中1<=X<M,可以是“聚类”或“异常检测”,而与“最佳无监督模型”的机器学习类型无关。原因在于,不同机器学习类型的无监督模型输出可以帮助发现特征中的洞察并且构建期望的机器学习型的最佳模型。
在另一示例变型中,可以存在对无监督模型算法序列的优化。在这样的迭代学习方案中,无监督模型算法的序列可以在最终的最佳无监督的模型上产生差异。通过正向模型选择算法来优化无监督学习模型算法的数量和顺序。
为了初始化该方案,基于机器学习知识选择一组无监督学习模型算法。然后,将每个无监督学习模型算法应用于从特征工程模块102导出的特征。然后,为每个无监督学习模型算法获得具有最佳参数集的最佳无监督模型。将评估结果记录为全局最佳评估结果。使用第一模块(“无监督机器学习与超参数调谐模块1”)中的最佳无监督模型,然后将来自最佳模型的输出附于特征。
在上述初始化之后,该方案进行正向选择,其中其随机选择另一个无监督学习模型算法并将其应用于当前特征。然后,对于当前的无监督学习模型算法,得到具有当前最佳评估结果的最佳无监督模型。如果当前最佳评估结果好于全局最佳评估结果,则保持序列中的当前模型,并且该方案将最佳无监督模型的输出附加到特征,否则丢弃当前模型。重复正向选择,直到满足现有标准。
在另一示例变型中,存在多个任务。有了这些数据,可能需要识别项目集群和项目异常。可以修改迭代学习方案以在一次运行内完成这两个任务。针对这一任务,最后两个模块被修改为两种无监督机器学习类型:一种是聚类,另一种是异常检测。最后两个模块中的最佳模型将用于这两个任务的模型。
图4示出了根据示例实现方式的递归学习方案的示例。利用图2中的“无监督机器学习与超参数调谐模块”210,引入了一种递归学习方案,如图4所示。工作流程如下。
首先,基于机器学习知识选择一组无监督模型算法。将该组中的每个无监督模型算法应用于从特征工程模块102导出的特征。选择具有利用最佳参数集的最佳模型,然后该方案从每个模型算法的最佳模型生成无监督输出。来自每个无监督模型算法的无监督输出被附加到特征。重复该递归流程,直到满足退出标准。取决于期望的实现,退出标准可以包括但不限于以下内容:模型评估度量满足预定义的阈值,完成了预定义数量的轮次(N),和/或评估结果收敛,即,基于预定义接近度阈值,来自当前轮次的评估结果接近于来自上一轮次的评估结果。
该学习方案递归地将一组无监督学习模型算法应用于特征,并且将从当前轮输出的无监督模型附加到特征,以在下一轮中建立无监督的模型。
对于递归学习方案存在若干变型。
在递归学习方案的一个示例变型中,对于中间无监督学习模型算法可以有不同的机器学习类型。在最后一轮N中,“无监督机器学习与超参数调谐模块X”,其中1<=X<=M,与“最佳无监督模型”具有相同的机器学习类型。对于每一轮Y,其中1<=Y<N,“无监督机器学习与超参数调谐模块”,其中1<=X<=M,具有与“最佳无监督模型”相同或不同的机器学习类型。
在递归学习方案的另一示例变型中,可以有多个任务。有了这些数据,可能需要识别项目集群和项目异常。可以修改递归学习方案以在一次运行内完成这两个任务。为了实现这个目标,在最后一轮N中,“无监督机器学习与超参数调谐模块X”,其中1<=X<=M,混合了两种机器类型:聚类和异常检测。在最后一轮中用于每种机器学习类型的最佳模型将被用于两个任务的最佳模型。
在递归学习方案的另一示例变型中,可能存在模型算法丢失。在每一轮中,可以放弃一些模型算法,并且在这一轮中仅使用剩余的模型算法。丢失率用于控制有多少模型算法被丢失。例如,“丢失率=0.1”意味着在每一轮中,10%的模型算法被随机选择并丢失,其余90%的模块算法在每轮中使用。在每一轮中使用的模型算法可以是不同的,因为模型算法是随机选择的并且在每轮中被放弃。丢失率也可以用超参数调谐技术来调谐。一种方法是列出多个丢失率并尝试每个丢失率,然后查看哪个丢失率可以导致最佳模型。
使用丢失将解决潜在的过拟合问题,并使最终模型更一般化。另外,使用模型算法的子集可以帮助减少运行时。
在递归学习方案的另一示例变型中,可以存在数据采样,其中可以通过每一轮的数据采样技术来使用数据的子集来训练模型。采样率用于控制在每一轮中使用多少数据。例如,“采样率=0.6”是指每一轮使用60%的数据,其余40%数据在每轮中未使用。在每一轮中使用的数据可以是不同的,因为在每轮中随机地采样数据。采样率也可以用超参数调谐技术来调谐。一种方法是列出多个采样率并尝试每个采样率,然后查看哪个采样率可以得到最佳模型。
使用数据采样将解决潜在的过拟合问题,并使最终模型更一般化。另外,使用数据子集进行模型训练可以帮助减少运行时。
对于绩效监测104,项目可以被划分成若干里程碑。管理者或利益相关者在每个里程碑审查项目进度,并且可以根据每个里程碑的项目绩效采取行动。项目绩效可以用这里描述的各种KPI来衡量。因此,监测每个里程碑处的KPI可以获得一些关键的洞察,这些洞察可以帮助管理者或利益相关者做出战略性业务决策。
通过图3和图4中所示的示例实现方式,模型绩效可以在偏差和方差方面得到改善。
在偏差去除方面,对于相同的数据集,不同的模型算法与不同的参数集会产生完全不同的输出。因此,引入了模型的偏差。如何消除模型偏差、如何判断哪个输出是最好的以及如何决定要选择的最终模型已经是现有技术中的问题。在示例实现方式中提出的方法使用若干模型算法并引入一些学习逻辑来集成它们以导出最终模型。
关于方差去除,如果数据集噪声很大并且具有很多方差,则可能难以使用模型算法来找到真实信号,这可能导致较低的模型性能。这里描述的示例实现方式利用来自当前轮的模型输出作为附加特征来构建下一轮中的模型。从中间模型提取中间输出,并且中间输出可以被认为更接近于原始数据中的信号。使用它们作为附加特征可以在构建用于下一轮的模型时强调更多的信号。特征将逐渐地一轮一轮地收敛到信号中,并且最终模型由此可以在这样的特征上执行得很好。
这里描述的示例实现方式的另一益处涉及自动化:模型选择和集成(ensemble)都在自动化流水线中完成。在现有技术中,这是通过人工评估和验证来完成的,这很耗时并且容易出错,这与这里描述的自动化实现形成对比。
此外,用于构建模型的数据是特定于问题的。给定一个问题,可以利用领域知识来确定哪些数据是有用的。如果提供了数据,则可以进行诸如相关性分析的数据分析以确定特征数据和目标的关系。还可以利用特征变换技术和特征选择技术来导出和选择用于构建模型的有用特征。
作为示例,图3和图4的示例实现方式可以扩展到物联网(IoT)数据,如IoT保险或其他IoT系统。在涉及IoT保险的示例中,项目可能涉及机器停机保险或保证机器正常运行一段时间。IoT数据来自安装在资产上的传感器。多个传感器共同用于获得有关资产的一些洞察;例如,资产中是否存在异常或故障。图3和图4的示例实现方式可用于获得有关资产的洞察,包括多个传感器的值的集群和资产的异常情况。
尽管图3和图4的示例是针对无监督学习任务进行描述的,但是这些实现也可以根据所需的实现进一步扩展到有监督学习任务。
图5根据示例实现方式示出了KPI转变网络。在这个网络中,每个项目KPI被分为“好”、“一般”或“差”。对于每个KPI,从一个里程碑到下一个里程碑的转变可能性被捕获,并基于历史项目进行汇总。一种方法是计数一个里程碑中的类别转变到下一个里程碑中的类别的次数,并使用比率作为从一个里程碑中的类别转变到下一个里程碑中的类别的可能性。该方法在每个KPI中完成。
例如,对于KPI1,假设在第1轮中有10个历史项目属于“好”类别。在这10个项目中,有7个项目在第二轮中属于“好”类别;2个项目属于第二轮中的“一般”类别;1个项目属于第二轮中“差”类别。因此,结果是:
7/10=0.7作为从“好”(里程碑1)到“好”(里程碑2)的转变可能性
2/10=0.2作为从“好”(里程碑1)到“一般”(里程碑2)的转变可能性
1/10=0.1作为从“好”(里程碑1)到“差”(里程碑2)的转变可能性
给定新项目及其在里程碑中的类别,可以应用转变图来检查向下一个里程碑中不同类别的转变可能性。转变可能性被用作KPI类别的估计,并据此确定业务决策。从贝叶斯网络的观点来看,这种可能性被认为是先验概率。对于所描述的转变网络存在若干变型。
在第一变型中,根据期望的实现方式,可以使用数字KPI度量。例如,对于每个KPI可以有五个箱:0~20%、20%~40%、40%~60%、60%~80%、80%~100%。可以将每个KPI值分配到箱之一中,并且相应地构建转变网络。
在第二种变型中,可以支持从一个里程碑中的一个KPI到下一个里程碑的另一个KRI的转变。这种转变是跨KPI转变。当一些KPI是相关的,并且一个里程碑中的一个KPI的类别与下一个里程碑的相关KPI类别相关时,该转变是有用的。
在第三种变型中,还可以存在跨里程碑的转变。可以支持从一个里程碑向其他里程碑的转变。例如,可以发生从里程碑1到里程碑3的转变。当在较早的里程碑处的KPI的类别与在较后的里程碑中的KRI的类别相关联时,这是有用的。对于项目利益相关者或管理者来说,提前几个里程碑对绩效进行评估是很有用的。
图6示出了根据示例实现方式的基于表格式中的较早里程碑中的KPI来推导或预测较后里程碑中KPI的解决方案。示例实现方式可以预测每个里程碑中多个KPI的类别。在任何给定的里程碑T,可以为该里程碑中的所有KPI构建多任务机器学习分类模型。这些特征是历史数据中每个项目的每个里程碑(里程碑1到里程碑T-1)上的每个KPI的类别。目标是里程碑T中的KPI的类别,即三个等级:“好”、“一般”和“差”。注意,只有绩效KPI数据被用作特征和目标来构建机器学习模型。如图6所示,所有KPI可以在里程碑1到T-1处用作特征,并且在里程碑T处的KPI用作目标。给定在里程碑T-1处的新项目,该模型可以被应用于预测在里程碑T处的所有KPI的类别。
这是多任务模型,因为需要在一个模型内预测多个目标(即,在里程碑T处的多个KPI)。同时解决多个学习任务,同时利用任务之间的共性和差异。当与单独地训练模型相比时,该方法可以通过联合地学习任务专用模型而导致改进的学习效率和预测精度。
多任务学习比单任务学习工作得更好,因为由要求算法在相关任务上良好执行而引起的正则化可以优于通过均匀地惩罚所有复杂性来防止过度拟合的正则化机制。对于这里的问题,里程碑T处的KPI可能是相关的,并且预测KPI的任务共享显著的共性,并且通常是略微欠采样的。另一方面,对于彼此不相关的KPI,多任务学习对于学习无关的任务也是有益的。
图7示出了图1中绩效预测105的一个示例实现方式,其可以预测项目绩效,并在每个里程碑上确定每个预测的根本原因。引入机器学习方法来预测每个里程碑的项目绩效,并解释预测结果。
对于每个项目里程碑,示例实现方式将基于该里程碑之前的所有可用数据来预测该里程碑中项目的绩效。首先,收集如本文所述的数据101(例如,项目数据、雇员数据、客户数据)。特征工程102用于从数据生成特征700。特征工程技术包括基于领域知识识别数据中的有用属性并将它们直接用作特征、基于领域信息和数据分析的手动特征变换和推导、以及利用本文描述的技术的自动特征推导。所生成的特征可以涉及原始特征和导出特征。一些数据可以直接用作特征而不需要数据转换,这是原始特征。其他特征是通过数据转换或特征导出过程从数据中导出的,这些其他特征是导出特征。基于领域知识和数据分析导出特征的一种方式是基于每个个体参与的项目的绩效来汇总该个体的绩效数据。类似地,可以为每个团队、组织和客户进行汇总。此外,自动特征推导技术包括PCA、ZCA和自动编码器,它们有助于减少特征空间、降低噪声和保留数据中的关键信号。
对于项目自剖析103,如本文所述的自剖析技术被应用于来自特征工程模块102的特征,以便导出隐藏属性,包括项目集群和项目异常,以提供作为自剖析结果701。这些隐藏的属性可以用来预测在下一个里程碑中的项目绩效。
对于绩效监测104,如本文所述的绩效监测技术被应用于绩效KPI数据,以导出每个KPI的类别在下一个里程碑中的转变可能性(基于图5的转变网络)和/或概率(基于图6的绩效预测模型),以作为监测结果702被提供。这种可能性可用于建立模型以预测下一个里程碑中的绩效。
为了建立有监督的机器学习模型,需要准备特征和目标。因此,在图7中,将从特征700生成的特征、从自剖析结果701导出的集群和导出的异常、以及从监测结果702导出的关键绩效指标值的概率(作为有监督机器学习模型中的“特征”)一起组合到有监督机器学习模型703中,以便构建有监督机器学习模型来预测每个里程碑处的项目绩效(作为有监督机器学习模型中的“目标”)。如果以分类值(如“好”、“一般”或“差”)来衡量绩效,则可以应用分类模型;如果以数值来衡量绩效,则可应用回归模型703。可以使用若干模型算法,包括但不限于线性回归、随机森林、梯度增强、神经网络等。然后,可以调整所选模型算法的超参数以选择最佳模型。另外,特征选择还可以应用于选择预测项目绩效的特征。
一旦建立了有监督机器学习模型,就可以使用该模型来预测项目绩效。预测绩效704指示从有监督机器学习模型703预测的项目绩效。
给定预测绩效704,可以执行根本原因分析以确定预测的项目绩效的主导因素。根本原因分析705用于识别每个预测的项目绩效的潜在根本原因。基于与根本原因相关的领域知识,利益相关者或管理者可以做出业务决策。在给定根本原因706的情况下,根本原因706还可以链接到规定性动作(例如,基于领域知识)并且使该过程自动化以获得规定性动作。
预测的根本原因706的识别对应于在机器学习域中解释预测,并且存在用于这样的任务的一些技术和工具。例如,“ELI5”是一个可解释的人工智能(AI)包,可以帮助识别导致预测的关键特征。关键特征可对预测具有正面影响或对预测有负面影响。ELI5可以输出前P个正关键特征和前Q个负关键特征。
对于基于里程碑的绩效优化,项目利益相关者或管理者需要确定最佳的项目团队,以通过为每个给定的项目合并对项目、团队、客户等的约束来优化项目绩效。示例实现方式利用多级、多维协同过滤方法来解决项目绩效优化问题。
协同过滤是使用涉及多个代理、视点、数据源等之间的协作的技术来过滤信息或模式的过程。协同过滤的流行应用是推荐系统,其中可以基于对项目的类似用户兴趣来向用户推荐该项目。传统上,基于历史数据建立以“用户”为行、“项”为列的矩阵,并且可以应用基于相似性的技术和矩阵分解等协作技术来填充矩阵中的缺失值。本文提出了一种多级协同过滤技术来解决项目绩效优化问题。
图8给出了通过多层次的多维的协同过滤矩阵的在图1中的绩效优化106的示例实现式,给定过去的项目绩效数据的情况下,可以形成如图8所示的矩阵,如下所示。
行是不同维度、不同层级、不同员工组的员工相关数据。根据一示例实现方式,员工相关数据可涉及个体员工ID或姓名、组织图中的团队、组织图中的组织、基于项目自剖析的员工集群、员工属性等。
列是不同维度、不同级别或不同项目组的项目相关数据。根据所需的实现,该列包括单个项目、基于项目自剖析的项目集群、项目属性等。
值是指绩效得分,如本文所述。例如,来自绩效KPI的利润率可以是衡量项目总体绩效的良好候选指标。
矩阵具有缺失值,并且训练过程用于通过使用协同过滤技术来填充缺失值,其包括基于项-项相似性的算法和矩阵分解算法。
在基于项-项相似性的算法中,算法首先通过计算所有项目向量对之间的相似度得分来建立模型。相似性函数可以具有各种形式,诸如项目向量之间的相关性或项目向量的余弦。然后,该算法使用与用户的已评级项目最相似的项目来生成对用户的推荐列表。这个建议的直觉是:“像您这样对X项评价很高的用户也倾向于对Y项评价较高,而您还没有对Y项目进行评价,所以您应该尝试一下。”
在矩阵分解算法中,将矩阵(具有一些现有的值和许多缺失的值)分解为两个向量:用户潜在因子(列向量,也可以认为这是潜在模型中的系数)和项目潜在因子(行因子,也可以认为这是潜在模型中的项目特征)。这两个向量可以相乘,然后用于进行预测并填充矩阵中的缺失值。因式分解过程可以通过梯度下降优化来完成,其中我们每次取一个固定向量并改进另一个。
一旦构建了矩阵,就可以使用其来为新项目生成最佳团队。给定一个新项目,需要找到最适合该项目的员工、团队、组织、员工集群和员工属性,以实现最佳绩效。示例实现方式可以利用集体模型推断过程来在员工组级别标识项目团队,其中员工组级别可以是:个体员工、团队、组织、员工集群和具有相同属性的员工。
首先,给定一个新项目,该过程基于项目信息查找所有匹配的列。对于所讨论的员工组级别,该过程标识员工组级别的所有员工组。对于每个员工组,该过程将查找所有匹配的行。对于每个员工组,该过程获取所有匹配行和列的所有绩效得分。
然后,该过程汇总绩效得分。汇总方法可以是绩效得分的简单平均,或者是绩效得分的加权平均,其可以涉及绩效得分平均值除以匹配员工组的行中所覆盖的员工数量。然后,该过程对员工组级别中员工组的所有汇总绩效得分进行排序,并选择项目中绩效得分最高的员工组。
在现有技术中,传统的协同过滤技术趋于失败,因为在每个个体员工和每个个体项目之间存在非常有限数量的约定。因此,以单个员工为行、单个项目为列的矩阵将非常稀疏。对稀疏矩阵的协同过滤技术将不能很好地执行。示例实现方式将员工组和项目组引入到矩阵中,以获得更密集的矩阵。协同过滤技术在以员工组为行、项目组为列的矩阵上执行得很好。
通过将不同的员工组和项目组级别合并到一个矩阵中,可以存在来自不同员工组级别的员工组的一些重叠员工。因此,具有重叠员工的员工组的绩效得分具有相关性,这有助于协作过滤,因为它们对项(在本例中是项目)具有类似的参与。来自不同员工组级别和项目组级别的数据可以相互帮助填充矩阵中的得分。
协同模型推理过程有助于考虑员工和项目的不同方面,并将其集体汇总为一个绩效得分。
有时,项目利益相关者需要根据人力资源的可用性、优势和兴趣、项目持续时间等来确定每个里程碑的项目团队。为此,示例实现方式使协作过滤成为基于里程碑的。不是使用整个项目期间的绩效得分来填充矩阵,而是使用每个里程碑的绩效得分来填充该矩阵。因此,每个里程碑都可以有一个矩阵,或者根据预期的实施情况。
示例实现方式可以被合并在各种场景中。例如,示例实现方式可以支持端到端解决方案。项目自剖析、绩效监测、绩效预测和绩效优化可以作为解决方案套件提供给项目洞察发现和项目绩效建模。这种端到端解决方案可以作为解决方案核心产品的一部分作为分析解决方案核心套件提供。
项目自剖析可以作为解决方案核心产品的一部分作为分析解决方案核心提供。
绩效监测可以作为解决方案核心产品的一部分作为分析解决方案核心提供。
绩效预测可以作为解决方案核心产品的一部分作为分析解决方案核心提供。
项目绩效优化可以作为解决方案核心产品的一部分作为分析解决方案核心提供。
示例实现方式可以被合并到独立的机器学习库中。用于自剖析的迭代学习方案和递归学习方案可以作为帮助自剖析和洞察发现的独立机器学习库来提供。
图9示出了具有适于在一些示例实现式中使用的示例性计算机设备的示例性计算环境。
计算环境900中的计算机装置905可以包括一个或多个处理单元、核或处理器910、存储器915(例如,RAM、ROM等)、内部存储装置920(例如,磁、光、固态存储装置和/或有机存储装置)和/或I/O接口925,它们中的任何一个可以耦接在通信机制或总线930上以用于通信信息或嵌入计算机设备605中。I/O接口925还被配置为根据期望的实现从相机接收图像或向投影仪或显示器提供图像。
计算机设备905可以通信地耦合到输入/用户接口935和输出设备/接口940。输入/用户接口935和输出设备/接口940中的任何一个或两者可以是有线或无线接口,并且可以是可拆卸的。输入/用户接口935可包括可用于提供输入的任何物理的或虚拟的设备、组件、传感器或接口(例如,按钮、触摸屏接口、键盘、指向/光标控制、麦克风、相机、盲文、运动传感器、光学读取器等)。输出设备/接口940可以包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例实现式中,输入/用户接口935和输出设备/接口940可以嵌入或物理耦合到计算机设备905。在其它示例实现方式中,其它计算机设备可以用作或提供计算机设备905的输入/用户接口935和输出设备/接口940的功能。
计算机设备905的示例可以包括但不限于高度移动的设备(例如,智能手机、车辆和其它机器中的设备、由人和动物携带的设备等)、移动设备(例如,平板电脑、笔记本、膝上型电脑、个人计算机、便携式电视、无线电等)、以及未被设计用于移动性的设备(例如,台式计算机、其它计算机、信息亭、其中嵌入有和/或耦合有一个或多个处理器的电视、收音机等)。
计算机设备905可以通信地耦合(例如,经由I/O接口925)到外部存储装置945和网络950,用于与包括相同或不同配置的一个或多个计算机设备在内的任何数量的联网组件、设备和系统进行通信。计算机设备905或任何连接的计算机设备可以用作、提供服务器、客户端、精简型服务器、通用机器、专用机器或另一标签的服务或被称为服务器、客户端、精简型服务器、通用机器、专用机器或另一标签。
I/O接口925可以包括但不限于使用任何通信或I/O协议或标准(例如,以太网802.11x、通用系统总线、WiMax、调制解调器、蜂窝网络协议等)的有线和/或无线接口,用于向计算环境900中的至少所有连接的组件、设备和网络传送信息和/或从计算环境900中的至少所有连接的组件、设备和网络传送信息。网络950可以是任何网络或网络的组合(例如,互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)。
计算机设备905可以使用计算机可用或计算机可读介质(包括瞬态介质和非瞬态介质)和/或使用其来通信。瞬态介质包括传输介质(例如,金属电缆、光纤)、信号、载波等。非瞬态介质包括磁介质(例如,盘和带)、光学介质(例如,CD ROM、数字视频盘、蓝光盘)、固态介质(例如,RAM、ROM、闪存、固态存储装置)和其他非易失性存储装置或存储器。
在一些示例计算环境中,计算机设备905可用于实现技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可以从瞬态介质中获取,并存储在非瞬态介质上和从非瞬态介质中获取。可执行指令可以源自任何编程、脚本和机器语言(例如,C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一种或多种。
处理器910可以在本地或虚拟环境中的任何操作系统(OS)(未示出)下执行。可以部署一个或多个应用,其包括逻辑单元960、应用编程接口(API)单元965、输入单元970、输出单元975和单元间通信机制995,用于不同单元彼此通信、与OS通信以及与其他应用(未示出)通信。所描述的单元和元件可以在设计、功能、配置或实现上变化,并且不限于所提供的描述。
在一些示例实现方式中,当API单元965接收到信息或执行指令时,可以将其传送到一个或多个其它单元(例如,逻辑单元960、输入单元970、输出单元975)。在一些实例中,在上文所描述的一些示例实现方式中,逻辑单元960可被配置为控制单元之间的信息流并且引导由API单元965、输入单元970、输出单元975提供的服务。例如,一个或多个过程或实现的流可由逻辑单元960单独地或结合API单元965来控制。输入单元970可被配置为获得用于示例实现方式中所描述的计算的输入,并且输出单元975可被配置为基于示例实现方式中所描述的计算来提供输出。
处理器910可被配置为执行如本文的示例实现方式中所描述的用于支持项目管理的方法,所述方法可以包括:对于涉及项目数据和员工数据的项目的输入,对项目数据以及员工数据执行特征提取以生成特征;对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率;以及对所生成的特征、所导出的集群、所导出的异常、所述关键绩效指标值在所述里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效值,如图7中所示。
在如图2所示的示例实现方式中,处理器910可以被配置为对所生成的特征执行配置有无监督机器学习的自剖析算法,以通过以下操作来导出项目的集群和异常:执行无监督机器学习以基于所生成的特征生成无监督机器学习模型;对来自每个所述无监督机器学习模型的结果执行有监督机器学习,以生成有监督集成机器学习模型,每个所述有监督集成机器学习模型对应于每个所述无监督机器学习模型;以及基于所述无监督机器学习模型的结果相对于由所述有监督集成机器学习模型生成的预测的评估,选择所述无监督机器学习模型中的一些作为被配置为导出所述集群和所述异常的模型。
在如图3所示的示例实现方式中,处理器910可以被配置为对所生成的特征执行配置有无监督机器学习的自剖析算法,以通过以下操作导出项目的集群和异常:对所生成的特征执行来自一组无监督学习模型算法中的每个无监督机器学习模型;为满足选择标准的每个无监督机器学习模型算法确定具有相关联的参数集的无监督机器学习模型中的一个;根据满足所述选择标准的所述每个无监督机器学习模型算法的所述无监督机器学习模型之一,确定用于跨该组无监督机器学习模型算法进行部署的无监督机器学习模型。
在如图3所示的示例实现方式中,处理器910还可以部署用于部署的无监督机器学习模型;并且在用于部署的无监督模型的部署期间,处理器910还可以执行以下方法:将用于部署的无监督机器学习模型应用于所生成的特征以生成无监督输出;将无监督输出附加到特征以获得扩展特征;从该组无监督机器学习模型算法中随机选择另一无监督学习模型;在扩展特征上训练随机选择的无监督学习模型算法,以找到具有满足选择标准的另一关联参数集的另一个无监督机器学习模型;并且对于从随机选择的无监督学习模型算法产生的另一个无监督的学习模型,其具有比用于部署的已部署的无监督学习模型更好的评估,用该另一个无监督学习模型代替用于部署的已部署无监督学习模型。
如图4所示,处理器910可以被配置为对所生成的特征执行配置有无监督机器学习的自剖析算法,以通过以下操作来导出项目的集群和异常:a)将一组无监督机器学习模型算法应用于所生成的特征,以生成用于每个所述无监督机器学习算法的无监督机器学习模型;b)将来自所述无监督机器学习模型的无监督输出附加到所述特征;以及c)重复步骤a)和b)直到满足退出标准。
如图5所示,处理器910可以被配置为对所生成的特征执行绩效监测过程,以通过从历史项目生成转变网络来确定关键绩效指标值在里程碑处的概率,该转变网络将第一里程碑中的多个第一关键绩效指标与第二里程碑中多个第二关键绩效指标之间的转变相关联;其中,所述转变的概率是基于所述第一里程碑的所述多个第一关键绩效指标转变到所述第二里程碑中的所述第二关键绩效指标的次数来确定的。
如图5和图6所示,处理器910可以被配置为对所生成的特征执行绩效监测过程,以通过生成多任务有监督机器学习模型来确定关键绩效指标值在里程碑处的概率,以基于在较早里程碑的关键绩效指标值来预测在里程碑的主要绩效指标值;其中,所述关键绩效指标值的概率是当分类模型被用作多任务有监督机器学习模型时的类别或者当回归模型被用于多任务有监督机器学习模型时的数值得分中的一个;并且其中,同时地预测在所述里程碑处的所述关键绩效指标值。
如图8所示,处理器910可以被配置为执行方法,该方法包括:从项目绩效数据生成矩阵,所述矩阵被构造为以不同维度的员工相关数据为行、以项目相关数据为列,所述矩阵包括指示从项目绩效数据导出的绩效得分的值;对于矩阵中缺失的值,从训练过程中生成矩阵中的缺失值;对于新项目的输入,识别与新项目中的员工相关数据和新项目的项目相关数据相匹配的行和列;将与所识别的行和列相对应的值进行汇总;根据汇总的值对员工相关数据中的员工组进行排序;以及从所述员工相关数据中选择排序最高的员工组以执行所述新项目。
如图7所示,处理器910可以被配置为,为了对所生成的特征、所导出的集群、所导出的异常、关键绩效指标值在里程碑处的概率执行有监督机器学习模型,以生成项目的预测绩效值,对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率;以及对所生成的特征、所导出的集群、所导出的异常、所述关键绩效指标值在所述里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效。
如图3中所描述的,示例实现方式可以扩展到IoT数据领域,如IoT保险。在这样的示例实现方式中,处理器910可被配置为执行计算机实现的方法,该方法用于对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出物联网(IoT)数据的集群和异常,所述方法可以包括:对所生成的特征执行来自一组无监督学习模型算法的每个无监督机器学习模型算法;为每个无监督机器学习模型算法确定具有相关联的最佳参数集的无监督机器学习模型中的最佳的一个无监督机器学习模型;以及从每个无监督机器学习模型算法的无监督机器学习模型中的最佳的一个无监督机器学习模型算法中确定跨该组无监督机器学习模型算法的最佳无监督模型。
详细描述的一些部分是根据计算机内的运算的算法和符号表示来呈现的。这些算法描述和符号表示是数据处理领域的技术人员用来向本领域的其他技术人员传达其创新的本质的手段。算法是导致期望的结束状态或结果的一系列定义的步骤。在示例实现式中,所执行的步骤需要有形量的物理操纵以实现有形结果。
除非另有说明,从论述中显而易见的,可以理解的是在整个说明书中,利用诸如“处理”、“运算”、“计算”、“确定”、“显示”等的术语的论述可以包括计算机系统或其他信息处理设备的动作和处理,该计算机系统或其他信息处理设备进行操纵并将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据转换成类似地表示为计算机系统的存储器或寄存器或其他信息存储装置、传输或显示设备内的物理量的其他数据。
示例实现式还可以涉及用于执行本文中的操作的装置。该装置可以为所需目的专门构造,或者其可以包括由一个或多个计算机程序选择性地激活或重新配置的一个或多个通用计算机。这样的计算机程序可以存储在计算机可读介质中,诸如计算机可读存储介质或计算机可读信号介质。计算机可读存储介质可以包括有形介质,诸如但不限于光盘、磁盘、只读存储器、随机存取存储器、固态设备和驱动器、或适于存储电子信息的任何其他类型的有形或非瞬态介质。计算机可读信号介质可以包括诸如载波的介质。本文中呈现的算法和显示并非固有地与任何特定计算机或其他装置相关。计算机程序可以涉及纯软件实现,其涉及执行期望实现的操作的指令。
根据本文的示例,各种通用系统可以与程序和模块一起使用,或者可以证明构造更专用的装置来执行期望的方法步骤是方便的。另外,不参考任何特定编程语言来描述示例实现式。应当理解,可以使用各种编程语言来实现本文中描述的示例实现式的教导。编程语言的指令可由一个或多个处理装置(例如,中央处理单元(CPU)、处理器或控制器)来执行。
如本领域已知的,上述操作可以通过硬件、软件或软件和硬件的某些组合来执行。示例实现式的各个方面可以使用电路和逻辑设备(硬件)来实现,而其他方面可以使用存储在机器可读介质(软件)上的指令来实现,这些指令如果由处理器执行,则将使得处理器执行用于执行本申请的实现的方法。此外,本申请的一些示例性实施可仅在硬件中执行,而其他示例性实施可仅在软件中执行。此外,所描述的各种功能可以在单个单元中执行,或者可以以任何数量的方式分布在多个组件上。当由软件执行时,基于存储在计算机可读介质上的指令由处理器(诸如通用计算机)来执行方法。如果需要,指令可以以压缩和/或加密的格式存储在介质上。
此外,通过考虑本申请的说明书和教导的实践,本申请的其他实现对于本领域技术人员而言将是显而易见的。所描述的示例实现式的各个方面和/或组件可以单独使用或以任何组合使用。希望说明书和示例实现式仅被认为是示例,本申请的真实范围和精神由所附权利要求来指示。

Claims (15)

1.一种用于支持项目管理的计算机实现的方法,所述方法包括:
对于包括项目数据和员工数据的项目的输入,对所述项目数据以及所述员工数据执行特征提取以生成特征;
对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;
对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率;以及
对所生成的特征、所导出的集群、所导出的异常、所述关键绩效指标值在所述里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效值。
2.根据权利要求1所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
执行无监督机器学习以基于所生成的特征生成无监督机器学习模型;
对来自每个所述无监督机器学习模型的结果执行有监督机器学习,以生成有监督集成机器学习模型,每个所述有监督集成机器学习模型对应于每个所述无监督机器学习模型;以及
基于所述无监督机器学习模型的结果相对于由所述有监督集成机器学习模型生成的预测的评估结果,选择所述无监督机器学习模型中的一些作为被配置为导出所述集群和所述异常的模型。
3.根据权利要求1所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
对所生成的特征执行来自一组无监督学习模型算法的每个无监督机器学习模型;
为满足选择标准的每个无监督机器学习模型算法确定具有相关联的参数集的无监督机器学习模型中的一个;
根据满足所述选择标准的所述每个无监督机器学习模型算法的所述无监督机器学习模型中的一个,确定用于跨该组无监督机器学习模型算法进行部署的无监督机器学习模型。
4.根据权利要求3所述的计算机实现的方法,所述方法还包括部署所述无监督机器学习模型以用于部署;以及
在对用于部署的无监督部署模型进行部署期间:
将用于部署的无监督机器学习模型应用于所生成的特征以生成无监督输出;
将无监督输出附加到特征以获得扩展特征;
从该组无监督机器学习模型算法中随机选择另一无监督学习模型算法;
在扩展特征上训练随机选择的无监督学习模型算法,以找到满足所述选择标准的具有另一关联参数集的另一个无监督机器学习模型;并且
对于从随机选择的无监督学习模型算法产生的、具有比用于部署的已部署无监督学习模型更好的评估结果的另一个无监督学习模型,用所述另一个无监督学习模型代替用于部署的已部署无监督学习模型。
5.根据权利要求1所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
a)将一组无监督机器学习模型算法应用于所生成的特征,以生成用于每个所述无监督机器学习算法的无监督机器学习模型;
b)将来自所述无监督机器学习模型的无监督输出附加到所述特征;以及
c)重复步骤a)和b)直到满足退出标准。
6.根据权利要求1所述的计算机实现的方法,其中,所述对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率包括:
从历史项目生成转变网络,该转变网络将第一里程碑中的多个第一关键绩效指标与第二里程碑中多个第二关键绩效指标之间的转变相关联;
其中,所述转变的概率是基于所述第一里程碑的所述多个第一关键绩效指标转变到所述第二里程碑中的所述第二关键绩效指标的次数来确定的。
7.根据权利要求1所述的计算机实现的方法,其中,所述对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率包括:
生成多任务有监督机器学习模型,以基于在较早里程碑的关键绩效指标来预测在里程碑的关键绩效指标;
其中,所述关键绩效指标值的概率是当分类模型被用作所述多任务有监督机器学习模型时的类别或者当回归模型被用于所述多任务有监督机器学习模型时的数值得分中的一个;并且
其中,同时地预测在所述里程碑处的所述关键绩效指标值。
8.一种计算机实现的方法,所述方法包括:
从项目绩效数据生成矩阵,所述矩阵被构造为以不同维度的员工相关数据为行、以项目相关数据为列,所述矩阵包括指示从项目绩效数据导出的绩效得分的值;
对于所述矩阵中缺失的值,从训练过程中生成所述矩阵中的缺失值;
对于新项目的输入:
识别与新项目中的员工相关数据和新项目的项目相关数据相匹配的行和列;
将与所识别的行和列对应的值进行汇总;
根据汇总的值对员工相关数据中的员工组进行排序;以及
从所述员工相关数据中选择排序最高的员工组以执行所述新项目。
9.根据权利要求8所述的方法,为了对所生成的特征、所导出的集群、所导出的异常、关键绩效指标值在里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效值:
对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常;
对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率;以及
对所生成的特征、所导出的集群、所导出的异常、所述关键绩效指标值在所述里程碑处的概率执行有监督机器学习模型,以生成所述项目的预测绩效。
10.根据权利要求9所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
执行无监督机器学习以基于所生成的特征生成无监督机器学习模型;
对来自每个所述无监督机器学习模型的结果执行有监督机器学习,以生成有监督集成机器学习模型,每个所述有监督集成机器学习模型对应于每个所述无监督机器学习模型;以及
基于所述无监督机器学习模型的结果相对于由所述有监督集成机器学习模型生成的预测的评估结果,选择所述无监督机器学习模型中的一些作为被配置为导出所述集群和所述异常的模型。
11.根据权利要求9所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
对所生成的特征执行来自一组无监督学习模型算法的每个无监督机器学习模型;
为满足选择标准的每个无监督机器学习模型算法确定具有相关联的参数集的无监督机器学习模型中的一个;
根据满足所述选择标准的所述每个无监督机器学习模型算法的所述无监督机器学习模型中的一个,确定用于跨该组无监督机器学习模型算法进行部署的无监督机器学习模型。
12.根据权利要求11所述的计算机实现的方法,所述方法还包括部署所述无监督机器学习模型以用于部署;以及
在用于部署的无监督机器学习模型的部署期间:
将用于部署的无监督机器学习模型应用于特征以生成无监督输出;
将无监督输出附加到特征以获得扩展特征;
从该组无监督机器学习模型算法中随机选择另一无监督学习模型;
在扩展特征上训练随机选择的无监督学习模型算法,以找到满足所述选择标准的具有另一关联参数集的另一个无监督机器学习模型;
对于从随机选择的无监督学习模型算法产生的、具有比用于部署的已部署无监督学习模型更好的评估结果的另一个无监督学习模型,用另一个无监督学习模型代替用于部署的已部署无监督学习模型。
13.根据权利要求9所述的计算机实现的方法,其中,所述对所生成的特征执行配置有无监督机器学习的自剖析算法,以导出所述项目的集群和异常,包括:
a)将一组无监督机器学习模型算法应用于所生成的特征,以生成用于每个所述无监督机器学习算法的无监督机器学习模型;
b)将来自所述无监督机器学习模型的无监督输出附加到所述特征;以及
c)重复步骤a)和b)直到满足退出标准。
14.根据权利要求9所述的计算机实现的方法,其中,所述对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率包括:
从历史项目生成转变网络,该转变网络将第一里程碑中的多个第一关键绩效指标与第二里程碑中多个第二关键绩效指标之间的转变相关联;
其中,所述转变的概率是基于所述第一里程碑的所述多个第一关键绩效指标转变到所述第二里程碑中的所述第二关键绩效指标的次数来确定的。
15.根据权利要求9所述的计算机实现的方法,其中,所述对所生成的特征执行绩效监测过程,以确定关键绩效指标值在里程碑处的概率包括:
生成多任务有监督机器学习模型,以基于在较早里程碑的关键绩效指标来预测在里程碑的关键绩效指标;
其中,所述关键绩效指标值的概率是当分类模型被用作所述多任务有监督机器学习模型时的类别或者当回归模型被用于所述多任务有监督机器学习模型时的数值得分中的一个;并且
其中,同时地预测在所述里程碑处的所述关键绩效指标值。
CN202180095886.0A 2021-03-17 2021-03-17 基于绩效的项目管理的数据驱动方法 Pending CN116982061A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/022777 WO2022197294A1 (en) 2021-03-17 2021-03-17 Data driven approaches for performance-based project management

Publications (1)

Publication Number Publication Date
CN116982061A true CN116982061A (zh) 2023-10-31

Family

ID=83320646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095886.0A Pending CN116982061A (zh) 2021-03-17 2021-03-17 基于绩效的项目管理的数据驱动方法

Country Status (5)

Country Link
US (1) US20240078516A1 (zh)
EP (1) EP4309102A1 (zh)
JP (1) JP2024508130A (zh)
CN (1) CN116982061A (zh)
WO (1) WO2022197294A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8099311B2 (en) * 2007-02-23 2012-01-17 CrowdEngineering, Inc. System and method for routing tasks to a user in a workforce
US10817530B2 (en) * 2015-01-23 2020-10-27 C3.Ai, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform

Also Published As

Publication number Publication date
WO2022197294A1 (en) 2022-09-22
JP2024508130A (ja) 2024-02-22
EP4309102A1 (en) 2024-01-24
US20240078516A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
Lazzeri Machine learning for time series forecasting with Python
US11893466B2 (en) Systems and methods for model fairness
US11816596B2 (en) Process discovery and optimization using time-series databases, graph-analytics, and machine learning
Castellanos et al. ibom: A platform for intelligent business operation management
US20160155070A1 (en) Decision tree machine learning
US11126946B2 (en) Opportunity driven system and method based on cognitive decision-making process
US10268978B2 (en) Methods and systems for intelligent enterprise bill-of-process with embedded cell for analytics
US20150339604A1 (en) Method and application for business initiative performance management
John et al. Towards an AI‐driven business development framework: A multi‐case study
US20110191351A1 (en) Method and Apparatus for Using Monitoring Intent to Match Business Processes or Monitoring Templates
Delias A positive deviance approach to eliminate wastes in business processes: The case of a public organization
CN109213729B (zh) 结果驱动的案例管理
US20230123527A1 (en) Distributed client server system for generating predictive machine learning models
Camargo et al. Discovering generative models from event logs: data-driven simulation vs deep learning
US20220374814A1 (en) Resource configuration and management system for digital workers
Pereira et al. Towards a characterization of BPM tools' simulation support: the case of BPMN process models
Große Kamphake et al. Digitalization in controlling
US20230351322A1 (en) Systems and methods for supply chain management
Dodin et al. Bombardier aftermarket demand forecast with machine learning
Schobel et al. A predictive approach enabling process execution recommendations
CN116982061A (zh) 基于绩效的项目管理的数据驱动方法
US20200342302A1 (en) Cognitive forecasting
Dumas et al. Process intelligence
US20200371999A1 (en) System and computer program for providing automated actions and content to one or more web pages relating to the improved management of a value chain network
Bogojeska et al. IBM predictive analytics reduces server downtime

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination