CN108573337A - 作业分配 - Google Patents

作业分配 Download PDF

Info

Publication number
CN108573337A
CN108573337A CN201810201057.6A CN201810201057A CN108573337A CN 108573337 A CN108573337 A CN 108573337A CN 201810201057 A CN201810201057 A CN 201810201057A CN 108573337 A CN108573337 A CN 108573337A
Authority
CN
China
Prior art keywords
resource
job
information
scoring
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810201057.6A
Other languages
English (en)
Other versions
CN108573337B (zh
Inventor
熊光磊
C-S·李
C·科尔
M·德克斯奈科斯
K·穆哈勒里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN108573337A publication Critical patent/CN108573337A/zh
Application granted granted Critical
Publication of CN108573337B publication Critical patent/CN108573337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations

Abstract

本文描述了作业分配的示例。在一个示例中,可以接收用于分配的作业。可以分析作业以获取与作业有关的信息。该信息可以包括作业的域和作业的优先级别中的至少一个。此外,可以确定资源的性能以提供资源信息。可以使用监督学习模型来确定资源信息,该监督学习模型包括用于每个作业类型的作业向量以及与每个资源相对应的资源向量。资源信息可以包括资源列表,资源列表具有每个资源完成作业的对应概率和每个资源的性能评分中的至少一个。基于作业信息和资源信息,可以使用专业知识估计建模技术为作业推荐资源,并且可以相应地将作业指派给被推荐的资源。

Description

作业分配
背景技术
一般而言,每个组织具有各种各样的任务,这些任务可以通过资源、自动化地或以其他方式来执行。例如,可以采用手动资源来执行某些任务,并且一旦累积了与这些任务有关的足够的知识,这些任务稍后可以由自动化资源执行。
考虑例如内容审核任务的任务。内容审核任务可以包括在例如FacebookTM或TwitterTM的公共论坛上发布内容之前,检查例如广告提交这样的内容是否符合预定义的策略。公开发布广告之前,组织可以采用手动资源来审核此类内容。此外,该组织还可以使用人工智能(AI)工具来执行繁琐且重复的任务,而不是通过手动资源执行这些任务。
虽然某些任务可以相对简单和直接,但某些任务可以很复杂并且可以需要熟练的资源。通常情况下,任务的复杂性遵循八二规则,其中任务量的百分之八十被认为是容易的,并且可以通过全部努力(即可用资源)的百分之二十来解决,而任务量的百分之二十是困难的并且可以需要花费全部努力的百分之八十。然而,复杂性的定义是相对的。也就是说,手动资源的简单任务对于计算资源可以是困难的,反之亦然。同样,针对一个手动资源的简单任务对另一个人来说可以很难,反之亦然。因此,任务执行的效率可以取决于执行任务的资源。
通常,任务被随机地或由监督者按照经验、或者通过使用诸如循环法的简单指派技术或以先到先服务的方式指派。然而,这样的技术通常不涉及例如任务类型、经验、技能集合、能力和资源的可用性等方面。因此,任务的不当分配可以影响任务被执行的效率。例如,执行任务所用的时间和资源以及输出质量可以受到影响。将理解,低质量的输出可以反过来影响由AI工具执行的计算,其依赖于通过执行这些任务而累积的知识。此外,在输入队列包括大量任务的情况下,手动指派每个任务不仅麻烦,而且还可能容易出错并且效率低下。
这提出了设计任务调度机制的技术问题,其可以高效地识别资源以执行任务来降低成本(计算和其他),最小化计算错误和其他错误,并且更好地利用手动和计算资源。
附图说明
通过以下附图中所示的示例来阐述本公开的特征。在以下附图中,类似的附图标记表示类似的元件,在附图中:
图1示出了根据本公开的示例实施例的用于自适应作业调度的系统;
图2示出了根据本公开的示例实施例的调度作业的示意性流程;
图3示出了根据本公开的示例实施例的评估资源的示意性流程;
图4示出了根据本公开的示例实施例的用于系统的实现的硬件平台;以及
图5示出根据本公开的示例实施例的描绘系统的功能的计算机实现的方法。
具体实施方式
为了简单和示意性的目的,本公开主要参照其示例进行描述。本文描述的本公开的示例可以以不同的组合一起使用。在以下描述中,阐述细节以便提供对本公开的理解。然而,显而易见的是,可以在不限制所有这些细节的情况下实践本公开。此外,贯穿本公开,术语“一”和“一个”旨在表示至少一个特定元素。如本文所使用的术语“包括”意味着包括但不限于,术语“包括”意味着包括但不限于。术语“基于”意味着至少部分基于。此外,术语“作业”和“任务”可以以其单数和复数两种形式互换使用。
本公开描述了用于调度组织中的作业的系统和方法。该作业可以涉及各种域,可以涉及组织的内部管理任务或可以涉及项目相关任务。在示例实施例中,作业调度器可以识别适当的资源以执行要分配的作业。作业调度器可以基于与作业有关的信息和与组织的资源有关的信息来识别适当的资源,与作业有关的信息被称为作业信息,与组织的资源有关的信息被称为资源信息。例如,作业分析器可以分析传入作业以识别属性,诸如域、优先级别和复杂度级别。此外,资源分析器可以提供关于各种资源属性的信息,诸如例如技能集合、经验和性能。
例如,如果作业涉及需要识别广播策略的违规的内容审核,则作业调度器可以推荐具有适当技能、经验和训练以审核这种违规的资源。类似地,如果手边的作业涉及需要域知识(例如与诸如膝上型计算机、移动设备等的设备有关的知识)的内容审核,则作业调度器可以确定另一资源,其可以适当地执行这样的任务。
在一个示例中,作业调度器可以实现诸如专业知识估计建模技术的技术来为要分配的作业推荐适当的资源。基于专业知识估计模型,作业调度器可以通过将作业类型与具有适当背景(例如,技能、经验、培训、能力、可用性等)的资源进行匹配来推荐一个或多个适当的资源来处理作业。在示例实施例中,专业知识估计模型可以采用期望最大化(EM)技术,该期望最大化(EM)技术迭代地确定模型参数和资源的专业知识,直到模型收敛。
在其中可以推荐多个资源的示例中,作业调度器还可以基于与推荐资源的可用性和资源的性能有关的信息,将权重因子与针对该作业推荐的每个资源相关联。基于权重因子,可以将作业指派给被推荐的资源之一。例如,具有最高权重因子的资源可以被选择并指派给该作业。这样的规定确保了熟练的资源不会过度劳累,作业分配均匀。
因此,本公开提供了一种在时间和资源方面以高效的方式分配作业的机制。对与要分配的作业和资源有关的信息的智能处理可以提供对适当资源的识别。此外,可以更好地利用资源,否则会由于分配不足而浪费资源。例如,由于系统基于技能集合、作业类型和可用性信息来提供建议,所以识别不适当资源的概率被最小化。因此,现在可以避免重复的分配周期,从而导致资源的高效利用。此外,由于被推荐的资源可以具有处理这种作业的专业知识,所以可以更好地利用计算资源。此外,与常规系统相比,例如专业知识估计模型这样的、被实现以识别适当资源的技术可以减少所需的CPU(中央处理单元)周期和存储器。
图1示出了根据本公开的示例实施例的用于将作业分配给组织中的资源的系统100。在示例实施例中,系统100使用人工智能(AI)和机器学习技术的组合来执行与作业分配相关联的各种操作。尽管已经相对于与广告内容审核有关的作业来相当详细地解释了本公开,但是本文中所描述的原理也可以用于为其他类型的作业指派资源,例如排除网络问题、为健康保险提供帮助。
在一个示例中,系统100尤其包括作业分析器105、作业调度器110、资源分析器115、作业指派器120、作业数据125和资源数据130。作业数据125可以包括与诸如待分配的作业、分配的作业和已完成的作业的作业有关的详细信息。资源数据130可以包括与组织的资源有关的详细信息。例如,资源数据130可以包括诸如资源的经验、资源的技能集合、资源的可用性以及与资源的性能有关的信息的详细信息。作业数据125和资源数据130可以在系统100内部,或者可以作为系统100外部的独立数据存储被提供。
在操作中,要被分配给资源的新作业可以由作业分析器105接收。作业分析器105使用各种内容分析技术来分析作业的内容,例如主题建模、情感分析、标记化、命名实体识别、句法分析和相关作业获取。基于分析,作业可以被分类为一个或多个预定义的类别或域。类别可以根据内容、任务类型和复杂度级别来定义。此外,分析可以包括确定优先级别、复杂度级别、完成作业所需的平均作业时间等。在一个示例中,每个传入作业可以具有与其关联的预定优先级别,其中优先级别指定服务级别对象,例如,作业的完成的最后期限。作业分析器105在分析后可以提供包括例如作业的域、复杂度等级和优先级别的作业信息,以辅助识别合适的资源。
在一个示例中,在接收到作业信息时,作业调度器110还可以获得关于资源的信息。在一个示例中,作业调度器110可以请求资源分析器115提供与作业分析器105所标识的域中的资源有关的信息。资源分析器115例如可以采用监督学习模型,诸如专业知识估计模型和软边界分类器,它们可以接近每个资源完成传入作业的概率。为此目的,资源数据130可以被用作训练数据以构建监督学习模型。该模型可以包括代表每个资源的历史作业的成功或不成功完成的监督标签。一旦模型被训练,当系统100接收到作业时,资源分析器115就可以提供资源列表,其可以根据学习模型来完成作业。该列表伴随有每个资源完成传入作业的概率。
在一个示例中,资源分析器115可以实现用于确定资源完成作业的概率的双变量监督学习模型,其中模型变量是作为输入特征采用的作业向量和资源向量。作业向量可以代表作业的关键特征。例如,考虑与内容审核有关的作业。在这个示例中,作业向量可以是语言词汇向量,其可以包括针对所有词汇对的二元组频率值。
同样,资源向量是资源关于过去由资源处理的作业的专业知识的动态表示。资源向量具有与作业向量相同的维度。在一个示例中,可以通过构建资源能够在过去完成的所有作业向量的平均词频向量来确定每个资源的资源向量。
在另一示例中,每个资源的资源向量可以被认为是参数的向量,其可以在模型训练期间与专业知识估计模型的模型参数一起被学习。参数估计可以通过例如随机梯度下降来迭代地执行,所述随机梯度下降收敛于最大化训练数据的概率的参数值。这种策略保证生成的资源向量包括用于在它们可以成功完成的作业中频繁出现的词语的高强度值,并且包括用于在它们无法成功完成的作业中频繁出现的词语的低强度值。生成资源向量的副产品是,它们也可以被用于以将他们的专业知识与具有高作业负载的内容区域相对齐为目标,将资源引用到组织训练中。
基于该分析,资源分析器115可以提供指示资源执行新作业的概率的资源信息。
在接收到来自资源分析器110的资源信息和来自作业分析器105的作业信息时,作业调度器110可以推荐一个或多个资源来执行作业。作业调度器110可以使用专业知识估计模型来处理与作业有关的作业信息和与资源有关的资源数据。通过执行这种专业知识估计建模,作业调度器110能够通过理解作业的性质和资源的能力来识别用于新作业的适当资源。专业知识估计模型可以有助于优化在一段时间内传入作业队列资源的性能。在一个示例实施例中,用于执行专业知识估计的作业调度器110可以采用期望最大化(EM)技术。
在识别多个资源以确保作业均匀分布的另一示例实施例中,作业调度器110还可以考虑其他方面,诸如资源的可用性和资源的当前作业队列,同时推荐资源。例如,与具有相对较轻的作业负载的资源相比,具有较高作业负载的资源可以被指派较低的权重。参考图2的描述详细解释指派权重和负载平衡的过程。
基于推荐和与推荐相关联的权重,作业指派器120可以将作业分配给资源。例如,可以选择具有较高权重的资源。相应地,资源可以被分配作业并且资源数据130可以被更新。
图2示出根据本主题的示例实施例的用于将作业分配给资源的示意性流程200。如前所述,作业分析器105可以接收由箭头205指示的新作业。作业分析器105可以包括例如作业预处理器210和作业分类器215。作业预处理器210可以处理与作业有关的信息,用于诸如例如优先级、完成所需的平均努力时间、以及复杂度级别的作业属性的识别。作业预处理器210还可以分析作业的内容以辅助作业分类器215将作业分类到适当的域/类别。应当理解的是,广告的内容可以不仅仅是诸如语言策略违规或语言策略违规的广告类型的指示,广告也可以基于诸如语言复杂性进行分类。
例如,如果新作业涉及审核语言策略违规,则作业预处理器210可接着处理作业详细信息以确定该类型的广告,例如化妆品、电子产品或衣服。作业分类器215然后可以使用受监督的机器学习技术来将作业分类为预定义的类别。在其他示例中,作业分类器215还可以使用非监督机器学习将作业聚类为不同类别以自然地跨越类别。
作业分类器215可以将与新作业有关的作业信息提供给作业调度器110,以辅助识别新作业的适当资源。在一个示例中,作业调度器110可以连续地从资源分析器115接收资源数据,诸如与性能有关的详细信息。性能信息可以包括与性能度量有关的详细信息,诸如例如准确性、灵敏度、特异性、或由资源实现的召回、以及完成给定作业所花费的平均时间。与资源有关的性能信息可以被存储在资源数据130中。
性能的连续监测可以允许作业调度器110在一段时间内动态地适配其资源推荐。换句话说,作业调度器110可以动态地改变为作业推荐的资源,因为资源性能随着时间的推移而演进。
例如,先前不精通审核语言策略违规的内容的资源可以在一段时间内能够处理这样的作业。虽然资源可能先前未被作业调度器110推荐以审核语言策略违规,但是随着资源的性能提高,资源可以在某个时间点由作业调度器110推荐以执行涉及语言策略违规的作业。在一个示例中,当该作业的性能评分大于预定义的阈值时,可以考虑资源用于作业。因此,当资源的性能评分提高并且超出预定义的阈值时,可以为该作业推荐资源。
在一个示例中,资源分析器115可以连续监视资源的性能,并且周期性地重新训练专业知识估计模型。为了捕获专业知识估计模型的性能,资源分析器115可以监视性能度量以决定作业成功或不成功完成的程度。性能度量是诸如例如完成某项作业所需的平均时间、完成作业时所达到的准确性,灵敏度和特异性。例如,在其中任务是从文本中移除不适当的内容的内容审核作业中,准确性可以通过词语的计数来测量,其恰当性由资源除以在作业中词语的总数来正确标识。另外,灵敏度可以通过资源除以不适当词语的总计数进行正确标记的不适当词语的计数来测量。类似地,可以定义特异性。性能度量可以被存储在资源数据130中。
在一个示例实施例中,可以使用推送协议来从资源数据130向资源分析器115提供性能度量用于分析。在另一示例实施例中,拉取协议可以用于由资源分析器115从资源数据130获得性能度量。
基于资源的性能度量的组合,资源分析器115可以计算性能评分并将性能评分与用于在给定域中执行作业的资源相关联。例如,如果资源正在针对语言策略违规来审核内容并且也针对垃圾信息策略违规来审核内容,则资源分析器115可以针对每种内容类型分别对资源的性能进行评分。这样的规定考虑了相同资源在不同域或类别中不同地执行的概率。
度量的组合可以通过使用例如最小-最大归一化或S形变换对每个度量进行归一化和区间变换,并计算所有度量的平均值来完成。性能评分代表了给定作业的成功程度,并可以被认为是训练专业知识估计模型的模糊标签。
继续相同的示例,与审核垃圾信息策略违规的内容相比,资源分析器115可以确定资源在审核语言策略违规的内容方面更好地执行。由于以下各种原因,资源的性能在不同域可以不同:例如与垃圾信息策略违规相比,资源在审核语言策略违规的内容中可以已经具有更多的经验和/或更好的训练,或者其可以只是该资源具有用于处理语言策略违规的能力。无论如何,在监视资源性能时允许这样的粒度可以帮助作业调度器110为新作业做出适当的资源推荐。
此外,如前所述,资源分析器115还可以使用双变量模型来确定完成作业的资源的概率。因此,可以将性能评分和完成任务的概率作为资源信息的一部分提供给作业调度器110以推荐适当的资源。
在一个示例中,作业调度器110可以包括资源推荐器220、权重生成器225和作业负载分析器230。资源推荐器220可以实现专业知识估计技术以确定适当的资源。资源推荐器220可以过滤从资源分析器115接收到的信息以选择属于与要被分配的作业相对应的域的一组资源。例如,资源推荐器220可以基于与每个资源相关联的概率和性能评分来确定资源的调度评分。
基于调度评分和推荐准则,可以推荐一个或多个资源。推荐准则可以定义用于为新作业选择一个或多个资源的逻辑。例如,推荐准则可以指示具有大于预定义阈值的调度评分的所有资源可以被选择。在另一示例中,推荐准则可以指示具有前三名调度评分的资源可以被选择。
在一个示例中,被推荐的资源可能已经具有繁重的作业负载。因此,即使资源可以最适于新作业,将该新作业指派给被推荐的资源也是不可行的。为了考虑这种情况,作业调度器110实现权重生成器225。权重生成器225可以从资源推荐器220接收与推荐资源有关的详细信息,并且从作业负载分析器225接收与当前作业负载有关的详细信息。
作业负载分析器225可以监视资源的作业负载。在一个示例中,与作业负载有关的详细信息可以被存储在资源数据130中。资源数据130中的作业负载信息可以通过指派给每个单独资源的作业的当前数量和复杂度的实时跟踪来提供。应当理解,还可以使用用于跟踪作业负载的其他机制。
除了作业负载监视之外,作业负载分析器225还可以考虑与新作业相关联的优先级别。用于具有预定义优先级的每个新作业的作业负载分析器225确定所有资源的当前较高优先级负载。基于当前较高优先级负载,作业负载分析器225可以基于它们的可用性来向所有资源提供可用性评分。具有最轻作业负载的资源可以获得最高评分,从而表明下一作业可以被指派给该资源。
权重生成器225可以使用从作业负载分析器225获得的资源的可用性评分和来自资源推荐器220的调度评分。在一个示例中,对于可用性评分和/或调度评分的范围,对应的权重因子可以被定义。在示例实施例中,权重生成器225可以使用两个评分的简单线性组合来指派权重因子。在另一示例实施例中,权重生成器225可考虑资源的性能历史(来自调度评分)和当前可用性(来自可用性评分),并以非线性方式确定总体权重因子。
例如,如果资源的可用性评分指示资源非常繁忙,则权重生成器225可以指派低总体权重因子以反映低可用性评分。另一方面,如果被推荐的资源相对繁忙,则权重生成器225仍然可以向被推荐的资源指派高总体权重因子,因为它确定该资源在要处理的作业中特别优越。
在一个示例实施例中,权重生成器225可以向作业指派器120提供与新作业以及具有对应权重因子的被推荐的资源有关的信息。作业指派器120可以基于与被推荐的资源相关联的权重因子来向新作业指派资源。
例如,如果新作业涉及针对语言策略违规的内容审核,则资源推荐器220可以基于从资源分析器115接收的资源信息和从作业分析器105接收到的作业信息来推荐用于作业的前两名资源。然后,权重生成器225可以基于由作业负载平衡器提供的输入向推荐中的每一个指派适当的权重因子。例如,如果第一推荐资源比第二推荐资源繁忙,则第一资源可以被指派比第二资源更低的权重因子。作业指派器120然后可以向第二资源指派作业,因为较高的权重因子与第二资源相关联。
这样的规定确保更好的执行资源不被过度作业使用,从而减少工人不满和磨损的概率。在确保资源满意度的同时,本公开认为替代资源也适于这项作业。此外,作业的高效指派可有助于更好地利用计算资源,因为多个处理循环可以不会因对不适当的资源的分配而在分配和再分配作业中被浪费。
图3示出根据本主题的示例实施例的用于资源简档的示意性流程300。资源简档可以由系统100执行以对资源的性能进行评分,以便确定资源在某些作业上作业的技能等级。在示例实施例中,资源分析器115可以包括资源简档器305和简档分析器310。
在操作中,具有预定性能度量的已知作业,也称为简档建立作业,可以被提供用于简档建立。例如,其内容已经被审核的广告可以作为简档建立任务被提供给资源。在一个示例中,资源可以不知道在处理这些任务时正在测试它们。可以针对预定性能度量来测量资源的性能,例如在资源数据130中注册用于简档建立作业的资源。基于表示域的每个简档建立作业上的资源的性能,资源简档器305可以针对简档建立作业中的每一个对资源进行评分。因此,资源简档器305可以为每个域生成资源的性能评分。
与性能有关的详细信息可以被提供给简档分析器310,该简档分析器310可以集成性能信息,同时确定执行特定作业类型的资源的性能和概率。简档分析器310可以实现用于确定资源执行作业的概率的双变量监督学习模型,其中作业向量和资源向量可以被视为提供资源执行作业的概率的特征。
基于由简档分析器310和简档生成器305提供的信息,作业调度器110可以选择将被推荐用于新作业的资源。例如,作业调度器110可以关于预定义的阈值来分析性能评分。例如,如果资源的性能评分满足或超过预定义的阈值,则该资源可被认为适于执行该类型的作业,并且可被推荐用于该类型的未来作业。如果不是,那么该资源可以不被推荐用于该作业类型。
如前所述,性能数据可以由作业调度器110用于确定将被推荐用于新作业的资源。
图4示出了根据本公开的示例的用于实现系统100的硬件平台400。在一个示例实施例中,硬件平台400可以是可以与本文描述的示例一起使用的计算机系统400。计算机系统400可以表示包括可以在服务器或另一计算机系统中的组件的计算平台。计算机系统400可以通过处理器(例如,单个或多个处理器)或其他硬件处理电路执行本文描述的方法、功能和其他处理。这些方法、功能和其他过程可以体现为存储在计算机可读介质上的机器可读指令,该计算机可读介质可以是非暂态的,诸如硬件存储设备(例如,RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动器和闪存)。计算机系统400可以包括执行存储在非暂态计算机可读存储介质410上的软件指令或代码以执行本公开的方法的处理器405。软件代码包括例如用于获得作业数据和资源数据以及分析作业数据和资源数据以为新作业推荐资源的指令。在一个实施例中,作业分析器105、作业调度器110、资源分析器115和作业指派器120是执行以上步骤的软件代码或组件。
计算机可读存储介质410上的指令被读取和存储在存储装置415或随机存取存储器(RAM)420中。存储装置415提供大的空间用于保存其中至少一些指令可存储以供以后执行的静态数据。所存储的指令可以被进一步编译以生成指令的其他表示并且动态地存储在RAM420中。处理器405从RAM 420读取指令并且执行所指示的动作。
计算机系统400进一步包括输出设备425以提供至少一些执行结果作为输出,其包括但不限于向诸如外部代理的用户的可视信息。输出设备可以包括计算设备上的显示器。例如,显示器可以是手机屏幕或膝上型计算机屏幕。GUI和/或文本在显示屏幕上作为输出呈现。计算机系统400还包括输入设备430,用于向用户或另一设备提供用于输入数据和/或以其他方式与计算机系统400交互的机制。输入设备可以包括例如键盘、小键盘、鼠标、或触摸屏。在一个实施例中,智能风险管理代理的输出被显示在输出设备425上。这些输出设备425和输入设备430中的每一个可以被一个或多个附加外围设备连接。
网络通信器435可以被提供用于将计算机系统400连接到网络,并且继而连接到与网络连接的其他设备,例如包括其他客户端、服务器、数据存储器和接口。网络通信器435可以包括例如网络适配器,诸如LAN适配器或无线适配器。计算机系统400包括用于访问数据源445的数据源接口440。数据源是信息资源。作为示例,例外和规则的数据库可以是数据源。此外,知识存储库和策划数据可以是其他数据源的示例。
图5示出根据本公开的示例实施例的描绘系统100的功能的计算机实现的方法500。为了简洁起见,在图1、图2、图3和图4的描述中详细解释的系统105的构造和操作特征在图5的描述中没有详细解释。
在方法框505处,方法500开始于接收用于分配的作业。该作业可以涉及由组织中的资源执行的内部任务或外部任务。作业分析器110可以接收作业。
在框510处,可以处理作业的内容以辅助对作业的分类。在一个示例中,作业分析器110可以基于主题建模技术、情感分析技术、标记化技术、命名实体识别技术、自然语言处理技术和相关作业获取技术中的至少一个来实现。
在框515处,可基于分析的内容将作业分类到对应的域中。在一个示例中,作业分析器110可以使用监督学习技术和非监督学习技术中的至少一个来将作业分类到对应的域中。该域可以根据内容类型、复杂度等级和/或优先级来定义。
在框520处,可以接收与资源有关的信息。该信息可以包括与资源的性能以及资源执行作业的概率有关的详细信息。在一个示例中,资源分析器115可以提供资源信息。在一个示例中,资源分析器115还可以基于用于确定资源的性能的简档建立作业来连续地监视资源的性能以确定资源信息。资源信息可以使用诸如例如二元监督学习模型的监督学习模型来确定,其包括用于每种作业类型的作业向量和与每种资源相对应的资源向量。资源信息可以包括具有完成作业的每个资源的对应概率和每个资源的性能评分中的至少一个的资源列表。
在框525处,基于作业信息和资源信息,一个或多个资源可以被推荐用于执行作业。在一个示例中,作业调度器110可以实现专业知识估计建模技术来推荐资源。
在一个示例中,当要从资源列表推荐多个资源时,在框525-1处,基于作业信息和资源信息可以生成被推荐的资源的调度评分。在框525-2处,可以基于对应资源的作业负载的当前队列来生成被推荐的资源中的每一个的可用性评分。在框525-3处,可以基于对应的调度评分和对应的可用性评分中的至少一个,将加权因子与被推荐的资源中的每一个相关联。例如,资源在作业类型方面很熟练,但可能不可用,可以将低权重因子与这样的资源相关联,使得资源可以不被选择。同样,如果资源是熟练的并且具有繁忙的队列,但是已经指派的作业不是高优先级的,则高权重因子可以与这样的资源相关联。
在框530处,例如可基于与被推荐的资源相关联的权重因子将作业指派给被推荐的资源。在一个示例中,作业指派器120可以将作业指派给被推荐的资源。例如,作业指派器120可以选择具有最高权重因子的资源。
本文已经描述和示出的是本公开的示例。本文使用的术语、描述和附图仅通过说明的方式阐述并且不意味着限制。在本主题的精神和范围内可以做出许多变体,这些变体旨在由所附权利要求及其等同物限定,其中除非另有说明,否则所有术语均以其最宽泛的合理含义来表示。

Claims (20)

1.一种系统,包括:
处理器;
作业分析器,所述作业分析器耦合到所述处理器以,
接收用于分配的作业;以及
使用内容分析技术来分析所述作业以获得与所述作业有关的信息,所述信息包括所述作业的域和所述作业的优先级别中的至少一个;
资源分析器,所述资源分析器耦合到所述处理器以使用监督学习模型来确定与资源有关的信息,所述监督学习模型包括用于每个作业类型的作业向量和与每个资源相对应的资源向量,并且其中所述信息包括资源列表,所述资源列表具有每个资源完成所述作业的对应概率和每个资源的性能评分中的至少一个;
作业调度器,所述作业调度器耦合到所述处理器以通过使用专业知识估计建模技术处理所述作业信息和所述资源信息来从所述资源列表中推荐资源,以便执行所述作业;以及
作业指派器,所述作业指派器耦合到所述处理器以将所述作业指派给所述资源。
2.根据权利要求1所述的系统,其中所述作业调度器从所述资源列表中推荐用于所述作业的多个资源,并且其中所述作业调度器包括:
作业推荐器,用以基于所述对应的作业信息和所述对应的资源信息针对所述多个资源中的每一个资源生成调度评分;
作业负载平衡器,用以基于对应资源的作业负载的当前队列,针对所述多个资源中的每一个资源生成可用性评分;以及
权重生成器,用以基于所述对应的调度评分和所述对应的可用性评分来将加权因子与所述多个资源中的每一个资源相关联。
3.根据权利要求2所述的系统,其中所述作业指派器基于与所述多个资源中的每一个资源相关联的所述权重因子,将所述作业指派给所述多个资源中的所述资源。
4.根据权利要求1所述的系统,其中所述作业调度器实现采用期望最大化技术来迭代地确定模型参数和资源的专业知识的所述专业知识估计建模技术。
5.根据权利要求1所述的系统,其中所述作业分析器包括作业预处理器,所述作业预处理器基于主题建模技术、情感分析技术、标记化技术、命名实体识别技术、自然语言处理技术以及相关的作业获取技术中的至少一个来分析所述作业的内容。
6.根据权利要求5所述的系统,其中所述作业分析器包括作业分类器,所述作业分类器使用监督学习技术和非监督学习技术之一,基于所分析的内容将所述作业分类到对应域中。
7.根据权利要求1所述的系统,其中所述资源分析器包括捕获所述专业知识估计模型中的所述性能的简档生成器,所述简档生成器用以:
基于简档建立作业来监视所述资源的性能,所述简档建立作业是具有预定性能度量的作业;以及
确定指示所述资源关于所述预定性能度量的所述性能的所述性能评分。
8.根据权利要求1所述的系统,其中所述资源分析器包括实施双变量监督学习模型以确定所述资源执行所述作业的概率的简档分析器。
9.一种方法,包括:
接收用于分配的作业;
使用内容分析技术来分析所述作业以获得与所述作业有关的信息,所述信息包括所述作业的域和所述作业的优先级别中的至少一个;
使用监督学习模型来确定与资源有关的信息,所述监督学习模型包括用于每个作业类型的作业向量和与每个资源相对应的资源向量,并且其中所述信息包括资源列表,所述资源列表具有每个资源完成所述作业的对应概率和每个资源的性能评分中的至少一个;
通过使用专业知识估计建模技术处理所述作业信息和所述资源信息来从所述资源列表中推荐资源,以便执行所述作业;以及
将所述作业指派给被推荐的资源。
10.根据权利要求9所述的方法,其中当要从所述资源列表中推荐多个资源时,推荐所述资源包括:
基于所述对应的作业信息和所述对应的资源信息,针对所述多个资源中的每一个资源生成调度评分;
基于对应资源的作业负载的当前队列,针对所述多个资源中的每一个资源生成可用性评分;以及
基于所述对应的调度评分和所述对应的可用性评分来将加权因子与所述多个资源中的每一个资源相关联。
11.根据权利要求10所述的方法,其中所述指派所述作业包括:基于与所述多个资源中的每一个资源相关联的所述权重因子,从所述多个资源中选择所述资源,所述作业被指派给所选择的资源。
12.根据权利要求9所述的方法,其中所述被推荐的资源是基于采用期望最大化技术以迭代地确定模型参数和资源的专业知识的专业知识估计建模技术而被确定。
13.根据权利要求9所述的方法,其中所述分析所述作业包括:
使用所述内容分析技术来分析所述作业的内容;以及
基于所分析的内容,使用监督学习技术和非监督学习技术中的一种将所述作业分类到对应域中。
14.根据权利要求9所述的方法,其中所述方法还包括:
基于简档建立作业来监视所述资源的性能,所述简档建立作业是具有预定性能度量的作业;以及
确定指示所述资源关于所述预定性能度量的所述性能的所述性能评分。
15.根据权利要求9所述的方法,其中所述监视包括基于双变量监督学习模型来确定所述资源执行所述作业的概率。
16.一种非暂态计算机可读介质,所述非暂态计算机可读介质包括机器可读指令,所述机器可读指令可由处理器执行以:
接收用于分配的作业;
分析所述作业以获得与所述作业有关的信息,所述信息包括所述作业的域和所述作业的优先级别中的至少一个;
使用监督学习模型来确定与资源有关的信息,所述监督学习模型包括用于每个作业类型的作业向量和与每个资源相对应的资源向量,并且其中所述信息包括资源列表,所述资源列表具有每个资源完成所述作业的对应概率和每个资源的性能评分中的至少一个;
通过使用专业知识估计建模技术处理所述作业信息和所述资源信息来从所述资源列表中推荐资源,以便执行所述作业;以及
将所述作业指派给被推荐的资源。
17.根据权利要求16所述的非暂态计算机可读介质,其中当要从所述资源列表中推荐多个资源时,所述处理器:
基于所述对应的作业信息和所述对应的资源信息,针对所述多个资源中的每一个资源生成调度评分;
基于对应资源的作业负载的当前队列,针对所述多个资源中的每一个资源生成可用性评分;以及
基于所述对应的调度评分和所述对应的可用性评分来将加权因子与所述多个资源中的每一个资源相关联。
18.根据权利要求17所述的非暂态计算机可读介质,其中为了指派所述作业,所述处理器基于与所述多个资源中的每一个资源相关联的所述权重因子来从所述多个资源中选择所述资源,所述作业被指派分配给所选择的资源。
19.根据权利要求16所述的非暂态计算机可读介质,其中所述被推荐的资源是基于采用期望最大化技术以迭代地确定模型参数和资源的专业知识的专业知识估计建模技术而被确定。
20.根据权利要求16所述的非暂态计算机可读介质,其中为了分析所述作业,所述处理器:
使用所述内容分析技术来分析所述作业的内容;以及
基于所分析的内容,使用监督学习技术和非监督学习技术之一将所述作业分类到对应的域中。
CN201810201057.6A 2017-03-10 2018-03-12 作业分配 Active CN108573337B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762470052P 2017-03-10 2017-03-10
US62/470,052 2017-03-10
US15/917,510 2018-03-09
US15/917,510 US11010696B2 (en) 2017-03-10 2018-03-09 Job allocation

Publications (2)

Publication Number Publication Date
CN108573337A true CN108573337A (zh) 2018-09-25
CN108573337B CN108573337B (zh) 2021-12-21

Family

ID=63444894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201057.6A Active CN108573337B (zh) 2017-03-10 2018-03-12 作业分配

Country Status (3)

Country Link
US (1) US11010696B2 (zh)
CN (1) CN108573337B (zh)
AU (1) AU2018201691B2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728116B1 (en) * 2017-11-03 2020-07-28 EMC IP Holding Company LLC Intelligent resource matching for request artifacts
US20200302363A1 (en) * 2018-06-18 2020-09-24 Necf Systems and methods for generating an architecture for production of goods and services
US10754704B2 (en) * 2018-07-11 2020-08-25 International Business Machines Corporation Cluster load balancing based on assessment of future loading
US11269943B2 (en) * 2018-07-26 2022-03-08 JANZZ Ltd Semantic matching system and method
US20200302369A1 (en) * 2019-03-19 2020-09-24 Servicenow, Inc. Systems and method for work item skill determination
US10977078B2 (en) * 2019-08-20 2021-04-13 Verizon Digital Media Services Inc. Systems and methods for dynamic load distribution in a multi-tier distributed platform
KR102207739B1 (ko) * 2020-03-24 2021-01-26 쿠팡 주식회사 사용자에게 업무를 할당하는 방법 및 그 장치
US20210383308A1 (en) * 2020-06-05 2021-12-09 Job Market Maker, Llc Machine learning systems for remote role evaluation and methods for using same
US20230057537A1 (en) * 2021-08-06 2023-02-23 At&T Intellectual Property I, L.P. Facilitating striated random restart during allocation of resources using a heuristic approach

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945510A (zh) * 2012-10-23 2013-02-27 西安理工大学 一种求解复杂资源受限项目调度问题的有效方法
CN103761286A (zh) * 2014-01-14 2014-04-30 河南科技大学 一种基于用户兴趣的服务资源检索方法
US8918789B2 (en) * 2011-10-26 2014-12-23 International Business Machines Corporation Task assignment using ranking support vector machines
US20150096043A1 (en) * 2013-09-27 2015-04-02 Ned M Smith Methods and apparatus to identify privacy relevant correlations between data values
CN104871149A (zh) * 2012-12-21 2015-08-26 国际商业机器公司 具有特殊技能和/或能力的资产分配
US20150317582A1 (en) * 2014-05-01 2015-11-05 Microsoft Corporation Optimizing task recommendations in context-aware mobile crowdsourcing
US20160063192A1 (en) * 2014-08-29 2016-03-03 General Electric Company Optimizing state transition set points for schedule risk management
US20160203221A1 (en) * 2014-09-12 2016-07-14 Lithium Technologies, Inc. System and apparatus for an application agnostic user search engine
CN105809323A (zh) * 2016-02-23 2016-07-27 平安科技(深圳)有限公司 任务分配方法和系统
CN105825333A (zh) * 2016-03-14 2016-08-03 南京邮电大学 基于云平台匿名地点的众包服务系统及任务分配方法
CN106203716A (zh) * 2016-07-13 2016-12-07 广东工业大学 一种生产单元的双重资源配置的分析方法和装置
CN106339852A (zh) * 2016-08-10 2017-01-18 南京邮电大学 具有偏好的众包任务分配方法
CN106462818A (zh) * 2014-06-09 2017-02-22 微软技术许可有限责任公司 评估众包环境中的工作者

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185422B2 (en) * 2006-07-31 2012-05-22 Accenture Global Services Limited Work allocation model
US8099311B2 (en) * 2007-02-23 2012-01-17 CrowdEngineering, Inc. System and method for routing tasks to a user in a workforce
US8626545B2 (en) * 2011-10-17 2014-01-07 CrowdFlower, Inc. Predicting future performance of multiple workers on crowdsourcing tasks and selecting repeated crowdsourcing workers
US20170076241A1 (en) * 2015-09-10 2017-03-16 Xerox Corporation Method and system for selecting crowd workforce for processing task
US10134006B2 (en) * 2016-12-07 2018-11-20 Invia Robotics, Inc. Workflow management system and methods for coordinating simultaneous operation of multiple robots

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918789B2 (en) * 2011-10-26 2014-12-23 International Business Machines Corporation Task assignment using ranking support vector machines
CN102945510A (zh) * 2012-10-23 2013-02-27 西安理工大学 一种求解复杂资源受限项目调度问题的有效方法
CN104871149A (zh) * 2012-12-21 2015-08-26 国际商业机器公司 具有特殊技能和/或能力的资产分配
US20150096043A1 (en) * 2013-09-27 2015-04-02 Ned M Smith Methods and apparatus to identify privacy relevant correlations between data values
CN103761286A (zh) * 2014-01-14 2014-04-30 河南科技大学 一种基于用户兴趣的服务资源检索方法
US20150317582A1 (en) * 2014-05-01 2015-11-05 Microsoft Corporation Optimizing task recommendations in context-aware mobile crowdsourcing
CN106462818A (zh) * 2014-06-09 2017-02-22 微软技术许可有限责任公司 评估众包环境中的工作者
US20160063192A1 (en) * 2014-08-29 2016-03-03 General Electric Company Optimizing state transition set points for schedule risk management
US20160203221A1 (en) * 2014-09-12 2016-07-14 Lithium Technologies, Inc. System and apparatus for an application agnostic user search engine
CN105809323A (zh) * 2016-02-23 2016-07-27 平安科技(深圳)有限公司 任务分配方法和系统
CN105825333A (zh) * 2016-03-14 2016-08-03 南京邮电大学 基于云平台匿名地点的众包服务系统及任务分配方法
CN106203716A (zh) * 2016-07-13 2016-12-07 广东工业大学 一种生产单元的双重资源配置的分析方法和装置
CN106339852A (zh) * 2016-08-10 2017-01-18 南京邮电大学 具有偏好的众包任务分配方法

Also Published As

Publication number Publication date
US11010696B2 (en) 2021-05-18
CN108573337B (zh) 2021-12-21
AU2018201691A1 (en) 2018-09-27
AU2018201691B2 (en) 2018-12-06
US20180260746A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN108573337A (zh) 作业分配
CA3106673C (en) Workflow optimization
Fündeling et al. A priority-rule method for project scheduling with work-content constraints
Michalos et al. A web based tool for dynamic job rotation scheduling using multiple criteria
US11526695B2 (en) Evaluating impact of process automation on KPIs
US11227225B1 (en) Predictive project saturation decision making process
Sindhgatta et al. Context-aware analysis of past process executions to aid resource allocation decisions
CN116915710A (zh) 流量预警方法、装置、设备及可读存储介质
Scanavachi Moreira Campos et al. Multicriteria framework for selecting a process modelling language
CN104871149A (zh) 具有特殊技能和/或能力的资产分配
CN108633310A (zh) 基于类别的执行调度
Karaulova et al. Framework of reliability estimation for manufacturing processes
US20160078380A1 (en) Generating cross-skill training plans for application management service accounts
Sindhgatta et al. Resource-Based Adaptive Robotic Process Automation: Formal/Technical Paper
Janicijevic et al. Software quality improvement: a model based on managing factors impacting software quality
EP3871171A1 (en) System and method for adapting an organization to future workforce requirements
WO2020062047A1 (zh) 更新调度规则的方法、设备、系统、存储介质和终端
CN113205391B (zh) 基于历史订单匹配度的派单方法、电子设备和计算机可读介质
CN115827232A (zh) 一种为业务模型确定配置的方法、装置、系统及设备
Kłos et al. Using a simulation method for intelligent maintenance management
Baldwa et al. A combined simulation and machine learning approach for real-time delay prediction for waitlisted neurosurgery candidates
Sishi et al. The Application of Decision Tree Regression to Optimize Business Processes
CN112948092A (zh) 批量作业的调度方法、装置、电子设备及存储介质
CN113344415A (zh) 基于深度神经网络的业务分配方法、装置、设备及介质
Attri et al. Analysis of work-system design stage of production system life cycle using integrated ISM-MIMBI analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant