CN113785317A - 使用因领域而异的建模来进行反馈挖掘 - Google Patents

Abstract

存在对更有效且高效的反馈挖掘系统的需求。该需求可通过例如用于使用因领域而异的建模来执行反馈挖掘的解决方案来被解决。在一个示例中，一种方法包括：处理每一评价者数据对象和评价任务数据对象以相对于评价任务数据对象生成特定评价者数据对象的特定凭证分数；对于与特定评价者数据对象相关联的每一反馈数据对象，处理该特定反馈数据对象和该特定评价者数据对象的凭证分数以生成该特定反馈数据对象的反馈分数；以及处理反馈数据对象的每一反馈分数来生成评价任务数据对象的协作评价。

Description

使用因领域而异的建模来进行反馈挖掘

相关申请

本申请要求在2019年2月21日提交的美国临时申请No.62/808,356的优先权，该申请的全文通过引用合并于此。

背景技术

本发明的各实施例解决了与执行反馈挖掘相关的技术挑战。现有反馈挖掘技术不适合高效且可靠地执行评价反馈挖掘。本发明的各实施例解决了上述反馈挖掘系统的缺点，并公开了用于高效且可靠地执行评价反馈挖掘的各种技术。

发明内容

一般而言，本发明的实施例提供了用于执行评价反馈挖掘的方法、装置、系统、计算设备、计算实体等。某些实施例利用使用凭证评分机器学习模型、反馈评分机器学习模型、反馈聚合机器学习模型、评价者相关空间、任务特征空间、评价者数据对象的预配置的才能分布、评价者数据对象的动态预配置的才能分布、因领域而异的评价范围、奖励生成机器学习模型等等中的一者或多者来执行评价反馈挖掘的系统、方法和计算机程序产品。某些实施例利用执行评价反馈挖掘以完成以下评价任务中的至少一项的系统、方法和计算机程序产品：知识产权资产有效性分析(例如，专利有效性分析)、知识产权资产侵权分析(例如，专利侵权分析)和知识产权资产估值分析(例如，专利估值分析)。

反馈挖掘是指位于各种新兴数据分析领域(诸如自然语言处理、预测建模、机器学习等)的交叉点的一组问题。反馈挖掘的一个主要目标是，至少部分地基于各评论者和/或观察者提供的反馈数据来推断关于预测任务的预测见解，这些评论者和/或观察者表达了对潜在预测任务的想法。现有反馈挖掘系统由于不能正确地考虑因领域而异的信息和结构而存在许多缺点。例如，许多现有反馈挖掘系统对与反馈提供方的背景和活动有关的过去数据是不可知的，这些数据可以提供与反馈提供方的评价贡献有关的重要预测见解。作为另一示例，许多现有反馈挖掘系统无法生成正确地符合旨在在其中部署和使用反馈挖掘系统的底层域的语义结构的评价指定(designation)。作为又一示例，许多现有反馈挖掘系统无法生成和利用独立的数据结构，这些数据结构以便于对任务特征、反馈特征和评价者特征之间的预测关系进行有效和高效建模的方式来定义评价任务的各特征、反馈特征和评价者特征。

许多现有反馈挖掘系统不能正确地整合因领域而异的信息和结构，这对于寻求利用反馈挖掘来针对不包含明显答案的评价任务生成自动评价的应用而言尤其成问题。此类自动评价的示例包括需要专业/专家分析的评价，并且可涉及以不能始终正确地编码到通用自然语言处理模型或通用机器学习模型的数值结构中的方式来进行判断。例如，在对知识产权资产进行无效性分析、对知识产权分析进行侵权分析和/或对知识产权资产进行估值分析时，反馈挖掘系统将从整合与特定领域的语义结构有关的因领域而异的信息、特定领域中的所需输出指定、与相对于特定领域的各种评价任务有关的评价者背景信息等中极大地获益。然而，由于现有反馈挖掘系统不能正确地适应因领域而异的信息和结构，因此它们目前不能提供用于针对不包含明显答案的评价任务执行自动评价的高效且可靠的解决方案。因此，存在对如下反馈挖掘系统的技术需求：该反馈挖掘系统在执行高效且可靠的协作评价中适应因领域而异的信息和结构并整合此类因领域而异的信息和结构。

本发明的各实施例解决了现有反馈挖掘系统的技术缺点。例如，各实施例解决现有反馈挖掘系统的技术缺点，以正确地考虑因领域而异的信息和结构。在一些实施例中，反馈挖掘系统处理包含与反馈数据对象相关联的评价者特征的评价者数据对象，以提取可被用于确定反馈数据对象关于特定评价任务的反馈分数的信息。这种评价者信息可以包括静态确定的信息(诸如学位信息)以及动态确定的信息(其可以至少部分地基于评价者简档与反馈挖掘系统的交互来更新)。因此，通过将评价者特征显式地编码成到本发明各实施例所提供的多层反馈挖掘解决方案的输入，所述实施例可以提供用于将相对于评价者背景的因领域而异的信息整合到反馈挖掘系统的操作中的强大机制。这种有评价者意识的分析可以极大地增强反馈挖掘系统整合因领域而异的信息的能力，并从而在专业/专家分析领域中执行有效且高效的评价分析。

作为又一示例，本发明的各实施例提供了作为评价任务数据对象的评价任务特征、作为反馈数据对象的反馈数据特征以及作为评价者数据对象的评价者特征的独立统一表示。通过提供评价任务特征、反馈数据特征和评价者特征的独立统一表示，所述实施例提供了精确且全面地映射反馈挖掘系统的输入空间的强大数据模型。在一些实施例中，数据模型随后被用于创建多层机器学习框架，该框架首先整合评价任务数据对象和评价者数据对象，以生成评价者关于特定评价任务的凭证分数，随后整合凭证分数和反馈数据对象以生成反馈分数，并且随后组合各反馈对象的各反馈分数以至少部分地基于各评价者简档的各评价的经聚合但分布式的预测知识来生成协作评价。

通过提供评价任务特征、反馈数据特征和评价者特征的独立统一表示，另外利用此类独立统一表示来设计多层机器学习体系结构，本发明的各实施例提供了在将因领域而异的信息和概念结构纳入考虑的同时执行反馈挖掘的强大解决方案。在这样做时，本发明的各实施例极大地增强现有反馈挖掘系统整合因领域而异的信息的能力，并从而在专业/专家分析领域中执行有效且高效的评价分析。因此，本发明的各实施例解决了现有反馈挖掘系统的技术缺点，并对提高现有反馈处理系统的效率和/或可靠性(诸如现有反馈处理系统在使用专业/专家评价领域的因领域而异的信息执行反馈处理时的效率和/或可靠性)做出了重要的技术贡献。

根据本发明的一个方面，提供了一种方法。在一个实施例中，该方法包括：对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对评价任务数据对象生成对应的评价者数据对象的对应凭证分数；对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的对应凭证分数以生成反馈分数；以及通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成评价任务数据对象的协作评价。

根据本发明的另一方面，提供了一种计算机程序产品。该计算机程序产品可包括其中存储有计算机可读程序代码部分的至少一个计算机可读存储介质，该计算机可读程序代码部分包括被配置成进行以下操作的可执行部分：对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对评价任务数据对象生成对应的评价者数据对象的对应凭证分数；对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的对应凭证分数以生成反馈分数；以及通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成评价任务数据对象的协作评价。

根据本发明的又一方面，提供了一种包括至少一个处理器和包含计算机程序代码的至少一个存储器的装置。在一个实施例中，该至少一个存储器和计算机程序代码可被配置成使用处理器来使得该装置：对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对评价任务数据对象生成对应的评价者数据对象的对应凭证分数；对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的对应凭证分数以生成反馈分数；以及通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成评价任务数据对象的协作评价。

附图说明

以总括方式对本发明作了如此描述，现在将参照附图，这些附图不一定按比例绘制，并且在附图中：

图1提供可被用于实施本发明的诸实施例的体系结构的示例性概览。

图2提供了根据本文讨论的一些实施例的示例协作评价计算实体。

图3提供了根据本文讨论的一些实施例的示例提供方反馈计算实体。

图4提供了根据本文讨论的一些实施例的示例客户端计算实体。

图5是根据本文讨论的一些实施例的用于相对于评价任务数据对象来执行协作评价的示例过程的数据流程图。

图6是根据本文讨论的一些实施例的评价任务数据对象的操作示例。

图7是根据本文讨论的一些实施例的反馈数据对象的操作示例。

图8是根据本文讨论的一些实施例的评价者数据对象的操作示例。

图9是根据本文讨论的一些实施例的用于相对于评价任务数据对象来生成反馈数据对象的反馈分数的示例过程的数据流程图。

图10是根据本文讨论的一些实施例的用于确定评价者数据对象的凭证分数的示例过程的流程图。

图11是根据本文讨论的一些实施例的评价相关空间的操作示例。

图12是根据本文讨论的一些实施例的用于至少部分地基于用于地面真值凭证分数的任务距离度量来确定凭证分数的示例过程的流程图。

图13是根据本文讨论的一些实施例的评价任务特征空间的操作示例。

图14是根据本文讨论的一些实施例的用于至少部分地基于各反馈数据对象的反馈分数来生成协作评价的示例过程的数据流程图。

具体实施方式

下面将参考附图来更充分地描述本发明的各实施例，在附图中示出了本公开的一些而非全部实施例。事实上，本发明可以按许多不同的形式被实现并且不应被解释为限于本文中所阐述的各实施例；相反，这些实施例被提供来使得本公开将满足可适用的法律要求。除非另有说明，否则本文中使用的术语“或”具有替代和合取的意义。术语“说明性”和“示例性”被用作没有质量等级指示的示例。贯穿全文，相同的编号指代相同的元素。此外，尽管参考预测数据分析来描述了本发明的某些实施例，但本领域普通技术人员将认识到所公开的概念可被用来执行其他类型的数据分析。

I.概述、定义和技术改进

本文所讨论的是用于使用因领域而异的建模进行反馈挖掘的方法、装置、系统、计算设备、计算实体等。然而，如将认识到的，所公开的概念可被用来执行任何类型的自然语言处理分析、任何类型的预测数据分析和/或任何类型的评价数据分析。

某些术语的定义

术语“协作评价”可指包括基于与两个或更多个评价者对象相关联的反馈数据对象生成的一个或多个预测的数据对象。协作评价可对应于由评价任务对象定义的预测任务的特征。例如，评价任务对象可以指示资产估价请求。作为响应，协作评价系统可以接收各种反馈数据对象，每一反馈数据对象指示与对应评价者对象相关联的特定评价者用户简档对该资产估价请求的意见。协作评价系统随后可利用各种反馈数据对象来生成协作评价，该协作评价指示对应于资产估价请求的聚合资产估价分数。

术语“评价者对象”可指包含与特定评价者用户简档的一个或多个评价者属性有关的信息的数据对象。例如，评价者对象可包括关于以下一个或多个的信息：该特定评价者用户简档的所记录的技术专业知识、该特定评价者用户简档的所记录的技术经验、该特定评价者用户简档的过去表现、其他评价者用户简档对该特定评价者用户简档的评级。在一些实施例中，可以根据多维评价者相关空间(诸如多维评价者相关空间，其第一维度与教育专业知识分数相关联，其第二维度与职业专业知识分数相关联，等等)的各种维度来定义评价者对象的领域。

术语“评价任务对象”可指包括与所请求的预测的一个或多个评价属性有关的信息的数据对象。例如，评价任务对象可以指示具有特定属性的特定资产的资产估价请求。作为另一示例，评价估价请求可指示特定知识产权资产的有效性确定请求。作为另一示例，评价估价请求可指示特定知识产权资产的侵权确定请求。在一些实施例中，可以根据多维评价任务相关空间(诸如多维评价任务相关空间，其第一维度与任务元类型指示符相关联，其第二维度与任务类别类型指示符相关联，等等)的各种维度来定义评价任务对象的领域。

术语“凭证分数”可指如下数据：该数据指示关于评价者对象的评价者属性与评价任务对象的所请求预测属性的相关性的评价。例如，凭证分数可指示关联于评价者对象的评价者用户简档的专业知识和/或经验与关联于评价任务对象的所请求预测的相关程度。凭证评分可由凭证评分机器学习模型(例如，神经网络凭证评分机器学习模型)生成，其中凭证评分机器学习模型被配置成处理评价者对象和评价数据对象，以针对评价数据对象生成评价者对象的凭证评分。凭证评分机器学习模型可包括无监督机器学习模型和/或有监督机器学习模型中的至少一者，例如使用与反馈数据对象的过去评级有关的数据和/或特定评价者用户简档的确认或拒绝评价的过去地面真值信息来训练的有监督机器学习模型。

术语“反馈数据对象”可指如下数据对象：该数据对象包括由关于评价任务对象的评价者对象提供的关于反馈数据对象的一个或多个反馈属性的信息。在一些实施例中，反馈数据对象包括以下操作中的一者或多者：(i)一个或多个数值输入(例如，与资产估价的评级有关的数值输入、与知识产权资产的无效可能性有关的数值输入，等等)，(ii)一个或多个类别输入(例如，与将知识产权资产指定为可能无效有关的类别输入)，以及(iii)一个或多个自然语言输入(例如，非结构化文本数据，指示评价者用户简档对所请求预测的意见)。在一些实施例中，至少部分地基于评价者对象中的格式定义数据和/或评价任务对象中的格式定义数据来确定反馈数据对象的格式。

术语“反馈分数”可指指示与反馈数据对象对于生成评价任务数据对象的协作评价的预测贡献有关的指示的数据，其中反馈数据对象的预测贡献是部分地基于与反馈对象相关联的评价者对象的凭证分数来确定的。例如，指示专家评价者简档对资产低估价的意见的反馈数据对象可具有相对较高的反馈分数，并且因而对资产估价的协作评价具有显著的向下影响。作为另一示例，指示专家侵权分析简档对资产低估价的意见的反馈数据对象可具有相对较低的反馈分数，并且因而对资产估价的协作评价具有较不显著的向下影响。

术语“评价者特征”可指指示评价者数据对象的属性类别的数据，其中评价者数据对象的属性类别的值可被用于在多维评价者相关空间中对评价者数据对象进行建模，以便将评价者数据对象与一个或多个其他评价者数据对象进行数值比较。评价者特征的示例包括：与对应评价者数据对象的所记录的技术专业知识有关的评价者特征、对应评价者数据对象的所记录的技术经验、对应评价者数据对象的过去表现、其他评价者用户简档对对应评价者数据对象的评级，等等。

术语“评价者特征值”可指指示评价者数据对象的属性类别的当前值的数据。评价者特征值的示例包括：与对应评价者数据对象的所记录的技术专业知识有关的评价者特征值、对应评价者数据对象的所记录的技术经验、对应评价者数据对象的过去表现、其他评价者用户简档对对应评价者数据对象的评级，等等。

术语“评价者维度值”可指指示评价者数据对象相对于多维评价者相关空间的特定维度的值的数据，评价者数据对象被映射在该多维评价者相关空间中。例如，多维评价者关联空间可以具有与经映射评价者数据对象的教育专业知识分数相关联的第一维度、与经映射评价者数据对象的职业专业知识分数相关联的第二维度，等等。在所述实施例中，经映射评价者数据对象的评价者维度值可指示经映射评价者数据对象的教育专业知识分数或经映射评价者数据对象的职业专业知识分数。

术语“地面真值评价者数据对象”可指可访问地面真值凭证分数的评价者数据对象。例如，协作评价计算实体可以访问特定地面真值评价者数据对象的观察到的凭证分数来作为协作评价计算实体的训练数据的一部分，并利用观察到的凭证分数来生成地面真值评价者数据对象。地面真值评价者数据对象可被用于生成多维评价者相关空间，该空间可进而被用于执行凭证分数的跨评价者生成。

术语“地面真值凭证分数”可指指示评价者数据对象的观察到的凭证分数的数据。评价者数据对象的观察到的凭证分数可基于评价者数据对象的过去用户操作、评价者数据对象的专业经验数据、评价者数据对象的学历教育数据等等来确定。地面真值凭证分数可被用于生成地面真值评价数据对象，这进而便于执行凭证分数的跨评价者生成。术语“聚类距离值”可指指示与输入预测输入相关联的输入预测点与关联于由机器学习模型生成的聚类的预测点的测得和/或所估计的距离的数据。例如，给定多维评价者相关性值，特定评价者数据对象的聚类距离值可以基于特定评价者数据对象相对于多维评价者相关性的位置和评价者数据对象的聚类最多对象相对于多维评价者相关性的统计度量之间的欧几里德距离的度量来确定。

术语“任务距离度量”可指指示多维任务相关空间中的两点之间的建模分离的度量的数据，其中这两个点中的每个点与相应的评价任务数据对象相关联。在一些实施例中，任务距离度量是基于在多维任务相关空间内执行一个或多个计算几何操作来确定的。在一些实施例中，任务距离度量是基于相对于定义多维任务相关空间的参数的矩阵来执行一个或多个矩阵变换操作来确定的。

术语“评价任务特征”可指指示评价任务数据对象的属性类别的当前值的数据，其中评价者数据对象的属性类别的值可被用于在多维任务相关空间中对评价者数据对象进行建模，以便将评价任务数据对象与一个或多个其他评价任务数据对象进行数值比较。评价任务特征的示例包括关于对应评价任务数据对象的主题的评价任务特征、对应评价任务数据对象的层次类型级别、对应评价任务数据对象的完成到期日期，等等。

术语“才能指定(competence designation)”可指指示与评价者数据对象相关联的特定才能分数的离散类别的数据，其中离散类别是从一群离散地定义的才能类别中选择的。例如，该群离散地定义的才能类别可指示低范围才能指定(例如，低于阈值的才能分数)、中等范围才能指定和大范围才能指定。

术语“反馈评价值”可指指示反馈数据对象相对于评价任务数据对象的所推断结论的数据。例如，特定反馈数据对象相对于与特定专利的专利有效性相关的特定评价任务数据对象的反馈评价值可以指示该反馈数据对象相对于该特定专利的专利有效性的所推断结论(例如，所推断结论指示可专利性的高可能性、可专利性的低可能性、不可专利性的高可能性、不可专利性的低可能性、可专利性和不可专利性的平均可能性等等中的一者)。作为另一示例，特定反馈数据对象相对于与特定活动或产品侵犯特定专利相关的特定评价任务数据对象的反馈评价值可指示该反馈数据对象相对于该特定活动或产品侵犯该特定专利的所推断结论(例如，所推断结论指示侵权可能性高、侵权可能性低、不侵权可能性高、不侵权可能性低、侵权和不侵权的平均可能性等等中的一者)。

术语“反馈可信度(credibility)值”可指指示反馈数据对象相对于评价任务数据对象的所推断的评价者数据对象的可信度的数据。例如，特定评价者数据对象相对于特定评价任务数据对象的特定反馈数据对象的反馈可信度值可指示该反馈数据对象的特定评价者数据对象相对于特定专利的专利有效性的所推断可信度(例如，所推断可信度指示高可信度、中等可信度、低可信度等之一)，该特定评价任务数据对象与特定专利的专利有效性相关。作为又一示例，特定评价者数据对象相对于特定评价任务数据对象的特定反馈数据对象的反馈可信度值可指示反馈数据对象502的特定评价者数据对象503相对于特定活动或产品对特定专利的侵权的所推断可信度(例如，所推断可信度指示高可信度、中等可信度、低可信度等之一)，该特定评价任务数据对象与特定活动或产品对特定专利的侵权相关。

术语“因领域而异的评价范围”可指指示对应评价任务数据对象的因领域而异的评价指定的范围的数据。在一些实施例中，特定评价任务数据对象的因领域而异的评价范围是基于对应评价任务数据对象中的范围定义数据来确定的。在一些实施例中，生成协作评价包括执行以下操作：(i)对于由评价任务数据对象的因领域而异的评价范围所定义的一个或多个因领域而异的评价指定中的每个因领域而异的候选评价指定，(a)至少部分地基于一个或多个反馈数据对象中的反馈数据对象的每一反馈评价值，标识该因领域而异的评价指定的一个或多个反馈数据对象中的一个或多个所指定的反馈数据对象，以及(b)至少部分地基于该因领域而异的评价指定的一个或多个所指定的反馈数据对象中的所指定的反馈数据对象的每一反馈可信度值，来生成因领域而异的评价指定的指定分数，以及(ii)至少部分地基于一个或多个因领域而异的评价指定中的因领域而异的评价指定的每一指定分数来生成协作评价521。

术语“因领域而异的评价指定”可指指示因领域而异的评价范围的可能值的数据。因领域而异的评价指定的示例包括指示专利的可专利性的高可能性的因领域而异的评价指定、指示专利的可专利性的低可能性的因领域而异的评价指定、指示专利的不可专利性的高可能性的因领域而异的评价指定、指示专利的不可专利性的低可能性的因领域而异的评价指定、指示专利的可专利性和不可专利性的平均可能性的因领域而异的评价指定，和/或诸如此类。

术语“评价者贡献”可指指示与评价者数据对象相关联的一个或多个反馈数据对象对确定协作评价的所推断重要性的数据。在一些实施例中，为了确定评价者数据对象相对于协作评价的评价者贡献值，反馈聚合引擎将以下至少一项纳入考虑：(i)评价者数据对象相对于与协作评价相关联的评价任务数据对象的凭证分数，(ii)评价者数据对象的预配置才能分布，(iii)评价者数据对象的动态才能分布，(iv)用于生成协作评价的任何反馈数据对象502的反馈分数，该反馈分数也与评价者数据对象相关联，以及(v)与协作评价的评价任务数据对象相关联的任何反馈数据对象的反馈分数，该反馈分数也与评价者数据对象相关联。

术语“评价效用确定”可指指示协作评价所产生的任何益处的所推断重要性的数据。例如，协作评价的评价效用确定可以至少部分地基于协作评价计算实体作为生成协作评价的结果而生成的金钱奖励来确定。作为另一示例，协作评价的评价效用确定可以至少部分地基于协作评价计算实体106作为生成协作评价的结果而生成的经增加用户探访奖励来确定。作为又一示例，协作评价的评价效用确定可以至少部分地基于协作评价计算实体106作为生成协作评价的结果而生成的经增加用户登记奖励来确定。

技术问题

反馈挖掘是指位于各种新兴数据分析领域(诸如自然语言处理、预测建模、机器学习等)的交叉点的一组问题。反馈挖掘的一个主要目标是，至少部分地基于各评论者和/或观察者提供的反馈数据来推断关于预测任务的预测见解，这些评论者和/或观察者表达了对潜在预测任务的想法。现有反馈挖掘系统由于不能正确地考虑因领域而异的信息和结构而存在许多缺点。例如，许多现有反馈挖掘系统对与反馈提供方的背景和活动有关的过去数据是不可知的，这些数据可以提供与反馈提供方的评价贡献有关的重要预测见解。作为另一示例，许多现有反馈挖掘系统无法生成正确地符合旨在在其中部署和使用反馈挖掘系统的底层域的语义结构的评价指定(designation)。作为又一示例，许多现有反馈挖掘系统无法生成和利用独立的数据结构，这些数据结构以便于对任务特征、反馈特征和评价者特征之间的预测关系进行有效和高效建模的方式来定义评价任务的各特征、反馈特征和评价者特征。

许多现有反馈挖掘系统不能正确地整合因领域而异的信息和结构，这对于寻求利用反馈挖掘来针对不包含明显答案的评价任务生成自动评价的应用而言尤其成问题。此类自动评价的示例包括需要专业/专家分析的评价，并且可涉及以不能始终正确地编码到通用自然语言处理模型或通用机器学习模型的数值结构中的方式来进行判断。例如，在对知识产权资产进行无效性分析、对知识产权分析进行侵权分析和/或对知识产权资产进行估值分析时，反馈挖掘系统将从整合与特定领域的语义结构有关的因领域而异的信息、特定领域中的所需输出指定、与相关于特定领域的各种评价任务有关的评价者背景信息等中极大地获益。然而，由于现有反馈挖掘系统不能正确地适应因领域而异的信息和结构，因此它们目前不能提供用于针对不包含明显答案的评价任务执行自动评价的高效且可靠的解决方案。因此，存在对如下反馈挖掘系统的技术需求：该反馈挖掘系统在执行高效且可靠的协作评价中适应因领域而异的信息和结构并整合此类因领域而异的信息和结构。

技术方案

本发明的各实施例解决了现有反馈挖掘系统的技术缺点。例如，各实施例解决现有反馈挖掘系统的技术缺点，以正确地考虑因领域而异的信息和结构。在一些实施例中，反馈挖掘系统处理包含与反馈数据对象相关联的评价者特征的评价者数据对象，以提取可被用于确定反馈数据对象关于特定评价任务的反馈分数的信息。这种评价者信息可以包括静态确定的信息(诸如学位信息)以及动态确定的信息(其可以至少部分地基于评价者简档与反馈挖掘系统的交互来更新)。因此，通过将评价者特征显式地编码成到成本发明各实施例所提供的多层反馈挖掘解决方案的输入，所述实施例可以提供用于将相关于评价者背景的因领域而异的信息整合到反馈挖掘系统的操作中的强大机制。这种有评价者意识的分析可以极大地增强反馈挖掘系统整合因领域而异的信息的才能，并从而在专业/专家分析领域中执行有效且高效的评价分析。

作为又一示例，本发明的各实施例提供了作为评价任务数据对象的评价任务特征、作为反馈数据对象的反馈数据特征以及作为评价者数据对象的评价者特征的独立统一表示。通过提供评价任务特征、反馈数据特征和评价者特征的独立统一表示，所述实施例提供了精确且全面地映射反馈挖掘系统的输入空间的强大数据模型。在一些实施例中，数据模型随后被用于创建多层机器学习框架，该框架首先整合评价任务数据对象和评价者数据对象，以生成评价者关于特定评价任务的凭证分数，随后整合凭证分数和反馈数据对象以生成反馈分数，并且随后组合各反馈对象的各反馈分数以至少部分地基于各评价者简档的各评价的经聚合但分布式的预测知识来生成协作评价。

通过提供评价任务特征、反馈数据特征和评价者特征的独立统一表示，另外利用此类独立统一表示来设计多层机器学习体系结构，本发明的各实施例提供了在将因领域而异的信息和概念结构纳入考虑的同时执行反馈挖掘的强大解决方案。在这样做时，本发明的各实施例极大地增强现有反馈挖掘系统整合因领域而异的信息的才能，并从而在专业/专家分析领域中执行有效且高效的评价分析。因此，本发明的各实施例解决了现有反馈挖掘系统的技术缺点，并对提高现有反馈处理系统的效率和/或可靠性(诸如现有反馈处理系统在使用专业/专家评价领域的因领域而异的信息执行反馈处理时的效率和/或可靠性)做出了重要的技术贡献。

II.计算机程序产品、方法和计算实体

本发明的实施例可以按各种方式来实现，包括作为包括制品的计算机程序产品。此类计算机程序产品可包括一个或多个软件组件，包括例如软件对象、方法、数据结构，等等。软件组件可以用各种编程语言中的任何一种进行编码。说明性编程语言可以是低级编程语言，诸如与特定硬件架构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件在由硬件架构和/或平台执行之前可需要由汇编器转换成可执行机器代码。另一示例编程语言可以是可跨多个架构移植的较高级编程语言。包括较高级编程语言指令的软件组件在执行之前可需要由解释器或编译器转换成中间表示。

编程语言的其他示例包括但不限于宏语言、shell或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言和/或报告编写语言。在一个或多个示例实施例中，包括用编程语言的前述示例之一编写的指令的软件组件可以由操作系统或其他软件组件直接执行，而无需首先转换成另一形式。软件组件可被存储为文件或其他数据存储结构。相似类型或功能上相关的软件组件可以存储在一起，诸如举例而言存储在特定目录、文件夹或库中。软件组件可以是静态的(例如，预先建立或固定的)或动态的(例如，在执行时创建或修改的)。

计算机程序产品可包括存储应用程序、程序、程序模块、脚本、源代码、程序代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令等等(在此也称为可执行指令、供执行指令、计算机程序产品、程序代码和/或在此互换地使用的类似术语)的非瞬态计算机可读存储介质。此类非瞬态计算机可读存储介质包括所有计算机可读介质(包括易失性和非易失性介质)。

在一个实施例中，非易失性计算机可读存储介质可包括软盘、软磁盘、硬盘、固态存储(SSS)(例如，固态驱动器(SSD)、固态卡(SSC)、固态模块(SSM))、企业闪存驱动器、磁带或任何其他非瞬态磁介质，等等。非易失性计算机可读存储介质还可包括穿孔卡、纸带、光学标记片(或具有孔图案或其他光学可识别标记的任何其他物理介质)、光盘只读存储器(CD-ROM)、光盘可重写(CD-RW)、数字多功能盘(DVD)、蓝光盘(BD)、任何其他非瞬态光学介质，等等。此类非易失性计算机可读存储介质还可包括只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存(例如，串行、NAND、NOR，等等)、多媒体存储卡(MMC)、安全数字(SD)存储卡、SmartMedia卡、CompactFlash(CF)卡、记忆棒，等等。此外，非易失性计算机可读存储介质还可包括导电桥接随机存取存储器(CBRAM)、相变随机存取存储器(PRAM)、铁电随机存取存储器(FeRAM)、非易失性随机存取存储器(NVRAM)、磁阻随机存取存储器(MRAM)、电阻式随机存取存储器(RRAM)，氧化硅氮化物氧化硅存储器(SONOS)、浮结栅随机存取存储器(FJG RAM)、千足虫存储器、赛道存储器，等等。

在一个实施例中，易失性计算机可读存储介质可包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、快速页模式动态随机存取存储器(FPM DRAM)、扩展数据输出动态随机存取存储器(EDO DRAM)、同步动态随机存取存储器(SDRAM)，双数据率同步动态随机存取存储器(DDR SDRAM)、双数据率类型2同步动态随机存取存储器(DDR2 SDRAM)、双数据率类型3同步动态随机存取存储器(DDR3 SDRAM)、Rambus动态随机存取存储器(RDRAM)、双晶体管RAM(TTRAM)、晶闸管RAM(T-RAM)、零电容器(Z-RAM)、Rambus直列存储器模块(RIMM)、双列直插存储器模块(DIMM)、单列直插存储器模块(SIMM)、视频随机存取存储器(VRAM)、高速缓存存储器(包括各种级别)、闪存、寄存器存储器，等等。将明白，尽管实施例被描述成使用计算机可读存储介质，但可以作为上述计算机可读存储介质的替换或补充来使用其他类型的计算机可读存储介质。

应当明白，本发明的各实施例还可被实现为方法、装置、系统、计算设备、计算实体，等等。如此，本发明的实施例可以采取执行存储在计算机可读存储介质上的指令以执行某些步骤或操作的装置、系统、计算设备、计算实体等等的形式。因而，本发明的实施例还可采取完全的硬件实施例、完全的计算机程序产品实施例和/或包括执行特定步骤或操作的计算机程序产品和硬件的组合的实施例的形式。

下面参考框图和流程图图示来描述本发明的实施例。因此，应当理解，框图和流程图图示的每一框可以按如下形式来实现：计算机程序产品，完全的硬件实施例，硬件和计算机程序产品的组合，和/或执行指令、操作、步骤和在计算机可读存储介质上供执行的互换地使用的类似词语(例如，可执行指令、供执行的指令、程序代码，等等)的装置、系统、计算设备、计算实体，等等。例如，可以顺序地执行代码的检索、加载和执行，以便一次检索、加载和执行一个指令。在一些示例性实施例中，检索、加载和/或执行可以并行执行，使得一起检索、加载和/或执行多个指令。因而，此类实施例可以产生执行在框图和流程图图示中指定的步骤或操作的具体配置的机器。相应地，框图和流程图图示支持用于执行所指定指令、操作或步骤的实施例的各种组合。

III.示例性系统体系结构

图1是用于使用因领域而异的建模来执行反馈挖掘的示例体系结构100的示意图。体系结构100包括一个或多个提供方反馈计算实体102、协作评价计算实体106、以及一个或多个客户端计算实体103。协作评价计算实体106可被配置成通过通信网络(未示出)与提供方反馈计算实体102和客户端计算实体103中的至少一者通信。通信网络可以包括任何有线或无线通信网络，包括例如有线或无线局域网(LAN)、个域网(PAN)、城域网(MAN)、广域网(WAN)等，以及实现它所需的任何硬件、软件和/或固件(诸如举例而言，网络路由器等)。

协作评价计算实体106可被配置成至少部分地基于提供方反馈计算实体102提供的反馈数据执行协作评价，以便生成协作评价并将所生成的协作评价提供给客户端计算实体103，例如响应于客户端计算实体103的请求。例如，协作评价计算实体106可被配置成至少部分地基于提供方反馈计算实体102提供的专家反馈数据执行自动资产估价，并将所生成的资产估价提供给请求方客户端计算实体103。协作评价计算实体106还可以被配置成生成提供方反馈计算实体102的反馈贡献的奖励确定，并将与所生成的奖励确定相对应的奖励传送给对应的提供方反馈计算实体102。

协作评价计算实体106包括反馈评价引擎111、反馈聚合引擎112、奖励生成引擎113以及存储子系统108。反馈评价引擎111可被配置成处理由提供方反馈计算实体102提供的特定反馈数据，以确定特定反馈数据相对于评价任务的反馈分数。在一些实施例中，特定反馈数据相对于评价任务的反馈分数指示响应于评价任务的特定反馈数据的评价以及与相关于评价任务的主题区域中的特定反馈数据相关联的评价者的才能。反馈聚合引擎112可被配置为聚合与评价任务相关的各种反馈数据对象，以确定与评价任务相关的协作评价。奖励生成引擎113可以被配置成至少部分地基于由评价者创作的反馈数据对协作评价的估计贡献以及协作评价的效用度量来生成针对评价者的奖励。

存储子系统108可被配置成存储从提供方反馈计算实体102和客户端计算实体103中的至少一者接收的数据。存储子系统108还可以被配置成存储与反馈评价引擎111、反馈聚合引擎112和奖励生成引擎113中的至少一者所使用的至少一个机器学习模型相关联的数据。存储子系统108可以包括一个或多个存储单元，诸如通过计算机网络连接的多个分布式存储单元。存储子系统108中的每一存储单元可以存储一个或多个数据资产和/或与一个或多个数据资产的经计算属性有关的一个或多个数据中的至少一者。此外，存储子系统108中的每一存储单元可以包括一个或多个非易失性存储或存储器介质，包括但不限于硬盘、ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、千足虫存储器、赛道存储器，等等。

示例性协作评价计算实体

图2提供根据本发明一个实施例的协作评价计算实体106的示意图。一般而言，本文中互换地使用的术语计算实体、计算机、实体、设备、系统和/或类似词可指例如一个或多个计算机、计算实体、台式机、移动电话、平板、平板手机、笔记本计算机、膝上型设备、分布式系统、自助服务终端、输入终端、服务器或服务器网络、刀片、网关、交换机、处理设备、处理实体、机顶盒、中继器、路由器、网络接入点、基站等，和/或适配成执行本文所述的功能、操作和/或过程的设备或实体的任何组合。这些功能、操作和/或过程可包括例如传送、接收、操作、处理、显示、存储、确定、创建/生成、监视、评价、比较和/或本文互换地使用的类似术语。在一个实施例中，这些功能、操作和/或过程可针对数据、内容、信息和/或在本文中互换地使用的类似术语执行。

如所示的，在一个实施例中，协作评价计算实体106还可包括用于与各计算实体通信(诸如通过传递可被传送、接收、操作、处理、显示、存储等等的数据、内容、信息和/或本文中互换地使用的类似术语)的一个或多个通信接口220。

如图2所示，在一个实施例中，协作评价计算实体106可以包括一个或多个处理元件205(也被称为处理器、处理电路系统和/或本文中可互换地使用的类似术语)或与之通信，该一个或多个处理元件205例如经由总线与协作评价计算实体106内的其他元件通信。如将理解的，处理元件205可以以多种不同方式实现。例如，处理元件205可被实现为一个或多个复杂可编程逻辑器件(CPLD)、微处理器、多核处理器、协处理实体、专用指令集处理器(ASIP)、微控制器和/或控制器。此外，处理元件205可被实现为一个或多个其他处理设备或电路。术语电路系统可指完全的硬件实施例或硬件和计算机程序产品的组合。因而，处理元件205可被实现为集成电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、硬件加速器、其他电路系统，等等。因此，如将理解的，处理元件205可被配置用于特定用途，或被配置成执行存储在易失性或非易失性介质中或者以其他方式可被处理元件205访问的指令。如此，无论是通过硬件或计算机程序产品来配置，还是通过其组合来配置，处理元件205在被相应地配置时能够执行根据本发明实施例的步骤或操作。

在一个实施例中，协作评价计算实体106还可包括非易失性介质(也称为非易失性存储、存储器、存储器存储、存储器电路系统和/或本文中可互换地使用的类似术语)或与之通信。在一个实施例中，非易失性存储或存储器可包括一个或多个非易失性存储或存储器介质210，包括但不限于硬盘、ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、千足虫存储器、赛道存储器，等等。如将认识到的，非易失性存储或存储器介质可存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令，等等。本文互换地使用的术语数据库、数据库实例、数据库管理系统和/或类似术语可指使用一个或多个数据库模型(诸如分层数据库模型、网络模型、关系模型、实体-关系模型、对象模型、文档模型、语义模型、图形模型，等等)存储在计算机可读存储介质中的记录或数据的集合。

在一个实施例中，协作评价计算实体106还可包括易失性介质(也称为易失性存储、存储器、存储器存储、存储器电路系统和/或本文中可互换地使用的类似术语)或与之通信。在一个实施例中，易失性存储或存储器还可包括一个或多个易失性存储或存储器介质215，包括但不限于RAM、DRAM、SRAM、FPM DRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓存存储器、寄存器存储器，等等。如将认识到的，易失性存储或存储器介质可被用来存储由例如处理元件205执行的数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令等等的至少一部分。因而，数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令等等可被用来在处理元件205和操作系统的辅助下控制协作评价计算实体106的操作的某些方面。

如所示的，在一个实施例中，协作评价计算实体106还可包括用于与各计算实体通信(诸如通过传递可被传送、接收、操作、处理、显示、存储等等的数据、内容、信息和/或本文中互换地使用的类似术语)的一个或多个通信接口220。此类通信可以使用有线数据传输协议执行，诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)、帧中继、有线数据服务接口规范(DOCSIS)或任何其他有线传输协议。类似地，协作评价计算实体106可被配置成使用各种协议中的任何一种经由无线外部通信网络进行通信，诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址2000(CDMA2000)、CDMA20001X(1xRTT)，宽带码分多址(WCDMA)、全球移动通信系统(GSM)、GSM演进增强数据速率(EDGE)、时分同步码分多址(TD-SCDMA)、长期演进(LTE)、演进通用地面无线电接入网(E-UTRAN)、演进数据优化(EVDO)、高速分组接入(HSPA)、高速下行链路分组接入(HSDPA)、IEEE802.11(Wi-Fi)、Wi-Fi Direct、802.16(WiMAX)、超宽带(UWB)、红外(IR)协议、近场通信(NFC)协议、Wibree、蓝牙协议、无线通用串行总线(USB)协议和/或任何其他无线协议。

尽管未示出，协作评价计算实体106可以包括一个或多个输入元件或与其通信，诸如键盘输入、鼠标输入、触摸屏/显示器输入、运动输入、移动输入、音频输入、指点设备输入、操纵杆输入、小键盘输入，等等。协作评价计算实体106还可以包括一个或多个输出元件(未示出)或与其通信，诸如音频输出、视频输出、屏幕/显示输出、运动输出、移动输出，等等。

示例性提供方反馈计算实体

图3提供了可结合本发明的实施例使用的代表提供方反馈计算实体102的解说性示意图。一般而言，本文中互换地使用的术语设备、系统、计算实体、实体和/或类似词可指例如一个或多个计算机、计算实体、台式机、移动电话、平板、平板手机、笔记本计算机、膝上型设备、分布式系统、自助服务终端、输入终端、服务器或服务器网络、刀片、网关、交换机、处理设备、处理实体、机顶盒、中继器、路由器、网络接入点、基站等，和/或适配成执行本文所述的功能、操作和/或过程的设备或实体的任何组合。提供方反馈计算实体102可由各方操作。如图3所示，提供方反馈计算实体102可以包括天线312、发射机304(例如，无线电)、接收机306(例如，无线电)和处理元件308(例如，CPLD、微处理器、多核处理器、协处理实体、ASIP、微控制器和/或控制器)，其相应地向发射机304提供信号并从接收机306接收信号。

相应地提供给发射机304以及从接收机306接收的信号可以包括基于适用无线系统的空中接口标准的信令数据。就此，提供方反馈计算实体102可以能够使用一个或多个空中接口标准、通信协议、调制类型和接入类型来操作。更具体而言，提供方反馈计算实体102可以根据多个无线通信标准和协议中的任何一者来操作，诸如以上相对于协作评价计算实体106所描述的那些标准和协议。在一特定实施例中，提供方反馈计算实体102可以根据多个无线通信标准和协议来操作，诸如UMTS、CDMA2000、1xRTT、WCDMA、GSM、EDGE、TD-SCDMA、LTE、E-UTRAN、EVDO、HSPA、HSDPA、Wi-Fi、Wi-Fi Direct、WiMAX、UWB、IR、NFC、蓝牙、USB等等。类似地，提供方反馈计算实体102可以根据多个有线通信标准和协议来操作，诸如以上相对于协作评价计算实体106经由网络接口320所描述的那些标准和协议。

经由这些通信标准和协议，提供方反馈计算实体102可以使用诸如非结构化补充服务数据(USSD)、短消息服务(SMS)、多媒体消息收发服务(MMS)、双音多频信令(DTMF)和/或用户身份模块拨号器(SIM拨号器)之类的概念与各其他实体通信。提供方反馈计算实体102还可以下载例如对其固件、软件(例如，包括可执行指令、应用、程序模块)和操作系统的更改、附加件和更新。

根据一个实施例，提供方反馈计算实体102可包括位置确定方面、设备、模块、功能性和/或本文中互换地使用的类似词语。例如，提供方反馈计算实体102可以包括室外定位方面，诸如适于采集例如纬度、经度、高度、地理代码、航线、方向、航向、速度、世界时(UTC)、日期和/或各种其他数据的定位模块。在一个实施例中，定位模块可以通过标识视图中卫星的数量和这些卫星的相对位置(例如，使用全球定位系统(GPS))来采集数据，有时称为星历数据。卫星可以是各种不同的卫星，包括近地轨道(LEO)卫星系统、国防部(DOD)卫星系统、欧盟伽利略定位系统、中国北斗导航系统、印度区域导航卫星系统，等等。可以使用各种坐标系来收集这一数据，诸如十进制度数(DD)；度、分、秒(DMS)；通用横轴墨卡托投影(UTM)；通用极球面投影(UPS)坐标系；和/或诸如此类。可任选地，位置数据可以通过结合各种其他系统(包括蜂窝塔、Wi-Fi接入点，等等)对提供方反馈计算实体102的位置进行三角测量来确定。类似地，提供方反馈计算实体102可以包括室内定位方面，诸如适于采集例如纬度、经度、高度、地理代码、航线、方向、航向、速度、时间、日期和/或各种其他数据的定位模块。一些室内系统可以使用各种位置或定位技术，包括RFID标签、室内信标或发射器、Wi-Fi接入点、蜂窝塔、附近的计算设备(例如，智能手机、膝上型设备)，等等。例如，此类技术可包括iBeacons、Gimbal邻近度信标、蓝牙低能量(BLE)发射机、NFC发射机，等等。这些室内定位方面可被用于各种设置，以在几英寸或几厘米误差内确定某人或某物的位置。

提供方反馈计算实体102还可以包括用户接口(其可以包括耦合到处理元件308的显示器316)和/或用户输入接口(耦合到处理元件308)。例如，如本文所述，用户接口可以是在提供方反馈计算实体102上执行和/或可经由提供方反馈计算实体102访问以与协作评价计算实体106交互和/或使得显示来自协作评价计算实体106的数据的用户应用程序、浏览器、用户界面和/或本文中互换地使用的类似词语。用户输入接口可以包括允许提供方反馈计算实体102接收数据的多个设备或接口中的任何一者，诸如键盘318(硬或软)、触摸显示器、语音/话音或运动接口或者其他输入设备。在包括小键盘318的实施例中，小键盘318可以包括(或导致显示)常规数字(0-9)和相关键(#，*)以及用于操作提供方反馈计算实体102的其他键，并且可以包括字母键全集或可被激活以提供字母数字键全集的键组。除提供输入外，用户输入接口还可被用于激活或停用某些功能，诸如屏幕保护程序和/或睡眠模式。

提供方反馈计算实体102还可包括易失性存储或存储器322和/或非易失性存储或存储器324，其可以是嵌入式和/或可移除的。例如，非易失性存储器可以是ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、千足虫存储器、赛道存储器，等等。易失性存储器可以是RAM、DRAM、SRAM、FPMDRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓存存储器、寄存器存储器，等等。易失性和非易失性存储或存储器可存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令等等以实现提供方反馈计算实体102的功能。如所示的，这可包括驻留在该实体上或可通过浏览器或其他用户接口访问的用户应用，以用于与协作评价计算实体106和/或各种其他计算实体通信。

在另一实施例中，提供方反馈计算实体102可以包括与如上文更详细地描述的协作评价计算实体106的组件或功能性相同或相似的一个或多个组件或功能性。如将认识到的，提供这些体系结构和描述仅用于示例性目的，而不限于各种实施例。

在各种实施例中，提供方反馈计算实体102可被实现为人工智能(AI)计算实体，例如Amazon Echo、Amazon Echo Dot、Amazon Show、Google Home等。相应地，提供方反馈计算实体102可被配置成经由输入/输出机制(诸如显示器、相机、扬声器、语音激活输入等)向用户提供和/或从用户接收数据。在某些实施例中，AI计算实体可包括存储在板载存储器存储模块内和/或可通过网络访问的一个或多个预定义和可执行程序算法。在各种实施例中，AI计算实体可被配置成在预定义触发事件发生时检索和/或执行预定义程序算法中的一者或多者。

示例性客户端计算实体

图4提供了可结合本发明的实施例使用的代表客户端计算实体103的解说性示意图。一般而言，本文中互换地使用的术语设备、系统、计算实体、实体和/或类似词可指例如一个或多个计算机、计算实体、台式机、移动电话、平板、平板手机、笔记本计算机、膝上型设备、分布式系统、自助服务终端、输入终端、服务器或服务器网络、刀片、网关、交换机、处理设备、处理实体、机顶盒、中继器、路由器、网络接入点、基站等，和/或适配成执行本文所述的功能、操作和/或过程的设备或实体的任何组合。客户端计算实体103可由各方操作。如图4所示，客户端计算实体103可以包括天线412、发射机404(例如，无线电)、接收机406(例如，无线电)和处理元件408(例如，CPLD、微处理器、多核处理器、协处理实体、ASIP、微控制器和/或控制器)，其相应地向发射机404提供信号并从接收机406接收信号。

相应地提供给发射机404以及从接收机406接收的信号可以包括基于适用无线系统的空中接口标准的信令数据。就此，客户端计算实体103可以能够使用一个或多个空中接口标准、通信协议、调制类型和接入类型来操作。更具体而言，客户端计算实体103可以根据多个无线通信标准和协议中的任何一者来操作，诸如以上相对于协作评价计算实体106所描述的那些标准和协议。在一特定实施例中，客户端计算实体103可以根据多个无线通信标准和协议来操作，诸如UMTS、CDMA2000、1xRTT、WCDMA、GSM、EDGE、TD-SCDMA、LTE、E-UTRAN、EVDO、HSPA、HSDPA、Wi-Fi、Wi-Fi Direct、WiMAX、UWB、IR、NFC、蓝牙、USB等等。类似地，客户端计算实体103可以根据多个有线通信标准和协议来操作，诸如以上相对于协作评价计算实体106经由网络接口420所描述的那些标准和协议。

经由这些通信标准和协议，客户端计算实体103可以使用诸如USSD、SMS、MMS、DTMF和/或SIM拨号器之类的概念与各种其他实体通信。客户端计算实体103还可以下载例如对其固件、软件(例如，包括可执行指令、应用、程序模块)和操作系统的更改、附加件和更新。

根据一个实施例，客户端计算实体103可包括位置确定方面、设备、模块、功能性和/或本文中互换地使用的类似词语。例如，客户端计算实体103可以包括室外定位方面，诸如适于采集例如纬度、经度、高度、地理代码、航线、方向、航向、速度、UTC、日期和/或各种其他数据的定位模块。在一个实施例中，定位模块可以通过标识视图中卫星的数量和这些卫星的相对位置(例如，使用GPS)来采集数据，有时称为星历数据。卫星可以是各种不同的卫星，包括LEO卫星系统、DOD卫星系统、欧盟伽利略定位系统、中国北斗导航系统、印度区域导航卫星系统，等等。这一数据可使用各种坐标系(诸如DD、DMS、UTM、UPS坐标系等)来收集。可任选地，位置数据可以通过结合各种其他系统(包括蜂窝塔、Wi-Fi接入点，等等)对客户端计算实体103的位置进行三角测量来确定。类似地，客户端计算实体103可以包括室内定位方面，诸如适于采集例如纬度、经度、高度、地理代码、航线、方向、航向、速度、时间、日期和/或各种其他数据的定位模块。一些室内系统可以使用各种位置或定位技术，包括RFID标签、室内信标或发射器、Wi-Fi接入点、蜂窝塔、附近的计算设备(例如，智能手机、膝上型设备)，等等。例如，此类技术可包括iBeacons、Gimbal邻近度信标、蓝牙低能量(BLE)发射机、NFC发射机，等等。这些室内定位方面可被用于各种设置，以在几英寸或几厘米误差内确定某人或某物的位置。

客户端计算实体103还可以包括用户接口(其可以包括耦合到处理元件408的显示器416)和/或用户输入接口(耦合到处理元件408)。例如，如本文所述，用户接口可以是在客户端计算实体103上执行和/或可经由客户端计算实体103访问以与协作评价计算实体106交互和/或使得显示来自协作评价计算实体106的数据的用户应用程序、浏览器、用户界面和/或本文中互换地使用的类似词语。用户输入接口可以包括允许客户端计算实体103接收数据的多个设备或接口中的任何一者，诸如键盘418(硬或软)、触摸显示器、语音/话音或运动接口或者其他输入设备。在包括小键盘418的实施例中，小键盘418可以包括(或导致显示)常规数字(0-9)和相关键(#，*)以及用于操作客户端计算实体103的其他键，并且可以包括字母键全集或可被激活以提供字母数字键全集的键组。除提供输入外，用户输入接口还可被用于激活或停用某些功能，诸如屏幕保护程序和/或睡眠模式。

客户端计算实体103还可包括易失性存储或存储器422和/或非易失性存储或存储器424，其可以是嵌入式和/或可移除的。例如，非易失性存储器可以是ROM、PROM、EPROM、EEPROM、闪存、MMC、SD存储卡、记忆棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJGRAM、千足虫存储器、赛道存储器，等等。易失性存储器可以是RAM、DRAM、SRAM、FPM DRAM、EDODRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓存存储器、寄存器存储器，等等。易失性和非易失性存储或存储器可存储数据库、数据库实例、数据库管理系统、数据、应用、程序、程序模块、脚本、源代码、目标代码、字节代码、经编译代码、经解释代码、机器码、可执行指令等等以实现客户端计算实体103的功能。如所示的，这可包括驻留在该实体上或可通过浏览器或其他用户接口访问的用户应用，以用于与协作评价计算实体106和/或各种其他计算实体通信。

在另一实施例中，客户端计算实体103可以包括与如上文更详细地描述的协作评价计算实体106的组件或功能性相同或相似的一个或多个组件或功能性。如将认识到的，提供这些体系结构和描述仅用于示例性目的，而不限于各种实施例。

在各种实施例中，客户端计算实体103可被实现为人工智能(AI)计算实体，例如Amazon Echo、Amazon Echo Dot、Amazon Show、Google Home等。相应地，客户端计算实体103可被配置成经由输入/输出机制(诸如显示器、相机、扬声器、语音激活输入等)向用户提供和/或从用户接收数据。在某些实施例中，AI计算实体可包括存储在板载存储器存储模块内和/或可通过网络访问的一个或多个预定义和可执行程序算法。在各种实施例中，AI计算实体可被配置成在预定义触发事件发生时检索和/或执行预定义程序算法中的一者或多者。

IV.示例性系统操作

一般而言，本发明的实施例提供了用于执行评价反馈挖掘的方法、装置、系统、计算设备、计算实体等。某些实施例利用使用凭证评分机器学习模型、一个或多个反馈评分机器学习模型、一个或多个反馈聚合机器学习模型、一个或多个评价者相关空间、一个或多个任务特征空间、评价者数据对象的一个或多个预配置的能力分布、评价者数据对象的一个或多个动态预配置的能力分布、一个或多个因领域而异的评价范围、一个或多个奖励生成机器学习模型等等中的一者或多者来执行评价反馈挖掘的系统、方法和计算机程序产品。

图5是用于相对于评价任务数据对象501执行协作评价的示例过程500的流程图。通过过程500的各种步骤/操作，协作评价计算实体106可以利用来自多个评价者(例如，评价者简档)的反馈数据来生成用于各评价任务数据对象的综合评价，并维护多个协作者简档中的每一者的时间表现成就数据。

在一个实施例中，当协作评价计算实体106的反馈评价引擎111获得以下输入数据对象时，该过程开始：定义评价任务的评价任务数据对象501，一个或多个反馈数据对象502，每一反馈数据对象定义特定评价者简档相对于评价任务的反馈，以及多个评价者数据对象，每一评价者数据对象定义对应评价者简档的评价者特征。下面将更详细地描述上述三种输入对象类型。

评价任务数据对象501可以定义特定评价任务对象的一个或多个任务特征。评价任务可包括对特定输入数据应用任何预测数据分析例程以获得所需输出数据。评价任务数据对象501的示例包括与估价、范围确定、质量确定、有效性确定、健康确定等中的一者或多者相关的评价任务数据对象。在一些实施例中，评价任务数据对象501可以与没有可容易地确定的答案的问题相关，该答案与专业/专家判断事项有关。此类问题的示例包括各种法律问题、医疗问题、业务战略规划问题，等等。在一些实施例中，评价任务数据对象501与特定知识产权资产(例如，特定专利资产或特定商标资产)的有效性预测相关联。在一些实施例中，评价任务数据对象501与特定知识产权资产(例如，特定专利资产或特定商标资产)的侵权预测相关联。在一些实施例中，评价任务数据对象501与特定知识产权资产(例如，特定专利资产或特定商标资产)的价值预测相关联。

在一些实施例中，接收评价任务数据对象501包括至少部分地基于特定评价任务(例如，特定预测数据分析任务)的一个或多个任务特征来生成评价任务数据对象501。特定评价任务的一个或多个任务特征可被用于在多维任务空间中映射该特定评价任务。特定评价任务的一个或多个任务特征可以具有分层结构，使得特定评价任务的一个或多个任务特征中的至少第一特征依赖于特定评价任务的一个或多个任务特征中的至少第二特征。例如，图6提供具有三个层级的分层评价任务数据对象501的操作示例，如下所述。如图6所示，分层评价任务数据对象501包括(在第一层级上)层级1任务类型特征611(例如，任务元类型特征)和层级1任务发起日期特征612(例如，对象创建日期特征)，层级1任务类型特征611指示分层评价任务数据对象501与财产估价相关，层级1任务发起日期特征612指示分层评价任务数据对象501是在2019年8月8日创建的。分层评价任务数据对象501还包括(在第二层级上)层级2任务类型特征621，其依赖于层级1任务类型特征611(例如，任务子类型特征)并指示财产估价相关分层评价任务数据对象501与专利(PATENT)财产估价相关。分层评价任务数据对象501还包括(在第三层级上)：(i)第一层级3任务类型特征631(例如，专利技术领域特征)，其依赖于层级2任务类型特征621并且指示专利估价相关分层评价任务数据对象501涉及生物技术专利；以及(ii)第二层级3任务类型特征632(例如，估价目的特征)，其依赖于层级2任务类型特征621并指示专利估价相关分层评价任务数据对象。

反馈数据对象502可以描述与相关于评价任务数据对象的表达意见(例如，表达的专家意见)相关联的反馈属性。在一些实施例中，每一反馈数据对象502与一个或多个反馈特征相关联。特定反馈数据对象502的反馈特征可以包括特定反馈数据对象502的一个或多个非结构化特征和/或特定反馈数据对象502的一个或多个结构化特征。例如，反馈数据对象502的非结构化特征可以包括与反馈数据对象502相关联的一个或多个自然语言输入段的至少一部分。作为另一示例，反馈数据对象502的结构化特征可以包括反馈数据对象502中包含的一个或多个情绪指定(例如，反馈作者响应于特定评价任务的一个或多个n星评级)。作为又一示例，反馈数据对象502的结构化特征可以包括用于与反馈数据对象502相关联的特定非结构化自然语言数据的一个或多个自然语言处理指定，其中非结构化自然语言数据的一个或多个自然语言处理指定可以通过使用一个或多个自然语言处理例程以处理非结构化自然语言数据来生成。图7中呈现了与图6的评价任务数据对象501相关的反馈数据对象502的操作示例。如图7所示，反馈数据对象502包括以下反馈特征：(i)任务标识符反馈特征701，(ii)作者标识符反馈特征702，(iii)情绪指定反馈特征703，(iv)评价文本关键词标识向量反馈特征704，以及(v)评价文本串反馈特征705。

反馈数据对象502的评价者数据对象503可包括与关联于反馈数据对象的评价者(例如，专家评价者)用户简档相关联的数据。在一些实施例中，每一评价者数据对象503与多个评价者特征相关联，其中特定评价者数据对象503的多个评价者特征可包括以下至少一项：(i)特定评价者数据对象503相对于多个才能指定的预配置的才能分布，以及(ii)特定评价者数据对象503相对于所述多个才能指定的动态才能分布。

在一些实施例中，可以至少部分地基于与评价者数据对象503相关联的静态地确定的数据来确定评价者数据对象503的预配置的才能分布，例如至少部分地基于不会受与评价者数据对象503相关联的用户实体和协作评价计算实体106的交互影响的数据，诸如至少部分地基于学位数据、经验年数数据、职业/专家识别数据，等等。在一些实施例中，可以至少部分地基于与评价者数据对象503相关联的动态地确定的数据来确定评价者数据对象503的动态才能分布，例如至少部分地基于将至少部分地基于与评价者数据对象503相关联的用户实体和协作评价计算实体106的交互来确定的数据，诸如至少部分地基于描述更广泛的评价者社区对用户实体的评价的过去接受度、更广泛的评价者社区对用户实体的评价的过去评级、用户实体的过去用户活动历史等等的数据。

在一些实施例中，使用在线评分机器学习模型来确定特定评价者数据对象503的动态才能分布，在线评分机器学习模型被配置成至少部分地基于特定评价者数据对象的一个或多个传入反馈评价数据对象来顺序地更新动态才能分布，其中特定评价者数据对象的传入反馈评价数据对象可以是提供与特定评价者数据对象503相关联的反馈数据对象的评价和/或评级的任何数据对象。在一些实施例中，用于确定特定评价者数据对象503的动态才能分布的在线评分机器学习模型是跟随正规化领导者(FTRL)在线机器学习模型。

图8呈现了与反馈数据对象502的作者相关联的评价者数据对象800的操作示例。如图8所示，评价者数据对象800包括各种按任务类型的才能分布向量，诸如按任务才能分布向量801。评价者数据对象800中的每一按任务类型才能分布向量可以指示评价者数据对象800相对于各种任务类型的预配置和动态的才能分布，其中可以使用一个或多个任务类型特征(诸如一个或多个分层定义的任务类型特征)来定义各种任务类型中的每一者。例如，特定按任务类型才能分布向量可以指示评价者数据对象800相对于与专利估价相关的任务类型的预配置的和动态的才能分布。作为另一示例，特定按任务类型才能分布向量可以指示评价者数据对象800相对于与计算机联网相关的软件专利的专利侵权分析相关的任务预配置的和动态的才能分布。作为又一示例，特定按任务类型才能分布向量可以指示评价者数据对象800相对于与生物化学技术专利的专利有效性分析以用于诉讼辩护相关的任务类型的预配置的和动态的才能分布。

返回图5，反馈评价引擎111利用评价任务数据对象501、反馈数据对象502和评价者数据项目503来相对于评价任务数据对象501生成每一反馈数据对象502的反馈分数511。在一些实施例中，特定反馈数据对象502相对于评价任务数据对象501的反馈分数是特定反馈数据对象502的数据对解决由评价任务数据对象501定义的评价任务的贡献的估计度量。在一些实施例中，反馈数据对象的每一反馈分数包括反馈数据对象502相对于评价任务数据对象501的反馈评价值和反馈数据对象502相对于评价任务数据对象501的反馈可信度值。在一些实施例中，反馈数据对象502相对于评价任务数据对象501的反馈评价值指示反馈数据对象502相对于评价任务数据对象501的所推断结论。在一些实施例中，反馈数据对象502相对于评价任务数据对象501的反馈可信度值指示反馈数据对象502相对于评价任务数据对象501的所推断的可信度。

例如，特定反馈数据对象502相对于与特定专利的专利有效性相关的特定评价任务数据对象501的反馈评价值可以指示反馈数据对象502相对于该特定专利的专利有效性的所推断结论(例如，所推断结论指示可专利性的高可能性、可专利性的低可能性、不可专利性的高可能性、不可专利性的低可能性、可专利性和不可专利性的平均可能性等等中的一者)。作为另一示例，特定评价者数据对象503相对于特定评价任务数据对象501的特定反馈数据对象502的反馈可信度值可指示反馈数据对象502的特定评价者数据对象503相对于特定专利的专利有效性的所推断可信度(例如，所推断可信度指示高可信度、中等可信度、低可信度等之一)，特定评价任务数据对象501与特定专利的专利有效性相关。

作为又一示例，特定反馈数据对象502相对于与特定活动或产品侵犯特定专利相关的特定评价任务数据对象501的反馈评价值可指示反馈数据对象502相对于该特定活动或产品侵犯该特定专利的所推断结论(例如，所推断结论指示侵权可能性高、侵权可能性低、不侵权可能性高、不侵权可能性低、侵权和不侵权的平均可能性等等中的一者)。作为又一示例，特定评价者数据对象503相对于特定评价任务数据对象501的特定反馈数据对象502的反馈可信度值可指示反馈数据对象502的特定评价者数据对象503相对于特定活动或产品对特定专利的侵权的所推断可信度(例如，所推断可信度指示高可信度、中等可信度、低可信度等之一)，该特定评价任务数据对象501与特定活动或产品对特定专利的侵权相关。

作为又一示例，特定反馈数据对象502相对于与特定专利的估计价值相关的特定评价任务数据对象501的反馈评价值可指示反馈数据对象502相对于该特定专利的价值的所推断结论(例如，所推断结论指示该特定专利的高价值、该特定专利的低价值、该特定专利的价值在特定价值范围内、该特定专利的价值在离散估价指定内，等等)。作为又一示例，特定评价者数据对象503相对于特定评价任务数据对象501的特定反馈数据对象502的反馈可信度值可指示反馈数据对象502的特定评价者数据对象503相对于确定特定专利的估计价值的所推断可信度(例如，所推断可信度指示高可信度、中等可信度、低可信度等之一)，特定评价任务数据对象501与特定专利的估计价值相关。

在一些实施例中，反馈数据对象的反馈评价值是至少部分地基于评价任务数据对象501的因领域而异的评价范围来确定的，其中评价任务数据对象的因领域而异的评价范围可包括评价任务的一个或多个因领域而异的评价指定(例如，一个或多个因领域而异的评价指定包括指示专利可专利性的高可能性的因领域而异的评价指定、指示专利可专利性低可能性的因领域而异的评价指定、指示专利不可专利性的高可能性的因领域而异的评价指定、指示专利不可专利性的低可能性的因领域而异的评价指定、指示专利的可专利性和不可专利性的平均可能性的因领域而异的评价指定，等等)。因此，在一些实施例中，评价任务数据对象501可以至少部分地基于评价任务数据对象501的一个或多个属性(例如，评价任务数据对象501的任务类型属性)来为自己定义输出空间(例如，情绪空间)。例如，与有效性相关的评价任务数据对象501可以具有与侵权相关评价任务数据对象501不同的输出空间。在一些实施例中，由评价任务数据对象501定义的输出空间可以是布尔输出空间、多分类输出空间和连续输出空间中的一者或多者。

在一些实施例中，可以根据图9的数据流图中描绘的过程来执行针对特定反馈数据对象502的反馈分数511的生成。如图9所示，反馈评价引擎111维护至少两个评分模型：凭证评分机器学习模型901和反馈评分机器学习模型902。凭证评分机器学习模型901被配置成处理与特定反馈数据对象502和评价任务数据对象501相关联的特定评价者数据对象503以确定评价者数据对象503相对于评价任务数据对象501的凭证分数911。在一些实施例中，评价者数据对象503相对于评价任务数据对象501的凭证分数911是评价者数据对象503相对于具有评价任务数据对象501的一个或多个任务特征的任务的可信度的所推断度量。反馈评分机器学习模型902被进一步配置成处理特定反馈数据对象502和评价者数据对象503的凭证分数911，以确定特定反馈数据对象502的反馈分数511。

凭证评分机器学习模型901和反馈评分机器学习模型902中的每一者可包括一个或多个有监督机器学习模型和/或一个或多个无监督机器学习模型。例如，凭证评分机器学习模型901可以利用基于聚类的机器学习模型或经训练的有监督机器学习模型。在一些实施例中，凭证评分机器学习模型901是使用一个或多个地面真值评价者数据对象训练的有监督机器学习模型(例如，神经网络机器学习模型)，其中一个或多个地面真值评价者数据对象中的每一地面真值评价者数据对象与关联于一个或多个评价者特征类型的多个地面真值评价者特征和地面真值凭证分数相关联，并且其中有监督机器学习模型被配置成处理特定评价者数据对象的一个或多个评价者特征以生成特定凭证分数。

图10中描绘了根据基于聚类的机器学习模型来确定特定评价者数据对象503的凭证分数911的示例过程的流程图。如图10所示，当凭证评分机器学习模型901将特定评价者数据对象503映射到与一群地面真值评价者数据对象相关联的评价者相关空间时，所描绘的过程在步骤/操作1001开始。评价者相关空间可以是由评价者数据项目的一群评价者特征值中的至少一些来定义的多维特征空间。

在一些实施例中，为了将评价者数据对象503映射到与地面真值评价者数据对象群相关联的评价者相关空间，凭证评分机器学习模型901首先至少部分地基于特定评价者数据对象503来确定特定评价者数据对象的一个或多个评价者特征，其中一个或多个评价者特征与一个或多个评价者特征类型相关联。特定评价者数据对象503的评价者特征的示例包括指示特定评价者数据对象503相对于一个或多个任务类型的才能的评价者特征。在确定特定评价者特征具有特定评价者数据对象503的特定评价者特征之后，凭证评分机器学习模型901可标识一个或多个地面真值评价者数据对象，每一地面真值评价者数据对象与对应于一个或多个评价者特征类型的一个或多个评价者特征值以及地面真值评价者数据对象的地面真值凭证分数相关联。凭证评分机器学习模型901随后可映射并生成作为其维度由特定评价者特征类型定义的空间的评价者相关空间，并至少地部分基于特定评价者数据对象503的评价者特征值和地面真值评价者数据对象的地面真值评价者特征值来将特定评价者数据对象503以及地面真值评价者数据对象映射到所生成的评价者相关空间。

图11中呈现了评价者相关空间1100的操作示例。如图11所示，评价者相关空间1100由两个维度定义：与所建模的评价者数据对象(例如，特定评价者数据对象503以及地面真值评价者数据对象)的评价者静态才能分数1141相关的x维度和与所建模的评价者数据对象的评价者动态才能分数1142相关的y维度。在图11的评价者相关空间1100中，使用点1101对评价者数据对象503的评价者特征进行建模，而使用点1102-1114对地面真值评价者数据对象的地面真值评价者特征进行建模。具体而言，每个点1102-1114指示(使用其x值)对应的地面真值评价者数据对象的评价者静态才能得分，以及(使用其y值)对应的地面真值评价者数据对象的评价者动态才能得分。

返回图10，在步骤/操作1002，凭证评分机器学习模型901至少部分地基于与地面真值评价者数据对象相关联的地面真值评价者特征的相似性，将地面真值评价者数据对象聚类到一群评价者聚类中。例如，如图11的评价者相关空间1100中所示，地面真值评价者数据对象可被聚类到评价者聚类1151中(其包括对应于点1102-1104的地面真值评价者数据对象)、评价者聚类1152(其包括与点1107-1110相对应的地面真值评价者数据对象)以及评价者聚类1153(其包括与点1111-1114相对应的地面真值评价者数据对象)。

在步骤/操作1003，凭证评分机器学习模型901从在步骤/操作1002中生成的评价者聚类群来确定评价者数据对象503的所选评价者聚类。在一些实施例中，为了从评价者聚类群中确定评价者数据对象的所选评价者聚类，凭证评分机器学习模型901首先针对每一评价者聚类，至少部分地基于一个或多个评价者特征以及评价者聚类中的地面真值评价者数据对象的每一个或多个评价者特征值来确定聚类距离值。例如，凭证评分机器学习模型901可以确定每一评价者聚类的地面真值评价者特征值的统计分布度量(例如，均值、中值、模式，等等)(例如，分别是图11的评价者相关空间1100中评价者聚类1151-1153的统计分布度量1171-1173)，并且然后可随后确定评价者聚类的所确定的统计分布度量与特定评价者数据对象503的评价者特征值之间的距离度量(例如，欧几里德距离度量，诸如分别是图11的评价者相关空间1100中的评价者聚类1151-1153的欧几里得距离度量1161-1163)。

在步骤/操作1004，凭证评分机器学习模型901至少部分地基于特定评价者数据对象503的所选评价者聚类来确定特定评价者数据对象503的凭证分数。在一些实施例中，为了至少部分地基于特定评价者数据对象503的所选评价者聚类来确定特定评价者数据对象503的凭证分数，凭证评分机器学习模型901首先生成与特定评价者数据对象503的所选评价者聚类相关联的地面真值评价者数据对象的地面真值凭证分数的统计分布度量。随后，凭证评分机器学习模型901至少部分地基于与所选评价者聚类相关联的地面真值评价者数据对象的所生成的地面真值凭证分数的统计分布度量来确定特定评价者数据对象503的凭证分数。

在一些实施例中，可以根据图12所示的过程，至少部分地基于与特定评价者数据对象503相关联的所选评价者聚类的地面真值凭证分数来执行对特定评价者数据对象503的特定凭证分数的确定。图12所示的过程始于步骤/操作1201，其中凭证评分机器学习模型901确定正相对于其来计算特定凭证评分911的特定评价任务数据对象501的一个或多个第一评价任务特征。在一些实施例中，凭证评分机器学习模型901至少部分地基于评价任务数据对象501确定特定评价任务数据对象501的第一评价任务特征。在步骤/操作1202，凭证评分机器学习模型901确定与特定评价者数据对象503相关联的所选评价者聚类的每一地面真值凭证分数的一个或多个第二评价任务特征。例如，凭证评分机器学习模型901可以通过处理与特定地面真值凭证分数相关联的评价任务数据对象，来生成地面真值凭证分数的一个或多个第二评价任务特征。

在一些实施例中，为了执行步骤/操作1201-1202，凭证评分机器学习模型901可以将评价任务数据对象501的任务特征以及所选聚类的每一地面真值凭证分数的任务特征映射到任务特征空间，诸如图13的示例任务特征空间1300。如图13所示，任务特征空间1300对每一评价任务数据对象(例如，与评价任务数据对象501相关联的任务数据对象和与另一评价任务数据对象相关联的任务数据对象)建模成二维空间，其x轴对与评价任务数据对象相对应的评价任务的技术分数1361进行建模，y轴对与评价任务数据对象相对应的评价任务的预期精度分数1362进行建模。给定所描述的任务特征空间1300的维度关联，评价任务数据对象501被映射到任务特征空间1300中的点1301，而另一评价任务数据对象(例如，与所选聚类的地面真值凭证分数相关联的评价任务数据对象)被映射到任务特征空间1300中的点1302。

返回图12，在步骤/操作1203处，凭证评分机器学习模型901至少部分地基于特定评价任务数据对象501的第一特征评价任务特征和特定地面真值凭证分数之间的任务距离，来确定所选评价者聚类中每一地面真值凭证分数的任务距离度量。例如，如图13的任务特征空间1300所示，凭证评分机器学习模型901确定使用图13的任务特征空间1300的点1301建模的特定评价任务数据对象501的第一任务特征与使用图13的任务特征空间1300的点1302建模的另一评价任务数据对象的第二任务特征之间的任务距离度量1310。

在步骤/操作1204处，凭证评分机器学习模型901至少部分地基于每一地面真值凭证分数的任务距离度量来调整该地面真值凭证分数，以生成对应的经调整地面真值凭证分数。在一些实施例中，步骤/操作1204被配置成与较相关评价任务相关的地面真值凭证分数相比，惩罚与较不相关评价任务相关的地面真值凭证分数的预测相关性。在一些实施例中，如果计算得到的地面真值凭证分数的任务距离度量超过任务距离阈值和/或满足一个或多个任务距离准则，则地面真值凭证分数仅被包括在特定评价者数据对象503的特定凭证分数911的计算中。

在步骤/操作1205，凭证评分机器学习模型901将地面真值凭证分数的每一经调整地面真值凭证分数相组合以确定特定凭证分数。在一些实施例中，为了确定特定凭证分数，凭证评分机器学习模型901确定地面真值凭证分数的每一经调整地面真值凭证分数的统计分布度量，以确定特定凭证分数。在一些实施例中，为了确定特定凭证分数，凭证评分机器学习模型901对地面真值凭证分数的每一经调整地面真值凭证分数进行加权平均，以确定特定凭证分数，其中权重平均值可由凭证评分机器学习模型901的一个或多个参数定义，诸如凭证评分机器学习模型901的一个或多个经训练参数。

返回图9，反馈评分机器学习模型902被配置成处理特定反馈数据对象502和与特定反馈数据对象502相关联的特定评价者数据对象503的凭证分数911，以生成特定反馈数据对象502的反馈分数。在一些实施例中，特定反馈数据对象502相对于评价任务数据对象501的反馈分数511是特定反馈数据对象502的数据对解决由评价任务数据对象501定义的评价任务的贡献的估计度量。在一些实施例中，特定反馈数据对象的每一反馈分数511包括特定反馈数据对象502相对于评价任务数据对象501的反馈评价值和特定反馈数据对象502相对于评价任务数据对象501的反馈可信度值。在一些实施例中，特定反馈数据对象502相对于评价任务数据对象501的反馈评价值指示特定反馈数据对象502相对于评价任务数据对象501的所推断结论。在一些实施例中，特定反馈数据对象502相对于评价任务数据对象501的反馈可信度值指示反馈数据对象502相对于评价任务数据对象501的所推断的可信度。

返回图5，反馈聚合引擎112被配置成处理与评价任务数据对象501相关的反馈数据对象502的每一反馈分数511，以生成评价任务数据对象501的协作评价521。在一些实施例中，反馈聚合引擎112被配置成执行由反馈聚合机器学习模型定义的操作，其中反馈聚合机器学习模型可以是集成(ensemble)机器学习模型，配置成处理与评价任务数据对象501相关联的每一反馈数据对象502的反馈分数511，以生成评价任务数据对象501的协作评价521。在一些实施例中，评价任务数据对象501的协作评价521包括：(i)评价任务数据对象501的协作评价值，其指示至少部分地基于与评价任务数据对象501相关联的反馈数据对象502所推断的关于评价任务数据对象501的评价；以及(ii)评价任务数据对象501的协作置信值，其指示所推断的协作评价值的置信水平，例如至少部分基于与评价任务数据对象501相关联的反馈数据对象502的反馈可信度值来确定的置信水平。

图14中呈现了用于生成特定评价任务数据对象501的协作评价521的示例过程的数据流程图。所描绘的过程包括使用神经网络机器学习模型生成协作评价521。如图14所示，神经网络机器学习模型包括一个或多个机器学习节点(例如，实体)，诸如机器学习节点1401A-1401C、1402A-1402C、1403A-1403C和1404A-1404B。神经网络机器学习模型的每一机器学习节点被配置成接收针对该机器学习节点的一个或多个输入，使用接收到的机器学习节点的输入并根据机器学习节点的一个或多个节点参数来执行一个或多个线性变换以生成该机器学习节点的激活值，使用机器学习模型的激活值执行非线性变换以生成机器学习节点的输出值，以及将该输出值作为输入提供给神经网络机器学习模型的后续机器学习层中的至少一个(例如，每个)机器学习节点。

图14所示的神经网络机器学习模型的诸层包括具有机器学习节点1401A-140C的输入层1401。输入层的每一机器学习节点被配置成接收与特定评价任务数据对象501相关联的特定反馈数据对象502的反馈分数作为输入。例如，机器学习节点1401A被配置成接收与特定评价任务数据对象501相关联的第一反馈数据对象的反馈分数511A作为输入。作为另一示例，机器学习节点1401B被配置成接收与特定评价任务数据对象501相关联的第二反馈数据对象的反馈分数511B作为输入。作为又一示例，机器学习节点1401C被配置成接收与特定评价任务数据对象501相关联的第三反馈数据对象的反馈分数511C作为输入。

图14中描绘的神经网络机器学习模型的诸层还包括一个或多个隐藏层1402，诸如包括机器学习节点1402A-1402C的第一隐藏层和包括机器学习节点1403A-1403C的最后隐藏层。神经网络机器学习模型的诸层还包括输出层1404，输出层1404包括第一输出机器学习节点1404A，第一输出机器学习节点1404A被配置成生成特定评价任务数据对象501的协作评价值1421来作为评价任务数据对象501的协作评价521的一部分以及特定评价任务数据对象501的协作置信值1422。在一些实施例中，评价任务数据对象501的协作评价值1421指示至少部分地基于与评价任务数据对象501相关联的反馈数据对象502推断出的关于评价任务数据对象501的评价。在一些实施例中，评价任务数据对象501的协作置信值1422指示所推断的协作评价值1421的置信水平。

返回图5，反馈聚合引擎112可以至少部分地基于评价任务数据对象501的因领域而异的评价范围，来生成评价任务数据对象501的协作评价521。在这些实施例中的一些实施例中，生成协作评价521包括执行以下操作：(i)对于由评价任务数据对象的因领域而异的评价范围所定义的一个或多个因领域而异的评价指定中的每个因领域而异的候选评价指定，(a)至少部分地基于一个或多个反馈数据对象中的反馈数据对象的每一反馈评价值，标识该因领域而异的评价指定的一个或多个反馈数据对象中的一个或多个所指定的反馈数据对象，以及(b)至少部分地基于该因领域而异的评价指定的一个或多个所指定的反馈数据对象中的所指定的反馈数据对象的每一反馈可信度值，来生成因领域而异的评价指定的指定分数，以及(ii)至少部分地基于一个或多个因领域而异的评价指定中的因领域而异的评价指定的每一指定分数来生成协作评价521。在所述实施例中的一些实施例中，反馈聚合引擎112确定与评价任务数据对象501相关的具有特定因领域而异的候选评价指定的反馈数据对象502的比率，并使用该比率来确定评价任务数据对象501的一个或多个所选的因领域而异的候选评价指定。

反馈聚合引擎112可以生成每一评价者数据对象503相对于协作评价521的评价者贡献值531并将其提供给奖励生成引擎113。在一些实施例中，评价者数据对象503相对于协作评价521的评价者贡献值531指示与评价者数据对象503相关联的一个或多个反馈数据对象502对确定协作评价521的所推断重要性。在一些实施例中，为了确定评价者数据对象503相对于协作评价521的评价者贡献值531，反馈聚合引擎112将以下至少一项纳入考虑：(i)评价者数据对象503相对于与协作评价521相关联的评价任务数据对象501的凭证分数911，(ii)评价者数据对象503的预配置的才能分布，(iii)评价者数据对象503的动态才能分布，(iv)用于生成协作评价521的任何反馈数据对象502的反馈分数511，该反馈分数也与评价者数据对象503相关联，以及(v)与协作评价521的评价任务数据对象501相关联的任何反馈数据对象502的反馈分数511，该反馈分数也与评价者数据对象503相关联。

反馈聚合引擎112可以生成协作评价521的评价效用确定532，并将其提供给奖励生成引擎113。可以至少部分地基于通过生成评价任务数据对象501的协作评价521而累积的任何益处来确定协作评价521的评价效用确定532。例如，协作评价521的评价效用确定532可以至少部分地基于协作评价计算实体106作为生成协作评价521的结果而生成的金钱奖励来确定。作为另一示例，协作评价521的评价效用确定532可以至少部分地基于协作评价计算实体106作为生成协作评价521的结果而生成的经增加用户探访奖励来确定。作为又一示例，协作评价521的评价效用确定532可以至少部分地基于协作评价计算实体106作为生成协作评价521的结果而生成的经增加用户登记奖励来确定。

奖励生成引擎113可被配置成处理每一评价者数据对象503的评价者贡献和协作评价521的评价效用确定532，以生成特定评价者数据对象503的评价者奖励确定541。在一些实施例中，奖励生成引擎113至少部分地基于评价者数据对象503对协作评价521的所感知贡献并且至少部分地基于协作评价521的所感知价值，来确定要向每一评价者数据对象503奖励多少(例如，在财务上、使用服务令牌、使用折扣，等等)。在一些实施例中，通过处理每一评价者数据对象503的评价者贡献和协作评价521的评价效用确定532来生成特定评价者数据对象503的评价者奖励确定541，奖励生成引擎113可以使得能够生成基于区块链的协作评价系统和/或基于区块链的协作预测系统。

V.结语

许多修改和其他实施例将被本公开所属领域的技术人员想到，其具有在在前的描述和相关附图中所呈现的教导的益处。因此，理解的是，本发明不限于所公开的具体实施例，并且修改和其他实施例旨在包括在所附权利要求书的范围内。尽管本文中采用特定术语，但这些术语仅在通用意义和描述性意义上使用而不出于限制性目的。

Claims (19)

1.一种用于生成协作评价的计算机实现的方法，所述计算机实现的方法包括：

对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对所述评价任务数据对象生成对应的评价者数据对象的对应凭证分数；

对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的对应凭证分数以生成反馈评分；以及

通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成所述评价任务数据对象的协作评价。

2.根据权利要求1所述的计算机实现的方法，其特征在于，通过所述凭证评分机器学习模型来处理对应的评价者数据对象以生成对应的评价者数据对象的对应凭证分数包括：

至少部分地基于对应的评价者数据对象，确定对应的评价者数据对象的一个或多个评价者特征，其中所述一个或多个评价者特征与一个或多个评价者特征类型相关联；

将所述一个或多个评价者特征映射到所述评价任务数据对象的评价者相关空间，以生成所述评价任务数据对象的经映射评价者相关空间，其中：(i)所述评价者相关空间指示一个或多个地面真值评价者数据对象中的每一地面真值评价者数据对象的多个评价者维度值，以及(ii)所述一个或多个地面真值评价者数据对象中的地面真值评价者数据对象的每多个评价者维度值包括与所述一个或多个评价者特征类型相对应的一个或多个评价者特征值以及所述地面真值评价者数据对象的地面真值凭证分数；以及

至少部分地基于经映射评价者相关空间来生成对应的凭证分数。

3.根据权利要求2所述的计算机实现的方法，其特征在于，至少部分地基于经映射评价者相关空间生成对应的凭证分数包括：

至少部分地基于一个或多个地面真值评价者数据对象中的地面真值评价者数据对象的每一个或多个评价者特征值，将所述一个或多个地面真值评价者数据对象聚类成多个评价者聚类；

对于所述多个评价者聚类中的每一评价者聚类，至少部分地基于所述一个或多个评价者特征和所述评价者聚类中的地面真值评价者数据对象的每一个或多个评价者特征值来确定聚类距离值；

至少部分地基于所述多个评价者聚类中的评价者聚类的每一聚类距离值，确定对应的评价者数据对象的所述多个评价者聚类中的所选聚类；以及

至少部分地基于所选评价者聚类中的地面真值评价者数据对象的每一地面真值凭证分数来确定对应的凭证分数。

4.根据权利要求3所述的计算机实现的方法，其特征在于，至少部分地基于所选评价者聚类中的地面真值评价者数据对象的每一地面真值凭证分数来确定对应的凭证分数包括：

至少部分地基于所述评价任务数据对象来确定所述评价任务数据对象的一个或多个第一评价任务特征，

确定每一地面真值凭证分数的一个或多个第二评价任务特征，

至少部分地基于每一地面真值凭证分数的所述一个或多个第一评价任务特征和所述一个或多个第二评价任务特征之间的任务距离来确定该地面真值凭证分数的任务距离度量，

至少部分地基于每一地面真值凭证分数的任务距离度量来调整该地面真值凭证分数，以生成对应的经调整地面真值凭证分数，以及

将地面真值凭证分数的每一经调整地面真值凭证分数相组合，以确定对应的凭证分数。

5.根据权利要求1所述的计算机实现的方法，其特征在于，所述一个或多个地面真值评价者数据对象的地面真值评价者数据对象的每一地面真值凭证分数与所述评价任务数据对象相关联。

6.根据权利要求1所述的计算机实现的方法，其特征在于：

所述一个或多个评价者数据对象中的每一评价者数据对象与多个评价者特征相关联，并且

所述一个或多个评价者数据对象中的对应的评价者数据对象的多个评价者特征包括：(i)对应的评价者数据对象相对于多个才能指定的预配置的才能分布，以及(ii)对应的评价者数据对象相对于所述多个才能指定的动态才能分布。

7.根据权利要求6所述的计算机实现的方法，其特征在于，对应的评价者数据对象的动态才能分布是使用在线评分机器学习模型来确定的，所述在线评分机器学习模型被配置成至少部分地基于一个或多个传入的反馈评价数据对象来顺序地更新所述动态才能分布。

8.根据权利要求7所述的计算机实现的方法，其特征在于，所述在线评分机器学习模型是跟随正规化领导者在线机器学习模型。

9.根据权利要求1所述的计算机实现的方法，其特征在于：

所述凭证评分机器学习模型是使用一个或多个地面真值评价者数据对象训练的有监督机器学习模型，

所述一个或多个地面真值评价者数据对象中的每一地面真值评价者数据对象与关联于一个或多个评价者特征类型的多个地面真值评价者特征和地面真值凭证分数相关联，

有监督机器学习模型被配置成处理对应的评价者数据对象的一个或多个评价者特征，以生成对应的凭证分数。

10.根据权利要求1所述的计算机实现的方法，其特征在于：

所述一个或多个反馈数据对象中的反馈数据对象的每一反馈分数包括所述反馈数据对象相对于所述评价任务数据对象的反馈评价值和所述反馈数据对象相对于所述评价任务数据对象的反馈可信度值，

所述反馈评价值是至少部分地基于所述评价任务数据对象的因领域而异的评价范围来确定的，以及

所述评价任务数据对象的因领域而异的评价范围包括评价任务的一个或多个因领域而异的评价指定。

11.根据权利要求10所述的计算机实现的方法，其特征在于，通过所述反馈聚合机器学习模型来生成所述协作评价包括：

对于所述一个或多个因领域而异的评价指定中的每一因领域而异的候选评价指定，

至少部分地基于所述一个或多个反馈数据对象中的反馈数据对象的每一反馈评价值，针对所述因领域而异的评价指定来标识所述一个或多个反馈数据对象中的一个或多个所指定的反馈数据对象，以及

对于所述因领域而异的评价指定，至少部分地基于所述一个或多个所指定的反馈数据对象中的所指定的反馈数据对象的每一反馈可信度值，生成所述因领域而异的评价指定的指定分数，以及

至少部分地基于所述一个或多个因领域而异的评价指定中的因领域而异的评价指定的每一指定分数来生成所述协作评价。

12.根据权利要求1所述的计算机实现的方法，进一步包括：

对于所述多个评价者数据对象中的每一评价者数据对象，生成评价者贡献，

确定所述协作评价的评价效用确定，以及

通过奖励生成机器学习模型，处理所述多个评价者数据对象中的每一评价者数据对象的评价者贡献和所述协作评价的评价效用确定，以生成对应的评价者数据对象的评价者奖励确定。

13.根据权利要求1所述的计算机实现的方法，其特征在于：

所述评价任务数据对象与知识产权资产的有效性预测相关联，以及

所述评价任务数据对象的所述一个或多个反馈数据对象包括与所述知识产权资产相关联的至少一个专家有效性意见。

14.根据权利要求1所述的计算机实现的方法，其特征在于：

所述评价任务数据对象与知识产权资产的侵权预测相关联，以及

所述评价任务数据对象的所述一个或多个反馈数据对象包括与所述知识产权资产相关联的至少一个专家侵权意见。

15.根据权利要求1所述的计算机实现的方法，其特征在于：

所述评价任务数据对象与知识产权资产的价值预测相关联，以及

所述评价任务数据对象的所述一个或多个反馈数据对象包括与所述知识产权资产相关联的至少一个专家估价意见。

16.一种用于生成协作评价的装置，所述装置包括至少一个处理器和包含程序代码的至少一个存储器，所述至少一个存储器和所述程序代码被配置成与所述处理器一起使所述装置至少：

对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对所述评价任务数据对象生成对应的评价者数据对象的凭证分数；

对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的凭证分数以生成反馈分数；以及

通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成所述评价任务数据对象的协作评价。

17.根据权利要求17所述的装置，其特征在于，通过所述凭证评分机器学习模型来处理对应的评价者数据对象以生成对应的评价者数据对象的对应凭证分数包括：

至少部分地基于对应的评价者数据对象，确定对应的评价者数据对象的一个或多个评价者特征，其中所述一个或多个评价者特征与一个或多个评价者特征类型相关联；

将所述一个或多个评价者特征映射到所述评价任务数据对象的评价者相关空间，以生成所述评价任务数据对象的经映射评价者相关空间，其中：(i)所述评价者相关空间指示一个或多个地面真值评价者数据对象中的每一地面真值评价者数据对象的多个评价者维度值，以及(ii)所述一个或多个地面真值评价者数据对象中的地面真值评价者数据对象的每多个评价者维度值包括与所述一个或多个评价者特征类型相对应的一个或多个评价者特征值以及所述地面真值评价者数据对象的地面真值凭证分数；以及

至少部分地基于经映射评价者相关空间来生成对应的凭证分数。

18.一种用于生成协作评价的计算机程序产品，所述计算机程序产品包括其中存储有计算机可读程序代码部分的至少一个非瞬态计算机可读存储介质，所述计算机可读程序代码部分被配置成：

对于一个或多个评价者数据对象中的每一评价者数据对象，通过凭证评分机器学习模型来处理对应的评价者数据对象和评价任务数据对象，以针对所述评价任务数据对象生成对应的评价者数据对象的凭证分数；

对于与对应的评价者数据对象相关联的一个或多个反馈数据对象中的每一反馈数据对象，通过反馈评分机器学习模型来处理对应的反馈数据对象以及对应的评价者数据对象的凭证分数以生成反馈分数；以及

通过反馈聚合机器学习模型来处理反馈数据对象的每一反馈分数，以生成所述评价任务数据对象的协作评价。

19.根据权利要求18所述的计算机程序产品，其特征在于，通过所述凭证评分机器学习模型来处理对应的评价者数据对象以生成对应的评价者数据对象的对应凭证分数包括：

至少部分地基于对应的评价者数据对象，确定对应的评价者数据对象的一个或多个评价者特征，其中所述一个或多个评价者特征与一个或多个评价者特征类型相关联；

将所述一个或多个评价者特征映射到所述评价任务数据对象的评价者相关空间，以生成所述评价任务数据对象的经映射评价者相关空间，其中：(i)所述评价者相关空间指示一个或多个地面真值评价者数据对象中的每一地面真值评价者数据对象的多个评价者维度值，以及(ii)所述一个或多个地面真值评价者数据对象中的地面真值评价者数据对象的每多个评价者维度值包括与所述一个或多个评价者特征类型相对应的一个或多个评价者特征值以及所述地面真值评价者数据对象的地面真值凭证分数；以及

至少部分地基于经映射评价者相关空间来生成对应的凭证分数。

Images