CN113570286A - 基于人工智能的资源分配方法、装置、电子设备及介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种基于人工智能的资源分配方法、装置、电子设备及介质，在从标注者画像中提取标注者的能力标签并在确定对多个待标注资源进行分配时，通过对每个待标注资源进行分类得到类目类别，从而基于类目类别对每个待标注资源进行难度预测得到标注难度，提高了标注难度的预测准确率，接着基于多个能力标签及多个标注难度创建标注模型，对标注模型进行凸优化求解，得到标注参数已知的标注模型，最后基于标注参数已知的标注模型即可计算得到每个标注者对待标注资源的标注准确率，从而基于标注准确率进行待标注资源的分配。本发明以标注者的能力标签与待标注资源的标注难度进行匹配，提高了标注待标注资源的准确度。

Description

基于人工智能的资源分配方法、装置、电子设备及介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的资源分配方法、装置、电子设备及介质。

背景技术

众包是指一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的大众网络的做法，众包的任务通常由个人来承担，但众包任务的派发是急需解决的问题。

发明人在实现本发明的过程中发现，通常的众包标注系统中，标注者获取任务往往通过随机的方式生成。但随机生成的方式并未考虑标注者的偏好及专业水平差异，且待标注资源的难度亦参差不齐，易将标注者不擅长或不感兴趣的资源推送给标注者，导致标注质量较差。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的资源分配方法、装置、电子设备及介质，能够基于标注者画像进行资源的分配，以标注者的能力标签与资源的标注难度进行匹配，从而获得从标注任务发布者和标注者视角均更优的资源分配方案。

本发明的第一方面提供一种基于人工智能的资源分配方法，所述方法包括：

获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

基于多个所述能力标签及多个所述标注难度创建标注模型；

对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

在一个可选的实施方式中，所述对每个所述待标注资源进行分类，得到类目类别包括：

获取所述待标注资源的标注文本；

提取所述标注文本的第一文本向量；

将所述第一文本向量输入第一分类模型中进行分类，得到第一概率集合，所述第一分类模型基于一级类目训练得到；

根据所述第一文本向量与所述第一概率集合得到文本向量集合，所述文本向量集合包括多个第二文本向量；

将每个所述第二文本向量输入第二分类模型中进行分类，得到第二概率集合，所述第二分类模型基于二级类目训练得到；

基于所述第二概率集合，获取所述待标注资源的类目类别。

在一个可选的实施方式中，所述基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度包括：

获取所述待标注资源的语料来源及语种；

计算所述待标注资源的标注文本的文本长度；

对所述待标注资源的标注文本进行分词处理，得到多个关键词，并基于所述多个关键词计算所述待标注资源的非标准词占比；

基于所述类目类别、所述语料来源、所述语种、所述文本长度及所述非标准词占比构造特征矩阵；

基于所述特征矩阵计算得到多个特征值；

基于所述多个特征值得到标注难度。

在一个可选的实施方式中，所述基于所述多个关键词计算所述待标注资源的非标准词占比包括：

将每个所述关键词与标准词数据库进行匹配；

当从所述标准词数据库中匹配出与所述关键词相同的分词，则确定所述关键词为标准词；

当没有从所述标准词数据库中匹配出与所述关键词相同的分词，则确定所述关键词为非标准词；

计算所述非标准词的数量与所述多个关键词的数量之间的比值，得到所述待标注资源的非标准词占比。

在一个可选的实施方式中，所述基于多个所述能力标签及多个所述标注难度创建标注模型包括：

设置多个约束条件；

根据每个所述能力标签及每个所述标注难度得到标注变量；

基于所述多个约束条件及多个所述标注变量构建初始标注模型；

对所述初始标注模型进行矫正，得到目标标注模型，其中，所述目标标注模型对应的标注曲线满足预设曲线要求。

在一个可选的实施方式中，所述多个约束条件包括：

每个待标注资源经至少N个待标注者进行标注，标注的结果才可视为可信；

每个标注者在单位时间内最多可标注M个待标注资源；

每个标注者在每个类目类别的能力标签已知。

在一个可选的实施方式中，所述基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者包括：

对于任意一个目标标注者，计算所述目标标注者的能力标签与每个所述待标注资源的标注难度的标注差值；

通过所述标注参数已知的标注模型基于每个所述标注差值进行计算，得到对应所述差值的待标注资源的标注准确率；

确定多个所述标注准确率中的最大标注准确率；

将所述最大标注准确率对应的待标注资源分配给所述目标标注者。

本发明的第二方面提供一种基于人工智能的资源分配装置，所述装置包括：

提取模块，用于获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

分类模块，用于响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

预测模块，用于基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

创建模块，用于基于多个所述能力标签及多个所述标注难度创建标注模型；

优化模块，用于对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

分配模块，用于基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于人工智能的资源分配方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于人工智能的资源分配方法。

综上所述，本发明所述的基于人工智能的资源分配方法、装置、电子设备及介质，在获取到标注者画像之后，从标注者画像中提取标注者的能力标签，在确定对多个待标注资源进行分配时，通过对每个待标注资源进行分类，得到类目类别，从而基于类目类别对每个待标注资源进行难度预测，得到标注难度，提高了标注难度的预测准确率，有助于提高待标注资源的分配准确率，接着基于多个能力标签及多个标注难度创建标注模型，并对标注模型进行凸优化求解，从而得到标注参数已知的标注模型，最后基于标注参数已知的标注模型即可计算得到每个标注者对待标注资源的标注准确率，从而基于标注准确率进行待标注资源的分配。本发明以标注者的能力标签与待标注资源的标注难度进行匹配，如此，不仅能够提高标注者标注待标注资源的准确度，还能使得标注者获得更高的资源价值。

附图说明

图1是本发明实施例一提供的基于人工智能的资源分配方法的流程图。

图2是本发明实施例二提供的基于人工智能的资源分配装置的结构图。

图3是本发明实施例三提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的，不是旨在于限制本发明。

本发明实施例提供的基于人工智能的资源分配方法由电子设备执行，相应地，基于人工智能的资源分配装置运行于电子设备中。

本申请实施例可以基于人工智能技术对资源进行分配。其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

实施例一

图1是本发明实施例一提供的基于人工智能的资源分配方法的流程图。所述基于人工智能的资源分配方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11，获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签。

电子设备可以预先创建用于存储标注者画像的画像数据库，并将画像数据库存储于本地。标注者画像刻画了标注者的基础特性，包括，但不限于：标注者的基础信息，标注者的能力标签。

标注者的基础信息由标注者在众包标注任务平台注册时提供，可以包括：职业、性别、年龄、教育程度、感兴趣的垂直领域（即，标注者的偏好）。众包标注任务平台还可以在标注者注册时提供能力评估测试题，以测试标注者在感兴趣的垂直领域的专业能力，并在标注者完成评估测试后给出测试分数，从而根据测试分数获得标注者的能力标签。

S12，响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别。

多个待标注资源的分配指令可以由任务分配者通过电子设备成功登录众包标注任务平台触发，用以将任务分配者选取的多个待标注资源分配给众包标注任务平台中注册的标注者。

电子设备侦测到对多个待标注资源的分配指令之后进行响应，从而对每个待标注资源进行分类，得到每个待标注资源的类目类别。待标注资源可以包括需要进行标注的试题、文本、商品、发票、音频、视频等。类目类别，如金融、计算机、法律类等。

在一个可选的实施方式中，所述对每个所述待标注资源进行分类，得到类目类别包括：

获取所述待标注资源的标注文本；

提取所述标注文本的第一文本向量；

将所述第一文本向量输入第一分类模型中进行分类，得到第一概率集合，所述第一分类模型基于一级类目训练得到；

根据所述第一文本向量与所述第一概率集合得到文本向量集合，所述文本向量集合包括多个第二文本向量；

将每个所述第二文本向量输入第二分类模型中进行分类，得到第二概率集合，所述第二分类模型基于二级类目训练得到；

基于所述第二概率集合，获取所述待标注资源的类目类别。

如果待标注资源为发票、音频、视频等非文本类型的资源，则先将非文本类型的资源转换为文本类型的资源。

电子设备可以采用BERT模型提取标注文本的文本向量，为便于后文描述，将提取出的文本向量作为第一文本向量。

类目类别至少包括一级类目和二级类目，所述第一概率集合为分类结果归属于一级类目中每个类目的概率，所述第二概率集合为分类结果归属于二级类目中每个类目的概率，所述二级类目的类目归属于所述一级类目的类目。

电子设备可以预先基于多个训练文本及每个训练文本归属于一级类目的类目类别训练第一神经网络得到第一分类模型，再使用第一分类模型对多个测试文本进行分类测试，得到每个测试文本的第一测试概率集合，最后基于多个测试文本及每个测试文本的第一测试概率集合训练第二神经网络得到第二分类模型。其中，第一神经网络与第二神经网络构成级联的神经网络结构。

在一个可选的实施方式中，所述根据所述第一文本向量与所述第一概率集合得到文本向量集合包括：基于所述第一文本向量与所述第一概率集合中的每个第一概率集合的乘积得到第二文本向量，每个第一文本向量对应的多个第二文本向量组合为一个文本向量集合。所述基于所述第二概率集合，获取所述待标注资源的类目类别包括：获取所述第二概率集合中二级类目概率最大的类目作为最终的类目类别。

该可选的实施方式中，通过建立级联的神经网络训练第一分类模型和第二分类模型，使用第一分类模型对待标注资源进行粗分类，再使用第二分类模型对根据粗分类的概率与待标注资源得到的文本向量集合进行细分类，实现了根据上一级神经网络的分类结果，对待标注资源的在下一级神经网络中的分类结果的修正，通过两级分类，提高了待标注资源的分类的准确率。

S13，基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度。

为了提高标注难度预测的准确率，电子设备可以基于每个所述待标注资源的类目类别对每个待标注资源进行难度预测。

在一个可选的实施方式中，所述基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度包括：

获取所述待标注资源的语料来源及语种；

计算所述待标注资源的标注文本的文本长度；

对所述待标注资源的标注文本进行分词处理，得到多个关键词，并基于所述多个关键词计算所述待标注资源的非标准词占比；

基于所述类目类别、所述语料来源、所述语种、所述文本长度及所述非标准词占比构造特征矩阵；

基于所述特征矩阵计算得到多个特征值；

基于所述多个特征值得到标注难度。

电子设备中预先存储有每个待标注资源的语料来源及语种，在获取到每个待标注资源的语料来源及语种之后，将语料来源及语种分别映射为数值，例如，语料来源A对应数值1，语料来源B对应数值2，汉语语种映射为数值0，英语语种映射为数值1等。

电子设备可以计算所述待标注资源的标注文本中的字符数，得到标注文本的文本长度。电子设备可以通过结巴分词工具对待标注资源的标注文本进行分词处理，得到多个关键词，将每个关键词与标准词数据库进行匹配。当从标准词数据库中匹配出与关键词相同的分词，则确定该关键词为标准词。当没有从标准词数据库中匹配出与关键词相同的分词，则确定该关键词为非标准词。计算非标准词的数量与关键词的数量之间的比值，得到待标注资源的非标准词占比。

将类目类别、语料来源、语种、文本长度及非标准词占比之间进行两两对比，从而构造出特征矩阵，如此，特征矩阵的对角线上的元素为1。示例性的，特征矩阵的第1行的元素可以为

，特征矩阵的第2行的元素可以为

，以此类推。

将类目类别、语料来源、语种、文本长度及非标准词占比作为待标注资源的难度因子，则对特征矩阵进行矩阵计算，得到的多个特征值中每个特征值代表对应的难度因子的权重，权重越大，表明对应的难度因子越影响待标注资源的难度系数，权重越小，表明对应的难度因子越不影响待标注资源的难度系数。

电子设备可以将最大的特征值作为待标注资源的标注难度，也可以将多个特征值的和值作为待标注资源的标注难度，还可以将多个特征值的平均值作为待标注资源的标注难度，本发明对此不做任何限制。

S14，基于多个所述能力标签及多个所述标注难度创建标注模型。

创建的标注模型可以视为一个带约束的优化问题，标注模型的目标是多个待标注资源的平均标注准确率期望最大。

在一个可选的实施方式中，所述基于多个所述能力标签及多个所述标注难度创建标注模型包括：

设置多个约束条件；

根据每个所述能力标签及每个所述标注难度得到标注变量；

基于所述多个约束条件及多个所述标注变量构建初始标注模型；

对所述初始标注模型进行矫正，得到目标标注模型，其中，目标标注模型对应的标注曲线满足预设曲线要求。

其中，多个约束条件可以包括：每个待标注资源必须经至少N个待标注者进行标注，标注的结果才可视为可信；每个标注者在单位时间内最多可标注M个待标注资源；每个标注者在每个类目类别的能力标签已知（如果在某个类目类别的能力标签未知，则以预设标签代替，例如，0）。

电子设备计算能力标签与标注难度的差值，并对所述差值进行归一化处理，得到归一化值，作为标注自变量的值，将标注模型的目标作为标注因变量的值，从而根据标注自变量及标注因变量创建初始标注函数（初始标注模型）。即，初始标注模型的X轴为：能力标签–标注难度，Y轴为多个待标注资源的平均标注准确率期望。

在得到初始标注模型之后，可以根据初始标注模型绘制标注曲线，从而根据标注曲线确定极大值和极小值，并确定标注曲线的中心点。将极大值、极小值及中心点与预先设置的曲线要求进行比较，判断初始标注模型是否满足预先设置的曲线要求。当初始标注模满足预先设置的曲线要求，则将初始标注模型确定为目标标注模型。当初始标注模不满足预先设置的曲线要求，则对初始标注模型进行矫正，直到初始标注模型满足预先设置的曲线要求。

其中，预先设置的曲线要求为Ymax=1.0，Ymin=0.5，中心点位于Y轴。可以理解的是，目标标注模型可以为Logistic曲线进行平移得到的。

需要说明的是，当标注者的数量小于预设数量阈值时，表明标注者人力不足，对于标注人力不足的情况，则可以将多个待标注资源进行分组，得到多组待标注资源，针对每一组待标注资源执行上述基于多个所述能力标签及多个所述标注难度创建标注模型的过程即可。

S15，对所述标注模型进行凸优化求解，得到标注参数已知的标注模型。

电子设备可以基于凸优化方法对标注模型进行凸优化求解，例如，采用拉格朗日乘子法对标注模型进行凸优化求解，近似求取使多个待标注资源的平均标注准确率期望最大。

S16，基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

在使得多个待标注资源的平均标注准确率期望最大之后，即可得到标注模型中的标注参数，从而得到标注参数已知的标注模型。

当向标注者分配与其能力标签匹配的待标注资源时，标注者获得的资源价值也趋于更高，基于此，可将标注者的能力标签与待标注资源的分配视为一个资源分配问题：已知标注者的能力标签，向其推荐标注准确率最高的待标注资源。

在一个可选的实施方式中，所述基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者包括：

对于任意一个目标标注者，计算所述目标标注者的能力标签与每个所述待标注资源的标注难度的标注差值；

通过所述标注参数已知的标注模型基于每个所述标注差值进行计算，得到对应所述差值的待标注资源的标注准确率；

确定多个所述标注准确率中的最大标注准确率；

将所述最大标注准确率对应的待标注资源分配给所述目标标注者。

该可选的实施方式中，每次从多个标注者选取一个标注者，作为目标标注者，每个目标标注者对应多个标注差值，每个目标标注者对应的多个标注差值的数量与待标注资源的数量相同。

对于每个目标标注者，将多个标注差值中的每一个标注差值代入凸优化求解得到的标注模型中进行计算，得到的值作为标注准确率。每一个待标注资源对应一个标注差值，每个标注差值对应一个标注准确率，即待标注资源、标注差值、标注准确率具有一一对应的关系。

标注准确率越高，表明目标标注者越适合对对应的待标注资源进行标注，标注准确率越低，表明目标标注者越不适合对对应的待标注资源进行标注。

本发明在获取到标注者画像之后，从标注者画像中提取标注者的能力标签，在确定对多个待标注资源进行分配时，通过对每个待标注资源进行分类，得到类目类别，从而基于类目类别对每个待标注资源进行难度预测，得到标注难度，提高了标注难度的预测准确率，有助于提高待标注资源的分配准确率，接着基于多个能力标签及多个标注难度创建标注模型，并对标注模型进行凸优化求解，从而得到标注参数已知的标注模型，最后基于标注参数已知的标注模型即可计算得到每个标注者对待标注资源的标注准确率，从而基于标注准确率进行待标注资源的分配。本发明以标注者的能力标签与待标注资源的标注难度进行匹配，如此，不仅能够提高标注者标注待标注资源的准确度，还能使得标注者获得更高的资源价值。

实施例二

图2是本发明实施例二提供的基于人工智能的资源分配装置的结构图。

在一些实施例中，所述基于人工智能的资源分配装置20可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的资源分配装置20中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）基于人工智能的资源分配的功能。

本实施例中，所述基于人工智能的资源分配装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：提取模块201、分类模块202、预测模块203、创建模块204、优化模块205及分配模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

所述提取模块201，用于获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签。

电子设备可以预先创建用于存储标注者画像的画像数据库，并将画像数据库存储于本地。标注者画像刻画了标注者的基础特性，包括，但不限于：标注者的基础信息，标注者的能力标签。

标注者的基础信息由标注者在众包标注任务平台注册时提供，可以包括：职业、性别、年龄、教育程度、感兴趣的垂直领域（即，标注者的偏好）。众包标注任务平台还可以在标注者注册时提供能力评估测试题，以测试标注者在感兴趣的垂直领域的专业能力，并在标注者完成评估测试后给出测试分数，从而根据测试分数获得标注者的能力标签。

所述分类模块202，用于响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别。

多个待标注资源的分配指令可以由任务分配者通过电子设备成功登录众包标注任务平台触发，用以将任务分配者选取的多个待标注资源分配给众包标注任务平台中注册的标注者。

电子设备侦测到对多个待标注资源的分配指令之后进行响应，从而对每个待标注资源进行分类，得到每个待标注资源的类目类别。待标注资源可以包括需要进行标注的试题、文本、商品、发票、音频、视频等。类目类别，如金融、计算机、法律类等。

在一个可选的实施方式中，所述分类模块202对每个所述待标注资源进行分类，得到类目类别包括：

获取所述待标注资源的标注文本；

提取所述标注文本的第一文本向量；

将所述第一文本向量输入第一分类模型中进行分类，得到第一概率集合，所述第一分类模型基于一级类目训练得到；

根据所述第一文本向量与所述第一概率集合得到文本向量集合，所述文本向量集合包括多个第二文本向量；

将每个所述第二文本向量输入第二分类模型中进行分类，得到第二概率集合，所述第二分类模型基于二级类目训练得到；

基于所述第二概率集合，获取所述待标注资源的类目类别。

如果待标注资源为发票、音频、视频等非文本类型的资源，则先将非文本类型的资源转换为文本类型的资源。

电子设备可以采用BERT模型提取标注文本的文本向量，为便于后文描述，将提取出的文本向量作为第一文本向量。

类目类别至少包括一级类目和二级类目，所述第一概率集合为分类结果归属于一级类目中每个类目的概率，所述第二概率集合为分类结果归属于二级类目中每个类目的概率，所述二级类目的类目归属于所述一级类目的类目。

电子设备可以预先基于多个训练文本及每个训练文本归属于一级类目的类目类别训练第一神经网络得到第一分类模型，再使用第一分类模型对多个测试文本进行分类测试，得到每个测试文本的第一测试概率集合，最后基于多个测试文本及每个测试文本的第一测试概率集合训练第二神经网络得到第二分类模型。其中，第一神经网络与第二神经网络构成级联的神经网络结构。

在一个可选的实施方式中，所述根据所述第一文本向量与所述第一概率集合得到文本向量集合包括：基于所述第一文本向量与所述第一概率集合中的每个第一概率集合的乘积得到第二文本向量，每个第一文本向量对应的多个第二文本向量组合为一个文本向量集合。所述基于所述第二概率集合，获取所述待标注资源的类目类别包括：获取所述第二概率集合中二级类目概率最大的类目作为最终的类目类别。

该可选的实施方式中，通过建立级联的神经网络训练第一分类模型和第二分类模型，使用第一分类模型对待标注资源进行粗分类，再使用第二分类模型对根据粗分类的概率与待标注资源得到的文本向量集合进行细分类，实现了根据上一级神经网络的分类结果，对待标注资源的在下一级神经网络中的分类结果的修正，通过两级分类，提高了待标注资源的分类的准确率。

所述预测模块203，用于基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度。

为了提高标注难度预测的准确率，电子设备可以基于每个所述待标注资源的类目类别对每个待标注资源进行难度预测。

在一个可选的实施方式中，所述预测模块203基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度包括：

获取所述待标注资源的语料来源及语种；

计算所述待标注资源的标注文本的文本长度；

对所述待标注资源的标注文本进行分词处理，得到多个关键词，并基于所述多个关键词计算所述待标注资源的非标准词占比；

基于所述类目类别、所述语料来源、所述语种、所述文本长度及所述非标准词占比构造特征矩阵；

基于所述特征矩阵计算得到多个特征值；

基于所述多个特征值得到标注难度。

电子设备中预先存储有每个待标注资源的语料来源及语种，在获取到每个待标注资源的语料来源及语种之后，将语料来源及语种分别映射为数值，例如，语料来源A对应数值1，语料来源B对应数值2，汉语语种映射为数值0，英语语种映射为数值1等。

电子设备可以计算所述待标注资源的标注文本中的字符数，得到标注文本的文本长度。电子设备可以通过结巴分词工具对待标注资源的标注文本进行分词处理，得到多个关键词，将每个关键词与标准词数据库进行匹配。当从标准词数据库中匹配出与关键词相同的分词，则确定该关键词为标准词。当没有从标准词数据库中匹配出与关键词相同的分词，则确定该关键词为非标准词。计算非标准词的数量与关键词的数量之间的比值，得到待标注资源的非标准词占比。

将类目类别、语料来源、语种、文本长度及非标准词占比之间进行两两对比，从而构造出特征矩阵，如此，特征矩阵的对角线上的元素为1。示例性的，特征矩阵的第1行的元素可以为

，特征矩阵的第2行的元素可以为

，以此类推。

将类目类别、语料来源、语种、文本长度及非标准词占比作为待标注资源的难度因子，则对特征矩阵进行矩阵计算，得到的多个特征值中每个特征值代表对应的难度因子的权重，权重越大，表明对应的难度因子越影响待标注资源的难度系数，权重越小，表明对应的难度因子越不影响待标注资源的难度系数。

电子设备可以将最大的特征值作为待标注资源的标注难度，也可以将多个特征值的和值作为待标注资源的标注难度，还可以将多个特征值的平均值作为待标注资源的标注难度，本发明对此不做任何限制。

所述创建模块204，用于基于多个所述能力标签及多个所述标注难度创建标注模型。

创建的标注模型可以视为一个带约束的优化问题，标注模型的目标是多个待标注资源的平均标注准确率期望最大。

在一个可选的实施方式中，所述创建模块204基于多个所述能力标签及多个所述标注难度创建标注模型包括：

设置多个约束条件；

根据每个所述能力标签及每个所述标注难度得到标注变量；

基于所述多个约束条件及多个所述标注变量构建初始标注模型；

对所述初始标注模型进行矫正，得到目标标注模型，其中，目标标注模型对应的标注曲线满足预设曲线要求。

其中，多个约束条件可以包括：每个待标注资源必须经至少N个待标注者进行标注，标注的结果才可视为可信；每个标注者在单位时间内最多可标注M个待标注资源；每个标注者在每个类目类别的能力标签已知（如果在某个类目类别的能力标签未知，则以预设标签代替，例如，0）。

电子设备计算能力标签与标注难度的差值，并对所述差值进行归一化处理，得到归一化值，作为标注自变量的值，将标注模型的目标作为标注因变量的值，从而根据标注自变量及标注因变量创建初始标注函数（初始标注模型）。即，初始标注模型的X轴为：能力标签–标注难度，Y轴为多个待标注资源的平均标注准确率期望。

在得到初始标注模型之后，可以根据初始标注模型绘制标注曲线，从而根据标注曲线确定极大值和极小值，并确定标注曲线的中心点。将极大值、极小值及中心点与预先设置的曲线要求进行比较，判断初始标注模型是否满足预先设置的曲线要求。当初始标注模满足预先设置的曲线要求，则将初始标注模型确定为目标标注模型。当初始标注模不满足预先设置的曲线要求，则对初始标注模型进行矫正，直到初始标注模型满足预先设置的曲线要求。

其中，预先设置的曲线要求为Ymax=1.0，Ymin=0.5，中心点位于Y轴。可以理解的是，目标标注模型可以为Logistic曲线进行平移得到的。

需要说明的是，当标注者的数量小于预设数量阈值时，表明标注者人力不足，对于标注人力不足的情况，则可以将多个待标注资源进行分组，得到多组待标注资源，针对每一组待标注资源执行上述基于多个所述能力标签及多个所述标注难度创建标注模型的过程即可。

所述优化模块205，用于对所述标注模型进行凸优化求解，得到标注参数已知的标注模型。

电子设备可以基于凸优化方法对标注模型进行凸优化求解，例如，采用拉格朗日乘子法对标注模型进行凸优化求解，近似求取使多个待标注资源的平均标注准确率期望最大。

所述分配模块206，用于基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

在使得多个待标注资源的平均标注准确率期望最大之后，即可得到标注模型中的标注参数，从而得到标注参数已知的标注模型。

当向标注者分配与其能力标签匹配的待标注资源时，标注者获得的资源价值也趋于更高，基于此，可将标注者的能力标签与待标注资源的分配视为一个资源分配问题：已知标注者的能力标签，向其推荐标注准确率最高的待标注资源。

在一个可选的实施方式中，所述分配模块206基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者包括：

对于任意一个目标标注者，计算所述目标标注者的能力标签与每个所述待标注资源的标注难度的标注差值；

通过所述标注参数已知的标注模型基于每个所述标注差值进行计算，得到对应所述差值的待标注资源的标注准确率；

确定多个所述标注准确率中的最大标注准确率；

将所述最大标注准确率对应的待标注资源分配给所述目标标注者。

该可选的实施方式中，每次从多个标注者选取一个标注者，作为目标标注者，每个目标标注者对应多个标注差值，每个目标标注者对应的多个标注差值的数量与待标注资源的数量相同。

对于每个目标标注者，将多个标注差值中的每一个标注差值代入凸优化求解得到的标注模型中进行计算，得到的值作为标注准确率。每一个待标注资源对应一个标注差值，每个标注差值对应一个标注准确率，即待标注资源、标注差值、标注准确率具有一一对应的关系。

标注准确率越高，表明目标标注者越适合对对应的待标注资源进行标注，标注准确率越低，表明目标标注者越不适合对对应的待标注资源进行标注。

本发明在获取到标注者画像之后，从标注者画像中提取标注者的能力标签，在确定对多个待标注资源进行分配时，通过对每个待标注资源进行分类，得到类目类别，从而基于类目类别对每个待标注资源进行难度预测，得到标注难度，提高了标注难度的预测准确率，有助于提高待标注资源的分配准确率，接着基于多个能力标签及多个标注难度创建标注模型，并对标注模型进行凸优化求解，从而得到标注参数已知的标注模型，最后基于标注参数已知的标注模型即可计算得到每个标注者对待标注资源的标注准确率，从而基于标注准确率进行待标注资源的分配。本发明以标注者的能力标签与待标注资源的标注难度进行匹配，如此，不仅能够提高标注者标注待标注资源的准确度，还能使得标注者获得更高的资源价值。

实施例三

本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于人工智能的资源分配方法实施例中的步骤，例如图1所示的S11-S16：

S11，获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

S12，响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

S13，基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

S14，基于多个所述能力标签及多个所述标注难度创建标注模型；

S15，对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

S16，基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图2中的模块201-206：

所述提取模块201，用于获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

所述分类模块202，用于响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

所述预测模块203，用于基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

所述创建模块204，用于基于多个所述能力标签及多个所述标注难度创建标注模型；

所述优化模块205，用于对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

所述分配模块206，用于基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

实施例四

参阅图3所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。

本领域技术人员应该了解，图3示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的基于人工智能的资源分配方法中的全部或者部分步骤。所述存储器31包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在一些实施例中，所述至少一个处理器32是所述电子设备3的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于人工智能的资源分配方法的全部或者部分步骤；或者实现基于人工智能的资源分配装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。

尽管未示出，所述电子设备3还可以包括给各个部件供电的电源（比如电池），优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的资源分配方法，其特征在于，所述方法包括：

获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

基于多个所述能力标签及多个所述标注难度创建标注模型；

对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

2.如权利要求1所述的基于人工智能的资源分配方法，其特征在于，所述对每个所述待标注资源进行分类，得到类目类别包括：

获取所述待标注资源的标注文本；

提取所述标注文本的第一文本向量；

将所述第一文本向量输入第一分类模型中进行分类，得到第一概率集合，所述第一分类模型基于一级类目训练得到；

根据所述第一文本向量与所述第一概率集合得到文本向量集合，所述文本向量集合包括多个第二文本向量；

将每个所述第二文本向量输入第二分类模型中进行分类，得到第二概率集合，所述第二分类模型基于二级类目训练得到；

基于所述第二概率集合，获取所述待标注资源的类目类别。

3.如权利要求1所述的基于人工智能的资源分配方法，其特征在于，所述基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度包括：

获取所述待标注资源的语料来源及语种；

计算所述待标注资源的标注文本的文本长度；

对所述待标注资源的标注文本进行分词处理，得到多个关键词，并基于所述多个关键词计算所述待标注资源的非标准词占比；

基于所述类目类别、所述语料来源、所述语种、所述文本长度及所述非标准词占比构造特征矩阵；

基于所述特征矩阵计算得到多个特征值；

基于所述多个特征值得到标注难度。

4.如权利要求3所述的基于人工智能的资源分配方法，其特征在于，所述基于所述多个关键词计算所述待标注资源的非标准词占比包括：

将每个所述关键词与标准词数据库进行匹配；

当从所述标准词数据库中匹配出与所述关键词相同的分词，则确定所述关键词为标准词；

当没有从所述标准词数据库中匹配出与所述关键词相同的分词，则确定所述关键词为非标准词；

计算所述非标准词的数量与所述多个关键词的数量之间的比值，得到所述待标注资源的非标准词占比。

5.如权利要求1至4中任意一项所述的基于人工智能的资源分配方法，其特征在于，所述基于多个所述能力标签及多个所述标注难度创建标注模型包括：

设置多个约束条件；

根据每个所述能力标签及每个所述标注难度得到标注变量；

基于所述多个约束条件及多个所述标注变量构建初始标注模型；

对所述初始标注模型进行矫正，得到目标标注模型，其中，所述目标标注模型对应的标注曲线满足预设曲线要求。

6.如权利要求5所述的基于人工智能的资源分配方法，其特征在于，所述多个约束条件包括：

每个待标注资源经至少N个待标注者进行标注，标注的结果才可视为可信；

每个标注者在单位时间内最多可标注M个待标注资源；

每个标注者在每个类目类别的能力标签已知。

7.如权利要求6所述的基于人工智能的资源分配方法，其特征在于，所述基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者包括：

对于任意一个目标标注者，计算所述目标标注者的能力标签与每个所述待标注资源的标注难度的标注差值；

通过所述标注参数已知的标注模型基于每个所述标注差值进行计算，得到对应所述差值的待标注资源的标注准确率；

确定多个所述标注准确率中的最大标注准确率；

将所述最大标注准确率对应的待标注资源分配给所述目标标注者。

8.一种基于人工智能的资源分配装置，其特征在于，所述装置包括：

提取模块，用于获取多个标注者画像，并从所述标注者画像中提取对应的标注者的能力标签；

分类模块，用于响应于对多个待标注资源的分配指令，对每个所述待标注资源进行分类，得到类目类别；

预测模块，用于基于每个所述待标注资源的类目类别对每个所述待标注资源进行难度预测，得到标注难度；

创建模块，用于基于多个所述能力标签及多个所述标注难度创建标注模型；

优化模块，用于对所述标注模型进行凸优化求解，得到标注参数已知的标注模型；

分配模块，用于基于所述标注参数已知的标注模型将所述多个待标注资源分配给所述多个标注者。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述基于人工智能的资源分配方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述基于人工智能的资源分配方法。

Images