CN109977400A - 一种校验处理的方法、装置、计算机存储介质及终端 - Google Patents

Abstract

一种校验处理的方法、装置、计算机存储介质及终端，包括：对预设数量的完成标注的样例，计算各样例的相关参数信息；根据计算获得的相关参数信息，确定各样例的校验参数信息；根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。本发明实施例减少了需要校验的样例数，提升了标注的校验效率。

Description

一种校验处理的方法、装置、计算机存储介质及终端

技术领域

本文涉及但不限于信息处理技术，尤指一种校验处理的方法、装置、计算机存储介质及终端。

背景技术

随着信息技术的发展，人工智能在生产生活中的应用越来越广泛。神经语言程序学(NLP)是人工智能中的重要领域之一，在对话系统、知识图谱、辅助判案等产品或应用中有重要作用。NLP面向的主要是文本数据，如对话文本、新闻、评论、裁判文书等。大多数NLP任务，如文本分类、序列标注等属于有监督学习，需要对文本类别、序列等进行标注。

标注主要由专业人员进行；由于自然语言本身的多样性，以及标注人员对文本和任务的理解可能存在主观差异，会造成标注结果不一致(多种结果均可接受)或错误的问题。过多的不一致或错误会影响模型的训练，从而影响最终应用效果，因此需要对标注结果进行校验。当前，对标注结果进行校验的方法包括交叉校验和随机抽检；其中，交叉校验为：同一份数据由两人或多人标注，对标注结果不一致的进一步审核校验；交叉校验的缺点在于：1、两人或多人标注大大增加工作量；2、结果一致并不代表结果正确，无法针对容易出错或标注不确定性大的数据进行专门校验。随机抽检：从标注结果中随机抽取一定比例(如20％)的数据，进行校验。随机抽检的缺点在于：1、结果存在随机性，校验结果可能无法体现整体标注结果情况；2、由于是随机抽取，不能针对容易出错或标注不确定性大的数据进行专门校验。

综上，当前对标注结果进行校验的方法，校验结果有待进一步提高，校验方式有待进一步改进。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种校验处理的方法、装置、计算机存储介质及终端，能够减少标注需要校验的样例数，提升标注的校验效率。

本发明实施例提供了一种校验处理的方法，包括：

对预设数量的完成标注的样例，计算各样例的相关参数信息；

根据计算获得的相关参数信息，确定各样例的校验参数信息；

根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

可选的，所述计算各样例的相关参数信息包括：

所述相关参数信息包括复杂度时，对预设的语料库通过预设分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过预设的分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

可选的，所述确定各样例的校验参数信息包括：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

可选的，所述按照预设策略为各相关参数信息设置相应的加权比例之前，所述方法还包括：

对各所述相关参数信息进行归一化处理。

可选的，所述根据确定的校验参数信息，选出需要校验的样例包括：

对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

另一方面，本发明实施例还提供一种校验处理的装置，包括：运算单元、确定单元及选择处理单元；其中，

运算单元用于：对预设数量的完成标注的样例，计算各样例的相关参数信息；

确定单元用于：根据计算获得的相关参数信息，确定各样例的校验参数信息；

选择处理单元用于：根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

可选的，所述运算单元具体用于：

所述相关参数信息包括复杂度时，对预设的语料库通过预设分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过预设的分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

可选的，所述确定单元具体用于：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

可选的，所述装置还包括归一化单元，用于：

对各所述相关参数信息进行归一化处理。

可选的，所述选择处理单元具体用于：

对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述校验处理的方法。

还一方面，本发明实施例还提供一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

对预设数量的完成标注的样例，计算各样例的相关参数信息；

根据计算获得的相关参数信息，确定各样例的校验参数信息；

根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

与相关技术相比，本申请技术方案包括：对预设数量的完成标注的样例，计算各样例的相关参数信息；根据计算获得的相关参数信息，确定各样例的校验参数信息；根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。本发明实施例减少了需要校验的样例数，提升了标注的校验效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例校验处理的方法的流程图；

图2为本发明实施例校验处理的装置的结构框图；

图3为本发明实施例复杂度归一化处理前后的关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例校验处理的方法的流程图，如图1所示，包括：

步骤101、对预设数量的完成标注的样例，计算各样例的相关参数信息；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

需要说明的是，本发明实施例样例的个数可以根据任务、标注的数据量，由本领域技术人员进行分析确定。

可选的，本发明实施例计算各样例的相关参数信息包括：

所述相关参数信息包括复杂度时，对预设的语料库通过预设分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过预设的分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

以下通过示例运算，简要说明复杂度的计算：

对单个样例进行分词，得到由分词组成的：w₁w₂w₃...w_n分词序列，分词序列对应的词向量序列为v₁v₂v₃...v_n。词向量可以预先通过大规模语料进行训练，也可以使用开放的词向量模型。用v_i，j表示词向量v_i第j维的值，则：

第j维均值为：

第j维方差为：

样例复杂度为：

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

以下通过示例，简要说明不确定度的计算过程：

本发明实施例假设样例i对应的标注人员为p_i，词数为n_i，复杂度为c_i，标注时间t_i；本发明实施例将其期望标注时间与实际标注时间的差值的绝对值，设定为不确定度：

步骤102、根据计算获得的相关参数信息，确定各样例的校验参数信息；

可选的，本发明实施例确定各样例的校验参数信息包括：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

本发明实施例根据上述设定，可以计算样例i的校验指数为：

V_i＝w₁*L_i+w₂*c_i+w₃*U_i

需要说明的是，本发明实施例加权比例可以由本领域技术人员分析确定，例如，可以设定在w₁+w₂+w₃＝1的前提下，设置各相关参数信息相应的加权比例。

可选的，按照预设策略为各相关参数信息设置相应的加权比例之前，本发明实施例方法还包括：

对各所述相关参数信息进行归一化处理。

本发明实施例通过归一化处理，可以避免异常数据对选择需要校验的样本的干扰。

可选的，相关参数信息包括复杂度时，对确定的复杂度进行归一化处理。

需要说明的是，本发明实施例归一化处理的公式可以包括：

α为可调因子，可以由本领域技术人员分析确定；

可选的，所述相关参数信息包括所述不确定度时，对计算获得的所述不确定度进行归一化处理；

这里，本发明实施例不确定度信息归一化处理的公式可以包括：

β的含义类似于α，为可调节因子，可以由本领域技术人员分析确定。

可选的，所述相关参数信息包括长度时，对长度进行归一化运算。

本发明实施例样例i对应的词数为n_i，对其调整后得到归一化的长度可以为：

γ的含义类似于α，为可调节因子，可以由本领域技术人员分析确定。

n_i的取值包括但限于使用本发明实施例使用的分词方法得到数值。

步骤103、根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

可选的，本发明实施例根据确定的校验参数信息，选出需要校验的样例包括：对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

以下通过序号为0～9的样例，对本发明实施例上述处理过程进行示例，表1为样例处理前期的基本参数：

表1

表2为根据本发明实施例方法计算获得的包括复杂度、不确定度、长度在内的相关参数信息，需要说明的是，表2所示参数进行了归一化的处理；表2与表1中的信息通过序号进行映射。

表2

根据归一化处理后相关参数信息，本发明实施例假设选择4个样例进行校验，则可以选择校验参数排序在前的4个样例进行校验，即选择序号为3、0、5、7的数据进行校验。校验方法可以参照相关技术中已有的方法实施。

需要说明的是，进行校验的样例的个数，可以由本领域技术人员根据标注的任务进行分析确定。

与相关技术相比，本申请技术方案包括：对预设数量的完成标注的样例，计算各样例的相关参数信息；根据计算获得的相关参数信息，确定各样例的校验参数信息；根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。本发明实施例减少了需要校验的样例数，提升了标注的校验效率。

图2为本发明实施例校验处理的装置的结构框图，如图2所示，包括：运算单元、确定单元及选择处理单元；其中，

运算单元用于：对预设数量的完成标注的样例，计算各样例的相关参数信息；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

可选的，本发明实施例运算单元具体用于：

所述相关参数信息包括复杂度时，对预设的语料库通过预设分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过预设的分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

以下通过示例运算，简要说明复杂度的计算：

对单个样例进行分词，得到由分词组成的：w₁w₂w₃...w_n分词序列，分词序列对应的词向量序列为v₁v₂v₃...v_n。词向量可以预先通过大规模语料进行训练，也可以使用开放的词向量模型。用v_i，j表示词向量v_i第j维的值，则：

第j维均值为：

第j维方差为：

样例复杂度为：

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

以下通过示例，简要说明不确定度的计算过程：

本发明实施例假设样例i对应的标注人员为p_i，词数为n_i，复杂度为c_i，标注时间t_i；本发明实施例将其期望标注时间与实际标注时间的差值的绝对值，设定为不确定度：

确定单元用于：根据计算获得的相关参数信息，确定各样例的校验参数信息；

可选的，本发明实施例确定单元具体用于：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

本发明实施例根据上述设定，可以计算样例i的校验指数为：

V_i＝w₁*L_i+w₂*c_i+w₃*U_i

需要说明的是，本发明实施例加权比例可以由本领域技术人员分析确定，例如，可以设定在w₁+w₂+w₃＝1的前提下，设置各相关参数信息相应的加权比例。

可选的，本发明实施例装置还包括归一化单元，用于：

对各所述相关参数信息进行归一化处理。

本发明实施例通过归一化处理，可以避免异常数据对选择需要校验的样本的干扰。

可选的，所述相关参数信息包括复杂度时，对确定的所述复杂度进行归一化处理。

需要说明的是，本发明实施例归一化处理的公式可以包括：

α为可调因子，可以由本领域技术人员分析确定；例如、可以取所有c的均值；

图3为本发明实施例复杂度归一化处理前后的关系示意图，如图3所示，归一化处理后的复杂度随未归一化处理的复杂度存在图示所示的关联；其中，x表示未归一化处理的复杂度；y表示归一化处理后的复杂度。

可选的，所述相关参数信息包括所述不确定度时，对计算获得的所述不确定度进行归一化处理；

这里，本发明实施例不确定度信息归一化处理的公式可以包括：

β的含义类似于α，为可调节因子，可以由本领域技术人员分析确定，例如、可以取所有D_i的均值。

可选的，所述相关参数信息包括长度时，对长度进行归一化运算。

本发明实施例样例i对应的词数为n_i，对其调整后得到归一化的长度可以为：

γ的含义类似于α，为可调节因子，可以由本领域技术人员分析确定，例如、可以取所有n_i的均值。

n_i的取值包括但限于使用本发明实施例使用的分词方法得到数值。

选择处理单元用于：根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

可选的，本发明实施例选择处理单元具体用于：

对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

与相关技术相比，本申请技术方案包括：对预设数量的完成标注的样例，计算各样例的相关参数信息；根据计算获得的相关参数信息，确定各样例的校验参数信息；根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。本发明实施例减少了需要校验的样例数，提升了标注的校验效率。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述校验处理的方法。

本发明实施例还提供一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

对预设数量的完成标注的样例，计算各样例的相关参数信息；

根据计算获得的相关参数信息，确定各样例的校验参数信息；

根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种校验处理的方法，其特征在于，包括：

对预设数量的完成标注的样例，计算各样例的相关参数信息；

根据计算获得的相关参数信息，确定各样例的校验参数信息；

根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

2.根据权利要求1所述的方法，其特征在于，所述计算各样例的相关参数信息包括：

所述相关参数信息包括复杂度时，对预设的语料库通过预设的分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过所述分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

3.根据权利要求1所述的方法，其特征在于，所述确定各样例的校验参数信息包括：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

4.根据权利要求3所述的方法，其特征在于，所述按照预设策略为各相关参数信息设置相应的加权比例之前，所述方法还包括：

对各所述相关参数信息进行归一化处理。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述根据确定的校验参数信息，选出需要校验的样例包括：

对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

6.一种校验处理的装置，其特征在于，包括：运算单元、确定单元及选择处理单元；其中，

运算单元用于：对预设数量的完成标注的样例，计算各样例的相关参数信息；

确定单元用于：根据计算获得的相关参数信息，确定各样例的校验参数信息；

选择处理单元用于：根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。

7.根据权利要求6所述的装置，其特征在于，所述运算单元具体用于：

所述相关参数信息包括复杂度时，对预设的语料库通过预设的分词算法进行分词处理；对所述分词处理后获得的分词进行训练，获得各分词的词向量集合；对各样例：通过所述分词算法进行分词处理；从所述词向量集合中，获得各分词的词向量；根据获得的各分词的所述词向量，计算分词各个维度向量的方差；根据计算获得的所述分词各个维度向量的方差，计算获得所述复杂度；

所述相关参数信息包括不确定度时，记录标注各样例的标注时间；根据各样例的复杂度、词数及标注时间，确定标记速度；根据确定的所述标记速度，计算获得所述不确定度。

8.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：

按照预设策略为各所述相关参数信息设置相应的加权比例；

对各样例，分别将各所述相关参数信息与对应的加权比例分别进行相乘后累加，计算获得各样例的所述校验参数信息。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括归一化单元，用于：

对各所述相关参数信息进行归一化处理。

10.根据权利要求6～9任一项所述的装置，其特征在于，所述选择处理单元具体用于：

对确定的各样例的校验参数信息按照取值大小进行排序，确定取值较大的预设数值个样例进行校验。

11.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～5中任一项所述的校验处理的方法。

12.一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

对预设数量的完成标注的样例，计算各样例的相关参数信息；

根据计算获得的相关参数信息，确定各样例的校验参数信息；

根据确定的校验参数信息，选出需要校验的样例，以进行校验处理；

其中，所述相关参数信息包括以下一种或一种以上信息：复杂度、不确定度、长度。