CN102662930A

CN102662930A - 一种语料标注方法及装置

Info

Publication number: CN102662930A
Application number: CN2012101110809A
Authority: CN
Inventors: 金澎; 邱立坤
Original assignee: Leshan Normal University
Current assignee: Leshan Normal University
Priority date: 2012-04-16
Filing date: 2012-04-16
Publication date: 2012-09-12
Anticipated expiration: 2032-04-16
Also published as: CN102662930B

Abstract

本发明涉及计算机技术领域，公开了一种语料标注方法及装置，该方法为：语料标注装置在每次进行语料标注时，选择待标注的语料，并对该语料进行标注，以及根据已保存的语料标注历史记录，对上述语料对应的任意一标注结果分别进行可信度指示，这样，可以合理分配人工校对过程中的人力资源，有效解决现有技术中存在的庞大语料库中语料标注工作量大，效率低，准确率低的问题。

Description

一种语料标注方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种语料标注方法及装置。

背景技术

在语言学中，语料库是指大量文本的集合，库中的文本即为语料，语料经过整理后，便具有既定的格式与标记。由大量既定格式与标记的语料组成的语料库可应用于词典编纂、语言教学、传统语言研究、自然语言处理中基于统计或者实例的研究等方面，因此，语料库是语言学研究的基础资源。语料标注是对语料库中的文本进行分词、词性标注、命名实体识别、句法加工、信息抽取等方面的工作，是建立准确的语料库和语言分析模型的基础。例如，词性语料标注就是对语句中每一个词的词性进行标注，比如对下面已经完成分词的语句进行词性标注：

我是一个兵

正确的标注结果为：

我/r是/v一个/mq兵/n

其中，r为代词；v为动词；mq为数量词；n为名词。

如图1所示，现有技术中的计算机辅助语料标注系统大致包含七个部分，分别为：待标注语料存储模块，语料选择模块，语料标注模块，语料标注结果显示模块，语料标注结果收集模块，完成标注语料存储模块，用户交互界面。具体工作过程参见图1，计算机将录入的语料存放至待标注语料存储模块中，语料选择模块从待标注语料存储模块中随机抽取一条或者多条语料；语料标注模块对语料选择模块抽取出的语料进行标注；语料标注结果显示模块将语料的标注结果显示在用户交互界面上，由人工在语料标注结果显示模块中对语料标注结果进行校对，校对包含同意正确的标注，和对错误语料标注进行添加、删除和更改，若语料标注错误，也可在语料标注结果显示模块中对标注结果进行修改，如语料标注模块可能对某些非常见的词语不能标注，例如，输入“我/r是/v一个/mq特种/？兵/n”，“？”表示未对“特种”进行标注，此时需要在语句标注结果显示模块中对标注结果进行修改；用户交互界面为用户显示语料标注结果；语料标注结果收集模块可以采集校对结果；完成标注语料存储模块存储语料标注结果收集模块采集的结果。

由此可见，虽然现有技术中的计算机辅助语料标注系统对提高语料标注效率进行了很大的改进，在一定程度上降低了语料标注占用的时间长度和错误率，但由于人工校对需要长时间集中精力工作，标注速率和标注准确度还是有待于进一步提高。

发明内容

本发明实施例中，在常规的计算机辅助语料标注系统中，设置了可信度指示单元，可以指示出不同语料标注结果对应各标注结果的可信度，用以解决语料标注效率低和准确率低的问题。

本发明实施例提供的具体技术方案如下：

一种语料标注方法，包括：

选择待标注的语料，并对所述语料进行标注；

根据已保存的语料标注历史记录，对所述语料对应的任意一标注结果分别进行可信度指示；

将所述语料对应的各标注结果与相应的可信度指示进行呈现。

一种语料标注装置，包括：

标注单元20，用于选择待标注的语料，并对所述语料进行标注；

可信度指示单元21，用于根据已保存的语料标注历史记录，对所述语料对应的任意一标注结果分别进行可信度指示；

呈现单元22，用于将所述语料对应的各标注结果与相应的可信度指示进行呈现。

本发明实施例中，语料标注装置在每次进行语料标注时，选择待标注的语料，并对该语料进行标注，以及根据已保存的语料标注历史记录，对上述语料对应的任意一标注结果分别进行可信度指示，这样，可以合理分配人工校对过程中的人力资源，有效解决现有技术中存在的庞大语料库中语料标注工作量大，效率低，准确率低的问题。

附图说明

图1为现有技术中的计算机辅助语料标注系统结构图；

图2为本发明实施例中的语料标注装置结构图；

图3为本发明实施例中的语料标注装置工作流程图；

图4为本发明实施例中构成语料标注历史记录的流程图。

具体实施方式

为了提高计算机辅助语料标注系统的标注速率和标注准确度，本发明实施例中，语料标注装置在每次进行语料标注时，选择待标注的语料，并对该语料进行标注，以及根据已保存的语料标注历史记录，对上述语料对应的任意一标注结果分别进行可信度指示，这样，可以有效节约人力资源，解决现有技术中存在的庞大语料库中语料标注工作量大，效率低，准确率低的问题。

下面结合附图对本发明优选的实施方式进行详细说明。

参阅图2所示，本发明实施例中，语料标注装置包括：标注单元20、可信度指示单元21和呈现单元22。标注单元20进一步包括待标注语料存储模块201、语料选择模块202、语料标注模块203；可信度指示单元21进一步包括可信度学习模块211、知识库212、可信度标注模块213；呈现单元22进一步包括语料标注结果显示模块221、语料标注结果收集模块222、完成标注语料存储模块223。

参阅图3所示，本发明实施例中，语料标注装置的详细流程如下：

步骤300：语料标注装置选择待标注的一条或多条语料，并对该语料进行标注。

所谓语料标注即是指语料标注是对语料库中的文本进行分词、词性标注、命名实体识别、句法加工、信息抽取等方面的工作，是建立准确的语料库和语言分析模型的基础。

本发明实施例中，各种语料可以预先保存在设定的存储区域内，为了避免一条语料进行多次重复标注，每一条存储在上述存储区域内的语料的属性都会被初始化为“未标注”状态，这样，语料标注装置只需要选择属性为“未标注”的语料进行标注即可。此外，如果语料标注装置允许多个客户端同时对语料进行标注，则还可以将选取的语料的属性修改为“正在标注”，从而避免了多客户端同时对同一条语料进行标注。

同时，语料标注装置中还设置了存有所有词性、词语搭配关系等语料标注库，例如，语料标注库中记录的词性为：r代表代词，mq代表数量词，a代表形容词，n代表名词。

步骤310：语料标注装置根据已保存的语料标注历史记录，对上述语料对应的各个标注结果分别进行可信度指示。

以任意一个标注结果为例，语料标注装置根据已保存的语料标注历史记录，计算在历史语料标注过程中，各个语料与其对应的任意一标注结果之间准确存在对应关系的次数，与上述语料与其对应的任意一标注结果之间被标注存在对应关系的总次数之间的百分比，并基于所述百分比获得所述任意一标注结果的可信度指示。

语料标注装置根据所保存的语料标注历史记录对上述语料对应的任意一个标注结果进行可信度指示时，可以采用但不限于以下任意一种方法：

直接将上述百分比作为上述语料对应的任意一标注结果的可信度指示。

将上述百分比对应的错误等级作为上述语料对应的任意一标注结果的可信度指示，例如，用阿拉伯数字0～6指示六个等级的语料指示语料标注装置进行语料标注的可信度指示，如用0代表完全可信，1代表比较可信，6代表未知可信度等作为语料标注结果的可信度指示。

将上述百分比对应的提示性语言作为上述语料对应的任意一标注结果的可信度指示，例如，用“完全可信”、“比较可信”、“可能出错”、“未知”等作为语料标注结果的可信度指示。

将上述百分比对应的颜色作为上述语料对应的任意一标注结果的可信度指示，例如，用黑色代表完全可信，蓝色代表比较可信，红色代表很可能出错，紫色代表未知可信度等作为语料标注结果的可信度指示。

将上述百分比对应的符号作为上述语料对应的任意一标注结果的可信度指示，例如，用“&”代表完全可信，“#”代表比较可信，“！”代表很可能出错，“？”代表未知可信度等作为语料标注结果的可信度指示。

此外，语料标注装置对语料对应的一个标注结果进行可信度指示后，还可以进一步提示可能的正确标注结果。例如，在“我/r是/v一个/a兵/n”中，对“一个”的标注是“a”(形容词)，语料标注装置对该标注结果作出的可信度指示为“5”(表示该标注结果很可能错误)的同时，指出其可能的正确标注结果为“mq”(数量词)。

步骤320：语料标注装置将标注后的语料对应的各标注结果及相应的可信度指示进行呈现。

本发明实施例中，语料标注装置将标注后的语料对应的各标注结果及相应的可信度指示进行呈现后，可以对其进行校对处理，即修改可信度指示的具体数值，这一操作可以根据管理员(可以是普通标注者，可以是权威标注者)的指示完成。

在根据管理员指示进行校对处理的过程中，若管理员点击“确定”按钮，则语料标注装置确定当前校对的标注结果正确，若管理员点击“错误”按钮，则管理员确定当前校对的标注结果错误，在确定标注结果错误后，语料标注装置可根据管理员的指示对该标注结果进行修改。

在本发明实施例中，为了避免校对过程中的误输入，例如，将mq误输入为ma，而ma不是正确的词性标记，则语料标注装置可以设置词性选择下拉列表，方便管理员在校对过程中直接进行词性选择即可对错误的标注结果进行修改，而无须进行输入词性操作。当出现特殊词性或者特殊搭配关系，下拉列表中不存在时，也可以选择人工输入方法；此外，语料标注装置也可以根据管理员的指令对输入结果进行检查，以及时提醒管理员对误输入进行更改。

为了避免重复标注，语料标注装置会将每一条经过标注的语料的属性修改为“标注完毕”。

基于上述实施例，语料标注装置可以采用以下方式在预处理阶段生成上述步骤310中使用语料标注历史记录，该语料标注历史记录中包括根据历次语料标注过程中获得的各标注结果进行规律学习后形成的可信度指示知识库；具体为：

语料标注装置在每次执行语料标注过程后，收集历次语料标注结果生成可信度指示知识库。

其中，收集历次语料标注结果生成可信度指示知识库的方法，包括：

统计历次语料标注过程中获得的各标注结果内，任意语料对应的任意一标注结果的错误次数，与所述语料在历次语料标注中出现的总次数之间的百分比，并基于所述百分比获得所述任意一标注结果的可信度，根据所述语料可信度生成语料标注结果可信度表，并将语料标注结果可信度表作为可信度指示知识库，或者，

选择不同的语料特征，通过计算机学习生成相应语料可信度模型，基于该述模型能够判断任何一种语料标注结果是否错误，并将语料可信度模型作为可信度指示知识库。

例如，参阅图4所示，语料标注装置生成可信度指示知识库的详细过程如下：

步骤400：语料标注装置产生一个错误集合。

语料标注装置产生错误集合具体包含两种方法：

第一种方法为，对一部分语料进行标注，然后由管理员对获得的各标注结果进行检查，从中选取出错误的标注结果从而生成错误集合。

第二种方法为，存储一个包含正确标注结果的标注结果集合，从标注结果集合中任取一定数量语料标注结果作为训练集合，该标注结果集合中的剩余语料标注结果作为测试集合，则训练集合和测试集合可根据选取标注结果数量的不同可有多种组合方式，从上述所有组合中抽取任意种组合应用在训练集合上进行语料标注，生成模型后将其应用到测试集合中进行语料标注，记录上述模型在测试集合中的错误标注结果作为错误集合。

具体为：

语料标注装置存储一个包含正确标注结果的标注结果集合C(简称，集合C)，集合C可以基于一批的语料标注结果，经管理员校对后获得，语料标注装置将集合C分为n份，从n中任意抽取k份组成训练集合T，剩下的(n-k)份组成测试集合H，此时不同的训练集合T和测试集合H共有C_n ^k种组合，从C_n ^k种组合中随机选取若干种(或者全部)，所选取的每一种组合，应用在训练集合T上，选用Bayes(贝叶斯)、决策树、神经网络、支持向量机、条件随机场等方法，从而学习得出一个模型M，再将模型M应用到测试集合H上，获得模型M在测试集合H上进行语料标注的错误结果和正确结果，最后记录模型M在测试集合H中的错误的标注结果，得出错误集合。

例如，将集合C分为10份，即n＝10，从n中任意抽取k＝9份作为训练集合T，剩下的n-k＝1份作为测试集合H，则不同的训练集合T和测试集合H共有C₁₀ ⁹＝10中组合，取全部10种组合，语料标注装置对所述组合中的每一种在训练集合T上，从而学习得出模型M，再将模型M应用到测试集合H上，在测试集合H上对比模型M语料标注的错误结果和正确结果进行区别，最后收集模型M在测试集合H中错误的语料标注结果。又如，将集合C分为6份，从n中任意抽取k＝4份作为训练集合T，剩下的n-k＝2份作为测试集合H，则不同的训练集合T和测试集合H共有C₆ ⁴＝15中组合，从中选取8种组合，语料标注装置对所述组合中的每一种在训练集合T上学习得出模型M，再将模型M应用到测试集合H上，最后收集模型M在测试集合H中错误的语料标注结果。通常来说，对于不同的训练集合T和测试集合H，从C_n ^k种组合中选择的种类越多，则获得的语料标注的标注结果越能全面反映模型可能产生的错误。

第二种方法中记录计算机学习模型M在语料库中进行语料标注过程中产生的错误，可以直接记录错误的标注结果，可以记录错误的标注结果的上下文情况，可以记录错误的标注结果的出现频率，还可以记录正确的标注结果，与记录不相符的即是错误的标注结果。例如，具体如表1所示：

表1

关注词语	词性标注错误	正确结果	上下文情况
				特种	a	b	是一个*兵
活动	n	v	设计了*方案
				......	......	......	......
活动	n	v	开展了很多*
				......	......	......	......

其中，“上下文情况”列中的“*”表示所关注词语。

所述“上下文情况”列中“*”可以只表示一个词，也可以表示多个词。例如，具体如表2所示：

表2

也可以采用上述第一种方法和第二种方法相结合的形式生成错误集合，此时，可选用某一种方法优先的形式生成错误集合。

步骤410：语料标注装置从错误集合中学习规律构造语料标注结果可信度表，根据该语料标注结果可信度表即可以对各种语料对应的各个标注结果进行可信度指示。

语料标注装置从错误集合中学习规律构造语料标注结果可信度表，包含但不限于以下两种方法：

第一种方法为：分别统计历次语料标注过程中获得的各标注结果内，每一种语料对应的每一个标注结果的错误次数，与相应语料在历次语料标注中出现的总次数之间的百分比，并基于获得的各百分比获得相应标注结果的可信度，再根据各标注结果的可信度生成语料标注结果可信度表，并将语料标注结果可信度表作为可信度指示知识库。

具体为：

以表1为例，通过下列公式计算表1中每一个词语进行语料标注过程中，对应标注结果概率：

P_{1} (W) = \frac{N_{1} (W)}{N_{2} (W)}

公式1

其中，P₁(W)为词语W在语料库中进行语料标注时对应标注结果出错概率；N₁(W)为词语W在表1“关注词语”列中出现的次数，即词语W在进行语料标注过程中对应标注结果出现错误的次数；N₂(W)为词语W在语料库中被标注的总次数。例如，关注词语“活动”在词性标注的语料标注错误记录表出现2次，则N₁(W)＝2，假设该词语在语料库中共被标注了5次，即其中3次为正确的语料标注，那么词语W在语料库中进行语料标注时出错概率为P₁(W)＝2/5＝0.4。

而对于表1“关注词语”列中没有出现的词语，即在语料标注过程中其对应标注结果没有出现错误的词语，可以计算该词语所属词性的标注结果出现错误的概率，公式为：

P_{2} (W, label) = \frac{N_{1} (label)}{N_{2} (label)}

公式2

其中，N₁(label)为词语W被标注为label词性时，label词性标注结果在表1“错误部分”列中出现错误的次数；N₂(label)为语料库中所有语料被标注为label词性的总次数。例如，词语“开展”没有出现在表1“关注词语”列中，该词语在语料标注中被标注为“n”名词。统计n在表1“错误部分”列中出现的次数，即N₁(n)＝2，假设在语料库中共有100个词被标注为名词，即N₂(label)＝100，则P₂(开展，n)＝2/100＝0.02。

对于依存句法标注，同样可以采用公式1和公式2。公式1中，W表示一个搭配和关系；公式2中，W表示一个搭配，label表示一个关系。

对于在语料库中标注次数比较少的词语，采用P₁(W)会使统计结果不准确，此时可以规定一个阈值Q，当某词语语料标注次数低于阈值Q时，采用P₂(W，label)来计算该词语语料标注结果出错概率，当某词语语料标注次数高于阈值Q时，采用P₁(W)计算该词语语料标注结果出错概率。此外，还可以使用P₁(W)、P₂(W，label)加权的方式计算该词语语料标注结果出错概率。例如，采用以下加权公式计算词语W语料标注结果出现错误概率：

P(W，label)＝λ₁×P₁(W)+λ₂×P₂(W，label) 公式3

其中，λ₁、λ₂为加权系数，为预先设定值，且λ₁+λ₂＝1。

在计算语料标注结果出现的错误概率时，还可以考虑上下文的影响。例如，对于公式1，可以进行结合上下文情况进行如下修改：

P_{1} (W, c) = \frac{N_{1} (W, c)}{N_{2} (W, c)}

公式4

其中，c表示上下文情况。例如，当词语“活动”后跟一个名词(如方案)时，共进行语料标注次数为3次，其中，语料标注结果出现错误的次数为1次，即N₁(W，c)＝1，N₂(W，c)＝3，则P₁(W，c)＝1/3＝0.33。

表1和表2中可以给出可能的正确结果，此时，可以统计某个词语或者搭配关系在表2“正确结果”列中所述正确结果中不同标注结果出现的次数，并统计该词语或者搭配关系在语料库中正确标注结果中不同标注结果出现的次数，得出该词语或者搭配关系在语料库语料标注正确标注结果中不同结果的概率，并加以排序。例如，在表1中，词语“活动”出现2次，正确结果标识词性均为“v”动词，在语料库中，词语“活动”正确标注结果共有3次，其中，2次是“v”动词，1次是“n”名词，则可以得出可能的正确标注结果：80％的可能性为动词，20％的可能性为名词。整理后得到语料标注可信度表，通过语料标注可信度表对上述语料标注结果进行可信度指示。

第二种方法为：计算机学习的方法。选择不同的语料特征，分别统计每一种语料特征对应的每一个标注结果的错误次数，与相应语料特征在历次语料标注中出现的总次数之间的百分比，生成相应语料可信度模型，并将语料可信度模型作为可信度指示知识库。

具体为：

计算机学习法可以选用Bayes(贝叶斯)、决策树、神经网络、支持向量机、条件随机场等方法。特征可以选择词语、搭配、条件等本身特征，也可以考虑上下文特征。例如，以计算机学习法支持向量机为例，对于词性语料标注问题，可以选择词语本身、被标注词性、前一个词语、前一个词语的标注词性、后一个词语、后一个词语的标注词性、语句长度等为特征。选定计算机学习的方法和语料特征后，即可对训练样本进行语料标注，训练样本由两部分组成：错误样本和标注正确的样本。其中，错误样本可以由语料标注对应的表1形成；标注正确的样本是正确的标注结果记录，并把正确的标注结果转化为特征和决策的形式，即基于上述每一种满足语料特征标注结果的错误次数与所有满足语料特征的标注总次数的百分比转化为语料标注出错概率表。例如，选择被标注词语词性、被标注词语的前一个词语的标注词性、被标注词语的后一个词语的标注词性三个为特征，则形成表3所示语料特征出错概率表：

表3

被标注词语词性	前一个词语词性	后一个词语词性	出错概率
				a	mq	n	15.1％
n	u	n	3.7％
				......	......	......	......
n	ad	null	33.3％
				......	......	......	......
a	mq	u	70％
				v	null	u	12％

上述语料特征出错概率表3中，“错误率”由所有满足三个特征的语料标注中的错误标注数目与所有满足三个特征的语料标注的总数目比值得出。

此时，可以根据语料特征出错概率表中的错误率，生成如表4所示错误率等级表：

表4

错误率	错误等级
		0～0.01％	0
0.01％～20％	1
		20％～40％	2
40％～60％	3
		60％～80％	4
80％～100％	5
		未知	6

结合语料特征出错概率表3和错误率等级表4，生成如表5所示训练样本可信度表：

表5

被标注词语词性	前一个词语词性	后一个词语词性	出错概率	可信度
					a	mq	N	15.1％	1

n	u	N	3.7％	1
					......	......	......	......	......
n	ad	null	33.3％	2
					......	......	......	......	......
a	mq	U	70％	4
					v	null	U	12％	1

将所述训练样本可信度表存储在语料标注装置中，通过支持向量机可以对其进行学习得出一个模型，如命名为POSCCclassifier，该模型可对任意一个新的语料标注结果得出可信度判断。

因此，语料标注装置选择不同的语料特征，通过计算机学习生成相应语料可信度模型，基于该述模型能够判断任何一种语料标注结果是否错误。语料标注装置通过可信度指示知识库，给出各语料对应任意一标注结果的可信度指示。例如，利用语料标注装置对“他们上个月开展了活动”语句进行语料标注，标注后的的结果为：

他们/r上/a个/q月/n开展/v了/u活动/n

此时，以关注词语“活动”为例，语料标注装置中的模型POSCCclassifier对上述语料标注结果作出可信度判断，给出“活动”的语料标注结果的可信度指示。

应用本发明实施例中的语料标注装置相较于现有技术下的计算机辅助语料标注系统，可有效提高语料标注的准确率和效率。例如，成立语料标注小组A和B，其中，组A和组B中人员数量相同，此处为每组3人，且组A和组B中人员语料标注平均水平相当。组A应用现有技术下的计算机辅助语料标注系统，组B应用本发明实施例中的语料标注装置，组A和组B分别对数量为10000句中文依存树库Z进行语料标注。组A和组B中的所有人员每天工作时间均为3小时。最后，组A使用52天完成中文依存树库Z中所有语料的语料标注工作，语料标注的平均速度为10000/(3*3*52)约为21句/小时；组B使用31天完成中文依存树库Z中所有语料的语料标注工作，语料标注的平均速度为10000/(3*3*31)约为37句/小时，组B相较于组A，语料标注效率提高了76％。且组B的语料标注结果正确率为相较于组A的语料标注结果正确率提高了5％～10％。由此可见，应用语料标注装置，可以有效提高语料标注工作的效率和准确率。

综上所述，本发明实施例中，语料标注装置在每次进行语料标注时，选择待标注的语料，并对该语料进行标注，以及根据已保存的语料标注历史记录，对上述语料对应的任意一标注结果分别进行可信度指示，这样，可以合理分配人工校对过程中的人力资源，有效解决现有技术中存在的庞大语料库中语料标注工作量大，效率低，准确率低的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种语料标注方法，其特征在于，包括：

选择待标注的语料，并对所述语料进行标注；

2.如权利要求1所述的方法，其特征在于，根据已保存的语料标注历史记录，对所述语料对应的任意一标注结果分别进行可信度指示，包括：

根据已保存的语料标注历史记录，计算在历史标注过程中，所述语料与所述任意一标注结果之间准确存在对应关系的次数，与所述语料与所述任意一标注结果之间被标注存在对应关系的总次数之间的百分比，并基于所述百分比获得所述任意一标注结果的可信度指示。

3.如权利要求2所述的方法，其特征在于，基于所述百分比获得所述任意一标注结果的可信度指示，包括：

直接将所述百分比作为所述任意一标注结果的可信度指示；或者，

将所述百分比对应的错误等级作为所述任意一标注结果的可信度指示；或者，

将所述百分比对应的提示性语言作为所述任意一标注结果的可信度指示；或者，

将所述百分比对应的颜色作为所述任意一标注结果的可信度指示；或者，

将所述百分比对应的符号作为所述任意一标注结果的可信度指示。

4.如权利要求1所述的方法，其特征在于，所述语料标注历史记录包括：根据历次语料标注过程中获得的各标注结果生成的可信度指示知识库。

5.如权利要求4所述的方法，其特征在于，根据历次语料标注过程获得各标注结果，包括：

存储一个包含正确标注结果的标注结果集合，从所述标注结果集合中任取一定数量标注结果作为训练集合，该标注结果集合中的剩余标注结果作为测试集合，则训练集合和测试集合可根据选取的具体标注结果的不同，有多种组合方式，从所述所有组合中抽取任意种组合应用在训练集合上进行语料标注，生成模型后将其应用到测试集合中进行语料标注，并将获得的错误标注结果作为历次语料标注获得的标注结果。

6.如权利要求4所述的方法，其特征在于，根据历次语料标注过程中获得的各标注结果，生成可信度指示知识库，包括：

在每次执行语料标注过程后，根据各标注结果的可信度进行规律学习生成可信度指示知识库。

7.如权利要求6所述的方法，其特征在于，在每次执行语料标注过程后根据各标注结果的可信度进行规律学习生成可信度指示知识库，包括：

分别统计历次语料标注过程中获得的各标注结果内，每一种语料对应的每一个标注结果的错误次数，与相应语料在历次语料标注中出现的总次数之间的百分比，并基于获得的各百分比获得相应标注结果的可信度，再根据各标注结果的可信度生成语料标注结果可信度表，并将语料标注结果可信度表作为可信度指示知识库；或者，

选择不同的语料特征进行任意语料特征组合，分别统计每一种语料特征组合对应的每一个标注结果的错误次数，与相应语料特征组合在历次语料标注中出现的总次数之间的百分比，基于所获得的各百分比生成相应语料可信度模型，并将语料可信度模型作为可信度指示知识库。

8.如权利要求1所述的方法，其特征在于，将所述语料对应的各标注结果与对应的可信度指示进行呈现，进一步包括：

将标注后的语料对应的各标注结果及相应的可信度指示进行呈现后，对其进行校对处理并存储。

9.一种语料标注装置，其特征在于，包括：

标注单元，用于选择待标注的语料，并对所述语料进行标注；

可信度指示单元，用于根据已保存的语料标注历史记录，对所述语料对应的任意一标注结果分别进行可信度指示；

呈现单元，用于将所述语料对应的各标注结果与相应的可信度指示进行呈现。

10.如权利要求9所述的装置，其特征在于，可信度指示单元根据已保存的语料标注历史记录，对所述语料对应的任意一标注结果分别进行可信度指示，包括：

可信度指示单元根据已保存的语料标注历史记录，计算在历史标注过程中，所述语料与所述任意一标注结果之间准确存在对应关系的次数，与所述语料与所述任意一标注结果之间被标注存在对应关系的总次数之间的百分比，并基于所述百分比获得所述任意一标注结果的可信度指示。

11.如权利要求10所述的装置，其特征在于，可信度指示单元基于所述百分比获得所述任意一标注结果的可信度指示，包括：

可信度指示单元直接将所述百分比作为所述任意一标注结果的可信度指示；或者，

可信度指示单元将所述百分比对应的错误等级作为所述任意一标注结果的可信度指示；或者，

可信度指示单元将所述百分比对应的提示性语言作为所述任意一标注结果的可信度指示；或者，

可信度指示单元将所述百分比对应的颜色作为所述任意一标注结果的可信度指示；或者，

可信度指示单元将所述百分比对应的符号作为所述任意一标注结果的可信度指示。

12.如权利要求9所述的装置，其特征在于，可信度指示单元根据历次语料标注过程中获得的各标注结果生成可信度指示知识库。

13.如权利要求12所述的装置，其特征在于，可信度指示单元根据历次语料标注过程获得各标注结果，包括：

可信度指示单元存储一个包含正确标注结果的标注结果集合，从所述标注结果集合中任取一定数量标注结果作为训练集合，该标注结果集合中的剩余标注结果作为测试集合，则训练集合和测试集合可根据选取的具体标注结果的不同，有多种组合方式，从所述所有组合中抽取任意种组合应用在训练集合上进行语料标注，生成模型后将其应用到测试集合中进行语料标注，并将获得的错误标注结果作为历次语料标注获得的标注结果。

14.如权利要求12所述的装置，其特征在于，可信度指示单元根据历次语料标注过程中获得的标注结果生成的可信度指示知识库，包括：

在每次执行语料标注过程后，可信度指示单元根据各标注结果的可信度进行规律学习形成可信度指示知识库。

15.如权利要求14所述的装置，其特征在于，所述可信度指示单元在每次执行语料标注过程后根据各标注结果的可信度进行规律学习生成可信度指示知识库，包括：

可信度指示单元分别统计历次语料标注过程中获得的各标注结果内，每一种语料对应的每一个标注结果的错误次数，与相应语料在历次语料标注中出现的总次数之间的百分比，并基于获得的各百分比获得相应标注结果的可信度，再根据各标注结果的可信度生成语料标注结果可信度表，并将语料标注结果可信度表作为可信度指示知识库；或者，

可信度指示单元选择不同的语料特征进行任意语料特征组合，分别统计每一种语料特征组合对应的每一个标注结果的错误次数，与相应语料特征组合在历次语料标注中出现的总次数之间的百分比，基于所获得的各百分比生成相应语料可信度模型，并将语料可信度模型作为可信度指示知识库。

16.如权利要求9所述的装置，其特征在于，呈现单元将所述语料对应的各标注结果与对应的可信度指示进行呈现，进一步包括：

呈现单元将标注后的语料对应的各标注结果及相应的可信度指示进行呈现后，对其进行校对处理并存储。