CN109992763A

CN109992763A - 语言标注处理方法、系统、电子设备及计算机可读介质

Info

Publication number: CN109992763A
Application number: CN201711468940.3A
Authority: CN
Inventors: 王颖帅; 李晓霞; 苗诗雨
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2017-12-29
Filing date: 2017-12-29
Publication date: 2019-07-09

Abstract

本发明实施例提供一种语言标注处理方法、系统、电子设备及计算机可读介质，属于人工智能技术领域。该语言标注处理方法包括：利用经过标注的语料构建标注语料库；基于所述标注语料库进行建模，得到业务场景分类模型和语义识别模型；获取未经标注的信息；利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注。本发明通过提供一种面向机器学习的自然语言处理智能标注的方法，使用标注过的语料构建语料库，并以此来进行机器学习，训练构建模型，对于未经标注的数据而言，基于该模型进行标注可以减少标注人员不必要的低级错误，提高标注的准确率。

Description

语言标注处理方法、系统、电子设备及计算机可读介质

技术领域

本发明实施例总体涉及人工智能技术领域，具体而言，涉及一种语言标注处理方法、系统、电子设备及计算机可读介质。

背景技术

随着人工智能的快速发展，人们需要训练计算机解决一些问题，但仍然有大量问题是计算机不能完成的，特别是在理解人类语言方面。在自然语言领域，对机器学习训练数据的提示，通常以标注的形式呈现，用于标记数据集元素的元数据标签称为在输入上的标注。为了使算法更有效，数据上的标注必须准确并与要执行的任务相关。NLP(NaturalLanguage Processing，自然语言处理)是人工智能中最为困难的问题之一，语言标注又是人工智能在NLP领域落地的关键环节。

现有技术方案往往采用人工标注，在NLP领域的序列标注问题，通常是需求方把要标注的语料以Excel的格式提供给标注人员，并且需求方写好标注指南，标注人员阅读标注指南后，根据自己的认知理解和标注语料，按要求逐条标注。

但是现有技术存在一定的缺点，就是单纯的人工标注对标注人员的依赖很大，标注工作本身比较枯燥，但是需要标注人员每时每刻都高度集中注意力，稍不留意，就容易出现错别字、标注串行等一些很低级的手误，导致整条标注语句不能用，浪费人力和时间。

因此，现有技术方案中还存在有待改进之处。

在所述背景技术部分公开的上述信息仅用于加强对本发明实施例的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例提供一种语言标注处理方法、系统、电子设备及计算机可读介质，解决现有技术方案中单纯人工标注费时费力而且错误较多的问题。

本发明实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明实施例的实践而习得。

根据本发明实施例的第一方面，提供一种语言标注处理方法，包括：

利用经过标注的语料构建标注语料库；

基于所述标注语料库进行建模，得到业务场景分类模型和语义识别模型；

获取未经标注的信息；

利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注。

在本发明的一些实施例中，所述经过标注的语料和所述未经标注的信息为通过语音助手获取得到的一段话。

在本发明的一些实施例中，所述利用经过标注的语料构建标注语料库为：

获取经过标注的语料，其中所述经过标注的语料为用户通过所述语音助手输入的一段话中的第一句话；

对所述经过标注的语料进行数据清洗，去除无用信息；

对所述经过标注的语料划分为多个业务场景，并从所述多个业务场景选取相同数目的语料，组成所述标注语料库。

在本发明的一些实施例中，所述业务场景分类模型分类后的标签包括：特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达。

在本发明的一些实施例中，所述语义识别模型的标签包括：产品词、品牌词和修饰词。

在本发明的一些实施例中，所述基于所述标注语料库进行建模包括：

根据标注需求确定特征；

根据所述特征确定所述业务场景分类模型和所述语义识别模型的标签；

根据所述标注语料库采用预设算法构建多层深度学习的神经网络进行建模。

在本发明的一些实施例中利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注之后，还包括：

对所述语义识别模型的标注结果进行统计，得到评估指标；

根据所述评估指标对所述语义分析模型进行评估，得到评估结果；

根据所述评估结果对所述语义分析模型采用的所述预设算法进行调整，重新进行建模。

根据本发明实施例的第二方面，提供一种语言标注处理系统，包括：

语料库单元，配置为利用经过标注的语料构建标注语料库；

建模单元，配置为基于所述标注语料库进行建模，得到业务场景分类模型和语义识别模型；

信息获取单元，配置为获取未经标注的信息；

标注单元，配置为利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注。

根据本发明实施例的第三方面，提供一种电子设备，包括：存储器；处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该程序被该处理器执行时实现上述的方法的指令。

根据本公开实施例的第四方面，提供一种计算机可读介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现上述的方法步骤。

根据本发明实施例提供的语言标注处理方法、系统、电子设备及计算机可读介质，通过提供一种面向机器学习的自然语言处理智能标注的方法，使用标注过的语料构建语料库，并以此来进行机器学习，训练构建模型，对于未经标注的数据而言，基于该模型进行标注可以减少标注人员不必要的低级错误，提高标注的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明实施例。

附图说明

通过参照附图详细描述其示例实施例，本发明实施例的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本发明实施例提供的一种语言标注处理方法的流程图。

图2示出本发明实施例图1中步骤S11的流程图。

图3示出本发明实施例图1中步骤S12的流程图。

图4示出本发明实施例中进行有监督学习标注的整体循环流程示意图。

图5示出本发明一实施例中实现进行标注处理的架构示意图。

图6示出本发明一实施例中大数据Hive表的全部字段的示意图。

图7示出本发明一实施例中部分用户输入和需要的标注的示意图。

图8示出本发明一实施例中获得平台购物原始数据的分布示意图。

图9示出本发明一实施例中标注工具的界面示意图。

图10示出本发明一实施例中标注工具文件输出内容的示意图。

图11示出本发明一实施例中将标注结果用XML格式进行输出的示意图。

图12示出本发明一实施例中语义识别模型的验证集四个评估指标的示意图。

图13示出本发明一实施例中语义识别模型的测试集四个评估指标的示意图。

图14示出本发明另一实施例提供的一种语言标注处理系统的示意图。

图15示出本发明再一实施例提供的适于用来实现本申请实施例的电子设备的系统结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明实施例将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明实施例的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明实施例的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本发明实施例的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为使本发明实施例的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

如图1所示，在步骤S11中，利用经过标注的语料构建标注语料库。

如图1所示，在步骤S12中，基于标注语料库进行建模，得到业务场景分类模型和语义识别模型。

如图1所示，在步骤S13中，获取未经标注的数据。

如图1所示，在步骤S14中，利用业务场景分类模型和语义识别模型对未经标注的数据进行标注。

本发明实施例提供的语言标注处理方法，通过提供一种面向机器学习的自然语言处理智能标注的方法，使用标注过的语料构建语料库，并以此来进行机器学习，训练构建模型，对于未经标注的数据而言，基于该模型进行标注可以减少标注人员不必要的低级错误，提高标注的准确率。

以下，将对上述语言标注处理方法进行详细的解释以及说明。

如图1所示，在步骤S11中，利用经过标注的语料构建标注语料库。图2进一步示出图1中步骤S11的流程图。

在本发明的一些实施例中，用于构建标注语料库的是经过标注的语料，而后续步骤S13中的是未经标注的数据，在本发明实施例中，无论是经过标注的还是未经标注的均可以是通过语音助手获取得到的一段话。

需要说明的是，在本发明其他实施例中，经过标注的语料和未经标注的数据除了可以是用户通过语音助手输入的，还可以是用户通过文本输入的，本文对此不作具体限定。

图2示出本发明实施例图1中步骤S11的流程图。

如图2所示，在步骤S21中，获取经过标注的语料，其中经过标注的语料为用户通过语音助手输入的一段话中的第一句话。在本实施例中，以通过语音助手获取用户输入的第一句话为例，其中语音助手可以是单独的一个语音助手的应用程序或是某一应用程序中包含的一语音助手的模块。在构建语料库的过程中，选用经过标注的语料，从一定程度上可以杜绝无用语料的出现，这样能够保证语料来源的可靠性和可利用率，提高后续步骤中可以利用语料库进行建模的有效性。

需要说明的是，在本发明的实施例中，通过从语音助手获取的一段话中筛选出第一句话，可以更加直接地了解用户的意图，对后续场景分类以及语义识别奠定基础。

如图2所示，在步骤S22中，对经过标注的语料进行数据清洗，去除无用信息。

在本发明一实施例中，步骤S22可以通过正则匹配，去除第一句话中的垃圾的、没有信息含量的信息，得到有用的信息，这些有用的信息包括后续需要进行标注的词。正则表通常被用来检索、替换那些符合预设的某个模式(或规则)的文本，这里的模式或规则可以根据需求方的具体需求来设定。

需要说明的是，在本发明的其他实施例中，还可以采用正则匹配之外的方式进行数据清洗，达到去除无用信息即可。通过去除无用信息，仅保留对于后续标注有用的信息，一方面可以减少标注时的工作量，另一方面还能排除无用信息的干扰，提高标注的准确率。

如图2所示，在步骤S23中，对经过标注的语料划分为多个业务场景，并从多个业务场景选取相同数目的语料，组成标注语料库。

由于不同业务场景下语料的数目会有很大差异，因此为了能够保证后续模型的数据平衡性，还需要从数目上对各个业务场景中的语料做平衡处理。在本发明实施例中，需要从经过上述步骤S21和S22处理后的语料中按照不同业务场景分别选取相同数目的语料，例如可以以数目最少的为标准，从其他业务场景中选出相同数目的语料，再将所有业务场景下的语料组成标注语料库。

继续如图1所示，在步骤S12中，基于标注语料库进行建模，得到业务场景分类模型和语义识别模型。图3进一步示出步骤S12的流程图。

图3示出本发明实施例图1中步骤S12的流程图。

如图3所示，在步骤S31中，根据标注需求确定特征。

由于建模是为了满足标注需求，因此需要根据标注需求确定需要标注的词具有哪些特征，例如在本实施例中，在语义识别模型监控过程中可以根据标注需求确定以下6个维度的特征：中文汉字级别特征、结巴分词词语级别特征、是否是一句话的结尾标识特征、句子长度特征、字符向量特征、上下文标签特征。同时还需要说明的是，在本发明其他实施例中，还可以根据标注需求确定其他维度的特征。

在本发明一实施例中，语音助手的业务场景分类模型的特征由word2vector(简称word2vec)训练得到，语义识别模型的特征由LSTM(Long Short-Term Memory，长短期记忆网络)训练得到。

word2vec是将词表征为实数值向量的一种高效的算法模型，其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似。该算法的基本思想是通过训练将每个词映射成K维实数向量(K一般为模型中的超参数)，通过词之间的距离(比如cosine相似度、欧氏距离等)来判断它们之间的语义相似度。为了实现该算法，可以采用一个三层的神经网络，输入层-隐藏层-输出层，根据词频用Huffman编码，使得所有词频相似的词隐藏层激活的内容基本一致，出现频率越高的词语，激活的隐藏层数目越少，这样有效的降低了计算的复杂度。这个三层神经网络本身是对语言模型进行建模，但也同时获得一种单词在向量空间上的表示。

LSTM是神经网络的延伸拓展，可以学习长期依赖信息，LSTM通过刻意的设计来避免长期依赖问题，记住长期的信息在实践中是LSTM的默认行为，而非需要付出很大代价才能获得的能力。

除此之外，在本发明其他实施例中，对于业务场景分类模型还可以采用逻辑回归、支持向量机、卷积神经网络CNN等算法，对于语义识别模型还可以采用CRF++模型，逐步调试更多的参数，不断改进模型效果。

如图3所示，在步骤S32中，根据特征确定业务场景分类模型和语义识别模型的标签。

在本发明一实施例中，业务场景分类模型分类后的标签可以包括但不限于：特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达。而语义识别模型的标签可以包括但不限于：产品词、品牌词和修饰词。

如图3所示，在步骤S33中，根据标注语料库采用预设算法构建多层深度学习的神经网络进行建模。

在本发明一实施例中，语音助手中的语义识别模型，选用LSTM_CRF算法，搭建多层深度学习的神经网络。通过采用LSTM_CRF算法进行训练，其中LSTM在序列建模上很强大，它们能够捕捉到长远的上下文信息，此外还具备神经网络拟合非线性的能力；而CRF(conditional random field，名称条件随机场)能够考虑长远的上下文信息，可以更多考虑的是整个句子的局部特征的线性加权组合(通过特征模版去扫描整个句子)，对整个序列进行优化，而不是将每个时刻的最优拼接起来，因此LSTM_CRF算法结合两个模型的优点，输出的将不再是相互独立的标签，而是最佳的标签序列，会比单纯使用LSTM或者单纯使用CRF的效果更好。

继续如图1所示，在步骤S13中，获取未经标注的数据。

在本发明一实施例中，未经标注的数据可以是用户通过语音助手输入的一段话中的第一句话。这里未经标注的数据即为用于对上述业务场景发分类模型和语义识别模型进行测试的输入数据。

继续如图1所示，在步骤S14中，利用业务场景分类模型和语义识别模型对未经标注的数据进行标注。

在本发明一实施例中，进行标注时还可以预先撰写标注指南，即标注人员根据用户在语音助手的输入信息做标注，根据模型的标签设定标注目标，并给出标注标签的含义和举例子。

在本发明一实施例中，标注人员标识采用的工具可以根据用户需求进行设定或更改，但是无论采用何种形式的标注工具，首先都需约定智能标注工具的符号。

本发明实施例提供的方法基于机器学习进行智能标注，其中机器学习是指一个系统可以从经验中学习，并且改善其性能的过程，分为有监督学习、半监督学习和无监督学习，算法学习目标函数的近似值，将输入数据映射到期望的输出值。例如，在本发明中可以采用有监督学习进行建模，而在有监督机器学习中，标注是正确答案，是模型学习的目标，用于标记数据集元素的元数据标签称为在输入上的标注，在自然语言处理中比较多见。

图4示出本发明实施例中进行有监督学习标注的整体循环流程示意图。即经过建模、标注、基于未标注的数据进行训练以及测试，再对模型进行评价，进而根据评价结果对建模进行修改。

因此对于整个标注处理方法而言，步骤S14进行标注并没有结束，还可以进一步包括对模型进行指标评估以及参数调整，即：

首先，对语义识别模型的标注结果进行统计，得到评估指标。

其次，根据评估指标对语义分析模型进行评估，得到评估结果。

最后，根据评估结果对语义分析模型采用的预设算法进行调整，重新进行建模。

图5示出本发明一实施例中实现进行标注处理的架构示意图，下面结合图5和一个具体实施例对该语言标注处理方法的技术内容进行详细具体的说明。

如图5所示，第一步，构建标注语料库，语料库的来源是语音助手日志表，具体步骤如下：

(1)语音助手的日志落到大数据Hive表中，图6示出大数据Hive表的全部字段的示意图。其中以第一行字段为例，第一列biz_action表示字段名称，第二列string表示字段属性，第三列业务场景表示字段表示的含义。

(2)根据用户输入以及标注需求，本实施例中需要标注出产品词、品牌词和修饰词。之后，从用户与语音助手的对话中筛选出每次对话的第一句话。

(3)经过正则匹配，去除垃圾的没有信息含量的用户输入，图7示例性示出部分用户输入和需要的标注(即标注产品词、品牌词、修饰词)的示意图。以第一条为例，用户输入“买一个好一点的挂烫机还要价位低些”，标注的产品词(product)为挂烫机，品牌词(brand)为空，修饰词(wanted_deco)为低价位，即标注结果为用户需要的产品时挂烫机，对品牌没有要求，价格要求低一些。

(4)由于语音助手会涉及多个业务场景，但是通常关注较多的、比较集中的主要集中在特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达这六个方面。

图8示出获得平台购物原始数据的分布示意图，如图8所示，标记1-6分别用于表示特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达每一业务场景的数据，标记7用于表示除了上述六个业务场景之外场景类型未知的数据。为了平衡数据，在构建标注语料库过程中，需要选取数目相同的数据进行建模，例如可以从每个业务场景中各选取10000条数据用于构建语料库。

如图5所示，第二步，根据标注语料库进行建模，具体步骤如下：

(1)明确标注问题，首先根据需求设定标注任务，例如，本实施例中的两个标注任务为：语音助手业务场景分类模型和语义识别模型。

(2)针对模型设计特征，在本实施例中语音助手的业务场景分类器特征由Word2Vector训练得到，语义识别模型的特征由LSTM训练得到，包括六个维度，分别是：中文汉字级别特征，结巴分词词语级别特征，是否是一句话的结尾标识特征，句子长度特征，字符向量特征，上下文标签特征。

(3)根据需求设计每种模型中的标签，在本实施例中业务场景分类模型的标签有六个，分别是：特定商品查询、订单查询、售后、模糊优惠查询、特定优惠查询和全站直达；语义识别模型的标签有3个，分别是：产品词、品牌词和修饰词。

(4)语义识别模型可以选用LSTM_CRF算法，搭建多层深度学习的神经网络，以便训练建模。

如图5所示，第三步，撰写标注指南，具体步骤如下：

(1)选择标注形式，标注人员需要根据用户在语音助手的输入信息做标注。

(2)设定标注目标，业务场景分类模型标注目标为6个业务场景，而语义分析模型的标注目标为3方面，即产品词、品牌词和修饰词。

(3)举例对标注标签进行说明，以利于标注人员理解，具体如下：

业务场景分类模型的标注举例：

(a)ACT_COMMODITY：特定商品查询，含义是用户购买意图或者查找商品，例子是“我想买小孩的平面拼图”；

(b)ACT_ORDER：订单查询，含义是‘订单’或‘物流’相关的，例子是“我买的东西到哪儿了”；

(c)ACT_DISCOUNT：模糊优惠查询，含义是‘优惠活动’或‘优惠券息’查询，例子是“数码3000降300的优惠券我怎么领不了”；

(d)ACT_SPECIFY_DISCOUNT：特定优惠查询，含义是对特定商品的优惠查询，例子是“我想买便宜打折的小米手机”；

(e)ACT_AFTER_SALES：售后服务，含义是退货、换货、报修等售后服务，例子是“华为畅玩5屏幕坏了要退货”；

(f)ACT_SHORT_CUT：全站直达，含义是需要找到其余特定的京东服务模块，TXT附件中的词语覆盖了用户输入的关键词，例子“我要找客服”。

语义识别模型的标注举例：

(a)product，表示商品名称，即商品的中心产品词，例子：“我想买手机”，商品的中心产品词为“手机”；

(b)wanted_deco，表示商品描述，即商品的修饰词，例子：“我想买玫瑰金手机”，商品描述为“玫瑰金”；

(c)brand，表示商品品牌，例子：“我买苹果手机”，商品品牌为“苹果”。

如图5所示，第四步，选定标注工具，例如对标注工具的形式和功能根据需求进行设定，具体如下：

(1)对标注工具中符号进行约定，pt表示产品词，bd表示品牌词，wo表示修饰词，工具有替换、撤销、选住文本功能。下面详细介绍标注工具如何使用：点击工具的“打开”按钮，在标注界面中出现需要标注的文本内容，每次展示10条，图9示出标注工具的界面示意图。

如图9所示，以界面中第一条语料为例，用户输入“我要时尚女凉鞋”，标注人员用鼠标选住“时尚”，替换为“wo”，就是把“时尚”标注为了修饰词，然后鼠标选住“女”，替换为“wo”，就是把“女”标注为了修饰词，最后鼠标选住“凉鞋”，替换为“pt”，就是把“凉鞋”标注为了产品词。

(2)标注人员按照上面智能标注工具的步骤进行即可，标注10条之后，需要点击工具的“下10条”按钮，界面会展示11到20条，以此类推，每次展示新的10条，当标注结束后，点击“文件”——>”保存”，保存到自命名的一个.txt文件里。

(3)通过标注工具输出标注结果，图10示出标注工具文件输出内容的示意图。如图10所示，标注输出结果说明：“1：”表示是第1条标注数据，“10：”表示是第10条标注数据，标注结果以“||”作为分隔符，分成三部分，第一部分是被标注词语，第二部分是词语在句子中的位置，第三部分是标签。

(4)进一步对标注结果的输出格式进行转换，例如输出格式为XML，逻辑清晰，方便以后标注工具的维护，上面例子的第一条用户输入“我要时尚女凉鞋”，智能标注工具输出结果展示为XML格式。图11示出将标注结果用XML格式进行输出的示意图。

如图5所示，第五步，标注人员标注完成后，需要进行标注测试，具体如下：

(1)假设标注人员每天标注2000条，标注需求方对标注结果随机抽查300条，并且把坏案例(badcase)和标注准确率反馈给标注人员。

(2)对标注的一致性进行评估，两个标注人员标注同一份语料数据，根据两个人的标注结果，计算标注一致性。

一种评估方法是统计数据集中共有多少个标签，然后计算标注人员在标注标签时达成一致的次数，然而，使用这种直接百分比并未将偶然一致性考虑在内，事实上，这种偶然一致性在文本标注时很可能发生。比如，语音助手业务的语义识别模型，标注人员需要标出产品词、品牌词和修饰词，如果未经阅读就直接给用户的每个输入加上标签，从三个里面随机选，一致性的概率也比较大。

在本发明一实施例中，还提出一种新的一致性评估指标P，公式如下：

在公式中，若每个标注人员都随机为每个标注对象选择一个标签，Pr(a)表示两个标注人员之间的实际一致性，而Pr(e)表示两者间的期望一致性。

(3)对模型进行评估，分析建模时所用到的算法是否合适，比较直接且有效的方法是创建混淆矩阵，具体评估指标有四个，分别是：百分比精度，准确率，召回率和F值(即FB1)。

图12示出本发明实施例中语义识别模型的验证集四个评估指标的示意图，图13示出本发明实施例中语义识别模型的测试集四个评估指标的示意图。其中验证集用于对语义识别模型的参数进行调整，测试集用于评估语义识别模型的泛化能力。参见图12所示，百分比精度(accuracy)为94.66％，准确率(precision)为87.04％，召回率(recall)为95.92％，F值(FB1)为91.26％，同时还示出其中的品牌词(brand)、产品词(product)和修饰词(wanted)的准确率、召回率和F值。图13所述评估指标与图12类似，不同之处在于其实对测试集数据进行标注进行评估。

(4)将评估结果反馈给标注人员，具体的，标注需求方会将标注抽查的准确率、一致性指标、算法评估指标等都反馈给标注人员，标注人员在下一次标注中，尽量不犯类似错误。对于个别分词错误或重复标注错误，标注工具会给出警告，提醒标注人员注意，从而提高标注的准确性。

如图5所示，第六步，基于高质量的标注语料，本发明实施中的语音助手业务场景分类模型可以采用逻辑回归、支持向量机、卷积神经网络CNN等算法；语义识别模型可以采用LSTM_CRF和CRF++模型，通过逐步调试更多的参数，不断优化模型效果。

综上所述，本发明实施例提供的语言标注处理方法，一方面，通过提供一种面向机器学习的自然语言处理智能标注的方法，使用标注过的语料构建语料库，并以此来进行机器学习，训练构建模型，对于未经标注的数据而言，基于该模型进行标注可以减少标注人员不必要的低级错误，提高标注的准确率。另一方面，基于有监督学习的建模机制，根据对模型评估以及标注一致性指标的评估，不断对模型进行优化，改进机器学习的算法性能，提高模型的准确率。另外，由于标注工具的引用，可以提升标注数据的质量，算法自动标注，进一步节省更多的人力；同时对加快人工智能等前沿技术的落地，具有指导意义。

图14示出本发明另一实施例提供的一种语言标注处理系统的示意图，如图14所示，该系统1400包括：语料库单元1410、建模单元1420、信息获取单元1430和标注单元1440。

语料库单元1410配置为根据获取的日志构建标注语料库；建模单元1420配置为基于标注语料库进行建模，得到业务场景分类模型和语义识别模型；信息获取单元1430配置为获取未经标注的数据；标注单元1440配置为利用业务场景分类模型和语义识别模型对未经标注的数据进行标注。

另外，图14所示系统中各个模块的功能参见上述方法实施例中的相关描述，此处不再赘述。

本实施提供的语言标注处理系统能够实现与上述语言标注处理方法相同的技术效果，此处不再赘述。

根据本发明实施例的第三方面，提供一种电子设备，包括：存储器；处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该程序被该处理器执行时实现上述的方法步骤。

另一方面，本发明还提供了一种电子设备，包括处理器和存储器，存储器存储用于上述处理器控制以下方法的操作指令：

利用经过标注的语料构建标注语料库；

获取未经标注的信息；

下面参考图15，其示出了适于用来实现本发明实施例的电子设备的系统1500的结构示意图。图15示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图15所示，系统1500包括中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1507加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM1503中，还存储有系统1500操作所需的各种程序和数据。CPU 1501、ROM1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。

以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。

另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括以下方法步骤：

利用经过标注的语料构建标注语料库；

获取未经标注的信息；

应清楚地理解，本发明实施例描述了如何形成和使用特定示例，但本发明实施例的原理不限于这些示例的任何细节。相反，基于本发明实施例公开的内容的教导，这些原理能够应用于许多其它实施方式。

以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明实施例不限于这里描述的详细结构、设置方式或实现方法；相反，本发明实施例意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims

1.一种语言标注处理方法，其特征在于，包括：

利用经过标注的语料构建标注语料库；

获取未经标注的信息；

2.根据权利要求1所述的语言标注处理方法，其特征在于，所述经过标注的语料和所述未经标注的信息均为通过语音助手获取得到的一段话。

3.根据权利要求2所述的语言标注处理方法，其特征在于，所述利用经过标注的语料构建标注语料库为：

对所述经过标注的语料进行数据清洗，去除无用信息；

4.根据权利要求1所述的语言标注处理方法，其特征在于，所述业务场景分类模型分类后的标签包括：特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达。

5.根据权利要求1所述的语言标注处理方法，其特征在于，所述语义识别模型的标签包括：产品词、品牌词和修饰词。

6.根据权利要求1所述的语言标注处理方法，其特征在于，所述基于所述标注语料库进行建模包括：

根据标注需求确定特征；

7.根据权利要求1所述的语言标注处理方法，其特征在于，利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注之后，还包括：

对所述语义识别模型的标注结果进行统计，得到评估指标；

8.一种语言标注处理系统，其特征在于，包括：

语料库单元，配置为利用经过标注的语料构建标注语料库；

信息获取单元，配置为获取未经标注的信息；

9.一种电子设备，包括：存储器；处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其特征在于，该程序被该处理器执行时实现权利要求1-8任一项所述的方法的指令。

10.一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-8任一项所述的方法步骤。