CN107526724A - 用于标注语料的方法及装置 - Google Patents

Abstract

本申请实施例公开了用于标注语料的方法及装置。该方法的一具体实施方式包括：从待处理文件中提取待处理文字信息；通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，上述语料标注模型用于对文字信息进行二次语料标注。该实施方式通过语料标注短语对待处理文字信息包含的语料进行语料标注，提高了语料标注的效率；之后，再通过语料标注模型对无法通过语料标注短语标注的语料进行语料标注，提高了标注语料的效率和准确性。

Description

用于标注语料的方法及装置

技术领域

本申请涉及数据处理技术领域，具体涉及语料标注技术领域，尤其涉及用于标注语料的方法及装置。

背景技术

语料库由大量语料构成，语料通常是指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体，在语料库中，语料也即为一些带有特定标注的文本句子。

现有技术中，语料库中语料的获取主要是人工收集。而人工收集耗时长，且得到的语料的准确性不高。

发明内容

本申请实施例的目的在于提出了用于标注语料的方法及装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于标注语料的方法，该方法包括：从待处理文件中提取待处理文字信息；通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，上述语料标注模型用于对文字信息进行二次语料标注。

在一些实施例中，上述语料标注短语还包括前文词条和/或后文词条，上述前文词条位于语料前，上述后文词条位于语料后。

在一些实施例中，上述通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息包括：通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

在一些实施例中，上述方法还包括构建语料标注模型的步骤，上述构建语料标注模型的步骤包括：对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，上述语料结构信息包括语料、前文词条、后文词条之间的位置关系；利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

在一些实施例中，上述方法还包括扩充语料标注短语集合的步骤，上述扩充语料标注短语集合的步骤包括：分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对；通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

第二方面，本申请实施例提供了一种用于标注语料的装置，上述该装置包括：待处理文字信息提取单元，用于从待处理文件中提取待处理文字信息；语料标注单元，用于通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，上述语料标注模型用于对文字信息进行二次语料标注。

在一些实施例中，上述语料标注短语还包括前文词条和/或后文词条，上述前文词条位于语料前，上述后文词条位于语料后。

在一些实施例中，上述语料标注单元包括：通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

在一些实施例中，上述装置还包括语料标注模型构建单元，用于构建语料标注模型，上述语料标注模型构建单元包括：语料结构信息获取子单元，用于对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，上述语料结构信息包括语料、前文词条、后文词条之间的位置关系；语料标注模型构建子单元，用于利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

在一些实施例中，上述装置还包括语料标注短语扩充单元，用于扩充语料标注短语集合，上述语料标注短语扩充单元包括：信息应答对构建子单元，用于分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对；新增语料标注短语获取子单元，用于通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

第三方面，本申请实施例提供了一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述第一方面的用于标注语料的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的用于标注语料的方法。

本申请实施例提供的用于标注语料的方法及装置，通过语料标注短语对待处理文字信息包含的语料进行语料标注，提高了语料标注的效率；之后，再通过语料标注模型对无法通过语料标注短语标注的语料进行语料标注，提高了标注语料的效率和准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于标注语料的方法的一个实施例的流程图；

图3是根据本申请的用于标注语料的方法的一个应用场景的示意图；

图4是根据本申请的用于标注语料的装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于标注语料的方法或用于标注语料的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以发送待处理文件等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如文件编辑应用、信息搜索类应用、信息传输应用、等。

终端设备101、102、103可以是具有显示屏并且信息、文件发送的的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是对语料进行标注的服务器，例如对终端设备101、102、103发来的待处理文件进行语料标注的服务器。服务器可以对接收到的待处理文件等数据进行分析等处理，并通过语料标注短语等对待处理文件中的语料进行标注。

需要说明的是，本申请实施例所提供的用于标注语料的方法一般由服务器105执行，相应地，用于标注语料的装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于标注语料的方法的一个实施例的流程200。该用于标注语料的方法包括以下步骤：

步骤201，从待处理文件中提取待处理文字信息。

在本实施例中，用于标注语料的方法运行于其上的电子设备(例如图1所示的服务器105)可以通过有线连接方式或者无线连接方式从终端设备101、102、103接收待处理文件。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

为了获得语料，服务器105可以从终端设备101、102、103接收待处理文件，再从待处理文件中提取文字信息。当待处理文件包含图像时，还可以通过OCR(Optical CharacterRecognition，光学字符识别)、microsoft document imaging等方式从图像中提取图像包含的文字信息。

步骤202，通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息。

对待处理文字信息中的语料进行标注的方式可以有多种，本实施例采用通过语料标注短语对对待处理文字信息中的语料进行标注。语料标注短语可以是预先通过语料专家进行语料标注后形成的。其中，语料标注短语用于对文字信息进行初次语料标注，即，为语料设置对应的标注信息。语料标注短语可以包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，还可以根据实际需要增加其他的标注信息。在获取到待处理文字信息时，服务器105可以通过多个语料标注短语对待处理文字信息进行匹配，当匹配到与待处理文字信息对应的语料标注短语后，通过该语料标注短语对待处理文字信息中的语料设置标注信息。需要说明的是，语料可以配置多个标注信息，例如，某语料标注短语中包含语料“汽车”，该语料的标注信息可以是：“/主语/名词”等。

当通过语料标注短语对待处理文字信息的语料设置标注信息后，待处理文字信息中还包括其他的文字信息，则可以通过语料标注模型对文字信息进行二次语料标注。其中，语料标注模型是通过语料标注短语训练得到的。训练语料标注模型的方法可以是条件随机场方法、隐式马可夫模型方法，也可以是其他的方法，此处不再一一赘述。

在本实施例的一些可选的实现方式中，上述语料标注短语还可以包括前文词条和/或后文词条，上述前文词条位于语料前，上述后文词条位于语料后。

为了能够对语料进行准确识别，语料标注短语还可以包括前文词条和/或后文词条，通过前文词条和/或后文词条能够进一步确定语料在文字信息中的结构，提高了识别语料的准确性。本实施例的语料标注短语的结构可以是：前文词条+(语料/语料的标注信息)+后文词条。其中，词条可以是字、词和/或词组等。例如：语料标注短语：我/主语(前文词条)+是/动词+中国人/宾语(后文词条)。需要说明的是，通常前文词条与语料之间，以及语料与后文词条之间没有其他词条。即前文词条与语料，以及语料与后文词条紧邻。

在本实施例的一些可选的实现方式中，上述通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息可以包括：通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

当待处理文字信息中存在与语料标注短语中相同的语料时，通过包含该语料的每一条语料标注短语与待处理文字信息进行匹配。当语料标注短语中的前文词条和/或后文词条、以及待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同时，说明待处理文字信息的语料符合语料标注短语的标注要求。此时，可以将语料标注短语中的语料的标注信息标注为待处理文字信息中对应的语料的标注信息。

由上述描述可知，语料标注短语作为标注语料的基本信息，通常是预先通过语料专家进行语料标注后形成的，而语料专家不可能对可能的全部的语料进行标注。因此，还可以通过智能算法对语料标注短语进行学习并训练得到语料标注模型，然后，通过语料标注模型对待处理文字信息中没有被语料标注短语标注的文字进行语料标注。并且，通过智能方法得到的语料标注模型通常具有很好的适应能力，这就大大提高了识别语料的可能性。因此，可以通过语料标注模型对剩余的文字包含的语料进行二次语料标注。例如，待处理文字信息可以是：“XX岛是中国的”。语料标注短语包括：是/动词(前文词条)+中国/名词+的/结构助词(后文词条)。则待处理文字信息经语料标注短语为：XX岛+是/动词(前文词条)+中国/名词+的/结构助词(后文词条)。其中，“XX岛”没有被语料标注短语标注，此时就可以通过语料标注模型对“XX岛”进行标注。最后，“XX岛是中国的”可以被标注为为：“XX岛/主语+是/动词(前文词条)+中国/名词+的/结构助词(后文词条)”。

在本实施例的一些可选的实现方式中，上述方法还可以包括构建语料标注模型的步骤，上述构建语料标注模型的步骤可以包括：

第一步，对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，上述语料结构信息包括语料、前文词条、后文词条之间的位置关系。

语料标注短语中的语料、前文词条和后文词条之间具有内在的相关性，这个相关性又与语料、前文词条和后文词条之间的位置关系有很大相关性。因此，可以对语料标注短语的位置关系进行分析，确定语料标注短语的语料结构信息。

第二步，利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

语料在语料标注短语中的位置与语料在语料标注短语中的句子成分相关，而句子成分又与语料的标注信息有关。因此，可以建立标注信息与语料结构信息之间的对应关系。然后再通过支持向量机(Support Vector Machine，SVM)、条件随机场(ConditionalRandom Field，CRF)等机器学习方法，建立语料标注模型。

在本实施例的一些可选的实现方式中，上述方法还可以包括扩充语料标注短语集合的步骤，上述扩充语料标注短语集合的步骤可以包括：

第一步，分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对。

语料标注短语可以是预先通过语料专家进行语料标注后形成的，这就意味着语料标注短语的数量不会太多，将所有的语料标注短语组合在一起就构成了语料标注短语集合。为了识别出更多的语料，可以基于现有的语料标注短语集合对语料标注短语进行扩充。扩充语料时遇到的问题时，还需要对语料进行判断，提高扩充的语料的准确性。此时，可以选择包含了已经经过人为确定过的信息作为语料扩充资料，然后通过现有的语料标注短语从语料扩充资料里找出与现有的语料标注短语不同的语料来构成新增的语料标注短语。这样就既增加了语料标注短语的数量，有保证了新增的语料标注短语的准确性。

实际中，用户经常通过网络查找与搜索信息对应的结果信息，在搜索到结果信息后，会从这些结果信息中选择与搜索信息最相关或最准确的信息作为结果信息，而这个过程就是一个对搜索信息和结果信息进行判断选择的过程。

因此，本实施例可以分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对。通过信息应答对来扩展语料标注短语。例如，某一搜索信息为：“钓鱼岛是中国的”；对应的结果信息可以为：“钓鱼岛是中国的固有领土”，则“钓鱼岛是中国的”和“钓鱼岛是中国的固有领土”就构成了一组信息应答对。

第二步，通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

在通过现有的语料标注短语对信息应答对进行语料标注的过程中，会得到一些原来没有的新的语料标注短语。将这些新的语料标注短语作为新增语料标注短语加入语料标注短语集合，就实现了对语料标注短语集合的扩充。

还以上述的信息应答对：“钓鱼岛是中国的”和“钓鱼岛是中国的固有领土”为例。假设现有的某一语料标注短语为：“是/动词(前文词条)+中国/名词+的/结构助词(后文词条)”，则通过该语料标注短语标注后，信息应答对变化为：“钓鱼岛+是/动词+中国/名词+的/结构助词”和“钓鱼岛+是/动词+中国/名词+的/结构助词+固有领土”。之后，再通过语料标注模型对“钓鱼岛”、“固有领土”进行标注，最后得到标注后的信息应答对可以为：“钓鱼岛/名词+是/动词+中国/名词+的/结构助词”和“钓鱼岛/名词+是/动词+中国/名词+的/结构助词+固有/定语+领土/名词”。相对于语料标注短语：“是/动词(前文词条)+中国/名词+的/结构助词(后文词条)”而言，标注后的信息应答对中的“钓鱼岛/名词”和“固有/定语+领土/名词”是扩充到的新增语料标注短语，可以将“钓鱼岛/名词”和“固有/定语+领土/名词”添加至语料标注短语集合，实现对语料标注短语集合的扩充。

按照上述的扩充语料标注短语的方法，可以在短时间内获取到大量的较为准确的语料标注短语，提高了获取语料的效率。

继续参见图3，图3是根据本实施例的用于标注语料的方法的应用场景的一个示意图。在图3的应用场景中，终端设备101通过网络与服务器105建立数据连接，并与服务器105进行文件传输。服务器105从文件中提取待处理文字信息。之后，通过保存在服务器105上的语料标注短语对待处理文字信息中的语料进行初次语料标注。之后，再通过语料标注短语训练得到的语料标注模型对待处理文字信息中的语料进行二次语料标注，得到对应文件的语料。

本申请实施例提供的用于标注语料的方法，通过语料标注短语对待处理文字信息包含的语料进行语料标注，提高了语料标注的效率；之后，再通过语料标注模型对无法通过语料标注短语标注的语料进行语料标注，提高了标注语料的效率和准确性。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于标注语料的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的用于标注语料的装置400可以包括：待处理文字信息提取单元401和语料标注单元402。其中，待处理文字信息提取单元401用于从待处理文件中提取待处理文字信息；语料标注单元402用于通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，上述语料标注模型用于对文字信息进行二次语料标注。

在本实施例的一些可选的实现方式中，上述语料标注短语还可以包括前文词条和/或后文词条，上述前文词条位于语料前，上述后文词条位于语料后。

在本实施例的一些可选的实现方式中，上述语料标注单元402可以包括：通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

在本实施例的一些可选的实现方式中，上述用于标注语料的装置400还可以包括语料标注模型构建单元(图中未示出)，用于构建语料标注模型，上述语料标注模型构建单元包括：语料结构信息获取子单元(图中未示出)和语料标注模型构建子单元(图中未示出)。其中，语料结构信息获取子单元，用于对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，上述语料结构信息包括语料、前文词条、后文词条之间的位置关系；语料标注模型构建子单元用于利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

在本实施例的一些可选的实现方式中，上述用于标注语料的装置400还可以包括语料标注短语扩充单元(图中未示出)，用于扩充语料标注短语集合，上述语料标注短语扩充单元可以包括：信息应答对构建子单元(图中未示出)和新增语料标注短语获取子单元(图中未示出)。其中，信息应答对构建子单元用于分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对；新增语料标注短语获取子单元用于通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

本实施例还提供了一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述的用于标注语料的方法。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的用于标注语料的方法。

下面参考图5，其示出了适于用来实现本申请实施例的服务器的计算机系统500的结构示意图。图5示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括待处理文字信息提取单元和语料标注单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，语料标注单元还可以被描述为“用于标注语料的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：从待处理文件中提取待处理文字信息；通过语料标注短语和/或预先训练的语料标注模型为上述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，上述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，上述语料标注模型用于对文字信息进行二次语料标注。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于标注语料的方法，其特征在于，所述方法包括：

从待处理文件中提取待处理文字信息；

通过语料标注短语和/或预先训练的语料标注模型为所述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，所述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，所述语料标注模型用于对文字信息进行二次语料标注。

2.根据权利要求1所述的方法，其特征在于，所述语料标注短语还包括前文词条和/或后文词条，所述前文词条位于语料前，所述后文词条位于语料后。

3.根据权利要求2所述的方法，其特征在于，所述通过语料标注短语和/或预先训练的语料标注模型为所述待处理文字信息中的语料设置标注信息包括：

通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括构建语料标注模型的步骤，所述构建语料标注模型的步骤包括：

对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，所述语料结构信息包括语料、前文词条、后文词条之间的位置关系；

利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括扩充语料标注短语集合的步骤，所述扩充语料标注短语集合的步骤包括：

分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对；

通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

6.一种用于标注语料的装置，其特征在于，所述装置包括：

待处理文字信息提取单元，用于从待处理文件中提取待处理文字信息；

语料标注单元，用于通过语料标注短语和/或预先训练的语料标注模型为所述待处理文字信息中的语料设置标注信息，其中，语料标注短语用于对文字信息进行初次语料标注，包括语料和语料的标注信息，所述标注信息包括以下至少一项：词性、语序、语法成分、所属语料类别，所述语料标注模型用于对文字信息进行二次语料标注。

7.根据权利要求6所述的装置，其特征在于，所述语料标注短语还包括前文词条和/或后文词条，所述前文词条位于语料前，所述后文词条位于语料后。

8.根据权利要求7所述的装置，其特征在于，所述语料标注单元包括：

通过语料标注短语和/或语料标注模型为同时满足下述条件的待标注文字信息中的语料设置标注信息：待标注文字信息中包含语料标注短语中的语料；待标注文字信息包含语料标注短语中的前文词条和/或后文词条；待标注文字信息中前文词条和/或后文词条与语料之间的位置关系与语料标注短语中前文词条和/或后文词条与语料的位置关系相同。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括语料标注模型构建单元，用于构建语料标注模型，所述语料标注模型构建单元包括：

语料结构信息获取子单元，用于对语料标注短语集合中语料标注短语的结构进行分析，得到语料结构信息，所述语料结构信息包括语料、前文词条、后文词条之间的位置关系；

语料标注模型构建子单元，用于利用机器学习方法，基于语料标注短语中语料的标注信息和与标注信息相关联的语料结构信息，训练得到语料标注模型。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括语料标注短语扩充单元，用于扩充语料标注短语集合，所述语料标注短语扩充单元包括：

信息应答对构建子单元，用于分别从历史搜索信息集合和历史结果信息集合中提取历史搜索信息和与历史搜索信息对应的历史结果信息构成信息应答对；

新增语料标注短语获取子单元，用于通过语料标注短语和/或语料标注模型标注信息应答对中的语料，并将该语料构成的语料标注短语作为新增语料标注短语加入语料标注短语集合。

11.一种服务器，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一所述的方法。