CN106951413A - 基于人工智能的分词方法及装置 - Google Patents

Abstract

本发明提出一种基于人工智能的分词方法及装置，其中，方法包括：在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词，在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果，根据修正分词结果重新对分词模型进行训练。本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景。

Description

基于人工智能的分词方法及装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于人工智能的分词方法及装置。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。

随着计算机技术的不断发展，分词技术已经广泛应用于搜索引擎，机器翻译，语音合成，自动摘要等领域。其中，分词(Chinese Word Segmentation)技术是指将一句或者一段中文文字切分成一个一个中文词语的技术。同时，随着以智能手机和平板电脑为代表的移动终端的迅速普及，在移动终端上使用分词技术的需求也在不断增加，比如，在移动终端上划词搜索，以及语音交互等。

实际应用中，由于中文的歧义性，根据分词技术对一句话或者一段文字进行分词后，得到的分词结果可能存在分词边界错误的问题。例如，一句话“学生会写黑板报”，分词结果为“学生会”、“写”以及“黑板报”，由该句话的实际含义可知分词结果中“学生会”就出现了分词边界错误的问题，应该分词为“学生”、“会写”更加合理。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于人工智能的分词方法，用于解决基于现有分词技术进行分词时，由于中文歧义性而存在的分词边界错误的问题。

本发明的第二个目的在于提出一种基于人工智能的分词装置。

本发明的第三个目的在于提出另一种基于人工智能的分词装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种基于人工智能的分词方法，包括：

在屏幕上显示分词模型对目标文本的分词结果；其中，所述分词结果中包括所述分词模型输出的多个分词；

在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

根据所述修正分词结果重新对所述分词模型进行训练。

本发明实施例的基于人工智能的分词方法，通过在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词，在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果，根据修正分词结果重新对分词模型进行训练。本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景。

为达上述目的，本发明第二方面实施例提出了一种基于人工智能的分词装置，包括：

显示模块，用于在屏幕上显示分词模型对目标文本的分词结果；所述分词结果中包括所述分词模型输出的多个分词；

修正模块，用于在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

训练模块，用于根据所述修正分词结果重新对所述分词模型进行训练。

本发明实施例的基于人工智能的分词装置，通过在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词，在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果，根据修正分词结果重新对分词模型进行训练。本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景

为达上述目的，本发明第三方面实施例提出了另一种基于人工智能的分词装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：

在屏幕上显示分词模型对目标文本的分词结果；其中，所述分词结果中包括所述分词模型输出的多个分词；

在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

根据所述修正分词结果重新对所述分词模型进行训练。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器端的处理器被执行时，使得服务器端能够执行一种基于人工智能的分词方法，所述方法包括：

在屏幕上显示分词模型对目标文本的分词结果；其中，所述分词结果中包括所述分词模型输出的多个分词；

在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

根据所述修正分词结果重新对所述分词模型进行训练。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种基于人工智能的分词方法，所述方法包括：

在屏幕上显示分词模型对目标文本的分词结果；其中，所述分词结果中包括所述分词模型输出的多个分词；

在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

根据所述修正分词结果重新对所述分词模型进行训练。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种基于人工智能的分词方法的流程示意图；

图2为本发明实施例提供的分词结果的示意图之一；

图3为本发明实施例提供的分词结果的示意图之二；

图4为本发明实施例提供的屏幕显示的示意图；

图5为本发明实施例提供的另一种基于人工智能的分词方法的流程示意图；

图6为本发明实施例提供的分词模型的结构示意图；

图7为本发明实施例提供的一种基于人工智能的分词装置的结构示意图；

图8为本发明实施例提供的一种修正模块12的结构示意图；

图9为本发明实施例提供的另一种基于人工智能的分词装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于人工智能的分词方法及装置。

图1为本发明实施例提供的一种基于人工智能的分词方法的流程示意图。本实施例提供的基于人工智能的分词方法可以应用在移动终端上，移动终端可以为手机、平板电脑等。

如图1所示，该基于人工智能的分词方法包括以下步骤：

S101、在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词。

本实施例中，可以预先构建一个分词模型，通过分词模型对目标文本进行分词处理，得到该目标文件的分词结果。分词模块可以为基于神经网络等人工智能的方式建立。进一步地，将目标文本的分词结果在用户所使用的终端的屏幕进行显示。其中，分词结果中包括分词模型输出的多个分词。当分词结果在屏幕上显示后，用户可以在屏幕上直观地看到分词模型输出的分词结果。

S102、在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果。

实际应用中，由于中文的歧义性，分词模型输出的分词结果可能存在分词边界错误的问题。一般情况下，分词歧义包括交集型歧义和组合型歧义。

其中，交集型歧义(Overlapped ambiguities)，例如，A、X、B分别为汉字串，如果其组成的汉字串AXB满足AX和XB同时为词，则汉字串AXB为交集型歧义字段。如图2所示，对“研究生命的起源”这句话进行切分，可能的分词结果为“研究生”、“命”、“的”、“起源”。而根据这句话的实际含义分词结果应该为“研究”、“生命”、“的”、“起源”。其中，“研究生命”为交集歧义字段。

组合型歧义(Combinatorial ambiguities)：汉字串AB满足A、B、AB同时为词，则该汉字串为组合型歧义字段。如图3所示，对“他从马上下来”、这句话进行切分处理，得到的可能的分词结果为。根据这句话的实际含义分词结果应该为“他”、“从”、“马上”、“下来”。其中，“马上”为组合型歧义字段。

由于分词模型在对目标文本进行分词处理时，存在分词边界错误的问题，本实施例中，当用户通过屏幕检测出分词结果中存在分词边界错误的分词时，此处将存在分词边界错误的分词称为目标分词，可以对分词结果进行修正，得到修正分词结果。具体地，用户可以通过屏幕发送修正指令，其中，修正指令可以指示出如何对目标分词进行修正，在接收到修正指令后，就可以根据修正指令对目标分词进行修正，得到修正分词结果。

本实施例中，修正指令可以为用于将词拆成多个单个字的打碎指令，当修正指令为打碎指令时，首先用户在屏幕上点击选取至少一个目标分词，然后发送一个打碎指令，这样就将所选中的目标分词均拆分成多个单字，这种方式下用户可以一次打碎多个目标分词。或者，用户可以通过屏幕发送一个打碎指令，在打碎指令被选中的状态下，每当用户选中一个目标分词就可以对该目标分词进行一次打碎，拆分成多个单字，直到用户从取消了打碎指令的选中状态。

进一步地，用户可以对单字进行连接操作，将连接的单字形成新的第一分词。得到新的第一分词后，就可以与未进行修正的分析形成修正分词结果。

例如，分词结果中“学生会”、“写”、“黑板报”中“学生会”为一个目标分词，用户通过点击打碎指令将“学生会”拆分成“学”、“生”、“会”，用户可以点击“学”和“生”就可以形成一个新的第一分词。此处仅为示例，不能作为限制本发明的条件。

进一步地，修正指令可以为用于将相邻的词连接形成一个词的涂抹指令，当修正指令为涂抹指令时，首先用户可以点击选取两个相邻的目标分词，然后发送一个涂抹指令，将目标分词组合成一个新的第二分词。

例如，分词结果中“中华”、“人民”、“共和国”这三个目标分词，根据实际应用可以得到“中华人民共和国”应该为一个切词，因此，用户可以通过屏幕点击选取“中华”、“人民”、“共和国”这三个目标分词，然后通过点击涂抹指令，就可以将“中华”、“人民”、“共和国”这三个目标分词组合成“中华人民共和国”这一个第二切词。

进一步地，本实施例中可以对分词结果中通过修正的分词进行标注，然后将携带有标注的分词结果作为修正分词结果。本实施例中，对未经过修正的分词不进行标注。

可选地，可以在屏幕上的指定区域显示打碎指令的图标和涂抹指令的图标。用户可以通过点击图标来形成一个与该图标对应的指令，例如，当点击涂抹指令的图标时，可以形成一个涂抹指令，再例如，当点击打碎指令的图标时，则可以形成一个打碎指令。

例如，目标文本为“自然语言处理部NLP作为搜索引擎，百度历史最悠久的基础技术部分之一，以理解语言拥有智能改变世界为使命，开展包括自然语言处理、机器学习、数字挖掘在内的技术研究和产品应用工作，引领着人工智能技术的发展”。图4为本发明实施例提供的屏幕显示的示意图。在图4中，打碎指令的图标为一个锤子的图标，而涂抹指令为一个手指的图标，并且在图4中显示了分词模型对上述目标文本的分词结果。

可选地，在屏幕上隐藏显示修正指令，通过对用户在屏幕上的操作来形成修正指令。具体地，当检测到用户在屏幕上对选取的目标分词进行双击操作时，就可以形成一个打碎指令，即可以将双击的目标分词拆分成多个单字。而当检测到用户在屏幕上进行从一个目标分词滑动到相邻的另一个目标分词的操作时，就可以形成一个涂抹指令，也就是说，当用户在屏幕上进行从一个目标分词滑动到另一个目标分词操作时，就可以将这两个目标分词拼接起来形成一个新的分词。

S103、根据修正分词结果重新对分词模型进行训练。

本实施例中，通过用户对分词结果的交互式修正后，修正分词结果为一个标准的分词结果，或者正确的分词，结果在获取到修正分词结果后，可以根据该修正分词结果对分词模型重新进行训练，以使分词模型的分词结果更加符合实际应用。具体地，将修正分词结果与分词结果进行比较，得到两者之间的误差，然后基于误差计算分词模型的迭代梯度，利用迭代梯度调整分词模型中各层所包括的各个特征的权重。

本实施例提供的基于人工智能的分词方法，通过在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词，在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果，根据修正分词结果重新对分词模型进行训练。本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景。

图5为本发明实施例提供的另一种基于人工智能的分词方法的结构示意图。如图5所示，该基于人工智能的分词方法包括以下步骤：

S201、加载分词模型的各层所包括的各个特征的权重。

本实施例中，在对目标文本进行分词之前，可以首先加载分词模型中各层所包括的各个特征的权重。本实施例中，分词模型中可以设置有一个权重存储模块，在该权重存储模块中存储各层的各个特征的权重。图6为本实施例提供的一种分词模型的结构示意图。该分词模型为一个神经网络，该神经网络的前向(Forward)过程中涉及分词模型中的输入层、中间层(Layer)和输出层。

S202、将目标文本输入到分词模型中。

具体地，将目标文本通过输入层输入到分词模型中。

S203、利用加载完权重的分词模型对目标文本进行分词，得到分词结果。

在前向过程中基于神经网络各层所包括的各个特征的权重对目标文本进行预测，得到目标文本的分词结果。神经网络在前向过程中的中间层得到发射矩阵(emission)和转移矩阵(transition)，然后根据马尔科夫(markov)得到输出层的值，并且得到目标文本的分词结果。

S204、将分词结果显示在用户对应的移动终端的屏幕上。

本实施例中，为了保证用户可以参与到分词过程中，将神经网络输出的分词结果展示在用户所对应的移动终端的屏幕上，这样用户可以查看分词结果中是否存在分词边界错误的目标分词。

S205、当分词结果中存在目标分词时，对分词结果进行修正得到修正分词结果。

具体地过程可参见上述实施例中相关内容的加载，此处不再赘述。

S206、根据修正分词结果重新对分词模型进行训练。

具体地，将修正分词结果与分词结果进行比较，得到两者之间的误差，然后基于误差计算神经网络的迭代梯度，利用迭代梯度调整神经网络中各层所包括的各个特征的权重。

在图6中当利用修正分词结果重新对神经网络进行训练时，为神经网络的一个反馈(Backward)过程，在反馈过程中涉及到输入层、中间层(Layer)和输出层以及标准结果输入层。

具体地，将修正分词结果输入到标准结果输入层，输入城继续输入目标文本，然后经过中间层和输出层处理之后，可以得到神经网络的误差，进而根据该误差可以计算出神经网络的迭代梯度，根据该迭代梯度就可以对神经网络各层所包括的各个特征的权重进行调整，完成对神经网络即分词模型的重新训练，使其按照用户的需求形成分词结果。

本实施例提供的基于人工智能的分词方法，通过在屏幕上显示分词模型对目标文本的分词结果；其中，分词结果中包括分词模型输出的多个分词，在分词结果中存在分词边界错误的目标分词时，对分词结果进行修正得到修正分词结果，根据修正分词结果重新对分词模型进行训练。本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景。

图7为本发明实施例提供的一种基于人工智能的分词装置的结构示意图。如图7所示，该基于人工智能的分词装置包括：显示模块11、修正模块12和训练模块13。

具体地，显示模块11，用于在屏幕上显示分词模型对目标文本的分词结果；所述分词结果中包括所述分词模型输出的多个分词。

修正模块12，用于在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果。

训练模块13，用于根据所述修正分词结果重新对所述分词模型进行训练。

图8为本发明实施例提供的一种修正模块12的结果示意图。该修正模块12包括：指令接收单元121和修正单元122。

指令接收单元121，用于接收所述用户对所述目标分词的修正指令。

修正单元122，用于根据所述修正指令对所述目标分词进行修正，得到所述修正分词结果。

进一步地，修正单元122，具体用于当所述修正指令为用于将词拆成多个单个字的打碎指令时，根据所述打碎指令对所述目标分词拆成多个单字，将用户所点击的所述单字的连接形成新的第一切词，利用所述新的切词形成所述修正分词结果。

进一步地，修正单元122，具体用于，当所述修正指令为用于将相邻的词连接形成一个词的涂抹指令时，根据所述涂抹指令将所述用户选取的相邻的所述目标分析逐次组合形成新的第二分词，利用所述第二分词形成所述修正分词结果。

进一步地，修正单元122，还用于对经过所述修正指令修正过的所有分词进行标注，将携带有所述标注的分词结果作为所述修正分词结果。

进一步地，显示模块11，还用于在所述屏幕上显示所述打碎指令的图标和/或所述涂抹指令的图标。

进一步地，指令接收单元121，具体用于接收所述用户对所述图标的点击，形成与所述点击的图标对应的指令。

进一步地，指令接收单元121，还用于当检测到所述用户在所述屏幕上对选取的所述目标分词进行双击操作时，形成所述打碎指令。

进一步地，指令接收单元121，还用于当检测到所述用户在所述屏幕上进行从一个所述目标分词滑动到相邻的另一个所述目标分词的操作时，形成所述涂抹指令。

进一步地，训练模块13，具体用于将所述修正分词结果与所述分词结果进行比较，得到两者之间的误差，基于所述误差计算所述分词模型的迭代梯度，利用所述迭代梯度调整所述分词模型中各层所包括的各个特征的权重。

进一步地，显示模块11，具体用于加载所述分词模型中各层所包括的各个特征的权重，将所述目标文本输入到所述分词模型中，利用加载完所述权重的所述分词模型对所述目标文本进行分词，得到所述分词结果。

本实施例提供了一种交互式的分词模式，用户可以灵活地对存在分词边界错误的分词进行修正，使得分词结果更加准确。进一步地，还可以将修正后的分词结果反馈给分词模型，以重新对分词模型进行训练，使得分词模型的输出更加精确，能够自适应地适配用户的应用场景。

图9为本发明实施例提供的另一种基于人工智能的分词装置的结构示意图。该基于人工智能的分词装置包括：

存储器21、处理器22及存储在存储器21上并可在处理器22上运行的计算机程序。

处理器22执行所述程序时实现上述实施例中提供的基于人工智能的分词方法。

进一步地，基于人工智能的分词装置还包括：

通信接口23，用于存储器21和处理器22之间的通信。

存储器21，用于存放可在处理器22上运行的计算机程序。

存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

处理器22，用于执行所述程序时实现上述实施例所述的基于人工智能的分词方法。

如果存储器21、处理器22和通信接口23独立实现，则通信接口21、存储器21和处理器22可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器21、处理器22及通信接口23，集成在一块芯片上实现，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。

处理器22可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (22)

1.一种基于人工智能的分词方法，其特征在于，包括：

在屏幕上显示分词模型对目标文本的分词结果；其中，所述分词结果中包括所述分词模型输出的多个分词；

在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

根据所述修正分词结果重新对所述分词模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述对所述分词结果进行修正得到修正分词结果，包括：

接收所述用户对所述目标分词的修正指令；

根据所述修正指令对所述目标分词进行修正，得到所述修正分词结果。

3.根据权利要求2所述的方法，其特征在于，当所述修正指令为用于将词拆成多个单个字的打碎指令时，则所述根据所述修正指令对所述目标分词进行修正得到所述修正分词结果，包括：

根据所述打碎指令对所述目标分词拆成多个单字；

将用户所点击的所述单字的连接形成新的第一切词；

利用所述新的切词形成所述修正分词结果。

4.根据权利要求2或3所述的方法，其特征在于，当所述修正指令为用于将相邻的词连接形成一个词的涂抹指令时，则所述根据所述修正指令对所述目标分词进行修正得到所述修正分词结果，包括：

根据所述涂抹指令将所述用户选取的相邻的所述目标分词逐次组合形成新的第二分词；

利用所述第二分词形成所述修正分词结果。

5.根据权利要求4所述的方法，其特征在于，还包括：

当检测到所述用户在所述屏幕上对选取的所述目标分词进行双击操作时，形成所述打碎指令。

6.根据权利要求5所述的方法，其特征在于，还包括：

当检测到所述用户在所述屏幕上进行从一个所述目标分词滑动到相邻的另一个所述目标分词的操作时，形成所述涂抹指令。

7.根据权利要4所述的方法，其特征在于，还包括：

在所述屏幕上显示所述打碎指令的图标和/或所述涂抹指令的图标；

接收所述用户对所述图标的点击，形成与所述点击的图标对应的指令。

8.根据权利要4所述的方法，其特征在于，所述得到所述修正分词结果，包括：

对经过所述修正指令修正过的所有分词进行标注；

将携带有所述标注的分词结果作为所述修正分词结果。

9.根据权利要1-3任一项所述的方法，其特征在于，所述根据所述修正分词结果重新对所述分词模型进行训练，包括：

将所述修正分词结果与所述分词结果进行比较，得到两者之间的误差；

基于所述误差计算所述分词模型的迭代梯度；

利用所述迭代梯度调整所述分词模型中各层所包括的各个特征的权重。

10.根据权利要求1-3任一项所述的方法，其特征在于，所述在屏幕上显示分词模型对目标文本的分词结果，包括：

加载所述分词模型中各层所包括的各个特征的权重；

将所述目标文本输入到所述分词模型中；

利用加载完所述权重的所述分词模型对所述目标文本进行分词，得到所述分词结果。

11.一种基于人工智能的分词装置，其特征在于，包括：

显示模块，用于在屏幕上显示分词模型对目标文本的分词结果；所述分词结果中包括所述分词模型输出的多个分词；

修正模块，用于在所述分词结果中存在分词边界错误的目标分词时，对所述分词结果进行修正得到修正分词结果；

训练模块，用于根据所述修正分词结果重新对所述分词模型进行训练。

12.根据权利要求11所述的装置，其特征在于，所述修正模块，包括：

指令接收单元，用于接收所述用户对所述目标分词的修正指令；

修正单元，用于根据所述修正指令对所述目标分词进行修正，得到所述修正分词结果。

13.根据权利要求12所述的装置，其特征在于，所述修正单元，具体用于当所述修正指令为用于将词拆成多个单个字的打碎指令时，根据所述打碎指令对所述目标分词拆成多个单字，将用户所点击的所述单字的连接形成新的第一切词，利用所述新的切词形成所述修正分词结果。

14.根据权利要求12或13所述的装置，其特征在于，所述修正单元，具体用于，当所述修正指令为用于将相邻的词连接形成一个词的涂抹指令时，根据所述涂抹指令将所述用户选取的相邻的所述目标分析逐次组合形成新的第二分词，利用所述第二分词形成所述修正分词结果。

15.根据权利要14所述的装置，其特征在于，所述修正单元，还用于对经过所述修正指令修正过的所有分词进行标注，将携带有所述标注的分词结果作为所述修正分词结果。

16.根据权利要求14所述的装置，其特征在于，所述指令接收单元，还用于当检测到所述用户在所述屏幕上对选取的所述目标分词进行双击操作时，形成所述打碎指令。

17.根据权利要求16所述的装置，其特征在于，所述指令接收单元，还用于当检测到所述用户在所述屏幕上进行从一个所述目标分词滑动到相邻的另一个所述目标分词的操作时，形成所述涂抹指令。

18.根据权利要14所述的装置，其特征在于，所述显示模块，还用于在所述屏幕上显示所述打碎指令的图标和/或所述涂抹指令的图标；

所述指令接收单元，具体用于接收所述用户对所述图标的点击，形成与所述点击的图标对应的指令。

19.根据权利要11-13任一项所述的装置，其特征在于，所述训练模块，具体用于将所述修正分词结果与所述分词结果进行比较，得到两者之间的误差，基于所述误差计算所述分词模型的迭代梯度，利用所述迭代梯度调整所述分词模型中各层所包括的各个特征的权重。

20.根据权利要求11-13任一项所述的装置，其特征在于，所述显示模块，具体用于加载所述分词模型中各层所包括的各个特征的权重，将所述目标文本输入到所述分词模型中，利用加载完所述权重的所述分词模型对所述目标文本进行分词，得到所述分词结果。

21.一种基于人工智能的分词装置，其特征在于，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的基于人工智能的分词方法。

22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的基于人工智能的分词方法。