CN115934904A - 文本处理方法以及装置 - Google Patents
文本处理方法以及装置 Download PDFInfo
- Publication number
- CN115934904A CN115934904A CN202211415557.2A CN202211415557A CN115934904A CN 115934904 A CN115934904 A CN 115934904A CN 202211415557 A CN202211415557 A CN 202211415557A CN 115934904 A CN115934904 A CN 115934904A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- target
- words
- labels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本说明书实施例提供文本处理方法以及装置,其中所述文本处理方法包括:将目标文本输入文本处理模型;在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中单个文本的文本关系标签、所述文本词语和其他文本词语的词语关系标签;根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;根据所述有向无环图,确定所述目标文本对应的词语类型信息组。仅需要考虑目标文本的文本顺序,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及文本处理方法。
背景技术
在知识问答场景中,通常需要对用户提出的问题进行理解,并且根据用户提出的问题从知识库中存储的数据中提取知识,从而回答用户提出的问题。
然而,在理解用户的问题或提取知识的过程中,由于文本处理模型通常是基于特定领域的训练数据进行训练的,在用户提出的问题在该特定领域之外的其他领域中,可能导致对用户问题给出的回复准确性较差。
发明内容
有鉴于此,本说明书实施例提供了一种文本处理方法。本说明书一个或者多个实施例同时涉及一种文本处理装置,一种答案确定方法,一种答案确定装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种文本处理方法,包括:
将目标文本输入文本处理模型;
在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;
根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
根据本说明书实施例的第二方面,提供了一种文本处理装置,包括:
输入模块,被配置为将目标文本输入文本处理模型;
第一确定模块,被配置为在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
构建模块,被配置为根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;
第二确定模块,被配置为根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
根据本说明书实施例的第三方面,提供了一种答案确定方法,包括:
接收用户通过交互界面输入的问题文本;
将所述问题文本输入文本处理模型;
在所述文本处理模型中,根据所述问题文本你的文本顺序,确定所述问题文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
根据所述文本词语以及所述关系标签,构建所述问题文本对应的有向无环图;
根据所述有向无环图,确定所述问题文本对应的词语类型信息组;
将所述问题文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述问题文本对应的目标答案;
将所述目标答案通过所述交互界面展示给所述用户。
根据本说明书实施例的第四方面,提供了一种答案确定装置,包括:
接收模块,被配置为接收用户通过交互界面输入的问题文本;
第一输入模块,被配置为将所述问题文本输入文本处理模型;
第一确定模块,被配置为在所述文本处理模型中,根据所述问题文本的文本顺序,确定所述问题文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
构建模块,被配置为根据所述文本词语以及所述关系标签,构建所述问题文本对应的有向无环图;
第二确定模块,被配置为根据所述有向无环图,确定所述问题文本对应的词语类型信息组;
第二输入模块,被配置为将所述问题文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述问题文本对应的目标答案;
展示模块,被配置为将所述目标答案通过所述交互界面展示给所述用户。
根据本说明书实施例的第五方面,提供了一种文本处理模型训练方法,应用于云侧设备,包括:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,并将所述文本处理模型发送至端侧设备。
根据本说明书实施例的第六方面,提供了一种文本处理模型训练装置,应用于云侧设备,包括:
第一确定模块,被配置为确定文本样本,以及所述文本样本对应的词语类型信息组标签;
第二确定模块,被配置为根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
构建模块,被配置为根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
第三确定模块,被配置为根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
训练模块,被配置为根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,并将所述文本处理模型发送至端侧设备。
根据本说明书实施例的第七方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本处理方法或答案确定方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述文本处理方法或答案确定方法的步骤。
根据本说明书实施例的第九方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述文本处理方法或答案确定方法的步骤。
本说明书一个实施例提供了一种文本处理方法,将目标文本输入文本处理模型;在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
上述方法通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
附图说明
图1是当前开放信息抽取模型的测试结果的示意图;
图2是本说明书一个实施例提供的一种文本处理方法的应用场景示意图;
图3是本说明书一个实施例提供的一种文本处理方法的流程图;
图4是本说明书一个实施例提供的一种文本处理方法中文本矩阵的示意图;
图5是本说明书一个实施例提供的一种文本处理方法中有向无环图的示意图;
图6是本说明书一个实施例提供的文本处理方法中的文本处理模型的测试效果示意图;、
图7是本说明书一个实施例提供的一种文本处理方法的处理过程流程图;
图8是本说明书一个实施例提供的一种文本处理装置的结构示意图;
图9是本说明书一个实施例提供的一种答案确定方法的流程图;
图10是本说明书一个实施例提供的一种答案确定装置的结构示意图;
图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
开放信息抽取(OpenIE):直接使用原始句子中的字词片段作为实体之间的关系短语,开放式地抽取三元组类知识。
有向无环图:指的是一个无回路的有向图。
非结构化形式:数据以杂乱无章的形式存储,难以按照一个概念去进行抽取。
实际应用中,企业内大部分数据都是以非结构化形式存在,而文档在其中占比最为突出,如客服手册、产品说明书、政策文档、法律法规等。如何充分利用无结构的企业文档赋予对话系统知识,是企业信息智能化中的关键一环。在知识抽取过程中,即从文档中抽取关键的三元组类开放知识,作为生成回复的知识来源之一。
三元组类知识在对话系统中发挥着非常重要的作用,能够帮助对话模型生成更具有知识内容的回复。传统的点封闭式信息抽取需要假设预先定义的类型集合然后标注大量的训练数据,费时费力,难以应用在多种领域多种需求的抽取任务中。开放信息抽取则直接使用原始句子中的字词片段作为实体之间的关系短语,而非从固定的类型集合中选择关系,因此更易于规模化应用。然而,当前的开放信息抽取模型忽略了抽取的泛化性。实际应用中,对开放信息抽取模型在6个不同领域的数据集上进行了测试,如图1所示,图1示出了当前开放信息抽取模型的测试结果的示意图,图1中包括当前用于信息抽取的模型1和模型2在测试领域的模型性能参数,和在训练领域以外的其他领域的模型性能参数,训练领域可以理解为模型的训练数据的领域,其他领域包含A领域、B领域……F领域。测试结果显示,当在和训练数据领域不同的测试数据上,会出现高达70%的相对性能下降。因此,亟需一种有效的技术方案解决上述问题。
在本说明书中,提供了一种文本处理方法,本说明书同时涉及一种文本处理装置,一种答案确定方法,一种答案确定装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图2,图2示出了根据本说明书一个实施例提供的一种文本处理方法的应用场景示意图。
图2包括客户端202、服务端204以及知识数据库206,其中,客户端202部署有知识问答助手,用户可以通过客户端202向知识问答助手提问,客户端202比如可以是计算机终端、移动终端等。知识数据库206中存储有知识数据,该知识数据可以辅助知识问答助手回答用户的问题,服务端204部署有文本处理模型,可以利用该文本处理模型对知识数据库206中存储的知识数据进行知识抽取,从而获得用户提出的问题对应的三元组知识。
具体实施时,用户可以通过客户端202向知识问答助手提出问题,客户端202将该问题发送至服务端204,服务端204可以根据该问题从知识数据库206中获取知识数据,并将获取的知识数据输入至服务端204部署的文本处理模型,获得文本处理模型输出的三元组知识。服务端204可以根据该三元组知识和问题,生成该问题的答案,并将答案发送至客户端202,通过知识问答助手向用户展示。具体的,服务端204可以根据自身部署的答案确定模型,将三元组指示和问题输入该答案确定模型,获得答案确定模型输出的答案。
如图2所示,用户可以通过客户端202向知识问答助手提问“公园是哪年建造的?”,客户端202将该问题发送至服务端204,服务端204可以根据该问题从知识数据库206中获取知识数据,并将获取的知识数据输入至服务端204部署的文本处理模型,获得文本处理模型输出的三元组知识“公园,建造于,前年春天”、“公园,建造于,春节期间”。服务端204可以根据该三元组知识和问题,生成该问题的答案“公园建造于前年春天和春节期间”,并将答案“公园建造于前年春天和春节期间”发送至客户端202,通过知识问答助手向用户展示。实现了从知识数据中抽取三元组知识,作为生成答案的知识来源之一。
参见图3,图3示出了根据本说明书一个实施例提供的一种文本处理方法的流程图,具体包括以下步骤。
步骤302:将目标文本输入文本处理模型。
其中,目标文本可以理解为需要进行处理的文本,目标文本比如可以是用户提出的问题文本,也可以是从知识数据库中获取的知识数据。文本处理模型可以理解为用于对目标文本进行处理,从而对目标文本进行信息抽取的模型。
具体的,文本处理模型可以对目标文本进行信息抽取,比如可以抽取目标文本的实体和关系信息,其中,实体可以理解为目标文本中的文本对象,关系可以理解为文本对象之间的关系,比如对于目标文本“公园建造于前年春天和春节期间”,其中的实体包括头实体“公园”和尾实体“去年”,该头实体和该尾实体之间的关系为“建造于”,头实体、尾实体和关系可以构成一个三元组信息,那么该目标文本对应的三元组信息即为“公园,建造于,去年”,该三元组信息即为对目标文本进行信息抽取得到的结果。文本处理模型也可以抽取目标文本的主语、谓语、宾语等词性信息,在该场景下,主语、谓语和宾语也可以构成一个三元组,信息抽取得到的结果即为三元组结果。
为了便于理解,仅以目标文本“公园建造于前年春天和春节期间”举例说明,而实际应用中,在非结构化形式的知识数据库中,存储的知识数据可能是一个冗长的句子,比如目标文本可能是“公园建造于前年春天和春节期间公园坐落于XX地区……”,在知识抽取场景下,需要从这冗长的句子中提取与用户提问有关的三元组知识。
需要说明的是,本说明书实施例提供的文本处理方法,可以作为一种开放信息抽取方法使用,抽取的信息可以在后续用于问答场景、客服场景等,可以基于抽取的信息协助问答模型更好的理解用户提出的问题。比如,在用户向客服助手提出问题时,为了更好的理解用户的问题,可以利用该文本处理方法对用户提出的问题进行信息抽取;或者,为了保证给用户的回复的知识性,也可以从知识库中存储的文档数据中,提取与用户提出的问题相关的三元组类知识,根据该三元组类知识,确定回复信息。可以理解的,本说明书实施例提供的文本处理方法可以用于任意需要信息抽取的场景,本说明书在此不做限定。
实际应用中,为了使文本处理模型能够输出需要的信息,可以对文本处理模型进行训练,比如,在存在确定文本的实体和关系信息的情况下,可以将文本作为训练样本,该文本的实体和关系信息作为训练标签,对文本处理模型进行训练,具体实现方式如下:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型。
其中,文本样本为该初始文本处理模型的训练样本,词语类型信息组标签为该初始文本处理模型的训练标签,词语类型信息组标签可以理解为三元组信息标签。
基于此,在对文本处理模型进行训练的过程中,可以根据单个文本在文本样本中的文本顺序,确定文本样本中的文本词语的预测关系标签。根据文本词语和预测关系标签,构建预测有向无环图。根据预测有向无环图,确定预测词语类型信息组。该预测词语类型信息组即为文本处理模型训练过程中输出的预测结果。利用该预测词语类型信息组和词语类型信息组标签,对文本处理模型进行训练。
具体的,所述利根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,包括:
根据所述预测词语类型信息组和所述词语类型信息组标签,计算模型损失值;
利用所述模型损失值,对文本处理模型进行训练,直至获得满足训练停止条件的文本处理模型。
其中,训练停止条件可以理解为训练次数达到预设次数阈值,或者模型损失值小于预设阈值。
此时的文本识别模型还未训练好,输出的预测词语类型信息组与词语类型信息组标签之间还有一定的差距,因此,还需要通过词语类型信息组与词语类型信息组标签来联合训练模型,调整模型的参数,需要根据预测文本信息和样本文本信息计算模型损失值,具体的,可以利用损失函数计算模型损失值,损失函数在实际应用中可以是交叉熵损失函数、平方损失函数、0-1损失函数等等,在本说明书中,对损失函数的选择不做限定,以实际应用为准。并根据损失函数,继续对文本处理模型进行训练,直至获得满足训练停止条件的文本处理模型,此时,文本处理模型已经被训练完成。
综上,通过对文本处理模型进行训练,获得满足训练停止条件的文本处理模型,为后续将文本处理模型应用于信息抽取场景提供基础。
步骤304:在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中单个文本的文本关系标签、所述文本词语和其他文本词语的词语关系标签。
其中,目标文本的文本顺序,可以理解为单个文本在目标文本中的顺序,单个文本可以理解为目标文本中的字,比如对于目标文本“公园建造于前年春天和春节期间”,“公”即为目标文本中的单个文本,“园”也是目标文本中的单个文本。目标文本中文本词语可以理解为目标文本中的词语,比如“公园”为目标文本中的一个文本词语,“建造于”为目标文本中的一个文本词语。可以理解的,目标文本可以由一个或更多个文本词语组成。
文本词语的关系标签,可以用于表示文本词语之间的关系。文本词语中单个文本的文本关系标签,可以理解为用于表示组成文本词语的单个文本之间的关系的标签。文本关系标签可以是对文本词语的开始字和结尾字的标签,比如,对于文本词语“公园”,其开始字为“公”、结尾字为“园”,那么该文本关系标签可以用于表示开始字“公”和结尾字“园”之间的连接关系。再比如,对于文本词语“建造于”,其开始字为“建”、结尾字为“于”,那么文本关系标签可以用于表示开始字“建”、结尾字“于”之间的连接关系。文本词语和其他文本词语的词语关系标签可以理解为用于表示目标文本中的一个文本词语和另一个文本词语之间的关系的标签,比如词语关系标签可以是用于表示文本词语“公园”和文本词语“建造于”之间的关系。
基于此,可以在文本处理模型中,利用文本处理模型根据单个文本在目标文本中的文本顺序,确定目标文本中文本词语的单个文本之间的关系标签、以及一个文本词语和另一个文本词语之间的关系标签。
举例而言,针对目标文本“公园建造于前年春天和春节期间”,文本处理模型可以根据每个字在该目标文本中的顺序,对目标文本中的文本“公”和“园”确定文本关系标签,对目标文本中的文本“园”和“于”确定词语关系标签。
具体的,对文本处理模型进行训练时用到的标签为词语类型信息组标签,该词语类型信息组标签可以理解为根据实际需要确定的需要抽取的三元组信息,比如可以是“头实体,关系,尾实体”,或者还可以是“主语,谓语,宾语”。那么,文本处理模型应用过程中输出的内容即为词语类型信息组,所述词语类型信息组为词语类型对应的三元组。
相应地,所述文本词语和其他文本词语的词语关系标签包括:
所述文本词语和所述文本词语关联的其他文本词语的词语关系标签、以及所述三元组包含的第一文本词语和第二文本词语的词语关系标签。
其中,文本词语和文本词语关联的其他文本词语可以理解为按照目标文本的文本顺序确定的文本词语和该文本词语的下一个文本词语,比如对于目标文本“公园建造于前年春天和春节期间”,按照文本顺序确定文本词语“公园”和“公园”的下一个文本词语“建造于”,那么词语关系标签可以包括“公园”和“建造于”的词语关系标签;三元组即根据文本处理模型预测出的目标文本针对的三元组,三元组包含的第一文本词语可以理解为三元组包含的第一个文本词语,三元组包含的第二文本词语可以理解为三元组包含的最后一个文本词语,比如对于三元组“主语,谓语,宾语”,那么文本处理模型预测的三元组即为“公园,建造于,前年春天”,“公园”即为三元组包含的第一个文本词语,“前年春天”即为三元组包含的最后一个文本词语。相应地,若三元组为“谓语,宾语,主语”,那么文本处理模型预测的三元组即为“建造于,前年春天,公园”,那么此时“建造于”即为三元组包含的第一个文本词语,“公园”即为三元组包含的最后一个文本词语。
此外,文本词语和文本词语关联的其他文本词语的词语关系标签,可以包括该文本词语的结尾字和该文本词语的下一个文本词语的开始字之间的词语关系标签,还可以包括该文本词语的结尾字和该文本词语的下一个文本词语的结尾字之间的词语关系标签。比如,对于文本词语“公园”和下一个文本词语“建造于”,词语关系标签可以包括“园”和“建”之间的词语关系标签,还可以包括“园”和“于”之间的词语关系标签。通过设置这两种标签,可以避免文本词语中的单个文本重复的情况,比如,对于文本词语“出生于”和“建造于”,其包含重复的单个文本“于”,且“于”同时作为这两个文本词语的结尾字,若仅设置一种结尾字和结尾字之间的词语关系标签,则会导致这两个文本词语进行混淆,无法准确确定文本词语之间的顺序。
并且,在确定文本词语和文本词语关联的其他文本词语的词语关系标签时,该词语关系标签还包括下一个文本词语的词语类型标签,比如对于文本词语“公园”和下一个文本词语“建造于”,可以对“园”和“于”确定词语关系标签,此时,还可以预测下一个文本词语“建造于”的词语类型为“谓语”。
综上,通过确定文本词语中单个文本的文本关系标签,能够实现确定目标文本中包含的文本词语,确定文本词语和其他文本词语的词语关系标签,能够确定文本词语在目标文本中的文本顺序,进而提升后续确定三元组信息的准确性,避免文本词语重叠时导致的文本词语之间的关联关系确定错误的情况,避免模糊提取。
实际应用中,在根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签时,可以根据文本矩阵实现对关系标签的确定,具体实现方式如下:
按照所述目标文本的文本顺序,根据所述目标文本生成文本矩阵;
根据所述文本矩阵,确定所述目标文本中文本词语的关系标签。
具体的,可以按照单个文本在目标文本中的文本顺序,根据目标文本生成文本矩阵,并且根据该文本矩阵,预测文本词语的关系标签。
具体实施时,根据所述目标文本生成文本矩阵,包括:
根据所述目标文本的文本长度,生成与所述文本长度对应长度的文本矩阵,其中,所述文本矩阵包含所述目标文本对应的文本矩阵单元;
相应地,所述根据所述文本矩阵,确定所述目标文本中文本词语的关系标签,包括:
对所述单个文本对应的文本矩阵单元进行预测,获得所述目标文本中文本词语的关系标签。
其中,目标文本的文本长度,可以理解为目标文本包含的单个文本的数量,也即是字数,与所述文本长度对应长度可以理解为与文本长度相等的长度。比如对于目标文本“公园建造于前年春天和春节期间”,其包含的单个文本的数量为14,那么可以构建14×14的文本矩阵。文本矩阵单元可以理解为目标文本中的文本对应的矩阵单元,比如目标文本中的文本“公”对应的矩阵单元。
可以理解的,前述对文本词语“公园”的开始字“公”和结尾字“园”确定文本关系标签,即为对单个文本“公”和单个文本“园”对应的文本矩阵单元添加文本关系标签。相应的,在对文本词语“公园”的结尾字“园”和下一个文本词语“建造于”的结尾字“于”确定词语关系标签时,即为对单个文本“园”和单个文本“于”对应的文本矩阵单元添加词语关系标签。
参见图4,图4示出了根据本说明书一个实施例提供的一种文本处理方法中文本矩阵的示意图,如图4所示,根据目标文本“公园建造于前年春天和春节期间”建造的文本矩阵如图,其中,单个文本“公”对应文本矩阵单元1,单个文本“公”和单个文本“园”对应的文本矩阵单元2。
基于此,在对单个文本对应的文本矩阵单元进行预测时,可以遍历如图3中的文本矩阵,对每个文本矩阵单元进行预测。比如,对于文本矩阵单元2,其对应于单个文本“公”和单个文本“园”,则对该文本矩阵单元2预测的关系标签为文本关系标签“I”,该文本关系标签用于表示一个文本词语的开始词和结尾词之间的关系,根据该文本关系标签“I”,即可确定“公园”为一个文本词语;以及,对单个文本“建”和“于”对应的文本矩阵单元6,预测的关系标签也为文本关系标签“I”,根据该文本关系标签,可以确定“建造于”为一个文本词语。对于文本矩阵单元3,其对应于单个文本“园”和“于”,即文本词语“公园”的结尾字和文本词语“建造于”的结尾字,预测该文本矩阵单元3的词语关系标签为“EE-X”,其中“X”用于表示文本顺序在后的文本词语“建造于”的词语类型。对于文本矩阵单元4.其对应于单个文本“园”和单个文本“建”,即文本词语“公园”的结尾字和文本词语“建造于”的开始字,预测该文本矩阵单元4的词语关系标签为“EB-X”。对于文本矩阵单元5,其对应于单个文本“公”和单个文本“间”,即文本词语“公园”的开始字和文本词语“春节期间”的结尾字,其用于表示该文本矩阵预测的三元组的边界,预测该文本矩阵单元5的词语关系标签为“BE-X”,此时“X”用于表示文本顺序在后的文本词语“春节期间”的词语类型。以此类推,可以对该文本矩阵中的每一个文本矩阵单元进行预测,获得文本关系标签或词语关系标签。
综上,通过根据目标文本的文本长度生成文本矩阵,并且每一个文本矩阵单元都对应于单个文本,能够实现根据该文本矩阵对文本词语的关系标签的预测,从而为后续的有向无环图生成提供基础。
步骤306:根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图。
具体的,在确定文本词语的关系标签之后,可以根据文本词语和关系标签,构建目标文本对应的有向无环图。
具体实施时,根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图,包括:
将所述文本词语中的单个文本作为节点、将所述单个文本在所述目标文本中的顺序作为连接边,构建所述目标文本对应的初始有向无环图;
根据所述关系标签,对所述连接边进行标记,获得与所述连接边关联的节点关系信息;
根据所述初始有向无环图和所述节点关系信息,获得所述目标文本对应的有向无环图。
其中,与连接边关联的节点关系信息,可以理解为与连接边连接的节点的关系信息,根据该节点关系信息,可以确定于连接边连接的两个节点之间的关系。
沿用上例,目标文本“公园建造于前年春天和春节期间”,该目标文本对应的文本词语为“公园”、“建造于”、“前年春天”、“前年”、“春节期间”和“期间”,可以将文本词语中的单个文本“公”作为一个节点、“园”作为一个节点、“建”作为一个节点……,按照单个文本在目标文本中的顺序“公”、“园”之间有一个连接边,“园”、“建”之间有一个连接边,“建”、“造”之间有一个连接边……,以此类推,构建初始有向无环图。根据利用文本矩阵确定的关系标签,对连接边进行标记,文本矩阵确定了“公”和“园”之间的文本关系标签“I”,则对“公”和“园”之间的连接边标记该文本关系标签“I”,文本矩阵确定了“园”和“于”之间的词语关系标签“EE-X”,其中,“X”用于表示文本词语“建造于”的词语类型,则对“园”和“于”之间的连接边标记该词语关系标签“EE-X”,以此类推,直至将确定的关系标签全部对连接边进行标记,根据标记后得到的节点关系信息和初始有向无环图,既可以获得目标文本对应的有向无环图。
需要说明的是,本说明实施例中的目标文本不限于中文文本,也可以是英文文本、日文文本等其他语言文本。参见图5,图5示出了根据本说明书一个实施例提供的一种文本处理方法中有向无环图的示意图,,以目标文本为英文文本为例,对本说明书实施例提供的文本处理方法进一步说明。
图5中,目标文本为“John is the premier and first minister of B**C**”,对其提取的三元组为“主语,谓语,宾语”,该三元组对应的有向无环图如图5所示,其中,主语为“John”,谓语为“premier”、“of”和“first minister of”,宾语为“B**C**”。
综上,通过根据文本词语和关系标签构建有向无环图,能够为后续确定词语类型信息组提供依据,并且根据文本顺序构建有向无环图能够将表示每个词语类型信息组需要的连边数量减少到了线性级,有利于提高模型的泛化性。
步骤308:根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
具体的,在确定有向无环图之后,可以根据有向无环图确定目标文本对应的词语类型信息组。
其中,词语类型信息组可以理解为对目标文本抽取的三元组信息,比如可以是“头实体、关系、尾实体”,或者也可以是“主语、谓语、宾语”等。词语类型信息组也可以包括更多类型信息,比如可以是“主语、谓语、宾语、状语”等。
具体实施时,根据所述有向无环图,确定所述目标文本对应的词语类型信息组,包括:
遍历所述有向无环图,确定所述目标文本对应的至少一个词语类型信息组。
具体的,可以对有向无环图中的路径进行遍历,获得每个词语类型信息组的单个路径图,再根据每个词语类型信息组的单个路径图,确定目标文本的至少一个词语类型信息组。
可以理解的,对于一个目标文本,可能存在至少一个对应的词语类型信息组。比如,目标文本“公园建造于前年春天和春节期间”,其对应的词语类型信息组“主语,谓语,宾语”即为“公园,建造于,前年春天”和“公园,建造于,春节期间”。再比如,对于目标文本“出生于1950年的小明担任总统”,其对应的词语类型信息组“主语,谓语,宾语”即为“小明,出生于,1950年”和“小明,担任,总统”。
综上,通过遍历有向无环图,能够实现确定目标文本对应的至少一个词语类型信息组,实现对目标文本的关系信息或类型信息的抽取。
实际应用中,本说明书实施例提供的文本处理方法可以应用于用户与在线客服的问答场景,具体实现方式如下:
接收用户通过交互界面输入的目标文本;其中,所述目标文本为所述用户通过所述交互界面编辑的目标文本;或者
所述目标文本为所述用户通过所述交互界面输入的音频数据转换得到的目标文本。
其中,交互界面可以理解为用户的交互设备向用户展示的界面,交互设备比如可以是计算机终端、移动终端、机器人等。
基于此,用户可以在交互界面编辑目标文本,或者,用户也可以在交互界面语音输入,交互设备可以对用户输入的音频数据进行语义识别并转换为目标文本。
此外,接收到用户输入的目标文本之后,还可以从预设的知识库存储的知识数据进行信息抽取,即将目标文本对应的知识数据输入文本处理模型,利用文本处理模型对知识数据进行三元组知识抽取,获得知识数据对应的词语类型信息组。以保证后续确定的用户回复的知识性。
需要说明的是,本说明书所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
那么,在确定所述目标文本对应的词语类型信息组之后,还包括:
将所述目标文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述目标文本对应的目标答案;
将所述目标答案通过所述交互界面展示给所述用户。
其中,答案确定模型可以理解为用于根据输入的文本输出该文本对应的答案的模型,任何可以实现确定文本对应的答案的模型均可以作为本说明书实施例中的答案确定模型,本说明书在此不作限定。
基于此,可以将目标文本和目标文本对应的词语类型信息组输入答案确定模型,获得答案确定模型输出的、目标文本对应的目标答案,并且将目标答案通过交互界面展示给用户。
举例而言,用户对在线客服提问时,可以在手机上展示的、和客服的交互界面编辑问题文本“这个订单什么时候发货”,服务端接收该问题文本,并将问题文本输入至文本处理模型,根据文本处理模型确定该问题文本对应的词语类型信息组为“订单,发货”,再将该问题文本和该词语类型信息组输入至答案确定模型,获得答案确定模型输出的答案“发货时间为下单之日起3天内”,并将该答案通过交互界面展示给用户。
在本说明书实施例提供的文本处理方法中的文本处理模型,由于在确定关系标签和构建有向无环图时仅考虑了目标文本的文本顺序,将每个词语类型信息组(即三元组)需要的连接边的数量减少到了线性级,从而提升了模型的泛化性。对该文本处理模型对两个不同领域的数据集进行了测试,测试结果如表1、表2和表3和图6所示,图6示出了根据本说明书一个实施例提供的文本处理方法中的文本处理模型的测试效果示意图。
表1
表2
表3
模型1 | 文本处理模型 | 加速比 | |
拟合速度 | 4 | 20 | 5x |
抽取速度 | 136 | 409 | 3x |
表1和表2中的模型1、模型2和模型3均为目前的信息抽取模型,文本处理模型为本说明书实施例提供的一种文本处理方法中的文本处理模型,利用文本处理模型与其他信息抽取模型进行测试,得到测试结果。
由此可见,本说明书实施例中的文本处理模型的抽取效果在这两个不同领域的数据集上均有提升、性能指标较高,抽取速度和拟合速度也均有提升,如图6所示,在复杂三元组抽取、多三元组抽取和低资源三元组抽取场景下,本说明书实施例中的文本处理模型的性能参数均有提升。其中,复杂三元组抽取包括对不连续的三元组、重叠的三元组和嵌套的三元组进行抽取,多三元组抽取包括对目标文本中包含多个三元组进行抽取,低资源三元组抽取包括对在训练数据有限的情况下对三元组进行抽取。
综上所述,上述方法通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
下述结合附图7,以本说明书提供的文本处理方法在企业内问答助手的问答场景的应用为例,对所述文本处理方法进行进一步说明。其中,图7示出了本说明书一个实施例提供的一种文本处理方法的处理过程流程图,具体包括以下步骤。
步骤702:客户端将用户的问题文本发送至服务端。
步骤704:服务端根据问题文本,从知识数据库中获取对应的知识数据。
步骤706:服务端将知识数据输入文本处理模型。
步骤708:服务端接收文本处理模型输出的三元组知识。
步骤710:服务端根据问题文本和三元组知识,生成答案文本。
步骤712:服务端将答案文本发送至客户端。
步骤714:客户端将答案文本展示给用户。
综上所述,上述方法通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
与上述方法实施例相对应,本说明书还提供了文本处理装置实施例,图8示出了本说明书一个实施例提供的一种文本处理装置的结构示意图。如图8所示,该装置包括:
输入模块802,被配置为将目标文本输入文本处理模型;
第一确定模块804,被配置为在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
构建模块806,被配置为根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;
第二确定模块808,被配置为根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
一个可选的实施例中,所述装置还包括训练模块,被配置为:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
将所述文本样本输入初始文本处理模型;
在所述初始文本处理模型中,根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
利用所述预测词语类型信息组和所述词语类型信息组标签,对所述初始文本处理模型进行训练,直至获得满足训练停止条件的文本处理模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
根据所述预测词语类型信息组和所述词语类型信息组标签,计算模型损失值;
利用所述模型损失值,对所述初始文本处理模型进行训练,直至获得满足训练停止条件的文本处理模型。
一个可选的实施例中,所述第一确定模块804,进一步被配置为:
按照所述目标文本的文本顺序,根据所述目标文本生成文本矩阵;
根据所述文本矩阵,确定所述目标文本中文本词语的关系标签。
一个可选的实施例中,所述第一确定模块804,进一步被配置为:
根据所述目标文本的文本长度,生成与所述文本长度对应长度的文本矩阵,其中,所述文本矩阵包含所述目标文本中单个文本对应的文本矩阵单元;
对所述单个文本对应的文本矩阵单元进行预测,获得所述目标文本中文本词语的关系标签。
一个可选的实施例中,所述构建模块806,进一步被配置为:
将所述文本词语中的单个文本作为节点、将所述单个文本在所述目标文本中的顺序作为连接边,构建所述目标文本对应的初始有向无环图;
根据所述关系标签,对所述连接边进行标记,获得与所述连接边关联的节点关系信息;
根据所述初始有向无环图和所述节点关系信息,获得所述目标文本对应的有向无环图。
一个可选的实施例中,所述词语类型信息组为词语类型对应的三元组;
相应地,所述文本词语和其他文本词语的词语关系标签包括:
所述文本词语和所述文本词语关联的其他文本词语的词语关系标签、以及所述三元组包含的第一文本词语和第二文本词语的词语关系标签。
一个可选的实施例中,所述第二确定模块808,进一步被配置为:
遍历所述有向无环图,确定所述目标文本对应的至少一个词语类型信息组。
一个可选的实施例中,所述装置还包括接收模块,被配置为:
接收用户通过交互界面输入的目标文本;其中,所述目标文本为所述用户通过所述交互界面编辑的目标文本;或者
所述目标文本为所述用户通过所述交互界面输入的音频数据转换得到的目标文本。
一个可选的实施例中,所述装置还包括展示模块,被配置为:
将所述目标文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述目标文本对应的目标答案;
将所述目标答案通过所述交互界面展示给所述用户。
综上所述,上述装置通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
上述为本实施例的一种文本处理装置的示意性方案。需要说明的是,该文本处理装置的技术方案与上述的文本处理方法的技术方案属于同一构思,文本处理装置的技术方案未详细描述的细节内容,均可以参见上述文本处理方法的技术方案的描述。
参见图9,图9示出了根据本说明书一个实施例提供的一种答案确定方法的流程图,具体包括以下步骤。
步骤902:接收用户通过交互界面输入的问题文本。
步骤904:将所述问题文本输入文本处理模型。
步骤906:在所述文本处理模型中,根据所述问题文本的文本顺序,确定所述问题文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签。
步骤908:根据所述文本词语以及所述关系标签,构建所述问题文本对应的有向无环图。
步骤910:根据所述有向无环图,确定所述问题文本对应的词语类型信息组。
步骤912:将所述问题文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述问题文本对应的目标答案。
步骤914:将所述目标答案通过所述交互界面展示给所述用户。
需要说明的是,该答案确定方法的具体过程与上述文本处理方法的具体过程相同,在此不再重复赘述。
综上所述,上述方法通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
与上述方法实施例相对应,本说明书还提供了答案确定装置实施例,图10示出了本说明书一个实施例提供的一种答案确定装置的结构示意图。如图10所示,该装置包括:
接收模块1002,被配置为接收用户通过交互界面输入的问题文本;
第一输入模块1004,被配置为将所述问题文本输入文本处理模型;
第一确定模块1006,被配置为在所述文本处理模型中,根据所述问题文本的文本顺序,确定所述问题文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
构建模块1008,被配置为根据所述文本词语以及所述关系标签,构建所述问题文本对应的有向无环图;
第二确定模块1010,被配置为根据所述有向无环图,确定所述问题文本对应的词语类型信息组;
第二输入模块1012,被配置为将所述问题文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述问题文本对应的目标答案;
展示模块1014,被配置为将所述目标答案通过所述交互界面展示给所述用户。
综上所述,上述装置通过利用文本处理模型,根据目标文本的文本顺序确定文本词语的关系标签,并根据文本词语和关系标签构建有向无环图,使得根据有向无环图就能确定目标文本的词语类型信息组,仅需要考虑目标文本的文本顺序,而不需要考虑目标文本的内容,使得即使是训练数据的特定领域以外的领域的目标文本也能够根据该文本处理模型处理,提高了文本处理模型的泛化效果,进而提升文本处理模型的输出结果的准确性,进而提升回复的准确性。
上述为本实施例的一种答案确定装置的示意性方案。需要说明的是,该答案确定装置的技术方案与上述的答案确定方法的技术方案属于同一构思,答案确定装置的技术方案未详细描述的细节内容,均可以参见上述答案确定方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了文本处理模型训练方法,应用于云侧设备,包括:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,并将所述文本处理模型发送至端侧设备。
与上述方法实施例相对应,本说明书还提供了一种文本处理模型训练装置,应用于云侧设备,包括:
第一确定模块,被配置为确定文本样本,以及所述文本样本对应的词语类型信息组标签;
第二确定模块,被配置为根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
构建模块,被配置为根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
第三确定模块,被配置为根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
训练模块,被配置为根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,并将所述文本处理模型发送至端侧设备。
上述为本实施例的一种文本处理模型训练装置的示意性方案。需要说明的是,文本处理模型训练装置的技术方案与上述的文本处理模型训练方法的技术方案属于同一构思,文本处理模型训练装置的技术方案未详细描述的细节内容,均可以参见上述文本处理模型训练方法的技术方案的描述。
图11示出了根据本说明书一个实施例提供的一种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接,数据库1150用于保存数据。
计算设备1100还包括接入设备1140,接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本说明书的一个实施例中,计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图11所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
其中,处理器1120用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本处理方法或答案确定方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的文本处理方法或答案确定方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述文本处理方法或答案确定方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本处理方法或答案确定方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的文本处理方法或答案确定方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述文本处理方法或答案确定方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述文本处理方法或答案确定方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的文本处理方法或答案确定方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述文本处理方法或答案确定方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种文本处理方法,包括:
将目标文本输入文本处理模型;
在所述文本处理模型中,根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中单个文本的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图;
根据所述有向无环图,确定所述目标文本对应的词语类型信息组。
2.根据权利要求1所述的方法,所述文本处理模型的训练步骤包括:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型。
3.根据权利要求2所述的方法,所述根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,包括:
根据所述预测词语类型信息组和所述词语类型信息组标签,计算模型损失值;
利用所述模型损失值,对文本处理模型进行训练,直至获得满足训练停止条件的文本处理模型。
4.根据权利要求1所述的方法,所述根据所述目标文本的文本顺序,确定所述目标文本中文本词语的关系标签,包括:
按照所述目标文本的文本顺序,根据所述目标文本生成文本矩阵;
根据所述文本矩阵,确定所述目标文本中文本词语的关系标签。
5.根据权利要求4所述的方法,所述根据所述目标文本生成文本矩阵,包括:
根据所述目标文本的文本长度,生成与所述文本长度对应长度的文本矩阵,其中,所述文本矩阵包含所述目标文本中单个文本对应的文本矩阵单元;
相应地,所述根据所述文本矩阵,确定所述目标文本中文本词语的关系标签,包括:
对所述单个文本对应的文本矩阵单元进行预测,获得所述目标文本中文本词语的关系标签。
6.根据权利要求4所述的方法,所述根据所述文本词语以及所述关系标签,构建所述目标文本对应的有向无环图,包括:
将所述文本词语中的单个文本作为节点、将所述单个文本在所述目标文本中的顺序作为连接边,构建所述目标文本对应的初始有向无环图;
根据所述关系标签,对所述连接边进行标记,获得与所述连接边关联的节点关系信息;
根据所述初始有向无环图和所述节点关系信息,获得所述目标文本对应的有向无环图。
7.根据权利要求1所述的方法,所述词语类型信息组为词语类型对应的三元组;
相应地,所述文本词语和其他文本词语的词语关系标签包括:
所述文本词语和所述文本词语关联的其他文本词语的词语关系标签、以及所述三元组包含的第一文本词语和第二文本词语的词语关系标签。
8.根据权利要求1所述的方法,所述根据所述有向无环图,确定所述目标文本对应的词语类型信息组,包括:
遍历所述有向无环图,确定所述目标文本对应的至少一个词语类型信息组。
9.根据权利要求1所述的方法,所述将目标文本输入文本处理模型之前,还包括:
接收用户通过交互界面输入的目标文本;其中,所述目标文本为所述用户通过所述交互界面编辑的目标文本;或者
所述目标文本为所述用户通过所述交互界面输入的音频数据转换得到的目标文本。
10.根据权利要求9所述的方法,所述确定所述目标文本对应的词语类型信息组之后,还包括:
将所述目标文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述目标文本对应的目标答案;
将所述目标答案通过所述交互界面展示给所述用户。
11.一种答案确定方法,包括:
接收用户通过交互界面输入的问题文本;
将所述问题文本输入文本处理模型;
在所述文本处理模型中,根据所述问题文本的文本顺序,确定所述问题文本中文本词语的关系标签,其中,所述关系标签包括所述文本词语中的文本关系标签、所述文本词语和其他文本词语的词语关系标签;
根据所述文本词语以及所述关系标签,构建所述问题文本对应的有向无环图;
根据所述有向无环图,确定所述问题文本对应的词语类型信息组;
将所述问题文本以及所述词语类型信息组输入答案确定模型,获得所述答案确定模型输出的、所述问题文本对应的目标答案;
将所述目标答案通过所述交互界面展示给所述用户。
12.一种文本处理模型训练方法,应用于云侧设备,包括:
确定文本样本,以及所述文本样本对应的词语类型信息组标签;
根据所述文本样本的文本顺序,确定所述文本样本中文本词语的预测关系标签,其中,所述预测关系标签包括所述文本词语中的预测文本关系标签、所述文本词语和其他文本词语的预测词语关系标签;
根据所述文本词语以及所述预测关系标签,构建所述文本样本对应的预测有向无环图;
根据所述预测有向无环图,确定所述文本样本对应的预测词语类型信息组;
根据所述预测词语类型信息组和所述词语类型信息组标签,训练文本处理模型,并将所述文本处理模型发送至端侧设备。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10或11或12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10或11或12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211415557.2A CN115934904A (zh) | 2022-11-11 | 2022-11-11 | 文本处理方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211415557.2A CN115934904A (zh) | 2022-11-11 | 2022-11-11 | 文本处理方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115934904A true CN115934904A (zh) | 2023-04-07 |
Family
ID=86649798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211415557.2A Pending CN115934904A (zh) | 2022-11-11 | 2022-11-11 | 文本处理方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115934904A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117196035A (zh) * | 2023-08-31 | 2023-12-08 | 摩尔线程智能科技(北京)有限责任公司 | 回复内容的处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-11-11 CN CN202211415557.2A patent/CN115934904A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117196035A (zh) * | 2023-08-31 | 2023-12-08 | 摩尔线程智能科技(北京)有限责任公司 | 回复内容的处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348535B (zh) | 一种视觉问答模型训练方法及装置 | |
CN117149989B (zh) | 大语言模型训练方法、文本处理方法及装置 | |
CN110781663A (zh) | 文本分析模型的训练方法及装置、文本分析方法及装置 | |
WO2017186050A1 (zh) | 人机智能问答系统的断句识别方法和装置 | |
CN113987147A (zh) | 样本处理方法及装置 | |
CN116501858B (zh) | 文本处理及数据查询方法 | |
CN116756278A (zh) | 机器问答方法以及装置 | |
CN115934904A (zh) | 文本处理方法以及装置 | |
CN117556057A (zh) | 知识问答方法、向量数据库构建方法及装置 | |
CN116933800B (zh) | 一种基于模版的生成式意图识别方法及装置 | |
CN111782771B (zh) | 一种文字解题方法与装置 | |
CN117669767A (zh) | 语言模型的训练方法、设备及计算机可读存储介质 | |
CN114491010A (zh) | 信息抽取模型的训练方法及装置 | |
CN114138947A (zh) | 文本处理方法及装置 | |
CN110377706B (zh) | 基于深度学习的搜索语句挖掘方法及设备 | |
CN114647719A (zh) | 一种基于知识图谱的问答方法及装置 | |
CN115730607A (zh) | 对话检测模型训练方法及装置 | |
CN116561270A (zh) | 问答方法以及问答模型训练方法 | |
CN113590768B (zh) | 一种文本关联度模型的训练方法及装置、问答方法及装置 | |
CN114356860A (zh) | 对话生成方法及装置 | |
CN114996417A (zh) | 推荐话术的方法,推荐话术交互的方法及系统 | |
CN114358313A (zh) | 数据处理方法及装置 | |
CN114357164A (zh) | 情感-原因对抽取方法、装置、设备及可读存储介质 | |
CN113792121A (zh) | 阅读理解模型的训练方法及装置、阅读理解方法及装置 | |
US20230196105A1 (en) | Generating labeled training data using a pre-trained language model neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |