CN111401069A - 会话文本的意图识别方法、意图识别装置及终端 - Google Patents
会话文本的意图识别方法、意图识别装置及终端 Download PDFInfo
- Publication number
- CN111401069A CN111401069A CN201811611554.XA CN201811611554A CN111401069A CN 111401069 A CN111401069 A CN 111401069A CN 201811611554 A CN201811611554 A CN 201811611554A CN 111401069 A CN111401069 A CN 111401069A
- Authority
- CN
- China
- Prior art keywords
- text
- vector
- conversation
- word
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本发明适用于自然语言处理技术领域,提供了一种会话文本的意图识别方法、意图识别装置及终端。其中,所述意图识别方法包括:获取会话文本;将所述会话文本转换为包含上下文特征的第一文本向量;通过卷积运算将所述第一文本向量转换为第二文本向量;对所述第二文本向量进行特征提取,获得所述会话文本的语义特征;基于所述语义特征获得所述会话文本的会话意图。本发明通过将文本转换为向量,并利用文本向量的向量运算及向量转换实现会话文本的关键语义特征提取,可适于识别多样化的口语语料,具备较好的泛化能力,在利用训练语料进行训练测试之后,能够获得较好的识别准确度,应用于会话机器人,可以提高其识别会话文本的会话意图的效率和准确度。
Description
技术领域
本发明属于自然语言处理技术领域,尤其涉及一种会话文本的意图识别方法、意图识别装置、终端及计算机可读存储介质。
背景技术
目前,随着语音识别技术的发展,将语音识别为文本的识别准确度已经大大提高,这为人与机器人的会话提供了可行性。然而,语音识别后,得到的只是一串文本,机器人无法直接理解文本的语义,也就无法获知用户的会话意图。
传统技术中,通常需要配置大量的问答模板,机器人通过将用户的会话文本与问答模板进行匹配来确定会话意图。然而,这样需要穷举很多问答语料,工作量大;并且,问答模板存在数量局限性以及泛化能力弱的问题,难以匹配多样化的口语语料,因此其对会话意图的匹配效率和匹配准确率都不够高。
发明内容
有鉴于此,本发明提供了一种会话文本的意图识别方法、意图识别装置、终端及计算机可读存储介质,以解决现有技术中会话机器人对会话意图的匹配效率和匹配准确率都不够高的问题。
本发明实施例的第一方面提供了一种会话文本的意图识别方法,包括:
获取会话文本;
将所述会话文本转换为包含上下文特征的第一文本向量;
通过卷积运算将所述第一文本向量转换为第二文本向量;
对所述第二文本向量进行特征提取,获得所述会话文本的语义特征;
基于所述语义特征获得所述会话文本的会话意图。
本发明实施例的第二方面提供了一种会话文本的意图识别装置,包括:
会话文本获取单元,用于获取会话文本;
文本向量转换单元,用于将所述会话文本获取单元获取的会话文本转换为包含上下文特征的第一文本向量;
文本向量运算单元,用于通过卷积运算将所述文本向量转换单元得到的第一文本向量转换为第二文本向量;
语义特征提取单元,用于对所述文本向量运算单元得到的第二文本向量进行特征提取,获得所述会话文本的语义特征;
会话意图确定单元,用于基于所述语义特征提取单元提取的语义特征获得所述会话文本的会话意图。
本发明实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如任一项所述会话文本的意图识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如任一项所述会话文本的意图识别方法的步骤。
本发明与现有技术相比存在的有益效果是:
本发明通过获取会话文本,并将该会话文本转换为包含上下文特征的第一文本向量,通过卷积运算将所述第一文本向量转换为第二文本向量,在该运算过程中实现对上下文特征的集中,从而有利于对集中的上下文特征进行特征提取,以获得该会话文本的关键语义特征,该关键语义特征可以指示该会话文本的会话意图,从而实现了对会话文本的会话意图的识别。本发明利用文本向量的向量运算及向量转换实现会话文本的关键语义特征提取,能够适用于多样化的口语语料,并且具备较好的泛化能力,在利用训练语料经过训练测试之后,能够获得较好的识别准确度,应用于会话机器人,可以提高其识别会话文本的会话意图的效率和准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的会话文本的意图识别方法的实现流程图;
图2是本发明实施例提供的图1所示实施例中步骤102的实现流程图;
图3是本发明实施例提供的对第一文本向量进行说明的一个示意图;
图4是本发明实施例提供的会话文本的意图识别装置的结构示意图;
图5是本发明实施例提供的终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
本发明实施例可应用于与机器人进行会话,使机器人能够理解用户一方的会话文本对应的意图,以便返回与该意图对应的回答。会话文本的意图可以包括多个类别,比如,会话文本为“今天天气怎么样?”,其对应的会话意图为天气类意图;再比如,会话文本为“我想了解怎么退票。”,其对应的会话意图为票务类意图;又比如,会话文本为“我想听歌”、“给我唱首歌”或者“播放音乐”,其对应的会话意图为歌唱类意图。
参见图1,其示出了本发明实施例提供的会话文本的意图识别方法的实现流程图,详述如下:
在步骤101中、获取会话文本。
在本发明实施例中,首选获取用户一方的会话文本,该会话文本可以为用户通过文字输入设备输入给会话机器人的一系列文字。
在一个实现方式中,会话机器人还可以通过音频采集设备(例如麦克风)对用户会话进行音频采集,并接收音频采集设备采集到的会话音频,通过音频转文本处理将其转换为与该会话音频对应的会话文本。
在本发明实施例中,会话文本由一系列的文字(包括字及词)组成,可以为一句话,也可以为一段话。应用于会话机器人,可以为用户对会话机器人的一次问询对应的文本。
在步骤102中、将所述会话文本转换为包含上下文特征的第一文本向量。
由于文本是一种非结构化的数据,计算机无法直接对其进行直接处理,而计算机能够处理的对象可以为向量。因此,需要将文本进行向量化表示,以便于计算机对文本进行识别和处理。
传统技术中,通常将文本进行分词,然后将每个词转换为对应的词向量,进而以词向量的集合作为文本的向量表示。然而,实际上,每个词通常具有多个含义,其在一个会话文本中的具体含义需根据其在会话文本中的上下文共同确定。上述传统的文本向量表示方式对词的上下文特征有所丢失,故其向量表示所包含的语义特征可能不够准确。
在本发明实施例中,可以根据会话文本的语序,对每个词的前一个词(上文)和后一个词(下文)分别进行特征向量的提取,并与该词(当前词)合并,得到每个词的新的词向量表示,该新的词向量表示包含了该词的上下文特征,保存了准确的语义特征,将会话文本中的每个词以该新的词向量进行表示,从而可以得到会话文本的包含上下文特征的向量表示(即第一文本向量)。如此以来,第一文本向量既能够保留会话文本的词序信息,也能够保存较远的词与词之间的联系信息,从而更加全面的对会话文本的语义进行了保留。
具体的,可以利用word2vec词向量模型进行词向量的训练,将得到的词向量集合组成输入矩阵,并利用双向循环神经网络实现词向量的上下文特征的提取,并获得包含上下文特征的第一文本向量。
可选的,所述第一文本向量的数学表示可以为:
xi=[cl(wi);e(wi);cr(wi)]
其中,i={1,2,3,…,I-1,I},I表示所述第一文本向量的长度,e(wi)表示词wi对应的词向量,cl(wi)表示词向量e(wi)的上文向量,cr(wi)表示词向量e(wi)的下文向量。
在步骤103中、通过卷积运算将所述第一文本向量转换为第二文本向量。
在本发明实施例中,由于会话文本的多样性,所得到的第一文本向量的空间分布可能较为分散,不利于后续的向量特征提取,可以通过卷积运算将该第一文本向量进行转换,使其集中在特定的向量空间,并实现线性到非线性的激活转换。
可选的,上述步骤103可以通过以下步骤实现:
根据以下运算函数将所述第一文本向量转换为第二文本向量,所述运算函数为:
yi=tanhW·xi+b
其中,yi表示第二文本向量,tanh表示该运算函数的激励方式,W和b分别为该运算函数的权重矩阵参数和偏置向量参数。
在实际应用中,可以将第一文本向量输入已训练的卷积神经网络,该卷积神经网络的核函数即为上述的运算函数,该运算函数的权重矩阵参数和偏置向量参数可以利用训练过程来确定,该卷积神经网络的输出作为第二文本向量。
在步骤104中、对所述第二文本向量进行特征提取,获得所述会话文本的语义特征。
在本发明实施例中,通过对第二文本向量进行特征提取,可以获得会话文本的较为全面的语义特征。例如,可以采用最大池化操作(Max-pooling)对该第二文本向量中的关键特征进行提取。
在步骤105中、基于所述语义特征获得所述会话文本的会话意图。
在本发明实施例中,不同的语义特征对应不同的意图类别,故可以根据提取到的会话文本的语义特征,确定该会话文本的会话意图。
可选的,上述步骤105可以通过以下方式实现:
利用预设的意图分类函数对所述语义特征进行归一化处理,以获得所述会话文本对应的意图类别置信度;
将所述意图类别置信度中分值大于预设阈值的意图类别作为所述会话文本对应的会话意图。
在本发明实施例中,上述意图分类函数可以为softmax分类函数,利用softmax的全连接层构建输出层,将提取到的语义特征对应的向量输入softmax对语义特征进行归一化处理,从而实现意图的分类,获得所述会话文本对应的意图类别置信度,对于每个意图类别,可以根据实际情况设置不同的置信度阈值,将所述意图类别置信度中分值大于预设阈值的意图类别作为所述会话文本对应的会话意图,从而最终确定会话文本的会话意图。
由上可知,本发明通过获取会话文本,并将该会话文本转换为包含上下文特征的第一文本向量,通过卷积运算将所述第一文本向量转换为第二文本向量,在该运算过程中实现对上下文特征的集中,从而有利于对集中的上下文特征进行特征提取,以获得该会话文本的关键语义特征,该关键语义特征可以指示该会话文本的会话意图,从而实现了对会话文本的会话意图的识别。本发明利用文本向量的向量运算及向量转换实现会话文本的关键语义特征提取,能够适用于多样化的口语语料,并且具备较好的泛化能力,在利用训练语料经过训练测试之后,能够获得较好的识别准确度,应用于会话机器人,可以提高其识别会话文本的会话意图的效率和准确度。
图2示出了本发明实施例提供的图1所示实施例中步骤102的实现流程图,详述如下:
在步骤201中、对会话文本进行分词操作,得到与所述会话文本对应的词集合。
在本发明实施例中,对会话文本进行分词操作,可以得到该会话文本的词集合,例如,会话文本“我要听张三的歌曲”的词集合为(我,要,听,张三,的,歌曲)。
在步骤202中、利用词向量映射模型将所述词集合映射为词向量集合。
在本发明实施例中,通过词向量映射模型可以将词集合中的每个词映射为词向量,得到词向量集合,该词向量映射模型可以利用Google开源工具word2vec对收集的口语预料进行训练得到。
在进行词向量映射之前,可以对词集合进行去词处理,将一些无意义的停用词、标点符号进行去除,同时还可以对日期等有格式差异的词进行统一化。
在步骤203中、将所述词向量集合表示为按词序排列的词向量矩阵。
在本发明实施例中,可以将词向量集合根据词序进行排列,得到词向量矩阵,例如,以每一行表示一个词,以列表示文本向量的大小(长度),组成一个数学矩阵,该矩阵代表该机器人会话文本的文本向量。另外,还可以采用填充机制(padding)对词向量矩阵进行标准化预处理,即预先指定文本向量的长度,若文本向量不够该指定长度,则进行向量填充(例如可以以0进行填充),若文本向量超出该指定长度,可以对超出的部分不做处理。
在步骤204中、基于所述词向量矩阵,计算每个词向量的上文向量及下文向量。
在本发明实施例中,可以根据词向量矩阵中的词序关系,计算每个词向量的上文向量及下文向量。
可选的,上述步骤204可以包括:
将目标词向量的前一个词向量的上文向量与该前一个词向量合并,得到所述目标词向量的上文向量;
在本发明实施例中,可以根据以下上文向量公式计算每个词向量的上文向量,所述上文向量公式为:
其中,i表示词序,wi表示所述会话文本的第i个词,cl(wi)表示第i个词的上文向量,cl(wi-1)表示第(i-1)个词的上文向量,e(wi-1)表示第(i-1)个词的词向量。
将目标词向量的后一个词向量的下文向量与该后一个词向量合并,得到所述目标词向量的下文向量。
在本发明实施例中,可以根据以下的下文向量公式计算每个词向量的下文向量,所述上文向量公式为:
其中,cr(wi)表示第i个词的下文向量,cr(wi+1)表示第(i+1)个词的上文向量,e(wi+1)表示第(i+1)个词的词向量。
在步骤205中、将每个词向量、该词向量的上文向量以及该词向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
在本发明实施例中,将每个词向量、该词向量的上文向量以及该词向量的下文向量进行拼接可以得到第一文本向量,如图3所示,为本发明实施例提供的对第一文本向量进行说明的一个示意图。
如图3所示,第一文本向量由多个新的词向量组成(包括33、34和35),其中,每个新的词向量均包括上文向量、原词向量和下文向量。其中,新的词向量34包括上文向量4、词向量4(词映射得到的不包含上下文特征的原词向量)和下文向量4,其中,上文向量4由上文向量3和词向量3得到,下文向量4由词向量5和下文向量5得到。也即,通过上文向量和下文向量的层层传递,将词映射得到的不包含上下文特征的原词向量转换得到包含上下文特征的新的词向量,这些新的词向量的组合即为包含上下文特征的第一文本向量。
在本发明实施例中,词向量是指广义的词向量,包括了分词得到的单个字对应的字向量。
在一个实现方式中,可以基于本申请上述进行意图识别的过程建立循环卷积神经网络,该循环卷积神经网络可以包括输入层、卷积层、池化层和输出层,其输入层可以为双向循环结构,用于实现接收词向量矩阵并转换为第一文本向量;其卷积层用于实现将第一文本向量转换为第二文本向量;其池化层用于实现对第二文本向量进行语义特征的提取;其输出层用于实现基于语义特征进行文本意图的识别。在进行意图识别之前,还需要利用预先采集的口语预料进行训练测试,以使本识别过程能够获得较好的输出准确度,并确定上述识别过程中的各个参数。
在本发明实施例中,可以通过收集大量诸如电影字幕、微博回复、论坛跟帖语料、电商点评留言等接近口语化的文本数据,作为word2vec训练词向量的训练语料,这样可以使最终训练得到的词向量具有较好的泛化能力。
在本发明实施例中,可以对训练语料进行预处理,以去除掉一些无关的停用词(如:标点符号),同时对日期等有格式差异的做统一格式的处理。
在本发明实施例中,可以根据意图类别对收集的语料进行划分和扩展,比如将收集的语料按不同的意图类别进行划分,并基于语义联想对语料进行扩展,如对于关键词,采取替换同义词的方式拓展语料、以及添加语气助词或丰富句首的客套词。
在本发明实施例中,由于不同意图语料的大小可能不同,可根据其大小分为多个模型进行训练,以避免有些不同意图的语料相差太大导致的不收敛、泛化差等问题,例如,将语料大小小于10000的语料集合起来训练一个小模型,将语料大小在10000至100000的语料集合起来训练一个中等模型。将语料大小为大于100000的语料集合起来训练一个大模型。
在本发明实施例中,由于不同意图类别对应的语料数量不一致,需要平衡一下生成的语料样本的数量,避免机器学习时无法收敛。对于较少的机器人会话语料文本采用按随机、按顺序、倒序、取单数、取双数等方法从该类型的语料中挑选,扩展到最大类语料的k倍,k可以在[0.1-1]中取值,其具体倍数k可以根据语料的实际大小灵活确定。
在本发明实施例中,利用训练语料对上述识别过程进行训练,在训练过程中对涉及的各参数进行迭代,通过梯度更新进行参数的确定,使得用于进行会话意图识别的卷积神经网络具有较好的输出准确度。
由上可知,本发明通过获取会话文本,并将该会话文本转换为包含上下文特征的第一文本向量,通过卷积运算将所述第一文本向量转换为第二文本向量,在该运算过程中实现对上下文特征的集中,从而有利于对集中的上下文特征进行特征提取,以获得该会话文本的关键语义特征,该关键语义特征可以指示该会话文本的会话意图,从而实现了对会话文本的会话意图的识别。本发明利用文本向量的向量运算及向量转换实现会话文本的关键语义特征提取,能够适用于多样化的口语语料,并且具备较好的泛化能力,在利用训练语料经过训练测试之后,能够获得较好的识别准确度,应用于会话机器人,可以提高其识别会话文本的会话意图的效率和准确度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图4示出了本发明实施例提供的会话文本的意图识别装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
如图4所示,会话文本的意图识别装置4包括:会话文本获取单元41,文本向量转换单元42,文本向量运算单元43,语义特征提取单元44和会话意图确定单元45。
会话文本获取单元41,用于获取会话文本;
文本向量转换单元42,用于将会话文本获取单元41获取的会话文本转换为包含上下文特征的第一文本向量;
文本向量运算单元43,用于通过卷积运算将文本向量转换单元42得到的第一文本向量转换为第二文本向量;
语义特征提取单元44,用于对文本向量运算单元43得到的第二文本向量进行特征提取,获得所述会话文本的语义特征;
会话意图确定单元45,用于基于语义特征提取单元44提取的语义特征获得所述会话文本的会话意图。
可选的,会话文本的意图识别装置4还包括:
分词单元,用于对所述会话文本进行分词操作,得到与所述会话文本对应的词集合;
映射单元,用于利用词向量映射模型将所述词集合映射为词向量集合;
矩阵生成单元,用于将所述词向量集合表示为按词序排列的词向量矩阵;
上下文向量计算单元,用于基于所述词向量矩阵,计算每个词向量的上文向量及下文向量;
文本向量转换单元42具体用于,将每个词向量、该词向量的上文向量以及该词向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
可选的,上下文向量计算单元具体用于,将目标词向量的前一个词向量的上文向量与该前一个词向量合并,得到所述目标词向量的上文向量;以及,
将目标词向量的后一个词向量的下文向量与该后一个词向量合并,得到所述目标词向量的下文向量。
可选的,所述第一文本向量的数学表示为:
xi=[cl(wi);e(wi);cr(wi)]
其中,i={1,2,3,…,I-1,I},I表示所述第一文本向量的长度,e(wi)表示词wi对应的词向量,cl(wi)表示词向量e(wi)的上文向量,cr(wi)表示词向量e(wi)的下文向量。
可选的,文本向量运算单元43具体用于,根据以下运算函数将所述第一文本向量转换为第二文本向量,所述运算函数为:
yi=tanhW·xi+b
其中,yi表示第二文本向量,tanh表示该运算函数的激励方式,W和b分别为该运算函数的权重矩阵参数和偏置向量参数。
可选的,会话文本的意图识别装置4还包括:
置信度计算单元,用于利用预设的意图分类函数对所述语义特征进行归一化处理,以获得所述会话文本对应的意图类别置信度;
会话意图确定单元45具体用于,将所述意图类别置信度中分值大于预设阈值的意图类别作为所述会话文本对应的会话意图。
可选的,会话文本的意图识别装置4还包括:
音频接收单元,用于接收会话音频;
会话文本获取单元41具体用于,对所述音频接收单元接收的会话音频进行音频转文本处理,得到会话文本。
由上可知,本发明通过获取会话文本,并将该会话文本转换为包含上下文特征的第一文本向量,通过卷积运算将所述第一文本向量转换为第二文本向量,在该运算过程中实现对上下文特征的集中,从而有利于对集中的上下文特征进行特征提取,以获得该会话文本的关键语义特征,该关键语义特征可以指示该会话文本的会话意图,从而实现了对会话文本的会话意图的识别。本发明利用文本向量的向量运算及向量转换实现会话文本的关键语义特征提取,能够适用于多样化的口语语料,并且具备较好的泛化能力,在利用训练语料经过训练测试之后,能够获得较好的识别准确度,应用于会话机器人,可以提高其识别会话文本的会话意图的效率和准确度。
图5是本发明一实施例提供的终端的示意图。如图5所示,该实施例的终端5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个会话文本的意图识别方法实施例中的步骤,例如图1所示的步骤101至步骤105。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示单元41至45的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端5中的执行过程。例如,所述计算机程序52可以被分割成会话文本获取单元,文本向量转换单元,文本向量运算单元,语义特征提取单元和会话意图确定单元,各单元具体功能如下:
会话文本获取单元,用于获取会话文本;
文本向量转换单元,用于将所述会话文本获取单元获取的会话文本转换为包含上下文特征的第一文本向量;
文本向量运算单元,用于通过卷积运算将所述文本向量转换单元得到的第一文本向量转换为第二文本向量;
语义特征提取单元,用于对所述文本向量运算单元得到的第二文本向量进行特征提取,获得所述会话文本的语义特征;
会话意图确定单元,用于基于所述语义特征提取单元提取的语义特征获得所述会话文本的会话意图。
所述终端5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端5的示例,并不构成对终端5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端5的内部存储单元,例如终端5的硬盘或内存。所述存储器51也可以是所述终端5的外部存储设备,例如所述终端5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种会话文本的意图识别方法,其特征在于,包括:
获取会话文本;
将所述会话文本转换为包含上下文特征的第一文本向量;
通过卷积运算将所述第一文本向量转换为第二文本向量;
对所述第二文本向量进行特征提取,获得所述会话文本的语义特征;
基于所述语义特征获得所述会话文本的会话意图。
2.根据权利要求1所述的会话文本的意图识别方法,其特征在于,所述将所述会话文本转换为包含上下文特征的第一文本向量包括:
对所述会话文本进行分词操作,得到与所述会话文本对应的词集合;
利用词向量映射模型将所述词集合映射为词向量集合;
将所述词向量集合表示为按词序排列的词向量矩阵;
基于所述词向量矩阵,计算每个词向量的上文向量及下文向量;
将每个词向量、该词向量的上文向量以及该词向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
3.根据权利要求2所述的会话文本的意图识别方法,其特征在于,所述基于所述词向量矩阵,计算每个词向量的上文向量及下文向量包括:
将目标词向量的前一个词向量的上文向量与该前一个词向量合并,得到所述目标词向量的上文向量;
将目标词向量的后一个词向量的下文向量与该后一个词向量合并,得到所述目标词向量的下文向量。
4.根据权利要求2所述的会话文本的意图识别方法,其特征在于,所述第一文本向量的数学表示为:
xi=[cl(wi);e(wi);cr(wi)]
其中,i={1,2,3,...,I-1,I},I表示所述第一文本向量的长度,e(wi)表示词wi对应的词向量,cl(wi)表示词向量e(wi)的上文向量,cr(wi)表示词向量e(wi)的下文向量。
5.根据权利要求4所述的会话文本的意图识别方法,其特征在于,所述通过卷积运算将所述第一文本向量转换为第二文本向量,包括:
根据以下运算函数将所述第一文本向量转换为第二文本向量,所述运算函数为:
yi=tanh W·xi+b
其中,yi表示第二文本向量,tanh表示该运算函数的激励方式,W和b分别为该运算函数的权重矩阵参数和偏置向量参数。
6.根据权利要求1至5任一项所述的会话文本的意图识别方法,其特征在于,所述基于所述语义特征获得所述会话文本的会话意图包括:
利用预设的意图分类函数对所述语义特征进行归一化处理,以获得所述会话文本对应的意图类别置信度;
将所述意图类别置信度中分值大于预设阈值的意图类别作为所述会话文本对应的会话意图。
7.根据权利要求6所述的会话文本的意图识别方法,其特征在于,所述获取会话文本包括:
接收会话音频;
对所述会话音频进行音频转文本处理,得到会话文本。
8.一种会话文本的意图识别装置,其特征在于,包括:
会话文本获取单元,用于获取会话文本;
文本向量转换单元,用于将所述会话文本获取单元获取的会话文本转换为包含上下文特征的第一文本向量;
文本向量运算单元,用于通过卷积运算将所述文本向量转换单元得到的第一文本向量转换为第二文本向量;
语义特征提取单元,用于对所述文本向量运算单元得到的第二文本向量进行特征提取,获得所述会话文本的语义特征;
会话意图确定单元,用于基于所述语义特征提取单元提取的语义特征获得所述会话文本的会话意图。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述会话文本的意图识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述会话文本的意图识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811611554.XA CN111401069A (zh) | 2018-12-27 | 2018-12-27 | 会话文本的意图识别方法、意图识别装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811611554.XA CN111401069A (zh) | 2018-12-27 | 2018-12-27 | 会话文本的意图识别方法、意图识别装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111401069A true CN111401069A (zh) | 2020-07-10 |
Family
ID=71435829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811611554.XA Pending CN111401069A (zh) | 2018-12-27 | 2018-12-27 | 会话文本的意图识别方法、意图识别装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401069A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580352A (zh) * | 2021-03-01 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 关键词提取方法、装置和设备及计算机存储介质 |
WO2022078346A1 (zh) * | 2020-10-13 | 2022-04-21 | 深圳壹账通智能科技有限公司 | 文本意图识别方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106777013A (zh) * | 2016-12-07 | 2017-05-31 | 科大讯飞股份有限公司 | 对话管理方法和装置 |
CN107861951A (zh) * | 2017-11-17 | 2018-03-30 | 康成投资(中国)有限公司 | 智能客服中的会话主题识别方法 |
CN108255805A (zh) * | 2017-12-13 | 2018-07-06 | 讯飞智元信息科技有限公司 | 舆情分析方法及装置、存储介质、电子设备 |
CN108363690A (zh) * | 2018-02-08 | 2018-08-03 | 北京十三科技有限公司 | 基于神经网络的对话语义意图预测方法及学习训练方法 |
-
2018
- 2018-12-27 CN CN201811611554.XA patent/CN111401069A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106777013A (zh) * | 2016-12-07 | 2017-05-31 | 科大讯飞股份有限公司 | 对话管理方法和装置 |
CN107861951A (zh) * | 2017-11-17 | 2018-03-30 | 康成投资(中国)有限公司 | 智能客服中的会话主题识别方法 |
CN108255805A (zh) * | 2017-12-13 | 2018-07-06 | 讯飞智元信息科技有限公司 | 舆情分析方法及装置、存储介质、电子设备 |
CN108363690A (zh) * | 2018-02-08 | 2018-08-03 | 北京十三科技有限公司 | 基于神经网络的对话语义意图预测方法及学习训练方法 |
Non-Patent Citations (1)
Title |
---|
钱岳 等: "聊天机器人中用户出行消费意图识别方法" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022078346A1 (zh) * | 2020-10-13 | 2022-04-21 | 深圳壹账通智能科技有限公司 | 文本意图识别方法、装置、电子设备及存储介质 |
CN112580352A (zh) * | 2021-03-01 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 关键词提取方法、装置和设备及计算机存储介质 |
CN112580352B (zh) * | 2021-03-01 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 关键词提取方法、装置和设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111695352A (zh) | 基于语义分析的评分方法、装置、终端设备及存储介质 | |
JP6909832B2 (ja) | オーディオにおける重要語句を認識するための方法、装置、機器及び媒体 | |
CN111046133A (zh) | 基于图谱化知识库的问答方法、设备、存储介质及装置 | |
CN109920414A (zh) | 人机问答方法、装置、设备和存储介质 | |
WO2022252636A1 (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
CN111694940A (zh) | 一种用户报告的生成方法及终端设备 | |
CN113656547B (zh) | 文本匹配方法、装置、设备及存储介质 | |
CN116304748B (zh) | 一种文本相似度计算方法、系统、设备及介质 | |
CN114298121A (zh) | 基于多模态的文本生成方法、模型训练方法和装置 | |
CN111414746A (zh) | 一种匹配语句确定方法、装置、设备及存储介质 | |
WO2022095370A1 (zh) | 一种文本匹配方法、装置、终端设备和存储介质 | |
CN113158656A (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 | |
CN111898363B (zh) | 文本长难句的压缩方法、装置、计算机设备及存储介质 | |
CN111382243A (zh) | 文本的类别匹配方法、类别匹配装置及终端 | |
CN112597299A (zh) | 文本的实体分类方法、装置、终端设备和存储介质 | |
CN116483979A (zh) | 基于人工智能的对话模型训练方法、装置、设备及介质 | |
CN116680387A (zh) | 基于检索增强的对话答复方法、装置、设备及存储介质 | |
CN114842982B (zh) | 一种面向医疗信息系统的知识表达方法、装置及系统 | |
CN115630652A (zh) | 客服会话情感分析系统、方法及计算机系统 | |
CN114239555A (zh) | 一种关键词提取模型的训练方法及相关装置 | |
CN112328751A (zh) | 用于处理文本的方法和装置 | |
CN111159339A (zh) | 一种文本匹配处理方法和装置 | |
CN112925961A (zh) | 一种基于企业实体的智能问答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |