CN113297346A - 文本意图识别方法、装置、设备及存储介质 - Google Patents

文本意图识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113297346A
CN113297346A CN202110722331.6A CN202110722331A CN113297346A CN 113297346 A CN113297346 A CN 113297346A CN 202110722331 A CN202110722331 A CN 202110722331A CN 113297346 A CN113297346 A CN 113297346A
Authority
CN
China
Prior art keywords
text
initial
sequence
preset
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110722331.6A
Other languages
English (en)
Other versions
CN113297346B (zh
Inventor
蒋佳惟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110722331.6A priority Critical patent/CN113297346B/zh
Publication of CN113297346A publication Critical patent/CN113297346A/zh
Application granted granted Critical
Publication of CN113297346B publication Critical patent/CN113297346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能领域，公开了一种文本意图识别方法、装置、设备及存储介质，用于提高多音字文本的检出率，从而提升文本意图识别的准确性。文本意图识别方法包括：获取初始文本，对初始文本进行预处理，得到预处理后的文本；对预处理后的文本进行分词处理，将分词文本转换为目标索引项，并进行向量化处理，得到初始向量；调用预置的序列到序列模型，基于注意力机制对初始向量进行编码和解码处理，得到初始拼音序列；对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。此外，本发明还涉及区块链技术，目标用户意图可存储于区块链节点中。

Description

文本意图识别方法、装置、设备及存储介质
技术领域
本发明涉及神经网络领域，尤其涉及一种文本意图识别方法、装置、设备及存储介质。
背景技术
随着互联网技术的迅速发展，文本数据的数量迅速增长，如何从这些文本数据中抽取有用的信息，解决信息过载问题，已成为当前的一个迫切需求，关键词识别和抽取作为文本挖掘中一项重要的技术，是信息检索、文本分类以及推荐系统等方面的重要一环。
中文字的发音在整个文本的识别过程中也有着重要的地位，中文的发音常被用于隐晦的代表一些关键词，进而避开系统的检测，现有的文本识别技术基于拼音字典进行中文字的转换，但大多没有考虑到一些多音字的情况，导致文本意图识别的准确性低下。
发明内容
本发明提供了一种文本意图识别方法、装置、设备及存储介质，用于通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
本发明第一方面提供了一种文本意图识别方法，包括：获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语；对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量；调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列；对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图。
可选的，在本发明第一方面的第一种实现方式中，所述获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语包括：接收用户请求，将所述用户请求存入预置的卡夫卡消息队列并进行异步处理，得到初始文本，所述初始文本包括用户输入的句子和/或词语；采用正则表达式删除所述初始文本中的空格和特殊符号，并调用预置的数据分析工具包查找并删除所述初始文本中的重复值，得到预处理后的文本。
可选的，在本发明第一方面的第二种实现方式中，所述对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量包括：调用预置的文本分词工具，对所述预处理后的文本进行分词处理，得到分词文本；将所述分词文本中的每一个单词与预置的索引词典进行匹配，得到目标索引项，所述目标索引项包括每一个单词对应的索引项，每一个单词对应唯一的一个索引项；调用预置的文本向量化算法，对所述目标索引项进行词嵌入，得到词向量，对所述词向量进行拼接处理，得到初始向量。
可选的，在本发明第一方面的第三种实现方式中，所述调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列包括：调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，通过所述编码器中的归一化指数层，对所述多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量；调用所述序列到序列模型中的解码器，基于预设的循环神经网络，对所述编码向量进行解码运算，得到多个解码隐藏状态，通过所述解码器中的归一化指数层，对所述多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列。
可选的，在本发明第一方面的第四种实现方式中，所述调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，通过所述编码器中的归一化指数层，对所述多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量包括：调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，所述多个编码隐藏状态为所述初始向量中每一个词向量对应的隐藏状态；获取每一个编码隐藏状态对应的分数，通过所述编码器中的归一化指数层，对所述每一个编码隐藏状态对应的分数进行基于注意力机制的归一化处理，得到每一个编码隐藏状态对应的归一化分数；将每一个编码隐藏状态乘以每一个编码隐藏状态对应的归一化分数，得到对齐向量，对所述对齐向量进行求和，得到编码向量。
可选的，在本发明第一方面的第五种实现方式中，所述对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图包括：调用预置的文本向量化算法，对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，所述目标拼音序列为预设维度的拼音序列；获取所述初始文本对应的领域类别，根据所述领域类别对预置的语料库进行查询，得到查询结果，所述查询结果包括所述领域类别范围内的语料库拼音序列，以及所述语料库拼音序列对应的用户意图；将所述目标拼音序列和所述查询结果中的所述语料库拼音序列进行相似度计算，得到相似度计算结果；将所述相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，提取所述匹配结果对应的用户意图，得到目标用户意图。
可选的，在本发明第一方面的第六种实现方式中，在所述获取初始文本，对所述初始文本进行预处理，得到预处理后的文本之前，所述方法还包括：获取训练文本，对所述训练文本进行预处理和词嵌入，得到训练向量；调用预置的序列到序列模型，对所述训练向量进行编码处理和解码处理，得到与所述训练向量对应的训练拼音序列；调用预置的二分类模型对所述训练拼音序列进行分类处理，得到分类结果，根据所述分类结果构建语料库，所述分类结果包含所述训练拼音序列对应的用户意图。
本发明第二方面提供了一种文本意图识别装置，包括：获取模块，用于获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语；分词模块，用于对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量；编解码模块，用于调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列；匹配模块，用于对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块包括：接收单元，用于接收用户请求，将所述用户请求存入预置的卡夫卡消息队列并进行异步处理，得到初始文本，所述初始文本包括用户输入的句子和/或词语；预处理单元，用于采用正则表达式删除所述初始文本中的空格和特殊符号，并调用预置的数据分析工具包查找并删除所述初始文本中的重复值，得到预处理后的文本。
可选的，在本发明第二方面的第二种实现方式中，所述分词模块包括：分词单元，用于调用预置的文本分词工具，对所述预处理后的文本进行分词处理，得到分词文本；匹配单元，用于将所述分词文本中的每一个单词与预置的索引词典进行匹配，得到目标索引项，所述目标索引项包括每一个单词对应的索引项，每一个单词对应唯一的一个索引项；拼接单元，用于调用预置的文本向量化算法，对所述目标索引项进行词嵌入，得到词向量，对所述词向量进行拼接处理，得到初始向量。
可选的，在本发明第二方面的第三种实现方式中，所述编解码模块包括：编码单元，用于调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，通过所述编码器中的归一化指数层，对所述多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量；解码单元，用于调用所述序列到序列模型中的解码器，基于预设的循环神经网络，对所述编码向量进行解码运算，得到多个解码隐藏状态，通过所述解码器中的归一化指数层，对所述多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列。
可选的，在本发明第二方面的第四种实现方式中，所述编码单元具体用于：调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，所述多个编码隐藏状态为所述初始向量中每一个词向量对应的隐藏状态；获取每一个编码隐藏状态对应的分数，通过所述编码器中的归一化指数层，对所述每一个编码隐藏状态对应的分数进行基于注意力机制的归一化处理，得到每一个编码隐藏状态对应的归一化分数；将每一个编码隐藏状态乘以每一个编码隐藏状态对应的归一化分数，得到对齐向量，对所述对齐向量进行求和，得到编码向量。
可选的，在本发明第二方面的第五种实现方式中，所述匹配模块包括：词嵌入单元，用于调用预置的文本向量化算法，对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，所述目标拼音序列为预设维度的拼音序列；查询单元，用于获取所述初始文本对应的领域类别，根据所述领域类别对预置的语料库进行查询，得到查询结果，所述查询结果包括所述领域类别范围内的语料库拼音序列，以及所述语料库拼音序列对应的用户意图；计算单元，用于将所述目标拼音序列和所述查询结果中的所述语料库拼音序列进行相似度计算，得到相似度计算结果；确定单元，用于将所述相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，提取所述匹配结果对应的用户意图，得到目标用户意图。
可选的，在本发明第二方面的第六种实现方式中，在所述获取装置之前，所述文本意图识别装置还包括构建模块，所述构建模块包括：获取单元，用于获取训练文本，对所述训练文本进行预处理和词嵌入，得到训练向量；调用单元，用于调用预置的序列到序列模型，对所述训练向量进行编码处理和解码处理，得到与所述训练向量对应的训练拼音序列；分类单元，用于调用预置的二分类模型对所述训练拼音序列进行分类处理，得到分类结果，根据所述分类结果构建语料库，所述分类结果包含所述训练拼音序列对应的用户意图。
本发明第三方面提供了一种文本意图识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述文本意图识别设备执行上述的文本意图识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的文本意图识别方法。
本发明提供的技术方案中，获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语；对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量；调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列；对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图。本发明实施例中，通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
附图说明
图1为本发明实施例中文本意图识别方法的一个实施例示意图；
图2为本发明实施例中文本意图识别方法的另一个实施例示意图；
图3为本发明实施例中文本意图识别装置的一个实施例示意图；
图4为本发明实施例中文本意图识别装置的另一个实施例示意图；
图5为本发明实施例中文本意图识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种文本意图识别方法、装置、设备及存储介质，用于通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中文本意图识别方法的一个实施例包括：
101、获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语。
可以理解的是，本发明的执行主体可以为文本意图识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
服务器获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语。服务器接收到用户请求后，从用户请求中提取出初始文本，用户请求包括用户输入的所有文本内容，初始文本包括用户输入的句子和/或词语，例如：用户输入“最近天气变热了，有什么适合夏天穿的衣服”，服务器获取到用户请求后，提取出“适合夏天穿的衣服”，得到初始文本，服务器对初始文本进行清洗处理，通过正则表达式删除初始文本中的空格和特殊符号，其中，特殊符号包括标点符号和表情符号，服务器同时调用预置的数据分析工具包pandas进行重复值的判断和过滤，最终得到预处理后的文本。
102、对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量。
服务器对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量。服务器调用预置的文本分词工具，对预处理后的文本进行分词处理，文本分词工具包括但不限于结巴jieba分词工具、雪花分词工具snownlp、语言技术平台(language technology plantform，LTP)和汉语言处理包(han language processing，HanLP)，得到分词文本，根据预置的索引词典，将分词文本中的每一个单词映射到一个唯一的索引编号，得到目标索引项，并采用预置的向量化算法对目标索引项进行向量化处理，得到初始向量。
103、调用预置的序列到序列模型中的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用序列到序列模型中的解码器，对编码向量进行解码处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列。
服务器调用预置的序列到序列模型中的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用序列到序列模型中的解码器，对编码向量进行解码处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列。本实施例中运用的序列到序列模型seq2seq包括了编码-解码结构，其中，编码器和解码器都可以为循环神经网络(recurrent neural network，RNN)结构，也可以为长短期记忆网络(long short-termmemory，LSTM)结构或者门控循环单元(gated recurrent unit，GRU)结构，本实施例中引入基于注意力机制的序列到序列模型，可以将编码得到的所有向量对应的隐藏状态都传递给解码器，最终解码后得到初始拼音序列。
104、对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。
服务器对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。服务器调用预置的文本向量化算法对初始拼音序列进行词嵌入处理，将初始拼音序列转换为预设维度的拼音序列(即目标拼音序列)，预置的文本向量化算法可以为word2vec，得到目标拼音序列后，服务器再获取初始文本对应的领域类别，根据领域类别在预置的语料库中进行查询和相似度计算，将相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，将匹配结果对应的用户意图确定为目标用户意图。
语料库在步骤101之前需要提前构建，具体的，服务器获取训练文本，对训练文本进行预处理和词嵌入，得到训练向量；服务器调用预置的序列到序列模型，对训练向量进行编码处理和解码处理，得到与训练向量对应的训练拼音序列；服务器调用预置的二分类模型对训练拼音序列进行分类处理，得到分类结果，根据分类结果构建语料库，分类结果包含训练拼音序列对应的用户意图。语料库包含多组训练文本对应的多组训练拼音序列以及每一组训练拼音序列对应的用户意图，二分类模型是输出只有0和1的分类模型，设定0代表是，1代表否，例如：二分类模型输出的分类结果为0，则代表用户有购买保险的意图，通过多组训练文本，多组训练文本对应的多组拼音序列以及对应的用户意图组成语料库。
本发明实施例中，通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
请参阅图2，本发明实施例中文本意图识别方法的另一个实施例包括：
201、获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语。
服务器获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语。具体的，服务器接收用户请求，将用户请求存入预置的卡夫卡消息队列并进行异步处理，得到初始文本，初始文本包括用户输入的句子和/或词语；服务器采用正则表达式删除初始文本中的空格和特殊符号，并调用预置的数据分析工具包查找并删除初始文本中的重复值，得到预处理后的文本。
服务器接收到用户请求后，将用户请求存储至卡夫卡kafka消息队列，其中，用户输入请求的方式包括但不限于移动设备上安装的客户端应用，例如：网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等，服务器通过对卡夫卡消息队列中存储的用户请求进行异步处理，将符合预设条件的用户请求提取出来，预设条件为包含用户诉求的文本，得到初始文本，用户请求包括用户输入的所有文本内容，初始文本包括用户输入的句子和/或词语，例如：用户输入“我想买保险”、“好吃的食物”，服务器获取到用户请求后，提取出“保险”和“美食”，得到初始文本。
服务器对初始文本进行清洗处理，通过正则表达式删除初始文本中的空格和特殊符号，其中，特殊符号包括标点符号和表情符号，服务器同时调用预置的数据分析工具包pandas进行重复值的判断和过滤，通过调用查询指令df.duplicated()，查询初始文本中的重复值，并通过删除指令df.drop_duplicates()删除重复值，重复值的处理过程还可以是python语言的扩展程序库numpy中的unique()方法，该方法返回其参数数组中所有不同的值，并且按照从小到大的顺序排列，或者python自带的内置函数set法，该方法也能返回唯一元素的集合，最终得到预处理后的文本。
202、对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量。
服务器对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量。具体的，服务器调用预置的文本分词工具，对预处理后的文本进行分词处理，得到分词文本；服务器将分词文本中的每一个单词与预置的索引词典进行匹配，得到目标索引项，目标索引项包括每一个单词对应的索引项，每一个单词对应唯一的一个索引项；服务器调用预置的文本向量化算法，对目标索引项进行词嵌入，得到词向量，对词向量进行拼接处理，得到初始向量，初始向量包括多个词向量。
服务器调用预置的文本分词工具，对预处理后的文本进行分词处理，文本分词工具包括但不限于结巴jieba分词工具、雪花分词工具snownlp、语言技术平台(languagetechnology plantform，LTP)和汉语言处理包(han language processing，HanLP)，得到分词文本，例如：将预处理后的文本“我想买保险”进行分词处理得到分词文本“我/想/买/保/险”，服务器根据预置的索引词典，将分词文本中的每一个单词映射到一个唯一的索引编号，得到目标索引项，在映射之前需要构建索引词典，可以采用时间机器time machine构建索引词典，预置的文本向量化算法可以为word2vec、词频-逆向文件频率算法(termfrequency–inverse document frequency，TF-IDF)或者计数工具countvectorizer，服务器通过调用文本向量化算法将每一个单词对应的索引项映射到预设的高维向量中(即词向量)，并将词向量转化为句向量(即初始向量)，词向量转化为句向量的过程可以为词向量的拼接，或者通过词向量相加求和再求平均值，得到初始向量。
203、调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对初始向量进行编码运算，得到多个编码隐藏状态，通过编码器中的归一化指数层，对多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量。
服务器调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对初始向量进行编码运算，得到多个编码隐藏状态，通过编码器中的归一化指数层，对多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量。具体的，服务器调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对初始向量进行编码运算，得到多个编码隐藏状态，多个编码隐藏状态为初始向量中每一个词向量对应的隐藏状态；服务器获取每一个编码隐藏状态对应的分数，通过编码器中的归一化指数层，对每一个编码隐藏状态对应的分数进行基于注意力机制的归一化处理，得到每一个编码隐藏状态对应的归一化分数；服务器将每一个编码隐藏状态乘以每一个编码隐藏状态对应的归一化分数，得到对齐向量，对对齐向量进行求和，得到编码向量。
序列到序列模型seq2seq包括了编码-解码结构，其中，编码器和解码器都可以为循环神经网络(recurrent neural network，RNN)结构，也可以为长短期记忆网络(longshort-term memory，LSTM)结构或者门控循环单元(gated recurrent unit，GRU)结构，本实施例中引入基于注意力机制的序列到序列模型，可以将编码得到的所有向量对应的隐藏状态都传递给解码器，服务器将初始向量输入序列到序列模型的编码器中的循环神经网络RNN，得到多个编码隐藏状态，例如：将“我想买保险”对应的初始向量输入RNN，得到单词“我”对应的隐藏状态h1，单词“想”对应的隐藏状态h2，单词“买”对应的隐藏状态h3，单词“保”对应的隐藏状态h4和单词“险”对应的隐藏状态h5，得到多个编码隐藏状态(h1，h2，h3，h4，h5)，每一个编码隐藏状态都有对应的分数，编码隐藏状态对应的分数主要通过点积计算的方式得到，将每一个编码隐藏状态对应的分数输入到归一化指数softmax层进行归一化处理，得到每一个编码隐藏状态对应的归一化分数，每一个编码隐藏状态对应的归一化分数加起来的和等于1，归一化分数代表注意力分配的权重，通过将每一个词向量对应的编码隐藏状态与每一个编码隐藏状态对应的归一化分数相乘，得到对齐向量，对对齐向量进行求和，最终得到编码向量。
204、调用序列到序列模型中的解码器，基于预设的循环神经网络，对编码向量进行解码运算，得到多个解码隐藏状态，通过解码器中的归一化指数层，对多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列。
服务器调用预置的序列到序列模型中的解码器，基于预设的循环神经网络，对编码向量进行解码运算，得到多个解码隐藏状态，通过解码器中的归一化指数层，对多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列。解码器的工作原理与编码器类似，服务器将编码向量输入序列到序列模型的解码器中的循环神经网络RNN，得到多个解码隐藏状态，获取每一个解码隐藏状态对应的分数，通过归一化指数softmax层中的softmax函数对每一个解码隐藏状态对应的分数进行归一化处理，得到每一个解码隐藏状态对应的归一化分数，将每一个解码隐藏状态乘以每一个解码隐藏状态对应的归一化分数，最终输出初始拼音序列，例如：“我想买保险”对应输出的初始拼音序列为“wo/xiang/mai/bao/xian”，初始拼音序列包括多音字文本对应的拼音序列，例如：“薄荷薄饼”对应输出的初始拼音序列为“bo/he/bao/bing”。
205、对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。
服务器对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。具体的，服务器调用预置的文本向量化算法，对初始拼音序列进行词嵌入处理，得到目标拼音序列，目标拼音序列为预设维度的拼音序列；服务器获取初始文本对应的领域类别，根据领域类别对预置的语料库进行查询，得到查询结果，查询结果包括领域类别范围内的语料库拼音序列，以及语料库拼音序列对应的用户意图；服务器将目标拼音序列和查询结果中的语料库拼音序列进行相似度计算，得到相似度计算结果；服务器将相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，提取匹配结果对应的用户意图，得到目标用户意图。
服务器调用预置的文本向量化算法，将初始拼音序列转换为预设维度的拼音序列(即目标拼音序列)，预置的文本向量化算法可以为word2vec，得到目标拼音序列后，服务器在获取初始文本对应的领域类别，例如：“保险”对应的领域类别为金融经济类，在语料库中查询金融经济类的语料库拼音序列以及语料库拼音序列对应的用户意图，语料库拼音序列包括一个或一个以上，服务器将目标拼音序列和查询结果中的语料库拼音序列进行相似度计算，得到相似度计算结果，本实施例中可以采用孪生神经网络(siamese network)进行相似度计算，将目标拼音序列“wo/xiang/mai/bao/xian”和查询结果中的语料库拼音序列进行相似度计算，得到相似度计算结果，相似度计算结果包括语义相似度计算结果和字形相似度计算结果，将相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，从匹配结果中提取对应的用户意图，得到目标用户意图，如果出现多音字的情况，就可以根据语义相似度计算结果筛选出对应的匹配结果，从而确定目标用户意图。
本发明实施例中，通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
上面对本发明实施例中文本意图识别方法进行了描述，下面对本发明实施例中文本意图识别装置进行描述，请参阅图3，本发明实施例中文本意图识别装置的一个实施例包括：
获取模块301，用于获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语；
分词模块302，用于对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量；
编解码模块303，用于调用预置的序列到序列模型中的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用序列到序列模型中的解码器，对编码向量进行解码处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列；
匹配模块304，用于对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。
本发明实施例中，通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
请参阅图4，本发明实施例中文本意图识别装置的另一个实施例包括：
获取模块301，用于获取初始文本，对初始文本进行预处理，得到预处理后的文本，初始文本包括用户输入的句子和/或词语；
分词模块302，用于对预处理后的文本进行分词处理，得到分词文本，将分词文本转换为目标索引项，并对目标索引项进行向量化处理，得到初始向量；
编解码模块303，用于调用预置的序列到序列模型中的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用序列到序列模型中的解码器，对编码向量进行解码处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列；
其中，编解码模块303具体包括：
编码单元3031，用于调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对初始向量进行编码运算，得到多个编码隐藏状态，通过编码器中的归一化指数层，对多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量；
解码单元3032，用于调用预置的序列到序列模型中的解码器，基于预设的循环神经网络，对编码向量进行解码运算，得到多个解码隐藏状态，通过解码器中的归一化指数层，对多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，初始拼音序列包括多音字文本对应的拼音序列；
匹配模块304，用于对初始拼音序列进行词嵌入处理，得到目标拼音序列，将目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据匹配结果确定目标用户意图。
可选的，获取模块301包括：
接收单元3011，用于接收用户请求，将用户请求存入预置的卡夫卡消息队列并进行异步处理，得到初始文本，初始文本包括用户输入的句子和/或词语；
预处理单元3012，用于采用正则表达式删除初始文本中的空格和特殊符号，并调用预置的数据分析工具包查找并删除初始文本中的重复值，得到预处理后的文本。
可选的，分词模块302包括：
分词单元3021，用于调用预置的文本分词工具，对预处理后的文本进行分词处理，得到分词文本；
匹配单元3022，用于将分词文本中的每一个单词与预置的索引词典进行匹配，得到目标索引项，目标索引项包括每一个单词对应的索引项，每一个单词对应唯一的一个索引项；
拼接单元3023，用于调用预置的文本向量化算法，对目标索引项进行词嵌入，得到词向量，对词向量进行拼接处理，得到初始向量，初始向量包括多个词向量。
可选的，编码单元3031可以具体用于：
调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对初始向量进行编码运算，得到多个编码隐藏状态，多个编码隐藏状态为初始向量中每一个词向量对应的隐藏状态；获取每一个编码隐藏状态对应的分数，通过编码器中的归一化指数层，对每一个编码隐藏状态对应的分数进行基于注意力机制的归一化处理，得到每一个编码隐藏状态对应的归一化分数；将每一个编码隐藏状态乘以每一个编码隐藏状态对应的归一化分数，得到对齐向量，对对齐向量进行求和，得到编码向量。
可选的，匹配模块304包括:
词嵌入单元3041，用于调用预置的文本向量化算法，对初始拼音序列进行词嵌入处理，得到目标拼音序列，目标拼音序列为预设维度的拼音序列；
查询单元3042，用于获取初始文本对应的领域类别，根据领域类别对预置的语料库进行查询，得到查询结果，查询结果包括领域类别范围内的语料库拼音序列，以及语料库拼音序列对应的用户意图；
计算单元3043，用于将目标拼音序列和查询结果中的语料库拼音序列进行相似度计算，得到相似度计算结果；
确定单元3044，用于将相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，提取匹配结果对应的用户意图，得到目标用户意图。
可选的，在获取装置301之前，文本意图识别装置还包括构建模块305，包括：
获取单元3051，用于获取训练文本，对训练文本进行预处理和词嵌入，得到训练向量；
调用单元3052，用于调用预置的序列到序列模型，对训练向量进行编码处理和解码处理，得到与训练向量对应的训练拼音序列；
分类单元3053，用于调用预置的二分类模型对训练拼音序列进行分类处理，得到分类结果，根据分类结果构建语料库，分类结果包含训练拼音序列对应的用户意图。
本发明实施例中，通过调用预置的序列到序列模型的编码器，基于注意力机制对初始向量进行编码处理，得到编码向量，调用预置的序列到序列模型的解码器，对编码向量进行解码处理，得到初始拼音序列，提高了多音字文本的检出率，从而提升了文本意图识别的准确性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的文本意图识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中文本意图识别设备进行详细描述。
图5是本发明实施例提供的一种文本意图识别设备的结构示意图，该文本意图识别设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对文本意图识别设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在文本意图识别设备500上执行存储介质530中的一系列指令操作。
文本意图识别设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的文本意图识别设备结构并不构成对文本意图识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种文本意图识别设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述文本意图识别方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述文本意图识别方法的步骤。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种文本意图识别方法，其特征在于，所述文本意图识别方法包括：
获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语；
对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量；
调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列；
对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图。
2.根据权利要求1所述的文本意图识别方法，其特征在于，所述获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语包括：
接收用户请求，将所述用户请求存入预置的卡夫卡消息队列并进行异步处理，得到初始文本，所述初始文本包括用户输入的句子和/或词语；
采用正则表达式删除所述初始文本中的空格和特殊符号，并调用预置的数据分析工具包查找并删除所述初始文本中的重复值，得到预处理后的文本。
3.根据权利要求1所述的文本意图识别方法，其特征在于，所述对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量包括：
调用预置的文本分词工具，对所述预处理后的文本进行分词处理，得到分词文本；
将所述分词文本中的每一个单词与预置的索引词典进行匹配，得到目标索引项，所述目标索引项包括每一个单词对应的索引项，每一个单词对应唯一的一个索引项；
调用预置的文本向量化算法，对所述目标索引项进行词嵌入，得到词向量，对所述词向量进行拼接处理，得到初始向量。
4.根据权利要求1所述的文本意图识别方法，其特征在于，所述调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列包括：
调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，通过所述编码器中的归一化指数层，对所述多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量；
调用所述序列到序列模型中的解码器，基于预设的循环神经网络，对所述编码向量进行解码运算，得到多个解码隐藏状态，通过所述解码器中的归一化指数层，对所述多个解码隐藏状态进行基于注意力机制的归一化处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列。
5.根据权利要求4所述的文本意图识别方法，其特征在于，所述调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，通过所述编码器中的归一化指数层，对所述多个编码隐藏状态进行基于注意力机制的归一化处理，得到编码向量包括：
调用预置的序列到序列模型中的编码器，基于预设的循环神经网络，对所述初始向量进行编码运算，得到多个编码隐藏状态，所述多个编码隐藏状态为所述初始向量中每一个词向量对应的隐藏状态；
获取每一个编码隐藏状态对应的分数，通过所述编码器中的归一化指数层，对所述每一个编码隐藏状态对应的分数进行基于注意力机制的归一化处理，得到每一个编码隐藏状态对应的归一化分数；
将每一个编码隐藏状态乘以每一个编码隐藏状态对应的归一化分数，得到对齐向量，对所述对齐向量进行求和，得到编码向量。
6.根据权利要求1所述的文本意图识别方法，其特征在于，所述对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图包括：
调用预置的文本向量化算法，对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，所述目标拼音序列为预设维度的拼音序列；
获取所述初始文本对应的领域类别，根据所述领域类别对预置的语料库进行查询，得到查询结果，所述查询结果包括所述领域类别范围内的语料库拼音序列，以及所述语料库拼音序列对应的用户意图；
将所述目标拼音序列和所述查询结果中的所述语料库拼音序列进行相似度计算，得到相似度计算结果；
将所述相似度计算结果大于预设匹配值的语料库拼音序列确定为匹配结果，提取所述匹配结果对应的用户意图，得到目标用户意图。
7.根据权利要求1-6中任一项所述的文本意图识别方法，其特征在于，在所述获取初始文本，对所述初始文本进行预处理，得到预处理后的文本之前，所述方法还包括：
获取训练文本，对所述训练文本进行预处理和词嵌入，得到训练向量；
调用预置的序列到序列模型，对所述训练向量进行编码处理和解码处理，得到与所述训练向量对应的训练拼音序列；
调用预置的二分类模型对所述训练拼音序列进行分类处理，得到分类结果，根据所述分类结果构建语料库，所述分类结果包含所述训练拼音序列对应的用户意图。
8.一种文本意图识别装置，其特征在于，所述文本意图识别装置包括：
获取模块，用于获取初始文本，对所述初始文本进行预处理，得到预处理后的文本，所述初始文本包括用户输入的句子和/或词语；
分词模块，用于对所述预处理后的文本进行分词处理，得到分词文本，将所述分词文本转换为目标索引项，并对所述目标索引项进行向量化处理，得到初始向量；
编解码模块，用于调用预置的序列到序列模型中的编码器，基于注意力机制对所述初始向量进行编码处理，得到编码向量，调用所述序列到序列模型中的解码器，对所述编码向量进行解码处理，得到初始拼音序列，所述初始拼音序列包括多音字文本对应的拼音序列；
匹配模块，用于对所述初始拼音序列进行词嵌入处理，得到目标拼音序列，将所述目标拼音序列与预置的语料库进行匹配，得到匹配结果，根据所述匹配结果确定目标用户意图。
9.一种文本意图识别设备，其特征在于，所述文本意图识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述文本意图识别设备执行如权利要求1-7中任意一项所述的文本意图识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述文本意图识别方法。
CN202110722331.6A 2021-06-28 2021-06-28 文本意图识别方法、装置、设备及存储介质 Active CN113297346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110722331.6A CN113297346B (zh) 2021-06-28 2021-06-28 文本意图识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110722331.6A CN113297346B (zh) 2021-06-28 2021-06-28 文本意图识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113297346A true CN113297346A (zh) 2021-08-24
CN113297346B CN113297346B (zh) 2023-10-31

Family

ID=77329839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110722331.6A Active CN113297346B (zh) 2021-06-28 2021-06-28 文本意图识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113297346B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836928A (zh) * 2021-09-28 2021-12-24 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288980A (zh) * 2019-06-17 2019-09-27 平安科技（深圳）有限公司 语音识别方法、模型的训练方法、装置、设备及存储介质
CN110310619A (zh) * 2019-05-16 2019-10-08 平安科技（深圳）有限公司 多音字预测方法、装置、设备及计算机可读存储介质
WO2019227505A1 (en) * 2018-06-02 2019-12-05 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for training and using chatbot
CN110765772A (zh) * 2019-10-12 2020-02-07 北京工商大学 拼音作为特征的中文语音识别后的文本神经网络纠错模型

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227505A1 (en) * 2018-06-02 2019-12-05 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for training and using chatbot
CN110310619A (zh) * 2019-05-16 2019-10-08 平安科技（深圳）有限公司 多音字预测方法、装置、设备及计算机可读存储介质
CN110288980A (zh) * 2019-06-17 2019-09-27 平安科技（深圳）有限公司 语音识别方法、模型的训练方法、装置、设备及存储介质
CN110765772A (zh) * 2019-10-12 2020-02-07 北京工商大学 拼音作为特征的中文语音识别后的文本神经网络纠错模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836928A (zh) * 2021-09-28 2021-12-24 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质
CN113836928B (zh) * 2021-09-28 2024-02-27 平安科技（深圳）有限公司 文本实体生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113297346B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108536852B (zh) 问答交互方法和装置、计算机设备及计算机可读存储介质
CN108829681B (zh) 一种命名实体提取方法及装置
CN111814466A (zh) 基于机器阅读理解的信息抽取方法、及其相关设备
CN111460090A (zh) 基于向量的文档检索方法、装置、计算机设备及存储介质
CN108875065B (zh) 一种基于内容的印尼新闻网页推荐方法
CN111259153B (zh) 一种完全注意力机制的属性级情感分析方法
CN112434535A (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
CN111984792A (zh) 网站分类方法、装置、计算机设备及存储介质
CN111858843A (zh) 一种文本分类方法及装置
CN111078842A (zh) 查询结果的确定方法、装置、服务器及存储介质
CN101308512B (zh) 一种基于网页的互译翻译对抽取方法及装置
CN111062803A (zh) 一种金融业务查询查复方法及系统
CN111797245A (zh) 基于知识图谱模型的信息匹配方法及相关装置
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN113434636A (zh) 基于语义的近似文本搜索方法、装置、计算机设备及介质
CN111241410A (zh) 一种行业新闻推荐方法及终端
CN111538846A (zh) 基于混合协同过滤的第三方库推荐方法
CN113297346B (zh) 文本意图识别方法、装置、设备及存储介质
US20220198149A1 (en) Method and system for machine reading comprehension
CN111538893B (zh) 一种从非结构化数据中提取网络安全新词的方法
CN116340516A (zh) 实体关系的聚类提取方法、装置、设备及存储介质
CN114722188A (zh) 基于运营数据的广告生成方法、装置、设备及存储介质
CN113420119B (zh) 基于知识卡片的智能问答方法、装置、设备及存储介质
CN113312903B (zh) 一种5g移动业务产品词库的构建方法及系统
CN114936282A (zh) 金融风险线索确定方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant