CN112434133A - 一种意图分类方法、装置、智能终端及存储介质 - Google Patents

一种意图分类方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN112434133A
CN112434133A CN202011389237.5A CN202011389237A CN112434133A CN 112434133 A CN112434133 A CN 112434133A CN 202011389237 A CN202011389237 A CN 202011389237A CN 112434133 A CN112434133 A CN 112434133A
Authority
CN
China
Prior art keywords
target text
text
result
named entity
entity recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011389237.5A
Other languages
English (en)
Other versions
CN112434133B (zh
Inventor
张民
张世奇
卢奇
陈文亮
杨波
梁兴伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hit Technology Innovation Industry Development Co ltd
Suzhou University
Konka Group Co Ltd
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Hit Technology Innovation Industry Development Co ltd
Suzhou University
Konka Group Co Ltd
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hit Technology Innovation Industry Development Co ltd, Suzhou University, Konka Group Co Ltd, Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Hit Technology Innovation Industry Development Co ltd
Priority to CN202011389237.5A priority Critical patent/CN112434133B/zh
Publication of CN112434133A publication Critical patent/CN112434133A/zh
Application granted granted Critical
Publication of CN112434133B publication Critical patent/CN112434133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种意图分类方法、装置、智能终端及存储介质，其中，上述意图分类方法包括：获取目标文本；基于上述目标文本进行命名实体识别，获取命名实体识别结果；基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；基于上述目标文本和上述规范化处理结果进行意图分类；输出上述意图分类的结果。本发明方案不必基于模板进行意图分析，且可以结合文本的句式特征强化意图分类的性能；使得意图分类时不依赖于模板，不受数据规模以及数据质量的影响，同时可缓解进行分类时遗忘文本特征的问题，有利于提高意图分类的准确性。

Description

一种意图分类方法、装置、智能终端及存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及的是一种意图分类方法、装置、智能终端及存储介质。
背景技术
随着人工智能技术的飞速发展，各类基于对话系统的应用产品逐渐增多，语音交互需求也日益扩增。对话系统是一种基于自然语言的人机交互系统。通过对话系统，用户可以使用自然语言和计算机进行多轮交互来完成特定的任务。当前，对话系统广泛应用于不同领域，如搜索领域、智能问答领域、情感分析领域等，其中，自然语言理解是对话系统中的核心模块。自然语言理解的目标是将自然语言的文本信息转换为可被计算机处理的语义表示，即用一种结构化的数据来表示一句话所表达的含义。也就是说，自然语言理解的目标是根据待解析的文本信息确定用户想表达的意图以及满足用户意图的条件。
在自然语言理解中，需要对用户意图进行分类，现有技术中，通常基于模板进行意图分类或结合文本上下文信息进行意图分类。现有技术的问题在于，基于模板的意图分类严重依赖于模板的覆盖程度，易受到数据规模以及数据质量的影响；结合文本上下文信息进行意图分类时易遗忘部分文本特征，影响意图分类结果的准确性。
因此，现有技术还有待改进和发展。
发明内容
针对现有技术中基于模板的意图分类严重依赖于模板的覆盖程度，易受到数据规模以及数据质量的影响；结合文本上下文信息进行意图分类时易遗忘部分文本特征，影响意图分类结果的准确性的技术问题，本发明提供一种意图分类方法、装置、智能终端及存储介质，可通过获取目标文本；基于上述目标文本进行命名实体识别，获取命名实体识别结果；基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；基于上述目标文本和上述规范化处理结果进行意图分类；输出上述意图分类的结果。从而结合文本的句式特征强化意图分类的性能，缓解结合文本上下文信息进行分类时遗忘文本特征的问题，提高意图分类的准确性。
为了实现上述技术效果，本发明第一方面提供一种意图分类方法，其中，上述方法包括：
获取目标文本；
基于上述目标文本进行命名实体识别，获取命名实体识别结果；
基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；
基于上述目标文本和上述规范化处理结果进行意图分类；
输出上述意图分类的结果。
可选的，上述基于上述目标文本进行命名实体识别，获取命名实体识别结果，包括：
通过长短时记忆网络学习上述目标文本的上下文信息；
通过条件随机场模型纠正上述长短时记忆网络中预测序列的语义错误；
基于上述长短时记忆网络和上述条件随机场模型对上述目标文本进行命名实体识别，获取命名实体识别结果。
可选的，上述基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果，包括：
获取上述命名实体识别结果和上述目标文本；
对于上述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
可选的，上述基于上述目标文本和上述规范化处理结果进行意图分类，包括：
对上述目标文本和上述规范化处理结果进行向量化处理，获取向量化处理结果；
对于上述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果；
基于上述序列编码结果进行意图分类。
可选的，上述对上述目标文本和上述规范化处理结果进行向量化处理，获取向量化处理结果，包括：
分别对上述目标文本和上述规范化处理结果进行向量化处理，获取目标文本向量和文本句式向量；
将上述目标文本向量和上述文本句式向量按行拼接，形成上述向量化处理结果。
本发明第二方面提供一种意图分类装置，其中，上述装置包括：
文本获取模块，用于获取目标文本；
命名实体识别模块，用于基于上述目标文本进行命名实体识别，获取命名实体识别结果；
命名实体识别结果规范化模块，用于基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；
意图分类模块，用于基于上述目标文本和上述规范化处理结果进行意图分类；
输出模块，用于输出上述意图分类的结果。
可选的，上述命名实体识别结果规范化模块包括：
数据获取单元，用于获取上述命名实体识别结果和上述目标文本；
规范化处理单元，用于对于上述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
可选的，上述意图分类模块包括：
向量化处理单元，用于对上述目标文本和上述规范化处理结果进行向量化处理，获取向量化处理结果；
序列编码单元，用于对于上述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果；
分类单元，用于基于上述序列编码结果进行意图分类。
本发明第三方面提供一种智能终端，包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时实现上述任意一种意图分类方法的步骤。
本发明第四方面提供一种存储介质，上述存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一种意图分类方法的步骤。
由上可见，本发明方案获取目标文本；基于上述目标文本进行命名实体识别，获取命名实体识别结果；基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；基于上述目标文本和上述规范化处理结果进行意图分类；输出上述意图分类的结果。由于本发明方案不必基于模板进行意图分析，且可以结合文本的句式特征强化意图分类的性能，因此相较于现有技术中基于模板的意图分类方案，本发明方案不依赖于模板，不受数据规模以及数据质量的影响；相较于现有技术中仅结合文本上下文信息进行意图分类的方案，本发明方案可缓解进行分类时遗忘文本特征的问题，进而提高意图分类的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种意图分类方法的流程示意图；
图2是本发明实施例图1中步骤S200的具体流程示意图；
图3是本发明实施例图1中步骤S300的具体流程示意图；
图4是本发明实施例图1中步骤S400的具体流程示意图；
图5是本发明实施例图4中步骤S401的具体流程示意图；
图6是本发明实施例提供的一种意图分类处理流程示意图；
图7是本发明实施例提供的一种神经网络结构图；
图8是本发明实施例提供的一种意图分类装置的结构示意图；
图9是本发明实施例图8中命名实体识别结果规范化模块830的具体结构示意图；
图10是本发明实施例图8中意图分类模块840的具体结构示意图；
图11是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
随着互联中知识的爆炸式增长，在搜索领域，基于字符串匹配的搜索算法已经难以精准捕获用户的搜索意图。在领域智能问答方面，如何精确获取用户提问的意图是在知识库中搜索答案的关键。由此可见，对文本意图精确分类是一个亟待解决的问题。现有的意图分类技术主要包括基于模板的意图分类和结合文本上下文信息的意图分类。
基于模板的意图分类，需通过抽取大规模数据中各个意图的高频句式作为意图分类的模板。具体的，为覆盖不同的表达方式就需要设定大量的模板，即使这样，也无法穷尽所有表达方式；同时，设定的模板无法根据实际数据进行自学习而不断进化，遇到新的问题时只能通过设定新的模板来解决。因此，基于模板的意图分类方法严重依赖于模板的覆盖程度，易受到数据规模以及数据质量的影响。结合文本上下文信息的意图分类，即利用神经网络模型捕获文本的上下文特征，依据文本的上下文特征利用分类器实现意图分类。现有技术中，结合文本上下文信息进行意图分类方法的不足之处在于，利用神经网络模型捕获文本上下文信息时，容易遗忘部分文本特征，从而影响分类准确性。此外，仅依赖文本本身的特征进行意图分类，对样本较少的数据或特殊句式的泛化能力不足，数据分布不均衡也可能对模型的意图分类结果带来偏差。因此，需要一种更好的意图分类方法。
为了解决现有技术中存在的问题，本发明提供一种意图分类方法，在本发明实施例中，获取目标文本；基于上述目标文本进行命名实体识别，获取命名实体识别结果；基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；基于上述目标文本和上述规范化处理结果进行意图分类；输出上述意图分类的结果。从而结合文本的句式特征强化意图分类的性能，缓解结合文本上下文信息进行分类时遗忘文本特征的问题，提高意图分类的准确性。
示例性方法
如图1所示，本发明实施例提供一种意图分类方法，上述方法包括如下步骤：
步骤S100，获取目标文本。
其中，上述目标文本为需要进行意图分类的文本信息。可选的，上述目标文本可以通过获取用户输入或发送的文本信息获得，也可以通过获取用户发出的语音并对语音进行语音文字转换获得，在此不做具体限制。
进一步的，在获得用户输入或发送的文本信息，或对用户发出的语音进行语音文字转换获得对应的文本信息后，还可以对上述文本信息进行文本分词、文本过滤等处理，将处理后的文本作为上述目标文本，以便进行命名实体识别。
步骤S200，基于上述目标文本进行命名实体识别，获取命名实体识别结果。
可选的，可以基于规则匹配、实体词典或模型实现命名实体识别(NER，NamedEntity Recognition)，还可以有其它方式，在此不做具体限定，本实施例中，基于模型实现命名实体识别。基于模型实现命名实体识别时，可以收集对话系统的历史语料或语料生成方式得到原始语料语句，对原始语料语句中的各个位置进行人工或自动标注，从而训练命名实体识别模型，实现基于模型的命名实体识别。可选的，进行标注时，可以采用BIO标注模式或BIOES标注模式，还可以有其它标注模式，在此不做具体限定。本实施例中，采用BIO标注模式。
步骤S300，基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果。
具体的，依据上述命名实体识别结果规范化待处理的目标文本，获得与上述目标文本对应的泛化句式，即规范化处理后的文本句式，作为规范化处理结果。如此，保留目标文本的句式特征，从而使进行意图分类时可以考虑目标文本的句式特征，缓解分类时遗忘文本特征的问题，提高意图分类的准确性。
步骤S400，基于上述目标文本和上述规范化处理结果进行意图分类。
具体的，结合与上述目标文本对应的泛化句式以及上述目标文本进行意图分类，考虑文本的句式特征，提高意图分类的准确性。
步骤S500，输出上述意图分类的结果。
可选的，还可以基于预设的规则，结合上述意图分类的结果，作出对应的响应，以实现与用户的人机交互。例如，识别出用户的意图为想看电影时，为用户进行电影推荐，识别出用户的意图问询问天气情况时，为用户进行对应的天气播报，以提升用户体验。
由上可见，本发明实施例提供的意图分类方法获取目标文本；基于上述目标文本进行命名实体识别，获取命名实体识别结果；基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；基于上述目标文本和上述规范化处理结果进行意图分类；输出上述意图分类的结果。由于本发明方案不必基于模板进行意图分析，且可以结合文本的句式特征强化意图分类的性能，因此相较于现有技术中基于模板的意图分类方案，本发明方案不依赖于模板，不受数据规模以及数据质量的影响；相较于现有技术中仅结合文本上下文信息进行意图分类的方案，本发明方案可缓解进行分类时遗忘文本特征的问题，进而提高意图分类的准确性。
可选的，如图2所示，本实施例中，上述步骤S200包括：
步骤S201，通过长短时记忆网络学习上述目标文本的上下文信息。
步骤S202，通过条件随机场模型纠正上述长短时记忆网络中预测序列的语义错误。
步骤S203，基于上述长短时记忆网络和上述条件随机场模型对上述目标文本进行命名实体识别，获取命名实体识别结果。
具体的，在进行命名实体识别时，可以采用长短时记忆网络(LSTM，long short-term memory)作为编码器，采用条件随机场(CRF)模型作为解码器。通过LSTM学习输入序列的上下文信息，通过CRF模型纠正上述LSTM预测序列中的语义错误。
本实施例中，基于LSTM和CRF模型，采用BIO标注模式进行命名实体识别。例如，当输入的目标文本为“功夫的导演”时，获取到的命名实体识别结果为“BIOOO”，其中，“功夫”作为实体被识别出来，B代表实体的开头，I代表实体的结尾，O代表其它，用于标记无关字符，即不属于实体。
具体的，如图3所示，本实施例中，上述步骤S300包括：
步骤S301，获取上述命名实体识别结果和上述目标文本。
步骤S302，对于上述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
其中，上述预设字符为预先设置的特定字符，用于代替识别出的实体，从而获得泛化句式。本实施例中，上述预设字符为“<entity>”，例如，对于输入的目标文本为“功夫的导演”，命名实体识别结果为“BIOOO”，将BI对应的实体“功夫”用“<entity>”替代，获得泛化后的文本句式“<entity>的导演”，作为规范化处理结果。如此，可保留目标文本的句式特征，从而强化意图分析的性能。可选的，上述预设字符还可以为其它字符，但上述预设字符需确保不存在于对话系统的语料中，可以根据实际需求进行调整和设置，在此不做具体限定。
具体的，如图4所示，本实施例中，上述步骤S400包括：
步骤S401，对上述目标文本和上述规范化处理结果进行向量化处理，获取向量化处理结果。
步骤S402，对于上述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果。
步骤S403，基于上述序列编码结果进行意图分类。
本实施例中，通过embedding层对输入的目标文本和规范化处理后的文本句式进行向量化处理，将变长的序列转换为固定大小的向量，获取向量化处理结果。
本实施例中，基于LSTM对向量化处理结果进行序列编码。具体的，LSTM用两个门控制神经元中的信息，一个是输入门(input gate)，它决定了当前时刻神经网络的输入信息有多少保存到神经元中；另一个是遗忘门(forget gate)，它决定了上一时刻的神经元状态，选择性的保留上一时刻的信息。LSTM用输出门(output gate)来控制神经元输出到LSTM的当前输出值。LSTM能有效捕获文本向量中的上下文信息，同时获取其中包含的句式信息，并对这两部分进行编码。因此，相较于RNN(循环神经网络)，LSTM能有效避免梯度消失与梯度爆炸。进一步的，本实施例中，通过softmax对上述LSTM的输出结果进行意图分类。
具体的，如图5所示，本实施例中，上述步骤S401包括：
步骤S4011，分别对上述目标文本和上述规范化处理结果进行向量化处理，获取目标文本向量和文本句式向量。
步骤S4022，将上述目标文本向量和上述文本句式向量按行拼接，形成上述向量化处理结果。
如此，将目标文本向量和文本句式向量进行拼接后再进行意图分类，可以保证在进行意图分类时考虑文本句式，从而结合文本的句式特征强化意图分类的性能，缓解现有技术中结合上下文信息进行分类时遗忘文本特征的问题，提高意图分类的准确性。
由于现有技术仅依赖于句子本身的特征进行意图分类，对样本较少的数据或特殊句式的泛化能力不足，因此还可以获取上述目标文本的上下文信息向量，将上下文信息向量和文本句式向量拼接后进行处理并进行意图分类，从而提高意图分类的准确性，以及意图分类模型的泛化能力。
具体的，图6示出了本实施例提供的一种意图分类处理流程示意图。如图6所示，本实施例中，获取目标文本“功夫的导演”后，经LSTM和CRF模型进行命名实体识别，获取命名实体识别结果“BIOOO”，基于上述命名实体识别结果对目标文本进行规范化处理，用预设的特定字符代替实体，获得泛化句式“<entity>的导演”，作为规范化处理结果。通过embedding层对上述命名实体识别结果和规范化处理结果进行向量化处理，然后将向量化处理获得的结果通过LSTM进行序列编码，通过softmax对LSTM的输出进行意图分类，获得意图分类结果。其中，图6所示的LSTM的连接关系仅是一种示意，实际使用中还可以有其它连接关系。图7示出了另外一种神经网络结构图，其中所示的LSTM连接关系也可以作为实际使用中的连接形式，在此不做具体限定。
示例性设备
如图8中所示，对应于上述意图分类方法，本发明实施例还提供一种意图分类装置，上述意图分类装置包括：
文本获取模块810，用于获取目标文本。
其中，上述目标文本为需要进行意图分类的文本信息。可选的，上述目标文本可以通过获取用户输入或发送的文本信息获得，也可以通过获取用户发出的语音并对语音进行语音文字转换获得，在此不做具体限制。
进一步的，在获得用户输入或发送的文本信息，或对用户发出的语音进行语音文字转换获得对应的文本信息后，还可以对上述文本信息进行文本分词、文本过滤等处理，将处理后的文本作为上述目标文本，以便进行命名实体识别。
命名实体识别模块820，用于基于上述目标文本进行命名实体识别，获取命名实体识别结果。
可选的，可以基于规则匹配、实体词典或模型实现命名实体识别(NER，NamedEntity Recognition)，还可以有其它方式，在此不做具体限定，本实施例中，基于模型实现命名实体识别。基于模型实现命名实体识别时，可以收集对话系统的历史语料或语料生成方式得到原始语料语句，对原始语料语句中的各个位置进行人工或自动标注，从而训练命名实体识别模型，实现基于模型的命名实体识别。可选的，进行标注时，可以采用BIO标注模式或BIOES标注模式，还可以有其它标注模式，在此不做具体限定。本实施例中，采用BIO标注模式。
命名实体识别结果规范化模块830，用于基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果。
具体的，依据上述命名实体识别结果规范化待处理的目标文本，获得与上述目标文本对应的泛化句式，即规范化处理后的文本句式，作为规范化处理结果。如此，保留目标文本的句式特征，从而使进行意图分类时可以考虑目标文本的句式特征，缓解分类时遗忘文本特征的问题，提高意图分类的准确性。
意图分类模块840，用于基于上述目标文本和上述规范化处理结果进行意图分类。
具体的，结合与上述目标文本对应的泛化句式以及上述目标文本进行意图分类，考虑文本的句式特征，提高意图分类的准确性。
输出模块850，用于输出上述意图分类的结果。
可选的，上述意图分类装置还可以基于预设的规则，结合上述意图分类的结果，作出对应的响应，以实现与用户的人机交互。例如，识别出用户的意图为想看电影时，为用户进行电影推荐，识别出用户的意图问询问天气情况时，为用户进行对应的天气播报，以提升用户体验。
由上可见，本发明实施例提供的意图分类装置通过文本获取模块810获取目标文本；通过命名实体识别模块820基于上述目标文本进行命名实体识别，获取命名实体识别结果；通过命名实体识别规范化模块830基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；通过意图分类模块840基于上述目标文本和上述规范化处理结果进行意图分类；通过输出模块850输出上述意图分类的结果。由于本发明方案不必基于模板进行意图分析，且可以结合文本的句式特征强化意图分类的性能，因此相较于现有技术中基于模板的意图分类方案，本发明方案不依赖于模板，不受数据规模以及数据质量的影响；相较于现有技术中仅结合文本上下文信息进行意图分类的方案，本发明方案可缓解进行分类时遗忘文本特征的问题，进而提高意图分类的准确性。
可选的，上述命名实体识别模块820可以包括长短时记忆网络和随机场模型，通过长短时记忆网络学习上述目标文本的上下文信息，通过条件随机场模型纠正上述长短时记忆网络中预测序列的语义错误，且基于上述长短时记忆网络和上述条件随机场模型对上述目标文本进行命名实体识别，获取命名实体识别结果。
具体的，在进行命名实体识别时，可以采用LSTM作为编码器，采用CRF模型作为解码器。通过LSTM学习输入序列的上下文信息，通过CRF模型纠正上述LSTM预测序列中的语义错误。
本实施例中，上述命名实体识别模块820基于LSTM和CRF模型，采用BIO标注模式进行命名实体识别。例如，当输入的目标文本为“功夫的导演”时，获取到的命名实体识别结果为“BIOOO”，其中，“功夫”作为实体被识别出来，B代表实体的开头，I代表实体的结尾，O代表其它，用于标记无关字符，即不属于实体。
可选的，如图9所示，上述命名实体识别结果规范化模块830包括：
数据获取单元831，用于获取上述命名实体识别结果和上述目标文本。
规范化处理单元832，用于对于上述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
其中，上述预设字符为预先设置的特定字符，用于代替识别出的实体，从而获得泛化句式。本实施例中，上述预设字符为“<entity>”，例如，对于输入的目标文本为“功夫的导演”，命名实体识别结果为“BIOOO”，将BI对应的实体“功夫”用“<entity>”替代，获得泛化后的文本句式“<entity>的导演”，作为规范化处理结果。如此，可保留目标文本的句式特征，从而强化意图分析的性能。可选的，上述预设字符还可以为其它字符，但上述预设字符需确保不存在于对话系统的语料中，可以根据实际需求进行调整和设置，在此不做具体限定。
可选的，如图10所示，上述意图分类模块840包括：
向量化处理单元841，用于对上述目标文本和上述规范化处理结果进行向量化处理，获取向量化处理结果。
序列编码单元842，用于对于上述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果。
分类单元843，用于基于上述序列编码结果进行意图分类。
本实施例中，上述向量化处理单元841可以为embedding层，通过embedding层对输入的目标文本和规范化处理后的文本句式进行向量化处理，将变长的序列转换为固定大小的向量，获取向量化处理结果。
本实施例中，上述序列编码单元842可以为LSTM，基于LSTM对向量化处理结果进行序列编码。具体的，LSTM用两个门控制神经元中的信息，一个是输入门(input gate)，它决定了当前时刻神经网络的输入信息有多少保存到神经元中；另一个是遗忘门(forgetgate)，它决定了上一时刻的神经元状态，选择性的保留上一时刻的信息。LSTM用输出门(output gate)来控制神经元输出到LSTM的当前输出值。LSTM能有效捕获文本向量中的上下文信息，同时获取其中包含的句式信息，并对这两部分进行编码。因此，相较于RNN(循环神经网络)，LSTM能有效避免梯度消失与梯度爆炸。
进一步的，本实施例中，上述分类单元843可以为softmax，通过softmax对上述LSTM的输出结果进行意图分类。
可选的，上述向量化处理单元841可以具体用于：分别对上述目标文本和上述规范化处理结果进行向量化处理，获取目标文本向量和文本句式向量；将上述目标文本向量和上述文本句式向量按行拼接，形成上述向量化处理结果。
如此，将目标文本向量和文本句式向量进行拼接后再进行意图分类，可以保证在进行意图分类时考虑文本句式，从而结合文本的句式特征强化意图分类的性能，缓解现有技术中结合上下文信息进行分类时遗忘文本特征的问题，提高意图分类的准确性。
由于现有技术仅依赖于句子本身的特征进行意图分类，对样本较少的数据或特殊句式的泛化能力不足，因此还可以获取上述目标文本的上下文信息向量，将上下文信息向量和文本句式向量拼接后进行处理并进行意图分类，从而提高意图分类的准确性，以及意图分类模型的泛化能力。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图11所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现上述任意一种意图分类方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图11中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时进行以下操作指令：
获取目标文本；
基于上述目标文本进行命名实体识别，获取命名实体识别结果；
基于上述命名实体识别结果，对上述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；
基于上述目标文本和上述规范化处理结果进行意图分类；
输出上述意图分类的结果。
本发明实施例还提供一种存储介质，上述存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现本发明实施例提供的任一种意图分类方法所述的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种意图分类方法，其特征在于，所述方法包括：
获取目标文本；
基于所述目标文本进行命名实体识别，获取命名实体识别结果；
基于所述命名实体识别结果，对所述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；
基于所述目标文本和所述规范化处理结果进行意图分类；
输出所述意图分类的结果。
2.根据权利要求1所述的意图分类方法，其特征在于，所述基于所述目标文本进行命名实体识别，获取命名实体识别结果，包括：
通过长短时记忆网络学习所述目标文本的上下文信息；
通过条件随机场模型纠正所述长短时记忆网络中预测序列的语义错误；
基于所述长短时记忆网络和所述条件随机场模型对所述目标文本进行命名实体识别，获取命名实体识别结果。
3.根据权利要求1或2所述的意图分类方法，其特征在于，所述基于所述命名实体识别结果，对所述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果，包括：
获取所述命名实体识别结果和所述目标文本；
对于所述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
4.根据权利要求3所述的意图分类方法，其特征在于，所述基于所述目标文本和所述规范化处理结果进行意图分类，包括：
对所述目标文本和所述规范化处理结果进行向量化处理，获取向量化处理结果；
对于所述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果；
基于所述序列编码结果进行意图分类。
5.根据权利要求4所述的意图分类方法，其特征在于，所述对所述目标文本和所述规范化处理结果进行向量化处理，获取向量化处理结果，包括：
分别对所述目标文本和所述规范化处理结果进行向量化处理，获取目标文本向量和文本句式向量；
将所述目标文本向量和所述文本句式向量按行拼接，形成所述向量化处理结果。
6.一种意图分类装置，其特征在于，所述装置包括：
文本获取模块，用于获取目标文本；
命名实体识别模块，用于基于所述目标文本进行命名实体识别，获取命名实体识别结果；
命名实体识别结果规范化模块，用于基于所述命名实体识别结果，对所述目标文本进行规范化处理，获取规范化处理后的文本句式，作为规范化处理结果；
意图分类模块，用于基于所述目标文本和所述规范化处理结果进行意图分类；
输出模块，用于输出所述意图分类的结果。
7.根据权利要求6所述的意图分类装置，其特征在于，所述命名实体识别结果规范化模块包括：
数据获取单元，用于获取所述命名实体识别结果和所述目标文本；
规范化处理单元，用于对于所述目标文本，用预设字符代替识别出的实体，形成规范化处理后的文本句式，作为规范化处理结果。
8.根据权利要求7所述的意图分类装置，其特征在于，所述意图分类模块包括：
向量化处理单元，用于对所述目标文本和所述规范化处理结果进行向量化处理，获取向量化处理结果；
序列编码单元，用于对于所述向量化处理结果，基于长短时记忆网络进行序列编码并输出序列编码结果；
分类单元，用于基于所述序列编码结果进行意图分类。
9.一种智能终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-5任意一项所述方法的步骤。
10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的方法的步骤。
CN202011389237.5A 2020-12-02 2020-12-02 一种意图分类方法、装置、智能终端及存储介质 Active CN112434133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011389237.5A CN112434133B (zh) 2020-12-02 2020-12-02 一种意图分类方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011389237.5A CN112434133B (zh) 2020-12-02 2020-12-02 一种意图分类方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN112434133A true CN112434133A (zh) 2021-03-02
CN112434133B CN112434133B (zh) 2024-05-17

Family

ID=74698787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011389237.5A Active CN112434133B (zh) 2020-12-02 2020-12-02 一种意图分类方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN112434133B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377844A (zh) * 2021-06-29 2021-09-10 哈尔滨工业大学 面向大型关系型数据库的对话式数据模糊检索方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064171A (ko) * 2009-12-07 2011-06-15 한국전자통신연구원 음성인식결과 문장에 대한 문형분류장치 및 방법
US20140363074A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Multi-script handwriting recognition using a universal recognizer
CN109800407A (zh) * 2017-11-15 2019-05-24 腾讯科技（深圳）有限公司 意图识别方法、装置、计算机设备和存储介质
CN110532558A (zh) * 2019-08-29 2019-12-03 杭州涂鸦信息技术有限公司 一种基于句子结构深层解析的多意图识别方法及系统
CN110619051A (zh) * 2019-08-16 2019-12-27 科大讯飞(苏州)科技有限公司 问题语句分类方法、装置、电子设备及存储介质
WO2020224213A1 (zh) * 2019-05-06 2020-11-12 平安科技（深圳）有限公司 语句意图识别方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064171A (ko) * 2009-12-07 2011-06-15 한국전자통신연구원 음성인식결과 문장에 대한 문형분류장치 및 방법
US20140363074A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Multi-script handwriting recognition using a universal recognizer
CN109800407A (zh) * 2017-11-15 2019-05-24 腾讯科技（深圳）有限公司 意图识别方法、装置、计算机设备和存储介质
WO2020224213A1 (zh) * 2019-05-06 2020-11-12 平安科技（深圳）有限公司 语句意图识别方法、装置及计算机可读存储介质
CN110619051A (zh) * 2019-08-16 2019-12-27 科大讯飞(苏州)科技有限公司 问题语句分类方法、装置、电子设备及存储介质
CN110532558A (zh) * 2019-08-29 2019-12-03 杭州涂鸦信息技术有限公司 一种基于句子结构深层解析的多意图识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OU BAI等: "Exploration of computational methods for classification of movement intention during human voluntary movement from single trial EEG", CLINICAL NEUROPHYSIOLOGY, vol. 118, no. 12, 29 October 2007 (2007-10-29), XP022370359, DOI: 10.1016/j.clinph.2007.08.025 *
张森 等: "Web检索查询意图分类技术综述", 中文信息学报, vol. 22, no. 4, 15 July 2008 (2008-07-15) *
王若佳;魏思仪;王继民;: "BiLSTM-CRF模型在中文电子病历命名实体识别中的应用研究", 文献与数据学报, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377844A (zh) * 2021-06-29 2021-09-10 哈尔滨工业大学 面向大型关系型数据库的对话式数据模糊检索方法及装置

Also Published As

Publication number Publication date
CN112434133B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
CN110188202B (zh) 语义关系识别模型的训练方法、装置及终端
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
WO2022142041A1 (zh) 意图识别模型的训练方法、装置、计算机设备和存储介质
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN111402861B (zh) 一种语音识别方法、装置、设备及存储介质
CN108710704B (zh) 对话状态的确定方法、装置、电子设备及存储介质
CN110825875A (zh) 文本实体类型识别方法、装置、电子设备和存储介质
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN115310443A (zh) 模型训练方法、信息分类方法、装置、设备及存储介质
CN112528637A (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN111414745A (zh) 文本标点确定方法与装置、存储介质、电子设备
CN114386409A (zh) 基于注意力机制的自蒸馏中文分词方法、终端及存储介质
CN111984780A (zh) 多意图识别模型训练方法和多意图识别方法及相关装置
CN116991875B (zh) 一种基于大模型的sql语句生成、别名映射方法及设备
CN112036186A (zh) 语料标注方法、装置、计算机存储介质及电子设备
CN112434133B (zh) 一种意图分类方法、装置、智能终端及存储介质
CN111859937A (zh) 一种实体识别方法及装置
CN115713082A (zh) 一种命名实体识别方法、装置、设备及存储介质
CN114242045A (zh) 一种自然语言对话系统意图深度学习方法
CN114462418A (zh) 事件检测方法、系统、智能终端及计算机可读存储介质
CN113012685B (zh) 音频识别方法、装置、电子设备及存储介质
CN114707509A (zh) 交通命名实体识别方法、装置、计算机设备及存储介质
CN113806475A (zh) 信息回复方法、装置、电子设备和存储介质
CN113111855A (zh) 一种多模态情感识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant