CN112069828B - 一种文本意图的识别方法及装置 - Google Patents

一种文本意图的识别方法及装置 Download PDF

Info

Publication number
CN112069828B
CN112069828B CN202010763286.4A CN202010763286A CN112069828B CN 112069828 B CN112069828 B CN 112069828B CN 202010763286 A CN202010763286 A CN 202010763286A CN 112069828 B CN112069828 B CN 112069828B
Authority
CN
China
Prior art keywords
text
target
sample
similarity
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010763286.4A
Other languages
English (en)
Other versions
CN112069828A (zh
Inventor
王卓然
沈寓实
汝聪翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fenomen Array Beijing Technology Co ltd
Original Assignee
Fenomen Array Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fenomen Array Beijing Technology Co ltd filed Critical Fenomen Array Beijing Technology Co ltd
Priority to CN202010763286.4A priority Critical patent/CN112069828B/zh
Publication of CN112069828A publication Critical patent/CN112069828A/zh
Application granted granted Critical
Publication of CN112069828B publication Critical patent/CN112069828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种文本意图的识别方法、装置、计算机设备及计算机可读存储介质,包括:获取目标文本;针对目标文本,识别目标文本中的目标槽位和与目标槽位对应的目标关键词;针对目标文本,从预先设置的样本库中,确定与目标文本匹配的目标意图,样本库中包含文本与意图的对应关系;根据目标意图、目标关键词和目标槽位,生成目标文本的意图识别结果。本发明中针对目标文本,确定与目标文本匹配的目标意图的过程,与识别目标文本中的目标槽位和目标关键词的过程相互独立,使得识别槽位和关键词步骤中产生的误差,不会影响确定目标意图过程的准确度,避免了错误的积累,从而提高了用户意图识别过程的准确度。

Description

一种文本意图的识别方法及装置
技术领域
本发明属于自然语言处理技术领域,特别是涉及一种文本意图的识别方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着问答系统、人机交互系统等涉及自然语言处理的系统应用越来越广泛,在自然语言处理中将文本处理成意图和槽-值对表示的语义理解过程尤为重要,当获得用户提出的问题后,判断用户问题对应的文本的意图,并确定文本中与该意图相关的关键槽-值信息,从而给出用户所需的答案或者相应操作,可以大大简化人机交互的流程。
目前,对用户的语句进行理解的过程主要包括:先将用户语句转化成文本形式,再对用户文本进行实体词识别,即从用户文本中识别出关键的实体词及对应的属性,构成用于对用户的意图进行细节内容补充的槽-值对,进一步的,通过检索预先存储有样本文本与对应的样本意图的文本模板库,确定与用户文本匹配的多个样本文本,为减少检索的数量,缩短检索时间,可以将用户文本中的实体词替换为对应的属性,再将其与文本模板库中的样本文本进行匹配,最后,计算每个样本文本与用户文本的语义相似度,将其中语义相似度最高的样本文本对应的意图确定为用户文本的意图,最终根据用户文本的意图,以及用户文本中包含的槽值,确定针对该用户语句的响应。
但是,在目前的方案中,需要先从用户文本中识别出槽-值对,再结合槽-值对从文本模板库中匹配与用户文本语义相似度最高的样本文本,最终确定用户文本的意图,前一步骤产生的误差,会进一步影响后一步骤的判断精度,造成错误的积累,从而降低用户意图识别过程的准确度。
发明内容
有鉴于此,本发明提供一种文本意图的识别方法、装置、计算机设备及计算机可读存储介质,在一定程度上解决了目前方案中在对文本进行意图识别的过程中,识别文本中槽值的过程产生的误差,影响进一步结合槽值确定文本意图过程的准确度,造成错误的累积,从而导致用户意图识别过程的准确度较低的问题。
依据本发明的第一方面,提供了一种文本意图的识别方法,包括:
获取目标文本;
针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词;
针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系;
根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
依据本发明的第二方面,提供了一种文本意图的识别装置,该装置可以包括:
获取模块,用于获取目标文本;
识别模块,用于针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词;
确定模块,用于针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系;
生成模块,用于根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
第三方面,本发明实施例提供了一种计算机设备,所述计算机设备包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的文本意图的识别方法包括的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的文本意图的识别方法的步骤。
针对在先技术,本发明具备如下优点:
本发明提供的一种文本的意图识别方法,包括:获取目标文本;针对目标文本,识别目标文本中的目标槽位和与目标槽位对应的目标关键词;针对目标文本,从预先设置的样本库中,确定与目标文本匹配的目标意图,样本库中包含文本与意图的对应关系;根据目标意图、目标关键词和目标槽位,生成目标文本的意图识别结果。本发明中针对目标文本,确定与目标文本匹配的目标意图的过程,与识别目标文本中的目标槽位和目标关键词的过程相互独立,使得识别槽位和关键词步骤中产生的误差,不会影响确定目标意图过程的准确度,避免了错误的积累,从而提高了用户意图识别过程的准确度,同时,识别目标文本中的目标槽位和目标关键词的过程,可以与确定与目标文本匹配的目标意图的过程同时进行,从而减少用户意图识别过程所用的时间,提升用户的使用体验度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种文本意图的识别方法的步骤流程图;
图2是本发明实施例提供的另一种文本意图的识别方法的步骤流程图;
图3是本发明实施例提供的一种文本意图的识别装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种文本意图的识别方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、获取目标文本。
在该步骤中,可以首先获取需要进行意图识别的目标文本。
具体的,在问答系统、人机交互系统等涉及自然语言处理的应用中,系统可以在获得用户提出的问题之后,判断用户问题对应的文本的意图,从而给出用户所需的答案或者相应操作。其中,系统获得的用户语句的文本形式,即可以作为所述目标文本,即在获得用户语句之后,可以将用户语句转化成文本形式,从而得到需要进行意图识别的目标文本。
步骤102、针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词。
在该步骤中,在获取到目标文本之后,可以识别目标文本中的目标槽位和与所述目标槽位对应的目标关键词。
本发明实施例中,在任务型人机交互系统的语言理解部分,除了对文本进行语义理解,确定该文本对应的用户意图之外,还需要从文本中识别出关键的实体词及对应的属性,从而对用户意图进行细节内容的补充,例如,若文本为“我要听老狼的歌”,通过语义理解,判断用户意图是要听音乐,进一步识别出用户要听的音乐的具体信息,比如用户要听的歌手具体为“老狼”。其中,从文本中识别出的实体词即为关键词,所述实体词对应的属性即为槽位,槽位和关键词共同构成文本中的槽值对。
例如,若目标文本为“我要听老狼的歌”,则可以识别出该目标文本中的目标槽位为artist,与该目标槽位对应的目标关键词为“老狼”,构成槽值对[老狼]artist。
在本发明实施例中,识别目标文本中的目标槽位和目标关键词的方法可以包括序列标注模型、正则匹配、词典匹配和上下文无关文法匹配等。
其中,所述序列标注模型可以包括条件随机场模型(conditional random field,CRF),长短期记忆网络模型(Long Short-Term Memory,LSTM),双向长短期记忆网络模型(Bi-directional Long Short-Term Memory,Bi-LSTM)以及Bi-LSTM+CRF等模型。具体的,可以通过序列标注模型为目标文本中的每个词打上对应的属性标签,以完成槽位填充,例如:“我要听老狼的在路上的摇滚版”,经由序列标注模型的算法处理后输出的标记为:我要听[老狼]_artist的[在路上]_song的[摇滚]_genre版,其中,在该目标文本中识别得到三组槽值对,分别为[老狼]artist:目标槽位为artist、目标关键词为“老狼”;[在路上]song:目标槽位为song、目标关键词为“在路上”;[摇滚]genre:目标槽位为genre、目标关键词为“摇滚”。
需要说明的是,针对同一个目标文本,可能会识别出多组不同的槽值对,例如,针对目标文本“我要听老狼的在路上的摇滚版”,经由序列标注模型的算法处理后输出的标记也可以为:我要听[老狼]_artist的[在路上的摇滚]_song版,其中,在该目标文本中识别得到两组槽值对,分别为[老狼]artist:目标槽位为artist、目标关键词为“老狼”;[在路上的摇滚]song:目标槽位为song、目标关键词为“在路上的摇滚”。经由序列标注模型的算法处理后输出的标记也可以为:我要听[老狼]_artist的在路上的[摇滚]_genre版,其中,在该目标文本中识别得到两组槽值对,分别为[老狼]artist:目标槽位为artist、目标关键词为“老狼”;[摇滚]genre:目标槽位为genre、目标关键词为“摇滚”。
所述词典匹配可以为字典树(Trie)匹配方法,具体的,可以将所有的样本文本组成字典树结构,该字典树结构中的每个节点为样本文本中的槽位和关键词,基于字典树结构匹配的优点是利用字典树中样本文本的公共前缀槽位来减少查询时间,最大限度地减少无谓的字符串比较,查询效率高。
步骤103、针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系。
在该步骤中,在获取到目标文本之后,可以直接从预先设置的样本库中,确定与所述目标文本匹配的目标意图,而不用在步骤102识别目标文本中的目标槽位和与所述目标槽位对应的目标关键词之后,再确定与样本文本匹配的目标意图。
具体的,所述样本库中包含文本与意图的对应关系如下表1所示,即样本文本中可以包括预先获取的多个文本,以及通过人工或模型确定的每个文本对应的意图,从而在获取到目标文本之后,可以在所述样本库包含的多个文本中,确定与目标文本相似度最高的文本,并根据文本与意图的对应关系,确定与目标文本相似度最高的文本对应的意图,可以认为该文本与目标文本具有相同的意图,因此,可以将该意图确定为与目标文本匹配的目标意图。
编号 文本 意图
1 我想听周杰伦的歌 听歌
2 播放周杰伦的七里香 听歌
3 北京天气情况 查询天气
4 上海到北京的航班信息 查询航班
表1
在本发明实施例中,可以将目标文本进行向量化标识,具体的,可以通过深度学习模型将目标文本表示成一个连续的高维向量,获得目标文本对应的目标文本向量,例如,目标文本“播放音乐”通过深度学习模型之后,可以输出一个100维的连续向量[0.11,0.24,0.33,......,0.09],同时,可以用相同的方法预先将样本库中包含的多个文本也以文本向量的形式展示。
由于文本对应的高维文本向量中包含有文本中各字符或词语之间的逻辑关系,使得文本向量具有一定的语义关联度,从而利用目标文本向量与样本库中的文本向量进行匹配,从文本库中确定与目标文本相似度最高的文本时,不仅仅是根据目标文本和文本中是否包含相同的字符来确定两者的相似度,还考虑到目标文本和文本是否具有相似的语义,使用向量方式代替文本方式进行检索匹配,可以提升语义级召回,提高匹配过程的准确度。
在本发明实施例中,在所述样本库包含的多个文本中,确定与目标文本相似度最高的文本的检索算法可以包括:HNSW,ANNOY,FAISS等。
其中,HNSW可以同时达到极快的搜索速度和较高的搜索精度,但是内存占用量也很大,同样不适合十亿级或以上的数据量;FAISS是Facebook AI基于C++语言编写的一款开源、针对多媒体文件相似性搜索的算法库,FAISS支持开发人员对检索速度、内存使用和检索精度等的优化设置,但它仅仅是一个算法库,并且对开发人员有较高的使用要求;ANNOY是Spotify发布的向量检索算法库,使用基于树的最近邻搜索算法,ANNOY的搜索速度很快,而且支持多进程读取数据,但由于搜索时会将原数据加载到内存,导致内存占用量很大,因此不适合十亿级或以上的数据量。
步骤104、根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
在该步骤中,根据步骤102中确定的目标文本中的目标槽位和目标关键词,以及步骤103中确定的目标文本匹配的目标意图,生成目标文本的意图识别结果并输出,以供问答系统、人机交互系统等涉及自然语言处理的应用系统针对所述目标文本进行响应。
例如,系统识别用户语句对应的目标文本为“我要听老狼的在路上”,若识别该目标文本中包含:第一目标槽位为artist,对应的第一目标关键词为“老狼”,第二目标槽位为song,对应的第二目标关键词为“在路上”;在如表1所示的预先设置的样本库中,确定与目标文本相似度最高的为第二个文本“播放周杰伦的七里香”,该文本对应的意图为“听歌”,因此,可以确定与目标文本匹配的目标意图为“听歌”。
综上,可以将[听歌]目标意图、[老狼]artist、[在路上]最为目标文本意图识别结果并输出。
综上所述,本发明实施例提供的一种文本意图的识别方法,包括:获取目标文本;针对目标文本,识别目标文本中的目标槽位和与目标槽位对应的目标关键词;针对目标文本,从预先设置的样本库中,确定与目标文本匹配的目标意图,样本库中包含文本与意图的对应关系;根据目标意图、目标关键词和目标槽位,生成目标文本的意图识别结果。本发明中针对目标文本,确定与目标文本匹配的目标意图的过程,与识别目标文本中的目标槽位和目标关键词的过程相互独立,使得识别槽位和关键词步骤中产生的误差,不会影响确定目标意图过程的准确度,避免了错误的积累,从而提高了用户意图识别过程的准确度,同时,识别目标文本中的目标槽位和目标关键词的过程,可以与确定与目标文本匹配的目标意图的过程同时进行,从而减少用户意图识别过程所用的时间,提升用户的使用体验度。
图2是本发明实施例提供的另一种文本意图的识别方法的步骤流程图,如图2所示,该方法可以包括:
步骤201、获取目标文本。
该步骤具体可以参照上述步骤101,此处不再赘述。
步骤202、针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词。
该步骤具体可以参照上述步骤102,此处不再赘述。
步骤203、针对所述目标文本,从所述预先设置的样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。
在该步骤中,在针对目标文本,从预先设置的样本库中确定与所述目标文本相似度最高的样本文本,以及根据该样本文本确定与目标文本匹配的目标意图时,可以先从样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本,再从所述至少一个候选样本文本中确定与所述目标文本相似度最高的样本文本。通过两次匹配过程,提高匹配过程的准确度。
可选的,在样本库中还包含样本文本对应的样本文本向量的情况下,步骤203具体包括以下子步骤:
子步骤2031、利用深度学习模型,获取所述目标文本对应的目标文本向量。
在该步骤中,可以利用深度学习模型,对目标文本进行向量化标识,将目标文本表示成一个连续的高维向量,从而获得目标文本对应的目标文本向量。
子步骤2032、根据所述目标文本向量和所述样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。
在该步骤之前,预先设置文本库时,可以预先利用深度学习模型,将样本库中包含的多个样本文本也进行向量化标识,从而获得样本文本对应的样本文本向量。
在该步骤中,具体可以根据目标文本向量和样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。由于文本对应的高维文本向量中包含有文本中各字符或词语之间的逻辑关系,使得文本向量具有一定的语义关联度,从而利用目标文本向量与样本文本向量进行匹配,从文本库中确定与目标文本匹配的至少一个候选样本文本时,不仅仅是根据目标文本和样本文本中是否包含相同的字符来确定两者的匹配度,还考虑到目标文本和样本文本是否具有相似的语义,使用向量方式代替文本方式进行检索匹配,可以提升语义级召回,提高匹配过程的准确度。
可选的,子步骤2032可以包括以下步骤:
(1)根据所述目标文本向量和所述样本文本向量,计算所述目标文本与每个所述样本文本之间的文本距离。
在该步骤中,可以根据目标文本向量和样本文本向量,计算所述目标文本与每个所述样本文本之间的文本距离。
可选的,所述文本距离包括:欧几里得距离和余弦距离。
具体的,若目标文本向量为X1,样本文本向量为X2,在所述文本距离为欧几里得距离时,所述目标文本与每个所述样本文本之间的文本距离为:‖X1-X2‖,在所述文本距离为余弦距离时,所述目标文本与每个所述样本文本之间的文本距离为:
Figure BDA0002613683270000091
(2)将与所述目标文本的文本距离小于或等于预设距离的样本文本确定为所述候选样本文本。
在该步骤中,可以将样本库的多个样本文本中,与目标文本的文本距离小于或等于预设距离的样本文本,确定为候选样本文本,从而确定与所述目标文本匹配的至少一个候选样本文本。
例如,系统识别用户语句对应的目标文本为“我要听老狼的在路上”,在如表1所示的预先设置的样本库中,第一个样本文本与所述目标文本的文本距离为0.2,第二个样本文本与所述目标文本的文本距离为0.15,第三个样本文本与所述目标文本的文本距离为0.9,第四个样本文本与所述目标文本的文本距离为0.95,若预设距离为0.3,则可以将表1所示的预先设置的样本库中的第一个样本文本“我想听周杰伦的歌”和第二个样本文本“播放周杰伦的七里香”确定为与目标文本匹配的候选样本文本。
可选的,在所述样本库中还包含所述样本文本中的样本槽位和与所述样本槽位对应的样本关键词的情况下,子步骤2032还可以包括以下步骤:
(1)在每个所述样本文本中的样本槽位中确定目标样本槽位,所述目标样本槽位与所述目标槽位相同,并将每个所述样本文本中与所述目标样本槽位对应的样本关键词,替换为所述目标关键词,得到替换文本。
在该步骤之前,预先设置文本库时,可以将文本库中包含的样本文本也进行槽位和关键词识别,从而确定每个样本文本包含的样本槽位和与所述样本槽位对应的样本关键词,如表2所示。
Figure BDA0002613683270000101
表2
在该步骤中,可以将每个样本文本中的具有与目标文本的目标槽位相同的样本槽位,确定为目标样本槽位,并将样本文本中与所述目标样本槽位对应的样本关键词,替换为所述目标关键词,得到替换文本,使得替换文本和目标文本中相同的槽位对应的关键词也相同,由于确定候选样本文本的目的是将候选样本文本对应的意图确定为目标文本对应的意图,而意图与候选样本文本中的关键词没有关联关系,因此,将样本文本处理为替换文本的过程,可以避免关键词不同影响确定候选样本文本时的准确度。
例如,对于具有第一目标槽位artist,第一目标关键词为“老狼”,第二目标槽位song,第二目标关键词“在路上”的目标文本“我要听老狼的在路上”,判断表2中的第一个样本文本具有与目标文本相同的目标样本槽位artist,因此,将第一个样本文本中的目标样本槽位artist对应的关键词“周杰伦”替换为目标文本中的第一目标关键词“老狼”,从而得到第一个样本文本对应的第一替换文本“我想听老狼的歌”;判断表2中的第二个样本文本具有与目标文本相同的目标样本槽位artist和song,因此,将第二个样本文本中的目标样本槽位artist对应的关键词“周杰伦”替换为目标文本中的第一目标关键词“老狼”,将目标样本槽位song对应的关键词“七里香”替换为目标文本中的第二目标关键词“在路上”,从而得到第二个样本文本对应的第二替换文本“播放老狼的在路上”;判断表2中的第三个样本文本和第四个样本文本并不具有与目标文本相同的目标样本槽位,因此,不对第三个样本文本和第四个样本文本进行替换操作,可以直接将第三样本文本作为第三替换文本,将第四个样本文本作为第四替换文本,具体如表3所示。
编号 样本文本 替换文本
1 我想听周杰伦的歌 我想听老狼的歌
2 播放周杰伦的七里香 播放老狼的在路上
3 北京天气情况 北京天气情况
4 上海到北京的航班信息 上海到北京的航班信息
表3
(2)获取所述替换文本对应的替换文本向量。
在该步骤中,在根据样本文本确定了替换文本之后,可以进一步获取替换文本对应的替换文本向量,从而可以根据目标文本向量和替换文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。
(3)根据所述目标文本向量和所述替换文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个所述候选样本文本。
在该步骤中,可以根据所述目标文本向量和所述替换文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个所述候选样本文本。
具体的,可以通过目标文本向量和所述替换文本向量,计算所述目标文本和每个所述替换文本之间的文本距离,将与所述目标文本的文本距离小于或等于预设距离的替换文本确定为所述候选样本文本。
例如,系统识别用户语句对应的目标文本为“我要听老狼的在路上”,可以计算得到目标文本与如表3所列的多个替换文本之间的文本距离,第一个替换文本与所述目标文本的文本距离为0.15,第二个替换文本与所述目标文本的文本距离为0.1,第三个替换文本与所述目标文本的文本距离为0.9,第四个替换文本与所述目标文本的文本距离为0.95。
通过对比可知,目标文本与第一个替换文本之间的文本距离小于目标文本与第一个样本文本之间的文本距离,目标文本与第二个替换文本之间的文本距离小于目标文本与第二个样本文本之间的文本距离,由此可知,在将样本文本进一步处理为替换文本之后,可以避免关键词不同影响确定候选样本文本时的准确度,提高在样本库中确定与目标文本匹配的候选样本文本的准确度。
步骤204、计算每一个所述候选样本文本与所述目标文本的相似度。
在该步骤中,在样本库中确定了与目标文本匹配的至少一个候选样本文本之后,可以进一步计算每一个所述候选样本文本与所述目标文本的相似度,从而可以利用语义匹配,从至少一个候选样本文本确定与目标文本相似度最大的候选样本文本,进而将该候选样本文本对应的样本意图确定为目标文本对应的目标意图。
可选的,步骤204具体可以包括以下子步骤:
子步骤2041、确定所述候选样本文本对应的候选样本文本向量,并计算所述候选样本文本向量与所述目标文本向量之间的第一相似度。
在该步骤中,可以确定候选样本文本对应的候选样本文本向量,并计算候选样本文本向量与目标文本向量之间的第一相似度,所述第一相似度可以是一个实数。
具体的,可以将候选样本文本向量与目标文本向量之间的文本距离确定为所述第一相似度,该过程的具体实施方法可以参考上述子步骤2032,此处不再赘述。
此外,也可以将候选样本文本中与目标文本具有相同槽位对应的关键词,替换为目标文本中的目标关键词之后,再确定候选样本文本向量与目标文本向量之间的文本距离,该过程的具体实施方法可以参考上述子步骤2032,此处不再赘述。
子步骤2042、确定所述候选样本文本对应的候选槽位,以及与所述候选槽位对应的候选关键词,并计算所述候选槽位及对应的候选关键词,与所述目标槽位及对应的目标关键词之间的第二相似度。
在该步骤中,可以首选确定候选样本文本中的候选槽位,以及与所述候选槽位对应的候选关键词。
进一步的,计算所述候选槽位及对应的候选关键词,与所述目标槽位及对应的目标关键词之间的第二相似度。
具体的,可以通过计算候选槽位与目标槽位相同的个数或比例,并将与所述目标槽位相同的候选槽位的个数或比例所谓所述第二相似度,若所述第二相似度为所述个数,则所述第二相似度是一个大于或等于零的整数,若所述第二相似度为所述比例,则所述第二相似度是一个范围为[0,1]的正数。
子步骤2043、根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
在该步骤中,在确定了所述候选样本文本与所述目标文本的第一相似度和所述第二相似度之后,可以根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
具体的,可以采用决策树模型,根据所述第一相似度和所述第二相似度,预测候选样本文本与所述目标文本之间的相似度。
此外,也可以为所述第一相似度和所述第二相似度分配不同的比重,从而确定候选样本文本与所述目标文本之间的相似度。
可选的,步骤204还可以包括:
子步骤2044、在所述目标文本和所述候选样本文本中同时包含预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为1。
在该步骤中,在确定了候选样本文本与所述目标文本的第一相似度和所述第二相似度之后,可以进一步分析候选样本文本中是否包含有预设字符,从而确定候选样本文本与所述目标文本之间的第三相似度。
在本发明实施例中,所述预设字符可以是用户预先设置的,若所述目标文本中包含所述预设字符,则候选样本文本必须也包含该预设字符,因此,在所述目标文本和所述候选样本文本中同时包含预设字符时,可以确定所述候选样本文本与所述目标文本之间的第三相似度为1。
例如,若预设字符包括“航班信息”,即用户希望匹配到的样本文本中也必须包含“航班信息”的字符,若目标文本为“请查询今天西安到杭州的航班信息”,候选样本文本为“上海到北京的航班信息”,则可以确定候选样本文本与目标文本之间的第三相似度为1。
子步骤2045、在所述目标文本和所述候选样本文本中并未同时包含所述预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为0。
在该步骤中,所述预设字符可以是用户预先设置的,若所述目标文本中包含所述预设字符,而候选样本文本并未包含该预设字符,则可以确定所述候选样本文本与所述目标文本之间的第三相似度为0。
在确定了候选样本文本与目标文本的第一相似度和所述第二相似度之后,若进一步确定了候选样本文本与所述目标文本的第三相似度,则子步骤2043具体可以为:
子步骤2046、根据所述第一相似度、所述第二相似度和所述第三相似度,确定所述候选样本文本与所述目标文本之间的相似度。
在该步骤中,可以根据所述第一相似度、第二相似度和第三相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
具体的,可以采用决策树模型,根据所述第一相似度、第二相似度和第三相似度,预测候选样本文本与所述目标文本之间的相似度。
此外,也可以为所述第一相似度、第二相似度和第三相似度分配不同的比重,从而确定候选样本文本与所述目标文本之间的相似度。
可选的,步骤204还可以包括:
子步骤2047、在所述目标文本和所述候选样本文本中包含反义词的情况下,确定所述第四相似度为0。
在该步骤中,在确定了候选样本文本与所述目标文本的第一相似度和所述第二相似度之后,可以进一步分析目标文本和候选样本文本是否包含有反义词,从而确定候选样本文本与所述目标文本之间的第四相似度。
例如,若目标文本为“请将音量调大”,候选样本文本为“请调小音量”,则可以确定目标文本和样本文本虽然包含相同的字符很多,但是语义是相反的,因此可以确定候选样本文本与目标文本之间的第四相似度为0。
子步骤2048、在所述目标文本和所述候选样本文本中不包含反义词的情况下,确定所述第四相似度为1。
在该步骤中,若判断目标文本和所述候选样本文本中不包含反义词,则可以确定候选样本文本与目标文本之间的第四相似度为1。
在确定了候选样本文本与目标文本的第一相似度和所述第二相似度之后,若进一步确定了候选样本文本与所述目标文本的第四相似度,则子步骤2043具体可以为:
子步骤2049、根据所述第一相似度、所述第二相似度和所述第四相似度,确定所述候选样本文本与所述目标文本之间的相似度。
在该步骤中,可以根据所述第一相似度、第二相似度和第四相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
具体的,可以采用决策树模型,根据所述第一相似度、第二相似度和第四相似度,预测候选样本文本与所述目标文本之间的相似度。
此外,也可以为所述第一相似度、第二相似度和第四相似度分配不同的比重,从而确定候选样本文本与所述目标文本之间的相似度。
在该发明中,可以同时确定第一相似度、第二相似度、第三相似度和第四相似度,并根据第一相似度、第二相似度、第三相似度和第四相似度,确定候选样本文本与所述目标文本之间的相似度。
步骤205、根据所述对应关系,将与所述目标文本的相似度最大的候选样本文本对应的样本意图确定为所述目标意图。
在该步骤中,在计算得到每个所述候选样本文本与目标文本的相似度之后,可以在所述至少一个候选样本文本中确定与目标文本的相似度最高的候选样本文本,由于该候选样本文本与目标文本具有较高的相似度,则该候选样本文本与目标文本具有相似或相同的语义,因此,可以将该候选样本文本对应的样本意图确定为目标文本对应的目标意图。
步骤206、根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
该步骤具体可以参照上述步骤104,此处不再赘述。
需要说明的是,在本发明实施例中,不同的步骤可以由文本意图的识别系统中的不同部件执行,例如,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词的过程,以及从所述预先设置的样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本的过程,可以由现场可编程逻辑门阵列(Field Programmable GateArray,FPGA)执行;计算每一个所述候选样本文本与所述目标文本的相似度的过程可以由中央处理器(central processing unit,CPU)执行;获取所述文本对应的文本向量的过程可以由专用集成电路(Application Specific Integrated Circuit,ASIC)执行,即采用异构的方式提升处理速度。
综上所述,本发明实施例提供的一种文本意图的识别方法,包括:获取目标文本;针对目标文本,识别目标文本中的目标槽位和与目标槽位对应的目标关键词;针对目标文本,从预先设置的样本库中,确定与目标文本匹配的目标意图,样本库中包含文本与意图的对应关系;根据目标意图、目标关键词和目标槽位,生成目标文本的意图识别结果。本发明中针对目标文本,确定与目标文本匹配的目标意图的过程,与识别目标文本中的目标槽位和目标关键词的过程相互独立,使得识别槽位和关键词步骤中产生的误差,不会影响确定目标意图过程的准确度,避免了错误的积累,从而提高了用户意图识别过程的准确度,同时,识别目标文本中的目标槽位和目标关键词的过程,可以与确定与目标文本匹配的目标意图的过程同时进行,从而减少用户意图识别过程所用的时间,提升用户的使用体验度。
此外,样本库中还包括样本文本对应的样本文本向量,从而在样本库中确定与目标文本匹配的样本文本时,可以利用目标文本对应的目标文本向量和样本文本向量,即使用向量方式代替文本方式进行检索匹配,由于文本向量具有一定的语义关联度,从而可以提升检索过程的语义级召回,提高匹配过程的准确度。
图3是本发明实施例提供的一种文本意图的识别装置的框图,如图3所示,该装置可以包括:
获取模块301,用于获取目标文本;
识别模块302,用于针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词;
确定模块303,用于针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系;
生成模块304,用于根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
可选的,所述样本库中包含多个样本文本,以及样本文本与样本意图的对应关系;
所述确定模块303,包括:
确定子模块,用于从所述预先设置的样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本;
计算子模块,用于计算每一个所述候选样本文本与所述目标文本的相似度,并根据所述对应关系,将与所述目标文本的相似度最大的候选样本文本对应的样本意图确定为所述目标意图。
可选的,所述样本库中还包含所述样本文本对应的样本文本向量;
所述确定子模块,包括:
获取单元,用于利用深度学习模型,获取所述目标文本对应的目标文本向量;
第一确定单元,用于根据所述目标文本向量和所述样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。
可选的,所述第一确定单元,具体包括:
计算子单元,用于根据所述目标文本向量和所述样本文本向量,计算所述目标文本与每个所述样本文本之间的文本距离;
第一确定子单元,用于将与所述目标文本的文本距离小于或等于预设距离的样本文本确定为所述候选样本文本。
可选的,所述文本距离包括:欧几里得距离和余弦距离。
可选的,所述样本库中还包含所述样本文本中的样本槽位和与所述样本槽位对应的样本关键词;
所述第一确定单元,包括:
替换子单元,用于在每个所述样本文本中的样本槽位中确定目标样本槽位,所述目标样本槽位与所述目标槽位相同,并将每个所述样本文本中与所述目标样本槽位对应的样本关键词,替换为所述目标关键词,得到替换文本;
获取子单元,用于获取所述替换文本对应的替换文本向量;
第二确定子单元,用于根据所述目标文本向量和所述替换文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个所述候选样本文本。
可选的,所述计算子模块,包括:
第一计算单元,用于确定所述候选样本文本对应的候选样本文本向量,并计算所述候选样本文本向量与所述目标文本向量之间的第一相似度;
第二计算单元,用于确定所述候选样本文本对应的候选槽位,以及与所述候选槽位对应的候选关键词,并计算所述候选槽位及对应的候选关键词,与所述目标槽位及对应的目标关键词之间的第二相似度;
第二确定单元,用于根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
可选的,所述装置还包括:
第三确定单元,用于在所述目标文本和所述候选样本文本中同时包含预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为1;
第四确定单元,用于在所述目标文本和所述候选样本文本中并未同时包含所述预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为0;
所述第二确定单元,包括:
第三确定子单元,用于根据所述第一相似度、所述第二相似度和所述第三相似度,确定所述候选样本文本与所述目标文本之间的相似度。
可选的,所述装置还包括:
第五确定单元,用于在所述目标文本和所述候选样本文本中包含反义词的情况下,确定所述第四相似度为0;
第六确定单元,用于在所述目标文本和所述候选样本文本中不包含反义词的情况下,确定所述第四相似度为1;
所述第二确定单元,包括:
第四确定子单元,用于根据所述第一相似度、所述第二相似度和所述第四相似度,确定所述候选样本文本与所述目标文本之间的相似度。
综上所述,本发明实施例提供的一种文本意图的识别装置,包括:获取目标文本;针对目标文本,识别目标文本中的目标槽位和与目标槽位对应的目标关键词;针对目标文本,从预先设置的样本库中,确定与目标文本匹配的目标意图,样本库中包含文本与意图的对应关系;根据目标意图、目标关键词和目标槽位,生成目标文本的意图识别结果。本发明中针对目标文本,确定与目标文本匹配的目标意图的过程,与识别目标文本中的目标槽位和目标关键词的过程相互独立,使得识别槽位和关键词步骤中产生的误差,不会影响确定目标意图过程的准确度,避免了错误的积累,从而提高了用户意图识别过程的准确度,同时,识别目标文本中的目标槽位和目标关键词的过程,可以与确定与目标文本匹配的目标意图的过程同时进行,从而减少用户意图识别过程所用的时间,提升用户的使用体验度。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
优选的,本发明实施例还提供一种计算机设备,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述文本意图的识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述文本意图的识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是:上述各个实施例的任意组合应用都是可行的,故上述各个实施例之间的任意组合都是本发明的实施方案,但是由于篇幅限制,本说明书在此就不一一详述了。
在此提供的文本意图的识别方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文本意图的识别方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种文本意图的识别方法,其特征在于,所述方法包括:
获取目标文本;
针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词;
针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系,其中,确定与所述目标文本匹配的所述目标意图的过程,与识别目标文本中的所述目标槽位和所述目标关键词的过程相互独立;
根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
2.根据权利要求1所述的方法,其特征在于,所述样本库中包含多个样本文本,以及样本文本与样本意图的对应关系;
所述从预先设置的样本库中,确定与所述目标文本匹配的目标意图的步骤,包括:
从所述预先设置的样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本;
计算每一个所述候选样本文本与所述目标文本的相似度,并根据所述对应关系,将与所述目标文本的相似度最大的候选样本文本对应的样本意图确定为所述目标意图。
3.根据权利要求2所述的方法,其特征在于,所述样本库中还包含所述样本文本对应的样本文本向量;
所述从所述预先设置的样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本的步骤,包括:
利用深度学习模型,获取所述目标文本对应的目标文本向量;
根据所述目标文本向量和所述样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标文本向量和所述样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本的步骤,具体包括:
根据所述目标文本向量和所述样本文本向量,计算所述目标文本与每个所述样本文本之间的文本距离;
将与所述目标文本的文本距离小于或等于预设距离的样本文本确定为所述候选样本文本。
5.根据权利要求4所述的方法,其特征在于,所述文本距离包括:欧几里得距离和余弦距离。
6.根据权利要求3所述的方法,其特征在于,所述样本库中还包含所述样本文本中的样本槽位和与所述样本槽位对应的样本关键词;
所述根据所述目标文本向量和所述样本文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个候选样本文本的步骤,包括:
在每个所述样本文本中的样本槽位中确定目标样本槽位,所述目标样本槽位与所述目标槽位相同,并将每个所述样本文本中与所述目标样本槽位对应的样本关键词,替换为所述目标关键词,得到替换文本;
获取所述替换文本对应的替换文本向量;
根据所述目标文本向量和所述替换文本向量,从所述样本库的多个样本文本中,确定与所述目标文本匹配的至少一个所述候选样本文本。
7.根据权利要求6所述的方法,其特征在于,所述计算每一个所述候选样本文本与所述目标文本的相似度的步骤,包括:
确定所述候选样本文本对应的候选样本文本向量,并计算所述候选样本文本向量与所述目标文本向量之间的第一相似度;
确定所述候选样本文本对应的候选槽位,以及与所述候选槽位对应的候选关键词,并计算所述候选槽位及对应的候选关键词,与所述目标槽位及对应的目标关键词之间的第二相似度;
根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度。
8.根据权利要求7所述的方法,其特征在于,在所述根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度的步骤之前,所述方法还包括:
在所述目标文本和所述候选样本文本中同时包含预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为1;
在所述目标文本和所述候选样本文本中并未同时包含所述预设字符的情况下,确定所述候选样本文本与所述目标文本之间的第三相似度为0;
所述根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度的步骤,包括:
根据所述第一相似度、所述第二相似度和所述第三相似度,确定所述候选样本文本与所述目标文本之间的相似度。
9.根据权利要求7所述的方法,其特征在于,在所述根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度的步骤之前,所述方法还包括:
在所述目标文本和所述候选样本文本中包含反义词的情况下,确定第四相似度为0;
在所述目标文本和所述候选样本文本中不包含反义词的情况下,确定所述第四相似度为1;
所述根据所述第一相似度和所述第二相似度,确定每一个所述候选样本文本与所述目标文本之间的相似度的步骤,包括:
根据所述第一相似度、所述第二相似度和所述第四相似度,确定所述候选样本文本与所述目标文本之间的相似度。
10.一种文本意图的识别装置,其特征在于,所述装置包括:
获取模块,用于获取目标文本;
识别模块,用于针对所述目标文本,识别所述目标文本中的目标槽位和与所述目标槽位对应的目标关键词;
确定模块,用于针对所述目标文本,从预先设置的样本库中,确定与所述目标文本匹配的目标意图,所述样本库中包含文本与意图的对应关系,其中,确定与所述目标文本匹配的所述目标意图的过程,与识别目标文本中的所述目标槽位和所述目标关键词的过程相互独立;
生成模块,用于根据所述目标意图、所述目标关键词和所述目标槽位,生成所述目标文本的意图识别结果。
CN202010763286.4A 2020-07-31 2020-07-31 一种文本意图的识别方法及装置 Active CN112069828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010763286.4A CN112069828B (zh) 2020-07-31 2020-07-31 一种文本意图的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763286.4A CN112069828B (zh) 2020-07-31 2020-07-31 一种文本意图的识别方法及装置

Publications (2)

Publication Number Publication Date
CN112069828A CN112069828A (zh) 2020-12-11
CN112069828B true CN112069828B (zh) 2023-07-04

Family

ID=73656934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763286.4A Active CN112069828B (zh) 2020-07-31 2020-07-31 一种文本意图的识别方法及装置

Country Status (1)

Country Link
CN (1) CN112069828B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507704B (zh) * 2020-12-15 2023-10-03 中国联合网络通信集团有限公司 多意图识别方法、装置、设备及存储介质
CN113221644A (zh) * 2021-04-06 2021-08-06 珠海远光移动互联科技有限公司 槽位词的识别方法、装置、存储介质及电子设备
CN114020898B (zh) * 2022-01-07 2022-04-19 和美(深圳)信息技术股份有限公司 人机自动对话方法、装置、电子设备及存储介质
CN116933800B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 一种基于模版的生成式意图识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145085A (zh) * 2018-07-18 2019-01-04 北京市农林科学院 语义相似度的计算方法及系统
CN109785833A (zh) * 2019-01-02 2019-05-21 苏宁易购集团股份有限公司 用于智能设备的人机交互语音识别方法及系统
CN110674259A (zh) * 2019-09-27 2020-01-10 北京百度网讯科技有限公司 意图理解方法和装置
CN111062200A (zh) * 2019-12-12 2020-04-24 北京声智科技有限公司 一种话术泛化方法、话术识别方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3575987A1 (en) * 2018-06-01 2019-12-04 Fortia Financial Solutions Extracting from a descriptive document the value of a slot associated with a target entity
CN111104495B (zh) * 2019-11-19 2023-07-28 深圳追一科技有限公司 基于意图识别的信息交互方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145085A (zh) * 2018-07-18 2019-01-04 北京市农林科学院 语义相似度的计算方法及系统
CN109785833A (zh) * 2019-01-02 2019-05-21 苏宁易购集团股份有限公司 用于智能设备的人机交互语音识别方法及系统
CN110674259A (zh) * 2019-09-27 2020-01-10 北京百度网讯科技有限公司 意图理解方法和装置
CN111062200A (zh) * 2019-12-12 2020-04-24 北京声智科技有限公司 一种话术泛化方法、话术识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN112069828A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112069828B (zh) 一种文本意图的识别方法及装置
CN112214593B (zh) 问答处理方法、装置、电子设备及存储介质
US11016997B1 (en) Generating query results based on domain-specific dynamic word embeddings
US9477761B2 (en) Search method, search apparatus and search engine system
CN102479191B (zh) 提供多粒度分词结果的方法及其装置
CN117235226A (zh) 一种基于大语言模型的问题应答方法及装置
US9645988B1 (en) System and method for identifying passages in electronic documents
US20130060769A1 (en) System and method for identifying social media interactions
CN109828981B (zh) 一种数据处理方法及计算设备
CN111488468B (zh) 地理信息知识点抽取方法、装置、存储介质及计算机设备
CN110781687B (zh) 相同意图语句的获取方法及装置
CN110955766A (zh) 一种自动扩充智能客服标准问题对的方法和系统
CN109885641B (zh) 一种数据库中文全文检索的方法及系统
CN116662518A (zh) 问答方法、装置、电子设备及可读存储介质
CN110263127A (zh) 基于用户查询词进行文本搜索方法及装置
CN115688779B (zh) 一种基于自监督深度学习的地址识别方法
CN113901783B (zh) 面向领域的文档查重方法及系统
CN111859079A (zh) 信息搜索方法、装置、计算机设备及存储介质
CN103136221A (zh) 一种生成需求模板的方法、需求识别的方法及其装置
CN111858860B (zh) 搜索信息处理方法及系统、服务器、计算机可读介质
CN107609006B (zh) 一种基于地方志研究的搜索优化方法
CN114970541A (zh) 文本语义理解方法、装置、设备及存储介质
CN112579774A (zh) 模型训练方法、模型训练装置及终端设备
CN109815312B (zh) 一种文档查询的方法、装置、计算设备及计算机存储介质
CN110968691B (zh) 司法热点确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant