CN113343692A - 搜索意图的识别方法、模型训练方法、装置、介质及设备 - Google Patents

搜索意图的识别方法、模型训练方法、装置、介质及设备 Download PDF

Info

Publication number
CN113343692A
CN113343692A CN202110799096.2A CN202110799096A CN113343692A CN 113343692 A CN113343692 A CN 113343692A CN 202110799096 A CN202110799096 A CN 202110799096A CN 113343692 A CN113343692 A CN 113343692A
Authority
CN
China
Prior art keywords
vector
text
search
feature
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110799096.2A
Other languages
English (en)
Other versions
CN113343692B (zh
Inventor
王炜
解忠乾
孙翠荣
姚澜
罗川江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Cloud Music Technology Co Ltd
Original Assignee
Hangzhou Netease Cloud Music Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Cloud Music Technology Co Ltd filed Critical Hangzhou Netease Cloud Music Technology Co Ltd
Priority to CN202110799096.2A priority Critical patent/CN113343692B/zh
Publication of CN113343692A publication Critical patent/CN113343692A/zh
Application granted granted Critical
Publication of CN113343692B publication Critical patent/CN113343692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施方式涉及搜索意图的识别方法和搜索意图识别模型的训练方法、装置、存储介质及电子设备，涉及计算机技术领域。所述搜索意图的识别方法包括：获取待识别文本；对所述待识别文本进行拆分处理，得到所述待识别文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；根据所述文本单元中的实体和词语生成所述待识别文本的第一向量，以及根据所述文本单元中的字生成所述待识别文本的第二向量；将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量，并根据所述聚合特征向量确定所述待识别文本的识别结果。本发明提高了搜索意图识别的准确率。

Description

搜索意图的识别方法、模型训练方法、装置、介质及设备
技术领域
本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及搜索意图的识别方法、搜索意图识别模型的训练方法、搜索意图识别装置、搜索意图识别模型的训练装置、计算机可读存储介质及电子设备。
背景技术
本部分旨在为权利要求中陈述的本发明的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
随着互联网等的发展，用户可以通过应用程序中的搜索功能输入搜索信息，来检索出想要查询的内容。例如，在音乐App(Application，应用程序)中，用户可以输入搜索文本，使得服务端可以根据搜索文本匹配查询结果以反馈给用户。通过这种方式，可以帮助用户快速定位查询信息，提高信息获取效率。
发明内容
然而，随着信息类型和内容的不断丰富，用户对于搜索文本的搜索意图也不尽相同。例如，在音乐App中，用户输入歌词文本时，有可能是想要查询歌词文本对应的歌曲，也可能是想要查询歌词文本对应的艺人。因此，在确定搜索结果时，需要预先判断用户的搜索意图，以确定与用户的搜索意图相匹配的搜索结果。
为此，非常需要一种搜索意图的识别方法和搜索意图识别模型的训练方法，以在应用程序中识别用户输入的搜索文本的搜索意图，提高意图识别的准确率，便于确定搜索结果。
在本上下文中，本发明的实施方式期望提供一种搜索意图的识别方法、搜索意图识别模型的训练方法、搜索意图的识别装置、搜索意图识别模型的训练装置、计算机可读存储介质及电子设备。
根据本发明实施方式的第一方面，提供一种搜索意图的识别方法，所述方法包括：获取待识别文本；对所述待识别文本进行拆分处理，得到所述待识别文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；根据所述文本单元中的实体和词语生成所述待识别文本的第一向量，以及根据所述文本单元中的字生成所述待识别文本的第二向量；将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量，并根据所述聚合特征向量确定所述待识别文本的识别结果。
在一种可选的实施方式中，在对所述待识别文本进行拆分处理时，所述方法包括：获取预先构建的分词词典和实体词典；利用前向最大匹配算法将所述待识别文本分别与所述分词词典和所述实体词典进行匹配，得到由所述待识别文本拆分而成的词语和/或实体。
在一种可选的实施方式中，在根据所述文本单元中的实体和词语生成所述待识别文本的第一向量时，所述方法包括：当所述文本单元中包括实体和词语时，对所述文本单元中的实体和词语分别进行向量化处理，得到实体向量和词语向量；以及拼接所述实体向量和所述词语向量，以得到所述第一向量；当所述文本单元中包括实体和词语中的任意一种时，对所述实体或所述词语进行向量化处理，以得到所述第一向量。
在一种可选的实施方式中，所述搜索意图识别模型包括第一特征提取网络和第二特征提取网络，在将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量时，所述方法包括：将所述第一向量和所述第二向量分别输入至所述第一特征提取网络中，提取所述第一向量的特征向量和所述第二向量的特征向量，并计算所述第一向量的注意力权重和所述第二向量的注意力权重；将所述第一向量的注意力权重与所述第一向量的特征向量相乘，得到所述第一向量的第一特征向量；以及将所述第二向量的注意力权重与所述第二向量的特征向量相乘，得到所述第二向量的第二特征向量；将所述第一特征向量和所述第二特征向量相加，得到所述第一向量和所述第二向量的组合特征向量；将所述组合特征向量输入至所述第二特征提取网络中，对所述组合特征向量进行聚合，以得到所述聚合特征向量。
在一种可选的实施方式中，所述第一特征提取网络包括双向门控循环神经网络，所述将所述第一向量和所述第二向量分别输入至所述第一特征提取网络中，提取所述第一向量的特征向量和所述第二向量的特征向量，并计算所述第一向量的注意力权重和所述第二向量的注意力权重，包括：分别以所述第一向量和所述第二向量为输入向量，将所述输入向量输入至所述双向门控循环神经网络中进行双向处理，得到所述输入向量对应的各个时间步的输出向量；将所述输入向量对应的各个时间步的输出向量进行拼接处理，以得到所述第一向量的特征向量和所述第二向量的特征向量；依据所述输入向量对应的各个时间步的输出向量计算所述输入向量的注意力权重，得到所述第一向量的注意力权重和所述第二向量的注意力权重。
在一种可选的实施方式中，所述将所述输入向量输入至所述双向门控循环神经网络中进行双向处理，得到所述输入向量对应的各个时间步的输出向量，包括：将所述输入向量输入至所述双向门控循环神经网络中的前向层网络，得到所述输入向量对应的各个时间步的正向输出向量；将所述输入向量的逆序向量输入至所述双向门控循环神经网络中的后向层网络，得到所述输入向量对应的各个时间步的反向输出向量。
在一种可选的实施方式中，所述依据所述输入向量对应的各个时间步的输出向量计算所述输入向量的注意力权重，得到所述第一向量的注意力权重和所述第二向量的注意力权重，包括：将所述正向输出向量和所述反向输出向量进行叠加，得到所述输入向量对应的各个时间步的输出向量；将所述输入向量对应的各个时间步的输出向量聚合成二维向量，以得到所述第一向量对应的各个时间步的二维向量和所述第二向量对应的各个时间步的二维向量；通过第一激活函数对所述第一向量对应的各个时间步的二维向量和所述第二向量对应的各个时间步的二维向量的和向量进行处理，确定所述第一向量的注意力权重和所述第二向量的注意力权重。
在一种可选的实施方式中，所述第二特征提取网络包括一个或多个具有相同编码结构的残差网络，前一个残差网络的输出向量为下一个残差网络的输入向量，且每个所述残差网络包括输入层、编码层和输出层，所述将所述组合特征向量输入至所述第二特征提取网络中，对所述组合特征向量进行聚合，以得到所述聚合特征向量，包括：在每个残差网络中，通过所述残差网络的输入层中的第二激活函数计算所述组合特征向量的聚合权重，并通过所述残差网络的编码层对所述组合特征向量进行编码处理，并将处理后的组合特征向量经所述残差网络的输出层输出，得到所述残差网络的编码向量；基于所述聚合权重，对所述编码向量和所述组合特征向量进行加权处理，并将加权处理后的编码向量和组合特征向量相加，得到所述组合特征向量在所述每个残差网络中的输出向量。
在一种可选的实施方式中，所述根据所述聚合特征向量确定所述待识别文本的识别结果，包括：通过全连接网络对所述聚合特征向量进行处理，并通过第三激活函数计算处理后的聚合特征向量的识别概率，以得到所述待识别文本的识别结果。
根据本发明实施方式的第二方面，提供一种搜索意图识别模型的训练方法，所述方法包括：获取搜索文本，并对所述搜索文本进行拆分处理，得到所述搜索文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据；采用初始的搜索意图识别模型对所述训练数据进行意图分析，得到表征所述训练数据的搜索意图的识别结果；基于所述识别结果和所述训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
在一种可选的实施方式中，所述搜索文本包括正样本文本和负样本文本，在对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据时，所述方法包括：在所述正样本文本的文本单元中，将多个实体与多个关键词进行组合，生成所述搜索文本的正样本训练数据；和/或在所述负样本文本的文本单元中，将多个实体与多个关键词进行组合，生成所述搜索文本的负样本训练数据；其中，所述正样本训练数据和所述负样本训练数据的数据量比例符合预设比例。
在一种可选的实施方式中，所述采用初始的搜索意图识别模型对所述训练数据进行意图分析，得到表征所述训练数据的搜索意图的识别结果，包括：将所述训练数据划分为多个批次；将每个批次的训练数据输入至所述初始的搜索意图识别模型进行意图分析，得到每个批次的训练数据的搜索意图的识别结果；所述基于所述识别结果和所述训练数据的标签数据，调整所述搜索意图识别模型的模型参数，包括：基于所述每个批次的训练数据的搜索意图的识别结果，以及所述每个批次的训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
根据本发明实施方式的第三方面，提供一种搜索意图的识别装置，所述装置包括：获取模块，用于获取待识别文本；拆分模块，用于对所述待识别文本进行拆分处理，得到所述待识别文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；生成模块，用于根据所述文本单元中的实体和词语生成所述待识别文本的第一向量，以及根据所述文本单元中的字生成所述待识别文本的第二向量；确定模块，用于将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量，并根据所述聚合特征向量确定所述待识别文本的识别结果。
在一种可选的实施方式中，在对所述待识别文本进行拆分处理时，所述拆分模块，被配置为：获取预先构建的分词词典和实体词典；利用前向最大匹配算法将所述待识别文本分别与所述分词词典和所述实体词典进行匹配，得到由所述待识别文本拆分而成的词语和/或实体。
在一种可选的实施方式中，在根据所述文本单元中的实体和词语生成所述待识别文本的第一向量时，所述生成模块，被配置为：当所述文本单元中包括实体和词语时，对所述文本单元中的实体和词语分别进行向量化处理，得到实体向量和词语向量；以及拼接所述实体向量和所述词语向量，以得到所述第一向量；当所述文本单元中包括实体和词语中的任意一种时，对所述实体或所述词语进行向量化处理，以得到所述第一向量。
在一种可选的实施方式中，所述搜索意图识别模型包括第一特征提取网络和第二特征提取网络，在将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量时，所述确定模块，被配置为：将所述第一向量和所述第二向量分别输入至所述第一特征提取网络中，提取所述第一向量的特征向量和所述第二向量的特征向量，并计算所述第一向量的注意力权重和所述第二向量的注意力权重；将所述第一向量的注意力权重与所述第一向量的特征向量相乘，得到所述第一向量的第一特征向量；以及将所述第二向量的注意力权重与所述第二向量的特征向量相乘，得到所述第二向量的第二特征向量；将所述第一特征向量和所述第二特征向量相加，得到所述第一向量和所述第二向量的组合特征向量；将所述组合特征向量输入至所述第二特征提取网络中，对所述组合特征向量进行聚合，以得到所述聚合特征向量。
在一种可选的实施方式中，所述第一特征提取网络包括双向门控循环神经网络，所述确定模块，还被配置为：分别以所述第一向量和所述第二向量为输入向量，将所述输入向量输入至所述双向门控循环神经网络中进行双向处理，得到所述输入向量对应的各个时间步的输出向量；将所述输入向量对应的各个时间步的输出向量进行拼接处理，以得到所述第一向量的特征向量和所述第二向量的特征向量；依据所述输入向量对应的各个时间步的输出向量计算所述输入向量的注意力权重，得到所述第一向量的注意力权重和所述第二向量的注意力权重。
在一种可选的实施方式中，所述确定模块，还被配置为：将所述输入向量输入至所述双向门控循环神经网络中的前向层网络，得到所述输入向量对应的各个时间步的正向输出向量；将所述输入向量的逆序向量输入至所述双向门控循环神经网络中的后向层网络，得到所述输入向量对应的各个时间步的反向输出向量。
在一种可选的实施方式中，所述确定模块，还被配置为：将所述正向输出向量和所述反向输出向量进行叠加，得到所述输入向量对应的各个时间步的输出向量；将所述输入向量对应的各个时间步的输出向量聚合成二维向量，以得到所述第一向量对应的各个时间步的二维向量和所述第二向量对应的各个时间步的二维向量；通过第一激活函数对所述第一向量对应的各个时间步的二维向量和所述第二向量对应的各个时间步的二维向量的和向量进行处理，确定所述第一向量的注意力权重和所述第二向量的注意力权重。
在一种可选的实施方式中，所述第二特征提取网络包括一个或多个具有相同编码结构的残差网络，前一个残差网络的输出向量为下一个残差网络的输入向量，且每个所述残差网络包括输入层、编码层和输出层，所述确定模块，还被配置为：在每个残差网络中，通过所述残差网络的输入层中的第二激活函数计算所述组合特征向量的聚合权重，并通过所述残差网络的编码层对所述组合特征向量进行编码处理，并将处理后的组合特征向量经所述残差网络的输出层输出，得到所述残差网络的编码向量；基于所述聚合权重，对所述编码向量和所述组合特征向量进行加权处理，并将加权处理后的编码向量和组合特征向量相加，得到所述组合特征向量在所述每个残差网络中的输出向量。
在一种可选的实施方式中，所述确定模块，还被配置为：通过全连接网络对所述聚合特征向量进行处理，并通过第三激活函数计算处理后的聚合特征向量的识别概率，以得到所述待识别文本的识别结果。
根据本发明实施方式的第四方面，提供一种搜索意图识别模型的训练装置，所述装置包括：获取模块，用于获取搜索文本，并对所述搜索文本进行拆分处理，得到所述搜索文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；生成模块，用于对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据；分析模块，用于采用初始的搜索意图识别模型对所述训练数据进行意图分析，得到表征所述训练数据的搜索意图的识别结果；调整模块，用于基于所述识别结果和所述训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
在一种可选的实施方式中，所述搜索文本包括正样本文本和负样本文本，在对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据时，所述生成模块，被配置为：在所述正样本文本的文本单元中，将多个实体与多个关键词进行组合，生成所述搜索文本的正样本训练数据；和/或在所述负样本文本的文本单元中，将多个实体与多个关键词进行组合，生成所述搜索文本的负样本训练数据；其中，所述正样本训练数据和所述负样本训练数据的数据量比例符合预设比例。
在一种可选的实施方式中，所述分析模块，被配置为：将所述训练数据划分为多个批次；将每个批次的训练数据输入至所述初始的搜索意图识别模型进行意图分析，得到每个批次的训练数据的搜索意图的识别结果；所述调整模块，被配置为：基于所述每个批次的训练数据的搜索意图的识别结果，以及所述每个批次的训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
根据本发明实施方式的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种搜索意图的识别方法和搜索意图识别模型的训练方法。
根据本发明实施方式的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种搜索意图的识别方法和搜索意图识别模型的训练方法。
根据本发明实施方式的搜索意图的识别方法、搜索意图识别模型的训练方法、搜索意图的识别装置、搜索意图识别模型的训练装置、计算机可读存储介质及电子设备，可以对获取的待识别文本进行拆分处理，得到待识别文本对应的文本单元，根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量，进而将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据该聚合特征向量确定待识别文本的识别结果。一方面，本示例性实施方式通过依据文本单元中的实体和词语生成第一向量，以及依据文本单元中的字生成第二向量，可以增加搜索意图识别的数据丰富度，提高搜索意图识别的准确率；另一方面，通过使用搜索意图识别模型提取第一向量和第二向量的聚合特征向量，可以增强模型的表达能力，充分学习待识别文本中的语义特征，提高搜索意图识别的准确率。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了根据本发明实施方式的一种系统架构的示意图；
图2示出了根据本发明实施方式的一种搜索意图的识别方法的流程图；
图3示出了根据本发明实施方式的一种搜索意图的识别方法的子流程图；
图4示出了根据本发明实施方式的另一种搜索意图的识别方法的子流程图；
图5示出了根据本发明实施方式的另一种搜索意图的识别方法的流程图；
图6示出了根据本发明实施方式的一种激活函数的示意图；
图7示出了根据本发明实施方式的一种搜索界面的示意图；
图8示出了根据本发明实施方式的再一种搜索意图的识别方法的流程图；
图9示出了根据本发明实施方式的一种搜索意图识别模型的训练方法的流程图；
图10示出了根据本发明实施方式的一种搜索意图的识别装置的结构图；
图11示出了根据本发明实施方式的一种搜索意图识别模型的训练装置的结构图；
图12示出了根据本发明实施方式的一种电子设备的结构图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提供一种搜索意图的识别方法、搜索意图识别模型的训练方法、搜索意图的识别装置、搜索意图识别模型的训练装置、计算机可读存储介质及电子设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐述本发明的原理和精神。
发明概述
本发明人发现，随着信息类型和内容的不断丰富，用户对于搜索文本的搜索意图也不尽相同。例如，在音乐App中，用户输入歌词文本时，有可能是想要查询歌词文本对应的歌曲，也可能是想要查询歌词文本对应的艺人。因此，在确定搜索结果时，需要预先判断用户的搜索意图，以确定与用户的搜索意图相匹配的搜索结果。
鉴于上述内容，本发明的基本思想在于：提供一种搜索意图的识别方法、搜索意图识别模型的训练方法、搜索意图的识别装置、搜索意图识别模型的训练装置、计算机可读存储介质及电子设备，可以对获取的待识别文本进行拆分处理，得到待识别文本对应的文本单元，根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量，进而将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据该聚合特征向量确定待识别文本的识别结果。一方面，本示例性实施方式通过依据文本单元中的实体和词语生成第一向量，以及依据文本单元中的字生成第二向量，可以增加搜索意图识别的数据丰富度，提高搜索意图识别的准确率；另一方面，通过使用搜索意图识别模型提取第一向量和第二向量的聚合特征向量，可以增强模型的表达能力，充分学习待识别文本中的语义特征，提高搜索意图识别的准确率。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
需要注意的是，下述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
在具备搜索功能的应用程序中，可以确定用户输入的待识别文本的搜索意图，进而可以根据用户的搜索意图进行内容推荐。例如，在音乐App中，可以根据用户输入的搜索文本确定用户的搜索意图，如用户想要查询的是歌词内容还是歌曲名称，进而确定与用户搜索意图匹配的搜索结果，使用户可以精准快速地获得结果数据。
示例性方法
相关技术的一种方案中，可以按照一定的顺序将用户输入的搜索文本与对应类型的文本内容进行匹配，来确定用户的搜索意图及其对应的搜索结果。以音乐App为例，可以首先将搜索文本与歌曲名称进行匹配，来确定歌曲名称与搜索文本相匹配的歌曲，如果没有匹配到相应的歌曲名称，则可以进一步将搜索文本与歌词内容进行匹配，来确定歌词与搜索文本相匹配的歌曲。然而，通过这种方法得到的搜索结果中包含大量不属于用户搜索意图的内容，即对于用户搜索意图的判定不够准确，由此得到的搜索结果也无法满足用户的搜索需求。
相关技术的另一种方案中，可以利用词典存储文本内容，在搜索文本与词典中的文本内容精确匹配时，将匹配内容对应的结果确定为搜索文本的搜索结果。例如，可以将歌词文本切片形成短歌词文本序列，将短歌词文本序列作为词典缓存起来，当用户输入的搜索文本与词典中缓存的短歌词文本精确匹配时给出搜索意图。这种方式要求用户输入的搜索文本具有比较高的完整性，当搜索文本比较模糊或者不完整时，则难以确定搜索文本的搜索意图，也就是说，这种方法在意图搜索场景中具有相当高的适用局限，无法满足各种应用场景下的搜索意图识别。
鉴于前述的一个或多个问题，本发明的示例性实施方式首先提供一种搜索意图的识别方法和搜索意图识别模型的训练方法。图1示出了该方法运行环境的系统架构图。如图1所示，该系统架构100可以包括：客户端110和服务端120。客户端110表示安装有具备搜索功能的应用程序的终端设备，如智能手机、平板电脑、个人电脑、智能穿戴设备、智能车载设备、游戏机等。服务端120表示具备搜索功能的应用程序的后台服务系统。客户端110和服务端120之间可以通过有线通信链路或无线通信链路等进行信息交互，例如，服务端120可以通过网络接收客户端110发送的搜索文本，并向客户端110发送关于搜索文本的搜索结果。
本示例性实施方式所提供的搜索意图识别方法和搜索意图识别模型的训练方法可以由客户端110和服务端120协同完成。例如，用户可以在客户端110上输入搜索文本，以生成包括搜索文本的访问请求并发送至服务端120，服务端120可以接收该访问请求，并依据访问请求中的搜索文本确定用户的搜索意图，进而确定搜索结果，然后向客户端110发送搜索结果。但本领域技术人员容易理解的是，本示例性实施方式所提供的搜索意图的识别方法和搜索意图识别模型的训练方法也可以由客户端110或服务端120独立完成，例如，可以由客户端110对用户输入的搜索文本进行意图识别，并按照识别结果输出搜索结果；或者客户端110可以将用户输入的搜索文本发送至服务端120，服务端120可以执行本示例性实施方式中的搜索意图识别方法和搜索意图识别模型的训练方法，确定用户输入的搜索文本的搜索意图，以便进一步确定搜索结果。
需要说明的是，本示例性实施方式对于图1中各设备的数量不做限制，例如可以根据实现需要而设置任意数量的客户端110，服务端120可以是由多台服务器形成的集群。
图2示出了由上述客户端110和/或服务端120所执行的搜索意图的识别方法的示例性流程，可以包括：
步骤S210，获取待识别文本；
步骤S220，对待识别文本进行拆分处理，得到待识别文本对应的文本单元，其中，文本单元包括字、词语和实体中的至少一种；
步骤S230，根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量；
步骤S240，将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据聚合特征向量确定待识别文本的识别结果。
下面分别对图2中的每个步骤做具体说明。
步骤S210中，获取待识别文本。
待识别文本可以是用户输入的搜索文本，可以包括字、词和实体、短语、特殊字符等。
本示例性实施方式中，可以通过客户端110获取用户输入的待识别文本，例如，用户可以在客户端110上安装的具备搜索功能的应用程序或搜索引擎中输入待识别文本。此外，待识别文本也可以通过识别用户输入的图片或语音等信息得到。例如，当用户通过客户端110录入语音搜索信息时，客户端110或服务端120可以对语音搜索信息进行语音识别处理，来确定待识别文本，或者用户也可以通过客户端110拍摄搜索图片，客户端110或服务端120可以对搜索图片进行图像识别处理，来提取搜索图片中的待识别文本。
步骤S220中，对待识别文本进行拆分处理，得到待识别文本对应的文本单元。
文本单元包括字、词语和实体中的至少一种。其中，词语是构成语句文章的最小结构形式单元，可以包括词和短语等；实体是指作为一个独立资源维度的文本，可以包括固定搭配词和一些特定短语等，且实体词可以根据所在语料场景的不同划分为不同的类型，例如，在音乐App中，实体可以包括艺人名、歌曲名称等；在影视类App中，实体可以包括影视资源名称、演员名、影视资源类型等。
在获取待识别文本后，可以对待识别文本进行拆分处理，使得待识别文本可以被划分为字、词和实体中的一种或多种。具体的，可以将待识别文本中的每个字划分为一个文本单元，即字；对于待识别文本中的词语和实体，可以利用预先配置的词库和实体词库分别对待识别文本进行分词处理，来得到待识别文本中的每个词语和每个实体。以词语为例，可以在上述词库中查找待识别文本中由连续的一个或多个字构成的词语，如果查找到相同的词语，则该词语为待识别文本对应的文本单元，按照这种方式在上述词库中依次查找各个长度的词语，以得到待识别文本拆分而成的所有词语。在一种可选的实施方式中，对于待识别文本中的词语，也可以采用相应的分词工具，如jieba(一种分词工具)、THULAC(由清华大学自然语言处理与社会人文计算实验室研发的一套中文词法分析工具包)等对待识别文本进行分词处理，得到待识别文本中的词语。
进一步的，在一种可选的实施方式中，也可以通过以下方法对待识别文本进行拆分处理：
获取预先构建的分词词典和实体词典；
利用前向最大匹配算法将待识别文本分别与分词词典和实体词典进行匹配，得到由待识别文本拆分而成的词语和/或实体。
其中，分词词典和实体词典分别可以是由操作人员配置的词语和/或短语的集合，且针对不同的应用领域，可以配置不同的分词词典和实体词典。
在对待识别文本进行拆分处理时，可以采用前向最大匹配算法将待识别文本与分词词典进行匹配，确定由待识别文本拆分而成的词语。相应的，可以采用前向最大匹配算法将待识别文本与实体词典进行匹配，确定由待识别文本拆分而成的实体。以待识别文本与分词词典的匹配为例，首先规定一个词的最大长度，从左到右将待识别文本中符合最大长度的词与分词词典进行匹配，如果在分词词典中没有查找到与待识别文本中具有最大搜索长度的词匹配的词，则可以缩短长度，如将最大长度缩短一个字的单位作为新的搜索长度，从左到右将待识别文本中符合新的搜索长度的词与分词词典进行匹配，以确定待识别文本中符合上述新的搜索长度的词语。按照这种方式在分词词典中搜索与待识别文本中具有相应搜索长度的词相匹配的词，直至以搜索长度为1且搜索结束为止，得到待识别文本拆分而成的全部词语。通过这种方法，可以在待识别文本中搜索出每个与分词词典匹配的词和每个与实体词典匹配的词，确保搜索结果无缺漏。
通过上述步骤S220，可以将待识别文本拆分成不同类型的文本单元，即字、词语和实体等，为搜索意图的识别提供数据基础，且由于文本单元涵盖多种类型，可以在较大程度上扩充数据的丰富度，满足对提高搜索意图识别的准确率的数据需求。
步骤S230中，根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量。
第一向量是文本单元中词语和实体的向量化表示，第二向量是文本单元中字的向量化表示。本示例性实施方式中，第一向量和第二向量均可以是对待识别文本进行特征提取的输入向量。具体的，在得到待识别文本对应的文本单元后，可以根据文本单元中所包含的文本类型生成待识别文本的第一向量和第二向量。例如，当文本单元中包括实体[Entity1,Entity2,…Entityn]和词语[Term1,Term2,…Termn]时，可以根据文本单元中的实体[Entity1,Entity2,…Entityn]和词语[Term1,Term2,…Termn]生成待识别文本的第一向量，同时，根据文本单元中的字[x1,x2,…xn]生成待识别文本的第二向量。通过这种方式，可以将待识别文本按照文本单元的类型转换为两种向量表示，实现文本信息到数值化信息的转换，为分析待识别文本的搜索意图提供了便利。
考虑到用户输入的待识别文本的长度和内容的差异，待识别文本所对应的文本单元可能会包含字、词语和实体三种类型，也可能除字以外，仅包括词语或实体中的任意一种。因此，在一种可选的实施方式中，在根据文本单元中的实体或词语生成待识别文本的第一向量时，可以执行以下方法：
当文本单元中包括实体和词语时，对文本单元中的实体和词语分别进行向量化处理，得到实体向量和词语向量；以及
拼接实体向量和词语向量，以得到第一向量；
当文本单元中包括实体和词语中的任意一种时，对实体或词语进行向量化处理，以得到第一向量。
例如，当文本单元中同时包括实体[Entity1,Entity2,…Entityn]和词语[Term1,Term2,…Termn]时，可以分别对实体[Entity1,Entity2,…Entityn]和词语[Term1,Term2,…Termn]进行向量化，得到实体向量Embeddinge和词语向量Embeddingw，然后将实体向量Embeddinge和词语向量Embeddingw进行拼接，得到第一向量[Embeddinge,Embeddingw]。当文本单元中仅包括实体[Entity1,Entity2,…Entityn]，而不包括词语[Term1,Term2,…Termn]时，可以将实体[Entity1,Entity2,…Entityn]的向量化表示，即实体向量Embeddinge确定为第一向量；当文本单元中仅包括词语[Term1,Term2,…Termn]时，可以将词语[Term1,Term2,…Termn]的向量化表示，即词语向量Embeddingw确定为第一向量。
具体的，在对文本单元中的实体进行向量化表示时，可以为实体构建实体词表，然后将实体词表中的每一行中的实体元素映射为一元ID(Identity document，身份标识)，得到实体对应的实体向量。相应的，对于文本单元中的词语，也可以为其构建词表，并将词表中的每一行中的词语元素映射为一元ID，以得到词语对应的词语向量。特别的，对于无法映射的实体元素或词语元素，可以用默认值，如0表示。本质上而言，上述实体词表和词表相当于是一个高阶函数，可以用于对输入的向量进行高阶参数拟合，得到输入值与输出值之间的映射关系。通过这一方法，可以以词语和实体的组合输出为主，当文本单元中不包括实体时，可以以词语向量为主。不仅可以实现输入数据的扩充，也可以将机器无法直接传递学习的文本单元数值化，完成非数值特征的数值化。
此外，为了便于进行向量分析，在一种可选的实施方式中，在得到第一向量和第二向量后，可以将第一向量和第二向量的长度设置为预设值。例如，可以分别根据第一向量和第二向量的长度，对长度小于预设值的向量进行补0操作，对长度大于预设值的向量按照顺序删除预设值长度以后的向量元素，使得第一向量和第二向量的长度均满足预设值。其中，预设值可以由操作人员根据实际需求自行设置，本示例性实施方式对此不做具体限定。
步骤S240中，将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据聚合特征向量确定待识别文本的识别结果。
搜索意图识别模型可以是预先构建并完成训练的机器学习模型，如可以是任意一种或多种深度学习模型构成的单一模型或组合模型。聚合特征向量是第一向量和第二向量的聚合特征的向量表示，相比第一向量和第二向量，聚合特征向量不仅可以体现第一向量和第二向量各自的特征，也可以体现第一向量和第二向量之间的关联特征。
搜索意图识别模型可以用于确定输入数据的搜索意图，因此，可以将第一向量和第二向量输入至搜索意图识别模型，通过搜索意图识别模型提取第一向量和第二向量的聚合特征向量，并依据聚合特征向量确定待识别文本的识别结果，例如，对于音乐App中输入的待识别文本，可以判断用户对待识别文本的搜索意图是否为歌词意图。
具体的，在一种可选的实施方式中，搜索意图识别模型可以包括第一特征提取网络和第二特征提取网络。
本示例性实施方式中，第一特征提取网络和第二特征提取网络可以构成搜索意图识别模型的编码层。具体的，第一特征提取网络可以由任意一种或多种注意力网络构成，可以用于提取第一向量的特征向量和第二向量的特征向量，计算第一向量的注意力权重和第二向量的注意力权重；第二特征提取网络可以用于对第一向量的特征向量和第二向量的特征向量构成的组合特征向量进行特征提取，可以由任意一种或多种深度学习网络构成。也就是说，第一特征提取网络可以用于对第一向量和第二向量进行第一次特征提取，第二特征提取网络可以用于对第一向量和第二向量进行第二次特征提取。
由此，参考图3所示，在提取第一向量和第二向量的聚合特征向量时，可以执行以下方法：
步骤S310中，将第一向量和第二向量分别输入至第一特征提取网络中，提取第一向量的特征向量和第二向量的特征向量，并计算第一向量的注意力权重和第二向量的注意力权重。
其中，注意力权重可以用于表示搜索意图识别模型对向量的关注程度，注意力权重越高，表示模型对向量的关注度越高，该向量对识别结果的影响越大，反之，注意力权重越低，表示模型对向量的关注度越低，该向量对识别结果的影响程度越小。
通过将第一向量和第二向量分别输入第一特征提取网络，可以通过第一特征提取网络提取第一向量的特征向量Vec_entity和第二向量的特征向量Vec_char，完成对第一向量和第二向量的第一次特征提取，并通过第一特征提取网络计算得到第一向量的注意力权重和第二向量的注意力权重。一般的，第一向量和第二向量的注意力权重的和为1，在得到任一向量，如第一向量的注意力权重γ后，第二向量的注意力权重则为1-γ。
在一种可选的实施方式中，第一特征提取网络可以包括双向门控循环神经网络，由此，参考图4所示，步骤S310可以通过以下步骤S410～S430实现：
步骤S410中，分别以第一向量和第二向量为输入向量，将输入向量输入至双向门控循环神经网络中进行双向处理，得到输入向量对应的各个时间步的输出向量。
门控循环神经网络是循环神经网络的变形，在语言模型中，循环神经网络可以分析出每个词与该词以前的各个词的关系。在循环神经网络中，LSTM(Long Short-TermMemory，长短期记忆网络)有专门的学习机制可以保持先前的状态的同时，记忆当前数据所输入的特征。LSTM神经网络模型包括三个门：输入门、遗忘门和输出门，而门控循环神经网络是LSTM神经网络模型的简化版，仅包括两个门：更新门和重置门，更新门可以用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大，说明前一时刻的状态信息被带入的越多，重置门用于控制忽略前一时刻的状态信息的程度，重置门越小说明忽略的信息越多。双向门控循环神经网络是指采用两个门控循环神经网络，一个采用正向学习，一个采用反向学习，最后的输出结果由正向和反向的最后一个状态对应的向量连接后得到。
例如，参考图5所示，双向门控循环神经网络可以包括两个注意力层，即左侧的注意力层和右侧的注意力层，且左侧的注意力层和右侧的注意力层可以具有相同的双向门控循环神经网络结构。将第一向量作为输入向量输入至左侧注意力层，以通过左侧注意力层中的双向门控循环神经网络进行训练，得到第一向量对应的各个时间步的输出向量；将第二向量作为输入向量输入至右侧注意力层，以通过右侧注意力层中的双向门控循环神经网络中进行训练，得到第二向量对应的各个时间步的输出向量。
通过采用双向门控循环神经网络对输入向量进行处理，可以通过双向门控循环神经网络的重置门和更新门存储并过滤信息，避免随着隐藏层数量的增加而产生的梯度消失问题。
步骤S420中，将输入向量对应的各个时间步的输出向量进行拼接处理，以得到第一向量的特征向量和第二向量的特征向量。
步骤S430中，依据输入向量对应的各个时间步的输出向量计算输入向量的注意力权重，得到第一向量的注意力权重和第二向量的注意力权重。
例如，在得到第一向量对应的各个时间步的输出向量后，可以将每个时间步的输出向量按照时间顺序拼接起来，得到第一向量的特征向量，并对第一向量对应的各个时间步的输出向量进行注意力计算，得到注意力权重；相应的，在得到第二向量对应的各个时间步的输出向量后，可以将每个时间步的输出向量按照时间顺序拼接起来，得到第二向量的特征向量，并对第二向量对应的各个时间步的输出向量进行注意力计算，得到注意力权重。
通过上述方法，可以对第一向量和第二向量分别进行特征提取，并计算第一向量和第二向量的注意力权重，使得在通过搜索意图识别模型进行特征提取时，有侧重性地关注体现用户搜索意图的特征，进而提高搜索意图识别的准确性。
进一步的，由于双向门控循环神经网络可以包括正向学习和反向学习，基于此，在一种可选的实施方式中，步骤S410也可以通过以下方法实现：
将输入向量输入至双向门控循环神经网络中的前向层网络，得到输入向量对应的各个时间步的正向输出向量；
将输入向量的逆序向量输入至双向门控循环神经网络中的后向层网络，得到输入向量对应的各个时间步的反向输出向量。
本示例性实施方式中，前向层网络和后向层网络的网络结构可以是相同的，前向层网络可以用于对输入向量进行特征提取，后向层网络可以用于对输入向量的逆序向量进行特征提取。
通过将输入向量输入至前向层网络，可以得到输入向量对应的各个时间步的正向输出向量，将输入向量的逆序向量输入至后向层网络，可以得到输入向量对应的各个时间步的反向输出向量。
更进一步的，在一种可选的实施方式中，步骤S430可以通过以下方法实现：
将正向输出向量和反向输出向量进行叠加，得到输入向量对应的各个时间步的输出向量；
将输入向量对应的各个时间步的输出向量聚合成二维向量，以得到第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量；
通过第一激活函数对第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量的和向量进行处理，确定第一向量的注意力权重和所述第二向量的注意力权重。
其中，第一激活函数可以用于增加非线性因素，如可以是sigmoid激活函数，参考图6所示，sigmoid激活函数是以[0,0.5]中心对称的，可以视为一个阈值函数。
具体的，可以将第一向量对应的每个时间步的正向输出向量和第一向量对应的每个时间步的反向输出向量进行叠加，以得到第一向量每个时间步的输出向量，然后将该输出向量聚合成二维向量，如可以对输出向量进行聚类处理，得到第一向量的二维向量Attentity。相应的，对第二向量对应的每个时间步的正向输出向量和第二向量对应的每个时间步的反向输出向量进行同样方式的处理，得到第二向量的二维向量Attchar。最后，将第一向量的二维向量和第二向量的二维向量相加，得到和向量，通过第一激活函数将该和向量转换为[0,1]区间内的值，得到第一向量的注意力权重和第二向量的注意力权重，即门概率γ＝sigmoid(Attentity+Attchar)。例如，当经过第一激活函数处理后得到的注意力权重为γ时，则可以将第一向量的注意力权重确定为γ，第二向量的注意力权重确定为1-γ。
步骤S320中，将第一向量的注意力权重与第一向量的特征向量相乘，得到第一向量的第一特征向量。即，将第一向量的注意力权重γ与第一向量的特征向量Vec_entity相乘，得到第一向量的第一特征向量γ*Vec_entity。
步骤S330中，将第二向量的注意力权重与第二向量的特征向量相乘，得到第二向量的第二特征向量。即，将第二向量的注意力权重1-γ与第二向量的特征向量Vec_char相乘，得到第一向量的第一特征向量(1-γ)*Vec_char。
通过上述步骤S320和S330，可以对第一向量的特征向量和第二向量的特征向量按照各自对应的注意力权重进行加权处理，使搜索意图识别模型可以按照两个特征向量各自需要的关注度对其进行分析，可以提高搜索意图识别的准确率。
步骤S340中，将第一特征向量和第二特征向量相加，得到第一向量和第二向量的组合特征向量。即，将第一特征向量和第二特征向量相加，得到组合特征向量γ*Vec_entity+(1-γ)*Vec_char。
由于组合特征向量融合了第一向量对应的第一特征向量和第二向量对应的第二特征向量，故可以充分体现第一向量、第二向量的特征信息，也可以体现第一向量与第二向量之间的关联信息。
步骤S350中，将组合特征向量输入至第二特征提取网络中，对组合特征向量进行聚合，以得到聚合特征向量。
第二特征提取网络可以是任意一种机器学习模型，可以用于与第一向量和第二向量进行第二次特征提取，即对第一向量和第二向量的组合特征向量进行特征提取。具体的，将组合特征向量γ*Vec_entity+(1-γ)*Vec_char输入至第二特征提取网络，使得可以通过第二特征提取网络对组合特征向量进行聚合和降维，得到第一向量和第二向量的聚合特征向量。通过采用第二特征提取网络对组合特征向量进行聚合，可以进一步挖掘出组合特征向量的特征信息，提高搜索意图识别的准确率。
进一步的，在一种可选的实施方式中，第二特征提取网络可以包括一个或多个具有相同编码结构的残差网络，前一个残差网络的输出向量为下一个残差网络的输入向量，且每个残差网络包括输入层、编码层和输出层。由此，步骤S350也可以通过以下方法实现：
在每个残差网络中，通过残差网络的输入层中的第二激活函数计算组合特征向量的聚合权重，并通过残差网络的编码层对组合特征向量进行编码处理，并将处理后的组合特征向量经残差网络的输出层输出，得到残差网络的编码向量；
基于上述聚合权重，对编码向量和组合特征向量进行加权处理，并将加权处理后的编码向量和组合特征向量相加，得到组合特征向量在每个残差网络中的输出向量。
其中，第二激活函数可以用于计算组合特征向量的聚合权重，其可以是与上述第一激活函数相同或不同的激活函数。残差网络可以由一系列残差块组成，每个残差块由一层网络变换输出和网络直连输出组合，即H(x)＝F(x)+x,则F(x)＝H(x)-x，在单位映射中，F(x)对应观测值x和预测值H(x)之间的残差。本示例性实施方式中，残差网络的编码层可以采用相同的编码结构，如可以是RNN(Recurrent Neural Network，循环神经网络)或CNN(Convolutional Neural Networks，卷积神经网络)。
继续参考图5所示，在得到第一向量和第二向量的组合特征向量后，可以将组合特征向量输入至残差网络单元中进行训练，该残差网络单元可以包括多个网络结构相同的残差网络。在每个残差网络中，可以通过输入层中的第二激活函数，如sigmoid激活函数计算组合特征向量的聚合权重δ，按照聚合权重δ对组合特征向量进行加权处理，同时，将组合特征向量输入至残差网络的编码层进行编码处理，得到编码向量，按照1-δ对编码向量进行加权处理，从而得到组合特征向量在当前残差网络中的输出向量，即δ*组合特征向量+(1-δ)*编码向量。在得到组合特征向量在当前残差网络中的输出向量后，可以将该输出向量作为新的输入向量，将输入向量送入下一个残差网络中进行训练，以得到组合特征向量在下一个残差网络中的输出向量。以此类推，直至得到组合特征向量在最后一个残差网络中的输出向量，将该输出向量确定为聚合特征向量。
进一步的，为了确定待识别文本的意图识别结果，在一种可选的实施方式中，可以通过以下方法确定所述待识别文本的识别结果，包括：
通过全连接网络对聚合特征向量进行处理，并通过第三激活函数计算处理后的聚合特征向量的识别概率，以得到待识别文本的识别结果。
其中，全连接网络可以用于对输入向量进行特征融合，全连接网络的特点在于：每一个结点都与上一层的所有结点相连，可以把前边提取到的特征综合起来，因而也可以实现输入向量的降维处理。本示例性实施方式中，可以包括多层相同的全连接网络，具体的层数不做特殊限定。第三激活函数可以用于计算聚合特征向量的识别概率，如可以是softmax激活函数。
在得到聚合特征向量后，可以将聚合特征向量输入至全连接网络，每一层全连接网络中均加入Relu激活函数和丢弃结构，使得在模型训练时，通过定义的概率让全连接网络中的神经元节点停止工作，以提高模型的泛化性能。最后，采用softmax激活函数对经过全连接网络处理后的向量进行处理，得到[0,1]区间内的概率输出，该概率输出可以表征搜索意图为对应意图的概率。
通过上述方法，可以确定待识别文本的识别结果，使得在确定待识别文本的搜索结果时，可以仅输出与待识别文本的搜索意图相匹配的结果，并且由于聚合特征向量融合了字、词和实体作为输入信息，可以显著提高搜索意图识别的准确率。例如，对于“我走在乡间的小路上”这一歌词，当用户误输为“走在相减得小路上”时，传统词典方法上无法识别用户想要搜索的内容类型，而通过本示例性实施方式中的搜索意图的识别方法能够准确识别出用户的搜索意图为歌词，并输出对应的歌曲名称。
在一种可选的实施方式中，在确定待识别文本的识别结果时，可以根据第一向量和第二向量在全连接层的概率输出与预设的概率阈值的关系，当概率输出大于概率阈值时，可以确定待识别文本的搜索意图与预期的搜索意图一致。例如，参考图7所示，在音乐App中，当用户输入“我吹过你吹过”时，可以依据获取的字向量和实体向量，采用上述方法计算字向量和实体向量的概率输出，当概率输出大于概率阈值时，可以确定待识别文本“我吹过你吹过”为歌词。
进一步的，为了验证本示例性实施方式提出的搜索意图的识别方法的有效性，确定搜索意图识别模型的网络参数，本公开的研究人员以音乐App中收集的搜索数据作为测试数据，对测试数据的搜索意图是否为歌词意图进行了消融实验。下表1示出了对测试数据进行消融实验的实验结果：
表1
Figure BDA0003163940630000241
在此次实验中，第一特征提取网络采用双向GRU网络，第二特征提取网络，即残差网络分别采用了CNN和RNN。具体的，在第1组和第2组实验中，输入数据分别为测试数据的词语向量和字向量，即输入数据分别为第一向量和第二向量，且第一向量由词语向量构成，在两组实验中，残差网络均为1层CNN；在第3组和第4组实验中，输入数据分别为测试数据的词语向量和字向量，即输入数据分别为第一向量和第二向量，且第一向量同样由词语向量构成，在两组实验中，残差网络均为1层RNN；在第5组和第6组实验中，输入数据均为词语向量和字向量，即由词语向量构成的第一向量和第二向量，而残差网络分别为1层RNN和4层RNN；在第7组实验中，输入数据为词语向量和实体向量，以及字向量，词语向量和实体向量构成第一向量，字向量为第二向量，残差网络为4层RNN。
可以看出，在判断测试数据是否为歌词搜索意图时，当输入数据包括字向量、词语向量和实体向量，并采用双向GRU网络为第一特征提取网络，以及采用4层RNN作为残差网络时，所得到的识别性能最佳。因此，采用本示例性实施方式中的搜索意图识别方法，可以显著提高音乐App中歌词搜索意图的识别准确率。
图8示出了本示例性实施方式的另一种流程，如图所示，可以包括以下步骤S810～S870：
步骤S810中，获取待识别文本。
步骤S820中，构建第一向量和第二向量。
其中，第一向量可以是由待识别文本拆分而成的文本单元中的词语和/或实体构成的向量；第二向量可以是由待识别文本中的每个字生成的字向量。
步骤S830中，分别以第一向量和第二向量为输入向量，将输入向量输入至双向门控循环神经网络中进行处理，得到第一向量的特征向量和第二向量的特征向量。
具体的，可以分别以第一向量和第二向量为输入向量，将输入向量输入至双向门控循环神经网络中进行双向处理，得到输入向量对应的各个时间步的输出向量，然后将输入向量对应的各个时间步的输出向量进行拼接处理，得到第一向量的特征向量和第二向量的特征向量。
步骤S840中，计算第一向量的注意力权重和第二向量的注意力权重。
具体的，可以分别以第一向量和第二向量为输入向量，采用上述双向门控循环神经网络计算输入向量的正向输出向量和反向输出向量，并将正向输出向量和反向输出向量进行叠加，得到输入向量对应的各个时间步的输出向量，然后将输入向量对应的各个时间步的输出向量聚合成二维向量，以得到第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量。最后，通过第一激活函数对第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量的和向量进行处理，确定第一向量的注意力权重和所述第二向量的注意力权重
步骤S850中，将第一特征向量和第二特征向量相加，得到第一向量和第二向量的组合特征向量。
其中，第一特征向量可以是将第一向量的特征向量与第一向量的注意力权重相乘得到的特征向量；第二特征向量可以是将第二向量的特征向量与第二向量的注意力权重相乘得到的特征向量。
步骤S860中，将组合特征向量输入至残差网络单元中，对组合特征向量进行聚合，得到聚合特征向量。
其中，残差网络单元可以包括一个或多个具有相同编码结构的残差网络。在每个残差网络中，可以通过残差网络的输入层中的第二激活函数计算组合特征向量的聚合权重，并通过残差网络的编码层得到残差网络的编码向量，然后根据上述聚合权重，对编码向量和组合特征向量分别进行加权处理，并将加权处理后的编码向量和组合特征向量的和向量作为每个残差网络中的输出向量。
步骤S870中，通过全连接网络对聚合特征向量进行处理，确定聚合特征向量的识别概率，以得到待识别文本的识别结果。
例如，可以通过全连接网络对聚合特征向量进行降维处理，然后采用第三激活函数对降维处理后的向量进行计算，得到聚合特征向量的识别概率，并确定识别结果。
综上，根据本示例性实施方式中的搜索意图的识别方法，可以对获取的待识别文本进行拆分处理，得到待识别文本对应的文本单元，根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量，进而将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据该聚合特征向量确定待识别文本的识别结果。一方面，本示例性实施方式通过依据文本单元中的实体和词语生成第一向量，以及依据文本单元中的字生成第二向量，可以增加搜索意图识别的数据丰富度，提高搜索意图识别的准确率；另一方面，通过使用搜索意图识别模型提取第一向量和第二向量的聚合特征向量，可以增强模型的表达能力，充分学习待识别文本中的语义特征，提高搜索意图识别的准确率。
图9示出了由上述客户端110和/或服务端120所执行的搜索意图识别模型的训练方法的示例性流程，可以包括：
步骤S910，获取搜索文本，并对搜索文本进行拆分处理，得到搜索文本对应的文本单元，其中，文本单元包括字、词语和实体中的至少一种；
步骤S920，对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据；
步骤S930，采用初始的搜索意图识别模型对训练数据进行意图分析，得到表征训练数据的搜索意图的识别结果；
步骤S940，基于识别结果和训练数据的标签数据，调整搜索意图识别模型的模型参数。
下面分别对图9中的每个步骤做具体说明。
步骤S910中，获取搜索文本，并对搜索文本进行拆分处理，得到搜索文本对应的文本单元。
其中，文本单元可以包括字、词语和实体中的至少一种。搜索文本可以是用于训练搜索意图识别模型的数据，可以是收集的所在领域内的数据。以音乐App为例，可以是收集的全网用户在过去一段时间，如过去一个礼拜内的搜索数据。
在获取搜索文本后，可以按照上述搜索意图的识别方法中步骤S210对搜索文本进行拆分，以得到搜索文本拆分得到的文本单元，此处不再赘述。
步骤S920中，对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据。
在得到搜索文本的文本单元后，可以对文本单元进行样本处理，如对文本单元进行数据预处理和数据组合等处理，以对文本单元进行数据清洗，或将文本单元重新组合，生成新的数据，从而得到搜索文本的训练数据。
具体的，在一种可选的实施方式中，搜索文本包括正样本文本和负样本文本，正样本文本表示用户对搜索文本的搜索意图与所要识别的搜索意图一致，负样本文本表示用户对搜索文本的搜索意图与所要识别的搜索意图不一致。以音乐App为例，如果需要判定用户的搜索意图是否为歌词，则正样本文本表示搜索文本是歌词，负样本文本表示搜索文本不是歌词。由此，为了提高正负样本数据的数据量，在对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据时，可以执行以下方法：
在正样本文本的文本单元中，将多个实体与多个关键词进行组合，生成搜索文本的正样本训练数据；和/或
在负样本文本的文本单元中，将多个实体与多个关键词进行组合，生成搜索文本的负样本训练数据；
其中，正样本训练数据和负样本训练数据的数据量比例符合预设比例，预设比例可以由操作人员自行定义，如可以设置为1/3等。关键词可以是所在领域内的特殊限定词，例如，在音乐App中，关键词可以包括艺人名、节目名等。
在正样本文本的文本单元中，可以将实体与关键词进行随机组合，来生成一定数量的正样本训练数据；相应的，也可以在负样本文本的文本单元中，将实体与关键词进行随机组合，生成一定数量的负样本训练数据。以音乐App为例，假设获取的正样本文本一共有x条，负样本文本一共有y条，可以将正样本文本和负样本文本进行拆分处理，得到m条数据。然后，可以在x条正样本文本和y条负样本文本中抽样选取一定数量的正样本训练数据和负样本数据，并在拆分处理后得到的m条数据中抽样选取一定数量的正样本训练数据。进一步的，为了使正负样本的数量平衡，可以将不同的实体组合为歌曲名+关键词、歌曲名+艺人名、节目名+关键词、歌名+艺人名+关键词、艺人名+关键词的不同资源组合，以得到相应数量的负样本训练数据。通过这种方式，可以使全部得到的正样本训练数据和负样本训练数据的数据量比例符合预设比例。
通过构建符合预设比例的正负样本数据，在进行训练时，可以保证正负样本数量的均衡，避免产生因数据不均衡而产生的训练效果不佳的问题。
步骤S930中，采用初始的搜索意图识别模型对训练数据进行意图分析，得到表征训练数据的搜索意图的识别结果。
其中，初始的搜索意图识别模型是指预先构建的识别模型，其可以是由任意一种或多种深度学习模型构成的单一模型或组合模型。本示例性实施方式中，初始的搜索意图识别模型即为上述搜索意图的识别方法中未经训练的搜索意图识别模型。
为了提高训练速度，在一种可选的实施方式中，步骤S930可以通过以下方法实现：
将训练数据划分为多个批次；
将每个批次的训练数据输入至初始的搜索意图识别模型进行意图分析，得到每个批次的训练数据的搜索意图的识别结果；
在得到搜索文本的训练数据后，可以将训练数据划分为多个批次，每个批次可以具有相同或不同数量的训练数据。在进行训练时，可以依次将每个批次的训练数据输入至初始的搜索意图识别模型中进行分析，以得到每个批次的训练数据的搜索意图的识别结果。例如，对于上述音乐App中的训练数据，可以以30个批次训练初始的搜索意图识别模型，每个批次的训练数据量为128，序列长度为30。
步骤S940中，基于识别结果和训练数据的标签数据，调整搜索意图识别模型的模型参数。
其中，标签数据可以用于表示搜索文本的真实搜索意图，例如，在歌词意图判定中，标签数据1可以表示搜索文本的搜索意图是歌词，标签数据0可以表示搜索文本的搜索意图不是歌词。
在训练时，可以将训练数据按照批次顺序输入至初始的搜索意图识别模型中进行训练，基于此，在一种可选的实施方式中，步骤S940可以通过基于每个批次的训练数据的搜索意图的识别结果，以及每个批次的训练数据的标签数据，调整搜索意图识别模型的模型参数。
也就是说，在得到每个批次的训练数据的搜索意图的识别结果后，可以按照每个批次的训练数据的标签数据计算当前批次的训练数据的识别性能，如可以通过交叉熵损失函数计算搜索意图识别模型对于当前批次的训练数据的识别准确率和召回率等，来确定是否需要调整搜索意图识别模型的网络参数。在确定需要调整搜索意图识别模型的网络参数时，可以采用梯度下降算法等更新搜索意图识别模型的网络参数，并通过更新后的搜索意图识别模型重新确定搜索文本的搜索意图的识别结果，直至搜索意图识别模型的识别准确率和召回率均达到对应的阈值时停止。此时得到的搜索意图识别模型即为最终的搜索意图识别模型。
综上，根据本示例性实施方式中的搜索意图识别模型的训练方法，可以对搜索文本进行拆分处理，得到搜索文本对应的文本单元，并对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据，采用初始的搜索意图识别模型对训练数据进行意图分析，得到表征训练数据的搜索意图的识别结果，基于该识别结果和训练数据的标签数据，调整搜索意图识别模型的模型参数。通过上述方法，可以生成用于进行搜索意图识别的搜索意图识别模型，在进行搜索意图识别时，便可以直接采用上述搜索意图识别模型确定用户的搜索意图。
示例性装置
本发明示例性实施方式还提供一种搜索意图的识别装置。参考图10所示，该搜索意图的识别装置1000可以包括：
获取模块1010，可以用于获取待识别文本；
拆分模块1020，可以用于对待识别文本进行拆分处理，得到待识别文本对应的文本单元，其中，文本单元包括字、词语和实体中的至少一种；
生成模块1030，可以用于根据文本单元中的实体和词语生成待识别文本的第一向量，以及根据文本单元中的字生成待识别文本的第二向量；
确定模块1040，可以用于将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量，并根据聚合特征向量确定待识别文本的识别结果。
在一种可选的实施方式中，在对待识别文本进行拆分处理时，拆分模块1020，被配置为：
获取预先构建的分词词典和实体词典；
利用前向最大匹配算法将待识别文本分别与分词词典和实体词典进行匹配，得到由待识别文本拆分而成的词语和/或实体。
在一种可选的实施方式中，在根据文本单元中的实体和词语生成待识别文本的第一向量时，生成模块1030，被配置为：
当文本单元中包括实体和词语时，对文本单元中的实体和词语分别进行向量化处理，得到实体向量和词语向量；以及
拼接实体向量和词语向量，以得到第一向量；
当文本单元中包括实体和词语中的任意一种时，对实体或词语进行向量化处理，以得到第一向量。
在一种可选的实施方式中，搜索意图识别模型包括第一特征提取网络和第二特征提取网络，在将第一向量和第二向量输入至搜索意图识别模型中，提取第一向量和第二向量的聚合特征向量时，确定模块1040，被配置为：
将第一向量和第二向量分别输入至第一特征提取网络中，提取第一向量的特征向量和第二向量的特征向量，并计算第一向量的注意力权重和第二向量的注意力权重；
将第一向量的注意力权重与第一向量的特征向量相乘，得到第一向量的第一特征向量；以及
将第二向量的注意力权重与第二向量的特征向量相乘，得到第二向量的第二特征向量；
将第一特征向量和第二特征向量相加，得到第一向量和第二向量的组合特征向量；
将组合特征向量输入至第二特征提取网络中，对组合特征向量进行聚合，以得到聚合特征向量。
在一种可选的实施方式中，第一特征提取网络包括双向门控循环神经网络，确定模块1040，还被配置为：
分别以第一向量和第二向量为输入向量，将输入向量输入至双向门控循环神经网络中进行双向处理，得到输入向量对应的各个时间步的输出向量；
将输入向量对应的各个时间步的输出向量进行拼接处理，以得到第一向量的特征向量和第二向量的特征向量；
依据输入向量对应的各个时间步的输出向量计算输入向量的注意力权重，得到第一向量的注意力权重和第二向量的注意力权重。
在一种可选的实施方式中，确定模块1040，还被配置为：
将输入向量输入至双向门控循环神经网络中的前向层网络，得到输入向量对应的各个时间步的正向输出向量；
将输入向量的逆序向量输入至双向门控循环神经网络中的后向层网络，得到输入向量对应的各个时间步的反向输出向量。
在一种可选的实施方式中，确定模块1040，还被配置为：
将正向输出向量和反向输出向量进行叠加，得到输入向量对应的各个时间步的输出向量；
将输入向量对应的各个时间步的输出向量聚合成二维向量，以得到第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量；
通过第一激活函数对第一向量对应的各个时间步的二维向量和第二向量对应的各个时间步的二维向量的和向量进行处理，确定第一向量的注意力权重和第二向量的注意力权重。
在一种可选的实施方式中，第二特征提取网络包括一个或多个具有相同编码结构的残差网络，前一个残差网络的输出向量为下一个残差网络的输入向量，且每个残差网络包括输入层、编码层和输出层，确定模块1040，还被配置为：
在每个残差网络中，通过残差网络的输入层中的第二激活函数计算组合特征向量的聚合权重，并通过残差网络的编码层对组合特征向量进行编码处理，并将处理后的组合特征向量经残差网络的输出层输出，得到残差网络的编码向量；
基于聚合权重，对编码向量和组合特征向量进行加权处理，并将加权处理后的编码向量和组合特征向量相加，得到组合特征向量在每个残差网络中的输出向量。
在一种可选的实施方式中，确定模块1040，还被配置为：
通过全连接网络对聚合特征向量进行处理，并通过第三激活函数计算处理后的聚合特征向量的识别概率，以得到待识别文本的识别结果。
本发明示例性实施方式还提供一种搜索意图识别模型的训练装置。参考图11所示，该搜索意图识别模型的训练装置1100可以包括：
获取模块1110，可以用于获取搜索文本，并对搜索文本进行拆分处理，得到搜索文本对应的文本单元，其中，文本单元包括字、词语和实体中的至少一种；
生成模块1120，可以用于对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据；
分析模块1130，可以用于采用初始的搜索意图识别模型对训练数据进行意图分析，得到表征训练数据的搜索意图的识别结果；
调整模块1140，可以用于基于识别结果和训练数据的标签数据，调整搜索意图识别模型的模型参数。
在一种可选的实施方式中，搜索文本包括正样本文本和负样本文本，在对搜索文本的文本单元进行样本处理，生成搜索文本的训练数据时，生成模块1120，被配置为：
在正样本文本的文本单元中，将多个实体与多个关键词进行组合，生成搜索文本的正样本训练数据；和/或
在负样本文本的文本单元中，将多个实体与多个关键词进行组合，生成搜索文本的负样本训练数据；
其中，正样本训练数据和负样本训练数据的数据量比例符合预设比例。
在一种可选的实施方式中，分析模块1130，被配置为：
将训练数据划分为多个批次；
将每个批次的训练数据输入至初始的搜索意图识别模型进行意图分析，得到每个批次的训练数据的搜索意图的识别结果；
调整模块1140，被配置为：
基于每个批次的训练数据的搜索意图的识别结果，以及每个批次的训练数据的标签数据，调整搜索意图识别模型的模型参数。
此外，本发明实施方式的其他具体细节在上述方法的发明实施方式中已经详细说明，在此不再赘述。
示例性存储介质
下面对本发明示例性实施方式的存储介质进行说明。
本示例性实施方式中，可以通过程序产品实现上述方法，如可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RE等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性电子设备
参考图12对本发明示例性实施方式的电子设备进行说明。该电子设备可以是上述客户端110或服务端120。
图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：至少一个处理单元1210、至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。
其中，存储单元存储有程序代码，程序代码可以被处理单元1210执行，使得处理单元1210执行本说明书上述"示例性方法"部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1210可以执行如图2至图5、图8至图9所示的方法步骤等。
存储单元1220可以包括易失性存储单元，例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(ROM)1223。
存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以包括数据总线、地址总线和控制总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1250进行。电子设备1200还包括显示单元1240，其连接到输入/输出(I/O)接口1250，用于进行显示。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种搜索意图的识别方法，其特征在于，所述方法包括：
获取待识别文本；
对所述待识别文本进行拆分处理，得到所述待识别文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；
根据所述文本单元中的实体和词语生成所述待识别文本的第一向量，以及根据所述文本单元中的字生成所述待识别文本的第二向量；
将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量，并根据所述聚合特征向量确定所述待识别文本的识别结果。
2.根据权利要求1所述的方法，其特征在于，在根据所述文本单元中的实体和词语生成所述待识别文本的第一向量时，所述方法包括：
当所述文本单元中包括实体和词语时，对所述文本单元中的实体和词语分别进行向量化处理，得到实体向量和词语向量；以及
拼接所述实体向量和所述词语向量，以得到所述第一向量；
当所述文本单元中包括实体和词语中的任意一种时，对所述实体或所述词语进行向量化处理，以得到所述第一向量。
3.根据权利要求1所述的方法，其特征在于，所述搜索意图识别模型包括第一特征提取网络和第二特征提取网络，在将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量时，所述方法包括：
将所述第一向量和所述第二向量分别输入至所述第一特征提取网络中，提取所述第一向量的特征向量和所述第二向量的特征向量，并计算所述第一向量的注意力权重和所述第二向量的注意力权重；
将所述第一向量的注意力权重与所述第一向量的特征向量相乘，得到所述第一向量的第一特征向量；以及
将所述第二向量的注意力权重与所述第二向量的特征向量相乘，得到所述第二向量的第二特征向量；
将所述第一特征向量和所述第二特征向量相加，得到所述第一向量和所述第二向量的组合特征向量；
将所述组合特征向量输入至所述第二特征提取网络中，对所述组合特征向量进行聚合，以得到所述聚合特征向量。
4.根据权利要求3所述的方法，其特征在于，所述第一特征提取网络包括双向门控循环神经网络，所述将所述第一向量和所述第二向量分别输入至所述第一特征提取网络中，提取所述第一向量的特征向量和所述第二向量的特征向量，并计算所述第一向量的注意力权重和所述第二向量的注意力权重，包括：
分别以所述第一向量和所述第二向量为输入向量，将所述输入向量输入至所述双向门控循环神经网络中进行双向处理，得到所述输入向量对应的各个时间步的输出向量；
将所述输入向量对应的各个时间步的输出向量进行拼接处理，以得到所述第一向量的特征向量和所述第二向量的特征向量；
依据所述输入向量对应的各个时间步的输出向量计算所述输入向量的注意力权重，得到所述第一向量的注意力权重和所述第二向量的注意力权重。
5.根据权利要求3所述的方法，其特征在于，所述第二特征提取网络包括一个或多个具有相同编码结构的残差网络，前一个残差网络的输出向量为下一个残差网络的输入向量，且每个所述残差网络包括输入层、编码层和输出层，所述将所述组合特征向量输入至所述第二特征提取网络中，对所述组合特征向量进行聚合，以得到所述聚合特征向量，包括：
在每个残差网络中，通过所述残差网络的输入层中的第二激活函数计算所述组合特征向量的聚合权重，并通过所述残差网络的编码层对所述组合特征向量进行编码处理，并将处理后的组合特征向量经所述残差网络的输出层输出，得到所述残差网络的编码向量；
基于所述聚合权重，对所述编码向量和所述组合特征向量进行加权处理，并将加权处理后的编码向量和组合特征向量相加，得到所述组合特征向量在所述每个残差网络中的输出向量。
6.一种搜索意图识别模型的训练方法，其特征在于，所述方法包括：
获取搜索文本，并对所述搜索文本进行拆分处理，得到所述搜索文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；
对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据；
采用初始的搜索意图识别模型对所述训练数据进行意图分析，得到表征所述训练数据的搜索意图的识别结果；
基于所述识别结果和所述训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
7.一种搜索意图的识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别文本；
拆分模块，用于对所述待识别文本进行拆分处理，得到所述待识别文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；
生成模块，用于根据所述文本单元中的实体和词语生成所述待识别文本的第一向量，以及根据所述文本单元中的字生成所述待识别文本的第二向量；
确定模块，用于将所述第一向量和所述第二向量输入至搜索意图识别模型中，提取所述第一向量和所述第二向量的聚合特征向量，并根据所述聚合特征向量确定所述待识别文本的识别结果。
8.一种搜索意图识别模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取搜索文本，并对所述搜索文本进行拆分处理，得到所述搜索文本对应的文本单元，其中，所述文本单元包括字、词语和实体中的至少一种；
生成模块，用于对所述搜索文本的文本单元进行样本处理，生成所述搜索文本的训练数据；
分析模块，用于采用初始的搜索意图识别模型对所述训练数据进行意图分析，得到表征所述训练数据的搜索意图的识别结果；
调整模块，用于基于所述识别结果和所述训练数据的标签数据，调整所述搜索意图识别模型的模型参数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。
CN202110799096.2A 2021-07-15 2021-07-15 搜索意图的识别方法、模型训练方法、装置、介质及设备 Active CN113343692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110799096.2A CN113343692B (zh) 2021-07-15 2021-07-15 搜索意图的识别方法、模型训练方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799096.2A CN113343692B (zh) 2021-07-15 2021-07-15 搜索意图的识别方法、模型训练方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN113343692A true CN113343692A (zh) 2021-09-03
CN113343692B CN113343692B (zh) 2023-09-12

Family

ID=77479784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799096.2A Active CN113343692B (zh) 2021-07-15 2021-07-15 搜索意图的识别方法、模型训练方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113343692B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505204A (zh) * 2021-09-09 2021-10-15 腾讯科技（深圳）有限公司 召回模型训练方法、搜索召回方法、装置和计算机设备
CN116611429A (zh) * 2023-04-25 2023-08-18 上海任意门科技有限公司 一种意图识别方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024704A1 (zh) * 2017-08-03 2019-02-07 阿里巴巴集团控股有限公司 实体标注方法、意图识别方法及对应装置、计算机存储介质
CN109684626A (zh) * 2018-11-16 2019-04-26 深思考人工智能机器人科技（北京）有限公司 语义识别方法、模型、存储介质和装置
CN109871545A (zh) * 2019-04-22 2019-06-11 京东方科技集团股份有限公司 命名实体识别方法及装置
CN111310008A (zh) * 2020-03-20 2020-06-19 北京三快在线科技有限公司 搜索意图识别方法、装置、电子设备和存储介质
CN111400429A (zh) * 2020-03-09 2020-07-10 北京奇艺世纪科技有限公司 文本条目搜索方法、装置、系统及存储介质
CN111414757A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 一种文本识别方法及装置
US20200242302A1 (en) * 2019-01-29 2020-07-30 Ricoh Company, Ltd. Intention identification method, intention identification apparatus, and computer-readable recording medium
CN112487813A (zh) * 2020-11-24 2021-03-12 中移（杭州）信息技术有限公司 命名实体识别方法及系统、电子设备及存储介质
CN112905893A (zh) * 2021-03-22 2021-06-04 北京百度网讯科技有限公司 搜索意图识别模型的训练方法、搜索意图识别方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024704A1 (zh) * 2017-08-03 2019-02-07 阿里巴巴集团控股有限公司 实体标注方法、意图识别方法及对应装置、计算机存储介质
CN109388793A (zh) * 2017-08-03 2019-02-26 阿里巴巴集团控股有限公司 实体标注方法、意图识别方法及对应装置、计算机存储介质
CN109684626A (zh) * 2018-11-16 2019-04-26 深思考人工智能机器人科技（北京）有限公司 语义识别方法、模型、存储介质和装置
CN111414757A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 一种文本识别方法及装置
US20200242302A1 (en) * 2019-01-29 2020-07-30 Ricoh Company, Ltd. Intention identification method, intention identification apparatus, and computer-readable recording medium
CN109871545A (zh) * 2019-04-22 2019-06-11 京东方科技集团股份有限公司 命名实体识别方法及装置
CN111400429A (zh) * 2020-03-09 2020-07-10 北京奇艺世纪科技有限公司 文本条目搜索方法、装置、系统及存储介质
CN111310008A (zh) * 2020-03-20 2020-06-19 北京三快在线科技有限公司 搜索意图识别方法、装置、电子设备和存储介质
CN112487813A (zh) * 2020-11-24 2021-03-12 中移（杭州）信息技术有限公司 命名实体识别方法及系统、电子设备及存储介质
CN112905893A (zh) * 2021-03-22 2021-06-04 北京百度网讯科技有限公司 搜索意图识别模型的训练方法、搜索意图识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SONG HJ, PARK SB: "Identifying intention posts in discussion forums using multi-instance learning and multiple sources transfer learning", SOFT COMPUTING, vol. 22, no. 24, XP036632559, DOI: 10.1007/s00500-017-2755-8 *
周权;陈永生;郭玉臣;: "基于多特征融合的意图识别算法研究", 电脑知识与技术, no. 21 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505204A (zh) * 2021-09-09 2021-10-15 腾讯科技（深圳）有限公司 召回模型训练方法、搜索召回方法、装置和计算机设备
CN113505204B (zh) * 2021-09-09 2021-12-07 腾讯科技（深圳）有限公司 召回模型训练方法、搜索召回方法、装置和计算机设备
CN116611429A (zh) * 2023-04-25 2023-08-18 上海任意门科技有限公司 一种意图识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113343692B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
US20170286401A1 (en) Method And System For Processing An Input Query
CN111753060A (zh) 信息检索方法、装置、设备及计算机可读存储介质
CN112100354B (zh) 人机对话方法、装置、设备及存储介质
CN112507715A (zh) 确定实体之间关联关系的方法、装置、设备和存储介质
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
KR102431568B1 (ko) 엔티티 단어 인식 방법 및 장치
CN112214593A (zh) 问答处理方法、装置、电子设备及存储介质
CN108419094A (zh) 视频处理方法、视频检索方法、装置、介质及服务器
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN113553414B (zh) 智能对话方法、装置、电子设备和存储介质
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN112528001B (zh) 一种信息查询方法、装置及电子设备
CN113343692B (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
CN111813923A (zh) 文本摘要方法、电子设备及存储介质
CN111291565A (zh) 一种用于命名实体识别的方法与装置
CN113392265A (zh) 多媒体处理方法、装置及设备
CN111241310A (zh) 一种深度跨模态哈希检索方法、设备及介质
Zhuang et al. An ensemble approach to conversation generation
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN114490926A (zh) 一种相似问题的确定方法、装置、存储介质及终端
CN113722436A (zh) 文本信息提取方法、装置、计算机设备及存储介质
CN112712056A (zh) 视频语义分析方法、装置、存储介质及电子设备
CN117132923A (zh) 视频分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant