CN114064854A - 查询文本处理方法、装置、设备及存储介质 - Google Patents
查询文本处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114064854A CN114064854A CN202111276950.3A CN202111276950A CN114064854A CN 114064854 A CN114064854 A CN 114064854A CN 202111276950 A CN202111276950 A CN 202111276950A CN 114064854 A CN114064854 A CN 114064854A
- Authority
- CN
- China
- Prior art keywords
- query text
- feature vector
- text
- query
- relation pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种查询文本处理方法、装置、设备及存储介质,该方法包括:将输入的查询文本与预先构建的知识库进行匹配,知识库包括至少一个关系对,关系对由实体名与实体名对应的领域形成,领域是基于本地生活划分的领域;响应于知识库中包含与查询文本匹配的至少一个关系对,将查询文本和表征匹配的至少一个关系对的第一文本,输入预先训练的领域分类模型,得到查询文本对应的至少一个领域。如此,不仅利用了查询文本,还利用了表征匹配出的至少一个关系对的文本,也即利用了领域相关的语义来得到查询文本对应的领域,利用的信息更加丰富,提高了得到的领域的准确性,使得基于领域的查询结果更加准确,从而提高了用户体验。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种查询文本处理方法、装置、设备及 存储介质。
背景技术
本地生活服务是将当地、线下、具有实体店铺的餐饮、生活服务、休闲娱 乐等商家服务信息,通过互联网以“网店”方式呈现给用户。用户通过输入查 询文本(query)来查询需要的信息。相关技术中,首先,对用户输入的查询文 本按领域(例如美食、酒店、电影、旅游等)进行分类,然后基于分类的领域 对应的算法策略返回查询结果,因此,该分类的领域将直接影响后续的算法策 略。但是,用户的查询文本通常较短,信息较少,分类的领域可能不准,如果 分类的领域与用户的需求不匹配,也即产生歧义,导致返回的查询结果也不准确,影响用户体验。
发明内容
本申请的目的是提供一种查询文本处理方法、装置、设备及存储介质,以 解决相关技术中的问题。
本申请的目的是通过以下技术方案实现的:
第一方面,本申请实施例提供一种查询文本处理方法,包括:
将输入的查询文本与预先构建的知识库进行匹配,所述知识库包括至少一 个关系对,所述关系对由实体名与所述实体名对应的领域形成,所述领域是基 于本地生活划分的领域;
响应于所述知识库中包含与所述查询文本匹配的至少一个所述关系对,将 所述查询文本和表征所述匹配的至少一个所述关系对的第一文本,输入预先训 练的领域分类模型,得到所述查询文本对应的至少一个领域。
在一种可能的实施方式中,所述将输入的查询文本与预先构建的知识库进 行匹配,包括:
将所述查询文本进行分词处理,以得到至少一个分词;
针对所述至少一个分词中的每个分词,确定该分词与所述知识库的每个所 述关系对中的所述实体名是否相同,响应于所述关系对中的所述实体名与该分 词相同,确定该关系对与所述查询文本匹配。
在一种可能的实施方式中,所述实体名对应的用于表征置信度的参数的值 大于或者等于预设阈值。
在一种可能的实施方式中,所述得到所述查询文本对应的至少一个领域, 包括:
基于所述查询文本以及所述第一文本生成第一特征向量;
将所述第一特征向量与预设的第二特征向量融合,以得到第三特征向量, 所述第二特征向量是基于表征多个领域的第二文本生成的;
基于所述第三特征向量,得到所述查询文本对应的至少一个领域。
在一种可能的实施方式中,所述基于所述查询文本以及所述第一文本生成 第一特征向量,包括:
将所述查询文本以及所述第一文本输入BERT模型,得到所述第一特征向 量。
在一种可能的实施方式中,所述将所述第一特征向量与预设的第二特征向 量融合,以得到第三特征向量,包括:
将所述第一特征向量与所述第二特征向量,输入LEAM模型,得到第三 特征向量。
在一种可能的实施方式中,所述基于所述第三特征向量,得到所述查询文 本对应的至少一个领域,包括:
将所述第三特征向量,输入分类器中,得到所述查询文本对应的至少一个 领域,所述分类器包括与多个领域一一对应的多个二分类器。
第二方面,本申请实施例提供一种查询文本处理装置,包括:
匹配模块,用于将输入的查询文本与预先构建的知识库进行匹配,所述知 识库包括至少一个关系对,所述关系对由实体名与所述实体名对应的领域形 成,所述领域是基于本地生活划分的领域;
输入模块,用于响应于所述知识库中包含与所述查询文本匹配的至少一个 所述关系对,将所述查询文本和表征所述匹配的至少一个所述关系对的第一文 本,输入预先训练的领域分类模型,得到所述查询文本对应的至少一个领域。
在一种可能的实施方式中,所述匹配模块,具体用于将所述查询文本进行 分词处理,以得到至少一个分词;针对所述至少一个分词中的每个分词,确定 该分词与所述知识库的每个所述关系对中的所述实体名是否相同,响应于所述 关系对中的所述实体名与该分词相同,确定该关系对与所述查询文本匹配。
在一种可能的实施方式中,所述实体名对应的用于表征置信度的参数的值 大于或者等于预设阈值。
在一种可能的实施方式中,所述输入模块,具体用于基于所述查询文本以 及所述第一文本生成第一特征向量;将所述第一特征向量与预设的第二特征向 量融合,以得到第三特征向量,所述第二特征向量是基于表征多个领域的第二 文本生成的;基于所述第三特征向量,得到所述查询文本对应的至少一个领域。
在一种可能的实施方式中,所述输入模块,具体用于将所述查询文本以及 所述第一文本输入BERT模型,得到所述第一特征向量。
在一种可能的实施方式中,所述输入模块,用于将所述第一特征向量与所 述第二特征向量,输入LEAM模型,得到第三特征向量。
在一种可能的实施方式中,所述输入模块,具体用于将所述第三特征向量, 输入分类器中,得到所述查询文本对应的至少一个领域,所述分类器包括与多 个领域一一对应的多个二分类器。
第三方面,本申请实施例提供一种电子设备,包括存储器、处理器及存储 在所述存储器上并可在处理器上运行的计算机程序,该处理器执行所述计算机 程序时实现如第一方面任一的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算 机程序,该程序被处理器执行时实现如第一方面任一的方法。
上述技术方案中的优点或有益效果至少包括:预先利用实体名与对应的领 域形成的关系对构建了知识库,对于输入的查询文本,先将该查询文本与预先 构建的知识库进行匹配,将表征匹配的至少一个关系对的文本与查询文本均输 入预先训练的领域分类模型中,得到所述查询文本对应的至少一个领域,如此, 不仅利用了查询文本,还利用了表征匹配出的至少一个关系对的文本,也即利 用了领域相关的语义来得到查询文本对应的领域,利用的信息更加丰富,提高 了得到的领域的准确性,使得基于领域的查询结果更加准确,从而提高了用户 体验。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上 述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描 述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅 是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动 性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种示例性的查询文本处理方法的流程图;
图2是本申请实施例提供的一种示例性的查询文本处理装置的结构示意 图;
图3是本申请实施例提供的示例性的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清 楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部 的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本地生活服务是将当地、线下、具有实体店铺的餐饮、生活服务、休闲娱 乐等商家服务信息,通过互联网以“网店”方式呈现给用户。用户通过输入查 询文本来查询需要的信息。相关技术中,首先,对用户输入的查询文本按领域 进行分类,然后基于分类的领域对应的算法策略返回查询结果,因此,该分类 的领域将直接影响后续的算法策略。但是,用户的查询文本通常较短,信息较 少,分类的领域可能不准,如果分类的领域与用户的需求不匹配,也即产生歧 义,导致返回的查询结果也不准确,影响用户体验。
举例来说,用户输入的查询文本可能不包含上下文只是特定的兴趣点 (POI,Point of Interest)名,而本地生活中的POI名又是丰富多样的,例如, “一点点”,本身是一个量词,而在本地生活中可能是一个美食的品牌,且一 个POI名可能属于多个领域,例如“朝天门”既可以是一个美食的品牌,也可 以是一个旅游的景点,这都可能带来领域的分类不准。
相关技术中的一种对领域的分类方案如下:
首先,进行模型训练:
对用户的查询文本进行预处理和标注,得到用于训练模型的数据集,该数 据集中的每条样本都包含领域的标签和查询文本。
选择基于转换器的双向编码表征(BERT,Bidirectional EncoderRepresentations from Transformers)模型,并在预训练阶段通过隐藏(mask)方 式引入实体知识信息。BERT是一种预训练语言模型,通过mask掉一些词, 通过上下文对该词进行预测,使得预测概率最大化。
基于数据集,对BERT模型进行微调(fine-tune),使其适用于对领域分 类的场景,输出查询文本对应的领域。
其次,进行预测:
直接将原始的查询文本作为输入,输入到训练好的模型中,输出查询文本 对应的领域的标签。
上述分类方式中,利用的信息较少,影响了领域的分类的准确性。
为解决上述技术问题,本申请实施例提供一种查询文本处理方法、装置、 设备及存储介质,下面进行详细地介绍。
图1是本申请实施例提供的一种示例性的查询文本处理方法的流程图。如 图1所示,本实施例提供的查询文本处理方法,可以由服务端执行,该查询文 本处理方法至少包括如下步骤:
步骤101、将输入的查询文本与预先构建的知识库进行匹配,所述知识库 包括至少一个关系对,所述关系对由实体名与所述实体名对应的领域形成,所 述领域是基于本地生活划分的领域。
实际应用中,可以预先对本地生活划分多个领域,例如美食、酒店、电影、 旅游等等。
实施中,可以预先构建知识库。具体可以包括:可以预先收集数据集,可 以收集离线数据,例如线下人工收集后录入的数据,也可以收集线上用户行为 的数据,例如用户在客户端的点击行为产生的数据;从收集的数据集中获取本 地生活的各个领域的数据,例如POI名、品牌名、别名、商家数、搜索量、点 击量、评论量等等;从本地生成的各个领域的数据中提取至少部分数据作为实 体名,例如提取POI名、品牌名、电影名、景点名等作为实体名,基于提取的 实体名与对应的领域形成关系对,例如,××火锅:美食,XX景点:旅游。
其中,实体名对应的搜索量、点击量、评论量等参数可以表征置信度,也 即可靠度。进一步的,可以将用于表征置信度的参数的值小于预设阈值的实体 名去除,保留用于表征置信度的参数的值大于或者等于预设阈值的实体名,从 而可以将长尾的低置信度的实体进行过滤,减少了噪声,保留高置信度的实体, 以提高知识库的准确性。其中的预设阈值的具体值可以根据实际需要设置,此 处不做具体限定。
当用户有查询需求时,可以在客户端输入查询文本,例如“附近的××火 锅”。实施中,可以通过语音助手等输入查询文本。客户端可以将携带查询文 本的查询请求发送至服务端,服务端可以将输入的查询文本与预先构建的知识 库进行匹配。
步骤102、响应于所述知识库中包含与所述查询文本匹配的至少一个所述 关系对,将所述查询文本和表征所述匹配的至少一个所述关系对的第一文本, 输入预先训练的领域分类模型,得到所述查询文本对应的至少一个领域。
实际应用中,上述第一文本可以是由上述匹配的至少一个关系对转换而来 的语句,例如“××火锅:美食”转换成“××火锅是一个美食”。
本实施例中,预先利用实体名与对应的领域形成的关系对构建了知识库, 对于输入的查询文本,先将该查询文本与预先构建的知识库进行匹配,将表征 匹配的至少一个关系对的文本与查询文本均输入预先训练的领域分类模型中, 得到所述查询文本对应的至少一个领域,如此,不仅利用了查询文本,还利用 了表征匹配出的至少一个关系对的文本,也即利用了领域相关的语义来得到查 询文本对应的领域,利用的信息更加丰富,提高了得到的领域的准确性,使得 基于领域的查询结果更加准确,从而提高了用户体验。
在示例性实施例中,所述将输入的查询文本与预先构建的知识库进行匹 配,其具体实现方式可以包括:将所述查询文本进行分词处理,以得到至少一 个分词;针对所述至少一个分词中的每个分词,确定该分词与所述知识库的每 个所述关系对中的所述实体名是否相同,响应于所述关系对中的所述实体名与 该分词相同,确定该关系对与所述查询文本匹配。
其中的分词处理的方式可以参考相关技术实施,此处不做赘述。
举例来说,查询文本为“附近的××火锅”,分词处理之后,得到“附近” “的”,“××火锅”几个分词,此时,可以将每个分词均与知识库进行匹配, 如果分词“××火锅”与关系对“××火锅:美食”中的实体名“××火锅” 相同,则确定关系对“××火锅:美食”与所述查询文本“附近的××火锅” 匹配。
由于用户输入的查询文本可能是一个实体名,也可能是一个包含实体名的 句子,为了准确地匹配到关系对,本实施例中,将查询文本进行了分词,得到 的至少一个分词中可能包含实体名,然后利用分词与知识库进行匹配,如果关 系对中的实体名与该分词相同,则认为该关系对与查询文本是匹配的。
在示例性实施例中,所述得到所述查询文本对应的至少一个领域,其具体 实现方式可以包括:基于所述查询文本以及所述第一文本生成第一特征向量; 将所述第一特征向量与预设的第二特征向量融合,以得到第三特征向量,所述 第二特征向量是基于表征多个领域的第二文本生成的;基于所述第三特征向 量,得到所述查询文本对应的至少一个领域。
实际应用中,可以预先设置第二文本,该第二文本可以是由多个领域的文 本形成的,例如美食、酒店、电影、旅游形成的文本“美食酒店电影旅游”。 然后预先基于第二文本生成第二特征向量。
实施中,可以将查询文本与第一文本进行拼接,以得到拼接文本,然后基 于拼接文本生成第一特征向量。例如,“附近的××火锅”与“××火锅是一 个美食”进行拼接,以得到拼接文本,然后基于拼接文本生成第一特征向量。
本实施例中,将输入的查询文本以及第一文本对应的第一特征向量与表征 多个领域的第二文本对应的第二特征向量进行融合,从而进一步引入了表征多 个领域的文本,使得利用的领域相关的语义更加丰富,从而进一步提高了得到 的查询文本的领域的准确性。
在示例性实施例中,所述基于所述查询文本以及所述第一文本生成第一特 征向量,其具体实现方式可以包括:将所述查询文本以及所述第一文本输入 BERT模型,得到所述第一特征向量。基于BERT模型可以得到与上下文相关 的特征向量,特征向量表达效果更好。当然也可以采用其它的模型,得到第一 特征向量。
另外,生成上述第二特征向量时,也可以将第二文本输入BERT模型,得 到所述第二特征向量。
在示例性实施例中,所述将所述第一特征向量与预设的第二特征向量融 合,以得到第三特征向量,其具体实现方式可以包括:将所述第一特征向量与 所述第二特征向量,输入LEAM模型,得到第三特征向量。
LEAM的全称是Joint Embedding of Words and Labels for TextClassification,这是一种分类方法,分类过程中,可以使得输入的特征向量之 间产生更多的交互运算,从而提升领域相关的语义产生的作用,提高了得到的 查询文本的准确性,过拟合的问题较小。
在示例性实施例中,所述基于所述第三特征向量,得到所述查询文本对应 的至少一个领域,其具体实现方式可以包括:将所述第三特征向量,输入分类 器中,得到所述查询文本对应的至少一个领域,该分类器包括与多个领域一一 对应的多个二分类器。
举例来说,本地生活划分的领域包含美食、酒店、电影、旅游领域,那么, 分类器可以包括美食对应的二分类器,酒店对应的二分类器,电影对应的二分 类器,旅游对应的二分类器。
每个领域的二分类器可以输出表征查询文本属于该领域的概率值。得到所 述查询文本对应的至少一个领域,具体的,可以是将概率值达到预设概率的领 域确定为查询文本对应的领域。其中的预设概率的具体值可以根据实际情况进 行设置,此处不做限定。
本实施例中,采用多分类器,得到查询文本对应的至少一个领域,从而可 以应对如前所述的一个查询文本可能属于多个领域的情况,得到的领域更加准 确。
实际应用中,可以采用包含上述BERT模型、LEAM模型和分类器的领域 分类模型,可以预先采集查询文本样本,利用该查询文本样本训练该领域分类 模型至收敛。
图2是本申请实施例的一种示例性的查询文本处理装置的结构示意图。如 图2所示,该查询文本处理装置200包括:
匹配模块201,用于将输入的查询文本与预先构建的知识库进行匹配,所 述知识库包括至少一个关系对,所述关系对由实体名与所述实体名对应的领域 形成,所述领域是基于本地生活划分的领域;
输入模块202,用于响应于所述知识库中包含与所述查询文本匹配的至少 一个所述关系对,将所述查询文本和表征所述匹配的至少一个所述关系对的第 一文本,输入预先训练的领域分类模型,得到所述查询文本对应的至少一个领 域。
在一种可能的实施方式中,所述匹配模块,具体用于将所述查询文本进行 分词处理,以得到至少一个分词;针对所述至少一个分词中的每个分词,确定 该分词与所述知识库的每个所述关系对中的所述实体名是否相同,响应于所述 关系对中的所述实体名与该分词相同,确定该关系对与所述查询文本匹配。
在一种可能的实施方式中,所述实体名对应的用于表征置信度的参数的值 大于或者等于预设阈值。
在一种可能的实施方式中,所述输入模块,具体用于基于所述查询文本以 及所述第一文本生成第一特征向量;将所述第一特征向量与预设的第二特征向 量融合,以得到第三特征向量,所述第二特征向量是基于表征多个领域的第二 文本生成的;基于所述第三特征向量,得到所述查询文本对应的至少一个领域。
在一种可能的实施方式中,所述输入模块,具体用于将所述查询文本以及 所述第一文本输入BERT模型,得到所述第一特征向量。
在一种可能的实施方式中,所述输入模块,用于将所述第一特征向量与所 述第二特征向量,输入LEAM模型,得到第三特征向量。
在一种可能的实施方式中,所述输入模块,具体用于将所述第三特征向量, 输入分类器中,得到所述查询文本对应的至少一个领域,所述分类器包括与多 个领域一一对应的多个二分类器。
本申请实施例各装置中的各模块的功能可以参见上述查询文本处理方法 实施例中的对应描述,在此不再赘述。
本申请实施例还提供一种电子设备,包括存储器、处理器及存储在所述存 储器上并可在处理器上运行的计算机程序,该处理器执行所述计算机程序时实 现如以上任一实施例中的查询文本处理方法。
图3是本申请实施例提供的一种示例性的电子设备的结构示意图。如图3 所示,该电子设备可以包括:处理器301、通信接口302、存储器303和通信 总线304,其中,处理器301,通信接口302,存储器303通过通信总线304 完成相互间的通信。处理器301可以调用存储器303中的计算机程序,以执行 以上任一实施例中的查询文本处理方法。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序, 该程序被处理器执行时实现如以上任一实施例中的查询文本处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组 合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实 现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算 机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通 用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以 存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算 机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的 具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的 方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书 中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相 对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第 二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个” 的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表 示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代 码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现, 其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式 或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认 为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机 可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处 理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系 统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实 现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指 令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可 以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介 质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中, 也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的 形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品 销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是 只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于 此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到 其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的 保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种查询文本处理方法,其特征在于,包括:
将输入的查询文本与预先构建的知识库进行匹配,所述知识库包括至少一个关系对,所述关系对由实体名与所述实体名对应的领域形成,所述领域是基于本地生活划分的领域;
响应于所述知识库中包含与所述查询文本匹配的至少一个所述关系对,将所述查询文本和表征所述匹配的至少一个所述关系对的第一文本,输入预先训练的领域分类模型,得到所述查询文本对应的至少一个领域。
2.根据权利要求1所述的方法,其特征在于,所述将输入的查询文本与预先构建的知识库进行匹配,包括:
将所述查询文本进行分词处理,以得到至少一个分词;
针对所述至少一个分词中的每个分词,确定该分词与所述知识库的每个所述关系对中的所述实体名是否相同,响应于所述关系对中的所述实体名与该分词相同,确定该关系对与所述查询文本匹配。
3.根据权利要求1所述的方法,其特征在于,所述实体名对应的用于表征置信度的参数的值大于或者等于预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述得到所述查询文本对应的至少一个领域,包括:
基于所述查询文本以及所述第一文本生成第一特征向量;
将所述第一特征向量与预设的第二特征向量融合,以得到第三特征向量,所述第二特征向量是基于表征多个领域的第二文本生成的;
基于所述第三特征向量,得到所述查询文本对应的至少一个领域。
5.根据权利要求4所述的方法,其特征在于,所述基于所述查询文本以及所述第一文本生成第一特征向量,包括:
将所述查询文本以及所述第一文本输入BERT模型,得到所述第一特征向量。
6.根据权利要求4所述的方法,其特征在于,所述将所述第一特征向量与预设的第二特征向量融合,以得到第三特征向量,包括:
将所述第一特征向量与所述第二特征向量,输入LEAM模型,得到第三特征向量。
7.根据权利要求4所述的方法,其特征在于,所述基于所述第三特征向量,得到所述查询文本对应的至少一个领域,包括:
将所述第三特征向量,输入分类器中,得到所述查询文本对应的至少一个领域,所述分类器包括与多个领域一一对应的多个二分类器。
8.一种查询文本处理装置,其特征在于,包括:
匹配模块,用于将输入的查询文本与预先构建的知识库进行匹配,所述知识库包括至少一个关系对,所述关系对由实体名与所述实体名对应的领域形成,所述领域是基于本地生活划分的领域;
输入模块,用于响应于所述知识库中包含与所述查询文本匹配的至少一个所述关系对,将所述查询文本和表征所述匹配的至少一个所述关系对的第一文本,输入预先训练的领域分类模型,得到所述查询文本对应的至少一个领域。
9.根据权利要求8所述的装置,其特征在于,所述匹配模块,具体用于将所述查询文本进行分词处理,以得到至少一个分词;针对所述至少一个分词中的每个分词,确定该分词与所述知识库的每个所述关系对中的所述实体名是否相同,响应于所述关系对中的所述实体名与该分词相同,确定该关系对与所述查询文本匹配。
10.根据权利要求8所述的装置,其特征在于,所述实体名对应的用于表征置信度的参数的值大于或者等于预设阈值。
11.根据权利要求8所述的装置,其特征在于,所述输入模块,具体用于基于所述查询文本以及所述第一文本生成第一特征向量;将所述第一特征向量与预设的第二特征向量融合,以得到第三特征向量,所述第二特征向量是基于表征多个领域的第二文本生成的;基于所述第三特征向量,得到所述查询文本对应的至少一个领域。
12.根据权利要求11所述的装置,其特征在于,所述输入模块,具体用于将所述查询文本以及所述第一文本输入BERT模型,得到所述第一特征向量。
13.根据权利要求11所述的装置,其特征在于,所述输入模块,用于将所述第一特征向量与所述第二特征向量,输入LEAM模型,得到第三特征向量。
14.根据权利要求11所述的装置,其特征在于,所述输入模块,具体用于将所述第三特征向量,输入分类器中,得到所述查询文本对应的至少一个领域,所述分类器包括与多个领域一一对应的多个二分类器。
15.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111276950.3A CN114064854A (zh) | 2021-10-29 | 2021-10-29 | 查询文本处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111276950.3A CN114064854A (zh) | 2021-10-29 | 2021-10-29 | 查询文本处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114064854A true CN114064854A (zh) | 2022-02-18 |
Family
ID=80236154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111276950.3A Pending CN114064854A (zh) | 2021-10-29 | 2021-10-29 | 查询文本处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114064854A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116227479A (zh) * | 2022-12-29 | 2023-06-06 | 易方达基金管理有限公司 | 一种实体识别方法、装置、计算机设备和可读存储介质 |
-
2021
- 2021-10-29 CN CN202111276950.3A patent/CN114064854A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116227479A (zh) * | 2022-12-29 | 2023-06-06 | 易方达基金管理有限公司 | 一种实体识别方法、装置、计算机设备和可读存储介质 |
CN116227479B (zh) * | 2022-12-29 | 2024-05-17 | 易方达基金管理有限公司 | 一种实体识别方法、装置、计算机设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112966712B (zh) | 语言模型训练方法、装置、电子设备和计算机可读介质 | |
CN109657054B (zh) | 摘要生成方法、装置、服务器及存储介质 | |
CN108153856B (zh) | 用于输出信息的方法和装置 | |
CN111539197B (zh) | 文本匹配方法和装置以及计算机系统和可读存储介质 | |
CN108388650B (zh) | 基于需求的搜索处理方法、装置和智能设备 | |
CN113011186B (zh) | 命名实体识别方法、装置、设备及计算机可读存储介质 | |
KR20170001550A (ko) | 인공 지능에 기초한 인간-컴퓨터 지능형 채팅 방법 및 장치 | |
CN105975639B (zh) | 搜索结果排序方法和装置 | |
CN113657100B (zh) | 实体识别方法、装置、电子设备及存储介质 | |
CN111666766A (zh) | 数据处理方法、装置和设备 | |
JP2018194902A (ja) | 生成装置、生成方法および生成プログラム | |
CN113947086A (zh) | 样本数据生成方法、训练方法、语料生成方法和装置 | |
CN116245097A (zh) | 训练实体识别模型的方法、实体识别方法及对应装置 | |
CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
CN114064854A (zh) | 查询文本处理方法、装置、设备及存储介质 | |
CN112148958A (zh) | 用于信息推荐的方法、设备和计算机存储介质 | |
CN113343692A (zh) | 搜索意图的识别方法、模型训练方法、装置、介质及设备 | |
CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
CN114416941B (zh) | 融合知识图谱的对话知识点确定模型的生成方法及装置 | |
CN116775815B (zh) | 对话数据的处理方法、装置、电子设备及存储介质 | |
CN113807102B (zh) | 建立语义表示模型的方法、装置、设备和计算机存储介质 | |
CN113705692B (zh) | 基于人工智能的情感分类方法、装置、电子设备及介质 | |
CN116049370A (zh) | 信息查询方法和信息生成模型的训练方法、装置 | |
CN116070175B (zh) | 一种文案生成方法及电子设备 | |
CN116110397B (zh) | 语音交互方法、服务器和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |