CN112765194B - 一种数据检索方法及电子设备 - Google Patents

Abstract

本申请提供一种数据检索方法，该方法包括：获取检索文本及融合数据库，其中融合数据库包括多个融合条目，每个融合条目包括意图以及与意图关联的非结构化内容条目和结构化内容条目，在融合数据库中，对检索文本进行非结构化检索，以获取与检索文本相应的第一意图列表，在融合数据库中，对检索文本进行结构化检索，以获取与检索文本相应的第二意图列表，对第一意图列表和第二意图列表进行整合并显示，以供选择和查阅。通过上述方式，将关键词在非结构化数据检索中的优势与语义识别在结构化数据检索中的优势进行结合，使得检索的准确性更高，用户体验感更好。

Description

一种数据检索方法及电子设备

技术领域

本申请的所公开实施例涉及信息处理技术领域，且更具体而言，涉及一种数据检索方法及电子设备。

背景技术

现有文档知识库分为传统文档库和智能知识库两种存储方式，两种知识库的形态单独进行创建、存储和应用。在存储传统文档库的系统中，文档通常以文件形式进行存储，文档有类别标签，在检索时将文件名、类别标签或文件内文本内容作为检索域，检索使用关键字匹配或模糊查询。然而在存储智能知识库的系统中，知识以结构化知识条目形式存储，在知识条目中包含用于语义检索的潜在句式和对应的知识内容，通过使用深度语义模型的训练，系统具备了新异表达方式的分类能力，可以将新的问法归类到存储的知识条目中，从而实现智能问答或检索能力。

发明内容

根据本申请的实施例，本申请提出一种数据检索方法及电子设备来解决上述问题。

根据本申请的第一方面，公开一种数据检索方法，包括获取检索文本及融合数据库，其中融合数据库包括多个融合条目，每个融合条目包括意图以及与意图关联的非结构化内容条目和结构化内容条目；

在融合数据库中，对检索文本进行非结构化检索，以获取与检索文本相应的第一意图列表；在融合数据库中，对检索文本进行结构化检索，以获取与检索文本相应的第二意图列表；以及对第一意图列表和第二意图列表进行整合并显示，以供选择和查阅。

根据本申请的第二方面，公开一种电子设备，包括处理器和存储器，所述存储器存储有指令，所述指令在执行时使得所述处理器执行如第一方面所述的数据检索方法。

根据本申请的第三方面，公开一种非易失性存储介质，存储有指令，该指令在执行时使得处理器执行如第一方面所述的数据检索方法。

本申请的有益效果是：通过在融合数据库将非结构化内容条目和结构化内容条目通过意图进行关联，在进行检索时，可通过检索文本在融合数据库里同时对非结构内容条目和结构内容条目进行意图识别，将识别出来的意图进行交叉整合排序，并显示给用户查阅。该融合数据库结合了关键词在非结构化数据检索中的优势与语义识别在结构化数据检索中的优势，使得检索的准确性更高、用户体验感更好。

附图说明

下面将结合附图及实施方式对本申请作进一步说明，附图中：

图1是本申请实施例的数据检索方法的流程图；

图2是本申请实施例的数据检索方法的显示页面的示意图；

图3是本申请实施例的数据检索方法的编辑页面的示意图；

图4是本申请实施例的本申请实施例的数据检索方法的非结构化检索的流程图；

图5是本申请实施例的本申请实施例的数据检索方法的结构化检索的流程图；

图6是本申请实施例的本申请实施例的数据检索方法的获取融合数据库的流程图；

图7是本申请实施例的本申请实施例的数据检索方法的获取融合数据库的原理示意图；

图8是本申请实施例的本申请实施例的数据检索方法的电子设备的结构框图；

图9是本申请实施例的本申请实施例的数据检索方法的电子设备的存储介质的示意图。

具体实施方式

目前，非结构化文档（文档存储库）存储系统和结构化文档（智能知识库）存储系统是相互独立的，两种系统在关键词检索场景和语义检索场景下的使用也是独立的，在关键词检索时，用户需要输入相应资料文档中可能包含的关键词，系统使用关键词匹配或模糊查询方式给出对应的检索结果，但如果用户不能记起相应关键词，则无法进行知识检索。然而在进行语义检索时，用户可以通过自由的表达来进行知识检索，但由于非结构化文档存储系统并没有与结构化文档存储系统进行关联，且非结构化文档存储系统的资料并不能借助语义进行检索，所以其检索的结果中只有结构化知识条目内的内容。

为此，本申请提供了一种数据检索方法，通过在融合数据库将非结构化内容条目和结构化内容条目通过意图进行关联，在进行检索时，可通过检索文本在融合数据库里同时对非结构内容条目和结构内容条目进行意图识别，将识别出来的意图进行交叉整合排序，并显示给用户查阅。该融合数据库结合了关键词在非结构化数据检索中的优势与语义识别在结构化数据检索中的优势，使得检索的准确性更高、用户体验感更好。

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请的技术方案做进一步详细描述。

请参与图1，为本申请实施例的数据检索方法的流程图，该方法包括：

步骤110：获取检索文本及融合数据库，其中融合数据库包括多个融合条目，每个融合条目包括意图以及与意图关联的非结构化内容条目和结构化内容条目。

其中，非结构化内容是指内容的数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。而结构化内容是指按照一定格式生成的文本，格式可包括标题、章节、段落等逻辑结构组成。对结构化内容的信息抽取非常容易，准确率也非常高。

意图是指可能相关内容的一个上位的范畴，例如，内容分别为日语歌曲、日本风土人情或者日语学习APP均与日语学习相关，所以上述内容的意图可为“日语学习”。此条“日语学习”的意图可能包括例如日语歌曲、日本风土人情或者日语学习APP等非结构化内容条目和结构化内容条目。

因此融合数据库就是通过意图进行关联，结合了非结构化内容条目和结构化内容条目的数据库。获取的检索文本可为用户输入的关键词或者是原始提问，通过用户端相关接口或者协议连接到融合数据库。

步骤120：在:融合数据库中，对检索文本进行非结构化检索，以获取与检索文本相应的第一意图列表。

非结构化检索是指检索文本通过关键词在融合数据库中的非结构化内容条目中进行检索。例如，检索文本为“日本语”，通过在非结构化内容条目检索到的内容有“日本漫画作家A日语歌曲”和“日本漫画作家A日语动漫”，此内容对应的第一意图列表为“日语学习”和“日本漫画作家A”。

步骤130：在融合数据库中，对检索文本进行结构化检索，以获取与检索文本相应的第二意图列表。

结构化检索是指检索文本通过语义识别在融合数据库中的结构化内容条目中进行检索。继续上述的例子举例，检索文本为“日本语”，通过在结构化内容条目检索到的内容有“日语学习APP推荐”和“日本风土人情介绍”，此内容对应的第二意图列表为“日语学习”和“日本旅游”。

步骤140：对第一意图列表和第二意图列表进行整合并显示，以供选择和查阅。

对上述对第一意图列表和第二意图列表进行整合并显示，以供选择和查阅。继续上述的例子进行举例，整合显示的列表可为“日语学习”、 “日本漫画作家A”、“日语学习”和“日本旅游”，用户可进行查阅。

本实施例中，通过在融合数据库将非结构化内容条目和结构化内容条目通过意图进行关联，在进行检索时，可通过检索文本在融合数据库里同时对非结构内容条目和结构内容条目进行意图识别，将识别出来的意图进行交叉整合排序，并显示给用户查阅。该融合数据库结合了关键词在非结构化数据检索中的优势与语义识别在结构化数据检索中的优势，在检索时能同时支持用户输入关键词和原始提问，不同输入模式都可以将检索内容检出，使得检索的准确性更高、用户体验感更好。

对第一意图列表和所述第二意图列表进行整合，具体地，在一实施例中整合包括去重操作，去重操作表征将第一意图列表和第二意图列表中相同的多个意图合并成一个意图。

如上述，第一意图列表中和第二意图列表中具有相同的意图“日语学习”，将第一意图列表和第二意图列表去重操作，合并后的意图列表为“日语学习”、 “日本漫画作家A”和“日本旅游”。

对第一意图列表和第二意图列表进行整合并显示，以供选择和查阅。具体地，如图2所示，在一实施例中，显示包括以列表的形式将第一意图列表所关联的非结构化内容条目和第二意图列表所关联的结构化内容条目同时显示。在阅览时，用户通过非结构化内容条目或结构化内容条目，进入知识详情展示，其中，非结构化内容条目展示的内容可包括知识点标题、数量信息、供查阅标题、知识作者、编辑日期、富文本正文、附件及其预览、相关知识。结构化内容条目展示的内容可包括知识点标题、数量信息、供机器人标题、知识作者、编辑日期、富文本正文、附件及其预览、关联的知识。例如，如图2所示，知识点的标题为“FAQ知识意图”，数量信息为3，知识作者为客服小王，编辑日期为09-03，富文本内容正文为“编辑导语…基础操作（如下图）”，附件为页面下方的“这是一个excel名称”…，关联的知识为页面下方的“这里是关联的知识（标准问）”。

其中附件内容如果是音频或视频，则调用语音识别引擎将音频和视频转写成文本，作为备检索的文本，关联的知识在非结构化内容条目和结构化内容条目里显示是一样的，即在一个意图下显示的关联的知识是一样的。此外，可以通过页面上的下拉菜单查阅此条非结构化内容条目或结构化内容条目里知识点的历史版本，也可以通过页面右上角的三角形下拉菜单进行答案的切换，比如从供查阅答案1切换到供查阅答案2。

在此实施例中，进一步地，显示包括切换显示第一意图列表所关联的非结构化内容条目和第二意图列表所关联的结构化内容条目。

用户可通过点击页面上的“供查阅”和“供机器人”来自由切换第一意图列表所关联的非结构化内容条目和第二意图列表所关联的结构化内容条目。

在另一实施例中，数据检索方法进一步包括：为显示的内容设置编辑页面，以编辑所述显示的内容；其中，编辑页面包括第一编辑部和第二编辑部，其中第一编辑部用于编辑整合后的第一意图列表和第二意图列表中的每个意图的属性，第二编辑部用于编辑每个意图所关联的非结构化内容条目和结构化内容条目的属性。

请参阅图3，在第一编辑部中，用户可以为每个意图的属性，比如为意图配置意图名称，业务场景选择、业务标签、生效时间和关联。在第二编辑部中，用户编辑每个意图所关联的非结构化内容条目和结构化内容条目的属性，即扩展问，可通过点击“+”，增加其他可能相似问法。第二编辑部还包括答案编辑，答案编辑支持富文本编辑、知识关联、音频上传、附件上传功能。同一个意图用户可选择编辑供查阅答案和/或供机器人答案，或者是两种答案都没有，实现了融合数据库可以为非结构化模式、结构化模式和双模式。

在一实施例中，意图携带至少一个第一句式，每个融合条目还包括与意图相关的至少一个第二句式。

意图由第一句式进行表征，在数据库里意图的数量为多个，每条意图下面还包含了与该意图相关的第二句式，即扩展问，每条意图下面携带的扩展问的数量也为多个。第一句式和第二句式都为文本序列，该文本序列长度不超过50个汉字长度。继续上面的例子进行举例说明，“日语学习”为意图的第一句式，下面可携带的第二句式可能为“看日语学日语”、“日语学习机构推荐”、“日本语五十音图发音”等等。此类第二句式的内容均与意图相关联。

如上述，请参阅图4，步骤120进一步包括：

步骤121：将检索文本分成多个关键词。

继续上述的例子进行举例说明，比如检索文本为“日语学习”，关键词可成“日语”和“学习”。

步骤122：使用每个关键词在融合数据库中的非结构化内容条目中进行检索，以获取对应的第一意图集合。

使用所有的关键词“日语”和“学习”在融合数据库中的非结构化内容条目中进行全文检索，可得到与该关键词相关的第一意图集合。检索域包括意图名称，扩展问、富文本内容以及附件。例如第一意图集合可为，日语电影、日语动漫，日语学习APP、日语快速学习方法等等。

步骤123：获取第一意图集合中每个第一意图和关键词的匹配程度并排列，从而获取第一意图列表。

根据得到的第一意图集合中每个第一意图和关键词“日语”、“学习”计算匹配度，将匹配程度按照从高到低排列以获取第一意图列表。匹配程度可为关键词在每条第一意图里出现次数的绝对值，出现次数的绝对值最大的，可说明此条第一意图和关键词的匹配程度最高。例如关键词“日语”、“学习”在“日语快速学习方法”里出现的次数分别为20和16次，在“日语电影”里出现的次数分别为3和5次，可得出关键词“日语”、“学习”和第一意图“日语快速学习方法”的匹配程度最高，排在列表的第一行，第一意图列表可为：

日语快速学习方法

日语学习APP

日语动漫

日语电影

在另一实施例中，请参阅图5，步骤130进一步包括：

步骤131：使用融合数据库中的语义模型，获取检索文本的表征向量。

在一实施例中，语义模型可为bert (Bidirectional Encoder Representationfrom Transformers)模型。该语义模型通过预训练好的Bert模型，得到不同语境下，不同句子的句向量。本实施例中通过语义模型获取的检索文本的表征向量可为512维度，也就是从512个方面对检索文本进行语义表达。

步骤132：将表征向量输入语义模型，获取对应的第二意图集合。

将检索文本得到的表征向量表征输入语义模型，经过一个预训练的多层神经网络，该神经网络可为卷积神经网络（CNN），卷积神经网络通过运行非线性激活函数，对检索文本表征向量表征可能相关的意图类别进行分析，从而获得该检索文本“日语学习”的第二意图集合，比如第二意图集合为日语学习APP、日语快速学习方法、日语动漫、日语电影。

步骤133：获取第二意图集合中每个第二意图和检索文本的语义相似度，从而获取第二意图列表。

在深度神经网络中运行非线性激活函数来计算检索文本“日语学习”与可能相关意图的语义相似度，此语义相似度可为0~1的一个百分数，0为语义完全不同，1为语义完全相同，从而同时对所获得的第二意图集合中的每个第二意图进行语义相似度进行排列。比如日语快速学习方法和检索文本“日语学习”的语义相似度为0.84，其语义相似度最高，则把该条意图放在第一行，而日语电影和检索文本“日语学习的”语义相似度为0.27，把该意图放在最后一行，得出的第二意图列表可为：

日语快速学习方法

日语学习APP

日语动漫

日语电影

如上述，请参见图6和图7，在一实施例中，获取融合数据库的方法包括：

步骤111：创建训练数据集，其中训练数据集包含多个预设意图和多个扩展问，每个预设意图由第一句式表征，每个扩展问由第二句式表征。

预设意图由第一句式进行表征，在训练数据集里预设意图的数量为多个，每条预设意图下面还包含了与该预设意图相关的扩展问，由第二句式表征，每条预设意图下面携带的扩展问的数量也为多个。第一句式和第二句式都为文本序列，该文本序列长度不超过50个汉字长度。继续上面的例子进行举例说明，“日语学习”为意图的第一句式，下面可携带的第二句式可能为“看日日剧学日语”、“日语学习机构推荐”、“日本语五十音图发音”等等。此类第二句式的内容均与意图相关联。

步骤112：使用预设模型，获取每个第一句式和每个第二句式的表征向量并输入到分类器，获取多个意图。

把多个预设意图的第一句式和多个扩展问的第二句式输入到预设模型，得到多个表征向量。该预设模型可为通过预训练好的Bert模型，通过该预设模型，可以得到不同语境下，不同句子的句向量。在本申请中文本的向量表征为第一句式和第二句式的文本句式的512维向量，也就是从512个方面对每个预设意图以及其携带的多个扩展问进行语义表达。

把每条预设意图及其携带的扩展问的表征向量输入到分类模型，该分类模型可基于深度神经网络的NLP方法进行构建，比如可为卷积神经网络（CNN），该卷积神经网络（CNN）将每条预设意图及其携带的扩展问的语义的多个维度经过运行非线性函数的一系列复杂的转换后，输出与其可能相关的意图。

步骤113：给每个意图类别分别添加非结构化内容条目和结构化内容条目，从而得到所述融合数据库。

给意图类别添加的非结构化内容条目和结构化内容条目可包括标题、富文本内容和附件文件。通过此方式构建的融合数据库，将传统的非结构化资料库和智能的结构化知识库进行融合，使得一个库同时满足传统资料管理和智能知识管理的需求。附件文件也可为音频或者视频，可通过调用语音识别引擎将音频和视频转写成文本，作为备检索的文本。通过此融合数据库，实现了在传统的非结构化知识库应用场景以文搜音视频，提升了用户的体验。

如图8所示，为本申请实施例的电子设备的结构示意图。电子设备包括存储器210和处理器220，存储器210和处理器220相互连接。

存储器210可以包括只读存储器和/或随机存取存储器等，并向处理器220提供指令和数据。存储器210的一部分还可以包括非易失性随机存取存储器（NVRAM）。存储器210存储有指令，该指令被执行时，实现本申请上述实施例中任一个以及任意不冲突的组合所提供的补全方法。

处理器220可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法的各步骤可以通过处理器220中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器220可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

本发明还提供一种非易失性存储介质的实施例，如图9所示，该非易失性存储介质300存储有处理器可运行的指令301，该指令301用于执行上述实施例中的方法。具体地，该存储介质300具体可如图8所示的存储器210或为存储器210的一部分。

所属领域的技术人员易知，可在保持本申请的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。

Claims (10)

1.一种数据检索方法，其特征在于，包括：

获取检索文本及融合数据库，其中所述融合数据库包括多个融合条目，每个所述融合条目包括意图以及与所述意图关联的非结构化内容条目和结构化内容条目；

在所述融合数据库中，对所述检索文本进行非结构化检索，以获取与所述检索文本相应的第一意图列表；

在所述融合数据库中，对所述检索文本进行结构化检索，以获取与所述检索文本相应的第二意图列表；以及

对所述第一意图列表和所述第二意图列表进行整合，并以列表的形式将所述第一意图表所关联的非结构化内容条目和所述第二意图列表所关联的结构化内容条目同时显示，以供选择和查阅；

其中，所述获取融合数据库，包括：

创建训练数据集，其中所述训练数据集包含多个预设意图和多个扩展问，每个所述预设意图由第一句式表征，每个扩展问由第二句式表征，所述第二句式表征的扩展问与所述第一句式表征的预设意图无关联关系；

使用预设模型，获取每个所述第一句式和每个所述第二句式的表征向量并输入到分类器，获取多个所述意图；

给每个所述意图分别添加所述非结构化内容条目和所述结构化内容条目，从而得到所述融合数据库。

2.根据权利要求1所述的数据检索方法，其特征在于，所述整合包括去重操作，所述去重操作表征将所述第一意图列表和所述第二意图列表中相同的多个意图合并成一个意图。

3.根据权利要求1所述的数据检索方法，其特征在于，所述显示包括以列表的形式将所述第一意图列表所关联的非结构化内容条目和所述第二意图列表所关联的结构化内容条目同时显示。

4.根据权利要求3所述的数据检索方法，其特征在于，所述显示包括切换显示所述第一意图列表所关联的非结构化内容条目和所述第二意图列表所关联的结构化内容条目。

5.根据权利要求1所述的数据检索方法，其特征在于，所述数据检索方法进一步包括：

为所述显示的内容设置编辑页面，以编辑所述显示的内容；

其中，所述编辑页面包括第一编辑部和第二编辑部，其中所述第一编辑部用于编辑整合后的所述第一意图列表和所述第二意图列表中的每个意图的属性，所述第二编辑部用于编辑所述每个意图所关联的非结构化内容条目和结构化内容条目的属性。

6.根据权利要求1所述的数据检索方法，其特征在于，所述意图携带至少一个第一句式；

每个所述融合条目还包括与所述意图相关的至少一个第二句式以及语义模型。

7.根据权利要求6所述的数据检索方法，其特征在于，在所述融合数据库中，对所述检索文本进行非结构化检索，包括：

将所述检索文本分成多个关键词；

使用每个所述关键词，在所述融合数据库中的非结构化内容条目中进行检索，以获取对应的第一意图集合；

获取所述第一意图集合中每个第一意图和所述关键词的匹配程度并排列，从而获取所述第一意图列表。

8.根据权利要求6所述的数据检索方法，其特征在于，在所述融合数据库中，对所述检索文本进行结构化检索，包括：

使用所述融合数据库中的所述语义模型，获取所述检索文本的表征向量；

将所述表征向量输入所述语义模型，获取对应的第二意图集合；

获取所述第二意图集合中每个第二意图和所述检索文本的语义相似度，从而获取所述第二意图列表。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有指令，所述指令在执行时使得所述处理器执行如权利要求1-8任一项所述的数据检索方法。

10.一种非易失性计算机存储介质，其特征在于，存储有指令，所述指令在执行时使得处理器执行如权利要求1-8任一项所述的数据检索方法。