CN117421416B - 交互检索方法、装置和电子设备 - Google Patents

交互检索方法、装置和电子设备 Download PDF

Info

Publication number
CN117421416B
CN117421416B CN202311743554.6A CN202311743554A CN117421416B CN 117421416 B CN117421416 B CN 117421416B CN 202311743554 A CN202311743554 A CN 202311743554A CN 117421416 B CN117421416 B CN 117421416B
Authority
CN
China
Prior art keywords
entity
description
entity description
current input
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311743554.6A
Other languages
English (en)
Other versions
CN117421416A (zh
Inventor
张俊祺
张正
陈泽宇
吴永宇
项滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Space Research Institute
Original Assignee
Data Space Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Space Research Institute filed Critical Data Space Research Institute
Priority to CN202311743554.6A priority Critical patent/CN117421416B/zh
Publication of CN117421416A publication Critical patent/CN117421416A/zh
Application granted granted Critical
Publication of CN117421416B publication Critical patent/CN117421416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种交互检索方法、装置和电子设备,其中,该交互检索方法包括:获取领域文档,通过大语言模型对所述领域文档进行信息抽取,得到若干第一实体和各个所述第一实体对应的实体描述,将各个所述第一实体对应的实体描述存储为长期记忆;获取用户的当前输入,通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述;根据所述第一目标实体描述输出所述当前输入的回复。通过本申请,解决了相关技术中存在的交互检索方法会导致大语言模型回答用户问题的准确率低的问题。

Description

交互检索方法、装置和电子设备
技术领域
本申请涉及信息检索领域,特别是涉及一种交互检索方法、装置和电子设备。
背景技术
随着目前信息和知识的爆炸式增加,人们越来越依赖检索来获取信息,尤其对于一个特定的领域,检索工具可以大大降低人们获取知识的门槛。大语言模型与相应的工具LangChain出现之后,用户可以通过上传领域文档来建立特定领域的向量库,然后通过对话的方式来便捷地获取这一领域的信息。但是目前仍然存在幻觉,回答不准确等问题。
目前存在一些用于解决上述问题的方案。主要是对领域文档进行切片,得到若干文档段落,然后将文档段落存入数据库中,进而将领域知识处理为长期记忆。在之后的对话检索中,可以通过相似度匹配或者最大边际相关性的方式,在数据库中检索与用户问题相关的文档段落,来帮助大语言模型实现更准确的回答。由于每个文档段落可能未包含用户问题中实体的所有领域知识,即使检索到与用户问题相关的文档段落,也可能无法得到用户问题中实体的完整领域知识,还是会出现问题回答不准确地问题。
针对相关技术中存在的交互检索方法会导致大语言模型回答用户问题的准确率低的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种交互检索方法、装置和电子设备,以解决相关技术中存在的交互检索方法会导致大语言模型回答用户问题的准确率低的问题。
第一个方面,在本发明中提供了一种交互检索方法,所述方法包括:
获取领域文档,通过大语言模型对所述领域文档进行信息抽取,得到若干第一实体和各个所述第一实体的实体描述,将各个所述第一实体的实体描述存储为长期记忆;
获取用户的当前输入,通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述;
根据所述第一目标实体描述输出所述当前输入的回复。
更进一步地,所述方法还包括:
对所述领域文档进行切片,得到若干文档段落;
所述通过大语言模型对所述领域文档进行信息抽取,得到若干实体和各个所述第一实体的实体描述,包括:
通过所述大语言模型分别对各个所述文档段落进行实体抽取,得到各个所述第一实体;
对于任意所述第一实体,通过所述大语言模型根据所述第一实体所在的所述文档段落生成所述第一实体的实体描述。
更进一步地,所述对所述领域文档进行切片,得到若干文档段落,包括:
根据换行符号和/或标点符号对所述领域文档进行切片,得到长度小于或等于预设长度的若干所述文档段落。
更进一步地,所述通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述,包括:
通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一候选实体描述;
确定所述第一候选实体描述对应的目标实体;
在所述长期记忆中确定所述目标实体对应的除所述第一候选实体描述之外的第二候选实体描述;
根据所述第一候选实体描述和所述第二候选实体描述确定所述第一目标实体描述。
更进一步地,所述方法还包括:
调取所述用户的历史交互,通过所述大语言模型对所述历史交互进行信息抽取,得到若干第二实体和各个所述第二实体对应的实体描述,将各个所述第二实体对应的实体描述存储为短期记忆;
通过所述大语言模型在所述短期记忆中检索与所述当前输入相关的第二目标实体描述;
所述根据所述第一目标实体描述输出所述当前输入的回复,包括:
根据所述第一目标实体描述和所述第二目标实体描述输出所述当前输入的回复。
更进一步地,所述历史交互包括若干单轮交互;
所述根据所述第一目标实体描述和所述第二目标实体描述输出所述当前输入的回复,包括:
根据所述第二目标实体描述对应的所述单轮交互、所述第二目标实体描述对应的所述第二实体和所述第一目标实体描述,输出所述当前输入的回复。
更进一步地,所述通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述,包括:
通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一实体描述;
确定所述第一实体描述对应的第一目标实体,确定与所述第一目标实体关联的第二目标实体;
在所述长期记忆中,确定所述第一目标实体对应的除所述第一实体描述之外的第二实体描述,以及确定与所述第二目标实体对应的第三实体描述;
根据所述第一实体描述、所述第二实体描述和所述第三实体描述确定所述第一目标实体描述。
更进一步地,所述方法还包括:
将所述当前输入和所述短期记忆中的实体描述作为意图分类模型的输入,根据所述意图分类模型的意图分类结果确定所述当前输入的质量评分;
所述根据所述第一目标实体描述生成所述当前输入的回复,包括:
若所述当前输入的质量评分低于预设值或所述第一目标实体描述不存在时,输出预设提示信息,所述预设提示信息用于向所述用户提示:所述大语言模型无法基于所述长期记忆输出所述当前输入的回复。
第二个方面,在本发明中提供了一种交互检索装置,包括:
构建长期记忆模块,用于获取领域文档,通过大语言模型对所述领域文档进行信息抽取,得到若干第一实体和各个所述第一实体的实体描述,将各个所述第一实体的实体描述存储为长期记忆;
检索模块,用于获取用户的当前输入,通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述;
响应当前输入模块,用于根据所述第一目标实体描述输出所述当前输入的回复。
第三个方面,在本发明中提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的交互检索方法。
第四个方面,在本发明中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的交互检索方法。
与相关技术相比,在本发明中提供的一种交互检索方法,通过大语言模型对领域文档进行信息抽取,得到若干第一实体以及对应的第一实体描述,并将第一实体对应的实体描述存储为长期记忆,在检索过程中,以实体描述为单位进行检索,进而可以检索到用户问题中实体的实体描述,该实体描述包含了领域文档中关于该实体的所有相关信息,因此能够更加准确地回答用户输入的问题,也就是更加准确地输出当前输入的回复。解决了相关技术中存在的交互检索方法会导致大语言模型回答用户问题的准确率低的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是执行本发明中提供的交互检索方法的终端硬件结构框图;
图2是本发明的交互检索方法的流程图;
图3是本发明的交互检索装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本发明中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是执行本发明中提供的交互检索方法的终端硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器120和用于存储数据的存储器140,其中,处理器120可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备160以及输入输出设备180。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器140可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本发明中的交互检索方法对应的计算机程序,处理器120通过运行存储在存储器140内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器140可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器140可进一步包括相对于处理器120远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备160用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备160包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备160可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本发明中提供了一种交互检索方法,图2是本发明的交互检索方法的流程图,如图2所示,该流程包括如下步骤:
步骤S210,获取领域文档,通过大语言模型对领域文档进行信息抽取,得到若干第一实体和各个第一实体的实体描述,将各个第一实体的实体描述存储为长期记忆;
步骤S220,获取用户的当前输入,通过大语言模型在长期记忆中检索与当前输入相关的第一目标实体描述;
步骤S230,根据第一目标实体描述输出当前输入的回复。
具体的,领域文档是指特定领域内的文档,通常是用来描述、定义或指导该领域内的工作、业务或技术的文档。当本发明提供的交互检索方法应用于某一领域时,步骤S210中获取的领域文档则是该领域中的信息或知识文档。示例性地,领域文档可以是医疗知识文档、人工智能知识文档等。大语言模型可以采用LLAMA(Large Language Model Meta AI)大语言模型,LLAMA大语言模型是Meta AI推出的AI语言模型,是一个有着上百亿数量级参数的大语言模型,用于大规模部署和管理机器学习模型。其中,人机交互过程通常是问答过程。因此,本发明在实施过程中,用户的输入通常为用户的问题,输入的回复则是对相应问题的回答。本发明通过使用大语言模型,使得交互检索系统在执行交互检索方法过程中,可以有效的利用计算资源,提高了检索效率。
在用户进行检索之前,需要预先将领域文档进行信息抽取得到多个第一实体和各个第一实体的实体描述,将各个第一实体对应的实体描述存为长期记忆。具体的,可以通过大语言模型先在领域文档中抽取出多个第一实体,对于任意第一实体,再通过大语言模型在领域文档中抽取出该第一实体的实体描述,对于任意第一实体的实体描述,其是整个领域文档中与第一实体相关的信息集合。同时,可以根据各个第一实体之间的联系关系,构建一个简单的知识图谱。第一实体则是该知识图谱中的节点,某个第一实体的实体描述便是对应节点的节点属性。具体的,可以将各个第一实体对应的实体描述编码为向量,存入向量数据库中,向量数据库中的实体描述与知识图谱中的节点(第一实体)具有映射关系。
通过上述描述可知,本发明提供的交互检索方法在实际执行过程中,步骤S210是预先执行的,在长期记忆构建完成后,再进入用户实时检索阶段。步骤S220和步骤S230则是在用户实时检索阶段中被执行。其中,长期记忆是指被持续存储的数据,通常是存储在硬盘中的数据。长期记忆包括知识图谱和各个第一实体的实体描述。比如,在应用本交互检索方法的交互检索系统的使用期间,长期记忆是持续存在的。
对于某一领域文档,现有技术方案是对该领域文档进行切片,得到各个文档段落,将文档段落进行嵌入,直接存入向量数据库,本发明是通过大语言模型对领域文档进行信息抽取,得到各个第一实体的实体描述。在检索过程中,现有技术是以切片后的文档段落为单位进行检索,目的是检索出与问题相关的文档段落,由于该文档段落可能只包含针对问题中实体的部分描述,进而会导致问题回答不准确。本发明是以实体描述为单位进行检索,目的是检索出与问题相关的实体描述,因此会得到问题中实体的实体描述,由于该实体描述包含了领域文档中关于该实体的所有相关信息,所以会回答的更加准确。
示例性地,领域文档中存在两段文字:“中国科学技术大学1958年9月创建于北京,首任校长由郭沫若兼任;建校后,中科院实施“全院办校,所系结合”的办学方针,建校第二年即被列为全国重点大学。”、“1970年初,中国科学技术大学迁至安徽省合肥市,开始了第二次创业,1978年以后,学校创办少年班、首建研究生院、建设国家大科学工程、面向世界开放办学等新举措;也是唯一参与国家知识创新工程的大学。”
本发明的交互检索方法对上述领域文档进行信息抽取,信息抽取至少可以得到如下知识信息:实体列表为[中国科学技术大学,郭沫若,合肥市];有联系关系的实体对为(中国科学技术大学,郭沫若),(中国科学技术大学,合肥市);实体描述为(“中国科学技术大学”,[“中国科学技术大学1958年9月创建于北京,首任校长由郭沫若兼任,实施“全院办校,所系结合”的办学方针,建校第二年被列为全国重点大学","中国科学技术大学在1970年初迁至合肥市”),(“郭沫若”,[“郭沫若兼任了中国科学技术大学的首任校长”]),(“合肥市”,[“中国科学技术大学在1970年初迁至合肥。”])。这些知识信息中,实体描述会被嵌入存到向量数据库中。
现有技术方案则是对上述领域文档进行切片,得到至少两个文档段落,假定两个文档段落分别为上述两段文字。
当用户输入问题:“中国科学技术大学在哪里?”。现有的检索问答系统会直接将上述两段文字嵌入存到向量数据库,在检索时会检索与问题最相关的K个文档段落,K个文档段落中可能只包含第一段文字,而不包含第二段文字,此时大语言模型就会回答:“中国科学技术大学在北京”。如果使用本发明的交互检索方法,通过大语言模型对领域文档进行信息抽取,检索到与用户输入问题相关的实体描述,即中国科学技术大学的实体描述,此时大语言模型就会回答:“中国科学技术大学在合肥”。
综上,本发明提供的交互检索方法与传统的检索方法相比,通过对领域文档进行信息抽取,得到若干第一实体以及第一实体的实体描述,并将实体描述存储为长期记忆,在检索过程中,以实体描述为单位进行检索,进而可以检索到用户问题中实体的实体描述,该实体描述包含了领域文档中关于该实体的所有相关信息。最后至少将检索到的第一目标实体描述作为当前问题的上下文,而第一目标描述至少包括了当前问题中实体的实体描述。而传统的检索方法,是以切片后的文档段落为单位进行检索,检索到的文档段落中不一定包含用户问题中实体的所有相关信息。因此,本发明的交互检索方法能够更加准确地回答用户输入的问题,也就是更加准确地输出当前输入的回复。解决了相关技术中存在的交互检索方法会导致大语言模型回答用户问题的准确率低的问题。
在对领域文档进行信息抽取时,可以直接将整个领域文档输入大语言模型,但是这样会占用较大内存,甚至导致系统卡顿,进而会降低信息抽取效率。为了保证信息抽取过程的流畅进行,可以对领域文档进行切片处理,将切片后的文档段落依次输入大语言模型进行信息抽取。
因此,在一个实施例中,交互检索方法还包括:对领域文档进行切片,得到若干文档段落;步骤S210中,通过大语言模型对领域文档进行信息抽取,得到若干实体和各个第一实体对应的实体描述,包括:通过大语言模型分别对各个文档段落进行实体抽取,得到各个第一实体;对于任意第一实体,通过大语言模型根据第一实体所在的文档段落生成第一实体对应的实体描述。
具体的,可以先对领域文档进行切片,得到若干文档段落,然后设计Prompt对文档段落进行信息抽取。信息抽取过程如下:
1、实体抽取。以切片(文档段落)为单位通过相应Prompt指令(比如为:抽取出段落中所有实体,以列表形式返回)输入到大语言模型中进行实体抽取,得到第一实体。
2、实体描述生成。将第一实体与其所在的文档段落通过Prompt指令(比如为:抽取出文档段落中与实体相关的信息作为简要的摘要)组合输入到大语言模型,生成简要的摘要作为实体描述,实体描述是以列表形式组织,不同切片中关于同一实体的描述都会存入这个列表中。
3. 实体描述会转换成嵌入,存到向量数据库中,作为长期记忆。
通过上述抽取出的若干第一实体,则可以构建得到知识图谱。该知识图谱可以只有一种实体和一种关系。以第一实体为节点,同一文档段落的第一实体间有联系关系,组成一个实体对以及联系关系的三元组。比如一段话为“1970年初,中国科学技术大学迁至安徽省合肥市,开始了第二次创业,1978年以后,学校创办少年班、首建研究生院、建设国家大科学工程、面向世界开放办学等新举措;也是唯一参与国家知识创新工程的大学”,从中抽取出的有关联的实体对为(中国科学技术大学,合肥市),则三元组为(中国科学技术大学,合肥市,1970年初中国科学技术大学迁至安徽省合肥市)。各个第一实体的实体描述则为知识图谱中各个节点的节点属性,两者之间具有映射关系。
对领域文档进行切片,一方面便于大语言模型获取领域文档中的细粒度信息,能够更加准确地获取各个第一实体的实体描述;另一方面是提高信息抽取效率,如果不进行切片,通过大语言模型直接对领域文档进行处理,内存占用情况和处理速度都会变差。
通过上述关于信息抽取的描述可知,知识图谱的构建过程比较简单,更加快速实用,实体抽取可以充分提炼所有领域文档的内容,实体描述则保留了细粒度的信息。因此,对领域文档先进行切片再进行信息抽取,其好处是提高了信息抽取的效率以及信息抽取的细粒度。
如下提供一些领域文档的具体切片手段。
在其中的一些实施例中,对领域文档进行切片,得到若干文档段落,包括:根据换行符号和/或标点符号对领域文档进行切片,得到长度小于或等于预设长度的若干文档段落。
具体的,在应用本发明交互检索方法的交互检索系统使用前,需要将一系列领域文档上传至交互检索系统。系统首先对领域文档进行常规的预处理清洗之后,进行领域文档的切片,切为若干个文档段落,切分方法是:首先通过换行符号对领域文档进行切分;其次查看切片大小,如果切片大小大于预设长度,再按标点符号进行切片;进一步地校验切片大小,如果切片大小还大于预设长度,直接按固定长度切分;最后切分完之后进行相邻切片合并,合并到长度不超过预设长度的切片,得到最终的文档切片(文档段落)。
由于同一领域中存在多个不同的知识文档。在信息抽取过程中,对于每个实体,每个知识文档都有可能存在与该实体相关的知识信息,进而每个知识文档都可能会为该实体提供一个实体描述。因此,每个实体可能存在多个实体描述,为了提高问题回复的准确性,可以将目标实体的所有实体描述均作为问题的上下文。
因此,在其中的一些实施例中,步骤S220中,通过大语言模型在长期记忆中检索与当前输入相关的第一目标实体描述,包括:通过大语言模型在长期记忆中检索与当前输入相关的第一候选实体描述;确定第一候选实体描述目标实体;在长期记忆中确定目标实体除第一候选实体描述之外的第二候选实体描述;根据第一候选实体描述和第二候选实体描述确定第一目标实体描述。
具体的,通过大语言模型在长期记忆中检索的过程中,检索到与当前输入相关的第一候选实体描述,将第一候选实体描述映射到对应的目标实体,然后确定目标实体对应的除第一候选实体描述之外的第二候选实体描述,第二候选实体描述和第一候选实体描述来自于同一领域的不同知识文档,即不同知识文档中针对目标实体的相关信息集合。最终根据第一候选实体描述和第二候选实体描述确定第一目标实体描述。由于结合了来自不同知识文档的关于目标实体的实体描述,可以更加全面的获取到目标实体的相关信息,使得问题的上下文更加完整全面,最终使得用户问题的回复会更加准确。
在一些其他的实施例中,通过大语言模型在长期记忆中检索与当前输入相关的第一目标实体描述,包括:通过大语言模型在长期记忆中检索与当前输入相关的第一实体描述;确定第一实体描述对应的第一目标实体,确定与第一目标实体关联的第二目标实体;在长期记忆中,确定第一目标实体对应的除第一实体描述之外的第二实体描述,以及确定与第二目标实体对应的第三实体描述;根据第一实体描述、第二实体描述和第三实体描述确定第一目标实体描述。
具体的,在长期记忆中进行检索出与当前输入相关的第一实体描述,该第一实体描述通过与实体的映射关系得到与第一实体描述相关联的第一目标实体,通过知识图谱得到与第一目标实体相联系的其他节点(第二目标实体),在长期记忆中,确定第一目标实体对应的除第一实体描述之外的第二实体描述,以及确定与第二目标实体对应的第三实体描述,因此,根据第一实体描述、第二实体描述和第三实体描述确定第一目标实体描述。这样做的好处是对第一目标实体描述进行了上下文的补充,得到更准确描述,更加丰富了第一目标实体描述。示例性地,当第一目标实体为中国科学技术大学时,第二目标实体则可以是合肥市、郭沫若等。
为了更准确地回复用户的问题,还可以将用户的历史交互作为短期记忆,并结合长短期记忆生成相应的回复。
因此,在一个实施例中,交互检索方法还包括:调取用户的历史交互,通过大语言模型对历史交互进行信息抽取,得到若干第二实体和各个第二实体对应的实体描述,将各个第二实体对应的实体描述存储为短期记忆;通过大语言模型在短期记忆中检索与当前输入相关的第二目标实体描述;在步骤S230中,根据第一目标实体描述输出当前输入的回复,包括:根据第一目标实体描述和第二目标实体描述输出当前输入的回复。
具体的,用户的历史交互则是用户与系统的历史对话问答。在交互过程中,也会使用领域文档的信息抽取方式,抽取出历史交互中的第二实体,以及第二实体的实体描述,存为短期记忆,形式如(e1,s1),(e2,s2),e为实体,s为实体描述。这种方式可以降低短期记忆对内存的占用。其中,短期记忆是指被短暂存储的数据。比如,基于某一用户的历史交互构建的短期记忆,在该用户结束交互后,该短期记忆则会被清除。因此,短期记忆通常被存储在计算机内存中。
本实施例中,为了回复当前问题进行检索的过程中,会在短期记忆和长期记忆中进行检索。具体的,本实施例还会通过大语言模型在短期记忆中检索与当前问题相关的第二目标实体描述,通过第一目标实体描述和第二目标实体描述输出当前问题的回复。相比于仅通过第一目标实体描述输出当前问题的回复,本实施例结合长短期记忆,至少将第一目标实体描述和第二目标实体描述作为当前问题的上下文,进一步扩充了当前问题的上下文,能够更加准确地回复当前问题。
进一步的,在一些实施例中,历史交互包括若干单轮交互;根据第一目标实体描述和第二目标实体描述输出当前输入的回复,包括:根据第二目标实体描述对应的单轮交互、第二目标实体描述对应的第二实体和第一目标实体描述,输出当前输入的回复。
具体的,由于第二目标实体描述是从其对应的单轮交互中抽取得到的,且单轮交互包括了一个完整的问答过程(一个问题和一个回复)。因此单轮交互相比于其对应的第二目标实体描述包含的信息更多,采用第二目标实体描述对应的单轮交互替换第二目标实体描述作为当前输入的上下文,能够进一步扩充当前输入的上下文。相比于将第二目标实体描述作为当前输入的上下文,能够更加准确地回复当前输入。
在一个实施例中,交互检索方法还包括:将当前输入和短期记忆中的实体描述作为意图分类模型的输入,根据意图分类模型的意图分类结果确定当前输入的质量评分;根据第一目标实体描述生成当前输入的回复,包括:若当前输入的质量评分低于预设值或第一目标实体描述不存在时,输出预设提示信息,预设提示信息用于向用户提示:大语言模型无法基于长期记忆输出当前输入的回复。
具体的,当前问题会通过Prompt指令输入到大语言模型进行质量评价,评价通过一个意图分类模型实现。当前问题和短期记忆中的实体描述输入后,输出一个当前问题的质量评分。同时,将当前问题嵌入后,在长期记忆中进行检索。结合检索的结果与质量评分,判断当前问题是否需要进行领域问答,如果没有检索到相关内容或者质量得分比较低则不需要进行领域问答。如果不需要会通过Prompt指令指导大语言模型生成开放式回复,Prompt指令形式如“当前问题无法从知识库中得到一个较好的回复,请生成一个礼貌的引导,让用户细化问题,或者提出其他问题。”。
需要说明的是,在实际实施过程中,通常是在第N轮提问后,系统首先进行问题校验,即确定当前问题的质量评分,如果当前问题质量不高,模型会进行开放式回复或者指出不回答的原因。如果问题质量较高,则会基于长短期记忆进行回答。
最后需要说明的是,在上述部分实施例中,会在长期记忆和短期记忆中分别检索与当前输入相关的实体描述,可以采用相同或不同的匹配方式进行检索,匹配方式可以相似度匹配和最大边际相关性匹配等。以相似度匹配为例,检索匹配过程如下:
当前问题为q,首先通过嵌入模型embed得到问题嵌入
实体描述为,然后通过嵌入模型embed得到实体描述嵌入/>,其中n为实体数量,m为实体描述的长度;
最后计算得到相似度,其中Sim表示问题与n个实体描述的相似度。
在长短期记忆检索过程中,可以找到相似度超过阈值k的实体描述作为与当前问题相关的实体描述。
如上,已通过多个实施例对本发明进行了较为完整的说明。通过上述内容可知,本发明中提供的一种交互检索方法,通过大语言模型对领域文档进行信息抽取,得到若干实体以及对应的实体描述,并将实体对应的实体描述存储为长期记忆;同时对于对话历史,首先会对每轮对话进行筛选,然后通过大语言模型进行信息抽取,存储为短期记忆,当用户进行检索时,通过长短期记忆提高模型回答的准确度,同时借助长短期记忆,进行问题的校验,可以帮助识别低质量问题,反馈给用户,减少了幻觉的发生。本发明提供一种有效的交互检索方法,解决了相关技术中存在大语言模型在领域信息交互检索方法上回答用户问题的准确率低的问题。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本发明中还提供了一种交互检索装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明的交互检索装置的结构框图,如图3所示,该装置包括:
构建长期记忆模块310,用于获取领域文档,通过大语言模型对领域文档进行信息抽取,得到若干第一实体和各个第一实体的实体描述,将各个第一实体的实体描述存储为长期记忆;
检索模块320,用于获取用户的当前输入,通过大语言模型在长期记忆中检索与当前输入相关的第一目标实体描述;
响应当前输入模块330,用于根据第一目标实体描述输出当前输入的回复。
综上,本发明提供的交互检索装置与现有技术相比,通过对领域文档进行信息抽取,得到若干第一实体以及第一实体的实体描述,并将实体描述存储为长期记忆,在检索过程中,以实体描述为单位进行检索,进而可以检索到用户问题中实体的实体描述,该实体描述包含了领域文档中关于该实体的所有相关信息。而传统的检索方法,是以切片后的文档段落为单位进行检索,检索到的文档段落中不一定包含用户问题中实体的所有相关信息。因此,本发明的交互检索装置能够更加准确地回答用户输入的问题,也就是更加准确地输出当前输入的回复。解决了相关技术中存在的交互检索装置会导致大语言模型回答用户问题的准确率低的问题。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本发明中还提供了一种电子设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在一个实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取领域文档,通过大语言模型对领域文档进行信息抽取,得到若干第一实体和各个第一实体对应的实体描述,将各个第一实体对应的实体描述存储为长期记忆;
S2,获取用户的当前输入,通过大语言模型在长期记忆中检索与当前输入相关的第一目标实体描述;
S3,根据第一目标实体描述输出当前输入的回复。
需要说明的是,本电子设备的具体示例可以参考上述方法的实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述本发明中提供的交互检索方法,在本发明中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种交互检索方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。

Claims (7)

1.一种交互检索方法,其特征在于,所述方法包括:
获取领域文档,通过大语言模型对所述领域文档进行信息抽取,得到若干第一实体和各个所述第一实体的实体描述,将各个所述第一实体的实体描述存储为长期记忆;
获取用户的当前输入,通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述;
根据所述第一目标实体描述输出所述当前输入的回复;
所述通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述,包括:
通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一实体描述;
确定所述第一实体描述对应的第一目标实体,确定与所述第一目标实体关联的第二目标实体;
在所述长期记忆中,确定所述第一目标实体对应的除所述第一实体描述之外的第二实体描述,以及确定与所述第二目标实体对应的第三实体描述;
根据所述第一实体描述、所述第二实体描述和所述第三实体描述确定所述第一目标实体描述;
所述方法还包括:
对所述领域文档进行切片,得到若干文档段落;
所述通过大语言模型对所述领域文档进行信息抽取,得到若干实体和各个所述第一实体的实体描述,包括:
通过所述大语言模型分别对各个所述文档段落进行实体抽取,得到各个所述第一实体;
对于任意所述第一实体,通过所述大语言模型根据所述第一实体所在的所述文档段落生成所述第一实体的实体描述。
2.根据权利要求1所述的交互检索方法,其特征在于,所述对所述领域文档进行切片,得到若干文档段落,包括:根据换行符号和/或标点符号对所述领域文档进行切片,得到长度小于或等于预设长度的若干所述文档段落。
3.根据权利要求1所述的交互检索方法,其特征在于,所述方法还包括:
调取所述用户的历史交互,通过所述大语言模型对所述历史交互进行信息抽取,得到若干第二实体和各个所述第二实体对应的实体描述,将各个所述第二实体对应的实体描述存储为短期记忆;
通过所述大语言模型在所述短期记忆中检索与所述当前输入相关的第二目标实体描述;
所述根据所述第一目标实体描述输出所述当前输入的回复,包括:
根据所述第一目标实体描述和所述第二目标实体描述输出所述当前输入的回复。
4.根据权利要求3所述的交互检索方法,其特征在于,所述历史交互包括若干单轮交互;
所述根据所述第一目标实体描述和所述第二目标实体描述输出所述当前输入的回复,包括:
根据所述第二目标实体描述对应的所述单轮交互、所述第二目标实体描述对应的所述第二实体和所述第一目标实体描述,输出所述当前输入的回复。
5.根据权利要求3所述的交互检索方法,其特征在于,所述方法还包括:
将所述当前输入和所述短期记忆中的实体描述作为意图分类模型的输入,根据所述意图分类模型的意图分类结果确定所述当前输入的质量评分;
所述根据所述第一目标实体描述生成所述当前输入的回复,包括:
若所述当前输入的质量评分低于预设值或所述第一目标实体描述不存在时,输出预设提示信息,所述预设提示信息用于向所述用户提示:所述大语言模型无法基于所述长期记忆输出所述当前输入的回复。
6.一种交互检索装置,其特征在于,包括:
构建长期记忆模块,用于获取领域文档,通过大语言模型对所述领域文档进行信息抽取,得到若干第一实体和各个所述第一实体的实体描述,将各个所述第一实体的实体描述存储为长期记忆;
检索模块,用于获取用户的当前输入,通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述;
响应当前输入模块,用于根据所述第一目标实体描述输出所述当前输入的回复;
所述通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一目标实体描述,包括:
通过所述大语言模型在所述长期记忆中检索与所述当前输入相关的第一实体描述;
确定所述第一实体描述对应的第一目标实体,确定与所述第一目标实体关联的第二目标实体;
在所述长期记忆中,确定所述第一目标实体对应的除所述第一实体描述之外的第二实体描述,以及确定与所述第二目标实体对应的第三实体描述;
根据所述第一实体描述、所述第二实体描述和所述第三实体描述确定所述第一目标实体描述;
所述构建长期记忆模块还用于:对所述领域文档进行切片,得到若干文档段落;
所述通过大语言模型对所述领域文档进行信息抽取,得到若干实体和各个所述第一实体的实体描述,包括:
通过所述大语言模型分别对各个所述文档段落进行实体抽取,得到各个所述第一实体;
对于任意所述第一实体,通过所述大语言模型根据所述第一实体所在的所述文档段落生成所述第一实体的实体描述。
7.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的交互检索方法。
CN202311743554.6A 2023-12-19 2023-12-19 交互检索方法、装置和电子设备 Active CN117421416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311743554.6A CN117421416B (zh) 2023-12-19 2023-12-19 交互检索方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311743554.6A CN117421416B (zh) 2023-12-19 2023-12-19 交互检索方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN117421416A CN117421416A (zh) 2024-01-19
CN117421416B true CN117421416B (zh) 2024-03-26

Family

ID=89525159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311743554.6A Active CN117421416B (zh) 2023-12-19 2023-12-19 交互检索方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117421416B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118095349A (zh) * 2024-03-19 2024-05-28 苏州数猎科技有限公司 一种大模型记忆机制的实现方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256825A (zh) * 2020-10-19 2021-01-22 平安科技(深圳)有限公司 医疗领域多轮对话智能问答方法、装置和计算机设备
CN112347226A (zh) * 2020-11-06 2021-02-09 平安科技(深圳)有限公司 文档知识抽取方法、装置、计算机设备及可读存储介质
WO2021196981A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 语音交互方法、装置和终端设备
CN113792115A (zh) * 2021-08-17 2021-12-14 北京百度网讯科技有限公司 实体相关性确定方法、装置、电子设备及存储介质
CN114780694A (zh) * 2022-03-28 2022-07-22 北京智谱华章科技有限公司 基于预训练语言模型的零微调拟人会话生成方法及设备
WO2022227165A1 (zh) * 2021-04-28 2022-11-03 平安科技(深圳)有限公司 机器阅读理解的问答方法、装置、计算机设备及存储介质
CN115952272A (zh) * 2023-03-10 2023-04-11 杭州心识宇宙科技有限公司 一种生成对话信息的方法、装置、设备及可读存储介质
CN117033571A (zh) * 2023-06-27 2023-11-10 山东新一代信息产业技术研究院有限公司 知识问答系统构建方法及系统
CN117114739A (zh) * 2023-09-27 2023-11-24 数据空间研究院 一种企业供应链信息挖掘方法、挖掘系统及存储介质
CN117193582A (zh) * 2023-09-28 2023-12-08 中国电信股份有限公司技术创新中心 交互控制方法及系统、电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7165066B2 (en) * 2002-12-23 2007-01-16 Sap Ag Systems and methods for associating system entities with descriptions
CN111368048B (zh) * 2020-02-26 2024-06-25 京东方科技集团股份有限公司 信息获取方法、装置、电子设备及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196981A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 语音交互方法、装置和终端设备
CN112256825A (zh) * 2020-10-19 2021-01-22 平安科技(深圳)有限公司 医疗领域多轮对话智能问答方法、装置和计算机设备
CN112347226A (zh) * 2020-11-06 2021-02-09 平安科技(深圳)有限公司 文档知识抽取方法、装置、计算机设备及可读存储介质
WO2022227165A1 (zh) * 2021-04-28 2022-11-03 平安科技(深圳)有限公司 机器阅读理解的问答方法、装置、计算机设备及存储介质
CN113792115A (zh) * 2021-08-17 2021-12-14 北京百度网讯科技有限公司 实体相关性确定方法、装置、电子设备及存储介质
CN114780694A (zh) * 2022-03-28 2022-07-22 北京智谱华章科技有限公司 基于预训练语言模型的零微调拟人会话生成方法及设备
CN115952272A (zh) * 2023-03-10 2023-04-11 杭州心识宇宙科技有限公司 一种生成对话信息的方法、装置、设备及可读存储介质
CN117033571A (zh) * 2023-06-27 2023-11-10 山东新一代信息产业技术研究院有限公司 知识问答系统构建方法及系统
CN117114739A (zh) * 2023-09-27 2023-11-24 数据空间研究院 一种企业供应链信息挖掘方法、挖掘系统及存储介质
CN117193582A (zh) * 2023-09-28 2023-12-08 中国电信股份有限公司技术创新中心 交互控制方法及系统、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多角度关联模型的实体检索方法;王东;牛军钰;;计算机工程;20130115(第01期);第72-74页 *

Also Published As

Publication number Publication date
CN117421416A (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN109086303B (zh) 基于机器阅读理解的智能对话方法、装置、终端
US20200301954A1 (en) Reply information obtaining method and apparatus
CN107797984B (zh) 智能交互方法、设备及存储介质
CN107908803B (zh) 问答交互的响应方法及装置、存储介质、终端
CN104750705B (zh) 信息回复方法及装置
CN117421416B (zh) 交互检索方法、装置和电子设备
CN111488467B (zh) 地理知识图谱的构建方法、装置、存储介质及计算机设备
CN107633060B (zh) 一种信息处理方法及电子设备
CN102737042B (zh) 建立问句生成模型的方法和装置以及问句生成方法和装置
CN105930367B (zh) 智能聊天机器人控制方法及控制装置
CN106407178A (zh) 一种会话摘要生成方法及装置
CN110019729B (zh) 智能问答方法及存储介质、终端
CN110019838B (zh) 智能问答系统及智能终端
CN108304424B (zh) 文本关键词提取方法及文本关键词提取装置
CN110297897B (zh) 问答处理方法及相关产品
CN110377745B (zh) 信息处理方法、信息检索方法、装置及服务器
EP2988229A1 (en) Information retrieval method and device
CN116882372A (zh) 文本生成方法、装置、电子设备以及存储介质
CN118394890B (zh) 一种基于大语言模型的知识检索增强生成方法及其系统
CN107679124B (zh) 一种基于动态规划算法的知识图谱中文问答检索方法
CN113742446A (zh) 一种基于路径排序的知识图谱问答方法及系统
CN110727769A (zh) 语料库生成方法及装置、人机交互处理方法及装置
CN105808688B (zh) 基于人工智能的补全检索方法及装置
CN117435696A (zh) 文本数据的检索方法、装置、电子设备及存储介质
CN110442696B (zh) 查询处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant