发明内容
本发明实施例的目的在于提供一种基于大模型的问答回复方法、系统、终端及存储介质,旨在解决现有问答回复准确性低下的问题。
本发明实施例是这样实现的,一种基于大模型的问答回复方法,所述方法包括:
获取用户问题,并将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果;
若所述问答分析结果满足外部数据查询条件,则将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,并对所述问题匹配段落进行过滤,得到问答回复信息;
根据所述用户问题的问题类型确定提示查询方式,并在提示知识库中,根据所述提示查询方式和所述用户问题进行信息查询,得到问答提示信息,所述提示查询方式用于查询所述问答回复信息相关的提示信息;
根据所述问答回复信息和所述问答提示信息对所述用户问题进行问答回复。
优选的,将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,包括:
对所述用户问题进行向量转换,得到问题向量,并分别计算所述问题向量与所述外部知识库中文本向量之间的向量相似度;
将所述向量相似度大于第一相似度阈值的文本向量设置为相关向量,并将所述相关向量对应的文本段落确定为所述问题匹配段落。
优选的,对所述问题匹配段落进行过滤,得到问答回复信息,包括:
分别获取各问题匹配段落的实体标签,并根据所述实体标签,分别计算不同问题匹配段落之间的实体相似度;
根据所述实体相似度,分别确定各问题匹配段落的段落关联度,所述段落关联度用于表示对应问题匹配段落与不同问题匹配段落之间的关联程度;
若任一所述问题匹配段落的段落关联度小于关联度阈值,则删除所述问题匹配段落;
针对剩余的所述问题匹配段落,根据所述向量相似度进行排序显示,得到所述问答回复信息。
优选的,将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果,包括:
根据所述大模型提取所述用户问题的问题语义,并根据所述问题语义确定匹配语义;
获取所述匹配语义对应的问题回复信息,并获取所述问题语义与所述匹配语义之间的语义相似度;
根据所述问题回复信息和所述语义相似度生成所述问答分析结果。
优选的,将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果之后,还包括:
若所述语义相似度小于第二相似度阈值,则向用户发送问答外部查询提示;
当接收到针对所述问答外部查询提示的用户确认指令,则判定所述问答分析结果满足外部数据查询条件。
优选的,根据所述用户问题的问题类型确定提示查询方式之前,还包括:
对所述用户问题进行实体识别,得到问题实体,并对所述用户问题进行语义识别,得到用户语义;
对所述用户问题进行三元组识别,并根据三元组识别结果确定所述用户问题的问题主题;
根据所述问题主题、所述问题实体和所述用户语义确定所述用户问题的问题类型。
优选的,根据所述问答回复信息和所述问答提示信息对所述用户问题进行问答回复之前,还包括:
分别对所述问答回复信息和所述问答提示信息中的文本段落进行分句处理,得到第一文本句和第二文本句;
分别计算各第一文本句与各第二文本句之间的文本相似度,并根据所述文本相似度对所述问答提示信息进行信息筛选。
本发明实施例的另一目的在于提供一种基于大模型的问答回复系统,所述系统包括:
问答分析模块,用于获取用户问题,并将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果;
文本匹配模块,用于若所述问答分析结果满足外部数据查询条件,则将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,并对所述问题匹配段落进行过滤,得到问答回复信息;
信息查询模块,用于根据所述用户问题的问题类型确定提示查询方式,并在提示知识库中,根据所述提示查询方式和所述用户问题进行信息查询,得到问答提示信息,所述提示查询方式用于查询所述问答回复信息相关的提示信息;
文本回复模块,用于根据所述问答回复信息和所述问答提示信息对所述用户问题进行问答回复。
本发明实施例的另一目的在于提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例,将大模型与外部知识库相结合,将外部知识库中的信息与大模型的数据一起进行使用,提高了问答回复的准确性,防止了大模型无法实时更新导致的无法应答或回答不准确的现象。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
请参阅图1,是本发明第一实施例提供的基于大模型的问答回复方法的流程图,该基于大模型的问答回复方法可以应用于任一车载终端设备或系统,该基于大模型的问答回复方法包括步骤:
步骤S10,获取用户问题,并将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果;
其中,通过将用户问题输入预训练的大模型进行问答分析,能有效地基于大模型的参数对用户问题进行问答预测,得到问答分析结果。
可选的,将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果,包括:
根据所述大模型提取所述用户问题的问题语义,并根据所述问题语义确定匹配语义;其中,通过提取用户问题的问题语义,对问题语义进行向量转换,得到问题语义向量,将问题语义向量与预设语义向量进行相似度计算,得到向量相似度,将最大向量相似度对应的预设语义向量确定为目标语义向量,将目标语义向量对应的语义确定为匹配语义;
获取所述匹配语义对应的问题回复信息,并获取所述问题语义与所述匹配语义之间的语义相似度;其中,将问题语义向量与预设语义向量之间的最大向量相似度设置为语义相似度;
根据所述问题回复信息和所述语义相似度生成所述问答分析结果;其中,将问题回复信息和语义相似度进行存储,得到问答分析结果。
进一步地,将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果之后,还包括:
若所述语义相似度小于第二相似度阈值,则向用户发送问答外部查询提示;其中,该第二相似度阈值可以根据需求进行设置,该问答外部查询提示用于提示用户是否调用外部知识库进行用户问题的问答查询;
当接收到针对所述问答外部查询提示的用户确认指令,则判定所述问答分析结果满足外部数据查询条件;其中,当接收到针对问答外部查询提示的用户确认指令时,则判定用户需要调用外部知识库进行问答查询。
步骤S20,若所述问答分析结果满足外部数据查询条件,则将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,并对所述问题匹配段落进行过滤,得到问答回复信息;
其中,在大模型外部预先设置有外部知识库,请参阅图2,外部知识库构建过程包括:
数据采集和清洗:定义知识库地址,收集各种类型的外部数据源,并进行数据清洗、预处理,确保数据的准确性,外部数据可以是pdf、word、excel、html或text等格式数据。该步骤中的数据清洗操作包括特殊字符处理、段落分析、标题分析、表格分析和图片分布解析等操作。
数据存储和管理:将清洗后的数据进行文本向量化转换,将转换后的数据存储到外部知识库中,并设计数据模型和查询方式,便于后续的查找和使用,数据存储格式一般采用JSON方式,对标题、段落、工式、图片分布可以根据需求进行设置,可以更好的服务于段落匹配。该步骤中,可以基于word2vec模型进行文本向量化转换。
数据更新和维护:实时更新和维护外部知识库中的数据,确保数据的时效性和可用性。
可选的,将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,包括:
对所述用户问题进行向量转换,得到问题向量,并分别计算所述问题向量与所述外部知识库中文本向量之间的向量相似度;其中,通过分别计算问题向量与外部知识库中文本向量之间的向量相似度,以达到将问题向量与外部知识库进行文本匹配的效果;
将所述向量相似度大于第一相似度阈值的文本向量设置为相关向量,并将所述相关向量对应的文本段落确定为所述问题匹配段落;其中,该第一相似度阈值可以根据需求进行设置。
进一步地,对所述问题匹配段落进行过滤,得到问答回复信息,包括:
分别获取各问题匹配段落的实体标签,并根据所述实体标签,分别计算不同问题匹配段落之间的实体相似度;其中,不同问题匹配段落之间的实体标签进行组合,得到标签组,将各标签组与相似度查询表进行匹配,得到该实体相似度,该相似度查询表中存储有不同标签组对应的实体相似度;
根据所述实体相似度,分别确定各问题匹配段落的段落关联度,其中,段落关联度用于表示对应问题匹配段落与不同问题匹配段落之间的关联程度,该步骤中,将各实体相似度与关联度查询表进行匹配,得到该段落关联度,该关联度查询表中存储有不同实体相似度对应的段落关联度;
若任一所述问题匹配段落的段落关联度小于关联度阈值,则删除所述问题匹配段落;其中,该关联度阈值可以根据需求进行设置,若任一问题匹配段落的段落关联度小于关联度阈值,则判定该问题匹配段落与其他问题匹配段落之间关联程度较小,通过删除该问题匹配段落,提高了问答回复信息的准确性;
针对剩余的所述问题匹配段落,根据所述向量相似度进行排序显示,得到所述问答回复信息。
可选的,请参阅图3,本实施例中,还可以将用户问题与外部知识库进行段落和关键字的匹配,得到问题匹配段落;
将外部知识库中的各个文本转化为向量表示,便于后续的文本相似度计算。采用基于向量空间模型的文本相似度计算法,通过计算用户问题和外部知识库中的文本向量之间的余弦相似度,得到向量相似度,基于向量相似度确定问题匹配段落。根据向量相似度过滤掉低分段落,并对剩余的段落进行排序,以提高准确性和用户体验。
步骤S30,根据所述用户问题的问题类型确定提示查询方式,并在提示知识库中,根据所述提示查询方式和所述用户问题进行信息查询,得到问答提示信息;
其中,该提示查询方式用于查询问答回复信息相关的提示信息,本实施例中预设置有一提示知识库,请参阅图4,提示知识库构建流程包括:
首先进行数据准备:为不同类型的问题准备相应的提示词库,包括问题主题、实体、属性等相关信息。
提示算法实现:根据不同类型的问题,采用不同的提示算法,如最大匹配法、最大概率法等,为用户配置提供合适的提示。
用户反馈和优化:根据用户的实际使用情况和反馈,针对性地优化提示词库和算法,提高提示效果和准确性。
请参阅图5,该步骤中,通过对用户问题进行信息查询(答案溯源),得到问答提示信息,进而能有效地输出与问答回复信息相关联的溯源信息;
首先进行溯源数据准备:将外部知识库中与回答有关联的文档和段落进行筛选和整理,便于输出关联文档信息。
异步查询:当用户需要获取问答提示信息时,异步查询相关数据,提高应答速度和用户体验。该步骤中,可以调用大模型(LLM)或文档反向匹配的方式进行异步查询。
输出段落来源:将查询到的相关文档信息进行存储,得到问答提示信息,包括标题、地址、摘要等,并支持直接跳转到相应文档及段落查看详细信息。
可选的,根据所述用户问题的问题类型确定提示查询方式之前,还包括:
对所述用户问题进行实体识别,得到问题实体,并对所述用户问题进行语义识别,得到用户语义;
对所述用户问题进行三元组识别,并根据三元组识别结果确定所述用户问题的问题主题;其中,将三元组识别结果与主题查询表进行匹配,得到该问题主题,该主题查询表中存储有不同三元组识别结果与对应问题主题之间的对应关系;
根据所述问题主题、所述问题实体和所述用户语义确定所述用户问题的问题类型。
步骤S40,根据所述问答回复信息和所述问答提示信息对所述用户问题进行问答回复;
其中,调用大模型将问答回复信息和问答提示信息进行分区显示,以达到对用户问题的问答回复效果。
本实施例中,将大模型与外部知识库相结合,将外部知识库中的信息与大模型的数据一起进行使用,提高了问答回复的准确性,防止了大模型无法实时更新导致的无法应答或回答不准确的现象。通过大模型与外部知识相结合的方式,能够利用外部知识库中的各种数据进行查询和计算,从而使得能更好地解决长尾问题,同时,通过不断更新和维护外部知识库中的数据,还可以实现随着时间推移,对新问题的处理能力不断提高的目标。
实施例二
请参阅图6,是本发明第二实施例提供的基于大模型的问答回复方法的流程图,该实施例用于对第一实施例中步骤S30之后的步骤作进一步细化,包括步骤:
步骤S50,分别对所述问答回复信息和所述问答提示信息中的文本段落进行分句处理,得到第一文本句和第二文本句;
其中,通过对问答回复信息和问答提示信息中的文本段落进行分句处理,有效地方便了后文本相似度的计算,该步骤中,通过分别对问答回复信息和问答提示信息进行标点识别,基于标点识别结果进行分句分割,得到该第一文本句和第二文本句。
步骤S60,分别计算各第一文本句与各第二文本句之间的文本相似度,并根据所述文本相似度对所述问答提示信息进行信息筛选;
其中,将各第一文本句与各第二文本句进行字符串匹配,得到该文本相似度,若任一第二文本句与第一文本句之间的文本相似度大于第三相似度阈值,则将该第二文本句在问答提示信息中进行删除,有效地防止了问答回复信息与问答提示信息之间的信息重复现象。
本实施例中,通过文本相似度对问答提示信息进行信息筛选,有效地提高了问答提示信息显示的准确性。
实施例三
请参阅图7,是本发明第三实施例提供的基于大模型的问答回复系统100的结构示意图,包括:
问答分析模块10,用于获取用户问题,并将所述用户问题输入预训练的大模型进行问答分析,得到问答分析结果。
可选的,问答分析模块10还用于:根据所述大模型提取所述用户问题的问题语义,并根据所述问题语义确定匹配语义;
获取所述匹配语义对应的问题回复信息,并获取所述问题语义与所述匹配语义之间的语义相似度;
根据所述问题回复信息和所述语义相似度生成所述问答分析结果。
进一步地,问答分析模块10还用于:若所述语义相似度小于第二相似度阈值,则向用户发送问答外部查询提示;
当接收到针对所述问答外部查询提示的用户确认指令,则判定所述问答分析结果满足外部数据查询条件。
文本匹配模块11,用于若所述问答分析结果满足外部数据查询条件,则将所述用户问题与外部知识库进行文本匹配,得到问题匹配段落,并对所述问题匹配段落进行过滤,得到问答回复信息。
可选的,文本匹配模块11还用于:对所述用户问题进行向量转换,得到问题向量,并分别计算所述问题向量与所述外部知识库中文本向量之间的向量相似度;
将所述向量相似度大于第一相似度阈值的文本向量设置为相关向量,并将所述相关向量对应的文本段落确定为所述问题匹配段落。
进一步地,文本匹配模块11还用于:分别获取各问题匹配段落的实体标签,并根据所述实体标签,分别计算不同问题匹配段落之间的实体相似度;
根据所述实体相似度,分别确定各问题匹配段落的段落关联度,所述段落关联度用于表示对应问题匹配段落与不同问题匹配段落之间的关联程度;
若任一所述问题匹配段落的段落关联度小于关联度阈值,则删除所述问题匹配段落;
针对剩余的所述问题匹配段落,根据所述向量相似度进行排序显示,得到所述问答回复信息。
信息查询模块12,用于根据所述用户问题的问题类型确定提示查询方式,并在提示知识库中,根据所述提示查询方式和所述用户问题进行信息查询,得到问答提示信息,所述提示查询方式用于查询所述问答回复信息相关的提示信息。
可选的,信息查询模块12还用于:对所述用户问题进行实体识别,得到问题实体,并对所述用户问题进行语义识别,得到用户语义;
对所述用户问题进行三元组识别,并根据三元组识别结果确定所述用户问题的问题主题;
根据所述问题主题、所述问题实体和所述用户语义确定所述用户问题的问题类型。
文本回复模块13,用于根据所述问答回复信息和所述问答提示信息对所述用户问题进行问答回复。
可选的,文本回复模块13还用于:分别对所述问答回复信息和所述问答提示信息中的文本段落进行分句处理,得到第一文本句和第二文本句;
分别计算各第一文本句与各第二文本句之间的文本相似度,并根据所述文本相似度对所述问答提示信息进行信息筛选。
本实施例,将大模型与外部知识库相结合,将外部知识库中的信息与大模型的数据一起进行使用,提高了问答回复的准确性,防止了大模型无法实时更新导致的无法应答或回答不准确的现象。
实施例四
图8是本申请第四实施例提供的一种终端设备2的结构框图。如图8所示,该实施例的终端设备2包括:处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22,例如基于大模型的问答回复方法的程序。处理器20执行所述计算机程序22时实现上述各个基于大模型的问答回复方法各实施例中的步骤。
示例性的,所述计算机程序22可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器21中,并由所述处理器20执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括,但不仅限于,处理器20、存储器21。
所称处理器20可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元,例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备,例如所述终端设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。其中,计算机可读存储介质可以是非易失性的,也可以是易失性的。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。