CN118070072A - 基于人工智能的问题处理方法、装置、设备及存储介质 - Google Patents

基于人工智能的问题处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN118070072A
CN118070072A CN202410355556.6A CN202410355556A CN118070072A CN 118070072 A CN118070072 A CN 118070072A CN 202410355556 A CN202410355556 A CN 202410355556A CN 118070072 A CN118070072 A CN 118070072A
Authority
CN
China
Prior art keywords
vector
text
processing
preset
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410355556.6A
Other languages
English (en)
Inventor
苏杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Health Insurance Company of China Ltd
Original Assignee
Ping An Health Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Health Insurance Company of China Ltd filed Critical Ping An Health Insurance Company of China Ltd
Priority to CN202410355556.6A priority Critical patent/CN118070072A/zh
Publication of CN118070072A publication Critical patent/CN118070072A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请属于人工智能领域与数字医疗领域,涉及一种基于人工智能的问题处理方法,包括:基于向量化模型对用户输入的问题进行处理得到第一向量;从指定会话缓存记录筛选与第一向量匹配的第二向量;基于第一向量与第二向量构建指定文本向量;使用向量化模型对指定文本向量进行处理得到推理向量;从向量数据库查询与推理向量匹配的查询向量,并基于查询向量构建拼接文本;基于拼接文本与问题构建提示词;基于大模型对提示词进行处理生成问题的回复结果;将回复结果推送给用户。本申请还提供一种基于人工智能的问题处理装置、计算机设备及存储介质。此外,本申请的回复结果可存储于区块链中。本申请实现了能够生成与输入的问题对应的准确的回复结果。

Description

基于人工智能的问题处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能开发技术领域与数字医疗领域,尤其涉及基于人工智能的问题处理方法、装置、计算机设备及存储介质。
背景技术
随着互联网的飞速发展以及人工智能技术的医学研究的快速增长,医疗健康领域的需求也得到了快速的完善,尤其是近年来人工智能技术在医疗领域的应用,给人们带来了极大的帮助。医疗问答系统作为医疗健康领域的重要应用之一,已经渗透进了人们的日常生活,是帮助人们了解医疗知识的重要途径,该应用具体实现方式是患者咨询病情相关问题,医疗问答系统通过一定的技术向患者提供相应答案。然而,现有的医疗问答系统通常是通过信息抽取技术来进行对于用户提出的问题的答复处理,由于基于信息抽取技术的方式主要是通过关键词的匹配加上一些规则来实现答案的抽取,导致无法实现准确地向用户返回符合问题的答案,导致问答回复的准确性较低,影响用户的使用体验。
发明内容
本申请实施例的目的在于提出一种基于人工智能的问题处理方法、装置、计算机设备及存储介质,以解决现有的医疗问答系统采用的基于信息抽取技术的方式主要是通过关键词的匹配加上一些规则来实现答案的抽取,无法实现准确地向用户返回符合问题的答案,导致问答回复的准确性较低,影响用户的使用体验的技术问题。
为了解决上述技术问题,本申请实施例提供一种基于人工智能的问题处理方法,采用了如下所述的技术方案:
基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
基于所述第一向量与所述第二向量构建指定文本向量;
使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
基于所述拼接文本与所述问题构建提示词;
基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
将所述回复结果推送给所述用户。
进一步的,所述从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本的步骤,具体包括:
从所述向量数据库查询出与所述推理向量之间的匹配度最高的第一数量的第一查询向量;
从所述向量数据库中提取与所述第一查询向量对应的关联向量;
将所述第一查询向量与所述关联向量放入至预设的备选列表内;
对所述备选列表中的所有向量进行去重处理得到第二查询向量;
计算各所述第二查询向量与所述推理向量之间的相似度;
按照相似度的数值从大到小的顺序对所有所述第二查询向量进行排序得到排序结果,并从所述排序结果中筛选出排序前列的第二数量的第三查询向量;
对所述第三查询向量进行拼接处理,构建得到所述拼接文本。
进一步的,所述基于所述拼接文本与所述问题构建提示词的步骤,具体包括:
获取预设的提示词模板;
在所述提示词模板中确定出与所述拼接文本对应的第一位置;
在所述提示词模板中确定出与所述问题对应的第二位置;
将所述拼接文本与所述问题对应填充至所述提示词模板中的所述第一位置与所述第二位置内,得到所述提示词。
进一步的,在所述从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本的步骤之前,还包括:
获取待录入的文档数据;
对所述文档数据进行拆分处理,得到处理后的目标文本;
获取与所述目标文本对应的来源数据;
基于所述目标文本的元数据与所述来源数据构建得到指定元数据;
调用所述向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据;
将所述向量数据与所述指定元数据存储至预设的初始数据库,以得到所述向量数据库。
进一步的,所述对所述文档数据进行拆分处理,得到处理后的目标文本的步骤,具体包括:
基于预设的标点拆分策略对所述文档数据进行拆分处理,得到对应的第一文本;
获取预设的句子长度阈值;
基于所述句子长度阈值对所述第一文本进行分割处理,得到对应的第二文本;
将所述第二文本作为所述目标文本。
进一步的,在所述基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果的步骤之前,还包括:
调用预设的初始大模型;
获取预设的精度数据;
基于所述精度数据,使用预设的转化框架对所述初始大模型进行转化处理,得到转化后的初始大模型;
将所述转化后的初始大模型作为所述大模型。
进一步的,在所述使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量的步骤之后,还包括:
若从所述向量数据库中未查询到与所述推理向量匹配的向量,则获取预设的兜底答案;
将所述兜底答案返回给所述用户。
为了解决上述技术问题,本申请实施例还提供一种基于人工智能的问题处理装置,采用了如下所述的技术方案:
第一处理模块,用于基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
筛选模块,用于从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
第一构建模块,用于基于所述第一向量与所述第二向量构建指定文本向量;
第二处理模块,用于使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
第二构建模块,用于从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
第三构建模块,用于基于所述拼接文本与所述问题构建提示词;
第三处理模块,用于基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
推送模块,用于将所述回复结果推送给所述用户。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
基于所述第一向量与所述第二向量构建指定文本向量;
使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
基于所述拼接文本与所述问题构建提示词;
基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
将所述回复结果推送给所述用户。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
基于所述第一向量与所述第二向量构建指定文本向量;
使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
基于所述拼接文本与所述问题构建提示词;
基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
将所述回复结果推送给所述用户。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例首先基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;然后从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量,并基于所述第一向量与所述第二向量构建指定文本向量;之后使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;后续从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;进一步基于所述拼接文本与所述问题构建提示词;最后基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果,并将所述回复结果推送给所述用户。本申请通过基于预设的向量化模型与指定会话缓存记录的使用对用户输入的问题进行处理以构建出与问题对应的推理向量,然后基于向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本,进而基于预设的大模型的使用对由所述拼接文本与所述问题构建的提示词进行处理以准确地生成与所述问题对应的回复结果并推送给用户,实现了能够生成与用户输入的问题对应的更准确的回复结果,提高了回复结果的专业性与准确性,有利于提升用户的使用体验。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2根据本申请的基于人工智能的问题处理方法的一个实施例的流程图;
图3是根据本申请的基于人工智能的问题处理装置的一个实施例的结构示意图;
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于人工智能的问题处理方法一般由服务器/终端设备执行,相应地,基于人工智能的问题处理装置一般设置于服务器/终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的基于人工智能的问题处理方法的一个实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。本申请实施例提供的基于人工智能的问题处理方法能够应用于任意一种需要进行对话答复的场景中,则该基于人工智能的问题处理方法能够应用于这些场景的产品中,例如,数字医疗领域中的医疗对话答复。所述的基于人工智能的问题处理方法,包括以下步骤:
步骤S201,基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量。
在本实施例中,基于人工智能的问题处理方法运行于其上的电子设备(例如图1所示的服务器/终端设备),可以通过有线连接方式或者无线连接方式获取用户输入的问题。需要指出的是,上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。基于人工智能的问题处理方法的执行主体具体可为医疗知识对话系统。在医疗问答领域的应用场景下,上述用户可为需要了解医疗知识或者需要咨询疾病情况的用户。上述问题可为用户在与医疗知识对话系统进行医疗知识对话的过程中提出的问题。示例性的,上述问题的内容可包括:“医生,请问糖尿病严重吗,该如何治疗呢?”。其中,上述向量化模型可以采用text2vec等开源embedding模型或者openai提供的text-embedding-ada-002等收费api调用接口,向量化模型的作用是将文本依照其原始语义映射到向量空间中的特定位置,使其与语义相近的向量有更短的相对距离。
步骤S202,从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量。
在本实施例中,上述指定会话缓存记录为预先缓存的历史会话记录器中存储的包含与所述用户对应的输入的句子数据的向量数据。对于用户每次输入的句子都会先进行句子拆分,再对每个拆分后的句子分别使用向量化模型转化成向量存入到当前会话实例的缓存中,即上述指定会话缓存记录。具体地,从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量的处理过程可包括:通过计算当前问题的第一向量与指定会话缓存记录中存储的所有向量的余弦相似度,并将余弦相似度大于预设的相似度阈值的特定向量作为上述第二向量。基于历史会话记录器的使用,可以将和当前问句有关的上文进行抽取,即保留了上下文之间语义的连贯性,又可以让传入向量话模型的句子不至于过长,并且可以有效的过滤上下文中无关的信息,减少召回语料中的杂音。
步骤S203,基于所述第一向量与所述第二向量构建指定文本向量。
在本实施例中,通过将所述第二向量对应的句子进行召回,并将第一向量与第二向量一起作为输入放到下游任务中。具体地,可通过将第二向量和其对应的索引按相似度顺序依次添加到预设的句子列表中,直至所有第二向量添加完毕或者第二向量的总长度大于预设的总长度阈值,并将句子列表中的第二向量按照其在指定会话缓存记录中的顺序进行拼接得到第一拼接数据,进而将第一拼接数据与所述第一向量进行整合得到上述指定文本向量。另外,如果在指定会话缓存记录中未能筛选出与所述第一向量具有相似关系的第二向量,或者存在上述第一向量对应的句子为首句的情况,则直接将所述第一向量作为上述指定文本向量。
步骤S204,使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量。
在本实施例中,可通过将所述指定文本向量输入至所述向量化模型内,通过所述向量化模型对所述指定文本向量进行推理处理,并输出与所述指定文本向量对应的推理向量。
步骤S205,从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本。
在本实施例中,上述向量数据库具体可选用chroma或faiss等开源的向量数据库。其中,上述从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本的具体实施过程,本申请将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。
步骤S206,基于所述拼接文本与所述问题构建提示词。
在本实施例中,上述基于所述拼接文本与所述问题构建提示词的具体实施过程,本申请将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。
步骤S207,基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果。
在本实施例中,使用开源的大模型加提示词的形式,通过提供已经掌握的知识库资料,而不是直接让大模型去回答问题,可以利用大模型比较擅长的归纳总结能力,而避免去使用需要大量知识库训练才能优化的专业性知识理解,使得大模型可以更好的发挥出其特点,并对输入的提示词进行处理,进而准确地输出与所述问题对应的回复结果。其中,可以根据回答的质量调整模型检索的基础语料,或是优化大模型的提示词板式,从而可以实现对特定的任务有比较直观的提升。
步骤S208,将所述回复结果推送给所述用户。
在本实施例中,对于上述回复结果的推送方式不做限定,例如可采用文字推送形式或语音推送形式,等等。
本申请首先基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;然后从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量,并基于所述第一向量与所述第二向量构建指定文本向量;之后使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;后续从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;进一步基于所述拼接文本与所述问题构建提示词;最后基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果,并将所述回复结果推送给所述用户。本申请通过基于预设的向量化模型与指定会话缓存记录的使用对用户输入的问题进行处理以构建出与问题对应的推理向量,然后基于向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本,进而基于预设的大模型的使用对由所述拼接文本与所述问题构建的提示词进行处理以准确地生成与所述问题对应的回复结果并推送给用户,实现了能够生成与用户输入的问题对应的更准确的回复结果,提高了回复结果的专业性与准确性,有利于提升用户的使用体验。
在一些可选的实现方式中,步骤S205包括以下步骤:
从所述向量数据库查询出与所述推理向量之间的匹配度最高的第一数量的第一查询向量。
在本实施例中,上述匹配度是指向量之间的相似度,可基于预设的相似度算法来计算上述推理向量与所述向量数据库内存储的向量数据的相似度。其中,对于上述第一数量的取值不做具体限定,可根据实际的业务使用需求进行设置,例如可设为3。另外,对于上述相似度算法的选取也不做限定,例如可采用余弦相似度算法。
从所述向量数据库中提取与所述第一查询向量对应的关联向量。
在本实施例中,所述关联向量是指与所述第一查询向量对应的句子的前一个句子以及后一个句子所对应的向量。
将所述第一查询向量与所述关联向量放入至预设的备选列表内。
在本实施例中,所述备选列表为预先构建的用于进行向量统计分析的列表。
对所述备选列表中的所有向量进行去重处理得到第二查询向量。
在本实施例中,去重处理是指从所述备选列表中的所有向量中对重复出现的向量进行过滤并只保留其中一个的处理。
计算各所述第二查询向量与所述推理向量之间的相似度。
在本实施例中,可通过采用相似度算法来进行对于各所述第二查询向量与所述推理向量之间的相似度计算的处理。其中,对于上述相似度算法的选取不做具体限定,例如可采用余弦相似度算法。
按照相似度的数值从大到小的顺序对所有所述第二查询向量进行排序得到排序结果,并从所述排序结果中筛选出排序前列的第二数量的第三查询向量。
在本实施例中,对于上述第二数量的取值不做具体限定,例如可设为5。其中,文档召回部分采用了基于相似度的召回方式,通过计算向量间的余弦相似度来快速判断两段文本是否具有相似性。对于结构化的数据,如果较长的结构化文本被拆分成了若干段放入文本中,这里也能对文本做到很好的补全,从而为后续大模型所需要理解的文本完整性做好铺垫。
对所述第三查询向量进行拼接处理,构建得到所述拼接文本。
在本实施例中,在对所述第三查询向量进行拼接处理,得到初始拼接文本,然后检测该初始拼接文本的句子长度是否大于预设的长度阈值,若初始拼接文本的句子长度小于该长度阈值,则直接将所述初始拼接文本作为上述拼接文本;而如果初始拼接文本的句子长度大于该长度阈值,则截取所述初始拼接文本中的与所述长度阈值相同的排序前列的字所对应的文本并作为上述拼接文本。
本申请通过从所述向量数据库查询出与所述推理向量之间的匹配度最高的第一数量的第一查询向量;然后从所述向量数据库中提取与所述第一查询向量对应的关联向量;之后将所述第一查询向量与所述关联向量放入至预设的备选列表内,并对所述备选列表中的所有向量进行去重处理得到第二查询向量;后续计算各所述第二查询向量与所述推理向量之间的相似度;进一步按照相似度的数值从大到小的顺序对所有所述第二查询向量进行排序得到排序结果,并从所述排序结果中筛选出排序前列的第二数量的第三查询向量;最后对所述第三查询向量进行拼接处理,构建得到所述拼接文本。本申请基于的向量数据库的使用来查询出与所述推理向量匹配的查询向量,进而可以基于备选列表的使用以及相似度计算的处理方式对查询向量进行处理可以实现快速准确地构建出与所述查询向量对应的拼接文本,提高了拼接文本的构建效率,保证了构建的拼接文本的数据准确性。
在本实施例的一些可选的实现方式中,步骤S206包括以下步骤:
获取预设的提示词模板。
在本实施例中,上述提示词模板的格式具体可包括:”已知的文本为:{A},回答下面的问题:{B}”。
在所述提示词模板中确定出与所述拼接文本对应的第一位置。
在本实施例中,参照前述提示词模板的格式,通过对提示词模板的格式进行数据分析,进而可以确定出在所述提示词模板中与所述拼接文本对应的第一位置为。
在所述提示词模板中确定出与所述问题对应的第二位置。
在本实施例中,通过对提示词模板的格式进行数据分析,进而可以确定出在所述提示词模板中与所述问题对应的第二位置。
将所述拼接文本与所述问题对应填充至所述提示词模板中的所述第一位置与所述第二位置内,得到所述提示词。
在本实施例中,参照前述提示词模板的格式,通过对提示词模板的格式进行数据分析,进而可以确定出在所述提示词模板中与所述拼接文本对应的第一位置为{A},以及确定出在所述提示词模板中与所述问题对应的第二位置为{B},后续再将所述拼接文本填充至所述提示词模板中的{A}处,以及将所述问题填充至所述提示词模板中的{B}处,进而得到所述提示词。
本申请通过获取预设的提示词模板;然后在所述提示词模板中确定出与所述拼接文本对应的第一位置;以及在所述提示词模板中确定出与所述问题对应的第二位置;后续将所述拼接文本与所述问题对应填充至所述提示词模板中的所述第一位置与所述第二位置内,得到所述提示词。本申请通过基于提示词模板的使用对所述拼接文本与所述问题进行对应的填充处理,可以实现快速准确地构建出所需的提示词,提高了提示词的构建效率,保证了生成的提示词的准确性。
在一些可选的实现方式中,在步骤S205之前,上述电子设备还可以执行以下步骤:
获取待录入的文档数据。
在本实施例中,上述文档数据为预先采集的需要加载至向量数据库的文档数据。在获取到待录入的文档数据后,还需按照待录入的文档数据所支持的类型进行格式转化处理以得到处理后的文档数据。如果文件类型为xml、markdown或json等,则调用对应的文本解析器将文本解析为对应的结构化文本格式。具体地,如果待录入的文档数据的文件类型为pdf,则调用pdf解析器进行文字提取为纯文本格式;如果待录入的文档数据的文件类型为txt或其他类型的文本格式,则将文本视为纯文本格式;对于结构化文本格式的文档数据,进行一轮遍历,每次将遍历的key和字符串形式的value使用:进行拼接,形成和key的数量一致的拼接句子数并作为格式转化后的文本数据。
对所述文档数据进行拆分处理,得到处理后的目标文本。
在本实施例中,上述对所述文档数据进行拆分处理,得到处理后的目标文本的具体实施过程,本申请将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。其中,上述对所述文档数据进行拆分处理是指对前述经过格式转化后的文本数据进行拆分处理。
获取与所述目标文本对应的来源数据。
在本实施例中,上述来源数据是指所述目标文本的文件路径或文件标题。
基于所述目标文本的元数据与所述来源数据构建得到指定元数据。
在本实施例中,可通过将所述来源数据计入至所述目标文本的元数据内,以得到相应的指定元数据。示例性的,指定元数据的内容可包括{"source":"阿司匹林的作用与功效.md"}。
调用所述向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据。
在本实施例中,上述向量转化处理是指通过使用所述向量化模型将目标文本依照其原始语义映射到向量空间中的特定位置,使其与语义相近的向量有更短的相对距离,从而得到与所述目标文本对应的向量数据。
将所述向量数据与所述指定元数据存储至预设的初始数据库,以得到所述向量数据库。
在本实施例中,如果需要删除向量数据库中的某个文档,可以调用向量数据库的delete函数,通过传入文档名称,向量数据库将对指定source的文件进行一次性的删除,可以避免噪音数据对用户搜索知识的影响。其中,构建得到的向量数据库为支持多种材料类型的知识库,对于非结构化的文本,可以即时处理成知识库所需要的文本格式。对于结构化文本,会将结构化信息进行拼接之后再分条加入知识库,保留了信息的完整性。按照语言特征进行句子分割,最大程度上保证了语义的连贯性以及保留了上下文的关联性。
本申请通过获取待录入的文档数据;然后对所述文档数据进行拆分处理,得到处理后的目标文本;之后获取与所述目标文本对应的来源数据;后续基于所述目标文本的元数据与所述来源数据构建得到指定元数据;进一步调用所述向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据;最后将所述向量数据与所述指定元数据存储至预设的初始数据库,以得到所述向量数据库。本申请通过对待录入的文档数据进行拆分处理得到目标文本,进而使用向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据,以及使用所述目标文本的元数据与所述目标文本来源数据构建得到指定元数据,后续再使用初始数据库对得到的所述向量数据与所述指定元数据进行存储,从而可以实现快速智能地完成向量数据库的构建,提高了向量数据库的构建效率与构建智能性。
在一些可选的实现方式中,所述对所述文档数据进行拆分处理,得到处理后的目标文本,包括以下步骤:
基于预设的标点拆分策略对所述文档数据进行拆分处理,得到对应的第一文本。
在本实施例中,上述标点拆分策略具体为对文本进行点符号拆分的处理的策略。标点拆分策略的内容可包括:按照问号,感叹号,句号结尾的句子进行分割(如单双引号前面有问号,感叹号,句号,但后面没有,则将引号视为句子的结束标志)。
获取预设的句子长度阈值。
在本实施例中,对于上述句子长度阈值的取值不做具体限定,可根据实际的处理需求进行设置,例如可设为100。
基于所述句子长度阈值对所述第一文本进行分割处理,得到对应的第二文本。
在本实施例中,如果拆分后得到的第一文本的句子长度小于上述句子长度阈值,则直接将该第一文本作为上述第二文本。而如果拆分后得到的第一文本的句子长度大于上述句子长度阈值,则按分号、逗号的优先级顺序进一步分割,如果分割完的句子仍大于上述句子长度阈值,则将文本按照与句子长度阈值对应的字数进行截取,直到所有的句子长度均不超过上述句子长度阈值,从而得到第二文本。示例性的,如果上述句子长度阈值为100,且拆分后得到的第一文本的句子长度大于100,则按分号、逗号的优先级顺序进一步分割,如果分割完的句子仍大于100,则将文本按照每100个字进行截取,直到所有的句子长度均不超过100,进而得到第二文本。
将所述第二文本作为所述目标文本。
本申请通过基于预设的标点拆分策略对所述文档数据进行拆分处理,得到对应的第一文本;然后获取预设的句子长度阈值;之后基于所述句子长度阈值对所述第一文本进行分割处理,得到对应的第二文本;后续将所述第二文本作为所述目标文本。本申请通过基于标点拆分策略以及句子长度阈值的使用来对所述文本数据进行拆分处理与分割处理,可以实现快速准确地构建出所需的目标文本,提高了目标文本的构建效率,保证了生成的目标文本的准确性。
在本实施例的一些可选的实现方式中,在步骤S206之前,上述电子设备还可以执行以下步骤
调用预设的初始大模型。
在本实施例中,上述初始大模型具体可采用chatglm2等开源模型,或者还可以采用gpt4等openai提供api接口调用的收费模型。
获取预设的精度数据。
在本实施例中,对于上述精度数据的设置不做限定,可根据实际的业务处理需求进行设置,具体可设为int4精度的模型版本。
基于所述精度数据,使用预设的转化框架对所述初始大模型进行转化处理,得到转化后的初始大模型。
在本实施例中,上述转化框架具体可采用fastllm框架。为了使一台gpu服务器能部署多个实例,可通过使用fastllm框架将模型转为C++进行推理,从而将服务所需要占用的显存大小压缩在4GB以内,并且达到100-200tokens的推理速度。另外,通过将多台gpu服务器使用基于redis+mysql的消息队列进行任务调度,使得先进入的问题请求优先获得空闲的gpu服务器worker,而后进入的请求会在redis队列中进行等待,进而可以有效防止并发过高而请求没有及时解析造成的数据丢失。
将所述转化后的初始大模型作为所述大模型。
本申请通过调用预设的初始大模型;然后获取预设的精度数据;之后基于所述精度数据,使用预设的转化框架对所述初始大模型进行转化处理,得到转化后的初始大模型;后续将所述转化后的初始大模型作为所述大模型。本申请通过根据预设的精度数据,使用的转化框架对所述初始大模型进行转化处理以得到所需的大模型,使得后续使用经过转化处理得到的大模型进行问题推理处理,能够有提高问题推理的处理效率。另外,进行转化处理后的大模型所占用的显存也能得到有效降低,从而可以提高电子设备的存储空间。
在本实施例的一些可选的实现方式中,在步骤S205之后,上述电子设备还可以执行以下步骤:
若从所述向量数据库中未查询到与所述推理向量匹配的向量,则获取预设的兜底答案。
在本实施例中,上述兜底答案为预先构建的用于提醒用户当前未能输出满足用户提出的问题的结果的提醒信息。示例性的,上述兜底答案的内容可包括:“很抱歉,根据您提供的信息系统无法提供相关内容以供参考,您可以尝试补充更多信息或联系开发人员扩充资料库”。
将所述兜底答案返回给所述用户。
在本实施例中,在向用户发出兜底答案的同时,还可进一步给用户提供参考意见,让用户了解如何操作可以获得所需要的答案,而不是让用户处于一个完全黑盒的环境。
本申请若检测出从所述向量数据库中未查询到与所述推理向量匹配的向量,则获取预设的兜底答案;后续将所述兜底答案返回给所述用户。本申请在检测出从所述向量数据库中未查询到与所述推理向量匹配的向量时,会智能地获取预设的兜底答案并返回给所述用户,以完成对于用户的智能化与人性化的回复,提高了用户的使用体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
需要强调的是,为进一步保证上述回复结果的私密和安全性,上述回复结果还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3,作为对上述图2所示方法的实现,本申请提供了一种基于人工智能的问题处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例所述的基于人工智能的问题处理装置300包括:第一处理模块301、筛选模块302、第一构建模块303、第二处理模块304、第二构建模块305、第三构建模块306、第三处理模块307以及推送模块308。其中:
第一处理模块301,用于基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
筛选模块302,用于从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
第一构建模块303,用于基于所述第一向量与所述第二向量构建指定文本向量;
第二处理模块304,用于使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
第二构建模块305,用于从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
第三构建模块306,用于基于所述拼接文本与所述问题构建提示词;
第三处理模块307,用于基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
推送模块308,用于将所述回复结果推送给所述用户。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,第二构建模块305包括:
查询子模块,用于从所述向量数据库查询出与所述推理向量之间的匹配度最高的第一数量的第一查询向量;
提取子模块,用于从所述向量数据库中提取与所述第一查询向量对应的关联向量;
第一处理子模块,用于将所述第一查询向量与所述关联向量放入至预设的备选列表内;
第二处理子模块,用于对所述备选列表中的所有向量进行去重处理得到第二查询向量;
计算子模块,用于计算各所述第二查询向量与所述推理向量之间的相似度;
筛选子模块,用于按照相似度的数值从大到小的顺序对所有所述第二查询向量进行排序得到排序结果,并从所述排序结果中筛选出排序前列的第二数量的第三查询向量;
第三处理子模块,用于对所述第三查询向量进行拼接处理,构建得到所述拼接文本。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,第三构建模块306包括:
第一获取子模块,用于获取预设的提示词模板;
第一确定子模块,用于在所述提示词模板中确定出与所述拼接文本对应的第一位置;
第二确定子模块,用于在所述提示词模板中确定出与所述问题对应的第二位置;
填充子模块,用于将所述拼接文本与所述问题对应填充至所述提示词模板中的所述第一位置与所述第二位置内,得到所述提示词。
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,基于人工智能的问题处理装置还包括:
第一获取模块,用于获取待录入的文档数据;
第四处理模块,用于对所述文档数据进行拆分处理,得到处理后的目标文本;
第二获取模块,用于获取与所述目标文本对应的来源数据;
第四构建模块,用于基于所述目标文本的元数据与所述来源数据构建得到指定元数据;
第五处理模块,用于调用所述向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据;
存储模块,用于将所述向量数据与所述指定元数据存储至预设的初始数据库,以得到所述向量数据库。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,第四处理模块包括:
第四处理子模块,用于基于预设的标点拆分策略对所述文档数据进行拆分处理,得到对应的第一文本;
第二获取子模块,用于获取预设的句子长度阈值;
第五处理子模块,用于基于所述句子长度阈值对所述第一文本进行分割处理,得到对应的第二文本;
第三确定子模块,用于将所述第二文本作为所述目标文本。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,基于人工智能的问题处理装置还包括:
调用模块,用于调用预设的初始大模型;
第三获取模块,用于获取预设的精度数据;
转化模块,用于基于所述精度数据,使用预设的转化框架对所述初始大模型进行转化处理,得到转化后的初始大模型;
确定模块,用于将所述转化后的初始大模型作为所述大模型。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
在本实施例的一些可选的实现方式中,基于人工智能的问题处理装置还包括:
第四获取模块,用于若从所述向量数据库中未查询到与所述推理向量匹配的向量,则获取预设的兜底答案;
返回模块,用于将所述兜底答案返回给所述用户。
在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的问题处理方法的步骤一一对应,在此不再赘述。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如基于人工智能的问题处理方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述基于人工智能的问题处理方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例中,通过基于预设的向量化模型与指定会话缓存记录的使用对用户输入的问题进行处理以构建出与问题对应的推理向量,然后基于向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本,进而基于预设的大模型的使用对由所述拼接文本与所述问题构建的提示词进行处理以准确地生成与所述问题对应的回复结果并推送给用户,实现了能够生成与用户输入的问题对应的更准确的回复结果,提高了回复结果的专业性与准确性,有利于提升用户的使用体验。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于人工智能的问题处理方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例中,通过基于预设的向量化模型与指定会话缓存记录的使用对用户输入的问题进行处理以构建出与问题对应的推理向量,然后基于向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本,进而基于预设的大模型的使用对由所述拼接文本与所述问题构建的提示词进行处理以准确地生成与所述问题对应的回复结果并推送给用户,实现了能够生成与用户输入的问题对应的更准确的回复结果,提高了回复结果的专业性与准确性,有利于提升用户的使用体验。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于人工智能的问题处理方法,其特征在于,包括下述步骤:
基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
基于所述第一向量与所述第二向量构建指定文本向量;
使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
基于所述拼接文本与所述问题构建提示词;
基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
将所述回复结果推送给所述用户。
2.根据权利要求1所述的基于人工智能的问题处理方法,其特征在于,所述从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本的步骤,具体包括:
从所述向量数据库查询出与所述推理向量之间的匹配度最高的第一数量的第一查询向量;
从所述向量数据库中提取与所述第一查询向量对应的关联向量;
将所述第一查询向量与所述关联向量放入至预设的备选列表内;
对所述备选列表中的所有向量进行去重处理得到第二查询向量;
计算各所述第二查询向量与所述推理向量之间的相似度;
按照相似度的数值从大到小的顺序对所有所述第二查询向量进行排序得到排序结果,并从所述排序结果中筛选出排序前列的第二数量的第三查询向量;
对所述第三查询向量进行拼接处理,构建得到所述拼接文本。
3.根据权利要求1所述的基于人工智能的问题处理方法,其特征在于,所述基于所述拼接文本与所述问题构建提示词的步骤,具体包括:
获取预设的提示词模板;
在所述提示词模板中确定出与所述拼接文本对应的第一位置;
在所述提示词模板中确定出与所述问题对应的第二位置;
将所述拼接文本与所述问题对应填充至所述提示词模板中的所述第一位置与所述第二位置内,得到所述提示词。
4.根据权利要求1所述的基于人工智能的问题处理方法,其特征在于,在所述从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本的步骤之前,还包括:
获取待录入的文档数据;
对所述文档数据进行拆分处理,得到处理后的目标文本;
获取与所述目标文本对应的来源数据;
基于所述目标文本的元数据与所述来源数据构建得到指定元数据;
调用所述向量化模型对所述目标文本进行向量转化处理,得到对应的向量数据;
将所述向量数据与所述指定元数据存储至预设的初始数据库,以得到所述向量数据库。
5.根据权利要求4所述的基于人工智能的问题处理方法,其特征在于,所述对所述文档数据进行拆分处理,得到处理后的目标文本的步骤,具体包括:
基于预设的标点拆分策略对所述文档数据进行拆分处理,得到对应的第一文本;
获取预设的句子长度阈值;
基于所述句子长度阈值对所述第一文本进行分割处理,得到对应的第二文本;
将所述第二文本作为所述目标文本。
6.根据权利要求1所述的基于人工智能的问题处理方法,其特征在于,在所述基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果的步骤之前,还包括:
调用预设的初始大模型;
获取预设的精度数据;
基于所述精度数据,使用预设的转化框架对所述初始大模型进行转化处理,得到转化后的初始大模型;
将所述转化后的初始大模型作为所述大模型。
7.根据权利要求1所述的基于人工智能的问题处理方法,其特征在于,在所述使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量的步骤之后,还包括:
若从所述向量数据库中未查询到与所述推理向量匹配的向量,则获取预设的兜底答案;
将所述兜底答案返回给所述用户。
8.一种基于人工智能的问题处理装置,其特征在于,包括:
第一处理模块,用于基于预设的向量化模型对用户输入的问题进行处理得到对应的第一向量;
筛选模块,用于从与所述用户对应的指定会话缓存记录中筛选出与所述第一向量具有相似关系的第二向量;
第一构建模块,用于基于所述第一向量与所述第二向量构建指定文本向量;
第二处理模块,用于使用所述向量化模型对所述指定文本向量进行推理处理,得到对应的推理向量;
第二构建模块,用于从预设的向量数据库中查询出与所述推理向量匹配的查询向量,并基于所述查询向量构建拼接文本;
第三构建模块,用于基于所述拼接文本与所述问题构建提示词;
第三处理模块,用于基于预设的大模型对所述提示词进行处理,生成与所述问题对应的回复结果;
推送模块,用于将所述回复结果推送给所述用户。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于人工智能的问题处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的问题处理方法的步骤。
CN202410355556.6A 2024-03-26 2024-03-26 基于人工智能的问题处理方法、装置、设备及存储介质 Pending CN118070072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410355556.6A CN118070072A (zh) 2024-03-26 2024-03-26 基于人工智能的问题处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410355556.6A CN118070072A (zh) 2024-03-26 2024-03-26 基于人工智能的问题处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118070072A true CN118070072A (zh) 2024-05-24

Family

ID=91102039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410355556.6A Pending CN118070072A (zh) 2024-03-26 2024-03-26 基于人工智能的问题处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN118070072A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118428400A (zh) * 2024-07-03 2024-08-02 宏景科技股份有限公司 一种基于自适应智能的大模型应用系统
CN118608291A (zh) * 2024-07-25 2024-09-06 苏州元脑智能科技有限公司 算力交易服务系统、方法、平台、电子设备及介质
CN119226381A (zh) * 2024-12-05 2024-12-31 深圳市中政汇智管理咨询有限公司 文档的分类拆分方法、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118428400A (zh) * 2024-07-03 2024-08-02 宏景科技股份有限公司 一种基于自适应智能的大模型应用系统
CN118608291A (zh) * 2024-07-25 2024-09-06 苏州元脑智能科技有限公司 算力交易服务系统、方法、平台、电子设备及介质
CN118608291B (zh) * 2024-07-25 2024-11-29 苏州元脑智能科技有限公司 算力交易服务系统、方法、平台、电子设备及介质
CN119226381A (zh) * 2024-12-05 2024-12-31 深圳市中政汇智管理咨询有限公司 文档的分类拆分方法、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2022142014A1 (zh) 基于多模态信息融合的文本分类方法、及其相关设备
US10579655B2 (en) Method and apparatus for compressing topic model
CN111666416B (zh) 用于生成语义匹配模型的方法和装置
CN117312535B (zh) 基于人工智能的问题数据处理方法、装置、设备及介质
CN118070072A (zh) 基于人工智能的问题处理方法、装置、设备及存储介质
CN112287069B (zh) 基于语音语义的信息检索方法、装置及计算机设备
CN112199954B (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
US12393788B2 (en) Matrix user interface for LLM-powered data analysis and generation
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN116821298A (zh) 一种应用于投保信息的关键词自动识别方法、及相关设备
CN117275466A (zh) 一种业务意图识别方法、装置、设备及其存储介质
CN120258146A (zh) 问答对的生成方法和系统
CN119513422A (zh) 基于人工智能的任务处理方法、装置、计算机设备及介质
US20240370478A1 (en) Recursive data analysis through automated database query generation
CN119166763A (zh) 基于人工智能的查询处理方法、装置、计算机设备及介质
CN119202155A (zh) 基于人工智能的问题处理方法、装置、计算机设备及介质
CN118916453A (zh) 基于自研发gpt模型的智能运维方法及其相关设备
CN116166858A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质
CN115544282A (zh) 基于图数据库的数据处理方法、装置、设备及存储介质
CN119538877B (zh) 一种文案内容生成方法、装置、计算机设备及存储介质
US20250005282A1 (en) Domain entity extraction for performing text analysis tasks
CN114579740B (zh) 文本分类方法、装置、电子设备及存储介质
CN120751347A (zh) 一种5g消息拦截方法、装置、设备及其存储介质
CN119577186A (zh) 基于人工智能的数据检索方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination