CN117786091A - 基于苏格拉底式提问的自启发智能问答实现方法及系统 - Google Patents
基于苏格拉底式提问的自启发智能问答实现方法及系统 Download PDFInfo
- Publication number
- CN117786091A CN117786091A CN202410186105.4A CN202410186105A CN117786091A CN 117786091 A CN117786091 A CN 117786091A CN 202410186105 A CN202410186105 A CN 202410186105A CN 117786091 A CN117786091 A CN 117786091A
- Authority
- CN
- China
- Prior art keywords
- question
- text
- answer
- language model
- questions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000011156 evaluation Methods 0.000 claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 claims abstract description 24
- 230000009191 jumping Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003340 mental effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000011835 investigation Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000002198 Annona diversifolia Nutrition 0.000 description 2
- 241000282842 Lama glama Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开一种基于苏格拉底式提问的自启发智能问答实现方法及系统，属于大语言模型提示工程领域。本发明基于苏格拉底式提问的自启发智能问答实现方法通过对原始问题不断进行追问、评价和回答，最终生成总结，提升大语言模型回答问题的准确性、全面性和严密性。本发明基于苏格拉底式提问的自启发智能问答实现系统包括问答模块、苏格拉底式追问模块、追问质量评价模块和问答总结模块。本发明旨在提升大语言模型自启发能力，促使大语言模型对输入问题进行深度理解和深度回答，摆脱偏见性和不公平性，克服事实性错误和模型幻觉，最终提升大语言模型的安全性、准确性、全面性和逻辑严谨性。
Description
技术领域
本发明属于大语言模型提示工程技术领域，具体涉及一种基于苏格拉底式提问的自启发智能问答实现方法及系统。
背景技术
大语言模型（Large Language Model, LLM）是一种基于深度学习的人工智能技术，其参数规模可达千亿至万亿级，通过极大量训练数据的培训，大语言模型能够涌现出强大的认知能力、推理能力，具备丰富的通识知识，因此能够理解、解释和生成人类语言，具有处理和生成自然语言文本的强大能力。国际上，顶尖的计算机公司和海量新兴企业投入到了大语言模型的开发、训练中，提出了包括ChatGPT-4、BERT、LLaMA在内的多款高性能大语言模型，在全世界范围内引发了广泛关注。这些大语言模型正在深度改变人类的生产生活方式。国内各大企业院校科研机构亦紧跟步伐，致力于大语言模型的研发和应用，涌现出了盘古、百川、通义千问、文心一言等多款大语言模型，具备了与国际顶尖模型相当的性能。据不完全统计，截至2023年11月30日，国内现有的大语言模型已逾200款。
然而，虽然大语言模型在自然语言处理任务中表现出色，但其回答过度依赖表面统计信息，缺乏对问题的深层次理解，因此会出现似是而非的回答，并可能从训练数据中学到潜在的社会偏见和不公平性，乃至出现事实性错误和模型“幻觉”。因此，通过思维提示，启发大语言模型对问题进行深层次思考，赋予大语言模型自启发、自纠正能力，对深度挖掘大语言模型能力，克服模型幻觉，提升大语言模型输出答案的安全性、准确性、全面性和逻辑严谨性具有重要意义。
苏格拉底式提问是一种结构化的质疑方法，通过连续的辩证提问，引导回答者深层次思考问题的本质，这种提问方法契合大语言模型自启发需求，是解决上述缺陷的有效途径。古希腊著名哲学家苏格拉底是西方哲学的奠基人，其弟子柏拉图撰写的《对话录》详细记载了苏格拉底生平谈话内容，其中便包含大量苏格拉底提问的实例。后人对苏格拉底提问法进行总结，得到了苏格拉底式提问的方法论。苏格拉底式提问的方法论将质疑分为六类，每一类均具有明确的目的性，而大语言模型凭借其自身的理解能力，能够通过少样本学习掌握苏格拉底式提问方法论。基于上述原因，本发明考虑利用提示工程方法，通过在提示词中结构化地描述苏格拉底式提问方法论，使得大语言模型掌握苏格拉底提问方法并开展自问自答，自启发地挖掘问题内涵，大幅提升大语言模型性能。
发明内容
本发明的主要内容是一种基于苏格拉底式提问的自启发智能问答实现方法及系统，本发明旨在提升大语言模型自启发能力，促使大语言模型对输入问题进行深度理解和深度回答，摆脱偏见性和不公平性，克服事实性错误和模型幻觉，最终提升大语言模型的安全性、准确性、全面性和逻辑严谨性。
一种基于苏格拉底式提问的自启发智能问答实现方法，包括以下步骤：
S1，获取用户提出的原始问题文本，并将作为初始的当前问题文本；
S2，结合大语言模型，给出当前问题文本的回答；
S3，结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
S4，结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转步骤S2；否则跳转步骤S5；
S5，结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案。
可选地，步骤S2具体包括以下子步骤：
S21，接收待回答的当前问题文本；
S22，确定提示大语言模型的提示词；
S23，将问题文本和获取的提示词拼接成一段文本，输入大语言模型；
S24，获取大语言模型处理后输出的一段文本；
S25，将从大语言模型的输出的一段文本作为当前问题文本的回答。
可选地，步骤S3具体包括以下子步骤：
S31，获取原始问题文本、当前问题文本和对当前问题文本的回答；
S32，确定提示大语言模型的追问提示词，包括：苏格拉底式提问的内涵、开展苏格拉底式提问的不同角度，以及结构化输出追问问题组的格式；所述开展苏格拉底式提问的不同角度包括厘清定义与概念的质疑、探究假设与前提的质疑、探究理由与证据的质疑、对观点与视角的质疑、探究后果与影响的质疑以及探究问题本身的质疑；
S33，将原始问题文本、当前问题文本和对当前问题文本的回答和追问提示词拼接成一段文本，输入大语言模型；
S34，获取大语言模型的输出文本，并将输出文本拆解成一组有序的追问问题。
可选地，步骤S4具体包括以下子步骤：
S41，从所有的追问问题中遍历获取一个追问问题作为当前追问问题；
S42，获取当前追问问题、原始问题文本；
S43，提示大语言模型的评价提示词，包括：对追问质量进行评价的目的和意义、追问问题评价结果的等级划分，根据追问问题和原始问题的相关性，追问问题本身的启发性，评价追问问题质量的思维过程和结果的案例，以及结构化输出的评价结果的格式；
S44，将当前追问问题、原始问题文本和评价提示词拼接成一段文本，输入大语言模型；
S45，获取大语言模型的输出文本，拆解成一组有序的评价结果；
S46，判断是否仍有尚未遍历的追问问题，若仍有尚未遍历的追问问题则跳转步骤S41；否则，跳转步骤S47；
S47，检索所有追问问题的评价结果，判断追问问题的评价结果是否满足要求，若检索到评价结果满足要求的追问问题，则将该追问问题作为新的当前问题文本，跳转至步骤S2；否则，跳转步骤S5。
可选地，子步骤S43中结构化输出的评价结果的格式包括追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度，以及每一个维度包括的多个质量评价等级；子步骤S47中判断追问问题的评价结果是否满足要求时，满足要求是指追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度的质量评价等级均超过预设的等级阈值。
可选地，步骤S5具体包括以下子步骤：
S51，获取所有的问题文本、追问问题和对应的回答；
S52，确定大语言模型的总结提示词；
S53，将所有的问题文本、追问问题、对应的回答和总结提示词拼接成一段文本，输入大语言模型；
S54，获取大语言模型的输出文本，作为最终答案输出。
此外，本发明还提供一种基于苏格拉底式提问的自启发智能问答实现系统，包括：
输入模块，用于获取用户提出的原始问题文本，并将作为初始的当前问题文本；
问答模块，用于结合大语言模型，给出当前问题文本的回答；
苏格拉底式追问模块，用于结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
苏格拉底式追问模块，用于结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转执行问答模块；否则跳转执行问答总结模块；
问答总结模块，用于结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案；
所述输入模块、问答模块、苏格拉底式追问模块、追问质量评价模块和问答总结模块均为程序模块。
此外，本发明还提供一种基于苏格拉底式提问的自启发智能问答实现系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于苏格拉底式提问的自启发智能问答实现方法。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序/指令，该算机程序/指令被编程或配置以通过处理器执行所述基于苏格拉底式提问的自启发智能问答实现方法。
此外，本发明还提供一种计算机程序产品，包括计算机程序/指令，该算机程序/指令被编程或配置以通过处理器执行所述基于苏格拉底式提问的自启发智能问答实现方法。
与现有技术相比，本发明技术方案的有益效果：
一、相较于不加提示的大语言模型，本发明能够引导大语言模型自启发深度思考，充分发掘大语言模型所掌握的各类知识，克服模型幻觉，提升大语言模型回答问题的安全性、准确性、全面性和逻辑严谨性。
二、相较于人工固定提示内容的提示方法，本发明引导大语言模型自我追问、自我提示，激发大语言模型智能涌现，避免了人类思维和经验对人工智能的干扰和限制。
三、相较于在增量预训练或微调阶段通过大量的人工标注样本训练大语言模型，使其掌握苏格拉底式提问方法论，本发明利用提示工程和问答流程拆解，通过分步骤的少样本提示赋能大语言模型，大幅度缩减了大语言模型训练时间和开发工作量，对大语言模型的学习训练过程不发生干扰，不依赖模型的神经网络结构和参数体量，具备广泛的普适性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例的系统模块组成示意图。
图3为本发明实施例的问答模块结构示意图。
图4为本发明实施例的苏格拉底式追问模块示意图。
图5为本发明实施例的追问质量评价模块示意图。
图6为本发明实施例的问答总结模块示意图。
图7为本发明实施例的苏格拉底式提问背景知识提示词示意图。
图8为本发明实施例的追问质量评价背景知识提示词示意图。
图9为本发明实施例的系统工作流程示意图。
图10为本发明实施例的第一组运行结果对比分析示意图。
图11为本发明实施例的第二组运行结果对比分析示意图。
图12为本发明实施例的第三组运行结果对比分析示意图。
附图标记：
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例不是本发明的全部实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明中，除非另有明确的规定和限定，术语“链接”、“引接”、“传递”、“输入”、“输出”等应做广义理解，例如，“链接”可以是通过互联网以网络线缆和固定协议链接，也可以是通过局域网以网络线缆链接或以无线网络链接；可以是接口调用式链接，可以是远程登陆式链接；可以是直接链接，也可以是通过中间媒介间接链接，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
苏格拉底式提问（英文：Socratic questioning，也常翻译为苏格拉底式质疑），是一种有结构的质疑方式，可用于探索许多方面的思想，包括探索复杂的想法、了解事物的真相、解决问题和问题、揭示假设、分析概念、区分我们所知道的和我们不知道的东西、跟踪思想的逻辑含义或控制讨论。苏格拉底式提问基于思维具有结构化逻辑的基础，并且可以让潜在的思想受到质疑。苏格拉底式提问与反问本身的区分关键在于苏格拉底式提问是系统的、有纪律的、深入的，通常集中于基本概念、原理、理论或问题。
提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提升大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。
一个提示工程就是探讨如何设计出最佳提示词，用于指导语言模型帮助用户高效完成某项任务。提示词(prompt)是人与大语言模型交互的重要媒介，提示词可以包含传递到模型的指令或问题等信息，也可以包含其他详细信息，如上下文、输入或示例等。因此，对提示词的掌握、使用、研究，便具有非常重大的意义。
为提升大语言模型的自启发能力，促使大语言模型对输入问题进行深度理解和深度回答，摆脱偏见性和不公平性，克服事实性错误和模型幻觉，最终提升大语言模型的安全性、准确性、全面性和逻辑严谨性，如图1所示，本实施例提出一种基于苏格拉底式提问的自启发智能问答实现方法，包括以下步骤：
S1，获取用户提出的原始问题文本，并将作为初始的当前问题文本；
S2，结合大语言模型，给出当前问题文本的回答；
S3，结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
S4，结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转步骤S2；否则跳转步骤S5；
S5，结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案。
本实施例中的大语言模型不依赖于具体的大语言模型，可根据需要选择ChatGPT-4、BERT、LLaMA等，例如作为一种可选的实施方式，本实施例中采用ChatGPT-4。
本实施例中，步骤S2具体包括以下子步骤：
S21，接收待回答的当前问题文本；
S22，确定提示大语言模型的提示词，例如本实施例中为“代入博学人工智能助手角色，简要回答问题”；
S23，将问题文本和获取的提示词拼接成一段文本，输入大语言模型；
S24，获取大语言模型处理后输出的一段文本；
S25，将从大语言模型的输出的一段文本作为当前问题文本的回答。
本实施例中，步骤S3具体包括以下子步骤：
S31，获取原始问题文本、当前问题文本和对当前问题文本的回答；
S32，确定提示大语言模型的追问提示词，包括：苏格拉底式提问的内涵、开展苏格拉底式提问的不同角度，以及结构化输出追问问题组的格式；所述开展苏格拉底式提问的不同角度包括厘清定义与概念的质疑、探究假设与前提的质疑、探究理由与证据的质疑、对观点与视角的质疑、探究后果与影响的质疑以及探究问题本身的质疑；
S33，将原始问题文本、当前问题文本和对当前问题文本的回答和追问提示词拼接成一段文本，输入大语言模型；
S34，获取大语言模型的输出文本，并将输出文本拆解成一组有序的追问问题。
本实施例中，步骤S4具体包括以下子步骤：
S41，从所有的追问问题中遍历获取一个追问问题作为当前追问问题；
S42，获取当前追问问题、原始问题文本；
S43，提示大语言模型的评价提示词，包括：对追问质量进行评价的目的和意义、追问问题评价结果的等级划分，根据追问问题和原始问题的相关性，追问问题本身的启发性，评价追问问题质量的思维过程和结果的案例，以及结构化输出的评价结果的格式；
S44，将当前追问问题、原始问题文本和评价提示词拼接成一段文本，输入大语言模型；
S45，获取大语言模型的输出文本，拆解成一组有序的评价结果；
S46，判断是否仍有尚未遍历的追问问题，若仍有尚未遍历的追问问题则跳转步骤S41；否则，跳转步骤S47；
S47，检索所有追问问题的评价结果，判断追问问题的评价结果是否满足要求，若检索到评价结果满足要求的追问问题，则将该追问问题作为新的当前问题文本，跳转至步骤S2；否则，跳转步骤S5。
本实施例子步骤S43中结构化输出的评价结果的格式包括追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度，以及每一个维度包括的多个质量评价等级；子步骤S47中判断追问问题的评价结果是否满足要求时，满足要求是指追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度的质量评价等级均超过预设的等级阈值。
本实施例步骤S5具体包括以下子步骤：
S51，获取所有的问题文本、追问问题和对应的回答；
S52，确定大语言模型的总结提示词，例如本实施例中为“代入总结和完善的角色”；
S53，将所有的问题文本、追问问题、对应的回答和总结提示词拼接成一段文本，输入大语言模型；
S54，获取大语言模型的输出文本，作为最终答案输出。
本实施例还提供一种基于苏格拉底式提问的自启发智能问答实现系统，包括：
输入模块，用于获取用户提出的原始问题文本，并将作为初始的当前问题文本；
问答模块，用于结合大语言模型，给出当前问题文本的回答；
苏格拉底式追问模块，用于结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
苏格拉底式追问模块，用于结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转执行问答模块；否则跳转执行问答总结模块；
问答总结模块，用于结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案；
所述输入模块、问答模块、苏格拉底式追问模块、追问质量评价模块和问答总结模块均为程序模块。
本实施例中自启发智能问答实现系统被编程或配置以执行所述基于苏格拉底式提问的自启发智能问答实现方法的步骤或计算机程序，具体为：首先，所述自启发智能问答实现系统通过文本输入的方式获取用户提出的原始问题文本；然后，所述问答模块对问题文本给出回答；其次，所述苏格拉底式追问模块针对回答进行追问，提出若干追问问题；接下来，所述追问质量评价模块对追问问题进行质量评价，若找到质量满足要求的追问问题则将追问问题作为新的问题文本，再次由问答模块逐一给出回答，并不断重复地追问、评价和再次回答，直至追问质量评价模块无法筛选出质量满足要求的追问问题或者苏格拉底式追问模块无法对当前问答提出追问为止；最后所述问答总结模块对所有的问题、追问问题和回答进行总结，生成最终答案。所述苏格拉底式提问背景知识提示词的内容概述了一种苏格拉底式提问式、有结构的质疑方式，说明了苏格拉底式提问中六种提出质疑的角度，分别为：厘清定义与概念的质疑、探究假设与前提的质疑、探究理由与证据的质疑、对观点与视角的质疑、探究后果与影响的质疑、探究问题本身的质疑。本实施例针对所述基于苏格拉底式提问的自启发智能问答实现系统，应用本实施例所提出的基于苏格拉底式提问的自启发智能问答实现方法。请参阅图2、图3本实施例中的基于苏格拉底式提问的自启发智能问答实现系统包括系统输入10、问答模块20、苏格拉底式追问模块30、追问质量评价模块40、问答总结模块50、大语言模型60和系统输出70，下文将分别进行说明。
1）问答模块20。
请参阅图3，问答模块20由待回答问题组201、待回答问题202、问答提示词203、回答204和大语言模型60组成。问答模块20接收待回答问题202，调用提示词203，拼接成一段文本输入给大语言模型60，大语言模型60处理完成后输出一段文本，获取该文本作为问答模块20的输出，即回答204。其中，待回答问题组201初始状态下仅包含系统输入10，在系统运行过程中，苏格拉底式追问模块30输出的问题中经由追问质量评价模块40评价为“高质量”的问题将扩充至待回答问题组201。待回答问题202是待回答问题组201中的第一条问题。
提示词设计是创建能引导语言模型产生期望响应的提示的过程。在使用语言模型，尤其是生成式语言模型时，如何设计输入的提示词是非常重要的。因为模型的输出（即生成的文本）将根据输入的提示进行生成。好的提示可以引导模型生成有用、准确的文本，而差的提示可能导致模型的输出偏离期望，或者产生含糊不清、语义不明确的结果。
提示词设计（Prompt Design）指的是传递给语言模型的指令或信息，它们告诉模型要做什么。提示通常包括一些上下文信息和具体的任务指示。提示词工程是一种实践，它涉及到开发和优化这些提示，以便更有效地使用语言模型。这可能包括测试不同的提示格式、考虑不同的上下文信息，以及使用一些技术手段（如微调等）来改进模型对提示的理解和响应。在许多情况下，通过精心设计和优化的提示，可以显著提高模型的性能，使其更好地适应各种任务和应用场景。提示设计的过程可能包括考虑提示的语法结构、使用的词汇、上下文信息等因素，以尽可能地引导模型生成期望的响应。
2）苏格拉底式追问模块30。
请参阅图4，苏格拉底式追问模块30引接系统输入10和问答模块20，由苏格拉底式提问背景知识提示词301、追问问题组302、系统输入10、待回答问题202、回答204和大语言模型60组成。苏格拉底式追问模块30接收系统输入10、待回答问题202、回答204，调用苏格拉底式提问背景知识提示词301，拼接成一段文本输入给大语言模型60，要求大语言模型60在系统输入10的语境下，根据待回答问题组201和回答204进行苏格拉底式追问，从不同角度生成若干追问问题。大语言模型60处理完成后输出一段结构化文本，该文本包含若干条苏格拉底式追问的问题，获取该文本并进行文本拆分处理，作为苏格拉底式追问模块30的输出，即追问问题组302。
3）追问质量评价模块40。
请参阅图5，追问质量评价模块40引接系统输入10和苏格拉底式追问模块30，由追问质量评价背景知识提示词401、追问问题组302、系统输入10、评价结果402和大语言模型60组成。追问质量评价模块40接收系统输入10、追问问题组302，调用追问质量评价背景知识提示词401，拼接成一段结构化文本输入给大语言模型60，要求大语言模型60依据追问问题组302中各条目本身的逻辑价值和与系统输入10的相关性，判定追问问题组302中各条目的质量。大语言模型60评价完成后输出一段结构化文本，包含对追问问题组302所有条目的评价，评价分为“高质量”、“一般”和“无效”三个等级。获取该结构化文本并进行拆分处理，作为追问质量评价模块40的输出，即评价结果402。
4）问答总结模块50。
请参阅图6，问答总结模块50引接问答模块20、系统输入10和系统输出20，将问答模块20的所有待回答问题202和回答204总结成多轮问答记录提示词501，根据系统输入10生成一条简明的话题提示词502，将多轮问答记录提示词501和话题提示词502拼接成一段文本输入给大语言模型60，要求大语言模型以系统输入10为话题，基于多轮问答的历史记录，生成总结。大语言模型60总结完成后输出一段文本，该文本即为本实施例所述自启发智能问答系统的最终输出，即系统输出70。
在本实施例中，苏格拉底式提问背景知识提示词301按图7设计。请参阅图7，苏格拉底式提问背景知识提示词301中，首先向大语言模型60交代了苏格拉底式提问的内涵，然后从六个角度举例说明，即：
1）厘清定义与概念的质疑；
2）探究假设与前提的质疑；
3）探究理由与证据的质疑；
4）对观点与视角的质疑；
5）探究后果与影响的质疑；
6）探究问题本身的质疑。
在以上六个角度中，每个角度分别又依照14个学科门类分别编写“问题、回答和追问”案例。在本实施例中，每个角度、每个学科门类各列举一条案例。例如，从“厘清定义与概念的质疑”的角度触发，对哲学领域，苏格拉底式提问背景知识提示词301中提供的案例为：“
问题：什么是存在的本质？
回答：存在的本质是哲学中一个复杂而又深奥的问题，涉及到对现实、意识和存在的理解和解释。
追问：什么是哲学？/你为什么说存在的本质是一个哲学问题？/对现实、意识和存在的理解和解释，与存在的本质有什么联系？/你能举个例子说明什么是对现实、意识和存在的理解和解释吗？/现实、意识、存在的本质是什么？/你能换个说法吗？”
在本实施例中，追问质量评价背景知识提示词401按图8设计。请参阅图8，追问质量评价背景知识提示词401中，首先向大语言模型60交代了追问进行质量评价的目的和意义，给出了评价结果的等级划分，然后列举了若干案例，举例说明如何结合系统输入10、待回答问题202、回答204，对某一针对回答204的追问进行评价的思维过程和评价结果，为便于程序自动文本识别处理，还交代了结构化输出的格式。
图9给出了本实施例的所述自启发智能问答系统的工作流程。本实施例的自启发智能问答系统，应用了本实施例所述基于苏格拉底式提问的自启发智能问答实现方法及系统，设计的系统详细运行步骤为S101至S112。
S101，用户提出初始问题，即苏格拉底式提问的话题，亦即系统输入10；
S102，问答模块20将系统输入10视作待回答问题202，并输出回答204；
S103，问答总结模块50将待回答问题202和回答204记录于多轮问答记录提示词501中；
S104，苏格拉底式追问模块30结合系统输入10，针对回答204，生成包括六条不同角度质疑的追问问题组302；
S105，追问质量评价模块40结合系统输入10，针对追问问题组302，生成“高质量”、“一般”和“无效”三个等级的评价结果402；
S106，问答模块20将追问问题组302中被评价结果402标记为“高质量”的问题条目扩充至待回答问题组201末尾，并从待回答问题组201中移除当前待回答问题202，将待回答问题组中的第一条问题更新为待回答问题202，并再次输出回答204；
S107，问答总结模块50将更新后的待回答问题202和回答204记录于多轮问答记录提示词501中；
S108，苏格拉底式追问模块30结合系统输入10和更新后的待回答问题组201，针对回答204，更新包括六条不同角度质疑的追问问题组302；
S109，追问质量评价模块40结合系统输入10和更新后的待回答问题组201，针对更新后的追问问题组302，生成“高质量”、“一般”和“无效”三个等级的评价结果402；
S110，问答模块20将追问问题组302中被评价结果402标记为“高质量”的问题条目扩充至待回答问题组201末尾，并从待回答问题组201中移除当前待回答问题202；
S111，若问答模块20的待回答问题组201非空，则将其中第一条问题更新为待回答问题202，再次输出回答204，并重复进行步骤S107～S111；否则，进入S112；
S112，问答总结模块50以系统输入10为话题，根据多轮问答记录提示词501生成系统输出70。
从上述系统运行步骤可知，在本实施例中，所有问、答、追问、评价、总结输出的环节均由系统自动处理，不依赖任何人工判断和干预，体现出优异的自启发特性。
依据本实施例所提出的自启发智能问答系统构建方案和运行步骤，引接某互联网开源大语言模型60构建智能问答系统。下文以三个不同的系统输入10为例，对比由大语言模型60直接输出的答案，和经由自启发智能问答系统得到的答案的对比，形成对照组。
第一组系统输入：“人为什么要吃饭？”
第二组系统输入：“为什么要先礼后兵？”
第三组系统输入：“为什么战场通信带宽很低？”
第一组的运行结果请参阅图10，第二组的运行结果请参阅图11，第三组的运行结果请参阅图12。
如图10所示，采用本实施例提供的基于苏格拉底式提问的自启发智能问答实现方法及系统后，大语言模型对“人为什么要吃饭”的认知，从单纯的能量摄取需要，扩展至了文化需要、社交需要等，回答问题的全面性大幅提升。
如图11所示，采用本实施例提供的基于苏格拉底式提问的自启发智能问答实现方法及系统后，大语言模型对“为什么要先礼后兵”的认知，从“人云亦云”地复述先礼后兵的出处的优点，转变为深度判断与思考，并提出了自身的观点和质疑，辩证地评价了先礼后兵的优势和不足，实现了自我判别和纠正，此外还补充了其他有效减小冲突的方法，回答问题的准确性、全面性和逻辑严谨性大幅提升。
如图12所示，采用本实施例提供的基于苏格拉底式提问的自启发智能问答实现方法及系统后，大语言模型对“为什么战场通信带宽很低”的解释，从两个角度扩展为四个角度，并且开展了深度思考，提出了提升战场通信带宽的可行方案，回答问题的可靠性和全面性大幅提升。
综上所述， 相较于不加提示的大语言模型，本实施例基于苏格拉底式提问的自启发智能问答实现方法能够引导大语言模型自启发深度思考，充分发掘大语言模型所掌握的各类知识，克服模型幻觉，提升大语言模型回答问题的安全性、准确性、全面性和逻辑严谨性。相较于人工固定提示内容的提示方法，本实施例基于苏格拉底式提问的自启发智能问答实现方法引导大语言模型自我追问、自我提示，激发大语言模型智能涌现，避免了人类思维和经验对人工智能的干扰和限制。相较于在增量预训练或微调阶段通过大量的人工标注样本训练大语言模型，使其掌握苏格拉底式提问方法论，本实施例基于苏格拉底式提问的自启发智能问答实现方法利用提示工程和问答流程拆解，通过分步骤的少样本提示赋能大语言模型，大幅度缩减了大语言模型训练时间和开发工作量，对大语言模型的学习训练过程不发生干扰，不依赖模型的神经网络结构和参数体量，具备广泛的普适性。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效设计，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，包括以下步骤：
S1，获取用户提出的原始问题文本，并将作为初始的当前问题文本；
S2，结合大语言模型，给出当前问题文本的回答；
S3，结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
S4，结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转步骤S2；否则跳转步骤S5；
S5，结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案。
2.根据权利要求1所述的基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，步骤S2具体包括以下子步骤：
S21，接收待回答的当前问题文本；
S22，确定提示大语言模型的提示词；
S23，将问题文本和获取的提示词拼接成一段文本，输入大语言模型；
S24，获取大语言模型处理后输出的一段文本；
S25，将从大语言模型的输出的一段文本作为当前问题文本的回答。
3.根据权利要求1所述的基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，步骤S3具体包括以下子步骤：
S31，获取原始问题文本、当前问题文本和对当前问题文本的回答；
S32，确定提示大语言模型的追问提示词，包括：苏格拉底式提问的内涵、开展苏格拉底式提问的不同角度，以及结构化输出追问问题组的格式；所述开展苏格拉底式提问的不同角度包括厘清定义与概念的质疑、探究假设与前提的质疑、探究理由与证据的质疑、对观点与视角的质疑、探究后果与影响的质疑以及探究问题本身的质疑；
S33，将原始问题文本、当前问题文本和对当前问题文本的回答和追问提示词拼接成一段文本，输入大语言模型；
S34，获取大语言模型的输出文本，并将输出文本拆解成一组有序的追问问题。
4.根据权利要求1所述的基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，步骤S4具体包括以下子步骤：
S41，从所有的追问问题中遍历获取一个追问问题作为当前追问问题；
S42，获取当前追问问题、原始问题文本；
S43，提示大语言模型的评价提示词，包括：对追问质量进行评价的目的和意义、追问问题评价结果的等级划分，根据追问问题和原始问题的相关性，追问问题本身的启发性，评价追问问题质量的思维过程和结果的案例，以及结构化输出的评价结果的格式；
S44，将当前追问问题、原始问题文本和评价提示词拼接成一段文本，输入大语言模型；
S45，获取大语言模型的输出文本，拆解成一组有序的评价结果；
S46，判断是否仍有尚未遍历的追问问题，若仍有尚未遍历的追问问题则跳转步骤S41；否则，跳转步骤S47；
S47，检索所有追问问题的评价结果，判断追问问题的评价结果是否满足要求，若检索到评价结果满足要求的追问问题，则将该追问问题作为新的当前问题文本，跳转至步骤S2；否则，跳转步骤S5。
5.根据权利要求4所述的基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，子步骤S43中结构化输出的评价结果的格式包括追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度，以及每一个维度包括的多个质量评价等级；子步骤S47中判断追问问题的评价结果是否满足要求时，满足要求是指追问问题中涉及的事物与原始问题涉及事物具有直接相关性、追问问题涉及的内容高于平均智力水平人类或一般能力大语言模型掌握的通识和常识两个维度的质量评价等级均超过预设的等级阈值。
6.根据权利要求1所述的基于苏格拉底式提问的自启发智能问答实现方法，其特征在于，步骤S5具体包括以下子步骤：
S51，获取所有的问题文本、追问问题和对应的回答；
S52，确定大语言模型的总结提示词；
S53，将所有的问题文本、追问问题、对应的回答和总结提示词拼接成一段文本，输入大语言模型；
S54，获取大语言模型的输出文本，作为最终答案输出。
7.一种基于苏格拉底式提问的自启发智能问答实现系统，其特征在于，包括：
输入模块，用于获取用户提出的原始问题文本，并将作为初始的当前问题文本；
问答模块，用于结合大语言模型，给出当前问题文本的回答；
苏格拉底式追问模块，用于结合大预言模型，采用苏格拉底式提问的方式对回答进行追问，提出追问问题；
苏格拉底式追问模块，用于结合大预言模型评价提出的追问问题的质量，若找到质量满足要求的追问问题则将追问问题作为新的当前问题文本跳转执行问答模块；否则跳转执行问答总结模块；
问答总结模块，用于结合大预言模型对所有的问题文本、追问问题和回答进行总结，生成最终答案；
所述输入模块、问答模块、苏格拉底式追问模块、追问质量评价模块和问答总结模块均为程序模块。
8.一种基于苏格拉底式提问的自启发智能问答实现系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～6中任意一项所述基于苏格拉底式提问的自启发智能问答实现方法。
9.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序/指令，其特征在于，该算机程序/指令被编程或配置以通过处理器执行权利要求1～6中任意一项所述基于苏格拉底式提问的自启发智能问答实现方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该算机程序/指令被编程或配置以通过处理器执行权利要求1～6中任意一项所述基于苏格拉底式提问的自启发智能问答实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186105.4A CN117786091B (zh) | 2024-02-20 | 2024-02-20 | 基于苏格拉底式提问的自启发智能问答实现方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186105.4A CN117786091B (zh) | 2024-02-20 | 2024-02-20 | 基于苏格拉底式提问的自启发智能问答实现方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117786091A true CN117786091A (zh) | 2024-03-29 |
| CN117786091B CN117786091B (zh) | 2024-05-10 |
Family
ID=90389180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410186105.4A Active CN117786091B (zh) | 2024-02-20 | 2024-02-20 | 基于苏格拉底式提问的自启发智能问答实现方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117786091B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118070893A (zh) * | 2024-04-24 | 2024-05-24 | 北京百川智能科技有限公司 | 基于大语言模型的信息反馈方法、装置及计算机程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220108169A1 (en) * | 2020-10-02 | 2022-04-07 | Salesforce.Com, Inc. | Systems and methods for numerical reasoning by a partially supervised numeric reasoning module network |
| US20220300712A1 (en) * | 2021-03-22 | 2022-09-22 | Hewlett Packard Enterprise Development Lp | Artificial intelligence-based question-answer natural language processing traces |
| CN117171322A (zh) * | 2023-09-14 | 2023-12-05 | 华东师范大学 | 一种基于大型语言模型的智能教育聊天机器人训练方法 |
| US20230409871A1 (en) * | 2022-06-21 | 2023-12-21 | Northeastern University | Dimension Reduction and Principled Training on Hyperdimensional Computing Models |
| CN117291165A (zh) * | 2023-11-24 | 2023-12-26 | 中国民航信息网络股份有限公司 | 一种数据报告生成方法、装置及设备 |
| CN117290488A (zh) * | 2023-10-31 | 2023-12-26 | 安徽十锎信息科技有限公司 | 基于大模型的人机交互方法、装置、电子设备及存储介质 |
| CN117520523A (zh) * | 2023-12-29 | 2024-02-06 | 中邮消费金融有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN117542509A (zh) * | 2023-12-04 | 2024-02-09 | 华东理工大学 | 一种基于诊疗指导树和诊疗推理引擎的多轮问诊方法 |
-
2024
- 2024-02-20 CN CN202410186105.4A patent/CN117786091B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220108169A1 (en) * | 2020-10-02 | 2022-04-07 | Salesforce.Com, Inc. | Systems and methods for numerical reasoning by a partially supervised numeric reasoning module network |
| US20220300712A1 (en) * | 2021-03-22 | 2022-09-22 | Hewlett Packard Enterprise Development Lp | Artificial intelligence-based question-answer natural language processing traces |
| US20230409871A1 (en) * | 2022-06-21 | 2023-12-21 | Northeastern University | Dimension Reduction and Principled Training on Hyperdimensional Computing Models |
| CN117171322A (zh) * | 2023-09-14 | 2023-12-05 | 华东师范大学 | 一种基于大型语言模型的智能教育聊天机器人训练方法 |
| CN117290488A (zh) * | 2023-10-31 | 2023-12-26 | 安徽十锎信息科技有限公司 | 基于大模型的人机交互方法、装置、电子设备及存储介质 |
| CN117291165A (zh) * | 2023-11-24 | 2023-12-26 | 中国民航信息网络股份有限公司 | 一种数据报告生成方法、装置及设备 |
| CN117542509A (zh) * | 2023-12-04 | 2024-02-09 | 华东理工大学 | 一种基于诊疗指导树和诊疗推理引擎的多轮问诊方法 |
| CN117520523A (zh) * | 2023-12-29 | 2024-02-06 | 中邮消费金融有限公司 | 数据处理方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118070893A (zh) * | 2024-04-24 | 2024-05-24 | 北京百川智能科技有限公司 | 基于大语言模型的信息反馈方法、装置及计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117786091B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moore et al. | Discovering disciplinary linguistic knowledge with English learners and their teachers: Applying systemic functional linguistics concepts through design‐based research | |
| CN117786091B (zh) | 基于苏格拉底式提问的自启发智能问答实现方法及系统 | |
| Koulouri et al. | Do (and say) as I say: Linguistic adaptation in human–computer dialogs | |
| Conor | Engaging students in disciplinary practices: music information literacy and the ACRL Framework for Information Literacy in Higher Education | |
| CN112069781B (zh) | 一种评语生成方法、装置、终端设备及存储介质 | |
| CN112506945A (zh) | 基于知识图谱的自适应导学方法及系统 | |
| Josphineleela et al. | Intelligent Virtual Laboratory Development and Implementation using the RASA Framework | |
| Shinas et al. | Preparing teacher candidates to implement digital storytelling | |
| Tian et al. | Research on the Construction of English Autonomous Learning Model Based on Computer Network‐Assisted Instruction | |
| Tsai et al. | Short answer questions generation by Fine-Tuning BERT and GPT-2 | |
| Clarence | A relational approach to building knowledge through academic writing: Facilitating and reflecting on peer writing tutorials | |
| Meißner et al. | Evalquiz–llm-based automated generation of self-assessment quizzes in software engineering education | |
| CN114841157A (zh) | 基于数据分析的线上互动方法、系统、设备及存储介质 | |
| Callaway et al. | The Beetle and BeeDiff tutoring systems | |
| Yuxiu | Application of translation technology based on AI in translation teaching | |
| Bell | Empowering Tutors and ELL Writers by Examining Commonplaces | |
| Duan | Multimodal and multidimensional interactive teaching mode of comprehensive English under the background of big data | |
| Ferdousi | Acceptance of technology and academic writing: analyze in perspective of theoretical models | |
| El-Khoury et al. | Development of an intelligent tutorial system to enhance students’ mathematical competence in problem solving | |
| Toole et al. | The tutor assistant: An authoring tool for an intelligent language tutoring system | |
| Shi et al. | Research on the Design and Implementation of Intelligent Tutoring System Based on AI Big Model | |
| Adesina | iNOUN: architecture and usability of a chatbot for academic enquiries | |
| Du et al. | Developing an intelligent personal tutor to support EFL learning | |
| Li | Intelligent and Informational English Learning System Based on Human-Computer Interaction | |
| Liu et al. | Analysis of the influencing factors of online classes satisfaction based on text mining Take MOOC platform art education online classes as an example |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |