CN116737912B - 复杂问题处理方法、装置、设备及介质 - Google Patents
复杂问题处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116737912B CN116737912B CN202311021929.8A CN202311021929A CN116737912B CN 116737912 B CN116737912 B CN 116737912B CN 202311021929 A CN202311021929 A CN 202311021929A CN 116737912 B CN116737912 B CN 116737912B
- Authority
- CN
- China
- Prior art keywords
- data set
- domain
- complex
- language model
- complex problem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003340 mental effect Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种复杂问题处理方法、装置、设备及介质，涉及自然语言处理技术领域。该方法包括：基于第一领域的领域数据，获得第一语言模型；根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。本发明的方法能够最终解决领域复杂问题，提升领域复杂问题的处理准确率和用户交互体验。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其是涉及一种复杂问题处理方法、装置、设备及介质。
背景技术
针对客服、电销以及智能助理等场景，在解决客户的问题类型通常是在已知的问题集合中，对于复杂的问题以及新类型的问题，问答机器人通常难以给出满意的答案，主要原因在于构建的问答机器人，都是人工设置问题回答模式，将机器人问答能力通过流程进行固化，因此回答问题的逻辑能力是人工通过系统流程赋予问答机器人，复杂的问题通常需要非常繁杂的流程进行任务的拆解和答案融合，因此在复杂问题的解决上，传统的问答机器人很难胜任。
发明内容
本发明的目的在于提供一种复杂问题处理方法、装置、设备及介质，用以解决现有问答机器人在领域复杂问题上的处理准确率低的问题。
为了达到上述目的，本发明提供一种复杂问题处理方法，包括：
基于第一领域的领域数据，获得第一语言模型；
根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
其中，所述基于第一领域的领域数据，获得第一语言模型，包括：
根据预设基础语言模型对所述第一领域的领域数据进行领域知识识别处理，得到所述第一领域的领域知识的预测结果；
基于所述预测结果中错误的预测结果，获得损失函数；
通过所述损失函数对所述预设基础语言模型进行迭代训练，得到第一语言模型。
其中，所述根据第一领域的复杂问题，获得目标思维链数据集，包括：
根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
其中，所述根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大预言模型，获得初始的思维链数据集，包括：
调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得针对所述第一领域的复杂问题的子问题拆解步骤和答案；其中，所述第一提示信息用于指示所述预设大语言模型按照所述第二指令，基于所述第一种子示例，生成针对所述第一领域的复杂问题的子问题拆解步骤和答案；
将所述第一领域的复杂问题、针对所述第一领域的复杂问题的子问题拆解步骤和答案作为初始的思维链数据集。
其中，所述对所述初始的思维链数据集进行筛选，得到目标思维链数据集，包括：
基于所述第一领域的问答数据集，筛选出所述初始的思维链数据集中答案错误的第一数据集，得到答案正确的第二数据集；
对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集；其中，N为大于或者等于1的正整数；
将所述第二数据集和所述第三数据集确定为目标思维链数据集。
其中，所述对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集，包括：
循环执行下述步骤N次，将得到的所有答案正确的数据集确定为第三数据集：
根据第四数据集中的复杂问题、第二提示信息以及所述预设大语言模型，获得中间的思维链数据集；其中，所述第二提示信息包括：第三指令和第二种子示例，所述第二种子示例包括第二复杂问题范例、针对所述第二复杂问题范例的子问题拆解步骤和答案，所述第二复杂问题范例是与所述第四数据集中的复杂问题的相似度大于预设阈值的复杂问题；
对所述中间的思维链数据集进行筛选，得到答案正确的思维链数据集和答案错误的第五数据集，其中，所述第四数据集为所述第一数据集或为上一次循环得到的第五数据集。
本发明还提供一种复杂问题处理装置，包括：
第一模型训练模块，用于基于第一领域的领域数据，获得第一语言模型；
第一处理模块，用于根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
第二模型训练模块，用于基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
第二处理模块，用于将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
本发明还提供一种复杂问题处理设备，包括处理器和收发器，所述收发器在处理器的控制下接收和发送数据，所述处理器用于执行以下操作：
基于第一领域的领域数据，获得第一语言模型；
根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
本发明还提供一种复杂问题处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器执行所述程序时实现如上述所述的复杂问题处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的复杂问题处理方法中的步骤。
本发明的上述技术方案至少具有如下有益效果：
本发明实施例中，通过借助预设基础语言模型的通用能力，将领域知识注入到该预设基础语言模型中，得到第一语言模型，使得第一语言模型具备简单的问题问答能力；针对复杂问题，通过构建目标思维链数据集训练该第一语言模型，得到领域语言模型，使得领域语言模型具有该领域的推理能力，从而对于输入至该领域语言模型的针对领域复杂问题的指令，可以将该领域复杂问题进行子问题拆解，并根据子问题的答案，结合上下文学习能力，最终解决该领域复杂问题，提升领域复杂问题的处理准确率和用户交互体验。
附图说明
图1表示本发明实施例的复杂问题处理方法的流程示意图；
图2表示本发明实施例的领域语言模型的获得过程示意图；
图3表示本发明实施例的复杂问题处理装置的模块示意图；
图4表示本发明实施例的复杂问题处理设备的硬件结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有问答机器人在领域复杂问题上的回答能力不足的问题，提供一种复杂问题处理方法、装置、设备及介质。
如图1所示，为本发明实施例提供的复杂问题处理方法的流程示意图。该方法可具体包括：
步骤101，基于第一领域的领域数据，获得第一语言模型；
在本步骤之前，需要先收集第一领域的领域数据，包括但不限于领域文档、宣传材料、行业规范、论文、代码、会话数据等文本类型的数据。
该步骤具体包括：基于第一领域的领域数据训练预设基础语言模型，获得第一语言模型。
这里，预设基础语言模型是预设开源的基础语言模型。具体可以是：chatGLM、BELLE等。其中，chatGLM是一个开源的、支持中英双语的对话语言模型。BELLE是一个支持中文指令的开源模型。
需要说明的是，通过第一领域的领域数据训练预设基础语言模型，其目的是为了使预设基础语言模型学习到第一领域的领域知识，使得训练得到的第一语言模型具备简单的问题问答能力。
步骤102，根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
需要说明的是，第一领域的复杂问题是预先经过业务专家结合收集的第一领域的问答数据集合，准备的第一领域的复杂问题集合中复杂问题。
该步骤可具体包括：根据第一领域的复杂问题、针对第一领域的复杂问题范例预先生成的提示信息以及预设大语言模型，获得目标思维链数据集。
思维链（Chain-of-thought，CoT），指的是一系列有逻辑关系的思考步骤，形成一个完整的思考过程。这里，目标思维链数据集是具有思维链能力的数据集，其中包括的针对每个所述第一领域的复杂问题所对应的子问题拆解步骤通过将复杂问题分解为一个一个的子问题，体现了对复杂问题的推理过程。
步骤103，基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
这里，基于目标思维链数据集，通过对第一语言模型的训练，得到的领域语言模型是具有思维链能力的语言模型，而将领域语言模型的思维链能力，在专业的领域进行适配和强化，可以增强在该领域的复杂问题解决能力。
步骤104，将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
具体的，输出结果基于第一指令确定，若第一指令要求输出第一复杂问题的答案，则输出结果为所述第一复杂问题的答案；若第一指令要求输出第一复杂问题的子问题拆解步骤和答案，则输出结果包括第一复杂问题的子问题拆解步骤和所述第一复杂问题的答案。
作为一可选地实现方式，步骤101，基于第一领域的领域数据，获得第一语言模型，可以具体包括：
步骤1011，根据预设基础语言模型对所述第一领域的领域数据进行领域知识识别处理，得到所述第一领域的领域知识的预测结果；
具体可针对第一领域的领域数据，利用预设基础语言模型进行自回归式的领域微调，实现第一领域的领域知识的识别。
步骤1012，基于所述预测结果中错误的预测结果，获得损失函数；
步骤1013，通过所述损失函数对所述预设基础语言模型进行迭代训练，得到第一语言模型。
具体训练过程如下：
循环执行下述步骤，直至达到指定轮数，或者损失函数的损失值不再减小，获得第一语言模型：
根据具有第一模型参数的预设基础语言模型对训练数据集进行识别处理，得到所述第一领域的领域知识的预测结果；
基于所述预测结果中错误的预测结果，计算得到损失函数的损失值；
基于损失函数的损失值更新预设基础语言模型的模型参数，得到第二模型参数，其中，第一模型参数为初始模型参数或上一次循环得到的第二模型参数。这里，每次训练使用的训练数据集不同，且训练数据集取自于第一领域的领域数据。
作为一可选地实现方式，步骤102可以具体包括：
步骤1021，根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
这里，业务专家选取述第一领域的复杂问题中的一部分作为范例，对第一领域的复杂问题范例进行子问题的拆解，利用业务专家对第一领域的复杂问题范例的拆解步骤，构造prompt模板，并对第一领域的复杂问题范例进行prompt封装，即得到生成的第一提示信息。
该步骤1021可具体包括：
（1）调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得针对所述第一领域的复杂问题的子问题拆解步骤和答案；其中，所述第一提示信息用于指示所述预设大语言模型按照所述第二指令，基于所述第一种子示例，生成针对所述第一领域的复杂问题的子问题拆解步骤和答案；
这里，预设大语言模型可以是chatGPT、文心一言等通用大语言模型。可通过CoT引擎调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得初始的思维链数据集。
（2）将所述第一领域的复杂问题、针对所述第一领域的复杂问题的子问题拆解步骤和答案作为初始的思维链数据集。
步骤1022，对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
作为一可选地实现方式，步骤1022可具体包括：
1）基于所述第一领域的问答数据集，筛选出所述初始的思维链数据集中答案错误的第一数据集，得到答案正确的第二数据集；
这里，第一领域的问答数据集是已知的问答数据集，包括多个问答对，即问题和对应的答案，其中问题对应的答案是正确的。
2）对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集；其中，N为大于或者等于1的正整数；
这里，步骤2）可具体包括：
循环执行下述步骤N次，将得到的所有答案正确的数据集确定为第三数据集：
①根据第四数据集中的复杂问题、第二提示信息以及所述预设大语言模型，获得中间的思维链数据集；其中，所述第二提示信息包括：第三指令和第二种子示例，所述第二种子示例包括第二复杂问题范例、针对所述第二复杂问题范例的子问题拆解步骤和答案，所述第二复杂问题范例是与所述第四数据集中的复杂问题的相似度大于预设阈值的复杂问题；
②对所述中间的思维链数据集进行筛选，得到答案正确的思维链数据集和答案错误的第五数据集，其中，所述第四数据集为所述第一数据集或为上一次循环得到的第五数据集。
也就是，对不正确的结果，挑选类似问题的范例，生成新的提示信息，即第二提示信息。然后进行步骤①和②，迭代指定轮次N后，将得到的所有答案正确的数据集确定为第三数据集。
3）将所述第二数据集和所述第三数据集确定为目标思维链数据集。
这里，领域语言模型的具体获得过程可参见图2。
如图3所示，本发明实施例还提供一种复杂问题处理装置，该装置包括：
第一模型训练模块301，用于基于第一领域的领域数据，获得第一语言模型；
第一处理模块302，用于根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
第二模型训练模块303，用于基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
第二处理模块304，用于将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
可选地，第一模型训练模块301可包括：
第一处理单元，用于根据预设基础语言模型对所述第一领域的领域数据进行领域知识识别处理，得到所述第一领域的领域知识的预测结果；
第二处理单元，用于基于所述预测结果中错误的预测结果，获得损失函数；
模型训练单元，用于通过所述损失函数对所述预设基础语言模型进行迭代训练，得到第一语言模型。
可选地，第一处理模块302可包括：
第三处理单元，用于根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
第四处理单元，用于对所述初始的思维链数据集进行筛选，得到目标思维链数据集
可选地，第三处理单元具体用于：
调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得针对所述第一领域的复杂问题的子问题拆解步骤和答案；其中，所述第一提示信息用于指示所述预设大语言模型按照所述第二指令，基于所述第一种子示例，生成针对所述第一领域的复杂问题的子问题拆解步骤和答案；
将所述第一领域的复杂问题、针对所述第一领域的复杂问题的子问题拆解步骤和答案作为初始的思维链数据集。
可选地，第四处理单元具体用于：
基于所述第一领域的问答数据集，筛选出所述初始的思维链数据集中答案错误的第一数据集，得到答案正确的第二数据集；
对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集；其中，N为大于或者等于1的正整数；
将所述第二数据集和所述第三数据集确定为目标思维链数据集。
可选地，第四处理单元具体用于：
循环执行下述步骤N次，将得到的所有答案正确的数据集确定为第三数据集：
根据第四数据集中的复杂问题、第二提示信息以及所述预设大语言模型，获得中间的思维链数据集；其中，所述第二提示信息包括：第三指令和第二种子示例，所述第二种子示例包括第二复杂问题范例、针对所述第二复杂问题范例的子问题拆解步骤和答案，所述第二复杂问题范例是与所述第四数据集中的复杂问题的相似度大于预设阈值的复杂问题；
对所述中间的思维链数据集进行筛选，得到答案正确的数据集和答案错误的第五数据集，其中，所述第四数据集为所述第一数据集或为上一次循环得到的第五数据集。
本发明实施例的复杂问题处理装置，通过借助预设基础语言模型的通用能力，将领域知识注入到该预设基础语言模型中，得到第一语言模型，使得第一语言模型具备简单的问题问答能力；针对复杂问题，通过构建目标思维链数据集训练该第一语言模型，得到领域语言模型，使得领域语言模型具有该领域的推理能力，从而对于输入至该领域语言模型的针对领域复杂问题的指令，可以将该领域复杂问题进行子问题拆解，并根据子问题的答案，结合上下文学习能力，最终解决该领域复杂问题，提升领域复杂问题的处理准确率和用户交互体验。
为了更好的实现上述目的，如图4所示，本发明实施例还提供一种复杂问题处理设备，包括处理器400和收发器410，所述收发器410在处理器400的控制下接收和发送数据，所述处理器400用于执行如下过程：
基于第一领域的领域数据，获得第一语言模型；
根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令。
可选地，处理器400还用于：
根据预设基础语言模型对所述第一领域的领域数据进行领域知识识别处理，得到所述第一领域的领域知识的预测结果；
基于所述预测结果中错误的预测结果，获得损失函数；
通过所述损失函数对所述预设基础语言模型进行迭代训练，得到第一语言模型。
可选地，处理器400还用于：
根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
可选地，处理器400还用于：
调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得针对所述第一领域的复杂问题的子问题拆解步骤和答案；其中，所述第一提示信息用于指示所述预设大语言模型按照所述第二指令，基于所述第一种子示例，生成针对所述第一领域的复杂问题的子问题拆解步骤和答案；
将所述第一领域的复杂问题、针对所述第一领域的复杂问题的子问题拆解步骤和答案作为初始的思维链数据集。
可选地，处理器400还用于：
基于所述第一领域的问答数据集，筛选出所述初始的思维链数据集中答案错误的第一数据集，得到答案正确的第二数据集；
对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集；其中，N为大于或者等于1的正整数；
将所述第二数据集和所述第三数据集确定为目标思维链数据集。
可选地，处理器400还用于：
循环执行下述步骤N次，将得到的所有答案正确的数据集确定为第三数据集：
根据第四数据集中的复杂问题、第二提示信息以及所述预设大语言模型，获得中间的思维链数据集；其中，所述第二提示信息包括：第三指令和第二种子示例，所述第二种子示例包括第二复杂问题范例、针对所述第二复杂问题范例的子问题拆解步骤和答案，所述第二复杂问题范例是与所述第四数据集中的复杂问题的相似度大于预设阈值的复杂问题；
对所述中间的思维链数据集进行筛选，得到答案正确的思维链数据集和答案错误的第五数据集，其中，所述第四数据集为所述第一数据集或为上一次循环得到的第五数据集。
本发明实施例的复杂问题处理设备，通过借助预设基础语言模型的通用能力，将领域知识注入到该预设基础语言模型中，得到第一语言模型，使得第一语言模型具备简单的问题问答能力；针对复杂问题，通过构建目标思维链数据集训练该第一语言模型，得到领域语言模型，使得领域语言模型具有该领域的推理能力，从而对于输入至该领域语言模型的针对领域复杂问题的指令，可以将该领域复杂问题进行子问题拆解，并根据子问题的答案，结合上下文学习能力，最终解决该领域复杂问题，提升领域复杂问题的处理准确率和用户交互体验。
本发明实施例还提供一种复杂问题处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的复杂问题处理方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的复杂问题处理设备实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储介质中，使得存储在该计算机可读存储介质中的指令产生包括指令装置的纸制品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他科编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种复杂问题处理方法，其特征在于，包括：
基于第一领域的领域数据，获得第一语言模型；
根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令；
所述根据第一领域的复杂问题，获得目标思维链数据集，包括：
根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
2.根据权利要求1所述的方法，其特征在于，所述基于第一领域的领域数据，获得第一语言模型，包括：
根据预设基础语言模型对所述第一领域的领域数据进行领域知识识别处理，得到所述第一领域的领域知识的预测结果；
基于所述预测结果中错误的预测结果，获得损失函数；
通过所述损失函数对所述预设基础语言模型进行迭代训练，得到第一语言模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大预言模型，获得初始的思维链数据集，包括：
调用预设大语言模型，并将所述第一领域的复杂问题和所述第一提示信息输入至所述预设大语言模型，获得针对所述第一领域的复杂问题的子问题拆解步骤和答案；其中，所述第一提示信息用于指示所述预设大语言模型按照所述第二指令，基于所述第一种子示例，生成针对所述第一领域的复杂问题的子问题拆解步骤和答案；
将所述第一领域的复杂问题、针对所述第一领域的复杂问题的子问题拆解步骤和答案作为初始的思维链数据集。
4.根据权利要求1所述的方法，其特征在于，所述对所述初始的思维链数据集进行筛选，得到目标思维链数据集，包括：
基于所述第一领域的问答数据集，筛选出所述初始的思维链数据集中答案错误的第一数据集，得到答案正确的第二数据集；
对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集；其中，N为大于或者等于1的正整数；
将所述第二数据集和所述第三数据集确定为目标思维链数据集。
5.根据权利要求4所述的方法，其特征在于，所述对所述答案错误的第一数据集进行N次数据优化处理，得到答案正确的第三数据集，包括：
循环执行下述步骤N次，将得到的所有答案正确的数据集确定为第三数据集：
根据第四数据集中的复杂问题、第二提示信息以及所述预设大语言模型，获得中间的思维链数据集；其中，所述第二提示信息包括：第三指令和第二种子示例，所述第二种子示例包括第二复杂问题范例、针对所述第二复杂问题范例的子问题拆解步骤和答案，所述第二复杂问题范例是与所述第四数据集中的复杂问题的相似度大于预设阈值的复杂问题；
对所述中间的思维链数据集进行筛选，得到答案正确的数据集和答案错误的第五数据集，其中，所述第四数据集为所述第一数据集或为上一次循环得到的第五数据集。
6.一种复杂问题处理装置，其特征在于，包括：
第一模型训练模块，用于基于第一领域的领域数据，获得第一语言模型；
第一处理模块，用于根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
第二模型训练模块，用于基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
第二处理模块，用于将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令；
所述第一处理模块包括：
第三处理单元，用于根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
第四处理单元，用于对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
7.一种复杂问题处理设备，包括处理器和收发器，所述收发器在处理器的控制下接收和发送数据，其特征在于，所述处理器用于执行以下操作：
基于第一领域的领域数据，获得第一语言模型；
根据第一领域的复杂问题，获得目标思维链数据集，所述目标思维链数据集包括多个所述第一领域的复杂问题、针对每个所述第一领域的复杂问题所对应的子问题拆解步骤和答案；
基于所述目标思维链数据集以及所述第一语言模型，获得领域语言模型；
将第一指令输入至所述领域语言模型，得到对应所述第一指令的输出结果，其中，所述第一指令是针对所述第一领域的第一复杂问题的指令；
所述处理器还用于：
根据所述第一领域的复杂问题、针对所述第一领域的复杂问题范例预先生成的第一提示信息以及预设大语言模型，获得初始的思维链数据集，其中，所述第一提示信息包括：第二指令和第一种子示例，所述第一种子示例包括第一复杂问题范例、针对所述第一复杂问题范例的子问题拆解步骤和答案；
对所述初始的思维链数据集进行筛选，得到目标思维链数据集。
8.一种复杂问题处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的复杂问题处理方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一项所述的复杂问题处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021929.8A CN116737912B (zh) | 2023-08-15 | 2023-08-15 | 复杂问题处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021929.8A CN116737912B (zh) | 2023-08-15 | 2023-08-15 | 复杂问题处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116737912A CN116737912A (zh) | 2023-09-12 |
| CN116737912B true CN116737912B (zh) | 2023-10-20 |
Family
ID=87902984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311021929.8A Active CN116737912B (zh) | 2023-08-15 | 2023-08-15 | 复杂问题处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737912B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117272941B (zh) * | 2023-09-21 | 2024-10-11 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备、计算机可读存储介质及产品 |
| CN117609437A (zh) * | 2023-10-16 | 2024-02-27 | 北京百度网讯科技有限公司 | 基于大语言模型的信息获取方法、装置、设备及介质 |
| CN117592568A (zh) * | 2023-11-21 | 2024-02-23 | 北京九章云极科技有限公司 | 基于大语言模型的数据链生成方法及装置 |
| CN117743544A (zh) * | 2023-12-20 | 2024-03-22 | 北京百度网讯科技有限公司 | 问题处理方法、装置、设备以及存储介质 |
| CN117892818B (zh) * | 2024-03-18 | 2024-05-28 | 浙江大学 | 一种基于隐式思维链的大语言模型推理性内容生成方法 |
| CN117992596B (zh) * | 2024-04-03 | 2024-08-13 | 中国科学院自动化研究所 | 问答模型的优化方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897183A (zh) * | 2022-05-16 | 2022-08-12 | 北京百度网讯科技有限公司 | 问题数据处理方法、深度学习模型的训练方法和装置 |
| CN115292466A (zh) * | 2022-08-09 | 2022-11-04 | 中国电信股份有限公司 | 问答系统实现方法、装置、设备、介质及程序 |
| CN116244418A (zh) * | 2023-05-11 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 问题解答方法、装置、电子设备及计算机可读存储介质 |
| CN116450796A (zh) * | 2023-05-17 | 2023-07-18 | 中国兵器工业计算机应用技术研究所 | 一种智能问答模型构建方法及设备 |
| CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
| CN116561278A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
| CN116595131A (zh) * | 2023-03-23 | 2023-08-15 | 中国科学院自动化研究所 | 使用大型语言模型进行医疗问答的方法及系统 |
-
2023
- 2023-08-15 CN CN202311021929.8A patent/CN116737912B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897183A (zh) * | 2022-05-16 | 2022-08-12 | 北京百度网讯科技有限公司 | 问题数据处理方法、深度学习模型的训练方法和装置 |
| CN115292466A (zh) * | 2022-08-09 | 2022-11-04 | 中国电信股份有限公司 | 问答系统实现方法、装置、设备、介质及程序 |
| CN116595131A (zh) * | 2023-03-23 | 2023-08-15 | 中国科学院自动化研究所 | 使用大型语言模型进行医疗问答的方法及系统 |
| CN116561278A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
| CN116244418A (zh) * | 2023-05-11 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 问题解答方法、装置、电子设备及计算机可读存储介质 |
| CN116450796A (zh) * | 2023-05-17 | 2023-07-18 | 中国兵器工业计算机应用技术研究所 | 一种智能问答模型构建方法及设备 |
| CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Iteratively Prompt Pre-trained Language Models for Chain of Thought;BoshiWang等;"arXiv:2203.08383v3[cs.CL]";全文 * |
| Tab-CoT: Zero-shot Tabular Chain of Thought;Ziqi Jin等;"arXiv:2305.17812v1[cs.CL]";全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116737912A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116737912B (zh) | 复杂问题处理方法、装置、设备及介质 | |
| CN110277086B (zh) | 基于电网调度知识图谱的语音合成方法、系统及电子设备 | |
| CN116483982B (zh) | 知识问答方法、装置、电子设备及可读存储介质 | |
| CN110990691A (zh) | 一种在线课程推荐方法、装置及计算机存储介质 | |
| Liu et al. | Code execution with pre-trained language models | |
| CN114969352B (zh) | 文本处理方法、系统、存储介质及电子设备 | |
| CN117076688A (zh) | 基于领域知识图谱的知识问答方法及其装置、电子设备 | |
| CN117093699A (zh) | 智能问答方法、装置、设备及介质 | |
| CN111475628A (zh) | 会话数据处理方法、装置、计算机设备和存储介质 | |
| CN113468323B (zh) | 争议焦点类别及相似判断方法及系统及装置及推荐方法 | |
| Drori et al. | From Human Days to Machine Seconds: Automatically Answering and Generating Machine Learning Final Exams | |
| CN118038996A (zh) | 基因组学问答处理方法、系统、电子设备及存储介质 | |
| CN113886427A (zh) | 一种对话处理方法、装置及电子设备 | |
| CN112949711A (zh) | 面向软件定义卫星的神经网络模型可复用训练方法、装置 | |
| CN111324722B (zh) | 一种训练词语权重模型的方法和系统 | |
| CN116483948B (zh) | 基于云计算的SaaS运维管理方法、系统、装置及存储介质 | |
| CN117556057A (zh) | 知识问答方法、向量数据库构建方法及装置 | |
| CN117197618A (zh) | 图像分类模型训练数据选取方法、装置及图像分类方法 | |
| CN110674275B (zh) | 一种知识问答的方法及装置 | |
| CN111949786A (zh) | 智能问答模型优化方法及装置 | |
| CN116127042A (zh) | 基于多模型的文本问答对抽取方法和装置 | |
| CN113628077B (zh) | 生成不重复考题的方法、终端及可读存储介质 | |
| CN115809318A (zh) | 问题解答模型的训练方法及装置、问题解答方法及装置 | |
| Wang et al. | Reasoning ability emerges in large language models as aggregation of reasoning paths: A case study with knowledge graphs | |
| CN111538822A (zh) | 一种智能客户服务机器人训练数据的生成方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 228, 2nd Floor, No. 5 Guanghua Road, Zhangjiawan Town, Tongzhou District, Beijing, 101113 Patentee after: BEIJING ZHONGGUANCUN KEJIN TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 130, 1st Floor, Building 5, Courtyard 1, Shangdi Fourth Street, Haidian District, Beijing, 100085 Patentee before: BEIJING ZHONGGUANCUN KEJIN TECHNOLOGY Co.,Ltd. Country or region before: China |