CN117573841B - 基于大语言模型的知识引导问答方法和装置 - Google Patents
基于大语言模型的知识引导问答方法和装置 Download PDFInfo
- Publication number
- CN117573841B CN117573841B CN202410048532.6A CN202410048532A CN117573841B CN 117573841 B CN117573841 B CN 117573841B CN 202410048532 A CN202410048532 A CN 202410048532A CN 117573841 B CN117573841 B CN 117573841B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- training
- guiding
- result
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 189
- 238000001914 filtration Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013138 pruning Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000019771 cognition Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001149 cognitive effect Effects 0.000 description 12
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005587 bubbling Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于大语言模型的知识引导问答方法和装置，涉及数据处理技术领域，该方法的一具体实施方式包括：获取待处理的知识问题；将知识问题输入预先训练完成的大语言模型，得到大语言模型输出的知识引导结果；大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
Description
技术领域
本申请的实施例涉及数据处理技术领域，具体地，涉及适用于一种基于大语言模型的知识引导问答方法和装置、计算机设备和计算机可读存储介质。
背景技术
生成式人工智能领域取得诸多突破性进展，大模型不仅能够满足个人快速获得答案的需求，也能够提供个性化的学习，为人机交互提供支持。
虽然上述大模型均在通用或部分垂直领域得到了探索，但模型的输出均为全量输出，对于用户的问题，无法进行引导性的回答。
发明内容
本文中描述的实施例提供了一种基于大语言模型的知识引导问答方法和装置、计算机设备和计算机可读存储介质，克服了上述问题。
第一方面，根据本申请的内容，提供了一种基于大语言模型的知识引导问答方法，方法包括：获取待处理的知识问题；将知识问题输入预先训练完成的大语言模型，得到大语言模型输出的知识引导结果；大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
第二方面，根据本申请的内容，提供了一种基于大语言模型的知识引导问答装置，该装置包括：问题获取单元，被配置成获取待处理的知识问题；输入单元，被配置成将知识问题输入预先训练完成的大语言模型训练装置，得到大语言模型输出的知识引导结果；大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
第三方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如以上任意一个实施例中基于大语言模型的知识引导问答方法的步骤。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任意一个实施例中基于大语言模型的知识引导问答方法的步骤。
本申请实施例提供的基于大语言模型的知识引导问答方法和装置，首先，获取待处理的知识问题；然后，将知识问题输入预先训练完成的大语言模型，得到大语言模型输出的知识引导结果，大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。如此，通过大语言模型中子任务划分模块对输入的信息进行逻辑和子任务划分，得到初始引导结果，提高了引导结果的逻辑层次性；通过约束模块对初始引导结果进行引导性语料约束，可以使得到中间引导结果具有引导性语义，提高了知识引导结果得到的准确性。
上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本申请的一些实施例，而非对本申请的限制，其中：
图1是本申请提供的一种基于大语言模型的知识引导问答方法的流程示意图；
图2是本申请提供的一种系统架构图；
图3是本申请提供的一种基于大语言模型的知识引导问答装置的结构示意图；
图4是本申请提供的一种计算机设备的结构示意图。
需要注意的是，附图中的元素是示意性的，没有按比例绘制。
具体实施方式
为了使本申请的实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请的实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域技术人员在无需创造性劳动的前提下所获得的所有其它实施例，也都属于本申请保护的范围。
除非另外定义，否则在此使用的所有术语（包括技术和科学术语）具有与本申请主题所属领域的技术人员所通常理解的相同含义。进一步将理解的是，诸如在通常使用的词典中定义的那些的术语应解释为具有与说明书上下文和相关技术中它们的含义一致的含义，并且将不以理想化或过于正式的形式来解释，除非在此另外明确定义。如在此所使用的，将两个或更多部分“连接”或“耦接”到一起的陈述应指这些部分直接结合到一起或通过一个或多个中间部件结合。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语“实施例”并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：存在A，同时存在A和B，存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。诸如“第一”和“第二”的术语仅用于将一个部件（或部件的一部分）与另一个部件（或部件的另一部分）区分开。
在本申请的描述中，除非另有说明，“多个”的含义是指两个以上（包括两个），同理，“多组”指的是两组以上（包括两组）。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着ChatGPT（Chat Generative Pre-trained Transformer，生成型预训练变换模型）的出现，基于大语言模型的能力，可以支持对于复杂语义的理解，且基于思维链，可以实现逐步的意图准确定位，进而支持对节点互联系统中用户所需数据资源的准确高效发现及定位。
大模型均在通用或部分垂直领域得到了探索，但模型的输出均为全量输出，对于用户的问题，无法进行引导性的回答。例如，当先对GPT进行角色提示词指示“我是一个学生，接下来请你扮演一个导师角色，一步步引导我实现算法，不要直接告诉我答案”，并发出问题“请教我实现一个冒泡排序算法”，大模型将直接准确无误地输出全部答案结果“当然！冒泡排序是一种简单但效率较低的排序算法，它通过比较相邻元素并逐步交换位置来实现排序。下面是一个实现冒泡排序的示例代码：
“\ndef bubble_sort(arr):\n n = len(arr)\n \n
for i in range(n):\n # 在每一轮遍历中，执行 n-i-1 次比较\n
for j in range(0, n-i-1):\n # 如果当前元素大于下一个元素，则交换它们的位置\n
if arr[j]>arr[j+1]:\n
arr[j], arr[j+1]= arr[j+1], arr[j]\n \n
return arr”。
对于上述大模型输出，仅仅是一个完整的代码结果，而学生一般希望大模型能真正理解一个导师的角色，并且对于学生提出的问题，一步步引导其实现，将冒泡排序实现的总任务划分为for循环、函数的定义、if语句等，逐步引导学生自己实现对应的代码，真正交互意义上的引导性智能体，而如何实现知识引导则是大模型无法实现的。
针对上述技术问题，本实施例提供的基于大语言模型的知识引导问答方法，通过知识引导的方式回答用户的问题，提升了用户体验。图1是本申请实施例提供的一种基于大语言模型的知识引导问答方法的流程示意图。如图1所示，大语言模型训练方法的具体步骤包括：
步骤101，获取待处理的知识问题。
在本实施例中，获取待处理的知识问题可以是包括专业知识、且需要大语言模型进行引导答复的问题，通过大语言模型对待处理的知识问题进行处理，可以得到知识问题的、分步的引导性答复。知识引导方法的执行主体可以通过多种方式来获取待处理的知识问题。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的待处理的知识问题。再例如，执行主体也可以实时接收终端或其他设备实时采集的待处理的知识问题。
步骤102，将知识问题输入预先训练完成的大语言模型，得到大语言模型输出的知识引导结果。
本实施例中，大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
本实施例中，知识引导结果包括对应知识问题的多阶段步骤的答案，每阶段步骤的答案具有相应的逻辑性。
本申请实施例提供的基于大语言模型的知识引导问答方法和装置，首先，获取待处理的知识问题；然后，将知识问题输入预先训练完成的大语言模型，得到大语言模型输出的知识引导结果，大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。如此，通过大语言模型中子任务划分模块对输入的信息进行逻辑和子任务划分，得到初始引导结果，提高了引导结果的逻辑层次性；通过约束模块对初始引导结果进行引导性语料约束，可以使得到中间引导结果具有引导性语义，提高了知识引导结果得到的准确性。
在本申请的一些可选实现方式中，大语言模型的训练步骤如下：获取训练样本集；获取与大语言模型对应的知识引导网络；
本实施例中，大语言模型训练方法运行于其上的执行主体可以通过多种方式获取训练样本集，例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的训练样本集。再例如，用户可以通过与终端通信，获取终端所收集的训练样本集。
在这里，训练样本集可以包括至少一个训练样本，训练样本中包括问题文本以及该问题对应的引导性答复文本，引导性答复文本包括对问题文本进行回复专业知识的、多步骤以及多逻辑的答复文本。
本实施例中，知识引导网络包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对输入的信息进行逻辑检测，基于逻辑检测结果对输入的信息进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
本实施例中，知识向量数据库中的数据是通过Embedding技术（使用低维的向量表示物体的技术）将专业知识的知识文本转化为特征向量，例如，当知识引导网络是用于对编程知识进行引导输出的网络，则将编程知识中的语句转化为特征向量存储在知识向量数据库中。
本实施例中，子任务划分模块用于对用户输入的信息，基于上下分层思想划分子任务，梳理问题和编程逻辑结构，从而使知识引导网络具备该知识点的逻辑顺序，并根据逻辑顺序由易到难地引导。对于编程领域的编程知识，该子任务划分模块构造了一种提升代码逻辑性和任务引导性的先验信息。
本实施例中，约束模块可以将每次迭代后的预训练模型作为底座，或者将经过多轮迭代后的预训练模型作为底座，叠加引导性约束，并进行结构化剪枝，实现轻量化部署。
本实施例中，预训练模型可以是Transformer（转换器模型）架构的模型，通过对预训练模型进行引导性语料微调，可以使预训练模型基于子任务划分结果，给出具有引导性的初始引导结果。
本实施例中，滤波模块用于对中间引导结果进行一次滤波，对不符合引导性语言的结果进行矫正和抑制，根据输出的是否具有引导性质的语义来进行滤除和状态更新，防止中间引导结果的全量吞吐，为知识引导结果中的引导性输出提供了最后一层保障。
可选地，还可以将预训练模型作为基座模型，采用引导性语料微调、约束模块进行教师角色引导、以及对用户输入的信息的子任务的划分，使知识引导网络可以引导性输出中间引导结果，最后通过滤波模块来结构化引导性输出，从而为用户提供一步步循序渐进的解决方案。例如，对于用户输入的“实现冒泡排序”这一总任务的问题下，引导用户逐步实现for循环、函数的定义、if语句等，最终完成完整的冒泡排序算法。
本实施例中，在获取知识引导网络之后，可以执行以下训练步骤： A.将从训练样本集中选取的样本输入知识引导网络，得到知识引导结果。B.基于知识引导结果，计算知识引导网络的损失值。C.基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型。
本实施例中，执行主体可以从步骤A中获取的训练样本集中选取样本，以及执行步骤B至步骤C完成一次知识引导网络的迭代训练。其中，从训练样本集中选取样本的选取方式和选取数量在本申请中并不限制，并且知识引导网络的迭代训练的次数也并不限制。例如在一次迭代训练中可以是随机选取多个样本，通过选取的样本计算知识引导网络的损失值，调整知识引导网络的参数。
本实施例中，每次迭代训练中，向知识引导网络输入的样本作为输入的信息，首先进入子任务划分模块，使子任务划分模块结合知识向量数据库中的专业知识（例如、编程知识、法律知识），对与输入的信息相关的专业知识进行逻辑检测，确定输入的信息的由上自下的逻辑顺序，基于逻辑顺序的分层确定对应每个分层的子任务，而所有执行逻辑的所有分层对应子任务则是输入的信息的总任务。
本实施例中，上述损失值为预训练模型的损失值，上述基于知识引导结果，计算知识引导网络的损失值包括：基于知识引导结果，计算知识引导网络的损失值。
本实施例中，在将从训练样本集中选取的样本输入知识引导网络时，选取的样本具有相应的对应知识引导结果的真值（如前述的引导性答复文本），通过知识引导网络的损失函数计算知识引导结果与真值之间误差，该误差即为知识引导网络的损失值。
本实施例中，上述步骤C包括：基于损失值，检测预训练模型是否满足训练完成条件；响应于检测到预训练模型满足训练完成条件，得到大语言模型。
在本可选实现方式中，上述训练完成条件包括以下至少一项：预训练模型的训练迭代次数达到预定迭代阈值，预训练模型的损失值小于预定损失值阈值。其中，预定迭代阈值是基于预训练模型的损失值得到的经验值。例如，预训练模型的预定迭代阈值是5万次。预训练模型的损失值阈值为0.01。通过设置训练完成条件可以提高知识引导网络的收敛速度。
本实施例中，上述步骤C还可以包括：响应于预训练模型不满足训练完成条件，则将预训练模型作为基座模型，基于多任务数据集，采用Lora（Low-Rank Adaptation ofLarge Language Models，大语言模型的低秩适应）模型进行引导性语料微调，将该引导性语料微调之后的参数加载到预训练模型，继续执行上述步骤A至上述步骤C中检测基于损失值，检测预训练模型是否满足训练完成条件，直至预训练模型满足训练完成条件为止。
本实施例中，Lora模型是大语言模型的低秩适应，通过使用低秩近似来降低权重矩阵的维度，从而减小预训练模型中可训练参数的数量，Lora模型通过添加成对的秩分解权重矩阵，到预训练模型的现有的权重中，并且只训练该新添加的权重，可以减少可训练参数的数量，加速训练过程，并减低所需的内存量；通过Lora模型可以提高预训练模型在下游任务上的性能，更新矩阵能够学习特定任务的信息，从而增强预训练模型对任务相关特征的表征能力。
本申请实施例提供的大语言模型训练方法，首先，获取训练样本集；然后，获取知识引导网络；再次，将从训练样本集中选取的样本输入知识引导网络，得到知识引导结果；从次，基于知识引导结果，计算知识引导网络的损失值；最后，基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型。如此，通过知识引导网络中子任务划分模块对输入的信息进行逻辑和子任务划分，得到初始引导结果，提高了引导结果的逻辑层次性；通过约束模块对初始引导结果进行引导性语料约束，可以使得到中间引导结果具有引导性语义，提高了知识引导结果得到的准确性。
在本申请的一些可选实现方式中，损失值为预训练模型的损失值，基于知识引导结果，计算知识引导网络的损失值包括：基于知识引导结果，计算预训练模型的损失值。
本可选实现方式中，可以预先为预训练模型设置损失函数，例如，将交叉熵函数设置预训练模型的损失函数，基于知识引导结果与从训练样本集中选取样本中真值，计算损失函数，得到预训练模型的损失值。
本可选实现方式提供的计算知识引导网络的损失值的方法，将预训练模型的损失值作为知识引导网络的损失值，以预训练模型作为主要的考量对象，提高了知识引导网络的训练效果。
在本申请的一些实施例中，知识引导网络还包括：多任务数据集，约束模块还用于对预训练模型进行结构化剪枝，基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型还包括：
响应于检测到预训练模型不满足训练完成条件，将预训练模型作为基座模型，基于多任务数据集，分别进行编程知识语料、引导性语料微调，将微调后的参数加载到预训练模型，采用约束模块对预训练模型进行结构化剪枝，继续执行上述步骤A-步骤C。
本可选实现方式中，可以采用Lora模型进行教师认知语料以及引导性语料微调，采用Lora模型采集多任务数据集中的教师认知语料以及引导性语料，基于采集的信息进行参数微调，并调整后的参数添加到预训练模型中，使预训练模型具有教师认知知识以及引导性语料的信息。基于Lora模型的教师认知语料以及引导性语料的参数微调，得到具有教师角色和引导性质的两轮比例渐进微调知识引导网络，该知识引导网络能显著提升模型在编程导师这一角色上的深入认知，在多种对照试验下具备最优解、强泛化和高鲁棒性。
在本申请的一些可选实现方式中，知识引导网络还包括：多任务数据集，约束模块还用于对预训练模型进行结构化剪枝，基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型包括：响应于检测到预训练模型不满足训练完成条件，将预训练模型作为基座模型，基于多任务数据集，分别进行编程知识语料、教师认知语料、引导性语料微调，将微调后的参数加载到预训练模型，采用约束模块对预训练模型进行结构化剪枝，继续执行上述步骤A-步骤C。
本可选实现方式中，可以采用Lora模型进行编程知识语料、教师认知语料以及引导性语料微调，采用Lora模型采集多任务数据集中的编程知识语料、教师认知语料以及引导性语料，基于采集的信息进行参数微调，并调整后的参数添加到预训练模型中，使预训练模型具有编程知识、教师认知知识以及引导性语料的信息。基于Lora模型的编程知识语料、教师认知语料以及引导性语料的参数微调，得到具有编程能力、教师角色和引导性质的三轮比例渐进微调知识引导网络，该知识引导网络能显著提升模型在编程导师这一角色上的深入认知，在多种对照试验下具备最优解、强泛化和高鲁棒性。
本可选实现方式中，约束模块的结构化剪枝是指在深度学习网络的训练过程中，按照一定的概率将一部分神经网络单元暂时从网络中丢弃，相当于从原始的网络中找到一个更瘦的网络。
本可选实现方式中，对预训练模型同时进行教师认知微调，融合代码神经网络层和教师认知层面，最后基于代码逻辑树和结构化剪枝的压缩技术，实现了代码生成和排错高准确度功能的同时，丢弃冗余网络层，实现消融后的代码垂直领域模型。
如图2所示，通过对多任务初始数据（图2中未示出）进行蒸馏、数据扩充等预处理得到多任务数据集，并基于微调前置模块划分微调数据和知识向量数据库之间的相关度界线，之后将两部分数据分别放入预训练模型和基于Lora的多任务微调（编程知识、教师认知和引导性质），并采用约束模块对微调后的模型进行约束和结构化剪枝。接着，对输入的样本X（与用户输入的知识问题对应的样本）先经过子任务划分模块划分梳理结构，再进入到微调后的模型进行推理，结果通过滤波模块得到最终的具有教师引导性输出的知识引导结果G。
多任务数据集，该数据集为编程导师垂直领域构造，按照智能体特定比例多指令式划分，具备完备性和优质性。
本实施例提供的大语言模型，相比于通用大模型的单次全量吞吐，该技术将用户的总任务划分为多个子任务，循序渐进，作为学习导师的角色一步步引导用户依次实现子任务目标。该技术在提升大模型编程逻辑和语义理解的同时，解决模型引导性质输出的重点和难点问题。
本可选实现方式提供的得到对应知识引导网络的大语言模型的方法，首先基于知识引导结果和多任务数据，分别对预训练模型进行编程知识语料、教师认知语料、引导性语料微调，由此，通过多任务数据和本地的知识向量数据库，对知识引导网络进行代码能力垂直微调，同时进行教师认知微调，融合代码神经网络层和教师认知层面，最后基于结构化剪枝技术，实现了代码生成和排错高准确度功能，通过约束模型遗弃冗余网络层，实现了消融后的代码垂直领域的编码引导模型，提高了知识引导网络的知识引导效果。
在本申请的一些实施例中，上述多任务数据集的得到步骤包括：获取多任务初始数据；对多任务初始数据进行数据预处理，得到处理数据；采用微调前置模块计算处理数据与知识向量数据库中数据的相关度；响应于处理数据与知识向量数据库中数据的相关度小于数据阈值，将处理数据作为多任务数据集中的数据。
本实施例中，多任务初始数据是与知识网络模型的知识相关的任务的数据，例如课本百科类任务的数据、教育指令任务的数据、代码编写任务的数据、对话数据任务的数据。
本实施例中，数据预处理包括：数据分割、聚类、清洗和蒸馏。
本实施例中，微调前置模块是一种计算相似度的模块，例如，微调前置模块计算两种类型数据的欧式距离或者马氏距离，在得到两种类型的数据之后，微调前置模块计算该两种数据的相似度，相似度越大相关度越高，相似度越小相关度越小。通过微调前置模块得到的代码数据语料和本地知识库，对模型进行代码能力垂直微调。
本实施例中，数据阈值可以基于知识向量数据库的设置需求而确定，例如，数据阈值为80%。
可选地，在处理数据与知识向量数据库中数据的相关度大于数据阈值时，将处理数据放入知识向量数据库中。
本可选实现方式提供的多任务数据集得到方法，先对多任务初始数据进行数据预处理，得到处理数据；计算处理数据与知识向量数据库中数据的相关度；响应于处理数据与知识向量数据库中的数据的相关度小于数据阈值时，将处理数据作为多任务数据集中的数据，为多任务数据集的得到提供了一种可靠的实现方式。
在本申请的一些可选实现方式中，基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型包括：响应于检测到预训练模型不满足训练完成条件，调整预训练模型的参数，并继续将从训练样本集中选取的样本输入知识引导网络，得到知识引导结果；基于知识引导结果，计算知识引导网络的损失值，并基于知识引导网络的损失值，对知识引导网络进行训练。
本可选实现方式提供得到对应知识引导网络的大语言模型，在检测到预训练模型不满足训练完成条件时，调整预训练模型的参数，并继续进行步骤A-C，为大语言模型的实现提供了可靠的基础支持。
图3为本申请的实施例提供的一种基于大语言模型的知识引导问答装置的结构示意图。知识引导问答装置可以包括：问题获取单元301、输入单元302。
其中，上述问题获取单元301，可以被配置成获取待处理的知识问题。上述输入单元302，可以被配置成将知识问题输入预先训练完成的大语言模型训练装置，得到大语言模型输出的知识引导结果。
大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，子任务划分模块用于结合知识向量数据库对知识问题进行逻辑检测，基于逻辑检测结果对知识问题进行子任务划分，预训练模型基于子任务划分模块的子任务划分结果，给出初始引导结果，约束模块用于为初始引导结果添加引导性语料约束，得到中间引导结果，滤波模块用于为中间引导结果进行语义滤波，得到知识引导结果。
在本实施例中，大语言模型训练装置中：问题获取单元301、输入单元302的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述大语言模型可以通过训练单元训练得到，训练单元被配置成：获取训练样本集；获取与大语言模型对应的知识引导网络；将从训练样本集中选取的样本输入知识引导网络，得到知识引导结果；基于知识引导结果，计算知识引导网络的损失值；基于损失值，对知识引导网络进行训练，得到对应知识引导网络的大语言模型。
在本实施例的一些可选的实现方式中，上述训练单元进一步被配置成：基于知识引导结果，计算预训练模型的损失值。
在本实施例的一些可选的实现方式中，上述知识引导网络还包括：多任务数据集，约束模块还用于对预训练模型进行结构化剪枝，上述训练单元具体被配置成：响应于检测到预训练模型不满足训练完成条件，将预训练模型作为基座模型，基于多任务数据集，分别进行教师认知语料、引导性语料微调，将微调后的参数加载到预训练模型，采用约束模块对预训练模型进行结构化剪枝，继续进行训练单元的工作。
在本实施例的一些可选的实现方式中，上述知识引导网络还包括：多任务数据集，约束模块还用于对预训练模型进行结构化剪枝，上述训练单元具体被配置成：响应于检测到预训练模型不满足训练完成条件，进行编程知识语料微调，将微调后的参数加载到预训练模型。
在本实施例的一些可选的实现方式中，多任务数据集通过数据得到单元（图中未示出）得到，其中，数据得到单元被配置成：获取多任务初始数据；对多任务初始数据进行数据预处理，得到处理数据；采用微调前置模块计算处理数据与知识向量数据库中数据的相关度；响应于处理数据与知识向量数据库中数据的相关度小于数据阈值，将处理数据作为多任务数据集中的数据。
在本实施例的一些可选的实现方式中，上述训练单元具体被配置成：响应于检测到预训练模型不满足训练完成条件，调整预训练模型的参数，并继续控制训练单元工作。
本申请提供的基于大语言模型的知识引导问答装置，可执行上述基于大语言模型的知识引导问答方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本申请此处不再赘述。
本申请实施例还提供了一种计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
计算机设备包括通过系统总线相互通信连接存储器401和处理器402。需要指出的是，图中仅示出了具有组件401-402的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、可编程门阵列（Field-ProgrammableGate Array，FPGA）、数字处理器（Digital Signal Processor，DSP）、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器401至少包括一种类型的可读存储介质，可读存储介质包括非易失性存储器（non-volatile memory）或易失性存储器，例如，闪存（flash memory）、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（random accessmemory，RAM）、只读存储器（read-only memory，ROM）、可擦写可编程只读存储器（erasableprogrammableread-only memory，EPROM）、电可擦写可编程只读存储器（electrically erasableprogrammable read-only memory，EEPROM）、可编程只读存储器（programmable read-onlymemory，PROM）、磁性存储器、磁盘、光盘等，RAM可以包括静态RAM或动态RAM。在一些实施例中，存储器401可以是计算机设备的内部存储单元，例如，该计算机设备的硬盘或内存。在另一些实施例中，存储器401也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡或闪存卡（Flash Card）等。当然，存储器401还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器401通常用于存储安装于计算机设备的操作系统和各类应用软件，例如上述方法的程序代码等。此外，存储器401还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器402通常用于执行计算机设备的总体操作。本实施例中，存储器401用于存储程序代码或指令，程序代码包括计算机操作指令，处理器402用于执行存储器401存储的程序代码或指令或者处理数据，例如运行上述方法的程序代码。
本文中，总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，EISA）总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在上述大语言模型训练方法或知识引导方法中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，存储器用于存储程序代码或指令，程序代码包括计算机操作指令，处理器用于执行存储器存储的上述大语言模型训练方法或知识引导方法的程序代码或指令。
存储器和处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
在本申请各个实施例中的各功能单元或模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请描述的“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了装置若干的单元权利要求中，这些装置中的若干个单元可以是通过同一个硬件项来具体体现。第一、第二、以及第三等的使用不表示任何顺序，可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种基于大语言模型的知识引导问答方法，其特征在于，包括：
获取待处理的知识问题；
将所述知识问题输入预先训练完成的大语言模型，得到所述大语言模型输出的知识引导结果；
所述大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，所述子任务划分模块用于结合所述知识向量数据库对所述知识问题进行逻辑检测，基于逻辑检测结果对所述知识问题进行子任务划分，所述预训练模型基于所述子任务划分模块的子任务划分结果，给出初始引导结果，所述约束模块用于为所述初始引导结果添加引导性语料约束，得到中间引导结果，所述约束模块还用于对所述预训练模型进行结构化剪枝，所述滤波模块用于为所述中间引导结果进行语义滤波，得到知识引导结果；
所述大语言模型的训练步骤如下：
获取训练样本集；
获取与所述大语言模型对应的知识引导网络，所述知识引导网络还包括多任务数据集；
将从所述训练样本集中选取的样本输入所述知识引导网络，得到知识引导结果；
基于所述知识引导结果，计算所述知识引导网络的损失值；
基于所述损失值，对所述知识引导网络进行训练，得到对应所述知识引导网络的大语言模型，包括：响应于检测到所述预训练模型不满足训练完成条件，将所述预训练模型作为基座模型，基于所述多任务数据集，分别进行教师认知语料、引导性语料微调，将微调后的参数加载到所述预训练模型，采用所述约束模块对所述预训练模型进行结构化剪枝，继续将从所述训练样本集中选取的样本输入所述知识引导网络，得到知识引导结果，基于所述知识引导结果，计算所述知识引导网络的损失值，并基于所述知识引导网络的损失值，对所述知识引导网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述损失值为所述预训练模型的损失值，所述基于所述知识引导结果，计算所述知识引导网络的损失值包括：
基于所述知识引导结果，计算所述预训练模型的损失值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述损失值，对所述知识引导网络进行训练，得到对应所述知识引导网络的大语言模型还包括：
响应于检测到所述预训练模型不满足训练完成条件，进行编程知识语料微调，将微调后的参数加载到所述预训练模型。
4.根据权利要求1所述的方法，其特征在于，所述多任务数据集的得到步骤包括：获取多任务初始数据；
对所述多任务初始数据进行数据预处理，得到处理数据；
采用微调前置模块计算所述处理数据与所述知识向量数据库中数据的相关度；
响应于所述处理数据与所述知识向量数据库中数据的相关度小于数据阈值，将所述处理数据作为多任务数据集中的数据。
5.根据权利要求2-4任意一项所述的方法，其特征在于，所述基于所述损失值，对所述知识引导网络进行训练，得到对应所述知识引导网络的大语言模型包括：
响应于检测到所述预训练模型不满足训练完成条件，调整所述预训练模型的参数，并继续将从所述训练样本集中选取的样本输入所述知识引导网络，得到知识引导结果；基于所述知识引导结果，计算所述知识引导网络的损失值，并基于所述知识引导网络的损失值，对所述知识引导网络进行训练。
6.一种基于大语言模型的知识引导问答装置，其特征在于，包括：
问题获取单元，被配置成获取待处理的知识问题；
输入单元，被配置成将所述知识问题输入预先训练完成的大语言模型训练装置，得到所述大语言模型输出的知识引导结果；
所述大语言模型包括：预训练模型，子任务划分模块、约束模块、滤波模块、知识向量数据库，所述子任务划分模块用于结合所述知识向量数据库对所述知识问题进行逻辑检测，基于逻辑检测结果对所述知识问题进行子任务划分，所述预训练模型基于所述子任务划分模块的子任务划分结果，给出初始引导结果，所述约束模块用于为所述初始引导结果添加引导性语料约束，得到中间引导结果，所述约束模块还用于对所述预训练模型进行结构化剪枝，所述滤波模块用于为所述中间引导结果进行语义滤波，得到知识引导结果；
所述大语言模型的训练步骤如下：
获取训练样本集；
获取与所述大语言模型对应的知识引导网络，所述知识引导网络还包括多任务数据集；
将从所述训练样本集中选取的样本输入所述知识引导网络，得到知识引导结果；
基于所述知识引导结果，计算所述知识引导网络的损失值；
基于所述损失值，对所述知识引导网络进行训练，得到对应所述知识引导网络的大语言模型，包括：响应于检测到所述预训练模型不满足训练完成条件，将所述预训练模型作为基座模型，基于所述多任务数据集，分别进行教师认知语料、引导性语料微调，将微调后的参数加载到所述预训练模型，采用所述约束模块对所述预训练模型进行结构化剪枝，继续将从所述训练样本集中选取的样本输入所述知识引导网络，得到知识引导结果，基于所述知识引导结果，计算所述知识引导网络的损失值，并基于所述知识引导网络的损失值，对所述知识引导网络进行训练。
7.一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如权利要求1~5中任一所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1~5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410048532.6A CN117573841B (zh) | 2024-01-12 | 2024-01-12 | 基于大语言模型的知识引导问答方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410048532.6A CN117573841B (zh) | 2024-01-12 | 2024-01-12 | 基于大语言模型的知识引导问答方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117573841A CN117573841A (zh) | 2024-02-20 |
| CN117573841B true CN117573841B (zh) | 2024-05-03 |
Family
ID=89884745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410048532.6A Active CN117573841B (zh) | 2024-01-12 | 2024-01-12 | 基于大语言模型的知识引导问答方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117573841B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116028615A (zh) * | 2023-03-30 | 2023-04-28 | 北京红棉小冰科技有限公司 | 基于知识引导的回复生成方法、装置和电子设备 |
| CN116561276A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
| CN116595151A (zh) * | 2023-06-25 | 2023-08-15 | 杭州电子科技大学 | 基于先验知识启发大语言模型的图像推理问答方法 |
| CN116910202A (zh) * | 2023-06-16 | 2023-10-20 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN116957940A (zh) * | 2023-08-02 | 2023-10-27 | 西安电子科技大学 | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 |
| CN116975288A (zh) * | 2023-07-14 | 2023-10-31 | 杭州阿里巴巴飞天信息技术有限公司 | 文本处理方法及文本处理模型训练方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10311046B2 (en) * | 2016-09-12 | 2019-06-04 | Conduent Business Services, Llc | System and method for pruning a set of symbol-based sequences by relaxing an independence assumption of the sequences |
| US20230259808A1 (en) * | 2022-02-16 | 2023-08-17 | International Business Machines Corporation | Active learning for event extraction from heterogeneous data sources |
-
2024
- 2024-01-12 CN CN202410048532.6A patent/CN117573841B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116028615A (zh) * | 2023-03-30 | 2023-04-28 | 北京红棉小冰科技有限公司 | 基于知识引导的回复生成方法、装置和电子设备 |
| CN116561276A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
| CN116910202A (zh) * | 2023-06-16 | 2023-10-20 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN116595151A (zh) * | 2023-06-25 | 2023-08-15 | 杭州电子科技大学 | 基于先验知识启发大语言模型的图像推理问答方法 |
| CN116975288A (zh) * | 2023-07-14 | 2023-10-31 | 杭州阿里巴巴飞天信息技术有限公司 | 文本处理方法及文本处理模型训练方法 |
| CN116957940A (zh) * | 2023-08-02 | 2023-10-27 | 西安电子科技大学 | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering";Zhenwei Shao 等;《https://arXiv.org》;20230316;第1-16页 * |
| "Knowledge-based Question Answering with Large Language Models";Yunshi Lan;百度文库;20231130;第1-39页 * |
| "Large Language Models Meet Knowledge Graphs to Answer Factoid Questions";Mikhail Salnikov 等;《https://arXiv.org》;20231003;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117573841A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107193807B (zh) | 基于人工智能的语言转换处理方法、装置及终端 | |
| CN109977234A (zh) | 一种基于主题关键词过滤的知识图谱补全方法 | |
| CN107357775A (zh) | 基于人工智能的循环神经网络的文本纠错方法及装置 | |
| US20220318230A1 (en) | Text to question-answer model system | |
| CN111738002A (zh) | 基于Lattice LSTM的古文领域命名实体识别方法和系统 | |
| CN111985243B (zh) | 情感模型的训练方法、情感分析方法、装置及存储介质 | |
| CN110991195A (zh) | 机器翻译模型训练方法、装置及存储介质 | |
| CN113822054A (zh) | 基于数据增强的中文语法纠错方法及装置 | |
| CN111046674B (zh) | 语义理解方法、装置、电子设备和存储介质 | |
| CN111027292B (zh) | 一种限定采样文本序列生成方法及其系统 | |
| CN112348911A (zh) | 基于语义约束的堆叠文本生成细粒度图像方法及系统 | |
| CN117808946B (zh) | 基于大语言模型的二次元角色构建方法及系统 | |
| CN113392640B (zh) | 一种标题确定方法、装置、设备及存储介质 | |
| CN118170894A (zh) | 一种知识图谱问答方法、装置及存储介质 | |
| CN113704393A (zh) | 关键词提取方法、装置、设备及介质 | |
| CN116881470A (zh) | 一种生成问答对的方法及装置 | |
| CN113010655B (zh) | 一种机器阅读理解的回答与干扰项生成方法、装置 | |
| CN112989829B (zh) | 一种命名实体识别方法、装置、设备及存储介质 | |
| CN116910185B (zh) | 模型训练方法、装置、电子设备及可读存储介质 | |
| CN117807984A (zh) | 一种错因解析生成方法、装置、存储介质及设备 | |
| CN116991976A (zh) | 模型训练方法、装置、电子设备及可读存储介质 | |
| CN112818096A (zh) | 对话生成方法及其装置 | |
| CN117573841B (zh) | 基于大语言模型的知识引导问答方法和装置 | |
| CN114358579A (zh) | 评阅方法、评阅装置、电子设备以及计算机可读存储介质 | |
| CN114896966A (zh) | 一种中文文本语法错误定位方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |