CN117290429A - 通过自然语言调用数据系统接口的方法 - Google Patents

通过自然语言调用数据系统接口的方法 Download PDF

Info

Publication number
CN117290429A
CN117290429A CN202311575776.1A CN202311575776A CN117290429A CN 117290429 A CN117290429 A CN 117290429A CN 202311575776 A CN202311575776 A CN 202311575776A CN 117290429 A CN117290429 A CN 117290429A
Authority
CN
China
Prior art keywords
model
data system
natural language
training
nlp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311575776.1A
Other languages
English (en)
Other versions
CN117290429B (zh
Inventor
王光军
边涛
刘仁杰
高翠
曲新笛
王岩
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaoyiwang Digital Technology Co ltd
Original Assignee
Shandong Jiaoyiwang Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaoyiwang Digital Technology Co ltd filed Critical Shandong Jiaoyiwang Digital Technology Co ltd
Priority to CN202311575776.1A priority Critical patent/CN117290429B/zh
Publication of CN117290429A publication Critical patent/CN117290429A/zh
Application granted granted Critical
Publication of CN117290429B publication Critical patent/CN117290429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Abstract

本发明涉及自然语言处理技术领域，具体地说，涉及一种通过自然语言调用数据系统接口的方法。其包括以下步骤：构建NLP模型，基于自然语言数据库对NPL模型进行预训练；创建用于接收来自NLP模型的请求的数据系统通信接口；构建训练数据库，基于微调训练模型对NLP模型进行训练优化，使NLP模型稳定地生成符合ReAct模式的文本数据；NLP模型基于ReAct模式与数据系统接口进行交互，以执行生成的查询或命令；基于从数据系统接口获得的信息，NLP模型生成最终的自然语言响应。基于ReAct模式数据集对NLP模型进行微调训练，ReAct模式下的NLP模型遵循思考‑操作‑观察的步骤实现数据系统接口的调用，以增强NLP模型的交互性和能力，从而在处理复杂任务时表现出更高的智能程度。

Description

通过自然语言调用数据系统接口的方法
技术领域
本发明涉及自然语言处理技术领域，具体地说，涉及一种通过自然语言调用数据系统接口的方法。
背景技术
自然语言调用数据系统接口是基于NPL模型将人类语言转化为计算机可理解的指令或查询的技术，旨在通过自然语言命令或问题来直接与数据系统交互。
由于自然语言的复杂性，现有NPL模型的交互性和能力，在处理复杂任务时智能程度低，系统在解析用户的复杂请求时可能存在误解或错误，因此，提供通过自然语言调用数据系统接口的方法。
发明内容
本发明的目的在于提供一种通过自然语言调用数据系统接口的方法，以解决上述背景技术中提出的能源供需调配不足，导致的局部区域电力调配不及时的问题。
为实现上述目的，本发明目的在于提供了一种通过自然语言调用数据系统接口的方法，包括以下步骤：
S1、构建NLP模型，基于自然语言数据库对NPL模型进行预训练；
S2、创建用于接收来自NLP模型的请求的数据系统通信接口；
S3、构建训练数据库，基于微调训练模型对NLP模型进行训练优化，使NLP模型稳定地生成符合ReAct模式的文本数据；
S4、NLP模型基于ReAct模式与数据系统接口进行交互，以执行生成的查询或命令；
S5、基于从数据系统接口获得的信息，NLP模型生成最终的自然语言响应，以回答用户的查询或问题。
作为本技术方案的进一步改进，所述S1中，所述NLP模型采用GPT模型作为基础模型，所述自然语言数据库内存储有NLP任务相关的文本数据，提取与调用数据系统接口相关的特征对NPL模型进行预训练。
作为本技术方案的进一步改进，所述S3中，训练数据库由ReAct模式示例的数据集组成，微调训练模型基于Fine-tuning模型训练方法对NLP模型进行训练优化，训练NLP模型稳定生成符合ReAct模式的文本数据。
作为本技术方案的进一步改进，所述Fine-tuning模型训练方法对GPT模型的训练步骤如下：
S1.1、收集符合ReAct模式的文本数据集，并对数据进行预处理以确保数据的质量；
S1.2、为调用数据系统接口任务定义损失函数，衡量生成的接口命令与真实命令之间的差异；
S1.3、使用调用数据系统接口任务所用的数据集对模型进行训练，采用反向传播算法更新NLP模型的模型参数，进行多轮迭代，直到损失函数达到预定的迭代次数。
S1.4、使用自动生成的示例对话来评估模型的回答是否符合ReAct模式的预期，确保模型能够稳定地生成符合ReAct模式的文本数据。
作为本技术方案的进一步改进，所述S1.2中，损失函数用于衡量模型生成的概率分布与真实概率分布之间的差异，具体算法如下：
；
其中，表示真实命令，/>表示预测输出的接口命令；/>表示损失函数；/>表示模型参数；/>表示模型根据输入命令/>预测得到的输出接口命令为/>的概率。
作为本技术方案的进一步改进，所述S1.3中，反向传播算法的具体计算公式为：
对于输出层的接口命令i，其梯度计算公式为：
；
对于隐藏层的接口命令，其梯度计算公式为：
；
其中，为损失函数；/>预测的输出层的接口命令；/>为隐藏层的输入值。
梯度下降优化算法来更新模型的参数，具体公式如下：
；
其中，表示模型参数，/>表示学习率；/>表示损失函数/>对模型参数/>的梯度。
作为本技术方案的进一步改进，对所述梯度下降优化算法进行自适应学习率算法优化，其优化步骤如下：
S7.1、设定初始模型参数，动量变量/>和变量/>，并给定超参数/>、/>、/>和学习率/>；
S7.2、计算当前参数位置的梯度；
S7.3、计算一阶矩动量变量和二阶矩动量变量/>的指数加权移动平均值；
S7.4、修正一阶和二阶矩估计的偏差；
S7.5、根据修正后的一阶和二阶矩估计更新模型的参数。
作为本技术方案的进一步改进，所述S7.3中，
一阶矩动量变量的指数加权移动平均值计算公式为：
；
二阶矩动量变量的指数加权移动平均值计算公式为：
；
所述S7.3中，修正一阶矩估计的偏差的具体计算公式为：
；
修正二阶矩估计的偏差的具体计算公式为：
；
其中，为迭代次数；/>表示对一阶矩动量变量m进行修正后的值；/>表示对二阶矩动量变量/>进行修正后的值。
作为本技术方案的进一步改进，根据修正后的一阶和二阶矩估计更新模型的参数具体计算公式为：
；
其中，表示模型参数，/>为迭代次数，/>为模型参数/>在第/>个迭代步骤时的取值；则表示更新后的参数值。
与现有技术相比，本发明的有益效果：
1、该通过自然语言调用数据系统接口的方法中，基于ReAct模式数据集对NLP模型进行微调训练，使模型生成具有思考-操作-观察结构的文本，ReAct模式下的NLP模型遵循思考-操作-观察的步骤实现数据系统接口的调用，以增强NLP模型的交互性和能力，模拟人类的思考、操作和观察过程，从而在处理复杂任务时表现出更高的智能程度，最终完成设定任务或生成更加符合要求的答案。
2、该通过自然语言调用数据系统接口的方法中，基于微调训练模型对NLP模型进行训练优化，通过对梯度下降优化算法进行自适应学习率算法优化，根据参数的历史梯度信息自适应地调整学习率，能够使得不同参数拥有不同的学习率，更加有效地更新模型参数，从而更加有效地更新模型参数，并提高优化的效果和收敛速度，使NLP模型稳定生成符合ReAct模式的文本数据。
附图说明
图1为本发明的整体方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1所示，本实施例提供了一种通过自然语言调用数据系统接口的方法，包括以下步骤：
S1、构建NLP模型，基于自然语言数据库对NPL模型进行预训练；所述NLP模型采用GPT模型作为基础模型，所述自然语言数据库内存储有NLP任务相关的文本数据，提取与调用数据系统接口相关的特征对NPL模型进行预训练，NLP任务相关的文本数据包括用户可能提出的各种问题、请求或命令，使用自然语言数据库对NPL模型进行预训练，以适应数据系统接口调用的特定任务需求；
S2、创建用于接收来自NLP模型的请求的数据系统通信接口，数据系统通信接口为RESTful API、GraphQL和数据库连接中的一种，确定要访问的数据系统的接口类型；
S3、构建训练数据库，基于微调训练模型对NLP模型进行训练优化，使NLP模型稳定地生成符合ReAct模式的文本数据，使用ReAct模式数据集对模型进行微调，使其了解如何在不同阶段生成文本数据以遵循ReAct模式的思考-操作-观察流程；训练数据库由ReAct模式示例的数据集组成，其中包括提示词、思考-操作-观察的文本段落、用户问题和回答的文本数据，微调训练模型基于Fine-tuning模型训练方法对NLP模型进行训练优化，用于将预训练的模型适应具有思考-操作-观察结构文本的数据集，对经过大规模预训练的NLP模型进行微调，使其适应NLP任务，例如文本分类、情感分析和问答，训练NLP模型稳定生成符合ReAct模式的文本数据；
所述Fine-tuning模型训练方法对GPT模型的训练步骤如下：
S1.1、收集符合ReAct模式的文本数据集，包括提示词、思考-操作-观察的文本段落、用户问题和回答的文本数据，并对数据进行预处理以确保数据的质量，预处理步骤包括清理和标准化数据集，确保数据格式一致性和可读性；对数据进行分词、词性标注、实体识别等 NLP 预处理步骤，以提高模型的输入质量；
S1.2、为调用数据系统接口任务定义损失函数，衡量生成的接口命令与真实命令之间的差异；将模型的预测输出值与真实值进行比较，通过损失函数计算出模型的预测值与真实值之间的差异；
其中，损失函数用于衡量模型生成的概率分布与真实概率分布之间的差异，具体算法如下：
；
其中，表示真实命令，/>表示预测输出的接口命令；/>表示损失函数；/>表示模型参数；/>表示模型根据输入命令/>预测得到的输出接口命令为/>的概率。将自然语言请求通过GPT模型进行前向传播，获取模型的预测输出/>。
S1.3、使用调用数据系统接口任务所用的数据集对模型进行训练，采用反向传播算法更新NLP模型的模型参数，其中，反向传播算法用于计算梯度以更新模型的参数，根据损失函数的值，从输出层开始反向计算梯度，依次向前传播至输入层，计算出损失函数对每个参数的梯度，进行多轮迭代，直到损失函数达到预定的迭代次数；
根据损失函数的值，从输出层开始反向计算梯度，依次向前传播至输入层，计算出损失函数对每个参数的梯度，其中，反向传播算法的具体计算公式为：
对于输出层的接口命令i，其梯度计算公式为：
；
对于隐藏层的接口命令，其梯度计算公式为：
；
其中，为损失函数；/>预测的输出层的接口命令，即预测输出的接口命令；/>为隐藏层的输入值。
梯度下降优化算法来更新模型的参数，具体公式如下：
；
其中，表示模型参数，/>表示学习率；/>表示损失函数/>对模型参数/>的梯度。
S1.4、使用自动生成的示例对话来评估模型的回答是否符合ReAct模式的预期，确保模型能够稳定地生成符合ReAct模式的文本数据。
由于梯度下降优化算法会陷入局部最优解、收敛速度慢问题，为解决上述问题，更快地收敛并且在不同参数的更新上具有更好的适应性，对所述梯度下降优化算法进行自适应学习率算法优化，根据损失函数的梯度调整模型参数，使得模型逐渐朝着最优参数方向优化，其优化步骤如下：
S7.1、设定初始模型参数，动量变量/>和变量/>，并给定超参数/>、/>、/>和学习率/>，具体的，/>表示一阶矩估计的指数衰减率；/>二阶矩估计的指数衰减率；超参数/>用于避免分母为零，优选的，/>；
S7.2、计算当前参数位置的梯度；
S7.3、计算一阶矩动量变量和二阶矩动量变量/>的指数加权移动平均值；
一阶矩动量变量的指数加权移动平均值计算公式为：
；
二阶矩动量变量的指数加权移动平均值计算公式为：
；
S7.4、修正一阶和二阶矩估计的偏差；具体的：
修正一阶矩估计的偏差的具体计算公式为：
；
修正二阶矩估计的偏差的具体计算公式为：
；
其中，为迭代次数；/>表示对一阶矩动量变量/>进行修正后的值，为了纠正在算法的初始阶段/>的偏差，对一阶矩动量变量/>进行修正后，可以更准确地估计梯度的一阶矩；/>表示对二阶矩动量变量/>进行修正后的值，同理，/>为了纠正在算法的初始阶段/>的偏差，可以更准确地估计梯度的二阶矩。
S7.5、根据修正后的一阶和二阶矩估计更新模型的参数。
具体的，根据一阶和二阶矩估计来调整参数，以便更好地逼近损失函数的最小值，结合了一阶和二阶矩的信息，利用梯度的一阶和二阶统计信息来自适应地调整学习率，实现更高效的模型参数更新，从而加快收敛速度并提高训练的稳定性，根据修正后的一阶和二阶矩估计更新模型的参数具体计算公式为：
；
其中，表示模型参数，/>为迭代次数，/>为模型参数/>在第/>个迭代步骤时的取值；则表示更新后的参数值。
对所述梯度下降优化算法进行自适应学习率算法优化，根据参数的历史梯度信息自适应地调整学习率，能够使得不同参数拥有不同的学习率，更加有效地更新模型参数，从而更加有效地更新模型参数，并提高优化的效果和收敛速度。
S4、NLP模型基于ReAct模式与数据系统接口进行交互，以执行生成的查询或命令，ReAct方法用于增强NLP模型的交互性和能力，模拟人类的思考、操作和观察过程，从而在处理复杂任务时表现出更高的智能程度，能够更好地分析和处理复杂的自然语言查询，并通过与外部系统的交互来获取更多的信息和数据；
S5、基于从数据系统接口获得的信息，NLP模型生成最终的自然语言响应，以回答用户的查询或问题。
所述ReAct模式下的NLP模型遵循思考-操作-观察的步骤实现数据系统接口的调用；
思考步骤具体为：基于训练数据库对NLP模型的训练，生成具有思考-操作-观察结构的文本，NLP模型在生成文本的过程中模拟人类的思考、执行操作和观察结果；思考用户的自然语言查询，包括理解用户的意图、提取关键信息和解析查询，包括自然语言理解、实体识别、关键词提取等任务；模型尝试理解用户的问题或请求，以确定如何与数据系统交互以满足用户需求；
操作步骤具体为：明确用户的意图和需求，生成相应数据系统命令，数据系统命令包括API调用、SQL查询、数据操作指令等，根据用户的请求和数据系统的要求来执行，模型会将生成的操作传递给数据系统接口，以便执行。
观察步骤具体为：在生成的操作被传递给数据系统后，NLP模型会观察系统的响应，系统的响应包括检查数据系统的执行结果，确保操作被正确执行，模型处理数据系统的响应，将结果转化为自然语言，并向用户提供满足其需求的响应。
ReAct模式是一个迭代的过程，用户需要进一步的信息或操作，模型可以继续思考用户的新查询，生成新的操作，并观察新的响应，这个过程可以持续进行，直到用户的需求得到满足。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.通过自然语言调用数据系统接口的方法，其特征在于：包括以下步骤：
S1、构建NLP模型，基于自然语言数据库对NPL模型进行预训练；
S2、创建用于接收来自NLP模型的请求的数据系统通信接口；
S3、构建训练数据库，基于微调训练模型对NLP模型进行训练优化；
S4、NLP模型基于ReAct模式与数据系统接口进行交互；
S5、基于从数据系统接口获得的信息，NLP模型生成最终的自然语言响应。
2.根据权利要求1所述的通过自然语言调用数据系统接口的方法，其特征在于：所述S1中，所述NLP模型采用GPT模型作为基础模型，所述自然语言数据库内存储有NLP任务相关的文本数据，提取与调用数据系统接口相关的特征对NPL模型进行预训练。
3.根据权利要求1所述的通过自然语言调用数据系统接口的方法，其特征在于：所述S3中，训练数据库由ReAct模式示例的数据集组成，微调训练模型基于Fine-tuning模型训练方法对NLP模型进行训练优化，训练NLP模型稳定生成符合ReAct模式的文本数据。
4.根据权利要求3所述的通过自然语言调用数据系统接口的方法，其特征在于：所述Fine-tuning模型训练方法对GPT模型的训练步骤如下：
S1.1、收集符合ReAct模式的文本数据集，并对数据进行预处理以确保数据的质量；
S1.2、为调用数据系统接口任务定义损失函数，衡量生成的接口命令与真实命令之间的差异；
S1.3、使用调用数据系统接口任务所用的数据集对模型进行训练，采用反向传播算法更新NLP模型的模型参数，进行多轮迭代，直到损失函数达到预定的迭代次数；
S1.4、使用自动生成的示例对话来评估模型的回答是否符合ReAct模式的预期，确保模型能够稳定地生成符合ReAct模式的文本数据。
5.根据权利要求4所述的通过自然语言调用数据系统接口的方法，其特征在于：所述S1.2中，损失函数用于衡量模型生成的概率分布与真实概率分布之间的差异，具体算法如下：
；
其中，表示真实命令，/>表示预测输出的接口命令；/>表示损失函数；/>表示模型参数；/>表示模型根据输入命令/>预测得到的输出接口命令为/>的概率。
6.根据权利要求1所述的通过自然语言调用数据系统接口的方法，其特征在于：所述S1.3中，反向传播算法的具体计算公式为：
对于输出层的接口命令i，其梯度计算公式为：
；
对于隐藏层的接口命令，其梯度计算公式为：
；
其中，为隐藏层的输入值；
通过梯度下降优化算法来更新模型的参数，具体公式如下：
；
其中，表示模型参数，/>表示学习率；/>表示损失函数/>对模型参数/>的梯度。
7.根据权利要求6所述的通过自然语言调用数据系统接口的方法，其特征在于：对所述梯度下降优化算法进行自适应学习率算法优化，其优化步骤如下：
S7.1、设定初始模型参数，动量变量/>和变量/>，并给定超参数/>、/>、/>和学习率/>；
S7.2、计算当前参数位置的梯度；
S7.3、计算一阶矩动量变量和二阶矩动量变量/>的指数加权移动平均值；
S7.4、修正一阶和二阶矩估计的偏差；
S7.5、根据修正后的一阶和二阶矩估计更新模型的参数。
8.根据权利要求7所述的通过自然语言调用数据系统接口的方法，其特征在于：所述S7.3中，
一阶矩动量变量的指数加权移动平均值计算公式为：
；
二阶矩动量变量的指数加权移动平均值计算公式为：
；
所述S7.3中，修正一阶矩估计的偏差的具体计算公式为：
；
修正二阶矩估计的偏差的具体计算公式为：
；
其中，为迭代次数；/>表示对一阶矩动量变量m进行修正后的值；/>表示对二阶矩动量变量/>进行修正后的值。
9.根据权利要求8所述的通过自然语言调用数据系统接口的方法，其特征在于：根据修正后的一阶和二阶矩估计更新模型的参数具体计算公式为：
；
其中，为模型参数/>在第/>个迭代步骤时的取值；/>则表示更新后的参数值。
CN202311575776.1A 2023-11-24 2023-11-24 通过自然语言调用数据系统接口的方法 Active CN117290429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311575776.1A CN117290429B (zh) 2023-11-24 2023-11-24 通过自然语言调用数据系统接口的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311575776.1A CN117290429B (zh) 2023-11-24 2023-11-24 通过自然语言调用数据系统接口的方法

Publications (2)

Publication Number Publication Date
CN117290429A true CN117290429A (zh) 2023-12-26
CN117290429B CN117290429B (zh) 2024-02-20

Family

ID=89252028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311575776.1A Active CN117290429B (zh) 2023-11-24 2023-11-24 通过自然语言调用数据系统接口的方法

Country Status (1)

Country Link
CN (1) CN117290429B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574961A (zh) * 2024-01-15 2024-02-20 成都信息工程大学 一种将适配器注入预训练模型的参数高效化方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119765A (zh) * 2019-04-18 2019-08-13 浙江工业大学 一种基于Seq2seq框架的关键词提取方法
CN110427484A (zh) * 2018-04-26 2019-11-08 上海意仕腾教育科技有限公司 一种基于深度学习的中文自然语言处理方法
US20200301924A1 (en) * 2019-03-20 2020-09-24 Guangdong University Of Technology Method for constructing sql statement based on actor-critic network
US20200364408A1 (en) * 2017-10-25 2020-11-19 Google Llc Natural Language Processing with an N-Gram Machine
CN112287104A (zh) * 2020-09-28 2021-01-29 珠海大横琴科技发展有限公司 一种自然语言处理方法和装置
CN112685514A (zh) * 2021-01-08 2021-04-20 北京云桥智联科技有限公司 Ai智能客户价值管理平台
WO2022174356A1 (en) * 2021-02-19 2022-08-25 Chata Technologies Inc. Methods and systems for controlled modeling and optimization of a natural language database interface
CN115129839A (zh) * 2022-06-16 2022-09-30 人民网股份有限公司 基于图感知的视觉对话答案生成方法及装置
CN115329753A (zh) * 2022-10-13 2022-11-11 北京谊慧信息技术有限公司 一种基于自然语言处理的智能数据分析方法和系统
US20220415203A1 (en) * 2021-06-28 2022-12-29 ACADEMIC MERIT LLC d/b/a FINETUNE LEARNING Interface to natural language generator for generation of knowledge assessment items
WO2023222887A1 (en) * 2022-05-19 2023-11-23 Deepmind Technologies Limited Intra-agent speech to facilitate task learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364408A1 (en) * 2017-10-25 2020-11-19 Google Llc Natural Language Processing with an N-Gram Machine
CN110427484A (zh) * 2018-04-26 2019-11-08 上海意仕腾教育科技有限公司 一种基于深度学习的中文自然语言处理方法
US20200301924A1 (en) * 2019-03-20 2020-09-24 Guangdong University Of Technology Method for constructing sql statement based on actor-critic network
CN110119765A (zh) * 2019-04-18 2019-08-13 浙江工业大学 一种基于Seq2seq框架的关键词提取方法
CN112287104A (zh) * 2020-09-28 2021-01-29 珠海大横琴科技发展有限公司 一种自然语言处理方法和装置
CN112685514A (zh) * 2021-01-08 2021-04-20 北京云桥智联科技有限公司 Ai智能客户价值管理平台
WO2022174356A1 (en) * 2021-02-19 2022-08-25 Chata Technologies Inc. Methods and systems for controlled modeling and optimization of a natural language database interface
US20220415203A1 (en) * 2021-06-28 2022-12-29 ACADEMIC MERIT LLC d/b/a FINETUNE LEARNING Interface to natural language generator for generation of knowledge assessment items
WO2023222887A1 (en) * 2022-05-19 2023-11-23 Deepmind Technologies Limited Intra-agent speech to facilitate task learning
CN115129839A (zh) * 2022-06-16 2022-09-30 人民网股份有限公司 基于图感知的视觉对话答案生成方法及装置
CN115329753A (zh) * 2022-10-13 2022-11-11 北京谊慧信息技术有限公司 一种基于自然语言处理的智能数据分析方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUNYU YAO: "ReAct:synergizing Reasoning and Acting in Language Models", ARXIV数据库 *
周奇安;李舟军;: "基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法", 中文信息学报, no. 05 *
罗枭;: "基于深度学习的自然语言处理研究综述", 智能计算机与应用, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574961A (zh) * 2024-01-15 2024-02-20 成都信息工程大学 一种将适配器注入预训练模型的参数高效化方法和装置
CN117574961B (zh) * 2024-01-15 2024-03-22 成都信息工程大学 一种将适配器注入预训练模型的参数高效化方法和装置

Also Published As

Publication number Publication date
CN117290429B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
EP3926623B1 (en) Speech recognition method and apparatus, and neural network training method and apparatus
JP7462623B2 (ja) 活性スパース化を用いたニューラルネットワーク加速・埋め込み圧縮システム及び方法
US10332507B2 (en) Method and device for waking up via speech based on artificial intelligence
Young et al. The hidden information state model: A practical framework for POMDP-based spoken dialogue management
CN110837548B (zh) 答案匹配方法、装置、电子设备及存储介质
CN117290429B (zh) 通过自然语言调用数据系统接口的方法
CN110212528B (zh) 一种配电网量测数据缺失重构方法
CN109271497B (zh) 一种基于词向量的事件驱动服务匹配方法
CN109977394B (zh) 文本模型训练方法、文本分析方法、装置、设备及介质
CN110362814B (zh) 一种基于改进损失函数的命名实体识别方法及装置
CN112699998B (zh) 一种时间序列预测方法、装置、电子设备及可读存储介质
CN114492831B (zh) 联邦学习模型的生成方法及其装置
CN113326852A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN108628908A (zh) 分类用户提问-回答界限的方法、装置和电子设备
CN111078853A (zh) 问答模型的优化方法、装置、计算机设备和存储介质
Lee et al. An unsupervised approach to user simulation: toward self-improving dialog systems
CN113705207A (zh) 语法错误识别方法及装置
CN112287950A (zh) 特征提取模块压缩方法、图像处理方法、装置、介质
CN117011856A (zh) 基于深度强化学习的手写笔迹骨架细化方法、系统、设备、介质
CN110717022A (zh) 一种机器人对话生成方法、装置、可读存储介质及机器人
CN113112311B (zh) 训练因果推断模型的方法、信息提示方法以装置
CN115859048A (zh) 一种局放信号的噪声处理方法及装置
CN115035304A (zh) 一种基于课程学习的图像描述生成方法及系统
CN110428814B (zh) 一种语音识别的方法及装置
Nishimoto et al. Dialogue management with deep reinforcement learning: Balancing exploration and exploitation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant