CN117217201A - 基于预训练语言模型的任务处理方法、装置、设备及介质 - Google Patents
基于预训练语言模型的任务处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117217201A CN117217201A CN202311321072.1A CN202311321072A CN117217201A CN 117217201 A CN117217201 A CN 117217201A CN 202311321072 A CN202311321072 A CN 202311321072A CN 117217201 A CN117217201 A CN 117217201A
- Authority
- CN
- China
- Prior art keywords
- task
- module
- language model
- nlp
- input data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000003058 natural language processing Methods 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 69
- 230000006870 function Effects 0.000 claims abstract description 50
- 230000004913 activation Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 57
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 39
- 230000007613 environmental effect Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 26
- 230000002787 reinforcement Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 abstract description 26
- 238000005265 energy consumption Methods 0.000 abstract description 24
- 238000013461 design Methods 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 230000008451 emotion Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Landscapes
- Devices For Executing Special Programs (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种基于预训练语言模型的任务处理方法、装置、设备及介质，属于自然语言处理领域。本申请基于模块化的大模型来来执行NLP任务。详细来说，大模型采用模块化设计，包括多个功能模块，每个功能模块负责处理特定任务或具有特定功能，且不同功能模块之间共享知识。这种模块化设计不但使得模型具有更好的灵活性和扩展性，而且还有助于降低计算资源需求和能源消耗。另外，本申请还引入了模块激活门控机制，利用该机制能够控制每个功能模块的激活状态，即针对当前NLP任务，仅激活与当前NLP任务相关的功能模块，而关闭与当前任务无关的功能模块，进一步降低了计算资源需求和能源消耗，进而提高了模型在执行NLP任务时的执行效率。
Description
技术领域
本申请涉及自然语言处理领域，特别涉及一种基于预训练语言模型的任务处理方法、装置、设备及介质。
背景技术
近年来，随着人工智能技术的快速发展，自然语言处理作为人工智能的一个重要方向也取得了显著进步。特别是预训练语言模型（也称大型语言模型或大模型）的出现，极大地推动了自然语言处理任务的性能提升。
然而，随着模型规模的增大，模型在训练和部署过程中所需的计算资源和能源消耗也随之增加。为此，如何解决大型语言模型在计算资源和能源消耗方面的挑战，同时确保模型性能，成为了时下本领域亟待解决的一个难题。
发明内容
本申请实施例提供了一种基于预训练语言模型的任务处理方法、装置、设备及介质，在确保模型性能的前提下，能够有效地降低计算资源需求和能源消耗。所述技术方案包括如下内容。
一方面，提供了一种基于预训练语言模型的任务处理方法，所述预训练语言模型包括多个功能模块，不同功能模块之间共享知识；所述方法包括：
接收当前待处理的自然语言处理（Natural Language Processing，NLP）任务的输入数据，并对所述输入数据进行预处理；
将预处理后的输入数据输入所述预训练语言模型，所述预训练语言模型用于根据所述NLP任务的任务需求和所述输入数据，确定所述多个功能模块的激活状态；调用被激活的功能模块基于所述输入数据执行所述NLP任务；其中，对于被激活的任意一个功能模块，所述功能模块的激活程度用于反映所述功能模块对所述NLP任务的贡献大小；
获取所述预训练语言模型的输出结果，将所述输出结果转换为所述NLP任务的任务执行结果，将所述任务执行结果作为响应反馈给用户。
在一种可能的实现方式中，所述方法还包括：
获取所述被激活的功能模块在执行所述NLP任务时的性能变化；
在所述被激活的功能模块中，响应于至少一个功能模块的性能变化满足预设条件，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，所述对执行所述NLP任务的功能模块进行调整，包括：
将当前环境状态数据输入强化学习网络中的策略网络，得到所述策略网络输出的概率分布；其中，所述当前环境状态数据至少包括：当前可用的计算资源、不同功能模块之间的依赖关系和模型性能指标；所述概率分布用于指示所述多个功能模块中每个功能模块被选中的概率；
基于所述概率分布确定应被选中的功能模块，并获取所述强化学习网络中价值网络输出的奖励值；其中，所述奖励值用于评价所述应被选中的功能模块在执行所述NLP任务时的性能表现；
基于所述价值网络输出的奖励值，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，所述模型性能指标包括：模块调整的平均响应时间；
其中，所述平均响应时间包括在多次模块调整过程中感知时间的平均值、决策时间的平均值、执行时间的平均值和反馈时间的平均值；
所述感知时间是指从收集到环境状态数据到将收集到的环境状态数据输入至所述策略网络中进行处理的时间；
所述决策时间是指基于所述策略网络的输出进行模块选择的时间；
所述执行时间是指将被选中的功能模块实际应用于环境中的时间；
所述反馈时间是指从模块调整完成到获得环境反馈的时间。
在一种可能的实现方式中，所述方法还包括：
根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，针对计算粒度维度，所述多个功能模块被划分为粗粒度模块和细粒度模块；其中，所述粗粒度模块处理的信息的粒度大于所述细粒度模块处理的信息的粒度；
在调整计算粒度后，响应于计算粒度增加，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述细粒度模块的激活状态；调用被激活的细粒度模块基于所述输入数据执行所述NLP任务；
在调整计算粒度后，响应于计算粒度降低，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述粗粒度模块的激活状态；调用被激活的粗粒度模块基于所述输入数据执行所述NLP任务。
在一种可能的实现方式中，所述根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度，包括：
根据所述NLP任务的任务复杂度、所述输入数据和当前可用的计算资源，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，每个所述功能模块均定义有一个通用的输入输出接口；所述方法还包括：
响应于识别到新的功能模块，对所述新的功能模块执行注册操作；
其中，所述新的功能模块通过所述输入输出接口与所述预训练语言模型中的已有功能模块进行集成。
在一种可能的实现方式中，所述方法还包括：
对于所述预训练语言模型中任意一个已有功能模块，响应于所述已有功能模块满足卸载条件，卸载所述已有功能模块。
在一种可能的实现方式中，共享的知识至少包括：任务处理过程中的中间计算结果、学习到的参数和特征表示。
另一方面，提供了一种基于预训练语言模型的任务处理装置，所述预训练语言模型包括多个功能模块，不同功能模块之间共享知识；所述装置包括：
接收单元，被配置为接收当前待处理的NLP任务的输入数据，并对所述输入数据进行预处理；
处理单元，被配置为将预处理后的输入数据输入所述预训练语言模型，所述预训练语言模型用于根据所述NLP任务的任务需求和所述输入数据，确定所述多个功能模块的激活状态；调用被激活的功能模块基于所述输入数据执行所述NLP任务；其中，对于被激活的任意一个功能模块，所述功能模块的激活程度用于反映所述功能模块对所述NLP任务的贡献大小；
输出单元，被配置为获取所述预训练语言模型的输出结果，将所述输出结果转换为所述NLP任务的任务执行结果，将所述任务执行结果作为响应反馈给用户。
在一种可能的实现方式中，所述处理单元，还被配置为：
获取所述被激活的功能模块在执行所述NLP任务时的性能变化；
在所述被激活的功能模块中，响应于至少一个功能模块的性能变化满足预设条件，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，所述处理单元，被配置为：
将当前环境状态数据输入强化学习网络中的策略网络，得到所述策略网络输出的概率分布；其中，所述当前环境状态数据至少包括：当前可用的计算资源、不同功能模块之间的依赖关系和模型性能指标；所述概率分布用于指示所述多个功能模块中每个功能模块被选中的概率；
基于所述概率分布确定应被选中的功能模块，并获取所述强化学习网络中价值网络输出的奖励值；其中，所述奖励值用于评价所述应被选中的功能模块在执行所述NLP任务时的性能表现；
基于所述价值网络输出的奖励值，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，所述模型性能指标包括：模块调整的平均响应时间；
其中，所述平均响应时间包括在多次模块调整过程中感知时间的平均值、决策时间的平均值、执行时间的平均值和反馈时间的平均值；
所述感知时间是指从收集到环境状态数据到将收集到的环境状态数据输入至所述策略网络中进行处理的时间；
所述决策时间是指基于所述策略网络的输出进行模块选择的时间；
所述执行时间是指将被选中的功能模块实际应用于环境中的时间；
所述反馈时间是指从模块调整完成到获得环境反馈的时间。
在一种可能的实现方式中，所述处理单元，还被配置为：
根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，针对计算粒度维度，所述多个功能模块被划分为粗粒度模块和细粒度模块；其中，所述粗粒度模块处理的信息的粒度大于所述细粒度模块处理的信息的粒度；
在调整计算粒度后，响应于计算粒度增加，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述细粒度模块的激活状态；调用被激活的细粒度模块基于所述输入数据执行所述NLP任务；
在调整计算粒度后，响应于计算粒度降低，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述粗粒度模块的激活状态；调用被激活的粗粒度模块基于所述输入数据执行所述NLP任务。
在一种可能的实现方式中，所述处理单元，被配置为：
根据所述NLP任务的任务复杂度、所述输入数据和当前可用的计算资源，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，每个所述功能模块均定义有一个通用的输入输出接口；所述处理单元，还被配置为：
响应于识别到新的功能模块，对所述新的功能模块执行注册操作；
其中，所述新的功能模块通过所述输入输出接口与所述预训练语言模型中的已有功能模块进行集成。
在一种可能的实现方式中，所述处理单元，还被配置为：
对于所述预训练语言模型中任意一个已有功能模块，响应于所述已有功能模块满足卸载条件，卸载所述已有功能模块。
在一种可能的实现方式中，共享的知识至少包括：任务处理过程中的中间计算结果、学习到的参数和特征表示。
另一方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现上述的基于预训练语言模型的任务处理方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述的基于预训练语言模型的任务处理方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的基于预训练语言模型的任务处理方法。
本申请实施例基于大型语言模型来来执行NLP任务。详细来说，大型语言模型采用模块化设计，包括多个功能模块，其中，每个功能模块负责处理特定任务或具有特定功能，且不同功能模块之间能够共享知识。这种模块化设计不但使得模型具有更好的灵活性和扩展性，而且模块化设计还有助于降低计算资源需求和能源消耗。另外，本申请实施例还引入了模块激活门控机制，利用该机制能够控制每个功能模块的激活状态，即针对当前NLP任务，仅激活与当前NLP任务相关的功能模块，而关闭与当前任务无关的功能模块，进一步降低了计算资源需求和能源消耗，进而提高了模型在执行NLP任务时的执行效率。
综上所述，在处理多种NLP任务时，本申请实施例能够针对不同任务需求对大型语言模型的结构进行灵活调整，以适应于当前NLP任务，这在提升模型的性能表现和适应性的前提上，还同时降低了计算资源需求和能源消耗，最终能够获得更优质的任务处理结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于预训练语言模型的任务处理方法的实施环境示意图；
图2是本申请实施例提供的一种基于预训练语言模型的任务处理方法的流程图；
图3是本申请实施例提供的另一种基于预训练语言模型的任务处理方法的流程图；
图4是本申请实施例提供的一种基于预训练语言模型的任务处理装置的结构示意图；
图5是本申请实施例提供的一种计算机设备的结构示意图；
图6是本申请实施例提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。
这些术语只是用于将一个元素与另一个元素区别开。例如，在不脱离各种示例的范围的情况下，第一元素能够被称为第二元素，并且类似地，第二元素也能够被称为第一元素。第一元素和第二元素都可以是元素，并且在某些情况下，可以是单独且不同的元素。
其中，至少一个是指一个或一个以上，例如，至少一个元素可以是一个元素、两个元素、三个元素等任意大于等于一的整数个元素。而多个是指两个或者两个以上，例如，多个元素可以是两个元素、三个元素等任意大于等于二的整数个元素。
在本文中提及的“和/或”，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要说明的第一点是，本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准。
需要说明的第二点是，本文提及的预训练语言模型也被称为大型预训练语言模型、大型语言模型、大语言模型或大模型，本申请对此不作限定。
对于大型语言模型，除了背景部分所述的计算资源和能源消耗问题之外，在处理多种自然语言处理任务时，由于模型结构的固定性，相关技术很难针对不同任务对模型结构进行灵活调整，从而影响了模型的性能表现和适应性。
基于此，为了解决大型语言模型在计算资源、能源消耗和适应性等方面的问题，本申请实施例提出了一种基于大型语言模型的任务处理方法，该方法通过模块化设计、动态模块激活、实时监控、迁移学习等技术手段，实现了对大型语言模型的结构优化，以满足各种自然语言处理任务的任务需求。另外，本申请实施例还提供了一种可扩展的模块化架构，以便于根据不同任务和不同性能要求对模型结构进行动态调整。换言之，该方案使得大型语言模型在处理任务过程中具有更优的性能表现、更低的计算资源需求和更好的适应性。
下面基于如下实施方式对本申请实施例提供的基于大型语言模型的任务处理方法进行详细介绍。
图1是本申请实施例提供的一种基于预训练语言模型的任务处理方法的实施环境示意图。
参见图1，该任务处理方法的执行主体为计算机设备。其中，计算机设备上植入有预训练语言模型，即计算机设备基于该预训练语言模型执行NLP任务。
在一种可能的实现方式中，本方案涉及如下几部分：
输入数据层，这一层用于接收当前待处理的NLP任务的输入数据。
示例性地，输入数据的类型包括但不限于文本、语音、图片等。另外，这一层还用于将输入数据转化为模型可以处理的格式，例如将文本转化为词向量，本申请对此不作限定。
模块化的大型语言模型，即大型语言模型被划分为多个功能模块，每个功能模块负责处理特定任务或具有特定功能。例如，大型语言模型包括负责命名实体识别的功能模块A、情感分析的功能模块B和文本摘要提取的功能模块C等，本申请对此不作限定。另外，这些功能模块之间可以进行知识共享。
模块激活门控机制，本申请实施例基于门控机制来控制每个功能模块的激活状态。例如，根据输入数据和NLP任务的任务需求来动态调整各个功能模块的激活状态。比如，在情感分析任务中，激活上述功能模块B，关闭上述功能模块A和功能模块C。
在线评估机制，本申请实施例基于该机制来实时评估各个功能模块在特定任务上的性能变化，以此作为调整模块组合的依据。例如，评估上述功能模块B在情感分析任务上的性能变化。
强化学习算法，本申请实施例根据在线评估机制的反馈，自动学习如何选择和组合功能模块以获得最佳性能。例如，在功能模块B的性能下降的情况下，可以尝试激活功能模块A和功能模块C来提高情感分析任务的性能。
输出数据层，这一层用于将模型处理后的结果转化为NLP任务的输出。例如，将模型处理后的词向量转化为文本。
综上所述，本申请实施例提供的任务处理方法在自然语言处理领域具有很高的研究价值和应用前景，如图1所示，该方案可以广泛应用于诸如机器翻译、文本摘要提取、情感分析、问答系统等各种NLP任务。
图2是本申请实施例提供的一种基于预训练语言模型的任务处理方法的流程图。该方法的执行主体为计算机设备。参见图2，本申请实施例提供的方法流程包括如下步骤。
201、计算机设备接收当前待处理的NLP任务的输入数据，并对输入数据进行预处理。
需要说明的第一点是，当前待处理的NLP任务泛指自然语言处理领域中的任意一种NLP任务，比如机器翻译任务、文本摘要提取任务、情感分析任务或问答任务等，本申请对此不作限定。
需要说明的第二点是，输入数据可以为文本、语音、图片、视频或上述至少两种的组合，本申请对此不作限定，具体为何种形式与当前待处理的NLP任务的类型相关。
示例性地，以当前待处理的NLP任务为机器翻译任务为例，则上述输入数据可以是文本；以当前待处理的NLP任务为问答任务为例，则上述输入数据可以是文本、语音、图片、文本与语音的组合、文本与图片的组合等。
另外，以输入数据为文本为例，则上述对输入数据进行预处理可以是将文本转化为词向量；以输入数据为图片为例，则上述对输入数据进行预处理可以是对图片进行剪裁、灰度化处理、调整分辨率等；以输入数据为语音为例，则上述对输入数据进行预处理可以是对语音进行分帧、加窗、降噪等。
202、计算机设备将预处理后的输入数据输入预训练语言模型，该预训练语言模型包括多个功能模块且不同功能模块之间共享知识；该预训练语言模型用于根据该NLP任务的任务需求和输入数据，确定多个功能模块的激活状态；调用被激活的功能模块基于输入数据执行该NLP任务；其中，对于被激活的任意一个功能模块，该功能模块的激活程度用于反映该功能模块对该NLP任务的贡献大小。
本申请实施例基于模块化的大型语言模型来执行NLP任务。而通过将大型语言模型划分为多个功能模块，使得模型具有更好的灵活性和扩展性。其中，大型语言模型的每个功能模块负责处理特定任务或具有特定功能。
另外，本申请实施例还提出了模块激活门控机制。利用该机制可以根据任务需求和输入数据动态调整各个功能模块的激活状态。例如，在处理情感分析任务时，可以激活与情感分析相关的功能模块，而关闭与其他任务相关的功能模块。这样可以降低计算资源需求和能源消耗，进而提高模型的执行效率。
另外，利用该机制还可以对模块激活状态进行实时监控和调整，以适应任务需求的变化。
在本申请实施例中，门控单元实际上属于整个神经网络的一部分。门控单元的训练过程和训练目标是使用带有任务标签的训练数据来优化门控单元的参数，以最小化损失函数。而在推理过程中，任务需求是以自然语言的形式传入输入数据层。例如，我需要你帮我将以下文本分类→词向量（embeddings）→门控单元。详细来说，当面临不同的任务需求时，模块激活门控机制可以根据具体的任务需求和输入数据来调整功能模块的激活程度。示例性地，如果某个功能模块对当前NLP任务的贡献较大，则它会被激活，使其输出对整体预测产生更大的影响。相反，如果某个功能模块对当前NLP任务的贡献较小，则它会被关闭，从而减少其对整体预测的影响。
在一种可能的实现方式中，本申请实施例利用迁移学习方法来提高模型泛化能力和效率。通过跨模块知识共享机制和元学习算法，利用迁移学习方法提高模型泛化能力和效率。
需要说明的第一点是，这些功能模块之间可以进行知识共享，以提高模型在不同任务上的泛化能力。示例性地，共享的知识至少包括：任务处理过程中的中间计算结果、学习到的参数和特征表示，本申请对此不作限定。换言之，本申请实施例提供了一种跨模块知识共享机制，使得不同功能模块之间能够共享学习到的参数、特征表示等信息，从而提高模型的泛化能力。
例如，功能模块L学到的参数和特征表示可以被功能模块M和功能模块N共享，从而提高功能模块M和功能模块N在其他任务上的性能表现。举例来说，假设功能模块L在文本分类任务上学到了一些有用的特征表示，这些特征表示可以被功能模块M和功能模块N共享，从而提高功能模块M和功能模块N在命名实体识别任务和情感分析任务上的性能表现。
需要说明的第二点是，元学习算法可以使模型在学习新任务时更快地适应新任务，从而降低模型训练和调整的时间成本。其中，元学习主要是应用在模型学习新任务的迁移训练过程。而之所以采用元学习算法加速迁移，一方面是因为模型可以通过元学习算法学习到哪些任务特征对于泛化至关重要。其中，任务特征是指任务描述、环境设置、输入数据分布等信息。通过学习到这些元特征，模型可以更好地理解任务的本质，并将这些知识应用于新任务，从而提高泛化能力。另一方面是因为元学习可以帮助模型学习到一组良好的初始参数，使得模型在面对新任务时能够更快地收敛和适应。其中，初始参数指的是模型的权重、学习率、正则化参数等。通过元参数学习，模型可以快速调整参数，以适应新任务的需求。例如，当模型面临一个新的文本摘要任务时，元学习算法可以帮助模型快速地调整参数，以适应新任务的需求。
示例性地，针对提高模型泛化能力和效率，涉及的技术指标包括：在新任务上的性能提升百分比、在新任务上的学习速率提升百分比，本申请对此不作限定。
203、计算机设备获取该预训练语言模型的输出结果，将该输出结果转换为该NLP任务的任务执行结果，并将该任务执行结果作为响应反馈给用户。
在本申请实施例中，任务执行结果的形式与具体的任务类型相关。示例性地，该任务执行结果可以是一段文本，比如机器翻译文本、提取到的文本摘要、对用户提问的答复等，本申请对此不作限定。
本申请实施例基于大型语言模型来来执行NLP任务。详细来说，大型语言模型采用模块化设计，包括多个功能模块，其中，每个功能模块负责处理特定任务或具有特定功能，且不同功能模块之间能够共享知识。这种模块化设计不但使得模型具有更好的灵活性和扩展性，而且模块化设计还有助于降低计算资源需求和能源消耗。另外，本申请实施例还引入了模块激活门控机制，利用该机制能够控制每个功能模块的激活状态，即针对当前NLP任务，仅激活与当前NLP任务相关的功能模块，而关闭与当前任务无关的功能模块，进一步降低了计算资源需求和能源消耗，进而提高了模型在执行NLP任务时的执行效率。
综上所述，在处理多种NLP任务时，本申请实施例能够针对不同任务需求对大型语言模型的结构进行灵活调整，以适应于当前NLP任务，这在提升模型的性能表现和适应性的前提上，还同时降低了计算资源需求和能源消耗，最终能够获得更优质的任务处理结果。
示例性地，针对降低计算资源需求和能源消耗，涉及的技术指标包括：计算资源占用（比如每秒浮点运算次数、内存占用等）的降低百分比，能源消耗（比如功耗、热量等）的降低百分比，本申请对此不作限定。
以上简单地介绍了本申请实施例提供的任务处理方案，下面结合图3对本申请实施例提供的基于预训练语言模型的任务处理方案进行详细介绍。
图3是本申请实施例提供的另一种基于预训练语言模型的任务处理方法的流程图。该方法的执行主体为计算机设备。参见图3，本申请实施例提供的方法流程包括如下步骤。
301、计算机设备接收当前待处理的NLP任务的输入数据，并对输入数据进行预处理。
本步骤可以参考前述步骤201，此处不再赘述。
302、计算机设备将预处理后的输入数据输入预训练语言模型；该预训练语言模型用于根据该NLP任务的任务需求和输入数据，确定多个功能模块的激活状态；调用被激活的功能模块基于输入数据执行该NLP任务；其中，对于被激活的任意一个功能模块，该功能模块的激活程度用于反映该功能模块对该NLP任务的贡献大小。
需要说明的是，基于结构动态变化的大型语言模型，除了利用模块激活门控机制来降低计算资源需求和能源消耗之外，本申请实施例还提出了一种自适应算法，该算法能够根据任务复杂度和输入数据特点，动态调整模型的计算粒度，以降低不必要的计算开销。
换言之，本申请实施例还引入了一种模块粒度自适应调整策略，该策略根据任务复杂度和输入数据特点自动调整计算粒度。也即，根据NLP任务的任务复杂度和输入数据，来调整预训练语言模型的计算粒度。例如，对于简单NLP任务，可以使用较粗粒度的功能模块，从而降低计算资源需求。而对于复杂NLP任务，则可以使用较细粒度的功能模块，以提高模型性能。
在一种可能的实现方式中，针对计算粒度维度，大型语言模型包括的多个功能模块被划分为粗粒度模块（Coarse-grained Module）和细粒度模块（Fine-grained Module）；其中，粗粒度模块处理的信息的粒度大于细粒度模块处理的信息的粒度。换言之，粗粒度模块和细粒度模块是指在模型中用于处理不同层次或不同粒度信息的模块，它们之间的区别在于所处理的信息的粒度大小不同。
对于粗粒度模块，其处理的是相对较大范围或全局性的信息。它通常用于捕捉全局上下文、整体结构或高层次的语义特征。这种模块一般具有较大的感受野（receptivefield），能够涵盖更广泛的输入信息。粗粒度模块可以帮助模型理解整体语义、捕捉长距离依赖关系，并进行整体的语义推理。
对于细粒度模块，其处理的是相对较小范围或局部性的信息。它通常用于捕捉细节、局部特征或低层次的语义特征。这种模块一般具有较小的感受野，能够更加关注输入数据的局部细节。细粒度模块可以帮助模型识别局部模式、捕捉细微差异，并进行局部的语义推理。
在另一种可能的实现方式中，在调整计算粒度后，响应于计算粒度增加，该预训练语言模型用于根据NLP任务的任务需求、输入数据和当前可用的计算资源，确定细粒度模块的激活状态；调用被激活的细粒度模块基于输入数据执行NLP任务。
在另一种可能的实现方式中，在调整计算粒度后，响应于计算粒度降低，该预训练语言模型用于根据NLP任务的任务需求、输入数据和当前可用的计算资源，确定粗粒度模块的激活状态；调用被激活的粗粒度模块基于输入数据执行NLP任务。
303、计算机设备获取该预训练语言模型的输出结果，将该输出结果转换为该NLP任务的任务执行结果，并将该任务执行结果作为响应反馈给用户。
本步骤可以参考前述步骤203，此处不再赘述。
304、响应于识别到新的功能模块，计算机设备对新的功能模块执行注册操作。
本申请实施例还设计了一种通用的模块接口（也称输入输出接口），并引入了自动化模块管理系统，以此来实现可扩展的模块化架构。
详细来说，本申请实施例设计了一种通用的模块接口，基于通用的模块接口，新增的功能模块能够与已有功能模块轻松集成。例如，为每个功能模块均定义一个统一的输入输出接口，这样在新增功能模块时，仅需实现这个接口即可与其他功能模块兼容。换言之，每个功能模块均定义有一个通用的输入输出接口；其中，新的功能模块通过该输入输出接口与已有功能模块进行集成。
另外，本申请实施例还引入了自动化模块管理系统，基于该系统能够实现模块的自动发现、注册和卸载等功能，便于动态调整模型结构。例如，当有新的功能模块加入时，自动化模块管理系统可以自动识别新的功能模块并将其注册到模型中。另外，该系统还能够在需要时动态激活或卸载已有功能模块。针对模块卸载，请参见下述步骤305。
示例性地，针对可扩展的模块化结构，涉及的技术指标包括：模型扩展和裁剪的时间成本降低百分比、模型扩展和裁剪后性能损失的降低百分比，本申请对此不作限定。
305、对于该预训练语言模型中任意一个已有功能模块，响应于该已有功能模块满足卸载条件，计算机设备卸载已有功能模块。
在一种可能的实现方式中，上述卸载条件可以是不再执行与待卸载模块相关的自然语言处理任务，本申请对此不作限定。
在另一种可能的实现方式中，本申请实施例还实现了模块间通信与协同优化。即，本申请实施例还提出了一种模块间通信与协同优化机制，使得不同的功能模块能够在处理任务时相互协作，共享诸如中间计算结果和特征表示等信息，以减少冗余计算和提高整体性能。例如，如果功能模块A和功能模块B在处理同一任务时需要相同的特征提取过程，那么它们可以通过模块间通信共享这些特征，而无需每个模块单独进行计算。
在另一种可能的实现方式中，本申请实施例还能够实时监控模型性能并动态调整模块组合。示例性地，本申请实施例通过在线评估机制和强化学习算法，实时监控模型性能并根据性能变化动态调整模块组合。
详细来说，通过在线评估机制实时评估各个功能模块在特定任务上的性能，以此作为调整模块组合的依据。例如，当功能模块C的性能在情感分析任务上开始下降时，可以通过在线评估机制发现这一变化。另外，通过强化学习算法自适应调整模型参数，使得模型在运行过程中能够根据在线评估机制的反馈自动学习如何选择和组合模块，以获得最佳性能。例如，当某个功能模块的性能在某个任务上出现下降时，可以尝试激活其他模块以提高任务性能。这样可以确保模型始终保持最佳性能，同时提高模型的适应性。举例来说，当功能模块F的性能在情感分析任务上下降时，强化学习算法可以指导模型尝试激活功能模块D和功能模块E，以提高情感分析任务的性能。
在另一种可能的实现方式中，在上述步骤302之后，本申请实施例提供的方法还包括：
获取被激活的功能模块在执行NLP任务时的性能变化；在被激活的功能模块中，响应于至少一个功能模块的性能变化满足预设条件，对执行NLP任务的功能模块进行调整。
其中，上述预设条件可以是被激活的功能模块的性能下降，或者，被激活的功能模块的性能下降到某一阈值或该阈值之下，本申请对此不作限定。
另外，强化学习算法是通过策略网络（Actor）和价值网络（Critic）实现的。其中，策略网络用于选择和组合功能模块，价值网络用于评估被选中的模块组合的性能表现。换言之，上述对执行NLP任务的功能模块进行调整，可以通过如下方式实现：
1、将当前环境状态数据输入强化学习网络中的策略网络，得到策略网络输出的概率分布；其中，当前环境状态数据至少包括：当前可用的计算资源、不同功能模块之间的依赖关系和模型性能指标；该概率分布用于指示大型语言模型中每个功能模块被选中的概率。
在本申请实施例中，策略网络接收计算资源的利用情况、模块之间的依赖关系、模型性能指标等环境状态，以此作为输入，其中，策略网络用于决策模块的选择和组合。
需要说明的是，除了上述列举的环境状态之外，策略网络还可以接收来自价值网络的价值估计（也称奖励值），并以此作为辅助信息来指导决策过程。
其中，策略网络的输出是一个行动策略，用于选择和组合模块。示例性地，该行动策略表示为概率分布，用以指示每个功能模块被选中的概率或权重。
2、基于该概率分布确定应被选中的功能模块，并获取强化学习网络中价值网络输出的奖励值；其中，该奖励值用于评价应被选中的功能模块在执行NLP任务时的性能表现。
在本申请实施例中，价值网络以当前环境状态数据和策略网络选择的功能模块作为输入。其中，环境状态数据作为状态表示用于提供环境信息，而策略网络选择的功能模块用于提供决策信息。
其中，价值网络的输出是对于给定状态表示和选择的模块的价值估计。这个价值估计用于评价当前选择的功能模块的好坏。
3、基于价值网络输出的奖励值，对执行NLP任务的功能模块进行调整。
示例性地，针对在线评估机制和强化学习算法，涉及的技术指标，包括：模型性能（如准确率、F1分数等）的提高百分比、模块组合调整的平均响应时间，本申请对此不作限定。
其中，模块调整的平均响应时间是指在强化学习中，对选择的模块进行调整时所涉及的平均时间。该指标用于评估强化学习算法对于模块调整的实时性能。较短的平均响应时间意味着系统能够更快地对环境变化和需求变化做出响应，并进行模块选择和组合的调整，以适应新的情境和优化性能。
在一种可能的实现方式中，这个平均响应时间包括在多次模块调整过程中感知时间（Perception Time）的平均值、决策时间（Decision Time）的平均值、执行时间（Execution Time）的平均值和反馈时间（Feedback Time）的平均值。
其中，感知时间是指从收集到环境状态数据到将收集到的环境状态数据输入至策略网络中进行处理的时间；换言之，感知时间是指从收集到环境状态到将其输入到强化学习算法中进行处理的时间。这包括对环境状态的感知、传感器数据的采集和处理等过程，本申请对此不作限定。
而决策时间是指基于策略网络的输出进行模块选择的时间；换言之，决策时间是指根据当前状态表示和策略网络的输出，进行模块选择和组合的时间。这包括策略网络的前向传播、模块选择的计算等过程，本申请对此不作限定。
而执行时间是指将被选中的功能模块实际应用于环境中的时间；换言之，执行时间是指将选择和组合的模块实际应用于环境中的时间。这包括将模块加载到系统中、配置和初始化模块、模块之间的通信和协调等过程，本申请对此不作限定。
而反馈时间是指从模块调整完成到获得环境反馈的时间。换言之，反馈时间是指从模块调整完成到获得环境反馈的时间。这包括等待环境响应的时间、获取奖励信号或反馈信息的时间等，本申请对此不作限定。
在另一种可能的实现方式中，本申请实施例还会通过自适应学习率调整、梯度裁剪等技术来优化模型训练过程。其中，自适应学习率调整可以根据模型训练过程中的性能变化动态调整学习率，以加速收敛过程并防止过拟合。而梯度裁剪可以限制模型参数更新的幅度，防止梯度爆炸问题。
在另一种可能的实现方式中，本申请实施例还会通过模型压缩、知识蒸馏等技术来提高模型部署和推理效率。其中，模型压缩可以降低模型规模和参数量，减少部署和运行时的计算资源需求。而知识蒸馏可以将大型模型的知识迁移到较小的模型中，实现在保持较高性能的同时减少计算资源需求。
在另一种可能的实现方式中，本申请实施例还引入了一种模型自我修复与在线学习机制，使得大型语言模型在运行过程中能够自动检测和修复潜在的问题，同时根据新的数据和反馈实时更新知识。这样，模型可以在保持高性能的同时，适应不断变化的任务需求和数据分布。
在另一种可能的实现方式中，本申请实施例还引入了一种资源感知调度与分配策略，使得大型语言模型能够根据当前可用的计算资源自动调整模块激活、计算粒度等，以实现在有限资源下的最优性能。
示例性地，上述计算资源包括但不限于中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）、内存等，本申请对此不作限定。其中，上述资源感知调度与分配策略包括：模块激活调整、计算粒度调整、批量大小优化、内存管理和优化、能耗优化等，本申请对此不作限定。
示例性地，针对模块激活调整，本申请实施例还支持根据可用的计算资源（数量或类型），动态调整大型语言模型中不同功能模块的激活程度。比如，对于可用的计算资源较少的情况，可以降低一些功能模块的激活程度，以减少计算量。而对于可用的计算资源较充足的情况，则可以增加一些功能模块的激活程度，以提高模型的表达能力和性能表现。
示例性地，针对计算粒度调整，本申请实施例还支持根据可用的计算资源（数量或类型），调整模型的计算粒度。例如，在计算资源充足的情况下（比如包括GPU等并行计算设备），可以增加计算粒度，以充分利用并行计算的优势。而在计算资源有限的情况下，则可以降低计算粒度，以减少计算量和内存占用。
相应地，前文中的“根据NLP任务的任务复杂度和输入数据，调整预训练语言模型的计算粒度”，可以通过如下方式实现：根据NLP任务的任务复杂度、输入数据和当前可用的计算资源，调整预训练语言模型的计算粒度。
示例性地，针对批量大小优化，本申请实施例还支持根据可用的内存大小和计算资源，动态地调整训练或推理过程中的批量大小。其中，较大的批量大小可以充分利用并行计算的优势，提高计算效率，但可能会占用更多内存。相反，较小的批量大小可以减少内存占用，但可能会增加计算和通信开销。通过动态调整批量大小，可以在有限资源下找到一个合适的平衡点。
示例性地，针对大型语言模型的内存占用问题，本申请实施例还会采取一系列的内存管理和优化策略。例如，使用内存池技术来减少内存分配和释放的开销，采用延迟分配策略来降低内存占用，或者，应用模型压缩和稀疏性优化等技术来减少模型参数的内存占用。
示例性地，本申请实施例还会采取能耗优化措施。例如，通过智能地选择计算节点、合理使用低功耗模式、动态调整频率和电压等策略，来降低整个系统的总能耗。
本申请实施例提供的基于大型语言模型的任务处理方案，在任务处理过程中不但可以有效地降低计算资源需求和能源消耗，而且显著提升了模型的性能表现和泛化能力。同时，大型语言模型还实现了可扩展的模块化架构，模型结构灵活可调，适应性强。例如，在处理多种NLP任务时，本申请实施例能够针对不同任务需求对大型语言模型的结构进行灵活调整，以适应不同应用场景。
图4是本申请实施例提供的一种基于预训练语言模型的任务处理装置的结构示意图。该预训练语言模型包括多个功能模块，不同功能模块之间共享知识。参见图4，该装置包括如下单元。
接收单元401，被配置为接收当前待处理的NLP任务的输入数据，并对所述输入数据进行预处理；
处理单元402，被配置为将预处理后的输入数据输入所述预训练语言模型，所述预训练语言模型用于根据所述NLP任务的任务需求和所述输入数据，确定所述多个功能模块的激活状态；调用被激活的功能模块基于所述输入数据执行所述NLP任务；其中，对于被激活的任意一个功能模块，所述功能模块的激活程度用于反映所述功能模块对所述NLP任务的贡献大小；
输出单元403，被配置为获取所述预训练语言模型的输出结果，将所述输出结果转换为所述NLP任务的任务执行结果，将所述任务执行结果作为响应反馈给用户。
本申请实施例基于大型语言模型来来执行NLP任务。详细来说，大型语言模型采用模块化设计，包括多个功能模块，其中，每个功能模块负责处理特定任务或具有特定功能，且不同功能模块之间能够共享知识。这种模块化设计不但使得模型具有更好的灵活性和扩展性，而且模块化设计还有助于降低计算资源需求和能源消耗。另外，本申请实施例还引入了模块激活门控机制，利用该机制能够控制每个功能模块的激活状态，即针对当前NLP任务，仅激活与当前NLP任务相关的功能模块，而关闭与当前任务无关的功能模块，进一步降低了计算资源需求和能源消耗，进而提高了模型在执行NLP任务时的执行效率。
综上所述，在处理多种NLP任务时，本申请实施例能够针对不同任务需求对大型语言模型的结构进行灵活调整，以适应于当前NLP任务，这在提升模型的性能表现和适应性的前提上，还同时降低了计算资源需求和能源消耗，最终能够获得更优质的任务处理结果。
在一种可能的实现方式中，处理单元402，还被配置为：
获取所述被激活的功能模块在执行所述NLP任务时的性能变化；
在所述被激活的功能模块中，响应于至少一个功能模块的性能变化满足预设条件，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，处理单元402，被配置为：
将当前环境状态数据输入强化学习网络中的策略网络，得到所述策略网络输出的概率分布；其中，所述当前环境状态数据至少包括：当前可用的计算资源、不同功能模块之间的依赖关系和模型性能指标；所述概率分布用于指示所述多个功能模块中每个功能模块被选中的概率；
基于所述概率分布确定应被选中的功能模块，并获取所述强化学习网络中价值网络输出的奖励值；其中，所述奖励值用于评价所述应被选中的功能模块在执行所述NLP任务时的性能表现；
基于所述价值网络输出的奖励值，对执行所述NLP任务的功能模块进行调整。
在一种可能的实现方式中，所述模型性能指标包括：模块调整的平均响应时间；
其中，所述平均响应时间包括在多次模块调整过程中感知时间的平均值、决策时间的平均值、执行时间的平均值和反馈时间的平均值；
所述感知时间是指从收集到环境状态数据到将收集到的环境状态数据输入至所述策略网络中进行处理的时间；
所述决策时间是指基于所述策略网络的输出进行模块选择的时间；
所述执行时间是指将被选中的功能模块实际应用于环境中的时间；
所述反馈时间是指从模块调整完成到获得环境反馈的时间。
在一种可能的实现方式中，处理单元402，还被配置为：
根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，针对计算粒度维度，所述多个功能模块被划分为粗粒度模块和细粒度模块；其中，所述粗粒度模块处理的信息的粒度大于所述细粒度模块处理的信息的粒度；
在调整计算粒度后，响应于计算粒度增加，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述细粒度模块的激活状态；调用被激活的细粒度模块基于所述输入数据执行所述NLP任务；
在调整计算粒度后，响应于计算粒度降低，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述粗粒度模块的激活状态；调用被激活的粗粒度模块基于所述输入数据执行所述NLP任务。
在一种可能的实现方式中，处理单元402，被配置为：
根据所述NLP任务的任务复杂度、所述输入数据和当前可用的计算资源，调整所述预训练语言模型的计算粒度。
在一种可能的实现方式中，每个所述功能模块均定义有一个通用的输入输出接口；处理单元402，还被配置为：
响应于识别到新的功能模块，对所述新的功能模块执行注册操作；
其中，所述新的功能模块通过所述输入输出接口与所述预训练语言模型中的已有功能模块进行集成。
在一种可能的实现方式中，处理单元402，还被配置为：
对于所述预训练语言模型中任意一个已有功能模块，响应于所述已有功能模块满足卸载条件，卸载所述已有功能模块。
在一种可能的实现方式中，共享的知识至少包括：任务处理过程中的中间计算结果、学习到的参数和特征表示。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的基于预训练语言模型的任务处理装置在进行任务处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于预训练语言模型的任务处理装置与基于预训练语言模型的任务处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本申请实施例提供的一种计算机设备500的结构示意图。
通常，计算机设备500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一种可能的实现方式中，处理器501可以集成有GPU，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一种可能的实现方式中，处理器501还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一种可能的实现方式中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器501所执行以实现本申请中方法实施例提供的基于预训练语言模型的任务处理方法。
在一种可能的实现方式中，计算机设备500还包括：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。外围设备包括：射频电路504、显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O（Input /Output，输入/输出）相关的至少一个外围设备连接到处理器501和存储器502。在一种可能的实现方式中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在另一种可能的实现方式中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本申请对此不作限定。
射频电路504用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一种可能的实现方式中，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi（Wireless Fidelity，无线保真）网络。在一种可能的实现方式中，射频电路504还可以包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不作限定。
显示屏505用于显示UI（User Interface，用户界面）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一种可能的实现方式中，显示屏505可以为一个，设置在计算机设备500的前面板；在另一种可能的实现方式中，显示屏505可以为至少两个，分别设置在计算机设备500的不同表面或呈折叠设计；在另一种可能的实现方式中，显示屏505可以是柔性显示屏，设置在计算机设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD（Liquid Crystal Display，液晶显示屏）、OLED（Organic Light-Emitting Diode，有机发光二极管）等材质制备。
摄像头组件506用于采集图像或视频。在一种可能的实现方式中，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一种可能的实现方式中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在另一种可能的实现方式中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一种可能的实现方式中，音频电路507还可以包括耳机插孔。
定位组件508用于定位计算机设备500的当前地理位置，以实现导航或LBS（Location Based Service，基于位置的服务）。定位组件508可以是基于美国的GPS（GlobalPositioning System，全球定位系统）、中国的北斗系统或俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源509用于为计算机设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图5中示出的结构并不构成对计算机设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图6是本申请实施例提供的另一种计算机设备600的结构示意图。
该计算机600可以是服务器。该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（Central Processing Units，CPU）601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条程序代码，所述至少一条程序代码由所述处理器601加载并执行以实现上述各个方法实施例提供的基于预训练语言模型的任务处理方法。当然，该计算机设备600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备600还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的基于预训练语言模型的任务处理方法。例如，所述计算机可读存储介质可以是只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、光盘只读存储器（CompactDisc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述基于预训练语言模型的任务处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种基于预训练语言模型的任务处理方法，其特征在于，所述预训练语言模型包括多个功能模块，不同功能模块之间共享知识；所述方法包括：
接收当前待处理的自然语言处理NLP任务的输入数据，并对所述输入数据进行预处理；
将预处理后的输入数据输入所述预训练语言模型，所述预训练语言模型用于根据所述NLP任务的任务需求和所述输入数据，确定所述多个功能模块的激活状态；调用被激活的功能模块基于所述输入数据执行所述NLP任务；其中，对于被激活的任意一个功能模块，所述功能模块的激活程度用于反映所述功能模块对所述NLP任务的贡献大小；
获取所述预训练语言模型的输出结果，将所述输出结果转换为所述NLP任务的任务执行结果，将所述任务执行结果作为响应反馈给用户。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述被激活的功能模块在执行所述NLP任务时的性能变化；
在所述被激活的功能模块中，响应于至少一个功能模块的性能变化满足预设条件，对执行所述NLP任务的功能模块进行调整。
3.根据权利要求2所述的方法，其特征在于，所述对执行所述NLP任务的功能模块进行调整，包括：
将当前环境状态数据输入强化学习网络中的策略网络，得到所述策略网络输出的概率分布；其中，所述当前环境状态数据至少包括：当前可用的计算资源、不同功能模块之间的依赖关系和模型性能指标；所述概率分布用于指示所述多个功能模块中每个功能模块被选中的概率；
基于所述概率分布确定应被选中的功能模块，并获取所述强化学习网络中价值网络输出的奖励值；其中，所述奖励值用于评价所述应被选中的功能模块在执行所述NLP任务时的性能表现；
基于所述价值网络输出的奖励值，对执行所述NLP任务的功能模块进行调整。
4.根据权利要求3所述的方法，其特征在于，所述模型性能指标包括：模块调整的平均响应时间；
其中，所述平均响应时间包括在多次模块调整过程中感知时间的平均值、决策时间的平均值、执行时间的平均值和反馈时间的平均值；
所述感知时间是指从收集到环境状态数据到将收集到的环境状态数据输入至所述策略网络中进行处理的时间；
所述决策时间是指基于所述策略网络的输出进行模块选择的时间；
所述执行时间是指将被选中的功能模块实际应用于环境中的时间；
所述反馈时间是指从模块调整完成到获得环境反馈的时间。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度。
6.根据权利要求5所述的方法，其特征在于，针对计算粒度维度，所述多个功能模块被划分为粗粒度模块和细粒度模块；其中，所述粗粒度模块处理的信息的粒度大于所述细粒度模块处理的信息的粒度；
在调整计算粒度后，响应于计算粒度增加，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述细粒度模块的激活状态；调用被激活的细粒度模块基于所述输入数据执行所述NLP任务；
在调整计算粒度后，响应于计算粒度降低，所述预训练语言模型用于根据所述NLP任务的任务需求、所述输入数据和当前可用的计算资源，确定所述粗粒度模块的激活状态；调用被激活的粗粒度模块基于所述输入数据执行所述NLP任务。
7.根据权利要求5所述的方法，其特征在于，所述根据所述NLP任务的任务复杂度和所述输入数据，调整所述预训练语言模型的计算粒度，包括：
根据所述NLP任务的任务复杂度、所述输入数据和当前可用的计算资源，调整所述预训练语言模型的计算粒度。
8.根据权利要求1所述的方法，其特征在于，每个所述功能模块均定义有一个通用的输入输出接口；所述方法还包括：
响应于识别到新的功能模块，对所述新的功能模块执行注册操作；
其中，所述新的功能模块通过所述输入输出接口与所述预训练语言模型中的已有功能模块进行集成。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对于所述预训练语言模型中任意一个已有功能模块，响应于所述已有功能模块满足卸载条件，卸载所述已有功能模块。
10.根据权利要求1至9中任一项权利要求所述的方法，其特征在于，共享的知识至少包括：任务处理过程中的中间计算结果、学习到的参数和特征表示。
11.一种基于预训练语言模型的任务处理装置，其特征在于，所述预训练语言模型包括多个功能模块，不同功能模块之间共享知识；所述装置包括：
接收单元，被配置为接收当前待处理的自然语言处理NLP任务的输入数据，并对所述输入数据进行预处理；
处理单元，被配置为将预处理后的输入数据输入所述预训练语言模型，所述预训练语言模型用于根据所述NLP任务的任务需求和所述输入数据，确定所述多个功能模块的激活状态；调用被激活的功能模块基于所述输入数据执行所述NLP任务；其中，对于被激活的任意一个功能模块，所述功能模块的激活程度用于反映所述功能模块对所述NLP任务的贡献大小；
输出单元，被配置为获取所述预训练语言模型的输出结果，将所述输出结果转换为所述NLP任务的任务执行结果，将所述任务执行结果作为响应反馈给用户。
12.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至10中任一项权利要求所述的基于预训练语言模型的任务处理方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至10中任一项权利要求所述的基于预训练语言模型的任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321072.1A CN117217201B (zh) | 2023-10-12 | 2023-10-12 | 基于预训练语言模型的任务处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321072.1A CN117217201B (zh) | 2023-10-12 | 2023-10-12 | 基于预训练语言模型的任务处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117217201A true CN117217201A (zh) | 2023-12-12 |
| CN117217201B CN117217201B (zh) | 2024-02-02 |
Family
ID=89046222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311321072.1A Active CN117217201B (zh) | 2023-10-12 | 2023-10-12 | 基于预训练语言模型的任务处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117217201B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420808A (zh) * | 2023-12-18 | 2024-01-19 | 中国科学院近代物理研究所 | 模块化控制方法和系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110750342A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 调度方法、装置、电子设备及可读存储介质 |
| US20220067277A1 (en) * | 2020-08-25 | 2022-03-03 | Salesforce.Com, Inc. | Intelligent Training Set Augmentation for Natural Language Processing Tasks |
| CN116594748A (zh) * | 2023-05-19 | 2023-08-15 | 航天宏图信息技术股份有限公司 | 针对任务的模型定制处理方法、装置、设备和介质 |
| CN116627630A (zh) * | 2023-03-31 | 2023-08-22 | 阿里巴巴（中国）有限公司 | 资源需求预测模型训练、需求预测和资源调度方法及系统 |
-
2023
- 2023-10-12 CN CN202311321072.1A patent/CN117217201B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110750342A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 调度方法、装置、电子设备及可读存储介质 |
| US20220067277A1 (en) * | 2020-08-25 | 2022-03-03 | Salesforce.Com, Inc. | Intelligent Training Set Augmentation for Natural Language Processing Tasks |
| CN116627630A (zh) * | 2023-03-31 | 2023-08-22 | 阿里巴巴（中国）有限公司 | 资源需求预测模型训练、需求预测和资源调度方法及系统 |
| CN116594748A (zh) * | 2023-05-19 | 2023-08-15 | 航天宏图信息技术股份有限公司 | 针对任务的模型定制处理方法、装置、设备和介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420808A (zh) * | 2023-12-18 | 2024-01-19 | 中国科学院近代物理研究所 | 模块化控制方法和系统、电子设备及存储介质 |
| CN117420808B (zh) * | 2023-12-18 | 2024-03-08 | 中国科学院近代物理研究所 | 模块化控制方法和系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117217201B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN111114554B (zh) | 行驶轨迹预测方法、装置、终端及存储介质 | |
| CN112078565B (zh) | 氢燃料电池电动汽车的能量管理方法、装置及存储介质 | |
| CN117217201B (zh) | 基于预训练语言模型的任务处理方法、装置、设备及介质 | |
| CN111414736B (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN110162604B (zh) | 语句生成方法、装置、设备及存储介质 | |
| CN113778663A (zh) | 一种多核处理器的调度方法及电子设备 | |
| WO2020042112A1 (zh) | 一种终端对ai任务支持能力的评测方法及终端 | |
| US20220035745A1 (en) | Data processing method and chip, device, and storage medium | |
| CN110796248A (zh) | 数据增强的方法、装置、设备及存储介质 | |
| CN111783375A (zh) | 芯片系统及相关装置 | |
| CN116842307B (zh) | 数据处理方法、装置、设备、芯片及存储介质 | |
| CN116360574A (zh) | 确定资源配置参数的方法与电子设备 | |
| CN117313830A (zh) | 基于知识蒸馏的模型训练方法、装置、设备及介质 | |
| CN112036492B (zh) | 样本集处理方法、装置、设备及存储介质 | |
| CN117274109A (zh) | 图像处理方法、降噪模型训练方法及电子设备 | |
| CN114968540A (zh) | 一种核间迁移的频率调整方法 | |
| CN111880661A (zh) | 手势识别方法及装置 | |
| CN113762585B (zh) | 数据的处理方法、账号类型的识别方法及装置 | |
| CN114970576A (zh) | 识别码的识别方法、相关电子设备及计算机可读存储介质 | |
| US20240112480A1 (en) | Method for publishing image and electronic device | |
| CN110969217A (zh) | 基于卷积神经网络进行图像处理的方法和装置 | |
| CN112770002B (zh) | 一种心跳管控的方法和电子设备 | |
| CN117390444A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN117973475A (zh) | 模型训练方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |