CN116737939A - 元学习方法、文本分类方法、装置、电子设备及存储介质 - Google Patents
元学习方法、文本分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116737939A CN116737939A CN202310994203.6A CN202310994203A CN116737939A CN 116737939 A CN116737939 A CN 116737939A CN 202310994203 A CN202310994203 A CN 202310994203A CN 116737939 A CN116737939 A CN 116737939A
- Authority
- CN
- China
- Prior art keywords
- meta
- trained
- parameters
- task
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000013145 classification model Methods 0.000 claims abstract description 214
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 20
- 230000003044 adaptive effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种元学习方法、文本分类方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法包括：获取原始文本数据集，将原始文本数据集划分为多个任务并进行预处理以得到待训练任务集合，初始化元学习器，初始化各文本分类模型，得到各文本分类模型的分类层参数对应的梯度特征值，将各梯度特征值输入元学习器以得到各任务自适应学习率，在判断对应的文本分类模型未收敛的情况下更新分类层参数，直至各文本分类模型收敛，判断元学习器是否收敛，若否，更新元学习器，直至元学习器收敛得到训练好的元学习器。基于上述训练好的元学习器进行新领域的文本分类，使得训练好的文本分类模型能够更好地适应具有少量样本的目标域。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种元学习方法、文本分类方法、装置、电子设备及存储介质。
背景技术
文本分类是将文本数据按照预先设定的分类标准进行分类，有着广泛的应用，例如垃圾邮件识别、情感分析、新闻分类、舆情监测等。然而，在现实世界中，由于标注足够数量的数据需要耗费大量的人力及时间成本，导致某些领域的标注数据往往十分稀缺，进而造成模型过拟合。因此，跨域文本分类任务被提出，旨在克服领域标注数据稀缺的问题。具体来说，跨域文本分类任务旨在从不同但相关的丰富源领域获取知识，并将其迁移至缺乏标注数据的目标分类领域。
现有技术中主要采用元学习思想来解决跨域文本分类任务。元学习旨在利用源域的先验知识来指导模型在目标域的学习，具体地，现有技术旨在利用元学习的思想从源域中学习通用的文本表示空间，从而提升模型的泛化能力，使得模型在标注数据缺乏的情况下，依然可以获取有效的目标域文本表示。然而，现有方法仅关注如何优化文本分类模型的嵌入层，而忽略了对模型的分类层的改进，进而导致模型的分类效果依然不佳。此外，由于不同领域的标签个数以及标签意义存在差异，导致现有元学习方法无法直接应用于分类层学习。
发明内容
有鉴于此，本发明的目的在于提供一种元学习方法、文本分类方法、装置、电子设备及存储介质，以基于文本分类模型的分类层参数最终得到训练好的元学习器，在使用该训练好的元学习器进行新领域的文本分类时，可以使得训练好的文本分类模型更好地适应具有少量样本的目标域。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种元学习方法，应用于电子设备，所述方法包括：
获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合；
初始化元学习器，以得到元学习器的参数；
初始化所述待训练任务集合中各待训练任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值；
将各所述梯度特征值输入所述元学习器，以得到各所述文本分类模型的任务自适应学习率；
在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数；
基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛；
若否，基于各所述待训练任务和对应的所述待计算参数更新所述元学习器，返回执行初始化所述待训练任务集合中各待训练任务对应的文本分类模型至基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，直至所述元学习器收敛，以得到训练好的元学习器。
在可选的实施方式中，所述获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合的步骤，包括：
获取原始文本数据集，将所述原始文本数据集划分为多个任务，以得到所有待处理任务；
删除所有所述待处理任务包含的原始文本数据中的空格和标点符号，以得到待训练任务集合。
在可选的实施方式中，所述基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值的步骤，包括：
基于所述元学习器的参数和各所述分类层参数得到对应所述文本分类模型的损失函数；
基于各所述文本分类模型的损失函数计算对应所述分类层参数的梯度；
将各所述分类层参数的梯度和对应的所述分类层参数拼接，以得到各所述分类层参数对应的梯度特征值。
在可选的实施方式中，各所述待训练任务均包括支持集；
所述在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数的步骤，包括：
在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型在对应所述待训练任务的支持集上收敛，以得到各所述文本分类模型在对应所述待训练任务的支持集上收敛后的参数，作为待计算参数。
在可选的实施方式中，各所述待训练任务还包括查询集，所述基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，包括：
基于各所述待训练任务的查询集和对应的所述待计算参数得到所述元学习器的损失函数；
判断所述元学习器的损失函数是否小于预设阈值，以判断所述元学习器是否收敛。
在可选的实施方式中，所述基于各所述待训练任务和对应的所述待计算参数更新所述元学习器的步骤，包括：
基于各所述待训练任务的查询集和对应的所述待计算参数得到所述元学习器的损失函数；
基于所述元学习器的损失函数得到所述元学习器的梯度；
基于所述元学习器的梯度更新所述元学习器的参数，以更新所述元学习器。
第二方面，本发明实施例提供一种文本分类方法，应用于电子设备，所述方法包括：
获取目标域文本数据集，将所述目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合；
初始化所述待测试任务集合中各待测试任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
获取训练好的元学习器的参数，作为待处理参数，基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值，其中，所述训练好的元学习器基于如上述第一方面实施例和/或结合上述第一方面实施例可能的实施方式提供的元学习方法训练得到；
将各所述梯度特征值输入所述训练好的元学习器，以得到各所述文本分类模型的任务自适应学习率；
基于各所述任务自适应学习率更新对应的所述分类层参数，直至各所述文本分类模型收敛，以得到训练好的各所述文本分类模型；
通过训练好的各所述文本分类模型对所述目标域文本数据集进行处理，以输出所述目标域文本数据集的分类结果。
在可选的实施方式中，所述基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值的步骤，包括：
基于所述待处理参数和各所述分类层参数得到对应所述文本分类模型的损失函数；
基于各所述文本分类模型的损失函数计算对应所述分类层参数的梯度；
将各所述分类层参数的梯度和对应的所述分类层参数拼接，以得到各所述分类层参数对应的梯度特征值。
第三方面，本发明实施例提供一种元学习装置，应用于电子设备，所述装置包括：
数据获取和处理模块，用于获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合；
初始化模块，用于初始化元学习器，以得到元学习器的参数；初始化所述待训练任务集合中各待训练任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
计算模块，用于基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值；将各所述梯度特征值输入所述元学习器，以得到各所述文本分类模型的任务自适应学习率；
训练模块，用于在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数；基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛；若否，基于各所述待训练任务和对应的所述待计算参数更新所述元学习器，返回执行初始化所述待训练任务集合中各待训练任务对应的文本分类模型至基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，直至所述元学习器收敛，以得到训练好的元学习器。
第四方面，本发明实施例提供一种文本分类装置，应用于电子设备，所述装置包括：
数据获取模块，用于获取目标域文本数据集，将所述目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合；
参数获取模块，用于初始化所述待测试任务集合中各待测试任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
处理模块，用于获取训练好的元学习器的参数，作为待处理参数，基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值，其中，所述训练好的元学习器基于如权利要求1-6任一项所述的元学习方法训练得到；将各所述梯度特征值输入所述训练好的元学习器，以得到各所述文本分类模型的任务自适应学习率；
训练分类模块，用于在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到训练好的各所述文本分类模型；通过训练好的各所述文本分类模型对所述目标域文本数据集进行处理，以输出所述目标域文本数据集的分类结果。
第五方面，本发明实施例提供一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，以实现如上述第一方面实施例和/或结合上述第一方面实施例可能的实施方式提供的元学习方法。
第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例和/或结合上述第一方面实施例可能的实施方式提供的元学习方法。
本发明实施例的有益效果包括，例如：
本发明实施例提供的一种元学习方法、文本分类方法、装置、电子设备及存储介质，通过文本分类模型的分类层参数得到对应的梯度特征值，将梯度特征值输入元学习器得到任务自适应学习率，以用于更新文本分类模型的分类层参数，并最终得到训练好的元学习器，该训练好的元学习器可以单独为文本分类模型中的分类层参数提供一个任务自适应学习率，以在使用该训练好的元学习器进行新领域的文本分类时，可以基于得到的任务自适应学习率更新文本分类模型分类层的参数，直至得到训练好的文本分类模型，使训练好的文本分类模型更好地适应具有少量样本的目标域。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种电子设备的示例性结构框图；
图2示出了本发明实施例提供的一种元学习方法的流程示意图；
图3示出了本发明实施例提供的一种元学习方法的流程示意图之二；
图4示出了本发明实施例提供的一种元学习方法的流程示意图之三；
图5示出了本发明实施例提供的一种元学习方法的流程示意图之四；
图6示出了本发明实施例提供的一种元学习方法的流程示意图之五；
图7示出了本发明实施例提供的一种元学习方法的流程示意图六；
图8示出了本发明实施例提供的一种文本分类方法的流程示意图；
图9示出了本发明实施例提供的一种文本分类方法的流程示意图之二；
图10示出了本发明实施例提供的一种元学习装置的示例性框图；
图11示出了本发明实施例提供的一种文本分类装置的示例性框图。
图标：110-电子设备；1101-存储器；1102-处理器；1103-通信接口；400-元学习装置；401-数据获取和处理模块；402-初始化模块；403-计算模块；404-训练模块；500-文本分类装置；501-数据获取模块；502-参数获取模块；503-处理模块；504-训练分类模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
元学习（Meta-Learning）是一种基于学习如何学习的机器学习方法，通过在多个任务上进行训练，从中学习出适应新任务的通用算法。元学习的核心思想是利用已学习的知识和经验，来快速地适应新的任务和环境。具体地，元学习中的元学习模型包括元学习器，通过不断迭代，元学习器可以被训练用来学习一种通用的算法，能够快速地适应各种不同的任务和环境。
现有技术中主要采用元学习思想来解决跨域文本分类任务。元学习旨在利用源域的先验知识来指导文本分类模型在目标域的学习，具体地，现有技术旨在利用元学习的思想从源域中学习通用的文本表示空间，从而提升文本分类模型的泛化能力，使得文本分类模型在标注数据缺乏的情况下，依然可以获取有效的目标域文本表示。然而，现有方法仅关注如何优化文本分类模型的嵌入层，而忽略了对文本分类模型的分类层的改进，进而导致文本分类模型的分类效果依然不佳。此外，由于不同领域的标签个数以及标签意义存在差异，导致现有元学习方法无法直接应用于分类层学习。
在一种可能的实现方式中，现有技术在进行文本分类前使用少量样本训练元学习器时，使用的元学习框架通常为MAML（Model-Agnostic-Meta-Learning）框架，MAML框架旨在学习一个特定的初始化参数，以使该初始化参数能够适应到不同的子模型上，即利用MAML框架训练元学习器时，元学习器将输出一组初始化参数，以在进行文本分类时，将该初始化参数作为文本分类模型的初始化参数。
然而，由于使用上述方式得到的初始化参数为一固定参数，当遇到新领域的任务时，基于上述初始化参数训练完成的文本分类模型并不能很好地适应目标域。
因此，对于跨域文本少量文本分类的场景，即在遇到新领域的文本分类任务时，需要训练完成的文本分类模型能够更好地适应目标域，以通过训练完成的各文本分类模型对目标域文本数据集进行处理时，使输出的目标域文本数据集的分类结果更加准确。
为了能够实现该目的，本申请引入文本分类模型的分类层参数，通过文本分类模型的分类层参数得到对应的梯度特征值，将梯度特征值输入元学习器得到任务自适应学习率，基于任务自适应学习率更新文本分类模型的分类层参数，直至文本分类模型收敛，以便对元学习器进行训练，实现元学习器学习文本分类模型的分类层参数的更新规则。
具体的，下面针对本发明的实现方式进行示例性说明。
请参阅图1，图1示出了本发明实施例提供的一种电子设备110的示例性结构框图，该电子设备110可以为能够进行模型训练、应用的服务器、处理平台等，例如，可以为PC等智能终端。如图1所示，该电子设备110包括：存储器1101、处理器1102和通信接口1103，该存储器1101、处理器1102和通信接口1103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器1101可用于存储软件程序及模块，处理器1102通过执行存储在存储器1101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口1103可用于与其他节点设备进行信令或数据的通信。
其中，存储器1101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器1102可以是一种集成电路芯片，具有信号处理能力。该处理器1102可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器 (NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于上述电子设备110，下面以电子设备110为执行主体，对本发明实施例提供的一种元学习方法进行示例性说明，请参阅图2，图2示出了本发明实施例提供的一种元学习方法的流程示意图。
如图2所示，元学习方法应用于电子设备110，元学习方法可以包括以下步骤：
S210，获取原始文本数据集，将原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合。
S220，初始化元学习器，以得到元学习器的参数。
S230，初始化待训练任务集合中各待训练任务对应的文本分类模型，以得到各文本分类模型的分类层参数。
S240，基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值。
S250，将各梯度特征值输入元学习器，以得到各文本分类模型的任务自适应学习率。
S260，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到各文本分类模型收敛后的参数，作为待计算参数。
S270，基于各待训练任务和对应的待计算参数判断元学习器是否收敛，若否，执行S280；若是，执行S290。
S280，基于各待训练任务和对应的待计算参数更新元学习器，返回执行初始化待训练任务集合中各待训练任务对应的文本分类模型至基于各待训练任务和对应的待计算参数判断元学习器是否收敛的步骤，直至元学习器收敛，以得到训练好的元学习器。
S290，得到训练好的元学习器。
上述步骤通过元学习器的参数和文本分类模型的分类层参数得到对应的梯度特征值，将梯度特征值输入元学习器得到任务自适应学习率，以用于更新文本分类模型的分类层参数，进而得到训练好的元学习器。
具体地，步骤S210中，可以将原始文本数据集划分为多个任务组成的任务集合，再对任务集合中的原始文本数据中多余的空格和标点符号，得到待训练任务集合。
需要说明的是，将原始文本数据集划分为多个任务的过程中，由于原始文本数据集对应有相应的领域，若原始文本数据集为多个，则各原始文本数据集对应有不同的领域（例如，金融、医学、房地产领域），且各原始文本数据集对应的领域下包含有相应数量的标签，在将各原始文本数据集均划分为多个任务的情况下，某一原始文本数据集划分的多个任务和另一原始文本数据集划分的多个任务将分别对应有不同领域，以及分别对应有不同数量的标签。
进一步地，各任务均由支持集和查询集组成。其中，支持集遵守N-way K-shot（包含N个类别，每个类别有K条样本）原则。
本发明实施例中，在对上述原始文本数据集预处理完毕得到待训练任务集合后，继续执行步骤S220至步骤S290，进行元学习器的训练阶段。对于步骤S220和步骤S230，首先需要初始化元学习器和初始化待训练任务集合中各待训练任务对应的文本分类模型。
初始化元学习器的过程，实际为随机初始化元学习器的参数，以得到元学习器的参数。初始化待训练任务集合中各待训练任务对应的文本分类模型，实际为初始化待训练任务集合中各待训练任务对应的文本分类模型的参数，以得到各文本分类模型的分类层参数。
需要说明的是，上述元学习器由一个以sigmoid为激活函数的线性层组成，且上述各文本分类模型可以为任何使用分类层作为输出的模型，在得到元学习器的参数，以及各文本分类模型的分类层参数之后，继续执行步骤S240，基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值。
在本发明实施例中，步骤S240为基于元学习器的参数和各分类层参数得到对应文本分类模型的损失函数，基于上述损失函数计算对应分类层参数的梯度，最终将该梯度和对应的分类层参数拼接，以得到各分类层参数对应的梯度特征值。
示例性地，若设定步骤S210中将原始文本数据集划分为n个任务并进行预处理，得到的待训练任务集合为T，其中某一任务为Ti（0<i≤n），该任务Ti对应的文本分类模型为Modeli，步骤S220得到的元学习器的参数为，步骤S230得到的该文本分类模型Modeli的分类层参数为，则步骤S240基于元学习器的参数和分类层参数得到对应文本分类模型的损失函数则为（该函数中的指模型的分类层参数），则基于上述损失函数计算对应分类层参数的梯度为，最终若设定各分类层参数对应的梯度特征值为Fi，则Fi可以通过下述公式一表示：
（公式一）
基于上述设置，在得到各文本分类模型的分类层参数对应的梯度特征值后，则继续执行步骤S250和步骤S260，将各梯度特征值输入元学习器，以得到各文本分类模型的任务自适应学习率，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到各文本分类模型收敛后的参数，作为待计算参数。
本发明实施例中，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到各文本分类模型收敛后的参数，为最终得到各文本分类模型在对应待训练任务的支持集上收敛后的参数的过程。
基于此，示例性地，若基于前文设定的任务Ti以及步骤S240得到的梯度特征值为Fi，设定步骤S250将Fi输入元学习器，得到的文本分类模型Modeli的任务自适应学习率为，则可以通过下述公式二表示：
（公式二）
其中，表示元学习器，的维度与一致。
需要说明的是，基于各分类层参数判断对应的文本分类模型是否收敛，可以通过在步骤S240得到各分类层参数对应的梯度特征值的过程中，计算得到对应分类层参数的梯度，通过判断该梯度是否小于预设阈值来实现。
例如，若步骤S240得到各分类层参数对应的梯度特征值的过程中，计算得到对应分类层参数的梯度为前文设定的，则若小于预设阈值，则判断对应的文本分类模型未收敛，需要基于对应的任务自适应学习率更新该文本分类模型的分类层参数，并基于更新后的分类层参数重新得到该分类层参数的梯度进行判断，直至该文本分类模型收敛。
基于此，若设定基于上述任务自适应学习率更新对应的分类层参数得到的更新后的分类层参数为，则可以通过下述公式三表示：
（公式三）
本发明实施例中，在得到各收敛的文本分类模型后，可以得到各文本分类模型收敛后的参数，作为待计算参数。例如，基于前文的任务Ti，若设定任务Ti的支持集为Si，最终得到各文本分类模型在任务Ti的支持集上收敛后的参数为作为待计算参数，则可以通过下述公式四表示：
（公式四）
本发明实施例中，在步骤S260中得到各待计算参数后，继续执行步骤S270，基于各待训练任务和对应的待计算参数判断元学习器是否收敛，若否，执行步骤S280，基于各待训练任务和对应的待计算参数更新元学习器。返回执行步骤S230至步骤S290，直至元学习器收敛，以得到训练好的元学习器。
在步骤S270中，基于各待训练任务和对应的待计算参数判断元学习器是否收敛，可以为基于各待训练任务的查询集和对应的待计算参数得到元学习器的损失函数，判断元学习器的损失函数是否小于预设阈值。
例如，基于前文设定的任务Ti以及得到的各参数，若设定任务Ti的查询集为Qi，基于任务Ti的查询集Qi和对应的待计算参数得到元学习器的损失函数为，则可以通过下述公式五表示：
（公式五）
因此，可以判断是否小于预设阈值来判断元学习器是否收敛。
若判断出该元学习器未收敛，可以基于任务Ti的查询集Qi和对应的待计算参数更新元学习器，即，根据任务Ti的查询集Qi和对应的待计算参数得到元学习器的损失函数，再根据元学习器的损失函数计算该元学习器的梯度，最终基于该元学习器的梯度更新元学习器的参数，以更新元学习器。
例如，基于前文设定的任务Ti以及得到的各参数，若设定根据元学习器的损失函数计算该元学习器的梯度为，则基于该元学习器的梯度更新元学习器的参数可以通过下述公式六表示：
（公式六）
其中，表示更新后的元学习器的参数。可以基于更新完毕参数的元学习器返回执行步骤S230至步骤S290，直至判断出元学习器收敛，得到训练好的元学习器，以供后续使用该训练好的元学习器进行文本分类。后续对应检查调整。
本发明实施例提供的一种元学习方法，通过文本分类模型的分类层参数得到对应的梯度特征值，将梯度特征值输入元学习器得到任务自适应学习率，以用于更新文本分类模型的分类层参数，并最终得到训练好的元学习器，该训练好的元学习器可以单独为文本分类模型中的分类层参数提供一个任务自适应学习率，以在使用该训练好的元学习器进行文本分类时，可以基于得到的任务自适应学习率更新文本分类模型分类层的参数，直至得到训练好的文本分类模型，使训练好的文本分类模型更好地适应具有少量样本的目标域。
可选地，获取原始文本数据集，将原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合的具体过程可以通过下述步骤实现：
在图2的基础上，请参阅图3，图3示出了本发明实施例提供的元学习方法的流程示意图之二，S210步骤中获取原始文本数据集，将原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合的步骤，包括：
S211，获取原始文本数据集，将原始文本数据集划分为多个任务，以得到所有待处理任务。
S212，删除所有待处理任务包含的原始文本数据中的空格和标点符号，以得到待训练任务集合。
上述步骤获取到了原始文本数据集并进行了预处理。
示例性地，若上述原始文本数据集为多个，例如，从四个不同领域的数据集中采样部分数据，构建四个原始文本数据集，各数据集对应的标签数量不同，上述各数据集可以如下表一所示：
（表一）
其中，各原始文本数据集依次为ChnSentiCorp_htl_all、simplifyweibo_4_moods、情感对话生成数据集、剧本角色情感识别。则基于上述数据集采样部分数据，构建四个原始文本数据集可以如下表二至表五所示：
（表二）
（表三）
（表四）
（表五）
其中，表二为ChnSentiCorp_htl_all的原始文本数据集，表三为simplifyweibo_4_moods的原始文本数据集，表四为情感对话生成数据集的原始文本数据集，表五为剧本角色情感识别的原始文本数据集，各原始文本数据集对应不同的领域。
具体地，原始文本数据集“ChnSentiCorp_htl_all”包含两个标签，其中1表示正向评论，0表示负向评论；原始文本数据集“simplifyweibo_4_moods”包含四个标签，其中0表示喜悦，1表示“愤怒”，2表示“厌恶”，3表示“厌恶”；原始文本数据集“情感对话生成数据集”包含6个标签，like表示“喜好”，disgust表示“厌恶”，happy表示“高兴”，angry表示“愤怒”，sad表示“悲伤”，其余表示“无感”；原始文本数据集“剧本角色情感识别”包含6个标签，1,0,0,0,0,0表示“爱”，0,1,0,0,0,0表示“乐”，0,0,1,0,0,0表示“惊”，0,0,0,1,0,0表示“怒”，0,0,0,0,1,0表示“恐”，0,0,0,0,0,1表示“哀”。
基于上述四个原始文本数据集，则可以分别将其划分为多个任务，例如，将上述四个原始文本数据集分别划分为200个任务，其中各任务均由支持集S和查询集Q构成（查询集Q的样本个数均为15），并对各原始文本数据集划分的多个任务得到的所有处理任务进行预处理，即删除所有待处理任务包含的原始文本数据中的空格和标点符号，以得到待训练任务集合，设定该待训练任务集合为Tn，则n=800。
可选地，由于本发明实施例需要对遇到的新领域文本分类任务进行处理，为了使输出的目标域文本数据集的分类结果更加准确，需要使元学习器学习文本分类模型的分类层参数的更新规则，即，使用训练好的元学习器进行文本分类时，训练好的元学习器可以单独为文本分类模型中的分类层参数提供一个任务自适应学习率，使用该任务自适应学习率更新文本分类模型分类层的参数，直至得到训练好的文本分类模型进行目标域文本数据集的文本分类。
基于此，在训练元学习器的过程中，首先需要在原始文本数据集进行划分以及预处理，以得到待训练任务集合后，基于元学习器的参数，以及各待训练任务对应的文本分类模型的分类层参数构建各分类层参数对应的梯度特征值，下面提供一种可能的实现方式，基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值的具体过程可以通过下述步骤实现：在图2的基础上，请参阅图4，图4示出了本发明实施例提供的一种元学习方法的流程示意图之三，S240步骤中基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值的步骤，包括：
S241，基于元学习器的参数和各分类层参数得到对应文本分类模型的损失函数。
S242，基于各文本分类模型的损失函数计算对应分类层参数的梯度。
S243，将各分类层参数的梯度和对应的分类层参数拼接，以得到各分类层参数对应的梯度特征值。
上述步骤基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值。
例如，基于前文构建的四个原始文本数据集，则得到了800个待训练任务的待训练任务集合，针对上述待训练任务的文本分类模型，若设定其中某一任务为Ti（0<i≤n），该任务Ti对应的文本分类模型为Modeli，步骤S220得到的元学习器的参数为，步骤S230得到的该文本分类模型Modeli的分类层参数为，步骤S240中基于元学习器的参数和分类层参数得到对应文本分类模型的损失函数，若使用的损失函数为交叉熵损失函数，则可以通过下述公式七表示：
（公式七）
其中，表示训练原始文本数据的样本数量，表示标签数量，表示样本真实标签，表示模型预测值，由于本发明实施例仅针对文本分类模型的分类层参数进行更新，故公式七中特指文本分类模型的分类层参数，则基于上述损失函数计算对应分类层参数的梯度为后，将各分类层参数的梯度和对应的分类层参数拼接，以得到各分类层参数对应的梯度特征值，该梯度特征值可以由前文的公式一得到。
可选地，在训练元学习器的过程中，由于各待训练任务均可以划分为支持集和查询集，支持集用于对文本分类模型进行更加细化的微调训练，让文本分类模型更好的学习当前任务场景数据内容，查询集通常用于从文本分类模型中查询适用于当前任务场景的相关参数。
因此，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛的具体过程，即为最终使各文本分类模型在对应待训练任务的支持集上收敛的过程，将各文本分类模型在支持集上训练可以使各文本分类模型更好的学习当前任务场景数据内容，上述过程可以通过下述步骤实现：
在图4的基础上，请参阅图5，图5示出了本发明实施例提供的元学习方法的流程示意图之四，各待训练任务均包括支持集，S260步骤中在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到各文本分类模型收敛后的参数，作为待计算参数的步骤，包括：
S261，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型在对应待训练任务的支持集上收敛，以得到各文本分类模型在对应待训练任务的支持集上收敛后的参数，作为待计算参数。
上述步骤在判断出文本分类模型未收敛的情况下，更新该文本分类模型的分类层参数，以最终得到收敛的文本分类模型，并得到文本分类模型收敛后的参数。
示例性地，基于前文设定的任务Ti，在基于任务Ti的文本分类模型的分类层参数判断对应文本分类模型未收敛的情况下，则需要基于对应的任务自适应学习率更新分类层参数。
例如，若通过步骤S250得到的该文本分类模型的任务自适应学习率为，若设定基于更新该文本分类模型的分类层参数得到的更新后的分类层参数为，则可以基于前文的公式三得到。在最终判断该文本分类模型在任务Ti的支持集上收敛后，可以基于前文的公式四得到该文本分类模型在任务Ti的支持集上收敛后的参数，将作为待计算参数。
需要说明的是，上述基于各分类层参数判断对应的文本分类模型是否收敛的步骤已在前文做具体描述，对此不再赘述。
可选地，基于前文可知，由于各待训练任务均可以划分为支持集和查询集，且查询集通常用于从文本分类模型中查询适用于当前任务场景的相关参数，因此，当基于各待训练任务和对应的待计算参数判断元学习器是否收敛的具体过程中，需要基于各待训练任务的查询集得到适用于当前任务场景的元学习器的损失函数，上述过程可以通过下述步骤实现：
在图2的基础上，请参阅图6，图6示出了本发明实施例提供的元学习方法的流程示意图之五，各待训练任务还包括查询集，S270步骤中基于各待训练任务和对应的待计算参数判断元学习器是否收敛的步骤，包括：
S271，基于各待训练任务的查询集和对应的待计算参数得到元学习器的损失函数。
S272，判断元学习器的损失函数是否小于预设阈值，以判断元学习器是否收敛。
上述步骤基于各待训练任务和对应的待计算参数判断元学习器是否收敛。
示例性地，基于前文的任务Ti，若设定任务Ti的查询集为Qi，任务Ti对应的待计算参数为，基于任务Ti的查询集Qi和对应的待计算参数得到元学习器的损失函数为，则可以通过前文的公式五得到。因此，可以判断是否小于预设阈值来判断元学习器是否收敛。
可选地，基于各待训练任务和对应的待计算参数更新元学习器的具体过程可以通过下述步骤实现：
在图6的基础上，请参阅图7，图7示出了本发明实施例提供的一种元学习方法的流程示意图之六，S280步骤中基于各待训练任务和对应的待计算参数更新元学习器的步骤，包括：
基于步骤S271得到元学习器的损失函数。
S281，基于元学习器的损失函数得到元学习器的梯度。
S282，基于元学习器的梯度更新元学习器的参数，以更新元学习器。
上述步骤基于各待训练任务和对应的待计算参数更新了元学习器。
示例性地，基于前文的任务Ti和得到的各参数，若设定根据元学习器的损失函数计算该元学习器的梯度为，则基于该元学习器的梯度更新元学习器的参数可以通过前文的公式六得到。
基于前文的电子设备110，本发明实施例还提供一种文本分类方法，该文本分类方法以电子设备110为执行主体，请参阅图8，图8示出了本发明实施例提供的一种文本分类方法的流程示意图。该文本分类方法应用于电子设备110，该文本分类方法包括：
S300，获取目标域文本数据集，将目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合。
S310，初始化待测试任务集合中各待测试任务对应的文本分类模型，以得到各文本分类模型的分类层参数。
S320，获取训练好的元学习器的参数，作为待处理参数，基于待处理参数和各分类层参数得到各分类层参数对应的梯度特征值，其中，训练好的元学习器基于如上述发明实施例提供的元学习方法训练得到。
S330，将各梯度特征值输入训练好的元学习器，以得到各文本分类模型的任务自适应学习率。
S340，在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到训练好的各文本分类模型。
S350，通过训练好的各文本分类模型对目标域文本数据集进行处理，以输出目标域文本数据集的分类结果。
上述步骤通过使用元学习方法训练得到的训练好的元学习器以实现对目标域文本数据集的文本分类。
本发明实施例中，步骤S300至步骤S340为通过使用元学习方法训练得到的训练好的元学习器得到目标域文本数据集的各待测试任务对应的训练好的文本分类模型的过程。具体地，首先获取目标域文本数据集，得到待测试任务集合后，初始化待测试任务集合中各待测试任务对应的文本分类模型，然后获取训练好的元学习器的参数，该训练好的元学习器为本发明实施例的元学习方法训练得到。
进一步地，基于待处理参数和各分类层参数得到各分类层参数对应的梯度特征值，将该梯度特征值输入训练好的元学习器，以得到各文本分类模型的任务自适应学习率，即元学习器输出的为一组任务自适应学习率，以使各文本分类模型基于对应的任务自适应学习率更新其分类层参数，直至各文本分类模型收敛，此时，得到的各文本分类模型即能较好地适应目标域。
需要说明的是，步骤S300中将标注数据集划分为多个任务并进行预处理，以得到待测试任务集合的步骤与前文元学习方法中的步骤S210类似，步骤S310中初始化待测试任务集合中各待测试任务对应的文本分类模型，以得到各文本分类模型的分类层参数的步骤与前文元学习方法中的步骤S230类似，步骤S320中基于待处理参数和各分类层参数得到各分类层参数对应的梯度特征值的步骤与前文元学习方法中的步骤S240类似。
进一步地，步骤S330中将各梯度特征值输入训练好的元学习器，以得到各文本分类模型的任务自适应学习率的步骤与前文元学习方法中的步骤S250类似，以及步骤S340中在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛的步骤与前文元学习方法中的步骤S260类似。对于上述各步骤本发明实施例对此不再赘述。
可选地，基于待处理参数和各分类层参数得到各分类层参数对应的梯度特征值的具体过程可以通过下述步骤实现：
在图8的基础上，请参阅图9，图9示出了本发明实施例提供的一种文本分类方法的流程示意图之二，S320步骤中基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值的步骤，包括：
S321，基于待处理参数和各分类层参数得到对应文本分类模型的损失函数。
S322，基于各文本分类模型的损失函数计算对应分类层参数的梯度。
S323，将各分类层参数的梯度和对应的分类层参数拼接，以得到各分类层参数对应的梯度特征值。
上述步骤基于待处理参数和各分类层参数得到了各分类层参数对应的梯度特征值。
需要说明的是，步骤S321至步骤S323与前文元学习方法中的步骤S241至步骤S243类似，本发明实施例对此不再赘述。
示例性地，基于本发明实施例的文本分类方法，若设定目标域文本数据集为新闻文本分类数据集THUCNews、SogouCA和今日头条新闻文本分类数据集，则使用本发明实施例的文本分类方法对比传统的文本分类方法（微调预训练模型方法和原型网络方法）得到的各文本分类准确率如下表六所示：
（表六）
其中，各测试数据集构建均遵循5-way 5-shot（包含5个类别，每个类别有5条样本）原则，由表八可知，本发明实施例的文本分类方法在上述三个数据集中的文本分类准确率明显高于传统的文本分类方法的文本分类准确率。
基于同一发明构思，本发明实施例还提供一种元学习装置400，该元学习装置400用以执行上述实施例中的S210步骤至S290步骤的各流程步骤，并实现相应的技术效果。
具体地，请参阅图10，该元学习装置400应用于电子设备110，该元学习装置400包括数据获取和处理模块401，初始化模块402，计算模块403和训练模块404。
其中，数据获取和处理模块401用于获取原始文本数据集，将原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合。
初始化模块402用于初始化元学习器，以得到元学习器的参数，初始化待训练任务集合中各待训练任务对应的文本分类模型，以得到各文本分类模型的分类层参数。
计算模块403用于基于元学习器的参数和各分类层参数得到各分类层参数对应的梯度特征值，将各梯度特征值输入元学习器，以得到各文本分类模型的任务自适应学习率。
训练模块404用于在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到各文本分类模型收敛后的参数，作为待计算参数，基于各待训练任务和对应的待计算参数判断所述元学习器是否收敛，若否，基于各待训练任务和对应的待计算参数更新所述元学习器，返回执行初始化待训练任务集合中各待训练任务对应的文本分类模型至基于各待训练任务和对应的待计算参数判断元学习器是否收敛的步骤，直至元学习器收敛，以得到训练好的元学习器。
基于同一发明构思，本发明实施例还提供一种文本分类装置500，该文本分类装置500用以执行上述实施例中的S300步骤至S350步骤的各流程步骤，并实现相应的技术效果。
具体地，请参阅图11，该文本分类装置500应用于电子设备110，该文本分类装置500包括数据获取模块501，参数获取模块502，处理模块503和训练分类模块504。
其中，数据获取模块501用于获取目标域文本数据集，将所述目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合。
参数获取模块502用于初始化待测试任务集合中各待测试任务对应的文本分类模型，以得到各文本分类模型的分类层参数。
处理模块503用于获取训练好的元学习器的参数，作为待处理参数，基于待处理参数和各分类层参数得到各分类层参数对应的梯度特征值，其中，训练好的元学习器基于如上述发明实施例提供的元学习方法训练得到，将各梯度特征值输入训练好的元学习器，以得到各文本分类模型的任务自适应学习率。
训练分类模块504用于在基于各分类层参数判断对应的文本分类模型未收敛的情况下，基于对应的任务自适应学习率更新分类层参数，直至各文本分类模型收敛，以得到训练好的各文本分类模型，通过训练好的各文本分类模型对目标域文本数据集进行处理，以输出目标域文本数据集的分类结果。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器1102执行时实现上述实施例中提供的一种元学习方法。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述一种元学习方法的解释说明。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法，也可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种元学习方法，其特征在于，应用于电子设备，所述方法包括：
获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合；
初始化元学习器，以得到元学习器的参数；
初始化所述待训练任务集合中各待训练任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值；
将各所述梯度特征值输入所述元学习器，以得到各所述文本分类模型的任务自适应学习率；
在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数；
基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛；
若否，基于各所述待训练任务和对应的所述待计算参数更新所述元学习器，返回执行初始化所述待训练任务集合中各待训练任务对应的文本分类模型至基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，直至所述元学习器收敛，以得到训练好的元学习器。
2.根据权利要求1所述的元学习方法，其特征在于，所述获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合的步骤，包括：
获取原始文本数据集，将所述原始文本数据集划分为多个任务，以得到所有待处理任务；
删除所有所述待处理任务包含的原始文本数据中的空格和标点符号，以得到待训练任务集合。
3.根据权利要求1所述的元学习方法，其特征在于，所述基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值的步骤，包括：
基于所述元学习器的参数和各所述分类层参数得到对应所述文本分类模型的损失函数；
基于各所述文本分类模型的损失函数计算对应所述分类层参数的梯度；
将各所述分类层参数的梯度和对应的所述分类层参数拼接，以得到各所述分类层参数对应的梯度特征值。
4.根据权利要求1所述的元学习方法，其特征在于，各所述待训练任务均包括支持集；
所述在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数的步骤，包括：
在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型在对应所述待训练任务的支持集上收敛，以得到各所述文本分类模型在对应所述待训练任务的支持集上收敛后的参数，作为待计算参数。
5.根据权利要求1所述的元学习方法，其特征在于，各所述待训练任务还包括查询集，所述基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，包括：
基于各所述待训练任务的查询集和对应的所述待计算参数得到所述元学习器的损失函数；
判断所述元学习器的损失函数是否小于预设阈值，以判断所述元学习器是否收敛。
6.根据权利要求5所述的元学习方法，其特征在于，所述基于各所述待训练任务和对应的所述待计算参数更新所述元学习器的步骤，包括：
基于各所述待训练任务的查询集和对应的所述待计算参数得到所述元学习器的损失函数；
基于所述元学习器的损失函数得到所述元学习器的梯度；
基于所述元学习器的梯度更新所述元学习器的参数，以更新所述元学习器。
7.一种文本分类方法，其特征在于，应用于电子设备，所述方法包括：
获取目标域文本数据集，将所述目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合；
初始化所述待测试任务集合中各待测试任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
获取训练好的元学习器的参数，作为待处理参数，基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值，其中，所述训练好的元学习器基于如权利要求1-6任一项所述的元学习方法训练得到；
将各所述梯度特征值输入所述训练好的元学习器，以得到各所述文本分类模型的任务自适应学习率；
在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到训练好的各所述文本分类模型；
通过训练好的各所述文本分类模型对所述目标域文本数据集进行处理，以输出所述目标域文本数据集的分类结果。
8.根据权利要求7所述的文本分类方法，其特征在于，所述基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值的步骤，包括：
基于所述待处理参数和各所述分类层参数得到对应所述文本分类模型的损失函数；
基于各所述文本分类模型的损失函数计算对应所述分类层参数的梯度；
将各所述分类层参数的梯度和对应的所述分类层参数拼接，以得到各所述分类层参数对应的梯度特征值。
9.一种元学习装置，其特征在于，应用于电子设备，所述装置包括：
数据获取和处理模块，用于获取原始文本数据集，将所述原始文本数据集划分为多个任务并进行预处理，以得到待训练任务集合；
初始化模块，用于初始化元学习器，以得到元学习器的参数；初始化所述待训练任务集合中各待训练任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
计算模块，用于基于所述元学习器的参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值；将各所述梯度特征值输入所述元学习器，以得到各所述文本分类模型的任务自适应学习率；
训练模块，用于在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到各所述文本分类模型收敛后的参数，作为待计算参数；基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛；若否，基于各所述待训练任务和对应的所述待计算参数更新所述元学习器，返回执行初始化所述待训练任务集合中各待训练任务对应的文本分类模型至基于各所述待训练任务和对应的所述待计算参数判断所述元学习器是否收敛的步骤，直至所述元学习器收敛，以得到训练好的元学习器。
10.一种文本分类装置，其特征在于，应用于电子设备，所述装置包括：
数据获取模块，用于获取目标域文本数据集，将所述目标域文本数据集划分为多个任务并进行预处理，以得到待测试任务集合；
参数获取模块，用于初始化所述待测试任务集合中各待测试任务对应的文本分类模型，以得到各所述文本分类模型的分类层参数；
处理模块，用于获取训练好的元学习器的参数，作为待处理参数，基于所述待处理参数和各所述分类层参数得到各所述分类层参数对应的梯度特征值，其中，所述训练好的元学习器基于如权利要求1-6任一项所述的元学习方法训练得到；将各所述梯度特征值输入所述训练好的元学习器，以得到各所述文本分类模型的任务自适应学习率；
训练分类模块，用于在基于各所述分类层参数判断对应的所述文本分类模型未收敛的情况下，基于对应的所述任务自适应学习率更新所述分类层参数，直至各所述文本分类模型收敛，以得到训练好的各所述文本分类模型；通过训练好的各所述文本分类模型对所述目标域文本数据集进行处理，以输出所述目标域文本数据集的分类结果。
11.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，以实现如权利要求1-6任一项所述的元学习方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项的元学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994203.6A CN116737939B (zh) | 2023-08-09 | 2023-08-09 | 元学习方法、文本分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994203.6A CN116737939B (zh) | 2023-08-09 | 2023-08-09 | 元学习方法、文本分类方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116737939A true CN116737939A (zh) | 2023-09-12 |
| CN116737939B CN116737939B (zh) | 2023-11-03 |
Family
ID=87901584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310994203.6A Active CN116737939B (zh) | 2023-08-09 | 2023-08-09 | 元学习方法、文本分类方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737939B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574146A (zh) * | 2023-11-15 | 2024-02-20 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728689B1 (en) * | 2000-11-14 | 2004-04-27 | International Business Machines Corporation | Method and apparatus for generating a data classification model using interactive adaptive learning algorithms |
| CN112862094A (zh) * | 2021-01-29 | 2021-05-28 | 中国人民解放军国防科技大学 | 一种基于元学习的快速适应drbm方法 |
| CN113434648A (zh) * | 2021-06-24 | 2021-09-24 | 平安科技（深圳）有限公司 | 文本分类模型的元学习方法、装置、设备及存储介质 |
| CN113705215A (zh) * | 2021-08-27 | 2021-11-26 | 南京大学 | 一种基于元学习的大规模多标签文本分类方法 |
| CN114491039A (zh) * | 2022-01-27 | 2022-05-13 | 四川大学 | 基于梯度改进的元学习少样本文本分类方法 |
| CN116109901A (zh) * | 2023-02-17 | 2023-05-12 | 中国科学院上海高等研究院 | 自适应正则化扭曲梯度下降的小样本元学习方法、系统、终端及介质 |
-
2023
- 2023-08-09 CN CN202310994203.6A patent/CN116737939B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728689B1 (en) * | 2000-11-14 | 2004-04-27 | International Business Machines Corporation | Method and apparatus for generating a data classification model using interactive adaptive learning algorithms |
| CN112862094A (zh) * | 2021-01-29 | 2021-05-28 | 中国人民解放军国防科技大学 | 一种基于元学习的快速适应drbm方法 |
| CN113434648A (zh) * | 2021-06-24 | 2021-09-24 | 平安科技（深圳）有限公司 | 文本分类模型的元学习方法、装置、设备及存储介质 |
| CN113705215A (zh) * | 2021-08-27 | 2021-11-26 | 南京大学 | 一种基于元学习的大规模多标签文本分类方法 |
| CN114491039A (zh) * | 2022-01-27 | 2022-05-13 | 四川大学 | 基于梯度改进的元学习少样本文本分类方法 |
| CN116109901A (zh) * | 2023-02-17 | 2023-05-12 | 中国科学院上海高等研究院 | 自适应正则化扭曲梯度下降的小样本元学习方法、系统、终端及介质 |
Non-Patent Citations (2)
| Title |
|---|
| RICARDO VILALTA ET AL: "A Perspective View and Suevey of Meta-Learning", 《ARTIFICIAL INTELLIGENT REVIEW》, vol. 18, no. 2, pages 77 - 95, XP019228087, DOI: 10.1023/A:1019956318069 * |
| 熊伟 等: "基于元学习的不平衡少样本情况下的文本分类研究", 《中文信息学报》, vol. 36, no. 1, pages 104 - 116 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574146A (zh) * | 2023-11-15 | 2024-02-20 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
| CN117574146B (zh) * | 2023-11-15 | 2024-05-28 | 广州方舟信息科技有限公司 | 文本分类标注方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116737939B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121700B (zh) | 一种关键词提取方法、装置及电子设备 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
| CN112435656B (zh) | 模型训练方法、语音识别方法、装置、设备及存储介质 | |
| WO2021103761A1 (zh) | 化合物的性质分析方法、模型训练方法、装置及存储介质 | |
| CN112347367B (zh) | 信息服务提供方法、装置、电子设备和存储介质 | |
| Windiatmoko et al. | Developing facebook chatbot based on deep learning using rasa framework for university enquiries | |
| CN116737939B (zh) | 元学习方法、文本分类方法、装置、电子设备及存储介质 | |
| CN113849648B (zh) | 分类模型训练方法、装置、计算机设备和存储介质 | |
| CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
| CN112732910B (zh) | 跨任务文本情绪状态评估方法、系统、装置及介质 | |
| CN113554175B (zh) | 一种知识图谱构建方法、装置、可读存储介质及终端设备 | |
| CN113268560A (zh) | 用于文本匹配的方法和装置 | |
| CN113505154B (zh) | 一种基于大数据的数字阅读统计分析方法及系统 | |
| CN116662555B (zh) | 一种请求文本处理方法、装置、电子设备及存储介质 | |
| CN117932058A (zh) | 基于文本分析的情绪识别方法、装置及设备 | |
| CN112163415A (zh) | 针对反馈内容的用户意图识别方法、装置及电子设备 | |
| CN117290596A (zh) | 用于多模态数据模型的推荐标签生成方法、装置、设备及介质 | |
| KR20220105792A (ko) | 동적 텍스트 소스를 활용한 ai 기반 의사결정지원 시스템 | |
| CN117216265A (zh) | 一种基于改进的图注意力网络新闻主题分类方法 | |
| CN116342906A (zh) | 一种跨域小样本图像识别方法及系统 | |
| CN113434630B (zh) | 客服服务评估方法、装置、终端设备及介质 | |
| CN116187301A (zh) | 模型生成、实体识别方法、装置、电子设备及存储介质 | |
| CN113722477B (zh) | 基于多任务学习的网民情绪识别方法、系统及电子设备 | |
| CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |