CN114330474A - 一种数据处理方法、装置、计算机设备以及存储介质 - Google Patents
一种数据处理方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN114330474A CN114330474A CN202111220149.7A CN202111220149A CN114330474A CN 114330474 A CN114330474 A CN 114330474A CN 202111220149 A CN202111220149 A CN 202111220149A CN 114330474 A CN114330474 A CN 114330474A
- Authority
- CN
- China
- Prior art keywords
- model
- initial
- vector
- natural language
- language type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 319
- 238000003058 natural language processing Methods 0.000 claims abstract description 158
- 230000003068 static effect Effects 0.000 claims abstract description 150
- 238000012549 training Methods 0.000 claims abstract description 149
- 230000004927 fusion Effects 0.000 claims abstract description 117
- 239000011159 matrix material Substances 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 239000010410 layer Substances 0.000 description 7
- 238000013145 classification model Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本申请实施例公开一种数据处理方法、装置、计算机设备以及存储介质，其中方法包括如下步骤：从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。采用本申请，可以在模型微调阶段提高模型训练的效率，增加模型的可扩展性。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及一种数据处理方法、装置、计算机设备以及存储介质。
背景技术
随着预训练语言模型在自然语言理解任务中的广泛使用，人们更加关注如何更好的训练质量高并且效率快的语言模型，并且更好的服务于下游任务。但往往训练大规模的语言模型需要消耗巨大的计算资源，而且在使用的时候加载模型速度慢，因此在技术应用和落地上普遍使用微调的方式。然而在预训练中，自监督的语言模型很难捕捉高阶准确的词法、语法知识，训练需要消耗大量时间，同时针对不同的语言类型需要不同的预训练模型，可扩展性差。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备以及存储介质，可以在模型微调阶段提高模型训练的效率，增加模型的可扩展性。
本申请实施例一方面提供了一种数据处理方法，可包括：
从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
在一种可行的实施方式中，还包括：
通过词向量训练，获取至少两种语言类型分别对应的静态词向量矩阵；每个语言类型的静态词向量矩阵由至少两个静态词向量组成；
根据所述至少两种语言类型分别对应的静态词向量矩阵，生成各语言类型的静态词向量矩阵之间的转换矩阵。
在一种可行的实施方式中，所述基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。
在一种可行的实施方式中，所述根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。
在一种可行的实施方式中，所述根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵；
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量；
将所述特征向量与所述第二静态词向量进行拼接，生成融合向量。
在一种可行的实施方式中，所述基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，包括：
基于所述融合向量更新初始自然语言处理模型的特征向量，通过更新后的特征向量和初始自然语言处理模型生成目标语料数据对应的输出结果；
基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
在一种可行的实施方式中，所述基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，包括：
根据所述输出结果和所述目标语料数据的样本标签调整所述初始自然语言处理模型的模型参数，所述初始自然语言处理模型的模型参数包括所述初始预训练网络模型的模型参数和所述初始任务模型的模型参数；
当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型。
本申请实施例一方面提供了一种数据处理装置，可包括：
语料数据获取单元，用于从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
特征融合单元，用于基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
模型训练单元，用于基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
在一种可行的实施方式中，还包括：
转换矩阵生成单元，用于通过词向量训练，获取至少两种语言类型分别对应的静态词向量矩阵；每个语言类型的静态词向量矩阵由至少两个静态词向量组成；
根据所述至少两种语言类型分别对应的静态词向量矩阵，生成各语言类型的静态词向量矩阵之间的转换矩阵。
在一种可行的实施方式中，所述特征融合单元包括：
第一特征融合子单元，用于若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
第二特征融合子单元，用于若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。
在一种可行的实施方式中，所述第一特征融合子单元具体用于：
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。
在一种可行的实施方式中，所述第二特征融合子单元具体用于：
获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵；
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量；
将所述特征向量与所述第二静态词向量进行拼接，生成融合向量。
在一种可行的实施方式中，所述模型训练单元包括：
结果输出子单元，用于基于所述融合向量更新初始自然语言处理模型的特征向量，通过更新后的特征向量和初始自然语言处理模型生成目标语料数据对应的输出结果；
模型训练子单元，用于基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
在一种可行的实施方式中，所述模型训练子单元具体用于：
根据所述输出结果和所述目标语料数据的样本标签调整所述初始自然语言处理模型的模型参数，所述初始自然语言处理模型的模型参数包括所述初始预训练网络模型的模型参数和所述初始任务模型的模型参数；
当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型。
本申请实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例一方面提供了一种计算机设备，包括：处理器、存储器以及网络接口；所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供网络通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码执行上述的方法步骤。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法步骤。
在本申请实施例中，通过从训练数据集合中获取目标语料数据，并将所述目标语料数据输入初始自然语言处理模型，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，目标语料数据包括样本标签，目标语料数据对应第一语言类型，初始预训练网络模型基于第二语言类型训练完成，进一步的，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，最后基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，自然语言处理模型用于自然语言处理任务。采用上述方法，可以减少模型微调阶段的训练时间，提高了模型训练的效率，同时可以基于同一个预训练模型处理不同语言类型的自然语言任务，增加了模型的可扩展性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理的网络架构图；
图2是本申请实施例提供的一种数据处理方法的流程示意图；
图3是本申请实施例提供的一种数据处理方法的流程示意图；
图4是本申请实施例提供的一种初始自然语言处理模型的举例示意图；
图5是本申请实施例提供的一种数据处理装置的结构示意图；
图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，图1是本申请实施例提供的数据处理的网络架构图。该网络架构图可以包括业务服务器100以及用户终端集群，该用户终端集群可以包括用户终端10a、用户终端10b、…、用户终端10c，其中，用户终端集群之间可以存在通信连接，例如用户终端10a与用户终端10b之间存在通信连接，用户终端10b与用户终端10c之间存在通信连接，且用户终端集群中的任一用户终端可以与业务服务器100存在通信连接，例如用户终端10a与业务服务器100之间存在通信连接，用户终端10b与业务服务器100之间存在通信连接。
其中，上述用户终端集群(也包括上述的用户终端10a、用户终端10b以及用户终端10c)均可以集成安装有目标应用。可选的，该目标应用可以包括具有展示文字、图像以及视频等数据信息功能的应用。数据库10d中存储了训练数据集合和自然语言处理模型，训练数据集合中包括目标语料数据，目标语料数据用于训练生成自然语言处理模型。在一种可行的实施方式中，用户终端通过从训练数据集合中获取目标语料数据，并将所述目标语料数据输入初始自然语言处理模型，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，目标语料数据包括样本标签，目标语料数据对应第一语言类型，初始预训练网络模型基于第二语言类型训练完成，进一步的，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，最后基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。可选的，上述用户终端可以为在上述图1所对应实施例的用户终端集群中所选取的任意一个用户终端，比如，该用户终端可以为上述用户终端10b。
上述自然语言处理模型用于自然语言处理任务。自然语言处理(Nature Languageprocessing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
可以理解的是，本申请实施例所提供的方法可以由计算机设备执行，计算机设备包括但不限于终端或服务器，本申请实施例中的业务服务器100可以为计算机设备，用户终端集群中的用户终端也可以为计算机设备，此处不限定。上述业务服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以包括：智能手机、平板电脑、笔记本电脑、车载终端、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表等携带图像识别功能的智能终端，但并不局限于此。其中，用户终端以及业务服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
进一步地，为便于理解，请参见图2，图2是本申请实施例提供的数据处理方法的流程示意图。该方法可以由用户终端(例如，上述图1所示的用户终端)执行，也可以由用户终端和业务服务器(如上述图1所对应实施例中的业务服务器100)共同执行。为便于理解，本实施例以该方法由上述用户终端执行为例进行说明。其中，该数据处理方法至少可以包括以下步骤S101-步骤S103：
S101，从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；
具体的，用户终端可以从训练数据集合中获取目标语料数据，所述训练数据集合中包括目标语料数据，目标语料数据包括样本标签，目标语料数据用于训练初始自然语言处理模型，所述目标语料数据对应第一语言类型，例如，第一语言类型可以是中文或者是英文。进一步的，用户终端将所述目标语料数据输入初始自然语言处理模型，可以理解的是，所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型，初始预训练语言模型是使用transformers或者双向LSTM等神经网络结构建模大规模语料预先训练完成的网络模型，初始预训练语言模型优化的目标函数通常是语言模型或者掩盖语言模型(MaskedLanguage Model)，初始预训练网络模型是基于第二语言类型训练完成，第一语言类型与第二语言类型可以相同，也可以不相同。初始预训练网络模型具体可以是BERT，RoBERTa等，初始任务模型是处理自然语言下游任务的模型，具体可以使文本分类、情感分类等等，例如用于分类的单层神经网络(MLP)，在具体的自然语言处理任务中(例如文本分类)，初始自然语言处理模型中的初始预训练网络模型只需要进行微调，可以大大缩短模型的训练时间。
S102，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
具体的，用户终端基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，可以理解的是，所述静态词向量矩阵是通过建模大规模语料中单词之间的共现信息将词表中的每一个单词映射到一个实数向量。常见的训练静态词向量矩阵的方法包括Skip-Gram，Glove和DSG等。每种语言类型对应一个静态词向量矩阵，不同的语言类型之间的静态词向量矩阵可以通过转换矩阵进行映射表示。
若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。需要说明的是，初始预训练网络模型包括多个特征层，例如，初始预训练网络模型采用transformer结构，则初始预训练网络模型中可以有多个transformer层，特征向量可以是任意一个transformer层中的特征向量，也可以是多个transformer层的特征向量，在此不做限定。特征融合是对特征向量和静态词向量进行融合处理，融合处理包括向量拼接，向量求和，向量平均等，特征融合可以通过融合函数实现，具体的，若所述第一语言类型与所述第二语言类型相同，则融合函数为：Hij＝f(xj,hij)，其中，Hij为融合向量，xj为静态词向量，hij为特征向量，若所述第一语言类型与所述第二语言类型相同，则融合函数为：Hij＝f(Mxj,hij)，其中，Hij为融合向量，xj为静态词向量，hij为特征向量，M为第一语言类型与第二语言类型之间的静态词向量矩阵的转换矩阵。
S103，基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
具体的，用户终端基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，可以理解的是，用户终端基于所述融合向量更新初始自然语言处理模型的特征向量，即将融和向量作为初始自然语言处理模型中的特征向量，基于融合向量和初始自然语言处理模型生成目标语料数据对应的输出结果，进一步基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
在本申请实施例中，通过从训练数据集合中获取目标语料数据，并将所述目标语料数据输入初始自然语言处理模型，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，目标语料数据包括样本标签，目标语料数据对应第一语言类型，初始预训练网络模型基于第二语言类型训练完成，进一步的，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，最后基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，自然语言处理模型用于自然语言处理任务。采用上述方法，可以减少模型微调阶段的训练时间，提高了模型训练的效率，同时可以基于同一个预训练模型处理不同语言类型的自然语言任务，增加了模型的可扩展性。
请参见图3，图3是本申请实施例提供的数据处理方法的流程示意图。该方法可以由用户终端(例如，上述图1所示的用户终端)执行，也可以由用户终端和业务服务器(如上述图1所对应实施例中的业务服务器100)共同执行。为便于理解，本实施例以该方法由上述用户终端执行为例进行说明。其中，该数据处理方法至少可以包括以下步骤S201-步骤S206：
S201，生成至少两种语言类型分别对应的静态词向量矩阵之间的转换矩阵；
具体的，用户终端通过词向量训练，获取至少两种语言类型分别对应的静态词向量矩阵，例如，可以通过word2vec训练单词词向量的方法对不同的语言类型文本进行训练，得到各个语言类型对应的静态词向量矩阵，静态词向量矩阵可以表示为Xl，其中，l为语言类型的标识，每种语言类型的每一个词都对应一个词向量，每个语言类型的静态词向量矩阵由至少两个静态词向量组成，词向量可以表示为
其中，i为词对应位置。
进一步的，根据所述至少两种语言类型分别对应的静态词向量矩阵，生成各语言类型的静态词向量矩阵之间的转换矩阵，例如，中文对应的静态词向量矩阵为Xcn，英文对应的静态词向量矩阵为Xen，则可以生成一个转换矩阵M，使得Xcn＝MXen。
S202，从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
其中，本发明实施例的步骤S202参见图2所示实施例的步骤S101的具体描述，在此不进行赘述。
S203，若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
具体的，若所述第一语言类型与所述第二语言类型相同，则用户终端从所述初始预训练网络模型中获取特征向量，并从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量，进一步将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。
S204，若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。
具体的，若所述第一语言类型与所述第二语言类型不相同，则用户终端获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，从所述初始预训练网络模型中获取特征向量，并从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量，进一步根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量，例如，第一静态词向量xj，M为转换矩阵，则第二静态词向量为Mxj，进一步的，将所述特征向量与所述第二静态词向量进行拼接，生成融合向量。
S205，基于所述融合向量更新初始自然语言处理模型的特征向量，通过更新后的特征向量和初始自然语言处理模型生成目标语料数据对应的输出结果；
具体的，用户终端基于所述融合向量更新初始自然语言处理模型的特征向量，可以理解的是，用户终端将融和向量作为初始自然语言处理模型中的特征向量，进一步基于融合向量和初始自然语言处理模型生成目标语料数据对应的输出结果。
S206，基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
具体的，用户终端根据所述输出结果和所述目标语料数据的样本标签调整所述初始自然语言处理模型的模型参数，具体的，输出结果和目标语料数据的样本标签可以通过cross-entropy loss进行优化。所述初始自然语言处理模型的模型参数包括所述初始预训练网络模型的模型参数和所述初始任务模型的模型参数，当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型，初始自然语言处理模型的收敛条件具体可以是模型的损失函数小于函数阈值或者模型的训练次数大于次数阈值。
下面请参见图4，图4是本申请实施例提供的一种初始自然语言处理模型的举例示意图，如图4所示，采用初始自然语言处理模型处理自然语言中的情感分类问题进行说明，图中是对初始自然语言处理模型的训练过程，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，初始预训练语言模型是使用transformers结构的网络，初始预训练语言模型中包括多个transformers层，初始任务模型采用初始情感分类模型，初始情感分类模型用于输出语料的情感类型。用户采用训练数据集合中目标语料数据对初始预训练语言模型进行训练，具体过程如下，目标语料数据中包括样本标签，样本标签为目标语料数据的情感类型，具体的，情感类型可以包括消极、中性和积极，用户终端从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成，若第一语言类型与所述第二语言类型相同，则用户终端从所述初始预训练网络模型中的transformer层获取特征向量，并从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量，进一步将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。若所述第一语言类型与所述第二语言类型不相同，则用户终端获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，从所述初始预训练网络模型中的transformer层获取特征向量，并从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量，进一步根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量。需要说明的是，图4中的静态词向量可以是第一静态词向量，也可以是第二静态词向量。
进一步的，用户终端将融和向量作为初始自然语言处理模型中transformer层的特征向量，基于融合向量和初始自然语言处理模型的初始预训练语言模型生成目标语料数据中每个词对应的输出向量，进一步的，将目标语料数据标签位置对应的输出向量作为初始自然语言处理模型中初始情感分类模型的输入，通过初始情感分类模型生成目标语料数据对应的输出结果，所述输出结果为目标语料数据的情感类型，进一步基于所述输出结果和所述目标语料数据的样本标签调整初始预训练网络模型的模型参数和初始情感分类模型的模型参数，当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型，即完成对自然语言处理模型的训练，上述自然语言处理模型可用于识别文本的情感类型。
在本申请实施例中，通过从训练数据集合中获取目标语料数据，并将所述目标语料数据输入初始自然语言处理模型，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，目标语料数据包括样本标签，目标语料数据对应第一语言类型，初始预训练网络模型基于第二语言类型训练完成，进一步的，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，最后基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，自然语言处理模型用于自然语言处理任务。采用上述方法，可以减少模型微调阶段的训练时间，提高了模型训练的效率，同时可以基于同一个预训练模型处理不同语言类型的自然语言任务，增加了模型的可扩展性。
请参见图5，图5是本申请实施例提供的一种数据处理装置的结构示意图。所述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图5所示，本申请实施例的所述数据处理装置1可以包括：语料数据获取单元11、特征融合单元12、模型训练单元13。
语料数据获取单元11，用于从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
特征融合单元12，用于基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
模型训练单元13，用于基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
请参见图5，本申请实施例的所述数据处理装置1可以还包括：转换矩阵生成单元14。
转换矩阵生成单元14，用于通过词向量训练，获取至少两种语言类型分别对应的静态词向量矩阵；每个语言类型的静态词向量矩阵由至少两个静态词向量组成；
根据所述至少两种语言类型分别对应的静态词向量矩阵，生成各语言类型的静态词向量矩阵之间的转换矩阵。
请参见图5，本申请实施例的所述特征融合单元12可以包括：第一特征融合子单元121、第二特征融合子单元122。
第一特征融合子单元121，用于若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
第二特征融合子单元122，用于若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。
在一种可行的实施方式中，所述第一特征融合子单元121具体用于：
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。
在一种可行的实施方式中，所述第二特征融合子单元122具体用于：
获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵；
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量；
将所述特征向量与所述第二静态词向量进行拼接，生成融合向量。
请参见图5，本申请实施例的所述模型训练单元13可以包括：结果输出子单元131、模型训练子单元132。
结果输出子单元131，用于基于所述融合向量更新初始自然语言处理模型的特征向量，通过更新后的特征向量和初始自然语言处理模型生成目标语料数据对应的输出结果；
模型训练子单元132，用于基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
在一种可行的实施方式中，所述模型训练子单元132具体用于：
根据所述输出结果和所述目标语料数据的样本标签调整所述初始自然语言处理模型的模型参数，所述初始自然语言处理模型的模型参数包括所述初始预训练网络模型的模型参数和所述初始任务模型的模型参数；
当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型。
在本申请实施例中，通过从训练数据集合中获取目标语料数据，并将所述目标语料数据输入初始自然语言处理模型，初始自然语言处理模型包括初始预训练网络模型和初始任务模型，目标语料数据包括样本标签，目标语料数据对应第一语言类型，初始预训练网络模型基于第二语言类型训练完成，进一步的，基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，最后基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，自然语言处理模型用于自然语言处理任务。采用上述方法，可以减少模型微调阶段的训练时间，提高了模型训练的效率，同时可以基于同一个预训练模型处理不同语言类型的自然语言任务，增加了模型的可扩展性。
请参见图6，图6是本申请实施例提供的一种计算机设备的结构示意图。如图6所示，所述计算机设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是随机存取存储器(Random Access Memory，RAM)，也可以是非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理应用程序。
在图6所示的计算机设备1000中，网络接口1004可提供网络通讯功能，用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的数据处理应用程序，以实现上述图2-图4任一个所对应实施例中对所述数据处理方法的描述，在此不再赘述。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图2-图4任一个所对应实施例中对所述数据处理方法的描述，也可执行前文图5所对应实施例中对所述数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2-图4任一个所对应实施例中对所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行，分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述计算机可读存储介质可以是前述任一实施例提供的一种数据处理装置或者上述设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(securedigital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其它程序和数量。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本发明的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (11)
1.一种数据处理方法，其特征在于，包括：
从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
2.根据权利要求1所述的方法，其特征在于，还包括：
通过词向量训练，获取至少两种语言类型分别对应的静态词向量矩阵；每个语言类型的静态词向量矩阵由至少两个静态词向量组成；
根据所述至少两种语言类型分别对应的静态词向量矩阵，生成各语言类型的静态词向量矩阵之间的转换矩阵。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
若所述第一语言类型与所述第二语言类型相同，则根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
若所述第一语言类型与所述第二语言类型不相同，则根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一语言类型对应的静态词向量矩阵对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
将所述特征向量与所述第一静态词向量进行拼接，生成融合向量。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一语言类型对应的静态词向量矩阵，所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量，包括：
获取所述第一语言类型的静态词向量矩阵和所述第二语言类型的静态词向量矩阵之间的转换矩阵；
从所述初始预训练网络模型中获取特征向量；
从所述第一语言类型对应的静态词向量矩阵中获取所述特征向量对应的第一静态词向量；
根据所述转换矩阵将所述第一静态词向量转换为第二语言类型对应的第二静态词向量；
将所述特征向量与所述第二静态词向量进行拼接，生成融合向量。
6.根据权利要求1所述的方法，其特征在于，所述基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，包括：
基于所述融合向量更新初始自然语言处理模型的特征向量，通过更新后的特征向量和初始自然语言处理模型生成目标语料数据对应的输出结果；
基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述输出结果和所述目标语料数据的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型，包括：
根据所述输出结果和所述目标语料数据的样本标签调整所述初始自然语言处理模型的模型参数，所述初始自然语言处理模型的模型参数包括所述初始预训练网络模型的模型参数和所述初始任务模型的模型参数；
当调整后的初始自然语言处理模型满足收敛条件时，将包含调整后的模型参数的初始自然语言处理模型确定为自然语言处理模型。
8.一种数据处理装置，其特征在于，包括：
语料数据获取单元，用于从训练数据集合中获取目标语料数据，将所述目标语料数据输入初始自然语言处理模型；所述初始自然语言处理模型包括初始预训练网络模型和初始任务模型；所述目标语料数据包括样本标签，所述目标语料数据对应第一语言类型，所述初始预训练网络模型基于第二语言类型训练完成；
特征融合单元，用于基于所述第一语言类型和所述第二语言类型，根据所述第一语言类型对应的静态词向量矩阵，对所述初始预训练网络模型中的特征向量进行特征融合生成融合向量；
模型训练单元，用于基于所述融合向量和目标语料数据对应的样本标签，对所述初始自然语言处理模型进行训练生成自然语言处理模型；所述自然语言处理模型用于自然语言处理任务。
9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；
所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供网络通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行权利要求1-7任一项所述的方法。
11.一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，以执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220149.7A CN114330474B (zh) | 2021-10-20 | 2021-10-20 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220149.7A CN114330474B (zh) | 2021-10-20 | 2021-10-20 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114330474A true CN114330474A (zh) | 2022-04-12 |
| CN114330474B CN114330474B (zh) | 2024-04-26 |
Family
ID=81045150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111220149.7A Active CN114330474B (zh) | 2021-10-20 | 2021-10-20 | 一种数据处理方法、装置、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114330474B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114995903A (zh) * | 2022-05-30 | 2022-09-02 | 中电金信软件有限公司 | 一种基于预训练语言模型的类别标签识别方法及装置 |
| CN116614431A (zh) * | 2023-07-19 | 2023-08-18 | 中国电信股份有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023226309A1 (zh) * | 2022-05-24 | 2023-11-30 | 华为云计算技术有限公司 | 一种模型训练方法及相关设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110083A (zh) * | 2019-04-17 | 2019-08-09 | 华东理工大学 | 一种文本的情感分类方法、装置、设备及存储介质 |
| JP2019139771A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社リコー | 文字形状特徴の抽出方法、文字形状特徴の抽出装置、電子機器、及び記憶媒体 |
| CN110678881A (zh) * | 2017-05-19 | 2020-01-10 | 易享信息技术有限公司 | 使用特定于上下文的词向量的自然语言处理 |
| WO2020046807A1 (en) * | 2018-08-30 | 2020-03-05 | Google Llc | Cross-lingual classification using multilingual neural machine translation |
| US20200387675A1 (en) * | 2019-06-05 | 2020-12-10 | Refinitiv Us Organization Llc | Machine-learning natural language processing classifier |
| WO2020258661A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 基于循环神经网络和声学特征的说话人分离方法及装置 |
| CN112541343A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 基于词对齐的半监督对抗学习跨语言摘要生成方法 |
| CN112818123A (zh) * | 2021-02-08 | 2021-05-18 | 河北工程大学 | 一种文本的情感分类方法 |
| CN112860871A (zh) * | 2021-03-17 | 2021-05-28 | 网易（杭州）网络有限公司 | 自然语言理解模型训练方法、自然语言理解方法及装置 |
| US20210224479A1 (en) * | 2020-01-19 | 2021-07-22 | Beijing Xiaomi Pinecone Electronics Co., Ltd. | Method for processing information, and storage medium |
| CN113158624A (zh) * | 2021-04-09 | 2021-07-23 | 中国人民解放军国防科技大学 | 事件抽取中融合语言信息微调预训练语言模型的方法及系统 |
| CN113342927A (zh) * | 2021-04-28 | 2021-09-03 | 平安科技（深圳）有限公司 | 敏感词识别方法、装置、设备及存储介质 |
| CN113343694A (zh) * | 2021-04-29 | 2021-09-03 | 山东师范大学 | 一种医疗命名实体识别方法及系统 |
| US20210303803A1 (en) * | 2020-03-25 | 2021-09-30 | International Business Machines Corporation | Text style transfer using reinforcement learning |
-
2021
- 2021-10-20 CN CN202111220149.7A patent/CN114330474B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110678881A (zh) * | 2017-05-19 | 2020-01-10 | 易享信息技术有限公司 | 使用特定于上下文的词向量的自然语言处理 |
| JP2019139771A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社リコー | 文字形状特徴の抽出方法、文字形状特徴の抽出装置、電子機器、及び記憶媒体 |
| WO2020046807A1 (en) * | 2018-08-30 | 2020-03-05 | Google Llc | Cross-lingual classification using multilingual neural machine translation |
| CN110110083A (zh) * | 2019-04-17 | 2019-08-09 | 华东理工大学 | 一种文本的情感分类方法、装置、设备及存储介质 |
| US20200387675A1 (en) * | 2019-06-05 | 2020-12-10 | Refinitiv Us Organization Llc | Machine-learning natural language processing classifier |
| WO2020258661A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 基于循环神经网络和声学特征的说话人分离方法及装置 |
| US20210224479A1 (en) * | 2020-01-19 | 2021-07-22 | Beijing Xiaomi Pinecone Electronics Co., Ltd. | Method for processing information, and storage medium |
| US20210303803A1 (en) * | 2020-03-25 | 2021-09-30 | International Business Machines Corporation | Text style transfer using reinforcement learning |
| CN112541343A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 基于词对齐的半监督对抗学习跨语言摘要生成方法 |
| CN112818123A (zh) * | 2021-02-08 | 2021-05-18 | 河北工程大学 | 一种文本的情感分类方法 |
| CN112860871A (zh) * | 2021-03-17 | 2021-05-28 | 网易（杭州）网络有限公司 | 自然语言理解模型训练方法、自然语言理解方法及装置 |
| CN113158624A (zh) * | 2021-04-09 | 2021-07-23 | 中国人民解放军国防科技大学 | 事件抽取中融合语言信息微调预训练语言模型的方法及系统 |
| CN113342927A (zh) * | 2021-04-28 | 2021-09-03 | 平安科技（深圳）有限公司 | 敏感词识别方法、装置、设备及存储介质 |
| CN113343694A (zh) * | 2021-04-29 | 2021-09-03 | 山东师范大学 | 一种医疗命名实体识别方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| KE TIAN ET AL.: "Quality Estimation for Machine Translation with Multi-granularity Interaction", 《MACHINE TRANSLATION》, 14 January 2021 (2021-01-14), pages 55 - 65 * |
| 孙杰等: "基于CMN网络的低资源柯尔克孜语识别研究", 《现代电子技术》, vol. 41, no. 24, pages 132 - 140 * |
| 岳增营等: "基于语言模型的预训练技术研究综述", 《中文信息学报》, vol. 35, no. 9, 30 September 2021 (2021-09-30), pages 15 - 29 * |
| 陈珂等: "用于微博情感分析的深度学习网络模型", 《计算机与数字工程》, vol. 48, no. 7, 31 July 2020 (2020-07-31), pages 1674 - 1681 * |
| 高国骥: "基于跨语言分布式表示的跨语言文本分类", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 27 - 45 * |
| 魏上斐等: "基于预训练语言模型词向量融合的情感分析研究", 《计算机应用与软件》, vol. 38, no. 5, 31 May 2021 (2021-05-31), pages 152 - 157 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226309A1 (zh) * | 2022-05-24 | 2023-11-30 | 华为云计算技术有限公司 | 一种模型训练方法及相关设备 |
| CN114995903A (zh) * | 2022-05-30 | 2022-09-02 | 中电金信软件有限公司 | 一种基于预训练语言模型的类别标签识别方法及装置 |
| CN116614431A (zh) * | 2023-07-19 | 2023-08-18 | 中国电信股份有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN116614431B (zh) * | 2023-07-19 | 2023-10-03 | 中国电信股份有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114330474B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347835B (zh) | 文本聚类方法、电子装置及存储介质 | |
| CN114330474B (zh) | 一种数据处理方法、装置、计算机设备以及存储介质 | |
| CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN116861995A (zh) | 多模态预训练模型的训练及多模态数据处理方法和装置 | |
| CN111625645B (zh) | 文本生成模型的训练方法、装置和电子设备 | |
| CN113468330B (zh) | 信息获取方法、装置、设备及介质 | |
| CN113360660B (zh) | 文本类别识别方法、装置、电子设备和存储介质 | |
| US11036996B2 (en) | Method and apparatus for determining (raw) video materials for news | |
| CN113901836B (zh) | 基于上下文语义的词义消歧方法、装置及相关设备 | |
| CN114330966A (zh) | 一种风险预测方法、装置、设备以及可读存储介质 | |
| CN111898338B (zh) | 文本生成方法、装置和电子设备 | |
| CN114385780A (zh) | 程序接口信息推荐方法、装置、电子设备和可读介质 | |
| CN113688232A (zh) | 招标文本分类方法、装置、存储介质及终端 | |
| CN114462425B (zh) | 社交媒体文本处理方法、装置、设备及存储介质 | |
| CN116796730A (zh) | 基于人工智能的文本纠错方法、装置、设备及存储介质 | |
| CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
| CN112307738B (zh) | 用于处理文本的方法和装置 | |
| CN115730237B (zh) | 垃圾邮件检测方法、装置、计算机设备及存储介质 | |
| CN115129877B (zh) | 标点符号预测模型的生成方法、装置和电子设备 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN116434000A (zh) | 模型训练及物品分类方法、装置、存储介质及电子设备 | |
| CN112464654B (zh) | 关键词生成方法、装置、电子设备和计算机可读介质 | |
| CN110555207A (zh) | 语句识别方法、装置、机器设备和计算机可读存储介质 | |
| CN109800438B (zh) | 用于生成信息的方法和装置 | |
| CN114328809A (zh) | 一种数据处理方法、装置、计算机设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |