CN111368993B - 一种数据处理方法及相关设备 - Google Patents

一种数据处理方法及相关设备 Download PDF

Info

Publication number
CN111368993B
CN111368993B CN202010088948.2A CN202010088948A CN111368993B CN 111368993 B CN111368993 B CN 111368993B CN 202010088948 A CN202010088948 A CN 202010088948A CN 111368993 B CN111368993 B CN 111368993B
Authority
CN
China
Prior art keywords
layer
neural network
network model
transform
available resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010088948.2A
Other languages
English (en)
Other versions
CN111368993A (zh
Inventor
侯璐
尚利峰
蒋欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310353963.9A priority Critical patent/CN116415654A/zh
Priority to CN202010088948.2A priority patent/CN111368993B/zh
Publication of CN111368993A publication Critical patent/CN111368993A/zh
Priority to PCT/CN2020/117760 priority patent/WO2021159714A1/zh
Priority to EP20919261.6A priority patent/EP4089587A4/en
Priority to US17/882,895 priority patent/US20220383078A1/en
Application granted granted Critical
Publication of CN111368993B publication Critical patent/CN111368993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请涉及人工智能领域，公开了一种数据处理方法，包括：获取第一神经网络模型和终端设备的可用资源状态；根据所述可用资源状态确定第二神经网络模型。本申请可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。

Description

一种数据处理方法及相关设备
技术领域
本申请涉及人工智能领域，尤其涉及一种数据处理方法及相关设备。
背景技术
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。
transformer结构具有强大的语义表达能力，能捕捉文本长依赖关系。自被提出以来在以翻译为代表的一系列自然语言处理的任务上显著超越了之前的模型，基于transformer结构的预训练语言模型在问答系统,语音助手等领域也取得了非常好的效果。
然而transformer模型参数很多，当其在对时延和精度有要求的云侧或者在存储、计算、功耗有限的端侧作推理时，会出现分配给transformer模型的资源不够的情况。
发明内容
第一方面，本申请提供了一种数据处理方法，所述方法包括：
获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N。
可选地，在第一方面的一种可选设计中，所述方法还包括：获取待处理语言信息；根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，在第一方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，
所述第二intermediate layer包括的每个神经元为所述第一intermediatelayer包括的M个神经元中的一个。
可选地，在第一方面的一种可选设计中，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第一方面的一种可选设计中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，
所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第一方面的一种可选设计中，所述方法还包括：
根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，在第一方面的一种可选设计中，所述根据所述可用资源状态确定所述第二神经网络模型的尺寸信息；或，第二宽度尺寸信息，包括：
根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，在第一方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第一方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个。
可选地，在第一方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第一方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第一方面的一种可选设计中，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第一方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第一方面的一种可选设计中，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第一方面的一种可选设计中，所述方法还包括：
接收云侧设备发送的所述第一预设关联关系。
可选地，在第一方面的一种可选设计中，所述方法还包括：
向云侧设备发送所述终端设备的性能要求信息；
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第一方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第一方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第一方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第一方面的一种可选设计中，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第一方面的一种可选设计中，所述方法还包括：
接收云侧设备发送的所述第二预设关联关系。
可选地，在第一方面的一种可选设计中，所述方法还包括：
向云侧设备发送所述终端设备的性能要求信息；
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第一方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，在第一方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第一方面的一种可选设计中，
所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
第二方面，本申请提供了一种数据处理方法，所述方法包括：
获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数；根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N；获取待处理语言信息；根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，在第二方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
可选地，在第二方面的一种可选设计中，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
可选地，在第二方面的一种可选设计中，所述方法还包括：
根据所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
可选地，在第二方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第二方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第二方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第二方面的一种可选设计中，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
可选地，在第二方面的一种可选设计中，所述根据所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，包括：
根据第三预设关联关系和所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系。
可选地，在第二方面的一种可选设计中，所述第三预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述第三预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
可选地，在第二方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第二方面的一种可选设计中，所述方法还包括：
接收云侧设备发送的所述第三预设关联关系。
可选地，在第二方面的一种可选设计中，所述方法还包括：
向云侧设备发送所述终端设备的性能要求信息；
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第二方面的一种可选设计中，所述性能信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
第三方面，本申请提供了一种数据处理方法，包括：
接收终端设备发送的性能要求信息；获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；
向所述终端设备发送所述第二神经网络模型。
可选地，在第三方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediatelayer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，在第三方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，所述第二intermediatelayer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，在第三方面的一种可选设计中，所述方法还包括：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或，可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸。
可选地，在第三方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第三方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第三方面的一种可选设计中，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第三方面的一种可选设计中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第三方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第三方面的一种可选设计中，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第三方面的一种可选设计中，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第三方面的一种可选设计中，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，在第三方面的一种可选设计中，所述根据所述性能要求信息确定所述第二神经网络模型的尺寸信息，包括：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第三方面的一种可选设计中，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，在第三方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第三方面的一种可选设计中，所述第一transformer层还包括第一多头注意力MHA层，所述第二transformer层还包括第二MHA层，所述第二MHA层包括的注意力头的数量与所述第一MHA层包括的注意力头的数量的比值为第一比例值，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第三方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第三方面的一种可选设计中，所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第三方面的一种可选设计中，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第三方面的一种可选设计中，所述第二intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第三方面的一种可选设计中，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，在第三方面的一种可选设计中，所述根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，包括：
根据第二预设关联关系和所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，其中，所述第二预设关联关系表示性能要求信息和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，在第三方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第三方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
第四方面，本申请提供了一种数据处理设备，所述设备包括：
获取模块，用于获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediatelayer包括N个神经元，所述M和N为正整数；
确定模块，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；
所述获取模块，还用于获取待处理语言信息；
处理模块，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，在第四方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，
所述第二intermediate layer包括的每个神经元为所述第一intermediatelayer包括的M个神经元中的一个。
可选地，在第四方面的一种可选设计中，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第四方面的一种可选设计中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，
所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第四方面的一种可选设计中，所述确定模块还用于：
根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，在第四方面的一种可选设计中，所述确定模块具体用于：
根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，在第四方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第四方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个。
可选地，在第四方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第四方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第四方面的一种可选设计中，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第四方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第四方面的一种可选设计中，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第四方面的一种可选设计中，所述设备还包括：接收模块，用于：
接收云侧设备发送的所述第一预设关联关系。
可选地，在第四方面的一种可选设计中，所述设备还包括：发送模块，用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第四方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第四方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第四方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第四方面的一种可选设计中，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第四方面的一种可选设计中，所述接收模块，还用于：
接收云侧设备发送的所述第二预设关联关系。
可选地，在第四方面的一种可选设计中，所述发送模块，还用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第四方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，在第四方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第四方面的一种可选设计中，
所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
第五方面，本申请提供了一种数据处理设备，所述设备包括：
获取模块，用于获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数；
确定模块，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N；
所述获取模块，还用于获取待处理语言信息；
处理模块，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，在第五方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
可选地，在第五方面的一种可选设计中，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
可选地，在第五方面的一种可选设计中，所述确定模块还用于：
根据所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
可选地，在第五方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第五方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第五方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第五方面的一种可选设计中，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
可选地，在第五方面的一种可选设计中，所述确定模块，具体用于：
根据第三预设关联关系和所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系。
可选地，在第五方面的一种可选设计中，所述第三预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述第三预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
可选地，在第五方面的一种可选设计中，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，在第五方面的一种可选设计中，所述设备还包括接收模块，用于：
接收云侧设备发送的所述第三预设关联关系。
可选地，在第五方面的一种可选设计中，所述设备还包括发送模块，用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，在第五方面的一种可选设计中，所述性能信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
第六方面，本申请提供了一种数据处理设备，所述设备包括：
接收模块，用于接收终端设备发送的性能要求信息；
获取模块，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
确定模块，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；
发送模块，用于向所述终端设备发送所述第二神经网络模型。
可选地，在第六方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediatelayer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，在第六方面的一种可选设计中，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，所述第二intermediatelayer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，在第六方面的一种可选设计中，所述发送模块，还用于：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或，可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸。
可选地，在第六方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第六方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第六方面的一种可选设计中，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第六方面的一种可选设计中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第六方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第六方面的一种可选设计中，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第六方面的一种可选设计中，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第六方面的一种可选设计中，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，在第六方面的一种可选设计中，所述确定模块，具体用于：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第六方面的一种可选设计中，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，在第六方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，在第六方面的一种可选设计中，所述第一transformer层还包括第一多头注意力MHA层，所述第二transformer层还包括第二MHA层，所述第二MHA层包括的注意力头的数量与所述第一MHA层包括的注意力头的数量的比值为第一比例值，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第六方面的一种可选设计中，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第六方面的一种可选设计中，所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第六方面的一种可选设计中，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第六方面的一种可选设计中，所述第二intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第六方面的一种可选设计中，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，在第六方面的一种可选设计中，所述确定模块具体用于：
根据第二预设关联关系和所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，其中，所述第二预设关联关系表示性能要求信息和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，在第六方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第六方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
第七方面，本申请提供了一种数据处理方法，所述方法包括：
获取第一神经网络模型，所述第一神经网络模型包括多个第一transformer层，其中，所述多个第一transformer层中的每个第一transformer层包括多个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediatelayer包括多个神经元；
根据所述第一神经网络模型确定第一神经网络子模型，其中，所述第一神经网络子模型为所述第一神经网络模型的部分模型，所述第一神经网络子模型包括与每个第一transformer层对应的第二transformer层，每个第二transformer层包括第二intermediate layer，每个第二transformer层包括的注意力头数量小于对应的第一transformer层包括的注意力头的数量，每个第二intermediate layer包括的神经元数量小于对应的第一intermediate layer包括的神经元数量；
以所述第一神经网络模型为指导模型，基于知识蒸馏对所述第一神经网络子模型进行迭代训练，以更新所述第一神经网络子模型的参数大小，得到第二神经网络模型，更新后的第一神经网络子模型为所述第二神经网络模型的部分模型。
可选地，在第七方面的一种可选设计中，每个第二intermediate layer包括的神经元的数量与对应的第一intermediate layer包括的神经元的数量的比值为第一比例值，每个第二transformer层包括的注意力头的数量与对应的第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第七方面的一种可选设计中，所述方法还包括：根据每个第一transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力的大小对每个第一transformer层进行网络重构。
可选地，在第七方面的一种可选设计中，所述方法还包括：根据每个第一intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力的大小对每个第一intermediate layer进行网络重构。
可选地，在第七方面的一种可选设计中，第一目标transformer层包括第一注意力头，所述第一目标transformer层为所述第一神经网络子模型包括的多个第二transformer层中的一个，所述第一目标transformer层对应的第一transformer层包括所述第一注意力头和第二注意力头，所述第一目标transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第七方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第七方面的一种可选设计中，第二目标intermediate layer包括第一神经元，所述第二目标intermediate layer为所述第一神经网络子模型包括的多个第二intermediate layer中的一个，所述第二目标intermediate layer对应的第一intermediate layer包括所述第一神经元和第二神经元，所述第二目标intermediatelayer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第七方面的一种可选设计中，所述以所述第一神经网络模型为指导模型，基于知识蒸馏对所述第一神经网络子模型进行迭代训练，以更新所述第一神经网络子模型的参数大小，得到第二神经网络模型，包括：
根据所述第一神经网络模型对语言信息进行处理，得到所述第一神经网络模型的第一输出标签以及每个第一transformer层的第一输出向量，所述语言信息对应于目标标签；
利用第一目标函数对所述第一神经网络模型进行反馈处理，得到第一梯度，所述第一目标函数与所述第一输出标签和所述目标标签之间的距离有关；
根据第一神经网络子模型对所述语言信息进行处理，得到第二输出标签以及多个第二transformer层中每个第二transformer层的第二输出向量，每个第二输出向量对应一个第一输出向量；
利用第二目标函数对所述第一神经网络子模型进行反馈处理，得到第二梯度，所述第二目标函数与所述第二输出标签和所述目标标签之间的距离、所述第二输出标签和所述第一输出标签之间的距离、以及各第一输出向量与对应的第二输出向量之间的距离有关；
根据目标梯度更新所述第一神经网络子模型的参数，得到所述第二神经网络模型，其中，所述目标梯度与所述第一梯度和所述第二梯度有关。
可选地，在第七方面的一种可选设计中，所述方法还包括：
根据所述第二神经网络模型确定第二神经网络子模型，其中，所述第二神经网络子模型为所述第二神经网络模型的部分模型，所述第二神经网络子模型包括的transformer层的数量小于所述M；
根据所述第二神经网络模型确定第三神经网络子模型，其中，所述第三神经网络子模型为所述第二神经网络模型的部分模型，所述第三神经网络子模型包括的transformer层的数量与所述第二神经网络模型包括的transformer层的数量相同，所述第三神经网络子模型包括的多个transformer层中的每个transformer层包括的注意力头的数量与所述第二神经网络子模型中对应的transformer层包括的注意力头的数量相同，所述第三神经网络子模型包括的多个intermediate layer中的每个intermediate layer包括的神经元的数量与所述第二神经网络子模型中对应的intermediate layer包括的神经元的数量相同；
以所述第三神经网络子模型为指导模型，基于知识蒸馏对所述第二神经网络子模型进行迭代训练，以更新所述第二神经网络子模型的参数大小，得到第三神经网络模型，更新后的第二神经网络子模型为所述第三神经网络模型的部分模型。
第八方面，本申请提供了一种数据处理方法，所述方法包括：
接收终端设备发送的性能要求信息；
获取第一神经网络模型，所述第一神经网络模型包括N个transformer层，所述N为正整数；
根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括的transformer层的数量小于所述N，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个；
向所述终端设备发送所述第二神经网络模型。
可选地，在第八方面的一种可选设计中，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
可选地，在第八方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第八方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，在第八方面的一种可选设计中，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
可选地，在第八方面的一种可选设计中，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
可选地，在第八方面的一种可选设计中，所述根据所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，包括：
根据第三预设关联关系和所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示性能要求信息和所述第二神经网络模型的深度尺寸信息之间的对应关系。
可选地，在第八方面的一种可选设计中，所述第三预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述第三预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的深度尺寸信息。
第九方面，本申请实施例提供了一种数据处理设备，包括：
获取模块，用于获取第一神经网络模型，所述第一神经网络模型包括多个第一transformer层，其中，所述多个第一transformer层中的每个第一transformer层包括多个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括多个神经元；
确定模块，用于根据所述第一神经网络模型确定第一神经网络子模型，其中，所述第一神经网络子模型为所述第一神经网络模型的部分模型，所述第一神经网络子模型包括与每个第一transformer层对应的第二transformer层，每个第二transformer层包括第二intermediate layer，每个第二transformer层包括的注意力头数量小于对应的第一transformer层包括的注意力头的数量，每个第二intermediate layer包括的神经元数量小于对应的第一intermediate layer包括的神经元数量；
训练模块，用于以所述第一神经网络模型为指导模型，基于知识蒸馏对所述第一神经网络子模型进行迭代训练，以更新所述第一神经网络子模型的参数大小，得到第二神经网络模型，更新后的第一神经网络子模型为所述第二神经网络模型的部分模型。
可选地，在第九方面的一种可选设计中，每个第二intermediate layer包括的神经元的数量与对应的第一intermediate layer包括的神经元的数量的比值为第一比例值，每个第二transformer层包括的注意力头的数量与对应的第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第九方面的一种可选设计中，所述设备还包括：根据每个第一transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力的大小对每个第一transformer层进行网络重构。
可选地，在第九方面的一种可选设计中，所述设备还包括：根据每个第一intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力的大小对每个第一intermediate layer进行网络重构。
可选地，在第九方面的一种可选设计中，第一目标transformer层包括第一注意力头，所述第一目标transformer层为所述第一神经网络子模型包括的多个第二transformer层中的一个，所述第一目标transformer层对应的第一transformer层包括所述第一注意力头和第二注意力头，所述第一目标transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第九方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第九方面的一种可选设计中，第二目标intermediate layer包括第一神经元，所述第二目标intermediate layer为所述第一神经网络子模型包括的多个第二intermediate layer中的一个，所述第二目标intermediate layer对应的第一intermediate layer包括所述第一神经元和第二神经元，所述第二目标intermediatelayer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，在第九方面的一种可选设计中，所述训练模块，具体用于：
根据所述第一神经网络模型对语言信息进行处理，得到所述第一神经网络模型的第一输出标签以及每个第一transformer层的第一输出向量，所述语言信息对应于目标标签；
利用第一目标函数对所述第一神经网络模型进行反馈处理，得到第一梯度，所述第一目标函数与所述第一输出标签和所述目标标签之间的距离有关；
根据第一神经网络子模型对所述语言信息进行处理，得到第二输出标签以及多个第二transformer层中每个第二transformer层的第二输出向量，每个第二输出向量对应一个第一输出向量；
利用第二目标函数对所述第一神经网络子模型进行反馈处理，得到第二梯度，所述第二目标函数与所述第二输出标签和所述目标标签之间的距离、所述第二输出标签和所述第一输出标签之间的距离、以及各第一输出向量与对应的第二输出向量之间的距离有关；
根据目标梯度更新所述第一神经网络子模型的参数，得到所述第二神经网络模型，其中，所述目标梯度与所述第一梯度和所述第二梯度有关。
可选地，在第九方面的一种可选设计中，所述确定模块，还用于：
根据所述第二神经网络模型确定第二神经网络子模型，其中，所述第二神经网络子模型为所述第二神经网络模型的部分模型，所述第二神经网络子模型包括的transformer层的数量小于所述M；
根据所述第二神经网络模型确定第三神经网络子模型，其中，所述第三神经网络子模型为所述第二神经网络模型的部分模型，所述第三神经网络子模型包括的transformer层的数量与所述第二神经网络模型包括的transformer层的数量相同，所述第三神经网络子模型包括的多个transformer层中的每个transformer层包括的注意力头的数量与所述第二神经网络子模型中对应的transformer层包括的注意力头的数量相同，所述第三神经网络子模型包括的多个intermediate layer中的每个intermediate layer包括的神经元的数量与所述第二神经网络子模型中对应的intermediate layer包括的神经元的数量相同；
以所述第三神经网络子模型为指导模型，基于知识蒸馏对所述第二神经网络子模型进行迭代训练，以更新所述第二神经网络子模型的参数大小，得到第三神经网络模型，更新后的第二神经网络子模型为所述第三神经网络模型的部分模型。
第十方面，本申请提供了一种数据处理设备，包括：
获取模块，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头，所述M为正整数；
接收模块，用于接收终端设备发送的性能要求信息；
确定模块，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M，所述第一神经网络模型为通过对初始神经网络模型在至少一个宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个宽度尺寸中的每个宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个宽度尺寸中的一个；
发送模块，用于向所述终端设备发送所述第二神经网络模型。
可选地，在第十方面的一种可选设计中，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，在第十方面的一种可选设计中，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选的，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，在第十方面的一种可选设计中，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，在第十方面的一种可选设计中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第十方面的一种可选设计中，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，在第十方面的一种可选设计中，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在第十方面的一种可选设计中，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，在第十方面的一种可选设计中，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，在第十方面的一种可选设计中，所述确定模块具体用于：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，在第十方面的一种可选设计中，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，在第十方面的一种可选设计中，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，在第十方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
第十一方面，本申请实施例提供了一种执行设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面及其任一可选的方法、第二方面及其任一可选的方法、第三方面及其任一可选的方法或第八方面及其任一可选的方法。
第十六方面，本申请实施例提供了一种训练设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第七方面及其任一可选的方法。
第十七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法、第二方面及其任一可选的方法、第三方面及其任一可选的方法、第四方面及其任一可选的方法或第八方面及其任一可选的方法。
第十八方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法、第二方面及其任一可选的方法、第三方面及其任一可选的方法、第四方面及其任一可选的方法或第八方面及其任一可选的方法。
第十九方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请实施例提供了一种数据处理方法，包括：获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；获取待处理语言信息；根据所述第二神经网络模型对所述待处理语言信息进行处理。通过上述方式，可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。
附图说明
图1为人工智能主体框架的一种结构示意图；
图2为一种自然语言处理系统；
图3为另一种自然语言处理系统；
图4为本申请实施例提供的自然语言处理的相关设备的示意图；
图5为一种transformer层的架构示意；
图6为本申请实施例提供的一种数据处理方法的实施例示意；
图7为本申请实施例中的一种神经网络模型的结构示意；
图8为一种transformer层的结构示意；
图9为一个注意力头head的操作示意图；
图10为本申请实施例提供的一种模型宽度伸缩的示意；
图11为本申请实施例提供的一种数据处理方法的实施例示意图；
图12为本申请实施例提供的一种模型深度伸缩的示意；
图13为本申请实施例提供的一种数据处理方法的实施例示意图；
图14为本申请实施例提供的一种数据处理方法的实施例示意图；
图15为本申请实施例提供的一种数据处理方法的实施例示意图；
图16为本申请实施例提供的数据处理设备的一种结构示意图；
图17为本申请实施例提供的数据处理设备的一种结构示意图；
图18为本申请实施例提供的数据处理设备的一种结构示意图；
图19为本申请实施例提供的数据处理设备的一种结构示意图；
图20为本申请实施例提供的数据处理设备的一种结构示意图；
图21为本申请实施例提供的执行设备的一种结构示意图；
图22是本申请实施例提供的训练设备一种结构示意图；
图23为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、平安城市等。
本申请可以应用于人工智能领域的自然语言处理领域中，下面将对多个落地到产品的多个应用场景进行介绍。
为了更好地理解本申请实施例的方案，下面先结合图1至图3对本申请实施例可能的应用场景进行简单的介绍。
图2示出了一种自然语言处理系统，该自然语言处理系统包括用户设备以及数据处理设备。其中，用户设备包括手机、个人电脑或者信息处理中心等智能终端。用户设备为自然语言数据处理的发起端，作为语言问答或者查询等请求的发起方，通常用户通过用户设备发起请求。
上述数据处理设备可以是云服务器、网络服务器、应用服务器以及管理服务器等具有数据处理功能的设备或服务器。数据处理设备通过交互接口接收来自智能终端的查询语句/语音/文本等问句，再通过存储数据的存储器以及数据处理的处理器环节进行机器学习，深度学习，搜索，推理，决策等方式的语言数据处理，并将处理结果反馈至用户设备。数据处理设备中的存储器可以是一个统称，包括本地存储以及存储历史数据的数据库，数据库可以在数据处理设备上，也可以在其它网络服务器上。
在图2所示的自然语言处理系统中，用户设备可以接收用户的指令，例如用户设备可以接收用户输入的一段文本，然后向数据处理设备发起请求，使得数据处理设备针对用户设备得到的该一段文本执行自然语言处理应用(例如文本分类、文本推理、命名实体识别、翻译等)，从而得到针对该一段文本的对应的自然语言处理应用的处理结果(例如分类结果、推理结果、命名实体识别结果、翻译结果等)。示例性的，用户设备可以接收用户输入的一段中文，然后向数据处理设备发起请求，使得数据处理设备对该一段中文进行实体分类，从而得到针对该一段中文的实体分类结果；示例性的，用户设备可以接收用户输入的一段中文，然后向数据处理设备发起请求，使得数据处理设备将该一段中文翻译成英文，从而得到针对该一段中文的英文译文。
在本申请实施例中，数据处理设备可以通过交互接口接收来自用户设备获取自然语言处理(natural language processing，NLP)相关任务模型的请求以及性能上限参数，包括且不限于：精度、时延，模型压缩比参数中的至少一个。数据处理设备可以根据已经训练好的可伸缩transformer模型以及用户设备上传的需满足的性能上限参数，在满足模型大小的情况下计算出适合该用户设备的模型的尺寸大小，然后抽取出该尺寸大小的子网络，传回用户设备。
在图2中，数据处理设备可以执行本申请实施例的数据处理方法。
图3示出了另一种自然语言处理系统，在图3中，用户设备直接作为数据处理设备，该用户设备能够直接接收来自用户的输入并直接由用户设备本身的硬件进行处理，具体过程与图2相似，可参考上面的描述，在此不再赘述。
在图3所示的自然语言处理系统中，用户设备可以接收用户的指令，例如用户设备可以接收用户输入的一段文本，然后再由用户设备自身针对该一段文本执行自然语言处理应用(例如文本分类、文本推理、命名实体识别、翻译等)，从而得到针对该一段文本的对应的自然语言处理应用的处理结果(例如分类结果、推理结果、命名实体识别结果、翻译结果等)。示例性的，用户设备可以接收用户输入的一段中文，并针对该一段中文进行实体分类，从而得到针对该一段中文的实体分类结果；示例性的，用户设备可以接收用户输入的一段中文，并将该一段中文翻译成英文，从而得到针对该一段中文的英文译文。
在本申请实施例中，用户设备可以存储有子网络模型，并在每次操作系统(operating system，OS)或应用程序(application，APP)调用该模型之前，根据用户设备当前的资源情况(包括且不限于端侧设备当前的功耗、计算能力、存储参数中的至少一个)，计算出满足用户设备当前资源情况的模型的尺寸大小，将计算得到适合的模型的尺寸大小，输入到存储的子网络模型，得到动态裁剪后的当前状态模型，执行推理任务。
在图3中，用户设备自身就可以执行本申请实施例的数据处理方法。
图4是本申请实施例提供的自然语言处理的相关设备300的示意图。
上述图2和图3中的用户设备具体可以是图4中的本地设备301或者本地设备302，图2中的数据处理设备具体可以是图4中的执行设备310，其中，数据存储系统350可以存储执行设备310的待处理数据，数据存储系统350可以集成在执行设备310上，也可以设置在云上或其它网络服务器上。
图2和图3中的处理器可以通过神经网络模型或者其它模型进行数据训练/机器学习/深度学习，并利用数据最终训练或者学习得到的模型针对文本序列执行自然语言处理应用(例如文本分类、序列标注、阅读理解、文本生成、文本推理、翻译等)，从而得到相应的处理结果。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)transformer层
参照图5，图5为一种transformer层的架构示意，如图5所示，神经网络包括嵌入层和至少一个transformer层，至少一个transformer层可以为N个transformer层(N大于0的整数)，其中，每个transformer层包括依次相邻的注意力层、加和与归一化(add&norm)层、前馈(feed forward)层和加和与归一化层。在嵌入层，对当前输入进行嵌入处理，得到多个特征向量；在所述注意力层，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；在所述池化层，将所述P个中间向量合并为Q个输出向量，其中transformer层中最后一个transformer层得到的多个输出向量用作所述当前输入的特征表示。
接下来，结合具体例子对上述各步骤进行具体介绍。
首先，在所述嵌入层，对当前输入进行嵌入处理，得到多个特征向量。
嵌入层可以称为输入嵌入(input embedding)层。当前输入可以为文本输入，例如可以为一段文本，也可以为一个句子。文本可以为中文文本，也可以为英文文本，还可以为其他语言文本。嵌入层在获取当前输入后，可以对该当前输入中各个词进行嵌入处理，可得到各个词的特征向量。在一些实施例中，如图1所示，所述嵌入层包括输入嵌入层和位置编码(positional encoding)层。在输入嵌入层，可以对当前输入中的各个词进行词嵌入处理，从而得到各个词的词嵌入向量。在位置编码层，可以获取各个词在该当前输入中的位置，进而对各个词的位置生成位置向量。在一些示例中，各个词的位置可以为各个词在该当前输入中的绝对位置。以当前输入为“几号应还花呗”为例，其中的“几”的位置可以表示为第一位，“号”的位置可以表示为第二位，……。在一些示例中，各个词的位置可以为各个词之间的相对位置。仍以当前输入为“几号应还花呗”为例，其中的“几”的位置可以表示为“号”之前，“号”的位置可以表示为“几”之后、“应”之前，……。当得到当前输入中各个词的词嵌入向量和位置向量时，可以将各个词的位置向量和对应的词嵌入向量进行组合，得到各个词特征向量，即得到该当前输入对应的多个特征向量。多个特征向量可以表示为具有预设维度的嵌入矩阵。可以设定该多个特征向量中的特征向量个数为M，预设维度为H维，则该多个特征向量可以表示为M×H的嵌入矩阵。
其次，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量。注意力层也可以称为多头注意力(multi-head attention)层。在一个例子中，注意力层可以为固定窗口多头注意力(fixed window multi-head attention)层。
在一些实施例中，第一transformer层可以为上述嵌入层的下一层，P个输入向量为从嵌入层得到的所述多个特征向量。在一些实施例中，本说明书实施例提供的神经网络中的至少一个transformer层还包括第二transformer层。该第二transformer层为第一自注意力的上一层，则P个输入向量为第二transformer层输出的P个输出向量。在该神经网络中的最后一个transformer层，通过上述步骤的多个输出向量可用作当前输入的特征表示。该特征表示为为当前输入的一种适合计算机处理的特征表示，可用于文本相似度、文本分类、阅读理解、机器翻译等任务。
(3)注意力机制(attention mechanism)
注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制，能够利用有限的注意力资源从大量信息中快速筛选出高价值信息。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制(self-attention mechanism)是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。注意力机制的本质思想可以改写为如下公式：
其中，Lx＝||Source||代表Source的长度，公式含义即将Source中的构成元素想象成是由一系列的数据对构成，此时给定目标Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。从概念上理解，把Attention可以理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。聚焦的过程体现在权重系数的计算上，权重越大越聚焦于其对应的Value值上，即权重代表了信息的重要性，而Value是其对应的信息。自注意力机制可以理解为内部Attention(intra attention)，Attention机制发生在Target的元素Query和Source中的所有元素之间，自注意力机制指的是在Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target＝Source这种特殊情况下的注意力计算机制，其具体计算过程是一样的，只是计算对象发生了变化而已。
(4)自然语言处理(natural language processing，NLP)
自然语言(natural language)即人类语言，自然语言处理(NLP)就是对人类语言的处理。自然语言处理是以一种智能与高效的方式，对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP及其组件，我们可以管理非常大块的文本数据，或者执行大量的自动化任务，并且解决各式各样的问题，如自动摘要(automatic summarization)，机器翻译(machine translation，MT)，命名实体识别(named entity recognition，NER)，关系提取(relation extraction，RE)，信息抽取(information extraction，IE)，情感分析，语音识别(speech recognition)，问答系统(question answering)以及主题分割等等。
示例性的，自然语言处理任务可以有以下几类。
序列标注：句子中每一个单词要求模型根据上下文给出一个分类类别。如中文分词、词性标注、命名实体识别、语义角色标注。
分类任务：整个句子输出一个分类值，如文本分类。
句子关系推断：给定两个句子，判断这两个句子是否具备某种名义关系。例如entilment、QA、语义改写、自然语言推断。
生成式任务：输出一段文本，生成另一段文本。如机器翻译、文本摘要、写诗造句、看图说话。
下面示例性的列举一些自然语言处理案例。
分词(word segmentation或word breaker，WB)：将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列，可以解决交叉歧义问题。例句：致毕业和尚未毕业的同学；分词1：致毕业和尚未毕业的同学；分词2：致毕业和尚未毕业的同学。
命名实体识别(named entity recognition，NER)：识别自然语言文本中具有特定意义的实体(人、地、机构、时间、作品等)，可以从粒度整合未登录体词。例句：天使爱美丽在线观看；分词：天使爱美丽在线观看；实体：天使爱美丽->电影。
词性标注(part-speech tagging)：为自然语言文本中的每个词汇赋予一个词性(名词、动词、形容词等)；依存句法分析(dependency parsing)：自动分析句子中的句法成分(主语、谓语、宾语、定语、状语和补语等成分)，可以解决结构歧义问题。评论：房间里还可以欣赏日出；歧义1：房间还可以；歧义2：可以欣赏日出；词性：房间里(主语)，还可以(谓语)，欣赏日出(动宾短语)。
词向量与语义相似度(word embedding&semantic similarity)：对词汇进行向量化表示，并据此实现词汇的语义相似度计算，可以解决词汇语言相似度。例如：西瓜与(呆瓜/草莓)，哪个更接近？向量化表示：西瓜(0.1222,0.22333,..)；相似度计算：呆瓜(0.115)草莓(0.325)；向量化表示：(-0.333,0.1223..)(0.333，0.3333,..)。
文本语义相似度(text semantic similarity)：依托全网海量数据和深度神经网络技术，实现文本间的语义相似度计算的能力，可以解决文本语义相似度问题。例如：车头如何防止车牌与(前牌照怎么装/如何办理北京牌照)，哪个更接近？向量化表示：车头如何防止车牌(0.1222,0.22333,..)；相似度计算：前牌照怎么装(0.762)，如何办理北京牌照(0.486)，向量化表示：(-0.333,0.1223..)(0.333，0.3333,..)。
本申请实施例提供的数据处理方法，涉及自然语言文本的处理，具体可以应用于数据训练、机器学习、深度学习等数据处理方法，对训练数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的神经网络模型；并且，本申请实施例提供的数据处理方法可以运用上述训练好的神经网络模型，将输入数据(如待处理语言信息)输入到所述训练好的神经网络模型中，得到输出数据(如与目标任务对应的处理结果)。需要说明的是，本申请实施例提供的神经网络的训练方法和数据处理方法是基于同一个构思产生的发明，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。
首先以应用阶段为例对本申请实施例提供的数据处理方法进行说明。
参照图6，图6为本申请实施例提供的一种数据处理方法的实施例示意，本申请实施例提供的一种数据处理方法可以应用在手机、平板、笔记本电脑、智能穿戴设备等终端设备上，如图6示出的那样，本申请实施例提供的一种数据处理方法包括：
601、获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数。
本申请实施例中，终端设备可以向云侧设备发送所述终端设备的性能要求信息。
具体的，终端设备可以向云侧设备发送获取NLP相关任务模型的请求，并上传要满足的性能要求信息，其中，性能要求信息包括且不限于精度要求、时延要求或模型压缩比要求中的至少一种。
本申请实施例中，云侧设备可以存储有基于transformer结构的初始神经网络模型，云侧设备在接收到终端设备发送的性能要求信息之后，可以基于接收到的性能要求信息确定适合终端设备的模型的尺寸信息，具体的，当性能要求信息包括的精度要求较高时，可以确定适合终端设备的模型的尺寸较大，当性能要求信息包括的时延要求较高时，可以确定适合终端设备的模型的尺寸较小，当性能要求信息包括的模型压缩比较高时，可以确定适合终端设备的模型的尺寸较大。具体的，云侧设备可以基于预设的函数关系确定适合终端设备的模型的尺寸信息，或者基于预设的对应关系确定适合终端设备的模型的尺寸信息(例如通过查表的方式)。接下来具体描述基于transformer结构的神经网络模型，以及如何量化初始神经网络模的尺寸信息。
参照图7，图7为本申请实施例中的一种神经网络模型的结构示意，如图7中示出的那样，基于transformer层的神经网络模型可以包括依次连接的嵌入层以及多个transformer层。如本领域技术人员所了解，transformer模型多用于执行自然语言处理NLP任务。需要理解，图7的结构仅仅是一个示例，transformer层的数目可以根据需要而设置。例如，可以仅设置一个transformer层，也可以设置更多的transformer层。神经网络模型基于各transformer层得到的N个输出向量，确定当前节点对应的特征向量。
下面描述各个层的具体工作过程。
在嵌入层，对当前输入进行嵌入处理，得到多个特征向量。transformer模型的核心特点在于其采用的独特的注意力机制。在处理自然语言，例如一个句子时，transformer模型利用该注意力机制，为句子中各个词向量赋予不同的注意力系数，从而更全面地考虑句子中上下文对各个词的影响。嵌入层基于当前序列中各个节点的节点特征及其位置编码，得到N个嵌入向量Xl。注意力层与嵌入层相连，从嵌入层获取N个嵌入向量作为输入向量，基于N个输入向量中各个输入向量之间的关联度，对各个输入向量进行综合，得到N个输出向量，输出给后续的transformer层。transformer层获取前一层的输出作为输入向量，执行与前一级transformer层类似的操作。
参照图8，图8为一种transformer层的结构示意，本申请实施例中的各个神经网络的transformer层都可以参照图8中示出的结构，如图8中示出的那样，transformer层包括依次相邻的多头注意力层、加和与归一化(add&norm)层、前馈(feed forward)层、加和与归一化层。
其中，多头注意力层从其上一层获取N个输入向量Xl，又可以表示为矩阵X，采用自注意力机制，基于向量间的关联度对各个向量进行变换，得到N个输出向量，又可以表示为矩阵Y。可以理解，当该多头注意力层是与嵌入层直接相连的层，例如图7中与嵌入层直连的transformer层，其获取的输入向量即为嵌入层输出的嵌入向量；当该多头注意力层是后续的transformer层包括的多头注意力层，例如图7中与上一级transformer层直连的transformer层包括的多头注意力层，其获取的输入向量即为前一级transformer层的输出向量。在多头注意力层，基于多头注意力(multi-head attention，MHA)的MHA层包括多个注意力头head(如图8中示出的Head 1、Head 2、…、Head N)。
图9为一个注意力头head的操作示意图，该示意图示出注意力头head如何将输入矩阵X变换为输出矩阵Y。如图9所示，分别采用第一变换矩阵Q，第二变换矩阵K和第三变换矩阵V对N个输入向量<X1,X2,…,XN>中各个输入向量Xi进行变换，得到各个输入向量对应的第一中间向量(q向量)，第二中间向量(k向量)和第三中间向量(v向量)。操作上，可以分别用第一变换矩阵Q，第二变换矩阵K和第三变换矩阵V，对N个输入向量构成的输入矩阵X进行线性变换，分别得到输入矩阵的Q矩阵，K矩阵和V矩阵，再分别对矩阵进行拆分，即可得到各个输入向量对应的q向量，k向量和v向量。对于N个输入向量中任意的第i输入向量Xi，基于该第i输入向量对应的第一中间向量(q向量，qi)与各个输入向量Xj对应的各个第二中间向量(k向量，kj)的点乘操作，确定该第i输入向量Xi与各个输入向量Xj的各个关联度。尽管也可以直接将qi与kj的点乘结果确定为关联度，但是更经典地，先将点乘结果除以一常数，然后进行softmax运算，将运算结果作为输入向量Xi与Xj的关联度，即：
Figure BDA0002383064720000361
于是，可以以该第i输入向量Xi与各个输入向量Xj的各个关联度αi,j作为权重因子，对各个输入向量Xj对应的第三中间向量(v向量，vj)进行加权组合，得到该第i输入向量Xi对应的第i组合向量Ci：
Figure BDA0002383064720000362
于是，可以得到N个输入向量对应的N个组合向量的向量序列<C1,C2,…,CN>，或矩阵C。基于该组合向量序列，可以得到N个输出向量。具体地，在一个实施例中，可以直接将N个组合向量的向量序列作为N个输出向量，即Yi＝Ci。此时，输出矩阵Y即为组合向量矩阵C，又可以写成：
Figure BDA0002383064720000363
以上为一个注意力头head的处理过程描述，在MHA架构中，MHA层维护m套变换矩阵，每套变换矩阵包括前述第一变换矩阵Q、第二变换矩阵K和第三变换矩阵V，从而可以并行地进行上述操作，得到m个组合向量序列(即m个矩阵C)，每个向量序列包括基于一套变换矩阵得到的N个组合向量。在这样的情况下，MHA层将得到的m个组合向量序列进行拼接，得到拼接矩阵；再通过第四变换矩阵W对该拼接矩阵进行变换，得到最终的输出矩阵Y。将该输出矩阵Y拆分即对应于N个输出向量<Y1,Y2,…,YN>。通过以上的操作过程，MHA层基于N个输入向量之间的关联度进行变换操作，得到N个输出向量。
如图8中示出的那样，transformer层包括前馈层，其中前馈层包括输入层、中间层intermediate layer以及输出层，其中intermediate layer包括多个神经元。
如前所述，神经网络模型可以包含多个transformer层。在一个实施例中，上述多个transformer层可以采用残差网络的方式堆叠连接，形成神经网络模型。
在多个transformer层的情况下，在一个实施例中，神经网络模型可以对多个transformer层中各个transformer层得到的N个输出向量进行综合，得到当前节点对应的特征向量。在另一实施例中，神经网络模型也可以仅提取最后一个transformer层得到的N个输出向量，对这N个输出向量进行综合，得到当前节点的特征向量。
可以理解，神经网络模型在确定当前节点的特征向量的计算过程中，依赖于大量的参数，例如前述各个变换矩阵(Q矩阵，K矩阵，V矩阵，等等)中的参数。这些参数需要通过对该神经网络模型进行训练而确定。在不同实施例中，可以通过不同的任务，训练该神经网络模型。
本申请实施例中，云侧设备可以存储有上述基于transformer结构的神经网络模型(初始神经网络模型)，在接收到终端设备发送的性能要求信息之后，可以基于接收到的性能要求信息确定适合终端设备的模型的尺寸信息，其中，尺寸信息可以包括初始神经网络模型的宽度尺寸和深度尺寸，具体的，宽度尺寸信息可以包括神经网络模型中各个transformer层包括的注意力头的数量以及前馈层中的中间层intermediate layer包括的神经元的数量，深度尺寸信息可以包括神经网络模型包括的transformer层的数量。
本申请实施例中，多头注意力机制中的计算可以拆分成每个注意力头计算然后再相加，所以MHA层的的伸缩可以在注意力头的数量上进行。通过改变全连接网络(前馈层)的中间层intermediate layer包括的神经元的数量，全连接网络(前馈层)的中间层intermediate layer也是可以伸缩的。对于一个transformer层，宽度可以在MHA的注意力头和前馈层的中间层的神经元进行伸缩。示例性的，BERT的base模型有12个注意力头，那么对应的宽度尺寸伸缩可以有12种选择，即宽度可以是1,2，…，12中的任意一个，同理，前馈层的中间层也可以保留任意数量的神经元。
本申请实施例中，云侧设备在确定了尺寸信息之后，可以基于上述尺寸信息确定第一神经网络模型，其中第一神经网络模型为初始神经网络模型的一部分，第一神经网络模型的宽度尺寸和深度尺寸为上述确定的尺寸信息。云侧设备可以将上述确定的第一网络模型发送至终端设备，以使得终端设备可以存储云侧设备发送的第一神经网络模型。
本申请实施例中，终端设备可以获取第一神经网络模型，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数。
本申请实施例中，终端设备可以获取可用资源状态，其中，可用资源状态可以至少包括如下的一种：所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。例如，在终端设备同时运行了许多占用内存和计算资源的应用程序时，此时终端设备的功耗较大，终端设备的计算能力较差，则可以确定从第一神经网络模型中选择一部分模型作为要进行数据处理的模型。
其中，“一部分”可以理解为：所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。即，可以对第一神经网络模型进行裁剪，得到第二神经网络模型，其中，第二神经网络型中transformer层的各个注意力头都是第一神经网络模型中的transformer层的注意力头，第二神经网络型中transformer层的各个中间层的神经元都是第一神经网络模型中的中间层的神经元。
需要说明的数，上述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个，可以理解为，第二transformer层包括的每个注意力头的参数与所述第一transformer层包括的M个注意力头中的一个注意力头的参数一致。上述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个，可以理解为，第二中间层包括的每个神经元的参数与所述第一中间层包括的M个注意力头中的一个神经元的参数一致。
602、根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的。
本申请实施例中，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N。
本申请实施例中，终端设备可以根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，终端设备可以根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
本申请实施例中，在需要进行模型大小的压缩比量化的场景中，当第二神经网络模型的各个transformer层保留的注意力头的数量相同，且各个transformer层保留的注意力头数量的比例(第二transformer层包括的注意力头数量与第一transformer层包括的注意力头数量的比值)与各个transformer层的前馈层的中间层保留的神经元数量的比例(第二中间层包括的神经元数量与第一中间层包括的神经元数量的比值)相同时，第二神经网络模型的大小可以根据压缩比和云侧transformer模型大小的乘积得到，模型压缩比计算方式可以是(第二神经网络模型的最大宽度*第二神经网络模型的最大深度)/(云侧设备的transformer层的深度*云侧设备的transformer的宽度)。
本申请实施例中，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二intermediate layer包括的神经元的数量小于所述N。
可选地，所述第二transformer层包括的注意力头的数量小于所述M。
可选地，所述第二intermediate layer包括的神经元的数量小于所述N。
可选地，所述第二transformer层包括的注意力头的数量小于所述M，且所述第二intermediate layer包括的神经元的数量小于所述N。
本申请实施例中，第二神经网络型相比于第二神经网络模型，在transformer层中的注意力头；或，中间层的神经元的数量较少。而具体的数量大小，则是根据终端设备的可用资源状态来确定的，使得在推理阶段可以让终端设备可以根据设备硬件能力来灵活选择合适宽度和深度的网络模型做推理。
本申请实施例中，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
即，第一神经网络模型为基于对初始网络模型在宽度方向进行知识蒸馏训练得到的，第一神经网络型中的各个尺寸的小模型都具备和初始神经网络模型相同或差不多的数据处理性能和精度，因此，当即使选择第二神经网络模型作为推理模型，其推理效果也可以保持很高的精度。
示例性的，参照图10，图10为本申请实施例提供的一种模型宽度伸缩的示意，如图10中示出的那样，在伸缩前第一神经网络模型包括的一个transformer层的中间层包括M个神经元，MHA层包括N个注意力头，对第一神经网络模型进行宽度伸缩后得到第二神经网络模型，其中第二神经网络模型包括与上述第一神经网络模型包括的一个transformer层对应的transformer层，该transformer层的中间层包括M/3个神经元，MHA层包括N/3个注意力头。
可选地，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
其中，对所述第一神经网络模型的输出结果的影响能力，可以理解为，当某一结构的输出权重为0时，对结果的影响程度大小。
可选地，在一种实施例中，一个注意力头(或者神经元)的重要性由去掉这个注意力头(或者神经元)之后目标函数的变化来决定。变化越大，则这个注意力头(或者神经元)越重要，即对第一神经网络模型的输出结果的影响能力越大，需要说明地说，对第一神经网络模型的输出结果的影响能力在下文中也可以表述为重要性。具体的，目标函数是f，该注意力头(或者神经元)对应的输出记作h。该变化可以用如下的泰勒一阶展开来估算：
Figure BDA0002383064720000401
对于transformer层的每一个注意力头重要性的计算方式可以是：给每个注意力头一个mask(每个head最后的加权系数)，假设对应h的mask是m,那么这个head的重要性计算公式可以是如下公式：
Figure BDA0002383064720000402
前馈层中的神经元的重要性计算方式可以是：假设与对应h的神经元所有相连的权重集合是w＝{w1,w2,w3,…,wn},那么这个神经元重要性计算公式可以是如下公式：
Figure BDA0002383064720000403
在实际计算中，可以利用开发集中的数据或者训练集中的一部分数据根据上述公式计算出的重要性的平均值来量化注意力头和神经元的重要性(注意力头和神经元对第一神经网络模型的输出结果的影响能力)。
本申请实施例中，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
本申请实施例中，在获取到transformer层包括的注意力头的重要性排序之后，可以将重要性较高的注意力头作为第二神经网络模型的transformer层的注意力头的选择，例如，在一种实施例中，第一神经网络模型的一个transformer层中包括如下注意力头：
head1、head2、head3、head4、head5、head6、head7、head8、head9、head10、head11、head12。
按照重要性的大小排序之后得到：head6、head7、head8、head1、head2、head3、head4、head5、head9、head10、head11、head12，即，head6的重要性最大，head12的重要性最小，此时，当根据资源状态确定第二神经网络模型中对应的transformer层包括的注意力头数量为4时，可以选择head6、head7、head8、head1这四个重要性大小靠前的注意力头作为该transformer层包括的注意力头。
所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
本申请实施例中，在获取到intermediate layer包括的神经元的重要性排序之后，可以将重要性较高的神经元作为第二神经网络模型的intermediate layer的神经元的选择。
本申请实施例中，通过上述注意力大小的确定以将注意力大小作为注意力头的选择依据，可以提升伸缩后的模型(第二神经网络模型)的数据处理精度。
可选地，在一种实施例中，可以根据各个注意力头中包括的多个变换矩阵中的各个元素值的绝对值加和来量化重要性。特别的，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和，即注意力头中包括的多个变换矩阵中的各个元素值的绝对值加和越大，其重要性越大。
可选地，第一transformer层包括的M个注意力头按照如下方式排列：根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，在获取到第二神经网络模型后，可以获取待处理语言信息，并根据所述第二神经网络模型对所述待处理语言信息进行处理。
本申请实施例中，终端设备可以对待处理语言信息进行但不限于如上述自然语言处理中描述的各个场景的处理过程，这里并不限定。
需要说明的是，上述实施例以执行主体为终端设备为例进行的说明，当执行主体为云侧设备时，终端设备需要将可用资源状态发送至云侧设备，相应的，云侧设备可以执行上述601-602的步骤对应的实施例描述。
本申请实施例提供了一种数据处理方法，包括：获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N。通过上述方式，可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。
参照图11，图11为本申请实施例提供的一种数据处理方法的实施例示意图，如图11中示出的那样，本申请实施例提供的数据处理方法包括：
1101、获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数。
本申请实施例中，云侧设备或终端设备可以获取第一神经网络模型和终端设备的可用资源状态，其中，第一神经网络模型包括N个transformer层，可以参照图7中示出的，第一神经网络模型中包括的transformer层的数量为N。关于可用资源状态的具体描述可以参照上述实施例中步骤601及对应的实施例中的描述，这里不再赘述。
1102、根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N。
和上述实施例中步骤602中类似，本申请实施例中，在获取到终端设备的可用资源状态以及第一神经网络模型之后，可以根据所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，其中，深度尺寸信息表示所述第二神经网络模型包括的transformer层的数量。
可选地，可以根据第三预设关联关系和所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系。具体的，所述第三预设关联关系可以为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，所述第三预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
本申请实施例中，终端设备可以获取可用资源状态，其中，可用资源状态可以至少包括如下的一种：所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。例如，在终端设备同时运行了许多占用内存和计算资源的应用程序时，此时终端设备的功耗较大，终端设备的计算能力较差，则可以确定从第一神经网络模型中选择一部分模型作为要进行数据处理的模型。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。即，在第一神经网络模型中，第一transformer层是与所述第一嵌入层直连的transformer层，而在第二神经网络模型中，与第一transformer层对应的第二transformer层是与所述第二嵌入层直连的transformer层。
可选地，在第二方面的一种可选设计中，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。即，在第一神经网络模型中，第一transformer层是连接在第五transformer层之后，第六transformer层之前的transformer层，而在第二神经网络模型中，与第一transformer层对应的第二transformer层是连接在第七transformer层之后，第八transformer层之前的transformer层，第七transformer层与第二transformer层对应，第六transformer层与第一transformer层对应。
可选地，在第二方面的一种可选设计中，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
本申请实施例中，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
示例性的，参照图12，图12为本申请实施例提供的一种模型深度伸缩的示意，如图12中示出的那样，在伸缩前第一神经网络模型包括M个transformer层(transformer层1、…、transformer层M)，对第一神经网络模型进行宽度伸缩后得到第二神经网络模型，其中第二神经网络模型包括M/3个transformer层(transformer层1、…、transformer层M/3)，其中，第一神经网络中的transformer层1和第二神经网络中的transformer层1可以相同，也可以不相同(其注意力头的数量不同；或，中间层包括的神经元的数量不同)。
可选地，可以获取待处理语言信息，并根据所述第二神经网络模型对所述待处理语言信息进行处理。具体描述可以参照上述实施例的描述，这里不再赘述。
本申请实施例提供了一种数据处理方法，包括：获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数；根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N。通过上述方式，可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。
参照图13，图13为本申请实施例提供的一种数据处理方法的实施例示意图，如图13中示出的那样，本申请实施例提供的数据处理方法包括：
1301、接收终端设备发送的性能要求信息。
本申请实施例中，终端设备可以向云侧设备发送性能要求信息，其中，性能要求信息可以至少包括如下的一种：精度要求、时延要求或模型压缩比要求。
在一些场景中，当终端设备需要从云侧设备获取用于推理的模型时，可以向云侧设备发送模型获取请求，其中，模型获取请求可以包括性能要求信息，相应的，云侧设备可以接收到终端设备发送的性能要求信息，并根据性能要求信息确定一个适合终端设备的第二神经网络模型，其中，当精度要求较高时，第二神经网络模型的尺寸大小可以较大，以此提供一个具有很高性能的模型，当时延要求较高时，第二神经网络模型的尺寸大小可以较小，以此提供一个可以快速推导的模型，当模型压缩比(伸缩前的模型与伸缩后的模型的大小比值)要求较高时，第二神经网络模型的尺寸大小可以较大，以此提供一个模型压缩比较高的模型。
1302、获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
可选地，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
1303、根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N。
步骤1303的具体描述可以参照上述实施例中的描述，这里不再赘述。
可选地，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
1304、向所述终端设备发送所述第二神经网络模型。
本申请实施例中，当云侧设备确定了第二神经网络模型后，可以将确定的第二神经网络模型发送至终端设备，终端设备可以根据接收到的第二神经网络模型进行推理。需要说明的是，终端设备还可以对接收到的第二神经网络模型进行进一步的模型伸缩处理，例如可以进行上述图6及图11对应的实施例中提供的数据处理方法，这里并不限定。
可选地，所述方法还包括：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或，可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸。
本申请实施例中，云侧设备还可以向终端设备发送用于对第二神经网络模型进行宽度；或，深度的进一步伸缩的预设关联关系，其中预设关联关系可以是上述实施例中，图6和图11中描述的，用于确定第二神经网络模型的宽度尺寸；或，深度尺寸的预设关联关系，具体终端设备如何使用接收到的预设关联关系可以参照上述实施例中的描述，这里不再赘述。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，所述根据所述性能要求信息确定所述第二神经网络模型的尺寸信息，包括：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第一transformer层还包括第一多头注意力MHA层，所述第二transformer层还包括第二MHA层，所述第二MHA层包括的注意力头的数量与所述第一MHA层包括的注意力头的数量的比值为第一比例值，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述第二intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，所述根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，包括：
根据第二预设关联关系和所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，其中，所述第二预设关联关系表示性能要求信息和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
本申请实施例提供了一种数据处理方法，包括：接收终端设备发送的性能要求信息；获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediatelayer包括N个神经元，所述M和N为正整数；根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediatelayer，所述第二intermediate layer包括的神经元的数量小于所述N；向所述终端设备发送所述第二神经网络模型。通过上述方式，使得云侧设备可以基于终端设备的性能要求信息确定一个适合终端设备需求的第二神经网络模型。
参照图14，图14为本申请实施例提供的一种数据处理方法的实施例示意图，如图14中示出的那样，本申请实施例提供的数据处理方法包括：
1401、接收终端设备发送的性能要求信息。
步骤1401的具体描述可以参照上述实施例中步骤1301的具体描述，这里不再赘述。
1402、获取第一神经网络模型，所述第一神经网络模型包括N个transformer层，所述N为正整数。
步骤1402的具体描述可以参照上述实施例中步骤1302的具体描述，这里不再赘述。
1403、根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括的transformer层的数量小于所述N，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
和上述实施例中步骤1303不同的是，本实施例中的第二神经网络模型包括的transformer层的数量小于第一神经网络模型包括的transformer层的数量，具体的，关于如何确定第二神经网络模型可以参照上述图11对应的实施例的描述，这里不再赘述。
1404、向所述终端设备发送所述第二神经网络模型。
步骤1404的具体描述可以参照上述实施例中步骤1304的描述，这里不再赘述。
可选地，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
可选地，所述方法还包括：
根据所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
可选地，所述根据所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，包括：
根据第三预设关联关系和所述性能要求信息确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示性能要求信息和所述第二神经网络模型的深度尺寸信息之间的对应关系。
可选地，所述第三预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述第三预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的深度尺寸信息。
本申请实施例提供了一种数据处理方法，包括：接收终端设备发送的性能要求信息；获取第一神经网络模型，所述第一神经网络模型包括N个transformer层，所述N为正整数；根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括的transformer层的数量小于所述N，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个；向所述终端设备发送所述第二神经网络模型。通过上述方式，使得云侧设备可以基于终端设备的性能要求信息确定一个适合终端设备需求的第二神经网络模型。
接下来从训练过程对本申请实施例提供的一种数据处理方法进行描述，参照图15，图15为本申请实施例提供的一种数据处理方法的实施例示意图，如图15中示出的那样，本申请实施例提供的数据处理方法包括：
1501、获取第一神经网络模型，所述第一神经网络模型包括多个第一transformer层，其中，所述多个第一transformer层中的每个第一transformer层包括多个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括多个神经元。
本申请实施例中，训练设备可以获取第一神经网络模型，所述第一神经网络模型包括多个第一transformer层，其中，所述多个第一transformer层中的每个第一transformer层包括多个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括多个神经元。
本申请实施例中，第一神经网络模型可以是一个训练过的神经网络，特别的，第一神经网络模型可以是通过基于transformer层包括的注意力头的重要性；或，中间层包括的神经元的重要性进行排序后得到的神经网络。
1502、根据所述第一神经网络模型确定第一神经网络子模型，其中，所述第一神经网络子模型为所述第一神经网络模型的部分模型，所述第一神经网络子模型包括与每个第一transformer层对应的第二transformer层，每个第二transformer层包括第二intermediate layer，每个第二transformer层包括的注意力头数量小于对应的第一transformer层包括的注意力头的数量，每个第二intermediate layer包括的神经元数量小于对应的第一intermediate layer包括的神经元数量；
1503、以所述第一神经网络模型为指导模型，基于知识蒸馏对所述第一神经网络子模型进行迭代训练，以更新所述第一神经网络子模型的参数大小，得到第二神经网络模型，更新后的第一神经网络子模型为所述第二神经网络模型的部分模型。
本申请实施例中，训练设备可以根据所述第一神经网络模型对语言信息进行处理，得到所述第一神经网络模型的第一输出标签以及每个第一transformer层的第一输出向量，所述语言信息对应于目标标签；
利用第一目标函数对所述第一神经网络模型进行反馈处理，得到第一梯度，所述第一目标函数与所述第一输出标签和所述目标标签之间的距离有关；
根据第一神经网络子模型对所述语言信息进行处理，得到第二输出标签以及多个第二transformer层中每个第二transformer层的第二输出向量，每个第二输出向量对应一个第一输出向量；
利用第二目标函数对所述第一神经网络子模型进行反馈处理，得到第二梯度，所述第二目标函数与所述第二输出标签和所述目标标签之间的距离、所述第二输出标签和所述第一输出标签之间的距离、以及各第一输出向量与对应的第二输出向量之间的距离有关；
根据目标梯度更新所述第一神经网络子模型的参数，得到所述第二神经网络模型，其中，所述目标梯度与所述第一梯度和所述第二梯度有关。
宽度可伸缩网络的训练目标是希望同一个网络可以在不同的宽度展开推理。训练的时候如果遍历所有宽度会导致训练成本太高，因此每次迭代中，可以只随机采样一部分的宽度来进行训练。
在宽度可伸缩网络的训练中，以分类任务为例，蒸馏背后的基本思想是首先训练大型模型，然后通过使用logits和中间层特征表达的拟合，将其学习的知识迁移到小型模型。具体实现的时候，对于宽度最大的网络，它训练的目标函数就是某个下游任务的目标函数。对于分类任务，一般采用模型预测的标签ymax和真实标签y的差距(这个差距可以选择一种合理的计算距离的方法，例如Cross Entropy函数)作为目标函数
Figure BDA0002383064720000511
对于宽度较小的网络，它的目标函数不仅有下游任务的目标函数/>
Figure BDA0002383064720000515
还包括了使得子网络的logits y′和隐层状态h′逼近最大宽度网络logits ymax和隐层状态hmax的两项目标函数
Figure BDA0002383064720000512
和/>
Figure BDA0002383064720000513
这个差距可以用任何一种合理的计算距离的方法，例如/>
Figure BDA0002383064720000516
可以选择Mean Square Error(MSE)，而/>
Figure BDA0002383064720000514
可以选择Cross Entropy函数。具体流程可以见如下算法的示意。
输入：训练集宽度伸缩范围r＝[rmin,rmax](例如r＝[1,12])，每次采样宽度的个数n(例如n＝4)
初始化：第一神经网络模型
1.FOR iter＝1,2,…Ttrain DO
2.获取当前mini-batch中的样本x和标签y。
3.随机采样出(n-2)个宽度a1,a2,…an-2。
4.清除优化器中的梯度。
5.FOR width in sorted([rmin,rmax,a1,a2,…an-2],decrease＝True)DO
6.IF width＝＝rmax DO
7.做一次前馈得到网络的隐层状态hmax,logits ymax和目标函数L＝l1(ymax,y)。
8.根据L做一次反馈得到梯度，累积在G中。
9.ELSE
10.在宽度为width的子网络上做一次前馈得到网络的隐层状态h′,logits y′。
11.计算基于隐层状态和logits的蒸馏目标函数L′＝l1(y′,y)+2(ymax,y′)+l3hmax,h′。
12.根据L′做一次反馈得到梯度，累加在G中。
13.END IF
14.END FOR
15.利用累积的梯度G来更新参数。
16.END FOR
需要说明的是，以上算法的仅为一种示意，并不构成对本申请的限定。
可选地，训练设备还可以根据所述第二神经网络模型确定第二神经网络子模型，其中，所述第二神经网络子模型为所述第二神经网络模型的部分模型，所述第二神经网络子模型包括的transformer层的数量小于所述M，根据所述第二神经网络模型确定第三神经网络子模型，其中，所述第三神经网络子模型为所述第二神经网络模型的部分模型，所述第三神经网络子模型包括的transformer层的数量与所述第二神经网络模型包括的transformer层的数量相同，所述第三神经网络子模型包括的多个transformer层中的每个transformer层包括的注意力头的数量与所述第二神经网络子模型中对应的transformer层包括的注意力头的数量相同，所述第三神经网络子模型包括的多个intermediate layer中的每个intermediate layer包括的神经元的数量与所述第二神经网络子模型中对应的intermediate layer包括的神经元的数量相同，以所述第三神经网络子模型为指导模型，基于知识蒸馏对所述第二神经网络子模型进行迭代训练，以更新所述第二神经网络子模型的参数大小，得到第三神经网络模型，更新后的第二神经网络子模型为所述第三神经网络模型的部分模型。
本申请实施例中，深度和宽度同时可伸缩网络的训练目标是希望同一个网络可以在不同的深度和宽度展开推理。训练的时候遍历所有深度和宽度会导致训练成本太高，因此每次迭代中，可以只随机采样一部分的深度和宽度来进行训练。
在深度和宽度同时可伸缩网络的训练中，可以采用知识蒸馏的方法来将最大深度模型学到的知识迁移到深度较小的网络中去。在这个过程中，为了因为深度方向的伸缩导致之前学到的宽度方向的知识被遗忘，因此，在深度伸缩的训练过程中，可以在每次迭代中随机采样一些不同的宽度进行训练，对于每一种采样的宽度进行前馈计算出网络logitsy′和中间层特征表达h′，根据H和Y中同宽度最大深度的结果logits ymax和中间层特征表达hmax计算蒸馏目标函数L′＝l1(y′,y)+l2(ymax,y′)+l3(hmax,h′)。和宽度可伸缩训练部分类似，这里的差距函数
Figure BDA0002383064720000531
可以选择任何合理的距离函数。具体流程可以见如下算法作为示例。
输入：训练集，宽度伸缩范围r＝[rmin,rmax](例如r∈[1,12])，深度伸缩范围s＝[smin,smax](例如s＝[6,12]，每次采样宽度的个数n(例如n＝4),每次采样的深度个数m(例如m＝4)
初始化：第二神经网络模型
1.FOR iter＝1,2,…Ttrain DO
2.获取当前mini-batch中的样本x和标签y。
3.采样出(n-2)个宽度a1,a2,…an-2，和(m-2)个深度d1,d2,…dm-2。
4.清除优化器中的梯度。
5.FOR all widthin[rmin，rmax]DO
6.以depth＝s_max前馈得到隐层状态hmax存储到H中，logits ymax存储到Y中。
7.END FOR
8.FOR depthin[smin,smax,d1,d2,…dm-2]
9.FOR widthin[rmin,rmax,a1,a2,…an-20
10.做一次前馈得到网络的隐层状态h′，logits y′。
11.根据H和Y中同宽度的结果宽度计算基于隐层状态和logits的蒸馏目标函数L′＝l1(y′,y)+l2(ymax,y′)+l3(hmax,h′)。
12.根据L′做一次反馈得到梯度，累加在G中。
13.END FOR
14.END FOR
15.利用累积的梯度G来更新参数。
16.END FOR
需要说明的是，上述步骤8和步骤9中的训练可以相互对调。
需要说明的是，以上算法的仅为一种示意，并不构成对本申请的限定。
在图1至图15所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图16，图16为本申请实施例提供的数据处理设备1600的一种结构示意图，数据处理设备1600可以是终端设备或服务器，数据处理设备1600包括：
获取模块1601，用于获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
确定模块1602，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N。
可选地，所述获取模块1601，还用于获取待处理语言信息；
所述设备还包括：处理模块1603，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，
所述第二intermediate layer包括的每个神经元为所述第一intermediatelayer包括的M个神经元中的一个。
可选地，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，
所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，所述确定模块还用于：
根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，所述确定模块具体用于：
根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息；或，第二宽度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述设备还包括：接收模块，用于：
接收云侧设备发送的所述第一预设关联关系。
可选地，所述设备还包括：发送模块，用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述接收模块，还用于：
接收云侧设备发送的所述第二预设关联关系。
可选地，所述发送模块，还用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：
接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
本申请实施例提供的数据处理设备，包括：获取模块1601，用于获取第一神经网络模型和终端设备的可用资源状态，其中所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；确定模块1602，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；所述获取模块1601，还用于获取待处理语言信息；处理模块1603，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。通过上述方式，可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。
参阅图17，图17为本申请实施例提供的数据处理设备1700的一种结构示意图，数据处理设备1700可以是终端设备或服务器，数据处理设备1700包括：
获取模块1701，用于获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数；
确定模块1702，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N；
所述获取模块1701，还用于获取待处理语言信息；
处理模块1703，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。
可选地，所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
可选地，所述N个transformer层包括第一transformer层，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第一transformer层与所述第二transformer层满足预设条件；
其中，所述第一transformer层包括第一多头注意力MHA层、第一残差连接层、第一前馈层和第一归一化层，所述第一前馈层包括第一中间层intermediate layer，所述第二transformer层包括第二MHA层、第二残差连接层、第二前馈层和第二归一化层，所述第二前馈层包括第二intermediate layer，所述预设条件至少包括如下的一种：
所述第一残差连接层与所述第二残差连接层相同；
所述第一归一化层与所述第二归一化层相同；
所述第二MHA层包括的多个注意力头中的每个注意力头为所述第一transformer层包括所述第一MHA层中的一个；或，
所述第二intermediate layer包括的多个神经元中的每个神经元为所述第一intermediate layer包括多个神经元中的一个。
可选地，所述确定模块还用于：
根据所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
可选地，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，所述第一transformer层的输出向量用于作为下一级transformer层的输入向量，所述第二transformer层的输出向量用于作为所述第一神经网络的输出表示。
可选地，所述确定模块，具体用于：
根据第三预设关联关系和所述可用资源状态确定所述第二神经网络模型的深度尺寸信息，其中，所述第三预设关联关系表示可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系。
可选地，所述第三预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述第三预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
可选地，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
可选地，所述设备还包括接收模块，用于：
接收云侧设备发送的所述第三预设关联关系。
可选地，所述设备还包括发送模块，用于：
向云侧设备发送所述终端设备的性能要求信息；
所述接收模块，还用于：接收云侧设备发送的基于所述性能要求信息确定的所述第一神经网络模型。
可选地，所述性能信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
本申请提供了一种数据处理设备，包括：获取模块1701，用于获取第一神经网络模型和终端设备的可用资源状态，所述第一神经网络模型包括N个transformer层，所述N为正整数；确定模块1702，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型包括的transformer层的数量小于所述N。通过上述方式，可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。
参阅图18，图18为本申请实施例提供的数据处理设备1800的一种结构示意图，数据处理设备1800可以是服务器，数据处理设备1800包括：
获取模块1801，用于获取第一神经网络模型，所述第一神经网络模型包括多个第一transformer层，其中，所述多个第一transformer层中的每个第一transformer层包括多个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括多个神经元；
确定模块1802，用于根据所述第一神经网络模型确定第一神经网络子模型，其中，所述第一神经网络子模型为所述第一神经网络模型的部分模型，所述第一神经网络子模型包括与每个第一transformer层对应的第二transformer层，每个第二transformer层包括第二intermediate layer，每个第二transformer层包括的注意力头数量小于对应的第一transformer层包括的注意力头的数量，每个第二intermediate layer包括的神经元数量小于对应的第一intermediate layer包括的神经元数量；
训练模块1803，用于以所述第一神经网络模型为指导模型，基于知识蒸馏对所述第一神经网络子模型进行迭代训练，以更新所述第一神经网络子模型的参数大小，得到第二神经网络模型，更新后的第一神经网络子模型为所述第二神经网络模型的部分模型。
可选的，每个第二intermediate layer包括的神经元的数量与对应的第一intermediate layer包括的神经元的数量的比值为第一比例值，每个第二transformer层包括的注意力头的数量与对应的第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选的，所述设备还包括：根据每个第一transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力的大小对每个第一transformer层进行网络重构。
可选的，所述设备还包括：根据每个第一intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力的大小对每个第一intermediate layer进行网络重构。
可选的，第一目标transformer层包括第一注意力头，所述第一目标transformer层为所述第一神经网络子模型包括的多个第二transformer层中的一个，所述第一目标transformer层对应的第一transformer层包括所述第一注意力头和第二注意力头，所述第一目标transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选的，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选的，第二目标intermediate layer包括第一神经元，所述第二目标intermediate layer为所述第一神经网络子模型包括的多个第二intermediate layer中的一个，所述第二目标intermediate layer对应的第一intermediate layer包括所述第一神经元和第二神经元，所述第二目标intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选的，所述训练模块，具体用于：
根据所述第一神经网络模型对语言信息进行处理，得到所述第一神经网络模型的第一输出标签以及每个第一transformer层的第一输出向量，所述语言信息对应于目标标签；
利用第一目标函数对所述第一神经网络模型进行反馈处理，得到第一梯度，所述第一目标函数与所述第一输出标签和所述目标标签之间的距离有关；
根据第一神经网络子模型对所述语言信息进行处理，得到第二输出标签以及多个第二transformer层中每个第二transformer层的第二输出向量，每个第二输出向量对应一个第一输出向量；
利用第二目标函数对所述第一神经网络子模型进行反馈处理，得到第二梯度，所述第二目标函数与所述第二输出标签和所述目标标签之间的距离、所述第二输出标签和所述第一输出标签之间的距离、以及各第一输出向量与对应的第二输出向量之间的距离有关；
根据目标梯度更新所述第一神经网络子模型的参数，得到所述第二神经网络模型，其中，所述目标梯度与所述第一梯度和所述第二梯度有关。
可选的，所述确定模块，还用于：
根据所述第二神经网络模型确定第二神经网络子模型，其中，所述第二神经网络子模型为所述第二神经网络模型的部分模型，所述第二神经网络子模型包括的transformer层的数量小于所述M；
根据所述第二神经网络模型确定第三神经网络子模型，其中，所述第三神经网络子模型为所述第二神经网络模型的部分模型，所述第三神经网络子模型包括的transformer层的数量与所述第二神经网络模型包括的transformer层的数量相同，所述第三神经网络子模型包括的多个transformer层中的每个transformer层包括的注意力头的数量与所述第二神经网络子模型中对应的transformer层包括的注意力头的数量相同，所述第三神经网络子模型包括的多个intermediate layer中的每个intermediate layer包括的神经元的数量与所述第二神经网络子模型中对应的intermediate layer包括的神经元的数量相同；
以所述第三神经网络子模型为指导模型，基于知识蒸馏对所述第二神经网络子模型进行迭代训练，以更新所述第二神经网络子模型的参数大小，得到第三神经网络模型，更新后的第二神经网络子模型为所述第三神经网络模型的部分模型。
参阅图19，图19为本申请实施例提供的数据处理设备1900的一种结构示意图，数据处理设备1900可以是服务器，数据处理设备1900包括：
接收模块1901，用于接收终端设备发送的性能要求信息；
获取模块1902，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
确定模块1903，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；
发送模块，用于向所述终端设备发送所述第二神经网络模型。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二transformer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个。
可选地，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，所述发送模块，还用于：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或，可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，所述确定模块，具体用于：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
可选地，所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的M个神经元中的一个。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选地，所述第一transformer层还包括第一多头注意力MHA层，所述第二transformer层还包括第二MHA层，所述第二MHA层包括的注意力头的数量与所述第一MHA层包括的注意力头的数量的比值为第一比例值，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第二intermediate layer包括第一神经元，所述M个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，所述第一intermediate layer包括的M个神经元按照如下方式排列：
根据各个神经元对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述第二intermediate layer包括的每个神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
可选地，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量。
可选地，所述确定模块具体用于：
根据第二预设关联关系和所述性能要求信息确定所述第二神经网络模型的第二宽度尺寸信息，其中，所述第二预设关联关系表示性能要求信息和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第二宽度尺寸信息。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括第三intermediate layer，所述第三intermediate layer包括的神经元的数量与所述第二intermediate layer包括的神经元的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
本申请实施例提供了一种数据处理设备，包括：接收模块1901，用于接收终端设备发送的性能要求信息；获取模块1902，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；确定模块1903，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；发送模块，用于向所述终端设备发送所述第二神经网络模型。通过上述方式，使得云侧设备可以基于终端设备的性能要求信息确定一个适合终端设备需求的第二神经网络模型。
参阅图20，图20为本申请实施例提供的数据处理设备2000的一种结构示意图，数据处理设备2000可以是服务器，数据处理设备2000包括：
获取模块2001，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头，所述M为正整数；
接收模块2002，用于接收终端设备发送的性能要求信息；
确定模块2003，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M，所述第一神经网络模型为通过对初始神经网络模型在至少一个宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个宽度尺寸中的每个宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个宽度尺寸中的一个；
发送模块2004，用于向所述终端设备发送所述第二神经网络模型。
可选地，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
可选地，所述第一transformer层还包括第一残差连接层和第一归一化层，所述第二transformer层还包括第二残差连接层和第二归一化层，所述第一残差连接层与所述第二残差连接层相同，所述第一归一化层与所述第二归一化层相同。
可选的，所述第二神经网络模型为所述第一神经网络模型的部分模型。
可选地，所述第一transformer层还包括第一前馈层，所述第二transformer层还包第二前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第二前馈层包括第二intermediate layer，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
可选地，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述第一注意力头包括的多个变换矩阵中各个元素值的绝对值加和大于所述第二注意力头包括的多个变换矩阵中各个元素值的绝对值加和。
可选地，所述第一transformer层包括的M个注意力头按照如下方式排列：
根据各个注意力头对所述第一神经网络模型的输出结果的影响能力的大小排列。
可选地，所述第二transformer层包括的每个注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力。
可选地，所述确定模块还用于：
根据所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量。
可选地，所述确定模块具体用于：
根据第一预设关联关系和所述性能要求信息确定所述第二神经网络模型的第一宽度尺寸信息，其中，所述第一预设关联关系表示性能要求信息和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；
其中，所述第一预设关联关系为预设函数，所述预设函数的输入为所述性能要求信息，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，
所述第一预设关联关系为预设表格，所述预设表格包括多个性能要求信息，以及每个性能要求信息对应的所述第二神经网络模型的第一宽度尺寸信息。
可选地，所述第一神经网络模型还包括第三transformer层，所述第二神经网络模型包括与所述第三transformer层对应的第四transformer层，所述第四transformer层包括的注意力头的数量与所述第二transformer层包括的注意力头的数量相同。
可选地，所述第一神经网络模型还包括第一嵌入层，所述第一transformer层与所述第一嵌入层连接，用于从所述第一嵌入层获取嵌入向量作为输入向量，所述第二神经网络模型还包括第二嵌入层，所述第二transformer层从所述第二嵌入层获取嵌入向量作为输入向量。
可选地，所述第一神经网络模型还包括第五transformer层和第六transformer层，所述第一transformer层与所述第五transformer层和所述第六transformer层连接，用于获取从所述第五transformer层得到的输出向量作为输入向量，并将输出向量作为所述第六transformer层的输入向量；
所述第二神经网络模型还包括第七transformer层和第八transformer层，所述第七transformer层与所述第五transformer层对应，所述第八transformer层与所述第六transformer层对应，所述第二transformer层与所述第七transformer层和所述第八transformer层连接，用于获取从所述第七transformer层得到的输出向量作为输入向量，并将输出向量作为所述第八transformer层的输入向量。
本申请实施例提供了一种数据处理设备，包括：获取模块2001，用于获取第一神经网络模型，所述第一神经网络模型包括第一transformer层，所述第一transformer层包括M个注意力头，所述M为正整数；接收模块2002，用于接收终端设备发送的性能要求信息；确定模块2003，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M，所述第一神经网络模型为通过对初始神经网络模型在至少一个宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个宽度尺寸中的每个宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个宽度尺寸中的一个；发送模块2004，用于向所述终端设备发送所述第二神经网络模型。通过上述方式，使得云侧设备可以基于终端设备的性能要求信息确定一个适合终端设备需求的第二神经网络模型。
接下来介绍本申请实施例提供的一种执行设备，请参阅图21，图21为本申请实施例提供的执行设备的一种结构示意图，执行设备2100具体可以表现为虚拟现实VR设备、手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备或服务器等，此处不做限定。具体的，执行设备2100包括：接收器2101、发射器2102、处理器2103和存储器2104(其中执行设备2100中的处理器2103的数量可以一个或多个，图21中以一个处理器为例)，其中，处理器2103可以包括应用处理器21031和通信处理器21032。在本申请的一些实施例中，接收器2101、发射器2102、处理器2103和存储器2104可通过总线或其它方式连接。
存储器2104可以包括只读存储器和随机存取存储器，并向处理器2103提供指令和数据。存储器2104的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器2104存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器2103控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器2103中，或者由处理器2103实现。处理器2103可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2103可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2103可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2104，处理器2103读取存储器2104中的信息，结合其硬件完成上述方法的步骤。
接收器2101可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器2102可用于通过第一接口输出数字或字符信息；发射器2102还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器2102还可以包括显示屏等显示设备。
本申请实施例中，在一种情况下，处理器2103，用于执行图6、图11、图13和图14对应实施例中的设备执行的数据处理方法。
本申请实施例还提供了一种训练设备，请参阅图22，图22是本申请实施例提供的训练设备一种结构示意图，训练设备2200上可以部署有图17对应实施例中所描述的图像处理设备，用于实现图18对应实施例中数据处理设备的功能，具体的，训练设备2200由一个或多个服务器实现，训练设备2200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)2222(例如，一个或一个以上处理器)和存储器2232，一个或一个以上存储应用程序2242或数据2244的存储介质2230(例如一个或一个以上海量存储设备)。其中，存储器2232和存储介质2230可以是短暂存储或持久存储。存储在存储介质2230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器2222可以设置为与存储介质2230通信，在训练设备2200上执行存储介质2230中的一系列指令操作。
训练设备2200还可以包括一个或一个以上电源2226，一个或一个以上有线或无线网络接口2250，一个或一个以上输入输出接口2258；或，一个或一个以上操作系统2241，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器2222，用于执行图18对应实施例中的数据处理装置执行的数据处理方法。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图23，图23为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 2300，NPU 2300作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路2303，通过控制器2304控制运算电路2303提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路2303内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路2303是二维脉动阵列。运算电路2303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2303是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2302中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2308中。
统一存储器2306用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)2305，DMAC被搬运到权重存储器2302中。输入数据也通过DMAC被搬运到统一存储器2306中。
BIU为Bus Interface Unit即，总线接口单元2310，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2309的交互。
总线接口单元2310(Bus Interface Unit，简称BIU)，用于取指存储器2309从外部存储器获取指令，还用于存储单元访问控制器2305从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2306或将权重数据搬运到权重存储器2302中或将输入数据数据搬运到输入存储器2301中。
向量计算单元2307包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元2307能将经处理的输出的向量存储到统一存储器2306。例如，向量计算单元2307可以将线性函数；或，非线性函数应用到运算电路2303的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2307生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2303的激活输入，例如用于在神经网络中的后续层中的使用。
控制器2304连接的取指存储器(instruction fetch buffer)2309，用于存储控制器2304使用的指令；
统一存储器2306，输入存储器2301，权重存储器2302以及取指存储器2309均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (28)

1.一种数据处理方法，其特征在于，所述方法包括：
获取第一神经网络模型和终端设备的可用资源状态，其中，所述第一神经网络模型包括至少一个转换transformer层，所述至少一个transformer层包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；或，
所述第二神经网络模型包括的transformer层的数量小于所述第一神经网络模型包括的transformer层的数量。
2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二intermediate layer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个；或，
所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
3.根据权利要求1或2所述的方法，其特征在于，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，
所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的N个神经元中的一个。
4.根据权利要求1或2所述的方法，其特征在于，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
5.根据权利要求1或2所述的方法，其特征在于，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，
所述第二intermediate layer包括第一神经元，所述N个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息或第二宽度尺寸信息或深度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
7.根据权利要求6所述的方法，其特征在于，所述根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息或第二宽度尺寸信息或深度尺寸信息，包括：
根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息或第二宽度尺寸信息或深度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息或所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
8.根据权利要求1或2所述的方法，其特征在于，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
9.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取待处理语言信息；
根据所述第二神经网络模型对所述待处理语言信息进行处理。
10.一种数据处理方法，其特征在于，包括：
接收终端设备发送的性能要求信息；
获取第一神经网络模型，所述第一神经网络模型包括至少一个转换transformer层，所述至少一个transformer层包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；或，
所述第二神经网络模型包括的transformer层的数量小于所述第一神经网络模型包括的transformer层的数量；
向所述终端设备发送所述第二神经网络模型。
11.根据权利要求10所述的方法，其特征在于，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
12.根据权利要求10或11所述的方法，其特征在于，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二intermediate layer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
13.根据权利要求10或11所述的方法，其特征在于，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或
所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的N个神经元中的一个。
14.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系；或可用资源状态和所述第三神经网络模型的深度尺寸之间的对应关系，其中，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量，所述深度尺寸表示所述第三神经网络模型包括的transformer层的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的深度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸；或所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的深度尺寸。
15.一种数据处理设备，其特征在于，所述设备包括：
获取模块，用于获取第一神经网络模型和终端设备的可用资源状态；其中，所述第一神经网络模型包括至少一个转换transformer层，所述至少一个transformer层包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
确定模块，用于根据所述可用资源状态确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；或，
所述第二神经网络模型包括的transformer层的数量小于所述第一神经网络模型包括的transformer层的数量。
16.根据权利要求15所述的设备，其特征在于，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二intermediate layer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
17.根据权利要求15或16所述的设备，其特征在于，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或，
所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的N个神经元中的一个。
18.根据权利要求15或16所述的设备，其特征在于，所述第二intermediate layer包括的神经元的数量与所述第一intermediate layer包括的神经元的数量的比值为第一比例值，所述第二transformer层包括的注意力头的数量与所述第一transformer层包括的注意力头的数量的比值为第二比例值，所述第一比例值等于所述第二比例值。
19.根据权利要求15或16所述的设备，其特征在于，所述第二transformer层包括第一注意力头，所述M个注意力头包括所述第一注意力头和第二注意力头，所述第二transformer层不包括所述第二注意力头，所述第一注意力头对所述第一神经网络模型的输出结果的影响能力大于所述第二注意力头对所述第一神经网络模型的输出结果的影响能力；或，
所述第二intermediate layer包括第一神经元，所述N个神经元包括所述第一神经元和第二神经元，所述第二intermediate layer不包括所述第二神经元，所述第一神经元对所述第一神经网络模型的输出结果的影响能力大于所述第二神经元对所述第一神经网络模型的输出结果的影响能力。
20.根据权利要求15或16所述的设备，其特征在于，所述确定模块还用于：
根据所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息或第二宽度尺寸信息或深度尺寸信息，所述第一宽度尺寸信息包括所述第二transformer层包括的注意力头的数量，所述第二宽度尺寸信息包括所述第二intermediate layer包括的神经元的数量，所述深度尺寸信息包括所述第二神经网络模型包括的transformer层的数量。
21.根据权利要求20所述的设备，其特征在于，所述确定模块具体用于：
根据预设关联关系和所述可用资源状态确定所述第二神经网络模型的第一宽度尺寸信息或第二宽度尺寸信息或深度尺寸信息，其中，所述预设关联关系表示可用资源状态和所述第二神经网络模型的第一宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的第二宽度尺寸信息之间的对应关系；或，可用资源状态和所述第二神经网络模型的深度尺寸信息之间的对应关系；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第一宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的第二宽度尺寸信息；或，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第二神经网络模型的深度尺寸信息；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第一宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的第二宽度尺寸信息；或，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第二神经网络模型的深度尺寸信息。
22.根据权利要求15或16所述的设备，其特征在于，所述可用资源状态至少包括如下的一种：
所述终端设备的功耗、所述终端设备计算能力或所述终端设备可用存储大小。
23.根据权利要求15或16所述的设备，其特征在于，所述获取模块还用于：
获取待处理语言信息；
所述设备还包括：处理模块，用于根据所述第二神经网络模型对所述待处理语言信息进行处理。
24.一种数据处理设备，其特征在于，所述设备包括：
接收模块，用于接收终端设备发送的性能要求信息；
获取模块，用于获取第一神经网络模型，所述第一神经网络模型包括至少一个转换transformer层，所述至少一个transformer层包括第一transformer层，所述第一transformer层包括M个注意力头和第一前馈层，所述第一前馈层包括第一中间层intermediate layer，所述第一intermediate layer包括N个神经元，所述M和N为正整数；
确定模块，用于根据所述性能要求信息确定第二神经网络模型，其中，所述第二神经网络模型为基于所述第一神经网络模型得到的，所述第二神经网络模型至少满足如下的一种条件：
所述第二神经网络模型包括与所述第一transformer层对应的第二transformer层，所述第二transformer层包括的注意力头的数量小于所述M；或，
所述第二神经网络模型包括与所述第一intermediate layer对应的第二intermediate layer，所述第二intermediate layer包括的神经元的数量小于所述N；或，
所述第二神经网络模型包括的transformer层的数量小于所述第一神经网络模型包括的transformer层的数量；
发送模块，用于向所述终端设备发送所述第二神经网络模型。
25.根据权利要求24所述的设备，其特征在于，所述性能要求信息至少包括如下的一种：
精度要求、时延要求或模型压缩比要求。
26.根据权利要求24或25所述的设备，其特征在于，所述第一神经网络模型为通过对初始神经网络模型在至少一个第一宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第一宽度尺寸中的每个第一宽度尺寸表示transformer层包括的注意力头的数量，所述第二transformer层包括的注意力头的数量为所述至少一个第一宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个第二宽度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个第二宽度尺寸中的每个第二宽度尺寸表示intermediate layer包括的神经元的数量，所述第二intermediate layer层包括的神经元的数量为所述至少一个第二宽度尺寸中的一个；或
所述第一神经网络模型为通过对初始神经网络模型在至少一个深度尺寸下进行知识蒸馏训练得到的，其中，所述至少一个深度尺寸中的每个深度尺寸表示transformer层的数量，所述第二transformer层的数量为所述至少一个深度尺寸中的一个。
27.根据权利要求24或25所述的设备，其特征在于，所述第二transformer层包括的每个注意力头为所述第一transformer层包括的M个注意力头中的一个；或
所述第二intermediate layer包括的每个神经元为所述第一intermediate layer包括的N个神经元中的一个。
28.根据权利要求24或25所述的设备，其特征在于，所述发送模块，还用于：
向所述终端设备发送预设关联关系，其中，所述预设关联关系表示可用资源状态和第三神经网络模型的第三宽度尺寸之间的对应关系；或可用资源状态和所述第三神经网络模型的第四宽度尺寸之间的对应关系；或可用资源状态和所述第三神经网络模型的深度尺寸之间的对应关系，其中，所述第三神经网络模型为根据所述第二神经网络模型得到的，所述第三宽度尺寸表示transformer层包括的注意力头的数量，所述第四宽度尺寸表示intermediate layer包括的神经元的数量，所述深度尺寸表示所述第三神经网络模型包括的transformer层的数量；
其中，所述预设关联关系为预设函数，所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第三宽度尺寸；或所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的第四宽度尺寸；或所述预设函数的输入为所述可用资源状态，所述预设函数的输出为所述第三神经网络模型的深度尺寸；或，
所述预设关联关系为预设表格，所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第三宽度尺寸；或所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的第四宽度尺寸；或所述预设表格包括多个可用资源状态，以及每个可用资源状态对应的所述第三神经网络模型的深度尺寸。
CN202010088948.2A 2020-02-12 2020-02-12 一种数据处理方法及相关设备 Active CN111368993B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202310353963.9A CN116415654A (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备
CN202010088948.2A CN111368993B (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备
PCT/CN2020/117760 WO2021159714A1 (zh) 2020-02-12 2020-09-25 一种数据处理方法及相关设备
EP20919261.6A EP4089587A4 (en) 2020-02-12 2020-09-25 DATA PROCESSING METHODS AND RELATED DEVICE
US17/882,895 US20220383078A1 (en) 2020-02-12 2022-08-08 Data processing method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010088948.2A CN111368993B (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310353963.9A Division CN116415654A (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111368993A CN111368993A (zh) 2020-07-03
CN111368993B true CN111368993B (zh) 2023-03-31

Family

ID=71208040

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310353963.9A Pending CN116415654A (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备
CN202010088948.2A Active CN111368993B (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310353963.9A Pending CN116415654A (zh) 2020-02-12 2020-02-12 一种数据处理方法及相关设备

Country Status (4)

Country Link
US (1) US20220383078A1 (zh)
EP (1) EP4089587A4 (zh)
CN (2) CN116415654A (zh)
WO (1) WO2021159714A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415654A (zh) * 2020-02-12 2023-07-11 华为技术有限公司 一种数据处理方法及相关设备
CN112036564B (zh) * 2020-08-28 2024-01-09 腾讯科技（深圳）有限公司 图片识别方法、装置、设备及存储介质
CN112288075B (zh) * 2020-09-29 2024-02-02 华为技术有限公司 一种数据处理方法及相关设备
CN112802570A (zh) * 2021-02-07 2021-05-14 成都延华西部健康医疗信息产业研究院有限公司 一种针对电子病历命名实体识别系统及方法
CN112950125B (zh) * 2021-04-02 2023-04-25 拉扎斯网络科技（上海）有限公司 一种配送资源安全状态数据的获得方法、装置、电子设备
CN113763933B (zh) * 2021-05-06 2024-01-05 腾讯科技（深圳）有限公司 语音识别方法、语音识别模型的训练方法、装置和设备
CN113505193A (zh) * 2021-06-01 2021-10-15 华为技术有限公司 一种数据处理方法及相关设备
CN113435585B (zh) * 2021-07-15 2023-03-10 支付宝(杭州)信息技术有限公司 一种业务处理方法、装置及设备
WO2023019391A1 (en) * 2021-08-16 2023-02-23 Robert Bosch Gmbh Method and apparatus for knowledge distillation
CN115841134A (zh) * 2021-09-18 2023-03-24 华为技术有限公司 神经网络模型优化方法及相关设备
CN116579403A (zh) * 2022-01-29 2023-08-11 华为技术有限公司 一种数据处理方法及相关设备
CN114547482B (zh) * 2022-03-03 2023-01-20 智慧足迹数据科技有限公司 业务特征生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN110222349A (zh) * 2019-06-13 2019-09-10 成都信息工程大学 一种深度动态上下文词语表示的模型及方法、计算机

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690489B2 (ja) * 2016-09-30 2020-04-28 沖電気工業株式会社 情報処理装置、情報処理方法、およびプログラム
CN108243216B (zh) * 2016-12-26 2020-02-14 华为技术有限公司 数据处理的方法、端侧设备、云侧设备与端云协同系统
US11315019B2 (en) * 2017-11-15 2022-04-26 Google Llc Learning neural network structure
US20190205761A1 (en) * 2017-12-28 2019-07-04 Adeptmind Inc. System and method for dynamic online search result generation
CN110472736B (zh) * 2019-08-26 2022-04-22 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN110717589A (zh) * 2019-09-03 2020-01-21 北京旷视科技有限公司 数据处理方法、设备和可读存储介质
CN116415654A (zh) * 2020-02-12 2023-07-11 华为技术有限公司 一种数据处理方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN110222349A (zh) * 2019-06-13 2019-09-10 成都信息工程大学 一种深度动态上下文词语表示的模型及方法、计算机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用Transformer-CRF的中文电子病历命名实体识别;李博 等;《计算机工程与应用》;20191108;第153-159页 *

Also Published As

Publication number Publication date
EP4089587A1 (en) 2022-11-16
EP4089587A4 (en) 2023-05-31
US20220383078A1 (en) 2022-12-01
CN116415654A (zh) 2023-07-11
CN111368993A (zh) 2020-07-03
WO2021159714A1 (zh) 2021-08-19

Similar Documents

Publication Publication Date Title
CN111368993B (zh) 一种数据处理方法及相关设备
WO2020228376A1 (zh) 文本处理方法、模型训练方法和装置
WO2021047286A1 (zh) 文本处理模型的训练方法、文本处理方法及装置
CN112288075B (zh) 一种数据处理方法及相关设备
WO2022007823A1 (zh) 一种文本数据处理方法及装置
WO2022057776A1 (zh) 一种模型压缩方法及装置
WO2022068314A1 (zh) 神经网络训练的方法、神经网络的压缩方法以及相关设备
CN114676234A (zh) 一种模型训练方法及相关设备
WO2022001724A1 (zh) 一种数据处理方法及装置
WO2022253074A1 (zh) 一种数据处理方法及相关设备
WO2023236977A1 (zh) 一种数据处理方法及相关设备
WO2023020613A1 (zh) 一种模型蒸馏方法及相关设备
WO2023284716A1 (zh) 一种神经网络搜索方法及相关设备
US20240046067A1 (en) Data processing method and related device
CN116432019A (zh) 一种数据处理方法及相关设备
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
WO2023143262A1 (zh) 一种数据处理方法及相关设备
CN115795025A (zh) 一种摘要生成方法及其相关设备
CN117035019A (zh) 一种数据处理方法及相关设备
CN116151326A (zh) 一种模型量化方法及其装置
CN116362301A (zh) 一种模型的量化方法以及相关设备
CN114817452A (zh) 一种语义匹配方法、装置、设备及可存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant