CN114254724A - 一种数据处理方法、神经网络的训练方法以及相关设备 - Google Patents

一种数据处理方法、神经网络的训练方法以及相关设备 Download PDF

Info

Publication number
CN114254724A
CN114254724A CN202010957768.3A CN202010957768A CN114254724A CN 114254724 A CN114254724 A CN 114254724A CN 202010957768 A CN202010957768 A CN 202010957768A CN 114254724 A CN114254724 A CN 114254724A
Authority
CN
China
Prior art keywords
sequence data
neural network
data
loss function
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010957768.3A
Other languages
English (en)
Inventor
许封元
吴昊
田雪津
陶喆
曹建龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Huawei Technologies Co Ltd
Original Assignee
Nanjing University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, Huawei Technologies Co Ltd filed Critical Nanjing University
Priority to CN202010957768.3A priority Critical patent/CN114254724A/zh
Priority to PCT/CN2021/107753 priority patent/WO2022052647A1/zh
Priority to EP21865703.9A priority patent/EP4206989A4/en
Publication of CN114254724A publication Critical patent/CN114254724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开一种数据处理方法，该方法可用于人工智能的序列数据处理领域。方法包括：通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据，第二序列数据携带的信息量小于第一序列数据携带的信息量；将第二序列数据发送给第二执行设备，接收第二执行设备发送的第二序列数据的预测结果，第二序列数据的预测结果被视为第一序列数据的预测结果；第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。减少发送至服务器的信息量，以减少处于风险状态的数据，提高用户数据的安全性。

Description

一种数据处理方法、神经网络的训练方法以及相关设备
技术领域
本申请涉及人工智能领域，尤其涉及一种数据处理方法、神经网络的训练方法以及相关设备。
背景技术
人工智能(Artificia1 Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
为了使普通用户可以方便地使用人工智能技术，一些公司提供了线上推理服务。具体的，服务提供商为某特定任务训练好一个神经网络，将训练好的神经网络部署在云端服务器上，用户使用推理服务时只需将待处理数据发送至云端服务器，就可以从服务器处接收到与待处理数据对应的预测结果。
线上推理服务能够避免对第一执行设备的计算机资源的消耗，有利于提升用户的体验，但由于需要将待处理数据发送至云端服务器，会给用户的数据安全带来风险。
发明内容
本申请实施例提供了一种数据处理方法、神经网络的训练方法以及相关设备，减少发送至服务器的信息量，以减少处于风险状态的数据，提高用户数据的安全性；且第一损失函数指示第二序列数据携带的信息量，第二损失函数指示预测结果和正确结果之间的相似度，也即尽量降低由于减少信息量给预测结果的准确率造成的影响。
为解决上述技术问题，本申请实施例提供以下技术方案：
第一方面，本申请实施例提供一种数据处理方法，可用于人工智能的序列数据处理领域中。方法包括：第一执行设备将第一序列数据输入第一神经网络，以通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据，第二序列数据携带的信息量小于第一序列数据携带的信息量，第二序列数据也可以视为对第一序列数据进行过隐私处理之后的序列数据。若第一序列数据和第二序列数据中携带的均为图像数据的信息，则第一序列数据和第二序列数据携带的信息量均可以通过图片的熵值来衡量；图片熵是一个在图像处理领域广泛应用的定义，可以用来衡量一个图片中包含的信息量。第一执行设备将第二序列数据发送给第二执行设备，第二序列数据用于指示第二执行设备将第二序列数据输入至第二神经网络中，以通过第二神经网络生成第二序列数据的预测结果。其中，第二神经网络和第一神经网络的任务目标不同，第一神经网络的任务目标为对序列数据中携带的信息量进行删减，也即对序列数据进行预处理；第二神经网络的任务目标为生成序列数据的预测结果。第一执行设备接收第二执行设备发送的第二序列数据的预测结果，第二序列数据的预测结果被视为第一序列数据的预测结果。其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量；第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度，也即第二损失函数指示第二序列数据的预测结果与第一序列数据的正确结果之间的相似度。
本实现方式中，通过上述方式，能够减少发送至服务器的信息量，以减少处于风险状态的数据，从而提高用户数据的安全性；且第一神经网络是通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示预测结果和正确结果之间的相似度，也即在减少发送至服务器的信息量的同时，尽量降低由于减少信息量给预测结果的准确率造成的影响。
在第一方面的一种可能实现方式中，第一损失函数指示第二序列数据与第三序列数据之间的距离。其中，第二序列数据和第三序列数据均包括至少一个元素，第三序列数据的形状与第二序列数据的形状相同；第二序列数据包括的一个第一元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第二元素在第二序列数据中的位置与第一元素在第一序列数据中的位置一致，第二取值范围位于第一取值范围的中间区域。作为示例，例如第二序列数据为图像数据，第一取值范围为0-255，则第二取值范围可以为100-150；作为另一示例，例如第二序列数据为音频数据，第一取值范围为-5至5，则第二取值范围可以为-1至1等等。
本实现方式中，第二序列数据中第三元素的取值范围为第一取值范围，由于每个元素的取值范围越大，则多个元素的取值组合的可能性就越多，也即序列数据的熵值就可能越大，从而携带的数据量就越大，第三序列数据中第二元素的取值范围为第二取值范围，第二取值范围位于第一取值范围的中间区域，从而第三序列数据为携带数据量较少的序列数据，训练的目标为拉近第二序列数据与第三序列数据之间的相似度，以在迭代训练的过程中降低第二序列数据携带的信息量；此外，拉近第二序列数据与第三序列数据之间的相似度，能够维持第一神经网络处理后的序列数据的统计特征，以降低对预测结果的准确率的影响。
在第一方面的一种可能实现方式中，若第二序列数据包括的多个元素中不同元素的取值范围均相同，则第三序列数据包括的多个元素中不同元素的取值均相同。
在第一方面的一种可能实现方式中，第一损失函数为第二序列数据与第三序列数据之间的一阶距离、二阶距离、余弦距离、欧式距离、马氏距离或其他类型的距离等。第二元素的取值为第一取值范围的中值。本实现方式中，第一损失函数为第二序列数据与第三序列数据之间的一阶距离，能够保证第一损失函数可以准确反映第二序列数据与第三序列数据之间的差距，以提高用户信息的安全度。
在第一方面的一种可能实现方式中，第一神经网络的输入数据的形状与输出数据的形状相同，第一序列数据与第二序列数据的形状相同。其中，第一序列数据和第二序列数据均为张量，第一序列数据和第二序列数据的形状相同指的是第一序列数据和第二序列数据均为N维张量，且第一序列数据的N维中的第一维和第二序列数据的N维中的第二维的尺寸相同，N为大于或等于1的整数，第一维第一序列数据的N维中的任一维，第二维为第二序列数据的N维中与第一维相同的维度。作为示例，例如第一序列数据和第二序列数据均为图像数据，两个图像数据的形状相同指的是两个图像数据的尺寸相同且通道数据相同。作为另一示例，例如第一序列数据和第二序列数据均为非图像数据，则第一序列数据和第二序列数据可以表现为向量，两个向量的形状相同指的是两个向量的长度相同，也即两个向量中包括的元素个数相同。
本实现方式中，由于在未增设第一神经网络之前，为直接将第一序列数据输入第二神经网络，以生成第一序列数据的预测结果，第一神经网络的输入数据的形状与输出数据的形状相同，也即经过第一神经网络的处理后未改变序列数据的形状，也即在增设第一神经网络之后和未设置第一神经网络之前，输入的数据的形状不需要发生改变，也即不需要改变用户以往的输入习惯，也不需要在第一神经网络和第二神经网络之间增加其他处理层，节省了计算机资源，且提高了用户体验。
在第一方面的一种可能实现方式中，第一序列数据为图像数据、文本数据或音频数据。进一步地，若第一序列数据中携带的为不是图像数据的信息，则第一序列数据可以表现为向量的形式；若第一序列数据中携带的图像数据，则第一序列数据可以表示为M维的张量，M的取值为大于或等于2的整数。第一神经网络为卷积神经网络、循环神经网络或全连接神经网络。若第一序列数据为存在时序关系，则第三神经网络可以为循环神经网络。若第一序列数据为不存在时序关系的图像数据，则第三神经网络可以为卷积神经网络。若第一序列数据为不存在时序关系的非图像数据，则第三神经网络可以为全连接神经网络。作为示例，例如当第四序列数据为图像数据时，第一神经网络具体可以表现为Unet模型、自动编码器模型或其他神经网络。
本实现方式中，第四序列数据中携带的可以是图像数据、音频数据或文本数据的信息，也公开了第一神经网络的多种表现形式，扩展了本方案的应用场景。
第二方面，本申请实施例提供了一种数据处理方法，可用于人工智能的序列数据处理领域中。方法包括：第二执行设备接收第一执行设备发送的第二序列数据，第二序列数据为第一执行设备将第一序列数据输入第一神经网络，通过第一神经网络对第一序列数据携带的信息进行删减处理后得到的，第二序列数据携带的信息量小于第一序列数据携带的信息量。第二执行设备将第二序列数据输入第二神经网络，得到第二神经网络输出的第二序列数据的预测结果，将第二序列数据的预测结果发送给第一执行设备。其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据中携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
在第二方面的一种可能实现方式中，第一损失函数指示第二序列数据与第三序列数据之间的距离。其中，第二序列数据和第三序列数据均包括至少一个元素，第二序列数据包括的一个第一元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第二元素在第二序列数据中的位置与第一元素在第一序列数据中的位置相同，第二取值范围位于第一取值范围的中间区域。
在第二方面的一种可能实现方式中，第一损失函数为第二序列数据与第三序列数据之间的一阶距离，第二元素的取值为第一取值范围的中值。
对于本申请实施例第二方面以及第二方面的各种可能实现方式中的具体实现步骤、名词的含义以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。
第三方面，本申请实施例提供了一种神经网络的训练方法，可用于人工智能的序列数据处理领域中。训练设备获取训练数据集，训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果。训练设备将第四序列数据输入第一神经网络，以通过第一神经网络对第四序列数据携带的信息进行删减处理，得到第一神经网络输出的第五序列数据，第五序列数据携带的信息量小于第四序列数据携带的信息量；将第五序列数据输入第二神经网络，得到第二神经网络输出的第五序列数据的预测结果，第五序列数据的预测结果被视为第四序列数据的预测结果。训练设备根据第一损失函数和第二损失函数，对第一神经网络进行迭代训练，直至满足第一预设条件；具体的，训练设备在得到第五序列数据、第五序列数据的预测结果(也即第四序列数据的预测结果)之后，可以生成第一损失函数的函数值和第二损失函数的函数值，并根据第一损失函数的函数值和第二损失函数的函数值计算得到总的函数值，根据总的函数值进行梯度求导，并反向更新第一神经网络的权重参数，以完成对第一神经网络的一次训练。其中，第一损失函数指示第五序列数据携带的信息量，第二损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度；第一预设条件可以为迭代次数达到预设次数，也可以为满足第一损失函数和第二损失函数的收敛条件。
在第三方面的一种可能实现方式中，训练设备将第四序列数据输入第一神经网络之前，方法还包括：训练设备将第四序列数据输入至第三神经网络，得到第三神经网络输出的第四序列数据的预测结果；根据第三损失函数对第三神经网络进行训练，直至满足第二预设条件，得到第二神经网络。其中，第三损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度，第二神经网络为训练后的第三神经网络，第一神经网络的训练过程中不再更新第二神经网络的参数。
本实现方式中，在对第一神经网络执行训练操作之前，先根据第三损失函数对第三神经网络执行训练操作，以得到成熟的第三神经网络(也即第二神经网络)，在对第一神经网络进行训练的过程中不再更新第二神经网络的权重参数，以降低第一神经网络的训练过程的混乱程度，以提高第一神经网络训练过程的效率；且对第二神经网络的输入数据的类型固定之后，能够保证第一神经网络输出数据的类型的稳定，以保证第一神经网络训练过程的可控性。
在第三方面的一种可能实现方式中，第二损失函数和第三损失函数的类型与第三神经网络的任务类型相关，第二损失函数和第三损失函数可以为相同类型的损失函数，也可以为不同类型的损失函数。作为示例，例如第三神经网络的任务类型为分类，则第二损失函数和第三损失函数的类型均可以为交叉熵损失函数；作为另一示例，例如第三神经网络的任务类型为语音识别，则第二损失函数和第三损失函数的类型均可以一阶距离损失函数或者二阶距离损失函数等。
对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤、名词的含义以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。
第四方面，本申请实施例提供了一种数据处理装置，可用于人工智能的序列数据处理领域中。装置应用于第一执行设备，装置包括：输入模块，用于将第一序列数据输入第一神经网络，以通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据，第二序列数据携带的信息量小于第一序列数据携带的信息量；发送模块，用于将第二序列数据发送给第二执行设备，第二序列数据用于指示第二执行设备将第二序列数据输入至第二神经网络中，以通过第二神经网络生成第二序列数据的预测结果；接收模块，用于接收第二执行设备发送的第二序列数据的预测结果，第二序列数据的预测结果被视为第一序列数据的预测结果；其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
对于本申请实施例第四方面以及第四方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。
第五方面，本申请实施例提供了一种数据处理装置，可用于人工智能的序列数据处理领域中。装置应用于第二执行设备，装置包括：接收模块，用于接收第一执行设备发送的第二序列数据，第二序列数据为第一执行设备将第一序列数据输入第一神经网络，通过第一神经网络对第一序列数据携带的信息进行删减处理后得到的，第二序列数据携带的信息量小于第一序列数据携带的信息量；输入模块，用于将第二序列数据输入第二神经网络，得到第二神经网络输出的第二序列数据的预测结果；发送模块，用于将第二序列数据的预测结果发送给第一执行设备；其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据中携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
对于本申请实施例第五方面以及第五方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第二方面中各种可能的实现方式中的描述，此处不再一一赘述。
第六方面，本申请实施例提供了一种神经网络的训练装置，可用于人工智能的序列数据处理领域中。装置应用于训练设备，装置包括：获取模块，用于获取训练数据集，训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果；输入模块，用于将第四序列数据输入第一神经网络，以通过第一神经网络对第四序列数据携带的信息进行删减处理，得到第一神经网络输出的第五序列数据，第五序列数据携带的信息量小于第四序列数据携带的信息量；输入模块，还用于将第五序列数据输入第二神经网络，得到第二神经网络输出的第五序列数据的预测结果，第五序列数据的预测结果被视为第四序列数据的预测结果；训练模块，用于根据第一损失函数和第二损失函数，对第一神经网络进行训练，直至满足预设条件，其中，第一损失函数指示第五序列数据携带的信息量，第二损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度。
对于本申请实施例第六方面以及第六方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第三方面中各种可能的实现方式中的描述，此处不再一一赘述。
第七方面，本申请实施例提供了一种执行设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时可以实现上述第一方面或第二方面所述的数据处理方法。对于处理器执行第一方面的各个可能实现方式中第一执行设备执行的步骤，或者，对于处理器执行第二方面的各个可能实现方式中第二执行设备执行的步骤，具体均可以参阅第一方面或第二方面，此处不再赘述。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的数据处理方法，或者，使得计算机执行上述第三方面所述的神经网络的训练方法。
第九方面，本申请实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面或第二方面所述的数据处理方法，或者，所述处理电路配置为执行上述第三方面所述的神经网络的训练方法。
第十方面，本申请实施例提供了一种计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的数据处理方法，或者，使得计算机执行上述第三方面所述的神经网络的训练方法。
第十一方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持第一执行设备、第二执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图；
图2为本申请实施例提供的数据处理系统的一种系统架构图；
图3为本申请实施例提供的神经网络的训练方法的一种流程示意图；
图4为本申请实施例提供的数据处理方法中第四序列数据和第五序列数据的一种示意图；
图5为本申请实施例提供的数据处理方法中第四序列数据和第五序列数据的另一种示意图；
图6为本申请实施例提供的数据处理方法中第一神经网络的一种网络结构示意图；
图7为本申请实施例提供的神经网络的训练方法的另一种流程示意图；
图8为本申请实施例提供的数据处理方法的一种流程示意图；
图9为本申请实施例提供的数据处理装置的一种结构示意图；
图10为本申请实施例提供的数据处理装置的另一种结构示意图；
图11为本申请实施例提供的神经网络的训练装置的一种结构示意图；
图12为本申请实施例提供的执行设备的一种结构示意图；
图13为本申请实施例提供的服务器的一种结构示意图；
图14为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
本申请实施例提供了一种数据处理方法、神经网络的训练方法以及相关设备，减少发送至服务器的信息量，以减少处于风险状态的数据，提高用户数据的安全性；且第一损失函数指示第二序列数据携带的信息量，第二损失函数指示预测结果和正确结果之间的相似度，也即尽量降低由于减少信息量给预测结果的准确率造成的影响。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据-信息-知识-智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，作为示例，该智能芯片包括中央处理器(central processing unit，CPU)、神经网络处理器(neural-networkprocessing unit，NPU)、图形处理器(graphics processing unit，GPU)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程逻辑门阵列(fieldprogrammable gate array，FPGA)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据指示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，图像的分类、图像的个性化管理、电池充电个性化管理、文本分析、计算机视觉的处理、语音识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、平安城市等。
本申请实施例可以应用于人工智能的各种领域中，具体可以应用于各种需要处理序列数据的场景中，序列数据指的是指一个由若干元素构成的有序集合，序列数据中携带的可以为图像数据中的信息、文本数据中的信息或音频数据中的信息。作为示例，例如序列数据中携带的为待分类的图像的信息；作为另一示例，例如序列数据中携带的为用户的描述信息，用户的描述信息可以包括用户的年龄、性别、薪资水平等信息；作为再一示例，例如序列数据中携带的为待识别的语音信息等等，此处不做穷举。
基于上述应用场景，本申请实施例提供了一种数据处理方法，为了便于理解本方案，本申请实施例中首先结合图2对本申请实施例提供的数据处理系统进行介绍，请先参阅图2，图2为本申请实施例提供的数据处理系统的一种系统架构图。在图2中，数据处理系统200包括第二执行设备210、训练设备220、数据库230、第一执行设备240、数据存储系统250，第二执行设备210中包括计算模块211和输入/输出(in/out，I/O)接口212。
具体的，在训练阶段，数据库230用于存储有训练数据集合，训练数据集合中包括多个第四序列数据和每个第四序列数据的正确结果。训练设备220生成用于对第四序列数据携带的信息进行删减处理的第一神经网络201，和，用于生成第四序列数据的预测结果的第二神经网络202，第二神经网络202为训练过的神经网络。训练设备220利用数据库230中的训练数据集合对第一神经网络201进行迭代训练，得到成熟的第一神经网络201。训练设备220将成熟的第一神经网络201配置于第一执行设备240，将第二神经网络202配置于第二执行设备210中。
在推理阶段，第一执行设备240在获取到待处理的第一序列数据之后，将第一序列数据输入成熟的第一神经网络201，通过第一神经网络201对第一序列数据中携带的信息量进行删减处理，得到第二序列数据，并通过I/O接口212将第二序列数据发送给第二执行设备210，第二序列数据携带的信息量小于第一序列数据携带的信息量。
第一执行设备240可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。数据存储系统250可以置于第二执行设备210中，也可以为数据存储系统250相对第二执行设备210是外部存储器。计算模块211将第二序列数据输入第二神经网络202，得到第二神经网络202输出的第二序列数据的预测结果，并将第二序列数据的预测结果发送给第一执行设备240。第一执行设备240将第二预测数据的预测结果视为第一序列数据的预测结果。
本申请实施例中，第一执行设备240可以表现为集成有客户端的终端设备，作为示例，例如笔记本电脑、智能终端、可穿戴设备、智能家电、智能机器人或监控设备等等，此处不做穷举。第二执行设备210可以表现为与前述客户端对应的服务器，或者，第二执行设备210也可以表现为算力很强的终端设备。第一电子设备240与第二电子设备210之间通过无线网络或有线网络进行通信连接。
训练设备220具体可以表现为服务器。本申请的一些实施例中，例如图2中，训练设备220与第二执行设备210为分别独立的设备。训练设备220可以通过无线网络或有线网络将成熟的第一神经网络201发送给第一执行设备240，将第二神经网络202发送给第二执行设备210；或者，通过移动存储介质将第一神经网络201配置于第一执行设备240中，将第二神经网络202配置于第二执行设备210中等，此处不对配置的方式进行穷举。但图2仅是本发明实施例提供的数据处理系统的一种架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。本申请的另一些实施例中，训练设备220还可以与第二执行设备210集成于同一设备中，也即训练设备220和第二执行设备210的设备具体表现为相同的设备。
由于推理阶段中消耗大量计算机资源的是通过第二神经网络202生成预测结果的步骤，将第二神经网络202设置于第二执行设备210中，第二执行设备210与第一执行设备240(也即集成有客户端的终端设备)为互相独立的设备，也即将大量的计算机运算从客户端剥离出来，从而避免了对客户端的计算机资源的过度消耗，提升了用户体验；且客户端通过成熟的第一神经网络201对第一序列数据携带的信息进行删减处理，能够减少发送至服务器的信息量，以减少处于风险状态的数据，从而提高用户数据的安全性；且第一神经网络是通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示预测结果和正确结果之间的相似度，也即在减少发送至服务器的信息量的同时，尽量降低由于减少信息量给预测结果的准确率造成的影响。由于该方法对训练阶段和推理阶段均有影响，而训练阶段和推理阶段的实现流程有所不同，下面分别对前述两个阶段的具体实现流程进行描述。
一、训练阶段
本申请实施例中，请参阅图3，图3为本申请实施例提供的神经网络的训练方法的一种流程示意图，本申请实施例提供的神经网络的训练方法可以包括：
301、训练设备获取训练数据集，训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果。
本申请实施例中，训练设备上会配置有训练数据集，训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果。第四序列数据可以为图像数据、文本数据或音频数据；进一步地，若第四序列数据中携带的为不是图像数据的信息，则第四序列数据可以表现为向量的形式。若第四序列数据中携带的图像数据，则第四序列数据可以表示为M维的张量，M的取值为大于或等于2的整数。
作为示例，例如第四序列数据中携带的为图像数据中的信息，第三神经网络的任务目标为对图像进行分类，则训练数据集中可以包括多个图像以及每个图像的正确标签。作为另一示例，例如第四序列数据中携带的为文本数据，第三神经网络的任务目标为文本翻译，则训练数据集中可以包括多个待翻译文本以及每个待翻译文本的正确翻译结果。作为再一示例，例如第四序列数据中携带的为音频数据，第三神经网络的任务目标为语音识别，则训练数据集中可以包括多个语音以及每个语音的识别结果等等，此处不进行穷举。
302、训练设备将第四序列数据输入至第三神经网络，得到第三神经网络输出的第四序列数据的预测结果。
本申请实施例中，训练设备从训练数据集中获取到第四序列数据之后，将第四序列数据输入至第三神经网络中，得到第三神经网络输出的第四序列数据的预测结果。其中，若第四序列数据为存在时序关系，则第三神经网络可以为循环神经网络。若第四序列数据为不存在时序关系的图像数据，则第三神经网络可以为卷积神经网络。若第四序列数据为不存在时序关系的非图像数据，则第三神经网络可以为全连接神经网络。作为示例，例如第四序列数据为图像数据，则第三神经网络可以表现为残差神经网络Resnet18或其他卷积神经网络，当第四序列数据为音频数据或文本数据时，第三神经网络还可以具体表现为其他神经网络，此处不做穷举。
作为另一示例，例如第三神经网络的任务目标为语音识别，则训练设备可以先将音频数据按时间(例如每20毫秒一组)对音频数据进行切分以得到多个切片，再通过傅里叶变换得到切片的频谱向量，再将与音频数据对应的频谱向量(第四序列数据的一种示例)输入至循环神经网络(也即第三神经网络的一种示例)中进行语音识别，得到循环神经网络输出的识别结果(也即预测结果的一种示例)。
作为另一示例，例如第三神经网络的任务目标为文本翻译，则训练设备可以将待翻译文本中的每个单词用数字编码的形式表示，将与整个待翻译文本对应的数字编码(第四序列数据的一种示例)输入至循环神经网络(也即第三神经网络的一种示例)中进行文本翻译，得到循环神经网络输出的翻译结果(也即预测结果的一种示例)。
作为另一示例，例如第三神经网络的任务目标为对文章进行分类，则训练设备可以先通过“词袋模型”统计待分类文章中各单词出现的次数，并将这些次数组成一个向量(第四序列数据的一种示例)输入至全连接网络(也即第三神经网络的一种示例)中以生成预测分类结果(也即预测结果的一种示例)等等，应理解，第三神经网络和预测结果的具体表现形式与第三神经网络的任务类型相关，上述举例均仅为方便理解本方案，不用于限定本方案。
303、训练设备根据第三损失函数对第三神经网络进行训练，第三损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度。
本申请实施例中，训练设备在得到第三神经网络输出的第四序列数据的预测结果之后，会根据第四序列数据的预测结果和第四序列数据的预测结果，生成第三损失函数的函数值，进而根据第三损失函数的函数值进行梯度求导，并反向更新第三神经网络的权重参数的参数值，以完成对第三神经网络的一次训练。训练设备重复执行步骤302和303，以对第三神经网络进行迭代训练，直至满足第二预设条件，得到第二神经网络。第二神经网络为训练后的第三神经网络，也即第二神经网络为成熟的神经网络，在后续训练设备对第一神经网络进行训练的过程中不再更新第二神经网络的权重参数。第二预设条件可以为迭代训练的次数满足预设次数阈值，也可以为达到第三损失函数的收敛条件。
其中，第三损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度，训练的目标为拉近第四序列数据的预测结果与第四序列数据的正确结果之间的相似度。第三损失函数的类型与第三神经网络的任务类型相关，作为示例，例如第三神经网络的任务类型为分类，则第三损失函数可以为交叉熵损失函数；作为另一示例，例如第三神经网络的任务类型为语音识别，则第三损失函数可以一阶距离损失函数或者二阶距离损失函数等等，此处不对第三损失函数的具体类型进行穷举。
本申请实施例中，在对第一神经网络执行训练操作之前，先根据第三损失函数对第三神经网络执行训练操作，以得到成熟的第三神经网络(也即第二神经网络)，在对第一神经网络进行训练的过程中不再更新第二神经网络的权重参数，以降低第一神经网络的训练过程的混乱程度，以提高第一神经网络训练过程的效率；且对第二神经网络的输入数据的类型固定之后，能够保证第一神经网络输出数据的类型的稳定，以保证第一神经网络训练过程的可控性。
304、训练设备将第四序列数据输入第一神经网络，以通过第一神经网络对第四序列数据携带的信息进行删减处理，得到第一神经网络输出的第五序列数据。
本申请实施例中，训练设备再次从训练数据集合中获取到第四序列数据以及将第四序列数据的正确结果，将第四序列数据输入至第一神经网络中，以通过第一神经网络对第四序列数据携带的信息进行删减处理，得到第一神经网络输出的第五序列数据。需要说明的是，第四序列数据为一个泛指的概念，指的是训练设备上配置的训练数据集中包括的序列数据，通过步骤302和303对第三神经网络进行迭代训练时采用的第四序列数据，与，通过步骤304至306对第一神经网络进行训练时采用的第四序列数据可以为训练数据集中相同的数据，也可以为训练数据集中不同的数据。
其中，第五序列数据携带的信息量少于第四序列数据携带的信息量，由于第五序列数据中携带有更少的信息量，则第五序列数据也可以视为对第四序列数据进行过隐私处理之后的序列数据。若第四序列数据和第五序列数据均为图像数据，则第四序列数据和第五序列数据携带的信息量均可以通过图片的熵值来衡量。图片熵是一个在图像处理领域广泛应用的定义，可以用来衡量一个图片中包含的信息量。进一步地，可直接通过公式来计算灰度图片的图片熵；可通过对彩色图片的各个通道的图片熵求和得到整个彩色图片的图片熵。为进一步理解本方案，如下公开了计算图片熵的公式的一个示例：
Figure BDA0002678141890000111
其中，I代表一个通道的图片/一个灰度图片，i代表图片I中单个像素点的可能的取值，通道为0至255之间的整数，
Figure BDA0002678141890000112
pi代表图片I中像素值为i的像素点的概率，ni代表图片I中像素值为i的像素点的个数，N代表图片I中像素的总个数，应理解，式(1)中的举例仅为更加方便理解第四序列数据中携带的信息量这一概念，当第四序列数据和第五序列数据为文本数据或音频数据时，第四序列数据和第五序列数据携带的信息量还可以通过其他方式衡量，此处不做赘述。
为了更直观的理解本方案，请参阅图4，图4为本申请实施例提供的数据处理方法中第四序列数据和第五序列数据的一种示意图。图4中以第四序列数据和第五序列数据中携带的为图像数据的信息，第二神经网络的任务目标为将图像分为有眼镜和没眼镜两类图像为例。图4包括左子示意图和右子示意图，图4的左子示意图代表第四序列数据中携带的图像数据的信息，图4的右子示意图代表第五序列数据中携带的图像数据的信息。对比图4的左子示图和图4的右子示图可知，图4的右子示意图中只保留了图4的左子示意图中眼睛的部分，其余部分呈现为灰度图，也即第五序列数据相对于第四序列数据携带的信息量减少，但保留了第二神经网络生成预测结果所需要的必要信息。应理解，图4中的示例仅为方便理解第五序列数据携带的信息量少于第四序列数据携带的信息量的概念，不用于限定本方案。
可选地，第一神经网络的输出数据的形状和第二神经网络的输入数据的形状相同，也即不需要对第一神经网络输出的第五序列数据进行额外处理的情况下，能够直接输入至第二神经网络，从而提高数据处理过程的效率。作为示例，例如第四序列数据和第五序列数据均为图像数据，两个图像数据的形状相同指的是两个图像数据的尺寸相同且通道数据相同。作为另一示例，例如第四序列数据和第五序列数据均为非图像数据，则第四序列数据和第五序列数据可以表现为向量，两个向量的形状相同指的是两个向量的长度相同，也即两个向量中包括的元素个数相同。
进一步可选地，第一神经网络的输入数据的形状与输出数据的形状相同，也即第四序列数据与第五序列数据的形状相同。本申请实施例中，由于在未增设第一神经网络之前，为直接将第四序列数据输入第二神经网络，以生成第四序列数据的预测结果，第一神经网络的输入数据的形状与输出数据的形状相同，也即经过第一神经网络的处理后未改变序列数据的形状，也即在增设第一神经网络之后和未设置第一神经网络之前，输入的数据的形状不需要发生改变，也即不需要改变用户以往的输入习惯，也不需要在第一神经网络和第二神经网络之间增加其他处理层，节省了计算机资源，且提高了用户体验。
其中，第四序列数据和第五序列数据均为张量，第四序列数据和第五序列数据的形状相同指的是第四序列数据和第五序列数据均为N维张量，且第四序列数据的N维中的第一维和第五序列数据的N维中的第二维的尺寸相同，N为大于或等于1的整数，第一维第四序列数据的N维中的任一维，第二维为第五序列数据的N维中与第一维相同的维度。当N的取值为1时，也即第四序列数据和第五序列数据均为向量，两个向量的形状相同的含义参阅上述描述。
为了更直观的理解本方案，请参阅图5，图5为本申请实施例提供的数据处理方法中第四序列数据和第五序列数据的一种示意图。图5中以N的取值为3为例，图5中第四序列数据中三个维度的取值分别为8、3和5，第五序列数据中三个维度的取值也分别为8、3和5，区别在于第四序列数据中的元素的取值与第五序列数据中的元素的取值不同，应理解，图5中的示例仅为方便理解两个序列数据的形状相同的概念，不用于限定本方案。
第一神经网络的类型与第四序列数据的类型相关，若第四序列数据为存在时序关系，则第二神经网络可以为循环神经网络。若第四序列数据为不存在时序关系的图像数据，则第二神经网络可以为卷积神经网络。若第四序列数据为不存在时序关系的非图像数据，则第二神经网络可以为全连接神经网络。作为示例，例如当第四序列数据为图像数据时，第一神经网络具体可以表现为Unet模型、自动编码器(auto-incoder)模型或其他神经网络等等。本申请实施例中，第四序列数据中携带的可以是图像数据、音频数据或文本数据的信息，也公开了第一神经网络的多种表现形式，扩展了本方案的应用场景。
为了更直观的理解本方案，请参阅图6，图6为本申请实施例提供的数据处理方法中第一神经网络的一种网络结构示意图。图6中以第四序列数据和第五序列数据均表现为图像，第一神经网络具体为Unet模型为例，训练设备将尺寸为224×224、通道数为3的图像输入Unet模型，在经过第一神经网络的处理后输出的为对输入图像携带的信息进行删减处理后的图像，该图像也是尺寸为224×224、通道数为3的图像。第一神经网络的网络结构以及处理过程如图6所示，此处不再赘述，应理解，图6中的示例仅为方便理解第一神经网络，不用于限定本方案。
305、训练设备将第五序列数据输入第二神经网络，得到第二神经网络输出的第五序列数据的预测结果。
本申请实施例中，训练设备将第五序列数据输入第二神经网络，得到第二神经网络输出的第五序列数据的预测结果，第五序列数据的预测结果可以被视为第四序列数据的预测结果。其中，第二神经网络和第一神经网络的任务目标不同，第一神经网络的任务目标为对序列数据中携带的信息量进行删减，也即对序列数据进行预处理；第二神经网络的任务目标为生成序列数据的预测结果。第二神经网络为执行过训练操作的第三神经网络，第二神经网络的类型与步骤302中第三神经网络的类型相同，第五序列数据的预测结果的类型与步骤302中第四序列数据的预测结果的类型相同，可参阅上述描述进行理解，此处不做赘述。
306、训练设备根据第一损失函数和第二损失函数，对第一神经网络进行训练，第一损失函数指示第五序列数据携带的信息量，第二损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度。
本申请实施例中，训练设备在得到第五序列数据、第五序列数据的预测结果(也即第四序列数据的预测结果)之后，可以生成第一损失函数的函数值和第二损失函数的函数值，并根据第一损失函数的函数值和第二损失函数的函数值计算得到总的函数值，根据总的函数值进行梯度求导，并反向更新第一神经网络的权重参数，以完成对第一神经网络的一次训练。训练设备重复执行步骤304至306，以对第一神经网络进行迭代训练直至满足第一预设条件，得到成熟的第一神经网络。第一预设条件可以为步骤304至306的迭代次数达到预设次数，也可以为满足第一损失函数和第二损失函数的收敛条件。
具体的，训练设备可以将第一损失函数的函数值和第二损失函数的函数值进行加权求和，以计算得到总的函数值；训练设备也可以直接将第一损失函数的函数值和第二损失函数的函数值进行相加，以计算得到总的函数值；训练设备还可以通过其他方式来计算得到总的函数值，此处不做限定。如下公开了训练设备根据第一损失函数和第二损失函数计算得到总的函数值的公式的一个示例：
L＝λLη+(1-λ)Lacc； (2)
其中，L代表总的损失函数，Lη代表第一损失函数，Lacc代表第二损失函数，λ是一个超参数，λ的取值范围为大于0且小于1，作为示例，例如λ的取值可以为0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2、0.1等等，此处不做穷举。λ的取值与训练的目标有关，若训练的目标侧重于保护用户信息的安全性，则λ的取值就会偏大，若训练的目标侧重于保证预测结果的准确率，则λ的取值就会偏小。
其中，第二损失函数指示第四序列数据的预测结果(也即第五序列数据的预测结果)与第四序列数据的正确结果之间的相似度。训练的目标为在缩小第五序列数据中携带的信息量的同时，拉近第五序列数据的预测结果(也即第四序列数据的预测结果)与第四序列数据的正确结果之间的相似度。与第三损失函数类似，第二损失函数的类型与第三神经网络(或第二神经网络)的类型相关，第二损失函数和第三损失函数可以为相同类型的损失函数，也可以为不同类型的损失函数，对于第二损失函数的理解可参阅上述对第三损失函数的描述，此处不做赘述。
第一损失函数指示第五序列数据携带的信息量。
在一种情况下，第一损失函数指示第五序列数据与第三序列数据之间的距离。第五序列数据和第三序列数据均包括至少一个元素，第三序列数据的形状与第五序列数据的形状相同。第五序列数据包括的多个元素中的一个第三元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第三元素在第五序列数据中的位置与第二元素在第三序列数据中的位置一致，第二取值范围位于第一取值范围的中间区域。作为示例，例如第五序列数据为图像数据，第一取值范围为0-255，则第二取值范围可以为100-150；作为另一示例，例如第五序列数据为音频数据，第一取值范围为-5至5，则第二取值范围可以为-1至1等等，应理解，此处举例仅为方便理解中间区域的概念，不用于限定本方案。
进一步地，若第五序列数据包括的多个元素中不同元素的取值范围均相同，则第三序列数据包括的多个元素中不同元素的取值均相同。作为示例，例如第五序列数据携带的为图像数据的信息，第五序列数据中每个元素的取值范围(也即第一取值范围)为0-255，则第二取值范围可以为100-150，第三序列数据中包括的所有元素的取值可以均为123、125、127、128、129、131等等，只要保证第三序列数据中所有元素的取值均相同，且第三序列数据中的元素的取值位于第二取值范围内即可。结合上述描述可知，由于第三序列数据中所有元素的取值均相同，意味着与第三序列数据对应的图片中不同像素的像素值相同，从而与第三序列数据对应的图片的熵值很低。
若第五序列数据包括的多个元素中不同元素的取值范围不同，则第三序列数据包括的多个元素中不同元素的取值可以相同。作为示例，例如第五序列数据携带的信息为反映用户的描述信息，用户的描述信息包括用户的年龄、身高和体重这三种特征，第三序列数据携带的信息可以为多个用户在每种特征的平均值，也即一个第三序列数据携带的信息包括多个用户的年龄的平均值、多个用户的身高的平均值和多个用户的体重的平均值，则第三序列数据包括的多个元素中不同元素的取值可能会不同，但第三序列数据中第二元素的第二取值范围位于第五序列中第三元素的第一取值范围的中间区域。
本申请实施例中，第五序列数据中第三元素的取值范围为第一取值范围，由于每个元素的取值范围越大，则多个元素的取值组合的可能性就越多，也即序列数据的熵值就可能越大，从而携带的数据量就越大，第三序列数据中第二元素的取值范围为第二取值范围，第二取值范围位于第一取值范围的中间区域，从而第三序列数据为携带数据量较少的序列数据，训练的目标为拉近第五序列数据与第三序列数据之间的相似度，以在迭代训练的过程中降低第五序列数据携带的信息量；此外，拉近第五序列数据与第三序列数据之间的相似度，能够维持第一神经网络处理后的序列数据的统计特征，以降低对预测结果的准确率的影响。
更进一步地，第一损失函数可以为第五序列数据与第三序列数据之间的一阶距离、二阶距离、余弦距离、欧式距离、马氏距离或其他类型的距离等等，此处不做穷举。可选地，第二元素的取值为第一取值范围的中值。作为示例，例如第三序列数据携带的可以为全部像素点的像素值均为128的灰度图片的信息；作为另一示例，例如第三序列数据携带的可以为全是空格的文本数据的信息等等，此处不做穷举。
本申请实施例中，第一损失函数为第五序列数据与第三序列数据之间的一阶距离，能够保证第一损失函数可以准确反映第五序列数据与第三序列数据之间的差距，以提高用户信息的安全度。
为更直观的理解本方案，如下公开了第一损失函数的一个示例：
Lη＝|H-Href|1； (3)
其中，Lη代表第一损失函数，H代表第五序列数据，Href代表第三序列数据，|H-Href|*代表H与Href之间的一阶距离，应理解，式(3)中示出的仅为一个示例，不用于限定本方案。
为了更直观的理解本方案，请参阅图7，图7为本申请实施例提供的神经网络的训练方法的一种流程示意图。图7中以第四序列数据和第五序列数据中携带的为图像数据的信息为例。训练设备将图像(也即第四序列数据携带的信息的一种示例)输入至第一神经网络，通过第一神经网络对输入图像携带的信息进行删减，得到第一神经网络输出的隐私图像(也即第五序列数据携带的信息的一种示例)，隐私图像也即对输入图像携带的信息进行删减处理后的图像。训练设备将隐私图像输入第二神经网络，得到第二神经网络输出的预测标签，训练设备根据隐私图像生成第一损失函数Lη的函数值，根据第二神经网络输出的预测标签和输入图像的正确标签生成第二损失函数Lacc的函数值，进而根据第一损失函数的函数值和第二损失函数的函数值，反向更新第一神经网络的权重参数，以完成对第一神经网络的一次训练。第二神经网络为一个成熟的神经网络，在对第一神经网络的训练过程中不再更新第二神经网络的权重参数。应理解，图7中的示例仅为方便理解第一神经网络，不用于限定本方案。
本申请实施例中，在得到待处理的第一序列数据之后，先通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据，再将第二序列数据发送给服务器，以通过服务器上的第二神经网络生成预测结果，接收服务器发送的处理结果。通过前述方式，能够减少发送至服务器的信息量，以减少处于风险状态的数据，从而提高用户数据的安全性；且第一神经网络是通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示预测结果和正确结果之间的相似度，也即在减少发送至服务器的信息量的同时，尽量降低由于减少信息量给预测结果的准确率造成的影响。
二、推理阶段
本申请实施例中，请参阅图8，图8为本申请实施例提供的数据处理方法的一种流程示意图，本申请实施例提供的数据处理方法可以包括：
801、第一执行设备将第一序列数据输入第一神经网络，以通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据。
本申请实施例中，第一执行设备执行步骤801的具体实现方式可参阅图3对应实施例中步骤304的具体实现方式类似，可参阅上述描述。其中，第一序列数据的概念与第四序列数据的概念类似，第二序列数据的概念与第五序列数据的概念类似，第二序列数据携带的信息量小于第一序列数据携带的信息量，对于第一序列数据和第二序列数据的概念的理解，均可以参阅上述描述，此处不做赘述。
802、第一执行设备将第二序列数据发送给第二执行设备。
本申请实施例中，第一执行设备和第二执行设备为互相独立的设备，第一执行设备在生成第二序列数据之后，会通过无线网络或有线网络将第二序列数据发送给第二执行设备，对应的，第二执行设备接收第一执行设备发送的第二序列数据。其中，第二序列数据用于指示第二执行设备将第二序列数据输入至第二神经网络中，以通过第二神经网络生成第二序列数据的预测结果。
803、第二执行设备将第二序列数据输入第二神经网络，得到第二神经网络输出的第二序列数据的预测结果。
本申请实施例中，第一执行设备执行步骤803的具体实现方式可参阅图3对应实施例中步骤305的具体实现方式类似，可参阅上述描述。
804、第二执行设备将第二序列数据的预测结果发送给第一执行设备，第二序列数据的预测结果被视为第一序列数据的预测结果。
本申请实施例中，第二执行设备在生成第二序列数据的预测结果之后，会将第二序列数据的预测结果发送给第一执行设备，对应的，第一执行设备会接收到第二序列数据的预测结果，第二序列数据的预测结果被视为第一序列数据的预测结果。其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据中携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
为了对本申请实施例所带来的有益效果有更为直观的认识，以下通过表1对本申请实施例所带来的有益效果作进一步的介绍。
技术方案 处理时长
模型分割 客户端增加7秒
本申请 客户端增加0.2秒
表1
上述表中以序列数据携带的为尺寸为224×224的图像数据的信息为例。模型分割的方式为在客户端(也即第一执行设备)对原始序列数据进行特征提取，得到原始序列数据的特征信息，进而将原始序列数据的特征信息发送给服务器(也即第二执行设备)，由服务器生成序列数据的预测结果，服务器可根据特征信息挖掘出用户的隐私信息，甚至可以还原出原始序列数据，安全度低于本申请实施例提供的方案，且增加了客户端的处理时长。此外，采用本申请实施例提供的方案导致预测结果的准确率会轻微下降，下降程度在5％以内。
在图1至图8所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图9，图9为本申请实施例提供的数据处理装置的一种结构示意图。数据处理装置900应用于第一执行设备，可以包括输入模块901、发送模块902和接收模块903。其中，输入模块901，用于将第一序列数据输入第一神经网络，以通过第一神经网络对第一序列数据携带的信息进行删减处理，得到第二序列数据，第二序列数据携带的信息量小于第一序列数据携带的信息量；发送模块902，用于将第二序列数据发送给第二执行设备，第二序列数据用于指示第二执行设备将第二序列数据输入至第二神经网络中，以通过第二神经网络生成第二序列数据的预测结果；接收模块903，用于接收第二执行设备发送的第二序列数据的预测结果，第二序列数据的预测结果被视为第一序列数据的预测结果。其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
在一种可能的设计中，第一损失函数指示第二序列数据与第三序列数据之间的距离；其中，第二序列数据和第三序列数据均包括至少一个元素，第二序列数据包括的一个第一元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第二元素在第二序列数据中的位置与第一元素在第一序列数据中的位置一致，第二取值范围位于第一取值范围的中间区域。
在一种可能的设计中，第一损失函数为第二序列数据与第三序列数据之间的一阶距离，第二元素的取值为第一取值范围的中值。
在一种可能的设计中，第一神经网络的输入数据的形状与输出数据的形状相同，第一序列数据与第二序列数据的形状相同；
其中，第一序列数据和第二序列数据均为张量，第一序列数据和第二序列数据的形状相同指的是第一序列数据和第二序列数据均为N维张量，且第一序列数据的N维中的第一维和第二序列数据的N维中的第二维的尺寸相同，N为大于或等于1的整数，第一维第一序列数据的N维中的任一维，第二维为第二序列数据的N维中与第一维相同的维度。
在一种可能的设计中，第一序列数据为图像数据、文本数据或音频数据，第一神经网络为卷积神经网络、循环神经网络或全连接神经网络。
需要说明的是，数据处理装置900中各模块/单元之间的信息交互、执行过程等内容，与本申请中图8对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例还提供一种数据处理装置，请参阅图10，图10为本申请实施例提供的数据处理装置的一种结构示意图。数据处理装置1000应用于第二执行设备，可以包括接收模块1001、输入模块1002和发送模块1003。接收模块1001，用于接收第一执行设备发送的第二序列数据，第二序列数据为第一执行设备将第一序列数据输入第一神经网络，通过第一神经网络对第一序列数据携带的信息进行删减处理后得到的，第二序列数据携带的信息量小于第一序列数据携带的信息量；输入模块1002，用于将第二序列数据输入第二神经网络，得到第二神经网络输出的第二序列数据的预测结果；发送模块1003，用于将第二序列数据的预测结果发送给第一执行设备。其中，第一神经网络为通过第一损失函数和第二损失函数训练得到的，第一损失函数指示第二序列数据中携带的信息量，第二损失函数指示第一序列数据的预测结果与第一序列数据的正确结果之间的相似度。
在一种可能的设计中，第一损失函数指示第二序列数据与第三序列数据之间的距离；其中，第二序列数据和第三序列数据均包括至少一个元素，第二序列数据包括的一个第一元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第二元素在第二序列数据中的位置与第一元素在第一序列数据中的位置相同，第二取值范围位于第一取值范围的中间区域。
在一种可能的设计中，第一损失函数为第二序列数据与第三序列数据之间的一阶距离，第二元素的取值为第一取值范围的中值。
需要说明的是，数据处理装置1000中各模块/单元之间的信息交互、执行过程等内容，与本申请中图8对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例还提供一种神经网络的训练装置，请参阅图11，图11为本申请实施例提供的神经网络的训练装置的一种结构示意图。神经网络的训练装置1100应用于训练设备，可以包括获取模块1101、输入模块1102和训练模块1103。获取模块1101，用于获取训练数据集，训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果；输入模块1102，用于将第四序列数据输入第一神经网络，以通过第一神经网络对第四序列数据携带的信息进行删减处理，得到第一神经网络输出的第五序列数据，第五序列数据携带的信息量小于第四序列数据携带的信息量；输入模块1102，还用于将第五序列数据输入第二神经网络，得到第二神经网络输出的第五序列数据的预测结果，第五序列数据的预测结果被视为第四序列数据的预测结果；训练模块1103，用于根据第一损失函数和第二损失函数，对第一神经网络进行训练，直至满足预设条件，其中，第一损失函数指示第五序列数据携带的信息量，第二损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度。
在一种可能的设计中，输入模块1102将第四序列数据输入第一神经网络之前，输入模块1102，还用于将第四序列数据输入至第三神经网络，得到第三神经网络输出的第四序列数据的预测结果；训练模块1103，还用于根据第三损失函数对第三神经网络进行训练，直至满足预设条件，得到第二神经网络，其中，第三损失函数指示第四序列数据的预测结果与第四序列数据的正确结果之间的相似度，第二神经网络为训练后的第三神经网络，第一神经网络的训练过程中不再更新第二神经网络的参数。
在一种可能的设计中，第一损失函数指示第五序列数据与第三序列数据之间的距离；其中，第五序列数据和第三序列数据均包括至少一个元素，第五序列数据包括的一个第三元素的取值范围为第一取值范围，第三序列数据包括的一个第二元素的取值范围为第二取值范围，第三元素在第五序列数据中的位置与第二元素在第三序列数据中的位置一致，第二取值范围位于第一取值范围的中间区域。
在一种可能的设计中，第一损失函数为第五序列数据与第三序列数据之间的一阶距离，第二元素的取值为第一取值范围的中值。
在一种可能的设计中，第一神经网络的输入数据的形状与输出数据的形状相同，第一序列数据与第二序列数据的形状相同。其中，第一序列数据和第二序列数据均为张量，第一序列数据和第二序列数据的形状相同指的是第一序列数据和第二序列数据均为N维张量，且第一序列数据的N维中的第一维和第二序列数据的N维中的第二维的尺寸相同，N为大于或等于1的整数，第一维第一序列数据的N维中的任一维，第二维为第二序列数据的N维中与第一维相同的维度。
需要说明的是，神经网络的训练装置1100中各模块/单元之间的信息交互、执行过程等内容，与本申请中图3至图7对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例还提供了一种执行设备，请参阅图12，图12为本申请实施例提供的执行设备的一种结构示意图。其中，执行设备1200上可以部署有图9对应实施例中所描述的数据处理装置900，用于实现图8对应实施例中第一执行设备的功能；或者，若第二执行设备表现为移动终端的形态，则执行设备1200上还可以部署有图10对应实施例中所描述的数据处理装置1000，用于实现图8对应实施例中第二执行设备的功能。具体的，执行设备1200包括：接收器1201、发射器1202、处理器1203和存储器1204(其中执行设备1200中的处理器1203的数量可以一个或多个，图12中以一个处理器为例)，其中，处理器1203可以包括应用处理器12031和通信处理器12032。在本申请的一些实施例中，接收器1201、发射器1202、处理器1203和存储器1204可通过总线或其它方式连接。
存储器1204可以包括只读存储器和随机存取存储器，并向处理器1203提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器(non-volatilerandomaccess memory，NVRAM)。存储器1204存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1203控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1203中，或者由处理器1203实现。处理器1203可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specificintegratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1203可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1203读取存储器1204中的信息，结合其硬件完成上述方法的步骤。
接收器1201可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1202可用于通过第一接口输出数字或字符信息；发射器1202还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1202还可以包括显示屏等显示设备。
本申请实施例中，在一种情况下，应用处理器12031用于实现图8对应实施例中第一执行设备的功能，对于应用处理器12031执行第一执行设备的功能的具体实现方式以及带来的有益效果，均可以参考图8对应的各个方法实施例中的叙述，此处不再一一赘述。
在另一种情况下，应用处理器12031用于实现图8对应实施例中第二执行设备的功能，对于应用处理器12031执行第二执行设备的功能的具体实现方式以及带来的有益效果，均可以参考图8对应的各个方法实施例中的叙述，此处不再一一赘述。
本申请实施例还提供一种服务器，请参阅图13，图13为本申请实施例提供的服务器的一种结构示意图。服务器1300上可以部署有图11对应实施例中所描述的神经网络的训练装置1100，用于实现图3至图7对应实施例中训练设备的功能；或者，若第二执行设备表现为服务器的形态，则服务器1300上还可以部署有图10对应实施例中所描述的数据处理装置1000，用于实现图8对应实施例中第二执行设备的功能。具体的，服务器1300由一个或多个服务器实现，服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。
服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
本申请实施例中，在一种情况下，中央处理器1322用于实现图3至图7对应实施例中训练设备的功能，对于中央处理器1322执行训练设备的功能的具体实现方式以及带来的有益效果，均可以参考图3至图7对应的各个方法实施例中的叙述，此处不再一一赘述。
在另一种情况下，中央处理器1322用于实现图8对应实施例中第二执行设备的功能，对于中央处理器1322执行第二执行设备的功能的具体实现方式以及带来的有益效果，均可以参考图8对应的各个方法实施例中的叙述，此处不再一一赘述。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序，当该程序在计算机上运行时，使得计算机执行如前述图3至图7所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图8所示实施例描述的方法中第一执行设备所执行的步骤，或者，使得计算机执行如前述图8所示实施例描述的方法中第二执行设备所执行的步骤。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图7所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图8所示实施例描述的方法中第一执行设备所执行的步骤，或者，使得计算机执行如前述图8所示实施例描述的方法中第二执行设备所执行的步骤。
本申请实施例中还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如前述图3至图7所示实施例描述的方法中训练设备所执行的步骤，或者，所述处理电路配置为执行如前述图8所示实施例描述的方法中第一执行设备所执行的步骤，或者，所述处理电路配置为执行如前述图8所示实施例描述的方法中第二执行设备所执行的步骤。
本申请实施例提供的数据处理装置、神经网络的训练装置、第一执行设备、第二执行设备或训练设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使芯片执行上述图3至图7所示实施例描述的神经网络的训练方法，或者，以使芯片执行上述图8所示实施例描述的数据处理方法。
可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图14，图14为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU140，NPU140作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1403，通过控制器1404控制运算电路1403提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1403内部包括多个处理单元(ProcessEngine，PE)。在一些实现中，运算电路1403是二维脉动阵列。运算电路1403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1403是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1402中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1401中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1408中。
统一存储器1406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct MemoryAccess Controller，DMAC)1405，DMAC被搬运到权重存储器1402中。输入数据也通过DMAC被搬运到统一存储器1406中。
BIU为Bus InterfaceUnit即，总线接口单元1410，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1409的交互。
总线接口单元1410(Bus Interface Unit，简称BIU)，用于取指存储器1409从外部存储器获取指令，还用于存储单元访问控制器1405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1406或将权重数据搬运到权重存储器1402中或将输入数据数据搬运到输入存储器1401中。
向量计算单元1407包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如BatchNormalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1407能将经处理的输出的向量存储到统一存储器1406。例如，向量计算单元1407可以将线性函数和/或非线性函数应用到运算电路1403的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1407生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1403的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1404连接的取指存储器(instruction fetch buffer)1409，用于存储控制器1404使用的指令；
统一存储器1406，输入存储器1401，权重存储器1402以及取指存储器1409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，循环神经网络中各层的运算可以由运算电路1403或向量计算单元1407执行。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (30)

1.一种数据处理方法，其特征在于，所述方法应用于第一执行设备，所述方法包括：
将第一序列数据输入第一神经网络，以通过所述第一神经网络对所述第一序列数据携带的信息进行删减处理，得到第二序列数据，所述第二序列数据携带的信息量小于所述第一序列数据携带的信息量；
将所述第二序列数据发送给第二执行设备，所述第二序列数据用于指示第二执行设备将所述第二序列数据输入至第二神经网络中，以通过所述第二神经网络生成所述第二序列数据的预测结果；
接收所述第二执行设备发送的所述第二序列数据的预测结果，所述第二序列数据的预测结果被视为所述第一序列数据的预测结果；
其中，所述第一神经网络为通过第一损失函数和第二损失函数训练得到的，所述第一损失函数指示所述第二序列数据携带的信息量，所述第二损失函数指示所述第一序列数据的预测结果与所述第一序列数据的正确结果之间的相似度。
2.根据权利要求1所述的方法，其特征在于，所述第一损失函数指示所述第二序列数据与第三序列数据之间的距离；
其中，所述第二序列数据和所述第三序列数据均包括至少一个元素，所述第二序列数据包括的一个第一元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第二元素在所述第二序列数据中的位置与所述第一元素在所述第一序列数据中的位置一致，所述第二取值范围位于所述第一取值范围的中间区域。
3.根据权利要求2所述的方法，其特征在于，所述第一损失函数为所述第二序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述第一神经网络的输入数据的形状与输出数据的形状相同，所述第一序列数据与所述第二序列数据的形状相同；
其中，所述第一序列数据和所述第二序列数据均为张量，所述第一序列数据和所述第二序列数据的形状相同指的是所述第一序列数据和所述第二序列数据均为N维张量，且所述第一序列数据的N维中的第一维和所述第二序列数据的N维中的第二维的尺寸相同，所述N为大于或等于1的整数，所述第一维所述第一序列数据的N维中的任一维，所述第二维为所述第二序列数据的N维中与所述第一维相同的维度。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述第一序列数据为图像数据、文本数据或音频数据，所述第一神经网络为卷积神经网络、循环神经网络或全连接神经网络。
6.一种数据处理方法，其特征在于，所述方法应用于第二执行设备，所述方法包括：
接收第一执行设备发送的第二序列数据，所述第二序列数据为所述第一执行设备将第一序列数据输入第一神经网络，通过所述第一神经网络对所述第一序列数据携带的信息进行删减处理后得到的，所述第二序列数据携带的信息量小于所述第一序列数据携带的信息量；
将所述第二序列数据输入第二神经网络，得到所述第二神经网络输出的所述第二序列数据的预测结果；
将所述第二序列数据的预测结果发送给所述第一执行设备；
其中，所述第一神经网络为通过第一损失函数和第二损失函数训练得到的，所述第一损失函数指示所述第二序列数据中携带的信息量，所述第二损失函数指示所述第一序列数据的预测结果与所述第一序列数据的正确结果之间的相似度。
7.根据权利要求6所述的方法，其特征在于，所述第一损失函数指示所述第二序列数据与第三序列数据之间的距离；
其中，所述第二序列数据和所述第三序列数据均包括至少一个元素，所述第二序列数据包括的一个第一元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第二元素在所述第二序列数据中的位置与所述第一元素在所述第一序列数据中的位置相同，所述第二取值范围位于所述第一取值范围的中间区域。
8.根据权利要求7所述的方法，其特征在于，所述第一损失函数为所述第二序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
9.一种神经网络的训练方法，其特征在于，所述方法应用于训练设备，所述方法包括：
获取训练数据集，所述训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果；
将所述第四序列数据输入第一神经网络，以通过所述第一神经网络对所述第四序列数据携带的信息进行删减处理，得到所述第一神经网络输出的第五序列数据，所述第五序列数据携带的信息量小于所述第四序列数据携带的信息量；
将所述第五序列数据输入第二神经网络，得到所述第二神经网络输出的所述第五序列数据的预测结果，所述第五序列数据的预测结果被视为所述第四序列数据的预测结果；
根据第一损失函数和第二损失函数，对所述第一神经网络进行训练，直至满足预设条件，其中，所述第一损失函数指示所述第五序列数据携带的信息量，所述第二损失函数指示所述第四序列数据的预测结果与所述第四序列数据的正确结果之间的相似度。
10.根据权利要求9所述的方法，其特征在于，所述将所述第四序列数据输入所述第一神经网络之前，所述方法还包括：
将所述第四序列数据输入至第三神经网络，得到所述第三神经网络输出的所述第四序列数据的预测结果；
根据第三损失函数对所述第三神经网络进行训练，直至满足预设条件，得到所述第二神经网络，其中，所述第三损失函数指示所述第四序列数据的预测结果与所述第四序列数据的正确结果之间的相似度，所述第二神经网络为训练后的第三神经网络，所述第一神经网络的训练过程中不再更新所述第二神经网络的参数。
11.根据权利要求9所述的方法，其特征在于，所述第一损失函数指示所述第五序列数据与第三序列数据之间的距离；
其中，所述第五序列数据和所述第三序列数据均包括至少一个元素，所述第五序列数据包括的一个第三元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第三元素在所述第五序列数据中的位置与所述第二元素在所述第三序列数据中的位置一致，所述第二取值范围位于所述第一取值范围的中间区域。
12.根据权利要求11所述的方法，其特征在于，所述第一损失函数为所述第五序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
13.根据权利要求9至11任一项所述的方法，其特征在于，所述第一神经网络的输入数据的形状与输出数据的形状相同，所述第一序列数据与所述第二序列数据的形状相同；
其中，所述第一序列数据和所述第二序列数据均为张量，所述第一序列数据和所述第二序列数据的形状相同指的是所述第一序列数据和所述第二序列数据均为N维张量，且所述第一序列数据的N维中的第一维和所述第二序列数据的N维中的第二维的尺寸相同，所述N为大于或等于1的整数，所述第一维所述第一序列数据的N维中的任一维，所述第二维为所述第二序列数据的N维中与所述第一维相同的维度。
14.一种数据处理装置，其特征在于，所述装置应用于第一执行设备，所述装置包括：
输入模块，用于将第一序列数据输入第一神经网络，以通过所述第一神经网络对所述第一序列数据携带的信息进行删减处理，得到第二序列数据，所述第二序列数据携带的信息量小于所述第一序列数据携带的信息量；
发送模块，用于将所述第二序列数据发送给第二执行设备，所述第二序列数据用于指示第二执行设备将所述第二序列数据输入至第二神经网络中，以通过所述第二神经网络生成所述第二序列数据的预测结果；
接收模块，用于接收所述第二执行设备发送的所述第二序列数据的预测结果，所述第二序列数据的预测结果被视为所述第一序列数据的预测结果；
其中，所述第一神经网络为通过第一损失函数和第二损失函数训练得到的，所述第一损失函数指示所述第二序列数据携带的信息量，所述第二损失函数指示所述第一序列数据的预测结果与所述第一序列数据的正确结果之间的相似度。
15.根据权利要求14所述的装置，其特征在于，所述第一损失函数指示所述第二序列数据与第三序列数据之间的距离；
其中，所述第二序列数据和所述第三序列数据均包括至少一个元素，所述第二序列数据包括的一个第一元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第二元素在所述第二序列数据中的位置与所述第一元素在所述第一序列数据中的位置一致，所述第二取值范围位于所述第一取值范围的中间区域。
16.根据权利要求15所述的装置，其特征在于，所述第一损失函数为所述第二序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
17.根据权利要求14至16任一项所述的装置，其特征在于，所述第一神经网络的输入数据的形状与输出数据的形状相同，所述第一序列数据与所述第二序列数据的形状相同；
其中，所述第一序列数据和所述第二序列数据均为张量，所述第一序列数据和所述第二序列数据的形状相同指的是所述第一序列数据和所述第二序列数据均为N维张量，且所述第一序列数据的N维中的第一维和所述第二序列数据的N维中的第二维的尺寸相同，所述N为大于或等于1的整数，所述第一维所述第一序列数据的N维中的任一维，所述第二维为所述第二序列数据的N维中与所述第一维相同的维度。
18.根据权利要求14至16任一项所述的装置，其特征在于，所述第一序列数据为图像数据、文本数据或音频数据，所述第一神经网络为卷积神经网络、循环神经网络或全连接神经网络。
19.一种数据处理装置，其特征在于，所述装置应用于第二执行设备，所述装置包括：
接收模块，用于接收第一执行设备发送的第二序列数据，所述第二序列数据为所述第一执行设备将第一序列数据输入第一神经网络，通过所述第一神经网络对所述第一序列数据携带的信息进行删减处理后得到的，所述第二序列数据携带的信息量小于所述第一序列数据携带的信息量；
输入模块，用于将所述第二序列数据输入第二神经网络，得到所述第二神经网络输出的所述第二序列数据的预测结果；
发送模块，用于将所述第二序列数据的预测结果发送给所述第一执行设备；
其中，所述第一神经网络为通过第一损失函数和第二损失函数训练得到的，所述第一损失函数指示所述第二序列数据中携带的信息量，所述第二损失函数指示所述第一序列数据的预测结果与所述第一序列数据的正确结果之间的相似度。
20.根据权利要求19所述的装置，其特征在于，所述第一损失函数指示所述第二序列数据与第三序列数据之间的距离；
其中，所述第二序列数据和所述第三序列数据均包括至少一个元素，所述第二序列数据包括的一个第一元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第二元素在所述第二序列数据中的位置与所述第一元素在所述第一序列数据中的位置相同，所述第二取值范围位于所述第一取值范围的中间区域。
21.根据权利要求20所述的装置，其特征在于，所述第一损失函数为所述第二序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
22.一种神经网络的训练装置，其特征在于，所述装置应用于训练设备，所述装置包括：
获取模块，用于获取训练数据集，所述训练数据集中包括多个第四序列数据和每个第四序列数据的正确结果；
输入模块，用于将所述第四序列数据输入第一神经网络，以通过所述第一神经网络对所述第四序列数据携带的信息进行删减处理，得到所述第一神经网络输出的第五序列数据，所述第五序列数据携带的信息量小于所述第四序列数据携带的信息量；
所述输入模块，还用于将所述第五序列数据输入第二神经网络，得到所述第二神经网络输出的所述第五序列数据的预测结果，所述第五序列数据的预测结果被视为所述第四序列数据的预测结果；
训练模块，用于根据第一损失函数和第二损失函数，对所述第一神经网络进行训练，直至满足预设条件，其中，所述第一损失函数指示所述第五序列数据携带的信息量，所述第二损失函数指示所述第四序列数据的预测结果与所述第四序列数据的正确结果之间的相似度。
23.根据权利要求22所述的装置，其特征在于，所述输入模块将所述第四序列数据输入所述第一神经网络之前，所述输入模块，还用于将所述第四序列数据输入至第三神经网络，得到所述第三神经网络输出的所述第四序列数据的预测结果；
所述训练模块，还用于根据第三损失函数对所述第三神经网络进行训练，直至满足预设条件，得到所述第二神经网络，其中，所述第三损失函数指示所述第四序列数据的预测结果与所述第四序列数据的正确结果之间的相似度，所述第二神经网络为训练后的第三神经网络，所述第一神经网络的训练过程中不再更新所述第二神经网络的参数。
24.根据权利要求22所述的装置，其特征在于，所述第一损失函数指示所述第五序列数据与第三序列数据之间的距离；
其中，所述第五序列数据和所述第三序列数据均包括至少一个元素，所述第五序列数据包括的一个第三元素的取值范围为第一取值范围，所述第三序列数据包括的一个第二元素的取值范围为第二取值范围，所述第三元素在所述第五序列数据中的位置与所述第二元素在所述第三序列数据中的位置一致，所述第二取值范围位于所述第一取值范围的中间区域。
25.根据权利要求24所述的装置，其特征在于，所述第一损失函数为所述第五序列数据与所述第三序列数据之间的一阶距离，所述第二元素的取值为所述第一取值范围的中值。
26.根据权利要求22至25任一项所述的装置，其特征在于，所述第一神经网络的输入数据的形状与输出数据的形状相同，所述第一序列数据与所述第二序列数据的形状相同；
其中，所述第一序列数据和所述第二序列数据均为张量，所述第一序列数据和所述第二序列数据的形状相同指的是所述第一序列数据和所述第二序列数据均为N维张量，且所述第一序列数据的N维中的第一维和所述第二序列数据的N维中的第二维的尺寸相同，所述N为大于或等于1的整数，所述第一维所述第一序列数据的N维中的任一维，所述第二维为所述第二序列数据的N维中与所述第一维相同的维度。
27.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至5中任一项所述的方法，或者，实现权利要求6至8中任一项所述的方法。
28.一种训练设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求9至13中任一项所述的方法。
29.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法，或者，使得计算机执行如权利要求6至8中任一项所述的方法，或者，使得计算机执行如权利要求9至13中任一项所述的方法。
30.一种电路系统，其特征在于，所述电路系统包括处理电路，所述处理电路配置为执行如权利要求1至5中任一项所述的方法，或者，所述处理电路配置为执行如权利要求6至8中任一项所述的方法，或者，所述处理电路配置为执行如权利要求9至13中任一项所述的方法。
CN202010957768.3A 2020-09-11 2020-09-11 一种数据处理方法、神经网络的训练方法以及相关设备 Pending CN114254724A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010957768.3A CN114254724A (zh) 2020-09-11 2020-09-11 一种数据处理方法、神经网络的训练方法以及相关设备
PCT/CN2021/107753 WO2022052647A1 (zh) 2020-09-11 2021-07-22 一种数据处理方法、神经网络的训练方法以及相关设备
EP21865703.9A EP4206989A4 (en) 2020-09-11 2021-07-22 DATA PROCESSING METHOD, TRAINING METHOD FOR NEURONAL NETWORK AND ASSOCIATED DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010957768.3A CN114254724A (zh) 2020-09-11 2020-09-11 一种数据处理方法、神经网络的训练方法以及相关设备

Publications (1)

Publication Number Publication Date
CN114254724A true CN114254724A (zh) 2022-03-29

Family

ID=80630268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010957768.3A Pending CN114254724A (zh) 2020-09-11 2020-09-11 一种数据处理方法、神经网络的训练方法以及相关设备

Country Status (3)

Country Link
EP (1) EP4206989A4 (zh)
CN (1) CN114254724A (zh)
WO (1) WO2022052647A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095089B (zh) * 2023-04-11 2023-06-16 云南远信科技有限公司 遥感卫星数据处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944488A (zh) * 2017-11-21 2018-04-20 清华大学 基于层次化深度网络的长时序列数据处理方法
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置
US20190188830A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Adversarial Learning of Privacy Protection Layers for Image Recognition Services
CN110516745A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 图像识别模型的训练方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031630A1 (zh) * 2015-08-21 2017-03-02 中国科学院自动化研究所 基于参数量化的深度卷积神经网络的加速与压缩方法
CN110415022B (zh) * 2019-07-05 2023-08-18 创新先进技术有限公司 处理用户行为序列的方法及装置
CN110798227B (zh) * 2019-09-19 2023-07-25 平安科技（深圳）有限公司 模型预测优化方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944488A (zh) * 2017-11-21 2018-04-20 清华大学 基于层次化深度网络的长时序列数据处理方法
US20190188830A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Adversarial Learning of Privacy Protection Layers for Image Recognition Services
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置
CN110516745A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 图像识别模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
EP4206989A1 (en) 2023-07-05
EP4206989A4 (en) 2024-02-28
WO2022052647A1 (zh) 2022-03-17

Similar Documents

Publication Publication Date Title
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
CN112016543A (zh) 一种文本识别网络、神经网络训练的方法以及相关设备
WO2021218471A1 (zh) 一种用于图像处理的神经网络以及相关设备
CN111797589B (zh) 一种文本处理网络、神经网络训练的方法以及相关设备
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
CN113095475A (zh) 一种神经网络的训练方法、图像处理方法以及相关设备
CN111414915B (zh) 一种文字识别方法以及相关设备
EP4322056A1 (en) Model training method and apparatus
CN111931002A (zh) 一种匹配方法以及相关设备
CN114781610A (zh) 一种数据的处理方法、神经网络的训练方法以及相关设备
CN113869496A (zh) 一种神经网络的获取方法、数据处理方法以及相关设备
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN113159315A (zh) 一种神经网络的训练方法、数据处理方法以及相关设备
CN115081616A (zh) 一种数据的去噪方法以及相关设备
CN113065997A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN112529149A (zh) 一种数据处理方法及相关装置
CN112257840B (zh) 一种神经网络处理方法以及相关设备
CN113627421B (zh) 一种图像处理方法、模型的训练方法以及相关设备
CN113065634B (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN114169393A (zh) 一种图像分类方法及其相关设备
CN114254724A (zh) 一种数据处理方法、神经网络的训练方法以及相关设备
EP4401000A1 (en) Model training method and related device
CN115795025A (zh) 一种摘要生成方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination