CN115136145A - 多任务神经网络 - Google Patents

Abstract

在本文中描述了被训练用于多个任务的神经网络的示例。在一些示例中，方法可以包括使用神经网络的第一部分来确定特征向量。在一些示例中，神经网络被训练用于多个任务。该方法的一些示例可以包括将特征向量传输到远程装置。在一些示例中，远程装置使用神经网络的第二部分来执行多个任务中的一个。

Description

多任务神经网络

背景技术

电子装置的使用已经扩展。计算装置是一种包括用于执行处理的电子电路的电子装置。随着处理能力的扩展，计算装置已经被用来执行更多的功能。例如，各种计算装置被用于工作、通信和娱乐。计算装置可以被链接到网络，以实现计算装置之间的通信。

附图说明

图1是图示了用于神经网络执行的方法的示例的流程图；

图2是图示了用于神经网络执行的方法的示例的流程图；

图3是可以被用在神经网络执行中的设备和远程装置的示例的框图；

图4是图示了用于神经网络执行的计算机可读介质的示例的框图；以及

图5是图示了根据在本文中描述的技术的一些示例的设备和远程装置的示例的框图。

具体实施方式

机器学习是机器学习模型被训练为基于一组示例(例如，数据)来执行一项或多项任务的技术。在一些示例中，执行机器学习模型可能对诸如中央处理单元(CPU)的处理器的计算要求很高。人工神经网络是一种由节点、层和/或连接所构成的机器学习模型。深度学习是一种利用多个层的机器学习。深度神经网络是利用深度学习的神经网络。

深度学习的一些示例利用了卷积神经网络(CNN)。在一些示例中，CNN可以使用强大的硬件进行训练和/或预测。如在本文中所使用的，术语“预测”及其变型可以指代确定和/或推断。例如，事件或状态可以在该事件或状态发生之前、发生期间和/或发生之后被“预测”。在一些示例中，CNN的训练时间可能相对较长(例如，取决于网络和数据的大小，可能需要几天或几周)。在一些示例中，对于一些实现，预测或推断时间可能限制。例如，为实时或接近实时的实现提供快速预测可能是有利的。在一些示例中，在一些中央处理单元(CPU)对于CNN处理可能表现出降低的性能时，可以利用图形处理单元(GPU)来提供快速预测。GPU是执行算术计算的硬件(例如，电路)。例如，GPU可以执行与图形处理和/或渲染相关的计算。

在本文中描述的技术中的一些技术可以使一些具有更少的资源(例如，更少的存储器、更少的处理资源等)的装置能够使用资源密集型神经网络。例如，在没有在本文中描述的技术的一些示例的情况下，一些低资源装置可能无法在目标时间内处理一些资源密集型神经网络。在本文中描述的技术的一些示例可以被用于改进一些相对较高资源的装置(例如，工作站、服务器)的性能，这可以允许对于任务的较低功耗和/或可以允许执行更多任务。

在一些示例中，可以充分利用一组装置的计算能力来执行神经网络处理。例如，各种装置可以彼此通信。例如，个人助理、移动电话、嵌入式系统、膝上型计算机、工作站和/或服务器等可以链接到一个或多个通信网络(例如，局域网(LAN)、广域网(WAN)、个人区域网(PAN)等)(例如，与其通信)。在本文中描述的技术中的一些技术可以包括将多任务神经网络的计算分割在多个装置之上。例如，可以利用本地装置和一个或多个远程装置的组合来执行神经网络处理。

深度学习可以被用于执行诸如图像分类(例如，环境分类)、图像字幕、对象检测、对象定位、对象分割、回归、音频分类、情感分析、文本分类(例如，垃圾邮件过滤)等的不同的任务。在一些示例中，一个输入或一种输入可以被用于执行多个任务。例如，神经网络可以被训练为分类环境、分割对象以及基于一个或多个图像来定位对象。在一些示例中，神经网络可以被分割在一组装置之上，其中神经网络各自的任务的部分可以分布在一组装置之上。

当将神经网络分割在多个装置上时，减少通信开销可能是有利的。在在本文中所公开的技术的一些示例中，可以本地处理神经网络的一部分，以便减少传递的数据的量。例如，神经网络的第一部分可以利用图像来产生特征向量。特征向量是包括特征的向量。特征是数据。例如，特征可以是由神经网络所使用的用于训练或推断的数据。特征的示例可以包括指示图像特性(例如，线、边、角等)、音频特性(例如，音高、振幅、节拍等)、文本属性(例如，段落中单词的频率)等的数据。特征提取可以是用于从数据(例如，图像、音频、文本等)中确定和/或提取特征(例如，特征向量)的过程。在一些示例中，可以将特征向量(而不是图像)传递到远程装置，这可以减少传递的数据的量。在本文中描述的技术的一些示例中，可以利用特征向量的变化的量来确定是否发送特征向量。例如，可以利用阈值，从而基于特征向量变化来确定是否发送特征向量，这可以减少传递的数据的量。

在示例中，配备有GPU的设备可以使用神经网络的一部分来执行初始计算，这可以将图像的大小减小到一个比该图像更小并且可以比该图像更快地上传到服务器的表示。在一些示例中，服务器可以存储神经网络的另一个或多个部分，并且可以包括一个或多个GPU，由于GPU的并行性和效率，这可以提供更快的计算时间。相应地，通过使资源受限的装置能够利用复杂的神经网络、通过减少传递的数据的量、和/或通过提供更快和/或更有效的神经网络处理，在本文中描述的技术的一些示例可能是有利的。

在所有附图中，相同的附图标记可以表示相似但不一定相同的元件。相似的数字可以指示相似的元件。当在没有附图标记的情况下提及元件时，这可以泛指该元件，而不必限于任何特定的附图。附图不一定按比例绘制，并且为了更清楚地说明所示出的示例，一些部件的尺寸可能被夸大。此外，附图提供了根据描述的示例和/或实现；然而，描述不限于附图中所提供的示例和/或实现。

图1是图示了用于神经网络执行的方法100的示例的流程图。方法100和/或方法100的一个或多个元件可以由设备(例如，电子装置、计算装置、服务器等)来执行。例如，方法100可以由结合图3描述的设备302来执行。

设备可以使用神经网络的第一部分来确定102一个或多个特征向量，其中神经网络被训练用于多个任务。例如，神经网络可以被训练为执行诸如图像分类(例如，环境分类)、图像字幕、对象检测、对象定位、对象分割、音频分类和/或情感分析等的多个任务。神经网络的一部分是神经网络的一个或多个节点。在一些示例中，神经网络的一部分可以包括一个或多个层和/或一个或多个连接。在一些示例中，神经网络的第一部分被存储在设备中(例如，存储在设备的存储器中)。神经网络的其他部分可以被分布在一组远程装置之上。例如，神经网络的每个其他部分(例如，除了第一部分之外)可以分别与多个任务中的每一个相对应。

在一些示例中，神经网络的第一部分对于多个任务中的每一个都是重叠的。例如，神经网络的第一部分可以共同用于多个任务中的任何一个、可以在多个任务之间共享、和/或可以是多个任务共有的神经网络的一部分。例如，由神经网络的第一部分产生的特征向量可以被用于多个任务中的任何一个或全部。在一些示例中，多个任务中的每一个可以与神经网络的相对于其他多个任务中的每一个而言的专有部分相对应。在一些示例中，神经网络的与多个任务中的一个相对应的每个部分可以包括专用于该任务的一个或多个节点(例如，不包括在神经网络的用于另一任务的另一部分中)和/或与神经网络的用于另一任务的另一部分不重叠。在一些示例中，每个任务可以与该任务独有的一层或多层相对应。在一些示例中，神经网络的不同部分(例如，除了第一部分之外)可以被存储在不同的远程装置上和/或在不同的远程装置上执行。在一些示例中，神经网络的第一部分可以位于边缘装置上，并且神经网络的其他部分可以位于一个或多个云装置(例如，服务器)上。在一些示例中，神经网络的第一部分可以位于云装置上，并且神经网络的其他部分可以位于一个或多个边缘装置(例如，在本地网络上的装置)上。在一些示例中，设备可以利用多个应用编程接口(API)来访问神经网络的各部分，其中每个API与不同的任务相对应。

在一些示例中，设备可以通过将数据提供到神经网络的第一部分和/或基于数据执行神经网络来确定102特征向量。神经网络的第一部分可以被训练为基于数据产生特征向量。例如，神经网络的第一部分可以从神经网络的第一部分的一个或多个节点(例如，一层或多层)产生一个或多个特征向量。在一些示例中，神经网络的第一部分可以不基于数据来产生最终推断。例如，神经网络的第一部分可以不包括基于数据产生预测或推断的一个或多个输出节点(例如，一个或多个输出层)。例如，神经网络的第一部分可以在图像中检测边、线、角等，但是可能不会产生指示是否在图像中检测到任何对象或者图像如何被分类等的预测或推断。在一些示例中，神经网络的第一部分可以产生一个或多个特征向量，该特征向量可以被神经网络的(例如，与任务相对应的)另一部分使用，以产生预测或推断。

在一些示例中，确定102特征向量可以包括将输入到神经网络的第一部分的数据进行混淆。例如，由神经网络的第一部分产生的特征向量可能并不直接指示输入到神经网络的第一部分的数据。将输入到神经网络的第一部分的数据进行混淆可以使原始数据不能基于特征向量被重构。例如，在没有附加信息的情况下，基于特征向量来重构原始数据可能是困难的或不可能的。在一些示例中，将输入数据进行混淆可以通过发送一个或多个特征向量(而不是原始输入数据)来保护用户隐私。在一些示例中，输入到神经网络的第一部分的数据可以被神经网络的第一部分混淆。例如，神经网络的第一部分可以变换和/或改变输入数据，以产生不清楚地指示输入数据的一个或多个特征向量。例如，神经网络的第一部分(例如，节点、层、连接)可以对输入数据执行一个或多个操作，使所确定的特征向量的格式与输入数据不同和/或具有与输入数据不同的含义。在一些示例中，输入数据可以包括图像数据(例如，像素数据)，并且神经网络的第一部分可以使用图像数据来产生与图像数据(例如，像素值)不同的一个或多个特征向量(例如，一组数值)。

设备可以将特征向量传输104到远程装置，其中远程装置使用神经网络的第二部分来执行多个任务中的一个。例如，设备可以使用有线链路、无线链路和/或一个或多个网络将特征向量传输104到一个或多个远程装置。远程装置可以使用神经网络的第二部分来执行任务。例如，远程装置可以利用一个或多个节点、一个或多个层和/或一个或多个连接来基于特征向量而执行预测或推断。在一些示例中，远程装置可以将预测或推断传输到设备。

在一些示例中，设备可以将特征向量传输104到多个远程装置，其中远程装置中的每一个使用神经网络的一部分来执行多个任务中的一个。例如，远程装置可以使用神经网络的不同部分来同时(例如，在重叠的时间段内)执行不同的任务。

在一些示例中，设备可以从一组远程装置中选择远程装置。设备可以将特征向量传输104到所选择的远程装置。在一些示例中，设备可以基于任务来选择远程装置。例如，远程装置中的每一个可以被映射到一个或多个任务。设备可以选择与一个或多个目标任务(例如，确定任务)相对应的远程装置。例如，第一远程装置可以包括神经网络的用于执行图像分类任务的一部分，并且第二远程装置可以包括神经网络的用于执行对象检测任务的一部分。在目标任务是图像分类(例如，确定房间类型)的情况下，设备可以将特征向量传输到第一远程装置。在目标任务是对象检测(例如，找到对象)的情况下，设备可以将特征向量传输到第二远程装置。在两个任务都是目标任务的情况下，设备可以将特征向量传输到第一远程装置并且传输到第二远程装置。在一些示例中，设备可以存储任务与远程装置之间的映射(例如，查找表、数组、列表等)。因此，设备可以选择与目标任务相对应的远程装置。

在一些示例中，方法100(或方法100的一个或多个操作)可以随时间重复。例如，确定102特征向量和/或传输104特征向量可以随时间周期性地重复。在一些示例中，设备可以确定与数据序列相对应的特征向量序列。例如，设备可以确定帧序列(例如，视频)中的每个帧(例如，图像)的特征向量。设备可以确定是否传输下一个或多个特征向量(例如，后续的一个或多个特征向量)。在一些示例中，所确定的102特征向量可以与第一数据(例如，音频、视频等的第一帧)相对应，并且设备可以使用神经网络的第一部分来确定与第二数据(例如，音频、视频等的第二帧)相对应的第二特征向量。例如，第一数据可以是帧序列中的第一帧，并且第二数据可以是帧序列中的第二帧。设备可以确定是否传输第二特征向量。

在一些示例中，确定是否传输第二特征向量可以包括确定在特征向量与第二特征向量之间的距离。确定是否传输第二特征向量可以包括将该距离与距离阈值相比较。例如，在来自摄像机的两个连续帧之间，场景中的差异可能相对较小(例如，对象被移除、较小的对象运动等)。图像中的较小变化可能导致特征向量中的较小变化。设备可以计算在(例如，被传输104的)特征向量与第二特征向量之间的距离。例如，设备可以确定(例如，计算)在特征向量与第二特征向量之间的欧几里德距离。设备可以将该距离与距离阈值相比较。在距离满足距离阈值(例如，大于距离阈值)的情况下，设备可以传输第二特征向量。在距离不满足距离阈值(例如，小于或等于距离阈值)的情况下，设备可以不传输第二特征向量。在一些示例中，距离阈值可以是可设置的和/或可调整的。例如，距离阈值可以基于用户输入和/或基于实验来设置。在一些方法中，余弦距离可以是距离的示例。例如，当在两个向量之间使用余弦距离时，距离的范围可以在0和1之间。更接近1的距离可以指示不太相似(或更不相似)的向量。更接近0的距离可以指示更相似的向量。在一些示例中，距离阈值可以是0.15，其中小于或不大于0.15的距离可以被认为是相似的(例如，其中特征向量可以不被发送到远程装置)。在一些示例中，大于或至少是0.15的距离可以被认为是不同的(例如，其中特征向量可以被发送)。可以利用距离阈值的其他示例(例如，0.1、0.12、0.18、0.2等)。

在一些示例中，确定是否传输第二特征向量可以基于最近邻域搜索和/或基于用于比较特征向量(例如，特征向量和第二特征向量)的经训练的分类器。例如，设备可以执行最近邻域搜索以确定在第二特征向量与先前特征向量(例如，多个先前特征向量)之间的最近邻域距离。在一些示例中，可以将最近邻域距离与距离阈值相比较，以确定是否传输第二特征向量。在一些示例中，设备可以使用经训练的分类器来确定是否传输第二特征向量。例如，经训练的分类器可以比较特征向量。例如，经训练的分类器可以是机器学习模型，其被训练为推断特征向量相对于先前的一个或多个特征向量是否已经改变到要更新预测或推断的程度。

在一些示例中，确定是否传输第二特征向量可以包括确定在特征向量的每个特征与与第二特征向量的相对应的特征之间的变化度量。例如，可以在特征向量的第一特征于第二特征向量的第一特征之间确定第一变化度量，可以在特征向量的第二特征与第二特征向量的第二特征之间确定第二变化度量等。确定是否传输第二特征向量可以包括确定变化度量是否满足变化标准。例如，变化度量可以是独立特征之间的百分比变化(例如，10％、15％、20％、0.05、0.1、0.3等)。在一些示例中，变化标准可以是变化阈值。设备可以将变化度量与变化阈值相比较。在满足变化阈值(例如，变化度量大于变化阈值)的情况下，设备可以传输第二特征向量。在变化度量不满足变化阈值(例如，所有变化度量都小于或等于变化阈值)的情况下，设备可以不传输第二特征向量。在一些示例中，设备可以评估特征向量的独立特征中的每一个，以确定独立特征之间的变化程度。变化标准可以是相对于特征向量之间的变化程度的可设置和/或可调节的变化阈值。在一些示例中，变化度量可以是统计测量。例如，设备可以确定独立特征的运行平均值、标准偏差和/或方差、特征的百分比变化和/或一段时间内的特征向量。统计测量可以被用于确定特征向量在一段时间内是否已经改变到一定程度。例如，设备可以将统计度量与基于一段时间内的统计数据的变化标准或阈值(例如，1个标准偏差、0.5个标准偏差等)相比较。

图2是图示了用于神经网络执行的方法200的示例的流程图。方法200和/或方法200的一个或多个元件可以由设备(例如，电子装置、计算装置、服务器等)来执行。例如，方法200可以由结合图3描述的设备302来执行。在一些示例中，结合图2描述的方法200或其元件可以是结合图1描述的方法100或其元件的示例。

设备可以使用神经网络的第一部分来确定202特征向量，其中第一部分对于多个任务是重叠的。在一些示例中，确定202特征向量可以如关于图1所描述的来执行。

设备可以将特征向量传输204到远程装置。在一些示例中，传输204特征向量可以如关于图1所描述的来执行。

设备可以基于特征向量来接收206推断。例如，远程装置可以使用神经网络的另一部分(例如，非重叠部分)来确定推断。例如，远程装置可以从设备接收特征向量，并使用特征向量来执行神经网络的一部分。神经网络的一部分可以产生推断。例如，神经网络的一部分可以被训练为执行多个任务中的一个或多个任务。远程装置可以将推断(或例如，指示推断的数据)传输到设备。例如，远程装置可以使用有线链路、无线链路和/或一个或多个网络将推断传输到设备。设备可以使用有线链路、无线链路和/或一个或多个网络从远程装置接收206推断。例如，设备可以响应于将特征向量传输204到远程装置来接收206推断。

设备可以使用神经网络的第一部分来确定208与下一数据相对应的下一个特征向量。在一些示例中，确定208下一个特征向量可以如关于图1所描述的来执行。例如，设备可以利用数据序列(例如，图像帧、音频帧等的序列)来产生特征向量序列。例如，设备可以基于第一帧来确定202特征向量，并且可以使用神经网络的第一部分来确定208与帧序列中的下一帧相对应的下一个特征向量。

设备可以确定210是否传输下一个特征向量。例如，确定210是否传输下一个特征向量可以如关于图1所描述的来执行。在一些示例中，设备可以确定在特征向量与下一个特征向量之间的距离，并将该距离与距离阈值相比较。在一些示例中，设备可以确定最近邻域距离，并将最近邻域距离与距离阈值相比较。在一些示例中，设备可以利用经训练的分类器来比较特征向量，其中经训练的分类器可以指示是否传输下一个特征向量。在一些示例中，设备可以基于特征向量的一个或多个单独特征来确定变化度量，并且可以确定变化度量是否满足变化标准(例如，变化阈值)。在一些示例中，设备可以确定统计度量，并将统计度量与变化标准或阈值相比较。

在确定210传输下一个特征向量的情况下，设备可以将下一个特征向量传输204到远程装置。在确定210不传输下一个特征向量的情况下，设备可以不传输该特征向量(例如，可以丢弃下一个特征向量)，并且可以确定208后续特征向量。在一些示例中，方法200的操作、功能和/或元件可以被省略和/或组合。

图3是可以在神经网络执行中使用的设备302和远程装置328、330、332的示例的框图。设备302可以是诸如个人计算机、服务器计算机、智能电话、平板计算机、个人助理、膝上型计算机、游戏控制台、智能电器、车辆、无人机、飞机等的电子装置。设备302可以包括和/或可以耦接到处理器304和/或存储器306。设备302可包括附加部件(未示出)和/或在本文中描述的一些部件可被移除和/或修改，而不偏离本公开的范围。

处理器304可以是中央处理单元(CPU)、数字信号处理器(DSP)、基于半导体的微处理器、图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或适用于检索并执行存储在存储器306中的指令的其他硬件装置中的任何一种。处理器304可以获取、解码和/或执行存储在存储器306中的指令。在一些示例中，处理器304可以包括一个或多个电子电路，电子电路包括用于执行指令的一个或多个功能的电子部件。在一些示例中，处理器304可以被实现为执行结合图1至图5中的一个、一些或全部所描述的功能、操作、元件等中的一个、一些或全部。

存储器306可以是包含或存储电子信息(例如，指令和/或数据)的任何电子、磁性、光学或其他物理存储装置。存储器306可以是例如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储装置和/或光盘等。在一些示例中，存储器306可以是诸如动态随机存取存储器(DRAM)、EEPROM、磁阻随机存取存储器(MRAM)、相变RAM(PCRAM)、忆阻器和/或闪存等的易失性和/或非易失性存储器。在一些实现中，存储器306可以是非暂时性有形机器可读存储介质，其中术语“非暂时性”不包含暂时性传播信号。在一些示例中，存储器306可以包括多个装置(例如，RAM卡和固态驱动器(SSD))。

在一些示例中，设备302可以包括通信接口324，处理器304可以通过通信接口324与一个或多个外部装置(例如，远程装置328、330、332)通信。在一些示例中，设备302可以经由网络326与一个或多个远程装置328、330、332通信(例如，耦接到远程装置328、330、332，或与远程装置328、330、332具有通信链路)。远程装置328、330、332的示例可以包括计算装置、服务器计算机、台式计算机、膝上型计算机、智能电话、平板装置、游戏控制台、智能电器等。网络326的示例可以包括局域网(LAN)、广域网(WAN)、互联网、蜂窝网络、长期演进(LTE)网络、5G网络等。在一些示例中，设备302可以是边缘装置，并且远程装置328、330、332可以是云装置。在一些示例中，设备302和远程装置328、330、332可以是边缘装置(例如，可以经由LAN通信)。在一些示例中，设备302可以是云装置，远程装置328、330、332可以是边缘装置。

通信接口324可以包括硬件和/或机器可读指令，以使处理器304能够与远程装置328、330、332通信。通信接口324可以实现到远程装置328、330、332的有线和/或无线连接。在一些示例中，通信接口324可以包括网络接口卡和/或还可以包括硬件和/或机器可读指令，以使处理器304能够与远程装置328、330、332通信。在一些示例中，通信接口324可以包括硬件(例如，电路、端口、连接器、天线等)和/或机器可读指令，以使处理器304能够通信诸如键盘、鼠标、显示器、另一设备、电子装置、计算装置等的各种输入和/或输出装置，用户可以通过上述装置将指令和/或数据输入到设备302中。在一些示例中，设备302(例如，处理器304)可以利用通信接口324来发送和/或接收信息。例如，设备302可以利用通信接口324来发送一个或多个特征向量，和/或可以利用通信接口324来接收一个或多个结果。结果是任务或神经网络的输出或确定。例如，结果可以是由远程装置上的神经网络的一部分产生的推断、预测、值等。

在一些示例中，每个远程装置328、330、332可以包括处理器、存储器和/或通信接口(在图3中未示出)。在一些示例中，远程装置328、330、332的存储器中的每一个可以是包含或存储电子信息(例如，指令和/或数据)的、诸如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储装置和/或光盘等的任何电子、磁性、光学或其他物理存储装置。在一些示例中，远程装置328、330、332的处理器中的每一个可以是中央处理单元(CPU)、数字信号处理器(DSP)、基于半导体的微处理器、图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或适用于检索并执行存储在相对应存储器中的指令的其他硬件装置中的任何一种。在一些示例中，远程装置328、330、332的每个通信接口可以包括硬件和/或机器可读指令，以使相对应的远程装置328、330、332能够与设备302通信。远程装置328、330、332中的每一个可以相对于彼此和/或相对于设备302具有相似或不同的处理能力、存储能力和/或通信能力。

在一些示例中，设备302的存储器306可以存储神经网络第一部分指令312、任务确定指令314、选择器指令318、独特性确定指令316、结果数据308和/或特征向量数据310。

处理器304可以执行神经网络第一部分指令312来确定第一特征向量。例如，处理器304可以使用神经网络的第一部分来确定第一特征向量。在一些示例中，确定第一特征向量可以如关于图1和/或图2所描述的来执行。在一些示例中，第一特征向量可以被存储为特征向量数据310。

处理器304可以执行任务确定指令314，以从多个任务中确定用于第一特征向量的任务。例如，处理器304可以从多个任务中选择用于第一特征向量的一个或多个任务。多个任务可以是神经网络被训练以执行的任务。例如，神经网络的(例如，除了第一部分之外)的各部分可以各自被训练为执行多个任务中的一个。在一些示例中，任务确定指令314可以基于在设备302上运行的应用的类型(例如，由处理器304执行的应用)来确定用于第一特征向量的一个或多个任务。例如，应用可以指示目标推断或目标任务。例如，处理器304可以利用任务确定指令314来确定在设备上运行的应用。例如，处理器304可以获得正在运行的应用的列表，并且确定与正在运行的应用相关联的一个或多个任务，和/或可以从正在运行的应用接收或检测针对一个或多个任务的事件(例如，程序调用)。在一些示例中，摄像机应用可以指示面部检测任务，室内设计应用可以指示图像分类任务，转录应用可以指示语音识别任务，自动驾驶应用可以指示对象检测(例如，行人、标志、障碍物等检测)任务和图像分类(例如，城市驾驶、高速公路驾驶等)任务等。处理器304可以确定与应用相关联的和/或由应用调用的一个或多个任务。

处理器304可以执行选择器指令318来选择与所确定的一个或多个任务相对应的远程装置。在一些示例中，选择远程装置可以如关于图1所描述的来执行。在图3中所图示的示例中，第一远程装置328包括神经网络第二部分指令320，第二远程装置330包括神经网络第三部分指令322，并且第三远程装置包括神经网络第四部分指令334和神经网络第五部分指令336。远程装置328、330、332上的神经网络部分指令320、322、334、336中的每一个可以与一个任务相对应。处理器304可以基于所确定的任务与神经网络部分和/或远程装置之间的对应关系或映射来选择一个或多个远程装置。例如，处理器304可以查找哪个远程装置和/或神经网络部分与所确定的一个或多个任务相对应。处理器304可以选择与任务相对应的远程装置和/或神经网络部分。

设备302(例如，处理器304)可以将第一特征向量发送到所选择的远程装置，其中所选择的远程装置使用神经网络的一部分来执行所确定的任务。例如，在第一远程装置328是所选择的远程装置的情况下，设备302(例如，处理器304)可以将第一特征向量发送到第一远程装置328，其中第一远程装置328使用神经网络的第二部分来执行所确定的任务。例如，第一远程装置328可以包括处理器和存储器，其中处理器执行存储在存储器中的神经网络第二部分指令320，以执行所确定的任务。在一些示例中，第一远程装置328可以将结果(例如，推断、预测)发送到设备302。

设备302可以接收一个或多个结果(例如，推断、预测等)。在一些示例中，设备302(例如，处理器304)可以利用通信接口324来接收结果。在一些示例中，设备302(例如，处理器304)可以将结果存储为结果数据308。

在一些示例中，多个任务分别与神经网络的彼此互斥的远程部分相对应。例如，神经网络的远程部分可以是远离设备302上的神经网络的第一部分的神经网络的部分(例如，与存储在设备302上的网络的第一部分分开存储在远程装置328、330、332上)。例如，神经网络的远程部分可以包括第一远程装置328上的神经网络的第二部分、第二远程装置330上的神经网络的第三部分以及第三远程装置332上的神经网络的第四部分和第五部分。第一远程装置328可以通过执行神经网络第二部分指令320来使用神经网络的第二部分，第二远程装置330可以通过执行神经网络第三部分指令322来使用神经网络的第三部分，和/或第三远程装置332可以通过执行神经网络第四部分指令334来使用神经网络的第四部分和/或可以通过执行神经网络第五部分指令336来使用神经网络的第五部分。多个任务可以被分布在多个远程装置之上。例如，多个任务可以被分布在远程装置328、330、332上。例如，神经网络的第二部分的任务可以由第一远程装置328执行，神经网络的第三部分的任务可以由第二远程装置330执行，神经网络的第四部分的任务可以由第三远程装置332执行，并且神经网络的第五部分的任务可以由第三远程装置332执行。

在一些示例中，神经网络操作(例如，预测、推断)可以以两部分来执行。例如，设备302(例如，处理器304)可以执行特征提取以产生一个或多个特征向量。特征向量可以被发送到一个或多个远程装置328、330、332，并且可以被提供到神经网络的不同部分，这些部分可以根据这些部分被训练的任务来输出不同的结果。神经网络各个部分的分布或扩展方式可以是灵活的。例如，神经网络的第二部分可以被存储在第一远程装置328中，神经网络的第三部分可以被存储在第二远程装置330中，并且神经网络的第四和第五部分可以被存储在第三远程装置332中。因此，同一网络的一个或多个部分可以被存储在远程装置中。神经网络的一个或多个部分可以被存储在云中和/或在云中操作。

在示例中，设备302、第一远程装置328和第二远程装置330可以具有比第三远程装置332更少的计算和/或存储资源。例如，设备302可以是智能电话，第一远程装置328可以是膝上型计算机，第二远程装置330可以是平板装置，并且第三远程装置332可以是台式计算机。在该示例中，设备302可以执行计算图像特征(例如，特征向量)的神经网络(例如，CNN)的第一部分。该特征可以被提供到远程装置328、330、332以用于进一步计算。第三远程装置332能够执行神经网络的两个部分。就有效数据传输的数据的量和/或保护原始图像内容(例如，用户的隐私)而言，发送特征向量(而不是原始图像)可能是有利的。

在一些示例中，任务可以由远程装置328、330、332同时执行。例如，第一远程装置328和第二远程装置330可以接收第一特征向量。第一远程装置328可以执行神经网络第二部分指令320，以执行任务，并且第二远程装置330可以执行神经网络第三部分指令322，以同时执行另一个任务(具有或不具有相同的开始和结束时间)。第一远程装置328可以将任务的第一结果发送到设备302，并且第二远程装置可以将另一任务的第二结果发送到设备302。例如，第一远程装置328可以发送对象检测推断结果，并且第二远程装置330可以将图像分类推断结果发送到设备302。设备302可以将结果存储为结果数据308。

在一些示例中，设备302可以呈现结果。例如，设备302可以在显示器上呈现结果的指示(例如，指示图像分类的文本、示出检测到的对象的边界框的图像、指示经过滤的电子邮件的文本、指示音频转录的文本等)。在一些示例中，设备302可以将结果发送到另一设备(例如，服务器、智能电话、平板电脑、计算机、游戏控制台等)。

在一些推断方法中，可以执行一系列推断。例如，可以对视频流执行对象检测。在一些示例中，当检测到帧之间的变化量时，可以触发附加的推断。这可以由于更少的计算而提供能量节省，可以利用更少的网络带宽，和/或可以节省预测时间。

处理器304可以执行独特性确定指令316，以基于第一特征向量来确定第二特征向量的独特性。特征向量的独特性是相对于另一个特征向量、特征向量的一个或多个特征、和/或一组特征向量的唯一性或差异程度的指示。特征向量的独特性的示例可以包括特征向量之间的距离和特征向量的特征之间的变化度量。在一些示例中，可以如关于图1和/或图2所描述的来执行特征向量的独特性确定。在一些示例中，第一特征向量可以与第一帧(例如，帧序列中可以是也可以不是初始帧的帧)相对应。处理器304可以使用神经网络的第一部分来确定与第二帧(例如，序列中后续的帧、下一帧等)相对应的第二特征向量。在一些示例中，第二特征向量可以被存储为特征向量数据310。处理器304可以基于第一特征向量来确定第二特征向量的独特性。设备302(例如，处理器304)可以响应于确定第二特征向量满足独特性标准，将第二特征向量发送到所选择的远程装置。独特性标准是用于确定特征向量的独特性是否满足发送特征向量的独特性程度的一个或多个标准。独特性标准的示例可以包括距离阈值和变化标准。

在一些示例中，存储器306可以包括训练指令。处理器304可以执行训练指令来训练神经网络。例如，神经网络的第一部分可以被存储为神经网络第一部分指令312。训练神经网络可以包括调整神经网络的权重。例如，权重可以被存储在神经网络第一部分指令312中。

例如，在训练阶段，可以训练神经网络(例如，神经网络的架构)。在一些示例中，神经网络(例如，整个神经网络)可以由设备302训练。一旦神经网络被训练，设备302(例如，处理器304)就可以将与多个任务相对应的神经网络的各部分发送到远程装置328、330、332。在一些示例中，可以用分布式方法来训练神经网络。例如，设备302(例如，处理器304)可以将神经网络的未训练部分发送到远程装置328、330、332。可以通过协调在设备302与远程装置328、330、332之间的训练数据来训练神经网络(例如，第一部分和远程部分)。在一些示例中，神经网络可以由一个或多个远程装置328、330、332来训练。当训练神经网络时，一个或多个远程装置328、330、332可以将神经网络的第一部分(例如，接合部分、重叠部分等)发送到设备302。设备302可以(例如，使用通信接口324)接收和存储神经网络的第一部分。在一些示例中，神经网络可以由另一装置预训练，其中神经网络的各部分可以部署到设备302和远程装置328、330、332。

在一些训练的示例中，可以利用多任务损失，这可以帮助控制神经网络的每个部分学习什么。在一些示例中，当使用不针对给定任务的数据集时，可以利用每个损失的控制参数来允许忽略特定损失。例如，当使用用于图像分类目的的数据集时，可以不利用和/或考虑对象检测的损失来进行损失计算。

在一些示例中，神经网络的不同部分可以在不同时间被训练。例如，神经网络的经训练的第一部分(例如，特征提取部分)可以在被用在流水线中，以使用来自经训练的第一部分的特征来训练另一部分。因此，一个或多个神经网络部分可以随时间增加。

在一些示例中，神经网络的一部分可以被同时或单独训练。例如，神经网络的第一部分、神经网络的第二部分、神经网络的第三部分、神经网络的第四部分和神经网络的第五部分等可以在重叠的时间帧中被同时训练。相应地，在一些方法中，神经网络的重叠部分和一个或多个任务可以被同时训练。在一些示例中，神经网络的各部分可以被单独训练(例如，在单独的时间帧中、在不同的时间等)。例如，神经网络的第一部分、神经网络的第二部分、神经网络的第三部分、神经网络的第四部分和/或神经网络的第五部分等可以在不相交的时间帧中被单独训练。在示例中，神经网络的第一部分和神经网络的第二部分可以被同时训练，并且神经网络的第三部分可以被单独训练(例如，在稍后的时间)。在一些示例中，神经网络的附加部分(用于附加任务)可以随时间而增加。为多个任务而训练的神经网络可以包括同时训练的神经网络的各部分，和/或单独训练的神经网络的各部分(例如，在不同时间)。例如，为多个任务而训练的神经网络可以在多个训练阶段中被训练，和/或可以包括单独训练的部分。神经网络的一部分的训练阶段可能与神经网络的另一部分的训练阶段在不同的时间发生。在一些示例中，神经网络的一部分(例如，任务)的训练阶段可以发生在神经网络的另一部分(例如，神经网络的重叠部分和/或任务)的运行时期间。在一些示例中，神经网络的重叠部分可以与神经网络的另一部分被单独训练(例如，针对一个任务)(例如，在不同的时间)。例如，神经网络的第一部分(例如，重叠部分)可以在神经网络的第二部分之前被训练(例如，针对一个任务)。

虽然图3图示了其中可以实现本文中描述的技术中的一些技术的体系结构的一些示例，但是也可以利用其他体系结构。例如，可以利用不同数量的远程装置。

图4是图示了用于神经网络执行的计算机可读介质440的示例的框图。计算机可读介质是非暂时性的有形计算机可读介质440。计算机可读介质440可以是例如RAM、EEPROM、存储装置、光盘等。在一些示例中，计算机可读介质440可以是诸如DRAM、EEPROM、MRAM、PCRAM、忆阻器和闪存等的易失性和/或非易失性存储器。在一些实现中，结合图3描述的存储器306可以是结合图4描述的计算机可读介质440的示例。

计算机可读介质440可以包括代码(例如，数据和/或指令)。例如，计算机可读介质440可以包括神经网络部分442和/或通信指令444。

神经网络部分442可以包括代码，该代码使处理器：基于由远程装置或设备使用神经网络的共享部分所确定的特征向量、使用神经网络的专有部分来确定推断。这可以如结合图1、图2和/或图3所描述的来实现。在一些示例中，推断可以与由远程装置或设备使用神经网络的另一个专有部分所确定的另一个推断或多个推断被同时确定。

通信指令444可以包括使处理器将推断传输到远程装置或设备的代码。这可以如结合图1、图2和/或图3所描述的来实现。

图5是图示了根据在本文中描述的技术的一些示例的设备554和远程装置556的示例的框图。设备554可以是关于图1、2、3和/或4描述的设备的示例。远程装置556可以是关于图1、2、3和/或4描述的远程装置的示例。在这个示例中，设备554包括第一层546、第二层548和第三层部分A 550。远程装置556包括第三层部分B 552。

在本文中描述的技术的一些示例可以包括多任务神经网络。多任务神经网络是能够执行不同任务的神经网络。在一些示例中，多任务神经网络可以允许使用比多个独立模型所使用的资源更少的资源来执行基于相同输入的多个推断。多任务神经网络可以以这样的方式来训练，即神经网络的一部分被共享或重叠，而其他部分(例如，分支)被用于针对每个任务的专门化。例如，神经网络的第一层546和第二层548可以被共享或重叠，而第三层部分A 550专用于设备554，并且第三层部分B 552专用于远程装置556。例如，第三层部分A550可以执行与第三层部分B 552不同的任务，并且可以不包括相同的节点。例如，第三层部分A 550可以提供与第三层部分B 552提供的第二结果560在类型和/或含义上不同的第一结果558。第三层部分A 550和第三层部分B 552可以使用共享的第一层546和第二层548来操作。例如，第三层部分A 550和第三层部分B 552可以使用由第二层548提供的特征向量。在本文中描述的技术的一些示例可以利用多任务神经网络来改进基于相同输入的多个推断的执行和/或在链接到一个或多个网络(例如，云)的多个远程装置之间分配经专门化的分支。

在本文中描述的技术的一些示例的一些优点如下所述。一些示例可以通过不将原始数据(例如，整个图像、音频、文本等)发送到云和/或通过当特征已经改变一定量时偶尔发送特征向量来节省带宽。一些示例在隐私敏感的场景中可能是有利的，因为原始数据(例如，用户数据)可以不通过网络来传输。在本文中描述的技术的一些示例可以覆盖边缘情况，其中代替了将特征向量发送到云，可以将特征向量发送到不同的边缘装置，其中每个边缘装置具有神经网络的一个或多个部分。推断可以在本地执行和/或以分布式方式执行。虽然示例中的一些示例在本文中描述了图像，但是在本文中描述的技术的其他示例可以利用其他类型的数据(例如，音频、文本等)，其中处理可以分成特征提取以及特征分类和/或回归等。

在本文中描述的技术的示例中的一些示例可以在将输入发送到远程装置(例如，边缘装置、云装置等)之前降低输入的维度，由于在某些情况下特征向量小于原始数据(例如，图像)，因此这可以节省带宽。在一些示例中，特征向量形式的数据可能无法被识别为原始数据，这可以保护用户隐私。在本文中描述的技术的一些示例可以利用云的并行性和/或资源来执行不同任务的推断。这对于其中神经网络架构包括解码器(例如，语义分割模型)的情况可能是有用的。在本文中描述的技术的一些示例可以使远程装置(例如，边缘装置)能够利用深度学习来完成可能受益于多个任务的快速推断时间的任务。在本文中描述的一些技术可以使卷积神经网络能够同时执行不同的任务，同时共享用于架构的一部分的结构。在本文中描述的技术的一些示例可以使一个或多个装置(例如，边缘装置)能够利用有限的计算资源来执行不同的任务。例如，一些设备和/或装置可能具有无法一次保存整个神经网络的存储容量。在一些示例中，一些设备和/或装置可能具有无法以图像帧或音频帧的帧速率执行推断的处理能力。在本文中描述的技术中的一些可以使这种资源有限的设备和/或装置能够利用比存储容量更大(或将占用多于目标比例的存储器资源)和/或消耗相对大量的处理资源的神经网络。例如，设备和/或装置可以具有存储容量和/或处理资源，以处理神经网络的一部分。

如在本文中所使用的，术语“和/或”可以意味着一个或多个项。例如，词语“A、B和/或C”可以意味着以下任一项：A(没有B和C)、B(没有A和C)、C(没有A和B)、A和B(没有C)、B和C(没有A)、A和C(没有B)、或者A、B和C中的全部。

虽然在本文中描述了系统和方法的各种示例，但是系统和方法不限于这些示例。在本文中描述的示例的变型可以在本公开的范围内实现。例如，在本文中描述的示例的操作、功能、方面或元件可以被省略或组合。

Claims (15)

1.一种方法，包括：

使用神经网络的第一部分来确定特征向量，其中，所述神经网络被训练用于多个任务；以及

将所述特征向量传输到远程装置，其中，所述远程装置使用所述神经网络的第二部分来执行所述多个任务中的一个。

2.根据权利要求1所述的方法，其中，所述神经网络的所述第一部分对于所述多个任务中的每一个都是重叠的。

3.根据权利要求1所述的方法，其中，所述神经网络的所述第一部分被存储在设备中，并且所述神经网络的分别与所述多个任务中的每一个相对应的其他部分被分布在一组远程装置之上。

4.根据权利要求1所述的方法，其中，所述多个任务中的每一个与所述神经网络的相对于所述其他多个任务中的每一个而言的专有部分相对应。

5.根据权利要求1所述的方法，进一步包括从一组远程装置中选择所述远程装置。

6.根据权利要求1所述的方法，其中，确定所述特征向量包括将输入到所述神经网络的所述第一部分的数据进行混淆。

7.根据权利要求1所述的方法，其中，所述特征向量与第一数据相对应，并且其中，所述方法进一步包括：

使用所述神经网络的所述第一部分来确定与第二数据相对应的第二特征向量；以及

确定是否传输所述第二特征向量。

8.根据权利要求7所述的方法，其中，确定是否传输所述第二特征向量包括：

确定在所述特征向量与所述第二特征向量之间的距离；以及

将所述距离与距离阈值相比较。

9.根据权利要求7所述的方法，其中，确定是否传输所述第二特征向量包括：

确定在所述特征向量的每个特征与与所述第二特征向量的相对应特征之间的变化度量；以及

确定所述变化度量是否满足变化标准。

10.根据权利要求7所述的方法，其中，所述第一数据是帧序列中的第一帧，并且所述第二数据是帧序列中的第二帧。

11.一种设备，包括：

存储器；以及

处理器，耦接到所述存储器，其中，所述处理器用于：

使用神经网络的第一部分来确定第一特征向量；

从多个任务中确定用于所述第一特征向量的任务；

选择与所确定的任务相对应的远程装置；以及

将所述第一特征向量发送到所选择的远程装置，其中，所述远程装置使用所述神经网络的第二部分来执行所确定的任务。

12.根据权利要求11所述的设备，其中，所述多个任务分别与所述神经网络的彼此互斥的远程部分相对应，并且其中，所述多个任务被分布在多个远程装置之上。

13.根据权利要求11所述的设备，其中，所述第一特征向量与第一帧相对应，并且其中，所述处理器用于：

使用所述神经网络的所述第一部分来确定与第二帧相对应的第二特征向量；

基于所述第一特征向量来确定所述第二特征向量的独特性；以及

响应于确定所述第二特征向量满足独特性标准，将所述第二特征向量发送到所选择的远程装置。

14.一种存储可执行代码的非暂时性有形计算机可读介质，包括：

使处理器基于由远程装置使用神经网络的共享部分确定的特征向量、使用所述神经网络的专有部分来确定推断的代码；以及

使所述处理器将所述推断传输到所述远程装置的代码。

15.根据权利要求14所述的计算机可读介质，其中，所述推断与由远程装置使用所述神经网络的第二专有部分确定的第二推断被同时确定。

Images