CN107851213B - 神经网络中的转移学习 - Google Patents

神经网络中的转移学习 Download PDF

Info

Publication number
CN107851213B
CN107851213B CN201680042307.5A CN201680042307A CN107851213B CN 107851213 B CN107851213 B CN 107851213B CN 201680042307 A CN201680042307 A CN 201680042307A CN 107851213 B CN107851213 B CN 107851213B
Authority
CN
China
Prior art keywords
data
neural network
trained neural
labeled data
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680042307.5A
Other languages
English (en)
Other versions
CN107851213A (zh
Inventor
C·M·维任斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107851213A publication Critical patent/CN107851213A/zh
Application granted granted Critical
Publication of CN107851213B publication Critical patent/CN107851213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种转移学习的方法包括：接收第二数据；以及经由第一网络针对第二数据生成第二标记。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。另外，第二标记被生成以用于训练第二网络。

Description

神经网络中的转移学习
相关申请的交叉引用
本申请依据35 U.S.C.§119(e)要求于2015年7月22日提交的题为“TRANSFERLEARNING IN NEURAL NETWORKS(神经网络中的转移学习)”的美国临时专利申请No.62/195,763的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及改进用于神经网络中的转移学习的系统和方法。
背景技术
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。
其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。
概述
在本公开的一个方面，公开了一种用于转移学习的方法。该方法包括：接收第二数据。该方法还包括：经由第一网络针对第二数据生成第二标记。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。另外，第二标记被生成以用于训练第二网络。
本公开的另一方面涉及一种设备，其包括用于接收第二数据的装置。该设备还包括：用于经由第一网络针对第二数据生成第二标记的装置。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。另外，第二标记被生成以用于训练第二网络。
在本公开的另一方面，公开了一种用于转移学习的计算机程序产品。该计算机程序产品具有其上记录有非瞬态程序代码的非瞬态计算机可读介质。该程序代码由处理器执行，并且包括用于接收第二数据的程序代码。该程序代码还包括：用于经由第一网络针对第二数据生成第二标记的程序代码。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。另外，第二标记被生成以用于训练第二网络。
本公开的另一方面涉及一种用于转移学习的装置，其具有存储器单元以及耦合至存储器的一个或多个处理器。(诸)处理器被配置成：接收第二数据。(诸)处理器还被配置成：经由第一网络针对第二数据生成第二标记。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。另外，第二标记被生成以用于训练第二网络。
在本公开的一个方面，公开了一种用于转移学习的方法。该方法包括：接收由第一网络使用第二数据生成的第二标记。在一种配置中，第一网络先前已在第一标记和第一数据上被训练。该方法还包括：在第二标记和第二数据上训练第二网络。
本公开的另一方面涉及一种设备，其包括用于接收由第一网络使用第二数据生成的第二标记的装置。在一种配置中，第一网络先前已在第一标记和第一数据上被训练。该设备还包括：用于在第二标记和第二数据上训练第二网络的装置。
在本公开的另一方面，公开了一种用于转移学习的计算机程序产品。该计算机程序产品具有其上记录有非瞬态程序代码的非瞬态计算机可读介质。该程序代码由处理器执行，并且包括用于接收由第一网络使用第二数据生成的第二标记的程序代码。在一种配置中，第一网络先前已在第一标记和第一数据上被训练。该程序代码还包括：用于在第二标记和第二数据上训练第二网络的程序代码。
本公开的另一方面涉及一种用于转移学习的装置，其具有存储器以及耦合至该存储器的一个或多个处理器。(诸)处理器被配置成：接收由第一网络使用第二数据生成的第二标记。在一种配置中，第一网络先前已在第一标记和第一数据上被训练。(诸)处理器还被配置成：在第二标记和第二数据上训练第二网络。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3A是解说根据本公开的各方面的神经网络的示图。
图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。
图5是解说根据本公开的各方面的智能手机上的AI应用的运行时操作的框图。
图6是根据本公开的各方面的用于转移学习的流程图。
图7A-7E解说了根据本公开的各方面的不同网络的示例。
图8和9解说了根据本公开的各方面的用于转移学习的方法。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
神经网络可在包括标记和对应数据的训练集上被训练以将来自输入的对象分类。例如，第一神经网络可在交通工具的所标记图像上被训练以标识不同类型的交通工具。在一些情形中，在网络已被训练之后，可能期望添加新的类和/或修改现有的类的边界。尽管如此，出于各种原因，在第一神经网络已被训练之后，训练集可能不再可用。因此，因为训练集不再可用，所以在网络已被训练之后，可能不能在该网络上执行递增学习以添加新的类和/或修改现有的类的边界。
因此，可能期望将第一神经网络的学习转移到第二神经网络以允许由第二神经网络进行递增学习。例如，因为原始训练集可能在训练第一神经网络之后不可用，所以可指定第一神经网络来标记新的数据以训练逼近第一神经网络的第二神经网络。第二神经网络可随后被用于递增学习或其他任务。
图1解说了根据本公开的某些方面的使用片上系统(SOC)100进行的前述转移学习的示例实现，SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。各变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带权重的神经网络)、延迟、频率槽信息、以及任务信息可以被存储在与神经处理单元(NPU)108相关联的存储器块中或存储在专用存储器块118中。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。SOC 100还可包括为具体功能定制的附加处理块(诸如图形处理单元(GPU)104、数字信号处理器(DSP)106、连通性块110(其可包括第四代长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位系统)。
SOC 100可基于ARM指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于接收由第一网络使用第二数据生成的第二标记的代码。第一网络先前在第一标记和第一数据上被训练。加载到通用处理器102中的指令还可包括用于在第二标记和第二数据上训练第二网络的代码。
在另一方面，加载到通用处理器102中的指令包括用于接收第二数据的代码、以及用于经由第一网络针对第二数据生成第二标记的代码。第一网络先前在第一数据的第一标记上被训练。第二标记被生成以用于训练第二网络。第二数据可能是未标记的，或者该数据可被标记有被忽略的标记。加载到通用处理器102中的指令还可包括用于在第二标记和第二数据上训练第二网络的代码。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的类似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习去识别输入流中的简单特征(诸如边)。如果向第一层呈递听觉数据，则第一层可学习去识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。更高层可学习去表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出被传达给相同层中的另一神经元。递归架构可有助于识别在时间上展开的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3A，神经网络的各层之间的连接可以是全连接的(302)或局部连接的(304)。在全连接网络302中，给定层中的神经元可以将其输出传达给下一层中的每一神经元。替换地，在局部连接网络304中，给定层中的神经元可连接至下一层中有限数目的神经元。卷积网络306可以是局部连接的，并且进一步是其中与给定层中的每个神经元相关联的连接强度被共享的特殊情形(例如，308)。更一般化地，网络的局部连接层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连接的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连接的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
DCN可以用受监督式学习来训练。在训练期间，DCN可被呈递图像326(诸如限速标志的经剪裁图像)，并且可随后计算“前向传递(forward pass)”以产生输出328。输出328可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分，例如与经训练网络300的输出328中所示的“标志”和“60”对应的那些神经元。在训练之前，DCN产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了正当地调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在神经网络中的“反向传递(backward pass)”。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，DCN可被呈递新图像326并且在网络中的前向传递可产生输出328，其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习中。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络小得多。
卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318、320以及322中形成特征图，该特征图(例如，320)中的每个元素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化324(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示，该示例性深度卷积网络350包括多个卷积块(例如，C1和C2)。每个卷积块可配置有卷积层(CONV)、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到SOC 100的DSP 106或ISP 116上。另外，DCN可访问其他可存在于SOC上的处理块，诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连接层(例如，FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。使用该架构，应用402可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在该应用402的运行时操作期间执行支持计算。
AI应用402可配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如，AI应用402可取决于识别出的场景是否为办公室、报告厅、餐馆、或室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求以提供对当前场景的估计。该请求可最终依赖于配置成基于例如视频和定位数据来提供场景估计的深度神经网络的输出。
运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如，AI应用402可使得运行时引擎请求特定时间间隔的场景估计或由应用的用户接口检测到的事件触发的场景估计。在使得运行时引擎估计场景时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统410(诸如Linux内核412)。操作系统410进而可使得在CPU422、DSP 424、GPU 426、NPU 428、或其某种组合上执行计算。CPU 422可被操作系统直接访问，而其他处理块可通过驱动器(诸如用于DSP 424、GPU 426、或NPU 428的驱动器414-418)来访问。在示例性示例中，深度神经网络可被配置成在处理块的组合(诸如CPU 422和GPU426)上运行，或可在NPU 428(如果存在的话)上运行。
图5是解说智能手机502上的AI应用的运行时操作500的框图。AI应用可包括预处理模块504，该预处理模块504可被(例如，使用JAVA编程语言)配置成转换图像506的格式并随后对该图像进行剪裁和/或调整大小(508)。经预处理的图像可随后被传达给分类应用510，该分类应用510包含场景检测后端引擎512，该场景检测后端引擎512可以被(例如，使用C编程语言)配置成基于视觉输入来检测和分类场景。场景检测后端引擎512可被配置成通过缩放(516)和剪裁(518)来进一步预处理(514)该图像。例如，该图像可被缩放和剪裁以使所得到的图像是224像素×224像素。这些维度可映射到神经网络的输入维度。神经网络可由深度神经网络块520配置以使得SOC 100的各种处理块借助深度神经网络来进一步处理图像像素。深度神经网络的结果可随后被取阈(522)并被传递通过分类应用510中的指数平滑块524。经平滑的结果可随后使得智能手机502的设置和/或显示改变。
在一种配置中，模型(诸如机器学习模型)被配置成用于接收可能是未标记的第二数据。另外，该模型可被配置成经由第一网络针对第二数据生成第二标记。此外，第一网络可能先前已在第一数据的第一标记上被训练。此外，该模型可被配置成在第二数据和第二标记上训练第二网络。应注意，第一网络和第二网络可被定义在相同设备上或者可被定义在不同设备上。
该模型包括生成装置和/或接收装置。在一个方面，生成装置和/或接收装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一种配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
在另一配置中，模型(诸如机器学习模型)被配置成用于接收由第一网络使用第二数据生成的第二标记。另外，该模型可被配置成在第二标记和第二数据上训练第二网络。此外，第一网络可能先前已在第一数据的第一标记上被训练。应注意，第一网络和第二网络可被定义在相同设备上或者可被定义在不同设备上。
该模型包括接收装置和/或训练装置。在一个方面，接收装置和/或训练装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一种配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
神经网络中的转移学习
机器学习网络(诸如神经网络)可被训练以将来自输入(诸如图像输入和/或音频输入)的项目分类。在一些情形中，神经网络是经由反向传播来在所标记数据上训练的。例如，反向传播可以使用汽车的所标记图像来训练神经网络以标识不同车型。
在一个示例中，第一神经网络F可在第一训练集D上被训练。在该示例中，第一训练集D包括数据x和对应标记y，以使得：D:＝{(xi,yi)}，i＝1...N。由此，在训练之后，第一神经网络F可逼近特定图像xi的特定标记yi(F(xi)≈yi)。在本公开中，训练集(例如，标记和数据)可被称为所标记数据。此外，在本公开中，训练集的数据可被称为图像。
在一些情形中，第一训练集D的数据x和/或标记y可能在训练第一神经网络F之后不再可用。也就是说，在一些情形中，第一训练集D的数据x可能不再可用，而标记y仍然可用。在其他情形中，第一训练集D的标记y可能不再可用，而数据x仍然可用。在另一示例中，图像x和标记y两者均不可用。
在一个示例中，第一训练集D可能因限制(诸如许可限制)而不可用于外部分布。由此，因为第一训练集D不再可用，所以第一神经网络F可能不能经由递增学习来更新。根据本公开的各方面，递增学习是指修改神经网络的类的现有边界和/或向该神经网络添加新的类。
在一种配置中，原始训练集可使用附加数据和标记来扩增以执行递增学习。也就是说，对于递增学习，期望使用新的训练集来扩增原始训练集以避免忘记原始训练集的分类。递增学习并不限于扩增类或修改现有的类的边界，因为还构想了其他递增学习功能。
在一种配置中，当第一训练集D在训练第一神经网络F之后不再可用时，指定第二神经网络F'来逼近第一神经网络F。具体地，当第一训练集D不再可用时，可向不包括第二标记yi'的第二数据xi'应用第一神经网络F。在一种配置中，第二数据xi'与第一训练集D的第一数据x基本上类似或相同。替换地，第二数据xi'可能不与第一数据x相关。
此外，在向第二数据xi'应用第一神经网络F之后，生成第二训练集D'。也就是说，在训练之后，第二标记yi'与第二数据xi'相关联。具体地，在训练之后，第二训练集D'包括第二数据xi'和第二标记yi'。更具体地，在第二数据xi'上训练第一神经网络F之后，D':＝{(xi',yi')}，I＝1...N，其中F(xi'):＝yi'。最后，第二训练集D'可被用来训练第二神经网络F'，以使得第二神经网络F'可逼近特定图像xi的特定标记yi'(F'(xi')≈yi')。在一种配置中，第二神经网络F'具有与第一神经网络F相比不同的大小。例如，第二神经网络F'的大小可大于或小于第一神经网络F的大小。
除使用第二训练集D'训练之外，第二神经网络F'还可使用第三训练集D”来训练。第三训练集D”可被用来修改第二神经网络F'中类的一个或多个现有边界。例如，第二训练集D'可针对不同的汽车类设立边界，而第三训练集D”可修改边界以计及一种或多种现有汽车的设计变化。
例如，特定车型(诸如车型A)可与特定标记(例如，类)相关联。也就是说，车型A的图像可被标记为车型A。在该示例中，特定车型可接收对其设计的更新，诸如对尾灯设计的更新。尽管如此，第二训练集D'可能不包括经更新的汽车设计的所标记数据。因此，现有的类的边界可被修改成计及经更新的设计，以使得网络仍然将经更新的车型标记为特定车型。也就是说，在该示例中，车型A类的边界被修改成将具有经更新的尾灯设计的车型A分类为车型A，而非将具有经更新的尾灯设计的车型A错误地分类。在该情形中，包含车型A的新设计的所标记示例的第三训练集D”可与第二训练集D'结合使用来训练第二神经网络F'以将车型A的两种设计正确地分类。
在一种配置中，当新的示例被添加到现有的类时，给定未标记数据X和新的所标记数据{(x”,y”)}，则新的网络F在{(X,F(X))}和{(x”,y”)}的并集上被训练。
附加地或替换的，在一种配置中，指定第三训练集D”来向第二神经网络F'添加一个或多个新的类。例如，如果指定第二训练集D'来针对不同汽车创建类，则可指定第三训练集D”来添加新的类以计及新车型。
作为示例，特定车型(诸如车型A)可与特定类相关联。另外，在该示例中，可由制造商引入新车型(诸如车型B)。在该示例中，第二训练集D'不包括新车型的所标记数据。因此，基于从第二训练集D'的训练，网络可能不准确地标记车型B的图像。由此，在该示例中，基于第三训练集D”中所包括的新车型B的所标记数据来向第二神经网络F'添加针对新车型B的新的类。也就是说，在该示例中，针对车型B创建新的汽车类，以使得车型B不会被不正确地标记为车型A。
在一种配置中，当在原始训练数据不可用时向经预训练的网络添加一个或多个新的类时，给定未标记数据X和新的所标记数据{(x”,y”)}，新的网络F在集合{(X,[F(X)；0*y”]}和{(x”,[F(X)*0；y”]}的并集上被训练。根据本公开的各方面，y”可以是矢量或标量。
在一种配置中，将第二数据xi'进行群集并将其与第三训练集D”的第三数据xi”进行比较。此外，在比较之后，基于与第三数据xi”的类似度或差异性来选择第二数据xi'以用于训练。
图6解说了根据本公开的各方面的用于转移学习的流程图600的示例。如图6中所示，在框610，使用第一训练集训练第一网络。此外，在框620，网络和/或用户可确定第一训练集的第一数据和第一标记是否可用。如果第一数据和第一标记可用，则在框630，可按需使用和/或修改第一网络。
第一数据和第一标记可能因受限的分布权限而不可用。作为另一示例，第一数据和第一标记可能因存储器限制而不可用。在该示例中，正在执行递增学习的系统可能没有存储器容量来保持第一训练集。附加地或替换地，系统可能不具有指定成下载第一训练集的时间或连通性。因此，由于系统约束，可在训练过程期间从第一经训练网络生成第二训练集。本公开的各方面并不限于第一数据和第一标记因分布权限或系统约束而不可用，因为还构想了第一数据和第一标记不可用的其他原因。
附加地，如果第一标记和/或第一数据(例如，第一训练集)不可用，则在框640，经由第一网络针对第二数据生成第二标记。第二数据可以基于或可以不基于第一数据。在生成第二标记之后，在框650，可在第二标记和第二数据(例如，第二训练集)上训练第二网络。此外，在第二网络已被训练之后，第三数据和第三标记(例如，第三训练集)可与第二标记和第二数据联用，以在框660，向第二网络添加新的类和/或修改第二网络的现有的类的边界。
图7A解说了使用第一训练集训练的原始网络710的示例。如图7A中所示，针对图像(x轴)指定标记(y轴)。此外，原始网络710在所标记图像上被训练并且逼近于所标记图像。
如先前所讨论的，第一标记和/或第一数据(例如，第一训练集)可能在训练原始网络710之后不可用。图7B解说了不具有第一训练集的原始网络710的示例。如图7B中所示，即使第一训练集不再可用，原始网络仍可被用来基于来自第一训练集的训练来将未标记的第二数据进行分类。尽管如此，可能期望添加新的类和/或修改现有的类的边界。在大多数情形中，当训练网络以添加新的类和/或修改现有的类的边界时，使用原始训练集(诸如第一训练集)和附加训练集(诸如第二训练集)来训练该网络。附加训练集的标记和数据可被用来添加新的类和/或修改现有的类的边界。
由此，根据本公开的一方面，可指定新的网络以用于添加新的类和/或修改现有的类的边界。在一种配置中，新的网络是通过经由原始网络向未标记数据提供标记来生成的。如图7C中所示，原始网络710被用来标记未标记数据。也就是说，可指定原始网络710来针对未标记的第二数据生成第二标记。在一种配置中，第二数据基本上类似于第一数据。
此外，如图7D中所示，第二数据和第二标记被用来训练新的网络720。在已经使用第二数据和第二标记训练新的网络720之后，可在已经使用第三标记和第三数据扩增的第二数据和第二标记上进一步训练新的网络720以添加新的类和/或修改现有的类的边界。
图7E解说了原始网络710和新的网络720的比较。如图7E中所示，新的网络720类似于原始网络710。
图8解说了根据本公开的一方面的用于转移学习的方法800。在框802，接收第二数据。在一种配置中，第二数据是未标记的。另外，在框804，第一网络针对第二数据生成第二标记。在一种配置中，第一网络先前已在第一数据的第一标记上被训练。此外，第二标记可被生成以用于训练第二网络。应注意，第一网络和第二网络可被定义在相同设备上或者可被定义在不同设备上。第二数据可基本上类似于第一数据。在另一示例中，第二数据与第一数据相同，但是第一标记可能可用或可能不可用。
图9解说了根据本公开的一方面的用于转移学习的方法900。在框902，第二网络接收由第一网络使用第二数据生成的第二标记。在一种配置中，第二数据在由第一网络进行标记之前是未标记的。此外，在一种配置中，第一网络先前在第一标记和第一数据上被训练。另外，在框904，在第二标记和第二数据上训练第二网络。应注意，第一网络和第二网络可被定义在相同设备上或者可被定义在不同设备上。第二数据可基本上类似于第一数据。在另一示例中，第二数据与第一数据相同，但是第一标记可能可用或可能不可用。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可被用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称为软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure BDA0001551555400000191
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (28)

1.一种用于转移学习的方法，包括：
在第一经训练神经网络处接收第二未标记数据；以及
经由所述第一经训练神经网络通过标记所述第二未标记数据来产生第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据之后使用所述第二经标记数据来训练第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
2.如权利要求1所述的方法，其中，所述第二经训练神经网络的大小不同于所述第一经训练神经网络的大小。
3.如权利要求1所述的方法，其进一步包括:
至少部分地基于所述第三经标记数据来修改所述第二经训练神经网络中类的至少一个现有边界。
4.如权利要求1所述的方法，其进一步包括：
至少部分地基于所述第三经标记数据，在所述第二经训练神经网络中添加至少一个新的类。
5.如权利要求1所述的方法，其中，所述第一经标记数据是通过将第一未标记数据与第一标记关联产生的，所述第一未标记数据或所述第一标记中的至少一者在训练所述第一经训练神经网络后不可用。
6.如权利要求1所述的方法，其进一步包括：
对所述第二经标记数据进行群集；
将经群集的第二经标记数据与所述第三经标记数据进行比较；以及
至少部分地基于与所述第三经标记数据的类似度或与所述第三经标记数据的差异来选择针对所述经更新训练数据的所述第二经标记数据。
7.一种用于转移学习的方法，包括：
在第二神经网络处接收由第一经训练神经网络基于第二未标记数据的分类标记的第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据之后在所述第二经标记数据上训练所述第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
8.如权利要求7所述的方法，其进一步包括：
对所述第二经标记数据进行群集；
将经群集的第二经标记数据与所述第三经标记数据进行比较；以及
至少部分地基于与所述第三经标记数据的类似度或与所述第三经标记数据的差异来针对所述经更新训练数据选择第二经标记数据。
9.如权利要求7所述的方法，其中，所述第二经训练神经网络的大小不同于所述第一经训练神经网络的大小。
10.如权利要求7所述的方法，其进一步包括：
至少部分地基于所述第三经标记数据来修改所述第二经训练神经网络中类的至少一个现有边界。
11.如权利要求7所述的方法，其进一步包括：
至少部分地基于所述第三经标记数据，在所述第二经训练神经网络中添加至少一个新的类。
12.如权利要求7所述的方法，其中，所述第一经标记数据是通过将第一未标记数据与第一标记关联产生的，所述第一未标记数据或所述第一标记中的至少一者在训练所述第一经训练神经网络后不可用。
13.一种用于转移学习的设备，包括：
存储器单元；以及
耦合至所述存储器单元的至少一个处理器，所述至少一个处理器配置成：
在第一经训练神经网络处接收第二未标记数据；以及
经由所述第一经训练神经网络通过标记所述第二未标记数据来产生第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据之后使用所述第二经标记数据来训练第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
14.如权利要求13所述的设备，其中，所述第二经训练神经网络的大小不同于所述第一经训练神经网络的大小。
15.如权利要求13所述的设备，其中，所述至少一个处理器进一步配置成：
至少部分地基于所述第三经标记数据来修改所述第二经训练神经网络中类的至少一个现有边界。
16.如权利要求13所述的设备，其中，所述至少一个处理器进一步配置成：
至少部分地基于所述第三经标记数据，在所述第二经训练神经网络中添加至少一个新的类。
17.如权利要求13所述的设备，其中，所述第一经标记数据是通过将第一未标记数据与第一标记关联产生的，所述第一未标记数据或所述第一标记中的至少一者在训练所述第一经训练神经网络后不可用。
18.如权利要求13所述的设备，其中，所述至少一个处理器进一步配置成：
对所述第二经标记数据进行群集；
将经群集的第二经标记数据与第三经标记数据进行比较；以及
至少部分地基于与所述第三经标记数据的类似度或与所述第三经标记数据的差异来选择针对所述经更新训练数据的第二经标记数据。
19.一种用于转移学习的装置，包括：
存储器单元；以及
耦合至所述存储器单元的至少一个处理器，所述至少一个处理器配置成：
在第二神经网络处接收由第一经训练神经网络基于第二未标记数据的分类标记的第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据后在所述第二经标记数据上训练所述第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
20.如权利要求19所述的装置，其中，所述至少一个处理器进一步配置成：
对所述第二经标记数据进行群集；
将经群集的第二经标记数据与第三经标记数据进行比较；以及
至少部分地基于与所述第三经标记数据的类似度或与所述第三经标记数据的差异来选择针对所述经更新训练数据的第二经标记数据。
21.如权利要求19所述的装置，其中，所述第二经训练神经网络的大小不同于所述第一经训练神经网络的大小。
22.如权利要求19所述的装置，其中，所述至少一个处理器进一步配置成：
至少部分地基于所述第三经标记数据来修改所述第二经训练神经网络中类的至少一个现有边界。
23.如权利要求19所述的装置，其中，所述至少一个处理器进一步配置成：
至少部分地基于所述第三经标记数据，在所述第二经训练神经网络中添加至少一个新的类。
24.如权利要求19所述的装置，所述第一经标记数据是通过将第一未标记数据与第一标记关联产生的，所述第一未标记数据或所述第一标记中的至少一者在训练所述第一经训练神经网络后不可用。
25.一种用于转移学习的设备，包括：
用于在第一经训练神经网络处接收第二未标记数据的装置；以及
用于经由所述第一经训练神经网络通过标记所述第二未标记数据来产生第二经标记数据的装置，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
用于在所述第一经训练神经网络标记所述第二未标记数据后使用所述第二经标记数据来训练第二神经网络的装置，所述第二神经网络不同于所述第一经训练神经网络；
用于在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络的装置，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
用于经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类的装置。
26.一种用于转移学习的设备，包括：
用于在第二神经网络处接收由第一经训练神经网络基于第二未标记数据的分类标记的第二经标记数据的装置，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
用于在所述第一经训练神经网络标记所述第二未标记数据之后在所述第二经标记数据上训练所述第二神经网络的装置，所述第二神经网络不同于所述第一经训练神经网络；
用于在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络的装置，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
用于经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类的装置。
27.一种其上记录有指令的非瞬态计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器：
在第一经训练神经网络处接收第二未标记数据；以及
经由所述第一经训练神经网络通过标记所述第二未标记数据来产生第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据之后使用所述第二经标记数据来训练第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
28.一种其上记录有指令的非瞬态计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器：
在第二神经网络处接收由第一经训练神经网络基于第二未标记数据的分类标记的第二经标记数据，所述第一经训练神经网络在接收所述第二未标记数据之前已在第一经标记数据上被训练，所述第一经标记数据不同于所述第二经标记数据；
在所述第一经训练神经网络标记所述第二未标记数据之后在所述第二经标记数据上训练所述第二神经网络，所述第二神经网络不同于所述第一经训练神经网络；
在所述第一经训练神经网络和第二经训练神经网络经过训练后使用经更新训练数据再训练所述第二经训练神经网络，所述经更新训练数据包括所述第二经标记数据、第三经标记数据的组合，所述第二未标记数据不同于用于产生所述第三经标记数据的第三未标记数据；以及
经由所述第二经训练神经网络对在所述第二经训练神经网络处接收的输入进行分类。
CN201680042307.5A 2015-07-22 2016-06-27 神经网络中的转移学习 Active CN107851213B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562195763P 2015-07-22 2015-07-22
US62/195,763 2015-07-22
US14/851,911 2015-09-11
US14/851,911 US10878320B2 (en) 2015-07-22 2015-09-11 Transfer learning in neural networks
PCT/US2016/039661 WO2017052709A2 (en) 2015-07-22 2016-06-27 Transfer learning in neural networks

Publications (2)

Publication Number Publication Date
CN107851213A CN107851213A (zh) 2018-03-27
CN107851213B true CN107851213B (zh) 2021-08-10

Family

ID=57837368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680042307.5A Active CN107851213B (zh) 2015-07-22 2016-06-27 神经网络中的转移学习

Country Status (7)

Country Link
US (1) US10878320B2 (zh)
EP (2) EP3869415A1 (zh)
JP (1) JP6869948B2 (zh)
KR (1) KR20180034395A (zh)
CN (1) CN107851213B (zh)
BR (1) BR112018001230A2 (zh)
WO (1) WO2017052709A2 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113368656B (zh) 2014-11-20 2024-03-19 代表亚利桑那大学的亚利桑那校董事会 用于从空气生成液态水的系统和方法
US11537262B1 (en) 2015-07-21 2022-12-27 Monotype Imaging Inc. Using attributes for font recommendations
US20170178346A1 (en) * 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
TWI718284B (zh) 2016-04-07 2021-02-11 美商零質量純水股份有限公司 太陽能加熱單元
US10357739B2 (en) 2016-05-20 2019-07-23 Zero Mass Water Inc. Systems and methods for water extraction control
US11188823B2 (en) 2016-05-31 2021-11-30 Microsoft Technology Licensing, Llc Training a neural network using another neural network
US10380480B2 (en) * 2016-05-31 2019-08-13 Microsoft Technology Licensing, Llc Changeover from one neural network to another neural network
CN107688853B (zh) * 2016-08-05 2020-01-10 中科寒武纪科技股份有限公司 一种用于执行神经网络运算的装置及方法
US20180060728A1 (en) * 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc Deep Embedding Forest: Forest-based Serving with Deep Embedding Features
US11315018B2 (en) * 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference
WO2018150089A1 (en) * 2017-02-17 2018-08-23 Curious Ai Oy Solution for training a neural network system
WO2018159666A1 (en) * 2017-03-01 2018-09-07 Omron Corporation Learning apparatus, learning result using apparatus, learning method and learning program
CN108229326A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
US10497084B2 (en) 2017-04-24 2019-12-03 Intel Corporation Efficient sharing and compression expansion of data across processing systems
EP3596655B1 (en) * 2017-06-05 2023-08-09 Siemens Aktiengesellschaft Method and apparatus for analysing an image
CN107358293B (zh) * 2017-06-15 2021-04-02 北京图森智途科技有限公司 一种神经网络训练方法及装置
MX2020000464A (es) 2017-07-14 2021-01-08 Zero Mass Water Inc Sistemas para el tratamiento controlado del agua con ozono y metodos relacionados.
US10489693B2 (en) * 2017-08-03 2019-11-26 Motorola Solutions, Inc. Method and apparatus for distributed edge learning
AU2018329665B2 (en) 2017-09-05 2023-11-16 Source Global, PBC Systems and methods for managing production and distribution of liquid water extracted from air
MX2020002481A (es) 2017-09-05 2021-02-15 Zero Mass Water Inc Sistemas y metodos para producir agua liquida extraida del aire.
US11334750B2 (en) 2017-09-07 2022-05-17 Monotype Imaging Inc. Using attributes for predicting imagery performance
US10909429B2 (en) 2017-09-27 2021-02-02 Monotype Imaging Inc. Using attributes for identifying imagery for selection
MX2020004213A (es) 2017-10-06 2021-01-15 Zero Mass Water Inc Sistemas para generar agua con calor residual y metodos relacionados para lo mismo.
CN107704877B (zh) * 2017-10-09 2020-05-29 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
US20190122104A1 (en) 2017-10-19 2019-04-25 General Electric Company Building a binary neural network architecture
US10460440B2 (en) 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
US11657602B2 (en) 2017-10-30 2023-05-23 Monotype Imaging Inc. Font identification from imagery
CN111492382B (zh) 2017-11-20 2024-05-07 皇家飞利浦有限公司 训练第一神经网络模型和第二神经网络模型
US11281997B2 (en) 2017-12-06 2022-03-22 Source Global, PBC Systems for constructing hierarchical training data sets for use with machine-learning and related methods therefor
CN111492366A (zh) * 2017-12-21 2020-08-04 华为技术有限公司 一种信息检测方法及移动设备
MX2020008596A (es) 2018-02-18 2020-12-11 Zero Mass Water Inc Sistemas para generar agua para una granja de contenedor y métodos relacionados con los mismos.
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
AU2019265024A1 (en) 2018-05-11 2020-12-03 Source Global, PBC Systems for generating water using exogenously generated heat, exogenously generated electricity, and exhaust process fluids and related methods therefor
US11182721B2 (en) * 2018-05-22 2021-11-23 International Business Machines Corporation Healthcare risk analytics
US10678830B2 (en) 2018-05-31 2020-06-09 Fmr Llc Automated computer text classification and routing using artificial intelligence transfer learning
KR102096388B1 (ko) * 2018-06-05 2020-04-06 네이버 주식회사 모바일 환경에서 실시간 추론이 가능한 ｄｎｎ 구성을 위한 최적화 기법
US10657377B2 (en) 2018-06-12 2020-05-19 At&T Intellectual Property I, L.P. Model-driven learning for video analytics
CA3104779A1 (en) * 2018-06-28 2020-01-02 Fujifilm Corporation Medical image processing apparatus, medical image processing method, machine learning system, and program
US11501156B2 (en) * 2018-06-28 2022-11-15 International Business Machines Corporation Detecting adversarial attacks through decoy training
US10720151B2 (en) 2018-07-27 2020-07-21 Deepgram, Inc. End-to-end neural networks for speech recognition and classification
CN109189921B (zh) * 2018-08-07 2021-09-07 创新先进技术有限公司 评论评估模型的训练方法和装置
JP7161948B2 (ja) * 2018-09-07 2022-10-27 株式会社フジクラ 機械学習装置、機械学習方法、機械学習プログラム、及び検査装置
US11429856B2 (en) 2018-09-12 2022-08-30 International Business Machines Corporation Neural networks adaptive boosting using semi-supervised learning
EP3857956A4 (en) * 2018-09-27 2022-06-22 INTEL Corporation FEATURE DETECTION IN COLLABORATIVE RADIO NETWORKS
US11710029B2 (en) * 2018-09-28 2023-07-25 Intel Corporation Methods and apparatus to improve data training of a machine learning model using a field programmable gate array
AU2019359894A1 (en) 2018-10-19 2021-06-10 Source Global, PBC Systems and methods for generating liquid water using highly efficient techniques that optimize production
US20200124566A1 (en) 2018-10-22 2020-04-23 Zero Mass Water, Inc. Systems and methods for detecting and measuring oxidizing compounds in test fluids
DE102018218097A1 (de) * 2018-10-23 2020-04-23 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, Zentraleinrichtung und System zum Erkennen einer Verteilungsverschiebung in einer Daten- und/oder Merkmalsverteilung von Eingangsdaten
DE102018218098A1 (de) * 2018-10-23 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Abstrahieren eines Datensatzes
US10810513B2 (en) * 2018-10-25 2020-10-20 The Boeing Company Iterative clustering for machine learning model building
US11494612B2 (en) * 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
US11640519B2 (en) 2018-10-31 2023-05-02 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using cross-domain batch normalization
US11151425B2 (en) 2018-11-13 2021-10-19 Nielsen Consumer Llc Methods and apparatus to perform image analyses in a computing environment
WO2020152487A1 (en) 2018-11-13 2020-07-30 The Nielsen Compy (Us), Llc Methods and apparatus to perform image analyses in a computing environment
KR102184278B1 (ko) * 2018-11-21 2020-11-30 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템
CN109766954B (zh) * 2019-01-31 2020-12-04 北京市商汤科技开发有限公司 一种目标对象处理方法、装置、电子设备及存储介质
CN109946968B (zh) * 2019-03-27 2022-03-25 北京快电科技有限公司 一种楼宇内分布式能源匹配系统和方法
US11257483B2 (en) * 2019-03-29 2022-02-22 Intel Corporation On-device neural network adaptation with binary mask learning for language understanding systems
MX2021012655A (es) 2019-04-22 2021-11-12 Source Global Pbc Sistema de secado de aire por adsorcion de vapor de agua y metodo para generar agua liquida del aire.
KR20200129457A (ko) 2019-05-08 2020-11-18 삼성전자주식회사 학습을 수행하는 뉴럴 네트워크 시스템, 그것의 학습 방법 및 뉴럴 네트워크 프로세서의 전이 학습 방법
KR20200129639A (ko) 2019-05-09 2020-11-18 삼성전자주식회사 모델 학습 방법 및 장치
US11429564B2 (en) 2019-06-18 2022-08-30 Bank Of America Corporation File transferring using artificial intelligence
WO2020260925A1 (en) * 2019-06-24 2020-12-30 Mcguinness Fergal System for evaluating and replicating acturial calculation patterns using neural imaging and method thereof
US11829871B2 (en) * 2019-08-20 2023-11-28 Lg Electronics Inc. Validating performance of a neural network trained using labeled training data
US11475297B2 (en) 2019-08-28 2022-10-18 International Business Machines Corporation Cross-domain homophily quantification for transfer learning
US11741370B2 (en) * 2019-08-28 2023-08-29 International Business Machines Corporation Transfer learning based on cross-domain homophily influences
WO2021040419A1 (en) * 2019-08-30 2021-03-04 Samsung Electronics Co., Ltd. Electronic apparatus for applying personalized artificial intelligence model to another model
CN110610242B (zh) * 2019-09-02 2023-11-14 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置
CN110598603A (zh) * 2019-09-02 2019-12-20 深圳力维智联技术有限公司 人脸识别模型获取方法、装置、设备和介质
US20210089921A1 (en) * 2019-09-25 2021-03-25 Nvidia Corporation Transfer learning for neural networks
CN110851783B (zh) * 2019-11-12 2021-10-08 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法
US11922303B2 (en) * 2019-11-18 2024-03-05 Salesforce, Inc. Systems and methods for distilled BERT-based training model for text classification
CN112825143A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 深度卷积神经网络压缩方法、装置、存储介质及设备
JP7298825B2 (ja) * 2019-12-24 2023-06-27 株式会社 東京ウエルズ 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
US11580405B2 (en) * 2019-12-26 2023-02-14 Sap Se Domain adaptation of deep neural networks
CN111442926B (zh) * 2020-01-11 2021-09-21 哈尔滨理工大学 一种基于深层特征迁移的变负载下不同型号滚动轴承故障诊断方法
GB2603051B (en) 2020-01-30 2023-04-26 Prognomiq Inc Lung biomarkers and methods of use thereof
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
US11514318B2 (en) * 2020-04-08 2022-11-29 International Business Machines Corporation Multi-source transfer learning from pre-trained networks
KR102421349B1 (ko) * 2020-05-07 2022-07-14 에스케이텔레콤 주식회사 샘플 기반 정규화 기법을 이용한 전이 학습장치 및 방법
US20230209368A1 (en) * 2020-05-21 2023-06-29 Lg Electronics Inc. Wireless communication method using on-device learning-based machine learning network
CN111832277B (zh) * 2020-06-04 2024-03-26 北京百度网讯科技有限公司 阅读理解模型的训练方法及阅读理解处理方法
KR102208685B1 (ko) * 2020-07-23 2021-01-28 주식회사 어반베이스 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
US11824977B2 (en) * 2020-07-28 2023-11-21 Arm Limited Data processing system and method
JP7397377B2 (ja) 2020-08-17 2023-12-13 日本電信電話株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
US20220051132A1 (en) * 2020-08-17 2022-02-17 Microsoft Technology Licensing, Llc Identifying noise in verbal feedback using artificial text from non-textual parameters and transfer learning
CN112001321A (zh) * 2020-08-25 2020-11-27 商汤国际私人有限公司 网络训练、行人重识别方法及装置、电子设备和存储介质
US11814820B2 (en) 2021-01-19 2023-11-14 Source Global, PBC Systems and methods for generating water from air
CN112905213B (zh) * 2021-03-26 2023-08-08 中国重汽集团济南动力有限公司 一种基于卷积神经网络实现ecu刷写参数优化的方法及系统
CN113204750B (zh) * 2021-05-28 2023-11-17 南京大学 基于用户意图的安卓资源权限动态管理系统及其实现方法
EP4348528A1 (en) * 2021-05-28 2024-04-10 Visa International Service Association Metamodel and feature generation for rapid and accurate anomaly detection
WO2023039479A1 (en) * 2021-09-10 2023-03-16 PrognomIQ, Inc. Direct classification of raw biomolecule measurement data
CN114118236A (zh) * 2021-11-10 2022-03-01 杭州海康威视数字技术股份有限公司 训练智能模型的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1647079A (zh) * 2002-04-19 2005-07-27 计算机联合思想公司 使用神经网络进行数据挖掘
CN103843404A (zh) * 2011-09-29 2014-06-04 高通股份有限公司 减少在无线电网络和核心网由于不同的底层技术而失去同步时的由网络发起的qos中断时间

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224203A (en) * 1990-08-03 1993-06-29 E. I. Du Pont De Nemours & Co., Inc. On-line process control neural network using data pointers
US7835910B1 (en) 2003-05-29 2010-11-16 At&T Intellectual Property Ii, L.P. Exploiting unlabeled utterances for spoken language understanding
US7603330B2 (en) 2006-02-01 2009-10-13 Honda Motor Co., Ltd. Meta learning for question classification
US9165051B2 (en) * 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US8577820B2 (en) 2011-03-04 2013-11-05 Tokyo Electron Limited Accurate and fast neural network training for library-based critical dimension (CD) metrology
US9317779B2 (en) 2012-04-06 2016-04-19 Brigham Young University Training an image processing neural network without human selection of features
US9165258B2 (en) 2012-12-10 2015-10-20 Hewlett-Packard Development Company, L.P. Generating training documents
US9460711B1 (en) * 2013-04-15 2016-10-04 Google Inc. Multilingual, acoustic deep neural networks
US9715660B2 (en) * 2013-11-04 2017-07-25 Google Inc. Transfer learning for deep neural network based hotword detection
US20160132786A1 (en) * 2014-11-12 2016-05-12 Alexandru Balan Partitioning data for training machine-learning classifiers
KR20160091786A (ko) * 2015-01-26 2016-08-03 삼성전자주식회사 사용자 관리 방법 및 사용자 관리 장치
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
KR102492318B1 (ko) 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1647079A (zh) * 2002-04-19 2005-07-27 计算机联合思想公司 使用神经网络进行数据挖掘
CN103843404A (zh) * 2011-09-29 2014-06-04 高通股份有限公司 减少在无线电网络和核心网由于不同的底层技术而失去同步时的由网络发起的qos中断时间

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Do Deep Nets Really Need to be Deep?;Lei Jimmy Ba et al.;《arXiv》;20131221;第1-2、4节 *
Model compression;Cristian Bucil˘a et al;《Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining》;20060823;第1-2节 *
Recurrent Convolutional Neural Networks for Scene Labeling;Pedro O. Pinheiro et al.;《Proceedings of the 31 st International Conference on Machine》;20141231;全文 *

Also Published As

Publication number Publication date
US10878320B2 (en) 2020-12-29
WO2017052709A3 (en) 2017-05-04
US20170024641A1 (en) 2017-01-26
EP3326116A2 (en) 2018-05-30
EP3869415A1 (en) 2021-08-25
BR112018001230A2 (pt) 2018-09-11
CN107851213A (zh) 2018-03-27
JP6869948B2 (ja) 2021-05-12
WO2017052709A2 (en) 2017-03-30
KR20180034395A (ko) 2018-04-04
JP2018525734A (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
CN107851213B (zh) 神经网络中的转移学习
CN108431826B (zh) 自动检测视频图像中的对象
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
US10691952B2 (en) Adapting to appearance variations when tracking a target object in video sequence
CN108027899B (zh) 用于提高经训练的机器学习模型的性能的方法
KR102595399B1 (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
CN107430705B (zh) 用于重新训练分类器的样本选择
US11423323B2 (en) Generating a sparse feature vector for classification
CN107209873B (zh) 用于深度卷积网络的超参数选择
US20160283864A1 (en) Sequential image sampling and storage of fine-tuned features
US20170032247A1 (en) Media classification
CN111052151A (zh) 基于关注提议进行视频动作定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant