CN107430705B - 用于重新训练分类器的样本选择 - Google Patents

用于重新训练分类器的样本选择 Download PDF

Info

Publication number
CN107430705B
CN107430705B CN201680015864.8A CN201680015864A CN107430705B CN 107430705 B CN107430705 B CN 107430705B CN 201680015864 A CN201680015864 A CN 201680015864A CN 107430705 B CN107430705 B CN 107430705B
Authority
CN
China
Prior art keywords
similarity metric
training sample
existing
new
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680015864.8A
Other languages
English (en)
Other versions
CN107430705A (zh
Inventor
R·B·托瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107430705A publication Critical patent/CN107430705A/zh
Application granted granted Critical
Publication of CN107430705B publication Critical patent/CN107430705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种管理所存储的用于分类的训练集的存储器使用的方法包括计算第一相似性度量和第二相似性度量中的一者或二者。该第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。该第二相似性度量与该新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。该方法还包括基于该第一相似性度量和/或该第二相似性度量选择性地将该新的训练样本存储在存储器中。

Description

用于重新训练分类器的样本选择
相关申请的交叉引用
本申请要求于2015年3月17日提交的美国临时专利申请No.62/134,493以及于2015年5月20日提交的题为“FEATURE SELECTION FOR RETRAINING CLASSIFIERS(用于重新训练分类器的特征选择)”的美国临时专利申请No.62/164,484的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及用于重新训练分类器的特征选择的系统和方法。
背景技术
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如，深度置信度网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，以此类推。深度神经网络可被训练以识别特征阶层并因此它们被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可被分布在处理节点群体上，该处理节点群体可被配置成一条或多条计算链。这些多层式架构可每次被训练一层并可使用反向传播来微调。
其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习定义。合宜的超平面增加训练数据的裕量。换言之，该超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类标杆上取得了优异的结果，但它们的计算复杂度可能高到令人却步。另外，这些模型的训练可能是有挑战性的。
概述
根据本公开的一方面，描述了一种管理所存储的用于分类的训练集的存储器使用的方法。该方法包括计算第一相似性度量或第二相似性度量中的至少一者。该第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。该第二相似性度量与该新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。该方法还包括基于该第一相似性度量和/或该第二相似性度量选择性地将该新的训练样本存储在存储器中。该新的训练样本的选择性存储降低了对于经更新的所存储训练集的存储器要求。
根据本公开的另一方面，一种装备管理所存储的用于分类的训练集的存储器使用。该装备具有用于计算第一相似性度量或第二相似性度量中的至少一者的装置。该第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。该第二相似性度量与该新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。该装备还包括用于基于该第一相似性度量、该第二相似性度量或其组合选择性地将该新的训练样本存储在存储器中的装置。该新的训练样本的选择性存储降低了对于经更新的所存储训练集的存储器要求。
另一方面公开了一种用于管理所存储的用于分类的训练集的存储器使用的装置，并且该装置包括存储器和耦合到该存储器的至少一个处理器。(诸)处理器配置成计算第一相似性度量或第二相似性度量中的至少一者。该第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。该第二相似性度量与新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。(诸)处理器进一步配置成基于该第一相似性度量、该第二相似性度量或其组合选择性地将该新的训练样本存储在存储器中。该新的训练样本的选择性存储降低了对于经更新的所存储训练集的存储器要求。
还有另一方面公开了一种用于管理所存储的用于分类的训练集的存储器使用的计算机可读介质。该计算机可读介质包括用以计算第一相似性度量或第二相似性度量中的至少一者的程序代码。该第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。该第二相似性度量与新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。该程序代码进一步包括用以基于该第一相似性度量、该第二相似性度量或其组合选择性地将该新的训练样本存储在存储器中的程序代码。该新的训练样本的选择性存储降低了对于经更新的所存储训练集的存储器要求。
本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1A解说了根据本公开某些方面的示例性分类器。
图1B解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3A是解说根据本公开的各方面的神经网络的示图。
图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。
图5是解说根据本公开的各方面的智能手机上AI应用的运行时操作的框图。
图6A-C是根据本公开的各方面的示例性训练集。
图7和8是解说根据本公开各方面的用于管理所存储的用于分类的训练集的存储器使用的方法的流程图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
用于重新训练分类器的特征选择
本公开涉及可供在重新训练分类器时使用的特征和数据样本的选择。分类器是接收输入(例如，观察)并标识该输入所属的一个或多个类别(或特征)的设备或系统。在一些方面，该标识可基于训练数据集，其包括分类已知的观察。
分类器可采用各种形式，包括支持向量网络和神经网络。例如，在一些方面，分类器可采用深度神经网络的形式，诸如深度置信网络(DBN)和深度卷积网络。
图1A是解说了根据本公开的各方面的分类器100的示例性架构的高级框图。该分类器100可使用分类已知的训练示例集进行训练。
该示例性分类器100可接收输入数据102.输入数据102可包括观察，诸如图像，声音或其他感官输入数据。可经由视听设备(诸如，相机，录音机，话筒，智能电话、或类似设备等)来提供输入数据。
可向习得特征映射104提供该输入数据。该习得特征映射104可包括已知数据分类的特征或其他特性。例如，在光学字符识别应用中，特征映射可包括与字母表中的字母相关联的形状阵列。这些习得特征映射可被用于从输入数据(例如，图像)中提取一个或多个特征。随后可将从输入数据102提取的特征提供给推断引擎106，该推断引擎106可基于所提取的特征来确定对该输入数据102的一个或多个分类。该推断引擎106可输出所确定的分类作为推断结果108。
在一个示例中，该分类器100可被配置为对图像数据102进行分类。该分类器100可使用已知动物的图像集来进行训练。相应地，可将新的图像(输入数据)提供给习得特征映射，其可包括来自于已知动物的训练数据集的图像特性。例如，特征映射104可包括长牙、爪子、尾巴、面部特征或其他定义特性。可将输入图像数据102与特征映射104进行比较，以标识输入图像数据102中的特征集。随后可将该特征集提供给推断引擎106以确定对该图像的分类。例如，其中输入图像102包括一种脸周围有鬃毛并且有穗状尾巴的四条腿的动物，该图像可以被分类为狮子。
分类器100可以被配置为根据设计偏好鉴于计算、功率和/或其他考量来做出精确性较高或较低的分类(例如，简单地确定该动物是猫科动物，或更具体地确定该狮子是亚洲狮或马赛狮)。
分类器使用训练数据来学习数据的模型。每个分类的一定量的数据被保留以确保未来对于该分类器的改变不会破坏习得的分类表示。然而，存储给定分类的所有数据样本在存储器高度受约束的情境(如在移动设备上)中是不可缩放的。替代地，基于在分类内和分类间样本彼此有多相似来选择用于重新训练的数据样本通常是可能的。
根据本公开的各方面，基于相似性度量，数据样本可以被添加到训练集。各数据样本可以被存储或可经由来自外部源(例如，移动设备、数字相机、视频记录设备、流媒体输入或其他数据源)的数据流被顺序提供。在一些方面，例如，出于数据存储的考虑，未被加入的数据样本可以被丢弃。例如，在数据样本是从大量移动设备提供的图像的场合，可能难以存储所提供的每幅图像。在此类情形中，若所有接收到的图像数据样本在决定是否要将它们添加到训练集之前均被存储，则数据存储容量可能被快速耗尽。
相似性度量可以例如包括相对于在现有训练集的相同分类或不同分类内的其他样本的距离度量。在一些方面，训练集内的现有数据样本还可以基于相似性度量而被移除。
在一些方面，可以应用针对每个对象存储的特征向量的数目上的限制(例如，10)。在该情形中，可以添加新的特征向量直到达到该限制或最大数目。当已经达到该最大值之后用户尝试增加新的特征向量时，可以做出该新的特征向量是否应当被添加的确定。例如，该确定可以基于新的特征向量与现有特征向量相比而言的相似性来做出。
若确定应当添加该新的特征向量，则可以执行容量检查以确定是否有足够的空间可用来存储该新的特征向量。若没有足够空间或者若已经达到的特征向量限制，则可以做出确定来标识哪个现有特征向量应当被移除并被该新的特征向量所取代。否则，该新的特征向量将不被添加。
是否要向训练数据集添加新的样本或特征向量的确定可以基于相似性度量。在一些方面，相似性度量可以包括相对于分类内的现有或当前样本或特征向量的冗余性衡量。若相似性度量指示该新的样本对于该分类内的当前样本而言是冗余的，则该新的样本可以被拒绝。
在另一方面，相似性度量可以包括新的样本与相同分类中的当前样本之间和/或该新的样本与所有其他分类中的样本之间的邻近度衡量。若样本在分类边界上(例如，远离当前分类样本，或非常接近来自另一分类的样本)，则该样本可以被添加和存储。
冗余性准则
为了确定新的样本是否比分类内的任何现有样本对更冗余，可以计算感兴趣分类的邻接矩阵。邻接矩阵可以表示分类中的每对点之间的距离。该距离可以例如包括欧几里得(Euclidean)距离、L2-范数(最小二乘(least squares))马哈拉诺比斯(Mahalanobis)距离、L1-范数(最小绝对离差(least absolute deviation))、余弦距离、或其他距离度量。可以确定该分类内的点(样本)对之间的最小距离。可以将该最小距离值(例如，预先存在的最小距离)与表示该新的样本与诸现有样本之间的距离的矩阵行中的最小距离相比较。若该新的样本的最接近距离小于预先存在的最小距离，则该新样本可以被确定为是冗余的并可以被拒绝。在另一方面，若该新的样本的最接近距离大于预先存在的最小距离，则该新的样本可以被存储。
为了减少处理时间，在一些方面，该分类中的任何两点之间的最小距离可以被存储以供后续比较。该最小距离可以在每次该分类中的样本改变了的时候被更新。使用所存储的最小距离，在考虑新的样本时，可以仅计算从该新的样本到每个现有样本的距离，藉此降低计算复杂度。进一步，当新的样本被添加时，在确认被代替的当前样本不是该新的样本所最接近的当前样本之际，所存储的最小距离可以简单地被更新到已经为该新的样本计算好的最小距离。
分类边界
在一些方面，样本可以基于样本到真分类边界的邻近度来被添加和/或移除。包括靠近真分类边界的样本可以是有益的，因为其可以使得能够对新对象进行更精细的分类。
渐离准则
确定样本是否接近分类的真边界的一种方式是确定新的样本是否位于比任何单个现有样本更进一步远离现有样本之处。这可以通过计算分类内的每对点之间的距离的邻接矩阵并随后对从单个点到所有其他邻居的所有距离求和来确定。具有较大总和距离的点将更有可能位于真分类边界上。可以将新的样本的总和距离与现有样本的总和距离作比较。若新的样本具有比任何现有样本的总和距离大的总和距离，则该新的样本可以被添加。在另一方面，若该新的样本具有比任何现有样本的总和距离小的总和距离，则该新的样本可以被拒绝。
直观上，这可以通过想象数据点的圆形群集来视觉化。接近群集中心的点所可以具有的到所有其他点的距离比由该群集形成的圆的半径要小。将这些距离加起来可以得到不大于nclass*半径的数字，其中nclass是该分类中点的数目。然而，相反，接近该圆的外侧的点所可以具有的到邻居的距离则分布在零(0)与该圆的直径之间。位于距离外部点达该圆的半径长度内的点可以具有小于半径长度的距离，但是在该圆的半径长度外的点可以具有更大的距离。放置成正好相距一个半径的具有相同半径的两个毗邻圆之间的交叠量大约为1/3。由此，对于在圆的外侧上的点，距离中有大约1/3将会小于半径长度，而2/3将会大于半径长度，这意味着它们的总和可能大于中心点的总和距离。
在一些方面，所有现有点的最大总和距离可以被存储并被用来确定是否要添加和/或移除样本。如此，当出现新的样本时，仅计算该新点的总和距离并将其与所存储的总和距离进行比较。若该样本被添加，则所存储的总和距离可以被更新。
相邻分类
除了从分类的视角保留落在分类的边沿上的样本之外，选择还可以被偏置以保留或添加将帮助建立分类间的信息性边界的样本。为此，可以优选地添加(或保留)最接近相邻分类的样本的新样本。在该情形中，为了确定是否要添加新样本，可以计算感兴趣分类的样本和所有其他分类的样本之间的邻接矩阵。可以将新样本到另一分类的点的邻近度与该新样本到任何预先存在的点的邻近度进行比较。
再次，通过为每个分类存储从任何预先存在的分类点到任何其他分类点的最小距离，计算复杂度可以从二次方降低到线性时间。相应地，可以出于比较的目的而仅计算从该新的点到所有其他分类的点的距离。
寻找样本来代替
若在已经达到存储限制时要增加新的点，则样本可以被移除以为该新的样本腾出空间。一般，移除分类表示的内侧上的样本可以是有益的，因为那些点不太可能提供有关分类边界的信息。例如，遵循与上文关于渐离准则的相同的逻辑，具有到其在分类内的所有邻居的最小总和距离的那个点可以被移除。
以下提供了示例性伪代码来进一步解说根据本公开各方面的用于重新训练分类器的特征选择方法。
Figure BDA0001408139870000091
Figure BDA0001408139870000101
图1B解说了根据本公开的某些方面的使用片上系统(SOC)150的存储在存储器中的用于分类的训练集的前述更新的示例实现，该SOC 150可以包括通用处理器(CPU)或多核通用处理器(CPU)152。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)158相关联的存储器块、与CPU 152相关联的存储器块、与图形处理单元(GPU)154相关联的存储器块、与数字信号处理器(DSP)156相关联的存储器块、专用存储器块168中，或者可跨多个块分布。在通用处理器152处执行的指令可从与CPU 152相关联的程序存储器加载或可从专用存储器块168加载。
SOC 150还可包括为具体功能定制的附加处理块(诸如GPU 154、DSP 156、连通性块160(其可包括第四代长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器162。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 150还可包括传感器处理器164、图像信号处理器(ISP)、和/或导航170(其可包括全球定位系统)。
SOC可基于ARM指令集。在本公开的一方面，加载到通用处理器152中的指令可以包括用于计算第一相似性度量和第二相似性度量中的一者或二者的代码。第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。第二相似性度量与该新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。加载到通用处理器152中的指令还可以包括用于基于第一相似性度量和/或第二相似性度量选择性地将该新的训练样本存储在存储器中的代码。通过选择性地存储新的训练样本，可以降低对于经更新的所存储训练集的存储器要求。
图2解说了根据本公开的某些方面的神经网络200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构是一种神经网络架构的分类，其可以通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。例如，图1A中所示的特征映射104可以是由人类工程师设计的或者可以是由神经网络使用深度学习来习得的。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3A，神经网络的各层之间的连接可以是全连接的(302)或局部连接的(304)。在全连接网络302中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。替换地，在局部连接网络304中，第一层中的神经元可连接至第二层中有限数目的神经元。卷积网络306可以是局部连接的，并且被进一步配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，308)。更一般化地，网络的局部连接层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连接的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连接的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
DCN可以用受监督式学习来训练。在训练期间，DCN可被呈递图像(诸如限速标志的经裁剪图像326)，并且可随后计算“前向传递(forward pass)”以产生输出322。输出322可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分，例如经训练的网络300的输出322中所示的与“标志”和“60”对应的那些神经元。在训练之前，DCN产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在整个神经网络中的反向传递(“backward pass”)。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，DCN可被呈递新图像326并且在网络中的前向传递可产生输出322，其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络小得多。
卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318和320中形成特征图，该特征图(例如，320)中的每个元素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示，该示例性深度卷积网络350包括多个卷积块(例如，C1和C2)。每个卷积块可配置有卷积层、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 150的CPU 152或GPU 154上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到SOC 150的DSP 156或ISP 166上。另外，DCN可访问其他可存在于SOC 150上的处理块，诸如专用于传感器164和导航170的处理块。
深度卷积网络350还可包括一个或多个全连接层(例如，FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。使用该架构，应用402可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在该应用402的运行时操作期间执行支持计算。
AI应用402可配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如，AI应用402可取决于识别出的场景是办公室、报告厅、餐馆、还是室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求以提供对当前场景的估计。该请求可最终依赖于配置成基于例如视频和定位数据来提供场景估计的深度神经网络的输出。
运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如，AI应用402可使得运行时引擎请求特定时间间隔的场景估计或由应用的用户接口检测到的事件触发的场景估计。在使得运行时引擎估计场景时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统410(诸如Linux内核412)。操作系统410进而可使得在CPU422、DSP 424、GPU 426、NPU 428、或其某种组合上执行计算。CPU 422可被操作系统直接访问，而其他处理块可通过驱动器(诸如用于DSP 424、GPU 426、或NPU 428的驱动器414-418)被访问。在示例性示例中，深度神经网络可被配置成在处理块的组合(诸如CPU 422和GPU426)上运行，或可在NPU 428(如果存在的话)上运行。
图5是解说智能手机502上的AI应用的运行时操作500的框图。AI应用可包括预处理模块504，该预处理模块504可被配置(例如，使用JAVA编程语言被配置)成转换图像506的格式并随后对该图像进行剪裁和/或调整大小(508)。经预处理的图像可接着被传达给分类应用510，该分类应用510包含场景检测后端引擎512，该场景检测后端引擎512可被配置(例如，使用C编程语言被配置)成基于视觉输入来检测和分类场景。场景检测后端引擎512可被配置成进一步通过缩放(516)和剪裁(518)来预处理(514)该图像。例如，该图像可被缩放和剪裁以使所得到的图像是224像素×224像素。这些维度可映射到神经网络的输入维度。神经网络可由深度神经网络块520配置以使得SOC 150的各种处理块进一步借助深度神经网络来处理图像像素。深度神经网络的结果可随后被取阈(522)并被传递通过分类应用510中的指数平滑块524。经平滑的结果可接着使得智能手机502的设置和/或显示改变。
在一个配置中，计算网络被配置用于计算第一相似性度量和第二相似性度量中的一者或二者，以及基于第一相似性度量和/或第二相似性度量选择性地将新训练样本存储在存储器中。该计算网络包括计算装置和用于选择性地存储新训练样本的装置。在一个方面，计算装置和/或用于选择性地存储新训练样本的装置可以是配置成执行所叙述功能的通用处理器152、与通用处理器152相关联的程序存储器、存储器块168、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述功能的任何模块或任何装置。
根据本公开的某些方面，每一个局部处理单元202可被配置成基于神经网络的期望的一个或多个功能性特征来确定神经网络的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能性特征朝着期望的功能性特征发展。
图6A-C是根据本公开的各方面的示例性训练集。参见图6A-C，示出了多个数据样本或点(例如，X1、X2、X3和Z1、Z2、Z3)。每个分类中仅示出了三个点，然而，这仅仅是处于便于解说而非限定。这些点可以根据分类来组织，该分类可以由超平面或决策边界(例如，602、604、606和608)来指定。在图6A中，给出了可供添加到训练集的新数据样本N。然而，该新数据样本N非常接近点X3。使用上文描述的冗余性准则，可以做出是否要添加该新数据样本N的确定。
可以确定该分类内的点(样本)之间的最小距离(例如，X1-X2、X1-X3和X2-X3之间的距离)。来自这些衡量的最小距离值可以被确定(预先存在的最小距离)并且可以将其与该新样本同诸现有样本之间的最小距离进行比较。在该示例中，N-X3之间的距离小于预先存在的最小距离。相应地，该新样本N可以被确定为是冗余的并且可以被拒绝。
在另一方面，新的数据样本Y不接近Z分类内任何现有样本。现有点Z1、Z2和Z3之间的最小距离可以被计算并将其与新的点Y同现有点之间的最小距离进行比较。在该情形中，新点Y与诸现有点之间的最小距离大于预先存在的最小距离，从而该新点Y不是冗余的并且可以被添加。
在图6B中，上文描述的渐离准则可以被用来确定是否要将新点N和Y添加到它们相应的分类。在该示例中，将计算点N和其他三个点之间的总和距离并将其与其他三个点的总和距离进行比较。所以，将把总和距离(N-X3+N-X2+N-X1)与现有总和距离(X3-X1+X3-X2+X3-N)、(X2-X1+X2-X3+X2-N)和(X1-X2+X1-X3+X1-N)进行比较。因为N在由三个点X1、X2和X3形成的现有分类边界外，所以其总和距离将会大于其他三个点，并且该点将会被保留。点Y将被拒绝，因为它的总和距离将会小于其他三个现有Z点。
在图6C中，相邻分类准则可以被用来确定是否要向分类添加新点。如图6C所示，新点N在Z分类点和X分类点之间。若被添加，则新点N可以提供对于澄清决策边界有用的信息，这可以产生更准确的分类结果。使用相邻分类准则，可以计算感兴趣分类的样本(Z分类)与其他分类的样本(例如，X分类样本、M分类样本、和C分类样本)之间的邻接矩阵。可以将新样本N到X分类的点的邻近度与该新样本到任何预先存在的点(M、C和Z分类点)的邻近度比较。因为新的点N和X分类点X3之间的最小距离小于任何预先存在的点之间的最小距离，所以新点N最接近于X分类边界。新点N提供了进一步的信息，使得决策边界也可以被更新(例如，从边界602移至新边界604)。相应地，通过添加新点N可以达成更大的分类准确度。
当使用分类大小限制时，本文中描述的的任何准则也可以被用来在添加新点会超过限制时移除点。值的注意的是，上述示例在二维呈现以便于解释。本公开的概念等同地应用于三维或更多维。
图7解说了用于管理所存储的用于分类的训练集的存储器使用的方法700。在框702，该过程计算第一相似性度量和第二相似性度量中的一者或二者。第一相似性度量与新的训练样本以及与该新的训练样本相同分类的现有训练样本相关联。第二相似性度量与新的训练样本以及与该新的训练样本不同分类的现有训练样本相关联。
在一些方面，第一相似性度量可以基于新的样本到训练集内的分类边界的邻近度。例如，第一相似性度量可以包括分类中现有训练样本的任何两点之间的最小距离和该新的训练样本的点与该分类中所有现有训练样本的点之间的最小距离之间的差。
在另一示例中，第一相似性度量可以包括分类中现有训练样本的任何点之间的最大总和距离与该新的训练样本的点和相同分类中所有现有训练样本的点之间的最大总和距离之间的差。
在还有另一示例中，第二相似性度量可以包括分类中现有训练样本的每个点和其他分类中的所有现有训练样本之间的最大总和距离与分类中的新的训练样本的点和其他分类中的所有现有训练样本的点之间的最大总和距离之间的差。
在一些方面，第一相似性度量和/或第二相似性度量可以是基于现有训练样本的质心来计算的。
在框704，该过程基于第一相似性度量、第二相似性度量或其组合选择性地将该新的训练样本存储在存储器中。通过选择性地存储新的训练样本，可以降低对于经更新的所存储训练集的存储器要求。
进一步，在框706，该过程可以在一些方面基于与候选训练样本和现有训练样本相关联的相似性度量选择性地从存储器中移除候选训练样本。可以计算第三相似性度量和/或第四相似性度量。第三相似性度量与候选训练样本以及与该候选训练样本相同分类的现有训练样本相关联。第四相似性度量与该候选训练样本以及与该候选训练样本不同分类的现有训练样本相关联。该过程可以基于第三相似性度量和/或第四相似性度量选择性地移除该候选训练样本。通过选择性地移除候选训练样本，可以降低对于经更新的所存储训练集的存储器要求。
图8解说了用于管理所存储的用于分类的训练集的存储器使用的方法800。在框802，该过程接收新的样本。在一些方面，一个或多个训练样本可以被顺序接收。
在框804，该过程计算该新的样本与相同分类中的每个现有样本之间的距离。在一些方面，距离可以包括欧几里得(Euclidean)距离、L2-范数(最小二乘(least squares))马哈拉诺比斯(Mahalanobis)距离、L1-范数(最小绝对离差(least absolute deviation))、余弦距离、或其他距离度量。在框806，该过程确定新的样本和相同分类中的现有样本之间的最小距离。在框808中，随后将所确定的最小值或新的最小值与每个现有分类样本之间的最小距离进行比较。若新的最小值大于现有分类样本之间的最小距离，则在框810中该新的样本可以被存储。否则，新的样本可以是冗余的并且在框812中，该过程可以计算该新的样本和现有分类样本之间的距离(来自框804)的总和。在框814中，可以将该新的样本总和距离与现有样本的最大总和距离进行比较。若新的样本总和距离大于现有样本的最大总和距离，则在框810中该新的样本可以被存储。相反，若新的样本总和距离小于现有样本的最大总和距离，则新的样本可以被进一步评估以确定添加该新的样本是否是合宜的。
在框816，该过程确定该新的样本与其他分类的样本之间的最小距离。在框818中，可以将该新的最小其他分类距离与该新的样本和任何现有样本之间的最小距离进行比较。若该新的最小其他分类距离小于最小其他距离，则在框810中该新的样本可以被存储。否则，在框820中，该新的样本可以被丢弃。
当该新的样本被存储在存储器中时，在一些方面，通过使用如上文描述的相似性度量或其他度量来评估候选样本，候选样本可以从存储器中被移除。进一步，现有样本之间的最小距离(框808)、和/或现有样本之间的最大总和距离(框814)可以被更新并存储在存储器中以供用于评估样本的添加或移除。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure BDA0001408139870000231
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (28)

1.一种管理所存储的用于分类的训练集的存储器使用的计算机实现的方法，包括：
计算第一相似性度量或第二相似性度量中的至少一者，其中所述第一相似性度量与新的训练样本以及与所述新的训练样本相同分类的现有训练样本相关联，并且其中所述第二相似性度量与所述新的训练样本以及与所述新的训练样本不同分类的现有训练样本相关联；以及
至少部分基于所述第一相似性度量或所述第二相似性度量中的该至少一者选择性地将所述新的训练样本存储在存储器单元中。
2.如权利要求1所述的方法，进一步包括：
计算第三相似性度量或第四相似性度量中的至少一者，其中所述第三相似性度量与候选训练样本以及与所述候选训练样本相同分类的现有训练样本相关联，并且其中所述第四相似性度量与所述候选训练样本以及与所述候选训练样本不同分类的现有训练样本相关联；以及
至少部分基于所述第三相似性度量或所述第四相似性度量中的该至少一者选择性地从所述存储器单元中移除所述候选训练样本。
3.如权利要求1所述的方法，其中，所述第一相似性度量或所述第二相似性度量中的至少一者是至少部分基于所述现有训练样本的质心来计算的。
4.如权利要求1所述的方法，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最小距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最小距离。
5.如权利要求1所述的方法，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最大总和距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最大总和距离。
6.如权利要求1所述的方法，其中，所述第一相似性度量包括分类中的每个现有训练样本与其他分类中的所有现有训练样本之间的最大总和距离，并且所述第二相似性度量包括该分类中的新的训练样本与其他分类中的所有现有训练样本之间的最大总和距离，所述新的训练样本至少部分基于所述第一相似性度量和所述第二相似性度量之间的差而被选择性地添加到所述训练集。
7.如权利要求1所述的方法，进一步包括接收新的训练样本。
8.一种用于管理所存储的用于分类的训练集的存储器使用的装备，包括：
用于计算第一相似性度量或第二相似性度量中的至少一者的装置，其中所述第一相似性度量与新的训练样本和与所述新的训练样本相同分类的现有训练样本相关联，并且其中所述第二相似性度量与所述新的训练样本和与所述新的训练样本不同分类的现有训练样本相关联；以及
用于至少部分基于所述第一相似性度量或所述第二相似性度量中的该至少一者选择性地将所述新的训练样本存储在存储器单元中的装置。
9.如权利要求8所述的装备，进一步包括：
用于计算第三相似性度量或第四相似性度量中的至少一者的装置，其中所述第三相似性度量与候选训练样本和与所述候选训练样本相同分类的现有训练样本相关联，并且其中所述第四相似性度量与所述候选训练样本以及与所述候选训练样本不同分类的现有训练样本相关联；以及
用于至少部分基于所述第三相似性度量或所述第四相似性度量中的该至少一者选择性地从所述存储器单元中移除所述候选训练样本的装置。
10.如权利要求8所述的装备，其中，所述第一相似性度量或所述第二相似性度量中的至少一者是至少部分基于所述现有训练样本的质心来计算的。
11.如权利要求8所述的装备，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本的之间的最小距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最小距离。
12.如权利要求8所述的装备，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本的之间的最大总和距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最大总和距离。
13.如权利要求8所述的装备，其中，所述第一相似性度量包括分类中的每个现有训练样本的与其他分类中的所有现有训练样本之间的最大总和距离，并且所述第二相似性度量包括该分类中的该新的训练样本与其他分类中的所有现有训练样本之间的最大总和距离，所述新的训练样本至少部分基于所述第一相似性度量和所述第二相似性度量之间的差而被选择性地添加到所述训练集。
14.如权利要求8所述的装备，进一步包括接收新的训练样本。
15.一种用于管理所存储的用于分类的训练集的存储器使用的装置，包括：
存储器；以及
至少一个处理器，其耦合至所述存储器并被配置成：
计算第一相似性度量或第二相似性度量中的至少一者，其中所述第一相似性度量与新的训练样本和与所述新的训练样本相同分类的现有训练样本相关联，并且其中所述第二相似性度量与所述新的训练样本和与所述新的训练样本不同分类的现有训练样本相关联；以及
至少部分基于所述第一相似性度量或所述第二相似性度量中的该至少一者选择性地将所述新的训练样本存储在所述存储器中。
16.如权利要求15所述的装置，其中，所述至少一个处理器被进一步配置成：
计算第三相似性度量或第四相似性度量中的至少一者，其中所述第三相似性度量与候选训练样本和与所述候选训练样本相同分类的现有训练样本相关联，并且其中所述第四相似性度量与所述候选训练样本以及与所述候选训练样本不同分类的现有训练样本相关联；以及
至少部分基于所述第三相似性度量或所述第四相似性度量中的该至少一者选择性地从所述存储器中移除所述候选训练样本。
17.如权利要求15所述的装置，其中，所述至少一个处理器进一步配置成至少部分基于所述现有训练样本的质心来计算所述第一相似性度量或所述第二相似性度量中的至少一者。
18.如权利要求15所述的装置，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最小距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最小距离。
19.如权利要求15所述的装置，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最大总和距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最大总和距离。
20.如权利要求15所述的装置，其中，所述第一相似性度量包括分类中的每个现有训练样本与其他分类中的所有现有训练样本之间的最大总和距离，并且所述第二相似性度量包括该分类中的该新的训练样本与其他分类中的所有现有训练样本之间的最大总和距离，所述至少一个处理器被配置成至少部分基于所述第一相似性度量和所述第二相似性度量之间的差而选择性地将该新的训练样本存储在所述存储器中。
21.如权利要求15所述的装置，其中，所述至少一个处理器进一步配置成接收新的训练样本。
22.一种其上记录有程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：
用以计算第一相似性度量或第二相似性度量中的至少一者的程序代码，其中所述第一相似性度量与新的训练样本和与所述新的训练样本相同分类的现有训练样本相关联，并且其中所述第二相似性度量与所述新的训练样本和与所述新的训练样本不同分类的现有训练样本相关联；以及
用以至少部分基于所述第一相似性度量或所述第二相似性度量中的该至少一者选择性地将所述新的训练样本存储在存储器单元中的程序代码。
23.如权利要求22所述的计算机可读介质，进一步包括：
用以计算第三相似性度量或第四相似性度量中的至少一者的程序代码，其中所述第三相似性度量与候选训练样本和与所述候选训练样本相同分类的现有训练样本相关联，并且其中所述第四相似性度量与所述候选训练样本以及与所述候选训练样本不同分类的现有训练样本相关联；以及
用以至少部分基于所述第三相似性度量或所述第四相似性度量中的该至少一者选择性地从所述存储器单元中移除所述候选训练样本的程序代码。
24.如权利要求22所述的计算机可读介质，进一步包括用以至少部分基于所述现有训练样本的质心来计算所述第一相似性度量或所述第二相似性度量中的至少一者的程序代码。
25.如权利要求22所述的计算机可读介质，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最小距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最小距离。
26.如权利要求22所述的计算机可读介质，其中，所述第一相似性度量包括以下两者之间的差：相同分类中的任何两个现有训练样本之间的最大总和距离，和所述新的训练样本与相同分类中所有现有训练样本之间的最大总和距离。
27.如权利要求22所述的计算机可读介质，其中，所述第一相似性度量包括分类中的每个现有训练样本和其他分类中的所有现有训练样本之间的最大总和距离，并且所述第二相似性度量包括该分类中的新的训练样本与其他分类中的所有现有训练样本之间的最大总和距离，并且所述计算机可读介质进一步包括用以至少部分基于所述第一相似性度量和所述第二相似性度量之间的差而选择性地将所述新的训练样本存储在所述存储器单元中的程序代码。
28.如权利要求22所述的计算机可读介质，进一步包括用以接收新的训练样本的程序代码。
CN201680015864.8A 2015-03-17 2016-03-11 用于重新训练分类器的样本选择 Active CN107430705B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562134493P 2015-03-17 2015-03-17
US62/134,493 2015-03-17
US201562164484P 2015-05-20 2015-05-20
US62/164,484 2015-05-20
US14/838,333 2015-08-27
US14/838,333 US11334789B2 (en) 2015-03-17 2015-08-27 Feature selection for retraining classifiers
PCT/US2016/022215 WO2016149147A1 (en) 2015-03-17 2016-03-11 Sample selection for retraining classifiers

Publications (2)

Publication Number Publication Date
CN107430705A CN107430705A (zh) 2017-12-01
CN107430705B true CN107430705B (zh) 2021-11-26

Family

ID=55586460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680015864.8A Active CN107430705B (zh) 2015-03-17 2016-03-11 用于重新训练分类器的样本选择

Country Status (4)

Country Link
US (1) US11334789B2 (zh)
EP (1) EP3271873A1 (zh)
CN (1) CN107430705B (zh)
WO (1) WO2016149147A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043112B2 (en) * 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
US10157333B1 (en) 2015-09-15 2018-12-18 Snap Inc. Systems and methods for content tagging
US10235994B2 (en) * 2016-03-04 2019-03-19 Microsoft Technology Licensing, Llc Modular deep learning model
US11327475B2 (en) 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US20180284735A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection in a network sensitive upstream oil and gas environment
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11237546B2 (en) 2016-06-15 2022-02-01 Strong Force loT Portfolio 2016, LLC Method and system of modifying a data collection trajectory for vehicles
US11334768B1 (en) 2016-07-05 2022-05-17 Snap Inc. Ephemeral content management
US10762992B2 (en) * 2016-11-30 2020-09-01 Welltok, Inc. Synthetic ground truth expansion
CN108205519B (zh) * 2016-12-20 2022-01-25 上海寒武纪信息科技有限公司 矩阵乘加运算装置和方法、处理装置、芯片、电子装置
US10454776B2 (en) * 2017-04-20 2019-10-22 Cisco Technologies, Inc. Dynamic computer network classification using machine learning
US11442445B2 (en) 2017-08-02 2022-09-13 Strong Force Iot Portfolio 2016, Llc Data collection systems and methods with alternate routing of input channels
EP3662331A4 (en) 2017-08-02 2021-04-28 Strong Force Iot Portfolio 2016, LLC METHODS AND SYSTEMS FOR DETECTION IN AN INDUSTRIAL INTERNET OF THINGS DATA COLLECTION ENVIRONMENT WITH LARGE AMOUNTS OF DATA
CN108053120B (zh) * 2017-12-15 2020-09-01 阿里巴巴集团控股有限公司 一种模型整合方法及装置
CN108038108B (zh) * 2017-12-27 2021-12-10 东软集团股份有限公司 分词模型训练方法和装置、及存储介质
CA3197098A1 (en) * 2018-06-19 2019-12-26 Thomson Reuters Enterprise Centre Gmbh Systems and methods for determining structured proceeding outcomes
US11267128B2 (en) * 2019-05-08 2022-03-08 International Business Machines Corporation Online utility-driven spatially-referenced data collector for classification
GB2588614B (en) * 2019-10-29 2023-01-11 Samsung Electronics Co Ltd Method and system for customising a machine learning model
WO2021085785A1 (en) 2019-10-29 2021-05-06 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
CN111461191B (zh) * 2020-03-25 2024-01-23 杭州跨视科技有限公司 为模型训练确定图像样本集的方法、装置和电子设备
US20220114384A1 (en) * 2020-04-07 2022-04-14 Technext Inc. Systems and methods to estimate rate of improvement for all technologies
US11568252B2 (en) * 2020-06-29 2023-01-31 Alibaba Group Holding Limited Variable input size techniques for neural networks
US11669590B2 (en) * 2020-07-15 2023-06-06 Mitchell International, Inc. Managing predictions for vehicle repair estimates
CN112115989A (zh) * 2020-09-04 2020-12-22 西安外事学院 一种蠕虫时间序列分类典型样本确认方法
CN112633369B (zh) * 2020-12-21 2023-04-07 浙江大华技术股份有限公司 图像匹配方法、装置、电子设备、计算机可读存储介质
GB2602630A (en) * 2021-01-05 2022-07-13 Nissan Motor Mfg Uk Limited Traffic light detection
WO2023281640A1 (ja) * 2021-07-07 2023-01-12 三菱電機株式会社 データ処理装置及びデータ処理方法
US11847820B2 (en) * 2022-01-03 2023-12-19 Hcl Technologies Limited Method and system for classifying faces of boundary representation (B-Rep) models using artificial intelligence
CN114692719B (zh) * 2022-02-24 2023-04-07 电子科技大学 一种基于svm-Tradboost模型迁移的XRF小样本元素分类方法
EP4312163A1 (de) * 2022-07-28 2024-01-31 Deutsches Elektronen-Synchrotron DESY Charakterisierung eines messvektors mittels vector space newton interpolation cage (vsnic)
US11783233B1 (en) * 2023-01-11 2023-10-10 Dimaag-Ai, Inc. Detection and visualization of novel data instances for self-healing AI/ML model-based solution deployment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305373B1 (en) * 2002-12-10 2007-12-04 Massachusetts Institute Of Technology Incremental reduced error pruning

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835901A (en) * 1994-01-25 1998-11-10 Martin Marietta Corporation Perceptive system including a neural network
US7970718B2 (en) 2001-05-18 2011-06-28 Health Discovery Corporation Method for feature selection and for evaluating features identified as significant for classifying data
DE60130742T2 (de) * 2001-05-28 2008-07-17 Honda Research Institute Europe Gmbh Mustererkennung mit hierarchischen Netzen
US7016884B2 (en) * 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor
US8053659B2 (en) * 2002-10-03 2011-11-08 Polyphonic Human Media Interface, S.L. Music intelligence universe server
US7167849B2 (en) * 2003-10-29 2007-01-23 Microsoft Corporation Invariant pattern recognition
US20060050953A1 (en) 2004-06-18 2006-03-09 Farmer Michael E Pattern recognition method and apparatus for feature selection and object classification
US20070127824A1 (en) 2005-12-07 2007-06-07 Trw Automotive U.S. Llc Method and apparatus for classifying a vehicle occupant via a non-parametric learning algorithm
US7756799B2 (en) 2006-10-27 2010-07-13 Hewlett-Packard Development Company, L.P. Feature selection based on partial ordered set of classifiers
US7827123B1 (en) 2007-08-16 2010-11-02 Google Inc. Graph based sampling
US7930260B2 (en) * 2008-02-14 2011-04-19 Ebay Inc. System and method for real time pattern identification
JP5315411B2 (ja) * 2008-07-03 2013-10-16 エヌイーシー ラボラトリーズ アメリカ インク 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
CN101923857A (zh) * 2009-06-17 2010-12-22 复旦大学 一种人机交互的可扩展语音识别方法
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US9165051B2 (en) * 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US9111218B1 (en) * 2011-12-27 2015-08-18 Google Inc. Method and system for remediating topic drift in near-real-time classification of customer feedback
CN103294716B (zh) * 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
CN103295024B (zh) 2012-02-29 2017-03-01 佳能株式会社 分类与对象检测方法和装置以及图像拍摄和处理设备
US8725663B1 (en) * 2012-03-28 2014-05-13 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College System, method, and computer program product for data mining applications
MX351680B (es) * 2012-05-31 2017-10-25 Univ Connecticut Metodos y aparatos para el diagnostico de defectos en un sistema mecanico.
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
CA2867589A1 (en) * 2013-10-15 2015-04-15 Coho Data Inc. Systems, methods and devices for implementing data management in a distributed data storage system
CN105224600B (zh) * 2015-08-31 2019-05-28 北京奇虎科技有限公司 一种样本相似度的检测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305373B1 (en) * 2002-12-10 2007-12-04 Massachusetts Institute Of Technology Incremental reduced error pruning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Cluster-based instance selection for machine classification;Ireneusz Czarnowski;《Knowl Inf Syst》;20110122;全文 *
INSTANCE SELECTION BASED ON SUPERVISED CLUSTERING;Jun-Hai Zhai;《Proceedings of the 2012 International Conference on Machine Learning and Cybernetics》;20120717;全文 *
Reduction Techniques for Instance-Based Learning Algorithms;Wilson D.R.;《Machine Learning》;20000331;摘要、第1-4节 *
Scaling up data mining algorithms: review and taxonomy;Nicolás García-Pedrajas;《Prog Artif Intell》;20120430;全文 *

Also Published As

Publication number Publication date
CN107430705A (zh) 2017-12-01
US20160275414A1 (en) 2016-09-22
US11334789B2 (en) 2022-05-17
EP3271873A1 (en) 2018-01-24
WO2016149147A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
CN107430705B (zh) 用于重新训练分类器的样本选择
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
CN108431826B (zh) 自动检测视频图像中的对象
CN107851213B (zh) 神经网络中的转移学习
CN108027899B (zh) 用于提高经训练的机器学习模型的性能的方法
KR102595399B1 (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
CN107209873B (zh) 用于深度卷积网络的超参数选择
CN107851191B (zh) 用于图像中的对象检测的基于上下文的先验
KR102570706B1 (ko) 분류를 위한 강제된 희소성
CN107646116B (zh) 用于定点神经网络的位宽选择
KR102582194B1 (ko) 선택적 역전파
US20170032247A1 (en) Media classification
US10002136B2 (en) Media label propagation in an ad hoc network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant