CN108027899B - 用于提高经训练的机器学习模型的性能的方法 - Google Patents

用于提高经训练的机器学习模型的性能的方法 Download PDF

Info

Publication number
CN108027899B
CN108027899B CN201680048630.3A CN201680048630A CN108027899B CN 108027899 B CN108027899 B CN 108027899B CN 201680048630 A CN201680048630 A CN 201680048630A CN 108027899 B CN108027899 B CN 108027899B
Authority
CN
China
Prior art keywords
classifier
objective function
processor
machine learning
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680048630.3A
Other languages
English (en)
Other versions
CN108027899A (zh
Inventor
S·S·塔拉迪
A·瓦尔塔卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108027899A publication Critical patent/CN108027899A/zh
Application granted granted Critical
Publication of CN108027899B publication Critical patent/CN108027899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

一种用于提高经训练的机器学习模型的性能的方法，包括将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数被用于直接减少第一分类器的数目误差，而不是最小化第一分类器的误差函数。

Description

用于提高经训练的机器学习模型的性能的方法
相关申请的交叉引用
本申请要求于2015年8月25日提交且题为“METHOD FOR IMPROVING PERFORMANCEOF A TRAINED MACHINE LEARNING MODEL(用于提高经训练的机器学习模型的性能的方法)”的美国临时专利申请No.62/209,859的权益，其公开内容通过援引全部明确纳入于此。
技术领域
本公开的某些方面一般涉及机器学习，尤其涉及用于提高经训练的机器学习模型的性能的方法。
背景技术
可包括一群互连的人工神经元(例如，神经元模型)的机器学习模型(诸如，人工神经网络)是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。
其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。
发明内容
在本公开的一方面，给出了一种用于提高经训练的机器学习模型的性能的方法。该方法包括将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数用于直接减少第一分类器的误差。
在另一方面，提出了一种用于提高经训练的机器学习模型的性能的装置。该装置包括存储器以及耦合到所述存储器的至少一个处理器。(诸)处理器被配置为将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数用于直接减少第一分类器的误差。
在又一方面，提出了一种用于提高经训练的机器学习模型的性能的装备。该装备包括用于将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器的装置。第二目标函数用于直接减少第一分类器的误差。该装备进一步包括用于基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量的装置。
在又一方面，给出了一种非瞬态计算机可读介质。该非瞬态计算机可读介质具有编码于其上的用于提高经训练的机器学习模型的性能的程序代码。该程序代码由处理器执行并且包括用于将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器的程序代码。第二目标函数用于直接减少第一分类器的误差。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图说明
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3A是解说根据本公开的各方面的神经网络的示图。
图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。
图5是解说根据本公开的各方面的智能手机上的AI应用的运行时操作的框图。
图6A和图6B是解说根据本公开的各方面的用于将第二分类器添加到第一分类器以提高机器学习模型的性能的变化的框图。
图7是根据本公开的各方面的用于提高经训练的机器学习模型的性能的示例性分类器的示意图。
图8解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法。
图9是解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法的框图。
具体实施方式
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
本公开的各方面涉及提高经训练的较低复杂度机器学习模型的性能。根据本公开的各方面，可通过添加第二分类器来提高模型性能，该第二分类器被配置为直接最小化或减少低复杂度分类器的分类误差的数目。也就是说，用于添加的分类器的新目标函数被定义为直接最小化或减少误差的数目，而不是最小化由使用标准技术(例如，梯度下降)的典型成本函数(例如，平方和(SSE)或负对数似然)给出的误差函数。例如，如果执行分类操作，其中有七个正确的分类和三个不正确的分类，则目标函数可被设计成将三个误差减少到零。
另外，根据本公开的各方面，可使用较高复杂度模型的软概率来进一步提高经训练的较低复杂度机器学习模型的性能。
软概率
软概率是概率向量的非最大概率值或暗值。在许多常规分类系统中，使用概率向量来预测类别标记。在此常规系统中，使用概率向量中的最高或最大概率值来预测类别标记。非最大概率值或软概率被忽略。
例如，考虑分类的监督式机器学习问题，其中使用由N个输入数据的样本Xtr＝[x0，x1，x2，…xN-1]和对应的经C标记的输出数据的N个训练样本ytr＝[y0，y1，y2，…yN-1]组成的训练数据来训练机器学习模型Mλ(W)，其中
Figure GDA0003936340820000051
通常，定义机器学习模型(例如，神经网络)的架构的参数λ和训练模型的学习过程的参数是预先确定的。随后使用训练数据{Xtr，ytr}来学习模型Mλ的权重W。训练可包括使用1-K编码将经标记的数据y＝[y0，y1，…yN-1]编码到
Figure GDA0003936340820000052
使得
Figure GDA0003936340820000053
其中如果yj＝k，则pjk＝1，并且
Figure GDA0003936340820000054
给定输入x，机器学习模型Mλ产生对输出概率的估计，其可被表达如下：
Figure GDA0003936340820000055
以便最小化由以下给出的多类别交叉熵函数：
Figure GDA0003936340820000056
输出类别标记被获取如下：
Figure GDA0003936340820000057
如此，只有被称为硬概率的向量
Figure GDA0003936340820000058
的最大值的索引被用于推断，而非最大值被忽略。
本公开的各方面利用软概率来提高分类性能。在一些方面，可使用温度缩放来提取软概率。例如，由神经网络模型生成的概率
Figure GDA0003936340820000059
经由softmax(软最大)函数被估计如下：
Figure GDA0003936340820000061
其中aout＝[aout，0，aout，1，...，aout，C-1]是神经网络的输出节点外的激活值。
由经训练的机器学习模型(例如，神经网络)生成的输出概率可通过温度T缩放以提取隐藏在软概率中的信息如下：
Figure GDA0003936340820000062
一个目标是软化由经训练的模型生成的概率向量
Figure GDA0003936340820000063
的分布。经由温度T缩放使概率的分布变平坦，从而允许利用在软概率中的信息。
一旦被提取，软概率可被用于提高分类性能。例如，在一示例中，其中Wm和bm表示用于将软概率中的信息池化在一起的权重和偏差的集合，混合概率可由下式给出：
Figure GDA0003936340820000064
混合概率可用于通过经训练的机器学习模型来预测输出类别标记，如下：
Figure GDA0003936340820000065
训练数据{Xtr，ytr}可用于估计用于生成软概率的混合的权重和偏差的值。由下式给出仅使用硬概率(式3)来预测输出标记时由经训练的机器学习模型生成的分数训练误差θd和使用软概率(式7)来预测输出标记时的分数训练误差(e)：
Figure GDA0003936340820000066
Figure GDA0003936340820000071
成本函数C被用于减少分类误差。也就是说，成本函数C可被设计为使得当使用由软概率的混合生成的输出标记的预测值时的训练数据上的误差低于通过使用成本函数在正的非零值上所取概率所获得的误差。成本函数可被表达为：
C＝max(0，(ed-e)/ed) (10)
通过求解以下优化问题可获得软概率的混合的提高的或最优的权重和偏差：
Figure GDA0003936340820000072
式11的优化问题可使用不采用具有初始条件{Wm(0)，bm(0)}＝{I，0}的梯度值的任何标准无约束优化过程来解决。在一些方面，还可采用优化技术来确定用于生成软概率的提高的或最优的温度。例如，式11的优化问题可如下进行修改：
Figure GDA0003936340820000073
使用标准的无约束最小化过程得出解，该解是围绕温度的初始选择的C的局部最小值。可使用收敛策略来得出围绕温度的初始选择的局部最小值。例如，在一些方面，该策略可以初始参数集合开始：{T(0)，Wm(0)，bm(0)}，以及使用式11求解权重和偏差的最优值
Figure GDA0003936340820000074
从初始条件T′(0)开始，优化成本函数：C＝max(0，(e-e′)/e)，其中使用具有
Figure GDA0003936340820000075
的式11来计算e，以及使用具有
Figure GDA0003936340820000081
的式11
Figure GDA0003936340820000082
来计算e′。序列可以重复，直到收敛。
在一些方面，可跨机器学习模型和/或在单个机器学习模型中跨多个逻辑回归层来实现系综平均。在一示例中，使用具有由M个经训练模型生成的输出概率
Figure GDA0003936340820000083
的训练数据来训练多个机器学习模型(M＞1)。对于这些模型中的每一个，可使用上面的规程优化技术和/或收敛策略来生成软概率的最佳混合。所得的混合概率
Figure GDA0003936340820000084
可被用于预测输出标记如下：
Figure GDA0003936340820000085
用于{wk}的一个选择是对于k＝(1，2，…M-1),wk＝1/M。替换地，可使用上面的优化技术和收敛策略或其他类似技术来估计多模型概率混合权重{wk}的最优集合。
在另一示例中，在具有多个逻辑回归输出层的单个机器学习模型中，优化技术、收敛策略等可用于提高或优化由模型的不同逻辑回归层所得的软概率。
在一些方面，当分类的数目很大时(例如C>>1)，可使用软概率来改进推断。生成软概率的最优混合的参数的数目缩放为C2，并且在估计用于推断的软概率的混合时可能是问题。在此情形中，可利用被认为包含有用信息的每个分类的最高软概率的子集P＜＜C来提高分类性能。进而，式11可被求解以获得权重和偏差，使得要估计的参数的总数目是P(P+1)。在推断时间或大约推断时间，可使用最优权重和偏差经由所估计的混合概率来跟踪和附加顶部P的软概率的索引。
图1解说了根据本公开的某些方面使用片上系统(SOC)100进行前述用于提高经训练的机器学习模型的性能的方法的示例实现，该SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，模型权重)、与计算设备(例如，带有权重的机器学习模型)相关联的系统参数、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU 102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、专用存储器块118中，或者可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括第四代长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位系统)。
SOC 100可基于ARM指令集。在本公开的一方面中，加载到通用处理器102中的指令可包括用于将具有第二目标函数(例如，成本)的第二分类器添加到具有第一目标函数(例如，成本)的第一分类器的代码。该第二目标函数用于直接减少第一分类器的误差。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的类似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动车辆的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
机器学习模型(诸如，神经网络)可被设计成具有多种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3A，神经网络的各层之间的连接可以是全连接的(302)或局部连接的(304)。在全连接网络302中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。替换地，在局部连接网络304中，第一层中的神经元可连接至第二层中有限数目的神经元。卷积网络306可以是局部连接的，并且被进一步配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，308)。更一般化地，网络的局部连接层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连接的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连接的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
DCN可以用受监督式学习来训练。在训练期间，可向DCN呈递图像(诸如限速标志的经裁剪图像326)，并且可随后计算“前向传递(forward pass)”以产生输出322。输出322可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分，例如与经训练网络300的输出322中所示的“标志”和“60”对应的那些神经元。在训练之前，DCN产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在神经网络中的“反向传递”(backward pass)。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，DCN可被呈递新图像326并且在网络中的前向传递可产生输出322，其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习中。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络小得多。
卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318和320中形成特征图，该特征图(例如，320)中的每个元素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示，该示例性深度卷积网络350包括多个卷积块(例如，C1和C2)。每个卷积块可配置有卷积层、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到SOC 100的DSP 106或ISP 116上。另外，DCN可访问其他可存在于SOC上的处理块，诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连接层(例如，FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。使用该架构，应用402可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在该应用402的运行时操作期间执行支持计算。
AI应用402可配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如，AI应用402可取决于识别出的场景是否为办公室、报告厅、餐馆、或室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求以提供对当前场景的估计。该请求可最终依赖于配置成基于例如视频和定位数据来提供场景估计的深度神经网络的输出。
运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如，AI应用402可使得运行时引擎请求特定时间间隔的场景估计或由应用的用户接口检测到的事件触发的场景估计。在使得运行时引擎估计场景时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统410(诸如Linux内核412)。操作系统410进而可使得在CPU422、DSP 424、GPU 426、NPU 428、或其某种组合上执行计算。CPU 422可被操作系统直接访问，而其他处理块可通过驱动器(诸如用于DSP 424、GPU 426、或NPU 428的驱动器414-418)来访问。在示例性示例中，深度神经网络可被配置成在处理块的组合(诸如CPU 422和GPU426)上运行，或可在NPU 428(如果存在的话)上运行。
图5是解说智能手机502上的AI应用的运行时操作500的框图。AI应用可包括预处理模块504，该预处理模块504可被(例如，使用JAVA编程语言)配置成转换图像506的格式并随后对该图像进行剪裁和/或调整大小(508)。经预处理的图像可随后被传达给分类应用510，该分类应用510包含场景检测后端引擎512，该场景检测后端引擎512可以被(例如，使用C编程语言)配置成基于视觉输入来检测和分类场景。场景检测后端引擎512可被配置成通过缩放(516)和剪裁(518)来进一步预处理(514)该图像。例如，该图像可被缩放和剪裁以使所得到的图像是224像素×224像素。这些维度可映射到神经网络的输入维度。神经网络可由深度神经网络块520配置以使得SOC 100的各种处理块借助深度神经网络来进一步处理图像像素。深度神经网络的结果可随后被取阈(522)并被传递通过分类应用510中的指数平滑块524。经平滑的结果可随后使得智能手机502的设置和/或显示改变。
在一配置中，机器学习模型被配置为用于将具有第二目标(例如，成本)函数的第二分类器添加到具有第一目标(例如，成本)函数的第一分类器，第二目标函数被用于直接减少第一分类器的误差。该机器学习模型也被配置为基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量。机器学习模型包括添加装置和/或输出装置。在一方面，添加装置和/或输出装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于网络的一个或多个期望功能特征来确定网络的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
图6A和图6B是解说用于将第二分类器添加到第一分类器以提高机器学习模型(诸如，神经网络模型)的性能的变化的框图。参考图6A和6B，第二分类器602可被添加到经训练的机器学习模型606的第一分类器604。在一些方面，机器学习模型606可包括深度卷积网络(DCN)，其包括局部连接(LC)层，或另一个机器学习模型。机器学习模型在复杂度上可能较低。在一些示例性方面，具有少于10亿次乘法累加运算(MAC)的机器学习模型可被认为是低复杂度模型。另一方面，具有大于10亿次乘法累加运算的机器学习模型可被认为是高复杂度模型。当然，也可使用其他度量来确定模型的相对复杂度(例如，参数的数目、阶段(层)的数目和/或阶段的类型)。
经训练的机器学习模型606可被配置为接收输入(例如，图像)(未示出)。机器学习模型606可以处理图像以从输入中提取一组特征。对应于输入的特征向量可以被提供给第一分类器604。第一分类器604可被配置为具有可被用来提高分类准确性的可微分的(例如，梯度是可确定的)目标函数。进而，第一分类器604可以生成可用于确定输出类别标记的概率向量Pc。
为了提高第一分类器604的性能和准确性，可以添加第二分类器602。第二分类器602可被配置为具有非可微分的(例如，不存在梯度)目标函数。目标函数可被配置为直接减少由第一分类器604产生的误差的数目。也就是说，第二分类器602减少误差的总数目，而不是试图最小化第一分类器604的成本函数或误差函数。例如，在一些方面，第二分类器602的目标函数可被表示为：
目标函数：argmax[max(0，(ed-e)))](14)
目标函数可被用于使用如上所描述的无约束最小化技术来确定第二分类器602的权重和偏差项。相应地，来自第二分类器602的输出类别标记可包括比单独经由第二分类器602产生的更少的误差。
因为可实现在分类性能上的提高，而无需再训练先前经训练的机器学习模型，此配置可能是特别有利的。相反，可以通过仅重新训练第二分类器602来提高性能。
在一些方面，如图6B所示，可替换地提供在训练机器学习模型606(例如，作为来自经训练的机器学习模型的模型层)内的第二分类器602。此外，在一些方面，可使用经由高复杂度模型608提供的软概率进一步提高机器学习模型606(在图6A和图6B中所示出的)的性能。
图7呈现了根据本公开的各方面的用于提高经训练的机器学习模型(例如，神经网络)的性能的示例性分类器700的示意图。参照图7，在神经网络的分类器(回归)层的输出处添加非可微分的目标函数O。可指定目标函数，使得对于给定训练(或测试)数据集的目标函数的最大非零值将仅在训练(测试)误差的数目低于针对原始经训练的神经网络所获得的数目时出现。
给定输入
Figure GDA0003936340820000161
机器学习模型702可被配置为将输入分类为C个类之一。使用编码方案(诸如，单热编码)，类别标记可由概率向量
Figure GDA0003936340820000162
表示，使得对于给定的类别标记l＜C，P＝[p1p2…pC]T，其中如果i＝l，则pi＝1，并且
Figure GDA0003936340820000163
给定经训练的机器学习模型(例如，神经网络)
Figure GDA0003936340820000164
所估计的概率向量
Figure GDA0003936340820000165
可从Z获得如下：
Figure GDA0003936340820000166
其中σ是软最大非线性。
如上所述，传统办法使用
Figure GDA0003936340820000167
来将类别标记预测为
Figure GDA0003936340820000168
对于具有U个训练样本的给定数据集，训练误差随后被如下获得：
Figure GDA0003936340820000169
而V个测试样本上的测试误差类似地被如下获得：
Figure GDA00039363408200001610
Figure GDA00039363408200001611
和
Figure GDA00039363408200001612
的值确定了模型M的良好性或准确性。经训练的模型M的一个良好性或准确性度量是：
Figure GDA00039363408200001613
以及
Figure GDA00039363408200001614
本公开的各方面旨在提高
Figure GDA00039363408200001615
的经训练的模型M的性能。
根据本公开的各方面，经由经训练的模型702生成的特征表示可被提供给分类器700。分类器700接收特征向量Z，其可以与模型权重Wz混合以产生新的特征向量
Figure GDA0003936340820000171
随后可使用特征向量Zs来估计概率向量Ps＝σ(Zs)。随后可使用概率特征向量
Figure GDA0003936340820000172
来计算在训练集上的所估计的预测误差为：
Figure GDA0003936340820000173
其中
Figure GDA0003936340820000174
通过对以下目标函数进行优化来估计参数λ＝[Wz，Wp]：
Figure GDA0003936340820000175
在一些方面，高复杂度模型704可向机器学习模型702提供软概率向量PH。软概率向量可以与模型权重Wh混合。进而，可使用概率特征向量
Figure GDA0003936340820000176
来计算在训练集上的所估计的预测误差为：
Figure GDA0003936340820000177
其中
Figure GDA0003936340820000178
可通过对式14的目标函数进行优化来估计参数λ＝[Wz，Wp，Wh，T]。
假设O是非可微分函数，可使用无约束最小化过程来求解最优λ*为：λ*＝ar gmax[O]。O的非零收敛值将暗示
Figure GDA0003936340820000179
从而以估计附加参数集的代价产生性能比原始模型更好的最终模型。
在一些方面，λ(例如,Wz、Wp、Wh、或T)中的一些参数可被设置为先验的。如此，可减轻或减少由于添加了几个新参数而导致的过度拟合问题。
在一些方面，可采用各种简化，同时根据设计偏好提高性能。例如，与由经训练的学习模型产生的特征相对应的权重可被设置为身份值。如此，将不考虑由经训练的机器学习模型生成的特征向量的混合。另一方面，在第二示例中，可仅考虑经由经训练的机器学习模型产生的特征向量的混合。
在第三示例中，可将与由经训练的学习模型产生的特征相对应的权重设置为身份值，并且可忽略可从高复杂度模型704获得的软概率信息。
在第四示例中，来自高复杂度模型704的软概率PH可通过给定温度值(例如，T＝α，α>1)来重新缩放。
图8解说了用于提高经训练的机器学习模型的性能的方法800。在框802中，过程将具有第二目标函数(例如，成本)的第二分类器添加到具有第一目标函数(例如，成本)的第一分类器。第二目标函数用于直接减少第一分类器的误差。
第一个目标函数是可微分的，而第二个目标函数是非可微分的。在一些方面，第二目标函数可以是第一分类器和第二分类器的误差之间的差的函数。在其他方面，可基于来自较高复杂度模型的概率的混合来确定第二目标函数。
在一些方面，第二分类器可被外部地添加到第一分类器。替换地，可将第二分类器并入第一分类器(例如，第一分类器的层)内。此外，第二分类器可被添加而不需要再训练第一分类器。
在框804中，过程基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量。
在一些方面，该过程可以实现各种简化来减少或减轻过度拟合问题。例如，过程可将为身份值的权重指派给由第一分类器训练的模型产生的特征。过程还可将为零的权重指派给由高复杂度模型的概率向量产生的特征。过程可进一步将权重指派给由第二分类器的概率向量产生的特征。过程还可将为零的权重指派给由高复杂度模型的概率向量产生的特征。过程可进一步将权重指派给由第二分类器的概率向量产生的特征。过程还可将由较高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
图9是解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法900的框图。在框902中，该过程在机器学习模型(例如，分类器)中经由经训练的机器学习模型接收机器概率向量。概率向量对应于在经训练的机器学习模型中接收到的输入。在框904中，机器学习模型的参数(诸如，模型权重和偏差)可基于直接减少经训练的机器学习模型的误差的目标函数来计算。也就是说，目标函数被设计为直接减少误差的数目，而不是减小用于经训练的机器学习模型的误差函数。如此，机器学习模型的目标函数是非可微分的。
在一些方面，来自经训练的机器学习模型和/或高复杂度模型的软概率可用于计算参数。
在框906中，该过程可更新机器学习模型的参数。此后，在框908中，机器学习模型可生成对应于接收到的概率向量的用于输入的输出类别标记。如此，更新之后的分类误差可能比由经训练的机器学习模型产生的针对相同输入的分类误差更少。因此，可以提高经训练的机器学习模型的性能。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure GDA0003936340820000221
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (26)

1.一种计算机实现的用于提高经训练的机器学习模型的性能的方法，包括：
在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示；以及
在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类，其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目，其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数，其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
2.如权利要求1所述的方法，其特征在于，所述第一目标函数是可微分的。
3.如权利要求1所述的方法，其特征在于，所述第二目标函数是非可微分的。
4.如权利要求1所述的方法，其特征在于，进一步包括至少部分地基于来自高复杂度模型的概率的混合来确定所述第二目标函数。
5.如权利要求1所述的方法，其特征在于，进一步包括添加所述第二分类器而不重新训练所述第一分类器。
6.如权利要求1所述的方法，其特征在于，进一步包括将所述第二分类器外部地添加到所述第一分类器。
7.如权利要求1所述的方法，其特征在于，进一步包括将为身份值的权重指派给由所述第一分类器训练的模型产生的特征。
8.如权利要求7所述的方法，其特征在于，进一步包括将为零的权重指派给由高复杂度模型的概率向量产生的特征。
9.如权利要求1所述的方法，其特征在于，进一步包括将权重指派给由所述第二分类器的概率向量产生的特征。
10.如权利要求1所述的方法，其特征在于，进一步包括将为零的权重指派给由高复杂度模型的概率向量产生的特征。
11.如权利要求10所述的方法，其特征在于，进一步包括将权重指派给由所述第二分类器的概率向量产生的特征。
12.如权利要求1所述的方法，其特征在于，进一步包括将由高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
13.一种用于提高经训练的机器学习模型的性能的装置，包括：
存储器；以及
至少一个处理器，其耦合到所述存储器，所述至少一个处理器被配置为：
在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示；以及
在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类，其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目，其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数，其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
14.如权利要求13所述的装置，其特征在于，所述第一目标函数是可微分的。
15.如权利要求13所述的装置，其特征在于，所述第二目标函数是非可微分的。
16.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为至少部分地基于来自高复杂度模型的概率的混合来确定所述第二目标函数。
17.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为添加所述第二分类器而不重新训练所述第一分类器。
18.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为将所述第二分类器外部地添加到所述第一分类器。
19.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为将为身份值的权重指派给由所述第一分类器训练的模型产生的特征。
20.如权利要求19所述的装置，其特征在于，所述至少一个处理器被进一步配置为将为零的权重指派给由高复杂度模型的概率向量产生的特征。
21.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为将权重指派给由所述第二分类器的概率向量产生的特征。
22.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为将为零的权重指派给由高复杂度模型的概率向量产生的特征。
23.如权利要求22所述的装置，其特征在于，所述至少一个处理器被进一步配置为将权重指派给由所述第二分类器的概率向量产生的特征。
24.如权利要求13所述的装置，其特征在于，所述至少一个处理器被进一步配置为将由高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
25.一种用于提高经训练的机器学习模型的性能的装备，包括：
用于在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示的装置；以及
用于在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类的装置，其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目，其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数，其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
26.一种非瞬态计算机可读介质，其上编码有用于提高经训练的机器学习模型的性能的程序代码，所述程序代码由处理器执行并且包括：
用于在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示的程序代码；以及
用于在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类的程序代码，其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目，其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数，其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
CN201680048630.3A 2015-08-25 2016-08-11 用于提高经训练的机器学习模型的性能的方法 Active CN108027899B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562209859P 2015-08-25 2015-08-25
US62/209,859 2015-08-25
US14/863,410 US10332028B2 (en) 2015-08-25 2015-09-23 Method for improving performance of a trained machine learning model
US14/863,410 2015-09-23
PCT/US2016/046576 WO2017034820A1 (en) 2015-08-25 2016-08-11 Method for improving performance of a trained machine learning model

Publications (2)

Publication Number Publication Date
CN108027899A CN108027899A (zh) 2018-05-11
CN108027899B true CN108027899B (zh) 2023-02-24

Family

ID=58095916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680048630.3A Active CN108027899B (zh) 2015-08-25 2016-08-11 用于提高经训练的机器学习模型的性能的方法

Country Status (6)

Country Link
US (1) US10332028B2 (zh)
EP (1) EP3341894A1 (zh)
JP (1) JP6862426B2 (zh)
KR (1) KR20180044295A (zh)
CN (1) CN108027899B (zh)
WO (1) WO2017034820A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127240B2 (en) 2014-10-17 2018-11-13 Zestfinance, Inc. API for implementing scoring functions
US20170178346A1 (en) * 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
US9805255B2 (en) * 2016-01-29 2017-10-31 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
JP6623947B2 (ja) * 2016-06-17 2019-12-25 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
JP6468254B2 (ja) * 2016-07-01 2019-02-13 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
WO2018057945A1 (en) 2016-09-22 2018-03-29 nference, inc. Systems, methods, and computer readable media for visualization of semantic information and inference of temporal signals indicating salient associations between life science entities
US11210589B2 (en) 2016-09-28 2021-12-28 D5Ai Llc Learning coach for machine learning system
US11475310B1 (en) * 2016-11-29 2022-10-18 Perceive Corporation Training network to minimize worst-case error
KR20180070196A (ko) * 2016-12-16 2018-06-26 에스케이하이닉스 주식회사 뉴로모픽 장치의 정보 인식 장치 및 방법
US10282668B2 (en) * 2017-03-09 2019-05-07 Thomas Danaher Harvey Devices and methods to detect compliance with regulations
WO2018175098A1 (en) * 2017-03-24 2018-09-27 D5Ai Llc Learning coach for machine learning system
US10546237B2 (en) * 2017-03-30 2020-01-28 Atomwise Inc. Systems and methods for correcting error in a first classifier by evaluating classifier output in parallel
US11599783B1 (en) 2017-05-31 2023-03-07 Databricks, Inc. Function creation for database execution of deep learning model
US10346724B2 (en) * 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US11228379B1 (en) 2017-06-23 2022-01-18 DeepSig Inc. Radio signal processing network model search
US11804112B2 (en) 2017-07-12 2023-10-31 Mastercard Asia/Pacific Pte. Ltd. Mobile device platform for automated visual retail product recognition
CN110019658B (zh) * 2017-07-31 2023-01-20 腾讯科技（深圳）有限公司 检索项的生成方法及相关装置
US11941650B2 (en) 2017-08-02 2024-03-26 Zestfinance, Inc. Explainable machine learning financial credit approval model for protected classes of borrowers
JP6925911B2 (ja) * 2017-08-30 2021-08-25 株式会社日立製作所 機械学習装置及び機械学習方法
US20200388358A1 (en) * 2017-08-30 2020-12-10 Google Llc Machine Learning Method for Generating Labels for Fuzzy Outcomes
EP3460685A1 (en) 2017-09-12 2019-03-27 Bricsys NV Improved semantic classification of an entity in a building information model
US11416738B1 (en) * 2017-11-21 2022-08-16 Amazon Technologies, Inc. Model reutilization with heterogeneous sensor stacks via sensor data auto-normalization
US11615129B2 (en) 2017-11-28 2023-03-28 International Business Machines Corporation Electronic message text classification framework selection
JP7179853B2 (ja) * 2017-12-12 2022-11-29 アマゾン テクノロジーズ インコーポレイテッド オンチップの計算ネットワーク
US10803379B2 (en) 2017-12-12 2020-10-13 Amazon Technologies, Inc. Multi-memory on-chip computational network
US10846621B2 (en) 2017-12-12 2020-11-24 Amazon Technologies, Inc. Fast context switching for computational networks
US11321612B2 (en) 2018-01-30 2022-05-03 D5Ai Llc Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights
US11379716B2 (en) * 2018-02-09 2022-07-05 Htc Corporation Method and electronic apparatus for adjusting a neural network
US10834227B2 (en) * 2018-02-13 2020-11-10 International Business Machines Corporation Conversational agent learning model service selection to address a client service request
WO2019173734A1 (en) 2018-03-09 2019-09-12 Zestfinance, Inc. Systems and methods for providing machine learning model evaluation by using decomposition
EP3738081A1 (en) * 2018-03-22 2020-11-18 Amazon Technologies Inc. Processing for multiple input data sets
US20190302707A1 (en) * 2018-03-28 2019-10-03 Mitsubishi Electric Research Laboratories, Inc. Anomaly Detection in Manufacturing Systems Using Structured Neural Networks
WO2019212857A1 (en) 2018-05-04 2019-11-07 Zestfinance, Inc. Systems and methods for enriching modeling tools and infrastructure with semantics
EP3752962A1 (en) * 2018-05-07 2020-12-23 Google LLC Application development platform and software development kits that provide comprehensive machine learning services
CN108898060A (zh) * 2018-05-30 2018-11-27 珠海亿智电子科技有限公司 车载环境下基于卷积神经网络的车型识别方法
CA3102439A1 (en) * 2018-06-08 2019-12-12 Zestfinance, Inc. Systems and methods for decomposition of non-differentiable and differentiable models
US11625609B2 (en) 2018-06-14 2023-04-11 International Business Machines Corporation Integration of external applications into deep neural networks
US10839791B2 (en) * 2018-06-27 2020-11-17 International Business Machines Corporation Neural network-based acoustic model with softening target-layer
KR102631031B1 (ko) 2018-07-27 2024-01-29 삼성전자주식회사 반도체 장치의 불량 검출 방법
KR102170756B1 (ko) * 2018-08-01 2020-10-27 가톨릭대학교 산학협력단 이중 머신 러닝 모델을 이용한 데이터 분류 방법 및 장치
CN110826721A (zh) * 2018-08-09 2020-02-21 松下电器（美国）知识产权公司 信息处理方法及信息处理系统
US11573962B2 (en) * 2018-10-19 2023-02-07 Oracle International Corporation Dynamic performance tuning based on implied data characteristics
US11568179B2 (en) * 2018-10-19 2023-01-31 Oracle International Corporation Selecting an algorithm for analyzing a data set based on the distribution of the data set
CN109522949B (zh) * 2018-11-07 2021-01-26 北京交通大学 目标识别模型建立方法及装置
KR102228196B1 (ko) * 2018-11-15 2021-03-16 주식회사 에이아이트릭스 기초 메타학습장치에 대한 앙상블가중치를 결정하는 방법 및 장치
KR20200076083A (ko) 2018-12-19 2020-06-29 에스케이하이닉스 주식회사 오류 역전파를 이용하여 지도 학습을 수행하는 뉴로모픽 시스템
KR102211604B1 (ko) 2019-02-01 2021-02-04 재단법인대구경북과학기술원 Gpu 기반의 채널 단위 딥뉴럴 네트워크 구조 검색을 사용하는 인공지능 시스템
US11816541B2 (en) 2019-02-15 2023-11-14 Zestfinance, Inc. Systems and methods for decomposition of differentiable and non-differentiable models
CA3134043A1 (en) 2019-03-18 2020-09-24 Sean Javad Kamkar Systems and methods for model fairness
US11900238B1 (en) 2019-04-25 2024-02-13 Perceive Corporation Removing nodes from machine-trained network based on introduction of probabilistic noise during training
US11610154B1 (en) 2019-04-25 2023-03-21 Perceive Corporation Preventing overfitting of hyperparameters during training of network
US11531879B1 (en) 2019-04-25 2022-12-20 Perceive Corporation Iterative transfer of machine-trained network inputs from validation set to training set
US11605025B2 (en) * 2019-05-14 2023-03-14 Msd International Gmbh Automated quality check and diagnosis for production model refresh
US11545242B2 (en) 2019-06-21 2023-01-03 nference, inc. Systems and methods for computing with private healthcare data
US11487902B2 (en) 2019-06-21 2022-11-01 nference, inc. Systems and methods for computing with private healthcare data
US11676034B2 (en) * 2019-06-27 2023-06-13 The Nielsen Company (Us), Llc Initialization of classification layers in neural networks
US11417087B2 (en) 2019-07-17 2022-08-16 Harris Geospatial Solutions, Inc. Image processing system including iteratively biased training model probability distribution function and related methods
US10984507B2 (en) 2019-07-17 2021-04-20 Harris Geospatial Solutions, Inc. Image processing system including training model based upon iterative blurring of geospatial images and related methods
US11068748B2 (en) 2019-07-17 2021-07-20 Harris Geospatial Solutions, Inc. Image processing system including training model based upon iteratively biased loss function and related methods
CN112308233A (zh) * 2019-08-02 2021-02-02 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
EP3786918B1 (en) 2019-08-30 2023-11-08 Zenuity AB Method and arrangement for determining a current location speed-limit in a road-vehicle
US20210073669A1 (en) * 2019-09-06 2021-03-11 American Express Travel Related Services Company Generating training data for machine-learning models
US20210073612A1 (en) * 2019-09-10 2021-03-11 Nvidia Corporation Machine-learning-based architecture search method for a neural network
WO2021061951A1 (en) * 2019-09-24 2021-04-01 Google Llc Distance-based learning confidence model
US20220383194A1 (en) * 2019-12-24 2022-12-01 Aising Ltd. Information processing device, method, and program
CN111114541B (zh) * 2019-12-31 2021-08-20 华为技术有限公司 车辆控制方法、装置、控制器和智能车
US11941496B2 (en) * 2020-03-19 2024-03-26 International Business Machines Corporation Providing predictions based on a prediction accuracy model using machine learning
US20230197204A1 (en) * 2020-04-15 2023-06-22 Chan Zuckerberg Biohub, Inc. Local-ancestry inference with machine learning model
US11593714B2 (en) * 2020-05-06 2023-02-28 Citrix Systems, Inc. Adaptive anomaly detector
US10949907B1 (en) * 2020-06-23 2021-03-16 Price Technologies Inc. Systems and methods for deep learning model based product matching using multi modal data
US11687780B2 (en) 2020-07-02 2023-06-27 Samsung Electronics Co., Ltd Method and apparatus for data efficient semantic segmentation
EP4162408A4 (en) * 2020-08-17 2024-03-13 Siemens Ag METHOD AND APPARATUS FOR IMPROVING THE PERFORMANCE OF A MACHINE LEARNING CLASSIFICATION TASK
JP7466429B2 (ja) * 2020-10-22 2024-04-12 株式会社日立製作所 計算機システム及び計画評価方法
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
US11720962B2 (en) 2020-11-24 2023-08-08 Zestfinance, Inc. Systems and methods for generating gradient-boosted models with improved fairness
KR102307003B1 (ko) * 2020-12-24 2021-10-01 주식회사 알고리즘랩스 프로그래밍 학습 가이드 방법 및 장치
JPWO2023017647A1 (zh) * 2021-08-12 2023-02-16
US20230132070A1 (en) 2021-10-27 2023-04-27 International Business Machines Corporation Features for black-box machine-learning models
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05290013A (ja) * 1992-04-06 1993-11-05 Sharp Corp ニューラルネットワーク演算装置
JPH09185394A (ja) * 1995-12-28 1997-07-15 Meidensha Corp 離散単語音声認識システムにおける音素認識方法
US6728690B1 (en) * 1999-11-23 2004-04-27 Microsoft Corporation Classification system trainer employing maximum margin back-propagation with probabilistic outputs
JP2004501465A (ja) * 2000-06-19 2004-01-15 ダウ　グローバル　テクノロジーズ　インコーポレーテッド 回転装置診断システム及び適応コントローラ
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
US7103219B2 (en) * 2001-04-12 2006-09-05 Eastman Kodak Company Population mixture modeling with an indeterminate number of sub-populations
US7233843B2 (en) 2003-08-08 2007-06-19 Electric Power Group, Llc Real-time performance monitoring and management system
WO2005022343A2 (en) 2003-08-29 2005-03-10 Exscientia, Llc System and methods for incrementally augmenting a classifier
US7890438B2 (en) 2007-12-12 2011-02-15 Xerox Corporation Stacked generalization learning for document annotation
US20090182538A1 (en) * 2008-01-14 2009-07-16 Fujitsu Limited Multi-objective optimum design support device using mathematical process technique, its method and program
AU2009217184B2 (en) 2008-02-20 2015-03-19 Digital Medical Experts Inc. Expert system for determining patient treatment response
US8315465B1 (en) 2009-01-12 2012-11-20 Google Inc. Effective feature classification in images
JP5079760B2 (ja) * 2009-08-28 2012-11-21 日本電信電話株式会社 音響モデルパラメータ学習装置、音響モデルパラメータ学習方法、音響モデルパラメータ学習プログラム
CA2718579C (en) 2009-10-22 2017-10-03 National Research Council Of Canada Text categorization based on co-classification learning from multilingual corpora
US8369611B2 (en) * 2010-04-22 2013-02-05 Microsoft Corporation Compact handwriting recognition
US8554701B1 (en) 2011-03-18 2013-10-08 Amazon Technologies, Inc. Determining sentiment of sentences from customer reviews
US9060685B2 (en) 2012-03-26 2015-06-23 Nec Laboratories America, Inc. Whole tissue classifier for histology biopsy slides
CN104598972A (zh) * 2015-01-22 2015-05-06 清华大学 一种大规模数据回归神经网络快速训练方法
CN104573731B (zh) * 2015-02-06 2018-03-23 厦门大学 基于卷积神经网络的快速目标检测方法

Also Published As

Publication number Publication date
BR112018003434A2 (pt) 2018-09-25
KR20180044295A (ko) 2018-05-02
WO2017034820A1 (en) 2017-03-02
US10332028B2 (en) 2019-06-25
CN108027899A (zh) 2018-05-11
EP3341894A1 (en) 2018-07-04
JP2018529159A (ja) 2018-10-04
US20170061326A1 (en) 2017-03-02
JP6862426B2 (ja) 2021-04-21

Similar Documents

Publication Publication Date Title
CN108027899B (zh) 用于提高经训练的机器学习模型的性能的方法
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
CN107209873B (zh) 用于深度卷积网络的超参数选择
KR102595399B1 (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
CN108431826B (zh) 自动检测视频图像中的对象
CN107851213B (zh) 神经网络中的转移学习
CA2993011C (en) Enforced sparsity for classification
CN107646116B (zh) 用于定点神经网络的位宽选择
US10019631B2 (en) Adapting to appearance variations when tracking a target object in video sequence
CN107430705B (zh) 用于重新训练分类器的样本选择
US20160283864A1 (en) Sequential image sampling and storage of fine-tuned features
US20170032247A1 (en) Media classification
EP4360062A1 (en) Network for interacted object localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant