CN106104577A - 照片管理 - Google Patents

照片管理 Download PDF

Info

Publication number
CN106104577A
CN106104577A CN201580011929.7A CN201580011929A CN106104577A CN 106104577 A CN106104577 A CN 106104577A CN 201580011929 A CN201580011929 A CN 201580011929A CN 106104577 A CN106104577 A CN 106104577A
Authority
CN
China
Prior art keywords
image
mark
grader
devices
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580011929.7A
Other languages
English (en)
Other versions
CN106104577B (zh
Inventor
S·S·塔拉迪
D·J·朱利安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106104577A publication Critical patent/CN106104577A/zh
Application granted granted Critical
Publication of CN106104577B publication Critical patent/CN106104577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19133Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19167Active pattern learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种用于图像处理的方法包括根据预先训练的深度卷积网络来确定多个所存储图像的特征。该方法还包括基于所确定的特征来对该多个所存储图像中的每一个图像分群集。

Description

照片管理
相关申请的交叉引用
本申请要求于2014年3月7日提交且题为“PHOTO MANAGEMENT(照片管理)”的美国临时专利申请No.61/949,851的权益,其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及神经系统工程,尤其涉及用于改进对所捕捉的图像的管理的系统和方法。
背景
可包括一群互连的人工神经元(即,神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应的结构和/或功能。然而,人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能,因此这样的网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是特别有用的。由此,期望提供用于改进对所捕捉的图像的管理的神经元形态接收机。
概述
在本公开的一个方面,公开了一种用于图像处理的方法。该方法包括根据预先训练的深度卷积网络来确定多个所存储图像的特征。该方法还包括基于所确定的特征来对每个所存储图像分群集。
本公开的另一方面涉及一种设备,包括用于根据预先训练的深度卷积网络来确定多个所存储图像的特征的装置。该设备进一步包括用于基于所确定的特征来对每个所存储图像分群集的装置。
在本公开的另一方面,公开了一种用于图像处理的计算机程序产品。该计算机程序产品具有其上记录有非瞬态程序代码的非瞬态计算机可读介质。该程序代码包括用于根据预先训练的深度卷积网络来确定多个所存储图像的特征的程序代码。该程序代码还包括用于根据预先训练的深度卷积网络来确定所存储图像的特征的程序代码。
本公开的另一方面涉及一种用于图像处理的装置,该装置具有存储器以及耦合至该存储器的一个或多个处理器。该处理器被配置成根据预先训练的深度卷积网络来确定多个所存储图像的特征。该处理器还被配置成根据预先训练的深度卷积网络来确定多个所存储图像的特征。
本公开的附加特征和优点将在下文描述。本领域技术人员应该领会,本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到,这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而,要清楚理解的是,提供每一幅附图均仅用于解说和描述目的,且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时,本公开的特征、本质和优点将变得更加明显,在附图中,相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的示例神经元网络。
图2解说了根据本公开的某些方面的计算网络(神经系统或神经网络)的处理单元(神经元)的示例。
图3解说了根据本公开的某些方面的尖峰定时依赖可塑性(STDP)曲线的示例。
图4解说了根据本公开的某些方面的用于定义神经元模型的行为的正态相和负态相的示例。
图5A-5C解说了根据本公开的各方面的使用预先训练的特征提取器进行自动分拣和分类的示例的流程图。
图6解说了根据本公开的某些方面的使用通用处理器来设计神经网络的示例实现。
图7解说了根据本公开的某些方面的设计其中存储器可以与个体分布式处理单元对接的神经网络的示例实现。
图8解说了根据本公开的某些方面的基于分布式存储器和分布式处理单元来设计神经网络的示例实现。
图9解说了根据本公开的某些方面的神经网络的示例实现。
图10是解说根据本公开的各方面的用于图像管理的方法的流程图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述,而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而,对于本领域技术人员将显而易见的是,没有这些具体细节也可实践这些概念。在一些实例中,以框图形式示出众所周知的结构和组件以便避免淡化此类概念。
基于本教导,本领域技术人员应领会,本公开的范围旨在覆盖本公开的任何方面,不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如,可以使用所阐述的任何数目的方面来实现装置或实践方法。另外,本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解,所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面,但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点,但本公开的范围并非旨在被限定于特定益处、用途或目标。相反,本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议,其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开,本公开的范围由所附权利要求及其等效技术方案来定义。
示例神经系统、训练及操作
图1解说了根据本公开的某些方面的具有多级神经元的示例人工神经系统100。神经系统100可具有神经元级102,该神经元级102通过突触连接网络104(即,前馈连接)来连接到另一神经元级106。为简单起见,图1中仅解说了两级神经元,尽管神经系统中可存在更少或更多级神经元。应注意,一些神经元可通过侧向连接来连接至同层中的其他神经元。此外,一些神经元可通过反馈连接来后向连接至先前层中的神经元。
如图1所解说的,级102中的每一个神经元可以接收可由前级的神经元(未在图1中示出)生成的输入信号108。信号108可表示级102的神经元的输入电流。该电流可在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值时,该神经元可激发并生成输出尖峰,该输出尖峰将被传递到下一级神经元(例如,级106)。在一些建模办法中,神经元可以连续地向下一级神经元传递信号。该信号通常是膜电位的函数。此类行为可在硬件和/或软件(包括模拟和数字实现,诸如以下所述那些实现)中进行仿真或模拟。
在生物学神经元中,在神经元激发时生成的输出尖峰被称为动作电位。该电信号是相对迅速、瞬态的神经脉冲,其具有约为100mV的振幅和约为1ms的历时。在具有一系列连通的神经元(例如,尖峰从图1中的一级神经元传递至另一级神经元)的神经系统的特定实施例中,每个动作电位都具有基本上相同的振幅和历时,并且因此该信号中的信息可仅由尖峰的频率和数目、或尖峰的时间来表示,而不由振幅来表示。动作电位所携带的信息可由尖峰、发放了尖峰的神经元、以及该尖峰相对于一个或数个其他尖峰的时间来确定。尖峰的重要性可由向各神经元之间的连接所应用的权重来确定,如以下所解释的。
尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称“突触”)网络104来达成,如图1中所解说的。相对于突触104,级102的神经元可被视为突触前神经元,而级106的神经元可被视为突触后神经元。突触104可接收来自级102的神经元的输出信号(即,尖峰),并根据可调节突触权重来按比例缩放那些信号,其中P是级102的神经元与级106的神经元之间的突触连接的总数,并且i是神经元级的指示符。在图1的示例中,i表示神经元级102并且i+1表示神经元级106。此外,经按比例缩放的信号可被组合以作为级106中每个神经元的输入信号。级106中的每个神经元可基于对应的组合输入信号来生成输出尖峰110。可使用另一突触连接网络(图1中未示出)将这些输出尖峰110传递到另一级神经元。
生物学突触可以仲裁突触后神经元中的兴奋性或抑制性(超极化)动作,并且还可用于放大神经元信号。兴奋性信号使膜电位去极化(即,相对于静息电位增大膜电位)。如果在某个时间段内接收到足够的兴奋性信号以使膜电位去极化到高于阈值,则在突触后神经元中发生动作电位。相反,抑制性信号一般使膜电位超极化(即,降低膜电位)。抑制性信号如果足够强则可抵消掉兴奋性信号之和并阻止膜电位到达阈值。除了抵消掉突触兴奋以外,突触抑制还可对自发活跃神经元施加强力的控制。自发活跃神经元是指在没有进一步输入的情况下(例如,由于其动态或反馈而)发放尖峰的神经元。通过压制这些神经元中的动作电位的自发生成,突触抑制可对神经元中的激发模式进行定形,这一般被称为雕刻。取决于期望的行为,各种突触104可充当兴奋性或抑制性突触的任何组合。
神经系统100可由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、由处理器执行的软件模块、或其任何组合来仿真。神经系统100可用在大范围的应用中,诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例如对流经其的电流进行积分的电容器。
在一方面,电容器作为神经元电路的电流积分器件可被除去,并且可使用较小的忆阻器元件来替代它。这种办法可应用于神经元电路中,以及其中大容量电容器被用作电流积分器的各种其他应用中。另外,每个突触104可基于忆阻器元件来实现,其中突触权重变化可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器,可显著地减小神经元电路和突触的面积,这可使得实现大规模神经系统硬件实现更为切实可行。
对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重,这些权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中以在掉电之后保留该处理器的功能性。在一方面,突触权重存储器可实现在与主神经处理器芯片分开的外部芯片上。突触权重存储器可与神经处理器芯片分开地封装成可更换的存储卡。这可向神经处理器提供多种多样的功能性,其中特定功能性可基于当前附连至神经处理器的存储卡中所存储的突触权重。
图2解说了根据本公开的某些方面的计算网络(例如,神经系统或神经网络)的处理单元(例如,神经元或神经元电路)202的示例性示图200。例如,神经元202可对应于来自图1的级102和106的任何神经元。神经元202可接收多个输入信号2041-204N,这些输入信号可以是该神经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或这两者。输入信号可以是电流、电导、电压、实数值的和/或复数值的。输入信号可包括具有定点或浮点表示的数值。可通过突触连接将这些输入信号递送到神经元202,突触连接根据可调节突触权重2061-206N(W1-WN)对这些信号进行按比例缩放,其中N可以是神经元202的输入连接总数。
神经元202可组合这些经按比例缩放的输入信号,并且使用组合的经按比例缩放的输入来生成输出信号208(即,信号Y)。输出信号208可以是电流、电导、电压、实数值的和/或复数值的。输出信号可以是具有定点或浮点表示的数值。随后该输出信号208可作为输入信号传递至同一神经系统的其他神经元、或作为输入信号传递至同一神经元202、或作为该神经系统的输出来传递。
处理单元(神经元)202可由电路来仿真,并且其输入和输出连接可由具有突触电路的电连接来仿真。处理单元202及其输入和输出连接也可由软件代码来仿真。处理单元202还可由电路来仿真,而其输入和输出连接可由软件代码来仿真。在一方面,计算网络中的处理单元202可以是模拟电路。在另一方面,处理单元202可以是数字电路。在又一方面,处理单元202可以是具有模拟和数字组件两者的混合信号电路。计算网络可包括任何前述形式的处理单元。使用这样的处理单元的计算网络(神经系统或神经网络)可用在大范围的应用中,诸如图像和模式识别、机器学习、电机控制、及类似应用等。
在神经网络的训练过程期间,突触权重(例如,来自图1的权重 和/或来自图2的权重2061-206N)可用随机值来初始化并根据学习规则而被增大或减小。本领域技术人员将领会,学习规则的示例包括但不限于尖峰定时依赖可塑性(STDP)学习规则、Hebb规则、Oja规则、Bienenstock-Copper-Munro(BCM)规则等。在一些方面,这些权重可稳定或收敛至两个值(即,权重的双峰分布)之一。该效应可被用于减少每个突触权重的位数、提高从/向存储突触权重的存储器读取和写入的速度、以及降低突触存储器的功率和/或处理器消耗。
突触类型
在神经网络的硬件和软件模型中,突触相关功能的处理可基于突触类型。突触类型可以是非可塑突触(权重和延迟没有改变)、可塑突触(权重可改变)、结构化延迟可塑突触(权重和延迟可改变)、全可塑突触(权重、延迟和连通性可改变)、以及基于此的变型(例如,延迟可改变,但在权重或连通性方面没有改变)。多种类型的优点在于处理可以被细分。例如,非可塑突触不会使用待执行的可塑性功能(或等待此类功能完成)。类似地,延迟和权重可塑性可被细分成可一起或分开地、顺序地或并行地运作的操作。不同类型的突触对于适用的每一种不同的可塑性类型可具有不同的查找表或公式以及参数。因此,这些方法将针对该突触的类型来访问相关的表、公式或参数。
还进一步牵涉到以下事实:尖峰定时依赖型结构化可塑性可独立于突触可塑性地来执行。结构化可塑性即使在权重幅值没有改变的情况下(例如,如果权重已达最小或最大值、或者其由于某种其他原因而不被改变)也可被执行,因为结构化可塑性(即,延迟改变的量)可以是pre-post(前-后)尖峰时间差的直接函数。替换地,结构化可塑性可被设为权重变化量的函数或者可基于与权重或权重变化的界限有关的条件来设置。例如,突触延迟可仅在权重变化发生时或者在权重到达0的情况下才改变,但在这些权重为最大值时则不改变。然而,具有独立函数以使得这些过程能被并行化从而减少存储器访问的次数和交叠可能是有利的。
突触可塑性的确定
神经元可塑性(或简称“可塑性”)是大脑中的神经元和神经网络响应于新的信息、感官刺激、发展、损坏、或机能障碍而改变其突触连接和行为的能力。可塑性对于生物学中的学习和记忆、以及对于计算神经元科学和神经网络是重要的。已经研究了各种形式的可塑性,诸如突触可塑性(例如,根据Hebbian理论)、尖峰定时依赖可塑性(STDP)、非突触可塑性、活跃性依赖可塑性、结构化可塑性和自稳态可塑性。
STDP是调节神经元之间的突触连接的强度的学习过程。连接强度是基于特定神经元的输出与收到输入尖峰(即,动作电位)的相对定时来调节的。在STDP过程下,如果至某个神经元的输入尖峰平均而言倾向于紧挨在该神经元的输出尖峰之前发生,则可发生长期增强(LTP)。于是使得该特定输入在一定程度上更强。另一方面,如果输入尖峰平均而言倾向于紧接在输出尖峰之后发生,则可发生长期抑压(LTD)。于是使得该特定输入在一定程度上更弱,并由此得名“尖峰定时依赖可塑性”。因此,使得可能是突触后神经元兴奋原因的输入甚至在将来作出贡献的可能性更大,而使得不是突触后尖峰的原因的输入在将来作出贡献的可能性更小。该过程继续,直至初始连接集合的子集保留,而所有其他连接的影响减小至无关紧要的水平。
由于神经元一般在其许多输入都在一短时段内发生(即,累积性足以引起输出)时产生输出尖峰,因此通常保留下来的输入子集包括倾向于在时间上相关的那些输入。另外,由于在输出尖峰之前发生的输入被加强,因此提供对相关性的最早充分累积性指示的那些输入将最终变成至该神经元的最后输入。
STDP学习规则可因变于突触前神经元的尖峰时间tpre与突触后神经元的尖峰时间tpost之间的时间差(即,t=tpost-tpre)来有效地适配将该突触前神经元连接到该突触后神经元的突触的突触权重。STDP的典型公式化是若该时间差为正(突触前神经元在突触后神经元之前激发)则增大突触权重(即,增强该突触),以及若该时间差为负(突触后神经元在突触前神经元之前激发)则减小突触权重(即,抑压该突触)。
在STDP过程中,突触权重随时间推移的改变可通常使用指数式衰退来达成,如由下式给出的:
&Delta; w ( t ) = a + e - t / k + + &mu; , t > 0 a _ e t / k - , t < 0 , - - - ( 1 )
其中k+分别是针对正和负时间差的时间常数,a+和a-是对应的比例缩放幅值,并且μ是可应用于正时间差和/或负时间差的偏移。
图3解说了根据STDP,突触权重作为突触前(presynaptic)和突触后(postsynaptic)尖峰的相对定时的函数而改变的示例性示图300。如果突触前神经元在突触后神经元之前激发,则对应的突触权重可被增大,如曲线图300的部分302中所解说的。该权重增大可被称为该突触的LTP。从曲线图部分302可观察到,LTP的量可因变于突触前和突触后尖峰时间之差而大致呈指数式地下降。相反的激发次序可减小突触权重,如曲线图300的部分304中所解说的,从而导致该突触的LTD。
如图3中的曲线图300中所解说的,可向STDP曲线图的LTP(因果性)部分302应用负偏移μ。x轴的交越点306(y=0)可被配置成与最大时间滞后重合以考虑到来自层i-1的各因果性输入的相关性。在基于帧的输入(即,呈特定历时的包括尖峰或脉冲的帧的形式的输入)的情形中,可计算偏移值μ以反映帧边界。该帧中的第一输入尖峰(脉冲)可被视为要么如直接由突触后电位所建模地随时间衰退,要么在对神经状态的影响的意义上随时间衰退。如果该帧中的第二输入尖峰(脉冲)被视为与特定时间帧相关或有关,则该帧之前和之后的有关时间可通过使STDP曲线的一个或多个部分偏移以使得这些有关时间中的值可以不同(例如,对于大于一个帧为负,而对于小于一个帧为正)来在该时间帧边界处被分开并在可塑性意义上被不同地对待。例如,负偏移μ可被设为偏移LTP以使得曲线实际上在大于帧时间的pre-post时间处变得低于零并且它由此为LTD而非LTP的一部分。
神经元模型及操作
存在一些用于设计有用的尖峰发放神经元模型的一般原理。良好的神经元模型在以下两个计算态相(regime)方面可具有丰富的潜在行为:重合性检测和功能性计算。此外,良好的神经元模型应当具有允许时间编码的两个要素:输入的抵达时间影响输出时间,以及重合性检测能具有窄时间窗。最后,为了在计算上是有吸引力的,良好的神经元模型在连续时间上可具有闭合形式解,并且具有稳定的行为,包括在靠近吸引子和鞍点之处。换言之,有用的神经元模型是可实践且可被用于建模丰富的、现实的且生物学一致的行为并且可被用于对神经电路进行工程设计和反向工程两者的神经元模型。
神经元模型可取决于事件,诸如输入抵达、输出尖峰或其他事件,无论这些事件是内部的还是外部的。为了达成丰富的行为库,能展现复杂行为的状态机可能是期望的。如果事件本身的发生在撇开输入贡献(若有)的情况下能影响状态机并约束该事件之后的动态,则该系统的将来状态并非仅是状态和输入的函数,而是状态、事件和输入的函数。
在一方面,神经元n可被建模为尖峰带漏泄积分激发神经元,其膜电压vn(t)由以下动态来支配:
dv n ( t ) d t = &alpha;v n ( t ) + &beta; &Sigma; m w m , n y m ( t - &Delta;t m , n ) , - - - ( 2 )
其中α和β是参数,wm,n是将突触前神经元m连接至突触后神经元n的突触的突触权重,以及ym(t)是神经元m的尖峰发放输出,其可根据Δtm,n被延迟达树突或轴突延迟直至抵达神经元n的胞体。
应注意,从建立了对突触后神经元的充分输入的时间直至该突触后神经元实际上激发的时间存在延迟。在动态尖峰发放神经元模型(诸如Izhikevich简单模型)中,如果在去极化阈值vt与峰值尖峰电压vpeak之间有差量,则可引发时间延迟。例如,在该简单模型中,神经元胞体动态可由关于电压和恢复的微分方程对来支配,即:
d v d t = ( k ( v - v t ) ( v - v r ) - u + I ) / C , - - - ( 3 )
d u d t = a ( b ( v - v r ) - u ) , - - - ( 4 )
其中v是膜电位,u是膜恢复变量,k是描述膜电位v的时间尺度的参数,a是描述恢复变量u的时间尺度的参数,b是描述恢复变量u对膜电位v的阈下波动的敏感度的参数,vr是膜静息电位,I是突触电流,以及C是膜的电容。根据该模型,神经元被定义为在v>vpeak时发放尖峰。
Hunzinger Cold模型
Hunzinger Cold神经元模型是能再现丰富多样的各种神经行为的最小双态相尖峰发放线性动态模型。该模型的一维或二维线性动态可具有两个态相,其中时间常数(以及耦合)可取决于态相。在阈下态相中,时间常数(按照惯例为负)表示漏泄通道动态,其一般作用于以生物学一致的线性方式使细胞返回到静息。阈上态相中的时间常数(按照惯例为正)反映抗漏泄通道动态,其一般驱动细胞发放尖峰,而同时在尖峰生成中引发等待时间。
如图4中所解说的,该模型400的动态可被划分成两个(或更多个)态相。这些态相可被称为负态相402(也可互换地称为带漏泄积分激发(LIF)态相,勿与LIF神经元模型混淆)以及正态相404(也可互换地称为抗漏泄积分激发(ALIF)态相,勿与ALIF神经元模型混淆)。在负态相402中,状态在将来事件的时间趋向于静息(v-)。在该负态相中,该模型一般展现出时间输入检测性质及其他阈下行为。在正态相404中,状态趋向于尖峰发放事件(vs)。在该正态相中,该模型展现出计算性质,诸如取决于后续输入事件而引发发放尖峰的等待时间。在事件方面对动态进行公式化以及将动态分成这两个态相是该模型的基础特性。
线性双态相二维动态(对于状态v和u)可按照惯例定义为:
&tau; &rho; d v d t = v + q &rho; - - - ( 5 )
- &tau; u d u d t = u + r , - - - ( 6 )
其中qρ和r是用于耦合的线性变换变量。
符号ρ在本文中用于标示动态态相,在讨论或表达具体态相的关系时,按照惯例对于负态相和正态相分别用符号“-”或“+”来替换符号ρ。
模型状态由膜电位(电压)v和恢复电流u来定义。在基本形式中,态相在本质上是由模型状态来决定的。该精确和通用的定义存在一些细微却重要的方面,但目前考虑该模型在电压v高于阈值(v+)的情况下处于正态相404中,否则处于负态相402中。
态相相关时间常数包括负态相时间常数τ-和正态相时间常数τ+。恢复电流时间常数τu通常是与态相无关的。出于方便起见,负态相时间常数τ-通常被指定为反映衰退的负量,从而用于电压演变的相同表达式可用于正态相,在正态相中指数和τ+将一般为正,正如τu那样。
这两个状态元素的动态可在发生事件之际通过使状态偏离其零倾线(null-cline)的变换来耦合,其中变换变量为:
qρ=-τρβu-vρ (7)
r=δ(v+ε), (8)
其中δ、ε、β和v-、v+是参数。vρ的两个值是这两个态相的参考电压的基数。参数v-是负态相的基电压,并且膜电位在负态相中一般将朝向v-衰退。参数v+是正态相的基电压,并且膜电位在正态相中一般将趋向于背离v+
v和u的零倾线分别由变换变量qρ和r的负数给出。参数δ是控制u零倾线的斜率的比例缩放因子。参数ε通常被设为等于-v-。参数β是控制这两个态相中的v零倾线的斜率的电阻值。τρ时间常数参数不仅控制指数式衰退,还单独地控制每个态相中的零倾线斜率。
该模型可被定义为在电压v达到值vS时发放尖峰。随后,状态可在发生复位事件(其可以与尖峰事件完全相同)之际被复位:
v = v ^ - - - - ( 9 )
u=u+Δu, (10)
其中和Δu是参数。复位电压通常被设为v-
依照瞬时耦合的原理,闭合形式解不仅对于状态是可能的(且具有单个指数项),而且对于到达特定状态的时间也是可能的。闭合形式状态解为:
因此,模型状态可仅在发生事件之际被更新,诸如在输入(突触前尖峰)或输出(突触后尖峰)之际被更新。还可在任何特定时间(无论是否有输入或输出)执行操作。
而且,依照瞬时耦合原理,突触后尖峰的时间可被预计,因此到达特定状态的时间可提前被确定而无需迭代技术或数值方法(例如,欧拉数值方法)。给定了先前电压状态v0,直至到达电压状态vf之前的时间延迟由下式给出:
&Delta; t = &tau; &rho; l o g v f + q &rho; v 0 + q &rho; . - - - ( 13 )
如果尖峰被定义为发生在电压状态v到达vS的时间,则从电压处于给定状态v的时间起测量的直至发生尖峰前的时间量或即相对延迟的闭合形式解为:
其中通常被设为参数v+,但其他变型可以是可能的。
模型动态的以上定义取决于该模型是在正态相还是负态相中。如所提及的,耦合和态相ρ可基于事件来计算。出于状态传播的目的,态相和耦合(变换)变量可基于在上一(先前)事件的时间的状态来定义。出于随后预计尖峰输出时间的目的,态相和耦合变量可基于在下一(当前)事件的时间的状态来定义。
存在对该Cold模型、以及在时间上执行模拟、仿真、或建模的若干可能实现。这包括例如事件-更新、步阶-事件更新、以及步阶-更新模式。事件更新是其中基于事件或“事件更新”(在特定时刻)来更新状态的更新。步阶更新是以间隔(例如,1ms)来更新模型的更新。这不一定利用迭代方法或数值方法。通过仅在事件发生于步阶处或步阶间的情况下才更新模型或即通过“步阶-事件”更新,基于事件的实现以有限的时间分辨率在基于步阶的模拟器中实现也是可能的。
图像管理
随着相机电话和数字相机的到来,用户可捕捉增加数目的图像。例如,相机电话可在度假期间或者在事件(诸如音乐会)时捕捉增加数目的图像。此外,相机能力(诸如连拍模式)也增加了所捕捉图像的数目。因此,需要提供改进的图像管理系统。
常规的图像管理系统基于检测到的脸部和/或可用元数据来分拣图像,诸如,图像何时被捕捉、图像被捕捉的位置、文件大小、媒体类型(例如,jpg、bmp或png)、照片等级、照片标签、和/或图像视图数目。本公开的一方面涉及用于通过基于图像的特性对图像进行分拣来改进图像管理的深度卷积神经网络(DCN)学习模块。经分拣的图像可基于从获指派的群集确定的标记来被放置在特定的文件夹中。
本公开的一个方面涉及经训练的深度神经网络特征提取器(诸如,深度卷积网络特征提取器)和经训练的神经网络分类器(诸如,多层感知器)。在一种配置中,深度卷积网络被指定并使用后向传播用包括各种类别标记的图像来预先训练。此外,形成分类器的顶层被移除以获得每个图像的特征向量。也就是说,特征向量是从深度卷积网络的一层输出的。更具体地,该层在深度卷积网络的顶层之前。
在一种配置中,特征提取器网络在一个或多个图像集上被预先训练。此外,在本配置中,特征提取器网络从存储在设备中的图像提取相关特征。在一种配置中,每图像提取一个特征向量集。
另外,使用分群集系统(诸如使用k-means(k-均值)分群集或g-means分群集)来将特征向量分群集。对于k-means分群集,期望群集的数目被指定。对于g-means分群集,群集的数目基于数据输入来确定。在该配置中,特征向量被指派给群集。相应地,可形成对应于图像集的群集中心集。这些图像可具有被更新以包括前述群集值的元标签。基于特征向量集来执行的分群集可被称为无监督分群集。
因此,根据本公开的各方面,基于经由特征提取器网络标识的类别来将所存储的图像分类到各群集中。更具体地,每个图像基于所标识的特征来与特定群集相关联。在一种配置中,每个图像与一个群集相关联。当然,还构想了一图像与多个群集相关联的各方面。此外,特征提取器网络可以在设备上、基于云和/或在外部设备上。
此外,基于特性向量与群集中心的距离来将标记指派给每个图像。也就是说,在形成群集中心集之后,可基于最接近的群集中心来标记这些图像。例如,离群集中心在特定距离内的图像可被给予特定标记。例如,如果该距离是无限的,则对应于该群集的所有图像将被给予该特定标记。替换地或附加地,与群集相关联的图像的特定百分比可被指派特定标记。也就是说,多达一阈值(诸如,特定百分比)的图像数目可被指派特定标记。
另外,可指定分类器(诸如,支持矢量机器(SVM)分类器或多层感知器)以使用获指派的标记来确定新的分类边界。例如,分类器可将第一群集标记为建筑物群集,将第二群集标记为动物群集,并将第三群集标记为日落群集。在另一配置中,特征提取器网络按需生成群集以及群集的用户标记。
图像根据新的分类边界来重新分拣。具体而言,所标记的图像基于经训练的分类器根据深度卷积网络特征向量来分类。在使用经训练的分类器对图像进行分类之后,图像可被分拣到各文件夹中以使得对于每个分类有一个文件夹。在一种配置中,可基于分类器来将图像指派到各群中,并且可基于这些群来将图像放置在各文件夹中。
在一种配置中,针对类别标记集,在特征向量集上离线地训练第二经训练的分类器。具体而言,可将群集中心输入第二经训练的分类器以使得初始标记被给予每个文件夹。
此外,用户可基于文件夹中的图像来重新命名默认或初始文件夹。另外,一些图像可以不被标记,因为图像可能离群集中心超过阈值距离和/或可能不在被选择标记的指定百分比的图像内。因此,用户也可将未标记的图像放置在特定文件夹中。附加地或替换地,用户可基于未标记的图像来重新标记特定文件夹。因此,基于经训练的分类器执行的标记和分类可被称为监督式分群集。
在一个方面,对于监督式训练,群集中的所有图像都不被标记。确切而言,仅标记指定距离d内的图像、或者仅n个最接近的图像或仅p%的最接近图像。这些图像随后被用于监督式分类器训练。此类图像可被称为“强”标记。
即,在一种配置中,用户可查看群集中的图像并且确定第一类型的图像(诸如,花的图像)在第一群集中,第二类型的图像(诸如,人的图像)在第二群集中,并且第三类型的图像(诸如,建筑物的图像)在第三群集中。这些图像群集被定制成所存储图像的类型并且对应于用户的偏好。仍然,用户可标记这些群集和/或修改这些群集的内容。
例如,包括建筑物图像的群集也可包括人的图像。用户可确定人的图像应当属于人的图像的群集并且随后可将该图像从建筑物群集移至人的群集。在一种配置中,基于图像的重新分类,深度卷积网络学习用户的偏好。也就是说,可细调k-means分群集。更具体地,可执行分类器(诸如,多层感知器分类器或支持向量机器分类器)以仅仅重新标记被移动的图像。
此外,用户可基于用户的偏好来将图像从预先指派的群集移至另一群集。也就是说,用户可重新分类图像并且重新分类可修改包括类似图像种类的其它群集。具体而言,可以基于对神经网络分类器的实时训练来修改群集。
例如,在基于所标识的种类来将图像分群集之后,用户可确定具有花的图像在第一群集中,人的图像在第二群集中,并且建筑物的图像在第三群集中。这三个群集可被定制成用户所捕捉的图像类型和/或基于用户的偏好。此外,用户可基于种类或用户偏好来标记群集。另外,在该示例中,用户可注意到一个群集(诸如,人的群集)中的一个或多个图像可能更适于另一群集(诸如,建筑物群集)。因此,用户可将该一个或多个图像从一个群集移至另一群集。
因此,在一种配置中,基于本示例,神经网络基于一个或多个图像从一个群集移至另一群集来学习用户偏好。所学习的偏好可被用于后续分类和/或分群集。此外,所学习的偏好也可被用来对已被放置在各个群集中的图像进行重新分拣。
在又一配置中,用户指定一个或多个新的种类和/或修改现有的种类以使得根据用户指定的种类来重新分拣图像。此外,用户可在修改现有种类之后选择要被重新分类的一个或多个图像。在该配置中,基于对神经网络分类器的实时训练来重新分拣经分类的图像。
基于先前示例,具有花的图像在第一文件夹中,人的图像在第二文件夹中,并且建筑物的图像在第三文件夹中。在该示例中,用户可创建日落图像的第四文件夹并且可将一个或多个日落图像从其它文件夹移至第四文件夹。在该配置中,神经网络基于新生成的文件夹和/或一个或多个图像从一个文件夹移至新创建的文件夹来学习用户偏好。此外,所学习的偏好可被用于后续分类和/或分群集。所学习的偏好也可被用来对已被放置在各个文件夹中的图像进行重新分拣。
作为另一示例,用户可以重新标记一个或多个文件夹。例如,用户可确定花文件夹包括花、公园、河流和/或其它类型的植物的图像。因此,在该示例中,用户可将第一文件夹的标记从花改变成另一标记(诸如,自然界)。此外,用户可将一个或多个图像从其它文件夹移至自然界文件夹。附加地或替换地,用户还可将一个或多个图像从自然界文件夹移至另一文件夹。在该配置中,神经网络基于文件夹的重新标记和/或一个或多个图像从一个文件夹移至重新标记的文件夹来学习用户偏好。此外,所学习的偏好可被用于后续分类和/或分群集。所学习的偏好也可被用来对已被放置在各个文件夹中的图像进行重新分拣。
在又一配置中,用户可与其它用户共享用户指定的图像种类。相应地,可基于共享的用户指定的图像种类以与原始用户相同的方式来对其它用户的图像进行分拣。该用户可被称为主用户,并且其它用户可被称为副用户。
例如,如先前所讨论的,主用户可为日落创建第四标记。附加地或替换地,在先前示例中,主用户可将花种类重新标记为自然界种类。此外,在该配置中,主用户与一个或多个副用户共享新种类和/或重新标记的种类。此外,在该配置中,与副用户相关联的每个神经网络可学习主用户对于新文件夹和/或重新标记的文件夹的偏好。附加地或替换地,与副用户相关联的每个神经网络还可在创建新文件夹和/或重新标记文件夹之后基于图像从一个文件夹移至另一文件夹来学习主用户的偏好。。此外,所学习的偏好可被用于对第二用户的图像的后续分类和/或分群集。所学习的偏好也可被用来对已被放置在第二用户的各个文件夹中的图像进行重新分拣。
如先前所讨论的,本公开的各方面涉及改进对所存储图像的管理。也就是说,所存储的图像基于所标识的种类来被自动分拣到一组文件夹中。作为示例,用户可选择一群图像并且选择按钮或键来对图像进行分类。
图5A解说了根据本公开的一方面的使用预先训练的特征提取器进行自动分拣和分类的示例的流程图。如图5A所示,在框502,将初始图像集输入具有特征提取器的预先训练的深度卷积网络。如先前所讨论的,深度卷积网络是使用后向传播、用包括各种类别标记的图像来预先训练的。此外,形成分类器的顶层被移除以获得每个图像的特征向量。因此,如图5A所示,在框504,从深度卷积网络的一层输出特征向量集。具体而言,可针对每个图像输出一个特征向量。
另外,如图5A所示,在框506,使用分群集系统(诸如使用k-means分群集或g-means分群集)来将特征向量分群集。分群集系统输出群集中心集和对应的图像。此外,在框508,基于离群集中心的距离(d)和/或百分比(p)来标记图像。也就是说,离群集中心在特定距离(d)内的图像可被给予特定标记。附加地或替换地,对应于群集中心的某一百分比(p)的图像可被给予特定标记。此外,在一种配置中,可在所标记的特征向量上训练分类器(诸如,支持矢量机器(SVM)分类器或多层感知器)。
此外,如图5A所示,在框510,使用经训练的分类器、基于特征向量来对图像分类。经分类的图像可被分拣到文件夹中,以使得每个分类有一个文件夹。在可任选步骤,在框512,可指定第二经训练的分类器以向文件夹指派标记。此外,在框514,用户可基于用户偏好和/或文件夹中的图像来重新命名初始文件夹。另外,用户可以对未在框508被标记器标记的图像进行标记。
图5B解说了根据本公开的一方面的使用预先训练的特征提取器来对新图像进行自动分拣和分类的示例的流程图。如图5B所示,在框520,将新图像输入具有特征提取器的预先训练的深度卷积网络。新图像是不同于图5A中所示的初始图像集的图像。此外,在框522,特征提取器输出新图像的特征向量。另外,在框524,将该特征向量输入经训练的分类器。最后,在框526,经训练的分类器可基于分类来将图像放置在文件夹中。图5B的经训练的分类器和具有特征提取器的预先训练的深度卷积网络可以与图5A的经训练的分类器和具有特征提取器的预先训练的深度卷积网络相同。
图5C解说了根据本公开的一方面用于改进训练的流程图。如图5C所示,在框530,用户将图像从第一文件夹移至第二文件夹。在另一配置中,用户可对未被标记的图像进行标记并将该图像放置在文件夹中。在又一配置中,用户可以重新标记文件夹。此外,在框532,可基于被移动的图像和/或重新标记来更新第二文件夹中的图像的标记。另外,在框534,基于经更新的标记来重新训练经训练的分类器。最后,在框536,基于对分类器的重新训练来在文件夹中对图像进行重新分拣。
图6解说了根据本公开的某些方面的使用通用处理器602的前述图像分类系统的示例实现600。与计算网络(神经网络)相关联的变量(神经信号)、突触权重、系统参数,延迟,和频槽信息可被存储在存储器块604中,而在通用处理器602处执行的指令可从程序存储器606中加载。在本公开的一方面,加载到通用处理器602中的指令可包括用于确定多个所存储图像的属性和/或基于所确定的属性来对多个所存储图像中的每一个图像进行分类的代码。
图7解说了根据本公开的某些方面的前述图像分类系统的示例实现700,其中存储器702可以经由互连网络704与计算网络(神经网络)的个体(分布式)处理单元(神经处理器)707对接。与计算网络(神经网络)相关联的变量(神经信号)、突触权重、系统参数,延迟,频率槽信息,特征向量和/或种类可被存储在存储器702中,并且可从存储器702经由互连网络704的连接被加载到每个处理单元(神经处理器)707中。在本公开的一方面,处理单元707可被配置成确定多个所存储图像的属性和/或基于所确定的属性来对多个所存储图像中的每一个图像进行分类。
图8解说了前述图像分类系统的示例实现800。如图8中所解说的,一个存储器组802可与计算网络(神经网络)的一个处理单元804直接对接。每一个存储器组802可存储与对应的处理单元(神经处理器)804相关联的变量(神经信号)、突触权重、和/或系统参数,延迟,频率槽信息,特征向量和/或分类。在本公开的一方面,处理单元804可被配置成确定多个所存储图像的属性和/或基于所确定的属性来对多个所存储图像中的每一个图像进行分类。
图9解说了根据本公开的某些方面的神经网络900的示例实现。如图9中所解说的,神经网络900可具有多个局部处理单元902,它们可执行上述方法的各种操作。每个局部处理单元902可包括存储该神经网络的参数的局部状态存储器904和局部参数存储器906。另外,局部处理单元902可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器909、用于存储局部学习程序的局部学习程序(LLP)存储器910、以及局部连接存储器912。此外,如图9中所解说的,每个局部处理单元902可与用于提供针对该局部处理单元的各局部存储器的配置的配置处理器单元914对接,并且与提供各局部处理单元902之间的路由的路由连接处理单元916对接。
在一种配置中,神经元模型被配置成用于确定多个所存储图像的属性和/或基于所确定的属性来对多个所存储图像中的每一个图像进行分类。该神经元模型包括确定装置和分群集装置。在一个方面,确定装置和分群集装置可以是配置成执行所述功能的通用处理器606、程序存储器606、存储器块604、存储器702、互连网络704、处理单元707、处理单元804、局部处理单元902、和/或路由连接处理单元916。在另一种配置中,前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面,每个局部处理单元802可被配置成基于神经网络的一个或多个期望功能性特征来确定神经网络的参数,以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能性特征朝着期望的功能性特征发展。
图10解说了根据本公开的各方面的用于图像处理的框图1000。在框1002,神经元模型根据预先训练的深度卷积网络来确定多个所存储图像的属性。此外,在框1004,神经元模型基于所确定的属性来对多个所存储图像中的每一个图像分群集。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块,包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言,在附图中有解说的操作的场合,那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的,术语“确定”涵盖各种各样的动作。例如,“确定”可包括演算、计算、处理、推导、研究、查找(例如,在表、数据库或其他数据结构中查找)、探知及诸如此类。另外,“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。而且,“确定”可包括解析、选择、选取、确立及类似动作。
如本文所使用的,引述一列项目中的“至少一个”的短语是指这些项目的任何组合,包括单个成员。作为示例,“a、b或c中的至少一个”旨在涵盖:a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合(例如DSP与微处理器的组合、多个微处理器、与DSP核协作的一个或多个微处理器、或任何其他此类配置)。
结合本公开所描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM,等等。软件模块可包括单条指令、或许多条指令,且可分布在若干不同的代码段上,分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中,存储介质可以被整合到处理器。
本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之,除非指定了步骤或动作的特定次序,否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现,则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束,总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面,用户接口(例如,按键板、显示器、鼠标、操纵杆,等等)也可以被连接到总线。总线还可以链接各种其他电路,诸如定时源、外围设备、稳压器、功率管理电路以及类似电路,它们在本领域中是众所周知的,因此将不再进一步描述。
处理器可负责管理总线和一般处理,包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合,无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例,机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中,机器可读介质可以是处理系统中与处理器分开的一部分。然而,如本领域技术人员将容易领会的,机器可读介质或其任何部分可在处理系统外部。作为示例,机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品,所有这些都可由处理器通过总线接口来访问。替换地或补充地,机器可读介质或其任何部分可被集成到处理器中,诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置,诸如局部组件,但它们也可按各种方式来配置,诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统,该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器,它们都通过外部总线架构与其他支持电路系统链接在一起。替换地,该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案,处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现,或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束,本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例,当触发事件发生时,可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间,处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在参照以下述及软件模块的功能性时,将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。
如果以软件实现,则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外,任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟,其中盘(disk)常常磁性地再现数据,而碟(disc)用激光来光学地再现数据。因此,在一些方面,计算机可读介质可包括非瞬态计算机可读介质(例如,有形介质)。另外,对于其他方面,计算机可读介质可包括瞬态计算机可读介质(例如,信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此,某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如,此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质,这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面,计算机程序产品可包括包装材料。
此外,应当领会,用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如,此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地,本文所述的各种方法能经由存储装置(例如,RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供,以使得一旦将该存储装置耦合至或提供给用户终端和/或基站,该设备就能获得各种方法。此外,可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解,权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (45)

1.一种用于图像处理的方法,包括:
根据预先训练的深度卷积网络来确定多个所存储图像的特征;以及
至少部分地基于所确定的特征来对所述多个所存储图像中的每一个图像分群集。
2.如权利要求1所述的方法,其特征在于,进一步包括,向所述多个所存储图像中的至少一个图像指派标记。
3.如权利要求2所述的方法,其特征在于,进一步包括,至少部分地基于所述至少一个图像离群集中心的距离、与最接近的群集中心相关联的预定义图像数目、和/或与最接近的群集中心相关联的图像百分比来指派所述标记。
4.如权利要求3所述的方法,其特征在于,所述标记是至少部分地基于关于所述距离的最大阈值来指派的。
5.如权利要求2所述的方法,其特征在于,进一步包括,使用与被标记的图像的至少一部分相关联的特征和标记来训练分类器。
6.如权利要求5所述的方法,其特征在于,所述分类器是支持向量机器(SVM)、逻辑回归、最接近的邻居、或多层感知器(MLP)。
7.如权利要求5所述的方法,其特征在于,进一步包括,至少部分地基于所述分类器来将所述多个所存储图像分类到群中。
8.如权利要求7所述的方法,其特征在于,进一步包括,至少部分地基于所述群来将所述多个所存储图像放置到文件夹中。
9.如权利要求8所述的方法,其特征在于,进一步包括,使用非特定名称来命名所述文件夹。
10.如权利要求8所述的方法,其特征在于,进一步包括,使用第二预先训练的分类器来确定特定文件夹名称。
11.如权利要求10所述的方法,其特征在于,进一步包括,使用所述第二预先训练的分类器、至少部分地基于与相关联的群的标记相关联的群集中心的分类来确定所述特定文件夹名称。
12.如权利要求11所述的方法,其特征在于,所述特定文件夹名称进一步至少部分地基于关于给定文件夹的所标记图像的多数裁定规则来确定。
13.如权利要求8所述的方法,其特征在于,进一步包括,接收修改特定文件夹名称或指派新的特定文件夹名称的用户输入。
14.如权利要求13所述的方法,其特征在于,进一步包括,至少部分地基于群集中心或者至少一个所标记的图像特征向量来更新第二预先训练的分类器以包括经修改的特定文件夹名称或所述新的特定文件夹名称。
15.如权利要求8所述的方法,其特征在于,进一步包括,至少部分地基于确定新图像的特征向量和应用所述分类器以确定所述新图像的群来将所述新图像放置在文件夹中。
16.如权利要求7所述的方法,其特征在于,进一步包括,接收针对所述多个图像中的至少一个特定图像修改现有标记或添加新标记的用户输入。
17.如权利要求16所述的方法,其特征在于,至少部分地基于将所述至少一个特定图像从第一文件夹移至第二文件夹的用户输入来修改所述现有标记或添加所述新标记。
18.如权利要求16所述的方法,其特征在于,进一步包括,至少部分地基于经修改的现有标记或所述新标记来更新所述分类器。
19.如权利要求18所述的方法,其特征在于,进一步包括,至少部分基于经更新的分类器来对所述多个图像进行重新分拣。
20.如权利要求5所述的方法,其特征在于,进一步包括,与第二用户共享至少一个分类器或群集中心列表。
21.如权利要求20所述的方法,其特征在于,所共享的群集中心列表与所述第二用户的群集中心列表相组合以创建用于所述第二用户的图像的标记并且更新用于所述第二用户的分类器。
22.如权利要求20所述的方法,其特征在于,进一步包括,与所述第二用户共享用户为类别或群集定义的种类。
23.一种用于图像处理的装置,所述装置包括:
存储器单元;以及
耦合至所述存储器单元的至少一个处理器,所述至少一个处理器被配置成:
根据预先训练的深度卷积网络来确定多个所存储图像的特征;以及
至少部分地基于所确定的特征来对所述多个所存储图像中的每一个图像分群集。
24.如权利要求23所述的装置,其特征在于,所述至少一个处理器被进一步配置成向所述多个所存储图像中的至少一个图像指派标记。
25.如权利要求24所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于所述至少一个图像离群集中心的距离、与最接近的群集中心相关联的预定义图像数目、和/或与最接近的群集中心相关联的图像百分比来指派所述标记。
26.如权利要求25所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于关于所述距离的最大阈值来指派所述标记。
27.如权利要求24所述的装置,其特征在于,所述至少一个处理器被配置成使用与被标记的每个图像相关联的特征和标记来训练分类器。
28.如权利要求27所述的装置,其特征在于,所述分类器是支持向量机器(SVM)、逻辑回归、最接近的邻居、或多层感知器(MLP)。
29.如权利要求27所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于所述分类器来将所述多个所存储图像分类到群中。
30.如权利要求29所述的装置,其特征在于,所述至少一个处理器被配置成基于所述群来将所述多个所存储图像放置到文件夹中。
31.如权利要求30所述的装置,其特征在于,所述至少一个处理器被配置成使用非特定名称来命名所述文件夹。
32.如权利要求30所述的装置,其特征在于,所述至少一个处理器被配置成使用第二预先训练的分类器来确定特定文件夹名称。
33.如权利要求32所述的装置,其特征在于,所述第二预先训练的分类器被配置成至少部分地基于与相关联的群的标记相关联的群集中心的分类来确定所述特定文件夹名称。
34.如权利要求33所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于关于给定文件夹的所标记图像的多数裁定规则来确定所述特定文件夹名称。
35.如权利要求30所述的装置,其特征在于,所述至少一个处理器被进一步配置成接收修改特定文件夹名称或指派新的特定文件夹名称的用户输入。
36.如权利要求35所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于群集中心或者至少一个所标记的图像特征向量来更新第二预先训练的分类器以包括经修改的特定文件夹名称或所述新的特定文件夹名称。
37.如权利要求30所述的装置,其特征在于,所述至少一个处理器被进一步配置成至少部分地基于确定新图像的特征向量和应用所述分类器以确定所述新图像的群来将所述新图像放置在文件夹中。
38.如权利要求29所述的装置,其特征在于,所述至少一个处理器被进一步配置成接收针对所述多个图像中的至少一个特定图像修改现有标记或添加新标记的用户输入。
39.如权利要求38所述的装置,其特征在于,至少部分地基于将所述至少一个特定图像从第一文件夹移至第二文件夹的用户输入来修改所述现有标记或添加所述新标记。
40.如权利要求38所述的装置,其特征在于,所述至少一个处理器被配置成至少部分地基于经修改的现有标记或所述新标记来更新所述分类器。
41.如权利要求40所述的装置,其特征在于,所述至少一个处理器被配置成至少部分基于经更新的分类器来对所述多个图像进行重新分拣。
42.如权利要求27所述的装置,其特征在于,所述至少一个处理器被进一步配置成与第二用户共享至少一个分类器或群集中心列表。
43.如权利要求42所述的装置,其特征在于,所述至少一个处理器被进一步配置成与所述第二用户共享用户为类别或群集定义的种类。
44.一种用于图像处理的计算机程序产品,所述计算机程序产品包括:
其上记录有程序代码的非瞬态计算机可读介质,所述程序代码由处理器执行并且包括:
用于根据预先训练的深度卷积网络来确定多个所存储图像的特征的程序代码;以及
用于至少部分地基于所确定的特征来对所述多个所存储图像中的每一个图像分群集的程序代码。
45.一种用于图像处理的设备,所述设备包括:
用于根据预先训练的深度卷积网络来确定多个所存储图像的特征的装置;以及
用于至少部分地基于所确定的特征来对所述多个所存储图像中的每一个图像分群集的装置。
CN201580011929.7A 2014-03-07 2015-02-27 照片管理 Active CN106104577B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461949851P 2014-03-07 2014-03-07
US61/949,851 2014-03-07
US14/528,935 US10043112B2 (en) 2014-03-07 2014-10-30 Photo management
US14/528,935 2014-10-30
PCT/US2015/018107 WO2015134328A1 (en) 2014-03-07 2015-02-27 Photo management

Publications (2)

Publication Number Publication Date
CN106104577A true CN106104577A (zh) 2016-11-09
CN106104577B CN106104577B (zh) 2020-07-03

Family

ID=54017670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580011929.7A Active CN106104577B (zh) 2014-03-07 2015-02-27 照片管理

Country Status (7)

Country Link
US (1) US10043112B2 (zh)
EP (1) EP3114611A1 (zh)
JP (1) JP2017515189A (zh)
KR (1) KR20160130398A (zh)
CN (1) CN106104577B (zh)
CA (1) CA2938145A1 (zh)
WO (1) WO2015134328A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609108A (zh) * 2017-09-13 2018-01-19 杭州景联文科技有限公司 一种基于号码牌识别和人脸识别的运动员照片分拣方法
CN109981976A (zh) * 2017-12-26 2019-07-05 佳能株式会社 摄像设备及其控制方法和存储介质
CN110046631A (zh) * 2018-01-15 2019-07-23 塔塔咨询服务有限公司 用于自动推断时空图像的变化的系统和方法
CN110168530A (zh) * 2017-01-03 2019-08-23 三星电子株式会社 电子设备和操作该电子设备的方法
JP2020526819A (ja) * 2017-07-03 2020-08-31 エックス デベロップメント エルエルシー ロボットアクションへの修正に基づく局所的特徴モデルの更新
US11780083B2 (en) 2017-07-03 2023-10-10 Google Llc Determining and utilizing corrections to robot actions

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275747B2 (en) * 2015-03-12 2022-03-15 Yahoo Assets Llc System and method for improved server performance for a deep feature based coarse-to-fine fast search
US9530082B2 (en) * 2015-04-24 2016-12-27 Facebook, Inc. Objectionable content detector
US10726337B1 (en) * 2015-04-30 2020-07-28 Hrl Laboratories, Llc Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons
CN105138963A (zh) 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN106611015B (zh) * 2015-10-27 2020-08-28 北京百度网讯科技有限公司 标签的处理方法及装置
JP6908628B2 (ja) 2016-02-01 2021-07-28 シー−アウト プロプライアタリー リミティド 画像分類及びラベリング
CN107122698A (zh) * 2016-07-19 2017-09-01 安徽大学 一种基于卷积神经网络的电影院实时上座率统计方法
CN108121984B (zh) * 2016-11-30 2021-09-21 杭州海康威视数字技术股份有限公司 一种字符识别方法及装置
US10318846B2 (en) * 2016-12-28 2019-06-11 Ancestry.Com Operations Inc. Clustering historical images using a convolutional neural net and labeled data bootstrapping
US10970605B2 (en) * 2017-01-03 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
WO2018187608A1 (en) * 2017-04-07 2018-10-11 Hrl Laboratories, Llc Method for understanding machine-learning decisions based on camera data
US10783393B2 (en) 2017-06-20 2020-09-22 Nvidia Corporation Semi-supervised learning for landmark localization
CN107545306A (zh) * 2017-07-05 2018-01-05 安徽奇智科技有限公司 一种基于云计算的大数据分析平台
JP6989688B2 (ja) * 2017-07-21 2022-01-05 トヨタ モーター ヨーロッパ セマンティック・インスタンス・セグメンテーションに使用されるニューラルネットワークを訓練するための方法およびシステム
CN109426782B (zh) 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
US10769500B2 (en) * 2017-08-31 2020-09-08 Mitsubishi Electric Research Laboratories, Inc. Localization-aware active learning for object detection
CN108304435B (zh) * 2017-09-08 2020-08-25 腾讯科技(深圳)有限公司 信息推荐方法、装置、计算机设备及存储介质
WO2019065582A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
EP3704626A1 (en) * 2017-11-02 2020-09-09 Amp Robotics Corporation Systems and methods for optical material characterization of waste materials using machine learning
KR102227906B1 (ko) * 2017-12-29 2021-03-16 주식회사 아임클라우드 자동 학습 데이터 생성을 통한 모델 학습 시스템 및 방법
US11087177B2 (en) * 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
CN110598737B (zh) * 2019-08-06 2023-02-24 深圳大学 一种深度学习模型的在线学习方法、装置、设备及介质
CN112445922A (zh) * 2019-08-27 2021-03-05 华为技术有限公司 一种图片处理方法及装置
EP3997625A4 (en) 2019-10-29 2022-11-09 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD
GB2588614B (en) * 2019-10-29 2023-01-11 Samsung Electronics Co Ltd Method and system for customising a machine learning model
TWI750572B (zh) * 2020-01-30 2021-12-21 虹光精密工業股份有限公司 運用機器學習進行文件分類的文件處理系統及方法
JP7283631B2 (ja) * 2020-03-27 2023-05-30 日本電気株式会社 教師データ変換装置、教師データ変換方法、及び、プログラム
WO2021230675A1 (ko) * 2020-05-13 2021-11-18 (주)사맛디 딥러닝 기반 대상체 감성 인식 방법 및 장치
CN113408611B (zh) * 2021-06-18 2022-05-10 电子科技大学 一种基于延迟机制的多层图像分类方法
US20230029578A1 (en) * 2021-07-30 2023-02-02 Nxp B.V. Method for watermarking a machine learning model

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292196A1 (en) * 2007-04-27 2008-11-27 Ramesh Jain Photo classification using optical parameters of camera from exif metadata
US20110119210A1 (en) * 2009-11-16 2011-05-19 c/o Microsoft Corporation Multiple Category Learning for Training Classifiers
CN102254180A (zh) * 2011-06-28 2011-11-23 北京交通大学 一种基于几何特征的人脸美感分析方法
CN102637255A (zh) * 2011-02-12 2012-08-15 北京千橡网景科技发展有限公司 用于处理图像中包含的面部的方法和设备
US20130129143A1 (en) * 2011-11-21 2013-05-23 Seiko Epson Corporation Global Classifier with Local Adaption for Objection Detection
CN103164441A (zh) * 2011-12-14 2013-06-19 富泰华工业(深圳)有限公司 基于脸部特征值对图片分类的电子装置及方法
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN103514596A (zh) * 2012-06-30 2014-01-15 北京新媒传信科技有限公司 一种图像处理的方法和装置
US8635172B1 (en) * 2011-10-07 2014-01-21 Google Inc. Dynamic techniques for evaluating quality of clustering or classification system aimed to minimize the number of manual reviews based on Bayesian inference and Markov Chain Monte Carlo (MCMC) techniques
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822742A (en) * 1989-05-17 1998-10-13 The United States Of America As Represented By The Secretary Of Health & Human Services Dynamically stable associative learning neural network system
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US5337370A (en) * 1992-02-28 1994-08-09 Environmental Research Institute Of Michigan Character recognition method employing non-character recognizer
US5444796A (en) * 1993-10-18 1995-08-22 Bayer Corporation Method for unsupervised neural network classification with back propagation
JPH08227408A (ja) * 1995-02-22 1996-09-03 Meidensha Corp ニューラルネットワーク
US5832182A (en) * 1996-04-24 1998-11-03 Wisconsin Alumni Research Foundation Method and system for data clustering for very large databases
US6327581B1 (en) * 1998-04-06 2001-12-04 Microsoft Corporation Methods and apparatus for building a support vector machine classifier
US7308133B2 (en) * 2001-09-28 2007-12-11 Koninklijke Philips Elecyronics N.V. System and method of face recognition using proportions of learned model
US7346209B2 (en) * 2002-09-30 2008-03-18 The Board Of Trustees Of The Leland Stanford Junior University Three-dimensional pattern recognition method to detect shapes in medical images
US20050276452A1 (en) * 2002-11-12 2005-12-15 Boland James M 2-D to 3-D facial recognition system
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
TW200539046A (en) * 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
US20060274949A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
JP2007048172A (ja) * 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US7792353B2 (en) * 2006-10-31 2010-09-07 Hewlett-Packard Development Company, L.P. Retraining a machine-learning classifier using re-labeled training samples
US20080159624A1 (en) * 2006-12-27 2008-07-03 Yahoo! Inc. Texture-based pornography detection
DE102007063635A1 (de) * 2007-03-22 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
US8069128B2 (en) * 2008-08-08 2011-11-29 Yahoo! Inc. Real-time ad-hoc spam filtering of email
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US20100312609A1 (en) * 2009-06-09 2010-12-09 Microsoft Corporation Personalizing Selection of Advertisements Utilizing Digital Image Analysis
US8396286B1 (en) * 2009-06-25 2013-03-12 Google Inc. Learning concepts for video annotation
JP5503921B2 (ja) * 2009-08-21 2014-05-28 ソニーモバイルコミュニケーションズ, エービー 情報端末、情報端末の情報制御方法及び情報制御プログラム
US8386574B2 (en) * 2009-10-29 2013-02-26 Xerox Corporation Multi-modality classification for one-class classification in social networks
JP5291645B2 (ja) * 2010-02-25 2013-09-18 日本電信電話株式会社 データ抽出装置、データ抽出方法、及びプログラム
US8611678B2 (en) * 2010-03-25 2013-12-17 Apple Inc. Grouping digital media items based on shared features
US8805112B2 (en) * 2010-05-06 2014-08-12 Nikon Corporation Image sharpness classification system
WO2011140632A1 (en) * 2010-05-11 2011-11-17 The Royal Institute For The Advancement Of Learning/Mcgill University Method of identification and devices thereof
US8924313B2 (en) * 2010-06-03 2014-12-30 Xerox Corporation Multi-label classification using a learned combination of base classifiers
US8311337B2 (en) * 2010-06-15 2012-11-13 Cyberlink Corp. Systems and methods for organizing and accessing feature vectors in digital images
KR101735302B1 (ko) * 2010-10-13 2017-05-15 삼성전자 주식회사 카메라의 빠른 연계 기능 실행 방법 및 이를 포함하는 휴대 단말기
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US8811726B2 (en) * 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications
WO2013025220A1 (en) * 2011-08-18 2013-02-21 Nikon Corporation Image sharpness classification system
US8311973B1 (en) * 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
US8788193B2 (en) * 2011-10-17 2014-07-22 Gen-9, Inc. Tracking activity, velocity, and heading using sensors in mobile devices or other systems
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
US9087303B2 (en) * 2012-02-19 2015-07-21 International Business Machines Corporation Classification reliability prediction
US9298978B1 (en) * 2012-05-03 2016-03-29 Joseph F Hlatky Optical fish recognition
US8917943B2 (en) * 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
US8983193B1 (en) * 2012-09-27 2015-03-17 Google Inc. Techniques for automatic photo album generation
US8913152B1 (en) * 2012-09-27 2014-12-16 Google Inc. Techniques for user customization in a photo management system
US10691743B2 (en) * 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
US9754177B2 (en) * 2013-06-21 2017-09-05 Microsoft Technology Licensing, Llc Identifying objects within an image
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
WO2015060897A1 (en) * 2013-10-22 2015-04-30 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
US9536177B2 (en) * 2013-12-01 2017-01-03 University Of Florida Research Foundation, Inc. Distributive hierarchical model for object recognition in video
US8965112B1 (en) * 2013-12-09 2015-02-24 Google Inc. Sequence transcription with deep neural networks
US10769191B2 (en) * 2013-12-20 2020-09-08 Google Llc Classifying data objects
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
US9679194B2 (en) * 2014-07-17 2017-06-13 At&T Intellectual Property I, L.P. Automated obscurity for pervasive imaging
US9953425B2 (en) * 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US9928213B2 (en) * 2014-09-04 2018-03-27 Qualcomm Incorporated Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
US10318575B2 (en) * 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
US10325220B2 (en) * 2014-11-17 2019-06-18 Oath Inc. System and method for large-scale multi-label learning using incomplete label assignments
US9613058B2 (en) * 2014-12-17 2017-04-04 Adobe Systems Incorporated Neural network image curation control
US9836641B2 (en) * 2014-12-17 2017-12-05 Google Inc. Generating numeric embeddings of images
US9785866B2 (en) * 2015-01-22 2017-10-10 Microsoft Technology Licensing, Llc Optimizing multi-class multimedia data classification using negative data
WO2016123538A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
US20160239706A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
JP6706788B2 (ja) * 2015-03-06 2020-06-10 パナソニックIpマネジメント株式会社 画像認識方法、画像認識装置およびプログラム
US11334789B2 (en) * 2015-03-17 2022-05-17 Qualcomm Incorporated Feature selection for retraining classifiers
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292196A1 (en) * 2007-04-27 2008-11-27 Ramesh Jain Photo classification using optical parameters of camera from exif metadata
US20110119210A1 (en) * 2009-11-16 2011-05-19 c/o Microsoft Corporation Multiple Category Learning for Training Classifiers
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN102637255A (zh) * 2011-02-12 2012-08-15 北京千橡网景科技发展有限公司 用于处理图像中包含的面部的方法和设备
CN102254180A (zh) * 2011-06-28 2011-11-23 北京交通大学 一种基于几何特征的人脸美感分析方法
US8635172B1 (en) * 2011-10-07 2014-01-21 Google Inc. Dynamic techniques for evaluating quality of clustering or classification system aimed to minimize the number of manual reviews based on Bayesian inference and Markov Chain Monte Carlo (MCMC) techniques
US20130129143A1 (en) * 2011-11-21 2013-05-23 Seiko Epson Corporation Global Classifier with Local Adaption for Objection Detection
CN103164441A (zh) * 2011-12-14 2013-06-19 富泰华工业(深圳)有限公司 基于脸部特征值对图片分类的电子装置及方法
CN103514596A (zh) * 2012-06-30 2014-01-15 北京新媒传信科技有限公司 一种图像处理的方法和装置
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOXIAO NIU ET AL: "A novel hybrid CNN–SVM classifier for recognizing handwritten digits", 《PATTERN RECOGNITION》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168530A (zh) * 2017-01-03 2019-08-23 三星电子株式会社 电子设备和操作该电子设备的方法
CN110168530B (zh) * 2017-01-03 2024-01-26 三星电子株式会社 电子设备和操作该电子设备的方法
JP2020526819A (ja) * 2017-07-03 2020-08-31 エックス デベロップメント エルエルシー ロボットアクションへの修正に基づく局所的特徴モデルの更新
US11640517B2 (en) 2017-07-03 2023-05-02 X Development Llc Update of local features model based on correction to robot action
US11780083B2 (en) 2017-07-03 2023-10-10 Google Llc Determining and utilizing corrections to robot actions
CN107609108A (zh) * 2017-09-13 2018-01-19 杭州景联文科技有限公司 一种基于号码牌识别和人脸识别的运动员照片分拣方法
CN109981976A (zh) * 2017-12-26 2019-07-05 佳能株式会社 摄像设备及其控制方法和存储介质
US11405546B2 (en) 2017-12-26 2022-08-02 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
CN110046631A (zh) * 2018-01-15 2019-07-23 塔塔咨询服务有限公司 用于自动推断时空图像的变化的系统和方法
CN110046631B (zh) * 2018-01-15 2023-04-28 塔塔咨询服务有限公司 用于自动推断时空图像的变化的系统和方法

Also Published As

Publication number Publication date
EP3114611A1 (en) 2017-01-11
WO2015134328A1 (en) 2015-09-11
US10043112B2 (en) 2018-08-07
US20150254532A1 (en) 2015-09-10
CN106104577B (zh) 2020-07-03
JP2017515189A (ja) 2017-06-08
KR20160130398A (ko) 2016-11-11
CA2938145A1 (en) 2015-09-11

Similar Documents

Publication Publication Date Title
CN106104577A (zh) 照片管理
CN106663222A (zh) 神经网络中的分解卷积操作
CN106462797A (zh) 共同特征上的定制分类器
CN106663221A (zh) 由知识图谱偏置的数据分类
CN106687995A (zh) 分布式模型学习
CN107077637A (zh) 神经网络中的差分编码
CN105580031B (zh) 在多维范围上对包括可分离子系统的系统的评估
CN105723383A (zh) 因果凸显性时间推断
CN105637541A (zh) 用于神经模拟器的共享存储器架构
CN106030622A (zh) 原位神经网络协同处理
CN106164939A (zh) 尖峰发放深度置信网络(dbn)中的训练、识别、以及生成
CN106030620A (zh) 用于随机尖峰贝叶斯网络的基于事件的推断和学习
CN107077636A (zh) Cold神经元尖峰定时反向传播
CN105981055A (zh) 神经网络对当前计算资源的自适应
CN106133755A (zh) 使用尖峰发放神经网络的图像的不变对象表示
CN105874477A (zh) 配置稀疏神经网络
CN105684002A (zh) 用于使用监督式学习对种类加标签的方法和装置
CN105830036A (zh) 神经看门狗
CN105229675A (zh) 尖峰网络的高效硬件实现
CN106164940A (zh) 在尖峰神经网络中通过全局标量值来调制可塑性
CN105637539A (zh) 用于修改神经动态的自动化方法
CN106796667A (zh) 动态空间目标选择
CN106068519A (zh) 用于共用神经元模型的高效实现的方法和装置
CN106133763B (zh) 可塑性突触管理
CN105659261A (zh) 尖峰神经元网络中的拥塞避免

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant