CN107077625A - 分层深卷积神经网络 - Google Patents

分层深卷积神经网络 Download PDF

Info

Publication number
CN107077625A
CN107077625A CN201580058248.6A CN201580058248A CN107077625A CN 107077625 A CN107077625 A CN 107077625A CN 201580058248 A CN201580058248 A CN 201580058248A CN 107077625 A CN107077625 A CN 107077625A
Authority
CN
China
Prior art keywords
classification
cnn
fine
thick
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580058248.6A
Other languages
English (en)
Inventor
鲁宾逊·皮拉姆苏
严志程
维格里希·贾格迪希
邸韡
丹尼斯·德科斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN107077625A publication Critical patent/CN107077625A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

分层分支深卷积神经网络(HD‑CNN)改进了现有的卷积神经网络(CNN)技术。在HD‑CNN中，可被容易区分的类在高层粗类别CNN中进行分类，而最难的分类在下层精细类别CNN中完成。在HD‑CNN训练中，可以使用多项物流损失和新颖的时间稀疏度惩罚。多项物流损失和时间稀疏度惩罚的使用使得每个分支组件处理不同的类别子集。

Description

分层深卷积神经网络
优先权声明
本申请要求于2014年12月23日提交的题为“Hierarchical Deep ConvolutionalNeural Network For Image Classification”的美国专利申请No.14/582,059的优先权，该专利申请要求于2014年10月27日提交的题为“Hierarchical Deep ConvolutionalNeural Network For Image Classification”的美国专利申请No.62/068,883的优先权，通过引用将上述申请中的每一个并入本文。
技术领域
本文公开的主题通常涉及使用分层深卷积神经网络对数据分类。具体地，本公开涉及生成和使用用于图像分类的分层深卷积神经网络的系统和方法。
背景技术
深卷积神经网络(CNN)被训练作为N路分类器以在N类数据之间进行区分。CNN分类器被用于对图像进行分类，检测对象，估计姿势，识别面部以及执行其他分类任务。通常，由设计者选择CNN的结构(例如，层的数量、层的类型、层之间的连接性等)，然后通过训练确定每层的参数。
可以通过平均来组合使用多个分类器。在模型平均中，使用多个单独的模型。每个模型都能够对类别的整个集合进行分类，并且每个模型都是独立训练的。其预测差异的主要来源包括：不同的初始化、训练全集的不同子集，等等。组合模型的输出是各个单独模型的平均输出。
附图说明
在附图中以示例而非限制的方式示出了一些实施例。
图1是示出根据一些示例实施例的适合于创建和使用用于图像分类的分层深CNN的网络环境的网络图。
图2是示出根据一些示例实施例的适用于图像分类的分层深CNN服务器的组件的框图。
图3是示出根据一些示例实施例的适合于使用分层深CNN技术进行图像分类的设备的组件的框图。
图4是示出根据一些示例实施例的分类图像的组图。
图5是示出根据一些示例实施例的被配置为识别图像的精细类别的服务器的组件之间的关系的框图。
图6是示出根据一些示例实施例的在执行识别粗类别的处理中服务器的操作的流程图。
图7是示出根据一些示例实施例的在执行生成用于对图像进行分类的分层深CNN的处理中服务器的操作的流程图。
图8是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
图9示出了根据示例实施例的具有计算机系统的形式的机器的示图表示，在所述计算机系统中，可以执行一组指令以使所述机器执行本文讨论的方法中的任意一个或多个方法。
具体实施方式
示例方法和系统涉及用于图像分类的分层深CNN。示例仅仅代表可能的变形。除非另行明确声明，否则组件和功能是可选的，且可被合并或细分，且操作可以在顺序上变化或被组合或细分。在以下描述中，出于解释的目的，对多个具体细节进行阐述，以提供对示例实施例的透彻理解。然而，对于本领域技术人员将显而易见的是：本主题可以在没有这些具体细节的情况下实施。
分层深CNN(HD-CNN)遵循由粗到精的分类策略和模块化设计原则。对于任何给定的类标签，有可能定义简单类集合和混淆类集合。因此，初始的粗分类器CNN能够将可容易分离的类彼此分离。随后，具有挑战性的类被路由到下游精细CNN，其仅关注混淆类。在一些示例实施例中，HD-CNN将分类性能改善得优于标准深CNN模型。与CNN一样，HD-CNN的结构(例如，每个组件CNN的结构、精细类的数量等)可以由设计者确定，而每个CNN的每个层的参数可以通过训练来确定。
与从头开始训练HD-CNN相比，预训练HD-CNN可以获得好处。例如，与标准深CNN模型相比，HD-CNN具有来自共享分支浅层以及C′独立分支深层的附加自由参数。相对于标准CNN而言，这将极大地增加HD-CNN内的自由参数的数量。因此，如果使用相同数量的训练数据，则过拟合(overfit)更可能发生在HD-CNN中。预训练可以帮助克服训练数据不足的困难。
预训练的另一潜在好处是：对粗类别的良好选择将有益于训练分支组件，以集中关注容易混淆的精细类别的一致子集。例如，分支组件1善长区分苹果和橙子，而分支组件2在区分公共汽车和火车方面更具能力。因此，识别粗类别集合，粗类别组件被预训练来对该粗类别集合进行分类。
一些训练数据集包括与粗类别有关的信息以及精细类别和粗类别之间的关系。然而，很多训练数据集不是如此。这些训练数据集仅为数据集中的每个项目提供精细类别，而不识别粗类别。因此，下面参照图6描述将精细类别划分到粗类别的过程。
图1是示出根据一些示例实施例的适合于创建和使用用于图像分类的分层深CNN的网络环境100的网络图。网络环境100包括电子商务服务器120和140、HD-CNN服务器130以及设备150A、150B和150C，它们都经由网络170彼此通信耦合。设备150A、150B和150C可以被集体称为“设备150”，或者被统称为“设备150”。电子商务服务器120和140以及HD-CNN服务器130可以是基于网络的系统110的一部分。备选地，设备150可以直接连接到HD-CNN服务器130，或者通过本地网络连接到HD-CNN服务器130，所述本地网络不同于用于连接到电子商务服务器120或140的网络170。如以下参照图8-9所描述的，电子商务服务器120和140、HD-CNN服务器130以及设备150均可以整体地或部分地实现在计算机系统中。
电子商务服务器120和140经由网络170向其他机器(例如，设备150)提供电子商务应用。电子商务服务器120和140还可以直接连接到HD-CNN服务器130，或者与HD-CNN服务器130集成在一起。在一些示例实施例中，一个电子商务服务器120和HD-CNN服务器130是基于网络的系统110的一部分，而其他电子商务服务器(例如，电子商务服务器140)与基于网络的系统110分离。电子商务应用可以向用户提供以下方式：彼此直接购买和出售物品，从电子商务应用提供商购买物品并将物品出售给电子商务应用提供商，或者以上二者。
HD-CNN服务器130创建用于对图像进行分类的HD-CNN，使用HD-CNN对图像进行分类，或者执行这两者。例如，HD-CNN服务器130可以基于训练集创建用于对图像进行分类的HD-CNN，或者可以将预先存在的HD-CNN加载到HD-CNN服务器130上。HD-CNN服务器130还可以通过为图像提供精细类别来响应对图像分类的请求。HD-CNN服务器130可以经由网络170或另一网络向其他机器(例如，电子商务服务器120和140或者设备150)提供数据。HD-CNN服务器130可以经由网络170或另一网络从其他机器(例如，电子商务服务器120和140或者设备150)接收数据。在一些示例性实施例中，这里描述的HD-CNN服务器130的功能在诸如个人计算机、平板计算机或智能电话之类的用户设备上执行。
图1中还示出了用户160。用户160可以是人类用户(例如，人类)、机器用户(例如，通过软件程序配置的与设备150和HD-CNN服务器130交互的计算机)或者它们的任意合适组合(例如，机器辅助的人或者人监管的机器)。用户160不是网络环境100的一部分，但与设备150相关联并且可以是设备150的用户。例如，设备150可以是属于用户160的传感器、台式计算机、车载计算机、平板计算机、导航设备、便携媒体设备或智能电话。
在一些示例性实施例中，HD-CNN服务器130接收与用户感兴趣的项目有关的数据。例如，附接到设备150A的相机可以拍摄用户160希望销售的项目的图像，并且通过网络170将该图像发送给HD-CNN服务器130。HD-CNN服务器130基于该图像对该项目进行分类。类别可被发送给电子商务服务器120或140、发送给设备150A、或其任何组合。电子商务服务器120或140可以使用该类别来辅助生成要出售的项目的列表。类似地，该图像可以是用户160感兴趣的项目的图像，并且可以由电子商务服务器120或140使用类别来帮助选择要向用户160显示的项目的列表。
图1中所示的机器、数据库或设备中的任意一个可以用通用计算机来实现，所述通用计算机通过软件修改(例如，配置或编程)为专用计算机，以执行本文针对所述机器、数据库或设备描述的功能。例如，以下参照图8-9讨论能够实现本文描述的方法中的任意一个或更多个的计算机系统。如本文所使用的，“数据库”是数据存储资源并可以存储数据，所述数据结构化为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元组存储、分层数据存储或它们的任意合适组合。此外，图1中示出的机器、数据库或设备的任意两个或更多个可以组合到单个机器中，并且本文针对任意单个机器、数据库或设备描述的功能可以再划分到多个机器、数据库或设备中。
网络170可以是实现机器、数据库和设备(例如，HD-CNN服务器130和设备150)之间的通信的任意网络。因此，网络170可以是有线网络、无线网络(例如，移动或蜂窝网络)、或其任意合适组合。网络170可以包括构成私有网络、公共网络(例如，互联网)或其任意合适组合的一个或多个部分。
图2是示出了根据一些示例实施例的HD-CNN服务器130的组件的框图。HD-CNN服务器130被示出为包括通信模块210、粗类别识别模块220、预训练模块230、微调模块240、分类模块250和存储模块260，这些模块全都被配置为彼此通信(例如，经由总线、共享存储器或交换机)。本文描述的任何一个或多个模块可以使用硬件(例如机器的处理器)来实现。此外，这些模块中的任何两个或更多个模块可被合并为单一模块，且本文中针对单一模块描述的功能可以再划分到多个模块中。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备中实施的模块可以分布在多个机器、数据库或设备中。
通信模块210被配置为发送和接收数据。例如，通信模块210可以通过网络170接收图像数据，并将接收的数据发送给分类模块250。作为另一示例，分类模块250可以识别项目的类别，并且可以由通信模块210通过网络170将项目的类别发送给电子商务服务器120。
粗类别识别模块220被配置为针对给定数据集来识别粗类别。粗类别识别模块220确定相关的精细类别，并将它们分组到粗类别。例如，所提供的数据集可以具有C个精细类别，并且HD-CNN设计者可以确定期望的粗类别的数量C′。粗类别识别模块220识别C个精细类别到C’个粗类别的映射。可以使用下面描述的图6的处理600将精细类别分组到粗类别。
预训练模块230和微调模块240被配置为确定HD-CNN的参数。预训练模块230对粗类别CNN和精细类别CNN进行预训练，以减少精细类别CNN之间的重叠。预训练完成之后，微调模块240提供对HD-CNN的附加调整。可以使用下面描述的图7的处理700来执行预训练和微调。
分类模块250被配置为接收并处理图像数据。图像数据可以是二维图像、来自连续视频流的帧、三维图像、深度图像、红外图像、双目图像或其任何合适的组合。例如，图像可以是从相机接收的。为了说明，相机可以拍摄图片，并将其发送给分类模块250。分类模块250通过使用HD-CNN来确定图像的精细类别(例如，通过使用粗类别CNN确定粗类别或粗类别权重，并且使用一个或多个精细类别CNN确定精细类别)。可以使用预训练模块230、微调模块240或这两者来生成HD-CNN。备选地，HD-CNN可以提供自外部源。
存储模块260被配置为存储和检索由粗类别识别模块220、预训练模块230、微调模块240和分类模块250生成和使用的数据。例如，由预训练模块230生成的HD-CNN可由存储模块260存储，以供微调模块240检索。由分类模块250生成的关于图像分类的信息也可以由存储模块260存储。电子商务服务器120或140可以(例如，通过提供图像标识符)请求图像的类别，所述图像的类别可以由存储模块260从存储器检索并使用通信模块210在网络170上发送。
图3是示出了根据一些示例实施例的设备150的组件的框图。设备150被示出为包括全都被配置为(例如，经由总线、共享存储器或交换机)彼此通信的输入模块310、相机模块320和通信模块330。本文描述的任何一个或多个模块可以使用硬件(例如机器的处理器)来实现。此外，这些模块中的任何两个或更多个模块可被合并为单一模块，且本文中针对单一模块描述的功能可以再划分到多个模块中。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备中实施的模块可以分布在多个机器、数据库或设备中。
输入模块310被配置为经由用户接口从用户接收输入。例如，用户可以将其用户名和密码输入到输入模块中，配置相机，选择用作列表或项目搜索的基础的图像，或其任何合适的组合。
相机模块320被配置为捕获图像数据。例如，可以从相机接收图像，可以从红外相机接收深度图像，可以从双目相机接收一对图像，等等。
通信模块330被配置为将输入模块310或相机模块320接收的数据传送给HD-CNN服务器130、电子商务服务器120或电子商务服务器140。例如，输入模块310可以接收：对利用相机模块320拍摄的图像的选择，以及关于图像描绘了用户(例如，用户160)希望销售的项目的指示。通信模块330可以将图像和指示传送给电子商务服务器120。电子商务服务器120可以将图像发送给HD-CNN服务器130以请求图像的分类，基于类别生成列表模板，以及使列表模板经由通信模块330和输入模块310而呈现给用户。
图4是示出根据一些示例实施例的分类图像的组图。在图4中，已经将二十七张图像正确分类为描绘苹果(组410)、橙子(组420)或公共汽车(组430)。组410-430在本文中被称为苹果、橙子和公共汽车。通过检查，区分苹果的成员和公共汽车的成员相对容易，而区分苹果的成员和橙子的成员则较困难。来自苹果和橙子的图像可能具有相似的形状、纹理和颜色，所以正确地区分它们较难。相比之下，来自公共汽车的图像通常具有与苹果不同的视觉外观，因此可以预期分类较容易。事实上，苹果和橙子这两个类别可以被定义为属于相同的粗类别，而公交汽车属于不同的粗类别。例如，在CIFAR 100数据集(其在“LearningMultiple Layers of Features from Tiny Images”，Krizhevsky(2009)中进行了讨论)中，苹果和橙子是“水果和蔬菜”中的子类别，而公交汽车是“车辆1”中的子类别。CIFAR 100数据集由自然图像的100个类组成。CIFAR 100数据集中有50,000张训练图像和10,000张测试图像。
图5是示出了根据一些示例实施例的分类模块250的组件之间的关系的框图。可以使用单个标准的深CNN作为HD-CNN的精细预测组件的构建块。如图5所示，粗类别CNN 520预测在粗类别上的概率。多个分支CNN 540-550是独立添加的。在一些示例性实施例中，分支CNN 540-550共享分支浅层530。粗类别CNN 520和多个分支CNN 540-550各自接收输入图像并且对输入图像并行操作。尽管每个分支CNN 540-550接收输入图像并给出在精细类别的全集上的概率分布，但是每个分支CNN 540-550的结果仅对类别的子集有效。由概率平均层560对来自分支CNN 540-550的多个完全预测进行线性组合，以形成由对应的粗别概率加权的最终精细类别预测。
以下的符号用于下面的讨论。数据集包括：Nt个训练样本{xi，yi}t(其中i在1到Nt的范围内)，以及Ns个测试样本{xi，yi}t(其中i在1到Ns的范围内)。xi和yi分别表示图像数据和图像标签。图像标签对应于图像的精细类别。在数据集{Sk}中有C个预定义的精细类别，其中k在1到C的范围内。该数据集中有C′个粗类别。
与标准的深CNN模型一样，HD-CNN实现端到端分类。虽然标准的深CNN模型仅由单个CNN组成，但是HD-CNN主要包括三个部分，即单个粗类别组件B(对应于粗类别CNN 520)、多个分支精细类别组件{Fj}(其中，j在1到C′的范围内(对应于分支CNN 540-550))、以及单个概率平均层(对应于概率平均层560)。单个粗类别CNN 520接收作为输入的原始图像像素数据，并且输出在粗类别上的概率分布。粗类别概率被概率平均层560用于为由分支CNN540-550做出的完全预测指派权重。
图5还示出了分支CNN 540-550的集合，每个分支CNN做出精细类别的全集上预测。在一些示例性实施例中，分支CNN 540-550共享浅层530中的参数，但具有独立的深层。浅层是CNN中最接近原始输入的层，而深层是更靠近最终输出的层。共享浅层中的参数可以会带来以下好处。首先，在浅层中，每个CNN可以提取原始低级特征(例如，斑点、拐角)，其对于分类所有精细类别是有用的。因此，即使每个分支组件聚焦在精细类别的不同集合上，也可以在分支组件之间共享浅层。第二，共享浅层中的参数大大降低了HD-CNN中的参数的总数，这可有助于HD-CNN模型的训练成功。如果每个分支精细类别组件是完全彼此独立训练的，则HD-CNN中的自由参数的数量将与粗类别的数量成线性比例。模型中的过大的参数数量将增加过拟合的可能性。第三，HD-CNN的计算成本和内存消耗也因为共享浅层而减少，这对于在实际应用中部署HD-CNN具有实践重要性。
概率平均层560接收所有分支CNN 540-550预测以及粗类别CNN 520预测，并产生加权平均作为图像i的最终预测p(xi)，如下面的等式所示。
在该等式中，Bij是粗类别CNN 520预测的图像i的粗类别j的概率。对于图像i，由第j个分支组件Fj做出的精细类别预测是pj(xi)。
粗类别CNN 520和分支CNN 540-550二者可被实现为任何端到端深CNN模型，其以原始图像作为输入，并且将在类别上的概率预测作为输出来返回。
对用于训练精细类别组件的多项物流损失函数使用时间稀疏度惩罚项将鼓励每个分支聚焦在精细类别的子集上。包含该时间稀疏度惩罚项的修正的损失函数由下面的等式示出：
在该等式中，n是训练小批次的大小，yi是图像i的基本真值标签(ground truthlabel)，λ是正则化常数。在一些示例实施例中，值5被用于λ。Bij是粗类别CNN 520预测的图像i的粗类别j的概率。分支j的目标时间稀疏度被表示为tj。
结合分支的初始化，时间稀疏度项可以确保每个分支组件聚焦于对精细类别的不同子集进行分类，并且防止少数分支接收粗类别概率体的大部分。
图6是示出根据一些示例实施例的在执行识别粗类别的处理600中HD-CNN服务器130的操作的流程图。处理600包括操作610、620、630、640和650。仅作为示例而非限制，操作610-650被描述为由模块210-260执行。
在操作610中，粗类别识别模块220将训练样本集合划分为训练集和评估集。例如，将由Nt个训练样本构成的数据集{xi，yi}t划分为两个部分train_train和train_val，其中i在1到Nt范围内。这可以通过选择所期望的train_train和train_val之间的样本分布来完成，例如70％对30％的分布。一旦选择了分布，针对每个集合，可以按照适当的比例随机选择样本。在操作620中，由预训练模块230使用标准训练技术，基于train_train来训练深CNN模型。例如，反向传播(back-propagation)训练算法是训练深CNN模型的一种选择。
在操作630中，粗类别识别模块220基于train_val来绘制混淆矩阵。混淆矩阵的大小为C×C。矩阵的列对应于预测的精细类别，而矩阵的行对应于train_val中的实际精细类别。例如，如果每个预测都是正确的，那么只有矩阵的主对角线中的单元格将是不为零的。相反，如果每个预测都是不正确的，那么矩阵的主对角线中的单元将都为零。
粗类别识别模块220通过从1减去混淆矩阵的每个元素并使D的对角元素归零来生成距离矩阵D。通过对D和DT(D的转置)求平均来使得距离矩阵对称。在执行这些操作之后，每个元素Dij度量类别i与类别j区分的容易度。
在操作640中，获得精细类别的低维特征表示{fi}，其中i在1至C的范围内。例如，拉普拉斯特征映射(Laplacian eigenmap)可被用于此目的。低维特征表示保留了低维流形(manifold)上的局部邻域信息，并且被用于将精细类别聚类到粗类别。在示例实施例中，使用k个最近邻居来构造邻接图。例如，值3可以用于k。通过使用热核(例如，具有宽度参数t＝0.95)来设置邻接图的权重。在一些示例性实施例中，{fi}的维数为3。
粗类别识别模块220(在操作650中)将C个精细类别聚类到C’个粗类别中。可以使用仿射传播(affinity propagation)、k-均值聚类或其他聚类算法来执行聚类。仿射传播可以自动引入粗类别的数量，并可能导致与其他聚类方法相比在尺寸方面更均衡的聚类。均衡聚类有助于确保每个分支组件处理类似数量的精细类别并因此具有类似的工作量。仿射传播中的阻尼因子λ可能影响所得聚类的数量。在一些示例性实施例中，λ被设置为0.98。聚类的结果是从精细类别y到粗类别y′的映射P(y)＝y’。
例如，通过基于数据集的50,000个训练图像和10,000个测试图像来训练深CNN模型，可以将CIFAR100数据集的100个类别划分到粗类别。粗类别的数量可被提供作为输入(例如，可以选择四个粗类别)，并且过程600用于将精细类别划分到粗类别。在一个示例实施例中，CIFAR100数据集的100个类别被划分到四个粗类别，如下表所示。
图7是示出根据一些示例实施例的在执行生成用于对图像进行分类的HD-CNN的处理700中HD-CNN服务器130的操作的流程图。处理700包括操作710、720、730、740、750和760。仅作为示例而非限制，操作710-760被描述为由模块210-260执行。
在操作710中，预训练模块230在粗类别的集合上训练粗类别CNN。例如，可以已经使用处理600识别了粗类别的集合。使用映射P(y)＝y′，用粗类别来替换训练数据集的精细类别。在示例实施例中，数据集{xi，y’i}被用于训练标准深CNN模型，其中i在1到Nt的范围内。被训练的模型成为HD-CNN的粗类别组件(例如，粗类别CNN520)。
在示例实施例中，使用由三个卷积层、一个完全连接层和一个SOFTMAX层构成的网络。每个卷积层有64个过滤器。修正线性单元(Rectified linear units，ReLU)被用作激活单元。在卷积层之间还使用汇集层和响应归一化层。在下面的示例1表格中定义了完整的示例架构。在下面的示例2表格中定义了另一示例架构。
在上表中，过滤器使用所指示的输入(例如，像素值)数目。例如，5x5过滤器查找5x5网格中的25个像素，以确定单个值。5x5过滤器考虑输入图像中的每个5x5网格。因此，具有64个5×5过滤器的层针对每个输入像素生成64个输出，这些值中的每一个基于以该输入像素为中心的5×5像素网格。MAX池具有针对像素集合的多个输入，并提供单个输出，即那些输入的最大值。例如，3x3MAX池层将针对每个3x3像素块输出一个值，即那9个像素中的最大值。AVG池具有针对像素集的多个输入，并提供单个输出，即那些输入的平均值(例如均值)。归一化层对从前一层输出的值进行归一化。cccp层向CNN提供非线性组件。SOFTMAX函数是归一化的指数函数，其提供多项物流回归的非线性变型。在一些示例实施例中，SOFTMAX函数获取K维的值向量，并输出K维的值向量，使得输出向量的元素总和为1并且在0至1的范围内。例如，下面的等式可被用于从输入向量z生成输出向量y：
其中j＝1，…，K.
在操作720中，预训练模块230还训练原型精细类别组件。例如，数据集{xi，yi}(其中i在1到Nt范围内)被用于训练标准深CNN模型，其成为原型精细类别组件。在示例实施例中，CIFAR100数据集被用于将CNN作为原型精细类别组件训练。
在操作730中，循环开始，以处理C’个精细类别组件中的每一个。因此，针对每个精细类别组件执行操作740和750。例如，当识别出四个粗类别时，循环将针对四个精细类别组件中的每一个进行迭代。
在操作740中，预训练模块230制作精细类别组件的原型精细类别组件的副本。因此，所有精细类别组件都被初始化为相同的状态。在与精细类别组件的粗类别对应的数据集部分上进一步训练精细类别组件。例如，可以使用数据集{xi，yi}的子集，其中P(yi)是粗类别。一旦所有精细类别组件和粗类别组件都已经被训练，则HD-CNN被构建。
针对精细类别组件的CNN的浅层可以保持固定，而深层允许在训练期间发生改变。例如，使用上述示例1的结构，对于每个精细类别组件，浅层conv1、pool1和norm1可以保持不变，而深层conv2、pool2、norm2、conv3、pool3、ip1和prob在每个精品类组件的训练期间被修改。在一些示例性实施例中，浅层的结构保持固定，但是在浅层内使用的值允许发生改变。关于上述示例2的结构，对于每个精细类别组件，浅层conv1、cccp1、cccp2、pool1和conv2可以保持不变，而深层cccp3、cccp4、pool2、conv3、cccp5、cccp6、pool3和prob在每个精细类别组件的训练期间被修改。
在操作760中，微调模块240对构造的HD-CNN进行微调。可以使用具有时间稀疏度惩罚的多项物流损失函数来执行微调。目标时间稀疏度{tj}(其中j在1到C’的范围内)可以使用映射P来定义。例如，可以使用下面的等式，其中Sk是来自精细类别k的图像集合。
可以基于计算时间和期望的每次迭代的学习量来选择用于微调的批次大小。例如，可以使用批次大小250。在每个批次后，可以测量训练误差。如果训练误差的改善率低于阈值，则可以降低学习速率(例如，降低10％，折半降低，或降低另一量)。当学习速率降低时，可以修改阈值。在达到最小学习速率之后(例如，当学习速率降低到原始值的50％以下时)，在预定数量的批次已被用于微调之后，或在其任何适当的组合下，微调处理停止。
根据各种示例实施例，本文描述的方法中的一种或多种可以促进生成用于图像分类的HD-CNN。此外，相对于标准深CNN而言，本文描述的方法中的一种或多种可以以较高的成功率促进对图像的分类。此外，相对于以前的方法而言，本文描述的方法中的一种或多种可以有助于更快地且使用较少的计算能力来为用户训练HD-CNN。类似地，与将CNN训练到一分辨率质量的情形相比，本文描述的方法中的一种或多种方法可以有助于利用较少的训练样本来以相同分辨率质量训练HD-CNN。
当总体考虑这些效果时，本文描述的方法中的一个或多个可以消除针对某些工作量或资源的需求，该某些工作量或资源原本是生成或者使用用于图像分类的HD-CNN所涉及的。通过本文描述的方法中的一个或多个，还可以减少用户在订购感兴趣的项目时所付出的努力。例如，根据图像准确地识别出用户感兴趣的项目的类别可以减少用户在创建项目列表或查找要购买的项目时花费的时间或工作量。可以类似地减少由(例如在网络环境100中的)一个或多个机器、数据库或设备使用的计算资源。这样的计算资源的示例包括处理器循环、网络流量、存储器使用状况、数据存储容量、功耗以及冷却能力。
软件架构
图8是示出了软件802的架构的框图800，所述软件可以安装在上述任意一个或多个设备上。图8仅为软件架构的非限制性示例，且应该了解，可以实施许多其他架构以促进实现本文中所描述的功能。软件802可以通过诸如图9的机器900之类的硬件来实现，所述机器900包括处理器910、存储器930、以及I/O组件950。在该示例架构中，软件802可被概念化为层的堆栈，其中每层可以提供特定的功能。例如，软件802包括诸如操作系统804、库806、框架808和应用810之类的层。在操作上，根据一些实施例，应用810通过软件栈调用应用编程接口(API)调用812，并响应于API调用812接收消息814。
在各种实现中，操作系统804管理硬件资源并提供公共服务。操作系统804包括例如内核820、服务822和驱动824。在一些实现中，内核820用作硬件和其他软件层之间的抽象层。例如，内核820尤其提供存储器管理、处理器管理(例如，调度)、组件管理、联网和安全设置等的功能。服务822可以为其他软件层提供其他公共服务。驱动824可以负责控制底层硬件或与底层硬件接口连接。例如，驱动824可以包括显示驱动、相机驱动、驱动、闪存驱动、串行通信驱动(例如通用串行总线(USB)驱动)，驱动、音频驱动、电源管理驱动等等。
在一些实现中，库806提供可以由应用810使用的低级公共基础设施。库806可以包括可以提供诸如存储器分配功能、串操纵功能、数学功能等的功能的系统库830(例如，C标准库)。另外，库806可以包括API库832，例如媒体库(例如，支持各种媒体格式的呈现和操纵的库，所述格式是比如运动图像专家组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)、或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中进行二维(2D)和三维(3D)渲染的OpenGL框架)、数据库(例如，提供各种关系数据库函数的SQLite)、web库(例如，提供网络浏览功能的WebKit)等。库806还可以包括各种各样的其他库834，以向应用810提供许多其他API。
根据一些实现，框架808提供可以被应用810使用的高级公共基础设施。例如，框架808提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架808可以提供可以被应用810使用的广泛的其他API，其中一些可以特定于特定的操作系统或平台。
在示例实施例中，应用810包括家庭应用850、联系人应用852、浏览器应用854、书阅读器应用856、位置应用858、媒体应用860、消息收发应用862、游戏应用864、以及诸如第三方应用866之类的各种各样的其他应用。根据一些实施例，应用810是执行在程序中定义的功能的程序。可以采用各种编程语言来创建以各种方式结构化的应用810中的一个或多个，诸如面向对象的编程语言(例如，Objective-C，Java或C++)或过程编程语言(例如C或汇编语言)。在具体示例中，第三方应用866(例如，由与特定平台的供应商不同的实体使用ANDROID TM或IOSTM软件开发工具包(SDK)而开发的应用)可以是在移动操作系统(诸如iOSTM、AndroidTM、Phone或其他移动操作系统)上运行的移动软件。在该示例中，第三方应用866可以调用由移动操作系统804提供的API调用812，以促进本文描述的功能。
示例机器架构和机器可读介质
图9是示出了根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)中读取指令并执行本文所讨论的方法中的任何一个或多个的机器900的组件的框图。具体地，图9示出了计算机系统的示例形式的机器900的示意性表示，在机器900中，可以执行指令916(例如，软件、程序、应用、小应用程序、app或其他可执行代码)以使机器900执行本文所讨论的方法中的任何一个或多个。在备选实施例中，机器900作为独立设备操作或可以耦合(例如，联网)到其他机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器900可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能家电)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥、或能够顺序地或以其他方式执行指定机器900要采取的动作的指令916的任意机器。此外，尽管仅示出了单个机器900，但是术语“机器”也将被认为包括机器900的集合，机器900单独地或联合地执行指令916以执行本文讨论的方法中的任何一个或多个。
机器900可以包括可被配置为经由总线902彼此通信的处理器910、存储器930和I/O组件950。在示例实施例中，处理器910(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、其他处理器或其任何适当组合)可以包括例如可以执行指令916的处理器912和处理器914。术语“处理器”旨在包括可以包括可以同时执行指令的两个或更多个独立处理器(也称为“核”)的多核处理器。尽管图9示出了多个处理器，但是机器900可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理)、具有单个核的多个处理器、具有多个核的多个处理器或其任意组合。
存储器930可以包括经由总线902可被处理器910访问的主存储器932、静态存储器934和存储单元936。存储单元936可以包括其上存储有指令916的机器可读介质938，所述指令916实现此处描述的方法或功能中的任意一个或多个。在机器900执行指令期间，指令916还可以完全地或至少部分地驻留在主存储器932内、静态存储器934内、处理器910中的至少一个内(例如，处理器的高速缓冲存储器内)、或其任何合适的组合内。因此，在各种实现中，主存储器932、静态存储器934和处理器910被认为是机器可读介质938。
如本文所使用的，术语“存储器”指能够临时或永久地存储数据的机器可读介质938，并且可以被看作包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存以及高速缓存存储器。虽然机器可读介质938在示例实施例中被示为是单个介质，但是术语“机器可读介质”应当被认为包括能够存储指令916的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还将被认为包括能够存储被机器(例如机器900)执行的指令(例如，指令916)的任何介质或多个介质的组合，使得指令在被机器900的一个或多个处理器(例如，处理器910)执行时使机器900执行本文所描述的方法中的任何一个或多个。因此，“机器可读介质”指单个存储装置或设备、以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。因此，术语“机器可读介质”应被理解为包括但不限于具有固态存储器(例如，闪存)、光介质、磁介质、其他非易失性存储器(例如，可擦除可编程只读存储器(EPROM))或其任意合适组合等的形式的一个或多个数据储存库。术语“机器可读介质”特别地排除非法定的信号本身。
I/O组件950包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种组件。通常，应当理解，I/O组件950可以包括图9中未示出的许多其他组件。可以根据功能将I/O组件950分组，以仅用于简化以下讨论，并且分组不以任何方式进行限制。在各种示例实施例中，I/O组件950包括输出组件952和输入组件954。输出组件952包括可视组件(例如显示器，比如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如，扬声器)、触觉组件(例如，振动马达)、其他信号发生器等。输入组件954包括字母数字输入组件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他定点仪器)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入组件)、音频输入组件(例如，麦克风)等。
在另一些示例实施例中，I/O组件950尤其包括生物测定组件956、运动组件958、环境组件960或位置组件962等的组件。例如，生物测定组件956包括用于检测表现(例如，手表现、面部表现、语音表现、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件958包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。环境组件960包括例如照度传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，机器嗅觉检测传感器、为安全而检测有害气体浓度或测量大气中的污染物的气体检测传感器)、或可以提供对应于周围物理环境的指示、测量或信号的其他组件。位置组件962包括位置传感器组件(例如，全球定位系统(GPS)接收机组件)、高度传感器组件(例如，高度计或检测气压的气压计(根据气压可以导出高度))、方位传感器组件(例如，磁力计)等。
可以使用各种各样的技术来实现通信。I/O组件950可以包括通信组件964，通信组件964可操作以分别经由耦接982和耦接972将机器900耦合到网络980或设备970。例如，通信组件964包括网络接口组件或与网络980接口连接的另一合适设备。在另一些示例中，通信组件964包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如低能)、组件、以及经由其他模态提供通信的其他通信组件。设备970可以是另一机器或各种外围设备中的任一种(例如，经由通用串行总线(USB)耦合的外围设备)。
此外，在一些实现中，通信组件964检测标识符或包括可操作以检测标识符的组件。例如，通信组件964包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，用于检测一维条形码(如通用产品代码(UPC)条形码)、多维条形码(如快速响应(QR)码、Aztec码、数据矩阵、数据字、MaxiCode、PDF417、超级码、统一商业码缩减空间符号(UCC RSS)-2D条形码以及其他光学代码)的光学传感器)、声学检测组件(例如，识别带标签的音频信号的麦克风)或其任意合适的组合。另外，可以经由通信组件964导出各种信息，诸如经由互联网协议(IP)地理位置的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等等。
传输介质
在各种示例实施例中，网络980的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网，互联网的一部分、公共交换电话网络(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一类型的网络、或两个或更多个这样的网络的组合。例如，网络980或网络980的一部分可以包括无线或蜂窝网络，并且耦接982可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接982可以实现各种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他标准、其他远程协议或其他数据传输技术。
在示例实施例中，使用传输介质在网络980上经由网络接口设备(例如，通信组件964中包括的网络接口组件)并利用多个公知传输协议(例如，超文本传输协议(HTTP))中的任意一个来发送或接收指令916。类似地，在其他示例实施例中，使用传输介质经由耦接972(例如，对等耦接)向设备970发送或接收指令916。术语“传输介质”应被认为包括能够存储、编码或携带用于被机器900执行的指令916的任何无形介质，并且包括用于促进该软件的通信的数字或模拟通信信号或其他无形介质。
此外，携带机器可读指令的传输介质或信号包括机器可读介质938的一个实施例。
语言
在该说明书中，复数实例可以实现被描述为单数实例的组件、操作或结构。虽然一个或多个方法的各个操作被示意和描述为分离的操作，但是各个操作中的一个或多个可以同时执行，并且无需按所示顺序执行操作。在示例配置中被示为分离组件的结构和功能可以被实现为组合结构或组件。类似地，被示为单个组件的结构和功能可以被实现为分离的组件。这些和其他变型、修改、添加和改进落入本主题的范围内。
尽管已经参考具体示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更宽范围的情况下，可以对这些实施例进行各种修改和改变。本发明主题的这些实施例在本文中可以单独地或共同地由术语“发明”提及，以仅仅为了方便，并且不旨在自动地将本申请的范围限制为任何单个公开或发明构思(如果事实上公开了一个以上)。
本文充分详细地描述了示出的实施例以使得本领域技术人员能够实现公开的教导。可以利用并根据这些实施例得出其他实施例，从而可以在不脱离本公开的范围的情况下做出结构和逻辑上的替换和改变。因此，该“具体实施方式”不应当看做是限制意义，并且各种实施例的范围仅通过所附权利要求以及权利要求的等同物的全部范围来限定。
如本文所使用的，术语“或”可以被解释为包括性或排他性的意义。此外，可以针对本文中描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在具体说明性配置的上下文中示出了特定操作。设想了功能的其他分配，并且这些分配可以落入本公开的各种实施例的范围内。一般来说，在示例配置中作为单独资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其他变型、修改、添加和改进落入由所附权利要求表示的本公开的实施例的范围内。因此，说明书和附图应当被看做说明性的而不是限制意义的。
以下列举的示例定义了本文讨论的方法、机器可读介质和系统(例如，装置)的各种示例实施例：
示例1一种系统，包括：
粗类别识别模块，被配置为：
访问包括分类数据的数据集，所述分类数据具有多个精细类别；
识别多个粗类别，所述粗类别的数量少于精细类别的数量；以及
针对每个精细类别，确定相关联的粗类别；
预训练模块，被配置为：
训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)；以及
训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；以及
分类模块，被配置为：
接收对数据进行分类的请求；
使用所述基础CNN，确定所述数据的粗类别；
使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及
响应于所述请求，发送所述数据的精细类别。
示例2根据示例1所述的系统，其中，所述粗类别识别模块还被配置为：
将所述数据集划分为训练集和值集；
使用所述训练集来训练第一CNN模型；以及
使用所述值集生成所述第一CNN模型的混淆矩阵；其中
针对每个精细类别确定相关联的粗类别包括：向所述混淆矩阵应用仿射传播算法。
示例3根据示例1或示例2所述的系统，其中，所述粗类别识别模块还被配置为：
使用拉普拉斯特征映射获取精细类别的低维特征表示。
示例4根据示例1到3中任一合适项所述的系统，其中，所述训练模块被配置为使用包括以下各项的操作来训练每个粗类别的精细CNN：
使用所述训练集来训练第二CNN模型；
根据所述第二CNN生成每个粗类别的精细CNN；以及
使用所述训练集的子集来训练每个粗类别的精细CNN，所述子集不包括具有与所述粗类别不相关联的精细类别的数据。
示例5根据示例1至4中任一合适项所述的设备，其中：
所述预训练模块还被配置为：将用于在粗类别之间进行区分的CNN与用于在精细类别之间进行区分的每个CNN进行组合，以形成分层深CNN(HD-CNN)；以及
所述系统还包括微调模块，所述微调模块被配置为对所述HD-CNN进行微调。
示例6根据示例5所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：
使用学习因子开始所述微调；
通过使用所述学习因子迭代一系列训练批次来训练所述HD-CNN；
在每次迭代之后，将所述训练批次的训练误差与阈值进行比较；
基于所述比较来确定所述训练批次的训练误差低于阈值；以及
响应于确定所述训练批次的训练误差低于阈值，修改所述学习因子。
示例7根据示例5或示例6所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：
在对每个所述CNN的评估中应用时间稀疏元素，以在精细类别之间进行区分。
示例8根据示例1到7中任一合适项所述的系统，其中，包括分类数据的所述数据集包括：分类图像。
示例9一种方法，包括：
访问包括分类数据的数据集，所述分类数据具有多个精细类别；
识别多个粗类别，所述粗类别的数量少于精细类别的数量；
针对每个精细类别，确定相关联的粗类别；
训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)，所述基础CNN由机器的处理器实现；以及
训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；
接收对数据进行分类的请求；
使用所述基础CNN，确定所述数据的粗类别；
使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及
响应于所述请求，发送所述数据的精细类别。
示例10根据示例9的方法，还包括：
将所述数据集划分为训练集和值集；
使用所述训练集来训练第一CNN模型；以及
使用所述值集生成所述第一CNN模型的混淆矩阵；其中
针对每个精细类别确定相关联的粗类别包括：向所述混淆矩阵应用仿射传播算法。
示例11根据示例9或示例10所述的方法，还包括：使用拉普拉斯特征映射获取精细类别的低维特征表示。
示例12根据示例9到11中任一项所述的方法，其中，所述训练每个粗类别的精细CNN包括：
使用所述训练集来训练第二CNN模型；
根据所述第二CNN生成每个粗类别的精细CNN；以及
使用所述训练集的子集来训练每个粗类别的精细CNN，所述子集不包括具有与所述粗类别不相关联的精细类别的数据。
示例13根据示例9到12中任一项所述的方法，还包括：
将所述基础CNN与每个精细CNN进行组合以形成分层深CNN(HD-CNN)；以及
对所述HD-CNN进行微调。
示例14根据示例9到13中任一项所述的方法，其中，对所述HD-CNN的微调包括：
使用学习因子开始所述微调；
通过使用所述学习因子迭代一系列训练批次来训练所述HD-CNN；
在每次迭代之后，将所述训练批次的训练误差与阈值进行比较；
基于所述比较来确定所述训练批次的训练误差低于阈值；以及
响应于确定所述训练批次的训练误差低于阈值，修改所述学习因子。
示例15根据示例9到14中任一项所述的方法，其中，所述微调模块对所述HD-CNN的微调包括：
在对每个所述CNN的评估中应用时间稀疏元素，以在精细类别之间进行区分。
示例16根据权利要求9所述的方法，其中，包括分类数据的所述数据集包括：分类图像。
示例17一种承载指令的机器可读介质，所述指令能够由机器的处理器执行以执行根据示例9到16中任一项所述的方法。

Claims (18)

1.一种系统，包括：
粗类别识别模块，被配置为：
访问包括分类数据的数据集，所述分类数据具有多个精细类别；
识别多个粗类别，所述粗类别的数量少于精细类别的数量；以及
针对每个精细类别，确定相关联的粗类别；
预训练模块，被配置为：
训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)；以及
训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；以及
分类模块，被配置为：
接收对数据进行分类的请求；
使用所述基础CNN，确定所述数据的粗类别；
使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及
响应于所述请求，发送所述数据的精细类别。
2.根据权利要求1所述的系统，其中，所述粗类别识别模块还被配置为：
将所述数据集划分为训练集和值集；
使用所述训练集来训练第一CNN模型；以及
使用所述值集生成所述第一CNN模型的混淆矩阵；其中
针对每个精细类别确定相关联的粗类别包括：向所述混淆矩阵应用仿射传播算法。
3.根据权利要求2所述的系统，其中，所述粗类别识别模块还被配置为：
使用拉普拉斯特征映射获取精细类别的低维特征表示。
4.根据权利要求2所述的系统，其中，所述训练模块被配置为使用包括以下各项的操作来训练每个粗类别的精细CNN：
使用所述训练集来训练第二CNN模型；
根据所述第二CNN生成每个粗类别的精细CNN；以及
使用所述训练集的子集来训练每个粗类别的精细CNN，所述子集不包括具有与所述粗类别不相关联的精细类别的数据。
5.根据权利要求1所述的系统，其中，
所述预训练模块还被配置为：将用于在粗类别之间进行区分的CNN与用于在精细类别之间进行区分的每个CNN进行组合，以形成分层深CNN(HD-CNN)；以及
所述系统还包括微调模块，所述微调模块被配置为对所述HD-CNN进行微调。
6.根据权利要求5所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：
使用学习因子开始所述微调；
通过使用所述学习因子迭代一系列训练批次来训练所述HD-CNN；
在每次迭代之后，将所述训练批次的训练误差与阈值进行比较；
基于所述比较来确定所述训练批次的训练误差低于阈值；以及
响应于确定所述训练批次的训练误差低于阈值，修改所述学习因子。
7.根据权利要求5所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：
在对每个所述CNN的评估中应用时间稀疏元素，以在精细类别之间进行区分。
8.根据权利要求1所述的系统，其中，包括分类数据的所述数据集包括：分类图像。
9.一种计算机实现的方法，包括：
访问包括分类数据的数据集，所述分类数据具有多个精细类别；
识别多个粗类别，所述粗类别的数量少于精细类别的数量；
针对每个精细类别，确定相关联的粗类别；
训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)；
训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；
接收对数据进行分类的请求；
使用所述基础CNN，确定所述数据的粗类别；
使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及
响应于所述请求，发送所述数据的精细类别。
10.根据权利要求9所述的方法，还包括：
将所述数据集划分为训练集和值集；
使用所述训练集来训练第一CNN模型；以及
使用所述值集生成所述第一CNN模型的混淆矩阵；其中
针对每个精细类别确定相关联的粗类别包括：向所述混淆矩阵应用仿射传播算法。
11.根据权利要求10所述的方法，还包括：使用拉普拉斯特征映射获取精细类别的低维特征表示。
12.根据权利要求10所述的方法，其中，所述训练每个粗类别的精细CNN包括：
使用所述训练集来训练第二CNN模型；
根据所述第二CNN生成每个粗类别的精细CNN；以及
使用所述训练集的子集来训练每个粗类别的精细CNN，所述子集不包括具有与所述粗类别不相关联的精细类别的数据。
13.根据权利要求9所述的方法，还包括：
将所述基础CNN与每个精细CNN进行组合以形成分层深CNN(HD-CNN)；以及
对所述HD-CNN进行微调。
14.根据权利要求13所述的方法，其中，对所述HD-CNN的微调包括：
使用学习因子开始所述微调；
通过使用所述学习因子迭代一系列训练批次来训练所述HD-CNN；
在每次迭代之后，将所述训练批次的训练误差与阈值进行比较；
基于所述比较来确定所述训练批次的训练误差低于阈值；以及
响应于确定所述训练批次的训练误差低于阈值，修改所述学习因子。
15.根据权利要求13所述的方法，其中，所述微调模块对所述HD-CNN的微调包括：
在对每个所述CNN的评估中应用时间稀疏元素，以在精细类别之间进行区分。
16.根据权利要求9所述的方法，其中，包括分类数据的所述数据集包括：分类图像。
17.一种非暂时性机器可读介质，其上实现有指令，所述指令能够由机器的处理器执行以执行包括以下各项的操作：
访问包括分类数据的数据集，所述分类数据具有多个精细类别；
识别多个粗类别，所述粗类别的数量少于精细类别的数量；
针对每个精细类别，确定相关联的粗类别；
训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)，所述CNN由机器的处理器实现；
训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；
接收对数据进行分类的请求；
使用所述基础CNN，确定所述数据的粗类别；
使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及
响应于所述请求，发送所述数据的精细类别。
18.一种承载指令的机器可读介质，所述指令能够由机器的处理器执行以完成根据权利要求9至16中任一项所述的方法。
CN201580058248.6A 2014-10-27 2015-10-27 分层深卷积神经网络 Pending CN107077625A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462068883P 2014-10-27 2014-10-27
US62/068,883 2014-10-27
US14/582,059 2014-12-23
US14/582,059 US10387773B2 (en) 2014-10-27 2014-12-23 Hierarchical deep convolutional neural network for image classification
PCT/US2015/057557 WO2016069581A1 (en) 2014-10-27 2015-10-27 Hierarchical deep convolutional neural network

Publications (1)

Publication Number Publication Date
CN107077625A true CN107077625A (zh) 2017-08-18

Family

ID=55792253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058248.6A Pending CN107077625A (zh) 2014-10-27 2015-10-27 分层深卷积神经网络

Country Status (6)

Country Link
US (1) US10387773B2 (zh)
EP (1) EP3213261A4 (zh)
JP (1) JP2017538195A (zh)
KR (1) KR20170077183A (zh)
CN (1) CN107077625A (zh)
WO (1) WO2016069581A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053836A (zh) * 2018-01-18 2018-05-18 成都嗨翻屋文化传播有限公司 一种基于深度学习的音频自动化标注方法
CN108764051A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置及移动终端
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络
US10387773B2 (en) 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110929623A (zh) * 2019-11-15 2020-03-27 北京达佳互联信息技术有限公司 多媒体文件的识别方法、装置、服务器和存储介质
CN110968073A (zh) * 2019-11-22 2020-04-07 四川大学 一种hvdc系统换相失败故障原因双层溯源辨识方法
CN111279363A (zh) * 2017-11-20 2020-06-12 谷歌有限责任公司 从图像生成对象嵌入
CN113705527A (zh) * 2021-09-08 2021-11-26 西南石油大学 一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007021667A2 (en) * 2005-08-09 2007-02-22 Walker Digital, Llc Apparatus, systems and methods for facilitating commerce
US10346726B2 (en) * 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
KR102486699B1 (ko) 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
US9818048B2 (en) * 2015-01-19 2017-11-14 Ebay Inc. Fine-grained categorization
JP2016146174A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 決定方法およびプログラム
EP3065086A1 (en) * 2015-03-02 2016-09-07 Medizinische Universität Wien Computerized device and method for processing image data
US11275747B2 (en) * 2015-03-12 2022-03-15 Yahoo Assets Llc System and method for improved server performance for a deep feature based coarse-to-fine fast search
US10687711B2 (en) 2015-05-05 2020-06-23 Medizinische Universität Wien Computerized device and method for processing image data
US10529318B2 (en) * 2015-07-31 2020-01-07 International Business Machines Corporation Implementing a classification model for recognition processing
US20180220589A1 (en) * 2015-11-03 2018-08-09 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
CN111310904B (zh) * 2016-04-29 2024-03-08 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络训练的装置和方法
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10614798B2 (en) 2016-07-29 2020-04-07 Arizona Board Of Regents On Behalf Of Arizona State University Memory compression in a deep neural network
US20180042176A1 (en) * 2016-08-15 2018-02-15 Raptor Maps, Inc. Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops
US9646243B1 (en) 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
US9715656B1 (en) 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
US11514642B2 (en) * 2016-10-08 2022-11-29 Purdue Research Foundation Method and apparatus for generating two-dimensional image data describing a three-dimensional image
US10860898B2 (en) 2016-10-16 2020-12-08 Ebay Inc. Image analysis and prediction based visual search
US11200273B2 (en) 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US11004131B2 (en) 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US11748978B2 (en) 2016-10-16 2023-09-05 Ebay Inc. Intelligent online personal assistant with offline visual search database
US10970768B2 (en) 2016-11-11 2021-04-06 Ebay Inc. Method, medium, and system for image text localization and comparison
WO2018093935A1 (en) * 2016-11-15 2018-05-24 Google Llc Training neural networks using a clustering loss
FR3059806B1 (fr) * 2016-12-06 2019-10-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede d'obtention d'un systeme de labellisation d'images, programme d'ordinateur et dispositif correspondants, systeme de labellisation d'images
EP3349152A1 (en) * 2017-01-17 2018-07-18 Catchoom Technologies S.L. Classifying data
US10660576B2 (en) 2017-01-30 2020-05-26 Cognizant Technology Solutions India Pvt. Ltd. System and method for detecting retinopathy
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
EP3631690A4 (en) * 2017-05-23 2021-03-31 Intel Corporation METHOD AND DEVICE FOR IMPROVING A NEURAL NETWORK USING BINARY TENSOR AND SCALE FACTOR PAIRS
WO2018217863A1 (en) 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for enhancing a binary weight neural network using a dependency tree
WO2018222897A1 (en) * 2017-06-01 2018-12-06 University Of Washington Smartphone-based digital pupillometer
WO2018224437A1 (en) * 2017-06-05 2018-12-13 Siemens Aktiengesellschaft Method and apparatus for analysing an image
WO2018228399A1 (zh) * 2017-06-13 2018-12-20 上海寒武纪信息科技有限公司 运算装置和方法
US11517768B2 (en) * 2017-07-25 2022-12-06 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
CN107610091A (zh) * 2017-07-31 2018-01-19 阿里巴巴集团控股有限公司 车险图像处理方法、装置、服务器及系统
US10803105B1 (en) 2017-08-03 2020-10-13 Tamr, Inc. Computer-implemented method for performing hierarchical classification
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
KR102532748B1 (ko) 2017-09-08 2023-05-16 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
KR102060176B1 (ko) * 2017-09-12 2019-12-27 네이버 주식회사 문서의 카테고리 분류를 위한 딥러닝 학습 방법 및 그 시스템
CN109543139B (zh) * 2017-09-22 2021-09-17 杭州海康威视数字技术股份有限公司 卷积运算方法、装置、计算机设备及计算机可读存储介质
US10599978B2 (en) 2017-11-03 2020-03-24 International Business Machines Corporation Weighted cascading convolutional neural networks
US11164078B2 (en) 2017-11-08 2021-11-02 International Business Machines Corporation Model matching and learning rate selection for fine tuning
US10762125B2 (en) 2017-11-14 2020-09-01 International Business Machines Corporation Sorting images based on learned actions
KR102095335B1 (ko) * 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
US11681912B2 (en) * 2017-11-16 2023-06-20 Samsung Electronics Co., Ltd. Neural network training method and device
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
CN108229363A (zh) * 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
CN108304920B (zh) * 2018-02-02 2020-03-10 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法
WO2019204700A1 (en) * 2018-04-19 2019-10-24 University Of South Florida Neonatal pain identification from neonatal facial expressions
US11068939B1 (en) 2018-04-27 2021-07-20 Gbt Travel Services Uk Limited Neural network for optimizing display of hotels on a user interface
CN110717929A (zh) * 2018-07-11 2020-01-21 腾讯科技（深圳）有限公司 图像目标检测方法、装置及存储介质
WO2020019102A1 (en) * 2018-07-23 2020-01-30 Intel Corporation Methods, systems, articles of manufacture and apparatus to train a neural network
JP7257756B2 (ja) * 2018-08-20 2023-04-14 キヤノン株式会社 画像識別装置、画像識別方法、学習装置、及びニューラルネットワーク
CN110879950A (zh) * 2018-09-06 2020-03-13 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
KR20200030806A (ko) 2018-09-13 2020-03-23 삼성전자주식회사 반도체 제조 공정을 모니터링하기 위해 인공 신경망에 기초하는 이미지 변환 모델을 포함하는 비일시적 컴퓨터 판독가능 매체 그리고 반도체 웨이퍼의 이미지를 변환하는 방법
KR20200052440A (ko) * 2018-10-29 2020-05-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2020100060A1 (en) * 2018-11-13 2020-05-22 3M Innovative Properties Company System and method for risk classification and warning of flashover events
US11366874B2 (en) 2018-11-23 2022-06-21 International Business Machines Corporation Analog circuit for softmax function
CN109671026B (zh) * 2018-11-28 2020-09-29 浙江大学 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN109596326B (zh) * 2018-11-30 2020-06-12 电子科技大学 基于优化结构卷积神经网络的旋转机械故障诊断方法
US10867210B2 (en) 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
CN109753999B (zh) * 2018-12-21 2022-06-07 西北工业大学 针对任意视角汽车图片的细粒度车型识别方法
JP6991960B2 (ja) * 2018-12-28 2022-01-13 Kddi株式会社 画像認識装置、画像認識方法及びプログラム
US11557107B2 (en) 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
CN109919177B (zh) * 2019-01-23 2022-03-29 西北工业大学 基于层次化深度网络的特征选择方法
US10915809B2 (en) 2019-02-04 2021-02-09 Bank Of America Corporation Neural network image recognition with watermark protection
CN109951357A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于多层神经网络的网络应用识别方法
CN109871835B (zh) * 2019-03-27 2021-10-01 南开大学 一种基于互斥正则化技术的人脸识别方法
EP3745311A1 (en) * 2019-05-29 2020-12-02 i2x GmbH A classification apparatus and method for optimizing throughput of classification models
CN110322050B (zh) * 2019-06-04 2023-04-07 西安邮电大学 一种风能资源数据补偿方法
CN110414358B (zh) * 2019-06-28 2022-11-25 平安科技（深圳）有限公司 基于人脸智能识别的信息输出方法、装置及存储介质
US11132577B2 (en) 2019-07-17 2021-09-28 Cognizant Technology Solutions India Pvt. Ltd System and a method for efficient image recognition
CN110929629A (zh) * 2019-11-19 2020-03-27 中国科学院遥感与数字地球研究所 一种基于改进cnn的群体建筑物损毁遥感分类方法
US11341370B2 (en) 2019-11-22 2022-05-24 International Business Machines Corporation Classifying images in overlapping groups of images using convolutional neural networks
CN110910067A (zh) * 2019-11-25 2020-03-24 南京师范大学 一种结合深度学习与Q-learning的活鱼运输水质智能调控方法和系统
CN110991374B (zh) * 2019-12-10 2023-04-04 电子科技大学 一种基于rcnn的指纹奇异点检测方法
US11514292B2 (en) 2019-12-30 2022-11-29 International Business Machines Corporation Grad neural networks for unstructured data
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US10769198B1 (en) * 2020-02-06 2020-09-08 Caastle, Inc. Systems and methods for product identification using image analysis from image mask and trained neural network
US11077320B1 (en) 2020-02-07 2021-08-03 Elekta, Inc. Adversarial prediction of radiotherapy treatment plans
US11436450B2 (en) 2020-03-31 2022-09-06 The Boeing Company Systems and methods for model-based image analysis
CN111506728B (zh) * 2020-04-16 2023-06-06 太原科技大学 基于hd-mscnn的层次结构文本自动分类方法
CN111782356B (zh) * 2020-06-03 2022-04-08 上海交通大学 权重稀疏神经网络芯片的数据流方法及系统
US11379978B2 (en) 2020-07-14 2022-07-05 Canon Medical Systems Corporation Model training apparatus and method
US20220058449A1 (en) * 2020-08-20 2022-02-24 Capital One Services, Llc Systems and methods for classifying data using hierarchical classification model
US11948059B2 (en) * 2020-11-19 2024-04-02 International Business Machines Corporation Media capture device with power saving and encryption features for partitioned neural network
US20220201295A1 (en) * 2020-12-21 2022-06-23 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using prediction
CN112729834B (zh) * 2021-01-20 2022-05-10 北京理工大学 一种轴承故障的诊断方法、装置和系统
CN113077441A (zh) * 2021-03-31 2021-07-06 上海联影智能医疗科技有限公司 冠脉钙化斑块分割方法和计算冠脉钙化积分的方法
CN115277154A (zh) * 2022-07-22 2022-11-01 辽宁工程技术大学 一种基于鲸鱼优化BiGRU网络入侵的检测方法
CN116310826B (zh) * 2023-03-20 2023-09-22 中国科学技术大学 一种基于图神经网络的高分遥感影像林地二级分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153196A1 (en) * 2007-06-13 2008-12-18 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US20110239032A1 (en) * 2008-12-04 2011-09-29 Canon Kabushiki Kaisha Convolution operation circuit and object recognition apparatus
CN103544506A (zh) * 2013-10-12 2014-01-29 Tcl集团股份有限公司 一种基于卷积神经网络的图像分类方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324532B1 (en) 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US7082394B2 (en) 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
US20140307076A1 (en) 2013-10-03 2014-10-16 Richard Deutsch Systems and methods for monitoring personal protection equipment and promoting worker safety
WO2015078018A1 (en) * 2013-11-30 2015-06-04 Xiaoou Tang Method and system for face image recognition
US9530071B2 (en) * 2014-10-10 2016-12-27 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
US10387773B2 (en) 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153196A1 (en) * 2007-06-13 2008-12-18 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US20110239032A1 (en) * 2008-12-04 2011-09-29 Canon Kabushiki Kaisha Convolution operation circuit and object recognition apparatus
CN103544506A (zh) * 2013-10-12 2014-01-29 Tcl集团股份有限公司 一种基于卷积神经网络的图像分类方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHICHENG YAN ET AL: "HD-CNN: Hierarchical Deep Convolutional Neural Network for Image Classification", 《URL:HTTPS://ARXIV.ORG/PDF/1410.0736V1.PDF》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387773B2 (en) 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
US11126820B2 (en) 2017-11-20 2021-09-21 Google Llc Generating object embeddings from images
CN111279363B (zh) * 2017-11-20 2021-04-20 谷歌有限责任公司 从图像生成对象嵌入
CN111279363A (zh) * 2017-11-20 2020-06-12 谷歌有限责任公司 从图像生成对象嵌入
CN108053836B (zh) * 2018-01-18 2021-03-23 成都嗨翻屋科技有限公司 一种基于深度学习的音频自动化标注方法
CN108053836A (zh) * 2018-01-18 2018-05-18 成都嗨翻屋文化传播有限公司 一种基于深度学习的音频自动化标注方法
CN108764051A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置及移动终端
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN109063824B (zh) * 2018-07-25 2023-04-07 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络
CN110929623A (zh) * 2019-11-15 2020-03-27 北京达佳互联信息技术有限公司 多媒体文件的识别方法、装置、服务器和存储介质
CN110852288B (zh) * 2019-11-15 2022-07-05 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110968073B (zh) * 2019-11-22 2021-04-02 四川大学 一种hvdc系统换相失败故障原因双层溯源辨识方法
CN110968073A (zh) * 2019-11-22 2020-04-07 四川大学 一种hvdc系统换相失败故障原因双层溯源辨识方法
CN113705527A (zh) * 2021-09-08 2021-11-26 西南石油大学 一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法
CN113705527B (zh) * 2021-09-08 2023-09-22 西南石油大学 一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法

Also Published As

Publication number Publication date
JP2017538195A (ja) 2017-12-21
WO2016069581A1 (en) 2016-05-06
KR20170077183A (ko) 2017-07-05
EP3213261A4 (en) 2018-05-23
US10387773B2 (en) 2019-08-20
EP3213261A1 (en) 2017-09-06
US20160117587A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
CN107077625A (zh) 分层深卷积神经网络
US10853739B2 (en) Machine learning models for evaluating entities in a high-volume computer network
CN107430691A (zh) 识别图像中描绘的物品
CN109964236B (zh) 用于检测图像中的对象的神经网络
CN107592839A (zh) 细粒度分类
CN105224075B (zh) 基于传感器的移动搜索、相关方法和系统
CN102893327B (zh) 直觉计算方法和系统
CN109844761A (zh) 面部的神经网络建模
CN102884779B (zh) 直觉计算方法和系统
US11372940B2 (en) Embedding user categories using graphs for enhancing searches based on similarities
CN109247071A (zh) 可变地理围栏系统
CN107851319A (zh) 区域增强现实持久性标签对象
CN107924590A (zh) 增强现实系统中的基于图像的跟踪
CN109416731A (zh) 文档光学字符识别
CN108475388A (zh) 用于识别靠前属性的用户界面
CN113228693B (zh) 动态上下文媒体过滤器
CN112106094A (zh) 基于效用的价格指导
CN109154945A (zh) 基于数据属性的新连接推荐
CN108885702A (zh) 图像的分析和链接
CN108701140A (zh) 从图像生成结构化查询
CN109978175A (zh) 用于机器学习模型的并行化坐标下降法
CN110175297A (zh) 馈送中的个性化的每成员模型
CN107710186A (zh) 通过选择性索引进行的搜索引擎优化
US11676184B2 (en) Subscription based travel service
CN116601961A (zh) 视觉标签显露模式检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818