CN110598028A - 图像分类方法、装置及存储介质、电子设备 - Google Patents

图像分类方法、装置及存储介质、电子设备 Download PDF

Info

Publication number
CN110598028A
CN110598028A CN201910843986.1A CN201910843986A CN110598028A CN 110598028 A CN110598028 A CN 110598028A CN 201910843986 A CN201910843986 A CN 201910843986A CN 110598028 A CN110598028 A CN 110598028A
Authority
CN
China
Prior art keywords
image
target
layer
capsule
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910843986.1A
Other languages
English (en)
Other versions
CN110598028B (zh
Inventor
刘弘一
陈若田
熊军
李若鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910843986.1A priority Critical patent/CN110598028B/zh
Publication of CN110598028A publication Critical patent/CN110598028A/zh
Application granted granted Critical
Publication of CN110598028B publication Critical patent/CN110598028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书的实施例公开了一种图像分类方法、装置及存储介质、电子设备，涉及图像处理领域。首先通过经卷积层对目标图像的图像像素矩阵提取基础特征；然后经胶囊层根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；最后经全连接层根据路由更新后的图像特征向量重构目标图像，从而使得重构后的目标图像保留了目标图像的重要信息，最后将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。

Description

图像分类方法、装置及存储介质、电子设备
技术领域
本说明书的实施例提供了一种图像分类方法、装置及存储介质、电子设备。
背景技术
对于一些企业而言，为了扩大宣传，需要对广告进行外投。如将广告投放至网站、报子、杂志、电梯间、公交站台等区域，广告图片的主要来自企业内部图片数据源。因而，在进行广告外投之前，需要从内部图片数据源中筛选出广告图片。
目前的方案，对于广告图片的筛选，在处理的过程中，会导致图片中的多种重要的信息丢失，如，图像姿态参数，在后续无法完成对广告图像的精确筛选，由此，需要提供精确地识别广告图像的方案。
发明内容
第一方面，本说明书的实施例提供了一种图像分类方法，应用于胶囊网络，所述胶囊网络为预先通过历史图像样本及所述历史图像样本关联的分类标签训练得到的，其中，所述分类标签包括广告图像标签与非广告图像标签，所述胶囊网络包括依次连接的卷积层、胶囊层、全连接层，所述方法包括：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
可选地，所述胶囊层包括主胶囊层与数字胶囊层，所述经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新包括：
经所述主胶囊层根据所述基础特征生成表征目标图像中的目标区域包含目标特征的概率、目标区域的图像特征参数的图像特征向量；
经所述数字胶囊层对图像特征向量进行传播与路由更新。
可选地，所述图像特征向量包括图像特征参数，所述图像特征参数包括位置信息、翻转情况、形状、亮度、尺寸中的至少一种。
可选地，所述全连接层包括多个依次连接的全连接单元及softmax层，所述经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类包括：
经多个全连接单元逐级提取路由更新后的所述图像特征向量的高阶特征，并根据高阶特征重构目标图像；
经所述softmax层将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
可选地，所述全连接单元为依次进行权重计算、动态路由调节、激活函数运算的网络结构。
可选地，在所述经所述卷积层对目标图像的图像像素矩阵提取基础特征之前，所述方法还包括：
提取历史图像样本的布局、内容、色调中至少一种特征；
根据所述历史图像样本的布局、内容、色调中至少一种特征及预先对历史图像样本标识的分类标签构建训练样本训练所述胶囊网络。
可选地，在所述将目标图像的图像矩阵输入多个预先训练的胶囊网络之前，所述方法还包括：
对目标图像进行缩放、旋转、裁剪、边缘检测、分辨率增强中的至少一种预处理操作。
可选地，在所述经所述卷积层对目标图像的图像像素矩阵提取基础特征之前，所述方法还包括：
基于多个处理引擎并行加载所述胶囊网络。
第二方面，本说明书的实施例还提供了一种图像分类装置，应用于胶囊网络，所述胶囊网络为预先通过历史图像样本及所述历史图像样本关联的分类标签训练得到的，其中，所述分类标签包括广告图像标签与非广告图像标签，所述胶囊网络包括依次连接的卷积层、胶囊层、全连接层，所述装置包括：
基础特征提取单元，经所述卷积层对目标图像的图像像素矩阵提取基础特征；
特征向量提取单元，经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
图像分类单元，经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
第三方面，本说明书的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
第四方面，本说明书的实施例还提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
本说明书的实施例采用的上述至少一个技术方案能够达到以下有益效果：
首先通过经卷积层对目标图像的图像像素矩阵提取基础特征；由于胶囊层封装了图像的图像特征参数，可以保证图像在后续处理的过程中保证图像特征参数不丢失，然后经胶囊层根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；最后经全连接层根据路由更新后的图像特征向量重构目标图像，从而使得重构后的目标图像也保留了目标图像的图像特征参数，最后将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类，从而实现了对广告图像的精确筛选。
附图说明
此处所说明的附图用来提供对本说明书的实施例的进一步理解，构成本说明书的实施例的一部分，本说明书的实施例的示意性实施例及其说明用于解释本说明书的实施例，并不构成对本说明书的实施例的不当限定。在附图中：
图1为本说明书实施例提供的用户终端与服务器的交互示意图；
图2为本说明书实施例提供的胶囊网络的层次架构图；
图3为本说明书的一种实施例提供的图像分类方法的流程图；
图4为本说明书的一种实施例提供的图像分类方法的流程图；
图5为本说明书的一种实施例提供的图像分类方法的流程图；
图6为本说明书的一种实施例提供的图像分类方法的流程图；
图7为本说明书的一种实施例提供的图像分类装置的功能单元框图；
图8为本说明书的一种实施例提供的图像分类装置的功能单元框图
图9为本说明书的一种实施例提供的图像分类装置的功能单元框图
图10为本说明书的一种实施例提供的图像分类装置的功能单元框图；
图11为本说明书的一种实施例提供的电子设备的电路连接框图。
具体实施方式
为使本说明书的实施例的目的、技术方案和优点更加清楚，下面将结合本说明书的实施例具体实施例及相应的附图对本说明书的实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的实施例一部分实施例，而不是全部的实施例。基于本说明书的实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书的实施例保护的范围。
以下结合附图，详细说明本说明书的实施例各实施例提供的技术方案。
胶囊网络：胶囊网络是由胶囊而不是神经元组成，胶囊是用于学习检测给定图像区域内特定对象(如矩形)的一小组神经元，它输出一个向量(如一个8维矢量)，该向量的长度表示被检测对象存在的估计概率，而方向(如在8维空间中)对被检测对象的图像特征参数(如位置信息，翻转情况等)进行编码。如果被检测对象发生改变(如移动、旋转、调整大小等)，则胶囊将输出相同长度的矢量，但向量的方向不同，因此，胶囊是等变的。
卷积层：由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的图像的不同基本特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
胶囊层：胶囊层封装有表示图像中特定实体的各种特征，表征图像中实例化实体的存在。实例化实体为诸如位置、大小、方向、变形、速度、反照率、色调、纹理等图像参数。胶囊层可以被组织成不同层次，其中，同一层的胶囊进行预测、学习对象的形状，并将其传递给学习方向的更高层次的胶囊。当多个预测一致时，更高级别的胶囊层变得活跃，上述过程为动态路由。具体地，胶囊层的初级层接收图像的一个区域作为输入(称为感受野)，以检测特定图案(如圆圈)的存在和姿态。胶囊层的高级层检测更大和更复杂的物体，如由两个圆组成的数字8，然后使用新的挤压函数来保证这些向量的长度在0-1之间。
全连接层：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，重构图像。具体地，全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。全连接层每个神经元的激励函数通常采用ReLU函数。最后一层全连接层的输出值被传递给输出，例如，可以采用softmax逻辑回归进行分类。
请参阅图1，本说明书的实施例提供了一种图像分类方法，应用于服务器101，服务器101加载有胶囊网络，胶囊网络为预先通过历史图像样本及历史图像样本关联的分类标签训练得到的，其中，分类标签包括广告图像标签与非广告图像标签，其中，分类标签是工作人员预先通过用户终端102标记于历史图像样本的。如图2所示，胶囊网络包括依次连接的卷积层201、胶囊层202、全连接层203，服务器101与用户终端102通信连接，以便进行数据交互。如图3所示，所述方法包括：
S30：经卷积层201对目标图像的图像像素矩阵提取基础特征。
具体地，用户可以在用户终端102的应用程序输入目标图像，目标图像可以为企业中的内部图片数据源的图像(含广告图像与非广告图像)，然后点击“发送”，可以将目标图像发送至服务器101，服务器101将目标图像输入至预先训练的胶囊网络，预先训练的胶囊网络开始对目标图像提取基础特征，其中，基础特征可以为图像的边缘、线条和角等等。具体地，在说明书的实施例的胶囊网络中，卷积层201可以包括256个步长为1的9x9x1核，可以被ReLU激活。
在本说明书的实施例中，在执行S201之前，可以预先对目标图像进行缩放、旋转、裁剪、边缘检测、分辨率增强中的至少一种预处理操作，去除对图像进行分类的干扰因子，以便为更精确的对目标图像进行分类打下基础。
S32：经胶囊层202根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新。
其中，图像特征向量包含图像特征参数，图像特征参数可以包括位置信息、翻转情况、形状、亮度、尺寸中的至少一种。胶囊层202包括有多个胶囊，每个胶囊包括一组神经元，神经元对目标区域的一种图像特征参数进行识别。例如，一组神经元中的神经元A识别目标区域的姿态、神经元B识别目标区域的形状、神经元C识别目标区域的翻转情况等等，胶囊通过多个神经元的识别结果，得出目标区域包括目标特征的概率。
可以理解地，上述的卷积层201、主胶囊层、数字胶囊层组成对胶囊网络的编码器。
S34：经全连接层203根据路由更新后的图像特征向量重构目标图像，将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
例如，将目标图像的布局、内容、色调为明显表征广告宣传的目标图像分类为广告图像。如，将布局为从上到下为主题、正文内容、图片、商标的布局；正文内容包括联系电话、联系地址，色调包含多种颜色的目标图像，确定为广告图像。
另外，可以将确定为广告图像的目标图像反馈至用户终端102，并在用户终端102的应用程序的显示界面显示，以供用户选择并投放。
本说明书的实施例提供的图像分类方法，首先通过经卷积层201对目标图像的图像像素矩阵提取基础特征；由于胶囊层202封装了图像的图像特征参数，可以保证图像在后续处理的过程中保证图像特征参数不丢失，然后经胶囊层202根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；最后经全连接层203根据路由更新后的图像特征向量重构目标图像，从而使得重构后的目标图像也保留了目标图像的图像特征参数，最后将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类，从而实现了对广告图像的精确筛选。
可选地，如图4所示，S32包括：
S40：经主胶囊层根据基础特征生成表征目标图像中的目标区域包含目标特征的概率、目标区域的图像特征参数的图像特征向量。
本说明书的实施例的主胶囊层为多维度实体类别的最底层，可以包含32个通道，每个通道均由一个8维卷积结构组成，每个通道输出一个8维向量，可以达到8*1的特征封装的效果。主胶囊层包含一组神经元，其输入输出向量表示特定实体类别的实例化参数。本说明书的实施例的特定实体类别为广告图像特征，例如，电话号码、联系地址、商标图片等等。举例地，本说明书的实施例的主胶囊层的卷积核可以为9*9卷积核以及步幅为2，其中，主胶囊层的卷积计算并未使用ReLU(线性整流函数，Rectified Linear Unit)等激活函数，而是以向量的方式预备输入到下一层数字胶囊层中。
S42：经数字胶囊层对图像特征向量进行传播与路由更新。
具体地，在数字胶囊层中，每个数字胶囊的激活向量模长给出了每个特定实体类别的实例是否存在，比如，数字胶囊层的输出范围在0到1之间，0表示特定实体类别的实例不存在，1表示特定实体类别的实例存在。数字胶囊层的输入是主胶囊层中所有胶囊的输出向量，输入向量的向量维度为[8，1]；数字胶囊层的输出向量的向量维度为[16，1]。
可选地，如图5所示，S33包括：
S50：经多个全连接单元逐级提取路由更新后的图像特征向量的高阶特征，并根据高阶特征重构目标图像。
可选地，全连接单元为根据高阶特征依次进行权重计算、动态路由调节、激活函数运算的网络结构。具体地，本说明书的实施例中，可以包含依次连接的3个全连接单元，其中，前2个全连接单元采用ReLU激活函数进行计算，第3个全连接单元采用Sigmoid激活函数进行计算重构误差，以得到重构目标图像。可以理解地，上述的3个全连接单元构成胶囊网络的解码器。
具体地，全连接层203的将从数字胶囊层接收到的向量经重构处理后得到重构向量，该重构向量与输入图像经矩阵拉伸后的向量进行和方差计算即得到重构误差，以对目标图像进行重构。
S52：经softmax层将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
可选地，如图6所示，在S30之前，所述方法还包括：
S60：提取历史图像样本的布局、内容、色调中至少一种特征。
S62：根据历史图像样本的布局、内容、色调中至少一种特征及预先对历史图像样本标识的分类标签构建训练样本训练胶囊网络。
S64：基于多个处理引擎并行加载胶囊网络。
多个处理引擎并行加载胶囊网络，当利用胶囊网络执行上述的S31-S33的流程时，可以提高对目标图像进行分类的效率。
请参阅图7，本说明书的实施例还提供了一种图像分类装置700，应用于胶囊网络，胶囊网络为预先通过历史图像样本及历史图像样本关联的分类标签训练得到的，胶囊网络包括依次连接的卷积层201、胶囊层202、全连接层203，所述装置700包括基础特征提取单元701、特征向量提取单元702以及图像分类单元703，其中，
基础特征提取单元701，经卷积层201对目标图像的图像像素矩阵提取基础特征。
特征向量提取单元702，经胶囊层202根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新。
图像特征向量包括图像特征参数，图像特征参数包括位置信息、翻转情况、形状、亮度、尺寸中的至少一种。
图像分类单元703经全连接层203根据路由更新后的图像特征向量重构目标图像，将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
本说明书的实施例提供的图像分类装置700，在执行功能时可以实现：首先通过经卷积层201对目标图像的图像像素矩阵提取基础特征；由于胶囊层202封装了图像的图像特征参数，可以保证图像在后续处理的过程中保证图像特征参数不丢失，然后经胶囊层202根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；最后经全连接层203根据路由更新后的图像特征向量重构目标图像，从而使得重构后的目标图像也保留了目标图像的图像特征参数，最后将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类，从而实现了对广告图像的精确筛选。
可选地，胶囊层202包括主胶囊层与数字胶囊层，如图8所示，特征向量提取单元702包括：
特征向量生成单元801，经主胶囊层根据基础特征生成表征目标图像中的目标区域包含目标特征的概率、目标区域的图像特征参数的图像特征向量。
特征向量处理单元802，经数字胶囊层对图像特征向量进行传播与路由更新。
全连接层203包括多个依次连接的全连接单元及softmax层，如图9所示，图像分类单元703包括：
图像重构单元901，经多个全连接单元逐级提取路由更新后的图像特征向量的高阶特征，并根据高阶特征重构目标图像。
分类确定单元902，经softmax层将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
具体地，全连接单元为依次进行权重计算、动态路由调节、激活函数运算的网络结构。
可选地，如图10所示，所述装置700还可以包括：
图像特征提取单元1001，提取历史图像样本的布局、内容、色调中至少一种特征。
模型训练单元1002，根据历史图像样本的布局、内容、色调中至少一种特征及预先对历史图像样本标识的分类标签构建训练样本训练胶囊网络。
模型加载单元1003，基于多个处理引擎并行加载胶囊网络。
图像预处理单元1004，对目标图像进行缩放、旋转、裁剪、边缘检测、分辨率增强中的至少一种预处理操作。
需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤21和步骤22的执行主体可以为设备1，步骤23的执行主体可以为设备2；又比如，步骤21的执行主体可以为设备1，步骤22和步骤23的执行主体可以为设备2；等等。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
图11是本说明书的实施例的一个实施例电子设备的结构示意图，其中电子设备可以为上述实施例中的服务器。请参考图11，在硬件层面，该电子设备包括处理器，可选地，还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像分类装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
经卷积层对目标图像的图像像素矩阵提取基础特征；
经胶囊层根据基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经全连接层根据路由更新后的图像特征向量重构目标图像，将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
上述如本说明书的实施例图3所示实施例揭示的图像分类装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书的实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书的实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3的方法，并实现图像分类装置在图3所示实施例的功能，本说明书的实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书的实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书的实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下操作：
经卷积层对目标图像的图像像素矩阵提取基础特征；
经胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经全连接层根据路由更新后的图像特征向量重构目标图像，将目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
总之，以上所述仅为本说明书的实施例的较佳实施例而已，并非用于限定本说明书的实施例的保护范围。凡在本说明书的实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (11)

1.一种图像分类方法，应用于胶囊网络，所述胶囊网络为预先通过历史图像样本及所述历史图像样本关联的分类标签训练得到的，其中，所述分类标签包括广告图像标签与非广告图像标签，所述胶囊网络包括依次连接的卷积层、胶囊层、全连接层，所述方法包括：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
2.根据权利要求1所述的图像分类方法，所述胶囊层包括主胶囊层与数字胶囊层，所述经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新包括：
经所述主胶囊层根据所述基础特征生成表征目标图像中的目标区域包含目标特征的概率、目标区域的图像特征参数的图像特征向量；
经所述数字胶囊层对图像特征向量进行传播与路由更新。
3.根据权利要求2所述的方法，所述图像特征向量包括图像特征参数，所述图像特征参数包括位置信息、翻转情况、形状、亮度、尺寸中的至少一种。
4.根据权利要求1所述的图像分类方法，所述全连接层包括多个依次连接的全连接单元及softmax层，所述经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类包括：
经多个全连接单元逐级提取路由更新后的所述图像特征向量的高阶特征，并根据高阶特征重构目标图像；
经所述softmax层将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
5.根据权利要求4所述的方法，所述全连接单元为依次进行权重计算、动态路由调节、激活函数运算的网络结构。
6.根据权利要求1所述的方法，在所述经所述卷积层对目标图像的图像像素矩阵提取基础特征之前，所述方法还包括：
提取历史图像样本的布局、内容、色调中至少一种特征；
根据所述历史图像样本的布局、内容、色调中至少一种特征及预先对历史图像样本标识的分类标签构建训练样本训练所述胶囊网络。
7.根据权利要求1所述的方法，在所述将目标图像的图像矩阵输入多个预先训练的胶囊网络之前，所述方法还包括：
对目标图像进行缩放、旋转、裁剪、边缘检测、分辨率增强中的至少一种预处理操作。
8.根据权利要求1所述的方法，在所述经所述卷积层对目标图像的图像像素矩阵提取基础特征之前，所述方法还包括：
基于多个处理引擎并行加载所述胶囊网络。
9.一种图像分类装置，应用于胶囊网络，所述胶囊网络为预先通过历史图像样本及所述历史图像样本关联的分类标签训练得到的，其中，所述分类标签包括广告图像标签与非广告图像标签，所述胶囊网络包括依次连接的卷积层、胶囊层、全连接层，所述装置包括：
基础特征提取单元，经所述卷积层对目标图像的图像像素矩阵提取基础特征；
特征向量提取单元，经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
图像分类单元，经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
11.一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现：
经所述卷积层对目标图像的图像像素矩阵提取基础特征；
经所述胶囊层根据所述基础特征提取图像特征向量，并对图像特征向量进行传播与路由更新；
经所述全连接层根据路由更新后的所述图像特征向量重构目标图像，将所述目标图像是否为广告图像作为分类目标对重构后的目标图像进行分类。
CN201910843986.1A 2019-09-06 2019-09-06 图像分类方法、装置及存储介质、电子设备 Active CN110598028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910843986.1A CN110598028B (zh) 2019-09-06 2019-09-06 图像分类方法、装置及存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910843986.1A CN110598028B (zh) 2019-09-06 2019-09-06 图像分类方法、装置及存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN110598028A true CN110598028A (zh) 2019-12-20
CN110598028B CN110598028B (zh) 2023-10-20

Family

ID=68858017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843986.1A Active CN110598028B (zh) 2019-09-06 2019-09-06 图像分类方法、装置及存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN110598028B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070093A (zh) * 2020-09-22 2020-12-11 网易（杭州）网络有限公司 生成图像分类模型的方法、图像分类方法、装置和设备
CN113408488A (zh) * 2021-07-19 2021-09-17 中南大学 基于胶囊网络的火焰目标识别方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120201464A1 (en) * 2011-02-08 2012-08-09 Fuji Xerox Co., Ltd. Computer readable medium, image processing apparatus, and image processing method
CN108446286A (zh) * 2017-02-16 2018-08-24 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN108765035A (zh) * 2018-06-19 2018-11-06 北京奇艺世纪科技有限公司 一种广告图像特征提取方法、装置及电子设备
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120201464A1 (en) * 2011-02-08 2012-08-09 Fuji Xerox Co., Ltd. Computer readable medium, image processing apparatus, and image processing method
CN108446286A (zh) * 2017-02-16 2018-08-24 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN108765035A (zh) * 2018-06-19 2018-11-06 北京奇艺世纪科技有限公司 一种广告图像特征提取方法、装置及电子设备
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070093A (zh) * 2020-09-22 2020-12-11 网易（杭州）网络有限公司 生成图像分类模型的方法、图像分类方法、装置和设备
CN113408488A (zh) * 2021-07-19 2021-09-17 中南大学 基于胶囊网络的火焰目标识别方法、设备及介质

Also Published As

Publication number Publication date
CN110598028B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111615702B (zh) 一种从图像中提取结构化数据的方法、装置和设备
EP3493105A1 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN111684490A (zh) 动态对象实例检测、分割和结构映射的优化
EP3493106B1 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
US11334773B2 (en) Task-based image masking
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112257808B (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN112184143B (zh) 一种合规审核规则中的模型训练方法、装置和设备
CN111242217A (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
EP3493104A1 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN109934218A (zh) 一种针对物流单图像的识别方法及装置
CN113837257A (zh) 一种目标检测方法及装置
CN110598028B (zh) 图像分类方法、装置及存储介质、电子设备
CN110807463A (zh) 图像分割方法、装置、计算机设备和存储介质
CN116894974A (zh) 图像分类方法、装置、计算机设备及其存储介质
CN112308102B (zh) 图像相似度计算方法、计算装置及存储介质
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111652053A (zh) 一种员工考勤方法、设备及介质
CN114782960B (zh) 模型训练方法、装置、计算机设备及计算机可读存储介质
CN113569873B (zh) 一种图像的处理方法、装置及设备
CN115471703A (zh) 二维码检测方法、模型训练方法、装置、设备及存储介质
CN111898761B (zh) 服务模型生成方法、图像处理方法、装置和电子设备
CN118781355A (zh) 基于YOLOv8的目标识别方法
CN118429716A (zh) 一种用于图像分类的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant