CN111860582A - 图像分类模型构建方法、装置、计算机设备和存储介质 - Google Patents

图像分类模型构建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111860582A
CN111860582A CN202010529436.5A CN202010529436A CN111860582A CN 111860582 A CN111860582 A CN 111860582A CN 202010529436 A CN202010529436 A CN 202010529436A CN 111860582 A CN111860582 A CN 111860582A
Authority
CN
China
Prior art keywords
convolution kernel
image
convolution
classified
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010529436.5A
Other languages
English (en)
Other versions
CN111860582B (zh
Inventor
张少林
宁欣
聂帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wave Wisdom Security And Safety Technology Co ltd
Original Assignee
Beijing Wave Wisdom Security And Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wave Wisdom Security And Safety Technology Co ltd filed Critical Beijing Wave Wisdom Security And Safety Technology Co ltd
Priority to CN202010529436.5A priority Critical patent/CN111860582B/zh
Publication of CN111860582A publication Critical patent/CN111860582A/zh
Application granted granted Critical
Publication of CN111860582B publication Critical patent/CN111860582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分类模型构建方法、装置、计算机设备和存储介质。所述方法包括：获取小样本图像集；通过卷积核对所述小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据所述相似度在所述卷积核中筛选第一卷积核；对所述小样本图像集进行数据增强，得到目标图像集，根据所述目标图像集生成第二卷积核；根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核；根据所述第一卷积核、所述第二卷积核以及所述第三卷积核构建得到图像分类模型。采用本方法能够在样本图像数据量较少的情况下，构建图像分类模型以提高图像分类准确性。

Description

图像分类模型构建方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像分类模型构建方法、装置、计算机设备和存储介质。
背景技术
图像分类是指根据图像中所反映的不同特征，将不同类别的目标进行区分的图像处理方法。传统方式中，是通过对大量的样本图像数据进行训练来构建图像分类模型。
然而，当取样较困难，样本图像数据量较少时，会导致图像分类模型的图像分类准确性较低。因此，如何在样本图像数据量较少的情况下，构建图像分类模型以提高图像分类准确性成为目前需要解决的一个技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在样本图像数据量较少的情况下，构建图像分类模型以提高图像分类准确性的图像分类模型构建方法、装置、计算机设备和存储介质。
一种图像分类模型构建方法，所述方法包括：
获取小样本图像集；
通过卷积核对所述小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据所述相似度在所述卷积核中筛选第一卷积核；
对所述小样本图像集进行数据增强，得到目标图像集，根据所述目标图像集生成第二卷积核；
根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核；
根据所述第一卷积核、所述第二卷积核以及所述第三卷积核构建得到图像分类模型。
在其中一个实施例中，所述图像分类模型包括多个网络层，所述方法还包括：
获取待分类图像；
将所述待分类图像输入至所述图像分类模型中，通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据；
将所述综合特征数据输入至池化层，通过所述池化层对所述综合特征数据进行降维处理；
将降维处理后的综合特征数据输入全连接层，对所述降维处理后的综合特征数据进行分类得到分类结果；
通过输出层根据所述分类结果输出所述待分类图像对应的类别。
在其中一个实施例中，所述通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征信息包括：
通过所述第一卷积核提取所述待分类图像的拓扑特征数据；
通过所述第二卷积核提取所述待分类图像的几何特征数据；
通过所述第三卷积核提取所述待分类图像的分类特征数据；
将所述拓扑特征数据、所述几何特征数据以及所述分类特征数据进行组合，得到综合特征数据。
在其中一个实施例中，所述通过卷积核对所述小样本图像集中的各样本图像进行卷积运算包括：
获取随机生成的卷积核；
根据所述卷积核的卷积核参数与所述小样本图像集中的各样本图像进行卷积运算。
在其中一个实施例中，所述根据所述相似度在所述卷积核中筛选第一卷积核包括：
将所述相似度与相似度阈值进行比较，确定各卷积核对应的所述小样本图像集对应的图像分类结果；
根据所述图像分类结果在所述卷积核中筛选满足预设条件的卷积核，得到第一卷积核。
在其中一个实施例中，所述对所述小样本图像集进行数据增强，得到目标图像集包括：
在所述小样本图像集中提取样本图像；
对所述样本图像进行图像变换处理，得到虚拟图像；
根据所述虚拟图像以及所述小样本图像集得到目标图像集。
在其中一个实施例中，在所述根据所述目标图像集生成第二卷积核之后，还包括：
对所述第二卷积核进行训练，确定所述第二卷积核的卷积核参数对应的张成空间；
在训练过程中将所述第二卷积核的卷积核参数沿着所述张成空间的垂直方向进行修改。
一种图像分类模型构建装置，所述装置包括：
通信模块，用于获取小样本图像集；
筛选模块，用于通过卷积核对所述小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据所述相似度在所述卷积核中筛选第一卷积核；
增强模块，用于对所述小样本图像集进行数据增强，得到目标图像集，根据所述目标图像集生成第二卷积核；
生成模块，用于根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核；
构建模块，用于根据所述第一卷积核、所述第二卷积核以及所述第三卷积核构建得到图像分类模型。
在其中一个实施例中，所述装置还包括：分类模块，用于获取待分类图像；将所述待分类图像输入至所述图像分类模型中，通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据；将所述综合特征数据输入至池化层，通过所述池化层对所述综合特征数据进行降维处理；将降维处理后的综合特征数据输入全连接层，对所述降维处理后的综合特征数据进行分类得到分类结果；通过输出层根据所述分类结果输出所述待分类图像对应的类别。
在其中一个实施例中，所述分类模块，还用于通过所述第一卷积核提取所述待分类图像的拓扑特征数据；通过所述第二卷积核提取所述待分类图像的几何特征数据；通过所述第三卷积核提取所述待分类图像的分类特征数据；将所述拓扑特征数据、所述几何特征数据以及所述分类特征数据进行组合，得到综合特征数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述图像分类模型构建方法、装置、计算机设备和存储介质，通过卷积核对小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据相似度在卷积核中筛选第一卷积核。并未限制使用对称卷积核，能够扩大第一卷积核的适用范围。由于第一卷积核可识别图像的拓扑特征数据，能够对图像进行准确识别。对小样本图像集进行数据增强，根据数据增强得到的目标图像集生成第二卷积核。可以通过第二卷积核来提取图像的几何特征数据，另外，图像分类模型的输入部分由小样本图像集进行数据增强而成，实现小样本学习。由于第二卷积核的卷积核参数可以在模型训练过程中进行修改，既可以保留对以往学习任务的记忆，又能学习新的任务，能够使图像分类模型的应用更为广泛。根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。第三卷积核可以随着图像分类模型的训练进行自动修正，由此可以提取图像的分类特征数据，以保持图像分类模型的学习能力和自由学习能力。根据第一卷积核、第二卷积核以及第三卷积核构建得到图像分类模型。能够根据小样本图像集，识别出样本图像的多种特征数据，并能够持续学习，因而有效提高了图像分类模型的图像分类准确性。
附图说明
图1为一个实施例中图像分类模型构建方法的应用环境图；
图2为一个实施例中图像分类模型构建方法的流程示意图；
图3为一个实施例中根据图像分类模型对待分类图像进行分类步骤的流程示意图；
图4为一个实施例中图像分类模型构建装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像分类模型构建方法，可以应用于终端，也可以应用于服务器。以应用于服务器为例进行说明，可以应用于如图1所示的应用环境中。其中，终端102与服务器104通过网络进行通信。终端102下发模型构建任务至服务器104，服务器104对模型构建任务进行解析，得到小样本图像集。服务器104通过卷积核对小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据相似度在卷积核中筛选第一卷积核。服务器104对小样本数据进行数据增强，得到目标图像集，根据目标图像集生成第二卷积核。服务器104根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。服务器104根据第一卷积核、第二卷积核以及第三卷积核构建得到图像分类模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像分类模型构建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取小样本图像集。
服务器获取终端下发的模型构建任务，对模型构建任务进行解析，得到小样本图像集。模型构建任务用于指示服务器根据小样本图像集构建图像分类模型。模型构建任务可以是终端在用户需要构建模型时，根据获取到的小样本图像集生成的。小样本图像集是指样本图像数量较少的图像集。图像分类是指根据图像中所反映的不同特征，将不同类别的目标进行区分。构建的图像分类模型可以是卷积神经网络模型(Convolutional NeuralNetworks，简称CNN)。
步骤204，通过卷积核对小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据相似度在卷积核中筛选第一卷积核。
卷积核是用于与样本图像进行卷积运算的矩阵。卷积核可以是预先存储在服务器中的，也可以是在获取到模型构建任务时，根据指定卷积核尺寸对应的卷积核参数随机生成的。例如，卷积核可以是非对称卷积核。指定卷积核尺寸可以是符合图像计算的3*3、5*5、7*7、11*11等尺寸。第一卷积核可以是用于识别图像的拓扑特征数据的卷积核，作为图像分类模型中的固定卷积核。拓扑特征数据可以是图像中各图像区域之间的连接关系。
服务器将各卷积核分别与小样本图像集中的各样本图像作卷积处理，得到卷积后的样本图像。从而服务器计算卷积后的样本图像中两两图像之间的相似度。相似度用于识别图像是否属于同一类别。例如，相似度可以是两两图像之间的余弦距离值，也可以是欧式距离值。服务器根据相似度将样本图像进行分类，得到各卷积核对应的图像分类结果。进而服务器根据图像分类结果进行卷积核筛选，将筛选出来的卷积核作为第一卷积核。服务器可以将第一卷积核放置于拓扑部分，作为固定卷积核。
步骤206，对小样本图像集进行数据增强，得到目标图像集，根据目标图像集生成第二卷积核。
服务器可以通过数据生成的方法来对小样本图像集进行数据增强，将数据增强得到的图像集作为目标图像集。数据生成可以是对原有小样本图像集中的样本图像进行图像变换得到的，即根据原有样本图像生成新的样本图像。图像变换的方式可以包括平移、旋转、缩放等多种方式。进而对目标图像数据集进行训练，生成第二卷积核。第二卷积核用于提取图像的几何特征数据。服务器将生成的第二卷积核放置于变换部分。由此可以实现将小样本图像集输入至构建得到的图像分类模型中，通过第二卷积核对小样本图像集进行数据增强，以实现小样本学习。
步骤208，根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。
步骤210，根据第一卷积核、第二卷积核以及第三卷积构建得到图像分类模型。
服务器可以根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。例如，指定卷积核尺寸可以是符合图像计算的3*3、5*5、7*7、11*11等尺寸。第三卷积核可以随着图像分类模型的训练进行自动修正，以保持图像分类模型的学习能力和自由学习能力。第一卷积核、第二卷积核以及第三卷积核的生成过程是相互独立的，因此，对服务器生成第一卷积核、第二卷积核以及第三卷积核的顺序不作限定。服务器可以先生成第一卷积核，再生成第二卷积核，进而生成第三卷积核，也可以先生成第一卷积核，再生成第三卷积核，进而生成第二卷积核。进一步的，服务器可以调用多线程并行生成第一卷积核、第二卷积核以及第三卷积核。由此可以提高卷积核的生成效率。
服务器生成第一卷积核、第二卷积核以及第三卷积核后，将第一卷积核、第二卷积核以及第三卷积核进行连接，生成目标卷积层。服务器将目标卷积层作为图像分类模型中的卷积层，并将卷积层与多个网络层按照网络层之间的关联关系以及先后顺序进行连接，从而构建得到图像分类模型。例如，图像分类模型可以是卷积神经网络模型。具体包括输入层、卷积层、池化层、全连接层以及输出层等多个网络层。服务器从而对图像分类模型进行训练，当图像分类模型的损失值不再下降，保持稳定时，停止模型训练，进而得到训练后的图像分类模型。
在本实施例中，通过卷积核对小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据相似度在卷积核中筛选第一卷积核。并未限制使用对称卷积核，能够扩大第一卷积核的适用范围。由于第一卷积核可识别图像的拓扑特征数据，能够对图像进行准确识别。对小样本图像集进行数据增强，根据数据增强得到的目标图像集生成第二卷积核。可以通过第二卷积核来提取图像的几何特征数据，另外，图像分类模型的输入部分由小样本图像集进行数据增强而成，实现小样本学习。由于第二卷积核的卷积核参数可以在模型训练过程中进行修改，既可以保留对以往学习任务的记忆，又能学习新的任务，能够使图像分类模型的应用更为广泛。根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。第三卷积核可以随着图像分类模型的训练进行自动修正，由此可以提取图像的分类特征数据，以保持图像分类模型的学习能力和自由学习能力。根据第一卷积核、第二卷积核以及第三卷积核构建得到图像分类模型。能够根据小样本图像集，识别出样本图像的多种特征数据，并能够持续学习，因而有效提高了图像分类模型的图像分类准确性。
进一步的，在对小样本图像集中的各样本图像进行卷积运算之前，还可以对各样本图像进行去噪处理，得到去噪后的样本图像，能够避免噪声干扰。还可以对样本图像进行去重处理，去除小样本图像集中重复出现的样本图像，得到去重后的样本图像。另外，还可以对样本图像进行缩放处理。可以通过缩小样本图像尺寸，来提高样本图像的平滑度和清晰度。可以通过放大样本图像尺寸，提高样本图像中像素的可见度。
在一个实施例中，如图3所示，上述方法还包括：根据图像分类模型对待分类图像进行分类的步骤，具体包括：
步骤302，获取待分类图像。
步骤304，将待分类图像输入至图像分类模型中，通过图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据。
步骤306，将综合特征数据输入至池化层，通过池化层对综合特征数据进行降维处理。
步骤308，将降维处理后的综合特征数据输入全连接层，对降维处理后的综合特征数据进行分类得到分类结果。
步骤310，通过输出层根据分类结果输出待分类图像对应的类别。
服务器在构建得到图像分类模型之后，可以将待分类图像输入至图像分类模型中进行图像分类。图像分类模型包括多个网络层。例如，可以包括输入层、卷积层、池化层、全连接层、输出层等。服务器通过图像分类模型的输入层接收待分类图像。接收到的待分类图像是以图像矩阵的形式。将待分类图像输入至卷积层，从而通过卷积层的第一卷积核、第二卷积核以及第三卷积核分别对待分类图像进行特征提取，第一卷积核可识别图像的拓扑特征数据，能够对图像进行准确识别。第二卷积核可提取图像的几何特征数据，第三卷积核可以随着图像分类模型的训练进行自动修正，由此可以提取图像的分类特征数据。将各卷积核提取的特征数据进行组合，可以得到综合特征数据。将综合特征数据作为池化层的输入，将综合特征数据传递至池化层，通过池化层对综合特征数据进行降维处理。之后，服务器将降维处理后的综合特征数据继续输入至全连接层，通过全连接层对降维处理后的综合特征数据进行分类，得到相应的分类结果。分类结果中可以包括多种图像类别。通过输出层在分类结果中确定权重最大的图像类别，将该图像类别作为待分类图像对应的图像类别。
在本实施例中，通过图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对待分类图像进行特征提取，能够得到待分类图像的多维度特征数据，图像特征数据更为全面，提高了图像分类模型的图像分类准确性。由于图像分类模型是通过小样本图像集构建得到，因此实现了通过小样本图像集准确对图像进行分类。
在一个实施例中，通过图像分类模型中卷积核的第一卷积核、第二卷积核以及第三卷积核对待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征信息包括：通过第一卷积核提取待分类图像的拓扑特征数据；通过第二卷积核提取待分类图像的几何特征数据；通过第三卷积核提取待分类图像的分类特征数据；将拓扑特征数据、几何特征数据以及分类特征数据进行组合，得到综合特征数据。
服务器将待分类图像输入至图像分类模型中。通过图像分类模型中卷积层对待分类图像进行特征提取。通过卷积层的第一卷积核提取待分类图像的拓扑特征数据。拓扑特征数据是指图像中各图像区域之间的连接关系。例如，当待分类图像为人脸图像时，通过卷积层的第一卷积核提取人脸图像的拓扑特征数据。拓扑特征数据中可以包括各身体部位对应的图像区域以及各图像区域之前的连接关系。例如，眼睛区域、鼻子区域、嘴巴区域、耳朵区域等以及各区域的位置连接关系。通过第二卷积核提取待分类图像的几何特征数据。具体的，可以通过第二卷积核对待分类图像进行平移、旋转、缩放等变换操作，得到变换操作后的待分类图像，进而通过第二卷积核提取变换操作后的待分类图像的图像变换特征。之后，通过卷积层中的第三卷积核提取待分类图像的分类特征数据。分类特征数据是指用于对待分类图像进行分类的部分目标、整体目标高级特征数据。再将拓扑特征数据、几何特征数据以及分类特征数据进行组合，得到综合特征数据。由此可以得到待分类图像更为全面的特征数据，提高了图像分类模型的图像分类准确性。
在一个实施例中，通过卷积核对小样本图像集中的各样本图像进行卷积运算包括：获取随机生成的卷积核；根据卷积核的卷积核参数与小样本图像集中的各样本图像进行卷积运算。
服务器根据随机生成的卷积核对小样本图像集中的各样本图像作卷积处理。随机生成的卷积核是指根据指定卷积核尺寸对应的卷积核参数而随机生成的。指定卷积核尺寸可以是符合图像计算的3*3、5*5、7*7、11*11等尺寸。卷积核可以是随机大小的卷积核，并未限制使用对称卷积核，能够扩大第一卷积核的适用范围。服务器将随机生成的卷积核的卷积核参数与各样本图像分别进行卷积运算，有利于后续计算卷积运算后的样本图像之间的相似度，来识别样本图像的类别。
在本实施例中，由于卷积核是随机生成的，并未限制使用对称的卷积核，能够对图像中目标发生连续形变的图像进行分类，进一步扩大了第一卷积核的适用范围。
在一个实施例中，根据相似度在卷积核中筛选第一卷积核包括：将相似度与相似度阈值进行比较，确定各卷积核对应的小样本图像集对应的图像分类结果；根据图像分类结果在卷积核中筛选满足预设条件的卷积核，得到第一卷积核。
服务器通过卷积核对小样本图像集之后的各样本图像进行卷积运算，计算卷积后的样本图像的相似度。服务器将多个相似度分别与相似度阈值进行比较将相似度大于相似度阈值的样本图像划分为同一图像类别，从而得到各样本图像对应的图像类别。服务器确定各卷积核对应的图像分类结果。进而服务器在多个图像分类结果中筛选满足预设条件的卷积核。预设条件可以是分类效果较好的图像分类结果。分类效果可以是根据预设正确接受率以及预设错误接受率来进行判断的。当图像分类结果的正确率在预设正确接受率范围以内，以及图像分类结果的错误率在预设错误接受率范围以内时，则可以确定为分类效果较好。之后，服务器将确定的图像分类结果对应的卷积核筛选出来，作为第一卷积核。服务器可以将第一卷积核放置于拓扑部分，作为固定卷积核。
在本实施例中，通过计算相似度来筛选卷积核，能够灵活地确定用于识别图像相似性特征的卷积核。
在一个实施例中，对小样本图像集进行数据增强，得到目标图像集包括：在小样本图像集中提取样本图像；对样本图像进行图像变换处理，得到虚拟图像；根据虚拟图像以及小样本图像集得到目标图像集。
服务器读取小样本图像集，提取样本图像进行图像变换处理。图像变换可以是对样本图像进行平移、旋转、缩放等操作。图像平移是指将样本图像中的所有像素点按照指定的平移量沿指定方向移动。指定方向可以是X方向，也可以是Y方向。图像旋转是指将样本图像按照某个位置转动一定角度，旋转过程中样本图像的尺寸是不变的。图像缩放是指通过增加或去掉像素的方式来改变样本图像的尺寸。服务器将变换后的图像，作为虚拟图像。服务器进而将虚拟图像以及小样本图像集进行整合，得到目标图像集，以此数据增强小样本图像集，增加了样本图像的数据量。
在一个实施例中，根据目标图像集生成第二卷积核之后，还包括：对第二卷积核进行训练，确定第二卷积核的卷积核参数对应的张成空间；在训练过程中将第二卷积核的卷积核参数沿着张成空间的垂直方向进行修改。
服务器对小样本图像集进行数据增强之后，根据数据增强后得到的目标图像集生成第二卷积核。第二卷积核的卷积核参数可以在训练过程中进行修改。具体的，服务器在对第二卷积核进行训练的过程中，确定相应的卷积核参数对应的张成空间。第二卷积核可以是卷积矩阵。卷积核参数是指卷积矩阵中的矩阵向量。张成空间可以是卷积核参数中任意两个矩阵向量的全部线性组合所构成的向量集合所张成的空间。进而服务器将卷积核参数的向量方向沿着张成空间的垂直方向进行修改。将卷积核参数的向量方向修改为张成空间的垂直方向。可以在小样本识别能力有效的情况下，快速学习新的任务，有利于提高图像分类模型的分类准确性。
应该理解的是，虽然图2至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种图像分类模型构建装置，包括：通信模块402、筛选模块404、增强模块406、生成模块408和构建模块410，其中：
通信模块402，用于获取小样本图像集。
筛选模块404，用于通过卷积核对小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据相似度在卷积核中筛选第一卷积核。
增强模块406，用于小样本图像集进行数据增强，得到目标图像集，根据目标图像集生成第二卷积核。
生成模块408，用于根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核。
构建模块410，用于根据第一卷积核、第二卷积核以及第三卷积核构建得到图像分类模型。
在一个实施例中，上述装置还包括：分类模块，用于获取待分类图像；将待分类图像输入至图像分类模型中，通过图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据；将综合特征数据输入至池化层，通过池化层对综合特征数据进行降维处理；将降维处理后的综合特征数据输入全连接层，对降维处理后的综合特征数据进行分类得到分类结果；通过输出层根据分类结果输出待分类图像对应的类别。
在一个实施例中，分类模块，还用于通过第一卷积核提取待分类图像的拓扑特征数据；通过第二卷积核提取待分类图像的几何特征数据；通过第三卷积核提取待分类图像的分类特征数据；将拓扑特征数据、几何特征数据以及分类特征数据进行组合，得到综合特征数据。
在一个实施例中，筛选模块404，还用于获取随机生成的卷积核；根据卷积核的卷积核参数与小样本图像集中的各样本图像进行卷积运算。
在一个实施例中，筛选模块404，还用于将相似度与相似度阈值进行比较，确定各卷积核对应的小样本图像集对应的图像分类结果；根据图像分类结果在卷积核中筛选满足预设条件的卷积核，得到第一卷积核。
在一个实施例中，增强模块406，还用于在小样本图像集中提取样本图像；对样本图像进行图像变换处理，得到虚拟图像；根据虚拟图像以及小样本图像集得到目标图像集。
在一个实施例中，上述装置还包括：训练模块，用于对第二卷积核进行训练，确定第二卷积核的卷积核参数对应的张成空间；在训练过程中将第二卷积核的卷积核参数沿着张成空间的垂直方向进行修改。
关于图像分类模型构建装置的具体限定可以参见上文中对于图像分类模型构建方法的限定，在此不再赘述。上述图像分类模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储小样本图像集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类模型构建方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像分类模型构建方法，其特征在于，所述方法包括：
获取小样本图像集；
通过卷积核对所述小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据所述相似度在所述卷积核中筛选第一卷积核；
对所述小样本图像集进行数据增强，得到目标图像集，根据所述目标图像集生成第二卷积核；
根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核；
根据所述第一卷积核、所述第二卷积核以及所述第三卷积核构建得到图像分类模型。
2.根据权利要求1所述的方法，其特征在于，所述图像分类模型包括多个网络层，所述方法还包括：
获取待分类图像；
将所述待分类图像输入至所述图像分类模型中，通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据；
将所述综合特征数据输入至池化层，通过所述池化层对所述综合特征数据进行降维处理；
将降维处理后的综合特征数据输入全连接层，对所述降维处理后的综合特征数据进行分类得到分类结果；
通过输出层根据所述分类结果输出所述待分类图像对应的类别。
3.根据权利要求2所述的方法，其特征在于，所述通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征信息包括：
通过所述第一卷积核提取所述待分类图像的拓扑特征数据；
通过所述第二卷积核提取所述待分类图像的几何特征数据；
通过所述第三卷积核提取所述待分类图像的分类特征数据；
将所述拓扑特征数据、所述几何特征数据以及所述分类特征数据进行组合，得到综合特征数据。
4.根据权利要求1所述的方法，其特征在于，所述通过卷积核对所述小样本图像集中的各样本图像进行卷积运算包括：
获取随机生成的卷积核；
根据所述卷积核的卷积核参数与所述小样本图像集中的各样本图像进行卷积运算。
5.根据权利要求1所述的方法，其特征在于，所述根据所述相似度在所述卷积核中筛选第一卷积核包括：
将所述相似度与相似度阈值进行比较，确定各卷积核对应的所述小样本图像集对应的图像分类结果；
根据所述图像分类结果在所述卷积核中筛选满足预设条件的卷积核，得到第一卷积核。
6.根据权利要求1所述的方法，其特征在于，所述对所述小样本图像集进行数据增强，得到目标图像集包括：
在所述小样本图像集中提取样本图像；
对所述样本图像进行图像变换处理，得到虚拟图像；
根据所述虚拟图像以及所述小样本图像集得到目标图像集。
7.根据权利要求1至6任意一项所述的方法，其特征在于，在所述根据所述目标图像集生成第二卷积核之后，还包括：
对所述第二卷积核进行训练，确定所述第二卷积核的卷积核参数对应的张成空间；
在训练过程中将所述第二卷积核的卷积核参数沿着所述张成空间的垂直方向进行修改。
8.一种图像分类模型构建装置，其特征在于，所述装置包括：
通信模块，用于获取小样本图像集；
筛选模块，用于通过卷积核对所述小样本图像集中的各样本图像进行卷积运算，计算卷积后的样本图像之间的相似度，根据所述相似度在所述卷积核中筛选第一卷积核；
增强模块，用于对所述小样本图像集进行数据增强，得到目标图像集，根据所述目标图像集生成第二卷积核；
生成模块，用于根据指定卷积核尺寸对应的卷积核参数随机生成第三卷积核；
构建模块，用于根据所述第一卷积核、所述第二卷积核以及所述第三卷积核构建得到图像分类模型。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：分类模块，用于获取待分类图像；将所述待分类图像输入至所述图像分类模型中，通过所述图像分类模型中卷积层的第一卷积核、第二卷积核以及第三卷积核对所述待分类图像进行特征提取，将提取的特征数据进行组合，得到综合特征数据；将所述综合特征数据输入至池化层，通过所述池化层对所述综合特征数据进行降维处理；将降维处理后的综合特征数据输入全连接层，对所述降维处理后的综合特征数据进行分类得到分类结果；通过输出层根据所述分类结果输出所述待分类图像对应的类别。
10.根据权利要求9所述的装置，其特征在于，所述分类模块，还用于通过所述第一卷积核提取所述待分类图像的拓扑特征数据；通过所述第二卷积核提取所述待分类图像的几何特征数据；通过所述第三卷积核提取所述待分类图像的分类特征数据；将所述拓扑特征数据、所述几何特征数据以及所述分类特征数据进行组合，得到综合特征数据。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010529436.5A 2020-06-11 2020-06-11 图像分类模型构建方法、装置、计算机设备和存储介质 Active CN111860582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010529436.5A CN111860582B (zh) 2020-06-11 2020-06-11 图像分类模型构建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010529436.5A CN111860582B (zh) 2020-06-11 2020-06-11 图像分类模型构建方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111860582A true CN111860582A (zh) 2020-10-30
CN111860582B CN111860582B (zh) 2021-05-11

Family

ID=72986519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010529436.5A Active CN111860582B (zh) 2020-06-11 2020-06-11 图像分类模型构建方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111860582B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686320A (zh) * 2020-12-31 2021-04-20 深圳市优必选科技股份有限公司 图像分类方法、装置、计算机设备及存储介质
WO2022141511A1 (zh) * 2020-12-31 2022-07-07 深圳市优必选科技股份有限公司 图像分类方法、计算机设备及存储介质
CN115035912A (zh) * 2022-06-08 2022-09-09 哈尔滨工程大学 基于moc模型的水声信号样本自动标注方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003701A1 (en) * 2011-09-16 2015-01-01 Technische Universitat Berlin Method and System for the Automatic Analysis of an Image of a Biological Sample
US20150178547A1 (en) * 2013-12-23 2015-06-25 Ahmed Abdullah BAHJAT Apparatus and method for iris image analysis
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
CN107368887A (zh) * 2017-07-25 2017-11-21 江西理工大学 一种深度记忆卷积神经网络的结构及其构建方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN108197666A (zh) * 2018-01-30 2018-06-22 咪咕文化科技有限公司 一种图像分类模型的处理方法、装置及存储介质
US10255698B2 (en) * 2017-08-28 2019-04-09 Shenzhen United Imaging Healthcare Co., Ltd. System and method for removing hard tissue in CT image
CN109949200A (zh) * 2019-03-11 2019-06-28 河南工业大学 基于滤波器子集选择和cnn的隐写分析框架构建方法
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置
CN110781223A (zh) * 2019-10-16 2020-02-11 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备及存储介质
CN110942012A (zh) * 2019-11-22 2020-03-31 上海眼控科技股份有限公司 图像特征提取方法、行人重识别方法、装置和计算机设备
CN111126441A (zh) * 2019-11-25 2020-05-08 西安工程大学 一种分类检测网络模型的构建方法
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003701A1 (en) * 2011-09-16 2015-01-01 Technische Universitat Berlin Method and System for the Automatic Analysis of an Image of a Biological Sample
US20150178547A1 (en) * 2013-12-23 2015-06-25 Ahmed Abdullah BAHJAT Apparatus and method for iris image analysis
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
CN107368887A (zh) * 2017-07-25 2017-11-21 江西理工大学 一种深度记忆卷积神经网络的结构及其构建方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
US10255698B2 (en) * 2017-08-28 2019-04-09 Shenzhen United Imaging Healthcare Co., Ltd. System and method for removing hard tissue in CT image
CN108197666A (zh) * 2018-01-30 2018-06-22 咪咕文化科技有限公司 一种图像分类模型的处理方法、装置及存储介质
CN109949200A (zh) * 2019-03-11 2019-06-28 河南工业大学 基于滤波器子集选择和cnn的隐写分析框架构建方法
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置
CN110781223A (zh) * 2019-10-16 2020-02-11 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备及存储介质
CN110942012A (zh) * 2019-11-22 2020-03-31 上海眼控科技股份有限公司 图像特征提取方法、行人重识别方法、装置和计算机设备
CN111126441A (zh) * 2019-11-25 2020-05-08 西安工程大学 一种分类检测网络模型的构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TIAGO RAMALHO 等: "An empirical study of pretrained representations for few-shot classification", 《HTTPS://ARXIV.ORG/ABS/1910.01319》 *
VICTOR GARCIA 等: "Few-shot learning with graph neural networks", 《HTTPS://ARXIV.ORG/ABS/1711.04043》 *
XIANQIN MA 等: "Few-Shot Learning Based on Attention Relation Compare Network", 《2019 INTERNATIONAL CONFERENCE ON DATA MINING WORKSHOPS (ICDMW)》 *
崔洲涓 等: "基于多层深度卷积特征的抗遮挡实时跟踪算法", 《光学学报》 *
黄强 等: "结合超限学习机和融合卷积网络的3D物体识别方法", 《小型微型计算机系统》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686320A (zh) * 2020-12-31 2021-04-20 深圳市优必选科技股份有限公司 图像分类方法、装置、计算机设备及存储介质
WO2022141511A1 (zh) * 2020-12-31 2022-07-07 深圳市优必选科技股份有限公司 图像分类方法、计算机设备及存储介质
CN112686320B (zh) * 2020-12-31 2023-10-13 深圳市优必选科技股份有限公司 图像分类方法、装置、计算机设备及存储介质
CN115035912A (zh) * 2022-06-08 2022-09-09 哈尔滨工程大学 基于moc模型的水声信号样本自动标注方法
CN115035912B (zh) * 2022-06-08 2024-04-26 哈尔滨工程大学 基于moc模型的水声信号样本自动标注方法

Also Published As

Publication number Publication date
CN111860582B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110135406B (zh) 图像识别方法、装置、计算机设备和存储介质
WO2021017261A1 (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110889325B (zh) 多任务面部动作识别模型训练和多任务面部动作识别方法
CN111860582B (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN110909595B (zh) 面部动作识别模型训练方法、面部动作识别方法
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN110020582B (zh) 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111860147A (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN111783997B (zh) 一种数据处理方法、装置及设备
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
WO2022134354A1 (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111985340A (zh) 基于神经网络模型的人脸识别方法、装置和计算机设备
CN112115860A (zh) 人脸关键点定位方法、装置、计算机设备和存储介质
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN110222752B (zh) 图像处理方法、系统、计算机设备、存储介质和芯片
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant