CN110503149B - 一种图像中局部特征分类方法及系统 - Google Patents

一种图像中局部特征分类方法及系统 Download PDF

Info

Publication number
CN110503149B
CN110503149B CN201910790017.4A CN201910790017A CN110503149B CN 110503149 B CN110503149 B CN 110503149B CN 201910790017 A CN201910790017 A CN 201910790017A CN 110503149 B CN110503149 B CN 110503149B
Authority
CN
China
Prior art keywords
image
features
block
block pixel
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910790017.4A
Other languages
English (en)
Other versions
CN110503149A (zh
Inventor
陈妙
钟宜峰
吴耀华
周冰
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910790017.4A priority Critical patent/CN110503149B/zh
Publication of CN110503149A publication Critical patent/CN110503149A/zh
Application granted granted Critical
Publication of CN110503149B publication Critical patent/CN110503149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像中局部特征分类方法及系统，方法包括：基于卷积神经网络，提取待分类图像的图像特征；对所述图像特征进行分块降维，得到分块像素特征；基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；对所述优化图像特征进行局部特征分类，得到分类结果。本发明实施例通过主成分分析得到的权重对分块像素特征进行加权，进而得到优化图像特征进行局部特征分类，有效降低了局部特征分类在训练时所需的样本数据量，避免了大量标注导致的高昂人力成本，优化了局部分类效果。

Description

一种图像中局部特征分类方法及系统
技术领域
本发明涉及图像识别技术领域，尤其涉及一种图像中局部特征分类方法及系统。
背景技术
图像中局部特征分类是指针对图像中某个局部特征进行分类的问题，例如：针对于人脸的鼻子、嘴巴等局部特征的分类。
现有技术中，对于图像中局部特征分类主要采用了基于深度神经网络的分类算法的方式进行。图1是现有技术提供的分类网络结构示意图，如图1所示，该现有技术的分类网络层级非常多，网络结构也非常大，因此需要大量的训练数据。
由此可知，上述现有技术中提供的方法缺点在于需要的样本数据量非常大，且在模型训练过程中需要进行大量标注，中间的模型参数较多，训练复杂繁琐。因此现在亟需一种新的图像中局部特征分类方法来解决上述问题。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种图像中局部特征分类方法及系统。
第一方面本发明实施例提供一种图像中局部特征分类方法，包括：
基于卷积神经网络，提取待分类图像的图像特征；
对所述图像特征进行分块降维，得到分块像素特征；
基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；
对所述优化图像特征进行局部特征分类，得到分类结果。
优选地，所述基于卷积神经网络，提取待分类图像的图像特征，包括：
基于所述卷积神经网络，对所述待分类图像进行多个卷积核卷积，得到多个通道的图像特征。
优选地，所述对所述图像特征进行分块降维，得到分块像素特征，包括：
对所述图像特征分别进行均值池化和最大值池化，得到均值池化向量和最大值池化向量；
连接所述均值池化向量和最大值池化向量，得到目标向量；
对所述目标向量进行分块降维，得到所述分块像素特征。
优选地，所述连接所述均值池化向量和最大值池化向量，得到目标向量，之后还包括：
对所述目标向量进行全局降维，得到全局像素特征；
对所述全局像素特征和所述分块像素特征进行池化计算，并基于多层感知器算法，将所述全局像素特征和所述分块像素特征转换至相同维度。
优选地，基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征，具体包括：
将所述分块像素特征，以及所述分块像素特征对应的权重的加权之和，与所述全局像素特征相加，得到所述优化图像特征。
优选地，基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征，之前还包括：
基于主成分分析法，对所述图像特征的行和列进行主成分筛选，确定目标像素点；
基于所述目标像素点在所述分块像素特征对应区块中的比例，确定所述分块像素特征的权重。
优选地，所述基于卷积神经网络，提取待分类图像的图像特征，之前还包括：
根据所述待分类图像的图像特征提取精度，确定所述卷积神经网络所使用卷积层的个数。
优选地，所述对所述优化图像特征进行局部特征分类，得到分类结果，包括：
基于分类器，对所述优化图像特征进行局部特征分类，输出分类结果；其中，所述分类器的类型是根据分类目标的复杂度确定的。
优选地，所述分类器为多层感知器网络。
第二方面本发明实施例还提供一种图像中局部特征分类系统，包括：
特征提取模块，用于基于卷积神经网络，提取待分类图像的图像特征；
特征降维模块，用于对所述图像特征进行分块降维，得到分块像素特征；
特征优化模块，用于基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；
分类结果输出模块，用于对所述优化图像特征进行局部特征分类，得到分类结果。
第三方面本发明实施例提供了一种电子设备，包括：
处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述图像中局部特征分类方法。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述图像中局部特征分类方法。
本发明实施例提供的一种图像中局部特征分类方法及系统，通过主成分分析得到的权重对分块像素特征进行加权，进而得到优化图像特征进行局部特征分类，有效降低了局部特征分类在训练时所需的样本数据量，避免了大量标注导致的高昂人力成本，优化了局部分类效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的分类网络结构示意图；
图2是本发明实施例提供的一种图像中局部特征分类方法流程示意图；
图3是本发明实施例提供的图像分类模型结构示意图；
图4是本发明实施例提供的一种图像中局部特征分类系统结构示意图；
图5是本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2是本发明实施例提供的一种图像中局部特征分类方法流程示意图，如图2所示，该方法包括：
201，基于卷积神经网络，提取待分类图像的图像特征；
202，对图像特征进行分块降维，得到分块像素特征；
203，基于分块像素特征对应的权重，对分块像素特征进行加权，得到优化图像特征；其中，权重是对图像特征进行主成分分析得到的；
204，对优化图像特征进行局部特征分类，得到分类结果。
在步骤201中，待分类图像即本发明实施例所需要完成的分类对象。卷积神经网络是针对图像特征提取预先训练完成的神经网络，将待分类图像输入到卷积神经网络中，通过卷积层进行卷积运算后，获得输入卷积神经网络中图像的图像特征，在本发明实施例中即为待分类图像的图像特征。
在步骤202中，对图像特征进行分块降维，即将图像特征分为多个区块，针对每一个区块进行降维，得到每个区块对应的分块像素特征。
在步骤203中，权重是对图像特征进行主成分分析得到的。主成分分析用于判断图像特征中哪些位置的像素特征更加重要，进而得到分块降维中，不同区块对应的分块像素特征的重要程度，即分块像素特征的权重。在此基础上，基于每一分块像素特征的权重，对分块像素特征进行加权，进而得到经由分块降维以及主成分分析优化后的图像特征，即优化图像特征。
最后，在步骤204中，针对优图像特征，完成图像中局部特征分类任务，得到分类结果。
本发明实施例提供的一种图像中局部特征分类方法，通过主成分分析得到的权重对分块像素特征进行加权，进而得到优化图像特征进行局部特征分类，有效降低了局部特征分类在训练时所需的样本数据量，避免了大量标注导致的高昂人力成本，优化了局部分类效果。
在上述实施例的基础上，所述基于所述特征提取模块中的卷积神经网络，提取所述待分类图像的图像特征，包括：
基于所述卷积神经网络，对所述待分类图像进行多个卷积核卷积，得到多个通道的图像特征。
由上述实施例的内容可知，本发明实施例利用了卷积神经网络对图像特征进行提取。具体的，在特征提取的过程中，本发明实施例对待分类图像进行多个卷积核的卷积，从而得到的多个通道的图像特征，在本发明实施例中可以用fi表示，可以理解的是，通道的数目和卷积核的数目一致。
在上述实施例的基础上，所述对所述图像特征进行分块降维，得到分块像素特征，包括：
对图像特征分别进行均值池化和最大值池化，得到均值池化向量和最大值池化向量；
连接均值池化向量和最大值池化向量，得到目标向量；
对目标向量进行分块降维，得到分块像素特征。
具体的，图3是本发明实施例提供的图像分类模型结构示意图，参考图3中的空间特征优化部分，对于图像特征，本发明实施例分别进行了均值池化(Avg Pooling)及最大值池化(Max Pooling)，得到均值池化向量和最大值池化向量。然后对均值池化向量和最大值池化向量进行连接，即通过Concat操作进行组合，假设图像特征表示为H×W×C，则经由concat连接操作得到的目标向量可表示为W×H×2大小。之后对于得到的目标向量进行分块降维，分块降维对应于图3中的分块conv，通过分块降维能够感知分块后每一区块的像素特征，得到每一区块对应的分块像素特征。其中，需要说明的是，在执行分块conv时，可以按实际情况进行划分为c个区块，区块的大小可以是64×64，32×32等，具体区块大小本发明实施例不作具体限定。
在上述实施例的基础上，所述连接均值池化向量和最大值池化向量，得到目标向量，之后还包括：
对目标向量进行全局降维，得到全局像素特征；
对全局像素特征和分块像素特征进行池化计算，并基于多层感知器算法，将全局像素特征和分块像素特征转换至相同维度。
具体的，参考图3中的空间特征优化部分，在得到目标向量后，对于目标向量进行全局降维，全局降维对应于图3中的全局conv，通过全局降维能够分别感知全局的像素特征，得到全局像素特征。最后对全局像素特征和分块像素特征进行池化pooling计算，并基于多层感知器MLP(Multi-Layer Perception)算法，将全局像素特征和分块像素特征转换为同一维度，以便于后续对全局像素特征和分块像素特征进行加权求和。
在上述实施例的基础上，所述基于分块像素特征对应的权重，对分块像素特征进行加权，得到优化图像特征，具体包括：
将分块像素特征，以及分块像素特征对应的权重的加权之和，与全局像素特征相加，得到优化图像特征。
在上述实施例的基础上，所述基于分块像素特征对应的权重，对分块像素特征进行加权，得到优化图像特征，之前还包括：基于主成分分析法确定分块像素特征对应的权重，具体包括：
基于主成分分析法，对图像特征的行和列进行主成分筛选，确定目标像素点；
基于目标像素点在分块像素特征对应区块中的比例，确定分块像素特征的权重。
由上述实施例的内容可知，本发明实施例提供在特征优化过程通过主成分分析法确定分块像素特征的权重。具体的，通过主成分分析法分别对图像特征行列进行主成分分析筛选，从而确定出重要的行和列，共m*n个像素，然后统计m*n个像素在分块降维中划分的各个区块中的比例，从而确定权重λi大小。当分块像素特征在图像特征中对应区块中行和列为h*l个像素时，初始权重
Figure BDA0002179269250000071
然后对各个区块分别对应的初始权重进行归一化操作：
Figure BDA0002179269250000081
使得所有分块像素特征的权重之和保持为1，全局像素特征的权重和分块像素特征整体的权重保持一致，即全局像素特征的权重为1，分块像素特征的权重之和也为1。
上述过程用公式可以表示为：
MS1＝MLP(Pooling(f9×9([AvgPool(fi)；MaxPool(fi)])))
Figure BDA0002179269250000082
MS＝MS1+MS2；
其中，MS为特征优化后的图像特征，MS1表示全局降维后得到的全局像素特征，MS2表示为分块降维后得到的各个区块对应的分块像素特征的加权之和；AvgPool()为均值池化过程，MaxPool()为最大值池化过程，fi为图像特征，f3×3和f9×9是特征的维度，λi为分块降维的权重大小，λi_new为归一化操作后的权重大小，
Figure BDA0002179269250000083
在上述实施例的基础上，所述基于卷积神经网络，对待分类图像进行卷积，得到所述待分类图像的图像特征，之前还包括：
根据待分类图像的图像特征提取精度，确定所述特征提取模块中的卷积神经网络所使用卷积层的个数。
由上述实施例的内容可知，本发明实施例使用的卷积神经网络在图像的特征进行特征提取。可以理解的是，特征提取可以设定提取精度，本发明实施例可以根据提取精度的不同改变卷积神经网络中使用卷积层的个数。一般的，提取精度设定的越高，那么卷积神经网络中所使用的卷积层个数即越多，从而能够进行更深层次的特征提取。
在上述实施例的基础上，所述对优化图像特征进行局部特征分类，得到分类结果，包括：
基于分类器，对优化图像特征进行局部特征分类，输出分类结果；其中，分类器的类型是根据分类目标的复杂度确定的。
本发明实施例通过分类器完成最后的分类任务，输出分类结果。可以理解的是，分类器的类型有很多，例如多层感知器，支持向量机等网络，但不同的分类器会适用于不同的分类任务，例如有的分类任务要求较为复杂，需要对眼睛中眼白进行局部特征分类，而有的分类任务要求较为简单，只需要对眼睛进行局部特征分类，相应的，对于不同复杂度的分类任务本发明实施例可通过改变分类模块中分类器进行适应，而无需改变图像分类模型中其他模块的结构和参数。
在上述实施例的基础上，所述分类模块中的分类器为多层感知器网络。
优选的，本发明实施例对于所有的分类任务，均可以采用多层感知器网络作为标准分类器，经试验仿真验证，在绝大多数环境下，多层感知器网络都能实现图像的精确分类，且对比类似InceptionV4分类器结构较为简单，易于实现。
在上述实施例的基础上，图像中局部特征分类方法，包括如下步骤：
将待分类图像直接输入图像分类模型，由图像分类模型自动进行局部特征分类，并自动输出分类结果。图像分类模型是本发明实施例针对图像局部特征分类这一任务构建的一种神经网络模型，可以理解的是，该模型在具体应用于图像局部特征分类这一任务时已经对模型中的参数训练完成，可以直接完成分类任务，且分类效果达到要求。
如图3所示，本发明实施例提供的图像分类模型可以表示为三个部分，分别为特征提取部分、特征优化部分以及分类部分，其中，特征提取部分对应于图3中的特征提取fi，该部分主要由传统卷积神经网络构成，包括卷积层conv和激活函数relu。特征优化部分对应于图3中的空间特征优化部分，该部分主要采用了主成分分析以及全局降维、分块降维，将图像特征在空间维度上进行了优化。分类部分对应于图3中的多层感知器MLP和输出分类结果部分，需要说明的是，图3中提供的MLP仅为本发明实施例所采用的分类器其中一种示例，其他能够完成分类效果的分类器本发明实施例也可以使用，对此本发明实施例不作具体限定。可以看出本发明实施例实质上构建了一个轻量化端到端的神经网络，即本发明实施例中的图像分类模型，该模型只需经过少量样本进行训练即可达到良好的分类效果，从而大大减少了训练时所需的样本量和标注成本。
图4是本发明实施例提供的一种图像中局部特征分类系统结构示意图，如图4所示，图像中局部特征分类系统包括：特征提取模块401、特征降维模块402、特征优化模块403以及分类结果输出模块404，其中：
特征提取模块401用于基于卷积神经网络，提取待分类图像的图像特征；
特征降维模块402用于对所述图像特征进行分块降维，得到分块像素特征；
特征优化模块403用于基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；
分类结果输出模块404用于对所述优化图像特征进行局部特征分类，得到分类结果。
具体的如何通过特征提取模块401、特征降维模块402、特征优化模块403以及分类结果输出模块404可用于执行图2所示的图像中局部特征分类方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例提供的一种图像中局部特征分类系统，通过主成分分析得到的权重对分块像素特征进行加权，进而得到优化图像特征进行局部特征分类，有效降低了局部特征分类在训练时所需的样本数据量，避免了大量标注导致的高昂人力成本，优化了局部分类效果。
在上述实施例的基础上，所述特征提取模块具体用于：
基于所述卷积神经网络，对所述待分类图像进行多个卷积核卷积，得到多个通道的图像特征。
在上述实施例的基础上，所述特征降维模块具体用于：
对所述图像特征分别进行均值池化和最大值池化，得到均值池化向量和最大值池化向量；
连接所述均值池化向量和最大值池化向量，得到目标向量；
对所述目标向量进行分块降维，得到所述分块像素特征。
在上述实施例的基础上，所述特征降维模块还用于：
对所述目标向量进行全局降维，得到全局像素特征；
对所述全局像素特征和所述分块像素特征进行池化计算，并基于多层感知器算法，将所述全局像素特征和所述分块像素特征转换至相同维度。
在上述实施例的基础上，所述特征优化模块具体用于：
将所述分块像素特征，以及所述分块像素特征对应的权重的加权之和，与所述全局像素特征相加，得到所述优化图像特征。
在上述实施例的基础上，所述系统还包括：
权重获取模块，用于基于主成分分析法，对所述图像特征的行和列进行主成分筛选，确定目标像素点；基于所述目标像素点在所述分块像素特征对应区块中的比例，确定所述分块像素特征的权重。
在上述实施例的基础上，所述系统还包括：
卷积层确定模块，用于根据待分类图像的图像特征提取精度，确定所述卷积神经网络所使用卷积层的个数。
在上述实施例的基础上，分类结果输出模块404具体用于：
基于分类器，对所述优化图像特征进行局部特征分类，输出分类结果；其中，所述分类器的类型是根据分类目标的复杂度确定的。
在上述实施例的基础上，所述分类器为多层感知器网络。
图5是本发明实施例提供的电子设备的结构框图，参照图5，所述电子设备，包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：基于卷积神经网络，提取待分类图像的图像特征；对所述图像特征进行分块降维，得到分块像素特征；基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；对所述优化图像特征进行局部特征分类，得到分类结果。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于卷积神经网络，提取待分类图像的图像特征；对所述图像特征进行分块降维，得到分块像素特征；基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；对所述优化图像特征进行局部特征分类，得到分类结果。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：基于卷积神经网络，提取待分类图像的图像特征；对所述图像特征进行分块降维，得到分块像素特征；基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；对所述优化图像特征进行局部特征分类，得到分类结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行每个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图像中局部特征分类方法，其特征在于，包括：
基于卷积神经网络，提取待分类图像的图像特征；
对所述图像特征进行分块降维，得到分块像素特征；
基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；
对所述优化图像特征进行局部特征分类，得到分类结果；
所述基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征，之前还包括：
基于主成分分析法，对所述图像特征的行和列进行主成分筛选，确定目标像素点；
基于所述目标像素点在所述分块像素特征对应区块中的比例，确定所述分块像素特征的权重。
2.根据权利要求1所述的图像中局部特征分类方法，其特征在于，所述基于卷积神经网络，提取待分类图像的图像特征，包括：
基于所述卷积神经网络，对所述待分类图像进行多个卷积核卷积，得到多个通道的图像特征。
3.根据权利要求1所述的图像中局部特征分类方法，其特征在于，所述对所述图像特征进行分块降维，得到分块像素特征，包括：
对所述图像特征分别进行均值池化和最大值池化，得到均值池化向量和最大值池化向量；
连接所述均值池化向量和最大值池化向量，得到目标向量；
对所述目标向量进行分块降维，得到所述分块像素特征。
4.根据权利要求3所述的图像中局部特征分类方法，其特征在于，所述连接所述均值池化向量和最大值池化向量，得到目标向量，之后还包括：
对所述目标向量进行全局降维，得到全局像素特征；
对所述全局像素特征和所述分块像素特征进行池化计算，并基于多层感知器算法，将所述全局像素特征和所述分块像素特征转换至相同维度。
5.根据权利要求4所述的图像中局部特征分类方法，其特征在于，所述基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征，具体包括：
将所述分块像素特征，以及所述分块像素特征对应的权重的加权之和，与所述全局像素特征相加，得到所述优化图像特征。
6.根据权利要求1所述的图像中局部特征分类方法，其特征在于，所述基于卷积神经网络，提取待分类图像的图像特征，之前还包括：
根据所述待分类图像的图像特征提取精度，确定所述卷积神经网络所使用卷积层的个数。
7.根据权利要求1所述的图像中局部特征分类方法，其特征在于，所述对所述优化图像特征进行局部特征分类，得到分类结果，包括：
基于分类器，对所述优化图像特征进行局部特征分类，输出分类结果；其中，所述分类器的类型是根据分类目标的复杂度确定的。
8.根据权利要求7所述的图像中局部特征分类方法，其特征在于，所述分类器为多层感知器网络。
9.一种图像中局部特征分类系统，其特征在于，包括：
特征提取模块，用于基于卷积神经网络，提取待分类图像的图像特征；
特征降维模块，用于对所述图像特征进行分块降维，得到分块像素特征；
特征优化模块，用于基于所述分块像素特征对应的权重，对所述分块像素特征进行加权，得到优化图像特征；其中，所述权重是对所述图像特征进行主成分分析得到的；
分类结果输出模块，用于对所述优化图像特征进行局部特征分类，得到分类结果；
所述系统还包括：权重获取模块，用于基于主成分分析法，对所述图像特征的行和列进行主成分筛选，确定目标像素点；基于所述目标像素点在所述分块像素特征对应区块中的比例，确定所述分块像素特征的权重。
CN201910790017.4A 2019-08-26 2019-08-26 一种图像中局部特征分类方法及系统 Active CN110503149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910790017.4A CN110503149B (zh) 2019-08-26 2019-08-26 一种图像中局部特征分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790017.4A CN110503149B (zh) 2019-08-26 2019-08-26 一种图像中局部特征分类方法及系统

Publications (2)

Publication Number Publication Date
CN110503149A CN110503149A (zh) 2019-11-26
CN110503149B true CN110503149B (zh) 2022-06-14

Family

ID=68589467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790017.4A Active CN110503149B (zh) 2019-08-26 2019-08-26 一种图像中局部特征分类方法及系统

Country Status (1)

Country Link
CN (1) CN110503149B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539962A (zh) * 2020-01-10 2020-08-14 济南浪潮高新科技投资发展有限公司 一种目标图像分类方法、装置以及介质
CN112528830A (zh) * 2020-12-07 2021-03-19 南京航空航天大学 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法
CN112801238B (zh) * 2021-04-15 2021-07-27 中国科学院自动化研究所 一种图像分类方法、装置、电子设备及存储介质
CN113762342B (zh) * 2021-08-04 2024-03-29 北京旷视科技有限公司 数据处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573729A (zh) * 2015-01-23 2015-04-29 东南大学 一种基于核主成分分析网络的图像分类方法
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及系统
CN107844795A (zh) * 2017-11-18 2018-03-27 中国人民解放军陆军工程大学 基于主成分分析的卷积神经网络特征提取方法
CN108921830A (zh) * 2018-06-21 2018-11-30 北京信息科技大学 一种基于图像检索的人数统计方法
CN109558904A (zh) * 2018-11-21 2019-04-02 咪咕文化科技有限公司 图像局部特征的分类方法、装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436890B2 (en) * 2014-01-23 2016-09-06 Samsung Electronics Co., Ltd. Method of generating feature vector, generating histogram, and learning classifier for recognition of behavior
US10367841B2 (en) * 2016-12-16 2019-07-30 Patternex, Inc. Method and system for learning representations for log data in cybersecurity
CN110110596B (zh) * 2019-03-29 2022-12-02 西北大学 高光谱图像特征提取、分类模型构建及分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573729A (zh) * 2015-01-23 2015-04-29 东南大学 一种基于核主成分分析网络的图像分类方法
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及系统
CN107844795A (zh) * 2017-11-18 2018-03-27 中国人民解放军陆军工程大学 基于主成分分析的卷积神经网络特征提取方法
CN108921830A (zh) * 2018-06-21 2018-11-30 北京信息科技大学 一种基于图像检索的人数统计方法
CN109558904A (zh) * 2018-11-21 2019-04-02 咪咕文化科技有限公司 图像局部特征的分类方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MLP Neural Network for face recognition based on Gabor Features and Dimensionality Reduction techniques;Wael O.等;《2014 International Conference on Multimedia Computing and Systems (ICMCS)》;20140929;第1-8页 *
一种加权的分块邻域保持嵌入人脸识别算法;陈斌 等;《计算机与数字工程》;20171231;第45卷(第5期);第966-969页 *

Also Published As

Publication number Publication date
CN110503149A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN110223292B (zh) 图像评估方法、装置及计算机可读存储介质
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
US20170364742A1 (en) Lip-reading recognition method and apparatus based on projection extreme learning machine
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
WO2019089578A1 (en) Font identification from imagery
CN111797983A (zh) 一种神经网络构建方法以及装置
CN113159300B (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN112801040B (zh) 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统
US20230401833A1 (en) Method, computer device, and storage medium, for feature fusion model training and sample retrieval
CN110879982A (zh) 一种人群计数系统及方法
US10943157B2 (en) Pattern recognition method of autoantibody immunofluorescence image
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110222718A (zh) 图像处理的方法及装置
Wu et al. Learning scene gist with convolutional neural networks to improve object recognition
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN111783935B (zh) 卷积神经网络构建方法、装置、设备及介质
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN111291631A (zh) 视频分析方法及其相关的模型训练方法、设备、装置
CN112836820A (zh) 用于图像分类任务的深度卷积网络训方法、装置及系统
CN116229226A (zh) 一种适用于光电吊舱的双通道图像融合目标检测方法
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant