CN112016574A - 一种基于特征融合的图像分类方法 - Google Patents

一种基于特征融合的图像分类方法 Download PDF

Info

Publication number
CN112016574A
CN112016574A CN202011140530.8A CN202011140530A CN112016574A CN 112016574 A CN112016574 A CN 112016574A CN 202011140530 A CN202011140530 A CN 202011140530A CN 112016574 A CN112016574 A CN 112016574A
Authority
CN
China
Prior art keywords
image
features
images
feature fusion
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011140530.8A
Other languages
English (en)
Other versions
CN112016574B (zh
Inventor
张桃红
范素丽
胡俊楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202011140530.8A priority Critical patent/CN112016574B/zh
Publication of CN112016574A publication Critical patent/CN112016574A/zh
Application granted granted Critical
Publication of CN112016574B publication Critical patent/CN112016574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种基于特征融合的图像分类方法，所述方法包括：获取包含图像和结构化数值特征的训练集；构建基于图像特征和结构化数值特征的特征融合图像分类模型；利用获取的训练集对构建的特征融合图像分类模型进行训练；其中，在训练过程中，通过图像处理提取图像的几何特征，同时通过卷积神经网络自动提取图像特征，将图像处理提取的几何特征、卷积神经网络自动提取的特征与训练集中的结构化数值特征进行融合，根据融合后的特征对图像的类型进行预测；获取待分类图像，将其输入到训练好的特征融合图像分类模型中，对待分类图像的类型进行预测。采用本发明，能够利用融合后的更加全面和更具代表性的特征对图像进行分类，提高图像的分类准确率。

Description

一种基于特征融合的图像分类方法
技术领域
本发明涉及图像分类和人工智能领域，特别涉及是指一种基于特征融合的图像分类方法。
背景技术
在图像获取的过程中，由于拍摄的距离、角度等问题。不同大小的目标，在图像上显示可能有相同的大小。目标距离镜头比较远的时候，拍出来的物体就显的小一些，不符合实际大小。如果两种目标的形状、颜色比较接近，并且由于拍摄距离问题，卷积神经网络（CNN）很容易将两种类别的目标分类错误。目标本身的结构化数值特征，可以直接描述目标大小、重量等特征信息。当两种类别物体的数值特征相接近但是颜色、形状却完全不相同时，仅用数值特征来对目标进行分类效果就不够好。
目前，对于图像进行分类已经有大量的研究，包括传统的图像分类方法和基于CNN的图像分类方法（网络自动提取特征）。但是，它们都存在一些问题：传统的图像分类方法提取的特征都是由研究人员手工提取的。但是，有些专业图像特征的选择需要对专业知识有足够深入的了解，因此，研究人员的不完全考虑，可能会导致提取的特征不全面。基于CNN的图像分类方法虽然能够摆脱手工图像处理提取特征的弊端，但是当前CNN的可解释性仍在研究当中，因此CNN是怎么提取特征的、以及提取的特征是什么，都是不可解释的，导致图像的分类准确率低。
发明内容
本发明实施例提供了基于特征融合的图像分类方法，能够将通过图像处理提取的几何特征、卷积神经网络自动提取的特征和结构化数据的数值特征相融合，利用融合后的更加全面和更具代表性的特征对图像进行分类，以提高图像的分类准确率，从而有效解决当前图像分类方法使用的特征的不够全面和代表性不强，导致图像的分类准确率低的问题。
本发明实施例提供了一种基于特征融合的图像分类方法，该方法包括：
S101，获取包含图像和结构化数值特征的训练集；
S102，构建基于图像特征和结构化数值特征的特征融合图像分类模型；
S103，利用获取的训练集对构建的特征融合图像分类模型进行训练；其中，在训练过程中，通过图像处理提取训练集中图像的几何特征，同时通过卷积神经网络提取图像特征，将图像处理提取的几何特征、卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合，根据融合后的特征对图像的类型进行预测；
S104，获取待分类图像，将其输入到训练好的特征融合图像分类模型中，对待分类图像的类型进行预测。
进一步地，所述通过图像处理提取训练集中图像的几何特征包括：
获取训练集中的图像，对获取的图像进行灰度化处理，将其转化为灰度图像；
对灰度图像进行二值化处理，将灰度图像转化为二值图像；
基于二值图像，提取出图像中物体的轮廓；
基于提取出的轮廓，提取图像中物体的最小外接矩形；
基于提取的图像中物体的轮廓和最小外接矩形，确定图像的几何特征。
进一步地，所述图像的几何特征包括：面积、周长、体态比、矩形度、圆度和形状因子。
进一步地，所述的卷积神经网络结构包括：卷积层、与卷积层相连的池化层和与池化层相连的全局平均池化层；其中，卷积层用于提取图像的特征；池化层用于降低卷积层提取的特征维度；全局平均池化用于将降维后的图像中所有像素的平均值作为特征值。
进一步地，所述的结构化数值特征是图像中物体自身的属性特征。
进一步地，所述将图像处理提取的几何特征、卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合包括：
通过融合公式将图像处理提取的几何特征和卷积神经网络提取的图像特征相融合，其中，融合公式表示为：
Figure 433818DEST_PATH_IMAGE001
Figure 509090DEST_PATH_IMAGE002
其中，
Figure 126016DEST_PATH_IMAGE003
表示融合后的特征；
Figure 540817DEST_PATH_IMAGE004
和
Figure 811261DEST_PATH_IMAGE005
分别表示图像处理提取的几何特征、卷积神经网络提取的图像特征和结构化数值特征；
Figure 452458DEST_PATH_IMAGE006
表示图像处理提取的几何特征的维数；
Figure 873075DEST_PATH_IMAGE007
表示卷积神经网络提取的图像特征的维数；
Figure 204699DEST_PATH_IMAGE008
表示结构化数值特征的维数；
Figure 521411DEST_PATH_IMAGE009
表示将
Figure 40117DEST_PATH_IMAGE004
和
Figure 998846DEST_PATH_IMAGE005
三种特征向量合并。
进一步地，所述根据融合后的特征对图像的类型进行预测包括：
根据融合后的特征，利用特征融合图像分类模型中的分类器对图像的类型进行预测，得到分类输出结果；
其中，所述分类器包括：两个相连的全连接层；第一个全连接层的神经元个数为融合特征的维数，第二个全连接层神经元个数为预测的类别数；
在训练特征融合图像分类模型时，根据第二全连接层的输出计算损失，损失函数表示为：
Figure 794764DEST_PATH_IMAGE010
其中，Loss表示损失值，N表示图像的总类型数，
Figure 938169DEST_PATH_IMAGE011
表示输入的图像属于第i类的预测得分，
Figure 85117DEST_PATH_IMAGE012
的取值为0或1，
Figure 178362DEST_PATH_IMAGE012
=1表示输入的图像属于第i类，
Figure 422262DEST_PATH_IMAGE012
=0表示输入的图像不属于第i类。
进一步地，在获取待分类的图像，将其输入到训练好的特征融合图像分类模型中，对待分类图像的类型进行预测之前，所述方法还包括：
获取图像测试集；
将测试集中的图像输入到训练好的特征融合图像分类模型中，根据特征融合图像分类模型的分类输出结果得到输入的测试集中图像的类型。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，获取包含图像和结构化数值特征的训练集；构建基于图像特征和结构化数值特征的特征融合图像分类模型；利用获取的训练集对构建的特征融合图像分类模型进行训练；其中，在训练过程中，通过图像处理提取图像的几何特征，同时通过卷积神经网络提取图像的特征，将图像处理提取的几何特征和卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合，根据融合后的特征对图像的类型进行预测；获取待分类图像，将其输入到训练好的图像分类模型中，对待分类图像的类型进行预测。这样，将通过图像处理提取的几何特征、卷积神经网络自动提取的图像特征和物体自身的数值特征进行融合，利用融合后的更加全面和更具代表性的特征对易混淆的图像进行分类，能够显著提高图像的分类准确率，从而有效解决当前图像分类方法使用的特征的不够全面和代表性不强，导致图像的分类准确率低的问题。
附图说明
图1为本发明实施例提供的基于特征融合的图像分类方法的流程示意图；
图2为本发明实施例提供的图像处理提取磨粒图像几何特征的流程示意图；
图3为本发明实施例提供的特征融合的图像分类模型的工作流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于特征融合的图像分类方法，该方法包括：
S101，获取包含图像和结构化数值特征的训练集；
S102，构建基于图像处理和结构化数值特征的特征融合图像分类模型；
S103，利用获取的包含图像和结构化数值特征的训练集对构建的特征融合图像分类模型进行训练；其中，在训练过程中，通过图像处理提取图像的几何特征，同时通过卷积神经网络提取图像的特征，将图像处理提取的几何特征和卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合，根据融合后的特征对图像的类型进行预测；
S104，获取待分类图像，将其输入到训练好的特征融合图像分类模型中，对待分类图像的类型进行预测。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述通过图像处理提取图像的几何特征包括：
获取训练集中的图像，对获取的图像进行灰度化处理，将其转化为灰度图像；
对灰度图像进行二值化处理，将灰度图像转化为二值图像；
基于二值图像，提取出图像中物体的轮廓；
基于提取出的轮廓，提取图像中物体的最小外接矩形；
基于提取的图像中物体的轮廓和最小外接矩形，确定图像的几何特征。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述图像的几何特征包括：面积、周长、体态比、矩形度、圆度和形状因子等。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述的卷积神经网络结构包括：卷积层、与卷积层相连的池化层和与池化层相连的全局平均池化层；其中，卷积层用于提取图像的特征；池化层用于降低卷积层提取的特征维度，使图像中的物体保持平移不变性；全局平均池化用于将降维后的图像中所有像素的平均值作为特征值，可以提取特征图的高度抽象特征。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述的结构化数值特征是结构化数据的数值特征，具体指图像中物体自身的属性特征，数值性特征有具体的含义，可以由连续或者离散的数值来描述。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述将图像处理提取的几何特征、和卷积神经网络提取的图像特征与训练集上中的结构化数值特征进行融合包括：
通过融合公式将图像处理提取的几何特征和、卷积神经网络提取的图像特征与训练集上中的结构化数值特征相融合，其中，融合公式表示为：
Figure 346355DEST_PATH_IMAGE013
其中，
Figure 980599DEST_PATH_IMAGE003
表示融合后的特征；
Figure 140185DEST_PATH_IMAGE004
和
Figure 645116DEST_PATH_IMAGE005
分别表示图像处理提取的几何特征、卷积神经网络提取的图像特征和结构化数值特征；
Figure 130324DEST_PATH_IMAGE006
表示图像处理提取的几何特征的维数；
Figure 870932DEST_PATH_IMAGE007
表示卷积神经网络提取的图像特征的维数；
Figure 761528DEST_PATH_IMAGE015
表示结构化数值特征的维数；
Figure 27424DEST_PATH_IMAGE016
表示将
Figure 23543DEST_PATH_IMAGE004
和
Figure 931457DEST_PATH_IMAGE005
三种特征向量合并。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，所述根据融合后的特征对图像的类型进行预测包括：
根据融合后的特征，利用特征融合图像分类模型融合分类模型中的分类器对图像的类型进行预测，得到分类输出结果；
其中，所述分类器包括：两个相连的全连接层；第一个全连接层的神经元个数为融合特征的维数，第二个全连接层神经元个数为预测的类别数；
在训练特征融合图像分类模型时，根据第二全连接层的输出计算损失，损失函数表示为：
Figure 535613DEST_PATH_IMAGE017
其中，Loss表示损失值，N表示图像的总类型数，
Figure 34728DEST_PATH_IMAGE011
表示输入的图像属于第i类的预测得分，
Figure 458756DEST_PATH_IMAGE012
的取值为0或1，
Figure 891399DEST_PATH_IMAGE012
=1表示输入的图像属于第i类，
Figure 881220DEST_PATH_IMAGE012
=0表示输入的图像不属于第i类。
在前述基于特征融合的图像分类方法的具体实施方式中，进一步地，在获取待分类的图像，将其输入到训练好的特征融合图像分类模型中，对待分类的图像的类型进行预测之前，所述方法还包括：
获取图像测试集；
将测试集中的图像输入到训练好的特征融合图像分类模型中，根据特征融合图像分类模型的分类输出结果得到输入的测试集中图像的类型。
实施例一
本实施例中，使用5种不同类型的磨粒图像数据集来训练和验证基于图像处理提取的几何特征和卷积神经网络提取的图像特征得到的特征融合图像分类模型（在实施例一中，称为磨粒分类模型）效果。使用损失函数Loss和Adam优化器来迭代更新模型中卷积核和神经元的参数，优化器具体参数为：50次迭代训练，每个训练批次大小32，学习速率为0.01，权重惩罚项为0.0001，动量为0.9。当训练集和其中的验证集损失趋向于收敛时，表示磨粒分类模型稳定，得到训练好的磨粒分类模型。本实施例中的验证集是从训练集中划出来的一部分数据集，用来验证磨粒分类模型训练效果，调整磨粒分类模型中的学习速率等参数，防止磨粒分类模型过拟合，提升磨粒分类模型的泛化能力。具体的步骤为：
（1）获取磨粒图像数据集，将磨粒图像数据集划分为训练集和测试集；磨粒图像数据集包含5类磨粒，每张图像包含一个磨粒，数据集总共包含1728张图像，将其进行划分，得到训练集包含1353张图像（包含验证集），测试集包含375张图像，其中，验证集包含173张图像。
（2）通过图像处理提取训练集中磨粒图像的几何特征
Figure 816815DEST_PATH_IMAGE018
，如图2所示，磨粒图像依次经过灰度化、二值化处理，得到磨粒图像的轮廓和最小外接矩形，进而得到磨粒图像的几何特征：面积、周长、体态比、矩形度、圆度和形状因子特征，
Figure 869085DEST_PATH_IMAGE018
特征维度为6。
（3）通过卷积神经网络提取磨粒图像的图像特征
Figure 977855DEST_PATH_IMAGE019
，使用ResNet50作为特征提取的主干网络，提取出2048维的图像特征
Figure 431970DEST_PATH_IMAGE019
。
（4）将图像处理提取到的训练集中磨粒图像的几何特征
Figure 476150DEST_PATH_IMAGE018
与卷积神经网络提取到的磨粒图像的图像特征
Figure 405928DEST_PATH_IMAGE019
进行融合，得到融合后的特征
Figure 662597DEST_PATH_IMAGE020
。
（5）将得到的特征
Figure 95853DEST_PATH_IMAGE020
输入到两个全连接层，输出每个磨粒图像的预测结果；当训练集和其中的验证集损失趋向于收敛时，表示磨粒分类模型稳定，得到训练好的磨粒分类模型；
（6）将测试集中的磨粒图像输入到训练好的磨粒分类模型中，根据磨粒分类模型的分类输出结果得到输入的测试集中磨粒图像的类型。
进一步地，本实施例中，将基于图像处理提取的几何特征和卷积神经网络提取的图像特征进行融合的的图像分类方法记为磨粒分类新方法（FFWP-Net）。为了证明本实施例提出的方法在提升分类准确率上的有效性，分别以相同的实验条件和相同的数据集对3种传统的磨粒分类方法、3种CNN磨粒分类方法以及基于3种CNN的FFWP-Net进行训练和测试，然后进行了多组对比实验。不仅评估了每种磨粒分类模型总体的平均分类准确率，还评估了每种磨粒分类模型对每类磨粒的分类精确率（Precision）、召回率（Recall）和
Figure 310933DEST_PATH_IMAGE021
，其计算公式如下：
Figure 337795DEST_PATH_IMAGE022
其中，真正例（
Figure 522789DEST_PATH_IMAGE023
）表示预测为正例、实际也为正例的样本数；假正例（False Positive，
Figure 810551DEST_PATH_IMAGE024
）表示预测为正例，实际为反例的样本数；假反例（False Negative，
Figure DEST_PATH_IMAGE025
）表示预测为反例，实际为正例的样本数；正例表示对其中一个分类来说，所要预测的分类样本即是正例，而其他的四种类型就是反例；
Figure 930954DEST_PATH_IMAGE026
（F1分数），又称平衡F分数，是精确率和召回率的调和平均数。
首先，因为FFWP-Net方法需要CNN自动提取磨粒图像的特征，因此选择合适的CNN是至关重要的。如表1展示了分别将LeNet、AlexNet和ResNet50作为FFWP-Net方法的嵌入CNN的分类结果，可以看出，FFWP-Net（ResNet50）的平均分类准确率是93.33%，当单独从每一类的分类结果来看，FFWP-Net（ResNet50）在滑动、切削、疲劳、非金属大颗粒、气泡这5类磨粒上的F1-score分别是87.05%，93.48%，93.79%，98.15%，100.00%，每一类分类结果都优于嵌入其他CNN（LeNet、AlexNet）的FFWP-Net的磨粒分类方法，因此，选择ResNet50作为FFWP-Net的嵌入CNN。
表1 嵌入不同CNN的FFWP-Net的分类结果(%)
Figure DEST_PATH_IMAGE027
其次，为了证实FFWP-Net方法比传统分类方法的效果更好，将FFWP-Net方法与三种传统分类方法（包括：支持向量机（SVM）、k近邻方法（KNN）、逻辑回归分类方法（LR））进行了对比，对比结果如表2所示，根据表2可知，FFWP-Net（ResNet50）以显著性的优势超越了传统分类方法。
表2 传统磨粒分类方法与FFWP-Net的实验结果(%)
Figure 578534DEST_PATH_IMAGE028
最后，将FFWP-Net方法与三种CNN磨粒分类方法（包括：LeNet、AlexNet、ResNet50）进行比较，比较结果如表3所示，由表3可知，FFWP-Net（ResNet50）依然表现出最优的结果。
表3 CNN磨粒分类方法与FFWP-Net的实验结果(%)
Figure DEST_PATH_IMAGE029
因此，大量实验验证了基于特征融合的磨粒分类新方法（FFWP-Net），从特征增强入手，将通过图像处理提取的特征和CNN提取的特征进行融合，能够提升磨粒特征的全面性和代表性，从而提高了对磨粒图像的分类准确率。
实施例二
本实施例中，使用银狐犬、博美和萨摩耶3种体型不同但是外貌容易混淆的狗的图像和哈士奇的图像作为数据集，来验证特征融合图像分类模型的分类效果。使用损失函数Loss和Adam优化器来迭代更新模型中卷积核和神经元的参数，优化器具体参数为：100次迭代训练，每个训练批次大小32，学习速率为0.001，权重惩罚项为0.0001，动量为0.9。图像数据集包含银狐犬、博美、萨摩耶和哈士奇4类狗的图像，数据集总共包含1222张图像，将其进行划分，得到训练集包含976张图像，测试集包含246张图像。银狐犬、博美和萨摩耶分别属于小型犬、中型犬和大型犬，但是它们之间的外貌极其相似。萨摩耶和哈士奇都属于大型犬，它们之间的数值型特征比较相似。仅使用图像特征或者结构化数值特征都不能实现四类狗的合理分类。结构化数据是高度组织和整齐格式化的数据，可以由统一的结构表示。而数值特征指的是结构化数据中可以用具体数值表示的特征，是物体所具有的代表性特征，例如狗的体重（Weight），可以用连续的正数来进行表示，数值为5.0就表示体重为5.0千克的狗，年龄（Age）为3.0，就表示3.0个月大的狗。具体的流程如图3所示，分别将图像和结构化数据输入到特征融合图像分类模型中，对图像分类模型进行训练。
将本发明实施例提出的基于特征融合的图像分类方法记为FGT-Net。为了证明本实施例提出的方法在提升分类准确率上的有效性，分别以相同的实验条件和相同的数据集对仅使用图像特征（包括：通过图像处理提取到的几何特征和卷积神经网络提取到的特征）的模型、仅使用数值特征的模型和使用融合特征的模型进行训练和测试，然后进行对比实验。
表4展示了FGT-Net在使用不同特征时的分类结果，可以看出融合特征的分类准确度要超过仅使用图像特征、数值特征。与仅使用图像特征的模型进行比较，使用图像特征的各个准确度都不如融合特征准确度高，尤其是银狐犬、博美和萨摩耶三种外貌极其相似的狗，F1-score分数仅为49.3%、60.0%和68.1%，远低于融合特征的87.0%、90.0%和86.6%。仅使用图像特征对相似图像不能够取得很好的预测结果，数值性的特征可以弥补图像特征的不足。与仅使用数值特征的模型进行比较，由于萨摩耶和哈士奇都属于大型犬，数值特征极为相似，所以萨摩耶和哈士奇的三种性能指标都远低于融合特征的预测准确度。仅使用数值特征对相似数值特征不能够取得很好的预测结果，图像特征可以弥补数值特征的不足。
表4 不同特征的FGT-Net的分类结果(%)
Figure DEST_PATH_IMAGE031
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于特征融合的图像分类方法，其特征在于，包括：
S101，获取包含图像和结构化数值特征的训练集；
S102，构建基于图像特征和结构化数值特征的特征融合图像分类模型；
S103，利用获取的训练集对构建的特征融合图像分类模型进行训练；其中，在训练过程中，通过图像处理提取图像的几何特征，同时通过卷积神经网络提取图像的特征，将图像处理提取的几何特征、卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合，根据融合后的特征对图像的类型进行预测；
S104，获取待分类图像，将其输入到训练好的特征融合图像分类模型中，对待分类图像的类型进行预测。
2.根据权利要求1所述的基于特征融合的图像分类方法，其特征在于，所述通过图像处理提取图像的几何特征包括：
获取训练集中的图像，对获取的图像进行灰度化处理，将其转化为灰度图像；
对灰度图像进行二值化处理，将灰度图像转化为二值图像；
基于二值图像，提取出图像中物体的轮廓；
基于提取出的轮廓，提取图像中物体的最小外接矩形；
基于提取的图像中物体的轮廓和最小外接矩形，确定图像的几何特征。
3.根据权利要求2所述的基于特征融合的图像分类方法，其特征在于，所述图像的几何特征包括：面积、周长、体态比、矩形度、圆度和形状因子。
4.根据权利要求1所述的基于特征融合的图像分类方法，其特征在于，所述的卷积神经网络结构包括：卷积层、与卷积层相连的池化层和与池化层相连的全局平均池化层；其中，卷积层用于提取图像的特征；池化层用于降低卷积层提取的特征维度；全局平均池化用于将降维后的图像中所有像素的平均值作为特征值。
5.根据权利要求 1 所述的基于特征融合的图像分类方法，其特征在于，所述的结构化数值特征是图像中物体自身的属性特征。
6.根据权利要求1所述的基于特征融合的图像分类方法，其特征在于，所述将图像处理提取的几何特征、卷积神经网络提取的图像特征与训练集中的结构化数值特征进行融合包括：
通过融合公式将图像处理提取的几何特征、卷积神经网络提取的图像特征与训练集中的结构化数值特征相融合，其中，融合公式表示为：
Figure 359620DEST_PATH_IMAGE001
其中，
Figure 163628DEST_PATH_IMAGE002
表示融合后的特征；
Figure 95812DEST_PATH_IMAGE003
和
Figure 440206DEST_PATH_IMAGE004
分别表示图像处理提取的几何特征、卷积神经网络提取的图像特征和结构化数值特征；
Figure 141446DEST_PATH_IMAGE005
表示图像处理提取的几何特征的维数；
Figure 381934DEST_PATH_IMAGE006
表示卷积神经网络提取的图像特征的维数；
Figure 598152DEST_PATH_IMAGE007
表示结构化数值特征的维数；
Figure DEST_PATH_IMAGE009A
表示将
Figure 418340DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE011
三种特征向量合并。
7.根据权利要求1所述的基于特征融合的图像分类方法，其特征在于，所述根据融合后的特征对图像的类型进行预测包括：
根据融合后的特征，利用特征融合图像分类模型中的分类器对图像的类型进行预测，得到分类输出结果；
其中，所述分类器包括：两个相连的全连接层；第一个全连接层的神经元个数为融合特征的维数，第二个全连接层神经元个数为预测的类别数；
在训练特征融合图像分类模型时，根据第二全连接层的输出计算损失，损失函数表示为：
Figure 717296DEST_PATH_IMAGE012
其中，Loss表示损失值，N表示图像的总类型数，
Figure DEST_PATH_IMAGE013
表示输入的图像属于第i类的预测得分，
Figure 128686DEST_PATH_IMAGE014
的取值为0或1，
Figure DEST_PATH_IMAGE015
表示输入的图像属于第i类，
Figure 238725DEST_PATH_IMAGE016
表示输入的图像不属于第i类。
8.根据权利要求1所述的基于特征融合的图像分类方法，其特征在于，在获取待分类的图像，将其输入到训练好的特征融合图像分类模型中，对待分类的图像的类型进行预测之前，所述方法还包括：
获取图像测试集；
将测试集中的图像输入到训练好的特征融合图像分类模型中，根据特征融合图像分类模型的分类输出结果得到输入的测试集中图像的类型。
CN202011140530.8A 2020-10-22 2020-10-22 一种基于特征融合的图像分类方法 Active CN112016574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011140530.8A CN112016574B (zh) 2020-10-22 2020-10-22 一种基于特征融合的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011140530.8A CN112016574B (zh) 2020-10-22 2020-10-22 一种基于特征融合的图像分类方法

Publications (2)

Publication Number Publication Date
CN112016574A true CN112016574A (zh) 2020-12-01
CN112016574B CN112016574B (zh) 2021-02-12

Family

ID=73527621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011140530.8A Active CN112016574B (zh) 2020-10-22 2020-10-22 一种基于特征融合的图像分类方法

Country Status (1)

Country Link
CN (1) CN112016574B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592812A (zh) * 2021-07-29 2021-11-02 华南师范大学 一种素描图片评价方法及装置
CN113866375A (zh) * 2021-09-17 2021-12-31 华南师范大学 出水含氮物智能在线监测方法和系统
CN114418003A (zh) * 2022-01-20 2022-04-29 北京科技大学 基于注意力机制及多尺寸信息提取的双图像识别分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760488A (zh) * 2016-02-17 2016-07-13 北京大学 基于多层次特征融合的图像表达方法和装置
CN106372648A (zh) * 2016-10-20 2017-02-01 中国海洋大学 基于多特征融合卷积神经网络的浮游生物图像分类方法
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106650781A (zh) * 2016-10-21 2017-05-10 广东工业大学 一种卷积神经网络图像识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN105760488A (zh) * 2016-02-17 2016-07-13 北京大学 基于多层次特征融合的图像表达方法和装置
CN106372648A (zh) * 2016-10-20 2017-02-01 中国海洋大学 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN106650781A (zh) * 2016-10-21 2017-05-10 广东工业大学 一种卷积神经网络图像识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592812A (zh) * 2021-07-29 2021-11-02 华南师范大学 一种素描图片评价方法及装置
CN113866375A (zh) * 2021-09-17 2021-12-31 华南师范大学 出水含氮物智能在线监测方法和系统
CN114418003A (zh) * 2022-01-20 2022-04-29 北京科技大学 基于注意力机制及多尺寸信息提取的双图像识别分类方法
CN114418003B (zh) * 2022-01-20 2022-09-16 北京科技大学 基于注意力机制及多尺寸信息提取的双图像识别分类方法

Also Published As

Publication number Publication date
CN112016574B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112016574B (zh) 一种基于特征融合的图像分类方法
CN110619369B (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111144496B (zh) 一种基于混合卷积神经网络的垃圾分类方法
CN111126333B (zh) 一种基于轻量卷积神经网络的垃圾分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN107203775B (zh) 一种图像分类的方法、装置和设备
CN111062296B (zh) 一种基于计算机的白细胞自动识别分类方法
CN107679509A (zh) 一种小环藻识别方法及装置
CN111861103A (zh) 一种基于多特征与多分类器的鲜茶叶分类方法
CN112733936A (zh) 一种基于图像识别的可回收垃圾分类方法
CN114998603A (zh) 一种基于深度多尺度特征因子融合的水下目标检测方法
CN111026870A (zh) 一种综合文本分类和图像识别的ict系统故障分析方法
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
Tan et al. Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion
Pathak et al. Classification of fruits using convolutional neural network and transfer learning models
CN111340096A (zh) 一种基于对抗互补学习的弱监督蝴蝶目标检测方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN109102019A (zh) 基于HP-Net卷积神经网络的图像分类方法
Gao et al. An improved XGBoost based on weighted column subsampling for object classification
CN112883930A (zh) 基于全连接网络的实时真假运动判断方法
Jingyi et al. Classification of images by using TensorFlow
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation
CN115273131A (zh) 基于双通路特征融合的动物识别方法
CN114783072A (zh) 一种基于远域迁移学习的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant