CN114548251A - 基于正则化相关网络的小样本垃圾图像分类方法 - Google Patents
基于正则化相关网络的小样本垃圾图像分类方法 Download PDFInfo
- Publication number
- CN114548251A CN114548251A CN202210144556.2A CN202210144556A CN114548251A CN 114548251 A CN114548251 A CN 114548251A CN 202210144556 A CN202210144556 A CN 202210144556A CN 114548251 A CN114548251 A CN 114548251A
- Authority
- CN
- China
- Prior art keywords
- images
- garbage
- network
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于正则化相关网络的小样本垃圾图像分类方法,包括:首先使用摄像头采集若干垃圾图像构建垃圾分类数据集并使用对数变换方法对图像进行预处理,然后使用Resnet12构建正则化相关网络,接着带有参数正则化项的交叉熵损失函数对主干网络以及相关性计算模块中的参数进行优化,最后固定正则化相关网络中的参数对垃圾图像进行分类测试;本方法能够提高相关网络进行小样本图像分类的精度以及垃圾图像自动分类识别的效率。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及基于正则化相关网络的小样本垃圾图像分类方法。
背景技术
随着社会经济的快速发展以及人们物质消费水平的大幅提高,城市生活中每天产生的垃圾总量也随之不断激增。根据住建部所发布的数据可知,自2010年以来,我国生活垃圾清运量逐年上升,2016年就已经超过了2亿吨。面对如此庞大的生活垃圾,如果不对其进行及时地处理,将会严重影响居民的生活环境。在这种背景下,利用先进技术对垃圾进行自动化处理具有重要意义。在对垃圾进行自动处理过程中,对垃圾的自动分类识别是其中的关键环节,直接决定了整个处理的效率。
近年来,随着人工智能技术的飞速发展,基于深度学习技术的图像的分类识别取得了巨大成功,同时也为垃圾图像的自动分类识别提供了新的有效手段。例如,Xiong等(W.Cui,W.Zhang,J.Green,X.Zhang and X.Yao,"YOLOv3-darknet with AdaptiveClustering Anchor Box for Garbage Detection in Intelligent Sanitation,"20193rd International Conference on Electronic Information Technology andComputer Engineering(EITCE),2019,pp.220-225)引入自适应聚类算法对YOLOv3模型进行改进从而完成对垃圾图像的分类识别;向伟等(向伟,史晋芳,刘桂华,等.改进CaffeNet模型在水面垃圾识别中的应用.传感器与微系统,2019(8):4.)通过卷积核的大小,卷积核的数量以及增加了一层稀疏结构几个方面对Caffnet模型进行改进从而对水面垃圾图像进分类识别。
尽管上述方法对垃圾图像的分类识别取得了良好的性能,但是上述方法所采用的深度学习模型的参数容量大,往往需要大量的标注图像对模型进行优化训练才能完成分类识别任务,并且在线对测试垃圾图像进行分类识别往往伴随着时间滞后问题的出现。
发明内容
发明目的:针对上述技术问题,本发明提供了一种基于正则化相关网络的小样本垃圾图像分类方法,其中相关网络是解决小样本图像分类问题中的经典模型,该模型基于带有参数的非线性度量模块的非参数分类器利用少量样本对图像进行分类识别,然而由于非线性度量模块中的额外参数的引入导致该模型会出现过拟合,从而影响分类性能,为此本发明对相关网络进行改进,公开了一种正则化相关网络并将其应用于小样本垃圾图像分类。
技术方案:本发明所述的基于正则化相关网络的小样本垃圾图像分类方法,包括如下主要步骤:
步骤一、训练图像数据集的采集与预处理:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像构建训练集Itr,然后利用对数变换对每幅图像进行预处理,对训练集中的图像进行细粒度人工标注;
步骤二、正则化相关网络的构建:该网络主要是由三个模块组成,分别为主干网络,相关性计算模块以及Softmax层;
步骤三、正则化相关网络的输入与输出:在训练集Itr随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像,将支持样本图像和查询样本图像输入到正则化相关网络中,得到查询图像样本的类别概率预测值;
步骤四、正则化相关网络的训练:计算查询样本类别概率预测值与人工标注标签值之间的损失函数,利用梯度下降方法对网络中的参数进行优化;
步骤五、垃圾图像的分类测试:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像,然后利用对数变换对每幅图像进行预处理构建训练集Ite,对测试集中的图像进行粗粒度人工标注;在训练集Ite随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像;将支持样本图像和查询样本图像输入到参数固定的正则化相关网络中,得到关于查询样本的类别输出预测值,从而完成对垃圾图像的分类测试。
进一步的,步骤一的具体步骤如下:
S11:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像构建训练集Itr;
S12:训练集Itr中第i幅图像表示为Ii,利用对数变换对其进行预处理的计算公式如下:
S13:对训练集Itr中的垃圾图像进行细粒度标注,即将其标注为菜叶、果皮、骨头、废纸、废旧电池、矿泉水瓶等。
进一步的,步骤二的具体步骤如下:
S21:正则化相关网络的主干网络为ResNet12,该网络由4个残差块组成;每个残差块包含有3个卷积层,每层核函数的大小3×3为;其中前3个残差块包含一个2×2最大池层,而最后一个残差块具有一个全局平均池化层;四个残差块中分别具有64,160,320以及640个通道;主干网络表示为Gφ(·),其中φ表示主干网络中的参数;
S23:正则化相关网络中的softmax层表示为M(·),该模块将查询样本与支持样本之间的相关性值转为概率预测值。
进一步的,步骤三的具体步骤如下:
S31:在训练集Itr随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像;
S33:将支持样本特征与查询样本特征拼接起来输入到正则化相关网络中的相关性计算模块,得到的相关性值表示为:
S34:查询样本经过softmax层得到属于第i个类别的概率预测值表示为:
进一步的,步骤四的具体步骤如下:
S41:查询样本类别预测输出值与人工标注值之间的正则化损失函数计算公式为:
其中yji表示第j个查询样本人工标注值的第i个分量,λ为可调的正则化系数;
其中β为迭代步长参数。
进一步的,步骤五的具体步骤如下:
S51:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像,然后利用对数变换对每幅图像进行预处理构建训练集Ite;
S52:对训练集Ite中的垃圾图像进行粗粒度标注,即将其标注为湿垃圾、干垃圾、可回收垃圾以及有害垃圾;
S53:训练集Ite中第n幅图像表示为In,利用对数变换对其进行预处理的计算公式如下:
S54:在训练集Ite随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像;
S57:将支持样本特征与查询样本特征拼接起来输入到正则化相关网络中的相关性计算模块,得到的相关性值表示为:
S58:查询样本经过softmax层得到属于第i个类别的概率预测值表示为:
有益效果:本发明采用以上技术方案与现有技术方案相比,具有以下技术效果:
(1)该发明公开的正则化相关网络使用带有参数正则化项的损失函数对相关网络中的参数进行优化,能够避免过拟合,能够进一步提高小样本图像分类的精度;
(2)该发明将正则化相关网络应用到小样本垃圾图像分类,网络参数容量小,能够提高对垃圾图像自动分类识别的效率。
附图说明
图1为基于正则化相关网络的小样本垃圾图像分类方法的流程图;
图2主干网络的架构图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
以生活小区内的垃圾分类为示例并结合图1中基于正则化网络的小样本垃圾图像分类方法的流程图对本发明的具体实施方式进行说明,如图1所示其具体步骤如下:
步骤一,采集训练图像数据集并进行预处理:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像构建训练集Itr,利用对数变换对其进行预处理,对训练集Itr中的垃圾图像进行细粒度标注,即将其标注为菜叶、果皮、骨头、废纸、废旧电池、矿泉水瓶等;
步骤二,构建正则化相关网络:该网络由参数为φ的主干网络Gφ(·),参数为的相关性计算模块以及Softmax层M(·)组成。主干网络的网络架构如图2所示,该网络由4个残差块组成:每个残差块包含有3个卷积层,每层核函数的大小3×3为:其中前3个残差块包含一个2×2最大池层,而最后一个残差块具有一个全局平均池化层。四个残差块中分别具有64,160,320以及640个通道;
步骤三,正则化相关网络的输入与输出:在训练集Itr随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像,第i个类别的支持图像样本表示为第j个查询图像样本表示为经过正则化相关网络的主干网络提取特征之后被表示为和将支持样本特征与查询样本特征拼接起来输入到正则化相关网络中的相关性计算模块,得到的相关性值Sij,经过softmax层得到属于第i个类别的概率预测值pij;
步骤五,垃圾图像的分类测试。使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像,然后利用对数变换对每幅图像进行预处理构建训练集Ite,将训练集Ite中的垃圾图像标注为湿垃圾、干垃圾、可回收垃圾以及有害垃圾;在训练集Ite随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像,第n个类别的支持图像样本表示为第q个查询图像样本表示为经过正则化相关网络的主干网络提取特征之后被表示为和将支持样本特征与查询样本特征拼接起来得到相关性值Snq,经过softmax层得到类别的概率预测值pnq。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (6)
1.基于正则化相关网络的小样本垃圾图像分类方法,其特征在于,包括如下主要步骤:
步骤一、训练图像数据集的采集与预处理:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像构建训练集Itr,然后利用对数变换对每幅图像进行预处理,对训练集中的图像进行细粒度人工标注;
步骤二、正则化相关网络的构建:该网络主要是由三个模块组成,分别为主干网络,相关性计算模块以及Softmax层;
步骤三、正则化相关网络的输入与输出:在训练集Itr随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像,将支持样本图像和查询样本图像输入到正则化相关网络中,得到查询图像样本的类别概率预测值;
步骤四、正则化相关网络的训练:计算查询样本类别概率预测值与人工标注标签值之间的损失函数,利用梯度下降方法对网络中的参数进行优化;
步骤五、垃圾图像的分类测试:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像,然后利用对数变换对每幅图像进行预处理构建训练集Ite,对测试集中的图像进行粗粒度人工标注;在训练集Ite随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像;将支持样本图像和查询样本图像输入到参数固定的正则化相关网络中,得到关于查询样本的类别输出预测值,从而完成对垃圾图像的分类测试。
3.根据权利要求1所述基于正则化相关网络的小样本垃圾图像分类方法,其特征在于,步骤二的具体步骤如下:
S21:正则化相关网络的主干网络为ResNet12,该网络由4个残差块组成;每个残差块包含有3个卷积层,每层核函数的大小3×3为;其中前3个残差块包含一个2×2最大池层,而最后一个残差块具有一个全局平均池化层;四个残差块中分别具有64,160,320以及640个通道;主干网络表示为Gφ(·),其中φ表示主干网络中的参数;
S23:正则化相关网络中的softmax层表示为M(·),该模块将查询样本与支持样本之间的相关性值转为概率预测值。
6.根据权利要求1所述基于正则化相关网络的小样本垃圾图像分类方法,其特征在于,步骤五的具体步骤如下:
S51:使用摄像头对不同种类的垃圾进行拍摄,采集若干张垃圾图像,然后利用对数变换对每幅图像进行预处理构建训练集Ite;
S52:对训练集Ite中的垃圾图像进行粗粒度标注,即将其标注为湿垃圾、干垃圾、可回收垃圾以及有害垃圾;
S53:训练集Ite中第n幅图像表示为In,利用对数变换对其进行预处理的计算公式如下:
S54:在训练集Ite随机抽取四类垃圾图像,每种类别种随机抽取5幅图像作为支持样本图像,每类中剩余的图像作为查询样本图像;
S57:将支持样本特征与查询样本特征拼接起来输入到正则化相关网络中的相关性计算模块,得到的相关性值表示为:
S58:查询样本经过softmax层得到属于第i个类别的概率预测值表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210144556.2A CN114548251A (zh) | 2022-02-16 | 2022-02-16 | 基于正则化相关网络的小样本垃圾图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210144556.2A CN114548251A (zh) | 2022-02-16 | 2022-02-16 | 基于正则化相关网络的小样本垃圾图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114548251A true CN114548251A (zh) | 2022-05-27 |
Family
ID=81676151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210144556.2A Withdrawn CN114548251A (zh) | 2022-02-16 | 2022-02-16 | 基于正则化相关网络的小样本垃圾图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114548251A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937179A (zh) * | 2022-07-27 | 2022-08-23 | 深圳市海清视讯科技有限公司 | 垃圾图像分类方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-16 CN CN202210144556.2A patent/CN114548251A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937179A (zh) * | 2022-07-27 | 2022-08-23 | 深圳市海清视讯科技有限公司 | 垃圾图像分类方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805200B (zh) | 基于深度孪生残差网络的光学遥感场景分类方法及装置 | |
CN111783841B (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
CN111461190A (zh) | 一种基于深度卷积神经网络的非均衡船舶分类方法 | |
CN110717526A (zh) | 一种基于图卷积网络的无监督迁移学习方法 | |
CN112733936A (zh) | 一种基于图像识别的可回收垃圾分类方法 | |
CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
CN112200262B (zh) | 支持多任务和跨任务的小样本分类训练方法及装置 | |
CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
CN113688787A (zh) | 花生叶片病害识别方法 | |
Liu et al. | Multimodal ground-based remote sensing cloud classification via learning heterogeneous deep features | |
CN114118596A (zh) | 一种光伏发电量预测方法和装置 | |
Hacıefendioğlu et al. | Wood construction damage detection and localization using deep convolutional neural network with transfer learning | |
CN114722928B (zh) | 一种基于深度学习的蓝藻图像识别方法 | |
CN114548251A (zh) | 基于正则化相关网络的小样本垃圾图像分类方法 | |
CN113283320B (zh) | 一种基于通道特征聚合的行人重识别方法 | |
CN114548268A (zh) | 基于原型网络的小样本垃圾图像分类方法 | |
Gao et al. | An improved XGBoost based on weighted column subsampling for object classification | |
Roy et al. | AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network | |
CN108898157B (zh) | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 | |
CN115510948A (zh) | 一种基于鲁棒图分类的区块链钓鱼检测方法 | |
CN114332715A (zh) | 气象自动观测积雪识别方法、装置、设备及存储介质 | |
CN114049522A (zh) | 一种基于深度学习的垃圾分类系统 | |
CN114494850A (zh) | 一种村庄无人居住院落智能识别方法及系统 | |
Chen | Air quality index forecasting via deep dictionary learning | |
Sali et al. | Waste Classification using Convolutional Neural Network on Edge Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220527 |