CN108052981B - 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 - Google Patents
基于非下采样Contourlet变换和卷积神经网络的图像分类方法 Download PDFInfo
- Publication number
- CN108052981B CN108052981B CN201711404570.7A CN201711404570A CN108052981B CN 108052981 B CN108052981 B CN 108052981B CN 201711404570 A CN201711404570 A CN 201711404570A CN 108052981 B CN108052981 B CN 108052981B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- image
- transformation
- contourlet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于非下采样Contourlet变换的卷积神经网络图像分类方法。首先利用非下采样Contourlet变换进行RGB三通道图像的特征统计,捕捉到图像在变换域上较好的不变性和区分性描述;然后在此基础上构建卷积神经网络的深度学习方法,从而达到RGB图像分类的目的。本发明分别通过非下采样Contourlet变换和卷积神经网络进行已知和未知特征的学习,不仅避免了大量参数的学习,还可以简化后续的网络模型。
Description
技术领域
本发明涉及图像分类领域,具体地说是一种基于非下采样Contourlet变换和卷积神经网络的图像分类方法。
背景技术
图像分类是根据图像目标或者场景,在图像反映出来的不同特征对图像进行识别和分类,其目的是使得计算机能识别已知一副图像的所属分类,从而进一步对图像进行理解。基于卷积神经网络的图像分类技术由于其较高的识别效果,受到研究者的高度重视。
卷积神经网络的主要目标是学习分级的图像特征,所谓分级,指的是特征从底层的像素输入到高层的复杂函数映射。通常情况下,为了得到充分的分级特征,需要通过增加隐层数和神经元个数来增加卷积神经网络模型的学习能力,这就导致神经网络要学习的参数非常多,较多的参数会导致整个网络的训练时间变得很长,严重影响参数的调节。另外,过多的训练样本亦会导致模型的过拟合现象。因此,在进行网络学习前,如何提取图像特征是制约和提高分类系统性能的关键点。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种基于非下采样Contourlet变换和卷积神经网络的图像分类方法。
本发明的技术解决方案是:一种基于非下采样Contourlet变换和卷积神经网络的图像分类方法,其特征在于按照如下步骤进行:
步骤1:将自然图像分解为RGB三种不同的通道,分别对每个通道中的图像进行非下采样Contourlet变换:
NSCT(ψR,ψG,ψB;p,d)=Φ∪ΨR(ψR;p,d)∪ΨG(ψG;p,d)∪ΨB(ψB;p,d) (1)
其中,Φ表示近似的RGB通道图像;{ΨR,ΨG,ΨB}为每个通道的Contourlet系数矩阵;{ψR,ψG,ψB}为对应的变换矩阵;p和d分别为Contourlet变换的分解层数和方向子带的个数;
步骤2:利用类似于卷积神经网络中均值-最大池化方法计算基于非下采样Contourlet变换中每个系数的特征描述算子,其中均值池化过程如下:
其中,Δ∈{R,G,B}表示某个RGB通道;i=1,...,N为每个RGB通道中待池化区域的索引项;和分别表示某个RGB通道中第i个待池化区域的系数矩阵块和变换矩阵块;∑用来计算对应矩阵块内的系数值之和;m为池化区域的大小;采用最大池化方法对上述系数进行处理:
步骤3:利用卷积神经网络对上述特征描述算子进行学习,其中每一层的具体描述如下:
步骤3.1:卷积层:采用大小为3×3、步长为[4,4]、特征图为227×227×3的卷积核,对应的输出结果为:
其中,f为多维的滤波器组,对应的核权值和偏差分别为k和b;
步骤3.2:池化层:采用均值-最大池化相混合的方法对上述卷积结果进行下采样:
步骤3.3:正则化:进一步地,采用如下修正线性单元激活函数和局部响应正则化以增加网络模型的非线性:
YLRN=[1+(αm)Ypool]-β (8)
设置α=5×10-5、β=0.75;
步骤3.4:全连接层:将学到的特征映射到样本标记空间,将前层的结果转化为卷积核为1×1的卷积;
步骤3.5:分类层:利用softmax激活函数进行预测,将图像分为4或者5类。
本发明利用非下采样Contourlet变换对RGB图像进行处理,首先捕捉到图像的平移或旋转等刚性变换,获得RGB图像的变换域特征描述;然后在此基础上构建卷积神经网络的分类模型,对RGB图像进行分类。本发明不仅可以避免大量参数的学习过程,还可以简化后续网络参数的学习。
与现有技术相比,本发明具有以下优点:
第一.结合了RGB通道的非下采样Contourlet变换,由于Contourlet变换的紧凑表达能力,所提模型的分类性能得到提升,同时也大幅度的降低了模型的训练时间。考虑到Contourlet变换的不变和稳定能力,可以消除图像中的平移或者旋转变化,从而简化卷积神经网络的学习。第二.为了获取自然图像中较复杂的未知信息,在变换系数之上构建深度学习网络,可以实现从复杂图像中学习捕捉Contourlet变换无法描述的其它复杂信息。
附图说明
图1为本发明实施例进行图像分类的结构信息示意图。
图2为本发明实施例在试验过程中所使用的图像数据库。
图3为本发明实施例在进行FOOD-101数据库试验中的卷积层结果;
图4为本发明实施例在进行FOOD-101和SUN数据库中的Box plot分类结果示意图。
图5为本发明实施例在进行FOOD-101和SUN数据库中的运行时间统计结果示意图。
图6为本发明实施例在进行FOOD-101和SUN数据库中不同的图像数量对分类准确率的统计结果示意图。
具体实施方式
本发明的基于非下采样Contourlet变换和卷积神经网络的图像分类方法,按照如下步骤进行;
步骤1:将自然图像分解为RGB三种不同的通道,分别对每个通道中的图像进行非下采样Contourlet变换:
NSCT(ψR,ψG,ψB;p,d)=Φ∪ΨR(ψR;p,d)∪ΨG(ψG;p,d)∪ΨB(ψB;p,d) (1)
其中,Φ表示近似的RGB通道图像;{ΨR,ΨG,ΨB}为每个通道的Contourlet系数矩阵;{ψR,ψG,ψB}为对应的变换矩阵;p和d分别为Contourlet变换的分解层数和方向子带的个数。
步骤2:利用类似于卷积神经网络中均值-最大池化方法计算基于非下采样Contourlet变换中每个系数的特征描述算子,其中均值池化过程如下:
其中,Δ∈{R,G,B}表示某个RGB通道;i=1,...,N为每个RGB通道中待池化区域的索引项;和分别表示某个RGB通道中第i个待池化区域的系数矩阵块和变换矩阵块;∑用来计算对应矩阵块内的系数值之和;m为池化区域的大小;采用最大池化方法对上述系数进行处理:
步骤3:利用卷积神经网络对上述特征描述算子进行学习,其中每一层的具体描述如下:
步骤3.1:卷积层:采用大小为3×3、步长为[4,4]、特征图为227×227×3的卷积核,这也是卷积层中最重要的设计环节,对应的输出结果为:
其中,f为多维的滤波器组,对应的核权值和偏差分别为k和b;
步骤3.2:池化层:采用均值-最大池化相混合的方法对上述卷积结果进行下采样:
步骤3.3:正则化:进一步地,采用如下修正线性单元激活函数和局部响应正则化以增加网络模型的非线性:
YLRN=[1+(α/m)Ypool]-β (8)
设置α=5×10-5、β=0.75;
步骤3.4:全连接层:将学到的特征映射到样本标记空间,将前层的结果转化为卷积核为1×1的卷积。
步骤3.5:分类层:利用softmax激活函数进行预测,将图像分为4或者5类。
图1为本发明实施例进行图像分类的结构信息示意图。
图2为本发明实施例在试验过程中所使用的图像数据库,(a)是SUN数据库,(b)是FOOD-101数据库。
图3为本发明实施例在进行FOOD-101数据库试验中的卷积层结果,图3中(a)原测试图像的卷积层,(b)基于Contourlet变换后图像的卷积层。
图4为本发明实施例在进行FOOD-101和SUN数据库中的Box plot分类结果示意图,图4中(a)不同尺度,(b)不同分解层。
图5为本发明实施例在进行FOOD-101和SUN数据库中的运行时间统计结果示意图,图5中(a)不同分解尺度下的运行时间,(b)不同方法的运行时间。
图6为本发明实施例在进行FOOD-101和SUN数据库中不同的图像数量对分类准确率的统计结果示意图。
结果表明:本发明不仅可以避免大量参数的学习过程,还可以简化后续网络参数的学习。
Claims (1)
1.一种基于非下采样Contourlet变换和卷积神经网络的图像分类方法,其特征在于按照如下步骤进行:
步骤1:将自然图像分解为RGB三种不同的通道,分别对每个通道中的图像进行非下采样Contourlet变换:
NSCT(ψR,ψG,ψB;p,d)=Φ∪ΨR(ψR;p,d)∪ΨG(ψG;p,d)∪ΨB(ψB;p,d) (1)
其中,Φ表示近似的RGB通道图像;{ΨR,ΨG,ΨB}为每个通道的Contourlet系数矩阵;{ψR,ψG,ψB}为对应的变换矩阵;p和d分别为Contourlet变换的分解层数和方向子带的个数;
步骤2:利用类似于卷积神经网络中均值-最大池化方法计算基于非下采样Contourlet变换中每个系数的特征描述算子,其中均值池化过程如下:
其中,Δ∈{R,G,B}表示某个RGB通道;i=1,...,N为每个RGB通道中待池化区域的索引项;和分别表示某个RGB通道中第i个待池化区域的系数矩阵块和变换矩阵块;∑用来计算对应矩阵块内的系数值之和;m为池化区域的大小;采用最大池化方法对上述系数进行处理:
步骤3:利用卷积神经网络对上述特征描述算子进行学习,其中每一层的具体描述如下:
步骤3.1:卷积层:采用大小为3×3、步长为[4,4]、特征图为227×227×3的卷积核,对应的输出结果为:
其中,f为多维的滤波器组,对应的核权值和偏差分别为k和b;
步骤3.2:池化层:采用均值-最大池化相混合的方法对上述卷积结果进行下采样:
步骤3.3:正则化:进一步地,采用如下修正线性单元激活函数和局部响应正则化以增加网络模型的非线性:
YLRN=[1+(α/m)Ypool]-β (8)
设置α=5×10-5、β=0.75;
步骤3.4:全连接层:将学到的特征映射到样本标记空间,将前层的结果转化为卷积核为1×1的卷积;
步骤3.5:分类层:利用softmax激活函数进行预测,将图像分为4或者5类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711404570.7A CN108052981B (zh) | 2017-12-22 | 2017-12-22 | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711404570.7A CN108052981B (zh) | 2017-12-22 | 2017-12-22 | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108052981A CN108052981A (zh) | 2018-05-18 |
CN108052981B true CN108052981B (zh) | 2021-08-17 |
Family
ID=62130332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711404570.7A Expired - Fee Related CN108052981B (zh) | 2017-12-22 | 2017-12-22 | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108052981B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344898A (zh) * | 2018-09-30 | 2019-02-15 | 北京工业大学 | 基于稀疏编码预训练的卷积神经网络图像分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866479A (zh) * | 2010-05-07 | 2010-10-20 | 浙江大学 | 基于非下采样Contourlet变换的边缘自适应图像放大方法 |
CN104680473A (zh) * | 2014-12-20 | 2015-06-03 | 辽宁师范大学 | 基于机器学习的彩色图像水印嵌入及检测方法 |
CN104899280A (zh) * | 2015-05-29 | 2015-09-09 | 山西大学 | 基于彩色直方图和nsct的模糊相关异步图像检索方法 |
-
2017
- 2017-12-22 CN CN201711404570.7A patent/CN108052981B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866479A (zh) * | 2010-05-07 | 2010-10-20 | 浙江大学 | 基于非下采样Contourlet变换的边缘自适应图像放大方法 |
CN104680473A (zh) * | 2014-12-20 | 2015-06-03 | 辽宁师范大学 | 基于机器学习的彩色图像水印嵌入及检测方法 |
CN104899280A (zh) * | 2015-05-29 | 2015-09-09 | 山西大学 | 基于彩色直方图和nsct的模糊相关异步图像检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108052981A (zh) | 2018-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN111695467B (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 | |
WO2016091017A1 (zh) | 一种高光谱图像分类中光谱向量互相关特征的抽取方法 | |
CN110728192A (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
CN111401426B (zh) | 基于伪标签学习的小样本高光谱图像分类方法 | |
CN109858557B (zh) | 一种新的高光谱图像数据半监督分类方法 | |
CN113139512B (zh) | 基于残差和注意力的深度网络高光谱影像分类方法 | |
CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
CN112836671A (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
Narang et al. | Devanagari ancient character recognition using DCT features with adaptive boosting and bootstrap aggregating | |
CN115019104A (zh) | 基于多源域自注意力的小样本遥感图像分类方法及系统 | |
He et al. | Multi-spectral remote sensing land-cover classification based on deep learning methods | |
CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN114048810A (zh) | 一种基于多层次特征提取网络的高光谱图像分类方法 | |
CN114299398B (zh) | 一种基于自监督对比学习的小样本遥感图像分类方法 | |
CN115457311A (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
Nie et al. | Hyperspectral image classification based on multiscale spectral–spatial deformable network | |
Wang et al. | Active deep feature extraction for hyperspectral image classification based on adversarial learning | |
CN108052981B (zh) | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 | |
CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210817 Termination date: 20211222 |
|
CF01 | Termination of patent right due to non-payment of annual fee |