CN105718944A - 基于核空间的深度散射卷积网络学习方法和系统 - Google Patents

Abstract

本发明涉及一种基于核空间的深度散射卷积网络学习方法和系统，包括：参数化小波生成模块、多核学习模块、散射分解模块和支持向量机分类模块，其中：参数化小波生成模块以随机化参数构造小波滤波器组；多核学习模块基于上述滤波器组对训练数据集进行散射网络的卷积分解，并将每条卷积路径的分解系数分别投影到核特征空间，采用多核学习算法选择最优卷积路径；散射分解模块基于上述最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类模块被分类。本发明可以有效提升各种类型数字图像的分类准确率。

Description

基于核空间的深度散射卷积网络学习方法和系统

技术领域

本发明涉及一种数字图像分类方案，具体是一种基于核空间的深度散射卷积网络学习方法和系统。

背景技术

数字图像信号的分类问题通常由特征提取算子及分类器联合解决。特征提取算子提取的特征识别类内相似性并区分类间差异性的能力称为特征可分性，这种性质显然影响着分类精度。在特征提取算子确定的情况下，特征可分性受到后端的分类器的影响。为了进一步提高信号的分类准确率，一种方案是联合优化特征提取算子和分类器，这种方案可以提供对不同类型的数字图像进行分类的鲁棒性。

经过对现有技术的文献检索发现，J.Bruna和S.Mallat在2013年的《IEEETransactionsonPatternAnalysisandMachineIntelligence》(TPAMI)期刊上发表的“Invariantscatteringconvolutionnetworks”一文中提出了一种基于复小波分解的散射卷积网络，该散射网络通过级联小波卷积、非线性取模及局部平均算子建立了一种能线性化细微形变且有局部平移不变特性的特征提取算子。该方法可以有效提高纹理图像和手写字符的分类准确率，但这种方法没有考虑后端分类器对散射网络的特征可分性的影响，且给出小波的旋转和伸缩数，网络中散射路径的数量和参数是固定的，这导致对于特定的问题分类准确率降低。M.Sangnier,J.Gauthier与A.Rakotomamonjy在2015年的《SignalProcessing》期刊上发表的“Filterbanklearningforsignalclassification”一文中提出了一种联合学习滤波器组和支持向量机的方法，该方法将滤波器组的学习问题转化为多核学习问题，可以在高噪声水平下有效地解决音频信号的二元分类问题。但这种方法只解决单层滤波器组的学习问题，所得的信号分解系数不包含不同尺度和方向之间的交互信息，最终会导致图像信号的分类不准确。这些不足促使申请人找到一种深度卷积网络的学习方法，针对不同的图像数据库自适应地学习网络中的卷积路径。

发明内容

本发明针对现有技术的不足，提供了一种基于核空间的深度散射卷积网络学习方法及系统，针对不同的图像数据库能自适应地学习网络中的卷积路径，可以有效提高手写字符和纹理图像的识别准确率，并可作为一种通用的数字图像分类方法。

本发明是通过以下技术方案实现的：

本发明提供一种基于核空间的深度散射卷积网络学习方法，包括：

参数化小波生成步骤：该步骤以随机化参数构造小波滤波器组；

多核学习步骤：该步骤基于参数化小波生成步骤构造的小波滤波器组对训练数据集进行散射卷积网络的分解，并采用多核学习算法选择最优卷积路径；

散射分解步骤：该步骤基于多核学习步骤选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类被分类。

进一步的，所述的参数化小波生成步骤：通过随机化的变换参数对复小波基进行伸缩及旋转变换构造小波滤波器组。

进一步的，所述的多核学习步骤：基于最大化间距准则和一对多策略联合优化散射卷积网络与支持向量机，并将该联合优化问题转化为多核学习问题。

进一步的，所述的多核学习步骤，具体实现如下：

S1、更新参数化小波生成步骤的随机化参数，构造小波滤波器组对训练数据集进行散射卷积网络的分解，用分解结果中每条卷积路径的系数分别构建高斯核；

S2、通过广义多核学习算法计算当前高斯核集合中每个核的组合权值，基于活动集准则去除集合中权值为零的非活动核，并计算加权积形式的组合核；

S3、重复S1，结合所得的新生成的高斯核与S2中得到的组合核，计算当前解是否满足KKT(Karush-Kuhn-Tucker)条件，若满足则根据S2中的高斯核集合推导对应的卷积路径，作为局部最优解输出；否则在新生成的高斯核中选出一个违背KKT条件的核以零初始权值加入S2选出的活动核集合中，并转到S2。

进一步的，所述的散射卷积网络的分解，是指：由小波滤波器组迭代地对信号进行卷积分解，每条卷积分解路径有不同的小波伸缩或旋转参数且卷积次数m≤2，每次卷积后进行复数取模操作，最后进行高斯低通滤波，结果为该卷积路径的分解系数。

进一步的，所述的散射分解步骤：汇总学到的散射分解路径对测试数据集进行分解，并对分解系数取对数非线性变换，分离光照变化引入的低频乘积部分。

进一步的，所述的支持向量机分类，是指：采用一对多策略训练高斯核支持向量机对散射分解系数进行分类。

本发明提供一种用于实现上述方法的基于核空间的深度散射卷积网络学习系统，包括：参数化小波生成模块、多核学习模块、散射分解模块和支持向量机分类模块，其中：

所述参数化小波生成模块以随机化参数构造小波滤波器组；

所述多核学习模块基于参数化小波生成模块构造的小波滤波器组对训练数据集进行散射卷积网络的分解，并采用多核学习算法选择最优卷积路径；

所述散射分解模块基于多核学习模块选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类模块被分类。

进一步的，所述的支持向量机分类模块，该模块采用一对多策略训练高斯核支持向量机对散射分解系数进行分类。

与现有技术相比，本发明具有如下的有益效果：

本发明针对不同的图像数据库提供一种基于核空间的局部平移不变的深度散射卷积网络的学习，将散射网络的卷积路径映射到高维核空间，从而把散射网络和支持向量机的联合优化问题转化为多核学习问题，充分利用了多核学习算法选取信号特征的灵活性；以多个核的加权积的形式计算组合核，得到的核特征空间是单独核的特征空间的张量积，相对于传统的以加权和的形式计算组合核，即以单独核特征空间的连接的作为核特征空间的表示方式，大大提高了特征表示的维度；对于具有其它类型局部不变性的深度散射网络，本发明经过适当的修改也可以使用，具有较强的可扩展性；本发明中深度散射网络的卷积路径的数目与参数基于训练数据集自适应地学得，可以有效地提高不同类型数字图像的识别准确率，具有良好的通用性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的结构框图；

图2为本发明一实施例中散射分解过程的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明为有效提高手写字符和纹理图像的识别准确率，设计一种基于核空间的深度散射卷积网络学习方法，包括：

参数化小波生成步骤：该步骤以随机化参数构造小波滤波器组；

多核学习步骤：该步骤基于参数化小波生成步骤构造的小波滤波器组对训练数据集进行散射卷积网络的分解，并采用多核学习算法选择最优卷积路径；

散射分解步骤：该步骤基于多核学习步骤选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类被分类。

如图1所示，为用于实现上述方法的基于核空间的深度散射卷积网络学习系统，对应于上述方法各步骤，该系统包括：参数化小波生成模块、多核学习模块、散射分解模块和支持向量机分类模块，其中：

所述参数化小波生成模块，以随机化参数对复小波基进行旋转及伸缩变换构造小波滤波器组；

所述多核学习模块，基于参数化小波生成模块构造的小波滤波器组对训练数据集进行散射卷积分解，并采用多核学习算法选择最优卷积路径；

所述散射分解模块，基于多核学习模块选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在所述支持向量机分类模块被分类。

上述系统用于实现基于核空间的深度散射卷积网络学习，从而可以有效提升各种类型数字图像的分类准确率。以下对系统的各个模块进行进一步说明，这些说明也同样适用于所述基于核空间的深度散射卷积网络学习方法的各个对应步骤。

在一实施例中，所述的参数化小波生成模块，以j和θ分别表示伸缩与旋转变换的参数，且j∈[0,J-1),θ∈[0,π)，从连续集[0,J-1)×[0,π)中随机地产生J×L组变换参数(j,θ)并用λ＝2^-jθ表示，其中，J与L分别表示对初始方向小波ψ做伸缩及旋转变换的变换参数的数量，令u∈R²表示空间域中某一点的坐标，每组参数(j,θ)对初始方向小波ψ(u)进行方向为θ的旋转并将其在空间域扩张2^j倍：ψ_λ(u)＝2^-2jψ(2^-jθ^-1u)，生成一组小波滤波器。

在一实施例中，所述的多核学习模块，以一对多策略联合学习散射卷积网络与支持向量机，给出包括I个类共N幅图片的训练数据集其中x_i为第i幅图像，y_i∈{1,2,......,I}是其标签，多核学习模块进行C次散射网络与二元支持向量机分类器的联合学习过程，通过求解(1)式所示的广义多核学习问题，每次学习一组散射分解的卷积路径。

$\underset{f_{\mathrm{\μ}},b,\mathrm{\ξ},\mathrm{\μ}}{min}\frac{1}{2}\left|\right|f_{\mathrm{\μ}}|{|}_H^2+C\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ξ}}_i+\mathrm{\η}\underset{j=1}{\overset{M}{\Σ}}{\mathrm{\μ}}_j---\left(1\right)$

Subjectto $y_i{f}_{\mathrm{\μ}}\left(x_i\right)+y_{i}b\≥1-{\mathrm{\ξ}}_i,{\mathrm{\ξ}}_i\≥0,{\mathrm{\μ}}_j\≥0,\∀i,j$

其中：对任意两幅图像x_i,x_j，Η表示其由M个单独核构造的组合核k_μ(x_i,x_j)的特征空间，η是组合核权值向量μ的稀疏惩罚项系数，C是所有松弛变量ξ_i之和的惩罚因子，b表示截距；则给出测试数据集中的任意图像x，判定函数f_μ的最优解为：

${\hat{f}}_{\mathrm{\μ}}\left(x\right)=\underset{i=1}{\overset{N}{\Σ}}{\widehat{\mathrm{\α}}}_i{y}_i{k}_{\mathrm{\μ}}(x,x_i)+\hat{b}$

其中：表示(1)式的对偶问题中对偶变量α的解，表示(1)式中截距b的解。

在一实施例中，所述的多核学习模块中的散射分解过程如图2所示，小波滤波器组迭代地对训练数据集中的图像进行小波卷积分解。取x为训练数据集中任意一幅图像，令i＝1,2，则是分别以参数j_i和θ_i对初始小波ψ进行伸缩和旋转变换得到的小波滤波器，高斯低通滤波器当卷积路径为p＝(λ₁,λ₂)时，|λ₁|＜|λ₂|，对应的散射分解系数为：当卷积路径取p＝λ₁时，对应的散射分解系数为：最终的小波卷积分解系数为所有卷积分解路径的散射分解系数的集合。

在一优选实施例中，所述的多核学习模块，第n次联合学习过程的具体实施步骤为：

步骤一、更新参数化小波生成模块的随机化变换参数，构造新的小波滤波器组，对训练数据集进行散射卷积网络的分解，所得分解系数为 表示本次分解中所有卷积分解路径的集合，用中每条卷积路径p的分解系数分别构建高斯核σ表示高斯核的带宽，若是第一次执行步骤一，则令

步骤二、通过上述(1)式表示的广义多核学习算法计算集合Θ中每个核的组合权值μ_p，基于活动集准则去除集合中权值为零的非活动核，计算该集合中的核的加权积，构造组合核 $k_{\mathrm{\μ}}(x_i,x_j)=\underset{p\∈\mathrm{\Θ}}{\Π}{\[k_p(x_i,x_j)\]}^{{\mathrm{\μ}}_p}.$

步骤三，重复步骤一，结合所得的新生成的高斯核与步骤二中得到的组合核，计算当前组合核是否满足次优性条件：

其中：ο表示哈达玛乘积，D_p是分解路径p对应的系数距离矩阵，K是组合核的核矩阵，Y的对角线元素为训练数据集的标签，表示(1)式的对偶问题中对偶变量α的解，η是组合核权值向量μ的稀疏惩罚项系数；

若满足次优解条件，则推导集合Θ中的核对应的卷积路径S_n＝{S[p]}_p∈Θ的参数，作为局部最优解输出；否则，在新生成的高斯核中选出最大T(p)值所对应的核，以零权值加入集合Θ中，并转到步骤二。

在一实施例中，所述的散射分解模块汇总学到的散射分解路径对测试数据集进行分解，将分解系数分别与对应的权值的平方根相乘，并取对数非线性变换，分离光照变化引入的低频乘积部分。

在一实施例中，所述的支持向量机分类模块采用一对多策略训练高斯核支持向量机对测试数据集的分解系数进行分类。

实施效果

在一实施例中，关键参数的设置为：实验所用数据来源于KTH-TIPS纹理图片库，该数据集包含十类200x200的灰度纹理图片，每一类共81幅图片。比较了采用本发明基于核空间的深度散射卷积网络学习方法与J.Bruna等人在“Invariantscatteringconvolutionnetworks”论文中的方法，以及L.Sifre等人在“Rotation,scalinganddeformationinvariantscatteringfortexturediscrimination”论文中的方法，其结果为：

分别采用这三种方法，在训练数据集为每类5幅图片时，得到的测试集的平均分类准确率分别为80.5％，69.1％和69.5％；在训练数据集为每类20幅图片时，得到的测试集的平均分类准确率分别为95.3％，94.8％和94.9％；在训练数据集为每类40幅图片时，得到的测试集的平均分类准确率分别为98.5％，98.0％和98.3％。

实验表明，本发明提出的基于核空间的深度散射卷积网络学习方法和系统在纹理图片的分类中具有更好的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于核空间的深度散射卷积网络学习方法，其特征在于，包括：

参数化小波生成步骤：该步骤以随机化参数构造小波滤波器组；

多核学习步骤：该步骤基于参数化小波生成步骤构造的小波滤波器组对训练数据集进行散射卷积网络的分解，并采用多核学习算法选择最优卷积路径；

散射分解步骤：该步骤基于多核学习步骤选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类被分类。

2.根据权利要求1所述的一种基于核空间的深度散射卷积网络学习方法，其特征是，所述的参数化小波生成步骤：通过随机化的变换参数对复小波基进行伸缩及旋转变换构造小波滤波器组。

3.根据权利要求1所述的一种基于核空间的深度散射卷积网络学习方法，其特征是，所述的多核学习步骤：基于最大化间距准则和一对多策略联合优化散射卷积网络与支持向量机，并将该联合优化问题转化为多核学习问题。

4.根据权利要求3所述的一种基于核空间的深度散射卷积网络学习方法，其特征是，所述的多核学习步骤，具体实现如下：

S1、更新参数化小波生成步骤的随机化参数，构造小波滤波器组对训练数据集进行散射卷积网络的分解，用分解结果中每条卷积路径的系数分别构建高斯核；

S2、通过广义多核学习算法计算当前高斯核集合中每个核的组合权值，基于活动集准则去除集合中权值为零的非活动核，并计算加权积形式的组合核；

S3、重复S1，结合所得的新生成的高斯核与S2中得到的组合核，计算当前解是否满足KKT条件，若满足则根据S2中的高斯核集合推导对应的卷积路径，作为局部最优解输出；否则在新生成的高斯核中选出一个违背KKT条件的核以零初始权值加入S2选出的活动核集合中，并转到S2。

5.根据权利要求4所述的一种基于核空间的深度散射卷积网络学习方法，其特征是，所述的散射卷积网络的分解，是指：由小波滤波器组迭代地对信号进行卷积分解，每条卷积分解路径有不同的小波伸缩或旋转参数且卷积次数m≤2，每次卷积后进行复数取模操作，最后进行高斯低通滤波，结果为该卷积路径的分解系数。

6.根据权利要求1-5任一项所述的一种基于核空间的深度散射卷积网络学习方法，其特征在于，所述的散射分解步骤：汇总学到的散射分解路径对测试数据集进行分解，并对分解系数取对数非线性变换，分离光照变化引入的低频乘积部分。

7.根据权利要求1-5任一项所述的一种基于核空间的深度散射卷积网络学习方法，其特征是，所述的支持向量机分类，是指：采用一对多策略训练高斯核支持向量机对散射分解系数进行分类。

8.一种用于实现上述权利要求1-7任一项所述方法的基于核空间的深度散射卷积网络学习系统，其特征在于，包括：参数化小波生成模块、多核学习模块、散射分解模块和支持向量机分类模块，其中：

所述参数化小波生成模块以随机化参数构造小波滤波器组；

所述多核学习模块基于参数化小波生成模块构造的小波滤波器组对训练数据集进行散射卷积网络的分解，并采用多核学习算法选择最优卷积路径；

所述散射分解模块基于多核学习模块选择的最优卷积路径对测试数据集进行散射分解，所得的分解系数在支持向量机分类模块被分类。

9.根据权利要8所述的一种基于核空间的深度散射卷积网络学习系统，其特征是，所述的支持向量机分类模块，该模块采用一对多策略训练高斯核支持向量机对散射分解系数进行分类。