CN108491863A - 基于非负矩阵分解和卷积神经网络的彩色图像处理方法 - Google Patents

Abstract

本发明涉及一种基于非负矩阵分解和卷积神经网络的彩色图像处理方法，该方法用采集设备获取彩色图像并进行预处理，设有采用非光滑非负矩阵分解算法提取图像特征、结合卷积神经网络优化彩色图像分类和重构过程，包括首先读取图像数据矩阵，得到其行数、列数，初始化相应参数；然后结合卷积神经网络，依步骤完成图像分类和重构；本发明的图像处理方法在彩色图像处理过程中特征提取更精确，重构错误少，分类效率高。

Description

基于非负矩阵分解和卷积神经网络的彩色图像处理方法

技术领域

本发明专利涉及人工智能领域的图像处理，尤其涉及基于非负矩阵分解的卷积神经网络的彩色图像处理方法，属于计算机视觉、虚拟现实技术领域。

背景技术

图像是人类获取、表达、传递信息的重要手段。近20年来，随着计算机技术和电子技术的迅猛发展,彩色图像处理的研究不断深入。深度学习在图像识别、自动语音识别和自然语言处理领域受到越来越多的关注,但仍存在过度拟合、计算时间过长、分类精度不高等诸多问题。

发明内容

本发明为了解决现有技术中存在的问题，提供一种通过使用非负矩阵分解算法(NMF)研究彩色图像，在了解和识别对象过程中提供的重要信息来帮助卷积神经网络(CNN)学习特征的分类精度高的图像处理方法。

为了达到上述目的，本发明提出的技术方案为：一种基于非负矩阵分解和卷积神经网络的彩色图像处理方法，包括以下步骤：

步骤1、图像预处理

1.1将彩色图像的像素值归一化，并将图像表示为数据矩阵，所述数据矩阵包括表示红、绿、蓝三种颜色的子数据矩阵；

1.2将原彩色图像集中的每个彩色图像进行划分，得到若干子补丁，并从中随机抽样，得到待学习特征的子补丁集；

步骤2、学习彩色图像颜色特征

2.1采用RGB每个或RGB所有学习方式学习图像颜色特征，所述RGB每个和RGB所有为卷积神经网络的两种学习方式，RGB每个方式分别处理三种颜色通道信息，RGB所有方式同时处理三种颜色通道信息；

2.2采用非光滑的非负矩阵分解算法学习颜色特征

RGB每个方式中，采用标准非负矩阵分解算法将步骤1的数据矩阵分解为标准基矩阵和标准特征系数矩阵，采用非光滑非负矩阵分解算法将稀疏特征矩阵引入标准基矩阵，对上述标准特征系数矩阵进行平滑，得到更新的特征系数矩阵和更新的基矩阵，然后连接三种颜色的更新的特征系数矩阵的列方向得到分类器的输入向量；

RGB所有方式中，将来自3种颜色的数据矩阵进行堆叠，作为分类器的输入向量，采用非光滑的非负矩阵分解算法学习子补丁集，得到k维特征向量f(x)；

步骤3、基于卷积神经网络的彩色图像分类

3.1设原彩色图像大小为a×a，将图像提取为大小为p×p的子图像，将步骤2得到的更新的特征系数矩阵或特征向量，用z个学习特征进行卷积；形成z×(a-p+1)×(a-p+1)个图像，完成特征映射，得到特征图；

3.2计算子图像中的最大或平均值作为子图像的值，将特征图无重叠地构建成合并图，完成平均池化聚合后，子图像被连接以形成尺寸减小的特征；

3.3使用分类器，串联合并图，形成每个图像对应的矩阵，完成分类；

步骤4、基于卷积神经网络的彩色图像重构

4.1定义标签向量集为其中，是从原彩色图像集得到的第i个特征；l⁽ⁱ⁾是第i个标签类，b是训练样本数，为正整数；若图像具有第i个特征，该图像对应的第i个标签类是1，否则是0；

4.2局部特征提取

基于步骤3得到的特征图，用主成分分析降维算法减少特征图尺寸；用类标签监督技术改变基于SIFT算法和BoF算法的分类方法，进行局部特征提取；所述SIFT算法是尺寸不变的特征变换法，用于提取图片特征；所述BoF算法是常见的一种视觉描述符，用于可视化数据分类；用特征扩展因子扩大每个局部特征向量的尺寸；特征扩展因子v_FX描述如下：

其中，v_PCA是d维局部特征压缩的主成分分析，PCA是主成分分析，是d维局部特征压缩的主成分分析的转置，是对称矩阵上三角部分的压平向量；

4.3监督降维，结合邻域特征实现彩色图像重构

求解局部特征向量的特征值得到变换矩阵CCA，通过映射变换矩阵CCA得到低维鉴别矢量，步骤4.2所述特征提取过程是卷积神经网络的第一层，每个个体过程分别描述为第一PCA层，第一扩展层，第一CCA层；所述PCA层为主成分分析层；然后连接四个相邻局部特征可获得一个向量，再重复串联PCA、扩展、CCA实现图像重构。

对上述技术方案的进一步设计为：所述步骤1.1的具体过程为，改变图像像素值范围，使之在0到1内变化，实现像素值归一化；连通红绿蓝三种颜色的所有列，将一个单一图像表示为数据矩阵其中，3个子数据矩阵分别表示红、绿、蓝三种颜色的数据矩阵，j∈{1,2,...,N}表示样本索引，N为正整数，表示样本数量。

所述步骤2中采用标准非负矩阵分解算法将步骤1的数据矩阵分解过程为：对每种颜色，基于标准非负矩阵分解算法，将分解为标准基矩阵W^c(M×R)和标准特征系数矩阵H^c(R×N)，其中，M,R,N分别是输入尺寸、可用NMF降低的特征维数、样本数量；

非负矩阵分解算法的成本函数J_NMF计算公式为：

其中，D是原数据矩阵，G是重构矩阵，双竖线表示欧氏距离；

以梯度下降为基本更新规则，尽量减小成本函数，得到更新的特征系数矩阵和更新的基矩阵更新规则为：

其中，下标rn、mr为矩阵的维数，即r行n列、m行r列；W^cT是标准基矩阵的转置矩阵；D是原数据矩阵，G是重构矩阵，H^cT是标准特征系数矩阵的转置矩阵；

基于非光滑非负矩阵分解算法将稀疏特征矩阵引入标准基矩阵，对标准特征系数矩阵进行平滑；在上述更新规则前面加入下式来修改更新规则，

其中，H^c是标准特征系数矩阵；S是平滑矩阵；θ是决定平滑程度的参数，θ越接近1，越光滑，越稀疏，以弥补稀疏损失；R是可用NMF降低的特征维数；eye(R)是生成R×R的单位矩阵；ones(R)是生成R×R维的全1矩阵。

本发明的有益效果为：

计算机硬件和图形处理器(GPU)的改进加速了神经网络的训练，使CNN能较容易地处理大量训练样本，特别地，在图像分类任务上CNN与传统的使用视觉描述符BoF方法相比表现更好。本发明将卷积神经网络的多层结构引入BoF算法框架的分类管道，产生一个更好的CNN结构以提高分类效率和精度。

非负矩阵分解算法(NMF)相比传统的采用卷积神经网络(CNN)结合自动编码器(AE)或受限玻尔兹曼机(RBM)学习图像颜色特征的方法，能提供代表性良好的重建，本发明通过用NMF研究彩色图像在了解和识别对象过程中提供的重要信息，实现NMF处理彩色图像的目的。

本发明的图像处理方法在彩色图像处理过程中重构错误少，分类效率高，特征提取更精确。

附图说明

图1为本发明的RGB每个学习方法示意图。

图2为本发明的图像重构过程的示意图。

具体实施方式

下面结合附图以及具体实施例对本发明进行详细说明。

本实施例的基于非负矩阵分解和卷积神经网络的彩色图像处理方法包括以下步骤：

步骤1、图像预处理

1.1将彩色图像的像素值进行归一化，改变图像像素值范围，使之在0到1内变化；连通红绿蓝三种颜色的所有列，将一个单一图像表示为数据矩阵其中，3个子数据矩阵分别表示红、绿、蓝三种颜色的数据矩阵，j∈{1,2,...,N}表示样本索引，N为正整数，表示样本数量；

1.2将原彩色图像集中的每个彩色图像进行划分，得到若干子补丁，假设一个固定属性，使图像的每个子补丁基于该属性的统计相似；基于该假设，从原彩色图像集中随机抽样，得到待学习特征的子补丁集，并从中随机抽样，得到待学习特征的子补丁集；

步骤2、学习彩色图像颜色特征

2.1采取卷积神经网络学习图像颜色特征

对于步骤1的数据矩阵每种RGB方法有3种(红、绿、蓝)颜色编码模式，三种颜色相互独立，共同形成一幅完整图像；采取卷积神经网络(CNN)的两种学习方式中的一种学习图像颜色特征：分别处理三种颜色信息(RGB每个)或同时处理三种颜色信息(RGB所有)；

2.2非光滑的非负矩阵分解算法学习颜色特征

RGB每个方式中，对每个颜色，基于标准非负矩阵分解算法(NMF)的思想，将分解为标准基矩阵W^c(M×R)和标准特征系数矩阵H^c(R×N)，其中，M,R,N分别是输入尺寸、可用NMF降低的特征维数、样本数量；标准基矩阵和标准特征系数矩阵中的列分别表示基于部分的构建单元和系数，共同反映砌块线性叠加的方式。

NMF的成本函数J_NMF计算公式为：

其中，D是原数据矩阵，G是重构矩阵，双竖线表示欧氏距离。

以梯度下降为基本更新规则，尽量减少(1)式定义的成本函数，得到更新的特征系数矩阵和更新的基矩阵更新规则为：

其中，下标rn、mr为矩阵的维数，即r行n列、m行r列；W^cT是标准基矩阵的转置矩阵；D是原数据矩阵，G是重构矩阵，H^cT是标准特征系数矩阵的转置矩阵；

基于非光滑非负矩阵分解算法将稀疏特征矩阵引入标准基矩阵，对标准特征系数矩阵进行平滑；通过在(2)、(3)前面加入(4)修改更新规则；

其中，H^c是标准特征系数矩阵；S是平滑矩阵；θ是决定平滑程度的参数，θ越接近1，越光滑，越稀疏，以弥补稀疏损失；R是可用NMF降低的特征维数；eye(R)是生成R×R的单位矩阵；ones(R)是生成R×R维的全1矩阵。

如图1所示，连接三种颜色更新的特征系数矩阵的列方向得到即分类器的输入向量；

RGB所有方式中，将来自3种颜色的数据矩阵进行堆叠，将得到的数据矩阵X＝[X^red；X^blue；X^greem]作为分类器的输入向量，用上述非光滑非负矩阵分解算法学习步骤1得到的小补丁集，得到k维特征向量f(x)；非光滑非负矩阵分解算法可以使每个图像的3种颜色都被利用以达到最高效率。

步骤3、基于卷积神经网络的彩色图像分类

通过非负矩阵分解算法学习特征后，卷积神经网络对彩色图片分类主要包括2个步骤：卷积和池化；

3.1设原彩色图像大小为a×a，将图像提取为大小为p×p的子图像，将步骤2的RGB每个或RGB所有得到的更新的特征系数矩阵或特征向量，用z个学习特征进行卷积；设置RGB特征尺寸时，RGB所有方式的尺寸3倍大于RGB每个方式，由于RGB每个H列的尺寸为3R，RGB所有为R，设置RGB特征尺寸时，令RGB所有3倍大于RGB每个。例如，在RGB每个中使用20作为特征尺寸，则RGB所有中使用60；形成z×(a-p+1)×(a-p+1)个图像，完成特征映射，得到特征图；

3.2计算子图像中的最大或平均值作为子图像的值，以减少参数数量，克服卷积特征位数的增加给计算带来的困难。上述z×(a-p+1)×(a-p+1)个图像，卷积特征维数的显著增加将给计算带来挑战：若一个大小为32×32像素的图像，根据上述公式计算，图像的大小是(32-8+1)×(32-8+1)＝625，还要再乘以100维特征，本实施例若将所学特征和每个输入图像进行卷积得到25×25的R特征图，那么池化时则在5×5的区域内无重叠地构建R的5×5合并图，完成平均池化。完成平均池化聚合后，特征尺寸能有效减少。

3.3使用软马克斯(soft-max)分类器进行分类，通过串联合并图，形成每个图像的25R维矩阵。通过改变特征R的数量和稀疏程度，提取特征变化和分类错误，分类精度更高。

步骤4、基于卷积神经网络的彩色图像重构

4.1定义标签向量集为其中，是从原彩色图像集得到的第i个特征；l⁽ⁱ⁾是第i个标签类，b是训练样本数，为正整数；若图像具有第i个特征，该图像对应的第i个标签类是1，否则是0；

4.2局部特征提取

基于步骤3得到的特征图，用主成分分析降维算法减少特征图尺寸；用类标签监督技术改变基于SIFT算法和BoF算法的分类方法，进行局部特征提取；所述SIFT算法是尺寸不变的特征变换法，用于提取图片特征；所述BoF算法是常见的一种视觉描述符，用于可视化数据分类；用特征扩展因子扩大每个局部特征向量的尺寸；特征扩展因子v_FX描述如下：

其中，v_PCA是d维局部特征压缩的主成分分析，PCA是主成分分析，是d维局部特征压缩的主成分分析的转置，是对称矩阵上三角部分的压平向量；

4.3监督降维，结合邻域特征实现彩色图像重构，其过程如图2所示；

求解特征值得到变换矩阵CCA，通过映射变换矩阵CCA得到低维鉴别矢量，步骤4.2所述特征提取过程是卷积神经网络的第一层，每个个体过程分别描述为第一PCA层，第一扩展层，第一CCA层，第二次迭代被称为第二PCA层，第二扩展层，第二CCA层；第n次迭代称为n的CCA层，第n扩展层和第n CCA层；所述PCA层为主成分分析层；然后连接四个相邻局部特征可获得一个向量，该向量是由卷积神经网络的第n层的四个相邻局部特征连接起来得到的，可反映第n CCA层的图像特征，重复串联PCA、扩展、CCA就能实现图像重构。

本发明的图像处理方法不局限于上述各实施例，凡采用等同替换方式得到的技术方案均落在本发明专利要求保护的范围内。

Claims (3)

1.基于非负矩阵分解和卷积神经网络的彩色图像处理方法，其特征在于，包括以下步骤：

步骤1、图像预处理

1.1将彩色图像的像素值归一化，并将图像表示为数据矩阵，所述数据矩阵包括表示红、绿、蓝三种颜色的子数据矩阵；

1.2将原彩色图像集中的每个彩色图像进行划分，得到若干子补丁，并从中随机抽样，得到待学习特征的子补丁集；

步骤2、学习彩色图像颜色特征

2.1采用RGB每个或RGB所有学习方式学习图像颜色特征，所述RGB每个和RGB所有为卷积神经网络的两种学习方式，RGB每个方式分别处理三种颜色信息，RGB所有方式同时处理三种颜色信息；

2.2采用非光滑的非负矩阵分解算法学习颜色特征

RGB每个方式中，采用标准非负矩阵分解算法将步骤1的数据矩阵分解为标准基矩阵和标准特征系数矩阵，采用非光滑非负矩阵分解算法将稀疏特征矩阵引入标准基矩阵，对上述标准特征系数矩阵进行平滑，得到更新的特征系数矩阵和更新的基矩阵，然后连接三种颜色的更新的特征系数矩阵的列方向得到分类器的输入向量；

RGB所有方式中，将来自3种颜色的数据矩阵进行堆叠，作为分类器的输入向量，采用非光滑的非负矩阵分解算法学习子补丁集，得到k维特征向量f(x)；

步骤3、基于卷积神经网络的彩色图像分类

3.1设原彩色图像大小为a×a，将图像提取为大小为p×p的子图像，将步骤2得到的更新的特征系数矩阵或特征向量，用z个学习特征进行卷积；形成z×(a-p+1)×(a-p+1)个图像，完成特征映射，得到特征图；

3.2计算子图像中的最大或平均值作为子图像的值，将特征图无重叠地构建成合并图，完成平均池化聚合后，子图像被连接以形成尺寸减小的特征；

3.3使用分类器，串联合并图，形成每个图像对应的矩阵，完成分类；

步骤4、基于卷积神经网络的彩色图像重构

4.1定义标签向量集为其中，是从原彩色图像集得到的第i个特征；l⁽ⁱ⁾是第i个标签类，b是训练样本数，为正整数；若图像具有第i个特征，该图像对应的第i个标签类是1，否则是0；

4.2局部特征提取

基于步骤3得到的特征图，用主成分分析降维算法减少特征图尺寸；用类标签监督技术改变基于SIFT算法和BoF算法的分类方法，进行局部特征提取；所述SIFT算法是尺寸不变的特征变换法，用于提取图片特征；所述BoF算法是常见的一种视觉描述符，用于可视化数据分类；用特征扩展因子扩大每个局部特征向量的尺寸；特征扩展因子v_FX描述如下：

其中，v_PCA是d维局部特征压缩的主成分分析，PCA是主成分分析，是d维局部特征压缩的主成分分析的转置，是对称矩阵上三角部分的压平向量；

4.3监督降维，结合邻域特征实现彩色图像重构

求解局部特征向量的特征值得到变换矩阵CCA，通过映射变换矩阵CCA得到低维鉴别矢量，步骤4.2所述特征提取过程是卷积神经网络的第一层，每个个体过程分别描述为第一PCA层，第一扩展层，第一CCA层；所述PCA层为主成分分析层；然后连接四个相邻局部特征可获得一个向量，再重复串联PCA、扩展、CCA实现图像重构。

2.根据权利要求1所述基于非负矩阵分解和卷积神经网络的彩色图像处理方法，其特征在于，所述步骤1.1的具体过程为，改变图像像素值范围，使之在0到1内变化，实现像素值归一化；连通红绿蓝三种颜色的所有列，将一个单一图像表示为数据矩阵其中，3个子数据矩阵分别表示红、绿、蓝三种颜色的数据矩阵，j∈{1,2,...,N}表示样本索引，N为正整数，表示样本数量。

3.根据权利要求2所述基于非负矩阵分解和卷积神经网络的彩色图像处理方法，其特征在于，所述步骤2中采用标准非负矩阵分解算法将步骤1的数据矩阵分解过程为：对每种颜色，基于标准非负矩阵分解算法，将分解为标准基矩阵W^c(M×R)和标准特征系数矩阵H^c(R×N)，其中，M,R,N分别是输入尺寸、可用NMF降低的特征维数、样本数量；

非负矩阵分解算法的成本函数J_NMF计算公式为：

其中，D是原数据矩阵，G是重构矩阵，双竖线表示欧氏距离；

以梯度下降为更新规则，得到更新的特征系数矩阵和更新的基矩阵更新规则为：

其中，下标rn、mr为矩阵的维数，即r行n列、m行r列；W^cT是标准基矩阵的转置矩阵；D是原数据矩阵，G是重构矩阵，H^cT是标准特征系数矩阵的转置矩阵；

基于非光滑非负矩阵分解算法将稀疏特征矩阵引入标准基矩阵，对标准特征系数矩阵进行平滑；在上述更新规则前面加入下式来修改更新规则，

其中，H^c是标准特征系数矩阵；S是平滑矩阵；θ是决定平滑程度的参数，θ越接近1，越光滑，越稀疏，以弥补稀疏损失；R是可用NMF降低的特征维数；eye(R)是生成R×R的单位矩阵；ones(R)是生成R×R维的全1矩阵。