CN110880004A

CN110880004A - 一种数字图像模式类的特征提取网络及方法

Info

Publication number: CN110880004A
Application number: CN201911150893.7A
Authority: CN
Inventors: 夏榆滨; 黄善琦; 申婷婷; 曹明; 郭翼; 段志超
Original assignee: Beijing Sanyuanju Technology Co Ltd
Current assignee: Beijing Sanyuanju Technology Co Ltd
Priority date: 2019-11-21
Filing date: 2019-11-21
Publication date: 2020-03-13

Abstract

本发明提出一种数字图像模式类的特征提取网络及方法，属于人工智能与模式识别领域。网络包括：包括：小波变换层、系数归一化层、区间统计层和特征输出层；方法包括：对输入的图像进行预处理为某一设定分辨率的数字灰度图像或RGB图像；根据输入图像的分辨率，计算可分解的小波级数L，然后以Haar小波作为基函数，对图像做L级小波变换，变换后生成的小波系数存放于数组a中；将数组a中的小波系数归一化生成数组b；对数组b中数据的分布进行分区间统计；根据区间的分布统计结果生成特征编码。本发明所提取的特征具有同时捕获像素级低级特征和轮廓级高级特征的能力，适应更广泛的物体分类、目标检测等任务。

Description

一种数字图像模式类的特征提取网络及方法

技术领域

本发明属于人工智能与模式识别领域，涉及一种从数字图像中自动提取模式类特征的方法及提取特征的网络。

背景技术

模式识别，也称为模式分类，是指对表征事物或现象的数值、文字和逻辑关系等各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。

应用计算机对一组事件或过程进行辨识和分类，所识别的事件或过程可以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象与数字形式的信息相区别，称为模式信息。

模式识别分为有监督的分类(Supervised Classification)和无监督的分类(Unsupervised Classification)两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。

卷积神经网络(Convolutional Neural Networks,CNN)是实现数字图像识别的主流方法。卷积神经网络仿造生物的视知觉机制构建，具有深度人工神经网络结构，其卷积计算层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如对像素和音频进行学习，有稳定的效果且不需要人工设计的特征工程。卷积神经网络具有自动提取特征以及平移不变的特性，因而被大量应用于计算机视觉、自然语言处理等领域。典型的卷积神经网络结构如LeNet、AlexNet、GoogLeNet、VGGNet等。图1是应用于手写数字识别的卷积神经网络LeNet-5的结构(参考文件1：LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.)。LeNet-5网络由输入(Input)层、卷积(Convolutions)层、池化层、全连接层等组成，提取手写数字模式类的主要单元是卷积层。如图1所示，输入图像到卷积层，卷积层由若干个权重矩阵组成，又称为卷积核，卷积核每次滑动一个或多个像素位，每移动一次，卷积核与输入的图像矩阵做卷积操作，如图2所示，卷积操作的输出与偏置参数相加得到一个和，把该和输入激活函数，激活函数的输出称为特征图(Feature Map)，即卷积层提取出来的图像模式类的特征表达。

尽管卷积神经网络在许多模式识别任务上取得了很好的效果，但利用卷积神经网络提取特征时存在一些缺点：

(1)卷积神经网络采用的反向传播算法并非一个高效的算法，对卷积神经网络的初始状态参数以及寻优算法的选取，会对网络训练造成很大影响，产生过拟合、局部最小值、梯度消失、梯度爆炸等诸多问题。

(2)卷积神经网络提取特征对硬件计算能力的要求较高，为了训练卷积神经网络模型，往往需要投入成百上千台CPU或GPU(图形处理器)并花费数百小时才能完成一次训练，这使得一些模式识别任务的代价十分昂贵。

(3)卷积神经网络在不同尺度下的模式分类能力较弱。图像识别任务中使用卷积操作时，训练样本的尺度需要保持大致相同，否则模型难以收敛。

鉴于上述卷积神经网络处理数据存在的问题，如果对模式类特征的提取技术进一步改进，降低计算复杂度、提高模式分类能量，将进一步提高模式识别、图像分类等计算机视觉任务的完成效率和识别结果准确性。

发明内容

针对上述卷积神经网络处理数据时存在的计算成本高、模式分类能力较弱等问题，本发明基于小波变换和数理统计原理，设计了一种数字图像模式类的特征提取网络及方法，用较少的计算量实现高效的模式分类。

本发明提供的数字图像的模式类特征提取网络，包括：小波变换层、系数归一化层、区间统计层和特征输出层。将图像预处理为设定分辨率的数字灰度图像或RGB图像，将图像对应的灰度矩阵输入小波变换层。小波变换层以Haar小波作为基函数，对输入的灰度矩阵做L级小波变换，输出小波系数矩阵到系统归一化层，小波级数L＝logN，N为灰度矩阵的边长。系数归一化层将小波系数矩阵中的元素进行归一化处理，变换到0～2^L-1之间，并将归一化矩阵输出到区间统计层。区间统计层根据划定的区间，统计归一化矩阵在每个区间的样本分布数量，形成区间统计数组，输出到特征输出层。特征输出层将区间统计数组的多维张量转换为一维张量，生成图像模式类别的特征向量。

对应地，本发明提供的数字图像模式类特征提取方法，包括以下步骤：

步骤1：对输入的图像进行预处理，将图像预处理为某一设定分辨率的数字灰度图像或RGB图像，图像为JPEG或PNG等格式。对于灰度图像，将其灰度矩阵输入步骤2，对于RGB图像，将其在每个通道对应的灰度矩阵输入步骤2。

步骤2：根据输入图像的分辨率，计算可分解的小波级数L，然后以Haar小波作为基函数，对图像做L级小波变换，变换后生成的小波系数存放于数组a中。

步骤3：小波系数归一化。将数组a中的小波系数，归一化到0～2^L-1之间，生成数组b。

步骤4：区间统计。将小波系数归一化的值域分为n个区间，对数组b中的每个小波系数矩阵，统计落在每个区间范围内的数据的数量，每个小波系数矩阵生成一个统计数组，全部的统计数组组成数组c。n为整数，1≤n≤256。

设小波系数归一化值域为0～T，则区间长度d＝T/n，n个区间为：[0,d),[d,2d),….[(n-1)d,nd]。

步骤5：生成特征编码。将数组c由多维张量变换为一维张量，生成图像的模式类别的特征编码。

本发明基于小波变换的数字图像模式类特征提取网络及方法，相对于现有技术，其优点和积极效果在于：

(1)采用本发明进行特征提取，计算量小；本发明采用haar小波变换算法，具有在不丢失图像的原始信息的前提下对所需计算量较少的特点，进而应用本发明所需要的计算机硬件性能较低，例如无需使用GPU等昂贵的硬件设备，在许多低性能计算机硬件平台上也能够完成图像模式分类任务；

(2)本发明所提取的特征，具有同时捕获像素级低级特征和轮廓级高级特征的能力，特征的旋转缩放不变性以及正交性好，在多个尺度下模式分类的性能优于其它图像识别方法，具有分类更准确的优势。因而本发明的训练样本和预测样本的图像分辨率不受限制，适应更广泛的物体分类、目标检测等任务。

附图说明

图1为手写数字识别的卷积神经网络LeNet-5的结构示意图；

图2为卷积操作示意图；

图3为本发明模式分类网络的结构示意图；

图4为本发明基于小波变换的数字图像模式类特征提取方法的步骤流程图；

图5为本发明方法与卷积神经网络所应用的一个实施例的计算效率对比图。

具体实施方式

下面结合附图和实施例来说明本发明的技术方案。下面所描述的实施例和附图是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，均属于本发明保护的范围。

本发明实施例的基于小波变换的数字图像模式类特征提取网络，如图3所示，包括小波变换层、系数归一化层、区间统计层和特征输出层。如图4所示，本发明实施例的数字图像模式类特征提取方法的每个数据处理步骤与特征提取网络结构的每一层相对应。

本发明的特征提取网络中，小波变换层将输入的数字图像采用Haar小波变换，变换后的系数矩阵输出到系统归一化层；系数归一化层将小波变换系数矩阵的元素变换到0～255之间，归一化矩阵输出到区间统计层；在区间统计层，根据划定的区间，统计归一化矩阵在每个区间的样本分布数量，形成区间统计数组，输出到特征输出层；特征输出层将多维张量转换为一维张量，生成类别的特征向量。具体对于每一层的数据处理在下面方法的步骤中进行说明。

如图4所示，本发明的数字图像模式类特征提取方法，分为如下五个步骤来说明。

步骤1：输入图像数据进行预处理，将得到的数字灰度矩阵输入步骤2。输入的每帧图像被处理为某一分辨率的数字图像，本发明中图像被预处理成边长为2的幂次方的方阵图像，如32x32,64x64，可为灰度图像或RGB图像。

本发明实施例中将输入的图像经过数字化处理转换成由8行和8列数字组成的矩阵，矩阵上每一个数字表示图像上该位置像素的灰度值。如果输入的图像样本数据是RGB彩色图像，则将RGB图像每个通道转换成用灰度值表示的矩阵，形成三个数字矩阵。RGB是指红绿蓝色彩模式。

步骤2：对输入的图像的灰度矩阵进行小波变换，本步骤在小波变换层中执行。

首先，根据步骤1预处理后图像的分辨率，计算可分解的小波级数L。小波级数L＝logN，其中N为数字图像方阵的边长。本发明实施例中，N＝8，L＝3。

然后，以Haar小波作为基函数，对输入的图像的灰度矩阵做小波变换，变换后生成的小波系数存放于数组a中。一幅图像的灰度矩阵是一个数字阵列，进行小波变换时可以对阵列的每一行进行变换，然后对行变换之后的阵列的每一列进行变换，最后对经过变换之后的图像数据阵列进行编码。

下面结合实例来说明小波变换的过程。

设有一幅灰度图像，用8x8方阵A表示为如下：

首先，对方阵A的每一行像素值进行如下步骤2-1～2-4的小波变换。

步骤2-1：对当前行的像素值按序每两个作为一对，求取每一对的均值(averaging)，以及每一对中第一个像素值与该对平均值的差值(differencing)，其中所求的差值为细节系数。变换当前行中的像素值，设有k对像素，则依次将k对像素的平均值放到当前行的前k个位置，将步骤2-1获得的k对中的差值依次放到后k个位置。

以图像块矩阵A中的第一行的像素值[64 2 3 61 60 6 7 57]为例说明，将该行像素值按序每两个作为一对，则此处为4对像素。

本例中，第一行的像素值变换为[33 32 33 32 31 -29 27 -25]。

步骤2-2：本发明中将求均值和求差值作为两种不同的方式，对均值需要重复上面步骤2-1、2-2中的方法，来变换当前行中的像素值，一直执行到一行上只有一个平均值终止。

在变换当前行的像素值后，其中包含均值和细节系数，设其中均值个数有h个，判断h是否为1，若是，则执行步骤2-4，否则，执行步骤2-3。

步骤2-3：对当前行的前h个均值按序两两分对，求取每一对的均值，以及每一对中第一个值与该对平均值的差值，并用来更新当前行的前h个像素值。

本例中，对变换后的第一行的前4个数，计算得到两个平均值以及两个差值，并依次放在第一行的前4个位置，其余的4个细节系数位置不动，则此时更新后的像素值为[32.532.5 0.5 0.5 31 -29 27 -25]。

继续对第一行中剩余的一对平均值，求平均值和差值，则最终变换当前行像素值为[32.5 0 0.5 0.5 31 -29 27 -25]。

步骤2-4：输出当前行变换后的像素值。

对矩阵A中的第2行至第8行重复执行上面步骤2-1～2-4的过程，使用求均值和求差值的方法，对矩阵A的每一行进行变换，得到矩阵A’如下：

矩阵A’中，每一行的第一个元素是该行像素值的平均值，其余的是这行的细节系数。

继续使用上述步骤2-1～2-4所记载的方法，对A’的每一列进行计算，得到A”如下：

得到的矩阵A”中存放的是小波变换后的系数。

对所有行和列施行小波变换后，得到3L+1个小波系数矩阵，将3L个系数矩阵存入数组a中，表示为：list a＝{A₀,A₁,……,A_3L-1}。

本发明采用的小波变换是一种线性变换，将数字图像从灰度空间或RGB空间变换到小波空间，变换过程信息未丢失，是一种无损变换方法。

步骤3：小波系数归一化。将数组a中的小波系数矩阵归一化，生成数组b。归一化的作用是将矩阵元素缩放到某个范围内，便于后续处理。

本发明实施例中，将数组a中的系数矩阵A”中的元素全部归一化到0～1之间，得到矩阵A”’如下：

对数据a中的所有小波系数矩阵进行0～1的归一化处理，得到数组b。

步骤4：区间统计。将归一化小波系数值域平均划分为n个区间，n为正整数，1≤n≤256。

本发明实例中取n＝5，5个区间是[0,0.2),[0.2,0.4),[0.4,0.6),[0.6,0.8),[0.8,1.0]。分别统计数组b中分布在5个区间的小波系数的数量，每个小波系数矩阵生成一个统计数组，将全部的统计数组存入数组c。本发明实例中，数组b中归一化后的小波系数矩阵有3L+1个，当n＝5时，累加出小波系数在5个区间的数量，数组c的结构如下：

[[5 3 0 2 6],

[12 0 0 0 4],

[8 0 8 0 0],

[4 0 0 0 0],

[1 0 0 0 0],

[0 0 0 0 1]]

步骤5：特征输出。将步骤4得到的数组c的多维张量(数组)转变为一维张量。

本发明实施例中将数组c从(10,5)的二维张量转换为(40,0)的一维张量，即为该图像模式类别的特征向量。特征向量长度为40维，结构如下：

[5 3 0 2 6 12 0 0 0 4 8 0 8 0 0 4 0 0 0 0 4 0 0 0 0 4 0 0 0 0 1 0 0 00 10 0 0 0 1 0 0 0 0 0 0 0 0 1]

本发明通过步骤4和步骤5设计了一种小波系数的统计过程，该过程的特点：一、设定n个统计区间，n的取值范围是1-256的整数；二、分别统计归一化的小波系数在n个区间内分布的数量。

步骤5所输出的特征向量就是对输入的图像提取的特征，该特征不丢失图像的原始信息，可以进一步用于图像识别和分类中，具有分类准确、特征提取计算复杂度低等优势，可广泛应用于模式识别、图像分类等计算机视觉任务上，显著降低工程成本，拓宽人工智能的应用范围，具有广阔的应用前景。

目前对图像模式类别特征提取大多使用卷积神经网络，但存在计算成本高、模式分类能力较弱等问题，本发明改进特征提取方式，避免了卷积神经网络使用时存在的问题。将本发明方法与利用卷积神经网络提取特征进行实验，对提取效率进行比较，如下：

为了与卷积神经网络比较特征提取的效率，本发明构建了在海洋生物二分类数据集上进行了特征提取试验。该数据集包括了海豚和小丑鱼两类海洋生物图像样本，样本分辨率256x256像素，训练集样本数量每类430个，测试集样本数量每类100个。模式类提取试验在主频2.8GHz，四核Inel CPU，内存16GB的64位Windows平台上进行。在测试准确率达到95％的试验条件下，试验结果如下：

(1)卷积神经网络：单类别特征提取平均耗时302ms，计算效率3.31；

(2)本发明方法：单类别特征提取平均耗时85ms，计算效率11.76；

对比的计算效果结果如图5所示，很明显，采用本发明提供的特征提取网络及提取方法，具有更高的模式类特征提取效率，本发明方法为提取模式类特征提供了一种更快捷的新途径，并且取得了明显优秀于现有提取方式的效果。

Claims

1.一种数字图像模式类的特征提取网络，其特征在于，包括：小波变换层、系数归一化层、区间统计层和特征输出层；

将图像进行预处理得到的灰度矩阵输入小波变换层，小波变换层以Haar小波作为基函数，对输入的灰度矩阵做L级小波变换，小波级数L＝logN，N为灰度矩阵的边长；小波变换层将变换得到的小波系数矩阵输入系统归一化层；

系数归一化层将小波系数矩阵中的元素进行归一化处理，变换到0～2^L-1之间，并将归一化矩阵输出到区间统计层；

区间统计层根据划定的区间，统计归一化矩阵在每个区间的样本分布数量，形成区间统计数组，输出到特征输出层；

特征输出层将区间统计数组的多维张量转换为一维张量，生成图像模式类别的特征向量。

2.一种数字图像模式类特征提取方法，其特征在于，包括如下步骤：

步骤1：将输入的图像转换为设定分辨率的数字灰度图像或RGB图像，输出转换后图像的灰度矩阵给步骤2；

步骤2：根据图像的分辨率计算可分解的小波级数L，以Haar小波作为基函数，对输入的灰度矩阵做L级小波变换，将变换后生成的小波系数矩阵存放于数组a中；

步骤3：将数组a中的小波系数进行归一化处理，设归一化后得到数组b；

步骤4：将小波系数归一化的值域分为n个区间，对数组b中的每个小波系数矩阵，统计落在每个区间范围内的数据的数量，每个小波系数矩阵生成一个统计数组，全部的统计数组组成数组c；n为整数；

设小波系数归一化值域为0～T，则区间长度d＝T/n，n个区间为：[0,d),[d,2d),….[(n-1)d,nd]；

步骤5：将数组c由多维张量变换为一维张量，生成图像的模式类别的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述的步骤4中，设置n取值范围为：1≤n≤256。