CN111027570A - 一种基于细胞神经网络的图像多尺度特征提取方法 - Google Patents

Abstract

本发明公开了一种基于细胞神经网络的图像多尺度特征提取方法，先基于一个局部二值约束改进的细胞神经网络，在神经元邻域L(r,p)采样条件下，利用双核递归卷积方式产生多对特征图；再利用旋转不变映射和低频模式合并来压缩状态特征图；在状态特征图和响应特征图上，根据联合分布模式统计规则生成图像的单尺度联合模式比例型直方图；对联合直方图进行softmax优化并新增标准方差分量，得到优化后的单尺度特征向量；最后将多个单尺度向量进行串联，得到图像的多尺度特征向量。

Description

一种基于细胞神经网络的图像多尺度特征提取方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种基于细胞神经网 络的图像多尺度特征提取方法。

背景技术

图像特征的提取是图像分类和识别方法的一个重要环节，特征的好坏直接 影响着整个识别系统的性能。通常，在对图像进行识别之前，都需要使用特定 的特征模型和特征提取算法来从图像中提取特定的特征，然后再形成图像的特 征向量。在图像识别过程中，实质上就是把待测图像的特征与样本图像的特征 按某种方法进行比对，依据两个特征的差异大小来判别该图像是什么或者不是 什么。

图像特征主要分为统计特征和频谱特征，以及现在流行的基于深度神经网 络的抽象特征。从特征形态而言，又可以分为三大类：颜色特征、轮廓特征和 纹理特征。其中纹理特征常常使用灰度共生矩阵、局部二值模式直方图、局部 三值模式直方图、像素方差图等方法来提取。纹理特征反映了纹理的频率特性， 频谱分析方法有傅里叶变换、离散余弦变化、小波变换、Gabor变化等等。当然， 统计特征和频率特征的融合特征相对单个特征具备更强的类别鉴别能力，带来 的问题就是计算时间以及空间消耗的增长。此外，颜色特征的提取通常采用色 差区域分割和颜色分布统计等方法，而轮廓特征则常采用各种各样的图像滤波 提取算子，如Canny、Sobel和Robert等算子。

1996年Ojala T等人提出的局部二值模式(Local Binary Pattern,LBP)纹理 特征描述方法中，通过对比中心像素点与邻域像素灰度值差异，生成中心像素 点的二进制编码，依此来编码图像。该模型具有实现简单和计算代价低的特点， 识别的纹理种类不多时能达到较高的识别精度。在LBP模型基础上，还发展出 了许多改进版本，如RI-LBP、U-LBP、RIU-LBP、DLBP、CLBP和CLBC等。

为了提高图像特征的表达能力，学者还不断地提出了更加复杂的局部三值 模式(Local Ternary Pattern,LTP)及其若干改进模型，如高阶LTP(high-order LTP)、OLTP和OS-LTP等，这些改进模型都采用了真正的三值模式编码，但在 模型的旋转不变性和特征维度控制方面还不够完善，还有很大的改进空间。

除此之外，深度神经网络也是一大类被广泛来提取图像抽象特征的技术方 法。近几年，也有大量专门为提取图像特征的深度学习网络模型涌现了出来， 比如著名的深度信念网络(DBN)、深度卷积网络(DCNN)、AlexNet、GoogleNet 和DenseNet等。这些模型通过样本训练，能获得很高的识别精度，但不足之处 也很多，比如网络的结构很复杂，所需训练时间很长，计算资源消耗特别大， 也需要有大量的图像学习样本支持，提取的特征维数很高，等等。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于细胞神经网络的图 像多尺度特征提取方法，能够快速从原始图像中提取到具有高辨识度且较低维 度的图像特征。

为实现上述发明目的，本发明一种基于细胞神经网络的图像多尺度特征提 取方法，其特征在于，包括以下步骤：

(1)、利用邻域二值编码规则对细胞神经网络中神经元的感受野输入信息 进行转换；

其中，k,l是中心神经元N(i,j)的感受野中各邻域神经元的位置坐标，(i,j)为 中心神经元的位置坐标，u_i,j(k,l)为邻域神经元的二值化取值，s(.)表示二值约束 函数，g(i,j)为中心神经元N(i,j)对应的像素灰度值，g(k,l)各邻域神经元的像素 灰度值，记为g₁,g₂,…,g_p，p为N(i,j)在感受野中的神经元序号；

(2)、利用递归卷积产生状态特征图和响应特征图

(2.1)、初始化网络参数C、Rx、I和X(t＝0)为常数；初始化反馈卷积核A 为常数矩阵，输入卷积核B为感受野中的邻域神经元位置权重2^p；

(2.2)、将细胞神经网络中的神经元按照公式(2)进行状态计算，产生状 态特征图X(t)，响应特征图Y(t)；

其中，

表示表示二维卷积运算操作，t表示递归卷积时间，f(.)为激活函 数；

(2.3)、按照公式(2)对神经元进行重复递归运算，当递归运算至t*时， 响应特征图Y(t*)中任何一个值都符合值域{-1，+1}，则细胞神经网络收敛，递 归过程结束，细胞神经网络总共产生了t*对特征图，分别记为： {X(1)Y(1)},{X(2)Y(2)},…,{X(t*)Y(t*)}；否则，重复步骤(2.2)，直到收敛；

(3)、利用模式分布概率压缩状态特征图

(3.1)、将状态特征图X(t)规范化成

其中m,n表示 X(t)的行和列；

(3.2)、按照公式(3)将

进行模式空间的旋转不变压缩；

(3.3)、在步骤(3.2)的基础上，按照公式(4)把特征图中的全部低频分 布模式合并成混杂模式p+1，特征图中的高频分布模式则保持不变。

其中，d表示低频分布模式阈值，下标b表示低频分布模式；

(4)、将响应特征图Y(t)规范化成

其中，当t＝t*时，

最后再进行直接赋值：

(5)、在多个特征图组合上提取联合分布特征

(5.1)、定义联合分布模式(α,β)，α∈{0,...,p+1}，β∈{-1,0,+1}；

(5.2)、按照公式(5)对特征图

和

进行二维融合，计算联合分布 模式(α,β)下所有的单尺度特征直方图；

其中，符号“∩”表示一个“逻辑与”操作，“＝＝”表示一个逻辑判断，判 断符号两边相等，则逻辑表达式被设置成1，否则设置为0；

(6)、多尺度特征向量的优化及组合

(6.1)、将每一个单尺度特征直方图H_Img转换成比例直方图

(6.2)、从所有比例直方图

中提取第k个尺度下的特征向量

(6.3)、对特征向量v_k进行softmax优化；

其中，q是v_k中分量元素的序号，Q是特征向量v_k的维数；

(6.4)、计算特征向量v_k的标准方差δ_k；

其中，μ是是v_k中分量元素的均值；

(6.5)、把第k个尺度下的特征向量扩展为

最后把k个不同尺度 下的扩展向量进行串联，作为最终提取的目标特征v_Img，

本发明的发明目的是这样实现的：

本发明基于细胞神经网络的图像多尺度特征提取方法，先基于一个局部二 值约束改进的细胞神经网络，在神经元邻域L(r,p)采样条件下，利用双核递归卷 积方式产生多对特征图；再利用旋转不变映射和低频模式合并来压缩状态特征 图；在状态特征图和响应特征图上，根据联合分布模式统计规则生成图像的单 尺度联合模式比例型直方图；对联合直方图进行softmax优化并新增标准方差分 量，得到优化后的单尺度特征向量；最后将多个单尺度向量进行串联，得到图 像的多尺度特征向量。

同时，本发明基于细胞神经网络的图像多尺度特征提取方法还具有以下有 益效果：

(1)、本发明与局部二值模式相比，其信息重用更充分、特征鲁棒性更强、 适应性更好的特征编码；

(2)、本发明比深度网络产生的特征维度更低、特征提取速度也更快，既 要具备旋转不变的特性，也要能适应图像尺度的不同缩放；

(3)、本发明既能够从图像中提取到高辨识度的特征信息，在提取过程中 又提升图像识别的精度、速度和准确度；

(4)、传统细胞神经网络处理图像时，神经元接收的是像素强度信号；而 本发明中采用了邻域二值编码规则来对神经元的感受野输入信息进行转换，从 而改进了细胞神经网络的信息感知模式。

附图说明

图1是本发明基于细胞神经网络的图像多尺度特征提取方法流程图；

图2是本发明涉及到的一种细胞神经网络改进模型；

图3是单尺度特征提取流程图；

图4是多尺度特征提取流程图；

图5是图像特征图对比；

图6是特征图压缩与联合直方图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更 好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设 计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于细胞神经网络的图像多尺度特征提取方法流程图。

在本实施例中，如图1所示，本发明一种基于细胞神经网络的图像多尺度 特征提取方法，包括以下步骤：

S1、对神经元的感受野输入信息进行转换

在本实施例中，如图2(a)所示，细胞神经网络是一种二维网络结构，具 有m行n列均匀排列的神经元，且各神经元之间是局部连接的。在图像处理中， 网络尺寸和待处理图像的尺寸是一致的，神经元和像素点之间存在一一对应关 系。此外，图2(b)中显示了一个中心神经元N(i,j)，以及在其半径为r、邻域 神经元总数为p的第k个邻域感受野L^k(r＝1,p＝8)范围内分别与其存在连接关系 的8个神经元，分别标记为N₀、N₁、...、N₇。中心神经元N(i,j)对应的像素灰度记 为g(i,j)，而相邻8个神经元对应的像素灰度值g(k,l)，被分别记为g₀,g₁,…,g_p-1。

可以定义多个感受野，每一个感受野都对应细胞神经网络对图像像素的一 个采样尺度，最常用的L^k(r,p)有：(1,8)、(3,12)、(5,16)和(7,24)。因为太大的p 值，会使后续运算步骤出现巨大的特征维数，会显著增加计算复杂性，因此一 般不宜使用较大的p值。

图2(c)展示了神经元从感受野中接收输入信息和反馈信息后，分别进行 神经元状态计算以及输出神经元响应的过程示意图。其中，x(t)和y(t)分别代表 神经元在完成第t次递归后的神经元状态值和输出值，u代表感受野中的邻域神 经元输入，A和B是分别与邻域神经元反馈和邻域神经元输入相对应的两个递 归卷积核，I(i,j)、C、R_x是神经元的三个网络固定常数，而f(.)则代表神经元采 用的激活函数。

在标准网络中，N(i,j)来自于感受野邻域神经元的输入信号，通常直接等于 各邻域神经元N(k,l)对应的原始像素灰度，即u_i,j(k,l)＝g(k,l)，其中，k,l是中心 神经元N(i,j)的感受野中各邻域神经元的位置坐标，(i,j)为中心神经元的位置坐 标，N(i,j)的感受野是以N(i,j)为中心，r为感受半径的圆，其中，r满足：

本发明利用邻域二值编码规则对细胞神经网络中神经元的感受野输入信息 进行转换；

其中，k,l是中心神经元N(i,j)的感受野中各邻域神经元的位置坐标，(i,j)为 中心神经元的位置坐标，u_i,j(k,l)为邻域神经元的二值化取值，s(.)表示二值约束 函数，g(i,j)为中心神经元N(i,j)对应的像素灰度值，g(k,l)各邻域神经元的像素 灰度值，记为g₁,g₂,…,g_p，p为N(i,j)在感受野中的神经元序号；

传统细胞神经网络处理图像时，神经元接收的是像素强度信号。本发明中 采用了邻域二值编码规则来对神经元的感受野输入信息进行转换，从而改进了 细胞神经网络的信息感知模式。因此，通过对神经元邻域输入的二值化约束改 进，使神经元感知的信息从像素的原始灰度，转变成了像素邻域之间的大小关 系，从而增强了细胞神经网络对图像上层特征信息的捕捉能力。

S2、利用递归卷积产生状态特征图和响应特征图

S2.1、初始化网络参数C、Rx、I和X(t＝0)为常数；初始化反馈卷积核A为常 数矩阵，输入卷积核B为感受野中的邻域神经元位置权重2^p＝2⁸；

S2.2、将细胞神经网络中的神经元按照公式(2)进行状态计算，产生状态 特征图X(t)，响应特征图Y(t)；

其中，

表示表示二维卷积运算操作，t表示递归卷积时间，f(.)为激活函 数；

在本实施例中，初始化完成以后，网络开始按公式(2)进行运算，在每一次 运算过程中，邻域输入信号集U会与B进行卷积，同时领域反馈信号集Y也会 与A进行卷积，最后能得到网络的神经元状态信息集X，而与此同时X经过函 数f(.)激活，网络输出响应信号集Y。因此，在第t次递归完成时，网络可输出 一对信号集，{X(t),Y(t)}。这一对信号集是在输入图像基础上按公式(2)递归卷积 后产生的，因此它们可以被看成是图像的一对特征图：状态特征图X(t)，响应 特征图Y(t)；

S2.3、按照公式(2)对神经元进行重复递归运算，当递归运算至t*时，响 应特征图Y(t*)中任何一个值都符合值域{-1，+1}，则细胞神经网络收敛，递归 过程结束，细胞神经网络总共产生了t*对特征图，如图3所示，分别记为： {X(1)Y(1)},{X(2)Y(2)},…,{X(t*)Y(t*)}；否则，重复步骤S2.2，直到收敛；

S3、利用模式分布概率压缩状态特征图

S3.1、细胞神经网络输出的状态特征图：

它的模式空间是整个 实数域，提取的特征维度太大，因此先将状态特征图X(t)规范化成

其中m,n表示X(t)的行和列；

S3.2、按照公式(3)将

进行模式空间的旋转不变压缩；

S3.3、在步骤S3.2的基础上，按照公式(4)把特征图中的全部低频分布模 式合并成混杂模式p+1，特征图中的高频分布模式则保持不变。

其中，d表示低频分布模式阈值，下标b表示低频分布模式；

通过上述特征图压缩操作，可以将初始特征模式空间中模式数为2p的特征 图压缩到模式数为p+2，压缩后能显著降低后续提取到的特征向量的维数。

S4、将响应特征图Y(t)规范化成

其中，当t＝t*时，

响应特征图

中的模式数最多仅3维，因此无需压缩直接进行 赋值：

S5、在多个特征图组合上提取联合分布特征

S5.1、定义联合分布模式(α,β)，α∈{0,...,p+1}，β∈{-1,0,+1}；

对于一个尺寸为m×n的纹理图像Img，与其对应的细胞神经网络也包含m 行n列神经元。细胞网络初始化后，由步骤(2)产生多对特征直方图，再经过 步骤(3)进行压缩处理，就能得到一系列模式数为p+2的状态特征图和若干模 式数为3的响应特征图和1个模式数为2的最终响应特征图。

在这些特征图上，定义联合分布模式(α,β)，α∈{0,...,p+1}和 β∈{-1,0,+1}；

S5.2、按照公式(5)对特征图

和

进行二维融合，计算全部3×(p+2) 种或者2×(p+2)种可能的联合分布模式(α,β)下所有的单尺度特征直方图；

其中，符号“∩”表示一个“逻辑与”操作，“＝＝”表示一个逻辑判断，判 断符号两边相等，则逻辑表达式被设置成1，否则设置为0；

S6、多尺度特征向量的优化及组合

S6.1、提取到的联合分布特征直方图，其物理含义就是在经过细胞网络递归 卷积生成的特征图中，各种像素邻域模式的分布数量，是一种数量型直方图。 为了避免受图像尺寸大小的影响，本发明将每一个单尺度特征直方图H_Img转换成 比例直方图

S6.2、不同的图像其不同模式在

中反映出的分布比例不一样，因此 本发明从所有比例直方图

中提取第k个尺度下的特征向量

S6.3、单尺度特征直方图中的各分量代表的是特定模式的绝对数，分布不匀 甚至还很稀疏，这对训练识别器不利。因此，本发明中先对特征向量v_k进行 softmax优化；

其中，q是v_k中分量元素的序号，Q是特征向量v_k的维数；

S6.4、计算特征向量v_k的标准方差δ_k；

其中，μ是是v_k中分量元素的均值；

S6.5、把第k个尺度下的特征向量扩展为

最后把k个不同尺度下 的扩展向量进行串联，如图4所示，作为最终提取的目标特征v_Img，

具体实例

下面以纹理数据集Outex_TC_00010中的图像样本“000000.ras”为例，来 对本发明的技术实施过程作进一步的具体描述。

Outex_TC_00010数据集总共有24类纹理样本，流明条件为inca，每类纹 理包括9个不同角度，每个角度又包括20张纹理图，因此整个数据库包含24 ×9×920＝4320个纹理图，且每个图像的尺寸均为128×128像素。在本例中， 每类图按序号从小到大选取前面20个样本来训练，其余纹理图用于测试纹理识 别的正确率。

1)、算法的初始化：构建神经元阵列为128×128的细胞神经网络，并设置 初值C＝R_x＝1，I＝0，X(t＝0)＝0，再分别设置L¹(3,8)、L²(5,16)和L³(7,24)这三组神 经元感受野邻域采样尺度。

2)、输入信息编码：在采样尺度L¹(3,8)上，按照公式(1)分别把各神经元 的感受野中的邻域像素输入转化成二值化的大小关系输入。

3)、双核递归卷积：利用公式(2)，对输入的原始样本图像进行双核递归卷 积处理，一共从细胞网络可以分别得到5对特征图：{X(1),Y(1)}、{X(2),Y(2)}、 {X(3),Y(3)}、{X(4),Y(4)}、{X(5),Y(5)}，细胞网络收敛时t*＝5。

4)、图5(a)所示的特征图进行压缩：先分别对递归卷积产生的5对特征 图进行规范化处理，得到

然后利用公式(3)和(4) 分别对其中的5个规范化的状态特征图，即

进行模式压缩，得到

和

相关结果以图形化的方式分别显示在图5(b)-(e)中， 其中，图5(b)和(c)分别显示了压缩后的

和

图5(d)和(e)分别 显示了

和

5)、联合特征提取：利用公式(5)，在

上提取联合模式分布直方 图，再利用公式(6)对其进行比例化处理，将处理结果向量化成在第1个邻域 采样尺度L¹(3,8)下，从原始图像中提取到的目标特征向量，即v₁＝[H(α,β)]。

图6(a)和(b)中分别显示了分别从特征图

和

上得到的模式直方图， 均为10维(即8+2)；而图6(c)～(e)则显示了分别从3对特征图

和

上提取到的联合模式分布直方图，其中图6(c)有30维 即3×(8+2)，图6(d)和(e)却有20维即2×(8+2)。

从直方图各维分布来看，

这组联合方式优于其余两组，因此在 应用中可以优先使用这种特征图组合。

5)、多尺度特征生成：再分别以尺度L²(5,16)和L³(7,24)为神经元邻域采样 尺度，重复上述步骤获得原始图像在相应尺度上的特征向量v₂和v₃。分别用公 式(6)，对特征向量v₁～v₃进行softmax优化，然后分别再加入方差分量δ₁、δ₂、δ₃， 最后对这三个优化后的向量进行串联，得到样本图“000000.ras”的3尺度特 征向量v_Img，其相应的特征维度为111，即21+37+53。

为了验证本发明涉及的多尺度特征在图像识别中的可靠性，我们在公开数 据集Outex_TC_00010上，采用了前面3个不同尺度神经元邻域采样方案，即 L¹(3,8)、L²(5,16)和L³(7,24)来分别提取样本特征。利用每个类的20个样本特征 向量训练了一个全连接神经网络图像识别器，以此测试了图像识别正确率，并 与近几年公开的3种技术方法进行了对比。对比结果显示本发明有较好的优势， 见表1。

表1

表格中的CLBP(2010年)、MRELBP(2016年)和gLBP(2018年)是三 种传统的非深度学习方法，而AlexNet(2012年)和VGGVD(2015年)则是 深度学习方法。由图像识别率的正确识别结果对比可见，在数据集上本发明涉 及的特征提取方法获得了最高的正确率99.76％，比排列第2名的gLBP方法要 高出0.44％，甚至比后面两种机器学习方法高出了16％以上。由此可知，本发明 的方法对提取图像的多尺度特征是有效的，能提高图像识别率。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域 的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对 本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定 的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发 明创造均在保护之列。

Claims (2)

1.一种基于细胞神经网络的图像多尺度特征提取方法，其特征在于，包括以下步骤：

(1)、利用邻域二值编码规则对细胞神经网络中神经元的感受野输入信息进行转换；

其中，k,l是中心神经元N(i,j)的感受野中各邻域神经元的位置坐标，(i,j)为中心神经元的位置坐标，u_i,j(k,l)为邻域神经元的二值化取值，s(.)表示二值约束函数，g(i,j)为中心神经元N(i,j)对应的像素灰度值，g(k,l)各邻域神经元的像素灰度值，记为g₀,g₁,…,g_p-1，p为N(i,j)在感受野中的神经元序号；

(2)、利用递归卷积产生状态特征图和响应特征图

(2.1)、初始化网络参数C、Rx、I和X(t＝0)为常数；初始化反馈卷积核A为常数矩阵，输入卷积核B为感受野中的邻域神经元位置权重2^p；

(2.2)、将细胞神经网络中的神经元按照公式(2)进行状态计算，产生状态特征图X(t)，响应特征图Y(t)；

其中，

表示表示二维卷积运算操作，t表示递归卷积时间；

(2.3)、按照公式(2)对神经元进行重复递归运算，当递归运算至t*时，响应特征图Y(t*)中任何一个值都符合值域{-1，+1}，则细胞神经网络收敛，递归过程结束，细胞神经网络总共产生了t*对特征图，分别记为：{X(1)Y(1)},{X(2)Y(2)},…,{X(t*)Y(t*)}；否则，重复步骤(2.2)，直到收敛；

(3)、利用模式分布概率压缩状态特征图

(3.1)、将状态特征图X(t)规范化成

其中m,n表示X(t)的行和列；

(3.2)、按照公式(3)将

进行模式空间的旋旋转不变压缩；

(3.3)、在步骤(3.2)的基础上，按照公式(4)把特征图中的全部低频分布模式合并成混杂模式p+1，特征图中的高频分布模式则保持不变。

其中，d表示低频分布模式阈值，下标b表示低频分布模式；

(4)、将响应特征图Y(t)规范化成

其中，当t＝t*时，

最后再进行直接赋值：

(5)、在多个特征图组合上提取联合分布特征

(5.1)、定义联合分布模式(α,β)，α∈{0,...,p+1}，β∈{-1,0,+1}；

(5.2)、按照公式(5)对特征图

和

进行二维融合，计算联合分布模式(α,β)下所有的单尺度特征直方图；

其中，符号“∩”表示一个“逻辑与”操作，“＝＝”表示一个逻辑判断，判断符号两边相等，则逻辑表达式被设置成1，否则设置为0；

(6)、多尺度特征向量的优化及组合

(6.1)、将每一个单尺度特征直方图H_Img转换成比例直方图

(6.2)、从所有比例直方图

中提取第k个尺度下的特征向量

(6.3)、对特征向量v_k进行softmax优化；

其中，q是v_k中分量元素的序号，Q是特征向量v_k的维数；

(6.4)、计算特征向量v_k的标准方差δ_k；

其中，μ是是v_k中分量元素的均值；

(6.5)、把第k个尺度下的特征向量扩展为

最后把k个不同尺度下的扩展向量进行串联，作为最终提取的目标特征v_Img，

2.根据权利要求1所述的一种基于细胞神经网络的图像多尺度特征提取方法，其特征在于，所述N(i,j)的感受野是以N(i,j)为中心，r为感受半径的圆，其中，r满足：

Images