CN105809173B - 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法 - Google Patents

Abstract

本发明公开了一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法，包括以下步骤：1)对原始图像进行灰度化处理，并利用双线性插值法，重设置图像大小；2)基于Gabor与双极滤波器F的filter‑filter滤波器，检测目标图像方向边缘，获得边缘图像E；3)计算边缘图像E空间分辨率间距检测值，得到第一阶段输出图像S1；4)将第一阶段输出图像S1，再进行一次步骤二的方向边缘检测，与步骤三的空间分辨率间距检测，得到第二阶段的特征输出图像S2，得到不变属性特征，该方法模拟人类视觉感知机理，巧妙的结合仿生物视觉变换的RSTN不变属性特征，提高了图像识别的准确度，增强了对噪声的鲁棒性。

Description

一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识 别方法

技术领域

本发明属于生物信息与机器视觉技术的交叉领域，尤其涉及一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法。

背景技术

图像不变属性特征提取是提高目标识别率的重要手段。众所周知，人类视觉能准确感知旋转、比例缩放、平移和加噪后的图像。然而，利用传统计算机视觉算法实现旋转、比例缩放、平移和加噪图像的目标识别，是一项极具挑战性的工作。随着人类视觉大脑皮层响应机制的不断揭示，Hubel曾在Nature中报道，生物视觉皮质细胞对某些长度或方向的线条，响应非常强烈。受此生物视觉响应机制启发，若机器视觉能提取图像目标的不同长度和不同方向的线条特征，并测量线条的空间分辨率，以模拟大脑视觉皮质细胞对线条响应的强度，那么一种基于仿生物视觉感知机理的RSTN(Rotation,Scaling,Translation andNoise,RSTN)不变属性特征提取便成为了现实。

近几年，出现了求解旋转、比例缩放、平移或加噪图像的特征提取方法。但大多数不变属性特征提取方法中利用了积分变换、Fourier变换(FT)、Fourier-Mellin(FM)变换、Gabor滤波器、Fourier描述算子。虽FT变换能有效处理比例缩放图像的不变性，但旋转图像将导致FT频域变换发生角度旋转。因为FT功率谱具有平移不变性，但FM却丢失很多空间位置信息。然而，Gobor滤波器对于旋转与比例缩放图像具有不变属性，在保留图像本质特征的同时消除噪声。为此，该方法具有噪声不变属性，但其滤波器方向角度与波长等参数，却难以针对不同图像自适应调整。

上述均属于Bottom-Up数据驱动的不变属性特征提取方法，能有效处理图像识别的某些问题，Top-Down目标任务驱动的不变属性特征提取方法，对处理同时具备旋转、比例缩放、平移和加噪图像的不变属性特征提取具有明显效果。事实上，模拟生物特性的特征提取方法已成为当下的热门研究方向，如卷积神经网络(convolutional neural networks,CNN)，模拟灵长目类动物视觉系统的递阶结构，卷积层完成了局部平均化和二次采样的工作，为此，特征图具有小平移不变性。VisNet是一种针对不变属性目标识别的视觉通道模型，但该模型需多次训练不同图像中各尺度的目标，否则难以实现加噪、旋转、比例缩放等不变属性特征的提取。HMAX是另一种四层计算单元组合结构的递阶模型，C单元利用非线性最大池操作，实现平移与比例缩放不变性。但由于随机选取图像块，使其对旋转图像非常敏感。为此，严重影响了目标识别的效果。Sountsov et al.提出了一种递阶生物变换方法(biologically transform,BT)，通过仿视觉神经元工作模式，实现输入图像的平移、比例缩放与旋转不变属性的表达(载于Frontiers in Computational Neuroscience,2011年,第5卷)。但存在两方面不足，首先，该模型中采用了box滤波器，该滤波器是利用图像周围像素点加权均值实现，与人类视觉感知机理并非一致，为此，对噪声特别敏感。其次，黑白滤波器的边缘检测子对简单结构目标(例如字母I或数字1等)的识别，由于边缘特征少，加入噪声后，鲁棒能力不足。

根据生物视觉感知机理，当视觉目标刺激出现时，人类视觉感知初始过程产生在视网膜，视网膜内完成初始特征检测。而后，图像信号再由视神经激励传输。其中特征包括边缘、方向、梯度等信息。为此，如何模拟生物视觉皮层，在不同功能阶段构建感知模型，并客观描述大脑视觉皮质细胞对线条响应的强度，使该模型能有效提取图像RSTN的不变属性特征，成为本发明亟待解决的问题。

发明内容

本发明所要解决的技术问题是，提供一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法，减小图像目标识别过程中，受旋转、比例缩放、平移以及加噪(Rotation,Scaling,Translation and Noise,缩写为RSTN)图像的影响，以提升形变目标的识别率与噪声的鲁棒性。

一种基于仿生物视觉变换的图像RSTN不变属性特征提取方法，包括以下步骤：

步骤一：初始化图像；

对原始图像进行灰度化处理，并对灰度处理后的图像进行大小重置，重置大小后的图像长与宽大小相同，获得二维图像M(x,y)；

步骤二：对二维图像进行滤波处理后，进行方向边缘检测，获取边缘图像E；

利用Gabor滤波得到二维图像的中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对二维图像提取图像边缘：

其中，表示卷积，θ表示边缘方向角度，θ∈[0,180°]，Gabor滤波器宽度w＝0.1×I，I为二维图像中像素间距，取值范围为二维图像长度的10％-80％；E(θ,I；M)表示图像方向边缘检测结果，表示微分算子；

利用不同方向的边缘检测，构建双极滤波器F。双极滤波器大小分别为1×3和3×1，由余弦函数构成。图像方向边缘分别由此二滤波器与原始图像卷积获得。水平滤波器为1×3，此处利用余弦函数构建水平滤波器Hb(θ)：

Hb(θ)＝[-cos(θ) 1-|cos(θ)| cos(θ)]

其中，水平滤波器虽确定，但当θ＝0°，Hb(θ)＝0，水平方向像素无法移动，这将使水平边缘受到腐蚀。且滤波器Hb(θ)总和不等于1。为此，根据滤波器中每个元素的阶跃响应进行加权。

根据权重因子设置阶跃函数，水平滤波器设置为Hb(θ)与S(Hb(θ))的点乘，如下式所示。

其中·表示点乘，由于1-|cos(θ)|≥0，滤波器能进一步表示为下式。

其中，当θ∈[0,180°]时，∑F_x(θ,I)＝1。水平滤波器由余弦函数组成有两个优点。首先，能增强水平方向边缘检测，而弱化垂直方向边缘。其次，在循环过程中，滤波器是垂直对称。且在一个周期内，仅需关注[0,180°]，减少了计算代价。同理，利用正弦函数构建垂直滤波器，大小为3×1，如下式所示。

利用阶跃函数构建垂直滤波器，为Vb(θ)与S(Vb(θ))点乘，如下式所示，其中，·表示点乘。

由于1-|sin(θ)|≥0，滤波器如下式形式：

其中∑F_y(θ)＝1,且θ∈[0,180°]，在一个循环过程中，滤波器水平对称。为此，一个周期内仅需关注[0,180°]范围。由于F_y(θ)与F_x(θ)均为矢量，其卷积等价于F_y(θ)与F_x(θ)乘积。因此，融合双极滤波器与Gabor滤波器的方向边缘检测滤波器，如下式所示。

其中，

在循环过程中，该组合滤波器是中心对称的，在[0,180°]范围内，足够检测所有方向边缘。当时，方向边缘操作子是该组合滤波器的微分，如下式所示：

当时，方向边缘操作子为下式表示：

不同方向的边缘检测结果，如图3所示。

为此，由其中E表示图像方向边缘检测结果，表示微分算子，可得到第一阶段边缘检测图像E。

步骤三：计算边缘图像E在不同边缘方向θ与不同间距I下空间分辨率间距检测值，获取第一阶段输出图像S1；

步骤3.1，对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边缘图像；

步骤3.2，获取错位边缘图像与边缘图像E的重叠区域，将重叠区域的每个像素点的灰度值进行乘积求和处理；

步骤3.3，对步骤3.2的结果进行归一化处理，获得间距检测算子，采用半波整形函数对间距检测算子进行整形处理，完成边缘图像E空间分辨率间距检测值的计算；

步骤3.4，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距检测算子映射至第一阶段输出图像中对应像素点，得到第一阶段的输出图像S1；

像素间距I取值范围为输入图像的10％-80％，0％取长宽中的最小值，80％取长宽中的最大值，由于输入图像M(x,y)大小为128×128，则I∈[13,102]。若M(x,y)为其他大小图像，I₁取值范围成对应比例缩放。角度θ在[0,180°]内等分64份，间距I在其定义域范围内(I∈[13,102])也等分64份。为此，第一阶段输出图像S1分辨率为64×64。

经过第一阶段处理，原图像M(x,y)的旋转变换，映射至第一阶段输出图像S1为左右平移。M(x,y)比例缩放，映射至S1为上下平移。

步骤四：将第一阶段输出图像S1，按照步骤二的处理过程进行滤波处理后再进行方向边缘检测，接着按照步骤三的处理过程进行空间分辨率间距检测计算，得到第二阶段的特征输出图像S2；

对第一输出图像S1进行方向边缘检测时，像素间距的取值为第一阶段输出图像S1长度的10％-90％；

第二阶段变换间距I₂取值范围为输入图像大小的10％-90％。由于输入图像S1为64×64，则I∈[6,58]。若S1为其他大小图像，I取值范围成对应比例缩放。角度θ在[0,180°]内等分64份，间距I在其定义域范围内(I∈[6,58])也等分64份。为此，第二阶段输出特征图像S2分辨率也为64×64。第二阶段与第一阶段类似，输入图像在θ轴上具有周期性。

步骤五：将特征输出图像S2中各像素点的像素值按照图像从左至右、从上至下的顺序排列成一维数组，以该数组作为图像的不变属性特征。

所述步骤一的具体过程如下：

(1a)利用加权平均法，对原始图像进行灰度化处理；

将R,G,B三个分量以不同的权值按照下式进行加权平均获得灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，f(i,j)表示灰度图像，R(i,j)表示原始图像中坐标为(i,j)的像素点的红色分量值，G(i,j)表示原始图像中坐标为(i,j)的像素点的绿色分量值，B(i,j)表示原始图像中坐标为(i,j)的像素点的蓝色分量值；

(1b)将灰度图像中各像素点的灰度值按下式归一化至[0,1]之间：

f′(i,j)＝(f(i,j)-Min(f(i,j)))/(Max(f(i,j))-Min(f(i,j)))；

其中，f′(i,j)为灰度图像f(i,j)归一化结果，Max(f(i,j))为f(i,j)最大值，Min(f(i,j))为f(i,j)最小值；

(1c)利用双线性插值法，重设置图像f′(i,j)大小为128×128，获得二维图像M(x,y)。

所述步骤3.1中对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边缘图像，具体是指对边缘图像E，实施间距I，角度θ的错位移动，得到错位边缘图像

其中，错位水平间距Δ_x＝I×cos(θ+90°)，垂直间距Δ_y＝I×sin(θ+90°)，其中θ∈[0,180°]。

所述将错位边缘图像与边缘图像E的重叠区域的每个像素点的灰度值进行乘积求和处理是指按以下公式确定：

其中，R为间距检测算子，E_ij为边缘图像上对应像素点，平移量Δ_x＝I×cos(θ+90°)，Δ_y＝I×sin(θ+90°),且θ∈[0,180°]。

保障了未叠加区域的输出为零。

所述步骤3.3中采用半波整形函数对间距检测算子进行整形处理中的半波整形函数如下：

其中，T(θ,I；E)表示利用半波整形函数对间距检测R(θ,I；E)进行整形处理，Rect{}表示半波整形函数。

当原图像发生旋转变化时，第一阶段输出图像S1水平方向平移，第二阶段特征输出图像S2具有不变性；

当原图像发生比例缩放变化时，第一阶段输出图像S1垂直方向平移，第二阶段特征输出图像S2具有不变性；

当原图像发生位置平移变化时，第一阶段输出图像S1不变，第二阶段特征输出图像S2具有不变性；

当原图像加入噪声影响，第一阶段输出图像S1具有噪声鲁棒性，第二阶段特征输出图像S2具有不变性；

当原图像同时受到旋转、比例缩放、平移以及加噪影响，第二阶段特征输出图像S2具有不变性。

一种基于仿生物视觉变换的图像RSTN不变属性特征识别方法，采用权利要求1-5任一项所述的方法对样本图像和待识别图像的RSTN不变属性特征提取，利用最近邻匹配算法，计算待识别图像与各样本图像的不变属性特征之间的欧式距离，取最近距离训练模板对应的样本图像的分类标签，作为图像识别的最终分类结果。

有益效果

本发明提供了一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法，该方法对参数选取并不苛刻，对旋转、比例缩放、平移图像具有不变性，对加噪图像具有强鲁棒性，且计算代价不高。其步骤主要包括两个阶段变换。在第一阶段中，将方向边缘检测分为两个部分，其一，为类似V1响应的Gabor滤波器，不仅使图像特征具有噪声不变性，而且能利用余弦函数表示图像空间分辨率。其二，模拟人类视觉感知的双极皮质细胞，利用水平和垂直方向双极滤波器，与Gabor滤波器融合，构建filter-filter结构滤波器，检测各方向边缘，并突显对应方向的边缘。在此基础上，利用空间分辨率间距检测，测量各方向、各间距的空间频率，以模拟生物视觉中线条反馈的响应强度。在第二阶段，将第一阶段的输出结果，再次输入至方向边缘检测与空间分辨率间距检测中。为此，原图像目标的平移，在第一阶段输出结果就具有不变性。原图像目标的旋转与比例缩放，在第一阶段输出结果仅表现为图像水平与垂直平移。第二阶段中，将第一阶段输出结果，再经过边缘检测子和间距检测子的检测，使得第二阶段输出特征图，具有RSTN不变属性。

具体体现在以下几点：

1.模拟人类视觉感知机理，完善一种RSTN不变属性特征提取框架，该框架为多级级联模型，使得本方法所提取的特征，不仅具有特征的不变性，而且还具有图像识别的选择性。

2.根据生物视觉感知过程，水平与垂直方向线条响应响度最为强烈。提出的一种水平和垂直方向的双极滤波器，与Gabor滤波器融合，实现filter-filter的方向边缘检测。该框架结构利用Gabor滤波器与双极滤波器的各自优点，实现各方向与各间距的边缘检测。

3.为模拟大脑视觉皮质细胞对线条响应的强度，设计空间间距检测子，测量线条的空间分辨率，以客观描述线条响应强度。

4.将仿生物视觉变换的RSTN不变属性特征提取方法，应用于交通标志牌识别过程中，提高了图像识别的准确度，增强了对噪声的鲁棒性。

附图说明

图1为仿生物变换的不变属性特征提取过程框架图；

图2为不同参数的Gabor滤波器，其中，

图3为不同方向角的图像边缘检测结果，其中，θ＝0°，θ＝45°，θ＝90°，θ＝135°；

图4为第一阶段中I＝15,θ＝135°的间距检测过程示意图，其中，(a)为边缘图像及其错位图像，(b)为(a)的重叠区域，(c)为第一阶段输出图；

图5为第二阶段中I＝15,θ＝45°的间距检测过程，其中，(a)为第一阶段输出图，(b)为(a)的边缘图像及其错位图像，(c)为(a)的重叠区域，(d)为第二阶段不变属性特征的输出图；

图6为RSTN图像的分类结果可视图，其中，(a)为36个字符分类结果可视图，(b)为字母ZJO的可分性，(c)为字母HC的可分性，(d)为数字9与6的可分性；

图7为对字母G进行RSTN不变属性特征提取效果图，其中，(a)为字母G原图像，(b)为图(a)的第一阶段输出图，(c)为图(a)的第二阶段输出图；(d)为对图(a)逆时针旋转135°，(e)为对图(d)的第一阶段输出图，(f)为对图(d)的第二阶段输出图；(g)为对图(a)缩小0.7倍，(h)为对图(g)的第一阶段输出图，(i)为对图(g)的第二阶段输出图；(j)为对图(a)放大1.5倍，(k)为图(j)的第一阶段输出图，(l)为图(j)的第二阶段输出图；(m)为对图(a)进行平移(-150,150)，(n)为对图(m)的第一阶段输出图，(o)为对图(m)的第二阶段输出图；(p)为对图(a)进行平移(150，200)，(q)为对图(p)的第一阶段输出图，(r)为对图(p)的第二阶段输出图；(s)为对图(a)加入0.2倍噪声，(t)为对图(s)的第一阶段输出图，(u)为对图(s)的第二阶段输出图；(v)为对图(a)加入0.5倍噪声，(w)为对图(v)的第一阶段输出图，(x)为对图(v)的第二阶段输出图；

图8为对字母F进行RSTN不变属性特征提取效果图，其中，(a)为字母F原图像，(b)为图(a)的第一阶段输出图，(c)为图(a)的第二阶段输出图；(d)为对图(a)逆时针旋转135°，(e)为对图(d)的第一阶段输出图，(f)为对图(d)的第二阶段输出图；(g)为对图(a)缩小0.7倍，(h)为对图(g)的第一阶段输出图，(i)为对图(g)的第二阶段输出图；(j)为对图(a)放大1.5倍，(k)为图(j)的第一阶段输出图，(l)为图(j)的第二阶段输出图；(m)为对图(a)进行平移(-150,150)，(n)为对图(m)的第一阶段输出图，(o)为对图(m)的第二阶段输出图；(p)为对图(a)进行平移(150，200)，(q)为对图(p)的第一阶段输出图，(r)为对图(p)的第二阶段输出图；(s)为对图(a)加入0.2倍噪声，(t)为对图(s)的第一阶段输出图，(u)为对图(s)的第二阶段输出图；(v)为对图(a)加入0.5倍噪声，(w)为对图(v)的第一阶段输出图，(x)为对图(v)的第二阶段输出图；

图9为单连通区域的交通标志牌不变属性特征提取过程示意图，其中，(a)为交通标志牌原图像，(b)为目标图像，(c)为二值化图像，(d)为RSTN不变属性特征示意图；

图10为多连通区域的交通标志牌不变属性特征提取过程示意图；

图11为多连通区域的交通标志牌不变属性特征提取示意图，其中，(a)交通标志牌原图像，(b)元素1不变属性特征示意图，(c)元素2不变属性特征示意图，(d)元素3不变属性特征示意图。

具体实施方式

下面将结合附图和实施例对本发明所述的方法做进一步的说明。

实施例1：

本实施例针对26个字母与10个数字的图像，如图1所示，其不变属性特征提取过程如下五个步骤进行：

步骤一：对原始图像进行灰度化处理，将其灰度值归一化至[0,1]之间。并利用双线性插值法，重设置图像大小为128×128。

步骤二：经步骤一预处理获取二维图像M(x,y)，利用Gabor滤波得到中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积。即基于Gabor与双极滤波器F的filter-filter滤波器，检测目标图像方向边缘，获得边缘图像E。

步骤三：针对边缘图像E，度量其不同边缘方向θ与不同间距I的图像线条空间分辨率。首先，进行间距为I，角度为θ的错位处理，计算错位边缘图像的重叠区域。其次，将错位图像与原图像的重叠区域进行乘积求和处理。最后，利用两幅边缘图像像素点总和的平方进行归一化，并采用半波整形函数对其进行整形处理。为此，完成边缘图像E空间分辨率间距检测的计算，得到第一阶段输出图像S1。

步骤四：将第一阶段输出图像S1，再进行一次步骤二的方向边缘检测，与步骤三的空间分辨率间距检测，得到第二阶段的特征输出图像S2。其中，第二阶段变换间距I取值范围为输入图像10％-90％。由于输入图像S1为64×64，则I∈[6,58]。若S1为其他大小图像，I取值范围成对应比例缩放。角度θ在[0,180°]内等分64份，间距I在其定义域范围内(I∈[6,58])也等分64份。为此，第二阶段输出特征图像S2分辨率也为64×64。第二阶段与第一阶段类似，输入图像在θ轴上具有周期性。

步骤五：将该64×64的二维特征图像S2，转化为1×4096矢量矩阵。而后，利用最近邻匹配算法，实现目标图像的识别。

所述步骤一具体包括以下步骤：

(1a)利用加权平均法，对原始图像进行灰度化处理。根据重要性指标，将R,G,B三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低。因此，按下式对RGB三分量进行加权平均，得到较合理的灰度图像。

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，R(i,j)表示红色分量值，G(i,j)表示绿色分量值，B(i,j)表示蓝色分量值。

(1b)将其灰度值归一化至[0,1]之间，如下式所示。

f′(i,j)＝(f(i,j)-Min(f(i,j)))/(Max(f(i,j))-Min(f(i,j)))；

其中，f′(i,j)为灰度图像f(i,j)归一化结果，Max(f(i,j))为f(i,j)最大值，Min(f(i,j))为f(i,j)最小值。

(1c)利用双线性插值法，重设置图像大小为128×128。其中双线性插值法为：对于一个目的像素点，设置通过大小重置坐标比例变换，得到的浮点坐标为(i+u,j+v)，其中i,j均为非负整数，u,v为[0,1)区间的浮点数，则这个像素的值f(i+u,j+v)由原图像中坐标(i,j),(i+1,j),(i,j+1),(i+1,j+1)所对应的周围四个像素值决定，即：

f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)v f(i,j+1)+u(1-v)f(i+1,j)+uv f(i+1,j+1)

其中f(i,j)为原图像在(i,j)处的像素值。

所述步骤二具体包括以下步骤：

(2a)针对二维图像M(x,y)，利用Gabor滤波得到中间响应G(x,y)。该Gabor滤波器的频率和方向表达与人类视觉感知类似，设计为如下式所示。

其中，x,y表示像素点位置，σ表示(x,y)方向的高斯函数标准差。定义Gabor滤波器为正弦函数与高斯函数乘积，该滤波器由实部和虚部组成，二者相互正交，其中Gabor函数的实数部分定义为下式所示。

其中，x′＝x cosθ+y sinθ且y′＝-x sinθ+y cosθ，θ为Gabor滤波器并行条纹方向。(x,y)是图像像素位置坐标，为相位偏移。γ为空间纵横比，决定Gabor函数形状的椭圆率，当γ<1时，形状随着平行条纹方向而拉长，该值为0.5。λ为正弦函数波长，取值范围[0,360°]。σ是高斯函数标准差，带宽越小，标准差越大，Gabor形状越大。

Gabor滤波器方向为θ，改变λ和σ能改变正弦函数的波长与频率，使滤波器响应不同尺寸的条纹图像。图2中给出了不同参数的滤波器，其中，图2(a)为波长是5时Gabor滤波器，大小均为30×30,方向为0，相位为0，纵横比为0.5。图2(b)参数设置为45°方向的Gabor滤波器，波长为5，相位为0，纵横比为0.5。图2(c)参数为相位偏移等于45°，波长为5，方向为0，纵横比为0.5。在选用Gabor滤波器时，σ随着滤波器带宽变化，在此为0.1倍间距I值，即w＝0.1×I，波长λ＝2πσ。

(2b)利用水平-垂直方向双极滤波器F与G(x,y)进行卷积，设计基于Gabor与双极滤波器F的filter-filter滤波器，检测目标图像方向边缘，获得边缘图像E。其中，双极滤波器F分解为水平与垂直两个不同卷积滤波器，因为在人类视觉中水平与垂直方向非常重要，显著方向边缘为水平与垂直方向的结合。为此，利用水平-垂直方向双极滤波器F与G(x,y)进行卷积，由下式表示。

其中，方向角θ∈[0,180°]，D(θ,I)是方向边缘滤波器，F_x(θ)和F_y(θ)为双极滤波器，G(w)是Gabor滤波器。

根据以上分析，利用不同方向的边缘检测，构建双极滤波器F。双极滤波器大小分别为1×3和3×1，由余弦函数构成。图像方向边缘分别由此二滤波器与原始图像卷积获得。水平滤波器为1×3，此处利用余弦函数构建水平滤波器Hb(θ)：

Hb(θ)＝[-cos(θ) 1-|cos(θ)| cos(θ)]

其中，水平滤波器虽确定，但当θ＝0°，Hb(θ)＝0，水平方向像素无法移动，这将使水平边缘受到腐蚀。且滤波器Hb(θ)总和不等于1。为此，根据滤波器中每个元素的阶跃响应进行加权。

根据权重因子设置阶跃函数，水平滤波器设置为Hb(θ)与S(Hb(θ))的点乘，如下式所示。

其中·表示点乘，由于1-|cos(θ)|≥0，滤波器能进一步表示为下式。

其中，当θ∈[0,180°]时，∑F_x(θ,I)＝1。水平滤波器由余弦函数组成有两个优点。首先，能增强水平方向边缘检测，而弱化垂直方向边缘。其次，在循环过程中，滤波器是垂直对称。且在一个周期内，仅需关注[0,180°]，减少了计算代价。同理，利用正弦函数构建垂直滤波器，大小为3×1，如下式所示。

利用阶跃函数构建垂直滤波器，为Vb(θ)与S(Vb(θ))点乘，如下式所示，其中，·表示点乘。

由于1-|sin(θ)|≥0，滤波器如下式形式。

其中∑F_y(θ)＝1,且θ∈[0,180°]。在一个循环过程中，滤波器水平对称。为此，一个周期内仅需关注[0,180°]范围。由于F_y(θ)与F_x(θ)均为矢量，其卷积等价于F_y(θ)与F_x(θ)乘积。因此，融合双极滤波器与Gabor滤波器的方向边缘检测滤波器，如下式所示。

其中，在循环过程中，该组合滤波器是中心对称的，在[0,180°]范围内，足够检测所有方向边缘。当时，方向边缘操作子是该组合滤波器的微分，如下式所示。

当时，方向边缘操作子为下式表示。

不同方向的边缘检测结果，如图3所示。为此，由其中E表示图像方向边缘检测结果，表示微分算子，可得到第一阶段边缘检测图像E。

所述步骤三具体包括以下步骤：

(3a)针对边缘图像E，进行间距为I，角度为θ的错位处理，计算错位边缘图像的重叠区域。设边缘图像E，实施间距I，角度θ的错位移动，得到边缘图像其中，错位水平间距Δ_x＝I×cos(θ+90°)，垂直间距Δ_y＝I×sin(θ+90°)，其中θ∈[0,180°]。

(3b)将错位图像与原图像的重叠区域进行乘积求和处理，并利用两幅边缘图像像素点总和的平方进行归一化，如下式所示。

其中，R为间距检测算子。其中E_ij为边缘图像上对应像素点，平移量Δ_x＝I×cos(θ+90°)，Δ_y＝I×sin(θ+90°),且θ∈[0,180°]，如此保障了未叠加区域的输出为零。

(3c)采用半波整形函数对其进行整形处理，完成边缘图像E空间分辨率间距检测的计算，得到第一阶段输出图像S1。

由于生物视觉皮质神经元输出不小于零，定义如下式的半波整形函数

当R小于0时，该半波整形函数输出为0，当R大于0时，输出为R的原值。该图像变换过程中，当存在像素点为非整数时，利用双线性插值法计算对应像素点坐标。

建立以方向θ和间距log(I)的坐标系，图4展示了间距检测过程。其中图4(a)为边缘图像，与其I＝15，θ＝135°的错位图像的重叠部分。图4(b)为重叠边缘乘积的叠加图。在该叠加图中，由于梯度方向原因，有些重合区域相乘为正，有些重合区域相乘为负。为此，利用半波整形函数对其进行整形。而后，对叠加图像求其总和，并利用边缘图像像素点总和的平方进行归一化。最后映射至第一阶段输出图像中一个像素点，如图4(c)所示。

所述步骤四具体包括以下步骤：

(4a)第一阶段间距检测结果将作为第二阶段边缘检测的输入，即将第一阶段输出图像S1，再进行一次权利要求2的方向边缘检测得到E_s1。

(4b)将E_s1实施一次权利要求3的空间分辨率间距检测，得到第二阶段的特征输出图像S2，大小为64×64。

与第一阶段的大间距值不同，第一阶段输入图像为128×128，则I∈[13,102]。第二阶段间距检测中，若第二阶段输入图像大小为64×64，则I∈[6,58]。第二阶段方向角范围与第一阶段一样，为[0,180°]。第二阶段的间距检测完成后，图像像素值归一化至[0,1]之间。图5(b)为第二阶段间距检测中，边缘重叠错位图像，其中图像方向角为45°，间距值为15。如图5(d)所示，第二阶段输出特征图为64×64，字母A转化为64×64大小的特征图像，深色部分表示灰度值较高，深色区域表示图像的主特征。相反，浅色部分表示图像的低灰度值，这部分特征信息并不丰富。

所述步骤五具体包括以下步骤：

(5a)将该64×64的二维特征图像S2，转化为1×4096矢量矩阵。具体操作为将第二行的64个特征，放置第一行的64个特征后面；第三行的64个特征，放置第二行的64个特征后面，以此类推；

(5b)利用最近邻匹配算法，实现目标图像的识别。具体操作为：首先，设定并存储图像不变属性特征的训练模板及其分类标签，并提取测试图像的不变属性特征测试数据；而后，计算测试样本与各训练模板间的欧式距离，取最近距离训练模板对应的分类标签，作为图像识别的最终分类结果。

为了验证RSTN不变属性的分类能力，采用经典的欧氏距离的最近邻算法，实现图像的分类识别，图像分类过程将贪婪的追求距离最短。在本实施过程中，将64×64特征图矩阵转换为1×4096的特征矢量，建立由26个字母与10个数字组成的36个标准模板母图像。并针对每幅母图像，随机生成10个旋转、比例缩放、平移或加噪的测试样本，以产生360个测试数据。

为将图像识别结果可视化，利用非经典的多维尺度变换(non-classical multi-dimensional scaling,MDS)方法，将36个母版与360个测试样本间的1×4096维欧式距离表示为二维图像，如图6所示。该MDS方法利用成对样本间相似性，构建低维空间，使得样本在此空间的距离，与在高维空间中样本间距离的相似性保持一致。MDS可视为一类优化问题，设δ_i,j是第i个和第j个对象之间的距离，令

根据Δ，寻找II个向量x1,...,xII∈R^N，使得||x_i-x_j||≈δ_i,j，对于i,j属于II，寻找(x₁,...,x_II)，使得目标函数最小化。

实际上，当识别结果为数字6或9时，需重新进入一轮识别，仅识别该图像的上半部。每一幅母图像均有10个随机旋转、比例缩放、平移或加噪后的测试样本。本实施过程中，设计旋转图像的旋转角度范围为[0,360°]，比例缩放范围为原图像的[0.6,1.2]倍，随机平移范围为[0,200]个像素点，加噪幅度为0.6倍原图像灰度值以内。

36个母图像与360个测试图像间的距离，利用非经典的多维尺度变换方法，在二维图像中可视化，如图6所示。其中，字符为36个母图像，点为360个测试样本。图6可视化为一种模式分类器形式，各类测试图像几乎均接近于各自模板。为此，RSTN不变属性特征充分保留了特征的选择性信息，使测试样本具有可区分度。从图6中发现，图像特征分布中有一些重叠区域，如字母J,O和Z,字母C与H，还有数字6和9。但将此处特征分布区域放大后，发现这些图像仍具有可分度，即本方法的RSTN不变属性特征保留了良好的选择性。

实施例2

为了验证提取图像特征的RSTN不变性，分别对G、F字母的原图像进行不同程度的旋转、缩放、平移与加噪处理。为了结果可视化比较，将第一阶段与第二阶段输出结果以图像形式可视化呈现。如图7和图8的(a)是原始图像，其中图7和图8的(b)是(a)第一阶段变换输出结果，图7和图8的(c)是对(a)第二阶段输出特征图。而后，将图7和图8的(a)进行逆时针旋转135°，如图7和图8的(d)所示，得第一阶段输出图7和图8(e)。较图7和图8的(b)而言，相当于水平向右平移45°。然而，第二阶段特征图7和图8的(f)，相对于图7和图8的(c)而言，几乎不变。为此，原图像即使发生了旋转，经过生物变换的两阶段处理后，提取的图像特征，并没有发生变化，即所提图像特征具有旋转不变性。分析该现象可知，在第一阶段的间距检测中，针对给定I，在θ∈[0,180°]范围内，间距检测子对重叠边缘进行求和。为此，第一阶段输出图像，在纵轴I固定前提下，间距检测体现在横轴水平方向移动。这就是图像边缘发生旋转时，第一阶段输出没有旋转，而保持水平周期性平移的根本原因。在第二阶段中，边缘图像的平移，对间距检测几乎没有影响。为此，生物变换方法提取的图像特征，具有旋转不变性。

图7和图8的(g)和(j)是经过比例缩放的图像，其中图7和图8的(g)缩小为原图的0.7倍或0.5倍，图7和图8的(j)放大为原图的1.2倍。图7和图8的(h)和(k)分别展示了第一阶段变换结果。当缩小为原图像的0.7倍时，第一阶段输出图整体下移，而放大为原图像的1.2倍时，第一阶段输出图整体上移。图7和图8的(i)和(l)是第二阶段的输出特征图，该特征图像表现非常稳定，图7和图8的(i)和(l)分别与图7和图8(c)几乎一样。其本质原因在于：由于图像缩小或放大后，两错位边缘在空间频率计算中(即其间距检测过程中)，间距检测子检测I所有值域范围内的重叠边缘，并将其求和。为此，第一阶段输出图像，仅体现在垂直I轴方向的变化。即当边缘图像进行尺度变化时，第一阶段的变化结果仅是上下移动，而非尺度变化。第二阶段中，对于上下平移的图像，其边缘检测同样变化，但其间距检测不受影响。为此，第二阶段输出特征图，对于比例缩放仍具有不变性。

为了验证图像平移的不变性，将原图像向左上方向平移(-150,-150)，如图7和图8的(m)所示。并将图像向右下方向平移(150,220)或(150,280)，如图7和图8(p)所示。图7和图8(n)和图7与图8的(q)是第一阶段的输出图像，图7和图8(o)分别与图7和图8的(r)为第二阶段输出特征图。可得经过仿生物特征提取后，各阶段输出与原图像第一阶段和第二阶段输出类似。主要因为平移不变属性与旋转、比例缩放不变属性类似，在图像变换时，图像重叠错位的边缘轮廓，并没有发生改变。即第一阶段中，间距检测子能检测各方向不同间距的重叠边缘，重叠区域的总和，不会发生变化。因此，即使图像边缘发生移动，第一阶段输出图像也不会变化。在第二阶段中，其输入图像几乎一样，为此，即便经过边缘检测与间距检测，平移图像仍具有不变性。

图7、图8的(s)和图7、图8(v)为加噪后的图像，分别加入0.2倍与0.5倍的随机噪声，经第一阶段变换后图像分别如图7、图8(t)和图7、图8(w)所示。随着噪声的增加，第一阶段的输出图像带来了更多干扰。随之，这些干扰将被引入第二阶段的特征图输出中，如图7、

图8(u)与图7、图8(x)所示。较图7、图8(c)而言，图7、图8(u)与图7、图8(x)的特征区域较之增强，其灰度值较高区域的轮廓非常相似，说明本方法对噪声也具有一定容错能力，即具有加噪后特征不变性。

通过以上分析可知，即使图像经过旋转、比例缩放、平移与加噪处理，特征图轮廓均保持了不变性。在此实施过程中，以不同字母作为案例分析。事实上，该实施过程统计了26个字母与10个数字，所提取特征均具有RSTN不变性

实施例3

在自然场景的交通标志牌识别过程中，图像易受到光照、远近、摄像机角度等因素的干扰。通常情况下，摄像机与交通标志牌间的距离无法准确获取，图像中交通标志大小也难以统一确定。为此，导致交通标志牌特征提取的鲁棒性不足，约束了交通标志牌识别性能。为此，将本方法应用于交通标志牌识别的特征提取中，提取交通标志牌识别过程中的不变属性特征，对改善其识别率及鲁棒性有重要意义。

图9第一列展示了5种不同尺寸、旋转角度的交通标志，分别表示禁止左行、直行或左行。这两类标志中圆环与箭头均为突出显著位置。且具有连通性，交通标志牌目标区域存在强背景噪声干扰。本实施过程中，利用RGB颜色空间分割图像，提取红色与蓝色的连通区域，实现背景与噪声的抑制。所提取的目标区域，如图9第二列所示。图9图像间存在一定比例缩放，或目标旋转。图9第三列为第二列的二值图，图9第四列为本方法提取的不变属性特征图。通过图9可得，即便是交通标志牌图像发生不确定旋转，或比例缩放，特征图高亮区域轮廓始终保持一致。为此，本方法提取的交通标志牌特征具有不变性。

上述实施过程分析了单连通区域的交通标志牌不变属性特征提取，对于多连通区域的交通标志牌，需分解成一系列的单连通区域进行分析。而后，再利用本方法分别分割目标，实施不变属性特征提取。多连通区域的交通标志牌不变属性特征提取流程，如图10所示。利用RGB颜色空间去除背景，完成图像的分割，生成目标区域。在此基础上，对目标区域进行二值化处理。并利用四邻域算法对各连通区域添加标签。图10中，圆环、数字3和数字0分别标注，分为三个不同的连通区域。利用仿生物视觉感知的不变属性特提取方法完成每一区域分别提取。为此，各区域不变属性特征就组成了原图像的不变属性特征提取。

图11为多连通区域的交通标志牌不变属性特征提取结果，第一列为感兴趣区域内限速40km/h与30km/h的交通标志牌。第二列为六个不同程度旋转或比例缩放限速标志中，圆环的不变属性特征图，可得其轮廓几乎一致。第三列分别为数字4或数字3的特征图。最后一列为数字0不变属性特征图。在未知比例缩放与未知角度旋转的前提下，特征图的高亮信息区域，几乎保持不变。为此，本方法能提高交通标志牌识别的鲁棒性能。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (6)

1.一种基于仿生物视觉变换的图像RSTN不变属性特征提取方法，其特征在于，包括以下步骤：

步骤一：初始化图像；

对原始图像进行灰度化处理，并对灰度处理后的图像进行大小重置，重置大小后的图像长与宽大小相同，获得二维图像M(x,y)；

步骤二：对二维图像进行滤波处理后，进行方向边缘检测，获取边缘图像E；

利用Gabor滤波得到二维图像的中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对二维图像提取图像边缘：

其中，表示卷积，θ表示边缘方向角度，θ∈[0,180°]，Gabor滤波器宽度w＝0.1×I，I为二维图像中像素间距，取值范围为二维图像长度的10％-80％；E(θ,I；M)表示图像方向边缘检测结果，▽表示微分算子；

步骤三：计算边缘图像E在不同边缘方向θ与不同间距I下空间分辨率间距检测值，获取第一阶段输出图像S1；

步骤3.1，对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边缘图像；

步骤3.2，获取错位边缘图像与边缘图像E的重叠区域，将重叠区域的每个像素点的灰度值进行乘积求和处理；

步骤3.3，对步骤3.2的结果进行归一化处理，获得间距检测算子，采用半波整形函数对间距检测算子进行整形处理，完成边缘图像E空间分辨率间距检测值的计算；

步骤3.4，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距检测算子映射至第一阶段输出图像中对应像素点，得到第一阶段的输出图像S1；

步骤四：将第一阶段输出图像S1，按照步骤二的处理过程进行滤波处理后再进行方向边缘检测，接着按照步骤三的处理过程进行空间分辨率间距检测计算，得到第二阶段的特征输出图像S2；

对第一输出图像S1进行方向边缘检测时，像素间距I的取值为第一阶段输出图像S1长度的10％-90％；

步骤五：将特征输出图像S2中各像素点的像素值按照图像从左至右、从上至下的顺序排列成一维数组，以该数组作为图像的不变属性特征。

2.根据权利要求1所述的方法，其特征在于，所述步骤一的具体过程如下：

(1a)利用加权平均法，对原始图像进行灰度化处理；

将R,G,B三个分量以不同的权值按照下式进行加权平均获得灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，f(i,j)表示灰度图像，R(i,j)表示原始图像中坐标为(i,j)的像素点的红色分量值，G(i,j)表示原始图像中坐标为(i,j)的像素点的绿色分量值，B(i,j)表示原始图像中坐标为(i,j)的像素点的蓝色分量值；

(1b)将灰度图像中各像素点的灰度值按下式归一化至[0,1]之间：

f'(i,j)＝(f(i,j)-Min(f(i,j)))/(Max(f(i,j))-Min(f(i,j)))；

其中，f'(i,j)为灰度图像f(i,j)归一化结果，Max(f(i,j))为f(i,j)最大值，Min(f(i,j))为f(i,j)最小值；

(1c)利用双线性插值法，重设置图像f'(i,j)大小为128×128，获得二维图像M(x,y)。

3.根据权利要求1所述的方法，其特征在于，所述步骤3.1中对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边缘图像，具体是指对边缘图像E，实施间距I，角度θ的错位移动，得到错位边缘图像

其中，错位水平间距Δ_x＝I×cos(θ+90°)，垂直间距Δ_y＝I×sin(θ+90°)，其中θ∈[0,180°]。

4.根据权利要求3所述的方法，其特征在于，所述将错位边缘图像与边缘图像E的重叠区域的每个像素点的灰度值进行乘积求和处理是指按以下公式确定：

其中，R为间距检测算子，E_ij为边缘图像上对应像素点，平移量Δ_x＝I×cos(θ+90°)，Δ_y＝I×sin(θ+90°),且θ∈[0,180°]。

5.根据权利要求4所述的方法，其特征在于，所述步骤3.3中采用半波整形函数对间距检测算子进行整形处理中的半波整形函数如下：

其中，T(θ,I；E)表示利用半波整形函数对间距检测R(θ,I；E)进行整形处理，Rect{}表示半波整形函数。

6.一种基于仿生物视觉变换的图像RSTN不变属性特征识别方法，其特征在于，采用权利要求1-5任一项所述的方法对样本图像和待识别图像的RSTN不变属性特征提取，利用最近邻匹配算法，计算待识别图像与各样本图像的不变属性特征之间的欧式距离，取最近距离训练模板对应的样本图像的分类标签，作为图像识别的最终分类结果。