CN106228163A - 一种基于特征选择的局部差三进制序列图像特征描述方法 - Google Patents

Abstract

本发明公开了一种基于特征选择的局部差三进制序列图像特征描述方法，包括如下步骤：步骤一：图像采集设备采集图像信号并将所采集的图像信号上传给处理器；步骤二：处理器调用分辨率差值调整模块将步骤1中所采集的图像信号分辨率调整为，并将调整后的图像表示为图像矩阵；步骤三：处理器对步骤2中得到的图像矩阵进行多尺度分块；步骤四：在同一分块模式下，提取多尺度分块下的局部差三进制模式特征；步骤五：利用k均值空间下最小冗余的互信息特征选择方法对局部差三进制模式特征进行选择；得到图像最终的识别特征；步骤六：处理结果同步输出。本发明设计合理、实现方便，操作简便，图像特征提取速度快、效果好，实用性强。

Description

一种基于特征选择的局部差三进制序列图像特征描述方法

技术领域

本发明属于图像处理技术领域，涉及一种基于特征选择的局部差三进制序列图像特征描述方法。

背景技术

多年以来，图像特征描述在计算机视觉和模式识别领域是至关重要的一个环节，图像的局部特征提取方法已经取得了很大的发展。其中局部差二进制模式是一种非常优秀的图像特征描述方法，但是它仅仅计算了成对图像块之间的强度和梯度的差异，忽略了图像块本身的梯度，导致一部分完全不同图像抽取出相同的特征序列，如图1所示；此外，由于直接提取的特征维数太高，数据量太大，对于后面环节的识别速度和效率都不利。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于特征选择的局部差三进制序列图像特征描述方法，其设计合理、实现方便且投入成本低，操作简便，图像特征提取速度快、效果好，实用性强。

本发明的目的是通过以下技术方案来实现的：

这种基于特征选择的局部差三进制序列图像特征描述方法，包括如下步骤：

步骤一：图像采集设备采集图像信号并将所采集的图像信号上传给处理器；

步骤二：处理器调用分辨率差值调整模块将步骤1中所采集的图像信号分辨率调整为m×n，得到图像G；然后，处理器将调整后的图像G表示为m×n维的图像矩阵X；

步骤三：处理器对步骤2中得到的图像矩阵X进行多尺度分块，表示为：

$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \mathrm{...}& X_{1q}\\ X_{21}& X_{22}& \mathrm{...}& X_{2q}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ X_{p1}& X_{p2}& & X_{pq}\end{array}\right]---\left(1\right)$

其中图像被分为了p×q块，p,q为自然数，分块图像序列X_i,j为每一个子块，每个子块的大小为其中i＝1,2,…p，i为图形矩阵的行标号，j＝1,2,…q，j为图像矩阵的列标号；

步骤四：从步骤三中所得多尺度分块X中取a种连续分块模式，提取a种连续分块下的局部差三进制模式特征集合f_m；

步骤五：利用k均值空间下最小冗余的互信息特征选择方法对由步骤四中所得局部差三进制模式特征集合f_m进行选择；得到图像最终的识别特征集合G；

步骤六：处理器将步骤五中提取的图像最终的识别特征进行处理。

进一步，上述步骤四具体为：

步骤1)：对分块图像序列X_i,j的p×q个分块图像命名为X^k,其中k＝1,2,…,p×q；

步骤2)：在同一种分块模式下，任意抽取其中两个互不相同图像块作为一个图像对，分别设为X^k1和X^k2其中k1,k2＝1,2,…,p×q且k1≠k2，图像块X^k1和X^k2的局部三进制差模式LDT(k1,k2)描述为：

LDT(k1,k2)＝[τ′(I_ave(k1),I_ave(k2)，t)，g(d_x(k1)，d_x(k2))，g(d_y(k1)，d_y(k2))，ψ′(d_x(k1))，ψ′(d_y(k1))] (2)

其中：I_ave(k1)指分块图像X^k1的所有像素灰度值的平均值，τ′(I_ave(k1),I_ave(k2),t)的定义如下：

其中abs()为求绝对值的函数，t为阈值；

其中d_x()和d_y()分别表示一个图像在x方向和y方向的梯度；

$d_y\left(k1\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\Σ}}\underset{t=1}{\overset{n/q}{\Σ}}{X}^{t1}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\Σ}}\underset{t=1}{\overset{n/q}{\Σ}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\×(n/q\left)\right)---\left(6\right)$

$d_y\left(k1\right)=\left(\underset{s=1}{\overset{m/p}{\Σ}}\underset{t=n/q/2+1}{\overset{n/q}{\Σ}}{X}^{k1}\right(s,t)-\underset{s=1}{\overset{m/p}{\Σ}}\underset{t=1}{\overset{n/q/2}{\Σ}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\×(n/q\left)\right)---\left(7\right)$

同理可得：

$d_y\left(k2\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\Σ}}\underset{t=1}{\overset{n/q}{\Σ}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\Σ}}\underset{t=1}{\overset{n/q}{\Σ}}{X}^{k2}(s,t\left)\right)/\left(\right(m/p)\×(n/q\left)\right)---\left(8\right)$

$d_y\left(k2\right)=\left(\underset{s=1}{\overset{m/p}{\Σ}}\underset{t=n/q/2+1}{\overset{n/q}{\Σ}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{m/p}{\Σ}}\underset{t=1}{\overset{n/q/2}{\Σ}}{X}^{k2}(s,t\left)\right)/\left(\right(m/p)\×(n/q\left)\right)---\left(9\right)$

其中X^k1(s,t)和X^k2(s,t)分别表示X^k1和X^k2分块图像中s行t列的像素灰度值；

${\mathrm{\&psi;}}^{\&prime;}\left(d_x\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_x\right(k1\left)\right)>0\\ 0,& if& \left(d_x\right(k1\left)\right)=0\\ -1,& if& \left(d_x\right(k1\left)\right)<0\end{array}\right.---\left(10\right)$

${\mathrm{\&psi;}}^{\&prime;}\left(d_y\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_y\right(k1\left)\right)>0\\ 0,& if& \left(d_y\right(k1\left)\right)=0\\ -1,& if& \left(d_y\right(k1\left)\right)<0\end{array}\right.---\left(11\right)$

按照上述公式，求出两个图像块X^k1和X^k2的特征LDT(k1,k2)，其中k1,k2＝1,2,…,p×q且k1≠k2；

步骤3)：定义upper模式和lower模式，其中在upper模式中-1被设置为1；在lower模式中-1被设置为0；将由步骤2)中所得特征LDT(k1,k2)扩展为LDT_upper(k1,k2)和LDT_lower(k1,k2)两种模式，得到最终的局部差三进制模式LDT_Final(k1,k2)＝[LDT_upper(k1，k2),LDT_lower(k1,k2)] (12)；

步骤4)：将a种分块模式分别带入到步骤3)公式(12)中得到多组序列；取多组序列的集合定义为f_m，其中m＝1,2,…,b，其中b为序列总数。

进一步，上述步骤五具体为：

步骤1)：使用k均值聚类的方法对集合f_m进行聚类，其中m＝1,2,…,b；找出聚类中心，按照每个特征到聚类中心的欧氏距离由近到远进行排序，排序后集合表示为f′_m其中m＝1,2,…b，然后取前M个特征，后面的特征直接舍弃，由此，特征集合就变成f′_m，其中m＝1,2,…M；

步骤2)：按照经典的互信息理论定义，定义排序后集合f′_m中的特征f′_u和f′_v的互信息I(f′_u；f′_u)为：I(f′_u；f′_v)＝H(f′_u)-H(f′_u|f′_v) (13)

其中H(f′_u)是特征f′_u的熵，u,v＝1,2,…,M且u≠v定义为：

$H\left({f_u}^{\&prime;}\right)=-\underset{f_u^{\&prime;}}{\&Sigma;}P\left({f_u}^{\&prime;}\right)logP\left({f_u}^{\&prime;}\right)---\left(14\right)$

其中P()代表一个变量的概率，log()代表以2为底的对数函数，在已知另一特征f′_v后，特征f′_u的条件熵H(f′_u|f′_v)定义为：

$H\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})=-\underset{f_v}{\&Sigma;}\left({f_v}^{\&prime;}\right)\underset{f_u}{\&Sigma;}P\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})logP\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})---\left(15\right)$

其中P(f′_u|f′_v)是条件概率函数；

步骤3)：设特征选择的集合为G，初始值为空集设M为特征的总数；利用经典的互信息的评价函数Score(f′_u)定义如下：

$Score\left({f_u}^{\&prime;}\right)=\frac{1}{M}\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;})=\frac{1}{M}\left(H\right({f_u}^{\&prime;})+\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;}\left)\right)---\left(16\right);$

初始选择的特征为g₁，计算

将g₁放入特征选择集合G中；

步骤4)：从第二个特征选择开始，改进评价函数为：

$IScore\left({f_u}^{\&prime;}\right)=Score\left({f_u}^{\&prime;}\right)-\frac{1}{N-1}\underset{g_r\&Element;G_{N-1}}{\&Sigma;}(1-\frac{H\left(g_r\right|f_i^{\&prime;})}{H\left(g_r\right)})Score\left(g_r\right)---\left(18\right);$

计算

其中N指已经选择特征集合G中的特征数目、g_N为第N个选择的特征、IScore(f′_u)为改进评价函数；

步骤5)：根据目标特征选择总数，重复步骤4中的公式(19)进行选择特征；当集合G中的特征数目达到目标特征选择总数时，将集合G中的特征作为图像最终的识别特征。

进一步，上述步骤二中m×n为128×128。

进一步，上述步骤四中a取值为3，三种分块模式分别为2×2，4×4和8×8。

进一步，上述步骤四中的步骤2)中t取值为10。

进一步，上述步骤五中的步骤1)中M取值为1600。

进一步，上述步骤五中的步骤5)中目标特征选择总数取值为32。

进一步，上述处理器为微机。

进一步，上述处理器通过神经网络分类识别法进行分类识别。

相对于现有技术，本发明的优点及效果为：

(1)本发明提出一种基于特征选择的局部差三进制序列图像特征描述方法，该方法能够表征局部图像块之间的强度和梯度差异信息。

(2)本发明采用三进制模式，比二进制能够更加详细的描述信息差异。

(3)本发明提出了一种k均值空间的无监督最小冗余互信息特征选择方法对差三进制序列的结果进行特征选择，提高了图像描述的运行效率和后面分类精度。

附图说明

图1为不同图像特征描述方法提取出的特征序列；

图2为本发明一种基于特征选择的局部差三进制序列图像特征描述方法的流程框图；

图3为本发明由upper模式和lower模式形成最终的局部差三进制模式；

图4为本发明CMUPIE数据库上不同姿态下各种图像特征提取方法识别率比较图；

图5为本发明CMUPIE数据库上不同光照变化下各种图像特征提取方法识别率比较图；

图6为本发明LFW数据库上各种图像特征提取方法下识别率比较图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图2所示，本发明一种基于特征选择的局部差三进制序列图像特征描述方法，包括如下步骤：

步骤一：图像采集设备采集图像信号并将所采集的图像信号上传给处理器；

步骤二：处理器调用分辨率差值调整模块将步骤1中所采集的图像信号分辨率调整为m×n，得到图像G；然后，处理器将调整后的图像G表示为m×n维的图像矩阵X；

步骤三：处理器对步骤2中得到的图像矩阵X进行多尺度分块，表示为：

$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \mathrm{...}& X_{1q}\\ X_{21}& X_{22}& \mathrm{...}& X_{2q}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ X_{p1}& X_{p2}& & X_{pq}\end{array}\right]---\left(1\right)$

其中图像被分为了p×q块，p,q为自然数，分块图像序列X_i,j为每一个子块，每个子块的大小为其中i＝1,2,…p，i为图形矩阵的行标号，j＝1,2,…q，j为图像矩阵的列标号；

步骤四：从步骤三中所得多尺度分块X中取a种连续分块模式，提取a种连续分块下的局部差三进制模式特征集合f_m；

步骤五：利用k均值空间下最小冗余的互信息特征选择方法对由步骤四中所得局部差三进制模式特征集合f_m进行选择；得到图像最终的识别特征集合G；

步骤六：处理器将步骤五中提取的图像最终的识别特征进行处理，并将处理结果通过与该处理器连接的显示器同步输出。

步骤四具体为：

步骤1)：对分块图像序列X_i,j的p×q个分块图像命名为X^k,其中k＝1,2,…,p×q；

步骤2)：在同一种分块模式下，任意抽取其中两个互不相同图像块作为一个图像对，分别设为X^k1和X^k2其中k1,k2＝1,2,…,p×q且k1≠k2，图像块X^k1和X^k2的局部三进制差模式可以被描述为：

LDT(k1,k2)＝[τ′(I_ave(k1),I_ave(k2),t),g(d_x(k1),d_x(k2)),g(d_y(k1),d_y(k2)),ψ′(d_x(k1)),ψ′(d_y(k1))](2)

其中：I_ave(k1)指分块图像X^k1的所有像素灰度值的平均值，τ′(I_ave(k1),I_ave(k2),t)的定义如下：

其中abs()为求绝对值的函数，t为阈值；

其中d_x()和d_y()分别表示一个图像在x方向和y方向的梯度；

$d_y\left(k1\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{t1}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(6\right)$

$d_y\left(k1\right)=\left(\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=n/q/2+1}{\overset{n/q}{\&Sigma;}}{X}^{k1}\right(s,t)-\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q/2}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(7\right)$

同理可得：

$d_y\left(k2\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k2}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(8\right)$

$d_y\left(k2\right)=\left(\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=n/q/2+1}{\overset{n/q}{\&Sigma;}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q/2}{\&Sigma;}}{X}^{k2}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(9\right)$

其中X^k1(s,t)和X^k2(s,t)分别表示X^k1和X^k2分块图像中s行t列的像素灰度值；

${\mathrm{\&psi;}}^{\&prime;}\left(d_x\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_x\right(k1\left)\right)>0\\ 0,& if& \left(d_x\right(k1\left)\right)=0\\ -1,& if& \left(d_x\right(k1\left)\right)<0\end{array}\right.---\left(10\right)$

${\mathrm{\&psi;}}^{\&prime;}\left(d_y\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_y\right(k1\left)\right)>0\\ 0,& if& \left(d_y\right(k1\left)\right)=0\\ -1,& if& \left(d_y\right(k1\left)\right)<0\end{array}\right.---\left(11\right)$

按照上述公式，可以求出两个图像块X^k1和X^k2的特征LDT(k1,k2)，其中k1,k2＝1,2,…,p×q且k1≠k2；

步骤3)：定义upper模式和lower模式，其中在upper模式中-1被设置为1；在lower模式中-1被设置为0；将由步骤2)中所得特征LDT(k1,k2)扩展为LDT_upper(k1,k2)和LDT_lower(k1,k2)两种模式，得到最终的局部差三进制模式LDT_Final(k1,k2)＝[LDT_upper(k1,k2),LDT_lower(k1,k2)](12)；

步骤4)：将a种分块模式分别带入到步骤3)公式(12)中得到多组序列；取多组序列的集合定义为f_m，其中m＝1,2,…,b，其中b为序列总数。

步骤五具体为：

步骤1)：使用经典的k均值聚类的方法对集合f_m进行聚类，其中m＝1,2,…,b；找出聚类中心，按照每个特征到聚类中心的欧式距离由近到远进行排序，排序后集合表示为f′_m其中m＝1,2,…b，然后取前M个特征，后面的特征直接舍弃，由此，特征集合就变成f′_m，其中m＝1,2,…M；

步骤2)：按照经典的互信息理论定义，定义排序后集合f′_m中的特征f′_u和f′_v的互信息I(f′_u；f′_v)为：I(f′_u；f′_v)＝H(f′_u)-H(f′_u|f′_v) (13)

其中H(f′_u)是特征f′_u的熵，u,v＝1,2,…,M且u≠v定义为：

$H\left({f_u}^{\&prime;}\right)=-\underset{f_u^{\&prime;}}{\&Sigma;}P\left({f_u}^{\&prime;}\right)logP\left({f_u}^{\&prime;}\right)---\left(14\right)$

其中P()代表一个变量的概率，log()代表以2为底的对数函数，在已知另一特征f′_v后，特征f′_u的条件熵H(f′_u|f′_v)定义为：

$H\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})=-\underset{f_v}{\&Sigma;}\left({f_v}^{\&prime;}\right)\underset{f_u}{\&Sigma;}P\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})logP\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})---\left(15\right)$

其中P(f′_u|f′_v)是条件概率函数；

步骤3)：设特征选择的集合为G，初始值为空集设M为特征的总数；利用经典的互信息的评价函数Score(f′_u)定义如下：

$Score\left({f_u}^{\&prime;}\right)=\frac{1}{M}\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;})=\frac{1}{M}\left(H\right({f_u}^{\&prime;})+\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;}\left)\right)---\left(16\right);$

初始选择的特征为g₁，计算

将g₁放入特征选择集合G中；

步骤4)：从第二个特征选择开始，改进评价函数为：

$IScore\left({f_u}^{\&prime;}\right)=Score\left({f_u}^{\&prime;}\right)-\frac{1}{N-1}\underset{g_r\&Element;G_{N-1}}{\&Sigma;}(1-\frac{H\left(g_r\right|f_i^{\&prime;})}{H\left(g_r\right)})Score\left(g_r\right)---\left(18\right);$

计算

其中N指已经选择特征集合G中的特征数目、g_N为第N个选择的特征、IScore(f′_u)为改进评价函数；

步骤5)：根据目标特征选择总数，重复步骤4中的公式(19)进行选择特征；当集合G中的特征数目达到目标特征选择总数时，将集合G中的特征作为图像最终的识别特征。

其中，步骤二中m×n为128×128。步骤四中a取值为3，三种分块模式分别为2×2，4×4和8×8。步骤2)中t取值为10。步骤1)中M取值为1600。步骤5)中目标特征选择总数取值为32。

在本发明的最佳实施例中，处理器为微机，处理器通过神经网络分类识别法进行分类识别。

本发明的具体实施方法：

1.人脸图像信号的采集及上传

图像采集设备采集图像信号并将其实时所采集的图像信号通过图像信号传输装置上传给微机处理器。

2.分辨率调整及矩阵表示

首先，调用分辨率差值调整模块将其所接收到的人脸图像信号的分辨率调整为128×128，得到图像G；将所述人脸图像G表示为图像矩阵X(128×128)。

3.图像矩阵X的多尺度分块

图像X的分块如公式(1)所示，图像被分为了p×q块，

$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \mathrm{...}& X_{1q}\\ X_{21}& X_{22}& \mathrm{...}& X_{2q}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ X_{p1}& X_{p2}& & X_{pq}\end{array}\right]---\left(1\right)$

X_i,j(i＝1,2,…p；j＝1,2,…q)为每一个子块，每个块的大小为(128/p)×(128/q)，本专利中分块模式取3种分块模式，分别为：2×2，4×4和8×8，也就是说p×q的取值分别取2×2，4×4和8×8。

4.多尺度分块下的局部三进制差模式特征提取

对于分块图像序列X_i,j(i＝1,2,…p；j＝1,2,…q)，共有p×q个分块图像，命名为X^k(k＝1,2,…,p×q)。也就是说，当p×q为2×2时，k＝1,2,…,4；当p×q为4×4时，k＝1,2,…,16；当p×q为8×8时，k＝1,2,…,64。

在同一种分块模式下，任意抽取其中两个互不相同图像块作为一个图像对，分别设为X^k1和X^k2(k1,k2＝1,2,…,p×q且k1≠k2)，图像块X^k1和X^k2的局部三级制差模式可以被描述为：

LDT(k1,k2)＝[τ′(I_ave(k1),I_ave(k2),t),g(d_x(k1),d_x(k2)),g(d_y(k1),d_y(k2)),ψ′(d_x(k1)),ψ′(d_y(k1))] (2)

其中

I_ave(k1)指分块图像X^k1的所有像素灰度值的平均值，τ′(I_ave(k1)，I_ave(k2)，t)的定义如下：

其中abs()是一个求绝对值的函数，t是一个阈值的设置，本专利中取值为10。

其中d_x()和d_y()分别表示一个图像在x方向和y方向的梯度

$d_y\left(k1\right)=\left(\underset{s=128/p/2+1}{\overset{128/p}{\&Sigma;}}\underset{t=1}{\overset{128/q}{\&Sigma;}}{X}^{t1}\right(s,t)-\underset{s=1}{\overset{128/p/2}{\&Sigma;}}\underset{t=1}{\overset{128/q}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(128/p)\&times;(128/q\left)\right)---\left(6\right)$

$d_y\left(k1\right)=\left(\underset{s=1}{\overset{128/p}{\&Sigma;}}\underset{t=128/q/2+1}{\overset{128/q}{\&Sigma;}}{X}^{k1}\right(s,t)-\underset{s=1}{\overset{128/p}{\&Sigma;}}\underset{t=1}{\overset{128/q/2}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(128/p)\&times;(128/q\left)\right)---\left(7\right)$

同理

$d_y\left(k2\right)=\left(\underset{s=128/p/2+1}{\overset{128/p}{\&Sigma;}}\underset{t=1}{\overset{128/q}{\&Sigma;}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{128/p/2}{\&Sigma;}}\underset{t=1}{\overset{128/q}{\&Sigma;}}{X}^{k2}(s,t\left)\right)/\left(\right(128/p)\&times;(128/q\left)\right)---\left(8\right)$

$d_y\left(k2\right)=\left(\underset{s=1}{\overset{128/p}{\&Sigma;}}\underset{t=128/q/2+1}{\overset{128/q}{\&Sigma;}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{128/p}{\&Sigma;}}\underset{t=1}{\overset{128/q/2}{\&Sigma;}}{X}^{k2}(s,t\left)\right)/\left(\right(128/p)\&times;(128/q\left)\right)---\left(9\right)$

其中X^k1(s,t)和X^k2(s,t)分别表示X^k1和X^k2分块图像中s行t列的像素灰度值。

${\mathrm{\&psi;}}^{\&prime;}\left(d_x\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_x\right(k1\left)\right)>0\\ 0,& if& \left(d_x\right(k1\left)\right)=0\\ -1,& if& \left(d_x\right(k1\left)\right)<0\end{array}\right.---\left(10\right)$

${\mathrm{\&psi;}}^{\&prime;}\left(d_y\right(k1\left)\right):=\left\{\begin{array}{ccc}1,& if& \left(d_y\right(k1\left)\right)>0\\ 0,& if& \left(d_y\right(k1\left)\right)=0\\ -1,& if& \left(d_y\right(k1\left)\right)<0\end{array}\right.---\left(11\right)$

按照公式(2)，可以求出两个图像块X^k1和X^k2(k1,k2＝1,2,…,p×q且k1≠k2)的特征LDT(k1,k2)，这个序列中包含了1，-1和0，-1不利于计算机二进制计算，为了计算方便，取两种模式，分别为upper模式和lower模式，在upper模式中，-1被设置为1，相反在lower模式中，-1被设置为0，于是LDT(k1,k2)就被扩展为两个序列，分别为LDT_upper(k1，k2)和LDT_lower(k1，k2)，我们将这两种模式连接起来形成最终的局部差三进制模式

LDT_Final(k1,k2)＝[LDT_upper(k1,k2),LDT_lower(k1,k2)] (12)

最终，在当p×q为2×2时，k＝1,2,…,4，共有6种图像块匹配，可以根据(12)得到6个序列；

当p×q为4×4时，k＝1,2,…,16，共有6种图像块匹配，可以根据(12)得到120个序列；当p×q为8×8时，k＝1,2,…,64，共有2016种图像块匹配，可以根据(12)得到2016个序列，总计2142个序列，分别命名为f_m,(m＝1,2,…,2042)，最为图像的特征，由于数据量较大，对于后面的分别识别不利，所以进行下面的特征选择。

5.k均值空间下最小冗余的互信息特征选择

使用经典的k均值聚类的方法对f_m,(m＝1,2,…,2042)进行聚类，找出聚类中心，然后按照每个特征到聚类中心的欧式距离由近到远进行排序，表示为f′_m,(m＝1,2,…2042)，然后取前1600个特征，后面的442个特征直接舍弃，由此，特征就变成f′_m,(m＝1,2,…,1600)。

经典的互信息理论定义，排序后特征f′_u和f′_v(u,v＝1,2,…,1600且u≠v)的互信息I(f′_u；f′_v)的定义为：

I(f′_u；f′_v)＝H(f′_u)-H(f′_u|f′_v) (13)

H(f′_u)是特征f′_u的熵，定义为：

$H\left({f_u}^{\&prime;}\right)=-\underset{f_u^{\&prime;}}{\&Sigma;}P\left({f_u}^{\&prime;}\right)logP\left({f_u}^{\&prime;}\right)---\left(14\right)$

P()代表一个变量的概率，log()代表以2为底的对数函数

在已知另一特征f′_v后，特征f′_u的条件熵H(f′_u|f′_v)定义

$H\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})=-\underset{f_v}{\&Sigma;}\left({f_v}^{\&prime;}\right)\underset{f_u}{\&Sigma;}P\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})logP\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})---\left(15\right)$

其中P(f′_u|f′_u)是条件概率函数

经典的互信息的评价函数Score(f′_u)定义如下：

$Score\left({f_u}^{\&prime;}\right)=\frac{1}{M}\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;})=\frac{1}{M}\left(H\right({f_u}^{\&prime;})+\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;}\left)\right)---\left(16\right);$

M指特征的总数，本专利为1600。

设特征选择的集合为G，初始值为空集

第一个初始选择的特征为g₁，根据公式(17)进行计算

$Score\left({f_u}^{\&prime;}\right)=\frac{1}{M}\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;})=\frac{1}{M}\left(H\right({f_u}^{\&prime;})+\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;}\left)\right)$

$g_1=\arg \underset{1\&le;u\&le;M}{max}\left\{Score\left({f_u}^{\&prime;}\right)\right\}---\left(17\right)$

接着将g₁放入特征选择集合G中，于是G中有了1个特征。

在下来的特征选择中，为了减少冗余，改进的评价函数为：

$IScore\left({f_u}^{\&prime;}\right)=Score\left({f_u}^{\&prime;}\right)-\frac{1}{N-1}\underset{g_r\&Element;G_{N-1}}{\&Sigma;}(1-\frac{H\left(g_r\right|f_i^{\&prime;})}{H\left(g_r\right)})Score\left(g_r\right)---\left(18\right);$

其中N指已经选择特征集合的特征数目，即集合G中的特征数目。

从第二个特征选择开始，根据公式(19)进行，

$IScore\left({f_u}^{\&prime;}\right)=Score\left({f_u}^{\&prime;}\right)-\frac{1}{N-1}\underset{g_r\&Element;G_{N-1}}{\&Sigma;}(1-\frac{H\left(g_r\right|f_i^{\&prime;})}{H\left(g_r\right)})Score\left(g_r\right)$

$g_N=\arg \underset{1\&le;u\&le;M}{max}\left\{Score\left({f_u}^{\&prime;}\right)\right\}---\left(19\right)$

根据目标特征选择总数，本专利中设定为32，根据公式(19)选择特征，将选择的特征加入特征集合G中，接着重复公式(19)进行选择特征，直至集合G中的特征数目达到32，即G＝(g₁，g₂，…g₃₂)作为图像最终的识别特征。如果选择的特征数目为32，则局部差三进制模式就简称为LDT32。

6.识别结果分析

为了验证本发明人脸特征提取方法的有效性和普适性，将本发明的人脸特征提取方法与局部二进制模式(LBP)、局部三进制模式(LTP)、局部Gabor滤波变换(LG)和局部差二进制模式(LDB)的特征提取方法以及经典互信息(MI)特征选择方法进行比较，为了公平对比实验结果，LDB的特征使用MI特征选择的方法选择为32个特征，简称LDB32。本专利的局部差三进制简称为LDT32，k均值空间上最小冗余互信息特征选择简称为K-UMEMI。具体如下：

(1)在MATLAB的仿真环境下，以CMUPIE人脸库为实验对象进行测试，CMUPIE人脸库包括了68个人每人60幅人脸图像，具备了不同姿态、不同光照的变化，分别采用各种所要比较的人脸特征提取算法进行人脸特征提取，并对每种算法提取到的人脸特征采用现有技术中的RBF神经网络分类识别法进行分类识别，具体的使用MATLAB中的神经网络工具箱，其分类识别比较结果如图4，图5所示。

(2)在MATLAB的仿真环境下，以LFW(Labeled Faces in the Wild)人脸库为实验对象进行测试，LFW人脸库包括了13,000个不同的光照、表情、发型和有无眼镜等人脸图像。本专利选择了其中每个人不少20幅照片的50个人，如果这个人有多于20幅照片的，只取前20幅。分别采用各种所要比较的人脸特征提取算法进行人脸特征提取，并对每种算法提取到的人脸特征采用现有技术中的RBF神经网络分类识别法进行分类识别，具体的使用MATLAB中的神经网络工具箱，其分类识别比较结果如图6所示。

从图4、图5和图6中可以看出，本发明的人脸特征提取方法对人脸识别的识别率明显高于其它常见的基于单训练样本的常见图像特征提取算法，能够适用于实际应用中众多缺乏训练样本的场景。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (10)

1.一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于，包括如下步骤：

步骤一：图像采集设备采集图像信号并将所采集的图像信号上传给处理器；

步骤二：处理器调用分辨率差值调整模块将步骤1中所采集的图像信号分辨率调整为m×n，得到图像G；然后，处理器将调整后的图像G表示为m×n维的图像矩阵X；

步骤三：处理器对步骤2中得到的图像矩阵X进行多尺度分块，表示为：

$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& ...& X_{1q}\\ X_{21}& X_{22}& ...& X_{2q}\\ ...& ...& ...& ...\\ X_{p1}& X_{p2}& & X_{pq}\end{array}\right]---\left(1\right)$

其中图像被分为了p×q块，p,q为自然数，分块图像序列X_i,j为每一个子块，每个子块的大小为其中i＝1,2,…p，i为图形矩阵的行标号，j＝1,2,…q，j为图像矩阵的列标号；

步骤四：从步骤三中所得多尺度分块X中取a种连续分块模式，提取a种连续分块下的局部差三进制模式特征集合f_m；

步骤五：利用k均值空间下最小冗余的互信息特征选择方法对由步骤四中所得局部差三进制模式特征集合f_m进行选择；得到图像最终的识别特征集合G；

步骤六：处理器将步骤五中提取的图像最终的识别特征进行处理。

2.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：所述步骤四具体为：

步骤1)：对分块图像序列X_i,j的p×q个分块图像命名为X^k,其中k＝1,2,…,p×q；

步骤2)：在同一种分块模式下，任意抽取其中两个互不相同图像块作为一个图像对，分别设为X^k1和X^k2其中k1,k2＝1,2,…,p×q且k1≠k2，图像块X^k1和X^k2的局部三进制差模式LDT(k1,k2)描述为：

LDT(k1,k2)＝[τ′(I_ave(k1),I_ave(k2),t),g(d_x(k1),d_x(k2)),g(d_y(k1),d_y(k2)),ψ′(d_x(k1)),ψ′(d_y(k1))] (2)

其中：I_ave(k1)指分块图像X^k1的所有像素灰度值的平均值，

τ′(I_ave(k1),I_ave(k2),t)的定义如下：

其中abs()为求绝对值的函数，t为阈值；

其中d_x()和d_y()分别表示一个图像在x方向和y方向的梯度；

$d_y\left(k1\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k1}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(6\right)$

$d_y\left(k1\right)=\left(\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=n/q/2+1}{\overset{n/q}{\&Sigma;}}{X}^{k1}\right(s,t)-\underset{s=1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q/2}{\&Sigma;}}{X}^{k1}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(7\right)$

同理可得：

$d_y\left(k2\right)=\left(\underset{s=m/p/2+1}{\overset{m/p}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k2}\right(s,t)-\underset{s=1}{\overset{m/p/2}{\&Sigma;}}\underset{t=1}{\overset{n/q}{\&Sigma;}}{X}^{k2}(s,t\left)\right)/\left(\right(m/p)\&times;(n/q\left)\right)---\left(8\right)$

$d_y\left(k2\right)=\left(\underset{s=1}{\overset{m/p}{\mathrm{\&Sigma;}}}\underset{t=n/q/2+1}{\overset{n/q}{\mathrm{\&Sigma;}}}{X}^{k2}\left(s,t\right)-\underset{s=1}{\overset{m/p}{\mathrm{\&Sigma;}}}\underset{t=1}{\overset{n/q/2}{\mathrm{\&Sigma;}}}{X}^{k2}\left(s,t\right)\right)/\left(\left(m/p\right)\&times;\left(n/q\right)\right)---\left(9\right)$

其中X^k1(s,t)和X^k2(s,t)分别表示X^k1和X^k2分块图像中s行t列的像素灰度值；

${\mathrm{\&psi;}}^{\&prime;}\left(d_x\right(k1\left)\right):=\left\{\begin{array}{c}1,if\left(d_x\right(k1\left)\right)>0\\ 0,if\left(d_x\right(k1\left)\right)=0\\ -1,if\left(d_x\right(k1\left)\right)<0\end{array}\right.---\left(10\right)$

${\mathrm{\&psi;}}^{\&prime;}\left(d_y\right(k1\left)\right):=\left\{\begin{array}{c}1,if\left(d_y\right(k1\left)\right)>0\\ 0,if\left(d_y\right(k1\left)\right)=0\\ -1,if\left(d_y\right(k1\left)\right)<0\end{array}\right.---\left(11\right)$

按照上述公式，求出两个图像块X^k1和X^k2的特征LDT(k1,k2)，其中k1,k2＝1,2,…,p×q且k1≠k2；

步骤3)：定义upper模式和lower模式，其中在upper模式中-1被设置为1；在lower模式中-1被设置为0；将由步骤2)中所得特征LDT(k1,k2)扩展为LDT_upper(k1,k2)和LDT_lower(k1,k2)两种模式，得到最终的局部差三进制模式LDT_Final(k1,k2)＝[LDT_upper(k1,k2),LDT_lower(k1,k2)] (12)；

步骤4)：将a种分块模式分别带入到步骤3)公式(12)中得到多组序列；取多组序列的集合定义为f_m，其中m＝1,2,…,b，其中b为序列总数。

3.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：所述步骤五具体为：

步骤1)：使用k均值聚类的方法对集合f_m进行聚类，其中m＝1,2,…,b；找出聚类中心，按照每个特征到聚类中心的欧氏距离由近到远进行排序，排序后集合表示为f′_m其中m＝1,2,…b，然后取前M个特征，后面的特征直接舍弃，由此，特征集合就变成f′_m，其中m＝1,2,…M；

步骤2)：按照经典的互信息理论定义，定义排序后集合f′_m中的特征f′_u和f′_v的互信息I(f′_u；f′_v)为：I(f′_u；f′_v)＝H(f′_u)-H(f′_u|f′_v) (13)

其中H(f′_u)是特征f′_u的熵，u,v＝1,2,…,M且u≠v定义为：

$H\left({f_u}^{\&prime;}\right)=-\underset{{f_u}^{\&prime;}}{\&Sigma;}P\left({f_u}^{\&prime;}\right)\log P\left({f_u}^{\&prime;}\right)---\left(14\right)$

其中P()代表一个变量的概率，log()代表以2为底的对数函数，在已知另一特征f′_v后，特征f′_u的条件熵H(f′_u|f′_v)定义为：

$H\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})=-\underset{f_v}{\&Sigma;}P\left({f_v}^{\&prime;}\right)\underset{f_u}{\&Sigma;}P\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})\log P\left({f_u}^{\&prime;}\right|{f_v}^{\&prime;})---\left(15\right)$

其中P(f′_u|f′_v)是条件概率函数；

步骤3)：设特征选择的集合为G，初始值为空集设M为特征的总数；利用经典的互信息的评价函数Score(f′_u)定义如下：

$Score\left({f_u}^{\&prime;}\right)=\frac{1}{M}\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;})=\frac{1}{M}\left(H\right({f_u}^{\&prime;})+\underset{v=1,v\&NotEqual;u}{\overset{M}{\&Sigma;}}I({f_u}^{\&prime;};{f_v}^{\&prime;}\left)\right)---\left(16\right);$

初始选择的特征为g₁，计算

将g₁放入特征选择集合G中；

步骤4)：从第二个特征选择开始，改进评价函数为：

$IScore\left({f_u}^{\&prime;}\right)=Score\left({f_u}^{\&prime;}\right)-\frac{1}{N-1}\underset{g_r\&Element;G_{N-1}}{\&Sigma;}(1-\frac{H\left(g_r\right|{f_i}^{\&prime;})}{H\left(g_r\right)})Score\left(g_r\right)---\left(18\right);$

计算

其中N指已经选择特征集合G中的特征数目、g_N为第N个选择的特征、IScore(f′_u)为改进评价函数；

步骤5)：根据目标特征选择总数，重复步骤4中的公式(19)进行选择特征；当集合G中的特征数目达到目标特征选择总数时，将集合G中的特征作为图像最终的识别特征。

4.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：步骤二中m×n为128×128。

5.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：步骤四中a取值为3，三种分块模式分别为2×2，4×4和8×8。

6.如权利要求2所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：步骤2)中t取值为10。

7.如权利要求3所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：步骤1)中M取值为1600。

8.如权利要求3所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：步骤5)中目标特征选择总数取值为32。

9.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：所述处理器为微机。

10.如权利要求1所述的一种基于特征选择的局部差三进制序列图像特征描述方法，其特征在于：处理器通过神经网络分类识别法进行分类识别。