CN105005798A - 一种基于局部相似结构统计匹配的目标识别方法 - Google Patents

Abstract

本发明提出一种基于局部相似结构统计匹配的目标识别方法。该发明首先建立包含目标不同姿态、不同尺度的示例图片集，提取局部结构特征获得示例图片集局部结构特征矩阵，并通过去除相似的结构特征简化该结构特征矩阵。然后，通过统计测试图片局部区域内与结构特征矩阵相似结构特征数量的匹配的方法，以此获得测试图片与示例图片集的相似度图像，最后使用非极大值抑制的方法对相似度图像提取目标，达到目标识别的目的。本发明方法能有效识别具有结构复杂、姿态多样性特点的目标。

Description

一种基于局部相似结构统计匹配的目标识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于局部相似结构统计匹配的目标识别方法。

背景技术

目标识别是计算机人工智能的一个重要领域，现在的研究中，比较流行的对象识别理论模型分别是基于概率模型与基于部分和形状模型。这些识别方法是在基于统计学习的分类器的基础上实现的，需要通过大量地学习和训练确定所包含的各个分类器的参数，由此也叫做参数方法。一般这种方法在学习的过程中需要大量的训练样本，但是训练的过程中会导致训练参数出现过拟合，而且训练过程很缓慢。为了避免在学习中使用大量样本和漫长的训练过程，现在逐步提出了无训练的图像识别方法，即通过示例图片来查找目标图片中包含有与示例图片相似的目标对象。

文献(H.J.Seo and P.Milanfar,Training-free,Generic Object Detection using LocallyAdaptive Regression Kernels,IEEE Trans.on Pattern Analysis and Machine Intelligence,vol.32,No.9,pp.1688一1704，Sept.2010)提出了关于使用局部自适应核回归LARK(LocallyAdaptive Regression Kernels)的方法进行目标识别。其中关于使用局部自适应核回归方法用于提取图片特征并应用到一般对象识别中，该方法取得了较好的效果。但是，使用一张示例图片对测试图片进行识别仅适用于整体结构紧凑、姿态变化简单的目标和特定姿态的检测具有很好的识别效果，对于整体特征变化很大或者具有姿态多样性的目标对象，在示例图片与测试图片中目标姿态差异比较大的情况，再使用一张示例图片很难达到准确识别检测的目的，会出现漏检，识别准确性较差。

发明内容

本发明提出一种基于局部相似结构统计匹配的目标识别方法，可以对姿态复杂的目标有更高的识别准确率。

为了解决上述技术问题，本发明提供一种技术方案？？？

本发明与现有技术相比，其显著优点在于：(1)本发明方法首先建立包含目标的不同尺度、不同姿态的示例图片集，通过提取局部结构特征得到示例图片集的结构特征矩阵，该结构特征矩阵比较全面地包含了目标不同形态下的不同局部结构特征，不同于建立目标的大规模模板集，本发明方法仅需要少量的示例图片即可达到识别目的，而且是一种非训练的目标识别方法，省去了漫长的训练过程；(2)本发明方法提出了基于结构特征相似性去除相似结构特征的方法，得到去冗余相似结构后简化的结构特征矩阵，从而减少了计算量，提高识别精度，而且该特征矩阵一旦建立既可直接用于一般目标的识别；(3)本发明方法提出了基于局部相似结构统计匹配的方法，统计测试图片局部区域内与结构特征矩阵的相似结构特征的数量，获得局部相似度图像，通过非极大值抑制的方法提取目标；(4)本发明方法对结构复杂、姿态多样性的目标较使用一张示例图片识别测试图片中目标的方法具有更高地识别准确度。

附图说明

图1是本发明方法流程图。

图2是本发明仿真实验选取的测试图片和示例图片集，其中(a)是带有目标的红外图像测试图片，(b)是目标人的红外示例图片集。

图3是本发明仿真实验步骤二中获得的中间图像，其中(a)是获得的余弦相似图像，(b)是获得的位置索引图像Index。

图4为是本发明仿真实验步骤三中由索引图像Index到相似度图像RM的转化过程示意图。

图5是本发明仿真实验获得的最终识别结果像。

具体实施方式

本发明的基本思路：

对于将要识别的测试图片中的目标，由于事先并不知道测试图片中目标的具体姿态，因此选择包含目标在不同形态、尺度下的多张图片组成示例图片集。本发明是根据测试图片中某区域内含有与示例图片集中相似结构的数量来判定该区域内是否存在与示例图像中相似的目标，由于局部自适应核回归方法(LARK)在提取的局部结构特征上具有很好的鲁棒性，得到的结构特征能很好的描述图像的局部结构特征，因此结构特征相似即可表示为局部结构相似。

本发明方法包括以下步骤：

步骤一、对示例图片集Q＝{Q₁,Q₂,L,Q_n}的n张图片以及大小为m₁×m₂的测试图片T分别使用局部自适应核回归(LARK)的方法提取图片的局部结构特征，并分别计算获得示例图片集Q＝{Q₁,Q₂,L,Q_n}的结构特征矩阵以及测试图片T的结构特征矩阵W_T，其中，表示第n张示例图片Q_n的结构特征矩阵；上述结构特征矩阵的列向量又可称为结构特征向量，表示图像的局部结构特征，由LARK方法计算局部结构获得。由于结构特征矩阵的每列向量表示的就是图像的局部结构特征，因此可以使用结构特征矩阵的列向量的相似性来表示局部结构的相似性。然后对示例图片集Q＝{Q₁,Q₂,L,Q_n}的结构特征矩阵W_Q去除冗余的相似列向量，从而获得简化的各列向量互不相似的结构特征矩阵W_QR

本步骤的具体计算过程如下：

步骤1.1：分别对构成示例图片集的n张图片{Q₁,Q₂,L,Q_n}使用局部自适应核回归的方法计算得到n张示例图片各自的结构特征矩阵然后把这n个结构特征矩阵按列序从左到右组成表示整个示例图片集Q的结构特征矩阵W_Q，具体如下所示：

$W_Q=[W_{Q_1},W_{Q_2},L,W_{Q_n}]=[w_Q^1,w_Q^2,L,w_Q^N]\∈R^{P^2\×N}$

其中，P×P表示计算局部结构特征矩阵时选取的局部窗口的大小，N表示n张示例图片总的像素数，表示结构特征矩阵W_Q的第N列向量。

同理可得测试图片T的结构特征矩阵为：

$W_T=[w_T^1,w_T^2,L,w_T^M]\∈R^{P^2\×M}$

其中，M表示测试图片T的总像素数,表示结构特征矩阵W_T的第M列向量。

计算结构特征矩阵所使用的局部自适应核回归(LARK)的方法详见文献(H.J.Seoand P.Milanfar,Face Verification Using the LARK Representation,IEEE Transactions onInformation Forensics and Security,vol.6,No.4,pp.1275一1286,December2011.)。

步骤1.2：由于步骤1.1直接计算获得的示例图片集Q的结构特征矩阵W_Q的数据量庞大，考虑到每个示例图片中含有很多结构相似的区域，结构相似的区域可以理解为冗余结构，而图像的局部结构特征可以使用其结构特征矩阵对应的列向量描述，结构相似在结构特征矩阵中即可表述为相应的列向量相似。因此，将结构特征矩阵W_Q中相似的列向量进行合并，保留互不相似的列向量，可以去除结构特征矩阵W_Q冗余相似列向量。去冗余后，不但可以降低示例图片结构特征矩阵W_Q的列向量数目从而提高运算速度，还可以提高最终识别准确度。

本发明提出基于向量余弦相似去除冗余相似向量的方法，获得去除冗余向量后各列向量互不相似的结构特征矩阵W_QR。对于示例图片集Q的结构特征矩阵W_Q中每列向量与其他列向量的相似度的大小，本发明使用两个向量的向量夹角的余弦值的大小来衡量。相比距离度量，本发明使用的方法更加注重两个向量在方向上的差异，可以更真实地反应两个向量在变化方向上的差异，从而反映向量所代表的图形的差异。对于结构特征矩阵W_Q中的任意两个列向量向量夹角的余弦值ρ的计算方法如公式(1)所示：

$\mathrm{\&rho;}=\mathrm{\&rho;}(w_Q^i,w_Q^j)=<\frac{w_Q^i}{\left|\right|w_Q^i\left|\right|},\frac{w_Q^j}{\left|\right|w_Q^j\left|\right|}>=\frac{w_Q^{i^T}{w}_Q^j}{\left|\right|w_Q^i\left|\right|\left|\right|w_Q^j\left|\right|}=\cos \mathrm{\&theta;}\&Element;\left[\mathrm{0,1}\right]---\left(1\right)$

公式(1)中列向量分别是结构特征矩阵W_Q中不同的两个列向量，余弦值ρ越大表明这两个向量越相似。在此设置相似阈值τ₁，如果则认为列向量和相似，否则，列向量和不相似。使用前述方法计算结构特征矩阵W_Q中所有列向量间向量夹角的余弦值并根据相似阈值τ₁判断向量间的相似性，然后在结构特征矩阵W_Q中仅保留互相相似的两个列向量中的一个，从而去除冗余的相似列向量。

使用上述方法去掉结构特征矩阵中相似的列向量后即得到各列向量互不相似的结构特征矩阵该矩阵含有的列数N'＜＜N，达到去冗余的目的，同时也保留了示例图片集中结构差异比较大的结构特征。

步骤二、对测试图片T的结构特征矩阵W_T中的每一个列向量和去冗余后的示例图片集Q的结构特征矩阵W_QR的每一个列向量计算向量夹角的余弦值，W_T中每个列向量均可在W_QR中找到一个与之最相似的列向量，即余弦值最大时相对应W_QR中的列向量。进一步，为保证后续处理的有效性，若该最大余弦值大于预先设定的相似阈值τ₂，则保存该最大余弦值时所对应结构特征矩阵W_QR中列向量的位置，从而得到与测试图片T的结构特征矩阵W_T相同大小的位置索引矩阵Index，位置索引矩阵Index的数值表示的就是结构特征矩阵W_QR中列向量的位置。本步骤的具体计算过程如下：

步骤2.1：对于大小为m₁×m₂测试图片T，计算其结构特征矩阵中的每一个列向量和结构特征矩阵中每一个列向量的向量夹角的余弦值，即可得到余弦值矩阵ρ_TQ，计算方法如公式(2)所示

${\mathrm{\&rho;}}_{\mathrm{TQ}}={\mathrm{\&rho;}}_{\mathrm{TQ}}(W_T,W_{\mathrm{QR}})=\left(\begin{array}{ccc}{\mathrm{\&rho;}}_{11}& K& {\mathrm{\&rho;}}_{{1N}^{\&prime;}}\\ M& O& M\\ {\mathrm{\&rho;}}_{M1}& L& {\mathrm{\&rho;}}_{{\mathrm{MN}}^{\&prime;}}\end{array}\right)\&Element;R^{M\&times;N^{\&prime;}}---\left(2\right)$

公式(2)中，ρ_h,k是余弦值矩阵ρ_TQ中第h行k列的数据，ρ_h,k表示结构特征矩阵W_T第h个列向量与结构特征矩阵W_QR第个k列向量之间的向量夹角的余弦值，ρ_h,k值越大表明W_T的h列向量与W_QR的k列向量越相似。对余弦值矩阵ρ_TQ的每行取最大值，可得余弦相似矩阵ρ_M，如公式(3)所示，

${\mathrm{\&rho;}}_{\mathrm{TQ}}(W_T,W_{\mathrm{QR}})=\left(\begin{array}{ccc}{\mathrm{\&rho;}}_{11}& K& {\mathrm{\&rho;}}_{{1N}^{\&prime;}}\\ M& O& M\\ {\mathrm{\&rho;}}_{M1}& L& {\mathrm{\&rho;}}_{{\mathrm{MN}}^{\&prime;}}\end{array}\right)\&Element;R^{M\&times;N^{\&prime;}}\&DoubleRightArrow;{\mathrm{\&rho;}}_M=\left(\begin{array}{c}{\mathrm{\&rho;}}_{1i}\\ M\\ {\mathrm{\&rho;}}_{\mathrm{Mj}}\end{array}\right)\&Element;R^{M\&times;1}---\left(3\right)$

公式(2)中i,j∈1,L,N'，ρ_1i＝max(ρ₁₁,L,ρ_1N'),ρ_Mj＝max(ρ_M1,L,ρ_MN')，ρ_1i表示表示结构特征矩阵W_T中第i列向量与结构特征矩阵W_QR中的第1列向量最相似，ρ_Mj表示表示结构特征矩阵W_T中第j列向量与结构特征矩阵W_QR中的第m列向量最相似，i,j表示结构特征矩阵W_QR中列的位置。记录ρ_M对应W_QR的列向量位置作为位置索引矩阵Index，如公式(4)所示：

$\mathrm{Index}=\left(\begin{array}{c}i\\ M\\ j\end{array}\right)\&Element;R^{M\&times;1},i,j\&Element;1,L,N^{\&prime;}---\left(4\right)$

步骤2.2：将余弦相似矩阵ρ_M和位置索引矩阵Index均按列序排列成行列为m₁×m₂的矩阵，即与测试图片T大小一样的矩阵和矩阵Index中的数值表示的是结构特征矩阵W_QR中列向量的位置。由于余弦相似矩阵ρ_M中的值可能太小而不能保证向量的相似性，此时通过设置阈值τ₃来判定向量是否相似，以修正位置索引矩阵Index的取值，具体为：若余弦相似矩阵ρ_M中的值小于τ₃时，令索引矩阵Index相应位置的值为0；否则，相应位置索引矩阵Index的值保持不变。

步骤三、统计位置索引矩阵Index的所有局部窗口内不相同数值的个数num获得相似度矩阵RM，根据RM即可得到目标位置。具体过程为：

取大小为w×w的局部窗口逐像素遍历Index矩阵，统计局部窗口内不同数值的个数num。位置索引矩阵Index每个点的数据值表示的是结构特征矩阵W_QR中列向量的位置。因此，num值可表示该局部窗口区域与目标的相似度。局部窗口内不同数值的个数num越多表明测试图片T在该区域内包含的示例图片集Q里相似的结构越多，也即该区域含有目标的可能性越大。为了排除测试图片T中没有目标，即相似度很低的情况，在此设定阈值T_num，若num＜T_num时，设置该num＝0；若num＞T_num时，该num的值保持不变，从而可获得局部相似度矩阵通过对局部相似度矩阵RM使用非极大值抑制的方法即可提取目标位置信息，并可在测试图片中标记目标的位置，实现识别目标的目的。

本发明的有益效果可以通过以下仿真实验作进一步说明：

首选选取实验所需的测试图片和示例图片，如图2所示，其中图2(a)为选取的红外场景的示例图片，图2(b)为选取的13张红外场景中人的示例图像，包含了不同尺度、姿态的人。

通过使用本发明方法进行计算，在步骤二获得余弦相似图像和置索引图像，如图3所示，其中图3(a)是步骤二中余弦相似图像ρ_M，图3(b)是步骤二中位置索引图像Index。图3(b)中每个像素点的值表示的是示例图片集结构特征矩阵W_QR中列向量的位置，灰度值相同的区域表示测试图片在相应区域的局部结构相似于示例图片集的同一局部结构，因此该区域不可能存在目标；相反，灰度值变化剧烈的区域，表明测试图片在该区域含有更多与示例图片集相似的局部结构，因此该区域含有目标的可能性更大。

本实验步骤三中由位置索引图像Index到相似度图像RM过程的示意图如图4所示，其中，左边为位置索引矩阵，右边为相似度矩阵；本实验选取的局部窗口大小为3×3；相似度图像RM每个点表示的是Index中对应窗口内非重复数值的个数。

本实验最后获得的识别结果图如图5所示，由该图可知本发明方法能更好的排除干扰、准确提取到目标。

Claims (5)

1.一种基于局部相似结构统计匹配的目标识别方法，其特征在于，包括以下步骤：

步骤一、对示例图片集Q的n张图片以及大小为m₁×m₂的测试图片T分别使用局部自适应核回归的方法提取图片的局部结构特征，并分别计算获得示例图片集Q的结构特征矩阵W_Q以及测试图片T的结构特征矩阵W_T；对结构特征矩阵W_Q去除冗余的相似列向量，获得各列向量互不相似的结构特征矩阵W_QR；

步骤二、就结构特征矩阵W_T中的每一个列向量，计算其与结构特征矩阵W_QR的每一个列向量计算向量夹角的余弦值，判断值最大的余弦值是否大于预先设定的相似阈值，若该最大余弦值大于预先设定的相似阈值，则保存该最大余弦值所对应结构特征矩阵W_QR中列向量的位置，获得位置索引矩阵Index；

步骤三、统计位置索引矩阵Index的所有局部窗口内不相同数值的个数num，获得相似度矩阵RM，根据RM获取测试图片中的目标位置。

2.如权利要求1所述的基于局部相似结构统计匹配的目标识别方法，其特征在于，步骤一中，

所述计算示例图片集Q的结构特征矩阵W_Q的方法为：

分别对构成示例图片集的n张图片{Q₁,Q₂,L,Q_n}使用局部自适应核回归的方法计算得到n张示例图片各自的结构特征矩阵其中，表示第n张示例图片Q_n的结构特征矩阵，然后把n个结构特征矩阵按列序从左至右组成表示整个示例图片集Q的结构特征矩阵W_Q，W_Q如公式(1)所示：

$W_Q=[W_{Q_1},W_{Q_2},L,W_{Q_n}]=[w_Q^1,w_Q^2,L,w_Q^N]\&Element;R^{P^2\&times;N}---\left(1\right)$

公式(1)中，P×P表示计算局部结构特征矩阵时选取的局部窗口的大小，N表示n张示例图片总的像素数，表示结构特征矩阵W_Q的第N列向量；

所述测试图片T的结构特征矩阵W_T如公式(2)所示：

$W_T=[w_T^1,w_T^2,L,w_T^M]\&Element;R^{P^2\&times;M}---\left(2\right)$

公式(2)中，M表示测试图片T的总像素数,表示结构特征矩阵W_T的第M列向量。

3.如权利要求1所述的基于局部相似结构统计匹配的目标识别方法，其特征在于，步骤一中获得各列向量互不相似的结构特征矩阵W_QR过程为：

计算结构特征矩阵W_Q中每列向量与其他列向量的向量夹角的余弦值ρ，判断两两列向量之间的余弦值是否大于预先设定的相似阈值，若余弦值大于预先设定的相似阈值，则判断该两个列向量相似，并从两个相似的列向量中去除其中一个列向量，剩余的不相似的列向量构成结构特征矩阵W_QR，对于结构特征矩阵W_Q中的任意两个列向量的余弦值ρ的计算方法如公式(3)所示：

$\mathrm{\&rho;}=\mathrm{\&rho;}(w_Q^i,w_Q^j)=<\frac{w_Q^i}{\left|\right|w_Q^i\left|\right|},\frac{w_Q^j}{\left|\right|w_Q^j\left|\right|}>=\frac{w_Q^{i^T}{w}_Q^j}{\left|\right|w_Q^i\left|\right|\left|\right|w_Q^j\left|\right|}=\cos \mathrm{\&theta;}\&Element;\left[\mathrm{0,1}\right]---\left(3\right)$

公式(3)中列向量分别是结构特征矩阵W_Q中不同的两个列向量。

4.如权利要求1所述的基于局部相似结构统计匹配的目标识别方法，其特征在于，步骤二的计算过程为：

步骤4.1：对于大小为m₁×m₂测试图片T，计算其结构特征矩阵W_T中的每一个列向量和结构特征矩阵W_QR中每一个列向量的向量夹角的余弦值，获得余弦值矩阵ρ_TQ，计算方法如公式(4)所示：

${\mathrm{\&rho;}}_{\mathrm{TQ}}={\mathrm{\&rho;}}_{\mathrm{TQ}}(W_T,W_{\mathrm{QR}})=\left(\begin{array}{ccc}{\mathrm{\&rho;}}_{11}& K& {\mathrm{\&rho;}}_{{1N}^{\&prime;}}\\ M& O& M\\ {\mathrm{\&rho;}}_{M1}& L& {\mathrm{\&rho;}}_{{\mathrm{MN}}^{\&prime;}}\end{array}\right)\&Element;R^{M\&times;N^{\&prime;}}---\left(4\right)$

公式(4)中，ρ_h,k是余弦值矩阵ρ_TQ中第h行k列的数据，ρ_h,k表示结构特征矩阵W_T第h个列向量与结构特征矩阵W_QR第个k列向量之间的向量夹角的余弦值；

步骤4.2：对余弦值矩阵ρ_TQ的每行取最大值，获得余弦相似矩阵ρ_M，如公式(5)所示，

${\mathrm{\&rho;}}_{\mathrm{TQ}}(W_T,W_{\mathrm{QR}})=\left(\begin{array}{ccc}{\mathrm{\&rho;}}_{11}& K& {\mathrm{\&rho;}}_{{1N}^{\&prime;}}\\ M& O& M\\ {\mathrm{\&rho;}}_{M1}& L& {\mathrm{\&rho;}}_{{\mathrm{MN}}^{\&prime;}}\end{array}\right)\&Element;R^{M\&times;N^{\&prime;}}\&DoubleRightArrow;{\mathrm{\&rho;}}_M=\left(\begin{array}{c}{\mathrm{\&rho;}}_{1i}\\ M\\ {\mathrm{\&rho;}}_{\mathrm{Mj}}\end{array}\right)\&Element;R^{M\&times;1}---\left(5\right)$

公式(5)中i,j∈1,L,N'，ρ_1i＝max(ρ₁₁,L,ρ_1N'),ρ_Mj＝max(ρ_M1,L,ρ_MN')，ρ_1i表示表示结构特征矩阵W_T中第i列向量与结构特征矩阵W_QR中的第1列向量最相似，ρ_Mj表示表示结构特征矩阵W_T中第j列向量与结构特征矩阵W_QR中的第m列向量最相似，i,j表示结构特征矩阵W_QR中列的位置；

步骤4.3：记录ρ_M对应W_QR的列向量位置作为位置索引矩阵Index，如公式(6)所示：

$\mathrm{Index}=\left(\begin{array}{c}i\\ M\\ j\end{array}\right)\&Element;R^{M\&times;1},i,j\&Element;1,L,N^{\&prime;}---\left(6\right)$

步骤4.4：将余弦相似矩阵ρ_M和位置索引矩阵Index均按列序排列成行列为m₁×m₂的矩阵，判断余弦相似矩阵ρ_M中的值是否小于预先设定的判断阈值，若余弦相似矩阵ρ_M中的值小于判断阈值，令索引矩阵Index相应位置的值为0；否则，索引矩阵Index相应位置的值保持不变。

5.如权利要求1所述的基于局部相似结构统计匹配的目标识别方法，其特征在于，步骤三的计算过程为：

取大小为w×w的局部窗口逐像素遍历Index矩阵，统计局部窗口内不同数值的个数num，判断不同数值的个数num与预先设定的阈值T_num的大小，若num＜T_num，则设置该num＝0；若num＞T_num，则该num的值保持不变，从而可获得局部相似度矩阵RM，通过对局部相似度矩阵RM使用非极大值抑制的方法提取目标位置信息。