CN106845516A

CN106845516A - 一种基于多样本联合表示的足迹图像识别方法

Info

Publication number: CN106845516A
Application number: CN201611116356.7A
Authority: CN
Inventors: 王新年; 张�浩
Original assignee: Dalian Maritime University
Current assignee: Dalian Maritime University
Priority date: 2016-12-07
Filing date: 2016-12-07
Publication date: 2017-06-13
Anticipated expiration: 2036-12-07
Also published as: CN106845516B

Abstract

本发明提供一种基于多样本联合表示足迹图像的识别方法。该方法包括如下步骤：首先，样本联合表示字典的构建，对足迹图像进行分区、几何变换、形态学等操作扩充图像库，提取图像特征，经归一化后作为字典的原子，建立具有多个样本类别的联合字典。其次，足迹图像的识别，将待识别足迹图像提取特征后，利用联合字典稀疏表示该足迹图像，根据足迹花纹的占空比加权重构稀疏系数，分析重构系数，输出待识别足迹图像所属类别。该方法可以增强图像识别的鲁棒性，即在样本足迹图像较少的情况下，能够较为精确的识别出相似图像，还能避免由于足迹图像畸变导致的错误分类情况，有效的识别出图像的所属类别，同时，还可筛选出足迹花纹质量较差的图像。

Description

一种基于多样本联合表示的足迹图像识别方法

技术领域

本发明涉及一种基于多样本联合表示的足迹图像的识别方法，特别是关于一种样本数量不均匀的足迹图像识别方法。涉及专利分类号G06计算；推算；计数G06F电数字数据处理G06F19/00专门适用于特定应用的数字计算或数据处理的设备或方法。

背景技术

足迹图像是犯罪现场中遗留率较高的痕迹物证之一，它能提供可靠的法定依据，足迹图像有效的识别不仅能够帮助调查人员实现案件的串并联，并且可以帮助他们锁定罪犯，因此，犯罪嫌疑人的足迹图像在侦查破案中的地位越来越突出，足迹图像有效的管理和识别对案件的破获具有重要意义。目前，足迹图像识别的方法有很多，主要概括为三种：基于统计(或决策理论)的方法、基于结构(或句法)的方法和基于神经网络的方法。

以上足迹图像识别方法仍存在一些问题：(1)图像数据常常具有不确定性，样本分布不均匀，这极大影响了图像识别精度。(2)识别问题易受图像得分异常的影响，如待识别图像中含有个别畸变图像，导致得分较高造成错误分类，识别结果不符合主客观一致性。(3)足迹图像往往受残缺的影响较大，若图像部分区域丢失纹理信息，会对图像特征的提取造成影响，因而也会导致待识别图像的错误分类。

发明内容

针对上述问题，本发明的目的是提供一种针对足迹图像的样本联合表示字典构建策略和稀疏系数加权重构方法，能够解决由于足迹图像样本较少造成的错误识别，以及少数待识别图像得分异常而造成的错误分类情况。

为实现上述目的，本发明采取以下技术方案：一种基于多样本联合表示的足迹图像识别方法，包括如下步骤：

—由足迹图像库中的足迹图像构建由脚掌字典D_T和脚跟字典D_B组成的样本联合表示字典，该字典带有分别与脚掌字典D_T和脚跟字典D_B对应的标签L_T和L_B；

—预处理待识别的足迹图像，提取并通过如下公式计算脚掌和脚跟区域的花纹占空比b_T和b_B；

s为脚掌或脚跟区域非零像素的个数，m和n分别为脚掌区域的长宽；

—镜像所述预处理后的待识别图像，在得到的两幅足迹图像中分别提取脚掌、脚跟部分的小波傅里叶梅林特征，然后将小波傅里叶梅林特征进行8×8的均值下采样，并转化为列向量，得到脚掌区域特征F_T1、F_T2,脚跟区域特征F_B1、F_B2；

—将脚掌区域特征F_T1、F_T2分别依据所述的脚掌字典D_T利用正交匹配跟踪算法求出稀疏系数；然后将与标签L_T对应的每一类的稀疏系数求和得到系数X_T1、X_T2；同理，根据脚跟区域特征F_B1、F_B2和字典D_B以及标签L_B得到系数X_B1、X_B2；

—将脚掌、脚跟区域的花纹占空比b_T、b_B分别作为上述步骤求出的系数X_T1、X_T2以及系数X_B1、X_B2的权重，得出重构系数X；

—根据重构系数X，输出识别结果，(所属类别\拒识别)，求出重构系数X的最大值mx及索引，并找出索引与标签L_T相对应的类别；

若mx>cX，则输出待识别足迹图像所属类别，显示该类足迹代表图像；

若mx≤cX，则判断为拒识别图像，并显示该足迹图像。cX为拒识别图像判别阈值。

作为优选的实施方式，当所述的字典中样本数目n_l小于设定阈值的类别时，进行足迹图像库的扩充；

—对该标签下的所有样本图像进行至少包括几何变换、形态学的膨胀腐蚀操作以及加入椒盐噪声，模拟生成各种畸变情况下的足迹图像样本，进而扩充足迹库。

更进一步的，所述的词典构建过程具体如下：

—对扩充后的足迹图像库G_e进行预处理，提取脚掌和脚跟两部分，形成脚掌样本集G_eT和脚跟样本集G_eB，其包括以下步骤：

—采用均值滤波对G_e中的每幅足迹图像进行噪声抑制；

—根据足迹整体特征，将G_e中每幅预处理后的图像分割为脚掌、脚跟区域，分割标准为：足迹图像至上而下的前60％为脚掌部分，后40％为脚跟部分。从而形成脚掌样本集G_eT和脚跟样本集G_eB；

—分别提取脚掌样本集G_eT和脚跟样本集G_eB每个样本的小波傅里叶梅林特征，然后将小波傅里叶梅林特征进行8×8的均值下采样；

将下采样后的小波傅里叶梅林特征进行归一化，并转换为列向量，分别形成脚掌字典D_T和脚跟字典D_B，即D_T和D_B中的每一列为足迹图像脚掌或脚跟部分归一化的特征；

同时以L_T和L_B分别表示D_T和D_B中各列对应的标签。

作为优选的实施方式，当计算得出的花纹占空比小于设定的阈值时，判定当前图像为拒识别图像，输出该拒绝识别图像。

本发明由于采取以上技术方案，其具有以下优点：1)本专利通过对足迹图像分区、几何变换、形态学等操作扩充图像库，可以有效的解决因样本图像较少造成的错误分类情况，提高了分类精度。2)本专利采用针对足迹图像的样本联合表示字典构建策略，从而有效的增强图像识别的鲁棒性，提升了图像识别算法效率，便于实时处理。3)本专利采用稀疏系数加权重构方法有效的避免由于个别图像得分异常造成的错误分类情况，将显著区域赋予较大的权重，识别结果更符合人的主客观一致性。4)本专利采取足迹图像拒识别的方法，能够筛选出质量较差的待识别足迹图像，该方法可以有效的避免因足迹图像质量较差造成的错误识别。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为发明多样本联合字典的构建流程图

图2为发明足迹图像识别流程图

图3为本发明足迹图像库G_e进行预处理后，提取脚掌和脚跟两部分示意图

图4为本发明提取的待识别足迹图像脚掌、脚跟区域示意图

图5为本发明实施例经过算法识别后，输出待识别足迹图像所属类别示意图

图6为本发明算法结果示意图

具体实施方式

下面结合附图对本发明进行详细的描述。如图1所示，一种多样本联合表示的足迹图像识别方法，主要包括如下步骤：

样本联合表示字典的构建

样本集规范化

将所有带有标签的足迹图像按标签顺序形成原始样本集G_r。

统计G_r中各标签的样本图像的数目，记为n_l，其中l表示标签序号

考虑到在很多实际问题中，并不能获得类似于公开数据集中，每类同等数量级的样本，足迹图像库中各类足迹图像样本数目并不是相同的，稀有足迹花纹图像样本少，而有些足迹花纹比较大众化，样本数目很多，在扩充库的时，将类别中样本少的足迹图像进行扩充，避免因图像样本较少造成类内特征单一，不足以代表该类特征，而对于样本数目很多的类别，样本图像特征足以代表该类图像特征，故无需扩充该类样本。

故作为优选的实施方式，对于样本数目n_l小于设定阈值的类别，要进行样本的扩充，部分扩充如图3所示。扩充方式为：对该标签下的所有样本图像进行几何变换、形态学的膨胀腐蚀操作以及加入椒盐噪声等，这样就可以模拟生成各种畸变情况下的足迹图像样本，进而扩充足迹库，如对足迹图像左右各旋转5度，上下各平移5个像素，左右各镜像一次等。样本扩充后的足迹图像库记为G_e。

第一行从左至右依次为：原图、加椒盐噪声、加遮挡噪声、旋转、膨胀、腐蚀、左平移，上平移。第二行为原图镜像后，对镜像图做如上操作后的图像。

对扩充后的足迹图像库G_e进行预处理，提取脚掌和脚跟两部分，如图4所示。形成脚掌样本集G_eT和脚跟样本集G_eB，其包括以下步骤：

采用均值滤波对G_e中的每幅足迹图像进行噪声抑制。

根据足迹整体特征，可将G_e中每幅预处理后的图像分为脚掌、脚跟区域，分割标准为：足迹图像至上而下的前60％为脚掌部分，后40％为脚跟部分。从而形成脚掌样本集G_eT和脚跟样本集G_eB。

脚掌和脚跟特征字典的构建

分别提取脚掌样本集G_eT和脚跟样本集G_eB每个样本的小波傅里叶梅林特征(WangX N,Sun H H,Yu Q et al.Automatic Shoeprint Retrieval Algorithm for RealCrimeScenes.Asian Conference on Computer Vision,Singapore,Singapore,2015:399-413.)，然后将小波傅里叶梅林特征进行8×8的均值下采样。

将下采样后的小波傅里叶梅林特征进行归一化，并转换为列向量，分别形成脚掌字典D_T和脚跟字典D_B，即D_T和D_B中的每一列为足迹图像脚掌或脚跟部分归一化的特征。

同时以L_T和L_B分别表示D_T和D_B中各列对应的标签。以脚掌为例，构建字典的足迹图像库中，每幅图像都是含有标签的，将所有标签集合成一个列向量，即是L_T，由于足迹图像库中有多类图像，故标签L_T会对应多个类别，在字典D_T中，每一类代表该类独有的特征。

若标签为：L_T＝(n₁,n₁,n₂,n₃,n₃,n₃,L,n_k,n_k)，则标签与下文稀疏系数x_T1一一对应，上式，共有k类，每类样本数目并不要求同等数量级。

足迹图像的识别

待识别足迹图像的特征提取

采用均值滤波对待识别足迹图像进行噪声抑制。作为可选的实施方式，采用均值滤波对图像进行滤波，设定一个模板，该模板为其邻近的若干个像素组成，如3*3大小，用模板的均值来代替原像素的值。

提取待识别足迹图像脚掌、脚跟区域，如图5所示，分别计算脚掌区域、脚跟区域的花纹占空比b_T、b_B，公式如下：

上式中：s为脚掌或脚很区域非零像素的个数，m和n分别为脚掌区域的长宽(最长和最宽的尺寸)，同理，即可求出b_B。

若b_T<cT或b_B<cB(cT,cB为脚掌、脚跟区域占空比阈值)，表明可能出现如下三种情况：1、脚掌区域占空比小于设定的阈值；2、脚跟区域小于设定的阈值；相应的，判定该待识别足迹图像判断为拒识别图像，算法终止，输出拒识别图像。

考虑到足迹有左右之分，将待识别图像镜像后，即可得到一对足迹花纹图像，分别求稀疏系数，再重构出系数，继而进行识别,可以提升识别准确率，增强图像识别的鲁棒性。

作为优选的实施方式，将待识别足迹图像镜像，得到两幅足迹图像，分别提取脚掌、脚跟部分的小波傅里叶梅林特征，然后将小波傅里叶梅林特征进行8×8的均值下采样，并转化为列向量，得到脚掌区域特征F_T1、F_T2,脚跟区域特征F_B1、F_B2。

足迹图像的识别过程

将脚掌区域特征F_T1、F_T2依据字典D_T利用正交匹配跟踪算法求出稀疏系数，然后将与标签L_T对应的每一类的稀疏系数求和得到系数X_T1、X_T2，同样的，根据脚跟区域特征F_B1、F_B2和字典D_B以及标签L_B，得到系数X_B1、X_B2。

以脚掌为例，将下采样后的小波傅里叶梅林特征F_MT进行归一化，具体过程：

将特征矩阵F_MT做上述处理，然后将矩阵f_MT转换成列向量F_T1。

关于所述的正交匹配跟踪算法求出稀疏系数，可详见(Y.C.Pati,R.Rezaiifar,P.S.Krishnaprasad.Orthogonal matching pursuit:recursive functionapproximation with applications to wavelet decomposition.Proc.of the 27thAnnual Asilomar Conference on Signals,Systems and Computers,1993:40-44.)，求解公式如下：

F_T1＝D_Tx_T1

利用正交匹配跟踪算法求得上式稀疏系数x_T1

x_T1＝(x_T11,x_T12,x_T21,x_T31,x_T32,x_T33,L,x_Tk1,x_Tk2)

将系数x_T1与标签L_T对应的每一类的稀疏系数求和得到系数X_T1，即：

X_T1＝(x_T1,x_T2,x_T3,L,x_Tk)

将脚掌、脚跟区域的花纹占空比b_T、b_B分别作为上述步骤1)求出的系数权重，得出重构系数X。如下公式：

根据重构系数X，输出识别结果(所属类别\拒识别)。求出重构系数X的最大值mx及索引，并找出索引与标签L_T相对应的类别。

若mx>cX，则输出待识别足迹图像所属类别，显示该类足迹代表图像，如图6所示。

若mx≤cX，则判断为拒识别图像，并显示该足迹图像。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多样本联合表示的足迹图像识别方法，其特征在于包括如下步骤：

b_{T / B} = \frac{s}{m \times n}

s为脚掌或脚跟区域非零像素的个数，m和n分别为脚掌区域的长宽；脚掌区域占空比b_T阈值为0.08，脚跟区域占空比b_B阈值为0.05；

—镜像所述预处理后的待识别图像，在得到的两幅足迹图像中分别提取脚掌、脚跟部分的小波傅里叶梅林特征，然后将小波傅里叶梅林特征进行8×8的均值下采样，并转化为列向量，得到脚掌区域特征F_T1、F_T2，脚跟区域特征F_B1、F_B2；

X = \frac{b_{T}}{b_{T} + b_{B}} (X_{T 1} + X_{T 2}) + \frac{b_{B}}{b_{T} + b_{B}} (X_{B 1} + X_{B 2})

—根据重构系数X，输出识别结果(所属类别\拒识别)，求出重构系数X的最大值mx及索引，并找出索引与标签L_T相对应的类别；

若mx≤cX，则判断为拒识别图像，并显示该足迹图像；cX为拒识别图像判别阈值。

2.根据权利要求1所述的基于多样本联合表示的足迹图像识别方法，其特征还在于当所述的字典中样本数目n_l小于设定阈值的类别时，进行足迹图像库的扩充；

3.根据权利要求2所述的基于多样本联合表示的足迹图像识别方法，其特征还在于所述的词典构建过程具体如下：

—采用均值滤波对G_e中的每幅足迹图像进行噪声抑制；

将下采样后的小波傅里叶梅林特征进行归一化，并转换为列向量，分别形成脚掌字典D_T和D_B，即D_T和D_B中的每一列为足迹图像脚掌或脚跟部分归一化的特征；

同时以L_T和L_B分别表示D_T和D_B中各列对应的标签。

4.根据权利要求1所述的基于多样本联合表示的足迹图像识别方法，其特征还在于当计算得出的花纹占空比小于设定的阈值时，判定当前图像为拒识别图像，输出该拒绝识别图像。