CN110503130B - 基于特征融合的现勘图像分类方法 - Google Patents

Abstract

一种基于特征融合的现勘图像分类方法，由构建卷积神经网络、特征提取、特征选择、训练分类器步骤组成。本发明采用了ReLu激活函数、局部响应归一化、两种卷积神经网络特征融合和特征选择方法来构建卷积神经网络结构，通过卷积层特征与全连接层特征进行融合丰富了图像的信息，并通过结合拉普拉斯分值和互信息值的方法降低了特征的冗余性以及降低了特征维度。本发明与现有技术相比，具有分类准确率高、特征向量冗余性低、图像提取特征信息丰富等优点，可用于现勘图像的分类。

Description

基于特征融合的现勘图像分类方法

技术领域

本发明属于图像处理技术领域，具体涉及到现勘图像的分类方法。

背景技术

随着公安现场勘验采集设备的改进，犯罪案件的类型不断增加，尤其在案件侦破、串并案分析与法庭取证时，缺乏快速而有效的自动化处理技术。如何按照刑侦人员对现勘图像的理解由计算机完成自动分类、缩小侦查范围、帮助刑侦人员提高工作效率，是刑侦领域中一项非常具有挑战性的工作。由于现勘图像具有较强的行业性、保密性，缺乏大型公开的数据集，给图像分类带来较大难度。

现勘图像的应用场景较为特殊，现勘图像自身具有目标物体背景复杂，甚至有些无法确定目标物体，给图像特征提取带来很大难度。

目前现勘图像分类主要基于低层特征提取和深层特征提取的分类方法，低层特征提取方法是采用颜色、纹理、形状或者它们的组合特征等信息来表征图像的内容。由于低层特征提取未能充分表示现勘图像内容特点，并且分类准确率较低。卷积神经网络模型能够通过逐层提取的方式，高效并自主化的提取出图像的深层特征,并很好地解决了低层特征与高层语义之间的鸿沟问题。

在现勘图像的检索与分类方法中，卷积神经网络的应用和创新研究并不多，现有技术有：传统的卷积神经网络应用在现勘图像中；使用传统特征与卷积神经网络特征相融合(例如：将颜色特征、小波特征与卷积神经网络特征加权融合)。上述现勘图像的检索与分类方法所存在的主要技术问题是提取现勘图像内容信息的单一性和特征向量的冗余性问题，导致现勘图像分类效果不是很满意。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种分类速度快、分类准确的基于特征融合的现勘图像分类方法。

解决上述技术所采用的技术方案是由下述步骤组成：

(1)构建卷积神经网络

1)图像预处理

从现勘图像数据集中选取4000～8480张训练样本图像和1000～2120张测试样本图像进行大小归一化至像素为256×256或者224×224。

2)设定卷积神经网络的初始结构

输入层是训练样本图像，输入层后连接含有96个大小为109×109的卷积核的第一卷积层，第一卷积层后连接第一池化层，第一池化层后连接局部响应归一化层，局部响应归一化层后连接含有256个大小为33×33的卷积核的第二卷积层，第二卷积层后连接第二池化层，第二池化层后连接3个首尾连接含有512个大小为17×17的卷积核的第三巻积层、第四巻积层、第五巻积层，第五巻积层后连接第三池化层，第三池化层后连接4096个特征图的第一全连接层，第一全连接层后连接第二全连接层，第二全连接层后连接输出层。

3)引入激励函数

在每个卷积层后引入激活函数ReLu为：

其中x前是一层的输出、为有限的正整数。

4)局部响应归一化

按式(2)确定局部响应归一化：

其中，a_i,j,k为归一化前第k个特征图在位置(i,j)池化后的输出，N为特征图的数目，n为有限的正整数，0≤α≤1、0≤β≤1。

5)池化方法

对每一个池化层用最大池化方法按式(3)进行池化:

p(x_i)＝max{|x₁|,|x₂|,...,|x_m|} (3)

其中，x_i为特征向量，1≤i≤m，经过池化后，特征图变为原来特征图的1/3×1/3。

(2)特征提取

1)用上述卷积神经网络在ImageNet数据集上进行训练，得到预训练模型。

2)将预训练模型迁移到现场勘验图像数据集上进行训练，得到卷积神经网络模型。

3)提取卷积神经网络模型的第三池化层作为卷积层特征。

4)提取卷积神经网络模型的第二全连接层作为全连接层特征。

5)将卷积层特征与全连接层特征进行融合，得到图像特征。

(3)特征选择

1)确定拉普拉斯分值

按式(4)确定第r个拉普拉斯分值L_r：

式中Var(fr)为第r个特征的方差，确定每个特征的拉普拉斯得分，并从低到高进行特征的重新排序，f_r表示对各个特征进行均值化处理结果，按式(5)确定：

其中，f_ri为第i个样本的第r个特征(i＝1,2,...,m)，f_r为f_ri的集合f_r＝(f_r1,f_r2,...,f_rm)T，I为m维的单位矢量，D为对角阵，矩阵L为拉普拉斯矩阵；

D＝diag(SI) (6)

L＝D-S (7)

其中，S为样本之间的权重矩阵，S如下：

式中，x_i和x_j分别为第i,j(1≤i,j≤m)个样本点，E是样本与样本之间的邻近关系、为(x_i,y_j)。

2)K-means图像标签聚类

用欧氏距离方法对排序后的特征进行K-means聚类，将聚类结果映射的聚类图像标签作为互信息中的一个输入。

3)统计图像标签的互信息

按式(9)统计标签的互信息：

其中，p(x_iy_j)是图像标签与聚类后的图像标签的联合概率密度，p(x_i)和p(y_j)分别是图像标签和聚类后图像标签概率，MI(x,y)是互信息值、取值范围为[0,1]，输出选择后特征。

(4)训练分类器

用支持向量机分类器将选择后特征的训练样本数据映射到高维特征空间，找到最佳超平面，将一个类的所有数据点与另一个类分开，通过跟踪映射样本内核空间中的最大边缘超平面分离不同类的样本，选取每个类中80％的图像用作训练样本，20％的图像用作测试样本，完成分类器的训练。

(5)测试方法

将测试样本输入到卷积神经网络进行特征提取，进行特征选择，将选择后的特征输入分类器中进行测试，输出测试样本的分类准确率。

在本发明的构建卷积神经网络方法步骤(1)的局部响应归一化步骤4)中，所述的n为最佳5、α最佳为0.001、β最佳为0.75。

在本发明的特征提取步骤(2)的步骤5)中，所述的将卷积层特征与全连接层特征进行融合为首尾串联融合。

本发明采用了ReLu激活函数、局部响应归一化、两种卷积神经网络特征融合和特征选择方法来构建卷积神经网络结构，通过卷积层特征与全连接层特征进行融合丰富了图像的信息，并通过结合拉普拉斯分值和互信息值的方法降低了特征的冗余性以及降低了特征维度。本发明与现有技术相比，具有分类准确率高、特征向量冗余性低、图像提取特征信息丰富等优点，对现勘图像平均分类准确率在90.52％以上，适用于现勘图像的分类。

附图说明

图1是本发明的流程图。

图2是卷积神经网络的初始结构示意图。

图3是现勘图像数据库示例图。

具体实施方式

下面结合附图和实例对本发明进行进一步详细说明，但本发明不限于下述的实施例。

实施例1

本实施例的图像来自申请人的现勘图像数据库9600幅图像，共12个类别，分别是生物证据a、血迹b、车辆c、门d、指纹e、现场平面图f、鞋印g、皮肤h、纹身i、犯罪工具j、窗户k、轮胎花纹l。数据集中的7680张图像作为训练集，1920张图像作测试集，且训练集与测试集不重叠。

在图1、2、3中，本实施例的基于特征融合的现勘图像分类方法由以下步骤组成：

(1)构建卷积神经网络

1)图像预处理

从现勘图像数据集中选取7680张训练样本图像和1920张测试样本图像进行大小归一化至像素为256×256。

2)设定卷积神经网络的初始结构

输入层1是训练样本图像，输入层1后连接含有96个大小为109×109的卷积核的第一卷积层2，第一卷积层2后连接第一池化层3，第一池化层3后连接局部响应归一化层4，局部响应归一化层4后连接含有256个大小为33×33的卷积核的第二卷积层5，第二卷积层5后连接第二池化层6，第二池化层6后连接3个首尾连接含有512个大小为17×17的卷积核的第三巻积层7、第四巻积层8、第五巻积层9，第五巻积层9后连接第三池化层10，第三池化层10后连接4096个特征图的第一全连接层11，第一全连接层11后连接第二全连接层12，第二全连接层12后连接输出层13。

3)引入激励函数

在每个卷积层后引入激活函数ReLu为：

其中x前是一层的输出、为有限的正整数。

4)局部响应归一化

按式(2)确定局部响应归一化：

其中，a_i,j,k为归一化前第k个特征图在位置(i,j)池化后的输出，N为特征图的数目，n为有限的正整数，0≤α≤1、0≤β≤1，实施例选取n为5，α为0.001，β为0.75。

5)池化方法

对每一个池化层用最大池化方法按式(3)进行池化：

p(x_i)＝max{|x₁|,|x₂|,...,|x_m|} (3)

其中，x_i为特征向量，1≤i≤m，经过池化后，特征图变为原来特征图的1/3×1/3。

(2)特征提取

1)用上述卷积神经网络在ImageNet数据集上进行训练，得到预训练模型。

2)将预训练模型迁移到现场勘验图像数据集上进行训练，得到卷积神经网络模型。

3)提取卷积神经网络模型的第三池化层10作为卷积层特征。

4)提取卷积神经网络模型的第二全连接层12作为全连接层特征。

5)将卷积层特征与全连接层特征进行融合，得到图像特征。

(3)特征选择

1)确定拉普拉斯分值

按式(4)确定第r个拉普拉斯分值L_r：

式中Var(f_r)为第r个特征的方差，当S_ij越大，(f_ri-f_rj)²越小时，表明样本在该特征上相似性越高。计算每个特征的拉普拉斯得分，确定每个特征的拉普拉斯得分，并从低到高进行特征的重新排序，得分越低的特征就说明该特征的重要性越高，f_r表示对各个特征进行均值化处理结果，按式(5)确定：

其中，f_ri为第i个样本的第r个特征(i＝1,2,...,m)，f_r为f_ri的集合f_r＝(f_r1,f_r2,...,f_rm)^T，I为m维的单位矢量，D为对角阵，矩阵L为拉普拉斯矩阵；

D＝diag(SI) (6)

L＝D-S (7)

其中，S为样本之间的权重矩阵，S如下：

式中，x_i和x_j分别为第i,j(1≤i,j≤m)个样本点，E是样本与样本之间的邻近关系、为(x_i,y_j)。

2)K-means图像标签聚类

用欧氏距离方法对排序后的特征进行K-means聚类，将聚类结果映射的聚类图像标签作为互信息中的一个输入。

3)统计图像标签的互信息

按式(9)统计标签的互信息：

其中，p(x_iy_j)是图像标签与聚类后的图像标签的联合概率密度，p(x_i)和p(y_j)分别是图像标签和聚类后图像标签概率，MI(x,y)是互信息值、取值范围为[0,1]，互信息值越接近于1，则相关性越高，输出选择后特征。

(4)训练分类器

用支持向量机分类器将选择后特征的训练样本数据映射到高维特征空间，找到最佳超平面，将一个类的所有数据点与另一个类分开，通过跟踪映射样本内核空间中的最大边缘超平面分离不同类的样本，选取每个类中80％的图像用作训练样本，20％的图像用作测试样本，完成分类器的训练。

(5)测试方法

将测试样本输入到卷积神经网络进行特征提取，进行特征选择，将选择后的特征输入分类器中进行测试，输出测试样本的分类准确率，完成现勘图像分类。

实施例2

本实施例的图像来自申请人的现勘图像数据库5000幅图像，共12个类别，分别是生物证据a、血迹b、车辆c、门d、指纹e、现场平面图f、鞋印g、皮肤h、纹身i、犯罪工具j、窗户k、轮胎花纹l。数据集中的4000张图像作为训练集，1000张图像作测试集，且训练集与测试集不重叠。

本实施例的基于特征融合的现勘图像分类方法由以下步骤组成：

(1)构建卷积神经网络

1)图像预处理

从现勘图像数据集中选取4000张训练样本图像和1000张测试样本图像进行大小归一化至像素为256×256。

2)设定卷积神经网络的初始结构

该步骤与实施例1相同。

3)引入激励函数

该步骤与实施例1相同。

4)局部响应归一化

按式(2)确定局部响应归一化：

其中，a_i,j,k为归一化前第k个特征图在位置(i,j)池化后的输出，N为特征图的数目，n为有限的正整数，0≤α≤1、0≤β≤1，实施例选取n为2，α为0.5，β为0。

(2)特征提取

该步骤与实施例1相同。

其它步骤与实施例1相同。完成现勘图像分类。

实施例3

本实施例的图像来自申请人的现勘图像数据库10600幅图像，共12个类别，分别是生物证据a、血迹b、车辆c、门d、指纹e、现场平面图f、鞋印g、皮肤h、纹身i、犯罪工具j、窗户k、轮胎花纹l。数据集中的8480张图像作为训练集，2120张图像作测试集，且训练集与测试集不重叠。

本实施例的基于特征融合的现勘图像分类方法由以下步骤组成：

(1)构建卷积神经网络

1)图像预处理

从现勘图像数据集中选取8480张训练样本图像和2120张测试样本图像进行大小归一化至像素为256×256。

2)设定卷积神经网络的初始结构

该步骤与实施例1相同。

3)引入激励函数

该步骤与实施例1相同。

4)局部响应归一化

按式(2)确定局部响应归一化：

其中，a_i,j,k为归一化前第k个特征图在位置(i,j)池化后的输出，N为特征图的数目，n为有限的正整数，0≤α≤1、0≤β≤1，实施例选取n为10，α为1，β为1。

(2)特征提取

该步骤与实施例1相同。

其它步骤与实施例1相同。完成现勘图像分类。

实施例4

在以上的实施例1-3中，图像来自申请人的现勘图像数据库的图像幅数与相应的实施例相同，共12个类别，分别是生物证据、血迹、车辆、门、指纹、现场平面图、鞋印、皮肤、纹身、犯罪工具、窗户、轮胎花纹。数据集中的训练集和测试集中的图像数与相应的实施例相同。

在构建卷积神经网络步骤(1)的图像预处理步骤1)中，从现勘图像数据集中选取训练样本图像和测试样本图像进行大小归一化至像素为224×224，该步骤与实施例1相同。其它步骤与实施例1相同。完成现勘图像分类。

为了验证本发明的有益效果，发明人采用本发明实施例1-3的方法进行了实验，实验情况如下：图像来自申请人的现勘图像数据库的图像幅数与相应的实施例相同，共12个类别，如图3所示，分别是生物证据a、血迹b、车辆c、门d、指纹e、现场平面图f、鞋印g、皮肤h、纹身i、犯罪工具j、窗户k、轮胎花纹l。现勘图像数据库的图像幅数如表1所示。

表1实施例1-3现勘图像数据库的图像幅数

数据集中的训练集和测试集中的图像数与相应的实施例相同。采用实施例1、实施例2、实施例3分别对所取图像进行分类，分类完成后按下式进行统计准确率Accuracy、平均准确率AA：

上式中T为准确分类样本个数，N为总样本个数。当Accuracy值越高，分类的效果越好。

统计结果见表2。

表2实施例1-3的现勘图像平均分类准确率

	实施例1	实施例2	实施例3
				平均分类准确率	93.67％	91.86％	90.52％

由表2可见，本发明对现勘图像平均分类准确率在90.52％以上。

Claims (3)

1.一种基于特征融合的现勘图像分类方法，其特征在于由下述步骤组成：

(1)构建卷积神经网络

1)图像预处理

从现勘图像数据集中选取4000～8480张训练样本图像和1000～2120张测试样本图像进行大小归一化至像素为256×256或者224×224；

2)设定卷积神经网络的初始结构

输入层(1)是训练样本图像，输入层(1)后连接含有96个大小为109×109的卷积核的第一卷积层(2)，第一卷积层(2)后连接第一池化层(3)，第一池化层(3)后连接局部响应归一化层(4)，局部响应归一化层(4)后连接含有256个大小为33×33的卷积核的第二卷积层(5)，第二卷积层(5)后连接第二池化层(6)，第二池化层(6)后连接3个首尾连接含有512个大小为17×17的卷积核的第三巻积层(7)、第四巻积层(8)、第五巻积层(9)，第五巻积层(9)后连接第三池化层(10)，第三池化层(10)后连接4096个特征图的第一全连接层(11)，第一全连接层(11)后连接第二全连接层(12)，第二全连接层(12)后连接输出层(13)；

3)引入激励函数

在每个卷积层后引入激活函数ReLu为：

其中x是前一层的输出，x为有限的正整数；

4)局部响应归一化

按式(2)确定局部响应归一化：

其中，a_i,j,k为归一化前第k个特征图在位置(i,j)池化后的输出，N为特征图的数目，n为有限的正整数，0≤α≤1、0≤β≤1；

5)池化方法

对每一个池化层用最大池化方法按式(3)进行池化:

p(x_i)＝max{|x₁|,|x₂|,...,|x_m|} (3)

其中，x_i为特征向量，1≤i≤m，经过池化后，特征图变为原来特征图的1/3×1/3；

(2)特征提取

1)用上述卷积神经网络在ImageNet数据集上进行训练，得到预训练模型；

2)将预训练模型迁移到现场勘验图像数据集上进行训练，得到卷积神经网络模型；

3)提取卷积神经网络模型的第三池化层(10)作为卷积层特征；

4)提取卷积神经网络模型的第二全连接层(12)作为全连接层特征；

5)将卷积层特征与全连接层特征进行融合，得到图像特征；

(3)特征选择

1)确定拉普拉斯分值

按式(4)确定第r个拉普拉斯分值L_r：

式中Var(f_r)为第r个特征的方差，确定每个特征的拉普拉斯得分，并从低到高进行特征的重新排序，

表示对各个特征进行均值化处理结果，按式(5)确定：

其中，f_ri为第i个样本的第r个特征(i＝1,2,...,m)，f_r为f_ri的集合f_r＝(f_r1,f_r2,...,f_rm)^T，I为m维的单位矢量，D为对角阵，矩阵L为拉普拉斯矩阵；

D＝diag(SI) (6)

L＝D-S (7)

其中，S为样本之间的权重矩阵，S如下：

式中，x_i和x_j分别为第i,j(1≤i,j≤m)个样本点，E是样本与样本之间的邻近关系，E为(xi,xj)；

2)K-means图像标签聚类

用欧氏距离方法对排序后的特征进行K-means聚类，将聚类结果映射的聚类图像标签作为互信息中的一个输入；

3)统计图像标签的互信息

按式(9)统计标签的互信息：

其中，p(x_iy_j)是图像标签与聚类后的图像标签的联合概率密度，p(x_i)和p(y_j)分别是图像标签和聚类后图像标签概率，MI(x,y)是互信息值、取值范围为[0,1]，作为输出选择后特征；

(4)训练分类器

用支持向量机分类器将选择后特征的训练样本数据映射到高维特征空间，找到最佳超平面，将一个类的所有数据点与另一个类分开，通过跟踪映射样本内核空间中的最大边缘超平面分离不同类的样本，选取每个类中80％的图像用作训练样本，20％的图像用作测试样本，完成分类器的训练；

(5)测试方法

将测试样本输入到卷积神经网络进行特征提取，进行特征选择，将选择后的特征输入分类器中进行测试，输出测试样本的分类准确率。

2.根据权利要求1所述的基于特征融合的现勘图像分类方法，其特征在于：在构建卷积神经网络方法步骤(1)的局部响应归一化步骤4)中，所述的n为5、α为0.001、β为0.75。

3.根据权利要求1所述的基于特征融合的现勘图像分类方法，其特征在于：在特征提取步骤(2)的步骤5)中，所述的将卷积层特征与全连接层特征进行融合为首尾串联融合。

Images