CN110689092A - 一种基于数据导向的鞋底花纹图像深度聚类方法 - Google Patents

Abstract

本发明提供一种基于数据导向的鞋底花纹图像深度聚类方法，基于鞋底花纹图像无监督编码网络的自表达层，可以将自编码过程学习的鞋底花纹特征作为有类别信息的鞋样或者嫌疑人鞋底花纹特征训练，通过不同属性的鞋底花纹图像数据集做预训练，可以利用有监督网络对鞋底花纹特征子空间的定义方式来对没有标签的现场鞋底花纹或者嫌疑人鞋底花纹聚类过程做制约，从而让鞋底花纹的聚类过程有据可依。此外，本发明针对不同的花纹数据集，基于训练模型的先后顺序，给出了一种花纹图像特征子空间训练的预训练策略，更有效地体现有标签的鞋底花纹对无标签聚类训练过程的约束效果，提高聚类精度。这种聚类方法可以满足类别不均衡数据集的聚类、分类处理。

Description

一种基于数据导向的鞋底花纹图像深度聚类方法

技术领域

本发明涉及一种聚类方法，具体而言，尤其涉及一种基于数据导向的鞋底花纹图像深度聚类方法。

背景技术

目前在鞋底花纹图像的聚类算法体系中，主要有以下两种类型：

1.基于多标签的模糊聚类算法，主要思路是：利用鞋底花纹图像的局部或者整体特征，进行鞋底花纹图像的相似度计算，根据花纹图像间的相似度进行单标签聚类，然后根据每类与鞋底花纹的相似性做类别间关联，从而达到多标签聚类的目的。参考文献见专利《一种鞋底花纹图像的多标签聚类方法》，专利号CN201710446061.4。

2.非模糊聚类算法，主要思路是：提取鞋底花纹图像的局部或者整体特征，利用每幅图特征间的距离，进行距离量化，从而得到多个有关联或者完全独立的聚类簇，从而完成鞋底花纹图像聚类。这里聚类的特征有：傅里叶梅林变换特征、基于Vgg或者AlexNet的训练网络提取特征、MSER特征等，聚类方法有：K-means、GMM(高斯混合模型聚类)、层次聚类方法等。

现阶段的鞋底花纹数据共分三类：

1.嫌疑人鞋底花纹数据，这些是通过专用采集设备获得的嫌疑人鞋底花纹图像，图像质量高，跟犯罪现场花纹呈现状态一致，但类别不足，数量无法保证；

2.鞋样花纹数据，这些数据是通过买鞋的网站下载，经过前处理分割所得，这些图像成像质量高，品种齐全，数量多，但并不是通过踩压产生，所以跟犯罪现场花纹状态相差很大，仅从视觉效果上有相似性；

3.现场花纹数据，这些数据是基于拍摄标准(法医公知)真实犯罪现场提取的鞋印图像，这些数据质量参差不齐，且类别、数量均无法保证，而往往在案件串并中，现场花纹数据的聚类分析是最重要的。

因此将聚类过程离散为特征学习与聚类，不利于聚类花纹特征(无监督)的最优求解，且分离后的聚类花纹特征通用性过于广泛，容易造成嫌疑人、鞋样花纹无法适用于任何现场花纹聚类情况，造成聚类结果不理想。

先验聚类特征虽然可以对深度聚类做引导，但是要得到较好的结果，聚类特征仍需要有相关筛选条件，比如专利《一种鞋底花纹图像的特征弱相关聚类方法》所提的优秀样本筛选方法，或者依靠海量数据支持做学习训练。但是，作为一种很特殊的图像——犯罪现场的鞋底花纹图像，规模上是无法达到海量数据规模的，这限制了深度聚类方法在花纹图像聚类中的应用。聚类方法在近几年有了革命性的进展，主要体现在基于深度学习或者卷积神经网络聚类子空间的学习方向。然而，针对鞋底花纹图像而言，用深度聚类的思想解决鞋底花纹无监督学习问题，仍然没有引起重视，仅在专利《一种鞋底花纹图像的特征弱相关聚类方法》(公开号109145978A)中有所体现。通过有监督学习分类的方式可以用学习的特征，做现场花纹图像的聚类，来满足部分需求，但是当有监督学习的鞋样或者嫌疑人样本库中每类的样本分布不平均时，有监督的花纹分类过程结果会很不理想，有监督学习所得的特征空间聚类效果也会很差。

发明内容

根据上述提出鞋印花纹编码特征分类不适用以及数据集类别分布影响聚类效果的技术问题，而提供一种基于数据导向的鞋底花纹图像深度聚类方法。本发明基于迁移学习的原理，将深度聚类以多种鞋底花纹数据本身为桥梁，基于无监督编码网络或者生成网络，让鞋样、嫌疑人鞋底花纹编码特征可以适用于分类的同时，可以兼顾深度聚类，基于含有分类标记的鞋底花纹数据集训练，可以解决有监督数据集类别分布不均学习过程问题，比如鞋底花纹，将无监督花纹学习通过潜在的、基于其他类别花纹图像分类训练，可以利用数据集做导向，解决现场花纹的聚类问题，提高聚类准确性。

本发明采用的技术手段如下：

1、一种基于数据导向的鞋底花纹图像深度聚类方法，其特征在于，包括：

S1、鞋底花纹深度自编码网络结构设计：定义针对鞋底花纹图像的无监督自编码网络，所述无监督自编码网络的输入、输出层级输入图像长宽比大于2，所述自编码网络基于VAE或者AAE基本原理搭建，自编码损失模型是重构花纹图像与输入花纹图像的傅里叶变换特征相关性；

S2、鞋底花纹特征表达结构设计：定义针对鞋底花纹图像的自表达网络结构，对编码层输出进行编码特征转换以消除不规则几何变换的影响，然后利用卷积层或者全连接层对变换特征做降维，分别做有标记的嫌疑人或鞋样花纹分类、无标记的现场或者嫌疑人鞋底花纹聚类；

S3、基于样本中心相关性的聚类损失模型定义：定义针对鞋底花纹的聚类损失模型，以每类样本与类中心的相关性来描述聚类损失；

S4、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作然后通过插值算法做基于输入结构参数的尺寸适配；

S5、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，对所述无监督聚类数据集中的花纹数据进行一次鞋印的自动分割，最大限度剔除背景信息；

S6、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行特殊策略的分步骤训练；

S7、训练结束后聚类的结果即为最终聚类结果。

较现有技术相比，本发明具有以下优点：

1、本发明依据有标签的海量鞋样、嫌疑人鞋底花纹数据集进行聚类、分类网络学习，可以提供主观可控的分类子空间，为现场花纹聚类提供准确的空间定义，提高聚类精度；

2、本发明采用自表达网络与分类激活层来复用无监督过程中鞋样或者嫌疑人鞋底花纹所学的特征网络，使现场鞋底花纹图像聚类问题转换成有监督学习，或者说接受有监督鞋样数据的标签限制，使聚类过程能够在有监督参考的条件下做优化，让整体聚类结果更加合理；

3、本发明是一种针对鞋底花纹图像的端对端深度聚类学习构架，没有任何其他图像数据的学习成本，特征选择与优化成本；

4、本发明在训练过程中，提出了自编码条件下针对不同类型的鞋底花纹图像训练策略，可以根据实际需求控制收敛阶段，让整体聚类的结果、效率具有可控性。

基于上述理由本发明可在鞋底花纹聚类技术领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图。

图2是本发明的网络结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-2所示，本发明提供了一种基于数据导向的鞋底花纹图像深度聚类方法，主要包括一个针对鞋底花纹图像的无监督学习网络，这个网络包含一个适用于含类别标签的鞋底花纹图像自表达网络结构，一个花纹图像自编码学习损失模型，一个花纹图像聚类损失模型，整体方法实施过程如下：

S1、鞋底花纹深度自编码网络结构设计：定义无监督自编码网络，与传统聚类网络不同的地方在于，鞋底花纹图像的长宽比是大于2的，因此，输入、输出层级需要根据鞋底花纹的特点来做长宽调整，作为较佳的实施方式，优选规定输入大小长宽比为3，其他的编码网络结构，可以选用典型的自编码网络，比如Adversarial AutoEncoder(AAE，AdversarialAutoencoders,Alireza Makhzani and Jonathon Shlens and Navdeep Jaitly and IanGoodfellow)，自编码的损失模型要基于傅里叶梅林变换特征相似度来评估，具体方法可以参考申请号为201410157728.5、名称为《现场鞋底痕迹花纹图像检索方法》的发明专利。

S2、鞋底花纹特征表达结构设计：定义针对鞋底花纹图像的自表达网络结构，对编码层输出进行傅里叶梅林变换，消除不规则几何变换的影响，然后利用卷积层或者全连接层对变换特征做降维，如图2中的傅里叶变换层、全连接层所示，输出连接为分类激活层，代表执行的是分类学习过程分类损失模型为交叉信息熵模型；输出连接为聚类模型，则代表执行的是聚类学习过程。

S3、基于聚类中心相关性的聚类损失模型设计：定义针对鞋底花纹的聚类损失模型，以每类样本所有花纹的傅里叶梅林变换特征，与类中心特征的相关性来描述聚类损失，相关性的计算模型为离散余弦距离；

S4、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作，优势样本剔除操作包括：统计任意两幅图的相关性高于阈值的优势样本组，从所述优势样本组中剔除其中一幅图像，优选剔除相关性较高(大于0.98)的花纹图，保证训练过程拟合程度适中，然后通过插值算法做基于输入结构参数的尺寸适配，优选使用双三次插值方法。

S5、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，未标记的花纹数据需要进行一次鞋印的自动分割，针对成像条件较好的嫌疑人鞋底花纹图，分割的方法可以是基于大津法，针对成像条件复杂的现场花纹图像，分割的方法可以是基于pixel-pixel的自动分割方法(Image-to-Image Translation withConditional Adversarial Network)，最大限度剔除背景信息，对提取花纹图像统一做尺寸归一，以适配编码网络输入结构参数，所述尺寸归一采用插值方法。

S6、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行特殊策略的分步骤训练，由于训练过程是通过不同的损失模型通过反馈残差的方式进行的，所以，本方案整体的损失量＝自编码误差+分类误差+无监督聚类误差，因而采用不同阶段通过设定不同损失的权重，以控制其训练过程的特殊策略，具体步骤是：

a)有类别标签的鞋样和嫌疑人鞋底花纹数据无监督自编码训练：整体损失设定为自编码误差，对所有花纹图像均进行自编码训练，自编码损失保证每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，结束训练；

b)基于花纹编码特征层，整体的损失量＝自编码误差+分类误差，训练结果识别率保证Δ％(Δ∈[90,99])以上，进行c)，若始终达不到95％，进行S2步骤，更改网络结构或者深度，然后执行S6-b),直至识别率达到要求为止；

c)对含有数据标签的鞋底花纹数据做聚类训练：整体损失模型加入聚类损失评估模型，则整体的损失量＝自编码误差+分类误差+无监督聚类误差，在b)训练收敛的条件下，对鞋底花纹数据集进行基于聚类模型的自编码调整，聚类模型损失保证每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，整体训练结束；

d)现场鞋底花纹图像或者没有标签的嫌疑人鞋底花纹图像的聚类训练：导入没有类别标签的鞋底花纹数据集，整体损失模型加入聚类损失评估模型的情况下，在达到b)、c)的条件同时，对无监督聚类数据集进行基于聚类模型的自编码调整，聚类模型损失保证每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，整体训练结束。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于数据导向的鞋底花纹图像深度聚类方法，其特征在于，包括：

S1、鞋底花纹深度自编码网络结构设计：定义针对鞋底花纹图像的无监督自编码网络，所述无监督自编码网络的输入、输出层级输入图像长宽比大于2，所述自编码网络基于VAE或者AAE基本原理搭建，自编码损失模型是重构花纹图像与输入花纹图像的傅里叶变换特征相关性；

S2、鞋底花纹特征表达结构设计：定义针对鞋底花纹图像的自表达网络结构，对编码层输出进行编码特征转换以消除不规则几何变换的影响，然后利用卷积层或者全连接层对变换特征做降维，分别做有标记的嫌疑人或鞋样花纹分类、无标记的现场或者嫌疑人鞋底花纹聚类；

S3、基于样本中心相关性的聚类损失模型定义：定义针对鞋底花纹的聚类损失模型，以每类样本与类中心的相关性来描述聚类损失；

S4、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作然后通过插值算法做基于输入结构参数的尺寸适配；

S5、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，对所述无监督聚类数据集中的花纹数据进行一次鞋印的自动分割，最大限度剔除背景信息；

S6、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行特殊策略的分步骤训练；

S7、训练结束后聚类的结果即为最终聚类结果。

2.根据权利要求1所述的鞋底花纹图像深度聚类方法，其特征在于，S2中所述自表达网络结构中，自表达层通过傅里叶梅林变换来做编码特征转换，然后通过卷积或者全连接做分类或者聚类，且分类损失模型为交叉信息熵模型。

3.根据权利要求1所述的鞋底花纹图像深度聚类方法，其特征在于，S4中所述根据相关性统计结果执行优势样本剔除操作包括：统计任意两幅图的相关性高于阈值的优势样本组，从所述优势样本组中剔除其中一幅图像。

4.根据权利要求1所述的鞋底花纹图像深度聚类方法，其特征在于，S5中所述鞋印的自动分割主要包括通过经典分割方法或者基于GAN的Pixel-Pixel方法，剔除背景信息，并对提取花纹图像统一做尺寸归一，以适配编码网络输入尺寸，所述尺寸归一采用插值方法。

5.根据权利要求1或2所述的鞋底花纹图像深度聚类方法，其特征在于，所述S6利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行训练包括：

a)有监督学习数据集无监督自编码训练：对所有花纹图像均进行自编码训练，直至自编码损失达到要求则执行步骤b)；

b)基于花纹编码特征层，整体损失模型中，添加自表达层级和类别预测训练损失模型，直至训练识别率满足要求则执行步骤c)，否则更改所述自表达网络结构或者深度直至识别率满足要求为止；

c)对含有数据标签的鞋底花纹数据做聚类训练：整体损失模型中，添加聚类损失评估模型，在b)训练收敛的条件下，对鞋底花纹数据集进行基于聚类模型的自编码调整，使聚类模型损失满足要求则执行步骤d)；

d)现场鞋底花纹图像或者没有标签的嫌疑人鞋底花纹图像的聚类训练：导入无监督聚类数据集，整体损失模型中，添加聚类损失评估模型，对无监督聚类数据集进行基于聚类模型的自编码调整，直至聚类模型损失满足要求则整体训练结束。

Images