CN110705516B - 一种基于协同网络结构的鞋底花纹图像聚类方法 - Google Patents

Abstract

本发明提供了一种基于协同网络结构的鞋底花纹图像聚类方法，包括基于特征层差异损失连接有类别信息的鞋样或者嫌疑人鞋底花纹学习网络与现场鞋底花纹无监督聚类网络，通过不同属性的数据集做预训练，可以利用鞋样或者嫌疑人鞋底花纹海量数据有监督学习提供的特征子空间，来对现场鞋底花纹或者无标记的嫌疑人花纹特征聚类学习做制约，使得聚类过程有据可依。此外，本发明基于训练模型的先后顺序，给出了一种有监督、无监督网络协同训练的预训练策略，更有效地体现网络间的协同效果，提高鞋底花纹图像的聚类精度。

Description

一种基于协同网络结构的鞋底花纹图像聚类方法

技术领域

本发明涉及一种聚类方法，具体而言，尤其涉及一种基于协同网络结构的鞋底花纹图像聚类方法。

背景技术

目前鞋底花纹数据共分三类：

第一类为嫌疑人鞋底花纹数据，这些是通过专用采集设备获得的嫌疑人鞋底花纹图像，图像质量高，跟犯罪现场花纹呈现状态一致，但类别不足，数量无法保证；

第二类为鞋样花纹数据，这些数据是通过买鞋的网站下载，经过前处理分割所得，这些图像成像质量高，品种齐全，数量多，但并不是通过踩压产生，所以跟犯罪现场花纹状态相差很大，仅从视觉效果上有相似性；

第三类为现场花纹数据，这些数据是基于拍摄标准(法医公知)真实犯罪现场提取的鞋印图像，这些数据质量参差不齐，且类别、数量均无法保证，而往往在案件串并中，现场花纹数据的聚类分析是最重要的。

目前在鞋底花纹图像的聚类算法体系中，主要有以下两种：

1.基于多标签的模糊聚类算法，主要思路是：利用鞋底花纹图像的局部或者整体特征，进行鞋底花纹图像的相似度计算，根据花纹图像间的相似度进行单标签聚类，然后根据每类与鞋底花纹的相似性做类别间关联，从而达到多标签聚类的目的。参考文献见专利《一种鞋底花纹图像的多标签聚类方法》，专利号CN201710446061.4。

2.非模糊聚类算法，主要思路是：提取鞋底花纹图像的局部或者整体特征，利用每幅图特征间的距离，进行距离量化，从而得到多个有关联或者完全独立的聚类簇，从而完成鞋底花纹图像聚类。这里聚类的特征有：傅里叶梅林变换特征、基于Vgg或者AlexNet的训练网络提取特征、MSER特征等，聚类方法有：K-means、GMM(高斯混合模型聚类)、层次聚类方法等。

上述方法将聚类过程离散为特征学习与聚类，不利于聚类特征(无监督)的最优求解，且分离后的聚类特征通用性过于广泛，不能适用于任何聚类情况，造成聚类结果不理想。

先验聚类特征虽然可以对深度聚类做引导，但是要得到较好的结果，聚类特征仍需要有相关筛选条件，比如专利《一种鞋底花纹图像的特征弱相关聚类方法》所提的优秀样本筛选方法，或者依靠海量数据支持做学习训练。但是，花纹图像作为一种独特属性的图像，规模上是无法达到海量数据规模的，这限制了深度聚类方法在花纹图像聚类中的应用。聚类方法在近几年有了革命性的进展，主要体现在基于深度学习或者卷积神经网络聚类子空间的学习方向。然而，针对鞋底花纹图像而言，用深度聚类的思想解决鞋底花纹无监督学习问题，仍然没有引起重视。

发明内容

根据上述提出聚类特征求解不准确、聚类结果不理想的技术问题，而提供一种基于协同网络结构的鞋底花纹图像聚类方法。本发明基于迁移学习的原理，将深度聚类以数据本身为桥梁，连接鞋样、嫌疑人花纹库做有监督学习，将有监督学习的特征空间迁移到现场花纹的无监督学习过程，让深度聚类可以完全适配现场花纹数据量小的情况，将无监督学习与有监督学习协同地解决聚类问题，提高聚类准确性。

本发明采用的技术手段如下：

1、一种基于协同网络结构的鞋底花纹图像聚类方法，其特征在于，包括：

S1、鞋底花纹深度分类网络设计：定义针对鞋底花纹相关数据库有区分能力的有监督分类网络，所述有监督分类网络的输入层级的长宽比大于2，分类损失模型为同类内的花纹图像特征相关性；

S2、鞋底花纹深度自编码网络结构设计：定义针对鞋底花纹图像的无监督聚类网络，所述无监督聚类网络的输入、输出层级输入图像的长宽比大于2，且整体编码损失模型为编码前后的花纹图像特征相似性；

S3、鞋底花纹特征表达结构设计：定义针对花纹图像的编码层级变换特征为经过傅里叶变换后的特征，定义特征层级的分布统计模型，所述分布统计模型为均值和/或方差；

S4、鞋底花纹特征空间差异模型设计：定义连接层差异模型为变换特征层级统计预测值差异；

S5、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作，然后通过插值算法做基于输入结构参数的尺寸适配；

S6、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，对所述无监督聚类数据集中的花纹数据进行鞋印的自动分割，最大限度剔除背景信息；

S7、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行分步骤训练；

S8、训练结束后聚类的结果即为最终聚类结果。

较现有技术相比，本发明具有以下优点：

1、本发明依据有标签的海量数据集进行聚类、分类网络学习，可以提供主观可控的分类子空间，为聚类提供准确的空间定义，提高聚类精度；

2、本发明采用表达特征维度分布的统计量来连接自编码网络与分类网络，使有监督学习与无监督学习可以协同进行，使聚类过程能够在有监督参考的条件下做优化，让整体聚类结果更加合理；

3、本发明提供了一种端对端的深度聚类学习构架，没有任何数据集层级的学习成本以及特征选择与优化成本；

4、本发明在训练过程中，提出了交替训练的策略，可以根据实际需求控制收敛阶段，让整体聚类的结果、效率具有可控性。

综上，应用本发明的技术方案将深度聚类以数据本身为桥梁，连接有监督学习与无监督学习，让深度聚类可以完全适配数据量小的情况，提高聚类准确性。

基于上述理由本发明可在鞋底花纹聚类技术领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图。

图2是本发明的协同网络结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-2所示，本发明公开了一种基于协同网络结构的鞋底花纹图像聚类方法共包括两个网络：有监督分类网络与无监督编码网络，一个连接结构：特征分布结构，四个损失模型：分类损失模型、聚类损失模型、特征分布差异模型、自编码差异模型。

S1、鞋底花纹深度分类网络设计：定义针对鞋底花纹相关数据库有区分能力的有监督分类网络，所述有监督分类网络的输入层级的长宽比大于2，。一般地，鞋底花纹分类类别按小类别可以分为9000类左右，假定选择有监督网络为AlexNet(Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neuralnetworks.International Conference on Neural Information ProcessingSystems.Curran Associates Inc.2012:1097-1105)，分类损失模型为同类内的花纹图像特征相关性，花纹图像特征可以为傅里叶梅林变换特征，相似性可以根据离散余弦距离模型计算，具体方法可以参考申请号为201410157728.5、名称为《现场鞋底痕迹花纹图像检索方法》的发明专利；

S2、鞋底花纹深度自编码网络结构设计：定义针对鞋底花纹图像的无监督聚类网络，所述无监督聚类网络的输入、输出层级输入图像的长宽比大于2，作为本发明较佳的实施方式，本实施例中优选输入、输出层级输入的尺寸为672*224，长宽比为3，整体网络结构优选AAE(Adversarial AutoEncoder)或VAE为主要架构，整体编码损失模型为编码前后的花纹图像特征相似性，花纹图像特征可以为傅里叶梅林变换特征，相似性可以根据离散余弦距离模型计算，具体方法亦可参考发明专利《现场鞋底痕迹花纹图像检索方法》；

S3、鞋底花纹特征表达结构设计：定义针对花纹图像的编码层级变换特征为经过傅里叶变换后的特征，定义特征层级的分布统计模型，所述分布统计模型为均值和/或方差，如图1-2所示的傅里叶变换层级；

S4、鞋底花纹特征空间差异模型设计：定义连接层差异模型为变换特征层级统计预测值差异，即通过卷积网络结构连接所述有监督分类网络与所述无监督聚类网络，具体包括：将分类特征、编码特征层级做傅里叶变换，将变换后的特征层级数据做统计预测值差估计，将差异的估计值作为连接层差异模型连接所述有监督分类网络与无监督聚类网络，并通过调整所述特征层网络参量来降低差异从而实现网络协同调整。所述差异模型可以是KL散度模型。

S5、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作，优势样本剔除操作包括：统计任意两幅图的相关性高于阈值的优势样本组，从所述优势样本组中剔除其中一幅图像，优选剔除相关性较高(大于0.98)的花纹图，保证训练过程拟合程度适中，然后通过插值算法做基于输入结构参数的尺寸适配，优选使用双三次插值方法。

S6、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，未标记的花纹数据需要进行一次鞋印的自动分割，针对成像条件较好的嫌疑人鞋底花纹图，分割的方法可以是基于大津法，针对成像条件复杂的现场花纹图像，分割的方法可以是基于pixel-pixel的自动分割方法(Image-to-Image Translation withConditional Adversarial Network)，最大限度剔除背景信息，对提取花纹图像统一做尺寸归一，以适配编码网络输入尺寸，所述尺寸归一采用插值方法。

S7、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行特殊策略的分步骤训练，由于训练过程是通过不同的损失模型通过反馈残差的方式进行的，所以，本方案整体的损失量＝自编码误差+分类误差+无监督聚类误差+连接层特征差异，因而采用不同阶段通过设定不同损失的权重，以控制其训练过程的特殊策略，具体步骤是：

a)开始进行有监督预训练：有监督网络下的有监督数据集训练，整体的损失量＝分类误差，训练结果识别率保证Δ％(Δ∈[90,99])以上，进行b)，若始终达不到Δ％，进行S1步骤，更换网络结构或者调整损失模型，然后执行S7-a)；

b)开启无监督预训练：无监督网络下的有标记鞋样或者嫌疑人花纹数据自编码训练，整体的损失量＝自编码误差，损失保证每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，结束训练；

c)开启连接层预训练：在该步骤开始之前，有监督分类网络与无监督编码网络是可以独立训练的，并没有模型上的关联，但在损失模型中加入有监督网络与无监督网络的连接差异损失信息反馈后，整体的损失量＝自编码误差+分类误差+连接层特征差异，降低连接差异损失，直至每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，结束训练；

d)导入无标签的鞋底花纹聚类数据集，整体损失模型加入聚类损失评估模型，整体的损失量＝自编码误差+分类误差+无监督聚类误差+连接层特征差异，在有监督数据集训练收敛的条件下，对无监督聚类数据集进行基于聚类模型的自编码调整，聚类模型损失保证每次迭代变化量不超过上一次迭代损失量的δ％，δ∈[0.01,1]，整体训练结束。

S8、训练结束后聚类的结果即为最终聚类结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于协同网络结构的鞋底花纹图像聚类方法，其特征在于，包括：

S1、鞋底花纹深度分类网络设计：定义针对鞋底花纹相关数据库有区分能力的有监督分类网络，所述有监督分类网络的输入层级的长宽比大于2，分类损失模型为同类内的花纹图像特征相关性；

S2、鞋底花纹深度自编码网络结构设计：定义针对鞋底花纹图像的无监督聚类网络，所述无监督聚类网络的输入、输出层级输入图像的长宽比大于2，整体编码损失模型为编码前后的花纹图像特征相似性；

S3、鞋底花纹特征表达结构设计：定义针对花纹图像的编码层级变换特征为经过傅里叶变换后的特征，定义特征层级的分布统计模型，所述分布统计模型为均值和/或方差；

S4、鞋底花纹特征空间差异模型设计：定义连接层差异模型为变换特征层级统计预测值差异；

S5、有监督鞋底花纹数据整理：整理含有类别信息的鞋底花纹库，准备有监督学习数据集，所述有监督学习数据集为已经标记好属性的鞋样花纹数据集，对库内花纹间的相关性做统计，并根据相关性统计结果执行优势样本剔除操作，然后通过插值算法做基于输入结构参数的尺寸适配；

S6、无监督鞋底花纹数据整理：准备无监督聚类数据集，所述无监督聚类数据集为经过前处理的现场花纹图像数据集或者未标记的嫌疑人花纹数据集，为了保证训练过程对背景的鲁棒性，对所述无监督聚类数据集中的花纹数据进行鞋印的自动分割，最大限度剔除背景信息；

S7、利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行特殊策略的分步骤训练；

S8、训练结束后聚类的结果即为最终聚类结果。

2.根据权利要求1所述的鞋底花纹图像聚类方法，其特征在于，步骤S4中所述定义连接层差异模型为变换特征层级统计预测值差异，即通过卷积网络结构连接所述有监督分类网络与所述无监督聚类网络，具体包括：将分类特征、编码特征层级做傅里叶变换，将变换后的特征层级数据做统计预测值差估计，将差异的估计值作为连接层差异模型连接所述有监督分类网络与无监督聚类网络，并通过调整所述特征层网络参量来降低差异从而实现网络协同调整。

3.根据权利要求1所述的鞋底花纹图像深度聚类方法，其特征在于，步骤S5中所述根据相关性统计结果执行优势样本剔除操作包括：统计任意两幅图的相关性高于阈值的优势样本组，从所述优势样本组中剔除其中一幅图像。

4.根据权利要求1所述的鞋底花纹图像深度聚类方法，其特征在于，S6中所述鞋印的自动分割主要包括通过经典分割方法或者基于GAN的Pixel-Pixel方法，剔除背景信息，并对提取花纹图像统一做尺寸归一，以适配编码网络输入尺寸，所述尺寸归一采用插值方法。

5.根据权利要求1所述的鞋底花纹图像聚类方法，其特征在于，所述S7利用所述有监督学习数据集和无监督聚类数据集对各网络模型进行训练包括：

a)有监督预训练：有监督网络下的有监督数据集训练，训练结果识别率达到要求则执行步骤b)，否则更改所述有监督网络结构重新训练；

b)无监督预训练：无监督网络下的有监督数据自编码训练，直至自编码损失变化达到要求则执行步骤c)；

c)连接层预训练：整体损失模型中，添加有监督网络与无监督网络的连接差异损失模型，利用损失反馈训练梯度变化，降低连接差异损失，直至每次迭代变化达到要求则执行步骤d)；

d)导入无监督聚类数据集，在整体训练模型中加入聚类损失评估模型，做梯度反馈，在有监督数据集训练收敛的条件下，对无监督聚类数据集进行基于聚类模型的自编码调整，使聚类模型损失达到要求则整体训练结束。

Images