一种基于特征融合和款式分类的服装图像检索方法和系统
技术领域
本发明属于图像处理技术领域,更具体地,涉及一种基于特征融合和款式分类的服装图像检索方法和系统。
背景技术
当今社会,网上购物已成为消费者活动的主要手段。网络零售近几年一直呈现快速的增长姿态,据统计2018年的网络零售额就已达到九万亿元规模。作为“衣食住行”的头一位,衣一直备受人们关注。服装类产品作为需求量最大、更新速度最快的网络零售商品之一,如何快速有效地检索服装,已成为各大电商平台关注的重要技术。
传统的服装图像检索方法一般是基于文本关键字检索实现的,该方法需要依据图像的标签匹配来实现,事先需要大量的标签标注时间,且服装的文本描述受人的主观因素的影响较大。基于内容的服装图像检索方法能够克服基于文本方法的上述不足。现有的服装图像检索方法,大多不能有效的去除服装图像的背景,容易受背景的干扰;采用单一的全局特征,对服装的柔性形变、拍摄角度和摆放姿势等变化敏感,造成检索性能较低的问题。同时,大部分现有的服装图像检索方法,在查询的时候,针对的是整个查询库,没有进行预筛选来缩小检索范围,使得检索效率较低,尤其面对大型的查询库的时候。
由此可见,现有技术存在容易受背景干扰、检索性能较低、检索效率较低的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于特征融合和款式分类的服装图像检索方法和系统,由此解决现有技术存在容易受背景干扰、检索性能较低、检索效率较低的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于特征融合和款式分类的服装图像检索方法,包括如下步骤:
(1)在待查询服装图像中提取全局特征和局部特征后进行特征融合,得到待查询服装图像的特征描述子,利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率;
(2)对于概率较大的前N个款式类别,计算待查询服装图像的特征描述子与该N个款式类别对应的查询库中服装图像的特征描述子之间的相似度值,将相似度值较大的前K个查询库中服装图像作为检索结果。
进一步地,步骤(1)包括:
在待查询服装图像中提取感兴趣服装区域;
在感兴趣服装区域中提取全局特征和局部特征,对全局特征和局部特征进行通道约束的特征融合,得到待查询服装图像的特征描述子;
利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率。
进一步地,通道约束的特征融合的具体实现方式为:
在全局特征和局部特征进行线性融合时,全局特征和局部特征对应的所有通道的特征图的权值相等。
进一步地,概率预测网络的训练包括:
在样本查询库中提取样本感兴趣服装区域,在样本感兴趣服装区域中标注关键点坐标和款式类别;
将标注后的样本感兴趣服装区域作为深度神经网络的输入,将样本感兴趣服装区域的特征描述子和样本感兴趣服装区域属于各个款式类别的概率作为深度神经网络的输出,以损失函数最小为目标训练深度神经网络,得到概率预测网络。
进一步地,损失函数包括第一损失函数和第二损失函数,
所述第一损失函数为样本查询库中相似图像的特征描述子之间的距离与不相似图像的特征描述子之间的距离的差;
所述第二损失函数为预测图像所属款式类别的softmax损失函数;
所述相似图像为样本查询库中款式相同的图像,所述不相似图像为样本查询库中款式不相同的图像。
按照本发明的另一方面,提供了一种基于特征融合和款式分类的服装图像检索系统,包括如下模块:
预处理模块,用于在待查询服装图像中提取全局特征和局部特征后进行特征融合,得到待查询服装图像的特征描述子,利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率;
查询模块,用于对于概率较大的前N个款式类别,计算待查询服装图像的特征描述子与查询库中该N个款式类别对应的服装图像的特征描述子之间的相似度值,将相似度值较大的前K个查询库中服装图像作为检索结果。
进一步地,预处理模块包括如下子模块:
提取感兴趣服装区域子模块,用于在待查询服装图像中提取感兴趣服装区域;
特征融合子模块,用于在感兴趣服装区域中提取全局特征和局部特征,对全局特征和局部特征进行通道约束的特征融合,得到待查询服装图像的特征描述子;
概率预测子模块,用于利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明首先提取和融合感兴趣服装区域的全局特征和局部特征,得到对服装的柔性形变、拍摄角度和摆放姿势等变化具有较强的鲁棒性的特征描述子,从而能提高服装检索的性能;同时,款式分类任务能够进行预筛选,进而获得更高的检索效率。由此解决现有技术存在容易受背景干扰、检索性能较低、检索效率较低的技术问题。
(2)本发明对感兴趣服装区域的全局特征和局部特征进行通道约束的融合,能够得到比无通道约束的融合方法更好的特征描述子,能够更好地应对服装的柔性形变、拍摄角度和摆放姿势的变化。
(3)本发明引入服装款式分类,一则可以协助提取更好的特征描述子,二则服装款式分类的结果可以用于查询过程的预筛选,从而提高服装查询的效率。
附图说明
图1是本发明实施例提供的一种基于特征融合和款式分类的服装图像检索方法的流程图;
图2是本发明实施例提供的深度神经网络结构示意图;
图3是本发明实施例提供的详细流程图;
图4(a)是本发明实施例1提供的待查询图;
图4(b)是本发明实施例1提供的排名第一的检测结果;
图4(c)是本发明实施例1提供的排名第二的检测结果;
图4(d)是本发明实施例1提供的排名第三的检测结果;
图4(e)是本发明实施例1提供的排名第四的检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,一种基于特征融合和款式分类的服装图像检索方法,包括如下步骤:
(1)在待查询服装图像中提取全局特征和局部特征后进行特征融合,得到待查询服装图像的特征描述子,利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率;
(2)对于概率较大的前N个款式类别,计算待查询服装图像的特征描述子与该N个款式类别对应的查询库中服装图像的特征描述子之间的相似度值,将相似度值较大的前K个查询库中服装图像作为检索结果。
如图2所示,概率预测网络的训练包括:
在样本查询库中提取样本感兴趣服装区域,在样本感兴趣服装区域中标注关键点坐标和款式类别;
将标注后的样本感兴趣服装区域作为深度神经网络的输入,将样本感兴趣服装区域的特征描述子和样本感兴趣服装区域属于各个款式类别的概率作为深度神经网络的输出,以损失函数最小为目标训练深度神经网络,得到概率预测网络。
进一步地,损失函数包括第一损失函数和第二损失函数,
所述第一损失函数为样本查询库中相似图像的特征描述子之间的距离与不相似图像的特征描述子之间的距离的差;
所述第二损失函数为预测图像所属款式类别的softmax损失函数;
所述相似图像为样本查询库中款式相同的图像,所述不相似图像为样本查询库中款式不相同的图像。
如图3所示,一种基于特征融合和款式分类的服装图像检索方法,具体包括如下步骤:
(1)采用基于多任务的深度神经网络对服装图像中的服装关键点进行定位,得到服装关键点的粗定位信息;
(2)根据服装关键点的粗定位信息,提取感兴趣服装区域;
(3)在感兴趣服装区域中提取全局特征和局部特征后进行特征融合,得到待查询服装图像的特征描述子,利用概率预测网络预测待查询服装图像属于查询库中各个款式类别的概率;
(4)对于概率较大的前N个款式类别,计算待查询服装图像的特征描述子与查询库中服装图像的特征描述子之间的相似度值,将相似度值较大的前K个查询库中服装图像作为检索结果。
所述基于多任务的深度神经网络通过同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务后得到。
所述基于多任务的深度神经网络的训练包括:
对样本服装图像集合中的每个样本服装图像,标注服装关键点的坐标、服装关键点的结构类型和服装关键点可视化类型,得到标注后的样本服装图像集合;
所述服装关键点的结构类型通过对服装关键点向量进行聚类后的聚类中心向量表示,将标注后的样本服装图像集合作为基于多任务的深度神经网络的输入,将服装关键点的预测坐标、服装关键点可视化类型的预测概率和服装关键点的预测坐标与聚类中心向量之间的距离作为基于多任务的深度神经网络的输出,以网络损失函数最小为目标同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务,得到训练好的基于多任务的深度神经网络。
所述服装关键点的结构类型包括服装款式、摆放方式和感兴趣服装区域的尺寸。所述服装关键点可视化类型包括可见、遮挡和不存在。
所述网络损失函数包括第一网络损失函数、第二网络损失函数和第三网络损失函数,
所述第一网络损失函数为服装关键点的坐标与服装关键点的预测坐标之间的欧式距离;
所述第二网络损失函数为用于预测服装关键点可视化类型的softmax损失函数;
所述第三网络损失函数为服装关键点的预测坐标组成的向量与聚类中心向量之间的欧式距离。
图4(a)是本发明实施例1提供的待查询图,图4(b)是本发明实施例1提供的排名第一的检测结果,图4(c)是本发明实施例1提供的排名第二的检测结果,图4(d)是本发明实施例1提供的排名第三的检测结果,图4(e)是本发明实施例1提供的排名第四的检测结果。由此可见看出本发明首先采用多任务的深度神经网络获得服装上关键点信息;接着根据关键点信息推理出感兴趣服装区域;最后利用另一引入款式分类任务的深度神经网络分别提取和融合感兴趣服装区域的全局特征和基于关键点的局部特征,得到服装图像的特征描述子和感兴趣服装区域属于各款式类别的概率。本发明能够更有效地提取和融合基于关键点的局部特征,得到对服装的柔性形变、拍摄角度和摆放姿势等变化具有较强的鲁棒性的特征描述子,从而能提高服装检索的性能;同时,款式分类任务能够进行预筛选,进而获得更高的检索效率。
在感兴趣服装区域提取阶段,根据关键点的定位坐标和结构类型来推理出感兴趣服装区域,能够避免采用常规目标检测算法提取的感兴趣服装区域容易丢失关键点的问题,为提取基于关键点的局部特征打下良好的基础,并且能更有效的去除背景,得到较干净的感兴趣服装区域。对感兴趣服装区域的全局特征和基于关键点的局部特征进行通道约束的融合,能够得到比无通道约束的融合方法更好的特征描述子,能够更好地应对服装的柔性形变、拍摄角度和摆放姿势的变化。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。