CN113469223A - 一种基于孪生网络和稠密网络的服装检索方法 - Google Patents

一种基于孪生网络和稠密网络的服装检索方法 Download PDF

Info

Publication number
CN113469223A
CN113469223A CN202110659233.2A CN202110659233A CN113469223A CN 113469223 A CN113469223 A CN 113469223A CN 202110659233 A CN202110659233 A CN 202110659233A CN 113469223 A CN113469223 A CN 113469223A
Authority
CN
China
Prior art keywords
network
feature vector
eigenvector
layer
retrieval method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110659233.2A
Other languages
English (en)
Inventor
徐菲菲
田宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Shanghai Electric Power University
University of Shanghai for Science and Technology
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN202110659233.2A priority Critical patent/CN113469223A/zh
Publication of CN113469223A publication Critical patent/CN113469223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于孪生网络和稠密网络的服装检索方法，属于人工智能领域。包括如下步骤：将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；以及步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，其中，步骤S2包括如下子步骤：步骤S2‑1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；步骤S2‑2，将拼接后的联合特征向量依次经过卷积层、全连接层，从而计算得到两张图片是否相似的结果。所以本发明的方法可以帮助用户快速定位心仪的服装款式、节约时间，提高了检索效率。

Description

一种基于孪生网络和稠密网络的服装检索方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于孪生网络和稠密网络的服装检索方法。
背景技术
在信息大爆炸的年代，互联网科技的发展，使人们过上了足不出户的生活。网络发展到现在，网上购物的便捷性与超低的价格和实体店形成了反差。随着电商的发展，像淘宝、京东、拼多多等一些平台逐渐影响着人们网上购物习惯。人们购物的第一反应，已经不是最近的超市，而是去电商平台搜索，寻找价廉物美的商品。琳琅满目的商品可能使消费者看花了眼，这时图片的检索系统就满足了这方面需求。像淘宝的应用中，如果搜索需要商品的关键字，就可以出现了相关一系列的商品。这是以文搜图的措施，也是基于文本的图像检索。同时也可以进行以图搜图，像拍立淘等功能，把想要的商品拍成图片传上去，就可以获得其相似的商品，这是基于内容的图像检索。
服装商品作为众多网上商品的主要部分，深受各个年龄阶段的人群喜爱。随着人们生活质量的提高，对于服装的审美也更加挑剔了。当用户看到心仪的服装时，如何才能在众多的服装商场找到他所喜欢的服装款式。故将图像检索技术应用到服装领域，这样不需要消耗大把的人工时间成本，并且能够快速的定位用户心仪的品牌款式。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于孪生网络和稠密网络的服装检索方法。
本发明提供了一种基于孪生网络和稠密网络的服装检索方法，具有这样的特征，包括如下步骤：步骤S1，将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；以及步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，其中，步骤S2包括如下子步骤：步骤S2-1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；步骤S2-2，将联合特征向量依次经过卷积层、全连接层，得到检索结果。
在本发明提供的基于孪生网络和稠密网络的服装检索方法中，还具有这样的特征：其中，步骤S2-1，多种运算包括和运算、乘积运算、差的绝对值运算及其平方运算。
在本发明提供的基于孪生网络和稠密网络的服装检索方法中，还具有这样的特征：其中，卷积层的数量为2个。
在本发明提供的基于孪生网络和稠密网络的服装检索方法中，还具有这样的特征：其中，全连接层具有1个神经元。
在本发明提供的基于孪生网络和稠密网络的服装检索方法中，还具有这样的特征：其中，卷积层的卷积公式如下：
Figure BDA0003114662180000031
其中，a为计算后的像素点的值，f为激活函数，W为权重值，Wb为偏置值。
在本发明提供的基于孪生网络和稠密网络的服装检索方法中，还具有这样的特征：其中，全连接层的全连接公式如下：
Ai＝Wi1*x1+Wi2*x2+L Wij*xj+bi
其中，A为当前层的神经元的值，W为权重参数，bi为偏置值。
发明的作用与效果
根据本发明所涉及的基于孪生网络和稠密网络的服装检索方法，包括如下步骤：将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；以及步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，其中，步骤S2包括如下子步骤：步骤S2-1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；步骤S2-2，将拼接后的联合特征向量依次经过卷积层、全连接层，得到检索结果。因为本发明建立了深度学习模型ISNH(Improved Siamese Network ofHead)，该模型是基于孪生网络以及稠密网络的服装检索模型，并使用稠密网络为内核来构建孪生网络架构模型，通过增加头部网络层，从而将两张图片的特征进行计算得到两张图片是否相似的结果，所以本发明提供的基于孪生网络和稠密网络的服装检索方法可以快速准确判断服装图片的相似性，从而可以帮助用户快速定位心仪的服装款式、节约时间，提高了检索效率。
附图说明
图1是本发明的实施例中基于孪生网络和稠密网络的服装检索方法的流程图；
图2是本发明的实施例中孪生网络架构模型图；
图3是本发明的实施例中步骤2的子步骤的流程图；
图4是本发明的实施例中头部网络层的结构示意图；
图5是本发明的测试例中的部分数据集；
图6是本发明的测试例中不同算法的检索准确率比较图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明基于孪生网络和稠密网络的服装检索方法作具体阐述。
<实施例>
图1是本发明的实施例中基于孪生网络和稠密网络的服装检索方法的流程图；图2是本发明的实施例中孪生网络架构模型。
如图1-2所示，本实施例中基于孪生网络和稠密网络的服装检索方法包括如下步骤：
步骤S1，将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量，具体包括如下步骤：
将两个服装图片的像素值矩阵共同通过孪生网络模型，不采用原始孪生网络的VGG内核，而仅仅引用它的构造，使用相同的两个网络模型结构，并且采用权重共享的方式进行训练。
在本实施例中，孪生网络架构的内核是稠密网络，它是基于卷积网络设计的一个分类模型，能够更好的表征图片特征。使用孪生网络架构分类层之前的网络层，并将稠密网络的特征提取部分作为孪生网络的内核，进行特征提取后，得到第一特征向量、第二特征向量。
在图2中，DenseNet为稠密网络，head为头部网络层。
图3是本发明的实施例中步骤2的子步骤的流程图。
如图3所示，步骤S2包括如下步骤：
步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，
其中，步骤S2包括如下子步骤：
步骤S2-1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；
步骤S2-2，将拼接后的联合特征向量依次经过卷积层、全连接层，得到检索结果。
在本实施例中，将第一特征向量与第二特征向量输入头部网络层后，进行差异性对比，使相似的图片的特征向量更为相似，而不相似的图片，矩阵向量更加不相似。
图4是本发明的实施例中头部网络层的结构示意图。
如图4所示，两个从稠密网络提取特征出来的第一特征向量、第二特征向量，经过和运算、乘积运算、差的绝对值运算、差的绝对值的平方运算，然后继续拼接操作，目的使两个特征向量的差异化更加明显，并且经过两个卷积层，最后经过一个神经元的全连接层，获取最终结果，输出0时，则两张图片相似，输出1时，两张图片不相似。
在本实施例中，卷积层的卷积公式如下：
Figure BDA0003114662180000061
其中，a为计算后的像素点的值，f为激活函数，w为权重值，Wb为偏置值。
全连接层的全连接公式如下：
Ai＝Wi1*x1+Wi2*x2+L Wij*xj+bi
其中，A为当前层的神经元的值，W为权重参数，bi为偏置值。
<测试例>
数据清洗操作：清除数据集中同类图片数小于3张的那一类数据集。由于单类数据太少，使其训练的数据信息不充分，直观上来说可能会影响模型训练的误判，然而在大数据集下删除不会对其有重要的影响。因为DeepFashion数据集经过作者的修正，大量学者的使用，基本上没有太大的数据干扰问题，所以不需要过多的数据清洗。经过简单的清洗结果，服装图片训练集从3985类降到了3975类。
图5是本发明的测试例的部分数据集。
测试方法：采用数据增广的方式进行横向扩充数据集，具体通过将图片进行颜色变换、色彩空间变换、亮度饱和度的调整，进行数据增强后，进行模型训练，得出检索准确率，具体过程如下；
本测试例在训练模型时，直接进行模型训练，权重设置初值为高斯分布的初值，经过反复的测试训练，模型未能很好的收敛，损失值无法降下来。于是，使用预训练的措施，使权重找到一个好的初值，对于整体训练有一个中间过渡。模型的预训练主要是采用稠密网络对数据集进行分类训练，主要是因为检索任务和分类任务的差别不是很大。在预训练模型中使用ImageNet数据集训练过的权重，这个数据集有1400多万张图片，包含了2万多个类。使用这个数据集的训练权重主要是因为其包含服装的种类多。预训练模型优化器使用的是带冲量的随机梯度算法，初始的学习率设为0.01。当预训练模型训练收敛平稳时，把其最后的权重参数作为主模型的初始权重。经过反复训练发现，主模型的优化器也是使用带冲量的随机梯度算法，初始的学习率也同样设置为0.01的结果能很好的收敛。损失函数没有使用孪生网络自带的对比损失函数，而是换成了二元损失函数。训练结束后，将稠密网络出口提取的特征矩阵，使用余弦相似度排序找到最匹配的。
本测试例在最终模型训练时，由于训练数据的独特性，以一种成对的数据出现，需要重新构建数据集。选取同类的未做数据增强的第一张作为anchor，同类但不相同的数据作为positive，不同类的随机数据作为negative。这样设计主要是为了平衡数据集，使相匹配的图片数和不匹配的图片数一致。本次训练经过了6个周期，损失值从0.22下降到0.01，经过验证选取了第5个周期的的权重结果，预测集上表现最优。
本测试例将Top50各算法的召回率进行比较，结果如表1所示。
表1 Top50各算法召回率比较结果
Figure BDA0003114662180000081
由表1可知，在Top-1(％)时，FashionNet模型的召回率为53，并高于其他模型的召回率，但是从Top-1(％)-Top-50(％)中，本实施例提供的ISNH模型均高于其他模型，并且在Top-50(％)中，召回率高达91，相比于其他模型，本实施例提供的ISNH模型具有较高的召回率。
基于表1，将不同算法与本实施例中的ISNH模型进行检索准确率对比。
图6是本发明的测试例中不同算法的检索准确率比较图。
由图6可知，将本实施例中的ISNH模型与其他同类型算法进行了对比发现，本实施例中的ISNH模型的检索准确率是最高的。
实施例的作用与效果
根据本实施例所涉及的基于孪生网络和稠密网络的服装检索方法，包括如下步骤：将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；以及步骤S2，将第一特征向量与第二特征向量输入头部网络层，进行预处理后，得到检索结果，其中，步骤S2包括如下子步骤：步骤S2-1，将第一特征向量与第二特征向量经过多种运算并进行向量拼接后，得到拼接第一特征向量与第二特征向量的联合特征向量；步骤S2-2，将拼接后的联合特征向量依次经过卷积层、全连接层，得到检索结果。因为本实施例建立了深度学习模型ISNH(Improved Siamese Network ofHead)，该模型是基于孪生网络以及稠密网络的服装检索模型，并使用稠密网络为内核来构建孪生网络架构模型，通过增加头部网络层，从而将两张图片的特征进行计算得到两张图片是否相似的结果，所以本实施例提供的基于孪生网络和稠密网络的服装检索方法可以快速准确判断服装图片的相似性，从而可以帮助用户快速定位心仪的服装款式、节约时间，提高了检索效率。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (6)

1.一种基于孪生网络和稠密网络的服装检索方法，其特征在于，包括如下步骤：
步骤S1，将第一图片的像素矩阵、第二图片的像素矩阵输入到稠密网络中提取特征，得到第一特征向量、第二特征向量；
步骤S2，将所述第一特征向量与所述第二特征向量输入头部网络层，进行预处理后，得到检索结果，
其中，所述步骤S2包括如下子步骤：
步骤S2-1，将所述第一特征向量与所述第二特征向量经过多种运算并进行向量拼接后，得到拼接后的联合特征向量；
步骤S2-2，将所述拼接后的联合特征向量依次经过卷积层、全连接层，得到检索结果。
2.根据权利要求1所述的基于孪生网络和稠密网络的服装检索方法，其特征在于：
其中，步骤S2-1，所述多种运算包括和运算、乘积运算、差的绝对值运算及其平方运算。
3.根据权利要求1所述的基于孪生网络和稠密网络的服装检索方法，其特征在于：
其中，所述卷积层的数量为2个。
4.根据权利要求1所述的基于孪生网络和稠密网络的服装检索方法，其特征在于：
其中，所述全连接层具有1个神经元。
5.根据权利要求1所述的基于孪生网络和稠密网络的服装检索方法，其特征在于：
其中，所述卷积层的卷积公式如下：
Figure FDA0003114662170000021
其中，a为计算后的像素点的值，f为激活函数，W为权重值，Wb为偏置值。
6.根据权利要求1所述的基于孪生网络和稠密网络的服装检索方法，其特征在于：
其中，所述全连接层的全连接公式如下：
Ai＝Wi1*x1+Wi2*x2+LWij*xj+bi
其中，A为当前层的神经元的值，W为权重参数，bi为偏置值。
CN202110659233.2A 2021-06-15 2021-06-15 一种基于孪生网络和稠密网络的服装检索方法 Pending CN113469223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659233.2A CN113469223A (zh) 2021-06-15 2021-06-15 一种基于孪生网络和稠密网络的服装检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659233.2A CN113469223A (zh) 2021-06-15 2021-06-15 一种基于孪生网络和稠密网络的服装检索方法

Publications (1)

Publication Number Publication Date
CN113469223A true CN113469223A (zh) 2021-10-01

Family

ID=77869873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659233.2A Pending CN113469223A (zh) 2021-06-15 2021-06-15 一种基于孪生网络和稠密网络的服装检索方法

Country Status (1)

Country Link
CN (1) CN113469223A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN109993236A (zh) * 2019-04-10 2019-07-09 大连民族大学 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN109993236A (zh) * 2019-04-10 2019-07-09 大连民族大学 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU FEIFEI 等: "Bert-based Siamese Network for Semantic Similarity", 《IOP EBOOKS》 *
董军: "《心迹"的计算 隐性知识的人工智能途径》", 31 December 2016, 上海世纪出版股份有限公司 *

Similar Documents

Publication Publication Date Title
US20240028867A1 (en) Methods and apparatus for detecting, filtering, and identifying objects in streaming video
CN112214685B (zh) 一种基于知识图谱的个性化推荐方法
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
Tautkute et al. Deepstyle: Multimodal search engine for fashion and interior design
CN112417306B (zh) 基于知识图谱的推荐算法性能优化的方法
CN111581510A (zh) 分享内容处理方法、装置、计算机设备和存储介质
CN107944035B (zh) 一种融合视觉特征和用户评分的图像推荐方法
EP3300002A1 (en) Method for determining the similarity of digital images
CN112364976A (zh) 基于会话推荐系统的用户偏好预测方法
CN114693397B (zh) 一种基于注意力神经网络的多视角多模态商品推荐方法
Fu et al. FERLrTc: 2D+ 3D facial expression recognition via low-rank tensor completion
WO2023024413A1 (zh) 信息的匹配方法、装置、计算机设备及可读存储介质
CN108389113B (zh) 一种协同过滤推荐方法和系统
CN115880027A (zh) 一种电子商务网站商品季节性预测模型创建方法
CN115545832A (zh) 商品搜索推荐方法及其装置、设备、介质
CN111400525A (zh) 基于视觉组合关系学习的时尚服装智能搭配与推荐方法
CN114676315A (zh) 基于增强图卷积的属性融合交互推荐模型构建方法及系统
CN114169968A (zh) 一种融合用户兴趣状态的多粒度会话推荐方法
CN113469223A (zh) 一种基于孪生网络和稠密网络的服装检索方法
US11645693B1 (en) Complementary consumer item selection
CN112650869B (zh) 图像检索重排序方法、装置、电子设备及存储介质
Pan et al. Video clip growth: A general algorithm for multi-view video summarization
Chen et al. Zero-shot unsupervised image-to-image translation via exploiting semantic attributes
Ahsan et al. Complementary Recommendations Using Deep Multi-modal Embeddings For Online Retail
Zhu et al. Orthogonal graph-regularized matrix factorization and its application for recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211001