CN113901250A - 一种基于显著性注意力的美容产品检索方法 - Google Patents

一种基于显著性注意力的美容产品检索方法 Download PDF

Info

Publication number
CN113901250A
CN113901250A CN202111175069.4A CN202111175069A CN113901250A CN 113901250 A CN113901250 A CN 113901250A CN 202111175069 A CN202111175069 A CN 202111175069A CN 113901250 A CN113901250 A CN 113901250A
Authority
CN
China
Prior art keywords
significance
similarity
feature
saliency
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111175069.4A
Other languages
English (en)
Other versions
CN113901250B (zh
Inventor
魏明强
孙乾
燕雪峰
张静宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111175069.4A priority Critical patent/CN113901250B/zh
Publication of CN113901250A publication Critical patent/CN113901250A/zh
Application granted granted Critical
Publication of CN113901250B publication Critical patent/CN113901250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性注意力的美容产品检索方法，包括S1.将显著性损失函数融入训练损失函数中，得到用于训练神经网络的损失函数；S2.训练神经网络主干网络，并使用显著性随即丢弃方法有偏好地训练神经网络卷积特征层；S3.选定池化方法，使用训练好的主干网络提取数据库中的美容产品图片的特征并存储在特征库中；S4.使用训练好的主干网络提取查询图片的特征；S5.基于显著相似性策略，计算查询图片和数据库图片特征的相似度并排序；S6.基于S5排序结果筛选美容产品检索的最终结果。本发明基于显著性注意力机制进行美容产品检索，具有节省成本，准确率高，实用性强的优点。

Description

一种基于显著性注意力的美容产品检索方法
技术领域
本发明属于图像检索技术领域，具体涉及一种基于显著性注意力的美容产品检索方法。
背景技术
目前,各大搜索引擎和主流网购网站均支持”以图搜图”,用户或消费者也已习惯通过抓拍的照片在互联网各大平台检索相同的美容产品。然而,如图1所示,美容产品检索任务面临两类检索难题:
(1)现实世界中的美容产品摆放位姿差异大,抓拍角度随意,背景复杂,造成检索准确度低；
(2)大规模美容产品数据库中存在大量相似产品,例如同一个品牌的同一系列产品(在容量或者功效上有差异),会干扰检索,进一步降低检索准确度。在以图片为主要输入介质的情况下,提出针对上述两类难题的美容产品检索方法至关重要。
目前已有的图像检索方法可以分为以下几种：
(1)修改检索网络结构的方法：针对图像检索的特性，修改主干网络的某些网络层，将一些新颖的模块加入主干网络中，旨在提升网络的检索性能，虽然这种方法可以在某个小的数据集上得到很高的准确率，但是改变了经典的网络结构会损害网络的整体性能，难以在大规模数据集上取得较好的结果；
(2)改进特征提取的方法：先用主干网络得到卷积层特征，再根据任务的特性选用合适的池化方法对卷积特征图进行特征提取，得到可以计算相似度的特征向量，对池化方法的改进有很多，也取得了较好的结果，但是，鲜有考虑改善卷积特征，而卷积特征的信息分布制约后处理效果的极限，如果深度学习模型生成的卷积特征不够好，对卷积特征进行后处理无法得到最好的结果。
综合来讲，虽然这些方法在某些数据集中是可靠的，但它们没有充分考虑美容检索任务的特殊性，准确率仍然不够高，有进一步提升准确率的空间。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于显著性注意力的美容产品检索方法，保证运行速度的条件下，可显著提升检索准确率。
为实现上述技术目的，本发明采取的技术方案为：
一种基于显著性注意力的美容产品检索方法，包括：
S1.将显著性损失函数融入训练损失函数中，得到用于训练神经网络的损失函数；
S2.采用S1得到的损失函数训练神经网络主干网络，并使用显著性随即丢弃方法有偏好地训练神经网络卷积特征层；
S3.选定池化方法，使用步骤S1和步骤S2训练好的主干网络提取数据库中的美容产品图片的特征并存储在特征库中；
S4.使用步骤S1和步骤S2训练好的主干网络提取查询图片的特征；
S5.基于显著相似性策略，计算查询图片和数据库图片特征的相似度并排序；
S6.基于S5排序结果筛选美容产品检索的最终结果。
为优化上述技术方案，采取的具体措施还包括：
上述的S1所述将显著性损失函数融入训练损失函数中的具体过程是：
S1.1使用LDF提取美容产品图片的显著图；
S1.2比较每个卷积特征图和显著图的信息分布的相似性；
S1.3对所有特征图和显著图的相似度求平均得到显著性损失函数；
S1.4将显著性损失函数和softmax损失函数加权求和得到用于训练神经网络的损失函数。
上述的S1所述显著性损失函数的具体计算方法为：
使用显著图过滤卷积特征图组得到显著区域特征图组Fs，对卷积特征图组和显著性区域特征图组分别在特征图维度上求和得到卷积特征Xsum和向量与显著性区域特征向量Fsa；
将卷积特征Xsum和向量与显著性区域特征向量Fsa这两个向量求比值,得到显著度向量S；
所述显著度向量的每个分量和卷积特征图组中的每个特征图一一对应，代表每个卷积特征图中的产品内容信息的比例，即表示特征图重要程度；
将显著度向量沿通道维度求和并取反得到显著性损失函数。
上述的S2所述使用显著性随即丢弃方法有偏好地训练卷积特征层的具体过程为：
采用S1得到的损失函数训练主干网络的过程中，难免会有特征层训练不平衡的现象，本发明在每一轮训练中，通过卷积特征图和显著图的相似程度衡量特征层的训练程度，对训练不够充分的特征图进行着重训练，对训练充分的特征图暂时丢弃，即显著性随即丢弃。
上述的S2所述显著性随即丢弃的具体计算方法为：
对表示特征图重要程度的显著度向量S进行从小到大排序得到S'；
求出其中排行在70％的显著度向量值作为阈值q；
在保留向量中赋值给每个特征图1或0来表示本轮是否训练，被赋值1的特征图本轮继续训练；
其中，保留向量的分量被赋值为1的概率由对应位置的显著度向量的分量决定，对应位置的显著度向量的分量大于阈值时,被赋值为1的概率较低,而小于阈值的位置被赋值为1的概率较高。
上述的S3中选择MAC池化和GRMAC池化方法，对主干网络提取的卷积特征进行特征提取，生成特征向量并存储在特征库中，用于最后计算相似度。
上述的S5具体过程为：
计算批量美容产品图片的卷积特征图和显著图相似性的统计规律，生成显著性相似性向量，并且在显著性相似向量的指导下，使用余弦相似度计算方法计算步骤S3求得的特征库中的特征和步骤S4求得的查询图片的特征的相似度，并且存储为相似度表格。
上述的S5所述显著相似性的具体计算方法为：
使用显著度向量S衡量特征图表达产品内容能力的强弱；
随机挑选10000张产品图片经过步骤S1和步骤S2训练好的主干网络生成的10000个特征图组，并计算出对应的显著度向量再沿特征分量维度累加，记为累加显著度向量Ssum；
对表示特征图重要程度的累加显著度向量Ssum进行从小到大排序得到S′sum；
求出S′sum中排行在30％的值作为阈值t；
累加显著度向量中大于阈值的位置置1，其余置0.85，得到相似度偏好向量A。
上述的S6具体为：将S5中求得的相似度表格中相似度排名最高的七张图片作为美容产品检索结果，并且，在结果展示时根据相似度大小排序。
本发明具有以下有益效果：
本发明可实时的通过用户拍摄的照片检索出对应的美容产品，节省人力成本，具有效率高，准确率高，实用性强，专业性强的优点，同时适用于其他类型产品图片。
附图说明
图1是本发明一种基于显著性注意力的美容产品检索方法的流程图；
图2是本发明的算法框架图；
图3是本发明的显著图；
图4是本发明的主干网络卷积特征图；
图5是本发明的消融学习示意图；
图6是本发明的训练过程参数示意图；
图7是本发明的实验结果示意图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
本发明提供一种基于显著性注意力的美容产品检索方法，其流程图如图1所示，算法框架如图2所示，具体包括以下步骤：
S1.将显著性损失函数(Salient Loss)融入训练损失函数中，得到用于训练神经网络的损失函数，具体过程是：
S1.1使用LDF提取美容产品图片的显著图；
S1.2比较每个卷积特征图和显著图的信息分布的相似性；
S1.3对所有特征图和显著图的相似度求平均得到显著性损失函数；
S1.4将显著性损失函数和softmax损失函数加权求和得到用于训练神经网络的损失函数。
常规的图像检索任务中的损失函数没有考虑到美容产品检索任务的特殊性，直接将它们使用于美容产品检索任务效果不佳。美容产品检索图片大多是由用户抓拍，不可避免地包含干扰信息，比如背景、拍摄角度、摆放方式等；美容产品检索任务要求检索出完全相同的产品，不能在容量、功效等信息上有差别，而数据库中大量的相似产品图片会降低检索的准确度。
显著性损失函数可以训练神经网络捕捉到更多产品本身的信息而忽略产品以外的干扰信息。显然，这样的神经网络生成的卷积特征图可以有效地对抗背景、角度、位姿等信息的干扰。而且,当信息集中于美容产品本身时，在后续的特征提取阶段也可以更好地提取产品本身的细节信息，而不会被干扰信息影响，从而增强区分相似产品和相同产品的能力。
本发明采用LDF提取出图片的显著图，如图3所示，显著图能够区分产品内容和背景，而且显著图的显著区域轮廓和美容产品可以很好地贴合，能够对抗美容产品几何位置变化的干扰。
本发明的显著性损失函数的具体计算方法为：
使用显著图过滤卷积特征图组得到显著区域特征图组Fs，对卷积特征图组和显著性区域特征图组分别在特征图维度上求和得到卷积特征Xsum和向量与显著性区域特征向量Fsa；
将卷积特征Xsum和向量与显著性区域特征向量Fsa这两个向量求比值,得到显著度向量S；
所述显著度向量的每个分量和卷积特征图组中的每个特征图一一对应，代表每个卷积特征图中的产品内容信息的比例，即表示特征图重要程度，显然，包含产品内容信息的比例越大的特征图对检索任务越有利；
将显著度向量沿通道维度求和并取反得到显著性损失函数(Salient Loss)。
采用Salient Loss和Softmax两种损失函数，以卷积特征图和显著图的信息分布相似程度为约束训练主干网络，主干网络在训练过程中，提取的卷积特征图会逐步减少和产品本身无关的信息，包含越来越多的产品信息。
S2.采用S1得到的损失函数训练神经网络主干网络，并使用显著性随即丢弃(Salient Dropout)方法有偏好地训练神经网络卷积特征层，具体过程为：
采用S1得到的损失函数训练主干网络的过程中，难免会有特征层训练不平衡的现象，本发明在每一轮训练中，通过卷积特征图和显著图的相似程度衡量特征层的训练程度(即以卷积特征图和显著图的相似程度为标准)，对训练不够充分的特征图进行着重训练，对训练充分的特征图暂时丢弃，即显著性随即丢弃。
在深度学习领域，随着训练轮数的增加，神经网络极容易产生过拟合的现象。过拟合会导致神经网络在测试数据集上表现不佳，并且会因为某些卷积层的能力很强而对其余卷积层的训练程度不够充分。在美容产品检索任务的网络训练过程中也存在类似的问题。上述的显著性损失函数可以指导特征图在训练过程中，逐步突出产品内容。
但是，当某些特征图的表达能力很强时，会导致很多表达能力较弱的特征图得不到充分训练，采取随机丢弃(Dropout)可以在一定程度上缓解这种情况。传统的Dropout给予所有特征图相同的丢弃概率。然而，某一轮训练的重点应当是在本轮训练之前没有得到有效训练的特征图，给予能力较弱的特征图较低的丢弃概率是必要的。在美容产品检索任务中，特征图是否得到了充分训练，可以由它是否突出了产品内容来确定。
本发明的显著性随即丢弃的具体计算方法为：
对表示特征图重要程度的显著度向量S进行从小到大排序得到S'；
求出其中排行在70％的显著度向量值作为阈值q；
在保留向量中赋值给每个特征图1或0来表示本轮是否训练，被赋值1的特征图本轮继续训练；
保留向量是由1和0组成的向量，长度和特征图数量一致。
其中，保留向量的分量被赋值为1的概率由对应位置的显著度向量的分量决定，对应位置的显著度向量的分量大于阈值时,被赋值为1的概率较低,而小于阈值的位置被赋值为1的概率较高。
此训练方式保证了每轮的训练集中于突出美容产品内容能力较弱的特征图，从而使得多轮训练后。所有特征图的表达能力都得到有效训练,避免出现特征图之间能力相差很大的情况，确保神经网络的总体能力。如图4所示，本实施例随机挑选了几个属于SA-Net的特征图，可以看出所有特征图的高亮部分集中在产品内容范围内，而其余与产品无关的区域大多是黑暗的。这表明经过Salient Loss和Salient Dropout的指导训练后，SA-Net的主干网络可以生成有效表达产品内容的卷积特征图。
此训练方式保证了每轮的训练集中于突出美容产品内容能力较弱的特征图，从而使得多轮训练后。
所有特征图的表达能力都得到有效训练,避免出现特征图之间能力相差很大的情况，确保神经网络的总体能力。经过步骤S1中的Salient Loss和步骤S2中的SalientDropout的指导训练后,SA-Net的主干网络可以生成有效表达产品内容的卷积特征图。
S3.选定池化方法，使用步骤S1和步骤S2训练好的主干网络提取数据库中的美容产品图片的特征并存储在特征库中，这个过程是线下的。
选择MAC池化和GRMAC池化方法，对主干网络提取的卷积特征进行特征提取，生成特征向量并存储在特征库中，用于最后计算相似度。
在图像检索任务中，无法直接使用神经网络的卷积特征计算相似度。需要选择有效的池化方法对卷积特征图进行特征提取得到特征向量。GRMAC的局部最大激活方法可以提取图片中每个部分的细节信息，从而区别出相似产品和正确产品的细节差别。但是，传统的卷积特征图包含较多干扰信息，使用GRMAC不仅会提取出美容产品本身的细节特征还会提取干扰信息中的细节特征，这会显著降低GRMAC抑制相似项干扰的能力。但是，本发明主干网络经过Salient Loss和Salient Dropout的指导训练后，卷积特征图中的有效信息大多集中在美容产品内容区域中，而消除了绝大多数的干扰信息。因此，本发明方法可以保证GRMAC只提取产品本身的细节特征，从而更好地抑制相似项干扰。
为了进一步提升SA-Net抑制相似项干扰的能力，本发明将全局最大激活(MaximumActivation of Convolutions,简称MAC)和GRMAC配合使用。如上所述，本发明方法得到的卷积特征图包含的信息绝大部分集中在产品本身。MAC可以提取出产品本身最显著的特征，而不易受到干扰信息的影响。MAC提取的产品最显著特征和GRMAC提取的产品细节特征相互配合，可以得到正确表达产品内容的特征向量，用于最后的相似度计算。
S4.使用步骤S1和步骤S2训练好的主干网络提取查询图片的特征，即采用和步骤S3相同的方法实时获得查询图片的特征。
S5.基于显著相似性(Salient Similarity)策略，计算查询图片和数据库图片特征的相似度并排序，，具体过程为：
计算批量美容产品图片的卷积特征图和显著图相似性的统计规律，生成显著性相似性向量，并且在显著性相似向量的指导下，使用余弦相似度计算方法计算步骤S3求得的特征库中的特征和步骤S4求得的查询图片的特征的相似度，并且存储为相似度表格。
众多特征图的表达能力不可避免的有强弱之分，这个影响会传达到特征向量部分。使用显著相似性(Salient Similarity)筛选出能力最强的一些特征图重点利用，可以进一步提升产品检索的能力。
本发明提出一种新的显著相似性度量,统计批量美容产品在显著图和卷积特征相似性方面的规律,并基于此规律分配给不同特征分量权重，使用得到的权重和余弦相似度计算方法计算查询图片和数据库图片的相似度并存储为相似度表格；
本发明的显著相似性(Salient Similarity)的具体计算方法为：
使用显著度向量S衡量特征图表达产品内容能力的强弱；
随机挑选10000张产品图片经过步骤S1和步骤S2训练好的主干网络生成的10000个特征图组，并计算出对应的显著度向量再沿特征分量维度累加，记为累加显著度向量Ssum；
对表示特征图重要程度的累加显著度向量Ssum进行从小到大排序得到S′sum；
求出S′sum中排行在30％的值作为阈值t；
累加显著度向量中大于阈值的位置置1，其余置0.85，得到相似度偏好向量A。
在相似度偏好向量A的指导下，计算相似度时，更重要的特征分量的贡献更大。显著相似性方法是将统计信息融入深度学习的一次有效的尝试，有很大的意义。
本发明选用的相似度计算方法是余弦相似度，这一点充分考虑了准确度和运行时间两方面。
S6.基于S5排序结果筛选美容产品检索的最终结果：
将S5中求得的相似度表格中相似度排名最高的七张图片作为美容产品检索结果，并且，在结果展示时根据相似度大小排序。如图5和图7所示本发明可以显著提升美容产品检索的准确率。如图6所示，本发明的每一个部分均对提升效果产生正影响。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种基于显著性注意力的美容产品检索方法，其特征在于，包括：
S1.将显著性损失函数融入训练损失函数中，得到用于训练神经网络的损失函数；
S2.采用S1得到的损失函数训练神经网络主干网络，并使用显著性随即丢弃方法有偏好地训练神经网络卷积特征层；
S3.选定池化方法，使用步骤S1和步骤S2训练好的主干网络提取数据库中的美容产品图片的特征并存储在特征库中；
S4.使用步骤S1和步骤S2训练好的主干网络提取查询图片的特征；
S5.基于显著相似性策略，计算查询图片和数据库图片特征的相似度并排序；
S6.基于S5排序结果筛选美容产品检索的最终结果。
2.根据权利要求1所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S1所述将显著性损失函数融入训练损失函数中的具体过程是：
S1.1使用LDF提取美容产品图片的显著图；
S1.2比较每个卷积特征图和显著图的信息分布的相似性；
S1.3对所有特征图和显著图的相似度求平均得到显著性损失函数；
S1.4将显著性损失函数和softmax损失函数加权求和得到用于训练神经网络的损失函数。
3.根据权利要求2所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S1所述显著性损失函数的具体计算方法为：
使用显著图过滤卷积特征图组得到显著区域特征图组Fs，对卷积特征图组和显著性区域特征图组分别在特征图维度上求和得到卷积特征Xsum和向量与显著性区域特征向量Fsa；
将卷积特征Xsum和向量与显著性区域特征向量Fsa这两个向量求比值,得到显著度向量S；
所述显著度向量的每个分量和卷积特征图组中的每个特征图一一对应，代表每个卷积特征图中的产品内容信息的比例，即表示特征图重要程度；
将显著度向量沿通道维度求和并取反得到显著性损失函数。
4.根据权利要求1所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S2所述使用显著性随即丢弃方法有偏好地训练卷积特征层的具体过程为：
采用S1得到的损失函数训练主干网络的过程中，难免会有特征层训练不平衡的现象，本发明在每一轮训练中，通过卷积特征图和显著图的相似程度衡量特征层的训练程度，对训练不够充分的特征图进行着重训练，对训练充分的特征图暂时丢弃，即显著性随即丢弃。
5.根据权利要求4所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S2所述显著性随即丢弃的具体计算方法为：
对表示特征图重要程度的显著度向量S进行从小到大排序得到S'；
求出其中排行在70％的显著度向量值作为阈值q；
在保留向量中赋值给每个特征图1或0来表示本轮是否训练，被赋值1的特征图本轮继续训练；
其中，保留向量的分量被赋值为1的概率由对应位置的显著度向量的分量决定，对应位置的显著度向量的分量大于阈值时,被赋值为1的概率较低,而小于阈值的位置被赋值为1的概率较高。
6.根据权利要求1所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S3中选择MAC池化和GRMAC池化方法，对主干网络提取的卷积特征进行特征提取，生成特征向量并存储在特征库中，用于最后计算相似度。
7.根据权利要求1所述的一种基于显著性注意力的美容产品检索方法，其特征在于，所述S5具体过程为：
计算批量美容产品图片的卷积特征图和显著图相似性的统计规律，生成显著性相似性向量，并且在显著性相似向量的指导下，使用余弦相似度计算方法计算步骤S3求得的特征库中的特征和步骤S4求得的查询图片的特征的相似度，并且存储为相似度表格。
8.根据权利要求7所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S5所述显著相似性的具体计算方法为：
使用显著度向量S衡量特征图表达产品内容能力的强弱；
随机挑选10000张产品图片经过步骤S1和步骤S2训练好的主干网络生成的10000个特征图组，并计算出对应的显著度向量再沿特征分量维度累加，记为累加显著度向量Ssum；
对表示特征图重要程度的累加显著度向量Ssum进行从小到大排序得到S'sum；
求出S'sum中排行在30％的值作为阈值t；
累加显著度向量中大于阈值的位置置1，其余置0.85，得到相似度偏好向量A。
9.根据权利要求1所述的一种基于显著性注意力的美容产品检索方法，其特征在于，S6具体为：将S5中求得的相似度表格中相似度排名最高的七张图片作为美容产品检索结果，并且，在结果展示时根据相似度大小排序。
CN202111175069.4A 2021-10-09 2021-10-09 一种基于显著性注意力的美容产品检索方法 Active CN113901250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175069.4A CN113901250B (zh) 2021-10-09 2021-10-09 一种基于显著性注意力的美容产品检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175069.4A CN113901250B (zh) 2021-10-09 2021-10-09 一种基于显著性注意力的美容产品检索方法

Publications (2)

Publication Number Publication Date
CN113901250A true CN113901250A (zh) 2022-01-07
CN113901250B CN113901250B (zh) 2023-07-21

Family

ID=79190583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175069.4A Active CN113901250B (zh) 2021-10-09 2021-10-09 一种基于显著性注意力的美容产品检索方法

Country Status (1)

Country Link
CN (1) CN113901250B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统
CN109086405A (zh) * 2018-08-01 2018-12-25 武汉大学 基于显著性和卷积神经网络的遥感图像检索方法及系统
CN110609917A (zh) * 2019-08-08 2019-12-24 中国地质大学（武汉） 基于卷积神经网络和显著性检测的图像检索方法及系统
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images
CN111539370A (zh) * 2020-04-30 2020-08-14 华中科技大学 一种基于多注意力联合学习的图像行人重识别方法和系统
CN111680698A (zh) * 2020-04-21 2020-09-18 北京三快在线科技有限公司 图像识别方法、装置及图像识别模型的训练方法、装置
US20210279929A1 (en) * 2020-03-04 2021-09-09 Naver Corporation Training and using an ensemble of complimentary convolutional neural networks for cross-domain retrieval of fashion item images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统
CN109086405A (zh) * 2018-08-01 2018-12-25 武汉大学 基于显著性和卷积神经网络的遥感图像检索方法及系统
US20200184252A1 (en) * 2018-12-10 2020-06-11 International Business Machines Corporation Deep Learning Network for Salient Region Identification in Images
CN110609917A (zh) * 2019-08-08 2019-12-24 中国地质大学（武汉） 基于卷积神经网络和显著性检测的图像检索方法及系统
US20210279929A1 (en) * 2020-03-04 2021-09-09 Naver Corporation Training and using an ensemble of complimentary convolutional neural networks for cross-domain retrieval of fashion item images
CN111680698A (zh) * 2020-04-21 2020-09-18 北京三快在线科技有限公司 图像识别方法、装置及图像识别模型的训练方法、装置
CN111539370A (zh) * 2020-04-30 2020-08-14 华中科技大学 一种基于多注意力联合学习的图像行人重识别方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JUN WEI等: "Label Decoupling Framework for Salient Object Detection", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) 》 *
JUN YU等: "Attention Based Beauty Product Retrieval Using Global and Local Descriptors", 《MM \'20: PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
JUN YU等: "Beauty Product Retrieval Based on Regional Maximum Activation of Convolutions with Generalized Attention", 《MM \'19: PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
RUNMING YAN等: "Multi-Feature Fusion Method Based on Salient Object Detection for Beauty Product Retrieval", 《MM \'20: PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
潘丽丽等: "基于自适应三元组网络的细粒度图像检索算法", 《郑州大学学报(理学版)》 *
田少骅等: "基于提取标签显著性区域的深度学习图像检索方法", 物联网技术 *

Also Published As

Publication number Publication date
CN113901250B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111354017B (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN111914622B (zh) 一种基于深度学习的人物交互检测方法
US20210026909A1 (en) System and method for identifying contacts of a target user in a social network
CN107562742B (zh) 一种图像数据处理方法及装置
Esmaeili et al. Fast-at: Fast automatic thumbnail generation using deep neural networks
WO2016180270A1 (zh) 网页分类方法和装置、计算设备以及机器可读存储介质
CN107315795B (zh) 联合特定人物和场景的视频实例检索方法及系统
CN112801059B (zh) 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN112613552A (zh) 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法
CN112926429B (zh) 机审模型训练、视频机审方法、装置、设备及存储介质
JP4937395B2 (ja) 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム
CN108509996A (zh) 基于Filter和Wrapper选择算法的特征选择方法
CN108319672A (zh) 基于云计算的移动终端不良信息过滤方法及系统
CN111859004A (zh) 检索图像的获取方法、装置、设备及可读存储介质
CN111160130A (zh) 一种多平台虚拟身份账号的多维碰撞识别方法
CN113761359A (zh) 数据包推荐方法、装置、电子设备和存储介质
CN110598126B (zh) 基于行为习惯的跨社交网络用户身份识别方法
CN113901250A (zh) 一种基于显著性注意力的美容产品检索方法
CN110069647B (zh) 图像标签去噪方法、装置、设备及计算机可读存储介质
CN116708941A (zh) 一种基于人脸识别技术的视频推送方法及系统
CN116363507A (zh) 一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法
CN113343953B (zh) 一种用于遥感场景识别的fgr-am方法和系统
CN116170187A (zh) 一种基于cnn和lstm融合网络的工业互联网入侵监测方法
CN115205554A (zh) 一种基于语义概念抽取的检索方法
CN111556018B (zh) 一种基于cnn的网络入侵检测方法及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant