CN113378962B - 一种基于图注意力网络的服装属性识别方法与系统 - Google Patents

一种基于图注意力网络的服装属性识别方法与系统 Download PDF

Info

Publication number
CN113378962B
CN113378962B CN202110703933.7A CN202110703933A CN113378962B CN 113378962 B CN113378962 B CN 113378962B CN 202110703933 A CN202110703933 A CN 202110703933A CN 113378962 B CN113378962 B CN 113378962B
Authority
CN
China
Prior art keywords
attribute
clothing
network
relationship
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110703933.7A
Other languages
English (en)
Other versions
CN113378962A (zh
Inventor
苏卓
杨明健
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110703933.7A priority Critical patent/CN113378962B/zh
Publication of CN113378962A publication Critical patent/CN113378962A/zh
Application granted granted Critical
Publication of CN113378962B publication Critical patent/CN113378962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图注意力网络的服装属性识别方法与系统。包括：对服装数据集的属性关系进行分析，构建属性关系邻接矩阵，从数据集中筛选出输入图像和对应的服装属性标签，进行数据增强处理，其次提取特征，包括提取服装图像的整体视觉特征、属性值视觉特征和属性的关系特征，最后将属性值视觉特征与属性的关系特征进行特征融合，输入至全接网络，输出属性类别预测得分，即属性识别分类结果，计算属性关系图注意力网络最终的输出结果与服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个属性关系图注意力网络。本发明基于计算机视觉的服装属性识别技术，使用图注意力网络充分挖掘属性的内在联系，提高网络识别准确率。

Description

一种基于图注意力网络的服装属性识别方法与系统
技术领域
本发明涉及计算机视觉、深度学习领域，具体涉及一种基于图注意力网络的服装属性识别方法、系统、设备及存储介质。
背景技术
在大数据时代，人工智能在各个行业都有着广泛的应用。在时尚分析领域，面对时尚潮流以及服装服饰的分析给人们的日常生活带来许多便利。在这些时尚分析任务中，服装的属性是定性、定量描述服装的重要时尚概念。服装属性识别技术是一个在时尚分析任务中的一个重要基础技术。通过对输入的服装图像进行识别，最终可以输出各种服装具有的语义属性，例如颜色、款式、领口的设计样式等等。目前随着深度学习技术的不断发展，服装属性识别技术也取得了许多重大的突破。一些大规模、细粒度的服装数据集的出现也极大加速了服装属性识别技术的法展。这些技术大多是利用这些服装数据集来训练深层的卷积神经网络，实现对各种服装属性的识别获取，但受限于相关深度学习技术的限制，最终获取的服装属性准确率无法满足人们的需求。
目前的现有技术之一是一种采用多任务分支的神经网络技术方案，该方案步骤如下：首先，对服装属性划分为许多组属性，例如颜色、形状、长度、款式等等不同的属性组；其次，为每一个属性组分配一个网络分支，一个分支完成一个属性组内部的属性识别任务；最后，定义一个联合的损失函数，将每个分支的损失函数进行平均，以此来训练整个网络。该方案的缺点为：没有考虑服装属性内部联系对最终属性识别准确率的影响，导致最终的识别准确率较低。
目前的现有技术之二是一种基于属性从属关系的神经网络技术方案，该方案步骤如下：首先，对服装属性划分为许多组属性，例如颜色、形状、长度、款式等等不同的属性组；其次，为划分出的属性组内部构建从属关系，例如对袖长这一属性的短袖、长袖属性归类为有袖属性，从而构建短袖、长袖属性从属于有袖属性的从属关系；最后，在定义损失函数的时候，添加一项父类属性的损失函数，目的是为了先准确识别父类的属性，从而进一步识别子类属性。该方案的缺点为：首先，服装的属性关系十分复杂，单一的从属关系无法完全表达出服装属性的内在联系；其次，对于属性关系对最终识别准确率的影响建模不到位，单纯在损失函数添加罚项只能用于处理从属关系。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于图注意力网络的服装属性识别方法。本发明解决的主要问题：一是没有考虑服装属性内部联系对最终属性识别准确率的影响，导致最终的识别准确率较低；二是单一的从属关系无法完全表达出服装属性的内在联系；三是最终识别准确率的影响建模不到位，单纯在损失函数添加罚项只能用于处理从属关系。
为了解决上述问题，本发明提出了一种基于图注意力网络的服装属性识别方法，所述方法包括：
对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；
从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；
将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；
将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；
将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；
将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；
将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；
计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络；
输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。
优选地，所述对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，具体为：
服装数据集来源于服装购物网站；
选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性；
相似关系可表示为：
Figure BDA0003130435900000041
从属关系可表示为：
Figure BDA0003130435900000042
式中vi,uj表示不同属性值，V,U分别表示vi,uj从属的属性集合，T表示相似变换系数；
构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0；
为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。
优选地，所述从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理，具体为：
从所述服装数据集中筛选出输入图像与其对应的服装属性标签；
将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸；
对每一次的输入图像进行随机旋转角度等数据增强手段。
优选地，所述将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征，具体为：
选用ResNet-50作为模型的骨架网络；
该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本骨架网络最后一层的全连接层没有被加入骨架网络中；
将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征。
优选地，所述将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，具体为：
服装属性指大范畴的属性概念，例如颜色、款式、领口设计等等；
属性值指的是具体某一属性的类别，例如颜色属性具有红色、绿色等属性值；
属性视觉特征可表示为
Figure BDA0003130435900000051
其中ni表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度，分割后的属性值视觉特征可表示为Vi,j∈R1×N，Vi,j可通过如下公式计算：
Figure BDA0003130435900000053
属性值视觉特征维度设置为20。
优选地，所述将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，具体为：
每一个分支的属性关系无向图都是不同的，在每一无向图中，每一个节点代表一个属性值，节点的值代表了该属性值具有的视觉特征Vi,j；
如果两个节点即属性值存在某种联系，那么在这个无向图中这两个节点就是相邻的，即无向图的边表示属性值之间是否存在联系；
每一个分支得到的关系特征Ri可表示为：
Figure BDA0003130435900000052
Ri＝[Ri,1,Ri,2,...,Ri,K]
其中Ri代表关系特征，σ是sigmoid激活函数，Ni是与第i个节点相邻的节点序号集合，Wk是线性连接网络的参数矩阵，Vj代表与当前节点相连的第j个视觉特征，
Figure BDA0003130435900000061
代表第i个节点与第j个节点之间的第k个注意力函数，/>
Figure BDA0003130435900000062
可通过如下公式计算：
Figure BDA0003130435900000063
式中W和W′分别代表模型中不同的参数。
优选地，所述将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果，具体为：
设置所述属性值视觉特征与所述属性的关系特征维度相同；
将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算公式如下：
si,j＝σ(FCi,j[Vi,j,Ri,j])
其中Ri代表关系特征，σ是sigmoid激活函数，FCi,j表示针对属性值的局部全连接网络，si,j表示属性值的预测得分。
优选地，所述计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络，具体为：
所述属性关系图注意力网络中的每个分支分别计算损失函数，然后对每个分支的损失函数求和作为整个所述属性关系图注意力网络的损失函数，计算方法如下：
Figure BDA0003130435900000071
其中δ表示指示函数，
Figure BDA0003130435900000072
表示模型预测的第m个样本的第i个属性的属性值，/>
Figure BDA0003130435900000073
表示这批样本的标签，/>
Figure BDA0003130435900000074
表示批数据大小，/>
Figure BDA0003130435900000075
表示第i个属性被分类为/>
Figure BDA0003130435900000076
的后验概率，可由以下公式计算：
Figure BDA0003130435900000077
损失函数收敛后，所述属性关系图注意力网络输出的各个属性的预测得分就代表着服装具有该属性值的概率大小，选取每一属性中概率最高的属性值即可代表该服装所具有的属性。
相应地，本发明还提供了一种基于图注意力网络的服装属性识别系统，包括：
数据处理单元，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；
特征提取单元，ResNet提取整体视觉特征，对其进行转化分割等操作得到属性值视觉特征，用属性关系图注意力网络提取关系特征，并进行特征融合；
属性识别分类与网络训练单元，将特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，并训练整个网络。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述一种基于图注意力网络的服装属性识别方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于图注意力网络的服装属性识别方法的步骤。
实施本发明，具有如下有益效果：
第一，充分挖掘了服装属性之间内在关系，获得了更高的识别准确率；第二，使用了预训练和微调方案，预训练的过程具有更广的适应性，微调方案则充分与领域相关，可以提取出既通用又具有特定场景含义的视觉特征；第三，图注意力网络充分挖掘了服装属性之间的内在联系，有效地解决了如何定性定量表征服装属性关系的问题，提取的关系特征可以进一步改善网络的识别准确率；第四，将视觉特征与关系特征进行特征融合这一操作，解决了属性关系如何影响属性识别结果的问题，大大提升了网络在面对细粒度分类问题时的模型性能。
附图说明
图1是本发明实施例的一种基于图注意力网络的服装属性识别方法总体流程图；
图2是本发明实施例的一种基于图注意力网络的服装属性识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术发明进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种基于图注意力网络的服装属性识别方法总体流程图，如图1所示，该方法包括：
S1，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；
S2，从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；
S3，将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；
S4，将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；
S5，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；
S6，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；
S7，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；
S8，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络。
S9，输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。
步骤S1，具体如下：
S1-1：本发明选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性。相似关系可表示为：
Figure BDA0003130435900000101
从属关系可表示为：
Figure BDA0003130435900000102
式中vi,uj表示不同属性值，V,U分别表示vi,uj从属的属性集合，T表示相似变换系数。
S1-2：构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0。
S1-3：为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。
步骤S2，具体如下：
S2-1：服装数据集来源于服装购物网站。将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸。此外，还对每一次的输入图像进行随机旋转角度等数据增强手段。
步骤S3，具体如下：
S3-1：将输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的视觉特征。
S3-2：选用ResNet-50作为模型的骨架网络。该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本网络最后一层的全连接层没有被加入网络中。
步骤S4，具体如下：
S4-1：将S3中的到的视觉特征再分别经过M个全连接层，分别为每个属性组提取对应属性的视觉特征。
S4-2：M为属性组的个数，分出的每一个分支就是一个属性识别网络。
步骤S5，具体如下：
S5-1：将S4中的属性视觉特征进行转化、切片分割，得到每一属性值的视觉特征。
S5-2：这里的服装属性指大范畴的属性概念，例如颜色、款式、领口设计等等；而属性值指的是具体某一属性的类别，例如颜色属性具有红色、绿色等属性值。
S5-3：属性的视觉特征可表示为
Figure BDA0003130435900000111
其中ni表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度。分割后的属性值可表示为Vi,j∈R1×N。Vi,j可通过如下公式计算：
Figure BDA0003130435900000112
步骤S6，具体如下：
S6-1：将S5得到的属性值视觉特征输入至属性关系图注意力网络中，得到每一属性的关系特征。
S6-2：每一个分支的属性关系无向图都是不同的。在每一无向图中，每一个节点代表一个属性值，节点的值代表了该属性值具有的视觉特征Vi,j。如果两个节点即属性值存在某种联系，那么在这个无向图中这两个节点就是相邻的，即无向图的边表示属性值之间是否存在联系。
S6-3：每一个分支得到的关系特征Ri可表示为：
Figure BDA0003130435900000121
Ri＝[Ri,1,Ri,2,...,Ri,K]
其中Ri代表关系特征，σ是sigmoid激活函数，Ni是与第i个节点相邻的节点序号集合，Wk是线性连接网络的参数矩阵，Vj代表与当前节点相连的第j个视觉特征，
Figure BDA0003130435900000122
代表第i个节点与第j个节点之间的第k个注意力函数。/>
Figure BDA0003130435900000123
可通过如下公式计算：
Figure BDA0003130435900000124
式中W和W′分别代表模型中不同的参数。
步骤S7，具体如下：
S7-1：将S5得到的视觉特征与S6得到的关系特征进行特征融合后，输入至属性分类器中得到最终的属性识别分类结果。本发明设置S6得到的属性关系特征维度与S5的视觉特征维度相同。
S7-2：本技术方案的分类器与其他一般的分类器不同。一般的属性分类器输入的是整个属性的特征，然后将这整个特征输入到一个全连接网络中。最终输出的每个类别的得分函数都与整个特征的维度有关联。而本发明由于分别生成了某一属性内的每个属性值特征，因此将属性值的融合特征作为输入，送至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分。输出的属性类别预测得分计算公式如下：
si,j＝σ(FCi,j[Vi,j,Ri,j])
其中Ri代表关系特征，σ是sigmoid激活函数，FCi,j表示针对属性值的局部全连接网络，si,j表示属性值的预测得分。
步骤S8，具体如下：
S8-1：网络中的每个分支分别计算损失函数，然后对每个分支的损失函数求和作为整个网络的损失函数。计算方法如下：
Figure BDA0003130435900000131
其中δ表示指示函数，
Figure BDA0003130435900000132
表示模型预测的第m个样本的第i个属性的属性值。/>
Figure BDA0003130435900000133
表示这批样本的标签。nbs表示批数据大小。/>
Figure BDA0003130435900000134
表示第i个属性被分类为/>
Figure BDA0003130435900000135
的后验概率，可由以下公式计算:
Figure BDA0003130435900000136
S8-2：损失函数收敛后，网络输出的各个属性的预测得分就代表着服装具有该属性值的概率大小，选取每一属性中概率最高的属性值即可代表该服装所具有的属性。
步骤S9，具体如下：
S9-1：输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。
相应地，本发明还提供了一种基于图注意力网络的服装属性识别系统，如图2所示，包括：
数据处理单元1，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理。
具体地，服装数据集来源于服装购物网站，本发明选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性，构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0，为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵，从所述服装数据集中筛选出输入图像与其对应的服装属性标签，将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸，对每一次的输入图像进行随机旋转角度等数据增强手段。
特征提取单元2，ResNet提取整体视觉特征，对其进行转化分割等操作得到属性值视觉特征，用属性关系图注意力网络提取关系特征，并进行特征融合。
具体地，选用ResNet-50作为模型的骨架网络，将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，将所述属性值视觉特征与所述属性的关系特征进行特征融合。
属性识别分类与网络训练单元3，将特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，并训练整个网络。
具体地，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络。
因此，本发明通过构建一种基于计算机视觉的服装属性识别技术的方案，挖掘服装属性之间的内在关系，获得更高的识别准确率，与传统的视觉表征方法相比，本发明使用了预训练和微调方案，具有更广的适应性，微调方案则充分与领域相关，可以提取出既通用又具有特定场景含义的视觉特征。同时，本发明使用图注意力网络充分挖掘了服装属性之间的内在联系，有效地解决了如何定性定量表征服装属性关系的问题，提取的关系特征可以进一步改善网络的识别准确率。本发明中的将视觉特征与关系特征进行特征融合这一操作，解决了属性关系如何影响属性识别结果的问题，大大提升了网络在面对细粒度分类问题时的模型性能。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种基于图注意力网络的服装属性识别方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述船舶识别方法的步骤。
以上对本发明实施例所提供的一种基于图注意力网络的服装属性识别方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种基于图注意力网络的服装属性识别方法，其特征在于，所述方法包括：
对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；
从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；
将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；
将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；
将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；
将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；
将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；
计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络；
输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果；
其中，所述对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，具体为：
服装数据集来源于服装购物网站；
选用从属关系以及相似关系作为影响服装属性识别结果的主要属性；
相似关系表示为：
Figure FDA0004222654440000021
从属关系表示为：
Figure FDA0004222654440000022
式中vi,uj表示不同属性值，V,U分别表示vi,uj从属的属性集合，T表示相似变换系数；
构建属性关系邻接矩阵，定性地建立属性之间的关系，如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0；
为相似关系以及从属关系分别构建邻接矩阵，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。
2.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理，具体为：
从所述服装数据集中筛选出输入图像与其对应的服装属性标签；
将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸；
对每一次的输入图像进行随机旋转角度数据增强手段。
3.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征，具体为：
选用ResNet-50作为模型的骨架网络；
该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本骨架网络最后一层的全连接层没有被加入骨架网络中；
将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征。
4.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，具体为：
服装属性指大范畴的属性概念，包括颜色、款式、领口设计；
属性值指的是具体某一属性的类别，即颜色属性包括红色、绿色的属性值；
属性视觉特征表示为
Figure FDA0004222654440000031
其中ni表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度，分割后的属性值视觉特征表示为Vi,j∈R1×N，Vi,j通过如下公式计算：
Figure FDA0004222654440000032
属性值视觉特征维度设置为20。
5.如权利要求4所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果，具体为：
设置所述属性值视觉特征与所述属性的关系特征维度相同；
将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算公式如下：
si，j＝σ(FCi，j[Vi，j，Ri，j])
其中Ri,j代表属性的关系特征，σ是sigmoid激活函数，FCi,j表示针对属性值的局部全连接网络，si,j表示属性值的预测得分。
6.一种基于图注意力网络的服装属性识别系统，其特征在于，所述系统包括：
数据处理单元，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；
特征提取单元，利用预训练好的ResNet模型提取服装图像的整体视觉特征，将整体视觉特征再分别经过M个全连接层，为M个属性组提取对应的属性视觉特征，将属性视觉特征进行转化、切片分割得到属性值视觉特征，将属性值视觉特征输入至属性关系图注意力网络提取得到属性的关系特征；
属性识别分类与网络训练单元，将属性值视觉特征与属性的关系特征进行特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法进行训练，得到训练好的属性关系图注意力网络；输入待处理的服装图像到训练好的属性关系图注意力网络，获得需要的服装属性识别结果；
其中，所述数据处理单元中，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，具体为：
服装数据集来源于服装购物网站；
选用从属关系以及相似关系作为影响服装属性识别结果的主要属性；
相似关系表示为：
Figure FDA0004222654440000041
从属关系表示为：
Figure FDA0004222654440000042
式中vi,uj表示不同属性值，V,U分别表示vi,uj从属的属性集合，T表示相似变换系数；
构建属性关系邻接矩阵，定性地建立属性之间的关系，如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0；
为相似关系以及从属关系分别构建邻接矩阵，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。
7.如权利要求6所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述数据处理单元中，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理，具体为：
从所述服装数据集中筛选出输入图像与其对应的服装属性标签，将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸，对每一次的输入图像进行随机旋转角度数据增强手段。
8.如权利要求6所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述特征提取单元，选用ResNet-50作为模型的骨架网络，将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，将所述属性值视觉特征与所述属性的关系特征进行特征融合。
9.如权利要求6所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述属性识别分类与网络训练单元，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202110703933.7A 2021-06-24 2021-06-24 一种基于图注意力网络的服装属性识别方法与系统 Active CN113378962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110703933.7A CN113378962B (zh) 2021-06-24 2021-06-24 一种基于图注意力网络的服装属性识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110703933.7A CN113378962B (zh) 2021-06-24 2021-06-24 一种基于图注意力网络的服装属性识别方法与系统

Publications (2)

Publication Number Publication Date
CN113378962A CN113378962A (zh) 2021-09-10
CN113378962B true CN113378962B (zh) 2023-06-30

Family

ID=77578918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110703933.7A Active CN113378962B (zh) 2021-06-24 2021-06-24 一种基于图注意力网络的服装属性识别方法与系统

Country Status (1)

Country Link
CN (1) CN113378962B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022716B (zh) * 2021-11-29 2024-04-12 云南师范大学 一种基于注意力机制与图关系网络的服饰属性预测方法
CN114694012B (zh) * 2022-04-07 2023-10-20 哈尔滨理工大学 一种基于卷积神经网络的服装识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN111400527A (zh) * 2020-03-11 2020-07-10 北京工业大学 一种基于深度学习的服饰属性标签识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330451B (zh) * 2017-06-16 2020-06-26 西交利物浦大学 基于深度卷积神经网络的服装属性检索方法
CN108629367B (zh) * 2018-03-22 2022-04-26 中山大学 一种基于深度网络增强服装属性识别精度的方法
US11037035B2 (en) * 2019-06-04 2021-06-15 Beijing Institute Of Technology Multi-task learning incorporating dependencies method for bionic eye's face attribute recognition
CN111191718B (zh) * 2019-12-30 2023-04-07 西安电子科技大学 基于图注意力网络的小样本sar目标识别方法
CN111400525B (zh) * 2020-03-20 2023-06-16 中国科学技术大学 基于视觉组合关系学习的时尚服装智能搭配与推荐方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN111400527A (zh) * 2020-03-11 2020-07-10 北京工业大学 一种基于深度学习的服饰属性标签识别方法

Also Published As

Publication number Publication date
CN113378962A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN107766933B (zh) 一种解释卷积神经网络的可视化方法
CN108763216A (zh) 一种基于中文数据集的文本情感分析方法
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN113378962B (zh) 一种基于图注意力网络的服装属性识别方法与系统
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN112819065B (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN103258210B (zh) 一种基于字典学习的高清图像分类方法
CN108090472A (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN103106265A (zh) 相似图像分类方法及系统
CN111401149B (zh) 基于长短期时域建模算法的轻量级视频行为识别方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN114332473B (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN114092742B (zh) 一种基于多角度的小样本图像分类装置和方法
CN110533068B (zh) 一种基于分类卷积神经网络的图像对象识别方法
CN112016601A (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN110287879A (zh) 一种基于注意力机制的视频行为识别方法
CN114461890A (zh) 分层多模态的知识产权搜索引擎方法与系统
Akhlaghi et al. Farsi handwritten phone number recognition using deep learning
CN115240024A (zh) 一种联合自监督学习和半监督学习的地外图片分割方法和系统
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN104008177A (zh) 面向图像语义标注的规则库结构优化与生成方法及系统
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
CN117475431B (zh) 一种基于数字孪生技术的食品安全监管方法及系统
CN111814917B (zh) 一种存在模糊态的字轮图像数字识别方法
Hussein Fast learning neural network based on texture for Arabic calligraphy identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant