CN113378962A - 一种基于图注意力网络的服装属性识别方法与系统 - Google Patents

Abstract

本发明公开了一种基于图注意力网络的服装属性识别方法与系统。包括：对服装数据集的属性关系进行分析，构建属性关系邻接矩阵，从数据集中筛选出输入图像和对应的服装属性标签，进行数据增强处理，其次提取特征，包括提取服装图像的整体视觉特征、属性值视觉特征和属性的关系特征，最后将属性值视觉特征与属性的关系特征进行特征融合，输入至全接网络，输出属性类别预测得分，即属性识别分类结果，计算属性关系图注意力网络最终的输出结果与服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个属性关系图注意力网络。本发明基于计算机视觉的服装属性识别技术，使用图注意力网络充分挖掘属性的内在联系，提高网络识别准确率。

Description

一种基于图注意力网络的服装属性识别方法与系统

技术领域

本发明涉及计算机视觉、深度学习领域，具体涉及一种基于图注意力网络的服装属性识别方法、系统、设备及存储介质。

背景技术

在大数据时代，人工智能在各个行业都有着广泛的应用。在时尚分析领域，面对时尚潮流以及服装服饰的分析给人们的日常生活带来许多便利。在这些时尚分析任务中，服装的属性是定性、定量描述服装的重要时尚概念。服装属性识别技术是一个在时尚分析任务中的一个重要基础技术。通过对输入的服装图像进行识别，最终可以输出各种服装具有的语义属性，例如颜色、款式、领口的设计样式等等。目前随着深度学习技术的不断发展，服装属性识别技术也取得了许多重大的突破。一些大规模、细粒度的服装数据集的出现也极大加速了服装属性识别技术的法展。这些技术大多是利用这些服装数据集来训练深层的卷积神经网络，实现对各种服装属性的识别获取，但受限于相关深度学习技术的限制，最终获取的服装属性准确率无法满足人们的需求。

目前的现有技术之一是一种采用多任务分支的神经网络技术方案，该方案步骤如下：首先，对服装属性划分为许多组属性，例如颜色、形状、长度、款式等等不同的属性组；其次，为每一个属性组分配一个网络分支，一个分支完成一个属性组内部的属性识别任务；最后，定义一个联合的损失函数，将每个分支的损失函数进行平均，以此来训练整个网络。该方案的缺点为：没有考虑服装属性内部联系对最终属性识别准确率的影响，导致最终的识别准确率较低。

目前的现有技术之二是一种基于属性从属关系的神经网络技术方案，该方案步骤如下：首先，对服装属性划分为许多组属性，例如颜色、形状、长度、款式等等不同的属性组；其次，为划分出的属性组内部构建从属关系，例如对袖长这一属性的短袖、长袖属性归类为有袖属性，从而构建短袖、长袖属性从属于有袖属性的从属关系；最后，在定义损失函数的时候，添加一项父类属性的损失函数，目的是为了先准确识别父类的属性，从而进一步识别子类属性。该方案的缺点为：首先，服装的属性关系十分复杂，单一的从属关系无法完全表达出服装属性的内在联系；其次，对于属性关系对最终识别准确率的影响建模不到位，单纯在损失函数添加罚项只能用于处理从属关系。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于图注意力网络的服装属性识别方法。本发明解决的主要问题：一是没有考虑服装属性内部联系对最终属性识别准确率的影响，导致最终的识别准确率较低；二是单一的从属关系无法完全表达出服装属性的内在联系；三是最终识别准确率的影响建模不到位，单纯在损失函数添加罚项只能用于处理从属关系。

为了解决上述问题，本发明提出了一种基于图注意力网络的服装属性识别方法，所述方法包括：

对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；

从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；

将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；

将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；

将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；

将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；

将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；

计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络；

输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。

优选地，所述对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，具体为：

服装数据集来源于服装购物网站；

选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性；

相似关系可表示为：

从属关系可表示为：

式中v_i,u_j表示不同属性值，V,U分别表示v_i,u_j从属的属性集合，T表示相似变换系数；

构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0；

为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。

优选地，所述从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理，具体为：

从所述服装数据集中筛选出输入图像与其对应的服装属性标签；

将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸；

对每一次的输入图像进行随机旋转角度等数据增强手段。

优选地，所述将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征，具体为：

选用ResNet-50作为模型的骨架网络；

该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本骨架网络最后一层的全连接层没有被加入骨架网络中；

将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征。

优选地，所述将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，具体为：

服装属性指大范畴的属性概念，例如颜色、款式、领口设计等等；

属性值指的是具体某一属性的类别，例如颜色属性具有红色、绿色等属性值；

属性视觉特征可表示为

其中n_i表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度，分割后的属性值视觉特征可表示为V_i,j∈R^1×N，V_i,j可通过如下公式计算：

属性值视觉特征维度设置为20。

优选地，所述将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，具体为：

每一个分支的属性关系无向图都是不同的，在每一无向图中，每一个节点代表一个属性值，节点的值代表了该属性值具有的视觉特征V_i,j；

如果两个节点即属性值存在某种联系，那么在这个无向图中这两个节点就是相邻的，即无向图的边表示属性值之间是否存在联系；

每一个分支得到的关系特征R_i可表示为：

R_i＝[R_i,1,R_i,2,...,R_i,K]

其中R_i代表关系特征，σ是sigmoid激活函数，N_i是与第i个节点相邻的节点序号集合，W^k是线性连接网络的参数矩阵，V_j代表与当前节点相连的第j个视觉特征，

代表第i个节点与第j个节点之间的第k个注意力函数，

可通过如下公式计算：

式中W和W′分别代表模型中不同的参数。

优选地，所述将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果，具体为：

设置所述属性值视觉特征与所述属性的关系特征维度相同；

将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算公式如下：

s_i,j＝σ(FC_i,j[V_i,j,R_i,j])

其中R_i代表关系特征，σ是sigmoid激活函数，FC_i,j表示针对属性值的局部全连接网络，s_i,j表示属性值的预测得分。

优选地，所述计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络，具体为：

所述属性关系图注意力网络中的每个分支分别计算损失函数，然后对每个分支的损失函数求和作为整个所述属性关系图注意力网络的损失函数，计算方法如下：

其中δ表示指示函数，

表示模型预测的第m个样本的第i个属性的属性值，

表示这批样本的标签，

表示批数据大小，

表示第i个属性被分类为

的后验概率，可由以下公式计算：

损失函数收敛后，所述属性关系图注意力网络输出的各个属性的预测得分就代表着服装具有该属性值的概率大小，选取每一属性中概率最高的属性值即可代表该服装所具有的属性。

相应地，本发明还提供了一种基于图注意力网络的服装属性识别系统，包括：

数据处理单元，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；

特征提取单元，ResNet提取整体视觉特征，对其进行转化分割等操作得到属性值视觉特征，用属性关系图注意力网络提取关系特征，并进行特征融合；

属性识别分类与网络训练单元，将特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，并训练整个网络。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述一种基于图注意力网络的服装属性识别方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于图注意力网络的服装属性识别方法的步骤。

实施本发明，具有如下有益效果：

第一，充分挖掘了服装属性之间内在关系，获得了更高的识别准确率；第二，使用了预训练和微调方案，预训练的过程具有更广的适应性，微调方案则充分与领域相关，可以提取出既通用又具有特定场景含义的视觉特征；第三，图注意力网络充分挖掘了服装属性之间的内在联系，有效地解决了如何定性定量表征服装属性关系的问题，提取的关系特征可以进一步改善网络的识别准确率；第四，将视觉特征与关系特征进行特征融合这一操作，解决了属性关系如何影响属性识别结果的问题，大大提升了网络在面对细粒度分类问题时的模型性能。

附图说明

图1是本发明实施例的一种基于图注意力网络的服装属性识别方法总体流程图；

图2是本发明实施例的一种基于图注意力网络的服装属性识别系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术发明进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的一种基于图注意力网络的服装属性识别方法总体流程图，如图1所示，该方法包括：

S1，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；

S2，从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；

S3，将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；

S4，将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；

S5，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；

S6，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；

S7，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；

S8，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络。

S9，输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。

步骤S1，具体如下：

S1-1：本发明选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性。相似关系可表示为：

从属关系可表示为：

式中v_i,u_j表示不同属性值，V,U分别表示v_i,u_j从属的属性集合，T表示相似变换系数。

S1-2：构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0。

S1-3：为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。

步骤S2，具体如下：

S2-1：服装数据集来源于服装购物网站。将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸。此外，还对每一次的输入图像进行随机旋转角度等数据增强手段。

步骤S3，具体如下：

S3-1：将输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的视觉特征。

S3-2：选用ResNet-50作为模型的骨架网络。该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本网络最后一层的全连接层没有被加入网络中。

步骤S4，具体如下：

S4-1：将S3中的到的视觉特征再分别经过M个全连接层，分别为每个属性组提取对应属性的视觉特征。

S4-2：M为属性组的个数，分出的每一个分支就是一个属性识别网络。

步骤S5，具体如下：

S5-1：将S4中的属性视觉特征进行转化、切片分割，得到每一属性值的视觉特征。

S5-2：这里的服装属性指大范畴的属性概念，例如颜色、款式、领口设计等等；而属性值指的是具体某一属性的类别，例如颜色属性具有红色、绿色等属性值。

S5-3：属性的视觉特征可表示为

其中n_i表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度。分割后的属性值可表示为V_i,j∈R^1×N。V_i,j可通过如下公式计算：

步骤S6，具体如下：

S6-1：将S5得到的属性值视觉特征输入至属性关系图注意力网络中，得到每一属性的关系特征。

S6-2：每一个分支的属性关系无向图都是不同的。在每一无向图中，每一个节点代表一个属性值，节点的值代表了该属性值具有的视觉特征V_i,j。如果两个节点即属性值存在某种联系，那么在这个无向图中这两个节点就是相邻的，即无向图的边表示属性值之间是否存在联系。

S6-3：每一个分支得到的关系特征R_i可表示为：

R_i＝[R_i,1,R_i,2,...,R_i,K]

其中R_i代表关系特征，σ是sigmoid激活函数，N_i是与第i个节点相邻的节点序号集合，W^k是线性连接网络的参数矩阵，V_j代表与当前节点相连的第j个视觉特征，

代表第i个节点与第j个节点之间的第k个注意力函数。

可通过如下公式计算：

式中W和W′分别代表模型中不同的参数。

步骤S7，具体如下：

S7-1：将S5得到的视觉特征与S6得到的关系特征进行特征融合后，输入至属性分类器中得到最终的属性识别分类结果。本发明设置S6得到的属性关系特征维度与S5的视觉特征维度相同。

S7-2：本技术方案的分类器与其他一般的分类器不同。一般的属性分类器输入的是整个属性的特征，然后将这整个特征输入到一个全连接网络中。最终输出的每个类别的得分函数都与整个特征的维度有关联。而本发明由于分别生成了某一属性内的每个属性值特征，因此将属性值的融合特征作为输入，送至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分。输出的属性类别预测得分计算公式如下：

s_i,j＝σ(FC_i,j[V_i,j,R_i,j])

其中R_i代表关系特征，σ是sigmoid激活函数，FC_i,j表示针对属性值的局部全连接网络，s_i,j表示属性值的预测得分。

步骤S8，具体如下：

S8-1：网络中的每个分支分别计算损失函数，然后对每个分支的损失函数求和作为整个网络的损失函数。计算方法如下：

其中δ表示指示函数，

表示模型预测的第m个样本的第i个属性的属性值。

表示这批样本的标签。n_bs表示批数据大小。

表示第i个属性被分类为

的后验概率，可由以下公式计算:

S8-2：损失函数收敛后，网络输出的各个属性的预测得分就代表着服装具有该属性值的概率大小，选取每一属性中概率最高的属性值即可代表该服装所具有的属性。

步骤S9，具体如下：

S9-1：输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。

相应地，本发明还提供了一种基于图注意力网络的服装属性识别系统，如图2所示，包括：

数据处理单元1，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理。

具体地，服装数据集来源于服装购物网站，本发明选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性，构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0，为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵，从所述服装数据集中筛选出输入图像与其对应的服装属性标签，将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸，对每一次的输入图像进行随机旋转角度等数据增强手段。

特征提取单元2，ResNet提取整体视觉特征，对其进行转化分割等操作得到属性值视觉特征，用属性关系图注意力网络提取关系特征，并进行特征融合。

具体地，选用ResNet-50作为模型的骨架网络，将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，将所述属性值视觉特征与所述属性的关系特征进行特征融合。

属性识别分类与网络训练单元3，将特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，并训练整个网络。

具体地，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络。

因此，本发明通过构建一种基于计算机视觉的服装属性识别技术的方案，挖掘服装属性之间的内在关系，获得更高的识别准确率，与传统的视觉表征方法相比，本发明使用了预训练和微调方案，具有更广的适应性，微调方案则充分与领域相关，可以提取出既通用又具有特定场景含义的视觉特征。同时，本发明使用图注意力网络充分挖掘了服装属性之间的内在联系，有效地解决了如何定性定量表征服装属性关系的问题，提取的关系特征可以进一步改善网络的识别准确率。本发明中的将视觉特征与关系特征进行特征融合这一操作，解决了属性关系如何影响属性识别结果的问题，大大提升了网络在面对细粒度分类问题时的模型性能。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种基于图注意力网络的服装属性识别方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述船舶识别方法的步骤。

以上对本发明实施例所提供的一种基于图注意力网络的服装属性识别方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种基于图注意力网络的服装属性识别方法，其特征在于，所述方法包括：

对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵；

从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；

将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征；

将所述整体视觉特征再分别经过M个全连接层，为M个所述属性组提取对应的属性视觉特征，分出的每一个分支就是一个属性识别网络；

将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征；

将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征；

将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果；

计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络；

输入待处理的服装图像到所述训练好的属性关系图注意力网络，获得需要的服装属性识别结果。

2.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，具体为：

服装数据集来源于服装购物网站；

选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性；

相似关系可表示为：

从属关系可表示为：

式中v_i,u_j表示不同属性值，V,U分别表示v_i,u_j从属的属性集合，T表示相似变换系数；

构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0；

为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵。

3.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述从所述服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理，具体为：

从所述服装数据集中筛选出输入图像与其对应的服装属性标签；

将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸；

对每一次的输入图像进行随机旋转角度等数据增强手段。

4.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述输入图像输入到在图像分类数据集ImageNet上预训练好的ResNet模型中，提取服装图像的整体视觉特征，具体为：

选用ResNet-50作为模型的骨架网络；

该网络具有50层网络层结构，最后一层输出的特征维度为2048，原本骨架网络最后一层的全连接层没有被加入骨架网络中；

将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征。

5.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，具体为：

服装属性指大范畴的属性概念，例如颜色、款式、领口设计等等；

属性值指的是具体某一属性的类别，例如颜色属性具有红色、绿色等属性值；

属性视觉特征可表示为

其中n_i表示第i个属性所具有的属性值个数，N表示属性值的视觉特征维度，分割后的属性值视觉特征可表示为V_i,j∈R^1×N，V_i,j可通过如下公式计算：

性值视觉特征维度设置为20。

6.如权利要求1所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，具体为：

每一个分支的属性关系无向图都是不同的，在每一无向图中，每一个节点代表一个属性值，节点的值代表了该属性值具有的视觉特征V_i,j；

如果两个节点即属性值存在某种联系，那么在这个无向图中这两个节点就是相邻的，即无向图的边表示属性值之间是否存在联系；

每一个分支得到的关系特征R_i可表示为：

R_i＝[R_i,1,R_i,2,...,R_i,K]

其中R_i代表关系特征，σ是sigmoid激活函数，N_i是与第i个节点相邻的节点序号集合，W^k是线性连接网络的参数矩阵，V_j代表与当前节点相连的第j个视觉特征，

代表第i个节点与第j个节点之间的第k个注意力函数，

可通过如下公式计算：

式中W和W′分别代表模型中不同的参数。

7.如权利要求5或6所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至属性分类器中，输出最终的属性识别分类结果，具体为：

设置所述属性值视觉特征与所述属性的关系特征维度相同；

将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算公式如下：

s_i,j＝σ(FC_i,j[V_i,j,R_i,j])

其中R_i代表关系特征，σ是sigmoid激活函数，FC_i,j表示针对属性值的局部全连接网络，s_i,j表示属性值的预测得分。

8.如权利要求7所述的一种基于图注意力网络的服装属性识别方法，其特征在于，所述计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络，得到训练好的属性关系图注意力网络，具体为：

所述属性关系图注意力网络中的每个分支分别计算损失函数，然后对每个分支的损失函数求和作为整个所述属性关系图注意力网络的损失函数，计算方法如下：

其中δ表示指示函数，

表示模型预测的第m个样本的第i个属性的属性值，

表示这批样本的标签，n_bs表示批数据大小，P_i ^(m)表示第i个属性被分类为v_i ^(m)的后验概率，可由以下公式计算：

损失函数收敛后，所述属性关系图注意力网络输出的各个属性的预测得分就代表着服装具有该属性值的概率大小，选取每一属性中概率最高的属性值即可代表该服装所具有的属性。

9.一种基于图注意力网络的服装属性识别系统，其特征在于，所述系统包括：

数据处理单元，对服装数据集的属性关系进行分析，为每个不同的属性组构建属性关系邻接矩阵，从服装数据集中筛选出输入图像与其对应的服装属性标签，并将输入图像进行统一尺寸和数据增强处理；

特征提取单元，ResNet提取整体视觉特征，对其进行转化分割等操作得到属性值视觉特征，用属性关系图注意力网络提取关系特征，并进行特征融合；

属性识别分类与网络训练单元，将特征融合后输入至属性分类器中，输出最终的属性识别分类结果，计算属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，并训练整个网络。

10.如权利要求9所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述数据处理单元，服装数据集来源于服装购物网站，本发明选用了从属关系以及相似关系作为影响服装属性识别结果的主要属性，构建属性关系邻接矩阵时，只需要定性地建立属性之间的关系，即如果这两个属性存在联系，则邻接矩阵的值设为1，否则设为0，为相似关系以及从属关系分别构建了邻接矩阵后，将这两个邻接矩阵进行与操作得到最终的属性关系邻接矩阵，从所述服装数据集中筛选出输入图像与其对应的服装属性标签，将原始的输入图像运用中心等比例切割和等比例缩放的方式处理成统一尺寸，对每一次的输入图像进行随机旋转角度等数据增强手段。

11.如权利要求9所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述特征提取单元，选用ResNet-50作为模型的骨架网络，将所述输入图像输入到预训练好的ResNet模型中，提取服装图像的整体视觉特征，将所述属性视觉特征进行转化、切片分割，得到属性值视觉特征，将所述属性值视觉特征输入至属性关系图注意力网络中，得到属性的关系特征，将所述属性值视觉特征与所述属性的关系特征进行特征融合。

12.如权利要求9所述的一种基于图注意力网络的服装属性识别系统，其特征在于，所述属性识别分类与网络训练单元，将所述属性值视觉特征与所述属性的关系特征进行特征融合后，输入至一个全连接网络，这一网络的输出维度为1，代表这一属性值(即类别)的预测得分，输出的属性类别预测得分，即属性识别分类结果，计算所述属性关系图注意力网络最终的输出结果与所述服装属性标签交叉熵损失函数，利用梯度下降的方法训练整个所述属性关系图注意力网络。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images