CN111767925A - 物品图片的特征提取和处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供一种物品图片的特征提取和处理方法、装置、设备和存储介质，该方法包括：获取待处理的物品图片的标注信息，其中，标注信息表征物品的标注特征；根据标注信息和物品图片，确定物品图片的图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征；根据图片特征对物品图片进行预设处理，得到处理结果。所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。简单描述主要技术方案，分析效果。

Description

物品图片的特征提取和处理方法、装置、设备和存储介质

技术领域

本申请实施例涉及互联网技术领域，尤其涉及一种物品图片的特征提取和处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，越来越多的物品图片的形式展示给用户，使得用户观看物品的具体情况、或者进行物品的购买等等。随着物品图片的数量不断增加，基于物品图片的视觉特征，对物品特性和用户特性进行挖掘，也越来越重要；例如，基于物品图片的视觉特征，挖掘用户偏好、进行广告率分析、等等。

现有技术中，可以提取物品图片的图像特征，基于图像特征完成物品图片的处理，例如，进行图片聚类、广告点击率的计算、个性化推荐、等等。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：基于物品图片提取到的特征，只能是图片的图像特征，该图像特征不能准确、完整的表达出物品图片的更多的特征；进而基于图像特征对物品图片的处理，所得到的结果，是不够准确的。

发明内容

本申请实施例提供一种物品图片的特征提取和处理方法、装置、设备和存储介质，用以解决图像特征不能准确、完整的表达出物品图片的更多的特征，所得到的结果不够准确的问题。

第一方面，本申请实施例提供一种物品图片的特征提取和处理方法，包括：

获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；

根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

该实施例具有如下优点或者有益效果：物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。

在可选的一种实施方式中，根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，包括：对所述物品图片进行特征提取，得到所述物品的特征图，其中，所述特征图用于表征所述物品图片的图像特征信息；根据所述标注信息对所述特征图进行调整，得到图片特征。由于特征标注表征出了物品图片的先验知识，为了不丢失这一重要的特征，可以采用特征标注，对图像特征信息进行调整，增加图片特征的准确性，使得图片特征中具有更多的内容和信息。

在可选的一种实施方式中，根据所述标注信息对所述特征图进行调整，得到图片特征，包括：根据预设的标注信息与特征标注库，确定与标注信息对应的特征标注，其中，所述特征标注库中包括与不同的标注信息对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；根据与标注信息对应的特征标注，对所述特征图进行调整，得到所述图片特征。标注通道信息表征出物品类别的各个通道的特征，标注空间信息表征出物品类别的各个空间的特征；可以设置一个特征标注库，在需要确定与标注信息对应的特征标注的时候，可以从特征标注库进行查询，不需要重新生成特征标注，可以加快图片特征提取的速度，加快图片处理的速度。

在可选的一种实施方式中，根据与标注信息对应的特征标注，对所述特征图进行调整，得到所述图片特征，包括：

重复执行以下过程，直至达到第一预设条件：根据获取到的标注通道信息，对获取到的特征图进行处理，得到第一特征图张量，其中，所述第一特征图张量中具有标注通道信息的特征信息、以及获取到的特征图的特征信息；根据获取到的标注空间信息，对所述第一特征图张量进行处理，得到第二特征图张量，其中，所述第二特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的特征图的特征信息；确定所述第二特征图张量为获取到的特征图；

其中，达到所述第一预设条件时所得到的第二特征图张量，为所述图片特征。

在特征图中依次加入标注通道信息、标注空间信息，使得特征图中具有标注通道信息和标注空间信息。

在可选的一种实施方式中，获取待处理的物品图片的标注信息，包括：获取展示平台上所显示的所述标注信息，其中，所述展示平台为用于显示所述物品图片的平台。由于展示平台上可以显示物品图片以及物品图片的标注信息，在分析物品图片的时候，可以同时获取物品图片以及物品图片的标注信息，标注信息是物品的先验知识，可以利用标注信息提升图片特征提取的准确性。

在可选的一种实施方式中，所述标注信息具有特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；

所述方法，还包括：

获取待训练图片的待训练特征图，其中，所述待训练图片与所述物品图片归属于同一物品类别，所述待训练特征图中用于表征所述待训练图片的图像特征信息；

根据所述待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与所述标注信息对应的特征标注。

依据训练的方式，提前建立起特征标注，进而便于在处理的物品图片时，可以直接利用所得到的特征标注，去处理物品图片的特征图，提升特征提取的准确性。

在可选的一种实施方式中，根据所述待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与所述标注信息对应的特征标注，包括：

重复执行以下各步骤，直至达到第二预设条件：

根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，其中，所述第三特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的待训练特征图的特征信息；

采用预估模型对所述第三特征图张量进行预估处理，得到得到预估值，其中，预估值表征了采用第三特征图张量进行所述预设处理之后的预估信息；

若未达到所述第二预设条件，则根据所述预估值对初始的标注通道信息和初始的标注空间信息进行调整，得到调整后的标注通道信息、调整后的标注空间信息；并确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并确定所述第三特征图张量为待训练特征图；

其中，与所述标注信息对应的标注通道信息，为达到所述第二预设条件时所得到的标注通道信息；与所述标注信息对应的标注空间信息，为达到所述第二预设条件时所得到的标注空间信息。

通过以上过程，可以较为准确的得到与标注信息对应的特征标注。

在可选的一种实施方式中，根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，包括：

根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，其中，所述第四特征图张量中具有标注通道信息的特征信息、以及获取到的待训练特征图的特征信息；

根据初始的标注空间信息，对所述第四特征图张量进行处理，得到所述第三特征图张量。

依次在待训练特征图中加入标注通道信息、标注空间信息，进而得到可以体现物品更新信息和内容的第三特征图张量，该第三特征图张量可以用于后续的训练过程，以对标注通道信息、标注空间信息进行训练。

在可选的一种实施方式中，根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，包括：

压缩掉待训练特征图中的空间维度信息，得到待训练特征图的第一特征信息和第二特征信息，其中，第一特征信息表征抑制噪声后的通道维度信息，第二特征信息表征平滑后的通道维度信息；

将初始的标注通道信息与第一特征信息进行拼接，得到第三特征信息，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息；并将初始的标注通道信息与第二特征信息进行拼接，得到第四特征信息，第四特征信息为平滑后的具有标注通道信息的通道维度信息；

去除第三特征信息中的预设通道信息，并去除第四特征信息中的预设通道信息，其中，预设通道信息的影响力因子小于预设因子；

根据去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息，确定通道注意力信息，其中，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息；

将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量。

通过以上方式，压缩掉待训练特征图中的空间维度信息，进而可以便于对待训练特征图中的通道维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注通道信息，得到可以体现物品更新信息和内容的第四特征图张量。

在可选的一种实施方式中，在将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量之前，还包括：

将所述通道注意力信息进行维度处理，得到处理后的通道注意力信息，其中，处理后的通道注意力信息的维度、待训练特征图的维度两者相同。由于通道注意力信息的维度和待训练特征图的维度是不同的，需要将通道注意力信息的维度与待训练特征图的维度进行统一。

在可选的一种实施方式中，根据初始的标注空间信息，对所述第四特征图张量进行处理，得到所述第三特征图张量，包括：

压缩掉所述第四特征图张量中的通道维度信息，得到待训练特征图的第五特征信息和第六特征信息，其中，第五特征信息表征抑制噪声后的空间维度信息，第六特征信息表征平滑后的空间维度信息；

将初始的标注空间信息、所述第五特征信息、以及所述第六特征信息进行拼接，得到第七特征信息，其中，所述第七特征信息为具有标注空间信息的空间维度信息；

去除所述第七特征信息中的预设空间信息，其中，预设空间信息的影响力因子小于预设因子，得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息；

将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量。

通过以上方式，压缩掉待训练特征图中的通道维度信息，进而可以便于对待训练特征图中的空间维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注空间信息，得到可以体现物品更新信息和内容的第三特征图张量。

在可选的一种实施方式中，在将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量之前，还包括：

将所述空间注意力信息进行维度处理，得到处理后的空间注意力信息，其中，处理后的空间注意力信息的维度、待训练特征图的维度两者相同。

由于空间注意力信息的维度和待训练特征图的维度是不同的，需要将空间注意力信息的维度与待训练特征图的维度进行统一。

在可选的一种实施方式中，根据所述预估值对初始的标注通道信息和初始的标注空间信息进行调整，包括：

根据所述预估值与预设值，确定损失值，其中，损失值表征了所述预估值与预设值之间的差值；若所述损失值大于等于预设阈值，则调整初始的标注通道信息和初始的标注空间信息。

在确定损失值大于等于预设阈值时，则确定还没有得到准确的标注通道信息和标注空间信息，还需要对标注通道信息和标注空间信息进行调整；通过以上循环过程，可以得到准备的标注通道信息和标注空间信息。

在可选的一种实施方式中，所述标注信息包括以下的任意一种或多种：物品类目信息、相关链接信息、物品详解信息；其中，所述物品类目信息包括物品的至少一个类目级别。标注信息可以体现出物品以及不同物品类别的先验知识。

在可选的一种实施方式中，所述处理结果包括以下的任意一种或多种：广告点击率、检索结果的排序、个性化推荐信息、物品聚类结果、物品搭配结果。从而，在得到准确的图片特征之后，可以对图片特征进行多种处理。

第二方面，本申请实施例提供一种物品图片的特征提取和处理方法，包括

获取展示平台上所显示的物品图片，并获取所述展示平台上所显示的所述物品图片的标注信息，其中，所述展示平台为用于显示所述物品图片的平台；

根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

根据所述图片特征对所述物品图片进行预设处理，得到处理结果，并在所述展示平台上显示所述处理结果。

该实施例具有如下优点或者有益效果：获取展示平台上所显示的物品图片和标注信息，物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。并且将处理结果显示到展示平台上，便于用户观看处理结果。

第三方面，本申请实施例提供一种物品图片的特征提取和处理装置，包括：

第一获取单元，用于获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；

确定单元，用于根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

第一处理单元，用于根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

该实施例具有如下优点或者有益效果：物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。

在可选的一种实施方式中，所述确定单元，包括：

提取模块，用于对所述物品图片进行特征提取，得到所述物品的特征图，其中，所述特征图用于表征所述物品图片的图像特征信息；

调整模块，用于根据所述标注信息对所述特征图进行调整，得到图片特征。

由于特征标注表征出了物品图片的先验知识，为了不丢失这一重要的特征，可以采用特征标注，对图像特征信息进行调整，增加图片特征的准确性，使得图片特征中具有更多的内容和信息。

在可选的一种实施方式中，所述调整模块，包括：

确定子模块，用于根据预设的标注信息与特征标注库，确定与标注信息对应的特征标注，其中，所述特征标注库中包括与不同的标注信息对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；

调整子模块，用于根据与标注信息对应的特征标注，对所述特征图进行调整，得到所述图片特征。

标注通道信息表征出物品类别的各个通道的特征，标注空间信息表征出物品类别的各个空间的特征；可以设置一个特征标注库，在需要确定与标注信息对应的特征标注的时候，可以从特征标注库进行查询，不需要重新生成特征标注，可以加快图片特征提取的速度，加快图片处理的速度。

在可选的一种实施方式中，所述调整子模块，具体用于：

重复执行以下过程，直至达到第一预设条件：根据获取到的标注通道信息，对获取到的特征图进行处理，得到第一特征图张量，其中，所述第一特征图张量中具有标注通道信息的特征信息、以及获取到的特征图的特征信息；根据获取到的标注空间信息，对所述第一特征图张量进行处理，得到第二特征图张量，其中，所述第二特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的特征图的特征信息；确定所述第二特征图张量为获取到的特征图；

其中，达到所述第一预设条件时所得到的第二特征图张量，为所述图片特征。

在特征图中依次加入标注通道信息、标注空间信息，使得特征图中具有标注通道信息和标注空间信息。

在可选的一种实施方式中，所述第一获取单元，具体用于：

获取展示平台上所显示的所述标注信息，其中，所述展示平台为用于显示所述物品图片的平台。由于展示平台上可以显示物品图片以及物品图片的标注信息，在分析物品图片的时候，可以同时获取物品图片以及物品图片的标注信息，标注信息是物品的先验知识，可以利用标注信息提升图片特征提取的准确性。

在可选的一种实施方式中，所述标注信息具有特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；

所述装置，还包括：

第二获取单元，用于获取待训练图片的待训练特征图，其中，所述待训练图片与所述物品图片归属于同一物品类别，所述待训练特征图中用于表征所述待训练图片的图像特征信息；

第二处理单元，用于根据所述待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与所述标注信息对应的特征标注。

依据训练的方式，提前建立起特征标注，进而便于在处理的物品图片时，可以直接利用所得到的特征标注，去处理物品图片的特征图，提升特征提取的准确性。

在可选的一种实施方式中，所述第二处理单元，包括：

执行模块，用于重复执行以下各步骤，直至达到第二预设条件：

第一处理模块，用于根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，其中，所述第三特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的待训练特征图的特征信息；

第二处理模块，用于采用预估模型对所述第三特征图张量进行预估处理，得到得到预估值，其中，预估值表征了采用第三特征图张量进行所述预设处理之后的预估信息；

第三处理模块，用于若未达到所述第二预设条件，则根据所述预估值对初始的标注通道信息和初始的标注空间信息进行调整，得到调整后的标注通道信息、调整后的标注空间信息；并确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并确定所述第三特征图张量为待训练特征图；

其中，与所述标注信息对应的标注通道信息，为达到所述第二预设条件时所得到的标注通道信息；与所述标注信息对应的标注空间信息，为达到所述第二预设条件时所得到的标注空间信息。

通过以上过程，可以较为准确的得到与标注信息对应的特征标注。

在可选的一种实施方式中，所述第一处理模块，包括：

第一处理子模块，用于根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，其中，所述第四特征图张量中具有标注通道信息的特征信息、以及获取到的待训练特征图的特征信息；

第二处理子模块，用于根据初始的标注空间信息，对所述第四特征图张量进行处理，得到所述第三特征图张量。

依次在待训练特征图中加入标注通道信息、标注空间信息，进而得到可以体现物品更新信息和内容的第三特征图张量，该第三特征图张量可以用于后续的训练过程，以对标注通道信息、标注空间信息进行训练。

在可选的一种实施方式中，所述第一处理子模块，具体用于：

压缩掉待训练特征图中的空间维度信息，得到待训练特征图的第一特征信息和第二特征信息，其中，第一特征信息表征抑制噪声后的通道维度信息，第二特征信息表征平滑后的通道维度信息；

将初始的标注通道信息与第一特征信息进行拼接，得到第三特征信息，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息；并将初始的标注通道信息与第二特征信息进行拼接，得到第四特征信息，第四特征信息为平滑后的具有标注通道信息的通道维度信息；

去除第三特征信息中的预设通道信息，并去除第四特征信息中的预设通道信息，其中，预设通道信息的影响力因子小于预设因子；

根据去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息，确定通道注意力信息，其中，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息；

将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量。

通过以上方式，压缩掉待训练特征图中的空间维度信息，进而可以便于对待训练特征图中的通道维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注通道信息，得到可以体现物品更新信息和内容的第四特征图张量。

在可选的一种实施方式中，所述第一处理子模块，还用于在将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量之前，将所述通道注意力信息进行维度处理，得到处理后的通道注意力信息，其中，处理后的通道注意力信息的维度、待训练特征图的维度两者相同。由于通道注意力信息的维度和待训练特征图的维度是不同的，需要将通道注意力信息的维度与待训练特征图的维度进行统一。

在可选的一种实施方式中，所述第二处理子模块，具体用于：

压缩掉所述第四特征图张量中的通道维度信息，得到待训练特征图的第五特征信息和第六特征信息，其中，第五特征信息表征抑制噪声后的空间维度信息，第六特征信息表征平滑后的空间维度信息；

将初始的标注空间信息、所述第五特征信息、以及所述第六特征信息进行拼接，得到第七特征信息，其中，所述第七特征信息为具有标注空间信息的空间维度信息；

去除所述第七特征信息中的预设空间信息，其中，预设空间信息的影响力因子小于预设因子，得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息；

将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量。

通过以上方式，压缩掉待训练特征图中的通道维度信息，进而可以便于对待训练特征图中的空间维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注空间信息，得到可以体现物品更新信息和内容的第三特征图张量。

在可选的一种实施方式中，所述第二处理子模块，还用于在将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量之前，将所述空间注意力信息进行维度处理，得到处理后的空间注意力信息，其中，处理后的空间注意力信息的维度、待训练特征图的维度两者相同。

由于空间注意力信息的维度和待训练特征图的维度是不同的，需要将空间注意力信息的维度与待训练特征图的维度进行统一。

在可选的一种实施方式中，所述第三处理模块，具体用于：

根据所述预估值与预设值，确定损失值，其中，损失值表征了所述预估值与预设值之间的差值；

若所述损失值大于等于预设阈值，则调整初始的标注通道信息和初始的标注空间信息。

在确定损失值大于等于预设阈值时，则确定还没有得到准确的标注通道信息和标注空间信息，还需要对标注通道信息和标注空间信息进行调整；通过以上循环过程，可以得到准备的标注通道信息和标注空间信息。

在可选的一种实施方式中，所述标注信息包括以下的任意一种或多种：物品类目信息、相关链接信息、物品详解信息；其中，所述物品类目信息包括物品的至少一个类目级别。标注信息可以体现出物品以及不同物品类别的先验知识。

在可选的一种实施方式中，所述处理结果包括以下的任意一种或多种：广告点击率、检索结果的排序、个性化推荐信息、物品聚类结果、物品搭配结果。从而，在得到准确的图片特征之后，可以对图片特征进行多种处理。

第四方面，本申请实施例提供一种计算机设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面以及第一方面的任一实施方式提供的物品图片的特征提取和处理方法，或者用于实现现第二方面提供的物品图片的特征提取和处理方法。

本申请实施例提供的物品图片的特征提取和处理方法、装置、设备和存储介质，物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种物品图片的特征提取和处理方法的流程图；

图2为本申请实施例提供的场景示意图一；

图3为本申请实施例提供的场景示意图二；

图4为本申请实施例提供的场景示意图三；

图5为本申请实施例提供的另一种物品图片的特征提取和处理方法的流程图；

图6为本申请实施例提供的应用场景示意图四；

图7为本申请实施例提供的又一种物品图片的特征提取和处理方法的流程图；

图8为本申请实施例提供的又一种物品图片的特征提取和处理方法中的步骤302的流程图；

图9为本申请实施例提供的标注通道信息的处理过程的示意图；

图10为本申请实施例提供的标注空间信息的处理过程的示意图；

图11为本申请实施例提供的标注通道信息和标注空间信息的处理过程的示例图；

图12为本申请实施例提供的再一种物品图片的特征提取和处理方法的流程图；

图13为本申请实施例提供的一种物品图片的特征提取和处理装置的结构示意图；

图14为本申请实施例提供的另一种物品图片的特征提取和处理装置的结构示意图；

图15为本申请实施例提供的又一种物品图片的特征提取和处理装置的结构示意图；

图16是根据一示例性实施例示出的一种计算机设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

随着互联网技术的发展，越来越多的物品图片的形式展示给用户，使得用户观看物品的具体情况、或者进行物品的购买等等。例如，在互联网中，可以将物品图片提供中终端设备进行显示。

物品图片中具有视觉特征，即，具有细节的、直观的物品信息。从而，可以提取物品图片中的丰富的视觉特征，即，得到物品图片的图像特征；然后，基于基于图像特征完成物品图片的处理，例如，对物品特性和用户特性进行挖掘的需求。举例来说，基于物品图片的视觉特征，对物品进行广告点击率(Click Through Rate，简称CTR)预测、对物品进行检索结果排序、对物品进行自动聚类处理、等等；或者，基于物品图片的视觉特征，挖掘用户偏好、进行物品的个性化推荐、等等。

举例来说，在互联网中，互联网上所展示的商品具有商品图片，此时，物品图片为商品图片；商品图片可以表达出商品的视觉特征，例如颜色、纹理、尺寸比例等等。可以提取商品图片的图像特征。基于图像特征，对商品进行广告点击率预测，得到该商品的广告点击率；或者，基于多个商品的图像特征，对多个商品进行聚类，得到不同种类的商品；或者，基于多个商品的图像特征，对多个商品进行排序，得到排序后的商品，将最高级的商品推荐给用户。可知，基于商品图片，挖掘商品特性和用户偏好，是机器学习任务、电商技术产品的基本组成部分。

可知，本申请实施例具体的应用场景，可以是对物品图片进行分析。举例来说，在电商平台上显示商品图片，可以提取商品图片的图像特征；基于图像特征对商品进行广告点击率预测，得到该商品的广告点击率；或者，基于图像特征对多个商品进行聚类，得到不同种类的商品；或者，基于图像特征对商品与用户的匹配进行计算，得到商品与用户之间的匹配度。

在实现本申请过程中，会发现：基于物品图片提取到的特征，只能是图片的图像特征，该图像特征不能准确、完整的表达出物品图片的更多的特征；进而基于图像特征对物品图片的处理，所得到的结果，是不够准确的。例如，所得到的广告点击率是不准确的，所得到的聚类结果是不准确的。

本申请实施例提供的物品图片的特征提取和处理方法、装置、设备和存储介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的一种物品图片的特征提取和处理方法的流程图，如图1所示，该方法包括：

101、获取待处理的物品图片的标注信息，其中，标注信息表征物品的标注特征。

一个示例中，标注信息包括以下的任意一种或多种：物品类目信息、相关链接信息、物品详解信息；其中，物品类目信息包括物品的至少一个类目级别。

示例性地，本实施例的执行主体为终端设备、或者网络设备、或者物品图片的特征提取和处理装置或设备、或者其他可以执行本实施例方法的装置或设备，对此不做限制。

在需要对物品图片进行分析和处理的时候，可以获取待处理的物品图片。例如，可以从服务器中下载待处理的物品图片；或者，从本地获取待处理的物品图片；或者，向其他终端设备发送获取请求，接收其他终端返回的待处理的物品图片。物品图片中具有视觉特征，即，具有细节的、直观的物品信息。例如，视觉特征包括但限于以下的一种或多种：颜色、纹理、尺寸比例等等。

还可以获取到物品图片的标注信息，标注信息独立于物品图片，标注信息可以表达出物品的标注特征。其中，标注信息，包括但限于以下任意一种或多种：物品详解信息、物品类目信息、相关链接信息、等等。从而，物品的标注特征，可以是详解信息、类目信息、相关链接信息。

物品详解信息，指的是，在展示物品图片的时候，可以对物品图片进行介绍，例如介绍物品图片中的物品的基本信息；从而，这些介绍的信息，构成了物品详解信息，物品详解信息可以是文字介绍信息。举例来说，展示平台显示了一件衣服的图片，该图片具有物品详解信息，物品详解信息中介绍了衣服的种类、衣服的尺寸、衣服的颜色等等。

物品类目信息，指的是，在展示物品图片的时候，已经对物品图片中的物品进行了分类，为该物品标注出了类别信息；从而，这些类别信息，构成了物品类目信息。举例来说，展示平台显示了一件衣服的图片，展示平台在展示该衣服的图片的时候，就标注出了该衣服的类别，例如，类别是“服饰>女装>连衣裙”这三个级别的类目；其中，可以是展示平台自动的为该衣服进行类别的标注，也可以是相关人员为该衣服手动的添加类别的标注。

相关链接信息，指的是，在展示物品图片的时候，可以为物品图片增加其他附加信息，例如，给出同类别的物品的链接、给出相似类别的物品的链接；这些附加信息，构成了相关链接信息。举例来说，展示平台显示了一件衣服的图片，展示平台为了便于用于选择衣服，还可以显示出同类别的衣服的链接、相似类别的衣服的链接。

其中，商品主图的展示平台，包括但不仅限于：电商网页、移动终端中的应用程序(Application，简称APP)、具有显示和购物功能的智能设备，等等，其中，智能设备例如是智能电视、智能冰箱等设备。并且，商品主图的展示位置，包括但不仅限于：搜索结果列表、推荐结果列表、以及广告位等等；其中，广告位，例如是插入于搜索和推荐结果列表中的原生广告、其他广告位、等等。

根据上述介绍可知，在从获取物品图片时，可以一起获取到物品图片中物品的标注信息。

若直接对物品图片进行特征提取，会忽略掉物品的标注特征，即，忽略掉标注信息。但是，标注信息是与物品图片一起共存的，并且标注信息中包括了多种与物品图片中物品相关的先验知识，从而标注信息可以表达出物品图片中的物品的一定特征；若丢失标注信息，会降低物品图片的特征提取的精确性，进一步的会降低图片处理的准确性。

一个示例中，物品图片被展示到网页中；在网页中除了展示物品图片，还可以展示物品图片的标注信息；或者，物品图片被展示到应用程序中，在应用程序中除了展示物品图片，还可以展示物品图片的标注信息。

举例来说，图2为本申请实施例提供的场景示意图一，如图2所示，物品为鞋子；在网页中展示物品图片，即，展示鞋子的图片；在网页中还可以展示鞋子的物品详解信息，该物品详解信息即是物品图片的文字介绍信息，例如，物品详解信息包括但不限于，样式、尺寸、厚度、商标。一个示例中，高跟鞋的图片的物品详解信息为样式、商标；运动鞋的图片的物品详解信息为尺寸、厚度、商标。

再举例来说，物品为半身裙；在应用程序中展示物品图片，即，展示半身裙的图片；在应用程序中还可以展示半身裙的物品类目信息，该物品类目信息即是物品图片的物品类目信息，例如，物品类目信息包括但不限于，服饰、女装。由于物品图片在被展示到应用程序的时候，需要为物品划分种类，从而，图3为本申请实施例提供的场景示意图二，如图3所示，应用程序下的类目级别选项中具有物品的物品类目信息；或者，图4为本申请实施例提供的场景示意图三，如图4所示，可以将物品类目信息，以文字的方式进行展示。

其中，物品类目信息，可以包括物品的至少一个类目级别。例如，对于半身裙，它的类目级别由高到低，依次是服饰、女装；对于饼干，它的类目级别由高到低，依次是食品、零食、包装食品。

又举例来说，物品为鞋子；在应用程序中展示物品图片，即，展示鞋子的图片；在应用程序中还可以展示鞋子的物品类目信息。一个示例中，高跟鞋的图片的物品详解信息为样式、商标，用户更关注高跟鞋的样式；运动鞋的图片的物品详解信息为尺寸、厚度、商标，用户更关注运动鞋的尺寸和厚度。由于用户对于不同类别的物品所关注的特征是不同的，所以，在物品图片的特征提取过程中考虑到物品的类别，是非常重要的。

102、根据标注信息和物品图片，确定物品图片的图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征。

示例性地，物品图片可以表征出图像特征信息，例如表征出物品的颜色、纹理、种类、比例；并且，标注信息可以表征出物品图片中物品的先验知识，例如是文字介绍、类别信息、相关链接信息。根据前面的分析可知，仅基于物品图片进行特征提取，其准确性较低。本步骤中，可以依据标注信息和物品图片，将标注信息和物品图片相互结合，去确定物品图片的图片特征。所得到图片特征，可以同时表征出物品图片的图像特征信息和标注特征。

一个示例中，在采用现有的图像特征提取模型对物品图片进行特征提取的时候，可以基于标注特征作为先验条件，去进行物品图片的特征提取。

另一个示例中，采用现有的图像特征提取模型对物品图片进行特征提取之后，得到物品图片的图像特征；然后，基于标注特征，对所得到的图像特征进行调整，例如，删除不必要的图像特征、将部分的标注特征作为了图像特征、等等，进而得到上述图片特征。

103、根据图片特征对物品图片进行预设处理，得到处理结果。

一个示例中，处理结果包括以下的任意一种或多种：广告点击率、检索结果的排序、个性化推荐信息、物品聚类结果、物品搭配结果。

示例性地，在步骤102之后，所得到的图片特征可以表达出物品图片中的物品的图像特征信息、物品的标注特征，所得到的图片特征是较为准确的；可以基于步骤102所得到图片特征，对物品图片进行预设的分析或者处理，生成处理结果。

一个示例中，广告点击率体现了用户与广告之间的匹配程度；精确的预估广告点击率，可以为用户推送适合用户的广告。可以基于图片特征，对物品图片进行广告点击率的计算，得到物品图片的广告点击率。例如，广告点击率与物品信息(a)、用户信息(u)和环境信息(c)相关，即，广告点击率CTR＝f(a，u，c)；其中，物品信息中包括了上述图片特征和其他特征，其他特征例如是物品好评数、物品价格等等；用户信息中包括了用户浏览记录、用户点击记录、等等；环境信息中包括了用户所处的地点信息、当前时间、等等。

一个示例中，在基于关键字对物品图片进行搜索之后，得到检索结果；然后，可以基于图片特征，对物品图片的检索结果的排序。

一个示例中，可以基于图片特征和预先获取的用户特征进行匹配，进而生成个性化推荐信息；然后向用户推送个性化推荐信息。

一个示例中，可以基于各个物品图片的图片特征，对物品进行聚类，其中，聚类的算法可以采用现有的聚类算法；然后，得到物品聚类结果。例如，得到口红的物品聚类结果，得到半身裙的物品聚类结果。

一个示例中，可以基于各个物品图片的图片特征，不同的物品进行搭配，得到物品搭配结果。例如，基于衣物的物品图片的图片特征，得到物品搭配结果为“衬衫与半身裙进行搭配”，或者得到物品搭配结果为“衬衫与项链进行搭配”。

本实施例中，物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。

图5为本申请实施例提供的另一种物品图片的特征提取和处理方法的流程图，如图5所示，该方法包括：

201、获取待处理的物品图片的标注信息，其中，标注信息表征物品的标注特征。

一个示例中，步骤201具体包括：获取展示平台上所显示的标注信息，其中，展示平台为用于显示物品图片的平台。

示例性地，本实施例的执行主体为终端设备、或者网络设备、或者物品图片的特征提取和处理装置或设备、或者其他可以执行本实施例方法的装置或设备，对此不做限制。

本步骤可以参见图1所示的步骤101，不再赘述。

并且，在图1所示步骤101中，也以举例的方式介绍了展示平台。展示平台可以是软件形式的平台，例如，电商网页、移动终端中的应用程序、等等；展示平台也可以是硬件形式的平台，例如，移动终端、具有显示和购物功能的智能设备、等等。

202、对物品图片进行特征提取，得到物品的特征图，其中，特征图用于表征物品图片的图像特征信息。

示例性地，在获取到物品图片之后，可以对物品图片的图像特征进行提取，得到物品的特征图。一个示例中，由于图像类别和图像信息是未知的、是待预测的，从而可以基于用于图像分类的卷积神经网络(Convolutional Neural Networks，简称CNN)，提取特征图。

一个示例中，在展示平台上显示物品图片时，该物品图片为物品主图；物品主图是展示平台上的显示面积最大的图。举例来说，图6为本申请实施例提供的应用场景示意图四，如图6所示，在应用程序上显示各个物品的物品图片，为了便于用户观看每一个物品，对于每一个物品来说，应用程序会显示每一个物品的物品主图；物品主图中的图像信息较多、图片较大，进而可以针对物品主图提出图像特征信息。

203、根据标注信息对特征图进行调整，得到图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征。

一个示例中，步骤203包括：

第一步骤、根据预设的标注信息与特征标注库，确定与标注信息对应的特征标注，其中，特征标注库中包括与不同的标注信息对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征。

第二步骤、根据与标注信息对应的特征标注，对特征图进行调整，得到图片特征。

一个示例中，第二步骤具体包括：重复执行以下过程，直至达到第一预设条件：根据获取到的标注通道信息，对获取到的特征图进行处理，得到第一特征图张量，其中，第一特征图张量中具有标注通道信息的特征信息、以及获取到的特征图的特征信息；根据获取到的标注空间信息，对第一特征图张量进行处理，得到第二特征图张量，其中，第二特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的特征图的特征信息；确定第二特征图张量为获取到的特征图；其中，达到第一预设条件时所得到的第二特征图张量，为图片特征。

示例性地，根据图1所示的实施例可知，由于物品图片可以具有标注信息，举例来说，在电商领域中，物品图片都被配置或被添加了标注信息。标注信息中包含了大量与物品图片的图像特征密切相关的先验知识。

若仅仅基于物品图片提取图片特征，会忽略物品图片的标注特征。举例来说，在电商领域中，物品图片都被配置或被添加了标注信息；仅分析物品图片，例如物品主图，会忽略掉物品图片的标注特征，例如，忽略物品图片所附带的物品类目标注、链接标注、文字介绍等等；进而，不能准确的提取出物品图片的图片特征，限制了物品图片的特征提取的精确性。

例如，若分析物品的广告点击率，仅仅分析物品图片，基于物品图片提取特征，会忽略掉物品的标注信息，进而，得到的特征并不准确，进一步的会导致预测出的广告点击率的准确率较低。

基于以上分析，可以依据标注特征对得到的特征图进行调整，进而得到图片特征，使得所得到的图片特征中包含了物品图片的图像特征信息和标注特征。

一个示例中，可以存储有特征标注库，在特征标注库中包括与不同的标注信息对应的特征标注；特征标注中包括了标注通道信息和标注空间信息。

其中，标注通道信息表征出物品类别的各个通道的特征。

标注通道信息的第一种方式：通道为图像的通道，通道的特征为图像的颜色通道特征。图像的通道分为了单通道、或者三通道、或者四通道等等。单通道，也就是通常所说的灰度图，每个像素点只有一个值表示；三通道：也就是通过见到的彩色图，每个像素点有三个值表示，例如RGB值；四通道，也就是在三通道图像基础上加上透明程度。可知，每一种物品类别在各通道上具有不同的特征。

举例来说，对于鞋子，高跟鞋在各个颜色通道上具有不同的特征，运动鞋在各个颜色通道上具有不同的特征，板鞋在各个颜色通道上具有不同的特征。

标注通道信息的第二种方式：不同的通道，代表了图像的不同的特征种类。特征种类为轮廓、颜色、尺寸比例、等等。例如，有的通道表示的是轮廓、有的通道表示的是颜色、有的通道表示的是尺寸比例。

标注空间信息表征出物品类别的各个空间的特征。

标注空间信息的第一种方式：空间，指的是物品的各个部位；不同的空间的特征，是对物品在各个不同部位上特征的描述。一个示例中，可以将物品分为上部、下部、左部、右部，从而将物品分为了四个空间；可以为物品描述出上部特征、下部特征、左部特征、右部特征。另一个示例中，将物品划分为九宫格，以九个空间，去描述物品的特征。

标注空间信息的第二种方式：空间，指的是物品图片的各个部位；不同的空间的特征，是对物品图片在各个不同部位上特征的描述。一个示例中，又一个示例中，是将物品图片分为了上部、下部、左部、右部，从而将物品图片分为了四个空间；可以为物品图片描述出上部特征、下部特征、左部特征、右部特征。另一个示例中，将物品图片划分为九宫格，以九个空间，去描述物品的特征。

举例来说，对于裙子，连衣裙的上部特征、下部特征、左部特征、右部特征是各不相同的，半身裙的上部特征、下部特征、左部特征、右部特征也是各不相同的；并且，连衣裙的上部特征与半身裙的上部特征之间是不同的，连衣裙的下部特征与半身裙的下部特征之间是不同的，连衣裙的左部特征与半身裙的左部特征之间是不同的，连衣裙的右部特征与半身裙的右部特征之间是不同的。

由于特征标注库中包括了与不同的标注信息对应的特征标注，从而可以依据特征标注库，查询到与当前的标注信息所对应的特征标注；不需要重新生成特征标注，可以加快图片特征提取的速度，加快图片处理的速度。

然后，由于特征标注表征出了物品图片的先验知识，为了不丢失这一重要的特征，可以采用特征标注，对图像特征信息进行调整，即，采用特征标注对特征图进行调整；然后，就可以得到具有图像特征信息和标注特征的图片特征。

一个示例中，在采用特征标注对特征图进行调整的时候，可以采用以下过程：特征标注中的标注通道信息表达出了通道特征，先采用标注通道信息对特征图进行调整，使得特征图中具有标注通道信息的特征信息，进而得到第一特征图张量；特征标注中的标注空间信息表达出了空间特征，采用标注空间信息对特征图进行调整，使得特征图中再增加有标注空间信息的特征信息，进而第二特征图张量；判定当前是否达到第一预设条件；其中，第一预设条件例如是，达到最大循环次数，或者，当前得到的第二特征图张量与前一次得到的第二特征图张量是相同或相似的；若确定达到第一预设条件，则确定当前所得到的第二特征图张量，为携带有图像特征信息和标注特征的图片特征。

若确定没有达到第一预设条件，则将当前得到的第二特征图张量，作为新的特征图进行处理；可选的，若确定没有达到第一预设条件，则可以调整获取到的标注通道信息和标注空间信息，例如，随机的对标注通道信息和标注空间信息中的信息进行局部调整。然后，根据标注通道信息，在新的特征图中增加标注通道信息，得到新的第一特征图张量；根据标注空间信息，在新的第一特征图张量中增加标注空间信息，得到新的第二特征图张量；若确定没有达到第一预设条件，则将当前得到的第二特征图张量，作为新的特征图进行处理，进而依次类推，重复上述过程；若确定达到第一预设条件，则确定当前所得到的第二特征图张量，为携带有图像特征信息和标注特征的图片特征，图片特征可以采用向量φ(I)进行表示。

204、根据图片特征对物品图片进行预设处理，得到处理结果。

示例性地，本步骤可以参见图1所示的步骤103，不再赘述。

本实施例中，在上述实施例的基础上，标注信息可以表征出物品图片中物品的先验知识，并且，标注信息包括有标注通道信息和标注空间信息，可以采用标注通道信息和标注空间信息，去调整图像特征信息，进而得到图片特征；得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征。进而，基于可以表达标注通道信息、标注空间信息和图像特征信息的图片特征，对物品图片进行处理，例如，广告点击率的预测、物品聚类等等，可以准确的对物品图片进行处理。

图7为本申请实施例提供的又一种物品图片的特征提取和处理方法的流程图，如图7所示，该方法包括：

301、获取待训练图片的待训练特征图，其中，待训练图片与物品图片归属于同一物品类别，待训练特征图中用于表征待训练图片的图像特征信息。

示例性地，本实施例的执行主体为终端设备、或者网络设备、或者物品图片的特征提取和处理装置或设备、或者其他可以执行本实施例方法的装置或设备，对此不做限制。

在对待处理的物品图片进行特征提取和处理之前，需要先建立起与不同的物品类别对应的特征标注，即，得到与不同的标注信息对应的特征标注；从而建立一个特征标注库。

根据图5所示的实施例，可以知道，特征标注中包括了标注通道信息和标注空间信息，标注通道信息表征出物品类别的各个通道的特征，标注空间信息表征出物品类别的各个空间的特征。

在得到特征标注库之前，需要采用待训练图片进行训练，进而得到特征标注库中的各个特征标注。进而，依据训练的方式，提前建立起特征标注，进而便于在处理的物品图片时，可以直接利用所得到的特征标注，去处理物品图片的特征图，提升特征提取的准确性。

首先，从服务器或者本地获取到多张待训练图片。为了便于得到与不同物品类别对应的特征标注，可以获取归属于同一物品类别的待训练图片。例如，获取物品类别A的各个待训练图片，获取物品类别B的各个待训练图片，获取物品类别C的各个待训练图片。

并且，为了可以获取到步骤303中的待处理的物品图片的标注特征，需要获取到步骤303中的待处理的物品图片所归属的物品类别的各个待训练图片。

将待训练图片输入到预设的模型中，例如，输入到CNN模型中，输出待训练图片的图像特征信息，即，得到待训练图片的待训练特征图，待训练特征图中包含待训练图片的图像特征信息。

并且，为了便于得到不同物品类别的标注特征，可以分批次的将同一物品类别的待训练图片，输入到预设的模型中，得到每一种物品类别中的各待训练图片的待训练特征图。

为了可以获取到步骤303中的待处理的物品图片的标注特征，需要将与该待处理的物品图片归属于同一物品类别的各待训练图片，输入到预设的模型中，以得到待训练图片的待训练特征图。

在后续的步骤302中，为了便于解释，以与步骤303中的待处理的物品图片归属于同一物品类别的各待训练图片的待训练特征图为示例，进行介绍。

302、根据待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与标注信息对应的特征标注。

示例性地，预先随机的设置了初始的标注通道信息和初始的标注空间信息；将每一个待训练特征图分别输入到预设训练模型中，并且将初始的标注通道信息和初始的标注空间信息也输入到预设训练模型中，进而对预设训练模型进行训练，同时对初始的标注通道信息和初始的标注空间信息进行训练；得到与标注信息对应的特征标注，即，得到与物品类别对应的特征标注。

其中，预设训练模型可以是神经网络模型，例如，CNN网络模型。

一个示例中，图8为本申请实施例提供的又一种物品图片的特征提取和处理方法中的步骤302的流程图，如图8所示，步骤302具体包括以下步骤3021-3025。

3021、重复执行以下各步骤，直至达到第二预设条件。

示例性地，预先设定有第二预设条件，第二预设条件可以是最大循环次数；或者，第二预设条件可以是步骤3024所得到的标注通道信息与上一次所得到的标注通道信息之间是相同或相似，并且步骤3024所得到的标注空间信息与上一次所得到的标注空间信息之间是相同或相似。重复执行步骤3021至步骤3025，直至达到上述第二预设条件。

3022、根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，其中，第三特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的待训练特征图的特征信息。

示例性地，根据初始的标注通道信息和初始标注空间信息，对当前获取到的待训练特征图进行处理，使得待训练特征图中具有标注通道信息的特征信息以及标注空间信息的特征信息，进而得到第三特征图张量。

一个示例中，步骤3022具体包括以下第一步骤和第二步骤：

第一步骤、根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，其中，第四特征图张量中具有标注通道信息的特征信息、以及获取到的待训练特征图的特征信息。

其中，第一步骤具体包括：压缩掉待训练特征图中的空间维度信息，得到待训练特征图的第一特征信息和第二特征信息，其中，第一特征信息表征抑制噪声后的通道维度信息，第二特征信息表征平滑后的通道维度信息；将初始的标注通道信息与第一特征信息进行拼接，得到第三特征信息，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息；并将初始的标注通道信息与第二特征信息进行拼接，得到第四特征信息，第四特征信息为平滑后的具有标注通道信息的通道维度信息；去除第三特征信息中的预设通道信息，并去除第四特征信息中的预设通道信息，其中，预设通道信息的影响力因子小于预设因子；根据去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息，确定通道注意力信息，其中，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息；将通道注意力信息进行维度处理，得到处理后的通道注意力信息，其中，处理后的通道注意力信息的维度、待训练特征图的维度两者相同；将待训练特征图与通道注意力信息进行结合处理，得到第四特征图张量。

示例性地，首先，在待训练特征图中加入标注通道信息。可以将标注通道信息和待训练特征图输入到预设训练模型中，进而根据标注通道信息，对待训练特征图进行处理，在待训练特征图中加入了标注通道信息的特征信息；此时，得到第四特征图张量。

一个示例中，在得到第四特征图张量的时候，首先，待训练特征图中可以具有空间维度信息和通道维度信息，空间维度信息中包括了待训练特征图的各个通道的特征，通道维度信息中包括了待训练特征图的各个空间的特征。

通道维度信息的第一种方式：通道为图像的通道，通道的特征为图像的颜色通道特征。或者，通道维度信息的第二种方式：不同的通道，代表了图像的不同的特征种类。

空间维度信息的第一种方式：空间，指的是物品的各个部位；不同的空间的特征，是对物品在各个不同部位上特征的描述。或者，空间维度信息的第二种方式：空间，指的是物品图片的各个部位；不同的空间的特征，是对物品图片在各个不同部位上特征的描述。

由于待训练特征图的空间维度信息的特征内容较多。可以对待训练特征图的空间维度信息进行压缩处理，进而压缩掉待训练特征图中的空间维度信息、或者压缩掉待训练特征图中的部分的空间维度信息，得到第一特征信息和第二特征信息。第一特征信息和第二特征信息都可以采用向量进行表示；第一特征信息是一种极大向量，第一特征信息表征抑制噪声后的通道维度信息；第二特征信息是一种平缓向量，第二特征信息表征平滑后的通道维度信息。例如，图9为本申请实施例提供的标注通道信息的处理过程的示意图，如图9所示，第一特征信息是C维的Maxpooling向量，第二特征信息是C维的Avgpooling向量，其中，C是大于等于1的整数。例如，F为待训练特征图，待训练特征图F的维度是C*H*W，C、H、W均是大于等于1的整数；对F的空间维度信息进行压缩处理，得到第一特征信息MaxP(F)、第二特征信息AvgP(F)。其中，Maxpooling是一种取最大值的方式，是一种可以对特征图张量进行压缩的方法；Avgpooling是一种取平均值的方式，是一种可以对特征图张量进行压缩的方法。

然后，将标注通道信息与第一特征信息进行拼接，得到第三特征信息，从而将标注通道信息加入到了待训练特征图中的第一特征信息中，即，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息。例如，标注通道信息为

标注通道信息是一个向量，其中，k代表第k种标注通道信息，即k代表第k种物品类别的标注通道信息，C为标注通道信息的维度；如图9所示，将标注通道信息

与第一特征信息MaxP(F)进行拼接，得到第三特征信息

其中，MLP是一种多层感知器，是一种基础的深度神经网络结构，可以基于MLP完成上述信息的拼接。

同时，将标注通道信息与第二特征信息进行拼接，得到第四特征信息，从而将标注通道信息加入到了待训练特征图中的第二特征信息中，即，第四特征信息为平滑后的具有标注通道信息的通道维度信息。例如，标注通道信息为

如图9所示，将标注通道信息

与第二特征信息AvgP(F)进行拼接，得到第四特征信息

从而，根据标注通道信息，影响到待训练特征图的第一特征信息和第二特征信息。

然后，第三特征信息中具有多个通道信息，每一个通道信息具有影响力因子，影响力因子代表通道信息的重要性；第四特征信息中具有多个通道信息，每一个通道信息具有影响力因子，影响力因子代表通道信息的重要性；可以去除第三特征信息中的影响力因子小于预设因子的通道信息，并去除第四特征信息中的影响力因子小于预设因子的通道信息。例如，可以采用全连接层的处理方式，对第三特征信息和第四特征信息进行处理，即，采用全连接的处理方式，对第三特征信息和第四特征信息进行处理；全连接的处理方式是一个投票过程，通过全连接的处理方式可以加强第三特征信息的一些通道信息、减弱第三特征信息的一些通道信息，并且加强第四特征信息的一些通道信息、减弱第四特征信息的一些通道信息。

将去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息两者相互结合，得到一个通道注意力信息，可知，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息。举例来说，如图9所示，将第三特征信息

第四特征信息

通过全连接层变换为两个C维的向量，将得到的两个C维的向量相加，得到一个C维的通道注意力向量，即得到一个通道注意力信息

其中，Sigmoid/σ，是一种非线性变换方法，可以把一个实数映射到-1到1区间中。

然后，由于通道注意力信息的维度与待训练特征图的维度不同，需要将通道注意力信息进行维度处理，使得处理后的通道注意力信息的维度与待训练特征图的维度相同。举例来说，将通道注意力信息进行广播，使得处理后的通道注意力信息

的维度为C*H*W，待训练特征图的维度也是C*H*W。

接着，将待训练特征图与通道注意力信息进行结合处理，生成第四特征图张量。举例来说，如图9所示，将待训练特征图与通道注意力信息相乘，得到第四特征图张量

通过以上方式，压缩掉待训练特征图中的空间维度信息，进而可以便于对待训练特征图中的通道维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注通道信息，得到可以体现物品更新信息和内容的第四特征图张量。

第二步骤、根据初始的标注空间信息，对第四特征图张量进行处理，得到第三特征图张量。

其中，第二步骤具体包括：压缩掉第四特征图张量中的通道维度信息，得到待训练特征图的第五特征信息和第六特征信息，其中，第五特征信息表征抑制噪声后的空间维度信息，第六特征信息表征平滑后的空间维度信息；将初始的标注空间信息、第五特征信息、以及第六特征信息进行拼接，得到第七特征信息，其中，第七特征信息为具有标注空间信息的空间维度信息；去除第七特征信息中的预设空间信息，其中，预设空间信息的影响力因子小于预设因子，得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息；将空间注意力信息进行维度处理，得到处理后的空间注意力信息，其中，处理后的空间注意力信息的维度、待训练特征图的维度两者相同；将第四特征图张量与空间注意力信息进行结合处理，得到第三特征图张量。

示例性地，在上述第一步骤之后，得到了第四特征图张量，还需要在待训练特征图中加入标注空间信息。可以将标注空间信息也输入到预设训练模型中，进而根据标空间道信息，对第四特征图张量进行处理，在第四特征图张量中加入了标注空间信息的特征信息；此时，就可以在待训练特征图中加入了标注通道信息和标注空间信息，得到第三特征图张量。

一个示例中，在得到第三特征图张量的时候，首先，待训练特征图中可以具有空间维度信息和通道维度信息，空间维度信息中包括了待训练特征图的各个通道的特征，通道维度信息中包括了待训练特征图的各个空间的特征；在上述第一步骤之后，得到的第四特征图张量也具有空间维度信息和通道维度信息。那么在对第四特征图张量进行处理的的时候，也需要对第四特征图张量的通道维度信息进行压缩处理，进而压缩掉第四特征图张量的通道维度信息、或者压缩掉第四特征图张量的部分的通道维度信息，得到第五特征信息和第六特征信息。第五特征信息和第六特征信息都可以采用向量进行表示；第五特征信息是一种极大向量，第五特征信息表征抑制噪声后的空间维度信息；第六特征信息是一种平缓向量，第六特征信息表征平滑后的空间维度信息。例如，图10为本申请实施例提供的标注空间信息的处理过程的示意图，如图10所示，第五特征信息是WH维的Maxpooling矩阵，第六特征信息是WH维的Avgpooling矩阵。例如，F为待训练特征图，待训练特征图F的维度是C*H*W，第四特征图张量是F^′，第四特征图张量F^′的维度是C*H*W；C、H、W均是大于等于1的整数；对第四特征图张量F^′的通道维度信息进行压缩处理，得到第五特征信息MaxP(F^′)、第六特征信息AvgP(F^′)。

然后，将标注空间信息、第五特征信息、第六特征信息，三者进行拼接，得到第七特征信息，从而将标注空间信息加入到待训练特征图中，第七特征信息为具有标注空间信息的空间维度信息。例如，标注空间信息

将标注空间信息

进行放大处理，得到放大后的标注空间信息

标注通道信息是一个向量，其中，k代表第k种标注通道信息，即k代表第k种物品类别的标注通道信息；S为标注通道信息的维度，S＝W*H；可知，标注空间信息

以及放大后的标注空间信息

的维度，均是WH；如图10所示，将放大后的标注空间信息

第五特征信息MaxP(F^′)、第六特征信息AvgP(F^′)进行拼接，得到第七特征信息。

从而，根据标注空间信息，影响到待训练特征图的第五特征信息和第六特征信息。

然后，第七特征信息中具有多个通道信息，每一个通道信息具有影响力因子，影响力因子代表通道信息的重要性；可以去除第七特征信息中的影响力因子小于预设因子的通道信息。例如，可以采用7*7的卷积核变换的方式，对第七特征信息进行处理；卷积核变换的方式是一个投票过程，通过卷积核变换的方式可以加强第七特征信息的一些通道信息、减弱第七特征信息的一些通道信息。

此时，就可以得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息。举例来说，如图10所示，将第五特征信息MaxP(F^′)、第六特征信息AvgP(F^′)，拼接上放大后的标注空间信息

然后通过7*7的卷积核变换后，得到一个WH维的空间注意力信息

该空间注意力信息是一个空间注意力矩阵；其中图10中的Conv为卷积层，即Conv表征卷积核变换。

然后，由于空间注意力信息的维度与待训练特征图的维度不同，需要将空间注意力信息进行维度处理，使得处理后的空间注意力信息的维度与待训练特征图的维度相同。举例来说，将空间注意力信息进行广播，使得处理后的空间注意力信息

的维度为C*H*W，待训练特征图的维度也是C*H*W。

接着，将第四特征图张量与空间注意力信息进行结合处理，生成第三特征图张量。举例来说，如图10所示，将第四特征图张量与空间注意力信息相乘，得到第三特征图张量

通过以上方式，压缩掉待训练特征图中的通道维度信息，进而可以便于对待训练特征图中的空间维度信息进行处理，然后依次完成拼接等处理，使得待训练特征图中加入标注空间信息，得到可以体现物品更新信息和内容的第三特征图张量。

3023、采用预估模型对第三特征图张量进行预估处理，得到预估值，其中，预估值表征了采用第三特征图张量进行预设处理之后的预估信息。

示例性地，经过上述通道和空间维度的两次调整之后，所得到第三特征图张量中已经包含了标注特征。就可以将第三特征图张量为待训练特征图，作为预设训练模型的下一次循环的特征图。但是在进行下一次循环之前，首先确定是否还需要进行循环。

可以采用与预设处理对应的预估模型，对第三特征图张量进行预估处理，得到预估值。例如，采用预测广告点击率的模型，对第三特征图张量进行广告点击率的预估处理，得到广告点击率的预估值。再例如，采用预测图片类别的模型，对第三特征图张量进行类别的预估处理，得到类别的预估值。又例如，采用聚类模型，对第三特征图张量进行聚类处理，得到图片的聚类结果。

3024、若未达到第二预设条件，则根据预估值对初始的标注通道信息和初始的标注空间信息进行调整，得到调整后的标注通道信息、调整后的标注空间信息。并确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并确定第三特征图张量为待训练特征图。

其中，与标注信息对应的标注通道信息，为达到第二预设条件时所得到的标注通道信息；与标注信息对应的标注空间信息，为达到第二预设条件时所得到的标注空间信息。

一个示例中，步骤3024中的“根据预估值对初始的标注通道信息和初始的标注空间信息进行调整”，可以包括：根据预估值与预设值，确定损失值，其中，损失值表征了预估值与预设值之间的差值；若损失值大于等于预设阈值，则调整初始的标注通道信息和初始的标注空间信息。

示例性地，由于在预设训练模型的下一次循环中，需要重新设置标注通道信息和标注空间信息，从而需要对初始的标注通道信息和初始的标注空间信息进行优化。设置有第二预设条件，在确定未达到第二预设条件时，确定对初始的标注通道信息和初始的标注空间信息进行优化，例如，随机的调整标注通道信息和标注空间信息。

一个示例中，上述第二预设条件，可以是损失值小于预设阈值；并且，可以采用上述预估值对初始的标注通道信息和初始的标注空间信息进行优化。在步骤3023中与预设处理对应的预估模型，对第三特征图张量进行预估处理，得到预估值；并且，与该预设处理对应有标准的预设值；就可以确定预估值与预设值之间的差值，得到损失值；在确定损失值大于等于预设阈值时，确定需要调整初始的标注通道信息和初始的标注空间信息，并且确定需要进行预设训练模型的下一次循环。

另一个示例中，上述第二预设条件，可以是循环次数大于最大循环次数。在确定循环次数小于等于最大循环次数时，确定需要调整初始的标注通道信息和初始的标注空间信息，并且确定需要进行预设训练模型的下一次循环。可知，标注通道信息为

标注空间信息

与预设训练模型中的参数，一起进行通过反向传播算法进行迭代优化。

并且，在未达到第二预设条件时，确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并且确定第三特征图张量为待训练特征图。从而就可以将待训练特征图，输入到预设训练模型的下一次循环过程中，即，重复执行3021-3024。

在未达到第二预设条件时，就可以结束预设训练模型的循环过程，此时得到与标注信息对应的标注通道信息、标注空间信息。

举例来说，图11为本申请实施例提供的标注通道信息和标注空间信息的处理过程的示例图，如图11所示，根据物品图片，可以得到待训练特征图F；然后，将待训练特征图F输入到预设训练模型中；根据标注通道信息，对待训练特征图F进行处理，得到第四特征图张量F′；然后，根据初始的标注空间信息，对第四特征图张量F′进行处理，得到第三特征图张量F″。若未达到第二预设条件，则对标注通道信息和标注空间信息进行调整，将调整后的标注通道信息和调整后的标注空间信息，分别作为预设训练模型的下一次循环过程中的标注通道信息和标注空间信息，并且将第三特征图张量F″作为预设训练模型的下一次循环过程中的待训练特征图F。若未达到第二预设条件，则停止预设训练模型的循环过程，并确定得到与标注信息对应的标注通道信息和标注空间信息。

303、获取待处理的物品图片的标注信息，其中，标注信息表征物品的标注特征。

一个示例中，标注信息具有特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征。

示例性的，本步骤可以参见图5所示的步骤201，不再赘述。

304、根据标注信息和物品图片，确定物品图片的图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征。

示例性的，本步骤可以参见图5所示的步骤202和203，不再赘述。

305、根据图片特征对物品图片进行预设处理，得到处理结果。

示例性的，本步骤可以参见图5所示的步骤204，不再赘述。

本实施例中，在上述实施例的基础上，根据待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与标注信息对应的特征标注。例如，通过反向传播算法，对进行标注通道信息和标注空间信息进行迭代优化。可以得到与不同的物品类别对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，每一标注通道信息用于表征每一物品类别的各个通道的特征，每一标注空间信息用于表征每一物品类别的各个空间的特征。进而基于所得到的与标注信息对应的特征标注，去调整图像特征信息，进而得到图片特征；得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征。进而，基于可以表达标注通道信息、标注空间信息和图像特征信息的图片特征，对物品图片进行准确的处理。

图12为本申请实施例提供的再一种物品图片的特征提取和处理方法的流程图，如图12所示，该方法包括：

401、获取展示平台上所显示的物品图片，并获取展示平台上所显示的物品图片的标注信息，其中，展示平台为用于显示物品图片的平台。

示例性地，本实施例的执行主体为终端设备、或者网络设备、或者物品图片的特征提取和处理装置或设备、或者其他可以执行本实施例方法的装置或设备，对此不做限制。

展示平台上显示有物品图片，并且展示平台为了便于用户观看图片，也会设置并显示物品图片的标注信息。

展示平台，包括但不仅限于：电商网页、移动终端中的应用程序、具有显示和购物功能的智能设备，等等，其中，智能设备例如是智能电视、智能冰箱等设备。并且，物品图片的展示位置，包括但不仅限于：搜索结果列表、推荐结果列表、以及广告位等等；其中，广告位，例如是插入于搜索和推荐结果列表中的原生广告、其他广告位、等等。

其中，标注信息可以参见图1所示的步骤101的介绍，不再赘述。

402、根据标注信息和物品图片，确定物品图片的图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征。

示例性地，本步骤可以参见图1所示的步骤102的介绍，不再赘述。

403、根据图片特征对物品图片进行预设处理，得到处理结果，并在展示平台上显示处理结果。

示例性地，本步骤可以参见图1所示的步骤103的介绍，不再赘述。并且，在本步骤中，在得到处理结果之后，可以直接处理结果显示到展示平台上。

一个示例中，广告点击率体现了用户与广告之间的匹配程度；可以基于图片特征，对物品图片进行广告点击率的计算，得到物品图片的广告点击率；将广告点击率显示到展示平台的物品图片中，便于用户观看物品图片的广告点击率。

另一个示例中，可以基于图片特征和预先获取的用户特征进行匹配，进而生成个性化推荐信息；然后在展示平台上，显示并推送个性化推荐信息。

一个示例中，可以基于各个物品图片的图片特征，不同的物品进行搭配，得到物品搭配结果；然后，在在展示平台上，显示并推送物品搭配结果。

本实施例中，获取展示平台上所显示的物品图片和标注信息，物品图片可以表征出图像特征信息，标注信息可以表征出物品图片中物品的先验知识；将物品图片与标注信息相互结合，得到物品图片的图片特征，进而得到的图片特征可以表达出物品的图像特征和标注特征，所提取到的图片特征可以准确的、多样的表征出物品的特征，即，得到准确的物品特征；然后，基于图片特征对物品图片进行处理，可以得到较为准确的处理结果。并且将处理结果显示到展示平台上，便于用户观看处理结果。

图13为本申请实施例提供的一种物品图片的特征提取和处理装置的结构示意图，如图13所示，该装置包括：

第一获取单元31，用于获取待处理的物品图片的标注信息，其中，标注信息表征物品的标注特征。

确定单元32，用于根据标注信息和物品图片，确定物品图片的图片特征，其中，图片特征中包括了物品图片的图像特征信息和标注特征。

第一处理单元33，用于根据图片特征对物品图片进行预设处理，得到处理结果。

一个示例中，标注信息包括以下的任意一种或多种：物品类目信息、相关链接信息、物品详解信息；其中，物品类目信息包括物品的至少一个类目级别。

一个示例中，处理结果包括以下的任意一种或多种：广告点击率、检索结果的排序、个性化推荐信息、物品聚类结果、物品搭配结果。

示例性地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图14为本申请实施例提供的另一种物品图片的特征提取和处理装置的结构示意图，在图13所示实施例的基础上，如图14所示，该装置中，确定单元32，包括：

提取模块321，用于对物品图片进行特征提取，得到物品的特征图，其中，特征图用于表征物品图片的图像特征信息；

调整模块322，用于根据标注信息对特征图进行调整，得到图片特征。

一个示例中，调整模块322，包括：

确定子模块3221，用于根据预设的标注信息与特征标注库，确定与标注信息对应的特征标注，其中，特征标注库中包括与不同的标注信息对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征。

调整子模块3222，用于根据与标注信息对应的特征标注，对特征图进行调整，得到图片特征。

一个示例中，调整子模块3222，具体用于：

重复执行以下过程，直至达到第一预设条件：根据获取到的标注通道信息，对获取到的特征图进行处理，得到第一特征图张量，其中，第一特征图张量中具有标注通道信息的特征信息、以及获取到的特征图的特征信息；根据获取到的标注空间信息，对第一特征图张量进行处理，得到第二特征图张量，其中，第二特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的特征图的特征信息；确定第二特征图张量为获取到的特征图；其中，达到第一预设条件时所得到的第二特征图张量，为图片特征。

一个示例中，第一获取单元31，具体用于：获取展示平台上所显示的标注信息，其中，展示平台为用于显示物品图片的平台。

示例性地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图15为本申请实施例提供的又一种物品图片的特征提取和处理装置的结构示意图，在图13所示实施例的基础上，如图15所示，该装置中，标注信息具有特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征。

本实施例提供的装置，还包括：

第二获取单元41，用于获取待训练图片的待训练特征图，其中，待训练图片与物品图片归属于同一物品类别，待训练特征图中用于表征待训练图片的图像特征信息。

第二处理单元42，用于根据待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与标注信息对应的特征标注。

一个示例中，第二处理单元42，包括：

执行模块421，用于重复执行以下各模块，直至达到第二预设条件。

第一处理模块422，用于根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，其中，第三特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的待训练特征图的特征信息。

第二处理模块423，用于采用预估模型对第三特征图张量进行预估处理，得到得到预估值，其中，预估值表征了采用第三特征图张量进行预设处理之后的预估信息。

第三处理模块424，用于若未达到第二预设条件，则根据预估值对初始的标注通道信息和初始的标注空间信息进行调整，得到调整后的标注通道信息、调整后的标注空间信息；并确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并确定第三特征图张量为待训练特征图；其中，与标注信息对应的标注通道信息，为达到第二预设条件时所得到的标注通道信息；与标注信息对应的标注空间信息，为达到第二预设条件时所得到的标注空间信息。

一个示例中，第一处理模块422，包括：

第一处理子模块4221，用于根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，其中，第四特征图张量中具有标注通道信息的特征信息、以及获取到的待训练特征图的特征信息。

第二处理子模块4222，用于根据初始的标注空间信息，对第四特征图张量进行处理，得到第三特征图张量。

一个示例中，第一处理子模块4221，具体用于：

压缩掉待训练特征图中的空间维度信息，得到待训练特征图的第一特征信息和第二特征信息，其中，第一特征信息表征抑制噪声后的通道维度信息，第二特征信息表征平滑后的通道维度信息；将初始的标注通道信息与第一特征信息进行拼接，得到第三特征信息，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息；并将初始的标注通道信息与第二特征信息进行拼接，得到第四特征信息，第四特征信息为平滑后的具有标注通道信息的通道维度信息；去除第三特征信息中的预设通道信息，并去除第四特征信息中的预设通道信息，其中，预设通道信息的影响力因子小于预设因子；根据去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息，确定通道注意力信息，其中，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息；将待训练特征图与通道注意力信息进行结合处理，得到第四特征图张量。

一个示例中，第一处理子模块4221，还用于在将待训练特征图与通道注意力信息进行结合处理，得到第四特征图张量之前，将通道注意力信息进行维度处理，得到处理后的通道注意力信息，其中，处理后的通道注意力信息的维度、待训练特征图的维度两者相同。

一个示例中，第二处理子模块4222，具体用于：

压缩掉第四特征图张量中的通道维度信息，得到待训练特征图的第五特征信息和第六特征信息，其中，第五特征信息表征抑制噪声后的空间维度信息，第六特征信息表征平滑后的空间维度信息；将初始的标注空间信息、第五特征信息、以及第六特征信息进行拼接，得到第七特征信息，其中，第七特征信息为具有标注空间信息的空间维度信息；去除第七特征信息中的预设空间信息，其中，预设空间信息的影响力因子小于预设因子，得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息；将第四特征图张量与空间注意力信息进行结合处理，得到第三特征图张量。

一个示例中，第二处理子模块4222，还用于在将第四特征图张量与空间注意力信息进行结合处理，得到第三特征图张量之前，将空间注意力信息进行维度处理，得到处理后的空间注意力信息，其中，处理后的空间注意力信息的维度、待训练特征图的维度两者相同。

一个示例中，第三处理模块424，具体用于：

根据预估值与预设值，确定损失值，其中，损失值表征了预估值与预设值之间的差值；若损失值大于等于预设阈值，则调整初始的标注通道信息和初始的标注空间信息。

示例性地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图16是根据一示例性实施例示出的一种计算机设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

计算机设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制计算机设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在计算机设备800的操作。这些数据的示例包括用于在计算机设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为计算机设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为计算机设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在计算机设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当计算机设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当计算机设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为计算机设备800提供各个方面的状态评估。例如，传感器组件814可以检测到计算机设备800的打开/关闭状态，组件的相对定位，例如组件为计算机设备800的显示器和小键盘，传感器组件814还可以检测计算机设备800或计算机设备800一个组件的位置改变，用户与计算机设备800接触的存在或不存在，计算机设备800方位或加速/减速和计算机设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于计算机设备800和其他设备之间有线或无线方式的通信。计算机设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，计算机设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由计算机设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当该存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行上述物品图片的特征提取和处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (18)

1.一种物品图片的特征提取和处理方法，其特征在于，包括：

获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；

根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

2.根据权利要求1所述的方法，其特征在于，根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，包括：

对所述物品图片进行特征提取，得到所述物品的特征图，其中，所述特征图用于表征所述物品图片的图像特征信息；

根据所述标注信息对所述特征图进行调整，得到图片特征。

3.根据权利要求2所述的方法，其特征在于，根据所述标注信息对所述特征图进行调整，得到图片特征，包括：

根据预设的标注信息与特征标注库，确定与标注信息对应的特征标注，其中，所述特征标注库中包括与不同的标注信息对应的特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；

根据与标注信息对应的特征标注，对所述特征图进行调整，得到所述图片特征。

4.根据权利要求3所述的方法，其特征在于，根据与标注信息对应的特征标注，对所述特征图进行调整，得到所述图片特征，包括：

重复执行以下过程，直至达到第一预设条件：根据获取到的标注通道信息，对获取到的特征图进行处理，得到第一特征图张量，其中，所述第一特征图张量中具有标注通道信息的特征信息、以及获取到的特征图的特征信息；根据获取到的标注空间信息，对所述第一特征图张量进行处理，得到第二特征图张量，其中，所述第二特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的特征图的特征信息；确定所述第二特征图张量为获取到的特征图；

其中，达到所述第一预设条件时所得到的第二特征图张量，为所述图片特征。

5.根据权利要求1所述的方法，其特征在于，获取待处理的物品图片的标注信息，包括：

获取展示平台上所显示的所述标注信息，其中，所述展示平台为用于显示所述物品图片的平台。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述标注信息具有特征标注，特征标注包括了标注通道信息和标注空间信息，其中，标注通道信息用于表征与标注信息对应的物品类别的各个通道的特征，标注空间信息用于表征与标注信息对应的物品类别的各个空间的特征；

所述方法，还包括：

获取待训练图片的待训练特征图，其中，所述待训练图片与所述物品图片归属于同一物品类别，所述待训练特征图中用于表征所述待训练图片的图像特征信息；

根据所述待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与所述标注信息对应的特征标注。

7.根据权利要求6所述的方法，其特征在于，根据所述待训练特征图、初始的标注通道信息以及初始的标注空间信息，对预设训练模型进行训练，得到与所述标注信息对应的特征标注，包括：

重复执行以下各步骤，直至达到第二预设条件：

根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，其中，所述第三特征图张量中具有标注通道信息的特征信息、标注空间信息的特征信息、以及获取到的待训练特征图的特征信息；

采用预估模型对所述第三特征图张量进行预估处理，得到得到预估值，其中，预估值表征了采用第三特征图张量进行所述预设处理之后的预估信息；

若未达到所述第二预设条件，则根据所述预估值对初始的标注通道信息和初始的标注空间信息进行调整，得到调整后的标注通道信息、调整后的标注空间信息；并确定调整后的标注通道信息为初始的标注通道信息，确定调整后的标注空间信息为初始的标注空间信息，并确定所述第三特征图张量为待训练特征图；

其中，与所述标注信息对应的标注通道信息，为达到所述第二预设条件时所得到的标注通道信息；与所述标注信息对应的标注空间信息，为达到所述第二预设条件时所得到的标注空间信息。

8.根据权利要求7所述的方法，其特征在于，根据初始的标注通道信息和初始标注空间信息，对获取到的待训练特征图进行处理，得到第三特征图张量，包括：

根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，其中，所述第四特征图张量中具有标注通道信息的特征信息、以及获取到的待训练特征图的特征信息；

根据初始的标注空间信息，对所述第四特征图张量进行处理，得到所述第三特征图张量。

9.根据权利要求8所述的方法，其特征在于，根据初始的标注通道信息，对获取到的待训练特征图进行处理，得到第四特征图张量，包括：

压缩掉待训练特征图中的空间维度信息，得到待训练特征图的第一特征信息和第二特征信息，其中，第一特征信息表征抑制噪声后的通道维度信息，第二特征信息表征平滑后的通道维度信息；

将初始的标注通道信息与第一特征信息进行拼接，得到第三特征信息，第三特征信息为抑制噪声后的具有标注通道信息的通道维度信息；并将初始的标注通道信息与第二特征信息进行拼接，得到第四特征信息，第四特征信息为平滑后的具有标注通道信息的通道维度信息；

去除第三特征信息中的预设通道信息，并去除第四特征信息中的预设通道信息，其中，预设通道信息的影响力因子小于预设因子；

根据去除了预设通道信息的第三特征信息、去除了预设通道信息的第四特征信息，确定通道注意力信息，其中，通道注意力信息表征平滑且抑制噪声后的具有标注通道信息的通道维度信息；

将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量。

10.根据权利要求9所述的方法，其特征在于，在将待训练特征图与所述通道注意力信息进行结合处理，得到所述第四特征图张量之前，还包括：

将所述通道注意力信息进行维度处理，得到处理后的通道注意力信息，其中，处理后的通道注意力信息的维度、待训练特征图的维度两者相同。

11.根据权利要求8所述的方法，其特征在于，根据初始的标注空间信息，对所述第四特征图张量进行处理，得到所述第三特征图张量，包括：

压缩掉所述第四特征图张量中的通道维度信息，得到待训练特征图的第五特征信息和第六特征信息，其中，第五特征信息表征抑制噪声后的空间维度信息，第六特征信息表征平滑后的空间维度信息；

将初始的标注空间信息、所述第五特征信息、以及所述第六特征信息进行拼接，得到第七特征信息，其中，所述第七特征信息为具有标注空间信息的空间维度信息；

去除所述第七特征信息中的预设空间信息，其中，预设空间信息的影响力因子小于预设因子，得到空间注意力信息，其中，空间注意力信息表征平滑且抑制噪声后的具有标注空间信息的空间维度信息；

将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量。

12.根据权利要求11所述的方法，其特征在于，在将所述第四特征图张量与所述空间注意力信息进行结合处理，得到所述第三特征图张量之前，还包括：

将所述空间注意力信息进行维度处理，得到处理后的空间注意力信息，其中，处理后的空间注意力信息的维度、待训练特征图的维度两者相同。

13.根据权利要求7所述的方法，其特征在于，根据所述预估值对初始的标注通道信息和初始的标注空间信息进行调整，包括：

根据所述预估值与预设值，确定损失值，其中，损失值表征了所述预估值与预设值之间的差值；

若所述损失值大于等于预设阈值，则调整初始的标注通道信息和初始的标注空间信息。

14.根据权利要求1-5任一项所述的方法，其特征在于，所述标注信息包括以下的任意一种或多种：物品类目信息、相关链接信息、物品详解信息；其中，所述物品类目信息包括物品的至少一个类目级别；

所述处理结果包括以下的任意一种或多种：广告点击率、检索结果的排序、个性化推荐信息、物品聚类结果、物品搭配结果。

15.一种物品图片的特征提取和处理方法，其特征在于，包括：

获取展示平台上所显示的物品图片，并获取所述展示平台上所显示的所述物品图片的标注信息，其中，所述展示平台为用于显示所述物品图片的平台；

根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

根据所述图片特征对所述物品图片进行预设处理，得到处理结果，并在所述展示平台上显示所述处理结果。

16.一种物品图片的特征提取和处理装置，其特征在于，包括：

第一获取单元，用于获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；

确定单元，用于根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；

第一处理单元，用于根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

17.一种计算机设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：获取待处理的物品图片的标注信息，其中，所述标注信息表征物品的标注特征；根据所述标注信息和所述物品图片，确定所述物品图片的图片特征，其中，所述图片特征中包括了所述物品图片的图像特征信息和所述标注特征；根据所述图片特征对所述物品图片进行预设处理，得到处理结果。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至14任一项所述的物品图片的特征提取和处理方法，或者用于实现如权利要求15所述的物品图片的特征提取和处理方法。

Images