CN114821062A - 基于图像分割的商品识别方法及装置 - Google Patents

Abstract

本发明公开了基于图像分割的商品识别方法及装置，该方法包括：当检测到存在商品图像需要进行商品识别操作时，将商品图像输入到商品图像主体分割模型中得到对应的目标图像；将目标图像输入到图像特征提取模型中得到目标特征向量；根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量，根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量的商品标识，作为商品图像的商品识别结果。可见，本发明不仅能够保证商品图像的识别速度，还能够有效减少图像背景对商品识别结果的干扰，进而提高商品识别结果的准确性和可靠性以提高商品识别的精准性，以及提高商品识别结果的确定效率。

Description

基于图像分割的商品识别方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像分割的商品识别方法及装置。

背景技术

随着电商行业的快速发展，商品识别技术发挥着至关重要的作用。具体的，电商平台存储着海量的商品图像数据，通过商品识别技术能够使电商平台更好地管理商品数据，并且有助于帮助广告主分析同类型商品的广告设计以及发现不同商品的潜在热度。

当前，针对商品图像的商品识别方式主要包括采用目标检测技术检测商品图像中的商品位置以排除受到大面积背景信息的干扰，或者，提取商品图像的全局特征并根据提取到的全局特征与特征库中的商品图像进行特征匹配，进而得出商品图像中的商品类别。然而，实践表明，前者存在相同背景且不同商品的图像对应匹配得分不亚于相同商品且不同背景的图像对应匹配得分的情况，后者由于需直接提取整张图像的特征，因此受背景模板干扰程度大，当不同商品对应完全一致的图像模板图时易出现商品识别错误的情况。可见，上述提及的两种商品识别方式皆存在商品识别精准性低的问题。因此，提供一种新的针对商品图像的商品识别方式以提高商品识别精准性显得尤为重要。

发明内容

本发明内容所要解决的技术问题在于，提供一种基于图像分割的商品识别方法及装置，能够提高商品识别精准性。

为了解决上述技术问题，本发明第一方面公开了一种基于图像分割的商品识别方法，所述方法包括：

当检测到存在待识别商品图像需要进行商品识别操作时，将所述待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到所述待识别商品图像中待识别的商品所对应的目标图像，所述目标图像与所述待识别商品图像的背景的关联度低于预设关联度阈值；

将所述目标图像输入到预先构建好的图像特征提取模型中，得到所述目标图像对应的目标特征向量；

根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量，并根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果。

作为一种可选的实施方式，在本发明第一方面中，在所述根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量之前，所述方法还包括：

对所述目标特征向量执行降维操作以更新所述目标特征向量；

以及，在所述对所述目标特征向量执行降维操作以更新所述目标特征向量之前，所述方法还包括：

确定所述目标特征向量的第一维度信息，并获取商品图像特征库中所有现存特征向量对应的第二维度信息；

判断所述第一维度信息与所述第二维度信息是否相匹配，当判断出所述第一维度信息与所述第二维度信息不相匹配时，触发执行所述的对所述目标特征向量执行降维操作以更新所述目标特征向量的操作；当判断出所述第一维度信息与所述第二维度信息相匹配时，触发执行所述的根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量的操作。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量，包括：

根据所述目标特征向量和商品特征库中每一现存特征向量，计算所述目标特征向量与每一所述现存特征向量的余弦相似度；

判断所有所述余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一个目标余弦相似度，当判断结果为是时，将所有所述目标余弦相似度对应的相似现存特征向量确定为与所述目标特征向量相匹配的目标现存特征向量。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果，包括：

计算所有所述相似现存特征向量的数量，并根据所述商品图像特征库对应的图像特征—商品标识对应关系确定每个所述相似现存特征向量对应的商品标识；

根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果；

其中，所述根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果，包括：

当所述数量为1时，确定所述相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当所述数量大于1时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；或者，

当所述数量大于1且小于预设数量阈值时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；当所述数量大于等于所述预设数量阈值时，根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果；

其中，所述目标相似现存特征向量为所有所述相似现存特征向量中与所述目标特征向量的余弦相似度最大的相似现存特征向量，所述剩余相似现存特征向量是所有所述相似现存特征向量除所述目标相似现存特征向量之外的相似现存特征向量。

作为一种可选的实施方式，在本发明第一方面中，所述根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果，包括：

判断所有所述第二商品标识中是否存在与所述第一商品标识相同的商品标识；

当判断出所有所述第二商品标识中存在与所述第一商品标识相同的商品标识时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当判断出所有所述第二商品标识中不存在与所述第一商品标识相同的商品标识时，确定所述待识别商品图像对应的辅助因子，并根据所述辅助因子从所述第一商品标识以及所有所述第二商品标识中选择与所述辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定所述目标商品标识为所述待识别商品图像对应的商品识别结果。

作为一种可选的实施方式，在本发明第一方面中，在所述将所述待识别商品图像输入到商品图像主体分割模型中，得到所述待识别商品图像中商品的目标图像之前，所述方法还包括：

基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型；

其中，所述训练样本数据集包括若干张训练用商品图像，每张所述训练用商品图像为已分割出图像背景的商品图像，且所有所述训练用商品图像包括第一类训练用商品图像，或者，所有所述训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像；其中，所述第一类训练用商品图像中的所有第一训练用商品图像的图像背景分割结果是人工标注形成的，所述第二类训练用商品图像中的所有第二训练用商品图像是基于所述第一类训练用商品图像中的第一训练用商品图像生成的；

以及，所述第二类训练用商品图像中的每个第二训练用商品图像具体是通过以下方式生成：

对于所述第一类训练用商品图像中的任一第一训练用商品图像，根据该第一训练用商品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像；对该商品主体区域图像进行数据增强操作，得到数据增强后的图像，并将该数据增强后的图像随机粘贴至不同的宣传图像模板上，将该数据增强后的图像在宣传图像模板的粘贴位置处的像素值调整为第一像素值并将所述宣传图像模板的剩余位置处的像素值调整为第二像素值，得到第二训练用商品图像。

作为一种可选的实施方式，在本发明第一方面中，所述第一类训练用商品图像中每张第一训练用商品图像的图像背景分割结果是基于每张第一训练用商品图像所对应的分割结果图标注的；

其中，对于所述第一类训练用商品图像的每张第一训练用商品图像，该第一训练用商品图像对应的分割结果图是通过以下方式生成的：

将该第一训练用商品图像对应的原始图像输入至预先确定出的图像分割网络，得到该原始图像对应的三个不同尺寸的原始特征图；

将三个所述原始特征图分别输入至所述图像分割网络中分割分支中的三个不同的卷积层，得到每个卷积层的输出特征图；

确定三个所述原始特征图中最大尺寸的原始特征图经过对应卷积层之后得到的输出特征图的目标尺寸，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，以使非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图的尺寸等于目标尺寸；

对三个相同尺寸的输出特征图进行拼接，得到拼接特征图，将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图；

对所述目标特征图中每个像素点对应的原始像素值进行归一化处理，得到所述目标特征图中每个像素点对应的目标像素值；

对于所述目标特征图中的每个像素点，比较该像素点对应的目标像素值与参考像素值得到比较结果，根据比较结果将该像素点对应的目标像素值映射至设定像素值；

根据所述目标特征图中所有像素点对应的设定像素值，生成该训练用商品图像对应的分割结果图。

本发明第二方面公开了一种基于图像分割的商品识别装置，所述装置包括：

图像分割模块，用于当检测到存在待识别商品图像需要进行商品识别操作时，将所述待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到所述待识别商品图像中待识别的商品所对应的目标图像，所述目标图像与所述待识别商品图像的背景的关联度低于预设关联度阈值；

特征向量提取模块，用于将所述目标图像输入到预先构建好的图像特征提取模型中，得到所述目标图像对应的目标特征向量；

特征向量确定模块，用于根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量；

识别结果确定模块，用于根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果。

作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

特征向量更新模块，用于在所述特征向量确定模块根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量之前，对所述目标特征向量执行降维操作以更新所述目标特征向量；

信息确定模块，用于在所述特征向量更新模块对所述目标特征向量执行降维操作以更新所述目标特征向量之前，确定所述目标特征向量的第一维度信息，并获取商品图像特征库中所有现存特征向量对应的第二维度信息；

判断模块，用于判断所述第一维度信息与所述第二维度信息是否相匹配，当判断结果为否时，触发所述特征向量更新模块执行所述的对所述目标特征向量执行降维操作以更新所述目标特征向量的操作；当判断结果为是时，触发所述特征向量确定模块执行所述的根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量的操作。

作为一种可选的实施方式，在本发明第二方面中，所述特征向量确定模块根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量的方式具体包括：

根据所述目标特征向量和商品特征库中每一现存特征向量，计算所述目标特征向量与每一所述现存特征向量的余弦相似度；

判断所有所述余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一个目标余弦相似度，当判断结果为是时，将所有所述目标余弦相似度对应的相似现存特征向量确定为与所述目标特征向量相匹配的目标现存特征向量。

作为一种可选的实施方式，在本发明第二方面中，所述识别结果确定模块根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果的方式具体包括：

计算所有所述相似现存特征向量的数量，并根据所述商品图像特征库对应的图像特征—商品标识对应关系确定每个所述相似现存特征向量对应的商品标识；

根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果；

以及，所述识别结果确定模块根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果的方式具体包括：

当所述数量为1时，确定所述相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当所述数量大于1时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；或者，

当所述数量大于1且小于预设数量阈值时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；当所述数量大于等于所述预设数量阈值时，根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果；

其中，所述目标相似现存特征向量为所有所述相似现存特征向量中与所述目标特征向量的余弦相似度最大的相似现存特征向量，所述剩余相似现存特征向量是所有所述相似现存特征向量除所述目标相似现存特征向量之外的相似现存特征向量。

作为一种可选的实施方式，在本发明第二方面中，所述识别结果确定模块根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果的方式具体包括：

判断所有所述第二商品标识中是否存在与所述第一商品标识相同的商品标识；

当判断出所有所述第二商品标识中存在与所述第一商品标识相同的商品标识时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当判断出所有所述第二商品标识中不存在与所述第一商品标识相同的商品标识时，确定所述待识别商品图像对应的辅助因子，并根据所述辅助因子从所述第一商品标识以及所有所述第二商品标识中选择与所述辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定所述目标商品标识为所述待识别商品图像对应的商品识别结果。

作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

模型训练模块，用于在所述图像分割模块将所述待识别商品图像输入到商品图像主体分割模型中，得到所述待识别商品图像中商品的目标图像之前，基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型；

其中，所述训练样本数据集包括若干张训练用商品图像，每张所述训练用商品图像为已分割出图像背景的商品图像，且所有所述训练用商品图像包括第一类训练用商品图像，或者，所有所述训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像；其中，所述第一类训练用商品图像中的所有第一训练用商品图像的图像背景分割结果是人工标注形成的，所述第二类训练用商品图像中的所有第二训练用商品图像是基于所述第一类训练用商品图像中的第一训练用商品图像生成的；

以及，所述第二类训练用商品图像中的每个第二训练用商品图像具体是通过以下方式生成：

对于所述第一类训练用商品图像中的任一第一训练用商品图像，根据该第一训练用商品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像；对该商品主体区域图像进行数据增强操作，得到数据增强后的图像，并将该数据增强后的图像随机粘贴至不同的宣传图像模板上，将该数据增强后的图像在宣传图像模板的粘贴位置处的像素值调整为第一像素值并将所述宣传图像模板的剩余位置处的像素值调整为第二像素值，得到第二训练用商品图像。

作为一种可选的实施方式，在本发明第二方面中，所述第一类训练用商品图像中每张第一训练用商品图像的图像背景分割结果是基于每张第一训练用商品图像所对应的分割结果图标注的；

其中，对于所述第一类训练用商品图像的每张第一训练用商品图像，该第一训练用商品图像对应的分割结果图是通过以下方式生成的：

将该第一训练用商品图像对应的原始图像输入至预先确定出的图像分割网络，得到该原始图像对应的三个不同尺寸的原始特征图；

将三个所述原始特征图分别输入至所述图像分割网络中分割分支中的三个不同的卷积层，得到每个卷积层的输出特征图；

确定三个所述原始特征图中最大尺寸的原始特征图经过对应卷积层之后得到的输出特征图的目标尺寸，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，以使非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图的尺寸等于目标尺寸；

对三个相同尺寸的输出特征图进行拼接，得到拼接特征图，将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图；

对所述目标特征图中每个像素点对应的原始像素值进行归一化处理，得到所述目标特征图中每个像素点对应的目标像素值；

对于所述目标特征图中的每个像素点，比较该像素点对应的目标像素值与参考像素值得到比较结果，根据比较结果将该像素点对应的目标像素值映射至设定像素值；

根据所述目标特征图中所有像素点对应的设定像素值，生成该训练用商品图像对应的分割结果图。

本发明第三方面公开了另一种基于图像分割的商品识别装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于图像分割的商品识别方法。

本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于图像分割的商品识别方法。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，当检测到存在待识别商品图像需要进行商品识别操作时，将该待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到该待识别商品图像中待识别的商品所对应的目标图像，该目标图像与该待识别商品图像的背景的关联度低于预设关联度阈值；将该目标图像输入到预先构建好的图像特征提取模型中，得到该目标图像对应的目标特征向量；根据该目标特征向量和商品图像特征库中每一现存特征向量，确定与该目标特征向量相匹配的目标现存特征向量，并根据该商品图像特征库对应的图像特征—商品标识对应关系确定出该目标现存特征向量对应的商品标识，作为该待识别商品图像对应的商品识别结果。可见，本发明能够通过构建的商品图像主体区域的检测及分割网络对待识别商品图像进行图像分割得到商品的目标图像，提取目标图像的特征向量，并从商品图像特征库中筛选出与特征向量匹配的目标现存特征向量，将目标现存特征向量的商品标识作为待识别商品图像的商品识别结果，不仅能够保证商品图像的识别速度，还能够有效减少待识别商品图像中的图像背景对商品识别结果的干扰，进而有利于提高确定出的商品识别结果的准确性和可靠性以提高商品识别的精准性，以及有利于提高商品识别结果的确定效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于图像分割的商品识别方法的流程示意图；

图2是本发明实施例公开的另一种基于图像分割的商品识别方法的流程示意图；

图3是本发明实施例公开的一种基于图像分割的商品识别装置的结构示意图；

图4是本发明实施例公开的另一种基于图像分割的商品识别装置的结构示意图；

图5是本发明实施例公开的又一种基于图像分割的商品识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种基于图像分割的商品识别方法及装置，能够通过构建的商品图像主体区域的检测及分割网络对待识别商品图像进行图像分割得到商品的目标图像，提取目标图像的特征向量，并从商品图像特征库中筛选出与特征向量匹配的目标现存特征向量，将目标现存特征向量的商品标识作为待识别商品图像的商品识别结果，不仅能够保证商品图像的识别速度，还能够有效减少待识别商品图像中的图像背景对商品识别结果的干扰，进而有利于提高确定出的商品识别结果的准确性和可靠性以提高商品识别的精准性，以及有利于提高商品识别结果的确定效率。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于图像分割的商品识别方法的流程示意图。其中，图1所描述的方法可以应用于基于图像分割的商品识别装置，其中，该装置可以包括服务器，其中，服务器包括本地服务器或者云服务器，本发明实施例不做限定。如图1所示，该基于图像分割的商品识别方法包括以下操作：

101、当检测到存在待识别商品图像需要进行商品识别操作时，将待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到待识别商品图像中待识别的商品所对应的目标图像。

本发明实施例中，可选的，目标图像与待识别商品图像的背景的关联度低于预设关联度阈值。

102、将目标图像输入到预先构建好的图像特征提取模型中，得到目标图像对应的目标特征向量。

本发明实施例中，可选的，图像特征提取模型可以是开源的ImageNet预训练模型，举例说明，ImageNet预训练模型可以是ResNet18vd等；图像特征提取模型还可以是对商品图像主体分割模型进行调整后的分割模型，本发明实施例不做限定。

进一步可选的，对商品图像主体分割模型进行调整得到调整后的分割模型的具体操作，举例说明，取出商品图像主体分割模型中的特征提取部分，重新在后面添加全连接层，调整商品图像主体分割模型的输入图像尺寸与预先确定出的商品图像的固定尺寸(比如：224×224个像素值)相同，在商品图像的分类任务上进行微调，得到调整后的分割模型，作为图像特征提取模型。

103、根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量。

本发明实施例中，可选的，商品图像特征库中可以包括一个或多个现存特征向量，本发明实施例不做限定。可选的，商品图像特征库中的所有现存特征向量可以包括目标现存特征向量，本发明实施例不做限定。

104、根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果。

本发明实施例中，可选的，图像特征—商品标识对应关系可以是包含于商品图像特征库中的，也可以是处于商品图像特征库外的，本发明实施例不做限定。可选的，图像特征—商品标识对应关系，举例说明，可以是预先设定的图像特征与对应商品标识的绑定关系，本发明实施例不做限定。

可见，实施本发明实施例所描述的基于图像分割的商品识别方法能够通过构建的商品图像主体区域的检测及分割网络对待识别商品图像进行图像分割得到商品的目标图像，提取目标图像的特征向量，并从商品图像特征库中筛选出与特征向量匹配的目标现存特征向量，将目标现存特征向量的商品标识作为待识别商品图像的商品识别结果，不仅能够保证商品图像的识别速度，还能够有效减少待识别商品图像中的图像背景对商品识别结果的干扰，进而有利于提高确定出的商品识别结果的准确性和可靠性以提高商品识别的精准性，以及有利于提高商品识别结果的确定效率。

在一个可选的实施例中，在上述根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量之前，该方法还可以包括以下操作：

对目标特征向量执行降维操作以更新目标特征向量。

在上述可选的实施例中，进一步可选的，上述对目标特征向量执行降维操作以更新目标特征向量，可以包括：

根据预先确定出的向量降维模型对目标特征向量执行降维操作，以更新目标特征向量。

可选的，向量降维模型可以是协方差矩阵，也可以是其它能够实现向量降维的向量降维装置，本发明实施例不做限定。进一步可选的，协方差矩阵是通过采用PCA降维方法对商品图像特征库中的所有商品图像特征进行统一降维后得到的，本发明实施例不做限定。

在上述可选的实施例中，进一步可选的，在上述对目标特征向量执行降维操作以更新目标特征向量之前，该方法还可以包括以下操作：

确定目标特征向量的第一维度信息，并获取商品图像特征库中所有现存特征向量对应的第二维度信息；

判断第一维度信息与第二维度信息是否相匹配，当判断出第一维度信息与第二维度信息不相匹配时，触发执行上述的对目标特征向量执行降维操作以更新目标特征向量的操作；当判断出第一维度信息与第二维度信息相匹配时，触发执行上述的根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量的操作。

在上述可选的实施例中，进一步可选的，根据预先确定出的向量降维模型对目标特征向量执行降维操作，以更新目标特征向量，可以包括：

根据第一维度信息、第二维度信息及预先确定出的向量降维模型，对目标特征向量执行降维操作，以更新目标特征向量。

可见，该可选的实施例能够对特征向量进行降维以实现特征向量的更新功能，能够应对目标特征向量与现存特征向量之间的维度不同的情况，有利于提高后续目标现存特征向量的确定效率以及提高确定出的目标现存特征向量的有效性，进而有利于提高商品识别结果的确定效率和准确性，且还能够拓展基于图像分割的商品识别装置的智能化功能，提高用户的使用体验，提升装置的用户粘度；以及，还能够通过预先确定出的向量降维模型进行特征向量降维操作，有利于提高特征向量的降维效率和降维便捷性，并且当向量降维模型是协方差矩阵时有利于提高降维后的特征向量的有效性和准确性；以及，还能够判断目标特征向量的维度是否与现存特征向量的维度相匹配，若不是，方执行后续的更新目标特征向量的操作，有利于提高更新目标特征向量方式的完整性和全面性，进而有利于提高执行更新目标特征向量操作的合理性和有效性，以及有利于提高更新后的目标特征向量的有效性，以减少执行不必要的操作和减少不必要的资源浪费；以及，还能够结合第一维度信息和第二维度信息更新目标特征向量，有利于提高更新目标特征向量操作的合理性，进而有利于提高更新后的目标特征向量的有效性和准确性，从而在一定程度上能够提高后续确定出的商品识别结果的准确性以及确定效率。

在又一个可选的实施例中，上述根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量，可以包括：

根据目标特征向量和商品特征库中每一现存特征向量，计算目标特征向量与每一现存特征向量的余弦相似度；

判断所有余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一个目标余弦相似度，当判断结果为是时，将所有目标余弦相似度对应的相似现存特征向量确定为与目标特征向量相匹配的目标现存特征向量。

该可选的实施例中，进一步可选的，可以通过计算目标特征向量与每一现存特征向量的差异度确定与目标特征向量相匹配的目标现存特征向量，当差异度小于等于预先设定的差异度阈值时，执行将所有目标余弦相似度对应的相似现存特征向量确定为与目标特征向量相匹配的目标现存特征向量的操作；当差异度大于预先设定的差异度阈值时，执行相应的更新商品图像特征库对应的图像特征—商品标识对应关系集合的操作，本发明实施例不做限定。

在上述可选的实施例中，进一步可选的，该方法还可以包括以下操作：

当判断出所有余弦相似度中不存在大于等于相似度阈值的目标余弦相似度时，获取待识别商品图像中待识别的商品的标识信息，并对目标特征向量及待识别商品图像中待识别的商品的标识信息执行信息绑定操作，得到待识别商品图像中待识别的商品对应的图像特征—商品标识对应关系，以更新商品图像特征库对应的图像特征—商品标识对应关系集合；图像特征—商品标识对应关系集合包括一种或多种图像特征—商品标识对应关系集合。

可选的，对于获取待识别商品图像中待识别的商品的标识信息，可以是人为确定出待识别商品图像中待识别的商品的标识信息并录入后台系统，本发明实施例不做限定。

可选的，对目标特征向量及待识别商品图像中待识别的商品的标识信息执行信息绑定操作，可以是通过人为操作完成标识信息和目标特征向量的绑定操作，也可以是服务端接收到相应触发指令后对获取得到的标识信息和目标特征向量进行绑定，本发明实施例不做限定。

可见，该可选的实施例能够通过计算出的目标特征向量与现存特征向量的余弦相似度，确定出与目标特征向量相匹配的目标现存特征向量，有利于提高确定目标现存特征向量方式的合理性和可行性，进而有利于提高确定出的目标现存特征向量的准确性和可靠性，从而有利于提高后续确定出的商品识别结果的准确性；以及，还能够针对所有余弦相似度中不存在大于等于相似度阈值的目标余弦相似度的情况，提供相应的更新商品图像特征库对应的图像特征—商品标识对应关系的功能，有利于提高目标现存特征向量确定方式的可行性和完整性，进而有利于提高基于图像分割的商品识别方式的全面性及可行性，在一定程度上能够提高目标现存特征向量的确定效率，此外，还能够拓展基于图像分割的商品识别装置的智能化功能，提高用户的使用体验，提升该装置的用户粘度。

在又一个可选的实施例中，上述根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果，可以包括：

计算所有相似现存特征向量的数量，并根据商品图像特征库对应的图像特征—商品标识对应关系确定每个相似现存特征向量对应的商品标识；

根据数量以及所有相似现存特征向量对应的商品标识，确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果。

该可选的实施例中，可选的，商品标识可以包括商品名称标识和/或商品类别标识，本发明实施例不做限定。进一步可选的，每一商品标识可以对应一个或多个相似现存特征向量，本发明实施例不做限定。

可见，该可选的实施例能够根据所有相似现存特征向量的数量、图像特征—商品标识对应关系及相似现存特征向量的商品标识确定出待识别商品图像的商品识别结果，结合了更多确定影响因素确定出商品识别结果，有利于提高商品识别结果确定方式的合理性和全面性，进而有利于提高确定出的商品识别结果的准确性。

在又一个可选的实施例中，上述根据数量以及所有相似现存特征向量对应的商品标识，确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果，可以包括：

当数量为1时，确定相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；

当数量大于1时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；或者，

当数量大于1且小于预设数量阈值时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；当数量大于等于预设数量阈值时，根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定待识别商品图像对应的商品识别结果；

其中，目标相似现存特征向量为所有相似现存特征向量中与目标特征向量的余弦相似度最大的相似现存特征向量，剩余相似现存特征向量是所有相似现存特征向量除目标相似现存特征向量之外的相似现存特征向量。

可见，该可选的实施例能够针对数量为1、数量大于1、数量大于1且小于相应阈值以及数量大于相应阈值的多种情况，提供相应的商品识别结果确定方式，有利于丰富商品识别结果确定方式的多样性，以及有利于提高商品识别结果确定方式的灵活性和针对性，进而有利于提高确定出的商品识别结果的准确性，以及在一定程度上能够提高商品识别结果的确定效率。

在又一个可选的实施例中，上述根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定待识别商品图像对应的商品识别结果，可以包括：

判断所有第二商品标识中是否存在与第一商品标识相同的商品标识；

当判断出所有第二商品标识中存在与第一商品标识相同的商品标识时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；

当判断出所有第二商品标识中不存在与第一商品标识相同的商品标识时，确定待识别商品图像对应的辅助因子，并根据辅助因子从第一商品标识以及所有第二商品标识中选择与辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定目标商品标识为待识别商品图像对应的商品识别结果。

该可选的实施例中，可选的，与辅助因子的关联度大于等于预设关联度阈值的目标商品标识可以有一种或多种，本发明实施例不做限定。

可选的，辅助因子可以包括至少一个子辅助因子，进一步的，可以包括第一子辅助因子和/或第二子辅助因子，第一子辅助因子可以是待识别商品图像中的背景图案因子和/或背景颜色因子，第二子辅助因子可以是待识别商品图像中的背景文字因子，本发明实施例不做限定。

可见，该可选的实施例能够针对数量大于等于预设数量阈值的情况，提供相应的具有更加细节具体的操作步骤的商品识别结果确定方式，有利于提高商品识别结果确定方式的可行性和合理性，进而有利于提高确定出的商品识别结果的准确性和可靠性，以及在一定程度上能够提高商品识别结果的确定效率。

在上述可选的实施例中，进一步可选的，上述根据辅助因子从第一商品标识以及所有第二商品标识中选择与辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定目标商品标识为待识别商品图像对应的商品识别结果，可以包括：

确定待识别商品图像中与第一子辅助因子相匹配的第一辅助特征向量，并分析第一辅助特征向量及每一相似现存特征向量，得到第一辅助特征向量与每一相似现存特征向量的第一辅助关联度；

确定待识别商品图像中与第二子辅助因子相匹配的第二辅助特征向量，并分析第二辅助特征向量及每一相似现存特征向量，得到第二辅助特征向量与每一相似现存特征向量的第二辅助关联度；

对于每个相似现存特征向量，根据对应的第一辅助关联度、对应的第二辅助关联度以及设定的辅助因子相应权重，计算该相似现存特征向量对应的辅助关联度；

从所有相似现存特征向量对应的辅助关联度中确定出最大的辅助关联度，将该最大的辅助关联度对应的相似现存特征向量所对应的商品标识，作为与辅助因子的关联度大于等于预设关联度阈值的目标商品标识。

可见，该可选的实施例能够结合辅助因子以及计算相应的辅助关联度，确定待识别商品图像的商品识别结果，能够结合更多影响因素分析并确定商品识别结果，有利于提高确定出的商品识别结果的准确性和可靠性，以及有利于提高基于图像分割的商品识别方式的合理性和可行性，进而有利于提高商品识别的精准性。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于图像分割的商品识别方法的流程示意图。其中，图2所描述的方法可以应用于基于图像分割的商品识别装置，其中，该装置可以包括服务器，其中，服务器包括本地服务器或者云服务器，本发明实施例不做限定。如图2所示，该基于图像分割的商品识别方法包括以下操作：

201、基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型。

本发明实施例中，可选的，训练样本数据集包括若干张训练用商品图像，每张训练用商品图像为已分割出图像背景的商品图像，且所有训练用商品图像包括第一类训练用商品图像，或者，所有训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像；其中，第一类训练用商品图像中的所有第一训练用商品图像的图像背景分割结果是人工标注形成的，第二类训练用商品图像中的所有第二训练用商品图像是基于第一类训练用商品图像中的第一训练用商品图像生成的。

进一步可选的，第二类训练用商品图像中的所有第二训练用商品图像是服务端基于第一类训练用商品图像中的第一训练用商品图像生成的，本发明实施例不做限定。

202、当检测到存在待识别商品图像需要进行商品识别操作时，将待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到待识别商品图像中待识别的商品所对应的目标图像。

203、将目标图像输入到预先构建好的图像特征提取模型中，得到目标图像对应的目标特征向量。

204、根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量。

205、根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果。

本发明实施例中，针对步骤202—步骤205的其它描述，请参照实施例一中针对步骤101—步骤104的其他详细描述，本发明实施例不再赘述。

可见，实施本发明实施例所描述的基于图像分割的商品识别方法能够通过构建的商品图像主体区域的检测及分割网络对待识别商品图像进行图像分割得到商品的目标图像，提取目标图像的特征向量，并从商品图像特征库中筛选出与特征向量匹配的目标现存特征向量，将目标现存特征向量的商品标识作为待识别商品图像的商品识别结果，不仅能够保证商品图像的识别速度，还能够有效减少待识别商品图像中的图像背景对商品识别结果的干扰，进而有利于提高确定出的商品识别结果的准确性和可靠性以提高商品识别的精准性，以及有利于提高商品识别结果的确定效率；以及，还能够在将待识别商品图像输入到商品图像主体分割模型之前，先执行分割模型训练操作以得到商品图像主体分割模型，有利于提高基于图像分割的商品识别方式的整体性和全面性，进而有利于提高基于图像分割的商品识别方式的合理性，从而有利于提高确定出的商品识别结果的准确性和可靠性以提高确定出的商品识别结果的有效性。

在上述实施例中，进一步可选的，上述基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型，可以包括：

根据确定出的分割分支对应的优化损失函数、目标物体损失参数以及坐标回归损失参数及预先确定出的训练样本数据集，对图像分割模型进行加权并行优化操作，得到对应的分割损失结果；并确定训练样本数据集对应的验证集的精度情况；

当分割损失结果用于表示损失值的第一变化幅度小于等于预先设定的第一变化幅度阈值，且精度情况用于表示精度对应第二变化幅度小于等于预先设定的第二变化幅度阈值时，确定出验证集中精度大于等于预先设定的精度阈值对应的图像分割模型，作为商品图像主体分割模型。

该可选的实施例中，可选的，优化损失函数可以是Focal loss函数，本发明实施例不做限定。可选的，目标物体损失参数可以是二值交叉熵参数，坐标回归损失参数可以是CIOU参数，本发明实施例不做限定。

可见，该可选的实施例能够提供一种训练图像分割模型的方式，基于相匹配的训练样本数据集对图像分割模型进行训练，有利于提高训练得到的图像分割模型的有效性和可行性，进而有利于提高后续通过图像分割模型得到的图像分割结果的准确性和可靠性，以及在一定程度上能够提高图像分割结果的确定效率。

在一个可选的实施例中，上述第二类训练用商品图像中的每个第二训练用商品图像具体是通过以下方式生成：

对于第一类训练用商品图像中的任一第一训练用商品图像，根据该第一训练用商品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像；对该商品主体区域图像进行数据增强操作，得到数据增强后的图像，并将该数据增强后的图像随机粘贴至不同的宣传图像模板上，将该数据增强后的图像在宣传图像模板的粘贴位置处的像素值调整为第一像素值并将宣传图像模板的剩余位置处的像素值调整为第二像素值，得到第二训练用商品图像。

该可选的实施例中，可选的，数据增强操作可以包括但不限于尺寸缩放操作、亮度调整操作、对比度调整操作、水平翻转操作、随机角度旋转操作等中的一种或多种，本发明实施例不做限定。

可见，该可选的实施例能够通过对商品主体区域图像进行数据增强、图像粘贴等图像处理操作确定出第二类训练用商品图像中的第二训练用商品图像，有利于提高第二训练用商品图像生成方式的可行性和合理性，进而有利于提高第二训练用商品图像的生成效率，以及在一定程度上能够提高第二训练用商品图像的有效性和可靠性，从而有利于提高基于图像分割的商品识别效率和精准性。

在另一个可选的实施例中，可选的，上述第一类训练用商品图像中每张第一训练用商品图像的图像背景分割结果是基于每张第一训练用商品图像所对应的分割结果图标注的。

进一步可选的，对于第一类训练用商品图像的每张第一训练用商品图像，该第一训练用商品图像对应的分割结果图是通过以下方式生成的：

将该第一训练用商品图像对应的原始图像输入至预先确定出的图像分割网络，得到该原始图像对应的三个不同尺寸的原始特征图；

将三个原始特征图分别输入至图像分割网络中分割分支中的三个不同的卷积层，得到每个卷积层的输出特征图；

确定三个原始特征图中最大尺寸的原始特征图经过对应卷积层之后得到的输出特征图的目标尺寸，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，以使非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图的尺寸等于目标尺寸；

对三个相同尺寸的输出特征图进行拼接，得到拼接特征图，将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图；

对目标特征图中每个像素点对应的原始像素值进行归一化处理，得到目标特征图中每个像素点对应的目标像素值；

对于目标特征图中的每个像素点，比较该像素点对应的目标像素值与参考像素值得到比较结果，根据比较结果将该像素点对应的目标像素值映射至设定像素值；

根据目标特征图中所有像素点对应的设定像素值，生成该训练用商品图像对应的分割结果图。

该可选的实施例中，可选的，分割分支中的三个不同的卷积层的输入通道数等于对应原始特征图的通道数，并且分割分支中的三个不同的卷积层的输出通道数也等于对应原始特征图的通道数，本发明实施例不做限定。进一步的，举例说明，上述原始特征图的通道数、卷积层的输入通道数以及卷积层的输出通道数可以设定为256，即分割分支中的三个不同的卷积层可以表示为1×1×256卷积，本发明实施例不做限定。

可选的，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，举例说明，最小尺寸的原始特征图经过对应卷积层之后得到的输出特征图经过对应上采样层进行4倍上采样操作以扩大该最小尺寸的原始特征图的尺寸，非最大尺寸且非最小尺寸的原始特征图经过对应卷积层之后得到的输出特征图经过对应上采样层进行2倍上采样操作以扩大该非最大尺寸且非最小尺寸的原始特征图的尺寸，本发明实施例不做限定。

可选的，图像分割网络可以是开源的超轻量级YOLOv5网络，本发明实施例不做限定。进一步可选的，可以是将该第一训练用商品图像对应的原始图像输入至开源的超轻量级YOLOv5网络中的FPN模块中，得到该原始图像对应的三个不同尺寸的原始特征图，本发明实施例不做限定。

进一步可选的，可以将三个原始特征图输入至图像分割网络中检测分支中，得到三个原始特征图对应的商品主体目标的坐标值，并基于该坐标值触发执行后续分割分支相关操作，本发明实施例不做限定。

可选的，可以在通道中执行上述的对三个相同尺寸的输出特征图进行拼接，得到拼接特征图的操作，本发明实施例不做限定。

可选的，举例说明，特征融合卷积层可以是3×3×256卷积，以及特征融合后的目标特征图对应的通道数仍为256，本发明实施例不做限定。

可选的，上述对目标特征图中每个像素点对应的原始像素值进行归一化处理，得到目标特征图中每个像素点对应的目标像素值的操作，可以是将目标特征图经过sigmoid激活层实现的，本发明实施例不做限定。

可选的，像素值对应的取值范围可以设定为0—1之间，本发明实施例不做限定。进一步可选的，上述根据比较结果将该像素点对应的目标像素值映射至设定像素值，举例说明，当目标像素值小于0.5时对应的设定像素值为0，当目标像素值大于0.5时对应的设定像素值为1，本发明实施例不做限定。

进一步可选的，在上述将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图之后，以及在上述对目标特征图中每个像素点对应的原始像素值进行归一化处理，得到目标特征图中每个像素点对应的目标像素值之前，该方法还可以包括以下操作：

将特征融合后的目标特征图经过1×1×256卷积层，得到通道数降为1的目标特征图；并将该通道数降为1的目标特征图经过8倍上采样层，得到与原始图像的尺寸相同的目标特征图，触发执行上述的对目标特征图中每个像素点对应的原始像素值进行归一化处理，得到目标特征图中每个像素点对应的目标像素值的操作。

可见，该可选的实施例能够提供一种第一训练用商品图像对应分割结果图的生成方式，有利于提高该分割结果图生成方式的可行性和合理性，进而有利于提高分割结果图的生成效率，以及在一定程度上能够提高第一训练用商品图像对应分割结果图的有效性和可靠性，从而有利于提高基于图像分割的商品识别效率和精准性。

在又一个可选的实施例中，商品图像特征库是通过以下方式构成的：

获取商品宣传图像集合，商品宣传图像集合包括至少一张商品宣传图像；

对于商品宣传图像集合包括每一商品宣传图像，将该商品宣传图像输入至商品图像主体分割模型中，得到该商品宣传图像中商品对应的主体目标检测框，并根据主体目标检测框将该商品宣传图像中对应的主体商品矩形区域进行裁剪，得到该商品宣传图像中的商品对应的矩形裁剪图像；根据二值分割结果设置条件，将矩形裁剪图像中背景区域对应像素值调整为第一像素值，且矩形裁剪图像中商品区域对应像素值保持不变，得到该商品宣传图像对应的目标商品图像，并将目标商品图像对应尺寸缩放至预先确定的尺寸设置值，得到尺寸缩放后的目标商品图像；该目标商品图像对应的背景的关联度低于预设关联度阈值；将尺寸缩放后的目标商品图像输入至图像特征提取模型中，得到目标商品图像中商品对应的目标图像特征，作为该商品的检索特征；将该商品的检索特征与该商品的标识信息进行绑定，得到该商品的图像特征—商品标识对应关系；

根据商品宣传图像集合包括的所有商品宣传图像对应的目标图像特征以及根据商品宣传图像集合包括的所有商品宣传图像对应的图像特征—商品标识对应关系，构建商品图像特征库；商品图像特征库中的所有现存特征向量包括商品宣传图像集合包括的商品宣传图像对应的目标图像特征。

可选的，尺寸设置值可以是224×224个像素值，也可以是其它像素值，本发明实施例不做限定。

可见，该可选的实施例能够提供一种针对商品图像特征库的构成方式，有利于提高商品图像特征库构成方式的可行性和合理性，进而有利于提高构成的商品图像特征库的有效性，从而有利于提高后续从商品图像特征库中确定目标商品标识的效率和提高确定出的目标商品标识的准确性。

实施例三

请参阅图3，图3是本发明实施例公开的一种基于图像分割的商品识别装置的结构示意图。其中，图3所描述的装置可以包括服务器，其中，服务器包括本地服务器或者云服务器，本发明实施例不做限定。如图3所示，该基于图像分割的商品识别装置可以包括：

图像分割模块301，用于当检测到存在待识别商品图像需要进行商品识别操作时，将待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到待识别商品图像中待识别的商品所对应的目标图像，目标图像与待识别商品图像的背景的关联度低于预设关联度阈值。

特征向量提取模块302，用于将目标图像输入到预先构建好的图像特征提取模型中，得到目标图像对应的目标特征向量。

特征向量确定模块303，用于根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量。

识别结果确定模块304，用于根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果。

可见，实施图3所描述的基于图像分割的商品识别装置能够通过构建的商品图像主体区域的检测及分割网络对待识别商品图像进行图像分割得到商品的目标图像，提取目标图像的特征向量，并从商品图像特征库中筛选出与特征向量匹配的目标现存特征向量，将目标现存特征向量的商品标识作为待识别商品图像的商品识别结果，不仅能够保证商品图像的识别速度，还能够有效减少待识别商品图像中的图像背景对商品识别结果的干扰，进而有利于提高确定出的商品识别结果的准确性和可靠性以提高商品识别的精准性，以及有利于提高商品识别结果的确定效率。

在一个可选的实施例中，如图4所示，该装置还可以包括：

特征向量更新模块305，用于在特征向量确定模块303根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量之前，对目标特征向量执行降维操作以更新目标特征向量。

可见，实施图4所描述的装置具有对特征向量进行降维以实现特征向量的更新功能，能够应对目标特征向量与现存特征向量之间的维度不同的情况，有利于提高后续目标现存特征向量的确定效率以及提高确定出的目标现存特征向量的有效性，进而有利于提高商品识别结果的确定效率和准确性，且还能够拓展该装置的智能化功能，提高用户的使用体验，提升装置的用户粘度。

在另一个可选的实施例中，如图4所示，该装置还可以包括：

信息确定模块306，用于在特征向量更新模块305对目标特征向量执行降维操作以更新目标特征向量之前，确定目标特征向量的第一维度信息，并获取商品图像特征库中所有现存特征向量对应的第二维度信息。

判断模块307，用于判断第一维度信息与第二维度信息是否相匹配，当判断结果为否时，触发特征向量更新模块305执行上述的对目标特征向量执行降维操作以更新目标特征向量的操作；当判断结果为是时，触发特征向量确定模块303执行上述的根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量的操作。

可见，实施图4所描述的装置还能够判断目标特征向量的维度是否与现存特征向量的维度相匹配，若不是，方执行后续的更新目标特征向量的操作，有利于提高更新目标特征向量方式的完整性和全面性，进而有利于提高执行更新目标特征向量操作的合理性和有效性，以及有利于提高更新后的目标特征向量的有效性，以减少执行不必要的操作和减少不必要的资源浪费。

在又一个可选的实施例中，特征向量确定模块303根据目标特征向量和商品图像特征库中每一现存特征向量，确定与目标特征向量相匹配的目标现存特征向量的方式具体包括：

根据目标特征向量和商品特征库中每一现存特征向量，计算目标特征向量与每一现存特征向量的余弦相似度；

判断所有余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一个目标余弦相似度，当判断结果为是时，将所有目标余弦相似度对应的相似现存特征向量确定为与目标特征向量相匹配的目标现存特征向量。

可见，实施图4所描述的装置还能够通过计算出的目标特征向量与现存特征向量的余弦相似度，确定出与目标特征向量相匹配的目标现存特征向量，有利于提高确定目标现存特征向量方式的合理性和可行性，进而有利于提高确定出的目标现存特征向量的准确性和可靠性，从而有利于提高后续确定出的商品识别结果的准确性。

在又一个可选的实施例中，识别结果确定模块304根据商品图像特征库对应的图像特征—商品标识对应关系确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果的方式具体包括：

计算所有相似现存特征向量的数量，并根据商品图像特征库对应的图像特征—商品标识对应关系确定每个相似现存特征向量对应的商品标识；

根据数量以及所有相似现存特征向量对应的商品标识，确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果。

可见，实施图4所描述的装置还能够根据所有相似现存特征向量的数量、图像特征—商品标识对应关系及相似现存特征向量的商品标识确定出待识别商品图像的商品识别结果，结合了更多确定影响因素确定出商品识别结果，有利于提高商品识别结果确定方式的合理性和全面性，进而有利于提高确定出的商品识别结果的准确性。

在又一个可选的实施例中，识别结果确定模块304根据数量以及所有相似现存特征向量对应的商品标识，确定出目标现存特征向量对应的商品标识，作为待识别商品图像对应的商品识别结果的方式具体包括：

当数量为1时，确定相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；

当数量大于1时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；或者，

当数量大于1且小于预设数量阈值时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；当数量大于等于预设数量阈值时，根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定待识别商品图像对应的商品识别结果；

其中，目标相似现存特征向量为所有相似现存特征向量中与目标特征向量的余弦相似度最大的相似现存特征向量，剩余相似现存特征向量是所有相似现存特征向量除目标相似现存特征向量之外的相似现存特征向量。

可见，实施图4所描述的装置还能够针对数量为1、数量大于1、数量大于1且小于相应阈值以及数量大于相应阈值的多种情况，提供相应的商品识别结果确定功能，有利于丰富商品识别结果确定方式的多样性，以及有利于提高商品识别结果确定方式的灵活性和针对性，进而有利于提高确定出的商品识别结果的准确性，以及在一定程度上能够提高商品识别结果的确定效率。

在又一个可选的实施例中，识别结果确定模块304根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定待识别商品图像对应的商品识别结果的方式具体包括：

判断所有第二商品标识中是否存在与第一商品标识相同的商品标识；

当判断出所有第二商品标识中存在与第一商品标识相同的商品标识时，确定目标相似现存特征向量对应的商品标识为待识别商品图像对应的商品识别结果；

当判断出所有第二商品标识中不存在与第一商品标识相同的商品标识时，确定待识别商品图像对应的辅助因子，并根据辅助因子从第一商品标识以及所有第二商品标识中选择与辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定目标商品标识为待识别商品图像对应的商品识别结果。

可见，实施图4所描述的装置还能够针对数量大于等于预设数量阈值的情况，提供相应的具有更加细节具体的操作步骤的商品识别结果确定方式，有利于提高商品识别结果确定方式的可行性和合理性，进而有利于提高确定出的商品识别结果的准确性和可靠性，以及在一定程度上能够提高商品识别结果的确定效率。

在又一个可选的实施例中，如图4所示，该装置还可以包括：

模型训练模块308，用于在图像分割模块301将待识别商品图像输入到商品图像主体分割模型中，得到待识别商品图像中商品的目标图像之前，基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型；

其中，训练样本数据集包括若干张训练用商品图像，每张训练用商品图像为已分割出图像背景的商品图像，且所有训练用商品图像包括第一类训练用商品图像，或者，所有训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像；其中，第一类训练用商品图像中的所有第一训练用商品图像的图像背景分割结果是人工标注形成的，第二类训练用商品图像中的所有第二训练用商品图像是基于第一类训练用商品图像中的第一训练用商品图像生成的。

可见，实施图4所描述的装置还能够在将待识别商品图像输入到商品图像主体分割模型之前，先执行分割模型训练操作以得到商品图像主体分割模型，提供了训练商品图像主体分割模型功能，有利于提高基于图像分割的商品识别方式的整体性和全面性，进而有利于提高基于图像分割的商品识别方式的合理性，从而有利于提高确定出的商品识别结果的准确性和可靠性以提高确定出的商品识别结果的有效性。

在又一个可选的实施例中，第二类训练用商品图像中的每个第二训练用商品图像具体是通过以下方式生成：

对于第一类训练用商品图像中的任一第一训练用商品图像，根据该第一训练用商品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像；对该商品主体区域图像进行数据增强操作，得到数据增强后的图像，并将该数据增强后的图像随机粘贴至不同的宣传图像模板上，将该数据增强后的图像在宣传图像模板的粘贴位置处的像素值调整为第一像素值并将宣传图像模板的剩余位置处的像素值调整为第二像素值，得到第二训练用商品图像。

可见，实施图4所描述的装置还能够通过对商品主体区域图像进行数据增强、图像粘贴等图像处理操作确定出第二类训练用商品图像中的第二训练用商品图像，有利于提高第二训练用商品图像生成方式的可行性和合理性，进而有利于提高第二训练用商品图像的生成效率，以及在一定程度上能够提高第二训练用商品图像的有效性和可靠性，从而有利于提高基于图像分割的商品识别效率和精准性。

在又一个可选的实施例中，第一类训练用商品图像中每张第一训练用商品图像的图像背景分割结果是基于每张第一训练用商品图像所对应的分割结果图标注的；

其中，对于第一类训练用商品图像的每张第一训练用商品图像，该第一训练用商品图像对应的分割结果图是通过以下方式生成的：

将该第一训练用商品图像对应的原始图像输入至预先确定出的图像分割网络，得到该原始图像对应的三个不同尺寸的原始特征图；

将三个原始特征图分别输入至图像分割网络中分割分支中的三个不同的卷积层，得到每个卷积层的输出特征图；

确定三个原始特征图中最大尺寸的原始特征图经过对应卷积层之后得到的输出特征图的目标尺寸，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，以使非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图的尺寸等于目标尺寸；

对三个相同尺寸的输出特征图进行拼接，得到拼接特征图，将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图；

对目标特征图中每个像素点对应的原始像素值进行归一化处理，得到目标特征图中每个像素点对应的目标像素值；

对于目标特征图中的每个像素点，比较该像素点对应的目标像素值与参考像素值得到比较结果，根据比较结果将该像素点对应的目标像素值映射至设定像素值；

根据目标特征图中所有像素点对应的设定像素值，生成该训练用商品图像对应的分割结果图。

可见，实施图4所描述的装置还能够提供一种第一训练用商品图像对应分割结果图的生成方式，提供了生成分割结果图功能，有利于提高该分割结果图生成方式的可行性和合理性，进而有利于提高分割结果图的生成效率，以及在一定程度上能够提高第一训练用商品图像对应分割结果图的有效性和可靠性，从而有利于提高基于图像分割的商品识别效率和精准性。

实施例四

请参阅图5，图5是本发明实施例公开的又一种基于图像分割的商品识别装置的结构示意图。其中，图3所描述的装置可以包括服务器，其中，服务器包括本地服务器或者云服务器，本发明实施例不做限定。如图5所示，该装置可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

进一步的，还可以包括与处理器402耦合的输入接口403以及输出接口404；

其中，处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的基于图像分割的商品识别方法中的步骤。

实施例五

本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的基于图像分割的商品识别方法中的步骤。

实施例六

本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于图像分割的商品识别方法中的步骤。

以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read—Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read—only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One—timeProgrammable Read—Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically—Erasable Programmable Read—Only Memory，EEPROM)、只读光盘(Compact Disc Read—Only Memory，CD—ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是：本发明实施例公开的一种基于图像分割的商品识别方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像分割的商品识别方法，其特征在于，所述方法包括：

当检测到存在待识别商品图像需要进行商品识别操作时，将所述待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到所述待识别商品图像中待识别的商品所对应的目标图像，所述目标图像与所述待识别商品图像的背景的关联度低于预设关联度阈值；

将所述目标图像输入到预先构建好的图像特征提取模型中，得到所述目标图像对应的目标特征向量；

根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量，并根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果。

2.根据权利要求1所述的基于图像分割的商品识别方法，其特征在于，在所述根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量之前，所述方法还包括：

对所述目标特征向量执行降维操作以更新所述目标特征向量；

以及，在所述对所述目标特征向量执行降维操作以更新所述目标特征向量之前，所述方法还包括：

确定所述目标特征向量的第一维度信息，并获取商品图像特征库中所有现存特征向量对应的第二维度信息；

判断所述第一维度信息与所述第二维度信息是否相匹配，当判断出所述第一维度信息与所述第二维度信息不相匹配时，触发执行所述的对所述目标特征向量执行降维操作以更新所述目标特征向量的操作；当判断出所述第一维度信息与所述第二维度信息相匹配时，触发执行所述的根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量的操作。

3.根据权利要求2所述的基于图像分割的商品识别方法，其特征在于，所述根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量，包括：

根据所述目标特征向量和商品特征库中每一现存特征向量，计算所述目标特征向量与每一所述现存特征向量的余弦相似度；

判断所有所述余弦相似度中是否存在大于等于预先设定的余弦相似度阈值的至少一个目标余弦相似度，当判断结果为是时，将所有所述目标余弦相似度对应的相似现存特征向量确定为与所述目标特征向量相匹配的目标现存特征向量。

4.根据权利要求3所述的基于图像分割的商品识别方法，其特征在于，所述根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果，包括：

计算所有所述相似现存特征向量的数量，并根据所述商品图像特征库对应的图像特征—商品标识对应关系确定每个所述相似现存特征向量对应的商品标识；

根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果；

其中，所述根据所述数量以及所有所述相似现存特征向量对应的商品标识，确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果，包括：

当所述数量为1时，确定所述相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当所述数量大于1时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；或者，

当所述数量大于1且小于预设数量阈值时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；当所述数量大于等于所述预设数量阈值时，根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果；

其中，所述目标相似现存特征向量为所有所述相似现存特征向量中与所述目标特征向量的余弦相似度最大的相似现存特征向量，所述剩余相似现存特征向量是所有所述相似现存特征向量除所述目标相似现存特征向量之外的相似现存特征向量。

5.根据权利要求4所述的基于图像分割的商品识别方法，其特征在于，所述根据目标相似现存特征向量对应的第一商品标识以及每个剩余相似现存特征向量对应的第二商品标识，确定所述待识别商品图像对应的商品识别结果，包括：

判断所有所述第二商品标识中是否存在与所述第一商品标识相同的商品标识；

当判断出所有所述第二商品标识中存在与所述第一商品标识相同的商品标识时，确定目标相似现存特征向量对应的商品标识为所述待识别商品图像对应的商品识别结果；

当判断出所有所述第二商品标识中不存在与所述第一商品标识相同的商品标识时，确定所述待识别商品图像对应的辅助因子，并根据所述辅助因子从所述第一商品标识以及所有所述第二商品标识中选择与所述辅助因子的关联度大于等于预设关联度阈值的目标商品标识，确定所述目标商品标识为所述待识别商品图像对应的商品识别结果。

6.根据权利要求5所述的基于图像分割的商品识别方法，其特征在于，在所述将所述待识别商品图像输入到商品图像主体分割模型中，得到所述待识别商品图像中商品的目标图像之前，所述方法还包括：

基于预先确定出的训练样本数据集对图像分割模型进行训练，得到商品图像主体分割模型；

其中，所述训练样本数据集包括若干张训练用商品图像，每张所述训练用商品图像为已分割出图像背景的商品图像，且所有所述训练用商品图像包括第一类训练用商品图像，或者，所有所述训练用商品图像包括第一类训练用商品图像及第二类训练用商品图像；其中，所述第一类训练用商品图像中的所有第一训练用商品图像的图像背景分割结果是人工标注形成的，所述第二类训练用商品图像中的所有第二训练用商品图像是基于所述第一类训练用商品图像中的第一训练用商品图像生成的；

以及，所述第二类训练用商品图像中的每个第二训练用商品图像具体是通过以下方式生成：

对于所述第一类训练用商品图像中的任一第一训练用商品图像，根据该第一训练用商品图像的标注结果裁剪出该第一训练用商品图像中的商品主体区域图像；对该商品主体区域图像进行数据增强操作，得到数据增强后的图像，并将该数据增强后的图像随机粘贴至不同的宣传图像模板上，将该数据增强后的图像在宣传图像模板的粘贴位置处的像素值调整为第一像素值并将所述宣传图像模板的剩余位置处的像素值调整为第二像素值，得到第二训练用商品图像。

7.根据权利要求6所述的基于图像分割的商品识别方法，其特征在于，所述第一类训练用商品图像中每张第一训练用商品图像的图像背景分割结果是基于每张第一训练用商品图像所对应的分割结果图标注的；

其中，对于所述第一类训练用商品图像的每张第一训练用商品图像，该第一训练用商品图像对应的分割结果图是通过以下方式生成的：

将该第一训练用商品图像对应的原始图像输入至预先确定出的图像分割网络，得到该原始图像对应的三个不同尺寸的原始特征图；

将三个所述原始特征图分别输入至所述图像分割网络中分割分支中的三个不同的卷积层，得到每个卷积层的输出特征图；

确定三个所述原始特征图中最大尺寸的原始特征图经过对应卷积层之后得到的输出特征图的目标尺寸，对非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图进行上采样，以使非最大尺寸的两个原始特征图经过对应卷积层之后得到的输出特征图的尺寸等于目标尺寸；

对三个相同尺寸的输出特征图进行拼接，得到拼接特征图，将拼接特征图输入特征融合卷积层，得到特征融合后的目标特征图；

对所述目标特征图中每个像素点对应的原始像素值进行归一化处理，得到所述目标特征图中每个像素点对应的目标像素值；

对于所述目标特征图中的每个像素点，比较该像素点对应的目标像素值与参考像素值得到比较结果，根据比较结果将该像素点对应的目标像素值映射至设定像素值；

根据所述目标特征图中所有像素点对应的设定像素值，生成该训练用商品图像对应的分割结果图。

8.一种基于图像分割的商品识别装置，其特征在于，所述装置包括：

图像分割模块，用于当检测到存在待识别商品图像需要进行商品识别操作时，将所述待识别商品图像输入到预先确定出的商品图像主体分割模型中，得到所述待识别商品图像中待识别的商品所对应的目标图像，所述目标图像与所述待识别商品图像的背景的关联度低于预设关联度阈值；

特征向量提取模块，用于将所述目标图像输入到预先构建好的图像特征提取模型中，得到所述目标图像对应的目标特征向量；

特征向量确定模块，用于根据所述目标特征向量和商品图像特征库中每一现存特征向量，确定与所述目标特征向量相匹配的目标现存特征向量；

识别结果确定模块，用于根据所述商品图像特征库对应的图像特征—商品标识对应关系确定出所述目标现存特征向量对应的商品标识，作为所述待识别商品图像对应的商品识别结果。

9.一种基于图像分割的商品识别装置，其特征在于，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1—7任一项所述的基于图像分割的商品识别方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1—7任一项所述的基于图像分割的商品识别方法。

Images