CN110069980A - 基于图像的产品聚合方法及装置、电子设备 - Google Patents

Abstract

本申请公开了一种基于图像的产品聚合方法，属于计算机技术领域，用于解决现有技术中单纯根据特征距离和阈值的比较结果进行基于图像的产品聚合导致的产品聚合结果不准确的问题。本申请公开的产品聚合方法包括：确定目标图像中包括的各产品对应的图像区域和图像特征；根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果；根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。本申请通过检索结果对初步聚合结果进行校正，提升了产品聚合结果的准确性。

Description

基于图像的产品聚合方法及装置、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于图像的产品聚合方法及装置，电子设备。

背景技术

在零售应用场景中，对货架上的产品进行聚合，以确定产品的库存信息，是对库存进行监控或管理等应用的重要手段。现有技术中在对货架产品进行聚合时，通常是通过采集图像，然后，通过对货架图像进行检测，确定货架上每个产品的图像；之后，基于每个产品的图像中提取的产品特征，通过计算不同产品特征之间的距离，并与一定阈值T进行比较，从而对产品进行聚合。现有技术中的产品聚合方法由于需要与具体阈值进行比较，因此，该具体阈值的确定直接影响聚合结果的准确度。但是，在货架商品种类繁多，且不同货架存在光线等环境差异的情况下，很难获取一个合理的阈值。因此，现有技术中对货架上的产品进行聚合时，至少存在聚合结果不准确的缺陷。

发明内容

本申请的实施例提供一种基于图像的产品聚合方法，有助于提升产品聚合的准确性。

为了解决上述问题，第一方面，本申请的实施例提供了一种基于图像的产品聚合方法，包括：

确定目标图像中包括的各产品对应的图像区域和图像特征；

根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；

在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；

根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

第二方面，本申请的实施例提供了一种基于图像的产品聚合装置，包括：

产品图像和特征确定模块，用于确定目标图像中包括的各产品对应的图像区域和图像特征；

产品区域确定模块，用于根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；

检索模块，用于在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；

区域聚合模块，用于根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

第三方面，本申请的实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的基于图像的产品聚合方法。

第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的基于图像的产品聚合方法的步骤。

本申请的实施例公开的基于图像的产品聚合方法，通过确定目标图像中包括的各产品对应的图像区域和图像特征；根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果，解决了现有技术中根据特征距离和阈值的比较结果进行产品聚合导致的产品聚合结果不准确的问题。本申请的实施例公开的基于图像的产品聚合方法，由于设置了通过检索结果对基于图像特征的聚合结果进行进一步校正的步骤，因此，降低了对绝对阈值的依赖，可以进一步提升产品聚合结果的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一的基于图像的产品聚合方法流程图；

图2是本申请实施例二的基于图像的产品聚合方法流程图；

图3是本申请实施例二中一列货架的目标图像的示意图；

图4是本申请实施例二中目标图像的产品区域检测结果示意图；

图5是本申请实施例二中的产品初步聚合示意图之一；

图6是本申请实施例二中的产品左归并结果示意图；

图7是本申请实施例二中的产品右归并结果示意图；

图8是本申请实施例二中的产品初步聚合结果示意图之二；

图9是本申请实施例二中的最终基于图像的产品聚合结果示意图；

图10是本申请实施例三的基于图像的产品聚合装置结构示意图之一；

图11是本申请实施例三的基于图像的产品聚合装置的结构示意图之二；

图12是本申请实施例三的基于图像的产品聚合装置的结构示意图之三。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中公开的基于图像的产品聚合方法，可以应用于仓储行业，或零售行业等基于货架进行产品摆放和销售的应用场景中，进行产品的管理和库存监控等，也可以应用在其他基于图像进行产品数量和或类别统计的领域。为了便于读者更容易理解本申请把技术方案，本申请实施例中，以将所述产品聚合方法应用到零售行业中(如超市)中举例说明该方法的具体技术方案。

本申请实施例中在对产品进行聚合时，以SKU(Stock Keeping Unit，库存量单位)进行聚合。SKU是库存进出计量的基本单元，可以是以件，盒，托盘等为单位。以SKU进行库存进出计量，对于大型连锁超市的配送中心的物流管理的一个必要的方法。现有技术中，SKU已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU。对于电商而言，SKU是指一款商品，每款都有出现一个SKU，便于电商品牌识别商品。本申请的具体实施例中，SKU又称为“品项”，品项是产品最细粒度的代表，比如可口可乐不同口味即为不同的品项。

实施例一

本实施例公开的一种基于图像的产品聚合方法，如图1所示，该方法包括：步骤110至步骤140。

步骤110，确定目标图像中包括的各产品对应的图像区域和图像特征。

本申请实施例中所述的目标图像可以为通过图像采集设备采集的摆放和陈列所述产品的一列货架的货架图像，也可以为规则摆放的一排产品的图像，以下实施例中，为了便于读者理解本申请的技术方案，结合货架图像进行详细说明。

具体应用场景中，可能有并排摆放的多列货架。当采集到的图像中包括多列货架的图像时，首先通过图像检测处理，确定进包括一列货架的图像，以针对一列货架进行产品聚合。具体实施时，通过对采集到的图像计算图像梯度，并对梯度图进行直线检测，对检测结果进行腐蚀、膨胀处理，获取每一列货架图像。

通常，每列货架可能包括一层或多层，具体实施时，可以通过对每列货架图像进行图像检测处理，确定每一层货架的图像。并进一步根据每一层货架的图像，确定该层货架中包括的每个产品对应的图像区域以及每个产品对应的图像特征。在确定某一列货架的某一层货架图像时，可以通过预设训练的水墨标签检测模型确定货架图像中所有水墨标签的纵坐标(如使用y1代表)，并对水墨标签的纵坐标从小到大进行排序，如果相邻两个水墨标签纵坐标的差值大于2倍的水墨标签的平均高度，则货架的层数自动加1。由此自动检测货架的层数。其依据为经过校正图像的同一个货架层的水墨标签位置偏差不大，不会超过2倍的水墨标签的高度。或者，根据预设的货架层数信息确定每层货架对应的货架图像。

具体实施时，可以通过预先训练图像检测模型确定单层货架中包括的每个产品对应的图像区域，也可以根据目标货架的预设槽位、层高等参数确定单层货架中包括的每个产品对应的图像区域。具体实施时，可以通过预先训练图像特征提取模型，用于从每个产品对应的图像区域中提取该产品的图像特征，也可以通过图像处理算法从每个产品对应的图像区域中提取该产品的图像特征(如提取图像的纹理特征、颜色特征、轮廓特征等)。

步骤120，根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域。

进一步的，对于每一层货架，基于该层货架图像中确定的各产品对应的图像区域的位置信息和从该图像区域中提取的该产品的图像特征，对相邻产品进行聚合。

例如，对于相邻两个图像区域，如果与该相邻两个图像区域对应的产品的图像特征之间的特征距离，小于预设距离阈值，则可以认为该相邻两个图像区域中的产品为相同品项的产品，从而将该两个相邻图像区域聚合为一个包括两个产品的图像区域。如果与聚合得到的图像区域相邻的另一图像区域对应的产品的图像特征，与聚合得到的图像区域中包括的产品的图像特征之间的特征距离小于所述预设距离阈值，则可以进一步进行相邻图像区域的聚合。

再例如，可以基于某一产品的图像特征和与该产品相邻的两个产品的图像特征之间的特征距离的相对大小，对该产品对应的图像区域进行左归并以及右归并，把特征相似度较高的产品聚合到一个图像区域中。最后，进一步对左归并得到的图像区域，和进行右归并得到的图像区域进行融合调整，确定该层货架中包括的产品的图像区域划分结果。

步骤130，在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果。

其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像。

进一步的，对于每一层货架图像划分得到的每个图像区域，分别对该图像区域中包括的各产品的产品图像进行检索，确定每个图像区域中包括的每个产品的品项，以及各产品被识别为相应品项的匹配概率。

本申请具体实施时，需要预先设置标准品项数据库，所述标准品项数据库中包括各品项产品的标准图像，并通过相应品项对所述标准图像进行索引。具体实施时，通过将每个产品图像分别与预先设置的标准品项数据库中的标准图像进行匹配，可以确定与每个产品图像的匹配度最高的预设数量标准图像，以及所述产品图像分别与所述预设数量标准图像的匹配概率。之后，对于每个产品匹配的所述预设数量标准图像，将所述每个标准图像的匹配概率和用于索引该标准图像的品项组成一组检索结果，可以得到各产品的所述预设数量的检索结果。对于每个产品，将所述预设数量的检索结果按照匹配概率由高到低的顺序进行排列，就得到了相应产品的品项检索结果。

在将每个产品图像分别与预先设置的标准品项数据库中的标准图像进行匹配时，可以首先提取产品的图像特征，然后将该图像特征和预先设置标准品项数据库中的每一个标准产品图像的图像特征进行匹配，依据特征距离进行相似度判别，相似度越高，匹配概率越大。

其中，每个产品的产品图像为前述步骤110中确定的各产品对应的图像区域内的所述目标图像。

步骤140，根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

接下来，根据聚合后得到的每个图像区域中各产品的检索结果，如前述步骤中确定的品项，以及各品项相应的匹配概率，进一步确定聚合后得到的每个产品区域匹配的品项。然后，将与同一品项匹配的相邻的产品区域进一步进行聚合，确定所述目标层货架的最终产品聚合结果。在一层货架的最终产品聚合结果中，相邻的产品区域中包括的产品对应不同的品项。

进一步的，根据最终聚合结果得到的产品区域的大小和位置信息，可以进一步确定聚合得到的每个产品区域中包括的相应品项的产品的数量。

本申请实施例公开的基于图像的产品聚合方法，通过确定目标图像中包括的各产品对应的图像区域和图像特征；根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述各产品的聚合结果，解决了现有技术中根据特征距离和阈值的比较结果进行产品聚合导致的产品聚合结果不准确的问题。本申请实施例公开的基于图像的产品聚合方法，由于设置了通过检索结果对基于图像特征的聚合结果进行进一步校正的步骤，因此，降低了对决对阈值的依赖，可以进一步提升产品聚合结果的准确性。

实施例二

本实施例公开的一种基于图像的产品聚合方法，如图2所示，该方法包括：步骤210至步骤250。

步骤210，训练产品检测模型，以及，产品特征提取模型。

首先，采集货架图像作为样本数据，并设置样本标签，以构建产品检测模型的训练样本。

具体实施时，可以采集超市的单列货架的货架图像，并以标注框对每幅货架图像中的产品图像区域进行标注，其中，所述标注框用于标识每个货架图像中的每个产品对应的产品图像所在图像区域。然后，对于每幅货架图像，将各标注框的左上角和右下角的坐标作为与该标注框对应的图像区域的位置，将所述货架图像中包括的所有标注框对应的图像区域的位置作为所述货架图像的样本标签。每幅具有样本标签的货架图像作为一条训练样本，采用Faster-RCNN(Faster Region with Convolutional Neural Network，更快速目标检测卷积神经网络)进行训练，得到产品检测模型。可以理解，还可以采用RCNN(Regionwith Convolutional Neural Network，目标检测卷积神经网络)、Fast-RCNN(快速目标检测卷积神经网络)等其他可以从图像中检测标记目标的深度学习模型。

在本申请的一些实施例中，还可以以标注框对每幅货架图像中的每个产品所在图像区域和每个标签所在图像区域均进行标注。然后，对于每幅货架图像，将各标注框的左上角和右下角的坐标作为与该标注框对应的图像区域的位置，并设置相应标注框对应的图像类型。所述图像类型用于指示该标注框中为，产品图像或标签图像。之后，将所述货架图像中包括的所有标注框对应的图像区域的位置和图像类型作为所述货架图像的样本标签。每幅具有样本标签的货架图像作为一条训练样本，训练产品检测模型。

进一步的，可以采用前述标注的产品图像作为样本数据，以该产品图像中产品的品项作为样本标签构建产品特征提取模型的训练样本。然后，以分类模型作为基础模型，训练产品特征提取模型。

步骤220，确定目标图像中包括的各产品对应的图像区域和图像特征。

本申请实施例中所述的货架图像(即目标图像)可以为通过图像采集设备采集的摆放和陈列所述产品的一列货架的货架图像。

具体应用场景中，可能有并排摆放的多列货架。当采集到的图像中包括多列货架的图像时，首先通过图像检测处理，确定进包括一列货架的图像，如图3所示，以针对一列货架进行产品聚合。从货架图像中确定每列货架对应的货架图像，以及从一列货架对应的货架图像中确定一层货架图像的具体实施方式参见实施例一，本实施例不再赘述。图3中用不同数字标识的矩形框表示不同的产品。相同数字标识的矩形框表示相同的产品。

通常，每列货架可能包括一层或多层，本申请的一些实施例中，确定目标图像中包括的各产品对应的图像区域和图像特征的步骤，包括：通过预设产品检测模型确定目标图像中包括的各产品对应的图像区域；以及，通过预设产品特征提取模型确定每个所述图像区域的图像特征。例如，将图3所示的货架图像输入至所述产品检测模型，则所述产品检测模型将输出识别到的每个产品的图像区域的坐标。

具体实施时，如果训练产品检测模型时，训练样本中的样本标签为图像区域的坐标和图像类型，则将图3所示的货架图像输入至所述产品检测模型之后，产品检测模型将输出识别到的每个图像区域的坐标和图像类型。其中，所述图像类型用于标识该图像区域的图像为产品图像或标签图像。之后，根据所述产品检测模型将输出的图像区域的类型确定所述货架图像中包括的所有产品图像。图3所示的货架图像输入至所述产品检测模型后识别得到的图像区域如图4所示。图4中每个虚线框对应一个图像区域。

识别出的每个产品图像对应一个产品。通过对所述产品图像的图像区域的坐标进行聚合，则可以进一步确定所述货架图像中与每层货架对应的图像区域，以及，每层货架中包括的产品对应的产品图像以及每个产品图像对应的图像区域的坐标。

进一步的，对于每一层货架图像中包括的每个产品图像，将该产品图像输入至前述步骤训练的产品特征提取模型确定每个所述产品图像的图像特征。所述产品图像的图像特征反映了相应产品的特征，因此，可以用于进行产品聚合。

步骤230，根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域。

进一步的，对于每一层货架，基于该层货架图像中确定的各产品对应的图像区域的位置信息和从该图像区域中提取的该产品的图像特征，对相邻产品进行聚合。

在本申请的一些实施例中，所述根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域的步骤，包括：根据预设特征距离阈值和所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域。例如，对于图4中的第一层货架的货架图像中相邻两个图像区域410和420，如果与该相邻两个图像区域对应的产品的图像特征之间的特征距离，小于预设距离阈值T，则可以认为该相邻两个图像区域中的产品为相同品项的产品，从而将该两个相邻图像区域聚合为一个包括两个产品的图像区域，如图5中的510。如果与聚合得到的图像区域510相邻的另一图像区域430对应的产品的图像特征，与聚合得到的图像区域510中包括的产品的图像特征之间的特征距离小于所述预设距离阈值，则可以进一步进行相邻图像区域510和430的聚合。其中，所述特征距离阈值根据产品聚合精度和货架图像的采集环境确定。

在本申请的一些优选实施例中，所述根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域的步骤，包括：根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域。本申请实施例中所述的双边归并包括左归并和右归并。具体实施时，由将图像特征之间的距离与绝对阈值进行比较进行产品聚合时，如果绝对阈值设置过高，可能会导致相同产品由于摆放位置的环境光线差异而导致图像特征之间距离较大，不满足绝对阈值的要求，因而产品聚合不准确。因此，本实施例中，不采用绝对阈值进行产品聚合。

具体实施时，所述根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域的步骤，包括：根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行左归并，确定若干第一候选产品区域；以及，根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行右归并，确定若干第二候选产品区域；对所述若干第一候选产品区域和所述若干第二候选产品区域进行聚合，确定所述各产品对应的产品区域。由于货架中产品摆放的角度不同或者货架种不同位置的光照差异，会导致相邻的品项相同的产品的图像特征不同，被归并到不同的产品区域中。因此，通过双边归并(即左归并+右归并)，有助于提升产品区域确定的准确度。

在进行左归并时，首先从一层货架的最左侧产品起对该层产品从左向右进行遍历，依次判断该产品的图像特征分别与其左侧和右侧相邻的产品的图像特征之间的距离，并根据距离的大小确定将该产品与其左侧相邻的产品进行聚合，还是生成新的产品区域。

仍以图4所示的货架图像中的第一层货架对应的图像区域中产品图像识别结果举例，对于目标层货架(如第一层货架)的最左侧产品(如图像区域410中的产品)，因为其没有左侧相邻产品，因此不对其进行聚合，生成一个新的(与图像区域410对应的)产品区域。之后，向右遍历下一个产品(如图像区域420中的产品)。首先，分别计算图像区域420中的产品与其左侧相邻产品(如图像区域410中的产品)之间的图像特征距离dist_left和图像区域420中的产品与其右侧相邻产品(如图像区域430中的产品)之间的图像特征距离dist_right；然后，判断该产品与其左侧相邻产品之间的特征距离dist_left和与其右侧相邻产品之间的特征距离dist_right的大小，如果dist_left>dist_right,则不对该产品进行聚合，生成一个新的(与图像区域420对应的)产品区域；如果dist_left<dist_right,则将该产品(如图像区域420中的产品)与其左侧相邻产品(如图像区域410中的产品)进行聚合。之后，继续向右遍历下一个产品(如图像区域430中的产品)。直至遍历完当前货架层的最右侧的产品(如图像区域440中的产品)。按照上述方法对目标层货架中的产品进行左归并处理之后，将得到如图6所示的若干第一候选产品区域610至650，每个第一候选产品区域对应货架上的一个摆放区域，每个第一候选产品区域中至少包括一个产品，每个第一候选产品区域中包括的产品相似度相对较高。

在进行右归并时，首先从一层货架的最右侧产品起对该层产品从右向左进行遍历，依次判断该产品的图像特征分别与其左侧和右侧相邻的产品的图像特征之间的距离，并根据距离的大小确定将该产品与其右侧相邻的产品进行聚合，还是生成新的产品区域。

仍以图4所示的货架图像中的第一层货架对应的图像区域中产品图像识别结果举例，对于目标层货架的最右侧产品(如图像区域440中的产品)，因为其没有右侧相邻产品，因此不对其进行聚合，生成一个新的(与图像区域440对应的)产品区域。之后，向左遍历下一个产品(如图像区域450中的产品)。首先，分别计算图像区域450中的产品与其左侧相邻产品(如图像区域460中的产品)之间的图像特征距离dist_left和图像区域450中的产品与其右侧相邻产品(如图像区域440中的产品)之间的图像特征距离dist_right；然后，判断该产品与其左侧相邻产品之间的特征距离dist_left和与其左侧相邻产品之间的特征距离dist_right的大小，如果dist_left<dist_right,则不对该产品进行聚合，生成一个新的(如与图像区域450对应)产品区域；如果dist_left>dist_right,则将该产品(如图像区域450中的产品)与其右侧相邻产品(如图像区域440中的产品)进行聚合。之后，继续向左遍历下一个产品(如图像区域460中的产品)。直至遍历完当前货架层的最左侧的产品(如图像区域410中的产品)。

按照上述方法对目标层货架中的产品进行右归并处理之后，将得到如图7所示的若干第二候选产品区域710至760，每个第二候选产品区域对应货架上的一个摆放区域，每个第二候选产品区域中至少包括一个产品，每个第二候选产品区域中包括的产品相似度相对较高。

由以上描述可知，在对每一层货架中的产品分别进行左归并和右归并处理之后，将得到针对同一层货架产品的两种聚合结果。接下来需要对这两种聚合结果进行进一步聚合，确定每一层货架中包括的产品的对应的进一步聚合结果，即初步确定每一层货架中包括的产品对应的产品区域。如果某一产品被聚合到对应不同货架位置的第一候选产品区域和第二候选产品区域中，如则对该第一候选产品区域和第二候选产品区域进行聚合。例如，如图6中第一候选产品区域650中包括左数第8至第10个产品(即3个产品4)，而在右归并得到的聚合结果中，左数第8至第9个产品(即2个产品4)聚合在一起，对应第二候选产品区域720，左数第8至第10个产品sku10没有和其他产品聚合，独立分布在第二候选产品区域710中，在对产品4的两种聚合结果不一致的情况下，对产品4所在的第一候选产品区域650和第二候选产品区域710进行聚合，得到如图8所示的产品区域850。

步骤240，在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果。

其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述货架图像，如图3中的310为产品1的产品图像。

进一步的，对于每一层货架图像(即目标图像)划分得到的每个图像区域，分别对该图像区域中包括的各产品的产品图像进行检索，确定每个图像区域中包括的每个产品的品项，以及各产品被识别为相应品项的匹配概率。在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果的具体实施方式参见实施例一，本实施例不再赘述。

步骤250，根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

接下来，根据聚合后得到的每个产品区域中各产品的检索结果，如前述步骤中确定的品项，以及各品项相应的匹配概率，进一步确定聚合后得到的每个产品区域匹配的品项。然后，将与同一品项匹配的相邻的产品区域进一步进行聚合，确定所述目标层货架的最终产品聚合结果。例如，对于每个产品区域，分别确定该产品区域中的每个产品的检索结果中匹配概率最高的品项构建该产品区域的候选品项集合，并将召回所述候选品项集合最多的所述品项，作为该产品区域中的产品对应的品项；或者，首先计算候选品项集合中每个品项与该产品区域中所有产品的平均相似度，并选取平均相似度最高的品项，作为该产品区域对应的品项。然后，对相邻且对应相同品项的所述产品区域进行聚合，确定所述货架图像包括的各产品的聚合结果。

在本申请的一些优选实施例中，所述品项检索结果包括：所述产品对应的品项，以及所述产品与相应品项的匹配概率，所述根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果的步骤，包括：对于每个所述产品区域，根据所述产品区域中各所述产品的所述品项检索结果基于所述匹配概率进行品项加权投票，确定所述产品区域对应的品项；对相邻且对应相同品项的所述产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。为了提升聚合结果的准确性，选择更多召回品项及相应的匹配概率确定各产品区域对应的品项。

例如，首先对于每个产品区域，分别确定该产品区域中的每个产品的检索结果中匹配概率最高的品项，构建该产品区域的候选品项集合。如选择图8中的产品区域850中的产品8501的检索结果中匹配概率最高的品项，如sku4、产品8502的检索结果中匹配概率最高的品项，如sku4和产品8503的检索结果中匹配概率最高的品项，如sku5构建该产品区域850的候选品项集合。

然后，根据该产品区域中各产品的TopN个召回结果中该所述产品与相应品项的匹配概率对所述候选品项集合中相应品项进行投票。以产品8501、8502和8503的检索结果中包括5个品项的匹配结果为例，即每个产品召回5个品项，则候选品项集合中包括2个品项(如品项sku4和品项sku5)，产品区域850包括的各产品的品项匹配结果为15个，进一步用这15个品项匹配结果对候选品项集合中包括2个品项进行投票。例如，将这15个品项匹配结果中对应品项sku4的匹配概率相加，作为品项sku4的投票得分；将这15个品项匹配结果中对应品项sku5的匹配概率相加，作为品项sku5的投票得分。

之后，选择投票得分最高的品项作为该产品区域对应的品项。

进一步的，为了提升检索结果中匹配概率较高的品项的候选可能性，可以进一步为各产品的TopN个召回结果中该所述产品与相应品项的匹配概率设置逐渐递减的投票权重，例如，与某一产品匹配概率最高的品项和匹配概率的投票权重设置为1，与该产品匹配概率次高的品项和匹配概率的投票权重设置为0.5，依次逐渐降低召回结果不同排序位置的品项及匹配概率的投票权重。

最后，对相邻且对应相同品项的所述产品区域进行聚合。

通过检索投票，如果两个产品区域对应的品项相同，说明这两个产品区域对应的图像区域描述的是同一种产品，因此需要进行聚合，以得到最终聚合结果。假设经过检索投票，图8中的产品区域810和820的品项相同，则将产品区域810和820聚合为一个产品区域，最终产品聚合结果如图9所示。

进一步的，根据最终聚合结果得到的图像区域的大小和位置信息，可以进一步确定聚合得到的每个图像区域中包括的相应品项的产品数量。

本申请实施例公开的基于图像的产品聚合方法，通过基于相邻产品的图像特征对产品进行左归并和右归并，并进一步对归并结果进行聚合，不需要与特征距离的绝对阈值进行比较，有助于提升产品聚合的准确度。最后，又通过基于预设的标准品项数据库确定的聚合得到的产品区域中的各产品的检索结果对聚合得到的产品区域进行品项投票，确定各产品区域的品项，然后，基于产品区域的品项进一步对品项相同的相邻产品区域进行聚合，可以进一步提升产品聚合结果的准确性。

实施例三

本申请的另一些实施例中，在根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域时，当根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域之后，所述方法还包括：对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域。以实施例二中进行左归并和右归并之后，进一步聚合得到的产品区域为例，如图8中聚合后确定的产品区域，对于每一个产品区域，需要进一步判断该产品区域中边界产品(即该产品区域中最左侧的产品和最右侧的产品)是否存在错误分割的现象。

在本申请的一些实施例中，对于每个产品区域，可以首先计算该产品区域中两两产品之间的特征距离，并选取最小特征距离为比较基准；然后，将该产品区域中的边界产品与该产品区域中其他产品之间的特征距离最小值与所述最小特征距离进行比较，若比较结果超过一定的相对阈值，则对边界产品进行分割，产生新的产品区域。

在本申请的另一些实施例中，所述对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域的步骤，包括：分别对通过双边归并分别对所述各产品进行聚合所确定的每个所述产品区域执行以下操作：确定所述产品区域中相邻产品之间的最小特征距离，以及，确定所述产品区域中的两个边界产品与各自的相邻产品之间的特征距离；确定所述两个边界产品与各自的相邻产品之间的特征距离分别与所述最小特征距离的相对比例；对所述相对比例和预设相对比例阈值之间的大小关系满足预设条件的所述边界产品进行分割处理，以调整所述产品区域。例如，对于产品区域850，首先分别计算产品8501和产品8502、产品8502和产品8503之间的特征距离，并确定最小特征距离dist_interval_min；然后，确定边界产品8501和其相邻产品8502的特征距离dist_left与所述最小特征距离dist_interval_min的相对比例p1,以及，确定边界产品8503和其相邻产品8502的特征距离dist_right与所述最小特征距离dist_interval_min的相对比例p2；若相对比例p1大于预设相对比例阈值，则对边界产品8501进行分割处理，即将边界产品8501从产品区域850中分割出去，由边界产品8501生成一个新的产品区域；若相对比例p2大于预设相对比例阈值，则对边界产品8503进行分割处理，即将边界产品8503从产品区域850中分割出去，由边界产品8503生成一个新的产品区域。

本实施例公开的基于图像的产品聚合方法，通过对初步聚合形成的产品区域中的边界产品基于相对阈值进行分割判断，可以改善对产品进行左归并和右归并，以及归并得到的产品区域进行聚合时，仅比较相邻产品特征距离的大小关系进行产品聚合无法对相邻摆放的产品差异逐渐增大的情况进行准确聚合的问题，通过综合初步聚合得到的产品区域中所有产品的相似度，对边界产品进行进一步分割判断，有助于提升产品聚合的准确性。并且，本实施例公开的基于图像的产品聚合方法，仅在边界产品过分割判断的过程中，引入了产品区域内的相对阈值，而基于特征距离进行左、右边归并和最后的产品检索进行聚合过程中，均未引入阈值，尽可能少的引入阈值，提升了产品聚合过程中的鲁棒性。

实施例四

本申请实施例公开的基于图像的产品聚合装置，如图10所示，所述装置包括：

产品图像和特征确定模块1010，用于确定目标图像中包括的各产品对应的图像区域和图像特征；

产品区域确定模块1020，用于根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；

检索模块1030，用于在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；

区域聚合模块1040，用于根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

可选的，如图11所示，所述产品区域确定模块1020包括：

第一产品区域确定子模块1021，用于根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述目标图像包括的各产品进行聚合，确定所述各产品对应的产品区域。

可选的，所述根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域的步骤，包括：

根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行左归并，确定若干第一候选产品区域；以及，根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行右归并，确定若干第二候选产品区域；

对所述若干第一候选产品区域和所述若干第二候选产品区域进行聚合，确定所述各产品对应的产品区域。

可选的，如图11所示，在根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域之后，所述产品区域确定模块1020，还包括：

边界处理子模块1022，用于对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域。

可选的，所述对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域的步骤，包括：

分别对每个通过双边归并分别对所述各产品进行聚合所确定的所述产品区域执行以下操作：

确定所述产品区域中相邻产品之间的最小特征距离，以及，确定所述产品区域中的两个边界产品与各自的相邻产品之间的特征距离；

确定所述两个边界产品与各自的相邻产品之间的特征距离分别与所述最小特征距离的相对比例；

对所述相对比例和预设相对比例阈值之间的大小关系满足预设条件的所述边界产品进行分割处理，以调整所述产品区域。

可选的，如图12所示，所述产品区域确定模块1020，包括：

第二产品区域确定子模块1023，用于根据预设特征距离阈值和所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域。

可选的，所述品项检索结果包括：所述产品对应的品项，以及所述产品与相应品项的匹配概率，所述区域聚合模块1040进一步用于：

对于每个所述产品区域，根据所述产品区域中各所述产品的所述品项检索结果基于所述匹配概率进行品项加权投票，确定所述产品区域对应的品项；

对相邻且对应相同品项的所述产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

本申请实施例公开的基于图像的产品聚合装置，用于实现本申请实施例一和实施例二中所述的基于图像的产品聚合方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。

本申请实施例公开的基于图像的产品聚合装置，通过确定目标图像中各产品对应的图像区域和图像特征；根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果，解决了现有技术中根据特征距离和阈值的比较结果进行产品聚合导致的产品聚合结果不准确的问题。本申请实施例公开的基于图像的产品聚合装置，由于设置了通过检索结果对基于图像特征的聚合结果进行进一步校正的步骤，因此，降低了对决对阈值的依赖，可以进一步提升产品聚合结果的准确性。

本实施例公开的基于图像的产品聚合装置，通过对初步聚合形成的产品区域中的边界产品基于相对阈值进行分割判断，可以改善对产品进行左归并和右归并，以及归并得到的产品区域进行聚合时，仅比较相邻产品特征距离的大小关系进行产品聚合无法对相邻摆放的产品差异逐渐增大的情况进行准确聚合的问题，通过综合初步聚合得到的产品区域中所有产品的相似度，对边界产品进行进一步分割判断，有助于提升产品聚合的准确性。并且，本实施例公开的基于图像的产品聚合方法，仅在边界产品过分割判断的过程中，引入了产品区域内的相对阈值，而基于特征距离进行左、右边归并和最后的产品检索进行聚合过程中，均未引入阈值，尽可能少的引入阈值，提升了产品聚合过程中的鲁棒性。

另一方面，通过基于预设的标准品项数据库确定的聚合得到的产品区域中的各产品的检索结果对聚合得到的产品区域进行品项投票，确定各产品区域的品项，然后，基于产品区域的品项进一步对品项相同的相邻产品区域进行聚合，可以进一步提升产品聚合结果的准确性。

相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一至实施例三所述的基于图像的产品聚合方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一至实施例三所述的基于图像的产品聚合方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请提供的一种基于图像的产品聚合方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (11)

1.一种基于图像的产品聚合方法，其特征在于，包括：

确定目标图像中包括的各产品对应的图像区域和图像特征；

根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；

在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；

根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域的步骤，包括：

根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，通过双边归并分别对所述各产品进行聚合，确定所述各产品对应的产品区域的步骤，包括：

根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行左归并，确定若干第一候选产品区域；以及，根据所述各产品中相邻两个产品的所述图像特征之间的距离分别对所述各产品进行右归并，确定若干第二候选产品区域；

对所述若干第一候选产品区域和所述若干第二候选产品区域进行聚合，确定所述各产品对应的产品区域。

4.根据权利要求2所述的方法，其特征在于，所述根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域的步骤，还包括：

对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域。

5.根据权利要求4所述的方法，其特征在于，所述对通过双边归并分别对所述各产品进行聚合所确定的所述各产品对应的产品区域中的边界产品基于相对阈值进行分割处理，调整所述产品区域的步骤，包括：

分别对通过双边归并分别对所述各产品进行聚合所确定的每个所述产品区域执行以下操作：

确定所述产品区域中相邻产品之间的最小特征距离，以及，确定所述产品区域中的两个边界产品与各自的相邻产品之间的特征距离；

确定所述两个边界产品与各自的相邻产品之间的特征距离分别与所述最小特征距离的相对比例；

对所述相对比例和预设相对比例阈值之间的大小关系满足预设条件的所述边界产品进行分割处理，以调整所述产品区域。

6.根据权利要求1所述的方法，其特征在于，所述根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域的步骤，包括：

根据预设特征距离阈值和所述各产品对应的图像区域中相邻产品的所述图像特征之间的距离，对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述品项检索结果包括：所述产品对应的品项，以及所述产品与相应品项的匹配概率，所述根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果的步骤，包括：

对于每个所述产品区域，根据所述产品区域中各所述产品的所述品项检索结果基于所述匹配概率进行品项加权投票，确定所述产品区域对应的品项；

对相邻且对应相同品项的所述产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述确定目标图像中各产品对应的图像区域和图像特征的步骤，包括：

通过预设产品检测模型确定目标图像中包括的各产品对应的图像区域；以及，通过预设产品特征提取模型确定每个所述图像区域的图像特征。

9.一种基于图像的产品聚合装置，其特征在于，包括：

产品图像和特征确定模块，用于确定目标图像中包括的各产品对应的图像区域和图像特征；

产品区域确定模块，用于根据所述各产品对应的所述图像特征对所述产品对应的图像区域进行聚合，确定所述各产品对应的产品区域；

检索模块，用于在预设标准品项数据库中对各所述产品的产品图像进行检索，确定各所述产品的品项检索结果，其中，所述产品图像为所述产品对应的图像区域覆盖的部分所述目标图像；

区域聚合模块，用于根据所述品项检索结果对所述各产品对应的产品区域进行聚合，确定所述目标图像包括的各产品的聚合结果。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任意一项所述的基于图像的产品聚合方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任意一项所述的基于图像的产品聚合方法的步骤。