CN113743382B - 一种货架陈列检测方法、装置及系统 - Google Patents

Abstract

本发明公开了一种货架陈列检测方法，通过两次迁移学习作为检测模型和识别模型的实现基础，从通用多类别的目标检测到特定场景特定类别的目标检测，从一般类别的图像特征提取到具体类别的图像特征提取，充分挖掘了深度学习网络模型复用的潜力，能够以较小的训练代价获得较好的检测和识别效果。将商品检测的任务拆分为目标检测与目标识别两个子任务，采用检测模型与识别模型相协同的方式加以完成。检测模型和识别模型是两个相互独立的模型，通过两个模型的协同操作能够有效地保障最终陈列检测结果的可靠性和准确性。本发明还提供了一种装置及系统，同样具有上述有益效果。

Description

一种货架陈列检测方法、装置及系统

技术领域

本发明涉及图像检测识别技术领域，特别是涉及一种货架陈列检测方法、一种货架陈列检测装置以及一种货架陈列检测系统。

背景技术

当下，各类零售行业都在追求科学化、智能化的门店管理，门店货架商品的陈列管理便是这一追求的具体体现。货架的陈列是指以货架商品为主体，以一定的方法和技巧，将商品按照事先制定的销售规划，有规律有目的地在货架上进行摆放和展示，起到方便购买、刺激销售和美化购物环境的作用，能够使货架空间的利用率得到最优化，同时还能起到优化库存的作用，对零售门店的科学化、智能化管理意义重大。

传统的货架商品陈列检测依赖于门店督导人员的现场检查，人力成本巨大。在有了门店监控设备以及智能手机等智能移动产品之后，督导人员可以远程获取门店现场图像，然而对于货架陈列的检测，依旧需要对人工对获取的门店现场图像进行查验，这仍然是一项耗时费力的过程，且难以保障陈列检测工作的时效性。所以如何提供一种可以快速有效的对商品陈列进行检测的方法是本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种货架陈列检测方法，可以快速有效的对商品陈列进行检测；本发明的另一目的在于提供一种货架陈列检测装置以及一种货架陈列检测系统，可以快速有效的对商品陈列进行检测。

为解决上述技术问题，本发明提供一种货架陈列检测方法，包括：

获取待检测货架数据；所述待检测货架数据包括货架实拍图；

调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

对所述检测框进行排序，确定所述检测框的次序；

调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型；

将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

可选的，在调用货架商品检测模型之前，还包括：

使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到货架商品检测模型；

使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型。

可选的，所述使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型包括：

将所述货架商品检测模型改造为对应度量学习的待训练模型；

基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型。

可选的，所述对所述检测框进行排序，确定所述检测框的次序包括：

基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序。

可选的，所述基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序包括：

以所述检测框的纵坐标为所述k均值聚类模型的输入，以所述货架实拍图中货架层数作为聚类数，调用k均值聚类模型生成表征所述检测框中商品位于对应货架层的聚类结果；

根据位于同一货架层的检测框的横坐标对所述检测框进行排序，确定所述检测框的次序。

可选的，所述比对结果包括以下任意一项或任意组合：

对比结果图、对比结果表、陈列合格率。

可选的，所述获取待检测货架数据包括：

通过移动设备拍摄目标货架，生成包括货架实拍图的待检测货架数据。

可选的，所述通过移动设备拍摄目标货架，生成包括所述货架实拍图的待检测货架数据包括：

通过移动设备拍摄目标货架，获取货架实拍图；

在所述货架实拍图中框选出需要进行陈列检测的货架区域，生成待检测货架数据。

本发明还提供了一种货架陈列检测装置，包括：

获取模块，用于获取待检测货架数据；所述待检测货架数据包括货架实拍图；

检测模块，用于调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

排序模块，用于对所述检测框进行排序，确定所述检测框的次序；

识别模块，用于调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型；

比对模块，用于将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

本发明还提供了一种货架陈列检测系统，包括相互通信连接的输入端以及处理端；

所述输入端用于获取待检测货架数据；所述待检测货架数据包括货架实拍图；

所述处理端用于：

调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

对所述检测框进行排序，确定所述检测框的次序；

调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型；

将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

本发明所提供的一种货架陈列检测方法，包括获取待检测货架数据；待检测货架数据包括货架实拍图；调用货架商品检测模型，根据待检测货架数据生成对应货架实拍图中每个商品的检测框；货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；对检测框进行排序，确定检测框的次序；调用货架商品识别模型，根据检测框的次序对检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；货架商品识别模型为使用标注好的商品数据集对货架商品检测模型进行迁移学习，得到的识别模型；将实际特征向量与目标商品的标准特征向量样本进行相似度计算，生成比对结果。

通过两次迁移学习作为检测模型和识别模型的实现基础，从通用多类别的目标检测到特定场景特定类别的目标检测，从一般类别的图像特征提取到具体类别的图像特征提取，充分挖掘了深度学习网络模型复用的潜力，能够以较小的训练代价获得较好的检测和识别效果。将商品检测的任务拆分为目标检测与目标识别两个子任务，采用检测模型与识别模型相协同的方式加以完成。检测模型和识别模型是两个相互独立的模型，可以根据实际使用需求，更换不同的检测或识别的模型框架，且并不影响整个任务的最终实现，从而使得模型的设置具有很强的灵活性，通过两个模型的协同操作能够有效地保障最终陈列检测结果的可靠性和准确性。

本发明还提供了一种货架陈列检测装置以及一种货架陈列检测系统，同样具有上述有益效果，在此不再进行赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种货架陈列检测方法的流程图；

图2为本发明实施例所提供的一种具体的货架陈列检测方法的流程图；

图3为本发明实施例所提供的一种货架陈列检测装置的结构框图；

图4为本发明实施例所提供的一种货架陈列检测系统的结构框图。

具体实施方式

本发明的核心是提供一种货架陈列检测方法。在现有技术中，传统的货架商品陈列检测依赖于门店督导人员的现场检查，人力成本巨大。在有了门店监控设备以及智能手机等智能移动产品之后，督导人员可以远程获取门店现场图像，然而对于货架陈列的检测，依旧需要对人工对获取的门店现场图像进行查验，这仍然是一项耗时费力的过程，且难以保障陈列检测工作的时效性。

而本发明所提供的一种货架陈列检测方法，包括获取待检测货架数据；待检测货架数据包括货架实拍图；调用货架商品检测模型，根据待检测货架数据生成对应货架实拍图中每个商品的检测框；货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；对检测框进行排序，确定检测框的次序；调用货架商品识别模型，根据检测框的次序对检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；货架商品识别模型为使用标注好的商品数据集对货架商品检测模型进行迁移学习，得到的识别模型；将实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

通过两次迁移学习作为检测模型和识别模型的实现基础，从通用多类别的目标检测到特定场景特定类别的目标检测，从一般类别的图像特征提取到具体类别的图像特征提取，充分挖掘了深度学习网络模型复用的潜力，能够以较小的训练代价获得较好的检测和识别效果。将商品检测的任务拆分为目标检测与目标识别两个子任务，采用检测模型与识别模型相协同的方式加以完成。检测模型和识别模型是两个相互独立的模型，可以根据实际使用需求，更换不同的检测或识别的模型框架，且并不影响整个任务的最终实现，从而使得模型的设置具有很强的灵活性，通过两个模型的协同操作能够有效地保障最终陈列检测结果的可靠性和准确性。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种货架陈列检测方法的流程图。

参见图1，在本发明实施例中，货架陈列检测方法包括：

S101：获取待检测货架数据。

在本发明实施例中，所述待检测货架数据包括货架实拍图。即在本步骤中，通常需要先通过输入端输入待检测货架数据，即需要进行检测的数据，在本发明实施例中货架实拍图需要至少包括货架实拍图，该货架实拍图即对待检测的货架进行拍摄所生成的图像。有关具体的获取方法将在下述发明实施例中做详细介绍，在此不再进行赘述。

S102：调用货架商品检测模型，根据待检测货架数据生成对应货架实拍图中每个商品的检测框。

在本发明实施例中，所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型。上述通用目标检测模型具体可以为通用的多类别目标检测模型，例如两阶段目标检测模型Faster R-CNN、SPPNet或一阶段目标检测模型YOLOv3、YOLOv4、SSD（Single Shot MultiBox Detector）和RetinaNet等等，在本发明实施例中可以选用这些模型公开的预训练网络作为货架商品检测模型的基础网络。在现阶段，上述通用的目标检测模型已经在ImageNet和MSCOCO等大规模公共数据集上得到了充分的训练，训练后的网络模型往往已具备较好的多类别目标检测效果。

而在本发明实施例中，所使用的货架商品检测模型具体是使用上述通用目标检测模型进行迁移学习所得到的检测模型。在现阶段迁移学习一般是以预训练模型（Pre-trained model）的方式来实现的，所谓预训练模型是指在源领域数据集上已经训练好的网络模型，且源领域数据与目标领域数据往往是类似或相近的，而源领域的训练样本数量一般远大于目标领域。有关迁移学习的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。

在本步骤中，会通过货架商品检测模型根据待检测货架数据中的具体内容，在货架实拍图中生成对应每个商品的检测框。在本发明实施例中，该货架商品检测模型在识别时通常并不区分具体的商品类别，而是会将所有类别的货架商品归为一类，或按照其基本外观划分为少数几类，例如盒装商品、袋装商品、瓶装商品等，训练好的货架商品检测模型能够检测出货架上摆放的每一件商品，而在本步骤中会使用货架商品检测模型生成对应货架实拍图中每个商品的检测框，该检测框会框住货架实拍图中每个商品。

S103：对检测框进行排序，确定检测框的次序。

在本步骤中，会确定各个检测框的次序，以便后续步骤中对检测框内商品进行进一步识别。本步骤的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。

S104：调用货架商品识别模型，根据检测框的次序对检测框内的商品进行特征提取，得到检测框中商品的实际特征向量。

在本发明实施例中，所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型。即该货架商品识别模型具体是在通用目标检测模型的基础上，经过二次迁移学习或得到的识别模型。

在本发明实施例中，该货架商品识别模型的网络需要具备提取图像特征向量的能力，即该货架商品识别模型的网络需要具备区分不同类别商品的能力，相应的在本步骤中使用货架商品识别模型，具体会按照检测框次序提取各个检测框内商品图像的特征向量，即实际特征向量。该实际特征向量具体根据实际需要识别的商品类别进行设定，在此不做具体限定。

S105：将实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

在本步骤中，会将货架商品识别模型从每一个检测框内识别出的商品的实际特征向量与数据库中该位置要求摆放的目标商品样本的标准特征向量进行相似度计算，判断其是否是该位置应该陈列的商品。需要说明的是，该目标商品样本的标准特征向量需要预先存储在系统中。在系统中需要预先存储有各个标准特征向量与各个目标商品样本的对应关系，目标商品样本则表征其对应商品的具体类别。上述目标商品样本通常是指按照要求需要摆放到货架上的商品，即在系统中通常预先存储有对应全部需要摆放的商品的标准特征向量。

在本步骤中，会将识别结果与目标商品样本进行比对，具体会将S104获取的实际特征向量与标准特征向量进行相似度计算，生成比对结果，该比对结果可以表征货架实拍图中各个商品摆放的是否正确。有关该比对结果的具体应用将在下述发明实施例中做详细介绍，在此不再进行赘述。有关相似度计算的具体过程可以参考现有技术中不同向量的相似度计算过程，在此通常不做具体限定。

需要强调的是，在本发明实施例中上述货架商品识别模型不对商品的具体类别进行识别，在本发明实施例中该货架商品识别模型具体用于提取具有区分度的图像的实际特征向量，在后续步骤经过特征向量的比对之后，才会具体确定商品的类别。

本发明实施例所提供的一种货架陈列检测方法，通过两次迁移学习作为检测模型和识别模型的实现基础，从通用多类别的目标检测到特定场景特定类别的目标检测，从一般类别的图像特征提取到具体类别的图像特征提取，充分挖掘了深度学习网络模型复用的潜力，能够以较小的训练代价获得较好的检测和识别效果。将商品检测的任务拆分为目标检测与目标识别两个子任务，采用检测模型与识别模型相协同的方式加以完成。检测模型和识别模型是两个相互独立的模型，可以根据实际使用需求，更换不同的检测或识别的模型框架，且并不影响整个任务的最终实现，从而使得模型的设置具有很强的灵活性，通过两个模型的协同操作能够有效地保障最终陈列检测结果的可靠性和准确性。

有关本发明所提供的一种货架陈列检测方法的具体内容将在下述发明实施例中做详细介绍。

请参考图2，图2为本发明实施例所提供的一种具体的货架陈列检测方法的流程图。

参见图2，在本发明实施例中，货架陈列检测方法包括：

S201：使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到货架商品检测模型。

在本步骤中，需要具体训练得到货架商品检测模型。具体的，在本步骤中需要按照具体使用需求灵活地选用通用的多类别目标检测模型，有关通用目标检测模型的具体内容已在上述发明实施例中做详细介绍，在此不再进行赘述。由于常规训练通用目标检测模型的公共数据集的数据类别并不适用于门店货架场景，因此在本发明实施例中相应地调整通用目标检测模型对应的预训练网络的输出类别后，需要使用事先标注好的货架数据集再对通用目标检测模型进行针对性训练，从而实现迁移学习，得到最终的货架商品检测模型。

S202：使用标注好的商品数据集对货架商品检测模型进行迁移学习，得到货架商品识别模型。

由于实际货架商品的类别纷繁复杂，使用通用网络训练出的识别模型往往并不能达到很好的识别效果。因此在本步骤中，需要具体训练得到货架商品识别模型。由于上述货架商品检测模型已经具备一般的商品特征提取能力，将其选作货架商品识别模型的预训练网络，并使用按照具体类别标注好的商品数据集进行训练，能够以较少的训练代价得到更好的识别效果。相应的在本步骤中，具体会进一步使用标注好的商品数据集对上述货架商品检测模型进行针对性训练，实现迁移学习，得到货架商品识别模型。

作为优选的，在本发明实施例中具体可以不使用分类网络作为商品识别手段，而采用度量学习的方法。即货架商品识别模型具体是采用度量学习的方法所得到的识别模型。度量学习（Metric learning）是广泛应用于图像检索领域的一种方法，该方法旨在通过网络学习出两张图片的相似度。度量学习算法的重点在于其损失函数（Loss function）的设计，网络的损失函数应当能够使得相同类别图片，即正样本对之间的特征距离尽可能小，而不同类别图片，即负样本对之间的特征距离尽可能大。相应的，本步骤可以具体包括：将所述货架商品检测模型改造为对应度量学习的待训练模型；基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型。

上述将货架商品检测模型改造为对应度量学习的待训练模型，具体需要去掉网络末端用于检测的网络层，添加一些必要的卷积层（Convolutional layer）或池化层（Pooling layer），并以三元组损失（Triplet loss）作为识别模型训练网络输出端的损失函数。

之后，在本发明实施例中具体会基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型，而上述标注好的商品数据集通常需要包括锚定图片（Anchor）、正样本图片（Positive）以及负样本图片（Negative）。在对待训练模型训练时，每次的输入为三张图片，分别为锚定图片a，正样本图片p和负样本图片n，图片a和p为一对正样本对，其类别相同，图片a和n则组成一对负样本对，其类别不同。三元组损失函数的定义如下：

其中

表示根据实际需求设置的训练阈值参数，

和

表示正/负样本对在特征空间的距离。通常可选用欧氏距离（Euclidean distance）或余弦距离（Cosinedistance）作为两张图片

和

在特征空间的距离，假设其通过网络前向传播之后，得到的归一化特征向量分别是

和

，则其欧氏距离和余弦距离分别定义为：

当然曼哈顿距离（Manhattan distance）、汉明距离（Hamming distance）和马氏距离（Mahalanobis distance）等距离也可以作为度量学习的距离度量函数。

在本发明实施例中，对于每一幅不同类别的商品样本图像，训练好的货架商品识别模型都以相同维度的特征向量保存在商品识别数据库中。使用货架商品识别模型对待识别的商品图像进行特征提取，将提取出的特征向量，即实际特征向量值与商品识别数据库中存放的特征向量，即标准特征向量进行相似度计算，进而可以得到识别结果。

S203：通过移动设备拍摄目标货架，生成包括货架实拍图的待检测货架数据。

在本发明实施例中，具体可以使用移动设备，例如智能手机、平板电脑等拍摄门店现场的目标货架，从而生成包括货架实拍图的待检测货架数据。

进一步地，本步骤可以具体包括：通过移动设备拍摄目标货架，获取货架实拍图；在所述货架实拍图中框选出需要进行陈列检测的货架区域，生成待检测货架数据。由于实际拍摄时，货架图片中往往除了待检测的货架主体外，还会拍摄进部分临近货架，甚至有拍摄到多个货架的情况，因此需要用户进行手动框选确认，以确保得到准确的需要进行检测的货架区域。相应的在本步骤中，需要用户在输入端，具体可以在移动端拍摄的货架实拍图中框选出需要进行陈列检测的货架区域，此时生成的待检测货架数据具体还会包括有执行框选操作时产生的框选坐标信息。通常情况下，该待检测货架数据还可以包括陈列标准。上述陈列标准即当前货架所对应的需要陈列出的商品的陈列标准，该陈列标准并不需要为图片格式的“标准陈列图”，该陈列标准只需要提供货架商品的“陈列需求表”，其只需包含某类商品名称或条码、该类商品位于货架的第几层第几个位置和该类商品占几个面位数等文本信息，其形式可以是excel表格或txt文档之类的程序可读取的文本格式。

还需要说明的是，若对应各个货架的陈列标准也预先存储在系统中，则上述待检测货架数据需要包括当前货架的标识信息，以便从系统中根据该标识信息查询到该货架对应的陈列标准。

具体的，上述移动端会将上述待检测货架数据上传至处理端，此处处理端通常为云端。该处理端首先会对待检测货架数据进行预处理，包括根据框选坐标信息对货架实拍图进行裁剪，并对陈列标准进行格式化，得到格式标准的陈列需求表等，其预处理的具体内容可以根据实际情况自行设定，在此不做具体限定。

S204：调用货架商品检测模型，根据待检测货架数据生成对应货架实拍图中每个商品的检测框。

本步骤与上述发明实施例中S102基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。

S205：基于k均值聚类模型对检测框进行排序，确定检测框的次序。

在本步骤中具体可以结合检测框坐标以及货架层数等先验信息，使用k均值（k-means）聚类方法，得到每个检测框的次序。上述k均值聚类模型即基于k均值聚类方法所构建的计算模型。

通常情况下，本步骤具体包括：以所述检测框的纵坐标为所述k均值聚类模型的输入，以所述货架实拍图中货架层数作为聚类数，调用k均值聚类模型生成表征所述检测框中商品位于对应货架层的聚类结果；根据位于同一货架层的检测框的横坐标对所述检测框进行排序，确定所述检测框的次序。

由于实际货架商品的排布是一行一行而非一列一列的，即对货架整体而言，商品具有严格的“行排布”，而多数时候并不具备区分明显的“列排布”，所以只能先确定商品的上下行次序之后，再对每一行的商品进行左右排序。相应的在本步骤中，首先会以检测框的纵坐标为k均值聚类模型的输入，该纵坐标通常位于检测框右下角；之后以货架实拍图中货架层数作为k均值聚类模型的聚类数，该聚类数通常由上述陈列需求表提供的信息给出，此时该k均值聚类模型的聚类结果可以作为检测框中的商品位于货架第几层的判断依据。

之后，在本步骤中会对每一层的检测框再按照其左上角横坐标的大小进行排序，进而得出检测框中的商品在该层中的左右次序，从而得到全部检测框的次序。

S206：调用货架商品识别模型，根据检测框的次序对检测框内的商品特征提取识别，得到检测框中商品的实际特征向量。

具体的，在本步骤中会按照S205中确定的检测框的次序依次将每个检测框内的商品图像送入货架商品识别模型，得到其实际特征向量。

S207：将实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

在本步骤中，可以结合得到的陈列需求表，将以上得到的实际特征向量与数据库中该位置要求摆放的商品的标准特征向量进行相似度计算，再根据事先设置相似性阈值判定检测位置的商品是否是该位置要求摆放的商品，得到比对结果。

具体的，在本发明实施例中，所述比对结果包括以下任意一项或任意组合：对比结果图、对比结果表、陈列合格率。即在本步骤中，对每个检测框内的商品进行识别判定之后，程序根据每个框所属位置的比对结果，在货架实拍图上给不同的比对结果绘制不同颜色标记的框，如比对正确的位置标记为绿色框，错误的标注为红色框等。同时将本次陈列检测结果以表格或文本的形式统计出来，得到比对结果表；并根据合格率公式给出待检测货架实拍图的陈列合格率，所述合格率公式如下：

之后，处理端可以将上述比对结果，包括比对结果图、比对结果表和陈列合格率综合作为本次货架陈列的检测结果，发送至移动端，以便现场人员进行参考处理。

本发明实施例所提供的一种货架陈列检测方法，其中货架商品检测模型可以将所有的商品看作一类或是根据外观形状仅分为简单的几类，因此商品类别的变动并不影响检测模型的架构；货架商品识别模型采用度量学习而非分类网络的方式，通过构造网络直接学习图片之间的相似性，不需要分类层来辅助特征学习，因而同样对商品类别的变动具有鲁棒性。因此，本发明实施例所采用的技术方案具有很强的灵活性，通过两个模型的协同操作能够有效地保障最终陈列检测结果的可靠性和准确性。

同时本发明实施例采用移动端与云端相结合的方式，移动端凭借其灵活便捷的操作模式，主要负责门店现场数据的采集和上传以及结果的展示；云端的服务器则依靠其强大的运算能力，能够快速响应并执行基于深度学习的检测和识别等复杂的智能算法，并及时地将陈列检测结果反馈给移动端。移动端和云端各司其职又相互配合的这种处理方式，能够快速而准确地反应货架陈列状况，进而帮助提高门店的管理效率。

下面对本发明实施例所提供的一种货架陈列检测装置进行介绍，下文描述的货架陈列检测装置与上文描述的货架陈列检测方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的一种货架陈列检测装置的结构框图。参照图3，货架陈列检测装置可以包括：

获取模块100，用于获取待检测货架数据；所述待检测货架数据包括货架实拍图。

检测模块200，用于调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型。

排序模块300，用于对所述检测框进行排序，确定所述检测框的次序。

识别模块400，用于调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型。

比对模块500，用于将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

作为优选的，在本发明实施例中，还包括：

检测模型迁移模块，用于使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到货架商品检测模型。

识别模型迁移模块，用于使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型。

作为优选的，在本发明实施例中，识别模型迁移模块包括：

度量学习改造模块，用于将所述货架商品检测模型改造为对应度量学习的待训练模型。

度量学习训练模块，用于基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型。

作为优选的，在本发明实施例中，排序模块300具体用于：

基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序。

作为优选的，在本发明实施例中，排序模块300包括：

纵向排序单元，用于以所述检测框的纵坐标为所述k均值聚类模型的输入，以所述货架实拍图中货架层数作为聚类数，调用k均值聚类模型生成表征所述检测框中商品位于对应货架层的聚类结果。

横向排序单元，用于根据位于同一货架层的检测框的横坐标对所述检测框进行排序，确定所述检测框的次序。

作为优选的，在本发明实施例中，所述比对结果包括以下任意一项或任意组合：

对比结果图、对比结果表、陈列合格率。

作为优选的，在本发明实施例中，获取模块100具体用于：

通过移动设备拍摄目标货架，生成包括货架实拍图的待检测货架数据。

作为优选的，在本发明实施例中，获取模块100具体包括：

拍摄单元：用于通过移动设备拍摄目标货架，获取货架实拍图。

框选单元，用于在所述货架实拍图中框选出需要进行陈列检测的货架区域，生成待检测货架数据。

本实施例的货架陈列检测装置用于实现前述的货架陈列检测方法，因此货架陈列检测装置中的具体实施方式可见前文中的货架陈列检测方法的实施例部分，例如，获取模块100，检测模块200，排序模块300，识别模块400，比对模块500分别用于实现上述货架陈列检测方法中步骤S101至S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

下面对本发明实施例提供的一种货架陈列检测系统进行介绍，下文描述的货架陈列检测系统与上文描述的货架陈列检测方法以及货架陈列检测装置可相互对应参照。

请参考图4，图4为本发明实施例所提供的一种货架陈列检测系统的结构框图。

参照图4，该货架陈列检测系统可以包括相互通信连接的处理端11和输入端12。上述处理端优选为云端，输入端12优选为移动端。

所述输入端12用于获取待检测货架数据；所述待检测货架数据包括货架实拍图。

所述处理端11用于：

调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型。

对所述检测框进行排序，确定所述检测框的次序。

调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到的识别模型。

将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

作为优选的，在本发明实施例中，所述处理端11还用于：

使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到货架商品检测模型。

使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型。

作为优选的，在本发明实施例中，所述处理端11具体用于：

将所述货架商品检测模型改造为对应度量学习的待训练模型。

基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型。

作为优选的，在本发明实施例中，所述处理端11具体用于：

基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序。

作为优选的，在本发明实施例中，所述处理端11具体用于：

以所述检测框的纵坐标为所述k均值聚类模型的输入，以所述货架实拍图中货架层数作为聚类数，调用k均值聚类模型生成表征所述检测框中商品位于对应货架层的聚类结果。

根据位于同一货架层的检测框的横坐标对所述检测框进行排序，确定所述检测框的次序。

作为优选的，在本发明实施例中，所述比对结果包括以下任意一项或任意组合：

对比结果图、对比结果表、陈列合格率。

作为优选的，在本发明实施例中，所述输入端12优选为移动端，所述处理端11优选为云端，所述处理端11具体用于：

通过移动设备拍摄目标货架，生成包括货架实拍图的待检测货架数据。

作为优选的，在本发明实施例中，所述处理端11具体用于：

通过移动设备拍摄目标货架，获取货架实拍图；

获取在所述货架实拍图中框选出的需要进行陈列检测的货架区域，生成待检测货架数据。

本实施例的货架陈列检测系统用于实现前述的货架陈列检测方法，因此货架陈列检测系统中的具体实施方式可见前文中的货架陈列检测方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种货架陈列检测方法、一种货架陈列检测装置以及一种货架陈列检测系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种货架陈列检测方法，其特征在于，包括：

获取待检测货架数据；所述待检测货架数据包括货架实拍图；

调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

对所述检测框进行排序，确定所述检测框的次序；

调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，去掉网络末端用于检测的网络层，添加卷积层或池化层，得到的识别模型；

将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

2.根据权利要求1所述的方法，其特征在于，在调用货架商品检测模型之前，还包括：

使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到货架商品检测模型；

使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型。

3.根据权利要求2所述的方法，其特征在于，所述使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，得到货架商品识别模型包括：

将所述货架商品检测模型改造为对应度量学习的待训练模型；

基于度量学习，使用标注好的商品数据集对所述待训练模型进行迁移学习，得到货架商品识别模型。

4.根据权利要求1所述的方法，其特征在于，所述对所述检测框进行排序，确定所述检测框的次序包括：

基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序。

5.根据权利要求4所述的方法，其特征在于，所述基于k均值聚类模型对所述检测框进行排序，确定所述检测框的次序包括：

以所述检测框的纵坐标为所述k均值聚类模型的输入，以所述货架实拍图中货架层数作为聚类数，调用k均值聚类模型生成表征所述检测框中商品位于对应货架层的聚类结果；

根据位于同一货架层的检测框的横坐标对所述检测框进行排序，确定所述检测框的次序。

6.根据权利要求1所述的方法，其特征在于，所述比对结果包括以下任意一项或任意组合：

对比结果图、对比结果表、陈列合格率。

7.根据权利要求1所述的方法，其特征在于，所述获取待检测货架数据包括：

通过移动设备拍摄目标货架，生成包括货架实拍图的待检测货架数据。

8.根据权利要求7所述的方法，其特征在于，所述通过移动设备拍摄目标货架，生成包括所述货架实拍图的待检测货架数据包括：

通过移动设备拍摄目标货架，获取货架实拍图；

在所述货架实拍图中框选出需要进行陈列检测的货架区域，生成待检测货架数据。

9.一种货架陈列检测装置，其特征在于，包括：

获取模块，用于获取待检测货架数据；所述待检测货架数据包括货架实拍图；

检测模块，用于调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

排序模块，用于对所述检测框进行排序，确定所述检测框的次序；

识别模块，用于调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，去掉网络末端用于检测的网络层，添加卷积层或池化层，得到的识别模型；

比对模块，用于将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

10.一种货架陈列检测系统，其特征在于，包括相互通信连接的输入端以及处理端；

所述输入端用于获取待检测货架数据；所述待检测货架数据包括货架实拍图；

所述处理端用于：

调用货架商品检测模型，根据所述待检测货架数据生成对应所述货架实拍图中每个商品的检测框；所述货架商品检测模型为使用标注好的货架数据集对通用目标检测模型进行迁移学习，得到的检测模型；

对所述检测框进行排序，确定所述检测框的次序；

调用货架商品识别模型，根据所述检测框的次序对所述检测框内的商品进行特征提取，得到所述检测框中商品的实际特征向量；所述货架商品识别模型为使用标注好的商品数据集对所述货架商品检测模型进行迁移学习，去掉网络末端用于检测的网络层，添加卷积层或池化层，得到的识别模型；

将所述实际特征向量与目标商品样本的标准特征向量进行相似度计算，生成比对结果。

Images