CN115619791A

CN115619791A - 一种物品陈列检测方法、装置、设备及可读存储介质

Info

Publication number: CN115619791A
Application number: CN202211636480.1A
Authority: CN
Inventors: 周亮基; 章柳柳; 周圣强; 黄岗
Original assignee: OP Retail Suzhou Technology Co Ltd
Current assignee: OP Retail Suzhou Technology Co Ltd
Priority date: 2022-12-20
Filing date: 2022-12-20
Publication date: 2023-01-17
Anticipated expiration: 2042-12-20
Also published as: CN115619791B

Abstract

本发明公开了一种物品陈列检测方法、装置、设备及可读存储介质，应用于信息处理领域。包括获取待检测目标图像；调用物品陈列检测模型对待检测目标图像进行处理，得到每个物品的位置信息；调用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息；利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。本发明与现有技术通过人工进行物品陈列检测相比，本发明直接利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，更加智能化地实现了对物品陈列的检测，提高了检测速度和准确度。

Description

一种物品陈列检测方法、装置、设备及可读存储介质

技术领域

本发明涉及信息处理领域，特别涉及一种物品陈列检测方法、装置、设备及可读存储介质。

背景技术

传统的门店物品陈列检测依赖于人工进行现场检查，或者人工在线上根据获取的图像进行物品陈列检测，这种物品陈列检测方法需要花费大量的时间成本，以及大量的人力成本，并且物品陈列检测工作的时效性度较低，并且由人工进行物品陈列检测物品陈列检测准确度较低。因此，现有技术检测物品陈列位置是否正确存在速度较慢，以及检测准确度较低的技术问题。

发明内容

有鉴于此，本发明的目的在于提供物品陈列检测方法、装置、设备及可读存储介质，解决了现有技术中由人工对物品陈列进行检测造成的速度较慢、准确度较低的问题。

为解决上述技术问题，本发明提供了一种物品陈列检测方法，包括：

获取待检测目标图像；

调用物品陈列检测模型对所述待检测目标图像进行处理，得到每个物品的位置信息；

调用物品特征识别模型对所述待检测目标图像进行处理，得到每个物品的特征信息；

利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。

可选的，所述调用物品特征识别模型对所述待检测目标图像进行处理，包括：

调用以三元组损失作为损失函数的所述物品特征识别模型对所述待检测目标图像进行处理。

可选的，所述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，包括：

获取所述每个物品的位置信息，并根据所述每个物品的位置信息结合排列算法对所述待检测目标图像中的物品进行排序编号，得到经过规范排列的第一目标位置图像；

根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像；

调用位置匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测。

可选的，在所述根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之前，还包括：

获取所述每个物品的位置信息，并根据所述每个物品的位置信息结合K均值聚类算法对所述待检测目标图像中的物品进行排序编号，得到经过规范排列的所述第一目标位置图像。

可选的，在所述根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之后，还包括：

根据预设比对顺序、所述第二目标位置图像和所述标准位置信息，对所述第二目标位置图像和所述标准陈列图像进行扩边对齐，得到第三目标位置图像；

相应的，所述调用位置匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测，得到位置匹配结果，包括：

调用所述位置匹配算法对所述第三目标位置图像和所述标准位置信息进行匹配检测，得到所述位置匹配结果。

可选的，所述调用位置匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测，包括：

调用匈牙利匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测，得到位置匹配结果。

可选的，在所述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果之后，还包括：

根据所述物品陈列匹配结果确定所述待检测目标图像的物品陈列为物品多摆或物品错摆或物品漏摆。

本发明还提供了一种物品陈列检测装置，包括：

待检测目标图像获取模块，用于获取待检测目标图像；

位置信息获取模块，用于调用物品陈列检测模型对所述待检测目标图像进行处理，得到每个物品的位置信息；

特征信息获取模块，用于调用物品特征识别模型对所述待检测目标图像进行处理，得到每个物品的特征信息；

物品陈列匹配检测模块，用于利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。

本发明还提供了一种物品陈列检测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序实现上述的物品陈列检测方法的步骤。

本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的物品陈列检测方法的步骤。

可见，本发明通过获取待检测目标图像；调用物品陈列检测模型对所述待检测目标图像进行处理，得到每个物品的位置信息；调用物品特征识别模型对所述待检测目标图像进行处理，得到每个物品的特征信息；利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。和现有技术通过人工进行物品陈列检测相比，本发明利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，更加智能化地实现了物品陈列的匹配检测，使得检测的速度更快，并且更加准确。

此外，本发明还提供了物品陈列检测装置、设备及可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种物品陈列检测方法的流程图；

图2为本发明实施例提供的扩边对齐的流程示例图；

图3为本发明实施例提供的一种位置与特征双匹配方法的流程示例图；

图4为本发明实施例提供的一种物品陈列检测方法的流程示例图；

图5为本发明实施例提供的一种物品陈列检测装置的结构示意图；

图6为本发明实施例提供的一种物品陈列检测设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种物品陈列检测方法的流程图。该方法可以包括以下步骤，具体可以包括：

S100，获取待检测目标图像。

该实施例并不限定待检测目标图像的具体获取方式。例如，可以利用摄像机获取待检测目标图像；或者可以利用照相机获取待检测目标图像。该实施例并不限定获取待检测目标图像的时机。例如，可以实时获取待检测目标图像，或者按预设时间周期获取待检测目标图像。

S101，调用物品陈列检测模型对待检测目标图像进行处理，得到每个物品的位置信息。

该实施例并不限定物品陈列检测模型的具体模型。例如，该物品陈列检测模型可以是使用事先标注好的门店陈列物品数据集对两阶段目标检测模型Faster R-CNN（该算法在fast rcnn基础上提出了RPN候选框生成算法）或SPPNet（Spatial Pyramid Pooling inDeep Convolutional Networks for Visual Recognition，目标检测网络）进行训练得到的检测模型。或者该物品陈列检测模型可以是使用事先标注好的门店陈列物品数据集对一阶段目标检测模型YOLOv3/v4/v5（基于darknet构建的神经网络算法）、SSD（Single ShotMultiBox Detector，目标检测算法）或RetinaNet（使用Focal Loss解决样本不均衡问题，让one-stage网络达到two-stage的精度）等进行训练得到的检测模型。该实施例并不限定待检测目标图像中物品的位置信息的具体个数，只要与待检测目标图像中的物品个数相对应即可。例如，待检测目标图像中的物品位置信息可以是10个，或者待检测目标图像中的物品位置信息可以是15个，或者待检测目标图像中的物品位置信息可以是30个。该实施例并不限定每个物品位置信息的具体位置。例如，A物品的位置可以是第一层第二个，或者B物品的位置可以是第三层第五个，或者C物品的位置信息可以是坐标位置。

S102，调用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息。

该实施例并不限定物品特征识别模型的具体模型。例如，物品特征识别模型可以是分类网络；或者物品特征识别模型可以是度量学习模型，并以三元组损失为物品特征识别模型训练网络输出端的损失函数。该实施例并不限定每个物品对应特征信息的具体信息。例如，A物品的特征信息可以是蓝色、葫芦形状；或者A物品的特征信息可以是白色、圆柱形。该实施例并不限定调用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息的具体过程。例如，可以直接利用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息；或者，可以在对待检测目标图像进行位置信息提取后，利用该位置信息对应的目标物品的矩形框坐标，将物品像素区域从原图中分割出来，进而使用物品特征识别模型，对每个分割出来的物品像素区域进行特征提取，得到每个物品的特征信息，即间接利用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息。

S103，利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。

该实施例并不限定的标准陈列信息中包含的具体信息。例如，标准陈列信息中可以包含标准陈列物品的位置信息、特征信息、类别信息和陈列排序规则信息；或者标准陈列信息中可以包含标准陈列物品的位置信息、类别信息、特征信息、尺度信息（成像大小及尺寸）和陈列排序规则信息。该实施例的标准物品特征库可以作为标准特征信息提取汇总的手段，将事先整理的标准物品样本图像的特征信息存储为标准物品特征库。该实施例并不限定利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测的具体过程。例如，可以先对每个物品的位置信息进行匹配检测，再对每个物品的特征信息进行匹配检测。或者还可以先对每个物品的特征信息进行匹配检测，在对每个物品的位置信息进行匹配检测。该实施例并不限定对每个物品的特征信息进行匹配检测的具体方式。例如，可以调用特征相似度算法为分类网络的特征匹配模型进行特征匹配检测，得到特征匹配结果。或者调用特征相似度算法为度量模型学习模型的特征匹配模型进行特征匹配检测，得到特征匹配结果。

进一步，为了提高特征识别的灵活性，上述调用物品特征识别模型对待检测目标图像进行处理，可以包括：

调用以三元组损失作为损失函数的物品特征识别模型对待检测目标图像进行处理。

该实施例以三元组损失作为损失函数的物品特征识别模型对待检测目标图像进行处理。三元组损失作为损失函数在图像分类任务中，当两个待检测图像很相似的时候，三元组损失对这两个差异性较小的输入向量可以学习到更好地表示，从而在分类任务中表现出色。

进一步，为了实现对位置与特征双匹配算法的具体应用，上述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和所述每个物品的特征信息进行匹配检测，可以包括：

获取每个物品的位置信息，并根据每个物品的位置信息结合排列算法对待检测目标图像中的物品进行排序编号，得到经过规范排列的第一目标位置图像；

根据标准陈列图像对第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像；

调用位置匹配算法，对第二目标位置图像和标准陈列信息中的标准位置信息进行匹配检测。

该实施例并不限定排列算法的具体算法。例如，排列算法可以是K均值聚类算法，或者排列算法可以是算数排列，或者排列算法可以是非自适应K均值聚类算法。该实施例并不限定位置信息的具体形式。例如该实施例中的位置信息可以是物品的位置框信息，该位置框可以是矩形，或者该位置框可以是正方形。该实施例中的位置信息也可以为正方形位置框左上角的坐标以及位置框的宽高，或者该实施例中的位置信息还可以为长方形位置框左上角的坐标以及位置框的宽高。该实施例通过排列算法可以计算得到待检测目标图像对应的层数，对每一层的物品进行上下以及左右规范的排序编号。该实施例结合排列算法对每个物品的位置信息进行处理后，可以得到每个物品对应的符合预设规则的排列顺序。该实施例考虑到由于标准陈列图像和待检测目标图像的拍摄的远近距离可能会存在差异，为了在同一尺度下进行标准陈列图像中的标准位置与待检测识别图像中的物品位置的比对，需要将待检测目标图像中每个物品的位置信息映射到与标准陈列图像的物品位置相同的尺度上，即待检测目标图像和标准陈列图像对应的每个物品的位置成像大小和尺寸相同。该实施例并不限定位置匹配算法的具体算法。例如，位置匹配算法可以是最大流匹配，或者位置匹配算法也可以是极大流匹配，或者位置匹配算法还可以是匈牙利匹配算法。

进一步，为了方便后续的比对判断，在上述根据标准陈列图像对第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之前，还可以包括：

获取每个物品的位置信息，并根据每个物品的位置信息结合K均值聚类算法对待检测目标图像中的物品进行排序编号，得到经过规范排列的第一目标位置图像。

该实施例中采用K均值聚类算法对待检测目标图像中的物品进行排序编号，得到经过规范排列的第一目标位置图像。自适应k均值位置框排序，通过轮廓系数自适应地计算出陈列物品摆放的层数，结合预设规则，能够对门店场景中陈列的物品进行合适的排序和编号，极大地方便了后续的比对判断。该实施例中使用K均值聚类算法作为排列算法。由于K均值聚类可以适用于货物图像，或者物料图像，因此，K均值聚类算法的普适性更高。

进一步，为了能够得到精确的位置比对结果，在上述根据标准陈列图像对第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之后，还可以包括：

根据预设比对顺序、第二目标位置图像和标准位置信息，对第二目标位置图像和标准陈列图像进行扩边对齐，得到第三目标位置图像；

相应的，调用位置匹配算法，对第二目标位置图像和标准陈列信息中的标准位置信息进行匹配检测，得到位置匹配结果，包括：

调用位置匹配算法对第三目标位置图像和所述标准位置信息进行匹配检测，得到位置匹配结果。

该实施例考虑到，一方面，待检测目标图像中的物品陈列与标准陈列图像中的标准陈列对比，可能会存在物品漏摆、多摆或错摆等情况；另一方面，不同的比对顺序，往往也会产生不同的比对结果。因此，为了得到更准确比对结果，需要结合标准陈列信息中预设的比对顺序信息，以及标准陈列信息的位置信息，以及同尺度映射后的待检测目标图像中物品的位置信息，进行边界框扩边对齐处理。边界框扩边对齐，结合预设信息以及检测结果，自适应地将标准陈列与查询图像中各个物品的位置框进行扩边对齐，进而能够得到精确的位置比对结果。

为了使本发明中的扩边对齐更便于理解，具体请参考图2，图2为本发明实施例提供的一种扩边对齐的流程示例图，具体可以包括：比较标准陈列图像对应的所有位置框的最小外接矩形，与同尺度映射后待检测目标图像中所有物品的位置框的最小外接矩形的大小，将两个矩形中较小的宽或高通过灰色像素填充的方式，扩展到较大的宽或高。根据预先设置的比对顺序，进行对应边的扩充。一般地，比对顺序可分为以下四种方式，即自下而上、从左到右，自下而上、从右到左，自上而下、从左到右，自上而下、从右到左，其扩边对齐的方式分别如图2的（a）（b）（c）（d）所示，其中，左边为标准陈列图像对应的每个物品的陈列，右边为待检测目标图像对应的每个物品的陈列。以图像左上角为坐标原点，设扩充的宽为exp_w，扩充的高为exp_h。不论是标准陈列图像对应的位置框或是待检测目标图像对应的位置框，出现图2中的情况时，框的横/纵坐标需要进行修正：若扩充的边位于矩形框的左侧时，原位置框的横坐标都需要加上exp_w；若扩充的边位于矩形框的上方时，原位置框的纵坐标都需要加上exp_h。

进一步，为了增加匹配的普适性和准确性，上述调用位置匹配算法，对第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测，可以包括：

调用匈牙利匹配算法，对第二目标位置图像和标准陈列信息中的标准位置信息进行匹配检测。

该实施例使用匈牙利算法匹配算法作为匹配算法。匈牙利算法是一种二分图常用算法，可以得到更多的匹配位置，所以具有更大的普适性和准确性。

为了使本发明上述实施例更便于理解，具体请参考图3，图3为本发明实施例提供加入扩边对齐后的一种位置与特征双匹配方法的流程示例图，具体可以包括：

S200，首先需要获取待检测目标图像中每个物品的位置信息。

S201，进而结合K均值聚类算法对每个物品的位置信息进行规范排列得到第一目标位置图像，该过程具体可以包括：获取待检测目标图像中每个物品的位置信息为位置框的中心点坐标，由物品陈列检测模型得到的每个物品的位置信息一般为位置框信息，其中，位置框左上角的坐标以及位置框的宽高，即

，要得到每个物品的位置框中心点坐标

，则需要经过简单的公式计算：

(式1)

转换后的每个物品的位置框的绝对坐标可表示为

。根据位置框的数量M （M>2）以及预设的层高限制l（l>1），设定使用K均值聚类算法进行聚类时对应的k的取值范围为，

，该发明实施例中将k定义为k均值聚类数量。样本数量只有大于2才有聚类的意义，故M要大于2；本步骤是为了自适应计算出物品摆放的层数，若只有一层则不需要进行上下层数的计算；min{2+l,M｝的目的是避免因预设层数大于位置框数量而造成聚类错误，即若只检出8件物品却被要求分为10层。以所有位置框的中心点的纵坐标作为输入，在设定的k值范围内进行迭代聚类，计算每一次聚类迭代结果的轮廓系数（Silhouette coefficient）。某个样本i的轮廓系数的计算公式为：

(式2)

其中，

是指样本i与其所在簇内其他样本的平均距离，

是指样本i与其他簇样本的平均距离。样本轮廓系数值介于，越趋近于1表示聚类效果越好。设样本总数为N，则所有样本总的轮廓系数S为：

(式3)

选择使用总的轮廓系数最大的k值作为最终的聚类数，亦即对应于物品陈列摆放的层数。结合排序规则以及计算出的层数，对每一层的物品进行上下以及左右的排序编号。排序规则是指在预定规则里上下以及左右的计数方式设定，如对于某个场景下的陈列，是按照从上到下、从左到右的方式来排列计数，又或者是其他。

S202，当根据K均值聚类算法得到第一目标位置图像后，需要根据标准位置信息对待检测目标图像中的位置框进行尺度映射，得到第二目标位置图像，该过程具体可以包括：获取待检测目标图像中所有物品的位置框的最小外接矩形的坐标，并以其左上角横纵坐标和宽高表示为

；r表示外接矩形rect，已进行符号替换。根据标准陈列图像的标准位置信息，计算得到所有物品位置框宽高的中位数值

；结合最小外接矩形坐标、每个位置框的绝对坐标以及标准位置信息的宽、高、中位数值，得到查询图像每个物品位置框的尺度映射坐标

，计算公式如下：

（式4）

S203，当对待检测目标图像中的每个物品的位置信息进行尺度映射后，需要进行扩边对齐处理，得到第三目标位置图像。

S204，调用匈牙利匹配算法对第三目标位置图像与标准位置信息进行匹配检测，得到位置匹配结果。该过程具体可以包括：设所有m个标准陈列图像对应的位置框的集合为 A，所有n个待检测目标对应的位置框的集合为B，集合A和集合B可构成一个二分图，所谓位置框匹配，即是利用匈牙利算法对这个二分图进行数据关联。计算集合A和集合B中，每个位置框两两之间的IoU（Intersection over union，交并比），设某个标准陈列位置框为

，某个查询图像位置框为

，则这两个位置框的交并比IoU计算公式如下：

(式5)

所有计算得到的IoU构建出匈牙利算法所需的位置框关联矩阵（Associationmatrix，关联矩阵）为：

(式6)

匈牙利算法根据关联矩阵寻找最佳匹配：

Step1：设最小交并比阈值为

，对于

行，找出该行最大的IoU为第j列的

；

Step2：若

，则位置框

无匹配；若

且第j列无其他匹配，则将位置框

和

匹配上；

Step3：若

但第j列已经其他匹配，尝试找该行其他匹配位置；

Step4：以递归的方式重复Step2-Step3，直到无法找到新的匹配；

Step5：对第

行继续上述操作，直到最后一行。

对所有的位置框完成匈牙利匹配算法之后，可将标准陈列位置框和待检测目标图像的位置框分为三种情况：位置上未匹配的标准陈列框，对应于“遗漏摆放”的比对结果；位置上未匹配的待检测目标图像的位置框，对应于“多余摆放”的比对结果；位置上两两匹配的标准陈列框和待检测目标图像的位置框，这些框需要进行下一步识别的判断。

S205，匈牙利匹配算法对第三目标图像进行位置匹配检测后，对于位置上两两匹配的标准陈列框和查询图像框，可以继续调用特征相似度算法对第三目标图像与标准特征信息进行匹配检测，得到特征匹配结果。该过程具体可以包括：对于上一步某个匹配上的标准陈列位置框，从标准物品特征库里面抽取该位置指定标准物品的特征向量

；使用识别模型，对位置上匹配该标准陈列位置的待检测目标图像中的物品进行特征提取，得到对应的特征向量

；

计算这两个特征向量的余弦距离：

（式7）

设特征相似性度量的余弦距离阈值为

，若

，表示位置已匹配的标准陈列框中的物品与待检测目标图像中的物品特征相近，即特征也相互匹配，判定待检测目标图像中该位置的物品为“正确摆放”，反之若

，则判定待检测目标图像中该位置的物品为“错误摆放”。

S206，最后，根据位置匹配结果和特征匹配结果确定物品陈列结果。

进一步，在上述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，得到物品陈列匹配结果之后，还可以包括：

根据物品陈列匹配结果确定待检测目标图像的物品陈列为物品多摆或物品错摆或物品漏摆。

该实施例中根据物品陈列匹配结果可以确定待检测目标图像的物品陈列为物品多摆，或者确定待检测目标图像的物品陈列为；或者确定待检测目标图像的物品陈列为物品漏摆。

应用本发明实施例提供的物品陈列检测方法，通过获取待检测目标图像；调用物品陈列检测模型对待检测目标图像进行处理，得到每个物品的位置信息；调用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息；利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。可见，和现有技术由人工进行物品陈列检测相比，本发明更加智能化地实现了物品陈列的检测，使得检测的速度更快更准确。并且，本发明由于以三元组作为物品特征识别模型的损失函数，提高了物品特征识别模型的灵活性。并且在进行匹配检测的过程中根据标准位置信息进行规范排列和尺度映射，使得匹配的结果更加准确。并且，对待检测目标图像中的每个物品的位置信息进行扩边对齐，进一步增强了比对结果的准确性。并且，使用K均值聚类算法对待检测目标图像中的物品进行排列，使得待检测目标图像的普适性更强。并且，使用匈牙利匹配算法作为匹配算法，由于匈牙利匹配算法是一种用增广路径求二分图最大匹配的算法，核心是寻找增广路径，所以使得匹配的结果更加准确。可以理解的是，本发明进行物品陈列检测的主要对象是以饮料、薯片、干果等为主体的商超，也适用于药店或其他需要货架进行物品陈列的门店，只要根据门店类型不同，针对性地变化待检测目标图像，以及训练相应的算法模型即可。

为了使本发明更便于理解，具体请参考图4，图4为本发明实施例提供的一种物品陈列检测的流程示例图，具体可以包括：

S300，获取摄像头按预设周期捕获的待检测货架图像；S301，调用物品陈列检测模型对待检测货架图像进行处理，得到每个物品的位置信息；S302，调用物品特征识别模型对待检测货架图像进行处理，得到每个物品的特征信息；S303，使用K均值聚类方法对每个物品的位置信息进行规范排序，以及对待检测货架图像对应物品的进行尺度处理和扩边对齐，以增强对比的准确性，得到与标准位置信息对应的规范位置信息；S304，调用匈牙利匹配算法，将标准位置信息与规范位置信息进行匹配检测，得到位置匹配结果。位置匹配结果可以是S305遗漏摆放，或者S306多余摆放。S307当位置完全匹配（正确匹配）时，S308调用特征相似度算法将标准特征信息与每个物品的特征信息进行匹配检测，得到特征匹配结果；S309，可以根据待检测货架图像中每个物品的特征相似度是否超过阈值来进行判断，S310，当相似度超过阈值时，确定待检测货架图像中的物品为正确摆放，S311，当确定相似度未超过阈值时，确定待检测货架图像中的物品为错误摆放。该实施例使用匈牙利算法进行位置框的位置匹配，再进一步地使用相似度计算的方式进行特征的匹配，两种匹配方式相结合，最终能够得到准确的比对结果。

下面对本发明实施例提供的物品陈列检测装置进行介绍，下文描述的物品陈列检测装置与上文描述的物品陈列检测方法可相互对应参照。

具体请参考图5，图5为本发明实施例提供的一种物品陈列检测装置的结构示意图，可以包括：

待检测目标图像获取模块100，用于获取待检测目标图像；

位置信息获取模块200，用于调用物品陈列检测模型对所述待检测目标图像进行处理，得到每个物品的位置信息；

特征信息获取模块300，用于调用物品特征识别模型对所述待检测目标图像进行处理，得到每个物品的特征信息；

物品陈列匹配检测模块400，用于利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。

进一步，基于上述实施例，所述特征信息获取模块300，可以包括：

特征信息获取单元，用于调用以三元组损失作为损失函数的所述物品特征识别模型对所述待检测目标图像进行处理。

进一步，基于上述任意实施例，所述物品陈列匹配检测模块400，可以包括：

第一目标位置图像计算单元，用于获取所述每个物品的位置信息，并根据所述每个物品的位置信息结合排列算法对所述待检测目标图像中的物品进行排序编号，得到经过规范排列的第一目标位置图像；

第二目标位置图像计算单元，用于根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像；

匹配检测单元，用于调用位置匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测。

进一步，基于上述实施例，所述物品陈列检测装置，还可以包括：

K均值聚类算法排列模块，用于获取所述每个物品的位置信息，并根据所述每个物品的位置信息结合K均值聚类算法对所述待检测目标图像中的物品进行排序编号，得到经过规范排列的所述第一目标位置图像。

扩边对齐模块，用于根据预设比对顺序、所述第二目标位置图像和所述标准位置信息，对所述第二目标位置图像和所述标准陈列图像进行扩边对齐，得到第三目标位置图像；

根据第三目标位置图像计算位置匹配模块，用于调用所述位置匹配算法对所述第三目标位置图像和所述标准位置信息进行匹配检测，得到所述位置匹配结果。

进一步，基于上述实施例，所述匹配检测单元，可以包括：

匈牙利匹配子单元，用于调用匈牙利匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测。

物品陈列具体匹配结果确定单元，用于根据所述物品陈列匹配结果确定所述待检测目标图像的物品陈列为物品多摆或物品错摆或物品漏摆。

应用本发明实施例提供的物品陈列检测装置，通过待检测目标图像获取模块100，用于获取待检测目标图像；位置信息获取模块200，用于调用物品陈列检测模型对所述待检测目标图像进行处理，得到每个物品的位置信息；特征信息获取模块300，用于调用物品特征识别模型对所述待检测目标图像进行处理，得到每个物品的特征信息；物品陈列匹配检测模块400，用于利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。和现有技术由人工进行物品陈列检测相比，本发明利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，更加智能化地实现了物品陈列的检测，使得检测的速度更快且更准确。并且，本发明由于使用以三元组作为物品特征识别模型的损失函数，提高了物品特征识别模型的灵活性。并且在进行匹配检测的过程中根据标准位置信息进行规范排列和尺度映射，使得匹配的结果更加准确。并且，对待检测目标图像中的每个物品的位置信息进行扩边对齐，进一步增强了比对结果的准确性。并且，使用K均值聚类算法对待检测目标图像中的物品进行排列，使得待检测目标图像的普适性更强。并且，使用匈牙利匹配算法作为匹配算法，由于匈牙利匹配算法是一种用增广路径求二分图最大匹配的算法，核心是寻找增广路径，所以使得匹配的结果更加准确。

需要说明的是，上述物品陈列检测装置中的模块以及单元在不影响逻辑的情况下，其顺序可以前后进行更改。

下面对本发明实施例提供的物品陈列检测设备进行介绍，下文描述的物品陈列检测设备与上文描述的物品陈列检测方法可相互对应参照。

请参考图6，图6为本发明实施例提供的物品陈列检测设备的结构示意图，可以包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序，以实现上述的物品陈列检测方法的步骤。

存储器10、处理器20、通信接口31均通过通信总线32完成相互间的通信。

在本发明实施例中，存储器10中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器10中可以存储有用于实现以下功能的程序：

获取待检测目标图像；

调用物品陈列检测模型对待检测目标图像进行处理，得到每个物品的位置信息；

调用物品特征识别模型对待检测目标图像进行处理，得到每个物品的特征信息；

利用标准陈列图像对应的标准陈列信息和标准物品特征库，对每个物品的位置信息和每个物品的特征信息进行匹配检测，得到物品陈列匹配结果。

在一种可能的实现方式中，存储器10可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。

此外，存储器10可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括NVR RAM。存储器存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可以包括各种系统程序，用于实现各种基础任务以及处理基于硬件的任务。

处理器20可以为中央处理器（Central Processing Unit，CPU）、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件，处理器20可以是微处理器或者也可以是任何常规的处理器等。处理器20可以调用存储器10中存储的程序。

通信接口31可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图6所示的结构并不构成对本申请实施例中物品陈列检测设备的限定，在实际应用中物品陈列检测设备可以包括比图6所示的更多或更少的部件，或者组合某些部件。

下面对本发明实施例提供的可读存储介质进行介绍，下文描述的可读存储介质与上文描述的物品陈列检测方法可相互对应参照。

本发明还提供一种可读存储介质，该可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的物品陈列检测方法的步骤。

该可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的一种物品陈列检测方法、装置、设备及可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种物品陈列检测方法，其特征在于，包括：

获取待检测目标图像；

2.根据权利要求1所述的物品陈列检测方法，其特征在于，所述调用物品特征识别模型对所述待检测目标图像进行处理，包括：

3.根据权利要求1所述的物品陈列检测方法，其特征在于，所述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，包括：

4.根据权利要求3所述的物品陈列检测方法，其特征在于，在所述根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之前，还包括：

5.根据权利要求3所述的物品陈列检测方法，其特征在于，在所述根据所述标准陈列图像对所述第一目标位置图像中的每个物品的位置进行尺度映射，得到经过尺度规范的第二目标位置图像之后，还包括：

6.根据权利要求3所述的物品陈列检测方法，其特征在于，所述调用位置匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测，包括：

调用匈牙利匹配算法，对所述第二目标位置图像和所述标准陈列信息中的标准位置信息进行匹配检测。

7.根据权利要求1所述的物品陈列检测方法，其特征在于，在所述利用标准陈列图像对应的标准陈列信息和标准物品特征库，对所述每个物品的位置信息和所述每个物品的特征信息进行匹配检测，得到物品陈列匹配结果之后，还包括：

8.一种物品陈列检测装置，其特征在于，包括：

待检测目标图像获取模块，用于获取待检测目标图像；

9.一种物品陈列设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的物品陈列检测方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的物品陈列检测方法的步骤。