CN114511820A - 货架商品检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术，提供了货架商品检测方法、装置、设备及介质，是先对监测区域图片基于多目标检测网络进行提取得到待处理货架区域图片，然后将其输入至去畸变网络进行去畸变处理得到矫正图片，之后将矫正图片基于目标检测网络进行货架商品逐层区域划分得到货架商品各层区域划分结果并且基于商品摆放信息进行划分得到划分后图片，最后将划分后图片基于分类网络进行分类得到分类结果集并与商品摆放信息比对后评分得到每一分类结果对应的商品摆放检测评分。实现了基于目标检测和去畸变网络处理，自动获取监控图片中货架的监测区域图片中所存在货架上具体的商品摆放信息并进行商品摆放检测评分，提高了货架商品摆放检测的效率和识别准确率。

Description

货架商品检测方法、装置、计算机设备及存储介质

技术领域

本发明涉图像处理技术领域，尤其涉及一种货架商品检测方法、装置、计算机设备及存储介质。

背景技术

目前，在连锁便利店销售领域，便利店管理人员为了更好的洞察市场，实现精细化运营，需要对货架进行细粒度管理，维持商品排面数，补充售空货物等。然而在实际处理中，通常要求便利店管理员通过人工巡查的方式及时发现货架存在的缺货和陈列不规范的情况。这种人工核查方式有很多缺点，不仅耗费大量人力成本，而且人工巡查的方式效率低下。

发明内容

本发明实施例提供了一种货架商品检测方法、装置、计算机设备及存储介质，旨在解决现有技术中商店货架上摆放的商品的巡查方式是人工巡查，人工巡查的方式不仅耗费大量人力成本，而且人工巡查的方式效率低下的问题。

第一方面，本发明实施例提供了一种货架商品检测方法，其包括：

接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域；

将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片；

将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片；

将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果；

将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域；

将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集；以及

将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

第二方面，本发明实施例提供了一种货架商品检测装置，其包括：

检测区域图片获取单元，用于接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域；

货架区域提取单元，用于将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片；

去畸变单元，用于将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片；

逐层划分单元，用于将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果；

划分单元，用于将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域；

分类单元，用于将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集；以及

分类结果评分单元，用于将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的货架商品检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的货架商品检测方法。

本发明实施例提供了一种货架商品检测方法、装置、计算机设备及存储介质，是先对监测区域图片基于多目标检测网络进行提取得到待处理货架区域图片，然后将其输入至去畸变网络进行去畸变处理得到矫正图片，之后将矫正图片基于目标检测网络进行货架商品逐层区域划分得到货架商品各层区域划分结果并且基于商品摆放信息进行划分得到划分后图片，最后将划分后图片基于分类网络进行分类得到分类结果集并与商品摆放信息比对后评分得到每一分类结果对应的商品摆放检测评分。实现了基于目标检测和去畸变网络处理，自动获取监控图片中货架的监测区域图片中所存在货架上具体的商品摆放信息并进行商品摆放检测评分，提高了货架商品摆放检测的效率和识别准确率。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的货架商品检测方法的应用场景示意图；

图2为本发明实施例提供的货架商品检测方法的流程示意图；

图3为本发明实施例提供的货架商品检测装置的示意性框图；

图4为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的货架商品检测方法的应用场景示意图；图2为本发明实施例提供的货架商品检测方法的流程示意图，该货架商品检测方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。

如图2所示，该方法包括步骤S101~S107。

S101、接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域。

在本实施例中，是以服务器为执行主体描述技术方案。图像采集端（具体如网络摄像头、云摄像头等）是在获得用户使用许可且不侵犯用户隐私的前提下部署在待监控室内空间（具体如便利店、超市等室内空间）内，每一图像采集端是至少对准一个货架进行监控视频采集。例如，本申请以一个10-30平米大小的便利店为例，在便利店的室内部署了至少一个图像采集端A，图像采集端A对准便利店室内的一个货架B，货架B具有多层摆放层，每一摆放层可以摆放不同种类的待售卖商品。图像采集端A可以实时采集货架B的监测区域图片，并按预设的上传周期（如上传周期设置为10秒）将监测区域图片上传至服务器。服务器则可以不断的接收图像采集端A上传的监测区域图片以分析各监测区域图片分别对应的时刻货架B上的商品摆放情况。这样，一旦有某一时刻确定了货架B上的存在商品缺货情况或者与预设的摆放分布信息不同时，则可以及时的对便利店的运营人员进行提示，通过自动巡检的方式取代人工巡查方式，提高了巡查效率。

其中，本申请中以图像采集端按预设的固定采集周期拍摄所对准货架照片为具体场景，更具体以其中图像采集端在某一时刻（该时刻以上一帧图片采集时间之间的时间间隔等于所述固定采集周期，且将固定采集周期设置为10s，具体实施时固定采集周期并不局限于设置为10s还可以根据用户的使用需求设置为其他数值）采集到的一帧监测区域图片来具体描述技术方案，此时所采集的监测区域图片是存储在服务器中预设的存储区域。图像采集端在其他时刻采集到的监测区域图片也是执行与该相同的处理步骤。

S102、将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片。

在本实施例中，当服务器获取到了监测区域图片后，可以基于服务器中已存储并预先完成训练的多目标检测网络对所述监测区域图片中的货架区域进行提取，从而实现对图片中货架区域的筛选和定位。由于将货架区域以外的区域进行删除，可以更集中于对货架区域内所包括的物品进行检测，提高了检测效率。

在一实施例中，步骤S102包括：

将所述监测区域图片进行归一化处理，得到归一化图片；

获取预先信息的多目标检测网络，将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到多个候选货架区域；

将所述监测区域图片中多个候选货架区域对应的区域进行提取，得到待处理货架区域图片。

在本实施例中，对所述监测区域图片进行归一化处理时，可以采用最大最小值归一化方法（其对应的公式为norm=（x-x_min）/（x_max -x_min），公式中的x表示待归一化参数，x_max表示与待归一化参数为同类参数的最大值，x_min与待归一化参数为同类参数的最小值），例如所述监测区域图片中某一像素点的RGB值为（r1，g1，b1），且在R通道的最大像素值为255、在R通道的最小像素值为0、在G通道的最大像素值为255、在G通道的最小像素值为0、在B通道的最大像素值为255、在B通道的最小像素值为0，则上述像素点的RGB值经过最大最小值归一化方法的归一化处理后，归一化RGB值为（（r1-0）/（255-0），（g1-0）/（255-0），（b1-0）/（255-0））也即（r1/255，g1/255，b1/255），将所述监测区域图片中各像素点进行归一化处理后，可以得到归一化图片。将图片进行归一化处理，可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，也即转换成唯一的标准形式以抵抗仿射变换。

在获取了归一化图片后，可以基于服务器中已存储并预先完成训练的多目标检测网络对所述归一化图片进行货架这一目标的定位。具体实施时，所述多目标检测网络可以采用YOLOv5检测模型，其中YOLOv5是YOLO这一对象检测算法的v5版本。通过YOLOv5检测模型可以识别出所述归一化图片中货架的外围轮廓边框，还可以识别出所述归一化图片中货架上所放置商品的边框，但是此时的主要识别对象是货架而不是商品。基于YOLOv5检测模型可以识别图片中存在物品或人的区域，且针对每一个识别到的区域会给出分类结果及该分类结果对应概率值的识别结果展示。这样预先设置一个概率值阈值（如0.5）后，一旦有区域的识别结果为货架且货架这一分类结果对应的概率值大于所述概率阈值，则该区域对应为货架所处的区域。最终，将所述监测区域图片中若干个候选货架区域对应的区域进行提取，同时删除若干个候选货架区域以外的图片内容（具体是将若干个候选货架区域以外的像素点处理成黑色像素点），得到待处理货架区域图片。可见，通过多目标检测网络可以快速识别出货架区域，之后将货架区域内的图片内容进行裁剪和保存即可。

在一实施例中，所述将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到若干个候选货架区域，包括：

获取预设的第一概率阈值；

将所述归一化图片基于所述多目标检测网络进行目标检测，得到多个识别框；其中，每一识别框对应识别分类结果和分类概率值；

若确定有识别框对应的识别分类结果为货架且对应的分类概率值大于所述第一概率阈值，获取对应的识别框以得到若干个候选货架区域。

在本实施例中，所采用的YOLOv5检测模型这一多目标检测网络，其主要包括卷积层，目标检测层，NMS筛选层（NMS表示非极大值抑制，YOLOv5检测模型可以对所述归一化图片进行卷积、池化、目标检测、筛选等处理后，得到多个边框（即bounding box，此时每一边框的四个顶点坐标是已知的）以及每个边框所属类别（边框所属类别除了具有识别分类结果，还有该识别分类结果对应的分类概率值）。例如所述归一化图片输入至所述多目标检测网络后，得到识别分类结果为货架的识别框有1个，识别分类结果为人的识别框有1个，且识别分类结果为货架的识别框对应的分类概率值为0.8，0.8是大于预设的第一概率阈值（如将第一概率阈值设置为0.5），故可以判定识别分类结果为货架的识别框对应的是货架区域。

S103、将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片。

在本实施例中，当将监测区域图片提取货架对应区域得到了待处理货架区域图片后，可以对待处理货架区域图片进行去畸变处理，得到矫正图片。在对待处理货架区域图片进行去畸变处理时，具体采用的是去畸变网络。

在一实施例中，所述去畸变网络为包含Encoder-Decoder结构的卷积神经网络。

在本实施例中，具体采用的去畸变网络是一个包含Encoder-Decoder结构的卷积神经网络（其中，Encoder-Decoder结构表示编码-解码结构，例如CNN-RNN就是一种具有编码-解码结构且具体包括循环神经网络和卷积神经网络的模型），其中Encoder结构（即编码结构）用于抽取图像特征，Decoder结构（即解码结构）将得到的图像特征生成畸变矩阵。去畸变网络中除了Encoder-Decoder结构的卷积神经网络这一分支外，另一个分支网络则用于根据所得到的图像特征得到矩阵畸变类型，其中畸变矩阵和畸变类型表明了畸变图像中的像素相对于未畸变图像经过了何种位移。可见，通过对图片进行去畸变处理可得到一个近似去畸变的图像，图像中的镜头畸变以及近大远小的透视变换都可以消除。

在一实施例中，步骤S103包括：

将所述待处理货架区域图片进行归一化处理，得到归一化货架区域图片；

将所述归一化货架区域图片输入至所述去畸变网络进行处理，得到畸变矩阵；

将所述畸变矩阵进行逆变换，得到逆变换矩阵；

将所述待处理货架区域图片基于所述逆变换矩阵进行相乘处理，得到矫正图片。

其中，通过图像采集端采集到的监测区域图片时，图像采集端一般部署在室内天花板处某一角落，货架摆放和拍摄角度无法保证平行，会出现近大远小情况，还有可能存在货架倾斜的现象。而图像采集端一般是广角摄像头，拍摄的图像有较明显畸变。若未对待处理货架区域图片进行去畸变处理就直接基于深度神经网络目标检测算法进行检测，则只能检测商品位置。并且当图像中物体过小时，也会出现检测不准确的情况。故本申请中，会对所述待处理货架区域图片进行去畸变处理。

在本实施例中，对所述待处理货架区域图片进行去畸变处理时，也是要先将所述待处理货架区域图片进行归一化处理，得到归一化货架区域图片，且该具体过程可以参考将所述监测区域图片进行归一化处理得到归一化图片的过程（即也是采用最大最小值归一化方法）。当得到了归一化货架区域图片后，可以将归一化货架区域图片对应的图片矩阵输入至所述去畸变网络中的Encoder-Decoder结构进行处理，得到畸变矩阵。之后将所述畸变矩阵进行逆变换（逆变换是指将象点变为原象点的点变换），得到逆变换矩阵。最后将所述待处理货架区域图片对应的矩阵与所述逆变换矩阵相乘即可得到矫正图片，且此过程中将逆变换作用于所述待处理货架区域图片这一原图，即可得到一个近似去畸变的图像，图像中的镜头畸变以及近大远小的透视变换都可以消除。

本申请采用的基于去畸变网络的处理，与传统镜头畸变校正方法需要让摄像机拍摄多张标定板图像后进行计算得出相机内参矩阵相比，无需进行相机内参矩阵的标定获取，提高了处理效率。而且基于去畸变网络的处理与传统的图像透视变换矫正方法相比，无需先识别图像中的关键特征点或者相关直线，同样提高了图像处理效率。

S104、将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果。

在本实施例中，将经过去畸变处理得到的矫正图片输入至所述目标检测网络时，可以更加精细化的检测货架区域中每一层各自对应的区域。此时采用的目标检测网络具体可用以DarkNet（DarkNet是一个用 C 语言和 CUDA 语言编写的神经网络框架，其特点是快速、易于安装，并支持 CPU 和 GPU 计算）为主干网络的Single shot目标检测网络，其中Single shot目标检测网络的全称是Single Shot MultiBox Detector。Single shot目标检测网络的主要原理是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用卷积神经网络提取特征后直接进行分类与回归。这与之前采用的YOLOv5检测模型这一多目标检测网络具体网络结构不相同，但是两者实现的目的是相似的，且此时基于Single shot目标检测网络可检测出矫正图片中每一层各自对应的区域（此时还无需检测每一层各自摆放了哪些商品），从而实现了对货架区域更细粒度的精细划分。

在一实施例中，步骤S104包括：

获取预设的第二概率阈值；

将所述矫正图片基于所述目标检测网络进行目标检测，得到多个货架区域识别框；其中，每一货架区域识别框对应一个识别分类概率值；

若确定有货架区域识别框对应的识别分类概率值大于所述第二概率阈值，获取对应的货架区域识别框以组成货架商品各层区域划分结果。

在本实施例中，基于所述目标检测网络对所述矫正图片进行目标检测后，得到了多个货架区域识别框（货架区域识别框本质上也是边框，边框用bounding box表示，此时每一边框的四个顶点坐标是已知的），以及每一货架区域识别框对应的识别分类概率值。例如矫正图片基于所述目标检测网络进行目标检测，得到了4个货架区域识别框，按从下至上的顺序依次记为货架区域识别框1、货架区域识别框2、货架区域识别框3及货架区域识别框4，且货架区域识别框1对应的识别分类概率值为0.8、货架区域识别框2对应的识别分类概率值为0.75、货架区域识别框3对应的识别分类概率值为0.7、货架区域识别框4对应的识别分类概率值为0.8，若将预设的第二概率阈值具体设置为0.5（具体实施时第二概率阈值不局限于设置为0.5，可以根据用户所需检测准确率需求对应调整第二概率阈值），上述4个货架区域识别框分别对应的识别分类概率值均是大于第二概率阈值，故可以判定4个货架区域识别框对应了货架区域的4层。最后，由货架区域识别框1、货架区域识别框2、货架区域识别框3及货架区域识别框4以组成货架商品各层区域划分结果。其中，货架商品各层区域划分结果在本质上仍是图片，只是在该图片中增加了货架区域识别框及识别分类概率值这些属性数据。可见，基于目标检测网络可以实现货架每层区域范围的精准检测。

S105、将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域。

在本实施例中，当基于所述货架商品各层区域划分结果获知了货架对应的多层区域后，还需要进一步将每一层区域根据预设的商品摆放信息进行划分。例如预设的商品摆放信息对应一张预先划分了每一层货架区域具体摆放若干种商品的货架商品摆放示意图片（货架商品摆放示意图片的图片尺寸最佳是与所述货架商品各层区域划分结果对应的图片尺寸相同），每一种商品在货架的哪一层的哪一具体区域放置在该货架商品摆放示意图片是预先划分标注好的，也就是每一商品分布区域对应的坐标范围是已知的，这样可以将商品摆放信息中各商品分布区域对应的商品名称及坐标范围均迁移至所述货架商品各层区域划分结果上，也即参考商品摆放信息中各商品分布区域对应的商品名称及坐标范围对所述货架商品各层区域划分结果进行相同的商品区域划分，从而得到划分后图片。

例如，所述划分后图片对应的货架区域识别框1中从左至右依次摆放商品1、商品2和商品3，货架区域识别框2中从左至右依次摆放商品4、商品5和商品6，货架区域识别框3中从左至右依次摆放商品7、商品8和商品9，货架区域识别框4中从左至右依次摆放商品10、商品11和商品12，上述12个商品每一个商品对应一个商品分布区域（例如商品分布区域一般对应一个矩形框，这一矩形框的4个顶点坐标是已知的）。当完成了对这些商品分布区域的划分后，即可进一步对每一商品分布区域实际摆放商品进行识别，从而进一步确定每一商品分布区域是否摆放有相应要求摆放的商品。而且整个过程是基于图像识别实现，无需人工巡查。

S106、将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集。

在本实施例中，对所述划分后图片中每一商品分布区域具体进行目标检测时可以基于分类网络进行，更具体分类网络可以采用VGG Net、ResNet等图像分类网络对每一商品分布区域具体摆放商品的种类进行检测和分类，最终得到所述划分后图片中每一商品分布区域分别对应的分类结果及各分类结果相应的概率值（一般分类结果相应的概率值大于或等于预设的第三概率阈值如0.5则可判定该分类结果不是空，分类结果相应的概率值小于所述第三概率阈值则将该分类结果默认以[空，1]代替），从而组成分类结果集。可见，通过对已划分区域的划分后图片中各商品分布区域分别进行识别分类，能更加高效和准确的得到各各商品分布区域的分类结果。

例如，继续参考上述示例，此时以货架区域识别框1这一层货架为例，识别到商品1对应的商品分布区域1中实际分类结果为商品1（且对应概率值为0.8），商品2对应的商品分布区域2中实际分类结果为商品2’（且对应概率值为0.6），商品3对应的商品分布区域3中实际分类结果为商品3（且对应概率值为0.7）。这样，货架区域识别框1这一层货架对应的子分类结果集为{[商品1，0.8]，[商品2’，0.6]，[商品3，0.7]}。货架中其他成的子分类结果集也是参照货架区域识别框1这一层货架的获取方式来获取，最终由货架中每一层货架的子分类结果集按照货架层数从小到大的顺序串接（例如按照货架区域识别框1对应的子分类结果集、货架区域识别框2对应的子分类结果集、货架区域识别框3对应的子分类结果集及货架区域识别框4对应的子分类结果集这一顺序将每一层货架的子分类结果集串接），即可得到分类结果集。

S107、将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

在本实施例中，在服务器中得到了分类结果集后，例如继续参考上述示例，所得到的分类结果集是{[商品1，0.8]，[商品2’，0.6]，[商品3，0.7]，[商品4，0.4]，[商品5’，0.7]，[空，1]，[商品7，0.8]，[商品8，0.9]，[商品9，0.5]，[商品10，0.7]，[商品11，0.7]，[商品12，0.7]}，而所述商品摆放信息对应的商品分布信息是{商品1，商品2，商品3，商品4，商品5，商品6，商品7，商品8，商品9，商品10，商品11，商品12}。基于所述商品摆放信息对应的商品分布信息对所述分类结果集中每一分类结果进行评分时，具体是判断每一分类结果与相应的商品分布区域中实际应摆放的商品是否一致；例如分类结果[商品1，0.8]对应的商品分布区域实际应摆放商品1且此时实际分类结果也是商品1，故分类结果[商品1，0.8]对应的商品摆放检测子评分为1；分类结果[商品2’，0.6]对应的商品分布区域实际应摆放商品2且此时实际分类结果是商品2’，故分类结果[商品2’，0.6]对应的商品摆放检测子评分为0；分类结果[空，1]对应的商品分布区域实际应摆放商品6且此时实际分类结果是未摆放任何商品（即为空区域），故分类结果[空，1]对应的商品摆放检测子评分为0；依次类推，当依序得到了每一分类结果对应的商品摆放检测子评分后，即可作为每一分类结果对应的商品摆放检测评分。可见，基于这一方式，可以快速检测每一商品分布区域是否按预设要求摆放了相应商品。

在一实施例中，步骤S107之后还包括：

根据所述商品摆放检测评分生成对应的提醒消息，将所提醒消息发送至相应的接收端。

在本实施例中，当在服务器中获取到了每一分类结果对应的商品摆放检测评分后，可以基于商品摆放检测评分和商品摆放检测评分对应的评分获取时间生成提醒消息，之后将所提醒消息发送至相应的接收端以提示用户进行及时的商品重新摆放或补货。

该方法实现了基于目标检测和去畸变网络处理，自动获取监控图片中货架的监测区域图片中所存在货架上具体的商品摆放信息并进行商品摆放检测评分，提高了货架商品摆放检测的效率和识别准确率。

本发明实施例还提供一种货架商品检测装置，该货架商品检测装置用于执行前述货架商品检测方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的货架商品检测装置100的示意性框图。

其中，如图3所示，货架商品检测装置100包括检测区域图片获取单元101、货架区域提取单元102、去畸变单元103、逐层划分单元104、划分单元105、分类单元106和分类结果评分单元107。

检测区域图片获取单元101，用于接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域。

在本实施例中，是以服务器为执行主体描述技术方案。图像采集端（具体如网络摄像头、云摄像头等）是在获得用户使用许可且不侵犯用户隐私的前提下部署在待监控室内空间（具体如便利店、超市等室内空间）内，每一图像采集端是至少对准一个货架进行监控视频采集。例如，本申请以一个10-30平米大小的便利店为例，在便利店的室内部署了至少一个图像采集端A，图像采集端A对准便利店室内的一个货架B，货架B具有多层摆放层，每一摆放层可以摆放不同种类的待售卖商品。图像采集端A可以实时采集货架B的监测区域图片，并按预设的上传周期（如上传周期设置为10秒）将监测区域图片上传至服务器。服务器则可以不断的接收图像采集端A上传的监测区域图片以分析各监测区域图片分别对应的时刻货架B上的商品摆放情况。这样，一旦有某一时刻确定了货架B上的存在商品缺货情况或者与预设的摆放分布信息不同时，则可以及时的对便利店的运营人员进行提示，通过自动巡检的方式取代人工巡查方式，提高了巡查效率。

其中，本申请中以图像采集端按预设的固定采集周期拍摄所对准货架照片为具体场景，更具体以其中图像采集端在某一时刻（该时刻以上一帧图片采集时间之间的时间间隔等于所述固定采集周期，且将固定采集周期设置为10s，具体实施时固定采集周期并不局限于设置为10s还可以根据用户的使用需求设置为其他数值）采集到的一帧监测区域图片来具体描述技术方案，此时所采集的监测区域图片是存储在服务器中预设的存储区域。图像采集端在其他时刻采集到的监测区域图片也是执行与该相同的处理步骤。

货架区域提取单元102，用于将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片。

在本实施例中，当服务器获取到了监测区域图片后，可以基于服务器中已存储并预先完成训练的多目标检测网络对所述监测区域图片中的货架区域进行提取，从而实现对图片中货架区域的筛选和定位。由于将货架区域以外的区域进行删除，可以更集中于对货架区域内所包括的物品进行检测，提高了检测效率。

在一实施例中，货架区域提取单元102具体用于：

将所述监测区域图片进行归一化处理，得到归一化图片；

获取预先信息的多目标检测网络，将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到多个候选货架区域；

将所述监测区域图片中多个候选货架区域对应的区域进行提取，得到待处理货架区域图片。

在本实施例中，对所述监测区域图片进行归一化处理时，可以采用最大最小值归一化方法（其对应的公式为norm=（x-x_min）/（x_max -x_min），公式中的x表示待归一化参数，x_max表示与待归一化参数为同类参数的最大值，x_min与待归一化参数为同类参数的最小值），例如所述监测区域图片中某一像素点的RGB值为（r1，g1，b1），且在R通道的最大像素值为255、在R通道的最小像素值为0、在G通道的最大像素值为255、在G通道的最小像素值为0、在B通道的最大像素值为255、在B通道的最小像素值为0，则上述像素点的RGB值经过最大最小值归一化方法的归一化处理后，归一化RGB值为（（r1-0）/（255-0），（g1-0）/（255-0），（b1-0）/（255-0））也即（r1/255，g1/255，b1/255），将所述监测区域图片中各像素点进行归一化处理后，可以得到归一化图片。将图片进行归一化处理，可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，也即转换成唯一的标准形式以抵抗仿射变换。

在获取了归一化图片后，可以基于服务器中已存储并预先完成训练的多目标检测网络对所述归一化图片进行货架这一目标的定位。具体实施时，所述多目标检测网络可以采用YOLOv5检测模型，其中YOLOv5是YOLO这一对象检测算法的v5版本。通过YOLOv5检测模型可以识别出所述归一化图片中货架的外围轮廓边框，还可以识别出所述归一化图片中货架上所放置商品的边框，但是此时的主要识别对象是货架而不是商品。基于YOLOv5检测模型可以识别图片中存在物品或人的区域，且针对每一个识别到的区域会给出分类结果及该分类结果对应概率值的识别结果展示。这样预先设置一个概率值阈值（如0.5）后，一旦有区域的识别结果为货架且货架这一分类结果对应的概率值大于所述概率阈值，则该区域对应为货架所处的区域。最终，将所述监测区域图片中若干个候选货架区域对应的区域进行提取，同时删除若干个候选货架区域以外的图片内容（具体是将若干个候选货架区域以外的像素点处理成黑色像素点），得到待处理货架区域图片。可见，通过多目标检测网络可以快速识别出货架区域，之后将货架区域内的图片内容进行裁剪和保存即可。

在一实施例中，所述将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到若干个候选货架区域，包括：

获取预设的第一概率阈值；

将所述归一化图片基于所述多目标检测网络进行目标检测，得到多个识别框；其中，每一识别框对应识别分类结果和分类概率值；

若确定有识别框对应的识别分类结果为货架且对应的分类概率值大于所述第一概率阈值，获取对应的识别框以得到若干个候选货架区域。

在本实施例中，所采用的YOLOv5检测模型这一多目标检测网络，其主要包括卷积层，目标检测层，NMS筛选层（NMS表示非极大值抑制，YOLOv5检测模型可以对所述归一化图片进行卷积、池化、目标检测、筛选等处理后，得到多个边框（即bounding box，此时每一边框的四个顶点坐标是已知的）以及每个边框所属类别（边框所属类别除了具有识别分类结果，还有该识别分类结果对应的分类概率值）。例如所述归一化图片输入至所述多目标检测网络后，得到识别分类结果为货架的识别框有1个，识别分类结果为人的识别框有1个，且识别分类结果为货架的识别框对应的分类概率值为0.8，0.8是大于预设的第一概率阈值（如将第一概率阈值设置为0.5），故可以判定识别分类结果为货架的识别框对应的是货架区域。

去畸变单元103，用于将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片。

在本实施例中，当将监测区域图片提取货架对应区域得到了待处理货架区域图片后，可以对待处理货架区域图片进行去畸变处理，得到矫正图片。在对待处理货架区域图片进行去畸变处理时，具体采用的是去畸变网络。

在一实施例中，所述去畸变网络为包含Encoder-Decoder结构的卷积神经网络。

在本实施例中，具体采用的去畸变网络是一个包含Encoder-Decoder结构的卷积神经网络（其中，Encoder-Decoder结构表示编码-解码结构，例如CNN-RNN就是一种具有编码-解码结构且具体包括循环神经网络和卷积神经网络的模型），其中Encoder结构（即编码结构）用于抽取图像特征，Decoder结构（即解码结构）将得到的图像特征生成畸变矩阵。去畸变网络中除了Encoder-Decoder结构的卷积神经网络这一分支外，另一个分支网络则用于根据所得到的图像特征得到矩阵畸变类型，其中畸变矩阵和畸变类型表明了畸变图像中的像素相对于未畸变图像经过了何种位移。可见，通过对图片进行去畸变处理可得到一个近似去畸变的图像，图像中的镜头畸变以及近大远小的透视变换都可以消除。

在一实施例中，去畸变单元103具体用于：

将所述待处理货架区域图片进行归一化处理，得到归一化货架区域图片；

将所述归一化货架区域图片输入至所述去畸变网络进行处理，得到畸变矩阵；

将所述畸变矩阵进行逆变换，得到逆变换矩阵；

将所述待处理货架区域图片基于所述逆变换矩阵进行相乘处理，得到矫正图片。

其中，通过图像采集端采集到的监测区域图片时，图像采集端一般部署在室内天花板处某一角落，货架摆放和拍摄角度无法保证平行，会出现近大远小情况，还有可能存在货架倾斜的现象。而图像采集端一般是广角摄像头，拍摄的图像有较明显畸变。若未对待处理货架区域图片进行去畸变处理就直接基于深度神经网络目标检测算法进行检测，则只能检测商品位置。并且当图像中物体过小时，也会出现检测不准确的情况。故本申请中，会对所述待处理货架区域图片进行去畸变处理。

在本实施例中，对所述待处理货架区域图片进行去畸变处理时，也是要先将所述待处理货架区域图片进行归一化处理，得到归一化货架区域图片，且该具体过程可以参考将所述监测区域图片进行归一化处理得到归一化图片的过程（即也是采用最大最小值归一化方法）。当得到了归一化货架区域图片后，可以将归一化货架区域图片对应的图片矩阵输入至所述去畸变网络中的Encoder-Decoder结构进行处理，得到畸变矩阵。之后将所述畸变矩阵进行逆变换（逆变换是指将象点变为原象点的点变换），得到逆变换矩阵。最后将所述待处理货架区域图片对应的矩阵与所述逆变换矩阵相乘即可得到矫正图片，且此过程中将逆变换作用于所述待处理货架区域图片这一原图，即可得到一个近似去畸变的图像，图像中的镜头畸变以及近大远小的透视变换都可以消除。

本申请采用的基于去畸变网络的处理，与传统镜头畸变校正方法需要让摄像机拍摄多张标定板图像后进行计算得出相机内参矩阵相比，无需进行相机内参矩阵的标定获取，提高了处理效率。而且基于去畸变网络的处理与传统的图像透视变换矫正方法相比，无需先识别图像中的关键特征点或者相关直线，同样提高了图像处理效率。

逐层划分单元104，用于将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果。

在本实施例中，将经过去畸变处理得到的矫正图片输入至所述目标检测网络时，可以更加精细化的检测货架区域中每一层各自对应的区域。此时采用的目标检测网络具体可用以DarkNet（DarkNet是一个用 C 语言和 CUDA 语言编写的神经网络框架，其特点是快速、易于安装，并支持 CPU 和 GPU 计算）为主干网络的Single shot目标检测网络，其中Single shot目标检测网络的全称是Single Shot MultiBox Detector。Single shot目标检测网络的主要原理是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用卷积神经网络提取特征后直接进行分类与回归。这与之前采用的YOLOv5检测模型这一多目标检测网络具体网络结构不相同，但是两者实现的目的是相似的，且此时基于Single shot目标检测网络可检测出矫正图片中每一层各自对应的区域（此时还无需检测每一层各自摆放了哪些商品），从而实现了对货架区域更细粒度的精细划分。

在一实施例中，逐层划分单元104具体用于：

获取预设的第二概率阈值；

将所述矫正图片基于所述目标检测网络进行目标检测，得到多个货架区域识别框；其中，每一货架区域识别框对应一个识别分类概率值；

若确定有货架区域识别框对应的识别分类概率值大于所述第二概率阈值，获取对应的货架区域识别框以组成货架商品各层区域划分结果。

在本实施例中，基于所述目标检测网络对所述矫正图片进行目标检测后，得到了多个货架区域识别框（货架区域识别框本质上也是边框，边框用bounding box表示，此时每一边框的四个顶点坐标是已知的），以及每一货架区域识别框对应的识别分类概率值。例如矫正图片基于所述目标检测网络进行目标检测，得到了4个货架区域识别框，按从下至上的顺序依次记为货架区域识别框1、货架区域识别框2、货架区域识别框3及货架区域识别框4，且货架区域识别框1对应的识别分类概率值为0.8、货架区域识别框2对应的识别分类概率值为0.75、货架区域识别框3对应的识别分类概率值为0.7、货架区域识别框4对应的识别分类概率值为0.8，若将预设的第二概率阈值具体设置为0.5（具体实施时第二概率阈值不局限于设置为0.5，可以根据用户所需检测准确率需求对应调整第二概率阈值），上述4个货架区域识别框分别对应的识别分类概率值均是大于第二概率阈值，故可以判定4个货架区域识别框对应了货架区域的4层。最后，由货架区域识别框1、货架区域识别框2、货架区域识别框3及货架区域识别框4以组成货架商品各层区域划分结果。其中，货架商品各层区域划分结果在本质上仍是图片，只是在该图片中增加了货架区域识别框及识别分类概率值这些属性数据。可见，基于目标检测网络可以实现货架每层区域范围的精准检测。

划分单元105，用于将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域。

在本实施例中，当基于所述货架商品各层区域划分结果获知了货架对应的多层区域后，还需要进一步将每一层区域根据预设的商品摆放信息进行划分。例如预设的商品摆放信息对应一张预先划分了每一层货架区域具体摆放若干种商品的货架商品摆放示意图片（货架商品摆放示意图片的图片尺寸最佳是与所述货架商品各层区域划分结果对应的图片尺寸相同），每一种商品在货架的哪一层的哪一具体区域放置在该货架商品摆放示意图片是预先划分标注好的，也就是每一商品分布区域对应的坐标范围是已知的，这样可以将商品摆放信息中各商品分布区域对应的商品名称及坐标范围均迁移至所述货架商品各层区域划分结果上，也即参考商品摆放信息中各商品分布区域对应的商品名称及坐标范围对所述货架商品各层区域划分结果进行相同的商品区域划分，从而得到划分后图片。

例如，所述划分后图片对应的货架区域识别框1中从左至右依次摆放商品1、商品2和商品3，货架区域识别框2中从左至右依次摆放商品4、商品5和商品6，货架区域识别框3中从左至右依次摆放商品7、商品8和商品9，货架区域识别框4中从左至右依次摆放商品10、商品11和商品12，上述12个商品每一个商品对应一个商品分布区域（例如商品分布区域一般对应一个矩形框，这一矩形框的4个顶点坐标是已知的）。当完成了对这些商品分布区域的划分后，即可进一步对每一商品分布区域实际摆放商品进行识别，从而进一步确定每一商品分布区域是否摆放有相应要求摆放的商品。而且整个过程是基于图像识别实现，无需人工巡查。

划分单元105，用于将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集。

在本实施例中，对所述划分后图片中每一商品分布区域具体进行目标检测时可以基于分类网络进行，更具体分类网络可以采用VGG Net、ResNet等图像分类网络对每一商品分布区域具体摆放商品的种类进行检测和分类，最终得到所述划分后图片中每一商品分布区域分别对应的分类结果及各分类结果相应的概率值（一般分类结果相应的概率值大于或等于预设的第三概率阈值如0.5则可判定该分类结果不是空，分类结果相应的概率值小于所述第三概率阈值则将该分类结果默认以[空，1]代替），从而组成分类结果集。可见，通过对已划分区域的划分后图片中各商品分布区域分别进行识别分类，能更加高效和准确的得到各各商品分布区域的分类结果。

例如，继续参考上述示例，此时以货架区域识别框1这一层货架为例，识别到商品1对应的商品分布区域1中实际分类结果为商品1（且对应概率值为0.8），商品2对应的商品分布区域2中实际分类结果为商品2’（且对应概率值为0.6），商品3对应的商品分布区域3中实际分类结果为商品3（且对应概率值为0.7）。这样，货架区域识别框1这一层货架对应的子分类结果集为{[商品1，0.8]，[商品2’，0.6]，[商品3，0.7]}。货架中其他成的子分类结果集也是参照货架区域识别框1这一层货架的获取方式来获取，最终由货架中每一层货架的子分类结果集按照货架层数从小到大的顺序串接（例如按照货架区域识别框1对应的子分类结果集、货架区域识别框2对应的子分类结果集、货架区域识别框3对应的子分类结果集及货架区域识别框4对应的子分类结果集这一顺序将每一层货架的子分类结果集串接），即可得到分类结果集。

分类结果评分单元107，用于将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

在本实施例中，在服务器中得到了分类结果集后，例如继续参考上述示例，所得到的分类结果集是{[商品1，0.8]，[商品2’，0.6]，[商品3，0.7]，[商品4，0.4]，[商品5’，0.7]，[空，1]，[商品7，0.8]，[商品8，0.9]，[商品9，0.5]，[商品10，0.7]，[商品11，0.7]，[商品12，0.7]}，而所述商品摆放信息对应的商品分布信息是{商品1，商品2，商品3，商品4，商品5，商品6，商品7，商品8，商品9，商品10，商品11，商品12}。基于所述商品摆放信息对应的商品分布信息对所述分类结果集中每一分类结果进行评分时，具体是判断每一分类结果与相应的商品分布区域中实际应摆放的商品是否一致；例如分类结果[商品1，0.8]对应的商品分布区域实际应摆放商品1且此时实际分类结果也是商品1，故分类结果[商品1，0.8]对应的商品摆放检测子评分为1；分类结果[商品2’，0.6]对应的商品分布区域实际应摆放商品2且此时实际分类结果是商品2’，故分类结果[商品2’，0.6]对应的商品摆放检测子评分为0；分类结果[空，1]对应的商品分布区域实际应摆放商品6且此时实际分类结果是未摆放任何商品（即为空区域），故分类结果[空，1]对应的商品摆放检测子评分为0；依次类推，当依序得到了每一分类结果对应的商品摆放检测子评分后，即可作为每一分类结果对应的商品摆放检测评分。可见，基于这一方式，可以快速检测每一商品分布区域是否按预设要求摆放了相应商品。

在一实施例中，货架商品检测装置100还包括：

提醒消息发送单元，用于根据所述商品摆放检测评分生成对应的提醒消息，将所提醒消息发送至相应的接收端。

在本实施例中，当在服务器中获取到了每一分类结果对应的商品摆放检测评分后，可以基于商品摆放检测评分和商品摆放检测评分对应的评分获取时间生成提醒消息，之后将所提醒消息发送至相应的接收端以提示用户进行及时的商品重新摆放或补货。

该装置实现了基于目标检测和去畸变网络处理，自动获取监控图片中货架的监测区域图片中所存在货架上具体的商品摆放信息并进行商品摆放检测评分，提高了货架商品摆放检测的效率和识别准确率。

上述货架商品检测装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。

请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，也可以是服务器集群。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参阅图4，该计算机设备500包括通过装置总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。

该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行货架商品检测方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行货架商品检测方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的货架商品检测方法。

本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的货架商品检测方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，后台服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种货架商品检测方法，其特征在于，包括：

接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域；

将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片；

将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片；

将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果；

将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域；

将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集；以及

将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

2.根据权利要求1所述的货架商品检测方法，其特征在于，所述将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片，包括：

将所述监测区域图片进行归一化处理，得到归一化图片；

获取预先信息的多目标检测网络，将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到若干个候选货架区域；

将所述监测区域图片中若干个候选货架区域对应的区域进行提取，得到待处理货架区域图片。

3.根据权利要求2所述的货架商品检测方法，其特征在于，所述将所述归一化图片输入至所述多目标检测网络进行货架区域提取，得到若干个候选货架区域，包括：

获取预设的第一概率阈值；

将所述归一化图片基于所述多目标检测网络进行目标检测，得到多个识别框；其中，每一识别框对应识别分类结果和分类概率值；

若确定有识别框对应的识别分类结果为货架且对应的分类概率值大于所述第一概率阈值，获取对应的识别框以得到若干个候选货架区域。

4.根据权利要求1所述的货架商品检测方法，其特征在于，所述将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片，包括：

将所述待处理货架区域图片进行归一化处理，得到归一化货架区域图片；

将所述归一化货架区域图片输入至所述去畸变网络进行处理，得到畸变矩阵；

将所述畸变矩阵进行逆变换，得到逆变换矩阵；

将所述待处理货架区域图片基于所述逆变换矩阵进行相乘处理，得到矫正图片。

5.根据权利要求4所述的货架商品检测方法，其特征在于，所述去畸变网络为包含Encoder-Decoder结构的卷积神经网络。

6.根据权利要求1所述的货架商品检测方法，其特征在于，所述目标检测网络是以DarkNet为主干网络的Single shot目标检测网络；

所述将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果，包括：

获取预设的第二概率阈值；

将所述矫正图片基于所述目标检测网络进行目标检测，得到多个货架区域识别框；其中，每一货架区域识别框对应一个识别分类概率值；

若确定有货架区域识别框对应的识别分类概率值大于所述第二概率阈值，获取对应的货架区域识别框以组成货架商品各层区域划分结果。

7.根据权利要求1所述的货架商品检测方法，其特征在于，所述将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分之后，还包括：

根据所述商品摆放检测评分生成对应的提醒消息，将所提醒消息发送至相应的接收端。

8.一种货架商品检测装置，其特征在于，包括：

检测区域图片获取单元，用于接收图像采集端上传的监测区域图片，将所述监测区域图片存储至预设的存储区域；

货架区域提取单元，用于将所述监测区域图片中的货架区域基于预先训练的多目标检测网络进行提取，得到待处理货架区域图片；

去畸变单元，用于将所述待处理货架区域图片输入至预先训练的去畸变网络进行去畸变处理，得到矫正图片；

逐层划分单元，用于将所述矫正图片基于预先训练的目标检测网络进行货架商品逐层区域划分，得到货架商品各层区域划分结果；

划分单元，用于将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划分，得到划分后图片；其中，所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应的第二货架总层数相等，且所述划分后图片中每一层货架商品区域包括若干个商品划分子区域；

分类单元，用于将所述划分后图片基于预先训练的分类网络进行分类得到分类结果集；以及

分类结果评分单元，用于将所述分类结果集中每一分类结果基于所述商品摆放信息进行分类结果评分，得到每一分类结果对应的商品摆放检测评分。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的货架商品检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的货架商品检测方法。

Images