CN110705424A - 一种商品陈列位置的定位方法、装置及存储介质 - Google Patents
一种商品陈列位置的定位方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110705424A CN110705424A CN201910912524.0A CN201910912524A CN110705424A CN 110705424 A CN110705424 A CN 110705424A CN 201910912524 A CN201910912524 A CN 201910912524A CN 110705424 A CN110705424 A CN 110705424A
- Authority
- CN
- China
- Prior art keywords
- commodity
- level
- commodities
- distance
- hierarchy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 3
- 235000013361 beverage Nutrition 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 235000012149 noodles Nutrition 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical group [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 235000008446 instant noodles Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种商品陈列位置的定位方法、装置及存储介质，所述方法包括获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；根据各所述商品的位置信息，通过以下步骤识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置。通过实施本发明实施例能够通过陈列图像自动对商品陈列位置进行定位。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种商品摆放位置的定位方法。
背景技术
在商品销售的过程中，商品在货架、冰箱、堆头以及货柜中陈列位置与商品的销售量有一定的联系，处于“黄金位置”的商品往往会比较容易被卖出，例如货架上的第一、第二层摆放的商品，往往比最后一层摆放的商品，更容易被销售出去。因此消费品厂商需要实时监控他们的产品陈列位置和销售情况，以便根据实际销售量，对商品的陈列位置进行调整。在传统的巡店方式里面，业务员通常要用手动的方式去数货架的产品位置和销量情况，然后进行数据统计，操作繁琐。
发明内容
本发明实施例提供一种商品摆放位置的定位方法、装置以及存储介质，能通过陈列图像自动对商品陈列位置进行定位。
本发明一实施例提供一种商品陈列位置的定位方法，包括：获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；
通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；
根据各所述商品的位置信息，通过以下步骤识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置：
步骤S1:根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标；
步骤S2:逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置；
步骤S3:剔除已确定层级及具体位置的各商品的位置信息数据；
步骤S4:重复执行步骤S1、步骤S2及步骤S3、逐一将剩余的各商品分入下一层级中，并对位于同一层级中的商品进行排序，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
进一步的，还包括通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。
进一步的，在所述步骤S4执行完毕后，还包括：
计算每一层级中商品的数量，以及每一层级与上一层级的距离；
在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
进一步的，在所述步骤S4执行完毕后，还包括：
计算每一层级与上一层级的距离；在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级进行重新排序。
进一步的，所述对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置，具体为：
根据各所述商品的位置信息，将同一层级中的商品从左到右进行排序，确定各商品在所属层级的具体位置。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明另一实施例提供了一种商品陈列位置的定位装置，包括图像获取模块、商品识别模块和商品定位模块；其中，所述商品定位模块包括基准中心点确定单元、分层定位单元，数据剔除单元、循环单元；
所述图像获取模块，用于获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；
所述商品识别模块，用于通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；
所述商品定位模块，用于根据各所述商品的位置信息识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置，具体的：
基准中心点确定单元，用于根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标；
分层定位单元，用于逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置；
数据剔除单元，用于剔除已确定层级及具体位置的各商品的位置信息数据；
循环单元，用于控制基准中心点确定单元、分层定位单元以及数据剔除单元重复执行各自的功能，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
进一步的，还包括单品类商品识别模块；所述单品类商品识别模块，用于通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。
进一步的，还包括层级调整模块；
其中，所述层级调整模块，用于计算每一层级中商品的数量，以及每一层级与上一层级的距离，并在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
进一步的，所述层级调整模块，还用于计算每一层级与上一层级的距离；在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级数进行重新排序。
在上述方法项实施例的基础上，本发明提供了另一实施例；
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所存储介质所在设备执行上述发明实施例所述的商品陈列位置的定位方法。
通过实施本发明具有如下有益效果：
本发明实施例提供了一种商品陈列位置的定位、装置及存储介质，所述方法首先将一陈列图像输入至提前构建好的全品类商品识别模型中，由全品类商品识别模型对陈列图像中的商品进行识别，并提取各商品在图像中的位置信息，然后根据这个位置信息，识别出各商品在实际陈列场景中所在的层级，以及所在层级的具体位置，具体的先找出待识别图像中位置最高的商品作为基准商品，然后计算基准商品的中心点坐标，紧接着根据中心点坐标的Y轴方向，通过一个预设的浮动范围，构建第一个层级识别的区域，将在该层级识别区域中查找到对应的商品和基准商品，归入同一层并排序，第一次执行时是完成了最高层的所有商品进行识别定位，紧接着将完成定位的商品的相关数据剔除，重复上述步骤，定位出第二层级的所有商品，以此类推定位出第三层、第四层等商品，最终实现待识别陈列图像中所有商品层级的定位，以及具体位置的确定；通过实施本发明的实施例，能够通过一张图像对产品在实际陈列场景中的层级和具体位置进行定位，不需要通过人工进行统计，实现了自动化。
附图说明
图1是本发明一实施例提供的一种商品陈列位置的定位方法的流程示意图。
图2是本发明一实施例提供的商品陈列位置的定位方法中，具体进行定位的流程示意图。
图3是本发明一实施例提供的一种商品陈列位置的定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种商品陈列位置的定位方法的流程示意图，包括：
步骤S101、获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品。
步骤S102、通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标。
步骤S103、根据各所述商品的位置信息，通过以下步骤识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置。
对于步骤S101、通过摄像装置对需要进行检测的陈列场景进行拍摄获得上述陈列图像；在实际的销售情况中，陈列场景包括但不限于：冰柜场景、货架场景、堆头场景、长货架场景等，例如：通过摄像装置对便利店中陈列有各种饮料的冰柜，进行拍摄，获得上述陈列图像。
对于步骤S102、首先对全品类商品识别模型的构建进行说明，在一个优选的实施例中，上述全品类商品识别模型的构建可以采用下述方式进行：
1、大量采集各不同陈列场景的图片作为训练集并加入标注信息，此处的标准信息包括各商品的在图像中的位置信息，以及类别信息。这一步骤中的位置信息具体的由人工对图片中的各商品用矩形框进行标注，以矩形框任意一对角线的两个顶点的坐标，作为各商品的位置信息，此时可以以陈列图像左下角的顶点为原点，以水平方向为X轴，以竖直方向为Y轴建立平面直角坐标系，即可得到上述各矩形框各顶点的坐标，从而获得上述各商品的位置信息；此处的类别信息指的是一个较大的类别，例如冰柜上的所有品牌的饮料，不管其饮料瓶的形状，高矮如何都用一个统一命名规则进行命名，例如均标定为“饮品”，不再对其具体的品牌进行区分；又例如货架上摆放的不同品牌的泡面，那么在进行类别信息标注时可以命名为“泡面”不会对其具体的品牌进行标注。按上述方式进行标准后获得训练集，以便后续可以得到一个鲁棒性较好的检测模型。大量的陈列场景加入可以使得神经网络可以在任何场景都能检测出商品。
2、将采集并标注好的训练集，输入到卷积神经网络中进行训练，学习，神经网络的卷积层中的神经元会通过梯度下降法优化并记住SKU的边缘和外观模式，在经过一系列的数学优化的过程中，神经网络的loss会不断降低，直到loss到达一个相对平衡的状态，loss改变幅度不大时，神经网络在这个阶段训练收敛算是完毕了，继而实现模型的构建。
在深度学习的过程中卷积神经网络的每一层网络层都是由几十个滤波器构成，每个滤波器都会跟一个随机初始化权重对图像的每个通道做一次卷积运算，然后做一次concat作为下层的输入。目标检测在输出的时候会输出多个anchors，每个anchors都包含一个位置的一对XY坐标信息，代表一个框的位置，还包含该位置上的类别信息。
在一个优选的方案中，采用的是FasterRCNN卷积神经网络，并采用ReNeXT Net32,FPN和DCN等技术。而由于32通道的ResNeXt技术，每个通道用的都是bott le net的技术结构，在imageNet 1k上显示这样的结果，同样的参数量，同样的计算条件，更少的层数下，泛化性能力更强。
其次在训练的过程中采用可变形卷积，可变形卷积在普通卷积的基础上多了一个offset域，这样的设计是为了在普通卷积做卷积运算时，对一些不规则图形无法完全覆盖的改进，用了可变形卷积的情况下，卷积可以突破矩形运算的限制，用双线性插值法就来弥补不规则图形的边缘问题，从而达到不规则图形也能很好的包围在卷积运算框中。
通过上述两个步骤实现上述全品类商品识别模型的构建(当然也可以采用现有的其他方式进行模型的构建)。
将步骤S101中获取的待识别陈列图像，输入构建好的全品类商品识别模型，即可对图像中的各个商品进行识别，并进行位置的提取；在识别的过程中是以一个矩形的目标检测框将各个商品识别出来的，而此时各商品的位置信息即为各商品对应的矩形的目标检测框中任意一对角线的两个顶点的顶点坐标(例如可以全部统一以，矩形目标检测框的左下角的顶点和右上角的顶点，这两个顶点的位置坐标，作为各商品的位置信息)。同样的坐标系的建立过程可以，以待识别陈列图像左下角为原点，以水平方向为X轴，以竖直方向为Y轴进行构建。
如图2所示,对于步骤S103、在步骤S102中识别出待识别图像中的各个商品以及提取出各商品的位置信息后，需要根据各商品的位置信息，对各商品在实际陈列场景中所所属的层级和具体位置，(例如确定某一饮品在冰柜上的哪一层以及在所属层级的具体的第几个)，具体的采用的是“最高层商品投票”方法。在一优选的实施例中，上述“最高层商品投票”方法的具体实现步骤包括：
步骤S1、根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标。
步骤S2、逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置。
步骤S3、剔除已确定层级及具体位置的各商品的位置信息数据。
步骤S4:重复执行步骤S1、步骤S2及步骤S3、逐一将剩余的各商品分入下一层级中，并对位于同一层级中的商品进行排序，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
对于步骤S1、具体的在第一次执行时，将在步骤S102中提取出的所有商品的位置信息，沿Y轴从高到低进行排序，找到在待识别陈列图像中位置最高的商品。
需要说明的是，排序时可以以各商品对应的目标检测框左上角(或右上角)的顶点的Y坐标值进行排序，Y坐标值最大的即为在所述待识别陈列图像中位置最高的商品(基准商品)，然后根据基准商品对应的目标检测框中两个顶点的位置坐标(左上角和右下角，或左下角和右上角)，计算出基准商品中心点的坐标，获得基准中心点坐标
对于步骤S2，以基准中心点坐标为基准，提前设定以第一预设距离，在一个优选的实施例中，上述第一预设距离为待识别陈列图像中所有商品的平均高度，以所有商品的平均高度，作为实际场景中货架中任意两个层级间的距离；
此时逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离(欧式距离)，若这个距离小于第一预设距离，说明对应的商品与基准商品间的距离小于一个层级间的距离，那么这个商品与基准商品就应该是同一层级的商品，此时将这一商品与基准商品都归入同一层级内。然后将从左到右(也可以从右到左)进行排序，进一步确定每个商品在所述层级的具体位置。
需要说明的是，在对于同一层级的各商品进行从排序时，可统一根据各商品的位置信息中一顶点坐标的X值，进行排序如选取各商品位置信息中目标检测框左下角的顶点的X坐标值，按由小到大，从左到右进行排序。X值小排在左边。这样实现对同一层级内的商品的排序，从而确定各商品在所属层级中的具体位置。
在一个优选的实施例中，在分层时还对应的将各层级进行一个编号，例如在第一次执行步骤骤S1和步骤S2后，确定的是位于最高层(即首层)的商品，此时可以将首层标识为1。
对于步骤S3，在第一次执行完步骤S1和步骤S2后，已经将待识别陈列图像中的位于第一层的商品进行了分层、定位；此时将属于第一层的商品(已确定层级及具体位置的商品)的位置信息数据，进行剔除；将剩下的商品的位置信息数据，作为新的商品位置信息数据。
对于步骤S4,以步骤3得到的新的商品位置信息数据为基础，重复执行步骤S1、步骤S2及步骤S3，逐一将剩余的各商品分入下一层级中，并对位于同一层级中的商品进行排序，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
通过上述方式，每次完整的执行步骤S1、S2和S3这三个步骤后，就能够对待识别陈列图像中的商品进行一次分层，第一次完整执行步骤S1、S2和S3能将在实际陈列场景中属于最高层即一层的商品进行定位，第二次完整执行步骤S1、S2和S3能够将第二层的商品进行定位，第三次完整执行步骤S1、S2和S3能够将第三层的商品进行定位，以此类推直至所述待识别陈列图像中的所有商品定位完毕。
在一个优选的实施例中，还包括：通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。这一实施例主要是为了能够对某一指定品类的商品，在实际陈列场景中为定位信息进行获取；
例如一厂家生产了一款品牌为A的饮品，若该厂家需要知道品牌A这一款饮品，在冰柜上的那一个层有摆放，已经在没一层的具体位置，此时就需要在全品类商品识别模型的基础上，对特定的品牌A这款饮品进行识别，最终在分层后即可得到品牌A这款饮品在冰柜上的分布情况。
具体的单品类商品识别模型在构建时，采用的训练集的样本为该品列的图像；一上述品牌A这款饮品为例，获取大量包含饮品A的陈列图像，然后对陈列图像中所有A饮品进行标注类别信息，此时在标注的类别信息可以具体到饮品的所属类别，例如类别信息直接标注为“A”，标注完毕之后作为训练集，同样基于Faster RCNN卷积神经网络，进行训练最后得到能够识别出饮品A的单品类商品识别模型；
在待识别陈列图像中各商品定位完毕后与由单品类商品识别模识别出来的指定品类的商品，商品信息进行拟合，即可获悉指定品类商品在实际陈列场景的分布情况。
当然也可以在单品类商品识别模型在构建时，对训练集的样本同时进行位置信息和类别信息的标注，例如类别信息直接标注为“A”然后加上相应的位置信息，这样训练后得到的单品类商品识别模型，后能直接识别并提取指定品类的商品的位置信息(如A饮品的位置信息)，然后直接根据指定品类的商品的位置信息执行步骤S1、步骤S2、步骤S3和步骤S4、直接将指定品类的商品的实际陈列位置进行定位。
在一个优选的实施例中，还包括：计算每一层级中商品的数量，以及每一层级与上一层级的距离；在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
这一步骤是对最后的定位结果进行调整，纠正。由于在实际陈列场景中会存在一些海报，海报中也可能会有商品的图像；那么如果在采集的待识别陈列图像时将海报的图像也采集到了待识别图像中，那么在分层设置的时候会将海报中的商品也进行分层，导致最后的分层结果有误。而由于海报中商品的数量较少，可能只有一两个，因此若在分层时将海报中的商品进行了分层后，其对应层级内的商品数量就只会有一两个数量较少；因此在分层后，对每一层级中的商品数量进行统计，如果该层级的商品数量小于第一预设阈值，并且该层级的与上一层级的距离，小于第二预设距离，则说明该层级有可能是因为海报图像的影响，而不是实际的层级。因此直接将该层级剔除，并将该层级内的商品的位置数据删除，然后对其余层级的序号进行排序。
需要说明的是在一个优选的实施例中，上述第一预设阈值可以当前层级的上一层级商品数量的五分之一，所述当前层级为进行当前正在进行调整的层级。第二预设距离可以是上述第一预设距离的二分之一，当然第一预设阈值与第二预设距离，都可以根据实际情况进行适应性调整。
在一个优选的实施例中，还包括：还用于计算每一层级与上一层级的距离；在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级数进行重新排序。
这一实施例主要是用于应对实际场景中少分层的情况，在实际的货架场景中，可能存在不同类别的商品，而本发明在产品分层时一次只针对一个类别，对于不同类别的商品无法识别出来，最终会导致分层错误；
例如：一个5层的货架，在第一层、第四层和第五层都是摆放着罐装的饮品，而在第二层和第三层摆放的是方便面，如果一开始在训练模型时是针对饮品这一类别训练的识别模型，那么在识别的时候就只能识别出饮品这一类别的商品，导致最后会将所有商品分为三个层，然后在实际陈列场景中属于第四层和第五层的饮品，分别被识别成了第二层和第三层的饮品，识别出来的层级数与实际陈列场景中的层级数不一致。
为解决这个问题在这一实施例中，首先计算需要进行判断的当前层级与上一层级的距离(欧式距离)，如果这个距离超过了第三预设距离，则此时说明当前层级的层级数分层错误与实际陈列场景中的层级数不对应，紧接着在一个优选的实施例中，将当前层级与上一层级的距离除以上述第一预设距离，然后向下取整，得到需要进行调整的层级数值，例如若当前层级与上一层级的距离除以上述第一预设距离得到的数值是2.6向下取整为2，则说明此时当前层级的层级数要加上2，假设当前层级的层级数为2则调整后的当前层级的层级数则为4，然后当前层级后的层级进行重新排序。由于第一预设距离代表的是实际陈列场景中的各层级的距离，因此通过上述操作即可确定当前层级与上一层级之间是否还存在，未计算出来的层级。
需要说明的是上述第三预设距离，可以设定为第一预设距离的1.5-2倍。当然具体的可以根据实际情况进行适应性调整。
在一个优选的实施例中，还包括计算待识别陈列图像中指定品类商品的占比数据；通过这一实施例，厂家可以根据占比数据和上述得到的指定商品所在的层级和具体位置，进行统计分析，进行陈列战略调整。
在上述方法项实施例的基础上，对应提供了一装置项实施例；
如图3所示，本发明一实施例提供了一种商品陈列位置的定位装置，包括：
图像获取模块、商品识别模块和商品定位模块；其中，所述商品定位模块包括基准中心点确定单元、分层定位单元，数据剔除单元、循环单元；
所述图像获取模块，用于获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；
所述商品识别模块，用于通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；
所述商品定位模块，用于根据各所述商品的位置信息识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置，具体的：
基准中心点确定单元，用于根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标；
分层定位单元，用于逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置；
数据剔除单元，用于剔除已确定层级及具体位置的各商品的位置信息数据；
循环单元，用于控制基准中心点确定单元、分层定位单元以及数据剔除单元重复执行各自的功能，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
在一个优选的实施例中，还包括单品类商品识别模块；所述单品类商品识别模块，用于通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。
在一个优选的实施例中，还包括层级调整模块，用于计算每一层级中商品的数量，以及每一层级与上一层级的距离，并在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
在一个优选的实施例中，层级调整模块，还用于计算每一层级与上一层级的距离；在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级数进行重新排序。
需要说明是，上述装置项实施例是与本发明方法项实施例相对应的，其可以实现本发明任意一项方法项实施提供的商品陈列位置的定位方法。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本发明上述装置项实施例的基础上提供了存储介质项实施例：
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行本发明任意一项方法项实施例所述的商品陈列位置的定位方法。
所述存储介质为计算机可读存储介质其中，所述商品陈列位置的定位装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
通过实施本发明实施例具有如下有益效果：
本发明实施例提供了一种商品陈列位置的定位、装置及存储介质，所述方法首先将一陈列图像输入至提前构建好的全品类商品识别模型中，由全品类商品识别模型对陈列图像中的商品进行识别，并提取各商品在图像中的位置信息，然后根据这个位置信息，识别出各商品在实际陈列场景中所在的层级，以及所在层级的具体位置，具体的先找出待识别图像中位置最高的商品作为基准商品，然后计算基准商品的中心点坐标，紧接着根据中心点坐标的Y轴方向，通过一个预设的浮动范围，构建第一个层级识别的区域，将在该层级识别区域中查找到对应的商品和基准商品，归入同一层并排序，第一次执行时是完成了最高层的所有商品进行识别定位，紧接着将完成定位的商品的相关数据剔除，重复上述步骤，定位出第二层级的所有商品，以此类推定位出第三层、第四层等商品，最终实现待识别陈列图像中所有商品层级的定位，以及具体位置的确定；通过实施本发明的实施例，能够通过一张图像对产品在实际陈列场景中的层级和具体位置进行定位，不需要通过人工进行统计，实现了自动化。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种商品陈列位置的定位方法，其特征在于，包括：
获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；
通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；
根据各所述商品的位置信息，通过以下步骤识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置：
步骤S1:根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标；
步骤S2:逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置；
步骤S3:剔除已确定层级及具体位置的各商品的位置信息数据；
步骤S4:重复执行步骤S1、步骤S2及步骤S3、逐一将剩余的各商品分入下一层级中，并对位于同一层级中的商品进行排序，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
2.如权利要求1所述的商品陈列位置的定位方法，其特征在于，还包括：
通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。
3.如权利要求1所述的商品陈列位置的定位方法，其特征在于，在所述步骤S4执行完毕后，还包括：
计算每一层级中商品的数量，以及每一层级与上一层级的距离；
在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
4.如权利要求1所述的商品陈列位置的定位方法，其特征在于，在所述步骤S4执行完毕后，还包括：
计算每一层级与上一层级的距离；
在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级进行重新排序。
5.如权利要求1所述的商品陈列位置的定位方法，其特征在于，所述对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置，具体为：
根据各所述商品的位置信息，将同一层级中的商品从左到右进行排序，确定各商品在所属层级的具体位置。
6.一种商品陈列位置的定位装置，其特征在于，包括图像获取模块、商品识别模块和商品定位模块；其中，所述商品定位模块包括基准中心点确定单元、分层定位单元，数据剔除单元、循环单元；
所述图像获取模块，用于获取待识别陈列图像；其中，所述待识别陈列图像中包含若干位于不同层级的商品；
所述商品识别模块，用于通过预设的全品类商品识别模型，对各所述商品进行识别，并提取各所述商品在所述待识别陈列图像中的位置信息；其中，所述位置信息为与各所述商品对应的目标检测框中任意一对角线的两个顶点的顶点坐标；
所述商品定位模块，用于根据各所述商品的位置信息识别各所述商品在实际陈列场景中所在的层级以及在所属层级的具体位置，具体的：
基准中心点确定单元，用于根据各商品的位置信息，确定各商品中在所述待识别陈列图像中位置最高的商品，获得基准商品，继而计算所述基准商品的中心点坐标，获得基准中心点坐标；
分层定位单元，用于逐一计算其余各商品的中心坐标至所述基准中心点坐标的距离，并将所述距离小于第一预设距离的商品以及所述基准商品归入同一层级中，并对归入同一层级中的商品进行排序，确定各商品在所属层级的具体位置；
数据剔除单元，用于剔除已确定层级及具体位置的各商品的位置信息数据；
循环单元，用于控制基准中心点确定单元、分层定位单元以及数据剔除单元重复执行各自的功能，直至所述待识别陈列图像中所有商品所属的层级以及在所属层级的具体位置确定完毕。
7.如权利要求6所述的商品陈列位置的定位装置，其特征在于，还包括单品类商品识别模块；所述单品类商品识别模块，用于通过预设的单品类商品识别模型，对所述待识别陈列图像中一指定品类的商品进行识别。
8.如权利要求6所述的商品陈列位置的定位装置，其特征在于，还包括层级调整模块；
其中，所述层级调整模块，用于计算每一层级中商品的数量，以及每一层级与上一层级的距离，并在当前层级中的商品数量小于第一预设阈值，且与上一层级的距离小于第二预设距离时，剔除所述层级以及所述层级内的商品的位置信息数据，并对其余层级进行重新排序。
9.如权利要求6所述的商品陈列位置的定位装置，其特征在于，所述层级调整模块，还用于计算每一层级与上一层级的距离；在当前层级的距离大于第三预设距离时，根据当前层级与上一层级的距离，计算当前层级所需要添加的层级数值，继而根据所述需要添加的层级数值，更新所述当前层级的层级数，并对其余层级的层级数进行重新排序。
10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-5任意一项所述的商品陈列位置的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912524.0A CN110705424B (zh) | 2019-09-25 | 2019-09-25 | 一种商品陈列位置的定位方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912524.0A CN110705424B (zh) | 2019-09-25 | 2019-09-25 | 一种商品陈列位置的定位方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110705424A true CN110705424A (zh) | 2020-01-17 |
| CN110705424B CN110705424B (zh) | 2020-10-02 |
Family
ID=69196359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910912524.0A Active CN110705424B (zh) | 2019-09-25 | 2019-09-25 | 一种商品陈列位置的定位方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705424B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291834A (zh) * | 2020-03-27 | 2020-06-16 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
| CN111507253A (zh) * | 2020-04-16 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 基于人工智能的陈列物品审核方法、装置 |
| CN112381924A (zh) * | 2020-11-12 | 2021-02-19 | 广州市玄武无线科技股份有限公司 | 一种基于三维建模获取仿真货品陈列信息的方法及系统 |
| CN112990095A (zh) * | 2021-04-13 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 商品陈列分析方法、装置、设备及存储介质 |
| CN113538775A (zh) * | 2021-06-07 | 2021-10-22 | 合肥美的智能科技有限公司 | 陈列设备的监测方法、装置、监测设备和存储介质 |
| CN113657317A (zh) * | 2021-08-23 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 一种货物位置识别方法、系统、电子设备及存储介质 |
| CN115359117A (zh) * | 2022-08-30 | 2022-11-18 | 创新奇智(广州)科技有限公司 | 商品陈列位置确定方法、装置及可读存储介质 |
| CN115909358A (zh) * | 2022-07-27 | 2023-04-04 | 广州市玄武无线科技股份有限公司 | 商品规格识别方法、装置、终端设备及计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析系统及方法 |
| CN108830344A (zh) * | 2018-05-28 | 2018-11-16 | 广州市捍御者信息科技有限公司 | 仓库盘点货位定位方法和装置、计算设备和存储介质 |
| CN108898141A (zh) * | 2018-06-14 | 2018-11-27 | 中山大学 | 基于图像检测的商品货架分割和层信息统计方法 |
| CN110069980A (zh) * | 2019-03-05 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的产品聚合方法及装置、电子设备 |
| CN110245580A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 一种检测图像的方法、装置、设备和计算机存储介质 |
-
2019
- 2019-09-25 CN CN201910912524.0A patent/CN110705424B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析系统及方法 |
| CN108830344A (zh) * | 2018-05-28 | 2018-11-16 | 广州市捍御者信息科技有限公司 | 仓库盘点货位定位方法和装置、计算设备和存储介质 |
| CN108898141A (zh) * | 2018-06-14 | 2018-11-27 | 中山大学 | 基于图像检测的商品货架分割和层信息统计方法 |
| CN110069980A (zh) * | 2019-03-05 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图像的产品聚合方法及装置、电子设备 |
| CN110245580A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 一种检测图像的方法、装置、设备和计算机存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291834A (zh) * | 2020-03-27 | 2020-06-16 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
| CN111291834B (zh) * | 2020-03-27 | 2022-06-10 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
| CN111507253A (zh) * | 2020-04-16 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 基于人工智能的陈列物品审核方法、装置 |
| CN112381924A (zh) * | 2020-11-12 | 2021-02-19 | 广州市玄武无线科技股份有限公司 | 一种基于三维建模获取仿真货品陈列信息的方法及系统 |
| CN112990095A (zh) * | 2021-04-13 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 商品陈列分析方法、装置、设备及存储介质 |
| CN112990095B (zh) * | 2021-04-13 | 2021-09-14 | 广州市玄武无线科技股份有限公司 | 商品陈列分析方法、装置、设备及存储介质 |
| CN113538775A (zh) * | 2021-06-07 | 2021-10-22 | 合肥美的智能科技有限公司 | 陈列设备的监测方法、装置、监测设备和存储介质 |
| CN113657317A (zh) * | 2021-08-23 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 一种货物位置识别方法、系统、电子设备及存储介质 |
| CN115909358A (zh) * | 2022-07-27 | 2023-04-04 | 广州市玄武无线科技股份有限公司 | 商品规格识别方法、装置、终端设备及计算机存储介质 |
| CN115909358B (zh) * | 2022-07-27 | 2024-02-13 | 广州市玄武无线科技股份有限公司 | 商品规格识别方法、装置、终端设备及计算机存储介质 |
| CN115359117A (zh) * | 2022-08-30 | 2022-11-18 | 创新奇智(广州)科技有限公司 | 商品陈列位置确定方法、装置及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110705424B (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705424B (zh) | 一种商品陈列位置的定位方法、装置及存储介质 | |
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| US10853702B2 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
| CN109446883B (zh) | 商品状态识别方法、装置、电子设备及可读存储介质 | |
| CN108492482B (zh) | 货品监控系统及监控方法 | |
| US10628695B2 (en) | Fast item identification for checkout counter | |
| CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
| CN111080493B (zh) | 一种菜品信息识别方法、装置及菜品自助结算系统 | |
| CN110796141A (zh) | 目标检测方法及相关设备 | |
| CN112508132B (zh) | 一种识别sku的训练方法及装置 | |
| CN112115906A (zh) | 基于深度学习目标检测和度量学习的开放性菜品识别方法 | |
| CN112990095B (zh) | 商品陈列分析方法、装置、设备及存储介质 | |
| CN111161346B (zh) | 将商品在货架中进行分层的方法、装置和电子设备 | |
| CN110136129A (zh) | 一种商品质量检测方法、装置及存储介质 | |
| CN108389230A (zh) | 冰箱容量自动检测方法、系统、设备及存储介质 | |
| CN111310706A (zh) | 一种商品价签识别方法及装置、电子设备、存储介质 | |
| CN109977251A (zh) | 一种构建基于rgb直方图特征识别商品的方法 | |
| US11748787B2 (en) | Analysis method and system for the item on the supermarket shelf | |
| CN106203225A (zh) | 基于深度的图像元素删除 | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN112380971B (zh) | 一种行为检测方法、装置及设备 | |
| CN114140676A (zh) | 基于图像识别的货架层确定方法、装置及介质 | |
| US11562338B2 (en) | Automated point of sale systems and methods | |
| CN113033286A (zh) | 一种货柜内商品的识别方法及装置 | |
| CN111444796A (zh) | 售货机器人的商品摆放判断方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: The invention relates to a positioning method, a device and a storage medium for a commodity display position Effective date of registration: 20210308 Granted publication date: 20201002 Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch Pledgor: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. Registration number: Y2021440000062 |
|
| CP02 | Change in the address of a patent holder |
Address after: 510000 room 23bd, No. 109, TIYU West Road, Tianhe District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. Address before: 32B, no.103b, TianLiHe Road, Guangzhou, 510000 Patentee before: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220525 Granted publication date: 20201002 Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch Pledgor: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. Registration number: Y2021440000062 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A positioning method, device, and storage medium for displaying goods Effective date of registration: 20230331 Granted publication date: 20201002 Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch Pledgor: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. Registration number: Y2023980037128 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20201002 Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch Pledgor: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd. Registration number: Y2023980037128 |