CN111783627B - 商品存量确定方法、装置及设备 - Google Patents
商品存量确定方法、装置及设备 Download PDFInfo
- Publication number
- CN111783627B CN111783627B CN202010607479.0A CN202010607479A CN111783627B CN 111783627 B CN111783627 B CN 111783627B CN 202010607479 A CN202010607479 A CN 202010607479A CN 111783627 B CN111783627 B CN 111783627B
- Authority
- CN
- China
- Prior art keywords
- commodity
- area
- goods
- determining
- commodities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 241000220225 Malus Species 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000012206 bottled water Nutrition 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 235000013606 potato chips Nutrition 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种商品存量确定方法、装置及设备，确定商品货区时不需要依赖货区标签，具有更强的适用性。该方法包括：从已获得的第一货架图像中确定出各商品所处的商品区域；依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
Description
技术领域
本发明涉及监控技术领域，尤其涉及的是一种商品存量确定方法、装置及设备。
背景技术
商品的摆放和盘点是商家(比如超市)在日常中必不可少的操作，以确保货架上有充足的商品。一般来说，如果有一些商品比较好卖，相应的商品货区可能很快就会缺货，如果不及时补充商品，会影响商品的销售。但是，如果通过人工定期到现场进行商品盘点，来确定商品存量是否充足，需要耗费较大的人力成本，而且也无法保证商品能够及时得到补充。因此，有必要利用一些更智能的手段来实现商品存量分析。
在相关商品存量方式中，在采集到货架图像后，通过检测货架图像中的货区标签，根据货区标签的位置来确定货架图像中的商品货区。该方式中，确定商品货区时需要依赖货区标签，但是实际中，不是每个货区都会设置货区标签，或者货区标签可能会破损或丢失，甚至某些货区还有可能错贴上其他货区的货区标签，在这些情况下，上述方式都无法确定商品存量、或者说确定结果会极不准确。
发明内容
有鉴于此，本发明提供一种商品存量确定方法、装置及设备，确定商品货区时不需要依赖货区标签，具有更强的适用性。
本发明第一方面提供一种商品存量确定方法，包括：
从已获得的第一货架图像中确定出各商品所处的商品区域；
依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
根据本发明的一个实施例，各不同商品区域中商品之间的相似度通过以下方式确定：
从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；和/或，
基于各商品区域之间的距离确定各商品区域中商品的空间相似度；
依据各商品区域中商品的特征相似度和/或空间相似度确定各不同商品区域中商品之间的相似度。
根据本发明的一个实施例，所述基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，包括：
从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；
依据所述矩形框的位置信息确定所述商品货区。
根据本发明的一个实施例，该方法进一步包括：
从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区；
确定所述商品货区当前的商品存量；
当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
根据本发明的一个实施例，所述确定所述商品货区当前的商品存量包括：
当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量；
当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
根据本发明的一个实施例，所述确定所述商品货区当前的商品存量包括：
依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
根据本发明的一个实施例，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量，包括：
计算所述商品货区的面积与第一并集区域的面积之间的差值；所述第一并集区域为所述商品货区中未存放商品的空闲商品区域的并集区域；
将所述差值与所述商品货区的面积之比，确定为所述商品货区当前的商品存量。
根据本发明的一个实施例，所述依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量包括：
将第二并集区域的面积与所述商品货区的面积之比，确定为所述商品货区当前的商品存量；所述第二并集区域为所述商品货区中商品所处的商品区域的并集区域。
根据本发明的一个实施例，该方法进一步包括：从所述第一货架图像中获取货区标签信息，所述货区标签信息至少包括货区标签的位置信息、货区标签对应的商品信息，并依据货区标签的位置信息将货区标签信息与距离最近的商品货区关联；
所述依据商品货区当前的商品存量确定针对所述商品货区进行报警包括：
当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，确定针对所述商品货区进行报警；
当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，当所述商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警。
本发明第二方面提供一种商品存量确定装置，包括：
商品区域确定模块，用于从已获得的第一货架图像中确定出各商品所处的商品区域；
商品区域聚类模块，用于依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
商品货区确定模块，用于针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
根据本发明的一个实施例，各不同商品区域中商品之间的相似度通过以下模块确定：
特征相似度确定模块，用于从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；和/或，
空间相似度确定模块，用于基于各商品区域之间的距离确定各商品区域中商品的空间相似度；
相似度确定模块，用于依据各商品区域中商品的特征相似度和/或空间相似度确定各不同商品区域中商品之间的相似度。
根据本发明的一个实施例，所述商品货区确定模块基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区时，具体用于：
从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；
依据所述矩形框的位置信息确定所述商品货区。
根据本发明的一个实施例，该装置进一步包括：
商品存量分析模块，用于从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区，并确定所述商品货区当前的商品存量；
报警模块，用于当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
根据本发明的一个实施例，所述商品存量分析模块确定所述商品货区当前的商品存量时，具体用于：
当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量；
当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
根据本发明的一个实施例，所述商品存量分析模块确定所述商品货区当前的商品存量时，具体用于：
依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
根据本发明的一个实施例，所述商品存量分析模块依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量时，具体用于：
计算所述商品货区的面积与第一并集区域的面积之间的差值；所述第一并集区域为所述商品货区中未存放商品的空闲商品区域的并集区域；
将所述差值与所述商品货区的面积之比，确定为所述商品货区当前的商品存量。
根据本发明的一个实施例，所述商品存量分析模块依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量时，具体用于：
将第二并集区域的面积与所述商品货区的面积之比，确定为所述商品货区当前的商品存量；所述第二并集区域为所述商品货区中商品所处的商品区域的并集区域。
根据本发明的一个实施例，该装置进一步包括：货区标签关联模块，用于从所述第一货架图像中获取货区标签信息，所述货区标签信息至少包括货区标签的位置信息、货区标签对应的商品信息，并依据货区标签的位置信息将货区标签信息与距离最近的商品货区关联；
所述报警模块依据商品货区当前的商品存量确定针对所述商品货区进行报警时，具体用于：
当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，确定针对所述商品货区进行报警；
当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，当所述商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警。
本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的商品存量确定方法。
本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的商品存量确定方法。
本发明实施例具有以下有益效果：
本发明实施例中，在确定商品货区时，可以基于第一货架图像中商品两两间的相似度，对第一货架图像中的商品区域进行聚类得到至少一个商品区域集合，基于商品区域集合来确定第一货架图像中的商品货区，整个过程不需要人为参与、也不需要在货架上额外装货区标识物比如货区标签，具有更强的适用性，可以适应不同类型的货架，在进行商品存量确定时，可以基于已确定的商品货区确定商品货区中的商品存量，由于商品货区的确定方式是符合商品实际摆放情况的，即可以更准确地确定图像中商品货区的位置，所以用于确定商品存量时结果也更精确。
附图说明
图1是本发明一实施例的商品存量确定方法的流程示意图；
图2是本发明一实施例的商品存量确定系统的架构示意图；
图3是本发明一实施例的基于商品区域确定商品货区的示意图；
图4是本发明一实施例的货架棚格图的示意图；
图5是本发明一实施例的商品存量确定装置的结构示意图；
图6是本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
商品货区：在货架中用于存放特定商品的空间，一般来说，一个商品货区中的商品相同且陈列空间位置靠近。
神经网络：一种通过模仿大脑结构抽象而成的技术，该技术将大量简单的函数进行复杂的连接，形成一个网络系统，该系统可以拟合极其复杂的函数关系，一般可以包括卷积/反卷积操作、激活操作、池化操作，以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练，调整其中的连接，可以让神经网络学习拟合输入和输出之间的映射关系。
深度学习：一种神经网络学习技术，通过模拟人脑的学习行为，从数据中学习到相关知识用于后续的预测，尤其适用于图像处理。
本发明实施例的商品存量确定方法，可以应用在具有商品存量分析需求的场景中，比如超市、商场、商铺、自动货柜机、仓库等场景中，可以确定这些场景的货架中各商品货区的商品存量，可便于用户商品是否缺货，从而及时补充缺货商品。当然，上述场景只是举例，实际并不局限于上述场景。
下面对本发明实施例的商品存量确定方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，一种商品存量确定方法，该方法可以包括以下步骤：
S100：从已获得的第一货架图像中确定出各商品所处的商品区域；
S200：依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
S300：针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
本发明实施例中，商品存量确定方法的执行主体可以为电子设备。电子设备可以为摄像机设备、计算机设备、服务器等，具体类型不限。在电子设备为摄像机设备的情况下，上述的第一货架图像、第二货架图像以及其他所需的图像可以由电子设备本地进行采集；在电子设备为其他设备比如服务器的情况下，可以从相连接的摄像机设备获取所需的图像。
在下面以商品存量确定方法的执行主体为服务器为例展开说明，但是不应以此为限，也可以是其他设备。
参看图2，可以由摄像机设备200、网络传输设备300与服务器400组成商品存量确定系统，摄像机设备200可以对准货架B100进行拍摄以得到货架图像，并通过网络传输设备300将货架图像传输给服务器。货架图像中可以包含一个或多个货架B100，货架B100上可以包含多个商品货区D100，每个商品货区D100上均可摆放有商品C100，货架图像中可以包含货架B100的全部或局部，至少包含一个商品货区D100以及商品货区D100上摆放的商品。服务器在获得货架图像之后可以执行上述步骤S100-S300，以确定货架图像中的商品货区。当然，图2示出的商品存量确定系统只是举例，系统中还可以包含其他设备，比如还可以包括报警设备等。
可选的，上述的服务器可以分为图像处理服务器和存量分析服务器，其中，与图像相关的处理可以由图像处理服务器来实现，而其他的处理则由存量分析服务器来处理。当然，此处只是举例，并不作为限制。
上述步骤S100-S300为初始化流程，在这个过程中，服务器可以确定第一货架图像中商品两两间的相似度，基于该相似度可以对第一货架图像中的商品区域进行聚类，从而得到商品区域集合，基于商品区域集合来确定第一货架图像中的商品货区，中间不需要人为参与、也不需要货区标签，下面对此进行更详细的描述。
在步骤S100中，从已获得的第一货架图像中确定出各商品所处的商品区域。
第一货架图像可以是摄像机设备针对场景中的货架拍摄到的。第一货架图像中可以包含多个商品货区，这些商品货区可以位于同一货架或不同货架上。可选的，第一货架图像中的每个商品货区上可以都摆满商品，当然，这里“满”的程度可以视需要而定，具体不做限定。
上述的货区中，同一商品货区中商品的类别相同，比如一个商品货区中摆放的商品全是水，另一个商品货区中摆放的商品全是拖把等。当然，不同商品货区中摆放的商品可以是相同类别，也可以是不同类别，具体不做限定。
优选来说，同一商品货区中的商品相同(可以指名称、用途、功能、原料等方面均相同)。比如，一个货区中摆放的商品全是“XXXA”品牌的水，另一个货区中摆放的商品全是“XXXB”品牌的水。一般来说，在日常生活中，相同的商品会被摆放在同一货区中，不同的商品会被摆放在不同货区中，所以，本实施例中，这样的商品陈列方式是符合日常习惯的。
从第一货架图像中确定出各商品所处的商品区域时，可以将该第一货架图像输入至已训练的商品检测模型中，以由商品检测模型检测出第一货架图像中商品所处的商品区域。商品检测模型可以输出检测出的商品区域的位置信息，该位置信息比如可以由商品区域的至少一个顶点坐标、及商品区域的宽度和高度构成，只要能指示商品区域的位置即可，具体不作限定。
为了能够更好地检测出商品，在商品货区上摆放商品时，同一商品货区中的商品可以以相同的姿态被整齐排放，比如，可以将商品以行列的陈列方式平铺满整个商品货区。
本发明实施例中的商品可以指被摆放时是相互独立的、且颗粒度较大的商品，比如商品的长、宽、高都达到了预设标准。举例来说，商品可以包括：矿泉水等饮料，苹果等水果，袋装薯片等零食，商品类别比较广泛，在此不再一一列举，只要是能够通过训练处的商品检测模型检测出来即可。
可选的，在步骤S100之前，可以对第一货架图像进行干扰对象的检测，比如将第一货架图像输入至已训练的干扰对象检测模型中，以得到干扰对象检测模型输出的检测结果，当检测结果为检测到干扰对象时，等待一段时间之后，重新从摄像机设备获取新的第一货架图像进行检测；当检测结果为未检测到干扰对象时，则继续执行步骤S100。可选的，干扰对象可以为人体、推车等，具体不作限定。
可选的，上述的商品检测模型与干扰对象检测模型均可采用神经网络来实现，比如可以采用卷积神经网络。在检测过程中，可以定位目标(比如对于商品检测模型而言，目标为商品)，并用目标框来表示目标，目标框比如是包围该目标的最小矩形框，在输出位置信息时，可以输出该目标框的位置信息。
以干扰对象为人体为例，基于深度学习的神经网络对人体进行识别，可有效判断货架前面行人的购物和经过情况，从而规避该情况下存量分析的失效问题。
步骤S200中，依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值。
每个商品区域中一般包含一个商品，根据两个商品区域可以确定两个商品区域中的商品的相似度，从而基于各商品区域可以确定第一货架图像中每两个商品之间的相似度。
比如，有4个商品区域Z1-Z4(这里只是举例，实际会有更多的商品区域)，其中，商品区域Z1中的商品和商品区域Z2中的商品相同，商品区域Z3中的商品和商品区域Z4中的商品相同、但与前两个不同，则计算出的相似度中，商品区域Z1中的商品和商品区域Z2中的商品的相似度较高比如90％，商品区域Z3中的商品和商品区域Z4中的商品的相似度较高比如95％，商品区域Z1中的商品和商品区域Z3中的商品的相似度较低比如30％，商品区域Z2中的商品和商品区域Z3中的商品的相似度较低比如30％。
计算出的相似度可以用矩阵来呈现，基于各相似度对商品区域进行聚类时，可以基于该矩阵进行聚类，得到多个商品区域集合，聚类的方式不限，比如可以为meanshift(均值漂移，是基于密度的非参数聚类算法)等。每一商品区域集合中任意两个商品区域包含的商品之间的相似度满大于或等于设定相似度阈值。比如，每一商品区域集合中任意两个商品区域包含的商品之间的相似度都达到60％，当然，设定相似度阈值也不限于此。
步骤S300中，针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
基于一个商品区域集合，便可以确定出第一货架图像中一个的商品货区，所以，有多少个商品区域集合便可确定多少个商品货区。比如，有5个商品区域集合，则可以确定出第一货架图像中的5个商品货区。
基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区时，可以将各商品区域的并集区域作为一个商品货区，并集区域的位置信息作为该商品货区在第一货架图像中的货区位置信息。
当然此处只是举例，也可以有其他确定商品货区的方式，比如对各商品区域的并集区域进行一定的调整后得到该商品货区，具体不做限定，只要该商品货区中摆放有该商品区域集合中各商品区域包含的商品即可。
如此，可以确定第一货架图像中的商品货区，也就得到了商品货区的货区位置信息，可以通过一定的数据结构来记录这些商品货区的货区位置信息，在该数据结构中还可以记录商品货区对应的商品存量初始值比如100％(表示商品货区有100％的商品存量)。这里的数据结构比如可以为链表等，具体不作限定。
本发明实施例中，在确定商品货区时，可以基于第一货架图像中商品两两间的相似度，对第一货架图像中的商品区域进行聚类得到至少一个商品区域集合，基于商品区域集合来确定第一货架图像中的商品货区，整个过程不需要人为参与、也不需要在货架上额外装货区标识物比如货区标签，具有更强的适用性，可以适应不同类型的货架，在进行商品存量确定时，可以基于已确定的商品货区确定商品货区中的商品存量，由于商品货区的确定方式是符合商品实际摆放情况的，即可以更准确地确定图像中商品货区的位置，所以用于确定商品存量时结果也更精确。
在一个实施例中，步骤S200中，各不同商品区域中商品之间的相似度通过以下方式确定：
S201：从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；依据各商品区域中商品的特征相似度确定各不同商品区域中商品之间的相似度。
或者，步骤S200中，各不同商品区域中商品之间的相似度通过以下方式确定：
S202：基于各商品区域之间的距离确定各商品区域中商品的空间相似度；依据各商品区域中商品的空间相似度确定各不同商品区域中商品之间的相似度。
或者，步骤S200中，各不同商品区域中商品之间的相似度通过以下方式确定：
S203：从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；基于各商品区域之间的距离确定各商品区域中商品的空间相似度；依据各商品区域中商品的特征相似度和空间相似度确定各不同商品区域中商品之间的相似度。
下面以步骤S203为例展开说明，步骤S201和S202中的方式也是类似，在此便步骤赘述。
各商品区域中商品的商品特征信息可以通过特征提取模型得到，每次可以将一个商品区域输入至特征提取模型中以得到该商品区域中商品的商品特征信息。商品特征信息可以表征商品的外观特征。
特征提取模型是预先训练好的并保存在本地或其他设备中，在需要时调用。可选的，特征提取模型可以通过以下方式训练得到：
获取样本图像集，所述样本图像集包含多个商品对应的样本图像，每一商品对应多个样本图像，且样本图像中标定有对应商品的类别；比如样本图像集中有15个商品对应的样本图像，每个商品对应的样本图像有100个(这100个样本图像均包含该商品)，则总共1500个样本图像；
建立前后级联的第一初始模型和第二初始模型，其中，第一初始模型用于特征提取，第二初始模型用于基于特征进行分类；
从样本图像集中选择一样本图像输入至第一初始模型中，以由第一初始模型对输入的样本图像进行特征提取并将提取的商品特征信息输入至第二初始模型，第二初始模型基于输入的特征进行分类得到该样本图像中商品的预测类别；
将第二初始模型输出的预测类别与样本图像被标定的类别进行比较，根据比较结果优化第一初始模型(当然，同时也可以优化第二初始模型)；检查当前是否满足训练要求，如果满足(比如样本图像集中的样本图像均已被选择、或者训练次数达到预设次数、或者第一初始模型的性能满足要求等)，则将优化后的第一初始模型确定为特征提取模型，如果不满足，则返回执行从样本图像集中选择一样本图像输入至第一初始模型中的步骤。
各商品区域中商品的商品特征信息可以用特征向量来表示，在计算两个商品之间的特征相似度时，可以将两个商品的商品特征信息进行内积，即进行余弦相似度计算，得到两个商品的特征相似度。
基于两个商品区域之间的距离确定该两个商品之间的空间相似度时，比如可以将两个商品区域之间的距离进行归一化计算，把距离映射到0～1范围之内来确定空间相似度，并且距离越小则空间相似度越高，具体计算方式不限。
在确定各商品间的特征相似度和空间相似度的基础上，可以依据各商品区域中商品的特征相似度和空间相似度确定各不同商品区域中商品之间的相似度。
比如，假设两个商品之间的相似度Eg可以用以下公式计算：
Eg＝α*D1+β*D2；
其中，α和β是权重系数，D1为两个商品之间的特征相似度，D2为两个商品之间的空间相似度。可选的，可以设置为α+β＝1，进一步可设置为α＝0.5，β＝0.5，当然具体不做限定，可以根据特征相似度和空间相似度两者的重要程度来确定α和β的取值。
在一个实施例中，步骤S300中，所述基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，包括：
S301：从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；
S302：依据所述矩形框的位置信息确定所述商品货区。
步骤S301中，在确定矩形框时，包含该商品区域集合中所有商品区域的矩形框有很多个，可以依据最小矩形框的位置信息确定所述商品货区。比如，将最小矩形框的位置信息作为摆放这些商品区域中的商品的商品货区的货区位置信息，如此，可以保证货区位置信息的准确性，避免引入其他干扰物品。
比如，参看图3，一个商品区域集合中包含多个商品区域C1(图中用六边形表示)，可以将包围这多个商品区域C1的最小矩形框A1的位置信息作为一个商品货区的货区位置信息；另一个商品区域集合中包含多个商品区域C2(图中用五角星表示)，可以将包围这多个商品区域C21的最小矩形框A2的位置信息作为另一个商品货区的货区位置信息。如此，可以确定出第一货架图像中的两个商品货区，同时确定出这两个商品货区的货区位置信息。
在一个实施例中，该方法进一步包括：
S400：从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区，并确定所述商品货区当前的商品存量；
S500：当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
上述步骤S400和步骤S500可以在步骤S300之后执行。
上述步骤S400为存量分析流程，这个流程可以在商品销售的时间段实现，可以基于初始化流程中确定出的商品货区的货区位置信息来确定出第二货架图像中商品货区，并确定商品货区的商品存量，从而可以确定正在销售的商品中哪些商品缺货，以及时进行补货。
在步骤S400中，从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区，并确定所述商品货区当前的商品存量。
可选的，摄像机设备可以每隔一段时间上传货架图像，以定期确定商品货区的商品存量。其中，对于不同商品货区而言，可以按照相同的周期来确定商品存量，或者，也可以按照不同的周期来确定商品存量。比如，价值较高的商品所在的商品货区可以较短时间比如1分钟确定一次商品存量，而其他商品所在的商品货区则可以较长时间比如30分钟确定一次商品存量，具体不做限定。
第二货架图像为当前获得的货架图像，第二货架图像与第一货架图像中均包含商品货区。即，这里的商品货区可以是前述实施例中已从第一货架图像中确定出的任一商品货区，由于第二货架图像与所述第一货架图像均包含商品货区，因而可以依据该商品货区在第一货架图像中的货区位置信息从第二货架图像中确定出该商品货区。
比如，商品货区在第二货架图像与所述第一货架图像中的位置相同的情况下，可以将第二货架图像中与该商品货区的货区位置信息对应的区域确定为商品货区。当然，这并不作为限制，商品货区在第二货架图像与所述第一货架图像中的位置也可以不同，则在依据该商品货区的货区位置信息从获取的第二货架图像中确定出该商品货区时，可以对货区位置信息进行一定的转换。
在确定第二货架图像中的商品货区之后，可以确定所述商品货区当前的商品存量。比如，可以从第二货架图像中截取商品货区的区域图像，并基于商品检测算法对区域图像中的商品进行检测，以确定商品货区中的商品数量，当然，此处只是举例，并不作为限制。
步骤S500中，当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
比如，可以在商品存量低于设定商品存量时，确定针对该商品货区进行报警；或者，可以在商品存量在单位时间内的变化率达到设定变化率时，确定针对该商品货区进行报警。当然，具体确定是否报警的方式不限于此。
参看图2，服务器400可以在确定针对该商品货区进行报警之后，通过网络传输设备300将报警控制信号传输给报警设备(图中未示出)，以由报警设备进行报警。
报警方式可以为声、和/或光报警，当然还可以包括其他报警方式，比如，可以在步骤S300之后基于各商品货区的货区位置信息生成如图4所示的货架棚格图，该货架棚格图中每一个网格表示一个货区，当需要针对某个商品货区进行报警时，可以在货架棚格图中与该商品货区对应的位置处显示报警信息，并通过显示器显示该货架棚格图。
在一个实施例中，步骤S400中，所述确定所述商品货区当前的商品存量，可以包括以下步骤：
S401：当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量；
S402：当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
一般来说，规则且达到一定尺寸的商品是可以被整齐摆放的，所以，利用商品检测算法对这类商品所在的商品货区进行检测时，通常有多少商品就能检测出多少商品。而对于散装商品、小商品、和/或不规则商品来说，这些商品一般是比较难被整齐摆放的，通常都是凌乱地摆放在货区，比如苹果、橘子、蔬菜、糖果等这些商品在被售卖时都是堆叠在商品货区的(在第一货架图像中可以平铺满商品货区，不发生堆叠)，所以，较多的商品会发生遮挡，大部分是无法被被检测出来的。利用商品检测算法对这类商品所在的商品货区进行检测时，通常检测出的商品数量与实际数量会有较大差异，通常比实际少很多(堆叠在下面的无法被检测出)。本实施例中，商品摆放整齐比如可以商品按行、和/或列的陈列方式排布。
当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，说明商品货区中的商品易被检测出来(比如瓶装水)，这种情况下，可以基于商品定位来确定商品货区当前的商品存量，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量。
当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，说明商品货区中的大部分商品可能不易被检测出来(比如苹果)，这种情况下，神经网络对商品定位的能力差，而定位空闲商品区域(即商品货区中应摆放商品但未摆放商品的区域)效果好，可以基于空闲商品区域定位来确定商品货区当前的商品存量，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
不同商品货区对应的第一商品数量阈值不同，比如，用于摆放体积较小的商品的商品货区对应的第一商品数量阈值较小，而用于摆放体积较大的商品的商品货区对应的第一商品数量阈值较大。当然，具体不做限定，也可以视商品货区的大小而定。
在一个实施例中，步骤S400中，所述确定所述商品货区当前的商品存量包括：
S403：依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
本实施例中，不用区分商品是否可整齐摆放，直接基于空闲商品区域定位来确定商品货区当前的商品存量，与前述实施例中的效果类似，且可以减少模型的训练成本。
在一个实施例中，S402或S403中，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量，包括：
计算所述商品货区的面积与第一并集区域的面积之间的差值；所述第一并集区域为所述商品货区中未存放商品的空闲商品区域的并集区域；
将所述差值与所述商品货区的面积之比，确定为所述商品货区当前的商品存量。
其中，从第二货架图像中的商品货区中确定出未存放商品的空闲商品区域时，可以采用空挡检测模型从商品货区中确定出每一空闲商品区域，在空挡检测模型中用目标框来表述空闲商品区域，可以输出检测出的空闲商品区域的位置信息，根据位置信息可以确定对应的空挡商品区域。或者，可以采用图像分割模型从商品货区中确定出每一空闲商品区域，图像分割模型以空闲商品区域作为前景，经过分割后可以得到空闲商品区域的轮廓信息。可选的，上述的空挡检测模型、图像分割模型可以采用神经网络来实现，比如采用卷积神经网络来实现。
商品货区当前的商品存量的计算公式比如为：目标货区当前的商品存量＝(商品货区的面积-第一并集区域的面积)/商品货区的面积。其中，在计算第一并集区域的面积时，可以计算检测出或分割出的所有空闲商品区域的轮廓范围内的像素点个数，商品货区的面积也是同理。
本实施例中，空挡定位可替代商品定位，空挡定位与商品定位相比来说，所需的模型训练起来更简单，所需要的训练数据更少，因为商品种类和特征相比空挡更丰富复杂。例如，非标商品识别困难，比如蔬菜、水果等，但商品间的空挡容易被检测到。
在一个实施例中，步骤S401中，所述依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量包括：
将第二并集区域的面积与所述商品货区的面积之比，确定为所述商品货区当前的商品存量；所述第二并集区域为所述商品货区中商品所处的商品区域的并集区域。
其中，从商品货区中确定出每一商品所处的商品区域时，可以采用商品检测模型从商品货区中确定出每一商品所处的商品区域，在商品检测模型中用目标框来表述商品区域，可以输出检测出的商品区域的位置信息，根据位置信息可以确定对应的商品区域。或者，可以采用图像分割模型从商品货区中确定出每一商品所处的商品区域，图像分割模型以商品作为前景，经过分割后可以得到商品区域的轮廓信息。可选的，上述的商品检测模型、图像分割模型可以采用神经网络来实现，比如采用卷积神经网络来实现。
商品货区当前的商品存量的计算公式比如为：商品货区当前的商品存量＝(商品货区∩第二并集区域)的面积/商品货区的面积；或者，商品货区当前的商品存量＝第二并集区域的面积/商品货区的面积。在计算第二并集区域的面积时，可以计算检测或分割出的所有商品区域的轮廓范围内的像素点个数，商品货区的面积也是同理。
前述实施例中空挡区域的确定方式可以与本实施例中商品区域的确定方式相似，不同之处在于：在检测时以空挡为目标，检测模型输出的是空闲商品区域的位置信息；或者，在分割时以空挡为前景，经过分割后可得到空闲商品区域的轮廓信息。
在一个实施例中，该方法进一步包括以下步骤：
S600：从所述第一货架图像中获取货区标签信息，所述货区标签信息至少包括货区标签的位置信息、货区标签对应的商品信息，并依据货区标签的位置信息将货区标签信息与距离最近的商品货区关联。
相应的，步骤S500中，所述依据商品货区当前的商品存量确定针对所述商品货区进行报警，可以包括以下步骤：
S501：当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，确定针对所述商品货区进行报警；
S505：当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，当所述商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警。
步骤S600可以在步骤S300之后执行。
步骤S600中，可以将第一货架图像输入至已训练的货区标签检测模型，以得到第一货架图像中每一货区标签的位置信息；接着，可以依据货区标签的位置信息确定好摄像机设备的偏移量、角度调整量及缩放比例，根据这些信息调整摄像机设备的姿态与焦距，使得摄像机设备画面中货区标签的尺寸是第一货架图像中该货区标签的尺寸的N倍，N大于1；然后，利用已训练的货区标签识别模型识别出货区标签上的商品信息。如此，可以得到各货区标签信息，包括货区标签的位置信息、货区标签对应的商品信息。
其中，N可以为5、或10倍等，具体数值不作限定。在可选的方式中，可以逐渐调整摄像机设备的焦距，比如先在N为5倍时进行识别，如果此时无法识别，则在N为10倍时，再进行识别，依次类推。
可选的，商品信息可以包括商品编号、名称、商品类别等。在货区标签上具有商品编号和/或名称时，可以采用字符识别模型来识别出货区标签上的商品编号和/或名称，在需要商品类别时，可以根据商品编号和/或名称来确定对应的商品类别。在货区标签上具有商品二维码时，也可以采用二维码识别方式来识别货区标签上的商品信息。
针对高价值商品可以预先设置第一预设商品条件，当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，可以确定货区标签信息关联的商品货区中的商品为高价值商品。比如，可以预先设置好高价值商品的商品信息，当商品货区关联的货区标签信息中的商品信息为预先设置的高价值商品的商品信息中的一个时，可以确定货区标签信息关联的商品货区中的商品为高价值商品。
在此情况下，可以计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，说明本次与上一次存量分析时的商品存量变化较大，有可能存在盗窃行为或其他异常行为，此时可以针对该商品货区进行报警，不仅可以起到及时提醒补货的目的、还可以起到防盗的目的。
针对普通价值的商品可以预先设置第二预设商品条件，当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，可以确定货区标签信息关联的商品货区中的商品为普通价值商品。比如，可以预先设置好普通价值商品的商品信息，当商品货区关联的货区标签信息中的商品信息为预先设置的普通价值商品的商品信息中的一个时，可以确定货区标签信息关联的商品货区中的商品为普通价值商品。
在此情况下，则可以在商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警，起到提醒及时补货的目的。
本发明还提供一种商品存量确定装置，参看图5，该商品存量确定装置100可以包括：
商品区域确定模块101，用于从已获得的第一货架图像中确定出各商品所处的商品区域；
商品区域聚类模块102，用于依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
商品货区确定模块103，用于针对每一商品区域集合，基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
在一个实施例中，各不同商品区域中商品之间的相似度通过以下模块确定：
特征相似度确定模块，用于从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；和/或，
空间相似度确定模块，用于基于各商品区域之间的距离确定各商品区域中商品的空间相似度；
相似度确定模块，用于依据各商品区域中商品的特征相似度和/或空间相似度确定各不同商品区域中商品之间的相似度。
在一个实施例中，所述商品货区确定模块基于该商品区域集合中各商品区域，从所述第一货架图像中确定该商品区域集合对应的商品货区时，具体用于：
从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；
依据所述矩形框的位置信息确定所述商品货区。
在一个实施例中，该装置进一步包括：
商品存量分析模块，用于从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区，并确定所述商品货区当前的商品存量；
报警模块，用于当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
在一个实施例中，所述商品存量分析模块确定所述商品货区当前的商品存量时，具体用于：
当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量；
当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
在一个实施例中，所述商品存量分析模块确定所述商品货区当前的商品存量时，具体用于：
依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
在一个实施例中，所述商品存量分析模块依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量时，具体用于：
计算所述商品货区的面积与第一并集区域的面积之间的差值；所述第一并集区域为所述商品货区中未存放商品的空闲商品区域的并集区域；
将所述差值与所述商品货区的面积之比，确定为所述商品货区当前的商品存量。
在一个实施例中，所述商品存量分析模块依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量时，具体用于：
将第二并集区域的面积与所述商品货区的面积之比，确定为所述商品货区当前的商品存量；所述第二并集区域为所述商品货区中商品所处的商品区域的并集区域。
在一个实施例中，该装置进一步包括：货区标签关联模块，用于从所述第一货架图像中获取货区标签信息，所述货区标签信息至少包括货区标签的位置信息、货区标签对应的商品信息，并依据货区标签的位置信息将货区标签信息与距离最近的商品货区关联；
所述报警模块依据商品货区当前的商品存量确定针对所述商品货区进行报警时，具体用于：
当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，确定针对所述商品货区进行报警；
当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，当所述商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的商品存量确定方法。
本发明商品存量确定装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的商品存量确定装置100所在电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的商品存量确定方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (9)
1.一种商品存量确定方法，其特征在于，包括：
从已获得的第一货架图像中确定出各商品所处的商品区域；
从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；和/或，基于各商品区域之间的距离确定各商品区域中商品的空间相似度；依据各商品区域中商品的特征相似度和/或空间相似度确定各不同商品区域中商品之间的相似度，依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
针对每一商品区域集合，从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；依据所述矩形框的位置信息确定商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
2.如权利要求1所述的商品存量确定方法，其特征在于，该方法进一步包括：
从当前获得的第二货架图像中确定所述商品货区，所述第二货架图像与所述第一货架图像均包含所述商品货区，并确定所述商品货区当前的商品存量；
当依据所述商品货区当前的商品存量确定针对所述商品货区进行报警时，输出报警信号。
3.如权利要求2所述的商品存量确定方法，其特征在于，所述确定所述商品货区当前的商品存量包括：
当利用已训练的商品检测算法检测到所述商品货区中商品数量大于或等于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量；
当利用已训练的商品检测算法检测到所述商品货区中商品数量小于所述商品货区对应的第一商品数量阈值时，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
4.如权利要求2所述的商品存量确定方法，其特征在于，所述确定所述商品货区当前的商品存量包括：
依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量。
5.如权利要求3或4所述的商品存量确定方法，其特征在于，依据所述商品货区中未存放商品的空闲商品区域确定所述商品货区当前的商品存量，包括：
计算所述商品货区的面积与第一并集区域的面积之间的差值；所述第一并集区域为所述商品货区中未存放商品的空闲商品区域的并集区域；
将所述差值与所述商品货区的面积之比，确定为所述商品货区当前的商品存量。
6.如权利要求3所述的商品存量确定方法，其特征在于，所述依据所述商品货区中商品所处的商品区域确定所述商品货区当前的商品存量包括：
将第二并集区域的面积与所述商品货区的面积之比，确定为所述商品货区当前的商品存量；所述第二并集区域为所述商品货区中商品所处的商品区域的并集区域。
7.如权利要求2所述的商品存量确定方法，其特征在于，该方法进一步包括：从所述第一货架图像中获取货区标签信息，所述货区标签信息至少包括货区标签的位置信息、货区标签对应的商品信息，并依据货区标签的位置信息将货区标签信息与距离最近的商品货区关联；
所述依据商品货区当前的商品存量确定针对所述商品货区进行报警包括：
当所述商品货区关联的货区标签信息中的商品信息满足第一预设商品条件时，计算已记录的所述商品货区的历史商品存量与所述商品货区当前的商品存量的差值，当该差值大于或等于设定存量差值时，确定针对所述商品货区进行报警；
当所述商品货区关联的货区标签信息中的商品信息满足第二预设商品条件时，当所述商品货区当前的商品存量小于所述商品货区对应的第二商品数量阈值时，确定针对所述商品货区进行报警。
8.一种商品存量确定装置，其特征在于，包括：
商品区域确定模块，用于从已获得的第一货架图像中确定出各商品所处的商品区域；
商品区域聚类模块，用于从所述第一货架图像截取出各商品区域，将各商品区域分别输入至已训练的特征提取模型中以得到各商品区域中商品的商品特征信息，基于各商品的商品特征信息确定各商品区域中商品的特征相似度；和/或，基于各商品区域之间的距离确定各商品区域中商品的空间相似度；依据各商品区域中商品的特征相似度和/或空间相似度确定各不同商品区域中商品之间的相似度，依据各不同商品区域中商品之间的相似度对各商品区域进行聚类，得到至少一个商品区域集合；同一商品区域集合中任意两个商品区域中的商品的相似度大于或等于设定相似度阈值；
商品货区确定模块，用于针对每一商品区域集合，从第一货架图像中确定出包含该商品区域集合中所有商品区域的矩形框；依据所述矩形框的位置信息确定商品货区，所述商品货区至少包括商品区域集合中各商品区域，所述商品货区用于存放有该商品区域集合中各商品区域中的商品。
9.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-7中任一项所述的商品存量确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010607479.0A CN111783627B (zh) | 2020-06-29 | 2020-06-29 | 商品存量确定方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010607479.0A CN111783627B (zh) | 2020-06-29 | 2020-06-29 | 商品存量确定方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783627A CN111783627A (zh) | 2020-10-16 |
| CN111783627B true CN111783627B (zh) | 2023-10-27 |
Family
ID=72760752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010607479.0A Active CN111783627B (zh) | 2020-06-29 | 2020-06-29 | 商品存量确定方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783627B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095308B (zh) * | 2021-06-09 | 2021-11-09 | 北京每日优鲜电子商务有限公司 | 货柜异物检测方法、装置、电子设备和计算机可读存储介质 |
| CN113627415A (zh) * | 2021-08-26 | 2021-11-09 | 浙江大华技术股份有限公司 | 确定目标对象摆放信息的方法及装置 |
| CN115661624A (zh) * | 2022-11-07 | 2023-01-31 | 浙江莲荷科技有限公司 | 一种货架的数字化方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316867A (ja) * | 2006-05-24 | 2007-12-06 | Toshiba Corp | エリア評価装置及び方法 |
| CN102663571A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工商大学 | 一种电子商务智能分储系统的储位优化筛选方法 |
| GB201417218D0 (en) * | 2013-10-31 | 2014-11-12 | Motorola Solutions Inc | Method and apparatus for image processing to avoid counting shelf edge promotional labels when counting product labels |
| CN105678607A (zh) * | 2016-01-07 | 2016-06-15 | 合肥工业大学 | 一种基于改进的K-Means算法的订单分批方法 |
| CN108416403A (zh) * | 2018-03-08 | 2018-08-17 | 上海扩博智能技术有限公司 | 商品与标签的自动关联方法、系统、设备及存储介质 |
| CN108549870A (zh) * | 2018-04-16 | 2018-09-18 | 图麟信息科技（深圳）有限公司 | 一种对物品陈列进行鉴别的方法及装置 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
| CN110287928A (zh) * | 2019-07-01 | 2019-09-27 | 名创优品（横琴）企业管理有限公司 | 商品缺货检测方法及装置 |
| CN110516628A (zh) * | 2019-08-29 | 2019-11-29 | 上海扩博智能技术有限公司 | 货架空缺位置商品信息获取方法、系统、设备及存储介质 |
| CN110874751A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种超市补货的方法和系统 |
| CN111222899A (zh) * | 2018-11-23 | 2020-06-02 | 阿里巴巴集团控股有限公司 | 商品信息及补货的处理方法、设备及存储介质 |
| CN111274845A (zh) * | 2018-12-04 | 2020-06-12 | 杭州海康威视数字技术股份有限公司 | 商店货架陈列情况的识别方法、装置、系统及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014153894A (ja) * | 2013-02-07 | 2014-08-25 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| US9984451B2 (en) * | 2015-12-18 | 2018-05-29 | Michael Gormish | Linear grouping of recognized items in an image |
-
2020
- 2020-06-29 CN CN202010607479.0A patent/CN111783627B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316867A (ja) * | 2006-05-24 | 2007-12-06 | Toshiba Corp | エリア評価装置及び方法 |
| CN102663571A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工商大学 | 一种电子商务智能分储系统的储位优化筛选方法 |
| GB201417218D0 (en) * | 2013-10-31 | 2014-11-12 | Motorola Solutions Inc | Method and apparatus for image processing to avoid counting shelf edge promotional labels when counting product labels |
| CN105678607A (zh) * | 2016-01-07 | 2016-06-15 | 合肥工业大学 | 一种基于改进的K-Means算法的订单分批方法 |
| CN108416403A (zh) * | 2018-03-08 | 2018-08-17 | 上海扩博智能技术有限公司 | 商品与标签的自动关联方法、系统、设备及存储介质 |
| CN108549870A (zh) * | 2018-04-16 | 2018-09-18 | 图麟信息科技（深圳）有限公司 | 一种对物品陈列进行鉴别的方法及装置 |
| CN110874751A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种超市补货的方法和系统 |
| CN111222899A (zh) * | 2018-11-23 | 2020-06-02 | 阿里巴巴集团控股有限公司 | 商品信息及补货的处理方法、设备及存储介质 |
| CN111274845A (zh) * | 2018-12-04 | 2020-06-12 | 杭州海康威视数字技术股份有限公司 | 商店货架陈列情况的识别方法、装置、系统及电子设备 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
| CN110287928A (zh) * | 2019-07-01 | 2019-09-27 | 名创优品（横琴）企业管理有限公司 | 商品缺货检测方法及装置 |
| CN110516628A (zh) * | 2019-08-29 | 2019-11-29 | 上海扩博智能技术有限公司 | 货架空缺位置商品信息获取方法、系统、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Mining Paths and Transactions Data to Improve Allocating Commodity Shelves in Supermarket;HONG-BO LI等;《Proceedings of 2012 IEEE International Conference on Service Operations and Logistics,and Informations》;第102-106页 * |
| 计算机视觉在物流仓储安全管理中的应用研究;刘稳;《中国优秀硕士学位论文全文数据库信息科技辑》(第1期);第I138-1328页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783627A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783627B (zh) | 商品存量确定方法、装置及设备 | |
| CN109446883B (zh) | 商品状态识别方法、装置、电子设备及可读存储介质 | |
| US10861086B2 (en) | Computer vision system and method for automatic checkout | |
| TWI618916B (zh) | 貨架庫存估測方法與系統 | |
| CN108596187B (zh) | 商品纯净度检测方法及展示柜 | |
| CN110705424B (zh) | 一种商品陈列位置的定位方法、装置及存储介质 | |
| CN111507253B (zh) | 基于人工智能的陈列物品审核方法、装置 | |
| CN111209774B (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
| CN111696258B (zh) | 智能货架系统及其控制方法 | |
| CN111310706B (zh) | 一种商品价签识别方法及装置、电子设备、存储介质 | |
| CN109886169A (zh) | 应用于无人货柜的物品识别方法、装置、设备及存储介质 | |
| CN112232334B (zh) | 一种智能售货商品识别检测方法 | |
| CN110472486B (zh) | 一种货架障碍物识别方法、装置、设备及可读存储介质 | |
| CN112184751B (zh) | 物体识别方法及系统、电子设备 | |
| Ruiz et al. | Aim3s: Autonomous inventory monitoring through multi-modal sensing for cashier-less convenience stores | |
| CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| CN110837824B (zh) | 用于售货装置中的商品识别方法、售货装置及存储介质 | |
| CN112053382A (zh) | 出入口监测方法、设备及计算机可读存储介质 | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN110781780B (zh) | 空置检测方法及相关装置 | |
| CN110096946A (zh) | 一种基于压感和视觉融合的无人售货系统 | |
| US20230274227A1 (en) | Retail shelf image processing and inventory tracking system | |
| Milella et al. | 3d vision-based shelf monitoring system for intelligent retail | |
| TWI841884B (zh) | 智慧商店的選品規劃方法、選品規劃系統及其處理設備 | |
| US20230252766A1 (en) | Model design and execution for empty shelf detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |