CN111881894A - 采集货柜商品售卖信息的方法、系统、设备和存储介质 - Google Patents

Abstract

本公开涉及图像处理技术领域，特别涉及一种采集货柜商品售卖信息的方法、系统、设备和存储介质。所述方法的步骤包括按时间顺序依次获取摆设有商品的货柜图片；获取每相邻两张货柜图片中前一张图片上的商品信息；依次对每相邻两张货柜图片进行调整处理；对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域；当存在不同的图像内容时，获取图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。本公开将传统的人工采集商品售卖信息的方式，改变为自动采集方式，极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，并且还能够实时了解商品售卖的动态变化情况。

Description

采集货柜商品售卖信息的方法、系统、设备和存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种采集货柜商品售卖信息的方法、系统、设备和存储介质。

背景技术

生活中，人们频繁地在超市的货架和冷藏柜中选购商品。这种购买方式对于顾客来说能够很容易地选购到自己想要的商品，也能够自由地决定是否购买。在顾客购买相应的商品后，被卖掉的商品位置会留下相应的空缺区域，除非有超市的工作人员进行整理。

为了保证商品的持续供应，并掌握商品的售卖情况，超市的理货员会在固定的时间里对货架和冷藏柜中的商品进行盘点，并及时进行补货，以保证充足的商品供应。

发明内容

本公开的一方面提供了一种采集货柜商品售卖信息的方法。所述方法包括如下步骤：

按时间顺序依次获取摆设有商品的货柜图片；

获取每相邻两张货柜图片中前一张图片上的商品信息；

依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；

当存在不同的图像内容时，获取图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

在一实施例中，所述依次对每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

获取相邻两张货柜图片中的位于不同商品上的特征点；

将所述相邻两张货柜图片中的特征点进行配对，以计算得到单应性矩阵；

按照拍摄时间顺序，将所述两张图片中的后一张图片根据单应性矩阵进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

在一实施例中，所述的依次对若干图片中的每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

按照拍摄时间顺序，检测所述相邻两张货柜图片中的前一张图片中的商品带有第一标记框；

利用模板匹配的方式，在后一张图片中标记出与所述第一标记框相对应的第二标记框；

将相对应的两个所述标记框的中心点作为对应的特征点；

利用所述对应的特征点计算得到单应性矩阵；

利用所述单应性矩阵，将所述相邻两张图片中的后一张图片进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

在一实施例中，所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内位置是否存在不同的图像内容的步骤包括：

将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加，得到对应商品区域重叠的图像矩阵；

将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中，以确定所述对应商品区域的图像内容是否相同。

在一实施例中，训练所述识别模型的方法包括如下步骤：

按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片；

依次将多张所述模拟图片中的每相邻两张图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致；

在经过调整处理的每相邻两张模拟图片中按时间顺序排列的前一张中，进行标记处理，以标记出模拟卖掉商品的区域；

将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加，以得到对应商品区域重叠的模拟图像矩阵；

利用所述模拟图像矩阵训练一模型，以获得能够识别对应商品区域的图像内容的识别模型。

在一实施例中，所述获取每相邻两张货柜图片中前一张图片上的商品信息的步骤包括：

检测所述每相邻两张货柜图片中前一张图片上的所有商品；

将所述前一张图片上的每个商品所占的区域进行抠图处理，以使每个商品所占的区域形成独立的抠图图像；

识别所述抠图图像，以获得每个抠图图像中与所述前一张图片上的每个商品一一对应的商品信息。

在一实施例中，所述方法还包括：

将所述每相邻两张货柜图片中前一张图片输入至一预先训练好的重复区域检测模型中，以检测出所述前一张图片中的重复区域；

去除位于所述重复区域中被重复计算的商品信息和数量，以得到去重后的图像内容不同的商品区域的数量和对应的商品信息。

本公开的另一方面是提供了一种采集货柜商品售卖信息的系统。所述采集货柜商品售卖信息的系统用于实现如前所述的采集货柜商品售卖信息的方法的步骤。所述系统包括：

数据获取模块，用于按时间顺序依次获取摆设有商品的货柜图片；以及

还用于获取每相邻两张货柜图片中前一张图片上的商品信息；

图像处理模块，用于依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

图像识别模块，用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；以及

还用于当存在不同的图像内容时，输出图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

本公开的再一方面还提供了一种采集货柜商品售卖信息的设备。所述采集货柜商品售卖信息的设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤。

本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的采集货柜商品售卖信息的方法的步骤。

在本公开提供的采集货柜商品售卖信息的方法、系统、设备和存储介质中，将传统的人工采集商品售卖信息的方式，改变为自动采集方式，极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，并且还能够实时了解商品售卖的动态变化情况。

另一方面，本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据，精确区分商品为售卖和已售卖的不同情况。

最后，本公开还提供了一种图像识别模型的训练方式，能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是本公开一实施例所展示的采集货柜商品售卖信息的方法的步骤流程图；

图2是本公开一实施例提供的对图片进行调整处理的方法的步骤流程图；

图3是本公开一实施例提供的对图片进行调整处理的方法的步骤流程图；

图4是本公开一实施例提供的用于识别货柜图片的方法步骤示意图；

图5是本公开一实施例提供的识别模型训练方法步骤示意图；

图6是本公开一实施例提供的优选的用于获取相邻两张货柜图片中前一张图片中的商品信息的方法步骤；

图7是本公开一实施例提供的优选的去除重复计算的商品的方法步骤流程图；

图8是本公开一实施例提供的采集货柜商品售卖信息的系统模块连接示意图；

图9是本公开一实施例提供的采集货柜商品售卖信息的设备的结构示意图；

图10是本公开一实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

通过上述说明可知，生活中，人们会频繁地在超市地货架和冷藏柜中选购商品。

为了保证商品的持续供应，并掌握商品的售卖情况，需要超市的理货员在固定的时间里对货架和冷藏柜中的商品进行盘点，并及时进行补货。然而，理货盘点并形成统计数据，然后再进行补货，是一项繁重的工作，全部依靠人工来完成的话，不仅需要消耗大量的时间，而且还要投入大量的人力物力。并且人工对商品售卖信息的采集方式还无法做到实时的数据更新，只能采集到最终的售卖情况，无法了解反应售卖情况的动态信息。

现有技术中普遍采用的是上述人工采集的方式来掌握商品的售卖信息。也因此，大量的经营成本和人力物力被用在商品的售卖情况采集上面。人工采集方式的成本持续走高，却仍难以做到实时掌握商品售卖信息的动态信息。

为了解决现有技术存在的问题，将传统的人工采集商品售卖信息的方式改变为自动采集方式，发明人通过创造性的劳动提出了一种采集货柜商品售卖信息的方法。值得说明的是，本公开提供的采集货柜商品售卖信息的方法，不仅能够用于大型的商超，而且还适用于各种便利店甚至是无人超市等商业实体当中。通过提供的采集货柜商品售卖信息的方法将传统的人工采集商品售卖信息的方式，改变为自动采集方式，极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，并且还能够实时了解商品售卖的动态变化情况。

以下结合附图和具体实施例对本公开提出的采集货柜商品售卖信息的方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本公开的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本公开实施例的目的。

应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。

关于采集货柜商品售卖信息的方法的示例说明

请参阅图1，其展示了本公开一实施例中的采集货柜商品售卖信息的方法的步骤流程图。

在这个实施例的步骤S011中，按时间循序依次获取摆设有商品的货柜图片。

在实际应用至冷藏柜中时，可以根据冷藏柜的开关门来或获取货柜图片。例如冷藏柜的一次开关，通常对应这顾客的一次完整的购买行为。那么当顾客在关门的过程中，实际上已经完成了商品的购买。因此，在关门过程中获取货柜图片，是能够记录到货柜上的发生变化后的商品的(商品被消费者拿走之后，对应的位置会产生空缺，因此后续说明的对货柜图片进行模型识别恰好可以利用产生的空缺带来的图像内容的变化，以便于能够准确地判断出商品是否被售卖)。

在步骤S012中，获取每相邻两张货柜图片中前一张图片上的商品信息；

容易理解，步骤S012中的前一张图片是指获取时间较早的图片。而本公开所指的商品信息，可以依据实际的需求而进行确定不同的内容，在本公开中，可以将商品信息理解成该区域的商品是什么(例如是瓶装可乐，还是听装可乐，是100ml的可乐还是其他容量的可乐等)、商品的位置等。

本公开通过两张图片中的图像内容变化来得到商品售卖信息，通常会将相互比较的相邻两张图片中的前一张作为基准，这是由于前一张图片中的商品信息相较于后一张图片(相邻两张货柜图片中区别于前一张图片的另外一张图片)上的会更全面。如果后一张图片中的商品区域的图像内容相对于前一张发生了变化(商品出现变动)，那便可以通过对比两张图片的对应区域以得出对应商品区域上的图像内容是否发生变化。

当找到图像内容不同的区域时，只需将在相邻两张货柜图片的前一张图片中找到对应的区域，并识别出该区域的商品信息，便能够获知被售卖掉的商品是什么、位于哪个位置。如果再统计图像内容不同的区域的数量，也就能够知道被售卖掉的商品的数量了。

在步骤S013中，依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致。

容易理解，通过对货柜图片进行调整处理后可以使相邻两张图片的大小、形状趋于一致，有利于对两张图片进行对比分析，而本公开通过使拍摄角度和对应商品区域的商品的位置一致，使得图片中的商品更加容易对应，这有利于相邻两张图片更快速地得出对比结果，从而提高处理设备的响应速度，这样意味着在相同时间内，本公开能够对比更多的图片，可以更好适应多种商品售卖场景。

在步骤S014中，对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容。

通过步骤S013的处理，得以在步骤S014中对相邻两张货柜图片中的商品进行对比，从而得出精确的对比结果—对应商品区域是否存在不同的图像内容。

值得说明的是，这里的图像内容不同，通常可以理解成商品区域内的图像色彩变化、产品形状等方面的不同，例如当商品区域内的商品被拿走(售卖)后，该位置就会出现空缺。由于空缺的出现，导致该位置呈现出不同于商品被拿走之前的色彩和产品形状。也正是利用这样的图像内容变化，得以对比得出相邻两张图片中是否存在不同的地方。

本公开中涉及的商品区域是指在货柜图片中，商品占用的区域范围，当货柜图片利用模型来检测图片中的商品时，会在商品的周围标记上一个封闭的框来表示模型检测出的商品。容易理解，为了具体地描绘这个商品区域，通常将这个封闭的框(通常称为标记框)限定的具有确定界限的区域作为商品区域。

在步骤S015中，当存在不同的图像内容时，获取图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

可见，本公开提供的采集货柜商品售卖信息的方法中，通过采集货柜的图片信息，并通过对图片的有效处理和对比等操作，来实现采集货柜商品售卖信息的采集，将传统的人工采集商品售卖信息的方式，改变为自动采集方式。进而极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，而且还能够实时了解商品售卖的动态变化情况。

容易理解，在获取货柜图像时，并不是每一次获取的图片都能够保持在同一个角度和大小。尤其对于冷藏柜这样带门的货柜来说，为了及时、方便地获取冷藏柜内部的货柜图片，通常会把带有摄像头的工具安装在门上，这是为了获得货柜图片的必然选择。然而顾客在关门时进行拍摄照片，无法做到两次(可能是相同或不同的消费者在不同时刻发生了两次关门动作)拍摄的照片都在完全一致的拍摄角度。例如，其中一次的拍摄位置可能在冷藏柜门关门至50°时进行拍摄的，而另一次拍摄的位置可能在冷藏柜门关门至40°时进行拍摄的。由于两次拍摄的位置和角度无法做到完全一致，因而会导致两次获取的货柜图片中的相同位置的商品大小和角度产生较大变化。需要对图像进行调整，以使相邻的两张图片的拍摄角度(实际上是图片的呈现角度)和对应位置的相同的商品大小趋于一致。

对于相邻两张图片的调整处理，在本公开的一实施例中，还说明了关于“对获取的图片进行调整处理”的优选实施方案。在图2中，展示了该实施例提供的对图片进行调整处理的方法的步骤流程图。

在这个实施例的步骤S021中，获取相邻两张货柜图片中的位于不同商品上的特征点。

步骤S021中的位于不同商品上的特征点是指基于对检测到的商品进行抽象出来的特征点，区别于传统的特征点从整张图片的全域出发，不区分商品和非商品区域形成的特征点。本实施例中，由于每个特征点都分布在商品上，而对于非商品区域并没有特征点，这样可以减少特征点的数量，相对于传统获取整张图片的特征点(商品上和非商品上的特征点)的方式来说，能够大大减少计算量，提高计算效率，而且在进行特征点配对过程中过滤掉背景噪声等对于本公开来说不重要的内容，能够为后续商品区域的对齐操作提供有效的特征点配对关系，以使最终的两张图片上的对应商品区域的商品位置和拍摄角度更趋于一致。

在步骤S022中，将所述相邻两张货柜图片中的特征点进行配对，以计算得到单应性矩阵。

这里进行匹配操作的目的是构建两张图片中像素点的对应关系。一旦有了对应关系，技术人员便可以利用数学方法得到单应性矩阵。本实施例中的单应性矩阵是指位于两个不同坐标系中的对应关系。通过单应性矩阵可以方便地对图像进行一些变化调整，有利于降低计算量，减少图片的调整处理时间。

在步骤S023中，按照拍摄时间顺序，将所述两张图片中的后一张图片根据单应性矩阵进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

其中，透视变换是指是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。通过透视变换操作，能够快速得到拍摄角度和对应商品区域的商品位置一致的两张图片。

本公开中提及的商品位置是指在货柜图片中，某一个商品与其他商品之间的相对位置。

容易理解，通过获取每张图片中的多个不同商品上的特征点，并将两张图上的特征点进行配对后得到单应性矩阵，从而可以使图像在数学矩阵方面，对图像进行形状变化处理，可以有效地将两张图达到拍摄视角和对应商品区域中的商品位置一致的状态。在进行调整处理时，可以利用尺度不变特征变换(Scale-invariant feature transform，SIFT)的对应方式进行处理，以提高图片的处理效果，排除了背景，以及无关特征对后续结果的影响，便于后续的识别，提高了调整的精度和效率。

在本公开的一实施例中，还说明了另外一种关于“对获取的图片进行调整处理”的优选实施方案。本实施例提供的优选方案与上一实施例提供的方案不同点在于，需要识别出图片中的商品，并对这些商品进行标记，这样能够保证两张图片中的每个商品都能够得到更精确地对应，以提高两张图片中对应商品的一致性。在图3中，展示了该实施例提供的对图片进行调整处理的方法的步骤流程图。

在步骤S031中，按照拍摄时间顺序，检测所述相邻两张货柜图片中的前一张图片中的商品，以使前一张图片中的商品带有第一标记框。

在步骤S032中，利用模板匹配的方式，在后一张图片中标记出与所述第一标记框相对应的第二标记框。

其中，模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题。而模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。

在步骤S033中，将相对应的两个所述标记框的中心点作为对应的特征点。

在步骤S034中，利用所述对应的特征点计算得到单应性矩阵。

在步骤S035中，利用所述单应性矩阵，将所述相邻两张图片中的后一张图片进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

可见，本公开不仅提供了不同的图片调整处理的方法，而且通过两种不同的图片调整处理方法均能够将相邻两张图片调整至同一拍摄角度，并且使对应商品区域的商品位置更加趋于一致。

例如在调整处理获取的冷藏柜中的相邻两张图片时，可以按照时间的先后顺序，将后一张货柜图片进行调整处理，以使其能够达到前一张货柜图片的拍摄效果。

值得说明的是，这里对另一张图片中商品进行标记时，可以利用模板匹配的方法进行。这里涉及的模板匹配方法是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。

还有，为了能够将获取的货柜图片中商品售卖信息(对应位置的商品是否发生了变动)采集出来，本公开还提供了图像识别的方法。

请参考图4，图4是本公开一实施例提供的用于识别货柜图片的方法步骤示意图。

在本实施例的步骤S041中，将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加，得到六通道(RGBRGB)对应商品区域重叠的图像矩阵。常规定义下，三通道可以表示为RGB，而本实施例的六通道可以表示为RGBRGB。容易理解，本公开中的通道维度叠加即将两个图像矩阵在通道维度上进行拼接，使两者称为一个矩阵，同时在图像位关系上还保持了对应。

该步骤中将叠加的两张图片进行了对齐(对应商品区域重叠)处理，以便于后续的识别模型一次性直接识别两张图片中是否存在不同。显然，这并不同于常规的仅仅将两张图片进行通道叠加而不要求对齐的操作，常规的方案也无法做到一次性识别两张图片。

在本实施例的步骤S042中，将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中，以确定所述对应商品区域的图像内容是否相同。

在本实施例的步骤S043中，当存在不同的图像内容时，输出图像内容不同的商品区域的数量和对应的商品信息。

可见，通过上述公开提供的货柜图片的识别方法，能够准确地识别出相邻两张货柜图片中对应商品区域是否存在不同地图像内容，而且还进一步提高了图像识别的效率和精确度。

紧接着，本实施例还进一步提供了关于识别模型的训练方法。请参见图5中展示的识别模型训练方法步骤示意图。

在本实施例的步骤S401中，按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片。

在本实施例的步骤S402中，依次将多张所述模拟图片中的每相邻两张图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致。

在本实施例的步骤S403中，在经过调整处理的每相邻两张模拟图片中的其中一张(也可以是按照时间顺序排列的前一张)中，进行标记处理，以标记出模拟卖掉的商品的区域。

在本实施例的步骤S404中，将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加，以得到对应商品区域重叠的模拟图像矩阵。

在本实施例的步骤S405中，利用所述模拟图像矩阵训练一模型，以获得能够识别对应商品区域的图像内容的识别模型。

众所周知，现有方法训练识别模型时，通常时将每张单独拍摄的图片(并不同于本公开该实施例中的将两张图片通道维度叠加)输入至网络模型中进行训练。通过这种方法训练出来的识别模型虽然能够达到识别图像中目标的作用；但是，在面对本实施例说明的内容能够解决的直接找出两张图片中对应区域是否存在不同的问题时，利用现有的训练方法显然不能直接得出。由于传统的方法是利用单张图片来训练模型，所以即便将输入识别模型用以识别的两张图片进行合也无法难道利用本实施例说明的方法训练得到的识别模型的效果。通过利用现有技术得到的识别模型，必须要通过识别模型分别识别两张图片，并分别得到两张图片的识别结果，再将两个识别结果进行对比之后，才能找出两张图片中对应区域是否存在不同。这显然也不同于本公开在该实施例中说明的通过训练好的识别模型可以直接找出两张图片中对应区域是否存在不同的方案。

基于上述内容，能够看出，本公开中的该实施例提供的训练方法能够得到识别模型，并且得到的该识别模型还可以一次识别出相邻两张图片中的对应区域商品内容是否存在不同，由于不需要对识别后的结果进行对比分析，所以极大提高了图片的识别效率，减少了操作步骤；并且不再需要计算机设备对识别结果进行对比分析，因此还降低了对计算机设备的性能要求，进而降低计算机设备的投入成本。

通过上述方法能够快速地训练所需要的识别模型，并且还能保证识别模型的识别精度。

容易理解，采集货柜商品售卖信息的前提是要知道商品区域上的商品到底是什么(商品信息)。为此本公开还提供了一种用来获得商品信息的方法。

在图6中，展示了本公开一实施例提供的优选的用于获取相邻两张货柜图片中前一张图片中的商品信息的方法步骤。

在这个实施例的步骤S051中，检测所述每相邻两张货柜图片中前一张图片上的所有商品。

在实施步骤S051时，可以通过能够检测商品的模型来实现。当然这里的检测模型可以利用现有技术中的训练方式来获得。

在这个实施例的步骤S052中，将所述前一张图片上的每个商品所占的区域进行抠图处理，以使每个商品所占的区域形成独立的抠图图像。

基于步骤S051检测出的商品，这足以确定图片上每个商品的位置和占用的商品区域。由于检测图片上的商品时，尤其是利用商品检测模型进行检测，总会在商品的边缘形成封闭的区域(商品区域)，而这些区域通常是矩形，因此可以将这些矩形区域进行抠图处理，这是一种比较快的方式，可以利用人工智能的技术来实现。当然也可以利用精度比较高的抠图模型按照商品的轮廓进行抠图。

在这个实施例的步骤S053中，识别所述抠图图像，以获得每个抠图图像中与所述前一张图片上的每个商品一一对应的商品信息。

由于抠图图像是在前一张图片上抠图得到，因此可以在识别出扣图图像中商品的商品信息后，并可以利用抠图图像与前一张图片中的位置关系得到前一张图片上的商品信息。可见，通过上述方案能够精确获知前一张图片上的每个商品的商品信息。

由于实际情况下，冰柜内的商品区域的高度较高，通常需要在上下方向设置两个相机来获取冰柜内的图片(本公开中称为货柜图片)，其中一个相机分布在靠近冰柜顶部的位置，另一个分布在靠近冰柜底部的位置，两个相机的视野在上下方向上有部分重叠，并且视野相加后能够覆盖冰柜内的商品区域。在实际检测冰柜内的商品时，是对两个相机中的图片(由于两个相机中的图片能够反应出冰柜内完整的商品区域，因此通常会把两个相机在同一时刻拍摄的图片作为一个整体(拼成一张)进行检测)进行检测。不过，由于两个相机的视野有重叠，同样的商品，有可能会出现两次。这也会给后续的商品售卖情况造成影响，导致获取的售卖数据不准确。

还有，“前一张图片”(相邻两张图片中的其中一张)能够作为相邻两张图片中的另外一张的参考。当另外一张出现商品被拿走(售卖)的情况下，通过对比“前一张图片”便能够知道被拿走的商品的位置。如果识别出前一张图片中所有商品的商品信息，通过对比便能够知道被拿走的商品的商品信息。但是当前一张图片中的出现重复的区域时，另外一张图片中如果恰好在重复区域的商品被拿走，那么该商品就会被计算两次，从而影响利用本公开说明的方法最终得到的数据准确性。

为了提高售卖数据准确性，避免出现商品被重复计算的问题，本公开在另一实施例中还说明了去除重复出现的商品的方案。如图7所示，图7是本实施例提供的去除重复出现商品的方法步骤流程图。

如图7所示，图7是本实施例提供的优选的去除重复计算的商品的方法步骤流程图。

在本实施例的步骤S061中，将所述每相邻两张货柜图片中前一张图片输入至一预先训练好的重复区域检测模型中，以检测出所述前一张图片中的重复区域；

通常冰柜中的商品摆放区域都是呈水平方向平行设置，而且相机通常是竖直(上下)方向设置的，因此两个相机获取的图片进行拼接时，会在竖直方向出现重复区域(在不同的实施例中，重复区域可以是单个商品的商品区域，也可以是多个商品一起形成的多个商品区域的组合)。所以只需找出水平方向的重复区域就可以。正如步骤S061中所表明之内容，可以将前一张图片输入预先训练好的重复区域检测模型中，而这个重复区域检测模型可以训练成专门用来检测出图片中是否存在某一行商品区域(处于同一水平方向上的每个商品区域的集合；还可以理解成多个商品一起形成的商品区域，只不过这些商品均在同一水平方向)与另外一行商品区域相同的检测模型。如果一行商品区域与另外一行的商品区域相同，那么便可以通过重复区域检测模型将这两个相同的商品区域检测出来，这边给正确计算被售卖出去的商品数量奠定了基础。同理，如果相机是水平(左右)方向设置，重复区域会出现在水平方向上。由于可以参考相机竖直方向设置时的去重方案，因此本公开对相机处于水平方向的去重不再一一说明。

步骤S062中，去除位于所述重复区域中被重复计算的图像内容不同的商品区域的数量，以得到去重(去除重复商品)后的图像内容不同的商品区域的数量和对应的商品信息。

在找到重复区域后，重复区域中如果存在不同于相邻两张图片中另一张图片中对应商品区域的图像内容，显然该图像内容会被重复计算。对于由两张图片拼接而成的图片而言，同一个商品区域最多只会出现一次重复，因此这也为去除重复计算的商品信息和数量提供依据。再通过步骤S061找到重复区域后，一旦有位于重复区域的商品信息，有理由相信该商品信息的(售卖)数量被重复计算了，只需要取原数量的一半便得到了去重后的实际数量。至此，通过上述步骤高效完成了去除处理，提高了商品售卖数量计算的准确性。

基于上述的公开内容可知，本公开提供的采集货柜商品售卖信息的方法中，将传统的人工采集商品售卖信息的方式，改变为自动采集方式，极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，并且还能够实时了解商品售卖的动态变化情况。

另一方面，本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据，精确区分商品为售卖和已售卖的不同情况。

最后，本公开还提供了一种图像识别模型的训练方式，能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。

关于采集货柜商品售卖信息的系统的示例说明

本公开的一实施例中还提供了一种采集货柜商品售卖信息的系统。在图8中，展示了本公开一实施例提供的采集货柜商品售卖信息的系统模块连接示意图。该系统能够实现本公开中说明的采集货柜商品售卖信息的方法。为了实现本公开说明的采集货柜商品售卖信息的方法，该系统包括：

数据获取模块501，用于按时间顺序依次获取摆设有商品的货柜图片；以及

还用于获取每相邻两张货柜图片中前一张图片上的商品信息。

图像处理模块502，用于依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

图像识别模块503，用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；以及

还用于当存在不同的图像内容时，输出图像内容不同的商品区域的数量和对应的商品信息。

关于采集货柜商品售卖信息的设备的示例说明

本公开的一实施例中还提供了一种采集货柜商品售卖信息的设备。所述设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现本公开中说明的采集货柜商品售卖信息的方法的步骤。

本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本公开一实施例提供的采集货柜商品售卖信息的设备的结构示意图。下面参照图9来详细描述根据本实施例中的实施方式实施的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本公开任何实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述方法部分中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1、图2、图3、图4、图5、图6和图7中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

关于可读存储介质的示例说明

本公开的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述公开中采集货柜商品售卖信息的方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开中采集货柜商品售卖信息的方法部分中描述的根据本公开各种实施例中实施方式的步骤。

如上说明之内容，该实施例提供的计算机可读存储介质中存储的计算机程序被执行时，通过将获取的相邻两张图片中的进行识别对比，从而得出两张图片中对应区域的图像内容是否发生改变，最终实现采集货柜商品售卖信息的目的。

图10是本公开一实施例提供的计算机可读存储介质的结构示意图。如图10所示，其中描述了根据本公开的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，在本公开提供的采集货柜商品售卖信息的方法、系统、设备和存储介质中，将传统的人工采集商品售卖信息的方式，改变为自动采集方式，极大程度提高了商品售卖信息的采集效率，降低了人工的劳动强度，并且还能够实时了解商品售卖的动态变化情况。

另一方面，本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据，精确区分商品为售卖和已售卖的不同情况。

最后，本公开还提供了一种图像识别模型的训练方式，能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。

上述描述仅是对本公开较佳实施例的描述，并非对本公开范围的任何限定，本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种采集货柜商品售卖信息的方法，其特征在于，包括如下步骤：

按时间顺序依次获取摆设有商品的货柜图片；

获取每相邻两张货柜图片中前一张图片上的商品信息；

依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；

当存在不同的图像内容时，获取图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

2.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述依次对每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

获取相邻两张货柜图片中的位于不同商品上的特征点；

将所述相邻两张货柜图片中的特征点进行配对，以计算得到单应性矩阵；

按照拍摄时间顺序，将所述两张图片中的后一张图片根据单应性矩阵进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

3.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述的依次对若干图片中的每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

按照拍摄时间顺序，检测所述相邻两张货柜图片中的前一张图片中的商品，以使前一张图片中的商品带有第一标记框；

利用模板匹配的方式，在后一张图片中标记出与所述第一标记框相对应的第二标记框；

将相对应的两个所述标记框的中心点作为对应的特征点；

利用所述对应的特征点计算得到单应性矩阵；

利用所述单应性矩阵，将所述相邻两张图片中的后一张图片进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

4.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内位置是否存在不同的图像内容的步骤包括：

将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加，得到对应商品区域重叠的图像矩阵；

将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中，以检测出其中内容不同的商品区域。

5.如权利要求4所述的采集货柜商品售卖信息的方法，其特征在于，训练所述识别模型的方法包括如下步骤：

按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片；

依次将多张所述模拟图片中的每相邻两张图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致；

在经过调整处理的每相邻两张模拟图片中按时间顺序排列的前一张中，进行标记处理，以标记出模拟卖掉商品的区域；

将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加，以得到对应商品区域重叠的模拟图像矩阵；

利用所述模拟图像矩阵训练一模型，以获得能够识别对应商品区域的图像内容的识别模型。

6.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述获取每相邻两张货柜图片中前一张图片上的商品信息的步骤包括：

检测所述每相邻两张货柜图片中前一张图片上的所有商品；

将所述前一张图片上的每个商品所占的区域进行抠图处理，以使每个商品所占的区域形成独立的抠图图像；

识别所述抠图图像，以获得每个抠图图像中与所述前一张图片上的每个商品一一对应的商品信息。

7.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述方法还包括：

将所述每相邻两张货柜图片中前一张图片输入至一预先训练好的重复区域检测模型中，以检测出所述前一张图片中的重复区域；

去除位于所述重复区域中被重复计算的商品信息和数量，以得到去重后的图像内容不同的商品区域的数量和对应的商品信息。

8.一种采集货柜商品售卖信息的系统，用于实现如权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤，其特征在于，所述系统包括：

数据获取模块，用于按时间顺序依次获取摆设有商品的货柜图片；以及

还用于获取每相邻两张货柜图片中前一张图片上的商品信息；

图像处理模块，用于依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

图像识别模块，用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；以及

还用于当存在不同的图像内容时，输出图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

9.一种采集货柜商品售卖信息的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的采集货柜商品售卖信息的方法的步骤。

Images