CN114025075A - 陈列柜中物品检测方法、陈列柜以及存储介质 - Google Patents

Abstract

本公开提供了一种陈列柜中物品检测方法、陈列柜以及存储介质，其中，该方法包括：获取双目摄像头朝陈列柜内部拍摄的双目视频，其中，双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；将双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在第一双目视频中提取第一双目视频图像，并在第二双目视频中提取第二双目视频图像；第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于第一双目视频图像和第二双目视频图像确定陈列柜内的通道变化信息，通道变化信息用于指示陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息；基于通道变化信息，确定陈列柜内的物品变化信息。

Description

陈列柜中物品检测方法、陈列柜以及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种陈列柜中物品检测方法、陈列柜以及存储介质。

背景技术

近年来陈列柜已广泛出现在各便利店及大型超市中，例如，无人自助式陈列柜、用于展示冷藏物品的冷藏式陈列柜等。在现有的陈列柜中，通常选择安装单个摄像头或者不安装摄像头。当安装单个摄像头时，该单个摄像头无法识别用户从陈列柜中相同通道拿取多个物品的情况，从而导致现有陈列柜的目标检测方式可靠性较差。

发明内容

本公开实施例至少提供一种陈列柜中物品检测方法、陈列柜以及存储介质。本公开实施例针对用户从陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

第一方面，本公开实施例提供了一种陈列柜中物品检测方法，包括：获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

第二方面，本公开实施例提供了一种陈列柜中物品检测装置，包括：获取单元，用于获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；视频拆分单元，用于将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；图像提取单元，用于在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；第一确定单元，用于基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；第二确定单元，用于基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

第三方面，本公开实施例提供了一种陈列柜，包括：陈列柜柜体、双目摄像头和处理器；其中，所述双目摄像头安装在所述陈列柜柜体上，且所述双目摄像头的镜头朝向所述陈列柜柜体的内部设置，所述双目摄像头与所述处理器通信连接；所述双目摄像头，被配置成从陈列柜的柜门开启到柜门关闭期间，对所述陈列柜内部进行拍摄得到双目视频；所述处理器，被配置成获取所述双目视频，并将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

第四方面，本公开实施例还提供一种陈列柜，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第五方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

在本公开实施例中，通过获取双目视频，并通过上述所描述的方式，在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息，以根据该距离变化信息确定物品变化信息的方式，可以准确在陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种陈列柜中物品检测方法的流程图；

图2示出了本公开实施例所提供的一种陈列柜内陈列搁架上的通道的效果示意图；

图3示出了本公开实施例所提供的陈列柜中物品检测方法中，将双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频的具体方法的流程图；

图4示出了本公开实施例所提供的陈列柜中物品检测方法中，在所述第一双目视频中提取第一双目视频图像的具体方法的流程图；

图5示出了本公开实施例所提供的陈列柜中物品检测方法中，在所述第二双目视频中提取第二双目视频图像的具体方法的流程图；

图6示出了本公开实施例所提供的陈列柜中物品检测方法中，基于第一双目视频图像和第二双目视频图像确定陈列柜内的通道变化信息的具体方法的流程图；

图7示出了本公开实施例所提供的第一种可选的基于双目视觉计算距离变化信息的原理图；

图8示出了本公开实施例所提供的第二种可选的基于双目视觉计算距离变化信息的原理图；

图9示出了本公开实施例所提供的另一种陈列柜中物品检测方法的流程图；

图10示出了本公开实施例所提供的一种陈列柜中物品检测装置的示意图；

图11示出了本公开实施例所提供一种陈列柜的结构示意图；

图12示出了本公开实施例所提供的另一种陈列柜的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，当安装单个摄像头时，该单个摄像头无法识别用户从陈列柜中的相同通道拿取多个物品的情况，从而导致现有陈列柜的目标检测方式可靠性较差。

在用户从陈列柜中拿取物品的过程中，用户如果遮挡住陈列柜的单个摄像头，那么可以通过单个摄像头采集遮挡前图像和遮挡后图像，并将遮挡前图像和遮挡后图像进行图像比对，从而根据图像比对结果确定消费者所拿取物品的数量。当用户拿取相同种类的物品时，上述方法将无法对用户所拿取物品的数量进行检测，从而导致现有陈列柜中的目标检测方法可靠性较差。

基于上述研究，本公开提供了一种陈列柜中物品检测方法、陈列柜以及存储介质。在本公开实施例中，首先，获取从陈列柜的柜门开启到关闭期间，采用双目摄像头朝陈列柜内部拍摄的双目视频；并将双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；之后，就可以在第一双目视频中提取第一双目视频图像，并在第二双目视频中提取第二双目视频图像，进而基于该第一双目视频图像和第二双目视频图像确定陈列柜内的通道变化信息，从而根据该通道变化信息确定陈列柜内的物品变化信息。

通过获取双目视频，并通过上述所描述的方式，在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息，以根据该距离变化信息确定物品变化信息的方式，可以准确在陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

在本公开实施例中，陈列柜可以为任意一种柜门能够打开启和关闭的柜体，例如，该陈列柜可以为支持无人自助功能的陈列柜，该陈列柜还可以为超市中用于放置冷藏物品的冷藏柜，除此之外，该陈列柜还可以为暖柜，用于放置冷冻物品的冰柜等任意一种能够开启和关闭柜门的柜体，本公开对陈列柜的种类不做具体限定。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种陈列柜中物品检测方法进行详细介绍。

参见图1所示，为本公开实施例提供的一种陈列柜中物品检测方法的流程图，所述方法包括步骤S101～S109，其中：

S101：获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频。

在本公开实施例中，双目摄像头可以安装在柜门的门把手上，且双目摄像头的镜头朝陈列柜的内部设置。在检测到陈列柜的柜门开启时，通过双目摄像头开始进行拍摄，在检测到陈列柜的柜门关闭之后，双目摄像头拍摄结束，得到双目视频。

这里，柜门开启到柜门关闭期间可以理解为柜门开启过程和柜门关闭过程。其中，针对陈列柜的一次售卖操作来说，柜门开启过程为获取陈列柜物品前的过程(也即，售卖前)，柜门关闭过程为获取陈列柜物品后的过程(也即，售卖后)。

这里，双目视频包括两个视频，其中，两个视频中的一个视频为双目摄像头中的第一摄像头拍摄到的视频，两个视频中的另外一个视频为双目摄像头中的第二摄像头拍摄到的视频。

S103：将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频。

在本公开实施例中，在获取到双目视频之后，就可以对双目视频进行视频拆分，从而将双目视频拆分为物品获取前的第一双目视频，以及物品获取后的第二双目视频。

S105：在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像。

在本公开实施例中，在获取到第一双目视频之后，就可以在第一双目视频中提取第一双目视频图像，其中，第一双目视频图像为第一双目视频中满足物品检测要求的视频图像，例如，可以为第一双目视频中包含物品数量最多的视频图像。

之后，可以基于第一双目视频图像在第二双目视频中提取第二双目视频图像。具体实施时，可以在第二双目视频中提取与第一双目视频图像相匹配的视频图像作为第二双目视频图像。

这里，第一双目视频图像与第二双目视频图像相匹配可以理解为第一双目视频图像和第二双目视频图像之间的图像相似度满足要求(例如，图像相似度大于对应的阈值)。

S107：基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息。

在确定出第一双目视频图像和第二双目视频图像之后，就可以基于第一双目视频图像和第二双目视频图像，确定陈列柜内的通道变化信息。

这里，通道变化信息可以包含目标通道的通道信息，例如，包括以下至少之一：目标通道的通道位置、目标通道的通道数量、该目标通道内的物品相对于双目摄像头的距离变化信息。具体地，目标通道可以为陈列柜中物品数量发生变化的通道。

如图2所示，在本公开实施例中，陈列柜中包含多个陈列搁架，每个陈列搁架用于放置需要进行陈列的物品。如图2所示，针对每个陈列搁架上所陈列的物品，从陈列搁架的外边缘开始，向陈列柜内部延伸的区域即为本公开实施例中的通道。

S109：基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

在本公开实施例中，物品变化信息用于指示目标通道内所发生变化的物品的数量和物品的种类。

在本公开实施例中，通过获取双目视频，并通过上述所描述的方式，在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息，以根据该距离变化信息确定物品变化信息的方式，可以准确在陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

下面将结合具体的应用场景对上述陈列柜中物品检测方法进行详细介绍。

场景一：无人自助式陈列柜。

针对无人自助式陈列柜，可以放置在任意一个环境中，例如，医院、办公楼、便利店、旅游景点、学校等任意一个环境。具体应用时，用户可以通过预定方式(例如，扫码)方式打开该无人自助式陈列柜的柜门，并拿取该无人自助式陈列柜中的物品，从而无人自助式陈列柜根据用户所拿取的物品进行自动结算。

然而，针对该无人自助式陈列柜，存在以下问题：在用户从陈列柜中拿取物品的过程中，用户如果遮挡住陈列柜的单个摄像头，且用户拿取相同种类的物品时，上述方法将无法对用户所拿取物品的数量进行检测。针对无人自助式陈列柜，现有的陈列柜中的目标检测方法将无法准确检测用户所拿取物品的数量，从而为陈列柜的所属用户带来一定的经济损失。

为了解决上述问题，本公开实施例提供一种陈列柜中物品检测方法。在执行该方法之前，首先，可以在无人自助式陈列柜中安装双目摄像头。如果无人自助式陈列柜中已安装双目摄像头，此时，就可以基于无人自助式陈列柜中已有的双目摄像头采集上述双目视频。

在获取到双目视频之后，就可以在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定无人自助式陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息。通过该处理方式，可以准确在无人自助式陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从无人自助式陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。针对用户从无人自助式陈列柜中的不同通道拿取多个不同物品的情况，依然可以准确的进行识别。

场景二：普通陈列柜。

针对普通陈列柜，可以放置在超市、便利店等需要进行人工结算的环境中。例如，用户可以在便利店所摆放的普通陈列柜中拿取对应的物品，从而在结算柜台对用户所拿取的物品进行自动结算。

然而，针对该普通陈列柜，存在以下问题：在用户从普通陈列柜中拿取物品的过程中，用户如果遮挡住陈列柜的单个摄像头，且用户拿取相同种类的物品时，普通陈列柜仅能检测到用户拿取了一件物品。如果用户拿取了多件相同的物品，并在结算时对部分物品进行隐藏，则将为陈列柜的所属用户带来一定的经济损失。

为了解决上述问题，本公开实施例提供一种陈列柜中物品检测方法。在执行该方法之前，首先，可以在普通陈列柜中安装双目摄像头。如果普通陈列柜中已安装双目摄像头，此时，就可以基于普通陈列柜中已有的双目摄像头采集上述双目视频。

在获取到双目视频之后，就可以在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定无人自助式陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息。

通过该处理方式，可以准确的识别出普通陈列柜中物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从普通陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

针对普通陈列柜，在识别出目标通道，以及目标通道内发生变化的物品数量之后，还可以识别出用户所拿取物品的物品种类。此时，可以通过普通陈列柜中的处理器向结算系统发送通道变化信息，以及物品种类。此时，用户在结算柜台进行物品的结算时，结算系统就可以基于获取到的通道变化信息和物品种类，对用户的待结算物品进行数量的校验。

下面将结合具体实施例介绍上述步骤。

在本公开实施例中，可以预先在陈列柜的柜门处安装第一传感器。当第一传感器检测到柜门开启时，可以触发双目摄像头开始进行拍摄，当第一传感器检测到柜门关闭时，可以控制双目摄像头结束视频拍摄，从而得到双目视频。

这里，第一传感器可以为陈列柜中安装的陀螺仪，第一传感器还可以为其他类型的开门传感器，本公开对此不作具体限定，以能够实现为准。

在拍摄到双目视频之后，就可以将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频。

在一个可选的实施方式中，如图3所示，上述步骤S103：将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频，具体包括如下步骤：

步骤S301：在所述双目视频中确定视频拆分点；

步骤S302：基于所述视频拆分点对所述双目视频中的每个视频进行拆分，得到第一双目视频和第二双目视频。

在一个可选的实施方式中，可以在双目视频的两个视频中任选一个视频，并在该视频中确定视频拆分点，进而将该视频的视频拆分点确定为另一个视频的视频拆分点。

在另一个可选的实施方式中，还可以分别确定双目视频中每个视频的视频拆分点。

因此，在本公开实施例中，针对双目视频中的每个视频，均可以确定一个或多个视频拆分点，且为双目视频中每个视频所确定视频拆分点可以相同或者不同，本公开对此不做具体限定。

在确定出视频拆分点之后，就可以基于视频拆分点对双目视频中的每个视频进行拆分，从而拆分得到第一双目视频和第二双目视频。

具体实施时，如果视频拆分点为一个，则可以基于该视频拆分点将双目视频拆分为第一双目视频和第二双目视频，此时，第一双目视频为消费者获取物品前的视频，第二双目视频为消费者获取物品后的视频。

如果视频拆分点为两个，则可以根据这两个视频拆分点，将双目视频拆分为3段视频，其中，第一段视频即为第一双目视频，即消费者获取物品前的视频，第二段视频为消费者获取物品中的视频，第三段视频即为第二双目视频，即消费者获取物品后的视频。

上述实施方式中，通过确定视频拆分点，进而根据该视频拆分点对双目视频进行拆分的方式，可以准确的将双目视频拆分为物品拿取前的第一双目视频和物品拿取后的第二双目视频，从而提高了双目视频的拆分精度，进而可以提高通道变化信息的准确度。

在本公开实施例中，可以通过以下几种方式在所述双目视频中确定视频拆分点。

方式一：

在所述陈列柜的柜门开启到柜门关闭期间，获取所述陈列柜的柜门的开启角度的角度变化信息；之后，基于所述角度变化信息确定所述视频拆分点。

在本公开实施例中，当第一传感器检测到柜门开启时，可以触发预先安装在陈列柜中的第二传感器(角度传感器)检测柜门的开启角度，进而根据检测到开启角度确定角度变化信息。

这里，角度变化信息可以理解为开启角度增大，开启角度不变，以及开启角度减小。

如果柜门的开启角度增大，则表明陈列柜的柜门处于开启期间，即消费者正在打开陈列柜的柜门，此时，可以认为该期间为物品拿取前。如果柜门的开启角度不变，则表明陈列柜的柜门已经开启，并处于相对静止的状态，此时，可以认为消费者正在从陈列柜中拿取物品，即正在获取物品期间。如果柜门的开启角度减小，则表明陈列柜的柜门处于关闭期间，即消费者正在关闭陈列柜的柜门，此时，可以认为该期间为物品拿取后。

在确定出角度变化信息之后，就可以根据角度变化信息确定视频拆分点。

情况一：视频拆分点为多个。

具体实施时，可以根据角度变化信息确定开启角度增大的时间段，得到第一时段；并确定开启角度减小的时间段，得到第二时段；进而将第一时段和第二时段确定为视频拆分点。此时，就可以将双目视频中位于第一时段的视频确定为第一双目视频，并将双目视频中位于第二时段的视频确定为第二双目视频。

情况二：视频拆分点为一个。

具体实施时，可以根据角度变化信息确定开启角度不变的时间段，得到第三时段，并将第三时段确定为视频拆分点。此时，就可以将双目视频中位于第三时段前的视频拆分为第一双目视频，并将双目视频中位于第三时段后的视频拆分为第二双目视频。

上述实施方式中，通过确定角度变化信息，进而根据该角度变化信息确定视频拆分点的方式，可以能够快速的确定出视频拆分点，以提高视频拆分的效率。

方式二：

计算所述双目视频中任意相邻视频帧之间的差值，得到多个差值；在所述多个差值中确定满足预设差值要求的目标差值；基于所述目标差值所对应的相邻视频帧确定所述双目视频中每个视频的视频拆分点。

在本公开实施例中，可以计算双目视频中任意相邻视频帧之间像素差值，得到多个差值，进而根据多个差值确定视频拆分点。

情况一：视频拆分点为一个。

在此情况下，可以将多个差值中的最大差值确定为目标差值，进而基于该目标差值所对应的相邻视频帧确定视频拆分点。例如，将位于相邻视频帧的前一视频帧之前的视频确定为第一双目视频，并将位于相邻视频帧的后一视频帧之后的视频确定为第二双目视频。

情况二：视频拆分点为两个。

在此情况下，可以将多个差值中最大的两个差值确定为目标差值，进而基于这两个目标差值所对应的相邻视频帧确定视频拆分点。

具体实施时，可以在这两个目标差值确定第一目标差值和第二目标差值，其中，第一目标差值所对应的视频帧位于第二目标差值所对应的视频帧之前。此时，可以将位于第一目标差值所对应的视频帧之前的视频确定为第一双目视频，并将位于第二目标差值所对应的视频帧之后的视频确定为第二双目视频。

在本公开实施例中，在计算双目视频中任意相邻视频帧之间的差值时，可以计算双目视频的任意一个视频中任意相邻视频帧之间的差值；进而根据计算出的差值确定双目视频中每个视频的视频拆分点。

除此之外，还可以计算双目视频中每个视频中任意相邻视频帧之间的差值，进而根据计算出的差值确定双目视频中对应视频的视频拆分点。

方式三：

还可以双目视频中检测包含用户手部的视频帧，从而得到至少一个包含用户手部的视频帧。此时，就可以基于该至少一个包含用户手部的视频帧确定视频拆分点。

如果至少一个包含用户手部的视频帧为一个，则可以将该视频帧作为视频拆分点，并将位于该视频帧之前的视频确定为第一双目视频，并将位于该视频帧的视频确定为第二双目视频。

如果至少一个包含用户手部的视频帧为多个，则可以在多个包含用户手部的视频帧中确定首个包含用户手部的视频帧，并确定最后一个包含用户手部的视频帧。此时，就可以将首个包含用户手部的视频帧和最后一个包含用户手部的视频帧作为视频拆分点。将位于首个包含用户手部的视频帧之前的视频确定为第一双目视频，并将位于该最后一个包含用户手部的视频帧的视频确定为第二双目视频。

上述实施方式中，通过计算双目视频中相邻视频帧之间的像素差值，以根据该像素差值确定视频拆分点的方式，可以能够更加准确的确定视频拆分点，以提高视频拆分精度。

在本公开实施例中，在得到第一双目视频和第二双目视频之后，就可以在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像。

如图4所示，针对上述步骤S105中的步骤：在所述第一双目视频中提取第一双目视频图像，包括：

步骤S401，在所述第一双目视频中确定第一视频；

步骤S402，确定所述第一视频中各个视频帧的目标检测结果；

步骤S403，基于所述目标检测结果确定所述第一视频中满足预设物品数量要求的第一目标视频帧，并基于所述第一目标视频帧确定所述第一双目视频图像。

在本公开实施例中，首先可以在第一双目视频中确定第一视频，其中，第一视频可以为第一双目视频中的任意一个视频。之后，通过目标检测模型对第一视频中的各个视频图像进行目标检测，从而得到目标检测结果，其中，目标检测结果包含视频图像中每个物品的物品位置信息(例如，物品包围框)。

在确定出目标检测结果之后，就可以基于目标检测结果确定第一视频中确定包含物品数量最多的视频帧，确定为满足预设物品数量要求的第一目标视频帧。

在确定出第一目标视频帧之后，就可以基于第一目标视频帧确定第一双目视频图像。

在另一个可选的实施方式中，还可以通过以下方式在所述第一双目视频中提取第一双目视频图像，具体包括如下步骤：

在第一双目视频的第一视频中与视频拆分点相邻的视频帧中确定满足清晰度要求的视频帧作为第一目标视频帧，进而根据该第一目标视频帧确定第一双目视频图像。

由于视频拆分点与物品拿取中的视频邻近，因此，第一双目视频中靠近视频拆分点的视频帧中包含物品数量也越多。用户在拿取物品时，陈列柜的柜门处于相对静止的状态，此时，双目摄像机所拍摄的双目视频也更加清晰。

在本公开实施例中，目标检测模型可以为深度学习模型，在通过目标检测模型对第一视频中的各个视频图像进行目标检测之前，需要对目标检测模型进行训练，具体训练过程描述如下：

(1)、线下收集数据。通过线下的各个陈列柜拍摄的视频中选取多个视频帧作为训练图像，并对每张训练图像进行标注。

(2)、图像增强处理。然后采用数据增强的方法对训练图像进行图像增强处理，数据增强的方法可以包含以下至少之一：随机更改图像中HSV颜色模型(Hue，Saturation，Value)，随机裁剪，随机旋转，镜像等。

(3)、图像压缩处理。对图像增强处理之后的训练图像进行等比例压缩到深度网络所需要的图像输入的尺寸。

若等比例压缩后的训练图像不满足深度网络所需要的图像输入的尺寸，则用空白填充。例如，尺寸为1080*1920的图像等比例压缩后为360*640，若深度网络所需要的图像输入的尺寸为640*640，则在等比例压缩后的图像左右两侧分别添加140*640的空白。

(4)、将标注之后的训练图像划分为训练集，验证集和测试集；进而基于训练集，验证集和测试集对待训练检测模型进行训练，得到目标检测结果。在对待训练检测模型进行训练时，可以在训练中添加标签平滑label smoothing、目标损失函数focal loss，以改善目标检测检测的泛化能力。

这里深度学习模型使用的是(YOLOV5)也可以使用YOLO其他系列或改良版、RCNN系列，retina系列，除此之外，还可以选择其他深度学习模型，本公开对此不做具体要求，以能够实现为准。

上述实施方式中，通过上述确定第一双目视频图像的方式，可以得到更加全面的视频图像，在根据该第一双目视频图像确定通道变化信息时，可以提高通道变化信息的准确度。

在一个可选的实施方式中，上述步骤S403：基于所述第一目标视频帧确定所述第一双目视频图像，具体包括如下步骤：

步骤S4031，确定所述第一目标视频帧的第一采集时间；

步骤S4032，确定所述第一双目视频的第二视频中与所述第一采集时间相对应的第二目标视频帧；

步骤S4033，基于所述第一目标视频帧和所述第二目标视频帧确定所述第一双目视频图像。

在本公开实施例中，首先，可以确定第一目标视频帧的采集时间，得到第一采集时间；之后，可以在第一双目视频中确定第二视频，并在第二视频中确定第一采集时间相对应的视频帧作为第二目标视频帧。这里，第一双目视频中包含两个视频，分别为上述第一视频和第二视频。

这里，第一采集时间相对应的视频帧可以理解为以下几种情况：

情况一：将第二视频中在第一采集时间采集到的视频帧确定为第二目标视频帧。

情况二：在第二视频中以第一采集时间为中心，确定预设时间段；并在第二视频中位于该预设时间段内的视频帧中，满足物品数量要求和/或图像清晰度要求的视频帧确定为第二目标视频帧。

上述实施方式中，通过确定第一目标视频帧的第一采集时间，以及确定第一双目视频中第一双目视频图像的方式，可以快速并准确的得到第一双目视频图像。

除此之外，还可以通过以下方式确定第二目标视频帧，具体包括：

方式一：

在所述第一双目视频中确定第二视频；确定所述第二视频中各个视频帧的目标检测结果；基于所述目标检测结果确定所述第二视频中满足预设物品数量要求的第二目标视频帧。

方式二：

在第一双目视频的第二视频中确定与视频拆分点相邻的视频帧中确定满足清晰度要求的视频帧作为第二目标视频帧。

在一个可选的实施方式中，如图5所示，上述步骤S105：在所述第二双目视频中提取第二双目视频图像，具体包括如下步骤：

步骤S501，在所述第二双目视频中确定所述第一视频相对应的第三视频；

步骤S502，计算所述第三视频中每个视频帧与所述第一目标视频帧的相似度；

步骤S503，确定所述第三视频中满足相似度要求的第三目标视频帧，并基于所述第三目标视频帧确定所述第二双目视频图像。

在本公开实施例中，第二双目视频中包含两个视频，即第三视频和第四视频。此时，可以在第二双目视频中确定第一视频相对应的第三视频。其中，第一视频和第三视频所属于双目视频中的同一个视频。之后，就可以计算第三视频中每个视频帧与第一目标视频帧之间的相似度，从而将最大相似度所对应的视频帧确定为第三视频中满足相似度要求的第三目标视频帧。

在确定出该第三目标视频帧之后，就可以基于该第三目标视频帧确定第四目标视频帧，进而根据第三目标视频帧和第四目标视频帧确定第二双目视频图像。在本公开实施例中，可以通过以下方式确定第四目标视频帧。

方式一：

确定所述第三目标视频帧的第二采集时间；确定所述第二双目视频的第四视频中与所述第二采集时间相对应的第四目标视频帧；基于所述第三目标视频帧和所述第四目标视频帧确定所述第二双目视频图像。

在本公开实施例中，在确定出第三目标视频帧之后，可以基于第三视频确定第三目标视频帧的采集时间，得到第二采集时间。之后，就可以在第二双目视频的另外一个视频(也即，第四视频)中确定与第二采集时间相对应的第四目标视频帧；进而，将第三目标视频帧和第四目标视频帧确定为第二双目视频图像。

这里，第一采集时间相对应的视频帧可以理解为以下几种情况：

情况一：将第四视频中在第二采集时间采集到的视频帧确定为第四目标视频帧。

情况二：在第四视频中以第二采集时间为中心，确定预设时间段；并在第四视频中位于该预设时间段内的视频帧中，满足物品数量要求和/或图像清晰度要求的视频帧确定为第四目标视频帧。

方式二：

在所述第二双目视频中确定所述第二视频相对应的第四视频；计算所述第四视频中每个视频帧与所述第二目标视频帧的相似度；确定所述第四视频中满足相似度要求的第四目标视频帧。

方式三：

在所述第二双目视频中确定第四视频；确定所述第四视频中各个视频帧的目标检测结果；基于所述目标检测结果确定所述第四视频中满足预设物品数量要求的第四目标视频帧。

上述实施方式中，通过确定第三视频中满足相似度要求的第三目标视频帧的方式，可以得到柜门关闭期间与第一目标视频帧最接近的视频帧，同时还可以得到柜门关闭期间与第二目标视频帧最接近的视频帧。此时，就可以提高第一双目视频图像和第二双目视频图像中各个物品的匹配度，在根据第一双目视频图像和第二双目视频图像确定通道变化信息时，就可以更加准确的确定陈列柜中各个物品相对于双目摄像头的距离变化信息。

在本公开实施例中，在确定出第一双目视频图像和第二双目视频图像之后，就可以基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，具体包括如下步骤：

步骤S1071，在所述第一双目视频图像中确定第一视频图像，并在所述第二双目视频图像中确定与所述第一视频图像相对应第二视频图像；

步骤S1072，将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果；

步骤S1073，根据所述物品匹配结果在所述陈列柜的各个通道中确定物品发生变化的目标通道。

在本公开实施例中，可以基于第一双目视频图像和第二双目视频图像，确定陈列柜的各个通道中确定物品发生变化的目标通道。其中，确定目标通道的过程为上述步骤S1071至步骤S1073所描述的过程。

具体实施时，可以在第一双目视频图像所包含的两个视频图像(即，第一目标视频帧和第二目标视频帧)中确定任意一个视频图像为第一视频图像。并在第二双目视频图像(即，第三目标视频帧和第四目标视频帧)中确定与第一视频图像相对应第二视频图像。

之后，就可以将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果，具体匹配过程描述如下：

(1)、提取所述第一视频图像中每个物品的子图像，得到第一子图像。

这里，可以基于第一视频图像的目标检测结果，确定第一视频图像中各个物品的物品位置信息，之后，就可以基于物品位置信息在第一视频图像中提取每个物品的子图像，从而得到第一子图像。

(2)、在所述第二视频图像中确定与所述第一子图像对应的第二子图像。

这里，可以确定第一视频图像中各个物品的物品位置信息在第二视频图像中的映射位置，进而对第二视频图像中位于该映射位置内的图像进行裁剪，得到与第一子图像对应的第二子图像。

(3)、计算所述第一子图像和所述第二子图像之间的图像相似度，并基于所述图像相似度确定所述物品匹配结果。

在得到第一子图像和第二子图像之后，就可以计算第一子图像和第二子图像之间的图像相似度。之后，就可以根据图像相似度，确定第一子图像所对应物品和第二子图像所对应物品之间的物品匹配结果。这里，物品匹配结果可以为匹配或者不匹配。

在物品匹配结果为不匹配的情况下，可以确定陈列柜中第一子图像所对应物品所在的通道为目标通道，表示该目标通道内的物品数量发生了变化。

上述实施方式中，通过上述所描述的将第一视频图像中的物品和第二视频图像中的物品进行物品匹配，进而根据物品匹配结果在陈列柜的各个通道中确定物品发生变化的目标通道的方式，可以更加准确的对消费者在陈列柜中所拿取的物品进行定位，以得到更加准确的物品变化信息。

在一个可选的实施方式中，如图6所示，上述步骤S107：基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，包括：

步骤S601：基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与所述双目摄像头之间的第一距离；

步骤S602：基于所述第二双目视频图像确定所述柜门关闭过程中所述目标通道内物品与所述双目摄像头之间的第二距离；

步骤S603：计算所述第一距离和所述第二距离之间的距离差，并基于所述距离差确定所述距离变化信息。

下面将结合图7和图8对距离变化信息的确定过程进行介绍。

如图7所示的为第一种可选的基于双目视觉计算距离变化信息的原理图，如图8所示的为第二种可选的基于双目视觉计算距离变化信息的原理图。

如图7所示，P为陈列柜中的物品，O和O’分别为双目摄像头的光心位置。A和A’为第一双目视频图像(或者第二双目视频图)像，Z表示为上述第一距离(或者第二距离)。

若消费者在陈列柜的目标通道中拿取了对应的物品，那么目标通道内所陈列物品与双目摄像头之间的距离将发生变化。由于物品的尺寸是已知的，因此，可以基于物品拿取前后，目标通道内的物品与双目摄像头之间的距离变化信息来确定消费者所拿取物品的数量。

此时，就可以基于第一双目视频图像，计算物品拿取前目标通道内物品与所述双目摄像头之间的第一距离，并基于第二双目视频图像，计算物品拿取后目标通道内物品与所述双目摄像头之间的第二距离。进而根据第一距离和第二距离之间的距离差确定距离变化信息。

在一个可选的实施方式中，基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与双目摄像头之间的第一距离，包括：

在所述第一双目视频图像的两个视频图像中分别确定物品的像素坐标，得到第一像素坐标和第二像素坐标；计算所述第一像素坐标和第二像素坐标之间的坐标差值；获取所述双目摄像头之间的光心距离，并获取所述双目摄像头的焦距；基于所述坐标差值、所述光心距离和所述焦距，确定所述第一距离。

假设，图7中的A和A’为第一双目视频图像，Z为第一距离。图7和图8所示，物品P在双目摄像头的两个相机头感光器上的成像点分别为p和p’，p点是在A帧中物品P的中心位置，p'点是A’帧中物品P的中心位置。如图8所示，x为p点的横坐标(即，第一像素坐标)，x’为p’点的横坐标(即，第二像素坐标)。

此时，可以通过公式(x-x’)计算第一像素坐标和第二像素坐标之间的坐标差值，之后，就可以通过公式Z＝fb/(x-x')计算上述第一距离。

这里，公式Z＝fb/(x-x')的推导过程描述如下：

p到p'之间的距离为d，则d＝b-(x-x’)；根据相似三角形原理可以得到：d/b＝(z-f)/z，则z＝fb/(b-d)＝fb/(x-x')。

在一个可选的实施方式中，基于所述第二双目视频图像确定所述柜门关闭过程中所述目标通道内物品与所述双目摄像头之间的第二距离，包括：

在所述第二双目视频图像的两个视频图像中分别确定物品的像素坐标，得到第三像素坐标和第四像素坐标；计算所述第三像素坐标和第四像素坐标之间的坐标差值；获取所述双目摄像头之间的光心距离，并获取所述双目摄像头的焦距；基于所述坐标差值、所述光心距离和所述焦距，确定所述第二距离。

假设，图7中的A和A’为第二双目视频图像，Z为第二距离。图7和图8所示，物品P在双目摄像头的两个相机头感光器上的成像点分别为P和P’，P点是在A帧中物品P的中心位置，P'点是A’帧中物品P的中心位置。如图8所示，x为P点的横坐标(即，第三像素坐标)，x’为P’点的横坐标(即，第四像素坐标)。

此时，可以通过公式(x-x’)计算第三像素坐标和第四像素坐标之间的坐标差值，之后，就可以通过公式Z＝fb/(x-x')计算上述第二距离。

上述实施方式中，根据第一双目视频图像计算第一距离，并基于第二双目视频图像计算第二距离，以根据第一距离和第二距离之间的距离差确定陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息，从而根据该距离变化信息确定物品变化信息的方式，可以准确在陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，针对用户从陈列柜的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

在另一个可选的实施方式中，在第一双目视频图像和第二双目视频图像为携带深度信息的图像的情况下，基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，具体包括如下步骤：

基于第一目标视频帧确定陈列柜中各个物品相对于双目摄像头的深度信息，得到第一深度信息，并基于第三目标视频帧确定陈列柜中各个物品相对于双目摄像头的深度信息，得到第二深度信息；进而基于第一深度信息和第二深度信息计算深度信息差值，得到第一差值。之后，可以基于第二目标视频帧确定陈列柜中各个物品相对于双目摄像头的深度信息，得到第三深度信息，并基于第四目标视频帧确定陈列柜中各个物品相对于双目摄像头的深度信息，得到第四深度信息；进而基于第三深度信息和第四深度信息计算深度信息差值，得到第二差值。最后，就可以基于第一差值和第二差值确定通道变化信息。

具体实施时，可以比较第一差值和第二差值之间的差距，如果比较结果为第一差值和第二差值之间的差距满足预设差距要求，此时，可以根据第一差值或者第二差值确定陈列柜内的通道变化信息。

参见图9所示，为本公开实施例提供的另一种陈列柜中物品检测方法的流程图，如图9所示，该方法主要包含以下步骤：

S901：获取从陈列柜的柜门开启到柜门关闭期间，采用双目摄像头朝陈列柜内部拍摄的双目视频，并在双目视频中确定任意一个视频为目标视频；

S902：将目标视频拆分为物品获取前的视频，并将目标视频拆分为物品获取后的视频；

S903：在物品获取前的视频中提取视频帧A，即上述第一目标视频帧；

S904：计算视频帧A与物品获取后的视频中各个视频帧之间的相似度；

S905：基于相似度在物品获取后的视频中确定视频帧B，即上述第三目标视频帧；

S906：对视频帧A进行目标检测，得到目标检测结果；

S907：基于目标检测结果将视频帧A和视频帧B中的物品进行物品匹配，得到物品匹配结果；

S908：根据物品匹配结果在陈列柜的各个通道中确定物品发生变化的目标通道；

S909：基于视频帧A的采集时间在双目视频的另外一个视频中确定视频帧A’；

S910：基于视频帧B的采集时间在双目视频的另外一个视频中确定视频帧B’；

S911：基于视频帧A和视频帧A’确定第一距离，并基于视频帧B和视频帧B’确定第二距离，并确定第一距离和第二距离之间的距离差；

S912：基于距离差确定目标通道内物品的物品变化信息。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与陈列柜中物品检测方法对应的陈列柜中物品检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述陈列柜中物品检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图10所示，为本公开实施例提供的一种陈列柜中物品检测装置的示意图，所述装置包括：获取单元10、视频拆分单元20、图像提取单元30、第一确定单元40和第二确定单元50；

获取单元10，用于获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；

视频拆分单元20，用于将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；

图像提取单元30，用于在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；

第一确定单元40，用于基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；

第二确定单元50，用于基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

在本公开实施例中，通过获取双目视频，并通过上述所描述的方式，在双目视频中提取物品获取前第一双目视频图像，以及提取物品获取后第二双目视频图像，以根据第一双目视频图像和第二双目视频图像确定陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息，以根据该距离变化信息确定物品变化信息的方式，可以准确在陈列柜中识别出物品数量发生变化的目标通道，并识别该目标通道内发生变化的物品数量，从而针对用户从陈列柜中的相同通道拿取多个物品的情况，依然可以准确的进行识别，进而提高陈列柜的目标检测的可靠性。

一种可能的实施方式中，图像提取单元，还用于：在所述第一双目视频中确定第一视频；确定所述第一视频中各个视频帧的目标检测结果；基于所述目标检测结果确定所述第一视频中满足预设物品数量要求的第一目标视频帧，并基于所述第一目标视频帧确定所述第一双目视频图像。

一种可能的实施方式中，图像提取单元，还用于：确定所述第一目标视频帧的第一采集时间；确定所述第一双目视频的第二视频中与所述第一采集时间相对应的第二目标视频帧；基于所述第一目标视频帧和所述第二目标视频帧确定所述第一双目视频图像。

一种可能的实施方式中，图像提取单元，还用于：在所述第二双目视频中确定所述第一视频对应的第三视频；计算所述第三视频中每个视频帧与所述第一目标视频帧的相似度；确定所述第三视频中满足相似度要求的第三目标视频帧，并基于所述第三目标视频帧确定所述第二双目视频图像。

一种可能的实施方式中，图像提取单元，还用于：确定所述第三目标视频帧的第二采集时间；确定所述第二双目视频的第四视频中与所述第二采集时间相对应的第四目标视频帧；基于所述第三目标视频帧和所述第四目标视频帧确定所述第二双目视频图像。

一种可能的实施方式中，第一确定单元，还用于：在所述第一双目视频图像中确定第一视频图像，并在所述第二双目视频图像中确定与所述第一视频图像相对应第二视频图像；将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果；根据所述物品匹配结果在所述陈列柜的各个通道中确定物品发生变化的目标通道。

一种可能的实施方式中，第一确定单元，还用于：提取所述第一视频图像中每个物品的子图像，得到第一子图像；在所述第二视频图像中确定与所述第一子图像对应的第二子图像；计算所述第一子图像和所述第二子图像之间的图像相似度，并基于所述图像相似度确定所述物品匹配结果。

一种可能的实施方式中，第一确定单元，还用于：基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与所述双目摄像头之间的第一距离；基于所述第二双目视频图像确定所述柜门关闭过程中所述目标通道内物品与所述双目摄像头之间的第二距离；计算所述第一距离和所述第二距离之间的距离差，并基于所述距离差确定所述距离变化信息。

一种可能的实施方式中，第一确定单元，还用于：在所述第一双目视频图像的两个视频图像中分别确定物品的像素坐标，得到第一像素坐标和第二像素坐标；计算所述第一像素坐标和第二像素坐标之间的坐标差值；获取所述双目摄像头之间的光心距离，并获取所述双目摄像头的焦距；基于所述坐标差值、所述光心距离和所述焦距，确定所述第一距离。

一种可能的实施方式中，视频拆分单元，还用于：在所述双目视频中确定视频拆分点；基于所述视频拆分点对所述双目视频中的每个视频进行拆分，得到第一双目视频和第二双目视频。

一种可能的实施方式中，视频拆分单元，还用于：在所述陈列柜的柜门开启到柜门关闭期间，获取所述陈列柜的柜门的开启角度的角度变化信息；基于所述角度变化信息确定所述视频拆分点。

一种可能的实施方式中，视频拆分单元，还用于：计算所述双目视频中任意相邻视频帧之间的差值，得到多个差值；在所述多个差值中确定满足预设差值要求的目标差值；基于所述目标差值所对应的相邻视频帧确定所述双目视频中每个视频的视频拆分点。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

参照图11所示，为本公开实施例提供的一种陈列柜的结构示意图，所述陈列柜包括：陈列柜柜体111、双目摄像头112和处理器113。

双目摄像头安装在所述陈列柜柜体上，且所述双目摄像头的镜头朝向所述陈列柜柜体的内部设置，所述双目摄像头与所述处理器通信连接。

双目摄像头，被配置成从陈列柜的柜门开启到柜门关闭期间，对所述陈列柜内部进行拍摄得到双目视频。

处理器，被配置成获取所述双目视频，并将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

对应于图1中的陈列柜中物品检测方法，本公开实施例还提供了一种陈列柜1200，如图12所示，为本公开实施例提供的陈列柜1200结构示意图，包括：

处理器121、存储器122、和总线123；存储器122用于存储执行指令，包括内存1221和外部存储器1222；这里的内存1221也称内存储器，用于暂时存放处理器121中的运算数据，以及与硬盘等外部存储器1222交换的数据，处理器121通过内存1221与外部存储器1222进行数据交换，当所述陈列柜1200开启运行时，所述处理器121与所述存储器122之间通过总线123通信，使得所述处理器121执行以下指令：

获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；

将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；

在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；

基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；

基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的陈列柜中物品检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的陈列柜中物品检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种陈列柜中物品检测方法，其特征在于，包括：

获取双目摄像头朝所述陈列柜内部拍摄的双目视频；其中，所述双目视频为所述双目摄像头从陈列柜的柜门开启到柜门关闭期间采集的视频；

将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；

在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；

基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于双目摄像头的距离变化信息；

基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

2.根据权利要求1所述的方法，其特征在于，所述在所述第一双目视频中提取第一双目视频图像，包括：

在所述第一双目视频中确定第一视频；

确定所述第一视频中各个视频帧的目标检测结果；

基于所述目标检测结果确定所述第一视频中满足预设物品数量要求的第一目标视频帧，并基于所述第一目标视频帧确定所述第一双目视频图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一目标视频帧确定所述第一双目视频图像，包括：

确定所述第一目标视频帧的第一采集时间；

确定所述第一双目视频的第二视频中与所述第一采集时间相对应的第二目标视频帧；

基于所述第一目标视频帧和所述第二目标视频帧确定所述第一双目视频图像。

4.根据权利要求2或3所述的方法，其特征在于，所述在所述第二双目视频中提取第二双目视频图像，包括：

在所述第二双目视频中确定所述第一视频对应的第三视频；

计算所述第三视频中每个视频帧与所述第一目标视频帧的相似度；

确定所述第三视频中满足相似度要求的第三目标视频帧，并基于所述第三目标视频帧确定所述第二双目视频图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第三目标视频帧确定所述第二双目视频图像，包括：

确定所述第三目标视频帧的第二采集时间；

确定所述第二双目视频的第四视频中与所述第二采集时间相对应的第四目标视频帧；

基于所述第三目标视频帧和所述第四目标视频帧确定所述第二双目视频图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，包括：

在所述第一双目视频图像中确定第一视频图像，并在所述第二双目视频图像中确定与所述第一视频图像相对应第二视频图像；

将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果；

根据所述物品匹配结果在所述陈列柜的各个通道中确定物品发生变化的目标通道。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一视频图像中的物品和所述第二视频图像中的物品进行物品匹配，得到物品匹配结果，包括：

提取所述第一视频图像中每个物品的子图像，得到第一子图像；

在所述第二视频图像中确定与所述第一子图像对应的第二子图像；

计算所述第一子图像和所述第二子图像之间的图像相似度，并基于所述图像相似度确定所述物品匹配结果。

8.根据权利要求1所述的方法，其特征在于，所述基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，包括：

基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与所述双目摄像头之间的第一距离；

基于所述第二双目视频图像确定所述柜门关闭过程中所述目标通道内物品与所述双目摄像头之间的第二距离；

计算所述第一距离和所述第二距离之间的距离差，并基于所述距离差确定所述距离变化信息。

9.根据权利要求8所述的方法，其特征在于，所述基于所述第一双目视频图像确定所述柜门开启过程中所述目标通道内物品与双目摄像头之间的第一距离，包括：

在所述第一双目视频图像的两个视频图像中分别确定物品的像素坐标，得到第一像素坐标和第二像素坐标；

计算所述第一像素坐标和第二像素坐标之间的坐标差值；

获取所述双目摄像头之间的光心距离，并获取所述双目摄像头的焦距；

基于所述坐标差值、所述光心距离和所述焦距，确定所述第一距离。

10.根据权利要求1所述的方法，其特征在于，所述将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频，包括：

在所述双目视频中确定视频拆分点；

基于所述视频拆分点对所述双目视频中的每个视频进行拆分，得到第一双目视频和第二双目视频。

11.根据权利要求10所述的方法，其特征在于，所述在所述双目视频中确定视频拆分点，包括：

在所述陈列柜的柜门开启到柜门关闭期间，获取所述陈列柜的柜门的开启角度的角度变化信息；

基于所述角度变化信息确定所述视频拆分点。

12.根据权利要求10所述的方法，其特征在于，所述在所述双目视频中确定视频拆分点，包括：

计算所述双目视频中任意相邻视频帧之间的差值，得到多个差值；

在所述多个差值中确定满足预设差值要求的目标差值；

基于所述目标差值所对应的相邻视频帧确定所述双目视频中每个视频的视频拆分点。

13.一种陈列柜，其特征在于，包括：陈列柜柜体、双目摄像头和处理器；其中，所述双目摄像头安装在所述陈列柜柜体上，且所述双目摄像头的镜头朝向所述陈列柜柜体的内部设置，所述双目摄像头与所述处理器通信连接；

所述双目摄像头，被配置成从陈列柜的柜门开启到柜门关闭期间，对所述陈列柜内部进行拍摄得到双目视频；

所述处理器，被配置成获取所述双目视频，并将所述双目视频拆分为物品获取前的第一双目视频和物品获取后的第二双目视频；在所述第一双目视频中提取第一双目视频图像，并在所述第二双目视频中提取第二双目视频图像；其中，所述第一双目视频图像和第二双目视频图像各自包含两个视频图像；基于所述第一双目视频图像和所述第二双目视频图像确定陈列柜内的通道变化信息，所述通道变化信息用于指示所述陈列柜中目标通道内的物品相对于通道外边缘的距离变化信息；基于所述通道变化信息，确定所述陈列柜内的物品变化信息。

14.一种陈列柜，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的陈列柜中物品检测方法的步骤。

15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的陈列柜中物品检测方法的步骤。

Images