CN112868039B - 用于自主零售商店的自适应智能货架 - Google Patents

Abstract

一种用于捕获自主零售商店的水平货架的一个或多个视图的成像装置，包括位于水平货架的后部的图像传感器，安装在水平货架的顶部的顶部反射镜，以使图像传感器能够捕获水平货架上的一个或多个产品的顶视图，安装在水平货架的前顶部的前部反射镜，以及安装在水平货架的后顶部的后部反射镜，其中所述后部反射镜相对于所述前部反射镜以预定义的角度倾斜，并且其中所述前部反射镜和所述后部反射镜能使图像传感器捕获水平货架上的一个或多个产品的前视图。

Description

用于自主零售商店的自适应智能货架

技术领域

本公开主要涉及自主零售商店，更具体地，涉及在无收银员的商店中使用的货架处的自动结账。

背景技术

在零售业界，自主商店是一个很大的进步。自主商店使用了诸如人工智能(AI)、传感器融合以及计算机视觉之类的先进技术的组合，为购物者提供了独特的“无结账”体验。

在典型的自主商店中，在商店的货架内部可以安装多个摄像头，这些摄像头可以自动拾取从特定货架上购买的产品的信号，然后向适当的顾客开出账单。账单可以通过在顾客的智能电话上运行的所述商店的应用程序而被呈现给用户。

然而，与自主商店相关的一个主要缺点是使用了大量摄像头来获得有用的产品捕获。货架上的摄像头的数量越多，则关于当前货架上有多少产品以及顾客拿取了哪个或哪些产品的信息越准确。并且，在当前设置中，摄像头对于顾客是完全可见的，并且用户有可能会篡改摄像头。由此使得整个设置效率低下、昂贵、麻烦且容易出错。

有鉴于此，需要一种克服了上述限制且成本效益合算、易于设置并且不易于出错的自主商店。

发明内容

根据本公开的第一个方面，提供了一种用于捕获自主零售商店的水平货架的一个或多个视图的成像装置。所述成像装置可以包括位于水平货架的后部的图像传感器。所述成像装置可以进一步包括安装在水平货架的顶部的顶部反射镜，以使图像传感器能够捕获水平货架上的一个或多个产品的顶视图。所述成像装置可以进一步包括安装在水平货架的前顶部的前部反射镜。所述成像装置可以进一步包括安装在水平货架的后顶部的后部反射镜，其中所述后部反射镜相对于所述前部反射镜以预定义的角度倾斜，并且其中所述前部反射镜和所述后部反射镜能使图像传感器捕获水平货架上的一个或多个产品的前视图。

根据本公开的第二个方面，提供了一种用于自主零售商店的自适应智能货架。所述自适应智能货架可以包括安装在其后部的图像传感器。所述自适应智能货架可以进一步包括安装在其顶部的顶部反射镜，以使所述图像传感器能够捕获保持在所述自适应智能货架上的一个或多个产品的顶视图。所述自适应智能货架可以进一步包括安装在其前顶部的前部反射镜以及安装在其后顶部的后部反射镜，其中所述后部反射镜相对于所述前部反射镜以预定义的角度倾斜，以及其中所述前部反射镜和所述后部反射镜能使所述图像传感器捕获所述自适应智能货架的一个或多个产品的前视图。所述前部反射镜、所述顶部反射镜和所述后部反射镜中的每一个是可移动地安装在所述自适应智能货架上的动态反射镜，并且被配置成基于所述自适应智能货架上的一个或多个产品的当前位置而自动旋转预定义的角度，以及在水平反向上平移预定义的距离。

根据本公开的第三个方面，提供了一种用于捕获在自动零售商店中背对背放置的第一水平货架和第二水平货架的一个或多个视图的成像装置。所述成像装置可以包括位于第一水平货架和第二水平货架的共同后部的图像传感器，以及分别针对第一水平货架和第二水平货架的第一反射镜装置和第二反射镜装置。所述第一反射镜装置和所述第二反射镜装置中的每一个都包括安装在对应水平货架的顶部的顶部反射镜，以使所述图像传感器能够捕获对应水平货架上的一个或多个产品的顶视图；安装在对应水平货架的前顶部的前部反射镜，以及安装在对应水平货架的后顶部且相对于前部反射镜以预定义的角度倾斜的后部反射镜，其中所述前部反射镜和所述后部反射镜能使图像传感器捕获对应水平货架上的一个或多个产品的前视图。

通过将每个货架的摄像头的数量减少到每个水平货架一个摄像头(假设一个垂直货架具有4-5个水平栏)，本公开的实施例基本消除或者至少部分解决现有技术的问题。在该设置中，所关注的视图是产品的顶视图和前视图。顶视图被用于计数和手部运动检测，而前视图则被用于检测货架上的物品，以及用作用于检测离开初始位置的错放物品的机制。并且，该方法的优点是只用一个摄像头即可获取产品的两个视图，并且能够覆盖多个空间分配以获取足够的图像来确定对产品所采取的动作。另一个优点还在于摄像头的位置对于用户而言是完全隐藏的。由此使得系统对于人类行为具有更强的鲁棒性，而这意味着人是无法接触到摄像头的。

本公开的其他实施例有助于通过使用反射镜而不是摄像头来捕获用户的面部，以及使用面部识别技术来识别用户的面部，从而确定哪个人在货架前方采取动作，并通过该信息来更新特定人的购物车。此外，这些实施例提供了一种能够依照货架上的产品的数量来调节前部反射镜的机制。

应该理解的是，在不脱离由所附权利要求所限定的本公开的范围的情况下，本公开的特征是很容易以各种组合方式组合的。

附图说明

当结合附图阅读时，以上的发明内容以及以下的关于说明性实施例的详细描述将会得到更好的理解。为了例证本公开，在附图中显示了本公开的例示性构造。然而，本公开不限于这里公开的具体方法和手段。此外，本领域技术人员将会理解，这些附图并不是按比例绘制的。只要可能，相同的要素是用相同的数字指示的。

图1示出了根据本公开的实施例的用于捕获自主零售商店的垂直货架结构的货架的第一成像装置的模拟视图；

图2示出了根据本公开的实施例的用于捕获自主零售商店的垂直货架结构的货架的第二成像装置的模拟视图；

图3示出了根据本公开的实施例的第二成像装置的透视图；

图4A示出了根据本公开的实施例的自主零售商店的货架的第一成像装置和第二成像装置之一的固定反射镜；

图4B示出了根据本公开的实施例的自主零售店的货架的第一成像装置和第二成像装置之一的动态反射镜；

图5示出了根据本公开的实施例的被配置成捕获站在自主零售商店的货架前方的用户的面部的第三成像装置；

图6示出了根据本公开的实施例的图5中的例示的第三成像装置；以及

图7示出了根据本公开的实施例的用于捕获背对背放置的两个水平货架的视图的第四成像装置。

在附图中使用了带下划线的数字来表示所述带下划线的数字所在的项目或是与所述带下划线的数字相邻的项目。与不带下划线的数字相关的项目是由将所述不带下划线的数字链接到所述项目的线条标识的。当数字不带下划线且带有关联箭头时，所述不带下划线的数字被用于标识箭头指向的常规项目。

具体实施方式

以下的详细描述示出了本公开的实施例以及可以实现这些实施例的方式。虽然公开了执行本公开的最佳模式，但是本领域技术人员将会认识到，其他用于执行或实施本公开的实施例也是可能的。

图1示出了根据本公开的实施例的用于捕获自主零售商店的垂直货架结构104的水平货架102的第一成像装置100的模拟视图。

自主零售商店可被描述成是一个具有处于同一建筑物中被集中控制的大量部门的大型零售组织。它是一家同堂处理各种各样的商品的零售机构。单个的自主零售商店可以包括并排放置以展示产品的多个垂直结构，其中每一个垂直结构可以包括4-5个货架。在这里示出了垂直货架结构104的一个这样的货架102。货架102可以包括一个或多个产品，由此能使用户自己购买一个或多个产品。然而为了简洁起见，在这里并没有显示这些产品。在一个例示实施例中，货架102的宽度是1m，深度是40cm。

第一成像装置100包括位于货架102的底部后侧的图像传感器106。在一个示例中，图像传感器106与货架102的后侧的偏移约为8cm。关于图像传感器106的示例可以包括智能摄像头，该智能摄像头被配置成捕获并处理一个或多个图像，并且还被配置成经由通信网络将经过处理的图像传送到其他远程设备。该通信网络可以是任何适当的有线网络、无线网络、这些网络或其他任何常规网络的组合，这不会对本公开的范围构成限制。少量的示例可以包括局域网(LAN)、无线LAN连接、因特网连接、点对点连接、或其他网络连接及其组合。

第一成像装置100进一步包括安装在其中的前部平面反射镜108a、顶部平面反射镜108b和后部平面反射镜108c，以便向图像传感器106提供关于货架102的一个或多个视图。在本公开的实施例中，顶部平面反射镜108b是被平行于货架102的底面放置的平面反射镜，以使图像传感器106能够捕获货架102的顶视图。货架102中的产品的顶视图可以由来自图像传感器106以及从顶部平面反射镜108反射的第一组光线110a表示。

此外，前部平面反射镜108a和后部平面反射镜108c被以预定义的角度安装，以使图像传感器106能够捕获货架102的前视图。由此，前视图是通过使用两个成角度的反射镜108a和108c的组合获取的，其中第二组光线112表示前视图图像。

在本公开的一个例示实施例中，前部平面反射镜108a的尺寸是60×8cm，顶部反射镜108b的尺寸是60×15cm，以及后部反射镜108c的尺寸是60×10cm。

在不同的实施例中，货架102的顶视图能够对保持在货架102上的产品计数，并且能够检测操作者/用户的手部运动，以及货架102的前视图能够检测保持在货架102上的产品，由此检测出离开初始位置的错放物品。

图1仅仅是一个示例。本领域普通技术人员将会认识到关于这里的实施例的众多变化、替换和修改。

图2示出了根据本公开的实施例的用于捕获自主零售商店的垂直货架结构204的货架202的第二成像装置200的模拟视图。

第二成像装置200包括位于货架202的底部后侧的图像传感器206，以及安装在其中的顶部凸面反射镜208a、前部凸面反射镜208b和后部平面反射镜208c，以便向图像传感器206提供关于货架202的一个或多个视图。此外，在这里还显示了由顶部凸面反射镜208a、前部凸面反射镜208b和后部平面反射镜208c产生的光线反射。

在本公开的一个实施例中，顶部凸面反射镜208a能使图像传感器206捕获保持在货架202中的产品的顶视图。此外，后部平面反射镜208c和前部凸面反射镜208b的组合能使图像传感器206捕获保持在货架202上的产品的前视图。所述顶视图能够对保持在货架202上的产品计数，并且能够检测操作者/用户的手部运动，而前视图则能够检测保持在货架202上的产品，由此检测出离开初始位置的错放物品。

与第一成像装置100相比，第二成像装置200的优点在于所述第二成像装置200因为反射镜的尺寸较小而占据较小的空间，提供了更好的每产品像素值，以及更大的视场(FOV)，然而，使用第二成像装置200生成的图像的后处理处于稍微高一些的水平，并且增加了所涉及的总体成本和工作量。

在一个例示实施例中，第二成像装置200的反射镜的规格是：

1.平面后部反射镜208c的宽度w＝600mm，高度h＝150mm

2.前部凸面反射镜208b的焦距f＝600mm，直径D＝600mm

3.顶部凸面反射镜208a的焦距f＝250mm，直径D＝250mm

图2仅仅是一个示例。本领域普通技术人员将会认识到关于这里的实施例的众多变化、替换和修改。

处于自主商店的货架202中的第二成像装置200的透视图300是参照图3而被清楚地图示的。在该透视图中，第二成像装置200被显示成安装在面对货架202的底面的货架202的顶部。如这里所示，顶部凸面反射镜208a和后部平面反射镜208c被并排放置在一起，而前部凸面反射镜208b则被放置在货架202的前顶部。

回过来参考图1和图2，通过仅仅在后侧放置单个摄像头、以及放置三个平面/凸面反射镜，第一反射镜装置200和第二反射镜装置300促成获取对应货架102和202的产品的顶视图和前视图，由此不但减少了每个货架上的摄像头数量，而且还会对用户隐藏摄像头并使摄像头远离用户。由此使得第一反射镜装置200和第二反射镜装置300相对于人类动作更为鲁棒，因为人无法访问相应成像装置的摄像头和恶意软件。

图4A示出了根据本公开的实施例的自动零售商店的货架402的第一成像装置100和第二成像装置200之一的固定反射镜400。固定反射镜400可以是前部固定反射镜，其被配置成结合对应的后部反射镜来捕获货架402的前视图，以及因为其有限的视场而检测货架402上的有限数量的产品404。在一个示例中，固定反射镜400可以只覆盖成一直线的几个第一产品，也就是说，如果用户在成一直线的产品中拿走超过25％的产品(例如三个瓶子)，那么固定的前部反射镜402有可能会看不到，并且有可能无法检测到哪一个产品处于特定的通道。这里的箭头406代表从相应的后部反射镜(未显示)反射的输入光线。

图4B示出了根据本公开的实施例的货架402的第一成像装置100和第二成像装置200之一的动态反射镜408。该动态反射镜408可以是被配置成结合对应的后部反射镜来动态捕捉货架402的前视图的前部可移动反射镜。

在本公开的实施例中，动态反射镜408被配置成动态改变其方向以指向留在通道中的第一产品。该动态反射镜408被配置成具有由电子智能设备410促成的两个自由度，即旋转和平移。电子智能设备410与动态反射镜408相耦合，以使动态反射镜408能够旋转预定义的角度，或者在水平方向上朝着对应的后部反射镜平移。该电子智能设备410能够基于关于反射镜408的当前位置的反馈、关于反射镜408的异常动作的潜在信息(有人用力推动/旋转)以及基于使用AI技术对留在货架上的产品的位置检测来自动旋转/平移该动态反射镜408。由此，基于来自电子智能设备410的输入，动态反射镜408能够在非标准情况下执行自我调节。

在本公开的实施例中，用于货架402的成像装置的每一个反射镜都可以配备由AI算法运行的动态调节机制，以便自动调节相应反射镜的对齐和位置。并且，某些度量可以用多个反射镜来满足，以便获得用于产品检测的高质量图像。由此，货架402将会足够智能，以便适应用户的需要以及货架402上的产品的当前设置。反射镜调节取决于多种因素。用于确定货架产品状态的度量有几个，例如使用来自反射镜的顶视图的产品计数，以及通过使用后部反射镜和前部反射镜反射的组合获取的前视图所进行的产品检测。用于反射镜调节算法的输入是货架每一行中的当前产品的数量。随着时间的流逝，可以追踪货架的输入状态和产品数量，以便相应地调节反射镜。指向货架上第一产品的前部反射镜的位置和角度是由预定义的LUT指定的，该LUT将反射镜的角度与货架上的特定点相匹配。在调节了反射镜后将会检测图像是否模糊。如果检测到模糊，则运行模糊校正算法来使图像与产品检测算法相适合。反射镜调节算法在每次生成用于表明没有通过前视图捕获到产品的警报时都会被执行。

图4A和4B仅是示例。本领域普通技术人员将会认识到关于这里的实施例的众多变化、替换和修改。

图5示出了根据本公开的实施例的被配置成捕获站在自主零售商店的货架504前方的用户502的面部的第三成像装置500。该用户可以是操作员、商店雇员、或是来商店购买一个或多个产品的顾客。

第三成像装置500包括成像传感器506(例如位于货架504的底部后侧的摄像头)、位于货架504的前侧的前部反射镜508、以及位于货架504的后侧的扩展后部反射镜510。在这里没有显示顶部反射镜，因为其在捕获用户502的面部的过程中没有任何作用。

在本公开的实施例中，扩展后部反射镜510的长度沿对应纵轴增加，以便通过该扩展后部反射镜510来向图像传感器506提供用户502的面部。当图像传感器506指向扩展后部反射镜510时，这时将会拍摄保持在货架504上的产品的前视图。然后，通过使用面部识别技术来处理图像传感器506使用扩展后部反射镜510捕获的图像，以便从被捕获的图像中提取用户502的面部。

图6示出了与图5的扩展后部反射镜510相似的例示后部反射镜602。如所示，例示的后部反射镜602的长度沿对应纵轴增加。该后部反射镜602可以用于捕获保持在相应货架上的产品604的前视图，和/或捕获用户/操作者606的图像。

由此，第三成像装置500的扩展后部平面反射镜510可以在不使用货架504中的附加摄像头的情况下促成用户502的面部识别，从而降低了其中涉及的总成本。

图5和图6仅是示例。本领域普通技术人员将会认识到关于这里的实施例的众多变化、替换和修改。

在本公开的实施例中，第三成像装置500可以包括位于货架504的底部后侧的图像传感器506，以及作为前部反射镜508和后部反射镜510的替代物的摄像头网格，以便通过组合多个摄像头来获取更大的覆盖范围。用于替换前部反射镜508和后部反射镜510的摄像头的示例是提供了预定义的视场(FOV)和图像分辨率的移动电话尺寸的摄像头。使用移动电话尺寸的摄像头替换反射镜的优点在于有可能要耗费大量时间来制造反射镜508和510，并且对于特定的反射镜质量而言，要想获得反射镜的确切规格是非常困难的。

图7示出了根据本公开的不同实施例的用于捕获背对背放置的两个垂直货架结构704a和704b的水平栏的视图的第四成像装置702。

该第四成像装置702包括用于获取背对背放置的两个货架704a和704b的两个水平栏的顶视图和前视图的单个摄像头706。该第四成像装置702的优点在于能够使用单个摄像头704覆盖两个货架结构704a和704b中的两个部分的产品。这样做减少了自主商店中需要的摄像头总数，由此使其不再那么繁琐且成本效益合算。

图7仅是示例。本领域普通技术人员将会认识到关于这里的实施例的众多变化、替换和修改。

在不脱离由所附权利要求限定的本公开的范围的情况下，以上描述的本公开的实施例是可以修改的。用于描述和请求保护本公开的表述(例如“包括”、“包含”、“引入”、“由……组成”、“具有”、“是”)应该以非排他性的方式解释，也就是允许存在未被明确描述的项目、组件或元素。对于单数的引用同样被解释成涉及复数。

Claims (17)

1.一种用于捕获自主零售商店的水平货架的一个或多个视图的成像装置，包括：

图像传感器，其位于所述水平货架的后部；

顶部反射镜，其被安装在所述水平货架的顶部，以使所述图像传感器能够捕获所述水平货架上的一个或多个产品的顶视图；

前部反射镜，其被安装在所述水平货架的前顶部；以及

后部反射镜，其被安装在所述水平货架的后顶部，其中所述后部反射镜相对于所述前部反射镜以预定义的角度倾斜，并且其中所述前部反射镜和所述后部反射镜能使所述图像传感器捕获所述水平货架的所述一个或多个产品的前视图；

其中所述前部反射镜、所述顶部反射镜和所述后部反射镜中的每一个都是可移动地安装在所述水平货架上的动态反射镜，并且被配置成基于所述水平货架上存在的一个或多个产品的当前位置而自动旋转预定义的角度，以及在水平方向上平移预定义的距离。

2.如权利要求1所述的成像装置，其中所述顶部反射镜、所述前部反射镜和所述后部反射镜中的每一个都是平面反射镜。

3.如权利要求1所述的成像装置，其中所述后部反射镜是平面反射镜，以及所述顶部反射镜和所述前部反射镜中的每一个都是凸面反射镜。

4.如权利要求1所述的成像装置，其中所述图像传感器包括摄像头，所述摄像头被配置成捕获并处理所述水平货架的一个或多个图像，以及将经过处理的图像经由通信网络传送到一个或多个远程设备。

5.如权利要求1所述的成像装置，其中所述顶视图能够对保持在所述水平货架上的一个或多个产品计数，并且所述前视图能够识别保持在所述水平货架上的一个或多个产品。

6.如权利要求1所述的成像装置，其中所述前部反射镜、所述后部反射镜和所述顶部反射镜中的每一个都是固定安装在所述水平货架上的固定反射镜。

7.如权利要求1所述的成像装置，其中所述后部反射镜是长度沿对应纵轴增加的扩展平面反射镜，以便捕获站在所述水平货架前方的用户的面部。

8.一种用于自主零售商店的自适应智能货架，包括：

图像传感器，其被安装在所述自适应智能货架的后部；

顶部反射镜，其被安装在所述自适应智能货架的顶部，以使所述图像传感器能够捕获保持在所述自适应智能货架上的一个或多个产品的顶视图；

前部反射镜，其被安装在所述自适应智能货架的前顶部；以及

后部反射镜，其被安装在所述自适应智能货架的后顶部，其中所述后部反射镜相对于所述前部反射镜以预定义的角度倾斜，并且其中所述前部反射镜和所述后部反射镜能使所述图像传感器捕获所述自适应智能货架上的一个或多个产品的前视图，

其中所述前部反射镜、所述顶部反射镜和所述后部反射镜中的每一个都是可移动地安装在所述自适应智能货架上的动态反射镜，并且被配置成基于所述自适应智能货架上存在的一个或多个产品的当前位置而自动旋转预定义的角度，以及在水平方向上平移预定义的距离。

9.如权利要求8所述的自适应智能货架，其中所述顶部反射镜、所述前部反射镜和所述后部反射镜中的每一个都是平面反射镜。

10.如权利要求8所述的自适应智能货架，其中所述后部反射镜是平面反射镜，以及所述顶部反射镜和所述前部反射镜中的每一个都是凸面反射镜。

11.如权利要求8所述的自适应智能货架，其中所述图像传感器包括摄像头，所述摄像头被配置成捕获并处理所述自适应智能货架的一个或多个图像，以及将经过处理的图像经由通信网络传送到一个或多个远程设备。

12.如权利要求8所述的自适应智能货架，其中所述顶视图能够对保持在所述自适应智能货架上的一个或多个产品计数，以及所述前视图能够识别保持在所述自适应智能货架上的一个或多个产品。

13.如权利要求8所述的自适应智能货架，其中所述动态反射镜与电子智能设备耦合，所述电子智能设备能够通过执行一个或多个人工智能(AI)算法来自动调节相应动态反射镜的对齐和位置。

14.如权利要求8所述的自适应智能货架，其中所述后部反射镜是长度沿对应纵轴增加的扩展平面反射镜，以便捕获站在所述自适应智能货架前方的用户的面部。

15.一种用于捕获在自主零售商店中背对背放置的第一水平货架和第二水平货架的一个或多个视图的成像装置，所述成像装置包括：

图像传感器，其位于所述第一水平货架和所述第二水平货架的共同后部；以及

第一反射镜装置和第二反射镜装置，分别针对所述第一水平货架和所述第二水平货架，其中所述第一反射镜装置和所述第二反射镜装置中的每一个包括：

顶部反射镜，其被安装在对应水平货架的顶部，以使所述图像传感器能够捕获所述对应水平货架上的一个或多个产品的顶视图；

前部反射镜，其被安装在所述对应水平货架的前顶部；以及

后部反射镜，其被安装在所述对应水平货架的后顶部，且相对于所述前部反射镜以预定义的角度倾斜，其中所述前部反射镜和所述后部反射镜能使所述图像传感器捕获所述对应水平货架上的所述一个或多个产品的前视图；

其中所述前部反射镜、所述顶部反射镜和所述后部反射镜中的每一个都是可移动地安装在所述对应水平货架上的动态反射镜，并且被配置成基于所述对应水平货架上存在的一个或多个产品的当前位置而自动旋转预定义的角度，以及在水平方向上平移预定义的距离。

16.如权利要求15所述的成像装置，其中所述顶部反射镜、所述前部反射镜和所述后部反射镜中的每一个都是平面反射镜。

17.如权利要求15所述的成像装置，其中所述后部反射镜是平面反射镜，以及所述顶部反射镜和所述前部反射镜中的每一个都是凸面反射镜。