CN117730335A - 调整商店内成像设备的视图参数的自动化方法 - Google Patents

Abstract

本发明涉及一种控制成像设备的方法，该成像设备具有至少一个可控视图参数，并被布置为捕捉商品放置固定装置的图像，该方法包括以下设置步骤：用成像设备连续捕捉(CAPTx)商品放置固定装置的图像，其中所述捕捉包括控制至少一个可控视图参数在两次连续图像捕捉之间进行修改；确定(Sfc)针对连续捕捉的图像中的每张图像的固定装置覆盖分数；从连续捕捉的图像中选择(SLC)基准图像作为具有最佳固定装置覆盖分数的图像；以及将至少一个可控视图参数设定(SET)为捕捉基准图像时使用的参数。

Description

调整商店内成像设备的视图参数的自动化方法

技术领域

本发明的领域是用于仓库或零售店的基于计算机视觉的库存管理系统和方法。更特别地，本发明涉及捕捉货架设备被安装到其上的固定装置(fixture)的令人满意的图像。

背景技术

销售点的货架通常按陈列架(gondola)的形式组织。每个陈列架包括若干排，每排包括若干个位于商品附近的货架标签。货架标签沿着货架的前边缘设置，并显示与待售商品有关的信息，诸如价格、每重量价格、商品名称等。

为了允许容易快捷地更新商品信息并降低运营成本，在货架中使用电子货架标签(以下称为“electronic shelf label，ESL”)是广为人知的。一个ESL屏幕上显示的商品信息是通过射频遥控的。

随着时间推移，货架上出售商品的位置可能会发生变化，例如，当陈列架被重新排列时，或在季节性产品的情况下。近年来，人们一直在努力创造“实景图(realogram)”，即，提供陈列架面向的真实视图的平面图。实景图考虑到对商品到货架空间分配的任何变化或对商品到ESL分配的任何变化。因此，实景图是对销售区域的顾客可见的真实货架的可靠和最新的表示。

提供可靠和完整的实景图允许开发多种有用的应用，诸如考虑到货架前顾客位置的特定促销内容，或者销售区域内商品的地理定位，以加快由销售区域的工作人员对产品补货和/或挑选的速度。为了监控货架中商品的布局并完成实景图，一种选项是在销售区域安装成像系统。成像系统优选地提供销售区域的货架的实时视图。在由成像系统提供的图像或视频的基础上，图像处理方法针对以下若干种应用执行，包括空货架空间的自动检测、ESL的自动检测、商品的真实面向与预期面向之间的符合性的验证等。

常用的成像系统是固定到天花板或销售区域其他重要位置的摄像头。每个摄像头被布置成使得摄像头的视线方向朝向陈列架。国际申请WO 2021/009244A1中描述的其他成像系统是这样的摄像头，其可以按与ESL相同的方式直接安装在货架上，并因此能够捕捉面向陈列架的图像。

当在销售区域内安装新的摄像头时，或当摄像头被移动到销售区域内的新位置时，销售区域的工作人员可以使用能够经由无线连接与库存管理服务器交互的移动设备。移动设备还可以被配置为与摄像头建立短程通信，例如NFC(Near Field Communication，近场通信)通信，以便通过给摄像头提供初始设定(setting)(例如，商店标识符、连接到库存管理服务器的凭证等)在库存管理服务器内注册摄像头。移动设备还可以用于向摄像头发送校准命令，以便调整其可控视图参数，诸如其视线方向。

无论如何，由于这种调整是人工执行的，因此必然容易出错，尤其是在必须对多个摄像头重复校准过程时。因此，由摄像头捕捉到的图像可能无法证明对于正确工作的图像处理方法而言是足够令人满意的。

此外，在安装之后，摄像头可能会被意外移动，例如被客户移动，从而偏离其初始设置并捕捉不适当的图像。

发明内容

本发明旨在克服上面提到的至少一个缺点。

为此，本发明涉及一种控制成像设备的方法，该成像设备具有至少一个可控视图参数，并被布置为捕捉商品放置固定装置的图像。该方法包括以下自动化设置(set-up)步骤：

-用成像设备连续捕捉商品放置固定装置的图像，其中所述捕捉包括控制至

少一个可控视图参数在两次连续图像捕捉之间进行修改；

-确定针对连续捕捉的图像中的每张图像的固定装置覆盖分数；

-从连续捕捉的图像中选择基准图像作为具有最佳固定装置覆盖分数的图像；-将至少一个可控视图参数设定为捕捉基准图像时使用的参数。

因此，本发明提供了一种布置为捕捉商品放置固定装置的图像的摄像头的自动化设置，该自动化设置能够设定摄像头的可调视图参数，使得捕捉的图像对于其在基于计算机视觉的库存管理方法中的预期应用而言具有足够的质量，特别是在于它们提供了令人满意的固定装置覆盖范围方面。

该方法的某些优选但非限制性的方面如下：

-确定连续捕捉的图像中的一张图像的固定装置覆盖分数包括：识别图像内的固定装置，确定界定所识别的固定装置的固定装置匹配多边形，以及计

算固定装置匹配多边形与图像内的中心对齐的偏差；

-确定连续捕捉的图像中的每张图像的固定装置覆盖分数是由神经网络处理

单元执行的；

-确定连续捕捉的图像中的一张图像的固定装置覆盖分数包括：识别图像内的标签和/或产品，确定具有与所识别的标签和/或产品相对应的点的点云，以及计算所确定的点云与图像内的中心对齐的偏差；

-该方法还包括：将连续捕捉图像从成像设备发送到图像处理服务器，该图

像处理服务器被配置为执行所述选择基准图像；

-该方法还包括：一旦选择基准图像，图像处理服务器就向成像设备发送设定命令，以致使将至少一个可控视图参数设定为捕捉基准图像时使用的参数；

-该方法还包括以下自动化操作步骤：

○用成像设备捕捉商品放置固定装置的当前图像；

○计算当前图像和预评估图像之间的偏差；

○基于所述偏差来确定要对至少一个可控视图参数执行的调整；

○基于所确定的调整来控制至少一个可控视图参数。

-计算所述偏差包括：比较当前图像和预评估图像，并计算相似度分数；

-计算所述偏差包括：确定当前图像的固定装置覆盖分数，并将当前图像的

固定装置覆盖分数与预评估图像的固定装置覆盖分数进行比较；

-该方法还包括：在偏差超过校准阈值的情况下，再次执行自动化设置步骤；-该方法还包括：在对至少一个可控视图参数的所述控制之后捕捉商品放置

固定装置的新图像，并将预评估图像更新为新图像的步骤；

-至少一个可控视图参数包括成像设备的视线方向。

附图说明

本发明的其他方面、目的、优点和特征将在阅读以下对其优选实施例的详细描述时更好地显现，该描述作为非限制性示例提供，并参照附图进行，在附图中：

-图1是示出根据本发明的在摄像头的设置阶段中实施的步骤的框图；

-图2示出了可以涉及根据图1的设置阶段中的摄像头和图像处理服务器；-图3是示出了根据本发明的可能实施例的在摄像头的操作阶段中实施的步

骤的框图

-图4示出了可以涉及根据图3的操作阶段中的摄像头和图像处理服务器；-图5示出了由摄像头捕捉到的固定装置的第一图像以及其对应的固定装置匹配多边形，该第一图像没有提供令人满意的固定装置的覆盖范围；

-图6示出了由摄像头捕捉到的固定装置的第二图像以及其对应的固定装置匹配多边形，该第二图像没有提供令人满意的固定装置的覆盖范围；以及-图7示出了由摄像头捕捉到的固定装置的第三图像以及其对应的固定装置匹配多边形，该多边形被截断。

具体实施方式

本发明涉及一种控制成像设备的自动化方法，该成像设备具有至少一个可控视图参数，并被布置为捕捉放置在仓库或零售店中的商品放置固定装置的图像。至少一个可控视图参数可以包括可调焦距和/或可调视线方向。成像设备可以例如包括机动镜头，该机动镜头可由致动器围绕一个或多个旋转轴进行旋转，例如围绕一个水平旋转轴旋转，以使视线方向能够相对于地面表面竖直向上或向下驱动。

在优选实施例中，成像设备被配置为可拆卸且可靠地安置在货架支架的容纳区部中，该货架支架被布置在货架面向商品放置固定装置的货架边缘上。优选地，商品放置固定装置包括配有货架设备诸如ESL的货架。

根据本发明的方法包括：设置阶段，当成像设备面向商品放置固定装置新安装时，该设置阶段可以作为初始自动化设置过程来实施。

参照图1，自动化设置阶段包括：第一设置步骤CAPTx，用成像设备连续捕捉商品放置固定装置的图像，其中所述捕捉包括控制至少一个可控视图参数在两次连续图像捕捉之间进行修改。作为说明性示例，在修改成像设备的视图参数同时，可以连续捕捉十张商品放置固定装置的图像。例如，在修改成像设备的视线方向同时，可以获取连续图像。为此，视线方向可以竖直提升，例如从底部至顶部，例如在两个连续图像之间增加10°。

仍然参照图1，该设置阶段包括：第二设置步骤Sfc，确定针对连续捕捉的图像中的每张图像的固定装置覆盖分数。图像的固定装置覆盖分数代表该图像覆盖固定装置的程度，因此提供了对固定装置的合适捕捉。

在实施例中，确定连续捕捉的图像中的一张图像的固定装置覆盖分数包括识别图像内的固定装置，确定界定所识别的固定装置的固定装置匹配多边形，以及计算固定装置匹配多边形与图像内的中心对齐的偏差。还可以考虑到特征匹配多边形的面积，以确定固定装置覆盖分数，图像内的重要区域会取得更好的分数。

在优选实施例中，确定固定装置覆盖分数是由神经网络处理单元执行的。神经网络处理单元可以已经被预先训练过以用于这项任务，例如基于监督学习，以确定固定装置的图像中的固定装置匹配多边形，并估计该固定装置匹配多边形在图像内的中心对齐程度。神经网络处理单元也可以已经被训练过以识别货架，并估计所识别的货架的水平状态，作为固定装置覆盖分数的度量。在实施例中，神经网络处理单元包括第一神经网络和第二神经网络，该第一神经网络专用于检测捕捉的图像中的货架，并具有多边形轮廓，该第二神经网络专用于检测具有完整长度的货架水平。所确定的固定装置匹配多边形可能非常复杂，并且在某些情况下可能略微过大或过小。识别货架水平有助于弥补这些缺陷，从而提高匹配多边形的准确度。

图5、图6和图7示出了由摄像头捕捉到的固定装置的不同图像I1、I2、I3以及对应的固定装置匹配多边形P1、P2、P3的表示。仅以竖直对齐为例，这些图像I1、I2、I3中的每一张都可以由图像水平中轴MA分成两个相等的部分，并且计算固定装置匹配多边形与图像内的中心对齐的偏差可以包括：确定特征匹配多边形P1、P2、P3的几何特征B1、B2、B3(例如，在本示例中是沿着竖直轴的重心(barycentre))，并计算几何特征B1、B2、B3与图像水平中轴MA之间的距离。在图5和图7中，重心B1、B3与图像中轴间隔开，使得特征匹配多边形P1、P3被认为不是中心对齐的。相反，在图6中，重心B2完美地拟合在图像水平中轴MA上，而且特征匹配多边形P2被认为是中心对齐的。

再次参照图1，设置阶段包括：第三设置步骤SLC，从连续捕捉的图像中选择基准图像作为具有最佳固定装置覆盖分数的图像，即被估计为提供最佳捕捉到固定装置的图像(例如，因为它在图像的中心部分捕捉到整个固定装置)。然后，设置阶段包括：第四设置步骤SET，将至少一个可控视图参数设定为捕捉基准图像时使用的参数。

在可能的实施例中，选择仅针对那些具有高于选择阈值的固定装置覆盖分数的图像来执行。这允许忽略明显不与适当图像相关联的特征匹配多边形，例如这样的固定装置匹配多边形(诸如图7中的多边形P3)，这些多边形不包括完整的固定装置，而是具有截断的固定装置，在于它被对应图像的一个或多个边缘切割(例如因为视线方向过低或过高而不能完整地捕捉固定装置)。

在另一个实施例中，该实施例可以独立地或与固定装置匹配多边形实施例联合地实施，确定连续捕捉的图像中的一张图像的固定装置覆盖分数包括：识别图像中的标签和/或产品，以及基于所识别的标签和/或产品计算固定装置与图像内的中心对齐的偏差。当与固定装置匹配多边形实施例联合地实施时，该实施例可以有助于自动校正所确定的匹配多边形。

识别图像中的标签和/或产品可以包括：识别与标签和/或产品相对应的点，例如其中心点。标签可以包括光指示器，并且识别图像中的标签可以包括例如借助于神经网络来检测光指示器的闪烁。所识别的点形成点云，并且计算固定装置与图像内的中心对齐的偏差可以包括：确定点云的几何特征(例如，在本示例中是沿着竖直轴的重心)，并计算几何特征与图像水平中轴之间的距离。

在上文中，作为示例描述了从底部到顶部的视角的设置。技术人员将理解的是，本发明不限于这种竖直调整，而是扩展到更精细的调整，诸如使用例如图像水平中轴和图像竖直中轴两者的沿着竖直轴和水平轴的调整。

参照图2，该方法可以包括：将连续捕捉的图像IMGx从成像设备10发送到图像处理服务器20，该图像处理服务器被配置为执行所述选择基准图像。如图2所示，图像处理服务器20可以包括神经网络处理单元30，该神经网络处理单元被配置为确定连续捕捉的图像中的每张图像的固定装置覆盖分数。另外如图2所示，一旦选择了基准图像，图像处理服务器20就可以向成像设备20发送设定命令SET-Cd，以致使将至少一个可控视图参数设定为捕捉基准图像时使用的参数。

根据本发明的方法还可以包括自动化操作阶段，该自动化操作阶段可以在初始设置阶段之后针对每张新捕捉的图像定期地或根据具体订单来实施。

参照图3，操作阶段可以包括：第一操作步骤CAPTc，用成像设备捕捉商品放置固定装置的当前图像；第二操作步骤BIAS，计算当前图像与预评估图像(最初是设置阶段的基准图像)之间的偏差；第三步骤DET，基于所述偏差确定要对至少一个可控视图参数执行的调整；以及第四步骤ADJ，基于所确定的调整来控制至少一个可控视图参数。

在实施例中，确定调整的步骤DET和控制至少一个可控视图参数的步骤ADJ仅在计算出的偏差高于偏差阈值时执行。这避免了在当前图像接近预评估图像并因而可以被认为是足够满意的情况下消耗成像设备电池。

在实施例中，计算所述偏差包括：比较当前图像和预评估图像，并计算相似度分数。

在另一个实施例中，计算所述偏差包括：确定当前图像的固定装置覆盖分数(以与在设置阶段中执行的相同方式)并将当前图像的固定装置覆盖分数与预评估图像的固定装置覆盖分数进行比较。在该实施例中，与设置阶段一样，固定装置覆盖分数可以由神经网络处理单元计算。

在这两个实施例中，计算出的偏差可以与阈值进行比较，并且在偏差超过校准阈值的情况下，可以再次执行设置步骤。此外，该方法可以包括：将偏差与第一校准阈值和大于第一校准阈值的第二校准阈值进行比较。然后，在偏差超过第二校准阈值的情况下，重复设置步骤，连续捕捉与初始设置阶段数量相同的图像，而在偏差超过第一校准阈值但未超过第二校准阈值的情况下，重复设置步骤，连续捕捉与初始设置阶段相比数量减少的图像。

此外，在这两个实施例中，可以使用如上面所讨论的标签和/或产品点云。更具体地，计算偏差可以包括：将针对当前图像所确定的点云与针对预评估图像所确定的点云进行比较。然后，执行对视图参数的控制，以便匹配点云。

该方法还可以包括：在对至少一个可控视图参数的所述控制ADJ之后捕捉商品放置固定装置的新图像，并将预评估图像更新为新图像。通过用新图像替换预评估图像，该方法避免了误差随时间的推移而增加，否则在设置阶段的基准图像将被保留为预评估图像的情况下将会观察到误差随时间的推移而增加，因此整个过程随时间推移而保持稳定。

参照图4，操作阶段方法可以包括：将当前图像IMGc从成像设备10发送到图像处理服务器。如图4所示，图像处理服务器20可以包括神经网络处理单元30，该神经网络处理单元被配置为确定当前图像的固定装置覆盖分数。另外如图4所示，一旦确定了要被执行的调整，图像处理服务器20就可以将调整命令ADJ-Cd发送到成像设备20，以致使至少一个可控视图参数与捕捉预评估的图像时使用的参数相匹配。

本发明不局限于上面所描述的方法，而是可以扩展到如上面所描述的图像处理服务器。这样的图像处理服务器能够与成像设备通信，该成像设备具有至少一个可控视图参数，并被布置为捕捉商品放置固定装置的图像。图像处理服务器还包括处理单元，该处理单元被特别配置为实施设置阶段的确定Sfc、选择SLC和设定ST的设置步骤，和/或实施操作阶段的计算BIA、确定DET和控制ADJ的操作步骤。

本发明进一步扩展到一种计算机程序产品，该计算机程序产品包括指令，当程序由计算机执行时，该指令致使计算机执行设置阶段的确定Sfc、选择SLC和设定ST的设置步骤，和/或执行操作阶段的计算BIA、确定DET和控制ADJ的操作步骤。

Claims (14)

1.一种控制成像设备(10)的自动化方法，所述成像设备具有至少一个可控视图参数，并被布置为捕捉商品放置固定装置的图像，所述方法包括以下设置步骤：

-用所述成像设备连续捕捉(CAPTx)所述商品放置固定装置的图像，其中

所述捕捉包括控制所述至少一个可控视图参数在两次连续图像捕捉之间进行修改；

-确定(Sfc)针对连续捕捉的图像中的每张图像的固定装置覆盖分数；

-从所述连续捕捉的图像中选择(SLC)基准图像作为具有最佳固定装置覆盖分数的图像；以及

-将所述至少一个可控视图参数设定(SET)为捕捉所述基准图像时使用的参数。

2.根据权利要求1所述的自动化方法，其中，确定所述连续捕捉的图像中的一张图像的固定装置覆盖分数包括：识别所述图像内的固定装置，确定界定所识别的固定装置的固定装置匹配多边形，以及计算所述固定装置匹配多边形与所述图像内的中心对齐的偏差。

3.根据权利要求1所述的自动化方法，其中，确定所述连续捕捉的图像中的每张图像的固定装置覆盖分数是由神经网络处理单元(30)执行的。

4.根据权利要求1所述的自动化方法，其中，确定所述连续捕捉的图像中的一张图像的固定装置覆盖分数包括：识别所述图像内的标签和/或产品，确定具有与所识别的标签和/或产品相对应的点的点云，以及计算所确定的点云与所述图像内的中心对齐的偏差。

5.根据权利要求1至4中任一项所述的自动化方法，还包括：将所述连续捕捉的图像(IMGx)从所述成像设备(10)发送到图像处理服务器(20)，所述图像处理服务器被配置为执行所述选择基准图像。

6.根据权利要求5所述的自动化方法，还包括：一旦选择了所述基准图像，所述图像处理服务器(20)就向所述成像设备(10)发送设定命令(SET-Cd)，以致使将所述至少一个可控视图参数设定为捕捉所述基准图像时使用的参数。

7.根据权利要求1至6中任一项所述的自动化方法，还包括以下操作步骤：

-用所述成像设备捕捉(CAPTc)所述商品放置固定装置的当前图像；

-计算(BIAS)所述当前图像与预评估图像之间的偏差；

-基于所述偏差来确定(DET)要对所述至少一个可控视图参数执行的调整；

-基于所确定的调整来控制(ADJ)所述至少一个可控视图参数。

8.根据权利要求7所述的自动化方法，其中，计算所述偏差包括：比较所述当前图像(IMGc)和所述预评估图像，并计算相似度分数。

9.根据权利要求7所述的自动化方法，其中，计算所述偏差包括：确定所述当前图像(IMGc)的固定装置覆盖分数，并将所述当前图像的固定装置覆盖分数与所述预评估图像的固定装置覆盖分数进行比较。

10.根据权利要求7至9中任一项所述的自动化方法，还包括：在所述偏差超过校准阈值的情况下，再次执行所述设置步骤。

11.根据权利要求7至9中任一项所述的自动化方法，还包括：在对至少一个可控视图参数的所述控制之后捕捉所述商品放置固定装置的新图像，并将所述预评估图像更新为所述新图像的步骤。

12.根据权利要求1至11中任一项所述的自动化方法，其中，所述至少一个可控视图参数包括所述成像设备的视线方向。

13.一种能够与成像设备(10)通信的图像处理服务器(20)，所述成像设备具有至少一个可控视图参数并被布置为捕捉商品放置固定装置的图像，所述图像处理服务器包括处理单元，所述处理单元被配置为实施根据权利要求1所述的自动化方法的确定、选择和设定的设置步骤。

14.一种计算机程序产品，包括指令，当程序由计算机执行时，所述指令致使所述计算机执行根据权利要求1所述的自动化方法的确定、选择和设定的设置步骤。