CN118235161A - 用于确定陈设元件、尤其是电子标签的位置的方法 - Google Patents

Abstract

用于确定陈设元件的位置的方法，其中利用摄像机从以此检测的场景中生成数字场景映像，在所述场景中存在至少一个第一陈设元件，所述数字场景映像由像点组成，所述像点尤其是具有已知的像点间隔或已知的像点尺寸，并且所述数字场景映像包含第一陈设元件的数字第一陈设元件映像，并且其中在所述场景映像中自动地识别至少一个第一陈设元件映像并且通过确定所述场景映像中的分配给第一陈设元件映像的像点以及在了解所述第一陈设元件的实际尺寸的情况下确定用于所述场景映像的尺度。

Description

用于确定陈设元件、尤其是电子标签的位置的方法

技术领域

本发明涉及一种用于确定营业场所中、尤其是营业场所的货架上的陈设元件、尤其是电子标签的位置的方法。

背景技术

在零售商的现代数字化销售或营业场所中，存在长期抱有的需求：能够实现对陈设元件、尤其是在那里使用的电子标签的精确数字地图量测。

因此，本发明提出了以下任务，即提供一种用于确定陈设元件、尤其是电子标签的位置的方法，所述方法考虑该长期抱有的需求。

发明内容

该任务通过根据权利要求1的方法来解决。因此，本发明的主题是一种用于确定陈设元件的位置的方法，其中利用摄像机从以此检测的场景中生成数字场景映像，在所述场景中存在至少一个第一陈设元件，所述数字场景映像由像点组成，所述像点尤其是具有已知的像点间隔或已知的像点尺寸，并且所述数字场景映像包含所述第一陈设元件的数字第一陈设元件映像，并且其中在所述场景映像中自动地识别至少一个第一陈设元件映像并且通过确定所述场景映像中的分配给第一陈设元件映像的像点以及在了解第一陈设元件的实际尺寸的情况下确定用于场景映像的尺度。

随根据本发明的措施出现以下优点：为场景映像生成是用于地图量测的基础的尺度的全自动定义。从而一方面可以精确地在场景中对至少一个第一陈设元件进行地图量测，即进行关于其位置的说明。从而另一方面，这可以测量其他、也即第二陈设元件或者进行关于其在场景中的位置的说明，所述第二陈设元件在其侧作为第二陈设元件映像包含在场景映像中并且与至少一个第一陈设元件不同。借助于尺度，可以也即直接从数字场景映像中“测量出”实际量度说明，即从场景映像换算到真实场景。

此外，本发明的其他特别有利的设计方案和改进方案从从属权利要求以下随后的描述中得出。

场景映像是由像点的矩阵构建的二维数据结构。该像点矩阵由摄像机构成，所述摄像机具有光学检测系统(镜头光学器件，也称为物镜)，利用所述摄像机检测真实场景并且类似地成像到电子图像传感器上，所述电子图像传感器然后执行基于像点的数字化。根据电子传感器以及其他后处理摄像机电子器件的实施，从而生成构成数字场景映像的数字静止图像或场景的数字视频。电子图像传感器和/或数字后处理装置的分辨率定义数字场景映像的图像分辨率，所述图像分辨率在技术术语中被称为像素分辨率。从而由摄像机生成用于进一步处理的场景映像通过由像点组成的矩阵构成，也即例如在×方向上1500个像点和在y方向上与此正交地1000个像点。这些像点中的每一个像点均具有所定义的(即已知的)像点尺寸(或者换句话说，相邻像点的中心具有所定义的(即已知的)像点间隔。

因此，场景的陈设元件借助于光学检测系统和电子图像传感器、必要时也借助于对由电子图像传感器提供的原始数据进行后处理作为陈设元件映像被嵌入到场景映像中并且在那里占据或占用像点。从所占据或占用的像点的了解中，现在可以简单地在将尺度应用于尺寸或量度说明的情况下在现实中、即在场景中进行换算。

此外，应该仅提及的是，现代数字摄像机当然具有自动聚焦装置和其他有助于图像检测以及图像改善的功能。

利用计算机进一步处理数字场景映像，以便获得尺度，在所述计算机上执行用于进行图像和/或模式识别的软件。所述软件也可以使用人工智能或完全基于所述人工智能。

借助该软件，搜索并且标识第一陈设元件、更确切地说第一陈设元件的映像(即陈设元件映像)。在此，其外形可以在场景映像中被识别，这可以例如通过软件在了解第一陈设元件的要搜索的外形或表现图像或者特殊特征性表现形式的情况下进行。为此目的，描述要搜索的第一陈设元件的描述数据集可以供软件使用，所述描述数据集包含第一陈设元件的与搜索相关的数字参数化，或者在软件执行的范围内应用鉴于第一陈设元件的识别被训练、即被优化的人工神经网络。

此外，软件还拥有对第一陈设元件的实际尺寸的了解，为此应用可供软件使用的尺寸数据，所述尺寸数据表示真实场景中的实际尺寸。

一旦软件已经在数字场景映像中识别出第一陈设元件，即已经在数字场景映像的像素矩阵中找到其结构，由此数字场景映像中的分配给第一陈设元件的那些像点直接是已知的，就确定尺度。此外还要详细地讨论为此如何使用分配给第一陈设元件的像点。

其上执行该软件的计算机可以是服务器，场景映像从摄像机被传送给所述服务器，并且在所述服务器中实现先前提及的尺寸数据以及为了进行识别需要的描述数据集或人工神经网络。

当然，单芯片实现也可能存在，所述单芯片实现通过其紧凑性而有吸引力，并且允许将措施直接集成到摄像机中，这已被证明为特别优选的措施，因为从而所有为了完全评估场景映像所需要的措施立即直接在那里实现，并且在产生数字场景映像之处本地地应用。因此在具有许多不同摄像机的实现中，可以分别应用对于相关的摄像机本地有效的尺度，所述摄像机中的每一个摄像机生成其自身场景映像。在此，为了评估场景映像所需要的计算能力也尽可能有效地被分布到大量摄像机上，并且在那里本来可用的计算能力最佳地被利用。在一种特别优选的构造方式中，因此已经在摄像机中设置的计算机(例如作为微控制器、ASIC或微处理器等)也被用于根据本发明的该方法的目的。

根据本发明的另一方面，可以有利的是，在所述场景映像中标识多个第一陈设元件映像、优选地相同构造的第一陈设元件，其中基础的多个第一陈设元件的实际尺寸是已知的，并且在了解实际尺寸的情况下确定用于场景映像的尺度。

该措施可以有助于改善尺度的精度。

然而，该措施还可以有助于沿着场景映像缩放尺度，即定义与场景映像中的地点相关的尺度。如果例如场景映像使在那里成像的第一陈设元件的比例失真，则这种与地点相关的尺度可能是必要的。例如，如果借助于摄像机记录如其例如在零售公司的货架过道的情况下存在的远远延伸到摄像机的左侧或右侧的场景，则可能发生这样的情形。于是，位于摄像机附近的第一陈设元件被成像为大于定位在距摄像机的更远距离的第一陈设元件。

结合这样的透视成像，还可以实现：从单独的(唯一)陈设元件的失真中导出沿着场景映像的尺度的变化过程。然而，如果该第一陈设元件沿着要评价的视角的长度相对短，并且以不利的方式也仅存在少数分配给第一陈设元件的像点，则这可能导致非常不准确的结果。

因此，优选地应用多个这样的第一陈设元件，所述第一陈设元件理想地沿着透视成像还算均匀分布地出现，以便可以尽可能准确地定义描述与地点相关的尺度的函数。这样的尺度也被称为度量。

如已经显示出的那样，本发明优选地应用于零售业。在此，其实际尺寸(数字地以尺寸数据的形式，以例如毫米为单位)已知的第一陈设元件构成用于定义尺度的参考元件。这样的参考元件可以具有多种多样的表现形式。例如，它可以是整个货架，该货架例如长度确切已知。使用货架因此可以是有利的，因为所述货架通常在场景映像中占据主导作用。但是较小的物品、诸如构成货架底面的前端的货架条板也可以用作参考元件。在营业场中为了展示商品所架设的购物篮也适合于此，前提是所述购物篮定位在相应摄像机的检测区域内。

然而，在零售业中，货架或货架条板以及购物篮常常由各种各样的制造商以各种各样的尺寸为各种各样的零售商的相应营业场提供，常常也在零售商的特殊结构预设的情况下提供。因此，它们仅在非常窄的应用情况下适合作为第一陈设元件。

在此背景下，已证明特别有利的是，其实际尺寸是已知的第一陈设元件由电子货架标签构成。使用电子货架标签作为参考元件因此是非常有利的，因为对于这种电子货架标签存在基本上统一的尺寸。当然，电子货架标签以各种各样的、完全大大变化的尺寸存在。然而，在实践中已经表明，应用的尺寸在不同营业场所或者不同零售商之间几乎不变动或仅在预定范围内变动。这尤其是适用于在营业场所中安装在该货架的一个货架导轨或多个货架导轨处的大量电子货架标签。这样的电子货架标签通常在一个货架处仅以一种至两种不同的尺寸存在。由于这些电子货架标签中的每一个都必须和相同货架导轨配套，所以所述电子货架标签在其尺寸或大小方面通常仅以宽度不同，而对于例如两种不同类型的电子货架标签来说，高度通常是相同的。因此，其实际尺寸基本上可以被归类为跨越不同类型的货架标签以及跨越安装地点是均一的。

由于除了大量由电子货架标签表征的不同商品之外，在营业场所中的场景映像中主要出现货架连同其货架底面以及紧固在相应货架条板处的电子货架标签，因此将电子货架标签选择为参考元件出于其他原因已经证明是特别有利的。与在货架本身或货架条板等情况下不同地，货架标签总是安置在货架的最前面，并且因此借助于数字图像处理可以在利用摄像机检测的场景映像中毫无问题地并且明确地被标识。

具体地，可以在使用下面列出的措施中的至少一个措施的情况下来确定场景映像中的分配给所述第一陈设元件映像的像点，即：

-确定通过第一陈设元件映像平面地占用的像点的数量。从而通过对像点进行计数，可以确定场景映像中的通过第一陈设元件映像占据的面积(作为经计数的像点的总和说明面积或作为通过经计数的像点的总像点面积说明面积)，并且在了解第一陈设元件的实际面积(例如以平方毫米说明的第一陈设元件的前面的面积)的情况下计算尺度。

-确定通过第一陈设元件映像圆周地占用的像点的数量或者圆周地围绕第一陈设元件映像的像点的数量。因此，场景映像中的第一陈设元件映像的周长通过基于边缘侧恰好仍通过第一陈设元件映像占用的像点或基于紧邻第一陈设元件映像的像点对像点进行计数被确定。可以在了解第一陈设元件的实际周长(例如第一陈设元件的前侧的周长)的情况下来计算尺度。

-确定通过第一陈设元件映像沿其边界线之一占用的像点的数量或者与其边界线之一相邻地围绕第一陈设元件映像的像点的数量。因此，边缘线的长度被用作用于进行尺度确定的基础。在此这尤其是可以是直线伸展的边缘线，诸如第一陈设元件的矩形或正方形结构的一侧，其可以例如由壳体边缘给出。从而要么对沿着这样的边界线占用的像点进行计数，要么对与其边界线之一相邻地围绕第一陈设元件映像的像点进行计数。可以在了解第一陈设元件的边界线的实际长度的情况下计算尺度。

概括而言，因此可以理解，尺度说明对于场景映像中的每个像点在场景中的面积单位或长度单位。

根据该方法的另一方面，在所述场景映像中识别至少一个第二陈设元件映像，并且在应用用于所述场景映像的尺度的情况下确定用于所述第二陈设元件映像所基于的第二陈设元件的至少一个实际量度说明。因此基于该尺度，可以在二维数字场景映像中确定距在数字场景映像中可标识的其他对象成像(第二陈设元件映像)的其他真实距离说明以及其实际(真实)尺寸。例如，在零售商的营业场所中，其他对象可以是与已经被用作第一陈设元件的那些电子货架标签不同的电子货架标签，或者可以是在货架中展示的产品。但是其他对象也可以是整个货架或用于展示产品的其他物品。

在该上下文中，应该理解的是，实际量度说明具有以下列出的量度说明中的至少一个，即：

-第二陈设元件的实际大小量度说明，

-第二陈设元件与同样在场景映像中识别的另一陈设元件的实际距离量度说明，

-第二陈设元件在借助于摄像机检测的场景内的实际位置量度说明。从而可以做出关于其他第二陈设元件的定位以及取向的多种多样的陈述。

尤其是，基于在所述场景映像中识别的(第一和/或第二)陈设元件映像的全部并且在应用用于所述场景映像的尺度的情况下生成第一数据结构，所述第一数据结构在说明对于二维地图量测所需要的(一个或多个)实际量度说明的情况下表示在场景中的陈设元件的二维数字地图。从对二维数字地图的要求中得出需要的量度说明。例如，从而可能仅彼此链式度量说明(即说明陈设元件彼此间的间隔的相对度量说明)是期望的，以便确定陈设元件的位置。从原点或参考点测量的绝对量度说明也可能是期望的。

确实表示场景穿过光学图像检测装置到摄像机的图像传感器上的投影的场景映像的该二维数字地图随后被使用来将其嵌入到三维上下文中。根据该方法的这个方面，通过补充数据将所述第一数据结构转变为第二数据结构，所述第二数据结构表示陈设元件在与其位置确定相关的空间区域中的三维数字地图，其中所述补充数据具有下面列出的数据元素中的至少一个，即：

-距离数据，所述距离数据说明摄像机距通过所述摄像机检测的场景、尤其是场景中包含的第一陈设元件的距离、尤其是平均或代表性距离，

-取向数据，所述取向数据说明所述摄像机在空间区域中的取向，

-斜度数据，所述斜度数据说明所述摄像机相对于参考、尤其是重力方向的斜度，

-位置数据，所述位置数据说明所述摄像机在空间区域内的位置。

在此情况下，通过所述距离数据表示的距离可以通过以下方式中的至少一种方式确定，即：

-通过预编程，这例如在摄像机的首次安装或其重新定向期间必须进行一次，并且必要时可以通过先前的手动测量来启动。

-通过在了解所述摄像机的光学成像系统的参数的情况下自动计算，这例如可以通过摄像机的计算机完全自动地进行，因为所述计算机可以从其存储器之一获取光学成像系统的参数，(例如在制造摄像机时)所述参数已经提前被编程到该存储器中，并且因为计算机确实了解第一陈设元件的实际尺寸。从而可以示例性地在使用众所周知的镜头方程的情况下计算距真实对象的间隔，其中在此情况下当然可以应用与摄像机的实际物镜对应的成像函数。

-通过借助于距离传感器自动确定，其中为此例如可以应用激光雷达传感器或类似物，利用所述激光雷达传感器或类似物，精确的直接测距是可能的，其中摄像机的计算机进一步处理由激光雷达传感器传送的数据。

预编程的距离数据或所计算的距离数据存储在服务器中，因为所述距离数据已经在那里被计算。然而，如果距离数据在摄像机中被计算，或者通过在摄像机中自动确定被产生，则所述距离数据被发出给服务器，在此处借助于所述距离数据创建三维地图。

此外，通过取向数据所表示的取向可以通过以下列出方式中的至少一种方式来确定，即：

-通过预编程，这在这种情况下也例如在摄像机的首次安装或其重新定向期间必须进行一次，并且必要时可以通过先前的手动测量来启动。

-通过借助于取向传感器自动确定，其中为此例如可以使用电子罗盘，并且摄像机的计算机进一步处理由电子罗盘传送的数据。

将预先编程的取向数据存储在服务器中，或者将通过自动确定获得的取向数据发出给服务器，在此处借助于所述取向数据创建三维地图。

此外，通过所述斜度数据所表示的斜度可以通过以下列出方式中的至少一种方式来确定，即：

-通过预编程，这在这种情况下也例如在摄像机的首次安装或其重新定向期间必须进行一次，并且必要时可以通过先前的手动测量来启动。

-通过借助于倾斜传感器自动确定，其中为此可以例如使用电子陀螺仪，并且摄像机的计算机进一步处理由电子陀螺仪传送的数据。

将预先编程的斜度数据存储在服务器中，或者将通过自动确定获得的斜度数据发出给服务器，在此处借助于所述斜度数据创建三维地图。

此外，通过所述位置数据所表示的位置可以通过以下列出方式中的至少一种方式来确定，即：

-通过预编程，这在这种情况下也例如在摄像机的首次安装或其重新定向期间必须进行一次，并且必要时可以通过先前的手动测量来启动。

-通过基于无线电的自动位置确定，尤其是借助于“超宽带无线电技术”(简称UWB无线电技术)进行，其中为此优选地使用固定地(在相关空间区域的不同点处)安装的UWB发射机以及摄像机拥有UWB无线电模块，借助于所述UWB无线电模块，在利用摄像机处于UWB无线电通信中的相应UWB发射机的情况下确定摄像机相对于UWB发射机的位置，并且从中生成位置数据。

将预先编程的位置数据存储在服务器中，或者将通过基于无线电的自动位置确定获得的位置数据发出给服务器，在此处借助于所述位置数据创建三维地图。

为了更容易地标识第一陈设元件，还可以规定，由第一陈设元件发射光学信号并且使用该光学信号用于识别第一陈设元件映像。在此情况下，光学信号可以仅仅由于其从场景映像的剩余部分中醒目的强度或者其在那里显眼的谱分布而有助于更容易的标识。如果应该使用唯一静止图像来识别第一陈设物品，则这尤其是有用的。如果应该附加地也利用光学信号输送标识信息，以便例如标识第一陈设元件的类型并且因此能够推断出其实际尺寸，因为例如这些不同的实际尺寸根据类型划分地被预编程，则建议以在各个记录之间的合适的暂停时间记录静止图像的序列，或者记录涵盖信息传输的视频序列。

光学信号优选地是光信号，即由第一陈设元件发射的电磁辐射。该光信号可以具有电磁谱的对于人眼可见的范围中的分量。优选地，是对于人眼不可见的但可以由摄像机检测的光信号。

然而，光信号也可以通过影响反射光来实现。例如，光信号可以是代码，例如是字母数字文本、条形码、QR码或符号等等，其被显示在屏幕上，尤其是被显示在电子纸屏幕上。在这里，因此反射光被影响，使得出现用于识别第一陈设元件映像用的光信号。

摄像机可以是移动摄像机，即可以改变其位置的摄像机。这样的移动摄像机的位置可以通过先前讨论的措施和/或自动位置确定、诸如借助于“室内定位系统”来确定。紧接着可以关于摄像机的位置设置摄像机沿着其路径记录的相应场景映像的所确定的尺度，使得可以创建三维地图。例如这样的移动摄像机可以位于购物车上或集成到购物车中。

已经证明特别有利的是，摄像机是固定安装的摄像机。这允许对所检测的图像数据或所检测的场景进行简单的地点分配。此外，通过该措施可以确保固定安装的摄像机所对准的那个区域是永久地可检测的。由此可以确保利用根据本发明的方法创建的三维地图可以针对利用固定安装的摄像机检测的所有场景持续地被保持为最新的。

概括而言，利用根据本发明的措施，可以对相关空间区域中的所有陈设元件进行尽可能高效的且尤其准确的、即尽可能防错但高度准确的地图量测，这归属于陈设元件的全自动创建的蓝图，所述蓝图在零售公司的上下文中称为“平面图”，并且以数字形式构成在相关空间区域(在那里这是营业场所)中识别的所有(第一以及第二)陈设元件的三维地图。

最后，一般而言还应该提及的是，所讨论的电子设备自然具有电子器件。电子器件可以分立地或者通过集成电子器件或者通过两者的组合构建。还可以使用微计算机、微控制器、专用集成电路(ASIC)，必要时与模拟或数字电子外围组件组合。设备的所提及的功能性中的许多——必要时与硬件部件相互作用地——借助于在电子器件的处理器上执行的软件实现。被构造用于进行无线电通信的设备通常具有用于发射和接收无线电信号的天线配置作为收发器模块的组成部分。电子设备此外可以具有内部电功率供应装置，所述内部电功率供应装置可以例如用可更换或可充电的电池来实现。这些设备还可以以线路连接的方式要么通过外部网络要么借助于“LAN供电(Power over LAN)”被供电。

本发明的这些和其他方面通过下面讨论的图得出。

附图说明

下面参考附图根据实施例再次更详细地阐述本发明，然而本发明不限于所述实施例。在此，在不同的图中，相同的部件配备有相同的附图标记。以示意方式：

图1示出具有摄像机和带有电子货架标签的货架的电子货架标签系统，所述货架作为场景定位在摄像机的检测区域中；

图2以前视图示出具有定位在其前面的摄像机的货架；

图3以俯视图示出具有定位在其前面的摄像机的货架；

图4从左侧以侧视图示出具有定位在其前面的摄像机的货架；

图5示出借助于摄像机检测的场景的场景映像内的电子货架标签的成像。

具体实施方式

图1示出用于执行或讨论根据本发明的方法的电子货架标签系统(下面简称为ESL系统1(ESL在这里代表“电子货架标签(Electronic-Shelf-Label)”))的基本配置。系统1具有：

-服务器16，用于创建并且进一步使用零售商的营业场所中的陈设元件的三维数字地图，其中在营业场所中架设用于展示商品(在这里未示出)的具有货架底面3-5的货架2；

-超宽带通信装置15(下面简称为UWB发射机15，其中UWB在这里代表“超宽带”)，用于为了这些有UWB能力的设备在营业场所中的位置确定而与其他有UWB能力的设备进行UWB无线电通信(用第一无线电信号L1表明)，

-ESL接入点17，用于与电子货架标签6至12(下面简称为ESL6-12)进行无线电通信(由第二无线电信号L2表明)；

-摄像机接入点18，用于与摄像机13进行无线电通信(由第三无线电信号L3表明)；

-摄像机13，所述摄像机以其图像检测范围伸到作为要检测的场景的货架2上，并且从该场景、即从货架2中产生数字场景映像，并且所述摄像机被构造用于为了与服务器进行数据传输而与摄像机接入点18进行无线电通信，并且所述摄像机被构造用于为了确定其在营业场所中的位置而与UWB发射机进行UWF无线电通信；

-七个ESL 6-12，所述ESL定位在相关货架底面3-5的前边缘(对应于然而未示出的产品)并且在那里被使用来可视化产品和/或价格信息，并且所述ESL被构造用于为了从服务器16得到相关的产品和/或价格信息而与ESL接入点17进行无线电通信。

由服务器16以本身已知的方式经由ESL接入点17给ESL 6-12供应相关的产品和/或价格信息，这借助于所谓的“标签管理软件”进行。在该上下文中，数字地储存在服务器16中并且将相应的ESL 6-12绑定到与其链接的产品(在技术术语中称为“绑定(binding)”)的逻辑链接负责：给ESL 6-12传送了正确的数据用于利用其屏幕可视化，所述屏幕通常被构造为极其节能的电泳屏幕。

全自动地确定营业场所中的货架以及从而还有位于其上的产品的精确位置是其他讨论的主题。在此使用的方法的结果是营业场所的陈设元件的数字三维地图。在此，陈设元件原则上可以被理解为借助于(一个或多个)摄像机13可检测的所有物品，所述摄像机优选地以悬挂在天花板处或集成在那里的方式位于商业场所的各种各样的位置处，或也可以紧固在其他陈设元件处，诸如紧固在货架2本身处。出于对方法的较简单的讨论，在当前情况下，仅考虑唯一货架2和唯一摄像机13，然而这不应被理解为将本发明限制于仅这种配置。相反地，也可以利用摄像机13检测多个货架13。原则上，在营业场所的真实配置中，足够的摄像机13在各种各样的地点处并且以不同定向的检测区域定位，以便在营业场所中尽可能全面地应用根据本发明的方法并且获得陈设元件的尽可能完整的数字三维地图。

为了对营业场所中的陈设元件进行地图量测，首先为营业场所定义在图1中右下角所示的笛卡尔坐标系19。通过定义，(在法律体系的意义上)彼此正交的坐标轴X和Y沿着平面的地板G伸展，货架2也位于所述地板上，并且定义最低的参考面，其中在这种情况下，所有陈设元件都位于参考面上方，并且可以说明其沿着与该参考面正交并且向上突起的Z坐标轴距参考面的距离，所述Z坐标轴的原点位于点O。当然，该参考面也可能以距地板G一距离地伸展。参考平面中坐标对轴X和Y的取向在此情况下是任意选择的。在实际上，例如营业场所的角可以用于此。

为了对摄像机进行位置确定，使用在UWB发射机15和摄像机13之间的UWB无线电通信，其中固定地安装在营业场所中的UWB发射机15的位置是已知的。摄像机13的如此获取的位置数据KPD由UWB发射机15例如以有线的方式经由局域网(简称LAN)被传送给服务器16。在这里应该提及的是，足够的是，可以将说明摄像机13相对于UWB发射机15的相对位置的摄像机13的相对坐标递交给服务器16并且服务器16在了解UWB发射机在坐标系19中的位置的情况下计算摄像机16的位置数据。位置数据KPD表示位置矢量所述位置矢量通过坐标系19中的摄像机坐标KX、KY、KZ说明摄像机13的位置。

为了随后确定营业场所中的陈设物品的位置以及取向，还考虑摄像机13在营业场所的空间区域中的取向。为此目的，摄像机13具有电子罗盘(未示出)，所述电子罗盘说明其在平行于地板G的平面G'中的取向。通过摄像机13中的电子罗盘产生的取向数据KOD从摄像机13传送给服务器16并且在那里被进一步处理。摄像机13的取向通过角度(Betta)β来可视化，所述角度在平面G'中伸展，所述平面G'平行于通过坐标轴X和Y撑开的那个平面伸展以及通过坐标轴X'和Y'表明，所述坐标轴X'和Y'在摄像机13的地点处具有其原点。通过定义，在这里角度(Betta)β从X'坐标轴出发沿y'坐标轴的方向被测量。

如所提及的那样，摄像机13安装在营业场所的天花板处，并且其检测区域14从那里斜向下取向，以便能够尽可能完全地检测货架2。在这里还绘出摄像机13朝货架2的中心方向的中心检测方向E。中心检测方向E到平面G'上的投影被录入为投影检测方向E'，角度(Betta)β延伸直至所述投影检测方向E'。检测区域14的外部边缘此外用点划线示出或界定，并且在该图示中绘制为朝向货架2的四个角伸展。如所讨论的，中心检测方向E相对于×'轴旋转角度(Betta)β并且附加地从由×'-Y'坐标撑开的平面G'向下倾斜。

为了进一步讨论该方法，下面参考图2至5。

在此情况下，图2示出图1中所示的货架2连同安装在视图的上部区域中的摄像机13的前视图，图3示出该货架2连同与之相间隔地定位的摄像机13的俯视图，并且图4示出货架4连同以与货架2相间隔地将近定位在营业场所的天花板下方的摄像机13的侧视图。在图2和4中还可以看到货架2停放在其上的地板G的剖面。

如果如在本情况下中可以看出的，摄像机13紧固在营业场所的天花板处(这未详细示出)，并且因此其中心检测方向E从由×'和y'坐标轴(参见图1)撑开的平面G'(其中仅可以看到切割线的一部分)倾斜出来，则还考虑摄像机13在营业场所的空间区域中的斜度。为此目的，摄像机13具有电子陀螺仪(未示出)，所述电子陀螺仪说明中心检测方向E从该平面G'出发的斜度。由摄像机13中的电子陀螺仪产生的斜度数据KND从摄像机13被传送给服务器16并且在那里被进一步处理。摄像机13的斜度通过角度(Alpha)α来可视化，所述角度α通过定义从平面G'出发来测量。

此外，规定或确定所检测的场景与摄像机13之间的距离，正如在一般描述中所讨论的那样。在简单的近似中，可以在使用如在相关文献中引用的众所周知的镜头方程(也以术语成像方程而已知)的情况下计算在摄像机与场景或场景的陈设元件之间的距离。通过测量或计算确定的距离，诸如沿着中心检测方向E的在图4中的平均距离，由距离数据KED表示，所述距离数据KED要么通过在服务器16中的计算具有其起源要么从摄像机13被传送给服务器16并且在那里被进一步处理。

为了现在能够自动且高精度地在营业场所中对陈设物品进行测位，需要使得能够将借助摄像机13检测的场景或其组成部分放置在真实尺寸或位置上下文中的尺度。该尺度借助于第一陈设元件、即借助于ESL 6-12来确定，所述第一陈设元件接管参考元件的作用，因为所述第一陈述元件以事先已知的尺寸、即事先已知的宽度B(例如60mm)、事先已知的高度H(例如30mm)和事先已知的深度T(例如8mm)存在，其中在当前情况下，这些尺寸B、H、T对于所有ESL 6-12来说是相同的。

借助于摄像机13检测场景、即根据图1的货架2的数字静止图像(也参见图2-4)，并且产生表示该场景的二维数字场景映像，所述二维数字场景映像例如由1100×700像点构成。这些像点以矩阵布置，其中每个像点的位置由像点坐标xp和yp给出，其中xp是来自集合1至1100中的自然整数的元素，并且其中yp是来自集合1至700的自然整数的元素。在该场景映像中包含场景的所有真实陈设元件，诸如货架2连同其货架底面3-5，必要时也连同放置于其上的产品。然而，不被任何其他图像元素遮盖的ESL 6-12显示为最前面的图像元素。这种突出的定位以及其事先已知的尺寸预定ESL 6-12作为用于确定场景映像的尺度的参考元件。

在当前情况下，借助于集成在摄像机13中的人工智能在数字场景映像中搜索ESL6-12。在此可以使用准则，诸如ESL的基本上矩形的形状(必须能够主要以不受影响的方式找到所述形状)、由例如宽度除以高度得出的尺寸比，这使在数字场景映像中对ESL 6-12的计算机化找到变得容易以及准确。示例性地可以在图5中看到该搜索的结果，在那里在由通过像点坐标xp和yp标识的1100×700像点组成的搜索结果图像矩阵中只能更多地看到找到的ESL 6-12，而所有其他陈设元件已经淡出。不言而喻，该图示主要用于简单的可视化和讨论，并且当然在陈设元件的完整集合中可以对所找到的ESL 6-12进行数字标记，即可以用元数据表征，以便能够以从可能存在的各种各样的其他陈设元件中分离的方式实现其进一步数字约束(Verbeugung)。

如在图5中可以看出的，在数字映像中可能出现ESL 6-12的比例和形状的失真。在当前情况下，尤其是在上货架底面3处示出的ESL 7几乎不具有形状的失真或歪曲，因为该ESL 7在摄像机13之前定位在中心。相邻的ESL 6和8主要具有水平细长的形状，这可以归因于所述ESL位于摄像机13的检测区域14的左或右边缘处。与此不同，ESL 9至12基本上具有稍轻微歪曲的比例，这可以归因于，ESL 9-12越远地位于下部检测区域14处，摄像机13从上方检测所述ESL 9至12并且因此ESL 9至12的前面到摄像机13的图像传感器上的投影面减小。

这可以导致在数字场景映像中观看，ESL 6-12具有轻微不同的高度H1-H4和轻微不同的宽度B1-B4。在此然而，其尺寸和比例维持在范围中，使得所述ESL 6-12对于人工智能而言仍然保持是可找到的。

当在场景映像中为ESL 6-12中的每一个找到或标识ESL 6-12之后，确定在相应ESL 6-12的地点处有效的用于场景映像的单独尺度。该尺度原则上说明，场景映像中的多少像点对应于实际的、即事先已知的尺寸(诸如ESL的宽度B和/或高度H)的长度单位、诸如1mm。

通过以下方式确定尺度，即对于每个所识别的ESL 6-12沿着轮廓对像点进行计数。从而沿着相应成像的ESL 6-12的像点坐标xp确定的宽度像点数量被用作除数，以便将实际宽度(作为被除数)除以宽度像点数量。如果实际宽度如先前所讨论的那样例如以mm为单位予以说明，则沿着像点坐标xp的尺度具有单位mm/像点。

如此沿着相应成像的ESL 6-12的像点坐标yp确定的高度像点数量被用作除数，以便将实际高度(作为被除数)除以高度像点数量。如果实际高度如先前所讨论的那样例如以mm为单位予以说明，则沿着像点坐标yp的尺度具有单位mm/像点。

由于属于相应ESL 6-12的这些单独尺度基本上仅在相应ESL 6-12的地点或其紧邻环境中具有有效性，因此在各个ESL 6-12之间内插尺度的变化过程。这可以准连续地在像点水平上或基于像点的群集、诸如10×10像点或20×20像点等进行。

通过如此确定的用于场景映像的与地点相关的尺度，现在可以精确地确定在场景映像中包含的货架2的实际尺寸，并且对在货架2中布置的货架底面3-5进行测位，所述货架底面确实可以在其前边缘处仅沿着ESL 6-8、9-10、11-12的紧固在那里的组的水平布置伸展。相应ESL 6-12沿着货架底面3-5的位置以及其彼此间的间隔也可以以实际尺寸(例如以单位mm)来指定。

这全部基于以下方案：对于在场景映像中包含的相应陈设元件映像(货架轮廓线、货架底面2-3或货架底面2-3彼此间的间隔，必要时还有产品的包装轮廓等)对沿着像点坐标xp和yp的像点进行计数，并且将沿着相应的像点坐标xp以及yp的如此确定的像点数量乘以用于像点坐标xp或像点坐标yp的相应应用的与地点相关的尺度。可以将场景映像的从而以真实、即实际的尺寸中地图量测的全部陈设元件映像此外在使用用于相关的摄像机13的先前提及的距离数据KED、取向数据KOD、斜度数据KND和位置数据KPD的情况下置于与坐标系19相关的三维上下文中，所述经地图量测的全部确实由于成像到摄像机13的二维图像传感器上而仅表示场景的二维数字地图。为此目的，将具有所确定的实际尺寸的说明的场景的二维数字地图传送给服务器16，并且在那里补充概括地称为补充数据的用于相关的摄像机13的距离数据、取向数据、斜度数据和位置数据。

如开头提及的那样，在零售商的营业空间中的真实安装中，原则上可以存在任意多个货架或其他产品展示陈设元件，可以借助于所讨论的措施以分组的方式或单独地对其进行三维地图量测。在此，关于其位置和取向要检测的这些陈设元件分别可以由唯一摄像机13或者至少部分重叠地由至少两个摄像机13检测。在所有实现变型方案中，其实际尺寸是已知的第一陈设元件对于确定用于场景映像的尺度发挥中心作用，以便给在相应的场景映像中包含的陈设元件映像配置实际尺寸、可以以实际尺寸说明其彼此间的相对位置或能够说明其在场景中的绝对位置，这用于数字“平面图”的自动计算机化创建，所述数字“平面图”构成所有借助于摄像机13可检测的陈设元件的数字三维地图。使该数字平面图在服务器6处可供标签管理软件进一步使用。

从而可以借助于摄像机13例如检测屏幕的内容并且将其传送给标签管理软件用于检查ESL在营业场所中的精确实际位置。

如果在ESL系统中使用具有诸如LED(发光二极管)之类的发光装置的ESL，则相应ESL的标识码也可以借助于所述发光装置经由摄像机13例如以一系列静止图像或借助于视频序列来检测，并且被递交给服务器16用于利用标签管理软件进一步使用。发射的光在摄像机13处还可以被使用来使容易找到场景映像中的相应ESL。

与此类似地，所谓的货架分隔件也可以在本发明的上下文中被用作第一陈设元件或被用作参考元件，因为所述货架分隔件同样具有原则上事先已知的实际尺寸。货架分隔件基本上具有矩形、例如板形的结构，所述结构被定位在相邻的产品之间用于分离货架底面上的产品。与ESL类似，这些货架分隔件也可以装备有LED并且发出光信号作为光学信号，用于所提到的目的。

根据ESL系统1或其子范围的另一配置，还可以规定，摄像机13不紧固在营业空间的天花板处，而是例如在货架的中心位置中紧固在货架导轨处。然后，摄像机13越过货架过道检测另一货架作为场景，其中场景映像中的可能出现的失真围绕场景映像的中心对称地伸展，并且因此可能更简单地被考虑。在这种配置中，对于摄像机13也几乎不需要附加的紧固措施。

最后，还应该提及的是，对于场景映像使用与地点相关的尺度不是强制性必要的。对于整个场景映像也可以应用统一的尺度，尤其是如果随之出现的误差是可接受的或者甚至可忽略不计的话，这可以例如由零售商的相应的需求概况得出。

最后，应再次指出，上面详细描述的图仅是实施例，本领域技术人员可以以各种各样的方式对所述实施例进行修改而不脱离本发明的范围。为了完整性，还指出，不定冠词“一个”或“一种”的使用并不排除相关的特征也可以存在多个。

Claims (15)

1.一种用于确定陈设元件的位置的方法，

-其中利用摄像机(13)从以此检测的场景中生成数字场景映像，在所述场景中存在至少一个第一陈设元件(6-12)，所述数字场景映像由像点组成，所述像点尤其是具有已知的像点间隔或已知的像点尺寸，并且所述数字场景映像包含所述第一陈设元件的数字第一陈设元件映像，并且

-其中在所述场景映像中自动地识别至少一个第一陈设元件映像并且通过确定所述场景映像中的分配给第一陈设元件映像的像点以及在了解所述第一陈设元件(6-12)的实际尺寸的情况下确定用于所述场景映像的尺度。

2.根据权利要求1所述的方法，其中在所述场景映像中标识多个第一陈设元件映像、优选地相同构造的第一陈设元件(6-12)，其中基础的多个第一陈设元件(6-12)的实际尺寸是已知的，并且在了解实际尺寸的情况下确定用于场景映像的尺度。

3.根据权利要求1或2所述的方法，其中其实际尺寸是已知的第一陈设元件(6-12)由电子货架标签(6-12)构成。

4.根据前述权利要求中任一项所述的方法，其中在使用下面列出的措施中的至少一个措施的情况下来确定场景映像中的分配给所述第一陈设元件映像的像点，即：

-确定通过所述第一陈设元件映像平面地占用的像点的数量，

-确定通过所述第一陈设元件映像圆周地占用的像点的数量或者圆周地围绕所述第一陈设元件映像的像点的数量，

-确定通过所述第一陈设元件映像沿其边界线之一占用的像点的数量或者与其边界线之一相邻地围绕所述第一陈设元件映像的像点的数量。

5.根据前述权利要求中任一项所述的方法，其中所述尺度说明对于所述场景映像的每个像点在场景中的面积单位或长度单位。

6.根据前述权利要求中任一项所述的方法，其中在所述场景映像中识别至少一个第二陈设元件映像，并且在应用用于所述场景映像的尺度的情况下确定用于所述第二陈设元件映像所基于的第二陈设元件的至少一个实际量度说明。

7.根据权利要求6所述的方法，其中所述实际量度说明具有以下列出的量度说明中的至少一个，即：

-第二陈设元件的实际大小量度说明，

-第二陈设元件与同样在场景映像中识别的另一陈设元件的实际距离量度说明，

-第二陈设元件在借助于摄像机(13)检测的场景内的实际位置量度说明。

8.根据前述权利要求中任一项所述的方法，其中基于在所述场景映像中识别的陈设元件映像的全部并且在应用用于所述场景映像的尺度的情况下生成第一数据结构，所述第一数据结构在说明对于二维地图量测所需要的(一个或多个)实际量度说明的情况下表示在场景中的陈设元件的二维数字地图。

9.根据前述权利要求8至12中任一项所述的方法，其中通过补充数据将所述第一数据结构转变为第二数据结构，所述第二数据结构表示陈设元件在与其位置确定相关的空间区域中的三维数字地图，其中所述补充数据具有下面列出的数据元素中的至少一个，即：

-距离数据(KED)，所述距离数据说明摄像机(13)距通过所述摄像机检测的场景、尤其是场景中包含的第一陈设元件(6-12)的距离、尤其是平均或代表性距离，

-取向数据(KOD)，所述取向数据说明所述摄像机(13)在空间区域中的取向，

-斜度数据(KND)，所述斜度数据说明所述摄像机(13)相对于参考、尤其是重力方向的斜度，

-位置数据(KPD)，所述位置数据说明所述摄像机(13)在空间区域内的位置。

10.根据权利要求9所述的方法，其中通过所述距离数据(KED)表示的距离通过以下方式中的至少一种方式确定，即：

-通过预编程，

-通过在了解所述摄像机(13)的光学成像系统的参数的情况下自动计算，

-通过借助于距离传感器自动确定。

11.根据权利要求9至10中任一项所述的方法，其中通过所述取向数据(KOD)表示的取向通过以下列举方式中的至少一种方式确定，即：

-通过预编程

-通过借助于取向传感器自动确定。

12.根据权利要求9至11中任一项所述的方法，其中通过所述斜度数据(KND)表示的斜度通过以下列举方式中的至少一种方式确定，即：

-通过预编程，

-通过借助于斜度传感器自动确定。

13.根据前述权利要求9-12中任一项所述的方法，其中通过所述位置数据(KPD)表示的位置通过以下列举方式中的至少一种方式确定，即：

-通过预编程，

-通过基于无线电的自动位置确定，尤其是借助于“超宽带无线电技术”。

14.根据前述权利要求中任一项所述的方法，其中由所述第一陈设元件(6-12)发出光信号并且使用所述光信号用于识别所述第一陈设元件映像。

15.根据前述权利要求中任一项所述的方法，其中所述摄像机(13)是固定安装的摄像机(13)。