CN112585667A - 智能平台柜台展示系统和方法 - Google Patents

Abstract

一种智能产品展示系统，具有放置产品的基座。安装在基座上的产品相机用于捕获基座上方的视场。对来自产品相机的图像进行分析，以识别放置在基座上的产品，并且检测客户何时与产品进行过交互，例如拿起产品。当检测到产品交互时，关于产品的信息呈现在显示器上。显示器可以集成在从基座向上延伸的竖板中。客户相机可以用于捕获系统附近的人的图像。可以分析来自客户相机的图像以识别被成像的人的属性和响应于该属性而生成的输出，例如内容显示或警报。

Description

智能平台柜台展示系统和方法

相关申请的交叉引用

本申请要求于2018年5月16日提交的美国专利申请No.62/672,439的优先权，其全部内容通过引用明确并入本文中。

技术领域

本发明涉及一种商品展示和信息呈现组件，其能够通过计算机视觉和人工智能的帮助来识别产品，并且能够相应地做出响应，以便向客户显示相关的产品信息。

背景技术

商店通常会展示样品产品供客户查看、检查和/或测试，并且提供关于这些产品的信息。在许多情况下，展示是开放的，并且允许客户拿起并检查产品。这些类型的产品展示通常是化妆品和类似物品。

在常规的展示装置中，定制的柜台展示装置用于容纳预定的一组产品。产品布置在丙烯酸模板(例如支架)上，并且该模板通常具有切口或预打印的放置引导件，产品可以放置在其中。出于美观的原因，可以提供印刷的纸插页或类似的图形元素以安装在模板中或设置在模板附近，并且还作为在其上呈现关于所展示产品的信息的介质。当商店更新其产品线时，通常需要在更改完成之前将新的支架套件运送到商店，这一过程称为单元更新。另外，如果商店想要改变单元图形材料，则他们通常需要发送新的打印材料来改变商店中的静态视觉。更实质性的变化可能需要设计一个全新的柜台展示单元。

静态信息系统的另一种选择是数字屏幕，其可以交互方式显示产品信息。在一些系统中，产品陈列在一个或多个货架或平台上。根据预定的货架图将产品放置在指定的位置。传感器用于检测客户何时与展示的产品交互。例如，红外触摸框可用于检测物体(例如产品或客户的手)何时打断中断一束或多束IR光束，以及这种交互发生在哪里。可以使用相机或其它传感器来检测客户何时与展示的物品交互。当检测到这种用户交互时，可以呈现关于分配到交互位置的特定产品的信息。

其它系统通过在产品上使用RFID或NFC标签或打印的ID或2D条形码，允许更灵活地放置产品，以便使用标签读取器或条形码读取器识别产品本身。例如，拿起产品的客户可以将产品放在读取器前，然后系统会根据读取器捕获的产品数据显示信息。

替代地，产品可以安装在特殊的基座上，基座的属性可以用来识别产品。在为红外框架的情况下，使用的一种方法是将产品安装在一个特殊的丙烯酸圆盘或底座(podium)上。每个底座都有独特的IR反射图案。红外发射器位于产品展示装置旁边。当用户与产品交互时，系统识别反射图案，并且使用该图案来确定正被移动的产品。在另一种已知的解决方案中，使用底部具有磁性或物理凸起的独特图案的产品底座。当底座放在触摸屏上时，例如可以通过检测磁场变化或电容变化来检测凸起的图案。

虽然添加标签或使用特定的底座可以可靠地识别产品，但这些变化会影响产品的视觉吸引力和美学效果，且也可能难以实施。例如，一些产品没有合适的位置来放置易于扫描的条形码。许多化妆品和类似产品容器含有大量金属，这可能会干扰读取放置在容器上或容器内的RF标签的能力。此外，如果样品丢失，需要从库存中更换，现场销售助理可能很难找到合适的标签或条形码标签并正确粘贴，或者很难找到正确的更换底座并将产品附着在上面。现场销售助理可能决定推迟更换样品产品，或者甚至可能不知道样品产品被客户取走并且未更换，留下空的展示装置，这反过来可能会妨碍客户询问。

因此，需要一种智能柜台展示系统，其能够检测和识别放置在平台基座上的产品，而不需要将产品放置在预定位置，也不需要对产品进行物理改变，例如添加标签、条形码或其它标记，或者使用特殊的基座或反射器。还需要这样一种系统，其能够动态地与对给定展示产品表示兴趣的客户进行交互。另外还需要一种智能柜台展示系统，当存在例如缺少展示产品的情况时，该系统将产生警报，以便能够快速地对其进行补救。

还需要让品牌标签公司和销售消费者包装商品的其它公司能够容易地跟踪关键性能指标和与产品销售相关的其它数据，并且能够快速和容易地辨别出在柜台展示装置上呈现给客户的信息的变化对销售和客户与产品的交互的影响。

附图说明

图1A和1B示出了根据本发明实施例的智能柜台展示系统；

图1C是图1A的产品相机的视场的图示；

图2A-2C示出了具有多个产品相机的智能柜台展示系统的实施例；

图3A-3C示出了根据本发明实施例的智能柜台展示系统的主要部件的高级框图；

图3D示出了具有与本地和远程服务器结合操作的多个智能柜台展示单元的配置的高级框图；

图4示出了如图1A和1B所示的智能柜台展示系统的一种特定配置的分解图；

图5是示出本发明实施例中智能柜台展示系统的高级操作序列的流程图；

图6是示出高级图像预处理方法的流程图；

图7是商店环境中根据本发明实施例的智能柜台展示系统的图示；

图8A和8B是示出将放置在平台上的产品的图像与背景区分开的方法的高级流程图；以及

图9是示出多个智能柜台展示单元以组合方式操作的系统的高级框图。

具体实施方式

转向图1A和1B，示出了根据本发明实施例的智能柜台展示系统10。所示的系统10包括大致平坦的平台基座12，在该平台基座上可以放置一个或多个物品(例如化妆品、香水或其它消费品的样品)以供展示。尽管示出了平坦的平台表面，但是平台基座12不需要是平坦的，而是可以具有变化的表面轮廓，例如波状或阶梯状构造。在该实施例中，竖板14设置有活动显示区域18，该显示区域上可以显示信息。优选地，显示区域18是平面显示器，例如LCD、LED或OLED显示器。其也可以是触摸屏显示系统，例如电容式或IR触摸屏。

系统上安装有一个或多个数码相机15，例如位于平台基座12上的相应相机外壳16内。外壳16的作用是保护相机免受意外损坏，并且减少灰尘或其它物质进入和遮挡相机镜头的可能性。外壳16还可以例如出于美观的原因，遮挡至少一部分相机硬件。可以在外壳16的面向平台侧的相机前面放置一个透明的盖，以提供进一步的保护。在替代实施例中，相机15可以至少部分地凹进平台基座12内，其中，相机的透镜部分暴露。

相机15用于对平台基座12上的产品显示区进行成像。相机15被对准，使得其视场通常定向为可以对放置在平台基座12上的物体进行成像。如下所述，可以使用训练的人工智能(AI)系统来捕获和分析来自相机的图像。AI系统本身或与附加软件模块相结合，配置为处理图像数据，以便识别放置在平台基座12上的特定产品和该产品在平台基座12上的位置，以及识别客户与这些产品的交互。本文将进一步讨论AI系统的各个方面。

如图1A所示，系统10还可以具有至少一个朝外面向的客户相机20。相机20优选地定向为使得其可以捕获系统在10区域中的客户的图像，并且更优选地定向为使得当客户与平台基座12上的产品交互时，对客户的至少一部分进行成像(例如他们的脸和/或上身，包括头部和手臂)。在图示的实施例中，朝外面向的相机20安装在竖板14的框架19内，优选朝向单元的顶部。替代地，相机20可以安装在其它位置，例如在竖板14的顶部、侧面或基座上，或者甚至在平台基座12的表面或侧面。还应注意，产品成像相机15也可以定位在其它地方，例如在竖板14上，但是对准平台基座12。

例如，可以通过面部分析或面部检测AI系统对客户图像进行处理，以识别特定的客户属性。该信息可用于选择屏幕上呈现的信息。客户动作，例如手势、手的移动、俯身在展示装置上或朝向展示装置俯身以及其它动作，也可以被检测到并且用作内容显示触发过程的一部分。

除了识别由相机成像的物体之外，来自相机15的成像数据还可以用于检测客户与物体的特定交互，例如通过拿起或放下物体。作为响应，系统可以启动与该产品相关的信息显示，并且采取其它响应动作。同样，来自客户相机20的图像数据也可以用作物体识别图像分析的一部分。

有利地，本文描述的展示系统允许将多个不同的产品自由地放置在平台上，用于在各个位置显示。与需要根据指定的货架图将产品放置在预定位置的现有技术系统不同，该系统支持动态货架图，其不限制或预定产品位置。该系统也不要求通过添加条形码或RFID/NFC标签，或通过将产品安装在特殊基座上来对展示的产品进行物理修改。因此，销售助理可以拆下产品包装直接展示产品。缺失的样品产品也可被轻松更换。该系统在商店内提供了很大的灵活性，用于选择将哪些产品放置在平台基座12上进行显示以及如何布置它们，特别是当使用训练的AI系统来识别大量不同的产品时，例如整个系列的身体护理、香水、化妆品或其它产品。

转向图1C，示出了特定相机15的视场28。样品产品26也示出为在基座12上。优选地，一个或多个相机15的视场28被选择为使得给定的相机可以在基座12上成像大的视场。

优选地，相机视角在水平和竖直方向上大于90度，更优选地大于120度。在特定配置中，最大视场限制为170度，以避免原始图像发生可能使分析更加困难的大的失真。然而，在适当的实施例中可以使用甚至高达或超过180度的更大视场。示例性视场28将捕获相机15前面的基座的至少一部分、显示器18周围的框架以及显示器周围的框架19。一些背景也可被捕获。

在单个相机系统中，例如在图1A-C中，可能需要特别宽的视场来对平台基座12上和上方的整个区域进行成像。使用两个或更多的相机可以更全面地覆盖整个基座。多个相机还可以更准确地识别产品。从多个角度查看产品提供了更多可以用于AI系统的信息。多个相机的使用也减少了当基座上的一个产品从给定的相机位置遮挡第二个产品的视场时可能出现的问题。

图2A-2C示出了具有多个产品成像相机的一些配置。在图2A中，系统10a在放置在平台基座12的每个角落17的相应外壳16中具有相机15(未示出)。相机成一定角度，使得相机镜头(在外壳16中的光圈30后面)斜对着基座。图2A还示出了放置在竖板14顶部的外壳34中向外安装的相机20。图2B示出了类似于系统10a的系统10b，但是其中，相机外壳16放置在角落并且与平台基座12的前后边缘对齐。给定外壳16内的相机15可以定位成使得其视场垂直于相机外壳。替代地，相机可以偏移，使得平台基座12上的大部分区域在一个或多个相机的视场中。

例如在图2A-C的实施例中，使用四个相机提供了整个平台基座12和其上的产品的成像覆盖。假设平台基座12上的物品数量没有大到将物品完全包围，则每个物品将由至少一个相机成像并且由系统识别。提供基座上产品的多个视图的替代或附加方式是在竖板14(未示出)的至少一部分上设置镜面，其中，镜面定位成允许相机15对准竖板14，以捕获基座上产品的附加反射视图。此外，产品成像相机可以进一步定位在竖板14上，并且向下对准平台基座12。

即使放置在基座12上的产品被一个或多个相机遮挡，也可以对在该产品被客户拿起时捕获的图像进行分析，并且该图像用于确定正在讨论的产品。如果系统确定用户正在与未识别的产品交互，则系统可以输出消息，该消息要求客户：如果他们想要更多关于产品的信息，就将产品放在展示装置前面。这将允许系统获取产品的附加图像，以便识别产品。

尽管平台基座12可以是静态表面，但是在替代实施例中，平台基座12可以包括面板显示器32(参见图2A)，在该面板显示器上可以向用户呈现信息。在这种配置中，也可以提供具有其自己的显示器18的竖板14，但这不是必需的。图2C示出了没有竖板的实施例。可以理解，产品成像相机15/外壳16可以根据需要定位，以对平台基座12上的区域进行成像。此外，可以提供朝外面向外的相机对客户进行成像。在图2C的配置中，该相机包含在沿着基座的一个边缘安装的外壳36内，其中，相机从平台基座12面向外并向上。

基座和竖板可以是任何合适的大小和形状，并且可以由任何合适的材料制成，例如金属、塑料、玻璃、木材或复合材料。

图3A是示出根据本发明各方面的系统40的主要部件的高级框图。系统40具有一个或多个相机42，其可以是产品成像相机和客户成像相机。相机耦接到主处理系统43，该主处理系统包括硬件和软件，硬件和软件将处理输入图像以识别平台上的特定产品，检测人何时与产品中的一个交互，并且然后向播放器系统59提供该交互的指示，该播放器系统可以通过在显示器上呈现与该交互相关的信息来响应该指示。该系统不限于任何特定的计算平台或操作系统。

在该配置中，系统43具有一个或多个AI模块，例如一个或多个产品检测AI模块56和一个或多个面部检测AI模块58。AI模块优选地是独立的专用视觉处理系统，其设计用于计算机视觉识别应用，并且具有其自身的VPU(Visual Processing Unit，视觉处理单元)、存储器和I/O接口，并且编程有深度神经网络，该深度神经网络训练为识别可以放置在平台基座12上的产品，如本文所述。AI模块接收图像数据作为输入，并且返回图像中示出的一个或多个产品的标识。AI模块可以返回其它数据，包括产品ID的置信度以及关于其在平台基座12上的位置的信息。

AI模块可以在单元上设置一个AI芯片集，这样就可以允许快速且成本有效地进行AI处理。在一个示例配置中，AI模块包括来自NVIDIA^TM的Jetson TX2^TM计算设备，并且具有高性能GPU、用于存储神经网络的存储器、AI和其它操作软件以及标准硬件接口。可以使用替代硬件平台。面部识别功能也可以作为面部检测模块的一部分或作为单独的模块来提供。用于配置AI处理器以检测物体、面部等的神经网络可以存储在RAM、固件或AI模块可用的其它存储器中。

可以在处理系统43内提供单独的更通用的计算系统44，以便分析来自一个或多个AI模块56、58的输出，并确定条件是否有变化(例如检测到与基座上的产品的交互，该交互应该传送到播放器系统59)。计算系统43还可以用于在将来自相机的图像数据发送到AI模块进行分析之前，对图像数据进行预处理。替代地，相机输入可以直接发送到AI模块和用于处理AI分析结果的计算系统44。

系统43包括CPU 48和存储程序和数据的存储器46。提供了一个或多个I/O接口。有线I/O 52用于通过常规的数据接口连接到其它内部设备。其还可以包括端口(例如USB或以太网端口)，以允许连接到外部系统(例如用于系统编程、更新或其它目的)。还可以提供无线I/O 50，其包括蓝牙、WiFi、蜂窝或其它无线接口中的一个或多个。无线I/O可用于视情况向商店人员发送警报。数据接口(有线或无线)也可以用于与其它显示单元10、设施中的本地服务器和/或一个或多个远程服务器通信，这将在本文中进一步讨论。集成的蜂窝连接使得系统能够很容易地安装在商店或其它设施中，而不需要使用商店预先存在的内部网络。为了允许将相对较低的带宽和有限的连接蜂窝网络用作主要的系统通信手段，AI处理应该集成在展示系统中。如果足够高带宽的有线或无线网络可用，则需要大量图像数据传输的AI和其它功能可以卸载到远程系统，如本文进一步讨论的。

计算系统43还可以包括用于接收音频输入的麦克风54。也可以包括其它常规部件。

播放器系统59包括硬件和软件，以处理来自计算系统43的消息，确定要显示的适当内容，然后在屏幕18或其它地方显示该信息。其还可以提供交互式客户界面(例如通过触摸屏)，通过该界面，客户可以请求信息、回答问题等。

播放器系统59可以由电路板上或芯片上的常规计算机组成。例如，可以使用具有常规处理器、存储器、视频板、音频I/O、以太网、USB和WiFi接口的计算机板，该计算机板执行Windows、Linux或其它标准操作系统，并且包含适当的处理和呈现程序软件。播放器系统59可以独立于计算机系统43，或者可以集成在计算机系统43中。

产品和呈现数据库62存储呈现信息和可以向客户显示的关于产品的其它数据。数据也可以通过内容管理系统经由互联网或其它数据链路本地或远程更新。更新可以在后台使用该系统的客户通常看不到的方式自动完成。呈现和产品更新可以存储在存储器62中以供将来激活，如本文进一步讨论的。还可以提供远程软件应用程序更新，以及对系统43中的AI系统的更新，如本文所讨论的。

播放器配置为将其呈现输出到显示器66。显示器66可以是常规的触摸屏，以允许客户交互式呈现。如果需要，可以提供一个或多个单独的触摸屏电路。还可以提供扬声器64以允许音频输出。当需要更私人的体验时，可以提供其它音频输出，例如有线或无线(例如，蓝牙)，以供使用。音频输出可以用于提示客户使用各种选项和说明以与系统进行交互，例如提供如何订购感兴趣产品的说明、询问是否应呼叫销售助理到单元以及其它方式。除了触摸屏提示之外，也可以使用语音识别输入来代替触摸屏提示。

虽然播放器系统59优选地通过物理接口连接到计算系统43，但是可以替代地提供无线连接，例如当播放器系统59没有集成在竖板14或平台基座12内，而是位于将放置在平台基座12附近的物理分离的单元中时。

尽管计算系统43、AI系统56、58和播放器系统59在图3A中单独示出，但是其功能可以组合到一个或多个组合的计算平台中。例如，图3B示出了系统40b，其中，图像处理功能和分析在公共计算平台43b上执行。AI分析的输出发送到播放器系统59b，该播放器系统通常如上所述进行操作。替代地，可以在播放器系统中分析部分或全部AI系统输出，并且确定适当的响应和警报条件。播放器系统59b可以由如上所述的板或芯片上的单个常规计算机组成。

在图3C所示的另一变型中，AI和播放器系统功能组合在单个计算平台68中，该计算平台驱动触摸屏显示器、检测和处理警报条件等。实现本文公开的各种功能的软件视情况存储在一个或多个系统计算机存储器中。正如单独指出的，AI系统可以在本地实现，也可以通过LAN或WAN在单独的计算机平台上远程访问。

在一些实施例中，如上所述，可以在独立系统40、40b、40c中实现的各种功能可以卸载到远程系统。图3D示出了具有几个系统40’的配置，该系统具有卸载到本地服务器302的各种功能模块，例如位于与展示系统40’相同的商店中的服务器。在该配置中，本地服务器302通过一个或多个网络301连接到系统40’，并且包括常规特征(包括一个或多个处理器314以及系统和程序存储器312)。本地服务器302可以用于实现一个或多个计算昂贵的过程，例如一个或多个产品检测模块56’和一个或多个面部检测模块58’。连接的系统40’可以配置为将捕获的图像发送到服务器302，并且服务器302对其进行处理并将结果返回到相应系统40’。

本地服务器302还可以包括产品数据库和呈现存储器62’，该存储器62’包含与要在系统40’中的一个或多个上显示的产品相关的信息。因为该数据主要是信息性的，所以每个系统40’还可以至少包括产品数据库的一部分，和与分配给相应系统40’的特定产品或产品线相关联的呈现。这些部分可以在系统40’的店内配置期间定期复制，或者在更新可用时按需复制。

其它功能也可以在本地服务器302上实现。例如，可以提供面部识别模块310。虽然面部检测可以在特定系统40’中本地实现，但是面部识别可能需要比系统40’可提供的更多的计算机和数据资源。由面部检测模块58(或者58’，如果该功能在本地服务器上实现的话)检测到的面部图像传递给面部识别模块。然后，面部识别数据(如果有的话)可以返回进行后续处理。面部检测可以与其它系统功能并行实现。这些系统将把检测到的面部图像转发给一个或多个面部识别模块310，但是在其它方面，这些系统配置为好像没有面部识别可用一样进行操作。这种配置还可以更容易地调整系统操作，以便在面部识别受到限制或禁止的司法管辖区使用。

当面部识别为肯定时，系统可以随后激活附加功能，例如使用该人的姓名与该人通信，基于用户简档确定该人可能需要特殊处理，并且作为响应，向销售助理发送指示该人是谁以及他们在哪里的警报。所确定的ID的用户简档也可以用于选择被认为适合该人的目标信息或广告。个体过去购买的信息可以作为选择显示信息的一个因素。如果该人与奖励计划相关联，则可以显示与该计划相关联并且与所展示的产品相关的折扣或其它特征。

可以理解，本地服务器302将需要足够快地响应从系统40’接收到的输入，以支持交互特征。因此，适合于在本地服务器302上实现的功能取决于到系统40’的网络连接上可用的速度和带宽以及其自身的响应性。在特定配置中，只有对时间不太敏感的功能才在系统40’之外实现。例如，系统40’包含如图3A中系统40所示的功能，而本地服务器302实现面部识别310。

一个或多个特征也可以在通过一个或多个网络301连接到本地服务器302的一个或多个远程服务器304中实现。各个系统40’也可以直接通过网络301或经由本地服务器302连接到远程服务器304。远程服务器可以用于实现更多的全局功能(例如分发和更新AI训练、后台数据收集和分析)，以及一些功能，例如面部识别(如果需要该功能并且该功能在本地服务器或各个系统40’上不可用的话)。

回到如图1A-1C所示的系统配置10，该系统配置具有搁板和竖板，包括AI和其它处理单元在内的大部分电子器件可以安装在竖板14和显示器18的后面，例如后盖22的后面(图1B)。系统电子器件(例如计算和成像处理部件，包括高功率AI系统)会生成大量热量。将主要产热部件放置在竖板中限制了系统电子器件对平台基座12加热，并且有助于保持产品样品所在的平台基座12凉爽。当展示的产品是最好在室温下取样并且其质量会受到加热影响的化妆品和香水样品等物品时，这是特别有利的。最大程度地减少了位于平台基座12下方24的电子器件的类型，优选地，减少至要将相机连接到主计算系统和其它部件所必需的类型，以便使用这些电子器件不会导致平台基座12被加热。

图4是如图1A和1B所示的智能柜台展示系统10的一种特定配置的分解图。在这种配置中，产品相机72安装在外壳70下面的平台基座12上。除了相机和连接线路向系统的其余部分提供电源和数据连接之外，其余的电子器件都位于竖板14上，并且通过后面板74部分或全部隐藏起来看不见。通用计算机板和触摸面板显示电路76通过安装轨道73安装到竖板14。提供了适当的电子屏蔽，例如屏蔽面板78，以减少电干扰。AI模块包括AI处理器板88和相关的载体板86，其提供各种I/O和其它支持功能。提供了大的散热器90来帮助冷却。还为AI模块提供了适当的屏蔽。一个或多个RF天线安装在盖84下方的天线座80内，并且连接到WiFi和/或蓝牙模块，其可以是电路76的一部分。

数据接口92a和92b包括以太网和/或USB端口，并且允许内部和外部设备连接。在一个实施例中，当面板74被移除时，至少一个USB或以太网连接定位成易于接近，并且系统可以通过该机制编程和更新。在不需要移除面板74的情况下，至少一个端口也可以是可接近的。虽然这种配置设计成使用被动冷却，但是也可以提供内部风扇或其它主动冷却元件。电源输入插孔(未示出)也可以设置在系统10的后部，优选地靠近底角中的一个。

在例如图2C的无竖板的系统10C的配置中，系统电子器件可以放入单独的外壳中，该外壳通过电缆连接到相机和平台中的其它部件。替代地，可以将一些或所有系统电子器件放置在平台基座12下方，其中提供了用于限制平台基座12下方的电子器件对平台基座12加热的装置。可以使用各种散热系统。例如，可以提供被动冷却系统。热管和其它辐射单元可以用于将内部热量引导至平台基座12的外边缘，优选为后边缘。可以在电子器件和平台基座12顶部的下侧之间使用绝缘材料。可以替代地使用主动冷却系统，例如风扇。

图5是示出系统10的高级操作序列的流程图。如上所述，所公开的系统配置为在不需要对产品本身进行任何修改的情况下，识别产品是否存在于平台基座12中或从该平台基座缺失。首先，一个或多个相机捕获图像(步骤100)。在图像捕获期间，可能需要调整相机参数，如增益、曝光时间等，以补偿照明变化。根据所使用的相机系统，相机本身的固件可能会自动调整图像捕获参数。优选地，相机还配置为预处理广角相机图像以消除或减少失真。这种预处理减少了主计算机的负荷。还可以进行其它处理来调整图像亮度、饱和度、色彩对比度、伽马值等，以提高图像质量并补偿光线变化。

然后，根据需要进一步准备和处理图像，以准备将其提交给AI系统(步骤102)。可以进行各种准备和预处理，并且可能适合于所使用的特定AI系统。每个相机同时拍摄的图像可以成批地组合在一起，或者组合成包含每个相关相机视图的单个图像，并且一次性发送给AI系统进行处理。也可以进行其它预处理。随后，将图像发送到一个或多个AI模块进行处理。AI系统处理图像并且返回分析结果(步骤104)。

图6公开了一种多步骤图像预处理方法，可以用于帮助提高产品识别的准确度。首先，从相机捕获高分辨率(例如分辨率为1080p或4K)图像(步骤120)。可将每个图像的亮度归一化，使得对于典型的照明情况，每个图像具有被认为是“正常”的预定亮度平均值，中值或其他量度(步骤121)。例如，如果该单元位于明亮的阳光下或非常暗的阴影中，则将亮度水平调整到预定的度量。标准化显著减少了数据的差异，从而允许系统进行更有效和/或更准确的处理。

与分辨率较小的图像相比，分辨率较大的图像通常需要更长的处理时间。对于某些下游处理步骤，高分辨率图像可能太大或没有必要。如果是，则可以使用常规技术生成分辨率降低的一张或多张图像(步骤122)。例如，根据实施方式和相机细节，可以使用常规技术来减小一个或多个图像的大小，例如从1080p减小至512×512p。

执行物体检测过程(步骤124)，并且可将该过程应用于分辨率降低的图像，以便识别包含或可能包含产品的区域。该步骤被认为是物体识别阶段，并且通常将使用边界框、边缘检测和其它手段来定位图像中检测到的物体。此阶段还可以识别所示物体的一般类别，如瓶子、挤压管、锅或罐子。可以使用常规的图像处理技术。该步骤还可以包括面部检测，尽管可以使用为定位面部而优化的单独软件例程来代替为识别各种感兴趣的产品而设计的例程。

尽管预处理是与AI处理分开讨论的，以检测和识别物体、人脸等，但是一些预处理也可以在AI系统中或者在单独的预处理神经网络中实现。

然后，至少将潜在感兴趣物体的位置转换成高分辨率图像中的对应位置(根据需要)，并且提取检测到的物体的高分辨率图像(步骤126)。可以将高分辨率图像发送到第二训练神经网络(在与第一网络相同的VPU或第二VPU上运行)用于分类分析，以便确定成像产品的身份。低分辨率图像可以用于确定物体在平台基座12上的大致位置(步骤128)。类似的处理技术可以用于识别和提取从朝外面向的相机所捕获的客户的照片。如果在低分辨率图像中检测到多个产品，可以将大分辨率的、经裁剪图像发送到VPU连续进行识别。替代地，可以裁剪掉图像中不需要的部分。当有多个相机时，这尤其有用，因为单个物体可能出现在一个以上的图像中，并且系统需要组合这些图像，以便确定不同图片中感兴趣的部分代表相同的物体。裁剪将在下面进一步讨论。

回到图5，AI系统结果可以提供图像中显示的每个产品的产品ID、所确定的产品ID的置信水平以及关于该产品在图像中的位置的信息。可以使用各种常规的AI图像识别系统。如果AI系统无法识别物体，可以执行第二训练AI层来提高识别率。例如，该AI层可以从主图像中裁剪出有问题的物体，并通过分类模型发送该图像，该分类模型以物体标签和置信度百分比作为响应。当物体检测AI软件对产品没有信心时，该增加的层可以帮助提高检测的准确度。

在一种配置中，对AI系统进行训练以识别产品并估计其在平台上的放置位置。在另一种配置中，AI系统识别成像的产品，并且进一步分析AI系统的输出以确定放置。例如，产品ID和关于一个或多个产品在图像中的位置的信息可以用于确定产品在平台基座12上的位置。如果只有一个相机，则可以从产品数据库中检索已识别产品的物理大小。捕获的图像中产品的相对大小以及平台几何形状、相机位置和视场的信息可以用于确定成像产品离相机有多远。如果使用多个相机或立体相机，则可以基于相机的已知放置和特定产品在各种图像中的位置，使用三角测量过程来计算产品的位置。

在进一步的配置中，展示表面12/32可以包括传感器垫，该传感器垫将检测放置在其上的物品的位置。该信息可以与收集的图像数据结合使用，以确定物体在展示表面上的特定位置。

在一些多相机配置中，每个相机图像由并行操作的单独的AI系统，或运行在公共并行计算平台上的单独的虚拟AI进程来处理。当AI过程返回所识别的物体和所检测的不能被识别的物体的细节，并且确定了成像的物体的位置时，可以每个图像生成的产品识别数据可被合并，以根据同时或基本上同时拍摄的图像来确定视场中物体的放置和识别。在类似的配置中，有多个AI模块可用，并且可以根据需要动态分配，以处理来自一个或多个相机的图像。计算系统44可以配置为跟踪各种AI模块的负荷，以确定哪些是可用的以及何时可用，并且还决定哪些相机图像接收到更高的优先级。

除了识别物体之外，还可以处理例如来自朝外面向的相机20的图像，以识别和捕获客户的图像。也可以对这些图像进行处理并将其发送到AI系统。如上所述，不同的AI系统可以用于处理产品图像和客户图像。客户图像处理AI优选地返回关于成像客户的特性，这些特性可能与选择在显示器上呈现什么信息相关。AI系统试图识别的可能特性包括各种身体特性，例如一般年龄范围(儿童、成人等)、性别、情绪状态和其它因素。系统可以指示的另一个特性是人与系统10的距离。例如，一般地或者更具体地，对于具有一个或多个所识别的身体特性的人来说，这可以通过将图像中的面部大小与平均面部大小进行比较来推断。如果使用立体相机或多于一个朝外面向的相机20，则可以参考确定的视差来计算距系统10的距离。该过程可以使用开源或商业可用的面部检测、识别和分析AI系统。如果在小于最小距离处检测到面向系统10的人，这种情况可以用于触发显示和其它活动。

除了这种一般的客户分析之外，客户面部ID识别也可以由适当的面部识别系统来执行。例如，可以在本地或远程服务器(或系统10本身内)维护带有VIP客户照片的数据库。替代地，或者另外，系统可以处理与给定展示系统10交互的客户的图像，并且分配临时ID。然后，该信息可以本地存储在单独的服务器上，或者提供给其它展示系统10。即使特定的ID是未知的，临时ID也可以用于确定例如同一个体在给定的时间段内何时已经多次访问一个展示系统10或一系列不同的展示系统10。这种情况可以用于确定要在显示器上呈现的信息或用于其它目的。所检测到的特定ID的一般特性或更具体的特性以及与之相关的信息也可用于触发各种警报。

回到图5，分析从AI系统返回的信息，以确定平台基座12上的产品的当前状态是否与先前的分析相同(步骤106)。如果没有检测到变化(步骤108)，则系统返回到图像捕获和分析(步骤100等)。如果检测到变化，系统将继续。优选地，系统确保检测到的变化持续超过一个图像捕获和分析周期(步骤109)，例如2或3个周期或更多。

分析该变化以确定消息条件是否存在(步骤110)，该消息条件保证向播放器发送消息(步骤112)，然后播放器将显示响应内容(步骤114)。内容显示可以在触摸屏上呈现，并且显示程序配置为允许客户使用触摸屏与呈现进行交互，例如，请求更具体的信息，例如描述或解释如何使用给定产品的视频，或者请求呼叫销售代表。

除了响应图像数据和触摸屏输入之外，该系统还可以与语音识别/语音助理系统相耦接，该语音识别/语音助理系统将询问客户可能感兴趣的有关产品的问题或给出答案。例如，系统可以输出音频查询，询问客户在“拿起并了解”动作之后(其中客户拿起产品)或者在“放置并了解”动作之后(其中客户将产品放置在基座12上)是否想要更多关于产品的信息。

如果客户回答说是，则可以显示更多信息，或者应呼叫销售助理。也考虑了其它交互。

可以定义和检测各种类型的变化，包括特定产品是否已添加到平台、从平台上的一个位置移动到另一个位置或从平台上移除。可以使用各种改变的条件来触发给呈现系统的消息，并且作为响应，可以改变显示的信息。优选地，在考虑改变是否应该触发消息条件之前，系统要求由AI系统提供的置信水平超过给定的阈值。此外，可以将随时间的变化结合起来，以识别扩展的变化并且识别可能发送的附加消息。例如，系统可以跟踪在给定的时间窗口内(例如1分钟、5分钟或10分钟之前)，哪些已经被识别为被移除的产品先前在平台上。

在特定示例中，系统检测到特定产品A已经从平台基座12移除，并且向播放器发送识别产品A的产品移除消息。然后，播放器可以显示产品A的内容。如果系统检测到产品B已经放置在基座上，其可以向播放器发送识别产品B的产品放置消息。然后，如果产品B是新放在基座上的，播放器可以显示产品B的内容。如果产品B最近被拿起，并且已经显示了关于产品B的信息，则当产品B被放回基座时，播放器可以停止显示产品B的信息。

该系统还可以以更复杂的方式做出响应，以便播放器可以在任何给定时间基于平台上的特定产品动态调整其视觉内容。例如，柜台显示可以从其上的三个产品(产品A、B和C)开始。当第一次放置这些产品时，播放器可以将其添加检测为变化，并且循环显示关于三个产品的信息，或者显示关于整个产品线的更一般的信息。如果系统检测到产品A在时间T1从其位置移除，且产品B在时间T2从其位置移除，则将检测到变化。当客户拿起产品A，然后拿起产品B时，就会出现这种情况。播放器可以通过呈现产品A和产品B的信息来做出响应。如果产品A在时间T3被替换，则系统将检测到该变化，并且播放器通过继续呈现关于产品B的信息但不再针对产品A来做出响应。

应理解，可以基于关于当前和先前检测到的变化的信息来定义各种简单和更复杂的基于规则的显示活动。如将进一步理解的，因为系统不需要将产品放置在基座上的特定预定位置，所以系统可以动态地适应客户是否将产品B放置在产品A被取走的地方，反之亦然。

尽管该系统不要求将产品放置在特定位置，但是可以在决策过程中使用产品应该放置在基座上的一个或多个特定位置的知识，以便决定特定产品是否已经被移除和/或何时向播放器触发消息。可以预先确定产品原始位置。替代地，当产品已经在该位置停留了一段时间时，系统可以动态地识别“原始”位置，例如动态货架图。

在一种技术中，系统首先确定产品是否实际位于基座上的原始位置。如果产品处于原始位置，则消息条件处理可以继续。在一个简单的示例中，消息决策可能需要大于0.8的准确度分数才能继续。定义了一个布尔值(布尔原始位置或BHP)，以反映是否在原始位置检测到产品。在一种配置中，产品函数F(Product)可以定义为0.5×(BHP)+0.5×从AI系统返回的产品检测准确度。因此，在该示例中，除非产品处于原始位置(值为0.5)，并且产品ID的检测的准确度值至少为0.8，否则消息传递阈值不会超过0.9。在另一种配置中，产品函数F(产品)可以基于BHP、产品被遮挡的概率P(obj)和由相机或其它光传感器检测到的勒克斯值L。在特定配置中，F(产品)＝BHP*准确度+(1-BHP)*P(obj)*(1-log(l+x*L)，其中，x是勒克斯比例因子。在特定配置中，x非常小，对于标准勒克斯值，大约在1*10^-5的数量级。

也可以使用其它替代方法来确定产品是否处于原始位置，例如使用IR传感器，当产品放置在基座上的一个或多个可能的原始位置中的一个时，IR传感器受阻挡。

除了产品变化检测之外，该系统还可以使用朝外面向的相机20和由面部检测模块AI分析的图像，收集关于智能平台系统附近的客户的信息。如上所述，该AI系统配置为识别关于客户的各种特性，并且该数据可以由播放器系统用来进一步细化所呈现的信息的类型。例如，如果客户被识别为儿童、成人、男性或女性等，则可能会呈现不同的信息。

如下文进一步讨论的，系统还可以确定是否存在警报条件(步骤116)。如果是，可以发送适当的警报(步骤118)。当消息和警报条件处理完成时，系统返回到图像捕获和分析(步骤100等)。应理解，警报条件也可以由其它条件触发，并且不需要从图像捕获和处理直接触发。在消息和警报处理完成之后(步骤119)，该过程可以返回到初始图像捕获状态(步骤100)。

该系统还可以配置为识别可能需要例如由现场销售助理采取行动的警报条件(步骤116)。在特定实施例中，警报条件触发消息，该消息被发送到远程设备，例如智能手表、蜂窝电话或平板计算机、部门寻呼系统或其它机构，并且定向到适当的人，例如在展示系统10触发警报的部门工作的现场代理。警报可以通过蓝牙链接发送到与平台系统配对的设备，也可以通过文本或其它消息系统、Wifi或其它方式发送，具体取决于实施方式。优选地，收到警报的设备运行适当的软件来保持与平台系统通信，并且如编程的那样，例如通过发出听觉或触觉信号，以及通过在设备显示器上呈现信息对接收到的警报做出响应。在一个实施例中，系统10与智能手表或一个或多个销售助理的其它设备配对，并且向这些设备发送警报。

在优选实施方式中，警报消息(例如发送到与分配给该智能平台的一名或多名销售助理相关联的智能设备的消息)包含与警报相关的信息。提供给销售助理的信息可以包括：关于特定发起事件的细节；关于可能涉及的特定产品的信息，包括正在交互的或最近添加或移除的产品的标识；以及客户信息，包括用朝外面向的相机20捕获的客户的图像。可以应用常规的图像处理技术来提取显示客户或其一部分的图像的一部分，例如其头部或上身。

图7是商店环境中根据本发明实施例的智能柜台展示系统的图示。智能平台系统10在单元上展示有产品26A，并且客户正拿着产品26B。客户200可能正在与其中一个产品进行交互，并且相关信息显示在显示器上。朝外面向的相机20捕获客户200的图像。基于客户交互、客户ID或其它因素触发警报消息，并且广播给一个或多个现场销售助理210。该警报可以由智能设备接收，例如销售助理的手机或平板电脑212和/或智能手表214。关于警报的文本和图像信息可以显示在智能设备上。例如，可以发送商店中平台系统的身份或位置以及发出警报的原因。以这种方式，销售助理210预先知道需要解决的问题的一般性质。如果警报是可能需要与特定客户交互的警报(特别是如果警报是由面部分析触发的)，则系统可以发送可能需要帮助的客户的图像，使得销售助理更容易找到客户，即使客户离开柜台系统也如此。在某些司法管辖区，可能有法律限制，禁止未经客户同意传输客户的面部图像。在这种情况下，系统可以配置为禁用此功能或遮挡客户的面部。

回到图5，在步骤116中，可能存在各种警报条件。一种类型的警报是产品缺失。这可能是由于客户从平台基座12上拿起产品并将其放在其它地方或拿着它去购买。当检测到这种情况时，系统可以向销售助理发送产品缺失且需要更换的警报。更具体地，系统检测特定产品何时已经从平台移除并且在给定的超时时段(例如15分钟)内没有被更换。作为响应，可以生成缺失产品警报。然后可以发送一条警报消息，指示该特定智能平台系统中缺失产品A。一个合适的销售助理接收到消息后，就会知道要带一个新产品A来展示。

第二种一般类型的警报是需要帮助的警报。需要帮助的警报可以由各种情况触发。客户可以按触摸屏上的“呼叫销售助理”图标。如果系统确定给定客户与平台产品的交互超过给定的阈值时间段，例如5分钟或10分钟，则可以生成警报。如果面部检测AI模块指示成像的客户是或可能是VIP客户(基于例如相对于贵宾客户的照片的面部识别分析)，其脸上有困惑的表情，或者其它触发面部条件，则可以生成类似的警报。

使用面部识别功能，该系统还可以捕获与给定展示装置交互的个体的图像，并且为该个体分配临时ID。如果系统确定特定客户已经多次返回显示平台，则可以向销售助理发送带有关于警报条件和其它数据的信息的警报，例如正在检查的一个或多个产品。这使得销售助理能够提前了解客户的可能需求，从而更容易地为客户提供帮助。客户的照片也可以发送给销售助理，以便他或她更容易找到客户。

还可以定义其它警报。例如，该网络可以训练来识别展示的产品何时可能是空的，例如当不能通过罐子的侧面清楚地看到化妆品时，或者检测样品是否已经被明显损坏、损毁或以其它方式改变。作为响应，可以发出需要更换样本的警报。类似地，可以为系统10分配一组要放置在其上的产品，并且包含指示产品的一个或多个特性的数据记录，例如产品ID、产品品牌、产品类型等的列表。如果系统确定不满足指定特性的物品已经留在展示装置上，则可以生成警报并将其发送给销售助理，指示应该移除该物品。例如，可以为展示系统10分配来显示来自特定品牌的美容产品，并且包含指示该品牌的所有相关产品的记录。如果系统检测到货架上留下了不在指定品牌的产品组中的物体(例如，可能是来自不同品牌的美容产品)，则可以生成不正确物体警报。

该系统可以跟踪给定产品被拿起的次数。如果超过指定的阈值，则可以发送警报，让销售助理检查产品是否需要更换。

另一种类型的警报是安全警报。使用朝外面向的客户相机20(或其它相机)，该系统可以配置为自动检测何时有人乱动所展示的产品或显示单元10。作为响应，可以自动向销售助理发送警报以进行调查。触发警报的事件的部分或全部视频也可以发送给销售助理，以便在适当的接收设备(例如智能电话)上显示。在特定配置中，当系统检测到安全条件时，警报可替换地或附加地传递给中央人员，并且还提供触发安全警报的相关视频。然后可以单独查看视频，或者可能与设施中其它安全相机的视频一起查看，以确认问题确实存在。如果是，可以采取纠正动作。

可以理解，当使用显示器18(图1A)或32(图2A-2C)时，如果显示器在一个或多个相机15的视场内，则显示器中显示的文本和图像可以包括在捕获的图像中。这种信息可能会干扰图像分析系统，尤其是当显示器包含的产品图片可能与正在显示的产品或人与物体交互的图片或视频相同或不同时。如果相机无法定位以避免这种干扰，则可以使用各种方法来减少这种干扰。

AI系统可以训练成识别图像数据何时是计算机面板显示的，而不是真实的物体，然后忽略该数据。如果使用多个相机或一个或多个立体相机，则可以使用深度或三角测量分析来确定成像产品何时具有在显示器位置内或位置外的位置，并且这可以用于向主程序循环发信号通知应该忽略该产品的图像。在特定的实施例中，在将产品图像传递到AI系统进行识别之前，做出该决定。如果立体图像或其它多视图图像可用于特定物体，则通过确定物体是否具有2D或3D分量，从而可以将屏幕上物体的图像与物理物体的图像区分开。

除上述之外或与之结合使用的另一种技术是使用应用于捕获图像的预定义掩模。每个相机具有相关联的掩模图像，该掩模图像为该相机定义了相机视场的哪些区域可以包含感兴趣的信息，以及哪些区域可以包含显示器上呈现的图像或背景中可能混淆分析的物体。例如，掩模图像中的白色区域可以表示单元上的区域，如相机看到的平台和框架部分，而黑色区域表示屏幕和背景等区域。

转到图8A，图像是从各种相机捕获的(步骤302)。将与每个相机相关联的相应掩模应用于来自该相机的图像(步骤304)。然后在掩模图像上执行物品检测过程，以检测非掩模区域中的潜在感兴趣物品(步骤306；也参见图6步骤122、124)。

参考图1C，相机15的视场28包括部分28’，该部分28’包含平台基座12的一部分和竖板14上的框架19的下部。该部分不包括背景或显示器18，因此视场的部分28’中的图像不受显示器上显示的内容或系统10附近正在发生的事情的影响。当物理样品产品26放置在平台基座12上时，从相机15拍摄的掩模图像将至少捕获产品26的底部。因为该部分没有被遮蔽，所以系统可以将该检测视为真实物体，而不是由于显示器上的图像或背景中的活动而可能发生的虚假物体检测。

回到图8A，在检测到非掩模区域中的潜在感兴趣物品之后，包含在边界框中的物体可以扩展到掩模区域中(使用未应用掩模的图像)(步骤308)。可以使用各种图像处理技术来识别物体边界。

参考图8B，在该过程的变型中，AI系统捕获图像并且对其进行未掩模图像处理，以检测和识别物品(步骤350、352；同样参见图5，步骤100-104)。对于在确定的位置检测到的物体，系统10确定在确定的位置所识别产品预期重叠应具有相对于通过使用掩模确定的、与平台基座12的实际重叠(步骤354)。如果与平台的实际重叠百分比相比预期减少超过预定量(步骤356)，则认为产品是在屏幕上，而不是放置在平台基座12上，并且可以忽略。(步骤358)。否则，将识别的产品视为真实的(步骤360)，并且处理继续。

有多种方法可以生成适当的掩码文件。掩码文件可以通过检查从代表性展示系统10的相机拍摄的图像来人工生成。由于制造差异，具有相同总体配置的展示系统10中的相机仍可以以稍微不同的方式放置或对准。因此，适用于一个系统的掩码文件可能对另一个系统而言不准确。尽管可以为每个系统人工生成掩码文件，但这是非常耗费人力的。

在替代方案中，生成掩码文件是作为初始产品制造和配置的一部分来完成的。在工厂将系统10等组装完成之后，通常存在老化测试阶段，此时单元保持接通一段时间，而在平台12上无任何东西。在此期间，系统10上的显示器(例如显示器18或显示器32)编程为显示各种变化的图像。这些图像可以是随机形状或噪声、代表客户使用时可能在显示器上显示的内容的样本呈现图像的选择，或其它数据。如果系统上的相机的视场足够宽以捕获背景，则一个或多个背景显示器位于这些区域中，并且呈现变化的背景显示器。

可以分析从相机捕获的图像，以识别图像中不应掩模的静态部分，以及图像中可以掩模的变化部分。然后，针对该相应系统10的特定相机位置和方向所确定的掩模数据存储在设备内的配置文件中，并且可以在以后进行参考。

为生成掩模数据而捕获的图像可以通过各种方式进行处理以产生掩模。在一种配置中，相机捕获的图像可以由AI系统处理，以通过单元上的相机了解单元“看起来”如何。例如，在该校准期间，通过处理测试数据并指示任何实际物体检测不正确，可以针对每个特定单元进一步训练配置用于物体检测的一般训练的AI。最后，AI系统会知道相机拍摄的图像哪个部分是屏幕，哪个是平台、背景工作台等。一旦将该单元运送到商店，其便具有存储在其中的关于自己的信息。当该单元打开时，AI系统查看产品(无论是否在屏幕上)，并且使用特定于单元的掩码和其它配置数据进行预测。

在又一种配置中，关于在活动使用期间显示在显示屏18上的呈现的信息可以用于帮助将物理物体与屏幕上显示的物体隔离开。在产品配置期间，测试图像显示在一个或多个显示器上，并且对每个相机捕获的图像进行分析，以确定屏幕显示的哪个部分出现在相机的视场中，以及该屏幕部分在捕获的图像中是如何失真的。该信息可以用于生成图像变换，该图像变换与掩模一起存储在产品配置文件中。在操作期间，关于当前屏幕显示的信息可以由播放器系统60(图3A)提供给图像处理系统。图像变换可以应用于当前屏幕显示图像的掩模部分，以产生虚拟图像，该虚拟图像表示如果没有物体遮挡，相机将在显示器上看到的内容。使用变换生成的屏幕的虚拟图像与相机捕获的实际图像之间的重叠，表示显示器没有受物体遮挡并且相机正在观看显示器本身的区域。然后，在随后的图像处理中，可以从考虑中去除该区域。

作为数字掩模的替代方案，可以使用物理系统来降低显示器上显示的图像被错误地视为实际图像的可能性。类似于隐私滤波器的滤波器可以放置在屏幕上，以限制从相机角度看显示器的可见性。许多类型的平板显示屏(如LCD显示器)都是偏振的，而其它屏幕可以添加偏振滤波器。偏振轴偏离屏幕偏振大约90度的偏振滤波器可以放置在相机镜头上，以过滤掉显示器上的偏振图像。如果屏幕有一系列明确定义的颜色输出频率，可以使用适当的干涉或其它滤波器来阻挡屏幕上的颜色，同时允许其它光频率传递到相机。其它技术也是可能的。可以理解的是，如果使用这些物理技术，优选地，当系统用于为训练目的捕获产品图像时，也使用这些物理技术。

如上所述，多个单独的展示系统10可以在公共设施中使用。在特定配置中，多个单元可以配置为通过直接通信或通过与在服务器上执行的适当软件的交互，在它们之间以协调的方式操作。转向图9，一种布置示出了连接到本地服务器302的四个展示系统40a、40b、40c和40d。该系统可以配置为基于状态或与一个或多个其它单元的交互来同步在一个单元上显示的信息。例如，如果有多个单元非常接近，使得可以同时看到在屏幕18上显示的两个或更多单元的可视显示，则可以在单元上显示同步的显示呈现。可以控制每个显示器同时显示相同的默认呈现。替代地，可以显示补充呈现。

响应于给定展示系统处的用户交互，在该单元上显示的呈现可以切换到适合于用户交互的本地呈现。其余单元可以继续显示默认值，或者可以基于交互和所交互物体的一个或多个特性来改变其呈现。特性可以包括产品类型、颜色、价格、品牌、风格、型号和其它特征。举例来说，展示系统40a、40b、40c和40d可以分别用于展示指甲油、眼线、口红和化妆品的套装。如果个体从一个展示系统中拿起特定类型的指甲油，则该事件可以由服务器302处理，并且用于触发其它展示系统的输出的改变，以在其它相应的屏幕上突出显示兼容的眼线、口红和化妆品。

显示器之间的附加协调可以基于面部识别(无论是绝对ID(基于与已知的人的比较，例如VIP个体)还是临时ID)和面部识别简档。创建面部识别简档以允许识别与显示单元交互的人。当人与第一显示单元(例如40a)交互时，特定的交互可以存储在数据库中，该数据库链接到来自面部识别系统的所确定的ID(无论是实际的IR还是为特定会话创建的临时IR)。当在例如单元40b的另一显示单元附近检测到人时，可以基于与单元40a的先前交互来调整在该另一单元的屏幕上显示的内容。当然，如果另一个人实际上正在与单元40b交互，则该交互可以具有优先权。

在图9中，位置A处的人402正与展示系统40a交互，并且由相机20a成像。该人的图像提供给服务器302，该服务器执行面部识别。如果该人未被识别，则临时ID被分配并且存储至少一段有限的时间，例如从几分钟到一天或更长。当人402进入另一个展示系统上的客户相机的视场时，例如当他们在展示系统40b上的相机20b的视场内的位置B时，捕获图像并发送到服务器404。然后，将对该个体进行识别，并且他们的ID将用来访问先前的交互记录。然后，交互数据用于触发展示系统40b的屏幕上的相关显示。如果人由一个以上的相机成像，例如当人402在图9中的位置C并且由单元40c的相机20c和单元40d的相机20d成像时，可以相应地控制两个单元的显示，例如通过服务器404使单元40c和40d显示与先前的交互相关的相同或同步的内容。当在给定的客户相机的视场内不再检测到人402时，系统可以假设客户也看不到该显示，并且回复到不同的呈现，例如默认呈现。当多人同时成像时，系统可以在与每个个体相关的屏幕呈现之间交替，或者使用其它标准来确定在屏幕上显示什么。

可以实现各种其它功能来提供更稳健、动态和灵活的呈现系统。

可以提供商店或其它设施的布局图，以指示显示单元中的每一个相对于另一个位于何处以及每个单元被分配显示什么。商店内其它区域也可以在地图上指示。该信息可以用于向一个位置的客户提供关于如何到达其它显示单元，或商店中可能有感兴趣产品的其它区域的指南。

该系统可以随时间收集关于产品交互的信息，例如哪个产品被交互最多，客户在将其返回到平台之前看了多长时间，基于可能同时在平台上的其它产品的产品兴趣的统计分析，以及显示器上显示的信息。该信息可以使用无线或有线数据连接从智能平台展示系统定期发送到中央服务器。该信息可以导入到数据库中，也许可以与来自其它智能平台展示系统的信息一起导入，并且用于生成一个人类可读的信息仪表板，该仪表板可以向营销团队、商店和品牌所有者以及其它人提供与产品相关的信息，以便他们可以看到商店中发生的情况并采取相应的行动。所引用的数据还可以与销售业绩相联系，并且允许操作者测量一组商店中的给定系统10上呈现的视频或其它信息相对于呈现相同产品线的不同商店组中的其它系统10的改变的影响，其中在这些商店中的系统10上使用不同版本的呈现信息。

可以使用语音识别系统来检测在特定展示系统10附近或与该特定展示系统交互的个体的语言。音频和视频输出可以相应地切换，从而以适当的语言提供信息。可以使用开源语音识别系统。可以在展示系统10内本地实施识别少量单词的有限系统。如果有足够的网络连接，则可以使用远程语音识别系统，例如微软、谷歌和其它公司提供的系统。

如果展示系统10位于例如机场免税商店的区域，该区域具有来自许多不同国家的客户，则附近航空公司的出发时刻表可以用于确定在一段时间内(例如在1、2或4小时内)出发的航班的目的地国家。系统可以根据目的地国家自动调整显示的内容。调整可以包括改变所显示的语言和/或货币。关于来自相关国家的个体偏好的信息可以用于选择不同类型的呈现。因此，当飞往日本的航班即将开始登机时(可能会有许多日本人在场时)，所做的呈现可能与飞往印度或德国的航班不同。在涉及多个目的地的情况下，系统可以在各种适当的呈现和/或语言等之间轮换。

各种系统部件(例如本地服务器302)可以链接到包括关于产品库存水平和定价的信息的数据存储。显示的价格可以随着产品价格的变化而自动调整。如果产品库存过多或不足，该信息可以用于自动调整显示给用户的内容。更一般地，更新的品牌和营销策略可以快速方便地推广到各种展示系统中。

如上所述，优选地，本发明的产品检测AI模块使用各种平台相机配置，并且在各种照明和放置位置下预先在感兴趣的产品上进行训练。各种技术都可以用来训练。在特定过程中，对于每个感兴趣的产品，以多个不同的角度拍摄产品的图像，例如相机和工作台之间的三个或更多特定角度(例如大约0度、45度和90度的角度)。该角度允许沿着这些矢量方向的产品的等距投影，以产生所讨论的物体的近似正交表示。

同一组图像是在多个距离(例如近、中、远)拍摄的。近距离为距离相机很近，以便对产品的相关产品定义和特征进行成像和定义，准确度％很高，并且能够非常可靠(优选接近100％)地进行识别。在很远的距离上，产品主要通过基本特征来识别，例如大致的形状、颜色等。在中等距离上，可以检测到更多的特征，从而通常可以将产品与环境区分开，但是缺少非常详细的特征。

在每个位置和角度，可以在多个不同的亮度水平下拍摄图像。在一种配置中，使用五种不同的亮度级别：最暗、暗、中、亮和最亮。这些级别是相对的。在特定的实施方式中，其分别对应于10-100勒克斯、100-500勒克斯、500-1000勒克斯、1000-5000勒克斯和5000-10000勒克斯的亮度级别。

可以拍摄场景中的物体的附加训练图像，这些物体可能在现有零售部门中看到的产品的真实生活情况中遇到，例如由人持有或者具有商店典型的背景特征。

在特定实施方式中，提供了训练装备来自动化图像捕获过程。装备由半个圆顶弧组成，该圆顶弧部分地包围产品并且可以放置产品。装备可以例如通过致动器相对于相机重新定位产品，其中该致动器移动放置产品的基座。各种灯放置在圆顶上，并且系统可以控制照明的亮度和颜色。背景场景可以显示在显示器上、投影在圆顶的背面，或者通过其它方式。可以提供附加的自动化系统，该自动化系统将产品放置在装备中用于训练成像，并且然后在图像捕获完成之后将该产品移除，并且用下一个产品替换。

捕获的图像可以首先进行亮度归一化，然后用于训练AI系统以识别感兴趣的产品。可以使用本领域技术人员已知的各种常规AI系统和训练过程。

在针对给定的显示平台模型和产品集合进行训练之后，可以存储训练后的神经网络数据。适当的神经网络数据可以在工厂产品配置期间，或现场安装期间加载到特定的柜台展示系统中。训练的AI数据(如神经网络配置或其它数据)可以人工加载到系统内的AI神经网络中(例如通过物理链接连接到系统并且上传数据)。神经网络也可以存储在物理存储设备上，例如安装在系统中的USB存储驱动器或存储模块。

在另一种布置中，系统可以配置为连接到远程服务器，例如服务器304(参见图3D)，以从远程位置访问和下载神经网络数据。在系统初始化期间，用户可以使用触摸屏显示器或连接到智能柜台展示系统的其它设备登录到远程服务器。登录之后，用户将看到一个可用于该登录的训练的网络列表，并且选择合适的网络进行使用。此外或替代地，在一个设施中安装一个或多个单元并且连接到合适的数据网络之后，运营商可以访问网站或使用移动应用，该移动应用给运营商提供选项来指定该单元在设施中的位置，例如商店。在此基础上，该单元的适当神经网络数据可以上传到该单元。

该系统还可以视情况自动连接到更新或新训练的神经网络。每个系统都可以有一个唯一的ID，并且指定用于该特定系统的神经网络数据可以根据需要下载。当智能柜台展示系统用于多个商店的同一产品线时，自动更新尤其有用。例如，如果有可用的更新，可以向这些商店中的每个系统广播消息，该消息表示这些商店需要连接到服务器并且检索一个或多个更新的神经网络文件。该系统还可以定期(例如每天晚上)连接，以检查更新。本领域技术人员已知各种技术，用于直接或通过中间服务器按需提供更新或将更新推送到远程设备。

根据系统更新的另一个方面，在生产线改变之前(例如新产品推出之前)，可以向本发明的系统提供新的或更新的神经网络和/或一组呈现内容。在提供新产品的样品之前，可以对商店的系统进行更新。这使得许多商店可以提前推出更新。当系统检测到基座上的新产品时，系统可以配置为例如通过切换到新的呈现内容而激活更新。这个过程确保更新的呈现内容在新产品在商店中实际可用之前不会被激活。这可以减少并可能消除过早激活呈现的可能性。

如果需要转换到更新的神经网络，则系统可能无法通过图像处理正确识别新产品。在这种情况下，可以通过其它机制激活转换。例如，在过渡期间，可以向商店提供打印的产品信息和培训材料，供销售代理使用。ID或2D条形码可以打印在页面上，并且指示将该页面放置在平台基座上。当系统检测到编码标记时，其激活新内容。

可以训练神经网络来识别公司的所有产品，例如其整个美容产品家族。如果在任何给定时间，只有已知的产品子集将被放到平台上(例如只有化妆品或香水)，或者只有特定的美容产品系列，则关于讨论中的产品子集的信息可以提供给智能平台系统，并且用于缩小AI系统考虑的产品范围，从而提高系统准确度。可以人工识别产品显示组(其可能包括比任何时候实际在平台上的产品更多的产品)，例如在智能平台配置期间通过在相机中的一个相机前呈现适当的条形码。系统本身也可以通过让用户在初始化或配置期间依次将产品中的每一个放置在平台上而动态地确定显示设置。然后，系统将只寻找那些产品，即使它的网络配置为识别其它产品。

在一个典型的布置中，想要使用智能柜台的公司将提供产品线中每个产品的样本，供第三方用来训练神经网络。得到的神经网络可以在几十个、几百个甚至几千个产品上训练。

在某些情况下，客户可能希望针对特定的定制产品对系统进行训练，或者向系统添加一次性产品。本发明的主动智能平台系统可用于收集图像数据，然后用于更新神经网络，而不是将产品样本发送到远程训练地点。更新可以限于一个或少数几个呈现系统。可以将更新分发给给定商店或给定客户的所有系统，或者替代地，更广泛地分发。

在一个特定的示例中，授权的个体可以将智能平台系统置于训练模式，例如通过在平台上放置特殊的条形码，然后在触摸屏中输入安全码。可以输入识别新产品的信息，例如通过将带有条形码的产品盒放置在要成像的平台上。在产品被识别之后，系统可以呈现一系列指令，以将产品放置在平台上的不同位置和方向。然后，各种相机15可以用于在多个视角和位置并且可能在各种照明条件下捕获产品的图像。然后，可以将捕获的训练图像和提供的产品信息输入到AI神经网络，并且用于更新其训练，以便其可以识别新产品。使用一个或多个展示系统和/或本地服务器中的一个或多个AI引擎，可以在一夜之间完成神经网络更新训练。如果本地容量不可用或者由于其它原因(例如需要人工注释)，则可以将图像发送到远程站点进行神经网络再训练。更新的网络可以上传到相关的展示系统。

从本发明的显示平台捕获的图像也可以用于生成产品的数字模型。然后，该模型可以用于在不同位置生成产品的多个模拟图像，其中，一些部分被遮挡，并且处于不同的照明水平。这些人工生成的图像可以用作AI训练的一部分，以提供更稳健的训练过程。可以以各种角度、亮度级和距离提供一般形状的产品(例如瓶子、盒子或类似物品)的默认模板图像，以帮助生成在不同条件下更精确地模拟实际产品图像的人工图像。这些模板图像可以通过真实物体的实际成像或人工手段来生成。

本文已经公开和描述了本发明的各个方面。然而，在不脱离本发明的精神和范围的情况下，本领域技术人员可以进行各种修改、添加和变更。

Claims (42)

1.一种产品展示系统，包括：

单元，具有基座，所述基座具有上表面，从第一组产品中选择的第一产品能够放置在所述上表面上；

产品相机，安装在所述基座上，并且具有在所述基座的所述上表面的至少一部分上延伸的视场；

计算系统，连接到所述相机，并且包括至少一个处理器和存储器，所述存储器中存储有指令，所述指令在被执行时将所述计算系统配置成：

将来自至少一个所述产品相机的图像发送到产品检测模块；

接收来自所述产品检测模块的输出，所述产品检测模块输出指示在相应的图像中检测到的、来自所述第一组产品的产品；

分析来自所述产品检测模块的输出，以确定所述第一产品何时出现在所述上表面上，并且然后从所述上表面移除；以及

在检测到所述第一产品从所述上表面移除时，在显示器上输出与所述第一产品的至少一个属性相关的内容。

2.根据权利要求1所述的产品展示系统，其中，所述产品检测模块包括至少一个AI系统，所述AI系统中存储有神经网络，并且所述神经网络将所述AI系统配置为识别所述第一组产品中的任何产品的图像。

3.根据权利要求1所述的产品展示系统，其中，所述计算机系统在所述单元中。

4.根据权利要求3所述的产品展示系统，其中，所述产品检测模块在所述单元中。

5.根据权利要求3所述的产品展示系统，其中，所述产品检测模块远离所述单元，并且通过网络连接到所述计算机系统。

6.根据权利要求1所述的产品展示系统，还包括竖板，所述竖板从所述基座向上延伸并且其内具有所述显示器。

7.根据权利要求6所述的产品展示系统，其中，所述计算系统在所述竖板中。

8.根据权利要求7所述的产品展示系统，其中，所述产品检测模块在所述竖板中。

9.根据权利要求1所述的产品展示系统，其中，所述基座具有周边，多个产品相机沿着所述周边安装到所述基座，每个所述产品相机具有在所述基座的上表面的至少一部分上延伸的相应视场。

10.根据权利要求1所述的产品展示系统，其中，所述基座是矩形的。

11.根据权利要求1所述的产品展示系统，还包括：

客户相机，安装在所述单元上并且具有从所述单元向外延伸的视场，以允许捕获站在所述单元前面的人的图像。

12.根据权利要求11所述的产品展示系统，所述计算系统还配置为：

识别由所述客户相机捕获的图像中显示的客户的属性；以及

响应于所述属性生成输出。

13.根据权利要求12所述的产品展示系统，其中，响应于所述属性的输出是所述产品展示装置上示出的内容和发送到远程设备的警报信号中的一个。

14.根据权利要求12所述的产品展示系统，所述计算系统还配置为：

将图像从所述客户相机发送到面部检测模块；以及

处理从所述面部检测模块接收到的输出，以识别所述客户的至少一个属性。

15.根据权利要求14所述的产品展示系统，其中，所述面部检测模块在所述单元中。

16.根据权利要求14所述的产品展示系统，其中，所述面部检测模块远离所述单元，并且通过网络连接到所述计算系统。

17.根据权利要求11所述的产品展示系统，所述计算系统还配置为：

检测涉及所述单元附近的客户的警报条件；以及

向远程设备发送警报消息，所述警报消息包括使用所述客户相机捕获的客户的图像。

18.根据权利要求2所述的产品展示系统，所述计算系统还配置为：

使用至少一个所述产品相机捕获放置在所述上表面上的第二产品的训练图像，所述第二产品不在所述第一组产品中；以及

将所述训练图像发送到AI训练模块，所述AI训练模块使用所述训练图像更所述新神经网络以允许所述AI系统识别所述第二产品。

19.根据权利要求18所述的产品展示系统，其中，所述AI训练模块是所述AI系统的一部分。

20.根据权利要求1所述的产品展示系统，其中：

所述计算机系统的存储器包括每个产品相机的相应掩模图像，每个相应掩模图像指示相应所述产品相机的视场区域是静态的，并且当所述上表面上没有产品时所述视场区域是可变的；

所述计算机系统配置为通过将相应掩模图像应用于来自相应所述产品相机的图像，以分析来自所述产品检测模块的输出，从而检测由所述产品检测模块检测的物体何时不是放置在所述表面上的物体。

21.根据权利要求1所述的产品展示系统，还包括内容存储器，所述内容存储器中存储有第一呈现内容，所述第一呈现内容包括与所述第一组产品相关的内容。

22.根据权利要求21所述的产品展示系统，所述内容存储器中存储有第二呈现内容，所述第二呈现内容与第二组产品相关，所述第二组产品包括不在所述第一组产品中的第二产品；并且

所述计算系统还配置为在由所述产品相机捕获的图像中检测到所述第二产品时，用所述第二呈现内容替换所述第一呈现内容。

23.根据权利要求1所述的产品展示系统，所述计算系统还配置为检测所述第一产品何时已经从所述上表面移除超过预定时间段，并且向远程设备发送警报，所述警报指示需要替换所述第一产品以供展示。

24.根据权利要求1所述的产品展示系统，其中，所述基座还包括可通过所述上表面观看的视频显示面板。

25.根据权利要求24所述的产品展示系统，所述计算系统还配置为当所述第一产品存在于所述上表面上时，在所述基座中的视频显示面板上输出与所述第一产品相关的内容。

26.根据权利要求25所述的产品展示系统，所述计算系统还配置为确定所述第一产品在所述基座的上表面上的位置，并且其中，与在所述基座中的视频显示面板上显示的第一产品相关的内容在所述显示器与所述第一产品在上表面上的位置相邻的区域中输出。

27.根据权利要求1所述的产品展示系统，其中，所述基座的上表面还包括传感器，所述传感器配置为检测放置在所述上表面上的物体的存在。

28.一种产品展示系统，包括根据权利要求1所述的多个单元，包括第一单元和第二单元，每个单元具有其相应的显示器并且连接到中央服务器，所述中央服务器接收客户与所述第一单元交互的指示，并且至少向所述第二单元发送控制信号，所述第二单元响应于所述控制信号在其相应的显示器上输出内容。

29.一种产品展示系统，包括：

单元，具有矩形基座，所述基座具有上表面，从第一组产品中选择的第一产品能够放置在所述上表面上，所述上表面具有前边缘、左侧边缘、右侧边缘以及后边缘；

产品相机，安装在所述基座上，通常靠近所述左侧边缘、所述前边缘和所述右侧边缘中的一个；

竖板，从所述基座的后边缘向上延伸，并且具有面向所述基座的前侧和后侧；

第一视频显示器，安装在所述竖板的前侧；

所述单元中的计算系统，连接到所述相机，并且包括至少一个处理器和存储器，所述存储器中存储有指令，所述指令在被执行时将所述计算系统配置成：

周期性地从所述产品相机捕获图像，并且将所捕获的图像从所述产品相机发送到产品检测模块；

接收来自所述产品检测模块的输出，所述产品检测模块的输出指示在相应的发送图像中检测到来自所述第一组产品的产品；

在第一时间分析来自所述产品检测模块的输出，以确定所述上表面上的至少一个产品的第一产品放置状态，至少所述第一产品放置在所述上表面上；

分析来自所述产品检测模块的后续输出，以检测所述第一产品放置状态的变化；

响应于确定所述第一产品放置状态的变化关联于客户与所述第一产品的交互，在所述第一视频显示器上输出与所述第一产品的至少一个属性相关的内容。

30.根据权利要求29所述的产品展示系统，其中，所述产品检测模块位于所述单元中。

31.根据权利要求30所述的产品展示系统，其中，所述计算系统和所述产品检测模块位于所述竖板中。

32.根据权利要求29所述的产品展示系统，其中，所述产品检测模块包括至少一个AI系统，所述AI系统中存储有神经网络，并且所述神经网络将所述AI系统配置为识别所述第一组产品中的产品的图像。

33.根据权利要求29所述的产品展示系统，还包括客户相机，所述客户相机安装在所述竖板中，并且所述客户相机具有从所述单元向外延伸的视场，以允许捕获站在所述单元前面的人的图像。

34.根据权利要求31所述的产品展示系统，其中，所述客户相机安装在所述竖板中的显示器上方。

35.根据权利要求33所述的产品展示系统，所述计算系统还配置为：

识别由所述客户相机捕获的图像中显示的客户的属性；以及

响应于所述属性生成输出。

36.根据权利要求35所述的产品展示系统，其中，响应于所述属性的输出是在产品显示器上示出的内容。

37.根据权利要求35所述的产品展示系统，其中，响应于所述属性的输出是发送到远程设备的警报信号。

38.根据权利要求35所述的产品展示系统，所述计算系统还配置为：

将图像从所述客户相机发送到面部检测模块；以及

处理从所述面部检测模块接收到的输出，以识别所述客户的至少一个属性。

39.根据权利要求38所述的产品展示系统，其中，所述面部检测模块安装在所述单元中。

40.根据权利要求29所述的产品展示系统，还包括安装在所述基座中的第二视频显示器，所述计算系统还配置为在所述第二视频显示器上显示与来自所述第一组的产品相关的内容。

41.根据权利要求8或31所述的产品展示系统，其中，所述基座的上表面基本上不被所述基座内的电子电路加热。

42.根据权利要求9所述的产品展示系统，其中，所述计算系统还配置为通过使用来自多个所述产品相机中的至少两个的信息，确定所述第一产品在所述上表面上的位置。

Images