CN208141447U - 智能货架系统 - Google Patents

Abstract

本实用新型提供了一种智能货架系统，包括：货架架体；在货架架体上放置至少一个用于承载商品的货箱；称重装置检测货箱承载的商品重量；第一摄像装置采集与货箱相对应的监控区域内的第一监控图像；用户选购商品识别装置获取第一监控图像以及称重装置发送的重量信号，通过对第一监控图像进行识别获得用户身份信息，将用户身份信息与货箱中被拿起的商品的信息进行关联。本实用新型的智能货架系统，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省了人工成本；识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。

Description

智能货架系统

技术领域

本实用新型涉及自动售货技术领域，尤其涉及一种智能货架系统。

背景技术

人工智能技术的发展给零售行业带来了巨大的革新，目前有多家无人店、无人超市等陆续开业。感知选购的商品并将商品与用户进行绑定，是整个购物流程中重要的两个环节。在传统的零售商店中，选购商品的感知和顾客的绑定通过售货员进行肉眼观察，依赖人工完成整个流程。在大型超市中，选购商品的感知可以通过扫条形码来实现，识别出商品种类的同时带出价格等信息，完成商品信息的获取。当前的无人店、无人超市等大多采用射频识别(Radio Frequency Identification)技术，用户选购商品后可以自动完成商品信息的获取以及商品与用户的绑定，提升了用户体验。

但是，现有的对于感知选购的商品并将商品与用户进行绑定的技术方案存在缺陷：传统商店依赖人工，人力成本较高，且由于商品种类和价格靠人来记忆，扩充品类到较大规模比较困难；传统超市扫条形码，商品信息的存取由后台系统完成，但扫条形码的操作需要耗费人工，且效率低，容易在支付通道造成拥堵，整体用户体验差；Rfid解决方案实现了选购商品的自动感知和顾客绑定的自动化，但存在成本高的问题，另外，不同射频对商品介质的稳定性存在影响以及存在用户的恶意屏蔽等问题。

实用新型内容

本实用新型的一个或多个实施例提供一种智能货架系统。

根据本实用新型的一个方面，提供一种智能货架系统，包括：货架架体；在所述货架架体上放置至少一个用于承载商品的货箱；称重装置，用于检测所述货箱承载的商品重量；第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像；用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，获取所述第一监控图像和所述称重装置发送的重量信号，用于基于所述第一监控图像获得用户身份信息，将所述用户身份信息与所述货箱中被拿起的商品的信息进行关联。

可选地，包括：层板；所述层板放置在所述货架架体上，所述货箱放置在所述层板上。

可选地，所述称重装置安装在在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱一一对应设置。

可选地，包括：称重安装部件；所述称重安装部件设置在所述层板与所述货箱之间，并且与所述层板固定连接；所述称重装置固定在所述称重安装部件上。

可选地，所述称重安装部件呈工字形结构。

可选地，所述称重装置包括：重量传感器；所述重量传感器，与所述用户选购商品识别装置连接，用于检测制胶反应罐的重量所述货箱承载的商品重量。

可选地，还包括：第二摄像装置，用于采集购物场所内的第二监控图像；所述用户选购商品识别装置，与所述第二摄像装置电连接，获取所述第二监控图像，还用于基于所述第二监控图像更新用户特征信息，并基于所述用户特征信息确定与被拿起的商品相对应的用户身份信息。

可选地，还包括：提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。

可选地，还包括：所述提示装置包括：显示器、扬声器。

可选地，所述货箱由亚克力板制成。

本实用新型的智能货架系统，称重装置检测货箱承载的商品重量，摄像装置采集与货箱相对应的监控区域内的监控图像，用户选购商品识别装置基于监控图像获得用户身份信息，将用户身份信息与货箱中被拿起的商品的信息进行关联；通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省人工成本，识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A至1F为根据本实用新型的智能货架系统的一个实施例的示意图，其中，图1A为用户选购商品识别装置与其它部件的连接示意图，图1B、1C、1D分别为货架架体与货箱安装后的主视图、侧视图和立体图，图1E为货箱的示意图，图1F为货架架体与层板等的安装示意图。

图2为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置进行用户和商品绑定的流程示意图；

图3为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置基于图像识别结果确定用户身份信息的流程示意图；

图4为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置对监控图像进行识别的流程示意图；

图5为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置基于用户追踪确定用户身份信息的流程示意图。

具体实施方式

下面参照附图对本实用新型进行更全面的描述，其中说明本实用新型的示例性实施例。下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。

在一个实施例中，如图1A至1F所示，本实用新型提供一种智能货架系统，包括：货架架体151，货架架体151包括货架边框、货架支架等。在货架架体151上放置至少一个用于承载商品的货箱152，货箱152可以为多种形状的售货箱。货箱152的材质可以为塑料等，例如货箱152由亚克力板制成。

称重装置154检测货箱152承载的商品重量。第一摄像装置采集13与货箱152相对应的监控区域内的第一监控图像，第一摄像装置可以为摄像头、摄像机等。用户选购商品识别装置11分别与称重装置12和第一摄像装置13电连接，用于获取第一监控图像和称重装置发送的重量信号，通过对第一监控图像进行识别获得用户身份信息，将用户身份信息与货箱中被拿起的商品的信息进行关联。用户选购商品识别装置11可以为后台服务器、云服务器等。

层板155放置在货架架体151上，可以与货架架体151螺纹连接、卡扣连接等。货箱152放置在层板155上，称重装置154安装在层板153上并位于货箱的下方，称重装置154与货箱152对应设置。每种商品放在一个货箱152中，与其对应的一个称重装置154获取货箱152承载的商品重量。

称重安装部件155设置在层板153与货箱152之间，并且与层板152固定连接，可以为螺纹连接、卡扣连接等。称重装置154固定安装在称重安装部件155上。称重安装部件155可以为多种结构，例如称重安装部件155呈工字形结构。将称重装置154固定在工字型的称重安装部件155内部，可以通过螺丝固定，称重安装部件155设置在与货箱152相对应的位置。

在一个实施例中，称重装置154包括重量传感器，重量传感器与用户选购商品识别装置11连接。重量传感器可以通过485总线等与用户选购商品识别装置11连接，检测货箱152承载的商品重量，将重量检测信号发送给用户选购商品识别装置11。

第二摄像装置14采集购物场所内的第二监控图像，购物场所包括售货区域、走廊、通道等区域，第二摄像装置14可以为摄像机、摄像头等。用户选购商品识别装置11与第二摄像装置14电连接，基于在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹以及新用户特征信息，基于新用户特征信息确定与被拿起的商品相对应的用户身份信息。

提示装置16与用户选购商品识别装置11电连接，用于接收用户选购商品识别装置11发送的商品错放提示信息并对用户进行提示。提示装置16包括显示器、扬声器等，可以通过声音或文字信息等提示用户放错了商品。

图2为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置进行用户和商品绑定的流程示意图，用户选购商品识别装置进行步骤101－104：

步骤101，检测货箱承载的商品重量。

货箱即为用于承载商品的售货箱等，货箱可以为多种。例如，在无人超市中摆放货架，货架上有一个或多个货箱，用于承载商品。货架中设置有一个或多个称重装置，用于测量相对应的货箱中承载的商品重量，一个称重装置可以测量一个或多个货箱承载的商品重量。称重装置可以通过重量传感器获取商品重量。

步骤102，获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果。识别结果包括用户身份信息等，用户身份信息可以为用户ID等。

将货箱之前或周边的区域作为与货箱相对应的监控区域，设置摄像机等设备采集在监控区域内的第一监控图像，通过第一监控图像可以获取用户对于此货架的取放商品等动作。对第一监控图像进行图像识别可以采用多种模型，例如可以采用预先训练好的多种神经网络模型等。

步骤103，当确定商品重量减轻时，获得商品被拿起的时间，并基于商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息。

步骤104，基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息，并将用户身份信息与被拿起的商品的信息进行关联，通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定。

在一个实施例中，基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息可以有多种。例如，图3为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置基于图像识别结果确定用户身份信息的流程示意图，用户选购商品识别装置执行步骤201－203。

步骤201，基于商品被拿起的时间确定用户身份识别时段。

用户身份识别时段可以为商品被拿起时间的前、后若干秒之间的时间段。例如，当确定商品重量减轻时，获得商品被拿起的时间为10点0分0秒，则用户身份识别时段为9点59分58秒与10点0分02秒之间的时间段。

步骤202，获取与在用户身份识别时段内采集的第一监控图像相对应的识别结果，作为目标识别结果。例如，获取对于在9点59分58秒与10点0分02秒之间的第一监控图像的识别结果，作为目标识别结果。

步骤203，如果目标识别结果中的用户身份信息不为空值，则将目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。

如果目标识别结果中的用户身份信息不为空值，则说明基于第一监控图像对于用户身份识别成功，如果目标识别结果中的用户身份信息为空值，则说明基于第一监控图像对于用户身份识别失败。

图4为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置对监控图像进行识别的流程示意图，用户选购商品识别装置执行步骤301－304：

步骤301，获取用户身份信息以及用户人脸图像。

步骤302，从用户人脸图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。

例如，用户在进入无人超市时，在超市门口进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息(用户ID等)，从采集的用户图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。

步骤303，从第一监控图像中提取人脸特征信息，计算人脸特征信息与人脸特征关联关系中的用户人脸特征的相似度。

步骤304，如果相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。如果相似度小于或等于预设的阈值，则对于用户身份识别失败。

通过摄像装置实时拍摄并实时从摄像装置中获取第一监控图像，每秒获取多张图片并分别调用人脸识别算法进行人脸识别，例如使用SIFT算法等进行人脸识别，将识别结果存入数据库。

预先给每个货箱进行编码，确定货箱中摆放的商品以及商品摆放的位置。获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息，根据编码信息与SKU信息建立货箱与商品的关联关系。

获取第一监控图像后，通过识别线程对第一监控图像进行人脸识别，将第一监控图像采集的时间以及识别结果、摄像头编号等存入数据库中。摄像头编号与货箱的编码信息相关联，根据用户身份识别时段和摄像头编号从数据库中可以获取目标识别结果。

设置称重装置与货箱的编码信息的对应关系，称重装置用于检测与其对应的货箱承载的商品重量。当基于称重装置发送的重量检测信号确定商品重量减轻或增加时，根据对应关系确定商品重量减轻或增加的货箱的编码信息以及商品重量的变化值。

确定商品重量减轻的货箱的编码信息，基于此编码信息以及货箱与商品的关联关系确定被拿起的商品的SKU信息。获取与商品的SKU信息对应的商品单位重量，基于商品单位重量以及商品重量的减小值确定被拿起的商品的数量信息。

可以在初始化时，称重装置记录每个货箱中的重量，当商品被拿起或者放回后计算减少或者增加的重量，获取减少重量信息并将重量除以商品sku的单个重量就能算出拿起或者放回了多少个商品个数。

当确定商品重量增加时，获得商品重量的增加值，判断商品单位重量与商品重量的增加值是否匹配，如果否，则进行商品错放提示。例如，货箱A中放置的商品A的单位重量为100克，当确定货箱A的重量增加了30克，则商品A单位重量与商品重量的增加值不匹配，则进行商品错放提示，可以通过播放提示语音或显示屏显示提示信息。

识别第一监控图像中的用户的操作动作以及与操作动作对应的目标商品，操作动作包括取出动作、放回动作等。对于第一监控图像的识别可以采用预先训练好的神经网络模型，在训练阶段，可以采用标注了商品sku的图像数据以及取出动作、放回动作的图像数据进行训练。行为识别可以使用训练好的神经网络模型通过对用户手势的特征进行提取分析得出。

通过图像识别可以获取目标商品的SKU信息以及目标商品被放回的目标货箱的编码信息。获取目标商品被放回的目标货箱的编码信息可以有多种方法，例如，可以通过图像识别确定目标货箱中原有的商品，进而确定原有商品的sku，基于原有商品的sku获得目标货箱的编码信息。基于货箱与商品的关联关系判断目标商品的SKU信息与目标货箱的编码信息是否匹配，如果否，则进行商品错放提示。

图5为根据本实用新型的智能货架系统的一个实施例中的用户选购商品识别装置基于用户追踪确定用户身份信息的流程示意图，用户选购商品识别装置执行步骤401－403：

步骤401，获取用户身份信息以及用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。

例如，用户在进入无人超市时，在入口处进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息(用户ID等)，并从采集的用户图像中提取用户特征信息，用户特征信息包括：衣着样式、衣着颜色、形体特点等。

步骤402，获取在购物场所中采集的第二监控图像，基于用户特征信息在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹。

步骤403，当确定用户特征信息发生变化时，基于新用户特征信息更新身份特征关联关系。

购物场所包括购物区域以及走廊等区域，采用目标跟踪算法基于用户的衣着样式、衣着颜色、形体特点等在第二监控图像中对用户进行定位，获取用户的跟踪轨迹，即用户的行动轨迹。跟踪算法可以有多种，例如为KCF算法等。如果用户的特征信息发生变换，例如，用户脱下外衣、带上口罩等，则确定用户的新用户特征信息，基于新用户特征信息更新身份特征关联关系。

步骤404，如果目标识别结果中的用户身份信息为空值，则根据身份识别时段以及身份特征关联关系确定与被拿起的商品相对应的用户身份信息。

例如，用户在进入无人超市后带上口罩，基于第一监控图像对用户身份进行识别失败，则目标识别结果中的用户身份信息为空值。当进行用户身份信息与被拿起的商品的信息进行关联时，目标识别结果中的用户身份信息为空值，则获取在身份识别时段内采集的第一监控图像，从第一监控图像中提取目标用户的用户特征信息。将目标用户的用户特征信息与身份特征关联关系中的用户特征信息进行匹配，此时的用户特征信息为实时更新的新用户特征，如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。

在一个实施例中，当用户A进入无人超市时，根据人脸识别技术对用户A进行识别，如果确定用户A为合法用户则验证成功，获取的用户身份信息为用户ID。建立用户A的用户人脸特征与用户身份信息之间的人脸特征关联关系。提取用户A的衣着样式、衣着颜色、形体特征等作为用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。

使用目标跟踪算法对用户A的用户特征信息(上衣颜色、头尖等特征)进行跟踪分析，实时更新用户A的用户特征信息。用户A来到货箱A前，摄像头获取到第一监控图像后进行人脸识别，识别出用户A后把用户A的用户id和当前时间以及摄像头信息存储到库中。

当用户A拿起货箱A中的商品后，根据称重装置中的重量传感器发送的信号确定重量减轻，根据当前时间往前推3s设定开始时间，往后推2s设定为结束时间，设置用户身份识别时段。查询数据库中存储的、在用户身份识别时段内的数据，获取用户A的用户ID，根据货箱A确定其承载的商品sku,该sku有固定的重量，根据重量减轻值除以固定的重量计算出用户A所拿的商品个数，把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定。

如果基于第一监控图像未能识别出用户的身份，根据在用户身份识别时段内采集的第一监控图像以及用户A的新用户特征信息确认出用户A，进而确定用户A的ID，则把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定,从而实现即拿即走的售货模式。

上述实施例中的智能货架系统，称重装置检测货箱承载的商品重量，摄像装置采集与货箱相对应的监控区域内的监控图像，用户选购商品识别装置基于监控图像获得用户身份信息，将用户身份信息与货箱中被拿起的商品的信息进行关联；通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省人工成本，识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。

可能以许多方式来实现本实用新型的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本实用新型的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本实用新型的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本实用新型实施为记录在记录介质中的程序，这些程序包括用于实现根据本实用新型的方法的机器可读指令。因而，本实用新型还覆盖存储用于执行根据本实用新型的方法的程序的记录介质。

本实用新型的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本实用新型限于所实用新型的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本实用新型的原理和实际应用，并且使本领域的普通技术人员能够理解本实用新型从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种智能货架系统，其特征在于，包括：

货架架体；在所述货架架体上放置至少一个用于承载商品的货箱；

称重装置，用于检测所述货箱承载的商品重量；

第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像；

用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，获取所述第一监控图像和所述称重装置发送的重量信号，用于基于所述第一监控图像获得用户身份信息，将所述用户身份信息与所述货箱中被拿起的商品的信息进行关联。

2.如权利要求1所述的智能货架系统，其特征在于，包括：

层板；所述层板放置在所述货架架体上，所述货箱放置在所述层板上。

3.如权利要求2所述的智能货架系统，其特征在于，

所述称重装置安装在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱对应设置。

4.如权利要求3所述的智能货架系统，其特征在于，包括：

称重安装部件；所述称重安装部件设置在所述层板与所述货箱之间，并且与所述层板固定连接；所述称重装置固定在所述称重安装部件上。

5.如权利要求4所述的智能货架系统，其特征在于，

所述称重安装部件呈工字形结构。

6.如权利要求1所述的智能货架系统，其特征在于，

所述称重装置包括：重量传感器；所述重量传感器，与所述用户选购商品识别装置连接，用于检测所述货箱承载的商品重量，并将检测信号发送给所述用户选购商品识别装置。

7.如权利要求1所述智能货架系统，其特征在于，还包括：

第二摄像装置，用于采集购物场所内的第二监控图像；

所述用户选购商品识别装置，与所述第二摄像装置电连接，获取所述第二监控图像，还用于基于所述第二监控图像更新用户特征信息，并基于所述用户特征信息确定与被拿起的商品相对应的用户身份信息。

8.如权利要求1所述的智能货架系统，其特征在于，还包括：

提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。

9.如权利要求8所述的智能货架系统，其特征在于，

所述提示装置包括：显示器、扬声器。

10.如权利要求1所述的智能货架系统，其特征在于，

所述货箱由亚克力板制成。