CN110895747B - 商品信息识别、显示、信息关联、结算方法及系统 - Google Patents

Abstract

本申请实施例提供一种商品信息识别、显示、信息关联、结算方法及系统。其中，商品信息识别方法包括如下的步骤：对货架陈列位进行监测；基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化；确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。本申请实施例提供的技术方案，通过自动识别商品，为后续自动从线上抽取该商品的对应信息，在条性价签屏上进行展示等功能做好基础。整个过程，理货员只需要做摆货的操作，节省了人力成本，提高了效率。

Description

商品信息识别、显示、信息关联、结算方法及系统

技术领域

本申请涉及计算机领域，尤其涉及一种商品信息识别、显示、信息关联、结算方法及系统。

背景技术

现有超市或商场的货架大多是普通的陈列柜。商家将商品陈列在货架上供客户选择购买。用户选品完后，到收银台进行结算。商家如要更换陈列方案，需人工更换每个货架陈列位对应的价签。如某一产品促销，商家需要调整所有门店该产品的价格，并需要工作人员更换价签等等。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的商品信息识别、显示、信息关联、结算方法及系统。

在本申请的一个实施例中，提供了一种商品信息识别方法，其特征在于，对货架陈列位进行监测；

基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化；

确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。

在本申请的一个实施例中，提供了一种商品信息显示方法。该方法包括：

显示与货架陈列位处的商品相关的第一信息；

响应于用户针对所述商品触发的行为事件，显示所述商品的属性信息。

在本申请的一个实施例中，提供了一种信息关联方法。该方法包括：

对所述货架陈列位处的商品进行监测；

监测到用户拿取至少一个所述商品时，识别所述用户的用户信息；

获取所述用户拿取的所述商品的商品标识及数量；

将所述商品的商品标识、所述数量及所述用户信息发送至服务端，以由服务端将所述商品标识、所述数量及所述用户信息进行关联。

在本申请的一个实施例中，提供了一种商品结算方法。该方法，包括：

接收货架发送的关联请求，所述关联请求中携带有欲关联的商品标识、数量及用户信息；

将所述商品标识、所述数量及所述用户信息进行关联；

接收到客户端发送的结算请求时，根据获取的与所述用户信息关联的所有商品的商品标识及数量，进行结算。

在本申请的一个实施例中，提供了一种商品结算系统。该系统，包括：

货架，用于对所述货架陈列位处的商品进行监测；监测到用户拿取至少一个所述商品时，识别所述用户的用户信息；获取所述用户拿取的所述商品的商品标识及数量；将所述商品的商品标识、所述数量及所述用户信息发送至服务端；

服务端，用于接收货架发送的关联请求，所述关联请求中携带有欲关联的商品标识、数量及用户信息；将所述商品标识、所述数量及所述用户信息进行关联；接收到客户端发送的结算请求时，根据获取的与所述用户信息关联的所有商品的商品标识及数量，进行结算；

客户端，用于响应于用户触发结算事件，向所述服务端发送所述结算请求。

本申请实施例提供的技术方案，通过自动识别商品，为后续自动从线上抽取该商品的对应信息，在条性价签屏上进行展示等功能做好基础。整个过程，理货员只需要做摆货的操作，节省了人力成本，提高了效率。另外，得力于商品识别能力，后续即可以对其中的货架库存进行实时监测，将传统盘点库存的范围精确到商品离开货架时，而非传统的只能根据是否结算进行盘点。这有助于经营者根据货架情况来调整补货策略，提高店铺的周转率，降低库存成本和风险。

本申请实施例提供的商品信息显示方案，实现了更丰富、更高效的商品信息推送，有助于激发客户的购买欲。

本申请实施例提供的信息关联方法、信息结算方法及结算系统，通过将人与商品的关联，使得结算更加简便，无需工作人员逐个扫码结算；节省了人力成本，且提高的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的智能货架第一种实现结构的电路原理图；

图2为本申请一实施例提供的智能货架第二种实现结构的电路原理图；

图3为本申请一实施例提供的智能货架的结构示意图；

图4为本申请一实施例提供的两个智能货架背向放置的示意图；

图5为本申请一实施例提供的智能货架的正面示意图；

图6为本申请一实施例提供的智能货架的三维效果图；

图7为本申请一实施例提供的商品信息识别方法的流程示意图；

图8为本申请一实施例提供的商品信息识别方法中监测信息选取规则的原理示意图；

图9为本申请一实施例提供的商品信息显示方法的流程示意图；

图10为本申请一实施例提供的商品信息显示方法中显示第一信息的界面示意图；

图11为本申请一实施例提供的商品信息显示方法中显示第二信息的界面示意图；

图12为本申请一实施例提供的商品信息显示方法中动态显示优惠信息的界面示意图；

图13为本申请一实施例提供的商品信息显示方法中动态显示用户到达目的地提示信息的界面示意图；

图14为本申请一实施例提供的商品信息显示方法中显示提示补货信息的界面示意图；

图15为本申请一实施例提供的商品信息显示方法中显示售罄提示信息的界面示意图；

图16为本申请一实施例提供的信息关联方法的流程示意图；

图17为本申请一实施例提供的商品结算方法的流程示意图；

图18为本申请一实施例提供的商品结算系统的结构示意图；

图19为本申请一实施例提供的商品信息识别装置结构示意图；

图20为本申请一实施例提供的信息关联装置的结构示意图；

图21为本申请一实施例提供的商品结算装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下述各方法实施例均基于如下硬件系统实现。具体的，图1示出了本申请一实施例提供的智能货架的结构原理图。如图1所示，所述智能货架包括：至少一个货架101、监测器102及处理器104。其中，所述货架101上设有至少一个陈列位103；所述监测器102，用于监测所述陈列位103；所述处理器104，与所述监测器102连接，用于根据所述监测器102的监测结果，确定可作为优化陈列方案的参考数据。

本申请实施例提供的智能货架，可实时监测各陈列位，以根据监测结果确定作为优化陈列方案的参照参数，解决了现有技术中存在的对工作人员经验和能力的依赖，使得陈列方案优化的参照依据更科学、准确。

如图1所示，所述监测器102可包括但不限于：重力传感器和/或视觉传感器。每个陈列位的承载面上均设有所述重力传感器。其中，视觉传感器可以是摄像头。一个货架101上设有至少一个所述视觉传感器，或陈列场所中布设有至少一个所述视觉传感器。例如，每个陈列位对应设有一个视觉传感器，或多个连续的陈列位对应设有一个视觉传感器，或一个货架一个视觉传感器，一个视觉传感器用于监测货架同侧的所有陈列位(如图3所示)。

这里需要说明的是：所述处理器104可以设置智能货架内CPU，或者，本实施例中的处理器由服务器替代，即处理器所具有的处理功能均由服务器完成。如图2所示，多个所述重力传感器连接于同一拓展板106；所述拓展板106通过连接设备109连接电源，通过连接设备109及交换机108与所述服务器104’。如图2所示，6个重力传感器连接于一个1拖6拓展板106。所述连接设备109可以微型电脑(如树莓派，英文缩写RPi)。树莓派通过USB电源线将拓展板106与电源107连接；可通过网线将拓展板106与交换机108连接，交换机108再通过网线与服务器104’连接。

进一步的，如图1和2所示，所述的智能货架还可包括屏幕105。所述屏幕105设置在所述货架101上；所述屏幕105与所述货架101上的至少一个陈列位103对应。具体的，所述屏幕105为条形屏，所述条形屏幕105横贯所述货架一层的至少一个陈列位。所述屏幕105可通过网线与交互机108连接。

在一种可实现的结构上，屏幕105可斜置方便查看，如图3所示。例如，处于较高层的屏幕，其倾斜后屏幕俯向用户。位于底层的屏幕，其倾斜后屏幕仰向用户。

进一步的，如图5所示，所述货架101上可设有多个层板1011，多个层板1011将货架101分隔出多个陈列层，一层陈列层上可具有至少一个陈列位。其中，所述层板1011可与货架101活动连接，例如，层板1011可从货架101上拆下，也可在货架上移动以调整各层高度。若所述层板1011上设置的监测器是通过有线方式与其他设备连接的，则所述监测器的连接线需留有一定的余量，并与监测器随所述层板移动。所述货架上可设置有插接口，当层板从货架上拆下时，所述监测器的连接头可从插接口中拔出，已断开连接。又例如，所述插接口可在货架上移动，或者所述货架上均布有插接口，调整层板的位置后，将监测器就近插接在临近的插接口。

所述货架101上还可设置有多个隔板1012。多个隔板1012将一层陈列层分隔出多个陈列位，每个陈列位可陈列不同种类的物品。其中，在具体实施时，所述隔板1012也可与货架101活动连接，即所述隔板可从货架上拆除，也可沿水平方向在所述层板上移动。

继续参见图3、图4和图5所示的实例，当所述监测器102包含视觉传感器时，所述视觉传感器可设置在货架101的顶部。一种可实现的方案时，所述视觉传感器的架设高度，可控制距离货架顶部的40～60cm之间，例如，视觉传感器距货架的顶部的距离为50cm。对于总高度为150cm，宽为125cm的货架来说，将视觉传感器的架设高度控制在距离货架的顶部50cm处，即可覆盖货架的所有陈列位。在具体实施时，可根据货架的具体尺寸来确定视觉传感器的架设位置及架设数量，本实施例对此不作具体限定。

图6示出了本申请实施例提供的智能货架的三维立体效果图。如图6所示，所述视觉传感器的采集端斜向下，具体的切斜角度可基于现场货架尺寸等来确定，本实施例对此不作具体限定。进一步的，货架101的底部可设有储物箱，该储物箱可用于放置商品，也可放置电器元件等。

有了上述智能货架的硬件基础，下面对本申请提供的方法实施例进行说明。

图7示出了本申请一实施例提供的商品信息识别方法的流程示意图。本实施例提供的所述方法的执行主体可包括智能货架。具体的，如图7所示，所述方法包括：

201、对货架陈列位进行监测。

202、基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化。

203、确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。

上述步骤201可由智能货架中的监测器来实现，上述步骤202和203可由智能货架中的处理器来实现，或者，上述步骤202和203也可由服务器代替处理器实现。

在一种可实现的技术方案中，所述监测信息可包括但不限于：重量信息和/或图像信息。相应的，上述步骤201可具体包括如下步骤：

监测所述货架陈列位处的商品重量，得到所述重量信息；和/或

对所述货架陈列位进行视觉监测，得到所述图像信息。

这里需要补充的是：同时对所述货架陈列位进行商品重量和视觉监测时，本实施例提供的所述方法中可采用如下两种方案实现。具体的，如图8所示，

方案一、二者选其一

例如，预先配置当重量信息及图像信息同时存在时，取所述重量信息作为所述监测信息。即，采纳重力传感器监测到的信号作为所述监测信息。

方案二、综合处理

即对监测到的所述重量信息及所述图像信息进行选取判定，将满足选取规则的一个作为所述监测信息。在一具体实施例中，上述选取判定过程可具体为：

S1、对所述重量信息和所述图像信息各自携带的货架陈列位号进行校验；

具体的，货架陈列位号是否相同，则通过货架陈列位号校验；否则，未通过货架陈列位号校验。

S2、若通过货架陈列位号校验，则对重量信息和所述图像信息各自携带的时间戳进行校验；

具体的，时间戳相同，则通过时间戳校验，否则，未通过时间戳校验。

S3、若通过时间戳校验，则判断所述图像信息中携带的精度值是否大于阈值；

其中，所述精度值的评测可以是人为评测，也可由设备自动评测(如采用学习算法评测)，本申请实施例对此不作具体限定。

S4、若大于，则所述图像信息满足选取规则，将所述图像信息作为所述监测信息。

进一步的，上述选取判定过程还可包括：

若未通过所述货架陈列位号校验、或者未通过时间戳校验、或者所述图像信息中携带的精度值不大于阈值，则将所述重量信息作为所述监测信息。

上述货架陈列位处的商品是否发生变化可包含：

陈列位上的商品从零个到有至少一个；

陈列位上的商品数量变化；

陈列位上的商品品类更换；等等。

上述203中，商品信息可包括：商品品类、数量等等，本实施例对此不作具体限定。

本实施例提供的技术方案，通过自动识别商品，为后续自动从线上抽取该商品的对应信息，在条性价签屏上进行展示等功能做好基础。整个过程，理货员只需要做摆货的操作，节省了人力成本，提高了效率。另外，得力于商品识别能力，后续即可以对其中的货架库存进行实时监测，将传统盘点库存的范围精确到商品离开货架时，而非传统的只能根据是否结算进行盘点。这有助于经营者根据货架情况来调整补货策略，提高店铺的周转率，降低库存成本和风险。

进一步的，本实施例提供的所述方法，还可包括如下步骤：

204、比对所述连续时间内监测到的多个所述重量信息，若多个所述重量信息存在差异，则确定所述货架陈列位处的商品发生变化。

在一具体实施例中，若比对结果表征商品重量减少，则根据重量减少量及所述商品的单件重量，确定商品减少的数量。

若比对结果表征商品重量增加，则可根据重量增加量及所述商品的单件重量，确定商品增加的数量。

和/或205、比对连续时间内监测到的多个所述图像信息，若多个所述图像信息存在差异，则确定所述货架陈列位处的商品发生变化。

其中，比对多个图像信息的差异，可采用现有图像比对技术实现，本文在此不作赘述。

若上述步骤203中多个监测信息为多个重量信息，则可采用重力自动校准的差量算法识别商品的变化数量。

这里需要补充的是：多数商品的重量是有差异的。若预先将商品品类与重量建立关联。当理货员在空的陈列位内放入商品时，若先放入一件，则可通过监测到的该商品的重量，获取到该商品的品类。然后，理货员再放入剩余商品。当然，对于商品重量相同，或理货员同时放置两个或两个以上商品时，有可能出现商品品类获取错误的问题，这样就会影响智能货架上屏幕显示价签的准确性。

因此，可采用图像识别技术来识别所述货架上的商品，以解决采用重力传感器存在的问题。即本实施例中，上述步骤203、“根据所述连续时间内的多个监测信息，识别变化后的商品信息”可具体采用如下方法实现：

2031、从所述连续时间内的多个图像信息中，选取时间在后的图像信息。

2032、对所述时间在后的图像信息进行图像识别，识别出所述货架陈列位处的商品品类及商品数量。

其中，具体实施时，可采用图像识别模型(如卷积神经网络模型等)来实现对图像的识别。

或者，上述步骤203，还可对所述连续时间内的多个图像信息，采用多帧差异元素分割技术来实现商品识别。具体的，多帧差异元素分割技术可参见现有技术，本文此处不再赘述。

由上述内容可知，商品的变化可包括：陈列位上的商品从零个到有至少一个；陈列位上的商品数量变化；陈列位上的商品品类更换；等等。相应的，本实施例提供的所述方法还可包括如下步骤：

206、当确定出所述货架陈列位处的商品品类变化时，获取变化后的商品品类对应的商品属性信息。

207、将所述货架陈列位对应的显示内容刷新为所述商品属性信息。

进一步的，本实施例提供的所述方法还可包括如下步骤：

208、当确定出所述货架陈列位处的商品数量减少时，获取减少量。

209、将所述商品的商品品类及所述减少量发送至服务端，以由服务端更新所述商品品类对应的库存量。

例如，服务端根据商品品类获取到该商品的库存量，然后将库存量减去上述步骤208得到的减少量，即可得出更新后的库存量。

进一步的，为了方便盘活，本实施例提供的所述方法还可包括如下步骤：

210、获取多个货架陈列位的实时监测信息。

211、分别根据各货架陈列位的实时监测信息，识别各货架陈列位的陈列信息。

212、根据所述各货架陈列位的陈列信息，生成陈列清单。

其中，上述步骤210中获取实施监测信息的执行动作可在服务端发送了盘货指令之后做出。其中，盘货指令可以是服务端在接收到工作人员客户端发送的盘货请求时发出的。工作人员可通过客户端点击触发盘货。

上述212，智能货架生成热度陈列清单上传至服务端作备份，服务端可将该陈列清单反馈至工作人员客户端进行显示。

由此可以看出，本申请实施例还可提供一种智能货架系统。该系统可包括：智能货架、客户侧客户端、工作人员客户端、服务端等等。其中，工作人员客户端可对工作人员进行权限设置，以限制工作人员仅能查看权限内的内容或触发权限内的操作等等。

其中，服务端可以是上述图2中所示的服务器。而对于在多地连锁的商家来说，每个具体商铺设置一个服务器外，还需设置一个连接各商铺服务器的总服务器；即本实施例中的服务端还可以为网络侧服务器。

进一步的，本申请实施例提供的所述方法，还可包括如下步骤：

213、获取所述陈列位处商品的商品信息。

214、根据所述商品信息，判定所述第一陈列位是否陈列异常。

215、陈列异常时，生成异常信息。

上述213中，商品信息可以包括商品品类、条形码等。每个陈列位上陈列商品的商品信息可预先存储在一个存储区域中，在需要时可从该存储区域中调取该第一陈列位处陈列对象的对象信息。或者，可基于视觉传感器采集的到所述商品的图像，识别所述商品的商品信息(如**品牌的酱油)。或者，可通过扫码所述陈列对象的二维码来获取所述商品信息。

这里需要说明的是：上述图像识别技术可参见现有技术中的相关内容，此处不再赘述。

上述214中，“根据所述对象信息，判定所述第一陈列位是否陈列异常”，可具体包括如下步骤：

2141、根据对象信息及陈列位标识的关联关系，获取所述对象信息对应的陈列位标识；

2142、比对所述陈列位标识及所述第一陈列位的标识；

2143、比对结果不同时，所述第一陈列位陈列异常。

再进一步的，本实施例提供的所述方法还可包括：

216、陈列异常时，将所述异常信息发送至服务端，以由服务端将所述异常信息发送至对应客户端；或者

217、陈列异常时，显示所述异常信息。

图9示出了本申请一实施例提供的商品信息显示方法的流程示意图。如图9所示，所述商品信息显示方法，包括：

301、显示与货架陈列位处的商品相关的第一信息。

302、响应于用户针对所述商品触发的行为事件，显示所述商品的第二信息。

上述301中，所述第一信息为推荐信息(如图10所示)，如广告视频或图片等，本实施例对此不作具体限定。

上述302中，所述第二信息为所述商品的属性信息，包括如下至少一种：商品品类、价格、库存、产地、优惠信息等等。参见图11，显示对应商品的的属性信息，如价格、产地、名称等等。

其中，所述行为事件的触发方式可包括如下中的至少一种：

对所述货架陈列位进行监测，当监测到用户拿取所述商品时，触发所述行为事件；

对所述货架陈列位进行监测，当监测到用户靠近所述商品时，触发所述行为事件；

监测到用户发出设定音频口令时，触发所述行为事件；

监测到用户做出设定动作时，触发所述行为事件；

监测到用户触控所述货架陈列位上的设定控键时，触发所述行为事件。

本申请实施例提供的商品信息显示方案，实现了更丰富、更高效的商品信息推送，有助于激发客户的购买欲。

进一步的，所述商品的属性信息中包含有优惠信息时，相应的，本实施例提供的所述方法，还包括：

303、在所述商品的属性信息的上层，动态显示所述优惠信息。

参见图12所示的实例，从界面的下边缘向上逐渐；显露出优惠信息层。当优惠信息中包含有两种或两种以上的优惠方式时，滚动显示各优惠方式。

当然，也可采用闪烁的方式显示所述优惠信息，以使其更加醒目，便于用户发现。具体实现时，还可采用其他显示方式来显示所述优惠信息，本实施例对此不作具体限定。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

304、响应于复位事件，恢复显示所述第一信息。

其中，所述复位事件的触发方式可包括如下的至少一种：对所述货架陈列位进行监测，当监测到用户离开时，触发所述复位事件；

所述商品的属性信息的显示时长超过预设时长时，触发所述复位事件。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

305、接收到服务端发送的针对所述商品的修改信息后，根据所述修改信息，更新显示的所述商品的属性信息。

例如，服务端发送针对所述商品的价格修改信息，相应的，智能货架需及时更新货架上显示的该商品的价格。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

306、对所述货架陈列位进行监测。

307、当监测到有寻找用户靠近所述货架陈列位时，动态显示提示所述用户到达目的地的提示信息。

其中，所述寻找用户是指使用智能导购台进行寻物的用户。寻找用户的位置及行进路径等信息均被场所(如超市或商场)内的追踪器追踪。追踪器追踪到所述寻找用户到达导购路径的终点时，追踪器可向服务端发送通知，所述服务端接到通知后向所述终点位置处的货架发送指令，以使所述货架按照所述指令控制屏幕显示如图13所示的提示信息。

由上述内容可知，本申请实施例提供的系统架构可包括：追踪器、智能货架、服务端等等。其中，追踪器可以是视觉追踪器，也可采用蓝牙或wifi等通过定位用户的移动终端来追踪用户的位置及进行路径等。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

308、对所述货架陈列位进行监测。

309、基于监测结果确定货架陈列位为空时，获取所述货架陈列位对应商品的库存量。

310、所述库存量非零时，显示提示补货信息。

如图14所示，在第二信息的下边缘显示提示补货的紫色、红色或其他醒目颜色的颜色条。理货员在看到该颜色条后，即可了解到需补货。

311、所述库存量为零时，显示售罄提示信息。

参见图15所示，在屏幕上显示“商品售罄了！”的文字提示信息。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

312、所述库存量非零时，向服务端发送针对所述商品的补货信息，以由所述服务端将所述补货信息发送至对应客户端。

312、所述库存量为零时，向服务端发送针对所述商品的售罄信息，以由所述服务端将所述售罄信息发送至对应客户端。

312、所述库存量非零，且小于最低限量时，向服务端发送针对所述商品的库存警示信息，以由所述服务端将所述库存警示信息发送至对应客户端。

图16示出了本申请一实施例提供的信息关联方法的流程示意图。本实施例的执行主体可包括智能货架。如图16所示，所述信息关联方法，包括：

401、对所述货架陈列位处的商品进行监测。

402、监测到用户拿取至少一个所述商品时，识别所述用户的用户信息。

403、获取所述用户拿取的所述商品的商品标识及数量。

404、将所述商品的商品标识、所述数量及所述用户信息发送至服务端，以由服务端将所述商品标识、所述数量及所述用户信息进行关联。

上述401可参见上述各实施例中的相应内容，此处不再赘述。

上述402中，在对货架陈列位处的商品进行监测时，若采集到用户的面部影像，则可通过人脸识别技术识别所述用户以得到用户信息。若位采集到用户的面部影像，则可通过蓝牙或wifi接入设备的设备标识，获得所述用户的用户信息。其中，用户信息可以是用户注册名、手机号等。

上述402中，可基于连续时间内的多个监测信息确定用户拿取所述商品的商品标识及数量。具体实现过程，可参见上述各实施例中的相关内容，此处不再赘述。

本申请实施例提供的技术方案，通过将人与商品的关联，使得结算更加简便，无需工作人员逐个扫码结算；节省了人力成本，且提高的效率。

进一步的，本实施例提供的所述方法，还可包括如下步骤：

405、监测到用户放回拿取的部分所述商品时，根据放回数量，更新与所述用户信息关联的所述商品的数量。

406、监测到用户放回拿取的全部所述商品时，向所述服务发送删除所述商品标识、所述数量及所述用户信息关联的请求。

图17示出了本申请一实施例提供的商品结算方法的流程示意图。本实施例的执行主体可包括服务端。如图17所示，所述商品结算方法，包括：

501、接收货架发送的关联请求，所述关联请求中携带有欲关联的商品标识、数量及用户信息。

502、将所述商品标识、所述数量及所述用户信息进行关联。

503、接收到客户端发送的结算请求时，根据获取的与所述用户信息关联的所有商品的商品标识及数量，进行结算。

上述503中，可根据商品标识获取到商品的单价，基于各商品的商品单价及数量，进行结算。

本申请实施例提供技术方案，通过将人与商品的关联，使得结算更加简便，无需工作人员逐个扫码结算；节省了人力成本，且提高的效率。

图18示出了本申请一实施例提供的商品结算系统的流程示意图。该商品结算系统包括货架、服务端及客户端。其中，

货架601，用于对所述货架陈列位处的商品进行监测；监测到用户拿取至少一个所述商品时，识别所述用户的用户信息；获取所述用户拿取的所述商品的商品标识及数量；将所述商品的商品标识、所述数量及所述用户信息发送至服务端；

服务端602，用于接收货架发送的关联请求，所述关联请求中携带有欲关联的商品标识、数量及用户信息；将所述商品标识、所述数量及所述用户信息进行关联；接收到客户端发送的结算请求时，根据获取的与所述用户信息关联的所有商品的商品标识及数量，进行结算；

客户端603，用于响应于用户触发结算事件，向所述服务端发送所述结算请求。

其中，本实施例中所述货架还可实现上述各方法实施例中的功能，所述服务端还可实现上述方法实施例中的相应功能，此处不再赘述。

本申请实施例提供技术方案，通过将人与商品的关联，使得结算更加简便，无需工作人员逐个扫码结算；节省了人力成本，且提高的效率。

图19示出了本申请一实施例提供的商品信息识别装置的结构示意图。如图19所示，所述商品信息识别装置包括：

监测模块11，用于对货架陈列位进行监测；

确定模块12，用于基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化；

识别模块13，用于确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。

本实施例提供的技术方案，通过自动识别商品，为后续自动从线上抽取该商品的对应信息，在条性价签屏上进行展示等功能做好基础。整个过程，理货员只需要做摆货的操作，节省了人力成本，提高了效率。另外，得力于商品识别能力，后续即可以对其中的货架库存进行实时监测，将传统盘点库存的范围精确到商品离开货架时，而非传统的只能根据是否结算进行盘点。这有助于经营者根据货架情况来调整补货策略，提高店铺的周转率，降低库存成本和风险。

进一步的，所述监测信息包括：重量信息和/或图像信息；以及所述监测模块11还用于：

监测所述货架陈列位处的商品重量，得到所述重量信息；和/或

对所述货架陈列位进行视觉监测，得到所述图像信息。

进一步的，同时对所述货架陈列位进行商品重量和视觉监测时，所述装置还包括选取模块；所述选取模块用于：

将监测到的所述重量信息和所述图像信息中的一个作为所述监测信息；或者

对监测到的所述重量信息及所述图像信息进行选取判定，将满足选取规则的一个作为所述监测信息。

进一步的，所述选取模块还用于：

对所述重量信息和所述图像信息各自携带的货架陈列位号进行校验；

若通过货架陈列位号校验，则对重量信息和所述图像信息各自携带的时间戳进行校验；

若通过时间戳校验，则判断所述图像信息中携带的精度值是否大于阈值；

若大于，则所述图像信息满足选取规则，将所述图像信息作为所述监测信息。

进一步的，所述选取模块还用于：

若未通过所述货架陈列位号校验、或者未通过时间戳校验、或者所述图像信息中携带的精度值不大于阈值，则将所述重量信息作为所述监测信息。

进一步的，所述装置还包括：比对模块。其中，比对模块用于：

比对所述连续时间内监测到的多个所述重量信息，若多个所述重量信息存在差异，则确定所述货架陈列位处的商品发生变化；和/或

比对连续时间内监测到的多个所述图像信息，若多个所述图像信息存在差异，则确定所述货架陈列位处的商品发生变化。

进一步的，所述识别模块13还用于：

从所述连续时间内的多个图像信息中，选取时间在后的图像信息；

对所述时间在后的图像信息进行图像识别，识别出所述货架陈列位处的商品品类及商品数量。

进一步的，所述装置还包括：

获取模块，用于当确定出所述货架陈列位处的商品品类变化时，获取变化后的商品品类对应的商品属性信息；

刷新模块，用于将所述货架陈列位对应的显示内容刷新为所述商品属性信息。

进一步的，所述装置还包括：

获取模块，用于当确定出所述货架陈列位处的商品数量减少时，获取减少量；

发送模块，用于将所述商品的商品品类及所述减少量发送至服务端，以由服务端更新所述商品品类对应的库存量。

进一步的，所述装置还包括：

获取模块，用于获取多个货架陈列位的实时监测信息；

所述识别模块还用于：分别根据各货架陈列位的实时监测信息，识别各货架陈列位的陈列信息；

生成模块，用于根据所述各货架陈列位的陈列信息，生成陈列清单。

这里需要说明的是：上述实施例提供的商品信息识别装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

本申请一实施例还提供一种商品信息显示装置的结构示意图。所述商品信息显示装置包括显示模块，该显示模块用于：

第一显示模块，用于显示与货架陈列位处的商品相关的第一信息；

响应于用户针对所述商品触发的行为事件，显示所述商品的第二信息。

进一步的，所述第一信息为推荐信息；所述第二信息为所述商品的属性信息，包括如下至少一种：商品品类、价格、库存、产地、优惠信息。

进一步的，所述商品的属性信息中包含有优惠信息时，所述显示模块还用于：

在所述商品的属性信息的上层，动态显示所述优惠信息。

进一步的，所述商品信息显示装置还包括：触发模块。该触发模块用于：

对所述货架陈列位进行监测，当监测到用户拿取所述商品时，触发所述行为事件；和/或

对所述货架陈列位进行监测，当监测到用户靠近所述商品时，触发所述行为事件；和/或

监测到用户发出设定音频口令时，触发所述行为事件；和/或

监测到用户做出设定动作时，触发所述行为事件；和/或

监测到用户触控所述货架陈列位上的设定控键时，触发所述行为事件。

进一步的，所述显示模块还用于：

响应于复位事件，恢复显示所述第一信息。

进一步的，所述触发模块还用于：

对所述货架陈列位进行监测，当监测到用户离开时，触发所述复位事件；或者

所述商品的属性信息的显示时长超过预设时长时，触发所述复位事件。

进一步的，所述商品信息显示装置还包括：更新模块。该更新模块用于：

接收到服务端发送的针对所述商品的修改信息后，根据所述修改信息，更新显示的所述商品的属性信息。

进一步的，所述商品信息显示装置还包括：

监测模块，用于对所述货架陈列位进行监测；

所述显示模块还用于：当监测到有寻找用户靠近所述货架陈列位时，动态显示提示所述用户到达目的地的提示信息。

进一步的，所述商品信息显示装置还包括：

监测模块，用于对所述货架陈列位进行监测；

获取模块，用于基于监测结果确定货架陈列位为空时，获取所述货架陈列位对应商品的库存量；

所述显示模块还用于：所述库存量非零时，显示提示补货信息；所述库存量为零时，显示售罄提示信息。

进一步的，所述商品信息显示装置还包括：发送模块。该发送模块用于：

所述库存量非零时，向服务端发送针对所述商品的补货信息，以由所述服务端将所述补货信息发送至对应客户端；

所述库存量为零时，向服务端发送针对所述商品的售罄信息，以由所述服务端将所述售罄信息发送至对应客户端；；

所述库存量非零，且小于最低限量时，向服务端发送针对所述商品的库存警示信息，以由所述服务端将所述库存警示信息发送至对应客户端。

这里需要说明的是：上述实施例提供的商品信息显示装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图20示出了本申请一实施例提供的信息关联装置的结构示意图。如图20所示，所述信息关联装置包括：

监测模块21，用于对所述货架陈列位处的商品进行监测；

识别模块22，用于监测到用户拿取至少一个所述商品时，识别所述用户的用户信息；

获取模块23，用于获取所述用户拿取的所述商品的商品标识及数量；

发送模块24，用于将所述商品的商品标识、所述数量及所述用户信息发送至服务端，以由服务端将所述商品标识、所述数量及所述用户信息进行关联。

本申请实施例提供的技术方案，通过将人与商品的关联，使得结算更加简便，无需工作人员逐个扫码结算；节省了人力成本，且提高的效率

进一步的，所述信息关联装置还包括：

更新模块，用于监测到用户放回拿取的部分所述商品时，根据放回数量，更新与所述用户信息关联的所述商品的数量；

发送模块，用于监测到用户放回拿取的全部所述商品时，向所述服务发送删除所述商品标识、所述数量及所述用户信息关联的请求。

这里需要说明的是：上述实施例提供的信息关联装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图21示出了本申请一实施例提供的商品结算装置的结构示意图。如图12所示，所述商品结算装置包括：

接收模块31，用于接收货架发送的关联请求，所述关联请求中携带有欲关联的商品标识、数量及用户信息；

关联模块32，用于将所述商品标识、所述数量及所述用户信息进行关联；

结算模块33，用于接收到客户端发送的结算请求时，根据获取的与所述用户信息关联的所有商品的商品标识及数量，进行结算。

这里需要说明的是：上述实施例提供的商品结算装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

综上可知，本申请各实施例提供的技术方案，智能货架在传统货架的结构基础上，增设了各种传感器，配合后台的算法以及领先使用的多媒体架签设备，实现了货架与用户的深度互动，创建全新的线下购物体验。同时货架采集的相关数据可以通过系统产生有助于商业决策的关键信息，帮助经营者提高周转率，降低成本。

通过传感器对货架上的商品进行全时段的状态监测，哪一件商品在什么时候包括是否被拿起/收回，架上库存量等。货架商品状态感知能力将传统需要在结算后才能进行统计的时间跨度精确到了商品离开货架的那一刻，可以为制定提高商品周转率的决策提供有效支持。

传统货架传递给消费者的信息集中在价签以及商品本身的包装之上。智能货架所采用的屏幕可以动态的将线上的产品信息以及其他经营决策/促销信息更新后进行投放。同时，用户的行为也会引起价签的不同内容呈现。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种商品信息识别方法，其特征在于，

对货架陈列位进行监测，得到重量信息和图像信息；

对所述重量信息和所述图像信息各自携带的货架陈列位号进行校验；

若通过货架陈列位号校验，则对所述重量信息和所述图像信息各自携带的时间戳进行校验；

若通过时间戳校验，则判断所述图像信息中携带的精度值是否大于阈值；

若大于，则所述图像信息满足选取规则，将所述图像信息作为监测信息；

若未通过所述货架陈列位号校验、或者未通过时间戳校验、或者所述图像信息中携带的精度值不大于阈值，则将所述重量信息作为监测信息；

基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化；

确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。

2.根据权利要求1所述的方法，其特征在于，对货架陈列位进行监测，得到重量信息和图像信息，包括：

监测所述货架陈列位处的商品重量，得到所述重量信息；

对所述货架陈列位进行视觉监测，得到所述图像信息。

3.根据权利要求1所述的方法，其特征在于，还包括：

比对所述连续时间内监测到的多个所述重量信息，若多个所述重量信息存在差异，则确定所述货架陈列位处的商品发生变化；和/或

比对连续时间内监测到的多个所述图像信息，若多个所述图像信息存在差异，则确定所述货架陈列位处的商品发生变化。

4.根据权利要求1所述的方法，其特征在于，根据所述连续时间内的多个监测信息，识别变化后的商品信息，包括：

从所述连续时间内的多个图像信息中，选取时间在后的图像信息；

对所述时间在后的图像信息进行图像识别，识别出所述货架陈列位处的商品品类及商品数量。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

当确定出所述货架陈列位处的商品品类变化时，获取变化后的商品品类对应的商品属性信息；

将所述货架陈列位对应的显示内容刷新为所述商品属性信息。

6.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

当确定出所述货架陈列位处的商品数量减少时，获取减少量；

将所述商品的商品品类及所述减少量发送至服务端，以由服务端更新所述商品品类对应的库存量。

7.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

获取多个货架陈列位的实时监测信息；

分别根据各货架陈列位的实时监测信息，识别各货架陈列位的陈列信息；

根据所述各货架陈列位的陈列信息，生成陈列清单。

8.一种商品信息识别装置，其特征在于，

监测模块，用于对货架陈列位进行监测，得到重量信息和图像信息；

确定模块，用于对所述重量信息和所述图像信息各自携带的货架陈列位号进行校验；若通过货架陈列位号校验，则对所述重量信息和所述图像信息各自携带的时间戳进行校验；若通过时间戳校验，则判断所述图像信息中携带的精度值是否大于阈值；若大于，则所述图像信息满足选取规则，将所述图像信息作为监测信息；若未通过所述货架陈列位号校验、或者未通过时间戳校验、或者所述图像信息中携带的精度值不大于阈值，则将所述重量信息作为监测信息；基于连续时间内的多个监测信息，确定所述货架陈列位处的商品是否发生变化；

识别模块，用于确定出所述货架陈列位处的商品有变化时，根据所述连续时间内的多个监测信息，识别变化后的商品信息。

9.根据权利要求8所述的装置，其特征在于，所述监测模块，具体用于：

监测所述货架陈列位处的商品重量，得到所述重量信息；

对所述货架陈列位进行视觉监测，得到所述图像信息。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括比对模块，所述比对模块用于：

比对所述连续时间内监测到的多个所述重量信息，若多个所述重量信息存在差异，则确定所述货架陈列位处的商品发生变化；和/或

比对连续时间内监测到的多个所述图像信息，若多个所述图像信息存在差异，则确定所述货架陈列位处的商品发生变化。

11.根据权利要求8所述的装置，其特征在于，所述识别模块还用于：

从所述连续时间内的多个图像信息中，选取时间在后的图像信息；

对所述时间在后的图像信息进行图像识别，识别出所述货架陈列位处的商品品类及商品数量。

12.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还还包括：

获取模块，用于当确定出所述货架陈列位处的商品品类变化时，获取变化后的商品品类对应的商品属性信息；

刷新模块，用于将所述货架陈列位对应的显示内容刷新为所述商品属性信息。

13.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还包括：

获取模块，用于当确定出所述货架陈列位处的商品数量减少时，获取减少量；

发送模块，用于将所述商品的商品品类及所述减少量发送至服务端，以由服务端更新所述商品品类对应的库存量。

14.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取多个货架陈列位的实时监测信息；

所述识别模块，还用于分别根据各货架陈列位的实时监测信息，识别各货架陈列位的陈列信息；

生成模块，用于根据所述各货架陈列位的陈列信息，生成陈列清单。