CN113706227A - 一种货架商品推荐方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种货架商品推荐方法及装置，该方法包括：获取用户的行人特征图像和用户的手部动作图像；基于用户的手部动作图像，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；若是，通过智能货架为该用户推荐第一目标货架商品；若否，基于用户的行人特征图像，通过智能货架为用户推荐第二目标货架商品，一方面是通过准确识别用户的购物行为，为用户推荐商品，另一方面是在识别到用户没有购物行为时，根据用户的行人特征图像为用户推荐商品，无论用户是否有购物行为，都能提高为用户推荐货架商品的准确性。

Description

一种货架商品推荐方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种货架商品推荐方法及装置。

背景技术

该交互式智能货架、无人购物货架等在现实生活中越来越普遍，能够为用户提供更加便利的购物环境，但是，由于现有的设备还需要结合一些闸机或者射频设备才能判断用户的购物行为，进而不利于用户购物的效率。

如何提高购物交易的效率同时，还节约人力值守是目前亟待解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的货架商品推荐方法及装置。

第一方面，本发明提供了一种货架商品推荐方法，包括：

获取用户的行人特征图像和所述用户的手部动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

若是，通过智能货架为所述用户推荐第一目标货架商品；

若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

优选地，所述基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为，包括：

基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像；

基于所述目标图像，确定所述货架商品的名称；

根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果；

基于所述监测结果，判断所述用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

优选地，所述基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像，包括：

获取用于识别顾客手接触货架商品的图像的第一识别模型，所述第一识别模型为通过获取历史N组顾客手接触物品的图像信息，所述图像信息包括：标注为顾客手接触货架商品的图像和标注为顾客手接触非货架商品的图像，N为正整数，采用所述历史N组顾客手接触物品的图像信息进行机器学习训练所得到的；

基于所述用户的手部动作图像和所述第一识别模型，获得用户手接触货架商品的目标图像。

优选地，所述基于所述目标图像，确定所述货架商品的名称，包括：

从所述目标图像中提取货架商品图片；

将所述货架商品图片输入特征提取模型中，获得所述货架商品图片所对应的目标特征向量；

获取所述智能货架的商品特征库，所述商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

基于所述目标特征向量和所述商品特征库，确定所述货架商品的名称。

优选地，所述根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

获取用于识别用户将货架商品放回货架的第二识别模型，所述第二识别模型为通过获取历史M组顾客购买商品的连续帧图像的信息，所述连续帧图像的信息包括：标注为将货架商品放回货架的连续帧图像以及标注为将货架商品放入购物车的连续帧图像，M为正整数，采用所述M组顾客购买商品的连续帧图像信息进行机器学习训练所得到的；

基于所述第二识别模型、所述用户的手部动作图像以及所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

将所述用户的手部动作图像输入所述第二识别模型，在输出为用户将所述货架商品放回货架的连续帧图像时，则确定监测结果为用户将所述货架商品放回货架；在输出为用户将所述货架商品放入购物车的连续帧图像时，则确定监测结果为用户未将所述货架商品放回货架，并确定相应的货架商品的名称。

优选地，所述通过智能货架为所述用户推荐第一目标货架商品，包括：

在所述用户再次经过具有第一目标货架商品的智能货架时，基于所述用户的行人特征图像，通过智能货架为所述用户推荐所述第一目标货架商品，所述第一目标货架商品为基于所述货架商品的名称所确定的商品。

优选地，所述基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品，包括：

在所述用户首次经过智能货架时，基于所述用户的行人特征图像，获得所述用户的属性特征；

基于所述用户的属性特征，通过智能货架为所述用户推荐与所述用户的属性特征相匹配的第二目标货架商品。

第二方面，本发明还提供了一种货架商品推荐装置，包括：

获取模块，用于用户的行人特征图像和所述用户的动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

判断模块，用于基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

第一推荐模块，用于若是，通过智能货架为所述用户推荐第一目标货架商品；

第二推荐模块，用于若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

第三方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述述的方法步骤。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上法步骤。

本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提供了一种货架商品推荐方法，包括：获取用户的行人特征图像和用户的手部动作图像；基于用户的手部动作图像，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；若是，通过智能货架为该用户推荐第一目标货架商品；若否，基于用户的行人特征图像，通过智能货架为用户推荐第二目标货架商品，一方面是通过准确识别用户的购物行为，为用户推荐商品，另一方面是在识别到用户没有购物行为时，根据用户的行人特征图像为用户推荐商品，无论用户是否有购物行为，都能提高为用户推荐货架商品的准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：

图1示出了本发明实施例中货架商品推荐方法的步骤流程示意图；

图2示出了本发明实施例中货架商品推荐装置的结构示意图；

图3示出了本发明实施例中实现货架商品推荐方法的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本发明的实施例提供了一种货架商品推荐方法，如图1所示，包括：

S101，获取用户的行人特征图像和用户的手部动作图像，且该用户的行人特征图像和用户的手部动作图像绑定；

S102，基于用户的手部动作图像，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

S103，若是，通过智能货架为用户推荐第一目标货架商品；

S104，若否，基于用户的行人特征图像，通过智能货架为用户推荐第二目标货架商品。

在具体的实施方式中，智能货架包括设置在每排货架的顶端的摄像头，通过俯视角度的摄像头采集用户的行人特征图像和用户的手部动作图像，该用户的行人特征图像和用户的手部动作图像绑定。该用户的手部动作图像包括同一时刻的多个角度图片。该智能货架还包括显示屏，用于推荐展示货架商品。

其中，用户的行人特征图像和用户的手部动作图像是关联的，比如，一个用户的行人特征图像对应多组用户的手部动作图像。由于在用户路过每排货架时，货架顶端的摄像头所能采集到的用户的上半身的特征图像。这里的行人特征图像不仅可以是用户的面部图像，也可以是用户的穿着、体态、发型等上半身的特征图像。

用户在超市等具有智能货架上选购货架商品的过程中，经常会通过拿起货架商品、查看货架商品、放回货架商品或者是将货架商品放入购物车的操作，实现购物行为，对于不同的用户来说，会有上述的多种操作的组合，比如，拿起商品、（查看商品）、放回商品的行为，即有购买欲的购物行为，或者拿起商品、（查看商品）、放入购物袋的行为，即已购买的购物行为等等。

具体如何精确识别用户的购物行为，通过如下的步骤实现：

S102，基于用户的手部动作图片，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

在该判断用户是否有目标购物行为的过程中，需要经过如下过程：

第一，判断用户手是否接触货架商品。

第二，在确定用户手接触货架商品之后，确定用户手接触的货架商品的名称。

第三，根据该货架商品的名称，判断用户是否将该货架商品放回货架。

具体地，第一个过程中，基于用户的手部动作图像，获得用户手接触货架商品的目标图像。第二个过程中，基于该目标图像，确定货架商品的名称。第三个过程中，根据货架商品的名称，监测用户是否将货架商品放回货架，获得监测结果；基于该监测结果，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

在具体的实施方式中，在第一个过程中，需要考虑用户手中的手机、包包、购物袋和一些类似于货架商品的包装袋和装饰品的误识别情况，以及虽然是货架商品，但是要考虑可能存在的货架商品的上下交错和重叠情况。

在相关技术中，在判断是否是用户手接触的货架商品的过程中，采用通过Openpose /Alphapose等网络模型进行骨骼点的检测，通过找到手的位置，然后在手的附近找到商品，如果存在商品，判断手与该商品之间的距离是否小于阈值D，若小于，则认为是顾客手中拿了该商品，但是，这样存在的问题是，将商品的检测分成两个模型，一方面加重了计算量，另一方面，阈值D的取值偏主观，不够精确。

在本发明中，判断是否是用户手接触的货架商品时，具体通过如下方式判断：

基于用户的手部动作图像和第一识别模型，获得用户手接触货架商品的目标图像，该第一识别模型为通过获取历史N组顾客手接触物品的图像信息，该图像信息包括：标注为顾客手接触货架商品的图像，标注为顾客手接触非货架商品的图像（手接触手机、包包、或者购物袋），N为正整数，采用历史N组顾客手接触物品的图像信息进行机器学习训练所得到的。

具体的，采用大量历史顾客手接触物品的样本数据集进行训练，其中大量历史顾客手接触物品的样本中包括了历史顾客手接触货架商品的图像，也包括了顾客手接触非货架商品的图像，其中，顾客手接触非货架商品可以是手接触包包、手接触手机以及手接触购物袋等等非货架商品的负样本。通过样本中的图像标注，采用该样本进行训练之后得到的第一识别模型，能够准确识别顾客手接触货架商品的目标图像。

在从用户的手部动作图像中得到该用户手接触货架商品的目标图像之后，第二个过程，基于该目标图片，确定货架商品的名称。

在相关技术中，货架商品识别是采用直接分类的方式，但是，由于被接触的商品在不同的光线和角度下，识别准确率较低，而且由于摆放的商品种类有限，无法扩展陈列其他种类商品，局限性较大。

本发明在确定货架商品的名称的过程中，包括：

从目标图像中提取货架商品图像；

将货架商品图片输入特征提取模型中，获得货架商品图片所对应的目标特征向量；

获取智能货架的商品特征库，该商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

基于目标特征向量和商品特征库，确定货架商品的名称。

在具体的实施方式中，在第一个过程中，已经确定用户手接触的是货架商品，因此，在该第二个过程中，只需对用户手接触的货架商品的名称进行确定。当然，还可以是其他标识该商品的标识信息，在此并不作限定。

智能货架的商品特征库中存储有各个货架商品的特征向量。由于目标图像中包括用户的手部图像，以及用户手接触货架商品的货架商品图像，为了对用户手中的货架商品进行有效识别，则从该目标图像中提取货架商品图像。再将该货架商品图像输入该特征提取模型中，从而得到该货架商品图像的目标特征向量。最后，将该目标特征向量与商品特征库中的各货架商品对应的特征向量比较，从而确定该货架商品的名称。

其中，该特征提取模型是通过采用类内以及类间的损失函数将异类商品、同类商品和相似的异类商品的图片进行模型训练，以使得特征提取模型能够准确区分相似商品。

该商品特征库中包括第一特征库和第二特征库，其中，第一特征库是实时特征库，第二特征库是永久特征库。其中，该第一特征库中设置第一阈值，第二特征库中设置第二阈值。

在将货架商品图像的目标特征向量与商品特征库中的各货架商品对应的特征向量比较的过程中，具体是将该目标特征向量的值与第一阈值进行比较，若目标特征向量的值小于第一阈值，则认为该商品有可能属于货架商品，然后进行二级判断，将该目标特征向量的值与第二阈值进行比较，若目标特征向量的值小于第二阈值，则认为是预设商品。

该商品特征库在初始创建时，是由人工挑选各类商品图片，存入商品图像库，由于初期采集的各类商品图片的光照或者角度的实际场景问题可能导致初始特征库相差很大或者采集的图片特征非常相似以至于冗余，这也是为了解决初期存在资源和存储不足的问题。

在本发明中还提供了一种更新商品特征库的方法，具体地，在第二特征库中，对每一类商品所有角度的图进行特征向量的聚类，得到多个特征向量族，每个特征向量族中都包括一个以上特征向量，针对于每个特征向量簇，都属于同一类簇的特征向量是相对比较类似的，不同类族的特征向量相对差异较大，因此，将特征向量族的中心点之外的特征向量和距离中心点预设半径范围之内的特征向量确定为冗余特征向量，将该冗余特征向量从第二特征库中剔除。

通过上述商品特征库的更新方式，可以大幅度减少人为参与的工作量，同时也避免了人眼对图片识别的误差，也降低了存储成本，减少将目标特征向量与第二特征库进行比较的次数，提高比对的效率。

在有新增商品时，将该新增的商品图片进行特征自更新，能够快速扩展商品种类，从而解决货架商品种类限制的问题。

在确定该货架商品的名称之后，进行第三个过程。监测用户是否将货架商品放回货架，获得监测结果；基于监测结果，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

在相关技术中，对购物行为的识别是直接采用目标检测和过线判决的方式，即不停地检测目标对象，然后，判断该位置是否达到边界的阈值，最终判断商品是拿起还是放下的动作。采用这样的方式，会存在判断不准确的情况，顾客有时速度较快，检测就不会精准。

而本发明中无需对界限进行判断，具体地，在根据货架商品的名称，监测用户是否将货架商品放回货架，获得监测结果的过程中，是通过机器学习模型来判断的。

首先，获取用于识别用户将货架商品放回货架的第二识别模型，基于该第二识别模型、用户的手部动作图像以及货架商品的名称，监测用户是否将货架商品放回货架，获得监测结果。

该第二识别模型为通过获取历史M组顾客购买商品的连续帧图像的信息，连续帧图像的信息包括：标注为将货架商品放回货架的连续帧图像以及标注为将货架商品放入购物车的连续帧图像，M为正整数；采用M组顾客购买商品的连续帧图像信息进行机器学习训练所得到的。

然后，采用该第二识别模型对用户的手部动作图像进行识别，能够获得监测用户是否将货架商品放回货架的监测结果。

具体地，将用户的手部动作图像输入该第二识别模型，在输出为用户将货架商品放回货架的连续帧图像时，则确定监测结果为用户将货架商品放回货架；在输出为用户将货架商品放入购物车的连续帧图像时，则确定监测结果为用户未将货架商品放回货架，并确定相应的货架商品的名称。

在对用户的手部动作图像识别的过程中，还可以识别到在用户手接触货架商品到用户将货架商品放回货架之间存在的用户查看货架商品的行为，在此并不详述。

通过将用户购买行为在时间上分为3~4个阶段，包括接触货架商品、查看货架商品、将货架商品放回货架以及将货架商品放入购物袋。用户购买商品行为的连续数据帧中针对每个阶段，不仅仅是前后帧中用户手拿商品的位置，而且还充分的利用了上下文的信息，将每一个视频片段都映射到一个多维的特征空间，基于这些特征数据进行分类，能够准确的检测到购物行为的阶段，从而确定是拿起商品还是放下商品，采用本发明的识别手段，不需要依赖于检测，就能对快速和模糊的购物行为进行准确的识别。

通过采用历史顾客购买商品的连续帧图像进行机器学习训练，从而获得能够对用户的手部动作图像区分用户是将货架商品放回货架还是将货架商品放入购物车。

采用上述的第二识别模型对用户行为的识别，是对连续的图像帧的识别，不会因为中间的某些图像帧的不稳定而造成识别结果的不稳定，同时，也不受顾客购买商品的速度、遮挡等问题的影响；而且，现有采用检测的方式识别用户拿起商品获放下商品的动作，需要明显的划线边界，而对在界限周围徘徊的购物行为，则无法准确识别，本发明中所采用的第二识别模型则不受该中间过程的影响。再者，本发明中采用的是端到端的行为识别，后处理简单方便，无复杂操作。

在获得监测结果之后，根据监测结果，判断用户是否有目标购物行为，包括：

在监测结果为用户将货架商品放回货架的连续帧图像时，确定用户有目标购物行为。

在监测结果为用户未将货架商品放回货架的连续帧图像时，确定用户没有目标购物行为。

根据上述识别的结果，若用户将该货架商品放入购物车，则确定用户已经购买该商品，无需再推荐；若用户将该货架商品放回货架，则确定用户还未购买该货架商品，且对该货架商品具有一定的购买欲。

在本发明中针对用户有目标购物行为的情况，进行第一种推荐。当然，在用户没有目标购物行为的情况，进行第二种推荐。

第一种推荐：

在有该用户的目标购物行为时，通过智能货架为用户推荐第一目标货架商品。

具体地，在用户再次经过具有第一目标货架商品的智能货架时，基于用户的行人特征图像，通过智能货架为用户推荐第一目标货架商品，该第一目标货架商品为基于货架商品的名称所确定的商品。

在一种实施方式下，在用户有目标购物行为时，确定该货架商品的名称，比如，某某牌饼干。从而根据该某某牌饼干，可以确定第一目标货架商品，该第一目标货架商品可以是与某某牌饼干相同名称的饼干，也可以是与某某牌饼干类似的饼干，或者其他零食，在此并不作限定。

在确定具有目标购物行为的用户手拿的货架商品的名称之后，还需要确定具有目标购物行为的用户的行人特征图像，一方面，可以通过智能货架的摄像头获取行人特征图像，另一方面也可以通过在S101中与用户手部动作图像所绑定的用户的行人特征图像获取，在此并不做限定。

在确定了第一目标货架商品，以及待推荐的用户的行人特征图像之后，在用户再次经过具有第一目标货架商品的智能货架时，基于用户的行人特征图像，通过该智能货架为该用户推荐第一目标货架商品，该第一目标货架商品为基于货架商品的名称所确定的商品。

基于用户的行人特征图像，采用形成重识别（Person Re-identification，也称行人再识别，简称为ReID）技术，即利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，通过对用户的穿着、体态、发型等在不确定的场景中再次识别同一个人，当然也可以是通过面部图像再次识别是同一个人。在识别到是上述有该目标行为的用户之后，为该用户推荐该第一目标货架商品。

采用这样的推荐方式，能够准确定位用户的喜好，进而提高商品推荐的准确性，提高购买的转化率。

第二种推荐：

在用户首次经过智能货架时，基于用户的行人特征图像，获得用户的属性特征；基于该用户的属性特征，通过智能货架为用户推荐与用户的属性特征相匹配的第二目标货架商品。

首先，该智能货架中通过收集Q组用户信息，每组用户信息包括用户的性别、年龄、是否有配饰及配饰类型、肤色以及最终购买的货架商品，得到人物画像。然后，采用这些用户信息进行机器学习训练，得到预测每个用户的购物商品的预测模型。

在采用上述的预测模型预测用户可能需要购买的商品的举例如下：

某顾客25岁，男性，不带眼镜，黄皮肤，在检测到该顾客在货架前停留时，通过该预测模型对上述该顾客的信息的分析，得到该顾客的人物画像，根据人物画像，输入该预测模型中，得到该顾客的需求是电子产品和运动品牌，由此，按照该顾客需求来推荐商品。

或者某顾客22岁，女性，带着眼镜，黄皮肤，得到该顾客的人物画像，根据人物画像，将其输入该预测模型中，得到该顾客的需求是化妆品，隐形眼镜、相册、饰品之类。由此，按照该顾客的需求来推荐商品。

通过采用用户的特征来定位用户的需求，进而根据用户需求来推荐商品，提高了货架商品购买的转化率，避免了货架的无效推荐。

本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提供了一种货架商品推荐方法，包括：获取用户的行人特征图像和用户的手部动作图像；基于用户的手部动作图像，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；若是，基于用户的目标购物行为，通过智能货架为该用户推荐第一目标货架商品；若否，基于用户的行人特征图像，通过智能货架为用户推荐第二目标货架商品，一方面是通过准确识别用户的购物行为，为用户推荐商品，另一方面是在识别到用户没有购物行为时，根据用户的行人特征图像为用户推荐商品，无论用户是否有购物行为，都能提高为用户推荐货架商品的准确性。

实施例二

基于相同的发明构思，本发明还提供了一种货架商品推荐装置，如图2所示，包括：

获取模块201，用于用户的行人特征图像和所述用户的动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

判断模块202，用于基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

第一推荐模块203，用于若是，通过智能货架为所述用户推荐第一目标货架商品；

第二推荐模块204，用于若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

在一种实施方式下，所述判断模块202包括：

第一获得单元，用于基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像；

第一确定单元，用于基于所述目标图像，确定所述货架商品的名称；

判断单元，用于监测所述用户是否将所述货架商品放回货架，获得监测结果；基于所述监测结果，判断所述用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

在一种实施方式下，第一获得单元，包括：

第一获取子单元，用于获取用于识别顾客手接触货架商品的图像的第一识别模型，所述第一识别模型为通过获取历史N组顾客手接触物品的图像信息，所述图像信息包括：标注为顾客手接触货架商品的图像和标注为顾客手接触非货架商品的图像，N为正整数，采用所述历史N组顾客手接触物品的图像信息进行机器学习训练所得到的；

第一获得子单元，用于基于所述用户的手部动作图像和所述第一识别模型，获得用户手接触货架商品的目标图像。

在一种实施方式下，确定单元，包括：

提取子模块，用于从所述目标图像中提取货架商品图片；

第二获得子单元，用于将所述货架商品图片输入特征提取模型中，获得所述货架商品图片所对应的目标特征向量；

第二获取子单元，用于获取所述智能货架的商品特征库，所述商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

确定子单元，用于基于所述目标特征向量和所述商品特征库，确定所述货架商品的名称。

在一种实施方式下，判断单元，包括：

第三获取子单元，用于获取用于识别用户将货架商品放回货架的第二识别模型，所述第二识别模型为通过获取历史M组顾客购买商品的连续帧图像的信息，所述连续帧图像的信息包括：标注为将货架商品放回货架的连续帧图像以及标注为将货架商品放入购物车的连续帧图像，M为正整数，采用所述M组顾客购买商品的连续帧图像信息进行机器学习训练所得到的；

监测子单元，用于基于所述第二识别模型、所述用户的手部动作图像以及所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，监测子单元用于：

将所述用户的手部动作图像输入所述第二识别模型，在输出为用户将所述货架商品放回货架的连续帧图像时，则确定监测结果为用户将所述货架商品放回货架；在输出为用户将所述货架商品放入购物车的连续帧图像时，则确定监测结果为用户未将所述货架商品放回货架，并确定相应的货架商品的名称。

在一种实施方式下，第一推荐模块203，包括：

第一推荐单元，用于在用户再次经过具有第一目标货架商品的智能货架时，基于所述用户的行人特征图像，通过智能货架为所述用户推荐所述第一目标货架商品，所述第一目标货架商品为基于所述货架商品的名称所确定的商品。

在一种实施方式下，第二推荐模块204，包括：

第三获得单元，用于在所述用户首次经过智能货架时，基于所述用户的行人特征图像，获得所述用户的属性特征；

第二推荐单元，用于基于所述用户的属性特征，通过智能货架为所述用户推荐与所述用户的属性特征相匹配的第二目标货架商品。

实施例三

基于相同的发明构思，本发明实施例提供了一种计算机设备，如图3所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现上述货架商品推荐方法的步骤。

其中，在图3中，总线架构（用总线300来代表），总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

实施例四

基于相同的发明构思，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述货架商品推荐方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的货架商品推荐装置、计算机设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种货架商品推荐方法，其特征在于，包括：

获取用户的行人特征图像和所述用户的手部动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

若是，通过智能货架为所述用户推荐第一目标货架商品；

若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

2.如权利要求1所述的方法，其特征在于，所述基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为，包括：

基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像；

基于所述目标图像，确定所述货架商品的名称；

根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果；

基于所述监测结果，判断所述用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

3.如权利要求2所述的方法，其特征在于，所述基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像，包括：

获取用于识别顾客手接触货架商品的图像的第一识别模型，所述第一识别模型为通过获取历史N组顾客手接触物品的图像信息，所述图像信息包括：标注为顾客手接触货架商品的图像和标注为顾客手接触非货架商品的图像，N为正整数，采用所述历史N组顾客手接触物品的图像信息进行机器学习训练所得到的；

基于所述用户的手部动作图像和所述第一识别模型，获得用户手接触货架商品的目标图像。

4.如权利要求2所述的方法，其特征在于，所述基于所述目标图像，确定所述货架商品的名称，包括：

从所述目标图像中提取货架商品图片；

将所述货架商品图片输入特征提取模型中，获得所述货架商品图片所对应的目标特征向量；

获取所述智能货架的商品特征库，所述商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

基于所述目标特征向量和所述商品特征库，确定所述货架商品的名称。

5.如权利要求2所述的方法，其特征在于，所述根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

获取用于识别用户将货架商品放回货架的第二识别模型，所述第二识别模型为通过获取历史M组顾客购买商品的连续帧图像的信息，所述连续帧图像的信息包括：标注为将货架商品放回货架的连续帧图像以及标注为将货架商品放入购物车的连续帧图像，M为正整数，采用所述M组顾客购买商品的连续帧图像信息进行机器学习训练所得到的；

基于所述第二识别模型、所述用户的手部动作图像以及所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

将所述用户的手部动作图像输入所述第二识别模型，在输出为用户将所述货架商品放回货架的连续帧图像时，则确定监测结果为用户将所述货架商品放回货架；在输出为用户将所述货架商品放入购物车的连续帧图像时，则确定监测结果为用户未将所述货架商品放回货架，并确定相应的货架商品的名称。

6.如权利要求2所述的方法，其特征在于，所述通过智能货架为所述用户推荐第一目标货架商品，包括：

在所述用户再次经过具有第一目标货架商品的智能货架时，基于所述用户的行人特征图像，通过智能货架为所述用户推荐所述第一目标货架商品，所述第一目标货架商品为基于所述货架商品的名称所确定的商品。

7.如权利要求1所述的方法，其特征在于，所述基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品，包括：

在所述用户首次经过智能货架时，基于所述用户的行人特征图像，获得所述用户的属性特征；

基于所述用户的属性特征，通过智能货架为所述用户推荐与所述用户的属性特征相匹配的第二目标货架商品。

8.一种货架商品推荐装置，应用于智能货架中，其特征在于，包括：

获取模块，用于用户的行人特征图像和所述用户的动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

判断模块，用于基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

第一推荐模块，用于若是，通过智能货架为所述用户推荐第一目标货架商品；

第二推荐模块，用于若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一权利要求所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一权利要求所述的方法步骤。

Images