CN110246280B - 人货绑定方法及装置、计算机设备及可读介质 - Google Patents

Abstract

本发明提供一种人货绑定方法及装置、计算机设备及可读介质。其方法包括：获取货架上的第一人体模块采集到的当前购物用户的购物视频流；从所述购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识；将所述用户标识、所述商品标识进行绑定，实现人货绑定。本发明通过采用上述技术方案，通过对货架上的第一人体模块采集到的当前购物用户的购物视频流分析，便可以进行人货绑定，且匹配时，即使在多人位置相对较近的情况下，也能够基于购物用户的购物视频流准确对人货进行绑定，提高人货绑定的准确性。

Description

人货绑定方法及装置、计算机设备及可读介质

【技术领域】

本发明涉及计算机应用技术领域，尤其涉及一种人货绑定方法及装置、计算机设备及可读介质。

【背景技术】

随着智能科技的发展，涌现出了越来越多的智能化电子设备，能够给用户的生活带来极大的便利性。例如无人购物系统，就是智能零售场景下的一种应运而生的产品，智能无人购物系统的商店内不需要服务员，由用户自行操作实现商品购买，使用非常方便。

现有技术中的无人购物系统，可以包括有负责监控商品的多个商品传感器(sensor)、负责监控用户的人体模块以及结算模块来实现无人购物结算。其中结算模块为了进行正确的结算，需要进行人货绑定，将商品标识与用户标识绑定，便于生成该用户的账单，进行无人购物结算。例如，现有技术中采用的预定的人货绑定策略可以为，根据跟踪用户时所采集的视频画面中用户拿取商品的画面，对画面中的商品进行识别，获取商品标识，并将该商品标识与跟踪的用户标识进行绑定，实现人货绑定。但是，在实际应用中，由于货架的存在，人体和商品往往很难清晰地落在同一画面中，导致人货绑定无法实现。基于此问题，现有技术中还提出了采用一定匹配规则将人和货绑定的人货绑定策略。例如若人体的3d坐标与发生数量变化的商品的坐标足够近的时候，可以认为该用户拿取了该商品，将该人体对应的用户标识与该商品的坐标对应的商品标识绑定，实现人货绑定。

但是，现有的人货绑定方案，按照匹配规则匹配时，不仅要消耗大量的计算资源，而且在多人位置相对较近的情况下，还会存在匹配失败的情况。因此，现有的人货绑定方案，绑定的准确性较低。

【发明内容】

本发明提供了一种人货绑定方法及装置、计算机设备及可读介质，用于提高人货绑定的准确性。

本发明提供一种方法，所述方法包括：

获取货架上的第一人体模块采集到的当前购物用户的购物视频流；

从所述购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；

根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识；

将所述用户标识、所述商品标识进行绑定，实现人货绑定。

本发明提供一种人货绑定装置，所述装置包括：

视频流获取模块，用于获取货架上的第一人体模块采集到的当前购物用户的购物视频流；

提取模块，用于从所述购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；

用户标识获取模块，用于根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识；

绑定模块，用于将所述用户标识、所述商品标识进行绑定，实现人货绑定。

本发明还提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的人货绑定方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的人货绑定方法。

本发明的人货绑定方法及装置、计算机设备及可读介质，通过采用上述技术方案，通过对货架上的第一人体模块采集到的当前购物用户的购物视频流分析，便可以进行人货绑定，且匹配时，即使在多人位置相对较近的情况下，也能够基于购物用户的购物视频流准确对人货进行绑定，提高人货绑定的准确性。另外，本发明的技术方案在具体实现时，通过获取货架上的第一人体模块采集到的当前购物用户的购物视频流，便可以实现人货绑定，不需要消耗大量的计算资源，能够极大地减少硬件及计算复杂度。

【附图说明】

图1为本发明的人货绑定方法实施例一的流程图。

图2为本发明的人货绑定方法实施例二的流程图。

图3为本发明的人货绑定装置实施例一的结构图。

图4为本发明的人货绑定装置实施例二的结构图。

图5为本发明的计算机设备实施例的结构图。

图6为本发明提供的一种计算机设备的示例图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的人货绑定方法实施例一的流程图。如图1所示，本实施例的人货绑定方法，具体可以包括如下步骤：

S100、获取货架上的第一人体模块采集到的当前购物用户的购物视频流；

本实施例的人货绑定方法的执行主体为人货绑定装置，该人货绑定装置用于将用户购物的商品与用户进行绑定。使用时，具体可以设置在无人购物的信息处理系统的进行人货绑定处理的模块如商品传感器或者结算模块中。

本实施例中，人体模块若仅用于采集数据，此时该人体模块可以仅包括人体传感器；若人体模块还包括信息处理的功能，此时该人体模块可以包括人体传感器和人体信息处理单元。用户在购物时，设置在货架上的人体模块如具体为其中的人体传感器可以采集到用户的购物视频流。例如本实施例的人体模块主要对用户的人体进行跟踪，可以实时采集到用户的购物视频流。如可以预先定义，在检测到用户的手在伸向货架后又抽回来的动作时，认为用户在拿取商品。同时，由于用户在购置商品的过程中，只要未结账，用户还有可能是放回商品，修改购物订单。所以，在检测到用户的手在伸向货架后又抽回来的动作时，也可以认为用户在放回商品。第一人体模块中的人体传感器具体为一个摄像头，可以采集到该用户的购物视频流。具体地，在采集到的该购物视频流中，可以包括有当前购物用户的特征图片以及商品的图片等信息。例如，本实施例中，用户在购物时，受摄像头位置的限制，有的购物视频流中采集的是用户的正面，而有的购物视频流中采集的是用户的侧面或者背面，这样，本实施例中，采用用户的人脸进行人货绑定可行性不高。另外，考虑到用户购物时，都是采用手来拿取物品，这样用户的手以及前臂很容易被检测到。本实施例中，可以采用用户的左手、右手或者前臂作为特征来进行人货绑定。本实施例的前臂可以包括前臂佩戴的首饰、前臂部分的衣袖、或者前臂上的纹身图案等等。

S101、从购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；

由于本实施例的购物视频流中包括有当前购物用户的特征以及拿取或者放回的商品的图片信息等，因此，通过对购物视频流进行分析，可以提取到当前购物用户的特征信息、以及拿取或者放回的商品的商品标识。

例如，该步骤S101，具体可以包括如下步骤：

(a1)从购物视频流中提取帧图片；

(b1)采用预先训练的特征提取模型，从帧图片中提取当前购物用户的特征信息；

购物视频流为当前购物用户购物过程的视频流，本实施例中，可以提取购物视频流中每一帧的帧图片。然后可以对各帧帧图片进行分析，筛掉一些未包括用户特征的帧图片。这样留下的每帧的帧图片中可以包括用户的特征如用户的左手、右手或者前臂。可以从中选择一张包括最清晰的用户特征的帧图片来进行用户特征信息的提取。

例如，可以先从选择的帧图片中提取当前购物用户的特征图片，如当前购物用户的左手、右手或者前臂的图片。然后采用特征提取模型从当前购物用户的特征图片中提取当前购物用户的特征信息。

本实施例的特征提取模型，用于从图片中提取图片的特征信息，该特征信息可以为向量形式。该特征提取模型在训练时，可以采集多组训练数据，每一组训练数据中可以包括正例和负例。例如，同一组训练数据中可以包括同一用户的同一特征的至少两张图片，作为正例，同一组训练数据中还可以包括不同用户的同一特征的至少两张图片作为负例。同一组训练数据中正例和负例的比例可以为5:1、3:1、2:1、1:1或者其他大于1的比例。训练时，对于每一组训练数据，将其中的任意两个作为正例的图片分别输入至特征提取模型，特征提取模块可以分别预测并输出这两个图片的特征信息，因为这两个图片作为正例，即对应同一用户的同一特征，因此，这两个图片的特征信息的相似度理论上应该大于第一预设相似度阈值，如80％、90％或者其他值。如果实际上预测两个图片的特征信息，并计算其实际相似度未大于该第一预设相似度阈值，此时可以调整特征提取模型的参数，使得作为正例的两个图片的相似度阈值趋向于大于该第一预设相似度阈值。

同理，还可以分别从每组训练数据中，选择两个作为负例的图片，分别输入至特征提取模型，特征提取模块可以分别预测并输出这两个图片的特征信息，因为这两个图片作为负例，即对应不同用户的同一特征，因此，这两个图片的特征信息的相似度理论上应该小于第二预设相似度阈值，如20％、10％或者其他值。如果实际上预测两个图片的特征信息，并计算其实际相似度未小于该第二预设相似度阈值，此时可以调整特征提取模型的参数，使得作为负例的两个图片的相似度阈值趋向于小于该第二预设相似度阈值。

采用采集的数组训练数据，按照上述方式对特征提取模型不断地进行训练，直到作为正例两个图片的特征信息的相似度始终大于第一预设相似度阈值，且作为负例的两个图片的特征信息的相似度始终小于第二预设相似度阈值；或者训练次数达到预设次数阈值，此时训练结束，可以确定特征提取模型的参数，进而确定特征提取模型。

然后，可以采集该特征提取模型，从用户的特征图片中提取对应的特征信息。

本实施例中，训练时，特征提取模型采用左手图片训练的，特征信息提取时，也仅能提取左手图片对应的特征信息。同理，若特征提取模型采用右手图片训练的，特征信息提取时，也仅能提取右手图片对应的特征信息；若特征提取模型采用左手或者右手的前臂图片训练的，特征信息提取时，也仅能提取对应的左手或者右手的前臂图片的特征信息。

(c1)利用预先建立的商品信息库，识别帧图片中当前购物用户拿取或者放回的商品的商品标识；

本实施例中，可以预先设置有商品信息库，在该商品信息库中可以包括每个商品标识以及对应的商品的图片、以及两者的对应关系，其中商品的图片可以包括一个、两个或者多个。

本实施例中，基于商品信息库中包括的每个商品标识以及对应的商品的图片、以及两者的对应关系，可以根据当前购物用户拿取或者放回的商品的图片，识别对应的当前购物用户购置的商品的商品标识。

例如，可以先从帧图片中提取拿取或者放回的商品的图片；计算拿取或者放回的商品的图片分别与商品信息库中各商品图片的相似度；根据商品信息库中各商品标识与商品图片的对应关系，获取与拿取或者放回的商品的图片相似度最高的商品图片对应的商品标识，作为拿取或者放回的商品的商品标识。

S102、根据当前购物用户的特征信息和预先采集的底库，获取当前购物用户的用户标识；

本实施例中，预先采集的底库中可以包括进入店铺的多个用户的特征信息以及每个用户的用户标识，并按照对应关系存储。这样，根据当前购物用户的特征信息，可以从预先采集的底库中获取当前购物用户的用户标识。

S103、将用户标识以及商品标识进行绑定，实现人货绑定。

经过上述处理，可以获取到购物视频流对应的用户标识以及商品标识，从而可以进一步将用户标识及商品标识进行绑定，便于对该用户的账单进行统计和更新，以便于后续结账。

另外，上述方案可以仅实现用户标识和商品标识的绑定，对于用户仅拿取或者放回一件同一类商品，便可以实现账单的更新，实用性非常强。但是实际应用中，有时候，还需要获取更多信息的绑定，例如，可选地，用户在拿取或者放回商品的过程中，可能会对多个数量的同一类商品同时进行操作。此时还可以包括：根据购物视频流，获取当前购物用户拿取或者放回的商品的数量以及变化方向；将用户标识、商品标识、商品的数量以及变化方向进行绑定；并根据绑定的用户标识、商品标识、商品的数量以及变化方向，更新用户标识对应的用户的账单。

同理，也可以从购物视频流中提取帧图片，然后分词各个帧图片，可以从中获取包含商品的数量，因此通过对帧图片进行分析，可以获取到拿取或者放回的商品的数量。对通过对购物视频流进行分析，可以获取到用户是拿取商品还是放回商品，进而可以确定商品的变化方向。

具体地，该变化方向可以根据实际需求来定义，如用户拿取商品时，可以认为变化方向为用户购置商品增加的方向；如用户放回商品时，可以认为变化方向为用户购置商品减少的方向。

此时，可以将用户标识、商品标识、商品的数量以及变化方向进行绑定，这样可以清晰得知，用户标识对应的用户拿取或者放回了商品标识对应的商品数量，进而可以根据绑定的用户标识、商品标识、商品的数量以及变化方向的关系，更新用户标识对应的用户的账单，以便于后续结账。

本实施例的人货绑定方法，通过采用上述技术方案，通过对货架上的第一人体模块采集到的当前购物用户的购物视频流分析，便可以进行人货绑定，且匹配时，即使在多人位置相对较近的情况下，也能够基于购物用户的购物视频流准确对人货进行绑定，提高人货绑定的准确性。另外，本实施例的技术方案在具体实现时，通过获取货架上的第一人体模块采集到的当前购物用户的购物视频流，便可以实现人货绑定，不需要消耗大量的计算资源，能够极大地减少硬件及计算复杂度。

图2为本发明的人货绑定方法实施例二的流程图。如图2所示，本实施例的人货绑定方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的人货绑定方法，具体可以包括如下步骤：

S200、获取每一个用户进入店铺时，店铺门口的第二人体模块采集的用户的特征图片以及为用户分配的用户标识；

为了对每一个用户进行跟踪，本实施例中店铺门口的第二人体模块在每一个用户进入店铺时，都采集该用户的特征图片，并为该用户分配用户标识，用于唯一标识该用户。本实施例的特征图片可以为用户的左手、右手或者前臂的图片。其中前臂图片也可以为左前臂或者右前臂的图片。同理，本实施例的第二人体模块也可以具体包括人体传感器和信息处理单元，如可以由人体传感器采集用户的特征图片，而可以由信息处理单元为用户分配用户标识。

S201、采用预先训练的特征提取模型，从各用户的特征图片中提取对应的用户的特征信息；

参考上述图1所示实施例中的步骤(b1)的记载，可以从各用户的特征图片中提取对应的用户的特征信息。

S202、建立各用户的特征信息与对应的用户标识的对应关系，并存储在底库中；

上述步骤S200-S203为底库创建的流程，该底库创建可以在步骤S203之前的任意时刻创建，并存储即可。

S203、某个用户购物时，获取货架上的第一人体模块采集的购物视频流；

S204、根据购物视频流，获取当前购物用户的特征信息以及拿取或者放回的商品的商品标识；

例如，本实施例中，可以先从购物视频流中提取包括当前购物用户的特征图片、购置的商品信息的图片。其中当前购物用户的特征图片可以为包括该用户的拿取商品的左手、右手、或者前臂信息的图片。然后对提取的图片进行分析，

S205、计算当前购物用户的特征信息分别与底库中的每一个用户的特征信息的相似度；

参考上述图1所示实施例的记载，本实施例的特征信息可以为一个特征向量。这样，当前购物用户的特征信息分别与底库中的每一个用户的特征信息的相似度可以采用向量相似度的计算方式来计算。

S206、从底库中获取与当前购物用户的特征信息的相似度最大的用户的特征信息，作为与当前购物用户匹配的特征信息；

S207、从底库中的各用户的特征信息与对应的用户标识的对应关系中，获取与当前购物用户匹配的特征信息对应的用户标识，作为当前购物用户的用户标识；

步骤S205-步骤S207位上述图1所示实施例的步骤S102的一种实现方式。

实际应用中，底库中也可以存储进入店铺的多个用户的特征图片以及每个用户的用户标识，并按照对应关系存储。

此时步骤S102具体可以为：计算当前购物用户的特征图片分别与底库中的每一个用户的特征图片的相似度，具体计算方式参考两个图片相似度的计算方式。然后从底库中获取与当前购物用户的特征图片的相似度最大的用户的特征图片，作为与当前购物用户匹配的特征图片；最后从底库中的各用户的特征图片与对应的用户标识的对应关系中，获取与当前购物用户匹配的特征图片对应的用户标识，作为当前购物用户的用户标识。但是，该种实现方式中，图片角度上各个用户的特征区别并不明显，而没有上述步骤S205-S207的实现方式更为精准。

S208、将用户标识以及商品标识进行绑定，实现人货绑定。

同理，本实施例中，也可以采用上述实施例的方式实现用户标识、商品标识、商品的数量以及变化方向的绑定，以便于更新用户标识对应的用户的账单。

本实施例的人货绑定方法，通过采用上述技术方案，通过对货架上的第一人体模块采集到的当前购物用户的购物视频流分析，便可以进行人货绑定，且匹配时，即使在多人位置相对较近的情况下，也能够基于购物用户的购物视频流准确对人货进行绑定，提高人货绑定的准确性。另外，本实施例的技术方案在具体实现时，通过获取货架上的第一人体模块采集到的当前购物用户的购物视频流，便可以实现人货绑定，能够极大地减少硬件及计算复杂度。

图3为本发明的人货绑定装置实施例一的结构图。如图3所示，本实施例的人货绑定装置，具体可以包括：

视频流获取模块10用于获取货架上的第一人体模块采集到的当前购物用户的购物视频流；

提取模块11用于从视频流获取模块10获取的购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；

用户标识获取模块12用于根据提取模块11提取的当前购物用户的特征信息和预先采集的底库，获取当前购物用户的用户标识；

绑定模块13用于将用户标识获取模块12获取的用户标识、提取模块11提取的商品标识进行绑定，实现人货绑定。

本实施例的人货绑定装置，通过采用上述模块实现人货绑定的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图4为本发明的人货绑定装置实施例二的结构图。如图4所示，本实施例的人货绑定装置，在上述图3所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。

本实施例的人货绑定装置中，提取模块11，具体用于：

从视频流获取模块10获取的购物视频流中提取帧图片；

采用预先训练的特征提取模型，从帧图片中提取当前购物用户的特征信息；

利用预先建立的商品信息库，识别帧图片中当前购物用户拿取或者放回的商品的商品标识。

进一步可选地，本实施例的人货绑定装置中，提取模块11具体用于：

从帧图片中提取当前购物用户的特征图片；

采用特征提取模型从当前购物用户的特征图片中提取当前购物用户的特征信息。

进一步可选地，本实施例的人货绑定装置中，提取模块11具体用于：

从帧图片中提取拿取或者放回的商品的图片；

计算拿取或者放回的商品的图片分别与商品信息库中各商品图片的相似度；

根据商品信息库中各商品标识与商品图片的对应关系，获取与拿取或者放回的商品的图片的相似度最高的商品图片对应的商品标识。

进一步可选地，如图4所示，本实施例的人货绑定装置中，还包括特征信息获取模块14和建立模块15：

特征信息获取模块14用于获取每一个用户进入店铺时，店铺门口的第二人体模块采集的用户的特征图片以及为用户分配的用户标识；

提取模块11还用于采用特征提取模型，从特征信息获取模块14获取的各用户的特征图片中提取对应的用户的特征信息；

建立模块15用于建立提取模块11提取的各用户的特征信息与特征信息获取模块14获取的对应的用户标识的对应关系，并存储在底库中。

进一步可选地，本实施例的人货绑定装置中，用户标识获取模块12具体用于：

计算当前购物用户的特征信息分别与底库中的每一个用户的特征信息的相似度；

从底库中获取与当前购物用户的特征信息的相似度最大的用户的特征信息，作为与当前购物用户匹配的特征信息；

从底库中的各用户的特征信息与对应的用户标识的对应关系中，获取与当前购物用户匹配的特征信息对应的用户标识，作为当前购物用户的用户标识。

进一步可选地，本实施例的人货绑定装置中，用户的特征图片包括用户的左手、右手和/或前臂的图片。

进一步可选地，如图4所示，本实施例的人货绑定装置中，还包括更新模块16；

特征信息获取模块14还用于根据购物视频流，获取当前购物用户拿取或者放回的商品的数量以及变化方向；

绑定模块13还用于将用户标识、商品标识、特征信息获取模块14获取的商品的数量以及变化方向进行绑定；

更新模块16用于根据绑定模块13绑定的用户标识、商品标识、商品的数量以及变化方向，更新用户标识对应的用户的账单。

本实施例的人货绑定装置，通过采用上述模块实现人货绑定的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图5为本发明的计算机设备实施例的结构图。如图5所示，本实施例的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上图1-图2所示实施例的人货绑定方法。图5所示实施例中以包括多个处理器30为例。

例如，图6为本发明提供的一种计算机设备的示例图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图6显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。

总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图4各实施例的功能。

具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图4各实施例中的功能和/或方法。

计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的人货绑定方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的人货绑定方法。

本实施例的计算机可读介质可以包括上述图6所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。

本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种人货绑定方法，其特征在于，所述方法包括：

在检测到用户的手伸向货架又抽回来的动作的情况下，获取设置在所述货架上的第一人体模块采集到的当前购物用户的购物视频流；

从所述购物视频流中提取当前购物用户的包括手或前臂的特征信息、以及拿取或者放回的商品的商品标识，所述包括手或前臂的特征信息用于实现人货绑定；

根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识，所述预先采集的底库中包括进入店铺的用户的特征信息以及用户标识，并按照对应关系存储，所述用户的特征信息包括所述用户的手和/或前臂的特征信息；

将所述用户标识、所述商品标识进行绑定，实现人货绑定。

2.根据权利要求1所述的方法，其特征在于，从所述购物视频流中提取当前购物用户的特征信息、以及拿取或者放回的商品的商品标识；包括：

从所述购物视频流中提取帧图片；

采用预先训练的特征提取模型，从所述帧图片中提取所述当前购物用户的特征信息；

利用预先建立的商品信息库，识别所述帧图片中所述当前购物用户拿取或者放回的商品的所述商品标识。

3.根据权利要求2所述的方法，其特征在于，采用预先训练的特征提取模型，从所述帧图片中提取所述当前购物用户的特征信息，包括：

从所述帧图片中提取所述当前购物用户的特征图片；

采用特征提取模型从所述当前购物用户的特征图片中提取所述当前购物用户的特征信息。

4.根据权利要求2所述的方法，其特征在于，利用预先建立的商品信息库，识别所述帧图片中所述当前购物用户拿取或者放回的商品的所述商品标识，包括：

从所述帧图片中提取拿取或者放回的商品的图片；

计算所述拿取或者放回的商品的图片分别与所述商品信息库中各商品图片的相似度；

根据所述商品信息库中各商品标识与商品图片的对应关系，获取与所述拿取或者放回的商品的图片的相似度最高的商品图片对应的所述商品标识。

5.根据权利要求2所述的方法，其特征在于，根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识之前，所述方法还包括：

获取每一个所述用户进入店铺时，所述店铺门口的第二人体模块采集的所述用户的特征图片以及为所述用户分配的所述用户标识；

采用所述特征提取模型，从各所述用户的特征图片中提取对应的所述用户的特征信息；

建立各所述用户的特征信息与对应的所述用户标识的对应关系，并存储在所述底库中。

6.根据权利要求5所述的方法，其特征在于，根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识，包括：

计算所述当前购物用户的特征信息分别与所述底库中的每一个所述用户的特征信息的相似度；

从所述底库中获取与所述当前购物用户的特征信息的相似度最大的所述用户的特征信息，作为与所述当前购物用户匹配的特征信息；

从所述底库中的各所述用户的特征信息与对应的所述用户标识的对应关系中，获取与所述当前购物用户匹配的特征信息对应的所述用户标识，作为所述当前购物用户的用户标识。

7.根据权利要求5或者6所述的方法，其特征在于，所述用户的特征图片包括所述用户的左手、右手和/或前臂的图片。

8.根据权利要求1-6任一所述的方法，其特征在于，将所述用户标识、所述商品标识进行绑定，实现人货绑定之后，所述方法还包括：

根据所述购物视频流，获取所述当前购物用户拿取或者放回的商品的数量以及变化方向；

将所述用户标识、所述商品标识、所述商品的数量以及所述变化方向进行绑定；

并根据绑定的所述用户标识、所述商品标识、所述商品的数量以及所述变化方向，更新所述用户标识对应的用户的账单。

9.一种人货绑定装置，其特征在于，所述装置包括：

视频流获取模块，用于在检测到用户的手伸向货架又抽回来的动作的情况下，获取设置在所述货架上的第一人体模块采集到的当前购物用户的购物视频流；

提取模块，用于从所述购物视频流中提取当前购物用户的包括手或前臂的特征信息、以及拿取或者放回的商品的商品标识，所述包括手或前臂的特征信息用于实现人货绑定；

用户标识获取模块，用于根据所述当前购物用户的特征信息和预先采集的底库，获取所述当前购物用户的用户标识，所述预先采集的底库中包括进入店铺的用户的特征信息以及用户标识，并按照对应关系存储，所述用户的特征信息包括所述用户的手和/或前臂的特征信息；

绑定模块，用于将所述用户标识、所述商品标识进行绑定，实现人货绑定。

10.根据权利要求9所述的装置，其特征在于，所述提取模块，用于：

从所述购物视频流中提取帧图片；

采用预先训练的特征提取模型，从所述帧图片中提取所述当前购物用户的特征信息；

利用预先建立的商品信息库，识别所述帧图片中所述当前购物用户拿取或者放回的商品的所述商品标识。

11.根据权利要求10所述的装置，其特征在于，所述提取模块，具体用于：

从所述帧图片中提取所述当前购物用户的特征图片；

采用特征提取模型从所述当前购物用户的特征图片中提取所述当前购物用户的特征信息。

12.根据权利要求10所述的装置，其特征在于，所述提取模块，具体用于：

从所述帧图片中提取拿取或者放回的商品的图片；

计算所述拿取或者放回的商品的图片分别与所述商品信息库中各商品图片的相似度；

根据所述商品信息库中各商品标识与商品图片的对应关系，获取与所述拿取或者放回的商品的图片的相似度最高的商品图片对应的所述商品标识。

13.根据权利要求10所述的装置，其特征在于，所述装置还包括特征信息获取模块和建立模块：

所述特征信息获取模块，用于获取每一个所述用户进入店铺时，所述店铺门口的第二人体模块采集的所述用户的特征图片以及为所述用户分配的所述用户标识；

所述提取模块，还用于采用所述特征提取模型，从各所述用户的特征图片中提取对应的所述用户的特征信息；

所述建立模块，用于建立各所述用户的特征信息与对应的所述用户标识的对应关系，并存储在所述底库中。

14.根据权利要求13所述的装置，其特征在于，所述用户标识获取模块，具体用于：

计算所述当前购物用户的特征信息分别与所述底库中的每一个所述用户的特征信息的相似度；

从所述底库中获取与所述当前购物用户的特征信息的相似度最大的所述用户的特征信息，作为与所述当前购物用户匹配的特征信息；

从所述底库中的各所述用户的特征信息与对应的所述用户标识的对应关系中，获取与所述当前购物用户匹配的特征信息对应的所述用户标识，作为所述当前购物用户的用户标识。

15.根据权利要求13或者14所述的装置，其特征在于，所述用户的特征图片包括所述用户的左手、右手和/或前臂的图片。

16.根据权利要求13或者14所述的装置，其特征在于，所述装置还包括更新模块；

所述特征信息获取模块，还用于根据所述购物视频流，获取所述当前购物用户拿取或者放回的商品的数量以及变化方向；

所述绑定模块，还用于将所述用户标识、所述商品标识、所述商品的数量以及所述变化方向进行绑定；

所述更新模块，用于根据绑定的所述用户标识、所述商品标识、所述商品的数量以及所述变化方向，更新所述用户标识对应的用户的账单。

17.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

18.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images