CN108710845A - 目标对象与物品的关联方法、装置及系统 - Google Patents

Abstract

本发明提供了一种目标对象与物品的关联方法、装置及系统，涉及智能监测技术领域，该方法应用于处理设备，该处理设备与安装于置物架上的深度传感器相连；该置物架上的每种物品均位于深度传感器的感测空间内；该方法包括：通过深度传感器确定目标对象的位置信息；根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。本发明能够广泛应用于多种类型的置物架，适用于多种监控场合。

Description

目标对象与物品的关联方法、装置及系统

技术领域

本发明涉及智能监测技术领域，尤其是涉及一种目标对象与物品的关联方法、装置及系统。

背景技术

置物架广泛应用于各行各业，诸如商场中采用的货架、可存放饮品的立式冷风柜、可存放冻品的玻璃展示冰箱、以及图书馆或书店里采用的书架、仓库中采用的储物货架等，均属于置物架。

在置物架的应用过程中，经常会涉及到人从置物架上拿取物品的场景，不同的应用场所可能出于不同目的，都希望了解目标对象(诸如消费者、工作人员等)接触过置物架上的何种物品。诸如，在智能零售场所中，售卖方希望了解消费者在选购过程中都接触过货架上的哪些商品，在仓储场所中，管理者希望了解工作人员从储物货架上拿取了何种货物，或者希望了解仓储机器人从储物货架上拿取的货物是否正确等。现有技术中主要采用AI视觉方式进行监测，这种方式成本过高，难以广泛应用；而现有技术中部分采用传感器与每类商品对应设置的方式来单独监测每种商品；由于每种商品都需要对应一个或多个传感器，导致传感器数量较多，布线复杂，诸如玻璃展示冰箱、冷风柜或物品排布密集的书架等置物架都难以适用此种方式。

发明内容

有鉴于此，本发明的目的在于提供一种目标对象与物品的关联方法、装置及系统，能够广泛应用于多种类型的置物架，适用于多种监控场合。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种目标对象与物品的关联方法，所述方法应用于处理设备，所述处理设备与安装于置物架上的深度传感器相连；所述置物架上的每种物品均位于所述深度传感器的感测空间内；所述方法包括：通过深度传感器确定目标对象的位置信息；根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品。

进一步，所述通过深度传感器确定目标对象的位置信息的步骤，包括：通过深度传感器感测目标对象，得到所述目标对象的深度信息；其中，所述深度信息包括所述目标对象的多个被感测点对应的距离信息；根据所述目标对象的深度信息确定所述目标对象的位置信息；其中，所述位置信息包括目标对象的多个所述被感测点在预设坐标系下的坐标。

进一步，所述通过深度传感器确定目标对象的位置信息的步骤，包括：通过深度传感器感测目标对象，得到所述目标对象的深度信息；其中，所述深度信息包括所述目标对象的多个被感测点对应的距离信息；根据所述目标对象的深度信息确定所述目标对象的位置信息；其中，所述位置信息包括目标对象的多个所述被感测点在预设坐标系下的坐标。

进一步，所述根据所述目标对象的深度信息确定所述目标对象的位置信息的步骤，包括：获取所述深度传感器在所述预设坐标系下的位置坐标；根据所述深度传感器的位置坐标以及所述目标对象的多个被感测点对应的距离信息，确定所述目标对象的多个所述被感测点在所述预设坐标系下的坐标。

进一步，所述物品的位置信息包括所述物品在所述预设坐标系下的坐标信息；所述根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品的步骤，包括：根据所述目标对象的多个所述被感测点在预设坐标系下的坐标信息，以及预先存储的每种所述物品在所述预设坐标系下的坐标信息，确定目标物品；其中，所述目标物品的坐标信息与所述目标对象的坐标信息至少有部分坐标重合；将所述目标物品确定为与所述目标对象关联的物品。

进一步，所述将所述目标物品确定为与所述目标对象关联的物品的步骤，包括：基于所述目标对象的深度信息确定所述目标对象的动作信息；根据所述动作信息，判断所述目标对象是否拿取所述目标物品；如果是，将所述目标物品确定为与所述目标对象关联的物品。

进一步，所述基于所述目标对象的深度信息确定所述目标对象的动作信息的步骤，包括：基于所述目标对象在预设第一时间区间内的深度信息，确定所述目标对象的手势变化信息；根据所述目标对象的手势变化信息，确定所述目标对象的动作信息；其中，所述动作信息包括拿取物品，或，归置物品。

进一步，所述将所述目标物品确定为与所述目标对象关联的物品的步骤，包括：通过所述深度传感器确定所述目标物品在预设第二时间区间内的位置变化信息；根据所述位置变化信息，判断所述目标对象是否拿取所述目标物品；如果是，将所述目标物品确定为与所述目标对象关联的物品。

进一步，所述方法还包括：获取所述目标对象的对象信息以及与所述目标对象关联的物品的物品信息；关联所述对象信息和所述物品信息，并生成关联清单。

进一步，所述方法还包括：将所述关联清单发送给服务器，以使所述服务器基于所述关联清单分析所述目标对象的行为；其中，所述服务器与所述处理设备通信连接。

进一步，所述深度传感器为多像素深度传感器，且所述深度传感器的数量为一个或多个。

第二方面，本发明实施例还提供一种目标对象与物品的关联装置，所述装置设置于处理设备侧，所述处理设备与安装于置物架上的深度传感器相连；所述置物架上的每种物品均位于所述深度传感器的感测空间内；所述装置包括：位置确定模块，用于通过深度传感器确定目标对象的位置信息；关联确定模块，用于根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品。

第三方面，本发明实施例提供了一种目标对象与物品的关联系统，所述系统包括：深度传感器和处理设备；所述深度传感器用于感测目标对象和物品；所述处理设备上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如前述第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如前述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种目标对象与物品的关联方法、装置及系统，处理设备与安装于置物架上的深度传感器相连，且置物架上的每种物品均位于所述深度传感器的感测空间。处理设备可通过深度传感器确定目标对象的位置信息，进而可根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。这种方式利用深度传感器便可确定目标对象接触过的物品，由于深度传感器能够对感测空间内的各个物品进行统一监测，无需成本较高的AI视觉机器，也无需为每种物品都布设一个或多个距离传感器，因而能够广泛应用于多种类型的置物架，适用于多种监控场合。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明实施例的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子系统的结构示意图；

图2示出了本发明实施例所提供的一种置物架的结构示意图；

图3示出了本发明实施例所提供的一种深度传感器在置物架上的安装正视图；

图4示出了本发明实施例所提供的一种深度传感器在置物架上的安装侧视图；

图5示出了本发明实施例所提供的一种目标对象与物品的关联方法流程图；

图6示出了本发明实施例所提供的一种目标对象与物品的关联装置的结构框图。

图标：

10-置物架；20-深度传感器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在监测目标对象接触置物架上的何种物品时，无论采用AI视觉方式，还是为每种物品单独布设传感器的方式，均难以广泛应用于不同类型的置物架；为改善此问题，本发明实施例提供的一种目标对象与物品的关联方法、装置及系统，该技术可采用相应的软件和硬件实现，可应用于多种监控场合，诸如应用于各购物场所的智能零售场景、智能图书馆、智能仓储/物流行业等，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的目标对象与物品的关联方法、装置及系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及深度传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述深度传感器110可以为结构光传感器、面阵式传感器或多线数激光雷达等具有至少一个视场角，能够对一个立体空间进行感测的传感器，并且可将探测所得的深度信息发送给处理设备102，或者存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的目标对象与物品的关联方法、装置及系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将多个距离传感器分离设置于货架的各个位置。

为便于理解，以下对本实施例的电子系统的应用示例作进一步介绍。该电子系统可以安装设置于超市、图书馆、仓库等布设有置物架的场所；其中，深度传感器可以设置于置物架上，深度传感器的感测空间可因深度传感器的安装位置不同而有差异，其中，深度传感器的感测空间也可以采用深度传感器的视场角表征。置物架上的每种物品均位于深度传感器的视场角之内，设置有上述电子系统的置物架可以称之为智能置物架，并可灵活应用于各个场合。

实施例二：

本实施例提供了一种目标对象与物品的关联方法，为便于理解，本实施例首先对该方法的应用场景示例如下：

该方法由处理设备执行，该处理设备与安装在置物架上的深度传感器相连，通过接收到深度传感器的感测信息，可以确定目标对象接触过的置物架上的物品，从而为目标对象与接触过的物品建立关联。

本实施例中的处理设备可以为网关，也可以是具有数据处理能力的其它设备，诸如电脑等智能终端等。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。

本实施例中的置物架可以为货架、书柜、冰箱、冷风柜等任何能够放置物品的设备，本实施例对置物架的结构和实际用途并不限定。本实施例中的物品又可称为SKU(StockKeeping Unit，库存量单位)，是一种单品。对于物品而言，当其品牌、型号、配置、等级、花色、包装容量、单位、用途等属性中任一属性与其他物品存在不同时，都可称为一种单品。置物架的形式不做限定，为便于理解，以设置有搁板的置物架为例，可参见图2所示的一种置物架的结构示意图，示意出置物架10和安装于置物架上的深度传感器20；还简单示意出置物架共有4层搁板，每层搁板都放置有5种物品，诸如，第一层搁板放置有SKU1-1～SKU1-5；第二层搁板放置有SKU2-1～SKU2-5，依次类推，直至SKU4-5。从图2中可以看出，每种物品都在搁板上分离放置，每种物品的数量可能有多个，多个同种物品放置在一起。应当注意的是，以上仅为置物架的一种示例，在实际应用中，置物架还可以设置有多个隔栏，或者置物架以挂钩形式钩挂物品、以多个置物筐的形式容纳物品；本发明实施例并不限制置物架的结构，也不限制置物架上的物品摆放形式。

本实施例中的深度传感器包括但不限于诸如结构光深度传感器、面阵式激光雷达或高线数机械扫描式激光雷达。深度传感器具体可以为多像素深度距离传感器，其上可以设置有百万数量级的像元(也即，感光元件)，可以对立体空间(以下称为感测空间)进行多点式感测，从而实现对出现在感测空间内的目标对象进行三维测距的效果，并得到目标对象的深度信息。以目标对象是人为例，该深度信息可以包括人身上的多个被感测点对应的距离数据。由于像元数量众多，往往人身上的被感测点的数量也相应众多，密集程度较高，又可称之为点云。以人的手部为例，手部上的众多被感测点组成的点云所对应的距离数据还可用于将人手的大小、姿势进行三维立体还原。

可以理解的是，深度传感器的感测空间与深度传感器的安装位置有关，深度传感器的安装位置不同，对应的感测空间也不同。在实际应用中，可以采用两个方向的视场角(FOV)表征该感测空间，视场角的大小通常决定了深度传感器的视野范围。在将深度传感器应用于置物架上时，需要根据实际情况设定深度传感器的安装位置，在该安装位置下，深度传感器的一个方向的视场角能够覆盖整个置物架的正表面，使得置物架上的每种物品都位于深度传感器的感测空间内。

为便于理解，可参见图3所示的一种深度传感器在置物架上的安装正视图，以及图4所示的一种深度传感器在置物架上的安装侧视图，均示意出置物架10，以及设置于置物架顶端的深度传感器20。

具体的，图3示意出了深度传感器的一个视场角FOV1，该视场角与置物架正面平行，在实际应用中，该FOV1可以为90度左右，以覆盖整个置物架的正表面；图4示意出了深度传感器的另一个视场角FOV2，在实际应用中，该FOV2可以为20度以上，例如，FOV2可以为30度，以覆盖整个置物架的前方空间，综上，深度传感器能够在一个FOV1和FOV2构成的感测空间内对置物架进行监测，置物架上的每种物品都位于该深度传感器的感测空间内。在本实施例中，深度传感器能够监测位于其感测空间内的物品是否被目标对象触碰，如被触碰，则会生成目标对象对应的深度信息。

如图3和图4所示，在实际应用中，深度传感器的数量可以仅为一个，当然也可以根据实际需求而灵活增加安装于置物架上的深度传感器的数量，深度传感器可以安装于置物架的顶端，当然，也可以安装于置物架的底部或者置物架侧边等置物架的周边部位，具体可以根据置物架的结构而灵活设定。

基于上述介绍，参见图5所示的一种目标对象与物品的关联方法流程图，该方法以从处理设备侧描述为例进行说明，其中，该处理设备与安装于置物架上的深度传感器相连，置物架上的每种物品均位于深度传感器的感测空间内，具体包括以下步骤：

步骤S502，通过深度传感器确定目标对象的位置信息。其中，目标对象可以为人，也可以为被监测的工作机器人等。具体的，如果是购物场合，该目标对象可以为消费者，如果是仓储库存场合，该目标对象可以为工作人员或者机器人等，如果是图书馆场合，该目标对象可以为图书阅览者；不同场合下的目标对象的身份不同。其中，目标对象的位置信息至少包括目标对象接触物品时的接触部位的位置信息，以目标对象是消费者为例，该目标对象的位置信息可以为消费者接触置物架上的物品的手部位置信息。当然，目标对象的位置信息还可以包括目标对象的其它身体部位的位置信息，诸如目标对象的手臂位置信息等，或者该目标对象的位置信息还可以包括目标对象相对于地面而言的站立位置信息。在一种实施方式中，目标对象的位置信息具体可以采用多个坐标点表征。为便于理解，以下均以置物架为购物场所的货架，目标对象是消费者为例进行说明。

在具体实施时，可以参照以下步骤执行：

(1)通过深度传感器感测目标对象，得到目标对象的深度信息；其中，深度信息包括目标对象的多个被感测点对应的距离信息。

可以理解的是，深度传感器能够在感测区域内对目标对象进行探测，产生相应的深度信息，并将深度信息发送至处理设备。具体的，深度传感器的每个像元都可向外发射探测信号，并基于与该探测信号对应的反射信号输出相应的距离信息，处理设备通过对深度传感器的深度信息(所有像元输出的距离信息)进行分析，诸如采用对深度传感器在不同时刻的深度信息进行对比的方式，从中提取目标对象的深度信息。具体实施时，可以首先基于所有像元输出的距离信息，确定感测到目标对象的多个像元，由于感测到目标对象的每个像元都对应目标对象上的一个被感测点，因而可基于感测到目标对象的多个像元输出的距离信息，相应确定目标对象的多个被感测点对应的距离信息，也即确定目标对象的深度信息。

(2)根据目标对象的深度信息确定目标对象的位置信息；其中，位置信息包括目标对象的多个被感测点在预设坐标系下的坐标信息。具体实施时，可以首先获取深度传感器在预设坐标系下的坐标信息；然后根据深度传感器的坐标信息以及目标对象的多个被感测点对应的距离信息，确定目标对象的多个被感测点在预设坐标系下的坐标信息。

上述预设坐标系可以为空间立体坐标系，由于深度传感器在置物架上的安装位置已知，因而深度传感器在预设坐标系下的坐标信息也是已知的；该深度传感器的坐标信息可以包括深度传感器的多个坐标点的集合，具体还可以包括深度传感器的多个像元坐标。消费者在伸手触碰、拿取或归置货架上的商品时，手上的多个被感测点都会触发深度传感器的多个像元生成相应的距离信息。可以理解的是，人的手部具有多个点，不同点在空间中的位置坐标不同，根据预先已知的深度传感器的位置坐标以及消费者的手的多个被感测点对应的距离信息，即可推知消费者的手的多个被感测点在预设坐标系下的坐标。

步骤S504，根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。与目标对象关联的物品也即被目标对象触碰的物品。

在一种实施方式中，物品的位置信息可以包括物品在预设坐标系下的坐标信息；由于物品是具有长宽高的立体结构，该物品的坐标信息可以包括物品对应的多个坐标点的集合。基于此，步骤S504可参照如下步骤执行：

(1)根据目标对象的多个被感测点在预设坐标系下的坐标，以及预先存储的每种物品在预设坐标系下的坐标信息，确定目标物品；其中，目标物品的坐标信息与目标对象的坐标信息至少有部分坐标重合。

(2)将目标物品确定为与目标对象关联的物品。如果物品的坐标信息与目标对象的坐标信息有部分坐标重合，说明该物品为目标对象所接触的物品，因而可认为该物品与目标对象具有关联。

本发明实施例提供的上述目标对象与物品的关联方法，处理设备与安装于置物架上的深度传感器相连，且置物架上的每种物品均位于所述深度传感器的感测空间。处理设备可通过深度传感器确定目标对象的位置信息，进而可根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。这种方式利用深度传感器便可确定目标对象接触过的物品，由于深度传感器能够对感测空间内的各个物品进行统一监测，无需成本较高的AI视觉机器，也无需为每种物品都布设一个或多个传感器，因而能够广泛应用于多类型的置物架，适用于多种监控场合。

在确定了被目标对象接触的目标物品后，可以参照如下方式将目标物品确定为与目标对象关联的物品：

方式一，直接将被目标对象接触的目标物品确定为与目标对象关联的物品。在此方式中，将目标对象所接触的物品都认为是与该目标对象相关联的物品。以目标对象时消费者A，目标物品为商品X为例，只要监测到消费者A触碰了商品X，无论消费者A是否拿取该商品X，都可认为消费者A对商品X感兴趣，因而确定消费者A与商品X有关联。

方式二：将被目标对象拿取的目标物品确定为与目标对象关联的物品。在此方式中，在确定目标对象接触目标物品后，需要进一步判断目标物品是否被目标对象从置物架上拿走，诸如，只有确定消费者A拿取了商品X，才认为消费者A与商品X有关联。如果消费者A仅触碰了商品X，或者在拿起商品X后又将商品X放回置物架，则认为消费者A与商品X无关。方式二在具体执行时，可以参照如下步骤：

步骤1，基于目标对象的深度信息确定目标对象的动作信息。

具体实施时，可以基于目标对象在预设第一时间区间内的深度信息，确定目标对象的手势变化信息；然后根据目标对象的手势变化信息，确定目标对象的动作信息；其中，动作信息包括拿取物品，或，归置物品。可以理解的是，由于深度传感器能够感测目标对象在不同时间对应的深度信息，当目标对象拿取商品、接触商品或者归置商品时，手势通常不同；通过感测目标对象在预设第一时间区间内(诸如，1分钟之内)的深度信息，即可确定该目标对象的手势变化情况，从而确定目标对象的动作。诸如，拿取物品时，首先需要空手探取物品，然后手指弯曲握持物品；或者两指夹拿物品；而归置物品的手势变化情况与拿取物品的手势变化情况相反。具体的，可以根据手势变化情况判断目标对象是拿取物品还是归置物品。

步骤2，根据动作信息，判断目标对象是否拿取目标物品。

如果动作信息是拿取物品，则确定目标对象拿取目标物品；如果动作信息是归置物品，则确定目标对象最终未拿取目标物品。

步骤3，如果是，将目标物品确定为与目标对象关联的物品。

上述方式二主要是利用深度传感器识别人的手势动作，进而根据人的手势动作判断目标对象是否拿取目标物品，并将确定被目标对象拿取的目标物品作为与该目标对象关联的物品。

方式三：将被目标对象拿取的目标物品确定为与目标对象关联的物品。方式二与方式三的区别在于判断目标对象是否拿取目标物品的方式不同，方式三在具体执行时，可以参照如下步骤：

步骤1，通过深度传感器确定目标物品在预设第二时间区间内的位置变化信息。诸如，深度传感器在确定目标物品后，能够在一段时间内(诸如1分钟内)监测该目标物品的位置变化情况。

步骤2，根据位置变化信息，判断目标对象是否拿取目标物品。如果经过一段时间的监测，根据位置变化信息确定目标物品的初始位置与最终位置的位置变化量较小，则确定目标对象最终未拿取目标物品，诸如，目标对象可能仅是接触目标物品，或者在一段时间内拿取了目标物品后又将其放回至原位上。如果经过一段时间的监测，根据位置变化信息确定目标物品的初始位置与最终位置的位置变化量较大，则确定目标对象最终拿取目标物品。

步骤3，如果是，将目标物品确定为与目标对象关联的物品。

上述方式二主要是利用深度传感器识别目标物品的位置变化情况，进而根据目标物品的位置变化情况判断目标对象是否拿取目标物品，并将确定被目标对象拿取的目标物品作为与该目标对象关联的物品。

方式一至方式三仅为将目标物品与目标对象进行关联的三种示例，不应当被视为限制，在实际应用中，还可采用其它方式实现。

在确定了与目标对象关联的物品后，本实施例提供的上述目标对象与物品的关联方法还包括：首先获取目标对象的对象信息以及与目标对象关联的物品的物品信息；然后关联对象信息和物品信息，并生成关联清单。其中，对象信息可以包括目标对象的身份信息(诸如名称、身份编号、手机号等)和/或属性信息(诸如年龄、性别等)，物品信息可以包括物品名称、物品种类或者物品价格等。在具体实施时，可以通过人脸识别技术、属性识别技术等方式确定目标对象的身份信息和/或属性信息。而物品信息都是预先存储在本地或云端的，可以直接获取。

目标对象可以同时关联多个物品，与目标对象关联的物品的数量可以为多个，在关联清单中，一个目标对象可以对应多个与之关联的物品信息。诸如，目标对象A先后拿取了物品a1、物品a2和物品a3，则该关联清单中可以以诸如“目标对象A-物品a1/物品a2/物品a3”等方式列出，也可以以表格方式列出，在关联清单中，可以详细列出目标对象A与物品a1、物品a2和物品a3的相关信息。

进一步，上述方法还包括：将关联清单发送给服务器，以使服务器基于关联清单分析目标对象的行为；其中，服务器与处理设备通信连接。

对于智能零售场合，关联清单中可以记录有消费者与接触、拿取的商品的关联关系，有助于售卖方获知消费者在购物过程中接触过何种商品，从而分析该消费者在购物过程中的购物喜好。服务器能够将不同消费者的关联清单汇总，通过大数据分析方式，确定不同类型的消费人群的消费习惯和购物行为。对于智能仓储场合，关联清单中可以记录有机器人接触过的货品，有助于管理者获知机器人的工作流程；对于智能图书馆，关联清单中可以记录有读者与翻阅过的书籍的关联关系，有助于图书馆相关工作人员了解读者的读书兴趣，服务器能够将不同读者的关联清单汇总，通过大数据分析方式，确定不同类型的读者的读书喜好。

本实施例提供的目标对象与物品的关联方法，主要采用深度传感器的方式对目标对象接触置物架上的物品进行监测，能够广泛应用于智能零售场景、智能图书馆、智能仓储/物流行业等需要监控目标对象与物品的关联关系的场合，以下以智能零售场景为例，结合AI视觉机器以及常规的距离传感器，进一步陈述本实施例采用深度传感器的优势：

(一)深度传感器与AI视觉机器相比：

在智能零售场景中，AI视觉机器通常需要在货架上布设多个摄像头，以从多角度采集图像信息。一方面成本高昂，另一方面摄像头的布设容易给消费者带来心理压力，因摄像头会实时采集消费者的人像信息，也可能会暴露消费者的隐私，消费者的安全感较差，用户体验不佳。

而深度传感器能够感测立体空间，如图2和图3所示，可以仅应用一个深度传感器即可实现监测，处理设备通过深度传感器可以确定目标对象的位置，进而可根据目标对象的位置和预先存储的每个所述物品的位置，确定与目标对象关联的物品。深度传感器的成本低于AI视觉机器，而且因其并不采集人像信息，对于消费者而言，安全感较强。

(二)深度传感器与常规的距离传感器相比：

对于常规的距离传感器(诸如红外光开关等)，其仅能实现单点检测，一个距离传感器仅对应一个数据点位，也即，仅能输出一个距离数据。具体的，常规的距离传感器大多仅能发射单线的光信号感测目标对象，如接收到目标对象反射回来的反射信号，即确定感测到目标对象，通过发射信号与反射信号的变化和/或往返用时进行测距，即可确知目标对象与距离传感器之间的距离。但是，由于这种距离传感器发出的光信号为单线式，因而仅能感测到目标对象的一个反射点，以目标对象是人为例，如果光信号发射到人手上，则仅能感知人手上的一点，距离传感器难以感知人手大小、人手姿势动作等。以智能零售场景为例，需要给每种商品都布设一个或多个距离传感器，并单独监测每种商品。诸如，将距离传感器设置于货架的层板、隔栏处，当商品体积较小时，可以仅由一个距离传感器对应一个商品；当商品体积较大时，可以由多个距离传感器对应一个商品。这种方式存在以下问题：

(1)需要数量众多的距离传感器，导致布线复杂，而且对于玻璃展示冰箱、冷风柜等特殊类型的置物架，技术实现困难。

(2)距离传感器的布设会严重影响物品的摆放灵活性。假设一个距离传感器的监测范围是10cm的区间范围，在物品摆放时，每10cm的区间范围内仅能摆放一种物品，对于尺寸小于10cm的物品，则会造成置物架的空间浪费。如果在10cm的区间范围内摆放两种物品(假设分别为3cm和6cm)，距离传感器则无法感测到是哪种物品被目标对象拿取。因此，采用距离传感器单独监测每种物品的方式，对于物品的摆放有较为严格的要求，物品摆放的灵活度较低。

相比之下，本实施例的深度传感器，其能够实现多点检测，一个深度传感器可对应多个数据点位，也即，可以输出多个距离数据。具体的，深度传感器上设置有多个像元，每个像元都可发射光信号感测目标对象，并得到一个距离数据；所有像元的距离数据构成了深度传感器输出的深度信息。整体而言，深度传感器发出的光信号为多线式，能够感测到目标对象的多个反射点，如果多个像元发射的光信号发射到人手上，则可以感测到人手上的多点，通常深度传感器上至少会设置有上万数量级的像元，因而感测到的人手对应的点(可简称为被感测点)的数量也众多，形成点云；深度传感器还可以进一步基于点云将人手的大小、姿势进行三维立体还原，可进一步识别人的手势动作等。

在实际应用中，多像素深度传感器的像素数量等于像元数量。假设深度传感器的行方向分布1024个像元，列方向分布768个像元，那么又可称为该深度传感器为具有1024*768像素的传感器，能够得到1024*768像素的深度图，每个像素都表征了一个像元输出的距离数据。深度传感器能够实时快速的计算深度信息，而且深度传感器的深度计算可以不受物体表面灰度和特征影响，能够非常准确地进行三维探测。此外，深度传感器的深度计算精度通常不随距离改变而变化，基本能稳定在cm级，这对于一些目标对象进行大范围运动的应用场合非常有意义。

采用本实施例提供的上述深度传感器，可以仅采用一个深度传感器即可实现目标对象的监测，无需复杂布线，能够广泛应用于各种类型的置物架，诸如玻璃展示冰箱、冷风柜等特殊类型的置物架也便于应用深度传感器。此外，置物架上的每种物品都在深度传感器的感测空间内，一个深度传感器即可实现对整个置物架的监测，因此置物架上的物品可以灵活摆放，灵活度较高，也适用于诸如书架等需要密集摆放物品的置物架。

综上所述，本实施例提供的上述目标对象与物品的关联方法，主要采用深度传感器的方式对目标对象接触置物架上的物品进行监测，能够广泛应用于多种类型的置物架，适用于多种监控场合，且成本较低。

实施例三：

对应于前述实施例提供的一种目标对象与物品的关联方法，本实施例提供了一种目标对象与物品的关联装置，该装置设置于处理设备侧，处理设备与安装于置物架上的深度传感器相连；置物架上的每种物品均位于深度传感器的感测空间内；在具体应用中，深度传感器为多像素深度传感器，且深度传感器的数量为一个或多个。

参见图6所示的一种目标对象与物品的关联装置的结构框图，包括：

位置确定模块602，用于通过深度传感器确定目标对象的位置信息；

关联确定模块604，用于根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。

本发明实施例提供的上述目标对象与物品的关联装置，处理设备与安装于置物架上的深度传感器相连，且置物架上的每种物品均位于所述深度传感器的感测空间。处理设备可通过深度传感器确定目标对象的位置信息，进而可根据目标对象的位置信息和预先存储的每种物品的位置信息，确定与目标对象关联的物品。这种方式利用深度传感器便可确定目标对象接触过的物品，由于深度传感器能够对感测空间内的各个物品进行统一监测，无需成本较高的AI视觉机器，也无需为每种物品都布设一个或多个传感器，因而能够广泛应用于多类型的置物架，适用于多种监控场合。

在一种实施方式中，位置确定模块602包括：深度信息确定单元和位置信息确定单元，其中：

深度信息确定单元用于通过深度传感器感测目标对象，得到目标对象的深度信息；其中，深度信息包括目标对象的多个被感测点对应的距离信息。

位置信息确定单元用于根据目标对象的深度信息确定目标对象的位置信息；其中，位置信息包括目标对象的多个被感测点在预设坐标系下的坐标。

在具体实施时，位置信息确定单元可进一步用于：获取深度传感器在预设坐标系下的位置坐标；根据深度传感器的位置坐标以及目标对象的多个被感测点对应的距离信息，确定目标对象的多个被感测点在预设坐标系下的坐标。

在一种实施方式中，物品的位置信息包括物品在预设坐标系下的坐标信息；基于此，关联确定模块604包括：物品确定单元和关联单元；

其中，物品确定单元：用于根据目标对象的多个被感测点在预设坐标系下的坐标信息，以及预先存储的每种物品在预设坐标系下的坐标信息，确定目标物品；其中，目标物品的坐标信息与目标对象的坐标信息至少有部分坐标重合；

关联单元：用于将目标物品确定为与目标对象关联的物品。

在一种具体实施方式中，关联单元进一步用于：基于目标对象的深度信息确定目标对象的动作信息；根据动作信息，判断目标对象是否拿取目标物品；如果是，将目标物品确定为与目标对象关联的物品。

基于此，关联单元进一步：基于目标对象在预设第一时间区间内的深度信息，确定目标对象的手势变化信息；根据目标对象的手势变化信息，确定目标对象的动作信息；其中，动作信息包括拿取物品，或，归置物品。

在另一种具体实施方式中，关联单元进一步用于：通过深度传感器判断目标物品在预设第二时间区间内的位置变化信息；根据位置变化信息，判断目标对象是否拿取目标物品；如果是，将目标物品确定为与目标对象关联的物品。

此外，本实施例提供的上述装置还包括：

信息获取模块，用于获取目标对象的对象信息以及与目标对象关联的物品的物品信息；

关联清单生成模块，用于关联对象信息和物品信息，并生成关联清单。

基于此，上述装置还可以包括：

发送模块，用于将关联清单发送给服务器，以使服务器基于关联清单分析目标对象的行为；其中，服务器与处理设备通信连接。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四：

本发明实施例提供了一种目标对象与物品的关联系统，该系统包括：深度传感器和处理设备；深度传感器用于感测目标对象；处理设备上存储有计算机程序，计算机程序在被处理设备运行时执行如前述实施例二提供的任一项方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施例二所提供的方法的步骤。

本发明实施例所提供的目标对象与物品的关联方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种目标对象与物品的关联方法，其特征在于，所述方法应用于处理设备，所述处理设备与安装于置物架上的深度传感器相连；所述置物架上的每种物品均位于所述深度传感器的感测空间内；所述方法包括：

通过深度传感器确定目标对象的位置信息；

根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品。

2.根据权利要求1所述的方法，其特征在于，所述通过深度传感器确定目标对象的位置信息的步骤，包括：

通过深度传感器感测目标对象，得到所述目标对象的深度信息；其中，所述深度信息包括所述目标对象的多个被感测点对应的距离信息；

根据所述目标对象的深度信息确定所述目标对象的位置信息；其中，所述位置信息包括目标对象的多个所述被感测点在预设坐标系下的坐标信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的深度信息确定所述目标对象的位置信息的步骤，包括：

获取所述深度传感器在所述预设坐标系下的坐标信息；

根据所述深度传感器的坐标信息以及所述目标对象的多个被感测点对应的距离信息，确定所述目标对象的多个所述被感测点在所述预设坐标系下的坐标信息。

4.根据权利要求2所述的方法，其特征在于，所述物品的位置信息包括所述物品在所述预设坐标系下的坐标信息；

所述根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品的步骤，包括：

根据所述目标对象的多个所述被感测点在预设坐标系下的坐标信息，以及预先存储的每种所述物品在所述预设坐标系下的坐标信息，确定目标物品；其中，所述目标物品的坐标信息与所述目标对象的坐标信息至少有部分坐标重合；

将所述目标物品确定为与所述目标对象关联的物品。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标物品确定为与所述目标对象关联的物品的步骤，包括：

基于所述目标对象的深度信息确定所述目标对象的动作信息；

根据所述动作信息，判断所述目标对象是否拿取所述目标物品；

如果是，将所述目标物品确定为与所述目标对象关联的物品。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标对象的深度信息确定所述目标对象的动作信息的步骤，包括：

基于所述目标对象在预设第一时间区间内的深度信息，确定所述目标对象的手势变化信息；

根据所述目标对象的手势变化信息，确定所述目标对象的动作信息；其中，所述动作信息包括拿取物品，或，归置物品。

7.根据权利要求5所述的方法，其特征在于，所述将所述目标物品确定为与所述目标对象关联的物品的步骤，包括：

通过所述深度传感器确定所述目标物品在预设第二时间区间内的位置变化信息；

根据所述位置变化信息，判断所述目标对象是否拿取所述目标物品；

如果是，将所述目标物品确定为与所述目标对象关联的物品。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标对象的对象信息以及与所述目标对象关联的物品的物品信息；

关联所述对象信息和所述物品信息，并生成关联清单。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

将所述关联清单发送给服务器，以使所述服务器基于所述关联清单分析所述目标对象的行为；其中，所述服务器与所述处理设备通信连接。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述深度传感器为多像素深度传感器，且所述深度传感器的数量为一个或多个。

11.一种目标对象与物品的关联装置，其特征在于，所述装置设置于处理设备侧，所述处理设备与安装于置物架上的深度传感器相连；所述置物架上的每种物品均位于所述深度传感器的感测空间内；所述装置包括：

位置确定模块，用于通过深度传感器确定目标对象的位置信息；

关联确定模块，用于根据所述目标对象的位置信息和预先存储的每种所述物品的位置信息，确定与所述目标对象关联的物品。

12.一种目标对象与物品的关联系统，其特征在于，所述系统包括：深度传感器和处理设备；

所述深度传感器用于感测目标对象和物品；

所述处理设备上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行上述权利要求1至10任一项所述的方法的步骤。