CN114648385A - 一种智能货架的信息交互方法、设备和介质 - Google Patents

Abstract

本申请涉及智能货架的领域，尤其是涉及一种智能货架的信息交互方法、设备和介质，其包括实时获取智能货架前的图像信息；根据图像信息确定智能货架的检测范围内是否存在移动人员；当存在移动人员时，获取所有移动人员的情绪变化信息，将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的图像得到人脸特征以及基本特征确定推荐商品信息，当接收到智能货架的显示屏发送的请求时，确定与请求对应的目标商品，获取目标商品的位置、搬运设备的位置、当前智能货架的位置，搬运设备将目标商品搬运至用户处，用户凭借取货码取货。本申请具有提升用户购物的便捷程度，从而提升用户的消费体验感的效果。

Description

一种智能货架的信息交互方法、设备和介质

技术领域

本申请涉及智能货架的领域，尤其是涉及一种智能货架的信息交互方法、设备和介质。

背景技术

随着生活水平的提高，人们对物质的需求也越来越丰富，因此商品的数量也越来越多，由于传统的货架受物理空间的限制，致使很多商品堆放在一起，消费者很难找到所需商品。

相关技术中，通过智能屏能够将货架上的商品信息进行展示，便于用户对货架上的所有商品进行选择，但是智能屏展示的商品可能不是用户所需的，并且智能屏的展示内容单一，即使用户在显示屏中挑选了自己想要购买的商品，还需要在线下进行对应商品的寻找，用户购物的便捷性降低，可能会影响用户的消费体验感，进而影响营销效果。

发明内容

为了提升用户购物的便捷程度，从而提升用户的消费体验感，本申请提供尤其是涉及一种智能货架的信息交互方法、设备和介质。

第一方面，本申请提供一种智能货架的信息交互方法，采用如下的技术方案：

一种智能货架的信息交互方法，包括

实时获取智能货架前的图像信息；

根据所述图像信息确定智能货架的检测范围内是否存在移动人员；

当存在移动人员时，获取所有移动人员的情绪变化信息，判断所述所有移动人员的情绪变化信息是否超过预设条件；

将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，获取所述目标移动人员的图像，并根据所述目标移动人员的图像得到人脸特征以及基本特征；基于所述人脸特征以及基本特征确定推荐商品信息，并根据所述推荐商品信息发送推荐指令至智能货架的显示屏；

当接收到智能货架的显示屏发送的请求时，确定与所述请求对应的目标商品，所述请求是用户在智能货架的显示屏上所显示的推荐商品信息中点击目标商品对应的位置后触发的；

获取所述目标商品的第一位置、搬运设备的第二位置、当前智能货架的第三位置，并获取设定区域的全景图像，根据设定区域的全景图像、第一位置、第二位置进行路径规划，得到第一路径，并根据设定区域的全景图像、第一位置和第三位置进行路径规划，得到第二路径；

发送第一路径至搬运设备，以使搬运设备按照第一路径运动，在搬运过程中，实时获取搬运设备的实时第二位置、运动速度以及运动方向；

根据所述实时第二位置确定搬运设备与第一路径和/或第二路径的实时相对位置以及曲率信息，根据所述运动速度、运动方向、实时相对位置以及曲率信息，生成转向角指令，并发送转向角指令至搬运设备，其中，所述转向角指令用于控制搬运设备按照第一路径和/或第二路径运动；

当所述搬运设备搬运目标商品至第三位置的设定范围内后，获取搬运设备发送的取货码至显示屏，以使用户能够凭借取货码取货。

通过采用上述技术方案，在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

在一种可能实现的方式中，当搬运设备到达第一位置后，获取搬运设备发送的待搬运商品识别码；

基于所述目标商品识别码确定待搬运商品是否与目标商品匹配；

若是，则确定待搬运商品为目标商品，获取目标商品的图像信息，并提取所述图像信息中的特征，根据所述特征以及目标商品对应的标准特征确定所述目标商品是否存在质量缺陷；

若存在质量缺陷，则发送停止抓取指令至搬运设备，对存在质量缺陷的商品进行异常标记，生成异常信息，并将所述异常信息发送至相关工作人员的终端设备；

若不存在质量缺陷，则发送抓取指令至搬运设备进行抓取。

通过采用上述技术方案，通过在搬运设备到达第一位置即目标商品位置处后，根据显示屏发送的目标商品的识别码，确定待搬运的商品，在对待搬运的商品进行搬运前，获取待搬运商品的图像信息，通过提取图像信息的特征判断待搬运商品是否存在质量缺陷，当存在质量缺陷时，对存在异常的商品进行异常标记，并将生成的异常信息发送至相关工作人员的终端设备，便于相关工作人员对存在质量缺陷的商品进行后续处理，当待搬运商品不存在质量缺陷时，通过抓取指令控制搬运设备对待搬运商品进行抓取，确保搬运设备搬运的目标商品不存在质量缺陷，减少了因商品存在质量缺陷从而降低用户购物体验感的可能性。

在一种可能实现的方式中，实时获取智能货架的显示屏内包含有推荐商品信息的播放图像；

根据播放图像从预先存储的图像与标志物信息中确定相应的标志物的标准位置、标准大小；

基于播放图像确定标志物的实际位置、实际大小，将所述实际位置、实际大小与标准位置、标准大小进行匹配，已确定所述显示屏是否能正常播放；

若否，根据所述实际位置、实际大小与标准位置、标准大小确定校正参数，并根据校正参数对显示屏进行播放校正。

通过采用上述技术方案，通过实时获取智能货架显示屏内的播放图像，其中播放图像为包含有推荐商品信息的播放图像，从预先存储的图像与标志物信息的对应关系中，确定当前播放图像中的预存标准标志物信息，其中预存标准标志物信息至少包括标志物的标准位置和标准大小，将当前播放图像中的实际标志物信息预存标准标志物的信息进行匹配，用以确定显示屏是否能正常播放，如果不能正常播放，则根据校正参数对实际播放图像进行校正，以使显示屏能够正常播放。

在一种可能实现的方式中，所述将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，包括：

获取在智能货架的监测范围内符合预设条件的多个移动人员对应的智能设备信息；

当接收到任一智能设备发出的确认信息后，将所述任一智能设备对应的移动目标人员作为目标移动人员，其中，确认信息是智能设备接收到系统发出的确认请求后发出的。

通过采用上述技术方案，通过获取在智能货架的检测范围内符合预设条件的多个移动人员对应的设备信息，便于系统根据设备信息向用户发送确认请求，在接收到任一智能设备发出的确认信息后，其中，确认信息是智能设备接收到系统发出的确认请求后发出的。将智能设备对应的移动人员确定为目标移动人员，增强了确定目标移动人员的准确性。

在一种可能实现的方式中，基于所述人脸特征以及基本特征确定推荐商品信息，并将所述推荐商品信息发送至智能货架的显示屏，包括：

根据所述人脸特征判断所述实际目标人员是否为会员用户，其中，所述基本特征至少包括年龄、性别、发型、身高；

若是，则从会员数据库中筛选出与所述目标移动人员对应的用户购物标签，并根据所述用户购物标签确定所述目标移动人员对货架上商品的需求，其中，用户购物标签是根据历史购物信息和历史浏览信息确定的购物倾向，所述购物倾向至少包括：商品类别、商品消费水平、商品风格；

若否，则根据所述基本特征从预设的基本特征与用户购物标签的对应信息中确定与所述基本特征对应的目标用户购物标签，并根据所述目标用户购物标签确定所述目标移动人员对货架上商品的需求；

根据目标移动人员对货架上商品的需求，确定与所述需求对应的多个推荐商品的商品信息，并根据所述推荐商品信息发送推荐指令至智能货架的显示屏，以使将多个所述推荐商品的商品信息在智能货架的显示屏中展示。

通过采用上述技术方案，通过实时获取智能货架设定范围内的图像信息，判断智能货架设定范围内是否存在用户，当设定范围内存在用户时，则根据获取的图像信息得到用户的人脸特征和基本特征，并根据得到的人脸特征判断用户是否为会员，其中基本特征至少包括年龄、性别、发型、身高。若用户是会员，则从会员数据库中将与用户对应的用户购物标签筛选出来，根据筛选出来的用户购物标签确定用户对货架上商品的需求，用户标签是由用户的历史购物信息和历史浏览信息确定的购物倾向，购物倾向至少包括商品类别、商品消费水平以及商品风格；若用户不是会员，则根据获取的图像信息得到基本特征，并建立基本特征与标签的对应信息，从对应信息中确定与用户基本特征对应的目标用户标签，根据目标购物标签确定用户对货架上商品的需求；再根据用户对货架上的商品的需求，确定与需求对应的多个目标商品，最终将多个目标商品的商品信息展示在货架显示屏中，实现了个性化展示，提升了用户的消费体验感，从而增强了营销效果。

在一种可能实现的方式中，当根据历史购物信息和历史浏览信息确定用户购物标签时，包括：

从历史购物信息中确定历史购买商品及购买时间；

当历史购买商品为常规商品时，根据所述商品确定用户购物标签，所述常规商品至少包括日常用品、厨卫用品、家电用品、服饰鞋类；

当历史购买商品为非常规商品时，按照用户的购买时间确定用户所需时效，在依据所述非常规商品确定用户购物标签时，若超出所述所需时效则将所述商品从用户购物标签中剔除，非常规商品为用户在某一时段所需要的商品。

通过采用上述技术方案，通过从历史购物信息中确定历史购买的商品以及购买商品的时间，当购买的商品为常规商品时，根据购买的商品确定用户购物标签，当购买的商品为非常规商品时，记录用户购买的时间并根据商品对应的常规时效，对用户购物标签进行更新，以提高根据历史购物信息和历史浏览信息确定用户购物标签的准确性。

在一种可能实现的方式中，所述根据所述用户购物标签确定所述用户对货架上商品的需求，包括：

根据所述用户购物标签确定所述目标移动人员对货架上商品的初始需求；

确定所述目标移动人员的关联账号，并根据所述关联账号对应的用户购物标签确定关联需求；

根据所述初始需求、所述关联需求确定所述目标移动人员对货架上商品的最终需求。

通过采用上述技术方案，根据当前用户的用户购物标签确定用户对货架上商品的初始需求，再通过确定用户的关联账号，并得到关联账号对应的用户购物标签，确定关联需求，根据初始需求和关联需求共同确定最终需求，提升了判断当前用户对货架上商品的需求的准确性，有利于提升用户的使用体验感。

在一种可能实现的方式中，所述根据目标移动人员对货架上商品的需求，确定与所述需求对应的多个推荐商品的商品信息，包括：

根据目标移动人员对货架上商品的需求，确定与所述需求对应的初始目标商品；

根据预存的关联商品表，确定所述初始目标商品是否存在关联商品；

若存在，则确定所述初始目标商品和所述关联商品的商品信息，其中，所述推荐商品包括初始目标商品和关联商品。

通过采用上述技术方案，当根据用户需求确定需求对应的多个目标商品的商品信息时，先根据用户对货架上商品的需求得到与用户需求对应的初始目标商品；再根据预存的关联商品表判断初始目标商品是否存在关联商品。若有关联商品，则将关联商品与初始目标商品按照预设的比例共同确定目标商品，并确定目标商品对应的商品信息，增强了对用户目标商品进行判断的准确度，从而提升了用户对智能货架的使用体验感。

第二方面，本申请提供一种智能货架的信息交互的装置，采用如下的技术方案：

一种智能货架的信息交互的装置，包括

通过采用上述技术方案，在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，该电子设备包括：

至少一个处理器；

存储器；

至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述一种智能货架的信息交互的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述一种智能货架的信息交互方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1.在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

附图说明

图1是本申请实施例中一种智能货架的信息交互方法的流程示意图；

图2是本申请实施例中一种智能货架的信息交互装置的结构示意图；

图3是本申请实施例中一种电子设备的结构示意图。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

为了提升用户购物的便捷程度，从而提升用户的消费体验感，本申请实施例在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

具体的，本申请实施例提供了一种智能货架的信息交互方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。

参考图1，图1是本申请实施例中一种智能货架的信息交互方法的流程示意图，该方法包括步骤S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160、步骤S170、步骤S180、步骤S190，其中：

步骤S110：实时获取智能货架前的图像信息。

具体的，在智能货架上设置图像采集设备，便于图像采集设备对设定范围内的图像进行采集，以使得采集到的图像被电子设备获取；实时获取图像信息便于及时了解智能货架前的情况。

步骤S120：根据图像信息确定智能货架的检测范围内是否存在移动人员。

具体的，图像信息中至少包括人脸面部图像信息，通过判断图像信息中有没有人脸图像信息确定设定的范围内是否存在用户。用户在设定范围内才能与智能货架进行信息交互，设定的范围可以是提前导入电子设备，也可以根据需求进行人为修改，以提高智能货架的实用性。

步骤S130：当存在移动人员时，获取所有移动人员的情绪变化信息，判断所有移动人员的情绪变化信息是否超过预设条件。

具体的，获取所有移动人员的情绪变化信息可以通过利用生物技术，获取所有移动人员的实时心率，例如可以使每一个正在购物中的人佩戴心率手环，通过实时获取移动人员的心率变化，判断移动人员的情绪变化信息。预设条件可以为高于正常水平的心率值，当移动人员的实时心率超过正常水平的心率值时，则表示移动人员的情绪产生了变化。

步骤S140：将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，获取目标移动人员的图像，并根据目标移动人员的图像得到人脸特征以及基本特征；基于人脸特征以及基本特征确定推荐商品信息，并根据推荐商品信息发送推荐指令至智能货架的显示屏。

具体的，目标移动人员为在智能货架前移动，并且情绪信息满足预设条件的人员。通过获取到的智能货架前的图像信息，图像信息中包括人体图像和背景图像，获取图像信息中的人体图像，并在人体图像信息中提取移动人员的人脸特征以及基本特征，人脸特征至少包括眼睛、嘴巴、鼻子和嘴；基本特征至少包括年龄、性别、发型、身高，根据人脸特征以及基本特征为目标移动人员推荐商品，并且生成推荐指令至智能货架显示屏，使得推荐商品信息能够在智能货架的显示屏上进行展示。

步骤S150：当接收到智能货架的显示屏发送的请求时，确定与请求对应的目标商品，请求是用户在智能货架的显示屏上所显示的推荐商品信息中点击目标商品对应的位置后触发的。

具体的，用户在浏览所有的推荐商品信息后，选择目标商品的方式是点击显示屏上与目标位置对应的区域，通过点击便可发送请求至电子设备，每个请求对应一个商品，当发送请求至电子设备之后，电子设备会根据请求确定目标商品。

步骤S160：获取目标商品的第一位置、搬运设备的第二位置、当前智能货架的第三位置，并获取设定区域的全景图像，根据设定区域的全景图像、第一位置、第二位置进行路径规划，得到第一路径，并根据设定区域的全景图像、第一位置和第三位置进行路径规划，得到第二路径。

具体的，全景图像中至少包括目标商品、搬运设备以及当前智能货架，基于全景图像，设定区域可以按照实际的情况进行修改，只要能同时覆盖目标商品、搬运设备以及当前货架的位置即可。第一路径为搬运设备到目标商品的最短路径，第二路径为目标商品到当前智能货架的最短距离，其中最短距离的确定方式可以通过确定两点的位置坐标后，根据广度优先算法、深度优先算法均可实现。

步骤S170：发送第一路径至搬运设备，以使搬运设备按照第一路径运动，在搬运过程中，实时获取搬运设备的实时第二位置、运动速度以及运动方向。

具体的，搬运设备内部安装有GPS定位芯片，可根据路径信息进行运动，在搬运过程中，通过实时获取全景图像定位搬运设备的位置，并根据预设时间段内行驶的路径判断搬运设备的运动速度，以及通过全景图像实时获取搬运设备的运动方向。

步骤S180：根据实时第二位置确定搬运设备与第一路径和/或第二路径的实时相对位置以及曲率信息，根据运动速度、运动方向、实时相对位置以及曲率信息，生成转向角指令，并发送转向角指令至搬运设备，其中，转向角指令用于控制搬运设备按照第一路径和/或第二路径运动。

具体的，相对位置是指从搬运设备的当前位置，到第二位置即目标商品位置处的相对距离，此相对距离根据搬运设备的移动，会实时发生变化。曲率信息用来表示曲线偏离直线的程度，曲率越大，表示曲线的弯曲程度越大。搬运设备的转角指令是依据搬运设备的运动速度、运动方向、实时相对位置以及曲率信息共同形成的，转弯指令发送至搬运设备中的控制芯片中，控制芯片能够控制搬运设备在预设的时间进行拐弯和避让障碍物，其中障碍物可能是其他用户也可能是摆放的商品。

步骤S190：当搬运设备搬运目标商品至第三位置的设定范围内后，获取搬运设备发送的取货码至显示屏，以使用户能够凭借取货码取货。

具体的，设定范围为用户确定目标商品时的智能货架显示屏前，具体的设定范围可根据实际需求进行修改。搬运设备在到达设定范围内后，停止运动，并且生成取货码发送至显示屏上，便于用户根据取货码取走相对应的商品。其中取货码可以是表示搬运设备编号的数字，也可以是含有搬运设备编号信息的二维码。

本申请实施例中，在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

进一步的，为了确保搬运设备搬运的目标商品不存在质量缺陷，本申请实施例提供了一种智能货架信息交互方法，还包括：步骤S1（附图未示出）、步骤S2（附图未示出）、步骤S3（附图未示出）、步骤S4（附图未示出），其中：

步骤S1：当搬运设备到达第一位置后，获取智能货架显示屏发送的目标商品的识别码。

具体的，商品的识别码与商品一一对应，根据目标商品的识别码能够确定目标商品。

步骤S2：基于目标商品识别码确定待搬运商品，并获取目标商品的图像信息，并提取图像信息中的特征，根据特征以及目标商品对应的标准特征确定目标商品是否存在质量缺陷。

具体的，当目标商品为某一个盘子时，根据系统提供的盘子对应的识别码确定要搬运的商品，在将待搬运的商品进行搬运前，获取盘子的图像，通过对盘子的图像进行特征提取，判断盘子是否存在缺口或裂缝，若盘子存在缺口和裂纹则确定要搬运的商品存在质量缺陷。

步骤S3：若存在质量缺陷，则发送停止抓取指令至搬运设备，对存在质量缺陷的商品进行异常标记，生成异常信息，并将异常信息发送至相关工作人员的终端设备。

具体的，停止抓取指令是系统在确认待搬运商品存在质量缺陷后，由电子设备发送至搬运设备的，异常信息至少包括商品的位置、名称，异常信息发送至相关工作人员的终端设备，便于相关工作人员对存在异常的商品进行下架处理。

步骤S4：若不存在质量缺陷，则发送抓取指令至搬运设备进行抓取。

具体的，抓取指令是系统在确认待搬运商品没有质量缺陷后，由电子设备发送至搬运设备的，搬运设备安装有机械手臂，在接收到抓取指令时，控制设置在搬运设备上的机械手臂对待搬运商品进行抓取。

本申请实施例中，通过在搬运设备到达第一位置即目标商品位置处后，根据显示屏发送的目标商品的识别码，确定待搬运的商品，在对待搬运的商品进行搬运前，获取待搬运商品的图像信息，通过提取图像信息的特征判断待搬运商品是否存在质量缺陷，当存在质量缺陷时，对存在异常的商品进行异常标记，并将生成的异常信息发送至相关工作人员的终端设备，便于相关工作人员对存在质量缺陷的商品进行后续处理，当待搬运商品不存在质量缺陷时，通过抓取指令控制搬运设备对待搬运商品进行抓取，确保搬运设备搬运的目标商品不存在质量缺陷，减少了因商品存在质量缺陷从而降低用户购物体验感的可能性。

为了提升智能货架上显示屏的显示效果，本申请实施例提供一种智能货架的信息交互方法，还包括：步骤Sa（附图未示出）、步骤Sb（附图未示出）、步骤Sc（附图未示出）、步骤Sd（附图未示出），其中：

步骤Sa：实时获取智能货架的显示屏内包含有推荐商品信息的播放图像。

具体的，通过视频采集设备对智能货架的显示屏上显示的内容进行实时获取。

步骤Sb：根据播放图像从预先存储的图像与标准标志物信息中确定相应的标志物的标准位置、标准大小。

具体的，预先存储的图像与标准标志物信息中存储有当前图像对应的标准标志物信息，标准标志物信息中至少包括标注物的标准位置和标准大小。

步骤Sc：基于播放图像确定标志物的实际位置、实际大小，将实际位置、实际大小与标准位置、标准大小进行匹配，以确定显示屏是否能正常播放。

具体的，在每一个播放图像中都存在有标志物，提取播放图像中标志物的位置和大小，将提取到的标志物的位置和大小与预设的标准位置、标准大小进行匹配，若匹配度低于预设阈值，则确定显示屏不能正常播放，存在播放异常。

步骤Sd：若否，根据实际位置、实际大小与标准位置、标准大小确定校正参数，并根据校正参数对显示屏进行播放校正。

具体的，校正参数为实际标志物的位置和大小与标准标志物位置和大小的差值。例如实际标志物的顶点坐标为（4，0）、（6，0）、（4，2）、（6，2），标准标志物的顶点坐标为（2，0）、（4，0）、（2，2）、（4，2），校正参数即对图像中所有的坐标点进行左移2个单位。

本申请实施例中，通过实时获取智能货架显示屏内的播放图像，其中播放图像为包含有推荐商品信息的播放图像，从预先存储的图像与标志物信息的对应关系中，确定当前播放图像中的预存标准标志物信息，其中预存标准标志物信息至少包括标志物的标准位置和标准大小，将当前播放图像中的实际标志物信息预存标准标志物的信息进行匹配，用以确定显示屏是否能正常播放，如果不能正常播放，则根据校正参数对实际播放图像进行校正，以使显示屏能够正常播放。

为了提高确定目标移动人员的准确性，本申请实施中提供一种智能货架的信息交互方法，步骤S140中将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，具体可以包括：步骤S140a（附图未示出）、步骤S140b（附图未示出），其中：

步骤S140a：获取在智能货架的监测范围内符合预设条件的多个移动人员对应的智能设备信息。

具体的，智能设备信息包括在智能货架的监测范围内符合预设条件的多个移动人员的手机IP通信地址，通过信号采集装置能够获取智能货架的监测范围内符合预设条件的多个移动人员对应的设备信息。

步骤S140b：当接收到任一智能设备发出的确认信息后，将任一智能设备对应的移动目标人员作为目标移动人员。

其中，确认信息是智能设备接收到系统发出的确认请求后发出的。

具体的，确认请求为显示屏希望与用户的设备进行信息交互的请求，确认信息为用户同意智能货架的显示屏与用户本身设备进行信息交互。将在固定的时间段内第一个发送确认信息的移动人员确定为目标移动人员。

本申请实施例中，通过获取在智能货架的检测范围内符合预设条件的多个移动人员对应的设备信息，便于系统根据设备信息向用户发送确认请求，在接收到任一智能设备发出的确认信息后，其中，确认信息是智能设备接收到系统发出的确认请求后发出的。将智能设备对应的移动人员确定为目标移动人员，增强了确定目标移动人员的准确性。

为了提升推荐商品信息的准确性，本申请实施例提供一种智能货架的信息交互方法，步骤S140中基于人脸特征以及基本特征确定推荐商品信息，并根据推荐商品信息发送推荐指令至智能货架的显示屏，具体可以包括：步骤S1401（附图未示出）、步骤S1402（附图未示出）、步骤S1403（附图未示出）、步骤S1404（附图未示出），其中：

步骤S1401：根据人脸特征判断实际目标人员是否为会员用户，其中，基本特征至少包括年龄、性别、发型、身高。

具体的，通过定位特征点抽取人脸各部分特征，包括眼睛、嘴巴、鼻子和嘴等部位的关键特征点位置，得到用户的人脸特征，将抽取到的人脸特征与会员特征数据库中的人脸特征进行匹配，若匹配成功，则确定用户为会员用户。

将人体图像输入训练好的年龄区分模型进行年龄识别，得到用户的年龄阶段，年龄区分模型输出的结果为以下任一种：0-15岁、15-30岁、30-45岁、45-60岁、60岁及以上，对初始年龄区分模型进行训练之前，获取大量的训练样本，训练样本中包括含有0-15岁、15-30岁、30-45岁、45-60岁、60岁及以上不同年龄阶段的图像信息，以及图像信息中对应的年龄段标签，将训练样本输入初始年龄区分模型进行训练学习得到训练好的年龄区分模型。

通过在人体图像特征中抽取性别特征，根据抽取到的性别特征，判断用户的性别，性别特征至少包括胡子、喉结，其中，将留胡子的用户确定为男性，将有喉结的用户确定为男性。

图像信息中包括人体图像和背景图像，获取图像信息中的人体图像，将人体图像输入训练好的发型区分模型进行发型识别，得到用户的发型结果，发型区分模型输出的结果为以下任一种：长直发、长卷发、短直发、短卷发、光头，对初始发型区分模型进行训练之前，获取大量的训练样本，训练样本中包括含有长直发、长卷发、短直发、短卷发和光头的图像信息，以及图像信息中对应的发型名称标签，将训练样本输入初始发型区分模型进行训练学习得到训练好的发型区分模型。

由于获取到的图像信息包括背景图像和人体图像，在对用户身高进行识别时，可通过将用户人体与环境中的参照物进行对比，对用户身高进行估算；还可以通过将用户人体根据用户的头部长度进行划分，利用头部的长度对用户的身高进行估算，最后输出用户的身高范围，例如小于1米、1-1.5米、1.5-1.8米、1.8米及以上。

步骤S1402：若是，则从会员数据库中筛选出与目标移动人员对应的用户购物标签，并根据用户购物标签确定目标移动人员对货架上商品的需求。

其中，用户购物标签是根据历史购物信息和历史浏览信息确定的购物倾向，购物倾向至少包括：商品类别、商品消费水平、商品风格。

具体的，会员数据库中存储有所有会员用户的用户购物标签；用户购物标签的形成过程为：提取用户的历史购物信息和历史浏览信息，将预设时间范围内历史购物信息和历史浏览信息中出现次数超过预设阈值的商品确定用户的购物倾向，根据用户的购物倾向确定的商品类别确定商品的风格，以及确定商品消费水平，最后输出用户购物标签。

预设时间范围可根据需求进行修改，查看一周以内或半个月以内的历史购物信息和历史浏览信息均可，具体的时间本申请实施例不做限定；预设阈值可根据需求进行修改，具体的次数本申请实施例不做限定。其中商品的类别至少包括：食品类、水产类、家具类、家居类、服饰类、母婴类、数码类；商品风格至少包括：简约、田园、北欧、复古。

例如用户购物标签为母婴类、简约、价格在300-500之间，确定用户对货架上商品的需求为价格在300-500之间的简约风格的母婴类商品。

步骤S1403：若否，则根据基本特征从预设的基本特征与用户购物标签的对应信息中确定与基本特征对应的目标用户购物标签，并根据目标用户购物标签确定目标移动人员对货架上商品的需求。

具体的，预设的基本特征为所有会员用户的基本特征，会员用户的基本特征与会员用户对应的用户购物标签对应，根据会员用户的基本特征可得到会员用户的用户购物标签。将非会员用户的基本特征从预设的基本特征与用户购物标签的对应关系中进行匹配，得到与非会员用户基本特征相似的基本特征，其中，将匹配度大于预设标准匹配值的基本特征确定为相似基本特征，预设标准匹配值可根据需求进行修改，本申请实施例不做具体限定。将相似基本特征对应的用户购物标签确定为目标购物标签，根据目标用户购物标签确定非会员用户对货架上商品的需求。

步骤S1404：根据目标移动人员对货架上商品的需求，确定与需求对应的多个推荐商品的商品信息，并将推荐商品信息发送至智能货架的显示屏，以使将多个推荐商品的商品信息在智能货架的显示屏中展示。

具体的，用户对货架上商品的需求对应多个目标商品，例如用户的需求是价格在300-500之内简约风格的母婴类商品，对应的多个目标商品可能为婴儿车、婴儿床、摇篮；商品信息至少包括：商品的摆放位置，例如第三排货架的第二层；商品的产地，例如浙江义乌；商品的剩余库存量，例如剩余库存数为18。商品信息在显示屏中展示便于用户更直观的了解目标商品。

本申请实施例，通过实时获取智能货架设定范围内的图像信息，判断智能货架设定范围内是否存在用户，当设定范围内存在用户时，则根据获取的图像信息得到用户的人脸特征和基本特征，并根据得到的人脸特征判断用户是否为会员，其中基本特征至少包括年龄、性别、发型、身高。若用户是会员，则从会员数据库中将与用户对应的用户购物标签筛选出来，根据筛选出来的用户购物标签确定用户对货架上商品的需求，用户标签是由用户的历史购物信息和历史浏览信息确定的购物倾向，购物倾向至少包括商品类别、商品消费水平以及商品风格；若用户不是会员，则根据获取的图像信息得到基本特征，并建立基本特征与标签的对应信息，从对应信息中确定与用户基本特征对应的目标用户标签，根据目标购物标签确定用户对货架上商品的需求；再根据用户对货架上的商品的需求，确定与需求对应的多个目标商品，最终将多个目标商品的商品信息展示在货架显示屏中，实现了个性化展示，提升了用户的消费体验感，从而增强了营销效果。

在一种可能实现的方式中，在步骤S1402中当根据历史购物信息和历史浏览信息确定用户购物标签时，具体可以包括步骤S1402a（附图未示出）、S1402b（附图未示出）、S1402c（附图未示出），其中：

步骤S1402a：从历史购物信息中确定历史购买商品及购买时间。

具体的，历史购物信息中至少包括历史购买商品以及购买商品时对应的购买时间。

步骤S1402b：当历史购买商品为常规商品时，根据商品确定用户购物标签。

其中常规商品至少包括日常用品、厨卫用品、家电用品、服饰鞋类。

具体的，例如用户历史购买信息中，购买的商品为餐具、蒸锅、洗洁精、擦碗布等厨卫用品，则可根据用户购买的商品，在用户的购物标签中添加家庭主妇的标签。

步骤S1402c：当历史购买商品为非常规商品时，按照用户的购买时间确定用户所需时效，在依据非常规商品确定用户购物标签时，若超出所需时效则将商品从用户购物标签中剔除，非常规商品为用户在某一时段所需要的商品。

具体的，例如用户最近一段时间正在装修，用户可能会购买与装修相关的商品，例如油漆、甲醛净化器等，在确定用户购物标签时会将装修加入用户的购物标签中，但是用户不可能一直装修，等用户装修结束之后，若依旧根据用户原来的用户购物标签进行商品推荐，可能不符合用户的需求，因此在用户购买非常规商品时，要根据标准时效进行更新，例如对标准户型进行装修的时间段一般在6个月，记录用户第一次购买与装修有关的商品的时间，并将装修标签加入到用户购物标签内，在到达6个月的期限时，将装修标签从用户购物标签中进行剔除

本申请实施例中，通过从历史购物信息中确定历史购买的商品以及购买商品的时间，当购买的商品为常规商品时，根据购买的商品确定用户购物标签，当购买的商品为非常规商品时，记录用户购买的时间并根据商品对应的常规时效，对用户购物标签进行更新，以提高根据历史购物信息和历史浏览信息确定用户购物标签的准确性。

为了提高确定用户对货架上商品的需求的准确性，本申请实施例提供了一种智能货架的信息交互方法，步骤S1403中根据用户购物标签确定用户对货架上商品的需求，具体可以包括：步骤S1403a（附图未示出）、S1403b（附图未示出）、S1403c（附图未示出），其中：

步骤S1403a：根据用户购物标签确定用户对货架上商品的初始需求。

具体的，用户的购物标签由用户的历史购物信息和历史浏览信息确定，每一个用户购物标签都对应有每一个用户对货架上商品的最终需求。

步骤S1403b：确定用户的关联账号，并根据关联账号对应的用户购物标签确定关联需求。

具体的，根据用户的历史购买记录，获取用户的账号信息，根据用户的账号信息建立与亲属号码间的关联关系，其中亲属号码可以为家人、朋友的账号。用户在与货架显示屏进行信息交互时，获取用户的账号信息，从预先建立的账号信息与号码间的关联关系，得到用户的关联账号，根据用户的关联账号获得关联账号用户对应的用户购物标签，进而得到关联账号的需求即关联需求。

步骤S1304c：根据初始需求、关联需求确定目标移动人员对货架上商品的最终需求。

具体的，其中最终需求是将初始需求和关联需求按照预设的比例进行结合得到的，根据用户的需求和关联账号需求共同确定最终需求，提升了对用户需求进行判断的准确性，预设的比例可根据需求进行修改。

本申请实施例中，根据当前用户的用户购物标签确定用户对货架上商品的初始需求，再通过确定用户的关联账号，并得到关联账号对应的用户购物标签，确定关联需求，根据初始需求和关联需求共同确定最终需求，提升了判断当前用户对货架上商品的需求的准确性，有利于提升用户的使用体验感。

为了提升用户对智能货架的使用体验感，本申请实施例提供了一种智能货架的信息交互方法，步骤S1404 中根据目标移动人员对货架上商品的需求，确定与需求对应的多个推荐商品的商品信息，具体可以包括：步骤S1404a（附图未示出）、S1404b（附图未示出）、S1404c（附图未示出），其中：

步骤S1404a：根据目标移动人员对货架上商品的需求，确定与需求对应的初始目标商品。

具体的，将需求输入预先设置的需求与商品的对应关系中，根据需求在对应关系中匹配对应的商品，需求对应的初始目标商品可以是多个商品，其中预先设置的需求与商品的对应关系可以根据需要进行增加或删除。例如需求为50-200之内田园风格的厨房用品，对应的多个初始目标商品为餐具、餐桌布，将餐具以及餐桌布确定为初始目标商品。

步骤S1404b：根据预存的关联商品表，确定初始目标商品是否存在关联商品。

具体的，关联商品表中存放有与当前商品关联的模块。例如初期目标商品为火锅底料，与当前商品关联的模块中至少包括火锅丸子、蘸料、牛羊肉卷。

步骤S1404c：若存在，则确定初始目标商品和关联商品的商品信息，其中，目标商品包括初始目标商品和关联商品。

具体的，目标商品的确定过程包括按照一定的比例从初始目标中选取部分商品，再按照一定比例从关联商品中选取部分商品，目标商品由初始目标商品和关联商品共同确定。

本申请实施例中，当根据用户需求确定需求对应的多个目标商品的商品信息时，先根据用户对货架上商品的需求得到与用户需求对应的初始目标商品；再根据预存的关联商品表判断初始目标商品是否存在关联商品。若有关联商品，则将关联商品与初始目标商品按照预设的比例共同确定目标商品，并确定目标商品对应的商品信息，增强了对用户目标商品进行判断的准确度，从而提升了用户对智能货架的使用体验感。

上述实施例从方法流程的角度介绍一种智能货架的信息交互的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种智能货架的信息交互的装置，具体详见下述实施例。

本申请实施例提供一种智能货架的信息交互的装置，请参考图2，图2是本申请实施例中一种智能货架的信息交互装置的结构示意图，包括：实时获取模块210、确定移动人员模块220、情绪判断模块230、确定推荐商品模块240、确定目标商品模块250、获取路径模块260、位置获取模块270、控制运动模块280、取货模块290，其中，

实时获取模块，用于实时获取智能货架前的图像信息；

确定移动人员模块，用于根据图像信息确定智能货架的检测范围内是否存在移动人员；

情绪判断模块，用于当存在移动人员时，获取所有移动人员的情绪变化信息，判断所有移动人员的情绪变化信息是否符合预设条件；

确定推荐商品模块，用于将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，获取目标移动人员的图像，并根据目标移动人员的图像得到人脸特征以及基本特征；基于人脸特征以及基本特征确定推荐商品信息，并根据推荐商品信息发送推荐指令至智能货架的显示屏；

确定目标商品模块，用于当接收到智能货架的显示屏发送的请求时，确定与请求对应的目标商品，请求是用户在智能货架的显示屏上所显示的推荐商品信息中点击目标商品对应的位置后触发的；

获取路径模块，用于获取目标商品的第一位置、搬运设备的第二位置、当前智能货架的第三位置，并获取设定区域的全景图像，根据设定区域的全景图像、第一位置、第二位置进行路径规划，得到第一路径，并根据设定区域的全景图像、第一位置和第三位置进行路径规划，得到第二路径；

位置获取模块，用于发送第一路径至搬运设备，以使搬运设备按照第一路径运动，在搬运过程中，实时获取搬运设备的实时第二位置、运动速度以及运动方向；

控制运动模块，用于根据实时第二位置确定搬运设备与第一路径和/或第二路径的实时相对位置以及曲率信息，根据运动速度、运动方向、实时相对位置以及曲率信息，生成转向角指令，并发送转向角指令至搬运设备，其中，转向角指令用于控制搬运设备按照第一路径和/或第二路径运动；

取货模块，用于当搬运设备搬运目标商品至第三位置的设定范围内后，获取搬运设备发送的取货码至显示屏，以使用户能够凭借取货码取货。

在一种可能实现的方式中，还包括：

获取识别码模块，用于当搬运设备到达第一位置后，获取智能货架显示屏发送的目标商品的识别码；

判断缺陷模块，用于基于目标商品识别码确定待搬运商品，并获取目标商品的图像信息，并提取图像信息中的特征，根据特征以及目标商品对应的标准特征确定目标商品是否存在质量缺陷；

停止抓取模块，用于若存在质量缺陷，则发送停止抓取指令至搬运设备，对存在质量缺陷的商品进行异常标记，生成异常信息，并将异常信息发送至相关工作人员的终端设备；

抓取模块，用于若不存在质量缺陷，则发送抓取指令至搬运设备进行抓取。

在一种可能实现的方式中，还包括：

获取播放图像模块，用于实时获取智能货架的显示屏内包含有推荐商品信息的播放图像；

确定标志物模块，用于根据播放图像从预先存储的图像与标准标志物信息中确定相应的标志物的标准位置、标准大小；

标志物匹配模块，用于基于播放图像确定标志物的实际位置、实际大小，将实际位置、实际大小与标准位置、标准大小进行匹配，以确定显示屏是否能正常播放；

校正模块，用于若否，根据实际位置、实际大小与标准位置、标准大小确定校正参数，并根据校正参数对显示屏进行播放校正。

在一种可实现的方式中，确定推荐商品模块包括：

获取智能设备信息单元，用于获取在智能货架的监测范围内符合预设条件的多个移动人员对应的智能设备信息；

确定目标移动人员单元，用于当接收到任一智能设备发出的确认信息后，将任一智能设备对应的移动目标人员作为目标移动人员，其中，确认信息是智能设备接收到系统发出的确认请求后发出的。

在一种可能实现的方式中，确定推荐商品模块还包括：

确定会员单元，用于根据人脸特征判断实际目标人员是否为会员用户，其中，基本特征至少包括年龄、性别、发型、身高；

会员确定需求单元，用于若用户是会员，则从会员数据库中筛选出与目标移动人员对应的用户购物标签，并根据用户购物标签确定目标移动人员对货架上商品的需求，其中，用户购物标签是根据历史购物信息和历史浏览信息确定的购物倾向，购物倾向至少包括：商品类别、商品消费水平、商品风格；

非会员确定需求单元，用于若用户不是会员，则根据基本特征从预设的基本特征与用户购物标签的对应信息中确定与基本特征对应的目标用户购物标签，并根据目标用户购物标签确定目标移动人员对货架上商品的需求；

确定商品单元，用于根据目标移动人员对货架上商品的需求，确定与需求对应的多个推荐商品的商品信息，并根据推荐商品信息发送推荐指令至智能货架的显示屏，以使将多个推荐商品的商品信息在智能货架的显示屏中展示。

在一种可能实现的方式中，会员确定需求单元包括：

确定历史购物子单元，用于从历史购物信息中确定历史购买商品及购买时间；

常规商品确定标签子单元，用于当历史购买商品为常规商品时，根据商品确定用户购物标签，常规商品至少包括日常用品、厨卫用品、家电用品、服饰鞋类；

非常规商品确定标签子单元，用于当历史购买商品为非常规商品时，按照用户的购买时间确定用户所需时效，在依据非常规商品确定用户购物标签时，若超出所需时效则将所述商品从用户购物标签中剔除，非常规商品为用户在某一时段所需要的商品。

在一种可能实现的方式中，会员确定需求单元包括：

确定初始需求子单元，用于根据用户购物标签确定目标移动人员对货架上商品的初始需求；

确定关联需求子单元，用于确定目标移动人员的关联账号，并根据关联账号对应的用户购物标签确定关联需求；

确定最终需求子单元，用于根据初始需求、关联需求确定目标移动人员对货架上商品的最终需求。

在一种可能实现的方式中，确定商品模块包括：

确定初始目标商品单元，用于根据目标移动人员对货架上商品的需求，确定与需求对应的初始目标商品；

判断关联商品单元，用于根据预存的关联商品表，确定初始目标商品是否存在关联商品；

确定推荐商品单元，用于若存在关联商品，则确定初始目标商品和关联商品的商品信息，其中，推荐商品包括初始目标商品和关联商品。

本申请实施例中提供了一种电子设备，如图3所示，图3是本申请实施例中一种电子设备的结构示意图，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。

处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请实施例中在获取到智能货架前的图像信息后，判断智能货架的检测范围内是否有移动人员，当有移动人员时，根据移动人员的情绪变化信息判断移动人员是否符合预设条件，将符合预设条件的移动人员确定为目标移动人员，并根据目标移动人员的人脸特征以及基本特征确定所要推荐的商品信息，在用户从推荐商品信息中点击目标商品后，获取目标商品、搬运设备以及当前智能货架的位置，根据智能货架的全景图像得到搬运设备到目标商品以及目标商品到当前智能货架的路径信息，搬运设备按照路径信息将目标商品搬运至用户面前，用户能够凭借目标商品对应的取货码进行取货，当用户挑选到想要购买的目标商品后，不必在线下进行对应商品的寻找，提升了用户购物的便捷程度，从而提升了用户的消费体验感。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种智能货架的信息交互方法，其特征在于，包括：

实时获取智能货架前的图像信息；

根据所述图像信息确定智能货架的检测范围内是否存在移动人员；

当存在移动人员时，获取所有移动人员的情绪变化信息，判断所述所有移动人员的情绪变化信息是否超过预设条件；

将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，获取所述目标移动人员的图像，并根据所述目标移动人员的图像得到人脸特征以及基本特征；基于所述人脸特征以及基本特征确定推荐商品信息，并将所述推荐商品信息发送至智能货架的显示屏；

当接收到智能货架的显示屏发送的请求时，确定与所述请求对应的目标商品，所述请求是用户在智能货架的显示屏上所显示的推荐商品信息中点击目标商品对应的位置后触发的；

获取所述目标商品的第一位置、搬运设备的第二位置、当前智能货架的第三位置，并获取设定区域的全景图像，根据设定区域的全景图像、第一位置、第二位置进行路径规划，得到第一路径，并根据设定区域的全景图像、第一位置和第三位置进行路径规划，得到第二路径；

发送第一路径至搬运设备，以使搬运设备按照第一路径运动，在搬运过程中，实时获取搬运设备的实时第二位置、运动速度以及运动方向；

根据所述实时第二位置确定搬运设备与第一路径和/或第二路径的实时相对位置以及曲率信息，根据所述运动速度、运动方向、实时相对位置以及曲率信息，生成转向角指令，并发送转向角指令至搬运设备，其中，所述转向角指令用于控制搬运设备按照第一路径和/或第二路径运动；

当所述搬运设备搬运目标商品至第三位置的设定范围内后，获取搬运设备发送的取货码至显示屏，以使用户能够凭借取货码取货。

2.根据权利要求1所述的一种智能货架的信息交互方法，其特征在于，还包括：

当搬运设备到达第一位置后，获取智能货架显示屏发送的目标商品的识别码；

基于所述目标商品识别码确定待搬运商品，并获取目标商品的图像信息，并提取所述图像信息中的特征，根据所述特征以及目标商品对应的标准特征确定所述目标商品是否存在质量缺陷；

若存在质量缺陷，则发送停止抓取指令至搬运设备，对存在质量缺陷的商品进行异常标记，生成异常信息，并将所述异常信息发送至相关工作人员的终端设备；

若不存在质量缺陷，则发送抓取指令至搬运设备进行抓取。

3.根据权利要求1所述的一种智能货架的信息交互方法，其特征在于，还包括：

实时获取智能货架的显示屏内包含有推荐商品信息的播放图像；

根据播放图像从预先存储的图像与标准标志物信息中确定相应的标志物的标准位置、标准大小；

基于播放图像确定标志物的实际位置、实际大小，将所述实际位置、实际大小与标准位置、标准大小进行匹配，以确定所述显示屏是否能正常播放；

若否，根据所述实际位置、实际大小与标准位置、标准大小确定校正参数，并根据校正参数对显示屏进行播放校正。

4.根据权利要求1所述的一种智能货架的信息交互方法，其特征在于，所述将在智能货架的检测范围内符合预设条件的移动人员确定为目标移动人员，包括：

获取在智能货架的监测范围内符合预设条件的多个移动人员对应的智能设备信息；

当接收到任一智能设备发出的确认信息后，将所述任一智能设备对应的移动目标人员作为目标移动人员，其中，确认信息是智能设备接收到系统发出的确认请求后发出的。

5.根据权利要求1所述的一种智能货架的信息交互方法，其特征在于，基于所述人脸特征以及基本特征确定推荐商品信息，并将所述推荐商品信息发送至智能货架的显示屏，包括：

根据所述人脸特征判断所述实际目标人员是否为会员用户，其中，所述基本特征至少包括年龄、性别、发型、身高；

若是，则从会员数据库中筛选出与所述目标移动人员对应的用户购物标签，并根据所述用户购物标签确定所述目标移动人员对货架上商品的需求，其中，用户购物标签是根据历史购物信息和历史浏览信息确定的购物倾向，所述购物倾向至少包括：商品类别、商品消费水平、商品风格；

若否，则根据所述基本特征从预设的基本特征与用户购物标签的对应信息中确定与所述基本特征对应的目标用户购物标签，并根据所述目标用户购物标签确定所述目标移动人员对货架上商品的需求；

根据目标移动人员对货架上商品的需求，确定与所述需求对应的多个推荐商品的商品信息，并根据所述推荐商品信息发送推荐指令至智能货架的显示屏，以使将多个所述推荐商品的商品信息在智能货架的显示屏中展示。

6.根据权利要求5所述的一种智能货架的信息交互方法，其特征在于，当根据历史购物信息和历史浏览信息确定用户购物标签时，包括：

从历史购物信息中确定历史购买商品及购买时间；

当历史购买商品为常规商品时，根据所述商品确定用户购物标签，所述常规商品至少包括日常用品、厨卫用品、家电用品、服饰鞋类；

当历史购买商品为非常规商品时，按照用户的购买时间确定用户所需时效，在依据所述非常规商品确定用户购物标签时，若超出所述所需时效则将所述商品从用户购物标签中剔除，非常规商品为用户在某一时段所需要的商品。

7.根据权利要求5所述的一种智能货架的信息交互方法，其特征在于，所述根据所述用户购物标签确定所述用户对货架上商品的需求，包括：

根据所述用户购物标签确定所述目标移动人员对货架上商品的初始需求；

确定所述目标移动人员的关联账号，并根据所述关联账号对应的用户购物标签确定关联需求；

根据所述初始需求、所述关联需求确定所述目标移动人员对货架上商品的最终需求。

8.根据权利要求5所述的一种智能货架的信息交互方法，其特征在于，所述根据目标移动人员对货架上商品的需求，确定与所述需求对应的多个推荐商品的商品信息，包括：

根据目标移动人员对货架上商品的需求，确定与所述需求对应的初始目标商品；

根据预存的关联商品表，确定所述初始目标商品是否存在关联商品；

若存在，则确定所述初始目标商品和所述关联商品的商品信息，其中，所述推荐商品包括初始目标商品和关联商品。

9.一种电子设备，其特征在于，该电子设备包括：

至少一个处理器；

存储器；

至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1-8中任一项所述智能货架的信息交互的方法。

10.一种计算机可读存储介质，其特征在于，包括：存储有能够被处理器加载并执行如权利要求1-8中任一种方法的计算机程序。

Images