CN109242547A

CN109242547A - 智能导购机器人系统的控制方法及计算机可读存储介质

Info

Publication number: CN109242547A
Application number: CN201810949730.4A
Authority: CN
Inventors: 饶昙
Original assignee: Shenzhen Wei Lin Mao Biotechnology Co Ltd
Current assignee: Shenzhen Wei Lin Mao Biotechnology Co Ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2019-01-18

Abstract

本发明公开了一种智能导购机器人系统的控制方法及计算机可读存储介质，其中，该方法包括：获取摄像头在收银台区域所拍摄的第一监控视频；通过人脸识别算法提取出所述第一监控视频中的目标特征信息作为样本输入数据，基于面部表情的满意度评价模型进行计算，获得所述不同目标消费者的满意度评价结果，并更新店面满意度数据库中的满意度评价结果；根据所述店面满意度数据库中存储的满意度评价结果以及确定的所述店面信息，通过导购机器人推荐符合预设满意度的店面给用户。实现了智能导购机器人系统导航功能的准确性和目的性。

Description

智能导购机器人系统的控制方法及计算机可读存储介质

技术领域

本发明涉及机器人领域，具体涉及一种智能导购机器人系统的控制方法及计算机可读存储介质。

背景技术

一般的智能导购机器人会为顾客提供路线咨询、路线带领、目标商店指示等功能。而现今，经济越来越发达，实体经济发真的越来越好，各大型商场不仅仅面积大、店面种类齐全，且同类商品店面越来越多。这样，对刚来光临商场的顾客其实是很不方便的，他们并不能够快速、准确的找到自己需要的且最好的店面及其地址。

发明内容

本发明的主要目的在于提供一种智能导购机器人系统的控制方法，旨在解决现有技术中导购机器人并不能及时、准确的为需求顾客找到他们要求的、具体的店面的技术问题。

为实现上述目的，本发明提供一种智能导购机器人系统的控制方法，所述智能导购机器人系统包括设置于商场内的多个摄像头、在所述商场内可移动地设置的多个导购机器人、以及服务器，所述智能导购机器人系统的控制方法包括步骤：

获取设置于所述商场内的店面收银台区域的摄像头所拍摄的第一监控视频，通过人脸识别算法提取出所述第一监控视频中的目标特征信息，其中，所述目标特征信息为所述第一监控视频中位于所述店面收银台区域的不同目标消费者的人脸动态信息；

将所述目标特征信息作为样本输入数据，通过基于面部表情的满意度评价模型进行计算，获得所述不同目标消费者的满意度评价结果，其中，所述基于面部表情的满意度评价模型为根据误差反向传播算法所构建的神经网络模型；

根据所述不同目标消费者的满意度评价结果更新所述服务器上存储的店面满意度数据库中的满意度评价结果；

获取所述导购机器人接收到的用户的导购输入请求，确定用户的导购需求；

根据所述导购需求，确定与所述导购输入请求对应的店面信息；

获取存储于所述服务器的所述店面满意度数据库，根据确定的所述店面信息查询所述店面满意度数据库中存储的满意度评价结果，通过所述导购机器人推荐符合预设满意度的店面给所述用户。

更优地，所述满意度数据库是所述服务器基于所述满意度评价模型通过预先获取的样本训练数据进行训练运算后所获得的。

更优地，所述预设满意度为所述满意度数据库中所有同类型店面的对应满意度评价结果最高的三个。

更优地，所述神经网络模型用于根据输入的所述第一监控视频中包含位于收银台区域的不同目标消费者的人脸动态信息的所述目标特征信息，判断所述样本输入数据的面部表情是否是笑脸。

更优地，所述满意度评价模型为根据误差反向传播算法所构建的神经网络模型的步骤中，所述误差反向传播算法的计算过程由正向计算过程和反向计算过程组成；

所述正向计算过程，包括：样本输入数据经隐单元层逐层处理，并转向输出结果，在输出结果得到输出与预设的期望值不符合时，转入反向计算；

所述反向计算过程，包括：将所述输出与预设的期望值不符合时所生成的输出结果作为误差信号沿算法原路返回，修改所述神经网络模型中各神经元的权值，以调整所述误差信号至预设的范围内，返回所述正向计算过程。

更优地，所述正向计算过程的具体计算方法包括：

其中，x_i为目标特征信息，b_j为阈值，w_ij为权值，S_j为输出结果。

更优地，所述反向计算过程计算的结果是第j+1个样本输入数据计算时的阈值b_j+1以及权值w_i(j+1)，其结果反作用于所述神经网络模型。

更优地，还包括以下步骤：

获取设置于所述商场内的店面消费区域的摄像头所拍摄的第二监控视频，根据第二监控视频通过人脸识别算法和图像识别算法统计店面内消费者个数，当消费者个数达到该店面的最大预设人数时，确定该店面为满员店面，向导购机器人发送关于该满员店面人满的警告信息；其中，所述店面的最大预设人数由该商家预设，并存储在所述导购机器人内；

所述通过所述导购机器人推荐符合预设满意度的店面给所述用户的步骤之后，还包括步骤：

根据所述警告信息，判断所述导购机器人给所述用户推荐的符合预设满意度的店面中是否存在所述满员店面；

在推荐的所述符合预设满意度的店面包含所述满员店面时，会将所述警告信息随同所述满员店面的信息一同显示。

本发明还提供一种智能导购机器人系统，包括设置于商场内的多个摄像头、在所述商场内可移动地设置的多个导购机器人、以及服务器，所述服务器包括存储器、处理器以及计算机程序，所述处理器执行所述计算机程序时实现上述智能导购机器人系统的控制方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的智能导购机器人系统的控制方法的步骤。

本发明的技术方案中，通过商场内的多个摄像头中，获取的第一监控视频，通过人脸识别算法识别出所有目标特征信息，所述目标特征信息再通过误差反向传播算法所构建的神经网络模型实时更新店面满意度数据库中存储的满意度评价结果，响应用户的导购输入请求，确定用户的导购需求，根据所述导购需求，确定与所述导购输入请求对应的店面信息，根据所述店面满意度数据库中存储的满意度评价结果以及确定的所述店面信息，推荐符合预设满意度的店面给所述用户，实现了智能导购机器人系统快速、准确的为需求顾客找到他们要求的、具体的店面的技术问题。

附图说明

图1为本发明一实施例中的智能导购机器人系统的模块架构示意图；

图2为本发明一实施例中的智能导购机器人的结构示意图；

图3为本发明一实施例中的智能导购机器人系统的控制方法的流程图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

请一并参考图1和2，本发明一具体实施例中提供一种智能导购机器人系统，包括设置在商场各店面内收银台区域的多个摄像头1，在商场内部可自由活动的多个智能导购机器人2，以及服务器3。其中，服务器3分别与多个摄像头1、多个智能导购机器人2通信连接。

所述服务器3可以包括控制电路板单元5以及电源模块6等。所述控制电路板单元5包括第一通信模块51、存储器52、处理器53以及存储在所述存储器52中并可在所述处理器53上运行的计算机程序，该控制电路板单元5与所述电源模块6连接。

所述智能导购机器人2包括机器人本体21以及行进驱动装置22，其中，所述机器人本体21包括中央处理器211、存储器单元(图未示出)、触摸显示屏212、定位模块213以及第二通信模块214等。

其中，所述服务器3可以通过第一通信模块51发送远程控制指令至所述行进驱动装置22，以控制该行进驱动装置22在路面移动。

摄像头1采集商场里每个店面内收银台区域的第一监控视频，具体的，本实施例中的，商场里每个店面内都有一台或多台摄像头全方位的拍摄店面内的收银台区域和消费区域，并将所采集到的监控视频实时发送至服务器3中的处理器53。

其中，在本实施例中，收银台区域的监控视频为第一监控视频，消费区域的监控视频为第二监控视频。

服务器3的处理器53根据获取的该第一监控视频，通过人脸识别算法识别出该第一监控视频的目标特征信息，所述处理器53经数据传输把该目标特征信息存储在所述存储器52中。所述目标特征信息为所述第一监控视频中位于所述店面收银台区域的不同目标消费者的人脸动态信息。

所述处理器53进一步根据该目标特征信息，通过根据误差反向传播算法所构建的神经网络算法得到该第一监控视频对应的本次的满意度评价结果。所述处理器53读取满意度数据库中该店面已存在的满意度评价结果，求取上述两次满意度评价结果的平均值，得到最终满意度评价结果，并把该最终满意度评价结果存储至满意度数据库中，取代该店铺已存在的满意度评价结果。

可以理解的是，在其他实施方式中，也可以将所述基于该第一监控视频计算的本次的满意度评价结果直接替换满意度数据库中该店面已存在的满意度评价结果；或者对所述基于该第一监控视频计算的本次的满意度评价结果以及满意度数据库中该店面已存在的满意度评价结果进行加权计算得到最终的满意度评价结果。

用户通过智能导购机器人2的触摸显示屏212可以输入需求指令。

智能导购机器人2通过第二通信模块214与服务器3的第一通信模块51的配合进行通信。智能导购机器人2可以向服务器3发送指令和传输数据，所述指令包括查询指令、指路指令等，所述数据可以包括位置数据、图像数据等。

智能导购机器人2还可以通过定位模块213对该智能导购机器人2的实时位置进行定位，并将当前的位置信息发送至服务器3。

在服务器3接收到指路指令时，处理器53根据指路指令中的目的地信息，以及接收到的所述定位模块213侦测到的当前位置信息，生成行进路线。

服务器3可以通过第一通信模块51将所述行进路线发送到智能导购机器人2，以使所述智能导购机器人2的进驱动装置22按照该接收到的行进路线在路面进行移动，从而运动到所述目的地。

可以理解的是，所述服务器3还可以将所述行进路线发送至所述智能导购机器人2的触摸显示屏212进行显示。

在所述智能导购机器人2的触摸显示屏212被触发查询指令时，所述触摸显示屏212显示可选择的商品类别，所属商品类别包括一级目录和二级目录，所述一级目录包括服装、食物、日用品等，每一个一级目录下面显示一个二级目录，二级目录是对一级目录的细化，例如所述一级目录服装下面的二级目录包括男装、女装、运动服等各类特征词，再例如，所述一级目录食物下面的二级目录包括火锅、湘菜、粤菜、日料、法餐等。当所述商品类别的二级目录中的一个或多个项目被用户选定之后，所述智能导购机器人2通过第二通信模块214将被选定的所述商品类别的二级目录中的一个或多个项目发送给服务器3。

所述服务器3接收到智能导购机器人2发送过来的被用户选定的商品类别的二级目录之后，所述处理器53获取满意度数据库中符合该二级目录的所有店铺的满意度评价结果，并将符合预设满意度的店面给所述智能导购机器人2的触摸显示屏212上进行显示，例如评价结果最高的三个或者评价数量最多的三个推送给智能导购机器人2。

服务器3还可以获取符合该二级目录的所有店铺的第二监控视频，通过人脸识别算法和图像识别算法统计店面内消费区域的消费者个数，当消费者个数达到店面的最大预设人数时，确定该店面为满员店面，向智能导购机器人2发送关于该满员店面人满的警告信息。进一步地，服务器3还可以根据该警告信息，判断所述智能导购机器人2给所述用户推荐的符合预设满意度的店面中是否存在所述满员店面；在推荐的所述符合预设满意度的店面包含所述满员店面时，会将所述警告信息随同所述满员店面的信息一同发送至智能导购机器人2的触摸显示屏212上进行显示，完成此次查询。

这样，所述智能导购机器人系统实现了快速、准确的为需求顾客找到他们要求的、具体的店面的技术问题。

本实施例中，如图3所示，本发明的实施例提供了一种智能导购机器人系统的控制方法，具体过程如下：

步骤S1，获取设置于所述商场内的店面收银台区域的摄像头所拍摄的第一监控视频；

所述步骤S1中，服务器3的处理器53根据计时器实时发出接收指令，控制摄像头1的传输在有效时间内传出所拍摄到的第一监控视频。服务器3同步调取每个店面的具体信息，与该店面的摄像头发送过来的第一监控视频匹配。所述每个店面的具体信息是指店面卖家递交的关于店面的具体资料，包括店面经营类型、店面名字等。摄像头1开始发送第一监控视频后，存储器52将接收到的视频数据保存为第一监控视频。

进一步地，每一个店面具有一个及以上的摄像头，分布在收银台区域和消费区域。

步骤S2，根据所述第一监控视频，通过人脸识别算法提取出所述第一监控视频中的目标特征信息，其中，所述目标特征信息为所述第一监控视频中位于收银台区域的不同目标消费者的人脸动态信息。

所述步骤S2中，服务器3的处理器53读取存储器52中存储的第一监控视频，根据人脸识别算法和图像识别算法过滤掉所有穿制服的服务生的脸，识别出所有消费者人脸，并截取消费者人脸在收银台区域所有的人脸动态信息，记为目标特征信息，存入存储器52。

步骤S3，将所述目标特征信息作为样本输入数据，通过基于面部表情的满意度评价模型进行计算，获得所述不同目标消费者的满意度评价结果，其中，所述基于面部表情的满意度评价模型为根据误差反向传播算法所构建的神经网络模型。

所述步骤S3中，服务器3的处理器53调用面部表情的满意度评价模型进行评估计算，首先读取样本输入数据，所述样本输入数据为存储器52中存储的所述目标特征信息，然后神经网络模型先分析计算出误差反向传播算法所需要的算法输入数据，然后使用误差反向传播算法计算，得到不同面部信息的满意度结果。

进一步地，所述算法输入数据就是神经网络分析人脸动态信息的具体数据，包括嘴角弯曲弧度、嘴角弯曲弧度变化率、露出牙齿的颗数、嘴角弯曲弧度持续时间等。

进一步地，所述满意度评价模型为根据误差反向传播算法所构建的神经网络模型的步骤中，所述误差反向传播算法的计算过程由正向计算过程和反向计算过程组成；

进一步地，所述正向计算过程的具体计算方法包括：

进一步地，所述反向计算过程计算的结果是第j+1个样本输入数据计算时的阈值b_j+1以及权值w_i(j+1)，其结果反作用于所述神经网络模型。所述面部表情的满意度评价模型，不仅评估计算出消费者的满意度，还能优化自身的神经网络模型，增加下一次的计算成功概率。

步骤S4，根据所述不同目标消费者的满意度评价结果更新店面满意度数据库中的满意度评价结果；

所述步骤S4中，满意度数据库读取所述神经网络模型计算出的本次满意度评价结果，对所述本次满意度评价结果与对应店面在满意度数据库中的满意度评价结果取均值，得到的均值即是满意度数据库中更新后的满意度评价结果。

进一步地，所述满意度数据库是基于所述满意度评价模型通过预先获取的样本训练数据进行训练运算后所获得的。所述样本训练数据是根据最初的顾客满意度调差问卷和人脸数据分析得到的，把人脸数据分析作为神经网络模型输入，把顾客满意度调差问卷作为神经网络输出，计算出初始的阈值b_i和权值w_ij，建立起初始的神经网络模型。

步骤S5，响应用户的导购输入请求，确定用户的导购需求；

所述步骤S5中，智能导购机器人2将触摸显示屏212所接受到的指令发送至服务器3；当用户在触摸显示屏212触发的指令为用户输入的引导购物的指令时，处理器53根据接收到的所述指令，响应用户的导购输入请求，确定用户的导购需求。

步骤S6，根据所述导购需求，确定与所述导购输入请求对应的店面信息；

所述步骤S6中，处理器53响应用户输入的引导购物的指令，根据所述导购需求，读取出与所述导购输入请求对应的所有店面信息，如：用户输入女装，则读取出所有的包括女装的店铺。

步骤S7，根据所述店面满意度数据库中存储的满意度评价结果以及确定的所述店面信息，推荐符合预设满意度的店面给所述用户。

所述步骤S7中，读取出满意度数据库里步骤S6中确定的对应店铺的满意度评价结果，找出评价结果最高的三个，发送消息至智能导购机器人2，输出在服务器3的触摸显示屏上。

进一步地，获取设置于所述商场内的店面消费区域的摄像头所拍摄的第二监控视频，根据第二监控视频通过人脸识别算法统计店面内消费者个数，当消费者个数达到该店面的最大预设人数时，向智能导购机器人发送关于该店面人满的警告指令；

根据用户的导购需求，推荐符合其导购需求的店铺包含所述消费者个数达到该店面的最大预设人数时，会将所述警告指令发送到所述店铺信息附近；

所述该店面的最大预设人数属于店面基本信息，由商家提供。

实施本实施例，通过商场内的多个摄像头中，获取的第一监控视频，通过人脸识别算法识别出所有目标特征信息，所述目标特征信息再通过误差反向传播算法所构建的神经网络模型实时更新店面满意度数据库中存储的满意度评价结果，响应用户的导购输入请求，确定用户的导购需求，根据所述导购需求，确定与所述导购输入请求对应的店面信息，根据所述店面满意度数据库中存储的满意度评价结果以及确定的所述店面信息，推荐符合预设满意度的店面给所述用户，实现了智能导购机器人系统快速、准确的为需求顾客找到他们要求的、具体的店面的技术问题。

请再次参考图1-图3，本发明提供的服务器3中，所述处理器53执行所述计算机程序时实现如上任一项实施例所述的智能导购机器人系统的控制方法的步骤。

本发明中有一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器53执行时实现如上任一项实施例所述的智能导购机器人系统的控制方法的步骤。

示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，由于计算机可读存储介质的计算机程序被处理器53执行时实现上述的多租户数据库的隔离访问方法的步骤，因此上述方法的所有实施例均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。

在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种智能导购机器人系统的控制方法，所述智能导购机器人系统包括设置于商场内的多个摄像头、在所述商场内可移动地设置的多个导购机器人、以及服务器，其特征在于，所述智能导购机器人系统的控制方法包括步骤：

获取设置于所述商场内的店面收银台区域的摄像头所拍摄的第一监控视频；

通过人脸识别算法提取出所述第一监控视频中的目标特征信息，其中，所述目标特征信息为所述第一监控视频中位于所述店面收银台区域的不同目标消费者的人脸动态信息；

2.如权利要求1所述的智能导购机器人系统的控制方法，其特征在于，所述满意度数据库是所述服务器基于所述满意度评价模型通过预先获取的样本训练数据进行训练运算后所获得的。

3.如权利要求1所述的智能导购机器人系统的控制方法，其特征在于，所述预设满意度为所述满意度数据库中所有同类型店面的对应满意度评价结果最高的三个。

4.如权利要求1所述的智能导购机器人系统的控制方法，其特征在于，所述神经网络模型用于根据输入的所述第一监控视频中包含位于收银台区域的不同目标消费者的人脸动态信息的所述目标特征信息，判断所述样本输入数据的面部表情是否是笑脸。

5.如权利要求1-4中任一项所述的智能导购机器人系统的控制方法，其特征在于，所述满意度评价模型为根据误差反向传播算法所构建的神经网络模型的步骤中，所述误差反向传播算法的计算过程由正向计算过程和反向计算过程组成；

6.如权利要求5所述的智能导购机器人系统的控制方法，其特征在于，所述正向计算过程的具体计算方法包括：

7.如权利要求6所述的智能导购机器人系统的控制方法，其特征在于，所述反向计算过程计算的结果是第j+1个样本输入数据计算时的阈值b_j+1以及权值w_i(j+1)，其结果反作用于所述神经网络模型。

8.如权利要求1所述的智能导购机器人系统的控制方法，其特征在于，还包括步骤：

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的智能导购机器人系统的控制方法的步骤。