CN113126629B - 一种机器人主动搜索目标的方法及智能机器人 - Google Patents

一种机器人主动搜索目标的方法及智能机器人 Download PDF

Info

Publication number
CN113126629B
CN113126629B CN202110471862.2A CN202110471862A CN113126629B CN 113126629 B CN113126629 B CN 113126629B CN 202110471862 A CN202110471862 A CN 202110471862A CN 113126629 B CN113126629 B CN 113126629B
Authority
CN
China
Prior art keywords
target
robot
image
human body
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110471862.2A
Other languages
English (en)
Other versions
CN113126629A (zh
Inventor
王家政
张乐
辜雅婷
曾龙
高望
王中煜
周梅
文家伟
周俊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110471862.2A priority Critical patent/CN113126629B/zh
Publication of CN113126629A publication Critical patent/CN113126629A/zh
Application granted granted Critical
Publication of CN113126629B publication Critical patent/CN113126629B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Abstract

本发明提供一种机器人主动搜索目标的方法及智能机器人，方法包括：对于机器人所在的场景进行同步定位与建图扫描并构建能够遍历场景每个位置的路径；按照路径行走时实时获取场景的图像并处理得到图像的处理结果；根据图像的处理结果确定目标所在方位，根据方位调整机器人的移动方向和速率对目标进行趋向移动与跟随；当获取目标的正面图像时，对目标的正面图像进行人脸识别并根据识别到的人脸图像信息生成人脸特征信息并储存，判断在预设时间内是否与目标进行过互动，如没有，则对目标发出互动请求；如有，则放弃目标，重新寻找目标；在发出互动请求后的预设时间内若没有接收到目标的响应则放弃目标；若接收到目标的响应则继续与用户互动。

Description

一种机器人主动搜索目标的方法及智能机器人
技术领域
本发明涉及零售服务机器人技术领域，尤其涉及一种机器人主动搜索目标的方法及智能机器人。
背景技术
随着人工智能、机器人等新兴技术的普及，当前服务机器人的应用领域不断扩大，如办公楼、科技馆、游乐园等等。克服了传统贩卖机无法移动的困难之后，当前仍有许多问题待解决：(1)排队和休息区场景中的消费者需要购买商品但因排队原因无法离开当前位置；(2)休息区电子产品的使用频繁但针对充电宝租赁归还的服务并不完善；(3)主动趋向目标人群进行叫卖的售卖机器人在以上场景下的应用有待开发。(4)目前主流的排队场景均在以实体排队到线上排队方式过渡，随着未来线上排队系统的普及，休息区的服务会逐渐被重视。
现有技术中缺乏一种使用方便、高效的机器人。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种机器人主动搜索目标的方法及智能机器人。
为了解决上述问题，本发明采用的技术方案如下所述：
一种机器人主动搜索目标的方法，包括如下步骤：S1：对于机器人所在的场景进行同步定位与建图扫描并构建能够遍历所述场景每个位置的路径；S2：所述机器人按照所述路径行走时，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果；S3：根据所述图像的处理结果确定目标所在方位，根据所述方位调整所述机器人的移动方向和速率对所述目标进行趋向移动与跟随；S4：当获取所述目标的正面图像时，对所述目标的正面图像进行人脸识别并根据识别到的人脸图像信息生成人脸特征信息并储存，根据所述人脸特征信息判断在预设时间内是否与所述目标进行过互动，如没有，则对所述目标发出互动请求；如有，则放弃所述目标，重新寻找目标；S5：在发出互动请求后的预设时间内若没有接收到所述目标的响应则放弃所述目标；若接收到所述目标的响应则继续与所述用户互动。
优选地，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果包括如下步骤：S21：实时采集所述机器人所在的所述场景的图像；S22：对所述图像进行基于深度学习算法的实例分割与人体检测，检测所述图像内是否有目标人体并对所述目标人体进行图像分割与标记，预测遮挡的实际人体实例并生成目标人体掩膜；S23：对所有所述目标人体进行排序得到目标排序；S24：使用RNN聚类获取所述目标排序中排序第一的所述目标人体的图像像素的中心点并获取所述目标人体与所述机器人的距离。
优选地，对所有所述目标人体进行排序得到目标排序依据如下指标：根据所述目标人体掩膜所占面积，面积越大优先值越高；对所述目标人体距离所述机器人远近进行排序，距离越近优先值越高；所述目标名单中去除在所述预设时间内进行过互动的所述目标，剩余目标中加权权重指数最高的所述目标人体为目标。
优选地，采用基于Faster RCNN框架的YOLACT算法对所述图像进行实时实例分割与补齐预测，并以像素为单位进行图像大小统计。
优选地，所述目标名单中去除在所述预设时间内进行过互动的所述目标包括；基于对于所述人脸识别特征信息的存储与递归搜索并采取假设检验置信度检测的方式进行评估与判断，若所述人脸识别特征信息匹配，则认为进行过互动。
优选地，采用TCDCN算法对于基于图像处理的计算机视觉任务进行人脸特征信息提取，并将深度学习算法提取出的特征图信息进行储存。
优选地，还包括：对单位时间内机器所接触目标人群数量进行评估。
优选地，所述评估方法如下：
K＝Pi|ri＜R，i∈N
Figure GDA0003901917580000021
Rw＝Cw/T
Rn＝Cn/T
其中，N是目标总数量，Pi是表示目标个体，Cw是原机器人与目标接触次数，Cn是机器人与目标接触次数，T是服务模拟运行时长，Rw是原机器人服务效率，Rn是机器人服务效率，R是服务检测半径设定值，ri是机器人与第i目标距离，K是一时刻机器人服务检测半径内目标数量。
优选地，与所述目标的互动包括语音交互、手势交互、屏幕交互或动作交互。
本发明还提供一种智能机器人，采用如上任一所述的机器人主动搜索目标的方法；从上到下依序包括：头部区域、机器人主体以及机器人底座；所述头部区域包括头部外壳、触摸显示屏、双目深度相机；所述触摸显示屏、所述双目摄像头位于所述头部外壳侧斜面；所述双目摄像头位于所述触摸显示屏上方；所述机器人底座包括底部深度相机、激光雷达、可移动底盘；所述底部双目摄像头位于所述可移动底盘侧面；所述激光雷达位于可移动底盘的夹层中。
本发明的有益效果为：提供一种机器人主动搜索目标的方法及智能服务机器人，通过智能化搜索算法实现机器人自主移动与主动趋向目标人群，并进行智能化交互，以此进一步满足顾客需求，基于此可以进一步创新并重新定义定机器人的售卖方式。
附图说明
图1是本发明实施例中一种机器人主动搜索目标的方法的示意图。
图2是本发明实施例中一种得到图像的处理结果的方法示意图。
图3是本发明实施例中是又一种机器人主动搜索目标的方法的示意图。
图4(a)-图4(b)是本发明实施例中是本发明提供一种机器人的结构示意图
图5是本发明实施例中一种机器人主动搜索目标的流程示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种机器人主动搜索目标的方法，包括如下步骤：
S1：对于机器人所在的场景进行同步定位与建图扫描并构建能够遍历所述场景每个位置的路径；
S2：所述机器人按照所述路径行走时，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果；
S3：根据所述图像的处理结果确定目标所在方位，根据所述方位调整所述机器人的移动方向和速率对所述目标进行趋向移动与跟随；
S4：当获取所述目标的正面图像时，对所述目标的正面图像进行人脸识别并根据识别到的人脸图像信息生成人脸特征信息并储存，根据所述人脸特征信息判断在预设时间内是否与所述目标进行过互动，如没有，则对所述目标发出互动请求；如有，则放弃所述目标，重新寻找目标；
S5：在发出互动请求后的预设时间内若没有接收到所述目标的响应则放弃所述目标；若接收到所述目标的响应则继续与所述用户互动。
本发明提供的机器人主动搜索目标的方法，通过对机器人所在的场景进行同步定位与建图扫描并构建能够遍历所述场景每个位置的初始路径，然后根据路径中的目标人群进行趋向移动与跟随，主动寻找互动目标并进行交互。
如图2所示，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果包括如下步骤：
S21：实时采集所述机器人所在的所述场景的图像；
S22：对所述图像进行基于深度学习算法的实例分割与人体检测，检测所述图像内是否有目标人体并对所述目标人体进行图像分割与标记，预测遮挡的实际人体实例并生成目标人体掩膜；
S23：对所有所述目标人体进行排序得到目标排序；
S24：使用RNN聚类获取所述目标排序中排序第一的所述目标人体的图像像素的中心点并获取所述目标人体与所述机器人的距离。
可以理解的是，机器人按照场景规划的路径行走时，实时采集图像寻找目标人体，对采集到的图像中的目标人体进行目标排序，并获取排序第一的目标发出互动请求；进一步地，如果机器人之前与场景内的目标进行过互动，可以根据目标的人脸特征信息判断预设时间内是否进行过互动，如有，则放弃该目标，继续寻找下一个目标，如没有，则发出互动请求。
可以理解的是，机器人也可以接受目标发出的互动请求，比如目标可以主动趋向机器人发起互动，机器人不会受到预设时间内进行互动的限制，而会及时响应目标的互动。
综上，机器人在主动发起与目标的互动时，为保证互动成功，会判断预定时间内是否与目标进行过互动，但是当接受目标主动发起的互动请求时会及时响应。
本发明并不限制机器人与目标的互动形式，包括语音交互、手势交互、屏幕交互或动作交互中的至少一种。其中，动作交互是指机器人的形体动作。
在本发明的一种实施例中，对所有所述目标人体进行排序得到目标排序依据如下指标：
根据所述目标人体掩膜所占面积，面积越大优先值越高；
对所述目标人体距离所述机器人远近进行排序，距离越近优先值越高；
所述目标名单中去除在所述预设时间内进行过互动的所述目标，剩余目标中加权权重指数最高的所述目标人体为目标。
具体地，采用基于Faster RCNN框架的YOLACT算法对所述图像进行实时实例分割与补齐预测，并以像素为单位进行图像大小统计。
在本发明的另一种实施例中，所述目标名单中去除在所述预设时间内进行过互动的所述目标包括；
基于对于所述人脸识别特征信息的存储与递归搜索并采取假设检验置信度检测的方式进行评估与判断，若所述人脸识别特征信息匹配，则认为进行过互动。
具体地，采用TCDCN算法对于基于图像处理的计算机视觉任务进行人脸特征信息提取，并将深度学习算法提取出的特征图信息进行储存。
如图3所示，在本发明的一种实施例中，还包括：对单位时间内机器所接触目标人群数量进行评估。
具体地，所述评估方法如下：
K＝Pi|ri＜R，i∈N
Figure GDA0003901917580000061
Rw＝Cw/T
Rn＝Cn/T
其中，N是目标总数量，Pi是表示目标个体，Cw是原机器人与目标接触次数，Cn是机器人与目标接触次数，T是服务模拟运行时长，Rw是原机器人服务效率，Rn是机器人服务效率，R是服务检测半径设定值，ri是机器人与第i目标距离，K是一时刻机器人服务检测半径内目标数量。
本发明还提供一种智能机器人，采用如上任一所述的机器人主动搜索目标的方法；从上到下依序包括：头部区域、机器人主体以及机器人底座；
所述头部区域包括头部外壳、触摸显示屏、双目深度相机；所述触摸显示屏、所述双目摄像头位于所述头部外壳侧斜面；所述双目摄像头位于所述触摸显示屏上方；
所述机器人底座包括底部深度相机、激光雷达、可移动底盘；所述底部双目摄像头位于所述可移动底盘侧面；所述激光雷达位于可移动底盘的夹层中。
如图4(a)和图4(b)所示，是本发明提供一种机器人的结构示意图。其总体外观为一直立的仿人形机器，主要组成部分为：头部为圆形外壳，面部为可交互圆形触屏显示器，身体内部为一透明置物柜，背部挂载外置充电宝置物架，身体下部为一圆柱形可移动底盘。头部主要由球状仿生外壳3、圆形全面触摸屏1、屏下双目摄像头2和内部扬声器组成，主要用于实现交互功能。外壳可由塑料制品制备，触摸屏采用OLED技术，圆形显示，且屏幕上方内嵌了用于交互感知的双目摄像头，头部内部内嵌扬声器用于语音播放与交互。产品中段身体部位主要由智能化储物柜4和背部单独竖置充电宝租赁箱7组成，用于实现货品租赁和售卖功能。智能化储物柜内含商品架5，三层置物平台6，用于摆放待售卖的零食音频与纪念品等。滑动式柜门8由透明塑料制成，便于顾客挑选，门锁由电磁继电器控制，内部每层装有感知摄像头，可以自动对商品数量变化进行监控与结算。背部为一个内嵌的充电宝租赁箱，箱体和机器人背部集成为整体，并且在外观装涂上装饰为机器人的书包样式。产品底盘为一圆柱状底盘，内置48V可拆卸电源用于电量供应，移动方式为无刷电机驱动由两个主动轮与两个无驱动万向轮提供，可移动底盘12同时还集成了激光雷达11、底部双目深度相机10等环境感知传感器，用于返回和传递环境位置信息。
具体地，圆形全面触摸屏1、屏下双目摄像头2位于头部外壳3侧斜面；屏下双目摄像头2位于圆形全面触摸屏1上方。圆形全面触摸屏1、屏下双目摄像头2和球状仿生外壳3位于智能化储物柜4上方。置物平台6位于智能化储物柜4中，需要固定保持位置不变。商品架5位于置物平台6上方，螺栓固紧。滑动式柜门8为透明玻璃，位于智能化储物柜4侧面，智能化储物柜4一侧有滑动槽。充电宝租赁箱7位于机器人背部，需要固定。深度相机9采用EnsensoN353D相机，需要固定，一般不应该移动。底部双目摄像头10位于可移动底盘12侧面。激光雷达11采用PRLIDAR-S1 TOF激光雷达，位于可移动底盘12的夹层中。可移动底盘12位于智能化储物柜4下方。深度相机9赋予机器人识别置物柜中商品数量及种类的功能，在用户关上柜门之后自动识别被拿取的商品，完成自动扣款。
如上提出了一种用于兜售与服务的可移动人形机器人，其采用本发明的方法，运行的流程可归结如下：机器人在特定的区域内进行游走与叫卖，以此达到吸引顾客的目的，在移动的过程中实时对区域内部的人流密度进行监控与检测，并且移动至人流密度更多的地方。在无用户唤醒机器人的情况下，机器人会持续通过对上述人群检测自动检测游客密度较多的位置，主动趋向人群，并自主移动叫卖，触摸显示屏会实时刷新表情。
用户在排队或者休息时可以通过语音，手势交互方式唤醒机器人，从而使机器人被唤醒进入服务模式。机器人可以自主移动至用户身旁，用户则可以在触摸显示屏上进行商品游览，实现购物操作。机器人也能够提供充电宝租借归还和娱乐游戏等服务，提升用户体验。
在一次售卖或服务过程完成一段时间后，机器人将退出服务模式，继续进入兜售模式，直至下一次被唤醒。
本发明的机器人设计了一个搭载充电宝租赁背包、支持多种交互方式的自主售卖机器人，不仅满足了排队区域和休息区自主售卖服务的需求，并且提高了用户和机器人之间的交互体验。
用户可以通过在触摸显示屏上游览可购买商品，利用人脸识别或者扫描二维码的方式实现解锁机器人置物柜的操作，机器人自动打开柜门，用户直接拿取需要购买的商品，柜门自动关闭之后机器人将会扣款，节省用户购物的时间。深度相机9赋予机器人识别置物柜中商品数量及种类的功能，在用户关上柜门之后自动识别被拿取的商品，完成自动扣款。
机器人可以自主移动并主动叫卖，圆形全面触摸屏1可展示不同表情并且提供不同种类游戏，提升了机器人的趣味性和交互性。
本发明的机器人可广泛应用于游乐园、交易会、高科技展会等各种具有排队区域和休息区域的场景，比其他的交互方式单一，购买操作繁琐的服务机器人更能够吸引访客。机器人的工作可主要分为三个模块：主动趋向目标、机器人交互技术、自主移动避障。在机器人货柜中设计便捷拆卸的商品支架提高商品在机器人移动过程中的稳定性。
1.主动趋向目标人群
机器人周身安装有3-5个广角RGB-D深度相机，可覆盖周围360°内的所有视野。在完成一次售卖后，机器人首先在原地停留1-5秒，通过深度相机获取多张周围的深度信息图片，而后通过主动人群寻找检测算法进行下一次的服务。机器人拟采用基于图像的场景物体识别与分割算法(如Faster-RCNNr算法/Mask-RCNN算法)。机器人进行算法分割后，进行目标检测与判断，并最终锁定场景中目标人物主动进行交互。机器人控制系统接收信号后，传递给底盘控制板，控制机器人机身正面转向该方向，并沿该方向自主移动，搜寻具体目标。
此外，如有园区内配有大数据分析系统，位于云端的服务器可通过对于园区内摄像头所拍摄图像进行人流密度算法处理，从而对园区的人流疏密情况进行估计与分析，并将信息传递给机器人，使机器人由人少之处向人流密集处集中，以实现通过数据中心对于机器人协同的调控。
2.自主叫卖
在机器人移动过程中，其底盘与机身连接处的激光雷达可对周围环境进行高频的实时扫描，返回场景的3D点云特征。通过使用doublefusion/kinectfusion等三维场景重建算法在对周围的场景与物体进行重构后，通过网络模块传递给云端服务器，服务器通过深度学习点云处理算法对所输入点云进行分析与理解，用于区分周围环境是静态还是动态的，并进行人体检测，并将周围是检测到人体(人腿、人脸、人手等关键特征)，检测到的数量、方位、距离等详细参数传递到机器人的处理器中进行储存。
当机器人处理器运行机器人叫卖算法，以每秒10次的频率判断周围2米-3米内有无人体，如出现人体，则机器人处理器调动叫卖程序，进入叫卖模式。
进入叫卖模式后，系统会调用预设好并储存好的语音包，通过扬声器发出语音，吸引游客注意力并作主动介绍。同时，底盘从无目标游走状态切换为有目标状态，通过全向轮组合完成转向向目标顾客移动，保持约1米左右位置。自动收货箱内的所布置的LED串灯等美观的灯具亮起，用于展示货柜中所包含的商品。机器人头部的OLED屏幕交替放映拟人化表情包图像。
3.主动目标人群交互
通过上述自主叫卖功能，机器人可实现自主趋向目标游客并吸引注意。此处补充一种主动目标人群交互场景。
在对顾客执行叫卖功能后，以及随即游走过程中，本发明所述的机器人通过全景的语音感知模块——由360°多声道输入的音频检测设备组成的声音收集设备组，实现语音输入与目标方向的功能。机器人将所搜集语音上传到服务器实现敏感词汇检测，对预设的管家次进行实时检测，通过对语音当中的关键词如：“嘿，机器人”进行NLP处理与检索，进行筛选，如果筛选到与关键词条相匹配的语义时，反馈给机器人，进行音频分析与定位识别，确定语音方位，并自动将正面部分转向指定的语音方位。
除此之外，本发明可利用OLED屏幕上方的摄像头进行手势检测。摄像头位于机器人的正面，所返回的为每秒20帧的图像。机器人控制系统中内嵌了手势识别系统，通过逐帧的输入和检测，可以判断图片中有无特定交互手势(如：挥手、比心等)，当检测器触发手势检测系统时，系统自动对场景任务进行锁定，并进入主动交互功能。
4.售卖功能实现
本发明所述的机器人够进行日常商品的售卖无人自主售卖(食品、饮料、纪念品等)，其具体实现原理如下：
机器人底盘与头部间集成了一无人售货柜。其内部有三层空间，每层集成一个高清摄像头及10片铺于层间的压敏传感器。机器人通过算法对摄像头所回传图像与压敏传感器所回传重力参数进行算法识别，通过判断开门前后的参数变化，反馈商品变化情况。
本发明所述的机器人售货层开门方式为语音声控，其外置的透明塑料门最右侧内部有一电磁铁开关，电磁铁常开以保持吸力，当语音检测到“开门”指令后，电磁铁自动断电，同时马达牵引的透明塑料门绕下方圆形导轨旋转，实现自动开门，关门同理。
本发明预期能够在大型商场、游乐场等人员密集场所的排队区域进行自主游走与叫卖，吸引游客交互和购买/租用商品。本产品基于已有的深度学习的图像识别算法，可以实现对输入图片的感知和检测，预期能够实现的功能有：1.根据摄像头所返还图像，预测顾客年龄
根据摄像头所返还图像，检测顾客的特定动作，如招手/呼叫等。在识别到如小孩等特定对象或招手、呼叫等特定唤醒方式，本发明可通过感知判断和视觉追踪主动移动至顾客身边进行服务。智能售货柜为目标顾客提供了食品、饮料、纪念品等物品的售卖，顾客可通过扫码开锁，关门自动上锁扣费的方式进行消费。本发明背部集成的充电宝租赁装置也能给顾客提供充电宝租赁服务。在完成服务的过程中，本发明头部所集成的收音器与双目摄像头可对顾客的声音与动作表情等做出识别，并且通过可触摸屏幕与内置扬声器和顾客进行对话、手势等多种形式的互动。
自主移动避障底盘包含所有功能所需硬件：深度相机、红外传感器、激光雷达、超声波传感器和IMU惯性测量单元。利用多传感器数据融合对机器人周围环境进行感知，获得点云，构建高精度地图，最终实现3D全向避障。
本机器人采用的交互技术涵盖语音交互、手势交互、触屏交互，动作交互等多种交互方式，其中头部双目摄像头2对用户手部动作进行检测，实时进行手势追踪，并通过部分手势唤醒商品购买交互功能。触摸显示屏1可展示商品信息或者展示动态表情。
主动趋向目标功能包括对前一步环境感知所获取到的环境信息进行分析，根据几项评价指标，如人流密度，人群属性得到路径规划结果，最终定位目标人群。运动路径的生成原理结合了局部路径规划和全局路径规划提高趋向目标人群的效率。
如图5所示，是本发明提供一种机器人主动搜索目标的流程示意图。对于场景进行SLAM扫描，按照路径扫描所生成场景进行场景模型重构，并使用模拟退火算法(SimulatedAnnealing)构建能够遍历场景位置的路径，在图像识别无人体检测输入时，机器人沿该算法所规划的路径行驶。
然后，进行图像识别部分，使用机器人头部所带深度相机对于场景进行扫描，并实时返回目标与距离信息。其具体执行步骤为以下几步：
由深度相机以机器人视角对场景进行图像采集，得到640x480像素RGB-D图像并回传给机器人算法处理模块作为数据输入
利用深度学习算法中的Faster-RCNN算法对输入图像进行实例分割与人体检测，检测图像区域内是否有人体，以及对人体进行图像分割与标记。
依据指标：1.根据人体预测生成掩膜在图像中所占比例大小2.人体与机器人实际距离深度3.排除已服务顾客名单，对人体距离机器人远近进行排序，选取距离机器人最近的人体实例为目标，并将该目标所占据的图像像素作为返回值。
使用RNN聚类计算返回的图像像素的中心点，记录其坐标，并从深度图像中读取该点的深度值，以此表示机器人与人间距离。
通过深度相机实时检测并返回上述最近人体目标与实时距离作为输出。
不再执行固定路径规划行驶，根据图像识别所返回目标在图片中的位置以及所返回深度信息，调整机器人移动的速率与方向，对目标进行趋向移动与跟随
当获取获取目标正面图像时，对目标进行人脸识别并储存人脸信息并将其编号。判断10min内有无进行服务，如果有则放弃该目标，重新进行目标寻找，如果没有则继续执行下一步骤。
当激光雷达检测到移动至距离目标0.5m内时，转向顾客正面，并触发交互模式，进行主动沟通与交互。
等待10s时间，判断顾客是否有交互意愿与交互动作，若有则进行下一步操作，若没有则放弃该目标，重新进行目标寻找。
进入售卖服务模式，向顾客出售相应货品或提供服务。
每隔10s判断服务是否已经完成，若已完成则退出当前模式，重新返回步骤1，若未完成则继续保持当前模式。
本发明所提出的机器人可以基于距离判断与短时间内是否重复服务为判断依据，从而实现主动目标人群寻找的目标。
在本发明的一种具体的实施例中，基于如上所提出机器人主动搜索目标的方法，将上述方法应用在可移动自主售卖机器人中。可移动自主售卖机器人被安置于某大型主题乐园的岔路口旁休息区处。休息区可简化为一5m×10m的正方形面积区域，区域边缘贴有反光胶布，可被机器人所识别，休息区内有行人穿过与途径，休息区除边缘外无其他障碍物。将一台上述机器人放置在该区域内，其具体实施例可表述如下：
游乐园尚未处于开放状态，机器人没有检测到目标周围有行人，首先对区域边缘进行扫描，并进行虚拟场景重建，在系统中生成了一个5m×10m正方形地图。
随后，根据路径规划算法，机器人自动生成了一条蛇形扫描的路径，机器人可沿该路径在休息区中进行移动，移动的速度为1m/s。
游乐园开放后，游人逐渐增多，机器人所在休息区此时也进入了很多人群，进行等待、排队、休息等相关活动。机器人在沿既定路线巡逻时，开始进行主动人群搜索与趋向。
在机器人移动时，深度相机对机器人正前方以20帧的速率进行图像捕捉，图像像素为640x640，并且回传给机器人的处理器进行识别与判断，以便对下一步的行动做出指示。
某时刻，深度相机拍摄照片内，共出现三人，分别为甲、乙、丙。经过图像分割算法进行分割与识别后，甲乙丙三人均被算法所识别出来，并在图像中打上标记A、B、C。
经过初步识别，甲乙丙三人在图像中所占原始面积为：甲占30000像素；乙占20000像素；丙占25000像素，将该信息存储在A、B、C三个标签下后，对像素进行中心搜索。
经像素中心搜索发现，甲所占区域像素的中心坐标为[200,435]，乙所占区域像素的中心坐标为[300,435]，丙所占区域像素的中心坐标为[400，100]，经过查找对应像素的深度值，可得甲与乙的中心像素深度为1-2m范围内，丙的中心像素深度为3-4m范围内，将上述信息存储在A、B、C三个标签下后，进行距离比较与筛选。
经过距离比较，甲与乙两个目标所在同一个深度范围内，为距机器人最近目标，优先考虑，丙因为距机器人较远，排序在后，此时进行判断，是否有唯一目标？经过判断发现位于同一距离段内有甲、乙两个目标，需要进一步排序与判断。
对于同一距离段的目标进行所占像素面积排序，通过查阅对应标签下的像素面积信息可知，甲占30000像素，乙占20000像素，由此进行判断，甲的优先级比乙大。
通过两步判断，目前对于图像中目标的优先级排序如下：甲>乙>丙，且三者的像素面积信息，中心坐标信息，距离信息分别被储存在标签A、B、C中。
此时锁定目标为甲，对于目标游客甲展开跟随追踪。在追踪过程中，进行实时距离检测，当检测到距离缩短到1m以内是，开始进行语音交互，播放如：“嗨，你好，请问需要购买什么东西吗？”的语音包引导顾客交互。
在跟随追踪与服务的过程中，对于目标甲进行人脸检测，将检测到的人脸信息储存到甲所对应的标签A中，并判断甲的人脸信息是否与已服务人员特征清单库中信息匹配，如果匹配则放弃该目标，继续进行下一目标搜索，如果无匹配对象则继续与甲完成交互与服务流程。
当甲拒绝了交互或是选择了购买物品完成交互后，将标签A中所有信息提取，并给予编号如：“00001”，存储至已服务人员特征清单库中并给予一个10min的倒计时，当倒计时时间归零后自动将其信息从已服务人员特征清单库移出，以此达到避免在短时间内多次与同一顾客交互影响到其游玩体验的目的。
至此，机器人完成一次目标寻找与交互的全部过程，随后继续依据路径规划进行区域扫描，并继续进行主动目标寻找。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandomAccess Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static RandomAccess Memory)、同步静态随机存取存储器(SSRAM，Synchronous StaticRandomAccess Memory)、动态随机存取存储器(DRAM，Dynamic RandomAccess Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous DynamicRandomAccess Memory)、增强型同步动态随机存取存储器(ESDRAM Enhanced SynchronousDynamic RandomAccess Memory)、同步连接动态随机存取存储器(SLDRAM，Sync LinkDynamic RandomAccess Memory)、直接内存总线随机存取存储器(DRRAM，Direct RambusRandomAccess Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种机器人主动搜索目标的方法，其特征在于，包括如下步骤：
S1：对于机器人所在的场景进行同步定位与建图扫描并构建能够遍历所述场景每个位置的路径；
S2：所述机器人按照所述路径行走时，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果；
S3：根据所述图像的处理结果确定目标所在方位，根据所述方位调整所述机器人的移动方向和速率对所述目标进行趋向移动与跟随；
S4：当获取所述目标的正面图像时，对所述目标的正面图像进行人脸识别并根据识别到的人脸图像信息生成人脸特征信息并储存，根据所述人脸特征信息判断在预设时间内是否与所述目标进行过互动，如没有，则对所述目标发出互动请求；如有，则放弃所述目标，重新寻找目标；
S5：在发出互动请求后的预设时间内若没有接收到所述目标的响应则放弃所述目标；若接收到所述目标的响应则继续与用户互动。
2.如权利要求1所述的机器人主动搜索目标的方法，其特征在于，实时获取所述场景的图像并通过深度学习算法对所述图像进行分割与人体检测处理，得到所述图像的处理结果包括如下步骤：
S21：实时采集所述机器人所在的所述场景的图像；
S22：对所述图像进行基于深度学习算法的实例分割与人体检测，检测所述图像内是否有目标人体并对所述目标人体进行图像分割与标记，预测遮挡的实际人体实例并生成目标人体掩膜；
S23：对所有所述目标人体进行排序得到目标排序；
S24：使用RNN聚类获取所述目标排序中排序第一的所述目标人体的图像像素的中心点并获取所述目标人体与所述机器人的距离。
3.如权利要求2所述的机器人主动搜索目标的方法，其特征在于，对所有所述目标人体进行排序得到目标排序依据如下指标：
根据所述目标人体掩膜所占面积，面积越大优先值越高；
对所述目标人体距离所述机器人远近进行排序，距离越近优先值越高；
所述目标人体中去除在所述预设时间内进行过互动的所述目标，剩余目标中加权权重指数最高的所述目标人体为目标。
4.如权利要求3所述的机器人主动搜索目标的方法，其特征在于，采用基于FasterRCNN框架的YOLACT算法对所述图像进行实时实例分割与补齐预测，并以像素为单位进行图像大小统计。
5.如权利要求4所述的机器人主动搜索目标的方法，其特征在于，所述目标人体中去除在所述预设时间内进行过互动的所述目标包括；
基于对于所述人脸特征信息的存储与递归搜索并采取假设检验置信度检测的方式进行评估与判断，若所述人脸特征信息匹配，则认为进行过互动。
6.如权利要求5所述的机器人主动搜索目标的方法，其特征在于，采用TCDCN算法对于基于图像处理的计算机视觉任务进行人脸特征信息提取，并将深度学习算法提取出的特征图信息进行储存。
7.如权利要求6所述的机器人主动搜索目标的方法，其特征在于，还包括：对单位时间内机器所接触目标人群数量进行评估。
8.如权利要求7所述的机器人主动搜索目标的方法，其特征在于，所述评估方法如下：
K＝Pi|ri＜R，i∈N
Figure FDA0003901917570000021
Rw＝Cw/T
Rn＝Cn/T
其中，N是目标总数量，Pi是表示目标个体，Cw是原机器人与目标接触次数，Cn是机器人与目标接触次数，T是服务模拟运行时长，Rw是原机器人服务效率，Rn是机器人服务效率，R是服务检测半径设定值，ri是机器人与第i目标距离，K是一时刻机器人服务检测半径内目标数量。
9.如权利要求1-8任一所述的机器人主动搜索目标的方法，其特征在于，与所述目标的互动包括语音交互、手势交互、屏幕交互或动作交互。
10.一种智能机器人，其特征在于，采用如权利要求1-9任一所述的机器人主动搜索目标的方法；从上到下依序包括：头部区域、机器人主体以及机器人底座；
所述头部区域包括头部外壳、触摸显示屏、双目深度相机；所述触摸显示屏、所述双目深度相机位于所述头部外壳侧斜面；所述双目深度相机位于所述触摸显示屏上方；
所述机器人底座包括底部深度相机、激光雷达、可移动底盘；所述底部深度相机位于所述可移动底盘侧面；所述激光雷达位于可移动底盘的夹层中。
CN202110471862.2A 2021-04-29 2021-04-29 一种机器人主动搜索目标的方法及智能机器人 Expired - Fee Related CN113126629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110471862.2A CN113126629B (zh) 2021-04-29 2021-04-29 一种机器人主动搜索目标的方法及智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110471862.2A CN113126629B (zh) 2021-04-29 2021-04-29 一种机器人主动搜索目标的方法及智能机器人

Publications (2)

Publication Number Publication Date
CN113126629A CN113126629A (zh) 2021-07-16
CN113126629B true CN113126629B (zh) 2022-11-29

Family

ID=76780447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110471862.2A Expired - Fee Related CN113126629B (zh) 2021-04-29 2021-04-29 一种机器人主动搜索目标的方法及智能机器人

Country Status (1)

Country Link
CN (1) CN113126629B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100622B (zh) * 2021-12-29 2023-09-22 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
CN115963825B (zh) * 2022-12-23 2024-03-26 美的集团(上海)有限公司 智能设备及其控制方法和装置、计算机程序产品
CN116400709B (zh) * 2023-05-06 2023-10-31 河南牧业经济学院 机器人轨迹确定方法、装置、机器人及存储介质
CN117093011B (zh) * 2023-10-20 2024-01-05 苏州德斯米尔智能科技有限公司 一种智能机器人无人清洗控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN106231434A (zh) * 2016-07-25 2016-12-14 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN106781013A (zh) * 2017-01-18 2017-05-31 广东美基沃得科技有限公司 自动售卖设备及自动售卖方法
CN109767556A (zh) * 2018-12-25 2019-05-17 苏宁易购集团股份有限公司 一种移动售货的方法及机器设备
CN110516578A (zh) * 2019-08-20 2019-11-29 开放智能机器（上海）有限公司 一种基于人脸识别和目标跟踪的监视系统
JP2019217558A (ja) * 2018-06-15 2019-12-26 株式会社日立製作所 対話システム及び対話システムの制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN106231434A (zh) * 2016-07-25 2016-12-14 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN106781013A (zh) * 2017-01-18 2017-05-31 广东美基沃得科技有限公司 自动售卖设备及自动售卖方法
JP2019217558A (ja) * 2018-06-15 2019-12-26 株式会社日立製作所 対話システム及び対話システムの制御方法
CN109767556A (zh) * 2018-12-25 2019-05-17 苏宁易购集团股份有限公司 一种移动售货的方法及机器设备
CN110516578A (zh) * 2019-08-20 2019-11-29 开放智能机器（上海）有限公司 一种基于人脸识别和目标跟踪的监视系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于强化学习的机器人人脸搜索和跟踪方法;卞凯等;《电子测量技术》;20210423(第8期);第82-86页 *

Also Published As

Publication number Publication date
CN113126629A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113126629B (zh) 一种机器人主动搜索目标的方法及智能机器人
US9796093B2 (en) Customer service robot and related systems and methods
JP6707724B6 (ja) 自律店舗追跡システム
Hwangbo et al. Use of the smart store for persuasive marketing and immersive customer experiences: A case study of Korean apparel enterprise
US10311400B2 (en) Intelligent service robot and related systems and methods
CN109703607B (zh) 一种智能行李车
US11341355B2 (en) Robot and method of controlling the same
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US6584375B2 (en) System for a retail environment
US7206753B2 (en) Methods for facilitating a retail environment
US11966901B2 (en) Automated shopping experience using cashier-less systems
US20190369742A1 (en) System and method for simulating an interactive immersive reality on an electronic device
US20040193313A1 (en) Kiosk system
WO2018121283A1 (zh) 服务提供方法及装置、移动服务设备及存储介质
CN110352116A (zh) 智能服务机器人和相关系统及方法
JP2007152442A (ja) ロボット案内システム
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
TW202109247A (zh) 互動方法、裝置、設備以及記錄媒體
CN111341013A (zh) 智能售货机的移动方法、装置、设备及存储介质
CN109947239A (zh) 一种空气成像系统及其实现方法
US20230074732A1 (en) Facial Recognition For Age Verification In Shopping Environments
Becattini et al. I-mall an effective framework for personalized visits. improving the customer experience in stores
KR20220148060A (ko) 로봇을 이용하여 광고 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Krockel et al. Intelligent processing of video streams for visual customer behavior analysis
Felsen Learning to predict human behavior from video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221129