CN110926476B - 一种智能机器人的伴随服务方法及装置 - Google Patents

Abstract

本发明公开了一种机器人的伴随服务方法及装置，本发明实施例的机器人设置设定区域的地图模型；基于设定区域的地图模型规划当前位置到目的位置的伴随用户路径；在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户，当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。这样，本发明实施例就可以根据用户指示在设定区域内伴随用户，且能够在伴随失败的情况下快速查找到用户。

Description

一种智能机器人的伴随服务方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种机器人的伴随服务方法及装置。

背景技术

随着计算机技术的发展，出现了应用在各种领域的机器人，其中在商业领域中的零售商店出现的协助用户的各种类型机器人。比如，可以在机器人上设置红外避障传感器，当该传感器识别到用户后，就被触发与用户进行人机交流，为用户提供各种商品信息，但是这类机器人设置的运动模式比较单一，无法引导顾客到指定地点；还可以在机器人上设置视觉检测技术并设置运动功能，使得机器人可以在一定区域内监测到用户并伴随用户行进，但是当行人行走较快或急转后则无法有效地继续跟踪，且由于复杂多变的生活环境，人群的走动等众多干扰因素，极易造成跟丢用户的问题，更进一步地，这些方案集中在路径的规划和目标的跟踪上，没有有效地考虑用户丢失后的查找问题。

可以看出，当前服务型机器人，虽然能够在商业领域中的零售商店中协助用户完成购物功能，但是由于其自身所设置的功能限制，无法根据用户的指示在诸如零售商店等设定区域内伴随用户的整个购物过程，特别地，在伴随用户的整个购物过程中，当由于意外无法识别到用户后，也无法再次对用户重新搜索及定位。

发明内容

有鉴于此，本发明实施例提供一种机器人的伴随服务方法，该方法能够根据用户指示在设定区域内伴随用户，且能够在伴随失败的情况下快速查找到用户。

本发明实施例还提供一种机器人的伴随服务装置，该装置能够根据用户指示在设定区域内伴随用户，且能够在伴随失败的情况下快速查找到用户。

本发明实施例是这样实现的：

一种机器人的伴随服务方法，包括：

机器人设置设定区域的地图模型；

基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。

所述采用设置的倒I型查找模型对用户进行查找包括：

将所述地图模型基于平面直角坐标系划分为四个象限；

机器人沿着当前路径走直线，直到遇见障碍物；

采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；

循环执行上述过程，直到查找到用户。

在所述确定机器人的下一步运动方向之前，该方法还包括：

每个象限中设置有内点和外点；

估计设定时间段内机器人的运动方向为向内运动或向外运动；

所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。

所述在作为当前象限进行搜索包括：

根据所设置的先外点后内点的原则，或者先内点后外点的原则，在当前象限中进行搜索。

所述采用设置的倒I型查找模型对用户进行查找的搜索路径不包括回头路；

对所述象限设置搜索优先级别，且将所述地图模型中的门口位置所在象限的搜索优先级别设置最低，以使机器人根据搜索优先级最后搜索门口位置所在象限。

所述在规划的伴随用户路径上伴随用户行进的过程中，还包括：

在规划的伴随用户路径上实时监测障碍物，当监测到障碍物时，确定是否影响伴随用户行进，如果是，则进行绕行；如果否，则继续行进。

所述伴随用户行进包括：

引导用户行进或跟随用户行进，是根据接收到的用户指示确定的。

当伴随用户为引导用户行进时，所述实时监测伴随的用户包括：

机器人判定伴随用户跟踪正常的情况下；

经过设定监测距离后，机器人实时监测伴随用户，确认伴随用户是否跟随；

监测到伴随用户在设定的跟随距离范围内，则继续行进；监测到伴随用户未在设定的监测安全距离范围内，则转入寻找模式，重定位伴随用户，继续引导伴随用户行进；如果监测到伴随用户未在设定的跟随距离范围，但在设定的监测安全距离范围内，则机器人转为跟踪模式，对伴随用户进行跟踪后，当监测到伴随用户又到设定的跟随距离范围内，则回转前进状态继续行进。

当伴随用户为跟随用户行进时，所述实时监测伴随的用户包括：

机器人初始化伴随用户的位置和速度状态信息；

机器人对伴随用户的位置和行进速率进行估计；

机器人构建伴随用户的特征模板且对采集的图像进行行人检测；

根据伴随用户的行进状态，机器人进行行进；

机器人采用雷达模块进行前方障碍物的距离检测，将机器人控制在设定的跟随距离范围内；

根据伴随用户的估计速率调整机器人前进速度。

在所述采用设置的倒I型查找模型对用户进行查找之前，该方法还包括：

在规划的伴随用户路径上寻找伴随用户，并进行伴随用户的重新定位，如果定位成功，结束该方案；如果定位不成功，执行所述采用设置的倒I型查找模型对用户进行查找的步骤。

所述寻找伴随用户，并进行伴随用户的重新定位包括：

机器人判定伴随用户行进为引导用户行进时，基于所规划的伴随用户路径，进行反向寻找；

判定伴随用户行进为跟随用户行进时，基于所规划的伴随用户路径，进行前向寻找；

在反向寻找或前向寻找过程中，机器人依次采集图像，并获取其中的各个行人特征信息，分别计算各个行人特征信息与伴随用户的特征模板之间的特征相似度，当最大特征相似度大于设定相似度阈值时，则确认具有最大特征相似度的行人为伴随用户。

一种机器人的伴随服务装置，包括：设置模块、路径规划模块、伴随监测模块及寻找用户模块，其中，

设置模块，用于设置设定区域的地图模型；

路径规划模块，用于基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

伴随监测模块，用于在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

寻找用户模块，用于当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。

寻找用户模块还包括：象限划分和内外搜索点设置子模块、搜索路径导航子模块及目标识别子模块，其中，

象限划分和内外搜索点设置子模块，用于将所述地图模型基于平面直角坐标系划分为四个象限；

搜索路径导航子模块，用于检测到机器人沿着当前路径走直线，直到遇见障碍物；采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

目标识别子模块，用于根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；循环执行上述过程，直到查找到用户。

所述象限划分和内外搜索点设置子模块、还用于将每个象限中分为内点和外点；

搜索路径导航子模块，还用于每个象限设置有内点和外点，估计设定时间段内机器人的运动方向为向内运动或向外运动；所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。

如上所见，本发明实施例的机器人设置设定区域的地图模型；基于设定区域的地图模型规划当前位置到目的位置的伴随用户路径；在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户。当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。这样，本发明实施例就可以根据用户指示在设定区域内伴随用户，且能够在伴随失败的情况下快速查找到用户。

附图说明

图1为本发明实施例提供的一种机器人的伴随服务方法流程图；

图2为本发明实施例提供的一种机器人的伴随服务装置结构示意图；

图3为本发明实施例提供的机器人设置设定区域的地图模型示意图；

图4为本发明实施例提供的机器人与要伴随的用户之间语音交互的过程示意图；

图5为本发明实施例提供的规划伴随用户路径的过程示意图；

图6为本发明实施例提供的引导要伴随的用户到达目的位置的过程示意图；

图7为本发明实施例提供的跟随要伴随的用户到达目的位置的过程示意图；

图8为本发明实施例提供的对伴随用户进行重定位的过程示意图；

图9为本发明实施例提供的象限搜索方法过程示意图；

图10为本发明实施例提供的象限搜索方法具体例子过程示意图；

图11～图14为本发明实施例提供的象限搜索方法的例子一过程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

为了实现根据用户指示在设定区域内伴随用户上，本发明实施例的机器人设置设定区域的地图模型；基于设定区域的地图模型规划当前位置到目的位置的伴随用户路径；在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户。

进一步地，本发明实施例还可以在伴随失败的情况下快速查找到用户，即监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。

当监测到所伴随的用户丢失后，在规划的伴随用户路径上进行用户的重新定位。

图1为本发明实施例提供的一种机器人的伴随服务方法流程图，其具体步骤为：

步骤101、机器人设置设定区域的地图模型；

步骤102、基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

步骤103、在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

步骤104、当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。

在该方法中，所述采用设置的倒I型查找模型对用户进行查找包括：

将所述地图模型基于平面直角坐标系划分为四个象限；所述四个象限是由横轴和纵轴划分的四个区域，四个象限的原点默认为所述地图模型中的位置，当然，用户可以自定义的原点位置，这里不限定；

机器人沿着当前路径走直线，直到遇见障碍物；

采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；

循环执行上述过程，直到查找到用户。

在这里，在所述确定机器人的下一步运动方向之前，该方法还包括：

每个象限中设置有内点和外点；

估计设定时间段内机器人的运动方向为向内运动或向外运动；；

所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。

在这里，所述在作为当前象限进行搜索包括：

根据所设置的先外点后内点的原则，或者先内点后外点的原则，在当前象限中进行搜索。

在本发明实施例中，所述采用设置的倒I型查找模型对用户进行查找的搜索路径不包括回头路；

对所述象限设置搜索优先级别，且将所述地图模型中的门口位置所在象限的搜索优先级别设置最低，以使机器人根据搜索优先级最后搜索门口位置所在象限。

在该方法中，所述在规划的伴随用户路径上伴随用户行进的过程中，还包括：

在规划的伴随用户路径上实时监测障碍物，当监测到障碍物时，确定是否影响伴随用户行进，如果是，则进行绕行；如果否，则继续行进。

在该方法中，所述伴随用户包括：

引导用户及跟随用户，是根据接收到的用户指示确定的。

当伴随用户为引导用户时，所述实时监测伴随的用户包括：

机器人判定伴随用户跟踪正常的情况下；

经过设定监测距离后，机器人实时监测伴随用户，确认伴随用户是否跟随，所述实时监测可以为回头监测，或者机器人设置在后置摄像头或雷达方式进行实时监测；

监测到伴随用户在设定的跟随距离范围内，则继续行进；监测到伴随用户未在设定的监测安全距离范围内，则转入寻找模式，重定位伴随用户，继续引导伴随用户行进；如果监测到伴随用户未在设定的跟随距离范围，但在设定的监测安全距离范围内，则机器人转为跟踪模式，对伴随用户进行跟踪后，当监测到伴随用户又到设定的跟随距离范围内，则回转前进状态继续行进。

当伴随用户为跟随用户时，所述实时监测伴随的用户包括：

机器人初始化伴随用户的位置和速度状态信息；

机器人对伴随用户的位置和行进速率进行估计；

机器人构建伴随用户的特征模板且对采集的图像帧进行行人检测；

根据伴随用户的行进状态，机器人进行行进；

机器人采用雷达模块进行前方障碍物的距离检测，将机器人控制在设定的跟随距离范围内；

根据伴随用户的估计速率调整机器人前进速度。

在所述采用设置的倒I型查找模型对用户进行查找之前，该方法还包括：

在规划的伴随用户路径上寻找伴随用户，并进行伴随用户的重新定位，如果定位成功，结束该方案；如果定位不成功，执行所述采用设置的倒I型查找模型对用户进行查找的步骤。

所述寻找伴随用户，并进行伴随用户的重新定位包括：

机器人判定伴随用户行进为引导用户行进时，基于所规划的伴随用户路径，进行反向寻找；

判定伴随用户行进为跟随用户行进时，基于所规划的伴随用户路径，进行前向寻找；

在反向寻找或前向寻找过程中，机器人依次采集图像，并获取其中的各个行人特征信息，分别计算各个行人特征信息与伴随用户的特征模板之间的特征相似度，当最大特征相似度大于设定相似度阈值时，则确认具有最大特征相似度的行人为伴随用户。

图2为本发明实施例提供的一种机器人的伴随服务装置结构示意图，包括：设置模块、路径规划模块、伴随监测模块及寻找用户模块，其中，

设置模块，用于设置设定区域的地图模型；

路径规划模块，用于基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

伴随监测模块，用于在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

寻找用户模块，用于当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找。

在该装置中，寻找用户模块还包括：象限划分和内外搜索点设置子模块、搜索路径导航子模块及目标识别子模块，其中，

象限划分和内外搜索点设置子模块，用于将所述地图模型基于平面直角坐标系划分为四个象限；所述四个象限是由横轴和纵轴划分的四个区域，四个象限的原点默认为所述地图模型中的位置，当然，用户可以自定义的原点位置，这里不限定；

搜索路径导航子模块，用于检测机器人沿着当前路径走直线，直到遇见障碍物；采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

目标识别子模块，用于根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；循环执行上述过程，直到查找到用户。

在该装置中，所述象限划分和内外搜索点设置子模块、还用于将每个象限中设置有内点和外点；

搜索路径导航子模块，还用于每个象限设置有内点和外点，估计设定时间段内机器人的运动方向为向内运动或向外运动；所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。

在该装置中，还包括：

重定位模块，用于在所述采用设置的倒I型查找模型对用户进行查找之前，还包括：

在规划的伴随用户路径上寻找伴随用户，并进行伴随用户的重新定位。

在该装置中，所述监测模块，还用于在规划的伴随用户路径上实时监测障碍物，当监测到障碍物时，确定是否影响伴随用户行进，如果是，则进行绕行；如果否，则继续行进。

本发明实施例为了实现上述方法及装置，要应用多个算法，包括：物体尺寸估计算法、用户监测和跟踪算法、全图搜索和用户定位算法及路径规划和自动修正算法。

本发明实施例的方法中主要包括以下几个部分：

1)针对诸如零售商店等的设定区域，机器人载入零售商店的二维和三维的地图模型，比如通过并发建图与定位(SLAM)方式得到；

2)机器人根据设定的语音交互功能，确定要伴随的用户及伴随用户要到达的目的位置；

3)通过路径规划和自动修正算法规划机器人当前位置到目的位置的伴随用户路径；

4)根据所规划的伴随用户路径引导要伴随的用户到达目的位置；

5)在步骤2)中判定要伴随的用户为跟随方式，则机器人跟随该用户；在步骤2)判定要伴随的用户为引导方式，则机器人引导该用户；

6)跟随或引导过程中机器人利用物体尺寸估计算法对所规划的伴随用户路径周围的障碍物大小进行估计；

7)根据估计的障碍物大小判定跟随或引导过程是否继续行进或选择绕行；

8)采用用户监测和跟踪算法进行该用户的监测；

9)在无法监测到该用户，则采用全图搜索和用户定位算法，在所规划的伴随用户路径对该用户进行重定位，搜索该用户。

以下对这上述九个部分进行详细说明。

1)针对设定区域，机器人设置设定区域的二维和三维的地图模型，在这个例子中，设定区域为零售商店。

如图3所示，图3为本发明实施例提供的机器人设置设定区域的地图模型示意图，该过程包括：

机器人通过加载场景和地图数据初始化当前服务范围；

导入二维地图或三维地图；

机器人初始过程中标定机器人在当前场景中的位置；

机器人初始化传感器单元，如数据采集的摄像头、感应距离的雷达设备、采集深度信息的深度相机及语言采集装置；

机器人初始化转动驱动模块；

机器人的各种功能初始化完成后，后续可以启动服务于要伴随的用户。

2)机器人根据设定的语音交互功能，确定要伴随的用户及伴随用户要到达的目的位置。

如图4所示，图4为本发明实施例提供的机器人与要伴随的用户之间语音交互的过程示意图，该过程包括：

机器人服务过程中，通过其设置的语音模块和要伴随的用户进行沟通交流；

对采集到的语音数据进行分析；

机器人构建结构化服务数据，如跟踪目标特征、当前位置坐标、目的位置坐标和跟踪目标标识等；

机器人在语音交互过程中对目的位置构建中间站点，比如采集的语音为带我到手机展台和平板展台，则在目的地解析过程中，将目的地分为手机展台和平板展台；

机器人解析当前跟踪指令，指令分为0、1和2，其中，0设定为原始状态，1设定为跟随状态，为引导状态；

当当前跟踪指令被判定为跟随状态时则机器人启动跟踪程序对伴随用户进行跟随；

当当前跟踪指令被判定为引导状态时则机器人启动引导程序，对伴随用户进行引导，引导到目的位置。

3)通过路径规划和自动修正算法规划机器人当前位置到目的位置的伴随用户路径

在这里，可以针对机器人在上述获取到的伴随用户结构化信息后，就基于机器人当前位置和目的位置集合进行规划行走路径，如图5所示，图5为本发明实施例提供的规划伴随用户路径的过程示意图。具体过程为：

针对场景对应的平面图，通过以N最小单元进行栅格化处理；

在横坐标和纵坐标交接点为行进点，该行进点删除了障碍物所占空间位置；

根据结构化数据的跟踪指令状态进行下一步操作；

当前跟踪指令为引导状态时获取目的位置坐标点；

利用路径规划和自动修正算法构造机器人当前位置到目的位置的最佳路径；

后续开始引导伴随用户前往目的位置；

当前跟踪指令为跟随状态，则提取伴随用户的特征信息，也就是跟踪目标特征信息和标识，后续启动跟踪；

如当前跟踪指令为原始状态，则此时继续进行语音交互，进行信息采集。

4)根据所规划的伴随用户路径引导要伴随的用户到达目的位置

5)在步骤2)中判定要伴随的用户为跟随方式，则机器人跟随该用户；在步骤2)判定要伴随的用户为引导方式，则机器人引导该用户

如图6所示，图6为本发明实施例提供的引导要伴随的用户到达目的位置的过程示意图，根据采集到的跟踪指令，如果当前状态为引导状态，则机器人引导伴随用户前往目的位置，整个过程为：

机器人引导状态确认，引导目的位置确认以及伴随用户确认；

机器人根据所规划的伴随用户路径，旋转到指定方向；

机器人扫描当前行进路径；

机器人计算当前位置情况下，根据摄像头采集到的数据计算周边障碍物目标尺寸；

机器人根据当前环境周边信息确认行进能否进行；

设定机器人运行速度；

机器人发送前行指令，机器人启动前进；

经过设定监测距离后，机器人回头监测伴随用户，确认伴随用户是否跟随；

监测到伴随用户在设定的跟随距离范围内，则回转前进状态继续行进；监测到伴随用户未在设定的监测安全距离范围内，则转入寻找模式，重定位伴随用户，继续引导伴随用户行进；

机器人确认引导伴随用户的目的位置。

在这个过程中，如果监测到伴随用户未在设定的跟随距离范围，但在设定的监测安全距离范围内，则机器人转为跟踪模式，对伴随用户进行跟踪后，当监测到伴随用户又到设定的跟随距离范围内，则回转前进状态继续行进。

机器跟随伴随用户，采用用户监测和跟踪算法对伴随用户进行一定距离范围内的跟随，当跟随丢失通过检索的方式进行重定位伴随用户。如图7所示，图7为本发明实施例提供的跟随要伴随的用户到达目的位置的过程示意图，该过程包括：

机器人跟随状态确认，伴随用户确认；

机器人初始化伴随用户的位置和速度状态信息；

机器人基于卡尔曼滤波方式对伴随用户的位置和行进速率进行估计；

机器人通过基于回归的目标检测网络模型对采集的图像帧进行行人检测；

融合伴随用户的方向梯度直方图(HOG)和融合(CN)，及卷积神经网络(CNN)模型提取的人体特征构建伴随用户的特征模板；

根据伴随用户的行进状态，机器人进行行进；

机器人采用雷达模块进行前方障碍物的距离检测，将机器人控制在设定的跟随距离范围内；

根据伴随用户的估计速率调整机器人前进速度；

如果伴随用户丢失则转入寻找及重定位模式；

重定位到伴随用户后继续进行。

9)在无法监测到该用户，则采用全图搜索和用户定位算法，在所规划的伴随用户路径对该用户进行重定位，搜索该用户

如图8所示，图8为本发明实施例提供的对伴随用户进行重定位的过程示意图。当机器人在引导或跟随伴随用户时，伴随用户目标丢失，则启动检索和行人重识别算法，进行伴随用户的寻找过程，针对不同的指令模式寻找分为前向和后向寻找。当在引导伴随用户过程中，伴随用户丢失，则通过后向寻找，基于广度优先方式寻找伴随用户；当在跟随伴随用户过程中，则根据当前跟踪状态以及跟随用户运行的预测状态，进行前向广度优先寻找，最终在设定时间T内找到则继续引导或跟随，否则标记为丢失状态，机器人暂停当前任务进行下一次服务。

具体过程为：

a)机器人状态确认，进行伴随用户特征提取，初始化目标定位标识为假(false)；

b机器人当前状态为引导状态(state：2)，基于部分3)中的规划伴随用户路径，通过反向寻找；

c)机器人当前状态为跟随状态(state：1)，根据在跟随过程中设定的估计状态，进行前向寻找；

d)机器人获取当前摄像头采集的图像数据；

e)机器人检测当前状态下障碍物的尺寸信息；

f)检测当前状态下行人信息，提取行人特征；

g)基于高斯相关滤波比较当前行人特征与伴随用户的特征模板，获得特征相似度；

h)获取相似度最大数值，大于设定阈值，则认为伴随用户，找到目标则修改目标定位标识为是；

i)机器人根据当前障碍物尺寸判定行进状态；

j)在搜索过程中，针对规划路径上中的路口进行判定，十字路口和T字路口进行原位置转向摄像头信息采集检索；

k)机器人检测到目标定位标识为假，则进入下一帧检索，循环执行f)～j)；

l)机器人检测到目标定位标识为真，则找到伴随用户，执行跟随或引导伴随用户的过程；

m)当规划的伴随用户路径搜索结束且在设定时间T范围内仍然没有找到，则暂停当前服务，进入下一次服务。

在本发明实施例中，机器人在对丢失的伴随用户进行寻找及重定位过程，基于目标定位标识的方法进行寻找并进行特征匹配，结合图9所示的本发明实施例提供的象限搜索方法过程示意图。在这里，设置了一种倒I形查找模型，针对引导和跟随搜索后，走完状态中保留的路径后，实现象限搜索，具体过程为：

a)在规划的伴随用户路径行进完成后，仍然没有找到伴随用户，则构造查询路线点；

b)将当前地图模型划分为四个象限，通过根据设定距离设定内查找路线和外查找路线；

c)判定当前机器人行进的方向所在的查询点和象限位置；

d)计算行进的位置在每个象限的中分夹角的角度；

e)根据步骤c)和步骤d)的结果得到下一步的运动方向；

f)图10为本发明实施例提供的象限搜索方法具体例子过程示意图，如图10所示，当行进趋势为进—>出，此时通过采集到的图像进行目标识别，如果没有识别到查询目标，则沿着查询路线行进到运动方向所指向的下一象限范围内进行查找；

g)如图10所示，当行进趋势为出—>进，此时通过采集到的图像进行目标识别，如果没有识别到查询目标，则根据步骤a)中的查询点，在当前象限内行进进行继续查找；

h)循环执行步骤a)～g)，如果查找到目标，则继续目标查询之前的指令状态；

j)经过设定时间T后依旧没有查找到目标，则终止此次服务；

k)当机器人终止或服务完成，准备下一次服务。

上述过程就是采用倒I型查找模型对用户进行查找，综合得到的该方法包括：

将所述地图模型划分为四个象限，每个象限设置内点和外点；四个象限是由横轴和纵轴划分为四个区域，原点默认为在所述地图模型的中心位置，用户可以自定义设定原点位置；

机器人沿着当前路径走直线，直到遇见障碍物；

根据机器人前方最小时间片内的运动方向，估计运动趋势确定在所属象限内是向内运动还是向外运动，确定机器人的下一步运动方向；

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限；

确定下一个目标象限之后，确定目标搜索点，遵循先外点后内点的原则；如果外点已经搜索过，则选取内点了；如果当前象限的外点和内点都搜索过了，则由上一步继续查找下一个目标象限；

循环执行上述过程，直到查找到用户。

以下举三个具体例子对本发明实施例进行详细说明。

例子一

设置场景一，当客户在商店内因为紧急事件，快速跑开，机器人发现客户跟踪丢失，则采用设置的倒I型查找模型对用户进行查找的过程。

该例子的整个过程包括：

步骤s101:象限划分和内外搜索点设置模块，划分四个象限，设置右上为第一象限，逆时针排序依次为第二象限，第三象限，第四象限；每个象限设置内外两个搜索点，每个搜索点的搜索标记为假，表示未曾访问过；

步骤s102:如图11所示，假设用户被跟丢时，机器人处于第三象限，且机器人运动的方向为水平方向向外运动；

步骤s103:搜索路径导航子模块开始工作，机器人直线运动，遇到障碍物时，开始规划下个搜索目标点，如图12所示，此时，机器人仍处于第三象限，且运动趋势为水平向右，下一个象限应为第四象限，因为本发明实施例设置的门口所在象限的优先位置级最低(通常情况下门口都是最后搜索的地点)，所以下一个搜索点设置为第一象限的外点；

步骤s104:如图13所示，机器人行进在往第一象限外点的路径上，途径第一象限内点，由不走回头路原则，标识此内点搜索标记为真，无须再次查找。

步骤s105:如图14所示，机器人行进到第一象限外点时，此时由目标识别子模块识别到目标客户，则退出查找模式，开始跟踪模式。

例子二

设置场景二，当客户购买了一些重的物体，想放在机器人托盘上带领到前台去结账，此时客户将商品放在托盘上后，和机器人进行沟通，机器人通过交流后，获取到客户想去收银台，跟踪指令为引导模式，此时则开启引导功能，带领客户到达目的地。

实施的整个过程包括：

步骤S101：启动机器人服务于客户；

步骤S102：客户和机器人进行语音沟通，告诉机器人带领自己到前台去结账，和帮自己携带一些物品；

步骤S103：机器人回复客户，可以把物品放在托盘，跟随自己前往收银台，同时采集客户特征信息，对用户特征进行创建特征模板；

步骤S104：确认物品放置完毕后，客户告知机器人可以前往收银台；

步骤S105：机器人进行路径规划，扫描周边环境，对前方障碍距离进行测算；

步骤S106：当确认当前规划路径可以继续行进的情况下，引导客户前行；

步骤S107：机器人摄像头采集到的图像数据每帧进行场景的物体尺寸检测，来确定行进的路径可以通过；

步骤S108：机器人经过20秒的时间间隔进行一次回头检测，进行行人检测，对比当前检测到的行人特征中能否匹配到目标客户，如果能够匹配到，则保存当前的客户特征，继续行进；否则，此时跟踪的目标位失踪状态，则进行搜索目标客户；

步骤S109：假设步骤S108中经过2分钟后，处于丢失状态，此时机器人启动检索模式，通过反向路径搜索，从原路返回进行目标客户的检索；

步骤S110：机器人检索过程中，每帧采集当前环境信息，通过人体目标特征检测，提取环境中人体目标特征，对检测到的人体目标特征和步骤S103以及步骤S108中创建的目标客户特征模板进行欧式距离的比较，得到当前采集帧所有行人特征与目标客户之间的特征相似度，如果最高相似度大于90％，则认定当前检测到的目标客户，结束检索，对目标进行跟踪，且告知客户跟随自己；

步骤S111：检索过程中遇到十字路口和T字路口，则通过原地转向的方式，进行周边环境的扫描，扫描处理类似步骤S110；

步骤S112：当寻找到起始点还没找到目标，则基于当前环境，构造查询路线点，根据机器人运动的趋势，对不同象限范围内的查询点进行行进检索目标；

步骤S113：机器人如果5分钟内没有找到客户目标则结束此次寻找；

步骤S114：机器人步骤S110中查找到目标客户后，通过重复步骤S105～步骤S112的过程；

步骤S115：当到达目的地时，结束此次引导任务；

步骤S116：结束，进行下一次服务准备。

例子三

场景三，营业员在更新柜台商品过程中，由于产品较多，需要多次拿取，此时和机器人沟通，希望让机器人跟着自己前往仓库拿货后，然后在货架上重新摆放新的产品，和机器人进行沟通交流后，机器人获取到跟踪指令为跟踪模式，则启动跟随功能，协助营业员进行货品的更新。整个过程如下所述：

步骤S101：启动机器人服务于客户；

步骤S102：营业员和机器人通过语音进行沟通交流，告诉机器人和自己一起去仓库那点展品；

步骤S103：机器人通过语音分析，获取跟踪指令为跟随模式；

步骤S104：通过摄像头采集营业员特征信息，构建跟随目标特征模板；

步骤S105：启动目标跟踪模块，基于卡尔曼滤波记性估计目标运动的方向和速度状态信息；

步骤S106：根据跟随速度动态调整跟踪过程中的行进速率；

步骤S107：当跟踪过程中出现跟踪丢失，则启动目标搜索；

步骤S108：基于步骤S105中预估的运动状态信息，进行前向搜索；

步骤S109：采集下一帧的场景信息，对场景中行人进行检测，提取检测到的行人特征信息；

步骤S110：比较步骤S104和步骤S109中的行人特征信息，得到当前采集帧所有行人特征与目标客户之间的特征相似度，如果最高相似度大于90％，则认定当前检测到的目标客户，结束检索，对目标进行跟踪，且告知客户跟随自己；

步骤S111：检索过程中遇到十字路口和T字路口，则通过原地转向的方式，进行周边环境的扫描，扫描处理类似步骤S110；

步骤S112：机器人继续行进过程中，基于路径规划算法，朝向营业员目的地优先的思想进行检索；

步骤S113：机器人当走到目标点还没找到目标，则基于当前环境，构造查询路线点，根据机器人运动的趋势，对不同象限范围内的查询点进行行进检索目标；

步骤S114：机器人如果5分钟内没有找到客户目标则结束此次寻找；

步骤S115：步骤S112中查找到目标客户后，通过重复步骤S105～步骤S113的过程；

步骤S116：机器人当到达目的地时，结束此次引导任务；

步骤S117：结束，进行下一次服务准备。

可以看出，本发明实施例所给出的一种机器引导和跟随的模型及方法；基于机器人运动趋势的目标用户设置丢失查找模型，有效的改善了服务过程中目标丢失的问题；利用了行人重识别的方式，提高了目标客户丢失后寻找的效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种机器人的伴随服务方法，其特征在于，包括：

机器人设置设定区域的地图模型；

基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找；

所述采用设置的倒I型查找模型对用户进行查找包括：

将所述地图模型基于平面直角坐标系划分为四个象限；

机器人沿着当前路径走直线，直到遇见障碍物；

采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；

循环执行上述过程，直到查找到用户。

2.如权利要求1所述的方法，其特征在于，在所述确定机器人的下一步运动方向之前，该方法还包括：

每个象限中设置有内点和外点；

估计设定时间段内机器人的运动方向为向内运动或向外运动；

所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。

3.如权利要求1或2所述的方法，其特征在于，在作为当前象限进行搜索包括：

根据所设置的先外点后内点的原则，或者先内点后外点的原则，在当前象限中进行搜索。

4.如权利要求3所述的方法，其特征在于，所述采用设置的倒I型查找模型对用户进行查找的搜索路径不包括回头路；

对所述象限设置搜索优先级别，且将所述地图模型中的门口位置所在象限的搜索优先级别设置最低，以使机器人根据搜索优先级最后搜索门口位置所在象限。

5.如权利要求1所述的方法，其特征在于，所述在规划的伴随用户路径上伴随用户行进的过程中，还包括：

在规划的伴随用户路径上实时监测障碍物，当监测到障碍物时，确定是否影响伴随用户行进，如果是，则进行绕行；如果否，则继续行进。

6.如权利要求1所述的方法，其特征在于，所述伴随用户行进包括：

引导用户行进或跟随用户行进，是根据接收到的用户指示确定的。

7.如权利要求6所述的方法，其特征在于，当伴随用户为引导用户行进时，所述实时监测伴随的用户包括：

机器人判定伴随用户跟踪正常的情况下；

经过设定监测距离后，机器人实时监测伴随用户，确认伴随用户是否跟随；

监测到伴随用户在设定的跟随距离范围内，则继续行进；监测到伴随用户未在设定的监测安全距离范围内，则转入寻找模式，重定位伴随用户，继续引导伴随用户行进；如果监测到伴随用户未在设定的跟随距离范围，但在设定的监测安全距离范围内，则机器人转为跟踪模式，对伴随用户进行跟踪后，当监测到伴随用户又到设定的跟随距离范围内，则回转前进状态继续行进；

当伴随用户为跟随用户行进时，所述实时监测伴随的用户包括：

机器人初始化伴随用户的位置和速度状态信息；

机器人对伴随用户的位置和行进速率进行估计；

机器人构建伴随用户的特征模板且对采集的图像进行行人检测；

根据伴随用户的行进状态，机器人进行行进；

机器人采用雷达模块进行前方障碍物的距离检测，将机器人控制在设定的跟随距离范围内；

根据伴随用户的估计速率调整机器人前进速度。

8.如权利要求1所述的方法，其特征在于，在所述采用设置的倒I型查找模型对用户进行查找之前，该方法还包括：

在规划的伴随用户路径上寻找伴随用户，并进行伴随用户的重新定位，如果定位成功，结束；如果定位不成功，执行所述采用设置的倒I型查找模型对用户进行查找的步骤。

9.如权利要求8所述的方法，其特征在于，所述寻找伴随用户，并进行伴随用户的重新定位包括：

机器人判定伴随用户行进为引导用户行进时，基于所规划的伴随用户路径，进行反向寻找；

判定伴随用户行进为跟随用户行进时，基于所规划的伴随用户路径，进行前向寻找；

在反向寻找或前向寻找过程中，机器人依次采集图像，并获取其中的各个行人特征信息，分别计算各个行人特征信息与伴随用户的特征模板之间的特征相似度，当最大特征相似度大于设定相似度阈值时，则确认具有最大特征相似度的行人为伴随用户。

10.一种机器人的伴随服务装置，其特征在于，包括：设置模块、路径规划模块、伴随监测模块及寻找用户模块，其中，

设置模块，用于设置设定区域的地图模型；

路径规划模块，用于基于设定区域的地图模型规划机器人当前位置到目的位置的伴随用户路径；

伴随监测模块，用于在规划的伴随用户路径上伴随用户行进的过程中，实时监测所伴随的用户；

寻找用户模块，用于当监测到所伴随的用户跟踪丢失时，采用设置的倒I型查找模型对用户进行查找；

其中，所述采用设置的倒I型查找模型对用户进行查找包括：

寻找用户模块还包括：象限划分和内外搜索点设置子模块、搜索路径导航子模块及目标识别子模块，其中，

象限划分和内外搜索点设置子模块，用于将所述地图模型基于平面直角坐标系划分为四个象限；

搜索路径导航子模块，用于检测到机器人沿着当前路径走直线，直到遇见障碍物；采用估计运动趋势方式检测设定时间段内机器人的运动方向，确定机器人的下一步运动方向；

目标识别子模块，用于根据机器人的下一步运动方向确定机器人要运动到的下一个象限，作为当前象限进行搜索；循环执行上述过程，直到查找到用户。

11.如权利要求10所述的装置，其特征在于，所述象限划分和内外搜索点设置子模块、还用于将每个象限中分为内点和外点；

搜索路径导航子模块，还用于每个象限设置有内点和外点，估计设定时间段内机器人的运动方向为向内运动或向外运动；所述根据机器人的下一步运动方向确定机器人要运动到的下一个象限包括：

机器人当行进趋势为向外运动，根据在平面图上的运动方向，如果是横向运动，下一个目标象限定在横向上当前象限的下一个象限；如果是纵向运动，则下一个目标象限定在纵向上当前象限的下一个象限；机器人当前行进趋势为在所属象限内运动，则下一个目标象限仍然在当前象限。