CN112558641A - 一种基于计算人物意图控制机器人找回丢失人物的方法 - Google Patents

Abstract

本发明公开了一种基于计算人物意图控制机器人找回丢失人物的方法，该方法通过获取周边人物视觉定位信息与人物状态信息，建立人物轨迹计算，从而评定人物的意图，并结合声场实现人物丢失、远离后控制机器人运动找回该人物。其中所述的人物意图是一种状态，表示人物最近时间的行为动作，包含人物位置、状态、运动向量等。本发明基于视觉计算人物意图，使得原本使用视觉信息控制机器人找回目标人物的过程变得更加精确，并且能够在视觉失效的情况下也能尝试找回丢失人物。

Description

一种基于计算人物意图控制机器人找回丢失人物的方法

技术领域

本发明涉及人工智能机器人行为交互，本发明实现了一种基于图像、声场来找回人机交互过程中丢失人物的方法，适用于一切服务型机器人。

背景技术

目前基于深度学习的图像识别技术、机器人控制理论、人机交互有众多的机器人产品设计，其中就有子集服务类型机器人。服务类机器人主要功能是与人物进行沟通和交流，并实现特定功能。但是就目前技术无法实现机器人始终保持目标人物的互动，因为技术原因会时常出现目标人物丢失的情况，往往此时机器人的视觉等模块也会出现故障，机器人缺乏信息后无法有效的进行丢失人物找回并重新互动，如图1所示。

发明内容

本发明针对现有技术的不足，提供了一种基于计算人物意图控制机器人找回丢失人物的方法。

本发明采用的技术方案是：

一种基于计算人物意图控制机器人找回丢失人物的方法，该方法具体为：

通过获取机器人周边的人物视觉定位信息与人物状态信息，建立人物轨迹并评定人物的意图，根据丢失人物的最近的意图控制机器人运动找回丢失人物。其中，所述人物的意图是一种状态，表示人物固定时间段内的行为动作，包含人物的位置和运动轨迹向量；

所述评定人物的意图包括如下步骤：

步骤一：机器人实时获取监测范围内的视觉定位信息与人物状态信息集合{S}，其中S＝{ID,x,y}，ID表示唯一的人物标志，x,y为人物的世界坐标；

步骤二：根据唯一的人物标志和实时获取的世界坐标，生成固定时间段内每个人物的运动轨迹，并按照运动轨迹生成人物运动轨迹向量。

步骤三：将人物运动轨迹向量及该固定时间段内的最后一次的人物的世界坐标组合生成人物的意图。

进一步地，所述ID包括追踪ID和监测ID，分别表示人物进入了追踪状态、监测状态。

进一步地，所述运动轨迹向量的状态具体包括：

intent_leave，动轨迹向量指向方向与机器人位置相反。

intent_close，动轨迹向量指向方向与机器人位置相同。

intent_pass，动轨迹向量指向方向与机器人位置不共线。

intent_stand，动轨迹向量长度为0。

进一步地，根据人物的意图控制机器人运动找回丢失人物，具体为：

若丢失人物的动轨迹向量的状态为intent_leave，控制机器人加快速度，朝着运动轨迹向量方向移动，并且尝试重新启动视觉追踪计算，尝试与人物建立交互。

若丢失人物的动轨迹向量的状态为intent_close，控制机器人原地缓慢旋转，尝试建立视觉追踪，如果旋转一周视觉还未找回该人，则朝着动轨迹向量方向移动L/2距离寻找，尝试与人物建立交互，L为机器人单次移动距离。

若丢失人物的动轨迹向量的状态为intent_pass，控制机器人立刻转动身体方向，并与动轨迹向量方向保持一致。在机器人转动时取消视觉追踪计算，等到方向一致时，开启视觉追踪计算，尝试与人物建立交互，如果视觉模块不能正常工作，按照运动轨迹向量回退距离R进行寻找，直到机器人找回目标。

若丢失人物的动轨迹向量的状态为intent_stand，控制机器人原地不动，尝试与人物建立交互，如通过声音尝试与目标人物发生联系，并在收到声音应答时朝目标人物方向移动。

进一步地，所述人物的意图还包括人物的声音信息，包括人物面部正对机器人的角度faceAngle、人物是否正在说话的状态status和根据机器人麦克风计算出的人物相对机器人坐标系的声音方向角度soundSource，其中，若该意图计算的固定时间段内中只要出现一次status为人物正在说话，则该意图的status为人物正在说话，当意图的status为人物正在说话且人物面部正对机器人的角度为正负10度范围内时，soundSource生效。

进一步地，根据人物的意图控制机器人运动找回丢失人物还包括：控制机器人朝soundSource方向移动寻找丢失人物。

进一步地，根据人物的意图控制机器人运动找回丢失人物，还包括：

机器人在移动过程中，发出声音广播人物姓名，若收到定向回答，则锁定声场方向，使用当前声场方向修正意图中的soundSource，控制机器人朝修正后的声场方向移动。

本发明的有益效果是：本发明结合人物视觉信息和轨迹运动，计算出人物历史意图，并在人物丢失后使用意图来判定人物丢失后机器人应该触发找回的行为，解决了机器人缺乏信息后失去找回功能的问题，同时结合声场来辅助机器人的人物找回功能，提升了人机互动的可靠性。

附图说明

图1为现有技术中找回人为的流程示意图；

图2为信息预处理流程图；

图3为意图表生成流程图；

图4为不同类型意图示意图；

图5为轨迹-意图-失踪找回关系示意图。

具体实施方式

本发明提出了一种基于计算人物意图控制机器人找回丢失人物的方法，具体为：通过获取周边人物视觉定位信息与人物状态信息，建立人物轨迹计算，从而评定人物的意图，并结合声场实现人物丢失、远离后控制机器人找回该人物的方法；所述的人物意图是一种状态，表示人物最近时间的行为动作，包含人物位置、运动轨迹向量等，下面，结合具体实施方式和附图对本发明作进一步说明。

作为一种优选的实施方式，该方法主要包括信息采集和预处理、生成意图映射表和人物找回步骤，具体如下：

1.信息采集和预处理，如图2所示，包括如下子步骤：

1-a首先机器人构建基于视觉计算的人物信息模块。

1-b视觉模块下发人物信息：trackId、detectId分别对应监测到的唯一人物标志，表示人物进入了追踪状态、监测状态，对于同一个人物trackId与detectId是固定不变的。

1-c获取人物视觉定位信息：包括人物的世界坐标x,y、人物面部正对机器人的角度faceAngle、表征人物是否正在说话的状态status。

1-d以上信息构建一个表示人物信息的集合S＝{trackId,detectId,x,y,faceAngle,status}

1-e针对机器人识别到的所有人物，获得集合{S}。

1-f机器人视觉采集以上信息的时间频率为f，即一秒时间内生成的信息数量，({S},T),其中T表示生成此信息时的时刻；

1-g针对人物信息刷帧频率f，对声场方向进行时间采样，每一份声场角度样本记作R，并与此时的({S},T)对应，记作({S},R,T)；其中，声场角度由机器人麦克风计算出人物针对机器人说话的声音方向，相对于机器人坐标系的角度为soundSource；

1-h按照时间生成队列记作{({S},R,T)}作为VisionCollection＝VC。

2.根据参数列表VC获取人物意图判定因子humanIntent并生成意图映射表，如图3所示，

具体包括如下子步骤：

2-a在VC列表{({S},R,T)}中，提取出每一个采样时刻的集合S＝{trackId,detectId,x,y,fAngle,status}，针对每一个trackId记录对应的x、y、fAngle、status，成为一帧信息HumanTrackFrame；针对每一个trackId记录对应的x、y、fAngle、status，成为一帧信息HumanDetectFrame

2-b设定时间窗口deltaT，在VC列表中截取子集合VC_session，表示为一个预先计算的会话，在会话中按照时间的先后顺序记录相同trackId的HumanTrackFrame，然后对于每一个trackId，都有一个对应的HumanTrackFrame，然后不同人物依照不同trackId，将HumanTrackFrame一一对应起来，生成数据结构(trackId,{HumanTrackFrame})；同样地，在会话中按照时间的先后顺序记录相同detectId的HumanDetectFrame，生成数据结构(detectId,{HumanDetectFrame})；

2-c对相同trackId的序列(trackId,{HumanTrackFrame})，提取依照时间发生次序的人物运动坐标x,y，并估算运动轨迹，并按照运动轨迹生成运动轨迹向量vectorMove；具体为：

(1)选取一个trackId对应的HumanTrackFrame帧或者detectId对应的HumanDetectFrame帧队列，开始处理

(2)依照deltaT时间段内根据人物坐标x,y获得运动轨迹trail，并且使用最小二乘计算运动轨迹向量vectorMove，其中，针对vectorMove作出以下定义(如图4所示)：

vectorMove指向方向与机器人位置相反时，记作远离intent_leave；

vectorMove指向方向与机器人位置相同时，记作靠近intent_close；

vectorMove指向方向与机器人位置不共线时，记作路过intent_pass；

vectorMove向量长度为0时，记作站定intent_stand；

可以根据vectorMove长度过滤过于遥远的人物。

2-d将人物运动轨迹向量及该固定时间段内的最后一次的人物的世界坐标、人物面部正对机器人的角度faceAngle组合生成人物意图判定因子humanIntent。归并时间窗口内全部的status，只要该时间窗口内出现一次status为正在说话状态，则状态为正在说话状态，否则为人物未说话状态，生成计算后结果(trackId,humanIntent,status)，即为人物意图；对相同detectId的序列(detectId,{HumanDetectFrame})做同样处理，生成计算后结果(detectId,humanIntent,status)。

2-e依照计算的VC_session中全部人物的(trackId,humanIntent,status)和(detectId,humanIntent,status)，生成2张总映射表。

3.自此，可根据已有的(trackId,humanIntent,status)和(detectId,humanIntent,status)两张总映射表，结合最近的追踪声场方向soundSource形成意图来找回丢失人物，其中，无论任何场景，设定追踪的丢失人物trackId是固定且唯一的，记作trackId_h。机器人单次移动距离L，如果追踪人物上次会话中status为说话且人物面部正对机器人的角度为正负10度范围内时，那么soundSource生效。如图5所示，具体包括如下步骤：

3-a当机器人与人物交互时，人物丢失，首先在(trackId,humanIntent,status)集合中寻找trackId等于trackId_h的集合，如果无法找到集合，从detectId找对应(trackId,humanIntent,status)的集合。

3-b在(trackId,humanIntent,status)或者(trackId,humanIntent,status)中获取人物最近一次的意图，包括状态status和对应humanIntent：

如果人物humanIntent中是intent_leave，那么控制机器人加快速度，朝着humanIntent记录的向量方向vectorMove移动，并且尝试重新启动视觉计算，尝试移动的距离不超过L，如果在L范围内没有找到人物，则朝着追踪声场soundSource方向再移动L距离，每次移动机器人都要左右旋转各r角度，尝试再次建立声场追踪方向和视觉模块追踪重启，直到找回人物信息，并重新与人物建立交互。

如果人物humanIntent中是intent_close，那么机器人原地缓慢旋转，尝试建立视觉。如果旋转一周视觉还未找回该人，那么朝着vectorMove移动大概L/2距离尝试寻找，并且发出声音广播人物姓名，如果收到定向回答，那么锁定声场方向，使用当前声场修正历史声场信息soundSource方向，然后移动L/2距离，再使用视觉尝试锁定目标人物，直到找回目标人物。

如果人物humanIntent中是intent_pass，那么机器人需要立刻转动身体方向，并与humanIntent中vectorMove方向保持一致。在机器人转动时取消视觉追踪，等到方向一致时，然后开启视觉。如果视觉模块不能正常工作，那么就按照vectorMove向量回退距离L进行寻找，直到机器人找回目标。

如果人物humanIntent中是intent_stand，那么机器人首先尝试原地不动，通过声音尝试与目标人物发生联系，并在收到声音应答时超目标方向移动。此步骤周期执行，在尝试若干次后，如果还是没有任何应答或找回目标，则放弃找回过程。

步骤3-b针对不同人物意图，当人物稳定与机器人交互时认为人物找回成功。无法完成找回时，机器人回退到人物丢失点，等待人物回归。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (7)

1.一种基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，该方法具体为：

通过获取机器人周边的人物视觉定位信息与人物状态信息，建立人物轨迹并评定人物的意图，根据丢失人物的最近的意图控制机器人运动找回丢失人物。其中，所述人物的意图是一种状态，表示人物固定时间段内的行为动作，包含人物的位置和运动轨迹向量；

所述评定人物的意图包括如下步骤：

步骤一：机器人实时获取监测范围内的视觉定位信息与人物状态信息集合{S}，其中S＝{ID,x,y}，ID表示唯一的人物标志，x,y为人物的世界坐标；

步骤二：根据唯一的人物标志和实时获取的世界坐标，生成固定时间段内每个人物的运动轨迹，并按照运动轨迹生成人物运动轨迹向量。

步骤三：将人物运动轨迹向量及该固定时间段内的最后一次的人物的世界坐标组合生成人物的意图。

2.根据权利要求1所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，所述ID包括追踪ID和监测ID。

3.根据权利要求1所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，所述运动轨迹向量的状态具体包括：

intent_leave，动轨迹向量指向方向与机器人位置相反。

intent_close，动轨迹向量指向方向与机器人位置相同。

intent_pass，动轨迹向量指向方向与机器人位置不共线。

intent_stand，动轨迹向量长度为0。

4.根据权利要求3所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，根据人物的意图控制机器人运动找回丢失人物，具体为：

若丢失人物的动轨迹向量的状态为intent_leave，控制机器人加快速度，朝着运动轨迹向量方向移动，并且尝试重新启动视觉追踪计算，尝试与人物建立交互。

若丢失人物的动轨迹向量的状态为intent_close，控制机器人原地旋转，尝试建立视觉追踪，如果旋转一周视觉还未找回该人，则朝着动轨迹向量方向移动L/2距离寻找，尝试与人物建立交互，L为机器人单次移动距离。

若丢失人物的动轨迹向量的状态为intent_pass，控制机器人转动身体方向，并与运动轨迹向量方向保持一致。在机器人转动时取消视觉追踪计算，等到方向一致时，开启视觉追踪计算，尝试与人物建立交互，如果视觉模块不能正常工作，按照运动轨迹向量回退距离L进行寻找，直到机器人找回目标。

若丢失人物的动轨迹向量的状态为intent_stand，控制机器人原地不动，尝试与人物建立交互，并朝人物方向移动。

5.根据权利要求4所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，所述人物的意图还包括人物的声音信息，包括人物面部正对机器人的角度faceAngle、人物是否正在说话的状态status和根据机器人麦克风计算出的人物相对机器人坐标系的声音方向角度soundSource，其中，若该意图计算的固定时间段内中只要出现一次status为人物正在说话，则该意图的status为人物正在说话，当意图的status为人物正在说话且人物面部正对机器人的角度为正负10度范围内时，soundSource生效。

6.根据权利要求5所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，根据人物的意图控制机器人运动找回丢失人物还包括：控制机器人朝soundSource方向移动寻找丢失人物。

7.据权利要求5所述基于计算人物意图控制机器人找回丢失人物的方法，其特征在于，根据人物的意图控制机器人运动找回丢失人物，还包括：

机器人在移动过程中，发出声音广播人物姓名，若收到定向回答，则锁定声场方向，使用当前声场方向修正意图中的soundSource，控制机器人朝修正后的声场方向移动。

Images