CN109725733A - 一种基于增强现实的人机交互方法及人机交互设备 - Google Patents

Abstract

本发明公开一种基于增强现实的人机交互方法、人机交互设备，该方法步骤包括：S1.被控机器人实时采集所处环境的实景图像，并根据实景图像构建对应的环境地图，将实景图像以及构建的环境地图回传至控制端；S2.控制端接收被控机器人回传的实景图像、环境地图，对实景图像进行目标检测，定位出目标所在区域并获取目标的位置信息存储至环境地图中，根据获取的目标的位置信息在实景图像中使用增强现实方法叠加标注信息以对目标进行标注。本发明具有实现方法简单、成本低、能够实现目标可视化虚拟标注与真实世界的联动且交互效率高、应用灵活等优点。

Description

一种基于增强现实的人机交互方法及人机交互设备

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于增强现实的人机交互方法及人机交互设备。

背景技术

在如救援、高危作业等各领域通常是利用遥控机器人执行任务，即通过机器人车载摄像头直接传回图像信息供操作人员来观察理解环境，操作人员在远端遥控机器人执行各种操作。在救援机器人探索环境的过程中，需要寻找受困者的位置，当自然灾难发生时，能够迅速在倒塌的建筑物中找到受害者是挽救他们生命的前提条件，而灾后环境复杂，救援人员所能够到达的区域有限，使用救援机器人可以用来探索未知的灾后环境，由救援机器人进入到人员无法到达的危险环境，通过机器人上的传感器如相机或者红外成像仪等采集信息以获取现场的信息便于实施救援。

虽然目前部分机器人已经拥有了一定的自主能力，但现阶段的机器人在自主运行时的表现还难以满足应用需求，其发挥出的性能远远不及人遥控机器人方式所能够发挥的性能，因而目前甚至在未来相当长的一段时间内，在真实灾难环境中仍然是需要采用由人远程遥控的方式执行救援任务。目前针对遥控场景下的人机(人-机器人)交互中，普遍的做法是将机器人车载摄像头采集的视频图像直接传送回来，由操作人员直接观察传回来的图像理解环境信息，再通过手柄、键盘等控制指令输入设备来操控机器人的行动，这种情况下操作人员需要集中精力来寻找受害者，并记住机器人走过的路径和机器人当前的位置，该类交互方式需要耗费操作人员大量的精力，导致操作人员极易出现疲劳感，效率低且易于发生遗漏等问题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、能够实现目标可视化虚拟标注与真实世界的联动且交互效率高、应用灵活的基于增强现实的人机交互方法及人机交互设备。

为解决上述技术问题，本发明提出的技术方案为：

一种基于增强现实的人机交互方法，步骤包括：

S1.被控机器人实时采集所处环境的实景图像，并根据所述实景图像构建对应的环境地图，将所述实景图像以及构建的环境地图回传至控制端；

S2.控制端接收被控机器人回传的所述实景图像、环境地图，对所述实景图像进行目标检测，定位出目标所在区域并获取目标的位置信息存储至所述环境地图中，根据获取的所述目标的位置信息在所述实景图像中使用增强现实(Augmented Reality,AR)方法叠加标注信息以对目标进行标注。

作为本发明的进一步改进，所述步骤S2中对所述实景图像进行目标检测的步骤包括：

S21.对所述实景图像进行图像分割，定位得到目标所在的像素区域；

S22.获取所述实景图像的深度图像，根据所述深度图像以及步骤S21确定的目标所在的像素区域定位到目标的位置，获取得到目标的位置信息并存储至所述环境地图中。

作为本发明的进一步改进，所述步骤S21中使用全卷积神经网络方法进行目标像素级的图像分割；所述步骤S22中具体使用分割掩模与所述深度图像获取目标相对相机的位置信息进行存储。

作为本发明的进一步改进，所述步骤S2中将目标的位置信息存储至所述环境地图中时，具体在获取得到目标的位置信息后，计算目标在世界坐标系下与目标周围地图点的相对位置，将地图点索引与所述相对位置作为目标的位置信息进行存储。

作为本发明的进一步改进，所述步骤S2中使用增强现实方法叠加标注信息时，提取所有所存储在世界坐标系下的目标点的位置信息，并根据被控机器人中图像采集设备的当前位姿解算出各目标点在图像采集设备坐标系下的位置信息，根据解算出的位置信息在所述实景图像的对应位置处叠加所需的标注信息以标注各目标点。

作为本发明的进一步改进，所述步骤S2还包括当解算出的目标点的位置信息不在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息将目标重投影到当前的图像坐标系下，根据重投影计算得到的位置在所述实景图像中叠加用于指示目标方向的方向信息。

作为本发明的进一步改进，所述步骤S2还包括当目标重新出现在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息重新在所述实景图像中叠加目标的标注信息。

作为本发明的进一步改进，所述步骤S1中建立所述环境地图时，使用基于特征的SLAM(Simultaneous Localization And Mapping，同步定位与建图)方法计算地图数据并实时获取被控机器人中图像采集设备的位姿信息，以地图点和关键帧的形式表示世界模型。

作为本发明的进一步改进，还包括根据实景图像的实时更新数据对所述世界模型进行更新优化的步骤。

本发明进一步提供一种基于增强现实的人机交互设备，包括被控机器人以及控制端，被控机器人上设置有用于图像采集的图像采集设备，所述被控机器人以及控制端被编程以执行上述基于增强现实的人机交互方法的步骤。

与现有技术相比，本发明的优点在于：

1、本发明通过被控机器人采集所处环境的实景图像并构建对应的环境地图，对实景图像进行目标检测及定位，确定目标相对相机的位置，同时基于“视频透视法”的增强现实显示方式，将回传的图像中感兴趣的目标进行可视化标注，由可视化的目标虚拟标注信息与真实世界实现联动，使得控制端的操作人员可以更好的理解环境，操作人员可以实时方便的获取到所有目标的位置而无需实时记忆所有目标的位置，能够极大的提高人机交互效率，且实现方式简单、对设备要求不高，可便于高效的控制机器人执行救援任务等。

2、本发明通过利用增强现实系统实现目标标注的可视化，在图像上相应位置处叠加引导性的信息，可以帮助操作人员更轻松地记住目标的位置，使人与机器人的交互更加轻松。

3、本发明进行图像处理时，进一步通过利用图像分割方法分割出目标所在的像素区域，再结合深度相机定位到图像中目标的具体位置，可以充分利用被控机器人回传的数据得到目标距离相机的距离，同时降低噪声对测量误差的影响。

4、本发明进一步在获取目标的位置时，通过计算目标在世界坐标系下与目标周围地图点的相对位置，并以地图点索引与相对位置的形式记录目标位置，可以使得地图点随着系统运行而更新时，尽量减少地图点更新造成的误差。

5、本发明进一步当目标不在相机视野范围内时，通过重投影的方法计算目标在图像中的位置，在目标点移出视野范围后叠加方向信息，使得仍然可以显示目标的方向，便于获取不在视野范围内的目标的大致方位，目标重新出现在视野中后重新标注目标，可以保持AR标记与真实目标的关联，使得可以实现目标的连续、精确跟踪。

附图说明

图1是本实施例基于增强现实的人机交互方法的实现流程示意图。

图2是本实施例实现基于增强现实的人机交互方法的原理示意图。

图3是本实施例以地图点和关键帧的形式表示世界模型的原理示意图。

图4是本发明在具体应用实施例中实现目标检测及标注的结果示意图。

图5是本实施例中实现目标重投影的原理示意图。

图6是本发明在具体应用实施例中随着机器人运行时AR标记的变化原理示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例基于增强现实的人机交互方法步骤包括：

S1.被控机器人实时采集所处环境的实景图像，并根据实景图像构建对应的环境地图，将实景图像以及构建的环境地图回传至控制端；

S2.控制端接收被控机器人回传的实景图像、环境地图，对实景图像进行目标检测，定位出目标所在区域并获取目标的位置信息存储至环境地图中，根据获取的目标的位置信息在实景图像中使用增强现实(AR)方法叠加标注信息以对目标进行标注。

本实施例通过被控机器人采集所处环境的实景图像并构建对应的环境地图，对实景图像进行目标检测及定位，确定目标相对相机的位置，同时基于“视频透视法”的增强现实显示方式，将回传的图像中感兴趣的目标进行可视化标注，由可视化的目标虚拟标注信息与真实世界实现联动，使得控制端的操作人员可以更好的理解环境，操作人员可以实时方便的获取到所有目标的位置而无需实时记忆所有目标的位置，能够极大的提高人机交互效率，且实现方式简单、对设备要求不高，可便于高效的控制机器人执行救援任务等。

如在救援机器人执行任务时，操作人员获取环境信息主要来源就是屏幕上传回的视频图像，将本实施例上述方法应用于救援任务时，通过被控机器人实时采集实景图像回传后，对回传的实景图像进行处理，定位到目标位置后在图像上相应位置处叠加引导性的信息，可以使操作人员更轻松的完成救援任务，从而使人与机器人的交互更加轻松。

本实施例中，步骤S1中建立环境地图时，具体使用基于特征的SLAM方法计算地图数据并实时获取被控机器人中图像采集设备的位姿信息，以地图点和关键帧的形式表示世界模型，具体可采用现有技术中以地图点和关键帧的形式表示世界模型的方法。在具体应用实施例中以关键帧和地图点表示的世界模型如图3所示，其中图3(a)对应为建立的地图点和关键帧，图3(b)对应为检测到的特征点结果。

在具体应用实例中，首先在被控机器人上搭载RGBD相机作为图像采集设备，通过搭载的RGBD相机实时采集机器人所处环境的实景环境数据，使用RGBD相机采集到的实景环境数据，可以准确的反映机器人所处的环境信息。具体可使用Kinect2相机，采用飞行时间法测距，即为ToF(Time of Flight,飞行时间)相机；构建环境地图时具体采用基于单目、双目、RGBD相机视觉SLAM方法的ORB-SLAM2算法计算地图数据，并实时获取传感器位姿。

本实施例中，进一步还包括根据实景图像的实时更新数据对世界模型进行更新优化的步骤，即由特征点和关键帧形式表示世界模型，随着系统的运行同时对该世界模型进行不断的更新优化。

本实施例步骤S2中对实景图像进行目标检测的步骤包括：

S21.对实景图像进行图像分割，定位得到目标所在的像素区域；

S22.获取实景图像的深度图像，根据深度图像以及步骤S21确定的目标所在的像素区域定位到目标的位置，获取得到目标的位置信息并存储至环境地图中。

本实施例在被控机器人端具体使用深度相机采集图像，在控制端接收到被控机器人回传的实景图像后，首先利用图像分割方法分割出目标所在的像素区域，再结合深度相机定位到图像中目标的具体位置，即得到目标距离相机的距离，可以充分利用被控机器人回传的数据，降低噪声对测量误差的影响，同时将目标的位置信息存储在环境地图中以实现目标标注可视化而使得无需人工记忆目标的位置。

本实施例中，步骤S21中具体使用全卷积神经网络(FCN)方法进行图像分割，基于FCN方法可以实现目标像素级的分割，确保分割精度；步骤S22中具体使用分割掩模与深度图像获取目标相对相机的位置信息进行存储，结合分割掩模方式以及深度图像可以精确的定位目标与相机之间的位置。

本实施例中，步骤S2中将目标的位置信息存储至环境地图中时，具体在获取得到目标的位置信息后，计算目标在世界坐标系下与目标周围地图点的相对位置，将地图点索引与相对位置作为目标的位置信息进行存储。即步骤S2在获取目标的位置后，计算目标在世界坐标系下与目标周围地图点的相对位置，并以地图点索引与相对位置的形式记录目标位置，由于地图点会随着系统运行而更新，采用地图点索引以及相对位置记录目标位置的方式可以尽量减少地图点更新造成的误差。

在具体应用实施例中，预先配置可实现上述图像分割以及目标检测的检测分割程序模块，由用户手动触发该检测分割程序模块的启动，即在用户启动该检测分割程序模块后，开始对被控机器人回传的图像进行图像分割，在分割完成后保存目标在世界坐标下的位置，保存时以目标周围的地图点为基础，记录相邻地图点的索引，并保存以地图点索引计算出的中心位置与检测得到的目标位置间的相对值。

本实施例步骤S2中使用增强现实方法叠加标注信息时，具体提取所有所存储在世界坐标系下的目标点的位置信息，并根据被控机器人中图像采集设备的当前位姿解算出各目标点在图像采集设备坐标系下的位置信息，根据解算出的位置信息在实景图像的对应位置处叠加所需的标注信息以标注各目标点。本实施例获取到目标位置并存储在环境地图后，利用增强现实系统实现目标标注的可视化，可以在界面中放置与真实世界目标联动的AR标记，操作人员可以直接将标记放置在原始图像中发现的目标上，来帮助自己更轻松地记住目标的位置。

本发明在具体应用实施例中实现目标标注的过程如图4所示，其中，(a)、(b)两幅图像分别为原始图像和目标分割的结果，(c)、(e)两幅图像分别为RGBD相机的深度图和SLAM节点建立的以关键帧和地图点表示的世界模型，(d)为叠加了增强现实标记的图像，具体是以虚拟立方体作为目标的标记。

本实施例中，步骤S2还包括当解算出的目标点的位置信息不在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息将目标重投影到当前的图像坐标系下，根据重投影计算出的位置在实景图像中叠加用于指示目标方向的方向信息，具体采用符号“S”表示不在视野范围内的目标方向。

本实施例采用的重投影原理如图5所示，(u′，v′)是投影后的目标点，(u₀，v₀)是图像坐标系的中心点，S点为(u′，v′)和(u₀，v₀)的连线与图像边缘的交点，投影后的(u′，v′)可能会出现不在图像范围内的情况，也就是说在此刻相机拍摄到的画面中并没有预期的目标，如果将相机转向S所指示的方向，就可以重新看到之前标记过的目标。由于当检测到目标时是将目标点保存在世界坐标系中，以相机坐标系中的点和图像采集设备(相机)当前的位姿表示，在显示已保存的目标点时，目标点不一定会在相机的视野范围内，本实施例当目标不在相机视野范围内时，通过重投影的方法计算目标在图像中的位置，在目标点移出视野范围后叠加方向信息，使得仍然可以显示目标的方向，便于获取不在视野范围内的目标的大致方位，将采集方向按照标注方向进行调整，目标则又可以重新出现在视野范围内。

本实施例中，步骤S2还包括当目标重新出现在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息重新在实景图像中叠加目标的标注信息。当目标不在相机视野范围内后，通过重投影的方法计算目标在图像中的位置，并在原始图像上叠加方向信息S，当相机沿着该方向S运动时，该目标会重新出现在视野中，根据保存的目标点信息按照如图5方式重新将目标投影到当前的图像坐标系中，可以保持AR标记与真实目标的关联，使得可以实现目标的连续、精确跟踪。

在具体应用实施例中，定位到实景图像中目标并保存目标的位置后，使用OpenGL与OpenCV来绘制虚拟立方体以作为表示目标的标注，其中OpenGL负责显示三维的立方体，首先提取所有已保存的目标点在世界坐标系下的位置，并结合当前SLAM算法计算得到的相机位姿解算出目标点在相机坐标系下的位置，根据该位置在OpenGL中对应的位置绘制三维立方体，OpenCV负责显示目标在视野外时的方向字符S，在解算出目标在相机坐标系下的位置后，使用如图5的投影方法进一步将目标投影在图像坐标系下，使用OpenCV在对应的位置绘制字母标注。

本发明在具体应用实施例中实现目标AR标记的过程如图6所示，在目标位置放置AR标记(虚拟立方体)后，随着机器人向右转，目标移出了相机的视野，此时AR标记因为已经与真实物体关联，在视频图像中也不再显示，改为由字母S来指示目标的方向；随后机器人向着S指示的方向转动后，目标又出现在了相机视野中，重新恢复由AR标记来标注目标的位置。

如图2所示，本实施例通过构建AR节点、SLAM节点以及OSVOS(One-Shot VideoObject Segmentation，一种半监督视频目标分割方法)节点构成人机交互系统，由AR节点利用搭载的Kinect2相机实时采集实景图像并传输给SLAM节点，SLAM节点基于SLAM算法构建环境地图并实时获取相机的位姿信息，SLAM节点将相机的位姿以及地图点信息传输给AR节点，AR节点将采集的图像传输给OSVOS节点，由OSVOS节点进行目标检测以及目标标注，OSVOS节点具体结合CNN神经网络以及半监督实例分割方法，对Kinect2采集的图片实现目标的分割，再使用分割结果与深度图像得到目标相对相机的位置并实现标注，以将标注结果与世界模型关联；OSVOS节点检测到的目标位置传输给AR节点进行保存，AR节点中保存目标点时具体保存在世界坐标系中；通过用户界面获取AR节点输出的运行结果以及发送控制指令给AR节点。

本发明通过获取实时环境图像，对图像进一步处理后叠加引导性的信息，基于增强现实方法实现目标虚拟标注与真实世界的联动，将目标的标注与真实物体相关联，可以使人与机器人的交互更加轻松、便捷。

本实施例进一步提供一种基于增强现实的人机交互设备，包括被控机器人以及控制端，被控机器人上设置有用于图像采集的图像采集设备，被控机器人以及控制端被编程以执行上述基于增强现实的人机交互方法的步骤。如图2所示，本实施例人机交互设备包括AR节点、SLAM节点以及OSVOS节点，由AR节点利用搭载的相机实时采集实景图像并传输给SLAM节点，SLAM节点基于SLAM算法构建环境地图并实时获取相机的位姿信息，由AR节点将采集的图像传输给OSVOS节点，由OSVOS节点进行目标检测以及目标标注，目标点的位置信息保存在AR节点中，各节点的配置及具体采用的设备可根据实际需求确定。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种基于增强现实的人机交互方法，其特征在于，步骤包括：

S1.被控机器人实时采集所处环境的实景图像，并根据所述实景图像构建对应的环境地图，将所述实景图像以及构建的环境地图回传至控制端；

S2.控制端接收被控机器人回传的所述实景图像、环境地图，对所述实景图像进行目标检测，定位出目标所在区域并获取目标的位置信息存储至所述环境地图中，根据获取的所述目标的位置信息在所述实景图像中使用增强现实方法叠加标注信息以对目标进行标注。

2.根据权利要求1所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中对所述实景图像进行目标检测的步骤包括：

S21.对所述实景图像进行图像分割，定位得到目标所在的像素区域；

S22.获取所述实景图像的深度图像，根据所述深度图像以及步骤S21确定的目标所在的像素区域定位到目标的位置，获取得到目标的位置信息并存储至所述环境地图中。

3.根据权利要求2所述的基于增强现实的人机交互方法，其特征在于，所述步骤S21中使用全卷积神经网络方法进行目标像素级的图像分割；所述步骤S22中具体使用分割掩模与所述深度图像获取目标相对相机的位置信息进行存储。

4.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中将目标的位置信息存储至所述环境地图中时，具体在获取得到目标的位置信息后，计算目标在世界坐标系下与目标周围地图点的相对位置，将地图点索引与所述相对位置作为目标的位置信息进行存储。

5.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中使用增强现实方法叠加标注信息时，提取所有所存储在世界坐标系下的目标点的位置信息，并根据被控机器人中图像采集设备的当前位姿解算出各目标点在图像采集设备坐标系下的位置信息，根据解算出的位置信息在所述实景图像的对应位置处叠加所需的标注信息以标注各目标点。

6.根据权利要求5所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2还包括当解算出的目标点的位置信息不在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息将目标重投影到当前的图像坐标系下，根据重投影计算得到的位置在所述实景图像中叠加用于指示目标方向的方向信息。

7.根据权利要求6所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2还包括当目标重新出现在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息重新在所述实景图像中叠加目标的标注信息。

8.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S1中建立所述环境地图时，使用基于特征的SLAM方法计算地图数据并实时获取被控机器人中图像采集设备的位姿信息，以地图点和关键帧的形式表示世界模型。

9.根据权利要求8所述的基于增强现实的人机交互方法，其特征在于，还包括根据实景图像的实时更新数据对所述世界模型进行更新优化的步骤。

10.一种基于增强现实的人机交互设备，包括被控机器人以及控制端，被控机器人上设置有用于图像采集的图像采集设备，其特征在于，所述被控机器人以及控制端被编程以执行权利要求1～9中任意一项所述的基于增强现实的人机交互方法的步骤。