CN111179341A - 一种增强现实设备与移动机器人的配准方法 - Google Patents

Abstract

本发明公开了一种增强现实设备与移动机器人的配准方法，获得当前场景的2D图像及点云数据；获取当前场景的2D图像，并获取此时设备的位姿；对上述获得的两张2D图像进行特征提取和特征匹配；计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵；以移动机器人基座为基准点得到三维坐标，转换到混合现实设备的世界坐标系中的转换矩阵P2；本发明使用图像特征点和点云数据，对混合现实设备与可移动机器人进行配准，在配准完成后，虚拟物体的位姿可以根据实际环境和设备状态进行实时调整，使机器反馈与人的感官相融合，给用户更加自然的使用体验。

Description

一种增强现实设备与移动机器人的配准方法

【技术领域】

本发明属于图像数据处理领域，涉及一种增强现实设备与移动机器人的配准方法。

【背景技术】

混合现实(Mixed Reality,MR)是一种将虚拟世界和真实世界进行融合，使真实和虚拟的物体能够同时存在并进行实时交互的技术。使用混合现实可以使用户的主观体验更为自然，混合现实与真实世界紧密联系的特点，使其在教育、医疗、游戏等领域有广泛的应用价值。

混合现实技术提供了一种与环境进行直接、自然反馈的方式，因而考虑使用混合现实技术替代移动机器人上的传统屏幕显示，使用户不需要使用屏幕就能获知机器人状态，并且可以通过与环境的互动控制机器人，提高用户的舒适度。

目前为止，混合现实技术与环境进行实时结合一般有两种方式。一种是通过手动或者设置视觉标记的方法将虚拟物体放置在需要的位置，虚拟物体的位置不能根据空间环境的变化进行调整；另一种是在场景中设置视觉标记，该标记必须同时出现在深度相机和混合现实设备视野中才能够实现相机与混合现实设备的配准。这两种方式使用繁琐、不够灵活，不适合变化频繁的场景，限制了混合现实技术的应用范围。

【发明内容】

本发明的目的在于解决现有技术中的问题，提供一种增强现实设备与移动机器人的配准方法，移动机器人带有一个能够获取RGBD数据的相机。

为达到上述目的，本发明采用以下技术方案予以实现：

一种增强现实设备与移动机器人的配准方法，包括以下步骤：

步骤1，使用移动机器人上的深度相机，获得当前场景的2D图像及点云数据；

步骤2，使用混合现实设备，获取当前场景的2D图像，并获取此时设备的位姿T1；

步骤3，对上述获得的两张2D图像进行特征提取和特征匹配，找到两张图像相对应的特征点；

步骤4，根据找到的特征点，计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；

步骤5，根据得到的2D和3D特征点，求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2；

步骤6，移动机器人基座到混合现实设备当前位置的转换矩阵H：

H＝T2×T3

其中，T3为移动机器人基座到深度相机的变换矩阵；

步骤7，以移动机器人基座为基准点得到三维坐标P1，转换到混合现实设备的世界坐标系中的转换矩阵P2为：

P2＝T1×H×P1。

本发明进一步的改进在于：

步骤3中，采用SIFT算法对图像提取SIFT特征，特征提取过程调用OpenCV中的API进行实现。

步骤3中，采用暴力法尝试所有的匹配可能，得到一个最佳的匹配；特征匹配过程调用OpenCV中的API进行实现。

步骤5的具体方法如下：

对图像提取SIFT特征，特征点分散在各个物体上，不在同一个平面上，使用中PnP算法中的EPnP，调用OpenCV中的API，求解出深度相机到混合现实设备的变换矩阵T2；通过反投影误差对结果进行评估，使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点，计算反投影的点与图像上检测出的特征点之间的平均误差。

与现有技术相比，本发明具有以下有益效果：

本发明使用图像特征点和点云数据，对混合现实设备与可移动机器人进行配准，在配准完成后，虚拟物体的位姿可以根据实际环境和设备状态进行实时调整，使机器反馈与人的感官相融合，给用户更加自然的使用体验。其具有如下优点：

第一：本发明提供一种不限制场景的混合现实配准方案，使用提取图像特征点，进行特征匹配之后，使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解，计算出移动机器人基座到混合现实设备世界坐标系的转换关系，以实现两个坐标系的配准；

进一步的，使用提取图像特征点，进行特征匹配之后，使用PnP算法对深度相机到混合现实设备之间的转换关系进行求解，这种方式在使用时没有限制，只需确保深度相机和混合现实设备捕获同一场景下的图像即可进行配准，使用方便。

进一步的，计算出移动机器人基座到混合现实设备世界坐标系的转换关系，使用这一结果，就可以根据任意物体在移动机器人坐标系中的位置，计算得出该物体在混合现实世界坐标系中的位置。

第二：物体在移动机器人坐标系中的位置通过深度相机来确定，对深度相机获得的图像进行分割、识别，并将识别到的物体的位置信息实时发送到混合现实设备，对放置在场景中的虚拟物体的位置进行调整，使虚拟物体与环境进行更好的融合；

第三：本发明环境适应性强，仅需要在使用之前使用移动机器人新建地图，确定基准点，便可进行配准，配准完成后，可适应场景内容的变化。

【附图说明】

图1为配准流程图。

图2为坐标转换示意图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明使用头戴式混合现实设备，具体实施时使用HoloLens混合现实眼镜。混合现实眼镜通过追踪头部运动或眼球运动获取用户兴趣点，并且使用来自惯性测量单元、环境感知相机、环境光传感器等来自真实世界的传感器信息，确保充分了解周围环境，将现实世界与虚拟世界进行更好的融合，同时能够在空间中准确定位出当前用户的位置和姿态。

移动机器人带有一个能获得RGBD数据的相机，本实例使用的是Intel RealSenseD435。

首先，使用混合现实设备获得当前场景的图像，并获取此时设备在其世界坐标系中的位姿，记为T1，然后使用深度相机获得当前场景的图像数据和点云数据。

然后，对上述步骤中获得的两张图像进行特征提取和特征匹配。由于两张图片的大小不一致，因此使用尺度不变特征转换即SIFT(Scale-invariant feature transform)算法，SIFT特征描述图像的局部特征，其基于物体上一些局部外观的兴趣点，与图像的大小和旋转无关。在进行特征提取后，为了获得比较好的匹配结果，使用暴力法(Brute Force)尝试所有的匹配可能，得到一个最佳的匹配。特征提取和匹配过程均调用OpenCV中的API进行实现。

根据得到的2D和3D特征点，求解3D到2D点对的运动。在已知相机内参和多对3D与2D匹配点的情况下，PnP方法(Perspective-n-Point)可以计算出相机所在位姿。由于本实施例中对任意实际场景图像提取SIFT特征，特征点分散在各个物体上，不在同一个平面上，因此使用中PnP算法中的EPnP，调用OpenCV中的API，求解出深度相机到混合现实设备的变换矩阵T2。通过反投影误差对结果进行评估，使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点，计算反投影的点与图像上检测出的特征点之间的平均误差。这里的误差使用两点之间的欧氏距离作为评判，误差越小，结果越理想。本实施例中当计算出平均误差小于10时，认为结果可用；平均误差大于10时，重复上述过程，直至平均误差小于10。

已知移动机器人基座到深度相机的变换矩阵为T3，则移动机器人基座到混合现实设备当前位置的转换矩阵H＝T2×T3，以移动机器人基座为基准点拿到三维坐标P1，拍照时混合现实设备到其世界坐标系的转换矩阵为T1，则移动机器人基座转换到混合现实设备的世界坐标系中的转换矩阵为P2＝T1×H×P1；

如图2所示，混合现实设备，能够在真实物体出叠加额外虚拟信息，用于实现混合现实UI，使机器到人的反馈直接与人的感官融为一体，用户的主观体验更为自然，通过调用API来获得此设备在其世界坐标系中的位置信息；

移动机器人，能够构建环境地图，并且能够实时确定其在地图中的位置，移动机器人上的深度相机对周围环境进行实时的识别，确定环境中物体类别及位置信息，发送到混合现实设备进行显示。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种增强现实设备与移动机器人的配准方法，其特征在于，包括以下步骤：

步骤1，使用移动机器人上的深度相机，获得当前场景的2D图像及点云数据；

步骤2，使用混合现实设备，获取当前场景的2D图像，并获取此时设备的位姿T1；

步骤3，对上述获得的两张2D图像进行特征提取和特征匹配，找到两张图像相对应的特征点；

步骤4，根据找到的特征点，计算对应点云数据，获得混合现实设备图像的2D特征点与深度相机3D点的对应值；

步骤5，根据得到的2D和3D特征点，求解3D到2D点对的运动；利用PnP方法求解出深度相机到混合现实设备的变换矩阵T2；

步骤6，移动机器人基座到混合现实设备当前位置的转换矩阵H：

H＝T2×T3

其中，T3为移动机器人基座到深度相机的变换矩阵；

步骤7，以移动机器人基座为基准点得到三维坐标P1，转换到混合现实设备的世界坐标系中的转换矩阵P2为：

P2＝T1×H×P1。

2.根据权利要求1所述的增强现实设备与移动机器人的配准方法，其特征在于，步骤3中，采用SIFT算法对图像提取SIFT特征，特征提取过程调用OpenCV中的API进行实现。

3.根据权利要求1所述的增强现实设备与移动机器人的配准方法，其特征在于，步骤3中，采用暴力法尝试所有的匹配可能，得到一个最佳的匹配；特征匹配过程调用OpenCV中的API进行实现。

4.根据权利要求1所述的增强现实设备与移动机器人的配准方法，其特征在于，步骤5的具体方法如下：

对图像提取SIFT特征，特征点分散在各个物体上，不在同一个平面上，使用中PnP算法中的EPnP，调用OpenCV中的API，求解出深度相机到混合现实设备的变换矩阵T2；通过反投影误差对结果进行评估，使用OpenCV中的cv2.projectPoints()计算三维到二维的投影点，计算反投影的点与图像上检测出的特征点之间的平均误差。

Images