CN111300416B - 基于增强现实的模块化可重构机器人规划仿真方法和系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的模块化可重构机器人规划仿真方法和系统，包括：采集工厂实际场景信息；生成增强现实工厂场景；将搭建好的模块化可重构机器人模型与增强现实工厂场景叠加；识别和重建场景中的物体三维模型，赋予碰撞包围盒和物理属性，实时记录虚拟机器人的作业过程及干涉情况；调整模块化机器人构型或参数直至满足对应的工作需求。本发明以实际工厂单元场景为基础，通过增强现实规划仿真方法能够快速地对所需机器人构型、动作和路径进行准确配置和规划，让用户体验到虚拟与现实叠加融合的逼真效果，而无需到现场，避免实体机器人制造错误带来的浪费和现场规划带来的危险，同时提高了模块化可重构机器人应用的速度和精确度。

Description

基于增强现实的模块化可重构机器人规划仿真方法和系统

技术领域

本发明涉及增强现实及机器人技术领域，具体而言涉及一种基于增强现实的模块化可重构机器人规划仿真方法和系统。

背景技术

近几年，我国制造业面临劳动力成本快速上升的突出问题和挑战，这使得作为制造业重要工具之一的机器人及相关技术发展迅速，其已成为我国从制造大国向制造强国迈进中的关键装备。模块化可重构机器人是机器人中的一种，它一类具有标准的机械和电气接口，可以根据任务和环境需要，改变自身构型的机器人，具有适应能力强、功能多样、开发周期短的优点，非常适合工业场景下的快速配置和应用。然而，由于工业应用场景的多样性和复杂性，如何快速、合理地配置机器人成为模块化可重构机器人应用的一个难题，目前，对于模块可重构机器人的现场应用，如选择模块化机器人构型，规划机器人作业动作等，常采用现场实地规划、虚拟仿真规划等多种规划方式，但在这些规划方式中，虚拟仿真规划存在需经过大量计算，与实际工作场景存在较大误差，易出现错误的缺点，而现场规划则存在制造浪费、危险性大的缺点，难以满足模块化可重构机器人快速、准确规划的要求。

增强现实技术是一种将真实世界信息和虚拟世界信息通过计算机等技术无缝叠加到同一个画面或者空间，再通过一定的显示手段展示出来的新技术，增强现实技术的出现为模块化可重构机器人的规划提供了一个新的技术手段，将增强现实技术应用到模块化可重构机器人规划中，可以使模块化可重构机器人规划仿真与实际工厂现场融合，达到贴近实际现场、准确规划的效果。

发明内容

本发明目的在于提供一种基于增强现实的模块化可重构机器人规划仿真方法和系统，使用视频采集装置采集工厂现场三维场景，通过图像处理和三维重建技术构建增强现实场景，并在增强现实场景中进行模块化可重构机器人仿真模型的设计和装配，而后模拟机器人在实际工厂场景中的运动与作业过程，以快速改进机器人满足实际作业要求。本发明以实际工厂单元场景为基础，通过增强现实规划仿真方法能够快速地对所需的模块化机器人构型、动作和路径进行准确配置和规划，让用户体验到虚拟与现实的叠加融合效果，而无需到现场，从而避免实体机器人制造错误带来的浪费和现场规划带来的危险，同时提高了模块机器人应用的速度和精确度。

为达成上述目的，结合图1，本发明提出一种基于增强现实的模块化可重构机器人规划仿真方法，所述规划方法包括：

S1，采集工厂实际场景信息，所述工厂实际场景信息包括图像信息和点云信息；

S2，对采集到的图像信息进行处理，生成工厂实际场景图像；

S3，对采集到的点云信息进行处理，识别和重建工厂实际场景中物体的三维模型，构建工厂的三维模型，对构建的物体的三维模型赋予碰撞包围盒和物理属性；

S4，根据工作需求，从模型库选择相应的模块化可重构机器人组件进行虚拟机器人模型的设计和组装，并将搭建好的虚拟机器人模型在处理后的工厂实际场景图像中进行注册和一致性处理，与工厂实际场景图像叠加后生成增强现实场景，视频输出至前端屏幕显示；

S5，利用鼠标拖动或虚拟机器人控制器驱动虚拟机器人模型运动，实时记录虚拟机器人模型的动作过程及干涉情况；

S6，判断步骤S5中的记录结果对应的虚拟机器人模型的构型或参数是否满足预设的工作需求，如果满足，进入步骤S7，否则，返回步骤S4，调整虚拟机器人模型的构型或参数直至满足对应的工作需求；

S7，输出虚拟机器人模型的相关配置信息，完成规划。

作为其中的一种优选例，步骤S3中，所述对采集到的点云信息进行处理是指，对三维点云数据的降噪、分割、拼接处理，再采用改进ICP算法重建场景中物体的三维模型，建立工厂单元场景物体的虚拟三维模型。

作为其中的一种优选例，步骤S4中，所述从模型库选择相应的模块化可重构机器人组件进行虚拟机器人模型的设计和组装，并将搭建好的虚拟机器人模型在处理后的工厂实际场景图像中进行注册和一致性处理，与工厂实际场景图像叠加后生成增强现实场景，视频输出至前端屏幕显示包括以下步骤：

S41，从机器人模型库中选择机器人底座，采用标识物注册方法在工厂实际场景图像中注册；

S42，结合工作需求，从机器人模型库中选择相匹配的模块化可重构机器人组件，利用模块化可重构机器人自动装配算法组装机器人，直至完成虚拟机器人模型组装；

S43，将搭建好的虚拟机器人模型采用光照采集估计方法进行渲染和光照阴影一致性处理；

S44，将处理后的虚拟机器人与工厂实际场景图像叠加后生成增强现实场景，视频输出至前端屏幕显示。

作为其中的一种优选例，所述标识物注册方法是指，通过标识物确定虚拟机器人模型的位置，完成虚拟机器人模型在虚实融合场景的注册。

作为其中的一种优选例，步骤S5中，所述利用鼠标拖动或虚拟机器人控制器驱动虚拟机器人模型运动，实时记录虚拟机器人模型的动作过程及干涉情况的过程包括以下步骤：

自动建立场景物体的运动模型和赋予物体碰撞包围盒及物理属性；

通过鼠标拖动虚拟机器人模型关节运动或者利用虚拟控制器驱动虚拟机器人模型运动，记录虚拟机器人模型的运动过程和路径；

利用碰撞检测算法检测虚拟机器人模型与场景中物体模型的干涉和碰撞情况；

将虚拟机器人模型的动作与预设的工作需求对比，判断当前状态的虚拟机器人模型是否满足要求，若不满足要求，对部分或全部机器人模块的相关配置信息进行修改，直至满足工作需求。

作为其中的一种优选例，步骤S7中，所述虚拟机器人模型的相关配置信息包括构型文件、运动过程参数、工作路径。

基于前述方法，本发明还提及一种基于增强现实的模块化可重构机器人规划仿真系统，所述规划仿真系统包括现场视频采集装置、视频网络传输装置、图形工作站、显示器；

所述现场视频采集装置用于采集工厂现场图像和点云信息，通过视频网络传输装置传输至图形工作站；

所述图形工作站包括图像处理模块、虚拟机器人设计与组装模块、机器人注册模块、图三维重建模块、物理建模模块、虚实融合模块、机器人规划模块；

所述图像处理模块用于获取图像信息，生成以实际工厂场景为基础的工厂实际场景图像；

所述虚拟机器人设计与组装模块用于以工厂实际场景图像为背景，在模块化可重构机器人模型库中选择机器人组件搭建虚拟机器人模型；

所述机器人注册模块用于在工厂实际场景图像中注册搭建好的虚拟机器人模型；

所述图三维重建模块用于对采集到的点云信息进行处理，识别和重建工厂实际场景中物体的三维模型，构建工厂的三维模型；

所述物理建模模块用于对构建的物体的三维模型赋予碰撞包围盒和物理属性；

所述虚实融合模块用于将注册好的虚拟机器人模型与工厂实际场景图像叠加，生成工厂增强现实场景；

所述机器人规划模块用于在虚实物体运动仿真算法和碰撞检测算法的支持下，进行机器人构型和作业的规划和评价，直至机器人满足要求，输出相关配置信息和规划结果。

作为其中的一种优选例，所述图形工作站中安装有用以协调其所包含的各个模块正常工作的规划仿真相关配套软件；

所述配套软件呈分层架构，包括界面层、场景管理器、核心业务层及数据管理层；

所述界面层包括操作界面、增强现实现实场景；

所述场景管理器用于管理增强现实场景；

所述核心业务层包括含机器人组件数据库、机器人快速装配、图像处理与三维重建、虚实融合处理、模型处理、碰撞检测、运动仿真在内的多种核心功能模块；

所述数据层用于处理网络数据传输、文件保存和读取任务。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)通过采集工厂工作单元现场图像和点云数据，能够快速建立工厂现场的增强现实场景，从而实现机器人的实时规划仿真过程，对于生产中出现的任务快速转化等场景，适应性更强。

(2)基于三维重建技术建立场景物体的三维模型，在赋予碰撞包围盒后，利用虚实物体碰撞检测技术实现了机器人模型与工厂物体模型的碰撞检测。

(3)采用增强现实技术，在规划仿真系统里能够以真实场景为背景进行模块化机器人构型设计和准确地的作业规划。

(4)本发明提供了一种贴近现场的模块化机器人规划仿真方法和系统，在规划仿真系统里以真实场景为基础进行模块化机器人构型设计和交互规划，通过这种虚实融合场景增加模块化机器人规划的准确性、安全性，提高模块机器人应用的速度和精确度，减少了资源的浪费。

(5)采集到的工厂实际场景信息分为图像信息和点云数据两种，区别于传统虚实融合中既采用点云数据又采用图像数据的复杂方案，在本发明中，点云数据只用于支撑碰撞检测等后台操作，不参与增强现实场景构建过程，生成的虚拟机器人模型只与图像信息进行虚实融合以实现前端显示，帮助用户直接观察虚拟机器人的运动过程，在确保仿真效果的前提下，有效提高了仿真速度，实现机器人规划的实时性。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于增强现实的模块化可重构机器人规划仿真方法的流程图。

图2是本发明的基于增强现实的模块化可重构机器人规划仿真系统架构示意图。

图3是本发明的配套软件层次结构图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出了一种基于增强现实的可重构模块化机器人规划仿真方法，所述规划方法包括：

S1，采集工厂实际场景信息，所述工厂实际场景信息包括图像信息和点云信息。

S2，对采集到的图像信息进行处理，生成工厂实际场景图像。

S3，对采集到的点云信息进行处理，识别和重建工厂实际场景中物体的三维模型，构建工厂的三维模型，对构建的物体的三维模型赋予碰撞包围盒和物理属性。

S4，根据工作需求，从模型库选择相应的模块化可重构机器人组件进行虚拟机器人模型的设计和组装，并将搭建好的虚拟机器人模型在处理后的工厂实际场景图像中进行注册和一致性处理，与工厂实际场景图像叠加后生成增强现实场景，视频输出至前端屏幕显示。

S5，利用鼠标拖动或虚拟机器人控制器驱动虚拟机器人模型运动，实时记录虚拟机器人模型的动作过程及干涉情况。

S6，判断步骤S5中的记录结果对应的虚拟机器人模型的构型或参数是否满足预设的工作需求，如果满足，进入步骤S7，否则，返回步骤S4，调整虚拟机器人模型的构型或参数直至满足对应的工作需求。

S7，输出虚拟机器人模型的相关配置信息，完成规划。

结合图2，本发明提出了一种基于增强现实的模块化可重构机器人规划仿真系统，包括了现场视频采集装置、视频网络传输装置、图形工作站、显示器及配套软件，现场视频采集装置采集工厂现场图像和点云信息，并传输至增强现实服务器(图形工作站)，增强现实服务器(图形工作站)上配套软件获取图像信息，建立以工厂实际场景为基础的增强现实场景，使用者在机器人模型库中选择模块化可重构机器人组件搭建虚拟机器人三维模型，并将搭建好的机器人模型在增强现实场景中进行注册和一致性处理，形成虚实融合场景，系统通过获取的点云信息进行实际工厂场景中物体的三维重建，并与碰撞体和物理属性。在由虚实物体碰撞检测算法、运动仿真算法、机器人虚拟控制器组成的机器人交互规划算法的支持下，进行机器人构型和作业规划和评价，直至机器人满足要求，输出配置和规划结果。

在一些例子中，所述现场视频采集装置主要为深度相机，必要时辅助激光三维扫描仪采集工厂现场的彩色图像信息和点云信息，其中彩色视频图像送由显示器显示，点云图像信息送由机器人规划仿真系统后台进行数据处理。

所述的机器人注册通过标识物确定虚拟机器人的位置，完成虚拟机器人在虚实融合场景的注册。

本实例中，基于增强现实的模块化可重构机器人规划仿真系统包括一套规划仿真配套软件，按照分层的软件构架方式，如图3所示，配套软件层次结构包括界面层、场景管理器、核心业务层及数据管理层。所述界面层主要包括操作界面、增强现实现实场景，所述场景管理器主要管理增强现实场景；所述核心业务层主要包括机器人零件数据库、机器人快速装配、图像处理与三维重建、增强现实处理、模型处理、碰撞检测、运动仿真等核心功能模块；所述数据层主要处理网络数据传输、文件保存于读取等任务。

所述配套软件的工作流程为：

步骤1，软件获取工厂实际场景单元的彩色图像信息，对图像信息进行处理后在前面屏幕显示，形成初步的桌面式增强现实场景。

步骤2，使用者首先从机器人模型库中选择机器人底座，采用标识物注册方法在工厂单元增强现实场景中注册。以此为基础，从模型库中选择合适的机器人模块利用模块化机器人自动装配算法组装机器人，直至完成机器人组装。

步骤3，软件自动将搭建好的模块机器人采用光照采集估计方法进行渲染和光照阴影一致性处理，与深度相机采集到的真实场景彩色视频图像叠加后输出至屏幕显示，形成具有较强真实感的虚实融合场景。

步骤4，软件后台对获取的点云信息内容进行处理，包括对三维点云数据的降噪、分割、拼接等处理，通过改进ICP算法重建场景中物体的三维模型，建立工厂单元场景物体的虚拟三维模型。

步骤5，软件后台自动建立的工厂物体三维模型及机器人三维模型赋予物体碰撞包围盒和物理属性，操作者通过鼠标拖动机器人关节运动或者利用系统虚拟控制器驱动机器人模型运动，记录机器人的运动过程和路径，利用虚实物体碰撞检测算法检测机器人与场景中物体模型的干涉和碰撞情况进行交互规划，并将机器人的动作与工作要求对比，明确建立的虚拟模块化机器人是否满足要求，不满足要求则进行模块化可重构机器人的修改，再设计，重新运动规划，直至满足工作要求。

步骤6，输出机器人相关配置信息，包括构型文件，运动过程参数，工作路径等信息用以实际机器人的设计、组装和配置。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于增强现实的模块化可重构机器人规划仿真方法，其特征在于，所述规划仿真方法包括：

S1，采集工厂实际场景信息，所述工厂实际场景信息包括图像信息和点云信息；

S2，对采集到的图像信息进行处理，生成工厂实际场景图像；

S3，对采集到的点云信息进行处理，识别和重建工厂实际场景图像中物体的三维模型，构建工厂的物体的三维模型，对构建的物体的三维模型赋予碰撞包围盒和物理属性；

S4，根据预设的工作需求，从模块化可重构机器人模型库选择相应的模块化可重构机器人组件进行虚拟机器人模型的设计和组装，并将搭建好的虚拟机器人模型在处理后的工厂实际场景图像中进行注册和一致性处理，与工厂实际场景图像叠加后生成增强现实场景，视频输出至显示器显示；其中，点云信息只用于支撑包括碰撞检测在内的后台操作，不参与增强现实场景构建过程；

S5，利用鼠标拖动或虚拟机器人控制器驱动虚拟机器人模型运动，实时记录虚拟机器人模型的动作过程及干涉情况；

S6，判断步骤S5中的记录结果对应的虚拟机器人模型的构型或参数是否满足预设的工作需求，如果满足，进入步骤S7，否则，返回步骤S4，调整虚拟机器人模型的构型或参数直至满足对应的工作需求；

S7，输出虚拟机器人模型的相关配置信息，完成规划；

步骤S4中，所述从模块化可重构机器人模型库选择相应的模块化可重构机器人组件进行虚拟机器人模型的设计和组装，并将搭建好的虚拟机器人模型在处理后的工厂实际场景图像中进行注册和一致性处理，与工厂实际场景图像叠加后生成增强现实场景，视频输出至显示器显示包括以下步骤：

S41，从机器人模型库中选择机器人底座，采用标识物注册方法在工厂实际场景图像中注册；

S42，结合工作需求，从机器人模型库中选择相匹配的模块化可重构机器人组件，利用模块化可重构机器人自动装配算法组装机器人，直至完成虚拟机器人模型组装；

S43，将搭建好的虚拟机器人模型采用光照采集估计方法进行渲染和光照阴影一致性处理；

S44，将处理后的虚拟机器人模型与工厂实际场景图像叠加后生成增强现实场景，视频输出至显示器显示。

2.根据权利要求1所述的基于增强现实的模块化可重构机器人规划仿真方法，其特征在于，步骤S3中，所述对采集到的点云信息进行处理是指，对三维点云数据的降噪、分割、拼接处理，再采用改进ICP算法重建工厂实际场景图像中物体的三维模型，建立工厂实际场景图像中物体的三维模型。

3.根据权利要求1所述的基于增强现实的模块化可重构机器人规划仿真方法，其特征在于，所述标识物注册方法是指，通过标识物确定虚拟机器人模型的位置，完成虚拟机器人模型在虚实融合场景的注册。

4.根据权利要求1所述的基于增强现实的模块化可重构机器人规划仿真方法，其特征在于，步骤S5中，所述利用鼠标拖动或虚拟机器人控制器驱动虚拟机器人模型运动，实时记录虚拟机器人模型的动作过程及干涉情况的过程包括以下步骤：

自动建立工厂实际场景图像中物体的三维模型和赋予物体的三维模型的碰撞包围盒及物理属性；

通过鼠标拖动虚拟机器人模型关节运动或者利用虚拟控制器驱动虚拟机器人模型运动，记录虚拟机器人模型的运动过程和路径；

利用碰撞检测算法检测虚拟机器人模型与工厂实际场景图像中物体的三维模型的干涉和碰撞情况；

将虚拟机器人模型的动作与预设的工作需求对比，判断当前状态的虚拟机器人模型是否满足要求，若不满足要求，对部分或全部机器人模块的相关配置信息进行修改，直至满足预设的工作需求。

5.根据权利要求1所述的基于增强现实的模块化可重构机器人规划仿真方法，其特征在于，步骤S7中，所述虚拟机器人模型的相关配置信息包括构型文件、运动过程参数、工作路径。

6.一种基于权利要求1所述方法的基于增强现实的模块化可重构机器人规划仿真系统，其特征在于，所述规划仿真系统包括现场视频采集装置、视频网络传输装置、图形工作站、显示器；

所述现场视频采集装置用于采集工厂现场的图像信息和点云信息，通过视频网络传输装置传输至图形工作站；

所述图形工作站包括图像处理模块、虚拟机器人设计与组装模块、机器人注册模块、图三维重建模块、物理建模模块、虚实融合模块、机器人规划模块；

所述图像处理模块用于获取图像信息，生成以工厂实际场景为基础的工厂实际场景图像；

所述虚拟机器人设计与组装模块用于以工厂实际场景图像为背景，在模块化可重构机器人模型库中选择机器人组件搭建虚拟机器人模型；

所述机器人注册模块用于在工厂实际场景图像中注册搭建好的虚拟机器人模型；

所述图三维重建模块用于对采集到的点云信息进行处理，识别和重建工厂实际场景图像中物体的三维模型，构建物体的三维模型；

所述物理建模模块用于对构建的物体的三维模型赋予碰撞包围盒和物理属性；

所述虚实融合模块用于将注册好的虚拟机器人模型与工厂实际场景图像叠加，生成工厂增强现实场景；

所述机器人规划模块用于在虚实物体运动仿真算法和碰撞检测算法的支持下，进行机器人构型和作业的规划和评价，直至机器人满足要求，输出相关配置信息和规划结果。

7.根据权利要求6所述的基于增强现实的模块化可重构机器人规划仿真系统，其特征在于，所述图形工作站中安装有用以协调其所包含的各个模块正常工作的规划仿真相关配套软件；

所述配套软件呈分层架构，包括界面层、场景管理器、核心业务层及数据层；

所述界面层包括操作界面、增强现实场景；

所述场景管理器用于管理增强现实场景；

所述核心业务层包括含机器人模型库、机器人快速装配、图像处理与三维重建、虚实融合处理、模型处理、碰撞检测、运动仿真在内的七种核心功能模块；

所述数据层用于处理网络数据传输、文件保存和读取任务。

Images