CN110321000B - 一种面向智能系统复杂任务的虚拟仿真系统 - Google Patents

Abstract

本发明提出了一种面向智能系统复杂任务的虚拟仿真系统。该系统由机器人操作模块、虚拟渲染模块、用户交互模块组成，实现了一套开源技术框架。机器人操作模块作为底层的机器人操作层，通过ROS与真实机器人进行实时交互；虚拟渲染模块作为中间渲染的虚境层，基于开源GIS仿真引擎osgEarth进行开发，实现地理信息系统与机器人系统的共同仿真；用户交互模块作为上部用户层，通过VR设备、AR设备、虚拟驾驶系统与用户互动，并由用户编写的脚本操纵。该系统可以广泛应用于面向智能系统复杂任务的仿真及实验规划等方面。

Description

一种面向智能系统复杂任务的虚拟仿真系统

技术领域

本发明属于虚拟仿真领域，具体是一套面向智能系统复杂任务、用于融合机器人系统仿真与GIS数据的实验平台CyberEarth。

背景技术

随着计算机技术的发展，虚拟仿真技术逐步自成体系，成为继数学推理、科学实验之后人类认识自然界客观规律的第三类基本方法，而且正在发展成为人类认识、改造和创造客观世界的一项通用性、战略性技术。

现有的虚拟仿真系统往往专注于“仿”，存在着“仿”而不“真”的问题。同时难以与通用大场景下多机器人集群实现有效的实时交互，机器人系统与地理信息系统未能实现实时的信息融合。由于实际科研实验中，在面向智能系统的复杂任务作业方面，需要把来自机器人系统的信息和当地地理信息进行融合规划，实现机器人系统的仿真、监督、运行一体化，而商用虚拟仿真系统并非开源，无法让科研工作者随意按照自身需求进行修改，所以迫切需要一套面向智能系统复杂任务、能够进行多信息融合的开源仿真渲染平台。

发明内容

本发明目的是解决实际科研工作中没有一套面向智能系统的复杂任务、能够进行多信息融合的开源仿真渲染平台的问题，实现一种面向智能系统复杂任务的虚拟仿真系统。利用开源GIS仿真引擎osgEarth搭建了一个基于信息融合的机器人及智能系统，有效地将真实机器人系统、地理信息系统、仿真渲染系统融为一体，能够面向智能系统复杂任务进行虚拟仿真。

本发明的技术方案：

一种面向智能系统复杂任务的虚拟仿真系统，包括机器人操作模块，虚拟渲染模块，用户交互模块，完成对机器人及智能系统的协同仿真。

系统开发依据一套开源技术框架完成，其中机器人操作模块对应底层的机器人操作层，虚拟渲染模块对应中间渲染的虚境层，用户交互模块对应上部用户层。该框架在底层的机器人操作层通过ROS与真实机器人进行实时交互；中间渲染的虚境层基于开源GIS仿真引擎osgEarth进行开发，实现地理信息系统与机器人系统的共同仿真；上部用户层可以通过VR、AR设备与用户互动，并由用户编写的脚本操纵。其中，中间渲染的虚境层即为实验平台CyberEarth，它将3D-GIS虚拟地球模型与局部区域仿真场景有机结合在一起。用户可以直观地感受从宏观到微观的三维仿真。在宏观地球模型渲染中，支持使用卫星云图、高程图、矢量地图等海量数据加载，使用xml格式文件对GIS数据进行管理，实现动态加载。在局部区域仿真中，支持导入Solidworks、3DMAX等主流建模软件所构建的三维模型，可以通过简单的脚本控制其运行，亦可以通过ROS用真实数据操控。

机器人操作模块基于Linux内核的Ubuntu系统进行开发，通过ROS与真实机器人系统相连接。实体机器人通过WIFI、网线或USB等途径与机器人操作模块相连接，通过对应的驱动包将机器人信息(如位姿信息、速度信息、激光雷达信息、深度相机信息等)发布到ROS网络中，进而送往虚拟渲染模块，进行协同渲染用于机器人的仿真与监督。

虚拟渲染模块基于开源渲染引擎osg及osgEarth进行开发，通过Socket通信从ROS网络中订阅机器人信息，并与本地的海量GIS数据进行信息融合，采用高效动态缓存处理机制进行管理以保障实时性，进而搭建虚拟世界场景，用可视化手段将融合的信息映射到虚拟世界中进行可视化显示。

用户交互模块基于外设接口进行开发。一方面通过接口SDK从虚拟渲染模块中获取可视化显示的融合信息，将虚拟世界投影到外设中，令用户身临其境地体验虚拟世界场景；另一方面通过接口SDK从虚拟驾驶系统获取用户操作信息，通过物理仿真模型运算得到所操纵移动机器人的位姿信息，送往虚拟渲染模块进行信息融合。

当与虚拟驾驶系统连接时，借助开源驱动，从USB口读取方向盘、手动挡、油门、刹车、离合等设备的状态数据，通过对应实体机器人及虚拟机器人的数学模型进行计算，得出机器人当前时刻应有的速度数据，实现虚拟驾驶与远程驾驶。与虚拟现实眼镜连接时，直接将其映射到虚拟世界中，眼镜坐标系与虚拟相机坐标系相重叠，并增加虚拟从属相机进行双目帧渲染。与增强现实眼镜连接时，通过WIFI将虚拟世界场景传递到眼镜中，借助眼镜自带视觉SLAM定位技术，将虚拟世界场景投影到现实场景中特定区域，实现虚实融合。

本发明的优点和有益效果：

第一，本发明是面向真实机器人系统、面向智能系统复杂任务进行开发，可以与通用大场景下多机器人集群实现有效的实时交互，与AI密切结合。

第二，本发明中CyberEarth平台可以在真实机器人系统正式运行之前，用虚拟场景下的机器人对算法进行仿真验证，通过可视化查看算法运行结果，对算法的结构、参数及超参数进行优化。

第三，本发明中核心渲染的虚境层基于开源GIS引擎开发，可以将机器人系统与地理信息系统进行有效的信息融合，同时能够方便地根据用户需求修改引擎源代码。

附图说明

图1是本发明的使用流程框图。

图2是上部用户层的外设(VR眼镜、AR眼镜、罗技方向盘及踏板等)。

图3是虚境层对用户创建场景的渲染。

图4是虚境层对宏观地球的渲染。

图5是虚境层对局部地区卫星云图与高程信息的渲染。

图6是底层通过ROS连接的真实空地协同机器人系统(由无人机、无人车组成)。

图7是开源框架整体架构图。

图8是本发明所提虚拟仿真系统模块连接图。

图9是多无人机三维覆盖重建仿真效果图。

具体实施方式

本发明实现了一种面向智能系统复杂任务的虚拟仿真系统，由机器人操作模块、虚拟渲染模块、用户交互模块组成，完成对机器人及智能系统的协同仿真。以下实施例中实施例1为系统各模块组成，实施例2与实施例3为系统的使用方法。

实施例1：

本发明实例按照图7所示开源技术框架，依次搭建机器人操作模块、虚拟渲染模块、用户交互模块，并按图8所示将这三个模块相互连接构成一种面向智能系统复杂任务的虚拟仿真系统。

步骤1、基于Ubuntu操作系统下ROS开发机器人操作模块，集成实体机器人对应的机器人运动学、运动控制器、机器人逆运动学，对实体机器人进行操纵与监控。

步骤2、基于开源渲染仿真引擎osgEarth开发虚拟渲染模块，机器人三维模型由专业建模软件Solidworks、3DMAX等导出，包含装配参数与材质光照。此处的机器人既包括动体又包括静体。实际渲染时，根据特定任务需求更新模型数据及相机设置，以完成实体机器人在虚拟渲染模块中的渲染与仿真。

步骤3、基于外设接口开发用户交互模块，在虚拟世界投影方面使用虚拟现实眼镜HTC Vive和增强现实眼镜微软HoloLens作为外设，在虚拟驾驶方面使用罗技方向盘及踏板等作为外设。

步骤4、连接机器人操作模块与虚拟渲染模块：机器人操作模块通过ROS连接真实机器人系统，将采集到的机器人信息数据发布到ROS网络中；虚拟渲染模块通过Socket通信从ROS网络中订阅机器人操作模块采集到的机器人信息数据，并与当地GIS数据进行信息融合，为保障实时性而采用高效动态缓存处理机制进行管理，从而搭建虚拟世界场景，用可视化手段将融合的信息映射到虚拟世界中进行可视化显示。其中，每一帧的位姿、关节数据使用全状态向量进行描述与传输，以减少传输数据的冗余，加快真实机器人运行数据传输速率。

步骤5、连接虚拟渲染模块与用户交互模块：一方面将虚拟渲染模块中可视化显示的融合信息以虚拟世界投影的方式传到虚拟现实眼镜与增强现实眼镜中，使用户能够身临其境地体验虚拟世界场景；另一方面将虚拟驾驶系统中用户操作信息通过物理仿真模型运算得到所操纵移动机器人的位姿信息，并经SDK接口传到虚拟渲染模块中进行信息融合。

实施例2：

本发明实例按照如图1所示流程，在所提面向智能系统复杂任务的虚拟仿真系统中，根据真实机器人模型及运行环境构建场景，将该场景投放于3D-GIS地球表面某地区，而后与真实机器人系统进行交互，进行仿真渲染，通过传统外设或VR、AR设备与用户交互。

步骤1、根据真实机器人模型及运行环境，如图6所示，首先构造一个局部虚拟场景，如图3。所用模型可以由3DMAX建模而后导入到CyberEarth的场景设计模块中，以简单的按键操作调整其位姿，亦可以使用直接输入固定角、欧拉角、四元数、四阶位姿变换矩阵等方式精准调整位姿。

步骤2、设计好的局部虚拟场景作为一个整体，既可以通过设置经纬度投放到指定地区(王朗自然保护区)，如图5，亦可以通过设置在星球坐标系下位姿矩阵投放。星空中宏观地球如图4，星球坐标系是右手系，原点位于地心，Z轴正向指向北极点，X轴正向指向零度经纬线的交点。

步骤3、虚境层通过底层ROS与真实机器人系统进行交互，进行仿真渲染，通过传统外设或VR、AR设备与用户交互，如图2。同时，虚境层也可以利用机器人系统录制的数据包，进行离线渲染与运动重现。

步骤4、按照用户需求设置视点，同时支持外设操纵与脚本精准操纵，并将渲染帧保存到本地，以jpg格式存储，可以将之离线合成为视频动画文件供用户演示与发布。

实施例3：

本发明实例按照如图1所示流程，在所提面向智能系统复杂任务的虚拟仿真系统中，根据真实无人机模型及广域范围、动态环境动态场景下复杂任务作业的需求，构建了多无人机协同作业场景，并投放到虚拟世界中王朗自然保护区上空，进行三维覆盖重建的仿真，仿真效果截图如图9。

步骤1、启动仿真平台，新建项目，加载数字地球与大范围地理信息影像、高程数据。

步骤2、导入环境静体模型，操纵各模块进行平移、旋转等操作搭建无人机任务场景。

步骤3、导入或在系统模型树下选取多智能体/无人机的动体模型，并进行自定义参数；

步骤4、通过图形操作界面进行赋值，对实验场景、各智能体/无人机定义初始位姿状态。

步骤5、通过图形化/脚本式编程方式，结合ROS机器人操作系统，设计与实现无人机视觉覆盖路径规划算法。

步骤6、对程序进行编译、运行，对无人机任务执行效果与安全性进行验证。

步骤7、对程序驱动的视觉传感器信息、无人机运动轨迹、场景监测重建结果记录与导出。

综上，本发明提供一套面向智能系统复杂任务、用于融合机器人系统仿真与GIS数据的实验平台，通过摘要附图中所示开源技术框架，有效地将真实机器人系统、地理信息系统、仿真渲染系统融为一体。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.一种面向智能系统复杂任务的虚拟仿真系统，包括机器人操作模块，虚拟渲染模块，用户交互模块，完成对机器人及智能系统的协同仿真；

所述的机器人操作模块采用Ubuntu操作系统进行开发，通过ROS连接真实机器人系统，并将采集到的机器人信息数据发布到ROS网络中，进而送往虚拟渲染模块，进行协同渲染用于机器人的仿真与监督；所述机器人操作模块集成实体机器人对应的机器人运动学、运动控制器、机器人逆运动学，对实体机器人进行操纵与监控；

所述虚拟渲染模块基于开源渲染引擎osg及osgEarth进行开发，通过Socket通信从ROS网络中订阅机器人操作模块采集到的机器人信息数据，并与GIS数据进行信息融合，采用动态缓存处理机制进行管理，以动态、实时加载大量地形，进而搭建虚拟世界场景，用可视化手段将融合的信息映射到虚拟世界中进行可视化显示；所述虚拟渲染模块将3D-GIS宏观地球模型与局部区域仿真场景有机结合，在宏观地球模型渲染中，支持使用卫星云图、高程图、矢量地图的海量数据加载；在局部区域仿真中，支持导入Solidworks、3DMAX建模软件所构建的三维模型，支持通过脚本控制机器人运行，也支持通过ROS用真实数据操控；

所述用户交互模块基于外设接口进行开发，一方面通过接口SDK从虚拟渲染模块中获取可视化显示的融合信息，将虚拟世界投影到外设中，令用户身临其境地体验虚拟世界场景；另一方面通过接口SDK从虚拟驾驶系统获取用户操作信息，通过物理仿真模型运算得到所操纵移动机器人的位姿信息，送往虚拟渲染模块进行信息融合；

所述的协同渲染用于机器人的仿真与监督，利用全状态向量对机器人每一帧的位姿、关节数据进行描述与传输，而后通过构建tf变换树求解虚拟仿真系统中机器人模型各模块的位姿描述矩阵，从而加快真实机器人运行数据传输速率，减少传输数据的冗余；

所述的外设接口包括虚拟现实眼镜接口、增强现实眼镜接口、虚拟驾驶系统接口；虚拟现实眼镜使用HTCVive，增强现实眼镜使用微软HoloLens，虚拟驾驶系统使用罗技方向盘及踏板；

所述虚拟世界投影涉及的外设为虚拟现实眼镜或增强现实眼镜；

当与虚拟驾驶系统连接时，借助开源驱动，从USB接口读取方向盘、手动挡、油门、刹车、离合设备的状态数据，通过对实体机器人及虚拟机器人的数学模型进行计算，得出机器人当前时刻应有的速度数据，实现虚拟驾驶与远程驾驶；当与虚拟现实眼镜连接时，直接将融合的信息映射到虚拟世界中，眼镜坐标系与虚拟相机坐标系相重叠，并增加虚拟从属相机进行双目帧渲染；当与增强现实眼镜连接时，通过WIFI将虚拟世界场景传递到眼镜中，借助眼镜自带视觉SLAM定位技术，将虚拟世界场景投影到现实场景中特定区域，实现虚实融合。

Images