CN107671857B - 用于服务机器人操作演示与算法验证的三维仿真平台 - Google Patents

用于服务机器人操作演示与算法验证的三维仿真平台 Download PDF

Info

Publication number
CN107671857B
CN107671857B CN201710942623.4A CN201710942623A CN107671857B CN 107671857 B CN107671857 B CN 107671857B CN 201710942623 A CN201710942623 A CN 201710942623A CN 107671857 B CN107671857 B CN 107671857B
Authority
CN
China
Prior art keywords
service robot
platform
environment
dimensional
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710942623.4A
Other languages
English (en)
Other versions
CN107671857A (zh
Inventor
王景川
陈卫东
王怡文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710942623.4A priority Critical patent/CN107671857B/zh
Publication of CN107671857A publication Critical patent/CN107671857A/zh
Application granted granted Critical
Publication of CN107671857B publication Critical patent/CN107671857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于服务机器人操作演示与算法验证的三维仿真平台,包括服务机器人仿真模型、三维居家仿真环境以及软硬件接口。所述服务机器人三维仿真模型模拟真实服务机器人,执行在重力、运动惯性以及摩擦力下的相应动作,并在物理引擎作用下自行遵守物理定律;所述三维居家仿真环境模拟真实环境,并利用环境的真实比例和物理参数搭建环境中的物体;所述软硬件接口实现对服务机器人三维仿真模型和三维居家仿真环境的操作以及与真实服务机器人的连接。本发明通过计算机仿真技术优化了传统服务机器人的开发流程,开发周期,使研发人员能够通过三维仿真环境的再现演示,更加全面测试算法,进而提高研发效率。

Description

用于服务机器人操作演示与算法验证的三维仿真平台
技术领域
本发明涉及机器人系统仿真技术领域,尤其是一种用于服务机器人操作演示与算法验证的三维仿真平台。
背景技术
随着机器人学的发展与社会老龄化加剧,服务机器人技术得到了国内外学者的广泛关注,且呈现出规模越来越大、复杂度越来越高的发展态势。服务机器人本身具有专业性强,人机交互性强等特点,要求服务机器人有足够的安全性和可靠性,因此在服务机器人设计及应用过程中,常常需要用到机器人仿真平台,通过仿真平台来模拟机器人以及应用环境,演示操作以及测试算法,给设计人员直观的机器人状态反馈。
在公开号为201410185300.1的专利中,提出了一种机器人仿真系统。此发明提出使用半物理模型的状态寄存器,数字机器人模型单元,通用分析平台接口和仿真监控界面,该仿真系统还包括外部设备,其与机器人控制器相连接,用于进行半物理硬件在环仿真。
此发明存在一些不足,没有提及针对机器人工作环境的建模,也没有对机器人的运动学和动力学进行精确的建模。事实上,对机器人工作环境的建模是构建机器人仿真系统中很重要的一环,在对机器人运动学和动力学研究的过程中,往往涉及与环境的交互过程,比如对环境中物体进行操作,对环境信息采集等。同时服务机器人在工作过程中会与人直接交互,故仿真平台只有提供在运动学和动力学层面上都具有参考意义的结果数据时,才会具有应用意义,因此需要对机器人的运动学和动力学进行精确的建模。
总之,针对服务机器人专业性强,人机交互性强等特点,适用于研究服务机器人操作演示和算法研究的仿真平台需要具备以下特点:精确的环境模型和机器人模型、丰富的传感器插件、通用的软硬件接口。
目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
本发明为了克服上述不足,提出了一种用于服务机器人操作演示与算法验证的三维仿真平台,该平台更好地优化了传统服务机器人的开发流程以及开发周期。
为了实现上述目的,本发明是通过下述方案实现的:
一种用于服务机器人操作演示与算法验证的仿真平台,包括服务机器人仿真模型、三维居家仿真环境以及软硬件接口;其中:
所述服务机器人三维仿真模型:模拟真实服务机器人,执行在重力、运动惯性以及摩擦力下的相应动作,并在物理引擎作用下自行遵守物理定律;
所述三维居家仿真环境:模拟真实环境,并利用环境物体的真实比例和物理参数搭建环境中的物体;
所述软硬件接口:实现对服务机器人三维仿真模型在三维居家仿真环境中的操作以及与真实机器人的连接。
优选地,所述服务机器人三维仿真模型包括:运动关联模块、运动控制模块以及碰撞检测模块;其中:
所述运动关联模块以环节a和关节a为基本单位,描述真实服务机器人各组成部分以及相互关联关系,所述环节a中含有描述真实服务机器人组成部分的外观信息、碰撞信息以及运动学信息,所述关节a中含有描述真实服务机器人组成参数的阻尼、摩擦系数以及极限状态;
所述运动控制模块确保服务机器人三维仿真模型以确定状态运动,同时完成一定复合姿态运动,包括移动平台控制单元、关节控制单元、外部传感器控制单元、导航避障单元以及基于环境设计的其他基本动作控制单元;所述移动平台控制单元将用户通过人机接口(即机器人软硬件接口)输入的运动指令,解析为服务机器人三维仿真模型执行运动时所需要的线速度和角速度;所述关节控制单元对服务机器人三维仿真模型的关节与位置和速度之间建立闭环,并通过PID控制器进行反馈调节;所述外部传感器控制单元选择服务机器人三维仿真模型的机载传感器的种类,设置传感器的参数,完成服务机器人三维仿真模型对外部环境的感知;所述导航避障单元载入外部传感器控制单元获得的环境信息,据此建立地图,并实时更新,规划服务机器人三维仿真模型在该地图下的运动路径,避免服务机器人三维仿真模型与所观测到的环境中的物体发生碰撞;所述其他基本动作包括如下任意一项或任意多项动作:开门关门、抓取物体、放置物体、端水递药、自动巡逻;
所述碰撞检测模块确保服务机器人三维仿真模型在运动过程中自身各部分不发生碰撞,包括碰撞检测形状以及形状操作单元,所述碰撞检测形状采用任意一种或任意多种类型的包围体(如球体、轴对齐包围盒(AABB)、有向包围盒(OBB)、8-DOP和/或凸壳),形状操作单元对需要进行碰撞检测的物体依次求出上述碰撞检测形状的最小包围体,并利用物体上各点与最小包围体之间的距离,选择各点距离求和最小的最小包围体作为物体的碰撞检测模型。
优选地,所述外观信息是指利用包括但不限于Autodesk在内的计算机辅助设计软件构建真实服务机器人的视觉模型或利用服务机器人三维仿真平台内部函数构建简单几何形状模型。
优选地,所述服务机器人三维仿真平台内部函数包括任务规划器函数、待抓取物体抓取姿态生成器函数、激光点云地图创建函数、运动指令解析函数和/或关节控制函数。
优选地,所述碰撞信息是指物体最小包围体种类、几何信息以及在环境中的位姿;所述运动学信息是指物体本身的几何信息和在环境中的位姿;所述极限状态是指真实服务机器人在真实环境中,各个关节的电机所能到达的极限位置。
优选地,所述服务机器人三维仿真模型以移动机械臂平台为原型,即,真实服务机器人采用移动机械臂平台,包括移动平台、机械臂、外部传感器以及移动平台控制器,所述机械臂设置于移动平台上,所述外部传感器件设置于机械臂上,并与移动平台控制器相连接,所述移动平台控制器与机械臂控制连接;其中:
所述移动平台包括如下任意一种:
-差速平台,包括平台主体、主动轮、从动轮以及连接从动轮与主体的轮脚构成,主动轮和轮脚直接连接在平台主体上,其中主动轮为后轮,从动轮为前轮,从动轮通过轮脚与平台主体连接;
优选地,所述主动轮、从动轮和轮脚分别为2个;
-全向平台,包括平台主体以及安装于平台主体上的全向轮,实现全向运动;
优选地,所述全向轮为4个;
-引导及驱动平台,包括自动导引车;
所述机械臂包括如下任意一种:
-传统工业机械臂;
-自主设计机械臂,为6DOF机械臂,即具有6个自由度,其中机械臂的末端执行器为一个具有一个自由度的机械手爪,负责实现真实服务机器人对物体的操作;
所述外部传感器件包括如下任意一项或任意多项:
-里程计:测量移动平台行程,实现移动平台的导航;
-激光传感器:无接触远距离测量,根据反馈的激光点云信息构建地图;
-视觉传感器:对杂乱环境进行分割,识别环境中物体,辅助抓取操作;
-力矩传感器:反馈机械臂各关节和末端执行器的力矩状态,辅助抓取操作。
所述移动平台控制器包括如下任意一项或任意多项:
-位置控制器:控制机械臂的位置;
-速度控制器:控制机械臂的速度;
-力控制器:控制机械臂的力;
-差速控制器:当移动平台采用差速平台时设置,控制差速平台的运动。
所述三维居家仿真环境,包括建筑布局与环境物体,例如,所述建筑布局以实际敬老院环境为参照,设计有活动室,厨房,寝室,走廊,真实还原老人的生活环境;所述环境物体以真实比例与物理参数进行建模,同时考虑物体与环境作用关系,建立动力学和运动学模型。
优选地,所述物体与环境作用关系,是考虑物体在环境中形成的机构类型,通过对该机构的建模,模拟环境与物体的相互作用,使仿真平台可以真实反应机器人与环境的交互作用。
优选地,所述三维居家仿真环境利用包括但不限于Autodesk在内的计算机辅助设计软件构建环境中物体的视觉模型,以包含视觉模型在内的最小立方体作为物体的碰撞模型,以环节b和关节b为基本单元构建物体的运动学与动力学模型,其中环节b是指服务机器人三维仿真模型的结构中描述刚性物体视觉特征和惯性特征的最小单元,关节b是指描述两个环节b之间运动学、动力学以及关节限制的单元;通过设置关节b的关节种类和配置参数,对物体与环境之间的相互作用进行仿真。
优选地,所述刚性物体视觉特征包括几何尺寸、形状特征、位姿、材料种类和/或颜色;所述惯性特征包括质量和/或转动惯量;所述关节种类包括:平动关节、转动关节、固定关节和/或虚拟关节,配置参数包括:所配置关节的父环节、子环节、关节相对于父环节坐标系的位姿、动力学阻尼、摩擦力、关节限制力、关节限制速度和/或安全控制系数。
优选地,所述软硬件接口,包括服务器和客户端,其中,所述服务器发送与存储三维居家仿真环境中的被观察信息,所述客户端提供用户接口,在客户端上修改服务机器人三维仿真模型和三维居家仿真环境,并提供基于环境的基本规划动作。
具体地:
服务器对三维仿真平台进行监视,储存并发送三维仿真平台中各个状态量以及各个传感器获得数据,所有被测量均存储为统一格式,可由服务器接口导出到外部存储器中,以供分析;所述客户端包括通用计算机平台接口以及人机交互界面,可以通过客户端对三维居家仿真环境以及服务机器人三维仿真模型进行修改,发送运动指令,同时直观获得三维居家仿真环境中各个被观察信息的反馈。
优选地,所述被观察信息包括:服务机器人位置坐标、运动速度、关节角度、关节力矩、视觉传感器成像画面、激光传感器数据、里程计信息和/或地图信息。
优选地,所述基本规划动作包括取放物品、开门、关门、送水递药和/或巡逻报警。
优选地,所述客户端包括通用计算机平台接口以及人机交互界面,具有以下功能模块:传感器选择与参数配置模块、被观测信息显示模块(包括位置显示模块、速度显示模块、关节状态显示模块、传感器数据显示模块)、控制器选择与配置模块、服务机器人的基本运动指令发送模块、力矩指令发送模块、插件选择模块等。
优选地,所述传感器的参数配置,包括视觉传感器的分辨率、视场角、成像类型、相机位置、相机大小、激光传感器视角和/或分辨率的配置。
优选地,所述控制器的选择和配置,包括:位置控制器、速度控制器、力矩控制器和/或差速控制器的选择和配置。
优选地,所述服务机器人的基本运动指令包括:移动指令、抓取指令、开门指令、关门指令和/或递水指令。
与现有技术相比,本发明具有如下有益效果:
1、本发明完整构建了一种用于服务机器人操作演示与算法验证的三维仿真平台,平台遵循ROS,Gazebo的开源原则,完全开放,开源用户可以自由获得修改仿真平台的源代码。
2、服务机器人与环境建模精确,贴合真实环境,在该平台上研究算法具有现实层面的意义。
3、提供多种控制方案,包括对机械臂的位置控制,速度控制,力控制;对移动平台的差速控制。
4、软硬件接口与真实服务机器人的控制接口一致,并开放多种传感器接口。软硬件接口可以将仿真平台的场景真是放映在显示器上,GUI(图形用户界面)设置真实亲切,可以实现良好的心理沉浸感。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明三维仿真平台的层次图;
图2为本发明服务机器人三维仿真模型的结构图;
图3为客户端使用流程图。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
实施例
本实施例提供了一种用于服务机器人操作演示与算法验证的三维仿真平台,包括服务机器人三维仿真模型、三维居家仿真环境以及软硬件接口;其中:
所述服务机器人仿真模型以移动机械臂为原型,并配有多种外部传感器插件,可以执行在重力、运动惯性以及摩擦力下的相应动作,并在物理引擎作用下自行遵守物理定律;
所述三维居家仿真环境,以敬老院的真实环境为参照进行设计,用环境物体的真实比例和物理参数搭建环境中的物体;
所述软硬件接口,通过服务器和客户端的形式实现对整个平台的操作以及与真实机器人的连接。
进一步地,所述服务机器人三维仿真模型是对真实服务机器人进行三维仿真建模,以移动机械臂平台为原型,模型中包括运动关联模块、运动控制模块以及碰撞检测模块,拥有完整的运动学和动力学信息,在物理引擎作用下,模型中的服务机器人能接受来自客户端的控制或对实际工作中的服务机器人的位姿及工作状态等进行再现。
进一步地,移动机械臂平台,包括移动平台、机械臂、外部传感器以及移动平台控制器,可仿真的移动平台包括但不限于差速平台、全向平台、“引导+驱动”平台;可仿真的机械臂包括但不限于常见工业机械臂、自主设计机械臂;外部传感器包括但不限于里程计、激光传感器、视觉传感器、力矩传感器。
进一步地,移动平台控制器,包括位置控制器、速度控制器、力控制器、差速控制器等。
进一步地,三维居家仿真环境,即居家系统,包括建筑布局和场景物体,其中,建筑布局以敬老院的真实环境为参照,设计有寝室、走廊、活动室、厨房,场景物体均按照真实比例和物理参数进行建模,还原老人真实的生活环境。
进一步地,三维居家仿真环境的场景物体建模方法,利用包括但不限于Autodesk在类的计算机辅助设计软件构建物体的视觉模型,以包含视觉模型在内的最小立方体作为物体的碰撞模型,以环节和关节为基本单元构建物体的运动学与动力学模型,通过设置关节种类和配置参数,对物体与环境之间的相互作用进行仿真。
进一步地,所述软硬件接口包括服务器和客户端,其中,服务器发送与存储三维居家仿真环境中的被观察信息,所述客户端提供用户接口,可以在用户端上修改仿真环境和仿真模型,并提供基于敬老院环境的基本规划动作。
进一步地,所述三维居家仿真环境中的被观察信息,包括服务机器人三维仿真模型的位置坐标、运动速度、关节角度、关节力矩、视觉传感器成像画面、里程计信息、激光传感器信息和/或地图信息。
进一步地,所述客户端,提供功能包括位置显示、速度显示、力矩指令发送、插件选择、控制器选择和配置、关节状态和传感器数据显示、基本运动指令发送。
进一步地,基本规划动作,是参照敬老院环境下,老人日常活动需要而设计,包括取放物品、开门、关门、送水递药、巡逻报警等。
下面将参考图1、图2、图3对本实施例中的一个详细的代表性实施例进行描述,图1是本实施例所述的一种三维仿真平台的一个优选实例,通过对平台结构分析,首先明确了包括模型层(即服务机器人三维仿真模型、传感器以及三维居家仿真环境)、抽象层(即服务机器人三维仿真模型的运动控制、运动学和动力学模块)和接口层(即软硬件接口)在内的仿真平台的结构。模型层实现了服务机器人的传感器、服务机器人以及环境等模型的仿真,在抽象层建立了服务机器人运动学、动力学,而接口层则定义了仿真平台与用户或外部程序的接口(兼容ROS)。该仿真平台能够逼真地模拟真实服务机器人特性,可以运用于操作演示及算法设计开发等场合。
图2是服务机器人三维仿真模型的一个优选实例,所述服务机器人三维仿真模型以移动机械臂平台为原型,即,真实服务机器人采用移动机械臂平台,包括移动平台、机械臂(包括各关节)、外部传感器以及移动平台控制器,所述机械臂设置于移动平台上,其中:
-移动平台:选用差速移动平台,由平台主体,主动轮,从动轮,以及连接从动轮与主体的轮脚构成,连接关系如图2所示,主动轮和轮脚直接连接在平台主体上,其中主动轮为后轮,从动轮为前轮,从动轮通过轮脚与平台主体连接,实现整个服务机器人的移动;
-视觉传感器:选用kinect与eye-hand相机,kinect位于服务机器人移动平台的上方靠近机械臂一侧,利用支架与移动平台固定,具备一定的倾斜角,用于对杂乱环境进行分割,识别环境中物体,辅助抓取操作;eye-hand相机固定在机械臂的第六轴上,负责获取机器人进行操作时环境的局部信息;
-里程计:位于服务机器人移动平台的几何中心,用于测量移动平台行程,实现移动平台的导航;
-激光传感器:两个激光传感器安装在移动平台的前方和后方,用于无接触远距离测量,根据反馈的激光点云信息构建地图;
-机械臂:采用自主设计机械臂,树形图机器人模型构建的方法,参考6DOF机械臂而设计,有6个自由度,末端执行器为一个具有一个自由度的机械手爪,负责实现服务机器人对物体的操作。
-电机模型:分为驱动移动平台轮子所需要的舵机模型和驱动机械臂所需要的步进电机模型。
三维居家仿真环境,包括建筑布局与环境物体,例如,所述建筑布局以实际敬老院环境为参照,设计有活动室,厨房,寝室,走廊,真实还原老人的生活环境;所述环境物体以真实比例与物理参数进行建模,同时考虑物体与环境作用关系,建立动力学和运动学模型以真实的敬老院环境为参照,真实还原老人的生活环境,并且以真实比例和物理参数构建居家环境中物品的仿真模型。在本实施例中,环境特征主要可分为两种:静态特征和动态特征。静态特征指包括建筑布局和家具、门、走廊、地面等在内的静止物体。在该仿真平台中,静态特征采用xacro格式描述,支持纹理、反光、透明等特性,可由主流3D建模软件(Autodesk,3D Studio Max等)合成。而动态特征主要指在环境中行驶的人,其由一个特殊的控制器控制,在环境中变现为避障及漫游行为。该控制器根据环境分布生成在障碍物在极坐标内分布,并将该分布归一化后作为行人运动方向的分布,当障碍物距离小于一定值时,行人控制器根据这一分布改变行人运动方向
抽象层在前述模型层的基础上,实现了服务机器人三维仿真模型的运动学和动力学。该层可以看成是服务机器人三维仿真模型的底层硬件特性的抽象,不对应于具体实物,在仿真中可协调服务机器人三维仿真模型的多个部分。如通过编码器测量驱动轮转速完成速度闭环控制。同时,该层向上提供里程计及速度接口,该接口与真实服务机器人的控制接口一致。
在运动学模块,将服务机器人三维仿真模型的移动平台看成一个带朝向的质点,其位置为服务机器人三维仿真模型的主动轮中心,朝向为移动平台正前方,则其运动学方程为:
Figure BDA0001431038480000091
其中(x,y,θ)为位姿,v和ω分别为轮椅的速度和角速度。实际上,服务机器人的最终控制量为主动轮的转速(ωLR),下式给出了其与服务机器人速度和角速度间的关系。其中,rL和rR分别为左右轮半径,b为轮间距。
Figure BDA0001431038480000092
其中,rL和rR分别为左右轮半径,b为轮间距。
在动力学模块,当服务机器人三维仿真模型的各个组成部分的物理量精确已知时,可采用物理引擎(如ODE和Bullet)进行仿真。该方法计算整个物理过程,能够精确仿真如碰撞、打滑等过程。
软硬件接口,位于接口层,包括服务器和客户端,其中,所述服务器用于发送与存储三维居家仿真环境中的被观察信息,所述客户端用于提供用户接口,在客户端上修改服务机器人三维仿真模型和三维居家仿真环境,并提供基于环境的基本规划动作。
具体地:
服务器用于对三维仿真平台进行监视,储存并发送三维仿真平台中各个状态量以及各个传感器获得数据,所有被测量量均存储为统一格式,可由平台接口导出到外部存储器中,以供分析;所述客户端是通用计算机平台接口以及人机交互界面,可以通过客户端对三维居家仿真环境以及服务机器人三维仿真模型进行修改,发送运动指令,同时直观获得三维居家仿真环境中各个被观察信息的反馈。
客户端具有传感器选择与参数配置模块、被观测信息显示模块、控制器选择与配置模块、服务机器人的基本运动指令发送模块、插件选择模块等
传感器选择与参数配置模块可以选择传感器的种类以及配置传感器的参数,包括视觉传感器的分辨率、视场角、成像类型、相机位置、相机大小、激光传感器视角和/或分辨率的配置
被观测信息显示模块可以显示服务机器人位置坐标、运动速度、关节角度、关节力矩、视觉传感器成像画面、激光传感器数据、里程计信息和/或地图信息。
控制器选择与配置模块选择控制器的种类以及配置控制器的参数,包括:位置控制器、速度控制器、力矩控制器和/或差速控制器的选择和配置。
服务机器人的基本运动指令发送模块可以发送一系列基本运动指令,包括:移动指令、抓取指令、开门指令、关门指令和/或递水指令。
图3所示为客户端使用流程,为使平台满足高内聚、低耦合的设计准则,仿真平台采用进程封装,不依赖于其他模块,同时其提供外部接口供用户使用。目前,客户端包括图形用户界面以及传感器、控制及参数配置接口,可用实时显示仿真环境各项数据,修改模型,配置传感器和控制器,编辑运动指令。
“初始化”为进入仿真平台时,平台按默认参数自行配置的过程。
“编辑环境”通过绘制建筑布局图,生成墙体、窗、门,也可以直接载入已创建的环境,环境中包括建筑布局和环境物体。
“载入模型”可以载入已创建的服务机器人仿真模型和环境物体模型,也可通过平台内置函数创建简单的几何模型,并对上述模型的大小、形状、位置、质量等参数进行配置和修改。所述模型包括视觉模型,碰撞模型、运动学以及动力学模型。视觉模型可以通过平台内置函数建立,也可以由主流3D建模软件(Autodesk,3D Studio Max等)合成;碰撞模型的建立遵循最小包围原则,用包含物体视觉模型的最小包围体作为物体的碰撞模型;运动学以及动力学建模(即运动关联模块)依据树形图机器人建模原则,以环节和关节作为建模的基本单位,环节用于描述建模对象的各个组成部分,所含信息包括:视觉模型,碰撞模型,位姿,质量,转动惯量等,关节用于描述各个环节的相互作用,所含信息包括:作用类型(平动,转动等),摩擦系数,运动极限位置等。
“选择模式”提供自主模式和默认模式两种模式供用户选择:
“默认模式”要求使用平台提供的服务机器人仿真模型,根据该模型,为用户提供配套的传感器,控制器选择和配置方案,以及基于敬老院这一特殊环境下,为服务机器人规划的基本运动方案,并集成为指令,用户直接可以编辑和使用这些指令,形成运动方案。
“自主模式”将控制器、传感器以及运动规划的相关接口开放给用户,用户可以根据自己的服务机器人模型,对其配置相应的传感器和控制器,并进行运动规划,生成相应的运动方案。
“执行”可以使服务机器人仿真模型在仿真环境下执行生成的运动方案,并在执行过程中,实时对机器人以及仿真环境的数据进行检测,通过客户端上的界面实时显示,为运动学和动力学模块生成信息反馈,并在将获得的数据以固定的格式存储在计算机中。
以图2中的服务机器人仿真模型加以说明客服端的使用流程:
首先进入仿真平台,等待平台的“初始化”。初始化完毕后进行“编辑环境”,导入敬老院的建筑环境图,生成墙体,门和窗户。接下来进行“载入模型”,所载入的模型包括服务机器人模型和环境物体模型,服务机器人模型如图2所述,环境物体模型以敬老院环境中会出现的模型的创建标准,并考虑物体与环境的作用类型,添加相应关节,再现物体与环境的相互作用。
之后进行“选择模式”,选择“默认模式”,在该模式下,平台为服务机器人配有激光传感器,里程计,Kinect和eye-hand相机,为移动平台配有差速控制器,为机械臂以及机械手爪配有位置控制器,并提供默认的控制器和传感器参数配置。
在运动规划层面,将整个服务机器人分为3个运动规划组:移动平台,机械臂,机械手爪,移动平台负责移动到任务点,机械臂负责将末端执行器送到操作点,机械手爪负责操作任务。平台基于敬老院的特殊环境,考虑到老人们日常生活的需要,为服务机器人设置了一系列的基本运动,包括移动,抓取,开门,关门,递水送药,用户可以通过客户直接对这些指令进行编辑,组合和修改,形成自己的运动方案。
点击“执行”便可以让服务机器人仿真模型在仿真环境中执行之前生成的运动方案,在执行的过程中,客户端上会实时显示机器人各个关节的状态信息,机器人整体位置,速度信息,视觉传感器的成像画面,以及里程计和激光传感器的信息,并将这些信息反馈到运动学和动力学模块,同时以固定的格式存储在计算机内。
接口层将仿真平台的服务暴露给用户。GUI将仿真的场景直观地呈现于显示器上,可实现良好地心理浸入感。用户通过修改XML文件,可快速修改仿真平台的参数配置。最后,针对开发者,该平台采用消息传递方式开放传感器及控制接口。
本实施例提供的一种用于服务机器人操作演示与算法验证的三维仿真平台,包括服务机器人仿真模型、三维居家仿真环境以及软硬件接口。在三维仿真环境下建立真实服务机器人和真实环境(居家系统)的仿真模型,服务机器人三维仿真模型以移动机械臂为原型,包括机器人的外观,碰撞和动力学模型,配合物理引擎使仿真模型按照真实的物理定律运动,配合外部传感器插件以完成移动和抓取操作;三维居家仿真环境以真实的敬老院环境为参照,真实还原老人的生活环境,并且以真实比例和物理参数构建居家环境中物品的仿真模型;软硬件接口包括服务器和客户端(利用各项通讯协议通信),使服务机器人三维仿真模型可以和真实服务机器人对接。本实施例通过计算机仿真技术优化了传统服务机器人的开发流程,开发周期,使研发人员能够通过三维居家仿真环境的再现演示,更加全面测试算法,进而提高研发效率。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (9)

1.一种用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,包括服务机器人三维仿真模型、三维居家仿真环境以及软硬件接口;其中:
所述服务机器人三维仿真模型:模拟真实服务机器人,执行在重力、运动惯性以及摩擦力下的相应动作,并在物理引擎作用下自行遵守物理定律;
所述三维居家仿真环境:模拟真实环境,并利用环境物体的真实比例和物理参数搭建环境中的物体;
所述软硬件接口:实现对服务机器人三维仿真模型在三维居家仿真环境中的操作以及与真实服务机器人的连接;
所述服务机器人三维仿真模型针对真实服务机器人进行三维建模,包括:运动关联模块、运动控制模块和碰撞检测模块;其中:
所述运动关联模块以环节a和关节a为基本单位,描述真实服务机器人的各组成部分及其相互关联关系;其中,所述环节a包括描述真实服务机器人组成部分的外观信息、碰撞信息以及运动学信息,所述关节a包括描述真实服务机器人组成参数的阻尼、摩擦系数以及极限状态;
所述运动控制模块确保服务机器人三维仿真模型以确定状态运动,同时完成复合姿态运动,包括移动平台控制单元、关节控制单元、外部传感器控制单元、导航避障单元以及基于环境设计的其他基本动作控制单元;其中,所述移动平台控制单元将用户通过软硬件接口输入的运动指令,解析为服务机器人三维仿真模型执行运动时所需要的线速度和角速度;所述关节控制单元对服务机器人三维仿真模型的关节与位置和速度之间建立闭环,并通过PID控制器进行反馈调节;所述外部传感器控制单元选择服务机器人三维仿真模型上的机载传感器种类,设置传感器参数,完成服务机器人三维仿真模型对外部环境的感知;所述导航避障单元载入外部传感器控制单元获得的环境信息,据此建立地图,并实时更新,规划服务机器人三维仿真模型在该地图下的运动路径,避免服务机器人三维仿真模型与所观测到的环境中的物体发生碰撞;所述其他基本动作包括如下任意一项或任意多项动作:开门关门、抓取物体、放置物体、端水递药、自动巡逻;
所述碰撞检测模块确保服务机器人三维仿真模型在运动过程中自身各部分不发生碰撞,包括碰撞检测形状以及形状操作单元,所述碰撞检测形状采用任意一种或任意多种类型的包围体,所述形状操作单元对需要进行碰撞检测的物体依次求出上述碰撞检测形状的最小包围体,并利用需要进行碰撞检测的物体上各点与最小包围体之间的距离,选择各点距离求和最小的最小包围体作为物体的碰撞检测模型。
2.根据权利要求1所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述外观信息是指利用计算机辅助设计软件构建真实服务机器人的视觉模型或利用服务机器人三维仿真平台内部函数构建几何形状模型;所述碰撞信息是指物体最小包围体种类、几何信息以及在环境中的位姿;所述运动学信息是指物体本身的几何信息和在环境中的位姿;所述极限状态是指真实服务机器人在真实环境中,各个关节的电机所能到达的极限位置。
3.根据权利要求2所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述计算机辅助设计软件包括Autodesk;所述服务机器人三维仿真平台内部函数包括任务规划器函数、待抓取物体抓取姿态生成器函数、激光点云地图创建函数、运动指令解析函数和/或关节控制函数。
4.根据权利要求1至3中任意一项所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述真实服务机器人采用移动机械臂平台,包括移动平台、机械臂、外部传感器以及移动平台控制器,所述机械臂设置于移动平台上,所述外部传感器设置于机械臂上,并与移动平台控制器相连接,所述移动平台控制器与机械臂控制连接;其中:
所述移动平台包括如下任意一种:
-差速平台,包括平台主体、主动轮、从动轮以及连接从动轮与主体的轮脚,其中主动轮和轮脚直接连接在平台主体上,主动轮作为后轮,从动轮作为前轮,从动轮通过轮脚与平台主体连接;
-全向平台,包括平台主体以及与平台主体连接的全向轮,实现全向运动;
-引导及驱动平台,包括自动导引车;
所述机械臂包括如下任意一种:
-传统工业机械臂;
-自主设计机械臂:为具有6个自由度的机械臂,其中机械臂的末端执行器为一个具有一个自由度的机械手爪,负责实现真实服务机器人对物体的操作;
所述外部传感器包括如下任意一项或任意多项:
-里程计:测量移动平台行程,实现移动平台的导航;
-激光传感器:无接触远距离测量,根据反馈的激光点信息构建地图;
-视觉传感器:对杂乱环境进行分割,识别环境中物体,辅助抓取操作;
-力矩传感器:反馈机械臂的各关节和末端执行器的力矩状态,辅助抓取操作;
所述移动平台控制器包括如下任意一项或任意多项:
-位置控制器:控制机械臂的位置;
-速度控制器:控制机械臂的速度;
-力控制器:控制机械臂的力;
-差速控制器:当移动平台采用差速平台时设置,控制差速平台的运动。
5.根据权利要求1所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述三维居家仿真环境利用计算机辅助设计软件构建环境中物体的视觉模型,以包含视觉模型在内的最小立方体作为物体的碰撞模型,以环节b和关节b为基本单元构建物体的运动学与动力学模型,其中环节b是指服务机器人三维仿真模型的结构中描述刚性物体视觉特征和惯性特征的最小单元,关节b是描述两个环节b之间运动学、动力学以及关节限制的单元;通过设置关节b的关节种类和配置参数,对物体与环境之间的相互作用进行仿真。
6.根据权利要求5所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述计算机辅助设计软件包括Autodesk;所述刚性物体视觉特征包括:几何尺寸、形状特征、位姿、材料种类和/或颜色;所述惯性特征包括质量和/或转动惯量;所述关节种类包括:平动关节、转动关节、固定关节和/或虚拟关节,配置参数包括:所配置关节的父环节、子环节、关节相对于父环节坐标系的位姿、动力学阻尼、摩擦力、关节限制力、关节限制速度和/或安全控制系数。
7.根据权利要求1所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述软硬件接口包括服务器和客户端,其中,所述服务器发送与存储三维居家仿真环境中的被观察信息,所述客户端提供用户接口,在客户端上修改服务机器人三维仿真模型和三维居家仿真环境,并提供基于环境的基本规划动作。
8.根据权利要求7所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述软硬件接口还包括如下任意一项或任意多项特征:
-所述被观察信息包括:服务机器人三维仿真模型的位置坐标、运动速度、关节角度、关节力矩、视觉传感器成像画面、里程计信息、激光传感器信息和/或地图信息;
-所述基本规划动作包括取放物品、开门、关门、送水递药和/或巡逻报警。
9.根据权利要求7所述的用于服务机器人操作演示与算法验证的三维仿真平台,其特征在于,所述客户端包括如下任意一项或任意多项功能模块:
-位置显示模块;
-速度显示模块;
-力矩指令发送模块;
-插件选择模块;
-控制器选择和配置模块;
-关节状态显示模块;
-传感器数据显示模块;
-基本运动指令发送模块;
-传感器选择与参数配置模块。
CN201710942623.4A 2017-10-11 2017-10-11 用于服务机器人操作演示与算法验证的三维仿真平台 Active CN107671857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710942623.4A CN107671857B (zh) 2017-10-11 2017-10-11 用于服务机器人操作演示与算法验证的三维仿真平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710942623.4A CN107671857B (zh) 2017-10-11 2017-10-11 用于服务机器人操作演示与算法验证的三维仿真平台

Publications (2)

Publication Number Publication Date
CN107671857A CN107671857A (zh) 2018-02-09
CN107671857B true CN107671857B (zh) 2021-04-02

Family

ID=61139792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710942623.4A Active CN107671857B (zh) 2017-10-11 2017-10-11 用于服务机器人操作演示与算法验证的三维仿真平台

Country Status (1)

Country Link
CN (1) CN107671857B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10625419B2 (en) * 2018-03-21 2020-04-21 The Boeing Company Robotic system and method for operating on a workpiece
CN109375764B (zh) * 2018-08-28 2023-07-18 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN111367194A (zh) * 2018-12-25 2020-07-03 北京欣奕华科技有限公司 一种视觉算法验证的方法及装置
CN110076752A (zh) * 2019-04-01 2019-08-02 安徽师范大学 仿真六自由度机器人与实体六自由度机器人同步运动装置
CN109910018B (zh) * 2019-04-26 2024-01-30 清华大学 具有视觉语义感知的机器人虚实交互操作执行系统及方法
EP3738723A1 (de) * 2019-05-17 2020-11-18 Siemens Aktiengesellschaft Verfahren, computer-programm-produkt und robotersteuerung zum kontaktbasierten lokalisieren von bei der manipulation durch roboter bewegbaren objekten sowie roboter
CN110154029B (zh) * 2019-06-11 2024-02-06 上海机器人产业技术研究院有限公司 基于labview的机器人在线控制与仿真测试系统及方法
CN110598280B (zh) * 2019-08-28 2023-06-16 杭州友电科技有限公司 一种设备仿真系统和方法、计算机可读存储介质
EP4023397A4 (en) * 2019-08-30 2022-09-14 NEC Corporation INFORMATION PROCESSING DEVICE, CONTROL METHOD AND INFORMATION MEDIA
CN110807831B (zh) * 2019-09-18 2023-03-28 重庆大学 一种基于最小单元碰撞检测的传感器覆盖范围计算方法
CN111414688A (zh) * 2020-03-18 2020-07-14 上海机器人产业技术研究院有限公司 一种基于unity引擎的移动机器人仿真系统及方法
CN111708283B (zh) * 2020-06-29 2023-07-25 炬星科技(深圳)有限公司 一种机器人仿真方法、设备以及计算机可读存储介质
CN112148000B (zh) * 2020-08-28 2022-10-21 上海宇航系统工程研究所 模拟空间维修机器人操作场景的舱内仿真平台及实现方法
CN112124455B (zh) * 2020-09-28 2022-02-11 劢微机器人科技(深圳)有限公司 无人搬运车仿真监控方法、装置、设备及存储介质
CN114473998B (zh) * 2022-01-14 2023-09-29 浙江工业大学 一种自动开门的智能服务机器人系统
CN116702377A (zh) * 2023-08-04 2023-09-05 华侨大学 一种自动化移动机械的仿真方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132560B1 (ko) * 2010-06-09 2012-04-03 강원대학교산학협력단 로봇 소프트웨어 컴포넌트를 위한 시뮬레이션 기반 인터페이스 테스팅 자동화 시스템 및 그 방법
CN104360633B (zh) * 2014-10-10 2017-11-03 南开大学 一种面向服务机器人的人机交互系统
CN104460670B (zh) * 2014-11-10 2017-02-15 华南理工大学 一种scara机器人运动仿真及远程控制系统及控制方法
CN105225269B (zh) * 2015-09-22 2018-08-17 浙江大学 基于运动机构的三维物体建模系统

Also Published As

Publication number Publication date
CN107671857A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107671857B (zh) 用于服务机器人操作演示与算法验证的三维仿真平台
WO2022116716A1 (zh) 云端机器人系统、云服务器、机器人控制模块和机器人
Walker et al. Virtual, augmented, and mixed reality for human-robot interaction: A survey and virtual design element taxonomy
Kim et al. BIM-based semantic building world modeling for robot task planning and execution in built environments
CN113093756A (zh) 树莓派平台下基于激光slam的室内导航机器人
Chen et al. Simulation and animation of sensor-driven robots
Do Quang et al. Mapping and navigation with four-wheeled omnidirectional mobile robot based on robot operating system
Materna et al. Teleoperating assistive robots: a novel user interface relying on semi-autonomy and 3D environment mapping
Dobrokvashina et al. Sensors modelling for Servosila Engineer crawler robot in Webots simulator
Maeyama et al. Experiments on a remote appreciation robot in an art museum
Yin et al. An empirical study of an MR-enhanced kinematic prototyping approach for articulated products
KR20230138487A (ko) 객체 기반 로봇 제어
CN114936455A (zh) 一种无人机数字孪生体模型构建方法
Sewtz et al. Ursim-a versatile robot simulator for extra-terrestrial exploration
Horváth et al. A use case of the simulation-based approach to mobile robot algorithm development
Sun et al. Direct virtual-hand interface in robot assembly programming
Olson et al. Analysis and design of a two-wheeled robot with multiple user interface inputs and vision feedback control
Mollet et al. Virtual and augmented reality tools for teleoperation: improving distant immersion and perception
Kenzhetayev et al. A Real-time, Remotely Operated Vehicle, using a Raspberry Pi and a Virtual Reality Headset
Turnwald et al. A platform for experimental education of control science
Bellal et al. Prototype of the Solution with a View to Industrialization
Spicer Development of an Augmented Reality Testing Platform for Collaborative Robots
Chen An Intelligent human-tracking robot based-on kinect sensor
LIN et al. Rapid forming and simulation system using unmanned aerial vehicles for architectural representation
Pérez Sanmartín Research of robot trajectory control by optical method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant