CN107274777B - 一种基于V-Rep的机器人虚拟示教系统 - Google Patents

一种基于V-Rep的机器人虚拟示教系统 Download PDF

Info

Publication number
CN107274777B
CN107274777B CN201710464582.2A CN201710464582A CN107274777B CN 107274777 B CN107274777 B CN 107274777B CN 201710464582 A CN201710464582 A CN 201710464582A CN 107274777 B CN107274777 B CN 107274777B
Authority
CN
China
Prior art keywords
teaching
robot
rep
virtual
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710464582.2A
Other languages
English (en)
Other versions
CN107274777A (zh
Inventor
丁雅斌
虢薇
罗振军
黄田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710464582.2A priority Critical patent/CN107274777B/zh
Publication of CN107274777A publication Critical patent/CN107274777A/zh
Application granted granted Critical
Publication of CN107274777B publication Critical patent/CN107274777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于V‑Rep的机器人虚拟示教方法，步骤为：在离线仿真软件V‑Rep中存储示教系统的虚拟示教场景文件；开发人机交互界面；将三维鼠标通过无线接收器连接至计算机的USB接口上；在虚拟机的界面内设置三维鼠标与计算机主机断开连接，与虚拟机建立连接，打开并运行V‑Rep软件中预先存储的虚拟示教场景文件；V‑Rep中的虚拟示教场景文件运行后，输入机器人示教关键点的位置坐标；示教结束后，实现可见机器人末端在两个示教关键点之间的运动以再现示教过程；在再现过程中，进行逆解计算。采用本系统具有更好的体验性和交互性。

Description

一种基于V-Rep的机器人虚拟示教系统
技术领域
本发明涉及一种机器人虚拟示教系统，特别涉及一种基于V-Rep的机器人虚拟示教系统。
背景技术
机器人示教系统的性能和界面设计直接影响着工业机器人的使用效果，从最早的单一命令输入到现在的集编程、仿真、测试、系统设置等功能于一身的高度集成系统，在机器人系统中有着举足轻重的作用。现有的机器人示教系统通常是一组硬件装置，包括示教盒，手柄等输入输出设备，并通过线缆与机器人控制柜连接实现对机器人的示教和控制。但是这些装置的开发与生产成本较高，同时线缆也束缚了操作者的工作范围。
随着计算机和人机交互技术的发展，同时考虑到生产效率和安全等因素，通过计算机对机器人进行离线控制已成为全世界机器人产业的主流趋势。现如今，国外许多公司都开发出了自主的机器人离线仿真系统，如：ABB公司的离线编程仿真系统ABBRobotStudio、KUKA公司的主要用于机器人码垛、物流运输模拟仿真以及可以模拟示教盒操作的KUKA SIM PRO以及FANUC公司的离线编程软件FanucWorks等。但是，以上离线仿真软件大多只支持自己公司的机器人，不能完全满足客户各种各样的自动化线控制要求，通用性、兼容性、用户集成性不强。而且，各种系统所支持的机器人编程语言也有较大差异。以上这两点这给客户的使用和自主系统开发都带来了不便。
现在市场上出现了一些具有开放式框架的机器人仿真软件，为复杂机器人控制系统的开发提供了开源的平台。同时，各种输入、输出设备的种类和功能也逐渐丰富起来，通过数据接口或集成的方式，为丰富系统的功能提供了可能。
发明内容
本发明的目的在于克服已有技术的缺点，提供一种以具有开放式框架的机器人仿真软件V-Rep作为中间件平台，实现了具有人机交互功能的无线三维鼠标的集成，既丰富了系统的示教形式，同时也摆脱了线缆对工作范围的限制的基于V-Rep的机器人虚拟示教系统。
本发明解决上述问题所采用的技术方案是：
本发明的一种基于V-Rep的机器人虚拟示教方法，包括以下步骤：
(1)在计算机上安装VM虚拟机，在VM虚拟机上安装Ubuntu系统，在Ubuntu系统中安装机器人离线仿真软件V-Rep并安装配置Lua-SDL2及其模块库，在离线仿真软件V-Rep中存储示教系统的虚拟示教场景文件，在所述的虚拟示教场景文件中设置有两个相同的六自由度机器人，一个为可见六自由度机器人，另一个为不可见六自由度机器人，两个相同的六自由度机器人在世界坐标系下的位置设置为相同，示教场景文件的程序存储在两个Lua子脚本中，其中一个是存储示教再现的核心程序的线程子脚本，另一个是存储了实时逆解的辅助程序的非线程子脚本，所述的线程子脚本中包含三维鼠标的信号采集、示教再现过程和用户界面编辑三部分，可见六自由度机器人为实体设置，绑定线程子脚本，另一个设置六自由度机器人为不可见，绑定非线程子脚本；
(2)基于V-Rep内置的OpenGL的自定义用户界面开发人机交互界面，以对话框的形式呈现，所述的人机交互界面包含了示教过程中键入关键点位姿以及再现过程中显示虚拟机器人实时的关节角参数的编辑栏、确定关键点和运行的相关按键、调整虚拟机器人末端运动灵敏度的滑块和相关标签，界面上的任何动作在V-Rep中是以信息的形式被API函数截取和调用的，从而控制虚拟机器人末端到达指定位姿；
(3)将三维鼠标通过无线接收器连接至计算机的USB接口上；
(4)开启计算机，依次运行VM虚拟机、Ubuntu系统以及V-Rep软件，并在虚拟机的界面内设置三维鼠标与计算机主机断开连接，与虚拟机建立连接，打开并运行V-Rep软件中预先存储的虚拟示教场景文件；
(5)V-Rep中的虚拟示教场景文件运行后，输入机器人示教关键点的位置坐标；
(6)示教结束后，点击人机交互界面的运行按键，利用预先在Lua脚本中编写好的运动函数，实现可见机器人末端在两个示教关键点之间的运动以再现示教过程；
(7)在再现过程中，线程子脚本和非线程子脚本间信号相互传递，非线程子脚本在Lua脚本内调用逆解函数以及逆解判断语句，采用Pseudo方法实时逆解计算，在实时逆解计算过程中，判断逆解是否存在，若不存在逆解时，则输出提示，逆解计算模型转为采用阻尼最小二乘方法。
本发明的有益效果是：本发明的系统针对传统在线示教的成本高、效率低、安全性差等缺点，采取离线示教的方式，除了支持常规的通过示教界面进行示教的方式外，由于是基于开放式的软件平台V-Rep开发的，故实现了将无线三维鼠标通过Lua-SDL2开源库集成在V-Rep上，使得人可以通过操纵三维鼠标，直接驱动虚拟场景内的机器人末端运动，如同将机器人末端握在手中，将人的自身感官融入到示教过程中，具有更好的体验性和交互性。同时，三维鼠标通过无线接收器连接至计算机，摆脱了传统线缆连接的限制，使人拥有更大的操作空间。另外，该系统是开放式的系统，不仅仅局限于现有功能，后期还可以根据用户需要对其功能进行扩充，从而实现对于不同类型机器人，同种机器人不同方式的示教以及相关辅助功能。
附图说明
图1是本发明的基于V-Rep的机器人虚拟示教系统的硬件组成示意图；
图2是本发明的基于V-Rep的机器人虚拟示教系统的软件组成示意图；
图3是本发明中人手操纵三维鼠标运动的示意图；
图4是本发明的基于V-Rep的机器人虚拟示教系统的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
如图1-图4所示，本发明的基于V-Rep的机器人虚拟示教方法，包括以下步骤：
(1)在计算机上安装VM虚拟机 Workstation 12 Pro(可以采用12.1.0build-3272444版本)，在VM虚拟机上安装Ubuntu系统(可以采用ubuntu-15.10-desktop-amd64版本，64位)，在Ubuntu系统中安装机器人离线仿真软件V-Rep(可以采用V-REP PROEDU V3.3.1版本,Linux 64位)并安装配置Lua-SDL2及其模块库，在离线仿真软件V-Rep中存储示教系统的虚拟示教场景文件，在所述的虚拟示教场景文件中设置有两个相同的六自由度机器人，一个为可见六自由度机器人，另一个为不可见六自由度机器人，两个相同的六自由度机器人在世界坐标系下的位置设置为相同，示教场景文件的程序存储在两个Lua子脚本中，其中一个是存储示教再现的核心程序的线程子脚本，另一个是存储了实时逆解的辅助程序的非线程子脚本。所述的线程子脚本中包含三维鼠标的信号采集、示教再现过程和用户界面编辑三部分。可见六自由度机器人为实体设置，绑定线程子脚本；另一个设置六自由度机器人为不可见，绑定非线程子脚本。
(2)基于V-Rep内置的OpenGL的自定义用户界面开发人机交互界面，以对话框的形式呈现，所述的人机交互界面包含了示教过程中键入关键点位姿以及再现过程中显示虚拟机器人实时的关节角参数的编辑栏、确定关键点和运行的相关按键、调整虚拟机器人末端运动灵敏度的滑块和相关标签。界面上的任何动作，如：点击按键、输入编辑栏以及滑块移动，在V-Rep中是以信息的形式被API函数截取和调用的，从而控制虚拟机器人末端到达指定位姿。
(3)将三维鼠标通过无线接收器连接至计算机的USB接口上。
(4)开启计算机，依次运行VM虚拟机、Ubuntu系统以及V-Rep软件，并在虚拟机的界面内设置三维鼠标与计算机主机断开连接，与虚拟机建立连接；打开并运行V-Rep软件中预先存储的虚拟示教场景文件。
(5)V-Rep中的虚拟示教场景文件运行后，通过两种方式输入机器人示教关键点的位置坐标：
作为本发明的一种优选的实施方式：输入机器人示教关键点的位置坐标的步骤为：在V-Rep打开的场景文件的Lua脚本中，加载Lua-SDL2库并调用库内的相关函数，人工操纵三维鼠标，使虚拟场景内的可见机器人末端根据人手的动作移动到指定位姿处。其具体的实现方式为：人为操纵三维鼠标获得机器人各轴移动量和转动量后，采用对各轴量的累加的方式，根据最终累加的结果设定虚拟机器人末端的位姿，从而实现人手对可见机器人末端位姿的连续控制，使可见机器人末端根据人手的平动或转动相应地移动到指定位姿处。
当然也可以采用通过虚拟示教的人机交互界面，在界面内键入可见机器人末端的位置值和姿态角，从而控制虚拟场景内的可见机器人末端直接到达指定位姿。
(6)示教结束后，点击人机交互界面的运行按键，利用预先在Lua脚本中编写好的运动函数，实现可见机器人末端在两个示教关键点之间的运动以再现示教过程。以执行MoveL指令为例，进行详细说明如下：利用预先在Lua脚本中编写好的直线运动函数simRMLMoveToPosition(其函数参数包括：当前位姿处的速度、加速度，运动过程中的最大速度、加速度、跃度，目标位姿处的位置、姿态、速度，可根据任务要求在程序中提前设定；其函数返回参数包括：函数是否成功运行的标记值，新的位置、姿态、速度、加速度以及仿真剩余时间，可根据需要选择性地获取返回值)，实现可见机器人末端在两个示教关键点之间的直线运动(MoveL指令)。
(7)在再现过程中，为保证逆解计算的实时性，线程子脚本和非线程子脚本间信号相互传递，非线程子脚本在Lua脚本内调用逆解函数以及逆解判断语句，采用Pseudo方法实时逆解计算，在实时逆解计算过程中，判断逆解是否存在，若不存在逆解时，则输出提示，逆解计算模型转为采用阻尼最小二乘方法，以保证运行稳定。
逆解计算模型采用Pseudo方法可以保证逆解存在时以较快的速度运行。
尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于V-Rep的机器人虚拟示教方法，其特征在于包括以下步骤：
(1)在计算机上安装VM虚拟机，在VM虚拟机上安装Ubuntu系统，在Ubuntu系统中安装机器人离线仿真软件V-Rep并安装配置Lua-SDL2及其模块库，在离线仿真软件V-Rep中存储示教系统的虚拟示教场景文件，在所述的虚拟示教场景文件中设置有两个相同的六自由度机器人，一个为可见六自由度机器人，另一个为不可见六自由度机器人，两个相同的六自由度机器人在世界坐标系下的位置设置为相同，示教场景文件的程序存储在两个Lua子脚本中，其中一个是存储示教再现的核心程序的线程子脚本，另一个是存储了实时逆解的辅助程序的非线程子脚本，所述的线程子脚本中包含三维鼠标的信号采集、示教再现过程和用户界面编辑三部分，可见六自由度机器人为实体设置，绑定线程子脚本，另一个不可见六自由度机器人绑定非线程子脚本；
(2)基于V-Rep内置的OpenGL的自定义用户界面开发人机交互界面，以对话框的形式呈现，所述的人机交互界面包含了示教过程中键入关键点位姿以及再现过程中显示虚拟机器人实时的关节角参数的编辑栏、确定关键点和运行的相关按键、调整虚拟机器人末端运动灵敏度的滑块和相关标签，界面上的任何动作在V-Rep中是以信息的形式被API函数截取和调用的，从而控制虚拟机器人末端到达指定位姿；
(3)将三维鼠标通过无线接收器连接至计算机的USB接口上；
(4)开启计算机，依次运行VM虚拟机、Ubuntu系统以及V-Rep软件，并在虚拟机的界面内设置三维鼠标与计算机主机断开连接，与虚拟机建立连接，打开并运行V-Rep软件中预先存储的虚拟示教场景文件；
(5)V-Rep中的虚拟示教场景文件运行后，输入机器人示教关键点的位置坐标；
(6)示教结束后，点击人机交互界面的运行按键，利用预先在Lua脚本中编写好的运动函数，实现可见机器人末端在两个示教关键点之间的运动以再现示教过程；
(7)在再现过程中，线程子脚本和非线程子脚本间信号相互传递，非线程子脚本在Lua脚本内调用逆解函数以及逆解判断语句，采用Pseudo方法实时逆解计算，在实时逆解计算过程中，判断逆解是否存在，若不存在逆解时，则输出提示，逆解计算模型转为采用阻尼最小二乘方法。
2.根据权利要求1所述的基于V-Rep的机器人虚拟示教方法，其特征在于：输入机器人示教关键点的位置坐标的步骤为：在V-Rep打开的场景文件的Lua脚本中，加载Lua-SDL2库并调用库内的相关函数，人工操纵三维鼠标，使虚拟场景内的可见机器人末端根据人手的动作移动到指定位姿处。
3.根据权利要求1所述的基于V-Rep的机器人虚拟示教方法，其特征在于：输入机器人示教关键点的位置坐标的步骤为：采用通过虚拟示教的人机交互界面，在界面内键入可见机器人末端的位置值和姿态角，从而控制虚拟场景内的可见机器人末端直接到达指定位姿。
CN201710464582.2A 2017-06-19 2017-06-19 一种基于V-Rep的机器人虚拟示教系统 Active CN107274777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710464582.2A CN107274777B (zh) 2017-06-19 2017-06-19 一种基于V-Rep的机器人虚拟示教系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464582.2A CN107274777B (zh) 2017-06-19 2017-06-19 一种基于V-Rep的机器人虚拟示教系统

Publications (2)

Publication Number Publication Date
CN107274777A CN107274777A (zh) 2017-10-20
CN107274777B true CN107274777B (zh) 2019-06-18

Family

ID=60068954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464582.2A Active CN107274777B (zh) 2017-06-19 2017-06-19 一种基于V-Rep的机器人虚拟示教系统

Country Status (1)

Country Link
CN (1) CN107274777B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573631A (zh) * 2018-06-26 2018-09-25 江苏汇博机器人技术股份有限公司 机器人虚拟实操平台
CN108550296A (zh) * 2018-06-26 2018-09-18 江苏汇博机器人技术股份有限公司 多品牌机器人虚拟示教器系统
CN110216683A (zh) * 2019-04-28 2019-09-10 天津扬天科技有限公司 一种基于游戏手柄的协作机器人示教方法
CN110561430B (zh) * 2019-08-30 2021-08-10 哈尔滨工业大学（深圳） 用于离线示例学习的机器人装配轨迹优化方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116318A (zh) * 2013-03-14 2013-05-22 安徽工业大学 一种机器人多轴同步控制方法
CN204322082U (zh) * 2014-12-26 2015-05-13 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置
CN104700705A (zh) * 2015-01-19 2015-06-10 清华大学 工业机器人示教系统
CN104835406A (zh) * 2015-06-05 2015-08-12 安徽埃夫特智能装备有限公司 工业机器人教学系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048621A (ja) * 2009-08-27 2011-03-10 Honda Motor Co Ltd ロボットのオフライン教示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116318A (zh) * 2013-03-14 2013-05-22 安徽工业大学 一种机器人多轴同步控制方法
CN204322082U (zh) * 2014-12-26 2015-05-13 佛山市新鹏机器人技术有限公司 一种基于示教机器人的离线编程示教装置
CN104700705A (zh) * 2015-01-19 2015-06-10 清华大学 工业机器人示教系统
CN104835406A (zh) * 2015-06-05 2015-08-12 安徽埃夫特智能装备有限公司 工业机器人教学系统

Also Published As

Publication number Publication date
CN107274777A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107274777B (zh) 一种基于V-Rep的机器人虚拟示教系统
CN107901039B (zh) 基于Python的桌面级机器人离线编程仿真系统
De Giorgio et al. Human-machine collaboration in virtual reality for adaptive production engineering
Ostanin et al. Interactive robot programing using mixed reality
CN110394780A (zh) 机器人的仿真装置
US10751877B2 (en) Industrial robot training using mixed reality
CN104699122A (zh) 一种机器人运动控制系统
CN101920233A (zh) 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
CN110321000B (zh) 一种面向智能系统复杂任务的虚拟仿真系统
CN103413487B (zh) 一种变压器装配工艺仿真系统
CN104700705A (zh) 工业机器人示教系统
CN102608922B (zh) 一种基于Vega和RTW的光电经纬仪实时可视化仿真平台
CN114663580A (zh) 一种工业机器人生产线的虚拟仿真方法
CN108527320A (zh) 一种基于三维鼠标的协作机器人引导示教方法
CN201892840U (zh) 一种基于虚拟现实技术的喷涂工业机器人综合控制系统
CN105405350A (zh) 一种基于钻柱排管一体化技术的模拟培训系统
Collett et al. Augmented reality visualisation for player
CN111300412A (zh) 一种基于虚幻引擎的控制机器人的方法
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
Pedersen et al. Using human gestures and generic skills to instruct a mobile robot arm in a feeder filling scenario
CN106914896A (zh) 一种机器人离线编程的构建方法
Khan ROS-based control of a manipulator arm for balancing a ball on a plate
Zhang et al. Design and application of electric power skill training platform based on virtual reality technology
CN107738256A (zh) 一种手把手仿人示教机器人编程系统
Ho et al. Internet-based tele-manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 300350 District, Jinnan District, Tianjin Haihe Education Park, 135 beautiful road, Beiyang campus of Tianjin University

Applicant after: Tianjin University

Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92

Applicant before: Tianjin University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant