CN110682291A - 一种基于vr的机器人遥操作系统及其遥操作方法 - Google Patents
一种基于vr的机器人遥操作系统及其遥操作方法 Download PDFInfo
- Publication number
- CN110682291A CN110682291A CN201910983134.2A CN201910983134A CN110682291A CN 110682291 A CN110682291 A CN 110682291A CN 201910983134 A CN201910983134 A CN 201910983134A CN 110682291 A CN110682291 A CN 110682291A
- Authority
- CN
- China
- Prior art keywords
- robot
- action
- working
- data
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
一种基于VR的机器人遥操作系统及其遥操作方法,所述系统包括作业机器人、摄像装置、VR头显装置、机器人规划装置、遥控装置和后台服务器,所述方法包括以下步骤:S1、构建虚拟机器人和VR虚拟场景;S2、利用摄像装置实时获取作业环境与作业对象的视频影像;S3、将视频影像与VR虚拟场景同步叠加;S4、在虚拟场景中对虚拟机器人进行动作规划;S5、控制作业机器人执行动作;S6、根据传感器数据修正机器人动作;S7、存储步骤S4、S5、S6的日志数据并进行深度学习。本发明系统及方法具有更高的灵活性、安全性和精准度,能够代替人工进行带电作业,实现带电作业智能化,提升带电作业的效率,降低相关操作人员的人身风险。
Description
技术领域
本发明涉及机器人遥操作技术领域,尤其涉及一种基于3D建模、VR头显设备和遥操作制技术的机器人遥操作系统及其遥操作方法。
背景技术
在作业环境恶劣、作业危险较高或人力无法完成等作业领域,机器人作业越来越普遍,操作人员可以远程控制机器人进行作业,降低人身完全风险。机器人遥操作系统的实现很大程度上改变了机器人的作业方式并拓展了机器人的作业能力,人们甚至不需要出现在机器人作业环境中,可以直接在本地或外地控制机器人作业。但是机器人遥操作系统也存在一定的问题,机器人遥操作人机交互系统需要尽可能准确地获取操作者的控制意图并下发控制指令,传统的交互设备普遍需要操作者适应设备,操作方式比较机械化,机器人运动范围受限,操作灵敏度和灵活性都不够,交互过程不自然。另外,遥操作系统一般通过网络进行数据交互,根据数据控制机器人动作,数据传输过程如果出现延迟会直接影响系统判断,进而导致机器人操作失误,甚至引起重大事故。
随着国内电力设备的扩建,带电作业越发频繁,带电作业的危险级别很高,作业难度较大,由于带电作业对灵活性、精准度、及时性等的要求较高,现有的大部分机器人遥操作系统无法满足带电作业要求,很多带电作业都只能由人工完成,工作人员需要承担巨大的风险,作业的效率也很难保证,研究一个操作更方便、交互性更好、精准度更高的机器人遥操作系统来完成要求更高的作业至关重要。
发明内容
为了解决机器人遥操作系统操作灵敏度不足、交互性体验差、时延影响精准度的问题,本发明提出了一种基于VR的机器人遥操作系统及其遥操作方法,通过VR头显装置生成虚拟场景,在虚拟场景中模拟机器人动作,预先规划机器人动作,远程遥控带电作业机器人在实际作业环境中动作,灵活性和精准度高,提高带电作业效率,减少人力成本,降低人身安全风险。
为解决上述技术问题,本发明采用了如下技术手段:
一种基于VR的机器人遥操作系统,主要包括:
作业机器人,用于在作业环境中执行动作指令并将执行结果传送给上位机,所述上位机包括VR头显装置和机器人规划装置;
摄像装置,用于采集作业环境和作业对象的影像,并将采集的影像传送给VR头显装置;
VR头显装置,用于根据作业机器人和摄像装置采集的影像实时生成虚拟机器人和虚拟场景,所述虚拟场景与作业环境完全相同;
机器人规划装置,用于在虚拟环境中对虚拟机器人进行动作规划,生成动作指令或动作指令集;
遥控装置,用于发送动作指令或动作指令集到作业机器人,控制作业机器人执行动作;
后台服务器,用于存储机器人动作规划、动作执行生成的日志数据,并根据所述日志数据进行深度学习。
进一步的,所述作业机器人包括带电作业车和至少两个机械手臂,所述机械手臂选用六自由度机械手臂,机械手臂安装在所述带电作业车上,所述摄像装置通过连接件安装在带电作业车顶部。
进一步的,所述作业机器人还包括力传感器、触觉传感器和距离传感器,所述力传感器、触觉传感器和距离传感器安装在所述机械手臂上。
进一步的,所述摄像装置选用双目同频摄像头。
进一步的,所述遥控装置包括数据发送模块、数据接收模块和控制模块,所述数据发送模块将机器人执行装置规划的动作指令或动作指令集通过局域网传输给所述数据接收模块,数据接收模块通过串口将动作指令或动作指令集传输给所述控制模块,控制模块通过串口连接所述作业机器人,控制作业机器人执行动作指令或动作指令集。
一种基于VR的机器人遥操作方法,主要包括以下步骤:
S1、通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型,生成虚拟机器人和VR虚拟场景;
S2、利用摄像装置实时获取作业环境与作业对象的视频影像,并将视频影像传送到VR头显装置;
S3、利用OpenCV处理视频影像,将处理后的视频影像与S1生成的VR虚拟场景同步叠加,获得最终的虚拟场景;
S4、在虚拟场景中利用高度临场感的可视化方法对虚拟机器人进行动作规划,生成动作指令或动作指令集;
S5、通过局域网将动作指令或动作指令集发送给作业机器人,驱动作业机器人执行动作指令或动作指令集;
S6、作业机器人执行动作指令过程中,根据安装在机械手臂上的传感器测量的数据修正作业机器人的动作指令;
S7、将步骤S4、S5、S6的日志数据存储在后台服务器中,根据存储的数据进行深度学习,优化虚拟场景构建、动作规划、动作执行的算法。
进一步的,所述步骤S1中通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型,具体操作如下:
针对有图纸或照片的固定建模对象,通过3DMax建模为建模对象手工构建模型;针对没有图纸或照片的固定建模对象,通过高精度三维激光扫描仪获取建模对象的点云数据,并根据点云数据构建模型;针对不固定建模对象,通过摄像装置实时采集建模对象点云数据,结合深度检测功能构建模型;所述建模对象包括作业机器人、作业对象和作业环境。
进一步的,所述步骤S4的具体操作为:
在虚拟场景中利用NVIDIA PhysX物理引擎模拟机械手臂每个关节的物理运动,获得虚拟环境下的碰撞检测数据,根据作业内容和碰撞检测数据,利用高度临场感的可视化方法对作业机器人进行动作规划,生成动作指令或动作指令集。
进一步的,所述步骤S6中的传感器包括力传感器、触觉传感器和距离传感器。
进一步的,所述步骤S6的具体操作为:
S61、作业机器人执行动作指令过程中,安装在机械手臂上的传感器实时采集力度、触觉、距离数据,当采集到的任一数据超出设定的范围,作业机器人停止执行当前动作;
S62、判断数据超值原因:
1)虚拟环境存在偏差时,根据视频影像校准虚拟环境,重新规划作业机器人动作,生成新的动作指令;
2)作业机器人动作执行存在偏差时,根据已经执行的动作和传感器数据调整动作执行参数,重新规划作业机器人动作,生成新的动作指令;
S63、控制作业机器人执行新的动作指令。
采用以上技术手段后可以获得以下优势:
本发明提出了一种基于VR的机器人遥操作系统及其遥操作方法,通过VR头显装置和遥操作技术实现非接触式交互,作业机器人和摄像装置安置在作业环境中,VR头显装置、机器人规划装置和遥控装置等设置在任一安全位置,摄像装置辅助VR头显装置生成与作业环境完全一致的虚拟场景,在虚拟场景中预先对虚拟机器人进行动作规划,生成可以满足作业需求的动作指令或动作指令集,然后通过遥控装置控制机器人动作。在虚拟环境中预先规划动作,可以节省时间和成本,规划结构直观,同时能够很大程度减少数据传输延迟为遥操作带来的不便。利用传感器实时采集传感数据,当数据超出设定的范围,立即停止当前动作并规划新的动作,可以避免作业机器人操作失误,提高带电作业机器人操作的安全性和精准度,沉浸式虚拟现实技术能够提供更好的操作体验,操作者的活动范围不受限制,操作灵活性更高,实时保存规划动作、执行动作的日志数据并进行深度学习,可以不断完善系统算法,提高预规划的效果。本发明系统及方法具有更高的灵活性、安全性和精准度,能够代替人工进行带电作业,实现带电作业智能化,提升带电作业的效率,降低相关操作人员的人身风险。
附图说明
图1为本发明一种基于VR的机器人遥操作系统的结构示意图;
图2为本发明一种基于VR的机器人遥操作方法的步骤流程图;
图中1是作业机器人,2是摄像装置,3是VR头显装置,4是机器人规划装置,5是遥控装置,6是后台服务器。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明:
一种基于VR的机器人遥操作系统,如图1所示,主要包括作业机器人1、摄像装置2、VR头显装置3、机器人规划装置4、遥控装置5和后台服务器6;
作业机器人是系统中的受控对象,主要用来在作业环境中执行动作指令并将动作指令执行结果传送给VR头显装置和机器人规划装置。作业机器人包括带电作业车和至少两个机械手臂,机械手臂根据作业需求安装在带电作业车的侧面或顶部,为了更好的完成作业动作,机械手臂选用六自由度机械手臂,可以根据不同的动作指令调用不同位置的机械手臂执行动作。在机械手臂上还安装有多个传感器,包括力传感器、触觉传感器和距离传感器等,力传感器实时采集机械手臂的力度,触觉传感器实时采集机械手臂抓手的触觉,当抓手触碰作业环境中的物体或者作业对象,触觉传感器传出相应的触觉信号,距离传感器主要采集机械手臂与作业对象、作业环境内物体的距离,比如使用作业机器人检修输电铁塔上的电力金具,力传感器在机械手臂运动时采集机械手臂的力,触觉传感器在机械手臂触碰任一物体时产生触觉信号,距离传感器测量机械手臂与高压电线、塔身、电力金具等物体的距离,生成距离信号。
本发明系统中包括多个摄像装置,这些摄像装置通过连接件安装在带电作业车顶部,并面向不同角度,摄像装置选用双目同频摄像头,双目同频摄像头可以获取到更清晰完整的影像,摄像装置实时采集作业环境和作业对象的影像后将采集的影像传送给VR头显装置。本发明实施例中选用了stereolabs的ZED摄像头,该摄像头具备点云扫描和深度检测功能,可以帮助VR头显装置构建虚拟模型、生成虚拟场景。
VR头显装置主要用于构件虚拟机器人和虚拟场景,并将虚拟影像呈现给操作者,VR头显装置会根据作业机器人的数据构件虚拟机器人模型,虚拟机器人的外形、大小、位置、功能等与作业机器人完全相同,虚拟机械手臂的关节及其约束条件与真实机械手臂的大小臂伸展极限约束一致,从而保证虚拟机器人可以完成的动作作业机器人也可以完成,根据作业机器人上传感器采集的数据和摄像装置采集的影像实时生成与作业环境完全相同的虚拟场景和虚拟作业对象。
机器人规划装置是系统中的核心装置,机器人规划装置会根据具体作业内容预先在虚拟环境中对虚拟机器人进行动作规划,机器人的运动一般是连续的,且具有一定的惯性,为了精确控制作业机器人运动,可以生成动作指令或包含一连串动作指令的动作指令集。
遥控装置主要包括数据发送模块、数据接收模块和控制模块,数据发送模块一般安装在虚拟端,用于将机器人规划装置规划的动作指令或动作指令集通过局域网传输给数据接收模块,数据接收模块和控制模块一般安装在作业机器人附近或作业机器人上,数据接收模块通过串口连接控制模块,将接收到的动作指令或动作指令集传输给控制模块,控制模块通过串口连接机械手臂的驱动装置,控制作业机器人执行动作指令或动作指令集。
后台服务器主要用于存储和学习,后台服务器与系统内的系统装置通过网络连接,实时存储视频影像、虚拟影像、机器人动作规划、动作执行、传感器数据等日志数据,同时后台服务器会根据存储的日志数据进行深度学习,协助系统调整参数,完善整个作业流程。
本发明还提出了一种基于VR的机器人遥操作方法,如图2所示,主要包括以下步骤:
S1、通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型,作业对象指作业机器人操作的设备或物体,比如高压电线检修作业中高压电线就是作业对象,作业环境指作业对象所处的自然环境或人造环境,比如高压电线所处的野外或大厦。根据需要构建模型的对象的不同,具体可以分成以下3种情况:
1)针对有图纸或照片的固定建模对象,比如作业机器人、有详细图纸的输电铁塔等,直接通过3DMax建模为建模对象手工构建模型,考虑到这些固定建模对象经常使用,可以将建好的模型存储在VR头显装置或后台服务器上,下次需要使用的时候直接调取建好的模型。
2)针对没有图纸或照片的固定建模对象,比如出现在作业对象附近的建筑物,可以通过高精度三维激光扫描仪获取建模对象的点云数据,并根据点云数据构建模型,三维扫描仪可以安装在作业机器人上。
3)针对不固定建模对象,比如作业环境中的自然物,通过摄像装置自带的点云扫描功能实时采集建模对象点云数据,再结合摄像装置的深度检测功能构建模型。
根据具体情况选用上述3中方法完成作业机器人、作业对象和作业环境的建模,在VR头显设备中生成虚拟机器人和VR虚拟场景;
S2、利用安装在作业机器人顶部的多个摄像装置实时获取作业环境与作业对象的视频影像,并通过局域网将视频影像实时传送到VR头显装置。
S3、利用OpenCV处理不同视角的视频影像,将处理后的视频影像与S1生成的VR虚拟场景同步叠加,如果VR虚拟场景构建存在偏差,根据视频影像调整VR虚拟影像,获得与实际作业环境和作业对象完全一致的虚拟场景。OpenCV是一个跨平台的计算机视觉库,可以用来开发实时的图像处理、计算机视觉以及模式识别程序。
S4、作业机器人使用多个6自由度的机械手臂,在不同的作业环境中,机械手臂的运动路径规划难度非常大,为了保证作业机器人动作的精准度,需要预先在虚拟场景中进行动作规划,虚拟场景可以给操作人员提供很好的临场感,在虚拟场景操作虚拟机器人可以达到较为理想的规划效果。操作员在虚拟场景中利用NVIDIA PhysX物理引擎模拟机械手臂每个关节的物理运动,获得虚拟环境下的碰撞检测数据,根据作业内容和碰撞检测数据,利用高度临场感的可视化方法对作业机器人进行动作规划,生成动作指令或动作指令集。
S5、遥控装置通过局域网将动作指令或动作指令集发送给作业机器人,驱动作业机器人执行动作指令或动作指令集。
S6、作业机器人执行动作指令过程中,根据安装在机械手臂上的传感器测量的数据修正作业机器人的动作指令,具体操作如下:
S61、作业机器人执行动作指令过程中,安装在机械手臂上的力传感器、触觉传感器和距离传感器等传感器实时采集机械手臂力度、触觉和距离数据,当采集到的任一数据超出设定的范围,作业机器人立即停止执行当前动作。比如,
S62、判断数据超值原因,原因一般有两个:
1)虚拟环境构建存在偏差导致规划的动作错误,VR头显装置根据实时获取的视频影像重新校准虚拟环境,然后机器人规划装置重新规划作业机器人动作,生成新的动作指令。
2)作业机器人动作执行时存在偏差,根据已经执行的动作日志数据和传感器数据调整动作执行参数,重新规划作业机器人动作,生成新的动作指令。
S63、控制作业机器人执行新的动作指令。
下面用一个具体的例子解释步骤S6,在虚拟场景中规划一个控制机械手臂移动到某个特定位置的动作后,如果机械手臂在执行该动作的过程中,距离传感器检测到机械手臂的某个关节和作业环境中的电力金具的距离小于系统设置的安全距离,则立即停止机器手臂的活动,同时把各项传感器数据传送给VR头显装置和机器人规划装置,并进行报警,操作员接收到警报后,可以查看不同位置的双目摄像头传送的实时3D视频和虚拟场景,结合传感器数据判断是哪个部分出现偏差,如果是虚拟场景重建的偏差,则结合实景视频重新校准虚拟场景;如果是作业机器人执行规划动作的精度有误差,则根据动作规划和执行的日志数据进行参数调整,然后再重新规划动作。
S7、完成一个作业任务或完成一个动作的过程可以称为一次作业流程,完成一次作业流程后,后台服务器会将步骤S4、S5、S6的日志数据存储起来,也就是动作规划过程、动作执行过程和动作修正过的日志数据存储起来,同时后台服务器也可以存储虚拟模型、虚拟场景、摄像装置拍摄的视频影像、传感器数据等,后台服务器将根据存储的数据进行深度学习,优化虚拟场景构建、动作规划、动作执行的算法。本发明实施例中采用Keras作为主要的深度学习库,TensorFlow作为后端。
上面结合附图对本发明的实施方式作了详细地说明,但是本发明并不局限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (10)
1.一种基于VR的机器人遥操作系统,其特征在于,包括:
作业机器人,用于在作业环境中执行动作指令并将执行结果传送给上位机,所述上位机包括VR头显装置和机器人规划装置;
摄像装置,用于采集作业环境和作业对象的影像,并将采集的影像传送给VR头显装置;
VR头显装置,用于根据作业机器人和摄像装置采集的影像实时生成虚拟机器人和虚拟场景,所述虚拟场景与作业环境完全相同;
机器人规划装置,用于在虚拟环境中对虚拟机器人进行动作规划,生成动作指令或动作指令集;
遥控装置,用于发送动作指令或动作指令集到作业机器人,控制作业机器人执行动作;
后台服务器,用于存储机器人动作规划、动作执行生成的日志数据,并根据所述日志数据进行深度学习。
2.根据权利要求1所述的一种基于VR的机器人遥操作系统,其特征在于,所述作业机器人包括带电作业车和至少两个机械手臂,机械手臂安装在所述带电作业车上,所述摄像装置通过连接件安装在带电作业车顶部。
3.根据权利要求2所述的一种基于VR的机器人遥操作系统,其特征在于,所述作业机器人还包括力传感器、触觉传感器和距离传感器,所述力传感器、触觉传感器和距离传感器安装在所述机械手臂上。
4.根据权利要求1所述的一种基于VR的机器人遥操作系统,其特征在于,所述摄像装置选用双目摄像头。
5.根据权利要求1所述的一种基于VR的机器人遥操作系统,其特征在于,所述遥控装置包括数据发送模块、数据接收模块和控制模块,所述数据发送模块将机器人规划装置规划的动作指令或动作指令集通过局域网传输给所述数据接收模块,数据接收模块通过串口将动作指令或动作指令集传输给所述控制模块,控制模块通过串口连接所述作业机器人,控制作业机器人执行动作指令或动作指令集。
6.一种基于VR的机器人遥操作方法,其特征在于,包括以下步骤:
S1、通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型,生成虚拟机器人和VR虚拟场景;
S2、利用摄像装置实时获取作业环境与作业对象的视频影像,并将视频影像传送到VR头显装置;
S3、利用OpenCV处理视频影像,将处理后的视频影像与S1生成的VR虚拟场景同步叠加,获得最终的虚拟场景;
S4、在虚拟场景中利用高度临场感的可视化方法对虚拟机器人进行动作规划,生成动作指令或动作指令集;
S5、通过局域网将动作指令或动作指令集发送给作业机器人,驱动作业机器人执行动作指令或动作指令集;
S6、作业机器人执行动作指令过程中,根据安装在机械手臂上的传感器测量的数据修正作业机器人的动作指令;
S7、将步骤S4、S5、S6的日志数据存储在后台服务器中,根据存储的数据进行深度学习,优化虚拟场景构建、动作规划、动作执行的算法。
7.根据权利要求6所述的一种基于VR的机器人遥操作方法,其特征在于,所述步骤S1中通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型,具体操作如下:
针对有图纸或照片的固定建模对象,通过3DMax建模为建模对象手工构建模型;
针对没有图纸或照片的固定建模对象,通过高精度三维激光扫描仪获取建模对象的点云数据,并根据点云数据构建模型;
针对不固定建模对象,通过摄像装置实时采集建模对象点云数据,结合深度检测功能构建模型;
所述建模对象包括作业机器人、作业对象和作业环境。
8.根据权利要求6所述的一种基于VR的机器人遥操作方法,其特征在于,所述步骤S4的具体操作为:
在虚拟场景中利用NVIDIA PhysX物理引擎模拟机械手臂每个关节的物理运动,获得虚拟环境下的碰撞检测数据,根据作业内容和碰撞检测数据,利用高度临场感的可视化方法对作业机器人进行动作规划,生成动作指令或动作指令集。
9.根据权利要求6所述的一种基于VR的机器人遥操作方法,其特征在于,所述步骤S6中的传感器包括力传感器、触觉传感器和距离传感器。
10.根据权利要求9所述的一种基于VR的机器人遥操作方法,其特征在于,所述步骤S6的具体操作为:
S61、作业机器人执行动作指令过程中,安装在机械手臂上的传感器实时采集力度、触觉、距离数据,当采集到的任一数据超出设定的范围,作业机器人停止执行当前动作;
S62、判断数据超值原因:
1)虚拟环境存在偏差时,根据视频影像校准虚拟环境,重新规划作业机器人动作,生成新的动作指令;
2)作业机器人动作执行存在偏差时,根据已经执行的动作和传感器数据调整动作执行参数,重新规划作业机器人动作,生成新的动作指令;
S63、控制作业机器人执行新的动作指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910983134.2A CN110682291B (zh) | 2019-10-16 | 2019-10-16 | 一种基于vr的机器人遥操作系统及其遥操作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910983134.2A CN110682291B (zh) | 2019-10-16 | 2019-10-16 | 一种基于vr的机器人遥操作系统及其遥操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110682291A true CN110682291A (zh) | 2020-01-14 |
CN110682291B CN110682291B (zh) | 2020-07-10 |
Family
ID=69112918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910983134.2A Active CN110682291B (zh) | 2019-10-16 | 2019-10-16 | 一种基于vr的机器人遥操作系统及其遥操作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110682291B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476909A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于虚拟现实弥补时延的遥操作控制方法及系统 |
CN112091974A (zh) * | 2020-08-28 | 2020-12-18 | 国网安徽省电力有限公司淮南供电公司 | 配网带电作业机器人遥控操作系统及其控制方法 |
CN112338920A (zh) * | 2020-11-04 | 2021-02-09 | 中国联合网络通信集团有限公司 | 数据处理方法、装置及设备 |
CN112435521A (zh) * | 2020-10-27 | 2021-03-02 | 北京控制工程研究所 | 一种空间遥操作机械臂在轨训练系统及方法 |
CN112975988A (zh) * | 2021-04-13 | 2021-06-18 | 盛天智能机器人(广东)有限责任公司 | 一种基于vr技术的带电作业机器人控制系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059131A1 (en) * | 2006-08-29 | 2008-03-06 | Canon Kabushiki Kaisha | Force sense presentation device, mixed reality system, information processing method, and information processing apparatus |
CN103481285A (zh) * | 2013-09-16 | 2014-01-01 | 国家电网公司 | 基于现实虚拟技术的高压带电作业机器人控制系统及方法 |
CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
CN105364934A (zh) * | 2015-11-30 | 2016-03-02 | 山东建筑大学 | 液压机械臂遥操作控制系统和方法 |
US20160259330A1 (en) * | 2015-03-06 | 2016-09-08 | Alberto Daniel Lacaze | Point-and-Click Control of Unmanned, Autonomous Vehicle Using Omni-Directional Visors |
CN106737668A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种基于虚拟现实的带电作业机器人遥操作方法 |
CN108582119A (zh) * | 2018-04-11 | 2018-09-28 | 南京理工大学 | 一种带电作业机器人力反馈主从控制方法及系统 |
CN108732963A (zh) * | 2017-04-13 | 2018-11-02 | 发那科株式会社 | 控制装置及机器学习装置 |
EP3495094A1 (en) * | 2017-12-07 | 2019-06-12 | Sarcos Corp. | Resistance-based joint constraint for a master robotic system |
-
2019
- 2019-10-16 CN CN201910983134.2A patent/CN110682291B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059131A1 (en) * | 2006-08-29 | 2008-03-06 | Canon Kabushiki Kaisha | Force sense presentation device, mixed reality system, information processing method, and information processing apparatus |
CN103481285A (zh) * | 2013-09-16 | 2014-01-01 | 国家电网公司 | 基于现实虚拟技术的高压带电作业机器人控制系统及方法 |
CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
US20160259330A1 (en) * | 2015-03-06 | 2016-09-08 | Alberto Daniel Lacaze | Point-and-Click Control of Unmanned, Autonomous Vehicle Using Omni-Directional Visors |
CN105364934A (zh) * | 2015-11-30 | 2016-03-02 | 山东建筑大学 | 液压机械臂遥操作控制系统和方法 |
CN106737668A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种基于虚拟现实的带电作业机器人遥操作方法 |
CN108732963A (zh) * | 2017-04-13 | 2018-11-02 | 发那科株式会社 | 控制装置及机器学习装置 |
EP3495094A1 (en) * | 2017-12-07 | 2019-06-12 | Sarcos Corp. | Resistance-based joint constraint for a master robotic system |
CN108582119A (zh) * | 2018-04-11 | 2018-09-28 | 南京理工大学 | 一种带电作业机器人力反馈主从控制方法及系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476909A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于虚拟现实弥补时延的遥操作控制方法及系统 |
CN112091974A (zh) * | 2020-08-28 | 2020-12-18 | 国网安徽省电力有限公司淮南供电公司 | 配网带电作业机器人遥控操作系统及其控制方法 |
CN112435521A (zh) * | 2020-10-27 | 2021-03-02 | 北京控制工程研究所 | 一种空间遥操作机械臂在轨训练系统及方法 |
CN112338920A (zh) * | 2020-11-04 | 2021-02-09 | 中国联合网络通信集团有限公司 | 数据处理方法、装置及设备 |
CN112338920B (zh) * | 2020-11-04 | 2022-04-15 | 中国联合网络通信集团有限公司 | 数据处理方法、装置及设备 |
CN112975988A (zh) * | 2021-04-13 | 2021-06-18 | 盛天智能机器人(广东)有限责任公司 | 一种基于vr技术的带电作业机器人控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110682291B (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110682291B (zh) | 一种基于vr的机器人遥操作系统及其遥操作方法 | |
CN109434870A (zh) | 一种用于机器人带电作业的虚拟现实操作系统 | |
AU2020201554B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 | |
US8942850B2 (en) | Method and system for assisting in the handling of robotized machines in a congested environment | |
KR101671320B1 (ko) | 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법. | |
CN102120325B (zh) | 新型遥操作远端机器人控制平台及方法 | |
KR101839113B1 (ko) | 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법. | |
CN109531566B (zh) | 一种基于虚拟现实系统的机器人带电作业控制方法 | |
CN111438673B (zh) | 基于立体视觉和手势控制的高空作业遥操作方法及系统 | |
EP1435737A1 (en) | An augmented reality system and method | |
CN110039547B (zh) | 一种柔性机械臂遥操作的人机交互终端及方法 | |
CN110216674A (zh) | 一种冗余自由度机械臂视觉伺服避障系统 | |
CN105319991B (zh) | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 | |
CN109268010A (zh) | 一种虚拟现实矿井综采工作面的远程巡检干预方法 | |
CN110480657A (zh) | 一种复杂结构环境空间机器人天地遥操作系统 | |
CN109434826A (zh) | 一种带电作业机器人控制系统 | |
WO2018219194A1 (zh) | 基于数据手臂的面向空间站机器人的遥操作系统 | |
CN110977981A (zh) | 一种机器人虚拟现实同步系统及同步方法 | |
CN108284425A (zh) | 一种带电作业机器人机械臂协作力反馈主从控制方法及系统 | |
CN107257946B (zh) | 用于虚拟调试的系统 | |
WO2019046559A1 (en) | UTILIZING INCREASED REALITY TO CONTROL INTELLIGENT DEVICES | |
Xin et al. | 3D augmented reality teleoperated robot system based on dual vision | |
CN111113414B (zh) | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |