CN109648570A - 基于htcvive可穿戴设备的机器人演示学习方法 - Google Patents
基于htcvive可穿戴设备的机器人演示学习方法 Download PDFInfo
- Publication number
- CN109648570A CN109648570A CN201811062953.5A CN201811062953A CN109648570A CN 109648570 A CN109648570 A CN 109648570A CN 201811062953 A CN201811062953 A CN 201811062953A CN 109648570 A CN109648570 A CN 109648570A
- Authority
- CN
- China
- Prior art keywords
- robot
- pose
- singlehanded
- htc vive
- wireless controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
Abstract
本发明公开了一种基于HTC VIVE可穿戴设备的机器人演示学习方法。该方法首先由示教者手持HTC VIVE的单手无线控制器演示操作任务，然后根据无线控制器在在演示过程中的示教轨迹，控制机器人运动，得到机器人在演示过程中的末端运动轨迹，最后，对机器人末端运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹，实现演示任务的学习；本发明使用的HTC VIVE可穿戴设备价格低廉，成本低，仅需要手持单手无线控制器即可实现操作任务的演示，毫无经验的操作者也可以进行机器人的演示示教，操作简便。
Description
技术领域
本发明属于机器人控制领域，更具体地涉及一种基于HTC VIVE可穿戴设备的机器人演示学习方法。
背景技术
近年来，随着机器人技术的迅猛发展，机器人所执行任务多样性与复杂性不断提高，机器人越来越多的应用在与人密切接触、密切交互、密切协作的环境中，需要面对复杂、难以预知的环境、任务和作业对象。因此，传统的针对固定作业的预编程方法已经难以服务机器人的作业要求。为了使机器人能够更加自然的与随机动态的环境进行交互，更加合理的应对作业过程中的突发和未知情况，必须提高其智能化程度。
演示学习使机器人能够通过观察其他人或机器人的动作来学习新的动作，进而能够自主适应新环境，自主获取新技能，不断提升自身的自主作业能力，是提高机器人智能性的重要途径。它可以有效减少编程，降低机器人学习的难度，近年来成为机器人学习控制中的重要研究方向，引起研究者的极大兴趣。
Rozo等使用演示学习方法实现了一台六自由度工业机器人能够自主完成Ball-In-Box的力控制操作任务(Rozo L.,Jiménez P.,Torras C..A robot learning fromdemonstration framework to perform force-based manipulation tasks[J].Intelligent service robotics,2013,6(1):33-51.)。在示教者演示阶段采集机械臂末端六维力向量和对应的各关节速度，在动作复现阶段由所得模型在输入当前末端力矩信息时输出各关节角速度，从而驱动机械臂控制盒中小球的运动并使其在孔洞处跌落。该方法采用力传感器采集示教者动作信息，成本比较高，而且需要用隐马尔科夫模型对动作序列建模，计算量大，实时性难以保证。刘昆等人以Universal Robot为研究对象，通过一个力/力矩传感器感知操作者的示教力，利用数据采集卡收集到力/力矩的电压模拟信号，在上位机进行转换为力/力矩，然后进行力与位置的转换，实现机器人对操作者动作的学习(刘昆,李世中,王宝祥.基于UR机器人的直接示教系统研究.科学技术与工程,2015,15(28):22-26)。该方法也使用了成本较高的力传感器，由于没有对力传感器采集的信号进行滤波和温度补偿，而且人的示教力波动较大，所以系统精度不高。王朝阳提出一种基于Kinect的类人机械臂演示学习方法，通过Kinect相机获取人体运动信息，建立人体手臂和机器人之间的映射关系模型，实现对人体手臂运动的学习(王朝阳.基于Kinect的类人机械臂演示学习研究[D].硕士学位论文，黑龙江:哈尔滨工业大学，2017.)。该方法借助Kinect的人体运动捕捉功能进行人臂运动追踪，该体感设备虽然成本较低，但采集的数据存在较大噪声，容易导致学习的运动轨迹不平稳。
发明内容
基于上述背景，本发明提供一种基于HTC VIVE可穿戴设备的机器人演示学习方法。该方法包括步骤如下：
步骤S0：示教者手持HTC VIVE的单手无线控制器演示机器人要学习的操作任务；
步骤S1：利用Lighthouse定位技术得到单手无线控制器在HTC VIVE坐标系的位姿信息，以演示开始时刻的位姿为初始位姿，根据当前位姿和初始位姿，得到单手无线控制器的位姿偏差；
步骤S2：根据HTC VIVE坐标系和机器人坐标系之间的关系，以及S1中单手无线控制器在HTC VIVE坐标系下的位姿偏差，得到机器人的位姿偏差；
步骤S3：根据S2的机器人位姿偏差，得到机器人下一步的运动调整量，控制机器人运动，记录机器人的末端位姿；
步骤S4：重复步骤S0到S3，直到操作任务演示结束，得到整个演示过程的机器人末端运动轨迹；
步骤S5：对S4的机器人末端运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹，将学习轨迹发送给机器人，实现对演示内容的重现。
进一步所述，其中演示学习过程中只用到一个单手无线控制器。
进一步所述，其中步骤S1中所述的单手无线控制器位姿偏差如下：
利用HTC VIVE的Lighthouse定位技术，得到单手无线控制其在HTCVIVE坐标系的位置和姿态，以演示开始时刻的姿态为初始位姿，根据当前位姿和初始位姿，得到单手无线控制器偏差[dx,dy,dz,drx,dry,drz]T：
其中，[hx,hy,hz,hrx,hry,hrz]T是单手无线控制器的当前位姿，[hx0,hy0,hz0,hrx0,hry0,hrz0]T是单手无线控制器的初始位姿。
进一步所述，其中步骤S2中所述的机器人的位姿偏差：
利用通用旋转变换，将S1的单手无线控制器位姿偏差[dx,dy,dz,drx,dry,drz]T转换为位姿矩阵Th。根据HTC VIVE坐标系与机器人坐标系的关系矩阵Tm，得到机器人的位姿偏差：
T＝ThTm (2)
根据通用旋转变换，可将公式(2)的位姿矩阵T等价变换成六维位姿向量[x,y,z,Δθx,Δθy,Δθz]T。
进一步所述，其中步骤S3中所述的机器人下一步的运动调整量如下：
其中，λp是调整系数。
将式(3)所示的运动调整量发送给机器人，控制机器人运动，记录机器人运动后的末端位姿J。
进一步所述，其中步骤S4中所述的整个演示过程的机器人运动轨迹如下：
每个控制周期，重复步骤S0到S3，记录机器人的末端位姿。操作任务演示结束后，得到机器人运动轨迹为为：
W＝(J0,J1,…,Jm) (4)
其中，m是演示过程的控制周期数。
进一步所述，其中步骤S5中所述的机器人学习轨迹如下：
建立卡尔曼滤波的预测模型：
其中，是第i+1次的机器人位姿估计值，Ki+1是第i+1次的卡尔曼增益系数，Ji+1是第i+1次的机器人位姿真实值。
卡尔曼增益系数更新如下：
Ki+1＝(Pi+Q)/(Pi+Q+R) (6)
其中，Pi是上一次估计值的方差，Q是高斯噪声的方差，R是真实值的方差。
估计值的方差计算如下：
Pi+1＝(1-Ki+1)Pi (7)
根据S4的机器人运动轨迹W,利用公式(5)～(7),对S4的机器人运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹L为：
将学习轨迹L发送给机器人，即可实现对演示任务的重现。
基于上述技术方案可知，本发明具有以下有益效果：传统的示教板、编程等示教技术对操作者要求较高,示教过程繁琐、费时效率不高。当前的演示学习方法多采用力/力矩传感器，成本高，而且采集过程复杂，且需要对采集的数据进行温度补偿。基于体感相机进行演示学习的方法获取人体运动信息较容易，但学习效果受限于体感相机的运动捕捉精度。
为了提高机器人行为的自主性，降低非专业人员参与机器人控制的难度，本发明针对机器人的演示学习，采用HTC VIVE可穿戴设备，通过示教者手持单手无线控制器演示机器人要学习的操作任务，利用单手无线控制器的位姿偏差，得到机器人在演示控制过程中的末端运动轨迹，进而实现机器人对演示任务的学习。
本发明借助HTC VIVE的Lighthouse定位技术，很容易提取单手控制器的六维位姿信息，演示学习的实时性好。本发明使用的HTC VIVE可穿戴设备价格低廉，成本低，仅需要手持单手无线控制器即可实现操作任务的演示，毫无经验的操作者也可以进行机器人的演示示教，操作简便。本发明以演示开始时刻的状态为初始状态，演示学习可以在任何位姿状态下开始，大大提高了演示学习效率。
附图说明
图1为本发明的基于HTC VIVE可穿戴设备的机器人演示学习方法流程图。
具体实施方式
下面结合附图对本发明的实施例作详细的说明：本实施例在以本发明技术方案为前提下进行实施，结合详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
本发明公开了一种基于HTC VIVE可穿戴设备的机器人演示学习方法。本发明通过示教者手持HTC VIVE的单手无线控制器演示机器人要学习的操作任务，利用单手无线控制器的位姿偏差，得到机器人在演示控制过程中的末端运动轨迹，进而实现机器人对演示任务的学习。
更具体地，作为本发明的一个优选实施例，如图1示出本发明的基于HTC VIVE可穿戴设备的机器人演示学习方法流程图。演示学习过程中，首先示教者手持HTC VIVE的单手无线控制器演示操作任务，然后根据无线控制器在演示过程中的示教轨迹，控制机器人运动，得到机器人在演示过程中的末端运动轨迹，最后，对机器人末端运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹，实现演示任务的学习。该方法包括以下步骤：
第一步：示教者手持HTC VIVE的单手无线控制器演示机器人要学习的操作任务。利用Lighthouse定位技术得到单手无线控制器在HTC VIVE坐标系的位姿信息，以演示开始时刻的位姿为初始位姿，根据当前位姿和初始位姿，得到单手无线控制器的位姿偏差；
第二步：根据HTC VIVE坐标系和机器人坐标系之间的关系，以及第一步中单手无线控制器在HTC VIVE坐标系下的位姿偏差，得到机器人的位姿偏差；
第三步：根据第二步的机器人位姿偏差，得到机器人下一步的运动调整量，控制机器人运动，记录机器人的末端位姿；
第四步：重复第一步到第三步，直到操作任务演示结束，得到整个演示过程的机器人运动轨迹；
第五步：对第四步的机器人末端轨迹进行卡尔曼滤波，得到机器人的学习轨迹，将学习轨迹发送给机器人，实现对演示内容的重现。
所述第一步，具体如下：
利用HTC VIVE的Lighthouse定位技术，得到单手无线控制其在HTC VIVE坐标系的位置和姿态，以演示开始时刻的姿态为初始位姿，根据当前位姿和初始位姿，利用公式(1)，得到单手无线控制器偏差。
其中，[hx,hy,hz,hrx,hry,hrz]T是单手无线控制器的当前位姿，[hx0,hy0,hz0,hrx0,hry0,hrz0]T是单手无线控制器的初始位姿。
所述第二步，具体如下：
根据第一步的单手无线控制器位姿偏差，以及HTC VIVE坐标系与机器人坐标系的关系矩阵Tm，利用公式(2)，得到机器人的位姿偏差。
其中式(2)由以下具体步骤获得：
利用通用旋转变换，将第一步的单手无线控制器位姿偏差[dx,dy,dz,drx,dry,drz]T转换为位姿矩阵Th。根据HTC VIVE坐标系与机器人坐标系的关系矩阵Tm，得到机器人的位姿偏差：
T＝ThTm (2)
根据通用旋转变换，可将公式(2)的位姿矩阵T等价变换成六维位姿向量[x,y,z,Δθx,Δθy,Δθz]T。
所述第三步，具体如下：
根据第二步的机器人位姿偏差，利用公式(3)，得到机器人下一步的运动调整量，控制机器人运动，记录机器人运动后的末端位姿。
其中，λp是调整系数。
所述第四步，具体如下：
每个控制周期，重复步骤第一步到第三步，记录机器人的末端位姿。操作任务演示结束后，得到式(4)所示的机器人运动轨迹。
W＝(J0,J1,…,Jm) (4)
其中，m是演示过程的控制周期数。
所述第五步，具体如下：
基于第四步得到的机器人运动轨迹，根据公式(5)建立卡尔曼滤波预测模型，根据公式(6)和(7)更新卡尔曼增益系数，对机器人运动轨迹进行卡尔曼滤波，得到式(8)所示的机器人学习轨迹，将学习轨迹发送给机器人，实现对演示任务的重现。
建立卡尔曼滤波的预测模型：
其中，是第i+1次的机器人位姿估计值，Ki+1是第i+1次的卡尔曼增益系数，Ji+1是第i+1次的机器人位姿真实值。
卡尔曼增益系数更新如下：
Ki+1＝(Pi+Q)/(Pi+Q+R) (6)
其中，Pi是上一次估计值的方差，Q是高斯噪声的方差，R是真实值的方差。
估计值的方差计算如下：
Pi+1＝(1-Ki+1)Pi (7)
根据第四步的机器人运动轨迹W,利用公式(5)～(7),对第四步的机器人运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹L为：
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于HTC VIVE可穿戴设备的机器人演示学习方法，包括以下步骤：
步骤S0：示教者手持HTC VIVE的单手无线控制器演示机器人要学习的操作任务；
步骤S1：利用Lighthouse定位技术得到单手无线控制器在HTC VIVE坐标系的位姿信息，以演示开始时刻的位姿为初始位姿，根据当前位姿和初始位姿，得到单手无线控制器的位姿偏差；
步骤S2：根据HTC VIVE坐标系和机器人坐标系之间的关系，以及S1中单手无线控制器在HTC VIVE坐标系下的位姿偏差，得到机器人的位姿偏差；
步骤S3：根据S2的机器人位姿偏差，得到机器人下一步的运动调整量，控制机器人运动，记录机器人的末端位姿；
步骤S4：重复步骤S0到S3，直到操作任务演示结束，得到整个演示过程的机器人末端运动轨迹；
步骤S5：对S4的机器人末端运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹，将学习轨迹发送给机器人，实现演示内容的重现。
2.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中演示学习过程中只用到一个单手无线控制器。
3.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中步骤S1中所述的单手无线控制器位姿偏差如下：
利用HTC VIVE的Lighthouse定位技术，得到单手无线控制其在HTC VIVE坐标系的位置和姿态，以演示开始时刻的姿态为初始位姿；根据当前位姿和初始位姿，得到单手无线控制器偏差[dx,dy,dz,drx,dry,drz]T：
其中，[hx,hy,hz,hrx,hry,hrz]T是单手无线控制器的当前位姿，[hx0,hy0,hz0,hrx0,hry0,hrz0]T是单手无线控制器的初始位姿。
4.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中步骤S2中所述的机器人的位姿偏差：
利用通用旋转变换，将S1的单手无线控制器位姿偏差[dx,dy,dz,drx,dry,drz]T转换为位姿矩阵Th。根据HTC VIVE坐标系与机器人坐标系的关系矩阵Tm，得到机器人的位姿偏差：
T＝ThTm (2)
根据通用旋转变换，可将公式(2)的位姿矩阵T等价变换成六维位姿向量[x,y,z,Δθx,Δθy,Δθz]T。
5.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中步骤S3中所述的机器人下一步的运动调整量如下：
其中，λp是调整系数；
将式(3)所示的运动调整量发送给机器人，控制机器人运动，记录机器人运动后的末端位姿J。
6.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中步骤S4中所述的整个演示过程的机器人运动轨迹如下：
每个控制周期，重复步骤S0到S3，记录机器人的末端位姿；操作任务演示结束后，得到机器人运动轨迹为为：
W＝(J0,J1,…,Jm) (4)
其中，m是演示过程的控制周期数。
7.根据权利要求1所述的基于HTC VIVE可穿戴设备的机器人演示学习方法，其中步骤S5中所述的机器人学习轨迹如下：
建立卡尔曼滤波的预测模型：
其中，是第i+1次的机器人位姿估计值，Ki+1是第i+1次的卡尔曼增益系数，Ji+1是第i+1次的机器人位姿真实值；
卡尔曼增益系数更新如下：
Ki+1＝(Pi+Q)/(Pi+Q+R) (6)
其中，Pi是上一次估计值的方差，Q是高斯噪声的方差，R是真实值的方差；
估计值的方差计算如下：
Pi+1＝(1-Ki+1)Pi (7)
根据S4的机器人运动轨迹W,利用公式(5)～(7),对S4的机器人运动轨迹进行卡尔曼滤波，得到机器人的学习轨迹L为：
将学习轨迹L发送给机器人，即可实现对演示任务的重现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811062953.5A CN109648570A (zh) | 2018-09-12 | 2018-09-12 | 基于htcvive可穿戴设备的机器人演示学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811062953.5A CN109648570A (zh) | 2018-09-12 | 2018-09-12 | 基于htcvive可穿戴设备的机器人演示学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109648570A true CN109648570A (zh) | 2019-04-19 |
Family
ID=66110261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811062953.5A Withdrawn CN109648570A (zh) | 2018-09-12 | 2018-09-12 | 基于htcvive可穿戴设备的机器人演示学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109648570A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130222565A1 (en) * | 2012-02-28 | 2013-08-29 | The Johns Hopkins University | System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture |
| CN107331279A (zh) * | 2017-08-16 | 2017-11-07 | 嘉兴锐视智能科技有限公司 | 示教装置及系统 |
| CN108115671A (zh) * | 2016-11-26 | 2018-06-05 | 沈阳新松机器人自动化股份有限公司 | 基于3d视觉传感器的双臂机器人控制方法及系统 |
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
-
2018
- 2018-09-12 CN CN201811062953.5A patent/CN109648570A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130222565A1 (en) * | 2012-02-28 | 2013-08-29 | The Johns Hopkins University | System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture |
| CN108115671A (zh) * | 2016-11-26 | 2018-06-05 | 沈阳新松机器人自动化股份有限公司 | 基于3d视觉传感器的双臂机器人控制方法及系统 |
| CN107331279A (zh) * | 2017-08-16 | 2017-11-07 | 嘉兴锐视智能科技有限公司 | 示教装置及系统 |
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘俊: "基于Unity3D&HTCvive的工业机器人虚拟现实编程教学仿真系统的研究与开发", 《轻工科技》 * |
| 沈靖皓: "基于手势引导的工业机器人示教技术研究及应用", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109571487A (zh) | 一种基于视觉的机器人演示学习方法 | |
| Ye et al. | Vision-based human tracking control of a wheeled inverted pendulum robot | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人系统 | |
| Wang et al. | A hybrid visual servo controller for robust grasping by wheeled mobile robots | |
| CN105772917B (zh) | 一种三关节点焊机器人轨迹跟踪控制方法 | |
| CN111055281A (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| US20170348858A1 (en) | Multiaxial motion control device and method, in particular control device and method for a robot arm | |
| CN103901889A (zh) | 一种基于蓝牙通信的多机器人编队控制路径跟踪方法 | |
| Binugroho et al. | Control for balancing line follower robot using discrete cascaded PID algorithm on ADROIT V1 education robot | |
| CN104986241A (zh) | 四足机器人及其步态规划方法 | |
| CN103786157A (zh) | 基于上肢外骨骼助力机器人的嵌入式控制系统 | |
| Sathiyanarayanan et al. | Gesture controlled robot for military purpose | |
| CN106371442A (zh) | 一种基于张量积模型变换的移动机器人控制方法 | |
| Zhou et al. | Teleman: Teleoperation for legged robot loco-manipulation using wearable imu-based motion capture | |
| CN109648570A (zh) | 基于htcvive可穿戴设备的机器人演示学习方法 | |
| CN108594798B (zh) | 一种可实现蜂拥控制的机器人小车系统及其控制方法 | |
| CN104656676A (zh) | 一种仿人机器人手腿眼伺服控制的装置与方法 | |
| Ding et al. | Robopheus: A virtual-physical interactive mobile robotic testbed | |
| Xu et al. | Visual Impedance Based Human-Robot Co-Transportation With a Tethered Aerial Vehicle | |
| Xu et al. | A teleoperated shared control scheme for mobile robot based semg | |
| CN205870565U (zh) | 一种基于Kinect的远程体感机器人控制系统 | |
| Liu et al. | Design of virtual reality teleoperation system for robot complex manipulation | |
| Cao et al. | Trajectory tracking and point stabilization of noholonomic mobile robot | |
| CN113580131A (zh) | 一种基于动作映射的机械臂末端位姿控制装置及控制方法 | |
| Vasiljevic et al. | Kinect-based robot teleoperation by velocities control in the joint/cartesian frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190419 |
|
| WW01 | Invention patent application withdrawn after publication |