CN109521868B - 一种基于增强现实与移动交互的虚拟装配方法 - Google Patents
一种基于增强现实与移动交互的虚拟装配方法 Download PDFInfo
- Publication number
- CN109521868B CN109521868B CN201811084687.6A CN201811084687A CN109521868B CN 109521868 B CN109521868 B CN 109521868B CN 201811084687 A CN201811084687 A CN 201811084687A CN 109521868 B CN109521868 B CN 109521868B
- Authority
- CN
- China
- Prior art keywords
- operator
- virtual
- hand
- assembly
- parts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Abstract
本发明提出了一种基于增强现实与移动交互的虚拟装配方法。该方法利用Leap Motion来获取人手的手势数据,将其投射到虚拟环境中与虚拟模型进行交互;利用IKF和IPF来估计手的位置和方向;通过Kinect获取到的人身的关节数据来定位人的位置,再利用AR技术将虚拟的3D装配机器人以及装配零件的模型投射到人的身前;磁力反馈利用电磁力让操作者感受到装配过程中零件之间的相互作用力。本发明利用AR技术让操作者可以360度无死角观察零件,提高了虚拟装配过程中的沉浸感,同时电磁力反馈让操作者更清晰地感受到了零件之间的相互作用,从而可以知道零件之间的适配情况,更加接近真实装配的情况,操作更自然方便。
Description
技术领域
本发明涉及一种虚拟装配技术,具体涉及一种基于增强现实与移动交互的虚拟装配方法。
背景技术
在传统的装配过程中,由于在编制装配工艺初期和设计装配工具工装时,没有数字化装配验证和实际的装配仿真,往往在实际产品装配阶段,经常会发生零部件间的干涉、装配顺序不合理或装配工具工装不方便等现象,而且许多零部件在制造阶段产生的质量隐患或装配工具工装的合理性只有在实际的装配过程中才显现出来。因此导致产品的装配周期很长、返工率高、装配质量不稳定以及装配一次成功率降低,这些都严重制约着生产能力的提高。因此,设计并实现一个虚拟装配系统能够极大地提升装配的成功率,提高生产能力。
目前有一些虚拟装配的方法,但有一些方面还存在一定的缺陷值得改进。目前的虚拟装配技术一部分是利用电脑仿真技术实现的,这种方法实现的虚拟装配不方便操作者对被装配零件进行观察,观察的角度是固定的,观察的范围也是有限的,因此在装配过程中可能会出现问题。另一部分是基于虚拟现实实现的,但是在虚拟现实中进行虚拟装配,用户的沉浸感不足。同时上述两种技术都存在另一个问题,在虚拟装配的过程中,用户无法感受到装配零件之间的相互作用力,因此有可能在装配的过程中出现了问题而用户无法感知到,从而在实际装配是对零件产生一定的损害。
发明内容
为了解决上述现有技术所存在的问题,本发明提供一种基于增强现实与移动交互的虚拟装配方法。
本发明通过以下技术方案之一实现。
一种基于增强现实与移动交互的虚拟装配方法,其通过Leap Motion获取人的手势数据,构建人手虚拟骨骼模型,然后利用AR技术将其投射到虚拟环境中,在虚拟环境中进行碰撞检测,从而实现操作者能直接裸手与虚拟环境中的虚拟零件进行交互,而不需要任何其他设备;并且利用移动机器人对人手势和身体的追踪,使得人能不用站在一个固定的地方,而手也不用担心会移动出操作空间从而在装配过程中出现问题,拓展了虚拟装配的操作空间,同时也使得操作者可以360度无死角对零件进行观察,从而避免视角过窄而产生的失误;而安装在操作平台上的电磁铁和人手上佩戴的磁铁阵列对装配过程中的零件和人手以及零件和零件间的相互作用力进行的反馈,使得在不干扰操作者手部任何动作的条件下能够让操作者感受到相应的力并及时地做出装配动作的调整,很好地模拟了真实装配中地情景。
进一步地,该方法包括以下步骤:
S1、利用Kinect跟踪人体从而实现操作平台随着人手的运动而移动;
S2、使用Leap Motion传感器获取手势数据;
S3、利用IKF(Interval Kalman Filter)和PF(Particle Filter)消除传感器的测量误差,并估计手的位置和方向;
S4、利用碰撞检测使得操作者的手能直接与虚拟环境中的物体进行交互;
S5、利用闭环控制调节电磁铁中的电流从而改变电磁力反馈。
进一步地,步骤S1中使用Kinect识别人体关节,用于定位并跟踪操作者,使得在整个操作过程中,操作平台能随着操作者手部的运动而移动,拓展了操作者的操作空间,不必在进行装配的同时时刻注意自己的手是否离开操作空间,令操作者更加专注于装配的工作,提高了其沉浸感。同时,因为机器人可以移动,也令操作者不必再在固定的地方进行操作,操作者可以围绕零件进行观察。操作者的视野得到了极大的扩展。
进一步地,步骤S2中,利用Leap Motion传感器获取手势数据,从而构建出了人手骨骼的框架模型。
进一步地,步骤S3使用Interval Kalman Filter(IKF,区间卡尔曼滤波)和Particle Filter(PF,粒子滤波)算法对Leap Motion获取到的数据进行去噪,使得手势数据更加准确,同时估计出手的位置和方向。
进一步地,步骤S4中,利用碰撞检测使得操作者的手能直接与虚拟环境中的物体进行交互;从而使操作者摆脱了对其他交互类指针设备的依赖,让操作者直接裸手操作虚拟环境中的物体也提高了操作者在操作过程中的沉浸感,没有其他外部设备的干扰使得操作者更加专注于眼前的工作,也更加逼近于真实装配的情况。
进一步地,步骤S5中,利用操作平台上的电磁铁和人手上的磁铁阵列,通过闭环控制操控电流实现模拟真实装配情况下的力反馈。本发明使用了磁铁阵列以防止佩戴一个完整的大块磁铁对操作者手部动作产生影响,在能够感受到足够大的力反馈的基础上,不对操作者的手部动作产生干扰,让操作者的手部动作是自由的。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明允许操作者360无死角地观察被装配零件,拓展了操作者地视野。
2、本发明扩大了操作者的操作空间,同时也令操作者可以进行移动交互,而不用担心在操作过程中脱离操作空间。
3、提供了操作过程中的力反馈,使得在装配过程中可以感受到零件之间的作用力,更加接近真实的装配情况。
4、令操作者可以直接裸手与虚拟空间中的物体进行交互,使得整个交互的模式更加简单、自然、方便,增加了操作者装配时的沉浸感和真实感,同时令无技术基础的用户也能够快速上手使用。
附图说明
图1为实施例红一种基于增强现实与移动交互的虚拟装配方法流程图。
具体实施方式
以下结合附图和实例对本发明的具体实施作进一步说明,但本发明的实施和保护不限于此。需指出的是,以下若有未特别详细说明之过程(如区间卡尔曼滤波和粒子滤波算法),均是本领域技术人员可参照现有技术理解或实现的。
目前有一些虚拟装配的方法,但有一些方面还存在一定的缺陷值得改进。目前的虚拟装配技术一部分是利用电脑仿真技术实现的,这种方法实现的虚拟装配不方便操作者对被装配零件进行观察,观察的角度是固定的,观察的范围也是有限的,因此在装配过程中可能会出现问题。另一部分是基于虚拟现实实现的,但是在虚拟现实中进行虚拟装配,用户的沉浸感不足。同时上述两种技术都存在另一个问题,在虚拟装配的过程中,用户无法感受到装配零件之间的相互作用力,因此有可能在装配的过程中出现了问题而用户无法感知到,从而在实际装配是对零件产生一定的损害。
为了解决上述现有技术所存在的问题,本实施例提供一种基于增强现实与移动交互的虚拟装配方法,通过Leap Motion获取人的手势数据,然后利用AR技术将相应的装配机器人以及零件及进行3D建模并投射到现实世界,使得操作者可以手把手对机器人进行操控和零件的装配,同时利用电磁铁对装配过程中的零件间的相互作用力进行反馈,使得操作者能够及时地感受并做出调整。该方法主要包括以下部分:
S1、获取人体位置并实时跟踪,使用Kinect识别人体关节,用于定位并跟踪操作者,使得在整个操作过程中,操作平台可以随着操作者手部的运动而移动。
S2、获取手势数据,利用Leap Motion获取操作者的手势数据。
S3、去除数据噪声,并估计手的位置和方向,使用Interval Kalman Filter(IKF)和Particle Filter(PF)算法对Leap Motion获取到的数据进行去噪,使得手势数据更加准确,同时估计出手的位置和方向。
S4、进行碰撞检测,使得真实环境中的人手可以直接对虚拟环境中的零件产生影响,从而令操作者可以直接裸手与虚拟零件进行交互,实现了直接裸手进行装配工作。
S5、利用电磁铁进行力反馈,利用操作平台上的电磁铁和人手上的磁铁阵列,通过闭环控制操控电流实现模拟真实装配情况下的力反馈。
实现本实例的整个虚拟装配系统主要分为手势捕获、抖动消除、虚拟映射、碰撞检测和磁力反馈五个模块。手势捕获模块利用两个Leap Motion来获取人手的手势数据,通过对手部关节以及手掌的捕捉,建立出手部骨骼的3D模型,方便之后将其投射到虚拟环境中与虚拟模型进行交互。抖动消除模块分别利用区间卡尔曼滤波(IKF)和粒子滤波(PF)来估计手的位置和方向,从而消除传感器采集过程中产生的噪声。
虚拟映射模块通过Kinect获取到的人身的关节数据来定位人的位置,再利用AR技术将虚拟的装配零件模型投射到人的身前的操作平台上。操作平台动态跟踪操作者,操作平台的线圈会在整个虚拟装配过程中被不断调整使得人手的磁铁阵列的中心与线圈的中轴线在一条直线上,保证操作者可以随时感受到准确的力反馈,同时也使得操作者手部的操作空间被极大地拓展了,操作者可以不再为手移出操作空间导致操作失败而担心,提高了操作者在虚拟装配过程中的沉浸感。而机器人的移动则保证了整个方法实现移动交互的可能,操作者可以随意移动,每当操作者移动的时候,机器人都会自动进行路径规划从而重新将虚拟的物体投射到操作者的身前。
碰撞检测模块首先会对根据人手建立的模型和操作者准备操作的零件之间进行碰撞检测,从而判断是否存在相互作用而实现真实人手和虚拟零件之间的交互。发生碰撞的时候,就说明,该操作者正在对该零件进行抓取等动作。同时,该模块也会负责在装配过程中对两个零件之间的碰撞进行检测。在这里运用了人工势场法从而实现一种辅助。设定整个操作空间是一个势场,由两种势场叠加形成的一个合成势场。这两个势场分别是引力势场和斥力势场,零件所要达到的目标状态和位置是一个引力点,装配时会对零件产生损害或无法进行装配的状态是斥力点,引力场可以表示为:
q是物体的状态,qtar就是想要达到的目标状态,即设定的引力点,ξ是引力因子,ρ是求取两个状态之间距离的函数。引力则是引力场函数的导数:
由斥力点生成的斥力场则可以表示为:
η是对应的斥力因子,qunexp就是会对零件产生损害的状态,也是设定的斥力点,ρ0是斥力点能够影响范围的半径,当零件距离斥力点过远的时候,斥力点对其的影响就会归零。同样,斥力点对物体产生的斥力也是斥力场函数的导数:
磁力反馈利用电磁力让操作者感受到装配过程中零件之间的相互作用力。利用AR技术让操作者可以360度无死角观察零件,提高了虚拟装配过程中的沉浸感,同时电磁力反馈让操作者更清晰地感受到了零件之间的相互作用,从而可以知道零件之间的适配情况,更加接近真实装配的情况,操作更自然方便。而在实验中,使用了阵列磁铁而不是一整块的磁铁。整块的磁铁会阻碍操作者手部的动作,换成磁铁阵列便不会对操作者手部的动作产生任何的影响,同时也不会影响力反馈的效果。
下面为对附图的说明。首先使用Kinect跟踪人体,使操作平台随着人体的运动而移动。之后用Leap Motion获取操作者的手势数据,之后,使用Interval Kalman Filter(IKF)和Particle Filter(PF)算法对Leap Motion获取到的数据进行去噪,估计出手的位置和方向。在获取手势数据后,利用AR技术将对手骨以及零件进行3D建模。将得到的虚拟模型投射到现实世界,操作者可以利用碰撞检测技术裸手对虚拟环境中的零件进行操控装配。之后,在装配的过程中,碰撞检测功能再次对零件之间的相互作用进行判断,并通过电磁铁将零件间的相互作用力进行反馈,令操作者能够及时地感受并做出调整。
Claims (6)
1.一种基于增强现实与移动交互的虚拟装配方法,其特征在于,通过Leap Motion获取人的手势数据,构建人手虚拟骨骼模型,然后利用AR技术将其投射到虚拟环境中,在虚拟环境中进行碰撞检测,从而实现操作者能直接裸手与虚拟环境中的虚拟零件进行交互;并且利用移动机器人对人手势和身体的追踪,使得人能不用站在一个固定的地方,而手也不用担心会移动出操作空间从而在装配过程中出现问题,使得操作者可以360度无死角对零件进行观察;而安装在操作平台上的电磁铁和人手上佩戴的磁铁阵列对装配过程中的零件和人手以及零件和零件间的相互作用力进行的反馈,使得在不干扰操作者手部任何动作的条件下能够让操作者感受到相应的力并及时地做出装配动作的调整;
该方法包括以下步骤:
S1、利用Kinect跟踪人体从而实现操作平台随着人手的运动而移动;
S2、使用LeapMotion传感器获取手势数据;
S3、利用IKF(Interval Kalman Filter)和PF(Particle Filter)消除传感器的测量误差,并估计手的位置和方向;
S4、利用碰撞检测使得操作者的手能直接与虚拟环境中的物体进行交互;
S5、利用闭环控制调节电磁铁中的电流从而改变电磁力反馈;
实现整个虚拟装配系统主要分为手势捕获、抖动消除、虚拟映射、碰撞检测和磁力反馈五个模块;手势捕获模块利用两个LeapMotion来获取人手的手势数据,通过对手部关节以及手掌的捕捉,建立出手部骨骼的3D模型,方便之后将其投射到虚拟环境中与虚拟模型进行交互;抖动消除模块分别利用区间卡尔曼滤波(IKF)和粒子滤波(PF)来估计手的位置和方向,从而消除传感器采集过程中产生的噪声;
虚拟映射模块通过Kinect获取到的人身的关节数据来定位人的位置,再利用AR技术将虚拟的装配零件模型投射到人的身前的操作平台上;操作平台动态跟踪操作者,操作平台的线圈会在整个虚拟装配过程中被不断调整使得人手的磁铁阵列的中心与线圈的中轴线在一条直线上,保证操作者可以随时感受到准确的力反馈,同时也使得操作者手部的操作空间被极大地拓展了,操作者可以不再为手移出操作空间导致操作失败而担心,提高了操作者在虚拟装配过程中的沉浸感;机器人的移动则保证了整个方法实现移动交互的可能,操作者可以随意移动,每当操作者移动的时候,机器人都会自动进行路径规划从而重新将虚拟的物体投射到操作者的身前;
碰撞检测模块首先会对根据人手建立的模型和操作者准备操作的零件之间进行碰撞检测,从而判断是否存在相互作用而实现真实人手和虚拟零件之间的交互;发生碰撞的时候,该操作者正在对该零件进行抓取等动作;同时,该模块也会负责在装配过程中对两个零件之间的碰撞进行检测;运用人工势场法从而实现一种辅助;设定整个操作空间是一个势场,由两种势场叠加形成的一个合成势场;这两个势场分别是引力势场和斥力势场,零件所要达到的目标状态和位置是一个引力点,装配时会对零件产生损害或无法进行装配的状态是斥力点,引力场可以表示为:
q是物体的状态,qtar就是想要达到的目标状态,即设定的引力点,ξ是引力因子,ρ是求取两个状态之间距离的函数;引力则是引力场函数的导数:
由斥力点生成的斥力场则可以表示为:
η是对应的斥力因子,qunexp就是会对零件产生损害的状态,也是设定的斥力点,ρ0是斥力点能够影响范围的半径,当零件距离斥力点过远的时候,斥力点对其的影响就会归零;同样,斥力点对物体产生的斥力也是斥力场函数的导数:
磁力反馈利用电磁力让操作者感受到装配过程中零件之间的相互作用力。
2.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法,其特征在于,步骤S1中使用Kinect识别人体关节,用于定位并跟踪操作者。
3.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法,其特征在于,步骤S2中,利用LeapMotion传感器获取手势数据,从而构建出了人手骨骼的框架模型。
4.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法,其特征在于,步骤S3使用Interval Kalman Filter和Improved Particle Filter算法对LeapMotion获取到的数据进行去噪,同时估计出手的位置和方向。
5.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法,其特征在于,步骤S4中,利用碰撞检测使得操作者的手能直接与虚拟环境中的物体进行交互。
6.根据权利要求1所述的一种基于增强现实与移动交互的虚拟装配方法,其特征在于,步骤S5中,利用操作平台上的电磁铁和人手上的磁铁阵列,通过闭环控制操控电流实现模拟真实装配情况下的力反馈。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811084687.6A CN109521868B (zh) | 2018-09-18 | 2018-09-18 | 一种基于增强现实与移动交互的虚拟装配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811084687.6A CN109521868B (zh) | 2018-09-18 | 2018-09-18 | 一种基于增强现实与移动交互的虚拟装配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109521868A CN109521868A (zh) | 2019-03-26 |
CN109521868B true CN109521868B (zh) | 2021-11-19 |
Family
ID=65771473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811084687.6A Active CN109521868B (zh) | 2018-09-18 | 2018-09-18 | 一种基于增强现实与移动交互的虚拟装配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109521868B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110561424A (zh) * | 2019-07-28 | 2019-12-13 | 华南理工大学 | 基于多传感器混合滤波器的在线机器人运动学校准方法 |
CN110666796B (zh) * | 2019-09-30 | 2022-11-18 | 华南理工大学 | 带可调电磁力反馈的自然人机交互方法 |
CN110815258B (zh) * | 2019-10-30 | 2023-03-31 | 华南理工大学 | 基于电磁力反馈和增强现实的机器人遥操作系统和方法 |
CN111438499A (zh) * | 2020-03-30 | 2020-07-24 | 华南理工大学 | 一种基于5g+工业ar的使用无约束力反馈的装配方法 |
US20240070992A1 (en) * | 2022-08-26 | 2024-02-29 | Snap Inc. | Hand-tracking stabilization |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示系统 |
CN107678537A (zh) * | 2017-09-04 | 2018-02-09 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
-
2018
- 2018-09-18 CN CN201811084687.6A patent/CN109521868B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示系统 |
CN107678537A (zh) * | 2017-09-04 | 2018-02-09 | 全球能源互联网研究院有限公司 | 增强现实环境中识别装配操作、模拟装配的方法和装置 |
Non-Patent Citations (2)
Title |
---|
虚拟装配中控制与交互的关键技术研究;孙本固;《中国优秀硕士学位论文全文数据库》;20160815;第17-22、26-32页 * |
面向自然人机交互的力触觉再现方法综述;陆熊等;《仪器仪表学报》;20171015;第38卷(第10期);第2391-2397页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109521868A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109521868B (zh) | 一种基于增强现实与移动交互的虚拟装配方法 | |
CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
Pham et al. | Towards force sensing from vision: Observing hand-object interactions to infer manipulation forces | |
Qian et al. | Developing a gesture based remote human-robot interaction system using kinect | |
CN111443619B (zh) | 一种虚实融合的人机协作仿真方法和系统 | |
WO2017134886A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
US20210316449A1 (en) | Robot teaching by human demonstration | |
CN106125903B (zh) | 多人交互系统及方法 | |
CN105252532A (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
Demirdjian et al. | 3-d articulated pose tracking for untethered diectic reference | |
CA2928645A1 (en) | Image-based robot trajectory planning approach | |
CN102448681A (zh) | 动作空间提示装置、动作空间提示方法以及程序 | |
CN111459274B (zh) | 一种基于5g+ ar的针对非结构化环境的遥操作方法 | |
Gratal et al. | Visual servoing on unknown objects | |
US20150139505A1 (en) | Method and apparatus for predicting human motion in virtual environment | |
US20220080581A1 (en) | Dual arm robot teaching from dual hand human demonstration | |
Du et al. | A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter | |
KR20180077974A (ko) | 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법 | |
EP2366502B1 (en) | Robot with hand-object movement correlations for online temporal segmentation of movement tasks | |
Collett et al. | Augmented reality visualisation for player | |
Yonemoto et al. | Real-time human motion analysis and IK-based human figure control | |
US11544913B2 (en) | Method and system for wearable device-based manual providing | |
Steil et al. | Guiding attention for grasping tasks by gestural instruction: The gravis-robot architecture | |
Lopez et al. | Taichi algorithm: human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration | |
Kühn et al. | Multimodal saliency-based attention: A lazy robot's approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |