CN110515455B - 一种基于Leap Motion和局域网内协同的虚拟装配方法 - Google Patents
一种基于Leap Motion和局域网内协同的虚拟装配方法 Download PDFInfo
- Publication number
- CN110515455B CN110515455B CN201910673931.0A CN201910673931A CN110515455B CN 110515455 B CN110515455 B CN 110515455B CN 201910673931 A CN201910673931 A CN 201910673931A CN 110515455 B CN110515455 B CN 110515455B
- Authority
- CN
- China
- Prior art keywords
- gesture
- assembly
- hand
- virtual
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000033001 locomotion Effects 0.000 title claims abstract description 66
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 47
- 230000003993 interaction Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 description 6
- 239000002184 metal Substances 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于Leap Motion和局域网内协同的虚拟装配方法，属于在多人手势协同虚拟装配的技术领域。本发明选择在局域网内协同技术的基础上，利用Leap Motion作为主要硬件设备，对工业零件进行多人协同手势控制的虚拟装配，该方法首先在导入已建好的装配部件三维模型的基础上，利用Leap Motion检测手掌手势，采集识别相关装配输入手势；通过光线追踪、刚体碰撞检测实现装配部件的拾取；基于局域网协同技术，实现网络化虚拟场景下的协同拆分与装配。
Description
技术领域
本发明属于在多人手势协同虚拟装配的技术领域，具体涉及一种基于LeapMotion和局 域网内协同的虚拟装配方法。
背景技术
在机械装配领域，传统的装配方式存在大型机械移动不便、装配成本高、装配训练受时 间地点等约束，已经越来越无法满足人们的需求。前几年出现的虚拟装配技术是虚拟制造技 术的一个重要环节，在虚拟技术领域和仿真领域中得到了广泛的应用研究，可以确定产品装 配过程中最优的装配、拆卸和重组顺序，校验和修改装配流程，进行装配可行性、可制造性、 可维护性分析。然而，目前大多数利用虚拟装配技术实现的虚拟装配系统往往不够真实、操 作困难、可移性差，并且大多只限于一人一计算机的操作模式，缺少自然、直接、易用、多 用的交互方式，造成这类系统普遍存在着“交互不自然”、“使用不方便”等问题，严重影 响操作者的操作体验。
目前的装配技术主要是分为两部分实现，一部分是利用电脑仿真技术实现，但该方法实 现的虚拟装配操作者不便操作；另一部分是基于虚拟现实技术实现，通过应用虚拟现实技术， 虚拟装配技术具有高效、环保、经济等特点，但操作者无法完全沉浸到整个装配活动中，用 户实际参与感不强。并且以上两种方法在虚拟装配过程中，目前都只适用于在一台计算机上 一人进行操作，无法模拟出多人在不同地点同时分别进行装配部件组装和拆分的过程，模拟 的通用性和效果有待加强。
现有虚拟装配方法多采用桌面式虚拟环境，且多数停留在使用工程软件进行零件试装配， 缺乏真实感，沉浸感不足，较少应用虚拟现实技术。操作人员与虚拟装配系统的交互大多基 于鼠标及手柄，与真实装配体验相差较大，不足以完全体现装配工艺，不利于解决实际装配 问题。现有虚拟装配技术偏重装配过程的三维图形仿真，忽视了真实装配过程中操作人员活 动范围和身体对装配操作的影响，应用性不高。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种基于Leap Motion和局域网内协同 的虚拟装配方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于Leap Motion和局域网内协同的虚拟装配方法，包括如下步骤：
步骤1：对装配部件进行三维建模得到三维模型后，使用Leap Motion传感器，感知实体 手，获取手势数据，计算手部移动速度、位置和方向，进行手势识别；
步骤2：通过光线追踪、刚体碰撞检测判断手与装配部件以及零件物体之间是否有碰撞， 若有碰撞则对模型变换坐标进行旋转，实现装配部件的拾取及后期的装配工作；
步骤3：通过局域网内协同技术，利用Unity进行多用户局域网互联，利用已建立的三维 模型搭建虚拟装配场景，并将虚拟试验场景网络化，实现操作者的手与虚拟环境中装配部件 的交互，以及装配部件的拆分与装配，实现两台或多台计算机在多用户手势控制下的协同工 作；
步骤4：在所有部件拆分完毕后，学习者S将演示者T在一台计算机A上已完成拆分，且学习者S已在计算机B上标记好装配部件，按倒序在计算机A上进行组装。
优选地，在步骤1中，具体包括如下步骤：
步骤1.1对装配部件进行三维建模；
步骤1.2：通过Leap Motion传感器在150度的空间视场范围内同时追踪10只手指，并 且Leap Motion传感器能够将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计 算机中进行处理，通过计算机显示屏显示，并通过视觉反馈给装配者；
步骤1.3：使用基于混合高斯模型下的背景剪除方法，获取手势数据，包括坐标数据和旋 转方向数据，并利用区间卡尔曼滤波器和区间粒子滤波器，降低因数据长时间堆积产生的噪 音，计算手部位置和方向，实现对人手动作数据的处理，并将手势动作与虚拟环境中的手进 行绑定，实现真实手部动作与虚拟手势动作的一致同步性；
步骤1.4：完成手势识别，具体步骤如下：
步骤1.4.1：通过手的移动速度完成静态手势、动态手势的识别：
定义一个速度阈值thresholdV，根据公式(1)计算手的移动速度moveV；
其中，handVx为操作者的手在x方向上的速度，handVy为操作者的手在y方向上的速 度，handVz为操作者的手在z方向上的速度；
判断手的移动速度moveV与速度阈值thresholdV的大小；
当moveV>thresholdV时，判定此时为动态手势，则跳转至步骤1.2.2；
当moveV＜thresholdV时，判定此时为静态手势，则跳转至步骤1.2.3；
步骤1.4.2：对动态手势利用光线追踪方法进行运动跟踪；
步骤1.4.3：对静态手势进行手势判别；手势状态包括手势张开和握拳；
判定手掌状态；
定义指尖与掌心最大距离阈值为thresholdD，计算指尖与掌心的距离distance、手指与手 掌法向量角度θ以及手指个数FingerCount；
指尖与掌心最大距离阈值thresholdD的计算公式如公式(2)所示：
其中x1，x2分别为指尖和掌心在x方向上的坐标，以此类推；
手指与手掌法向量角度θ的计算公式如公式(3)所示：
其中
为手指向量，
为手掌法向量；
当distance＞thresholdD，θ＝90°且FingerCount＝5时，判定此时为手掌打开状态；
当distance＜thresholdD，θ≠90°且FingerCount＝0时，判定此时为握拳状态。
优选地，在步骤2中，具体包括如下步骤：
步骤2.1：通过光线追踪，判断手与装配部件是否有碰撞：
光线追踪是在虚拟实验场景中发射一条经过手势模型的Ray型光线ray，在射线传播的方 向，遍历检查虚拟实验场景中的所有对象，判断射线是否与实验场景中各服务器的虚拟装配 部件的三维模型相交，当射线与一个物体发生碰撞后，返回碰撞点的坐标信息，当射线ray 与多个物体相交时，自动选择距离光源最近的一点，返回碰撞点的坐标信息；
定义Maxweight表示光线追踪的阈值，在无穷远处，当发射的ray光线在场景行程超过 此阈值时仍然没有发生碰撞，判定为ray射线在场景中没有发生碰撞；当发射的ray光线在场 景行程在此阈值范围内发生碰撞，则判定为ray射线在场景中发生碰撞，即场景中的手与装 配部件发生碰撞；
步骤2.2：通过刚体碰撞，检测零件物体之间是否有碰撞：
在进行检测时，为了避免出现零件间发生穿透不真实的现象，同时也为了方便检查零件 装配尺寸的合理性，及时发现零件间的干涉，并提交给系统进行处理，采用包围球给每一个 零件模型添加相应的碰撞检测盒；
包围球的球心Q点坐标为(Sx,Sy,Sz)，顶点A坐标(Smax,Smax,Smax)为最大值，顶点B坐标(Smin,Smin,Smin)为最小值，球体的半径为R；其中，球心Q点的坐标能够通过A点和B点 坐标的平均值求得；
球心坐标为：
球体的半径为：
当检测到操作者投射在虚拟环境中的手与虚拟环境中的装配部件发生碰撞时，实现操作 者的手对装配部件的抓取动作；当检测到虚拟环境中的两个装配部件发生碰撞时，则执行步 骤2.3；
步骤2.3：对装配部件模型变换坐标进行旋转：实现两个装配部件的组装；
为了方便描述像素点物理尺寸的意义，以图像中心点为原点O1建立图像平面坐标系，设 定水平方向为u轴，垂直方向为v轴，其中x轴平行于u轴，y轴平行于v轴，图像平面坐标系与像素坐标系之间的转换关系由下式表示：
式中dx、dy分别为单个像素在x方向和y方向的物理尺寸；
齐次表达式为：
优选地，在步骤3中，具体包括如下步骤：
步骤3.1：通过局域网内协同技术，利用Unity进行多用户局域网互联，具体包括如下步 骤：
步骤3.1.1：采用OnConnectedToServer、OnPlayConnected函数创建服务器端Server、客 户端Client；
步骤3.1.2：新建一个脚本CurrentIP，用于获取服务器端的当前IP；
步骤3.1.3：客户端用户通过输入服务器端的IP地址与指定端口号，通过Connect函数实 现服务器端和客户端的互联；
步骤3.2：搭建虚拟装配场景，并对虚拟实验场景进行实时渲染，具体包括如下步骤：
步骤3.2.1：将在步骤1中建模的装配部件模型通过3dsMax软件导入到Unity3D软件中， 并为模型添加相应的碰撞器，以实现操作者对装配部件的点选功能；
步骤3.2.2：将Leap Motion传感器的虚拟手模型及相关组件添加至Unity3D场景中，以 实现虚拟手与场景中虚拟装配部件的相关功能；
步骤3.3：将虚拟实验场景网络化，具体包括如下步骤：
步骤3.3.1：创建装配部件的新物体，采用NetworkManager函数承载服务器的连接功能， 并为新物体挂上同名组件NetworkManager；
步骤3.3.2：将模拟实验场景注册到BuildSetting函数中；
步骤3.3.3：采用PlayerPre函数存放用户角色物体；
步骤3.3.4：因manager脚本中的Spawn Info的Registered Spawnable Prefabs清单能 够挂载需要在服务端生成和同步到每一个客户端的预制体，所以在RegisteredSpawnable Prefabs中，将需要在各个客户端中显示的物体，全部放入；
步骤3.3.5：采用hand modal、main camera、interaction函数实现Leap Motion传感器与多 用户player之间数据的处理与传递；
步骤3.3.6：采用enlarge angle、local position函数实现装配部件object的旋转和位置信息 的共享；
步骤3.4：在虚拟实验场景下通过手势控制实现手与装配部件的交互，具体包括如下步骤：
步骤3.4.1：采用装配部件模型跟随手势进行坐标变换的移动方式实现模型位置移动功能；
步骤3.4.2：在装配操作过程中，首先捕捉人体手势坐标，虚拟手图标跟随操作者手势坐 标移动，握拳后发射一条通过手势图标的射线，如果虚拟手势发射射线碰到模型添加的碰撞 体后，模型外观颜色变为绿色，则表示处于激活选中状态；
步骤3.4.3：保持握拳姿势拖动，则模型跟随手势图标进行坐标变换，保持与手势图标在 同一位置，当模型到达预期位置附近时，握拳松开，则模型停止跟随手势图标进行坐标变换， 即实现零部件的移动功能；为了将握拳与松开形象的展示出识别状态，正常状态采用正常手 势图标，握拳时采用握拳手势图标加以区分，提高交互体验；
步骤3.5：利用unet局域网联机解决场景同步、手和装配部件位置同步的问题，实现多 个客户端与服务器在同一场景下的实时同步：
采用SendTransform、SaveTransform、CalculateAveragePing函数将同步变量的最新数据 从服务器发送给各客户端，实现场景同步；手和装配部件位置同步的具体步骤如下：
步骤3.5.1：演示者T移动手部对装配部件进行操作时，服务器端自行移动，并发送移动 指令给客户端；
步骤3.5.2：假设移动是成功的，服务器端自动同步给其他客户端B操作者，B操作者用 一个队列Queue来存放服务器端来的移动指令，客户端在更新状态信息中做插值处理，演示 者T在学习者S的客户端中移动起来就比较平滑，不会出现卡顿现象；
步骤3.5.3：若演示者T移动频繁，为避免学习者S中的队列Queue堆积过大，做一个队 列Queue的最大size，超过某个临界值时加快lerp的速率的优化；
步骤3.5.4：演示者T移动时，本机自行移动并保留一份此次移动的副本到一个队列Queue 中并发送指令给服务器端，若服务器端判定此次移动是失败的，则服务器下发指令给演示者 T，从队列Queue中移除此次移动的副本。
优选地，在步骤4中，具体包括如下步骤：
步骤4.1：演示者T在计算机A，即服务器端上完成装配部件的拆分，拆分同时，学习者 S在计算机B上，即客户端完成对拆分下来的装配部件的组装；
步骤4.2：学习者S在服务器端移动手部对装配部件进行操作，并发送移动指令给客户端， 服务器端再将位置信息自动同步给其他客户端，进而实现装配部件的移动；
步骤4.3：根据之前的标记序号，按倒序从客户端拿取装配部件在服务器端进行组装。
本发明所带来的有益技术效果：
本发明通过局域网协同技术，利用Unity进行多用户局域网互联，实现网络化的虚拟场 景以及同步问题，实现多人手势协同控制，拓宽了操作者的操作空间，虚拟装配工作也不再 仅仅局限于一个操作者的操作空间。
本发明通过Leap Motion的光学解决方案，实时获取操作者手的位置和手势，使操作者 可以直接使用双手与虚拟环境中的虚拟装配部件进行交互，无需穿戴任何体感设备，也不再 依赖其他交互类指针设备，更逼近于真实装配情况，提高了虚拟操作的真实感，增强操作者 的沉浸感。
本发明通过头盔显示器使操作者的视野得到了极大的扩展，使操作者不再受限于Leap Motion的可视范围，虚拟装配工作也不再仅仅局限于一台计算机的显示范围，使操作者的虚 拟沉浸感更强。
本发明对装配部件采用接触后高亮的设计，使虚拟操作场景更真实，沉浸感更强。
附图说明
图1为实施本发明的方法流程图。
图2为实施本发明的虚拟装配方法流程图。
图3为实施本发明的虚拟装配场景架构图。
图4为实施本发明的虚拟场景网络化的关系图。
图5为实施本发明的多人手势协同控制的场景示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
本发明提出一种基于Leap Motion和局域网内协同的虚拟装配方法，在局域网内协同技 术的基础上，利用Leap Motion作为主要硬件设备，对工业零件进行多人协同手势控制的虚 拟装配。在局域网协同技术的基础上，利用Unity进行多用户局域网互联，实现网络化虚拟 场景下的协同拆分与装配。通过光线追踪、刚体碰撞检测实现装配部件的拾取，然后采用 OnConnectedToServer、OnPlayConnected函数分别创建服务器端Server、客户端Client，并实 现互联，采用hand modal、main camera、interaction函数实现Leap Motion与多用户player之 间数据的处理与传递，采用enlarge angle、local position函数实现装配部件object的旋转和位 置信息的共享，采用SendTransform、SaveTransform、CalculateAveragePing函数将同步变量 的最新数据从服务器发送给各客户端，实现场景同步、装配部件位置同步，进而实现两台或 多台计算机在多用户手势控制下的协同工作；并且利用头盔显示器解决Leap Motion小视角 的问题。实现一个演示者T在一台计算机A上进行装配部件的拆分到另一台计算机B上，同 时一个学习者S在另一台计算机B上对刚刚拆分下来的装配部件进行标记顺序号；等所有部 件拆分完毕后，学习者S把计算机B上标记好的装配部件按倒序分别在计算机A上进行组装 的虚拟装配目的。该方法主要包括以下部分：
一种基于Leap Motion和局域网内协同的虚拟装配方法，其流程如图1所示，包括以下 步骤：
步骤1：对装配部件进行三维建模得到三维模型后，使用Leap Motion传感器，感知实体 手，获取手势数据，计算手部移动速度、位置和方向，进行手势识别；
步骤2：通过光线追踪、刚体碰撞检测判断手与装配部件以及零件物体之间是否有碰撞， 若有碰撞则对模型变换坐标进行旋转，实现装配部件的拾取及后期的装配工作；
步骤3：通过局域网内协同技术，利用Unity进行多用户局域网互联，利用已建立的三维 模型搭建虚拟装配场景，并将虚拟试验场景网络化，实现操作者的手与虚拟环境中装配部件 的交互，以及装配部件的拆分与装配，实现两台或多台计算机在多用户手势控制下的协同工 作；
步骤4：在所有部件拆分完毕后，学习者S将演示者T在一台计算机A上已完成拆分，且学习者S已在计算机B上标记好装配部件，按倒序在计算机A上进行组装。
在步骤1中，在导入已建好的装配部件三维模型的基础上，利用Leap Motion传感器检 测手掌手势，采集识别相关装配输入手势。
步骤1.1：对装配部件进行三维建模；
因本发明选择Unity3D作为开发平台，但Unity识别的模型文件格式为FBX，而常用的 三维建模软件如UG、Solid Works、PRO/E等都无法直接导出FBX格式，所以要对已完成三维建模的装配部件通过3dsMax进行格式转换，再将其导入3dsMax，统一材质并以FBX的通用格式导出，最终得到三维模型。
步骤1.2：通过Leap Motion传感器感知实体手，获取手势数据，精确计算手部移动速度、 位置和方向进行手势识别。
Leap Motion能够在150度的空间视场范围内同时追踪全部10只手指，并且LeapMotion 可以将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算 机显示屏显示，并通过视觉反馈给装配者。
使用基于混合高斯模型下的背景剪除方法获取手势数据，包括坐标数据、旋转方向数据 等，并利用区间卡尔曼滤波器和区间粒子滤波器降低因数据长时间堆积产生的噪音，精确计 算手部位置和方向，实现对人手动作数据的处理，并将手势动作与虚拟环境中的手进行绑定， 实现真实手部动作与虚拟手势动作的一致同步性。
步骤1.3：完成手势识别，具体步骤如下：
步骤1.3.1：通过手的移动速度完成静态手势、动态手势的识别：
定义一个速度阈值thresholdV，根据公式(1)计算手的移动速度moveV；
其中，handVx为操作者的手在x方向上的速度，handVy为操作者的手在y方向上的速 度，handVz为操作者的手在z方向上的速度；
判断手的移动速度moveV与速度阈值thresholdV的大小；
当moveV>thresholdV时，判定此时为动态手势，则跳转至步骤1.2.2；
当moveV＜thresholdV时，判定此时为静态手势，则跳转至步骤1.2.3；
步骤1.3.2：对动态手势利用光线追踪方法进行运动跟踪；
步骤1.3.3：对静态手势进行手势判别；手势状态包括手势张开和握拳；
判定手掌状态；
定义指尖与掌心最大距离阈值为thresholdD，计算指尖与掌心的距离distance、手指与手 掌法向量角度θ以及手指个数FingerCount；
指尖与掌心最大距离阈值thresholdD的计算公式如公式(2)所示：
其中x1，x2分别为指尖和掌心在x方向上的坐标，以此类推；
手指与手掌法向量角度θ的计算公式如公式(3)所示：
其中
为手指向量，
为手掌法向量；
当distance＞thresholdD，θ＝90°且FingerCount＝5时，判定此时为手掌打开状态；
当distance＜thresholdD，θ≠90°且FingerCount＝0时，判定此时为握拳状态。
通过手势的识别为后期装配部件的拆分与组装做准备。
但Leap Motion传感器的工作范围大约在设备前方的从25到600毫米，只适合坐在电脑 前操作，基于表1对各类虚拟装配环境设备的对比，以及本发明的特点，所以本发明利用头 盔显示器，如Oculus Rift，解决Leap Motion小视角的问题，实现一个操作者可以用手抓取虚 拟的装配部件从A地转移到超出Leap Motion视角范围的B地，从而更好地在大范围的虚拟 环境中构建人手的虚拟模型，增强交互系统的准确性、稳定性和灵活性，增加操作者进行虚 拟装配时的沉浸感。
表1各类虚拟装配环境对比
在步骤2中，通过光线追踪、刚体碰撞检测判断手与装配部件以及零件物体之间是否有 碰撞，进而实现装配部件的拾取。具体步骤如下：
步骤2.1：通过光线追踪，判断手与装配部件是否有碰撞：
光线追踪是在虚拟实验场景中发射一条经过手势模型的Ray型光线ray，在射线传播的方 向，遍历检查虚拟实验场景中的所有对象，判断射线是否与实验场景中各服务器的虚拟装配 部件的三维模型相交，当射线与一个物体发生碰撞后，返回碰撞点的坐标信息，当射线ray 与多个物体相交时，自动选择距离光源最近的一点，返回碰撞点的坐标信息；
定义Maxweight表示光线追踪的阈值，在无穷远处，当发射的ray光线在场景行程超过 此阈值时仍然没有发生碰撞，判定为ray射线在场景中没有发生碰撞；当发射的ray光线在场 景行程在此阈值范围内发生碰撞，则判定为ray射线在场景中发生碰撞，即场景中的手与装 配部件发生碰撞；
步骤2.2：通过刚体碰撞，检测零件物体之间是否有碰撞：
在进行检测时，为了避免出现零件间发生穿透不真实的现象，同时也为了方便检查零件 装配尺寸的合理性，及时发现零件间的干涉，并提交给系统进行处理，采用包围球给每一个 零件模型添加相应的碰撞检测盒；
包围球的球心Q点坐标为(Sx,Sy,Sz)，顶点A坐标(Smax,Smax,Smax)为最大值，顶点B坐标(Smin,Smin,Smin)为最小值，球体的半径为R；其中，球心Q点的坐标能够通过A点和B点 坐标的平均值求得；
球心坐标为：
球体的半径为：
当检测到操作者投射在虚拟环境中的手与虚拟环境中的装配部件发生碰撞时，实现操作 者的手对装配部件的抓取动作；当检测到虚拟环境中的两个装配部件发生碰撞时，则执行步 骤2.3；
步骤2.3：对装配部件模型变换坐标进行旋转：实现两个装配部件的组装；
为了方便描述像素点物理尺寸的意义，以图像中心点为原点O1建立图像平面坐标系，设 定水平方向为u轴，垂直方向为v轴，其中x轴平行于u轴，y轴平行于v轴，图像平面坐标系与像素坐标系之间的转换关系由下式表示：
式中dx、dy分别为单个像素在x方向和y方向的物理尺寸；
齐次表达式为：
进而通过坐标系之间的转换实现装配模型的移动。
在后面网络化的虚拟场景下，通过光线追踪、刚体碰撞检测，检测是否有碰撞发生，因 光线追踪、碰撞检测的两个重要约束准则是精确性和实时性，从而实现了在极少时间内真实 的手与虚拟的装配部件的实时交互，以及部件与部件的组装，也在一定程度上使操作者不再 依赖其他交互类指针设备，更逼近于真实装配情况，提高了虚拟操作的真实感，进而实现两 台或多台计算机在多用户手势控制下的协同工作。
在步骤3中，基于局域网协同技术，实现网络化虚拟场景下的协同拆分与装配。
通过局域网内协同技术，利用Unity进行多用户局域网互联，利用已建立的三维模型搭 建虚拟装配场景，如图3所示，并将虚拟试验场景网络化，实现操作者的手与虚拟环境中装 配部件的交互，以及装配部件的拆分与装配，如图2所示，进而实现两台或多台计算机在多 用户手势控制下的协同工作。具体步骤如下：
步骤3.1：通过局域网内协同技术，利用Unity进行多用户局域网互联：
步骤3.1.1：采用OnConnectedToServer、OnPlayConnected函数创建服务器端Server、客 户端Client；
步骤3.1.2：新建一个脚本CurrentIP，挂在IP物体的Text上，用于获取服务器端的当前 IP；
步骤3.1.3：客户端用户通过输入服务器端的IP地址与指定端口号，通过Connect函数实 现服务器端和客户端的互联。
步骤3.2：搭建虚拟装配场景，并对虚拟实验场景进行实时渲染，具体包括如下步骤：
Unity3D软件拥有所见即所得的综合开发环境，详细的属性编辑视图以及动态游戏预览 视图等，其以真实空间场景为基础,构建出兼具真实感与交互性的虚拟现实场景。
步骤3.2.1：将在步骤1中建模的装配部件模型通过3dsMax软件导入到Unity3D软件中， 并为模型添加相应的碰撞器，以实现操作者对装配部件的点选功能。
步骤3.2.2：将Leap Motion的虚拟手模型及相关组件添加至Unity3D场景中，以实现虚 拟手与场景中虚拟装配部件的相关功能。
在实际的机械零部件应用当中，各种零件金属都具有特定的颜色属性。本发明在虚拟模 型渲染当中采用零部件金属原始颜色进行渲染。在Unity3D当中，模型颜色渲染由材质球属 性和模型表面贴图控制，本发明采用材质球添加的方式对模型进行颜色渲染。在材质球属性 当中，颜色配色是通过分别设置红色、绿色、蓝色三种颜色的色域值进行叠加成色，其中每 一种原色调节阈值都为0-255。通过查阅相关资料了解到常见金属颜色的RGB如表2所示。
表2常见金属颜色RGB值
本发明通过给模型文件添加材料球属性的方式对Unity3D中虚拟零部件模型进行颜色渲 染。根据上述表格中金属颜色RGB值，在Unity项目栏的材料库中进行装配部件的设置。
步骤3.3：将虚拟实验场景网络化，具体包括如下步骤：
步骤3.3.1：创建装配部件的新物体时，采用NetworkManager函数用于承载服务器的连 接功能，并为新物体挂上同名组件NetworkManager。
步骤3.3.2：将模拟实验场景都注册到BuildSetting函数中。
步骤3.3.3：采用PlayerPre函数用于存放用户角色物体。
步骤3.3.4：因manager脚本中的Spawn Info的Registered Spawnable Prefabs清单可 以挂载需要在服务端生成和同步到每一个客户端的预制体，所以在RegisteredSpawnable Prefabs中，将需要在各个客户端中显示的物体，比如装配部件模型、手部模型、场景画面等， 全部放入。
步骤3.3.5：采用hand modal、main camera、interaction函数实现Leap Motion与多用户 player之间数据的处理与传递。
步骤3.3.6：采用enlarge angle、local position函数实现装配部件object的旋转和位置信息 的共享。
虚拟场景网络化的关系如图4所示。
步骤3.4：在虚拟实验场景下通过手势控制实现手与装配部件的交互，具体包括如下步骤：
步骤3.4.1：采用装配部件模型跟随手势进行坐标变换的移动方式实现模型位置移动功能；
步骤3.4.2：在装配操作过程中，首先捕捉人体手势坐标，虚拟手图标跟随操作者手势坐 标移动，握拳后发射一条通过手势图标的射线，如果虚拟手势发射射线碰到模型添加的碰撞 体后，模型外观颜色变为绿色，则表示处于激活选中状态；
步骤3.4.3：保持握拳姿势拖动，则模型跟随手势图标进行坐标变换，保持与手势图标在 同一位置，当模型到达预期位置附近时，握拳松开，则模型停止跟随手势图标进行坐标变换， 即实现零部件的移动功能；为了将握拳与松开形象的展示出识别状态，正常状态采用正常手 势图标，握拳时采用握拳手势图标加以区分，提高交互体验；
步骤3.5：利用unet局域网联机解决场景同步、手和装配部件位置同步的问题，实现多 个客户端与服务器在同一场景下的实时同步：
采用SendTransform、SaveTransform、CalculateAveragePing函数将同步变量的最新数据 从服务器发送给各客户端，实现场景同步；手和装配部件位置同步的具体步骤如下：
步骤3.5.1：演示者T移动手部对装配部件进行操作时，服务器端自行移动，并发送移动 指令给客户端；
步骤3.5.2：假设移动是成功的，服务器端自动同步给其他客户端B操作者，B操作者用 一个队列Queue来存放服务器端来的移动指令。客户端在更新状态信息中做插值处理，演示 者T在学习者S的客户端中移动起来就比较平滑，不会出现卡顿现象；
步骤3.5.3：若演示者T移动频繁，为避免学习者S中的队列Queue堆积过大，做一个队 列Queue的最大size，超过某个临界值时加快lerp的速率的优化；
步骤3.5.4：演示者T移动时，本机自行移动并保留一份此次移动的副本到一个队列Queue 中并发送指令给服务器端，若服务器端判定此次移动是失败的，则服务器下发指令给演示者 T，从队列Queue中移除此次移动的副本。
在步骤4中，通过局域网内协同技术，在所有部件拆分完毕后，学习者S把演示者T在 一台计算机A上已完成拆分，且学习者S已在计算机B上标记好的装配部件，按倒序在计算 机A上进行组装，具体步骤如下：
步骤4.1：演示者T在计算机A，即服务器端上完成装配部件的拆分，拆分同时，学习者 S在计算机B上，即客户端完成对拆分下来的装配部件的组装；
步骤4.2：学习者S在服务器端移动手部对装配部件进行操作，并发送移动指令给客户端， 服务器端再将位置信息自动同步给其他客户端，进而实现装配部件的移动；
步骤4.3：根据之前的标记序号，按倒序从客户端拿取装配部件在服务器端进行组装。
整体操作演示如图5所示。
本发明主要应用在多零件拆分与装配的场景。在进行多零件拆分、装配时，因零件数量 多、种类多，若一个操作者在一台计算机上进行模拟操作，容易存在操作难度大、不易拆分 后进行组装等问题。在此种情况下，本发明基于局域网协同技术，设计为装配演示和操作两 个部分。
在装配演示模式下，演示者T在一台计算机A上进行装配部件的拆分到另一台计算机B 上，同时一个学习者S在另一台计算机B上对刚刚拆分下来的装配部件进行标记顺序号，在 此过程中，学习者S可以对当前装配部件的装配过程进行观看和学习，通过该部分的学习， 学习者S可以对装配体的结构有一个大概的了解，并且有助于接下来装配操作部分的学习。
在装配操作模式下，学习者S需要根据装配演示模式下的装配顺序，按倒序，通过点选 零件并使用一定的手势在计算机A上进行组装，完成该场景下的装配任务。实现两台或多台 计算机同时进行同一任务的不同功能，从而很好地解决现有虚拟装配方法在进行复杂装配时 存在的问题，增强系统交互性、灵活性和实用性。
本发明实现协同方式采用传输单个实体数据的方式，既满足传输的基本粒度要求，也保 证在一般网络条件下可以正常工作。一次完整的工作流程耗时很少，能够满足快速、准确的 传输数据的要求。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。
Claims (4)
1.一种基于Leap Motion和局域网内协同的虚拟装配方法，其特征在于：包括如下步骤：
步骤1：对装配部件进行三维建模得到三维模型后，使用Leap Motion传感器，感知实体手，获取手势数据，计算手部移动速度、位置和方向，进行手势识别；
步骤2：通过光线追踪、刚体碰撞检测判断手与装配部件以及零件物体之间是否有碰撞，若有碰撞则对模型变换坐标进行旋转，实现装配部件的拾取及后期的装配工作；
步骤3：通过局域网内协同技术，利用Unity进行多用户局域网互联，利用已建立的三维模型搭建虚拟装配场景，并将虚拟试验场景网络化，实现操作者的手与虚拟环境中装配部件的交互，以及装配部件的拆分与装配，实现两台或多台计算机在多用户手势控制下的协同工作；
步骤4：在所有部件拆分完毕后，学习者S将演示者T在一台计算机A上已完成拆分，且学习者S已在计算机B上标记好装配部件，按倒序在计算机A上进行组装；
在步骤1中，具体包括如下步骤：
步骤1.1对装配部件进行三维建模；
步骤1.2：通过Leap Motion传感器在150度的空间视场范围内同时追踪10只手指，并且Leap Motion传感器能够将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中进行处理，通过计算机显示屏显示，并通过视觉反馈给装配者；
步骤1.3：使用基于混合高斯模型下的背景剪除方法，获取手势数据，包括坐标数据和旋转方向数据，并利用区间卡尔曼滤波器和区间粒子滤波器，降低因数据长时间堆积产生的噪音，计算手部位置和方向，实现对人手动作数据的处理，并将手势动作与虚拟环境中的手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；
步骤1.4：完成手势识别，具体步骤如下：
步骤1.4.1：通过手的移动速度完成静态手势、动态手势的识别：
定义一个速度阈值thresholdV，根据公式(1)计算手的移动速度moveV；
其中，handVx为操作者的手在x方向上的速度，handVy为操作者的手在y方向上的速度，handVz为操作者的手在z方向上的速度；
判断手的移动速度moveV与速度阈值thresholdV的大小；
当moveV>thresholdV时，判定此时为动态手势，则跳转至步骤1.2.2；
当moveV＜thresholdV时，判定此时为静态手势，则跳转至步骤1.2.3；
步骤1.4.2：对动态手势利用光线追踪方法进行运动跟踪；
步骤1.4.3：对静态手势进行手势判别；手势状态包括手势张开和握拳；
判定手掌状态；
定义指尖与掌心最大距离阈值为thresholdD，计算指尖与掌心的距离distance、手指与手掌法向量角度θ以及手指个数FingerCount；
指尖与掌心最大距离阈值thresholdD的计算公式如公式(2)所示：
其中x1，x2分别为指尖和掌心在x方向上的坐标，以此类推；
手指与手掌法向量角度θ的计算公式如公式(3)所示：
其中
为手指向量，
为手掌法向量；
当distance＞thresholdD，θ＝90°且FingerCount＝5时，判定此时为手掌打开状态；
当distance＜thresholdD，θ≠90°且FingerCount＝0时，判定此时为握拳状态。
2.根据权利要求1所述的基于Leap Motion和局域网内协同的虚拟装配方法，其特征在于：在步骤2中，具体包括如下步骤：
步骤2.1：通过光线追踪，判断手与装配部件是否有碰撞：
光线追踪是在虚拟实验场景中发射一条经过手势模型的Ray型光线ray，在射线传播的方向，遍历检查虚拟实验场景中的所有对象，判断射线是否与实验场景中各服务器的虚拟装配部件的三维模型相交，当射线与一个物体发生碰撞后，返回碰撞点的坐标信息，当射线ray与多个物体相交时，自动选择距离光源最近的一点，返回碰撞点的坐标信息；
定义Maxweight表示光线追踪的阈值，在无穷远处，当发射的ray光线在场景行程超过此阈值时仍然没有发生碰撞，判定为ray射线在场景中没有发生碰撞；当发射的ray光线在场景行程在此阈值范围内发生碰撞，则判定为ray射线在场景中发生碰撞，即场景中的手与装配部件发生碰撞；
步骤2.2：通过刚体碰撞，检测零件物体之间是否有碰撞：
在进行检测时，为了避免出现零件间发生穿透不真实的现象，同时也为了方便检查零件装配尺寸的合理性，及时发现零件间的干涉，并提交给系统进行处理，采用包围球给每一个零件模型添加相应的碰撞检测盒；
包围球的球心Q点坐标为(Sx,Sy,Sz)，顶点A坐标(Smax,Smax,Smax)为最大值，顶点B坐标(Smin,Smin,Smin)为最小值，球体的半径为R；其中，球心Q点的坐标能够通过A点和B点坐标的平均值求得；
球心坐标为：
球体的半径为：
当检测到操作者投射在虚拟环境中的手与虚拟环境中的装配部件发生碰撞时，实现操作者的手对装配部件的抓取动作；当检测到虚拟环境中的两个装配部件发生碰撞时，则执行步骤2.3；
步骤2.3：对装配部件模型变换坐标进行旋转：实现两个装配部件的组装；
为了方便描述像素点物理尺寸的意义，以图像中心点为原点O1建立图像平面坐标系，设定水平方向为u轴，垂直方向为v轴，其中x轴平行于u轴，y轴平行于v轴，图像平面坐标系与像素坐标系之间的转换关系由下式表示：
式中dx、dy分别为单个像素在x方向和y方向的物理尺寸；
齐次表达式为：
3.根据权利要求1所述的基于Leap Motion和局域网内协同的虚拟装配方法，其特征在于：在步骤3中，具体包括如下步骤：
步骤3.1：通过局域网内协同技术，利用Unity进行多用户局域网互联，具体包括如下步骤：
步骤3.1.1：采用OnConnectedToServer、OnPlayConnected函数创建服务器端Server、客户端Client；
步骤3.1.2：新建一个脚本CurrentIP，用于获取服务器端的当前IP；
步骤3.1.3：客户端用户通过输入服务器端的IP地址与指定端口号，通过Connect函数实现服务器端和客户端的互联；
步骤3.2：搭建虚拟装配场景，并对虚拟实验场景进行实时渲染，具体包括如下步骤：
步骤3.2.1：将在步骤1中建模的装配部件模型通过3dsMax软件导入到Unity3D软件中，并为模型添加相应的碰撞器，以实现操作者对装配部件的点选功能；
步骤3.2.2：将Leap Motion传感器的虚拟手模型及相关组件添加至Unity3D场景中，以实现虚拟手与场景中虚拟装配部件的相关功能；
步骤3.3：将虚拟实验场景网络化，具体包括如下步骤：
步骤3.3.1：创建装配部件的新物体，采用NetworkManager函数承载服务器的连接功能，并为新物体挂上同名组件NetworkManager；
步骤3.3.2：将模拟实验场景注册到BuildSetting函数中；
步骤3.3.3：采用PlayerPre函数存放用户角色物体；
步骤3.3.4：因manager脚本中的Spawn Info的Registered Spawnable Prefabs清单能够挂载需要在服务端生成和同步到每一个客户端的预制体，所以在Registered SpawnablePrefabs中，将需要在各个客户端中显示的物体，全部放入；
步骤3.3.5：采用hand modal、main camera、interaction函数实现Leap Motion传感器与多用户player之间数据的处理与传递；
步骤3.3.6：采用enlarge angle、local position函数实现装配部件object的旋转和位置信息的共享；
步骤3.4：在虚拟实验场景下通过手势控制实现手与装配部件的交互，具体包括如下步骤：
步骤3.4.1：采用装配部件模型跟随手势进行坐标变换的移动方式实现模型位置移动功能；
步骤3.4.2：在装配操作过程中，首先捕捉人体手势坐标，虚拟手图标跟随操作者手势坐标移动，握拳后发射一条通过手势图标的射线，如果虚拟手势发射射线碰到模型添加的碰撞体后，模型外观颜色变为绿色，则表示处于激活选中状态；
步骤3.4.3：保持握拳姿势拖动，则模型跟随手势图标进行坐标变换，保持与手势图标在同一位置，当模型到达预期位置附近时，握拳松开，则模型停止跟随手势图标进行坐标变换，即实现零部件的移动功能；为了将握拳与松开形象的展示出识别状态，正常状态采用正常手势图标，握拳时采用握拳手势图标加以区分，提高交互体验；
步骤3.5：利用unet局域网联机解决场景同步、手和装配部件位置同步的问题，实现多个客户端与服务器在同一场景下的实时同步：
采用SendTransform、SaveTransform、CalculateAveragePing函数将同步变量的最新数据从服务器发送给各客户端，实现场景同步；手和装配部件位置同步的具体步骤如下：
步骤3.5.1：演示者T移动手部对装配部件进行操作时，服务器端自行移动，并发送移动指令给客户端；
步骤3.5.2：假设移动是成功的，服务器端自动同步给其他客户端B操作者，B操作者用一个队列Queue来存放服务器端来的移动指令，客户端在更新状态信息中做插值处理，演示者T在学习者S的客户端中移动起来就比较平滑，不会出现卡顿现象；
步骤3.5.3：若演示者T移动频繁，为避免学习者S中的队列Queue堆积过大，做一个队列Queue的最大size，超过某个临界值时加快lerp的速率的优化；
步骤3.5.4：演示者T移动时，本机自行移动并保留一份此次移动的副本到一个队列Queue中并发送指令给服务器端，若服务器端判定此次移动是失败的，则服务器下发指令给演示者T，从队列Queue中移除此次移动的副本。
4.根据权利要求1所述的基于Leap Motion和局域网内协同的虚拟装配方法，其特征在于：在步骤4中，具体包括如下步骤：
步骤4.1：演示者T在计算机A，即服务器端上完成装配部件的拆分，拆分同时，学习者S在计算机B上，即客户端完成对拆分下来的装配部件的组装；
步骤4.2：学习者S在服务器端移动手部对装配部件进行操作，并发送移动指令给客户端，服务器端再将位置信息自动同步给其他客户端，进而实现装配部件的移动；
步骤4.3：根据之前的标记序号，按倒序从客户端拿取装配部件在服务器端进行组装。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910673931.0A CN110515455B (zh) | 2019-07-25 | 2019-07-25 | 一种基于Leap Motion和局域网内协同的虚拟装配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910673931.0A CN110515455B (zh) | 2019-07-25 | 2019-07-25 | 一种基于Leap Motion和局域网内协同的虚拟装配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110515455A CN110515455A (zh) | 2019-11-29 |
| CN110515455B true CN110515455B (zh) | 2023-03-03 |
Family
ID=68623160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910673931.0A Active CN110515455B (zh) | 2019-07-25 | 2019-07-25 | 一种基于Leap Motion和局域网内协同的虚拟装配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110515455B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111438499A (zh) * | 2020-03-30 | 2020-07-24 | 华南理工大学 | 一种基于5g+工业ar的使用无约束力反馈的装配方法 |
| CN111429569B (zh) * | 2020-03-30 | 2022-07-26 | 华南理工大学 | 一种基于5g+增强现实的人体解剖教学方法 |
| CN112192585B (zh) * | 2020-10-13 | 2022-02-15 | 厦门大学 | 一种面向掌中木偶表演机器人的交互表演方法及系统 |
| CN112667087A (zh) * | 2021-01-06 | 2021-04-16 | 湖南翰坤实业有限公司 | 基于Unity的手势识别操作交互实现方法及系统 |
| CN112905017A (zh) * | 2021-03-22 | 2021-06-04 | 广东工业大学 | 基于手势交互的多人协同拆装系统 |
| CN112907709B (zh) * | 2021-03-31 | 2023-07-25 | 福建天晴在线互动科技有限公司 | 一种虚拟人物抓握目标物体动作的实现方法及系统 |
| CN113961080B (zh) * | 2021-11-09 | 2023-08-18 | 南京邮电大学 | 一种基于手势交互的三维建模软件框架及设计方法 |
| CN117131486B (zh) * | 2023-10-26 | 2024-02-02 | 无锡锡简科技有限公司 | 基于cad软件云化部署下的机械装备协同设计方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892686A (zh) * | 2016-05-05 | 2016-08-24 | 刘昊 | 一种3d虚拟现实广播交互方法及系统 |
| CN107967057A (zh) * | 2017-11-30 | 2018-04-27 | 西安交通大学 | 一种基于Leap Motion的虚拟装配示教方法 |
| CN108090947A (zh) * | 2018-01-03 | 2018-05-29 | 沈阳品尚科技有限公司 | 一种面向3d场景的光线追踪优化方法 |
| CN109933206A (zh) * | 2019-03-26 | 2019-06-25 | 长安大学 | 一种基于Leap Motion的手指无接触绘图方法及系统 |
-
2019
- 2019-07-25 CN CN201910673931.0A patent/CN110515455B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892686A (zh) * | 2016-05-05 | 2016-08-24 | 刘昊 | 一种3d虚拟现实广播交互方法及系统 |
| CN107967057A (zh) * | 2017-11-30 | 2018-04-27 | 西安交通大学 | 一种基于Leap Motion的虚拟装配示教方法 |
| CN108090947A (zh) * | 2018-01-03 | 2018-05-29 | 沈阳品尚科技有限公司 | 一种面向3d场景的光线追踪优化方法 |
| CN109933206A (zh) * | 2019-03-26 | 2019-06-25 | 长安大学 | 一种基于Leap Motion的手指无接触绘图方法及系统 |
Non-Patent Citations (10)
| Title |
|---|
| "Floating hamster ball:a locomotion method for free flight in virtual environments";Jan Hurtado 等;《IEEE》;20181030;全文 * |
| "Kinesthetic interactions in museums:conveying cultural heritage by making use of ancient tools and reconstructing artworks";Panayiotis Koutsabasis 等;《VR and AR serious games》;20170922;全文 * |
| "Mid-air interaction with optical tracking for 3D modeling";Jian Cui 等;《computer & graphics》;20180831;全文 * |
| "基于Leap Motion的手势识别研究与应用";徐庆;《中国优秀硕士学位论文全文数据库信息科技辑》;20180415;全文 * |
| "基于Leap motion的虚拟农作物人机交互系统设计";吴福理 等;《农业工程学报》;20161231;全文 * |
| "基于Unity3D的虚拟装配技术研究与实现";谢振清;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;参见正文2-3章 * |
| "基于分布式虚拟现实的连铸多人协作系统";阚阔 等;《物联网技术》;20190420;参见正文第1-3章 * |
| "基于计算机视觉的手势识别及人机交互技术的应用研究";徐军;《中国博士学位论文全文数据库信息科技辑》;20180303;全文 * |
| 基于手势交互的输电线路运维沉浸式操作训练平台;张秋实等;《电力科学与技术学报》;20171228(第04期);全文 * |
| 虚拟环境下手部操纵物体方法探究;张田田等;《计算机技术与发展》;20180428(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110515455A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110515455B (zh) | 一种基于Leap Motion和局域网内协同的虚拟装配方法 | |
| Kato et al. | Marker tracking and hmd calibration for a video-based augmented reality conferencing system | |
| Ha et al. | WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception | |
| CN111161422A (zh) | 一种用于增强虚拟场景实现的模型展示方法 | |
| CN107004279A (zh) | 自然用户界面相机校准 | |
| CN108064364A (zh) | 用于实现多用户虚拟环境的方法和系统 | |
| CN111897431B (zh) | 展示方法及装置、显示设备、计算机可读存储介质 | |
| CN103793060A (zh) | 一种用户交互系统和方法 | |
| Yan | Augmented reality instructions for construction toys enabled by accurate model registration and realistic object/hand occlusions | |
| Nor'a et al. | Integrating virtual reality and augmented reality in a collaborative user interface | |
| Jiang et al. | A new constraint-based virtual environment for haptic assembly training | |
| Leonard et al. | In the dance studio: Analysis of human flocking | |
| Kohtala et al. | Leveraging synthetic data from cad models for training object detection models–a vr industry application case | |
| CN107193384B (zh) | 基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法 | |
| Schäfer et al. | Towards collaborative photorealistic VR meeting rooms | |
| Liu | Design of human-computer interaction system based on virtual reality and its application in the dissemination of study lodge culture | |
| Eitsuka et al. | Authoring animations of virtual objects in augmented reality-based 3d space | |
| WO2017147826A1 (zh) | 智能设备的图像处理方法及装置 | |
| Garg et al. | Controller free hand interaction in Virtual Reality | |
| CN113342167B (zh) | 一种基于多人视角定位空间交互ar实现方法和系统 | |
| Fuyun et al. | A Natural Human-Computer Interaction Method In Virtual Roaming | |
| Kim et al. | Implementation of Local Area VR Environment using Mobile HMD and Multiple Kinects. | |
| Ohmoto et al. | ICIE: immersive environment for social interaction based on socio-spacial information | |
| Ohmoto et al. | Design of Immersive Environment for Social Interaction Based on Socio-Spatial Information and the Applications. | |
| KR20190066660A (ko) | 행사 실시간 스트리밍 방송 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |