CN108958471A - 虚拟空间中虚拟手操作物体的仿真方法及系统 - Google Patents
虚拟空间中虚拟手操作物体的仿真方法及系统 Download PDFInfo
- Publication number
- CN108958471A CN108958471A CN201810474398.0A CN201810474398A CN108958471A CN 108958471 A CN108958471 A CN 108958471A CN 201810474398 A CN201810474398 A CN 201810474398A CN 108958471 A CN108958471 A CN 108958471A
- Authority
- CN
- China
- Prior art keywords
- virtual hand
- posture
- dummy object
- virtual
- hand model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种虚拟空间中虚拟手操作物体的仿真方法及系统，该方法包括：根据交互设备的初始位置、姿态信息、实时位置、姿态信息计算交互设备的位置增量和姿态增量；根据位置增量和姿态增量计算交互设备对应的虚拟手中第一虚拟手模型的位置和姿态、手指部分的位置和姿态；根据虚拟物体的自由度类型确定第一虚拟手模型对应的第二虚拟手模型的位置和姿态；根据第一虚拟手模型手指部分的位置和姿态、第二虚拟手模型的位置和姿态判定虚拟手对虚拟物体的当前操作状态；根据当前操作状态和虚拟物体的自由度类型确定虚拟物体的位置和姿态，并将虚拟物体的位置和姿态作用于虚拟物体。本发明实现了对各种自由度类型物体在交互操作仿真过程中的统一处理。
Description
技术领域
本发明涉及计算机仿真技术领域，尤其涉及一种虚拟空间中虚拟手操作物体的仿真方法及系统。
背景技术
在现实生活中，直接用手对周围物体进行操作是重要的一种操作方式，尤其航天员空间站舱内外工作或舱内生活，大部分操作都是直接使用手操作。相应以航天员空间站舱内外工作或舱内工作生活为内容背景的虚拟现实训练系统，对虚拟手操作进行仿真很关键。
现有技术中，面向不同应用，采用的交互设备不同，相应的交互操作仿真算法细节也有差异。在虚拟制造领域为了减轻用户对手势精细控制带来的额外操作负荷，采用三维鼠标通过摇杆和按键指令控制虚拟手，虚拟手的手势和虚拟环境中物体进行特征匹配，选择手势集中的手势，再根据物体的位姿信息和表面信息，调整虚拟手的姿态和各个手指的角度，使得虚拟手熨贴在物体表面，自动完成抓取动作。空间站中航天员虚拟现实操作训练可以采用虚拟现实操作手柄、数据手套或特定交互装置实现对虚拟手的控制。手柄只能通过特定指令控制虚拟手在有限的手势集中选择，不能实时控制每个手指的运动；数据手套和特定交互装置可以实现手指精确运动控制。无论选用什么交互设备，在交互操作仿真时，都需要实现虚拟手对虚拟物体的抓取仿真、抓取后的随动，不同自由度类型的物体随动算法完全不同。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的虚拟空间中虚拟手操作物体的仿真方法及系统。
本发明的一个方面，提供了一种虚拟空间中虚拟手操作物体的仿真方法，包括：
根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量；
根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动；
判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态；
根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态；
根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
可选地，所述判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态，包括：
获取所述虚拟手的初始抓取标识；
当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
可选地，所述根据第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态，包括：
对所述虚拟手和虚拟物体进行碰撞检测，并记录检测结果；
当所述虚拟手与虚拟物体接触时，根据指定抓持规则判定所述虚拟手的当前操作状态，并在所述当前操作状态为抓取状态时，将所述虚拟手的当前抓取标识更新为抓取状态。
可选地，所述根据所述操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，包括：
根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否为持续抓取；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为自由移动时，所述虚拟物体的位置和姿态与所述第二虚拟手模型的位置和姿态一致；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为沿固定方向移动时，判断所述虚拟物体在平移轴向的投影距离是否小于预设的距离阈值，若所述投影距离小于所述距离阈值，则所述虚拟物体按照所述第二虚拟手模型移动矢量在平移轴向方向的投影进行移动，并根据所述第二虚拟手模型的位置和姿态确定所述虚拟物体的位置和姿态；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为绕固定轴转动时，所述虚拟物体的位置不变，所述虚拟物体的姿态由虚拟物体绕转轴相对初始位置时的转角确定。
可选地，所述虚拟物体绕转轴相对初始位置时的转角根据所述第一虚拟手模型手指部分绕转轴相对初始位置时的转角确定。
可选地，若所述虚拟手不是持续抓取状态，所述方法还包括：
根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否抓取分离；
若所述虚拟手为抓取分离，则所述虚拟物体的位置和姿态保持不变，所述虚拟手跟随所述交互设备自由移动。
可选地，在所述根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态之前，所述方法还包括：
预先构建满足运动自由度的虚拟手和虚拟物体的三维模型，其中，所述虚拟物体的三维模型按照对应的自由度类型进行分部件构建。
可选地，在所述根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态之后，所述方法还包括：
计算所述第一虚拟手模型各个手指部分的反馈力，将所述反馈力传输到所述交互设备的力反馈装置。
本发明的另一个方面，提供了一种虚拟空间中虚拟手操作物体的仿真系统，包括：
增量计算模块，适于根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量；
第一虚拟手仿真数据计算模块，适于根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动；
第二虚拟手仿真数据计算模块，适于判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态；
判定模块，适于根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态；
虚拟物体仿真数据确定模块，根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
可选地，所述第二虚拟手仿真数据计算模块包括：
获取单元，适于获取所述虚拟手的初始抓取标识；
计算单元，适于当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
可选地，所述判定模块包括：
碰撞检测单元，适于对所述虚拟手和虚拟物体进行碰撞检测，并记录检测结果；
抓持检测单元，适于当所述虚拟手与虚拟物体接触时，根据指定抓持规则判定所述虚拟手的当前操作状态，并在所述当前操作状态为抓取状态时，将所述虚拟手的当前抓取标识更新为抓取状态。
本发明实施例提供的虚拟空间中虚拟手操作物体的仿真方法及系统，通过对虚拟物体的自由度类型进行判定，以根据虚拟物体对应的自由度类型选取相应的随动算法来计算虚拟手的位置姿态和虚拟物体的位置和姿态，能够支持各种自由度类型物体的交互操作仿真，实现对各种自由度类型物体在交互操作仿真过程中的统一处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种虚拟空间中虚拟手操作物体的仿真方法的流程图；
图2为本发明实施例中的虚拟手节段构型的示意图；
图3为本发明实施例中的虚拟手两层模型的示意图；
图4为本发明实施例中的有约束绕固定轴转动类物体以转角计算抓持后的位置和姿态的示意图；
图5为本发明实施例中的有约束沿固定方向移动类物体以向量投影计算抓持后的位置和姿态的示意图；
图6为本发明实施例中虚拟空间中虚拟手操作物体的仿真统一处理流程图；
图7为本发明实施例的一种虚拟空间中虚拟手操作物体的仿真系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明一个实施例的虚拟空间中虚拟手操作物体的仿真方法的流程图。参照图1，本发明实施例的虚拟空间中虚拟手操作物体的仿真方法具体包括以下步骤：
S11、根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量。
S12、根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动。
操作者控制虚拟手的运动：操作者配戴数据手套，数据手套与计算机相连，由计算机通过数据手套对操作者的手部运动进行控制，进而控制虚拟环境中虚拟手的运动。
S13、判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态。
所有被操作的物体按自由度分为三类：无约束自由移动物体、有约束沿固定方向移动类物体和有约束绕轴转动类物体。
S14、根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态。
S15、根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
在实际应用中，在步骤是S11之前，预先构建满足运动自由度的虚拟手和虚拟物体的模型。
本实施例中，虚拟手的三维模型按照至少16节段构建，即手掌至少1个节段，其他5个手指，每个手指各3个节段，分别为指根、指中、指尖；建立如图2所示的坐标系，即XY在手掌平面内，Y轴从根部沿着每个节段轴向指向指尖，Z轴垂直XY平面，本实施例中为按照右手规则确定的虚拟手。
每个节段三维模型采用三角面片表示，外形符合手指各个节段的特点；建立两层虚拟手模型，如图3所示，两层模型重叠，其中一层模型为用于仿真计算的第一虚拟手模型，用于碰撞检测，即仿真计算虚拟手，并由数据手套等交互设备驱动，该层模型每个节段三角面片数不超过255个；另外一层模型用于视觉显示的第二虚拟手模型，即视觉显示虚拟手，根据碰撞检测结果按照步骤S13计算该层模型各个节段的位置和姿态，该层模型视觉效果与真实人手接近。
虚拟物体的三维模型按照物体固有自由度约束类型进行分部件构建，即自由移动物体可以按一个部件整体构建；有约束的沿一个固定方向移动类物体需要把移动部件与基座分开构建，移动部件坐标轴与基座坐标轴平行；有约束绕固定轴转动类物体需要把转动部件(如门)、转轴和基座分开构建，转动部件坐标原点在轴上，且一根坐标轴与转轴轴平行，转动部件能绕轴转动。虚拟物体构建两层三角面片模型，一层模型用于碰撞检测，面片数不超过255个；一层模型用于视觉显示。
虚拟环境中的虚拟手遵循人手结构特点，手指各节段受操作者佩戴的交互设备(例如数据手套、多指跟踪器等)控制驱动，既能跟踪各个手指的转动角度也能跟踪整只手的位置和姿态。虚拟物体按照物体本身运动自由度分部件构建，部件之间按照运动自由度约束关系运动。在虚拟手对虚拟物体执行徒手操作过程中，需要对手指各个部位与被操作对象之间进行碰撞检测、抓持判断、抓持后的随动算法，并通过交互操作统一处理流程，实现支持各种自由度类型物体的交互操作仿真。在总体框架上需要如下几个步骤：
虚拟手和虚拟物体三维模型：建立满足运动自由度的虚拟手和虚拟物体三维模型；
虚拟手运动驱动(该步骤涉及的技术内容通用，本专利不描述)：开发程序，采集数据手套等跟踪人手设备的数据，驱动虚拟手运动；
碰撞检测：虚拟手与虚拟物体之间实时碰撞检测；
抓持判断：按照抓持规则判断虚拟手是否抓住物体；
抓持后随动算法：根据被操作对象的类型，执行相应的随动算法，即计算第二虚拟手模型的位置姿态和虚拟物体的位置和姿态。
本发明实施例提供的虚拟空间中虚拟手操作物体的仿真方法，通过对虚拟物体的自由度类型进行判定，以根据虚拟物体对应的自由度类型选取相应的随动算法来计算虚拟手的位置姿态和虚拟物体的位置和姿态，能够支持各种自由度类型物体的交互操作仿真，实现对各种自由度类型物体在交互操作仿真过程中的统一处理。
本发明实施例中，所述判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态，具体包括：获取所述虚拟手的初始抓取标识；当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
本实施例中，第一虚拟手模型由数据手套等跟踪设备实时驱动，在交互操作过程中第一虚拟手模型经过碰撞检测和抓持判断得知第一虚拟手模型已抓取虚拟物体后，第二虚拟手模型各个节段和虚拟物体的位置和姿态，需要根据被操作对象的运动自由度，设计合适的算法进行计算。其中虚拟物体的视觉显示模型完全跟随仿真计算模型，在进行随动算法计算时不区分计算的是哪层模型，计算虚拟物体的位置和姿态即可。
对三类物体(无约束自由移动物体、有约束沿固定方向移动类物体和有约束绕轴转动类物体)按照下面方法分别计算第二虚拟手模型的位置姿态。
1)自由移动的物体
第二虚拟手模型的位置姿态计算：第二虚拟手模型完全跟随第一虚拟手模型运动，虚拟物体对虚拟手的运动没有约束关系，即第二虚拟手模型的位置姿态与第一虚拟手模型的位置姿态一致。
2)有约束沿固定方向移动类物体
有约束沿固定方向移动类物体只能沿着一个固定方向移动，该方向称为平移轴向，且移动距离有限。
第二虚拟手模型的位置姿态计算：当虚拟手抓住有约束沿固定方向移动类物体的把手后，第二虚拟手模型完全跟随第一虚拟手模型沿着平移轴向运动，即第二虚拟手模型的位置姿态与第一虚拟手模型的位置姿态一致。
3)有约束绕固定轴转动类物体
第二虚拟手模型的位置姿态计算：在计算第二虚拟手模型位置时，记录首次抓住转动类物体时第一虚拟手模型的位置向量OP0，虚拟手的位置与转动类物体轴点位置之间的向量差，如图4所示，并计算该向量OP0相对转动类物体关闭时的角度α，在之后转动过程中，根据第一虚拟手模型的位置向量OP计算该向量OP相对转动类物体关闭时的角度β和本次转动的角度γ＝β-α，根据角度γ和首次抓住转动类物体位置向量OP0计算当前抓取转动类物体的位置OP1，该位置为第二虚拟手模型的位置。第二虚拟手模型的姿态把首次抓住转动类物体时第一虚拟手模型的姿态乘以绕转轴转动γ角度矩阵获得。
本发明实施例中，步骤S14具体通过以下步骤实现：
S141、对所述虚拟手和虚拟物体进行碰撞检测，并记录检测结果。
具体的，第一虚拟手模型各个节段由数据手套等交互设备实时控制驱动，在与虚拟物体接触过程中采用虚拟操作仿真中基于逻辑推理的快速碰撞检测方法进行碰撞检测计算。
S142、当所述虚拟手与虚拟物体接触时，根据指定抓持规则判定所述虚拟手的当前操作状态，并在所述当前操作状态为抓取状态时，将所述虚拟手的当前抓取标识更新为抓取状态。
本实施例中虚拟手指接触虚拟物体后，按照如下的抓持规则判断虚拟手是否抓取物体或松开物体。
抓取条件：大拇指的中段或指尖与虚拟物体接触，同时食指或中指任意一节段与虚拟物体接触，认为虚拟手抓取虚拟物体。
松开条件：松开条件比较多，只要满足其中一条就表示虚拟手不再抓住物体，具体如下：
1)大拇指的中段或指尖不与虚拟物体接触；
2)食指和中指没有一个节段与虚拟物体接触；
3)手指当前接触角度大于刚接触物体时的接触角度(手指向松开物体的方向张开)。
本发明实施例中，步骤S15中的所述根据所述操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，具体包括以下实现流程：
根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否为持续抓取，若所述虚拟手为持续抓取，则根据所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态具体包括以下几种情况：
所述虚拟物体的自由度类型为自由移动时，所述虚拟物体的位置和姿态与所述第二虚拟手模型的位置和姿态一致；
所述虚拟物体的自由度类型为沿固定方向移动时，判断所述虚拟物体在平移轴向的投影距离是否小于预设的距离阈值，若所述投影距离小于所述距离阈值，则所述虚拟物体按照所述第二虚拟手模型移动矢量在平移轴向方向的投影进行移动，并根据所述第二虚拟手模型的位置和姿态确定所述虚拟物体的位置和姿态；
所述虚拟物体的自由度类型为绕固定轴转动时，所述虚拟物体的位置不变，所述虚拟物体的姿态由虚拟物体绕转轴相对初始位置时的转角确定。其中，所述虚拟物体绕转轴相对初始位置时的转角根据所述第一虚拟手模型手指部分绕转轴相对初始位置时的转角确定。
对三类物体(无约束自由移动物体、有约束沿固定方向移动类物体和有约束绕轴转动类物体)按照下面方法分别计算虚拟物体的位置和姿态。
1)自由移动的物体
虚拟物体可以任意移动，被虚拟手抓住后，跟随虚拟手一起运动，手运动到哪里，物体就运动到哪里。仿真时，当判断虚拟手抓住物体后，把虚拟物体挂接在虚拟手上，在挂接之前需要进行坐标变换，由虚拟物体在世界坐标系下的位置和姿态计算在虚拟手掌坐标系下的位置和姿态，然后把虚拟物体从原来的父节点分离下来，并挂接在虚拟手掌上，即以虚拟手掌为新的父节点，把位置和姿态设置成虚拟手掌坐标系下的位置和姿态。该过程只在虚拟手首次抓住物体后执行，在抓取后续移动过程中不需要做任何处理，由基于节点树的场景管理器按照父子节点关系自动保持跟随运动关系，减少计算量提高交互过程中的计算速度。
当判断虚拟手由抓住物体变为不抓住物体时，把虚拟物体从虚拟手上脱离父子关系，在分离之前，由虚拟物体在虚拟手掌坐标系下的位置和姿态计算在世界坐标系下的位置和姿态，然后把虚拟物体从虚拟手脱离父子关系，把位置和姿态设置成世界坐标下的位置和姿态。
2)有约束沿固定方向移动类物体
当虚拟手抓住有约束沿固定方向移动类物体把手后，带动物体沿平移轴向移动，物体移动距离根据第一虚拟手模型移动矢量在平移轴向的投影计算得到。每次移动的距离累加，判断物体移动是否超出最大移动距离，如果超出最大移动距离，物体不移动；如果没有超出最大移动距离，物体按照虚拟手移动矢量在平移轴向方向的投影进行移动。如图5所示。
3)有约束绕固定轴转动类物体
绕固定轴转动类物体在操作过程中位置不变，姿态由物体绕转轴相对初始位置时的转角确定。运动计算过程与虚拟手的位置姿态映射相似，但在计算角度α、β时有区别。计算虚拟手时采用的是虚拟手整体位置(即根节点手掌位置)相对转动类物体轴点向量计算角度α、β；在计算转动类物体转动角度时，选择与物体接触的手指为计算依据，即以接触手指位置与轴点形成的向量(例如选择大拇指的指尖)来计算角度α、β，再计算物体旋转角度γ＝β-α，把物体绕轴点旋转γ角度即可。
其中，若所述虚拟手不是持续抓取状态，根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否抓取分离；若所述虚拟手为抓取分离，则所述虚拟物体的位置和姿态保持不变，所述虚拟手跟随所述交互设备自由移动。
此外，在所述根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态之后，所述方法还包括：计算所述第一虚拟手模型各个手指部分的反馈力，将所述反馈力传输到所述交互设备的力反馈装置。
下面通过一个具体实施例对虚拟空间中虚拟手操作物体的仿真流程进行详细说明。把操作无约束自由移动物体、有约束绕轴转动类物体和有约束沿固定方向移动类物体的交互操作仿真流程统一起来，形成虚拟手操作物体仿真流程，如图6所示，其主要过程为：
设置抓取标志初始值bGraspOld和bGraspCur为false；
实时获取交互设备输入的位置、角度信息，并计算位置增量、姿态增量和各手指节段姿态增量；
计算虚拟手的位置和姿态：计算第一虚拟手模型整体位置和姿态、各手指节段姿态；根据当前的抓取标志和物体移动自由度类型，由第一虚拟手模型的位置和姿态，按照随动算法针对不同自由度类型的物体计算第二虚拟手模型的位置和姿态；
碰撞检测及抓持判断：根据上步计算的第二虚拟手模型位置和姿态重新修正第一虚拟手模型的位置和姿态，并应用到虚拟手对象上，之后进行碰撞检测计算，记录接触信息，根据抓持规则判断虚拟手与虚拟物体的抓取状态；
计算虚拟物体的位置和姿态：根据上一帧和本帧的抓取状态bGraspOld和bGraspCur的不同组合，分别进行处理计算。如果bGraspOld＝＝false和bGraspCur＝＝true时，表示最近首次抓住物体，记录接触信息。如果bGraspOld＝＝true和bGraspCur＝＝true，表示持续抓住物体，根据物体移动自由度类型按照随动算法计算虚拟物体的位置和姿态。如果bGraspOld＝＝true和bGraspCur＝＝false时，表示松开物体，虚拟物体不随着虚拟手移动。如果bGraspOld＝＝false和bGraspCur＝＝false，不做任何处理。
计算并输出反馈力，设置虚拟物体的位置和姿态：如果交互设备具有力反馈功能，需要在这里计算反馈力，并把反馈力输出给力反馈设备，同时把虚拟物体的位置和姿态应用到虚拟物体上。
更新抓取标志，一帧计算完毕：把本次的抓取状态bGraspCur赋给bGraspOld，即GraspOld＝bGraspCur，并跳转到下一帧循环。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图7示意性示出了本发明一个实施例的虚拟空间中虚拟手操作物体的仿真系统的结构示意图。参照图7，本发明实施例的虚拟空间中虚拟手操作物体的仿真系统具体包括增量计算模块201、第一虚拟手仿真数据计算模块202、第二虚拟手仿真数据计算模块203、判定模块204以及虚拟物体仿真数据确定模块205，其中：
增量计算模块201，适于根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量；
第一虚拟手仿真数据计算模块202，适于根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动；
第二虚拟手仿真数据计算模块203，适于判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态；
判定模块204，适于根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态；
虚拟物体仿真数据确定模块205，根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
本实施例中，所述第二虚拟手仿真数据计算模块203具体包括获取单元和计算单元，其中：
获取单元，适于获取所述虚拟手的初始抓取标识；
计算单元，适于当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
本实施例中，所述判定模块204具体包括碰撞检测单元和抓持检测单元，其中：
碰撞检测单元，适于对所述虚拟手和虚拟物体进行碰撞检测，并记录检测结果；
抓持检测单元，适于当所述虚拟手与虚拟物体接触时，根据指定抓持规则判定所述虚拟手的当前操作状态，并在所述当前操作状态为抓取状态时，将所述虚拟手的当前抓取标识更新为抓取状态。
本实施例中，所述虚拟物体仿真数据确定模块205，具体用于根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否为持续抓取；若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为自由移动时，所述虚拟物体的位置和姿态与所述第二虚拟手模型的位置和姿态一致；若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为沿固定方向移动时，判断所述虚拟物体在平移轴向的投影距离是否小于预设的距离阈值，若所述投影距离小于所述距离阈值，则所述虚拟物体按照所述第二虚拟手模型移动矢量在平移轴向方向的投影进行移动，并根据所述第二虚拟手模型的位置和姿态确定所述虚拟物体的位置和姿态；若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为绕固定轴转动时，所述虚拟物体的位置不变，所述虚拟物体的姿态由虚拟物体绕转轴相对初始位置时的转角确定。
其中，所述虚拟物体绕转轴相对初始位置时的转角根据所述第一虚拟手模型手指部分绕转轴相对初始位置时的转角确定。
本实施例中，所述虚拟物体仿真数据确定模块205，具体还用于根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否抓取分离；若所述虚拟手为抓取分离，则所述虚拟物体的位置和姿态保持不变，所述虚拟手跟随所述交互设备自由移动。
本实施例中，所述系统还包括：
三维模型构建模块，适于在所述第一虚拟手仿真数据计算模块202根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态之前，预先构建满足运动自由度的虚拟手和虚拟物体的三维模型，其中，所述虚拟物体的三维模型按照对应的自由度类型进行分部件构建。
本实施例中，所述系统还包括：
反馈力控制模块，适于在所述虚拟物体仿真数据确定模块205根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态之后，计算所述第一虚拟手模型各个手指部分的反馈力，将所述反馈力传输到所述交互设备的力反馈装置。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的虚拟空间中虚拟手操作物体的仿真方法及系统，通过对虚拟物体的自由度类型进行判定，以根据虚拟物体对应的自由度类型选取相应的随动算法来计算虚拟手的位置姿态和虚拟物体的位置和姿态，能够支持各种自由度类型物体的交互操作仿真，实现对各种自由度类型物体在交互操作仿真过程中的统一处理。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述方法的步骤。
本实施例中，所述虚拟空间中虚拟手操作物体的仿真系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的虚拟空间中虚拟手操作物体的仿真系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个虚拟空间中虚拟手操作物体的仿真方法实施例中的步骤，例如图1所示的方法步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述虚拟空间中虚拟手操作物体的仿真系统中的执行过程。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种虚拟空间中虚拟手操作物体的仿真方法，其特征在于，所述方法包括：
根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量；
根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动；
判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态；
根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态；
根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
2.根据权利要求1所述的方法，其特征在于，所述判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态，包括：
获取所述虚拟手的初始抓取标识；
当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
3.根据权利要求2所述的方法，其特征在于，所述根据第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态，包括：
对所述虚拟手和虚拟物体进行碰撞检测，并记录检测结果；
当所述虚拟手与虚拟物体接触时，根据指定抓持规则判定所述虚拟手的当前操作状态，并在所述当前操作状态为抓取状态时，将所述虚拟手的当前抓取标识更新为抓取状态。
4.根据权利要求3所述的方法，其特征在于，所述根据所述操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，包括：
根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否为持续抓取；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为自由移动时，所述虚拟物体的位置和姿态与所述第二虚拟手模型的位置和姿态一致；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为沿固定方向移动时，判断所述虚拟物体在平移轴向的投影距离是否小于预设的距离阈值，若所述投影距离小于所述距离阈值，则所述虚拟物体按照所述第二虚拟手模型移动矢量在平移轴向方向的投影进行移动，并根据所述第二虚拟手模型的位置和姿态确定所述虚拟物体的位置和姿态；
若所述虚拟手为持续抓取，且所述虚拟物体的自由度类型为绕固定轴转动时，所述虚拟物体的位置不变，所述虚拟物体的姿态由虚拟物体绕转轴相对初始位置时的转角确定。
5.根据权利要求4所述的方法，其特征在于，所述虚拟物体绕转轴相对初始位置时的转角根据所述第一虚拟手模型手指部分绕转轴相对初始位置时的转角确定。
6.根据权利要求4所述的方法，其特征在于，若所述虚拟手不是持续抓取状态，所述方法还包括：
根据所述当前抓取标识和初始抓取标识判定所述虚拟手是否抓取分离；
若所述虚拟手为抓取分离，则所述虚拟物体的位置和姿态保持不变，所述虚拟手跟随所述交互设备自由移动。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态之前，所述方法还包括：
预先构建满足运动自由度的虚拟手和虚拟物体的三维模型，其中，所述虚拟物体的三维模型按照对应的自由度类型进行分部件构建。
8.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态之后，所述方法还包括：
计算所述第一虚拟手模型各个手指部分的反馈力，将所述反馈力传输到所述交互设备的力反馈装置。
9.一种虚拟空间中虚拟手操作物体的仿真系统，其特征在于，包括：
增量计算模块，适于根据交互设备的初始位置、初始姿态信息以及交互设备操作过程中的实时位置和实时姿态信息计算所述交互设备的位置增量和姿态增量，所述姿态增量包括手体部分对应的姿态增量和手指部分对应的姿态增量；
第一虚拟手仿真数据计算模块，适于根据所述交互设备的位置增量和姿态增量计算所述交互设备对应的虚拟手中第一虚拟手模型的位置和姿态，以及手指部分的位置和姿态，所述虚拟手包括用于仿真计算的第一虚拟手模型和用于视觉显示的第二虚拟手模型，所述第一虚拟手模型由所述交互设备进行驱动；
第二虚拟手仿真数据计算模块，适于判断虚拟物体的自由度类型，根据所述自由度类型确定所述第一虚拟手模型对应的第二虚拟手模型的位置和姿态；
判定模块，适于根据所述第一虚拟手模型手指部分的位置和姿态，以及第二虚拟手模型的位置和姿态判定所述虚拟手对所述虚拟物体的当前操作状态；
虚拟物体仿真数据确定模块，根据所述当前操作状态和所述虚拟物体的自由度类型确定所述虚拟物体的位置和姿态，并将所述虚拟物体的位置和姿态作用于所述虚拟物体。
10.根据权利要求9所述的系统，其特征在于，所述第二虚拟手仿真数据计算模块包括：
获取单元，适于获取所述虚拟手的初始抓取标识；
计算单元，适于当所述初始抓取标识为抓取状态时，判断虚拟物体的自由度类型，若所述自由度类型为自由移动，则所述第二虚拟手模型完全跟随第一虚拟手模型移动，且所述第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为沿固定方向移动，则所述第二虚拟手模型跟随所述第一虚拟手模型沿着平移轴运动，且第二虚拟手模型的位置和姿态与所述第一虚拟手模型的位置和姿态一致；若所述自由度类型为绕固定轴转动，则根据首次抓住虚拟物体时所述第一虚拟手模型的位置向量OP0和绕转轴转动角度γ计算所述第二虚拟手模型的姿态位置OP，并将首次抓住虚拟物体时所述第一虚拟手模型的姿态与绕转轴转动角度γ对应的转换矩阵的乘积作为所述第二虚拟手模型的姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474398.0A CN108958471B (zh) | 2018-05-17 | 2018-05-17 | 虚拟空间中虚拟手操作物体的仿真方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474398.0A CN108958471B (zh) | 2018-05-17 | 2018-05-17 | 虚拟空间中虚拟手操作物体的仿真方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108958471A true CN108958471A (zh) | 2018-12-07 |
| CN108958471B CN108958471B (zh) | 2021-06-04 |
Family
ID=64499257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810474398.0A Active CN108958471B (zh) | 2018-05-17 | 2018-05-17 | 虚拟空间中虚拟手操作物体的仿真方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108958471B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991237A (zh) * | 2019-10-30 | 2020-04-10 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111459263A (zh) * | 2019-01-21 | 2020-07-28 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
| CN111784850A (zh) * | 2020-07-03 | 2020-10-16 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的物体抓取仿真方法及相关设备 |
| CN111880652A (zh) * | 2020-07-16 | 2020-11-03 | 北京悉见科技有限公司 | 用于移动ar对象位置的方法、装置及存储介质 |
| CN112905017A (zh) * | 2021-03-22 | 2021-06-04 | 广东工业大学 | 基于手势交互的多人协同拆装系统 |
| CN112905006A (zh) * | 2021-01-21 | 2021-06-04 | 清华大学 | 基于物理仿真的虚拟现实人手交互方法和装置 |
| CN114035677A (zh) * | 2021-10-25 | 2022-02-11 | 中冶智诚(武汉)工程技术有限公司 | 一种用于双手与虚拟手套外设交互的通用接口实现方法 |
| WO2022127852A1 (zh) * | 2020-12-18 | 2022-06-23 | 华为技术有限公司 | 手指触摸操作显示方法及装置 |
| CN117251058A (zh) * | 2023-11-14 | 2023-12-19 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955295A (zh) * | 2014-04-17 | 2014-07-30 | 北京航空航天大学 | 一种基于数据手套和物理引擎的虚拟手的实时抓取方法 |
| US20170003738A1 (en) * | 2015-06-15 | 2017-01-05 | Survios, Inc. | Systems and methods for immersive physical interaction with a virtual environment |
-
2018
- 2018-05-17 CN CN201810474398.0A patent/CN108958471B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955295A (zh) * | 2014-04-17 | 2014-07-30 | 北京航空航天大学 | 一种基于数据手套和物理引擎的虚拟手的实时抓取方法 |
| US20170003738A1 (en) * | 2015-06-15 | 2017-01-05 | Survios, Inc. | Systems and methods for immersive physical interaction with a virtual environment |
Non-Patent Citations (3)
| Title |
|---|
| CHEN XUEWEN ETAL.: "ASTRONAUT OPERATING SIMULATION IN SPACE STATION BASED ON VIRTUAL REALITY", 《《64TH INTERNATIONAL ASTRONAUTICAL CONGRESS》》 * |
| 陈学文等: "基于手指运动方向的动态碰撞检测算法及实现", 《系统仿真学报》 * |
| 陈学文等: "基于虚拟现实的太空操作仿真技术研究", 《系统仿真学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111459263A (zh) * | 2019-01-21 | 2020-07-28 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
| CN111459263B (zh) * | 2019-01-21 | 2023-11-03 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
| CN110991237B (zh) * | 2019-10-30 | 2023-07-28 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN110991237A (zh) * | 2019-10-30 | 2020-04-10 | 华东师范大学 | 一种基于抓握分类学的虚拟手自然抓握动作生成方法 |
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111162840B (zh) * | 2020-04-02 | 2020-09-29 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111784850A (zh) * | 2020-07-03 | 2020-10-16 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的物体抓取仿真方法及相关设备 |
| CN111784850B (zh) * | 2020-07-03 | 2024-02-02 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的物体抓取仿真方法及相关设备 |
| CN111880652A (zh) * | 2020-07-16 | 2020-11-03 | 北京悉见科技有限公司 | 用于移动ar对象位置的方法、装置及存储介质 |
| WO2022127852A1 (zh) * | 2020-12-18 | 2022-06-23 | 华为技术有限公司 | 手指触摸操作显示方法及装置 |
| CN114721576A (zh) * | 2020-12-18 | 2022-07-08 | 华为技术有限公司 | 手指触摸操作显示方法及装置 |
| CN112905006A (zh) * | 2021-01-21 | 2021-06-04 | 清华大学 | 基于物理仿真的虚拟现实人手交互方法和装置 |
| CN112905006B (zh) * | 2021-01-21 | 2022-12-02 | 清华大学 | 基于物理仿真的虚拟现实人手交互方法和装置 |
| CN112905017A (zh) * | 2021-03-22 | 2021-06-04 | 广东工业大学 | 基于手势交互的多人协同拆装系统 |
| CN114035677A (zh) * | 2021-10-25 | 2022-02-11 | 中冶智诚(武汉)工程技术有限公司 | 一种用于双手与虚拟手套外设交互的通用接口实现方法 |
| CN117251058A (zh) * | 2023-11-14 | 2023-12-19 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
| CN117251058B (zh) * | 2023-11-14 | 2024-01-30 | 中国海洋大学 | 一种多信息体感交互系统的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108958471B (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108958471A (zh) | 虚拟空间中虚拟手操作物体的仿真方法及系统 | |
| Levine et al. | Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection | |
| Yin et al. | Modeling, learning, perception, and control methods for deformable object manipulation | |
| Newbury et al. | Deep learning approaches to grasp synthesis: A review | |
| Bagnell et al. | An integrated system for autonomous robotics manipulation | |
| Oprea et al. | A visually realistic grasping system for object manipulation and interaction in virtual reality environments | |
| Madan et al. | Recognition of haptic interaction patterns in dyadic joint object manipulation | |
| Chen et al. | Visual dexterity: In-hand dexterous manipulation from depth | |
| Lu et al. | Modeling grasp type improves learning-based grasp planning | |
| Wake et al. | A learning-from-observation framework: One-shot robot teaching for grasp-manipulation-release household operations | |
| Hangl et al. | Robotic playing for hierarchical complex skill learning | |
| Melnik et al. | Using tactile sensing to improve the sample efficiency and performance of deep deterministic policy gradients for simulated in-hand manipulation tasks | |
| Dzikri et al. | Hand gesture recognition for game 3D object using the leap motion controller with backpropagation method | |
| Valarezo Anazco et al. | Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network | |
| Metzen et al. | Towards learning of generic skills for robotic manipulation | |
| Ramirez-Amaro et al. | A semantic-based method for teaching industrial robots new tasks | |
| Gutzeit et al. | The besman learning platform for automated robot skill learning | |
| Chen et al. | Efficiently learning single-arm fling motions to smooth garments | |
| Huang et al. | A virtual demonstrator environment for robot imitation learning | |
| Tee et al. | A framework for tool cognition in robots without prior tool learning or observation | |
| Hussein et al. | Deep active learning for autonomous navigation | |
| CN116968024A (zh) | 获取用于生成形封闭抓取位姿的控制策略的方法、计算设备和介质 | |
| Matarić et al. | Movement control methods for complex, dynamically simulated agents: Adonis dances the macarena | |
| Haidu et al. | Learning task outcome prediction for robot control from interactive environments | |
| Gonçalves et al. | Programming behaviors with local perception and smart objects: An approach to solve autonomous agents tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |