CN111274705A - 一种面向磁悬浮视触觉交互的多速率协同方法及系统 - Google Patents

一种面向磁悬浮视触觉交互的多速率协同方法及系统 Download PDF

Info

Publication number
CN111274705A
CN111274705A CN202010072649.XA CN202010072649A CN111274705A CN 111274705 A CN111274705 A CN 111274705A CN 202010072649 A CN202010072649 A CN 202010072649A CN 111274705 A CN111274705 A CN 111274705A
Authority
CN
China
Prior art keywords
tool
visual
virtual
tactile
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010072649.XA
Other languages
English (en)
Other versions
CN111274705B (zh
Inventor
袁志勇
石杰元
赵俭辉
李潇洒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010072649.XA priority Critical patent/CN111274705B/zh
Publication of CN111274705A publication Critical patent/CN111274705A/zh
Application granted granted Critical
Publication of CN111274705B publication Critical patent/CN111274705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种面向磁悬浮视触觉交互的多速率协同方法及系统，首先利用多射线对虚拟触觉工具进行建模，通过碰撞检测获得射线在虚拟场景的碰撞信息；然后将射线集合与碰撞信息集合做穿透检测计算，进而处理得到非穿透工具理想位姿；最后构建力学等效模型，实现六自由度触觉渲染力计算。系统包括视觉定位模块、物理仿真模块和触觉渲染模块；视觉定位模块负责跟踪用户操作，并构建用户操作到虚拟工具位姿的稳定映射；为协调系统多模块之间的运行速率差异，通过多速率协同并行方法，以共享内存双缓冲区的通信方式实现了系统多速率模块间的稳定、高效协同。本发明能够有效避免交互过程中工具的穿透视觉伪影，并提供稳定、真实的视触觉反馈。

Description

一种面向磁悬浮视触觉交互的多速率协同方法及系统
技术领域
本发明涉及人机交互技术领域，具体涉及面向磁悬浮视触觉交互的多速率协同方法及系统。
背景技术
触觉是人类赖以探索世界的重要感觉通道。目前，许多途径可用以提供实体触觉，如振动[1]、机械[2]、磁悬浮[3]。目前广泛使用的Geomagic Touch的Phantom[2]触觉设备基于机械传动方式提供触觉反馈，交互过程中受到机械关节固有摩擦、惯性的影响，且操作空间有限。基于磁悬浮的非接触交互方式消除了机械交互方式中存在的固有摩擦，操作更加自由，具有广阔应用前景。但现有的触觉开发工具(如openHaptics触觉开发工具[4])均无法针对磁触觉设备使用，为此本发明基于磁悬浮触觉增强设备[3]，提出一种面向磁悬浮视触觉交互的多速率系统框架，该系统由视觉定位、虚拟场景物理仿真和触觉渲染三部分组成，各部分相互协同。
为确保视触觉交互过程中的视觉可信性，需构建真实可信的虚拟场景。本发明采用基于位置的动力学(Position based Dynamics,PBD)[5]作为虚拟场景的物理仿真方法。PBD相对于传统仿真中使用的有限元方法(Finite Element Method,FEM)[6-7]而言，计算效率更高、实时性更强、交互性更好。此外，与传统机械定位方式不同，设备采用视觉定位方式。因此，需构造面向磁触觉设备的定位数据映射算法。
在磁悬浮视触觉交互中，为避免虚拟工具穿透物体，并提供稳定真实的触觉反馈，触觉渲染算法至关重要，但针对磁悬浮触觉设备[3]，现有OpenHaptics[4]触觉开发工具无法直接使用，因此需建立面向磁触觉设备的具体触觉渲染算法。在计算机触觉研究早期，绝大部分触觉渲染算法是3-DOF(Degree of freedom)的，用户通过控制虚拟代理点与虚拟环境进行交互，生成3-DOF触觉反馈，经典方法包括god-object[8]，virtual proxy[9]，ray-based[10]等。以上3-DOF算法实现简单、计算效率高，但由于无法提供反馈力矩信息，适用场景有限。此后，随着触觉生成硬件不断发展，6-DOF触觉渲染算法得以出现，其以6-DOF形式记录虚拟工具运动轨迹，并且可同时提供反馈力、力矩，相较于3-DOF算法具有更高精度，但其计算复杂度往往较高。
在本发明中，考虑到所使用的磁悬浮触觉设备[3]的手持触觉接口为一根底部配置小磁铁的杆状工具，充分结合3-DOF与6-DOF算法各自的优点，通过对现有3-DOF基于射线的触觉渲染方法[10]的扩展，提出一种多射线触觉渲染方法，基于力系等效原理[11]，其不仅能提供6-DOF逼真触觉反馈，有效避免工具“穿透”，同时也满足触觉刷新频率的要求。
此外，在视触觉交互场景中，图形渲染的刷新频率一般为30Hz左右，但维持触觉渲染算法稳定需要1kHz以上的刷新频率[12]。传统的针对这一速率冲突的解决方法主要分为两类：一是通过降低物理仿真的计算复杂度，即提高物理仿真的计算速度来满足触觉更新频率的要求，典型方法包括模态分析[13]，形变预计算[14]等，但这种简化会对仿真的真实性与稳定性造成影响。另一类为多速率方法，通过将形变仿真和触觉渲染划分成不同更新频率的并行模块，高速率触觉渲染通过捕捉低速率形变仿真的瞬态值以计算触觉反馈[15-17]。本发明采用第二种方法，通过多线程并行技术实现系统不同模块间的多速率协同。
参考文献
[1]Wu Juan,Han Xiao,Yang Huaining.An improved 3d shape hapticrendering algorithm for finger mounted vibrotactile device[J].东南大学学报(英文版),2018.
[2]Massie T H,Salisbury J K.The phantom haptic interface:A device forprobing virtual objects[C]//Proceedings of the ASME winter annual meeting,symposium on haptic inter-faces for virtual environment and teleoperatorsystems,1994,55(1):295-300.
[3]Tong Q,Yuan Z,Liao X,et al.Magnetic levitation haptic augmentationfor virtual tissue stiffness perception[J].IEEE Transactions on Visualizationand Computer Graphics,2018,24(12):3123-3136.
[4]Itkowitz B,Handley J,Zhu W.The OpenHaptics toolkit:a library foradding3D Touch navigation and haptics to graphics applications[C]//FirstJoint Eurohaptics Conference and Symposium on Haptic Interfaces for VirtualEnviron-ment and Teleoperator Systems.World Haptics Conference.IEEE,2005:590-591.
[5]Bender J,Müller M,Macklin M.A survey on position based dynamics,2017[J].EUROGRAPHICS 2017Tutorials,2017.
[6]Barbic J,James D L.Real-time reduced large-deformation models anddistributed contact for computer graphics and haptics[D].PhD thesis,CarnegieMellon University,2007.
[7]郑棉仑,袁志勇,童倩倩.无条件稳定的显式降维非线性有限元[J].计算机工程与应用,2018,54(4):50-55.
[8]沈佳中,王毅刚.力反馈技术在虚拟装配中的应用研究[J].杭州电子科技大学学报,2013,33(5):162-165.
[9]Srinivasan M A,Basdogan C.Haptics in virtual environ-ments:Taxonomy,research status,and challenges[J].Com-puters&Graphics,1997,21(4):393-404.
[10]Ho C H,Basdogan C,Srinivasan M A.Ray-based haptic rendering:forceand torque interactions between a line probe and 3D objects in virtualenvironments[J].The International Journal of Robotics Research,2000,19(7):668-683.
[11]贾世宇,潘振宽.虚拟手术中具备触觉功能的软组织交互技术[J].系统仿真学报,2008,20(8):2076-2080.
[12]王党校,焦健,张玉茹.计算机触觉:虚拟现实环境的力触觉建模和生成[J].计算机辅助设计与图形学学报,2016,28(6):881-895.
[13]Tang Z,Yang Y,Guo X,et al.Distributed haptic interactions withphysically based 3D deformable models over lossy networks[J].IEEEtransactions on haptics,2013,6(4):417-428.
[14]Peterlik I,Sedef M,Basdogan C,et al.Real-time visio-hapticinteraction with static soft tissue models having geometric and materialnonlinearity[J].Computers&Graphics,2010,34(1):43-54.
[15]Peterlik I,Nouicer M,Duriez C,et al.Constraint-based hap-ticrendering of multirate compliant mechanisms[J].IEEE Transactions on Haptics,2011,4(3):175-187.
[16]吴其凡,张劲,刘凯,等.下颌骨拼接与导板设计的力反馈虚拟手术研究[J].计算机工程与应用,2019(5):35.
[17]Kim M,Lee D Y.Multirate Haptic Rendering Using Local StiffnessMatrix for Stable and Transparent Simulation In-volving Interaction withDeformable Objects[J].IEEE Transactions on Industrial Electronics,2019.
发明内容
针对磁悬浮视触觉交互过程中，虚拟工具穿透物体、图形渲染与触觉渲染速率不一致等问题，本发明提出了一种面向磁悬浮视触觉交互的多速率协同方法及系统。
本发明所采用的技术方案是：一种面向磁悬浮视触觉交互的多速率协同方法，采用面向磁悬浮视触觉交互的多速率协同系统；
其特征在于：所述系统包括视觉工具、虚拟触觉工具、视觉定位模块、物理仿真模块、触觉渲染模块、触觉生成模块；
所述视觉工具，为操作者实际手持工具，其底部设置有磁铁；所述虚拟触觉工具，建模成一根刚性杆，其位置、速度增量将仅来源于手持视觉工具的移动，且不具备其它任何增量来源；所述触觉生成模块，用以生成对应的实际作用磁力，进而影响用户操作，产生实体触觉；
所述方法包括以下步骤：
步骤1：用户手持视觉工具进行操作，其运动被视觉定位模块所捕捉；
步骤2：视觉定位模块、物理仿真模块和触觉渲染模块并行执行下述操作；
视觉定位模块跟踪用户操作，构建用户操作到虚拟触觉工具位姿的稳定映射；
物理仿真模块对交互过程中的物理现象进行建模仿真；
触觉渲染模块实现对应的六自由度触觉渲染计算；
步骤3：触觉渲染模块将计算得到的触觉反馈信息传递给触觉生成模块；最终触觉生成模块生成相应的磁场，与视觉工具底部磁铁发生相互作用，进而使用户感受到真实的反馈力，并对用户接下来的操作造成影响。
作为优选，步骤2中所述构建用户操作到虚拟触觉工具位姿的稳定映射，具体实现包括以下子步骤：
步骤2.1.1：定义视觉工具位姿向量为
Figure BDA0002377688390000041
其中，
Figure BDA0002377688390000042
表示视觉工具的质心位置坐标，
Figure BDA0002377688390000043
表示视觉工具的主轴方向，
Figure BDA0002377688390000044
和
Figure BDA0002377688390000045
则分别代表视觉工具的位置子向量和旋转子向量；
步骤2.1.2：通过用户手持视觉工具在视觉定位区域中进行任意的操作移动，对操作过程中的定位输出数据进行统计处理，得出交互过程中视觉定位数据的具体范围，定义边界向量为：
Figure BDA0002377688390000051
其中，上标B代表边界，
Figure BDA0002377688390000052
和
Figure BDA0002377688390000053
分别表示视觉定位输出数据的最小、最大值，
Figure BDA0002377688390000054
和
Figure BDA0002377688390000055
分别代表边界向量的最小值子向量和边界向量的最大值子向量；
步骤2.1.3：基于边界向量
Figure BDA0002377688390000056
构造从视觉工具位姿向量到虚拟触觉工具位姿向量的映射关系，实时映射到虚拟触觉工具的运动中；
其中，位姿向量的x坐标的映射关系如下：
Figure BDA0002377688390000057
Lx代表虚拟触觉工具x坐标范围区间的长度，Tx代表x坐标区间左端点相对于原点的平移量，y,z坐标也同理进行映射，针对位姿信息的旋转分量，执行从单位方向向量到欧拉角的变换即可。
作为优选，步骤2中，物理仿真模块通过基于位置的动力学物理仿真方法PBD对虚拟物体的物理特性进行建模仿真，其中针对虚拟物体形变特性，利用体积保存约束进行建模；特别地，针对虚拟触觉工具，将其建模成一根刚性杆，其位置、速度增量将仅来源于手持视觉工具的移动，且不具备其它任何增量来源。
作为优选，步骤2中所述触觉渲染模块实现对应的六自由度触觉渲染计算，具体实现包括以下子步骤：
步骤2.2.1：利用多射线对虚拟触觉工具进行建模；
步骤2.2.2：通过碰撞检测获取射线在虚拟场景的碰撞信息；
步骤2.2.3：对射线集合与碰撞信息集合做穿透检测计算，进而处理得到非穿透工具理想位姿；
步骤2.2.4：构建力学等效模型，实现六自由度触觉渲染力计算。
作为优选，步骤2.2.1的具体实现包括以下子步骤：
步骤2.2.1.1：定义虚拟触觉工具位姿向量
Figure BDA0002377688390000058
其中
Figure BDA0002377688390000059
表示虚拟触觉工具的质心位置坐标，
Figure BDA0002377688390000061
为虚拟触觉工具的主轴方向与虚拟世界的x,y,z轴所成的欧拉角，
Figure BDA0002377688390000062
则分别代表虚拟触觉工具的位置子向量和旋转子向量；
步骤2.2.1.2：沿柱状虚拟触觉工具母线以多射线方式对其建模，并于圆柱底部圆周均匀采样n个点作为射线底部端点，称之为触觉接口点HIP，从而t时刻的虚拟触觉工具表示为多射线集合
Figure BDA0002377688390000063
其中，
Figure BDA0002377688390000064
为t时刻的虚拟触觉工具主轴方向向量，
Figure BDA0002377688390000065
则表示t时刻第i个触觉接口点的位置坐标，
Figure BDA0002377688390000066
表示正整数集合。
作为优选，步骤2.2.2的具体实现包括以下子步骤：
步骤2.2.2.1：利用符号距离场碰撞检测算法，对虚拟场景进行碰撞检测；
步骤2.2.2.2：提取属于射线碰撞的碰撞对集合：
Figure BDA0002377688390000067
其中，
Figure BDA0002377688390000068
和
Figure BDA0002377688390000069
分别为虚拟触觉工具多射线上、碰撞物体表面的t时刻的第j个碰撞点，
Figure BDA00023776883900000610
为
Figure BDA00023776883900000611
处的表面法线，方向指向碰撞物体外部，
Figure BDA00023776883900000612
为
Figure BDA00023776883900000613
处的切线向量。
作为优选，步骤2.2.3的具体实现包括以下子步骤：
步骤2.2.3.1：将射线集合Lt与碰撞对集合Ct做笛卡儿积运算，得到集合
Figure BDA00023776883900000614
步骤2.2.3.2：定义集合Ut上的符号距离函数：
Figure BDA00023776883900000615
其中，
Figure BDA00023776883900000616
来自于Ut中的同一元素；
步骤2.2.3.3：对集合Ut上的所有元素做符号距离计算，并进而得到六维矫正向量为：
Figure BDA00023776883900000617
其中，|Ut|表示集合Ut的元素个数，fdist(Ut)表示集合Ut上的符号距离函数；
步骤2.2.3.4：定义非穿透工具为图形工具，其理想位姿向量为：
Figure BDA0002377688390000071
其中，
Figure BDA0002377688390000072
表示图形工具的质心位置坐标，
Figure BDA0002377688390000073
为图形工具的主轴方向与虚拟世界的x,y,z轴所成的欧拉角，
Figure BDA0002377688390000074
则分别代表图形工具的位置子向量和旋转子向量；
步骤2.2.3.5：为避免工具穿透虚拟物体，最终非穿透图形工具位姿如下计算：
Figure BDA0002377688390000075
作为优选，步骤2.2.4的具体实现包括以下子步骤：
步骤2.2.4.1：针对用户实际操作过程，定义球型铰链作为虚拟触觉工具的力学模型，将用户手部握点建模成球形铰点，以工具杆部作为铰链轴，受力点为杆末端；
步骤2.2.4.2：基于力系等效原理，对定点的力与力矩可相互等效转换，将碰撞响应计算所得的旋转反馈合力矩Mt等效转换为作用于杆底端的力
Figure BDA0002377688390000076
步骤2.2.4.3：进一步对
Figure BDA0002377688390000077
和矫正反馈力
Figure BDA0002377688390000078
按照平行杆、垂直杆方向进行平面正交分解，并合成对应方向分力，最终转换为两个正交力：
Figure BDA0002377688390000079
和
Figure BDA00023776883900000710
其中，
Figure BDA00023776883900000711
垂直于杆，
Figure BDA00023776883900000712
沿杆方向，这两个力将分别为用户提供“旋转”和“轴向阻碍”的感受；
步骤2.2.4.4：实现六自由度触觉渲染力计算，各力计算公式如下：
Figure BDA00023776883900000713
Figure BDA00023776883900000714
Figure BDA00023776883900000715
其中，Ft为反馈合力，
Figure BDA00023776883900000716
和
Figure BDA00023776883900000717
分别代表轴向反馈分力、旋转反馈分力；k、kparallel和krot为三个刚度调节系数，
Figure BDA00023776883900000718
和
Figure BDA00023776883900000719
为轴向方向向量和旋转反馈方向向量。
作为优选，步骤3的具体实现包括以下子步骤：
步骤3.1：视觉定位模块跟踪用户操作，实施虚拟触觉工具位姿映射，将数据以频率f1写入共享写缓冲区W1中，计算周期末，将W1的数据复制到共享读缓冲区R1中；
步骤3.2：虚拟场景物理仿真模块以频率f2从共享读缓冲区R1读取位姿数据，进行虚拟场景物理仿真计算，更新虚拟场景、碰撞对信息Ct，并将当前位姿、Ct写入共享写缓冲区W2中，计算周期末，将W2的数据复制到共享读缓冲区R2中；
步骤3.3触觉渲染模块以频率f3从共享读缓冲区R2读取相关数据，进行触觉渲染计算，并更新当前图形工具位姿信息
Figure BDA0002377688390000081
计算周期末，将六自由度触觉反馈计算力数据传递给触觉生成模块，生成相应实体触觉。
与现有技术相比，本发明所具有的创新及优势如下：
1.本发明利用多射线建模虚拟触觉工具，结合碰撞检测信息，设计符号距离穿透检测函数，实现理想图形工具非穿透位姿的计算，保证了交互过程中视觉可信性，计算效率高，可满足1kHz触觉刷新频率要求。
2.本发明参照磁触觉交互过程中用户实际操作方式，设计球形铰链为交互过程的等效力学模型，基于力系等效原理，设计出“旋转”分力和“轴向阻碍”分力，以及对应的刚度调节系数，对交互过程中触觉反馈的可进行更精细的控制，实现精确六自由度触觉渲染反馈力计算，保证了交互过程中的触觉可信性。
3.本发明的面向磁悬浮视触觉交互的多速率协同系统采用视觉定位方式，与传统机械定位方式不同，通过构造面向磁悬浮触觉设备的定位数据映射算法，使得对用户交互操作的定位准确、稳定；系统通过多速率并行协同方法，实现速率不一致模块间相互协同，使得系统能够满足稳定、高效的视触觉交互需求；系统采用的基于磁悬浮的非接触交互方式消除了机械交互中存在的固有摩擦，操作更自由，可扩展性好。
附图说明
图1面向磁悬浮视触觉交互的多速率协同系统
图2预采样操作示意图
图3多射线触觉渲染建模示意图
图4触觉接口力学等效模型
图5并行模块协同示意图
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明的面向磁悬浮视触觉交互的多速率协同系统的流程如图1所示，为方便后续描述，给出关于触觉接口的三个不同定义：(1)“视觉工具”，指代现实世界中操作者实际手持工具。(2)“触觉工具”，指代虚拟工具，其位姿通过对定位数据映射得到，不受虚拟环境障碍物的约束，可以穿透障碍物，运动趋势与用户操作动作保持同步。(3)“图形工具”，指代满足虚拟环境非穿透约束的理想工具。通常当触觉工具已穿透虚拟物体时，图形工具仍将被限制在碰撞物体表面以避免穿透。如图1所示，整个系统为一个闭环系统。首先，用户手持视觉工具进行操作，其运动被视觉定位模块所捕捉。接着，通过映射算法，将定位数据映射到触觉工具的位姿。当碰撞检测到触觉工具与其它虚拟物体发生碰撞时，触觉渲染模块便计算触觉反馈信息，并将其传递给触觉生成模块。最终触觉生成模块生成相应的磁场，与视觉工具底部小磁铁发生相互作用，进而使用户感受到真实的反馈力，并对用户接下来的操作造成影响。上述过程便形成了一个闭环。
系统的视觉定位模块负责跟踪视觉工具的运动，并通过映射算法将视觉定位数据映射为触觉工具的位姿。在本系统中，触觉工具被建模成一个刚性杆，具有六自由度位姿信息，其中包含三个平动自由度和三个转动自由度。视觉工具、触觉工具的六维位姿向量定义如下：
Figure BDA0002377688390000091
Figure BDA0002377688390000092
其中，
Figure BDA0002377688390000093
分别表示用户手持视觉工具和相对应的虚拟触觉工具的位姿向量。x,y,z表示质心位置坐标。
Figure BDA0002377688390000094
表示视觉工具的主轴方向。α,β,γ为触觉工具主轴方向与虚拟世界的x,y,z轴所成的欧拉角。
Figure BDA0002377688390000095
和
Figure BDA0002377688390000096
则分别代表位置子向量和旋转子向量。由于
Figure BDA0002377688390000097
的值通常远大于
Figure BDA0002377688390000098
且
Figure BDA0002377688390000099
的不同分量所在值域也不一致，因此需要映射算法来将它们映射到虚拟世界坐标系下一个有限长方体的坐标范围内。为此，本发明首先通过预采样以获得视觉定位输出
Figure BDA00023776883900000910
的坐标范围，预采样操作如图2所示。用户手持视觉工具在定位区域中进行任意的操作移动，其中定位区域如图2半透明长方体区域所示。通过对操作中的定位输出数据进行统计处理，便可得出视觉定位输出的大致坐标范围，类似于AABB包围盒，本发明将视觉定位坐标边界范围定义为如下六维边界向量：
Figure BDA0002377688390000101
其中，上标B代表边界，
Figure BDA0002377688390000102
和
Figure BDA0002377688390000103
分别表示视觉定位输出数据的最小、最大值，
Figure BDA0002377688390000104
和
Figure BDA0002377688390000105
分别代表最小值子向量和最大值子向量。基于边界向量
Figure BDA0002377688390000106
进一步构造从
Figure BDA0002377688390000107
到
Figure BDA0002377688390000108
的映射关系，实现对用户操作的跟踪，并实时映射到虚拟触觉工具的运动中。以
Figure BDA0002377688390000109
为例，映射关系如下：
Figure BDA00023776883900001010
其中，其中Lx代表触觉工具x坐标范围区间的长度，Tx代表区间左端点相对于原点的平移量。y,z坐标也以一种类似的方式进行映射。针对位姿信息的旋转分量，执行从单位方向向量到欧拉角的变换即可。至此便完成了从
Figure BDA00023776883900001011
到
Figure BDA00023776883900001012
的映射，进一步基于刚体动力学的基本原理，可计算出触觉工具的线速度
Figure BDA00023776883900001013
和角速度
Figure BDA00023776883900001014
在针对虚拟场景物理仿真的实现方法上，视触觉交互应用需求与传统图形应用存在一定区别，尤其是针对触觉工具的仿真。在本发明系统中，除触觉工具之外，其余虚拟物体均以传统PBD的方式进行建模仿真，对形变特性利用体积保持约束进行建模。特别地，触觉工具的位置、速度增量仅来源于视觉工具的移动，而不应拥有其它的增量来源，例如PBD中的辛-欧拉预测步、碰撞约束求解导致的增量等。
本发明提出一种多射线触觉渲染方法，以保证视触觉交互体验可靠、真实，提升沉浸感，进而确保视觉与触觉上的双重可信性，即实时逼真的非穿透图形工具位姿计算与6-DOF触觉反馈计算。
虚拟工具位姿完全由手持视觉工具位姿映射得到，其在交互过程中可任意穿透虚拟物体，为避免交互过程中工具穿透物体的“视觉伪影”，需计算满足非穿透约束的图形工具位姿，从而图形渲染以图形工具位姿为依据，以保证视觉反馈可信性。类似于触觉工具位姿向量的定义，图形工具的位姿向量
Figure BDA0002377688390000111
定义如下：
Figure BDA0002377688390000112
其中，x,y,z表示质心位置坐标，α,β,γ为工具主轴方向与虚拟世界的x,y,z轴所成的欧拉角，
Figure BDA0002377688390000113
和
Figure BDA0002377688390000114
分别代表位置子向量和旋转子向量。为计算
Figure BDA0002377688390000115
首先需要考虑触觉工具与虚拟物体可能的碰撞情况。工具与凸壳物体之间的交互分为三类：(1)点-多边形交互；(2)点-边交互；(3)点-面交互。考虑到本系统将触觉工具建模成一个刚性杆，后两种交互情况的发生概率较低，此处只考虑第一种交互：点-多边形交互。当碰撞发生时，碰撞检测算法会生成多个碰撞对信息。其中碰撞检测基于符号距离场算法实现。如图3所示，沿柱状工具母线建立多根射线并于圆柱底部圆周均匀采样n个点作为射线底部端点，称之为触觉接口点(Haptic Interface Point，HIP)，定义t时刻的射线集合、碰撞对集合分别为：
Figure BDA0002377688390000116
Figure BDA0002377688390000117
其中，
Figure BDA0002377688390000118
为t时刻的杆主轴方向向量，
Figure BDA0002377688390000119
和
Figure BDA00023776883900001110
分别为触觉工具、碰撞物体表面的碰撞点，
Figure BDA00023776883900001111
为
Figure BDA00023776883900001112
处的表面法线，方向指向碰撞物体外部，
Figure BDA00023776883900001113
为
Figure BDA00023776883900001114
处的切线向量。定义Lt与Ct的笛卡尔积集合为Ut：
Figure BDA00023776883900001115
定义集合Ut上的符号距离函数:
Figure BDA00023776883900001116
其中，
Figure BDA00023776883900001117
来自于Ut中的同一元素。本发明观察到，当触觉工具穿透其它物体时，至少存在一个碰撞对，使得该射线的符号距离函数值为一个负值。反之，若该射线没有穿透其它物体，该射线与所有碰撞对的信息，进行符号距离函数计算，得到的都将为一个非负值。基于此便可利用碰撞信息以及射线信息，实现针对触觉工具的快速穿透检测。对集合Ut上的所有元素做符号距离计算，进而定义六维矫正向量Δcorrt，其由3个平动矫正量和3个转动矫正量组成，计算方式如下：
Figure BDA0002377688390000121
其中，|Ut|表示集合Ut的元素个数；最终，便可得非穿透图形工具位姿为：
Figure BDA0002377688390000122
现行的六自由度触觉反馈计算方法主要分为两类：直接渲染与虚拟耦合。其中，在直接渲染方法中，碰撞响应直接基于穿透深度进行映射计算。在虚拟耦合方法中，其在力反馈触觉设备和虚拟触觉工具之间建立一种虚拟弹簧阻尼元件的联系，用户手部给触觉设备所施加的力也会被考虑进碰撞响应以及图形工具的位姿计算之中。由于本发明的磁悬浮视触觉交互系统采用非接触式的操作方式，无法对用户操作所施加力的具体大小进行捕获，因此本发明将采用直接渲染方式来实现6-DOF触觉反馈计算。在交互过程中，尽管用户手部位置、视觉工具的空间绝对位置、工具底端与握点的相对位置会随着操作的进行而不断变化，但用户手与工具握点的相对位置将始终保持不变。因此，可采用球型铰链作为交互工具的力学模型，将握点建模成球形铰点，如图4所示。
由于小磁铁位于视觉工具底端，因此触觉反馈力作用点也将为工具杆底端。图4中，
Figure BDA0002377688390000123
表示矫正反馈合力，Mt表示相对于铰点O的反馈合力矩。基于力系等效原理，对定点的力与力矩可相互等效转换，将碰撞响应计算所得的旋转反馈合力矩Mt等效转换为作用于杆底端的力
Figure BDA0002377688390000124
进一步对
Figure BDA0002377688390000125
和矫正反馈力
Figure BDA0002377688390000126
按照平行杆、垂直杆方向进行平面正交分解，并合成对应方向分力，最终转换为两个正交力：
Figure BDA0002377688390000127
和
Figure BDA0002377688390000128
如图4右半部分所示，一个垂直于杆，一个沿杆方向，这两个力将分别为用户提供“旋转”和“轴向阻碍”的感受。与图形工具位姿计算方式相对应，六自由度触觉渲染力计算如下：
Figure BDA0002377688390000129
Figure BDA00023776883900001210
Figure BDA00023776883900001211
其中，Ft为反馈合力，
Figure BDA00023776883900001212
和
Figure BDA00023776883900001213
分别代表轴向反馈分力、旋转反馈分力。k、kparallel和krot为三个刚度调节系数，
Figure BDA0002377688390000131
和
Figure BDA0002377688390000132
为轴向方向向量和旋转反馈方向向量。通常，设置k＝C、kparallel＝krot＝1，其中常数C根据触觉设备输出力的范围进行确定。在本发明应用场景下，利用
Figure BDA0002377688390000133
和
Figure BDA0002377688390000134
来替代F和M将不会产生任何操作感受上的差异。
为协调不同模块之间的运行速率差异，本发明实现了基于CPU的多速率并行。并行模块划分策略如图5所示，三个并行模块通过共享内存双缓冲区的方式实现数据的单向流动通信，并运行在不同时态更新率上。其中，W1、W2为写缓冲区，R1、R2为读缓冲区。
Figure BDA0002377688390000135
为t时刻的第i个碰撞对信息，
Figure BDA0002377688390000136
为图形工具位姿向量，
Figure BDA0002377688390000137
为对应的触觉反馈。具体步骤如下：
步骤1：定位模块跟踪用户操作，实施工具位姿映射，将数据以频率f1写入共享写缓冲区W1中，计算周期末，将W1的数据复制到共享读缓冲区R1中。
步骤2：虚拟场景物理仿真模块以频率f2从共享读缓冲区R1读取位姿数据，进行虚拟场景物理仿真计算，更新虚拟场景、碰撞对信息Ct等，并将当前位姿、Ct写入共享写缓冲区W2中，计算周期末，将W2的数据复制到共享读缓冲区R2中。
步骤3：触觉渲染模块以频率f3从共享读缓冲区R2读取相关数据，进行触觉渲染计算，并更新当前图形工具位姿信息
Figure BDA0002377688390000138
计算周期末，将六自由度触觉反馈计算力数据传递给触觉生成模块，生成相应实体触觉。其中，以上3个步骤并行运行，分别运作于不同时态更新率上，满足：
f1≈200Hz,f2≈30Hz,f3≈1000Hz
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种面向磁悬浮视触觉交互的多速率协同方法，采用面向磁悬浮视触觉交互的多速率协同系统；
其特征在于：所述系统包括视觉工具、虚拟触觉工具、视觉定位模块、物理仿真模块、触觉渲染模块、触觉生成模块；
所述视觉工具，为操作者实际手持工具，其底部设置有磁铁；所述虚拟触觉工具，建模成一根刚性杆，其位置、速度增量将仅来源于手持视觉工具的移动，且不具备其它任何增量来源；所述触觉生成模块，用以生成对应的实际作用磁力，进而影响用户操作，产生实体触觉；
所述方法包括以下步骤：
步骤1：用户手持视觉工具进行操作，其运动被视觉定位模块所捕捉；
步骤2：视觉定位模块、物理仿真模块和触觉渲染模块并行执行下述操作；
视觉定位模块跟踪用户操作，构建用户操作到虚拟触觉工具位姿的稳定映射；
物理仿真模块对交互过程中的物理现象进行建模仿真；
触觉渲染模块实现对应的六自由度触觉渲染计算；
步骤3：触觉渲染模块将计算得到的触觉反馈信息传递给触觉生成模块；最终触觉生成模块生成相应的磁场，与视觉工具底部磁铁发生相互作用，进而使用户感受到真实的反馈力，并对用户接下来的操作造成影响。
2.根据权利要求1所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤2中所述构建用户操作到虚拟触觉工具位姿的稳定映射，具体实现包括以下子步骤：
步骤2.1.1：定义视觉工具位姿向量为
Figure FDA0002377688380000011
其中，
Figure FDA0002377688380000012
表示视觉工具的质心位置坐标，
Figure FDA0002377688380000013
表示视觉工具的主轴方向，
Figure FDA0002377688380000014
和
Figure FDA0002377688380000015
则分别代表视觉工具的位置子向量和旋转子向量；
步骤2.1.2：通过用户手持视觉工具在视觉定位区域中进行任意的操作移动，对操作过程中的定位输出数据进行统计处理，得出交互过程中视觉定位数据的具体范围，定义边界向量为：
Figure FDA0002377688380000016
其中，上标B代表边界，
Figure FDA0002377688380000017
和
Figure FDA0002377688380000018
分别表示视觉定位输出数据的最小、最大值，
Figure FDA0002377688380000021
和
Figure FDA0002377688380000022
分别代表边界向量的最小值子向量和边界向量的最大值子向量；
步骤2.1.3：基于边界向量
Figure FDA0002377688380000023
构造从视觉工具位姿向量到虚拟触觉工具位姿向量的映射关系，实时映射到虚拟触觉工具的运动中；
其中，位姿向量的x坐标的映射关系如下：
Figure FDA0002377688380000024
Lx代表虚拟触觉工具x坐标范围区间的长度，Tx代表x坐标区间左端点相对于原点的平移量，y,z坐标也同理进行映射，针对位姿信息的旋转分量，执行从单位方向向量到欧拉角的变换即可。
3.根据权利要求1所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于：步骤2中，物理仿真模块通过基于位置的动力学物理仿真方法PBD对虚拟物体的物理特性进行建模仿真，其中针对虚拟物体形变特性，利用体积保存约束进行建模；特别地，针对虚拟触觉工具，将其建模成一根刚性杆，其位置、速度增量将仅来源于手持视觉工具的移动，且不具备其它任何增量来源。
4.根据权利要求1所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于：步骤2中所述触觉渲染模块实现对应的六自由度触觉渲染计算，具体实现包括以下子步骤：
步骤2.2.1：利用多射线对虚拟触觉工具进行建模；
步骤2.2.2：通过碰撞检测获取射线在虚拟场景的碰撞信息；
步骤2.2.3：对射线集合与碰撞信息集合做穿透检测计算，进而处理得到非穿透工具理想位姿；
步骤2.2.4：构建力学等效模型，实现六自由度触觉渲染力计算。
5.根据权利要求4所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤2.2.1的具体实现包括以下子步骤：
步骤2.2.1.1：定义虚拟触觉工具位姿向量
Figure FDA0002377688380000025
其中
Figure FDA0002377688380000026
表示虚拟触觉工具的质心位置坐标，
Figure FDA0002377688380000027
为虚拟触觉工具的主轴方向与虚拟世界的x,y,z轴所成的欧拉角，
Figure FDA0002377688380000031
则分别代表虚拟触觉工具的位置子向量和旋转子向量；
步骤2.2.1.2：沿柱状虚拟触觉工具母线以多射线方式对其建模，并于圆柱底部圆周均匀采样n个点作为射线底部端点，称之为触觉接口点HIP，从而t时刻的虚拟触觉工具表示为多射线集合
Figure FDA0002377688380000032
其中，
Figure FDA0002377688380000033
为t时刻的虚拟触觉工具主轴方向向量，
Figure FDA0002377688380000034
则表示t时刻第i个触觉接口点的位置坐标，
Figure FDA0002377688380000035
表示正整数集合。
6.根据权利要求5所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤2.2.2的具体实现包括以下子步骤：
步骤2.2.2.1：利用符号距离场碰撞检测算法，对虚拟场景进行碰撞检测；
步骤2.2.2.2：提取属于射线碰撞的碰撞对集合：
Figure FDA0002377688380000036
其中，
Figure FDA0002377688380000037
和
Figure FDA0002377688380000038
分别为虚拟触觉工具多射线上、碰撞物体表面的t时刻的第j个碰撞点，
Figure FDA0002377688380000039
为
Figure FDA00023776883800000310
处的表面法线，方向指向碰撞物体外部，
Figure FDA00023776883800000311
为
Figure FDA00023776883800000312
处的切线向量。
7.根据权利要求6所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤2.2.3的具体实现包括以下子步骤：
步骤2.2.3.1：将射线集合Lt与碰撞对集合Ct做笛卡儿积运算，得到集合
Figure FDA00023776883800000313
步骤2.2.3.2：定义集合Ut上的符号距离函数：
Figure FDA00023776883800000314
其中，
Figure FDA00023776883800000315
来自于Ut中的同一元素；
步骤2.2.3.3：对集合Ut上的所有元素做符号距离计算，并进而得到六维矫正向量为：
Figure FDA00023776883800000316
其中，|Ut|表示集合Ut的元素个数，fdist(Ut)表示集合Ut上的符号距离函数；
步骤2.2.3.4：定义非穿透工具为图形工具，其理想位姿向量为：
Figure FDA0002377688380000041
其中，
Figure FDA0002377688380000042
表示图形工具的质心位置坐标，
Figure FDA0002377688380000043
为图形工具的主轴方向与虚拟世界的x,y,z轴所成的欧拉角，
Figure FDA0002377688380000044
则分别代表图形工具的位置子向量和旋转子向量；
步骤2.2.3.5：为避免工具穿透虚拟物体，最终非穿透图形工具位姿如下计算：
Figure FDA0002377688380000045
8.根据权利要求7所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤2.2.4的具体实现包括以下子步骤：
步骤2.2.4.1：针对用户实际操作过程，定义球型铰链作为虚拟触觉工具的力学模型，将用户手部握点建模成球形铰点，以工具杆部作为铰链轴，受力点为杆末端；
步骤2.2.4.2：基于力系等效原理，对定点的力与力矩可相互等效转换，将碰撞响应计算所得的旋转反馈合力矩Mt等效转换为作用于杆底端的力
Figure FDA0002377688380000046
步骤2.2.4.3：进一步对
Figure FDA0002377688380000047
和矫正反馈力
Figure FDA0002377688380000048
按照平行杆、垂直杆方向进行平面正交分解，并合成对应方向分力，最终转换为两个正交力：
Figure FDA0002377688380000049
和
Figure FDA00023776883800000410
其中，
Figure FDA00023776883800000411
垂直于杆，
Figure FDA00023776883800000412
沿杆方向，这两个力将分别为用户提供“旋转”和“轴向阻碍”的感受；
步骤2.2.4.4：实现六自由度触觉渲染力计算，各力计算公式如下：
Figure FDA00023776883800000413
Figure FDA00023776883800000414
Figure FDA00023776883800000415
其中，Ft为反馈合力，
Figure FDA00023776883800000416
和
Figure FDA00023776883800000417
分别代表轴向反馈分力、旋转反馈分力；k、kparallel和krot为三个刚度调节系数，
Figure FDA00023776883800000418
和
Figure FDA00023776883800000419
为轴向方向向量和旋转反馈方向向量。
9.根据权利要求1-8任意一项所述的面向磁悬浮视触觉交互的多速率协同方法，其特征在于，步骤3的具体实现包括以下子步骤：
步骤3.1：视觉定位模块跟踪用户操作，实施虚拟触觉工具位姿映射，将数据以频率f1写入共享写缓冲区W1中，计算周期末，将W1的数据复制到共享读缓冲区R1中；
步骤3.2：虚拟场景物理仿真模块以频率f2从共享读缓冲区R1读取位姿数据，进行虚拟场景物理仿真计算，更新虚拟场景、碰撞对信息Ct，并将当前位姿、Ct写入共享写缓冲区W2中，计算周期末，将W2的数据复制到共享读缓冲区R2中；
步骤3.3触觉渲染模块以频率f3从共享读缓冲区R2读取相关数据，进行触觉渲染计算，并更新当前图形工具位姿信息
Figure FDA0002377688380000051
计算周期末，将六自由度触觉反馈计算力数据传递给触觉生成模块，生成相应实体触觉。
CN202010072649.XA 2020-01-21 2020-01-21 一种面向磁悬浮视触觉交互的多速率协同方法及系统 Active CN111274705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010072649.XA CN111274705B (zh) 2020-01-21 2020-01-21 一种面向磁悬浮视触觉交互的多速率协同方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010072649.XA CN111274705B (zh) 2020-01-21 2020-01-21 一种面向磁悬浮视触觉交互的多速率协同方法及系统

Publications (2)

Publication Number Publication Date
CN111274705A true CN111274705A (zh) 2020-06-12
CN111274705B CN111274705B (zh) 2021-12-03

Family

ID=71001937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010072649.XA Active CN111274705B (zh) 2020-01-21 2020-01-21 一种面向磁悬浮视触觉交互的多速率协同方法及系统

Country Status (1)

Country Link
CN (1) CN111274705B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833826A (zh) * 2022-04-20 2022-08-02 上海傅利叶智能科技有限公司 实现机器人碰撞触觉的控制方法、装置以及康复机器人
CN115033105A (zh) * 2022-06-20 2022-09-09 北京航空航天大学 一种支持裸手多元触力觉自然交互的大空间可移动平台

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031236A (zh) * 2003-07-16 2007-09-05 Z-凯特公司 用于具有改进反馈的手术程序的导向系统和方法
US20100280988A1 (en) * 2008-04-24 2010-11-04 Underkoffler John S Detecting, Representing, and Interpreting Three-Space Input: Gestural Continuum Subsuming Freespace, Proximal, and Surface-Contact Modes
CN104460984A (zh) * 2014-09-29 2015-03-25 北京理工大学 一种利用顶杆自动错落排布原理实现三维触觉纹理构图的装置和方法
US20160107316A1 (en) * 2014-10-16 2016-04-21 Technische Universität München Tactile sensor
CN105786190A (zh) * 2016-05-04 2016-07-20 北京大学 一种三维虚拟交互系统
CN105825059A (zh) * 2016-03-17 2016-08-03 天津大学 一种sph多相流触觉交互研究的方法
CN108648548A (zh) * 2018-04-19 2018-10-12 浙江工业大学 一种脑神经外科虚拟手术训练系统
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统
CN109145513A (zh) * 2018-09-30 2019-01-04 南京航空航天大学 基于电磁场组合激励控制的非接触式力触觉再现系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031236A (zh) * 2003-07-16 2007-09-05 Z-凯特公司 用于具有改进反馈的手术程序的导向系统和方法
US20100280988A1 (en) * 2008-04-24 2010-11-04 Underkoffler John S Detecting, Representing, and Interpreting Three-Space Input: Gestural Continuum Subsuming Freespace, Proximal, and Surface-Contact Modes
CN104460984A (zh) * 2014-09-29 2015-03-25 北京理工大学 一种利用顶杆自动错落排布原理实现三维触觉纹理构图的装置和方法
US20160107316A1 (en) * 2014-10-16 2016-04-21 Technische Universität München Tactile sensor
CN105825059A (zh) * 2016-03-17 2016-08-03 天津大学 一种sph多相流触觉交互研究的方法
CN105786190A (zh) * 2016-05-04 2016-07-20 北京大学 一种三维虚拟交互系统
CN108648548A (zh) * 2018-04-19 2018-10-12 浙江工业大学 一种脑神经外科虚拟手术训练系统
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统
CN109145513A (zh) * 2018-09-30 2019-01-04 南京航空航天大学 基于电磁场组合激励控制的非接触式力触觉再现系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IGOR PETERLI´K,ET AL: "Constraint-Based Haptic Rendering of Multirate Compliant Mechanisms", 《IEEE TRANSACTIONS ON HAPTICS》 *
PETR KADLEˇCEK，ET AL: "Haptic Rendering for Under-Actuated 6/3-DOF Haptic Devices", 《EUROHAPTICS 2014》 *
郑棉仑: "弹性体仿真中快速稳定的有限元迭代方法研究及应用", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833826A (zh) * 2022-04-20 2022-08-02 上海傅利叶智能科技有限公司 实现机器人碰撞触觉的控制方法、装置以及康复机器人
CN115033105A (zh) * 2022-06-20 2022-09-09 北京航空航天大学 一种支持裸手多元触力觉自然交互的大空间可移动平台
CN115033105B (zh) * 2022-06-20 2024-06-04 北京航空航天大学 一种支持裸手多元触力觉自然交互的大空间可移动平台

Also Published As

Publication number Publication date
CN111274705B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Barbič et al. Six-dof haptic rendering of contact between geometrically complex reduced deformable models
Burdea Haptics issues in virtual environments
Belta et al. An SVD-based projection method for interpolation on SE (3)
CN103620523B (zh) 用于提供大致上稳定的触觉的系统和方法
CN111274705B (zh) 一种面向磁悬浮视触觉交互的多速率协同方法及系统
Sharifi et al. Model reference adaptive impedance control in Cartesian coordinates for physical human–robot interaction
Barbic Real-time reduced large-deformation models and distributed contact for computer graphics and haptics
Zhang et al. An inverse kinematics framework of mobile manipulator based on unique domain constraint
Ding et al. Continuous collision detection for virtual proxy haptic rendering of deformable triangular mesh models
US11093037B2 (en) Computer-implemented method, system and computer program product for simulating the behaviour of a hand that interacts with objects in a virtual environment
Yang et al. Model-free 3-d shape control of deformable objects using novel features based on modal analysis
Pokorny et al. Grasp moduli spaces and spherical harmonics
Vlasov et al. Haptic rendering of volume data with collision detection guarantee using path finding
CN116185205B (zh) 非接触手势交互方法和装置
Dervaux et al. Haptic rendering of interacting dynamic deformable objects simulated in real-time at different frequencies
Peterlik et al. Distributed construction of configuration spaces for real-time haptic deformation modeling
Sase et al. Haptic rendering of contact between rigid and deformable objects based on penalty method with implicit time integration
Hui et al. Soft tissue simulation with bimanual force feedback
Feng et al. Dual quaternion blending algorithm and its application in character animation
Constantinescu et al. Local model of interaction for haptic manipulation of rigid virtual worlds
van Zijl et al. The development of a generic signing avatar
Hou et al. A prediction method using interpolation for smooth six-DOF haptic rendering in multirate simulation
CN118447135B (zh) 一种对人体2d图像进行3d姿态还原的方法与装置
Li et al. Hierarchical spatial hashing‐based collision detection and hybrid collision response in a haptic surgery simulator
CN117289796B (zh) 基于触觉手套的复杂装备高交互混合现实系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant