CN112486319B - 基于触觉渲染设备的vr交互方法、装置、设备及介质 - Google Patents
基于触觉渲染设备的vr交互方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112486319B CN112486319B CN202011357888.6A CN202011357888A CN112486319B CN 112486319 B CN112486319 B CN 112486319B CN 202011357888 A CN202011357888 A CN 202011357888A CN 112486319 B CN112486319 B CN 112486319B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- environment
- preset
- hip
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003993 interaction Effects 0.000 title claims abstract description 50
- 230000002452 interceptive effect Effects 0.000 claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 20
- 239000000523 sample Substances 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000013461 design Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000007654 immersion Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013016 damping Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于触觉渲染设备的VR交互方法、装置、设备及介质。通过在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系，然后，在全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，反馈力用于作为触觉渲染设备的力反馈输出，最后，在预设三维平台环境中，根据预设凸分解碰撞检测算法创建VR环境下的凸包围盒，并在VR环境下，根据反馈力以及凸包围盒对待处理模型进行操作，从而使得单点力触觉渲染设备在VR环境下针对机械装配等典型场景中的交互反馈增加真实性。
Description
技术领域
本发明涉及计算机辅助技术领域，尤其涉及一种基于触觉渲染设备的VR交互方法、装置、设备及介质。
背景技术
随着计算机辅助技术的发展，对于力反馈技术逐渐被应用于工业领域，其中，越来越多的触觉渲染设备也被应用于社会生产的方方面面。
其中，针对力触觉渲染使用的弹簧力模型，很早便提出了God-Object这一力触觉渲染模型，并且后人根据其穿刺深度进行了改良，其中，包括力触觉渲染感受接触表面的摩擦力变化，连续反馈力平滑等。
但是，由于受限于各种技术、应用场景特别是硬件设备的原因，力触觉渲染技术一直存在着交互维度少、交互空间受限以及交互反馈不够真实，交互场景受限的问题，没有发挥出力触觉在人机交互中的独有优势。
发明内容
本发明提供一种基于触觉渲染设备的VR交互方法、装置、设备及介质，以丰富力触觉在人机交互中的独有优势。
第一方面，本发明实施例提供一种基于触觉渲染设备的VR交互方法，包括：
在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系；
在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出；
在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作。
在一种可能的设计中，在所述在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系之后，还包括：
在所述全局坐标系下，设置VR交互界面，其中，所述VR交互界面包括显示在所述VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面；
将所述辅助信息界面作为所述VR设备显示器摄像机的子物体；
将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的所述HIP的子物体。
在一种可能的设计中，在所述将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的虚拟触觉探针HIP的子物体之后，还包括：
在所述HIP与所述待处理模型进行交互时，显示信息提示界面。
在一种可能的设计中，所述的触觉渲染设备的VR交互方法，还包括：
绘制实时线条，以绘制选择交互操作模式的按钮引导线条，
响应于用户与所述按钮的交互，以确定所述沉浸式交互操作界面。
在一种可能的设计中，在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，包括：
在所述HIP接触所述待处理模型的表面，并抓取所述待处理模型进行运动时，确定所述HIP的初始速度；
根据所述VHIP位置与所述HIP位置的距离差、所述待处理模型的预设硬度、预设场力以及所述初始速度确定反馈力。
在一种可能的设计中，所述在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作，包括：
获取作用于所述触觉渲染设备操纵杆上的触发指令；
响应于所述触发指令，并根据所述反馈力以及所述凸包围盒对所述待处理模型进行操作。
第二方面，本发明实施例还提供一种基于触觉渲染设备的VR交互装置，包括：
处理模块，在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系；
计算模块，在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出；
创建模块，用于在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
操作模块，用于在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作。
在一种可能的设计中，所述基于触觉渲染设备的VR交互装置，还包括：设置模块，具体用于：
在所述全局坐标系下，设置VR交互界面，其中，所述VR交互界面包括显示在所述VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面；
将所述辅助信息界面作为所述VR设备显示器摄像机的子物体；
将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的所述HIP的子物体。
在一种可能的设计中，所述基于触觉渲染设备的VR交互装置，还包括：显示模块，用于在所述HIP与所述待处理模型进行交互时，显示信息提示界面。
在一种可能的设计中，所述处理模块，还用于：
绘制实时线条，以绘制选择交互操作模式的按钮引导线条，
响应于用户与所述按钮的交互，以确定所述沉浸式交互操作界面。
在一种可能的设计中，所述计算模块，具体用于：
在所述HIP接触所述待处理模型的表面，并抓取所述待处理模型进行运动时，确定所述HIP的初始速度；
根据所述VHIP位置与所述HIP位置的距离差、所述待处理模型的预设硬度、预设场力以及所述初始速度确定反馈力。
在一种可能的设计中，所述处理模块，具体用于：
获取作用于所述触觉渲染设备操纵杆上的触发指令；
响应于所述触发指令，并根据所述反馈力以及所述凸包围盒对所述待处理模型进行操作。
第三方面，本发明实施例还提供一种电子设备，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的基于触觉渲染设备的VR交互方法。
第四方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中任意一种可能的基于触觉渲染设备的VR交互方法。
本发明实施例提供的一种基于触觉渲染设备的VR交互方法、装置、设备及介质，通过在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系，然后，在全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，反馈力用于作为触觉渲染设备的力反馈输出，最后，在预设三维平台环境中，根据预设凸分解碰撞检测算法创建VR环境下的凸包围盒，并在VR环境下，根据反馈力以及凸包围盒对待处理模型进行操作，从而使得单点力触觉渲染设备在VR环境下针对机械装配等典型场景中的交互反馈增加真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互方法的应用场景的示意图；
图2是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互方法的流程示意图；
图3是图2所示实施例中坐标系统一方式示意图；
图4是凸分解方法示意图；
图5是本发明根据另一示例实施例示出的基于触觉渲染设备的VR交互方法的流程示意图；
图6是本发明根据一示例实施例示出的力触觉计算框架示意图；
图7是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互装置的结构示意图；
图8是本发明根据一示例实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互方法的应用场景的示意图。如图1所示，基于触觉渲染设备的VR交互方法所应用的系统包括触觉渲染设备以及VR设备(例如：头戴式VR显示器)，其是视觉(VR设备提供)、触觉(触觉渲染设备提供)、逻辑处理(反馈力计算模块提供)等多个模块的集成。
图2是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互方法的流程示意图。如图2所示，本实施例提供的基于触觉渲染设备的VR交互方法，包括：
步骤101、在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系。
在本步骤中，通过在预设三维平台环境(例如，Unity3D环境)中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系，从而对触觉渲染设备、VR设备以及VR环境下操作面板的第三坐标系进行坐标系统一。
可选的，图3是图2所示实施例中坐标系统一方式示意图。如图3所示，在本实施例中，可以是设置相对固定的VR使用区域及力触觉渲染设备使用区域(例如，可以是桌面级使用)。VR设备(例如：VR头盔)的位置作为局部坐标系原点，并将其对齐到全局坐标系原点，而基于操纵杆的笔试力触觉渲染设备底座的位置为局部坐标系原点需要对齐到VR坐标系的桌面操作区域操作空间。
其次，是虚拟现实交互界面的设置，根据VR设计理论中的头部参考系和躯干参考系，本实施例中提出的交互界面分为显示在屏幕上的辅助信息界面，以及以虚拟探针三维模型(Virtual Haptic Interface Point，简称VHIP)位置为参考的沉浸式交互操作界面。
此外，在全局坐标系下，还可以设置VR交互界面，其中，VR交互界面包括显示在VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面，将辅助信息界面作为VR设备显示器摄像机的子物体，并将沉浸式交互操作界面作为触觉渲染设备的笔式力触觉设备在VR环境下中显示的虚拟触觉探针(Haptic InterfacePoint，简称HIP)。并且，在HIP与模型进行交互时，本实施例中还可以添加了提示信息的界面，同样使用了界面内部实现二维的坐标系。
可选的，本实施例中，在HIP与待处理模型进行交互时，还可以显示信息提示界面。并且，还可以绘制实时线条，以绘制选择交互操作模式的按钮引导线条，并且，响应于用户与按钮的交互，以确定沉浸式交互操作界面
其中，可以是从视口坐标系绘制实时的线条绘制选择交互操作模式的按钮引导线条，以对用户进行更加直观的交互引导。对于绘制引导线条时，坐标转换如下列公式1所示：
其中，在Unity3D环境中使用OpenGL方法绘制可以跟随HIP运动的实时线条，其坐标转换如公式1在按下预设按键，呼出操作界面时记录当前HIP的位置P0(x0,y0,z0)，实时HIP位置为P1(x1,y1,z1)。其中，(Sw,Sh)是当前显示器屏幕的长宽。绘制时需要将当前位置入栈，并设置OpenGL线条的材质，选择正交坐标系，根据公式计算点P′在屏幕上绘制引导线，绘制完成后出栈。
步骤102、在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出。
在本步骤中，在全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，反馈力用于作为触觉渲染设备的力反馈输出。
步骤103、在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
在本步骤中，在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒。
此处，值得说明的，现有技术中对于反馈力的计算是基于弹簧力计算模型。具体的，针对力触觉渲染使用的弹簧力模型，很早便提出了相关的力触觉渲染模型，并且，后续研究人员根据其穿刺深度进行了改良(HIP和VHIP)，包括力触觉渲染感受接触表面的摩擦力变化，连续反馈力平滑等。
设定力触觉渲染设备的HIP，约束其物体到可触摸的虚拟物体表面的VHIP。对于表面歧义，本实施例中使用VHIP进行处理。所谓的VHIP即是在HIP代理的基础上再设置一个三维物体在虚拟环境中代替HIP进行穿刺操作，而HIP则被约束在接触表面，这样计算VHIP与HIP之间的距离即为穿刺深度。但对于穿刺深度的理解还是简单的空间平移直线距离，在实际的使用中不连续以及穿透问题依然存在，需要针对其使用环境添加大量的约束，而在六自由度的操作空间中这些问题尤为突出。为了进一步解决直接反馈力所存在的问题，基于广义穿刺深度的方法被提了出来,并对其进行了不断的优化与改进。
另外对于弹簧力的穿刺深度，定义了广义穿刺深度(PDg)。PDg利用平移与旋转来分离两个重叠的相互作用的交互对象。假设存在两个重叠的多边形A与B，其中A是叠加在B之上的可移动物体，在对A施加了刚性运动之后可以将二者分离。那么由此可以通过定义一个在六自由度的操作空间下的PDg结合相关距离向量去计算将A与B分离所需要的最短距离，如公式2所示：
其中，q是虚拟物体A的局部坐标系，F是世界空间中力触觉渲染设备可以自由活动的世界坐标系，其中，σA(q,o)是6-DOF空间中虚拟物体A在两种坐标系q与o(世界坐标系与局部坐标系)之间定义的距离度量，
用于标识虚拟物体A在其局部坐标系下，内部的任意一点不与B相交。
因此，可以使用最优化方法计算PDg以从B中分离A使用距离度量。通常，可以选择任何距离度量来定义，为了方便计算，一般情况下选择将向量范数用作基础距离度量。通常将在物体A上的两个不同点和之间的向量范数可以由如公式3定义：
其中，x(q)代表配置q中A中的一个点。[q1,q2,q3]表示q0和q1之间的相对方向差四元数的矢量部分；[q4,q5,q6]表示和之间的相对位置差，V是虚拟物体A的体积，I表示A的惯性张量的对角线入口。
而为了实现力触觉渲染的交互操作中经常出现的凹多面体交互，本实施例中采用了经典的凸分解算法进行实现。但是，经典的凸分解算法需要重新拓扑物体的面片结构。凹多面体表面凸分解是将一些复杂的非凸物体的表面逐步分解成由一些较小凸面片所组成的集合，以实现凹面的碰撞检测响应方法，这是一种基于共轭图的搜索方法。
设O为多面体边界面集合，取任意面为种子面，设包含的凸块为A1，，根据如下规则遍历的其余面片，再递归地选取任意种子面，在这个遍历过程中需要满足以下三个条件：
1)当前遍历面片必须是由非凹边组成的；
2)若当前遍历面片存在任意一个与当前凸块所包含面片的相邻点之外的点，则该点对于当前凸块的任意面都是不可见的；
3)将当前遍历面片更新到凸块中时，更新后的凸块不能存在与原凸片上的面的交点。
在遍历分解过后，对于该凹多面体中的面片集合，存在如下关系，如表达式4、5所示：
表达式5中，O为多面体边界面集合，Ai表示第i个凸块所包含的凸面片集合，aj表示第j个凸块的面片。
图4是凸分解方法示意图。如图4所示，定义Seed为种子面,基于轭图搜索算法，首先遍历Seed的相邻面(图中为面P3，P4，P5，P6)进而可由凸分解遍历的三个条件判定出这些相邻面是否与种子面位于同一凸块。在图4中可以发现，Seed与P3，P4，P5属于同一凸面片a，而P6存在凹边从而不满足条件1)。在遍历面的过程中通常采用BFS(广度优先遍历)的方式，在随后遍历到的是P1与P2，对其进行判定是否属于a，由所列条件知：P1存在凹边而P2不满足条件2)，故而经过上述遍历过程可知a包含的边界面有:Seed、P3、P4、P5。同理，当定义P2为Seed时对于遍历面P7，P1可由上述条件分析得到P1与P2同属凸面片b。从以上分解示例可以得出，多边体A为非凸几何体，对其进行表面凸分解后可以得到两个凸面片，进而分别求解凸包即可得到凸体a与凸体b。
步骤104、在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作。
基于约束和阻尼的弹簧力计算，添加阻尼，对力触觉渲染的直接反馈力进行高度仿真优化，然后，通过碰撞检测模块，基于凸分解碰撞检测算法，在Unity3D中，生成凸包围盒，最后，在Unity3D环境下，实现基于触觉渲染的操作模式切换，并对物体进行直接操作。
在本实施例中，通过在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系，然后，在全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，反馈力用于作为触觉渲染设备的力反馈输出，最后，在预设三维平台环境中，根据预设凸分解碰撞检测算法创建VR环境下的凸包围盒，并在VR环境下，根据反馈力以及凸包围盒对待处理模型进行操作，从而使得单点力触觉渲染设备在VR环境下针对机械装配等典型场景中的交互反馈增加真实性。
图5是本发明根据另一示例实施例示出的基于触觉渲染设备的VR交互方法的流程示意图。如图5所示，本实施例提供的基于触觉渲染设备的VR交互方法，包括：
步骤201、在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系。
在本步骤中，通过在预设三维平台环境(例如，Unity3D环境)中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系，从而对触觉渲染设备、VR设备以及VR环境下操作面板的第三坐标系进行坐标系统一。
可选的，图3是图2所示实施例中坐标系统一方式示意图。如图3所示，在本实施例中，可以是设置相对固定的VR使用区域及力触觉渲染设备使用区域(例如，可以是桌面级使用)。VR设备(例如：VR头盔)的位置作为局部坐标系原点，并将其对齐到全局坐标系原点，而基于操纵杆的笔试力触觉渲染设备底座的位置为局部坐标系原点需要对齐到VR坐标系的桌面操作区域操作空间。
其次，是虚拟现实交互界面的设置，根据VR设计理论中的头部参考系和躯干参考系，本实施例中提出的交互界面分为显示在屏幕上的辅助信息界面，以及以虚拟探针三维模型(Virtual Haptic Interface Point，简称VHIP)位置为参考的沉浸式交互操作界面。
此外，在全局坐标系下，还可以设置VR交互界面，其中，VR交互界面包括显示在VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面，将辅助信息界面作为VR设备显示器摄像机的子物体，并将沉浸式交互操作界面作为触觉渲染设备的笔式力触觉设备在VR环境下中显示的虚拟触觉探针(Haptic InterfacePoint，简称HIP)。并且，在HIP与模型进行交互时，本实施例中还可以添加了提示信息的界面，同样使用了界面内部实现二维的坐标系。
可选的，本实施例中，在HIP与待处理模型进行交互时，还可以显示信息提示界面。并且，还可以绘制实时线条，以绘制选择交互操作模式的按钮引导线条，并且，响应于用户与按钮的交互，以确定沉浸式交互操作界面
其中，可以是从视口坐标系绘制实时的线条绘制选择交互操作模式的按钮引导线条，以对用户进行更加直观的交互引导。对于绘制引导线条时，坐标转换如下列公式1所示：
其中，在Unity3D环境中使用OpenGL方法绘制可以跟随HIP运动的实时线条，其坐标转换如公式1在按下预设按键，呼出操作界面时记录当前HIP的位置P0(x0,y0,z0)，实时HIP位置为P1(x1,y1,z1)。其中，(Sw,Sh)是当前显示器屏幕的长宽。绘制时需要将当前位置入栈，并设置OpenGL线条的材质，选择正交坐标系，根据公式计算点P′在屏幕上绘制引导线，绘制完成后出栈。
步骤202、在所述HIP接触待处理模型的表面，并抓取待处理模型进行运动时，确定HIP的初始速度。
步骤203、根据VHIP位置与HIP位置的距离差、待处理模型的预设硬度、预设场力以及初始速度确定反馈力。
图6是本发明根据一示例实施例示出的力触觉计算框架示意图，如图6所示，进行触觉渲染只考虑虚拟的反馈力和运动对象上的扭矩反馈，并由触觉设备输出。在每一帧开始前，首先需要先判断是否与物体交互，当HIP触摸到虚拟物体表面，并抓取物体进行运动时，需要对HIP的初始速度进行预处理。本步骤中，初步计算出反馈力，最后，由于真实世界的高还原度仿真需求，将适当的重力G作为场力，整合计算出力触觉结果，最终公式如下：
其中，Δx是HIP与VHIP的距离差，k是触摸对象的硬度，本步骤中设置实验虚拟物体是理想刚体，因此k取值为1。
对于扭矩力Tuser计算，ξ是旋转刚性，ω是旋转轴，Δθ是旋转角在两帧之间的差。
此外，还需要对真实的虚拟现实场景运行前进行预处理，可以是在Unity3D中获取三维模型的网格数据Mesh.mesh，其中点的集合为Vertex[]数组，法线集合为normal[]数组。根据顶点集合找出面片集合PlaneV[,,]。再根据面片集合及其对应法线，判定相邻面的不共面顶点是否可见，如可见则加入凸包子集集合TMesh[]，并对上述的凸包子集，生成包围盒(BoxColider)，并添加刚体(Rigidibody)组件，不勾选重力选项，即不使用引擎自带的重力系统。
步骤204、获取作用于触觉渲染设备操纵杆上的触发指令。
步骤205、响应于所述触发指令，并根据反馈力以及凸包围盒对待处理模型进行操作。
可选的，针对具有两个按钮的对单点基于操纵杆的力触觉渲染设备，其中，设置靠近笔尖的按钮为按钮1，靠近笔杆的按钮为按钮2。按钮2按下时获取当前笔尖的位置P(x，y，z)，以P点位中心呼出操作UI界面，长按按钮2移动HIP，笔尖点击相应按钮则呼出该按钮对应的次级选择按钮，继续长按按钮2移动HIP，笔尖点击相应按钮则对物体的相应轴进行分离冻结。
图7是本发明根据一示例实施例示出的基于触觉渲染设备的VR交互装置的结构示意图。如图7所示，本实施例提供的基于触觉渲染设备的VR交互装置300，包括：
处理模块301，在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系；
计算模块302，在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出；
创建模块303，用于在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
操作模块304，用于在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作。
在一种可能的设计中，所述基于触觉渲染设备的VR交互装置，还包括：设置模块305，具体用于：
在所述全局坐标系下，设置VR交互界面，其中，所述VR交互界面包括显示在所述VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面；
将所述辅助信息界面作为所述VR设备显示器摄像机的子物体；
将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的所述HIP的子物体。
在一种可能的设计中，所述基于触觉渲染设备的VR交互装置，还包括：显示模块306，用于在所述HIP与所述待处理模型进行交互时，显示信息提示界面。
在一种可能的设计中，所述处理模块304，还用于：
绘制实时线条，以绘制选择交互操作模式的按钮引导线条，
响应于用户与所述按钮的交互，以确定所述沉浸式交互操作界面。
在一种可能的设计中，所述计算模块302，具体用于：
在所述HIP接触所述待处理模型的表面，并抓取所述待处理模型进行运动时，确定所述HIP的初始速度；
根据所述VHIP位置与所述HIP位置的距离差、所述待处理模型的预设硬度、预设场力以及所述初始速度确定反馈力。
在一种可能的设计中，所述处理模块304，具体用于：
获取作用于所述触觉渲染设备操纵杆上的触发指令；
响应于所述触发指令，并根据所述反馈力以及所述凸包围盒对所述待处理模型进行操作。
以上各个虚拟可以被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
值得说明的，图8所示实施例提供的基于触觉渲染设备的VR交互装置，可用于执行上述图2-图5所示实施例提供的基于触觉渲染设备的VR交互方法，具体实现方式和技术效果类似，这里不再赘述。
图8是本发明根据一示例实施例示出的电子设备的结构示意图。如图8所示，本实施例提供的一种电子设备400，包括：
处理器401；以及，
存储器402，用于存储所述处理器的可执行指令，该存储器还可以是flash(闪存)；
其中，所述处理器401配置为经由执行所述可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器402既可以是独立的，也可以跟处理器401集成在一起。
当所述存储器402是独立于处理器401之外的器件时，所述电子设备400，还可以包括：
总线403，用于连接所述处理器401以及所述存储器402。
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于触觉渲染设备的VR交互方法，其特征在于，包括：
在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系；
在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出；
在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作；
在所述在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系之后，还包括：
在所述全局坐标系下，根据VR设计理论中的头部参考系和躯干参考系设置VR交互界面，其中，所述VR交互界面包括显示在所述VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面；
将所述辅助信息界面作为所述VR设备显示器摄像机的子物体；
将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的虚拟触觉探针HIP的子物体；
在所述HIP与所述待处理模型进行交互时，显示信息提示界面；
所述方法还包括：
在预设三维平台环境中绘制实时线条，以绘制选择交互操作模式的按钮引导线条，
响应于用户与所述按钮的交互，以确定所述沉浸式交互操作界面。
2.根据权利要求1所述的基于触觉渲染设备的VR交互方法，其特征在于，在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，包括：
在所述HIP接触所述待处理模型的表面，并抓取所述待处理模型进行运动时，确定所述HIP的初始速度；
根据所述VHIP位置与所述HIP位置的距离差、所述待处理模型的预设硬度、预设场力以及所述初始速度确定反馈力。
3.根据权利要求1或2所述的基于触觉渲染设备的VR交互方法，其特征在于，所述在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作，包括：
获取作用于所述触觉渲染设备操纵杆上的触发指令；
响应于所述触发指令，并根据所述反馈力以及所述凸包围盒对所述待处理模型进行操作。
4.一种基于触觉渲染设备的VR交互装置，其特征在于，包括：
处理模块，在预设三维平台环境中，对触觉渲染设备的第一坐标系、VR设备的第二坐标系以及VR环境下操作面板的第三坐标系进行统一，以确定全局坐标系；
计算模块，在所述全局坐标系下，确定根据虚拟触觉探针HIP的初始速度以及预设算法确定反馈力，所述反馈力用于作为所述触觉渲染设备的力反馈输出；
创建模块，用于在所述预设三维平台环境中，根据预设凸分解碰撞检测算法创建所述VR环境下的凸包围盒；
操作模块，用于在所述VR环境下，根据所述反馈力以及所述凸包围盒对待处理模型进行操作；
还包括：
设置模块，具体用于：
在所述全局坐标系下，根据VR设计理论中的头部参考系和躯干参考系设置VR交互界面，其中，所述VR交互界面包括显示在所述VR设备屏幕上的辅助信息界面，以及以虚拟探针三维模型VHIP位置为参考的沉浸式交互操作界面；
将所述辅助信息界面作为所述VR设备显示器摄像机的子物体；
将所述沉浸式交互操作界面作为所述触觉渲染设备的笔式力触觉设备在所述VR环境下中显示的所述HIP的子物体；
在所述HIP与所述待处理模型进行交互时，显示信息提示界面；
在预设三维平台环境中绘制实时线条，以绘制选择交互操作模式的按钮引导线条，
响应于用户与所述按钮的交互，以确定所述沉浸式交互操作界面。
5.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至3任一项所述的基于触觉渲染设备的VR交互方法。
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至3任一项所述的基于触觉渲染设备的VR交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011357888.6A CN112486319B (zh) | 2020-11-27 | 2020-11-27 | 基于触觉渲染设备的vr交互方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011357888.6A CN112486319B (zh) | 2020-11-27 | 2020-11-27 | 基于触觉渲染设备的vr交互方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112486319A CN112486319A (zh) | 2021-03-12 |
| CN112486319B true CN112486319B (zh) | 2023-04-18 |
Family
ID=74935916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011357888.6A Active CN112486319B (zh) | 2020-11-27 | 2020-11-27 | 基于触觉渲染设备的vr交互方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112486319B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096226B (zh) * | 2021-03-19 | 2023-06-20 | 华南理工大学 | 一种基于gps的螺栓虚拟装配力觉渲染方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615072B (zh) * | 2009-06-18 | 2010-12-29 | 东南大学 | 基于从图像灰度恢复形状技术的纹理力触觉再现方法 |
| CN104765451B (zh) * | 2015-03-31 | 2017-11-24 | 浙江理工大学 | 一种双交互触点力触觉生成方法 |
| CN109917911B (zh) * | 2019-02-20 | 2021-12-28 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
| CN111897427A (zh) * | 2020-07-29 | 2020-11-06 | 东南大学 | 基于触觉感知仿生特性的硬度触觉再现方法 |
-
2020
- 2020-11-27 CN CN202011357888.6A patent/CN112486319B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112486319A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7084869B2 (en) | Methods and apparatus for detecting and correcting penetration between objects | |
| Huang et al. | A gesture system for graph visualization in virtual reality environments | |
| EP2313826B1 (en) | Physics simulation-based interaction for surface computing | |
| JP6282798B2 (ja) | 工作物の機械加工のシミュレーション | |
| KR101318244B1 (ko) | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 | |
| US9881417B2 (en) | Multi-view drawing apparatus of three-dimensional objects, and method | |
| Schmidt et al. | Sketching and composing widgets for 3d manipulation | |
| Ng et al. | Integrated product design and assembly planning in an augmented reality environment | |
| US10895950B2 (en) | Method and system for generating a holographic image having simulated physical properties | |
| JPH11328233A (ja) | 干渉チェック装置および方法 | |
| CN111665933A (zh) | 虚拟或者增强现实中的对象操作方法及装置 | |
| US11567579B2 (en) | Selection of an edge with an immersive gesture in 3D modeling | |
| Huang et al. | Conceptual three-dimensional modeling using intuitive gesture-based midair three-dimensional sketching technique | |
| Nasim et al. | Physics-based interactive virtual grasping | |
| Homps et al. | Revivd: Exploration and filtering of trajectories in an immersive environment using 3d shapes | |
| CN112486319B (zh) | 基于触觉渲染设备的vr交互方法、装置、设备及介质 | |
| Matthews et al. | Shape aware haptic retargeting for accurate hand interactions | |
| JP2021119452A (ja) | ３ｄモデリングにおける没入型ジェスチャを用いた頂点の選択 | |
| Saremi et al. | Optimisation Algorithms for Hand Posture Estimation | |
| Varga et al. | Survey and investigation of hand motion processing technologies for compliance with shape conceptualization | |
| Sobota et al. | On building an object-oriented parallel virtual reality system | |
| WO2003031005A2 (en) | Methods and apparatus for detecting and correcting penetration between objects | |
| US11822727B2 (en) | Selection of a face with an immersive gesture in 3D modeling | |
| Chen et al. | A conformal geometric algebra method for virtual hand modeling and interaction | |
| Akgunduz et al. | Two-step 3-dimensional sketching tool for new product development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |