CN111665933A - 虚拟或者增强现实中的对象操作方法及装置 - Google Patents
虚拟或者增强现实中的对象操作方法及装置 Download PDFInfo
- Publication number
- CN111665933A CN111665933A CN202010152722.4A CN202010152722A CN111665933A CN 111665933 A CN111665933 A CN 111665933A CN 202010152722 A CN202010152722 A CN 202010152722A CN 111665933 A CN111665933 A CN 111665933A
- Authority
- CN
- China
- Prior art keywords
- virtual
- finger
- hand
- augmented reality
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 22
- 239000002245 particle Substances 0.000 claims description 39
- 210000001145 finger joint Anatomy 0.000 claims description 7
- 230000035515 penetration Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 5
- 210000003811 finger Anatomy 0.000 description 73
- 238000010586 diagram Methods 0.000 description 10
- 210000001503 joint Anatomy 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004553 finger phalanx Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000012798 spherical particle Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于提供触觉反馈的手动作捕捉装置的在虚拟/增强现实中操作对象的方法及装置。根据本实施例的一侧面，一种在虚拟或者增强现实中操作对象的方法，该方法以提供触觉反馈的手动作捕捉装置为基础，其特征在于，所述方法包括以下步骤：从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动；感知所述调节的虚拟手与虚拟对象间的接触；以及如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，所述虚拟手是按照各使用者分别进行建模的。
Description
技术领域
本发明涉及一种基于提供触觉反馈的手动作捕捉装置的虚拟/增强现实中的对象操作方法及装置。
背景技术
该部分记载的内容仅用于提供本发明的背景信息，而不构成现有技术。
随着技术的发展，对于虚拟现实或者增强现实的关注也随之增加。虚拟现实(Virtual Reality)将图像、周边背景、客体全部制作并展示成虚拟的图像形式。相反，增强现实(Augmented Reality)以真实世界的实际模样为主，而只把附加信息制作并展示成虚拟形式。虚拟现实和增强现实都应该使使用者产生好似与虚拟的对象进行相互作用的感觉。
与此相关地，开发有作为可供使用者看虚拟图像的装置的HMD(Head MountedDevice)、用于与虚拟对象进行相互作用的遥控器等。为了提高虚拟现实或者增强现实中的真实感，虚拟对象的构成及图像质量固然重要，特别地，使用者与虚拟对象间的相互作用也十分重要。由于使用者用手把持前面所述的开发的遥控器并使用，因此这种遥控器在识别所述使用者的具体动作的过程中存在局限性。由此为了克服这种局限性，另一技术正在开发着。例如，有在手指上粘贴光学测标(marker)并用照相机跟踪或者利用各种传感器测定手指活动的技术等。但是，这种技术由于在实际使用者手的活动与虚拟手的活动中产生时间或者空间上的差异(gap)，因此需要操作虚拟对象时会使使用者的真实感下降。为了尽可能地提高真实感需要更多的传感器，由此造成价格上升、数据处理量增加等问题产生，因此需要其他解决方案。
此外，为了使使用者具有好似与虚拟对象进行相互作用的感觉，触觉(Haptic)技术，即能够使使用者感受触觉(觸感)的′计算机触觉技术十分重要。初期的触觉接口装置的形态为手套形态，所述装置为不向使用者生成触觉的信息，而只向虚拟环境传递手势信息的装置。然而，只向虚拟环境传递手的动作信息的手套由于没有包括用于认知虚拟环境的对象的重要要素中一个的触觉要素，因此很难使接触虚拟环境的使用者的沉浸感最大化。后来，随着触觉技术的发展和研究，能够向使用者传送触觉的触觉手套技术得到了长足的发展。然而，到目前为止，在虚拟现实及混合现实空间中的虚拟对象的操作，由于使用者不能衡量准确的深度且不同于真实世界不存在基于物理接触的感觉，因此真实情况很难再现真实感受。
发明内容
【技术问题】
本实施例的主要目的在于，提供一种在虚拟或者增强现实中基于提供触觉反馈的手动作捕捉装置的对象操作方法及其装置。
【解决的技术方案】
根据本实施例的一侧面，一种在虚拟或者增强现实中操作对象的方法，该方法基于提供触觉反馈的手动作捕捉装置，其特征在于，所述方法包括以下步骤：从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动；感知所述调节的虚拟手与虚拟对象间的接触；以及如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，所述虚拟手是按照各使用者分别进行建模的。
根据本实施例的另一侧面，一种在虚拟或者增强现实中操作对象的装置，所述装置基于提供触觉反馈的手动作捕捉装置，其特征在于，所述对象操作装置包括：输入部，其从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；控制部，其基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动，并感知所述调节的虚拟手与虚拟对象的接触；以及输出部，其如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，所述控制部按照使用者分别对所述虚拟手进行建模。
【发明效果】
根据如上所述的本实施例，通过判断虚拟手与虚拟对象间的接触，可根据相互作用情况调节反馈的强度并提供给使用者。
根据本实施例，在虚拟现实或者增强现实中可通过利用建模而成的自身的手来提高使用者的真实感和准确度。
附图说明
图1是图示根据本公开实施例的安装有用于捕捉手动作的手动作装置的手和手指活动的图。
图2是图示根据本公开实施例的用于估算手指活动的原理图。
图3是图示根据本公开一实施例的用于按使用者分别建模所需的手的位置图。
图4是图示根据本公开一实施例的在基于真实的手建模的虚拟手上形成物理颗粒的图。
图5是图示本公开一实施例涉及的基于提供触觉反馈的手动作捕捉装置在虚拟或者增强现实中操作对象的方法的流程图。
图6是图示本公开一实施例涉及的基于提供触觉反馈的手动作捕捉装置在虚拟或者增强现实中操作对象的装置的结构图。
具体实施方式
以下参照附图对本发明的实施例进行详细说明如下。标注附图标记时，即使相同技术特征在不同的附图中出现，也尽可能使用了相同的附图标记。而且，还要注意，在通篇说明书中，如果认为对相关已知的技术特征和功能的具体说明可能会导致本发明主题不清楚，则省略其详细说明。
此外，说明本发明时，可以使用第一、第二、A、B、(a)、(b)等用语。这些用语仅仅是为了区分相应技术特征与其他技术特征，并非限定其本质、次序或顺序等。贯穿说明书全文，如果一技术特征“包括”、“具备”另一技术特征，如果没有特殊地相反的记载，可理解为一技术特征还包括另一技术特征，而不应理解为一技术特征排斥另一技术特征。此外，说明书中记载的′…部′，′模块′等用语是指能够处理至少一个功能或者动作的单位，这可由硬件或者软件或者硬件及软件的结合的方式实施。
此外，本公开中可混用手与英文标注的手，用语“活动”与“动作”。而且，本公开中可能将手指与手掌相遇的关节称之为手指原点。
首先，对利用从提供触觉反馈的手动作捕捉装置获取的数据估算手指的活动的方法进行说明。
图1是图示根据本公开实施例的安装有用于捕捉手动作的手动作装置的手和手指活动的图。
提供触觉反馈的手动作捕捉装置的传感器位于手指的特定部位，并由此接收数据。此时，所述传感器可以是三维磁传感器(magnetic sensor)、位置传感器、光学传感器、加速度传感器、陀螺传感器等，但不限于此。本公开中将以三维磁传感器为例子进行说明。参照图1(a)，所述手指的特定部位可以是手指原点110和手指尖的关节。构成所述手动作捕捉装置的外骨骼手指部的各旋转关节(rotational joint)的角度可通过所述传感器输入的数据得到。手指原点110的位置是与外骨骼手指部的原点115相同的、事先设定的数值，基于从所述传感器获得的外骨骼手指部的各旋转关节的角度，利用正向运动学(FK(forwardkinematics))进行计算，从而可估算外骨骼手指部的尖端135的位置。此时，假设外骨骼手指部的尖端的位置与手指尖端130相同，基于这种假设，利用逆向运动学(IK(inversekinematics)解算器)最终计算中间关节的位置，从而估算手指各关节的位置。即，对从所述传感器接收的数据依次适用正向运动学和逆向运动学可估算实际手指的活动。进而，通过利用所述手动作捕捉装置，并采用正向运动学还可以掌握指节的长度。
图1的(b)和图1的(c)图示了可能进行的手指活动。具体地，图1的(b)图示了摇动120(yaw)，其作为手指原点活动。图1的(c)图示了倾斜140、150及160(pitch)，其作为手指各关节和手指原点的另一活动。
图2是图示根据本公开实施例的用于估算手指活动的原理图。
为了估算手指的活动，利用与真实的手对应的虚拟手。首先，以虚拟手指的原点坐标系为基准，显示虚拟手指尖端的位置与旋转变换矩阵(rotational matrix)，并计算所述手指尖端的位置和原点。然后以所述手指尖端O的局部坐标系为基准，利用朝手指延伸的方向形成的轴计算关节A的位置。利用所述计算的关节的位置，计算手指原点的摇动角度210(θ1)。
以所述计算的手指原点的摇动角度210旋转所述手指尖端的位置及与其邻近的关节A的位置，并以二维坐标系为基准计算倾斜角度。
具体地，由于是已知手指各指节的长度的状态，对三角形OAE采用第二余弦法则，计算手指剩余关节的倾斜角度(θ3、θ4)。
然后，由于已知手指尖端的位置及与其邻近的关节的位置，根据三角形的原理以手指原点的坐标系为基准可计算虚拟手指尖端的角度(θtotal)。
利用所述计算的虚拟手指尖端的角度，计算手指关节的倾斜角度(θ2)。可利用以下的[数学公式1]计算所述手指关节的倾斜角度(θ2)。
【数学公式1】
θ2＝θtotal-θ4-θ3
最后，由于已知各手指的旋转角度及指节长度，通过正向运动学(forwardkinematics)可计算各手指关节及尖端的位置。
图3是图示根据本公开一实施例的用于按照使用者分别建模所需的手的位置图。
测定所述手的位置的方法有利用接附有传感器的手套、将传感器直接附到手上的方式等的传感器直接测定位置的方法和分析利用图像传感器拍摄的图像的方法等。此外，也可利用用于测定手的外骨骼而制作的其他装置例如，提供触觉反馈的手动作捕捉装置来测定所需的手的位置。基于部分测定方法时，可实时地获得位置信息。所述待测的位置可以是关节的位置及各手指的尖端。
具体地，以手腕的关节○为中心测定骨头间关节的位置●和各手指尖端◎的数值，并可利用此数值计算建模所需的信息。所述关节的位置和各手指尖端的位置可显示为以手腕的关节○为中心的相对坐标值，也可显示为三维坐标值。手的建模所需的信息为组成手掌和各手指的骨头的宽度、厚度、长度。然而，各手指可视为宽度和厚度相同的圆柱的形态。
图3中手掌的宽度是食指的第一关节至小拇指的第一关节的距离310，所述手掌的厚度是拇指的第一关节至小拇指的第一关节的距离320，所述手掌的长度是从手腕的关节至中指的第一关节的距离330。就手指来看，手指的宽度340和厚度可利用测定的关节的位置的数值计算得到，长度可以是关节之间的距离350。
本公开涉及的虚拟手的建模方法不是利用测定的位置数值建新的模型，而是变更任意的虚拟手，即调节任意的虚拟手。例如，任意的虚拟手的手指如果比真实的手的手指长，则调短，如果任意的虚拟手掌比真实的手掌厚，则调薄，从而将所述任意的虚拟手建模成与真实的手一样。
图4是图示根据本公开一实施例的在基于真实的手建模的虚拟手上形成物理颗粒的图。
本公开中利用物理引擎判断对真实的手建模而得的虚拟手与虚拟对象间的相互作用，并生成虚拟手的物理模型。此时，如果将实时变形的虚拟手的全部网格(Mesh)数据生成为物理颗粒(物理对象)，则存在需要消耗大量的计算时间的问题。即，每只手约有8000个网格索引(Mesh Index)，如果反映实时变化的所有网格索引的位置来更新全部虚拟手物理模型，则物理引擎的计算量出现超负荷，从而无法实现实时处理。
因此，如图4，本公开中只在当使用者执行手势时主要接触的网格索引上生成物理颗粒420，利用多个物理颗粒420执行物理相互作用过程。本公开中物理颗粒420的物理属性用运动学对象(Kinematic Object)进行定义，从而可真实地实现真实世界上发生的各种手势。
本公开的物理颗粒420是具有任意的形状的小尺寸的粒子。本公开中通过在手指终端指节上密集地分布物理颗粒420而在手掌的整个面积上均匀地分布，所述手指终端指节是执行手势时主要接触的网格索引，从而即使利用非全部网格数据的较少数量的对象，也能够获得与利用全部网格数据的方法类似水平的物理相互作用结果。本公开通过利用各物理颗粒420与虚拟对象间的接触(冲突)信息，将适用于各种执行动作的运算法则中。而且，本公开可适当地分布物理颗粒420，从而足够使这种动作运算法则的应用顺畅进行，且不至于由于其数值过多导致物理引擎计算速度下降。这可通过实验推导出数值，作为一例，两手上总共可分散地布置约130个的物理颗粒420。
此外，多个物理颗粒420可以是各种形状的粒子，但是为了便于计算，优选为单位大小的球形粒子。所述多个物理颗粒420可具有各种物理量。所述物理量包括多个物理颗粒420相应地布置于虚拟手310的某个手指骨的位置。而且，包括分别作用在多个物理颗粒420上的力的大小及方向。多个物理颗粒420还可具有摩擦系数、弹性系数等物理量。
本公开中虚拟手的物理颗粒420判断是否与虚拟对象发生接触。本公开中将AABB(Axis-Aligned Bounding Box)碰撞感知法作为判断物理颗粒420与虚拟对象的接触与否的方法。
图5是图示本公开一实施例涉及的基于提供触觉反馈的手动作捕捉装置在虚拟或者增强现实中操作对象的方法的流程图。
从所述手动作捕捉装置接收手指的特定位置的传感器的数值(S510)。所述传感器可以是三维磁传感器(3D magnetic sensor)，所述传感器的位置可以是手指尖端和手指的原点。
基于所述接收的传感器的数值估算所述手指的活动并调节虚拟手的活动(S520)。即，基于所述接收的传感器的数值估算所述手指的活动。具体地，可估算所述手指原点的摇动和所述手指关节的倾斜。为了与所述估算的手指的活动对应，对所述虚拟手的活动进行调节。所述虚拟手可基于所述传感器的数值，按照使用者分别进行建模。或者，所述虚拟手可以是另行按照使用者建模而形成的。
感知所述调节的虚拟手与虚拟对象间的接触(S530)。具体地，可以是在所述虚拟手执行手势时接触的索引上布置多个物理颗粒，并感知所述物理颗粒中与所述虚拟对象发生接触的物理颗粒是哪一个。
如感知到与所述虚拟对象发生接触，则利用所述手动作捕捉装置向所述使用者提供反馈(S540)。基于接触所述虚拟对象的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离，可以用振动强度向所述使用者提供反馈。例如，只向接触所述虚拟对象的所述物理颗粒所在的手指上提供反馈，也可以向各手指提供不同的反馈。
图5中虽然记载了依次执行步骤S510至S540，但是，这只是用于举例说明本发明一实施例的技术思想。换句话说，对于本发明一实施例所属的技术领域具有一般知识的技术人员而言，在不超出本发明一实施例的本质的特征范围内，可修改图5中记载的顺序，或者并列执行从S510至S540过程中的至少一个过程，以此进行各种修改和变形，所以图5并不限于时间顺序。
另外，图5中图示的步骤可在计算机可读的记录介质上以计算机可读的编码形式实现。计算机可读的记录介质可包括储存有基于计算机系统可读的数据的所有种类的记录装置。即，计算机可读记录介质可包括磁性储存介质(例如，只读存储器、软盘、硬盘等)、光学可读介质(例如，CD-RDOM、DVD等)及载波(例如，通过互联网的传输)的存储介质。此外，计算机可读介质分散在通过网络连接的计算机系统中且以分散方式储存可供计算机读取的编码并执行。
图6是图示本公开一实施例涉及的基于提供触觉反馈的手动作捕捉装置在在虚拟或者增强现实中操作对象的装置的结构图。
图6中虽然分多个技术特征进行说明，但是多个技术特征可整合为一个技术特征或者将一个技术特征分为多个技术特征。
所述对象操作装置可由输入部610、控制部620及输出部630构成。
输入部610从所述手动作捕捉装置接收手指的特定位置的传感器的数值。具体地，接收的传感器的数值可以是手指原点和尖端的x、y、z轴的旋转角度。
控制部620基于所述传感器的数值估算所述手指的活动，并调节虚拟手的活动。即，基于所述接收的传感器的数值，估算所述手指的活动。换而言之，可估算所述手指原点的摇动和所述手指关节的倾斜。调节所述虚拟手的活动，以使其与所述估算的手指的活动对应。所述虚拟手可以是基于所述传感器的数值按照使用者分别进行建模的。或者，所述虚拟手可以是另行按照使用者建模而形成的。
此外，控制部620感知所述调节的虚拟手与虚拟对象间的接触。可以是在所述虚拟手执行手势时接触的索引上布置多个物理颗粒，并感知所述物理颗粒中与所述虚拟对象发生接触的物理颗粒是哪一个。
输出部630如果感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈。基于接触所述虚拟对象的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象的接触时的穿透距离，可用振动强度向所述使用者提供反馈。例如，只向接触所述虚拟对象的所述物理颗粒所在的手指上提供反馈，也可以向各手指提供不同的反馈。而且，可向与所述物理颗粒位置对应的位置提供反馈。
以上说明，只是用于举例说明本实施例的技术思想而已，对于本实施例所属技术领域中具有一般技术知识的技术人员而言，在不超出本实施例的本质特征的范围内可进行各种修改及变形。因此，本实施例并非用于限定本实施例的技术思想而是用于说明，本实施例的技术思想的范围不受限于所述实施例。本实施例的保护范围应基于权利要求书进行解释，且与其处于等同范围内的所有技术思想皆应属于本实施例的权利范围。
Claims (12)
1.一种在虚拟或者增强现实中操作对象的方法，该方法以提供触觉反馈的手动作捕捉装置为基础，其特征在于，所述方法包括以下步骤：
从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；
基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动；
感知所述调节的虚拟手与虚拟对象间的接触；以及
如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，
所述虚拟手是按照使用者分别进行建模的。
2.如权利要求1所述的在虚拟或者增强现实中操作对象的方法，其特征在于，
还包括基于所述传感器的数值对所述虚拟手进行建模的步骤。
3.如权利要求1所述的在虚拟或者增强现实中操作对象的方法，其特征在于，
感知所述调节的虚拟手与虚拟对象间接触的步骤是,
在所述虚拟手执行手势时接触的索引上布置多个物理颗粒，并感知所述物理颗粒是否与所述虚拟对象接触的步骤。
4.如权利要求3所述的在虚拟或者增强现实中操作对象的方法，其特征在于，
如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈的步骤是，
基于接触到所述虚拟对象的所述物理颗粒的数量和所述物理颗粒与所述虚拟对象接触时的穿透距离，用振动强度向所述使用者提供反馈的步骤。
5.如权利要求1所述的在虚拟或者增强现实中操作对象的方法，其特征在于，
所述按照使用者分别建模的虚拟手是，
基于所述传感器数值计算所述使用者的手掌的宽度、长度、厚度及手指的长度，且从所述计算的手掌的宽度、长度、厚度及手指的长度估算所述手指的宽度和厚度，并建模形成的。
6.如权利要求1所述的在虚拟或者增强现实中操作对象的方法，其特征在于，
所述估算的手指的活动是指所述手指原点的摇动和所述手指关节的倾斜。
7.一种在虚拟或者增强现实中操作对象的装置，所述装置以提供触觉反馈的手动作捕捉装置为基础，其特征在于，所述对象操作装置包括：
输入部，其从所述手动作捕捉装置接收对手指的特定位置的传感器的数值；
控制部，其基于所述传感器的数值估算所述手指的活动并调节虚拟手的活动，并感知所述调节的虚拟手与虚拟对象的接触；以及
输出部，其如感知到与所述虚拟对象的接触，则利用所述手动作捕捉装置向所述使用者提供反馈，
所述控制部按照使用者分别对所述虚拟手进行建模。
8.如权利要求7所述的在虚拟或者增强现实中操作对象的装置，其特征在于，
所述控制部基于所述传感器的数值对所述虚拟手进行建模。
9.如权利要求7所述的在虚拟或者增强现实中操作对象的装置，其特征在于，
所述控制部在所述虚拟手执行手势时接触的索引上布置多个物理颗粒，并感知所述物理颗粒是否与所述虚拟对象接触。
10.如权利要求9所述的在虚拟或者增强现实中操作对象的装置，其特征在于，
所述输出部，
基于接触到所述虚拟对象的所述物理颗粒的数量和所述物理颗粒与所述虚拟对象接触时的穿透距离，用振动强度向所述使用者提供反馈。
11.如权利要求7所述的在虚拟或者增强现实中操作对象的装置，其特征在于，
所述按照使用者分别建模的虚拟手是，
基于所述传感器数值计算所述使用者的手掌的宽度、长度、厚度及手指的长度，且从所述计算的手掌的宽度、长度、厚度及手指的长度估算所述手指的宽度和厚度，并建模形成的。
12.如权利要求7所述的在虚拟或者增强现实中操作对象的装置，其特征在于，
所述估算的手指的活动是指所述手指原点的摇动和所述手指关节的倾斜。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190026246A KR102269414B1 (ko) | 2019-03-07 | 2019-03-07 | 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치 |
| KR10-2019-0026246 | 2019-03-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111665933A true CN111665933A (zh) | 2020-09-15 |
Family
ID=72336488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010152722.4A Pending CN111665933A (zh) | 2019-03-07 | 2020-03-06 | 虚拟或者增强现实中的对象操作方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200286302A1 (zh) |
| KR (1) | KR102269414B1 (zh) |
| CN (1) | CN111665933A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379771A (zh) * | 2020-10-10 | 2021-02-19 | 杭州翔毅科技有限公司 | 基于虚拟现实的实时交互方法、装置、设备及存储介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7198356B2 (ja) * | 2019-07-01 | 2022-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、及びプログラム |
| US11495003B1 (en) * | 2020-11-30 | 2022-11-08 | A9.Com, Inc. | Placing and manipulating multiple three-dimensional (3D) models using mobile augmented reality |
| KR102540560B1 (ko) | 2020-12-03 | 2023-06-12 | 숭실대학교 산학협력단 | 랜덤 포레스트를 사용한 손 자세의 계층적 추정 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| CN113608619A (zh) * | 2021-08-12 | 2021-11-05 | 青岛小鸟看看科技有限公司 | 增强现实中的裸手操作方法、系统 |
| CN113490063B (zh) * | 2021-08-26 | 2023-06-23 | 上海盛付通电子支付服务有限公司 | 一种用于直播互动的方法、设备、介质及程序产品 |
| KR20230174444A (ko) | 2022-06-21 | 2023-12-28 | 주식회사 하이쓰리디 | 비대면 장비 교육 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9030307B1 (en) * | 2014-09-03 | 2015-05-12 | Center Of Human-Centered Interaction For Coexistence | Apparatus for generating haptic feedback |
| US20160132111A1 (en) * | 2014-11-11 | 2016-05-12 | Helio Technology Inc. | Method of detecting user input in a 3d space and a 3d input system employing same |
| US20180335842A1 (en) * | 2017-05-19 | 2018-11-22 | Axonvr Corporation | Haptic feedback glove |
| KR20190019693A (ko) * | 2017-08-18 | 2019-02-27 | 재단법인 실감교류인체감응솔루션연구단 | 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101639066B1 (ko) * | 2015-07-14 | 2016-07-13 | 한국과학기술연구원 | 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 |
-
2019
- 2019-03-07 KR KR1020190026246A patent/KR102269414B1/ko active IP Right Grant
-
2020
- 2020-03-06 US US16/810,904 patent/US20200286302A1/en not_active Abandoned
- 2020-03-06 CN CN202010152722.4A patent/CN111665933A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9030307B1 (en) * | 2014-09-03 | 2015-05-12 | Center Of Human-Centered Interaction For Coexistence | Apparatus for generating haptic feedback |
| US20160132111A1 (en) * | 2014-11-11 | 2016-05-12 | Helio Technology Inc. | Method of detecting user input in a 3d space and a 3d input system employing same |
| US20180335842A1 (en) * | 2017-05-19 | 2018-11-22 | Axonvr Corporation | Haptic feedback glove |
| KR20190019693A (ko) * | 2017-08-18 | 2019-02-27 | 재단법인 실감교류인체감응솔루션연구단 | 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379771A (zh) * | 2020-10-10 | 2021-02-19 | 杭州翔毅科技有限公司 | 基于虚拟现实的实时交互方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200107311A (ko) | 2020-09-16 |
| KR102269414B1 (ko) | 2021-06-24 |
| US20200286302A1 (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111665933A (zh) | 虚拟或者增强现实中的对象操作方法及装置 | |
| Wang et al. | Real-virtual components interaction for assembly simulation and planning | |
| Dani et al. | Creation of concept shape designs via a virtual reality interface | |
| US5973678A (en) | Method and system for manipulating a three-dimensional object utilizing a force feedback interface | |
| US7191104B2 (en) | Method of real-time collision detection between solid geometric models | |
| US9582933B1 (en) | Interacting with a model via a three-dimensional (3D) spatial environment | |
| US6801187B2 (en) | System and method of interactive evaluation and manipulation of a geometric model | |
| KR101318244B1 (ko) | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 | |
| Ahmad et al. | Hand pose estimation and tracking in real and virtual interaction: A review | |
| Xia | New advances for haptic rendering: state of the art | |
| US10895950B2 (en) | Method and system for generating a holographic image having simulated physical properties | |
| Fiorentino et al. | Improving bi-manual 3D input in CAD modelling by part rotation optimisation | |
| Cui et al. | Mid-air interaction with optical tracking for 3D modeling | |
| JP3722994B2 (ja) | 物体の接触感シミュレーション装置 | |
| Cui et al. | Mid-air gestures for virtual modeling with leap motion | |
| Otaduy et al. | High fidelity haptic rendering | |
| US7155673B2 (en) | System and method of interactive evaluation of a geometric model | |
| Mahdikhanlou et al. | Object manipulation and deformation using hand gestures | |
| Liu et al. | COMTIS: Customizable touchless interaction system for large screen visualization | |
| CN112486319B (zh) | 基于触觉渲染设备的vr交互方法、装置、设备及介质 | |
| US6873944B1 (en) | Method of real time collision detection between geometric models | |
| CN110968183A (zh) | 接触虚拟对象时提供真实物理反馈的方法及其装置 | |
| CN113176822A (zh) | 虚拟用户检测 | |
| JP2000047566A (ja) | 物体の毛並接触感シミュレーション装置 | |
| Liang et al. | A VR-based calligraphy writing system with force reflection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200915 |