CN110968183A - 接触虚拟对象时提供真实物理反馈的方法及其装置 - Google Patents

接触虚拟对象时提供真实物理反馈的方法及其装置 Download PDF

Info

Publication number
CN110968183A
CN110968183A CN201910466690.2A CN201910466690A CN110968183A CN 110968183 A CN110968183 A CN 110968183A CN 201910466690 A CN201910466690 A CN 201910466690A CN 110968183 A CN110968183 A CN 110968183A
Authority
CN
China
Prior art keywords
physical
virtual object
virtual
contact
hand model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910466690.2A
Other languages
English (en)
Inventor
李龙镐
李东明
金旻徹
刘凡材
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Center Of Human Centered Interaction for Coexistence
Original Assignee
Center Of Human Centered Interaction for Coexistence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Center Of Human Centered Interaction for Coexistence filed Critical Center Of Human Centered Interaction for Coexistence
Publication of CN110968183A publication Critical patent/CN110968183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明揭示一种接触虚拟对象时提供真实物理反馈的方法及其装置。根据本发明的一方面，接触虚拟对象时提供真实物理反馈的方法包括以下步骤：在虚拟手模型上分散布置地形成多个物理颗粒；感知所述虚拟手模型的所述物理颗粒是否与虚拟对象接触；以及当判断为所述虚拟手模型的所述物理颗粒与所述虚拟对象接触时，找出发生接触的所述物理颗粒的位置，并向对应于所述位置的手指传递振动；所述振动的强度根据与所述虚拟对象接触的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离而决定。

Description

接触虚拟对象时提供真实物理反馈的方法及其装置
技术领域
本实施例涉及一种接触虚拟对象时提供真实物理反馈的方法及其装置。
背景技术
该部分记载的内容仅用于提供本发明的背景信息，而不构成现有技术。
随着技术的发展，对于虚拟现实或者增强现实的关注也随之增加。虚拟现实(Virtual Reality)将图像、周边背景、客体全部制作成虚拟的图像形式并予以显示。与此相反地，增强现实(Augmented Reality)以真实世界的实际模样为主，只把附加信息制作成虚拟形式并予以显示。虚拟现实和增强现实都应该使使用该技术的使用者产生好似与虚拟的对象进行相互作用的感觉。
为了使使用者具有如上所述的好似与虚拟对象进行相互作用的感觉，能使使用者感受到触觉的'计算机触觉技术'，即触觉(Haptic)技术十分重要。触觉(Haptic)技术源自希腊语中表示'触摸'的形容词'Haptesthai'，是一种操作各种游戏机或者电脑的输入装置如游戏操纵杆、鼠标、键盘、触屏等时让使用者感受振动、运动感、力量等而向使用者提供诸如电脑虚拟体验等更加真实信息的技术。
初期的触觉接口装置，其形状为手套形，不给使用者提供触觉信息，而只向虚拟环境传递手势信息的装置。1989年任天堂开发的接口装置，即任天堂手套即为其例，其使用的方式为，使用者使用所述手套控制虚拟环境更新2D图像信息并且把更新的2D图像信息传递给使用者。然而，所述手套由于没有包括作为认知虚拟环境物体的重要要素之一的触觉要素，因此使用者接触虚拟环境时不能获得最大化的沉浸感。
后来，触觉技术的最近发展和研究使得向使用者传送触觉的触觉手套技术得到了长足的发展，但是对于虚拟现实及混合现实空间中的虚拟对象的操作却因为使用者不能衡量准确深度并且不像真实世界一样地存在着基于物理接触的感觉，因此很难再现真实感。
发明内容
(一)要解决的技术问题
本实施例的主要目的在于，提供一种接触虚拟对象时提供真实物理反馈的方法及其装置，通过物理引擎判断应用于虚拟手模型上的物理颗粒与虚拟对象间的接触后，与相互作用情况匹配地调节振动强度并传递给该手指的振动部，从而再现真实感。
(二)技术方案
根据本实施例的一方面，提供一种接触虚拟对象时提供真实物理反馈的方法，该方法包括：在虚拟手模型上分散布置地形成多个物理颗粒；感知所述虚拟手模型的所述物理颗粒是否与虚拟对象发生接触；以及当判定所述虚拟手模型的所述物理颗粒与所述虚拟对象发生接触时，找出发生接触的所述物理颗粒的位置，并向对应于所述位置的手指传递振动所述振动的强度根据与所述虚拟对象接触的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离而决定。
根据本实施例另一方面，提供一种接触虚拟对象时提供真实物理反馈的装置，该装置包括：输入部，其提供用于虚拟手模型的形成、移动或者变形的输入信息；控制部，其基于所述输入部输入的信息形成并控制虚拟手模型；以及振动部，其安装在至少一个手指尖上，所述控制部包括：物理颗粒形成部，其在虚拟手模型上分散布置地形成多个物理颗粒，接触判断部，其用于判断所述虚拟手模型的所述物理颗粒是否与虚拟对象发生接触，以及振动传递部，当所述接触判断部判断所述虚拟手模型的所述物理颗粒与所述虚拟对象发生接触时，确认所接触的所述物理颗粒的位置，并向对应于所述位置的手指上安装的所述振动部上传递振动；所述振动的强度根据与所述虚拟对象接触的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离而决定。
(三)有益效果
根据如上所述本实施例，通过物理引擎判断应用于虚拟手模型上的物理颗粒与虚拟对象之间的接触后，与相互作用情况匹配地调节振动强度并传递给该手指的振动部，从而具有能够再现真实感的效果。
附图说明
图1是图示接触虚拟对象时提供真实物理反馈的装置的方块结构图。
图2是图示实时变化的虚拟手模型的全部网格(Mesh)数据的图。
图3是图示在虚拟手模型上形成物理颗粒的图。
图4是用于说明本实施例中使用的判断物理颗粒与虚拟对象的接触与否的方法的图。
图5是图示手的骨骼结构的图。
图6是图示作为本实施例的振动部一例的振动致动器安装在手指尖部上的图。
图7是用于说明本实施例的γ函数的图。
图8是图示本实施例的接触虚拟对象时提供真实物理反馈的过程的流程图。
附图标识的说明
100：真实物理反馈装置 110：输入部
120：控制部 121：物理颗粒形成部
122：接触判断部 123：振动传递部
130：振动部 140：索引数据库
300：物理颗粒 310：虚拟手模型
具体实施方式
以下参照附图对本发明的实施例进行详细说明如下。标注附图标记时，即使相同技术特征在不同的附图中出现，也尽可能使用了相同的附图标记。而且，还要注意，在通篇说明书中，如果认为对相关已知的技术特征和功能的具体说明可能会导致本发明主题不清楚，则省略其详细说明。
此外，说明本发明时，可以使用第一、第二、a)、b)等用语。这些用语仅仅是为了区分相应技术特征与其他技术特征，并非限定其本质、次序或顺序等。通篇说明书全文，如果一技术特征“包括”、“具备”另一技术特征，如果没有特殊地相反的记载，可理解为一技术特征还包括另一技术特征，而不应理解为一技术特征排斥另一技术特征。此外，说明书中记载的'…部'，'模块'等用语是指能够处理至少一个功能或者动作的单位，这可由硬件、软件或者硬件及软件的结合的方式实现。
图1是图示接触虚拟对象时提供真实物理反馈的装置的方块结构图。
如图1所示，接触虚拟对象时提供真实物理反馈的装置100可包括输入部110、控制部120、振动部130及索引数据库140等。此处，控制部120可包括物理颗粒形成部121、接触判断部122及振动传递部123等。
本实施例的输入部110向控制部120提供用于虚拟手模型的形成、移动或者变形的输入信息。输入部110可提供虚拟手模型的输入信息，如位置、形状、大小、质量、速度、所施加的力的大小和方向、摩擦系数、弹性系数等物理量。而且，输入部110还可提供用于虚拟手模型的移动或者变形的物理量的变化量，如位置的变化、形状的变化、速度的变化等。
本实施例的输入部110可以是能够识别真实的手形状或者位置等的手识别装置。作为一例，所述输入部110可使用附接了包括跳跃运动(Leap Motion)传感器、照相机之类的影像传感器、RGBD传感器在内的众所周知的各种传感器的手套，用于测量外骨骼的特制装置(例如，手势捕获装置)，或者将传感器直接附接在手上的方式等。此外，包括照相机之类的影像传感器，尤其RGBD传感器在内的众所周知的各种传感器可以作为输入部110使用。
本实施例的输入部110提供用于形成虚拟手模型所需的输入信息。即，输入部110识别真实的手形状并以此为基础类推出真实的手中的骨骼的布置。由此，输入部110可提供用于形成虚拟手模型的骨骼的输入信息。此外，实现虚拟手模型所需要的摩擦系数、质量等也能以预先设定的值提供。
此外，本实施例的输入部110感知真实的手形状和位置的变化，并以此为基础，可提供使虚拟手模型移动或者变形所需的输入信息。此时，当构成虚拟手模型的骨骼和关节的连接及关节的自由度已预先被设定时，输入部110只识别真实的手中的各骨骼的布置角度及关节的位置，从而能够以更加简单的形式提供输入信息。
另外，如上所述，本实施例的输入部110可通过其它传感器识别真实空间上的动作，从而向控制部120提供输入信息，也可以简单地直接设置形状、位置等物理量，以此来向控制部120提供输入信息。
本实施例的控制部120基于从输入部110输入的信息形成虚拟手模型并对其进行控制。
本实施例的控制部120可包括物理颗粒形成部121、接触判断部122及振动传递部123等。此处，物理颗粒形成部121用于在虚拟手模型上分散布置地形成多个物理颗粒。
本实施例中，为了判断虚拟手模型与虚拟对象间的相互作用而使用物理引擎，并在虚拟手模型上生成物理模型。此时，如图2所示，如果将实时变形的虚拟手模型的全部网格(Mesh)数据生成为物理颗粒(物理对象)，则需要很长的计算时间。即，每支手约有9000个网格索引(Mesh Index)，如果通过反映实时变化的所有网格索引的位置对全部虚拟手物理模型进行更新，则物理引擎的计算量将会超负荷，从而不能确保实时性。
因此，如图3所示，本实施例中当使用者执行手势时，只在主要发生接触的网格索引生成物理颗粒300，利用多个物理颗粒300执行物理相互作用的过程。本实施例中，物理颗粒300的物理属性被定义为动态对象(Kinematic Object)，从而能够准确地实现现实中产生的各种手势。
本实施例的多个物理颗粒300是具有任意形状的小粒子。本实施例在执行手势时主要发生接触的作为网格索引的手指尖部上密集地分布物理颗粒300而在整个手掌面积上则均匀地分布，从而即使不利用全部网格数据而利用小于其数量的对象也能够获得类似于利用全部网格数据的方法的物理相互作用结果。本实施例利用各物理颗粒300与虚拟对象间的接触(碰撞)信息来计算对各种执行动作的算法，物理颗粒300的数量足够让这种动作算法的计算顺畅地进行的同时以适当的分布形式分布物理颗粒300而不会因为颗粒数量过多导致物理引擎计算速度下降。这可通过实验导出数值，作为一例，两只手上总共可分散布置约130个物理颗粒300。
此外，多个物理颗粒300可以是各种形状的粒子，但是为了便于计算，优选为单位大小的球形粒子。所述多个物理颗粒300可具有各种物理量。所述物理量包括多个物理颗粒300对应于虚拟手模型310的某一手指骨布置的位置。而且，包括分别作用在多个物理颗粒300上的力的大小及方向。多个物理颗粒300还可具有摩擦系数、弹性系数等物理量。
本实施例的接触判断部122用于判断虚拟手模型的物理颗粒300是否与虚拟对象发生接触。本实施例利用AABB(Axis-Aligned Bounding Box)碰撞感知法作为判断物理颗粒300与虚拟对象接触与否的方法。
图4是用于说明本实施例中使用的判断物理颗粒300与虚拟对象的接触与否的方法的图。
如图4所示，AABB碰撞感知法是指在所有物理客体400上扣上以相同轴方向排列的包围盒410(Bounding Box)，通过实时地确认客体400间的所述包围盒是否重叠来判断接触(碰撞)与否。因此，本实施例的接触判断部122实时地确认布置在虚拟手模型310上的物理颗粒300的包围盒和将与其进行相互作用的虚拟对象的包围盒并判断它们重叠与否，以此感知接触(碰撞)与否。
图4的实施例中，作为判断物理颗粒300与虚拟对象的接触与否的方法，对AABB碰撞感知法进行了说明，但并不限于此。例如，可使用各种众所周知的不同于前述的AABB碰撞感知法的碰撞感知法，如包围盒410不以相同的轴方向固定而是其方向根据物体的状态发生变化的OBB(Object Oriented Bounding Box)碰撞感知法；用球(Sphere)代替包围盒410并将其扣在物理客体400上以判断接触(碰撞)与否的Sphere碰撞感知法以及用凸壳(Convex Hull)代替包围盒410并将其扣在物理客体400上以判断接触(碰撞)与否的ConvexHull碰撞感知法等。即，只要能够判断物理颗粒300与虚拟对象的接触与否，众所周知的任何碰撞感知法都可为本实施例所用。
如果接触判断部122判定虚拟手模型的物理颗粒300与虚拟对象发生接触，则本实施例的振动传递部123找出所接触的物理颗粒300的位置并且向与找出的位置所对应的手指上安装的振动部130传递振动。
即，利用如图5所示的手骨骼结构，当各手指骨附近的物理颗粒300发生接触时，通过向所述手指赋予振动的方式提供真实物理反馈。为此，本实施例可包括索引数据库140，所述索引数据库140包括物理颗粒形成部121生成的物理颗粒300及与其位置匹配联动的骨骼的索引信息。
表1是图示本实施例的索引数据库140中储存的索引信息的例子。
[表1]
物理颗粒号码 手网格索引 骨索引
1 1289 3(左手拇指尖部)
... ... ...
10 3775 6(左手食指尖部)
11 4009 6(左手食指尖部)
... ... ...
130 9562 32(右手掌)
即，当接触判断部122判定物理颗粒号码为10的物理颗粒300与虚拟对象发生接触时，参照索引数据库140，使振动传递部123控制振动部130向左侧食指发送振动。
换句话说，通过接触判断部122的接触感知结果感知到与虚拟对象接触的多个物理颗粒300时判断与其对应的手指，然后向与被判定为发生接触的各手指对应的振动部130传递振动。例如，当只有食指与虚拟对象发生接触时，只向食指振动部130传递振动，当五个手指全部与虚拟对象发生接触时，向所有振动部130传递振动。
如上所述，本实施例可包括安装在至少一个手指尖上的振动部130。本实施例的振动部130可为振动致动器、微型伺服电机、小型振动子或者振动电机等。图6是图示作为本实施例的振动部130一例的振动致动器安装在手指尖上的图。
本实施例根据情况调整并发送传递至振动部130的振动强度，从而提供更真实的物理反馈。在此，振动强度根据与虚拟对象发生接触的物理颗粒300的数量及物理颗粒300与虚拟对象接触时的穿透距离(Penetration Depth)而决定。
首先，接触虚拟对象的物理颗粒300的数量(N)意味着与虚拟对象发生接触的手的面积有多大。此处，为了计算振动的强度，Vn(t)定义为反映了时间t时与虚拟对象发生接触的物理颗粒300的数量的变量，其用数学公式表示如下。
[数学公式1]
Vn(t)＝γ(N(t)，τcount)
Figure BDA0002079637160000091
此处，γ函数是对输入(Input)ρ的结果值无条件归一化到0～1的函数。如图7，输入任何Input(x)，Output(y)也无法超过1而无限接近于1。本实施例中，ρ为正数，因此最小Output为0。此处，参照图7的曲线图可知，只要Input(x)的实际值超过5，Output(y)就接近1。因此，数学公式1的τ是为接收更大范围的Input而进行缓和的常数。
即，数学公式1的Vn(t)是如下所述的变量，亦即，对于时间t时与虚拟对象发生接触的物理颗粒300的数量N(t)，将结果值归一化到0～1之间并且在决定振动强度时予以反映。结果，物理颗粒300与虚拟对象发生接触的数量越增加，Vn(t)值越接近1。
然后，物理颗粒300与虚拟对象发生接触时的穿透距离意味着在物理引擎上手的物理颗粒300深入虚拟对象的深度的大小，即使用者挤压虚拟对象的强度。此处，为了计算振动强度，Vp(t)定义为反映了时间t时与虚拟对象发生接触物理颗粒300的穿透距离的变量，其用数学公式表示如下。
[数学公式2]
Vp(t)＝γ(P(t)，τpenetration)
Figure BDA0002079637160000101
此处，pi(t)是指时间t时接触的第i个物理颗粒300的穿透距离，因此P(t)意味着时间t时物理颗粒300的穿透距离之和。即，数学公式2的Vp(t)是如下所述的变量，亦即，对于时间t时物理颗粒300与虚拟对象发生接触时的穿透距离之和P(t)，将结果值归一化到0～1之间的值并且在决定振动强度时予以反映。结果，物理颗粒300与虚拟对象发生接触时的穿透距离之和越大，即使用者挤压虚拟对象的强度越大，Vp(t)值将越接近1。
利用前面所述的变量Vn(t)和Vp(t)最终计算传递至各手指上的振动强度的数学公式如下。
[数学公式3]
V(t)＝α·Vn(t)+(1-α)·Vp(t)
此处，V(t)是时间t时传递的振动强度，其值在0与1之间。而且，α是为了使具有0和1之间的值的两个变量Vn(t)和Vp(t)的最终和值V(t)重新变成0和1之间的值而相乘的常数，其具有0与1之间的小数。其经常被称为阿尔法混合，此处，α是如下所述的权重值，亦即，在决定振动强度的两变量(Vn(t)和Vp(t))中把比重放在哪一侧地决定振动强度。即,所述数学公式3中，α值越大越意味着提高结果值中对于接触面积Vn(t)的比重。
图8是本实施例的接触虚拟对象时提供真实物理反馈的过程的流程图。
首先，在本实施例的物理颗粒形成部121中，多个物理颗粒300分散布置在虚拟手模型310上地形成(S800)。如前所述，本实施例中，只针对使用者执行手势时主要发生接触的网格索引生成物理颗粒300，利用该颗粒300执行物理相互作用过程。
然后，本实施例的接触判断部122感知物理颗粒形成部121生成的虚拟手模型的物理颗粒300是否与虚拟对象发生接触(S810)。接触判断部122如果判断虚拟手模型的物理颗粒300与虚拟对象发生接触，则根据与虚拟对象发生接触的物理颗粒的数量及物理颗粒与虚拟对象发生接触时的穿透距离决定振动强度(S820)。
本实施例的振动传递部123利用索引数据库140找出与虚拟对象发生接触的虚拟手模型的物理颗粒300的位置并且向与找出的位置对应的手指的振动部130传递振动(S830)。
图8中虽然记载了依次执行过程S800至S830，但是，这只是用于举例说明本发明一实施例的技术思想。换句话说，对于本发明一实施例所属的技术领域具有一般知识的技术人员而言，在不超出本发明一实施例的本质的特征范围内，可修改图8中记载的顺序，或者并行S800至S830过程中的至少一个过程地予以各种修改和变形，所以图8并不限于时间顺序。
另外，图8中图示的步骤可在计算机可读记录媒体上以计算机可读的编码形式实现。计算机可读记录媒体包括储存有计算机系统可读的数据的所有类型的记录装置。即，计算机可读记录媒体可包括如磁性储存媒体(例如，只读存储器，软盘，硬盘等)、光学可读媒体(例如，CD-RDOM，DVD等)的存储媒体。此外，计算机可读媒体分散在通过网络连接的计算机系统中且以分散方式储存可供计算机读取的编码并执行。
以上说明，只是用于举例说明本实施例的技术思想而已，对于本实施例所属技术领域中具有一般技术知识的技术人员而言，在不超出本实施例的本质特征的范围内可进行各种修改及变形。因此，本实施例并非用于限定本实施例的技术思想而是用于说明，本实施例的技术思想的范围不受限于所述实施例。本实施例的保护范围应基于权利要求书而进行解释，且与其处于等同范围内的所有技术思想皆应属于本实施例的权利范围。

Claims (9)

1.一种接触虚拟对象时提供真实物理反馈的方法，其特征在于，该方法包括以下步骤：
在虚拟手模型上分散布置地形成多个物理颗粒；感知所述虚拟手模型的所述物理颗粒是否与虚拟对象发生接触；以及
当判定所述虚拟手模型的所述物理颗粒与所述虚拟对象发生接触时，找出发生接触的所述物理颗粒的位置，并向对应于所述位置的手指传递振动，
所述振动的强度根据与所述虚拟对象接触的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离而决定。
2.如权利要求1所述的接触虚拟对象时提供真实物理反馈的方法，其特征在于，
分析使用者执行手势时主要接触的网格索引后，在所述网格索引上形成所述虚拟手模型上形成的所述多个物理颗粒。
3.如权利要求1所述的接触虚拟对象时提供真实物理反馈的方法，其特征在于，
所述虚拟手模型上形成的所述多个物理颗粒在所述虚拟手模型的手掌上均匀分布，在手指尖上则密集分布。
4.如权利要求1所述的接触虚拟对象时提供真实物理反馈的方法，其特征在于，
所述虚拟手模型上形成的所述多个物理颗粒具有与所述虚拟手模型的手指相对应的索引信息。
5.一种接触虚拟对象时提供真实物理反馈的装置，其特征在于，该装置包括：
输入部，其提供用于虚拟手模型的形成、移动或者变形的输入信息；
控制部，其基于所述输入部输入的信息形成并控制虚拟手模型；以及
振动部，其安装在至少一个手指尖上，
所述控制部包括：
物理颗粒形成部，其在虚拟手模型上分散布置地形成多个物理颗粒；
接触判断部，其用于判断所述虚拟手模型的所述物理颗粒是否与虚拟对象接触；以及
振动传递部，当所述接触判断部判断所述虚拟手模型的所述物理颗粒与所述虚拟对象发生接触时，确认所接触的所述物理颗粒的位置，并向对应于所述位置的手指上安装的所述振动部传递振动；
所述振动的强度根据与所述虚拟对象接触的所述物理颗粒的数量及所述物理颗粒与所述虚拟对象接触时的穿透距离而决定。
6.如权利要求5所述的接触虚拟对象时提供真实物理反馈的装置，其特征在于，
所述振动部为振动致动器、微型伺服电机、小型振动子或振动电机。
7.如权利要求5所述的接触虚拟对象时提供真实物理反馈的装置，其特征在于，
分析使用者执行手势时主要发生接触的网格索引后，在所述网格索引上形成所述虚拟手模型上形成的所述多个物理颗粒。
8.如权利要求5所述的接触虚拟对象时提供真实物理反馈的装置，其特征在于，
所述虚拟手模型上形成的所述多个物理颗粒在所述虚拟手模型的手掌上均匀分布，在手指尖上则密集分布。
9.如权利要求5所述的接触虚拟对象时提供真实物理反馈的装置，其特征在于，
还包括索引数据库，其包括所述虚拟手模型上形成的所述多个物理颗粒与所述虚拟手模型的手指相对应的索引信息。
CN201910466690.2A 2018-09-28 2019-05-31 接触虚拟对象时提供真实物理反馈的方法及其装置 Pending CN110968183A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0115695 2018-09-28
KR1020180115695A KR20200036261A (ko) 2018-09-28 2018-09-28 가상 객체 접촉시 실감 피드백을 제공하는 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
CN110968183A true CN110968183A (zh) 2020-04-07

Family

ID=69945477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910466690.2A Pending CN110968183A (zh) 2018-09-28 2019-05-31 接触虚拟对象时提供真实物理反馈的方法及其装置

Country Status (3)

Country Link
US (1) US20200103971A1 (zh)
KR (1) KR20200036261A (zh)
CN (1) CN110968183A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220111290A1 (en) * 2020-10-09 2022-04-14 Contact Control Interfaces, LLC Haptic engine for spatial computing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104274A1 (en) * 2012-10-17 2014-04-17 Microsoft Corporation Grasping virtual objects in augmented reality
US9030307B1 (en) * 2014-09-03 2015-05-12 Center Of Human-Centered Interaction For Coexistence Apparatus for generating haptic feedback
US20170018119A1 (en) * 2015-07-14 2017-01-19 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space
US20170212589A1 (en) * 2016-01-27 2017-07-27 Tactai, Inc. Providing fingertip tactile feedback from virtual objects
US20180046738A1 (en) * 2016-08-10 2018-02-15 Korea Institute Of Science And Technology System, method and readable recording medium of controlling virtual model
US10082875B1 (en) * 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277242B2 (en) * 2014-11-11 2019-04-30 Zerokey Inc. Method of detecting user input in a 3D space and a 3D input system employing same
KR102101483B1 (ko) * 2018-06-25 2020-04-16 한국과학기술연구원 가상 객체 조작을 위한 촉각 자극 생성 장치 및 이를 구비한 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104274A1 (en) * 2012-10-17 2014-04-17 Microsoft Corporation Grasping virtual objects in augmented reality
US9030307B1 (en) * 2014-09-03 2015-05-12 Center Of Human-Centered Interaction For Coexistence Apparatus for generating haptic feedback
US20170018119A1 (en) * 2015-07-14 2017-01-19 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space
US20170212589A1 (en) * 2016-01-27 2017-07-27 Tactai, Inc. Providing fingertip tactile feedback from virtual objects
US20180046738A1 (en) * 2016-08-10 2018-02-15 Korea Institute Of Science And Technology System, method and readable recording medium of controlling virtual model
US10082875B1 (en) * 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Also Published As

Publication number Publication date
KR20200036261A (ko) 2020-04-07
US20200103971A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
US10733806B2 (en) Interactions with 3D virtual objects using poses and multiple-dof controllers
Basdogan et al. Haptic rendering in virtual environments
US8395620B2 (en) Method and system for tracking of a subject
US7225404B1 (en) Method and apparatus for determining forces to be applied to a user through a haptic interface
EP2095296B1 (en) A method and system for providing a three-dimensional model of an object of interest.
Eid et al. A guided tour in haptic audio visual environments and applications
CN111665933A (zh) 虚拟或者增强现实中的对象操作方法及装置
Xia New advances for haptic rendering: state of the art
Otaduy et al. Representations and algorithms for force-feedback display
Gao et al. A 6-DOF haptic interface and its applications in CAD
CN111338287A (zh) 机器人运动控制方法、装置、系统、机器人及存储介质
Fiorentino et al. Improving bi-manual 3D input in CAD modelling by part rotation optimisation
KR100934391B1 (ko) 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템
Gao Key technologies of human–computer interaction for immersive somatosensory interactive games using VR technology
CN110968183A (zh) 接触虚拟对象时提供真实物理反馈的方法及其装置
Cui et al. Mid-air gestures for virtual modeling with leap motion
Do et al. Improving reliability of virtual collision responses: a cue integration technique
Zhang et al. Flexible and general redirected walking for head-mounted displays
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
US20220111290A1 (en) Haptic engine for spatial computing
Valentini Enhancing user role in augmented reality interactive simulations
Liang et al. A VR-based calligraphy writing system with force reflection
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
Tun et al. HaptWarp: Soft Printable and Motion Sensible Game Controller
Rosenberg et al. Virtual hand representations to support natural interaction in immersive environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200407

WD01 Invention patent application deemed withdrawn after publication