CN110100222B - 用于处理触觉反馈的方法和装置 - Google Patents
用于处理触觉反馈的方法和装置 Download PDFInfo
- Publication number
- CN110100222B CN110100222B CN201680091758.8A CN201680091758A CN110100222B CN 110100222 B CN110100222 B CN 110100222B CN 201680091758 A CN201680091758 A CN 201680091758A CN 110100222 B CN110100222 B CN 110100222B
- Authority
- CN
- China
- Prior art keywords
- object model
- virtual object
- controller
- real object
- haptic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 title description 11
- 238000009877 rendering Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 12
- 238000005265 energy consumption Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003155 kinesthetic effect Effects 0.000 description 2
- 230000024159 perception of rate of movement Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 241000282575 Gorilla Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Abstract
一种在控制器处执行的用于调整虚拟对象模型的方法，以及一种用于执行建议的方法的控制器，其中该方法包括获取相关虚拟对象的虚拟对象模型以及获取相关真实对象的至少一个真实对象模型。根据至少一个匹配标准，将虚拟对象模型的至少一部分与至少一个真实对象模型中的一个真实对象模型的至少一部分匹配，选择最佳匹配的真实对象，以及关于所选真实对象模型的至少一部分来修改虚拟对象模型的至少一部分。
Description
技术领域
本公开涉及一种用于在启用触觉反馈的系统中处理触觉反馈的方法和装置。
背景技术
触觉互联网可被视为迈向移动网络互联的下一步。目前可以通过语音和视频两者有效地进行通信，但是在未来的网络社会中，设想人们还能够通过合适的设备(通常称为触觉设备)来传送触觉。在过去几年中，已经对允许这类通信发生的设备进行了大量研究，并且现在已经存在提供移动和固定触觉反馈两者的各种类型的设备。移动触觉设备尤其与各种类型的商业应用相关，例如，虚拟现实(VR)和增强现实(AR)，实现用户的完全沉浸。触觉技术可用于机器人手术，例如在https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2701448/中所描述的(指的是机器人辅助微创手术中的触觉反馈)。在http://www.tactai.com/中展示了VR/AR中启用触摸交互的可穿戴平台，而在https://www.neurodigital.es/gloveone/中描述了触觉手套，当触觉手套与VR头戴式设备(例如HMD或屏幕)一起使用时，能够感觉和触摸虚拟对象。此外，触觉技术在智能手机、笔记本电脑和其他可穿戴设备中变得越来越普遍。
触觉感知可以被描述为包括动觉和触感，并且目前涉及对例如物体或材料的尺寸、形状、质量、纹理、摩擦和刚度的感觉。动觉信息是指在移动关节，肌肉和肌腱时感知的信息，而触感信息是指通过皮肤取回的信息(例如，通过触感手套)。通过利用具有动觉和/或触感致动器的设备，远程操作员或用户将能够感知远程环境中的一些或所有上述属性或特征。与视觉设备一起，用户应用动觉和/或触感设备，能够获得涉及视力和触摸两个用户体验。
触觉的一个商业应用是允许用户远程感受不同的对象/表面。根据用例场景，需要实时呈现并显示对象/表面，其中由一个或多个传感器获取物理和几何特征(例如，通过用相机拍摄照片并用智能手机刮擦(scratch)远程对象以及通过获取并使用由诸如加速度计和相机之类的智能手机传感器之一捕获的信号)来创建对象的触觉模型。对象/表面也可以是虚拟的，其中它们的物理和几何特征被存储在一个或多个数据库中并根据请求由触觉设备检索并在可视设备上查看。可以通过例如智能手机等手持设备直接可视化后一种类型的对象/表面，或可通过任何类型的2D或3D显示器(包括头戴式显示器(HMD))观看后一种类型的对象/表面。典型的用例是对购买例如家具、枕头或瓷砖等产品感兴趣的用户。用户不仅选择通过主页远程观看产品，还希望能够远程感知产品或者至少是产品的一部分的物理和/或几何特征，以在做出最终决定之前获得对产品的更好、更完整的印象。
通常可以根据由摄像机捕获的视频以及由3D传感器捕获的深度数据构建3D视觉模型。捕获的对象通常被存储并显示为点云或网格。点云模型使用顶点来描述构成云的所有点，而网格是定义多面体对象的形状的顶点边和面的集合。
触觉模型由对象的几何和物理特征组成，其中几何分量(例如，形状或大小)通常被编码在由3D传感器捕获的深度数据中，而物理特征(例如，刚度、摩擦、温度或纹理)通常针对几何模型的每个点/表面来定义。物理属性通常通过合适的传感器获得，例如，加速度计、力度传感器、位置传感器、照相机和光谱仪。
然而，如上所述的应用触觉反馈的装置的问题在于，难以以足够有效和逼真的方式从触觉设备提供虚拟对象的触觉反馈。
与触觉反馈有关的另一个问题是虚拟对象“在空中”呈现，从而要求触觉设备提供所有触觉反馈。此外，用户“在空中”呈现虚拟对象受到所谓的“大猩猩臂综合症”的影响，其中用户手臂通常会在非常短的时间后(通常在不到90秒内)变得疲劳。因此，需要开发一种方法，该方法不需要用户为了能够与虚拟对象交互而始终保持臂在空中不受支撑。
发明内容
本文件的目的是解决或减轻至少一些上述问题。
根据一个方面，提出了一种用于调整虚拟对象模型以在控制器处执行的方法。建议的方法包括获取相关虚拟对象的虚拟对象模型和相关真实对象的至少一个真实对象模型。在下一步骤中，根据至少一个匹配标准，将虚拟对象模型的至少一部分与至少一个真实对象模型中的一个真实对象模型的至少一部分匹配，之后，选择最佳匹配的真实对象，然后关于选择的真实对象模型的所述至少一部分来修改虚拟对象模型的至少一部分。
由于建议的方法，用户不必在空中呈现虚拟对象，而是可以通过辅助真实对象以更放松的方式呈现对象。此外，在呈现时使用真实对象的情况下，可以减少触觉设备的致动器的致动。
可以从任何控制器和呈现设备的数据库获取虚拟对象模型，或者可以从任何控制器和呈现设备可访问的数据库获取虚拟对象模型。此外，可以从数据库获取至少一个真实对象模型。
匹配标准可以包括至少一个触觉设备特征，其中触觉设备特征可以相互加权。
根据一个实施例，匹配包括通过考虑以下项的至少一项来确定虚拟对象模型的至少一部分与至少一个真实对象模型的至少一部分之间的最佳匹配：最小化需要考虑的触觉设备的致动器的数量；关于所述触觉设备特征的一个或多个，最小化用于呈现所需的能量消耗；最大化真实对象模型和虚拟对象模型之间的一个或多个触觉设备特征的匹配，或者确定位置最接近触觉设备的真实对象，针对该触觉设备获得匹配等级。
根据一个实施例，修改包括从虚拟对象模型中减去真实对象模型的至少一个触觉设备特征。
根据一个实施例，该方法还包括向呈现设备发送位置相关信息，指示在呈现设备上呈现修改的虚拟对象模型的位置。
根据又一实施例，该方法还包括以下步骤：从触觉设备接收数据，该数据指示所述真实对象上的致动和所述真实对象上的致动位置。
根据又一实施例，该方法还包括以下步骤：向所述触觉设备提供虚拟对象模型的修改副本。
根据另一实施例，提出了一种用于调整虚拟对象模型的控制器，其中控制器包括处理器和存储器，该存储器包括指令，当由处理器执行该指令时，使控制器：获取相关虚拟对象的虚拟对象模型和相关真实对象的至少一个真实对象模型；根据至少一个匹配标准，将虚拟对象模型的至少一部分与至少一个真实对象模型中的一个真实对象模型的至少一部分匹配；选择最佳匹配的真实对象，并关于所选择的真实对象模型的至少一部分修改虚拟对象模型的至少一部分。
指令可以使控制器从任何控制器和呈现设备的数据库获取虚拟对象模型，或者从任何控制器和呈现设备可访问的数据库获取虚拟对象模型，并且还可以使控制器从数据库获取至少一个真实对象模型。
此外，指令可以使控制器使用至少一个触觉设备特征作为匹配标准。
指令可以使控制器考虑匹配标准，包括多个触觉设备特征，其中触觉设备特征相互加权，而其他指令可以使控制器通过考虑以下中的至少一项来确定虚拟象模型的至少一部分和至少一个真实对象模型的至少一部分之间的最佳匹配从而执行匹配：最小化需要考虑的触觉设备的致动器的数量；关于所述触觉设备特征的一个或多个，最小化用于呈现所需的能量消耗；最大化真实对象模型和虚拟对象模型之间的一个或多个触觉设备特征的匹配，或者确定最接近触觉设备的真实对象，针对该触觉设备获得匹配等级。
根据一个实施例，指令使控制器通过从虚拟对象模型中减去真实对象模型的至少一个触觉设备特征来执行修改。
根据另一实施例，指令使控制器向呈现设备发送位置相关信息，指示在呈现设备上呈现修改的虚拟对象模型的位置。
根据一个实施例，控制器从触觉设备接收数据，该数据指示在所述真实对象上的致动和在所述真实对象上的致动位置。控制器还可以包括使控制器向触觉设备提供虚拟对象模型的修改副本的指令。
根据另一方面，提出了一种用于调整虚拟对象模型的控制器。建议的控制器包括：第一获取模块，用于获取相关虚拟对象的虚拟对象模型；第二获取模块，用于获取相关真实对象的至少一个真实对象模型；匹配模块，用于根据至少一个匹配标准，将所述虚拟对象模型的至少一部分与所述至少一个真实对象模型中的一个真实对象模型的至少一部分进行匹配；选择模块，用于选择最佳匹配的真实对象；以及修改模块，用于关于选择的真实对象模型的至少一部分来修改虚拟对象模型的至少一部分。
根据另一方面，提出了一种用于调整虚拟对象模型的计算机程序，其中所述计算机程序包括可执行指令，所述可执行指令在由控制器运行时使所述控制器：获取相关虚拟对象的虚拟对象模型；获取相关真实对象的至少一个真实对象模型；根据至少一个匹配标准，将所述虚拟对象模型的至少一部分与所述至少一个真实对象模型中的一个真实对象模型的至少一部分匹配；选择最佳匹配的真实对象，并关于所选择的真实对象模型的至少一部分修改虚拟对象模型的至少一部分。
根据又一方面，提出了一种计算机程序产品，其包括计算机程序(例如上述计算机程序)，以及存储计算机程序的计算机可读存储介质。
附图说明
现在将结合附图更详细地描述实施例，在附图中：
现在将结合附图更详细地描述实施例，在附图中：
图1a是用户在真实对象上应用触觉反馈的图示。
图1b是与图1a中相同的用户的图示，其中代替图2a的真实对象，呈现了用户看到的虚拟对象。
图2a示出了当在真实对象上致动时用户的手指。
图2b示出了在真实对象上致动而呈现第一虚拟对象时的用户手指。
图2c示出了在真实对象上致动而呈现第二虚拟对象时的用户手指。
图2d示出了在真实对象上致动而呈现第三虚拟对象时的用户手指。
图3是包括用于处理触觉反馈的触觉处理设备、触觉设备和显示器的系统的示意图。
图4a是示出根据一个实施例的在触觉处理设备上可执行的方法的流程图。
图4b是示出根据另一实施例的在触觉处理设备上可执行的方法的另一流程图。
图5是根据第一实施例的触觉处理设备的示意图。
图6是根据第二实施例的触觉处理设备的示意图。
具体实施方式
简而言之，提出了一种用于通过组合由一个或多个触觉致动器提供的感觉来提供虚拟对象的触觉反馈的方法，所述触觉致动器在真实对象“之上”的虚拟对象上致动，或者借助于真实对象在虚拟对象上致动。
更具体地，想要在触觉和视觉上呈现虚拟对象的用户可以选择合适的真实对象来致动，而不是在自由空中利用触觉设备致动。这里通过“合适的”指如下对象：其具有与在呈现期间的一个或多个相应的感兴趣特征相似的一个或多个特征，或具有在呈现期间的一个或多个相应的感兴趣特征的特定区间内的一个或多个特征。
通过在真实对象模型(表示所选真实对象)上应用虚拟模型(在下文中称为虚拟对象模型，其表示要呈现的虚拟对象)，可以使用真实对象模型作为参考来指示触觉设备根据虚拟对象模型致动，由此基于用户利用触觉设备在真实对象上致动的区域中的真实对象模型来修改虚拟对象模型。通过进行这种修改，在较小程度上需要致动触觉设备的致动器，这导致在触觉呈现设备处的功耗较少。此外，通过使用真实对象作为致动的基础，用户将能够以更放松的方式在真实对象上致动，并且将向用户提供来自真实对象的触觉反馈，而不是模拟触觉反馈，从而改善了用户体验。如下面将在多个示例性场景中示出的，只要选择合适的真实对象，就可以完全或部分地利用真实对象的几何特征。尽管给出的示例限于使用几何特征，但是应该理解，使用真实对象也可以针对其他特征(包括例如刚度、摩擦或者纹理等物理属性)来改善用户体验和/或功耗效率。
图1a示出了佩戴视觉设备的用户100，该视觉设备在此由头戴式设备(HMD)120表示，头戴式设备(HMD)120用于通过触觉设备在真实对象130a上致动时可视地呈现虚拟对象(未示出)，这里触觉设备由用户100佩戴的触觉手套110表示。虽然HMD 120用于举例说明视觉设备，而触觉手套110用作触觉设备，但应理解，如本文所示，当使用包括2D或3D设备的任何类型的视觉设备(其可以与触觉设备组合使用)以及例如操纵杆之类的任何类型的触觉设备(其可以与视觉设备组合使用)时，可以采用所提出的机制。还应理解，该文档关注于虚拟对象的触觉呈现，而与触觉呈现并行执行的视觉呈现是根据任何传统的视觉呈现技术执行的，因此其在本展示范围之外。
如下面将进一步详细描述的，要选择真实对象130a，使其具有某些特征，这些特征与感兴趣的虚拟对象的相应特征足够相似(即在特定范围内)，以由触觉设备110的相应致动器(一个或多个)处理。通常，位于用户100附近的对象或者可以由用户100以某种方式定位的对象被注册在数据库或任何其他存储器中。
图1b示出了与图1a中相同的用户100，其佩戴相同的HMD 120和相同的触觉手套110。然而，当图1a的用户100在真实对象130a上致动时，图1b示出了当经由触觉手套110在真实对象130a上致动时，用户100经由HMD 120实际看到的虚拟对象130b。应当理解，应该基于与触觉呈现体验相关的特征来选择用户100使用的真实对象130a，从而，例如如果要体验纹理，应该选择至少具有相似纹理的区域的真实对象，然而在对虚拟对象的表面的摩擦感兴趣的情况下，要选择的真实对象应该具有类似的摩擦。与此类似，我们这里指的是属于某个可接受范围内的属性。
通过选择具有合适特征(即，减少在空中自由致动的不愉快体验以及致动触觉手套所需的电力的特征)的真实对象，不仅将改善用户体验，而且还将减少功耗。
下面，将分别参考图2a-2d示出描述用户可以如何呈现对象表面的许多不同场景。图2a示出了佩戴触觉手套210的用户手指200以传统方式在真实对象的表面220上移动，即，不呈现任何虚拟对象。当在触觉手套201中没有激活触觉功能时，用户至少在某种程度上可以通过触觉手套210感觉到表面220的形状和纹理。
图2b示出了另一种情况，其中用户已激活触觉手套201，从而可以呈现虚拟对象的表面。该图示出了真实对象220b的表面，其中一个或多个致动器(这里由致动器240表示)在用户的手指200上致动，使得当用户利用真实对象220b的表面在虚拟对象230b的表面上移动手指200时，两个表面在区域A-C中基本上彼此相随。至少就形状而言，将不需要在区域A和C中致动致动器240，而在区域B中需要非常适度的致动。在区域D中，真实表面220b变平坦，而虚拟对象表面230b呈现更不规则的形状，这意味着致动器240需要更多的变化致动。而且，即使在区域D中，使用真实对象220b也将导致致动器240的所需致动将小于不使用真实对象220b的情况。
图2c示出了另一种情况，其中当用户的手指200在真实对象表面220c和平坦虚拟对象表面230c上移动时使用弯曲的真实对象表面220c。此场景描述了如何可以在使用本文提出的方法和以传统方式呈现之间切换。在这种情况下，致动器240的激活将根据两个表面之间的变化而变动，并且当沿着弯曲的真实对象表面220c移动时，用户将体验到非常平坦的虚拟表面。在给定的示例中，当用户手指在区域A、C和E上移动时使用真实对象，而假设在其余区域中虚拟对象和真实对象之间的差异太大，这意味着，在区域B、D和F中，以常规方式使用触觉手套210。
图2d示出了另一种情况，示出了如果发现真实对象的足够部分具有相似特征(即，也当只需要将真实对象的特定部分用于呈现时)，在很大程度上与虚拟对象显著不同的真实对象仍可用于呈现。真实对象表面220d在区域A-C中具有弯曲形状，而表面在区域D中非常平坦。具有与真实对象220d形状非常相似的表面230d的虚拟对象仅存在于区域D中。即使在大多数所示区域中在虚拟对象230d上致动时似乎真实对象220d看起来不合适，但它在区域D中非常合适，区域D中需要很少的或根本不需要致动。
图3是系统300的示意性概述，系统300被配置为执行如本文所述的机制，用于捕获和处理视觉和触觉数据。系统300包括可以访问第一数据库和第二数据库的控制器310，第一数据库这里被称为真实对象模型数据库320，其存储真实对象的模型(以下称为真实对象的真实对象模型，当借助于真实对象呈现虚拟对象时可以使用该真实对象模型)，第二数据库这里被称为虚拟对象模型数据库330，其存储可用于呈现的虚拟对象模型。尽管被示为单独的数据库320、330，但是应该理解，可替换地，可以使用单个数据库或者多于两个数据库，只要服务器310可以访问真实对象的模型以及虚拟对象的模型。或者，控制器直接从应用或从触觉设备获取真实对象模型和/或虚拟对象模型的相关数据。在后一种情况下，不需要真实对象模型数据库和/或虚拟对象模型数据库。两个提到的模型的复杂性可以针对完整对象的描述细节以及对象的不同部分的细节水平两者而变化。
通常，控制器310和一个或多个数据库320、330(如果适用的话)形成服务器340的一部分，或者在使用一个或两个提到的数据库的情况下，能够提供如本文所述的机制的任何其他类型的网络节点连接到能够存储数据库的存储装置。控制器310还能够与触觉设备350和视觉设备360交互，其中视觉设备包括用于向用户可视地显示虚拟对象的显示器，以从一个或多个数据库320、330和/或从触觉设备350和视觉设备330检索数据，使得当用户借助于真实对象与存储的虚拟对象交互时，可以相应地向用户呈现视觉和触觉信息。对于视觉数据，3D对象例如可以被存储并呈现为3D显示器上的点云或网格。点云模型使用顶点来描述构成点云的所有点，而网格构成定义多面体对象形状的顶点、边和面的集合。或者，控制器310形成视觉设备330或触觉设备350的一部分。作为另一替代方案，所提到的控制功能310可以分布在服务器340、触觉设备350和视觉设备360中的两个或多个上。例如可以使用视觉设备的相机捕获真实对象，然后将真实对象识别为服务器可访问真实对象模型的特定真实对象。
触觉设备被配置为基于触觉对象模型向用户提供触觉反馈。这种触觉对象模型通常由用户选择的场景、一个或多个对象的几何和物理特征组成。几何特征(例如形状、尺寸等)通常由3D传感器捕获，而物理特征(例如，刚度，纹理，摩擦，力度等)通常从合适的传感器(例如，加速度计、力度和位置传感器、相机等)获得。
除了所提到的设备之外，系统300中通常包括其他设备或功能，例如，允许用户输入与所描述的过程相关的选项的图形用户界面。然而，可以以传统方式配置这种功能，因此不属于本发明的范围。
现在将参考图4a的流程图更详细地描述由处理器执行的方法，例如上面提到的方法。通常，能够执行所提出的方法的应用在处理器上运行。在图4a的第一步骤4:10中，处理器获取虚拟对象模型的数据。这通常由用户在网页或应用上浏览、选择要呈现的虚拟对象来实现。如果在呈现所选的虚拟对象时要使用真实对象，则用户也选择真实对象。或者，这种选择由处理器完全或部分地自动完成。举例来说，已经选择了虚拟对象的用户可以输入一个或多个特征(例如，沙发的纹理或瓷砖的摩擦)，该特征通过合适的用户界面进行呈现是是特别令人感兴趣的。也可以半自动地选择合适的特征，其中，基于用户做出的选择(例如，对可视地呈现给用户的虚拟对象的特定部分的选择)，自动地选择与所选的部分相关的某些特征。在下一步4:20中，获取真实对象模型。再次，用户可用的真实对象的对象模型可以手动选择或自动或半自动地提供给用户，从而使用户或处理器或两者的组合能够选择合适的真实对象。为了在选择真实对象时帮助用户，用户可以选择输入感兴趣的特征，其中这些特征可以与存储在真实对象模型数据库或任何其他数据源中的真实对象的特征进行比较。同样，任何类型的传统用户界面都可用于手动输入这些选项。一旦用户已经选择了真实对象或者一旦已经自动选择了真实对象，就执行虚拟对象模型和所选真实对象模型之间的匹配，如步骤4:40所示。这种匹配通常包括将虚拟对象模型和真实对象模型限制到该两个对象的特定区域或区，以便针对所选择的一个或多个特征提供正确且有利的用户体验。还可以通过执行自动或半自动过程来实现这种限制。更具体地，在所提及的匹配过程期间，用户可以选择产品的特定部分供进一步研究，或者基于用户输入，处理器可以被配置为选择特定区域，该特定区域的相关性能对于积极的用户体验而言是有利的。
一旦已经完成匹配，将有一个或多个最优选的真实对象可用。在最简单的情况下，用户只能使用一个真实对象，如果在呈现所选择的虚拟对象时发现该真实对象可用于辅助，则可以选择该真实对象，如步骤4:50所示，如果不是这种情况，则反而用户将需要在没有任何真实对象的任何帮助的情况下呈现虚拟对象，即以传统方式呈现。真实对象是否可用可以取决于诸如触觉设备的能力和/或提供给处理器的数据的质量等事项。
在另外的步骤4:60中，关于所选择的和用户真实对象修改虚拟对象模型。在这种修改期间，可以将一个或多个特征加权为更大，例如，在由用户或系统先前选择过的情况下。现在借助所选择的真实对象，可以使用修改的虚拟对象模型来呈现所选择的虚拟对象。
如图4a中的步骤4：100所示，只要存在更多触觉数据以及相关联的位置数据，就重复所描述的过程。该过程还可以向用户提供在呈现期间改变要使用的真实对象(如步骤4:80所示)和/或改变要呈现的虚拟对象(如步骤4:90所示)。如上所述，当满足使用真实对象的某些条件或标准时，也可以使用所提出的方法。因此，步骤4:50可以包括另一动作：确定所选择的真实对象模型是否可用。如果未满足所需条件，则不会在步骤4:60中执行虚拟对象模型的修改，而是以常规方式应用未修改的虚拟对象模型。因此，当适用时，可以应用所提出的方法，而在例如真实对象模型的质量低于某个阈值的真实对象的区域区域中绕过所提出的方法。不同的真实对象也可以用于虚拟对象的不同部分。举例来说，真实对象的质量不足，或者步骤4:50的结果不满足预定义的最小要求，可能导致在步骤4:90中向用户建议另外的更合适的真实对象。在建议的新的真实对象已经被用户准许之后，可以在虚拟对象的相应部分上使用新的真实对象从步骤4:10重新开始所提出的方法。
图4b示出了根据替代实施例的用于在呈现虚拟对象时考虑真实对象的方法。这里将仅描述与图4a不同的两个可选步骤4:30和4:70，其中可以应用这些可选步骤中的一个或两个。根据图4b的步骤4:30，从触觉设备接收指示致动的数据以及指示触觉设备在两个对象上的位置的相关定位数据。这适用于例如当仅呈现所提及对象的特定有限区域时。此外，虽然可以以各种方式将在步骤4:60中获得的修改的虚拟对象模型用于呈现虚拟对象，但是图4b的步骤4:70指示如何将修改的虚拟对象模型提供给触觉设备(通常通过将该数据发送给触觉设备和显示设备)。
根据一个示例性场景，用户想要在决定是否在线购买新沙发之前在视觉上和触觉上探索该新沙发。因此，通过在例如HMD的视觉设备上运行(或与例如HMD的视觉设备相关联)的应用来检索沙发的相关虚拟特征，作为虚拟对象模型的一部分。用户还配备有触觉设备，例如，一个触觉手套或一对触觉手套，从而让用户感受到沙发的所需特征。用户可以位于家中，其中各种真实对象可用并且相应真实对象模型被存储在应用可用的家庭服务器或数据库中。例如，用户可以坐在与探索中的沙发不太相似的沙发中，而所提到的沙发(或者至少是用户感兴趣的沙发的特征)与家中餐椅中的一个餐椅的垫子有更多共同之处。例如，可以想象一下，如果垫子的纹理与虚拟对象的纹理匹配90％，则这样的真实对象适合在呈现期间使用。或者，用户可以在展览会或临时展览或营销活动中使用应用，其中向用户提供特别适于提供良好的用户体验和/或更有效的功耗的真实对象。利用所选择的虚拟对象模型和真实对象模型，可以相应地执行所描述的方法。
更具体地，处理器获取相关数据，该数据用于修改虚拟对象模型，使得可以使用真实对象(如上所述)。这意味着由呈现设备用作输入的修改的虚拟对象模型将仅指示虚拟对象与真实对象之间的不匹配，而不是完整地考虑虚拟对象模型。由于所选择的垫子尺寸比沙发小并且几何上不同，因此仅选择沙发的有限平坦部分用于呈现。这部分例如可以是可视地向用户具体指示。除了这种调整的触觉反馈之外，HDM在视觉上呈现虚拟对象的正确颜色，以便让用户得到自己实际上既看到又触摸了虚拟沙发的印象，而不是在用户位置处可用的真实垫子。
通过利用诸如上述方法的方法，可以减少触觉致动器基于修改的虚拟对象模型进行致动所需的致动，因为触觉致动器将不必呈现完整的虚拟对象纹理。在本示例具有90％匹配的情况下，将不呈现所使用的垫子的纹理的仅10％。此外，在呈现期间用户将自己的手放在垫子上将不会像在使用触觉设备在空中自由呈现的情况下、在使用的一个或两个手臂上那么快地感到疲劳。此外，改善了用户体验，因为用户感觉到的90％的纹理是真实的对象纹理而不是模拟的纹理。
根据一个实施例，触觉设备最初向控制器传送其特征，例如，可用致动器的指示、致动器类型、纹理呈现的幅度和/或频率范围、摩擦系数范围、刚度系数范围或温度反馈范围中的一个或多个。可选地，触觉设备还可以将其电池水平传送给处理器，这例如可以用来使得当电池水平低于某个电池水平时自动激活所述过程。
根据另一实施例，处理器向触觉设备仅指定某些特定特征，从而向处理器仅提供那些特征。
可以针对两个模型的特征中的一个或多个特性来执行针对合适的真实对象所提到的搜索和匹配。如已经提到的，用户可以选择的这些特征选项可以是预定义的或者可以取决于用户使用的触觉设备的特征。在后一种情况下，要考虑的特征可以是例如取决于可用致动器的类型、当前电池水平或一个或多个致动器在呈现期间对触觉设备的能量消耗的影响。特征也可以被认为是所提到的替代方案的组合，例如，默认情况下自动选择一些特征，使用户可以或多或少地对自动选择进行手动校正。
根据一个实施例，执行上述过程，使触觉设备的活动致动器的数量最小化，而模型的匹配超过特定阈值水平。
根据另一实施例，进行选择关注于能量消耗的最小化，而模型的匹配超过特定阈值水平。
根据又一实施例，转而关注于最大化一个或多个所选择的特征之间的匹配。
根据另一实施例，转而关注于用户与真实对象的距离。作为示例，选择对其一个或多个特征超过相应阈值的真实对象，其位于最靠近用户的位置。或者，可以仅考虑用户可触及的真实对象。
根据又一实施例，选择对于呈现特别重要的特定特征(例如，纹理或摩擦)。因此，可以仅考虑所选择的特征来执行对所选择的虚拟对象的探索。
应该理解，例如，也可以应用不同方面的组合(例如，上述建议的方面)，从而可以不同地加权不同的方面，但仍在考虑中。
现在看一下修改过程，该过程中比较了两个提到的模型的特征并且参考真实对象模型执行虚拟对象模型的相关特征的补偿。更具体地，触觉设备可以在所选择的虚拟对象的特定特征的间隔Xε[Xmin，Xmax]内操作，而用户可用的真实对象能够提供具有该相同特性的等级Y。针对虚拟对象呈现的实际值在此称为V。如果我们假设真实对象不能修改其特征，而触觉设备具有动态输出等级。因此，虚拟对象模型将被修改为V*＝V-Y，导致触觉设备将呈现X＝V*。还请注意所提到的推理仅对Y<V有效，因为触觉设备通常不能移除或减去触觉特征，而通常仅能够在相应的真实对象模型特征之上添加触觉特征。
在上述示例中，假设触觉对象的值以及真实对象特征在空间和时间上是不变的。然而，这些参数可以是空间相关的，即X(p)、V(p)、Y(p)、V*(p)，其中p表示对象在空间中的2D或3D坐标。在其他情况下，可以通过部分差分方程给出触觉特征，例如，dV(p)/dt＝f(p，u)，其中u表示函数的输入，其可以是例如用户输入，例如用户触摸速度或力度。以这种方式，基于用户输入，触觉特征将表现为动态系统。在又一实施例中，触觉特征作为线性或非线性函数给出，其可以仅取决于输入，即V(p)＝g(p，u)，其中，u还是表示输入函数。
为简单起见，以及为了使表示通用，给出变量X，V，Y和V*，而不指定它们是固定、动态和/或空间相关的。
假设所选择的真实对象具有一定程度的刚度，其低于虚拟对象模型所需的刚度，即Y<V，则将基于用户正在触摸具有一定程度的刚度的真实对象的事实来使用触觉设备，其中增加了额外的所需刚度X＝V*＝V-Y，使用户最终感觉到所需的虚拟对象模型的刚度V。
如果需要移除或减去触觉特征，例如，在所有可用的真实对象比要呈现的虚拟对象更硬的情况下，即Y＞V，通常不会真正使用真实对象，而是需要充分使用触觉设备。然而，如果Y<V，则本文提出的方法将产生改进的用户体验并且还将为触觉设备提供节能。
可能发生在某个点或区域，虚拟对象的p＝p'，需要对匹配的真实对象移除或减去触觉特征Y(p')＞V(p')。在这种情况下，将停止执行所提出的方法，而是将开始常规执行。
根据另一示例性实施例V*＝V-Y<ε，其中ε是设置参数，确定何时从虚拟对象移除这样的触觉特征。如果由触觉设备提供的触觉反馈的幅度ε太小而无需在虚拟对象模型的修改期间考虑，则这种机制可用于完全关闭来自触觉设备的触觉反馈。根据另一实施例，给定参数ε由人类感知限制给出，其被定义为最小可觉差(JND)，并且在本领域中针对一些触觉特征作了记录。以这种方式，可以进行进一步的能量减少。
所选择的真实对象可以提供纹理，其在真实对象的表面的大部分表面中具有与虚拟对象的高度匹配(其中Y≠0)，而在其他区域中没有匹配或不充分匹配，例如，因为真实对象是绝对平坦的(即Y＝0)。在后一种情况下，修改虚拟对象模型的副本，使对应于真实对象平坦区域的区域包含所需的纹理，其中X＝V*＝V，因为Y＝0，而纹理或者从区域中完全移除(对应于高度匹配，即X＝V*＝V-Y<ε，因为V≈Y)，或者如上所述执行所述特征的调整(即X＝V*＝V-Y，因为Y≠0)。
根据另一示例，真实对象提供摩擦等级Y，这里是低摩擦，而感兴趣的虚拟对象需要的摩擦等级V＞Y，这里是更高的摩擦。在这种情况下，触觉设备将提供额外的摩擦X＝V*＝V-Y。类似地，相同的原理将用于提供其他特征，例如，纹理或温度。
若干技术能够提供如本文所述的关于诸如刚度、纹理、摩擦、温度和/或几何特征等特征的触觉反馈。关于刚度的触觉反馈例如可以通过Phantom Omni、Exo Glove或NormalTouch获得。例如，可以通过前面提到的设备以及使用Tactai Touch或GloveOne触觉手套设备提供例如摩擦和纹理等特征。触觉温度相关的反馈可以由添加到上述设备中的温度致动器提供。
根据一个实施例，控制器包含并加载位于用户周围半径Z内的所有对象的真实对象模型。使用放置在HDM、触觉设备或其他设备中的传感器来检索用户的位置。通过这种方式，服务器能够更好地建议用户应该与之交互的真实对象。
现在将参考图5描述控制器，该控制器被配置为执行上述方法。图5的控制器500包括至少一个处理器(这里由一个处理器510表示)以及存储器520，其中至少一个处理器510是中央处理单元(CPU)、多处理器、微控制器或数字信号处理器(DSP)，其能够执行存储在存储器520中的指令或可执行代码。或者，至少一个处理器510可以被配置为一个或多个专用集成电路(ASIC)，或者被配置为一个或多个现场可编程门阵列(FPGA)。存储器520可以例如包括磁存储器、光存储器、固态存储器或甚至远程安装的存储器。控制器500还包括用于实现处理器500与触觉和可视设备(未示出)之间的通信的通信装置，这里示出为第一通信接口530a(例如用作接收接口)以及第二通信接口530b(例如用作发送接口)。可以通过任何类型的传统无线或有线通信提供通信，例如Wifi、蓝牙和/或蜂窝通信。
更具体地，当处理器510执行指令时，处理器510被配置为使控制器500获取由用户选择的相关虚拟对象的虚拟对象模型，并获取相关真实对象的至少一个真实对象模型。可以手动、自动或两者结合获取真实对象模型。还使处理器510根据至少一个匹配标准将虚拟对象模型的至少一部分与至少一个真实对象模型中的一个的至少一部分匹配。基于匹配，可以确定可用的真实对象是否可以用于辅助虚拟对象的呈现。如果认为一个或多个真实对象可用，则使控制器500选择最佳匹配的真实对象。哪个真实对象被认为是最佳对象取决于匹配过程中使用的标准。接下来，使控制器500关于所选真实对象模型的至少一部分，修改虚拟对象模型的至少一部分。
控制器可以被配置为从数据库获取虚拟对象模型，该数据库可以形成控制器或与控制器连接的呈现设备的一部分，或可由控制器或与控制器连接的呈现设备访问。此外，可以从数据库(例如，真实对象模型数据库)获取真实对象模型。
控制器500可以被配置为使用触觉设备特征作为匹配标准。根据一个替代实施例，应用的标准是相互加权的，从而可以根据所考虑的相关性来考虑标准。
为了确定两个对象模型之间的最佳匹配，可以单独或组合地采取许多不同的考虑。这些考虑例如可包括选择匹配，这导致最小化需要考虑的触觉设备的致动器的数量。根据替代实施例，关于一个或多个触觉设备特征，而可以最小化能量消耗。根据又一实施例，相反地，最大化一个或多个触觉设备特征之间的匹配是决定性的，而根据又一实施例，考虑触觉设备和真实对象之间的距离，从而选择例如至少满足最小要求的最近位置的对象。
控制器被配置为根据应用的标准修改虚拟对象模型，使得每当真实对象被认为有用时，触觉设备所需的实际致动相对于真实对象模型减少。根据一个实施例，控制器被配置为通过从虚拟对象模型中减去真实对象模型的触觉设备特征来执行这样的修改。一旦执行了修改，控制器将能够例如通过在呈现设备上应用修改后的模型来参与虚拟对象的呈现。这可以例如通过向触觉设备提供或发送修改的虚拟对象模型来实现。如果控制器接收用于指示真实对象上的致动的数据以及指示致动在真实对象上的位置的定位数据，则这些信息将如上所述被修改，从而可以相应地补偿呈现。
可选地，上述控制器可以被描述为构成多个交互模块，其中这些模块可以被配置为软件相关模块、硬件相关模块或两者的组合。更具体地，第一获取模块610被配置为获取虚拟对象模型(与图4a和4b的步骤4:10对应)，第二获取模块620被配置为获取真实对象模型(与图4a和4b中的步骤4：20对应)。匹配模块630被配置为将获取的虚拟对象模型与获取的真实对象模型匹配，与图4a和4b的步骤4:40对应。选择模块640被配置为基于应用的选择标准选择最佳匹配的真实对象，与图4a和4b的步骤4:50对应。此外，修改模块660被配置为修改虚拟对象模型，其还包括接收模块650，接收模块650被配置为从呈现设备接收数据，并且还可能被配置为从触觉设备接收用于指示致动的数据和定位数据，因此这样的数据可以相应地匹配，对应于图4b的步骤4:30。此外，控制器600包括发送模块670，发送模块670被配置为将数据发送给呈现设备，呈现设备可以包括将修改的虚拟对象模型发送给触觉设备。
还提出了包括可执行指令的计算机程序530，在由控制器500运行可执行指令时，使控制器500执行如上所述的功能。这样的计算机程序530被提供为计算机程序产品540，其上存储有所提到的计算机程序530，并且可以例如以光盘的形式提供，例如光盘(CD)、数字多功能光盘(DVD)或蓝光光盘。可选地，计算机程序产品540可以被提供为存储器，例如，随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或电可擦除可编程只读存储器(EEPROM)，更具体地，计算机程序产品540被提供为外部存储器中的设备的非易失性存储介质，例如USB(通用串行总线)存储器或闪存(例如高密度闪存)。
应当理解，交互模块的选择仅用于示例目的，因此，适合于执行上述任何方法的模块可以以多种替代方式被配置，以便能够执行所提出的过程动作。
Claims (22)
1.一种在控制器处执行的用于调整虚拟对象模型的方法，包括：
-获取(4:10)虚拟对象的虚拟对象模型；
-获取(4:20)真实对象的至少一个真实对象模型；
-选择(4:50)根据至少一个匹配标准与虚拟对象模型的至少一部分最佳匹配的真实对象模型，以及
-关于所选真实对象模型的所述至少一部分，修改(4:60)所述虚拟对象模型的所述至少一部分，其中，虚拟对象模型的修改部分表示所述虚拟对象模型与所选择的真实对象模型不匹配。
2.根据权利要求1所述的方法，其中，从任何控制器和控制器能够访问的呈现设备的数据库、或任何控制器和控制器能够访问的呈现设备可访问的数据库获取所述虚拟对象模型。
3.根据权利要求1或2所述的方法，其中，从数据库获取所述至少一个真实对象模型。
4.根据权利要求1或2所述的方法，其中，所述匹配标准包括至少一个触觉设备特征。
5.根据权利要求3所述的方法，其中，所述匹配标准包括多个触觉设备特征，其中，所述触觉设备特征根据所考虑的相关性进行加权。
6.根据权利要求4所述的方法，其中，所述匹配包括通过考虑以下项中的至少一项来确定所述虚拟对象模型的至少一部分与所述至少一个真实对象模型的至少一部分之间的最佳匹配：
-最小化需要考虑的所述触觉设备的致动器的数量；
-关于所述触觉设备特征中的一个或多个，最小化用于呈现所需的能量消耗；
-最大化所述真实对象模型与所述虚拟对象模型之间的一个或多个触觉设备特征的匹配，或
-确定位置最接近所述触觉设备的真实对象，针对所述触觉设备获得匹配等级。
7.根据权利要求1或2所述的方法，其中，所述修改包括从所述虚拟对象模型中减去所述真实对象模型的至少一个触觉设备特征。
8.根据权利要求1或2所述的方法，还包括以下步骤：向控制器能够访问的呈现设备发送位置相关信息，所述位置相关信息指示在所述呈现设备上呈现修改的所述虚拟对象模型的位置。
9.根据权利要求1或2所述的方法，还包括以下步骤：从触觉设备接收(4:30)数据，所述数据指示在所述真实对象上的致动和在所述真实对象上的致动位置。
10.根据权利要求1或2所述的方法，还包括以下步骤：向触觉设备提供(4:70)所述虚拟对象模型的修改副本。
11.一种用于调整虚拟对象模型的控制器(500)，所述控制器(500)包括处理器(510)和包括指令的存储器(520)，当由处理器(510)执行所述指令时，使所述控制器(500)：
-获取虚拟对象的虚拟对象模型；
-获取真实对象的至少一个真实对象模型；
-选择根据至少一个匹配标准与虚拟对象模型的所述至少一部分最佳匹配的真实对象，以及
-关于所选真实对象模型的所述至少一部分，修改所述虚拟对象模型的至少一部分，其中，虚拟对象模型的修改部分表示所述虚拟对象模型与所选择的真实对象模型不匹配。
12.根据权利要求11所述的控制器(500)，其中指令使所述控制器(500)从所述控制器(500)和控制器能够访问的呈现设备中任一项的数据库、或所述控制器(500)和控制器能够访问的呈现设备中任一项可访问的数据库获取所述虚拟对象模型。
13.根据权利要求11或12所述的控制器(500)，其中，指令使所述控制器(500)从数据库获取至少一个真实对象模型。
14.根据权利要求11或12所述的控制器(500)，其中，指令使所述控制器(500)使用至少一个触觉设备特征作为匹配标准。
15.根据权利要求13所述的控制器(500)，其中指令使所述控制器(500)考虑包括多个触觉设备特征的匹配标准，其中，所述触觉设备特征根据所考虑的相关性进行加权。
16.根据权利要求14所述的控制器(500)，其中，指令使所述控制器(500)通过考虑以下项的至少一项来确定所述虚拟对象模型的至少一部分与所述至少一个真实对象模型的至少一部分之间的最佳匹配从而执行匹配：
-最小化需要考虑的所述触觉设备的致动器的数量；
-关于所述触觉设备特征中的一个或多个，最小化用于呈现所需的能量消耗；
-最大化所述真实对象模型与所述虚拟对象模型之间的一个或多个触觉设备特征的匹配，或
-确定位置最接近所述触觉设备的所述真实对象，针对所述触觉设备获得匹配等级。
17.根据权利要求11或12所述的控制器(500)，其中，指令使所述控制器(500)通过从所述虚拟对象模型中减去所述真实对象模型的至少一个触觉设备特征来执行所述修改。
18.根据权利要求11或12所述的控制器(500)，其中，指令使所述控制器(500)向控制器能够访问的呈现设备发送位置相关信息，所述位置相关信息指示在所述呈现设备上呈现修改的所述虚拟对象模型的位置。
19.根据权利要求11或12所述的控制器(500)，其中，指令使所述控制器(500)从触觉设备接收数据，所述数据指示在所述真实对象上的致动和在所述真实对象上的致动位置。
20.根据权利要求11或12所述的控制器(500)，指令使所述控制器(500)向触觉设备提供所述虚拟对象模型的修改副本。
21.一种用于调整虚拟对象模型的控制器(600)，所述控制器(600)包括：
-第一获取模块(610)，用于获取虚拟对象的虚拟对象模型；
-第二获取模块(620)，用于获取真实对象的至少一个真实对象模型；
-选择模块(640)，用于选择根据至少一个匹配标准与虚拟对象模型的所述至少一部分最佳匹配的真实对象，以及
-修改模块(660)，用于关于所选择的真实对象模型的所述至少一部分修改所述虚拟对象模型的至少一部分，其中，虚拟对象模型的修改部分表示所述虚拟对象模型与所选择的真实对象模型不匹配。
22.一种计算机可读存储介质，其中存储用于调整虚拟对象模型的计算机程序，所述计算机程序包括可执行指令，当由控制器(500，600)运行所述可执行指令时，使控制器(500，600)：
-获取虚拟对象的虚拟对象模型；
-获取真实对象的至少一个真实对象模型；
-选择根据至少一个匹配标准与虚拟对象模型的所述至少一部分最佳匹配的真实对象，以及
-关于所选真实对象模型的所述至少一部分，修改所述虚拟对象模型的至少一部分，其中，虚拟对象模型的修改部分表示所述虚拟对象模型与所选择的真实对象模型不匹配。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2016/082183 WO2018113952A1 (en) | 2016-12-21 | 2016-12-21 | A method and arrangement for handling haptic feedback |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110100222A CN110100222A (zh) | 2019-08-06 |
| CN110100222B true CN110100222B (zh) | 2024-03-29 |
Family
ID=57681591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680091758.8A Active CN110100222B (zh) | 2016-12-21 | 2016-12-21 | 用于处理触觉反馈的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US11204643B2 (zh) |
| EP (1) | EP3559780B1 (zh) |
| CN (1) | CN110100222B (zh) |
| WO (1) | WO2018113952A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018113952A1 (en) * | 2016-12-21 | 2018-06-28 | Telefonaktiebolaget Lm Ericsson (Publ) | A method and arrangement for handling haptic feedback |
| US20200026354A1 (en) * | 2018-07-17 | 2020-01-23 | Immersion Corporation | Adaptive haptic effect rendering based on dynamic system identification |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970268A (zh) * | 2013-02-01 | 2014-08-06 | 索尼公司 | 信息处理设备、客户端设备、信息处理方法以及程序 |
| CN105739675A (zh) * | 2014-12-29 | 2016-07-06 | 意美森公司 | 虚拟环境中的虚拟传感器 |
| CN106133796A (zh) * | 2014-03-25 | 2016-11-16 | Metaio有限公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8819591B2 (en) * | 2009-10-30 | 2014-08-26 | Accuray Incorporated | Treatment planning in a virtual environment |
| US10281987B1 (en) * | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9886797B2 (en) * | 2013-08-13 | 2018-02-06 | Boston Scientific Scimed, Inc. | Comparative analysis of anatomical items |
| US9746984B2 (en) * | 2014-08-19 | 2017-08-29 | Sony Interactive Entertainment Inc. | Systems and methods for providing feedback to a user while interacting with content |
| US20160133230A1 (en) * | 2014-11-11 | 2016-05-12 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
| US20160170508A1 (en) * | 2014-12-11 | 2016-06-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Tactile display devices |
| US10353532B1 (en) * | 2014-12-18 | 2019-07-16 | Leap Motion, Inc. | User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
| US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US9911232B2 (en) * | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
| US9836117B2 (en) * | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
| US9898869B2 (en) * | 2015-09-09 | 2018-02-20 | Microsoft Technology Licensing, Llc | Tactile interaction in virtual environments |
| US10048769B2 (en) * | 2015-11-18 | 2018-08-14 | Ted Selker | Three-dimensional computer-aided-design system user interface |
| US20180053351A1 (en) * | 2016-08-19 | 2018-02-22 | Intel Corporation | Augmented reality experience enhancement method and apparatus |
| US10504295B2 (en) * | 2016-09-27 | 2019-12-10 | Duke University | Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object |
| WO2018113952A1 (en) * | 2016-12-21 | 2018-06-28 | Telefonaktiebolaget Lm Ericsson (Publ) | A method and arrangement for handling haptic feedback |
-
2016
- 2016-12-21 WO PCT/EP2016/082183 patent/WO2018113952A1/en unknown
- 2016-12-21 US US16/470,783 patent/US11204643B2/en active Active
- 2016-12-21 EP EP16819917.2A patent/EP3559780B1/en active Active
- 2016-12-21 CN CN201680091758.8A patent/CN110100222B/zh active Active
-
2021
- 2021-10-12 US US17/499,342 patent/US11675439B2/en active Active
-
2023
- 2023-05-08 US US18/313,969 patent/US20230273685A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970268A (zh) * | 2013-02-01 | 2014-08-06 | 索尼公司 | 信息处理设备、客户端设备、信息处理方法以及程序 |
| CN106133796A (zh) * | 2014-03-25 | 2016-11-16 | Metaio有限公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
| CN105739675A (zh) * | 2014-12-29 | 2016-07-06 | 意美森公司 | 虚拟环境中的虚拟传感器 |
Non-Patent Citations (1)
| Title |
|---|
| 《Annexing Reality: Enabling Opportunistic Use of Everyday Objects as Tangible Proxies in Augmented Reality》;Anuruddha Hettiarachchi 等;《ACM》;20160507;正文第1957-1967页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018113952A1 (en) | 2018-06-28 |
| EP3559780B1 (en) | 2023-02-01 |
| EP3559780A1 (en) | 2019-10-30 |
| US20220026991A1 (en) | 2022-01-27 |
| CN110100222A (zh) | 2019-08-06 |
| US20190339777A1 (en) | 2019-11-07 |
| US20230273685A1 (en) | 2023-08-31 |
| US11675439B2 (en) | 2023-06-13 |
| US11204643B2 (en) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102630774B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 | |
| US20230273685A1 (en) | Method and Arrangement for Handling Haptic Feedback | |
| US20220044490A1 (en) | Virtual reality presentation of layers of clothing on avatars | |
| JP2019519020A (ja) | 視野周辺の視覚的背光 | |
| KR20140128275A (ko) | 햅틱적으로 사용가능한 합치된 다면적 디스플레이를 위한 시스템 및 방법 | |
| JP2009276996A (ja) | 情報処理装置、情報処理方法 | |
| JP6908053B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR20230124091A (ko) | 템플릿 이미지들을 사용한 증강 현실 프리렌더링 생성 | |
| US11157084B2 (en) | Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects | |
| CN106660209B (zh) | 智能机器人控制系统、方法及智能机器人 | |
| CN111643899A (zh) | 一种虚拟物品显示方法、装置、电子设备和存储介质 | |
| US20210375067A1 (en) | Virtual reality presentation of clothing fitted on avatars | |
| WO2019087502A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20200349766A1 (en) | Methods and Systems for Viewing and Editing AR/VR Computer-based Designs Allowing Impaired Vision Simulation | |
| WO2021024788A1 (ja) | 生成装置、生成方法、プログラム及び触覚提示デバイス | |
| JP2022014002A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN111176427A (zh) | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 | |
| WO2022201922A1 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
| Wąsowicz | Representing Built Environments with Digital Tools: Problems with Human Perception | |
| KR20230101498A (ko) | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 | |
| JP2021105778A (ja) | 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム | |
| EP4341778A1 (en) | Communication of semantic information between augmented reality communication devices | |
| JP2023092063A (ja) | コンテンツ推奨装置 | |
| JPH09218885A (ja) | パーソナルデザインシステム | |
| NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |