CN1714388A - 以身体为中心的虚拟交互设备与方法 - Google Patents
以身体为中心的虚拟交互设备与方法 Download PDFInfo
- Publication number
- CN1714388A CN1714388A CNA2003801036833A CN200380103683A CN1714388A CN 1714388 A CN1714388 A CN 1714388A CN A2003801036833 A CNA2003801036833 A CN A2003801036833A CN 200380103683 A CN200380103683 A CN 200380103683A CN 1714388 A CN1714388 A CN 1714388A
- Authority
- CN
- China
- Prior art keywords
- virtual image
- sense
- information interface
- demonstration
- touch input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000002452 interceptive effect Effects 0.000 title description 3
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 210000000162 simple eye Anatomy 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 2
- 230000035807 sensation Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
一种身体部位位置检测器12提供关于预定身体部位位置的信息给虚拟图像触觉输入信息接口生成器12。后者构造信息接口的虚拟图像，该信息接口邻近身体部位并且适当缩放和定位于相对于身体部位来匹配观察者的观察角度。显示器13向观察者提供图像。通过提供紧密邻近身体部位的信息接口的图像，观察者将通过与虚拟图像交互而体验一种适宜的触觉。
Description
技术领域
本发明一般涉及虚拟现实显示和用户启动的输入。
背景技术
本领域已知的虚拟现实显示即增强现实显示和混合现实显示(如这里所使用，“虚拟现实”一般理解为这些相关概念中的任意一个或所有，除非环境特别指示为其它)。一般来说，这样的显示以给出用户占用和交互的期望环境的方式向用户提供视觉信息(有时候伴随着相应的音频信息)。这样的显示经常用于相对邻近用户眼睛安装的显示设备。提供给用户的信息可以全部虚拟，或者可以由虚拟和实际视觉信息混合构成。
这样的显示技术目前能够较好地向用户提供视觉震撼和/或合理的虚拟现实。不幸的是，至少对于某些应用，用户与这种虚拟现实的合理交互能力不能与显示技术并驾齐驱。例如，称为遥现(telepresence)的虚拟现实显示可以用于使用户感觉置身于与其他人面对面的会议中，实际上其他人与用户之间有一段距离。虽然用户能够看见和听见这些人的虚拟显示，并且可以以相对合理和直观的方式与这些虚拟显示交互，从而实现普通的口头谈话，但是现有的虚拟现实系统不能必然提供与触觉输入信息接口机会相似的水平。
例如，已知可以本质上中止用户视野内普通计算机显示的虚拟场景。用户与使用普通的实际鼠标或其它实际光标控制设备(例如包括操纵杆、轨迹球和其它位置/方位传感器)的信息入口交互。虽然适用于某些情形，该情况经常需要许多。例如，一些用户可能认为显示屏在空间上的固定(尤其是充分保持视角不变的显示屏，而不管他们的注视方向)是很讨厌的，非直觉的和/或令人分心的。
其它现有的方法包括提供用户可以在虚拟空间中与之交互的虚拟输入接口机制。例如，可以显示虚拟“触摸”键盘，就好像它在空间上浮动于用户前。通过适当的跟踪机制，系统可以检测到用户何时移动一个对象(例如虚拟的指针或实际的手指)来“触摸”一个特定键。但是，这种解决方案有一个特殊问题是在使用这种方法时缺乏给用户的触觉反馈。例如，如果没有触觉反馈来模拟与触摸表面的接触，至少对某些用户来说，该过程可能变得相当非直觉和/或不准确。当需要时，通过使用能够根据命令产生必要触觉的附加设备(例如特殊的手套)提供这样的触觉反馈的方法已经在一些先前的技术建议中提出。但是，这样的方法并不适合于所有应用，并且也需要潜在相当大的额外成本。
附图说明
通过提供下文将详细描述的以身体为中心的虚拟交互设备与方法，至少可以部分满足上述需求，特别结合附图说明，其中：
图1包含依照本发明的一个实施例配置的框图；
图2包含依照本发明一个实施例配置的佩戴头戴式双眼显示设备的用户前视图；
图3包含依照本发明一个实施例配置的佩戴头戴式单眼显示设备的用户前视图；
图4包含依照本发明一个实施例配置的流程图；
图5包含依照本发明一个实施例配置的虚拟键盘触觉输入信息接口的透视图；
图6包含依照本发明一个实施例配置的虚拟操纵杆触觉输入信息接口的透视图；
图7包含依照本发明一个实施例配置的虚拟绘图区域触觉输入信息接口的透视图；
图8包含依照本发明一个实施例配置的虚拟开关触觉输入信息接口的透视图；
图9包含依照本发明一个实施例配置的虚拟操纵轮触觉输入信息接口的透视图；和
图10包含依照本发明另一实施例配置的框图。
本领域技术人员能理解，图中的元件为了说明简单清楚而不必按比例绘制。例如，图中一些元件的尺寸可以相对于其他元件放大以帮助改善对本发明各种实施例的理解。此外，为了减少对本发明各种实施例理解的障碍，通常不描述商业可行实施例中有用或必要的普通但清楚理解的元件。
具体实施方式
一般来说，依照这些多样的实施例，以身体为中心的虚拟交互设备可以至少包括一个身体部位位置检测器，一个虚拟图像触觉输入信息接口生成器，它连接到位置检测器并提供与预定身体部位关系最近且充分固定的触觉输入信息接口的输出，以及一个提供该虚拟图像的显示，以使用户可以看到预定的身体部位和与其相关的最近且充分固定的触觉输入信息接口。
身体部位位置检测器可以包括适合于给定应用的各种基于标记和/或基于识别/匹配的引擎中的一个或多个。根据该实施例，预定身体部位的用户视图本身可以是真实的、虚拟的或是它们的组合。虚拟信息接口可以部分或全部覆盖适合于给定设置情况的用户皮肤、衣服或它们的组合。
在许多实施例中，通过提供与用户紧密(且优选充分相似(confomal))邻近的信息接口的虚拟图像，例如，当用户与虚拟图像交互以选择一个具体键时，用户将接收到相应的触觉反馈，其结果就好像用户与用户自己的皮肤或衣服构成触觉接触。例如，当描绘绘图表面的虚拟图像时，这样的接触特别有助于提供一个有用的触觉参照系。
如此配置，这些实施例一般可以确定人体至少一个预定部分的当前位置，形成触觉输入信息接口的虚拟图像，并形成显示，该显示包括与该人体的预定部分关系最近且充分固定的触觉输入信息接口的虚拟图像。
现在参照附图，并且具体参见图1，身体部位位置检测器11用来从预定观察者的观察角度检测人预定身体部位的当前位置。预定身体部位可以是任意身体部位，包括但不局限于躯干或附属肢体，例如手指、手、手臂或腿或任意组合或其中的部分。此外，预定身体部位根据给定环境可以，也可以不，是被部分或完全覆盖的。观察者通常至少包括其身体部位为身体部位位置检测器所检测的人。但是，根据该实施例，观察者可以包括不同的人和/或可能有多个观察者，他们对于身体部位各自有自己相应的观察位置。
有许多已知的方法可以这样检测人体部位的位置，这些实施例并不特别局限在这点上。相反，可以用任意一个或多个这种已知的或者由此发展而来的检测技术以一种或其它程度实现这些实施例，包括但不局限于这样的检测系统，它们使用：
视觉位置标记；
磁性位置标记；
射频位置标记；
基于模式的位置标记；
外形识别引擎；
姿势识别引擎；和
模式识别引擎。
根据环境和应用，可能需要使用多个这样的检测器(或者是更多相同类型的检测器或者是混合检测器以促进检测器的联合)，以允许位置的增强精度，达到位置的速度和/或增大的监控范围。
虚拟图像触觉输入信息接口生成器12从身体部位位置检测器接收信息。该生成器用来把触觉输入信息接口的虚拟图像生成为函数，至少部分为：
—身体部位与信息接口虚拟图像之间期望的充分固定的预定空间和方位关系；和
—预定观察者的观察位置。
如此配置，接口生成器的虚拟图像对观察者表现为接近且实质上附着于预定身体部位，其效果就好像触觉输入信息接口由该人佩戴。
显示器13接收所产生的图像信息并向观察者提供合成影像。在优选实施例中，显示器13包括一个头戴式显示器。暂时参见图2，头戴式显示器13可以包括一个用于观察者双眼的视觉接口21。在所描述的具体实施例中，眼睛接口21实质上是不透明的。因此，观察者22只看到显示器13所提供的。由于带有这样一个显示器13，因此必需不仅产生触觉输入信息接口的虚拟图像，而且产生相应身体部位的虚拟图像。暂时参见图3，头戴式显示器13也可以包括一个仅用于观察者22单眼的视觉接口31。在所描述的具体实施例中，眼睛接口31至少是部分透明的。因此，观察者22将能够看到，至少是某种程度地看到，显示器13所提供的实际的和虚拟的图像。如此配置，显示器13仅需要描绘触觉输入信息接口。然后观察者的视觉和感觉将集成身体部位的实际场景与信息接口的虚拟图像以产生期望的视觉效果。
上述显示器13实例只是说明性的，因为其它显示机制当然也适用。例如，头盔式显示器和其它头饰式显示器以相似的方式服务。也很容易理解，这样的显示器在本领域是众所周知的，包括用于虚拟现实影像的透明的和不透明的显示器。因此，为了简洁和突出重点，这里不需要提供额外的细节。
现在参见图4，使用上文描述的平台或任意其它适合的平台或系统，该过程确定41预定身体部位的当前位置，例如手或手腕区域(当然，如果需要，可以以这种方法监控多个身体部位来支持置于用户身体各部分的多触觉输入信息接口的使用)。然后该过程形成42相应的触觉输入信息接口虚拟图像。例如，当信息接口包含一个键盘时，虚拟图像将包括该键盘的具体大小、视在(apparent)空间位置和方位以显现邻近和附于给定身体部位的部分。根据该实施例，虚拟图像可以表现为与人体预定部分的物理表面(典型的有该人的皮肤和/或衣服，其它服饰或外套)充分相似，或至少充分与其一致。
当该过程把虚拟图像置于接近但不接触身体部位的地方时，可以获得一些好处。但是，对于许多应用，优选使虚拟图像显得与身体部位的表面一致。如此配置，当用户与作为所传送触觉输入信息接口的虚拟图像交互时，用户可以固有地获得触觉反馈。
然后该过程结合身体部位形成43虚拟图像的显示。如同已注明的，身体部位可以是完全真实的，部分真实和部分虚拟的，或者完全虚拟的，部分决定于所使用显示器13的类别和其它因素(例如操作者期望建立的虚拟沉浸的预计水平)。当身体部位完全真实时，显示器仅需要以某种方式提供虚拟图像以允许用户的视觉和视觉感知把两个图像结合成单个视在(apparent)图像。然后合成图像呈现44在特定的显示器上供特定的观察者查看。
以这种方式实际上可以成功描绘无穷多个信息接口。例如，参见图5，可以描绘多键键盘52(该图示中，在观察者的手掌51上)。当然，键盘52实际上不存在。当观察者转动这只手时，键盘52也将转动，就好像键盘52由观察者佩戴或者是观察者的一部分。相似地，当观察者移动手使之更接近眼睛时，键盘52将增大尺寸以匹配手本身不断增长的面积。此外，通过把虚拟键盘52布置成紧密邻近身体部位，当看起来是用相对手(未显示)的手指选中(assert)一个键时，观察者将接收到适当的相应触觉。例如，当把手指置于意义为数字“1”的键上从而选中该键时，由于该手指和手掌51之间的接触，用户将感觉到真实的触觉。对于许多用户，触觉将很可能增加相当的现实感从而增强虚拟显示体验。
如同已注明的，其它信息接口也是可能的。图6描绘了一种操纵杆61机制。图7描述了一种书写区域71。例如，后者可用于所谓的基于涂写的手写识别或者其它形式手写识别的输入。尽管是使用适当的机制在虚拟环境中实现跟踪笔迹，手掌51(本例中)提供一种真实的实际表面，书写可以在该表面上进行(例如用铁笔)。此外，用户以这种方式在身体部位上书写时的触觉体验所提供的体验远比在稀薄空气中完成相同行为时有说服力。
图8显示了另一个信息接口实例。这里，可以提供第一开关81来实现任意数量的行为(例如，在虚拟或真实环境中控制一个电灯器具或其它设备)，提供第二开关82来实现各种比例控制(例如，在虚拟或真实环境中使电灯变暗)。图9说明另两个都基于操纵轮接口的接口实例。第一操纵轮接口91包括一个操纵轮，它可旋转地垂直安装于身体部位表面并可以旋转以实现一些相应的控制。第二操纵轮接口92包括一个操纵轮，它可旋转地平行安装于身体部位表面并且也可以旋转以实现一些相应的控制。
这些实例仅是说明性的，不能认为是可能的接口或应用的无遗漏列表。实际上，多种接口设计(单独或组合)都很容易与这里提出的
实施例兼容。
现在参见图10，具体实施例的一个更详尽实例使用一个运动跟踪传感器101和一个运动跟踪子系统102(也都为本领域所公知)以包含身体部位位置检测器11。这样一个传感器101和相应的跟踪子系统102非常适合并且能够充分连续地跟踪和确定给定身体部位的位置，例如给定手臂的手腕区域。虚拟图像生成器12接收到结果的坐标数据。在该实施例中，虚拟图像12包含一个可编程平台，例如计算机，它支持期望交互设备(本例中是一个键盘)的3维绘图模型。如以前所注明，可以处理定义交互设备虚拟图像的参数以使得该设备好像充分附着于被观察的身体部位，另外要相对于身体部位调整尺寸和定位以使其在观察者的角度看起来合适。然后所得的虚拟图像104与观察者观察到的环境106结合(这以前面提到的适合于虚拟沉浸和显示机制本身给定水平的任意方式实现)。然后用户22如预计的那样经由显示机制(本实施例中是眼罩显示器13)看到接口设备的图像。
在许多实例中，这些教导可以以很少的附加成本或无附加成本地实现，因为许多普通的虚拟现实体验支持元件仅需要稍微有目的地重做就可以获得这些新的结果。另外，在这许多实施例中，通过提供与虚拟触觉交互一致而无需使用额外设备的真实触觉，包含了重大的且有价值的附加利益。
本领域技术人员可以认识到，可对上文描述的实施例做多种修改、变更和组合而不背离本发明的精神和范围，并且认为这样的修改、变更和组合在所发明概念的范围内。例如，这些教导可以通过使用一个触摸和/或压力传感器(即一个可以感应物理接触(和/或各种程度的物理接触)的传感器，例如用户手指和用户目标接口皮肤区域之间的物理接触)而扩展。在适当的设置下，这样的扩展可以提高分辨率和/或减少错误触发。
Claims (23)
1.一种方法，包括：
确定人体至少一个预定部分的当前位置；
形成触觉输入信息接口的虚拟图像；
形成显示，该显示包括与人体的预定部分关系最近且充分固定的触觉输入信息接口的虚拟图像。
2.权利要求1中的方法，其中，确定人体的至少一个预定部分的当前位置包括确定人体至少一个附属肢体的当前位置。
3.权利要求1中的方法，其中，形成触觉输入信息接口的虚拟图像包括形成一种虚拟图像，该图像包括键盘、开关、可调设备、操纵杆、绘画区域和操纵轮中的至少一种。
4.权利要求1中的方法，其中，形成包括与人体预定部分关系最近且充分固定的触觉信息接口的虚拟图像的显示包括：形成一种显示，其中至少一部分触觉信息接口至少与人体预定部分的物理表面充分相似。
5.权利要求1中的方法，其中，形成包括与人体预定部分关系最近且充分固定的触觉信息接口的虚拟图像的显示包括：形成一种显示，其中至少一部分触觉信息接口与人体预定部分的物理表面充分一致。
6.权利要求5中的方法，其中，形成一种显示，其中至少一部分触觉信息接口与人体预定部分的物理表面充分一致，包括：形成一种显示，其中至少一部分触觉信息接口与人体预定部分的暴露皮肤表面充分一致。
7.权利要求1中的方法，进一步包括把显示呈现给人。
8.权利要求7中的方法，其中，把显示呈现给人包括把显示呈现给使用头戴式显示器的人。
9.权利要求7中的方法，其中，把显示呈现给人包括检测来自于人的、指示要呈现该显示的输入。
10.权利要求1中的方法，进一步包括把显示呈现给除了该人以外至少一个人。
11.一种设备，包括：
至少一个身体部位位置检测器；
虚拟图像触觉输入信息接口生成器，它具有可连接到位置检测器的输入和提供与预定身体部位关系最近且充分固定的触觉输入信息接口的虚拟图像的输出；
可连接到虚拟图像触觉输入信息接口的显示器，其中显示器提供与预定身体部位关系最近且充分固定的触觉输入信息接口的图像，以便观察者看到预定身体部位以及与其相关的最近且固定的触觉输入信息接口。
12.权利要求11中的设备，其中至少一个身体部位位置检测器包括视觉位置标记、磁性位置标记、射频位置标记、基于模式的位置标记、姿势识别引擎、形状识别引擎和模式匹配引擎中至少一种。
13.权利要求11中的设备，其中，所述虚拟图像触觉输入信息接口生成器包括用于产生触觉输入信息接口虚拟图像的生成器装置。
14.权利要求13中的设备，其中，所述生成器装置进一步结合触觉输入信息接口的虚拟图像与预定身体部位的数字表示。
15.权利要求11中的设备，其中，所述显示器包括头戴式显示器。
16.权利要求15中的设备，其中，所述头戴式显示器包括至少单眼接口。
17.权利要求16中的设备，其中，所述头戴式显示器包括至少双眼接口。
18.权利要求16中的设备，其中，所述至少单眼接口至少是部分透明的。
19.权利要求16中的设备，其中，所述至少单眼接口完全不透明。
20.权利要求11中的设备，其中，所述触觉输入信息接口虚拟图像至少包括键盘、开关、可调设备、操纵杆、绘画区域和操纵轮中的一种。
21.权利要求11中的设备，其中，所述触觉输入信息接口图像的至少一部分显示在所述显示器上，从而可以充分布置在预定身体部位。
22.一种设备，用于形成触觉输入信息接口的虚拟图像，该信息接口与人体部位一部分之间有充分固定的预定空间和方位关系，所述设备包括：
位置检测器装置，用于检测相对于预定观察者观察角度的人体部位的当前位置；
响应位置检测器装置的图像生成装置，用于将触觉输入信息接口的虚拟图像提供作为一种函数，至少部分为：
-充分固定的预定空间和方位关系；和
-预定观察者的观察角度；
响应图像生成装置的显示装置，用于向预定观察者提供一种显示，该显示包括人体部位和从预定观察者观察角度得到的触觉输入信息接口虚拟图像。
23.权利要求22中的设备，进一步包括交互检测装置，用于检测人至少一个被监控身体部位与触觉输入信息接口虚拟图像的视在位置之间的空间交互。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/299,289 | 2002-11-19 | ||
| US10/299,289 US20040095311A1 (en) | 2002-11-19 | 2002-11-19 | Body-centric virtual interactive apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1714388A true CN1714388A (zh) | 2005-12-28 |
Family
ID=32297660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2003801036833A Pending CN1714388A (zh) | 2002-11-19 | 2003-11-06 | 以身体为中心的虚拟交互设备与方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20040095311A1 (zh) |
| EP (1) | EP1579416A1 (zh) |
| JP (1) | JP2006506737A (zh) |
| KR (1) | KR20050083908A (zh) |
| CN (1) | CN1714388A (zh) |
| AU (1) | AU2003287597A1 (zh) |
| WO (1) | WO2004047069A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375540A (zh) * | 2010-08-19 | 2012-03-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN102822772A (zh) * | 2010-03-31 | 2012-12-12 | 英默森公司 | 基于位置提供触觉刺激的系统和方法 |
| CN104537401A (zh) * | 2014-12-19 | 2015-04-22 | 南京大学 | 基于射频识别和景深感知技术的现实增强系统及工作方法 |
| CN105630162A (zh) * | 2015-12-21 | 2016-06-01 | 魅族科技（中国）有限公司 | 一种控制软键盘的方法以及终端 |
| CN107615214A (zh) * | 2015-05-21 | 2018-01-19 | 日本电气株式会社 | 界面控制系统、界面控制装置、界面控制方法及程序 |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| JP4054585B2 (ja) * | 2002-02-18 | 2008-02-27 | キヤノン株式会社 | 情報処理装置および方法 |
| KR100486739B1 (ko) * | 2003-06-27 | 2005-05-03 | 삼성전자주식회사 | 착용형 휴대폰 및 그 사용방법 |
| DE202005021427U1 (de) * | 2004-07-30 | 2008-02-14 | Apple Inc., Cupertino | Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US7567241B2 (en) * | 2004-08-03 | 2009-07-28 | Silverbrook Research Pty Ltd | Stylus with customizable appearance |
| JP2006154901A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 空間手書き装置 |
| TWI316195B (en) * | 2005-12-01 | 2009-10-21 | Ind Tech Res Inst | Input means for interactive devices |
| JP4883774B2 (ja) * | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| JP5119636B2 (ja) * | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
| US7835999B2 (en) * | 2007-06-27 | 2010-11-16 | Microsoft Corporation | Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights |
| JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| WO2010024029A1 (ja) * | 2008-08-29 | 2010-03-04 | 日本電気株式会社 | コマンド入力装置および携帯用情報機器とコマンド入力方法 |
| US20100225588A1 (en) * | 2009-01-21 | 2010-09-09 | Next Holdings Limited | Methods And Systems For Optical Detection Of Gestures |
| US8745494B2 (en) * | 2009-05-27 | 2014-06-03 | Zambala Lllp | System and method for control of a simulated object that is associated with a physical location in the real world environment |
| US20100306825A1 (en) * | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
| KR101651568B1 (ko) | 2009-10-27 | 2016-09-06 | 삼성전자주식회사 | 3차원 공간 인터페이스 장치 및 방법 |
| US20110199387A1 (en) * | 2009-11-24 | 2011-08-18 | John David Newton | Activating Features on an Imaging Device Based on Manipulations |
| EP2507682A2 (en) * | 2009-12-04 | 2012-10-10 | Next Holdings Limited | Sensor methods and systems for position detection |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US20120249797A1 (en) * | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US10061387B2 (en) * | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
| JP5765133B2 (ja) * | 2011-08-16 | 2015-08-19 | 富士通株式会社 | 入力装置、入力制御方法及び入力制御プログラム |
| US10030931B1 (en) * | 2011-12-14 | 2018-07-24 | Lockheed Martin Corporation | Head mounted display-based training tool |
| TWI436251B (zh) * | 2012-04-30 | 2014-05-01 | Univ Nat Taiwan | 觸碰式控制裝置及控制方法 |
| US20130293580A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
| WO2014141504A1 (ja) * | 2013-03-11 | 2014-09-18 | Ｎｅｃソリューションイノベータ株式会社 | ３次元ユーザインタフェース装置及び３次元操作処理方法 |
| US9189932B2 (en) * | 2013-11-06 | 2015-11-17 | Andrew Kerdemelidis | Haptic notification apparatus and method |
| KR102096146B1 (ko) | 2014-09-02 | 2020-04-28 | 애플 인크. | 가변 햅틱 출력을 위한 시맨틱 프레임워크 |
| WO2016100931A1 (en) * | 2014-12-18 | 2016-06-23 | Oculus Vr, Llc | Method, system and device for navigating in a virtual reality environment |
| US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
| GB2535730B (en) * | 2015-02-25 | 2021-09-08 | Bae Systems Plc | Interactive system control apparatus and method |
| US10296359B2 (en) | 2015-02-25 | 2019-05-21 | Bae Systems Plc | Interactive system control apparatus and method |
| JP6341343B2 (ja) * | 2016-02-08 | 2018-06-13 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP6256497B2 (ja) * | 2016-03-04 | 2018-01-10 | 日本電気株式会社 | 情報処理システム、情報処理装置、制御方法、及びプログラム |
| JP2017182460A (ja) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム |
| US10643390B2 (en) | 2016-03-30 | 2020-05-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
| DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK |
| DK201670737A1 (en) | 2016-06-12 | 2018-01-22 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback |
| WO2018008217A1 (ja) * | 2016-07-07 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
| DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
| JP6820469B2 (ja) * | 2016-12-14 | 2021-01-27 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP6834620B2 (ja) * | 2017-03-10 | 2021-02-24 | 株式会社デンソーウェーブ | 情報表示システム |
| MX2019011754A (es) * | 2017-03-31 | 2020-01-23 | VRgluv LLC | Dispositivos de interfaz haptica. |
| DK201770372A1 (en) | 2017-05-16 | 2019-01-08 | Apple Inc. | TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES |
| JP7247519B2 (ja) * | 2018-10-30 | 2023-03-29 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| US11137908B2 (en) * | 2019-04-15 | 2021-10-05 | Apple Inc. | Keyboard operation with head-mounted device |
| WO2020235035A1 (ja) * | 2019-05-22 | 2020-11-26 | マクセル株式会社 | ヘッドマウントディスプレイ |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
| US5491510A (en) * | 1993-12-03 | 1996-02-13 | Texas Instruments Incorporated | System and method for simultaneously viewing a scene and an obscured object |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
-
2002
- 2002-11-19 US US10/299,289 patent/US20040095311A1/en not_active Abandoned
-
2003
- 2003-11-06 JP JP2004553552A patent/JP2006506737A/ja active Pending
- 2003-11-06 EP EP03781842A patent/EP1579416A1/en not_active Withdrawn
- 2003-11-06 AU AU2003287597A patent/AU2003287597A1/en not_active Abandoned
- 2003-11-06 KR KR1020057009061A patent/KR20050083908A/ko not_active Application Discontinuation
- 2003-11-06 WO PCT/US2003/035680 patent/WO2004047069A1/en active Application Filing
- 2003-11-06 CN CNA2003801036833A patent/CN1714388A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102822772A (zh) * | 2010-03-31 | 2012-12-12 | 英默森公司 | 基于位置提供触觉刺激的系统和方法 |
| CN102822772B (zh) * | 2010-03-31 | 2016-02-17 | 意美森公司 | 基于位置提供触觉刺激的系统和方法 |
| CN105718053A (zh) * | 2010-03-31 | 2016-06-29 | 意美森公司 | 基于位置提供触觉刺激的系统和方法 |
| US9987555B2 (en) | 2010-03-31 | 2018-06-05 | Immersion Corporation | System and method for providing haptic stimulus based on position |
| CN102375540A (zh) * | 2010-08-19 | 2012-03-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN102375540B (zh) * | 2010-08-19 | 2018-07-10 | 索尼公司 | 信息处理装置、信息处理方法 |
| CN104537401A (zh) * | 2014-12-19 | 2015-04-22 | 南京大学 | 基于射频识别和景深感知技术的现实增强系统及工作方法 |
| CN104537401B (zh) * | 2014-12-19 | 2017-05-17 | 南京大学 | 基于射频识别和景深感知技术的现实增强系统及工作方法 |
| CN107615214A (zh) * | 2015-05-21 | 2018-01-19 | 日本电气株式会社 | 界面控制系统、界面控制装置、界面控制方法及程序 |
| US10698535B2 (en) | 2015-05-21 | 2020-06-30 | Nec Corporation | Interface control system, interface control apparatus, interface control method, and program |
| CN105630162A (zh) * | 2015-12-21 | 2016-06-01 | 魅族科技（中国）有限公司 | 一种控制软键盘的方法以及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1579416A1 (en) | 2005-09-28 |
| US20040095311A1 (en) | 2004-05-20 |
| JP2006506737A (ja) | 2006-02-23 |
| AU2003287597A1 (en) | 2004-06-15 |
| WO2004047069A1 (en) | 2004-06-03 |
| KR20050083908A (ko) | 2005-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1714388A (zh) | 以身体为中心的虚拟交互设备与方法 | |
| KR101652535B1 (ko) | 차량 인터페이스를 위한 제스처 기반 제어 시스템 | |
| US20200356238A1 (en) | Virtual Interactions for Machine Control | |
| US9606618B2 (en) | Hand tracker for device with display | |
| US7774075B2 (en) | Audio-visual three-dimensional input/output | |
| US20190042957A1 (en) | Interactions with virtual objects for machine control | |
| US8274535B2 (en) | Video-based image control system | |
| CN101536494B (zh) | 用于基于姿势的控制系统的系统和方法 | |
| CN116724285A (zh) | 用于控制虚拟和图形元素的微手势 | |
| Ye et al. | Vishap: Augmented reality combining haptics and vision | |
| Visell et al. | Contact sensing and interaction techniques for a distributed, multimodal floor display | |
| Walsh et al. | Assistive pointing device based on a head-mounted camera | |
| Moeslund et al. | The ARTHUR system: an augmented round table | |
| Verma et al. | 7 Machine vision for human–machine interaction using hand gesture recognition | |
| Millan et al. | Gesture-based control | |
| ZHANG | Enhancing Interaction Capability for VR Handheld Controllers: Exploratory Approaches using Swept Frequency Capacitive Sensing and Vision Sensing in Real-time | |
| Nguyen | 3DTouch: Towards a Wearable 3D Input Device for 3D Applications | |
| Szeghalmy et al. | Comfortable mouse control using 3D depth sensor | |
| RU2618389C2 (ru) | Способ бесконтактного управления курсором мыши | |
| GREGORIO et al. | Informing the Design of Novel Input Methods with Muscle Coactivation Clustering 2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |