CN101815980B - 用于全息用户界面通信的方法和设备 - Google Patents
用于全息用户界面通信的方法和设备 Download PDFInfo
- Publication number
- CN101815980B CN101815980B CN2008801075968A CN200880107596A CN101815980B CN 101815980 B CN101815980 B CN 101815980B CN 2008801075968 A CN2008801075968 A CN 2008801075968A CN 200880107596 A CN200880107596 A CN 200880107596A CN 101815980 B CN101815980 B CN 101815980B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- image
- user interface
- user
- holographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 title claims description 5
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 claims description 2
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 claims description 2
- 102100021133 Nuclear protein 1 Human genes 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 241001479434 Agfa Species 0.000 description 1
- GSEJCLTVZPLZKY-UHFFFAOYSA-N Triethanolamine Chemical class OCCN(CCO)CCO GSEJCLTVZPLZKY-UHFFFAOYSA-N 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- CPBQJMYROZQQJC-UHFFFAOYSA-N helium neon Chemical compound [He].[Ne] CPBQJMYROZQQJC-UHFFFAOYSA-N 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Holo Graphy (AREA)
Abstract
本发明提供了用于在3-D坐标系统中提供三维(3-D)用户界面显示图像的系统和方法。传感器被配置为感测3-D坐标系统内的用户交互，使得处理器可以接收来自传感器的用户交互信息。传感器能够向处理器提供使得处理器能够将用户交互与3-D坐标系统中的图像相关的信息。该系统可以用于在连接至单一计算机或数字数据处理系统内的互连介质(例如，总线)的两个或多个组件之间的互连或通信。
Description
背景技术
图形用户界面(GUI)是一种允许人们与计算机和计算机控制的设备进行交互的计算机应用程序用户界面。典型地，GUI采用图形图标、视觉指示符或特殊的图形元素连同文本、标签或文本导航一起来呈现用户可用的信息和动作。这些动作通常通过图像元素的直接操作来执行。
可以创建全息图像作为使用可用的全息技术的单一或连续图像。这些技术包括被策略性地定位以引起适当反射来获得通过激光和反射镜定位系统中的进入点的全息图像传播的反射镜、激光器、光和图像。黑色背景和具有微弱光或没有光的房间可以增强全息图像的显现，还可以使用全息板作为显示介质。全息系统在尺寸上可以较大，并且在较大传播范围上扩展开，或者可以足够紧凑以适合比桌面小的空间。全息技术在尺寸上受限于组件部件的大小。通过使用全息技术，图像可以以多个维度来显示，而不是简单地显示在平面投影上。
当前在技术上已经取得了一些进步，可以在采用几百万反射镜系统的项目中或经由针对专门工作的公司设计的专用高速和高容量微处理器而非全息系统增强了全息媒体的能力和范围，其中，该技术能够应用于全息技术，从而能够以每秒24至60或更多视频帧(同时具有相应的同步音频)的速率适当地定位百万反射镜。
过去20年间产生的全息显示器利用各种配置，包括具有玻璃板(如，AGFA 8E75HD玻璃板或其他玻璃板)上的图像的激光，以及激光器(如光谱物理124B氦氖激光器)、利用不同处理方法(如pyrochrome处理)的35mW激光二极管系统。分束技术也可以用于多H1至多H2。一般还使用这种诸如来自Linotronic300图像照排机胶片的8×10三乙醇胺(triethanolomine)的配置，或具有针对30×40反射全息图的尾部照明的配置，其中，标志图浮在感光板前18英寸处。
发明内容
一些用户界面已经采用了多维界面方法。例如，加利福尼亚旧金山LLC的IO2 Technology的“heliodisplay”将图像投影到大量自由空间中，即，投影到诸如雾或气体的烟雾混合物中，并可以在通过USB连接至PC时作为浮动触摸屏进行操作。然而，利用heliodisplay，将图像显示到二维中间(即，平面)中。当heliodisplay图像呈现三维(“3-D”)时，图像是平面的，并不具有物理深度参照。
不幸地，这些现有技术在分布和布置方面具有特定限制。例如，在功能上，heliodisplay是针对空气帘甚至玻璃投影的二维显示器。然而，heliodisplay可以给出3-D呈现，所显示的图像和界面是2-D的。因此，heliodisplay不是真正的3-D全息显示器，从而界面在二维平面上操作，没有利用全三维坐标系统。
相应地，需要一种利用真正的3-D技术来创建计算和多媒体环境的集成用户界面，在该环境中，用户可以通过触摸、鼠标或指示器系统来容易地进行导航，从而有效地导航该界面以提升用户对真正3-D环境的体验等级，同时获得减轻的清晰度、现实主义和与我们日常与3-D世界的交互相匹配的环境的好处的目标。本发明涉及创建一种将物理媒体或数字存储的文件与数字全息播放器硬件系统相组合的全息用户界面显示系统。结果是创建一种多媒体全息用户界面和查看体验，其中，各种图示利用锥形、方框、球形、圆柱体或其他图形表示、现有模板、特定目标呈现、自由形式关联、用户代表图像以及信息的量化表示实现了对信息的紧密访问，形成用户界面，在该用户界面中，可用工具经由一段时间可以进行组合以匹配用户逐步形成的数据和请求。
在本发明的另一示例实施例中，提供3-D用户界面的系统和相应方法涉及在3-D坐标系统中显示图像。传感器被配置为感测3-D坐标系统内的用户交互，使得处理器可以接收来自传感器的用户交互信息。该传感器能够向处理器提供使得处理器能够将用户交互与3-D坐标系统中的图像相关的信息。
本发明的实施例提供了一种全息用户界面，该全息用户界面对计算环境进行变换来实现三维全息风格的用户界面和显示系统。该系统利用全息投影技术连同编程的象限矩阵传感器阵列来创建多种方法，以选择以全息格式呈现的数据以及用户界面工具和图标并与其进行交互。该系统可以用于在连接至单一计算机或数字数据处理器系统内的互联介质(例如，总线)的两个或多个组件之间进行互连或通信。
附图说明
如附图所示，根据以下对本发明的示例实施例的更详细描述，以上描述将变得显而易见，其中，贯穿不同视图的类似的参考符号指代相同的部件。没有必要对附图进行缩放，而将重点置于对本发明实施例的说明。
图1是示出了根据本发明实施例的全息用户界面的框图；
图2是示出了用于向系统提供三维(3-D)界面的方法的流程图；
图3是结合了根据本发明实施例使用的传感器场的透视图；
图4是根据本发明一个实施例的全息用户界面设备的前视图；以及
图5是根据本发明另一实施例的全息用户界面的透视图。
具体实施方式
以下描述本发明的示例实施例。
根据一个实施例，本发明涉及创建一种全息用户界面，该全息用户界面转换计算环境以实现三维(3-D)全息风格的用户界面和显示系统。该系统利用全息投影技术连同编程的象限矩阵传感器场一起来创建多种方法，以选择以全息格式呈现的数据以及用户界面工具和图像，并与其进行交互。
图1示出了根据本发明一个示例实施例的全息用户界面100。全息用户界面100包括：对软件112进行操作、控制全息图像投影仪116、以及对从传感器118a、118b获得的信息进行处理的处理器。投影仪可以在3-D坐标系统115内产生3-D显示图像101、102。可以将传感器118a和118b指向至3-D坐标系统，以感测3-D坐标系统内与图像的用户交互。如果用户与图像101或102进行交互，则传感器118a和118b将提供处理器可以与在3-D坐标系统中投影的图像101和102相关的坐标信息。
图2是示出了用于利用系统提供三维(3-D)界面的方法的流程图。界面在3-D坐标系统中产生(210)图像。在操作中，界面一旦被开启，界面的实施例将用户界面模板形式的全息信息布置为缺省。界面上的传感器感测(220)用户与3-D坐标系统的交互。通过使用矩阵或三角测量数据点可以发生感测，矩阵或三角测量数据点与系统能够显示的特定功能和数据显示相对应。然后该界面可以将用户交互与3-D坐标系统中的图像相关(230)。通过感测和相关与3-D坐标系统的交互，界面允许计算机系统显示或与用户进行交互。由系统显示的全息数据变成用户选择过程的结果，用户通过击键或使用三维交互式界面来触发正在显示的数据。系统在用户位置命令的确切点处读取该用户位置命令，然后基于经由用户特定请求的位置而进行的用户特定请求，系统布置适当的响应或全息媒体。
图3示出了结合本发明实施例使用的传感器。图3所示的实施例包括4个激光传感器320a-d。通过使用链动传感器系统，可操作的界面可以是可相关和交互式的全息媒体，该链动传感器系统经由内置或改进的硬件外围设备来从显示器展开，以创建四边形角导航系统来确定象限(也被称为“3-D坐标系统”)310内的指尖触摸点340的确切点330。如果用户有效地布置该触摸点，则将该触摸点映射至由全息硬件和软件系统展开的图像，就如同在空间中的确切位置从确切点显示系统中显示的每幅图像一样，该确切位置已经被预配置为匹配四边形传感器系统上的特定点。然后将空间中附着至编程的图像的点匹配至用户的触摸点。该触摸点可以触发与鼠标或光标相同的功能。
本领域技术人员将认识到，其他感测配置或设备可以用于感测3-D坐标系统内的位置。例如，传感器可以是被配置为提供数据以对3-D坐标系统内的点进行三角测量的激光传感器、光电传感器、光电的光传感器、或图像传感器。传感器可以被编程来识别可通过多个平面图像延伸的触摸点330的特定位置，识别位于3-D坐标空间的单一图像。
图4示出了根据本发明一个实施例的全息用户界面设备400。设备400具有可以为多维显示提供输出投影仪的端口410，并且还具有用于检测用户交互的传感器。投影仪和传感器绘制出3-D坐标系统420以用作全息用户界面。通信端口430(例如，通用串行总线(“USB”)端口或无线连接)用于允许设备400与计算机系统进行通信。全息系统可以基于先前的全息系统技术文件，其中，用户界面图标和文档可以被保存为固定媒体的形式，并可以通过从操作系统发送至对全息的固定媒体系统和显示器上的索引进行管理的设备的命令来激活。类似地，还可以使用传感器界面系统来操作和选择利用全息显示的任何系统。
图5是根据本发明另一实施例的全息用户界面500的透视图。全息用户界面设备可以利用投影屏幕580进行操作。由用户界面500的投影屏幕580显示的图像505可以包括：形状、图形图像、动画序列、文档、视听程序、基于与系统一同使用的用户图案的逻辑显示(例如，首先始终在线，其次始终对word文档进行操作以及始终查看来自用户硬盘的照片或视频。第三，这些图标能够在显示器上以一定优先级顺序呈现给用户，这些优先级顺序代表基于历史的用户逐渐形成的使用习惯，包括基于每天、时间和日期的明显变化)、可以以全息格式呈现的传统UI操作系统图标，诸如Word文档图标和便携文档格式(“PDF”)图标等。文档可以以传统方式来修改和阅读，或者文档或任何显示项可以基于用户命令恢复到平板显示监视器。
本领域技术人员应当认识到，可以在包括计算机可用介质的计算机程序产品中嵌入利用系统提供3-D用户界面所涉及的方法。例如，这样的计算机可用介质可以包括：已存储有计算机可读程序代码段的只读存储设备，例如固态存储设备、硬盘设备、CD-ROM、DVD-ROM、或计算机磁盘。计算机可读介质还可以包括通信或传输介质，例如在计算机网络、总线或通信链路(光、有线或无线的)上传播电磁信号，该电磁信号承载作为数字或模拟数字信号的程序代码段。程序代码实现并支持图1和2中所描述的操作的计算机实现或其他实施例。
尽管参照本发明的示例实施例具体示出并描述了本发明，但是本领域技术人员将理解，在不背离所附权利要求包括的本发明的范围的前提下，可以进行形式和细节上的各种改变。
Claims (9)
1.一种用于三维3-D用户界面的系统，所述系统包括：
3-D投影仪，被配置为在3-D坐标系统中显示图像；
根据3-D投影仪而部署的编程的象限矩阵传感器，其中所述编程的象限矩阵传感器被配置为感测所述3-D坐标系统内的用户交互，并且所述编程的象限矩阵传感器包括4个激光传感器；
处理器，被配置为，从所述激光传感器接收用户交互信息，对所述3-D坐标系统内的用户交互的位置进行三角测量，并且将用户交互与所述3-D坐标系统中的图像相关。
2.根据权利要求1所述的系统，其中，所述处理器还被配置为，提供对所述用户交互与所述3-D坐标系统中的图像的相关进行响应的指示。
3.根据权利要求2所述的系统，其中，所述指示是3-D坐标系统中显示图像的改变。
4.根据权利要求2所述的系统，还包括：耦合至所述处理器并被配置为利用计算机系统提供通信界面的通信端口。
5.根据权利要求1所述的系统，其中，所述图像是全息图。
6.一种用于利用系统提供三维3-D界面的方法，所述方法包括：
3-D投影仪在3-D坐标系统中产生图像；
编程的象限矩阵传感器在所述3-D坐标系统内感测用户交互，其中所述编程的象限矩阵传感器根据3-D投影仪而部署，并且所述编程的象限矩阵传感器包括4个激光传感器；以及
将所述用户交互与所述3-D坐标系统中的图像相关。
7.根据权利要求6所述的方法，还包括：产生对所述用户交互与所述3-D坐标系统中的图像的相关进行响应的指示。
8.根据权利要求7所述的方法，其中，所述指示是所述3-D坐标系统中显示图像的改变。
9.根据权利要求7所述的方法，还包括：向网络上的设备提供所述指示。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/857,161 | 2007-09-18 | ||
| US11/857,161 US7881901B2 (en) | 2007-09-18 | 2007-09-18 | Method and apparatus for holographic user interface communication |
| PCT/US2008/076834 WO2009039260A2 (en) | 2007-09-18 | 2008-09-18 | Method and apparatus for holographic user interface communication |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101815980A CN101815980A (zh) | 2010-08-25 |
| CN101815980B true CN101815980B (zh) | 2012-12-05 |
Family
ID=40455484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008801075968A Active CN101815980B (zh) | 2007-09-18 | 2008-09-18 | 用于全息用户界面通信的方法和设备 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7881901B2 (zh) |
| EP (1) | EP2201446B1 (zh) |
| JP (1) | JP2010539620A (zh) |
| KR (1) | KR101108743B1 (zh) |
| CN (1) | CN101815980B (zh) |
| CA (1) | CA2699560C (zh) |
| WO (1) | WO2009039260A2 (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8477098B2 (en) * | 2007-10-31 | 2013-07-02 | Gene S. Fein | Method and apparatus for user interface of input devices |
| US20090109215A1 (en) | 2007-10-31 | 2009-04-30 | Fein Gene S | Method and apparatus for user interface communication with an image manipulator |
| US20110212774A1 (en) * | 2008-11-14 | 2011-09-01 | Karl Wudtke | Terminal including a button and button having projected images and method |
| EP2190173B1 (en) * | 2008-11-21 | 2016-08-03 | Vodafone Holding GmbH | Replaceable graphical user interface for mobile communication device |
| KR101114750B1 (ko) * | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
| EP2363055A1 (en) | 2010-03-01 | 2011-09-07 | Electrolux Home Products Corporation N.V. | Projector and household appliance comprising such a projector |
| US8966400B2 (en) * | 2010-06-07 | 2015-02-24 | Empire Technology Development Llc | User movement interpretation in computer generated reality |
| US20120005624A1 (en) | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
| US8643569B2 (en) | 2010-07-14 | 2014-02-04 | Zspace, Inc. | Tools for use within a three dimensional scene |
| CN102073393B (zh) * | 2010-11-10 | 2013-06-12 | 友达光电股份有限公司 | 应用于三维指向系统的方法 |
| US8479110B2 (en) | 2011-03-20 | 2013-07-02 | William J. Johnson | System and method for summoning user interface objects |
| KR101846168B1 (ko) * | 2011-08-26 | 2018-04-06 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US20130063438A1 (en) * | 2011-09-12 | 2013-03-14 | Empire Technology Development Llc | 3-dimensional imaging using microbubbles |
| EP2639012B1 (de) | 2012-03-15 | 2014-04-30 | Siemens Aktiengesellschaft | Verfahren zum Betrieb einer Bearbeitungsmaschine, Projektionsvorrichtung für eine Bearbeitungsmaschine, Computerprogramm, digitales Speichermedium und Bearbeitungsmaschine mit einer solchen Projektionsvorrichtung |
| US10080049B2 (en) | 2012-09-07 | 2018-09-18 | At&T Intellectual Property I, L.P. | Apparatus and method for presentation of holographic content |
| KR101950939B1 (ko) | 2012-09-13 | 2019-02-22 | 삼성전자주식회사 | 홀로그래픽 객체 처리 장치 및 그 동작 방법 |
| KR101927150B1 (ko) | 2012-10-30 | 2018-12-10 | 삼성전자주식회사 | 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법 |
| US9423939B2 (en) | 2012-11-12 | 2016-08-23 | Microsoft Technology Licensing, Llc | Dynamic adjustment of user interface |
| EP2821884B1 (en) * | 2013-07-01 | 2018-09-05 | Airbus Operations GmbH | Cabin management system having a three-dimensional operating panel |
| US9536493B2 (en) | 2013-09-25 | 2017-01-03 | Samsung Electronics Co., Ltd. | Display apparatus and method of controlling display apparatus |
| US9606506B2 (en) | 2013-10-15 | 2017-03-28 | Microsoft Technology Licensing, Llc | Holographic interaction device |
| US11983401B1 (en) | 2014-06-04 | 2024-05-14 | ULTRAHAPTICS IP TWO LIMITED, , United Kingd | Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space |
| JP6428020B2 (ja) * | 2014-07-24 | 2018-11-28 | セイコーエプソン株式会社 | Ｇｕｉ装置 |
| CN104407786A (zh) * | 2014-09-30 | 2015-03-11 | 深圳市亿思达科技集团有限公司 | 实现全息图像显示的交互式显示方法、控制方法及系统 |
| US10268277B2 (en) | 2014-09-30 | 2019-04-23 | Hewlett-Packard Development Company, L.P. | Gesture based manipulation of three-dimensional images |
| US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
| US9959658B2 (en) * | 2015-02-26 | 2018-05-01 | Rovi Guides, Inc. | Methods and systems for generating holographic animations |
| US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
| US20160314621A1 (en) | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached data |
| US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
| CN104883557A (zh) * | 2015-05-27 | 2015-09-02 | 世优（北京）科技有限公司 | 实时全息投影方法、装置及系统 |
| US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| US10338392B2 (en) | 2016-06-13 | 2019-07-02 | Microsoft Technology Licensing, Llc | Identification of augmented reality image display position |
| US10691066B2 (en) | 2017-04-03 | 2020-06-23 | International Business Machines Corporation | User-directed holographic object design |
| US10803832B2 (en) * | 2017-08-01 | 2020-10-13 | Samsung Electronics Co., Ltd. | Synchronizing holographic displays and 3D objects with physical video panels |
| EP3556702A1 (en) | 2018-03-13 | 2019-10-23 | Otis Elevator Company | Augmented reality car operating panel |
| WO2023031886A1 (en) * | 2021-09-04 | 2023-03-09 | Narayana Kikkeri Harshavardhana | A method, a processing unit and a projector device for rendering interactive holographs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6031519A (en) * | 1997-12-30 | 2000-02-29 | O'brien; Wayne P. | Holographic direct manipulation interface |
| CN1309376A (zh) * | 2000-02-15 | 2001-08-22 | 史蒂夫·马格鲁 | 用于读取和校验全息图的方法和设备 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994025915A1 (en) | 1993-04-28 | 1994-11-10 | Mcpheters R Douglas | Holographic operator interface |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US5546189A (en) * | 1994-05-19 | 1996-08-13 | View Engineering, Inc. | Triangulation-based 3D imaging and processing method and system |
| GB9505664D0 (en) * | 1995-03-21 | 1995-05-10 | Central Research Lab Ltd | An interactive display and input device |
| JPH09190278A (ja) * | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | 機器の操作系選択装置 |
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| US20020070921A1 (en) | 2000-12-13 | 2002-06-13 | Feldman Stephen E. | Holographic keyboard |
| US7185271B2 (en) | 2002-08-20 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | Methods and systems for implementing auto-complete in a web page |
| JP4741488B2 (ja) | 2003-07-03 | 2011-08-03 | ホロタッチ， インコーポレイテッド | ホログラフィックヒューマンマシンインタフェース |
| JP4331002B2 (ja) * | 2004-01-15 | 2009-09-16 | ソフトバンクモバイル株式会社 | 移動体通信端末 |
| US20070159453A1 (en) * | 2004-01-15 | 2007-07-12 | Mikio Inoue | Mobile communication terminal |
| US7262783B2 (en) | 2004-03-03 | 2007-08-28 | Virtual Iris Studios, Inc. | System for delivering and enabling interactivity with images |
| US7627627B2 (en) * | 2004-04-30 | 2009-12-01 | Hewlett-Packard Development Company, L.P. | Controlling command message flow in a network |
| JP2006318515A (ja) | 2004-09-10 | 2006-11-24 | Ricoh Co Ltd | ホログラム素子及びその製造方法及び光ヘッド装置 |
| DE102004044999A1 (de) * | 2004-09-16 | 2006-04-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Eingabesteuerung für Geräte |
| JP4754913B2 (ja) * | 2005-09-16 | 2011-08-24 | 旭化成エレクトロニクス株式会社 | 位置検出装置、情報入力装置、及びモーションスイッチ |
| US20070169066A1 (en) | 2005-11-17 | 2007-07-19 | Nielsen Spencer J | System and method for an extensible 3D interface programming framework |
| US8279168B2 (en) * | 2005-12-09 | 2012-10-02 | Edge 3 Technologies Llc | Three-dimensional virtual-touch human-machine interface system and method therefor |
| US9646415B2 (en) * | 2006-05-16 | 2017-05-09 | Underground Imaging Technologies, Inc. | System and method for visualizing multiple-sensor subsurface imaging data |
| US20080231926A1 (en) * | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
-
2007
- 2007-09-18 US US11/857,161 patent/US7881901B2/en active Active
-
2008
- 2008-09-18 CA CA2699560A patent/CA2699560C/en not_active Expired - Fee Related
- 2008-09-18 CN CN2008801075968A patent/CN101815980B/zh active Active
- 2008-09-18 KR KR20107007924A patent/KR101108743B1/ko active IP Right Grant
- 2008-09-18 JP JP2010525962A patent/JP2010539620A/ja active Pending
- 2008-09-18 EP EP08831562.7A patent/EP2201446B1/en active Active
- 2008-09-18 WO PCT/US2008/076834 patent/WO2009039260A2/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6031519A (en) * | 1997-12-30 | 2000-02-29 | O'brien; Wayne P. | Holographic direct manipulation interface |
| CN1309376A (zh) * | 2000-02-15 | 2001-08-22 | 史蒂夫·马格鲁 | 用于读取和校验全息图的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101108743B1 (ko) | 2012-02-24 |
| KR20100063793A (ko) | 2010-06-11 |
| CA2699560A1 (en) | 2009-03-26 |
| CA2699560C (en) | 2013-12-17 |
| EP2201446A2 (en) | 2010-06-30 |
| EP2201446B1 (en) | 2018-08-15 |
| WO2009039260A3 (en) | 2009-07-02 |
| JP2010539620A (ja) | 2010-12-16 |
| WO2009039260A2 (en) | 2009-03-26 |
| CN101815980A (zh) | 2010-08-25 |
| US20090076766A1 (en) | 2009-03-19 |
| US7881901B2 (en) | 2011-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101815980B (zh) | 用于全息用户界面通信的方法和设备 | |
| US8902225B2 (en) | Method and apparatus for user interface communication with an image manipulator | |
| US8212768B2 (en) | Digital, data, and multimedia user interface with a keyboard | |
| US20090102603A1 (en) | Method and apparatus for providing authentication with a user interface system | |
| Zhu et al. | Bishare: Exploring bidirectional interactions between smartphones and head-mounted augmented reality | |
| Drey et al. | Vrsketchin: Exploring the design space of pen and tablet interaction for 3d sketching in virtual reality | |
| US9939987B2 (en) | Method and apparatus for user interface of input devices | |
| US8127251B2 (en) | Method and apparatus for a user interface with priority data | |
| US20240257481A1 (en) | Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment | |
| Akaoka et al. | DisplayObjects: prototyping functional physical interfaces on 3d styrofoam, paper or cardboard models | |
| Valentini et al. | Accuracy in fingertip tracking using leap motion controller for interactive virtual applications | |
| CN103529942A (zh) | 基于免接触的手势的输入 | |
| US20090109174A1 (en) | Method and Apparatus for User Interface in Electronic Devices With Visual Display Units | |
| Gupta et al. | A survey on tracking techniques in augmented reality based application | |
| CN109871117A (zh) | 信息处理装置、显示装置及信息处理系统 | |
| KR20200083762A (ko) | 모션인식 기반의 홀로그램 출력 전자칠판 | |
| Prima et al. | A Pointing Device for 3D Interactive Spherical Displays | |
| Yim et al. | Evaluation of motion-based interaction for mobile devices: A case study on image browsing | |
| Yamaguchi et al. | Interactive aerial-3D-touch holographic light-field display | |
| Tahir et al. | Interactive Slide Navigation: An Approach for Manipulating Slides with Augmented Reality Markers | |
| Piszczek et al. | Manipulation of virtual 3D objects with the use of graphic tags and AR technologies | |
| Hsieh et al. | Touch interface for markless AR based on Kinect | |
| Wesche et al. | Immersive Interaction | |
| PI et al. | Putting the Surface in Context | |
| Gupta | The Universal Media Book |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |