CN101243392A - 用于终端用户编程的增强现实眼镜的系统、设备和方法 - Google Patents

用于终端用户编程的增强现实眼镜的系统、设备和方法 Download PDF

Info

Publication number
CN101243392A
CN101243392A CNA2006800297736A CN200680029773A CN101243392A CN 101243392 A CN101243392 A CN 101243392A CN A2006800297736 A CNA2006800297736 A CN A2006800297736A CN 200680029773 A CN200680029773 A CN 200680029773A CN 101243392 A CN101243392 A CN 101243392A
Authority
CN
China
Prior art keywords
user
glasses
terminal user
beat
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800297736A
Other languages
English (en)
Inventor
M·G·L·M·范杜尔恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101243392A publication Critical patent/CN101243392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于增强现实(AR)眼镜(131)的系统、设备和方法，该眼镜使得终端用户程序员能够对具有物理尺寸的周围智能环境进行可视化，以便将周围智能环境的虚拟交互机制/模式叠加在真实的位置、表面、对象和设备上。此外，终端用户可对虚拟交互机制/模式进行编程，并将它们叠加在周围智能环境中对应的真实对象和设备上。

Description

用于终端用户编程的增强现实眼镜的系统、设备和方法
本发明涉及用于增强现实眼镜的系统、设备和方法，所述眼镜使得终端用户程序员能够目视具有物理尺寸的周围智能(AmbientIntelligence)环境，以便将虚拟的交互机制/模式叠加在真实的对象和设备上。
将周围智能定义为三种最新的关键技术的汇聚：无处不在的计算、无处不在的通信、和适于用户的界面。参见例如韦氏(Merriam-Webster)字典，“周围”定义为“在所有侧边上存在或者出现”。参见例如美国传统(American Heritage)字典，无处不在被定义为“同时存在于每个地方”，其集成了在包括住宅、工作场所、医院、零售店等在内的每个环境中计算和通信无所不在的概念。无处不在的计算意味着将微处理器集成到环境的日常对象中。在住宅中，这些日常对象包括家具、服装、玩具和灰尘(纳米技术)。无处不在的通信意味着这些日常对象能够使用自组织无线网络彼此间进行通信以及与在它们附近的生物进行通信。而且，所有这些都是暗中完成的。
当复制目标环境不可行时，终端用户如何为这样的周围智能环境开发软件应用程序？以及即使当复制目标环境可行时，如何使得智能设备之间不可见或虚拟的互连及这些设备与生物(不仅仅人类)的关系让终端用户开发者可见？
现有的终端用户编程技术经常使用计算机屏幕上的可视编程语言，以允许用户开发它们自己的应用。然而，对于具有物理尺寸的周围智能环境，这些终端用户编程技术并不能很好的工作。仅仅使用计算机图形学难以以终端用户可以容易理解的、适用于终端用户编程的方式对虚拟和真实尺寸进行可视化。例如，终端用户开发者可能是某专业领域中的专家或服务人员，但是也可能是居家的消费者。编程设备进行终端用户想要的事务应当如同重新摆放家具那样简单和方便。
现在参考图1A-B，而不是通过图像用户接口来对终端用户与周围智能环境的交互进行可视化，本发明的优选实施例使用了增强现实(AR)眼镜131，通过该眼镜将虚拟的交互机制/模式(例如上下文触发器101、102，以及周围智能应用间的链接)叠加到真实对象105、106和真实设备上。
当终端用户程序员通过增强现实(AR)眼镜131查看周围智能环境时，称终端用户处于“写”模式，即终端用户可以‘看’到包含在真实的对象和设备中的周围智能应用之间的关系。而当终端用户程序员与周围智能环境中的所有其他终端用户一样、没有配戴增强现实(AR)眼镜131时，因为这些关系不再‘可见’而是仅仅只能体验到它们的效果，所以称终端用户处于“读”模式。
可以说，实际体验是以面向主体的、自发、和下意识的方式形成。用户可以选择自己所处的状况(在某种程度上)，但是这个状况始终会以个体所不能控制的方式影响用户。所述用户“读取”通过感测所感知的‘文字’，也通过该用户的动作对该‘文字’产生影响(“写”)。目前在周围智能环境中读和写的分离可比拟为排练与演出之间的分离。
本发明的系统、设备和方法为用户提供了有效并且高效的方式，来开发用于周围智能环境的应用；所述方式基于将这样的环境分成部件部分，这些部件部分包含称为“节拍(beats)”的小应用。用户使用增强现实(AR)眼镜131来开发这些节拍，并维护和更新它们。
接下来，由环境描述引擎300根据来自周围智能环境(在特定上下文中的使用)的用户反馈来对这些节拍进行排列，以形成唯一的故事情节。也就是说，通过用户与周围智能环境的交互，例如通过训练该环境来相互关联节拍集合。甚至可以通过捕获节拍之间的转换、将这个节拍集和它们的相互关系个性化到给定用户，并形成该用户自己对周围智能体验的故事。这个个性化故事保留在某种类型的永久存储器中，并由环境描述引擎300使用来在它以混合现实中的交互式记叙/戏剧集的类型与特定用户将来进行交互时创建周围智能环境。或者，可以通过在训练期间平均多个用户交互来结果生成培训，并且根据需要也可更新这些培训。
在共创的实施例中(例如，演出环境中)，当个体完成自己的表演时)，导致产生因此要创作的新节拍，并且将新节拍添加到环境叙述中，这因此实时地改变互动叙述的结构和内容。表演者可以在表演期间配戴AR眼镜131以‘看到’表演期间被创作的节拍，也可以在稍后通过配戴AR眼镜131回顾表演，并回顾由表演产生的节拍。若表演者对表演不满意并想要重复全部或部分来实现不同的节拍(或修改的节拍)，则配戴AR眼镜131的表演者可中断表演来如真正创作节拍那样‘编辑’该节拍。
正上所示，对叙述的实时修订是可能的，即通过添加/修改/删除节拍和节拍间相互关系并改进和添加节拍间转换，以对周围智能环境进行训练和重新训练。本发明的增强现实(AR)眼镜131通过在练习环境时使节拍及节拍间转换可见(可视化)来便于最初开发。之后，本发明的增强现实(AR)眼镜执行类似的功能以便维护和增强(更新)所部署/开发的周围智能环境。
图1A说明了使用增强现实(AR)眼镜的配戴者对周围智能环境的印象；
图1B说明了增强现实(AR)眼镜的实现示例；
图1C说明了用于AR眼镜的音频输入/输出设备的示例，所述设备包括含有耳机和麦克风的头戴耳机；
图1D说明了类似移动鼠标的设备的示例，所述设备用于在本发明的AR眼镜的视场中进行选择；
图2说明了一个典型的节拍文档；
图3说明了一个典型的节拍定序引擎流程图；
图4说明了一个典型的增强现实系统；
图5说明了根据本发明、用创作工具进行了修改的图4中的增强现实系统；
图6说明了使用本发明的AR眼镜的节拍创作用户界面屏幕。
图7说明了使用本发明的AR眼镜以完成链接修改的用户界面屏幕。
图8说明了使用本发明的AR眼镜进行前提修改/定义的用户界面屏幕；
图9说明了向情节结构添加新节拍；
图10说明了新添加的链接如何显示在AR眼镜的视野中；以及
图11说明了由“撤销”操作所能影响的节拍。
本领域普通技术人员应理解的是，提供下列描述的目的在于例示而不是限制。技术人员知道，在本发明的精神和所附权利要求的范围之内，可以有很多变体。可以从当前描述中省略已知功能和操作不必要的细节，以便不会使本发明变得晦涩。
本发明的系统、设备和方法为周围智能环境的用户编程提供了增强现实(AR)眼镜。一个包括其中AR眼镜尤其有用的周围智能环境的场景如下：
1.场景
当艺术博物馆的普通来访者走过博物馆的房间和大厅的时候，他们常常难以理解绘画及其历史。为选定艺术品提供了情景化的数字媒体(文本/图像，音乐/语音和视频)以便提供更好的学习体验，其中所提供的媒体为来访者的知识水平(初学者，中级，高级或年轻人/成年人)以及要被查看的艺术物品进行了定制。
考虑以下用户场景：一个艺术史家造访阿姆斯特丹的国立博物馆(Rijksmuseum)。当她进入17世纪荷兰厅时，她看到著名的绘画：伦勃朗梵莱茵(Rembrandt van Rijn)的“夜巡”(1642)。当她走向该绘画的时候，该绘画旁边的显示器上出现了文字，其示出了该绘画的许多细节和黄金时代。这位艺术史家尤其对17世纪的肖像画和光照使用部分感兴趣。不久，所述屏幕上的消息将她指向约翰内斯·凡尔迈的绘画。当这位艺术史家走近“倒牛奶的女仆”(the Milkmaid)(1658-1660)时，故事继续进行。
国立博物馆的馆长决定添加更多的情景化媒体到博物馆的绘画和艺术作品中。为了查看触发器和与这些触发器相关联的媒体，馆长配戴上增强现实(AR)眼镜131。图1A说明了博物馆馆长通过他那对增强现实(AR)眼镜131所看到的内容示例。地面101上的紫色圆圈指示用户可触发媒体演示(紫色球体102)的区域。地板104上的黄色虚线指示了从一幅绘画至另外一幅绘画的链接(例如，着重于肖像画中光照的使用)。当该馆长按下他AR眼镜上的按钮151或他口袋中的移动鼠标设备(图1D)150时，在他的视场132中出现了对话框屏幕，以允许他对情景化媒体对象进行管理。馆长选择将新的媒体对象添加至一幅绘画。馆长通过绕行或设定交互半径来定义可触发该情景化媒体对象的区域。该馆长将来访者的知识水平设置为‘高级’，并从在AR眼镜131的视场132中显示的这类演示的列表中选择合适的媒体演示。该对应的演示存储在博物馆数据库中。然后，邻近绘画103的显示器上出现了图标。馆长存储新的情景化媒体对象，并通过使用增强现实(AR)眼镜作为对媒体-艺术关联和触发进行‘编程’的辅助、来利用媒体继续添加和更新艺术作品。
使用根据本发明的AR眼镜131的实现如下：
将体系结构认为是本发明的优选实施例中的交互式叙述情节。取决于用户走过建筑物的方式来告诉用户不同的故事。该体系结构经电子媒体和光照增强后，该体系结构的组合视图为环境叙述情节。用户通过穿过环境(与之交互)来创建被感知为周围智能的唯一的个性化故事。在“读”模式下，对于如同艺术史家那样的来访者，用户仅能体验到已经被编程的内容。在“写”模式(通过配戴增强现实(AR)眼镜131来激活)下，经授权的博物馆工作人员可以改变环境叙述情节中的情景化媒体。
将环境叙述情节中的原子单位称为节拍。每个节拍由包含前提条件部分和可执行动作部分的一对组成。所述前提条件部分进一步包括至少一个对在动作部分可被执行之前必须为真的条件的描述，所述条件从包含舞台(位置)、表演(动作)、演员(用户角色)、道具(有形对象和电子设备)和剧本(包含知识水平在内的故事价值)的组中选出。动作部分包含每当其前提条件为真时、分别在环境中呈现/发起的实际演示描述或应用。由节拍定序引擎300基于用户反馈(例如，用户命令/语音)、上下文语义信息(例如，可用用户、设备)和故事状态来对节拍进行定序。
图2为节拍文档200的示例。它包括：
i.前提条件201，在可以调度节拍以便激活之前，必须保证所述前提条件。例如，舞台单元指示在名为“wing1”的位置必须有称为“nightwatch”的舞台。演员单元进一步表明，必须有已知为‘高级(advanced)’(专家)的来访者存在。前提条件基本上描述了其中允许所述动作的情景。
ii.当前提条件为真时所执行的动作。主体部分203包括超媒体演示标记，其可能包含诸如故事值204、触发器205和链接206之类的导航单元。这些单元用以指定动作/应用是如何影响节拍定序处理的。在图2中示出了每种类型一个，但是在节拍描述中每种类型可以有任意数量个(或根本没有)。
如上所述，在优选的实施例中，至少有两种交互模式：“读”模式和创作或“写”模式。
在周围智能环境的正常使用(读模式)期间采用下列步骤：
●捕获上下文环境：传感器连续地监视环境(一个或多个位置)以监视用户、设备和对象的改变。可以彼此组合使用多种类型的传感器，以构成上下文环境模式。节拍定序引擎需要上下文环境信息以确定节拍的前提条件是否有效。
●使用一个节拍作为初始节拍(例如，‘index.html’页)。这个节拍形成叙述情节中的入口点。执行动作部分。动作部分可以包含可以传送至浏览器平台的演示标记，或者可以包含到专用应用的远程调用。
●本地处理用户反馈(例如，按下的键盘、点击的鼠标)。当在演示标记或应用中遭遇到节拍标记单元时，将指令传送至节拍定序引擎300，其中相对于节拍集合对该单元进行检查。若单元id和文档id存在，则由节拍定序引擎300处理用户反馈事件(链接、触发置位/复位，故事值改变)。如果，如图2中的示例那样，在演示中遇到了链接单元，则将执行在‘to’字段中指定的查询。将结果产生的节拍(多个)添加到活动节拍集中(如果它/它们的前提条件全部都有效的话)。
●通过传感器网络，将在上下文环境中所识别的改变(例如，新用户进入环境)转发到节拍定序引擎300。
图3说明了节拍定序引擎300的流程图示例。链接、触发器(延迟的链接；当触发器的前提条件已被满足时变为激活)和故事值(用于叙述情节状态信息的会话变量)的使用产生了高度动态的系统。
在优选实施例中，当经授权的用户处于周围智能环境中时，当该用户配戴增强现实(AR)眼镜131时，将触发用户创作“写”模式。在这个模式下，节拍定序引擎300以与“读”模式中相同的方式继续起作用以便为用户提供有关其动作的即时反馈。然而，除了周围智能环境的正常操作之外，创作工具502在增强现实(AR)眼镜131的用户视场132中可视化与叙述情节有关的元数据。在图1A中，图标103、路径104和圆圈102指示这个额外的信息或元数据。
●图标103代表节拍的动作部分。如果该动作部分使用多个设备，则为该节拍显示多个图标。为指示哪些图标属于同一个节拍，在优选实施例中使用了颜色或其他视觉特征。
●对应的混合颜色的路径104代表从一个颜色的节拍到另一个颜色的节拍的链接。该路径的源和目的节拍由它们的颜色标记来指示：例如，如果源节拍具有蓝色图标且目标节拍具有红色图标，则路径为蓝/红虚线。
●地板、墙或天花板上对应颜色的圆圈102或矩形代表该颜色节拍处于激活状态的位置。
该额外信息或元数据可由节拍定序引擎300从节拍集中提取：
●在优选实施例中，每个节拍有预览属性(用于脱机模拟)。这个节拍预览属性与一图标相关联。用这个图标标记节拍集中的节拍文档的前提条件部分中指定的每个设备和对象。因为节拍定序引擎知道设备和对象的位置和区域，增强现实系统(例如，见图4-5)可使用用户配戴的增强现实眼镜131，并考虑到用户的方位(例如，使用图4中的相机402)，将虚拟图标覆盖在真实对象上。
●在节拍描述的动作部分对链接进行详细说明。可以计算链接的源和目的。每个节拍描述中的舞台前提条件用于确定该路径。在优选实施例中，当没有直接的视线时，使用建筑物/位置的预存物理平面图来计算节拍间的路线，以及哪条路线对于AR眼镜131的配戴者而言是可见的，例如，见104。
●从节拍描述的舞台前提条件和上下文环境模型(精确坐标)中提取其中节拍处于激活状态的区域。在优选实施例中，例如，本发明的增强现实(AR)眼镜用真实墙壁或地板覆盖虚拟平面。
图4说明了典型的增强现实系统400的流程。在一对增强现实眼镜131中的相机402将用户坐标和他的方位传送至数据检索模块403。这个数据检索模块403查询(307)节拍定序引擎300以便为环境中的3D模型407获得数据(图标、路径和区域以及节拍定序引擎的上下文环境模型中的位置数据)。这个3D模型407与来自相机402的位置数据一起由图形呈现引擎308使用来生成用相机405的真实视图增强的2D平面。然后，通过用户配戴的增强现实眼镜，向用户显示经增强的视频406。
从用户的视点对周围智能环境的环境叙述情节结构进行可视化，是由本发明的增强现实(AR)眼镜131所提供的“读”能力。本发明的“写”能力进一步使得用户能够使用增强现实(AR)眼镜131对周围智能环境进行改变/编程。优选地，如图5所示，本发明提供了创作工具502和到至少一个用户输入设备131、140、150的接口。用户输入设备包括了用于捕获姿态的装置和便携式的按钮设备/移动鼠标150，以便选择在配戴本发明的增强现实眼镜的用户的视场132中出现的增强环境的3D模型中的图标和路径。
在优选实施例中，还提供了在用户视场132中的图形用户界面(GUI)600-900，用以选择在配戴本发明的AR眼镜的用户视场132中出现的图标和路径。如果该GUI不与单个屏幕相配，则提供滚动机构以允许用户在多个屏幕GUI间向前和向后移动。在优选实施例中，该滚动机构为移动鼠标的滚动按钮，在AR眼镜131上的滚动按钮，或头戴耳机捕获的声音命令之一。其他可能性包括：捕获用户姿态、点头和其他身体移动，作为在用户配戴的AR眼镜131的市场132中滚动显示的方向。在集成了语音命令的优选实施例中，将说出的关键字用作到菜单和功能的快捷方式，并且语音识别器激活特定关键字并选择对应按钮和功能。
利用本发明的创作工具502，用户可以改变环境叙述情节的结构。将所做的修改提交到节拍定序引擎300所使用的节拍数据库，该节拍定序引擎300生成在本发明的AR眼镜131的配戴者的视场132中出现的元数据。优选实施例中的AR系统500的图形呈现部件408将这个GUI与经增强的视图一起呈现出来。图5说明了在创作工具502、节拍定序引擎300和增强现实系统402-408当中的关系的优选实施例。
用于周围智能环境的创作工具502通常包含：
●修改节拍动作、链接和前提条件
●添加节拍和链接
●删除节拍和链接
典型的创作工具502允许用户添加新的节拍和链接、删除旧的并修改现有的，而且所述性能在AR眼镜131的“写”模式中提供。在优选实施例中，可以在用户的引导下进入“读”模式，以便用户不必摘下AR眼镜131以进入“读”模式。在这个“读”模式下，用户看到在他的AR眼镜131中可视化的额外信息，但是周围智能环境则如同用户未配戴AR眼镜而处于“读”模式中时一样工作。同样，在优选实施例中，可以命名试用节拍集合，以便可以一次作为集合来保存节拍的试用集合，以及稍后进行添加/删除。这就避免了这样的情况：其中用户忘记删除仅用于与那些已被删除的节拍结合使用的节拍。这还允许重用以前定义和调试过的节拍集，例如以向另一个建筑物提供一些周围智能。
在替换的实施例中，也可以使用其他GUI，其中通过触摸按钮151在AR眼镜131的视野132中选择并显示不同的屏幕。进一步地，替换实施例可使用语音框和头戴耳机140。在所有替换GUI实施例中，用户接收有关用户动作的直接反馈。
在优选实施例中，通过选择图标、路径和区域，用户带来不同的创作屏幕。
在优选实施例中，通过选择图标，用户修改了特定节拍的动作部分。图6说明了一个实例，其中第一屏幕601提供了诸如进入和外出链接601.2之类的、有关节拍的信息。第二屏幕602允许用户修改图标。屏幕601和屏幕602两者都在配戴本发明的增强现实眼镜131的用户的视场132中出现。
用户通过选择路径，可以改变(701)链接的源和/或目的701.1/701.2(图7)。用户可从节拍数据库中选择现有节拍或指定查询701.3(例如，通过说出一些关键字，然后，与查询关键字相匹配的节拍的图标显示于图标中)。
用户通过选择区域，可以修改选定节拍(图8)的前提条件801、802。
因为当用户修改了节拍的前提条件之后，该用户还可能想修改节拍所具有的效果以及改变节拍的动作，所以用户可以在创作屏幕之间进行切换。AR系统500为用户提供即时反馈。所有的改变都会在由本发明的AR眼镜131提供的可视化反映出来。
为了添加新节拍，用户指示他希望添加新节拍。在优选实施例中，这通过按下按钮完成，其中按下按钮将带入其中用户可以创建新节拍的前提条件和动作部分的模式。必须首先指定前提条件(因为这些前提条件将限制可被选择的可能应用)。用户可以通过触摸设备和对象来把道具添加到新节拍模式的前提条件部份中。用户可以通过穿戴带标签的衣服来假定行动者的角色和添加行动者制约。在优选实施例中，用户通过在按压按钮的同时绕行来设置其中节拍可变得激活的区域。每个交互都尽可能地与现实世界接近。在设定了前提条件之后，用户选择必须与新前提条件相关联的剧本或应用。最终步骤是将新节拍添加到环境叙述情节中。
现在参考图9，其中说明了包括根节拍(环境)905的基本结构，所述根节拍具有固定数量的触发器(每个地点(例如，博物馆中的房间)一个)。每个触发器导致为该特定地点启动节拍。刚开始，这些‘地点’节拍904.1-904.N什么都不做。但是，当用户添加新节拍时，用户可将新节拍添加到适当的‘地点’节拍904.1-904.N中(或仅将节拍添加到节拍数据库中以供以后使用)。创作工具502将这个动作翻译为被添加到合适‘地点’904.1-904.N中的触发器单元。仅允许用户删除已经由用户定义的节拍。
触发器单元具有前提条件部分和链接描述。如果已经满足了前提条件，则可以经历该链接(并且启动节拍)。在优选实施例中，通过限制所允许的图表结构来简化工具502。为了添加新链接，用户必须通过按下特定按钮来指明该用户想要添加新链接。在优选实施例中，这通过与按钮按压相结合使用手势来完成，以便用户可以选择一个图标作为链接的起点，以及选择另一个图标作为链接的终点。链接的起点在视场132中带入对话屏幕，在其中用户指定在剧本或应用中的哪个点处经历该链接。但用户满意时，用户保存该新链接。AR系统为用户提供即时反馈。新节拍和链接立即呈现在增强现实眼镜131的视场132中。图10说明了新添加的链接如何在AR眼镜131的视场132中出现。
移除节拍和链接与添加节拍和链接类似：用户通过按下特定按钮或通过语音命令来指示移除。然后该用户选择图标(在仍然配戴着AR眼镜的情况下通过触摸物理对象或设备)，并且向该用户警告：该节拍(以及其所有向外链接)将被移除。如果用户在这个模式下选择了链接，则他同样会被警告该链接将被移除。AR系统500为用户提供即时反馈。经移除的节拍和链接从增强现实眼镜131的视场132中移除。提供了“撤销”/“调试”模式以允许用户进行各种配置的试验，即，移除节拍和链接的效果。图11中的高亮部分1101说明了当“撤消”操作在优选实施例中实现时、被“撤销”操作所影响的节拍1001。
尽管已经说明并描述了本发明的优选实施例，本领域的那些技术人员需要理解的是，这里所描述的设备、系统体系结构和方法是说明的，而且可以进行各种修改和改进、并且可以用等价物替换其中的单元而不偏离本发明的真实范围。而且，可以进行很多的修改以使本发明的示教适用于特定情景而不偏离本发明的核心范围。因此，本发明意图不受限于作为完成本发明的最佳模式而公开的特定实施例；而是本发明意图包含位于所附权利要求范围内的所有实施例。

Claims (16)

1、一种用于让终端用户对周围智能环境进行编程以包括至少一个可编程部件的设备(131、140、150)，包含：
一副增强现实(AR)眼镜(131)，具有透视的视场(132)以在其中为配戴所述AR眼镜的终端用户可视化至少一个可编程部件，所述至少一个可编程部件接近于由所述用户通过所述透视的视场所看到的对应真实世界实体。
用户编程界面(600-900)，出现在配戴AR眼镜的终端用户的AR眼镜(131)的视场(132)中，以便所述终端用户为所述至少一个可编程部件查看、创建和修改至少一个节目；以及
至少一个用户输入设备(133-135、140、150)，用于当所述用户编程界面(600-900)出现在视场(132)中时、让用户引导该界面或者对该界面起反应。
2、如权利要求1所述的设备(131、140、150)，其中所述AR眼镜还包含性能：当所述终端用户与所述周围智能环境交互时、“读”取所述至少一个可编程部件，以及如未配戴AR眼镜(131)的终端用户所看到的那样、在视场中显示所述终端用户与所述周围智能环境的交互。
3、如权利要求1所述的设备(131、140、150)，其中用户编程界面(600-900)与至少一个用户输入设备(133-135、140、150)相结合并由此包含“写”性能，所述“写”性能包括下列内容中的每一种：分别和相组合地创建、检索并修改/删除、以及命名并存储任何图标(103)、节拍(200)、区域(101)和链接(104)。
4、如权利要求3所述的设备(131、140、150)，其中所述AR眼镜(131)还包含性能：当所述终端用户与所述周围智能环境交互时、“读”取所述至少一个可编程部件，以及如所述终端用户所看到的那样、显示所述周围智能环境中的至少一个部件的视图。
5、如权利要求1所述的设备(131、140、150)，其中：
所述用户编程界面包含在所述AR眼镜(131)的视场中呈现的图形用户界面(600-900)；以及
所述用户输入设备包含了从下列组中选出的设备的组合，该组包括：用于语音输入/输出的头戴耳机(140)；包含左按钮(151)和右按钮(153)和菜单按钮(152)的按钮设备/移动鼠标(150)；包含用于语音输入和音频反馈的麦克风和扬声器的手持音频输入-输出杖；并入到所述AR眼镜中的滑轮鼠标(133-135)；以及并入到AR眼镜中的左(135)和右(134)按钮。
6、如权利要求2所述的设备(131、140、150)，其中，所述用户编程界面与所述至少一个用户输入设备相结合并由此包含“写”性能，所述“写”性能包括下列内容中的每一种：分别和相组合地创建、检索并修改/删除、以及命名并存储任何图标(103)、节拍(200)、区域(101)和链接(104)。
7、如权利要求2所述的设备(131、140、150)，还包含：
用于提供有关配戴所述AR眼镜的终端用户的位置和方位的信息、以确定由配戴AR眼镜(131)的终端用户所看到的情景的装置；以及
用于获取部件位置信息、以便至少对接近所述视场(132)中的至少一个部件的对应真实世界实体进行可视化的装置。
8、如权利要求7所述的设备(131、140、150)，其中：
所述用于提供有关终端用户的位置和方位信息的装置是安装在AR眼镜(131)中的相机；以及
所述用于获得部件位置信息的装置从下列组中选择，所述组包括：从部件位置数据库中检索位置信息和从部署为感测所述部件的传感器网络中获得位置信息。
9、如权利要求8所述的设备(131、140、150)，其中，所述用户编程界面与至少一个用户输入设备相组合并从而包含“写”性能，所述“写”性能包括下列每项：分别和相组合地创建、检索并修改/删除、以及命名并存储任何图标(103)、节拍(200)、区域(101)和链接(104)。
10、如权利要求9所述的设备(131、140、150)，其中：
所述用户编程界面包含在所述AR眼镜(131)的视场中呈现的图形用户界面(600-900)；以及
所述用户输入设备为从下列组中选出的设备的组合，所述组包括：用于语音输入/输出的头戴耳机(140)；包含左按钮(151)和右按钮(153)和菜单按钮(152)的按钮设备/移动鼠标(150)；包含用于语音输入和音频反馈的麦克风和扬声器的手持音频输入-输出杖；并入到AR眼镜(131)中的滑轮鼠标(133-135)；以及并入到AR眼镜中的左(135)和右(134)按钮。
11、一个用于周围智能环境的终端用户编程的系统，包含：
增强现实系统(402-408)，包括：
i.根据权利要求11所述、由终端用户配戴的一副增强现实(AR)眼镜(131、402)；以及
ii.节拍定序引擎300，来“读”由终端用户配戴AR眼镜(131、402)时触发的周围智能环境中的可编程部件，其中所述触发的部件在由终端用户配戴的AR眼镜(131、402)的视场中可视化；
创作工具(502)，收集终端用户的输入并与所述AR系统(402-408)进行接口，以便终端用户使用在AR眼镜(131、402)的视场中显示的用户界面来“写”所述周围智能环境中的可编程部件和相关节目。
12、一种让周围智能环境中的终端用户对该周围智能环境进行编程以包括至少一个可编程部件的方法，所述方法包括：
提供一副具有透视视场(132)的增强现实(AR)眼镜(131)；
当终端用户在所述周围智能环境中配戴所述AR眼镜时，在所述视场中可视化与在所述透视视场中看见的对应真实世界实体相靠近的至少一个可编程部件；
在所述视场(132)中显示终端用户编程界面(600-900)，其使得所述终端用户能够为至少一个具有“撤销”/“调试”模式的可编程部件“读”和“写”至少一个节目；以及
提供至少一个用户输入设备(133-135、140、150)，以便当终端用户编程界面(600-900)出现在视场(132)中时，让所述终端用户引导并对所显示的所述界面起反应来对所述至少一个可编程部件进行编程。
13、如权利要求12所述的方法，还包括步骤：
提供有关配戴所述AR眼镜的终端用户的位置和方位的信息；
根据所提供的终端用户的位置和方位信息，确定由配戴所述AR眼镜(131)的终端用户所看到的场景；以及
获取可编程部件位置信息；以及
对视场(132)中、与所述透视视场(132)中看到的对应真实世界实体相靠近的至少一个可编程部件进行可视化。
14.如权利要求13所述的方法，其中：
所述提供与终端用户的位置和方位有关的信息的步骤还包括提供安装于AR眼镜(131)上的相机的步骤；以及
获取部件位置信息的步骤还包括从下列组中选出的源中获取信息的步骤，其中所述组包括位置数据库和被部署为感测部件位置的传感器网络。
15.如权利要求14所述的设备方法，还包括步骤：在为可编程部件“写”节目的步骤中组合显示所述终端用户界面的步骤和提供至少一个用户输入设备的步骤，其中所述“写”步骤包含子步骤：分别和相组合地创建、检索并修改/删除、以及命名并存储任何图标(103)、节拍(200)、区域(101)和链接(104)。
16.如权利要求15所述的方法，其中：
所述显示终端用户编程界面的步骤还包括显示在AR眼镜(131)的视场中呈现的图形用户界面(600-900)的步骤；以及
提供用户输入设备的步骤还包括步骤：提供从下列组中选出的设备的组合的步骤，所述组包含：用于语音输入/输出的头戴耳机(140)；包含左按钮(151)和右按钮(153)和菜单按钮(152)的按钮设备/移动鼠标(150)；包含用于语音输入和音频反馈的麦克风和扬声器的手持音频输入-输出杖；并入到AR眼镜(131)中的滑轮鼠标(133-135)；以及并入到AR眼镜的左(135)和右按钮(134)。
CNA2006800297736A 2005-08-15 2006-08-15 用于终端用户编程的增强现实眼镜的系统、设备和方法 Pending CN101243392A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70832205P 2005-08-15 2005-08-15
US60/708,322 2005-08-15

Publications (1)

Publication Number Publication Date
CN101243392A true CN101243392A (zh) 2008-08-13

Family

ID=37575270

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800297736A Pending CN101243392A (zh) 2005-08-15 2006-08-15 用于终端用户编程的增强现实眼镜的系统、设备和方法

Country Status (6)

Country Link
US (1) US20100164990A1 (zh)
EP (1) EP1922614A2 (zh)
JP (1) JP2009505268A (zh)
CN (1) CN101243392A (zh)
RU (1) RU2008110056A (zh)
WO (1) WO2007020591A2 (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141885A (zh) * 2010-02-02 2011-08-03 索尼公司 图像处理设备、图像处理方法及程序
CN102474471A (zh) * 2009-08-07 2012-05-23 索尼公司 信息提供设备和方法、终端设备及信息处理方法和程序
CN102750118A (zh) * 2011-04-08 2012-10-24 索尼公司 显示控制设备、显示控制方法和程序
CN103425449A (zh) * 2012-05-16 2013-12-04 诺基亚公司 用于在多个显示器上同时呈现相同信息的不同表示的方法和装置
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
CN103480152A (zh) * 2013-08-31 2014-01-01 中山大学 一种可遥控的摇距临境移动系统
CN103620594A (zh) * 2011-06-21 2014-03-05 瑞典爱立信有限公司 对于移动网络中的视觉搜索和增强现实的缓存支持
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN103793473A (zh) * 2013-12-17 2014-05-14 微软公司 保存增强现实
CN103927350A (zh) * 2014-04-04 2014-07-16 百度在线网络技术（北京）有限公司 基于智能眼镜的提示方法和装置
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN104007889A (zh) * 2013-02-27 2014-08-27 联想(北京)有限公司 一种反馈方法和电子设备
CN104598037A (zh) * 2015-03-02 2015-05-06 联想(北京)有限公司 信息处理方法及装置
CN104777618A (zh) * 2011-02-04 2015-07-15 精工爱普生株式会社 虚像显示装置
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
CN105210117A (zh) * 2013-05-14 2015-12-30 高通股份有限公司 增强现实(ar)俘获和播放
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9329689B2 (en) 2010-02-28 2016-05-03 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置
CN106683194A (zh) * 2016-12-13 2017-05-17 安徽乐年健康养老产业有限公司 一种增强现实医疗通讯系统
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN103902202B (zh) * 2012-12-24 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
CN102810109B (zh) * 2011-05-31 2018-01-09 中兴通讯股份有限公司 增强现实视图的存储方法和装置
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10169915B2 (en) 2012-06-28 2019-01-01 Microsoft Technology Licensing, Llc Saving augmented realities
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
CN109584374A (zh) * 2012-02-02 2019-04-05 诺基亚技术有限公司 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
CN110083227A (zh) * 2013-06-07 2019-08-02 索尼互动娱乐美国有限责任公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070257881A1 (en) * 2006-05-08 2007-11-08 Marja-Leena Nurmela Music player and method
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
EP2132706A1 (de) * 2007-03-08 2009-12-16 Siemens Aktiengesellschaft Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen
US8855719B2 (en) * 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US20090327883A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamically adapting visualizations
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20100325154A1 (en) * 2009-06-22 2010-12-23 Nokia Corporation Method and apparatus for a virtual image world
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
WO2011114659A1 (en) * 2010-03-17 2011-09-22 Sony Corporation Information processing device, information processing method, and program
EP2583235A4 (en) 2010-06-15 2014-01-22 Ticketmaster L L C METHODS AND SYSTEMS FOR COMPUTER-ASSISTED EVENT AND PLACE CONFIGURATION AND MODELING AND INTERACTIVE CARDS
US9781170B2 (en) 2010-06-15 2017-10-03 Live Nation Entertainment, Inc. Establishing communication links using routing protocols
US10096161B2 (en) 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US9573064B2 (en) * 2010-06-24 2017-02-21 Microsoft Technology Licensing, Llc Virtual and location-based multiplayer gaming
US20120105440A1 (en) * 2010-06-25 2012-05-03 Lieberman Stevan H Augmented Reality System
US20120256917A1 (en) * 2010-06-25 2012-10-11 Lieberman Stevan H Augmented Reality System
KR101325757B1 (ko) * 2010-07-09 2013-11-08 주식회사 팬택 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
KR101285391B1 (ko) * 2010-07-28 2013-07-10 주식회사 팬택 음향 객체 정보 융합 장치 및 방법
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9111326B1 (en) 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US8845110B1 (en) 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
US8905551B1 (en) 2010-12-23 2014-12-09 Rawles Llc Unpowered augmented reality projection accessory display device
US9134593B1 (en) 2010-12-23 2015-09-15 Amazon Technologies, Inc. Generation and modulation of non-visible structured light for augmented reality projection system
US8845107B1 (en) 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US9721386B1 (en) * 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US9508194B1 (en) 2010-12-30 2016-11-29 Amazon Technologies, Inc. Utilizing content output devices in an augmented reality environment
US9607315B1 (en) 2010-12-30 2017-03-28 Amazon Technologies, Inc. Complementing operation of display devices in an augmented reality environment
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US10114451B2 (en) * 2011-03-22 2018-10-30 Fmr Llc Augmented reality in a virtual tour through a financial portfolio
RU2017118159A (ru) 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US8749573B2 (en) 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
US9597587B2 (en) * 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US9118782B1 (en) 2011-09-19 2015-08-25 Amazon Technologies, Inc. Optical interference mitigation
US9606992B2 (en) 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US20130257906A1 (en) * 2012-03-31 2013-10-03 Feng Tang Generating publication based on augmented reality interaction by user at physical site
CN103472909B (zh) * 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US10713846B2 (en) * 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9180053B2 (en) 2013-01-29 2015-11-10 Xerox Corporation Central vision impairment compensation
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9092865B2 (en) 2013-08-16 2015-07-28 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Map generation for an environment based on captured images
US20150161822A1 (en) * 2013-12-11 2015-06-11 Adobe Systems Incorporated Location-Specific Digital Artwork Using Augmented Reality
US9323323B2 (en) 2014-01-06 2016-04-26 Playground Energy Ltd Augmented reality system for playground equipment incorporating transforming avatars
US9723109B2 (en) * 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US10133356B2 (en) * 2014-06-11 2018-11-20 Atheer, Inc. Method and apparatus for controlling a system via a sensor
US9798299B2 (en) 2014-06-20 2017-10-24 International Business Machines Corporation Preventing substrate penetrating devices from damaging obscured objects
US20170153866A1 (en) * 2014-07-03 2017-06-01 Imagine Mobile Augmented Reality Ltd. Audiovisual Surround Augmented Reality (ASAR)
KR20170031223A (ko) * 2014-07-31 2017-03-20 세이코 엡슨 가부시키가이샤 표시 장치, 표시 장치의 제어 방법 및, 프로그램을 갖는 컴퓨터 판독 가능 기록 매체
US9892560B2 (en) * 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US9366883B2 (en) 2014-11-13 2016-06-14 International Business Machines Corporation Using google glass to project a red overlay that enhances night vision
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6582403B2 (ja) * 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10007352B2 (en) 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10768772B2 (en) * 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
US10452821B2 (en) 2016-03-30 2019-10-22 International Business Machines Corporation Tiered code obfuscation in a development environment
CN105912121A (zh) * 2016-04-14 2016-08-31 北京越想象国际科贸发展有限公司 一种增强现实的方法及系统
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10095461B2 (en) * 2016-09-23 2018-10-09 Intel IP Corporation Outside-facing display for head-mounted displays
US10481479B2 (en) * 2016-09-26 2019-11-19 Ronald S. Maynard Immersive optical projection system
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US20180182375A1 (en) * 2016-12-22 2018-06-28 Essential Products, Inc. Method, system, and apparatus for voice and video digital travel companion
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN106908951A (zh) 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
RU2660631C1 (ru) * 2017-04-26 2018-07-06 Общество с ограниченной ответственностью "ТрансИнжКом" Способ и система для формирования изображений совмещенной реальности
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) * 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
GB2566734A (en) * 2017-09-25 2019-03-27 Red Frog Digital Ltd Wearable device, system and method
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10964110B2 (en) * 2018-05-07 2021-03-30 Vmware, Inc. Managed actions using augmented reality
US10902684B2 (en) 2018-05-18 2021-01-26 Microsoft Technology Licensing, Llc Multiple users dynamically editing a scene in a three-dimensional immersive environment
WO2019235958A1 (ru) * 2018-06-08 2019-12-12 Oganesyan Maxim Samvelovich Способ предоставления услуги виртуального посещения мероприятия
US11049608B2 (en) 2018-07-03 2021-06-29 H&R Accounts, Inc. 3D augmented reality document interaction
US10860120B2 (en) 2018-12-04 2020-12-08 International Business Machines Corporation Method and system to automatically map physical objects into input devices in real time
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US11977725B2 (en) * 2019-08-07 2024-05-07 Human Mode, LLC Authoring system for interactive virtual reality environments
JP2022545112A (ja) 2019-08-22 2022-10-25 ナントジー モバイル，エルエルシー 仮想及び現実世界のコンテンツ作成、装置、システム及び方法
US11398216B2 (en) 2020-03-11 2022-07-26 Nuance Communication, Inc. Ambient cooperative intelligence system and method
CN112712597A (zh) * 2020-12-21 2021-04-27 上海影创信息科技有限公司 目的地相同用户的轨迹提示方法和系统
CN112397070B (zh) * 2021-01-19 2021-04-30 北京佳珥医学科技有限公司 一种滑动翻译ar眼镜

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5334991A (en) * 1992-05-15 1994-08-02 Reflection Technology Dual image head-mounted display
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6756998B1 (en) * 2000-10-19 2004-06-29 Destiny Networks, Inc. User interface and method for home automation system
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US7047092B2 (en) * 2003-04-08 2006-05-16 Coraccess Systems Home automation contextual user interface

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN102474471A (zh) * 2009-08-07 2012-05-23 索尼公司 信息提供设备和方法、终端设备及信息处理方法和程序
CN102141885B (zh) * 2010-02-02 2013-10-30 索尼公司 图像处理设备和图像处理方法
US11651574B2 (en) 2010-02-02 2023-05-16 Sony Corporation Image processing device, image processing method, and program
US11189105B2 (en) 2010-02-02 2021-11-30 Sony Corporation Image processing device, image processing method, and program
US10810803B2 (en) 2010-02-02 2020-10-20 Sony Corporation Image processing device, image processing method, and program
US9754418B2 (en) 2010-02-02 2017-09-05 Sony Corporation Image processing device, image processing method, and program
US10515488B2 (en) 2010-02-02 2019-12-24 Sony Corporation Image processing device, image processing method, and program
US12002173B2 (en) 2010-02-02 2024-06-04 Sony Corporation Image processing device, image processing method, and program
US10223837B2 (en) 2010-02-02 2019-03-05 Sony Corporation Image processing device, image processing method, and program
US10037628B2 (en) 2010-02-02 2018-07-31 Sony Corporation Image processing device, image processing method, and program
US9805513B2 (en) 2010-02-02 2017-10-31 Sony Corporation Image processing device, image processing method, and program
CN102141885A (zh) * 2010-02-02 2011-08-03 索尼公司 图像处理设备、图像处理方法及程序
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US10268888B2 (en) 2010-02-28 2019-04-23 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9329689B2 (en) 2010-02-28 2016-05-03 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9875406B2 (en) 2010-02-28 2018-01-23 Microsoft Technology Licensing, Llc Adjustable extension for temple arm
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN104777618A (zh) * 2011-02-04 2015-07-15 精工爱普生株式会社 虚像显示装置
CN104777618B (zh) * 2011-02-04 2017-10-13 精工爱普生株式会社 虚像显示装置
US9384594B2 (en) 2011-03-29 2016-07-05 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN103460256B (zh) * 2011-03-29 2016-09-14 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN102750118A (zh) * 2011-04-08 2012-10-24 索尼公司 显示控制设备、显示控制方法和程序
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US11237594B2 (en) 2011-05-10 2022-02-01 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN103620527B (zh) * 2011-05-10 2018-08-17 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US11947387B2 (en) 2011-05-10 2024-04-02 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN102810109B (zh) * 2011-05-31 2018-01-09 中兴通讯股份有限公司 增强现实视图的存储方法和装置
CN103620594A (zh) * 2011-06-21 2014-03-05 瑞典爱立信有限公司 对于移动网络中的视觉搜索和增强现实的缓存支持
US9489773B2 (en) 2011-06-21 2016-11-08 Telefonaktiebolaget Lm Ericsson (Publ) Caching support for visual search and augmented reality in mobile networks
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
US9678654B2 (en) 2011-09-21 2017-06-13 Google Inc. Wearable computer with superimposed controls and instructions for external device
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN103946732B (zh) * 2011-09-26 2019-06-14 微软技术许可有限责任公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN109584374A (zh) * 2012-02-02 2019-04-05 诺基亚技术有限公司 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
CN103425449B (zh) * 2012-05-16 2016-12-28 诺基亚技术有限公司 用于在多个显示器上同时呈现相同信息的不同表示的方法和装置
US10019221B2 (en) 2012-05-16 2018-07-10 Nokia Technologies Oy Method and apparatus for concurrently presenting different representations of the same information on multiple displays
CN103425449A (zh) * 2012-05-16 2013-12-04 诺基亚公司 用于在多个显示器上同时呈现相同信息的不同表示的方法和装置
CN103480154B (zh) * 2012-06-12 2016-06-29 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
US9599818B2 (en) 2012-06-12 2017-03-21 Sony Corporation Obstacle avoidance apparatus and obstacle avoidance method
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
US10169915B2 (en) 2012-06-28 2019-01-01 Microsoft Technology Licensing, Llc Saving augmented realities
US10176635B2 (en) 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
CN103902202B (zh) * 2012-12-24 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104007889B (zh) * 2013-02-27 2018-03-27 联想(北京)有限公司 一种反馈方法和电子设备
CN104007889A (zh) * 2013-02-27 2014-08-27 联想(北京)有限公司 一种反馈方法和电子设备
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN105210117A (zh) * 2013-05-14 2015-12-30 高通股份有限公司 增强现实(ar)俘获和播放
US11880541B2 (en) 2013-05-14 2024-01-23 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US11112934B2 (en) 2013-05-14 2021-09-07 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN110083227B (zh) * 2013-06-07 2022-08-23 索尼互动娱乐美国有限责任公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
CN110083227A (zh) * 2013-06-07 2019-08-02 索尼互动娱乐美国有限责任公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
CN103480152A (zh) * 2013-08-31 2014-01-01 中山大学 一种可遥控的摇距临境移动系统
CN103793473A (zh) * 2013-12-17 2014-05-14 微软公司 保存增强现实
CN103927350A (zh) * 2014-04-04 2014-07-16 百度在线网络技术（北京）有限公司 基于智能眼镜的提示方法和装置
US9779552B2 (en) 2015-03-02 2017-10-03 Lenovo (Beijing) Co., Ltd. Information processing method and apparatus thereof
CN104598037A (zh) * 2015-03-02 2015-05-06 联想(北京)有限公司 信息处理方法及装置
CN104598037B (zh) * 2015-03-02 2018-08-31 联想(北京)有限公司 信息处理方法及装置
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置
CN106683194A (zh) * 2016-12-13 2017-05-17 安徽乐年健康养老产业有限公司 一种增强现实医疗通讯系统
CN106875493B (zh) * 2017-02-24 2018-03-09 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法

Also Published As

Publication number Publication date
WO2007020591A2 (en) 2007-02-22
RU2008110056A (ru) 2009-09-27
JP2009505268A (ja) 2009-02-05
US20100164990A1 (en) 2010-07-01
WO2007020591A3 (en) 2007-08-09
EP1922614A2 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
CN101243392A (zh) 用于终端用户编程的增强现实眼镜的系统、设备和方法
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
Oviatt et al. Perceptual user interfaces: multimodal interfaces that process what comes naturally
Bainbridge Berkshire encyclopedia of human-computer interaction
Cipolla et al. Computer vision for human-machine interaction
Sharma et al. Speech-gesture driven multimodal interfaces for crisis management
Cheyer et al. Spoken language and multimodal applications for electronic realities
Komianos Immersive applications in museums: an analysis of the use of xr technologies and the provided functionality based on systematic literature review
Sturdee et al. Visual methods for the design of shape-changing interfaces
Bongers et al. Towards a Multimodal Interaction Space: categorisation and applications
Turk Moving from guis to puis
Wang et al. Virtuwander: Enhancing multi-modal interaction for virtual tour guidance through large language models
Kaghat et al. SARIM: A gesture-based sound augmented reality interface for visiting museums
CN110850976A (zh) 一种基于环境感知的虚拟现实投射和检索系统
Zidianakis et al. Building a sensory infrastructure to support interaction and monitoring in ambient intelligence environments
Valverde Principles of Human Computer Interaction Design: HCI Design
Carmigniani Augmented reality methods and algorithms for hearing augmentation
Ledermann An authoring framework for augmented reality presentations
Sparacino Natural interaction in intelligent spaces: Designing for architecture and entertainment
Emering et al. Conferring human action recognition skills to life-like agents
De Felice et al. Hapto-acoustic interaction metaphors in 3d virtual environments for non-visual settings
Pittarello Multi Sensory 3D Tours for Cultural Heritage: The Palazzo Grassi Experience.
Gyeonggi-Do et al. Analysis of a quality evaluation model for VR contents
Chen et al. Virtual, Augmented and Mixed Reality. Design and Interaction: 12th International Conference, VAMR 2020, Held as Part of the 22nd HCI International Conference, HCII 2020, Copenhagen, Denmark, July 19–24, 2020, Proceedings, Part I
Forsyth et al. Tools for interdisciplinary design of pervasive computing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080813