CN105518574A - 混合现实分级信息递送 - Google Patents

混合现实分级信息递送 Download PDF

Info

Publication number
CN105518574A
CN105518574A CN201480043177.8A CN201480043177A CN105518574A CN 105518574 A CN105518574 A CN 105518574A CN 201480043177 A CN201480043177 A CN 201480043177A CN 105518574 A CN105518574 A CN 105518574A
Authority
CN
China
Prior art keywords
data item
geolocation data
visual information
information density
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480043177.8A
Other languages
English (en)
Other versions
CN105518574B (zh
Inventor
T·G·萨尔特
B·苏格登
D·德普福德
R·小克罗可
B·基恩
L·梅赛
A·基普曼
P·T·金内布鲁
N·卡姆达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105518574A publication Critical patent/CN105518574A/zh
Application granted granted Critical
Publication of CN105518574B publication Critical patent/CN105518574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了涉及在混合现实环境中为多个地理定位数据项呈现多个视觉信息密度等级的各实施例。例如，在一个公开的实施例中，分级信息递送程序接收所选地理定位数据项的信息并且将该数据项的最小视觉信息密度等级提供给头戴式显示设备。该程序经由头戴式显示设备来接收对应于所选地理定位数据项的用户输入。基于该输入，该程序将所选项的增高的视觉信息密度等级提供给头戴式显示设备以供在混合现实环境中进行显示。

Description

混合现实分级信息递送
背景
混合现实设备(诸如头戴式显示设备)可被用在各种真实世界环境和上下文中。此类设备可向用户提供用户周围的物理环境的实时视图，并可用诸如全息图像、文本、和/或其他视觉信息之类的虚拟现实信息来增强该视图。
一些虚拟现实信息可以是地理定位在物理环境中的特定位置处。在一些上下文中，大量地理定位的虚拟现实信息可用于向用户呈现。在具有如此多的虚拟现实信息可用的情况下，管理这一信息向用户的呈现可能被证明为是具有挑战性的。呈现过多虚拟现实信息可使用户对混合现实环境的体验混乱并使用户难以忍受，从而使得信息难以处理。
在其中期望用户对直接物理环境的感知的情景中，诸如在繁忙都市环境中，此类虚拟信息混乱也可能呈现出安全危害。此外，在一些情形中，用户可能对查看可用地理定位的虚拟现实信息总量的有限部分感兴趣。在其他情形中，用户可能期望查看关于地理定位信息的一个或多个项的更详细的信息。此外，即便呈现可用虚拟现实信息的更小部分，呈现的信息量和呈现方式可能仍旧产生低于期望的用户体验。
概述
本文公开了涉及为多个地理定位数据项呈现多个视觉信息密度等级的各实施例。例如，一个公开的实施例提供了一种在头戴式显示设备中用于为混合现实环境中的多个地理定位数据项呈现多个视觉信息密度等级的方法。视觉信息密度等级可包括最小视觉信息密度等级以及多个增高的视觉信息密度等级。该方法包括接收所选地理定位数据项的信息。所选地理定位数据项的最小视觉信息密度等级被提供给显示系统以供由头戴式显示设备在混合现实环境内显示。
对应于所选地理定位数据项的用户输入被接收。基于该用户输入，所选地理定位数据项的增高的视觉信息密度等级之一被提供给显示系统以供由头戴式显示设备在混合现实环境内显示。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1是根据本公开的一实施例的混合现实系统的示意图。
图2示出根据本公开的一实施例的示例头戴式显示设备。
图3是用于地理定位数据项的最小视觉信息密度等级以及多个增高的视觉信息密度等级和对应指示符的示意解说。
图4是如通过头戴式显示设备看到的对应于地理定位数据项的多个最小视觉信息密度等级指示符的示意图。
图5是图4的示意图，其中最小视觉信息密度等级指示符中的一些被扩展为增高的视觉信息密度等级指示符。
图6是如经由头戴式显示设备查看的包括物理环境以及多个最小视觉信息密度等级指示符的混合现实环境的示意图。
图7是如经由头戴式显示设备从与图6不同的位置查看的图6的混合现实环境的一部分的示意图。
图8A和8B是根据本公开的一实施例的用于为多个地理定位数据项呈现多个视觉信息密度等级的方法的流程图。
图9是计算设备的一实施例的简化示意解说。
详细描述
图1示出混合现实系统10的一个实施例的示意图。混合现实系统10包括可被存储在计算设备22的大容量存储18中的分级信息递送程序14。分级信息递送程序14可被加载到存储器26中并由计算设备22的处理器28执行以执行下文更为详细地描述的方法和过程中的一个或多个。
混合现实系统10包括混合现实显示程序30，该混合现实显示程序30可生成供经由显示设备(诸如头戴式显示器(HMD)设备36)查看的在物理环境34内显示的虚拟环境32以创建混合现实环境38。如下文更详细地描述的，虚拟环境32可包括用一个或多个视觉信息密度等级来呈现的地理定位数据项40。如下文进一步描述的，此类地理定位数据项40可包括但不限于，社交联网数据、图像数据、推荐/评论数据、以及实体描述数据。地理定位数据项40可以经由图像、图形、和/或文本(诸如地理定位、二维或三维图像、图形和/或文本)用一个或多个视觉信息密度等级来呈现。
视觉信息密度等级可包括最小视觉信息密度等级44以及多个增高的视觉信息密度等级，诸如第一增高视觉信息密度等级48和第二增高视觉信息密度等级52。将领会，可以提供任何合适数目的增高的视觉信息密度等级。在一个示例中并且如下文更详细地描述的，每一增高的视觉信息密度等级顺序地提供与先前信息密度等级中提供的相比与特定地理定位数据项40相关的更大量的信息。
在一些示例中，每一此类更大量的信息包括相关的先前信息密度等级中包含的所有信息连同与特定地理定位数据项40相关的附加信息。在其他示例中，每一此类更大量的信息不包括相关的先前信息密度等级中包含的信息或包括一部分该信息，连同与特定地理定位数据项40相关的附加信息。
在一个示例中，并且如在下面更详细地描述的，地理定位数据项信息46可由计算设备22经由网络54从服务器58或其他外部源接收。地理定位数据项信息46可包括针对一个或多个地理定位数据项40的多个视觉信息密度等级。在其他示例中，分级信息递送程序14可以将地理定位数据项信息46隔离成多个视觉信息密度等级。在还有一些其他示例中，地理定位数据项信息46可本地地在计算设备22上生成。
计算设备22可采用以下形式：台式计算设备，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图9更详细地描述。
计算设备22可使用有线连接来与HMD设备36在操作上连接，或可采用经由WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与HMD设备36分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备36中。
现在还参考图2，提供了一副具有透明显示器62的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备36可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括但不限于手持式智能电话、平板计算机以及其他适当的显示设备。
参考图1和2，在这一示例中，HMD设备36包括显示系统66和使处于各个视觉信息密度等级的地理定位数据项40能够被递送到用户68的眼睛的透明显示器62。透明显示器62可被配置成向透过该透明显示器查看物理环境的用户68在视觉上增强该物理环境34的外观。例如，物理环境的外观可以由经由透明显示器62呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境38。
透明显示器62还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。在一个示例中，透明显示器62可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器62可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可以使用户能够感知位于用户正在查看的物理环境内的2D图像或3D全息图像，同时还允许用户查看物理环境中的物理对象。
HMD设备36还可包括各种传感器和相关系统。例如，HMD设备36可包括利用至少一个面向内的传感器216的眼睛跟踪传感器系统72。该面向内的传感器216可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪传感器系统72可以使用这一信息来跟踪用户的眼睛的位置和/或运动。
HMD设备36还可包括从物理环境34接收物理环境数据的传感器系统。例如，HMD设备36可包括利用至少一个面向外的传感器212(如光学传感器)的光学传感器系统74。面向外的传感器212可以检测其视野内的运动，如用户视野内的用户68或人或物理对象所执行的基于姿势的输入或其他运动。面向外的传感器212还可从物理环境34和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
HMD设备36可包括经由一个或多个深度相机的深度感测。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
面向外的传感器212可以捕捉用户68位于其中的物理环境的图像。在一个示例中，混合现实显示程序30可包括使用这样的输入来生成可以对该用户周围的物理环境34进行建模的虚拟环境32的3D建模系统。
HMD设备36还可包括位置传感器系统76，该位置传感器系统76利用一个或多个运动传感器220来实现对HMD设备的位置跟踪和/或取向感测。例如，位置传感器系统76可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统76可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备36在三维空间内沿三个正交轴(例如，x、y、z)的位置变化以及该HMD设备绕三个正交轴(例如，翻滚、俯仰、偏航)的取向变化的三个加速度计和三个陀螺仪。
位置传感器系统76还可以支持其他合适的定位技术，如GPS或其他全球导航系统。而且，尽管描述了位置传感器系统的具体示例，但将明白，可以使用其他合适的位置传感器系统。
在一些示例中，运动传感器220还可以被用作用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与HMD设备36交互。HMD设备36还可包括包含一个或多个话筒224的话筒系统78。在其他示例中，音频可经由HMD设备36上的一个或多个扬声器228被呈现给用户。
HMD设备36还可包括具有与HMD设备的各传感器和系统通信的逻辑子系统和存储子系统的处理器230，如在下文参考图9更详细地讨论的。在一个示例中，存储子系统可包括可由逻辑子系统执行的指令，用以接收来自传感器的信号输入并将此类输入转发到计算设备22(以未经处理或经处理的形式)并且经由透明显示器62向用户呈现图像。
要领会，HMD设备36和相关的传感器以及上面描述的并在图1和2中解说的其他组件是作为示例来提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，HMD设备36可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，HMD设备36的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
现在参考图3-7，现在将提供对混合现实系统10的示例用例和实施例的描述。转向图3并且如下文更详细地描述的，分级信息递送程序14可以用一个或多个视觉信息密度等级来呈现地理定位数据项40。在图3所示的示例中，地理定位数据项是推荐/评论数据项。推荐/评论数据项可对应于来自为产品、服务等提供推荐和/或评论的推荐/评论服务的数据。在其他示例中，推荐/评论数据项可对应于接收自其他源(诸如社交联网服务)的推荐和/或评论数据。
在图3所示的示例中，推荐/评论数据项用多个增高的视觉信息密度等级和对应的指示符图像来在视觉上被表示。如下文更详细地描述的，用户68可以经由对应于所选地理定位数据项的用户输入从所选地理定位数据项40的当前视觉信息密度等级前进到下一增高的视觉信息密度等级。在一个示例中，推荐/评论数据项304的最小视觉信息密度等级可以由一指示符(诸如星号304’)表示。将领会，任何合适形式或形状的指示符或其他视觉表示可以被利用。如下文更详细地描述的，对应于最小视觉信息密度等级的指示符可简单地向用户传达地理定位数据项40位于物理环境34中经由HMD设备36向用户显示的指示符所在的位置处。
在接收到针对对应于最小视觉信息密度等级的星号304’的用户输入之际，推荐/评论数据项的第一增高的视觉信息密度等级可以被显示。如图3所示，推荐/评论数据项的第一增高的视觉信息密度等级可以由比最小视觉信息密度等级指示符304'提供关于地理定位数据项40的更多信息的不同的指示符304”来表示。在图3所示的示例中，对应于第一增高的视觉信息密度等级的指示符304”可包括“R”以向用户传达该地理定位数据项是推荐/评论数据项。在这一示例中，第一增高的视觉信息密度等级指示符304”还可包括对应于正提供信息的特定推荐/评论服务的标号“y”。
在接收到针对第一增高的视觉信息密度等级指示符304”的用户输入之际，推荐/评论数据项的第二增高的视觉信息密度等级可以被显示。推荐/评论数据项的第二增高的视觉信息密度等级可以由与第一信息密度等级指示符304”相同的指示符304”’来表示，并且还可比第一信息等级密度指示符304”包括关于数据项的更多信息。在图3所示的示例中，第二增高的视觉信息密度等级指示符304”’包括接收推荐/评论信息连同评级(诸如5星中的3星)的服务的名称。
在接收到针对第二增高的视觉信息密度等级指示符304”’的用户输入之际，对应于推荐/评论数据项的第三增高的视觉信息密度等级指示符304””可以被显示。推荐/评论数据项的第三增高的视觉信息密度等级指示符304””比第二信息密度等级指示符304”’提供关于地理定位数据项40的更多信息。在图3所示的示例中，第三增高的视觉信息密度等级指示符304””包括AwesomeFoodCart(棒极了食品车)的图像连同对应于食品车的完整文本消费者评论的3个消费者评论超链接。
如图3中的示例所示的，增高的视觉信息密度等级可占据混合现实环境内增高量的视觉空间。有利的并且如下文更详细地描述的，通过利用此类增高的视觉信息密度等级，混合现实系统10可以初始地呈现用于多个地理定位数据项40的较低的信息密度等级和对应的较小指示符以避免呈现过多信息并且潜在地遮挡用户对物理环境的视野。在接收到选择地理定位数据项40中的一者或多者的用户输入之际，混合现实系统10可以提供用于所选地理定位数据项40的增高的视觉信息密度等级和对应修改的指示符和/或附加视觉信息。
现在参考图4和5，提供了如通过HMD设备200看到的物理环境内显示的视觉信息密度等级的指示符的示例示意图。如图4所示，在一个示例中，对应于最小视觉信息密度等级的多个指示符404’、406’和408’被显示。指示符404’、406’和408’中的每一者可对应于多种类型的地理定位数据项40之一。
如图4所示，对应于最小视觉信息密度等级的指示符404’、406’和408’占据如通过HMD设备200看到的混合现实环境38内相对较小量的视觉空间。有利的是，以此方式，混合现实系统10可以概括地向用户指示在用户当前视野内的地理定位数据项40的位置。
在用户期望关于由指示符之一表示的特定地理定位数据项40的更多信息的情况下，用户可以经由HMD设备36来提供对应于该指示符和对应的所选地理定位数据项的用户输入。在一个示例中，用户可以注视对应于最小视觉信息密度等级的指示符406’达一预定时间段。该预定时间段可以例如是1秒、2秒、3秒或任何合适的时间段。现在参考图5，使用来自眼睛跟踪传感器系统72的数据并且在该预定时间段期满之际，分级信息递送程序14可以用包括与对应地理定位数据项40相关的附加信息的增高的视觉信息密度等级指示符406”来代替最小视觉信息密度等级指示符406’。在这一示例中并且如下文更详细地描述的，地理定位数据项是图像地理定位数据项。
在其他用户输入示例中，用户可以提供指示地理定位数据项的手、手臂、身体、头部、或其他用户移动形式的姿势数据。在其他示例中，包括头部取向、定位和/或位置的头部姿态数据形式的用户输入可用于指示地理定位数据项。在其他示例中，语音数据形式的用户输入可用于指示地理定位数据项。例如，用户可以口头地标识对应于地理定位数据项的特定指示符。在其他示例中并且再次参考图1，手持式指示符数据可以接收自可由用户68操作以指示地理定位数据项的手持式指示符86。例如，手持式指示符86的定位可以由HMD设备200用来在混合现实环境38内显示用户可引导至对应于地理定位数据项的指示符的指向元素。用户68接着可以使用手持式指示符86或其他形式的用户输入来选择指示符。
如图5所示，对应于各种不同的地理定位数据项40的增高的视觉信息密度等级和对应的指示符404”可以被提供。例如，推荐/评论地理定位数据项可以由包括字母“R”的指示符来表示。图像地理定位数据项可以由包括字母“P”的指示符以及在该指示符上的该图像的缩略图来表示。图像地理定位数据项可对应于来自一个或多个源的照片、全息图、视频和/或其他图像数据。
社交联网地理定位数据项可以由包括字母“S”以及在该指示符上表示特定社交联网服务的图标来表示。社交联网地理定位数据项可对应于来自社交联网服务的数据，例如举例而言，帖子、提醒、消息、照片等。实体描述地理定位数据项可以由包括字母“D”的指示符来表示。实体描述的地理定位数据项可对应于与人、角色、公司、服务、位置和/或任何其他实体相关的数据。实体描述数据可包括例如维基百科条目、博客帖子、广告等。还将领会，任何合适数目和/或类型的地理定位数据项可被利用并且在本公开的范围内。还将领会，本文提供的特定形式和示例的指示符仅仅出于描述目的，并且任何其他合适形式、形状、类型或大小的指示符可被利用并且在本公开的范围内。
在一个示例中，2个或更多个地理定位数据项40在混合现实环境38中可位于相同位置处或者位于彼此非常接近的位置处。在这一示例中，2个或更多个地理定位数据项可位于相对于彼此足够靠近，从而为这2个或更多个地理定位数据项中的每一者显示视觉信息密度等级指示符将使得对应的指示符对用户而言看上去太拥挤和/或部分或完全重叠。
例如，分级信息递送程序14可确定如经由HMD设备200显示的2个或更多个地理定位数据项将分开达预定距离或更少。该预定距离可以例如是0.5毫米(mm)、1mm或任何其他合适的预定距离。该预定距离可以例如相对于HMD设备200的透明显示器62来测量。
基于地理定位数据项分开预定距离或更少，分级信息递送程序14可以将这2个或更多个地理定位数据项折叠成单个经聚集的地理定位数据项80。如图4所示，经聚集的地理定位数据项80可以被显示为位于这2个或更多个地理定位数据项的位置处或附近的最小视觉信息密度等级指示符408’。
在另一示例中并且再次参考图4，经聚集的地理定位数据项80可以由最小视觉信息密度等级指示符412’指示，并且可对应于2个图像数据地理定位数据项。用户68可以指向对应于经聚集的地理定位数据项80的指示符412’，该姿势经由HMD设备200的光学传感器系统74来接收。
基于针对指示符412’的用户姿势，分级信息递送程序14可以扩展经聚集的地理定位数据项80以提供用于两个图像数据地理定位数据项中的每一者的增高的视觉信息密度等级。现在参考图5，在一个示例中，2个图像数据地理定位数据项可以由对应于增高的视觉信息密度等级的指示符506”和510”来表示。在一个示例中，每一个这样的指示符506”和510”可以链接到位置指示符514，位置指示符514表示对应于每一个这样的指示符的地理定位数据项的近似位置。
在其他示例中，位于相同位置处或者位于彼此非常靠近的位置的2个或更多个地理定位数据项40可以由指示在该位置处或靠近该位置的地理定位数据项的数目的单个增高的视觉信息密度等级指示符来表示。作为示例并且如图5所示，指示符502”可以表示位于给定位置处或者靠近给定位置的25个不同的地理定位数据项。在该示例中，该指示符包括字母“M”以指示多个地理定位数据项被表示连同指示存在25个这样的数据项的数字25。
现在参考图6，在一个示例中，用户可以位于包括街道612的城市交叉口附近，并且可以经由HMD设备200来查看包括该交叉口的混合现实环境600。混合现实环境600还可包括对应于一个或多个地理定位数据项40的最小视觉信息密度等级的多个指示符404’和604’。最小视觉信息密度等级指示符604’各自位于AwesomeFoodCart608附近。
HMD设备200的位置传感器系统76可以确定对应于HMD设备200的位置的位置数据。现在还参考图7，佩戴HMD设备200的用户可以穿过街道612并且朝着AwesomeFoodCart608行走。使用HMD设备200的位置数据，分级信息递送程序14可以确定HMD设备200正在移动靠近AwesomeFoodCart608附近的最小视觉信息密度等级指示符604’以及对应的地理定位数据项40的位置。基于HMD设备200移动靠近最小视觉信息密度等级指示符604’和对应的地理定位数据项40，分级信息递送程序14可以为对应的地理定位数据项40提供一个或多个增高的视觉信息密度等级。
在图7所示的示例中，位于AwesomeFoodCart608上的3个对应的地理定位数据项40可以由第一增高的视觉信息密度等级指示符604”来表示。在该示例中，第一增高的视觉信息密度等级指示符604”对应于社交联网地理定位数据项。
在一个示例中，与位于AwesomeFoodCart608上的地理定位数据项40相比，用户和HMD设备200可以更靠近位于AwesomeFoodCart608右侧的地理定位数据项40。相应地，在这一示例中，位于AwesomeFoodCart608右侧的地理定位数据项40可以由第三增高的视觉信息密度等级指示符604””来表示。如图7所示，第三增高的视觉信息密度等级指示符604””对应于推荐/评论地理定位数据项。在这一示例中，第三增高的视觉信息密度等级指示符604””包括5星中的3星评级、AwesomeFoodCart608的照片、以及去往AwesomeFoodCart的3个消费者品论的超链接704。
在一些示例中，分级信息递送程序14可以基于HMD设备200移动靠近对应于地理定位数据项的视觉信息密度等级指示符而无需任何对应的用户输入来在程序上为地理定位数据项提供一个或多个增高的视觉信息密度等级。
在另一示例中，当混合现实环境中的空间信息密度低于预定阈值时，代替为地理定位数据项提供最小视觉信息密度等级，分级信息递送程序14可以为地理定位数据项提供增高的视觉信息密度等级之一。再次参考图7，在一个示例中，用户可能正在经由HMD设备200查看AwesomeFoodCart608。空间信息密度可以被定义为HMD设备200的透明显示器62中被所显示的地理定位数据项信息占据的单位面积的百分比。单位面积可以例如是透明显示器62的定义区域，并且可以由特定面积来定义，诸如25平方毫米(mm2)、50mm2、100mm2或任何其他合适的单位面积。空间信息密度的预定阈值可以例如为单位面积的10％、25％、50％、75％或任何其他合适的百分比。在一些示例中，多个不同的单位面积和对应的预定阈值百分比可被利用。
再次参考图7，在这一示例中，位于AwesomeFoodCart608右侧的地理定位数据项40可以是位于将HMD设备200的透明显示器62平分的线708右侧的单个地理定位数据项。显示第三增高的视觉信息密度等级指示符604””可占据透明显示器62的右半部712的49％。在空间信息密度的预定阈值为透明显示器62的一半的50％的情况下，分级信息递送程序14可以在程序上显示第三增高的视觉信息密度等级指示符604””而无需针对对应的地理定位数据项40的任何用户输入。
图8A和8B解说根据本公开的一实施例的用于在混合现实环境中为多个地理定位数据项呈现多个视觉信息密度等级的方法800的流程图。参考以上描述并在图1-7中示出的混合现实系统10的软件和硬件组件来提供方法800的以下描述。可以理解，方法800还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图8A，在804，方法800可包括接收所选地理定位数据项的信息。在808，方法800可包括将该信息隔离成多个信息细节等级。在812，方法800可包括将所选地理定位数据项的最小视觉信息密度等级提供给显示系统以供由头戴式显示设备在混合现实环境内显示。
在816，方法800可包括接收对应于所选地理定位数据项的用户输入。在820，用户输入可从由以下各项组成的组中进行选择：眼睛跟踪数据、姿势数据、头部姿态数据、语音数据、以及手持式指示符数据。在824并且基于用户输入，方法800可包括将所选地理定位数据项的增高的视觉信息密度等级提供给显示系统以供由头戴式显示设备在混合现实环境内显示。在830，增高的视觉信息密度等级可占据混合现实环境内增大量的视觉空间。
在834，方法800可包括接收头戴式显示设备的位置数据。在838并且基于头戴式显示设备正移动靠近所选地理定位数据项的位置，方法800可包括将所选地理定位数据项的增高的视觉信息密度等级中的一者或多者提供给显示系统以供由头戴式显示设备进行显示。在842，方法800可包括当混合现实环境中的空间信息密度低于预定阈值时，代替提供所选地理定位数据项的最小视觉信息密度等级，改为提供所选地理定位数据项的增高的视觉信息密度等级之一。
现在参考图8B，在846，方法800可包括接收两个或更多个地理定位数据项的信息。在850，方法800可包括确定如经由头戴式显示设备所显示地，地理定位数据项将分开达预定距离或更少。在854并且基于地理定位数据项的分开，方法800可包括将地理定位数据项折叠成经聚集的地理定位数据项。在858，方法800可包括将经聚集的地理定位数据项的最小视觉信息密度等级提供给显示系统以供由头戴式显示设备在混合现实环境内显示。
在862，方法800可包括经由头戴式显示设备来接收对应于经聚集的地理定位数据项的用户输入。在866并且基于用户输入，方法800可包括扩展经聚集的地理定位数据项以将两个或更多个地理定位数据项中的每一者的增高的视觉信息密度等级提供给显示系统以供由头戴式显示设备在混合现实环境内显示。在870，地理定位数据项可以从由以下各项构成的组中选择：社交联网数据、图像数据、推荐/评论数据、以及实体描述数据。
能够理解，方法800是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法800可包括相比于图8A和8B中示出的那些步骤而言附加的和/或替换的步骤。并且，可以理解，方法800可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法800中省略，而不背离本发明的范围。
图9示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统900的非限制性实施例。计算设备22可以采取计算系统900的形式。计算系统900以简化形式示出。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统900可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些示例中，计算系统900可被集成到HMD设备中。
如图9所示，计算系统900包括逻辑子系统904、存储子系统908、显示子系统912以及传感器子系统916。计算系统900可任选地包括通信子系统920、输入子系统922和/或在图9中未示出的其他子系统和组件。计算系统900还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统900还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统904可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统904可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统904可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备分布的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统908可包括被配置为保持可由逻辑子系统904执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统908的状态可以被变换(例如，以保持不同的数据)。
存储子系统908可以包括可移动介质和/或内置设备。存储子系统908可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统908可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统904和存储子系统908的各方面集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图9还示出以可移动计算机可读存储介质924形式的存储子系统908的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质924尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
将明白，存储子系统908包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
显示子系统912可用于呈现由存储子系统908所保持的数据的可视表示。由于以上所描述的方法和过程改变了由存储子系统908保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统912的状态以在视觉上表示底层数据的改变。显示子系统912可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统904和/或存储子系统134组合在共享封装中，或此类显示设备可以是外围显示设备。显示子系统912可包括例如HMD设备36的显示系统66和透明显示器62。
传感器子系统916可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、取向、位置等)的一个或多个传感器，如上所述。传感器子系统916例如可以被配置为向逻辑子系统904提供传感器数据。如上所述，此类数据可包括眼睛跟踪信息、图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息，用户位置信息和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
在被包括时，通信子系统920可以被配置成将计算系统900与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统920可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，该通信子系统920可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统900经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
在被包括时，输入子系统922可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统922可以包括所选的自然用户输入(NUI)部件或与其结合。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“程序”可用于描述被实现来执行一个或多个特定功能的混合现实系统10的一个方面。在某些情况下，可以经由执行存储子系统904所保持的指令的逻辑子系统908来实例化这样的程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种用于在混合现实环境中为多个地理定位数据项呈现多个视觉信息密度等级的混合现实系统，所述视觉信息密度等级包括最小视觉信息密度等级以及多个增高的视觉信息密度等级，所述混合现实系统包括：
在操作上连接到计算设备的头戴式显示设备，所述头戴式显示设备包括用于在所述混合现实环境内呈现所述多个视觉信息密度等级的显示系统；以及
由所述计算设备的处理器执行的分级信息递送程序，所述分级信息递送程序被配置成：
接收所选地理定位数据项的信息；
将所选地理定位数据项的最小视觉信息密度等级提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示；
经由所述头戴式显示设备来接收对应于所选地理定位数据项的用户输入；以及
基于所述用户输入，将所选地理定位数据项的增高的视觉信息密度等级之一提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示。
2.如权利要求1所述的混合现实系统，其特征在于，所述分级信息递送程序被进一步配置成：
接收所述头戴式显示设备的位置数据；以及
基于所述头戴式显示设备正移动靠近所选地理定位数据项的位置，将所选地理定位数据项的增高的视觉信息密度等级中的一者或多者提供给所述显示系统以供由所述头戴式显示设备进行显示。
3.如权利要求1所述的混合现实系统，其特征在于，所述增高的视觉信息密度等级占据所述混合现实环境内增大量的视觉空间。
4.如权利要求1所述的混合现实系统，其特征在于，所述分级信息递送程序被进一步配置成，当所述混合现实环境中的空间信息密度低于预定阈值时，代替提供所选地理定位数据项的最小视觉信息密度等级，改为提供所选地理定位数据项的增高的视觉信息密度等级之一。
5.如权利要求1所述的混合现实系统，其特征在于，所述分级信息递送程序被进一步配置成：
接收两个或更多个地理定位数据项的信息；
确定如经由所述头戴式显示设备所显示地，地理定位数据项将分开达预定距离或更少；
基于所述地理定位数据项的分开，将所述地理定位数据项折叠成经聚集的地理定位数据项；以及
将经聚集的地理定位数据项的最小视觉信息密度等级提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示。
6.一种在头戴式显示设备中用于在混合现实环境中为多个地理定位数据项呈现多个视觉信息密度等级的方法，所述视觉信息密度等级包括最小视觉信息密度等级以及多个增高的视觉信息密度等级，所述方法包括：
接收所选地理定位数据项的信息；
将所选地理定位数据项的最小视觉信息密度等级提供给显示系统以供由所述头戴式显示设备在所述混合现实环境内显示；
接收对应于所选地理定位数据项的用户输入；以及
基于所述用户输入，将所选地理定位数据项的增高的视觉信息密度等级之一提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示。
7.如权利要求6所述的方法，其特征在于，进一步包括：
接收两个或更多个地理定位数据项的信息；
确定如经由所述头戴式显示设备所显示地，地理定位数据项将分开达预定距离或更少；
基于所述地理定位数据项的分开，将所述地理定位数据项折叠成经聚集的地理定位数据项；以及
将经聚集的地理定位数据项的最小视觉信息密度等级提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示。
8.如权利要求7所述的方法，其特征在于，进一步包括：
经由所述头戴式显示设备来接收对应于经聚集的地理定位数据项的用户输入；以及
基于所述用户输入，扩展所述经聚集的地理定位数据项以将两个或更多个地理定位数据项中的每一者的增高的视觉信息密度等级提供给所述显示系统以供由所述头戴式显示设备在所述混合现实环境内显示。
9.如权利要求6所述的方法，其特征在于，所述用户输入从由以下各项组成的组中进行选择：眼睛跟踪数据、姿势数据、头部姿态数据、语音数据、以及手持式指示符数据。
10.如权利要求6所述的方法，其特征在于，进一步包括将所述信息隔离成多个信息细节等级。
CN201480043177.8A 2013-07-31 2014-07-28 用于混合现实分级信息递送的方法和系统 Active CN105518574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/956,231 US9619939B2 (en) 2013-07-31 2013-07-31 Mixed reality graduated information delivery
US13/956,231 2013-07-31
PCT/US2014/048338 WO2015017292A1 (en) 2013-07-31 2014-07-28 Mixed reality graduated information delivery

Publications (2)

Publication Number Publication Date
CN105518574A true CN105518574A (zh) 2016-04-20
CN105518574B CN105518574B (zh) 2018-10-16

Family

ID=51355645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043177.8A Active CN105518574B (zh) 2013-07-31 2014-07-28 用于混合现实分级信息递送的方法和系统

Country Status (5)

Country Link
US (2) US9619939B2 (zh)
EP (1) EP3028121B1 (zh)
KR (2) KR102233052B1 (zh)
CN (1) CN105518574B (zh)
WO (1) WO2015017292A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
US10547709B2 (en) 2015-06-18 2020-01-28 Qualtrics, Llc Recomposing survey questions for distribution via multiple distribution channels
US10325568B2 (en) 2015-08-03 2019-06-18 Qualtrics, Llc Providing a display based electronic survey
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
KR102592955B1 (ko) 2016-06-17 2023-10-24 삼성디스플레이 주식회사 표시 패널, 및 이를 포함하는 전자 기기
US10176640B2 (en) * 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
US11301877B2 (en) 2016-09-01 2022-04-12 Qualtrics, Llc Providing analysis of perception data over time for events
US20180158157A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Geo-targeted Property Analysis Using Augmented Reality User Devices
EP3349099A1 (de) 2017-01-13 2018-07-18 Kai-Holger Brassel Immersives informations- und kommunikationsmedium fuer sehr grosse nutzerzahlen
IL311069A (en) 2017-02-28 2024-04-01 Magic Leap Inc Virtual and real object registration in a mixed reality device
CN110709837A (zh) * 2017-06-09 2020-01-17 索尼公司 信息处理装置、信息处理方法及程序
DE102017219790A1 (de) 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
US10249163B1 (en) * 2017-11-10 2019-04-02 Otis Elevator Company Model sensing and activity determination for safety and efficiency
KR20190070423A (ko) 2017-12-13 2019-06-21 주식회사 투스라이프 실제 움직임의 감지가 가능한 가상현실을 기반으로 하는 부착형 트래커
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3667459A1 (en) * 2018-12-12 2020-06-17 Nokia Technologies Oy First-person perspective-mediated reality
FR3115890B3 (fr) 2020-11-05 2022-10-21 La Choue De La Mettrie Aymar De Dispositif d’affichage d’informations visuelles
US20230368526A1 (en) * 2022-05-11 2023-11-16 Google Llc System and method for product selection in an augmented reality environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN101553752A (zh) * 2005-04-22 2009-10-07 Ydreams信息有限公司 对叠加在真实图像之上的信息进行可视化的系统
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
CN101587372B (zh) * 2009-07-03 2010-09-15 东南大学 一种用于虚拟现实人机交互的增强力触觉建模方法
US20120188179A1 (en) * 2010-12-10 2012-07-26 Sony Ericsson Mobile Communications Ab Touch sensitive display
US20130162632A1 (en) * 2009-07-20 2013-06-27 Real Time Companies, LLC Computer-Aided System for 360º Heads Up Display of Safety/Mission Critical Data

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
EP2532199B1 (en) 2010-02-04 2019-09-04 TomTom Traffic B.V. Location-determining system and method
WO2011112940A1 (en) * 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
JP2012002568A (ja) * 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
US8319772B2 (en) 2010-07-23 2012-11-27 Microsoft Corporation 3D layering of map metadata
US20120075433A1 (en) * 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
DE202011110887U1 (de) 2010-11-24 2017-02-21 Google Inc. Wiedergeben und navigieren fotografischer Panoramen mit Tiefeninformationen in einem geographischen Informationssystem
US9664527B2 (en) 2011-02-25 2017-05-30 Nokia Technologies Oy Method and apparatus for providing route information in image media
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US20140225917A1 (en) * 2013-02-14 2014-08-14 Geovector Corporation Dynamic Augmented Reality Vision Systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101553752A (zh) * 2005-04-22 2009-10-07 Ydreams信息有限公司 对叠加在真实图像之上的信息进行可视化的系统
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN101587372B (zh) * 2009-07-03 2010-09-15 东南大学 一种用于虚拟现实人机交互的增强力触觉建模方法
US20130162632A1 (en) * 2009-07-20 2013-06-27 Real Time Companies, LLC Computer-Aided System for 360º Heads Up Display of Safety/Mission Critical Data
US20120188179A1 (en) * 2010-12-10 2012-07-26 Sony Ericsson Mobile Communications Ab Touch sensitive display

Also Published As

Publication number Publication date
US20170178412A1 (en) 2017-06-22
KR102233052B1 (ko) 2021-03-30
EP3028121B1 (en) 2016-10-12
KR20160039267A (ko) 2016-04-08
WO2015017292A1 (en) 2015-02-05
KR102282316B1 (ko) 2021-07-26
EP3028121A1 (en) 2016-06-08
KR20210034692A (ko) 2021-03-30
US9734636B2 (en) 2017-08-15
US20150035861A1 (en) 2015-02-05
US9619939B2 (en) 2017-04-11
CN105518574B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN105518574A (zh) 混合现实分级信息递送
JP6301962B2 (ja) 複合現実フィルタリング
US11120628B2 (en) Systems and methods for augmented reality representations of networks
CN105359082B (zh) 用于用户接口导航的系统和方法
EP2887322B1 (en) Mixed reality holographic object development
CN105324811A (zh) 语音到文本转换
CN105144030A (zh) 混合现实增强
CN104885144A (zh) 混合现实显示调节
CN105074623A (zh) 在增强的现实图像中呈现对象模型
US10825217B2 (en) Image bounding shape using 3D environment representation
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
Nguyen et al. Exploration of the 3D world on the internet using commodity virtual reality devices
US11533580B2 (en) Locating content in an environment
Uskenbayeva CHINIBAYEV YERSAIN GULISLAMOVICH
Khanal Augmented reality using visible light communication
Alpat Augmented reality wayfinding: A systematic literature review
US20180204384A1 (en) Mediated reality
Poelman A mediated reality suite for spatial interaction Symbiosis of physical and virtual environments for forensic analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant