CN105528065A - 向观看者显示定制放置的叠层 - Google Patents

向观看者显示定制放置的叠层 Download PDF

Info

Publication number
CN105528065A
CN105528065A CN201510666489.0A CN201510666489A CN105528065A CN 105528065 A CN105528065 A CN 105528065A CN 201510666489 A CN201510666489 A CN 201510666489A CN 105528065 A CN105528065 A CN 105528065A
Authority
CN
China
Prior art keywords
display
metadata
transparent display
user
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510666489.0A
Other languages
English (en)
Other versions
CN105528065B (zh
Inventor
约瑟夫·乔治·哈格四世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN105528065A publication Critical patent/CN105528065A/zh
Application granted granted Critical
Publication of CN105528065B publication Critical patent/CN105528065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及向观看者显示定制放置的叠层。这里所述的各方面包括确定当前正由用户通过透明显示器观看的呈现的一部分的用户显示单元。例如，如果显示区域是剧院屏幕，则仅该屏幕的一部分可被用户通过透明显示器看到。显示单元可在透明显示器上显示具有与呈现中的一个或多个对象的空间关系的元数据。例如，显示单元可在呈现中的演员附近输出文本泡泡，该文本泡泡提供关于该演员的有趣事实并且会重叠或遮蔽该呈现。在一个方面，如果呈现中的对象移动或者显示单元被重定向，则显示单元可移动元数据以维持对象和元数据在透明显示器中的空间关系。

Description

向观看者显示定制放置的叠层
技术领域
本公开涉及在透明显示器上显示与呈现相对应的元数据，并且更具体地涉及随着对象在透明显示器中移动而维持元数据和呈现中的对象之间的空间位置。
背景技术
诸如电影、电视、体育赛事、音乐会等的媒体呈现可被显示在剧院的屏幕、电视、或者计算机屏幕上。然而，一些观看者会希望访问与媒体呈现相关的、未被包括在呈现中的元数据。例如，观看者可能对呈现中描绘的地理位置或者关于呈现中的演员的有趣事实感兴趣。这些观看者可通过使用诸如智能电话或平板计算机之类的便携式电子设备进行多任务处理以访问关于媒体呈现的元数据。这些便携式电子设备被称作“第二屏幕”设备，其准许用户访问关于在“第一屏幕”(即，剧院屏幕、电视、或计算机)上显示的媒体呈现的元数据。
发明内容
这里公开的一个方面提供了一种方法，该方法包括：确定包括用户通过透明显示器能够看到的显示区域的至少一部分的有界区域；以及接收与显示区域中出现的呈现相关联的同步信息。该方法还包括：基于同步信息在透明显示器上的第一位置处显示元数据，其中该元数据与呈现中的对象相对应。在确定对象在透明显示器中的位置已经改变时，该方法包括基于对象的改变后的位置在透明显示器上的第二不同位置处显示元数据。
这里公开的另一方面包括一种用于在透明显示器中显示元数据的计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有被具体配置为进行以下处理的计算机可读程序代码：确定包括用户通过透明显示器能够看到的显示区域的至少一部分的有界区域；以及接收与显示区域中出现的呈现相关联的同步信息。该程序代码还被配置为基于同步信息在透明显示器上的第一位置处显示元数据，其中该元数据与呈现中的对象相对应。在确定对象在透明显示器中的位置已经改变时，该程序代码被配置为基于对象的改变后的位置在透明显示器上的第二不同位置处显示元数据。
这里公开的另一方面提供了一种显示单元，该显示单元包括：透明显示器，该透明显示器准许用户观看在显示单元外部的显示区域中出现的呈现；以及通信器，被配置为接收与呈现相关联的同步信息。显示单元还包括被配置为执行操作的处理器，其中该操作包括：确定包括用户通过透明显示器能够看到的显示区域的至少一部分的有界区域；以及基于同步信息在透明显示器上的第一位置处显示元数据，其中该元数据与呈现中的对象相对应。在确定对象在透明显示器中的位置已经改变时，该操作包括基于对象的改变后的位置在透明显示器上的第二不同位置处显示元数据。
附图说明
为了能够详细理解并实现以上记载的方面的方式，可通过参考附图对以上简要总结的本发明的实施例进行更具体的描述。
然而，应该注意，附图只图示出了本发明的一般实施例，因此不应被认为限制了其范围，因为本发明可允许其他具有相同效果的实施例。
图1示出了根据这里描述的一个实施例的用于提供与媒体呈现中的对象相对应的元数据的用户显示单元。
图2A-2D示出了根据这里描述的实施例的用于维持元数据和媒体呈现中的对象之间的空间关系的系统。
图3A和3B示出了根据这里描述的一个实施例的用于提供与媒体呈现中的对象相对应的元数据的系统。
图4A和4B示出了根据这里描述的一个实施例的用于提供与现场实况中的对象相对应的元数据的系统。
图5示出了根据这里描述的一个实施例的用于在用户显示单元上提供与外部显示区域中的对象相对应的元数据的系统。
图6是根据这里描述的一个实施例的用于维持用户显示单元上显示的元数据和呈现中的对象之间的空间关系的方法。
为了方便理解，在可能的情况下使用相同的标号来指定图示中共用的相同元件。应该预想到，在一个实施例中公开的元件可被有利地用在其他实施例上而无需特定引述。
具体实施方式
为了向呈现的观看者提供元数据，下文描述的实施例和方面包括具有至少一个透明显示器以用于向观看者输出元数据的用户显示单元。元数据可包括关于呈现的补充信息，例如关于演员的信息、呈现中的地理位置、关于做出呈现的事实、与呈现相关联的游戏(例如，细节(trivia))、针对呈现的特效增强等。在一个示例中，用户显示单元可以是可穿戴设备(例如，眼镜)，观看者将该可穿戴设备放置于她的眼睛和呈现被显示在其中的显示区域之间。用户显示单元可与呈现同步，从而使得元数据与呈现同步地被显示给观看者。例如，演示控制器可向用户显示单元发送时间代码，然后该单元使用时间代码来确定何时向观看者显示元数据。
在一个方面，用户显示单元确定用户当前正通过透明显示器观看的一部分呈现。换句话说，透明显示器可仅包括用于呈现的显示区域的一部分。例如，如果显示区域是剧院屏幕，则仅该屏幕的一部分可被用户通过透明显示器看到。一旦用户显示单元确定显示区域的哪部分正被通过透明显示器看到，该单元然后在透明显示器上显示与呈现中的一个或多个对象相对应的元数据。例如，显示单元可在呈现中的演员附近输出文本泡泡(bubble)(该文本泡泡提供关于该演员的有趣事实)或者输出指向呈现内出现的愚蠢错误的箭头。
在一个方面，元数据重叠或遮蔽了一部分呈现。例如，显示关于一位演员的元数据会遮蔽包括第二演员的一部分呈现。作为替代，元数据可被显示在透明显示器上，从而使得元数据处在显示区域外(如果可能的话)以便不遮蔽用户对于呈现的观看。
在一个方面，如果呈现中的对象移动或者显示单元被重定向为使得显示区域的不同部分处在透明显示器内，那么用户显示单元可维持透明显示器中的元数据和对象之间的空间关系。为此，用户显示单元可从与显示区域的不同部分相对应的发射器接收位置信息。在一个示例中，可以预定间隔围绕显示区域的外围放置红外(IR)发射器。基于发射器提供的位置信息，用户显示单元识别出指示显示区域的哪部分当前正通过透明显示器被用户观看的有界区域。另外，在一个方面，显示单元可包括诸如陀螺仪、加速度计、磁力计等的附加传感器，这些附加传感器可被用于识别显示单元的超向。由这些传感器提供的数据可与由发射器提供的位置信息相结合以调整有界区域的位置，从而确定显示区域的哪部分当前正通过透明显示器被用户观看。当用户重定向显示单元时，有界区域可被重新计算并且然后可被用于将元数据移动至透明显示器上的不同位置，从而使得元数据和对象之间在透明显示器内的空间关系被维持。类似地，如果显示单元保留在同一朝向，但呈现中的对象移动，那么显示单元可移动元数据以跟踪对象并维持空间关系。
图1示出了根据这里描述的一个实施例的用于提供与媒体呈现中的对象120相对应的元数据的用户显示单元105。在系统100中，显示屏幕130被用于向用户显示媒体呈现。屏幕130可以是剧院屏幕、电视、投影仪屏幕等，而呈现可以是电影、电视节目、体育赛事、音乐会等。用户显示单元105包括显示器110，该显示器110是透明的从而使得用户能够通过显示器110观看媒体呈现。适用的透明显示器技术(也被称作透视显示器)的非限制示例包括透明LCD显示器和透明OLED显示器。然而，准许用户通过显示器110观看呈现并仍然在显示器110上输出文本、图像、或视频的任何显示器技术被包括在本公开的范围内。
如图所示，用户可经由透明显示器110观看显示屏幕130的仅一部分。例如，图1示出了用户显示单元105可以是用户穿戴的一副眼镜，从而使得显示器110在用户的眼睛与显示屏幕130之间。因而，仅一部分呈现可由用户通过透明显示器110看到。另外，图1仅示出了眼镜的一半。单元105还可包括与用户的第二只眼睛相对应的第二透明显示器。
对于对象125，显示器110不在用户的眼睛和显示屏幕130之间，而对于对象120，显示器110在用户的眼睛和显示屏幕130之间。然而，在显示器110的边界外侧的部分呈现仍然可由用户看到。例如，对象125在显示器110的边界外侧，但依然可被用户看到。尽管图1示出仅一部分显示屏幕130在显示器110的边界内，但是下文所述的各方面还可被用于所有的显示屏幕130都处在显示器110的边界内时的情形。
在图1中，单元105在透明显示器110上显示元数据115。这样，元数据115不是被示出在显示屏幕130上的呈现的一部分，但相反包括与该呈现中的一个或多个对象相对应的补充信息。因此，如果用户没有透过显示器110观看呈现，那么用户看不到元数据115。在此示例中，元数据115是显示关于对象120(即，呈现中的演员)的事实的文本泡泡。可替换地，元数据115可以是用户尝试使用用户显示单元105上的I/O设备来回答的细节问题，或者关于特定场景的地理位置的视频等。不论所显示的元数据115的类型如何，通过显示器110观看显示屏幕130，用户能够在不依赖于第二屏幕的情况下看到与呈现相对应的元数据115。
元数据115重叠了一部分显示屏幕130并且可能会遮蔽呈现的相应部分。就是说，如果呈现中存在被元数据115覆盖的对象，那么用户不能看到该对象。可替换地，元数据115可以是足够透明或者模糊的，从而使得底层呈现仍然可由用户看到。例如，显示单元105可控制所显示的元数据115的配色方案或亮度，从而使得呈现中的相应部分仍然可见。另外，尽管未在图1中示出，如果显示器110的边界包括显示屏幕130的边界外侧的区域，那么用户显示单元105可选择该区域来显示元数据115以避免遮蔽呈现。
在一个方面，用户显示单元105建立元数据115与对象120之间的空间关系。例如，单元105可在对象120的上方显示元数据115。另外，元数据115可包括诸如箭头之类的视觉指示符，用于向观看者通知对象120与元数据115相对应。然而，如果对象120在呈现中移动(例如，人随着他遛狗而移动至左侧)，或者单元105被重定向而元数据115在显示器110上的位置未被更新，那么该空间关系可能会改变，这会使用户迷惑。例如，如果用户转头来观看对象125而元数据115保留在相同位置，那么用户可能错误地相信元数据115中的补充信息应用于对象125而非对象120。因此，为了维持空间关系，用户显示单元105可更新用户通过透明显示器110看到的呈现部分。就是说，当用户重定向显示单元105以查看显示屏幕130的不同部分时，显示单元105移动元数据115以维持该空间关系。类似地，如果对象120在呈现中移动，则因为显示单元105与演示控制器同步并且能够识别对象120的新位置，所以单元105能够随对象120移动元数据115以维持该空间关系。
在一些示例中，维持空间关系是不可能的。例如，当对象120移动至显示屏幕130的左侧时，如果元数据115维持相同的空间关系，那么元数据115中的一部分文本会落到显示器110的外部，因此将是不可见的。在此情形下，显示单元105可修改空间关系(例如，移位元数据115从而使得它被显示到对象120右方)以便将元数据115保持在显示器110的可见区域内。因此，尽管显示单元105可能试图维持相同的空间位置，但空间位置无需被永久地固定，而是能够因为多种原因而改变-例如，避免遮蔽呈现中的某些对象、避开显示器110的外围(在此处用户难以阅读元数据115中的文本)等。
系统100还包括向用户显示单元105发送位置信息的发射器135。如图所示，发射器135是沿显示屏幕130的外围间隔放置的。在图1中，系统100包括六个发射器135，但其他系统可包括多于或少于该数目的发射器。此外或可替换地，系统100可包括屏幕130内的发射器135。例如，发射器135可以足够小以使得它们不被观看者所注意到。在一个方面，发射器135使用视距(LOS)传输技术来向用户显示单元105发送位置信息-例如，红外(IR)发射器。
在一个方面，每个发射器135发送不同的代码，这些代码向显示单元105指示显示屏幕130的哪部分当前正由用户经由显示器110观看。例如，显示单元105可接收仅与发射器135(单元105具有与发射器135的LOS)相对应的代码。基于接收的代码，显示单元105然后得出显示屏幕130的哪部分当前在显示器110的边界内。如将在下文更细致地描述的，从发射器135获得的位置信息可与通过位于单元110上的传感器(例如，陀螺仪、加速度计、磁力计等)测量的数据相结合。例如，从单元105到显示屏幕130的距离可根据由发射器135发送的位置信息来确定，同时显示器110的高度或方向(例如，北、南、东、或西)是使用来自位于显示单元105上的传感器的数据确定的。基于传感器数据，显示单元105确定显示屏幕130的处于显示器110的边界内的部分。
如前所述，用户显示单元105可包括两个透明显示器110-分别用于每只眼睛。因为每只眼睛的不同视角，元数据115在各个显示器110上的位置可以有轻微的不同。然而，从用户的视角来看，元数据115将对应于相同的位置。因此，即使用户的眼睛可能具有不同的视角，显示单元105也可在两个屏幕上输出元数据115从而使得用户在对象120上方的相同位置处看到元数据115。在一个方面，元数据115可以3D来显示，这可捕获用户的注意或者向用户指示该文本是元数据而非作为呈现的一部分的文本。在一个替换中，元数据115可使用不同的配色方案，该不同的配色方案吸引用户的注意和/或向用户指示元数据115不是底层呈现的一部分。
图2A-2D示出了根据这里描述的实施例的用于维持元数据和媒体呈现中的对象之间的空间关系的系统。具体地，图2A示出了包括显示媒体呈现的显示屏幕220的系统200。在图2A中描绘的时间处，呈现包括被显示在显示屏幕220的左侧的汽车225。
图2B示出了系统205，其中显示屏幕220显示与图2A中所示的场景相同的场景。然而，图2B示出了正使用用户显示单元105观看呈现的用户的视野，而图2A示出了在没有单元105的情形下观看呈现的用户的视野。在图2B中，透明显示器110输出元数据230，其描述了关于汽车225的事实。因此，在没有显示单元105的帮助下观看呈现的用户将看不到元数据230。再者，显示单元105被描绘为可由用户穿戴的一副眼镜的一半；然而，单元105并不限于此。例如，显示单元105可包括用户持于她的眼睛和显示屏幕220之间的显示器110或者从戴在她的头上的帽檐吊下来的显示器110。在这些示例中，显示单元105可仅包括一个显示器110，而非针对每个眼睛的单独显示器110。
在一个方面，显示单元105确定元数据230在显示器110内的初始位置。例如，单元105可选择初始位置以避免元数据230遮蔽它正在描述的对象(例如，元数据230不重叠汽车225)。例如，显示单元105可为元数据230选取显示器110中正显示被认为无关或者没有元数据230重要的一部分呈现的部分。另外，元数据230的位置可被选择为使得元数据230不遮蔽被认为重要的一部分呈现(例如，正在说话的演员或者演员正走向的位置)。然而，可替换地，元数据230可被显示为使得其遮蔽它正描述的对象(例如，汽车225)的一部分。
图2C示出了在图2B中所示出的系统205所对应的时间之后出现的系统210。这里，汽车225在显示屏幕220中的位置保留与图2B中汽车225的位置相同。然而，显示器110内包括的显示屏幕220的部分已经改变。就是说，用户现在正在观看与她在图2B中相比屏幕220的不同部分。显示单元105的朝向的改变可由用户移动她的头部导致，从而使得显示单元105现在包括显示屏幕220中与图2B中所示的部分相比的不同部分。这样，如果显示单元105继续在如图2B中所示的显示器110上的相同位置中显示元数据230，即使汽车225在显示器110中的位置已经移位至右方，元数据230将仍然在显示器110的右上侧。
作为替代，图2C示出了显示单元105修改元数据230的位置以跟踪相应对象(例如，汽车225)在显示器110内的位置。换句话说，元数据230的位置是基于对象在呈现中的位置的改变而被修改的。例如，显示单元105可在显示器110内维持汽车225与元数据230之间的与图2B中所示出的基本相同的空间关系。就是说，因为元数据230在图2B中位于汽车225的上方和右方，所以在图2C中元数据230维持相同的空间关系。
在一些示例中，空间关系可随对象在显示器110中的位置改变而轻微地改变。例如，用户可能已经移动显示单元使得用户现在进一步远离显示屏幕220，在此情形中汽车225可在显示器110中填充更小的区域。显示单元然后可减小汽车225的最近点与所显示的元数据230的最近点之间的距离，从而轻微地更改汽车225和元数据230之间的空间关系。在类似示例中，汽车225可在使得汽车225在显示器110中的维度收缩的方向行进。作为响应，单元105可再次减小汽车225和元数据230之间的距离。然而，尽管汽车225和元数据230之间的空间关系可由于对象在显示器110内变得更大或更小而轻微改变，但该空间关系被视为保持基本相同。
图2D示出了在图2B中所示出的系统205所对应的时间之后出现的系统215。不像在图2C中用户改变显示单元105的朝向，这里，显示单元105保持与图2B中所示的单元105的位置相对静止，但汽车225在显示屏幕220中的位置已经改变。具体地，汽车225已经移位至右方，从而使得仅汽车225的一部分保留在显示器110中。
响应于汽车225的位置改变，显示单元105移位元数据230的位置。例如，如将在下文更详细地描述的，向显示屏幕220输出呈现的演示控制器可向显示单元105提供诸如时间代码之类的同步数据。使用时间代码，单元105能够识别汽车225在显示屏幕220中的当前位置。另外，因为显示单元已经确定了显示屏幕220在显示器110内的部分，该单元能够肯定汽车225的哪部分在显示器110内。根据此信息，显示单元然后输出元数据230以维持在图2B中示出的汽车225与元数据230之间的相同空间关系。因此，不论是显示单元105的朝向改变还是呈现中感兴趣的对象的位置改变，显示单元105都能够跟踪对象相对于显示器110的位置并且相应地移动元数据230，从而使得用户能够容易地肯定所显示的元数据230对应于对象。另外，在图2B-2D中所示的示例中，单元105跟踪汽车225在显示器110内的位置以便维持如图2B中所示的基本相同的空间关系。
图3A和3B示出了根据这里描述的一个实施例的用于提供与媒体呈现中的对象相对应的元数据的系统。在图3A的系统300中，显示屏幕310示出了两个战斗者之间的刀剑撞击在一起的场景。图3B的系统305示出了用户通过显示单元105看到的相同场景(即，媒体呈现的相同瞬间)。刀剑撞击在一起触发了事件315，该事件被显示单元105用于在显示器110上显示元数据320。不像先前的图示中所示出的文本元数据，这里元数据320包括与事件315相对应的特殊效果。例如，元数据320可以是从碰击的刀剑射出的火花。如上所述，通过确定显示屏幕310在显示器110内的部分并且通过与演示控制器同步，显示单元105输出与事件315相符的元数据320。另外，元数据320的位置是基于与元数据320相对应的对象(例如，导致事件315的刀剑)的位置的。
显示单元105可随着相应的一个或多个对象在显示器110内的位置的改变而更新元数据320的位置。例如，用户可改变显示单元105的朝向或者对象可在呈现内移动，或者二者的组合。在任何情形中，图3B中示出的特殊效果可被移动从而在显示器110中跟踪刀剑的移动。
图3B示出了可被显示为元数据320的特殊效果的仅一个示例。例如，显示单元105可改变呈现中一个或多个演员的服饰。例如，当拍摄媒体呈现时，演员可能穿着一套盔甲，但显示单元105可使用显示器110来利用小丑装覆盖套装。可替换地，单元105可将刀剑改变为光剑。因此，显示单元105在无需修改底层呈现的情况下提供了附加的定制层。
图4A和4B示出了根据这里描述的一个实施例的用于提供与现场实况中的对象相对应的元数据的系统。不像先前的示例中呈现可以是被记录或广播的呈现，在图4A和4B中，呈现是诸如由人类演员或机器人(例如，电子动画)进行的舞台表演之类的现场实况。系统400包括舞台410(例如，显示区域)，该舞台包括作为呈现的一部分的一个或多个对象(例如，演员、道具等)。与图1中所示的显示屏幕类似，多个发射器135可被间隔放置于舞台的外围周围。另外，为了提供更精细的位置信息，发射器可位于舞台410上而非它的外围。例如，一些或所有发射器135可被集成到道具中以减小它们对于观众的可视性。
系统405示出了使用显示单元105观看图4A中示出的相同场景的用户的视野。这里，显示器110包括通知用户演员415是该角色的第三选择的元数据420。因此，通过显示器110观看舞台410，用户能够在不依赖于第二屏幕的情况下看到与呈现相对应的元数据420。
在一个方面，显示单元105可跟踪与元数据420相对应的对象。例如，当演员415离开塔台并移动穿过舞台410时，单元105可更新元数据420以跟踪演员415。这样，演示控制器可向外广播指示舞台410上正表演的特定场景的时间代码。显示单元105然后能够得出演员415大概位于舞台的哪里并靠近演员415显示元数据420。然而，因为与被记录的呈现或者机器呈现相比，具有人类演员的表演可具有时间和场景上的更大的不确定性，所以关于对象(例如，道具和演员)的附加跟踪信息可从演示控制器被提供给显示单元105。例如，演示控制器可跟踪演员415在舞台410上的具体位置并将该信息中继给显示单元105(除了时间代码之外)。这么做可提升显示单元105随着演员415在显示器110内的位置改变而维持元数据420和演员415在显示器110中的空间关系的能力。
在一个方面，与包括文本的元数据420相反，元数据可以是游戏(例如，细节(trivia))、与对象相对应的特殊效果等。例如，诸如火之类的特殊效果可被显示为显示器110上的元数据，这可比模拟火的道具表现的更加逼真并且与在舞台410上使用真实的火相比提供了更安全的选项。
图5示出了根据这里描述的一个实施例的用于在用户显示单元105上提供与外部显示区域555中的对象相对应的元数据的系统500。系统500包括用户显示单元105和呈现系统550。用户显示单元105包括如上所述准许单元105显示与呈现中的一个或多个对象相对应的元数据的一个或多个透明显示器110。例如，元数据可对应于呈现中的特定演员或者对应于整个呈现(例如，呈现中描绘的地理位置)。在一个方面，单元105包括针对每只眼睛的显示器110。
显示单元105还包括陀螺仪505、加速度计510、和磁力计515。在一个方面，这些传感器可位于接近显示器110处，从而由这些传感器生成的数据能够被用于确定显示器110的位置。为此，显示单元105中的显示器110和传感器之间的物理间隔可以是固定的，以使得由这些传感器生成的数据能够被用于识别显示器110在空间的位置。例如，陀螺仪505可生成指示显示器110的朝向的数据，加速度计510指示显示器110被移动时的加速度，而磁力计515可指示显示器110面向的方向(例如，北、南、东、或西)。由这些传感器生成的数据可被用于识别当前正由用户通过显示器110观看的呈现的一部分。在一个方面，由陀螺仪505、加速度计510、和磁力计515生成的数据可与从发射器570接收到的位置信息575相融合，从而确定显示区域555中的哪部分在显示器110的边界内。然而，可替换地，显示单元105可具有比这里列出的传感器更多或更少的传感器。例如，显示单元105可不包括任何这些传感器，而是替代地仅仅依靠由发射器570提供的位置信息575来确定显示区域555中位于显示器110中的部分，或者如果整个显示区域555是通过显示器110可见的则确定显示区域555位于显示器110中的哪里。
显示单元105包括一个或多个检测器520，用于接收由发射器570提供的位置信息575。类似于上文讨论的传感器，检测器520可具有相对于显示器110的固定物理间隔，从而使得由检测器520接收的位置信息575能够被用于确定显示区域555中通过显示器110可见的部分。在一个方面，位置信息575可以是唯一地标识各个发射器570的代码，显示单元105然后可使用这些代码来确定显示区域555的哪部分正被用户观看。例如，当用户将显示单元105携带进剧院时，显示单元105可使用RF通信器525从演示控制器560接收唯一代码(以及发射器570的相应位置)。每当显示单元105进入不同的剧院时，相应的演示控制器560能够发送与当前剧院的发射器布局相对应的更新后的代码-例如，不同的剧院可使用不同数目的发射器或者不同地布置发射器。
当检测器520从发射器570接收到一个唯一代码时，显示单元105确定显示器110正面向显示区域555的与发射器570相关联的部分。例如，如果唯一代码标识位于显示区域555的右上角的发射器570，则显示单元105确定显示区域555的右上角是用户通过显示器110可见的。随着越来越多的唯一代码被接收到，显示单元105可使用三角测量生成有界区域，该有界区域指示显示区域555的哪部分在显示器110的边界内。如果LOS技术被用于发射器570和检测器520(例如，IR发射器和接收器)，则显示单元105能够假设显示器110正面向其代码已经被接收到的发射器570(以及显示区域555的相应部分)。通过从多个发射器570接收唯一代码，用户显示单元105能够计算显示器110和显示区域555之间的距离，该距离被用于计算有界区域。
在一个方面，由陀螺仪505、加速度计510、和磁力计515提供的数据被与由发射器570提供的位置信息575相融合，以调整有界区域的位置。就是说，由这些传感器提供的数据可被用于精细调整使用位置信息575生成的有界区域。例如，如果检测器520仅从两个发射器570接收到位置信息575，那么得到的有界区域可能是不够准确用于维持元数据和呈现中的对象之间的空间关系。然而，通过将位置信息575与由陀螺仪505、加速度计510、和磁力计515提供的数据相融合，显示单元105能够更准确地确定有界区域并且识别显示区域555的处于显示器110内的部分。
显示单元105包括RF通信器525，其被用于建立与演示控制器560的通信。例如，RF通信器525可使用无线电波接收与发射器570相对应的唯一代码、以及接收与在显示区域555执行的呈现的不同场景相对应的时间代码565。使用时间代码565，显示单元105能够确定显示区域555上当前正被观看的呈现的场景。通过将该信息与有界区域相结合，显示单元105确定呈现的哪个具体部分正由用户通过显示器110观看。返回参考图1，有界区域定义了显示屏幕130的哪部分在显示器110的边界内。通过使用时间代码，显示单元105确定哪个场景当前正被显示在显示屏幕130上并且然后能够确定场景中的什么对象在显示器110的边界内(例如，对象120)以及什么对象在它的边界外(例如，对象125)。在一个方面，显示单元105仅显示针对场景中处于显示器110的边界内的对象的元数据。然而，在一个方面，显示单元105可显示针对处于显示器110的边界外的对象的元数据，但可提供诸如箭头之类的指示符指向处于显示器110的边界外的对象的方向。
在一个方面，用户显示单元105包括在存储器中存储的场景信息。单元105可使用时间代码565来查找相应的场景信息并确定是否存在针对该场景中的一个或多个对象的元数据。显示单元105可依据用户偏好(将在后面论述)以及对象是否在显示器110的边界内来确定是否显示元数据。可替换地，场景信息可从外部计算设备(例如，演示控制器560)被发送至显示单元105。例如，外部计算设备可监视时间代码565，并且当呈现到达包括元数据的场景时，该设备向显示单元105发送场景信息。单元105进而可确定与元数据相对应的对象当前是否在显示器110的边界内，并且如果是，则显示元数据。通过这么做，场景信息不需要被存储在显示单元105的存储器上，这可降低单元105的复杂度和成本。因此，显示单元105可接收时间代码和/或场景信息(被广泛称作“同步信息”)，用于将元数据与显示区域555中出现的呈现相同步。
显示单元105还包括处理器530，该处理器530可代表可包括任何数目的处理核心的任何数目的专用处理器或通用处理器。在一个方面，显示单元105使用处理器530执行上文所述的功能，例如处理传感器数据、生成有界区域、确定对象是否在有界区域内等。可替换地，显示单元105可依靠外部处理器来执行这些计算。例如，单元105可将由陀螺仪505、加速度计510、磁力计515、和检测器520捕获的数据发送给外部计算机，该外部计算机然后计算有界区域并将该区域的坐标发送给单元105。在一个示例中，计算可以由在用户的个人智能电话上运行的应用执行。通过利用用户的个人设备的处理能力，用户显示单元105的复杂度可被降低。
显示单元105还包括I/O设备535，该I/O设备535接收用户输入。在一个方面，I/O设备535(例如，具有集成切换键的轮盘、多个按钮、用于执行手势识别的深度相机等)向用户提供用于对显示单元105进行配置的接口。例如，用户可设置她希望看到的被显示在显示器110上的元数据的类型。例如，用户可能希望看到与演员相对应的元数据而不是描述地理位置的元数据。或者，用户可能希望看到文本或图像而不是视频或游戏。I/O设备535还可被用于配置用于元数据中的文本的语言、配色方案、元数据被显示的持续时间等。在一个方面，作为将I/O设备535集成到显示单元105中的替代，诸如智能电话、平板、中央终端等的外部计算设备可被用于设置用户显示单元105的用户偏好。所选择的偏好然后可使用例如，RF通信器525被发送到显示单元105。
显示单元105包括音频输出540，该音频输出540可被用于提供与在显示器110上输出的元数据相对应的音频输出。例如，如果元数据是视频，则音频输出540可被用于向用户播放与该视频相对应的音频。音频输出540可包括戴在用户的耳朵或者接近用户的耳朵的扬声器或者接触用户的头部的振动元件(引入与预期声音相对应的振动)。在一个方面，音频输出540被设计为使得用户能够在元数据未被显示时听到呈现的音频。然而，当具有相应声音的元数据正被显示时，音频输出540然后可开始输出掩盖了呈现的音频的声音。
在一个方面，用户显示单元105是可穿戴设备。如这里所定义的，可穿戴设备是能够被人类穿起或输运的设备。在一个方面，可穿戴设备可以是无线的，从而使得该设备包括电池并使用无线数据通信技术从外部设备接收数据。可替换地，可穿戴设备可包括一个或多个线缆或端口，用于从外部源接收能量或数据。在不同示例中，用户显示单元105包括被用于将透明显示器布置于观看者的眼睛和呈现之间的稳定结构。例如，如果被实现在一副眼镜中，则眼镜臂被用于将该单元稳定在用户的鼻上。或者，显示单元105可包括戴在观看者头部的帽子或帽檐，以使透明显示器110挂下来从而使得显示器110在观看者的眼睛和显示区域555之间。可替换地或附加地，显示单元105可包括用于将显示单元105附着至用户的衣服的夹子或扣件。
在一个方面，单元105还可包括通信地耦合而非被集成到单个个体中的分离结构。例如，透明显示器110、陀螺仪505、加速度计510、和检测器520可位于接近于用户的头部的结构(例如，一副眼镜)上，而其他元件位于也可由用户携带的不同结构(例如，被夹到用户的领带上的盒子)中。携带数据和能量的线缆可通信地耦合这两个结构，或者这两个结构可使用无线通信(假设每个结构具有到它们自己的功率源的入口)。
呈现系统550可包括剧院、房屋中的房间、游戏室、或者适合于演示呈现(例如，预先记录的媒体呈现、广播的呈现、现场演奏、具有真人演员的戏剧、电子动画演示等)的任何体积。显示区域555可以是投影仪屏幕(例如，剧院屏幕)、电视、计算机屏幕、舞台等。显示区域555包括多个发射器570，这些发射器被布置在预定位置中以便向显示单元105传递位置信息575用于确定有界区域-即，用户可通过显示器110看到的显示区域555的部分。系统550还包括演示控制器560，该演示控制器560可以是适用于监视在显示区域555上显示的呈现的任何计算系统。例如，利用预先记录的媒体呈现或者电子动画演示，演示控制器560可确定具体场景何时出现，并因此知道当前的时间代码565。对于诸如戏剧或音乐会之类的现场实况，演示控制器560可通过接收来自人类导演的输入或者编程地使用图像跟踪应用来监视显示区域555中的对象(例如，演员或音乐家)，并将该信息发送给显示单元105，该显示单元确定是否存在与这些对象相关联的元数据。
图6是根据这里描述的一个实施例的用于维持在用户显示单元上显示的元数据和显示区域中的对象之间的空间关系的方法600。在块605，显示单元从显示区域中的发射器接收位置信息。发射器被布置为使得位置信息对应于显示区域的位置或部分的预定布置。
在块610，显示单元确定显示区域的处于透明显示器的视野内的部分。如上所述，位置信息可被用于形成有界区域，该有界区域然后与用户通过透明显示器看到的视野相关联。例如，发射器可使用诸如IR之类的LOS技术，从而使得显示单元上的IR检测器仅从面向检测器的发射器接收位置信息。如果检测器和显示器面向相同的方向，则显示单元能够确定显示器正面向相同的发射器(以及显示区域的相应部分)。在一个方面，显示单元除了包括检测器外还可包括其他传感器，例如陀螺仪、加速度计、磁力计等，它们提供与显示器的朝向、方向、或高度有关的数据。该数据可与从发射器接收的位置信息相融合以调整有界区域的位置。
在块615，显示单元从监视或输出显示区域上的呈现的演示控制器接收时间代码。在一个方面，时间代码向显示单元指示什么场景当前正在显示区域上被示出。显示单元然后能够确定是否存在与场景中的对象(例如，演员)相关联或者与整个场景(例如，用于拍摄场景的演播室)相关联的元数据。如果是，则显示单元可确定与元数据相对应的对象是否在有界区域内-即，是否在透明显示器的边界内。如果不是，则显示单元可决定不显示元数据，或者替代地显示诸如指向箭头之类的指示符来指示用户应当转动她的头部然后看该对象。一旦用户移动显示器以包括整个对象或对象的一部分，显示单元然后可显示元数据。
在块620，显示单元在透明显示器上输出元数据。在一个方面，显示单元选取显示器内的向用户指示元数据描述场景中什么对象的位置。例如，显示单元可将元数据放置于接近相应的对象，或者使用箭头或线指向对象。以这种方式，有界区域和时间代码被用于识别呈现的哪部分在显示器的边界内、以及是否存在与该部分中的一个或多个对象相对应的元数据。
在一个方面，显示单元包括跟踪用户的注视(gaze)的模块。例如，模块能够识别用户当前正看着呈现内的哪个对象。显示单元能够使用此信息来确定选择针对哪个对象显示元数据。针对特定场景，显示单元可具有针对场景中的两个不同对象的元数据。尽管显示单元能够显示针对这两个对象的元数据，但是在一个示例中，注视跟踪模块可被用于选择用户当前正观看的对象并仅显示针对此对象的元数据。如果用户随后观看另一对象，则显示单元可停止显示针对前一对象的元数据并显示针对另一对象的元数据。
在另一示例中，显示单元包括对等功能，该对等功能准许第一用户向第二用户的显示单元提供关于在她的透明显示器上显示的元数据的评论。例如，使用集成的I/O设备或外部I/O设备，第一用户能够对当前正由显示单元显示的元数据进行评论或者选择该元数据。单元然后能够将这些评论或选择发送至另一显示单元。例如，第一用户可使用I/O设备来说“哇，我从来不知道关于这个演员的事实！”，该评论随后能够被呈现在正观看相同呈现的朋友的显示单元上。朋友可能在同一剧院中观看相同呈现，或者显示单元可保存第一用户的评论并且在朋友(即，第二用户)在不同的时间(或位置)观看相同呈现时使用它们。另外，第一用户可识别相关和不相关的元数据。显示单元然后可将第一用户的特征描述发送给另一显示单元，该另一显示单元使用该信息来确定将什么元数据显示给第二用户以及将什么元数据忽略。这种对等通信可使用显示单元之间的局部连接(例如，蓝牙)或者使用全球通信网络(例如，互联网)。
在块625，在确定对象已经移动至透明显示器中的不同位置时，显示单元将元数据移动到透明显示器上的不同位置从而使得对象和元数据之间的空间关系被维持。显示单元可确定由元数据描述的对象已经在呈现中移动或者用户移动了显示器从而改变了显示区域中处于显示器的边界内的部分。在任一示例中，对象在透明显示器内的位置被移动至不同位置。换句话说，用户现在从透明显示器中的不同位置观看对象。此情况的示例由图2B-2D示出，其中汽车225移位至显示器110的左侧。作为响应，显示单元基于对象在显示器110中的新位置将元数据移动至不同位置。此处理在伴随图2B-2D的文本中进行了详细描述并且这里将不再进行论述。
在一个方面，显示单元或者呈现中的对象的移动可导致显示单元改变对象和元数据之间的空间关系。例如，如果元数据最初被显示在对象的右方，但对象现在移动足够远到透明显示器的右方(使得不再有足够的空间来在对象的右方显示元数据)，则显示单元可改变空间关系。在此情形中，显示单元可在显示器中使用小型增量来将元数据从被放置在对象的右方移动至被放置在对象的上方，从而使得元数据不被砍掉。可替换地，显示单元可收缩元数据的字符-例如，缩小图像或者减小文本尺寸-从而空间关系能够被维持。
在前文中，述及了本发明的实施例。然而，应该理解的是，本发明不限于具体描述的实施例或方面。相反，以上描述的特征和元素的任何组合，无论其是否与不同实施例相关，都被预见以实现和实施本发明。另外，虽然本发明的实施例或方面可实现优于其他可能的解决方案和/或优于现有技术的优点，但给定的实施例是否实现特定的优点并不对本发明构成限制。因而，前述方面、特征、实施例和优点只是说明性的，而不被认为是所附权利要求的元素或限制，除非在(一个或多个)权利要求中明确记载。类似地，提及“本发明”应当被解释为对这里公开的任何发明内容的概括，而不应被认为是所附权利要求的元素或限制，除非在(一个或多个)权利要求中明确记载。
如将被本领域技术人员所认识到的那样，本发明的各方面可被实现为系统、方法或计算机程序产品。因此，本发明的各方面可采取完全硬件的实施例、完全软件的实施例(包括固件、驻留的软件、微代码等)或者组合了在这里都可概括称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。另外，本发明的各方面可采取具体化在其上包含有计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如，但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何适当组合。计算机可读存储介质的更具体示例(非穷尽地列举)将包括以下各项：具有一条或多条导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或者前述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是可包含或存储程序来供指令执行系统、装置或设备使用或者联系指令执行系统、装置或设备来使用的任何有形介质。
计算机可读信号介质可包括其中包含有计算机可读程序代码的传播数据信号，例如在基带中或作为载波的一部分。这种传播信号可采取多种形式中的任何一种，包括但不限于电磁、光或其任何适当组合。计算机可读信号介质可以是任何如下计算机可读介质：其不是计算机可读存储介质，并且能够传送、传播或传输程序供指令执行系统、装置或设备使用或者联系指令执行系统、装置或设备使用。
包含在计算机可读介质上的程序代码可利用任何适当的介质来发送，这些介质包括但不限于无线、有线、光纤线缆、RF等，或者前述的任何适当组合。
用于执行本发明的各方面的操作的计算机程序代码可用一种或多种编程语言的任何组合来编写，包括面向对象的编程语言(例如，Java、Smalltalk、C++等)、以及传统的过程式编程语言(例如，“C”编程语言或类似的编程语言)。程序代码可完全在用户的计算机上执行，部分在用户的计算机上执行，或者作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可通过任何类型的网络连接到用户的计算机，该网络包括局域网(LAN)或广域网(WAN)，或者可连接到外部计算机(例如，利用因特网服务提供商通过因特网)的连接。
以上参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。将理解的是，流程图和/或框图的每个方块以及流程图和/或框图中的方块的组合可由计算机程序指令实现。这些计算机程序指令可被提供到通用计算机、专用计算机或者其他可编程数据处理装置的处理器以产生机器，从而使得经由计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现流程图和/或框图的一个或多个方块中指定的功能/动作的装置。
这些计算机程序指令也可被存储在计算机可读介质中，该计算机可读介质可指导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，从而使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个方块中指定的功能/动作的指令的制品。
计算机程序指令也可被加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上被执行从而产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个方块中指定的功能/动作的过程。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的体系结构、功能和操作。在这点上，流程图或框图中的每个方块可表示代码的模块、片段或部分，其中包括一个或多个可执行指令用于实现指定的(一个或多个)逻辑功能。在一些替换实现方式中，方块中记述的功能可不按图中记述的顺序发生。例如，相继示出的两个方块实际上可基本上同时被执行，或者方块有时可按相反的顺序被执行，这取决于所涉及的功能。框图和/或流程图的每个方块以及框图和/或流程图中的方块的组合可由执行指定的功能或动作的专用的基于硬件的系统或者专用的硬件和计算机指令的组合来实现。
虽然以上涉及本发明的实施例，但可设计本发明的其他和另外的实施例，而不脱离其基本范围，并且其范围由所附权利要求来确定。

Claims (20)

1.一种方法，包括：
接收与被显示在显示区域的呈现相关联的同步信息，其中所述呈现的至少一部分在用户通过与所述显示区域分离的透明显示器能够看到的有界区域内；
基于所述同步信息在所述透明显示器上的第一位置处显示元数据，所述元数据与所述呈现中的对象相对应；以及
在确定所述对象在所述透明显示器中的位置已经改变时，基于所述对象的改变后的位置在所述透明显示器上的第二不同位置处显示所述元数据。
2.如权利要求1所述的方法，还包括通过以下处理确定所述有界区域：
从以预定模式被布置在所述显示区域中的多个发射器接收位置信息；以及
基于所述位置信息确定所述有界区域。
3.如权利要求2所述的方法，还包括：
使用相对于所述透明显示器具有固定物理间隔的一个或多个传感器来测量与所述透明显示器的朝向、高度、和方向中的至少一者相对应的数据；以及
将所述数据与所述位置信息相融合以确定所述有界区域。
4.如权利要求1所述的方法，其中所述同步信息是与所述呈现中的场景相对应的时间代码、以及包括所述呈现中的一个或多个对象的场景信息中的一者。
5.如权利要求1所述的方法，其中在所述透明显示器上的所述第二不同位置处显示所述元数据还包括：
将所述元数据被显示在所述第二位置处时所述透明显示器中的所述元数据和所述对象之间相对于所述用户的空间关系维持为所述元数据被显示在所述第一位置处时的空间关系。
6.如权利要求1所述的方法，其中所述显示区域是投影仪屏幕、电视、和舞台中的一者。
7.如权利要求1所述的方法，其中所述透明显示器是可穿戴设备。
8.一种用于在透明显示器中显示元数据的计算机程序产品，所述计算机程序产品包括：
计算机可读存储介质，该计算机可读存储介质具有被具体配置为进行以下处理的计算机可读程序代码：
接收与被显示在显示区域中的呈现相关联的同步信息，其中所述呈现的至少一部分在用户通过与所述显示区域分离的透明显示器能够看到的有界区域内；
基于所述同步信息在所述透明显示器上的第一位置处显示元数据，所述元数据与所述呈现中的对象相对应；以及
在确定所述对象在所述透明显示器中的位置已经改变时，基于所述对象的改变后的位置在所述透明显示器上的第二不同位置处显示所述元数据。
9.如权利要求8所述的计算机程序产品，还包括被配置为通过以下处理确定所述有界区域的计算机可读程序代码：
从以预定模式被布置在所述显示区域中的多个发射器接收位置信息；以及
基于所述位置信息确定所述有界区域。
10.如权利要求9所述的计算机程序产品，还包括被配置为进行以下处理的计算机可读程序代码：
使用相对于所述透明显示器具有固定物理间隔的一个或多个传感器来测量与所述透明显示器的朝向、高度、和方向中的至少一者相对应的数据；以及
将所述数据与所述位置信息相融合以确定所述有界区域。
11.如权利要求8所述的计算机程序产品，其中所述同步信息是与所述呈现中的场景相对应的时间代码、以及包括所述呈现中的一个或多个对象的场景信息中的一者。
12.如权利要求8所述的计算机程序产品，其中在所述透明显示器上的所述第二不同位置处显示所述元数据还包括被配置为进行以下处理的计算机可读程序代码：
将所述元数据被显示在所述第二位置处时所述透明显示器中的所述元数据和所述对象之间相对于所述用户的空间关系维持为所述元数据被显示在所述第一位置处时的空间关系。
13.如权利要求8所述的计算机程序产品，其中所述显示区域是投影仪屏幕、电视、和舞台中的一者。
14.如权利要求8所述的计算机程序产品，其中所述透明显示器是可穿戴设备。
15.一种显示单元，包括：
透明显示器，该透明显示器准许用户观看在所述显示单元外部的显示区域中出现的呈现；
通信器，该通信器被配置为接收与所述呈现相关联的同步信息；
处理器，该处理器被配置为执行操作，所述操作包括：
基于所述同步信息在所述透明显示器上的第一位置处显示元数据，所述元数据与所述呈现中的对象相对应；以及
在确定所述对象在所述透明显示器中的位置已经改变时，基于所述对象的改变后的位置在所述透明显示器上的第二不同位置处显示所述元数据。
16.如权利要求15所述的显示单元，还包括视距检测器，该视距检测器被配置为从以预定模式被布置在所述显示区域中的多个发射器接收位置信息，
其中所述操作还包括基于所述位置信息确定所述有界区域，其中所述有界区域包括所述用户通过所述透明显示器能够看到的、所述呈现的至少一部分。
17.如权利要求16所述的显示单元，还包括相对于所述透明显示器具有固定物理间隔的一个或多个传感器，所述传感器被配置为测量与所述透明显示器的朝向、高度、和方向中的至少一者相对应的数据，
其中所述操作包括将所述数据与所述位置信息相融合以确定所述有界区域。
18.如权利要求15所述的显示单元，其中所述同步信息是与所述呈现中的场景相对应的时间代码、以及包括所述呈现中的一个或多个对象的场景信息中的一者。
19.如权利要求15所述的显示单元，其中在所述透明显示器上的所述第二不同位置处显示所述元数据还包括：
将所述元数据被显示在所述第二位置处时所述透明显示器中的所述元数据和所述对象之间相对于所述用户的空间关系维持为所述元数据被显示在所述第一位置处时的空间关系。
20.如权利要求15所述的显示单元，所述显示单元是可穿戴设备。
CN201510666489.0A 2014-10-16 2015-10-15 向观看者显示定制放置的叠层 Active CN105528065B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/516,311 2014-10-16
US14/516,311 US10523993B2 (en) 2014-10-16 2014-10-16 Displaying custom positioned overlays to a viewer

Publications (2)

Publication Number Publication Date
CN105528065A true CN105528065A (zh) 2016-04-27
CN105528065B CN105528065B (zh) 2020-06-12

Family

ID=55750120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510666489.0A Active CN105528065B (zh) 2014-10-16 2015-10-15 向观看者显示定制放置的叠层

Country Status (2)

Country Link
US (1) US10523993B2 (zh)
CN (1) CN105528065B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235125A (zh) * 2016-12-14 2018-06-29 三星电子株式会社 显示装置和用于控制显示装置的方法
TWI832459B (zh) * 2021-11-10 2024-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與資訊顯示系統

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284806B2 (en) * 2017-01-04 2019-05-07 International Business Machines Corporation Barrage message processing
US10893339B2 (en) 2019-02-26 2021-01-12 Capital One Services, Llc Platform to provide supplemental media content based on content of a media stream and a user accessing the media stream
US11112943B1 (en) * 2020-05-23 2021-09-07 Motorola Mobility Llc Electronic devices and corresponding methods for using episodic data in media content transmission preclusion overrides
WO2024063867A1 (en) * 2022-09-22 2024-03-28 Qualcomm Incorporated Multi-source multimedia output and synchronization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070277092A1 (en) * 2006-05-24 2007-11-29 Basson Sara H Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
US20120190439A1 (en) * 2010-08-03 2012-07-26 Bby Solutions, Inc. Multiple simultaneous programs on a display
US20130160039A1 (en) * 2011-06-20 2013-06-20 Bit Cauldron Corporation Method and apparatus for determining individualized media metrics, and providing individualized conditional access for 3d image viewing
US20130321390A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US20140121015A1 (en) * 2012-10-30 2014-05-01 Wms Gaming, Inc. Augmented reality gaming eyewear

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330709T2 (de) * 1992-12-28 2002-07-11 Canon Kk Blickrichtungsdetektor und Kamera mit diesem Detektor
JP3478192B2 (ja) 1999-08-20 2003-12-15 日本電気株式会社 画面重畳表示型情報入出力装置
US20050021679A1 (en) * 2000-02-25 2005-01-27 Alexander Lightman Method and system for data transmission between wearable devices or from wearable devices to portal
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
JP2010512693A (ja) * 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
AU2008204523A1 (en) * 2007-01-09 2008-07-17 Selex Galileo Ltd Emitter location
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP2011139414A (ja) * 2009-12-04 2011-07-14 Sony Corp 映像表示装置、シャッタ眼鏡、映像表示システム、および通信方法
JP5834177B2 (ja) 2010-02-17 2015-12-16 パナソニックＩｐマネジメント株式会社 立体画像表示システム及び立体視メガネ
US20120194418A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US9361729B2 (en) 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US8922644B2 (en) * 2010-10-07 2014-12-30 Sony Computer Entertainment Inc. Tracking head position and orientation
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9584798B2 (en) 2010-12-09 2017-02-28 Google Technology Holdings LLC Method and apparatus for managing 3D video content
US9595127B2 (en) 2010-12-22 2017-03-14 Zspace, Inc. Three-dimensional collaboration
US8514225B2 (en) * 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
US9519640B2 (en) * 2012-05-04 2016-12-13 Microsoft Technology Licensing, Llc Intelligent translations in personal see through display
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US20140002492A1 (en) 2012-06-29 2014-01-02 Mathew J. Lamb Propagation of real world properties into augmented reality images
US9389682B2 (en) 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
US9781244B2 (en) * 2012-07-02 2017-10-03 Kevin Griffin Dual-mode eyeglasses
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9041642B2 (en) * 2012-12-17 2015-05-26 Disney Enterprises, Inc. Large audience 3D display system without glasses
US20150097965A1 (en) * 2013-10-03 2015-04-09 Jigabot, Llc Eliminating line-of-sight needs and interference in a tracker
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9354316B2 (en) * 2014-02-19 2016-05-31 Honeywell International Inc. Polarized tracker system and method for tracking movement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070277092A1 (en) * 2006-05-24 2007-11-29 Basson Sara H Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
US20120190439A1 (en) * 2010-08-03 2012-07-26 Bby Solutions, Inc. Multiple simultaneous programs on a display
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US20130160039A1 (en) * 2011-06-20 2013-06-20 Bit Cauldron Corporation Method and apparatus for determining individualized media metrics, and providing individualized conditional access for 3d image viewing
US20130321390A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment
US20140121015A1 (en) * 2012-10-30 2014-05-01 Wms Gaming, Inc. Augmented reality gaming eyewear

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235125A (zh) * 2016-12-14 2018-06-29 三星电子株式会社 显示装置和用于控制显示装置的方法
CN108235125B (zh) * 2016-12-14 2021-12-03 三星电子株式会社 显示装置和用于控制显示装置的方法
TWI832459B (zh) * 2021-11-10 2024-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與資訊顯示系統

Also Published As

Publication number Publication date
US20160112750A1 (en) 2016-04-21
US10523993B2 (en) 2019-12-31
CN105528065B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US11120596B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
CN105528065A (zh) 向观看者显示定制放置的叠层
EP2579128B1 (en) Portable device, virtual reality system and method
EP3422149B1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
CN109069935A (zh) 用于生成立体的、增强的和虚拟现实图像的系统和方法
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
US11119567B2 (en) Method and apparatus for providing immersive reality content
JP2019039988A (ja) 情報処理装置および画像表示方法
JP2017208676A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
EP3264228A1 (en) Mediated reality
US10366542B2 (en) Audio processing for virtual objects in three-dimensional virtual visual space
CN108628439A (zh) 信息处理设备、信息处理方法及程序
US11443487B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
JP6875029B1 (ja) 方法、プログラム、情報処理装置
US20220230357A1 (en) Data processing
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
TW202311909A (zh) 映射聯網設備
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
CN117354567A (zh) 弹幕调整方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant