CN110998505B - 具有物理视频面板的同步全息显示和3d对象 - Google Patents

具有物理视频面板的同步全息显示和3d对象 Download PDF

Info

Publication number
CN110998505B
CN110998505B CN201880050590.5A CN201880050590A CN110998505B CN 110998505 B CN110998505 B CN 110998505B CN 201880050590 A CN201880050590 A CN 201880050590A CN 110998505 B CN110998505 B CN 110998505B
Authority
CN
China
Prior art keywords
holographic
media device
hmd
asset
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880050590.5A
Other languages
English (en)
Other versions
CN110998505A (zh
Inventor
戴维·钟
尼尔斯·哈里森
布里安·丹格
克里斯托弗·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110998505A publication Critical patent/CN110998505A/zh
Application granted granted Critical
Publication of CN110998505B publication Critical patent/CN110998505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Optics & Photonics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种将混合现实(MR)配置的头戴式显示器(HMD)与单独的媒体设备相协调以实现同步用户体验的方法。该方法包括建立HMD与媒体设备之间的通信信道。经由该通信信道执行以下至少一项操作：基于HMD所显示的界面来访问媒体设备上的内容或执行媒体设备上的控制命令，以及检测媒体设备所呈现的媒体并在HMD上同步显示与检测到的媒体关联的内容。

Description

具有物理视频面板的同步全息显示和3D对象
技术领域
一个或多个实施例总体上涉及全息内容，特别地，涉及利用显示和用户界面(UI)技术同步全息内容。
背景技术
诸如头戴式设备之类的虚拟现实设备可以在各种现实和/或虚拟世界环境和情境中使用。增强现实设备是一种类型的虚拟现实设备，其可以支持对现实世界环境连同数字地投射到现实世界场景中的增强现实对象的直接或间接视图。增强现实设备也可以作为场景感知设备操作，其可以理解被定义为增强现实设备所支持的增强现实环境(也即，虚拟环境)的真实世界环境。增强现实设备可以支持呈现增强现实对象，这些对象是为与增强现实设备所关联的用户渲染的虚拟化实体(例如，全息内容或混合现实内容)。
发明内容
附图说明
图1示出根据一些实施例的具有覆盖增强机制的电子系统；
图2示出根据一些实施例的系统的示例性高级框图；
图3示出根据一些实施例的示例性电视(TV)设备和全息显示设备发现和配对；
图4示出根据一些实施例的混合现实(MR)框架配对流程图；
图5示出根据一些实施例的示例性全息应用用户界面(UI)；
图6示出根据一些实施例的虚拟TV UI面板；
图7示出根据一些实施例的虚拟预览面板；
图8示出根据一些实施例的示例性电影事件全息显示；
图9示出根据一些实施例的用于全息对象插入处理的框图；
图10示出根据一些实施例的在虚拟世界环境中的动态广告插入的示例；
图11示出根据一些实施例的智能TV和UI的示例；
图12示出根据一些实施例的示例性系统布局的框图；
图13示出根据一些实施例的显示出了通过同步媒体设备并在相应空间中投射化身来共享观看体验的示例性图示；
图14示出根据一些实施例的同时使用视觉输入和网络通信以在3D空间中提供距离和位置的精确确定；
图15示出根据一些实施例的用于利用显示和UI技术处理来同步全息内容的框图；以及
图16是示出包括可用于实现所公开实施例的计算机系统在内的信息处理系统的示例性高级框图。
具体实施方式
一个或多个实施例涉及利用显示和用户界面(UI)技术来同步全息内容。在一些实施例中，提供了一种将混合现实(MR)配置的头戴式显示器(HMD)与单独的媒体设备相协调以实现同步用户体验的方法。该方法包括建立HMD与媒体设备之间的通信信道。经由该通信信道执行以下至少一项操作：基于HMD所显示的界面来访问媒体设备上的内容或执行媒体设备上的控制命令；以及检测媒体设备所呈现的媒体并在HMD上同步显示与检测到的媒体关联的内容。
在一些实施例中，一种装置包括存储指令的存储器。至少一个处理器执行这些指令，其包括被配置用于如下操作的过程：建立MR HMD与媒体设备之间的通信信道；以及使用该通信信道执行以下至少一项操作：基于HMD所显示的界面来访问媒体设备上的内容或执行媒体设备上的控制命令；以及检测媒体设备所呈现的媒体并在HMD上同步显示与检测到的媒体关联的内容。
在一些实施例中，提供了一种包括程序的非瞬态处理器可读介质，当该程序由处理器执行时执行一种方法，该方法包括：建立MR HMD与媒体设备之间的通信信道；以及使用该通信信道执行以下至少一项操作：基于HMD所显示的界面来访问媒体设备上的内容或执行媒体设备上的控制命令；以及检测媒体设备所呈现的媒体并在HMD上同步显示与检测到的媒体关联的内容。
该一个或多个实施例的这些以及其他特征、方面和优势在参考下文描述、所附权利要求和附图时将变得易于理解。
下面的描述目的是举例说明一个或多个实施例的通用原理，而不意味着对本文所请求保护的创造性构思进行限制。进一步地，本文描述的特定特征可以与在各种可能的组合和置换中的每一个中描述的其他特征组合使用。除非本文另有明确限定，否则所有术语都应被给予它们最宽泛的可能解释，包括说明书中隐含的意思以及本领域技术人员理解的和/或字典、专著等中定义的意思。
一些实施例提供了利用显示和用户界面(UI)技术来同步全息内容。在一些实施例中，提供了一种将混合现实(MR)配置的头戴式显示器(HMD)与单独的媒体设备相协调以实现同步用户体验的方法。该方法包括建立HMD与媒体设备之间的通信信道。经由该通信信道执行以下至少一项操作：基于HMD所显示的界面来访问媒体设备上的内容或执行媒体设备上的控制命令；以及检测媒体设备所呈现的媒体并在HMD上同步显示与检测到的媒体关联的内容。
本文使用的术语“图像”可以包括二维图像、三维图像、视频帧、计算机文件表示、来自摄像机的图像、视频帧、或其组合。例如，图像可以是机器可读数字文件、物理照片、数字照片、电影帧、视频帧、x射线图像、扫描图像、或其组合。可以根据以矩形阵列排列的像素来生成图像。图像可以包括沿着行方向的x轴和沿着列方向的y轴。术语“图像”可以指示静态图像或视频的动态画面，也即，后者指示视频本身。除了静态图像(例如，照片)或视频之外，术语“图像”还可以包括显示器上可显示的局部或整个屏幕图像。此外，术语“图像”最初也可以包括除了静态图像(例如，照片)或视频之外的可显示的屏幕图像本身，诸如用户界面或网页。
在一些实施例中，生成了全息技术，其能够投射3D表示，就好像它们与用户处于同一空间中一样。全息技术可以包括由用户佩戴的头戴式显示器(HMD)(例如，图3中的HMD320)。HMD通过将光投射到戴在用户眼睛上的透明屏幕上来显示全息图。在一些实施例中，全息技术与显示技术(诸如图2的TV设备250，图3的TV设备310，等等，包括大型显示器/LFD)组合，同步HMD和TV并使得二者一起工作以提升用户体验。
在一些实施例中，用户能够查看全息图并与之交互，其中全息图相对于他们正在观看内容的屏幕而定位。用户可以在屏幕上享受无与伦比的高分辨率体验，同时还观看屏幕外的全息图。向用户显示的全息图补充并与屏幕上正观看的显示内容同步，诸如电影、TV秀、购物体验、游戏、广告等。
图1示出在一些实施例中具有覆盖增强机制的电子系统50。电子系统50包括第一设备52，诸如客户端或服务器，其连接到第二设备56，诸如客户端或服务器。第一设备52可以利用通信路径54(诸如无线或有线网络)与第二设备56通信。
在一个示例中，第一设备52可以是各种显示设备中的任一种，诸如超高清晰度(UD)、4K(8K等)显示设备(如UD电视(UDTV)、4K TV、8K TV)、平板设备、智能电话、个人数字助理(PDA)、笔记本计算机、液晶显示(LCD)系统、可穿戴设备、移动计算设备、投影设备、或其他多功能显示器或娱乐设备。第一设备52可以直接或间接地耦接到通信路径54以与第二设备56通信，或者可以是独立的设备。
出于解释说明目的，描述了以第一设备52作为显示设备的显示系统50，不过可以理解，第一设备52可以是各种不同类型的设备。例如，第一设备52也可以是用于呈现图像或多媒体呈现的设备。多媒体呈现可以是包括声音、流图像序列或视频种子、或其组合的呈现。作为一个示例，第一设备52可以是UDTV或任何其他类型的UD显示设备(例如，监控器、视频面板、HUD、智能电话、平板设备、视频设备、游戏设备，等等)。
第二设备56可以是各种中心化或去中心化计算设备、图像或视频传输设备中的任意设备。例如，第二设备56可以是多媒体计算机、平板电脑、膝上型计算机、桌上型计算机、视频游戏控制台、网格计算资源、虚拟化计算资源、云计算资源、路由器、交换机、对等分布式计算设备、媒体播放设备、数字视频盘(DVD)播放器、支持三维的DVD播放器、BDP、记录设备(诸如照相机或摄像机)、或其组合。在另一示例中，第二设备56可以是用于接收广播或直播流信号的信号接收器，诸如电视接收器、STB、线缆盒、碟形卫星接收器、或支持网络的设备。
第二设备56可以集中在单个房间中、分布在不同房间中、分布在不同地理位置中、嵌入在电信网络中，等等。第二设备56可以具有用于与通信路径54耦接以与第一设备52通信的装置。
出于解释说明目的，描述了以第二设备56作为计算设备的电子系统50，不过可以理解，第二设备56可以是不同类型的设备。同样，出于解释说明目的，将显示系统50示出为以第二设备56和第一设备52作为通信路径54的端点，不过可以理解，显示系统50可以在第一设备52、第二设备56和通信路径54之间具有不同的划分。例如，第一设备52、第二设备56或其组合也可以用作通信路径54的一部分。
通信路径54可以是各种网络。例如，通信路径54可以包括无线通信、有线通信、光学、超声波或其组合。卫星通信、蜂窝通信、(蓝牙)、红外数据协会标准(IrDA)、无线保真(WiFi)和全球微波接入互操作性(WiMAX)是可以包括在通信路径54中的无线通信的示例。以太网、数字订户线(DSL)、光纤到家(FTTH)、高清多媒体接口(HDMI)线缆和普通老式电话业务(POTS)是可以包括在通信路径54中的有线通信的示例。
此外，通信路径54可以横穿多个网络拓扑和距离。例如，通信路径54可以包括直接连接、个人区域网(PAN)、局域网(LAN)、城域网(MAN)、广域网(WAN)或其组合。
图2示出根据一些实施例的系统200的高级框图。在一些实施例中，系统200可以使用覆盖增强处理器700(例如，集成电路(IC)、硬件电路、多核处理器、专用IC(ASIC)、CPU、混合设备和应用编程接口(API)等等)处理在(例如，来自图1的通信路径54的)输入节点201处接收的来自输入源210(或图1的设备52或56)的输入视频图像，在(例如，去往通信路径54的)输出节点240处输出视频图像，并在输出源250(或图1的设备52)上显示图像。在一些实施例中，用于输出源250的显示器可以是用于呈现图像或多媒体呈现的物理设备。例如，显示器可以是屏幕，包括液晶显示(LCD)面板、等离子体屏幕、投影屏幕、平视显示器(HUD)等等。在其他实施例中，显示器可以是投射在物体或反射设备上。
在一些实施例中，输入视频图像可以从输入源210提供，其可以无线地或通过有线接口(例如，图1的通信路径54)进行发送/接收，并且可以包括未压缩/压缩的视频内容。在一些实施例中，系统200中视频图像内容的有线或无线通信可以包括在以下一项或多项上/通过以下一项或多项的通信：以太网、电话(例如，POTS)、线缆、电源线和光纤光学系统、和/或无线系统，无线系统包括以下一项或多项：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、诸如GSM/GPRS(通用分组无线电服务)/EDGE(增强数据GSM环境)的时分多址(TDMA)系统、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1x仅增强语音-数据(EV-DO)或1x EV-DO黄金多播)系统、IEEE 802.11x系统、DMB(数字多媒体广播)系统、正交频分多址(OFDM)系统、DVB-H(数字视频广播-手持)系统等等。
在一些实施例中，视频输入源210可以通过无线网络(例如，互联网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、校园无线网(CAN)、城域网(MAN)等等，例如图1中的通信路径54)进行发送。输入源210可以来自基于云的系统、服务器、广播站、视频设备/播放器、摄像机、移动设备等等。
在一些实施例中，从输入源输入的视频图像可以在到达输入节点201之前进行解码/编码(例如，经由解码器/编码器)。从输出节点240输出到输出源250的视频图像可以在到达输出节点240之前进行编码/解码。在一些实施例中，输出源250可以无线地或通过有线接口从输出节点240接收输出图像。
在一些实施例中，来自输入源210的压缩视频图像内容可以提供来自广播、计算机网络、DVD或其他计算机可读存储介质、或任何其他合适的视频信号源的模拟或数字视频。在一个实施例中，来自输入源210的压缩视频可以经由射频接口(诸如ATSC广播)、计算机网络、或有线或无线连接(诸如分量视频线缆、DVI或HDMI视频接口等等)耦接到接收器。在一个实施例中，来自输入源210的未压缩视频图像可以包括摄像机或通过任何合适的视频接口耦接到接收器的诸如盘驱动之类的存储设备中的一个或多个。来自输入源210的未压缩视频可以提供模拟或数字形式的未压缩视频，包括亮度和色度形式、单个颜色强度(诸如红色、绿色和蓝色等)或任何其他合适的格式。
在一些实施例中，来自输入源210的输入视频内容的数字视频格式可以包括不同的帧速率、不同的行数和像素行数、交错和非交错等等。例如，电影通常以24fps(每秒帧数)的格式制作，NTSC是每秒30帧，PAL是每秒25帧。格式可以是隔行或逐行的。例如，可以将(诸如数字视频广播标准所支持的)高清晰度格式修改为适合输出源250的显示设备格式的格式。输出源250的显示设备可以配置成接收NTSC、PAL、ATSC、DVB/T等等，或者显示设备以不同的帧速率运行，诸如70Hz、75Hz、80Hz等等。
在一些实施例中，处理器(例如，图2的图像处理处理器700，图16的处理器1601，等等)可以执行如下操作。一些实施例的一个特征包括以屏幕为导向的全息用户界面(UI)体验。将全息UI示出为相对于显示器(TV、LFD等等)定位。当用户佩戴HMD时，他们看到看起来像漂浮在显示器外部的UI。全息UI为用户提供通过使用手势、轻敲或语音命令进行交互的能力。全息图可以相对于显示器、用户或环境空间中检测到的其他对象(例如，咖啡桌等等)进行投射。UI可以根据显示器的尺寸进行缩放，从而提供UI“环绕”显示器的效果。
在一些实施例中，与全息图的交互可能影响显示器本身。例如，选择全息菜单项可能启动显示器上的应用。用户可以使用他们所处的整个环境空间(例如，房间，等等)来查看菜单，并保留在更高分辨率的显示器上观看视频内容的能力。在一些实施例中，UI可以包括以“贴片”或矩形的形式呈现的全息图，这些贴片或矩形可以被选择以便执行动作。诸如贴片的全息图可以根据显示器发送的数据来生成。例如，显示器可以发送关于其尺寸的信息，从而允许全息图“环绕”显示器，或者它可以发送关于显示器上可用的应用或内容的信息，从而提供给HMD以生成允许用户打开这些应用或播放内容的全息图。全息图可以通过诸如凝视(短凝视和长凝视)、轻敲(使用手指手势)、语音命令等动作进行交互。
在一些实施例中，通过使用增强现实(AR)跟踪来执行对显示器位置的检测。为了使全息UI相对于显示器定位，HMD必须首先知道显示器的位置。在一些实施例中，可以使用AR跟踪来完成对显示器位置的确定。显示器可以在其屏幕上显示允许HMD使用计算机视觉来识别它的图案，并确定它在世界空间中的位置。除了确定显示器的位置之外，HMD还接收确定显示器尺寸所需的信息。
在一些实施例中，提供了用于娱乐(例如，内容视频、游戏等)的内容感知全息资产插入。显示器和HMD相互通信，以使3D全息资产的显示与视频和其他内容同步。示例可以包括内容视频。例如，电影开始在显示器上播放。在电影中的特定时间索引处，显示器指示HMD显示与电影场景相关的全息图，以增加用户沉浸感。另一示例是游戏，其中游戏在显示器上播放。显示器指示HMD播放与游戏中正出现的内容相关的效果。
在一些实施例中，提供了在HMD中针对全息图的使用3D全息资产服务器或商店(例如图12中的3D资产商店1250)的动态广告插入(DAI)。在传统的视频应用中，可以基于用户的简档数据动态地向用户提供和显示目标广告。这些广告通常采用2D视频格式。在一些实施例中，使用3D全息资产来增强用户对广告的体验。在显示器和HMD二者上给定用户的简档数据，显示器和HMD协调检索广告并将广告以全息资产的形式渲染到用户的HMD虚拟环境中。例如，动态地插入3D全息广告对象(例如，RED飞机围绕您的HMD显示器飞行)，而RED/>广告则显示在电视屏幕上(参见例如图10)。
在一些实施例中，显示器和HMD从资产池/商店动态地拉取全息资产。DAI可通过线性、实时或视频点播(VOD)内容获得。提供3D全息产品植入，其允许在线购买(例如，图10中放在TV前面的咖啡桌上的全息RED饮料)。用户可以与RED/>饮料进行交互以通过在线购买并送货上门。这种用户交互为用户提供了在观看全息资产时的沉浸式体验，目的是使广告更有效。在一个示例中，内容视频正在可视显示器上播放。在给定的时间，可视显示器将指示HMD以与内容视频相关的全息图的形式插入动态广告。然后使全息图与显示器上的视频同步。
在一些实施例中，全息资产插入被提供用于电子商务购物体验。在传统的购物体验中，可销售的产品、体验、服务等以文本、图像和视频的形式显示给消费者。可以使用全息资产来增强购物体验，全息图允许用户在虚拟空间中体验产品、体验、服务等，具有更准确的印象。HMD的虚拟环境中的用户能够在真实物理空间中走动以对产品、体验、服务等的3D虚拟表示进行可视化和/或控制。目的是在进行购买之前向用户提供更好的理解。显示器和HMD从资产池/商店中拉取全息资产。可以借助电子商务(例如，三星支付)在显示器或HMD设备中进行支付。在用户与显示器的交互期间，产品可能会出现在屏幕上或视频中。显示器与HMD就显示在屏幕上的产品进行通信，并且HMD投射与显示器上显示的内容相关的全息图，从而允许用户与产品交互并购买产品。在一个示例中，用户与显示器交互并使用HMD设备。全息资产插入到用户的虚拟环境中，具有待购买的选项。用户能够使缩放的产品、体验、服务等可视化，在缩放的产品、体验、服务等周围走动，并与缩放的产品、体验、服务等进行交互。用户可以购买产品、体验、服务等。可购买的物品示例包括但不限于一般产品、消费电子产品、家用电器、音乐、食品、车辆、时装、家具、旅游目的地、本地服务等。
在一些实施例中，提供了在全息环境中使用虚拟化身的社交TV平台。利用社交TV平台，用户能够观看视频内容并互相交流，而不需要在同一真实物理空间中。目的是增强围绕当今TV显示器的社交体验。每个用户都将能够加入一个“虚拟房间”来观看相同的视频内容。相同的视频内容同步显示在每个用户的显示设备上。给定“虚拟房间”中的用户能够控制视频内容。每个用户可以表示为“虚拟化身”。虚拟化身是用户的虚拟表示。“虚拟房间”中的用户能够通过他们的虚拟化身的设计而唯一地相互识别。考虑到HMD设备上的传感器(例如，加速度计、陀螺仪、罗盘等)，虚拟化身能够模仿用户的头部运动，从而提供用户正凝视的方向的真实表示。“虚拟房间”中的用户能够通过语音相互交流，语音可以可选地触发虚拟化身上的嘴巴动画。社交TV平台中的用户能够通过“好友列表”来相互添加/移除。虚拟化身可以相对于显示设备(例如，TV等)定位。
在一些实施例中，提供了用于全息应用和资产商店的混合现实生态系统。MR生态系统可以由HMD(例如，图3的HMD 320、图12的HMD设备1220)、TV或媒体设备(例如，图2的TV设备250、图3的TV设备310、图12的媒体设备1210)、全息应用商店和全息3D资产商店(例如，图12的3D资产商店1250)组成。在一些实施例中，存在若干与生态系统交互的实体，诸如TV和HMD平台的应用软件开发方、3D全息资产开发方、发布方(用于DAI场景)和TV观众。应用开发方为TV和媒体设备构建TV网络应用，并将TV网络应用提交到TV应用商店。应用开发方为HMD构建UI应用，并将此配套应用提交到全息应用商店。全息应用可以从全息应用商店下载到HMD设备中。全息应用具有全息客户端软件库作为应用的一部分。TV侧全息客户端软件应用或模块作为TV固件的一部分存在。全息3D资产服务器可以是CDN Http服务器，它包含由世界各地的3D全息资产开发方开发的用于内容视频的各种(统一)资产包。发布方可以决定在内容回放期间何时动态地插入/渲染3D全息对象。
在一些实施例中，全息应用和资产商店的商业模式创建了全息3D资产商店，类似于流行音乐应用商店，其允许应用开发方购买具有富于想象效果的全息对象，以增强他们的应用的观看体验。新的资产商店系统为任何3D全息资产开发方提供了创建、提交和出售他们用于全息应用的资产的服务。
图3示出根据一些实施例的示例性的TV设备310和HMD 320的发现和配对。在一些实施例中，HMD 320必须知晓TV设备310的存在并与之连接。在一个实施例中，设备发现可以使用简单的服务发现协议，但也可以通过mDNS和其他服务来实现发现。然后，HMD 320必须连接到TV设备310并与之联网。这称为设备配对。配对可以通过WiFi完成。在HMD 320和TV设备310之间可以进行双向通信305。然后，HMD 320向TV设备310发出信号，试图发现TV设备310在空间中的位置。接着，TV设备310在其屏幕上显示HMD 320可以通过计算机视觉识别的图案(例如，QR码、静态或动态图案等)。HMD识别图案并获悉TV设备310在空间中的位置。在这一点上，HMD 320可以创建相对于TV设备310的显示器定位的全息UI。HMD 320可以利用其到TV设备310的连接以便发送命令或获取关于TV设备310的状态的信息。例如，全息控制器可以与TV设备310UI(例如，三星智能TV中的智能中心UI)紧密集成以处理导航、聚焦、内容选择等。全息控制器遵循严格的消息传递协议并处理TV设备310与MR设备之间的消息。这些消息将提供各种功能性，诸如远程应用启动、远程游戏启动、音量控制、视频控制(例如，播放、暂停、停止、快进和倒退)、从TV设备310UI的内容选择、同步导航、频道控制等。TV设备310也向HMD 320发送命令。作为一个示例，TV设备310可能正在其屏幕上播放电影。TV设备310读取关于正在播放的电影的元数据，其描述了将与电影内容一起插入的全息图。由于该元数据，TV设备310知道电影中某些场景或事件发生的时间。在适当的时间，TV设备310向HMD 320发送信号以开始加载和缓存全息资产。最后，TV设备310可以向HMD 320发送信号以播放与TV设备310上的视频同步的全息资产。
在一些实施例中，全息应用使用SSDP协议发现本地网络上的TV设备310。全息应用建立到TV设备310的连接并与之配对。TV设备310识别新的全息应用连接并打开配对应用。配对应用在TV设备310上显示图像。全息应用识别该图像并确定TV设备310在3D空间中的位置。利用ARToolkit库(用于构建增强现实应用的软件库)，全息应用使用图像/图案识别来扫描TV设备310配对应用在屏幕上显示的图像。一旦扫描到图案，则全息应用获悉TV设备310在用户房间中的位置。然后，全息应用将TV设备310的位置保存在其锚定存储库中，并在每次全息应用启动时使用该信息。
图4示出根据一些实施例的MR框架配对流程图400。流程图400描述了TV设备(例如，图3的TV设备310)与HMD(例如，图3的HMD 320)之间的设备发现和配对过程。全息应用助手(例如，HoloEden助手410)和SEAL服务器420以及配对应用(例如，配对应用430)都是TV设备上的软件，而全息客户端(例如，HoloTVClient库440)和全息MR应用(例如，HoloEden MR应用450)以及SEAL客户端460都是在HMD设备上运行的软件。
图5示出根据一些实施例的示例性全息应用UI 520。示例性UI菜单全息图由HoloLens应用创建。HoloLens应用经由网络与TV设备310通信，以使用应用编程接口(API)(例如，Eden API)来访问TV元数据信息。例如，全息应用获取安装在TV设备310上的应用列表、电影资产、标题等等。AR跟踪和显示器发送关于自身的信息(例如，其屏幕尺寸)的结果的组合允许生成全息图以围绕TV设备310进行全息显示。全息图定位在TV设备310附近，从而产生UI“环绕”显示器的效果。注意，UI示出了应用520和在显示器上可用的内容(例如，推荐的媒体510)。与全息贴片的交互可以触发在显示器上回放内容。还有用于设置和控制530的全息图，包括放置在房间内桌子上的虚拟遥控器、语音控制和其他图标，这些都是利用全息投影设备(例如，图3的HMD设备320)上的房间感测技术实现的。
在一些实施例中，推荐的媒体510被示为顶部面板，并提供基于观众趋向的建议。全息应用520包括出现在屏幕下方菜单中的用户应用和游戏。所选的应用将出现在TV设备310的最适合用户的那一侧。广告(例如，瓷砖广告)机会出现在左边。设置和控制530包括可从这些面板访问的设置、源、语音命令和虚拟遥控。
图6示出根据一些实施例的虚拟TV UI面板。全息导航和启动应用610通过凝视进行导航，并且对选择进行轻敲(例如，使用手指手势)将调出应用。全息分页620为用户提供了通过媒体库前进。虚拟标签630全息图为用户提供了通过凝视这些标签直到出现计时器图标动画，而在TV节目、电影和推荐的媒体510之间进行切换。媒体选择640的全息图提供了通过凝视进行导航，并且对选择进行轻敲会调出预览面板。
图7示出根据一些实施例的虚拟预览面板710。预览面板710自动开始。用于调用动作720的全息图为用户提供了轻敲以扩展信息部分、进行购买或关闭预览面板。
图8示出根据一些实施例的示例性电影事件全息显示。全息虚拟事件810提供了在电影中的关键时刻，虚拟事件可以发生在TV设备310的屏幕之外，甚至可以与之交互。这里，用户可以使用HMD设备310(图3)标线来射击例如宇宙飞船。在此示例中，在媒体模式期间，为用户隐藏全息面板(例如，分页620)(隐藏面板820)。关闭电影将显露出之前显示的面板。媒体播放器830的全息图显示为透明的媒体栏，并显示媒体时间和选项。在一些实施例中，一旦用户凝视媒体播放器830，它就变得完全不透明。
图9示出根据一些实施例的用于全息对象插入处理的框图900。TV应用处理910示出在左边，而MR应用920处理示出在右边。在一些实施例中，TV应用910读取内容视频元数据，包括到全息描述JSON的URL。指示MR设备(例如，图3的HMD 320)加载全息描述URL。然后，MR应用920将全息描述元文件JSON解析成调度，并加载资产包。MR应用920开始预加载预期在内容开始几秒内播放的场景。MR应用920向TV设备(例如，图3的TV设备310)发送预加载就绪的信号。TV应用910开始回放内容并向MR设备持续发送播放头数据。MR应用920根据元文件JSON播放全息场景。
图10示出根据一些实施例的在虚拟世界环境中的动态广告插入的示例。在商业广告的关键时刻，虚拟事件可以发生在屏幕之外，甚至可以与之交互。全息虚拟事件1010显示出一架RED 飞机在TV设备310的显示器之外的房间环境中飞行。在商业广告和电影中显示的产品可以放置在用户环境中，并示出为全息虚拟产品植入1020。在此示例中，虚拟产品植入1020包括放在TV设备310前面桌子上的一罐RED/>
图11示出根据一些实施例的智能TV(TV设备310)和UI的示例。在此示例中，(经由图3的HMD 320)示出了全息推荐媒体510、控制和设置530、应用520和内容选择110。可以看出，全息显示集合使得TV设备310免于显示这些UI，并为不同的UI提供不同的布置和大小。
图12示出根据一些实施例的示例性系统布局的框图。该系统包括媒体设备1210(例如，TV设备、屏幕设备、监控器等)、HMD设备1220(例如，类似于图3的HMD设备320)、外部服务器1230、社交平台同步服务器1240和3D资产商店1250。
在一些实施例中，媒体设备1210可以包括媒体设备控制服务器、广告框架、HMD通信、配对应用和内容回放应用。媒体设备控制服务器提供对一些媒体设备功能的控制。广告框架可以是预先存在的动态广告插入框架，其被扩展为处理读取元数据文件以加载全息内容。HMD通信是通信协议对等客户端，其在HMD设备1220和媒体设备1210之间发送和接收消息。配对应用读取关于媒体设备1210的信息，并为HMD设备1220呈现标记以定位媒体设备1210的物理位置。内容回放应用是定制的视频回放应用，其读取元数据文件以同步3D内容，并包含用于同步广告回放的广告框架。媒体设备1210请求从/向HMD设备1220加载/卸载3D资产，向外部服务器1230请求视频广告服务模板(VAST)和视频多广告播放列表(VMAP)，并向外部服务器1230请求内容。
在一些实施例中，HMD设备1220可以包括媒体设备控制客户端、HMD媒体设备UI和HMD通信。在一个实施例中，媒体设备控制客户端是侦听来自媒体设备1210的消息的HMD设备1220侧媒体设备通信客户端。HMD媒体设备UI是3D图形用户界面(GUI)，其将媒体设备1210UI扩展到用户的物理空间中。当使用HMD设备1220时，用户与HMD媒体设备UI进行物理交互。HMD设备1220发现TV(媒体设备1210)，向TV发送命令，并向TV请求信息(例如，元数据)。HMD设备1220向外部服务器1230请求3D资产。
在一些实施例中，外部服务器1230可以包括广告服务器和内容服务器。广告服务器在向媒体设备1210提供广告时包含用于3D广告的元数据。内容服务器是主控视频/音频内容的服务器。
在一些实施例中，3D资产商店1250可以是商业生态系统，其允许内容创建者和发布者推广和共享3D内容。3D资产商店可以被用户、广告商、出版商消费。
在一些实施例中，社交平台同步服务器1240处理用户群组活动的同步。
在一些实施例中，可以不从HMD设备1220投射全息图，而是可以在房间中、在用户身上存在单独的设备，或者甚至将单独的设备集成到屏幕本身中。内容同步方面和显示器在空间中位置的获知类似于HMD设备1220。屏幕和全息投影设备可以通过互联网、或其他通信技术相互同步，而不是通过WiFi。
图13示出根据一些实施例的显示出了通过同步媒体设备并在相应空间中投射化身来共享观看体验的示例性图示。在此示例中，有三个TV设备1310、1320和1330，每个TV设备都具有各自的拥有虚拟化身的观众(化身1340、1341和1342)。通过使用社交平台同步服务器1240(图12)的社交TV平台，用户能够在他们各自的TV设备上观看视频内容并相互交流，而不需要处于同一真实物理空间中。每个用户都加入“虚拟房间”以查看为TV设备1310、1320和1330同步的相同视频内容。给定“虚拟房间”中的各个用户对视频内容进行控制。“虚拟房间”中的用户能够通过其虚拟化身的设计而唯一地相互识别。每个相应用户佩戴各自的HMD设备(例如，图3的HMD设备320、图12的HMD设备1220)，该HMD设备包括传感器(例如，加速度计、陀螺仪、罗盘等)，用于跟踪佩戴者的头部运动和位置。虚拟化身(1340、1341和1342)描绘了用户的头部运动，其中化身正面向用户正凝视的相应方向。“虚拟房间”中的各个用户能够与其他用户讲话并听其他用户说话。社交TV平台中的用户能够通过“好友列表”相互添加/移除。虚拟化身可以在虚拟房间中相对于显示设备(例如，TV等)进行定位。
图14示出根据一些实施例的同时使用视觉输入和网络通信以在3D空间中提供距离和位置的精确确定。在一个示例中，TV设备1410包括内容1430，TYV设备1420也包括内容1430。在一些实施例中，通过使用AR跟踪来执行对显示器位置的检测。在一些实施例中，可以使用AR跟踪来完成对显示器位置的确定。HMD(例如，图3的HMD 320、图12的HMD设备1220)使用计算机视觉来识别内容1430，并确定其在世界空间中的位置。除了确定显示器的位置之外，HMD还接收确定显示器的尺寸所需的信息。用于每个TV设备1410和1420的HMD设备能够确定全息图的尺寸和形状，以基于对显示器尺寸、位置和内容位置的确定进行显示。
图15示出根据一些实施例的用于将MR配置的HMD与单独的媒体设备相协调以实现同步用户体验的过程1500的框图。在一个实施例中，在框1510中，过程1500包括建立HMD(例如，图3的HMD 320、图12的HMD 1220)与媒体设备(例如，图3的TV设备310、图12的媒体设备1210)之间的通信信道(例如，无线信道)。在框1520中，过程1500包括经由该通信信道执行以下操作：基于HMD所显示的界面(例如，全息UI)来访问媒体设备上的内容或执行媒体设备上的控制命令。在框1530中，过程1500可以经由该通信信道执行：检测媒体设备所呈现的媒体(例如，媒体/视频/音频内容)并在HMD上同步显示与检测到的媒体关联的内容(例如，全息内容)。
在一些实施例中，对于过程1500，媒体设备是显示设备或音频设备。HMD显示与媒体设备相关联的全息UI。全息UI包括针对以下至少一项的可选择UI要素(例如，贴片、页面等)：访问媒体设备上的应用(例如，用于选择/执行的应用UI)，访问媒体设备上的其他内容(例如，电影、建议的内容等)，控制媒体设备的设置(例如，遥控类型选择)，或修改媒体设备上的设置(例如，TV设置，诸如源、TV设置、麦克风等)。
在一些实施例中，过程1500还可以包括：基于媒体设备所呈现的媒体内容(例如，广告、商业、电影等)并与之相关联地动态生成全息资产(例如，在房间环境中显示的全息飞行飞机)。过程1500还可以包括：将媒体设备所呈现的媒体内容与全息资产在HMD上的显示进行同步。
在一些实施例中，对于过程1500，从维护全息资产的全息资产商店(例如，图12的3D资产商店1250)中检索全息资产。当HMD查看媒体设备上的内容时，全息资产可以被出售并加载到HMD。
在一些实施例中，对于过程1500，当HMD查看媒体设备上的内容时加载全息资产的定时由与全息资产相关联的第三方所提供的元数据来指定。媒体设备指示HMD基于由元数据指定的定时来加载全息资产。
在一些实施例中，对于过程1500，全息资产可以是交互式广告，其响应于媒体设备的触发事件而通过HMD动态地插入。从全息资产商店中检索全息资产并基于用户简档数据选择全息资产。
在一些实施例中，对于过程1500，由媒体设备触发的全息资产被用于通过提供与全息资产的交互来增强电子商务购物体验。在经由HMD检测到与全息资产的交互时，将呈现一个选项来执行动作以促进与全息资产相关联的交易。
在一些实施例中，过程1500还可以包括：使用HMD为参与到与HMD的用户进行的活跃通信会话中的其他用户提供一个或多个全息化身。其中至少一部分用户位于物理远程位置(即，在不同的物理位置)并利用相应的HMD和媒体设备参与活跃会话。全息化身是相对于特定媒体设备在空间上定位的，并且媒体内容是同步的，以便在活跃通信会话期间由每个媒体设备呈现。
在一些实施例中，过程1500还可以包括基于以下一项或多项的信息将HMD所显示的UI要素与媒体设备在空间上对准：媒体设备的位置、朝向和尺寸。空间对准包括：在媒体设备上显示提供关于媒体设备的位置和朝向的信息的图像，以及从媒体设备并经由通信信道接收媒体设备的尺寸信息。
图16是示出包括可用于实现所公开实施例的计算机系统1600在内的信息处理系统的高级框图。计算机系统1600可以并入在图1的设备52、56中，或者图2的设备210或250中、图12的媒体设备1210、HMD设备1220中，等等。计算机系统1600包括一个或多个处理器1601(例如，图2的处理器700)，且还可以包括电子显示设备1602(用于显示视频、图形、文本和其他数据)、主存储器1603(例如，随机存取存储器(RAM))、存储设备1604(例如，硬盘驱动)、可移动存储设备1605(例如，可移动存储驱动、可移动存储器模块、磁带驱动、光盘驱动、其内存储有计算机软件和/或数据的计算机可读介质)、用户接口设备1606(例如，键盘、触摸屏、键区、指点设备)和通信接口1607(例如，调制解调器、网络接口(诸如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口1607允许在计算机系统和外部设备之间(例如，通过图1的通信路径54)传送软件和数据。系统1600还包括前述设备/模块1601至1607所连接到的通信基础设施1608(例如，通信总线、交叉条(cross-over bar)或网络)。
经由通信接口1607传送的信息可以是诸如电、电磁、光信号的形式或者能够经由承载信号的通信链路由通信接口1607接收的其他信号的形式，通信链路可以使用线路或线缆、光纤、电话线、蜂窝电路链路、射频(RF)链路和/或其他通信信道来实现。表示本文的框图和/或流程图的计算机程序指令可以加载到计算机、可编程数据处理装置或处理设备上，以使得在其上执行一系列操作以产生计算机实现的过程。
在一些实施例中，用于700(图2)的处理指令可以存储为在存储器1603、存储设备1604和可移动存储设备1605上的程序指令以供处理器1601执行。
已经参考方法、装置(系统)和计算机程序产品的流程图示和/或框图描述了实施例。这种图示/图中的每个框或其组合可以通过计算机程序指令来实现。当计算机程序指令被提供给处理器时，产生一种机器，使得经由处理器执行的指令创建用于实现在流程图和/或框图中指定的功能/操作的装置。流程图/框图中的每个框可以代表硬件和/或软件模块或逻辑。在备选实现中，框中注释的功能可以不按图中注释的顺序执行、并发执行，等等。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”通常用于指代介质，诸如主存储器、辅助存储器、可移动存储驱动、安装在硬盘驱动中的硬盘以及信号。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统读取数据、指令、消息或消息包以及来自计算机可读介质的其他计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、盘驱动存储器、CD-ROM和其他永久性存储设备。这例如可用于在计算机系统之间传输信息，诸如数据和计算机指令。计算机程序指令可以存储在计算机可读介质中，其可以引导计算机、其他可编程数据处理装置或其他设备按特定方式工作，使得存储在计算机可读介质中的指令产生一种制品，其包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令。
本领域技术人员将会理解，实施例的诸方面可以具体化为系统、方法或计算机程序产品。相应地，实施例的诸方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了软件和硬件方面的实施例的形式，其中软件和硬件方面在本文中都可以统称为“电路”、“模块”或“系统”。此外，实施例的诸方面可以采取计算机程序产品的形式，其中计算机程序产品实施在其上实现有计算机可读程序代码的一个或多个计算机可读介质中。
可以使用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或设备或者前述项的任意合适组合。计算机可读存储介质的更具体示例(非穷尽列表)可以包括下列各项：具有一个或多个线路的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式紧致盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述项的任意合适组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统、装置或设备使用或与之结合的程序。
用于执行一个或多个实施例的诸方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，包括：面向对象的编程语言，诸如Java、Smalltalk、C++等等；以及传统的过程编程语言，诸如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为单独软件包执行、部分在用户的计算机上且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络连接到用户的计算机，网络包括局域网(LAN)或广域网(WAN)，或者连接可以通往外部计算机(例如，使用互联网服务提供商通过互联网)。
上面参考方法、装置(系统)和计算机程序产品的流程图示和/或框图描述了一个或多个实施例的诸方面。将会理解，流程图示和/或框图中的每个框以及流程图示和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以提供给专用计算机或其他可编程数据处理装置以产生一种机器，使得这些指令在经由计算机或其他可编程数据处理装置的处理器执行时创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令也可以存储在计算机可读介质中，其可以引导计算机、其他可编程数据处理装置或其他设备按特定方式工作，使得存储在计算机可读介质中的指令产生一种制品，其包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令。
计算机程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。就此而言，流程图或框图中的每个框可以代表模块、段或指令部分，其包括一个或多个可执行指令以实现指定的逻辑功能。在一些备选实现中，框中注释的功能可以不按附图中注释的顺序发生。例如，连续示出的两个框实际上可以基本同时执行，或者有时候有些框可以按相反顺序执行，这取决于所涉及的功能性。还将注意，框图和/或流程图示中的每个框以及框图和/或流程图示中的框的组合，可以通过基于专用硬件的系统来实现，这些系统执行指定功能或动作或者执行专用硬件和计算机指令的组合。
在权利要求书中，除非明确说明，否则对单数形式的要素的引用不是指“一个且仅一个”，而是指“一个或多个”。所有与上述示例性实施例的要素等效的结构和功能，包括本领域普通技术人员当前已知的或以后获知的，都旨在包含在本权利要求书中。本文中任何权利要求要素均不得根据35U.S.C.第112节第6款的规定进行解释，除非该要素明确地使用短语“用于…装置”或“用于…步骤”来记载。
本文使用的术语仅用于描述特定实施例，并不旨在限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”表明存在所声称的特征、整数、步骤、操作、要素和/或组件，而不排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
所附权利要求中对应的结构、材料、动作以及所有装置或步骤加功能要素的等效物旨在包括用于与如具体请求保护的其他请求保护的要素相结合地执行功能的任意结构、材料或动作。已经出于说明和描述的目的提供了对实施例的描述，但是其不旨在是穷尽的或局限于所公开形式的实施例。许多修改和变化对于本领域普通技术人员而言将很明显而不偏离本发明的范围和精神。
尽管已参照其某些版本对实施例进行了描述；然而，其他版本也是可能的。因此，所附权利要求的精神和范围不应局限于本文所包含的优选版本的描述。

Claims (15)

1.一种将混合现实MR配置的头戴式显示器HMD与单独的媒体设备相协调以实现同步用户体验的方法，所述方法包括：
建立所述HMD与所述媒体设备之间的通信信道；以及
经由所述通信信道，基于所述HMD所显示的全息用户界面即全息UI来执行所述媒体设备上的控制命令，
其中，所述全息UI包括用于控制所述媒体设备的设置或修改所述媒体设备上的设置的可选择UI要素，并且
其中，所述全息UI还包括用于虚拟标签的可选择UI要素，所述虚拟标签全息地为用户提供通过凝视所述虚拟标签直到出现计时器图标动画而在TV节目、电影和推荐媒体之间进行切换。
2.根据权利要求1所述的方法，其中：
所述媒体设备是显示设备或音频设备；并且
所述全息UI还包括用于以下至少一项的可选择UI要素：访问所述媒体设备上的应用，或访问所述媒体设备上的其他内容。
3.根据权利要求1所述的方法，还包括：
基于所述媒体设备所呈现的媒体内容并与所述媒体内容相关联地动态生成全息资产；以及
将所述媒体设备所呈现的所述媒体内容与所述全息资产在所述HMD上的显示进行同步。
4.根据权利要求3所述的方法，其中所述全息资产是从维护全息资产的全息资产商店中检索到的，并且在所述HMD查看所述媒体设备上的内容时所述全息资产被出售并加载到所述HMD。
5.根据权利要求3所述的方法，其中当所述HMD查看所述媒体设备上的内容时用于加载所述全息资产的定时由与所述全息资产相关联的第三方所提供的元数据来指定，并且所述媒体设备指示所述HMD基于由所述元数据指定的所述定时来加载所述全息资产。
6.根据权利要求3所述的方法，其中所述全息资产是交互式广告，所述交互式广告是响应于所述媒体设备的触发事件而通过所述HMD动态插入的，并且所述全息资产是从全息资产商店中检索并基于用户简档数据选择的。
7.根据权利要求6所述的方法，其中由所述媒体设备触发的全息资产被用于通过提供与所述全息资产的交互来增强电子商务购物体验，并且在经由所述HMD检测到与所述全息资产的交互时，呈现一选项来执行动作以促进与所述全息资产相关联的交易。
8.根据权利要求1所述的方法，还包括：
使用所述HMD来为参与到与所述HMD的用户进行的活跃通信会话中的其他用户提供一个或多个全息化身，其中所述用户的至少一部分位于物理远程位置并利用相应的HMD和媒体设备参与活跃会话，所述全息化身是相对于特定媒体设备在空间上定位的，并且媒体内容被同步以便在所述活跃通信会话期间由每个媒体设备呈现。
9.根据权利要求1所述的方法，还包括基于以下一项或多项的信息将所述HMD所显示的UI要素与所述媒体设备在空间上对准：所述媒体设备的位置、朝向和尺寸，其中空间对准包括：
在所述媒体设备上显示提供关于所述媒体设备的位置和朝向的信息的图像；以及
从所述媒体设备并经由所述通信信道接收所述媒体设备的尺寸信息。
10.一种装置，包括：
存储指令的存储器；以及
执行所述指令的至少一个处理器，所述指令包括被配置用于如下操作的过程：
建立混合现实MR头戴式显示器HMD与媒体设备之间的通信信道；以及
使用所述通信信道，基于所述HMD所显示的全息用户界面即全息UI来执行所述媒体设备上的控制命令，
其中，所述全息UI包括用于控制所述媒体设备的设置或修改所述媒体设备上的设置的可选择UI要素，并且
其中，所述全息UI还包括用于虚拟标签的可选择UI要素，所述虚拟标签全息地为用户提供通过凝视所述虚拟标签直到出现计时器图标动画而在TV节目、电影和推荐媒体之间进行切换。
11.根据权利要求10所述的装置，其中：
所述媒体设备是显示设备或音频设备；并且
所述全息UI还包括用于以下至少一项的可选择UI要素：访问所述媒体设备上的应用，或访问所述媒体设备上的其他内容。
12.根据权利要求10所述的装置，其中：
所述过程还被配置用于：
基于所述媒体设备所呈现的媒体内容并与所述媒体内容相关联地动态生成全息资产；以及
将所述媒体设备所呈现的所述媒体内容与所述全息资产在所述HMD上的显示进行同步；
所述全息资产是从维护全息资产的全息资产商店中检索到的；
在HMD查看所述媒体设备上的内容时，所述全息资产被出售并加载到所述HMD；
当所述HMD查看所述媒体设备上的内容时用于加载所述全息资产的定时由与所述全息资产相关联的第三方所提供的元数据来指定；并且
所述媒体设备指示所述HMD基于由所述元数据指定的所述定时来加载所述全息资产。
13.根据权利要求10所述的装置，其中：
所述过程还被配置用于使用所述HMD来为参与到与所述HMD的用户进行的活跃通信会话中的其他用户提供一个或多个全息化身；
所述用户的至少一部分位于物理远程位置并利用相应的HMD和媒体设备参与活跃会话；
所述全息化身是相对于特定媒体设备在空间上定位的；并且
媒体内容被同步以便在所述活跃通信会话期间由每个媒体设备呈现。
14.根据权利要求10所述的装置，其中：
所述过程还被配置用于：
基于以下一项或多项的信息将所述HMD所显示的UI要素与所述媒体设备在空间上对准：所述媒体设备的位置、朝向和尺寸；并且
空间对准包括：
在所述媒体设备上显示提供关于所述媒体设备的位置和朝向的信息的图像；以及
从所述媒体设备并经由所述通信信道接收所述媒体设备的尺寸信息。
15.一种存储有程序的计算机可读存储介质，所述程序在由至少一个处理器执行时，使得执行根据权利要求1-9中任一项所述的方法。
CN201880050590.5A 2017-08-01 2018-07-30 具有物理视频面板的同步全息显示和3d对象 Active CN110998505B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762539808P 2017-08-01 2017-08-01
US62/539,808 2017-08-01
US16/006,669 2018-06-12
US16/006,669 US10803832B2 (en) 2017-08-01 2018-06-12 Synchronizing holographic displays and 3D objects with physical video panels
PCT/KR2018/008610 WO2019027202A1 (en) 2017-08-01 2018-07-30 SYNCHRONIZATION OF HOLOGRAPHIC DISPLAYS AND 3D OBJECTS WITH PHYSICAL VIDEO PANELS

Publications (2)

Publication Number Publication Date
CN110998505A CN110998505A (zh) 2020-04-10
CN110998505B true CN110998505B (zh) 2024-04-12

Family

ID=65231751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050590.5A Active CN110998505B (zh) 2017-08-01 2018-07-30 具有物理视频面板的同步全息显示和3d对象

Country Status (5)

Country Link
US (1) US10803832B2 (zh)
EP (1) EP3639125A4 (zh)
KR (1) KR20200026959A (zh)
CN (1) CN110998505B (zh)
WO (1) WO2019027202A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) * 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US11212514B2 (en) * 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
WO2021029859A1 (en) * 2019-08-09 2021-02-18 Light Field Lab, Inc. Light field display system based digital signage system
US11210856B2 (en) * 2019-08-20 2021-12-28 The Calany Holding S. À R.L. System and method for interaction-level based telemetry and tracking within digital realities
WO2021045730A1 (en) * 2019-09-03 2021-03-11 Light Field Lab, Inc. Light field display for mobile devices
US11227444B2 (en) * 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
KR102343601B1 (ko) * 2020-04-28 2021-12-27 주식회사 드론오렌지 6dof 온라인 멀티 플레이어 vr 관광체험 시스템
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
US20220292543A1 (en) * 2021-03-09 2022-09-15 Alexandra Valentina Henderson Pop-up retial franchising and complex econmic system
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815980A (zh) * 2007-09-18 2010-08-25 吉斐尔研究收购有限责任公司 用于全息用户界面通信的方法和设备
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN105103082A (zh) * 2012-12-11 2015-11-25 微软技术许可有限责任公司 由人触发的全息提醒

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20100017821A1 (en) * 2008-07-21 2010-01-21 Leonov Andrei A Software based Internet/Television convergence methods and systems for organizing and displaying Internet media content on computers and Television sets
JP2012005191A (ja) 2010-06-15 2012-01-05 Denso Corp 電力変換装置
JP5391224B2 (ja) * 2011-03-28 2014-01-15 日本電信電話株式会社 映像付加情報表示制御装置およびその動作方法
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9035955B2 (en) 2012-05-16 2015-05-19 Microsoft Technology Licensing, Llc Synchronizing virtual actor's performances to a speaker's voice
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
KR102081934B1 (ko) 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR20150046832A (ko) 2013-10-23 2015-05-04 엘지전자 주식회사 Tv 및 단말기와 그 동작 방법
CN103593111A (zh) * 2013-11-14 2014-02-19 三星电子（中国）研发中心 一种移动终端屏幕共享的方法和移动终端
US20150145653A1 (en) 2013-11-25 2015-05-28 Invensense, Inc. Device control using a wearable device
KR102294945B1 (ko) * 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
US20150379770A1 (en) 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
EP3096517A1 (en) 2015-05-22 2016-11-23 TP Vision Holding B.V. Wearable smart glasses
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US9740011B2 (en) 2015-08-19 2017-08-22 Microsoft Technology Licensing, Llc Mapping input to hologram or two-dimensional display
US9952656B2 (en) * 2015-08-21 2018-04-24 Microsoft Technology Licensing, Llc Portable holographic user interface for an interactive 3D environment
US10976808B2 (en) * 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
EP3391658B1 (en) 2015-12-17 2021-08-25 InterDigital Madison Patent Holdings, SAS Personalized presentation enhancement using augmented reality
JP6126271B1 (ja) 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815980A (zh) * 2007-09-18 2010-08-25 吉斐尔研究收购有限责任公司 用于全息用户界面通信的方法和设备
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN105103082A (zh) * 2012-12-11 2015-11-25 微软技术许可有限责任公司 由人触发的全息提醒

Also Published As

Publication number Publication date
US20190043447A1 (en) 2019-02-07
EP3639125A1 (en) 2020-04-22
EP3639125A4 (en) 2020-06-24
KR20200026959A (ko) 2020-03-11
CN110998505A (zh) 2020-04-10
WO2019027202A1 (en) 2019-02-07
US10803832B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110998505B (zh) 具有物理视频面板的同步全息显示和3d对象
US11856271B2 (en) Symbiotic interactive video
US9826277B2 (en) Method and system for collaborative and scalable information presentation
US9832441B2 (en) Supplemental content on a mobile device
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20170201808A1 (en) System and method of broadcast ar layer
JP7407929B2 (ja) 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器
US8730354B2 (en) Overlay video content on a mobile device
Lelyveld Virtual reality primer with an emphasis on camera-captured VR
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20150089372A1 (en) Method of user interaction for showing and interacting with friend statsu on timeline
US11330150B2 (en) Video content synchronisation method and apparatus
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20110225515A1 (en) Sharing emotional reactions to social media
US10467809B2 (en) Methods and systems for presenting a video stream within a persistent virtual reality world
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
US11294534B2 (en) Technology adapted to provide a user interface via presentation of two-dimensional content via three-dimensional display objects rendered in a navigablé virtual space
CN114025187B (zh) 直播方法、装置以及电子设备
KR20180054377A (ko) 인터랙티브한 가상현실 시스템
CN113596553A (zh) 一种视频播放方法、装置、计算机设备和存储介质
WO2014145888A2 (en) 3d mobile and connected tv ad trafficking system
CN109754275B (zh) 数据对象信息提供方法、装置及电子设备
Bassbouss et al. Interactive 360 video and storytelling tool
JP2017157970A (ja) 動画再生装置および動画処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant