CN105050670B - 混合现实体验共享 - Google Patents

混合现实体验共享 Download PDF

Info

Publication number
CN105050670B
CN105050670B CN201480005687.6A CN201480005687A CN105050670B CN 105050670 B CN105050670 B CN 105050670B CN 201480005687 A CN201480005687 A CN 201480005687A CN 105050670 B CN105050670 B CN 105050670B
Authority
CN
China
Prior art keywords
data item
crowdsourcing
physical environment
shared
world model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480005687.6A
Other languages
English (en)
Other versions
CN105050670A (zh
Inventor
N·卡姆达
P·T·金内布鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105050670A publication Critical patent/CN105050670A/zh
Application granted granted Critical
Publication of CN105050670B publication Critical patent/CN105050670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了涉及呈现物理环境的纹理化共享世界模型的实施例。一个实施例包括接收物理环境的地理定位的众包的结构数据项。结构数据项被缝合在一起来生成3D空间共享世界模型。地理定位的众包的纹理数据项也被接收到并包括被打上时间戳的图像或视频。时间过滤参数的用户输入被用于在时间上过滤纹理数据项。在时间上过滤的纹理数据项被应用到3D空间共享世界模型的表面来生成物理环境的纹理化共享世界模型。纹理化共享世界模型接着被提供以供显示设备显示。

Description

混合现实体验共享
背景
混合现实或增强现实现显示设备，诸如头戴式显示设备)可被用在各种真实世界环境和上下文中。这样的设备可包括用于从周围环境中收集数据(诸如图像、深度信息、音频等)的各种传感器。混合现实设备的用户可通过在进行体验时收集数据来捕捉各种体验。
一人可能希望查看当前体验和/或重新体验由混合现实设备的多个用户捕捉的一个或多个体验。类似地，这种设备的一个或多个用户可能希望与第三方共享体验。不幸的是，以有利于方便地共享丰富混合现实体验的方式来组合并管理来自多个混合现实设备的数据的能力至今受到限制。
概述
本文公开了涉及呈现物理环境的纹理化共享世界模型以供显示设备显示的各种实施例。例如，一个公开的实施例提供用于经由显示设备呈现物理环境的纹理化共享世界模型的方法。该方法包括接收地理定位在物理环境处并包括深度信息的众包的结构数据项。众包的结构数据项被缝合在一起以生成物理环境的3D空间共享世界模型。
地理定位在物理环境处的众包的纹理数据项也从多个源被接收。纹理数据项中的每一个包括被打上时间戳的图像或被打上时间戳的视频。时间过滤参数的用户输入被接收并被用于过滤众包的纹理数据项以生成纹理数据项的在时间上过滤了的子组。众包的纹理数据项的在时间上过滤了的子组被应用到物理环境的3D空间共享世界模型的表面来生成物理环境的纹理化共享世界模型。物理环境的纹理化共享世界模型接着被提供到显示程序以供显示设备显示。
提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是根据本公开的一实施例的混合现实体验共享系统的示意图。
图2示出根据本公开的一实施例的示例头戴式显示设备。
图3是呈现在图形用户界面中的时间过滤选择器的示意图。
图4A是其中佩戴头戴式显示设备的用户所处于的宾馆大堂和酒吧的示意图。
图4B是图4A的宾馆大堂和酒吧在较早的日期和时间时的示意图。
图5A和5B是用于根据本发明的一实施例来呈现物理环境的纹理化共享世界模型的方法的流程图。
图6是计算系统的一实施例的简化示意图解。
具体实施方式
图1显示了混合现实体验共享系统10的一个实施例的示意图。混合现实体验共享系统10包括可被存储在计算设备22的大容量存储18中的混合现实体验共享程序14。混合现实体验共享程序14可被加载到存储器24中并由计算设备22的处理器26执行以执行下文更为详细地描述的方法和过程中的一个或多个。
计算设备22可采用以下形式：网络计算机、家庭娱乐计算机、台式计算设备、诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图6更详细地描述。
如以下更加详细解释的，混合现实体验共享程序14可从多个源接收包括地理定位的结构数据项28和地理定位的纹理数据项30的众包数据。如图1中显示的，在一个示例中，这样的众包数据可涉及物理环境32以及该环境的被数据捕捉设备捕捉的各方面。地理定位的结构数据项28可包括但不限于，与物理环境32中的结构、对象和对应的表面有关的深度信息。地理定位的纹理数据项30可包括但不限于，光、静止和视频图像以及可被应用到在地理定位的结构数据项28中所表示的表面的其他数据项。地理定位的纹理数据项30还可包括与物理环境32有关的其他数据项，诸如从物理环境中记录的音频以及在物理环境中地理定位的全息图和其他虚拟图像。
众包的地理定位的结构数据项28和地理定位的纹理数据项30可被多个捕捉设备捕捉并可经由一个或多个网络连接(未显示)从这样的设备中接收。捕捉设备中的一个或多个可采取将图像递送到用户54的眼睛的头戴式显示(HMD)设备34的形式。在这个示例中，HMD设备34包括显示程序38被存储在其上的计算设备36。显示程序38可生成虚拟环境以供经由显示系统40显示来创建混合现实环境。虚拟环境可包括一个或多个虚拟图像，诸如二维(2D)虚拟对象和三维(3D)全息对象。关于计算设备36的组件和计算方面的附加细节在下文中参考图6更详细地描述。
现在还参考图2，提供了一副具有透明显示器202的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备34可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的捕捉设备。这样的捕捉设备可包括但不限于，数码相机、数码摄像机、深度相机、智能电话、平板计算机和其他合适的捕捉设备以及上述捕捉设备的组合。
参考图1和2，在这一示例中，HMD设备34包括显示系统40和使图像能够被递送到用户的眼睛的透明显示器202。透明显示器202可被配置成针对透过该透明显示器查看物理环境32的用户54视觉地增强该物理环境32的外观。例如，物理环境32的外观可以由经由透明显示器202呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。
透明显示器202还可被配置成使用户54能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境32中的物理现实世界对象。在一个示例中，透明显示器202可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器202可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户54的眼睛。这样的光导可以使用户54能够感觉3D全息图像位于用户正在查看的物理环境32内，同时还允许用户查看物理环境中的物理对象。
如以上提到的，HMD设备34还包括用于捕捉来自物理环境32的数据的各种传感器、组件和相关系统。例如，HMD设备34包括利用至少一个面向外的传感器212(如光学传感器)的光学传感器系统42。面向外的传感器212可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。面向外的传感器212还可从物理环境32和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。如在以下更加详细讨论的，这样的图像信息可以以地理定位的纹理数据项30’的形式被递送到混合现实体验共享程序14。这样的深度信息还可以以地理定位的结构数据项28’的形式被递送到混合现实体验共享程序14。
HMD设备34包括用于感测和生成深度信息的一个或多个深度相机。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生具有深度分辨的视频形式的深度信息。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
HMD设备34还可包括位置传感器系统44，该位置传感器系统44利用一个或多个运动传感器224来实现对HMD设备的位置跟踪和/或取向感测。例如，位置传感器系统44可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统44可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备34在三维空间内沿三个正交轴(例如，x、y、z)的位置变化以及该HMD设备绕三个正交轴(例如，翻滚、俯仰、偏航)的取向变化的三个加速度计和三个陀螺仪。
位置传感器系统44还可以支持其他合适的定位技术，如GPS或其他全球导航系统。而且，尽管描述了位置传感器系统的具体示例，但将明白，可以使用其他合适的位置传感器系统。
在一些示例中，运动传感器224还可以被用作用户输入设备，使得用户54可以经由颈部和头部或者甚至身体的姿势来与HMD设备34交互。HMD设备34还可包括包含用于捕捉来自周围环境的音频的一个或多个话筒220的话筒系统46。在其他示例中，音频可经由HMD设备34上的一个或多个扬声器228被呈现给用户。
HMD设备34还可包括具有与HMD设备的各传感器和系统通信的逻辑子系统和存储子系统的处理器230，如在下文参考图6更详细地讨论的。在一个示例中，存储子系统可包括可由逻辑子系统执行的指令，用以接收来自传感器的信号输入并将此类输入转发到计算设备36(以未经处理或经处理的形式)并且经由透明显示器202向用户呈现图像。
如以上提到的，HMD设备34捕捉的图像信息和深度信息可以以地理定位的结构数据项28’和地理定位的纹理数据项30’的形式被提供给混合现实体验共享程序14。在一个示例中并如在以下更加详细解释的，混合现实体验共享程序14将这样的输入与有关物理环境32的并从其他源(诸如图1中显示的第二源48)接收到的其他输入缝合在一起。可以理解，第二源48可包括具有本文中所描述的HMD设备34形式的HMD设备、任意其他形式的HMD设备或任意其他合适的捕捉设备。
还可以理解，以上在图1和2中描述并示出的HMD设备34和相关的传感器以及其他组件是作为示例提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，HMD设备34可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，HMD设备34的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
再次参考图1，第二源48还可向混合现实体验共享程序14提供与物理环境32有关的地理定位的结构数据项28”和地理定位的纹理数据项30”。可以理解，这样的地理定位的结构数据项28”和地理定位的纹理数据项30”反映由第二源48从相对于物理环境32而言可以大致是相同位置的一位置或从相对于物理环境而言与HMD设备34的位置不同的位置中接收到的数据。如在以下更加详细解释的，地理定位的结构数据项28”和地理定位的纹理数据项30”还可反映由第二源48在与地理定位的结构数据项28’和地理定位的纹理数据项30’被HMD设备34捕捉的时间相同或不同的时间处捕捉的数据。还可以理解，在其他示例中，附加的源可向混合现实体验共享程序14提供与物理环境32有关的附加的地理定位的结构数据项和/或地理定位的纹理数据项。
混合现实体验共享程序14可将从多个源接收到的众包的地理定位的结构数据项(在28指示的并包括深度信息52)缝合在一起来生成物理环境32的3D空间共享世界模型55。通过这种方式，混合现实体验共享程序14可利用来自多个源的可在一些示例中反映相同物理环境32的不同视点的地理定位的结构数据项来生成3D空间共享世界模型55。混合现实体验共享程序14接着向3D空间共享世界模型55的表面应用众包的地理定位的纹理数据项30来创建物理环境32的纹理化共享世界模型66。
混合现实体验共享程序14可包括用于经由显示设备(诸如显示设备70)来生成图像的显示程序68。混合现实体验共享程序14可利用显示程序68来经由网络50向显示设备70提供物理环境32的纹理化共享世界模型66以供呈现给显示设备的用户72。
在一个示例中，显示设备70可以是经由显示程序来显示二维(2D)和/或三维(3D)图像的监视器。这样的监视器可采取电视机、台式显示器、手持式显示器或其他便携式显示器的形式。在其他示例中，显示设备70可采取用户72佩戴的HMD设备的形式。可以理解，任意合适的显示设备可被用于显示设备70并在本发明的范围内。还可以理解，网络50可采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或其组合的形式，并且可包括因特网。
如以上提到的，在一些示例中，地理定位的结构数据项28”和地理定位的纹理数据项30”可由第二源48在与地理定位的结构数据项28’和地理定位的纹理数据项30’被HMD设备34捕捉的时间不同的时间处捕捉。为了使得混合现实体验共享程序14能够在时间上组织它接收的数据项，HMD设备34和第二源48可对它们捕捉的地理定位的结构数据项和地理定位的纹理数据项打上时间戳以反映这样的项被捕捉的日期和时间。如图1中显示的，在一个示例中，众包的地理定位的纹理数据项28包括被打上时间戳的图像58和被打上时间戳的视频60。
混合现实体验共享程序14可包括主时钟62，该主时钟62可在时间上同步该程序所接收到的被打上时间戳的地理定位的结构数据项28和被打上时间戳的地理定位的纹理数据项30。在其他示例中，主时钟62还可对该程序所接收到的不具有时间戳的地理定位的结构数据项28和地理定位的纹理数据项30打上时间戳。
有利地并且如以下更加详细解释的，通过这种方式，混合现实体验共享程序14可创建对应于具体时刻或时间段的物理环境的纹理化共享世界模型66。这样的时刻或时间段可近似于实况或实时，或可被提早到较早的日期和时间。例如，在一些示例中，混合现实体验共享程序14可通过从显示设备70的用户72接收到的时间过滤参数来过滤众包的地理定位的纹理数据项30。
现在还参考图3，在一个示例中，时间过滤选择器74可经由被显示设备70显示的图形用户界面300来呈现给用户72。在这个示例中，时间过滤选择器74包括日期滑块304和时间滑块308。通过使用日期滑块304和时间滑块308，用户72可选择时间过滤参数76，该时间过滤参数76表示用户想要体验物理环境的纹理化共享世界模型的当前或先前的日期和时间。可以理解，时间过滤选择器74可用各种其他方式并使用各种其他输入界面(诸如语音识别或其他自然用户界面)来呈现和/或实现。
显示设备70可经由网络50向混合现实体验共享程序14提供包括用户72所选择的时间过滤参数76的用户输入78。混合现实体验共享程序14可接着根据该时间过滤参数76来过滤地理定位的众包的纹理数据项30以生成众包的地理定位的纹理数据项的在时间上过滤了的子组64。在一些示例中，混合现实体验共享程序14还可根据时间过滤参数76来过滤地理定位的众包的结构数据项28以生成众包的地理定位的结构数据项的在时间上过滤了的子组80。
现在参考图1、4A、4B和5，现在将描述本发明的混合现实体验共享系统10的示例使用情况。在一个示例中并参考图1和4A，显示设备70的用户72可正在考虑到访位于加州Anytown(任意镇)、Main大街1000号的宾馆A中的宾馆酒吧402。用户72可能想要虚拟地到访酒吧402以查看酒吧内当前活动水平。因此，用户72可向显示设备70输入显示酒吧402的当前纹理化共享世界模型的请求。
用户72可使用任意合适的输入设备或方式来输入这个请求，诸如经由语音识别向显示设备70提供宾馆酒吧402的名称和地址。附加地，为了具体说明用户想要查看酒吧402中的当前活动，用户可使用时间过滤选择器74和日期滑块304来针对被提供给混合现实体验共享程序14的时间过滤参数指定“当前”。
参考图4A，当前顾客Alex 406正坐在宾馆酒吧402中并享受酒吧歌手410的表演。顾客Alex 406正佩戴着HMD设备34，该HMD设备34已经捕捉了来自宾馆酒吧402和相邻的宾馆大堂414的包括深度信息在内的结构数据项和纹理数据项，这是因为顾客Alex在1小时之前就到了。顾客Bruce 418当前正坐在宾馆大堂414中。顾客Bruce 418也正佩戴者HMD设备422，该HMD设备422已经捕捉了来自宾馆大堂414和酒吧402的包括深度信息在内的结构数据项和纹理数据项。顾客Bruce 418也能从他在大堂414中的位置看到酒吧歌手410。
混合现实体验共享程序14将之前已经接收到的与酒吧402有关的地理定位的结构数据项与当前从顾客Alex的HMD设备34和顾客Bruce的HMD设备422接收到的与酒吧402有关的地理定位的结构数据项缝合在一起。通过使用来自结构数据项的位置、深度、头部姿态和其他信息，混合现实体验共享程序14生成酒吧402的3D空间共享世界模型，其是来自Alex的HMD设备34和Bruce的HMD设备422的地理定位的结构数据项的合成。
还可以理解，混合现实体验共享程序14可之前已经从顾客Alex 406、顾客Bruce418和/或具有捕捉设备的到访酒吧的其他人的之前到访中接收了与酒吧402有关的附加的地理定位的结构数据项。这种之前接收到的地理定位的被打上时间戳的结构数据项可被存储在存储器24中，并还可被混合现实体验共享程序14用来生成酒吧402的更加全面和/或更高保真度的3D空间共享世界模型。
混合现实体验共享程序14还接收来自顾客Alex的HMD设备34和顾客Bruce的HMD设备422的与酒吧402有关的地理定位的纹理数据项。地理定位的纹理数据项的一个示例包括对地理定位的结构数据项中的一个或多个照明的光的图像。例如，这种光的图像可包括对酒吧歌手410在其上表演的舞台424或酒吧402的地板430照明的光。地理定位的纹理数据项的另一示例包括酒吧402中一对象的图像。例如，这种对象的图像可包括悬挂在酒吧402的墙壁438上的绘画434的图像。地理定位的纹理数据项的另一示例包括酒吧402中一对象的视频。例如，这样的示例可包括酒吧歌手410表演的视频。地理定位的被打上时间戳的纹理数据项的另一示例包括酒吧402的音频。例如，酒吧的音频可包括酒吧歌手410演唱的音频。可以理解，还可接收到地理定位的纹理数据项的许多其他示例。
附加地，混合现实体验共享程序14可之前已经从顾客Alex 406、顾客Bruce418和/或具有捕捉设备的到访酒吧的其他人的之前到访中接收了与酒吧402有关的附加的地理定位的纹理数据项。这种之前接收到的地理定位的纹理数据项还可被存储在存储器24中。
在当前示例中，混合现实体验共享程序14使用“当前”时间过滤参数来过滤与酒吧402有关的地理定位的众包的被打上时戳的纹理数据项，从而生成纹理数据项的对应于当前时刻的“当前”子组。混合现实体验共享程序14接着将纹理数据项的“当前”子组应用到酒吧402的3D空间共享世界模型的表面来生成酒吧的纹理化共享世界模型。例如，来自照明舞台424的表面的聚光灯442的光的图像可被应用到3D空间共享世界模型中的舞台表面。在另一示例中，酒吧歌手410的视频可被应用来在舞台424的表面上定位酒吧歌手。可以理解，纹理化共享世界模型可包括酒吧402的单个图像、一系列图像和/或视频。
在另一示例中，用户72可选择对应于在宾馆酒吧402处较早日期和时间的先前时间过滤参数。现在参考图4B，这幅图示出了在较早时间时(诸如2010年3月4日下午7:00)的宾馆酒吧402’和宾馆大堂414’。在这个示例中，地理定位的众包的纹理数据项被过滤来生成包括具有2010年3月4日下午7:00的时间戳的图像和视频的子组。
如图4B中显示的，在这个日期和时间，顾客Bruce 418坐在宾馆酒吧402’中并观看被地理定位在舞台424上的全息巫师450。聚光灯442被关闭并且椅子454相比于图4A中显示的其在当前时间的位置而言处于不同的位置。因此，在这个示例中，向用户72呈现的酒吧402’的纹理化共享世界模型包括被顾客Bruce 418的HMD设备422在2010年3月4日下午7:00捕捉的地理定位的众包的纹理数据项。
在这个示例中，地理定位的众包的结构数据项也在时间上被过滤来生成包括具有2010年3月4日下午7:00的时间戳的结构数据项的子组。
替换地表示的，该子组包括酒吧402’的如它们在2010年3月4日下午7:00时存在的那样的结构和表面。因此，向用户72呈现的酒吧402’的纹理化共享世界模型可包括被顾客Bruce 418的HMD设备422在2010年3月4日下午7:00捕捉的地理定位的众包的结构数据项。附加地，在一些示例中，被顾客Bruce 418的HMD设备422在2010年3月4日下午7:00之前捕捉的以及被其他捕捉设备在2010年3月4日下午7:00之前捕捉的酒吧422’的地理定位的众包的结构数据项也可被缝合在一起并被用于生成酒吧402’的纹理化共享世界模型。
在另一示例中，混合现实体验共享程序14还被配置成根据一个或多个优先级因素82来排定多个地理定位的众包的纹理数据项30的优先级。优先级因素82可包括，但不限于，众包的纹理数据项30的保真度、众包的纹理数据项的年龄、源的可信度以及众包的纹理数据项的源的社交邻近度。
例如，用户72可接收两个或更多个各自包括酒吧歌手410的视频的地理定位的众包的纹理数据项30。可为纹理数据项30中的每一个确定视频图像质量参数，诸如高宽比、几何失真和曝光准确度。纹理数据项30可接着从最高到最低图像质量来排定优先级。在一个示例中，可使用预先确定的图像质量阈值，其中只有那些包括具有大于该预先确定的图像质量的图像质量的视频的地理定位的众包的纹理数据项30才被混合现实体验共享系统10用在纹理化共享世界模型66中。可以理解，保真度优先级因素也可被其他类型的地理定位的众包的纹理数据项使用，包括但不限于静止图像、音频、全息图等。
在另一示例中，用户72可接收两个或更多个各自包括在不同时间捕捉的酒吧歌手410的视频的地理定位的众包的纹理数据项30。纹理数据项30可接着根据捕捉日期的年龄从最近到最旧来排定优先级。在一个示例中，可使用预先确定的年龄阈值，其中只有那些包括具有在该预先确定的年龄阈值或之后的捕捉日期的视频的地理定位的众包的纹理数据项30才被混合现实体验共享系统10用在纹理化共享世界模型66中。可以理解，年龄优先级因素也可被其他类型的地理定位的众包的纹理数据项30使用，包括但不限于静止图像、音频、全息图等。
在另一示例中，用户72可接收两个或更多个各自包括从不同源接收到的全息图的地理定位的众包的纹理数据项30。纹理数据项30接着可根据每个全息图从其中接收的源的可信度来排定优先级。在一个示例中，可使用预先确定的可信度阈值，其中只有那些从超过预先确定的可信度阈值的源中接收到的全息图才被混合现实体验共享系统10用在纹理化共享世界模型66中。源的可信度可基于例如该源是否被一个或多个证明机构证实或基于一个或多个其他合适的因素。可以理解，可信度优先级因素也可被其他类型的地理定位的众包的纹理数据项30使用，包括但不限于视频、静止图像、音频等。
在另一示例中，用户72可接收两个或更多个各自包括从不同源接收到的音频的地理定位的众包的纹理数据项30。纹理数据项30接着可根据每个音频文件从其中接收的源到用户72的社交邻近度来排定优先级。在一个示例中，可使用预先确定的社交邻近度阈值，其中只有那些从超过预先确定的社交邻近度阈值的源中接收到的音频文件才被混合现实体验共享系统10用在纹理化共享世界模型66中。源的社交邻近度可基于例如该源是否存在于用户72的一个或多个社交图上。可以理解，社交邻近度优先级因素也可被其他类型的地理定位的众包的纹理数据项30使用，包括但不限于视频、静止图像、全息图等。
在另一示例中，混合现实体验共享程序14还被配置成根据一个或多个优先级因素82来排定多个地理定位的众包的结构数据项28的优先级。优先级因素可包括但不限于，众包的结构数据项28的保真度、众包的结构数据项的年龄、源的可信度以及众包的结构数据项的源的社交邻近度。参考以上给出的用于排定两个或更多个地理定位的众包的纹理数据项30的示例，也可应用类似的用于排定两个或更多个地理定位的众包的结构数据项28的示例。
如以上提到的，在一些示例中，多个众包的纹理数据项30可包括一个或多个全息图以及描述全息图的元数据。混合现实体验共享程序14还可被配置成在物理环境的纹理化共享世界模型66内定位全息图。再次参考图4B，在一个示例中，全息巫师450被地理定位在舞台424上。描述该全息巫师450的元数据还可向混合现实体验共享程序14告知该巫师的源、创建的日期和/或其他描述性信息。
图5A和5B示出了用于根据本发明的一实施例来呈现混合现实环境的方法500的流程图。参考以上描述并在图1-4中示出的混合现实体验共享系统10的软件和硬件组件来提供方法500的以下描述。可以理解，方法500还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图5A，在504，方法500包括接收多个地理定位在物理环境处并包括深度信息的众包的结构数据项。在508，方法500包括根据一个或多个优先级因素来对该多个众包的结构数据项排定优先级。在512，可从众包的结构数据项的保真度、众包的结构数据项的年龄、源的可信度以及众包的结构数据项的源的社交邻近度中选择优先级因素。
在516，方法500包括接收来自多个源的地理定位在物理环境处的多个众包的纹理数据项，每个纹理数据项包括被打上时间戳的图像或视频。在520，方法500包括从至少显示设备的用户和第三方源接收该多个众包的纹理数据项。在524，可从照明众包的结构数据项中的一个或多个的光、物理环境中一对象的图像、物理环境中一对象的视频以及物理环境的音频中来选择多个众包的纹理数据项中的每一个。
在528，方法500包括根据一个或多个优先级因素来对该多个众包的纹理数据项排定优先级。在532，可从保真度、年龄、源的可信度以及众包的纹理数据项的源的社交邻近度中来选择优先级因素。现在参考图5B，在536，方法500包括接收时间过滤参数的用户输入。在540，时间过滤参数对应于早于当前时间的先前时间。在544，方法500包括根据时间过滤参数来过滤多个众包的纹理数据项以生成众包的纹理数据项的在时间上过滤了的子组。
在548，方法包括将多个众包的结构数据项缝合在一起以生成物理环境的3D空间共享世界模型。在552，方法500还可包括根据时间过滤参数来过滤多个众包的结构数据项以生成众包的结构数据项的在时间上过滤了的子组。在这个示例中，在556，方法500包括将众包的结构数据项的在时间上过滤了的子组缝合在一起以生成物理环境的3D空间共享世界模型。
在560，方法500包括将众包的纹理数据项的在时间上过滤了的子组应用到物理环境的3D空间共享世界模型的表面来生成物理环境的纹理化共享世界模型。在564，在多个众包的纹理化数据项包括至少一个全息图和描述该全息图的元数据的情况下，方法500包括在物理环境的纹理化共享世界模型内定位该全息图。在568，方法500包括向显示程序提供物理环境的纹理化共享世界模型以供显示设备显示。
能够理解，方法500是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法500可包括相比于图5A和5B中示出的那些步骤而言附加的和/或替换的步骤。并且，可以理解，方法500可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法500中省略，而不背离本发明的范围。
有利地，以上描述的混合现实体验共享系统10和相关方法500的实施例可提供用于共享被混合现实设备的多个用户捕捉的体验的便利的平台。来自多个用户的数据可基于时间和优先级因素被选择性地组合和/或过滤。反映来自先前时间的物理环境的体验的纹理化共享世界模型也可被创建和提供。
图6示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统600的非限制性实施例。计算设备22和36可以采取计算系统600的形式。以简化形式示出了计算系统600。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统600可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
如图6所示，计算系统600包括逻辑子系统604和存储子系统608。计算系统600可以任选地包括显示子系统612、通信子系统616、传感器子系统620、输入子系统622和/或图6中未示出的其他子系统和组件。计算系统600还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统600还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统604可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统604可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统604可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统608可包括被配置为保持可由逻辑子系统604执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统608的状态可以被变换(例如，以保持不同的数据)。
存储子系统608可以包括可移动介质和/或内置设备。存储子系统608可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统608可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统604和存储子系统608的各方面可以集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图6还示出以可移动计算机可读存储介质624形式的存储子系统608的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质624尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
将明白，存储子系统608包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
在被包括时，显示子系统612可用于呈现由存储子系统608保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统608保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统612的状态以在视觉上表示底层数据的改变。显示子系统612可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统604和/或存储子系统608组合在共享封装中，或此类显示设备可以是外围显示设备。显示子系统612可包括例如HMD设备34的显示系统40。
在被包括时，通信子系统616可以被配置成将计算系统600与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统616可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统616可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统600经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
传感器子系统620可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、取向、位置等)的一个或多个传感器，如上所述。传感器子系统620例如可以被配置为向逻辑子系统604提供传感器数据。此类数据可包括例如图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息，用户位置信息、眼睛跟踪信息和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
在被包括时，输入子系统622可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统622可以包括所选的自然用户输入(NUI)部件或与其结合。这样的部件可以是集成式的或者是外设，并且输入动作的转换和/或处理可以在板上或板下处理。NUI部件的示例可包括用于语言和/或语音识别的微电话；用于机器版本和/或姿势识别的红外、色彩、超声波和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“程序”可用于描述被实现来执行一个或多个特定功能的混合现实体验共享系统10的一个方面。在某些情况下，可以经由执行存储子系统608所保持的指令的逻辑子系统604来实例化这样的程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。类似地，相同的模块可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作，和/或特性，以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (9)

1.一种用于呈现物理环境的纹理化共享世界模型的混合现实体验共享系统，所述纹理化共享世界模型包括地理定位在所述物理环境处的多个众包的结构数据项,以及地理定位在所述物理环境处的多个众包的纹理数据项，所述混合现实体验共享系统包括：
由计算设备的处理器执行的混合现实体验共享程序，所述混合现实体验共享程序被配置以：
接收包括深度信息的所述多个众包的结构数据项；
将所述多个众包的结构数据项缝合在一起以生成所述物理环境的3D空间共享世界模型；
从多个源接收所述多个众包的纹理数据项，所述纹理数据项中的每一个包括被打上时间戳的图像或视频,其中所述多个众包的纹理化数据项包括至少一个全息图和描述所述全息图的元数据；
接收时间过滤参数的用户输入；
根据所述时间过滤参数来过滤所述多个众包的纹理数据项以生成所述众包的纹理数据项的在时间上过滤了的子组；
将所述众包的纹理数据项的在时间上过滤了的子组应用到所述物理环境的3D空间共享世界模型的表面来生成所述物理环境的纹理化共享世界模型；
将所述物理环境的纹理化共享世界模型提供到显示程序以供显示设备显示；以及
在所述物理环境的纹理化共享世界模型内定位所述全息图。
2.如权利要求1所述的混合现实体验共享系统，其特征在于，
所述时间过滤参数对应于早于当前时间的先前时间。
3.如权利要求2所述的混合现实体验共享系统，其特征在于，所述混合现实体验共享程序还被配置成：
根据所述时间过滤参数来过滤所述多个众包的结构数据项以生成所述众包的结构数据项的在时间上过滤了的子组；以及
将所述众包的结构数据项的在时间上过滤了的子组缝合在一起以生成所述物理环境的3D空间共享世界模型。
4.如权利要求1所述的混合现实体验共享系统，其特征在于，所述混合现实体验共享程序还被配置成根据一个或多个优先级因素来对所述多个众包的纹理数据项排定优先级。
5.如权利要求4所述的混合现实体验共享系统，其特征在于，所述优先级因素是从包括以下的组中选择的：保真度、年龄、源的可信度、以及所述众包的纹理数据项的源的社交邻近度。
6.一种用于经由显示设备来呈现物理环境的纹理化共享世界模型的方法，所述方法包括：
接收地理定位在所述物理环境处并包括深度信息的多个众包的结构数据项；
将所述多个众包的结构数据项缝合在一起以生成所述物理环境的3D空间共享世界模型；
从多个源接收地理定位在所述物理环境处的多个众包的纹理数据项，所述纹理数据项中的每一个包括被打上时间戳的图像或视频，其中所述多个众包的纹理化数据项包括至少一个全息图和描述所述全息图的元数据；
接收时间过滤参数的用户输入；
根据所述时间过滤参数来过滤所述多个众包的纹理数据项以生成所述众包的纹理数据项的在时间上过滤了的子组；
将所述众包的纹理数据项的在时间上过滤了的子组应用到所述物理环境的3D空间共享世界模型的表面来生成所述物理环境的纹理化共享世界模型；
将所述物理环境的纹理化共享世界模型提供到显示程序以供显示设备显示；以及
在所述物理环境的纹理化共享世界模型内定位所述全息图。
7.如权利要求6所述的方法，其特征在于，进一步包括从至少所述显示设备的用户和第三方源接收所述多个众包的纹理数据项。
8.如权利要求6所述的方法，其特征在于，所述多个众包的纹理数据项中的每一个是从包括以下的组中选择的：照明所述众包的结构数据项中的一个或多个的光、所述物理环境中一对象的图像、所述物理环境中一对象的视频，以及所述物理环境的音频。
9.如权利要求6所述的方法，其特征在于，进一步包括根据以下中的一个或多个来对所述多个众包的结构数据项排定优先级：保真度、年龄、源的可信度，以及所述众包的结构数据项的源的社交邻近度。
CN201480005687.6A 2013-01-22 2014-01-15 混合现实体验共享 Active CN105050670B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/747,328 2013-01-22
US13/747,328 US9342929B2 (en) 2013-01-22 2013-01-22 Mixed reality experience sharing
PCT/US2014/011561 WO2014116467A1 (en) 2013-01-22 2014-01-15 Mixed reality experience sharing

Publications (2)

Publication Number Publication Date
CN105050670A CN105050670A (zh) 2015-11-11
CN105050670B true CN105050670B (zh) 2018-05-04

Family

ID=50097831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005687.6A Active CN105050670B (zh) 2013-01-22 2014-01-15 混合现实体验共享

Country Status (6)

Country Link
US (1) US9342929B2 (zh)
EP (1) EP2948227B1 (zh)
JP (1) JP2016510465A (zh)
KR (1) KR102115634B1 (zh)
CN (1) CN105050670B (zh)
WO (1) WO2014116467A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US20160119391A1 (en) * 2013-09-09 2016-04-28 Richard Anthony Hunter Dream sharing, visualization, and realization platform
US9578399B2 (en) 2014-08-25 2017-02-21 Daqri, Llc Remote sensor access and queuing
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
JP6638325B2 (ja) * 2015-10-30 2020-01-29 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US20160188585A1 (en) * 2014-12-27 2016-06-30 Lenitra Durham Technologies for shared augmented reality presentations
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US9811734B2 (en) 2015-05-11 2017-11-07 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
US10721280B1 (en) * 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US20170053445A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Augmented Reality
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US20170228916A1 (en) * 2016-01-18 2017-08-10 Paperclip Productions, Inc. System and method for an enhanced, multiplayer mixed reality experience
KR102362001B1 (ko) * 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US20180082476A1 (en) * 2016-09-22 2018-03-22 International Business Machines Corporation Collaborative search for out of field of view augmented reality objects
CN106897157A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种基于混合现实共享内容的方法
US11176743B2 (en) 2017-02-28 2021-11-16 Signify Holding B.V. Portable device for rendering a virtual object and a method thereof
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
JP6275310B1 (ja) * 2017-05-26 2018-02-07 株式会社テクテック 拡張現実表示システム、プログラム及び方法
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
CN108537878B (zh) 2018-03-26 2020-04-21 Oppo广东移动通信有限公司 环境模型生成方法、装置、存储介质及电子设备
US10455351B1 (en) * 2018-05-04 2019-10-22 Microsoft Technology Licensing, Llc Sharing geo-located information
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10964111B2 (en) 2018-07-27 2021-03-30 Microsoft Technology Licensing, Llc Controlling content included in a spatial mapping
US10984586B2 (en) * 2018-07-27 2021-04-20 Microsoft Technology Licensing, Llc Spatial mapping fusion from diverse sensing sources
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US10739726B2 (en) * 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
US11808941B2 (en) * 2018-11-30 2023-11-07 Google Llc Augmented image generation using virtual content from wearable heads up display
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
US11097194B2 (en) 2019-05-16 2021-08-24 Microsoft Technology Licensing, Llc Shared augmented reality game within a shared coordinate space
US11537351B2 (en) 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11660528B2 (en) * 2020-03-12 2023-05-30 Reavire, Inc. Populating virtual objects in physical environments
US11521359B2 (en) * 2020-04-17 2022-12-06 Apple Inc. Extended reality recorder
WO2022159803A1 (en) 2021-01-22 2022-07-28 Dtis, Llc Visual data management system and method
US11893675B1 (en) 2021-02-18 2024-02-06 Splunk Inc. Processing updated sensor data for remote collaboration
WO2022178239A1 (en) * 2021-02-18 2022-08-25 Splunk Inc. Mesh retexturing in an extended reality environment
US11915377B1 (en) 2021-02-18 2024-02-27 Splunk Inc. Collaboration spaces in networked remote collaboration sessions
WO2022235511A1 (en) * 2021-05-05 2022-11-10 Dathomir Laboratories Llc Environment sharing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
WO2011067713A3 (en) * 2009-12-01 2011-11-24 Rafael Advanced Defense Systems Ltd. Method and system of generating a three-dimensional view of a real scene for military planning and operations
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
CA2821066A1 (en) * 2010-12-13 2012-06-21 Bayer Intellectual Property Gmbh Position detection
CN102784479A (zh) * 2011-05-20 2012-11-21 德信互动科技（北京）有限公司 全息投影体感互动系统和方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN102883171A (zh) * 2011-07-13 2013-01-16 三星电子株式会社 3d图像处理设备以及3d图像处理设备的实现方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US8204299B2 (en) 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8788496B2 (en) 2009-09-30 2014-07-22 Trimble Navigation Limited Visual organization of information via associated geospatial data
US8290926B2 (en) * 2010-01-21 2012-10-16 Microsoft Corporation Scalable topical aggregation of data feeds
EP2463645A1 (en) 2010-12-08 2012-06-13 Roche Diagnostics GmbH Consumable for measuring an analyte concentration of a body fluid sample, reader for reading an optical data storage of such a consumable and measuring system
KR20120122893A (ko) * 2011-04-30 2012-11-07 삼성전자주식회사 크라우드-소싱을 위한 컴퓨터 실행 방법, 시스템 및 장치
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
WO2011067713A3 (en) * 2009-12-01 2011-11-24 Rafael Advanced Defense Systems Ltd. Method and system of generating a three-dimensional view of a real scene for military planning and operations
CN102395036A (zh) * 2010-06-30 2012-03-28 株式会社泛泰 用于提供3d增强现实图像的设备和方法
CA2821066A1 (en) * 2010-12-13 2012-06-21 Bayer Intellectual Property Gmbh Position detection
CN102784479A (zh) * 2011-05-20 2012-11-21 德信互动科技（北京）有限公司 全息投影体感互动系统和方法
CN102883171A (zh) * 2011-07-13 2013-01-16 三星电子株式会社 3d图像处理设备以及3d图像处理设备的实现方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端

Also Published As

Publication number Publication date
US20140204077A1 (en) 2014-07-24
JP2016510465A (ja) 2016-04-07
KR102115634B1 (ko) 2020-05-26
WO2014116467A1 (en) 2014-07-31
EP2948227B1 (en) 2018-08-08
US9342929B2 (en) 2016-05-17
CN105050670A (zh) 2015-11-11
EP2948227A1 (en) 2015-12-02
KR20150110726A (ko) 2015-10-02

Similar Documents

Publication Publication Date Title
CN105050670B (zh) 混合现实体验共享
US10083540B2 (en) Virtual light in augmented reality
US9429912B2 (en) Mixed reality holographic object development
CN105051648B (zh) 混合现实过滤
CN105144022B (zh) 头戴式显示器资源管理
CN105518574B (zh) 用于混合现实分级信息递送的方法和系统
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
CN105190485B (zh) 混合现实交互
EP2887322B1 (en) Mixed reality holographic object development
CN103761085B (zh) 混合现实全息对象开发
US9030495B2 (en) Augmented reality help
CN105359082B (zh) 用于用户接口导航的系统和方法
US10169915B2 (en) Saving augmented realities
CN103793473A (zh) 保存增强现实
US20200074725A1 (en) Systems and method for realistic augmented reality (ar) lighting effects
JP4379594B2 (ja) 追体験空間生成装置
EP2887231A1 (en) Saving augmented realities
Poelman A mediated reality suite for spatial interaction Symbiosis of physical and virtual environments for forensic analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant