CN117678020A - 重新体验所记录瞬间 - Google Patents
重新体验所记录瞬间 Download PDFInfo
- Publication number
- CN117678020A CN117678020A CN202280049729.0A CN202280049729A CN117678020A CN 117678020 A CN117678020 A CN 117678020A CN 202280049729 A CN202280049729 A CN 202280049729A CN 117678020 A CN117678020 A CN 117678020A
- Authority
- CN
- China
- Prior art keywords
- data
- moment
- user
- recorded
- instant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000021317 sensory perception Effects 0.000 claims abstract description 40
- 238000005516 engineering process Methods 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 19
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000001339 gustatory effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 235000019615 sensations Nutrition 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
公开了用于在瞬间正在发生时记录这些瞬间并利用虚拟助理重放这些瞬间、以作为完全沉浸式体验或部分沉浸式体验的方法、系统和存储介质。示例性实施方式可以:在特定瞬间正在发生时记录该瞬间的数据,并利用虚拟助理重放该瞬间、以作为完全沉浸式体验或部分沉浸式体验。所记录的数据可以包括所记录瞬间的多种感官知觉的指标。
Description
技术领域
本公开总体上涉及当瞬间正在发生时记录这些瞬间、并且例如在以后的时间点重放这些瞬间。更具体地,本公开涉及在特定瞬间正在发生时记录该瞬间的数据,该数据包括该特定瞬间的多种感官知觉的指标。本公开还涉及利用虚拟助理重放记录的瞬间、以作为完全沉浸式体验或部分沉浸式体验。
背景技术
数十年来,人们通过拍摄多个瞬间的照片或录制多个瞬间的视频来及时地记录这种瞬间,使得这些瞬间可以在以后回顾或重放和/或供其他用户回顾或重放。以这种方式,这些记录用作记忆触发器,用随着时间流逝人的头脑可能无法轻易回忆起的细节层次来提醒人们过去的瞬间。最近几年,记录技术已经能够越来越详细地记录瞬间了。例如,现在可以以三维形式记录瞬间,而不是几年前的静态图像和/或视频记录的标准二维形式。
发明内容
本主题公开提供了这样的系统和方法:所述系统和方法用于在瞬间正在发生时记录这些瞬间,并且例如在以后的时间点、以可比标准静态图像和/或视频记录更逼真地重新体验或再次经历这些瞬间的这种方式,重放这些瞬间。
本公开的一个方面涉及一种用于重新体验所记录瞬间的计算机实现的方法。该方法可以包括:在瞬间正在发生的第一时间,由与第一用户相关联的第一设备记录该瞬间的数据。该数据可以包括多种感官知觉的指标。该多种感官知觉可以包括嗅觉、味觉和触觉中的至少一种。该方法还可以包括利用虚拟助理在与第一时间分开的且比第一时间晚的第二时间重放该瞬间的数据。所重放的数据可以包括多种感官知觉的指标。该数据可以作为至少部分沉浸式体验而被重放。
在一些实施例中,该计算机实现的方法进一步可以包括:利用虚拟助理启动由第一设备在第一时间对该瞬间的数据的记录。
在一些实施例中,虚拟助理可以用来在第一用户的请求和基于上下文感知中的至少一种情况下、启动对该瞬间的数据的记录。
在一些实施例中,该计算机实现的方法进一步可以包括:利用虚拟助理,在第一用户的请求和基于上下文感知中的至少一种情况下、终止由第一设备对该瞬间的数据的记录。
在一些实施例中,该计算机实现的方法进一步可以包括:利用增强现实技术和虚拟现实技术中的至少一种,来生成至少部分沉浸式体验。
在一些实施例中,虚拟助理可以在第二时间、根据在其上重放该瞬间的数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,重放该瞬间的数据。
在一些实施例中,该计算机实现的方法进一步可以包括:用该瞬间的附加数据增强至少部分沉浸式体验,该附加数据是从与记录该瞬间的数据的视角不同的至少一个视角被记录的。
在一些实施例中,与记录该瞬间的数据的视角不同的至少一个视角可以由以下项提供:由与不同于第一用户的一个或多个其他用户相关联的至少一个设备记录的该瞬间的一个或多个记录。
在一些实施例中,与记录该瞬间的数据的视角不同的至少一个视角可以由以下项提供:由与第一用户相关联的至少第二设备记录的该瞬间的一个或多个记录。
本公开的另一方面涉及被配置用于重新体验所记录瞬间的系统。该系统可以包括一个或多个硬件处理器,该一个或多个硬件处理器被机器可读指令配置。一个或多个处理器可以被配置为利用虚拟助理来启动由与第一用户相关联的第一设备在瞬间正在发生的第一时间记录该瞬间的数据。该数据可以包括多种感官知觉的指标。该多种感知可包括嗅觉、味觉和触觉中的至少一种。一个或多个处理器进一步可以被配置为利用虚拟助理来终止由与第一用户相关联的第一设备对该瞬间的数据的记录。一个或多个处理器还可以被配置为利用虚拟助理在与第一时间分开的且比第一时间晚的第二时间,重放该瞬间的数据。所重放的数据可以包括多种感官知觉的指标。该数据可以作为至少部分沉浸式体验而被重放。
在一些实施例中,一个或多个硬件处理器进一步可以被机器可读指令配置为:利用虚拟助理,在第一用户的请求和基于上下文感知中的至少一种情况下、启动对该瞬间的数据的记录。
在一些实施例中,一个或多个硬件处理器进一步可以被机器可读指令配置为:利用虚拟助理,在第一用户的请求和基于上下文感知中的至少一种情况下、终止对该瞬间的数据的记录。
在一些实施例中,一个或多个硬件处理器进一步可以被机器可读指令配置为:利用增强现实技术和虚拟现实技术中的至少一种,来生成至少部分沉浸式体验。
在一些实施例中,虚拟助理可以用于在第二时间、根据在其上重放该瞬间的数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,重放该瞬间的数据。
在一些实施例中,一个或多个硬件处理器进一步可以被机器可读指令配置为:用该瞬间的附加数据增强至少部分沉浸式体验,该附加数据是从与记录该瞬间的数据的视角不同的至少一个视角被记录的。
本公开的又一方面涉及一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质具有包含在其上的指令,所述指令可以被一个或多个处理器执行以执行重新体验所记录瞬间的方法。该方法可以包括:在瞬间正在发生的第一时间,由与第一用户相关联的第一设备记录该瞬间的数据。该数据可以包括多种感官知觉的指标。该多种感官知觉可以包括嗅觉、味觉和触觉中的至少一种。该方法还可以包括:利用虚拟助理在与第一时间分开的且晚于第一时间的第二时间,重放该瞬间的数据。该重放的数据可以包括多种感官知觉的指标。可以根据在其上重放该瞬间的数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,来重放该数据。
在一些实施例中,该方法进一步可以包括:利用虚拟助理,在第一用户的第一请求和基于上下文感知中的至少一种情况下、启动由第一设备在第一时间对该瞬间的数据的记录;以及利用虚拟助理,在第一用户的第二请求和基于上下文感知中的至少一种情况下、终止由第一设备对该瞬间的数据记录。
在一些实施例中,该方法进一步可以包括:利用增强现实技术和虚拟现实技术中的至少一种,来生成完全沉浸式体验或部分沉浸式体验。
在一些实施例中,该方法进一步可以包括:用该瞬间的附加数据增强完全沉浸式体验或部分沉浸式体验,该附加数据是从与记录该瞬间的数据的视角不同的至少一个视角被记录的。
在一些实施例中,与记录该瞬间的数据的视角不同的至少一个视角可以由以下项提供:与第二用户相关联的设备和与第一用户相关联的第二设备中的至少一者拍摄的同一瞬间的一个或多个记录。
本公开的又一方面涉及一种被配置用于重新体验所记录瞬间的系统。该系统可以包括如下装置:该装置用于在瞬间正在发生的第一时间,由与第一用户相关联的第一设备记录该瞬间的数据。该数据可以包括多种感官知觉的指标。该多种感官知觉可以包括嗅觉、味觉和触觉中的至少一种。该系统还可以包括如下装置:该装置用于利用虚拟助理在与第一时间分开的且比第一时间晚的第二时间重放该瞬间的数据。所重放的数据可以包括多种感官知觉的指标。该数据可以作为至少部分沉浸式体验而被重放。
将理解,本文中被描述为适于结合到本公开一个或多个方面或实施例中的任何特征旨在本公开的任何和所有的方面和实施例中具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图理解本公开的其它方面。上述总体性描述和以下具体实施方式仅是示例性和说明性的,并不对权利要求进行限制。
附图说明
为了容易识别对任何特定元件或动作的论述,附图标记中的一位或多位最高有效数字是指该元件被首次引入的图号。
图1是示出了所公开技术的一些实施方式可在其上运行的设备的概况的框图。
图2A是根据本公开的一个或多个实施方式的虚拟现实头戴式显示器(head-mounted display,HMD)的线示图。
图2B是根据本公开的一个或多个实施方式的包括混合现实HMD和核心处理部件的混合现实HMD系统的线示图。
图3示出了根据本公开某些方面的被配置用于在瞬间正在发生时记录这些瞬间、并利用虚拟助理重新体验或再次经历所记录瞬间的系统。
图4示出了根据本公开某些方面的用于在瞬间正在发生时记录这些瞬间、并利用虚拟助理重新体验或再次经历所记录瞬间的示例性过程的流程图。
图5示出了根据本公开某些方面的用于在瞬间正在发生时记录这些瞬间、并利用虚拟助理重新体验或再次经历所记录瞬间的示例性过程的流程图。
图6是示出了示例性计算机系统(例如,表示客户端和服务器两者)的框图,利用该示例性计算机系统可以实现本主题技术的各方面。
在一个或多个实施方式中,并不是每个附图中所描绘的所有部件都是必需的,并且一个或多个实施方式可以包括附图中未示出的附加部件。可以在不脱离本主题公开的范围的情况下,对这些部件的布置和类型进行各种变型。在本主题公开的范围内,可以使用附加部件、不同的部件或更少的部件。
具体实施方式
在以下详细描述中,阐述了许多具体的细节,以提供对本公开的透彻理解。然而,对于本领域普通技术人员来说显而易见的是,可以在没有这些具体细节中的一些具体细节的情况下,对本公开的各实施例进行实践。在其它实例中,未详细示出众所周知的结构和技术,以免模糊本公开。
如前所述,数十年来,人们通过拍摄多个瞬间的照片或录制多个瞬间的视频来及时地记录这种瞬间,使得这些瞬间可以在以后回顾或重放和/或供其他用户回顾或重放。以这种方式,这些记录用作记忆触发器,用随着时间流逝人的头脑可能无法轻易回忆起的细节层次来提醒人们过去的瞬间。最近几年,记录技术已经能够越来越详细地记录瞬间了。例如,现在可以以三维形式记录瞬间,而不是几年前的静态图像和/或视频记录的标准二维形式。
未来的技术很可能包括各种不同的家用设备和可穿戴设备,这些家用设备和可穿戴设备都适用于记录瞬间并且能够记录瞬间。可以想象,这种技术可能还能够记录如下感官知觉的指标:所述感官知觉超越了标准静态图像和/或视频记录的视觉和/或听觉。例如,可以想象这种技术可能能够记录包括诸如嗅觉、味觉和触觉等其它感官的感官知觉的指标。因此,重放已记录了各种感官知觉的指标的瞬间可以允许用户更充分地沉浸在重放体验中,使得这仿佛是在重新体验或再次经历该瞬间,而不仅仅是观看和/或聆听该瞬间。
本主题公开提供了一种便携式虚拟助理,该便携式虚拟助理“跟随”用户从一个地方到另一个地方,并且在用户的各设备之间是一致的。本主题公开还提供了,便携式虚拟助理可能能够根据需要或通过上下文感知启动对瞬间的记录。例如,用户可以指示虚拟助理:“嘿,助理,记录该瞬间”,并且与用户相关联的并在该用户附近的任何设备或可穿戴设备等都可以记录该瞬间。在各方面,可以记录该瞬间达预定时间段。在各方面,可以记录该瞬间直到用户指示终止记录。在各方面,可以记录该瞬间,直到这样的时间为止:虚拟助理基于上下文感知确定该瞬间结束了。任何及所有此类变型及它们的任何组合都被考虑在本公开实施例的范围内。
本主题公开还提供了便携式虚拟助理可能能够根据请求在其上重放的设备的功能和/或根据用户的期望来重放所记录瞬间。例如,在与某一特定瞬间的记录时间不同的地点和/或时间,用户可以以这样的方式来重放这一瞬间:就好像是在重新体验和/或再次经历这一瞬间,而不仅仅是观看和/或聆听这一瞬间。例如,用户可以利用虚拟现实和/或增强现实可穿戴设备(例如,头戴式设备(headset))来重放所记录瞬间。作为示例,用户可以使用全息图等重放所记录瞬间,使得用户可以具有实际置身于发生所记录瞬间的空间中的体验。在各方面,可以记录和重放各种感官知觉的指标,使得用户不仅可以重新体验视觉和声音,还可以重新体验例如该瞬间的气味、味道和/或物理感觉。
在各方面,记录的离散部分或“层”可以与各种感官对齐。例如,可以存在视觉感官知觉的指标的一部分或层,听觉感官知觉的指标的另一部分或层,嗅觉感官知觉的指标的另一部分或层,味觉感官知觉的指标的另一部分或层,以及物理感觉感官知觉或触觉感官知觉的指标的另一部分或层。在各方面,可以基于例如共享用户的请求、在其上进行重放的设备的功能和/或体验该重放的用户的期望,为该用户重放各个层。
在各方面中,对所记录瞬间的重放可以是跨设备间互操作的。例如,无论用户是否寻求在能够以二维形式、三维形式、利用增强现实或利用虚拟现实等进行重放的设备上重放一瞬间,该体验都可以根据设备功能来重放。在各方面,所重放瞬间可以包括基于在其上进行重放的设备的定制体验。在各方面,所记录瞬间可以与另一用户共享,使得根据接收设备的功能来定制体验。
在各方面,可以将从一个用户的多个设备或多个用户的各设备的不同视角对一瞬间的记录混合在一起,以产生具有相对于任何单一视角记录的增强细节的重新体验。
本主题公开提供了这样的系统和方法:所述系统和方法用于在瞬间(例如,情境或事件)正在发生时记录这些瞬间,并利用虚拟助理重放这些瞬间、以作为完全沉浸式体验或部分沉浸式体验。在各方面,可以利用本领域普通技术人员所熟知的、包含至少一个摄像头的任何设备来记录特定瞬间的数据。作为示例而非限制,这类设备可以包括移动手机、平板电脑、或智能眼镜或护目镜等。在各方面,在特定瞬间正在发生时,可以记录该特定瞬间的数据,该数据包括该特定瞬间的一种或多种感官知觉的一个或多个指标。在各方面,该数据可以包括视觉、听觉、嗅觉、味觉和触觉中的两种或更多种的感官知觉的一个或多个指标。在各方面,该数据可以包括嗅觉、味觉和触觉中的至少一种的感官知觉的一个或多个指标。
如本文中使用的术语“沉浸式体验”可以是一种用户可使用多种感官(例如视觉、听觉、嗅觉、味觉或触觉中的任意两种或多种)参与的体验。在各方面,可以至少部分地利用增强现实(augmented reality,“AR”)技术和/或虚拟现实(virtual reality,V/R)技术来产生沉浸式体验。在各方面,可以在重放之前或在重放时,增强沉浸式体验。在各方面,可以利用从一个或多个附加用户的一个或多个视角拍摄的、推荐重放的瞬间的记录,来增强沉浸式体验。在各方面,可以利用虚拟助理来启动对一个或多个瞬间的记录。
在各方面,可以利用虚拟助理在以后的时间点为用户重放这样的瞬间:当该瞬间发生时,该瞬间是从该用户的视角记录的。在各方面,可以利用虚拟助理来为第二用户重放从第一用户的视角记录的瞬间,使得第二用户可以在以后的时间点或与第一用户基本上同时体验该瞬间。
在各方面,可以使用可穿戴设备上的一个或多个立体摄像头来记录一瞬间,例如以创建体积映射的三维空间,用户也可以经由增强现实叠加、虚拟现实和/或以增强现实与虚拟现实之间的滑动比例尺(sliding scale)进入该三维空间。“立体摄像头”可以是具有两个或更多个镜头的摄像头,每个镜头有一单独的图像传感器。这允许摄像头模拟人类双眼视觉,并且相应地允许采集三维图像。在各方面,用户可以至少部分地经由增强现实叠加来体验或重新体验所记录瞬间。在各方面,用户可以在虚拟现实中体验或重新体验所记录瞬间。在各方面,用户可以在滑动比例尺上体验或重新体验所记录瞬间,例如,该比例尺的一端允许用户仅用五种感官中的一种体验该瞬间,该比例尺的另一端允许用户用所有五种感官体验该瞬间。例如,用户可能希望非常随意地重放一瞬间作为对该瞬间的简单提醒,并相应地选择在其移动设备上以标准音频/视觉渲染重放该体验。在另一个时间点,用户可能希望完全沉浸在所记录瞬间,并选择利用AR技术和/或VR技术重放该瞬间。任何及所有此类变型及其任何组合都被考虑在本公开实施例的范围内。在各方面,虚拟助理可以考虑用户正在用其体验瞬间的设备的功能来做出(或至少协助做出)关于所重放瞬间的保真度(即,被定义为感官知觉的数量)的决定。
所公开技术的实施例可以包括人工现实系统,或者可以结合人工现实系统来实现。人工现实、扩展现实(extended reality)或超现实(extra reality)(统称为“XR”)是在呈现给用户之前已经以某种方式进行了调整的现实形式,其例如可以包括虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)、混合现实(hybrid reality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集到的内容(例如,真实世界的照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,以上中的任何都可以在单个通道中或在多个通道中呈现(诸如,给观看者带来三维效果的立体视频)。此外,在一些实施例中,人工现实可以与应用、产品、附件、服务或它们的某种组合相关联,这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容,和/或用于人工现实中(例如,在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现,这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、“洞穴式”环境或其它投影系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。
如本文所使用的“虚拟现实”或“VR”是指这种沉浸式体验:在该沉浸式体验中,用户的视觉输入由计算系统控制。“增强现实”或“AR”是指这样的系统:在所述系统中,用户在真实世界的图像通过计算机系统之后,观看这些真实世界的图像。例如,在背面具有摄像头的平板电脑可以采集多幅真实世界的图像,然后该平板电脑可以在该平板电脑的与该摄像头相对的一侧的屏幕上显示这些图像。该平板电脑可以在这些图像通过系统时,处理并且调整或“增强”这些图像,例如通过添加虚拟对象来调整或“增强”这些图像。“混合现实”或“MR”是指这样的系统:在该系统中,进入用户眼睛的光部分由计算系统产生,且部分构成从真实世界中的对象反射出的光。例如,MR头戴式设备可以被成形为一副具有透传式显示器的眼镜,该透传式显示器允许来自真实世界的光穿过一波导,该波导同时出射来自该MR头戴式设备中的投影仪的光,从而允许该MR头戴式设备呈现与用户可看到的真实对象混合的虚拟对象。如本文所使用的,“人工现实”、“超现实”或“XR”是指VR、AR、MR、或它们的任何组合或混合中的任何一者。
以下参考附图更详细地论述了若干实施方式。图1为示出了所公开技术的一些实施方式可在其上运行的设备的概况的框图。这些设备可以包括计算系统100的多个硬件部件,该计算系统可以创建、管理人工现实协同工作环境,并为人工现实协同工作环境提供多种交互模式。在各种实施方式中,计算系统100可以包括单个计算设备114或多个计算设备(例如,计算设备110、计算设备112和计算设备114),所述多个计算设备通过有线信道或无线信道通信,以分发处理并共享输入数据。在一些实施方式中,计算系统100可以包括独立头戴式设备,该独立头戴式设备能够在无需外部处理或外部传感器的情况下,为用户提供计算机创建或增强的体验。在其它实施方式中,计算系统100可以包括多个计算设备,该多个计算设备例如为头戴式设备和核心处理部件(例如,控制台、移动设备或服务器系统),其中,一些处理操作在头戴式设备上执行而其它处理操作被转移到核心处理部件。以下结合图2A和图2B描述了示例头戴式设备。在一些实施方式中,位置数据和环境数据可仅由结合在头戴式设备中的传感器收集,而在其它实施方式中,多个非头戴式设备计算设备中的一个或多个非头戴式设备计算设备可以包括可追踪环境数据或位置数据的传感器部件。在一些实施方式中,一个或多个计算设备110、112、114可以是或包括虚拟助理。
计算系统100可以包括一个或多个处理器116(例如,中央处理单元(centralprocessing unit,CPU)、图形处理单元(graphical processing unit,GPU)、全息处理单元(holographic processing unit,HPU)等)。处理器116可以是单个处理单元或多个处理单元,所述多个处理单元位于一设备中或分布在多个设备上(例如,分布在计算设备110、112和114中的两个或更多个计算设备上)。
计算系统100可以包括一个或多个输入设备118,所述一个或多个输入设备118向处理器116提供输入,从而向这些处理器通知动作。所述动作可以由硬件控制器传递,该硬件控制器对从输入设备接收的信号进行解译,并使用通信协议将信息传送到处理器116。每个输入设备118例如可以包括鼠标、键盘、触摸屏、触摸板、可穿戴输入设备(例如,触觉手套、手镯、戒指、耳环、项链、手表等)、摄像头(或其它基于光的输入设备,例如红外传感器)、传声器或其它用户输入设备。
处理器116可以例如通过使用内部总线或外部总线而耦接到其它硬件设备,上述总线例如为:外设组件互连标准(PCI)总线、小型计算机系统接口(SCSI)总线、或无线连接。处理器160可以与用于各设备(例如,用于显示器120)的硬件控制器通信。显示器120可以用于显示文本和图形。在一些实施方式中,显示器120包括输入设备,例如当该输入设备为触摸屏或配备有眼动方向监测系统时,该输入设备作为显示器的一部分。在一些实施方式中,显示器与输入设备分开。显示设备的示例为:液晶显示器(LCD)显示屏、发光二极管(LED)显示屏、投影显示器、全息显示器、或增强现实显示器(例如,平视显示设备或头戴式设备(head-mounted device))等。其它输入/输出(I/O)设备122也可以耦接到处理器,其它I/O设备例如为网络芯片或网卡、视频芯片或视频卡、音频芯片或音频卡、通用串行总线(USB)、火线或其它外部设备、摄像头、打印机、扬声器、光盘只读存储器(CD-ROM)驱动器、数字视频光盘(DVD)驱动器、磁盘驱动器等。
计算系统100可以包括通信设备,该通信设备能够与其它本地计算设备或网络节点无线地或基于有线地通信。该通信设备可以例如使用传输控制协议/网际协议(TCP/IP协议)通过网络与另一设备或服务器通信。计算系统100可以使用该通信设备在多个网络设备上分发操作。
处理器116可以访问存储器124,该存储器可以包含在计算系统100的多个计算设备中的一个计算设备上,或者可以分布在计算系统100的多个计算设备的一个计算设备、或多个其它外部设备上。存储器包括用于易失性或非易失性存储的一个或多个硬件设备,并且可以包括只读存储器和可写存储器这两者。例如,存储器可以包括以下中的一者或多者:随机存取存储器(random access memory,RAM)、各种高速缓冲存储器(cache)、CPU寄存器、只读存储器(read-only memory,ROM)和可写非易失性存储器,该可写非易失性存储器例如为:闪存、硬盘驱动器、软盘、光盘(CD)、DVD、磁存储设备、和磁带驱动器等。存储器不是脱离底层硬件的传播信号;因此存储器是非暂态的。存储器124可以包括存储程序和软件的程序存储器126,上述程序和软件例如为操作系统128、XR工作系统130和其它应用程序132。存储器124还可以包括数据存储器134,该数据存储器可以包括待提供给程序存储器126的信息、或待提供给计算系统100中的任何元件的信息。
一些实施方式可以与许多其它计算系统环境或配置一起运行。可适用于与该技术一起使用的计算系统、环境和/或配置的示例包括但不限于:XR头戴式设备、个人计算机、服务器计算机、手持式或膝上型设备、蜂窝电话、可穿戴电子设备、游戏控制台、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费类电子产品、网络个人计算机(PC)、小型计算机、大型计算机、或包括上述多个系统或设备中的任何系统或设备的分布式计算环境等。
图2A为根据一些实施例的虚拟现实头戴式显示器(HMD)200的线示图。HMD 200包括前部刚性体210和带212。前部刚性体210包括电子显示器214的一个或多个电子显示元件、惯性运动单元(inertial motion unit,IMU)216、一个或多个位置传感器218、定位器220以及一个或多个计算单元222。位置传感器218、IMU 216和计算单元222可以位于HMD200内部,并且可以对用户不可见。在各种实施方式中,IMU 216、位置传感器218和定位器220可以以三个自由度(three degrees of freedom,3DoF)或六个自由度(six degrees offreedom,6DoF)来追踪HMD 200在真实世界中和虚拟环境中的移动和位置。例如,定位器220可以发射红外光束,这些红外光束在HMD 200周围的真实对象上产生光点。作为另一示例,IMU 216例如可以包括:一个或多个加速度计;一个或多个陀螺仪;一个或多个磁力计;一个或多个其它非基于摄像头的位置、力或方位传感器;或它们的组合。与HMD 200集成在一起的一个或多个摄像头(未示出)可以检测光点。HMD 200中的计算单元222可以使用检测到的光点,来推测HMD 200的位置和移动,以及识别HMD 200周围的真实对象的形状和位置。
电子显示器214可以与前部刚性体210集成在一起,并且可以如计算单元222所指示的向用户提供图像光。在各种实施例中,电子显示器214可以是单个电子显示器或多个电子显示器(例如,用户的每只眼睛一个显示器)。电子显示器214的示例包括:液晶显示器(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)显示器、有源矩阵有机发光二极管显示器(active-matrix organic light-emittingdiode display,AMOLED)、包括一个或多个量子点发光二极管(quantum dot light-emitting diode,QOLED)子像素的显示器、投影仪单元(例如,微型LED、激光器(LASER)等)、一些其它显示器或它们的某种组合。
在一些实施方式中,HMD 200可以耦接到诸如个人计算机(personal computer,PC)(未示出)等核心处理部件和/或一个或多个外部传感器(未示出)。外部传感器可以(例如,经由从HMD 200出射的光)对HMD 200进行监测,PC可以使用该HMD结合来自IMU 216和位置传感器218的输出,来确定HMD 200的位置和移动。
图2B为混合现实HMD系统250的线示图,该混合现实HMD系统包括混合现实HMD 252和核心处理部件254。混合现实HMD 252和核心处理部件254可以通过如链路256所指示的无线连接(例如,60GHz链路)进行通信。在其它实施方式中,混合现实系统250仅包括头戴式设备而没有外部计算设备,或者包括混合现实HMD 252与核心处理部件254之间的其它有线连接或无线连接。混合现实HMD 252包括透传式显示器258和框架260。框架260可以容纳各种电子部件(未示出),诸如光投影仪(例如,激光器、LED等)、摄像头、眼动追踪传感器、微机电系统(MEMS)部件、网络部件等。
投影仪可以例如经由光学元件耦接到透传式显示器258,以向用户显示媒体。光学元件可以包括用于将来自投影仪的光引导到用户的眼睛的一个或多个波导组件、一个或多个反射器、一个或多个透镜、一个或多个反射镜、一个或多个准直器、一个或多个光栅等。可以经由链路256将图像数据从核心处理部件254传输到HMD 252。HMD 252中的控制器可以将图像数据转换为来自投影仪的多个光脉冲,这些光脉冲可以作为输出光经由光学元件传输到用户的眼睛。该输出光可以与穿过显示器258的光混合,从而允许输出光呈现以下虚拟对象:这些虚拟对象看起来如同存在于真实世界中一样。
与HMD 200类似,HMD系统250也可以包括运动和位置追踪单元、摄像头、光源等,上述运动和位置追踪单元、摄像头、光源等允许HMD系统250例如以3DoF或6DoF追踪其自身,追踪用户的多个部位(例如,手部、脚部、头部、或其它身体部位),将虚拟对象绘制为在HMD252移动时看起来如同静止一样,以及使虚拟对象对手势和其它真实世界对象作出反应。
图3示出了根据本公开某些方面的被配置用于在瞬间(例如,情况或事件等)正在发生时记录这些瞬间、并利用虚拟助理重放这些瞬间作为完全沉浸式体验或部分沉浸式体验的系统300。在一些实施方式中,系统300可以包括一个或多个计算平台310。一个或多个计算平台310可以被配置为根据客户端/服务器架构、对等架构和/或其它架构,与一个或多个远程平台312通信。一个或多个远程平台312可以被配置为通过一个或多个计算平台310和/或根据客户端/服务器架构、对等架构和/或其它架构,与其它远程平台通信。用户可以通过一个或多个远程平台312访问系统300。在一些实施方式中,一个或多个计算平台310和一个或多个远程平台312中的一者或多者可以是或包括虚拟助理。
一个或多个计算平台310可以由机器可读指令314来配置。机器可读指令314可以包括一个或多个指令模块。指令模块可以包括计算机程序模块。指令模块可以包括以下模块中的一者或多者:记录模块316(包括记录启动部件318、记录终止部件320、用户请求接收部件322和上下文感知确定部件324)、重放模块326(包括重放设备功能确定部件328)、体验生成模块330(包括记录增强部件332)和/或其它指令模块。
记录模块316可以被配置为:当特定瞬间正在发生时,记录该瞬间的数据。在各方面,该数据可以包括特定瞬间的多种感官知觉的指标。在各方面,该数据可以包括对以下中的两者或更多者的感官知觉的指标:视觉、听觉、嗅觉、味觉和触觉。在各方面,该数据可以包括嗅觉、味觉和触觉中的至少一种的感官知觉的指标。在各方面,记录模块316可以被配置为利用虚拟助理来记录瞬间。
如图所示,记录模块316包括记录启动部件318、记录终止部件320、用户请求接收部件322和上下文感知确定部件324。记录启动部件318可以被配置为当特定瞬间正在发生时,启动记录该特定瞬间。类似地,记录终止部件320可以被配置为:一旦瞬间完成,就终止记录该瞬间。启动记录和/或终止记录可以基于以下中的一者或两者来完成:与进行记录的设备相关联的用户的请求(例如,由用户请求接收部件322接收的请求);或上下文感知(例如,由上下文感知确定部件324确定的上下文感知)。
重放模块326可以被配置为利用虚拟助理重放特定瞬间的记录数据。在各方面,重放模块326可以被配置为根据在其上启动重放的设备的(例如,由重放设备功能确定部件328确定的)功能,重放瞬间。
在各方面,重放模块326可以被配置为利用虚拟助理重放特定瞬间的记录数据、以作为完全沉浸式体验或部分沉浸式体验。在各方面,可以利用增强现实技术和虚拟现实技术中的至少一种来(例如,利用体验生成部件330)生成完全沉浸式体验或部分沉浸式体验。在各方面,体验生成部件330可以被配置为随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,生成对特定瞬间的重放。在各方面,体验生成部件330可以被配置为用从不同视角拍摄的瞬间的各记录(例如,利用增强部件332)来增强所记录瞬间。在各方面,启动记录该瞬间的用户的第二设备可以提供不同的视角。在各方面,当瞬间正在发生时,与在场的另一用户相关联的设备可以提供不同的视角。任何及所有此类变型及它们的任何组合都被考虑在本公开实施例的范围内。
在一些实施方式中,一个或多个计算平台310、一个或多个远程平台312和/或多个外部资源334可以经由一个或多个电子通信链路可操作地链接。例如,这种电子通信链路可以至少部分地通过网络(例如,互连网和/或其它网络)来建立。应当理解,这不旨在进行限制,并且本公开的范围包括如下多个实施方式:在这些实施方式中,一个或多个计算平台310、一个或多个远程平台312和/或多个外部资源334可以经由一些其它通信介质可操作地链接。
一给定的远程平台312可以包括一个或多个处理器,该一个或多个处理器被配置为执行计算机程序模块。计算机程序模块可以被配置为使与该给定的远程平台312相关联的专家或用户能够与系统300和/或外部资源334交互,和/或提供在本文中归属于一个或多个远程平台312的其它功能。作为非限制性示例,一给定的远程平台312和/或一给定的计算平台310可以包括以下中的一者或多者:服务器、台式计算机、膝上型计算机、手持式计算机、平板计算平台、上网本、智能手机、游戏控制台和/或其它计算平台。
外部资源334可以包括系统300外部的信息源、参与系统300的外部实体、和/或其它资源。在一些实施方式中,本文中归属于外部资源334的一些功能或全部功能可以由系统300中包括的资源提供。
一个或多个计算平台310可以包括电子存储器336、一个或多个处理器338和/或其它部件。一个或多个计算平台310可以包括通信线路或端口,以实现与网络和/或其它计算平台的信息交换。图3对一个或多个计算平台310的示出并非旨在进行限制。一个或多个计算平台310可以包括一起运行的多个硬件部件、多个软件部件和/或多个固件部件,以提供本文中归属于一个或多个计算平台310的功能。例如,一个或多个计算平台310可以由作为一个或多个计算平台310而一起运行的计算平台的云来实现。
电子存储器336可以包括对信息进行电子存储的非暂态存储介质。电子存储器336的电子存储介质可以包括系统存储器和/或可移动存储器中的一者或两者,该系统存储器与一个或多个计算平台310集成地提供(即,基本上不可移动),该可移动存储器例如经由端口(例如,USB端口、火线端口等)或驱动器(例如,磁盘驱动器等)而可移动地连接到一个或多个计算平台310。电子存储器336可以包括以下中的一者或多者:光学可读存储介质(例如,光盘等)、磁可读存储介质(例如,磁带、磁硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如,电子可擦除只读存储器(EEPROM)、随机存取存储器(RAM)等)、固态存储介质(例如,闪存驱动器等)和/或其它电子可读存储介质。电子存储器336可以包括一个或多个虚拟存储资源(例如,云存储器、虚拟专用网络、和/或其它虚拟存储资源)。电子存储器336可以存储软件算法、由一个或多个处理器338确定的信息、从一个或多个计算平台310接收的信息、从一个或多个远程平台312接收的信息、和/或使一个或多个计算平台310能够如本文所描述的那样工作的其它信息。
一个或多个处理器338可以被配置为在一个或多个计算平台310中提供信息处理功能。因此,一个或多个处理器338可以包括以下中的一者或多者:数字处理器、模拟处理器、被设计为处理信息的数字电路、被设计为处理信息的模拟电路、状态机、和/或用于电子处理信息的其它机构。尽管图8中将一个或多个处理器338示出为单一实体,但这仅是出于说明的目的。在一些实施方式中,一个或多个处理器338可以包括多个处理单元。这些处理单元可以在物理上位于同一设备内,或者一个或多个处理器338可以表示协同运行的多个设备的处理功能。一个或多个处理器338可以被配置为执行模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)和/或其它模块。一个或多个处理器338可以被配置为通过如下项来执行模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)和/或其它模块:软件;硬件;固件;软件、硬件和/或固件的某种组合;和/或用于在一个或多个处理器338上配置处理功能的其它机制。如本文所使用的,术语“模块”或“部件”可以指执行归属于该模块的功能的任何部件或部件的集合。这可以包括在执行处理器可读指令期间的一个或多个物理处理器、处理器可读指令、电路、硬件、存储介质或任何其它部件。
应当理解,尽管图3中将模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)示出为在单个处理单元内实现的,但在一个或多个处理器338包括多个处理单元的实施方式中,模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)中的一个或多个模块可以与其它模块远程实现。对下面描述的不同的模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)所提供的功能的描述是出于说明的目的,而不旨在进行限制,因为模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)中的任何模块可以提供比所描述的功能更多或更少的功能。例如,模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)中的一个或多个模块可以被取消,并且其功能的一些或全部功能可以由模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)中的其它模块来提供。作为另一示例,一个或多个处理器338可以被配置为执行一个或多个附加模块,该一个或多个附加模块可以执行以下归属于模块316(包括部件318、320、322和324)、模块326(包括部件328)、模块330(包括部件332)中的一个模块的一些或全部功能。
本文所描述的技术可以被实现为由一个或多个物理计算设备执行的一种或多种方法;可以被实现为一个或多个非暂态计算机可读存储介质,该一个或多个非暂态计算机可读存储介质存储有多个指令,这些指令在被一个或多个计算设备执行时,使得执行该一种或多种方法;或者,可以被实现为一个或多个物理计算设备,该一个或多个物理计算设备专门配置有使执行该一种或多种方法的硬件和软件的组合。
图4示出了根据本公开的某些方面的用于在瞬间(例如,情况或事件等)正在发生时记录该瞬间、并利用虚拟助理重放这些瞬间、以作为完全沉浸式体验或部分沉浸式体验的示例性流程图(例如,过程400)。出于解释的目的,本文中参考图1、图2A、图2B和图3来描述示例性过程400。进一步出于解释的目的,示例性过程400的多个步骤在本文中被描述为按顺序或线性进行。然而,示例性过程400的多个实例可以并行进行。
在步骤410处,过程400可以包括:当特定瞬间正在发生时,例如利用图3的系统300的记录模块316来记录该瞬间的数据。在各方面,该数据可以包括特定瞬间的多种感官知觉的指标。在多个方面,该数据可以包括视觉、听觉、嗅觉、味觉和触觉中的两者或更多者的感官知觉的指标。在各方面,该数据可以包括嗅觉、味觉和触觉中的一者或多者的感官知觉的指标。
在步骤412处,过程400可以包括例如利用图3的系统300的重放模块326,重放特定瞬间的记录数据、以作为完全沉浸式体验或部分沉浸式体验。在各方面,可以利用增强现实技术和虚拟现实技术中的至少一种来(例如,利用图3的系统300的体验生成部件330)生成完全沉浸式体验或部分沉浸式体验。在各方面,可以随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺来启动对特定瞬间的重放。在各方面,可以根据在其上启动重放的设备的(例如,由图3的系统300的重放设备功能确定部件328确定的)功能而启动对特定瞬间的重放。在各方面,可以用从不同视角拍摄的瞬间的各记录(例如,利用图3的系统300的体验生成模块300的增强部件332)来增强该所记录瞬间。在各方面,启动对瞬间的记录的用户的第二设备可以提供不同的视角。在各方面,当该瞬间正在发生时,与在场的第二用户相关联的设备可以提供不同的视角。任何及所有此类变型及它们的任何组合都被考虑在本公开实施例的范围内。
图5示出了根据本公开的某些方面的用于在瞬间(例如,情况或事件等)正在发生时记录这些瞬间、并利用虚拟助理重放这些瞬间以作为完全沉浸式体验或部分沉浸式体验的示例性流程图(例如,过程500)。出于解释的目的,本文中参考图1、图2A、图2B和图3来描述示例性过程500。进一步出于解释的目的,示例性过程500的多个步骤在本文中被描述为按顺序或线性进行。然而,示例性过程500的多个实例可以并行进行。
在步骤510处,过程500可以包括:利用虚拟助理来(例如,利用图3的系统300的记录模块316的记录启动部件318)启动由与第一用户相关联的第一设备在特定瞬间发生的第一时间记录该瞬间的数据。在各方面,该数据可以包括多种感官知觉的指标。在各方面,多种感官知觉可以包括嗅觉、味觉和触觉中的至少一种。
在步骤512处,过程500可以包括利用虚拟助理来(例如,利用图3的系统300的记录模块316的记录终止部件320)终止由与第一用户相关联的第一设备对该瞬间的数据的记录。
在步骤514处,过程500可以包括利用虚拟助理(例如,利用图3的系统300的重放模块326)在与第一时间分开的且比第一时间晚的第二时间,重放该瞬间的数据。在各方面,作为(例如,利用图3的系统300的体验生成模块生成的)至少部分沉浸式体验,所重放的数据可以包括多种感官知觉的指标。
图6是示出了示例性计算机系统600的框图,利用该计算机系统可以实现本主题技术的各方面。在某些方面,可以使用硬件、或软件和硬件的组合,要么在专用服务器中、要么集成到另一实体中、要么跨多个实体分布来实现计算机系统600。
计算机系统600(例如,服务器和/或客户端)包括总线616或用于传送信息的其它通信机制、以及与总线616耦接以用于处理信息的处理器610。作为示例,计算机系统600可以使用一个或多个处理器610来实现。处理器612可以是通用微处理器、微控制器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、控制器、状态机、门逻辑、分立的硬件部件、或可执行计算或其它信息操作的任何其它合适的实体。
除了硬件之外,计算机系统600还可以包括创建所讨论的计算机程序的执行环境的代码,例如,构成存储在所包括的存储器612中的以下内容的代码:处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一者或多者的组合,该存储器例如为随机存取存储器(RAM)、闪存、只读存储器(Read-Only Memory,ROM)、可编程只读存储器(ProgrammableRead-Only Memory,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、寄存器、硬盘、可移动磁盘、紧凑型光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、或任何其它合适的存储设备,该存储器与总线616耦接以用于存储信息和待由处理器610执行的指令。处理器610和存储器612可以由专用逻辑电路补充或被结合到专用逻辑电路中。
指令可以存储在存储器612中,并且可以在一个或多个计算机程序产品中实现,该一个或多个计算机程序产品即为多个计算机程序指令的一个或多个模块,这些计算机程序指令被编码在计算机可读介质上、以用于由计算机系统600执行或控制该计算机系统600的操作,并且根据本领域技术人员所众所周知的任何方法,这些计算机程序指令包括但不限于诸如面向数据的语言(例如,SQL、dBase)、系统语言(例如,C、扩充C的面向对象编程语言(Objective-C)、C++、汇编)、结构性语言(例如,Java、.NET)以及应用程序语言(例如,PHP、Ruby、Perl、Python)。指令还可以在如下计算机语言中实现:诸如阵列语言、面向方面语言、汇编语言、写作语言(authoring language)、命令行接口语言、编译语言、并发语言、波形括号语言(curly-bracket language)、数据流语言、数据结构化语言、声明性语言、深奥的语言(esoteric language)、扩展语言(extension language)、第四代语言、函数式语言、交互模式语言、解释型语言、交互式语言(iterative language)、基于列表的语言(list-basedlanguage)、小语言(little language)、基于逻辑的语言、机器语言、宏语言、元编程语言、多范式语言(multiparadigm language)、数值分析、非基于英语的语言(non-English-based language)、基于类的面向对象语言、基于原型的面向对象语言、越位规则语言(off-side rule language)、过程式语言、反射式语言(reflective language)、基于规则的语言、脚本语言、基于堆栈的语言、同步式语言、语法处理语言(syntax handling language)、视觉语言、wirth语言和基于xml的语言。存储器504还可以用于在执行待由处理器610执行的指令期间,存储临时变量或其它中间信息。
如本文所论述的计算机程序不一定对应于文件系统中的文件。可以将程序存储在保存有其它程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中、专用于所讨论程序的单个文件中、或者多个协同文件(例如,存储有一个或多个模块、一个或多个子程序或代码的多个部分的多个文件)中。可以将计算机程序部署为在一台计算机或多台计算机上执行,该多台计算机位于一个站点处、或跨越多个站点而分布且通过通信网络互连。本说明书中描述的过程和逻辑流可以由一个或多个可编程处理器执行,该一个或多个可编程处理器执行一个或多个计算机程序,以通过对输入数据进行操作并生成输出来执行功能。
计算机系统600还包括诸如磁盘或光盘等数据存储设备614,该数据存储设备与总线616耦接以用于存储信息和指令。计算机系统600可以通过输入/输出模块618耦接至各种设备。输入/输出模块618可以是任何输入/输出模块。示例性输入/输出模块618包括诸如USB端口等数据端口。该输入/输出模块618被配置为连接至通信模块620。示例性通信模块620包括网络接口卡,例如以太网卡和调制解调器。在某些方面,输入/输出模块618被配置为连接至多个设备,例如输入设备622和/或输出设备624。示例性输入设备622包括键盘和定点设备(例如,鼠标或跟踪球),用户可通过键盘和定点设备向计算机系统600提供输入。其它类型的输入设备622也可以用于提供与用户的交互,该其他类型的输入设备例如为触觉输入设备、视觉输入设备、音频输入设备、或脑机接口设备。例如,提供给用户的反馈可以是任何形式的感官反馈,例如视觉反馈、听觉反馈或触觉反馈;并且可以以包括声音输入、语音输入、触觉输入或脑电波输入的任何形式来接收来自用户的输入。示例性输出设备624包括用于向用户显示信息的显示设备,例如液晶显示(liquid crystal display,LCD)监视器。
根据本公开的一个方面,可以响应于处理器610执行存储器612中包含的一个或多个指令的一个或多个序列,使用计算机系统600来实现上述游戏系统。可以将这些指令从另一机器可读介质(例如,数据存储设备614)读入到存储器612中。对包含在主存储器612中的指令序列的执行,使得处理器610执行本文所描述的过程步骤。还可以采用多处理配置中的一个或多个处理器来执行包含在存储器612中指令序列。在替代方面,可以使用硬连线电路来代替软件指令,或可以将硬连接线路与软件指令组合使用,以实现本公开的各种方面。因此,本公开各方面不限于硬件电路和软件的任何特定组合。
本说明书中所描述的主题的各方面可以在计算系统中实现,该计算系统包括后端部件(例如,数据服务器)、或包括中间软件部件(例如,应用服务器)、或者包括前端部件(例如,具有图形用户界面或网页浏览器的客户端计算机,用户可以通过该图形用户界面或网页浏览器与本说明书中描述的主题的实施方式进行交互);或者本说明书中所描述的主题的各方面可以在一个或多个这种后端部件、一个或多个这种中间软件部件或一个或多个这种前端部件的任意组合中实现。该系统的各部件可以通过数字数据通信的任何形式或媒介(例如,通信网络)互连。通信网络可以例如包括LAN、WAN和互联网等中的任何一种或多种。此外,通信网络可以例如包括但不限于以下网络拓扑中的任何一种或多种,这些网络拓扑包括总线网络、星形网络、环形网络、网状网络、星形总线网络、或者树形或分层网络等。通信模块例如可以是调制解调器或以太网卡。
计算机系统600可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器的关系是借助于运行在各自的计算机上且彼此之间具有客户端-服务器关系的计算机程序而产生的。计算机系统600可以例如是但不限于台式计算机、膝上型计算机或平板电脑。计算机系统600还可以嵌入在另一设备中,该另一设备例如但不限于:移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(Global Positioning System,GPS)接收机、视频游戏控制台、和/或电视机顶盒。
如本文所使用的术语“机器可读存储介质”或“计算机可读介质”是指参与向处理器610提供指令以用于执行的任何一个或多个介质。此类介质可以采取许多形式,这些形式包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质例如包括光盘或磁盘,例如数据存储设备614。易失性介质包括动态存储器,例如存储器612。传输介质包括同轴电缆、铜线和光纤,上述同轴电缆、铜线和光纤包括构成总线616的导线。机器可读介质的常见形式包括例如软盘(floppy disk)、软盘(flexible disk)、硬盘、磁带、任何其它磁介质、CD-ROM、DVD、任何其它光学介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH EPROM、任何其它存储器芯片或卡带、或计算机可以读取的任何其它介质。机器可读存储介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。
当用户计算系统600读取数据时,可以从数据中读取信息并将该信息存储在存储设备(例如,存储器612)中。此外,通过网络总线616或数据存储设备614访问的来自存储器612的服务器的数据可以被读取并加载到存储器612中。尽管数据被描述为在存储器612中找到,但是将会理解,数据不必存储在存储器612中,并且可以存储在处理器610可访问或分布在若干介质中的其它存储器(例如,数据存储设备614)中。
本文所描述的技术可以被实现为由一个或多个物理计算设备执行的一种或多种方法;可以被实现为一个或多个非暂态计算机可读存储介质,该一个或多个非暂态计算机可读存储介质存储有多个指令,这些指令在被计算设备执行时,使得执行该一种或多种方法;或者可以被实现为一个或多个物理计算设备,该一个或多个物理计算设备专门配置有执行该一种或多种方法的硬件和软件的组合。
如本文所使用的,在一系列项之后的短语“中的至少一个”,与用于分隔这些项中任何一者的术语“和”或“或”一起在整体上修饰列表,而不是修饰该列表的每个元素(例如,每个项)。短语“中的至少一个”并不要求选择至少一个项;而是,该短语的意思是包括这些项中的任何一项中的至少一个,和/或这些项的任何组合中的至少一个,和/或这些项中的每项中的至少一个。作为示例,短语“A、B和C中的至少一个”或“A、B或C中的至少一个”均指的是:仅A、仅B或仅C;A、B和C的任意组合;和/或,A、B和C的每项中的至少一个。
就在本说明书或权利要求中使用术语“包含”、“具有”等而言,此类术语旨在以与术语“包括”类似的方式是开放性的,如同在权利要求中用作过渡词时“包括”被解释的那样。在本文中,词语“示例性”用于表示“用作示例、实例或说明”。本文中被描述为“示例性”的任何实施例不一定被解释为比其它实施例优选或有利。
除非特别说明,否则对单数形式的元素的提及并非旨在意味着“一个且仅有一个”,而是“一个或多个”。本领域普通技术人员已知的或以后将知晓的贯穿本公开而描述的各种配置的元素的所有结构和功能等同物通过引用明确地并入本文,并旨在被本主题技术所包含。此外,本文所公开的任何内容均不旨在奉献给公众,无论这种公开是否明确记载在以上描述中。
虽然本说明书包含许多细节,但是这些细节不应被解释为对可能要求保护的内容的范围的限制,而应被解释为对该主题的特定实施方式的描述。在本说明书中在不同实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。反之,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中实现,或以任何合适的子组合在多个实施例中实现。此外,尽管特征可能在上面被描述为在某些组合中起作用,并且甚至最初如此被要求保护,但在一些情况下,来自所要求保护的组合的一个或更多个特征可以从该组合被删除,并且所要求保护的组合可以涉及子组合或子组合的变型。
已经在特定方面描述了本说明书的主题,但其它方面可以被实现并且落入所附权利要求的范围内。例如,尽管在附图中以特定顺序描绘了操作,但是这不应当被理解为要求以所示的特定顺序或以连续顺序执行这些操作,或者不应当被理解为要求执行所有示出的操作以实现期望的结果。权利要求中所描述的动作可以以不同的顺序执行,并且仍然实现了期望的结果。作为一个示例,附图中所描绘的过程不一定要求所示出的特定顺序或连续顺序来实现期望的结果。在某些情况下,多任务并行处理可能是有利的。此外,不应将上述多个方面中的各个系统部件的分开理解为要求在所有方面中都进行这样的分开,而应理解的是,所描述的程序组件和系统通常可以在一个软件产品中集成在一起或封装在多个软件产品中。其它变型在以下权利要求书的范围内。
Claims (15)
1.一种用于重新体验所记录瞬间的计算机实现的方法,所述方法包括:
在瞬间正在发生的第一时间,由与第一用户相关联的第一设备记录所述瞬间的数据,所述数据包括多种感官知觉的指标,所述多种感官知觉包括嗅觉、味觉和触觉中的至少一种;以及
利用虚拟助理在与所述第一时间分开的且比所述第一时间晚的第二时间重放所述瞬间的所述数据,作为至少部分沉浸式体验,所重放的数据包括所述多种感官知觉的所述指标。
2.根据权利要求1所述的计算机实现的方法,进一步包括:利用所述虚拟助理来启动由所述第一设备在所述第一时间对所述瞬间的所述数据的所述记录。
3.根据权利要求2所述的计算机实现的方法,其中,所述虚拟助理用于在所述第一用户的请求和基于上下文感知中的至少一种情况下、启动对所述瞬间的所述数据的所述记录。
4.根据权利要求2或3所述的计算机实现的方法,进一步包括:利用所述虚拟助理,在所述第一用户的请求和基于上下文感知中的至少一种情况下、终止由所述第一设备在所述第一时间对所述瞬间的所述数据的所述记录。
5.根据前述权利要求中任一项所述的计算机实现的方法,进一步包括:利用增强现实技术和虚拟现实技术中的至少一种,来生成所述至少部分沉浸式体验。
6.根据前述权利要求中任一项所述的计算机实现的方法,其中,所述虚拟助理在所述第二时间、根据在其上重放所述瞬间的所述数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,重放所述瞬间的所述数据。
7.根据前述权利要求中任一项所述的计算机实现的方法,进一步包括:用所述瞬间的附加数据增强所述至少部分沉浸式体验,所述附加数据是从与记录所述瞬间的所述数据的视角不同的至少一个视角被记录的。
8.根据权利要求7所述的计算机实现的方法,其中,与记录所述瞬间的所述数据的所述视角不同的所述至少一个视角由以下项提供:
i.由与不同于所述第一用户的一个或多个附加用户相关联的至少一个设备记录的所述瞬间的一个或多个记录;和/或
ii.由与所述第一用户相关联的至少第二设备记录的所述瞬间的一个或多个记录。
9.一种被配置用于重新体验所记录瞬间的系统,所述系统包括:
一个或多个硬件处理器,所述一个或多个硬件处理器被机器可读指令配置为:
利用虚拟助理来启动由与第一用户相关联的第一设备在瞬间正在发生的第一时间记录所述瞬间的数据,所述数据包括多种感官知觉的指标,所述多种感官知觉包括嗅觉、味觉和触觉中的至少一种;
利用所述虚拟助理来终止由与所述第一用户相关联的所述第一设备对所述瞬间的所述数据的所述记录;以及
利用所述虚拟助理在与所述第一时间分开的且比所述第一时间晚的第二时间重放所述瞬间的所述数据,作为至少部分沉浸式体验,所重放的数据包括所述多种感官知觉的所述指标。
10.根据权利要求9所述的系统,其中,所述一个或多个硬件处理器进一步被所述机器可读指令配置为:利用所述虚拟助理,在所述第一用户的请求和基于上下文感知中的至少一种情况下启动对所述瞬间的所述数据的所述记录。
11.根据权利要求9或10所述的系统,其中,所述一个或多个硬件处理器进一步被所述机器可读指令配置为:
i.利用所述虚拟助理,在所述第一用户的请求和基于上下文感知中的至少一种情况下、终止对所述瞬间的所述数据的所述记录;和/或
ii.利用增强现实技术和虚拟现实技术中的至少一种,来生成所述至少部分沉浸式体验。
12.根据权利要求9、10或11所述的系统,其中,所述虚拟助理用于在所述第二时间、根据在其上重放所述瞬间的所述数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,重放所述瞬间的所述数据。
13.根据权利要求9至12中任一项所述的系统,其中,所述一个或多个硬件处理器进一步被所述机器可读指令配置为:用所述瞬间的附加数据增强所述至少部分沉浸式体验,所述附加数据是从与记录所述瞬间的所述数据的视角不同的至少一个视角被记录的。
14.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质具有包含在其上的指令,所述指令由一个或多个处理器执行,以执行用于重新体验所记录瞬间的方法,所述方法包括:
在瞬间正在发生的第一时间,由与第一用户相关联的第一设备记录所述瞬间的数据,所述数据包括多种感官知觉的指标,所述多种感官知觉包括嗅觉、味觉和触觉中的至少一种;以及
利用虚拟助理,在与所述第一时间分开的且比所述第一时间晚的第二时间、根据在其上重放所述瞬间的所述数据的设备的功能,随着完全沉浸式体验与部分沉浸式体验之间的滑动比例尺,重放所述瞬间的所述数据,所重放的数据包括所述多种感官知觉的所述指标。
15.根据权利要求14所述的计算机可读存储介质,其中,所述方法进一步包括以下中的一者或多者:
i.利用所述虚拟助理,在所述第一用户的第一请求和基于上下文感知中的至少一种情况下、启动由所述第一设备在所述第一时间对所述瞬间的所述数据的所述记录;以及
利用所述虚拟助理,在所述第一用户的第二请求和基于上下文感知中的至少一种情况下、终止由所述第一设备对所述瞬间的所述数据的所述记录;
ii.利用增强现实技术和虚拟现实技术中的至少一种,来生成所述完全沉浸式体验或所述部分沉浸式体验;
iii.用所述瞬间的附加数据增强所述完全沉浸式体验或所述部分沉浸式体验,所述附加数据是从与记录所述瞬间的所述数据的视角不同的至少一个视角被记录的;并且优选地,其中,与记录所述瞬间的所述数据的所述视角不同的所述至少一个视角由以下项提供:由与第二用户相关联的设备和与所述第一用户相关联的第二设备中的至少一者拍摄的同一瞬间的一个或多个记录。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/221,381 | 2021-07-13 | ||
US17/863,219 | 2022-07-12 | ||
US17/863,219 US20230027666A1 (en) | 2021-07-13 | 2022-07-12 | Recording moments to re-experience |
PCT/US2022/036953 WO2023287877A1 (en) | 2021-07-13 | 2022-07-13 | Recording moments to re-experience |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117678020A true CN117678020A (zh) | 2024-03-08 |
Family
ID=90073603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280049729.0A Pending CN117678020A (zh) | 2021-07-13 | 2022-07-13 | 重新体验所记录瞬间 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117678020A (zh) |
-
2022
- 2022-07-13 CN CN202280049729.0A patent/CN117678020A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10657727B2 (en) | Production and packaging of entertainment data for virtual reality | |
US11043031B2 (en) | Content display property management | |
US20160300392A1 (en) | Systems, media, and methods for providing improved virtual reality tours and associated analytics | |
KR20190033511A (ko) | 사용자와 출판물 사이의 컴퓨터로 시뮬레이션되는 현실 상호 작용을 구현하기 위한 시스템 및 방법 | |
KR20240033136A (ko) | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 | |
Pavithra et al. | An emerging immersive technology-a survey | |
KR102651534B1 (ko) | 확장 현실 레코더 | |
Pietroni et al. | UX designer and software developer at the mirror: assessing sensory immersion and emotional involvement in virtual museums | |
JP2022500795A (ja) | アバターアニメーション | |
US20230086248A1 (en) | Visual navigation elements for artificial reality environments | |
US20230290042A1 (en) | Content playback and modifications in a 3d environment | |
Garner et al. | Everyday virtual reality | |
Doma | EEG as an input for virtual reality | |
Sekhar et al. | Future reality is immersive reality | |
Van Gisbergen | Contextual connected media: How rearranging a media puzzle, brings virtual reality into being | |
CN117678020A (zh) | 重新体验所记录瞬间 | |
Bennett | Immersive performance environment: a framework for facilitating an actor in Virtual Production | |
US20230027666A1 (en) | Recording moments to re-experience | |
Lacoche | Plasticity for user interfaces in mixed reality | |
US20230117304A1 (en) | Modifying features in an artificial reality system for the differently abled | |
US20240112418A1 (en) | XR World Build Capture and Playback Engine | |
US20240104870A1 (en) | AR Interactions and Experiences | |
US20240146675A1 (en) | Transmitting three-dimensional objects via messenger | |
US20230298250A1 (en) | Stereoscopic features in virtual reality | |
Chifor et al. | Immersive Virtual Reality application using Google Cardboard and Leap Motion technologies. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |