CN108293073B - 沉浸式临场感 - Google Patents

沉浸式临场感 Download PDF

Info

Publication number
CN108293073B
CN108293073B CN201680071091.5A CN201680071091A CN108293073B CN 108293073 B CN108293073 B CN 108293073B CN 201680071091 A CN201680071091 A CN 201680071091A CN 108293073 B CN108293073 B CN 108293073B
Authority
CN
China
Prior art keywords
travel
telepresence
experience
participant
volunteer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680071091.5A
Other languages
English (en)
Other versions
CN108293073A (zh
Inventor
K·因克彭奎因
M·莫里斯
G·维诺利亚
J·唐
L·德格瑞夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108293073A publication Critical patent/CN108293073A/zh
Application granted granted Critical
Publication of CN108293073B publication Critical patent/CN108293073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/101Collaborative creation, e.g. joint development of products or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093Calendar-based scheduling for persons or groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093Calendar-based scheduling for persons or groups
    • G06Q10/1097Task assignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Abstract

通常,本文描述的沉浸式临场感实现允许用户或临场感旅行参与者的期望临场感体验自动与可以提供这些临场感体验的旅行志愿者匹配。旅行志愿者的移动计算设备向旅行参与者提供音频、视频和其他数据,使得旅行参与者可以体验期望的临场感体验的景象和声音(其可以包括位置和时间以及期望的活动),而旅行参与者无需实际在场。本文描述的沉浸式临场感实现自动发现在旅行参与者的列表(例如,愿望列表)上的临场感体验与一个或多个旅行志愿者之间的匹配,并提供各种特征来为旅行参与者提供沉浸式和个性化的临场感体验。

Description

沉浸式临场感
背景技术
存在各种场景,人们可能想要查看远处的场所,但可能无法自行完成。例如,很多老年人或残疾人都会困居家中或被限制在医院病床上,这使他们无法前往他们希望看到的位置或参与他们希望体验的体验。又如,诸如洪水、火灾和地震之类的自然灾害往往使救援人员难以进入给定的位置,因为道路不通或者没有到达远处位置的入口。类似地,在武装冲突或恐怖主义行为时,人群往往不可能进入冲突或犯罪位置,原因是不可能将人员自由移入该地区。
发明内容
提供本“发明内容”是为了以简化的形式介绍将在以下详细描述中进一步描述的概念的精华。本发明内容并非旨在标识所要求保护的技术方案的关键特征或必要特征,也并非旨在用于限制所要求保护的技术方案的范围。
通常,本文描述的沉浸式临场感实现允许用户或临场感旅行参与者(有时在本文称作旅行参与者)的期望临场感体验自动与可以提供这些临场感体验的旅行志愿者匹配。旅行志愿者的移动计算设备向旅行参与者提供音频、视频和其他数据,从而旅行参与者可以体验期望的临场感体验(其可以包括位置和时间以及期望的活动)的景象和声音,而旅行参与者无需实际出现。本文描述的沉浸式临场感实现自动发现在旅行参与者的列表(例如,愿望列表)上的临场感体验与一个或多个旅行志愿者之间的匹配,并提供各种特征来为旅行参与者提供沉浸式和个性化的临场感体验。这些特征可以包括例如:允许旅行参与者拍摄临场感体验的快照,创建这些快照的剪贴簿或相册,允许旅行参与者拍摄他们自己出现在临场感体验内的照片,并且使用隐含上下文查询等自动搜索关于临场感体验的信息。
附图说明
关于以下描述、所附权利要求和附图,本公开的具体特征、方面和优点将变得更好理解,其中:
图1是其中可以实践本文描述的沉浸式临场感实现的示例性环境。
图2是如本文所述用于示例性沉浸式临场感实现的系统的功能框图。
图3是如本文描述的用于示例性沉浸式临场感实现的另一系统的功能框图。
图4是用于实践各种示例性沉浸式临场感实现的示例性过程的示例性框图。
图5是在各种示例性沉浸式临场感实现中采用的用于拍摄临场感体验的快照的示例性用户界面。
图6是在各种示例性沉浸式临场感实现中采用的用于自动创建临场感体验的快照的剪贴簿的示例性用户界面。
图7是在各种示例性沉浸式临场感实现中采用的用于自动创建具有临场感体验背景的、旅行参与者的快照的示例性用户界面。
图8是在各种示例性沉浸式临场感实现中采用的用于通过隐含上下文查询来获得和显示关于临场感体验的信息的示例性用户界面。
图9是可以用于实践本文描述的示例性沉浸式临场感实现的示例性计算系统。
具体实施方式
在以下沉浸式临场感实现的描述中,参考附图,所述附图形成描述的一部分并且通过说明的方式示出了可以实践本文描述的实现的例子。应该理解,可以利用其他实施例并且可以进行结构改变而不背离所要求保护的技术方案的范围。
1.0沉浸式临场感实现
以下部分提供了沉浸式临场感实现的概述、可以实现本文描述的沉浸式临场感实现的示例性环境以及示例性系统、用于实践这些实现的过程和用户界面。
作为引文,下面的一些附图在一个或多个结构部件的上下文中描述了概念,这些结构部件不同地被称为功能、模块、特征、元件等。可以以任何方式实现附图中示出的各种部件。在一种情况下,所示的附图中的各种部件分割成不同单元可以反映在实际实现中使用不同部件。替代地或另外,附图中示出的任何单个部件可以由多个实际部件来实现。替代地或另外,在附图中描述任何两个或更多个单独部件可以反映由单个实际部件执行的不同功能。
其他附图以流程图形式描述了这些概念。在这种形式中,特定操作被描述为构成以特定次序执行的不同框。这样的实现是说明性的而非限制性的。本文描述的特定框可以被组合在一起并且在单个操作中执行,特定框可以被分解成多个部件框,并且特定框可以以与这里示出的次序不同的次序执行(包括执行这些框的并行方式)。流程图中所示的框可以以任何方式实现。
1.1概述
图1示出了用于实践如本文所述的各种沉浸式临场感实现的示例性环境100。该环境包括临场感旅行参与者102、一个或多个旅行志愿者104、106、108,每个旅行志愿者具有移动计算设备110、112、114,例如智能电话、膝上型计算机或平板计算设备,每个都能够捕捉视频和音频以及发送和接收其他数据(例如,元数据、文本消息和电子邮件)。旅行参与者102具有计算设备118,该计算设备118也可以是移动的并且通过网络122连接到服务器或计算云120,并且移动计算设备110、112、114通过有线或无线网络124连接到计算机/计算云120。
在服务器/计算云120上运行或与其结合运行的旅行参与者-旅行志愿者匹配模块126使用从旅行参与者102以及旅行志愿者104、106、108的移动计算设备110、112、114提取的信息自动将来自(例如,临场感旅行参与者102的)列表130的期望临场感体验与一个或多个旅行志愿者104、106、108进行匹配。稍后将更详细地描述匹配的细节。
当旅行参与者102希望参与沉浸式临场感体验时,旅行参与者可以生成旅行参与者想要体验的临场感体验的列表130(例如,地点、时间、活动)。旅行参与者102可以指定活动(例如,悬挂滑行、访问埃菲尔铁塔)、地理位置,并且还可以具体或一般地指定时间,例如他们希望看到里约热内卢的日落。通过使用从相关联的移动设备110、112、114提取的信息以及其他信息,将列表130上的临场感体验与旅行志愿者104、106、108相匹配。通过使用匹配模块126(例如,在服务器/计算云120上)执行列表上的体验与旅行志愿者的匹配。例如,可以通过使用每个旅行志愿者的日历信息和每个旅行志愿者的地理位置以及旅行参与者102和旅行志愿者104、106、108的简档信息来执行该匹配。日历和位置信息可以从旅行志愿者的移动设备110、112、114中提取。旅行志愿者还可以填写兴趣和爱好的简档,以便进行体验匹配。详细的日历数据可以从志愿者的移动计算设备中提取,并且约会中的关键字可以与期望的体验中的关键字相匹配。也可以基于特定地点的社交媒体登陆、或由志愿者的移动计算设备提供的地理位置、或由特定服务提供的位置,来推断一些志愿者活动(即,志愿者位于悬挂滑翔商店的坐标处,所以可以推断志愿者即将进行悬挂滑翔。)在一些实现中,旅行参与者可以手动发起匹配。例如,在用一些基本约束(例如,一般可用时间、语言等)过滤潜在匹配之后,参与者可以浏览并从潜在临场感体验/活动或者旅行参与者/旅行志愿者的列表中选择匹配。
一旦匹配的旅行志愿者104、106、108位于旅行参与者102想要访问的列表上的地点的位置处(或者旅行志愿者准备开始旅行参与者希望参与的体验),旅行志愿者就开始旅行会话,其中旅行志愿者104、106、108通过网络将来自旅行志愿者的移动设备110、112、114的视频、关联音频、通信数据和可能的其他数据128经由服务器/计算云120进行流送,从而旅行参与者可以间接感受地体验期望的位置/活动的景象和声音,而无需实际上在场。在一些实现中,音频/视频/数据可以直接从旅行志愿者104、106、108发送到旅行参与者102,而无需通过服务器/计算云120。
在一些实现中,旅行参与者102的计算设备118和旅行志愿者104、106、108的计算设备110、112、114在其各自的计算设备上具有应用(未示出),其允许旅行参与者和旅行志愿者参与临场感体验并通过网络彼此进行通信。这允许旅行参与者102实时请求临场感体验中的改变,并且允许旅行参与者向旅行志愿者提供信息。应用为旅行参与者和旅行志愿者提供了增强临场感体验的许多特征。增加旅行参与者的临场感体验的沉浸性的一些特征可以包括:(1)旅行参与者拍摄临场感体验的快照的能力,例如通过使用“照相机”按钮在流送视频期间拍摄静止照片;(2)创建临场感体验的相册的能力,(3)旅行参与者将他们不可及的来自流送视频的影像叠加以创建图像的能力(例如,该图像可以在他们的社交媒体上被共享以享受他们的“虚拟”旅行),(4)自动搜索关于临场感体验的信息的能力,例如,经由显示给旅行参与者的窗格,该窗格包含显示给旅行参与者的隐含获取的搜索结果,其可以补充旅行参与者对临场感体验的位置的知识,并还向他们提供他们希望与旅行志愿者分享的有见解的信息。用于查找这样的搜索结果的查询可以由元数据触发,例如人键入的会话或列表项的的名称(例如,“里约热内卢的平民窟”),由旅行志愿者的移动电话报告的地理位置,或者对来自旅行志愿者的任何评论的实时的语音到文本转换,并辅之以实体提取。在一个实现中,隐含查询窗格提供图像、从在线文档推导的文本、社交媒体帖子以及与目标位置和主题相关的地图的组合。这些特征将在后面详细介绍。
根据本文所述的沉浸式临场感实现的用于提供沉浸式临场感的一个示例性系统包括一个或多个计算设备(由一个或多个网络连接),以及具有由一个或多个计算设备可执行的多个子程序的计算机程序。一个或多个计算设备由计算机程序的子程序引导以:接收临场感旅行参与者希望体验的临场感体验列表;使用从旅行志愿者的移动计算设备取回的位置和/或日历信息将来自列表的临场感体验与旅行志愿者匹配;通过网络从旅行志愿者的移动计算设备接收匹配的临场感体验的视频和关联音频;并使用沉浸式特征将接收到的视频和关联音频输出到临场感旅行参与者。
根据这里描述的沉浸式临场感实现的用于提供沉浸式临场感的另一示例性系统包括一个或多个计算设备(通过一个或多个网络连接)和具有由一个或多个计算设备可执行的多个子程序的计算机程序,其:接收临场感旅行参与者访问的期望临场感体验列表;使用从旅行志愿者的计算设备取回的日历信息将来自列表中的临场感体验与旅行志愿者在某个时间点的位置匹配;通过网络从旅行志愿者接收匹配的临场感体验的视频和关联音频;并将匹配地点的接收到的视频和关联音频输出到临场感旅行参与者。这种实现的优点在于它允许旅行参与者和旅行志愿者安排将来时间的沉浸式临场感体验。
根据本文描述的沉浸式临场感实现的用于提供沉浸式临场感的一个示例性过程包括使用一个或多个计算设备用于:定义临场感旅行参与者要体验的临场感体验列表;使用旅行志愿者的移动计算设备上的日历信息和地理位置来匹配来自列表的临场感体验与旅行志愿者的位置;接收来自旅行志愿者的通知,所述通知为旅行志愿者能够捕捉匹配的临场感体验的视频和音频;接收对该通知的响应,所述响应为临场感旅行参与者希望接收匹配地点的视频和音频;以及通过网络将匹配的临场感体验的视频和关联音频从旅行志愿者的移动计算设备发送到旅行参与者。在一些实现中,地点列表可以由第三方而不是旅行参与者创建。
这里描述的沉浸式临场感实现的优点在于它们可以为困居家中或者残障用户提供实时的个性化沉浸式体验,其中用户可以请求旅行志愿者向他们展示他们可能不会体验到的地点和体验。另外,本文描述的实现通过使用从旅行志愿者的日历提取出的位置信息或从旅行志愿者的移动计算设备提取出的地理位置,以及通过使用用户和旅行志愿者的简档信息,来自动匹配旅行参与者与旅行志愿者。此外,本文描述的沉浸式临场感实现提供了允许用户沉浸在临场感体验中的许多特征,例如通过拍摄他们正在观看的地点的静态图片/照片,通过自动创建这样的图片的剪贴簿,拍摄他们在他们虚拟访问的地方的照片,以及通过响应于自动提交的上下文隐含查询(例如,基于旅行参与者和旅行志愿者之间的对话,旅行参与者与旅行志愿者之间的旅行会话的标题,或根据体验导出的其他元数据而发起的)而接收结果来自动获得关于位置或体验的信息。旅行参与者还可以与旅行志愿者分享这些搜索结果,以便针对二者而使临场感体验具有更多信息和更令人愉快。
本文描述的沉浸式临场感实现还可以应用于自然灾害或军事冲突中,其中可能难以将人员放置在期望的位置,从而这些位置中的现有人员可以用于提供情况报告。例如,旅行志愿者可以自动被匹配到发生自然灾害的地区的位置,这些已经到位的旅行志愿者可以捕捉并提供其周围环境的视频、音频和其他数据,从而进行评估并提供适当的帮助。
已经提供了各种沉浸式临场感实现的概述,以下部分提供了用于实践各种沉浸式临场感实现的示例性系统、过程和用户界面。
1.2示例性实现
图2描绘了用于通过采用一个或多个旅行志愿者204、206、208向旅行参与者202提供沉浸式临场感体验的系统200。旅行参与者202具有计算设备216,旅行志愿者204、206、208也具有(例如,分别为移动计算设备210、212、214)。旅行参与者202的计算设备216和旅行志愿者204、206、208的移动计算设备210、212、214通过一个或多个网络220彼此进行通信和/或与服务器或计算云218通信。应该注意,虽然图2的实现200描绘了单个旅行参与者202,但可用于多个旅行参与者与旅行志愿者共享临场感体验(例如,一个旅行志愿者可以将视频、音频和其他数据发送给三个旅行参与者,每个参与者具有他们自己的计算设备)。
在一个实现中,旅行参与者202生成临场感旅行参与者希望体验的临场感体验的列表224。可以通过指定旅行参与者希望体验的临场感体验的活动、位置和可能的时间来生成列表224。例如,旅行参与者可以指定他们希望在日出时看到曼哈顿海滩,或者他们希望在春天欣赏艾菲尔铁塔的景色。人们可以用多种方式对列表进行分类或过滤,例如按位置、按季节、按活动类型、按进入列表中的新近程度等等。可以使用模板生成要输入到列表的每个请求,其中一些分量如果不是关注的则可以保持空白。模板项目可以包括:日期范围、时间范围、位置、活动类型和自定义笔记。还可以存在“带我参加冒险”的选项,这使得旅行志愿者可以完全自由地从预定列表中选择活动。旅行参与者202可以对列表进行优先级化,以指出哪些项目相比于其他项目是他们更想体验的。例如,旅行参与者可以用星号标记优先体验以表明它是最喜欢的活动。
旅行参与者202还可以生成用户简档228,其中他或她可以指定各种相关信息,例如旅行参与者所说的语言、他们的名字、关于他们的背景或情况的信息、他们的年龄、他们的职业等。类似地,旅行志愿者204、206、208可以指定关于他们自己的类似简档信息230、232、234。这些旅行参与者或旅行志愿者简档可以存储于简档数据库236中,并由匹配模块226使用来帮助匹配旅行参与者202希望体验的列表224上的体验与旅行志愿者204、206、208。
在一些实现中,服务器/计算云218上的匹配模块226将临场感旅行参与者希望体验的临场感体验的列表224的临场感体验(例如,活动、位置、可能时间)与旅行志愿者204、206、208的位置/时间进行匹配。这可以使用从一个或多个旅行志愿者204、206、208的移动计算设备取回的位置数据以及日历信息以及旅行参与者和旅行志愿者的简档信息228、230、232、234中的一些或全部来完成。例如,旅行参与者列表上的位置被匹配到旅行志愿者的日历中的位置(以及可选的时间)相匹配(例如,通过访问旅行志愿者的移动计算设备上的诸如旅行行程、预定行程等的信息)或与旅行志愿者的当前位置。从日历中提取出的旅行志愿者的未来计划行程可用于计划与旅行参与者的行程。替代地,旅行志愿者的当前位置可以与列表中的地点相匹配。例如,移动计算设备的地理位置(其由设备上的全球定位系统(GPS)或其它单元测量)可以用于将旅行志愿者204、206、208的位置与旅行参与者列表224的位置进行匹配。此外,例如,通过将旅行参与者和讲同一种语言的旅行志愿者进行匹配,可以使用简档信息来更好地匹配旅行参与者的临场感体验和旅行志愿者。或者简档信息可以用于将旅行参与者与具有相同兴趣或职业或其他共同属性的旅行志愿者进行匹配。旅行参与者/旅行志愿者的简档和建议活动描述中的关键词可用于执行自动匹配。在一些实现中,在匹配被建议之前要求旅行参与者和/或旅行志愿者提供日程安排约束。旅行志愿者的移动设备的GPS位置也可以触发旅行参与者可能希望参与的特定位置体验的通知。在一些沉浸式临场感实现中,匹配模块允许旅行参与者浏览可用临场感体验的列表,并手动将列表上的临场感体验与旅行志愿者匹配。此外,在一些沉浸式临场感实现中,可以使用针对旅行参与者和/或旅行志愿者的筛选过程或评级系统。
一旦旅行志愿者被选定并且处于期望的临场感体验的位置以及可能的时间(例如,日出、日落等)并且准备好执行期望的活动,可以通过网络220发送从移动计算设备210、212、214输出的临场感体验的视频和关联音频,然后将其输出到临场感旅行参与者202。例如,可以将视频显示在位于临场感旅行参与者处的计算设备216的显示器238上,并且音频通过一个或多个扬声器240或耳机输出到旅行参与者(以及可能与旅行参与者共享旅行体验的其他旅行参与者)。其他数据也可以显示在旅行参与者的计算设备216的显示器238上。
如前所述,可以实现许多特征以使临场感体验对于旅行参与者更沉浸和更个性化。例如,可以在计算机/计算云218上或在旅行参与者202的计算设备216上实现快照模块242,其允许旅行参与者拍摄流送到旅行参与者的视频流中的图像的快照。在一个实现中,旅行参与者可以通过从与旅行参与者的计算设备216关联的显示器238选择显示给旅行参与者的用户界面244上的快照按钮,来拍摄显示给旅行参与者的视频流的图像的快照。稍后将更详细地描述该特征。
可用的另一特征是相册或剪贴簿相册特征,其将旅行参与者202所拍摄的快照自动格式化为旅行参与者202可与其他人共享的剪贴簿。可以在服务器/计算云218上的剪贴簿模块246中或在旅行参与者202的计算设备216上执行剪贴簿处理。在一些实现中,由旅行参与者202拍摄的快照或照片使用模板被自动地格式化为剪贴簿。稍后将更详细地描述该相册特征。
各种临场感实现允许临场感旅行参与者创建自己的图像或快照,其将接收到的视频显示为临场感旅行参与者后面的背景。该处理可以通过采用场景中参与者模块256来实现。可以将快照发送或发布到社交媒体站点或以可以以能够使用照片或快照的各种其他方式来使用快照。在一些实现中,直播流送视频可以被显示在旅行参与者后面。
可用于提供更沉浸式和个性化临场感体验的又一特征是自动取回和显示与临场感体验的上下文有关的搜索结果。该特征可以通过使用隐含上下文搜索模块248来实现。在一个实现中,包含响应于隐含查询而取得的搜索结果的窗格被显示给旅行参与者。这些搜索结果可以补充旅行参与者对临场感体验的位置或临场感体验本身的了解,并且还可以提供旅行参与者202可能希望与旅行志愿者204、206、208共享的有见解信息。一个或多个隐含查询可以通过元数据触发,例如会话或列表项目的任何人类输入的名称(例如,“里约热内卢的平民窟”),由移动计算设备报告的地理位置,或对来自旅行志愿者的任何评论的现场语音到文本转换,并辅之以实体提取。在一个实现中,显示给旅行参与者的隐含查询窗格提供图像、从在线百科全书或其他文档提取的文本、社交媒体帖子、以及与目标位置和主题相关的地图等的组合。该信息还可以经由用户界面250、252、254在旅行志愿者的移动计算设备210、212、214上显示和操纵。在一些实现中,可以由旅行参与者手动输入提供上下文信息的查询。
图3描绘了用于实践如本文所述的各种沉浸式临场感实现的另一系统300。该系统与图2所示的实现200的不同之处在于,第三方358可以提供临场感体验的列表324,并且该实现可以包括实时地图模块360。系统300具有一个或多个计算设备310、312、314、316、318,其通过一个或多个网络330彼此通信。计算设备316与旅行参与者302相关联。计算设备310、312和314各自与旅行志愿者304、306、308相关联。服务器/计算云318与旅行参与者的计算机316以及旅行志愿者的计算设备312、314、316相关联。每个计算设备具有计算机程序,该计算机程序具有可由其上的一个或多个计算设备执行的多个子程序。该系统300以与图2所示的实现200类似的方式操作,具有许多相同的部件并支持部分或全部相同的沉浸式特征。
生成临场感旅行参与者302希望体验的临场感体验列表324。可以通过指定旅行参与者希望体验的位置以及可能的活动和时间来生成该列表324。在一些实现中,该列表324由第三方358生成。第三方358可以对列表进行优先级化,以指示哪些体验比其他体验具有更高优先级,例如通过对列表上的项目进行编号或用星号指示最爱。
旅行参与者302或旅行志愿者304、306、308还可以生成用户简档336,在用户简档336中他们可以指定各种相关的简档信息。
服务器/计算云318上的匹配模块326将来自列表324的临场感体验与旅行志愿者304、306、308的位置相匹配。这可以通过使用旅行志愿者304、306、308的移动计算设备310、312、314的位置,从旅行志愿者的移动计算设备取回的日历或时间信息,以及旅行参与者和旅行志愿者的简档信息来完成。旅行参与者列表324上的临场感体验被匹配到旅行志愿者的日历或时间信息中的位置(以及可选的时间和活动)(例如,通过访问诸如旅行行程、计划行程、设备上的时钟等的信息)或被匹配到旅行志愿者的当前位置。从日历中提取或由旅行志愿者提供的旅行志愿者的未来计划旅行可用于计划与旅行参与者的旅行。替代地,旅行志愿者的当前位置可以与列表中的地点相匹配。例如,可以使用由全球定位系统(GPS)或其他方法测量的、移动计算设备的地理位置来将旅行志愿者的位置与列表上的位置相匹配。另外,例如,通过基于旅行志愿者具有的技能或一些其他属性将旅行志愿者匹配到列表324上的地点,可以使用简档信息来更好地将旅行参与者与旅行志愿者匹配。
一旦旅行志愿者304、306、308位于列表324上的位置处并且可能处于所述时间(例如,日出、日落等),并准备开始临场感会话,则旅行志愿者304、306、308可以开始通过网络330将来自其移动计算设备310、312、314的音频、视频和其他数据流送到旅行参与者的计算设备316。旅行参与者的计算设备316可以接收该视频、相关联的音频和数据,并将其输出到显示器338和/或扬声器340。例如,其被显示在位于临场感旅行参与者302处的显示器338上,并且通过一个或多个扬声器340或耳机输出到旅行参与者302(并且可能还输出到正与该旅行参与者共享旅行体验的其他旅行参与者)。
除了快照模块342、剪贴簿模块346、场景模块356中的参与者和上下文搜索模块348(这些模块按照参考图2描述的方式进行操作)所支持的特征之外,该实现300还可以包括实时地图模块360,可以使用实时地图模块360向旅行参与者302显示旅行志愿者和/或临场感体验的实时地图。该实时地图模块360可以驻留在服务器/计算云318上或旅行参与者的计算设备316上。该地图可以使旅行参与者能够对旅行志愿者的体验作出贡献,例如通过提供指向特定位置或指出旅行志愿者可能没有意识到的附近有吸引力的事物。
图4描绘了用于实践各种沉浸式临场感实现的示例性过程400。如图4所示,在框402,接收临场感旅行参与者要体验的期望临场感体验的列表(例如,位置、活动、时间)。如框404所示,使用从旅行志愿者的移动计算设备提取的日历信息和地理位置,将来自列表的体验与旅行志愿者的位置和活动(以及可能的时间表)相匹配。如框406所示,接收来自旅行志愿者的关于旅行志愿者能够捕捉匹配的临场感体验的视频和音频的通知。如框408所示,旅行参与者对该通知进行响应。如框410所示,通过网络从旅行志愿者的移动计算设备接收匹配的体验的视频和相关联的音频(以及其他数据),并使用提供沉浸感和个性化的特征来显示匹配的体验。一些特征在下面的部分中进行描述。
1.3沉浸式特征的描述
各种沉浸式临场感实现为旅行参与者提供增强临场感旅行体验的沉浸感并对其进行个性化的特征。例如,一个特征允许旅行参与者参与体验,例如通过拍摄他们正在查看的地方的静止图片/照片并创建这样的图片的剪贴簿。另一特征允许旅行参与者拍摄其在临场感体验中的拍照,而另一特征使用自动上下文隐含查询自动获得关于临场感体验的信息。该信息可以与旅行志愿者共享。另外,一个特征在临场感体验期间显示旅行志愿者位置的实时地图。
1.3.1拍摄临场感体验的照片或快照
在各种沉浸式临场感实现中,临场感旅行参与者可以通过拍摄由旅行志愿者发送给他们的视频流的快照来捕捉临场感体验的静止图像。在一些实现中,如图5所示,用户界面500在与旅行参与者的计算设备相关联的显示器上被显示给旅行参与者。在一个窗格502中,显示从旅行志愿者接收到的流送视频。在另一窗格504中,显示旅行参与者的图像。虚拟快照按钮506也显示给旅行参与者。如果旅行参与者选择并激活快照按钮506(经由鼠标或其他定位设备,或者在显示器是触敏显示器时经由触摸),则捕捉并存储所显示的流送视频的快照。此外,其他按钮508、510、512可用于制定其他沉浸式特征,例如用于将快照添加到剪贴簿的按钮508(例如,提出图6所示的界面),用于捕捉图像以用作将旅行参与者插入到场景中的背景的按钮510(或者以下面的模式进行操作,在该模式中,旅行志愿者可以显示一个视图,该视图对于将旅行参与者插入进来的背景而言是良好的),或者用于显示搜索窗格以获得关于正在访问的地点的更多上下文信息的按钮512。额外的按钮还可以包括用于挂断视频通话的按钮,将用于视频通话的麦克风静音的按钮,或用于典型视频通话界面的任何其他按钮。
1.3.2创建剪贴簿
各种临场感实现允许临场感旅行参与者根据多个捕捉到的静止图像(例如,如上所述捕捉的)创建剪贴簿或旅行相册。这可以使用预先定义的模板,并将旅行参与者拍摄的快照适应到预先定义模板中的槽中,来自动完成。这样的用户界面600在图6中示出。如图6所示,快照602可被自动填充到用户界面600上的槽604、606、608、610、612和614上。在一个实现中,在临场感体验期间捕捉到的快照或静止图像(例如,通过使用图5所示的快照按钮510)被按照旅行参与者捕捉它们的次序自动插入到槽中。旅行参与者可以改变静止图像的次序(例如,通过点击和拖动)。另外,旅行参与者可以通过在与每个图像相关联的框616中键入文本来向图像添加文本或标签。
1.3.3拍摄旅行参与者在位置处的快照
各种临场感实现允许临场感旅行参与者创建其自身的图像或快照,其将接收到的视频显示为临场感旅行参与者后面的背景。该快照可以被发送或发布到社交媒体网站,也可以以可以使用照片或快照的各种其他方式来使用该快照。图7示出了示例性用户界面700,其描绘了叠加在从旅行志愿者接收到的流送视频的背景上的旅行参与者的图像702。在一个实现中,通过分割旅行参与者的图片的前景(例如在图5的窗格504中捕捉并显示的)并将旅行参与者的图像的分割的前景叠加在从旅行志愿者接收到的流送视频704,获得该图像702。可以以与上述相似的方式捕捉被叠加在流送视频背景上的旅行参与者的分割图像的快照。
1.3.4上下文隐含搜索
各种临场感实现提供上下文隐含搜索,其基于与旅行志愿者访问的位置相关联的音频来自动取回与该位置相关联的搜索结果。可以基于在临场感旅行参与者和旅行志愿者之间的对话,可以自动取回与该位置相关联的搜索结果。替代地,可以使用在旅行参与者和旅行志愿者之间的文本消息或电子邮件消息来自动取回搜索结果。搜索结果可以与位置的视频一起被显示。或者,例如,随着旅行志愿者使用他或她的移动计算设备捕捉和发送位置的音频和视频,可以从临场感旅行参与者实时地向旅行志愿者提供搜索结果。图8描绘了显示给旅行参与者的示例性用户界面800。用户界面800包括窗格802,其中响应于隐含查询的搜索结果804被显示在旅行参与者的计算设备的显示器上。
包含隐含提取的搜索结果的窗格802可以补充旅行参与者对位置的了解,并且还向他们提供他们可能希望与旅行志愿者共享的有见解的信息。隐含查询可以如上所述被触发,也可以通过元数据被触发,例如会话或列表项目的任何人类输入的名称(例如,“里约热内卢的平民窟”)、由旅行志愿者的移动电话报告的地理位置、或者来自旅行志愿者的任何评论的现场语音到文本转换,并辅之以实体提取。在一个实现中,隐含查询窗格提供与目标位置和主题相关的图像、文本、社交媒体帖子和地图的组合。
1.3.5实时地图
一些沉浸式临场感实现提供旅行志愿者的实时位置的实时地图。如果可用,则还可以显示以旅行志愿者位置为中心的交互式街景。地图可以使旅行参与者能够为旅行志愿者的体验做出贡献,例如通过提供指向特定地点的方向或指出旅行志愿者可能没有意识到的附近有吸引力的事物。额外的街景增加了沉浸感,为旅行参与者提供了以自驱动方式探索同一空间的其他视图的方式,无论是不同的视角还是不同的天和年份。
1.4旅行志愿者变化
在上述实现中,旅行参与者和旅行志愿者是各自配备有计算设备的人。然而,旅行志愿者也可以是移动式临场感机器人,尽管这样的机器人也限于仅在机器人可访问的地方旅行(非铺设的地形、楼梯等是不可能的)。无人机也可能用于类似的效果。例如,人可以使他们的个人爱好无人机飞到所需的位置。
2.0其他实现
以上描述的内容包括示例性实现。当然,不可能为了描述所要求保护的技术方案而描述部件或方法的每个可想到的组合,但是本领域的普通技术人员可以认识到,许多其它的组合和置换是可能的。因此,所要求保护的技术方案旨在涵盖落入上述推荐请求实现的详细描述的精神和范围内的所有这些变化、修改和变型。
关于由上述部件、设备、电路、系统等执行的各种功能,除非另有指示,否则用于描述这些部件的术语(包括对“单元”的引用)旨在对应于执行所描述的部件的指定功能的任何部件(例如,功能等同物),即使在结构上与所公开的结构不同,其执行所要求保护的技术方案的在本文示出的示例性方面中的功能。就此而言,还将认识到,前述实现包括系统以及具有用于执行所要求保护的技术方案的各种方法的动作和/或事件的计算机可执行指令的计算机可读存储介质。
存在实现前述实现的多种方式(例如适当的应用编程接口(API)、工具套件、驱动器代码、操作系统、控制、独立或可下载的软件对象等),其使得应用和服务能够使用这里描述的实现。所要求保护的技术方案从API(或其他软件对象)的角度以及从根据在此阐述的实现操作的软件或硬件对象的角度来考虑这种使用。因此,本文描述的各种实现可以具有完全在硬件中、或部分在硬件中并部分在软件中、或者完全在软件中的各方面。
已经针对几个部件之间的交互描述了上述系统。应该理解的是,这样的系统和部件可以包括那些部件或指定的子部件,一些指定的部件或子部件和/或附加的部件,并且根据前述的各种排列和组合。子部件也可以被实现为通信地耦合到其他部件的部件,而不是包含于父部件中(例如,分层部件)。
另外,应当注意,一个或多个部件可以组合成提供聚合功能的单个部件,或者被分成几个单独的子部件,并且可以提供任何一个或多个中间层(例如管理层)以通信地耦合到这些子部件以便提供集成功能。本文所述的任何部件还可以与本文中未具体描述但本领域技术人员通常已知的一个或多个其他部件交互。
以下段落总结了可以在本文档中要求保护的实现的各种示例。然而,应该理解的是,下面总结的实现不打算限制考虑到前面的描述要求保护的技术方案。此外,下面总结的任何或全部实现可以与贯穿前述描述和在一个或多个附图中说明的任何实现以及下面描述的任何其它实现中描述的一些或全部实现以任何期望的组合被要求保护。另外,应该注意的是,以下实现旨在考虑到贯穿本文档描述的以上描述和附图来被理解。
各种沉浸式临场感实现是通过用于为旅行参与者提供临场感体验的部件、系统过程进行的。这样的旅行参与者可以是例如困居家中或困居医院的人员、学生或实际上将从参与沉浸式临场感体验中受益的任何人。
作为第一示例,沉浸式临场感实现是在一种提供沉浸式临场感体验的系统中实现的。所述系统包括:一个或多个计算设备,每当存在多个计算设备时所述计算设备彼此通信;以及具有由所述一个或多个计算设备执行的多个子程序的计算机程序。所述一个或多个计算设备由所述计算机程序的子程序引导以用于:接收临场感旅行参与者希望体验的临场感体验列表;使用旅行志愿者的移动计算设备的位置和从移动计算设备取回的日历信息,将来自列表的体验与旅行志愿者的位置匹配;通过网络从旅行志愿者的移动计算设备接收临场感体验的视频和关联音频;以及将接收到的临场感体验的视频和关联音频与为临场感参与者增强临场感体验的沉浸感的特征一起输出。
作为第二示例,在各种实现中,通过部件、过程或技术进一步修改第一示例,从而使用所述临场感旅行参与者的简档信息将来自列表的临场感体验与旅行志愿者进行匹配。
作为第三示例,在各种实现中,通过部件、过程或技术进一步修改第一示例和第二示例,从而通过允许旅行参与者浏览可用的临场感体验的列表,并且手动地将所述列表上的临场感体验与旅行志愿者进行匹配,来匹配来自列表的体验。
作为第四示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例或第三示例,以允许临场感旅行参与者在视频和关联音频被捕捉的同时与旅行志愿者进行通信。
作为第五示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例或第四示例,以包括允许临场感旅行参与者从接收到的视频捕捉所述临场感体验的静止图像。
作为第六示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例或第五示例,以包括根据所述临场感体验的多个捕捉到的静止图像自动创建剪贴簿的特征。
作为第七示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例或第六示例,以包括将接收到的视频或来自所述视频的静止图像作为临场感旅行参与者后面的背景进行显示的特征。
作为第八示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例或第七示例,以包括捕捉在接收到的视频或图像在背景中的情况下临场感旅行参与者的图像的特征。
作为第九示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例或第八示例,以将在接收到的视频或图像在背景中的情况下所述临场感旅行参与者的图像发送到社交媒体站点。
作为第十示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例或第九示例,以自动取回与提供给所述旅行参与者的临场感体验的位置相关联的搜索结果。
作为第十一示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例、第九示例或第十示例,以基于所述临场感旅行参与者与旅行志愿者之间的会话自动取回与所述旅行志愿者访问的位置相关联的搜索结果。
作为第十二示例,在各种实现中,通过部件、过程或技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例、第九示例、第十示例或第十一示例,以结合所述临场感体验的视频和图像来显示所述搜索结果。
作为第十三示例,沉浸式临场感实现在一种用于提供沉浸式临场感体验的过程中被实现。所述过程使用一个或多个计算设备用于:定义临场感旅行参与者访问的临场感体验列表;使用从旅行志愿者的移动计算设备取回的日历信息和地理位置,将来自列表的临场感体验匹配到旅行志愿者;接收来自旅行志愿者的关于该旅行志愿者能够捕捉匹配的临场感体验的视频和音频的通知;接收针对所述通知的关于所述临场感旅行参与者希望接收匹配的临场感体验的视频和音频的响应;以及通过网络从旅行志愿者的移动计算设备接收匹配的临场感体验的视频和关联音频。
作为第十四示例,在各种实现中,通过部件、过程或技术对第十三示例进行进一步修改,以将匹配的临场感体验的接收到的视频和关联音频作为交互式现场视频和音频流输出到临场感旅行参与者。
作为第十五示例,在各种实现中,通过部件、过程或技术来进一步修改第十三示例或者第十四示例,以存储接收到的视频和关联音频,并且在稍后将接收到的视频和关联视频输出到临场感旅行参与者。
作为第十六示例,沉浸式临场感实现在一种提供沉浸式临场感体验的系统中被实现。该过程使用一个或多个计算设备,每当存在多个计算设备时计算设备彼此通信。计算机程序具有可由一个或多个计算设备执行的多个子程序,一个或多个计算设备由所述计算机程序的子程序引导用于:接收供临场感旅行参与者访问的临场感体验列表;使用从旅行志愿者的计算设备取回的日历信息,在时间点上匹配来自地点的列表的临场感体验与旅行志愿者;通过网络从旅行志愿者接收匹配的临场感体验的视频和关联音频;以及将匹配的临场感体验的接收到的视频和关联音频输出给临场感旅行参与者。
作为第十七示例,在各种实现中,通过部件、过程或技术来进一步修改第十六示例,以从所述日历信息中提取位置信息并将其用于匹配。
作为第十八示例,在各种实现中,通过部件、过程或技术来进一步修改第十六示例或第十七示例,以从旅行志愿者的计算设备提取地理位置信息并将其用于匹配。
作为第十九示例,在各种实现中,通过部件、过程或技术来进一步修改第十六示例、第十七示例或第十八示例,使得第三方指定供所述临场感旅行参与者访问的地点列表。
作为第二十示例,在各种实现中,通过部件、过程或技术来进一步修改第十六示例、第十七示例、第十八示例或第十九示例,使得通过确定最佳匹配从一组若干旅行志愿者中选择旅行志愿者。
3.0示例性操作环境
本文所述的沉浸式临场感实现可以在多种类型的通用或专用计算系统环境或配置内操作。图9示出了可以实现如本文所述的沉浸式临场感实现的各种元件的通用计算机系统的简化示例。应该注意的是,在图9中所示的简化计算设备900中,由虚线或点线表示的任何框表示简化计算设备的替代实现。如下所述,可以将这些替代实现中的任何或全部与贯穿本文档描述的其他替代实现组合使用。
简化的计算设备900通常存在于具有至少一些最小计算能力的设备中,例如个人计算机(PC)、服务器计算机、手持计算设备、膝上型或移动计算机、诸如蜂窝电话和个人数字助理(PDA)的通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子件、网络PC、小型计算机、大型计算机以及音频或视频媒体播放器。
为了允许设备实现在此描述的沉浸式临场感实现,该设备应该具有足够的计算能力和系统存储器以实现基本的计算操作。特别地,图9中所示的简化计算设备900的计算能力可以通过一个或多个处理单元910示出,并且还可以包括与系统存储器920通信的一个或多个图形处理单元(GPU)915。注意,简化计算设备900的处理单元910可以是专用微处理器(例如数字信号处理器(DSP)、超长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或其他微控制器),或者可以是具有一个或多个处理核心的传统中央处理单元(CPU),并且其还可以包括多核心处理器中的一个或多个基于GPU的核心或其他专用核心。
另外,简化计算设备900还可以包括其他部件,例如通信接口930。简化计算设备900还可以包括一个或多个传统的计算机输入设备940(例如,触摸屏、触敏表面、定点设备、键盘、音频输入设备、基于语音或话语的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)或这些设备的任意组合。
类似地,通过各种自然用户界面(NUI)场景启用与简化计算设备900以及与沉浸式临场感实现的任何其他部件或特征的交互,包括对于与沉浸式临场感实现相关联的一个或多个用户或其它设备或系统的输入、输出、控制、反馈以及响应。由沉浸式临场感实现启用的NUI技术和场景包括但不限于允许一个或多个用户以“自然”方式与沉浸式临场感实现进行交互的界面技术,而没有输入设备(如鼠标、键盘、遥控器等)施加的人为约束。
通过使用各种技术来支持这样的NUI实现,包括但不限于使用从经由麦克风或其他输入设备940或系统传感器捕捉到的用户语音或发声导出的NUI信息。通过使用各种技术也能支持这样的NUI实现,所述技术包括但不限于根据用户的面部表情以及根据用户的手、手指、手腕、手臂、腿、身体、头部、眼睛等的位置、运动或方向从系统传感器或其他输入设备940导出的信息,其中可以使用各种类型的2D或深度成像设备(例如立体或飞行时间相机系统、红外相机系统、RGB(红色、绿色和蓝色)相机系统等,或这些设备的任何组合)捕捉这种信息。这种NUI实现的进一步示例包括但不限于从触摸和触笔识别、手势识别(屏幕上和屏幕或显示表面附近)、空中或基于接触的手势、用户触摸(在各种表面、对象或其他用户上)、基于悬停的输入或动作等导出的NUI信息。这种NUI实现还可以包括但不限于使用各种预测性机器智能过程来评估当前或过去的用户行为、输入、动作等,或者单独地或者与其他NUI信息组合来预测诸如用户意图、愿望和/或目标的信息。无论基于NUI的信息的类型或来源如何,这些信息都可以用于发起、终止或以其他方式控制或与沉浸式临场感实现的一个或多个输入、输出、动作或功能特征交互。
然而,应该理解的是,通过将人为约束或附加信号的使用与NUI输入的任何组合进行组合,可以进一步增强前述示例性NUI场景。这样的人为约束或附加信号可以通过输入设备940(例如,鼠标、键盘和遥控器)或者通过多种远程或用户穿戴的设备(例如,加速度计、用于接收代表由用户肌肉生成的电信号的肌电信号的肌电描记术(EMG)传感器、心率监测器、用于测量用户出汗的电流皮肤传导传感器、用于测量或以其他方式感测用户大脑活动或电场的可穿戴或远程生物传感器、用于测量用户体温变化或差异的可穿戴或远程生物传感器,等)施加或生成。从这些类型的人为约束或附加信号导出的任何这样的信息可以与任何一个或多个NUI输入组合,以发起、终止或以其他方式控制或与沉浸式临场感实现的一个或多个输入、输出、动作或功能特征交互。
简化计算设备900还可以包括其他可选部件,例如一个或多个传统的计算机输出设备950(例如,显示设备955、音频输出设备、视频输出设备、用于传输有线或无线数据传输的设备等)。注意,用于通用计算机的典型通信接口930、输入设备940、输出设备950和存储设备960对于本领域技术人员来说是公知的,在此不再详细描述。
图9中所示的简化计算设备900还包括各种计算机可读介质。计算机可读介质可以是可以由计算设备900经由存储设备960访问的任何可用介质,并且包括可移动970和/或不可移动980的易失性和非易失性介质,用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其他数据的信息。
计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形的计算机可读或机器可读介质或存储设备,例如数字多功能盘(DVD)、蓝光盘(BD)、光盘(CD)、软盘、磁带驱动、硬盘驱动、光学驱动、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储设备、智能卡、闪存(例如,卡、棒和键驱动)、磁带盒、磁带、磁盘存储设备、磁条或其他磁存储设备。此外,传播信号不包含于计算机可读存储介质的范围内。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等的信息的保留也可以通过使用多种前述通信介质(与计算机存储介质相对)中的任何一种来实现,以对一个或多个调制数据信号或载波或其他传输机制或通信协议进行编码,并且可以包括任何有线或无线信息传递机制。注意,术语“调制数据信号”或“载波”通常是指以这样的信号,其特性中的一个或多个被设置或改变以将信息编码在所述信号中。例如,通信介质可以包括有线介质,例如携带一个或多个调制数据信号的有线网络或直连线连接,以及诸如声学、射频(RF)、红外、激光和其他无线介质的无线介质以用于发送和/或接收一个或多个调制数据信号或载波。
此外,体现本文描述的各种沉浸式临场感实现中的一些或全部的软件、程序和/或计算机程序产品或其部分可以从计算机可读或机器可读介质或存储设备和通信介质的任何期望组合中以计算机可执行指令或其它数据结构的形式存储、接收、传送或读取。另外,可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任何组合,来控制计算机实现所公开的技术主题,而将所要求保护的技术方案实现为方法、装置或制品。这里使用的术语“制品”旨在包含可从任何计算机可读设备或介质访问的计算机程序。
本文描述的沉浸式临场感实现可以在由计算设备执行的计算机可执行指令(例如程序模块)的一般上下文中进一步描述。通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。沉浸式临场感实现还可以在分布式计算环境中实施,其中任务由一个或多个远程处理设备执行,或者在通过一个或多个通信网络链接的一个或多个设备的云内执行。在分布式计算环境中,程序模块可以位于包括介质存储设备的本地和远程计算机存储介质中。此外,上述指令可以部分或全部实现为硬件逻辑电路,其可以包括或不包括处理器。
替代地或另外,本文描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如但不限于,可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
已经出于说明和描述的目的呈现了沉浸式临场感实现的以上描述。并非旨在穷举或将所要求保护的技术方案限制到所公开的精确形式。鉴于上述教导,许多修改和变化是可能的。此外,应该注意的是,可以以期望的任何组合来使用前述替代实现中的任何或全部,以形成推荐请求实现的附加混合实现。意图是本发明的范围不受该详细描述的限制,而是受所附权利要求限制。虽然已经用特定于结构特征和/或方法动作的语言描述了技术方案,但是应当理解,所附权利要求中限定的技术方案不一定限于上述特定特征或动作。相反,上述特定特征和动作是作为实施权利要求的示例形式而公开的,并且其他等同特征和动作旨在落入权利要求的范围内。

Claims (20)

1.一种用于提供沉浸式临场感的系统,包括:
一个或多个计算设备以及具有多个子程序的计算机程序,每当存在多个计算设备时所述计算设备彼此通信,所述多个子程序由所述一个或多个计算设备可执行,所述一个或多个计算设备由所述计算机程序的所述子程序引导以:
接收临场感旅行参与者希望体验的临场感体验列表;
使用旅行志愿者的移动计算设备的位置和从所述移动计算设备取回的日历信息,将来自所述列表的体验与所述旅行志愿者的位置进行匹配;
通过网络从所述旅行志愿者的所述移动计算设备接收所述临场感体验的视频和关联音频;以及
将接收到的所述临场感体验的所述视频和关联音频与为所述临场感旅行参与者增强所述临场感体验的沉浸感的特征一起输出。
2.根据权利要求1所述的系统,其中用于将来自所述列表的临场感体验与旅行志愿者进行匹配的所述子程序使用所述临场感旅行参与者的简档信息。
3.根据权利要求1所述的系统,其中用于匹配来自所述列表的体验的所述子程序允许旅行参与者浏览可用临场感体验列表,并且手动地将所述列表上的临场感体验与旅行志愿者进行匹配。
4.根据权利要求1所述的系统,还包括允许所述临场感旅行参与者在所述视频和关联音频被捕捉的同时与所述旅行志愿者进行通信的子程序。
5.根据权利要求1所述的系统,还包括具有以下特征的子程序,所述特征允许所述临场感旅行参与者从接收到的所述视频捕捉所述临场感体验的静止图像。
6.根据权利要求5所述的系统,还包括具有以下特征的子程序,所述特征从所述临场感体验的多个捕捉到的静止图像自动创建剪贴簿。
7.根据权利要求1所述的系统,还包括具有以下特征的子程序,所述特征显示接收到的所述视频或来自所述视频的静止图像,作为所述临场感旅行参与者后面的背景。
8.根据权利要求7所述的系统,还包括具有以下特征的子程序,所述特征捕捉在接收到的所述视频或图像在所述背景中的情况下所述临场感旅行参与者的图像。
9.根据权利要求8所述的系统,还包括:将在接收到的所述视频在所述背景中的情况下所述临场感旅行参与者的所述图像发送到社交媒体站点的子程序。
10.根据权利要求1所述的系统,还包括:自动取回与所述临场感体验的所述位置相关联的搜索结果的子程序,所述搜索结果被提供给所述旅行参与者。
11.根据权利要求1所述的系统,还包括:基于所述临场感旅行参与者与所述旅行志愿者之间的会话自动取回与所述旅行志愿者访问的位置相关联的搜索结果的子程序。
12.根据权利要求11所述的系统,还包括:结合所述临场感体验的所述视频和图像来显示所述搜索结果的子程序。
13.一种用于提供沉浸式临场感的方法,包括:
使用一个或多个计算设备以用于:
定义临场感旅行参与者访问的临场感体验列表;
使用从旅行志愿者的移动计算设备取回的日历信息和地理位置,将来自所述列表的临场感体验匹配到所述旅行志愿者;
接收来自旅行志愿者的所述旅行志愿者能够捕捉所匹配的所述临场感体验的视频和音频的通知;
接收针对所述通知的所述临场感旅行参与者希望接收所匹配的所述临场感体验的视频和音频的响应;以及
通过网络从所述旅行志愿者的所述移动计算设备接收所匹配的所述临场感体验的视频和关联音频。
14.根据权利要求13所述的方法,还包括将接收到的所匹配的所述临场感体验的所述视频和关联音频作为交互式现场视频和音频流输出到所述临场感旅行参与者。
15.根据权利要求13所述的方法,还包括存储所接收到的所述视频和关联音频,并且在稍后将所接收到的所述视频和关联音频输出到所述临场感旅行参与者。
16.一种用于提供沉浸式临场感旅行的系统,包括:
一个或多个计算设备以及具有多个子程序的计算机程序,每当存在多个计算设备时所述计算设备彼此通信,所述多个子程序由所述一个或多个计算设备可执行,所述一个或多个计算设备由所述计算机程序的所述子程序引导以:
接收供临场感旅行参与者访问的临场感体验列表;
使用从旅行志愿者的计算设备取回的日历信息,在时间点上将来自所述临场感旅行参与者访问的地点的列表的临场感体验与所述旅行志愿者进行匹配;
通过网络从所述旅行志愿者接收匹配的所述临场感体验的视频和关联音频;以及
将接收到的匹配的所述临场感体验的所述视频和关联音频输出给所述临场感旅行参与者。
17.根据权利要求16所述的系统,其中用于匹配的所述子程序从所述日历信息中提取位置信息,并使用所述位置信息进行匹配。
18.根据权利要求16所述的系统,其中所述子程序用于以从所述旅行志愿者的所述计算设备提取地理位置信息并将其用于匹配。
19.根据权利要求16所述的系统,其中第三方指定供所述临场感旅行参与者访问的地点的所述列表。
20.根据权利要求16所述的系统,其中所述子程序用于通过确定最佳匹配从一组若干旅行志愿者中选择所述旅行志愿者。
CN201680071091.5A 2015-12-03 2016-11-18 沉浸式临场感 Active CN108293073B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/957,882 US9591260B1 (en) 2015-12-03 2015-12-03 Immersive telepresence
US14/957,882 2015-12-03
PCT/US2016/062635 WO2017095647A1 (en) 2015-12-03 2016-11-18 Immersive telepresence

Publications (2)

Publication Number Publication Date
CN108293073A CN108293073A (zh) 2018-07-17
CN108293073B true CN108293073B (zh) 2021-10-15

Family

ID=57517992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680071091.5A Active CN108293073B (zh) 2015-12-03 2016-11-18 沉浸式临场感

Country Status (4)

Country Link
US (1) US9591260B1 (zh)
EP (1) EP3384693B1 (zh)
CN (1) CN108293073B (zh)
WO (1) WO2017095647A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609438B2 (en) * 2015-08-13 2020-03-31 International Business Machines Corporation Immersive cognitive reality system with real time surrounding media
US10430042B2 (en) * 2016-09-30 2019-10-01 Sony Interactive Entertainment Inc. Interaction context-based virtual reality
CN108415563A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 沉浸式三维虚拟显示系统和方法
CN109033366B (zh) * 2018-07-26 2022-05-06 陕西科技大学 共享体验式旅游系统
WO2020070756A1 (en) * 2018-10-03 2020-04-09 James Gils A system and a method for providing a virtual tour
CN111939560B (zh) * 2020-08-05 2021-05-07 广东技术师范大学 基于5g信号传输技术的老年人健康改善方法和装置
US11784961B2 (en) 2020-10-30 2023-10-10 Honda Research Institute Europe Gmbh Social interaction opportunity detection method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534413A (zh) * 2009-04-14 2009-09-16 深圳华为通信技术有限公司 一种远程呈现的系统、装置和方法
CN103141086A (zh) * 2010-10-01 2013-06-05 创新科技有限公司 沉浸式视频会议系统
US8860787B1 (en) * 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190392B1 (en) 1997-10-23 2007-03-13 Maguire Jr Francis J Telepresence system and active/passive mode display for use therein
US7631261B2 (en) 2002-09-12 2009-12-08 Inoue Technologies, LLC Efficient method for creating a visual telepresence for large numbers of simultaneous users
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
US8234272B2 (en) * 2007-05-04 2012-07-31 Sony Mobile Communications Ab Searching and ranking contacts in contact database
US9413845B2 (en) * 2009-03-31 2016-08-09 Match.Com, L.L.C. System and method for providing calendar and speed dating features for matching users in a network environment
EP2285068B1 (en) 2009-08-07 2014-06-25 BlackBerry Limited Method, mobile device and computer readable medium for mobile telepresence
US20150237300A1 (en) * 2012-09-25 2015-08-20 Indika Charles Mendis On Demand Experience Sharing for Wearable Computing Devices
US20140258260A1 (en) * 2013-03-11 2014-09-11 Sabrina Rayborn Methods for on line dating
US10771736B2 (en) 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534413A (zh) * 2009-04-14 2009-09-16 深圳华为通信技术有限公司 一种远程呈现的系统、装置和方法
CN103141086A (zh) * 2010-10-01 2013-06-05 创新科技有限公司 沉浸式视频会议系统
US8860787B1 (en) * 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing

Also Published As

Publication number Publication date
WO2017095647A1 (en) 2017-06-08
CN108293073A (zh) 2018-07-17
US9591260B1 (en) 2017-03-07
EP3384693B1 (en) 2020-05-06
EP3384693A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN108293073B (zh) 沉浸式临场感
US11146520B2 (en) Sharing images and image albums over a communication network
US10157455B2 (en) Method and device for providing image
US20180300822A1 (en) Social Context in Augmented Reality
US20190220933A1 (en) Presence Granularity with Augmented Reality
US10129336B2 (en) Content management method and cloud server therefor
JP2019220194A (ja) 情報処理装置、情報処理方法及びプログラム
CN110140138A (zh) 本地设备的内容数据的确定、传输和存储
US10645460B2 (en) Real-time script for live broadcast
US20180316900A1 (en) Continuous Capture with Augmented Reality
CN103733196A (zh) 用于实现现实世界用户经历的可搜索历史的方法及设备
US20140108530A1 (en) Person of Interest in Augmented Reality
KR102637042B1 (ko) 콘텐츠 아이템들의 재표출을 위한 메시징 시스템
KR20230127312A (ko) 멀티 비디오 클립 캡처를 위한 ar 콘텐츠
CN115867905A (zh) 旅行情况下基于增强现实的语音翻译
US20140108529A1 (en) Person Filtering in Augmented Reality
CN115443459A (zh) 具有内容的趋势分析的消息收发系统
TWI637347B (zh) 提供影像的方法與裝置
CN117203676A (zh) 可定制的化身生成系统
KR20150119785A (ko) 라이프 로그 서비스 제공 시스템 및 그 서비스 방법
US20230156314A1 (en) Gaze-based camera auto-capture
US20240071004A1 (en) Social memory re-experiencing system
US20240069626A1 (en) Timelapse re-experiencing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant