CN102447877A - 使用移动设备姿势的优化遥现 - Google Patents

使用移动设备姿势的优化遥现 Download PDF

Info

Publication number
CN102447877A
CN102447877A CN2011103308684A CN201110330868A CN102447877A CN 102447877 A CN102447877 A CN 102447877A CN 2011103308684 A CN2011103308684 A CN 2011103308684A CN 201110330868 A CN201110330868 A CN 201110330868A CN 102447877 A CN102447877 A CN 102447877A
Authority
CN
China
Prior art keywords
long
distance user
user
distance
mobile subscriber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103308684A
Other languages
English (en)
Other versions
CN102447877B (zh
Inventor
M·帕赫德
K·欣克利
W·A·S·巴克斯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102447877A publication Critical patent/CN102447877A/zh
Application granted granted Critical
Publication of CN102447877B publication Critical patent/CN102447877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及使用移动设备姿势的优化遥现。优化了利用移动设备(MD)的移动用户(MU)和参与遥现会话的远程用户的遥现。MD接收第一远程用户(FRU)的视频。每当MU使用第一动作对MD作手势时,就显示FRU的视频。MD还可以接收FRU和第二远程用户(SRU)的视频和音频,显示工作空间,并以默认方式再现FRU和SRU的音频。每当MU使用第一动作对MD作手势时,就显示FRU的视频并且以强调FRU的方式再现FRU和SRU的音频。每当MU使用第二动作对MD作手势时,就显示SRU的视频并且以强调SRU的方式再现FRU和SRU的音频。

Description

使用移动设备姿势的优化遥现
技术领域
本发明涉及遥现会话,尤其涉及优化参与遥现会话的两个或更多个用户的遥现。
背景技术
由于诸如经济全球化以及计算、数据通信、和计算机联网技术的日益进步等因素,跨全球的人类社会正变得日益移动化。另外,公司和家庭日益变得在地理上分散开。结果,不同地理位置的人有着对于在不必花费与旅行到共同地理位置相关联的时间和金钱的情况下,以实况、交互式的方式来协作和交换信息的日益增长的需求。视频会议是一种普遍采用的允许在位于彼此远程并且通过通信网络链接的两个或更多个人之间实况交换音频和视频信息的技术。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
本文描述的优化遥现技术的各实施例一般涉及优化参与遥现会话的两个或更多个用户的遥现。这些用户包括利用具有显示屏的移动设备(MD)的移动用户和一个或多个远程用户,远程用户中的每一个利用经由网络连接到该MD的计算机。在一个示例性实施例中,MD通过网络接收第一远程用户的实况视频。每当移动用户使用第一动作对MD作手势时,就将第一远程用户的视频显示在MD的显示屏上。
在MD还具有音频输出设备的另一示例性实施例中,MD通过网络接收第一远程用户和第二远程用户的实况视频和实况音频。MD还在显示屏上显示工作空间并经由音频输出设备以默认方式再现第一和第二远程用户的音频。每当移动用户使用第一动作对MD作手势时,就将第一远程用户的视频显示在MD的显示屏上,并且经由MD的音频输出设备以强调第一远程用户的方式来再现第一和第二远程用户的音频。每当移动用户使用第二动作对MD作手势时,就将第二远程用户的视频显示在MD的显示屏上,并且经由MD的音频输出设备以强调第二远程用户的方式来再现第一和第二远程用户的音频。
附图说明
参考以下描述、所附权利要求书以及附图,将更好地理解本文描述的优化遥现(OT)技术的各实施例的具体特征、方面和优点,附图中:
图1是以简化形式示出用于实现本文描述的OT技术的各实施例的体系结构框架的示例性实施例的示图。
图2是以简化形式示出用于实现本文描述的OT技术的各实施例的移动设备(MD)作手势特征的过程的示例性实施例的流程图。
图3是以简化形式示出用于实现本文描述的OT技术的各实施例的注视知晓特征的过程的示例性实施例的流程图。
图4是以简化形式示出用于实现MD上的注视知晓特征的接收组件的过程的示例性实施例的流程图。
图5是以简化形式示出用于实现本文描述的OT技术的各实施例的MD上的立体声特征的过程的示例性实施例的流程图。
图6是以简化的形式示出构成用于实现此处所描述的OT技术实施例的各部分的示例性系统的通用的基于网络的计算设备的示例性实施例的示图。
具体实施方式
在以下对优化遥现(OT)技术的各实施例的描述中,对附图进行了参考,附图构成了实施例的一部分且在其中作为说明示出了可在其中实践该技术的具体实施例。可以理解,可以使用其他实施例并且可以做出结构上的改变而不背离OT技术实施例的范围。
本文使用的术语“移动设备(MD)”指的是用户携带的手持式计算设备。如此,MD一般是“小型”的。示例性MD包括但不限于,智能电话、平板计算机、以及个人数字助理。因此,本文使用的术语“移动用户”指的是正在移动(即正在远离家或工作场所)并且正在使用MD的用户。本文使用的术语“非移动计算设备”指的是比MD更大并且因而一般不是手持的计算设备。示例性非移动计算设备包括但不限于台式个人计算机(PC)和膝上型计算机。因此,本文使用的术语“非移动用户”指的是不在移动而是位于家中或位于工作场所(以及其他场所)并且因而正在使用非移动计算设备的用户。
本文使用的术语“区”指的是显示设备或显示屏的分段区域,在其中显示特定类型的图形用户界面(GUI)和/或信息或执行特定类型的功能。如果一个人是右撇子,则在本文中他们的右手被称为他们的“支配手”并且他们的左手被称为他们的“非支配手”。类似地,如果一个人是左撇子,则在本文中他们的左手被称为他们的支配手并且他们的右手被称为他们的非支配手。
1.0使用移动设备(MD)姿势的优化遥现
遥现一般指的是不同计算和通信技术的一个集合,它使物理上处于一个位置的特定用户能够感觉好像他们实际上处于其他用户所处的一个或多个远程位置。遥现还使该特定用户能够对其他用户(他们位于远处)显得该特定用户实际上处于每一远程位置。换言之,遥现使得每一用户感觉他们好像与远处的其他用户处于同一房间。遥现还将每一用户的感官运动设施和问题解决能力扩展到其他用户的远程位置。如此,本文使用的术语“遥现会话”指的是合并了遥现技术的高级类型的视频会议。
一般而言,本文描述的OT技术的各实施例优化位于彼此远处并且参与遥现会话的两个或更多个用户的遥现。参与用户包括使用连接到网络的MD以参与会话的至少一个移动用户。参与用户还可包括一个或多个非移动用户,他们每一个都利用也连接到网络的非移动计算设备以参与该会话。如可从以下更详细描述中明白的,OT技术的各实施例一般优化参与会话的每一移动用户和每一非移动用户的遥现。OT技术的各实施例还允许在参与会话的各用户之间进行音频、视频、以及其他类型的信息的实况交换。
由于种种原因,包括但不限于下列原因,此处所描述的OT技术的各实施例是有利的。OT技术的各实施例允许移动用户以高效且担负得起的方式来与其他远程移动和非移动用户参与遥现会话,而不管各用户处于世界中的何处。换言之,移动用户不必花费与找出并利用公共视频会议服务和/或相关设施来参与会话相关联的时间和金钱。OT技术的各实施例还易于部署且易于使用。OT技术的各实施例还兼容各常规MD、常规非移动计算设备、以及常规通信网络。
如在行为科学领域中可明白的,人们之间的大量通信是经由非语言暗示发生的。这些非语言暗示的示例包括人的眼睛注视检测、脸部表情、“身体语言”、手势、其他身体姿势等等。本文描述的OT技术的各实施例还在以下方面是有利的:它们一般通过对来自每一用户的非语言暗示进行传感并将这些暗示传送给其他用户来优化参与遥现会话的移动和非移动用户之间的通信和协作交互的质量、效率、以及生产力。更具体地且将在此后更详细地描述的,OT技术的各实施例允许每一移动和非移动用户在会话期间进行面对面交互,其中这一接触/交互可以结合其他协作活动来发生,诸如协作地查看、操纵、以及注释共享工作空间中的一个或多个数据对象,以及其他。OT技术的各实施例还对每一用户的非语言行为暗示进行传感,将这些暗示传送给参与会话的其他用户,以及利用接收到的暗示来对如何向每一用户呈现实况音频、实况视频、和其他信息进行动态适应。结果,OT技术的各实施例为参与会话的每一移动用户(不论MD的小型物理大小)和每一非移动用户创建了丰富的、引人注目的且令人满意的遥现会话体验。
1.1体系结构框架
图1以简化形式示出用于实现本文描述的OT技术的各实施例的体系结构框架的示例性实施例。一般而言并且如上所述,OT技术的各实施例优化位于彼此远处并且参与遥现会话的两个或更多个用户的遥现。参与用户包括使用连接到网络的MD的至少一个移动用户。参与用户还可包括每一个都利用也连接到网络的非移动计算设备的一个或多个非移动用户。图1中例示的特定框架示出了三个用户之间的遥现会话(即,三向会话)。移动用户A 134正使用MD 100参与会话。第一远程用户B 136正使用第一非移动计算设备144参与会话。第二远程用户C 138正使用第二非移动计算设备146参与会话。MD 100、第一非移动计算设备144、以及第二非移动计算设备146通过分布式通信网络106互连。
再次参考图1,MD 100经由常规无线连接108连接到分布式通信网络106。如在通信网络领域中可明白的,网络106可以是诸如因特网(以及其他)等公共通信网络或诸如内联网(以及其他)等专用通信网络。取决于移动用户A 134所使用的MD 100的特定类型和在该遥现会话期间用户A所处的特定位置中可用的无线网络服务的类型,可以用各种方式来实现无线连接108。作为示例而非限制,无线连接108可以是到Wi-Fi接入点设备(未示出)的Wi-Fi局域网(LAN)连接。无线连接108也可以是支持诸如GPRS(通用分组无线电服务,也称为“2.5G”)、EDGE(用于GSM(全球移动通信系统)进化的增强型数据率,也称为“2.75G”)、以及3G(第三代)等一个或多个不同移动电信数据服务的蜂窝广域网(WAN)连接。
再次参考图1,MD 100包括集成在其中的各种功能组件。这些功能组件的示例包括但不限于紧凑显示屏104、音频捕捉设备(未示出)(如紧凑话筒等)、面向前方的视频捕捉设备102(如紧凑视频相机等)、以及音频输出设备(未示出)(如一个或多个紧凑扬声器等)。在本文描述的OT技术的一示例性实施例中,MD的显示屏104是触敏的。OT技术的一替换实施例也是可能的,其中MD 100的显示屏104是非触敏的。MD 100还可包括集成在其中的使它能够作为电话来操作的附加功能。
再次参考图1,MD 100还包括动作感测功能。在本文描述的OT技术的一示例性实施例中,动作感测功能由也被集成在MD 100内的专用动作感测设备(未示出)来提供。在下文中更详细地描述这一专用动作感测设备。OT技术的一替换实施例也是可能的,其中动作感测功能是使用视频捕捉设备102结合常规视频处理方法来提供的。OT技术的另一替换实施例也是可能的,其中动作感测功能是使用专用动作感测设备、视频捕捉设备102、以及常规视频处理方法的组合来提供的。
再次参考图1,MD的面向前方的视频捕捉设备102捕捉处于MD的显示屏104的前方的事物的实况视频流(此后简称为“实况视频”)。在遥现会话期间,移动用户A 134一般会用他们的非支配手握住MD 100,或会将MD置于他们前面的桌面上。在任一情况下,用户A 134一般会在遥现会话期间看着显示屏104,使得视频捕捉设备102一般会捕捉用户A的头和躯干的实况视频。用户A的实况视频包括各种类型的信息,如用户A的眼睛注视检测、脸部表情、身体语言、手势、其他身体姿势等。用户A的实况视频通过分布式通信网络106传送到第一和第二非移动计算设备144/146。MD 100通过网络106分别从第一和第二非移动计算设备144/146接收第一远程用户B和第二远程用户C的类似的实况视频。
再次参考图1,MD 100的显示屏104可以显示各种类型的信息,包括但不限于通过分布式通信网络106从第一非移动计算设备144接收到的第一远程用户B 152的实况视频、或通过该网络从第二非移动计算设备146接收到的第二远程用户C 154的实况视频、或工作空间164。一般而言,MD 100上显示的工作空间164可以是共享工作空间(如图1所示)或个人工作空间(未示出)。如以下更详细地描述的,用户A 134可以通过以规定方式对MD 100作手势140/142来改变MD的显示屏104上显示的事物。
再次参考图1,MD 100的音频捕捉设备捕捉从移动用户A 134发出的实况音频,如用户A的语音等。所捕捉的实况音频通过分布式通信网络106传送到第一和第二非移动计算设备144/146。MD 100通过网络106从第一和第二非移动计算设备144/146接收类似的捕捉到的实况音频。
一般而言并再次参考图1,MD 100的音频输出设备包括一个或多个声道,用来再现通过网络106从第一非移动计算设备144接收到的从第一远程用户B136捕捉到的实况音频以及通过该网络从第二非移动计算设备146接收到的从第二远程用户C 138捕捉到的实况音频。如在下文更详细地描述的,基于MD的音频输出设备的特定配置,本文描述的OT技术的各实施例可以用各种方式来执行这一音频再现。在OT技术的一个实施例中,MD的音频输出设备具有可连接到集成在MD 100内的单个紧凑扬声器或连接到MD上的单声道音频输出插孔,或连接到这两者的单个声道(未示出)。可以明白,可将外部扬声器或耳机连接到该单声道音频输出插孔。在OT技术的另一实施例中,MD的音频输出设备具有左声道(未示出)和右声道(未示出)。左声道和右声道可以分别连接到集成在MD 100内的第一和第二紧凑扬声器(其中第一和第二扬声器分别位于MD的左侧和右侧),或连接到MD上的立体声音频输出插孔,或连接到这两者。可以明白,一对耳机或一对外部扬声器可被连接到立体声音频输出插孔。
再次参考图1,第一非移动计算设备144经由常规有线连接130或常规无线连接(未示出)连接到分布式通信网络106。第一非移动计算设备144包括各功能组件,如显示设备120、音频捕捉设备(未示出)、视频捕捉设备(122)、以及音频输出设备(未示出)、以及其他。设置视频捕捉设备122的朝向以捕捉显示设备120前面的事物的实况视频。因为非移动用户B 136一般会在遥现会话期间看着显示屏120,视频捕捉设备122一般会捕捉用户B的头和躯干的实况视频。用户B的实况视频包括上述各种类型的信息,并且通过网络106传送到MD 100和第二非移动计算设备146。第一非移动计算设备144通过网络106分别从MD 100和第二非移动计算设备146接收移动用户A 160和第二远程用户C 162的类似的实况视频。
再次参考图1,第一非移动计算设备144的显示设备120可以显示各种类型的信息。在图1中例示的OT技术实施例中,移动用户A 160的实况视频被显示在显示设备120的第一区124内。第二远程用户C 162的实况视频被显示在显示设备120的第二区126内。显示设备120的第三区128一般用作第一远程用户B 136的工作空间。第三区128中可以显示各种类型的信息,包括但不限于上述共享工作空间164(如图1所示)。
再次参考图1,第一非移动计算设备144的音频捕捉设备捕捉从第一远程用户B 136发出的实况音频,如用户B的语音等。所捕捉的实况音频通过分布式通信网络106传送到MD和第二非移动计算设备146。第一非移动计算设备144通过网络106从MD 100和第二非移动计算设备146接收类似的捕捉到的实况音频。
一般而言并再次参考图1,第一非移动计算设备144的音频输出设备包括被用来再现通过网络106从MD 100接收到的从移动用户A 134捕捉到的实况音频以及通过该网络从第二非移动计算设备146接收到的从第二远程用户C138捕捉到的实况音频的一个或多个声道。本文描述的OT技术的各实施例可以用各种方式来执行这一音频再现,这将在下文中详细描述。音频输出设备可以用各种方式来配置,包括但不限于以上针对MD 100所描述的方式。
再次参考图1,第二非移动计算设备146经由常规有线连接132或常规无线连接(未示出)连接到分布式通信网络106。第二非移动计算设备146包括各功能组件,如显示设备110、音频捕捉设备(未示出)、视频捕捉设备(112)、以及音频输出设备(未示出)、以及其他。设置视频捕捉设备112的朝向以捕捉显示设备110前面的事物的实况视频。因为非移动用户C 138一般会在遥现会话期间看着显示屏110,视频捕捉设备112一般会捕捉用户C的头和躯干的实况视频。用户C的实况视频包括上述各种类型的信息,并且通过网络106传送到MD 100和第一非移动计算设备144。第二非移动计算设备146通过网络106分别从MD 100和第一非移动计算设备144接收移动用户A和第一远程用户B的类似的实况视频。
再次参考图1,第二非移动计算设备146的显示设备110可以显示各种类型的信息。在图1中例示的OT技术实施例中,移动用户A 158的实况视频被显示在显示设备110的第一区116内。第一远程用户B 156的实况视频被显示在显示设备110的第二区114内。显示设备110的第三区118一般用作第二远程用户C 138的工作空间。第三区118中可以显示各种类型的信息,包括但不限于上述共享工作空间164(如图1所示)。
再次参考图1,第二非移动计算设备146的音频捕捉设备捕捉从第二远程用户C 138发出的实况音频,如用户C的语音等。所捕捉的实况音频通过分布式通信网络106传送到MD和第一非移动计算设备144。第二非移动计算设备146通过网络106从MD 100和第一非移动计算设备144接收类似的捕捉到的实况音频。
一般而言并再次参考图1,第二非移动计算设备146的音频输出设备包括一个或多个声道,用来再现通过网络106从MD 100接收到的从移动用户A 134捕捉到的实况音频以及通过该网络从第一非移动计算设备144接收到的从第一远程用户B 136捕捉到的实况音频。本文描述的OT技术的各实施例可以用类似于第一非移动计算设备144的那些方式的各种方式来执行这一音频再现。音频输出设备可以用也类似于第一非移动计算设备144的那些方式的各种方式来配置。
注意,本文描述的OT技术的替换实施例是可能的,其中非移动计算设备中的一个或多个包括单独的显示设备、单独的音频捕捉设备、单独的视频捕捉设备、以及用于参与会话的每一远程用户的单独的音频输出设备并且还包括在其上显示工作空间的另一显示设备。在这样的实施例中,该单独的显示器、音频捕捉设备、视频捕捉设备、以及用于每一远程用户的音频输出设备可在物理上集成在一起,使得它们用作远程用户的代用品。
再次参考图1,MD 100的上述专用动作传感设备对MD的空间朝向进行传感并测量MD的任何物理移动的方向(以及其他)。如下文更详细地描述的,MD 100将这一空间朝向和移动信息用于各种目的,如控制其GUI以及动态地适应如何将远程用户B 136和远程用户C 138的实况视频以及来自用户B和用户C的实况音频呈现给移动用户A 134。加速计通常被用作专用动作传感设备,但也可以使用其他类型的动作传感设备。
本文描述的OT技术的各实施例包括但不限于MD作手势特征、注视知晓特征、立体声特征、以及各种工作空间特征。如可从以下对这些特征的更详细描述中明白的,这些特征既单独地又共同地用于优化参与遥现会话的每一移动用户和每一非移动用户的遥现。
1.2移动设备(MD)作手势
一般而言,本文描述的OT技术的MD作手势特征允许给定移动用户在遥现会话期间通过以规定方式对MD作手势来改变MD显示屏上显示的事物。如此,MD作手势特征可以在用于该会话中的每一MD上操作。
图2以简化的形式示出用于实现移动用户用来参与同第一远程用户和第二远程用户的遥现会话的MD上的MD作手势特征的过程的一示例性实施例。如图2所示,该过程始于框200,在此启动遥现会话。随后通过网络接收第一和第二远程用户的实况视频(框202)。随后在MD的显示屏上显示默认信息(框204)。在本文描述的OT技术的一示例性实施例中,这一默认信息是工作空间,如上所述该工作空间可以是共享工作空间或个人工作空间。假定该会话仍然是活动的(框206,否),每当默认信息被显示并且移动用户使用第一规定动作对MD作手势时(框208,是),就将第一远程用户的实况视频显示在MD的显示屏上(框210)。显示第一远程用户的实况视频的这一动作可任选地包括向移动用户提供触觉反馈以通知他们在显示屏上显示的事物已改变。如果移动用户随后使用第二规定动作对MD作手势(框212,是),则在MD显示屏上重新显示默认信息(框204)。重新显示默认信息的这一动作可任选地包括向移动用户提供触觉反馈以通知他们在显示屏上显示的事物又一次被改变。
再次参考图2,每当默认信息被显示并且移动用户使用第二规定动作对MD作手势时(框214,是),就将第二远程用户的实况视频显示在MD的显示屏上(框216)。显示第二远程用户的实况视频的这一动作可任选地包括出于以上提供的原因来向移动用户提供触觉反馈。如果移动用户随后使用第一规定动作对MD作手势(框218,是),则在MD显示屏上重新显示默认信息(框204)。重复框204-218的动作,直至遥现会话结束(框206,是)。本文描述的OT技术的各实施例在它们准许MD整个显示屏被用于工作空间(即,远程用户的实况视频不会使可用于工作空间的屏幕可操作区域减少)方面是有利的。OT技术的各实施例在它们向移动用户提供远程用户和工作空间之间的空间位置的感知方面也是有利的。
上述触觉反馈可以在先前显示在显示屏上的旧内容与当前显示的新内容之间的转换中提供给移动用户,或新内容一被完全显示就将上述触觉反馈提供给移动用户。可用于各种方式将触觉反馈提供给移动用户。在本文描述的OT技术的一个实施例中,其中MD包括可任选地集成在MD内的振动马达,可以通过在规定的短暂时间段内刺激振动马达来提供触觉反馈。在OT技术的一示例性实施例中,这一时间段是3秒。在OT技术的另一实施例中,触觉反馈可伴有音频反馈、或视频反馈、或音频和视频反馈两者。
在本文描述的OT技术的一直观实施例中,第一规定动作是向左的动作且第二规定动作是向右的动作(从握住MD的移动用户的角度看)。在这一实施例的一个实现中,向左的动作是MD向其左边倾斜(即,移动用户绕其向上垂直轴来逆时针旋转MD),且向右的动作是MD向其右边倾斜(即,移动用户绕其向上垂直轴来顺时针旋转MD)。在这一实施例的另一实现中,向左的动作是MD在水平上向其垂直轴左侧移动,并且向右的动作是MD在水平上向其垂直轴右侧移动。
在本文描述的OT技术的另一直观实施例中,第一规定动作是向上的动作且第二规定动作是向下的动作(从握住MD的移动用户的角度看)。在这一实施例的一个实现中,向上动作是MD向其顶边倾斜(即,移动用户绕其向右水平轴来逆时针旋转MD),且向下动作是MD向其底边倾斜(即,移动用户绕其向右水平轴来顺时针旋转MD)。在这一实施例的另一实现中,向上动作是MD在垂直上向其水平轴上侧移动,并且向下动作是MD在垂直上向其水平轴下侧移动。
对于在移动用户使用第一规定动作相比第二规定动作来对MD作手势时显示了哪一用户的确定一般是任意的。MD在遥现会话启动时作出这一确定,并且一般在遥现会话的持续时间期间维持这一确定。MD随后通过网络将信息传送到每一远程用户的计算设备,该信息指定在移动用户使用第一动作对MD作手势时其实况视频被显示的特定远程用户,并且还指定在移动用户使用第二动作对MD作手势时其实况视频被显示的另一个特定远程用户。每当给定远程用户的计算设备具有单个显示设备/屏幕时,该计算设备就利用这一信息来确定要将每一远程用户的实况视频显示在其显示设备/屏幕上的何处。每当给定远程用户的计算设备对于参与会话的每一远程用户都具有一单独的显示设备并且还具有在其上显示工作空间的另一显示设备时,该计算设备就利用这一信息来确定要在哪一显示设备上显示每一远程用户的实况视频。在这两种情况下,该计算设备以维持参与遥现会话的不同用户之间的直观且一致的空间相互关系的方式来作出这一确定。可以明白,移动用户使用第一规定动作对MD作手势以查看第一远程用户的实况视频、使用第二规定动作对MD作手势以查看第二远程用户的实况视频用作参与遥现会话的远程用户的空间比方,其中这一比方对移动用户而言既是自然的也是直观的。
不同用户之间的这种一致的空间相互关系的示例性实施例在图1中如下示出。MD确定在移动用户A将MD向其左边倾斜时显示远程用户B的实况视频,并且在用户A将MD向其右边倾斜时显示远程用户C的实况视频。如此,用户B比方位于用户A的左侧,并且用户C比方位于用户A的右侧。在从MD接收到这一信息之后,用户B的计算设备确定用户A的实况视频要显示在其显示设备的右侧并且用户C的实况视频要显示在其显示设备的左侧,并且用户C的计算设备确定用户B的实况视频要显示在其显示设备的右侧且用户A的实况视频要显示在其显示设备的左侧。
1.3注视知晓
一般而言,本文描述的OT技术的各实施例的注视知晓特征通过计算注视信息并通过网络将该注视信息传送给每一远程用户的远程MD或非移动计算设备来优化参与遥现会话的每一用户的遥现,其中注视信息指定给定本地用户当前正看着他们的显示设备/屏幕的什么。每一MD和非移动计算设备使用它接收到的注视信息来对将信息显示在其显示设备/屏幕上的方式进行动态适应。如此,注视知晓特征可以在该会话中使用的每一MD和每一非移动计算设备上操作。注视知晓特征一般包括传输组件和接收组件,现在将更详细地讨论这两者。
图3以简化的形式示出用于实现本地计算设备上的注视知晓特征的传输组件的过程的一示例性实施例,其中本地用户使用该本地计算设备参与同第一远程用户和第二远程用户的遥现会话。注意,本地计算设备可以是MD或非移动计算设备。如图3所示,该过程在框300开始,其中本地计算设备计算本地用户的指定本地用户当前正看着本地显示设备/屏幕上的什么的注视信息。在本地计算设备是MD的情况下,这一计算涉及简单地指定当前在MD的显示屏上正显示什么。在本地计算设备是只具有单个显示设备和单个视频捕捉设备的非移动计算设备的情况下,这一计算可以涉及处理由单个视频捕捉设备捕捉到的本地非移动用户的实况视频。如果本地用户当前正看着本地显示设备/屏幕上的特定远程用户的实况视频,则计算得到的注视信息可任选地包括该特定远程用户的名字。
再次参考图3,一旦计算得到了本地用户的注视信息(框300),随后通过网络将它传送给第一和第二远程用户的远程计算设备(框302)。只要遥现会话仍然活动(框304,否),本地计算设备就继续计算本地用户的经修正的注视信息(框306)。每当经修正的注视信息与所传送的注视信息不同时(换言之,具体参考MD,不论移动用户正在看着的MD的显示屏上的什么发生改变)(框308,是),本地用户的经修订的注视信息就将通过网络传送给第一和第二远程用户的远程计算设备(框310)。重复框304-310的动作,直至遥现会话结束(框304,是)。
图4以简化的形式示出用于实现本地计算设备上的注视知晓特征的接收组件的过程的一示例性实施例,其中本地用户使用该本地计算设备参与同第一远程用户和第二远程用户的遥现会话。本地计算设备仍然可以是MD或非移动计算设备。如图4所示,该过程在框400开始,其中本地计算设备通过网络接收第一和第二远程用户的注视信息,其中这一信息指定第一和第二远程用户各自当前正看着他们各自的显示设备/屏幕上的什么。每当特定远程用户的注视信息指定该特定远程用户当前正看着其他远程用户的工作空间或实况视频时,在将该特定远程用户的实况视频显示在本地显示设备/屏幕上时将对该实况视频加以区别(框402)。重复框400和402的动作,直至遥现会话结束(框404,是)。
一般而言,上述视频区别是以向本地用户指示其实况视频被加以区别的特定远程用户没有在看着该本地用户的方式来实现的。更具体地,在本文描述的OT技术的一个实施例中,通过模糊该特定远程用户的视频来实现视频区别。其中用其他方式来实现视频区别的其他OT技术实施例也是可能的。作为示例而非限制,每当特定远程用户的注视信息指定该特定远程用户当前正看着其他远程用户的实况视频时,该特定远程用户的实况视频就可被倾斜以向本地用户给出以下印象:该特定远程用户正看向其他远程用户的方向上。
1.4立体声
一般而言,本文描述的OT技术的各实施例的立体声特征还通过基于当前在MD的显示屏上显示了什么来动态地适应将通过网络从每一远程用户的MD或非移动计算设备接收到的上述实况音频呈现给移动用户的方式来优化参与遥现会话的每一用户的遥现。如此,立体声特征可以在用于该会话中的每一MD上操作。
图5以简化的形式示出用于实现移动用户用来参与同第一远程用户和第二远程用户的遥现会话的MD上的立体声特征的过程的一示例性实施例。如图5所示,该过程在框500开始,其中通过网络接收第一和第二远程用户的实况视频和实况音频。每当MD的显示屏上显示了工作空间时(框502,是),就以默认方式经由音频输出设备再现第一和第二远程用户的实况音频(框504),这将在以下更详细地描述。每当MD的显示屏上显示了第一远程用户的实况视频时(框506,是),以强调第一远程用户的方式(在也将在以下更详细地描述)来经由音频输出设备再现第一和第二远程用户的实况音频(框508)。每当MD的显示屏上显示了第二远程用户的实况视频时(框510,是),就以强调第二远程用户的方式(在也将在以下更详细地描述)来经由音频输出设备再现第一和第二远程用户的实况音频(框512)。重复框500-512的动作,直至遥现会话结束(框514,是)。
假定其中MD的音频输出设备具有左声道和右声道的上述情况,以默认方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第一远程用户的实况音频可只通过左声道来再现,并且第二远程用户的实况音频可只通过右声道来再现。在同样的情况下,以强调第一远程用户的方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第一远程用户的实况音频可通过左声道和右声道两者来再现,而第二远程用户的实况音频可只通过右声道来再现;第二远程用户的实况音频的音量也可任选地降低规定百分比。在同样的情况下,以强调第二远程用户的方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第二远程用户的实况音频可通过左声道和右声道两者来再现,而第一远程用户的实况音频可只通过左声道来再现;第一远程用户的实况音频的音量也可任选地降低规定百分比。在本文描述的OT技术的一示例性实施例中,规定百分比是75%。
假定其中MD的音频输出设备具有单个声道的上述情况,以默认方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第一远程用户的实况音频可通过该单个声道以第一音量再现,而第二远程用户的实况音频也可通过该单个声道以第一音量再现。在同样的情况下,以强调第一远程用户的方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第一远程用户的实况音频可通过该单个声道以第一音量再现,而第二远程用户的实况音频可通过该单个声道以比第一音量小的第二音量再现。在同样的情况下,以强调第二远程用户的方式经由音频输出设备再现第一和第二远程用户的实况音频的动作可如下实现:第二远程用户的实况音频可通过该单个声道以第一音量再现,而第二远程用户的实况音频也可通过该单个声道以第一音量再现。在本文描述的OT技术的一示例性实施例中,第二音量比第一音量小75%。
1.5工作空间
再次参考图1,本章节提供可在遥现会话期间显示的工作空间164的各特征的更详细描述。一般而言,该工作空间包括一个或多个数据对象148或者一个或多个注释150或者一个或多个数据对象和一个或多个注释的组合。示例性数据对象包括但不限于文档,视频,图像,演示,以及诸如日历、电子邮件等给定应用程序所专用的其他类型的数据。如上所述,MD 100上显示的工作空间164可以是共享工作空间(如图1所示)或个人工作空间(未示出)。如图1所示,共享工作空间可以被参与遥现会话的不同用户134/136/138使用常规方法来协作式地查看、操纵、以及注释。换言之,任何用户134/136/138可以显示共享工作空间中的数据对象,并且任何用户可以生成共享工作空间中的注释,并且这些数据对象和注释可被其他用户协作式地查看、操纵、以及注释。个人工作空间只显示在移动用户A 134的显示屏104上。换言之,个人工作空间只可由移动用户A 134来查看和操纵。
在其中MD的显示屏是触敏的上述情况下,在本文描述的OT技术的一个实施例中,移动用户可以通过利用在物理上接触MD的显示屏的定点设备来操纵并注释MD上显示的工作空间。在这一实施例的一个实现中,定点设备可以是移动用户在其支配手中握着的笔。在这一实施例的另一实现中,定点设备可以是移动用户的支配手的一个或多个手指。这一实施例的其中移动用户使用其他类型的定点设备的其他实现也是可能的。在OT技术的另一实施例中,移动用户可以通过使用他们的支配手上的一个或多个手指在物理上接触MD的显示屏来操纵工作空间,并且移动用户可以通过使用他们在其支配手中握着的笔在物理上接触显示屏来注释该工作空间。在其中移动用户在遥现会话期间握住MD的情况下,因为如上所述他们一般在其非支配手中握住它,所以他们的支配手一般能自由操纵并注释工作空间并且还能自由作出对参与该会话的远程用户可见的手势。
一般而言,每当工作空间是个人工作空间并且MD的显示屏是触敏显示屏时,移动用户就可以通过使用屏幕上的定点设备将信息“轻触”给(参与同该移动用户的遥现会话的)远程用户来向远程用户发送消息。更具体地且作为示例而非限制,假定MD确定在移动用户A将MD向其左边倾斜时显示远程用户B的实况视频,并且在用户A将MD向其右边倾斜时显示远程用户C的实况视频。在这种情况下,在用户A触摸MD的显示屏上显示的特定数据对象并将该数据对象沿屏幕向左拖动时,MD会通过网络将该特定数据对象传送给用户B的计算设备。在用户A触摸MD的显示屏上显示的特定数据对象并将该数据对象沿屏幕向右拖动时,MD会通过网络将该特定数据对象传送给用户C的计算设备。
2.0附加实施例
尽管具体参考各实施例描述了OT技术,但可以理解,可对这些实施例作出修改和变化而不背离本发明OT技术的真正精神和范围。作为示例而非限制,虽然在位于彼此远处的三个用户之间的遥现会话的上下文中(其中这些用户之一使用MD参与该会话)描述了OT技术的各实施例,OT技术的各实施例也可支持仅两个用户之间的遥现会话。此外,在遥现会话开始时显示在MD的显示屏上的默认信息并非是工作空间,这一默认信息可以是其中显示规定远程用户(如加入该会话的最新近的远程用户)的实况视频的个人空间。另外,每一不同位置并非只有单个参与该会话的用户,这些位置中的一个或多个可以是其中具有超过一个参与该会话的人的常规公共电信会议室。在这种情况下,每当使用MD参与该会话的移动用户显示从电信会议室传送的实况视频时,取决于该室中的当前情况,他们就可以只看到该电信会议室中的当前正在讲话的给定人、该室中的人的子集、或该室中的人的整个集合。
另外,第一/第二规定动作并非是如上所述的向左/向右动作或向上/向下动作,第一/第二规定动作也可以是其他类型的动作。作为示例而非限制,第一规定动作可以是向西北方向的对角动作,并且第二规定动作可以是向东南方向的对角动作。作为另一示例,第一规定动作可以是向西南方向的对角动作,并且第二规定动作可以是向东北方向的对角动作。此外,并非通过使用定点设备在物理上接触MD的显示屏来操纵和注释显示在该屏幕上的工作空间,移动用户可以通过将其支配手上的一个或多个手指置于屏幕附近从而在屏幕上生成“手指阴影”,并随后以适当的方式移动他们的手指以表达所需操纵/注释来操纵/注释该工作空间。
另外,移动用户并非使用第一规定动作对他们的MD作手势来在MD的显示屏上查看第一远程用户的实况视频、以及使用第二规定动作对他们的MD作手势来查看第二远程用户的实况视频,移动用户还可以只使用第一规定动作或只使用第二规定动作重复地对他们的MD作手势以顺序地显示参与遥现会话的每一远程用户的实况视频。作为示例而非限制,在本文描述的OT技术的一示例性替换实施例中,在MD的第一向左动作后,将显示第一远程用户的实况视频,并且在MD的后续向左动作后,将显示第二远程用户的实况视频。
考虑其中移动用户和两个非移动用户参与遥现会话的情况。非移动用户中的每一个正使用包括为参与会话的每一远程用户在其中集成了单独显示设备和单独视频捕捉设备的非移动计算设备。每一非移动计算设备还包括其上显示工作空间的另一显示设备。如上所述,每一集成的显示器和视频捕捉设备用作其相关联的远程用户的代用品。在这种情况下,出于以下原因,注视知晓特征的上述传输组件在非移动计算设备上是不必要的。每一非移动计算设备可以处理由每一代用品捕捉到的其用户的视频,以确定其用户当前是否正看着该代用品或工作空间或另一代用品。如果给定的非移动计算设备确定其用户当前正看着工作空间,则该非移动计算设备可在通过网络将其用户的实况视频传送给这两个远程用户的计算设备之前对该实况视频加以区别。因此,在这种情况下,将会明白,注视知晓特征的上述接收组件在移动用户的MD上是不必要的。
OT技术的各实施例也可以缩放以支持超过三个用户。在这种情况下并且一般而言,假定用户之一是使用MD参与遥现会话的移动用户,则在该会话启动时,MD生成包括参与该会话的每一远程用户的有序列表。MD随后将该列表分成两半,产生第一半远程用户的有序列表和第二半远程用户的有序列表。MD随后确定在移动用户使用上述第一规定动作对MD作手势时以顺序的方式显示第一半远程用户的实况视频。MD还确定在移动用户使用上述第二规定动作对MD作手势时以顺序的方式显示第二半远程用户的实况视频。MD随后通过网络将信息传送给每一远程用户的计算设备,该信息标识在移动用户使用第一动作对MD作手势时显示其实况视频的第一半远程用户,并且还标识在移动用户使用第二动作对MD作手势时显示其实况视频的第二半远程用户。在给定远程用户的计算设备只具有单个显示设备/屏幕的情况下,该计算设备随后利用这一信息来确定要将每一远程用户的实况视频显示在其显示设备/屏幕上的何处。在给定远程用户的计算设备具有用于参与该会话的每一远程用户的单独的显示设备和单独的音频输出设备并且还具有在其上显示工作空间的另一显示设备的情况下,该计算设备随后利用这一信息来确定要在哪一显示设备上显示每一远程用户的实况视频以及要在哪一音频输出设备上再现每一远程用户的实况音频。在这两种情况下,以维持参与遥现会话的不同用户之间的直观且一致的空间相互关系的方式来作出这一确定。现在将提供这一情况的更具体的示例性实现。
假定一场景,其中移动用户使用MD参与同第一远程用户、第二远程用户以及第三远程用户的遥现会话,这些远程用户中的每一个使用只具有单个显示设备/屏幕的计算设备。还假定MD确定在移动用户将MD向其左边倾斜时以顺序的方式显示第一和第二远程用户的实况视频,并且确定在移动用户将MD向其右边倾斜时显示第三远程用户的实况视频。换言之,每当MD的显示屏上显示默认信息并且移动用户将MD向其左边倾斜时,第一远程用户的实况视频就将被显示在MD的显示屏上。如果移动用户再次将MD向其左边倾斜,则将显示第二远程用户的实况视频。如果移动用户随后将MD向其右边倾斜,则将重新显示第一远程用户的视频。如果移动用户再次将MD向其右边倾斜,则将重新显示默认信息。每当MD的显示屏上显示默认信息并且移动用户将MD向其右边倾斜时,就将显示第三远程用户的实况视频。如果移动用户随后将MD向其左边倾斜,则将重新显示默认信息。
如此,在这种情况下,第一和第二远程用户比方位于移动用户左侧,并且第三远程用户比方位于移动用户右侧。在从MD接收到这一信息之后,第一远程用户的计算设备确定移动用户的实况视频要被显示在其显示设备/屏幕的右侧,而第二和第三远程用户的实况视频要被显示在左侧。第二远程用户的计算设备确定第一远程用户的实况视频要被显示在其显示设备/屏幕的右侧,而第三远程用户和移动用户的实况视频要被显示在左侧。第三远程用户的计算设备确定第二远程用户的实况视频要被显示在其显示设备/屏幕的右侧,而第一远程用户和移动用户的实况视频要被显示在左侧。
注意,可以按所需的任何组合来使用上述实施例的任一个或全部以形成另外的混合实施例。尽管用对结构特征和/或方法动作专用的语言描述了各OT实施例,但可以理解,所附权利要求书中定义的主题不必限于至今所述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式公开的。
3.0计算环境
本节提供了对其中可实现本文所描述的OT技术实施例的各部分的合适的计算系统环境的简要、概括描述。这些OT技术实施例可用于众多通用或专用计算系统环境或配置。合适的示例性公知计算系统、环境和/或配置的示例包括但不限于,个人计算机(PC)、服务器计算机、手持式设备(诸如蜂窝电话等)、膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一种的分布式计算环境等等。
图6以简化的形式示出了根据本文所描述的OT技术实施例的合适的计算系统环境的一示例性实施例。图6所示的环境只是合适的计算系统环境的一个示例,并且不旨在对本文所描述的OT技术实施例的使用范围或功能提出任何限制。也不应该把该计算系统环境解释为对图6所例示的任一组件或其组合有任何依赖性或要求。
如图6所例示的,用于实现本文所描述的OT技术实施例的各部分的示例性系统包括一个或多个计算设备,诸如计算设备600。在其最简单的配置中,计算设备600通常包括至少一个处理单元602和存储器604。取决于计算设备的具体配置和类型,存储器604可以是易失性的(诸如RAM)、非易失性的(诸如ROM和闪存等)或是两者的某种组合。该最简单的配置由虚线606示出。
如图6所例示的,计算设备600还可具有附加特征和功能。作为示例,计算设备600可包括附加存储,诸如可移动存储608和/或不可移动存储610。该附加存储包括但不限于,磁盘、光盘和磁带。计算机存储介质通常包含用任何方法或技术来实现的易失性和非易失性介质以及可移动和不可移动介质。计算机存储介质提供对诸如与操作系统、应用程序和其他程序模块以及数据结构相关联的计算机可读指令等操作设备600所需的各种信息的存储。存储器604、可移动存储608和不可移动存储610都是计算机存储介质的示例。计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储技术、磁带盒、磁带、磁盘存储或其他磁性存储设备、或可用于存储所需信息并且可由计算设备600访问的任何其他介质。任何这样的计算机存储介质都可以是计算设备600的一部分。
如图6所例示的,计算设备600还包括通信连接612,该通信连接允许设备在联网环境中操作并与诸如远程计算设备618等远程计算设备通信。远程计算设备618可以是上述计算系统、环境和/或配置中的任一种,或可以是路由器、对等设备或其他常见网络节点,并且通常包括此处所描述的与计算设备600相关的元素中的许多或全部。计算设备之间的通信通过一个或多个网络620发生,这些网络中的每一个都在计算设备之间提供逻辑连接。逻辑连接都可包括一种或多种不同类型的网络,包括但不限于,局域网(LAN)和广域网(WAN)。这些联网环境常见于在常规办公室、企业范围计算机网络、内联网和因特网。可以理解,此处所描述的通信连接612及相关网络620是示例性的,且可以使用在计算设备之间建立通信的其他手段。
如图6所例示的,通信连接612及相关网络620是通信介质的示例。通信介质通常以诸如载波或其他传输机制的已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据,并包括任意信息传送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制,通信介质包括有线介质,如有线网络或直接连线连接,以及无线介质,如声学、RF、红外线、调频(FM)无线电和其他无线介质。如此处所用的术语“计算机可读介质”既包括上述存储介质又包括通信介质。
如图6所例示的,计算设备600还可包括包含一个或多个输入设备614以及一个或多个输出设备616的用户接口。示例性输入设备614包括但不限于,键盘、鼠标、笔、触摸输入设备、音频输入设备(如话筒等)、以及照相机,以及其他。用户可通过输入设备614来将命令和各种类型的信息输入到计算设备600中。示例性输出设备616包括但不限于,显示设备、打印机和音频输出设备(如一个或多个扬声器、耳机等),以及其他。这些输入和输出设备是公知的且无需在此赘述。
再次参考图6,本文所描述的OT技术实施例还可在诸如程序模块等由计算设备600执行的计算机可执行指令的一般上下文中描述和/或实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。OT技术实施例还可在其中任务由通过通信网络618/612链接的一个或多个远程计算设备620执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括但不限于存储器604和存储设备608/610的本地和远程计算机存储介质中。

Claims (10)

1.一种用于优化参与遥现会话的两个或更多个用户的遥现的计算机实现的方法,所述用户包括利用包含显示屏的移动设备MD的移动用户,和各自利用经由网络连接到所述MD的计算机的一个或多个远程用户,包括:
使用所述MD执行以下过程动作:
通过所述网络接收第一远程用户的实况视频;
在所述显示屏上显示默认信息;
每当所述移动用户使用第一动作对所述MD作手势时,就将所述第一远程用户的视频显示在所述显示屏上。
2.如权利要求1所述的方法,其特征在于,所述方法还包括以下动作:
通过所述网络接收第二远程用户的实况视频;以及
每当所述移动用户使用第二动作对所述MD作手势时,将所述第二远程用户的视频显示在所述显示屏上。
3.如权利要求2所述的方法,其特征在于,还包括以下动作:通过所述网络将信息传送到每一远程用户的计算机,指定当所述移动用户使用所述第一动作对所述MD作手势时显示所述第一远程用户的视频,并且当所述移动用户使用所述第二动作对所述MD作手势时显示所述第二远程用户的视频,其中,
每当给定远程用户的计算机包括单个显示设备时,所述计算机就利用所述信息来确定要将所述第一远程用户的视频和所述第二远程用户的视频显示在所述显示设备上何处,所述确定是以维持所述移动用户、第一远程用户以及第二远程用户之间的直观且一致的空间相互关系的方式作出的,以及
每当给定远程用户的计算机包括用于参与所述会话的每一远程用户的单独的显示设备时,所述计算机就利用所述信息来确定要在哪一显示设备上显示每一远程用户的实况视频,所述确定是以维持所述移动用户、第一远程用户以及第二远程用户之间的直观且一致的空间相互关系的方式作出的。
4.如权利要求2所述的方法,其特征在于,所述MD还包括捕捉所述移动用户的实况视频的面向前方的视频捕捉设备,还包括以下动作:
(a)通过所述网络将注视信息传送给每一远程用户的计算机,所述信息指定所述移动用户当前正在看所述显示屏上的什么;
(b)每当所述显示屏上的所述移动用户正在看的改变时,通过所述网络将经修正的注视信息传送给每一远程用户的计算机;以及
(c)重复动作(b)直至所述遥现会话结束。
5.如权利要求2所述的方法,其特征在于,还包括以下动作:
(a)通过所述网络接收所述第一远程用户的注视信息,其中所述信息指定所述第一远程用户当前正在看他们的显示设备上的什么;
(b)通过所述网络接收所述第二远程用户的注视信息,其中所述信息指定所述第二远程用户当前正在看他们的显示设备上的什么;
(c)每当所述第一远程用户的注视信息指定他们当前正在看工作空间或所述第二远程用户的视频时,在将所述第一远程用户的视频显示在所述显示屏上时对该视频加以区别,所述区别是以向所述移动用户指示所述第一远程用户没有在看着所述移动用户的方式来实现的;
(d)每当所述第二远程用户的注视信息指定他们当前正在看工作空间或所述第一远程用户的视频时,在将所述第二远程用户的视频显示在所述显示屏上时对该视频加以区别,所述区别是以向所述移动用户指示所述第二远程用户没有在看着所述移动用户的方式来实现的;以及
(e)重复动作(a)-(d)直至所述遥现会话结束。
6.如权利要求2所述的方法,其特征在于:
所述第一动作包括向左的动作而所述第二动作包括向右的动作,
所述工作空间包括包含一个或多个数据对象的个人工作空间,
所述个人工作空间只能由所述移动用户查看和操纵,以及
所述显示屏是触敏的,还包括以下动作:
当所述移动用户触摸特定数据对象并将它沿所述显示屏向左拖动时,通过所述网络将所述特定数据对象传送到所述第一远程用户的计算机;以及
当所述移动用户触摸特定数据对象并将它沿所述显示屏向右拖动时,通过所述网络将所述特定数据对象传送到所述第二远程用户的计算机。
7.如权利要求1所述的方法,其特征在于:
所述工作空间包括共享工作空间,所述共享工作空间包含一个或多个数据对象,或一个或多个注释,或一个或多个数据对象和一个或多个注释的组合,以及
所述共享工作空间能由所述移动用户和远程用户协作式地查看、操纵、以及注释。
8.一种用于优化参与遥现会话的三个或更多个用户的遥现的计算机实现的方法,所述用户包括利用包含显示屏和音频输出设备的移动设备MD的移动用户和各自利用经由网络连接到所述MD的计算机的两个或更多个远程用户,包括:
使用所述MD执行以下过程动作:
通过所述网络接收第一远程用户的实况视频和实况音频;
通过所述网络接收第二远程用户的实况视频和实况音频;
在所述显示屏上显示工作空间,并经由所述音频输出设备以默认方式再现所述第一和第二远程用户的音频;
在所述移动用户使用第一动作对所述MD作手势时,
在所述显示屏上显示所述第一远程用户的视频,以及
经由所述音频输出设备以强调所述第一远程用户的方式再现所述第一和第二远程用户的音频;以及
在所述移动用户使用第二动作对所述MD作手势时,
在所述显示屏上显示所述第二远程用户的视频,以及
经由所述音频输出设备以强调所述第二远程用户的方式再现所述第一和第二远程用户的音频。
9.如权利要求8所述的方法,其特征在于:
所述音频输出设备包括单个声道,
经由所述音频输出设备以默认方式再现所述第一和第二远程用户的音频的过程动作包括,通过所述声道以第一音量再现所述第一远程用户的音频以及通过所述声道以所述第一音量再现所述第二远程用户的音频的动作,
经由所述音频输出设备以强调所述第一远程用户的方式再现所述第一和第二远程用户的音频的过程动作包括,通过所述声道以所述第一音量再现所述第一远程用户的音频以及通过所述声道以小于所述第一音量的第二音量再现所述第二远程用户的音频的动作,以及
经由所述音频输出设备以强调所述第二远程用户的方式再现所述第一和第二远程用户的音频的过程动作包括,通过所述声道以所述第一音量再现所述第二远程用户的音频以及通过所述声道以所述第二音量再现所述第一远程用户的音频的动作。
10.如权利要求8所述的方法,其特征在于:
所述音频输出设备包括左声道和右声道,
经由所述音频输出设备以默认方式再现所述第一和第二远程用户的音频的过程动作包括,只通过所述左声道再现所述第一远程用户的音频以及只通过所述右声道再现所述第二远程用户的音频的动作,
经由所述音频输出设备以强调所述第一远程用户的方式再现所述第一和第二远程用户的音频的过程动作包括,通过所述左声道和右声道两者再现所述第一远程用户的音频以及只通过所述右声道再现所述第二远程用户的音频的动作,以及
经由所述音频输出设备以强调所述第二远程用户的方式再现所述第一和第二远程用户的音频的过程动作包括,只通过所述左声道再现所述第一远程用户的音频以及通过所述左声道和右声道两者再现所述第二远程用户的音频的动作。
CN201110330868.4A 2010-10-19 2011-10-18 使用移动设备姿势的优化遥现 Active CN102447877B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/907,244 2010-10-19
US12/907,244 US9294722B2 (en) 2010-10-19 2010-10-19 Optimized telepresence using mobile device gestures

Publications (2)

Publication Number Publication Date
CN102447877A true CN102447877A (zh) 2012-05-09
CN102447877B CN102447877B (zh) 2015-12-16

Family

ID=45933808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110330868.4A Active CN102447877B (zh) 2010-10-19 2011-10-18 使用移动设备姿势的优化遥现

Country Status (4)

Country Link
US (1) US9294722B2 (zh)
EP (2) EP3076665A1 (zh)
CN (1) CN102447877B (zh)
WO (1) WO2012054213A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237247A (zh) * 2013-03-29 2013-08-07 东莞宇龙通信科技有限公司 一种终端与网络播放器同步显示的系统及方法
CN103986903A (zh) * 2013-12-24 2014-08-13 三亚中兴软件有限责任公司 一种控制视频源的方法和视频会议终端
CN104166514A (zh) * 2013-05-17 2014-11-26 株式会社理光 信息处理装置、信息处理系统和信息显示方法
CN106797430A (zh) * 2014-10-10 2017-05-31 微软技术许可有限责任公司 遥现体验

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781452B2 (en) 2011-02-21 2014-07-15 Motorola Mobility Llc Wireless devices and methods of operating wireless devices based on the presence of another person
US20120221960A1 (en) * 2011-02-28 2012-08-30 Robinson Ian N Collaborative workspace viewing for portable electronic devices
US9204094B2 (en) * 2011-06-28 2015-12-01 Lifesize Communications, Inc. Adjusting volume of a videoconference using touch-based gestures
US9392102B2 (en) * 2011-08-23 2016-07-12 Samsung Electronics Co., Ltd. Apparatus and method for providing panoramic view during video telephony and video messaging
US9984408B1 (en) * 2012-05-30 2018-05-29 Amazon Technologies, Inc. Method, medium, and system for live video cooperative shopping
US9113033B2 (en) 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
WO2015026350A1 (en) * 2013-08-22 2015-02-26 Empire Technology Development, Llc Influence of line of sight for driver safety
JP5871876B2 (ja) * 2013-09-30 2016-03-01 シャープ株式会社 情報処理装置及び電子会議システム
US8856948B1 (en) * 2013-12-23 2014-10-07 Google Inc. Displaying private information on personal devices
US8811951B1 (en) 2014-01-07 2014-08-19 Google Inc. Managing display of private information
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
JP2016131741A (ja) 2015-01-20 2016-07-25 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
JP2016140720A (ja) * 2015-02-05 2016-08-08 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
EP3461125B1 (en) * 2016-05-18 2024-10-09 Sony Group Corporation Information processing apparatus, information processing method, and program
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US9961302B1 (en) * 2016-12-13 2018-05-01 Cisco Technology, Inc. Video conference annotation
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10311249B2 (en) 2017-03-31 2019-06-04 Google Llc Selectively obscuring private information based on contextual information
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US20210200500A1 (en) * 2017-04-13 2021-07-01 Hewlett-Packard Development Company, L.P. Telepresence device action selection
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
NO20172029A1 (en) * 2017-12-22 2018-10-08 Pexip AS Visual control of a video conference
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN111243579B (zh) * 2020-01-19 2022-10-14 清华大学 一种时域单通道多说话人语音识别方法与系统
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11509863B2 (en) * 2021-03-22 2022-11-22 Google Llc Multi-user interaction slates for improved video conferencing
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US11798204B2 (en) * 2022-03-02 2023-10-24 Qualcomm Incorporated Systems and methods of image processing based on gaze detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050028221A1 (en) * 2003-07-28 2005-02-03 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
US7154526B2 (en) * 2003-07-11 2006-12-26 Fuji Xerox Co., Ltd. Telepresence system and method for video teleconferencing
US20090040289A1 (en) * 2007-08-08 2009-02-12 Qnx Software Systems (Wavemakers), Inc. Video phone system
US7643064B1 (en) * 2005-06-21 2010-01-05 Hewlett-Packard Development Company, L.P. Predictive video device system
US20100228825A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Smart meeting room

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2255382A1 (en) 1997-12-05 1999-06-05 Mcgill University Stereoscopic gaze controller
US6628767B1 (en) 1999-05-05 2003-09-30 Spiderphone.Com, Inc. Active talker display for web-based control of conference calls
US8120625B2 (en) 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US7158534B2 (en) * 2000-11-30 2007-01-02 Imajet Communications, Inc. Unified distributed architecture for a multi-point video conference and interactive broadcast systems
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7593546B2 (en) 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
TW200511101A (en) 2003-09-10 2005-03-16 Benq Corp Dual-screen display apparatus and information processing apparatus
WO2005119404A1 (en) 2004-06-01 2005-12-15 Beech Technology Incorporated Portable, folding and separable multi-display computing system
CN100505864C (zh) 2005-02-06 2009-06-24 中兴通讯股份有限公司 一种多点视频会议系统及其媒体处理方法
KR100948095B1 (ko) * 2005-02-24 2010-03-16 노키아 코포레이션 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
CN101690150A (zh) * 2007-04-14 2010-03-31 缪斯科姆有限公司 基于虚拟现实的电话会议
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
CN103442201B (zh) * 2007-09-24 2018-01-02 高通股份有限公司 用于语音和视频通信的增强接口
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US7840638B2 (en) 2008-06-27 2010-11-23 Microsoft Corporation Participant positioning in multimedia conferencing
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US8185828B2 (en) 2009-04-08 2012-05-22 Cisco Technology, Inc. Efficiently sharing windows during online collaborative computing sessions
US8088010B1 (en) * 2010-07-01 2012-01-03 Otho Dale Hill Online gaming with real-world data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154526B2 (en) * 2003-07-11 2006-12-26 Fuji Xerox Co., Ltd. Telepresence system and method for video teleconferencing
US20050028221A1 (en) * 2003-07-28 2005-02-03 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
US7643064B1 (en) * 2005-06-21 2010-01-05 Hewlett-Packard Development Company, L.P. Predictive video device system
US20090040289A1 (en) * 2007-08-08 2009-02-12 Qnx Software Systems (Wavemakers), Inc. Video phone system
US20100228825A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Smart meeting room

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237247A (zh) * 2013-03-29 2013-08-07 东莞宇龙通信科技有限公司 一种终端与网络播放器同步显示的系统及方法
CN104166514A (zh) * 2013-05-17 2014-11-26 株式会社理光 信息处理装置、信息处理系统和信息显示方法
CN104166514B (zh) * 2013-05-17 2017-09-22 株式会社理光 信息处理装置、信息处理系统和信息显示方法
CN103986903A (zh) * 2013-12-24 2014-08-13 三亚中兴软件有限责任公司 一种控制视频源的方法和视频会议终端
CN106797430A (zh) * 2014-10-10 2017-05-31 微软技术许可有限责任公司 遥现体验
CN106797430B (zh) * 2014-10-10 2019-07-02 微软技术许可有限责任公司 遥现体验

Also Published As

Publication number Publication date
EP2630748B1 (en) 2018-01-17
WO2012054213A2 (en) 2012-04-26
CN102447877B (zh) 2015-12-16
US9294722B2 (en) 2016-03-22
US20120092436A1 (en) 2012-04-19
EP3076665A1 (en) 2016-10-05
WO2012054213A3 (en) 2012-06-14
EP2630748A4 (en) 2015-10-14
EP2630748A2 (en) 2013-08-28

Similar Documents

Publication Publication Date Title
CN102447877B (zh) 使用移动设备姿势的优化遥现
US10911716B2 (en) System and method for interactive video conferencing
US10033967B2 (en) System and method for interactive video conferencing
CN107409060B (zh) 用于在视频/音频电信中的邻近资源池化的设备和方法
US8941710B2 (en) Ambulatory presence features
US20120204120A1 (en) Systems and methods for conducting and replaying virtual meetings
US20120204118A1 (en) Systems and methods for conducting and replaying virtual meetings
US11595448B1 (en) Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session
US11715386B1 (en) Queuing for a video conference session
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
CN103597468A (zh) 用于视频通信系统中改进的交互式内容共享的系统和方法
CN103858423A (zh) 通信系统
TW200910958A (en) Video conferencing system and method
US20120204119A1 (en) Systems and methods for conducting and replaying virtual meetings
CN102637109A (zh) 使用移动设备姿势来进行工作空间操纵
US11546385B1 (en) Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
US12010153B1 (en) Method and apparatus for displaying video feeds in an online meeting user interface in a manner that visually distinguishes a first subset of participants from a second subset of participants
US20160179456A1 (en) Spontaneous Collaboration Apparatus, System and Methods thereof
WO2017035368A1 (en) System and method for interactive video conferencing
WO2019056001A1 (en) INTERACTIVE VIDEOCONFERENCE SYSTEM AND METHOD
CN204721476U (zh) 沉浸式和交互式的视频会议房间环境
Porwol et al. VR-Participation: The feasibility of the Virtual Reality-driven multi-modal communication technology facilitating e-Participation
CN106354254B (zh) 智能路由器的沉浸式交互方法及装置
WO2012109006A2 (en) Systems and methods for conducting and replaying virtual meetings
JP2017038304A (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150720

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150720

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant