CN1732687A - 用于远程临场通信的方法、系统和装置 - Google Patents

Abstract

提供一种在多个地点(100、200)的两个或多个参会者之间的虚拟地点的远程临场通信。对用来描述第一地点的第一参会者所体验的虚拟地点环境的视角的第一视角数据以及从第二地点(210、220)的第二参会者的特征中提取的特征数据进行处理，以便从所述第一参会者(250)的视角产生该虚拟环境中所述第二参会者的第一虚拟表示。同样，对用于说明所述第二参会者所体验的虚拟地点环境的视角的第二视角数据进行处理，以便从所述第二参会者(260)的视角产生该虚拟环境中所述第一参会者的第二虚拟表示。把所述第一和第二虚拟表示再现并显示给各参会者(260、270)。

Description

用于远程临场通信的方法、系统和装置

技术领域

本发明涉及使用声像技术的人际通信，特别涉及用于声像信息传送与接收的方法和系统。

背景技术

有许多这样的情况，一个或多个作为个体的人要观察各种对象或其他的个人，并可能与之交流。当两个或者多个个体需要聚会并讨论共同感兴趣的问题，一种通常的办法就是实际的(面对面)会议。这种形式的会议具有其优点，如直接的个人接触，并可给予各个个体最有效交流的能力，因可以保持眼神交流，并且可以很容易明白身体的姿态，如面部表情、手势和身体姿势。对许多聚会，这是一种优选的交换媒介，如果信息就在会议现场，则可以透明地交换大量信息。

在某些特定情形中，例如长距离通信，安排这样的面对面会议可能是耗时的或代价非常昂贵的。在这些情形中，最常用的办法是通过电话、经由电子邮件或电话会议来交换信息。这些办法中的每个都有严重的缺陷。电话交谈不能提供视觉暗示，而这可能对商业决策是很重要的。而且当聚会涉及两个以上的人的时候，电话交谈很难应付这种情况。电子邮件和普通邮政服务比起面对面的聚会要慢许多，而且不能提供面对面聚会中所具有的视觉或声音暗示。视频电话会议装备的使用使得身在遥远地点的各个人可以通过声/像通信来聚会和交换信息。

但是，两个或多个人之间的面对面聚会与使用视频电话会议的聚会之间存在重要的差异。后者不能提供与前者同样的体验。在面对面的聚会中，我们可以通过三维立体方式、通过颜色并以合适的尺寸来观察其他的人。更重要的是，我们具有进行眼神交流并维持眼神交流的能力。视觉信息有助于产生个人的临场感(sense of presence)。视频电话会议当前的技术状况不能提供这种效果。视频电话会议也不能提供在亲临聚会时可以体会的表情和身体动作的细微差别，因整个图像都是以相同的比例来传输的。这样，皱眉或微笑在面对面情形中的影响要大于在使用视频电话会议情形中的影响，因视频电话会议并不传输嘴周围的确切神态和细节。另外，将存留在特定地点的非面对面信息，如报告、文件等，同参与视频电话会议的其他人交换也受到限制。因此，利用现有的电话会议技术很难传输所期望的质量和数量的面对面信息和非面对面信息。

附图说明

本发明新颖的技术特征在权利要求书中特别说明。通过参考下面的结合附图的本发明详细说明，可以很好地理解本发明的组织结构和操作方法，连同其目的和优点。附图包括：

图1是根据本发明特定实施例的支持虚拟电话会议的系统的框图。

图2是根据本发明特定实施例的描述虚拟电话会议的流程图。

图3是根据本发明特定实施例的虚拟对话会议的框图。

图4是根据本发明特定实施例的示例性的支持虚拟电话会议的系统的更详细框图。

图5示出了根据本发明特定实施例的各种类型的获取元件。

图6示出了根据本发明特定实施例的示例性的数据获取系统。

图7示出了根据本发明特定实施例的图像获取流程。

图8示出了根据本发明特定实施例的图像生成和显示流程。

图9示出了根据本发明特定实施例的示例性三维模型。

图10示出了根据本发明特定实施例的简化的在虚拟地点的第一和第二参会者之间的电话会议。

图11示出了根据本发明特定实施例的具有在虚拟地点的多个参会者的电话会议。

图12示出了根据本发明特定实施例的具有共享目标和多个参会者的电话会议。

具体实施方式

本发明可以有许多不同形式的实施例，在附图中示出了特定的实施例并将在此详细说明，应该理解这里公开的内容应看作是本发明原理的一个例子，而不是要把本发明限制在所示出和说明的特定实施例。在下面的说明中，在附图的几个图中，相同的参考标号用于描述相同、相近或相对应的部件。

参见图1，示出了支持在第一地点100的第一参会者和在第二地点200的第二参会者之间虚拟地点的虚拟电话会议的系统的框图。该系统按照远程临场(telepresence)的方式对本地参会者提供有关一个或多个远程参会者的声像信息的收集、处理和显示，对此将说明。利用来自远程参会者和本地参会者的声像信息的收集和处理，以及远程和本地参会者之间的交互，以及虚拟地点的环境数据，可以在为本地参会者做成的电话会议虚拟地点的环境中，以本地参会者的视角生成、更新和显示一个或多个远程参会者的虚拟表示或化身。本发明的远程临场电话会议可以扩展规模，以适应任何数量的参会者。除参会者1和参会者2之外，增加到虚拟电话会议的每一个参会者可以使用图1中所示出的功能，根据可用的内存和潜在的要求，使所存储的有关增加的参会者的模型信息可被电话会议中其他的每个参会者使用，以便为给定的本地参会者生成电话会议中所有远程参会者的虚拟表示或化身。

分别有获取/跟踪元件104、204来获取由参会者1、2的特征产生的暗示数据。这里所说的暗示数据是指由参会者的特定被监视特征所产生的数据，例如嘴、眼和脸等。所述暗示数据用于提供信息，来增强电话会议虚拟地点的参会者所体验的、称作远程临场的实际临场感。暗示数据可以是图像和/或声音。可视暗示数据是指可由特征的运动来暗示的这类特征的运动的获取数据，例如眉毛和嘴的动作、眨眼动作等，或者可以暗示进行阶段性自动更新。暗示数据还可以有声音部分，并且声音暗示数据的获取可由参会者的嘴所产生的声音或嘴本身的运动来触发。另外要收集的图像暗示数据可以是参会者的手、头、躯干、腿等的运动。如点头、挥手和面部表情等姿态，这对澄清和强化意思很重要，通常会加强交流的体验，因此对增强本发明的远程临场很重要。另外，获取元件104、204可以具有跟踪其所监视的特定特征的运动的能力，后面将做解释。适当的获取元件可以包括摄像机、麦克风和头戴式跟踪设备。可以使用任何数量的获取元件。例如，可以有一个摄像机用来获取和跟踪参会者每个眼睛的运动，另一个摄像机用来获取如嘴运动的面部运动，以及麦克风用来获取参会者发出的任何声音。另外，数据获取装置距离要获取其运动和声音的参会者的远近可以不同。在安装在头上的显示器中，眼、脸、嘴、头的跟踪等获取元件可以安置在该头戴式显示器的眼镜里。或者，获取元件可以是位于桌子、几案或其他靠近参会者的区域上的一系列摄像机。

把数据获取部分结合到单一集成系统中的一个机构是特殊设计的一副眼镜。该眼镜可以收集眼睛和面部跟踪信息，以及通过长杆话筒(boom)收集的声音信息，该话筒是收集装置，可具有到头戴式获取元件的单一连接点。

从参会者收集的暗示数据由处理元件102、104来处理，从由获取元件104、204所获取的原始暗示数据中提取经识别和筛选的特征数据，例如瞳孔运动、眉毛运动、嘴运动等。本地参会者的该提取数据然后可以通过传输元件112、162传送，由同远程参会者相关联的处理器来接收，在那里，使用该经提取的数据连同其他的如环境数据和视角数据，产生本地参会者在虚拟环境中的虚拟表示，用来给一个或多个远程参会者从该远程参会者的视角来观看。

除了从参会者获取图像暗示数据之外，获取元件104、204还用于分别从参会者1、2获取视角数据。应该注意视角数据可以由不同于获取元件102、204的获取元件或与获取元件102、204相分离的获取元件来获取。视角数据是指被监视的参会者的任何朝向或运动，所述朝向或运动可能影响该参会者在电话会议的虚拟环境中的感受。因此，视角数据可以包括参会者的头部运动或朝向改变，如转身。例如，如果电话会议的虚拟环境要提供这样的感觉，参会者1或2相互对面坐在虚拟会议桌的两边，然后，参会者1转头、站起、朝向参会者2俯身等动作可能都会改变虚拟环境中参会者1所看到和所听到的内容，这样，就称参会者1所感受的虚拟地点的环境的视角改变了。获取和跟踪参会者的运动、朝向改变或其他视角数据，提供了一种类型的数据，用于处理和为参会者产生在虚拟地点的可信电话会议。用于获取视角数据的适当获取/跟踪元件包括摄像机或其他的运动跟踪元件，诸如使用地球磁场的地磁仪和测量加速度的加速度表，或者其他用于确定头部或身体其他部位的运动朝向的方向的装置，所述方向可能影响参会者所感受的虚拟环境的视角。

还需要有关一个或多个远程地点上的参会者的数据，以产生远程参会者从本地参会者的视角来看在虚拟环境中的虚拟表示。接收元件106、206与参会者1和2分别实际关联，接收从一个或多个远程参会者获取的图像暗示数据，并通过上述的远程传输元件112、162在系统上传输。这样，对于图1中简化的系统，接收元件106要从传输元件162接收由处理元件2152提取和处理的特征数据，该特征数据是从获取/跟踪元件2154由参会者2获取的图像暗示数据中提取的，并且通过传输元件2156传输。类似地，接收元件2156要从传输元件1112接收由处理元件1102提取和处理的特征数据，该特征数据是从获取/跟踪元件1104由参会者1获取的图像暗示数据中提取的，并且通过传输元件1112传输。图1的系统是规模可缩放的，意思是可以有多于两个的参会者，在这种情况下，由接收元件106、156接收的经提取的特征数据将来自两个和多个远程参会者。

利用与参会者相关联的接收元件来接收经提取的远程特征数据，本地处理元件现在具有足够的信息来产生从本地参会者的视角观看的一个或多个远程参会者在虚拟环境中的一个或多个虚拟表示。除了有本地接收元件接收的经提取的远程参会者的特征数据，与本地参会者相关联的处理元件还具有从本地参会者获取的视角数据、远程参会者的模型和定义虚拟电话会议所发生的虚拟地点环境的图像声音配置的信息。处理元件因此处理该信息，以便从本地参会者的视角产生远程参会者在虚拟环境中的虚拟表示。该处理可以由处理元件执行，对每个将其图像和/或声音信息传送到本地接收元件的远程参会者，处理元件从本地参会者的视角产生其在虚拟环境中的虚拟表示。

远程参会者的经提取的图像特征数据可以同该远程参会者的模型(108、158)放在一起，所述模型存储在与本地参会者相关联的处理元件中，并可由其存取。所存储的模型可以是二维或三维(3D)计算机模型，可以使用所接收的经提取的特征数据来更新所述模型。所述模型还可以只是远程参会者的头部、上半身或某种较大模型。还可以只是对不同的远程参会者使用不同的头部或脸部模型，而让远程参会者虚拟表示的其余部分采用固定的化身。通过使用特定参会者的模型108、158来区别远程参会者虚拟表示的所述部分，这可能要受到这样一些因素的影响，如所收集的暗示数据的数量和质量、处理能力的大小和对该任务花费的时间等。如果只从远程参会者获取眼睛、嘴和面部数据，则只要存储远程参会者头部的针对特定参会者的模型就足够了，例如，可以对其添加所收集和提取的特征数据。结合图9说明3D模型的例子。

当生成远程参会者虚拟表示的时候，有关发生电话会议的虚拟地点的环境110、160的信息也由本地处理元件来处理。环境数据利用每个参会者在其中的相对地点以及图画背景，如各参会者要感受的会议桌、窗户和家具等的地点，来表示虚拟会议的安排。当产生将要显示给本地参会者的远程参会者虚拟表示的时候，一个或多个电话会议参会者的头部或身体的运动可能改变该参会者观看该环境的视角，因此必须进行跟踪和解释。另外，对本地参会者产生虚拟表示的处理元件还能够按这种方式对虚拟电话会议中的每个接收了暗示数据的参会者产生虚拟表示。

分别如同所示出的元件102和152的处理元件1和2不必位于该参会者的地点。另外，它们也不必是一个分开的处理器，而可以是包含许多处理元件来执行各种处理功能，下面将对此说明。还可以设想有中央处理元件，它包含处理元件1 102和处理元件2 152并且它可以实际位于不同于地点100和200的地点。这在图3的框图300中说明，其中所获取的本地特征和视角数据以及远程数据的处理不需要在本地执行，例如地点1和地点2，并且可以实际由通信网络390的处理能力来执行该处理。利用通信网络390来远程传送所获取的参会者1和2的数据。在本发明的特定实施例中，通信网络390是高速宽带、低等待通信网。例如，可以在标准因特网IP链路上以150ms的等待时间按20fps传送数据。

在本地地点示出远程参会者340、380的模型，但这并不是必须的，特别当处理元件或各处理元件位于网络中的时候；所存储的模型可以是如示出的3D计算机模型。3D模型适合于存储非快速变化的图像信息，因此可使在通信网络上必须传送的数据量降低。在接收了远程图像数据之后，数据显示部分330和360能够更新用于建立虚拟表示的三维模型340和380。

由处理元件在虚拟环境中产生的一个或多个虚拟表示提供给再现元件114、164，再现元件114、164再现一个或多个虚拟表示的计算机生成数据，由显示元件116、166显示给本地参会者。所述显示元件可以是本地参会者所戴的头戴式显示器的一部分，或者可以是任何其他合适的向参会者显示虚拟地点环境的机构。

对于维持电话会议中两个或多个参会者之间的真实临场感或远程临场，重要的是，系统具有监视和跟踪远程参会者或本地参会者所发生的任何变化的能力。任何这样的改变要求虚拟环境以及其中的其他参会者的虚拟表示相应地改变。这样，当本地接收元件接收的远程暗示数据中发生改变，从本地参会者收集的视角数据或者虚拟地点本身环境的改变，将引起所产生的一个或多个远程参会者虚拟表示的更新，并且更新的表示要再现出来，并显示给本地参会者。

参见图2，其中示出了描述根据本发明特定实施例的在至少两个在虚拟地点的参会者之间电话会议的方法的流程图。在方框210，获取由第一参会者100的特征产生的数据和第一参会者100的视角数据。在方框220，提取所获取的第一参会者100的特征数据中识别的模式。在方框240，执行第二参会者200的视角数据和暗示数据的获取以及识别数据的提取。在方框250，处理所提取的第二参会者的特征数据、第一参会者的视角数据和虚拟地点的环境数据，以产生从第一参会者的视角观察的第二参会者的虚拟表示。在方框260，进行类似的处理，以产生从第二参会者视角观察的第一参会者的虚拟表示。在方框270和280，这些虚拟表示可以显示给适当的参会者。如上所述，虚拟表示首先由再现元件再现，然后在诸如头戴式显示器的适当显示装置上将再现的虚拟表示显示给参会者。最后，在方框290和295，根据用来产生虚拟表示的任何数据中的变化来更新所产生的虚拟表示。这样，本地参会者的视角数据的变化，从远程参会者获取的暗示数据的变化或者环境数据的变化，将确保虚拟表示相应地更新。必须注意，由于连续监视和跟踪远程暗示数据和本地视角数据，因此虚拟表示被阶段性更新，例如每秒15次或更多。在可能以其他方式发生更新处理之前，数据的改变可以使更新处理强制发生，可以使虚拟电话会议的参会者感受“实时”面对面远程临场环境的感觉。

这里要注意，为建立显示给第一参会者的第二参会者的虚拟表示，所需要的提取和处理过程要先于为建立显示给第二参会者的第一参会者的虚拟表示的类似处理过程，如果需要，该次序可以改变，这也不脱离本发明的精神和范围。

参见图4，其中示出了根据本发明特定实施例的远程临场通信体系结构400各元件的更详细框图400。如图中虚线所指示的，图中示出的功能涉及第一和第二地点之间的数据收集。通过下面的说明可以明白，所述功能涉及通过地点1的发送框410收集、处理和传输的数据，以及通过地点2的接收框455接收、处理和显示的数据。但应该理解，为实现完全集成的系统，需要有接收框和发送框来支持地点1的参会者和地点2的参会者。图4的单向框图将简化下面的说明，本领域的普通技术人员可以理解完全双向和多向的扩展。本领域的技术人员应该理解，远程临场通信系统能够使用一个或多个宽带链路以全双工方式传送两个图像。这样，远程地点可以包括发送组件410以及接收组件455。而且，本地地点可以包括发送组件410和接收组件455。这种配置将使得可以跟踪、传送、接收和显示两个图像。当然，在可用处理能力、存储区大小和等待时间的条件允许的范围内，这也可以扩展到任意数量的地点和参会者。

由图中的虚线可以看出，用于地点1参会者的发送框410执行三个主要功能：获取/跟踪、处理、和同步/传输。发送框410主要涉及在415、420、425各框的获取/跟踪，在框430和437的处理，以及在框445、450的本地获取的参会者信息的传输。在框415，获取本地音频数据，例如地点1参会者所说的话。头部跟踪框420跟踪地点1参会者的运动和朝向，并因此提供参会者1的视角数据。图像获取框425获取地点1参会者的特征数据，例如参会者1的嘴、眼睛、脸等的运动。在更精准的获取方式中，还可以获取其他的参会者特征，例如手、臂和腿的运动。框415、520和425都是获取元件104、154的例子。在本发明的特定实施例中，音频元件415是麦克风或长杆麦克风(boommicrophone)，头跟踪元件420是头部跟踪器(head tracker)、加速度表或某种组合。如果需要，可以使用带有本地头部跟踪的用于空间稳定视图的MPEG-4样式的面部动感播放器。图像获取元件425可以是若干摄像机。

图5示出了适于获取和跟踪参会者的暗示特征数据和视角数据的不同类型的获取装置。在该图中，参会者510的特征，例如眼睛、嘴、脸、手、头部等，通过特征摄像机520、550和550来获取，而跟踪设备530能够跟踪这些特征的运动。声音传感器560获取参会者510产生的声音。另外，如果需要，可以通过音频分析和在长杆麦克风中嵌入的摄像机或多个摄像机来跟踪嘴的运动。根据本发明的实施例，一个或多个特征摄像机520、540、550，跟踪设备530和声音传感器560可以安置在头戴式显示器中，例如眼镜显示器。而且根据本发明的实施例，具有一个或多个长杆摄像机(boom camera)以及声音传感器560的长杆话筒可以连接到一副眼镜上。所述一个或多个远程摄像机能够提供嘴及其周围的更详细的分辨率。在本发明的特定实施例中，可以通过眼睛摄像机使用红外光照明来补偿可见光的不足。

对通过头部跟踪以及420获取的声音信息和视角数据进行处理，以产生可以传送的有关地点1参会者的声音信息。声音处理框430可以随着参会者头部的运动修正参会者1产生的原始声音415。可替换地，如果不需要或不要求进行本地化处理，可以直接发送在415获取的原始声音。计算机视觉识别元件具有特征提取435和特征跟踪440，用于对元件420和425提供的头部跟踪和暗示特征数据进行处理。提取所获取数据中所包含的最重要的特征数据并传送，由在远程地点2的接收器455来处理。例如，计算机视觉识别子系统437可以提取和跟踪头部、嘴、瞳孔、眼睑、眉毛、前额等的运动或其他所感兴趣的特征。在某些情况下，计算机视觉识别元件437可使用参会者本身的本地三维模型来做特征跟踪。

根据本发明的特定实施例，在传输建立阶段，通过在显示给第一用户的图像上提供第一固定点或多个第一固定点，以及在显示给第二用户的图像上提供第二固定点或多个第二固定点，来得到眼神交流的感觉。在传输建立阶段，显示给第一参会者的图像中各眼睛的地点同第一固定点或多个第一固定点搭配。而且在传输建立阶段，显示给第二参会者的图像中各眼睛的地点同第二固定点或多个第二固定点搭配。这种方法使得各参会者具有眼神交流的感觉，因第一固定点或多个第一固定点以及第二固定点或多个第二固定点分别提供显示给第一参会者和第二参会者的眼睛的期望地点。通过使各参会者对应到提供给他们的可视暗示，维持眼神交流，如同现实中面对面的交谈。

从框437提取的特征数据以及从框430处理的声音在框445中编码并同步。其在调制器450中经调制并传送，由与地点2关联的接收框455的解调器463接收。在本发明的特定实施例中，该数据使用宽带链接460来传送。

通过解调器463从地点1接收的数据，经过解调并传递给解码器465。解码器465将地点1的参会者的经解码的音频和提取的特征数据传递给声音元件473、视图产生框475和模型更新框480。来自头部跟踪元件470的参会者2的运动和朝向，称作参会者2的视角数据，连同从参会者1接收的音频数据，由声音框473来处理，以便从参会者2的视角产生参会者1的虚拟表示的音频部分，其可由音频以及493提供。例如，考虑下面所述内容。参会者2可用的虚拟表示的音频部分不仅受参会者说话的影响，而且还受关于虚拟环境中参会者2的躯体和头部的朝向的影响。

在本发明的特定实施例中，编码器445编码空间坐标信息，以使头部跟踪部分470建立空间稳定的远程图像的一个画面(aspect)。注意，当通过头部跟踪设备420和图像获取设备425获取的一个或多个画面连接到一副眼镜，能够发生这种空间稳定。在这种情况下，使用头部跟踪420和特征跟踪440使得所产生的3D图像相对头部的运动保持稳定。

另外，通过解码器465，视图产生框475和模型更新框480可使用所提取的特征数据。模型更新480使用该数据来更新存储在框483中的地点1的参会者的模型。在特定实施例中，模型更新框480使用存储在3D模型483中的面部数据执行面部模型更新，以构造参会者1的虚拟表示。视图产生框475产生从参会者2的视角观察的参会者1的虚拟表示的视图或多个视图，由再现元件485再现，并通过显示器490显示给地点2的参会者。在本发明的特定实施例中，通过视图产生元件475产生虚拟环境中参会者1的虚拟表示的两个略有差异的视图。当再现这两个略有差异的视图，并在485和490的每个显示框中分别显示，这将使参会者2感受参会者1的立体视图。

参见图6，其中示出了数据获取系统600的例子。在图中示出的获取和跟踪元件包括第一和第二眼睛摄像机610、620，面部摄像机630，用于获取参会者声音的麦克风，以及跟踪设备650。眼睛摄像机610和620获取各种眼睛特征的运动，包括瞳孔运动、眨眼和眉毛运动。面部摄像机630可以获取嘴、颌、鼻和头朝向的运动。麦克风640还可以是带有对着参会者嘴巴的摄像头的长杆麦克风。跟踪设备650一直跟踪这些特征。在图7中，图像获取流700示出了由图像获取框710的获取元件610、620、630、650获取的数据随后由框720中的视觉识别和特征提取处理来处理，以提取特定的有价值特征暗示数据。在框730中，在数据传送之前，执行该带有时间和日期戳的经提取的特征数据的同步。传送的数据由与远程地点关联的接收框455来接收。图8示出了图像产生和显示流800，其中示出了可以在框840中产生的在远程地点的参会者的虚拟表示的视图，由这里可称作视角数据的本地跟踪数据820来产生，如果需要可对每个眼睛的3D产生立体视图。在框850中，从远程地点810提取的特征数据用来使存储的远程参会者的模型有动感。该信息又传递到再现引擎以再现计算机图像，该图像可以在框860立体化；所述再现的图像可以包括前面所述的音频信息。最后，在框870，诸如显示屏或头戴式显示器的显示元件向本地参会者显示再现的图像。

参见图9，示出了3D模型的一个例子，可以存储在本地，用于辅助产生远程参会者的化身表示。在该模型的左边是网格(wireframe)，其各顶点(vertex)存储在内存中并定义远程参会者的面部的几何结构。在其右边，展示诸如皮肤纹理、眼睛颜色的面部的纹理映射(texture map)覆盖如示出的该网格的基本几何结构，以提供更真实生动的远程参会者的图画。反映在获取特征数据中的更新运动表现为相应的网格变化。

在图10中，示出了地点100的第一参会者、地点200的第二参的图示以及虚拟地点1000。在图中可以看到，在该例子中，分别在地点100和200的参会者1和2都戴着头戴式显示器，由此他们可以体验虚拟远程临场1000。在该虚拟远程临场1000中，参会者11010和参会者21020都体验着共同环境1030，虽然它不是真实的，但它利用眼神交流和其他远程临场特征可极大地促进虚拟聚会。在这个例子中，环境1030是流线型的，具有会议桌、每个参会者的座椅以及参会者本身。还可以设想，该虚拟环境可以包括参会者所在地点(如地点1、地点2等)的真实背景下参会者的虚拟表示，例如在图书室或会议室的中间，其中所看到的参会者实际位于那里。如所讨论的，根据本发明的电话会议可以扩展到若干各参会者。如图11所示的虚拟电话会议1100，该电话会议至少有四个参会者1110、1120、1130和1140出席。电话会议所发生的虚拟环境1150更加复杂。而且，如该例子以及图12中的例子所示出的，它可以比面对面的传统会议更优越，因在电话会议期间可以提供不同实际地点的各参会者之间的数据共享。在图12中，参会者1210、1220和1230共享环境1250，其中，在虚拟电话会议期间，数据或其他所提供的对象，如视图1260，可由某个参会者提供给其他的一个或多个电话会议参会者观看。通过虚拟电话会议，使驻留在远程地点的数据或其他对象信息可由不在该地点的其他人共享，这可以提供在传统会议中所不能提供的大量的高质量数据共享。当电话会议中有多于两个的人，远程临场可以促进多个参会者之间的人际交流的相互传达和观察，例如耸肩、眼色等，这通常是会谈中重要的非语言信息。如果有共享的对象，例如，某个参会者可看到电话会议的其他参会者把目光投向该共享对象，或者某个参会者不再观看该对象，等等，可以反映在实际会议中可能发生的全景式交流。

远程临场通信是一种新颖的方法，用来提供要与之交流的某个人或多个人的临场感。这是传统的视频会议的替代物，可以使用三维图像化身和增强的动画来传递面对面交谈的体验。其他的方法，如写信、打电话、发电子邮件或视频电话会议都不能提供同面对面会议相同的体验，简言之，都缺乏临场感。远程临场电话会议试图要提供那种与其他的要与之发生通信的人或多人或对象实际邻近的感觉。

远程临场体系结构使用一种声像通信系统，能够以三维方式向一个或多个远程用户传递本地画面的照片，可能按真实的尺寸和真实的颜色。远程临场通信还能够进行和维持远程的眼神交流。支持远程个人临场感的机构提供对图像的一个或多个特定区域的高分辨率显示，以及以接近实时的方式更新本地和/或远程参会者的变化。这种远程临场体系结构使得一个或多个参会者可接收照片信息，并从本地参会者的视角将该信息以三维图像再现到显示单元，提供适当的跟踪和刷新率。

尽管结合特定的实施例说明了本发明，很显然，通过上述的说明，本领域的普通技术人员会明白有许多替换、修改、排列和变化。因此，本发明要包含所有这些落入权利要求书范围的替换、修改和变化。

Claims (69)

1.一种在虚拟地点的电话会议的方法，该电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述方法包括：

处理所述第一参会者所体验的所述虚拟地点的环境的第一视角的第一多个视角数据，和从所述第二参会者获取的第一多个暗示数据中提取的第一提取特征数据，以便从所述第一参会者的视角产生所述第二参会者在所述虚拟地点的所述环境中的第一虚拟表示；

处理所述第二参会者所体验的所述虚拟地点的环境的第二视角的第二多个视角数据，和从所述第一参会者获取的第二多个暗示数据中提取的第二提取特征数据，以便从所述第二参会者的视角产生所述第一参会者在所述虚拟地点的所述环境中的第二虚拟表示；

将所述电话会议的所述虚拟地点中的所述第二参会者的所述第一虚拟表示显示给所述第一地点的所述第一参会者；以及

将所述电话会议的所述虚拟地点中的所述第一参会者的所述第二虚拟表示显示给所述第二地点的所述第二参会者。

2.如权利要求1所述的方法，其中显示所述第一和第二虚拟表示还包括：

在由所述第一参会者所戴的第一头戴式显示器上，把所述第二参会者的所述第一虚拟表示显示给所述第一参会者；以及

在由所述第二参会者所戴的第二头戴式显示器上，把所述第一参会者的所述第二虚拟表示显示给所述第二参会者。

3.如权利要求1所述的方法，还包括：

根据在所述第一多个视角数据和所述第一提取特征数据中的一个或多个的变化，更新所述第二参会者的所述第一虚拟表示，以产生更新的第一虚拟表示；

把所述电话会议的所述虚拟地点中所述第二参会者的所述更新的第一虚拟表示显示给所述第一地点的所述第一参会者；

根据在所述第二多个视角数据和所述第二提取特征数据中的一个或多个的变化，更新所述第一参会者的所述第二虚拟表示，以产生更新的第二虚拟表示；

把所述电话会议的所述虚拟地点中所述第一参会者的所述更新的第二虚拟表示显示给所述第二地点的所述第二参会者。

4.一种在虚拟地点的电话会议的方法，所述电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述方法包括：

获取由所述第一参会者的多个特征产生的第一多个暗示数据以及所述第一参会者所体验的所述虚拟地点的环境的第一视角的第一多个视角数据；

获取由所述第二参会者的多个特征产生的第二多个暗示数据以及所述第二参会者所体验的所述虚拟地点的环境的第二视角的第二多个视角数据；

从所述第一多个暗示数据提取第一参会者的第一提取特征数据；

从所述第二多个暗示数据提取第二参会者的第二提取特征数据；

处理所述第一多个视角数据、所述第二提取特征数据以及所述虚拟地点的环境的第一环境数据，以便从所述第一参会者的视角产生所述第二参会者在所述虚拟地点的环境中的第一虚拟表示；

处理所述第二多个视角数据、所述第一提取特征数据以及所述虚拟地点的环境的第二环境数据，以便从所述第二参会者的视角产生所述第一参会者在所述虚拟地点的环境中的第二虚拟表示；

把所述电话会议的所述虚拟地点中的所述第二参会者的所述第一虚拟表示显示给所述第一地点的所述第一参会者；以及

把所述电话会议的所述虚拟地点中的所述第一参会者的所述第二虚拟表示显示给所述第二地点的所述第二参会者。

5.如权利要求4所述的方法，其中显示所述第一和第二虚拟表示还包括：

在由所述第一参会者所戴的第一头戴式显示器上，把所述第二参会者的所述第一虚拟表示显示给所述第一参会者；以及

在由所述第二参会者所戴的第二头戴式显示器上，把所述第一参会者的所述第二虚拟表示显示给所述第二参会者。

6.如权利要求5所述的方法，其中，通过所述第一头戴式显示器的第一多个获取元件来执行所述第一多个暗示数据和所述第一多个视角数据的获取，以及通过所述第二头戴式显示器的第二多个获取元件来执行所述第二多个暗示数据和所述第二多个视角数据的获取。

7.如权利要求4所述的方法，还包括：

根据在所述第一多个视角数据、所述第二提取特征数据以及所述第一环境数据中的一个或多个的变化，更新所述第二参会者的所述第一虚拟表示，以产生更新的第一虚拟表示；

把所述电话会议的所述虚拟地点中所述第二参会者的所述更新的第一虚拟表示显示给所述第一地点的所述第一参会者；

根据在所述第二多个视角数据、所述第一提取特征数据以及所述第二环境数据中的一个或多个的变化，更新所述第一参会者的所述第二虚拟表示，以产生更新的第二虚拟表示；

把所述电话会议的所述虚拟地点中所述第一参会者的所述更新的第二虚拟表示显示给所述第二地点的所述第二参会者。

8.如权利要求7所述的方法，还包括：

在由所述第一参会者所戴的第一头戴式显示器上，把所述更新的所述第二参会者的所述第一虚拟表示显示给所述第一参会者；以及

在由所述第二参会者所戴的第二头戴式显示器上，把所述更新的所述第一参会者的所述第二虚拟表示显示给所述第二参会者。

9.如权利要求8所述的方法，其中，通过所述第一头戴式显示器的第一多个获取元件来执行所述第一多个暗示数据和所述第一多个视角数据的获取，以及通过所述第二头戴式显示器的第二多个获取元件来执行所述第二多个暗示数据和所述第二多个视角数据的获取。

10.如权利要求4所述的方法，其中，所述第一和第二多个暗示数据以及所述第一和第二多个视角数据的获取分别实时地发生。

11.一种支持虚拟地点的电话会议的系统，所述电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述系统包括：

第一数据处理元件，处理从所述第一参会者的多个特征获取的第一多个暗示数据，并提取经选择的从所述第一多个暗示数据识别的特征数据，以产生所述第一参会者的第一提取特征数据；

第一传输元件，传输所述第一参会者的所述第一提取特征数据；

第二数据处理元件，处理从所述第二参会者的多个特征获取的第二多个暗示数据，并提取经选择的从所述第二多个暗示数据识别的特征数据，以产生所述第二参会者的第二提取特征数据；

第二传输元件，传输所述第二参会者的所述第二提取特征数据；

其中，所述第一处理元件处理与所述第一参会者所体验的所述虚拟地点的环境的第一视角有关的第一多个视角数据、所述第二提取特征数据以及所述虚拟地点的环境的第一环境数据，以从所述第一参会者的视角产生所述第二参会者在所述虚拟地点的环境中的第一虚拟表示；

其中，所述第二处理元件处理与所述第二参会者所体验的所述虚拟地点的环境的第二视角有关的第二多个视角数据、所述第一提取特征数据以及所述虚拟地点的环境的第二环境数据，以便从所述第二参会者的视角产生所述第一参会者在所述虚拟地点的环境中的第二虚拟表示；

第一显示元件，把所述第一虚拟表示显示给所述第一地点的所述第一参会者；

第二显示元件，把所述第二虚拟表示显示给所述第二地点的所述第二参会者，

其中，所述第一处理元件根据所述第一多个视角数据中、所述第二提取特征数据以及所述第一环境数据中一个或多个的变化，更新所述第二参会者的所述第一虚拟表示，以及

其中，所述第二处理元件根据所述第二多个视角数据中、所述第一提取特征数据以及所述第二环境数据中一个或多个的变化，更新所述第一参会者的所述第二虚拟表示。

12.如权利要求11的系统，其中，所述第一数据处理元件、所述第一传输元件以及所述第一显示元件位于所述第一地点，并且所述第二数据处理元件、所示第二传输元件以及所述第二显示元件位于所述第二地点。

13.如权利要求11的系统，其中，所述第一和第二显示元件是分别由第一和第二参会者所戴的第一和第二头戴式显示器。

14.如权利要求13所述的系统，还包括：

所述第一头戴式显示器的第一多个获取元件，用于获取所述第一多个暗示数据；以及

所述第二头戴式显示器的第二多个获取元件，用于获取所述第二多个暗示数据。

15.如权利要求14所述的系统，其中，所述第一多个获取元件还获取所述第一多个视角数据，以及所述第二多个获取元件还获取所述第二多个视角数据。

16.如权利要求14所述的系统，其中，所述第一数据处理元件还包括第一视图生成元件，其生成所述第二参会者的所述第一虚拟表示的第一和第二视图，所述视图由所述第一显示元件显示给所述第一参会者的第一和第二眼睛；以及

其中，所述第二数据处理元件还包括第二视图生成元件，其生成所述第一参会者的所述第二虚拟表示的第一和第二视图，所述视图由所述第二显示元件显示给所述第二参会者的第一和第二眼睛。

17.一种支持虚拟地点的电话会议的系统，所述电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述系统包括：

第一获取元件，其从所述第一参会者获取由所述第一参会者的多个特征产生的第一多个暗示数据，并从所述第一参会者获取与所述第一参会者所体验的虚拟地点的环境的第一视角有关的第一多个视角数据；

第二获取元件，其从所述第二参会者获取由所述第二参会者的多个特征产生的第二多个暗示数据，并从所述第二参会者获取与所述第二参会者所体验的虚拟地点的环境的第二视角有关的第二多个视角数据；

第一处理元件，其处理所述第一多个暗示数据，并提取经选择的从所述第一多个暗示数据识别的特征数据，以产生所述第一参会者的第一提取特征数据；

第二处理元件，其处理所述第二多个暗示数据，并提取经选择的从所述第二多个暗示数据识别的特征数据，以产生所述第二参会者的第二提取特征数据；

第一传输元件，传输所述第一参会者的所述第一提取特征数据；

第二传输元件，传输所述第二参会者的所述第二提取特征数据；

第一接收元件，其接收所述第一多个视角数据和由所述第二传输元件传输的所述第二参会者的所述第二提取特征数据；

第二接收元件，其接收所述第二多个视角数据和由所述第一传输元件传输的所述第一参会者的所述第一提取特征数据

其中，所述第一处理元件处理所述第一多个视角数据、所述第二提取特征数据以及所述虚拟地点的环境的第一环境数据，以从所述第一参会者的视角产生所述第二参会者在所述虚拟地点的环境中的第一虚拟表示；

其中，所述第二处理元件处理所述第二多个视角数据、所述第一提取特征数据以及所述虚拟地点的环境的第二环境数据，以便从所述第二参会者的视角产生所述第一参会者在所述虚拟地点的环境中的第二虚拟表示；

第一再现元件，耦合到所述第一处理元件以及第一显示元件，其再现由所述第一显示元件显示的所述第二参会者的所述第一虚拟表示；

第一显示元件，从所述第一参会者的视角把所述虚拟地点的环境中的所述第二参会者的所述第一虚拟表示显示给所述第一参会者；

第二再现元件，耦合到所述第二处理元件以及第二显示元件，其再现由所述第二显示元件显示的所述第一参会者的所述第二虚拟表示；

第二显示元件，从所述第二参会者的视角把所述虚拟地点的环境中的所述第一参会者的所述第二虚拟表示显示给所述第二参会者；

其中，所述第一处理元件根据所述第一多个视角数据、所述第二提取特征数据以及所述第一环境数据中一个或多个的变化，更新所述第二参会者的所述第一虚拟表示，以及

其中，所述第二处理元件根据所述第二多个视角数据中、所述第一提取特征数据以及所述第二环境数据中一个或多个的变化，更新所述第一参会者的所述第二虚拟表示。

18.如权利要求17所述的系统，其中，所述第一和第二获取元件分别实时地获取所述第一和第二多个暗示数据以及所述第一和第二多个视角数据。

19.如权利要求17所述的系统，其中，所述第一获取元件、第一处理元件、第一传输元件以及第一接收元件位于所述第一地点，并且所述第二获取元件、第二处理元件、第二传输元件以及第二接收元件位于所述第二地点。

20.如权利要求17所述的系统，其中，所述第一和第二显示元件分别是由所述第一和第二参会者所戴的第一和第二头戴式显示器。

21.如权利要求20所述的系统，还包括：

所述第一头戴式显示器的第一多个获取元件，用于获取所述第一多个暗示数据；以及

所述第二头戴式显示器的第二多个获取元件，用于获取所述第二多个暗示数据。

22.如权利要求21所述的系统，其中，所述第一多个获取元件还获取所述第一多个视角数据，并且所述第二多个获取元件还所述第二多个视角数据。

23.如权利要求17所述的系统，其中，所述第一数据处理元件还包括第一视图生成元件，其生成所述第二参会者的所述第一虚拟表示的第一和第二视图，所述视图由所述第一再现元件再现并由所述第一显示元件显示给所述第一参会者的第一和第二眼睛；以及

其中，所述第二数据处理元件还包括第二视图生成元件，其生成所述第一参会者的所述第二虚拟表示的第一和第二视图，所述视图由所述第二再现元件再现并由所述第二显示元件显示给所述第二参会者的第一和第二眼睛。

24.一种支持虚拟地点的电话会议的装置，所述电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述装置包括：

接收元件，其接收从所述第一参会者获取的并与所述第一参会者所体验的所述虚拟地点的环境的第一视角相关的第一多个视角数据，以及从所述第二参会者获取的第一多个暗示数据，其中所述第一多个暗示数据由所述第二参会者的多个特征产生；

处理元件，耦合到所述接收元件，其处理所述第一多个视角数据、所述第一多个暗示数据以及有关所述虚拟地点环境的环境数据，以便从所述第一参会者的视角生成所述虚拟地点的环境中的所述第二参会者的虚拟表示；

再现元件，耦合到所述处理元件，其再现用于显示的所述第二参会者的所述虚拟表示；以及

显示元件，其显示所再现的虚拟表示，

其中，所述处理元件根据所述第一多个视角数据中、所述第一多个暗示数据以及所述环境数据中一个或多个的变化，更新所述第二参会者的所述虚拟表示。

25.如权利要求24所述的装置，其中所述第二参会者的所述第一多个暗示数据包括由所述第二参会者面部产生的面部运动、由其头部产生的头部运动以及由其身体产生的身体运动中的一个或多个所暗示的数据。

26.如权利要求25所述的装置，其中所述第二参会者的面部运动包括所述第二参会者的眼睛运动、头运动和嘴运动中的一个或多个，并改变所再现和显示给所述第一参会者的所述第二参会者的表示图像。

27.如权利要求24所述的装置，其中，所述处理元件根据所述第一多个视角数据和所述环境数据把所述第一多个暗示数据映射到第二参会者的三维模型，以生成所述第二参会者的所述虚拟表示。

28.如权利要求24所述的装置，其中，所述显示元件是头戴式显示器，其将所述第二参会者的所述表示显示给所述第一参会者。

29.如权利要求24所述的装置，其中，所述第二参会者的所述虚拟表示包括由所述处理元件从所述第二参会者的所述第一多个暗示数据产生的虚拟图像部分。

30.如权利要求29所述的装置，其中，所述虚拟表示还包括由所述处理元件从所述第一参会者的所述第一多个视角数据以及所述虚拟地点的环境的声音表示中一个或多个所产生的虚拟声音部分。

31.如权利要求30所述的装置，其中，来自所述第一参会者的所述第一多个视角数据包括所述第一参会者的头部运动以及在所述虚拟地点的环境中所述第一参会者的相对位置中的一个或多个，并且其中所述虚拟声音部分随着所述第一参会者头部运动以及所述第一参会者在所述环境中的相对位置中一个或多个的改变而改变。

32.如权利要求30所述的装置，其中，所述声音表示包括所述第一参会者在所述环境中体验的第一声音部分、所述第二参会者在所述环境中体验的第二声音部分以及在所述虚拟地点中所述环境的背景音部分中的一个或多个。

33.如权利要求32所述的装置，其中，所述虚拟声音部分随着所述第一参会者在所述环境中体验的所述第一声音部分、所述第二参会者在所述环境中体验的所述第二声音部分以及所述虚拟地点的所述环境的所述背景音部分中的一个或多个的改变而改变。

34.如权利要求24所述的装置，其中，来自所述第一参会者的所述第一多个视角数据包括所述第一参会者的头部运动和所述第一参会者在所述虚拟地点的所述环境中的相对位置中的一个或多个。

35.如权利要求24所述的装置，其中所述处理元件还包括视图生成元件，其生成所述第二参会者的所述虚拟表示的第一和第二视图，由所述再现元件再现给所述第一参会者的第一和第二眼睛。

36.如权利要求24所述的装置，还包括：

传输元件，耦合到所述处理元件，其传输从所述第一参会者获取的第二多个可视暗示数据，其中所述第二多个可视暗示数据由所述第一参会者的多个特征产生。

37.如权利要求36所述的装置，其中所述第一参会者的所述第二多个暗示数据包括通过所述第一参会者的面部运动、头部运动和身体运动中的一个或多个所暗示的数据。

38.如权利要求37所述的装置，其中所述第一参会者的面部运动包括所述第一参会者的眼睛运动、头运动和嘴运动中的一个或多个。

39.如权利要求36所述的装置，其中所述处理元件还包括视觉识别元件，其用于识别和提取由所述第一参会者的所述多个特征产生的所述多个可视暗示。

40.如权利要求39所述的装置，其中所述视觉识别元件还用于跟踪由所述第一参会者的所述多个特征产生的所述多个可视暗示。

41.如权利要求36所述的装置，还包括获取元件，其用于获取由所述第一参会者的所述多个特征产生的所述第二多个可视暗示数据。

42.如权利要求41所述的装置，其中所述获取元件还包括：

第一获取子元件，其获取所述第一参会者的第一眼睛区域的运动；

第二获取子元件，其获取所述第一参会者的第二眼睛区域的运动；以及

第三获取子元件，其获取所述第一参会者嘴部区域的运动。

43.如权利要求42所述的装置，其中所述获取元件还包括：

第四获取子元件，其获取所述第一参会者的头部的运动。

44.如权利要求24所述的装置，其中所述第一地点是本地地点，并且所述第二地点是远程地点。

45.如权利要求24所述的装置，其中所述处理元件根据所述第一多个视角数据、所述第一多个暗示数据和所述环境数据中的一个或多个，更新所述第二参会者的所述虚拟表示。

46.一种虚拟地点的电话会议的方法，所述电话会议发生在第一地点的第一参会者和第二地点的第二参会者之间，所述方法包括：

接收从所述第一参会者获取的并与所述第一参会者所体验的虚拟地点的环境的第一视角相关的第一多个视角数据，以及从所述第二参会者获取的第一多个暗示数据，并且获取由所述第二参会者的多个特征产生的第二多个可视暗示数据；

识别并提取由所述第一参会者的所述多个特征产生的所述多个可视暗示数据；

处理所述第一多个视角数据、所述第一多个暗示数据以及有关所述虚拟地点的环境的环境数据，以便从所述第一参会者的视角产生所述第二参会者在所述虚拟地点的环境中的虚拟表示；

再现所述第二参会者的所述虚拟表示，用于显示在显示元件上；

把所再现的虚拟表示显示在显示元件上；以及

根据所述第一多个视角数据、所述第一多个暗示数据和所述环境数据中一个或多个的改变，更新所述虚拟表示。

47.如权利要求46所述的方法，其中产生所述第二参会者在所述虚拟地点的所述环境中的虚拟表示的处理还包括：

由所述第二参会者的所述第一多个暗示数据产生虚拟表示的虚拟图像部分。

48.如权利要求47所述的方法，还包括：

从所述第一参会者的所述第一多个视角数据和所述虚拟地点的环境的声音表示中的一个或多个产生虚拟声音部分。

49.如权利要求48所述的方法，其中来自所述第一参会者的所述第一多个视角数据包括所述第一参会者的头部运动和所述虚拟地点的环境中所述第一参会者的相对位置中的一个或多个，并且其中所述虚拟声音部分随着所述第一参会者的所述头部运动和所述环境中所述第一参会者的所述相对位置中的一个或多个的改变而改变。

50.如权利要求48所述的方法，其中所述声音表示包括所述环境中所述第一参会者所体验的第一声音部分、所述环境中所述第二参会者所体验第二声音部分和所述虚拟地点的所述环境的背景音部分中的一个或多个。

51.如权利要求50所述的方法，还包括通过改变所述环境中所述第一参会者所体验的第一声音部分、所述环境中所述第二参会者所体验第二声音部分和所述虚拟地点的所述环境的背景音部分中的一个或多个来更新所述虚拟声音部分。

52.如权利要求46所述的方法，还包括：

利用由所述第二参会者的所述多个特征产生的所述第二多个可视暗示数据来更新所述第二参会者的模型。

53.如权利要求46所述的方法，其中来自所述第一参会者的所述第一多个视角数据包括所述第一参会者的头部运动和所述虚拟地点的环境中所述第一参会者的相对位置中的一个或多个。

54.如权利要求46所述的方法，其中产生虚拟表示的处理还包括：

产生所述第二参会者的所述虚拟表示的第一和第二视图；并且

其中再现所述虚拟表示还包括：

再现所述第二参会者的所述虚拟表示的所述第一和第二视图，用于显示给所述第一参会者的第一和第二眼睛。

55.如权利要求46所述的方法，还包括：

从所述第一参会者的多个特征产生第二多个可视暗示数据；以及

传输从所述第一参会者获取的第二多个可视暗示数据，其中所述第二多个可视暗示数据由所述第一参会者的多个特征产生。

56.如权利要求55所述的方法，其中所述第一参会者的所述第二多个暗示数据包括通过所述第一参会者的面部运动、头部运动和身体运动中的一个或多个所暗示的数据。

57.如权利要求56所述的方法，其中所述第一参会者的面部运动包括所述第一参会者的眼睛运动、头运动和嘴运动中的一个或多个。

58.如权利要求55所述的方法，还包括在产生所述第二多个可视暗示数据之后：

获取所述第二多个可视暗示数据；以及

从所获取的第二多个可视暗示数据中识别和提取由所述第一参会者的所述多个特征产生的所述多个可视暗示。

59.如权利要求55所述的方法，还包括：

跟踪由所述第一参会者的所述多个特征产生的所述多个可视暗示。

60.如权利要求46所述的方法，其中所述第一多个暗示数据是由所述第二参会者的多个特征产生的。

61.如权利要求60所述的方法，其中所述第二参会者的所述第一多个暗示数据包括通过由所述第二参会者面部产生的面部运动、头部产生的头部运动和身体产生的身体运动中的一个或多个所暗示的数据。

62.如权利要求61所述的方法，其中所述第二参会者的面部运动包括所述第二参会者的眼睛运动、头运动和嘴运动中的一个或多个，并改变所再现并显示给所述第一参会者的所述第二参会者的表示图像。

63.如权利要求46所述的方法，其中所述第一参会者的所述第二多个暗示数据包括通过所述第一参会者的面部运动、头部运动和身体运动中的一个或多个所暗示的数据。

64.如权利要求63所述的方法，其中所述第一参会者的面部运动包括所述第一参会者的眼睛运动、头运动和嘴运动中的一个或多个。

65.如权利要求46所述的方法，其中获取所述第二多个可视暗示数据还包括：

第一获取子元件获取所述第一参会者的第一眼睛区域的运动；

第二获取子元件获取所述第一参会者的第二眼睛区域的运动；以及

第三获取子元件获取所述第一参会者的嘴区域的运动。

66.如权利要求65所述的方法，还包括：

第四获取子元件获取所述第一参会者的头部运动。

67.如权利要求46所述的方法，还包括跟踪由所述第一参会者的所述多个特征所产生的所述多个可视暗示。

68.如权利要求46所述的方法，还包括处理所述第二参会者的三维模型，并把所述第二参会者的所述虚拟表示映射到所述第二参会者的所述三维模型上。

69.如权利要求46所述的方法，其中所述第一地点是本地地点，并且所述第二地点是远程地点。

Images