CN1728816A - 信息处理装置、信息处理方法、记录媒体及程序 - Google Patents

Abstract

本发明提供这样的信息处理装置，它包括：再现装置，用于同步地再现与其他信息处理装置共有的内容数据；用户信息输入装置，用于输入包括用户的语音和图像的第一用户状况信息；用户信息接收器装置，用于接收包括其他信息处理装置上的其他用户的语音和图像的第二用户状况信息；合成装置，用于合成再现装置同步地再现的内容数据中的语音和图像与用户信息接收器装置接收的第二用户状况信息中的语音和图像；信息分析装置，用于分析用户信息输入装置输入的第一用户状况信息或用户信息接收器装置接收的第二用户状况信息中的至少一个；及参数设置装置，用于设置控制处理的控制参数，合成装置基于信息分析装置产生的分析结果执行所述处理来合成语音和图像。

Description

信息处理装置、信息处理方法、记录媒体及程序

相关申请的交叉引用

本发明包含的主题涉及2004年7月27日向日本专利局提交的日本专利申请JP 2004-218532，将其完整内容包括在此作为参考。

技术领域

本发明涉及信息处理装置、信息处理方法、记录媒体及程序。更特别地，本发明涉及这样的信息处理装置、信息处理方法、程序及记录媒体，它们通过网络彼此连接，用于合成装置所共有的内容与操作该装置的用户的语音和图像，并用于同步地再现分析结果。

背景技术

现有技术中用于彼此分离并处于远程位置的人之间进行交互的装置包括电话、所谓的可视电话和视频会议系统。目前也存在这样的方法，个人计算机或类似设备能够借以连接到因特网，并用于基于文本的聊天及基于图像和语音的视频聊天。这样的交互在下面称为远程通信。

此外，还提出了这样的系统，其中彼此之间进行远程通信的个人可以使用连接到因特网的个人计算机或类似设备，通过因特网共享虚拟空间和相同的内容。需要有关此类系统的更多信息，请参考如日本专利公开2003-271530这类文件。

发明内容

现有技术中的方法允许彼此分离并处于远程位置的用户共享相同的内容，然而，用户主要通过传输以某种语言写出的信息来进行彼此间的通信。因此，现有技术中的方法的一个问题是，和面对面的通信相比，向其他用户表达用户的思想和情况更加困难，在面对面的通信中用户实际上面对通信伙伴本人。

此外，现有技术中用户借以查看通信伙伴的图像并收听通信伙伴的语音以及与伙伴共享相同内容的方法的问题是，由于装置的复杂度，通过用户执行的手动操作或类似手段，难以操作装置，而以优化的方式合成伙伴的图像和语音与内容的图像和声音。

为了处理上述问题，本发明的发明人发明了能够在用户执行的处理中根据用户的状况容易地设置多个图像和多个声音的合成，以在彼此远离的远程位置查看和收听相同内容的技术。

根据本发明的一个实施例，提供一种信息处理装置，它包括：

再现装置，用于与其他信息处理装置同步地再现所述信息处理装置和其他信息处理装置共有的内容数据；

用户信息输入装置，用于输入包括操作信息处理装置的用户的语音和图像的第一用户状况信息；

用户信息接收器装置，用于接收包括由其他用户操作的其他信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成装置，用于合成再现装置同步地再现的内容数据中的语音和图像与用户信息接收器装置接收的第二用户状况信息中的语音和图像；

信息分析装置，用于分析用户信息输入装置输入的第一用户状况信息或用户信息接收器装置接收的第二用户状况信息中的至少一个；及

参数设置装置，用于设置用于控制处理的控制参数，合成装置基于信息分析装置产生的分析结果执行所述处理来合成语音和图像。

根据本发明的一个实施例，也可以提供这样的配置，其中第一用户状况信息也包括有关用户所处环境的信息而第二用户状况信息也包括有关其他用户所处环境的信息。

信息处理装置在本发明的一个实施例中还包括分析对象确定装置，用于产生信息分析装置是否分析用户信息接收器装置接收的第二用户状况信息的确定结果，及，如果分析对象确定装置产生的确定结果表明信息分析装置不用分析第二用户状况信息，则信息分析装置只分析第一用户状况信息。

信息处理装置在本发明的一个实施例中还包括输出装置，用于输出作为合成装置产生的合成结果获得的语音和图像，其中参数设置装置基于信息分析装置产生的分析结果设置输出装置的控制参数。

也可以提供这样的配置，其中参数设置装置基于信息分析装置产生的分析结果，设置连接到所述信息处理装置的电子装置的控制参数。

也可以提供这样的配置，其中参数设置装置基于信息分析装置产生的分析结果，设置其他信息处理装置的控制参数，及

信息处理装置还包括发送器装置，用于将参数设置装置所设置的控制参数传输到其他信息处理装置。

信息处理装置在本发明的一个实施例中还包括接受确定装置，用于产生是否接受由其他信息处理装置传输的控制参数的确定结果。

根据本发明的一个实施例，提供这样的信息处理方法，包括下面的步骤：

与其他信息处理装置同步地再现信息处理装置和其他信息处理装置共有的内容数据；

输入包括操作信息处理装置的用户的语音和图像的第一用户状况信息；

接收包括由其他用户操作的其他信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成在再现步骤执行的处理中同步地再现的内容数据中的语音和图像与在用户信息接收步骤执行的处理中接收的第二用户状况信息中的语音和图像；

分析在用户信息输入步骤执行的处理中输入的第一用户状况信息或在用户信息接收步骤执行的处理中接收的第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数。所述处理在信息合成步骤执行，用于基于在信息分析步骤执行的处理中产生的分析结果，合成语音和图像。

根据本发明的一个实施例，提供这样的记录媒体，用于记录这样的程序。所述程序包括下面的步骤：

与其他信息处理装置同步地再现计算机和其他信息处理装置共有的内容数据；

输入包括操作计算机的用户的语音和图像的第一用户状况信息；

接收包括由其他用户操作的信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成在再现步骤执行的处理中同步地再现的内容数据中的语音和图像与在用户信息接收步骤执行的处理中接收的第二用户状况信息中的语音和图像；

分析在用户信息输入步骤执行的处理中输入的第一用户状况信息或在用户信息接收步骤执行的处理中接收的第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数。所述处理在信息合成步骤执行，用于基于在信息分析步骤执行的处理中产生的分析结果，合成语音和图像。

根据本发明的一个实施例，提供这样的程序，所述程序包括下面的步骤：

与其他信息处理装置同步地再现计算机和其他信息处理装置共有的内容数据；

输入包括操作计算机的用户的语音和图像的第一用户状况信息；

接收包括由其他用户操作的信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成在再现步骤执行的处理中同步地再现的内容数据中的语音和图像与在用户信息接收步骤执行的处理中接收的第二用户状况信息中的语音和图像；

分析在用户信息输入步骤执行的处理中输入的第一用户状况信息或在用户信息接收步骤执行的处理中接收的第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数。所述处理在信息合成步骤执行，用于基于在信息分析步骤执行的处理中产生的分析结果，合成语音和图像。

根据本发明的一个实施例，提供这样的信息处理装置，所述信息处理装置包括：

再现部，用于与其他信息处理装置同步地再现信息处理装置和其他信息处理装置共有的内容数据；

用户信息输入部，用于输入包括操作信息处理装置的用户的语音和图像的第一用户状况信息；

用户信息接收器部，用于接收包括由其他用户操作的其他信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成部，用于合成再现部同步地再现的内容数据中的语音和图像与用户信息接收器部接收的第二用户状况信息中的语音和图像；

信息分析部，用于分析用户信息输入部输入的第一用户状况信息或用户信息接收器部接收的第二用户状况信息中的至少一个；及

参数设置部，用于设置用于控制处理的控制参数。所述处理由合成部执行，用于基于信息分析部产生的分析结果，合成语音和图像。

如上所述，在本发明中，在所述信息处理装置中与其他信息处理装置同步地再现所述信息处理装置和其他信息处理装置共有的内容。然后，输入包括操作所述信息处理装置的用户的语音和图像的第一用户状况信息。接下来，从其他用户操作的其他信息处理装置接收包括另一个用户的语音和图像的第二用户状况信息。然后，同步地再现的内容中的语音和图像与第二用户状况信息中的语音和图像合成。接下来，分析输入的第一用户状况信息或接收到的第二用户状况信息中的至少一个。最后，基于分析结果，设置用于控制合成语音和图像的处理的控制参数。

网络是互相连接至少两个装置并将信息从一个装置传播到另一个装置的机制。通过网络彼此通信的装置可以是独立的装置或包含在一个装置中的内部块。

当然，通信可以是无线或有线通信。另外，通信也可以是互相混合的无线通信和有线通信的组合。即，对特定区域采用无线通信而对其他区域采用有线通信。另外，无线通信和有线通信也可以通过对从特定装置到另一个装置的通信应用无线通信而对从其他装置到所述特定装置的通信应用有线通信来彼此混合。

根据本发明的一个实施例，可以根据用户状况容易地设置多个图像和多个语音的合成。此外，根据本发明的一个实施例，彼此出现在远程位置的用户能够以生动的方式互相通信。

附图说明

参考说明书及附图，阐明本发明的这些和其他目标，其中附图包括：

图1为示意图，展示本发明一个实施例中的通信系统的典型配置；

图2A至2C为示意图，展示图1所示通信系统中的内容的典型图像及用户的典型图像；

图3A至3C为示意图，展示内容图像与用户图像合成的典型模式；

图4为结构图，展示图1所示的通信系统中使用的通信装置的典型配置；

图5为流程图，展示由图4所示的通信装置执行的远程通信处理；

图6为结构图，展示图4所示的通信装置中使用的数据分析部的详细典型配置；

图7为示意图，展示分析有关用户状况的信息的典型方法；

图8为另一个示意图，展示分析有关用户状况的信息的典型方法；

图9为示意图，展示另一种分析有关用户状况的信息的典型方法；

图10为另一个示意图，展示又一种分析有关用户状况的信息的典型方法；

图11为示意图，展示使用多条实时数据分析有关用户状况的信息的典型方法；

图12为另一个示意图，展示使用多条实时数据分析有关用户状况的信息的典型方法；

图13为流程图，展示图5所示流程图的步骤S6中执行的用户特征分析混合处理；

图14为流程图，展示作为图13所示流程图的步骤S30中执行的处理的对应部分所执行的控制信息接收器处理；及

图15为结构图，展示本发明一个实施例中的个人计算机的典型配置。

具体实施方式

在说明本发明的较佳实施例之前，在下面的比较说明中解释所揭示的本发明和实施例之间的关系。即使有在此说明书中描述而未作为对应于某发明的实施例包括在下面的比较说明中的实施例，也不应这样的实施例解释为不对应于某个发明的实施例。相反，不应将作为对应于特定发明的实施例包括在下面的比较说明中的实施例解释为不对应于特定发明之外的某个发明的实施例。

此外，不应将下面的比较说明解释为覆盖在本说明书中揭示的所有发明的完全说明。换句话说，下面的比较说明决不否定在本说明书中揭示但未包括在权利要求中的发明的存在，因为对这些发明提交了专利申请。即，下面的比较说明决不否定将包括在单独的专利申请中、包括在对此说明书的修改中，或将来附加的发明的存在。

根据本发明的一个实施例，一种信息处理装置(如图1所示的通信装置1-1)包括：

再现装置(如图4所示的内容再现部25)，用于与其他信息处理装置(如图1所示的通信装置1-2)同步地再现所述信息处理装置和其他信息处理装置共有的内容数据；

用户信息输入装置(如图4所示的输入部22-1)，用于输入包括操作信息处理装置的用户的语音和图像的第一用户状况信息；

用户信息接收器装置(如图4所示的通信部23)，用于接收包括由其他用户操作的其他信息处理装置上的其他用户的语音和图像的第二用户状况信息；

合成装置(如图4所示的音频/视频合成部26)，用于合成再现装置同步地再现的内容中的语音和图像与用户信息接收器装置接收的第二用户状况信息中的语音和图像；

信息分析装置(如图4所示的用户特征分析部71)，用于分析用户信息输入装置输入的第一用户状况信息或用户信息接收器装置接收的第二用户状况信息中的至少一个；及

参数设置装置(如图4所示的控制信息生成部72)，用于设置用于控制处理的控制参数，合成装置基于信息分析装置产生的分析结果执行所述处理来合成语音和图像。

也可以提供这样的配置，其中信息处理装置在本发明的一个实施例中还包括分析对象确定装置(如图4所示的合成控制部84)，用于产生信息分析装置是否分析用户信息接收器装置接收的第二用户状况信息的确定结果，及，如果分析对象确定装置产生的确定结果表明信息分析装置不用分析第二用户状况信息，则信息分析装置只分析第一用户状况信息。

也可以提供这样的配置，其中信息处理装置在本发明的一个实施例中还包括输出装置(如图4所示的输出部)，用于输出作为合成装置产生的合成结果获得的语音和图像，并且参数设置装置也基于信息分析装置产生的分析结果设置输出装置的控制参数。

也可以提供这样的配置，其中参数设置装置基于信息分析装置产生的分析结果，设置控制其他信息处理装置的参数，且信息处理装置在本发明的一个实施例中还包括发送器装置(如图4所示的操作信息输出部87)，用于将参数设置装置所设置的控制参数传输到其他信息处理装置。

 还可以提供这样的配置，其中信息处理装置在本发明的一个实施例中还包括接受确定装置(如图4所示的会话管理部81)，用于产生是否接受由其他信息处理装置传输的控制参数的确定结果。

根据本发明的一个实施例，提供这样的信息处理方法，包括下面的步骤：

与其他信息处理装置同步地再现信息处理装置和其他信息处理装置共有的内容数据(如图5所示流程图中的步骤S4)；

输入包括操作信息处理装置的用户的语音和图像的第一用户状况信息(如图5所示流程图中的步骤S2中在图4所示的输入部22-1中执行处理的子步骤)；

接收包括由其他用户操作的其他信息处理装置上的其他用户的语音和图像的第二用户状况信息(如图5所示流程图中的步骤S2中在图4所示的通信部23中执行处理的子步骤)；

合成在再现步骤执行的处理中同步地再现的内容数据中的语音和图像与在用户信息接收步骤执行的处理中接收的第二用户状况信息中的语音和图像(如图13所示流程图中的步骤S28)；

分析在用户信息输入步骤执行的处理中输入的第一用户状况信息或在用户信息接收步骤执行的处理中接收的第二用户状况信息中的至少一个(如图13所示流程图中的步骤S23)；及

设置用于控制处理的控制参数。所述处理在信息合成步骤执行，用于基于在信息分析步骤执行的处理中产生的分析结果，合成语音和图像(如图13所示流程图中的步骤S24)。

应注意，记录媒体和实际实现之间的关系在本发明的一个实施例中与上述信息处理方法和实施例中实际实现之间的关系是相同的。基于相同的原因，程序和实际实现的之间的关系在实施例中与上述信息处理方法和实施例中的实际实现之间的关系是相同的。因此，为了避免重复，在此并不解释记录媒体和实施例中的实际实现之间的关系以及程序和实施例中的实际实现之间的关系。

下面，参考附图对本发明的实施例进行详细说明。

图1为示意图，展示本发明的一个实施例中的通信系统的典型配置。在此通信系统中，通信装置1-1通过通信网络2连接到另一个通信装置1。在图1所示典型配置的情况下，通信装置1-2充当其他通信装置1。通信装置1-1和1-2在彼此之间以类似于所谓电视电话的方式交换它们的用户的图像以及伴随图像的用户语音。此外，通信装置1-1与通信装置1-2同步地再现通信装置1-1和1-2共有的内容。通过以此方式显示共有内容，支持用户之间的远程通信。在下面的说明中，在不需要彼此区分通信装置1-1和1-2的情况下，通信装置1-1和1-2都简单地称为通信装置1。

应注意，共有内容的例子包括作为接收电视广播的结果获取的节目内容、通过下载获取的电影内容等等、在用户之间交换的隐私内容、游戏内容、音乐内容，及预先记录在由DVD(数字多用途盘)表示的光盘上的内容。应注意，光盘自身并未在图中展示。

通信装置1可以由多个用户同时使用。例如，在图1所示典型配置的情况下，通信装置1-1由用户A和B使用，而通信装置1-2由用户X使用。

作为例子，在图2A中展示共有内容的图像。通信装置1-1得到的图像是用户A的图像，如图2B所示的那样。另一方面，通信装置1-2得到的图像是用户X的图像，如图2C所示的那样。在此情况，图4所示的在通信装置1-1中使用的显示单元41显示如图3A所示的画中画屏幕、如图3B所示的交叉淡入淡出屏幕，或如图3C所示的擦除屏幕。在任何一种情况下，共有内容的图像和用户的图像都彼此重叠。

在图3A所示的画中画显示中，用户的图像都作为小屏幕重叠在共有内容的图像上。可以用任意方式改变每个小屏幕的位置和尺寸。此外，除了显示两个用户的图像，即，显示用户A自身的图像和充当用户A的通信伙伴的用户X的图像，可以只显示其中任何一个用户的图像。

在图3B所示的交叉淡入淡出屏幕中，共有内容的图像与用户的图像合成，其中用户可以是用户A或X。例如，在用户指向共有内容的图像上的任意位置或区域时，可以使用此交叉淡入淡出屏幕。

在图3C所示的擦除屏幕中，用户的图像出现在屏幕上，同时以特定方向移动，逐渐覆盖共有内容的图像。在图3C所示的典型屏幕中，用户的图像从右边出现。

可以不时地改变上述屏幕合成模式。此外，每个合成模式都具有合成参数，如在图3A至3C所示的合成模式中设置每个图像的透明度的图像平衡，及设置内容和用户音量的音量平衡。也可以不时地改变这些合成参数。显示合成模式从一种模式到另一种模式的改变与合成参数的改变的历史存储在图4所示的合成信息存储部64中。应注意，显示内容的图像和用户的图像的模式并不限于上述合成模式。即，也可以通过上述模式之外的合成模式显示图像。

参考图1。通信网络2是典型地由因特网代表的宽带数据通信网络。接收到通信装置1做出的请求时，内容提供服务器3通过通信网络2向通信装置提供内容。在通信装置1的用户可以使用通信系统之前，身份验证服务器4对用户进行身份验证。此外，身份验证服务器4也对身份验证成功的用户执行记账处理和其他处理。

广播装置5是用于传输内容的单元，所传输的内容通常是电视广播节目等等。因此，通信装置1能够接收并以同步的方式再现来自广播装置5的内容。应注意，广播装置5能够通过无线或有线通信传输内容到通信装置1。此外，广播装置5也可以通过通信网络2传输内容到通信装置1。

标准时间信息广播装置6是用于向通信装置1提供有关标准时间的信息的单元。标准时间信息用于将图4中所示在每个通信装置1中充当时钟的标准时间测量部30正确地同步到标准时间。由时钟测量的标准时间通常可以是世界标准时间或日本标准时间。应注意，标准时间信息广播装置6能够通过无线或有线通信传输有关标准时间的信息到通信装置1。此外，标准时间广播装置6也可以通过通信网络2传输有关标准时间的信息到通信装置1。

在图1所示的典型通信系统中，只有两个通信装置1通过通信网络2互相连接。然而，也值得注意的是，连接到通信网络2的通信装置1的数量不限于两个。即，任何数量的通信装置1，包括通信装置1-3和1-4，都可以通过通信网络2互相连接。

接下来，参考图4详细说明通信装置1-1的典型配置。

在通信装置1-1中使用的输出部21包括显示单元41和扬声器42。输出部21在显示单元41上显示对应于从音频/视频合成部26接收的视频信号的图像，并输出对应于从音频/视频合成部26接收的音频信号的声音到扬声器42。

输入部22-1包括摄像机51-1、麦克风52-1和传感器53-1。同样，输入部22-2包括摄像机51-2、麦克风52-2和传感器53-3。在下面的说明中，在不需要彼此区分输入部22-1和22-2的情况下，输入部22-1和22-2都简单地称为输入部22。同样，在不需要彼此区分摄像机51-1和51-2的情况下，摄像机51-1和51-2都简单地称为摄像机51。同样，在不需要彼此区分麦克风52-1和52-2的情况下，麦克风52-1和52-2都简单地称为麦克风52。同样，在不需要彼此区分传感器53-1和53-2的情况下，传感器53-1和53-2都简单地称为传感器53。

摄像机51是用于取得用户的图像的部件。用户的图像可以是动态或静态图像。麦克风52是用于收集用户的语音和其他声音的部件。传感器53是用于检测有关用户周围环境的信息的部件。有关环境的信息包括亮度、环境温度及湿度。

输入部22将获取的图像、语音/声音及有关环境的信息作为用户的RT(实时)数据输出到通信部23、存储部27及数据分析部28。此外，输入部22也输出获取的用户图像和用户语音到音频/视频合成部26。

应注意，也可以提供多个输入部22，朝向多个相应的用户。例如，在图4所示的通信装置1-1的情况下，提供了两个输入部22，朝向图1所示的两个用户A和B。

通信部23是用于将输入部22输入的实时数据作为用户A和/或B的数据通过通信网络2传输到充当通信伙伴的通信装置1-2并接收通信装置1-2上的用户X的实时数据的单元。通信部23向音频/视频合成部26和存储部27提供用户X的实时数据。此外，通信部23还接收由通信装置1-2或内容提供服务器3通过通信网络2传输的内容并提供向内容再现部25和存储部27该内容。在下文中，这样的内容也称为内容数据。通信部23通过通信网络2传输内容和信息到通信装置1-2。该内容是从存储部27中读出的内容，且该信息是操作信息输出部87生成的操作信息和控制信息。

广播接收器部24是这样的单元，用于接收由广播装置5广播的电视广播信号并将通过信号传送的广播节目作为内容提供给内容再现部25，且如果需要的话，也提供给存储部37的。内容再现部25是用于再现内容的单元，内容是由广播接收器部24接收的广播节目。再现的内容也可以是由通信部23接收的内容、从存储部27中读出的内容，或从盘片如光盘中读出的内容。应注意，盘片自身并未在附图中展示。内容再现部25向音频/视频合成部26和图像分析部28提供再现的内容的声音和图像。

音频/视频合成部26是这样的单元，用于混合作为内容的图像和声音从内容再现部25接收的图像和声音、作为用户A的图像和语音从输入部22接收的图像和语音、作为用户X的图像和语音从通信部23接收的图像和语音，以及通常用于提醒用户A的字符串，并向输出部21提供作为分析结果获取的视频信号。混合处理由音频/视频合成部26执行在下文中称为合成处理，它是混合及调整图像、声音、语音和字符串的处理。

存储部27包括内容存储部61、证书存储部62、用户信息存储部63及上述合成信息存储部64。内容存储部61是这样的单元，用于存储作为用户如用户A的实时数据从输入部22接收的数据、作为通信伙伴如用户X的实时数据从通信部23接收的数据、作为内容从广播接收器部24接收的广播节目，及从通信部23接收的内容。证书存储部62是用于存储作为使用存储在内容存储部61中的内容的证书的信息，如授予通信装置1-1的证书的单元。用户信息存储部63是用于存储数据，如有关通信装置1-1所属的某个组的隐私信息的单元。合成信息存储部64是用于存储每个合成模式和每个合成参数的单元，所存储的合成模式及合成参数可以由合成控制部84改变。

数据分析部28由用户特征分析部71和控制信息生成部72组成，它是用于输入作为用户如用户A的实时数据从输入部22接收的数据、作为通信伙伴如用户X的实时数据从通信部23接收的数据，及从内容再现部25接收的内容的单元。

用户特征分析部71是用于分析包括每个用户的姿势、用户数量、每个用户的语音，及用户状况的信息的特征，并向控制信息生成部72提供分析结果的单元。用户的状况是有关包围每个用户的环境的信息。对其特征进行分析的信息是作为用户(包括用户A)的实时数据从通过输入部22接收的数据中获取的信息。除信息的特征之外，用户特征分析部71也分析其他信息的特征，并向控制信息生成部72提供分析结果。其他信息是作为用户(如用户X)的实时数据从通过通信部23接收的数据中获取的信息。

控制信息生成部72是生成用于根据从用户特征分析部71中接收的分析结果对通信装置1-1中使用的各部执行控制的控制信息，并向控制部32输出控制信息的单元。例如，控制信息生成部72生成用于对音频/视频合成部26执行控制的控制信息，并向控制部32输出控制信息。在此情况下，控制音频/视频合成部26，以便根据从用户特征分析部71接收的分析结果，基于合成参数与合成模式，合成作为通信伙伴(如用户X)的实时数据从通信部23接收的数据中的图像和语音及从内容再现部25接收的内容中的图像和声音。

此外，控制信息生成部72还根据从用户特征分析部71接收的分析结果生成用于对充当通信伙伴的通信装置1-2中使用的各部执行控制的控制信息，并向控制部32输出控制信息。

通信环境检测部29是用于监控与通信装置1-2通过通信部23和通信网络2通信的环境，并向控制部32输出监控结果的单元。通信环境包括通信速率和通信延时。标准时间测量部30是基于从标准时间信息广播装置6接收的标准时间，调整自身测量得到的标准时间，并向控制部32提供调整过的标准时间的单元。操作输入部31通常是用于接受用户执行的操作，并向控制部32提交对应于该操作的命令的远程控制器。

控制部32是基于如表示作为由用户执行的操作由操作输入部31接收的操作的信号，及从数据分析部28接收的控制信息这样的信息，控制通信装置1-1的其他部件的单元。控制部32包括会话管理部81、查看/收听记录水平设置部82、再现同步化部83、上述的合成控制部84、再现许可部85、记录许可部86、上述的操作信息输出部87，及电子装置控制部88。应注意，在图4所示的典型配置中，省略了用于从控制部32输出控制命令到通信装置1-1的其他部件的控制线。

会话管理部81是用于控制由通信部23执行的处理来通过通信网络2连接通信装置1-1与其他装置，如通信装置1-2、内容提供服务器3及身份验证服务器4的单元。此外，会话管理部81还确定是否接受作为用于控制通信装置1-1中使用的各部的信息从其他设备(如通信装置1-2)接收的控制信息。

查看/收听记录水平设置部82是用于基于用户执行的操作，确定输入部22获取的实时数据和/或作为用户的个人内容存储在内容存储部61中的内容是否可以由充当通信伙伴的通信装置1-2再现和记录的单元。如果确定实时数据和/或个人内容是可以由通信装置1-2记录的数据和/或内容，则设置可以记录数据和/或内容的最多次数及其他信息。将设置的信息作为隐私信息添加到用户的实时数据中，并通过通信部23传输到通信装置1-2。再现同步化部83是用于控制内容再现部25与充当通信伙伴的通信装置1-2同步地再现与通信装置1-2共有的内容的单元。

合成控制部84是基于用户执行的操作，控制数据分析部28分析用户状况信息的单元，用户状况信息从用户的实时数据中获取。此外，合成控制部84还根据用户执行的操作或从数据分析部28接收的控制信息，控制音频/视频合成部26合成内容的图像与用户的图像，并合成内容的语音与用户的语音。即，基于从数据分析部28接收的控制信息，合成控制部84将合成模式的设置改变为图3A至3C所示的任何模式和并改变新设置的合成模式的合成参数的设置。然后合成控制部84根据新设置的合成模式与合成参数控制音频/视频合成部26。此外，合成控制部84将新设置的合成模式与合成参数作为合成信息记录在合成信息存储部64中。

再现许可部85是基于如附加到内容的证书和/或通过通信伙伴中使用的查看/收听记录水平设置部82设置的隐私信息这样的信息，输出是否可以再现内容的确定结果，并基于确定结果控制内容再现部25的单元。记录许可部86是基于包括附加到内容的证书和/或隐私信息这样的信息，输出是否可以记录内容的确定结果，并基于确定结果控制存储部27的单元。

操作信息输出部87是用于生成用户执行操作的操作信息，并通过通信部23将该信息传输到充当通信伙伴的通信装置1-2的单元。用户执行的操作可以是改变频道来接收电视广播的操作、开始再现内容的处理的操作、终止再现内容的处理的操作、以快进方式再现内容的操作，或其他操作。操作信息包括操作的描述及执行该操作的时间。操作信息的细节将在后面描述。操作信息在内容的同步再现中使用。此外，操作信息输出部87还将从数据分析部28接收的控制信息通过通信部23传输到通信装置1-2。

电子装置控制部88是用于基于用户执行的操作或从数据分析部28接收的控制信息，设置输出部21的输出、设置输入部22的输入，并控制作为外围设备连接到通信装置1-1的预定电子装置的单元。预定的电子装置的例子包括照明装置和空调装置，它们都未在图中展示。

应注意，由于通信装置1-2的详细典型配置与图4所示的通信装置1-1相同，对通信装置1-2的详细典型配置不做特别解释。

接下来，参考图5所示的流程图说明通信装置1-1所执行用于与通信装置1-2通信的远程通信处理。应注意，通信装置1-2也以与通信装置1-1相同的方式执行此处理。

当用户在操作输入部31上执行开始远程通信的操作，且操作输入部31向控制部32提供对应于该操作的操作信号时，与通信装置1-2通信的远程通信处理开始。

图中所示流程图开始于步骤S1，其中通信部23基于会话管理部81执行的控制，通过通信网络2与通信装置1-2建立连接，以便通知通信装置1-2远程通信开始。然后，处理流程进入步骤S2。为了响应此通知，通信装置1-2向通信装置1-1返回通知的确认，表示接受远程通信的开始。

在步骤S2，通信部23开始基于控制部32执行的控制，通过通信网络2传输从输入部22接收的用户A的实时数据及其他实时数据。通信部23也开始从通信装置1-2接收用户X的实时数据。然后，处理流程进入步骤S3。这时，向数据分析部28提供作为用户A的实时数据从输入部22接收的数据及其他实时数据，以及作为用户X的实时数据从通信装置1-2接收的实时数据。向音频/视频合成部26提供包括在用户A的实时数据中的图像和语音及包括在其他实时数据的图像和语音，以及包括在用户X的实时数据中的图像和语音。

在步骤S3，通信部23基于由会话管理部81执行的控制与身份验证服务器4通过通信网络2建立连接，以便为获取内容执行身份验证处理。在身份验证处理成功完成之后，通信部23通过通信网络2访问内容提供服务器3，以便获取用户指定的内容。然后，处理流程进入步骤S4。同时，通信装置1-2执行和通信装置1-1相同的处理来获取相同的内容。

应注意，如果指定的内容是作为电视广播接收的内容或存储在存储部27中并随时可以再现的已获取内容，则可以忽略步骤S3的处理。

在步骤S4，内容再现部25基于再现同步化部83执行的控制开始与通信装置1-2同步地再现内容的处理。然后，处理流程进入步骤S5。通过执行与通信装置1-2同步再现内容的处理，通信装置1-1和1-2基于标准时间测量部30(或标准时间信息广播装置6)提供的标准时间以同步的方式再现相同的内容。向音频/视频合成部26和数据合成部28提供再现的内容。

在步骤S5，存储部27开始远程通信记录处理。然后，处理流程进入步骤S6。具体来说，音频/视频合成部26根据合成控制部84执行的控制合成已开始再现的内容、包括在用户A的实时数据中的图像和语音及其他输入的实时数据，以及包括在接收到的用户X的实时数据中的图像和语音。然后，音频/视频合成部26向输出部21提供作为分析结果处理获取的音频和视频信号。应注意，这时，合成控制部84基于合成模式与该模式的合成参数，控制由音频/视频合成部26执行的合成处理。如上所述，事先已根据用户执行的操作设置了合成模式与该模式的合成参数。

输出部21基于向其提供的视频信号显示图像，并基于接收到的音频信号产生声音。在此阶段，用户之间的图像和语音交换及以同步方式再现内容的处理均已开始。

然后，在开始用户之间的图像和语音交换和以同步方式再现内容的处理之后，开始记录已开始再现的内容、包括在用户A的实时数据及其他实时数据中的图像和语音，以及包括在用户X的实时数据中图像和语音，及包括合成模式与对该合成模式设置的合成参数的合成信息的处理。

在步骤S6，根据合成控制部84执行的控制，数据分析部28和音频/视频合成部26执行用户特征分析混合处理，该处理的细节将在后面说明。更具体地说，在步骤S6，数据分析部28分析有关用户状况的信息。有关用户状况的信息从每个用户的实时数据中获取，它包括有关每个用户的姿势的信息、用户数量、每个用户的语音，及有关每个用户周围的环境的信息。然后，数据分析部28基于分析结果生成控制信息，用于控制各部，包括音频/视频合成部26。以此方式，通过基于控制信息，而不是根据用户执行的操作事先确定的合成模式与事先对所确定的合成模式设置的合成参数，来改变合成模式为另一种模式并适当地设置新合成模式的合成参数，合成控制部84执行处理来控制音频/视频合成部26执行合成处理。

然后，在下一个步骤S7，控制部32产生用户是否已执行请求终止远程通信的操作的确定结果。控制部32重复执行此步骤的处理，直到用户执行这样的操作。若步骤S7产生的确定结果表明用户已执行了请求终止远程通信的操作，则处理流程进入步骤S8。

在步骤S8，通信部23基于会话管理部81执行的控制通过通信网络2与通信装置1-2建立连接，以便通知通信装置1-2远程通信已终止。为了响应此通知，通信装置1-2向通信装置1-1返回通知的确认，表示接受远程通信的终止。

然后，在下一个步骤S9，存储部27终止远程通信记录处理。应注意，以此方式，当以后执行下一次远程通信时，可以使用对已终止的远程通信存储的数据。对已终止的远程通信存储的数据包括再现的内容、包括在用户A的实时数据及其他实时数据中的图像和语音，以及包括在用户X的实时数据中的图像和语音，及上述合成信息。

上面已对通信装置1-1作为通信装置1-1和通信装置1-2之间的通信处理所执行的远程通信处理进行了说明。

下面的说明解释在表示上述远程通信处理的流程图的步骤S6中执行的上述用户特征分析混合处理的细节。

图6为结构图，展示用于执行用户特征分析混合处理的数据分析部28的详细配置。应注意，在图6所示的具体配置的各部中，与它们在图4所示的配置中使用的对应部分相同的部分由相同的编号表示，且省略这些具体配置部分的说明，以免重复。

如图6所示，用户特征分析部71的典型配置包括分析控制部101、姿势信息分析部102、用户计数分析部103、音频信息分析部104，及环境信息分析部105。

分析控制部101是根据合成控制部84执行的控制，控制用于分析信息的各部来分析用户的状况信息(或特征)，并向控制信息生成部72提供分析结果的单元。提供用于分析信息的各部包括姿势信息分析部102、用户计数分析部103、音频信息分析部104及环境信息分析部105。用户的状况信息(或特征)是作为要分析的实时数据从用户的实时数据中获取的信息。要分析的实时数据是从输入的用户A的实时数据与接收到的用户X的实时数据中抽取的数据。

姿势信息分析部102是基于有关用户的前倾、后倾、左倾、右倾姿势的信息执行分析处理，并向分析控制部101提供分析结果处理的单元。有关用户的前倾、后倾、左倾、右倾姿势的信息是作为要分析的实时数据从包括在用户的实时数据中的图像中抽取的信息。用户计数分析部103是基于输入的实时数据分析参与远程通信的用户的数量，并向分析控制部101提供分析结果的单元。音频信息分析部104是基于从包括在要分析的实时数据中的声音中抽取的音频信息执行分析处理，并向分析控制部101提供分析结果的单元。音频信息的例子包括音量和声音频率。

环境信息分析部105是基于有关用户周围的环境信息执行分析处理，并向分析控制部101提供分析结果的单元。从要分析的实时数据中抽取有关用户周围环境的信息，这包括亮度和环境温度。应注意，除亮度和环境温度之外，有关用户周围环境的信息还包括湿度、通信装置1-1的移动加速度、通信装置1-1的位置，及移动时间。在此情况，可以在输入部22中对有关用户周围环境的每一项输入信息提供传感器。另外，也可以在通信装置1-1中提供内置的GIS(地理信息系统)功能。

基于根据分析控制部101执行的控制产生的分析结果，控制信息生成部72生成控制信息，用于控制通信装置1-1中的各部执行的处理。然后控制信息生成部72向合成控制部84或电子装置控制部88提供控制信息。此外，同样基于从分析控制部101接收的分析结果，控制信息生成部72生成控制信息，用于控制在通信装置1-2中使用的各部执行的处理。在此情况，控制信息生成部72向操作信息输出部87提供控制信息。

参考图7和图8，下面的说明具体解释在用户特征分析混合处理中使用实时数据分析有关用户状况的信息的方法。应注意，图7和图8中的例子展示了由控制信息生成部72执行用来基于姿势信息分析部102产生的分析结果生成控制信息的处理。

在图7所示的例子中，用户A使用通信装置1-1采用上面参考图3A描述的画中画方法作为图5所示流程图的步骤S5中执行远程通信记录处理的方法来与操作通信装置1-2的用户X通信。

因此，在通信装置1-1中使用的输入部22用于获取实时数据，包括用户A的图像和语音、亮度以及环境温度，并通过通信部23将数据传输到通信装置1-2。另一方面，通信装置1-2将用户X的实时数据传输到通信装置1-1中使用的通信部23。应注意，在图7中，摄像机51作为输入部22展示。

然后，通信装置1-1中使用的显示单元41在子屏幕201上显示充当通信伙伴的用户X的图像。在全屏幕的右下角，子屏幕201重叠在当前再现的内容的图像202上。应注意，子屏幕201的透明度在开始用户特征分析混合处理之前已设置为标准透明度。

这时，用户A使用操作输入部31执行开始用户特征分析混合处理的操作。

用户特征分析部71已接收到用户A和X的实时数据。在用户特征分析部71中使用的姿势信息分析部102从摄像机51取得的图像211中抽取轮廓信息G1，如图8所示，作为包括在用户A的实时数据中的图像。然后，姿势信息分析部102分析抽取出的轮廓信息G1，通过比较抽取的轮廓信息及用户A的参考轮廓G0，确定用户A的前倾/后倾姿势信息(或有关姿势特征的信息)是为指示前倾还是后倾姿势的信息。即，姿势信息分析部102分析抽取出的轮廓信息G1来确定用户A的姿势信息是前倾还是后倾姿势，用户A将该姿势作为相对于显示单元41的姿势进行呈现。以此方式，姿势信息分析部102能够将用户A表达的兴奋度水平识别为当前再现的内容的兴奋度。用户A呈现的前倾/后倾姿势是倾向于向前或向后方向的姿势。

然后，控制信息生成部72生成控制信息，用于基于姿势信息分析部102执行的处理产生的结果，控制在合成的图像上显示用户X的图像的子屏幕201的透明度，来分析有关姿势的信息。此外，控制信息生成部72还生成控制信息，用于基于姿势信息分析部102执行的处理产生的结果，控制用户A和X的语音音量在合成的声音中的平衡，来分析有关姿势的信息。

上述参考轮廓G0事先由姿势信息分析部102设置。通常，按如下设置参考轮廓G0。首先，使用摄像机51取得包括参考姿势的用户A的图像。参考姿势是这样的姿势，在其中设置参考轮廓G0。然后通过摄像机51取得的图像，采用如移动向量分析这样的方法来确定用户A的参考姿势。最后，获取到有关用户A的参考姿势的参考轮廓G0的信息。应注意，除了采用移动向量分析，参考轮廓G0也可以通过使用户A确认出现在显示单元41上的用户自身图像来设置。

然后，姿势信息分析部102得到轮廓比率e(＝G1/G0)，其中符号G0表示用户A的参考轮廓信息，而符号G1表示用户A的当前轮廓信息。接下来，姿势信息分析部102分析计算出的轮廓e，以基于图8所示的图212按如下确定用户A的姿势是前倾还是后倾姿势。

右边的图表上展示图8中的图212，其纵轴表示有关用户A的姿势的信息。纵轴的中央是对应于参考姿势的姿势信息。在中央上方的姿势信息表示前倾姿势，而中央下方的姿势信息表示后倾姿势。另一方面，横轴表示轮廓比率e。横轴中央的轮廓比率e为1。中央右边的轮廓比率是大于1的轮廓比率e，每个轮廓比率e都表示在+号一边对应于前倾姿势的位置。另一方面，在中央左边的轮廓比率e是小于1的轮廓比率e，每个轮廓比率e都表示在-号一边对应于后倾姿势的位置。

因此，对小于1的轮廓比率e，即，用户A当前的轮廓G1小于参考轮廓G0，姿势信息分析部102确定用户A的姿势和参考姿势相比是后倾的，得到这样的分析结果，表明用户A对当前再现的内容具有低水平的兴奋度。在此情况，基于这样的分析结果，如显示用户X的图像的子屏幕201B所示，控制信息生成部72将子屏幕201B的透明度降低为小于上述参考子屏幕201的透明度的值。即，姿势信息分析部102生成控制信息来突出用户X的图像并增加用户X的音量，以便使用户更好地查看和收听用户X。

如果在数据分析部28中轮廓比率e大于1或用户A当前的轮廓G1大于参考轮廓G0，则姿势信息分析部102确定用户A的姿势和参考姿势相比是前倾的，产生这样的分析结果，表明用户A对当前再现的内容具有较高水平的兴奋度。在此情况，基于这样的分析结果，如显示用户X的图像的子屏幕201F所示，控制信息生成部72将子屏幕201F的透明度提高为大于上述参考子屏幕201的透明度的值。即，姿势信息分析部102生成控制信息来减弱用户X的图像并降低用户X的音量，以便使用户更好地查看和收听内容。

在图7所示例子的情况下，调整显示通信伙伴的图像的子屏幕201的透明度。然而，应注意，也可以调整子屏幕201的尺寸，而不是调整透明度。

如上所述，在用户A为前倾姿势的情况下，执行合成来产生用户X的图像不突出的显示。因此，用户A能够容易地得到这样的环境，允许容易地查看和收听内容，而无需由用户自己设置子屏幕的显示。另一方面，在用户A为后倾姿势的情况下，执行合成来产生用户X的图像突出的显示。因此，用户A能够容易地得到这样的环境，允许容易地与用户X进行通信。

在图8所示例子的情况下，分析从用户A的图像中抽取的轮廓来确定用户A的姿势是前倾姿势还是后倾姿势。然而，应注意，分析方法并不仅限于此方法。例如，可以提供这样的配置，其中在显示单元41右边和左边提供两个摄像机51，并使用摄像机51取得的图像生成的立体视图来抽取有关姿势的信息，以用在对姿势的分析中，而不是从图像中抽取轮廓。另外，也可以提供这样的配置，其中在接近显示单元41的位置安装红外线传感器，并采取使用红外线的三维测距方法来抽取要分析的姿势信息。

接下来，参考图9和10，具体地说明使用用户的实时数据分析有关用户状况的信息的另一种典型分析方法。应注意，图9和10中所示的例子是上面参考图7和8说明的处理的其他例子。然而，在图9和10中的例子情况下，有两个通信伙伴，即，用户X和Y。同样，在图9和10所示例子的情况下，控制信息生成部72基于姿势信息分析部102产生的分析结果生成控制信息。

在图9所示例子的情况下，用户A使用通信装置1-1采用上面参考图3A所述的画中画方法作为执行在图5所示流程图的步骤S5中的远程通信记录处理的方法，来与操作通信装置1-2的用户X和操作另一个通信装置1-3(未在图中展示)的用户Y通信。

因此，通信装置1-1中使用的输入部22用于获取实时数据，包括用户A的图像和语音、亮度和环境温度，并通过通信部23传输数据到通信装置1-2和1-3。另一方面，通信装置1-2和1-3传输用户X和Y的实时数据到在通信装置1-1中使用的通信部23。应注意，在图9中摄像机51作为输入部22展示。

然后，在通信装置1-1中使用的显示单元41在图像223右边与当前再现的内容图像223重叠的子屏幕221上显示充当通信伙伴的用户X的图像。同时，显示单元41还在图像223左边与图像223重叠的子屏幕222上显示充当另一个通信伙伴的用户Y的图像。应注意，在开始用户特征分析混合处理之前，子屏幕221和222的尺寸都已设置为标准尺寸。

那时，用户A通过使用操作输入部分31执行操作以开始用户特征分析混合处理。

用户特征分析部71已接收到用户A、X和Y的实时数据。在用户特征分析部71中使用的姿势信息分析部102从图10所示摄像机51取得的图像231中抽取当前头位置H1作为包括在用户A的实时数据中的图像。然后，姿势信息分析部102通过比较用户A的头位置H1与用户A的参考头位置H0分析抽取出的当前头位置H1，以便确定用户A的姿势是右倾还是左倾。即，姿势信息分析部102确定用户A的姿势相对于显示单元41的屏幕中央是右倾还是左倾。换句话说，姿势信息分析部102确定用户A的姿势是朝向子屏幕221还是222的方向的姿势。用户A呈现的左倾/右倾位置是倾向于左边或右边方向的位置。

然后，控制信息生成部72生成控制信息，用于基于姿势信息分析部102执行的处理的结果，在合成的图像中控制子屏幕221和222的尺寸，来分析有关姿势的信息。此外，控制信息生成部72还生成控制信息，用于基于姿势信息分析部102执行的处理的结果，在合成的声音中控制用户X和Y的音量平衡，来分析有关姿势的信息。

参考头位置H0由姿势信息分析部102事先设置。通常设置参考头位置H0的方式和上面参考图8所述设置参考轮廓G0的方法相同，如下所述。首先，使用摄像机51取得具有参考姿势的用户A的图像。该参考姿势是这样的参考姿势，其中如所示将参考头位置H0设置为在图9底部的中间姿势。然后，采用如移动向量分析这样的方法，从摄像机51取得的图像中识别用户A的参考姿势。最后，在识别出的用户A的参考姿势中获取有关参考头位置的信息。

姿势信息分析部102通过比较头位置H1与用户A的参考头位置H0，在当前姿势中分析用户A的头位置H1。在图10中的图表232展示的图中，参考头位置H0对应于横轴上的值0。

在图10中的图表232展示的右边的图中，纵轴表示有关姿势的信息。纵轴中央是对应于参考姿势的姿势信息。在中央上方的姿势信息表示右倾姿势，而中央下方的姿势信息表示左倾姿势。另一方面，横轴表示相对于参考头位置H0的当前头位置H1。横轴中央的0是参考头位置H0。中央右边的头位置H1是大于参考头位置H0的头位置H1，每个头位置H1都表示在+号方向上对应于右倾姿势的位置。另一方面，中央左边的头位置H1是小于参考头位置H0的头位置H1，每个头位置H1都表示在-号方向上对应于左倾姿势的位置。应注意，在图10中作为用户A的图像所示的图像231中，这里的左右方向和图9中用户A查看和收听显示41的方向相反。即，图像231的-号方向是图10中的图表232横轴的-号方向，表示图9中的左边，而图像231的+号方向是图表232横轴的+号方向，表示图9的右边。

因此，如果当前头位置H1小于0，即，如果用户A的当前头位置是在参考位置H0的-号方向的位置，则姿势信息分析部102确定用户A的姿势相对于参考姿势左倾，生成分析结果，表明用户A在朝向用户Y的方向面对屏幕，用户Y显示在上述显示内容图像的显示单元41左边的子屏幕222上。在此情况，基于分析结果，控制信息生成部72生成这样的控制信息，用于合成图像以便按比子屏幕222的尺寸更大的尺寸显示子屏幕222L，如子屏幕222L所示，并生成这样的控制信息，用于合成声音以便按较大音量输出用户Y的语音。此外，同时，控制信息生成部72生成这样的控制信息，用于合成图像以便按比上述子屏幕221的尺寸更小的尺寸显示子屏幕221S，如子屏幕221S所示，并生成这样的控制信息，用于合成声音以便以较小的音量输出用户X的语音。以此方式，比起查看和收听用户X来，用户A可以更好地查看和收听用户Y。

如果当前的头位置H1大于0，即，如果用户A的当前头位置H1是在参考位置H0的+号方向的位置，则姿势信息分析部102确定用户A的姿势相对于参考姿势是右倾的，并生成分析结果，表明用户A在朝向在显示内容图像的显示单元41右边的上述子屏幕221上显示的用户X方向上面对屏幕。在此情况，基于分析结果，控制信息生成部72生成控制信息，用于合成图像以便按比子屏幕221的尺寸更大的尺寸显示子屏幕221L，如子屏幕221L所示，并生成这样的控制信息，用于合成声音以便按较大音量输出用户X的语音。此外，同时，控制信息生成部72生成这样的控制信息，用于合成图像以便按比上述子屏幕222的尺寸更小的尺寸显示子屏幕222S，如子屏幕222S所示，并生成这样的控制信息，用于合成声音以便以较小的音量输出用户Y的语音。以此方式，比起查看和收听用户Y来，用户A可以更好地查看和收听用户X。

如上所示，在图9和10所示例子的情况下，如果用户A具有左倾的姿势，则执行合成来产生用户Y的图像突出而用户X的图像不突出的显示。因此，用户A能够容易地得到这样的环境，其中允许与用户Y容易地进行通信，因为可以容易地看到与用户A交谈的用户Y的表情、身体语言和姿势。另一方面，如果用户A具有右倾的姿势，则执行合成来产生用户X的图像突出而用户Y的图像不突出的显示。因此，用户A能够容易地得到这样的环境，其中允许与用户X容易地进行通信，因为可以容易地看到与用户A交谈的用户X的表情、身体语言和姿势。

因此，可以向用户提供与实际的交互通信相同的感觉，在实际的交互通信中，用户和与之交谈的通信伙伴面对面地对话。结果，可以提供自然生动的通信。

在图10所示例子的情况下，通过抽取从用户A的图像中头位置来分析有关用户A的左倾和右倾姿势的信息。然而，应注意，也可以例如通过检测有关视线的信息和有关用户A的眼睛、鼻子和嘴的布局的信息来分析有关用户A的左倾和右倾姿势的信息。

参考图7至10所示的例子，上面的说明解释了使用包括在用户A的实时数据中的用户状况信息进行的分析处理。在这些例子的情况中，有关用户状况的信息是用户的图像。然而，除了从用户A的实时数据中获取的用户状况信息之外，也可以通过分析从充当通信伙伴并操作安装在远程位置的另一个通信装置的另一个用户的实时数据中获取的用户状况信息，来控制用户A操作的通信装置1-1。在此情况，从其他用户操作的其他通信装置接收其他用户的实时数据。

参考图11和12，下面的说明具体地解释使用多条实时数据分析有关用户状况的信息的方法。应注意，图11和12所示的例子是由控制信息生成部72执行用于基于用户计数分析部103和音频信息分析部104得到的分析结果生成控制信息的典型处理。

在图11所示的例子中，用户A使用通信装置1-1采用上面参考图3A说明的画中画方法作为在图5所示流程图的步骤S5中执行远程通信记录处理的方法，以便与操作通信装置1-2的用户X、操作图中未展示的另一个通信装置1-3的用户Y，及操作又一个未在附图中展示的通信装置1-4的用户Z进行通信。因此，在远程通信记录处理中包括了四个用户。

在此情况中，在通信装置1-1中使用的输入部22用于获取实时数据，包括用户A的图像和语音、亮度和环境温度，并将数据通过通信部23传输到通信装置1-2至14。另一方面，通信装置1-2至1-4将用户X、Y和Z的实时数据传输到通信装置1-1中使用的通信部23。应注意，在图11中，麦克风52作为输入部22展示。

然后，在通信装置1-1中使用的显示单元41在图像254的右下角与当前再现的内容的图像254重叠的子屏幕252上显示充当通信伙伴的用户Y的图像，在图像254中下方与图像254重叠的子屏幕251上显示充当另一个通信伙伴的用户X的图像，并在图像254的左下角与图像254重叠的子屏幕253上显示充当又一个通信伙伴的用户Z的图像。

这时，用户A对操作输入部31进行操作来执行开始用户特征分析混合处理的操作。

用户特征分析部71已接收到用户A、X、Y和Z的实时数据。用户特征分析部71中使用的用户计数分析部103分析这些数据来确定有多少用户参与远程通信处理。此外，用户特征分析部71中使用的音频信息分析部104从包括在用户A、X、Y和Z的实时数据中的声音中抽取音频信息(或音频特征)，如音量和频率特征。然后，音频信息分析部104分析抽取出的音量和频率特征来确定参与通信的每个用户的活跃水平，即，每个用户的活跃指标。接下来，基于确定结果，控制信息生成部72生成控制信息，用于控制在内容图像中合成的每个子屏幕251到253的尺寸、透明度及屏幕效果。

图12中的图表261的每个图表的横轴都表示时间的流逝。纵轴表示用户A、X、Y和Z中的每一个输出的音量。从顶部到底部安排的图表261分别表示用户A、X、Y和Z随着时间的流逝输出的语音音量的改变。图表的位置越高，由图所表示的音量越大。同样，图12中的图表262的横轴也表示时间的流逝。纵轴表示用户A、X、Y和Z中的每一个在预定时间的相对活跃水平。基于用户输出的语音音量来推断用户的相对活跃水平。纵轴中央上方和中央之间的相对活跃水平距离越长，相对活跃水平越高。

即，如图261所示，用户A输出的语音音量在时间t0之前小于用户Y和Z输出的语音音量。然而，如时间t0之后的“a”部分所示，有很多时间是用户A输出的语音音量超过用户Y和Z输出的语音音量。因此，分析结果表明，在图262中的时间t0之前，用户A的活跃水平低于参考水平，但是在时间t0之后，用户A的活跃水平高于参考水平。

同样如图261所示，在时间t0之前一直保持用户X输出的语音音量小于用户A、Y和Z输出的语音音量的状态。然而，如时间t0之后的部分“x”所示，用户X输出的语音音量大于用户A、Y和Z输出的语音音量的状态持续了很长一段时间。因此，分析结果表明，在图262中的时间t0之前，用户X的活跃水平不仅低于参考水平，而且还低于用户A、Y和Z的活跃水平，但是在时间t0之后，用户X的活跃水平不仅高于参考水平，还高于用户A、Y和Z的活跃水平。

同样如图261所示，在时间t0之前，有很多段时间在其中用户Y输出的语音音量都大于用户A和X输出的语音音量。然而，除了表示用户Y输出的语音音量大于用户A和X输出的语音音量的两个“y”部分，在时间t0之后一直持续用户Y输出的语音音量小于用户A和X输出的语音音量的状态。因此，分析结果表明，在图262中的时间t0之前，用户Y的活跃水平不仅高于参考水平，还高于用户A和X的活跃水平，但是在时间t0之后，用户A的活跃水平比参考水平低一点。

同样如图261所示，用户Z输出的语音音量大于用户A、X和Y的语音音量的状态在时间t0持续。然而，如在时间t0之后的“z”部分所示，用户Z输出的语音音量小于用户A、X和Y输出的语音音量的状态持续了很长一段时间。因此，分析结果表明，在图262中的时间t0之前，用户Z的活跃水平不仅高于参考水平，还高于用户A、Z和Y的活跃水平，但是在时间t0之后，用户Z的活跃水平不仅低于参考水平，还低于用户A、Z和Y的活跃水平。

如果分析结果表明用户X和用户A、Y和Z的音量相比以最大音量持续输出语音的状态持续，则控制信息生成部72生成控制信息，用于以这样的方式合成图像，其中显示用户X的图像的子屏幕251的尺寸大于其他子屏幕252和253的尺寸，如图11中的箭头P1所示。如果分析结果表明用户Z持续输出语音以和用户A、X和Y相比较小的音量或用户Z几乎处于安静状态的状态持续，则控制信息生成部72生成控制信息，用于以这样的方式合成图像，其中显示用户Z的图像的子屏幕253的尺寸小于或窄于其他子屏幕251和252的尺寸，如箭头P2所示。

请注意，例如，可以提供这样的配置，其中从包括在用户A、X、Y和Z的实时数据中的声音中抽取频率特征，并且如果对抽取出的频率特征的分析结果表明用户X的频率特征和用户A、Y和Z相比连续较高的状态持续，则控制信息生成部72生成控制信息，通常产生显示用户X的图像的子屏幕251闪烁的屏幕效果。

如上所述，在图11和12所示的例子中，用户特征分析部71不仅分析从用户A自己的语音中抽取的音频信息，还分析从通信伙伴的语音中抽取的音频信息。此外，基于分析结果，控制显示用户的每个子屏幕的合成，通常增加显示在参与通信的用户中活跃水平最高的用户的子屏幕的尺寸，即，增加显示最激动的用户子屏幕的尺寸。因此，可以提供这样的环境，允许容易地得到根据当时现有的传输状况进行的通信。当然，也可以提供这样的配置，其中用户特征分析部71并不分析从用户A自身输出的语音中抽取的音频信息，而是只分析从通信伙伴的语音中抽取的音频信息。

此外，在图11和12所示的例子中，可以提供这样的配置，其中在用于控制合成所显示的子屏幕的信息之外，还生成显示用户输出语音的比较结果的控制信息。虽然图11和12所示的例子在此用于说明基于语音执行的合成，这些例子也可以用于说明基于其他用户状况信息，如图像，执行的合成。在基于图像执行合成的情况下，例如，从包括在其他用户的实时数据中的图像中抽取有关每个用户的视线的信息，并且基于抽取出的有关每个其他用户的视线的信息，可以分析对话中的用户的子屏幕及用户的其他属性。

应注意，通过图11和12的例子显然可以看到，对从通信伙伴的实时数据中获取的用户状况信息进行的分析换句话说可以是根据通信伙伴的行为与通信环境执行的控制，如对用户A操作的通信装置1-1进行的控制。结果，可能会无意中带来用户A不需要的操作和效果。为了避免这样的操作和效果，如下面参考图13所述，用户A操作的通信装置1-1可以设置为不分析其他用户的实时数据或限制通过对其他用户的实时数据执行的其他分析的结果生成的控制信息。

在上述说明中，采用了画中画方法。然而，本发明的范围并不限于画中画方法。即，本发明也可以应用于上面参考图3B所述的交叉淡入淡出方法、上面参考图3C所述的擦除方法，及其他合成模式。

此外，上面的说明只解释了每个通信对象的图像和语音与内容的图像和声音的合成。然而，作为用户A的图像和语音通过输入部22输入的图像和语音也可以与内容的图像和声音合成。

接下来，如下所述，参考图13中的流程图说明图5所示流程图的步骤S6中执行的用户特征分析混合处理。

在图5所示流程图的步骤S5中，开始通信记录处理。然后，基于通过用户执行的操作事先设置的合成模式与同样通过用户执行的操作对该合成模式事先设置的合成参数，合成控制部84执行处理来控制音频/视频合成部26所执行的合成处理。此外，数据分析部28获取再现的内容、输入的用户A和其他用户的实时数据，及接收到的用户X的实时数据。

然后，用户A使用操作输入部31来输入请求开始用户特征分析混合处理的命令。操作输入部31生成与用户A执行的操作相对应的操作信号，并向合成控制部84提供该操作信号。从操作输入部31接收到操作信号之后，在图13所示流程图的第一个步骤S21中，合成控制部84产生是否开始用户特征分析混合处理的确定结果。如果确定结果表明将要开始用户特征分析混合处理，则处理流程进入步骤S22，其中合成控制部84产生是否分析其他用户的实时数据的确定结果。如果确定结果表明不需要分析其他用户的实时数据，则处理流程进入步骤S23。

在用户特征分析混合处理之前，已设置了是否分析其他用户的实时数据的信息。勿庸置疑，通过对操作输入部31进行操作，用户A能够改变指示是否分析其他用户的实时数据的信息的设置。

然后，在步骤S23，根据合成控制部84执行的控制，分析控制部101控制用户计数分析部103、音频信息分析部104和环境信息分析部105中的一个来分析从用户自身(即用户A)的实时数据中获取的用户状况信息(或用户特征)，并向控制信息生成部72提供分析结果。然后，处理流程进入步骤S24。

在步骤S24，控制信息生成部72基于从分析控制部101接收的分析结果生成控制信息，并向合成控制部84、操作信息输出部87或电子装置控制部88提供控制信息。然后，处理流程进入步骤S28，其中根据控制信息合成图像和语音。

下面具体说明在步骤S23和S24执行的处理。例如，在步骤S23，分析控制部101控制姿势信息分析部102从包括在用户A的实时数据中的图像中抽取有关姿势的信息，来分析有关姿势的信息，以便确定用户的姿势是前倾、后倾、左倾还是右倾姿势，如上面参考图7至10所述，并向控制信息生成部72提供分析结果。基于分析结果，在下一个步骤S24，控制信息生成部72生成控制信息，用于控制音频/视频合成部26合成内容的图像和声音与充当通信伙伴的用户X的图像和语音，并向合成控制部84提供控制信息。在此情况，控制信息是用于设置合成模式及该模式的合成参数的信息。

作为另一个例子，在步骤S23，分析控制部101控制环境信息分析部105分析包括在用户A的实时数据中的亮度信息，以便产生用户A的环境较暗还是较亮的确定结果，并向控制信息生成部72提供确定结果。如果环境信息分析部105根据分析控制部101执行的控制产生的确定结果表明用户A的环境较暗，则在下一个步骤S24，控制信息生成部72生成控制信息用于将照明装置设置得更亮一些，并向电子装置控制部88提供控制信息。照明装置通常作为通信装置1-1的外围设备提供，这在附图中未展示。

根据控制信息，在步骤S29，电子装置控制部88根据从控制信息生成部72接收的控制信息将照明设备切换到明亮设置。例如，如果用户在较暗的环境中观看内容，如出现在显示单元41上动画，因为用户的精神过于集中在内容上，以至于用户可能忘记使房间更明亮些，结果会使得用户感觉不舒服，而通过上述方式，则可以避免这样的情况。

另一方面，如果步骤S22产生的确定结果表明也要分析其他用户的实时数据，则处理流程进入步骤S25。

在步骤S25，根据合成控制部84执行的控制，分析控制部101控制用户计数分析部103、音频信息分析部104和环境信息分析部105中的一个来分析从用户自身(即用户A)的实时数据中获取的用户状况信息(或用户特征)以及从充当通信伙伴的其他用户的实时数据中获取的状况信息，并向控制信息生成部72提供分析结果。然后，处理流程进入步骤S26。

在步骤S26，控制信息生成部72基于从分析控制部101接收的分析结果生成控制信息。然后，在下一个步骤S27，控制信息生成部72产生是否拒绝生成的控制信息的确定结果。如果确定结果表明不拒绝生成的控制信息，则控制信息生成部72向合成控制部84、操作信息输出部87或电子装置控制部88提供生成的控制信息。然后，处理流程进入上述步骤S28。即，如果基于处理通信伙伴的实时数据得到的分析结果执行的控制会带来用户不需要的操作和/或效果，则可以拒绝生成的控制信息。

下面具体说明在步骤S25至S27中执行的处理。例如，在步骤S25，分析控制部101控制姿势信息分析部102和音频信息分析部104从包括在用户A的实时数据和通信伙伴的实时数据中的声音中抽取通信伙伴的数量及音频信息，如音量和频率特征，分析抽取出的音频信息，以便确定参与通信的每个用户的活跃水平，即，如上面参考图11和12说明的每个用户的活跃指标，并向控制信息生成部72提供分析结果。然后，在下一个步骤S26，基于分析结果，控制信息生成部72生成控制信息，用于控制音频/视频合成部26合成内容的图像和声音与充当通信伙伴的每个用户X、Y和Z的图像和语音。在此情况，控制信息是用于设置合成模式及该模式的合成参数的信息。如果在下一个步骤S27确定不拒绝生成的控制信息，则控制信息生成部72向合成控制部84提供信息。

作为另一个例子，在步骤S25，分析控制部101控制音频信息分析部104分析比较作为用户A周围的环境声音从用户A的实时数据中抽取出的环境声音与作为通信伙伴的说话语音从通信伙伴的实时数据中抽取出的语音，并向控制信息生成部72提供比较结果。如果音频信息分析部104根据分析控制部101执行的控制产生的比较结果表明通信伙伴的说话语音比用户A的环境声音更轻，则在下一个步骤S26，控制信息生成部72生成控制信息来增加扬声器42输出的声音的音量，且如果在下一个步骤S27确定不拒绝生成的控制信息，则向电子装置控制部88提供控制信息。以此方式，可以更好地听到通信伙伴的说话语音。

请注意，可以提供这样的配置，其中在那时，在步骤S25进一步分析比较通信伙伴(如用户X)的环境声音与用户A的说话语音。如果用户A的说话语音比用户X的环境声音轻，则在下一个步骤S26，控制信息生成部72生成控制信息来增加在通信装置1-2中使用的扬声器42输出的声音的音量，并向操作信息输出部87提供控制信息，并在下面所述的步骤S30将控制信息传输到通信装置1-2。以此方式，通信伙伴可以更好地听到用户A的说话语音。此外，可以生成增加合成声音音量的控制信息，而不是增加扬声器42输出的声音音量的控制信息。

接收到控制信息之后，在上述步骤S29，电子装置控制部88根据从控制信息生成部72接收的控制信息设置扬声器42，增加它所输出的声音的音量。以此方式，例如当处在嘈杂环境中的用户由于嘈杂的环境而自然地大声说话，生成指示用户大音量语音的音频信息时，更安静的环境中的通信伙伴所操作的通信装置能够根据通信装置抽取的音频信息降低用户语音的音量。相反，另一方面，当处在安静环境中的用户由于安静的环境而自然地轻声说话，生成指示用户的轻柔语音的音频信息，处于嘈杂环境中的通信伙伴所操作的通信装置能够根据由通信装置抽取的音频信息增加用户语音的音量。结果，可以容易地实现适合于用户所处环境的通信。

作为又一个例子，在步骤25，分析控制部101控制姿势信息分析部102从包括在用户A和通信伙伴的实时数据中的图像中抽取有关通信伙伴的姿势的信息，分析有关姿势的信息，并向控制信息生成部72提供分析结果。如果姿势信息分析部102根据分析控制部101的控制产生的分析结果表明通信伙伴的轮廓超出了参考轮廓，即，如果分析结果表明通信伙伴更加靠近通信装置1-2中使用的显示单元41，则在下一个步骤S26，控制信息生成部72生成控制信息，用于以这样的方式合成图像，增加用于显示通信伙伴的子屏幕的尺寸，且如果在下一个步骤S27确定生成的控制信息不是要拒绝的信息，则向合成控制部84提供控制信息，。

接收到控制信息之后，在下面更详细地说明的步骤S28中，合成控制部84根据从控制信息生成部72接收的控制信息控制证书存储部62。因此，可以提供这样的效果，引起用户A对通信伙伴更加靠近通信装置1-2中使用的显示单元41这一事实的注意。

下面更详细地说明图13所示流程图的步骤S28。在此步骤，根据从控制信息生成部72接收的控制信息，合成控制部84设置音频/视频合成部26的合成模式及该合成模式的合成参数。然后，音频/视频合成部26合成内容的图像和声音与相应的通信伙伴的图像和语音。然后，处理流程进入上面所述的步骤S29。

因此，作为根据控制信息生成部72基于用户特征分析部71产生的分析结果生成的控制信息进行图像合成的结果，输出部21中使用的显示单元41显示内容的图像和充当通信伙伴的用户的图像。另一方面，作为根据控制信息生成部72基于用户特征分析部71产生的分析结果生成的控制信息进行声音合成的结果，输出部21中使用的扬声器42输出内容的声音及充当通信伙伴的用户的语音。

此外，根据控制信息生成部72生成的控制信息更新的合成模式及也根据控制信息作为合成模式的参数更新的合成参数都将作为合成信息与已开始再现的内容、包括在输入的用户A的实时数据及其他输入的用户X的实时数据中的图像、包括在输入的用户A的实时数据及其他输入的实时数据中的语音，以及包括在接收到的用户X的实时数据中的语音一起记录。

在上述步骤S29，根据从控制信息生成部72接收的控制信息，电子装置控制部88对组成通信装置1-1的各部及充当通信装置1-1的外围设备的每个电子装置执行控制。例如，电子装置控制部88调整扬声器42的音量设置并设置外围照明设备使其更加明亮。然后，处理流程进入上述步骤S30。

在步骤S30，操作信息输出部87将从控制信息生成部72接收的控制信息作为用户X操作的通信装置1-2的控制信息通过通信部23和通信网络2传输到通信装置1-2。然后，处理流程进入步骤S31。应注意，通信装置1-2执行用于从通信装置1-1接收控制信息的处理将在后面说明。

用户A可以对操作输入部31进行操作来输入请求终止用户特征分析混合处理的命令。操作输入部31生成与用户A执行的操作相对应的操作信号，并向合成控制部84提供操作信号。在下一个步骤S31，基于这样的操作信号，合成控制部84产生是否终止用户特征分析混合处理的确定结果。如果确定结果表明要终止用户特征分析混合处理，则用户特征分析混合处理终止，且处理流程返回作为步骤S7之后的一个步骤包括在图5所示流程图中的步骤S6。

同样，如果步骤S21处产生的确定结果表明不开始用户特征分析混合处理或如果步骤S27产生的确定结果表明生成的控制信息是要拒绝的信息，则用户特征分析混合处理终止，且处理流程返回作为步骤S7之后的一个步骤包括在图5所示流程图中的步骤S6，就像的步骤S31的确定结果表明终止用户特征分析混合处理的情况一样。即，在步骤S7，合成控制部84继续执行处理来控制音频/视频合成部26基于根据用户执行的操作事先设置的合成模式与同样根据用户执行的操作事先设置的作为该模式的参数的合成参数执行的合成处理，直到用户执行请求终止远程通信的操作。另一方面，如果步骤S31产生的确定结果表明不终止用户特征分析混合处理，则处理流程返回步骤S22。

如上所述，分析用户状况信息，包括从用户的实时数据中抽取出的图像、语音、亮度和温度，并且基于分析结果，控制内容的图像和声音与通信伙伴的图像和语音的合成，或组成控制装置的各部的设置。因此可以实现以实时方式反映用户状况的通信。结果，可以提供面对面通信效果，而用户事实上彼此都处于远程位置。

此外，由于可以容易地根据用户所需对这些复杂通信装置的实现用户难以设置的各种类型的设置，因此可以免去设置的麻烦。

同样可以控制通信伙伴操作的通信装置。

参考图14所示的流程图，下面的说明解释通信装置1-2执行用于接收通信装置1-1在图13所示流程图的步骤S30中传输的控制信息的控制信息接收器处理。

应注意，图14所示流程图表示的控制信息接收器处理是这样的处理，它由通信装置1-2在图5所示流程图中的步骤S5之后的远程通信记录处理正在执行时执行。即，控制信息接收器处理是根据作为对内容特征的另一种分析的结果由通信装置1-1提供的另一个结果实现混合处理的处理。换句话说，控制信息接收器处理是另一种类型的在图5所示流程图的步骤S6中执行的内容特征分析混合处理。

图14所示的流程图开始于步骤S51，其中通信装置1-2中使用的通信部23从通信装置1-1中的操作信息输出部87接收控制信息，并向会话管理部81提供控制信息。

然后，在下一个步骤S52，会话管理部81通过确定控制信息是否是带来用户不需要的操作和/或效果的信息，输出从通信装置1-1接收的控制信息是否是要拒绝的信息的确定结果。如果确定结果表明从通信装置1-1接收的控制信息是要拒绝的信息，则控制信息接收器处理终止。

请注意，也可以设置通信装置1-2可选地接受或拒绝从通信装置1-1接收的控制信息，或永远拒绝这样的信息。此外，也可以提供这样的配置，其中如果在通信装置1-2中接受了控制信息，则通信装置1-2自身分析信息，且设置独占执行生成的控制信息的优先级或在通信装置中事先设置主从关系。

另一方面，如果会话管理部81在步骤S52中产生的确定结果表明从通信装置1-1接收的控制信息不是要拒绝的信息，则向合成控制部84或电子装置控制部88提供控制信息。然后，处理流程进入步骤S53。

在步骤S53，合成控制部84根据从控制信息生成部72接收的控制信息设置音频/视频合成部26的合成模式及该合成模式的合成参数。然后，合成控制部84控制音频/视频合成部26合成内容的图像和声音与充当通信伙伴的每个用户的图像和语音。接下来，处理流程进入步骤S54。

在步骤S54，电子装置控制部88根据控制信息控制通信装置1-2中使用的各部及充当通信装置1-2的外围设备的电子装置或其他设备。最后，此流程图表示的处理终止。

如上所述，不仅可以使用控制信息生成部72根据通信装置自身中使用的用户特征分析部71产生的分析结果生成的控制信息，还可以使用控制信息生成部72根据在其他通信装置中使用的用户特征分析部71产生的分析结果生成的控制信息。此外，也可以拒绝控制信息。

应注意，上述说明假设每个通信装置都包括数据分析部28。然而，包括数据分析部28的服务器也可以连接到通信网络2，充当向每个通信装置提供控制信息的装置。另外，服务器也可以只具有用户特征分析部71，使得服务器能够向每个通信装置给出分析信息。

和现有技术中的设备，包括电话机、电视电话及远程通信装置，如视频会议系统相比，由于按上述执行远程通信处理，可以实现更加生动自然的通信。

即，在现有技术中的通信的情况下，用户X使用现有技术中的电视机收看和收听以实时方式分发的广播内容，且用户X使用音频电话机向出现在远程位置的用户A表达对收看和收听的广播内容的印象。然而，以此方式，对实际上没有在收看和收听广播内容的用户A来说，很难理解对此情况的印象。

然而，通过使用本发明的实施例中的通信装置，彼此处于远程位置的用户A和X能够同时共享内容。此外，可以在子屏幕上再现用户A和X的图像等等，同时可以听到他们的语音。因此，虽然用户A和X事实上彼此处于远程位置，但是可以提供高度真实的感官、在一起的感觉，以及亲密的感觉，仿佛他们在进行面对面的通信。

通过使用从用户图像中抽取的视频信息、使用从用户输出的声音中抽取的音频信息、使用从用户周围环境的亮度和温度中抽取出的环境信息，并使用其他类型的信息，可以控制如合成内容的图像和声音与用户的图像和声音的处理这样的处理。因此，可以根据如用户面对的情况及通信的状态这样的状况容易地设置通信装置的参数，而不花费很多时间和精力。结果，可以实现更加生动自然的通信。在此情况，上述视频信息包括用户的姿势和面部朝向，而上述音频信息包括用户宏亮的欢呼声及掌声。

通信装置1执行的上述一系列处理可以通过硬件和/或软件来执行。在此情况，图1所示的每个通信装置1-1和1-2通常通过如图15所示的个人计算机401来实现。

在图15所示的个人计算机401中，CPU(中央处理单元)411是通过执行事先存储在ROM(只读存储器)412中或从存储部418加载到RAM(随机存取存储器)413中的各种程序，执行各种类型的处理的部件。在执行程序时，RAM 413也由CPU 411用于适当地存储数据。

CPU 411、ROM 412和RAM 413彼此通过总线414连接。总线414也连接到输入/输出接口415。

输入/输出接口415连接到上述输入部416、输出部417、存储部418及通信部419。输入部416用于接收用户输入的命令，包括输入设备，如键盘和鼠标，而输出部417包括用于显示图像的显示单元及用于输出生成的声音的扬声器。显示单元通常是CRT(阴极射线管)显示单元或LCD(液晶显示器)单元。存储部418通常是包括用于存储各种程序和各种数据的内嵌硬盘的硬盘驱动器。通信部419包括调制解调器和终端适配器，是用于与其他装置通过网络进行无线或有线通信处理的单元。

输入/输出接口415也连接到驱动器420，记录媒体安装在驱动器420上。记录媒体的例子包括磁盘421、光盘422、磁光盘423和半导体存储器424。如果需要，可以将记录媒体中读出的程序安装在存储部418中。

如上所述，通信装置1所执行的上述一系列的处理可以通过硬件和/或软件来执行。如果通过软件来执行上述一系列的处理，则通常可以通过网络或上述记录媒体将组成软件的程序安装到嵌入专门硬件的计算机、通用个人计算机等等中。在此情况，计算机或个人计算机充当上述通信装置1。通过安装各种程序到通用个人计算机中，个人计算机能够执行各种功能。典型的通用个人计算机401如在图15中所示。

如上所述，如果需要，作为上述软件从记录媒体中读出的程序可以安装在存储部418中。记录媒体自身可以与通信装置1的主要单元分离而分发给用户。如图15所示，也称为打包媒体的记录媒体的例子有：磁盘412，包括可移动盘片，光盘422，包括CD-ROM(光盘只读存储器)和DVD(数字多用途盘)、磁光盘423，包括MD(微型盘片)，及半导体存储器424。除了将打包媒体中的程序安装到存储部418中，通常也可以事先将程序存储在ROM 412或内嵌在存储部418中的硬盘中。

值得一提的是，在此说明书中，由上述流程图表示的任何程序的步骤不仅可以沿着时间轴按所述顺序执行，也可以并行执行或单独执行。

也应注意，在此说明书中使用的技术术语“系统”指包括多种装置的集合配置。

熟悉技术的人应理解，可以根据设计需求和其他因素，做出各种修改、组合、子组合及更改，只要它们在后附的权利要求或其等价的范围之内。

Claims (11)

1.一种信息处理装置，用于与通过网络连接到所述信息处理装置的其他信息处理装置通信，其特征在于，所述信息处理装置包括：

再现装置，用于与所述其他信息处理装置同步地再现所述信息处理装置和所述其他信息处理装置共有的内容数据；

用户信息输入装置，用于输入第一用户状况信息，所述第一用户状况信息包括操作所述信息处理装置的用户的语音和图像；

用户信息接收器装置，用于从所述其他用户操作的所述其他信息处理装置接收第二用户状况信息，所述第二用户状况信息包括其他用户的语音和图像；

合成装置，用于合成所述再现装置同步地再现的所述内容数据中的语音和图像与所述用户信息接收器装置接收的所述第二用户状况信息中的所述语音和图像；

信息分析装置，用于分析通过所述用户信息输入装置输入的所述第一用户状况信息或通过所述用户信息接收器装置接收的所述第二用户状况信息中的至少一个；及

参数设置装置，用于设置用于控制处理的控制参数，所述合成装置基于所述信息分析装置产生的分析结果执行所述处理来合成语音和图像。

2.如权利要求1所述的信息处理装置，其特征在于，所述第一用户状况信息还包括有关所述用户的环境的信息，而所述第二用户状况信息还包括有关所述其他用户的环境的信息。

3.如权利要求1所述的信息处理装置，其特征在于，所述信息处理装置还包括分析对象确定装置，用于生成所述信息分析装置是否需要分析所述用户信息接收器装置接收的所述第二用户状况信息的确定结果，且如果所述分析对象确定装置产生的所述确定结果表明所述信息分析装置不需要分析所述第二用户状况信息，则所述信息分析装置只分析所述第一用户状况信息。

4.如权利要求1所述的信息处理装置，其特征在于，所述信息处理装置还包括输出装置，用于输出作为合成装置产生的合成结果获取的语音和图像，其中所述参数设置装置基于所述信息分析装置产生的分析结果设置所述输出装置的控制参数。

5.如权利要求1所述的信息处理装置，其特征在于，所述参数设置装置基于所述信息分析装置产生的分析结果设置连接到所述信息处理装置的电子装置的控制参数。

6.如权利要求1所述的信息处理装置，其特征在于，其中：

所述参数设置装置基于所述信息分析装置产生的分析结果设置所述其他信息处理装置的控制参数，及

所述信息处理装置还包括发送器装置，用于传输所述参数设置装置设置的所述控制参数到所述其他信息处理装置。

7.如权利要求1所述的信息处理装置，其特征在于，所述信息处理装置还包括接受确定装置，用于生成是否接受所述其他信息处理装置传输的控制参数的确定结果。

8.一种信息处理方法，由信息处理装置用作与通过网络连接到所述信息处理装置的其他信息处理装置通信的方法，其特征在于，所述信息处理方法包括下述步骤：

与所述其他信息处理装置同步地再现所述信息处理装置和所述其他信息处理装置共有的内容数据；

输入第一用户状况信息，所述第一用户状况信息包括操作所述信息处理装置的用户的语音和图像；

从所述其他用户操作的所述其他信息处理装置接收第二用户状况信息，所述第二用户状况信息包括其他用户的语音和图像；

合成所述再现步骤中执行的处理中同步地再现的所述内容数据中的语音和图像与所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的所述语音和图像；

分析所述用户信息输入步骤中执行的处理中输入的所述第一用户状况信息或所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数，在所述信息合成步骤中基于所述信息分析步骤中执行的处理产生的分析结果执行所述处理来合成语音和图像。

9.一种记录媒体，用于记录由计算机执行的程序，所述程序用于与通过网络连接到所述计算机的信息处理装置通信，其特征在于，所述程序包括下述步骤：

与所述信息处理装置同步地再现所述计算机和所述信息处理装置共有的内容数据；

输入第一用户状况信息，所述第一用户状况信息包括操作所述计算机的用户的语音和图像；

从所述其他用户操作的所述信息处理装置接收第二用户状况信息，所述第二用户状况信息包括其他用户的语音和图像；

合成所述再现步骤中执行的处理中同步地再现的所述内容数据中的语音和图像与所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的所述语音和图像；

分析所述用户信息输入步骤中执行的处理中输入的所述第一用户状况信息或所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数，在所述信息合成步骤中基于所述信息分析步骤中执行的处理产生的分析结果执行所述处理来合成语音和图像。

10.一种程序，由计算机执行用于与通过网络连接到所述计算机的信息处理装置通信，其特征在于，所述程序包括下述步骤：

用所述信息处理装置同步地再现所述计算机和所述信息处理装置共有的内容数据；

输入第一用户状况信息，所述第一用户状况信息包括操作所述计算机的用户的语音和图像；

从所述其他用户操作的所述信息处理装置接收第二用户状况信息，所述第二用户状况信息包括其他用户的语音和图像；

合成所述再现步骤中执行的处理中同步地再现的所述内容数据中的语音和图像与所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的所述语音和图像；

分析所述用户信息输入步骤中执行的处理中输入的所述第一用户状况信息或所述用户信息接收器步骤中执行的处理中接收的所述第二用户状况信息中的至少一个；及

设置用于控制处理的控制参数，在所述信息合成步骤中基于所述信息分析步骤中执行的处理产生的分析结果执行所述处理来合成语音和图像。

11.一种信息处理装置，用于与通过网络连接到所述信息处理装置的其他信息处理装置通信，其特征在于，所述信息处理装置包括：

再现部，用于与所述其他信息处理装置同步地再现所述信息处理装置和所述其他信息处理装置共有的内容数据；

用户信息输入部，用于输入第一用户状况信息，所述第一用户状况信息包括操作所述信息处理装置的用户的语音和图像；

用户信息接收器部，用于从所述其他用户操作的所述其他信息处理装置接收第二用户状况信息，所述第二用户状况信息包括其他用户的语音和图像；

合成部，用于合成所述再现部同步地再现的所述内容数据中的语音和图像与所述用户信息接收器部接收的所述第二用户状况信息中的所述语音和图像；

信息分析部，用于分析通过所述用户信息输入部输入的所述第一用户状况信息或通过所述用户信息接收器部接收的所述第二用户状况信息中的至少一个；及

参数设置部，设置用于控制处理的控制参数，所述合成部基于所述信息分析部产生的分析结果执行所述处理来合成语音和图像。

Images