CN109845246A - 信息处理装置、信息处理方法、程序和通信系统 - Google Patents

Abstract

本公开涉及实现更平滑通信的一种信息处理装置、一种信息处理方法、一种程序和一种通信系统。当前状态信息通信单元通过通信获取作为正在再现的自由视点时移视频中显示的人的通信伙伴的当前状态信息，并且当前状态信息呈现单元将通信伙伴的当前状态信息呈现给观看自由视点时移视频的观看者。此外，当观看者尝试与通信伙伴通信时，当前状态信息获取单元获取观看者的当前状态信息，并且将观看者的当前状态信息传输到通信伙伴。本技术可以应用于例如能够经由自由视点时移视频进行通信的通信系统。

Description

信息处理装置、信息处理方法、程序和通信系统

技术领域

本公开涉及一种信息处理装置、一种信息处理方法、一种程序和一种通信系统，更具体来说涉及实现更平滑通信的一种信息处理装置、一种信息处理方法、一种程序和一种通信系统。

背景技术

通常，视频内容的视点位置和视线方向由成像时的相机工作确定，并且观看者观看视点位置和观看方向受到限制的视频。因此，观看这种视频内容的观看者可以容易地注意到在过去的时间点捕获了视频。换句话说，由于视频内容的视点位置和视线方向受到限制，因此观看者可以区分与观看者可以自由移动和环顾四周的真实空间的差异。

另一方面，近年来，虚拟现实(VR)技术已经发展，并且创建了视点位置和视线方向可以自由改变的视频内容。在由这些视频内容再现的VR空间中，观看者可以自由移动和环顾四周，并且可以满足VR空间和真实世界之间的差距大大减小。

此外，专利文献1公开了一种通信系统，其呈现用于选择要通信的人的数据，并且能够基于该数据与被确定为适当的人进行通信。

引文列表

专利文献

专利文献1：日本专利申请公开号2002-215942

发明内容

本发明要解决的问题

顺便说一下，随着VR技术的进一步发展，预测观看者将能够将VR空间感知为真实空间。因此，假设可能发生这样的情况：观看者误解虚拟地存在于VR空间中的人是存在于那里的真人，并且与VR空间中的虚拟人交谈。然而，很明显，VR空间中的虚拟人无法响应于观看者的交谈，并且期望经由视点位置和视线方向可以自由改变的视频内容实现通信的独创性。

鉴于这种情况做出了本公开，并且实现了更平滑通信。

问题的解决方案

根据本公开的第一方面的信息处理装置包括：当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及当前状态信息呈现单元，其将由当前状态信息通信单元获取的通信伙伴的当前状态信息呈现给观看视频的观看者。

根据本公开的第一方面的信息处理方法或程序包括：通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及将通信伙伴的获取的当前状态信息呈现给观看视频的观看者。

在本公开的第一方面，通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息，并且将通信伙伴的当前状态信息呈现给观看视频的观看者。

根据本公开的第二方面的信息处理装置包括：当前状态信息通信单元，其获取当前状态信息，该当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的用户进行通信而传输的观看者的当前状态；以及当前状态信息呈现单元，其将由当前状态信息通信单元获取的观看者的当前状态信息呈现给用户。

根据本公开的第二方面的信息处理方法或程序包括：获取当前状态信息，该当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的用户进行通信而传输的观看者的当前状态；以及将观看者的获取的当前状态信息呈现给用户。

在本公开的第二方面，获取当前状态信息，该当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的用户进行通信而传输的观看者的当前状态；并且将观看者的当前状态信息呈现给用户。

根据本公开的第三方面的通信系统包括：观看者侧的信息处理装置，该信息处理装置具有当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及当前状态信息呈现单元，其将由当前状态信息通信单元获取的通信伙伴的当前状态信息呈现给观看视频的观看者；以及通信伙伴侧的信息处理装置，该信息处理装置具有当前状态信息通信单元，其获取当前状态信息，该当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的用户进行通信而传输的观看者的当前状态；以及当前状态信息呈现单元，其将由当前状态信息通信单元获取的观看者的当前状态信息呈现给用户。

在本公开的第三方面，通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息，并且将通信伙伴的当前状态信息呈现给观看视频的观看者。另一方面，获取当前状态信息，该当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的用户进行通信而传输的观看者的当前状态，并且将观看者的当前状态信息呈现给用户。

本发明的效果

根据本公开的第一至第三方面，可以执行更平滑通信。

附图说明

图1是示出根据应用本技术的实施方案的通信系统的配置实例的方框图。

图2是图示基于通信伙伴的当前状态信息的处理的实例的图解。

图3是图示基于通信伙伴的当前状态信息的处理的另一实例的图解。

图4是图示在观看者侧的通信处理的流程图。

图5是图示在通信伙伴侧的通信处理的流程图。

图6是示出根据应用本技术的实施方案的计算机的配置实例的方框图。

具体实施方式

下面将参考附图详细描述应用本技术的具体实施方案。

<通信系统的配置实例>

图1是示出根据应用本技术的实施方案的通信系统的配置实例的方框图。

图1中所示的通信系统11被配置成使得两个信息处理装置12A和12B彼此通信，并且信息处理装置12A的用户A和信息处理装置12B的用户B彼此通信。应注意，通信系统11可以被配置成使得两个或更多个信息处理装置12彼此通信。

此外，在通信系统11中，如稍后将描述的，在信息处理装置12A中再现视频，并且观看视频的信息处理装置12A的用户A也被称为观看者。此外，信息处理装置12B的用户B，其是在由信息处理装置12A再现的视频中显示的人并且是被请求从信息处理装置12A的用户A进行通信的伙伴，也被称为通信伙伴。

信息处理装置12A连接到音频输入单元13A、成像单元14A、输出单元15A、操作单元16A和通信单元17A，并且信息处理装置12A包括通信处理单元21A和再现处理单元22。

例如，音频输入单元13A由麦克风配置，该麦克风输入音频并将信息处理装置12A的用户A说出的音频输入到信息处理装置12A。

成像单元14A包括使用例如电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)图像传感器等的成像设备，并且将通过拍摄信息处理装置12A的用户A获得的视频输入到信息处理装置12A。

输出单元15A包括例如用于显示视频的显示器、输出音频的扬声器等，输出由信息处理装置12A再现的视频和音频，并使信息处理装置12A的用户A观看视频和音频。此外，输出单元15A通过信息处理装置12A和信息处理装置12B的通信输出从信息处理装置12B传输的用户B的视频和音频。

操作单元16A包括例如各种按钮、触控面板等，并且将与信息处理装置12A的用户A的操作对应的操作信号输入到信息处理装置12A。

通信单元17A由通信模块配置，该通信模块用于例如经由诸如互联网的网络执行数据通信、通过音频和视频(所谓的视频通话)的通信等，并且执行信息处理装置12A和信息处理装置12B之间的通信。

通信处理单元21A包括当前状态信息获取单元31A、当前状态信息通信单元32A、当前状态信息处理单元33A、当前状态信息呈现单元34A、视频和音频通信控制单元35A、视频和音频获取单元36A和视频和音频通信单元37A。例如，当用户A与信息处理装置12B通信以与用户B通信时，通信处理单元21A用作平滑地支持通信的辅助系统。

当信息处理装置12A的用户A正在观看由再现处理单元22再现的视频时，当前状态信息获取单元31A获取用户A的当前状态信息，并且将当前状态信息提供给当前状态信息通信单元32A。例如，当前状态信息获取单元31A获取指示用户A正在观看的视频的内容的信息，指示视频的再现时间的信息等作为用户A的当前状态信息。此外，例如，当用户A在自由视点时移视频再现的VR空间中时，当前状态信息获取单元31A获取指示观看状态的信息(诸如视频的再现时间，用户A的视点位置或视线方向)作为用户A的当前状态信息。

当前状态信息通信单元32A获取当前状态信息，其表示被视为被识别为在用户A正在观看的视频中显示的通信伙伴的人的当前状态。例如，在视频中显示信息处理装置12B的用户B的情况下，当前状态信息通信单元32A与信息处理装置12B的当前状态信息通信单元32B通信以获取作为通信伙伴的用户B的当前状态信息，并且将当前状态信息提供给当前状态信息处理单元33A。此外，当用户A尝试与用户B通信时，当前状态信息通信单元32A将从当前状态信息获取单元31A提供的用户A的当前状态信息传输到信息处理装置12B的当前状态信息通信单元32B。

当前状态信息处理单元33A例如基于从当前状态信息通信单元32A提供的用户B的当前状态信息，执行确定用户B是否可以响应于与用户A的通信的处理，并且将确定结果提供给当前状态信息呈现单元34A。此外，在确定用户B可以响应于与用户A的通信的情况下，当前状态信息处理单元33A向视频和音频通信控制单元35A通知确定结果。

当前状态信息呈现单元34A向用户A呈现从当前状态信息处理单元33A提供的确定结果，换句话说，用户B是否可以响应于与用户A的通信。例如，当前状态信息呈现单元34A可以在输出单元15A的显示器上显示消息，或从输出单元15A的扬声器输出音频，以将基于用户B的当前状态信息的确定结果呈现给用户A。应注意，当前状态信息呈现单元34A可以将当前状态信息通信单元32A获取的用户B自身的当前状态信息呈现给用户A。

当从当前状态信息处理单元33A提供用户B可以响应于与用户A的通信的确定结果时，视频和音频通信控制单元35A控制视频和音频通信单元37A与信息处理装置12B通信。

视频和音频获取单元36A获取从音频输入单元13A输入的用户A的音频和从成像单元14A输入的用户A的视频，并将获取的音频和视频提供给视频和音频通信单元37A。

视频和音频通信单元37A可以经由通信单元17A执行与信息处理装置12B的视频和音频通信单元37B的视频和音频通信。例如，视频和音频通信单元37A根据视频和音频通信控制单元35A的控制，将从视频和音频获取单元36A提供的用户A的音频和视频传输到视频和音频通信单元37B。然后，视频和音频通信单元37A接收从视频和音频通信单元37B传输的用户B的音频和视频，并使输出单元15A输出音频和视频。

再现处理单元22包括视频记录单元41、视频再现控制输入单元42和视频再现控制单元43。例如，再现处理单元22执行再现具有360°全向性的自由视点时移视频的处理，其中视点位置和视线方向可以自由改变，并且再现时间可以自由移动，并且再现处理单元22使用户A观看自由视点时移视频。换句话说，自由视点时移视频是包括由能够全向捕获的成像设备捕获的运动图像的全向运动图像内容，并且是视点可以相对于全向运动图像自由改变的视频。应注意，可以使用仅可以改变视线方向的视频。

视频记录单元41可以在硬盘设备或光盘上记录自由视点时移视频。此外，视频记录单元41可以对正在再现的自由视点时移视频记录观看状态，诸如视频的再现时间、视点位置或视线方向。

当用户A操作操作单元16A，选择所需的自由视点时移视频，并指示再现时，视频再现控制输入单元42控制视频再现控制单元43再现用户A选择的自由视点时移视频。此外，在可以佩戴在用户A的头部上的头戴式显示器用作输出单元15A的情况下，视频再现控制输入单元42跟踪并获取诸如与用户A的视线方向相关的头部的位置和方向的姿势。然后，视频再现控制输入单元42将指示用户A的头部的姿势的信息提供给视频再现控制单元43，以根据用户A的视线改变自由视点时移视频的视线方向。

例如，在信息处理装置12A中，通过将测量惯性的惯性测量单元(IMU)结合到用作输出单元15A的头戴式显示器中，可以掌握用户A的头部的姿势。或者，在信息处理装置12A中，通过图像分析从成像单元14A输入的对用户A成像的视频，可以掌握用户A的头部的姿势。此外，在信息处理装置12A中，通过将标记或特征点附接到头戴式显示器、用户A的头部等，并跟踪其位置，可以掌握用户A的头部的姿势。此外，IMU和成像单元14A可以组合使用。

视频再现控制单元43执行控制以根据用户A的选择从视频记录单元41读取自由视点时移视频，并且再现视频并使输出单元15A的显示器显示再现的视频。此外，视频再现控制单元43可以根据指示从视频再现控制输入单元42提供的用户A的头部的姿势的信息来修剪部分视频，并将视频提供给输出单元15A，使得显示根据用户A的视线的视线方向的视频。

应注意，与信息处理装置12A类似，信息处理装置12B连接到音频输入单元13B、成像单元14B、输出单元15B、操作单元16B和通信单元17B。此外，信息处理装置12B包括具有与通信处理单元21A相同的配置的通信处理单元21B，并且稍后将描述在通信处理单元21B中执行的处理。

通信系统11如上所述配置，并获取视频中显示的用户B的当前状态信息，并将当前状态信息呈现给用户A，使得用户A在掌握用户B的实际状态之后可以与用户B进行通信。此外，在通信系统11中，获取用户A的当前状态信息并呈现给用户B，并且在用户B掌握用户A的观看状态之后，可以开始从用户A到用户B的通信。因此，用户A和用户B可以通过使用通信系统11更平滑地通信。

这里，将进一步描述在通信处理单元21A中执行的处理。

如上所述，当前状态信息获取单元31A、当前状态信息通信单元32A、当前状态信息处理单元33A和当前状态信息呈现单元34A执行将由再现处理单元22再现的视频中显示的用户B的当前状态信息呈现给用户A的处理。此外，视频和音频通信控制单元35A、视频和音频获取单元36A和视频和音频通信单元37A通过视频和音频执行连接用户A和用户B的处理，使得用户A和用户B彼此通信。

例如，当前状态信息处理单元33A执行控制当前状态信息呈现单元34A的处理，以基于用户A是否准备好谈话以及用户B是否可以说话来执行对用户A的呈现。

换句话说，在用户A准备好谈话以及用户B可以说话的情况下，当前状态信息处理单元33A控制当前状态信息呈现单元34A以呈现用户B可以与用户A通信。此外，在用户A准备好谈话而用户B不能说话的情况下，当前状态信息处理单元33A控制当前状态信息呈现单元34A以呈现用户B不能与用户A通信。另一方面，在用户A还没准备好谈话的情况下，为了防止用户A被不必要的信息打扰，不管用户B是否可以说话，当前状态信息处理单元33A控制当前状态信息呈现单元34A不对用户A进行呈现。

以这种方式，当前状态信息处理单元33A可以基于从当前状态信息通信单元32A提供的用户A和用户B的当前状态信息进行各种确定。此外，当前状态信息处理单元33A可以容易地扩展将用户B的当前状态信息呈现给用户A的方法，不仅是用户A是否准备好谈话以及用户B是否可以说话。此外，这也适用于将用户A的当前状态信息呈现给用户B的方法。

另外，例如，可以使用运动传感器作为信息处理装置12B的当前状态信息获取单元31B来监视用户B的移动。在这种情况下，如果在一段时间内无法检测到用户B的移动，则假定用户B正在睡觉。因此，当前状态信息处理单元33A控制当前状态信息呈现单元34A以在视频中显示的用户B的头部周围显示指示用户B正在睡觉的标记“Zzz···”，例如，以向用户A呈现用户B正在睡觉。

以这种方式，当前状态信息处理单元33A在显示用户B的视频上叠加并显示用户B是否可以说话，以允许用户A识别用户B是否可以说话。作为其实例，如上所述，指示了指示用户正在睡觉的标记“Zzz···”。与此类似，根据许多其他显示方法，可以将视频中显示的VR空间中的各种人的当前状态信息呈现给作为观看者的用户A。

此外，视频和音频通信控制单元35A可以用于确定从当前状态信息通信单元32A提供的用户A或用户B的当前状态信息是否适合于连接用户A和用户B。例如，在用户B可以根据从当前状态信息通信单元32A获取的当前状态信息说话的情况下，视频和音频通信控制单元35A控制视频和音频通信单元37A以开始将用户A的音频信息或视频信息传输到信息处理装置12B。然后，在这种情况下，视频和音频通信单元37A开始接收从信息处理装置12B的视频和音频通信单元37B传输的用户B的音频信息或视频信息。

应注意，由视频和音频通信单元37A传输到信息处理装置12B的用户A的音频信息或视频信息由视频和音频获取单元36A获取。例如，视频和音频获取单元36A可以通过音频输入单元13A和配置成所谓的网络摄像头的成像单元14A同时获取用户A的音频和视频。此外，由视频和音频通信单元37A接收的用户B的音频信息或视频信息被提供给例如被配置成所谓的电视机的输出单元15A。因此，用户A可以观看用户B的视频和音频，并且用户A和用户B可以彼此通信。

由构成通信处理单元21A的每个块执行这种处理。

将类似地描述在通信处理单元21B中执行的处理。

当前状态信息获取单元31B、当前状态信息通信单元32B、当前状态信息处理单元33B和当前状态信息呈现单元34B执行将用户A的当前状态信息呈现给用户B的处理。此外，类似于视频和音频通信控制单元35A、视频和音频获取单元36A和视频和音频通信单元37A，视频和音频通信控制单元35B、视频和音频获取单元36B和视频和音频通信单元37B通过视频和音频执行连接用户A和用户B的处理，使得用户A和用户B彼此通信。

例如，当前状态信息获取单元31B可以通过检查是否可以执行与用户B的通信来获取用户B的当前状态信息。或者，例如，当前状态信息获取单元31B可以通过监视用户B来确定用户B是否可以执行通信，并获取用户B的当前状态信息。

当前状态信息通信单元32B与通信处理单元21A的当前状态信息通信单元32A通信，以接收作为观看者的用户A的当前状态信息，并且还传输从当前状态信息获取单元31B提供的用户B的当前状态信息。由当前状态信息通信单元32B接收的用户A的当前状态信息的实例包括用户A正在观看的自由视点时移视频的再现时间，以及由自由视点时移视频再现的VR空间中的用户A的视点位置和视线方向。

此外，在本实施方案中，当前状态信息处理单元33B基于处于VR空间中的用户A的当前状态信息(视频的再现时间，或用户A的视点位置和视线方向)，控制当前状态信息呈现单元34B以执行对用户B有用的呈现，以便用户A理解VR空间的观看状态。例如，当前状态信息呈现单元34B可以在向用户B给出消息之前使用用户A已经观看过的30秒视频，作为呈现给用户B的用户A的当前状态信息。

应注意，用户A有许多不同种类的当前状态信息，并且使用对用户B有用的内容来理解用户A的正在发生的事情，因为用户A的当前状态信息被认为对于用户B快速掌握用户A的状态是有用的。例如，作为用户A的当前状态信息，可以使用用户A正在观看视频时由用户A说出的说话内容，从观看视频的用户A的面部表情估计的情绪等。

将参考以下具体实例描述由当前状态信息通信单元32B接收的用户A的当前状态信息和由当前状态信息处理单元33B执行的处理。

例如，将描述一种情况，其中在用户A的当前状态信息中，用户A的情绪是“愤怒”，用户A的说话内容是“这很可怕”，用户A观看的视频是“上周用户B的钢琴练习”。在这种情况下，作为第一实例，当前状态信息处理单元33B可以执行生成“用户A在观看上周的钢琴练习时愤怒地说这很可怕’”的消息的处理。或者，作为第二实例，当前状态信息处理单元33B可以执行显示用户A在给出消息之前已经观看过30秒的视频的处理，并输出通过记录用户A的说话而获得的音频“这很可怕”。

因此，用户B可以例如通过观看当前状态信息处理单元33B生成的消息来容易地理解用户A的状态。此外，该消息对于用户B响应于用户A的消息而准备会话也是有用的。

顺便说一下，当前状态信息呈现单元34B的配置根据当前状态信息处理单元33B执行的处理而变化。例如，在当前状态信息处理单元33B执行显示视频的处理的情况下，当前状态信息呈现单元34B被配置成能够在输出单元15B的显示器上显示视频。此外，在当前状态信息处理单元33B执行输出音频的处理的情况下，当前状态信息呈现单元34B被配置成能够从输出单元15B的扬声器输出音频。

此外，视频和音频通信控制单元35B可以用于确定从当前状态信息通信单元32B提供的用户A或用户B的当前状态信息是否适合于连接用户A和用户B。例如，视频和音频通信控制单元35B可以通过向用户B询问用户B是否可以与用户A说话的简单方法来确定用户A和用户B是否连接。

然后，在用户B可以与用户A说话的情况下，视频和音频通信控制单元35B控制视频和音频通信单元37B以开始将用户B的音频信息或视频信息传输到信息处理装置12A。然后，在这种情况下，视频和音频通信单元37B开始接收从信息处理装置12A的视频和音频通信单元37A传输的用户A的音频信息或视频信息。

应注意，由视频和音频通信单元37B传输到信息处理装置12A的用户B的音频信息或视频信息由视频和音频获取单元36B获取。例如，视频和音频获取单元36B可以通过音频输入单元13B和被配置成所谓的网络摄像头的成像单元14B同时获取用户B的音频和视频。此外，由视频和音频通信单元37B接收的用户A的音频信息或视频信息被提供给例如被配置成所谓的电视机的输出单元15B。因此，用户B可以观看用户A的视频和音频，并且用户A和用户B可以彼此通信。

<基于当前状态信息的处理>

参考图2和图3，将描述基于通信伙伴和观看者中的每个的当前状态信息在通信系统11中执行的处理的实例。

例如，图2示出信息处理装置12A的用户A观看显示信息处理装置12B的用户B的视频，并且向视频中的用户B给出消息“我们现在可以谈谈吗？”的状态。此时，在过去捕获用户A正在观看的视频中的用户B，并假设当前用户B正在睡觉而无法响应。

因此，具备通信处理单元21A的功能的辅助系统S可以基于用户B的当前状态信息，针对用户A的消息，呈现“他正在睡觉，现在不能说话”的消息。

以这种方式，通过使用通信系统11，可以确定视频中显示的用户B的当前状态是否是用户B可以与用户A通信，并将确定结果呈现给用户A。因此，通信系统11可以避免睡觉的用户B被唤醒以伤害用户的感觉的情况。此外，由于用户A也可以识别出用户B无法响应的原因，因此用户A可以稍后与用户B平滑地通信。

此外，与图2类似，图3示出信息处理装置12A的用户A观看显示信息处理装置12B的用户B的视频并向视频中的用户B给出消息“这个想法很好”的情况。此时，如果用户B对用户A正在观看的视频一无所知，则假设用户B响应“你在说什么！？”。

因此，具备通信处理单元21A的功能的辅助系统S针对用户A的消息，预先向用户B呈现消息“用户A正在观看昨天的专利头脑风暴的记录视频并且说这个想法很好”作为用户A的当前状态信息。因此，用户B可以预先掌握用户A正在观看的视频的内容，并且可以平滑地响应于用户A的消息。

以这种方式，通过使用通信系统11，可以预先向视频中显示的用户B呈现用户A正在尝试通信的内容类型。因此，通信系统11可以避免用户B对突然通信感到惊讶的情况，使得用户A和用户B可以更平滑地通信。

<通信处理>

图4是图示在信息处理装置12A中执行的通信处理的流程图。

例如，当用户A操作操作单元16A以选择所需的自由视点时移视频并指示其再现时，开始处理。

在步骤S11中，视频再现控制输入单元42控制视频再现控制单元43以再现用户A选择的自由视点时移视频。据此，视频再现控制单元43读取记录在视频记录单元41中的自由视点时移视频，再现自由视点时移视频，并从输出单元15A输出结果。因此，在由自由视点时移视频再现的VR空间中，用户A在记录视频时处于与用户B虚拟地在一起的状态。

在步骤S12中，当前状态信息通信单元32A与信息处理装置12B的当前状态信息通信单元32B通信，其中在用户A正在观看的视频中显示的用户B作为通信伙伴，以获取此刻用户B的实际当前状态信息。然后，当前状态信息呈现单元34A将当前状态信息通信单元32A获取的用户B的当前状态信息呈现给用户A。

在步骤S13中，当前状态信息处理单元33A基于从音频输入单元13B输入的音频，确定用户A是否向正在再现的自由视点时移视频中显示的作为通信伙伴的用户B给出消息。

在步骤S13中，在当前状态信息处理单元33A确定用户A没有向用户B给出消息的情况下，处理返回到步骤S11，并且此后重复类似的处理。

另一方面，在步骤S13中，在当前状态信息处理单元33A确定用户A向用户B给出消息的情况下，处理进入步骤S14。此时，用户A在掌握步骤S12中呈现的用户B的当前状态信息之后向用户B给出消息。

在步骤S14中，为了执行用户A和用户B之间的通信，视频和音频通信单元37A执行用于将视频和音频通信连接到信息处理装置12B的视频和音频通信单元37B的连接处理。

在步骤S15中，当前状态信息获取单元31A获取作为观看者的用户A的当前状态信息，并将当前状态信息提供给当前状态信息通信单元32A。然后，当前状态信息通信单元32A将从当前状态信息获取单元31A提供的用户A的当前状态信息传输到信息处理装置12B的当前状态信息通信单元32B。

在步骤S16中，当前状态信息处理单元33A确定是否已从作为通信伙伴的信息处理装置12B的用户B获得通信许可。例如，在后面描述的图5的S23中，在确定执行与用户A的通信的同时，当从信息处理装置12B传输指示允许通信的信息时，当前状态信息处理单元33A确定已获得通信许可。

在步骤S16中，在当前状态信息处理单元33A确定已从作为通信伙伴的信息处理装置12B的用户B获得通信许可的情况下，该过程进入步骤S17。

在步骤S17中，当前状态信息处理单元33A向视频和音频通信控制单元35A通知已获得通信许可，并且视频和音频通信控制单元35A控制视频和音频通信单元37A以与信息处理装置12B通信。据此，视频和音频通信单元37A执行与视频和音频通信单元37B的视频和音频通信，并且作为观看者的用户A可以与被视为通信伙伴的视频中显示的用户B通信。

在步骤S17的处理之后或在步骤S16中确定尚未从作为通信伙伴的信息处理装置12B的用户B获得通信许可的情况下，过程返回到步骤S11，并且此后重复类似的处理。

图5是图示在信息处理装置12B中执行的通信处理的流程图。

在步骤S21中，视频和音频通信单元37B确定是否已经从作为观看者的用户A执行通信连接处理，并且等待处理直到确定已经执行通信连接处理。例如，如果视频和音频通信单元37A根据作为观看者的用户A的消息执行用于在上述图4的步骤S14中连接视频和音频通信的连接处理，则视频和音频通信单元37B确定已经执行通信连接处理，并且该过程进入步骤S22。

在步骤S22中，当前状态信息通信单元32A获取在上述图4的步骤S15中从当前状态信息通信单元32A传输的用户A的当前状态信息。然后，当前状态信息呈现单元34B将当前状态信息通信单元32B获取的用户A的当前状态信息呈现给用户B。

在步骤S23中，当前状态信息处理单元33B确定是否执行与作为观看者的用户A的通信。例如，当用户B执行允许操作单元16B通信的操作时，当前状态信息处理单元33B确定执行与观看者的通信。另一方面，例如，当不执行用户B的操作时，诸如用户B正在睡觉的情况，当前状态信息处理单元33B确定不执行与观看者的通信。

在步骤S23中，在当前状态信息处理单元33B确定执行与作为观看者的用户A的通信的情况下，将指示允许通信的信息传输到信息处理装置12A，并且该过程进入步骤S24。

在步骤S24中，视频和音频通信控制单元35B控制视频和音频通信单元37B以与信息处理装置12A通信。据此，视频和音频通信单元37B执行与视频和音频通信单元37A的视频和音频通信，并且视频中显示的用户B可以与作为视频观看者的用户A通信。

在步骤S24的处理之后或在步骤S23中确定不执行与作为观看者的用户A的通信的情况下，该过程返回到步骤S21，并且此后重复类似的处理。

如上所述，信息处理装置12A和信息处理装置12B执行通信处理，使得用户A和用户B可以在检查当前状态信息之后执行视频和音频通信。因此，用户A和用户B可以更平滑地通信。

应注意，参考上述流程图描述的每个处理不必总是按照流程图中描述的顺序按时间顺序执行，而是可以并行或单独执行(例如，并行处理或由对象处理)。此外，程序可以由一个CPU处理或由多个CPU通过分布式处理来处理。

此外，上述一系列处理(信息处理方法)也可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下，将软件中包括的程序从记录该程序的程序记录介质安装到包含在专用硬件中的计算机或通用个人计算机等，例如，其可以通过安装各种程序来执行各种功能。

图6是示出通过程序执行上述一系列处理的计算机的硬件配置的实例的方框图。

在计算机中，中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104相互连接。

输入和输出接口105进一步连接到总线104。包括键盘、鼠标、麦克风等的输入单元106、包括显示器、扬声器等的输出单元107、包括硬盘、非易失性存储器等的存储单元108、包括网络接口等的通信单元109，以及驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质111的驱动器110连接到输入和输出接口105。

在如上所述配置的计算机中，例如，CPU 101经由输入和输出接口105和总线104将存储在存储单元108中的程序加载到RAM 103中，并执行该程序，使得执行上述一系列处理。

由计算机(CPU 101)执行的程序可以通过记录在可移动介质111中来提供，该可移动介质111是包括例如磁盘(包括软盘)、光盘(压缩式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)等)、磁光盘、半导体存储器等的封装介质，或经由诸如局域网、互联网、数字卫星广播的有线或无线传输介质来提供。

然后，通过将可移动介质111安装到驱动器110，可以经由输入和输出接口105将程序安装在存储单元108中。此外，该程序可以由通信单元109经由有线或无线传输介质接收并安装在存储单元108中。另外，该程序可以预先安装在ROM 102或存储单元108中。

应注意，本技术可以采用以下配置。

(1)

一种信息处理装置，包括：

当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息呈现给观看所述视频的观看者。

(2)

根据上述(1)所述的信息处理装置，

其中所述视频是自由视点时移视频。

(3)

根据上述(1)或(2)所述的信息处理装置，进一步包括

当前状态信息处理单元，其基于由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息，执行确定所述通信伙伴是否可以响应于与所述观看者的通信的处理，并且使确定结果呈现给所述观看者作为所述通信伙伴的所述当前状态信息。

(4)

根据上述(1)至(3)中任一项所述的信息处理装置，进一步包括

当前状态信息获取单元，当所述观看者尝试与所述通信伙伴通信时，其获取指示所述观看者的所述当前状态的当前状态信息，

其中

所述当前状态信息通信单元将由所述当前状态信息获取单元获取的所述观看者的所述当前状态信息传输到所述通信伙伴侧的所述信息处理装置。

(5)

根据上述(4)所述的信息处理装置，

其中所述视频是所述观看者可以自由改变视点位置和视线方向，并且所述观看者可以自由移动再现时间的自由视点时移视频，以及

使用指示所述自由视点时移视频的观看状态的信息，作为所述观看者的所述当前状态信息。

(6)

根据上述(1)至(5)中任一项所述的信息处理装置，进一步包括

视频和音频通信单元，其执行与所述通信伙伴的视频和音频通信。

(7)

一种信息处理方法，包括：

通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

将所述通信伙伴的所述获取的当前状态信息呈现给观看所述视频的观看者。

(8)

一种使计算机执行信息处理的程序，所述信息处理包括：

通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

将所述通信伙伴的所述获取的当前状态信息呈现给观看所述视频的观看者。

(9)

一种信息处理装置，包括：

当前状态信息通信单元，其获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述观看者的所述当前状态信息呈现给所述用户。

(10)

根据上述(9)所述的信息处理装置，进一步包括

当前状态信息获取单元，其获取指示所述用户的所述当前状态的当前状态信息，

其中所述当前状态信息通信单元将由所述当前状态信息获取单元获取的所述用户的所述当前状态信息传输到所述观看者侧的所述信息处理装置。

(11)

根据上述(9)或(10)所述的信息处理装置，进一步包括

视频和音频通信单元，其根据所述用户是否可以与所述观看者说话的确定结果，执行与所述观看者的视频和音频通信。

(12)

一种信息处理方法，包括：

获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

将所述观看者的所述获取的当前状态信息呈现给所述用户。

(13)

一种使计算机执行信息处理的程序，所述信息处理包括：

获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

将所述观看者的所述获取的当前状态信息呈现给所述用户。

(14)

一种通信系统，包括：

观看者侧的信息处理装置，具有：

当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息，以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息呈现给观看所述视频的所述观看者；以及

所述通信伙伴侧的信息处理装置，具有：

当前状态信息通信单元，其获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的所述观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态，以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述观看者的所述当前状态信息呈现给所述用户。

应注意，本实施方案不限于上述实施方案，并且在不脱离本公开的主旨的情况下，可以进行各种修改。

参考符号列表

11 通信系统

12 信息处理装置

13 音频输入单元

14 成像单元

15 输出单元

16 操作单元

17 通信单元

21 通信处理单元

22 再现处理单元

31 当前状态信息获取单元

32 当前状态信息通信单元

33 当前状态信息处理单元

34 当前状态信息呈现单元

35 视频和音频通信控制单元

36 视频和音频获取单元

37 视频和音频通信单元

41 视频记录单元

42 视频再现控制输入单元

43 视频再现控制单元。

Claims (14)

1.一种信息处理装置，包含：

当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息呈现给观看所述视频的观看者。

2.根据权利要求1所述的信息处理装置，

其中所述视频是自由视点时移视频。

3.根据权利要求1所述的信息处理装置，进一步包含

当前状态信息处理单元，其基于由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息，执行确定所述通信伙伴是否可以响应于与所述观看者的通信的处理，并且使确定结果作为所述通信伙伴的所述当前状态信息呈现给所述观看者。

4.根据权利要求1所述的信息处理装置，进一步包含

当前状态信息获取单元，当所述观看者尝试与所述通信伙伴通信时，其获取指示所述观看者的所述当前状态的当前状态信息，

其中所述当前状态信息通信单元将由所述当前状态信息获取单元获取的所述观看者的所述当前状态信息传输到所述通信伙伴侧的所述信息处理装置。

5.根据权利要求4所述的信息处理装置，

其中所述视频是所述观看者可以自由改变视点位置和视线方向，并且所述观看者可以自由移动再现时间的自由视点时移视频，以及

使用指示所述自由视点时移视频的观看状态的信息，作为所述观看者的所述当前状态信息。

6.根据权利要求1所述的信息处理装置，进一步包含

视频和音频通信单元，其执行与所述通信伙伴的视频和音频通信。

7.一种信息处理方法，包含：

通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

将所获取的所述通信伙伴的当前状态信息呈现给观看所述视频的观看者。

8.一种使计算机执行信息处理的程序，所述信息处理包含：

通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息；以及

将所获取的所述通信伙伴的当前状态信息呈现给观看所述视频的观看者。

9.一种信息处理装置，包含：

当前状态信息通信单元，其获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述观看者的所述当前状态信息呈现给所述用户。

10.根据权利要求9所述的信息处理装置，进一步包含

当前状态信息获取单元，其获取指示所述用户的所述当前状态的当前状态信息，

其中所述当前状态信息通信单元将由所述当前状态信息获取单元获取的所述用户的所述当前状态信息传输到所述观看者侧的所述信息处理装置。

11.根据权利要求9所述的信息处理装置，进一步包含

视频和音频通信单元，其根据所述用户是否可以与所述观看者说话的确定结果，执行与所述观看者的视频和音频通信。

12.一种信息处理方法，包含：

获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

将所获取的所述观看者的当前状态信息呈现给所述用户。

13.一种使计算机执行信息处理的程序，所述信息处理包含：

获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态；以及

将所获取的所述观看者的当前状态信息呈现给所述用户。

14.一种通信系统，包含：

观看者侧的信息处理装置，具有：

当前状态信息通信单元，其通过通信获取指示作为正在再现的视频中显示的人的通信伙伴的当前状态的当前状态信息，以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述通信伙伴的所述当前状态信息呈现给观看所述视频的所述观看者；以及

所述通信伙伴侧的信息处理装置，具有：

当前状态信息通信单元，其获取当前状态信息，所述当前状态信息指示响应于尝试观看显示用户的视频的所述观看者与作为通信伙伴的所述用户进行通信而传输的所述观看者的当前状态，以及

当前状态信息呈现单元，其将由所述当前状态信息通信单元获取的所述观看者的所述当前状态信息呈现给所述用户。