CN109479115B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[问题]提供一种信息处理装置、信息处理方法和程序，其能够给予使得通过视频通信连接的位于另一端的人存在于人正前方的现实感。[解决方案]一种信息处理装置，提供有：通信单元，向通信连接目的地传输图像和从通信连接目的地接收图像；和控制单元，基于用于显示图像的显示装置的显示尺寸和安装位置信息以及与图像中的对象相关且从图像获得的距离信息，控制图像的显示范围和位置。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，随着通信技术的发展，已经提出了用于在远程位置观看伙伴的视频时进行对话的TV电话系统。具体地，例如，在每个地方提供显示设备、相机、麦克风和扬声器，在一个地方捕获的视频和采集的音频数据从安装在另一个地方的显示设备和扬声器实时输出。每个用户都位于相机前面，并在看着出现在显示设备中的伙伴的图形时进行对话。

另外，关于引导用户相对于大屏幕TV的位置，例如，以下专利文献1描述了一种将用户引导到适当的观看位置的方法，其通过执行面部识别以防止用户在不适合观看的位置观看TV屏幕，例如通过接近TV屏幕。

现有技术文献

专利文献

专利文献1：特开2011-59528号公报

发明内容

技术问题

然而，即使可以在看着视频通信中伙伴的图形时进行对话，也无法获得如同伙伴在一个人的视线中一样的现实感。

因此，本公开提出了一种信息处理装置、信息处理方法和程序，其能够给予使得通过视频通信连接的位于另一端的人存在于人正前方的现实感。

解决问题的方案

根据本公开，提出了一种信息处理装置，包括：通信单元，其被配置为向通信连接目的地传输图像和从通信连接目的地接收图像；和控制单元，其被配置以基于显示图像的显示设备的显示尺寸和安装位置信息以及从图像中获取的图像中出现的对象的距离信息，控制图像的显示范围和位置。

根据本公开，提出了一种信息处理方法，包括通过处理器：向通信连接目的地传输图像和从通信连接目的地接收图像；和基于显示图像的显示设备的显示尺寸和安装位置信息以及从图像中获取的图像中出现的对象的距离信息，控制图像的显示范围和位置。

根据本公开，提出了一种程序，其使得计算机执行以下功能：通信单元，该通信单元被配置为向通信连接目的地传输图像和从通信连接目的地接收图像；和控制单元，该控制单元被配置为基于显示图像的显示设备的显示尺寸和安装位置信息以及从图像获取的图像中出现的对象的距离信息，控制图像的显示范围和位置。

发明的有益效果

根据如上的本公开，可以给人一种如同视频通信中连接的伙伴存在于一个人的视线中一样的现实感。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或者可以从本说明书中理解的其它效果。

附图说明

[图1]示出了根据本公开的实施方式的通信系统的整体配置。

[图2]是用于描述常规问题的图。

[图3]是根据本公开的实施方式的用于描述伙伴视频的显示示例的图。

[图4]是示出根据本实施方式的信息处理装置的配置的示例的框图。

[图5]是示出根据本实施方式的通信系统的操作处理的流程图。

[图6]是根据本实施方式的用于描述相机的规格信息和安装位置信息的图。

[图7]是示出由图6中所示的相机捕获的图像的示意图。

[图8]是用于描述根据本实施方式的对象面部的距离的图。

[图9]是用于描述可以从捕获图像获取的面部信息的图。

[图10]示出了根据本实施方式的每个年龄或性别的距离转换图的示例。

[图11]是根据本实施方式的用于描述在面部高度计算中相机和对象之间的位置关系的图。

[图12]是根据本实施方式的用于描述在面部高度计算中从捕获图像计算的距离信息的图。

[图13]是根据本实施方式的用于描述在对象不直立的情况下在面部高度计算中相机和对象之间的位置关系的图。

[图14]是根据本实施方式的用于描述在对象不是直立的情况下，在面部高度计算中从捕获图像计算的距离信息的图。

[图15]是根据本实施方式的用于描述在对象面部的位置与地面端的距离相等的情况下，在面部高度计算中相机和对象之间的位置关系的图。

[图16]是根据本实施方式的用于描述在对象面部的位置与地面端的距离相等的情况下，在面部高度计算中从捕获图像计算的距离信息的图。

[图17]是根据本实施方式的用于描述在对象面部的位置比地面端更靠近相机的情况下，在面部高度计算中相机和对象之间的位置关系的图。

[图18]是根据本实施方式的用于描述在对象面部的位置比地面端更靠近相机的情况下，在面部高度计算中从捕获图像计算的距离信息的图。

[图19]是根据本实施方式的用于描述从信息处理装置接收的图像中的显示范围的图。

[图20]是根据本实施方式的用于描述显示器的实际尺寸以及显示的显示图像的图。

[图21]是根据本实施方式的用于描述成像侧的引导的图。

[图22]是根据本实施方式的用于描述成像侧的引导的示例的图。

[图23]是根据本实施方式的用于描述成像侧的引导的示例的图。

[图24]是根据本实施方式的用于描述图像补充的图。

[图25]是根据本公开另一示例的用于描述CG空间中的实物大小显示的图。

[图26]是根据本公开另一示例的用于描述向多个空间的传送的图。

[图27]是根据本公开的示出信息处理装置的硬件配置的说明图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施方式。需要注意的是，在本说明书和附图中，具有基本相同的功能和结构的结构元素用相同的附图标记表示，并且省略了对这些结构元素的重复说明。

此外，将按以下顺序进行描述。

1.根据本公开实施方式的通信系统的概述

2.配置

3.操作处理

4.其它实例

5.硬件配置

6.结论

<<1.根据本公开实施方式的通信系统的概述>>

参考图1描述根据本公开实施方式的通信系统1的概述。图1示出了根据本公开实施方式的通信系统1的总体配置。

如图1所示，信息处理装置10A、10B和10C通过网络20连接。信息处理装置10A、10B和10C分别设置在空间A、空间B和空间C中，并且空间通过视频、声音等信息通道连接，这使得感觉好像空间是连接的。例如，当父母和孩子彼此远离时，他们的生活空间可以通过对应于窗户或门的显示设备看起来彼此连接。在生活空间彼此连接的情况下，用户可以在大致掌握伙伴空间的情况(例如，儿童的情况、父母的情况等)下生活。

信息处理装置10A至10C执行双向通信的同步处理、空间距离的计算和控制等；分离距离等的计算和控制可以由处理服务器30执行。此外，通信系统1包括图1所示示例中的处理服务器30，但是本公开不限于此，并且处理服务器30不需要包括在内。

(背景)

此处，如前文的描述，即使可以在看着视频通信中伙伴的图形的同时进行对话，但很难给人一种如同伙伴就在一个人的视线中一样的现实感。为了解决这个问题，可以通过控制显示尺寸来表达与伙伴的距离感，因为例如，在伙伴显示小时感觉较远，而在伙伴显示大时感觉较近。

然而，这种方法基于人正面对相机，并且没有规定显示器的位置这一前提；因此，例如，如图2所示，在显示器60设置在地面附近的情况下，伙伴显示较大，因为距离感变得更近了，所以看起来好像在一个人的视线中，但也看起来好像伙伴被埋在地下；因此，出现了非常不自然的状态。

因此，在本实施方式中，根据显示器的物理尺寸和安装位置适当地确定伙伴视频的显示范围；因此，可以给出一种如同在视频通信中连接的伙伴存在于一个人的视线中一样的现实感。

例如，可以看到通信伙伴的整个身体的显示视频中，根据如图3所示安装在墙壁上的显示器15a和15b的物理尺寸和安装位置，在相应的适当范围内显示通信伙伴的视频。信息处理装置10假设安装显示器15的位置是虚拟站立位置Pv，以伙伴的面部位于离地面适当高度的方式执行控制。图3左侧所示的显示器15a具有接触地面的下侧；因此，即使展示了通信伙伴的整个身体，也可以在没有不自然的情况下给出现实感。

另一方面，图3右侧所示的显示器15b安装在远离地面的位置；因此，按原样显示通信伙伴整个身体的视频导致通信伙伴漂浮在空中的状态，使得实物大小的显示变得不可能，并且没有给出现实感。因此，信息处理装置10在假设通信伙伴站在虚拟站立位置Pv的情况下，以将通信伙伴的面部布置在适当高度h的方式控制显示范围，从而可以给人一种就像通信伙伴出现在一个人的视线中一样的现实感。

以这种方式，在本实施方式中，可以在不使用用特殊距离检测器测量的对象人物的距离信息的情况下，将实物大小的对象人物显示在最佳位置；因此，可以给人一种如同连接伙伴在现场一样的存在感。

已经描述了根据本公开实施方式的通信系统1。现在，将参考附图详细描述通信系统1中包括的信息处理装置10的配置和通信系统1的操作处理。

<<2.信息处理装置的配置>>

图4是示出根据本实施方式的信息处理装置10的配置的示例的框图。如图4所示，信息处理装置10包括控制单元11、相机12、麦克风13、通信单元14、显示器15、扬声器16和存储单元17。

控制单元11用作算术处理装置和控制装置，并且根据各种程序控制信息处理装置10的整体操作。例如，通过诸如中央处理器(CPU)和微处理器等电子电路来实现控制单元11。此外，控制单元11可以包括存储要使用的程序、操作参数等的只读存储器(ROM)，以及临时存储适当变化的参数等的随机存取存储器(RAM)。

此外，根据本实施方式的信息处理装置10还用作图像分析单元111、计算单元112、图像生成单元113、显示控制单元114和传输控制单元115。

图像分析单元111分析经由通信单元14接收的连接目的地空间的视频。例如，图像分析单元111执行物体识别、面部检测、面部识别等。

计算单元112基于图像分析单元111的分析结果，获取出现在连接目的地空间的视频中的通信伙伴的各种距离信息。将参考图9至图18详细描述距离信息的计算。

图像生成单元113基于由计算单元112计算的通信伙伴的各种距离信息、安装在连接目的地空间中的相机的信息(包括相机的规格和相机的安装位置信息)以及显示器15的物理尺寸和安装位置(离地面的高度等)并且执行范围的剪裁、放大、缩小等来确定适当范围以在显示器15上执行实物大小的显示。

显示控制单元114控制显示器15的图像显示。例如，显示控制单元114执行控制以在适当位置显示由图像生成单元113输出并经剪裁适当范围的图像。例如，显示控制单元114假设安装显示器15的位置是虚拟站立位置，以出现在图像中的人物看起来似乎真实地站在那里的方式来调整脸部中心位置的显示位置，并且执行实物大小的显示。

传输控制单元115执行控制，以将由相机12捕获的安装有信息处理装置10的空间的捕获图像和由麦克风13采集的空间的音频信号从通信单元14传输到安装在连接目标空间中的另一信息处理装置10。

相机12包括：透镜系统，其包括成像镜头、光圈、变焦镜头、聚焦透镜等；驱动系统，其使得镜头系统执行聚焦操作和变焦操作；固态图像传感器阵列，其通过光电转换由透镜系统获得的成像光来产生成像信号，等等。固态图像传感器阵列可以通过例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。此外，根据本实施方式的相机12对空间的内部进行成像，并获取捕获图像。

麦克风13采集空间中的声音和空间周围的环境声音(例如，邻近的房间、大厅、房屋的外面等中的声音)并且获取音频数据。

通信单元14是用于以有线/无线方式向另一装置传输数据和从另一装置接收数据的通信模块。通信单元14直接与外部装置无线通信，或者通过方案中的网络接入点(例如有线局域网(LAN)、无线LAN、无线保真(Wi-Fi)(注册商标)、红外通信、蓝牙(注册商标)、短程/非接触式通信等)与外部装置通信。根据本实施方式的通信单元14经由网络20连接到另一信息处理装置10或处理服务器30，并传输和接收数据。

显示器15是显示经由通信单元14接收的连接目的地空间的视频的显示设备。显示器15可以是例如液晶显示器(LCD)、有机电致发光(EL)显示器等。

扬声器16是输出音频数据的输出设备。例如，扬声器16输出经由通信单元14接收的连接目的地空间的声音。

存储单元17存储用于上述控制单元11为执行功能所需的程序和参数。此外，存储单元17包括：包括存储介质的存储装置；用于在存储介质上记录数据的记录装置；用于从存储介质读出数据的读取器装置；用于删除记录在存储介质上的数据的删除装置，等。需要注意的是，存储单元17可以是例如存储介质，例如非易失性存储器，诸如闪存ROM(或闪存)、电可擦除可编程只读存储器(EEPROM)和可擦除可编程ROM(EPROM)，磁盘，诸如硬盘和磁盘型磁盘，光盘诸如压缩盘(CD)、可记录的数字多功能光盘(DVD-R)和蓝光光盘(BD；注册商标)，和磁光(MO)盘。

<<3.操作处理>>

现在，将参考图5描述根据本实施方式的通信系统1的操作处理。图5是示出根据本实施方式的通信系统1的操作处理的流程图。此处，作为实例，在通信系统1上给出描述，其中连接安装在空间A中的信息处理装置10A和安装在空间B中的信息处理装置10B以连接空间A和空间B。

如图5所示，首先，信息处理装置10B获取相机信息(步骤S103)，并且将相机参数传输到信息处理装置10A(步骤S106)。相机信息包括相机的规格和相机的安装位置信息。此处，参考图6和图7描述相机和对象之间的位置关系。图6是用于描述根据本实施方式的相机12B的规格信息和安装位置信息的图。图6的上部示出了安装在墙壁上的相机12B和成像的对象(用户B)的侧视图，并且图6的下部示出了相机12B和用户B的俯视图。此外，图7示出了由相机12B捕获的图像121。在这种情况下，获取以下信息作为相机本身的规格。

-相机的规格

在与地面水平的方向上的视角：

在与地面垂直的方向上的视角：θ_C

在与地面水平的方向上的像素数：X_P

在与地面垂直的方向上的像素数：Y_P

此外，在相机12B在以成像方向平行于地面的方式安装的情况下，信息处理装置10B获取安装相机12B的高度H_CG作为安装信息，如图6所示。

随后，信息处理装置10A将所接收的相机信息记录在存储单元17中(步骤S109)。

另一方面，信息处理装置10B通过相机12B进行成像(步骤S112)，并且将捕获的图像(视频)传输到信息处理装置10B(步骤S115)。成像和传输是实时连续进行的。

随后，信息处理装置10A确定面部是否包括在接收的视频中(步骤S118)。具体地，图像分析单元111执行面部检测。

然后，在包括面部的情况下(步骤S118中为“是”)，信息处理装置10A确定是否需要实物大小的显示(步骤S121)。例如，根据基于用户设置的实物大小显示功能的ON/OFF来确定，或者基于用户动作等来确定是否需要实物大小的显示。例如，在可以确定看到面部但是用户B不处于与用户A进行对话的情境的情况下，诸如在清洁期间用户B仅通过相机12B前面的情况、用户B坐在沙发上看电视的情况、或用户B专注于学习或工作的情况，信息处理装置10A确定实物大小的显示是不必要的。例如，可以基于图像分析单元111的分析结果来识别用户B的这种动作。

接下来，在确定需要实物大小的显示的情况下(步骤S121中为“是”)，信息处理装置10A计算对象的各种距离信息，并确定显示范围(步骤S124至S130)。

具体地，信息处理装置10A通过计算单元112计算出现在视频中的对象(作为通信伙伴的用户B)的面部的距离(步骤S124)。此处，参考图8至图10描述面部的距离计算的示例。图8是用于描述面部的距离的图。如图8所示，在本说明书中，“面部的距离”是相机12B与用户B的面部的距离D_F。例如，可以以下面的方式计算此种面部的距离D_F。

图9是用于描述可以从捕获图像121获取的面部信息的图。如图9所示，将图像121的水平方向定义为X轴，并且将垂直方向定义为Y轴。根据本实施方式的信息处理装置10A可以通过图像分析单元111从图像121进行面部检测和面部识别，并且获得下列信息。

-可以在面部检测和面部识别中获得的信息

捕获图像中面部中心的x坐标：X_F

捕获图像中面部中心的y坐标：Y_F

捕获图像中面部的宽度：W_F

捕获图像中面部的高度：H_F

从成像的面部估计的年龄：A_F

从成像的面部估计的性别：S_F

然后，信息处理装置10A的计算单元112参照预先准备的每个年龄或性别的距离转换图，包括获取面部的尺寸“H_F/W_F”、年龄“A_F”以及在一些情况下的性别“S_F”，并且计算面部与相机12B的距离D_F。图10示出了每个年龄或性别的距离转换图的示例。如图10所示，成像面部的大小与相机到该面部的距离成正比。面部的大小通常根据年龄和性别而不同；因此，如图10所示，示出了成年男性、成年女性和儿童的关系曲线。因此，从图像中的对象的面部大小和年龄或性别，计算单元112可以计算对象与相机的距离。需要注意的是，此处描述的用于计算面部的距离的方法是示例，并且本公开并不限于此。

然后，计算单元112计算对象面部的高度(步骤S112)。此处，参考图11和图12描述计算面部的高度的示例。图11是用于描述计算捕获图像中对象的面部离地面的高度的图。图12是用于描述在面部高度计算中可以从捕获图像获取的距离信息的图。

计算单元112根据下式1，基于步骤S109中获得的相机信息，求出捕获图像的最近侧的地面端G₀离相机12B的距离d_CG0。

[数1]

此外，计算单元112分别根据下式2和式3，求出在相机12B中出现的离相机12B的距离为D_F的图像的垂直实际长度h_P和水平实际长度w_P。

[数2]

[数3]

此外，当D_F>d_CG0(即在相机12B与对象的距离比相机12B与捕获图像的最近侧的地面端G₀的距离长的情况下)时，计算单元112根据下式4求出从G₀到人物面部的距离d_FG0。

[数4]

d_FG0＝D_F-d_CG0

…式4

因此，从相似比，图11中所示的h_GP的长度由下式5表示。

[数5]

此外，从捕获图像中的面部坐标，图11中所示的h_FP的长度由下式6表示。

[数6]

因此，通过下式7求出图11中由h_FG指示的面部离地面的高度。

[数7]

如上，根据本实施方式，信息处理装置10A基于相机12B的规格信息和安装位置信息以及由相机12B捕获的图像的分析结果，可以计算对象(作为通信伙伴的用户B)面部离地面的实际高度。

应注意的是，即使对象处于非直立姿势，只要检测到面部并且计算了相机12B与面部的距离D_F，就可以获得地面与面部的高度h_FG。此处，图13和图14是用于描述对象不是直立的情况的图。图13是用于描述在对象不是直立的情况下，在面部高度计算中摄像机和对象之间的位置关系的图。图14是用于描述在对象不是直立的情况下，在面部高度计算中从捕获图像计算的距离信息的图。

在这种情况下，通过使用上式1至式7，可以类似地获得图14中示出的从地面至面部的高度h_FG。

此外，在面部的位置离相机12B的距离等于由相机12B捕获的图像的最近侧的地面端G₀离相机12B的距离的情况下，即在从相机12B至面部的距离D_F＝d_CG0的情况下，满足d_FG0＝0且h_GP＝0。此处，图15和图16是用于描述对象面部的位置与地面端的距离相等的情况的图。图15是用于描述，在对象面部的位置与地面端的距离相等的情况下，在面部高度计算中相机与对象之间的位置关系的图。图16是用于描述，在对象面部的位置与地面端的距离相等的情况下，在面部高度计算中从捕获图像计算的距离信息的图。如图15和图16中所示，在对象站立在由摄影机12B捕获的图像的最近侧的地面端的情况下(距离D_F＝d_CG0)，满足d_FG0＝0且h_GP＝0。因此，计算单元112通过使用下式8计算从地面到面部的高度h_FG。

[数8]

此外，在对象面部的位置比相机12B捕获的图像的最近侧的地面端G₀更接近相机12B的情况下，从相机12B到面部的距离D_F<d_CG0。此处，图17和图18是用于描述对象面部的位置比相机12B更接近地面端的情况的图。图17是用于描述，在对象面部的位置比地面端更靠近相机12B的情况下，在面部高度计算中相机和对象之间的位置关系的图。图18是用于描述，在对象面部的位置比地面端更接近相机12B的情况下，在面部高度计算中从捕获图像计算的距离信息的图。如图17和图18所示，在对象站立在比相机12B捕获的图像的最近侧的地面端更近侧(距离D_F<d_CG0)的情况下，d_FG0由下式9表示。

[数9]

d_FG0＝d_CG0-D_F

…式9

因此，通过下式10表示图17和图18中所示的h_GP。

[数10]

因此，计算单元112使用下式11计算从地面到面部的高度h_FG。

[数11]

如前文的描述，无论对象相对于相机12B处于何种距离，均可以计算从地面到面部的高度h_FG。

然后，如图5所示，信息处理装置10A的图像生成单元113基于计算单元112计算的从地面到面部的高度h_FG以及显示器15A的物理尺寸和安装位置信息(显示器的最下侧离地面的距离)，从接收的图像适当地确定显示器15A上的显示范围(步骤S130)。此处，参考图19和图20描述显示器15A上显示的显示范围的确定。图19是用于描述从信息处理装置10B接收的图像121中的显示范围22的图。图20是用于描述显示器15A的实际尺寸和显示的显示图像的图。

图20中示出了显示器15A的垂直和水平长度(显示器垂直方向上的长度：H_D，显示器水平方向的长度：W_D)，并且事先获得下侧和地面之间的距离H_DG作为显示器15A的尺寸信息和安装位置信息。

为了在显示器15A的适当位置显示适当的图像(更具体地，为了以与对象面部离地面的实际高度相同的高度显示对象的面部)，如图19所示，基于尺寸信息和安装位置信息以及在步骤S127中计算的从地面到对象面部的高度h_FG，计算的捕获图像的左上角像素的坐标d_T(x_T,y_T)和右下角像素的坐标d_B(x_B,y_B)并且确定显示范围22。

具体地，首先，图像生成单元113计算d_T和d_B的y坐标。此处，由于h_FG(对象有多高)给出为物理距离，根据下式12获得面部中心和屏幕上侧之间的距离h_TF。

[数12]

h_TF＝(H_D+H_DG)-h_FG

…式12

当由捕获图像的像素数表示时，该物理距离为

因此，d_T的y坐标y_T如下：

此外，类似地，d_B的y坐标y_B如下：

接下来，获得d_T和d_B的x坐标。具体地，它们分别通过下式13和式4以面部位于显示器屏幕的中心的方式获得，例如。

[数13]

[数14]

如前文的描述，图像生成单元113计算捕获图像的左上角像素d_T(x_T，y_T)和右下角像素d_B(x_B，y_B)的坐标，并且决定捕获图像要剪裁的范围。通过在显示器15A上以这种方式显示剪裁的显示图像，如图20所示，作为通信伙伴的用户B看起来好像实际存在于安装显示器15A的位置(虚拟站立位置Pv)。

然后，如图5所示，确定面部是否在所确定的显示范围22内(步骤S133)。

在面部不在显示范围内的情况下，信息处理装置10A向信息处理装置10B以面部落入显示范围22的方式通过声音、文本等传送用于引导用户B的引导信息(步骤S136)。即，作为为根据显示器15A的尺寸和安装位置来显示实物大小的对象而确定显示范围的结果，例如如图21左侧所示，在某些情况下，伙伴的面部未落入显示器15A中。在这种情况下，信息处理装置10A可以通知成像侧未看到面部，并且引导对象移动到适当的成像位置，如图21右侧所示。

接下来，基于引导信息，信息处理装置10B在显示器15B上执行引导消息等的显示(步骤S139)。信息处理装置10A和信息处理装置10B执行双向通信，并且相机12和显示器15安装在每个空间中；因此，引导消息可以显示在成像侧的显示器15B上。此处，参考图22和图23，描述了根据本实施方式的成像侧的引导的示例。图22和图23是用于描述根据本实施方式的成像侧的引导的示例的图。

如图22的上部所示，例如在成像侧的显示器15B上显示引导消息31，诸如“你的脸在显示区域外，请向下移动一点”。在成像侧的显示器15B上，通过双向通信实时显示伙伴侧的用户A的捕获图像。通过在这样的屏幕上显示引导消息31，用户B可以以他/她自己的面部进入用户A侧的显示区域的方式移动。此外，如图22的下部所示，由相机12B在成像侧捕获的用户B的图像32可以在成像侧的显示器15B上实时显示，并且指示在伙伴侧显示的区域的显示区域显示器33可以叠加显示在图像32上。因此，伙伴侧(用户A侧)的显示区域可以被可视化以引导用户B。

此外，如图23上部所示，在不妨碍对话的部分，诸如屏幕的外围，可以显示框34用于通知，例如当用户B处于适当位置时显示为蓝色，并且当用户B处于不适当位置时显示为红色。此外，如图23的下部所示，通过声音35诸如“你的脸在显示区域外。请向下移动一点”进行引导的方法也是可能的。应当注意的是，代替通过音频信息反馈，可以“在适当的位置时”和“在不适当的位置时”播放不同的声音效果或BGM以进行通知。例如，当进入适当的范围时，可以发出像“哔……(beeeeep)”一样的声音，当在不适当的区域时，可以发出像“哔(beep)，哔，哔”一样的声音。

然后，如图5所示，当确定面部在显示范围内时(步骤S133中为“是”)，信息处理装置10的图像生成单元113确定所确定的显示范围的图像是否足够(步骤S136)。

在显示范围的图像不足的情况下(步骤S136中为“否”)，图像生成单元113补充不足区域(步骤S139)。这是因为作为如上决定适当显示范围的结果，可能出现这样的情况：显示器15A的显示范围的一部分不具有图像信息。将参考图24具体描述这一点。

图24是用于描述图像补充的图。如图24左侧所示，作为调整从伙伴侧接收的图像126中对象面部的中心位置以便执行实物大小显示的结果，在显示器15A上显示的范围23中，在一些情况下存在缺少图像信息的部分36。例如，在对象太靠近相机等的情况下，可能如图24左侧所示出现缺失部分36。在这种情况下，如图24右侧所示，图像生成单元113补充缺少部分的图像信息。用于产生补充图像37的方法不受特别限制，并且例如，可以通过从过去的图像和当前图像进行预测来生成。

然后，如图5所示，显示控制单元114在显示器15A上显示所确定的显示范围的图像(步骤S142)。

应当注意的是，在接收图像中不包括面部的情况下(步骤S118中为“否”)或者在确定不需要执行实物大小显示的情况下(步骤S121中为“否”)，显示控制单元114在显示器15A上按原样显示所接收的图像(步骤S142)。

已经描述了根据本实施方式的信息处理装置10的操作处理。应当注意的是，在图5所示的实例中，为了便于描述，描述了将捕获图像从信息处理装置10B传输到信息处理装置10A的单向处理；然而，根据本实施方式的通信系统1能够进行双向通信，并且可以在连接的信息处理装置10之间类似地执行上述处理。

此外，上述操作处理主要描述捕获图像(视频)的传输，但是也可以一起传输对象的音频信息。

<<4.其它实例>>

<4-1.在CG空间上的叠加>

除了上述实施方式之外，例如，信息处理装置10可以从捕获图像剪裁人物部分，并且在计算机图形(CG)空间上叠加显示该人物部分。将参考图25描述这一点。

图25是用于描述根据本公开另一示例的CG空间中实物大小显示的图。如图25所示，在显示器15A上显示CG空间的情况下，例如，假设人物24站立在与CG空间中的窗口25或门相同的位置，以实物大小显示从通信目的地接收的捕获图像剪裁的人物(对象)24。

具体地，如在上述实施方式中那样，信息处理装置10从接收的图像和成像侧的相机信息，获取人物24从地面到面部的实际高度，如图25所示，在假设CG空间中窗口25或门的相同位置为虚拟站立位置Pv的条件下进行实物大小的显示。

<4-2.传送至多个位置>

此外，作为本公开的另一个实例，信息处理装置10可以将视频传送到多个位置(空间)。图26是用于描述向多个空间的传送的图。

如图26所示，例如，在空间B中捕获的视频127可以由信息处理装置10B传送到空间A和空间C。如图26所示，空间A中的显示器15A的物理尺寸和安装位置与空间B中的显示器15C的物理尺寸和安装位置不同，但是由接收侧的信息处理装置10A和10C各自执行视频127的处理(显示范围的确定、缺少图像的补充等)(参见图5中的步骤S118至S142)；因此，可以根据接收侧的环境适当地执行实物大小的显示。

<<5.硬件配置>>

已经描述了本公开的实施方式。上述由信息处理装置10执行的处理可以通过配合地操作信息处理装置100的软件和硬件来实现(将在后面描述)。

图27是示出根据本公开的信息处理装置100的硬件配置的说明图。如图27所示，信息处理装置100包括中央处理器(CPU)142、只读存储器(ROM)144、随机存取存储器(RAM)146、桥接148、总线150、接口152、输入装置154、输出装置156、存储装置158、驱动器160、连接端口162和通信装置164。

CPU 142用作算术处理装置和控制装置，以通过与各种程序配合运作来使得能够操作信息处理装置10的图像分析单元111、计算单元112、图像生成单元113、显示控制单元114和传输控制单元115。此外，CPU 142可以是微处理器。ROM 144存储CPU 142使用的程序、操作参数等。RAM146瞬时存储在执行CPU 142时使用的程序、执行CPU 142时适当改变的参数等。ROM 144和RAM 146实现信息处理系统中的存储单元17的一部分。CPU 142、ROM 144和RAM 146通过包括CPU总线等的内部总线相互连接。

输入装置154包括用户输入信息的输入机构(input means)，诸如信息处理装置10的相机12和麦克风13、鼠标、键盘、触摸屏、按钮、开关和控制杆，基于相机的成像或用户输入产生输入信号并且将产生的输入信号输出到CPU 142的输入控制电路等。通过操作输入装置154，信息处理装置100的用户可以将各种数据输入到信息处理装置100并指令信息处理装置100执行处理操作。

例如，输出装置156执行从作为信息处理装置10的显示器15的示例的诸如液晶显示器(LCD)装置、有机发光二极管(OLED)装置或灯等装置的输出。此外，输出装置156执行从作为信息处理装置10的扬声器16的示例的扬声器、耳机等的音频输出。

存储装置158是数据存储装置。存储装置158可包括存储介质、在存储介质上记录数据的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质上的数据的删除装置等。存储装置158存储要由CPU 142执行的各种数据或程序。

驱动器160是用于存储介质的读取器/写入器，并且被并入或外部附接到信息处理装置100。驱动器160读取记录在安装的可移动存储介质(例如磁盘、光盘、磁光盘或半导体存储器)中的信息，并将该信息输出到RAM 144。驱动器160还能够将信息写入可移动存储介质。

连接端口162例如是用于连接到信息处理装置或信息处理装置100外部的外围设备的总线。此外，连接端口162可以是通用串行总线(USB)。

通信装置164例如是由通信设备实现的用于与网络连接的通信接口，作为信息处理装置10的通信单元14的示例。此外，通信装置164可以是支持红外通信的装置、支持无线局域网络(LAN)的通信装置、支持长期演进(LTE)的通信装置或用于执行有线通信的有线通信装置。

<<6.结论>>

如上，根据本公开实施方式的通信系统1可以给人一种就好像在视频通信中连接的伙伴存在于一个人的视线中一样的现实感。

具体地，在捕获视频时，相机信息(相机规格和安装位置信息)被传送到伙伴侧。在接收侧，预先掌握了显示器的物理尺寸和安装位置信息，根据接收到的视频中出现的人物面部的大小估计该人物的实际距离，并且计算人物面部离地面的高度。然后，在接收侧，假设安装在墙壁等上的显示器的位置是虚拟站立位置来调整人物面部的显示位置，并且根据需要对通过剪裁适当范围获得的视频进行放大、缩小、补充等，并且以实物大小的显示进行显示。

上文已经参照附图描述了本公开的优选实施方式，但是本公开并不限于以上实例。本领域技术人员可以在所附权利要求的范围内想到各种改变和修改，并且应该理解的是，它们将自然地落入本公开的技术范围内。

例如，还可以生产用于使得诸如嵌入在上述信息处理装置10或处理服务器30中的中央处理器(CPU)、只读存储器(ROM)和随机存取存储器(RAM)等硬件发挥信息处理装置10或处理服务器30的功能的计算机程序。另外，还提供了一种存储计算机程序的计算机可读存储介质。

此外，在上述实施方式中通过从接收的图像计算对象(通信伙伴)的面部离地面的实际高度来确定显示范围，但这是一个示例；在本实施方式中，可以计算出对象的预定身体区域离地面的实际高度，并且可以确定显示范围以执行实物大小的显示。

另外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。也就是说，具有上述效果的同时或代替上述效果，根据本公开的技术可以实现从本说明书的描述而对本领域技术人员显而易见的其它效果。

此外，本技术也可以被配置为如下。

(1)一种信息处理装置，包括：

通信单元，其配置用于向通信连接目的地传输图像和从通信连接目的地接收图像；和

控制单元，其配置用于基于显示图像的显示装置的显示尺寸和安装位置信息以及从图像获得的出现在图像中的对象的距离信息，控制图像的显示范围和位置。

(2)根据(1)的信息处理装置，

其中，安装位置信息包括显示装置离地面的高度信息，和

控制单元计算出从地面到面部的实际高度作为对象的距离信息，并且假定对象站立在与显示装置基本相同的位置，执行控制以便执行对象的实物大小的显示。

(3)根据(2)的信息处理装置，其中，在假定对象站立在与显示装置基本相同的位置的情况下，控制单元以对象的面部与实际高度位于同一位置的方式决定图像的显示范围。

(4)根据(2)或(3)的信息处理装置，其中，控制单元基于从通信连接目的地的相机到对象的距离以及相机的规格信息，计算从地面到对象的面部的高度，距离是基于出现在图像中的面部的尺寸和对象的年龄估计的。

(5)根据(4)的信息处理装置，其中，控制单元基于指示出现在图像中的面部的尺寸与从相机到面部的距离之间的关系并且根据对象的年龄和/或性别而不同的关系曲线，估计从相机到对象的距离。

(6)根据(4)的信息处理装置，其中，相机的规格信息包括在垂直于地面的方向上的视角信息和在垂直于地面的方向上的视角信息。

(7)根据(3)的信息处理装置，其中，在面部未处于所确定的显示范围内的情况下，控制单元执行控制以便通知通信连接目的地，面部在显示范围之外。

(8)根据(7)的信息处理装置，其中，控制单元以面部进入显示范围的方式进行通知以引导通信连接目的地。

(9)根据(3)的信息处理装置，其中，在确定的显示范围包括缺少图像信息的部分的情况下，控制单元补充缺少部分的图像。

(10)一种信息处理方法，包括通过处理器：

向通信连接目的地传输图像和从通信连接目的地接收图像；和

基于显示图像的显示装置的显示尺寸和安装位置信息以及从图像获得的出现在该图像中的对象的距离信息，控制图像的显示范围和位置。

(11)一种使得计算机执行如下功能的程序：

通信单元，被配置为向通信连接目的地传输图像和从通信连接目的地接收图像；和

控制单元，被配置为基于显示图像的显示装置的显示尺寸和安装位置信息以及从图像获得的出现在图像中的对象的距离信息，控制图像的显示范围和位置。

附图标记列表

1 通信系统

10 信息处理装置

11 控制单元

12 相机

13 麦克风

14 通信单元

15 显示器

16 扬声器

17 存储单元

20 网络

30 处理服务器。

Claims (10)

1.一种信息处理装置，包括：

通信单元，配置为向通信连接目的地传输图像且从所述通信连接目的地接收图像；以及

控制单元，配置为基于显示所述图像的显示装置的显示尺寸和安装位置信息以及从所述图像获得的出现在所述图像中的对象的距离信息，控制所述图像的显示范围和位置，

其中，所述安装位置信息包括所述显示装置离地面的高度信息，并且

所述控制单元计算出从地面到面部的实际高度作为所述对象的距离信息，并且假定所述对象站立在与所述显示装置基本相同的位置，执行控制从而执行所述对象的实物大小的显示。

2.根据权利要求1所述的信息处理装置，其中，在假定所述对象站立在与所述显示装置基本相同的位置的情况下，所述控制单元以所述对象的面部与所述实际高度位于相同位置的方式决定所述图像的显示范围。

3.根据权利要求1所述的信息处理装置，其中，基于从所述通信连接目的地的相机到所述对象的距离以及所述相机的规格信息，所述控制单元计算从地面到所述对象的面部的高度，所述距离是基于出现在所述图像中的面部的尺寸和所述对象的年龄估计的。

4.根据权利要求3所述的信息处理装置，其中，基于指示出现在所述图像中的面部的尺寸与从相机到面部的距离之间的关系并且根据所述对象的年龄和/或性别而具有差异的关系曲线，所述控制单元估计从所述相机到所述对象的距离。

5.根据权利要求3所述的信息处理装置，其中，所述相机的规格信息包括在垂直于地面的方向上的视角信息和在垂直于地面的方向上的视角信息。

6.根据权利要求2所述的信息处理装置，其中，在所述面部未处于所决定的显示范围内的情况下，所述控制单元执行控制从而通知所述通信连接目的地所述面部在显示范围之外。

7.根据权利要求6所述的信息处理装置，其中，所述控制单元对所述通信连接目的地作出引导所述面部进入所述显示范围的通知。

8.根据权利要求2所述的信息处理装置，其中，在决定的显示范围包括缺少图像信息的部分的情况下，所述控制单元补充缺少部分的图像。

9.一种信息处理方法，包括通过处理器执行：

向通信连接目的地传输图像且从所述通信连接目的地接收图像；

基于显示所述图像的显示装置的显示尺寸和安装位置信息以及从所述图像获得的出现在所述图像中的对象的距离信息，控制所述图像的显示范围和位置，其中，所述安装位置信息包括所述显示装置离地面的高度信息；以及

计算出从地面到面部的实际高度作为所述对象的距离信息，并且假定所述对象站立在与所述显示装置基本相同的位置，执行控制从而执行所述对象的实物大小的显示。

10.一种计算机可读的存储介质，存储计算机程序，所述计算机程序在由处理器执行时，使得计算机执行以下功能：

通信单元，配置为向通信连接目的地传输图像且从所述通信连接目的地接收图像；以及

控制单元，配置为基于显示所述图像的显示装置的显示尺寸和安装位置信息以及从所述图像获得的出现在所述图像中的对象的距离信息，控制所述图像的显示范围和位置，

其中，所述安装位置信息包括所述显示装置离地面的高度信息，并且

所述控制单元计算出从地面到面部的实际高度作为所述对象的距离信息，并且假定所述对象站立在与所述显示装置基本相同的位置，执行控制从而执行所述对象的实物大小的显示。

Images