CN102202206B

CN102202206B - 通信设备

Info

Publication number: CN102202206B
Application number: CN201110065550.8A
Authority: CN
Inventors: 安藤辰伸; 香月和也; 贺川隆; 汤地洋文
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-25
Filing date: 2011-03-18
Publication date: 2016-03-23
Anticipated expiration: 2031-03-18
Also published as: US8570404B2; JP2011205383A; JP5483012B2; CN102202206A; US20110234831A1

Abstract

提供一种能够改进由相机的视角导致的可用性的下降的通信设备。该通信设备包括：相机，其捕获画面；信息处理部分，其从由所述相机捕获的画面检测面部图像，以便生成包括检测到的面部图像的部分画面；传输部分，其编码所述部分画面以便生成编码数据，并且将所述编码数据传输到对应方；以及第一接收部分，其接收从所述对应方传输的数据，并且解码接收的数据以生成可视电话画面。

Description

通信设备

技术领域

本发明涉及可应用于使用因特网的可视电话(picturephone)的通信设备。

背景技术

近年来，包括个人计算机的各种电子设备已经变得能够访问因特网。在该趋势下，使用因特网的可视电话已经变得普遍，并且近来，甚至TV机也已经装备有可视电话功能(见http://www.skype.com/intl/ja/allfeatures/tv/)。

发明内容

可视电话能够交互式地通信声音以及图像。为了获取画面，通常使用包括CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器等的小相机，并且为了显示画面，通常使用如液晶面板或有机EL(电致发光)面板的显示面板。作为用于可视电话的相机，通常使用具有小视角的相机。当视角宽时，存在人将以小尺寸在显示面板上出现的可能性，使得在可视电话另一端的某人不能看到该人的面部。此外，还存在整个房间将出现使得房间的凌乱可能传输到可视电话另一端的人的可能性。因此，作为用于可视电话的相机，例如，使用具有大约45度的相机。

随着可视电话的广泛使用，使用可视电话的方式也已经多样化。特别地，近来，两个或更多人同时使用一个可视电话与对应方通信的情况的数目已经增加。在此情况下，为了将所有成员安排在可以由相机拍摄的区域中，所有成员需要处于远离相机一定程度的位置。此外，即使在仅一个人对可视电话说话的情况下，当人想要在相机前移动时，该人也需要处于远离相机一定程度的位置。结果，人以小尺寸出现在显示面板上。因此，现有的可视电话具有这样的问题：因为对于相机的视角的限制，所以可用性不太高。

鉴于前述，希望提供一种能够改进由相机的视角导致的可用性的下降的问题。

根据本发明实施例的一种通信设备，包括：相机，其捕获画面；以及信息处理部分，其从由相机捕获的画面检测面部图像，以便生成包括检测到的面部图像的部分画面。该通信设备还包括：传输部分，其编码部分画面以便生成编码数据，并且将编码数据传输到对应方；以及第一接收部分，其接收从对应方传输的数据，并且解码接收的数据以生成可视电话画面；以及显示部分，其能够显示可视电话图像。

在根据本发明实施例的通信设备中，从由相机捕获的画面检测面部图像，并且生成包括检测到的面部图像的部分画面。结果，在对应方的通信设备中，在显示部分中显示部分画面作为可视电话画面。换句话说，根据本发明的实施例，不是调整相机本身的视角，而是通过部分画面的生成(原始图像的部分画面的剪切)执行与相机的视角相关联的画面尺寸的调整。

在根据本发明实施例的通信设备中，相机优选地具有60度或更大的视角。此外，根据本实施例的通信设备可以是电视，其还包括接收电视广播信号的第二接收部分，并且通过解码电视广播信号生成广播图像。在此情况下，优选地，信息处理部分根据用户指令使得显示部分显示可视电话画面或广播画面的任一或两者。

此外，在根据本发明实施例的通信设备中，优选地，相机还用作人传感器。例如，当不能从由相机捕获的画面检测到面部图像时，信息处理部分可以停止在显示部分中的画面显示，并且随后当从由相机捕获的画面检测到面部图像时，信息处理部分可以取消停止在显示部分中的画面显示。

根据本发明实施例中的通信设备，通过部分画面的生成(原始图像的部分画面的剪切)调整与相机的视角相关联的画面尺寸。因此，例如，当两个或更多人通过同时使用一个可视电话与对应方通信时，或者当用户在相机的前面移动时，每个人可以以大尺寸在对应方的通信设备的显示面板上显示。因此，可能改进由相机的视角导致的可用性的下降。

附图说明

图1是图示根据本发明实施例的包括VC(可视通信)设备的可视电话系统的配置示例的框图；

图2是图示图1中的VC设备的内部配置示例的图；

图3A和3B是用于说明生成部分画面的方法的示例的示意图；

图4A和4B是用于说明生成部分画面的方法的另一示例的示意图；

图5是同时显示广播画面和可视电话画面的状态的示意图；以及

图6是用于说明生成传感器画面的方法的示例的示意图。

具体实施方式

将参照附图详细描述本发明的实施例。顺便提及，将以以下顺序提供描述。

1.实施例

可视电话系统的配置(图1)

VC设备的配置(图2)

可视电话功能(图3A-图5)

效果

2.修改

人传感器(图6)

1.实施例

[可视电话系统的配置]

图1是图示根据本发明实施例的包括多个VC设备的可视电话系统100的配置示例的框图。例如，可视电话系统100包括连接到开放网络200的两个VC设备1和2。开放网络200指通过使用通常在可视电话中使用的通信协议执行通信的网络。其它VC设备可以在任何时候连接到开放网络200。顺便提及，在本实施例中，VC设备1或VC设备2对应于根据本发明实施例的“通信设备”的具体示例。

图2图示VC设备1的配置示例的框图。顺便提及，VC设备2包括与VC设备1的组件相同的组件。VC设备1例如是可以连接到因特网的电视。VC设备1包括例如天线端子1A、数字调谐器1B、解复用器1C、解码器1D、图像信号处理电路1E、图形生成电路1F、面板驱动部分1G和显示面板1H。VC设备1还包括例如声音信号处理电路1I、音频放大器电路1J和扬声器1K。VC设备1还包括例如内部总线1L、存储器1M、算术电路1N、网络接口1P、网络端子1Q、相机1R、麦克风1S、解码器1T、编码器1U、遥控接收电路1V和遥控发射器1W。顺便提及，图2中图示的交替长短虚线代表例如VC设备1的主要单元(外壳1X)，并且指示遥控发射器1W与VC设备1的主要单元分开提供。

天线端子1A是对其输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器1B例如配置为处理输入到天线端子1A的电视广播信号，从而输出对应于由用户选择的频道的预定传送流。解复用器1C例如配置为从由数字调谐器1B捕获的传送流提取对应于由用户选择的频道的部分TS(传送流)。

解码器1D例如配置为使由解复用器1C获得的部分TS中包括的视频PES(分组化基本流)分组经历解码处理，从而获得画面数据(广播画面数据)。此外，解码器1D例如配置为使由解复用器1C获得的部分TS中包括的声音PES分组经历解码处理，从而获得声音数据。

图像信号处理电路1E和图形生成电路1F配置为例如使由解码器1D和解码器1T获得的画面数据根据需要经历多图形处理、图形数据叠加处理等。图形生成电路1F例如配置为生成在屏幕显示时要使用的UI(用户界面)屏幕。面板驱动部分1G例如配置为基于由图形生成电路1F输出的画面数据生成驱动信号，并且通过使用驱动信号驱动显示面板1H。

显示面板1H例如通过LCD(液晶显示器)、有机EL(电致发光)显示面板、或PDP(等离子体显示面板)配置。声音信号处理电路1I例如配置为使由解码器1D和解码器1T获得的声音数据经历包括D-A转换的处理等。音频放大器电路1J例如配置为放大由声音信号处理电路1I输出的声音信号，并且将放大的声音信号提供到扬声器1K。

存储器1M执行例如VC设备1的设置信息的存储、各种软件的存储、以及数据管理。存储器1M包括例如闪速ROM(只读存储器)(未示出)，其存储用于控制VC设备1的控制软件以及在运行该控制软件时要使用的数据。存储器1M还包括例如DRAM(动态随机存取存储器)(未示出)，其形成各种软件的工作区域。存储器1M还包括例如HDD(硬盘驱动器)(未示出)，其存储各种应用。作为这样的应用，实现可视电话功能的应用(未示出)默认存储在HDD中。

算术电路1N控制VC设备1的每个部分的操作，并且例如配置为将从存储器1M的HDD读取的软件扩展在存储器1M的工作区域中，并且启动软件，从而控制VC设备1的每个部分的操作。

网络端子1Q例如是连接到网络(开放网络200)和连接到网络接口1P的端子。网络接口1P例如是根据作为一种标准的LAN(局域网)的以太网(注册商标)与其它(VC设备2等)通信的接口。顺便提及，以太网(注册商标)是FujiXerox有限公司的注册商标。网络接口1P例如与算术电路1N、存储器1M、相机1R、麦克风1S、解码器1T和编码器1U一起连接到内部总线1L。

相机1R拍摄在显示面板1H的前面的场景的画面，并且例如布置在显示面板1H的边缘。相机1R例如配置为包括如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器的成像元件。相机1R例如在其光入射平面(未示出)装配有广角镜头(未示出)。广角镜头成形为实现例如60度或更大的视角。

麦克风1S主要在显示面板的前面和周围捕获声音，并且例如布置在显示面板1H的边缘。

解码器1T例如通过对经由网络接口1P从网络端子1Q获得的数据中包括的视频PES分组执行解码处理，获得画面数据。此外，解码器1T例如还通过对经由网络接口1P从网络端子1Q提供的数据中包括的声音PES分组执行解码处理，获得声音数据。

编码器1U例如配置为使从算术电路1N获得的画面数据(可视电话画面数据)经历编码处理，从而获得要传输的数据。编码器1U例如还配置为使从麦克风1S获得的声音数据经历编码处理，从而获得要传输的数据。

遥控接收电路1V例如配置为接收从遥控发射器1W发射的遥控信号，并且将接收的信号提供到算术电路1N。算术电路1N例如配置为根据遥控信号控制VC设备1的每个部分。

[可视电话功能]

接下来，将描述VC设备1的可视电话功能。在本实施例的VC设备1中，例如，根据用户指令，算术电路1N将实现可视电话功能的应用扩展到DRAM中，并且启动应用。随后，根据来自用户的各种指令，算术电路1N运行应用。

(传输)

随后，算术电路1N指令相机1R拍摄运动画面，并且还指令麦克风1S拾取声音。然后，相机1R开始拍摄运动画面，并且将获得的画面数据传送到算术电路1N，并且麦克风1S开始拾取声音，并且将获得的声音数据传送到算术电路1N。算术电路1N将获得的声音数据输入到编码器1U，并且对获得的画面数据执行预定处理(稍后将描述的剪切处理)，然后将处理的画面数据(稍后将描述的部分画面4)输入编码器1U。然后，编码器1U对输入的声音数据和画面数据执行编码处理，并且将编码的数据输入算术电路1N。算术电路1N通过网络接口1P和网络端子1Q将数据传输到通信对应方的VC设备2。

(接收)

在通过网络接口1P和网络端子1Q从通信对应方的VC设备2获取数据时，算术电路1N将数据输入解码器1T。然后，解码器1T对输入数据执行解码处理，从数据生成画面数据和声音数据，并且将生成的画面数据和声音数据输入算术电路1N。

算术电路1N经由例如高清晰度多媒体接口(HDMI)将获得的画面数据输入图像信号处理电路1E。然后，图像信号处理电路1E对获得的画面数据执行预定处理，然后将得到的画面数据输入图形生成电路1F。图形生成电路1F对获得的画面数据执行预定处理，然后将处理的画面数据输入面板驱动部分1G作为画面信号。面板驱动部分1G基于画面数据驱动显示面板1H，从而使得显示面板1H显示画面。结果，对应方的画面显示在显示面板1H上。

此外，算术电路1N经由例如HDMI将获得的声音数据输入声音信号处理电路1I。然后，声音信号处理电路1I对获得的声音数据执行预定处理，然后将处理的声音数据经由音频放大器电路1J输入扬声器1K。结果，对应方的声音从扬声器1K输出。以此方式，执行通过使用可视电话功能的声音和画面的交互式通信。

(剪切处理)

接下来，将描述VC设备1和2中的剪切处理。在本实施例中，算术电路1N对从相机1R获得的画面数据执行下面将描述的剪切处理。

当从相机1R获得的画面数据例如是如图3A所示的画面(获得的画面3)时，算术电路1N首先检测获得的画面3中的面部图像f1和f2。随后，算术电路1N设置包括获得画面3中的所有检测到的面部图像f1和f2的剪切区域3A，从获得的画面3中剪切出剪切区域3A，并且生成如图3B所示的部分画面4。此时，算术电路1N根据需要调整(减小或扩大)部分画面4的尺寸。

例如，当相机1R的像素尺寸大(例如，5M像素)并且部分画面4的尺寸超过HD尺寸时，算术电路1N将部分画面4的尺寸减小为HD尺寸。此外，例如，当部分画面4的尺寸小于HD尺寸时，算术电路1N将部分画面4的尺寸扩大为HD尺寸。以此方式，执行算术电路1N中的剪切处理。

顺便提及，可以通过使用另一方法执行剪切处理。例如，当从相机1R获得的画面数据是如图4A所示的画面(获得的画面3)时，算术电路1N首先检测获得的画面3中的面部图像f1和f2。随后，算术电路1N对于各个面部图像f1和f2分别设置包括获得的画面3中的面部图像f1和f2的剪切区域3B和3C，从获得的画面3中剪切出剪切区域3B和3C，并且生成两个肖像画面3D和3E(见图4B)。随后，算术电路1N合并生成的两个肖像画面3D和3E，从而产生图4B所示的部分画面4。例如如图4B所示，通过并排平行排列两个肖像画面3D和3E，执行两个肖像画面3D和3E的合并。此时，算术电路1N以与上述方式类似的方式根据需要调整(减小或扩大)部分画面4的尺寸。以此方式，可以执行算术电路1N中的剪切处理。

顺便提及，算术电路1N可以根据用户的指令选择上述两个方法的任一。

(广播和可视电话的同时使用)

接下来，将描述VC设备1和2中“广播和可视电话的同时使用”。在本实施例中，VC设备1和2每个是具有可视电话功能的电视。因此，VC设备1和2可以根据用户的指令使得显示面板1H在用作可视电话的同时显示广播画面数据。例如，如图5所示，算术电路1N使得显示面板1H同时显示广播画面11和可视电话画面12和13。

可视电话画面12是基于从对应方的VC设备2获得的数据生成的画面，并且可视电话画面13是基于从用户自己的VC设备1的相机1R获得的数据生成的画面。顺便提及，取决于用户的指令，算术电路1N可以使得显示面板1H显示可视电话画面12和13任一或两者。

通过在VC设备1和2每个中提供用于广播的解码器1D和用于可视电话的解码器1T实现这样的同时显示。顺便提及，解码器1D和解码器1T可以提供在不同芯片中，或者可以提供在同一芯片中。然而，当解码器1D和解码器1T提供在同一芯片中时，解码器1D例如是包括解码器1T的双重解码器，并且从VC设备2输入的数据经由网络接口1P、存储器1M等输入解码器1D。

[效果]

在本实施例中，在VC设备1中，从由相机1R捕获的获得的图像3检测面部图像f1和f2，并且生成包括检测到的面部图像f1和f2的部分画面4。结果，部分画面4在对应方的VC设备2的显示面板1H上显示为可视电话画面。换句话说，在本实施例中，不是调整相机1R本身的视角，而是通过部分画面4的生成(原始图像中的部分画面的剪切)执行与相机1R的视角相关联的画面尺寸的调整。结果，例如，两个或更多人可以通过同时使用一个VC设备1与对应方通信，并且即使当用户在相机1R的前面移动时，每个人也可以以大尺寸在对应方的VC设备2的显示面板1H上显示。因此，可能改进由于相机的视角导致的可用性的下降。

2.修改

在上述实施例中，已经用显示面板1H和面板驱动部分1G内置在VC设备1的主要单元(外壳1X)中的情况作为示例，但是显示面板1H和面板驱动部分1G可以与VC设备1的主要单元(外壳1X)分开提供。在此情况下，显示面板1H和面板驱动部分1G是VC设备1的外部设备，因此例如VC设备1通过线缆或无线电控制外部设备(显示面板1H和面板驱动部分1G)。

此外，在上述实施例中，已经用VC设备1是电视的情况作为示例，但是VC设备1可以不是电视。然而，在此情况下，例如VC设备1通过使用从一个电子装置(调谐器)输入的画面数据和声音数据使得显示面板1H显示广播画面，并且使得扬声器1K输出声音，该电子装置配置为包括数字调谐器1B、解复用器1C、解码器1D等。

此外，在上述实施例中，已经用在VC设备1中用作可视电话的部分内置在外壳1X中的情况作为示例，但是该部分可以与VC设备1的主要单元(外壳1X)分开提供。在此情况下，例如，用作可视电话的部分是VC设备1的外部设备，因此，例如VC设备1经由USB(通用串行总线)控制外部设备(用作可视电话的部分)。

此外，在上述实施例和修改中，相机1R可以用作人传感器。此时，不需要从由相机1R捕获的获得画面3中剪切出部分画面4，并且为了人传感器的目的，画面的尺寸可以仅需要是足够用于由相机1R捕获的获得画面3的尺寸。当足够用于人传感器的目的尺寸例如是VGA尺寸时，算术电路1N例如将由相机1R捕获的获得画面3的尺寸调整为VGA尺寸，并且通过使用调整后的画面数据执行下面要描述的各种处理的一个或多个。

(节能功能)

例如，算术电路1N可以配置为当算术电路1N不能从由相机1R捕获的画面检测到面部图像时停止在显示面板1H中的画面显示，并且随后当算术电路1N从由相机1R捕获的画面检测到面部图像时取消停止在显示面板1H中的画面显示。

(接近避免功能)

此外，例如，算术电路1N可以配置为当从由相机1R捕获的画面检测到面部图像时得到从相机1R到检测到的面部图像的距离或对应于该距离的数值，从而当距离或数值超过预定阈值时执行预定处理。该预定处理这里例如包括生成可听见的警报、减小在显示面板1H上显示的画面的亮度等。

(声音平衡校正功能)

此外，例如，算术电路1N可以配置为当从由相机1R捕获的画面检测到面部图像时得到检测到的面部图像的朝向或对应于该朝向的数值，从而根据该朝向或数值执行预定处理。预定处理这里包括例如右边和左边之间的声音平衡的调整。

顺便提及，如上所述的相机1R的视角例如是60度或更大，这是足以用作人传感器的尺寸。在本修改中，当相机1R用作用于用户可视电话的相机时，VC设备1对于由相机1R拍摄的画面执行上述“剪切处理”，从而模拟地使相机1R的视角变窄。此外，当相机1R用作用于人传感器的相机时，VC设备1通过使用相机1R的宽视角拍摄显示面板1H前面的宽区域的画面，并且通过使用拍摄的画面执行上述各种处理。以此方式，在本修改中，通过单个相机1R实现要求窄视角的用于可视电话的相机和要求宽视角的用于人传感器的相机。这使得可能消除由于添加人传感器功能导致的组件成本的增加。

本申请包含涉及于2010年3月25日向日本专利局提交的日本优先权专利申请JP2010-070384中公开的主题，在此通过引用并入其全部内容。

本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims

1.一种通信设备，包括：

相机，其捕获画面；

信息处理部分，其从由所述相机捕获的画面检测面部图像，以便生成包括检测到的面部图像的部分画面；

传输部分，其编码所述部分画面以便生成编码数据，并且将所述编码数据传输到对应方；以及

第一接收部分，其接收从所述对应方传输的数据，并且解码接收的数据以生成可视电话画面，

当从由所述相机捕获的画面检测到多个面部图像时，所述信息处理部分根据以下的任一执行剪切处理：

(1)第一方法，包括设置包括所有检测到的面部图像的单个剪切区域，其中所述剪切区域小于由相机捕获的画面的全部区域，使得所述剪切区域不包括相机捕获的画面的全部图像，并且从所述单个剪切区域生成单个部分画面，其包括按照相机捕获的画面中安排的所有检测到的面部图像，使得不重新安排检测到的面部图像；以及

(2)第二方法，包括设置每个包括一个检测到的面部图像的多个剪切区域，其中每个所述剪切区域小于由相机捕获的画面的全部区域，从所述剪切区域生成多个肖像画面，并且合并生成的多个肖像画面以生成部分画面，

其中，所述信息处理部分根据用户指令选择所述第一方法或所述第二方法，使得当用户指令指示第一方法时，所述信息处理部分根据所述第一方法执行剪切处理，以及当用户指令指示第二方法时，所述信息处理部分根据所述第二方法执行剪切处理。

2.如权利要求1所述的通信设备，其中所述相机具有60度或更大的视角。

3.如权利要求1所述的通信设备，还包括：

第二接收部分，其接收电视广播信号，并且解码所述电视广播信号以生成广播画面，

其中所述信息处理部分根据用户指令允许显示部分显示所述可视电话画面或所述广播画面的任一或两者。

4.如权利要求3所述的通信设备，其中

在用户指令是要求同时显示所述可视电话画面和所述广播画面两者的情况下，所述信息处理部分允许所述显示部分在相互独立的各个区域显示所述可视电话画面和所述广播画面。

5.如权利要求1所述的通信设备，还包括驱动部分，其基于从调谐器输入的广播画面生成用于驱动显示部分的驱动信号。

6.如权利要求1所述的通信设备，其中

当从由所述相机捕获的画面检测到多个面部图像时，所述信息处理部分生成包括所有检测到的面部图像的部分画面。

7.如权利要求1所述的通信设备，其中

当从由所述相机捕获的画面检测到多个面部图像时，所述信息处理部分生成包括各自面部图像的多个肖像画面，并且合并生成的多个肖像画面以生成部分画面。

8.如权利要求1所述的通信设备，其中

所述信息处理部分确定从由所述相机捕获的画面检测到的面部图像的朝向，或者确定对应于所述朝向的数值以便根据所述朝向或所述数值执行预定处理。

9.如权利要求1所述的通信设备，还包括显示画面的显示部分。

10.如权利要求3所述的通信设备，还包括：

显示部分，其显示画面；

外壳，其集中容纳所述相机、所述信息处理部分、所述第一接收部分、所述第二接收部分和所述显示部分。

11.如权利要求10所述的通信设备，其中所述相机布置在所述显示部分的边缘。

12.如权利要求10所述的通信设备，其中所述第一接收部分与所述第二接收部分分开形成。