CN101267528B - 双向通信系统、通信终端设备和图像静音控制方法 - Google Patents

Abstract

本发明公开了双向通信系统、通信终端设备和图像静音控制方法。在该双向通信系统中，多个通信终端设备经由网络相互连接，其中，该通信终端设备包括：相机；以及终端主单元；其中相机包括配置来对对象成像以输出图像数据的成像单元；其中终端主单元包括配置来接收遥控信号的遥控信号接收单元，配置来将图像数据发送到另一个通信终端设备的通信单元，以及静音控制单元，该静音控制单元配置来基于在遥控信号接收单元处接收到的用于静音控制的遥控信号，有选择地将从通信单元发送的图像数据切换成从成像单元输出的图像数据或者静音图像数据。

Description

双向通信系统、通信终端设备和图像静音控制方法

技术领域

本发明涉及适于例如视频会议系统的双向通信系统(two-waycommunication system)、通信终端设备和图像静音控制(image mutecontrol)方法。具体而言，本发明涉及双向通信系统等，其使得能够基于远程控制信号将发送图像数据有选择地切换到所成像的图像数据或静音图像数据，从而用户可以容易地执行图像静音处理。

背景技术

已知一种通信系统，该通信系统通过在每个彼此远离的点处执行成像、通过网络将所获得的图像数据发送到对方点并且在该点显示来实现双向通信。例如，作为这种通信系统，视频会议系统正变得广泛使用。

利用这种视频会议系统，例如在日本未实审专利申请公开No.2001-331429中所描述的，给出了这样一种布署，在会议开始前，在参会者自己的会议室(第一会议室)和对方的会议室(第二会议室)中指示参会者的个人信息的图标、或者在参会者自己的会议室和对方的会议室中设置的设备的图标被显示，并且在执行了与对方的连接后，参会者自己的成像图像被显示在对方的屏幕上。

在执行双向通信的情形中，需要在不在对方的屏幕上显示参会者自己的成像图像的情况下实现双向通信的功能。在提供了这种功能的情形中，如果仅决定不发送成像图像，则在对方一侧正通信的对方的成像图像不在屏幕上显示，这可能导致用户执行不必要的确认工作来确认在网络或通信终端设备上是否发生了问题。

因此，例如，日本未实审专利申请公开No.2007-13693描述了提供由快门等构成的成像停止单元，当该成像停止单元使成像停止时，发送指示成像已被停止的指示符图像数据。

发明内容

对于日本未实审专利申请公开No.2007-13693中所描述的技术，在执行图像静音以不将他/她自己的图像发送给对方情形中，需要直接操作设置在相机中的快门(透镜盖)来利用其快门隐藏成像透镜。另外，在未设置这种快门的情形中，无论如何也要遮盖住相机的前部。

因此，迄今为止，在执行图像静音的情形中，用户面临需要到相机位置去操作快门的麻烦，如果要频繁地使图像静音开启/关闭，这是非常麻烦的。

因此认识到需要由简化用户的图像静音操作。

在根据本发明实施例的双向通信系统中，多个通信终端设备经由网络相互连接，这些通信终端设备包括：相机；以及终端主单元；其中，相机包括配置来对对象成像以输出图像数据的成像单元；并且其中终端主单元包括配置来接收遥控信号的遥控信号接收单元，配置来将图像数据发送到另一个通信终端设备的通信单元，以及静音控制单元，该静音控制单元被配置来基于在遥控信号接收单元处接收到的用于静音控制的遥控信号，有选择地将从通信单元发送的图像数据切换成从成像单元输出的图像数据或者静音图像数据。

根据本发明实施例，该双向通信系统具有这样的配置：其中多个通信终端设备通过网络相互连接。通信终端设备包括相机和终端主单元。通过发送遥控信号到终端主单元，允许终端用户执行图像静音操作，

就是说，在终端主单元处，接收到基于用户的操作从遥控器发送的遥控信号。随后，在终端主单元处，基于所接收到的遥控信号，从通信单元发送的图像数据被有选择地切换成成像图像数据或静音图像数据。在该情形中，在遥控信号(静音控制信号)处于静音ON状态中时，静音图像数据被作为要发送给另一个通信终端设备的图像数据，并且在遥控信号处于OFF状态中时，从相机输出的图像数据被作为要发送给另一个通信终端设备的图像数据。

因此，根据本发明实施例，用户可以在遥控器上执行图像静音操作，所以不再存在到相机位置去操作快门的麻烦，并且即使在频繁开启/关闭图像静音的情形中，用户也可以容易地执行图像静音操作。

另外，根据本发明实施例，例如，可以给出一种布置，其中相机或终端主单元被配置为包括用于存储静音图像数据的存储单元，此外，终端主单元可以包括用于将静音图像数据写到存储单元中的静音图像数据注册单元。在该情形中，多种类型的图像可以被用作在图像静音时将被发送给对方的静音图像。例如，成像图像数据可以被静音图像数据注册单元写入到存储单元中。因此，可以采用任意的成像图像作为静音图像。另外，例如，要被输入到外部输入端子的图像数据被静音图像数据注册单元写到存储单元中。因此，例如，在计算机中创建的图像或者在诸如DVD播放机之类的图像播放设备中播放的图像可以被用作静音图像。

另外，根据本发明实施例，例如，可以给出一种布置，其中相机或终端主单元被配置为包括用于存储多种类型的静音图像数据的存储单元，并且终端主单元还可以包括静音图像选择单元，用于基于用户的选择操作从写入到存储单元中的多种类型的静音图像数据中选择要被应用的静音图像数据。在该情形中，用户可以通过从多种类型的静音图像数据中选择要被应用的静音图像数据，从而使用任意图像数据。

另外，终端主单元可以被配置为包括配置来存储静音图像数据的存储单元，以及图像切换单元，图像切换单元配置来基于用于静音控制的遥控信号在静音控制单元控制图像切换单元的切换操作的情况下有选择地提取从成像单元输出的图像数据或者从存储单元读出的静音图像数据。在该情形中，静音控制单元对存在于与参会者自己的终端主单元相同的终端主单元中的图像切换单元的切换操作进行控制，这简化了图像切换控制系统的配置。

另外，终端主单元可以被配置为包括上述存储单元和图像切换单元，并且终端主单元还包括配置来对从成像单元输出的图像数据进行压缩编码的图像压缩单元，存储单元中存储的静音图像数据是经压缩编码的，并且图像切换单元提取从图像压缩单元输出的经压缩编码的图像数据或者从存储单元读出的经压缩编码的静音图像数据。在该情形中，存储单元中存储的静音图像数据已被压缩编码，从而当在图像静音期间在图像切换单元处提取静音图像数据时，可以使图像压缩单元的压缩编码操作停止，从而可以减轻终端主单元处的处理负担，也可以节省功率。

另外，相机可以配置为包括存储单元、图像切换单元和切换控制单元，其中存储单元配置来存储静音图像数据，图像切换单元配置来有选择地提取从成像单元输出的图像数据或者从存储单元读出的静音图像数据，切换控制单元配置来对图像切换单元的操作进行控制，并且静音控制单元基于用于静音控制的遥控信号向切换控制单元提供控制信息。在该情形中，终端主单元的静音控制单元仅需将控制信息提供给相机的切换控制单元，从而可以减轻构成终端主单元的静音控制单元的CPU(中央处理单元)的处理负担。

另外，通信终端设备还包括麦克风、以及发送图像数据和从麦克风输出的音频数据到另一通信终端设备的通信单元，终端主单元还包括音频静音单元和静音控制单元，音频静音单元配置来使从通信单元发送的音频数据静音，并且静音控制单元基于在遥控信号接收单元处接收到的用于静音控制的遥控信号，有选择地将从通信单元发送的图像数据切换成从成像单元输出的图像数据或者静音图像数据，并且还对音频静音单元的静音操作进行控制。在该情形中，用户可以通过遥控器上的静音操作来使图像和音频同时静音。

另外，通信终端设备能够如上所述使图像和音频同时静音，并且还包括图像静音设置单元，配置来基于用户的操作使控制操作有效或无效，其中在用于静音控制的遥控信号处于静音ON状态中时，静音控制单元将从通信单元发送的图像数据切换成静音图像数据。因此，用户可以任意设置是否可以在音频静音的同时执行图像静音。

根据本发明实施例，基于遥控信号，发送图像数据可以有选择地被切换成成像图像数据或静音图像数据，从而可以简化用户的图像静音操作。

附图说明

图1是示出了作为实施例的双向通信系统的配置示例的框图；

图2是示出了构成双向通信系统的通信终端设备的图像发送系统的配置示例的框图；

图3是示出了构成双向通信系统的通信终端设备的总体配置示例的框图；

图4是示出了终端主单元的控制单元处的静音控制处理的流程图；

图5是示出了利用全屏显示(full screen display)的通信时的显示示例的图；

图6是示出了利用双屏显示(two-screen display)的通信时的显示示例的图；

图7是示出了终端主单元的控制单元处的静音图像注册处理的流程图；

图8是示出了终端主单元的控制单元处的静音通信设置处理的流程图；

图9是示出了终端主单元的控制单元处的图像静音和音频静音之间的互锁(interlocking)设置处理的流程图；

图10是示出了构成双向通信系统的通信终端设备的图像发送系统的另一个配置示例的框图；以及

图11是示出了构成双向通信系统的通信终端设备的另一个总体配置示例的框图。

具体实施方式

下面将参考附图描述本发明的实施例。

图1示出了作为实施例的双向通信系统10的配置示例。双向通信系统10由经由网络200互连的多个(图1中仅示出了两个)通信终端设备100配置而成，所述网络200例如是LAN(局域网)、因特网等。

图2示出了通信终端设备100的图像数据发送系统的配置示例。就是说，在图1中，省略了图像数据接收系统、音频数据发送系统和接收系统。通信终端设备100包括相机110和终端主单元120。

相机110包括控制单元111、成像单元112和成像信号处理单元113。控制单元111对相机110的每个单元的操作进行控制。控制单元111由CPU配置而成。成像单元112包括未示出的成像透镜和成像器件，对对象进行成像来输出与该对象相对应的成像信号。成像器件是诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的成像器件。成像信号处理单元113使从成像单元112输出的成像信号(模拟信号)经受采样保持、增益控制、从模拟信号到数字信号的转换、白平衡调节、伽马校正等，并输出图像数据(成像图像数据(imaged image data))。

终端主单元120包括控制单元121、遥控信号(remote controlsignal)接收单元122(下文称作遥控接收单元122)、图像压缩单元123、非易失性存储器124、图像切换单元125、分组化(packetizing)单元126和通信接口127。

控制单元121对终端主单元120的每个单元的操作进行控制。控制单元121由CPU配置而成。遥控接收单元122接收从遥控器170生成的对应于用户的操作的遥控信号，例如，红外光等。遥控接收单元122连接到控制单元121。遥控接收单元122将与接收到的遥控信号相对应的操作信号提供给控制单元121。

图像压缩单元123对从相机110输出的图像数据进行压缩编码。图像压缩单元123使图像数据经受利用根据诸如由ITU(国际电信联盟)标准化的H.323之类的预定规范的压缩方法的压缩处理，来生成经压缩图像数据(经压缩编码的图像数据)。

构成存储单元的非易失性存储器124存储经压缩编码的图像数据。图像切换单元125有选择地提取从图像压缩单元123输出的经压缩图像数据，或者从非易失性存储器124读出的静音图像数据。分组化单元126按照预定的格式对在图像切换单元125处提取的经压缩图像数据进行分组化。通信接口127将在分组化单元126处获得的分组数据经由网络200发送到另一通信终端设备100。

注意，术语“图像静音(image muting)”、“静音图像(muteimage)”等在本说明书中是指通过将其他内容呈现给另一方(空屏、另外的图像等)从而阻止另一方看到常规视频会议图片，而不是遵循英文术语“mute(静音)”的通常用途，该英文术语通常仅与声音相关而不与图像相关。但是，在视频会议领域和一些其他领域中，或多或少已接受了该术语，因此，在本说明书中所使用的术语“静音”及其变体并不限于声音，而是应当根据说明书的上下文解释该术语。

下面将描述图2中示出的通信终端设备100的图像数据发送系统的操作。对象被相机110的成像单元112成像，就是说，作为图像被采集。例如，在构成视频会议系统的双向通信系统10的情形中，对象是会议参加者。从成像单元112输出的成像信号(模拟信号)被提供给成像信号处理单元113。在成像信号处理单元113处，使该成像信号经受诸如采样保持、增益控制等之类的模拟信号处理，A/D转换处理，进一步经受诸如白平衡调节、伽马校正之类的数字信号处理，然后生成图像数据(成像图像数据)。

在相机110的成像信号处理单元113处生成的图像数据被提供给终端主单元120的图像压缩单元123。在图像压缩单元123处，使图像数据经受压缩处理，生成经压缩的图像数据。该经压缩的图像数据被提供给图像切换单元125。

利用图像切换单元125，在静音被解除的状态中，提取出来自图像压缩单元123的经压缩图像数据(成像图像数据)。另一方面，在静音状态中，在控制单元121的控制下从非易失性存储器124读出静音图像数据，提供给图像切换单元125，在图像切换单元125处提取出其静音图像数据。

设置静音解除状态(mute released state)或者静音状态(mute state)是由控制单元121控制的。就是说，在静音解除状态中，当用户按下操作遥控器170上的静音按钮，并且用于静音控制的遥控信号在遥控接收单元122处被接收到时，控制单元121判断出已执行了静音ON操作，从而从静音解除状态切换到静音状态。相反，在静音状态中，类似地，当在遥控接收单元122处接收到用于静音控制的遥控信号时，控制单元121判断出已执行了静音OFF操作，从而从静音状态切换到静音解除状态。在这种情形中，控制单元121构成了静音控制单元。

在图像切换单元125处提取出的经压缩图像数据被提供给分组化单元126。在分组化单元126处，按照预定格式对经压缩图像数据进行分组化。在分组化单元126处分组化并获得的图像数据通过通信接口127经由网络200被发送到另一通信终端设备100。

在这种情形中，在静音解除状态中，成像图像数据被发送到另一通信终端设备100，并且在另一通信终端设备100的显示器上显示该成像图像。另一方面，在静音状态中，静音图像数据被提供给另一通信终端设备100，并且在另一通信终端设备100的显示器上显示该静音图像。

图3示出了对应于图2的通信终端设备100的总体配置示例。在图3中，与图2中的组件相对应的组件用相同的标号标识，并且适当时省略了对它们的描述。该通信终端设备100包括相机110、终端主单元120、显示器130、麦克风140、扬声器150和外部输入端子160。

相机110包括控制单元111、成像单元112和成像信号处理单元113。控制单元111对相机110的每个单元的操作进行控制。成像单元112包括未示出的成像透镜和成像器件，其对对象进行成像(采集)，输出与该对象相对应的成像信号。成像信号处理单元113使从成像单元112输出的成像信号(模拟信号)经受采样保持、增益控制、从模拟信号到数字信号的转换、白平衡调节、伽马校正等，并且输出图像数据(成像图像数据)。

终端主单元120包括控制单元121、遥控接收单元122、非易失性存储器124、图像切换单元125、通信接口127、图像压缩/解压单元181、分组化/解分组(depacketizing)单元182、显示处理单元183、音频静音单元191、A/D转换器192、回声消除器193、音频压缩/解压单元194和D/A转换器195。

控制单元121对终端主单元120的每个单元的操作进行控制。遥控接收单元122接收从遥控器170生成的对应于用户的操作的遥控信号，例如红外光等。遥控接收单元122将与接收到的遥控信号相对应的操作信号提供给控制单元121。

图像压缩/解压单元181使从相机110输出的图像数据或者从计算机或诸如DVD(数字通用盘)播放机之类的图像播放设备输入到外部输入端子160的图像数据经受利用根据诸如由ITU标准化的H.323之类的预定规范的压缩方法的压缩处理，来生成经压缩图像数据(经压缩编码的图像数据)。

在这种情形中，在静音解除状态中，在将成像图像数据发送到另一通信终端设备100时，图像压缩/解压单元181使从相机110输出的图像数据经受压缩处理，来生成经压缩编码的图像数据。另外，在静音状态中，在将输入到外部输入端子160的图像数据作为静音图像数据发送到另一通信终端设备100时，图像压缩/解压单元181使输入到外部输入端子160的图像数据经受压缩处理，来生成经压缩编码的图像数据。

另外，在注册静音图像时，图像压缩/解压单元181使从相机110输出的图像数据或者输入到外部输入端子160的图像数据经受压缩处理，来生成经压缩图像数据。在这里，注册静音图像是通过用户操作遥控器170执行的。

另外，图像压缩/解压单元181使(利用分组化/解分组单元182重配置的)来自另一通信终端设备100的经压缩图像数据经受解压处理，来生成解码图像数据(接收图像数据)。

此外，图像压缩/解压单元181使从图像切换单元125输出的经压缩图像数据经受适当的解压处理，来生成解码图像数据(发送图像数据)。

非易失性存储器124构成存储单元，并且存储静音图像数据。在这里，一组或者多组静音图像数据预先被存储在非易失性存储器124中。另外，利用本实施例，从相机110输出的图像数据或者输入到外部输入端子160的图像数据被写入到非易失性存储器124中，从而可以注册预定数目的静音数据。稍后将对控制单元121在注册静音数据时的控制处理进行描述。

图像切换单元125有选择地提取从图像压缩/解压单元181输出的经压缩图像数据或者从非易失性存储器124读出的经压缩编码的静音图像数据，并将其输出到分组化/解分组单元182。

在这种情形中，在静音解除状态中，在将成像图像数据发送到另一通信终端设备100时，图像切换单元125提取在图像压缩/解压单元181处生成的经压缩图像数据。另外，在静音状态中，在将非易失性存储器124中存储的静音图像数据发送到另一通信终端设备100时，图像切换单元125提取从非易失性存储器124读出的静音图像数据。

如上所述，多组静音图像数据可以被存储在非易失性存储器124中。对于本实施例，在多组静音图像数据被存储在非易失性存储器124中的情形中，可以设置将使用的静音图像数据。稍后将对控制单元121在设置静音图像时的控制处理进行描述。

另外，在静音状态中，在将输入到外部输入端子160的图像数据作为静音图像数据输入到另一通信终端设备100时，图像切换单元125提取在图像压缩/解压单元181处生成的经压缩图像数据。

分组化/解分组单元182按照预定格式，将在图像切换单元125处提取的经压缩图像数据和在音频压缩/解压单元194处获得的经压缩音频数据分组化，并且将所获得的分组数据输出到通信接口127。另外，分组化/解分组单元182从在通信接口127处接收到的发送自另一通信终端设备100的分组数据提取经压缩图像数据和经压缩音频数据，将所提取出的经压缩图像数据发送到图像压缩/解压单元181，并且将所提取出的经压缩音频数据发送到音频压缩/解压单元194。

通信接口127将在分组化/解分组单元182处获得的分组数据经由网络200发送到另一通信终端设备100。另外，通信接口127接收经由网络200从另一通信终端设备100发送来的分组数据，并且将其发送到分组化/解分组单元182。

从相机110输出的图像数据(成像图像数据)、输入到外部输入端子160的图像数据、以及在图像压缩/解压单元181处获得的两组经解码图像数据(接收图像数据和发送图像数据)被提供给显示处理单元183。显示处理单元183将这种图像数据按原样或者在处理后提供给显示器130。

例如，在在与另一通信终端设备100通信时执行全屏显示的情形中，显示处理单元183将在图像压缩/解压单元181处获得的接收图像数据按原样提供给显示器130。在这种情形中，在显示器130上全屏显示根据从另一通信终端设备100接收到的图像数据的图像。

另外，例如，在在与另一通信终端设备100通信时执行双屏显示的情形中，基于在图像压缩/解压单元181处获得的接收图像数据和发送图像数据，显示处理单元183生成用于在同一屏幕上排列并且显示根据该两组图像数据的图像的新图像数据，并且将该新图像数据提供给显示器130。在这种情形中，根据从另一通信终端设备100接收的图像数据的图像以及根据发送向另一通信终端设备100的图像数据的图像被排列并显示在显示器130上。

另外，例如，在注册静音图像时，显示处理单元183将从相机110输出的图像数据(成像图像数据)或者输入到外部输入端子160的图像数据按原样提供给显示器130。在这种情形中，在显示器130上显示根据被写入到非易失性存储器124中的图像数据的图像。

另外，例如，在设置静音图像时，显示处理单元183将在图像压缩/解压单元181处获得的发送图像数据按原样提供给显示器130。在这种情形中，在显示器130上显示根据从非易失性存储器124读出的静音图像数据的图像。

音频静音单元191被布置在麦克风140和A/D转换器192之间。在静音解除状态中，音频静音单元191不使从麦克风140向A/D转换器192提供的音频信号的水平衰减。另一方面，在静音状态中，音频静音单元191使从麦克风140向A/D转换器192提供的音频信号的水平衰减。

A/D转换器192将从麦克风140提供的音频信号(模拟信号)转换成数字信号。回声消除器193基于在音频压缩/解压单元194处获得的经解码音频数据生成校正信号，并且利用该校正信号对在A/D转换器192处获得的音频数据进行校正，以保证语音质量。

音频压缩/解压单元194使在A/D转换器192至回声消除器193处校正的音频数据(发送音频数据)以与上述图像数据相同的方式经受根据预定规范(例如H.323)的压缩方法的压缩处理，来生成经压缩音频数据。另外，音频压缩/解压单元194使(在分组化/解分组单元182处重配置的)来自另一通信终端设备100的经压缩音频数据经受解压处理，来生成经解码音频数据(接收音频数据)。

下面将描述图3所示的通信终端设备100在通信时的操作。首先，将描述发送系统的操作。

相机110的成像单元112对对象成像。例如，在构成视频会议系统的双向通信系统10(参见图1)的情形中，对象就是会议参与者。从成像单元112输出的成像信号(模拟信号)被提供给成像信号处理单元113。在成像信号处理单元113处，该成像信号经受诸如采样保持、增益控制之类的模拟信号处理，A/D转换处理，进一步经受诸如白平衡调节、伽马校正之类的数字信号处理，并且图像数据(成像图像数据)被生成。

在相机110的成像信号处理单元113处生成的图像数据被提供给终端主单元120的图像压缩/解压单元181。另外，来自计算机、图像播放设备等的被输入到外部输入端子160的图像数据也被提供给图像压缩/解压单元181。

下面通过将图像压缩/解压单元181及其后的图像发送系统的操作划分成静音解除状态和静音状态来对该操作进行描述。

首先，将针对处于静音解除状态的情形进行描述。在图像压缩/解压单元181处，来自相机110的图像数据(成像图像数据)经受压缩处理，从而生成经压缩图像数据。随后，经由图像切换单元125该经压缩图像数据被提供给分组化/解分组单元182。

接下来，将针对处于静音状态中的情形进行描述，输入到外部输入端子160的图像数据被用作静音图像数据。在图像压缩/解压单元181处，输入到外部输入端子160的图像数据经受压缩处理，从而生成经压缩图像数据。随后，经由图像切换单元125该经压缩图像数据被提供给分组化/解分组单元182。

另外，将针对处于静音状态的情形进行描述，其中采用非易失性存储器124中存储的静音图像数据。在该情形中，在图像压缩/解压单元181处，不执行压缩处理。预先设置为将使用的静音图像数据的预定静音图像数据通过控制单元121的控制从非易失性存储器124被读出。随后，该静音图像数据经由图像切换单元125被提供给分组化/解分组单元182。

注意，在静音状态中，使用输入到外部输入端子160的图像数据还是使用非易失性存储器124中存储的静音图像数据可由用户适当地操作遥控器170而改变。

另外，自麦克风140输出的音频信号经由音频静音单元191被提供给A/D转换器192，并且被从模拟信号转换成数字信号。音频静音单元191被布置在麦克风140和A/D转换器192之间。在音频静音单元191处，在静音解除状态中不使从麦克风140向A/D转换器192提供的音频信号的水平衰减，但是在静音状态中使其衰减。

在A/D转换器192处获得的音频数据经由回声消除器193被提供给音频压缩/解压单元194。在音频压缩/解压单元194处，音频数据(发送音频数据)经受压缩处理，从而生成经压缩音频数据。随后，该经压缩音频数据被提供给分组化/解分组单元182。

在分组化/解分组单元182处，从图像切换单元125提供来的经压缩图像数据和从音频压缩/解压单元194提供来的经压缩音频数据按照预定格式被分组化，然后所获得的分组数据通过通信接口127经由网络200被发送到另一通信终端设备100。

因此，在静音解除状态中，从相机110输出的图像数据(成像图像数据)被提供给另一通信终端设备100，并且显示根据该图像数据的图像。另外，在静音解除状态中，来自麦克风140的音频信号在水平未被衰减的情况下被提供给另一通信终端设备100，并且根据该音频信号的音频被输出。

另一方面，在静音状态中，输入到外部输入端子160的图像数据或者从非易失性存储器124读出的静音图像数据被提供给另一通信终端设备100，并且根据该图像数据的静音图像被显示。另外，在静音状态中，来自麦克风140的音频信号在水平被衰减的情况下被提供给另一通信终端设备100，从而该音频被静音。

在这里，由控制单元121控制是设置静音解除状态还是静音状态。就是说，在静音解除状态中，当用户操作按下遥控器170上的静音按钮，并且用于静音控制的遥控信号在遥控接收单元122处被接收到时，控制单元121判断出已执行了静音ON操作，从静音解除状态切换到静音状态。相反，在静音状态中，类似地，当在遥控接收单元122处接收到用于静音控制的遥控信号时，控制单元121判断出已执行了静音OFF操作，从静音状态切换到静音解除状态。

图4中的流程图示出了控制单元121处的静音控制处理。在步骤ST1中，控制单元121开始处理，随后，前进到步骤ST2。现在，假设初始状态是静音解除状态。在步骤ST2中，控制单元121判断是否已执行了静音ON操作。

当判断出已执行了静音ON操作时，在步骤ST3中，控制单元121使音频静音。就是说，控制单元121对音频静音单元191进行控制，来衰减从麦克风140向A/D转换器192提供的音频信号的水平。

随后，在步骤ST4中，控制单元121从成像图像切换到静音图像。就是说，在采用输入到外部输入端子160的图像数据作为静音图像数据时，控制单元121对图像压缩/解压单元181进行控制以使输入到外部输入端子160的图像数据经受压缩处理，并且对图像切换单元125进行控制以提取在图像压缩/解压单元181处获得的经压缩图像数据。另外，在采用非易失性存储器124中存储的静音图像数据时，控制单元121对非易失性存储器124进行控制以读出静音图像数据，并且对图像切换单元125进行控制以提取从非易失性存储器124读出的静音图像数据。

接下来，在步骤ST5中，控制单元121判断是否已执行了静音OFF操作。在已执行了静音OFF操作时，在步骤ST6中，控制单元121解除音频静音。就是说，控制单元121对音频静音单元191进行控制，以使得不对从麦克风140向A/D转换器192提供的音频信号的水平进行衰减。

随后，在步骤ST7中，控制单元121从静音图像切换到成像图像。就是说，控制单元121对图像压缩/解压单元181进行控制以使从相机110输出的图像数据经受压缩处理，并且对图像切换单元125进行控制以提取在图像压缩/解压单元181处获得的经压缩图像数据。

控制单元121在步骤ST7的处理之后返回到步骤ST2。因此，每次用户操作按下遥控器170上的静音按钮，并且用于静音控制的遥控信号在遥控接收单元122处被接收到时，通过控制单元121的控制，通信终端设备100被交替地设置成静音解除状态或静音状态。

接下来，将描述接收系统的操作。在通信接口127处接收到的经由网络200从另一通信终端设备100发送来的分组数据被提供给分组化/解分组单元182。在分组化/解分组单元182处，从提供自通信接口127的分组数据提取出经压缩图像数据和经压缩音频数据，并且经压缩图像数据被提供给图像压缩/解压单元181，经压缩音频数据被提供给音频压缩/解压单元194。

在图像压缩/解压单元181处，从分组化/解分组单元182提供来的经压缩图像数据经受解压处理，从而生成经解码图像数据(接收图像数据)。该图像数据被提供给显示处理单元183。随后，在正在显示器130上执行全屏显示的情形中，在图像压缩/解压单元181处获得的接收图像数据被从显示处理单元183按原样提供到显示器130，在显示器130上全屏显示根据来自另一通信终端设备100的接收图像数据的图像。

另外，在正在显示器130上执行双屏显示的情形中，在图像压缩/解压单元181处，从图像切换单元125输出的经压缩图像数据经受解压处理，从而生成经解码图像数据(发送图像数据)。在这种情形中，在显示处理单元183处，基于在图像压缩/解压单元181处获得的接收图像数据和发送图像数据，生成用于在同一屏幕上排列和显示根据这两组图像数据的图像的新图像数据。随后，将该新图像数据从显示处理单元183提供到显示器130，从而在显示器130上排列并显示根据来自另一通信终端设备100的接收图像数据的图像和根据向另一通信终端设备100发送的图像数据的图像。

在图5中，(a)和(b)示出了在例如按照图3所示配置的终端设备A和终端设备B之间正执行通信的情形中每个终端设备的显示器130的显示示例。图5中的(a)是全屏显示的示例，其示出了终端设备A和终端设备B都处于静音解除状态中的情形。在该情形中，在终端设备A和终端设备B二者处，在显示器130上相互显示对方一侧的成像图像。

另外，图5中的(b)是全屏显示的示例，示出了终端设备B处于静音解除状态中，但是通过用户操作遥控器170使得终端设备A处于静音状态中的情形。在该情形中，终端设备B的成像图像被显示在终端设备A的显示器130上，但是静音图像被显示在终端设备B的显示器130上。

另外，图6中的(a)和(b)也示出了在例如按照图3所示配置的终端设备A和终端设备B之间正执行通信的情形中每个终端设备的显示器130的显示示例。在图6中，(a)是双屏显示的示例，示出了终端设备A和终端设备B二者都处于静音解除状态中的情形。在该情形中，在终端设备A和终端设备B二者处，在显示器130上显示对方一侧的成像图像(大图像)和自己的成像图像(小图像)。

另外，在图6中，(b)是全屏显示的示例，示出了终端设备B处于静音解除状态中而通过用户操作遥控器170使终端设备A处于静音状态中的情形。在这种情形中，在终端设备A的显示器130上显示终端设备B的成像图像(大图像)和静音图像(小图像)，并且在终端设备B的显示器130上显示静音图像(大图像)和自己的成像图像(小图像)。

另外，在音频压缩/解压单元194处，从分组化/解分组单元182提供来的经压缩音频数据经受解压处理，从而生成经解码音频数据(接收音频数据)。该接收音频数据经由回声消除器193被提供给D/A转换器195，其中数字信号被转换成模拟信号。随后，从D/A转换器195输出的接收音频信号被提供给扬声器150。从而，从扬声器150输出根据接收音频信号的音频。

接下来，将描述图3中示出的通信终端设备100在注册静音图像时的操作。如上所述，从相机110输出的图像数据或者输入到外部输入端子160的图像数据被写入到非易失性存储器124，从而可以新注册预定数目的静音图像数据。

图7中的流程图示出了注册静音图像时控制单元121处的控制处理。在该情形中，控制单元121构成静音图像注册单元。

首先，在步骤ST11中，控制单元121基于用户的静音图像注册开始操作开始处理，随后，前进到步骤ST12。随后，在步骤ST12中，在用户选择了外部输入图像或成像图像作为将要注册为静音图像的图像后，控制单元121前进到步骤ST13。在步骤ST13中，控制单元121在显示器130上显示所选图像。

在该情形中，当在步骤ST12中选择了外部输入图像时，执行控制以使得将输入到外部输入端子160的图像数据从显示处理单元183提供到显示器130，在显示器130上显示该外部输入图像。另外，当在步骤ST12中选择了成像图像时，执行控制以使得将自相机110输出的图像数据(成像图像数据)从显示处理单元183提供到显示器130，在显示器130上显示该成像图像。因此，外部输入图像或成像图像被显示在显示器130上，从而用户可以预先确认外部输入图像或成像图像将被注册为静音图像。

接下来，在步骤ST14中，控制单元121判断用户是否已执行了判决操作。在尚未执行判决操作的情形中，在步骤ST15中，控制单元121判断用户是否已执行了取消操作。在尚未执行取消操作的情形中，控制单元121返回到步骤ST14。

当在步骤ST14中判断出已执行了判决操作，则流程前进到步骤ST16，在该步骤中，控制单元121将一帧的图像数据写入非易失性存储器124作为静音图像数据。在该情形中，当在步骤ST12中选择了外部输入图像时，在图像压缩/解压单元181处，输入到外部输入端子160的图像数据经受压缩处理，并且所获得的经压缩图像数据被写入到非易失性存储器124中。另外，当在步骤ST12中选择了成像图像时，在图像压缩/解压单元181处，从相机110输出的图像数据(成像图像数据)经受压缩处理，并且所获得的经压缩图像数据被写入到非易失性存储器124中。

在步骤ST16中的处理之后，在步骤ST17中，控制单元121结束处理。注意，当在步骤ST15中判断出已执行了取消处理时，控制单元121立即前进到步骤ST17，结束处理。

接下来，将描述图3示出的通信终端设备100在设置静音图像时的操作。如上所述，多组静音图像数据可以被存储在非易失性存储器124中，从而可以设置应当使用的静音图像数据。

图8中的流程图示出了设置静音图像时控制单元121处的控制处理。在该情形中，控制单元121构成静音图像设置单元。

首先，在步骤ST21中，控制单元121基于用户的静音图像设置开始操作开始处理，随后，在步骤ST22中，设置N＝1。随后，在步骤ST23中，控制单元121从非易失性存储器124中读出第N个静音图像数据，并且在显示器130上显示该静音图像数据。在该情形中，控制单元121执行控制以使得从非易失性存储器124中读出的第N个静音图像数据被提供到图像压缩/解压单元181，其中该图像数据经受解压处理，所获得的图像数据被从显示处理单元183提供给显示器130。因此，在显示器130上显示根据第N个静音图像数据的静音图像。从而，用户可以预先确认根据第N个静音图像数据的图像。

接下来，在步骤ST24中，控制单元121判断用户是否已执行了判决操作。在尚未执行判决操作的情形中，在步骤ST25中，控制单元121判断用户是否已执行了下一个指定操作。在尚未执行下一个指定操作的情形中，控制单元121返回到步骤ST24。

当在步骤ST25中判断出已执行了下一个指定操作时，在步骤ST26中，控制单元121将N的值递增1。随后，在步骤ST27中，控制单元121判断N是否大于Nmax。在这里，Nmax指示非易失性存储器124中存储的静音图像数据的数目。在N不大于Nmax时，控制单元121保持N的值不变，相反，在N大于Nmax时，在步骤ST28中，控制单元121设置N＝1，然后返回到步骤ST23。

当在步骤ST24中判断出已执行了判决操作时，在步骤ST29中，控制单元121将第N个静音图像设置为将使用的静音图像。在步骤ST29中的处理之后，在步骤ST30中，控制单元121结束处理。

注意，利用图3中示出的通信终端设备100，可以设置图像静音的有效或无效，即，是否使图像静音和音频静音之间的互锁(链接)有效或无效(使能或禁用)。当图像静音和音频静音之间的互锁有效时，如上所述，响应于用户的静音ON操作，音频静音和图像静音都进入ON状态。另一方面，当图像静音和音频静音之间的互锁无效时，音频静音响应于用户的静音ON操作进入ON状态，而图像静音仍处于OFF状态中。

图9中的流程图示出了设置图像静音和音频静音之间的互锁时控制单元121处的控制处理。在该情形中，控制单元121构成通信静音设置单元。

首先，在步骤ST41中，控制单元121基于用户的设置开始操作开始处理，随后，前进到步骤ST42。在步骤ST42中，控制单元121判断用户是否已执行了图像静音设置操作(图像静音和音频静音之间的互锁设置操作)。当判断出已执行了静音设置操作时，在步骤ST43中，控制单元121判断与音频静音的互锁是否有效。在与音频静音的互锁有效时，在步骤ST44中，控制单元121使与音频静音的互锁无效，随后，在步骤ST45中，结束处理。另一方面，在与音频静音的互锁无效时，在步骤ST46中，控制单元121使与音频静音的互锁有效，随后，在步骤ST45中，结束处理。

在图像静音有效的情形中，如上所述，在静音状态中，输入到外部输入端子160的图像数据或者从非易失性存储器124读出的静音图像数据被提供给另一通信终端设备100，根据该图像数据的静音图像被显示，并且来自麦克风140的音频信号在水平被衰减的情况下也被提供给另一通信终端设备100，从而音频被静音。

另一方面，在图像静音无效的情形中，即使在静音状态中，也不执行图像静音。就是说，在该情形中，从相机110输出的图像数据(成像图像数据)被提供给另一通信终端设备100，根据该图像数据的成像图像被显示。注意，在该情形中，来自麦克风140的音频信号在水平被衰减的情况下被提供给另一通信终端设备100，从而音频被静音。

如上所述，利用图2和图3所示通信终端设备100，用户可以在遥控器170上执行图像静音操作，不再存在到相机位置去操作快门的麻烦，并且即使在频繁开启/关闭图像静音的情形中，用户也可以容易地执行图像静音操作。

另外，利用图2和图3所示通信终端设备100，输入到外部输入端子160的图像数据或从相机110输出的图像数据作为静音图像数据被写入到非易失性存储器124中，从而可以额外地注册静音图像。因此，作为静音状态中将被发送到另一通信终端设备100的静音图像，可以采用各种类型的图像，例如，在计算机中创建的图像、在诸如DVD播放机之类的图像播放设备中播放的图像、成像图像等。

另外，利用图2和图3所示的通信终端设备100，可以基于用户的选择操作，从非易失性存储器124中存储的多种类型的静音图像数据选择将使用的静音图像数据。因此，用户通过从多种类型的静音图像数据选择将使用的静音图像数据，从而可以随意地采用图像数据。

另外，利用图2和图3所示的通信终端设备100，给出了一种布置，其中终端主单元120被配置为包括用于有选择地提取成像图像数据或静音图像数据的图像切换单元125，并且终端主单元120的控制单元121依据静音解除状态或静音状态对其图像切换单元125进行控制。就是说，控制单元121对同一终端主单元120中包括的图像切换单元125的切换操作进行控制，这简化了根据图像切换的控制系统的配置。

另外，利用图2和图3所示的通信终端设备100，经压缩图像数据(经压缩编码的图像数据)作为静音图像数据被存储在非易失性存储器124中。因此，在静音状态中，在通过从非易失性存储器124读出静音图像数据来应用静音图像数据的情形中，可以停止图像压缩/解压单元181处的压缩处理(压缩编码操作)，从而可以减轻终端主单元120处的处理负担，也可以节省功率。

另外，利用图2和图3所示的通信终端设备100，用户在遥控器170上执行静音操作，从而可以同时使图像和音频静音，从而可以减少与用户的操作相关的时间和精力。

另外，利用图2和图3所示的通信终端设备100，可以设置图像静音的有效或无效。因此，用户可以任意地设置是否可以在音频静音的同时执行图像静音。

接下来，将描述通信终端设备100的图像数据发送系统的另一个配置示例。图10示出了通信终端设备100的图像数据发送系统的另一个配置示例。就是说，在图10中，也以与图2相同的方式，在图中省略了图像数据接收系统、音频数据发送系统和接收系统。该通信终端设备100包括相机110A和终端主单元120A。在图10中，与图2中的组件相对应的组件由相同的标号标识，并且适当地省略了对它们的描述。

相机110A包括控制单元111、成像单元112、成像信号处理单元113、非易失性存储器114和图像切换单元115。控制单元111对相机110A的每个单元的操作进行控制。控制单元111由CPU配置而成。成像单元112包括未示出的成像透镜和成像器件，对对象进行成像来输出与该对象相对应的成像信号。成像信号处理单元113使从成像单元112输出的成像信号(模拟信号)经受采样保持、增益控制、从模拟信号到数字信号的转换、白平衡调节、伽马校正等，并且输出图像数据(成像图像数据)。

非易失性存储器114构成存储单元，并且存储静音图像数据。图像切换单元115有选择地提取从成像信号处理单元113输出的图像数据(成像图像数据)或者从非易失性存储器114读出的静音图像数据，并将其作为相机110A的输出。

终端主单元120A包括控制单元121、遥控接收单元122、图像压缩单元123、分组化单元126和通信接口127。控制单元121对终端主单元120A的每个单元的操作进行控制，并且还对相机110A的每个单元的操作进行控制。控制单元121由CPU配置而成。遥控接收单元122接收从遥控器170生成的对应于用户的操作的遥控信号，例如，红外光等。遥控接收单元122连接到控制单元121。遥控接收单元122将与接收到的遥控信号相对应的操作信号提供给控制单元121。

图像压缩单元123对从相机110A输出的图像数据进行压缩编码。图像压缩单元123使图像数据经受利用根据诸如由ITU标准化的H.323之类的预定规范的压缩方法的压缩处理，来生成经压缩图像数据(经压缩编码的图像数据)。分组化单元126按照预定的格式对在图像切换单元125处提取的经压缩图像数据进行分组化。通信接口127将在分组化单元126处获得的分组数据经由网络200发送到另一通信终端设备100。

下面将描述图10中示出的通信终端设备100的图像数据发送系统的操作。相机110A的成像单元112对对象进行成像。例如，在构成视频会议系统的双向通信系统10的情形中，对象是会议参加者。从成像单元112输出的成像信号(模拟信号)被提供给成像信号处理单元113。在成像信号处理单元113处，使该图像信号经受诸如采样保持、增益控制等之类的模拟信号处理，A/D转换处理，进一步经受诸如白平衡调节、伽马校正之类的数字信号处理，然后生成图像数据(成像图像数据)。该图像数据被提供给图像切换单元115。

利用图像切换单元125，在静音被解除的状态中，提取出来自成像信号处理单元113的成像图像数据。另一方面，在静音状态中，控制信息被从终端主单元120A的控制单元121提供给相机110A的控制单元111，静音图像数据在控制单元111的控制下被从非易失性存储器114读出，并且被提供给图像切换单元115，并且该静音图像数据在图像切换单元115处被提取出。在该情形中，控制单元111构成图像切换控制单元。

设置静音解除状态或者静音状态是由终端主单元120A的控制单元121控制的。就是说，在静音解除状态中，当用户操作按下遥控器170上的静音按钮，用于静音控制的遥控信号在遥控接收单元122处被接收到时，控制单元121判断出已执行了静音ON操作，从而从静音解除状态切换到静音状态。相反，在图像静音状态中，类似地，当在遥控接收单元122处接收到用于静音控制的遥控信号时，控制单元121判断出已执行了静音OFF操作，从而从静音状态切换到静音解除状态。在这种情形中，控制单元121构成了静音控制单元。

在相机110A的图像切换单元115处提取出的图像数据，即，从相机110A输出的图像数据被提供给终端主单元120A的图像压缩单元123。在图像压缩单元123处，图像数据经受压缩处理，从而生成经压缩图像数据。该经压缩图像数据被提供给分组化单元126。在分组化单元126处，按照预定格式对经压缩图像数据进行分组化。在分组化单元126处分组化并获得的分组数据通过通信接口127经由网络200被发送到另一通信终端设备100。

在这种情形中，在静音解除状态中，成像图像数据被发送到另一通信终端设备100，并且成像图像被显示在另一通信终端设备100的显示器上。另一方面，在静音状态中，静音图像数据被提供给另一通信终端设备100，并且静音图像被显示在另一通信终端设备100的显示器上。

图11示出了对应于图10的通信终端设备100的总体配置示例。在图11中，与图3和图10中的组件相对应的组件用相同的标号标识，并且省略了对它们的描述。该通信终端设备100包括相机110A、终端主单元120A、显示器130、麦克风140、扬声器150和外部输入端子160。

相机110A包括控制单元111、成像单元112、成像信号处理单元113、非易失性存储器114和图像切换单元115。控制单111对相机110A的每个单元的操作进行控制。成像单元112对对象进行成像，输出与该对象相对应的成像信号。成像信号处理单元113使从成像单元112输出的成像信号(模拟信号)经受采样保持、增益控制、从模拟信号到数字信号的转换、白平衡调节、伽马校正等，然后输出图像数据(成像图像数据)。

非易失性存储器114构成存储单元，并且存储静音图像数据。在这里，一组或者多组静音图像数据预先被存储在非易失性存储器114中。另外，从成像信号处理单元113输出的图像数据被写入到非易失性存储器114中，从而可以注册预定数目的静音图像数据。该静音图像的注册是基于来自遥控器170的用户操作，利用从终端主单元120A的控制单元121提供到相机110A的控制单元111的控制信息，在控制单元111的控制下执行的。

如上所述，多组静音图像数据可以被存储在非易失性存储器114中。在多组静音图像数据被存储在非易失性存储器114中的情形中，可以设置应当使用的静音图像数据。该静音图像的设置是基于来自遥控170的用户操作，利用从终端主单元120A的控制单元121提供到相机110A的控制单元111的控制信息，在控制单元111的控制下执行的。

图像切换单元115有选择地提取从成像信号处理单元113输出的图像数据(成像图像数据)或者从非易失性存储器114读出的静音图像数据，并将其作为相机110A的输出。在该情形中，在静音解除状态中，在将成像图像数据发送到另一通信终端设备100时，图像切换单元115提取出在成像信号处理单元113处获得的成像图像数据。另外，在静音状态中，在将存储在非易失性存储器114中的静音图像数据发送到另一通信终端设备100时，图像切换单元115提取出从非易失性存储器114读出的静音图像数据。

另外，在注册静音图像时，图像切换单元115提取出从成像信号处理单元113输出的图像数据。此外，在设置静音图像数据时，图像切换单元115提取出从非易失性存储器114读出的静音图像数据。

终端主单元120A包括控制单元121、遥控接收单元122、通信接口127、图像压缩/解压单元181、分组化/解分组单元182、显示处理单元183、音频静音单元191、A/D转换器192、回声消除器193、音频压缩/解压单元194和D/A转换器195。

控制单元121对终端主单元120A的每个单元的操作进行控制。遥控接收单元122接收从遥控器170生成的对应于用户的操作的遥控信号，例如，红外光等。遥控接收单元122将与接收到的遥控信号相对应的操作信号提供给控制单元121。

图像压缩/解压单元181使从相机110A输出的图像数据或者从计算机或诸如DVD(数字通用盘)播放机之类的图像播放设备输入到外部输入端子160的图像数据经受利用根据诸如由ITU标准化的H.323之类的预定规范的压缩方法的压缩处理，来生成经压缩图像数据(经压缩编码的图像数据)。

在该情形中，当在静音解除状态中将成像图像数据发送到另一通信终端设备100时，或者在静音状态中将从非易失性存储器114读出的静音图像数据发送到另一通信终端设备100时，图像压缩/解压单元181使从相机110A输出的图像数据经受压缩处理，来生成经压缩编码的图像数据。

另外，在静音状态中，在将输入到外部输入端子160的图像数据作为静音图像数据发送到另一通信终端设备100时，图像压缩/解压单元181使输入到外部输入端子160的图像经受压缩处理，来生成经压缩编码的图像数据。

另外，图像压缩/解压单元181使(利用分组化/解分组单元182重配置的)来自另一通信终端设备100的经压缩图像数据经受解压处理，来生成解码图像数据(接收图像数据)。

分组化/解分组单元182按照预定格式，将在图像压缩/解压单元181处生成的经压缩图像数据和在音频压缩/解压单元194处获得的经压缩音频数据分组化，并且将所获得的分组数据输出到通信接口127。另外，分组化/解分组单元182从在通信接口127处接收到的发送自另一通信终端设备100的分组数据提取经压缩图像数据和经压缩音频数据，将所提取出的经压缩图像数据发送到图像压缩/解压单元181，并且将所提取出的经压缩音频数据发送到音频压缩/解压单元194。

通信接口127将在分组化/解分组单元182处获得的分组数据经由网络200发送到另一通信终端设备100。另外，通信接口127接收经由网络200从另一通信终端设备100发送来的分组数据，并且将其发送到分组化/解分组单元182。

从相机110A输出的图像数据、输入到外部输入端子160的图像数据以及在图像压缩/解压单元181处获得的经解码图像数据(接收图像数据)被提供给显示处理单元183。显示处理单元183将这种图像数据按原样或者在处理后提供给显示器130。

例如，在在与另一通信终端设备100通信时执行全屏显示的情形中，显示处理单元183将在图像压缩/解压单元181处获得的接收图像数据按原样提供给显示器130。在这种情形中，在显示器130上全屏显示根据从通信终端设备100接收到的图像数据的图像。

另外，例如，在在与另一通信终端设备100通信时执行双屏显示的情形中，基于在图像压缩/解压单元181处获得的接收图像数据以及从相机110A输出的图像数据或者输入到外部输入端子160的图像数据，显示处理单元183生成用于在同一屏幕上排列并且显示根据该两组图像数据的图像的新图像数据，并且将该新图像数据提供给显示器130。在这种情形中，根据从另一通信终端设备100接收的图像数据的图像以及根据发送向另一通信终端设备100的图像数据的图像被排列并显示在显示器130上。

另外，例如，在注册静音图像时，显示处理单元183将从相机110A输出的图像数据按原样提供给显示器130。在这种情形中，在显示器130上显示根据被写入到非易失性存储器114中的图像数据的图像。另外，例如，在设置静音图像时，显示处理单元183将从相机110A输出的图像数据按原样提供到显示器130。在这种情形中，在显示器130上显示根据从非易失性存储器114读出的图像数据(静音图像数据候选)的图像。

音频静音单元191被布置在麦克风140和A/D转换器192之间。在静音解除状态中，音频静音单元191不使从麦克风140向A/D转换器192提供的音频信号的水平衰减。另一方面，在静音状态中，音频静音单元191使从麦克风140向A/D转换器192提供的音频信号的水平衰减。

A/D转换器192将从麦克风140提供的音频信号(模拟信号)转换成数字信号。回声消除器193基于在音频压缩/解压单元194处获得的经解码音频数据生成校正信号，并且利用该校正信号对在A/D转换器192处获得的音频数据进行校正，以保证语音质量。

音频压缩/解压单元194使在A/D转换器192至回声消除器193处校正的音频数据(发送音频数据)以与上述图像数据相同的方式经受根据预定规范(例如H.323)的压缩方法的压缩处理，来生成经压缩音频数据。另外，音频压缩/解压单元194使(在分组化/解分组单元182处重配置的)来自另一通信终端设备100的经压缩音频数据经受解压处理，来生成经解码音频数据(接收音频数据)。

下面将描述图11所示的通信终端设备100在通信时的操作。首先，将描述发送系统的操作。

相机110A的成像单元112对对象成像。例如，在构成视频会议系统的双向通信系统10(参见图1)的情形中，对象就是会议参与者。从成像单元112输出的成像信号(模拟信号)被提供给成像信号处理单元113。在成像信号处理单元113处，该成像信号经受诸如采样保持、增益控制之类的模拟信号处理，A/D转换处理，进一步经受诸如白平衡调节、伽马校正之类的数字信号处理，然后图像数据(成像图像数据)被生成。

从成像信号处理单元113输出的图像数据被提供给图像切换单元115。下面通过将图像切换单元115及其后的图像发送系统的操作划分成静音解除状态和静音状态来对该操作进行描述。

首先，将针对处于静音解除状态的情形进行描述。在相机110A的图像切换单元115处，提取出来自成像信号处理单元113的成像图像数据。在图像切换单元115处提取出的成像图像数据作为相机110A的输出图像数据被提供给终端主单元120A的图像压缩/解压单元181。在图像压缩/解压单元181处，该成像图像数据经受压缩处理，从而生成经压缩图像数据。随后，该经压缩图像数据被提供给分组化/解分组单元182。

接下来，将针对处于静音状态中的情形进行描述，输入到外部输入端子160的图像数据被用作静音图像数据。在图像压缩/解压单元181处，输入到外部输入端子160的图像数据经受压缩处理，从而生成经压缩图像数据。随后，该经压缩图像数据被提供给分组化/解分组单元182。

另外，将针对处于静音状态的情形进行描述，其中采用非易失性存储器114中存储的静音图像数据。在该情形中，通过控制单元111的控制从非易失性存储器114读出预先被设为将使用的静音图像数据的预定静音图像数据。随后，在控制单元111的控制下，在图像切换单元115处，提取出从非易失性存储器114读出的静音图像数据。在图像切换单元115处提取出的静音图像数据作为相机110A的输出图像数据被提供给终端主单元120A的图像压缩/解压单元181。在图像压缩/解压单元181处，该静音图像数据经受压缩处理，从而生成经压缩图像数据。随后，该经压缩图像数据被提供给分组化/解分组单元182。

注意，在静音状态中，使用输入到外部输入端子160的图像数据还是使用非易失性存储器114中存储的静音图像数据可由用户适当地操作遥控器170而改变。

另外，自麦克风140输出的音频信号经由音频静音单元191被提供给A/D转换器192，并且被从模拟信号转换成数字信号。音频静音单元191被布置在麦克风140和A/D转换器192之间。在音频静音单元191处，在静音解除状态中不使从麦克风140向A/D转换器192提供的音频信号的水平衰减，但是在静音状态中使其衰减。

在A/D转换器192处获得的音频数据经由回声消除器193被提供给音频压缩/解压单元194。在音频压缩/解压单元194处，音频数据(发送音频数据)经受压缩处理，从而生成经压缩音频数据。随后，该经压缩音频数据被提供给分组化/解分组单元182。

在分组化/解分组单元182处，从图像压缩/解压单元181提供来的经压缩图像数据和从音频压缩/解压单元194提供来的经压缩音频数据按照预定格式被分组化，然后所获得的分组数据通过通信接口127经由网络200被发送到另一通信终端设备100。

因此，在静音解除状态中，在相机110A的成像信号处理单元113处获得的成像图像数据被提供给另一通信终端设备100，并且根据该图像数据的图像被显示。另外，在静音解除状态中，来自麦克风140的音频信号在水平未被衰减的情况下被提供给另一通信终端设备100，并且根据该音频信号的音频被输出。

另一方面，在静音状态中，输入到外部输入端子160的图像数据或者从非易失性存储器114读出的静音图像数据被提供给另一通信终端设备100，并且根据该图像数据的静音图像被显示。另外，在静音状态中，来自麦克风140的音频信号在水平被衰减的情况下被提供给另一通信终端设备100，从而该音频被静音。

在这里，由控制单元121控制是设置静音解除状态还是静音状态。就是说，在静音解除状态中，当用户按下遥控器170上的静音按钮，并且用于静音控制的遥控信号在遥控接收单元122处被接收到时，控制单元121判断出已执行了静音ON操作，从静音解除状态切换到静音状态。相反，在静音状态中，类似地，当在遥控接收单元122处接收到用于静音控制的遥控信号时，控制单元121判断出已执行了静音OFF操作，从静音状态切换到静音解除状态。指示当前状态是静音解除状态还是静音状态的信息作为控制信息从控制单元121被提供给相机110A的控制单元111。控制单元111基于该控制信息，依据静音解除状态和静音状态中的每种状态，对在图像切换单元115处的切换以及从非易失性存储器114读出静音图像数据进行控制。

接下来，将描述接收系统的操作。在通信接口127处接收到的经由网络200从另一通信终端设备100发送来的分组数据被提供给分组化/解分组单元182。在分组化/解分组单元182处，从提供自通信接口127的分组数据提取出经压缩图像数据和经压缩音频数据，并且经压缩图像数据被提供给图像压缩/解压单元181，经压缩音频数据被提供给音频压缩/解压单元194。

在图像压缩/解压单元181处，从分组化/解分组单元182提供来的经压缩图像数据经受解压处理，从而生成经解码图像数据(接收图像数据)。该图像数据被提供给显示处理单元183。随后，在正在显示器130上执行全屏显示的情形中，在图像压缩/解压单元181处获得的接收图像数据被从显示处理单元183按原样提供到显示器130，在显示器130上全屏显示根据来自另一通信终端设备100的接收图像数据的图像。

另外，在正在显示器130上执行双屏显示的情形中，利用显示处理单元183，基于在图像压缩/解压单元181处获得的接收图像数据以及从相机110A输出的图像数据或者输入到外部输入端子160的图像数据，生成用于在同一屏幕上排列和显示根据这两组图像数据的图像的新图像数据。随后，将该新图像数据从显示处理单元183提供到显示器130，从而在显示器130上排列并显示根据来自另一通信终端设备100的接收图像数据的图像和根据向另一通信终端设备100发送的图像数据的图像。

在这里注意，发送图像数据在静音解除状态时是成像图像数据，在静音状态中采用输入到外部输入端子160的图像数据时是相关的图像数据，在静音状态中采用从非易失性存储器114读出的静音图像数据时是相关的静音图像数据。

另外，在音频压缩/解压单元194处，从分组化/解分组单元182提供来的经压缩音频数据经受解压处理，从而生成经解码音频数据(接收音频数据)。该接收音频数据经由回声消除器193被提供给D/A转换器195，其中数字信号被转换成模拟信号。随后，从D/A转换器195输出的接收音频信号被提供给扬声器150。从而，从扬声器150输出根据接收音频信号的音频。

接下来，将描述图11中示出的通信终端设备100在注册静音图像时的操作。如上所述，在成像信号处理单元113处获得的成像图像数据被写入到非易失性存储器114，从而可以新注册预定数目的静音图像数据。

在用户在遥控器170上执行静音图像注册开始操作时，其操作信息被发送到终端主单元120A的控制单元121，进一步从控制单元121被发送到相机110A的控制单元111，从而注册处理开始。在该情形中，在图像切换单元115处提取出来自成像信号处理单元113的成像图像数据，将该成像图像数据从显示处理单元183提供给显示器130，在显示器130上显示该成像数据。因此，成像数据被显示在显示器130，从而用户可以预先确认将作为静音图像注册的成像图像。

在该状态中，在用户在遥控器170上执行判决操作时，其操作信息被发送到终端主单元120A的控制单元121，进一步从控制单元121被发送到相机110A的控制单元111，在控制单元的控制下，在成像信号处理单元113处获得的一帧图像数据被写入到非易失性存储器114中，从而执行了新静音图像数据的注册。

接下来，将描述图11中示出的通信终端设备100在设置静音图像时的操作。如上所述，在多组静音图像数据被存储在非易失性存储器114中的情形中，可以设置应当使用的静音图像数据。

在用户在遥控器170上执行静音图像设置开始操作时，其操作信息被发送到终端主单元120A的控制单元121，进一步从控制单元121被发送到相机110A的控制单元111，从而开始设置处理。

在该情形中，从非易失性存储器114中读出第一静音图像数据，从非易失性存储器114中读出的静音图像数据在图像切换单元115处被提取出，该静音图像数据被从显示处理单元183提供给显示器130，从而该第一静音图像被显示在显示器130上。

在该状态中，在用户在遥控器170执行下一指定操作时，其操作信息被发送到终端主单元120A的控制单元121，进一步从控制单元121被发送到相机110A的控制单元111，第二静音图像数据被从非易失性存储器114中读出，并且第二静音图像被显示在显示器130上。此后，类似地，每次用户执行下一指定操作时，从非易失性存储器114中读出下一个静音图像数据，从而在显示器130上显示根据该静音图像数据的图像。

在从非易失性存储器114中读出了预定的静音图像数据，并且在显示器130上显示了根据该静音图像数据的静音图像的状态中，在用户在遥控器170上执行下一指定操作时，其操作信息被发送到终端主单元120A的控制单元121，进一步从控制单元121被发送到相机110A的控制单元111，相关的预定静音图像数据被设置为将使用的静音图像数据。

注意，利用图11中示出的通信终端设备100，以与图3中示出的通信终端设备100相同的方式，如果用户执行了静音ON操作，则可以使用于将要发送到另一通信终端设备100的图像从成像图像切换成静音图像的图像静音有效或无效。

如上所述，利用图10和11中示出的通信终端设备100，以与图2和图3中示出的上述通信终端设备100相同的方式，提供了这样的优点：用户可以在遥控器170上执行图像静音操作，不再存在到相机位置去操作快门的麻烦，并且即使在频繁开启/关闭图像静音的情形中，用户也可以容易地执行图像静音操作。

另外，利用图10和图11所示通信终端设备100，给出了一种布置，其中相机110A包括非易失性存储器114和图像切换单元115，在静音状态中采用非易失性存储器114中存储的静音图像数据的情形中，在相机110A的控制单元111的控制下，从非易失性存储器114读出静音图像数据，并且在图像切换单元115处提取出该静音图像数据。因此，终端主单元120A的控制单元(静音控制单元)121不仅可以将关于当前状态是静音解除状态还是静音状态的控制信息提供给相机110A的控制单元(切换控制单元)111，而且还可以减少构成控制单元(静音控制单元)121的CPU的处理负担。

本领域技术人员应当理解，取决于设计需求和其他因素，可以作出各种修改、组合、子组合和替换，只要它们落在所附权利要求书或其等同物的范围内。

本发明包含2007年3月13日递交到日本特许厅的日本专利申请JP2007-063303所涉及的主题，该申请的整体内容通过引用被结合于此。

Claims (11)

1.一种双向通信系统，其中多个通信终端设备经由网络相互连接，所述通信终端设备包括：

相机；

输出音频数据的麦克风；以及

终端主单元；

其中，所述相机包括

成像单元，该成像单元被配置来对对象成像以输出图像数据；

并且其中所述终端主单元包括

遥控信号接收单元，该遥控信号接收单元被配置来接收遥控信号，

通信单元，该通信单元被配置来将图像数据和音频数据发送到另一个通信终端设备，

音频静音单元，该音频静音单元被配置来使从所述通信单元发送的音频数据静音，以及

静音控制单元，该静音控制单元被配置为：基于用户执行的图像静音和音频静音之间的互锁设置操作来使图像静音和音频静音之间的互锁有效或无效，在使图像静音和音频静音之间的互锁有效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送静音图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音，而在使图像静音和音频静音之间的互锁无效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送从所述成像单元输出的图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音。

2.一种要经由网络连接到另一个通信终端设备的通信终端设备，包括：

遥控信号接收单元，该遥控信号接收单元被配置来接收遥控信号；

通信单元，该通信单元被配置来将图像数据和音频数据发送到所述另一个通信终端设备；

音频静音单元，该音频静音单元被配置来使从所述通信单元发送的音频数据静音；以及

静音控制单元，该静音控制单元被配置为：基于用户执行的图像静音和音频静音之间的互锁设置操作来使图像静音和音频静音之间的互锁有效或无效，在使图像静音和音频静音之间的互锁有效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送静音图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音，而在使图像静音和音频静音之间的互锁无效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送成像图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音。

3.一种要经由网络连接到另一个通信终端设备的通信终端设备，包括：

相机；

输出音频数据的麦克风；以及

终端主单元；

并且其中所述相机包括

成像单元，该成像单元被配置来对对象成像以输出图像数据；

并且其中所述终端主单元包括

遥控信号接收单元，该遥控信号接收单元被配置来接收遥控信号，

通信单元，该通信单元被配置来将图像数据和音频数据发送到所述另一个通信终端设备，

音频静音单元，该音频静音单元被配置来使从所述通信单元发送的音频数据静音，以及

静音控制单元，该静音控制单元被配置为：基于用户执行的图像静音和音频静音之间的互锁设置操作来使图像静音和音频静音之间的互锁有效或无效，在使图像静音和音频静音之间的互锁有效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送静音图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音，而在使图像静音和音频静音之间的互锁无效的情况下，当响应于在所述遥控信号接收单元处接收到的用于静音控制的遥控信号而进入静音状态中时，使所述通信单元发送从所述成像单元输出的图像数据并控制所述音频静音单元使从所述通信单元发送的音频数据静音。

4.如权利要求3所述的通信终端设备，

其中，所述相机或所述终端主单元包括

存储单元，该存储单元被配置来存储所述静音图像数据；

并且其中在所述终端主单元中，所述存储单元包括

静音图像注册单元，该静音图像注册单元被配置来写所述静音图像数据。

5.如权利要求4所述的通信终端设备，

其中，所述静音图像注册单元将从所述成像单元输出的图像数据写到所述存储单元中。

6.如权利要求4所述的通信终端设备，

其中，所述终端主单元包括

外部输入端子，该外部输入端子被配置来输入图像数据；

并且其中所述静音图像注册单元将输入到所述外部输入端子的图像数据写到所述存储单元中。

7.如权利要求3所述的通信终端设备，

其中，所述相机或所述终端主单元包括

存储单元，该存储单元被配置来存储多种类型的所述静音图像数据；

并且其中所述终端主单元包括

静音图像选择单元，该静音图像选择单元被配置来基于用户的选择操作，从写入在所述存储单元中的所述多种类型的静音图像数据中选择应当被使用的静音图像数据。

8.如权利要求3所述的通信终端设备，

其中，所述终端主单元包括

存储单元，该存储单元被配置来存储所述静音图像数据，以及图像切换单元，该图像切换单元被配置来有选择地提取从所述成像单元输出的图像数据或从所述存储单元读出的静音图像数据；

并且其中所述静音控制单元基于所述用于静音控制的遥控信号，控制所述图像切换单元的切换操作。

9.如权利要求8所述的通信终端设备，

其中，所述终端主单元包括

图像压缩单元，该图像压缩单元被配置来对从所述成像单元输出的图像数据压缩编码；

并且其中存储在所述存储单元中的静音图像数据是经压缩编码的；

并且其中所述图像切换单元提取从所述图像压缩单元输出的经压缩编码的图像数据或者从所述存储单元读出的经压缩编码的静音图像数据。

10.如权利要求3所述的通信终端设备，

其中，所述相机包括

存储单元，该存储单元被配置来存储所述静音图像数据，

图像切换单元，该图像切换单元被配置来有选择地提取从所述成像单元输出的图像数据或者从所述存储单元读出的静音图像数据，以及

切换控制单元，该切换控制单元被配置来控制所述图像切换单元的切换操作；

并且其中所述静音控制单元基于所述用于静音控制的遥控信号，将控制信息提供给所述切换控制单元。

11.一种用于要经由网络连接到另一个通信终端设备的通信终端设备的图像静音控制方法，包括以下步骤：

第一步，基于用户执行的图像静音和音频静音之间的互锁设置操作来使图像静音和音频静音之间的互锁有效或无效；

第二步，接收用于静音控制的遥控信号；以及

第三步，包括：在所述第一步中使图像静音和音频静音之间的互锁有效的情况下，在所述用于静音控制的遥控信号处于静音ON状态中时，将静音图像数据作为要发送给所述另一个通信终端设备的图像数据并且使要发送给所述另一个通信终端设备的音频数据静音，而在所述用于静音控制的遥控信号处于静音OFF状态中时，将成像图像数据作为要发送给所述另一个通信终端设备的图像数据并且不使要发送给所述另一个通信终端设备的音频数据静音，并且

在所述第一步中使图像静音和音频静音之间的互锁无效的情况下，在所述用于静音控制的遥控信号处于静音ON状态中时，将成像图像数据作为要发送给所述另一个通信终端设备的图像数据并且使要发送给所述另一个通信终端设备的音频数据静音，而在所述用于静音控制的遥控信号处于静音OFF状态中时，将成像图像数据作为要发送给所述另一个通信终端设备的图像数据并且不使要发送给所述另一个通信终端设备的音频数据静音。

Images