CN103188571A - 成像设备及其控制方法 - Google Patents

Abstract

本发明公开了一种成像设备及其控制方法。该设备使用户能够在观看广播节目的同时执行视频呼叫。当向对方用户发送声学信号时，设备消除对方用户的语音和来自广播节目的背景声音，从而保持优良的通信质量。

Description

成像设备及其控制方法

技术领域

示例实施例涉及能够同时执行视频呼叫和提供广播节目的图像形成设备及其控制方法。

背景技术

成像设备一般是在处理图像信号后以多种形式输出图像信号的设备，典型的成像设备包括电视(TV)。数字TV比传统模拟TV在信号处理和信号存储方面具有更强能力，近年来，随着数字TV的开发和商业化，特别是结合许多家庭中存在的互联网连接，向用户提供多种类型的内容服务，例如实时广播、内容点播(COD)、游戏和视频呼叫。

特别预期的是，以高成效方式由用户使用经由数字TV提供视频电话的服务，但是存在的困难在于，无法在观看广播节目的同时进行视频呼叫。

具体而言，在观看广播节目的同时进行视频呼叫的情况下，来自TV的声音与用户语音一起传输到对方用户。为了防止这种情况，在执行视频呼叫时，强制地减小来TV的声音，或执行静音功能。此外，通过TV输出的对方用户的声音可能会与用户的语音一起传输回对方用户，结果视频电话质量降低。

发明内容

一方面，示例实施例提供一种能够同时执行视频呼叫和提供广播节目的成像设备及其控制方法。

一方面，对于向对方用户传输用户的语音信号，示例实施例提供一种成像设备及其控制方法，能够通过消除对方用户的话音和广播节目的背景声音来维护优良的视频呼叫质量。

其他方面部分地在以下描述中给出，部分地从以下描述显而易见，或者可以通过示例实施例的实施来获知。

根据一个方面，示例实施例提供了一种用于执行视频呼叫的成像设备。该成像设备包括广播信号接收机、收发机、声学输出单元、用户输入单元、第一背景声音消除器和第二背景声音消除器。广播信号接收机可以接收包括第一图像信号和第一声学信号的广播信号。收发机可以经由网络收发第二图像信号和第一语音信号。声学输出单元可以输出接收的第一声学信号和接收的第一语音信号。用户输入单元可以接收包括由用户产生的第二语音信号在内的第二声学信号。第一背景声音消除器可以通过从接收的第二声学信号中消除接收的第一声学信号，来产生第一输出信号。第二背景声音消除器可以接收来自第一背景声音消除器的所产生的第一输出信号，并通过从接收的第一输出信号中消除接收的第一语音信号来产生第二输出信号。

第一背景声音消除器可以包括第一声学回声消除器(AEC)，第一声学回声消除器可以使用第一声学信号作为基准信号。

第二背景声音消除器可以包括第二声学回声消除器(AEC)，第二声学回声消除器可以使用第一语音信号作为基准信号。

成像设备还可以包括对接收的第一声学信号进行解码的第一声学处理器。第一背景声音消除器可以使用经解码的第一声学信号作为基准信号。

成像设备还可以包括对收发的第一语音信号进行解码的第二声学处理器。第二背景声音消除器可以使用经解码的第一语音信号作为基准信号。

成像设备还可以包括对第二输出信号进行编码的语音编码器。

根据另一方面，一个或多个示例实施例的提供了一种用于执行视频呼叫的成像设备包括广播信号接收机、收发机、声学输出单元、用户输入单元和背景声音消除器。广播信号接收机可以接收包括第一图像信号和第一声学信号的广播信号。收发机可以经由网络收发第二图像信号和第一语音信号。声学输出单元可以输出接收的第一声学信号和收发的第一语音信号。用户输入单元可以接收包括由用户产生的第二语音信号在内的第二声学信号、以及关于用户的图像信号。背景声音消除器可以从接收的第二声学信号中消除接收的第一声学信号和收发的第一语音信号。

背景声音消除器可以包括声学回声消除器(AEC)，声学回声消除器可以包括使用至少两个基准信号的多通道声学回声消除器。

背景声音消除器使用的所述至少两个基准信号可以包括接收的第一声学信号和收发的第一语音信号。

成像设备还可以包括对接收的第一声学信号进行解码的第一声学处理器和对收发的第一语音信号进行解码的第二声学处理器。背景声音消除器可以使用经解码的第一声学信号和经解码的第一语音信号作为基准信号。

根据另一方面，一个或多个示例实施例的提供了一种用于控制成像设备的方法，成像设备执行第一用户和第二用户之间的视频呼叫。在该方法中，接收包括第一图像信号和第一声学信号的广播信号。从第二用户接收第二图像信号和第一语音信号。输出接收的第一声学信号和接收的第一语音信号。接收包括由第一用户产生的语音在内的第二声学信号。通过从接收的第二声学信号中消除接收的第一声学信号来产生第一输出信号。通过从产生的第一输出信号中消除接收的第一语音信号来产生第二输出信号。

可以使用第一声学回声消除器(AEC)来产生第一输出信号，第一声学回声消除器可以使用接收的第一声学信号作为基准信号。

可以使用第二声学回声消除器(AEC)来产生第二输出信号，第二声学回声消除器可以使用接收的第一语音信号作为基准信号。

该方法还可以包括对第二输出信号进行编码，并经由网络向第二用户发送经编码的第二输出信号。

根据另一方面，一个或多个示例实施例的提供了一种用于控制成像设备的方法，成像设备执行第一用户和第二用户之间的视频呼叫。在该方法中，经过广播信号接收机接收包括第一图像信号和第一声学信号的广播信号。经由收发机从第二用户接收第二图像信号和第一语音信号。经由声学输出单元以声学形式输出接收的第一声学信号和接收的第一语音信号。经由用户输入单元接收包括由第一用户产生的语音在内的第二声学信号。从接收的第二声学信号中消除接收的第一声学信号和接收的第一语音信号。

可以使用声学回声消除器(AEC)来执行从接收的第二声学信号中消除接收的第一声学信号和接收的第一语音信号，声学回声消除器可以包括使用至少两个基准信号的多通道声学回声消除器。

背景声音消除器使用的所述至少两个基准信号可以包括接收的第一声学信号和收发的第一语音信号。

如上所述，通过使用根据一个或多个示例实施例的成像设备及其控制方法。可以在观看广播节目的同时与对方用户进行视频呼叫，此时，对于向对方用户传输声学信号，消除了从TV输出的对方用户的话音以及来自广播节目的背景声音，从而维护了优良的视频呼叫质量。

附图说明

根据结合附图公开的示例性实施例的以下描述，上述和/或其他方面将显而易见并容易理解。附图中：

图1是示出了根据示例性实施例的成像设备的总体外观的图；

图2是示出了根据示例性实施例的视频呼叫系统结构的框图；

图3是示出了在视频呼叫期间相对于传统成像设备的语音信号传递的图；

图4是示意性示出了根据示例性实施例的成像设备的控制框图；

图5是示出了根据示例性实施例的结合成像设备的AEC结构的结构视图；

图6是示出了根据示例性实施例的成像设备的具体结构的框图；

图7是示出了根据示例性实施例的成像设备的框图；

图8是示出了相对于根据示例性实施例的成像设备的语音信号传递的图；

图9是示出了根据示例实施例的使用成像设备可执行的控制方法的流程图；以及

图10是示出了根据示例实施例的使用成像设备可执行的控制方法的流程图。

具体实施方式

具体参考示例实施例，其示例在附图中示出，贯穿这些附图，相同的参考数字用于表示相同或相似的元件。

图1示出了根据示例性实施例的成像设备的总体外观。

参照图1，根据示例实施例的成像设备10可以实现为数字TV，数字TV包括：显示器281，输出广播节目的图像信号或由视频呼叫的对方用户以图像形式提供的图像信号；声学输出单元282，输出广播节目的声学信号或由视频呼叫的对方用户以声学形式提供的语音信号；以及用户输入单元100，接收由成像设备10的用户产生的图像和语音。

在下面描述的示例实施例中，为方便描述，将广播信号的输出称为声音，将用户和对方用户之间交换的输出称为语音，因为该输出主要包括人的话语。然而，声音也可以包括人的话语，语音也可以包括人的话语之外的噪声，具体地，通过声学输出单元282输出的来自TV的声音或对方用户语音的回声。

此外，还可以包括对数字TV的操作进行远程控制的遥控器20，遥控器20能够执行对于视频呼叫的控制，而不是对于广播节目输出的控制。

在显示器281上可以同时显示总共三种类型的图像。因此，显示器281包括：广播域‘I’，在其中显示从广播信号提取的图像；用户域‘II’，在其中显示用户的图像；以及对方用户域‘III’，在其中显示对方用户的图像。由于可以在显示器281上同时显示这三个域，所以用户能够在观看广播节目的同时执行视频呼叫。

声学输出单元282可以实现为扬声器形式，并能够同时输出广播节目信号中包括的声学信号和视频呼叫的对方用户产生的语音信号。示例实施例的成像设备10在其背面具有声学输出单元282，因此图1中未示出声学输出单元282。然而，本公开不限于此，只要能够向用户输出声音，声学输出单元282的位置不限于此。

参照图2，用户输入单元100包括接收用户语音的语音输入单元130以及捕获用户图像的图像输入单元110。语音输入单元130可以实现为麦克风形式，虽然语音输入单元130的用途是收集用户的语音，但是除了用户的语音，语音输入单元130也可以收集背景声音，特别是从数字TV的声学输出单元282输出的广播节目的声音或对方用户的语音。

如图1所示，用户输入单元100可以实现为与成像设备10的本体200分离的IP多媒体(Multimeida over IP，MoIP)设备。备选地，用户输入单元100可以与本体200一体地形成。

图像输入单元100包括：镜头，配置为接收用户的图像；CCD传感器，配置为拍摄通过镜头接收的用户图像，即，图像拍摄设备，例如CMOS传感器；以及图像信号处理器(ISP)，配置为对图像拍摄设备拍摄的图像进行处理。

图2是示出了根据示例实施例的视频呼叫系统结构的框图。

视频呼叫系统是指使用多个设备的系统，这些设备能够处理和发送/接收图像数据和语音数据，能够实现呼叫方与被叫方之间的对话，同时使一方能够观看从对方发送来的图像并聆听从对方发送来的语音。

参照图2，通过从图像输入单元110获得对应于用户图像的图像数据，并从实现为麦克风的语音输入单元130获得对应于用户语音的语音数据，数字TV能够向经由无线/有线网络连接的对方用户侧的外部设备发送图像数据和语音数据。

对方用户侧的外部设备可以包括数字TV、移动电话等移动终端、个人数字助理(PDA)、笔记本计算机和个人计算机(PC)中的一个或多个。

网络配置为将用户的数字TV连接至对方用户的外部设备，使得能够遵循为视频呼叫提供的通信标准，实现图像数据和语音数据的发送/接收。例如，用户的数字TV连接至对方用户的外部设备可以通过使用符合以太网或IEEE 802.3的网络，发送/接收图像数据和语音数据，或者可以通过使用符合IEEE 802.11的网络，发送/接收图像数据和语音数据。

此外，通过使用宽带语音(Voice over Broadband，VOBB)服务或传统服务，网络能够执行用户的数字TV连接至对方用户的外部设备之间的数据发送/接收。

具体地，VOBB可以包括如下服务中的至少一种：有线调制解调语音(Voice over Cable Modem，VoCM)，数字订户线语音(Voice overDigital Subscriber Line，VoDSL)，互联网协议语音(Voice over InternetProtocol，VoIP)，固定无线接入(Fixed Wireless Access，FWA)，光纤到户(Fiber To The Home，FTTH)，和异步传输模式语音(Voice overAsynchronous Transfer Mode，VoATM)。传统服务可以包括如下服务中的至少一种：综合服务数字网络(ISDN)，普通旧式电话服务(POTS)，蜂窝服务和3G服务。

据此，数字TV和外部设备通过使用无线网络、电话网络、诸如互联网等数据网络、有线调制解调系统或蜂窝网络来发送/接收图像数据和语音数据，能够实现视频呼叫。

此外，数字TV和外部设备能够根据在数字TV和外部设备之间设定的标准来发送/接收图像数据和语音数据，标准例如可以使用如下多种标准中的至少一种：用于编码图像数据的H.261标准，用于图像数据和语音数据通信的H.221标准，以及用于建立和取消呼叫的H.242标准。

例如，在视频呼叫系统使用互联网的情况下，可以采用例如在用于图像编码的H.323、H.263和H.264标准和用于语音编码的G.711和G.729等视频电话标准上实施的协议。

然而，用于根据示例实施例执行视频呼叫的成像设备的数据发送/接收方法不限于上述示例实施例，只要该方法适合执行视频呼叫的成像设备，方法就不局限于上述内容。

图3是示出了视频呼叫期间相对于传统成像设备的语音信号传递的图。

参照图3，在用户正在通过成像设备观看广播节目的同时执行视频呼叫的情况下，输出广播节目的声学声音‘S1’和对方用户的语音‘S2’。当用户经由语音输入单元130输入用户的语音‘S3’以与对方用户通话时，与用户语音‘S3’一起也输入了周围环境的背景声音。具体地，通过声学输出单元输出的声学声音也可能与周围环境的背景声音一起输入，在这种情况下，声学声音包括广播节目的声学声音‘S1’和对方用户的语音‘S2’。

因此，向对方用户提供用户的语音以及来自用户侧的对方用户的语音和广播节目的声学声音。传统上，为了防止这种情况，在将广播节目的声学声音降低或静音的状态下进行视频呼叫。

图4是示意性示出了根据示例实施例的成像设备的框图。

参照图4，根据示例实施例的成像设备包括：广播信号接收机211，配置为接收广播信号；收发机212，配置为收发去往和来自对方用户的语音信号；声学处理器220，配置为对从广播信号接收机211和收发机212之一接收的声学信号和/或语音信号进行解码；声学输出单元282，配置为输出经声学处理器220解码的声学信号；用户输入单元100，接收用户的语音；第一背景声音消除器241，配置为通过从用户输入单元100输出的信号中消除广播信号中包括的声学信号，来产生第一输出信号；第二背景声音消除器242，配置为通过从第一输出信号中消除自对方用户接收的语音信号，来产生第二输出信号；以及语音编码器250，配置为对从第二背景声音消除器242输出的第二输出信号进行编码。

广播信号接收机211配置为接收包括第一图像信号和第一声学信号的广播信号，并包括天线和调谐器。经由显示器281以图像形式输出第一图像信号，经由声学输出单元282以声学声音的形式输出第一声学信号。

收发机212经由预定通信路径从视频呼叫的对方用户接收第二图像信号和第一语音信号，并向视频呼叫的对方用户发送由用户产生的第三图像信号和由用户产生的第二语音信号。收发机212使用的预定通信路径可以利用包括如下至少一种的通信网络：互联网，以太网和公共交换电话网络，或者预定通信路径可以利用一对一通信网络。此外，无线/有线通信网络都可以包括在通信路径中。

声学处理器220通过对广播信号接收机211接收的第一声学信号和收发机212接收的第一语音信号进行解码，经由声学输出单元282以声学形式输出接收的第一声学信号和接收的第一语音信号。

用户输入单元100接收由用户输入的第三图像信号和第二语音信号。具体地，用户输入单元100接收包括用户产生的第二语音信号在内的第二声学信号。用户输入单元100将关于第三图像信号和第二语音信号的数据转换为对应的电信号，以按照图像信号和语音信号的形式输出数据。此外，用户输入单元100可以对第三图像信号进行编码。此外，因为用户输入单元100捕获周围环境的背景声音以及用户的语音，所以用户输入单元100可以一并收集通过声学输出单元282输出的广播节目的声学信号和对方用户的语音。在这种情况下，第二声学信号包括由用户产生的第二语音信号、广播信号内包括的第一声学信号、以及从对方用户接收的第一语音信号。

第一背景声音消除器241通过从用户输入单元100捕获的第二声学信号中消除广播信号接收机211接收的第一声学信号，来产生第一输出信号。

具体地，当向第一背景声音消除器241发送第二声学信号，第二声学信号包括用户产生的第二语音信号、第一声学信号以及从对方用户输出的第一语音信号时，第一背景声音消除器241通过从第二声学信号中消除第一声学信号，来产生第一输出信号。由第一背景声音消除器241消除的信号不同于经由声学输出单元282输出的声学信号，即，第一背景声音消除器241消除的信号不同于混合了第一声学信号和第一语音信号的声学信号，而是由广播信号接收机211接收的第一声学信号自身。由此，第一输出信号中包括用户的第二语音信号和对方用户的第一语音信号。

第二背景声音消除器242接收第一背景声音消除器241产生的第一输出信号，并通过从第一输出信号中消除对方用户的第一语音信号来产生第二输出信号。由第二背景声音消除器242消除的信号不同于经由声学输出单元282输出的信号，而是经由收发机212接收的对方用户的第一语音信号。由此，只有用户的第二语音信号保留在第二输出信号中。

使用语音编码器250按照适当格式对第二输出信号编码，并经由收发机212发送给对方用户。

第一背景声音消除器241和第二背景声音消除器242可以例如使用至少一个声学回声消除器(AEC)来实现，下文中将详细描述由至少一个AEC实现的第一背景声音消除器241和第二背景声音消除器242的操作。

在上述示例实施例中，第一背景声音消除器241消除第一声学信号，第二背景声音消除器242消除对方用户的第一语音信号。然而，可以由第一背景声音消除器241消除对方用户的第一语音信号，由第二背景声音消除器242消除第一声学信号。即，消除语音信号的顺序不限于此。

图5是示意性示出了根据示例实施例与成像设备结合的AEC的结构的结构视图。在图5中，为方便描述，不考虑广播信号。

参照图5，使用D/A转换器270将经由收发机212接收的第一语音信号从数字信号转换为模拟信号，并通过放大器271将模拟信号放大，以经由声学输出单元282以声压波的形式发射，在该图中，对方用户的语音‘S2’包括在声压波中。

发射的声音遵循声音路径6，可以包括经由多条通道传播的声音。因此，用户输入单元100的语音输入单元130接收到声压波的回声，由于回声，包括了对方用户的语音‘S2’。

由此，语音输入单元130接收到用户的语音‘S3’以及对方用户的语音‘S2’的回声，驻留在成像设备中的AEC消除了回声。

语音输入单元130接收的信号都是相应模拟信号的形式，因此使用A/D转换器140将信号转换为数字信号，然后发送给AEC 240。在示例实施例中，AEC可以包括自适应滤波消除器，如图5所示，AEC240包括配置为对基准信号滤波的自适应滤波器244。

滤波系数是自适应系数，自适应滤波器是针对回声信号配置的，自适应滤波器的系数可以与声学脉冲响应的估计值有关。自适应滤波器可以通过多种算法实施，在示例实施例中，可以通过归一化最小均方(NLMS)和频域自适应滤波(FDAF)中的一种或多种来实施自适应滤波器。

由A/D转换器140处理的信号(从该信号中已经消除了对方用户的语音‘S2’的回声)经由收发机单元212发送给对方用户。因此，在发送给对方用户的语音信号中，不包括从对方用户发送给用户的语音信号。

通过使用两个分离的AEC单元，可以在消除广播声学回声和对方用户的语音回声之后，向对方用户仅发送用户的语音信号。

图6是示出了根据示例实施例的成像设备的具体结构的框图。

参照图6，用户输入单元100包括图像输入单元110、图像编码器120、语音输入单元130、语音A/D转换器140和信号合成器150。将省略参照图4中结构的描述。

语音A/D转换器140执行采样，将经由语音输入单元130接收的第二语音信号转换为数字信号，并且在本体200处完成回声消除任务之后，对转换后的语音信号进行压缩，然后发送给对方用户。

图像输入单元110包括：镜头，配置为以光信号形式接收用户的图像；以及图像拍摄设备，配置为在将从镜头接收的光信号转换为电图像信号之后输出光信号。图像拍摄设备具有图像A/D转换器，将电信号转换为适合数据处理的数字信号。

将图像输入单元110输出的结果图像信号传递给图像编码器120，图像编码器120使用视频压缩算法对图像信号进行压缩，即编码。然后经由收发机212将压缩后的图像信号发送给对方用户，同时经由成像设备10中的显示器281输出压缩的图像信号。

具体地，图像编码器120可以按照相同格式或不同格式压缩要经由收发机212发送给对方用户的图像信号以及要经由显示器281输出的图像信号。例如，可以使用H.264格式压缩要发送给对方用户的图像信号，而使用MJPEG格式压缩要经由显示器281输出的图像信号，或者将该图像信号按照未压缩的原始数据的形式发送给本体200。

在图像编码器120压缩要经由显示器281输出的图像信号时，在对图像信号进行本体200内的附加解码处理之后，经由显示器281输出图像信号。

信号合成器150在将图像编码器120压缩的包括用户图像的图像信号以及从语音A/D转换器140接收的语音信号合并之后，将图像信号和语音信号输出给本体200。具体地，本体200是指除用户输入单元100之外的成像设备的结构，无论用户输入单元100和其余部件的是否是物理上分离的，用户输入单元100和其余部件在功能上都是分离的。

在上述示例实施例中，通过包括对用户输入单元100接收的图像信号进行压缩的图像编码器120，而不将该图像编码器120包括在本体200中，可以减少执行很多操作和任务的本体200的工作负荷。

信号合成器150可以通过例如流容器(stream container)来实现。在合成信号的过程中，对用户的图像信号和用户的语音信号同步。对用的图像信号进行压缩所花的时间量不同于对用户的语音信号进行采样所花的时间量。因此，为确保用户的图像和用户的语音彼此对应，信号合成器150将两个信号一起同步。

用户输入单元100可以经由USB接口300连接至本体200，在这种情况下，按照USB格式提供经由信号合成器150输出的用户图像信号和语音信号。备选地，用户输入单元100和本体200可以经由不同的接口彼此连接，在这种情况下，可以按照不同的格式提供经由信号合成器150输出的用户图像信号和语音信号，使得图像信号和语音信号适合相应的接口。在用户输入单元100和本体200的接口300以无线接口形式设置时，为了方便用户输入单元100和本体200之间的无线通信，可以进一步包括对信号进行调制和解调的结构。

本体200的信号分离器290可以例如类似于信号合成器150一样，按照流容器的形式实现，并被配置为将经由USB接口300接收的信号流分离成分量图像信号和分量语音信号。在分离之后，将分量图像信号发送给收发机212和图像处理器230，将分量语音信号发送给第一背景声音消除器241。

收发机212经由预定通信路径接收编码的图像信号以及来自对方用户的语音信号，接收的图像信号被发送给图像处理器230，接收的语音信号被发送给声学处理器220。此外，可以将声学处理器230处理后的对方用户语音信号作为基准信号提供给第二背景声音消除器242。

由广播信号接收机211接收的广播图像信号和广播声学信号也可以分别发送给图像处理器230和声学处理器220，并且可以将声学处理器220处理后的广播声学信号作为基准信号提供给第一背景声音消除器241。

声学处理器220包括对压缩的声学信号进行解码的解码器，该解码器包括：第一声学解码器221，对经由广播信号接收机211接收的广播声学信号解码；以及第二声学解码器222，对经由收发机212接收的对方用户语音信号解码。

第一背景声音消除器241可以实现为AEC形式，并使用广播信号接收机211接收的广播声学信号作为基准信号。具体地，通过第一声学解码器221从广播信号接收机211获取基准信号。当使用减法器从用户侧声学信号中消除广播声学信号(即，基准信号)时，经由用户输入单元100和信号分离器290由第一背景声音消除器241接收的用户侧声学信号成为第一输出信号。由此，第一输出信号包括对方用户的语音信号和用户的语音信号。

将第一输出信号传输给第二背景声音消除器242，第二背景声音消除器242可以按照AEC形式实现。第二背景声音消除器242可以使用收发机212接收的对方用户的语音信号作为基准信号。具体地，第二背景声音消除器242通过第二声学解码器222从收发机212获取基准信号。当第一输出信号输入到第二背景声音消除器242中时，第二背景声音消除器242中包括的减法器从第一输出信号中消除对方用户的语音信号(即，基准信号)，以产生第二输出信号。由此，第二输出信号只包括用户的语音信号。

在图6所示示例实施例中，第一背景声音消除器241和第二背景声音消除器242都包括在本体200中。然而，第一背景声音消除器241可以包括在用户输入单元100中，而第二背景声音消除器242可以包括在本体200中。

将第二输出信号传输给语音编码器120，语音编码器120对第二输出信号(即，用户的语音信号)进行压缩，以适合发送格式，并经由收发机212将压缩后的输出信号发送给对方用户。

图像处理器230处理广播信号接收机211接收的图像信号、信号分离器290分离的图像信号和收发机212接收的对方用户图像信号，并经由显示器281输出处理后的图像信号。图像处理器230可以包括：第一图像解码器231，配置为解码广播图像信号；第二图像解码器232，配置为解码对方用户的图像信号；以及第三图像解码器233，配置为解码用户的图像信号。图像处理器230对输入的图像信号进行解码并输出处理后的图像信号。

第一图像解码器231和第二图像解码器232可以包括物理上独立的硬件解码器，第三图像解码器233可以包括软件解码器。具体地，解码图像信号的方法包括使用独立硬件解码器的方法以及使用根据控制器260执行的控制而操作的软件解码器的方法。

在上述示例实施例中，使用独立的硬件解码器对对方用户的图像信号和广播图像信号进行处理，而使用软件解码器对用户的图像信号进行解码。此外，在要经由显示器281输出的用户图像信号未压缩的情况下，可以不设置第三图像解码器233。

控制器260例如可以使用中央处理单元(CPU)来实现，执行对设备10在本体200处的总体控制，软件解码器包括JPEG解码器。具体地，使用能够在CPU的控制下执行解码的JPEG解码器对用户的图像信号进行解码。可以不使用JPEG解码器，控制器260可以直接解码用户的图像，或者依据控制器260的处理速度和处理能力，可以使用不同的部件执行用户图像的解码。

在上述示例实施例中，虽然使用两个硬件解码器和一个软件解码器，但是因为三种类型的图像都在显示器281上显示，所以可以降低成像设备的制造成本，用户能够同时观看广播图像和对方用户图像。

图像处理器230通过对经由不同路由接收的三种不同类型的图像信号进行同步，经由显示器281输出图像信号。例如，可以将广播图像信号和对方用户的图像信号作为第一层来处理，而将用户的图像信号作为与第一层重叠的第二层来处理。图像处理器230通过根据控制器260的控制将图像信号合成为相对于彼此具有不同层的层结构，能够经由显示器281输出图像信号。

具体地，控制器260考虑到收发机212的通信状态或图像处理器230的处理能力，可以调整图像编码器120的图像压缩速率或分辨率。相应地，经由USB接口300向用户输入单元100输出用于上述调整的控制信号，用户输入单元100的图像编码器120可以直接从控制器260接收控制信号，或者可以从在用户输入单元100处额外设置的第二控制器接收控制信号。

此外，使用图像D/A转换器将图像处理器230输出的图像信号转换为模拟信号，然后在显示器281上显示。

显示器281显示从图像处理器230接收的三种类型的图像。显示器281可以例如采用液晶显示(LCD)板、有机发光二极管(OLED)板、LED板或等离子体显示板(PDP)中至少一种的形式来实现。

声学D/A转换器将声学处理器220输出的对方用户的语音信号和广播声学信号转换为模拟信号，声学输出单元282通过输出转换后的信号，使用户能够聆听对方用户的语音信号和广播节目的声学声音。

在上述示例实施例中，提供两个AEC，使得两个AEC使用对方用户的语音信号和广播声学信号作为相应的基准信号，来消除对方用户的语音信号和广播声学信号。然而，在下文中要描述的另一示例实施例中，可以使用具有多个通道的单个AEC，通过该单个AEC来消除对方用户的语音信号和广播声学信号两者。

图7示出了根据示例实施例的成像设备的框图。

参照图7，根据示例实施例的成像设备包括：广播信号接收机211，配置为接收包括第一图像信号和第一声学信号的广播信号；收发机212，配置为接收来自对方用户的第二图像信号和第一语音信号，并发送由用户产生的第三图像信号和第二语音信号；第一语音解码器，配置为解码由广播信号接收机211接收的第一声学信号；语音处理器，包括第二语音解码器，配置为对收发机212接收的对方用户的第一语音信号进行解码；声学输出单元282，配置为输出解码的语音信号；用户输入单元100，捕获由用户产生的第三图像信号和第二语音信号；第三背景声音消除器243，配置为从用户输入单元100输出的第二声学信号中消除背景声音；语音编码器250，配置为对从第三背景声音消除器243输出的第三输出信号进行压缩。具有相同名称和功能的结构部件具有的附图标记与上述示例实施例中的相同。

类似于上述第一背景声音消除器241和第二背景声音消除器242中每一个的描述，第三背景声音消除器243可以使用AEC来实现。然而，与第一背景声音消除器241和第二背景声音消除器242相反，第一背景声音消除器241和第二背景声音消除器242各自使用与单个通道对应的单个基准信号，而第三背景声音消除器243使用多个通道，因此第三背景声音消除器243可以具有至少两个基准信号。

因此，可以使用解码器对经由广播信号接收机211和收发机212分别接收的第一声学信号和对方用户的第一语音信号解码，并将这些信号用作基准信号。当将包括用户产生的第二语音信号、对方用户的第一语音信号和第一声学信号的回声在内的第二声学信号接收到AEC中时，通过使用AEC处提供的减法器消除第一声学信号和第一语音信号，产生只包括用户的第二语音信号的第三输出信号。

具体地，用作第三背景声音消除器243的基准信号的信号不是经由声学输出单元282输出的声学信号，而是包括广播信号接收机211接收的第一声学信号和收发机212接收的对方用户第一语音信号两者。更具体地，第三背景声音消除器243从广播信号接收机211和收发机212分别接收并且分别经由第一声学解码器221和第二声学解码器222提供的信号中提取基准信号。

在语音编码器250处对第三背景声音消除器243产生的第三输出信号进行编码，并经由收发机212发送给对方用户。

图8是示出了根据示例实施例由成像设备执行的视频呼叫的语音信号传递的图。

参照图8，在经由成像设备的声学输出单元282输出广播节目的声学声音‘S1’和对方用户的语音‘S2’的情况下，广播节目的声学声音‘S1’和对方用户的语音‘S2’与用户的语音‘S3’一起经由用户输入单元100再次输入到成像设备中。然而，根据示例实施例，成像设备使用背景声音消除器来消除广播节目的声学声音‘S1’和对方用户的语音‘S2’，由此经由网络发送给对方用户的语音信号中只包括用户的语音‘S3’。因此对方用户能够执行视频呼叫，而不必听到自己语音的回声也不必听到广播节目的声音，这些回声和声音都视为相对于用户语音的噪声。

下文中，描述根据示例实施例的用于控制成像设备的方法。

图9示出了根据示例实施例使用成像设备可执行的控制方法的流程图。图9示出了仅与语音信号的发送/接收和输出有关的操作。

参照图9，首先在操作410，分别通过广播信号接收机211和收发机212接收广播声学信号和对方用户的语音信号。然后，使用解码器对接收的广播声学信号和对方用户的语音信号进行解码。在操作420，使用声学D/A转换器将解码的广播声学信号和解码的对方用户语音信号转换为模拟信号，并按照声学形式经由声学输出单元282输出。

在操作430，在通过成像设备观看广播节目的同时，执行视频呼叫的用户经由用户输入单元100输入用户侧声学信号。在经由用户输入单元100输入的用户侧声学信号中，可以与用户语音一起包括经由声学输出单元282输出的广播声学声音和对方用户语音两者。

在操作440，使用声学D/A转换器140将经由用户输入单元100接收的用户侧声学信号转换为数字信号，然后将转换后的数字信号输入至第一背景声音消除器241。在操作450，第一背景声音消除器241通过从用户侧声学信号中消除广播声学信号，产生第一输出信号。第一背景声音消除器241可以实现为例如AEC的形式，在减法器处理输入到AEC的用户侧声学信号时，AEC通过使用广播信号接收机211接收的广播声学信号作为基准信号，来消除广播声学信号。

在操作460，将第一输出信号输入到第二背景声音消除器242中，第二背景声音消除器242通过从第一输出信号中消除对方用户的语音信号，来产生第二输出信号。第二背景声音消除器242可以实现为例如AEC的形式，在操作470，在ACE内提供的减法器处理第一输出信号时，AEC通过使用收发机212接收的对方用户的语音信号作为基准信号，来消除对方用户的语音信号。由此，第二输出信号中只包括用户的语音。

在操作480，语音编码器250对第二输出信号压缩，然后经由收发机212发送给用户。

在示例实施例中，首先消除广播声学信号，然后消除对方用户的语音信号。备选地，可以首先消除对方用户的语音信号，然后消除广播声学信号。

图10示出了根据示例实施例使用成像设备可执行的控制方法的流程图。图10示出了仅与语音信号的发送/接收和输出有关的操作。

参照图10，操作510中接收和解码广播声学信号和对方用户语音信号的处理、操作520中经由声学输出单元282输出解码的广播声学信号和解码的对方用户语音信号的处理分别类似于图9所示的操作410和420，因此省略对其的描述。

在操作530，用户经由用户输入单元100输入用户侧声学信号。在用户侧声学信号中，可以与用户语音一起，包括经由声学输出单元282输出的对方用户的语音和广播声学声音两者。

在操作540，使用声学A/D转换器140将用户输入单元100接收的用户侧声学信号转换为数字信号，然后将转换后的数字信号输入至第三背景声音消除器243中。

在操作550，第三背景声音消除器243通过消除接收的信号中包括的广播声学信号和对方用户语音信号两者，来产生第三输出信号。第三背景声音消除器243可以实现为例如包括多个通道的AEC的形式，并且被提供至少两个基准信号，即，针对多个通道中的每个通道，均有一个基准信号。

由此，以包括多个通道的AEC形式实现的第三背景声音消除器243使用经由广播信号接收机211接收的广播声学信号并使用经由收发机212接收的对方用户的语音信号，作为基准信号，来从用户侧声学信号中消除广播声学信号和对方用户的语音信号。由此，第三输出信号中只包括用户的语音信号。

第三背景声音消除器243输出的第三输出信号被发送给语音编码器250。在操作560，语音编码器250使用适当格式对第三输出信号压缩，然后将压缩的第三输出信号传输给收发机212，收发机212经由网络将压缩的第三输出信号发送给对方用户。

根据一个或多个示例实施例的成像设备及其控制方法，在用户使用成像设备同时观看广播节目和执行视频呼叫的情况下，通过在消除了所有广播声音信号和对方用户的语音信号之后将用户的语音信号发送给对方用户，可以提供视频呼叫质量。

尽管已示出和描述了一些示例实施例，但是本领域技术人员应该理解，可以在不背离所附权利要求及其等同物所限定的本发明精神和范围的情况下可以对示例实施例进行改变。

Claims (9)

1.一种用于执行视频呼叫的成像设备，该成像设备包括：

广播信号接收单元，配置为接收具有第一图像信号和第一声学信号的广播信号；

发送/接收单元，配置为经由网络发送和接收第二图像信号和第一语音信号；

声学输出单元，配置为输出第一声学信号和第一语音信号；

用户输入单元，配置为接收包括由用户产生的第二语音信号在内的第二声学信号；

背景声音消除单元，配置为通过从第二声学信号中消除第一声学信号来产生第一输出信号，并通过从第一输出信号中消除第一语音信号来产生第二输出信号。

2.根据权利要求1所述的成像设备，其中：

背景声音消除单元包括第一声学回声消除器AEC，第一声学回声消除器配置为通过从接收的第二声学信号中消除接收的第一声学信号来产生第一输出信号，第一声学回声消除器使用第一声学信号作为基准信号。

3.根据权利要求2所述的成像设备，其中：

背景声音消除单元包括第二声学回声消除器AEC，第二声学回声消除器配置为从第一声学回声消除器接收产生的第一输出信号，并通过从接收的第一输出信号中消除收发的第一语音信号来产生第二输出信号，第二声学回声消除器使用第一语音信号作为基准信号。

4.根据权利要求3所述的成像设备，还包括：

对第一声学信号进行解码的第一声学处理单元，

其中第一声学回声消除器使用经解码的第一声学信号作为基准信号。

5.根据权利要求4所述的成像设备，还包括：

对第一语音信号进行解码的第二声学处理单元，

其中第二声学回声消除器使用经解码的第一语音信号作为基准信号。

6.根据权利要求4所述的成像设备，还包括：

对第二输出信号进行编码的语音编码器。

7.一种用于控制成像设备的方法，所述成像设备执行第一用户和第二用户之间的视频呼叫，所述方法包括：

接收包括第一图像信号和第一声学信号的广播信号；

从第二用户接收第二图像信号和第一语音信号；

输出接收的第一声学信号和接收的第一语音信号；

接收包括由第一用户产生的语音在内的第二声学信号；

通过从接收的第二声学信号中消除接收的第一声学信号来产生第一输出信号；以及

通过从产生的第一输出信号中消除接收的第一语音信号来产生第二输出信号。

8.根据权利要求7所述的方法，其中：

使用第一声学回声消除器AEC来产生第一输出信号，以及第一声学回声消除器使用接收的第一声学信号作为基准信号。

9.根据权利要求8所述的方法，其中：

使用第二声学回声消除器AEC来产生第二输出信号，以及第二声学回声消除器使用接收的第一语音信号作为基准信号。

Images