CN101035334A - 用于移动电话的多媒体处理设备和方法 - Google Patents

Abstract

提供了一种用于移动电话的多媒体处理设备和方法。所述移动电话的多媒体处理设备包括：第一多媒体模块，接收广播数据并对所述广播数据解调，以产生第一多媒体数据；第二多媒体模块，产生第二多媒体数据；选择器，选择第一多媒体模块和第二多媒体模块之一，并与第一多媒体模块和第二多媒体模块接口连接；多媒体处理单元，包括协议处理器以及视频编解码器和音频编解码器，其中，当根据源选择信号选择第一多媒体模块时，激活协议处理器以及音频编解码器和视频编解码器，当根据源选择信号选择第二多媒体模块时，仅激活音频编解码器和视频编解码器；和显示器，显示多媒体处理单元处理的多媒体数据。

Description

用于移动电话的多媒体处理设备和方法

                          技术领域

本发明涉及一种移动电话，更具体地讲，涉及一种用于移动电话的多媒体处理设备和方法。

                          背景技术

近来，移动电话被配备有专用的多媒体处理器或实施有各种多媒体功能。最近的移动电话提供了越来越先进的多媒体性能，包括相机和数字广播接收机功能。为了支持所述的各种多媒体功能，用于操作移动电话硬件结构和应用过程越来越复杂。这对于具有用于支持视听通信的射频(RF)通信模块的蜂窝电话、膝上型电脑和个人数字助理(PDA)是真实的。

例如，可使用相机的移动电话需要配置有用于处理数据信号、同步信号和时钟信号的相机应用程序。在上述信号中，同步信号可在各种配置条件下被设置。在可使用数字广播的移动电话中，数字广播应用程序处理数据信号、出错和有效信号，从而数据信号在不同条件下根据出错和有效信号被接收。

在实现有相机和数字广播接收机模块的移动电话的情况下，移动电话应该处理通过各个模块接收到的数据。为此，移动电话设置有用于处理分别通过相机模块拍摄的图像和通过数字广播接收机模块接收的图像的图像处理装置。这种移动电话应该实现有复杂的硬件结构和用于处理两种不同图像数据的图像处理过程。

因此，需要一种能够简化多个多媒体模块的结构和多媒体模块产生的各种多媒体数据的处理过程的技术。

                         发明内容

已经提出本发明以解决上述问题，本发明的一个目的在于提供一种能够通过单个接口来处理不同的多媒体模块产生的多媒体数据的多媒体处理设备和方法。

本发明的另一目的在于提供一种能够在通用数据处理器内处理从数字广播接收机和相机模块输入的多媒体数据的多媒体处理设备和方法。

本发明的另一目的在于提供一种能够在通用数据处理器内处理从数字广播接收机、相机和可携式摄像机输入的多媒体处理设备和方法。

本发明的另一目的在于提供一种能够同时显示通过数字广播接收机模块接收的图像和通过相机模块拍摄的图像的多媒体数据的多媒体处理设备和方法。

本发明的另一目的在于提供一种能够通过通用多媒体数据处理器选择性地处理从数字广播接收机和相机输入的多媒体数据的多媒体处理设备和方法。

根据本发明的一方面，通过一种多媒体处理设备实现以上和其他目的。所述多媒体处理设备包括：第一多媒体模块，接收广播数据并对所述广播数据解调，以产生第一多媒体数据；第二多媒体模块，产生第二多媒体数据；选择器，选择第一多媒体模块和第二多媒体模块之一，并与第一多媒体模块和第二多媒体模块接口连接；多媒体处理单元，包括协议处理器以及视频编解码器和音频编解码器，其中，当根据源选择信号选择第一多媒体模块时，激活协议处理器以及音频编解码器和视频编解码器，当根据源选择信号选择第二多媒体模块时，仅激活音频编解码器和视频编解码器；和显示器，显示多媒体处理单元处理的多媒体数据。

根据本发明的另一反面，所述多媒体处理设备包括：射频(RF)单元，与移动通信系统进行无线电通信；广播接收机，接收广播信号并对所述广播信号解调；相机，拍摄画面；选择器，选择来自广播接收机和相机的输出中的一个，并将相机接口连接为广播接收机；多媒体处理单元，包括协议处理器以及视频编解码器和音频编解码器，其中，当根据源选择信号选择广播接收机的输出时，激活协议处理器以及音频编解码器和视频编解码器，当根据源选择信号选择相机时，仅激活音频编解码器和视频编解码器；存储器，存储在多媒体处理单元的控制下处理输出获得的数据；和显示器，显示从多媒体处理单元输出的数据。

根据本发明的另一反面，通过一种用于包括广播接收机和相机的移动电话的多媒体处理方法实现以上和其他目的。所述多媒体处理方法包括：当选择广播接收机时，通过对广播接收机接收的广播数据进行协议处理，从所述广播数据提取广播信息以及视频和音频数据；对所述视频和音频数据解码；显示解码的视频数据；当选择相机时，将从相机输入的相机数据转换为广播数据；和显示转换的相机数据。

根据本发明的另一反面，所述多媒体处理方法包括：当设置多源处理模式时，根据时间分段控制信号，在分配给服务信道的时隙中激活广播接收机，并在其余时隙中激活相机；当激活广播接收机时，通过对广播接收机接收的广播数据进行协议处理，提取广播信息以及广播视频和音频数据；对广播视频和音频数据解码；缓冲解码的广播视频和音频数据解码；当激活相机时，将从相机输入的相机数据转换为表现相机视频数据的广播视频数据；缓冲相机视频数据；对广播视频数据和相机视频数据进行复用；和同时在屏幕上将广播视频数据显示为主画面并将相机视频数据显示为子画面。

根据本发明的另一反面，所述多媒体处理方法包括：当选择广播接收机时，通过对从广播接收机输入的广播数据进行协议处理，提取广播信息以及广播视频和音频数据；对广播视频和音频数据解码；将广播视频数据显示在屏幕上；当选择相机时，将从相机输入的相机数据转换为表现相机视频数据的广播视频数据；如果激活视听电话模式，则对相机视频数据以及去电语音编码；通过无线电信道发送编码的相机视频数据和去电语音，作为去电视听电话信号输入；对来电视听电话信号解码；和将通过对来电视听电话信号解码获得的相机视频数据显示在屏幕上。

                         附图说明

通过下面结合附图进行的描述，本发明的以上和其他目的、特点和优点将会变得更加清楚，其中：

图1是示出根据本发明实施例的移动电话的结构的方框图；

图2A和图2B是示出图1中的移动电话的电源控制器的结构的方框图；

图3是示出图1中的移动电话的源选择器的结构的方框图；

图4是示出图1中的移动电话的广播接收机的结构的方框图；

图5A到图5F是示出DVB-H系统的TS包的格式的示图；

图6A到6C是出图4的广播接收机的解调操作的示意图；

图7是示出根据本发明实施例的移动电话的广播接收机的操作的流程图；

图8是详细示出图7的物理信道设置过程的流程图；

图9是详细示出图7的PID滤波过程的流程图；

图10是示出图1的移动电话的协议处理器的结构的示图；

图11是示出根据本发明实施例的移动电话的视频编解码器的结构的方框图；

图12是示出图11的视频编解码器的操作的流程图；

图13是示出根据本发明实施例的移动电话的音频编解码器的方框图；

图14是示出图13的音频编解码器的操作的流程图；

图15是示出根据本发明实施例的移动电话的操作的流程图；

图16是示出根据本发明实施例的移动电话中处理DVB-H广播信号的过程的流程图；

图17是示出根据本发明实施例的处理通过移动电话的相机输入的视频信号的过程的流程图；

图18是示出根据本发明实施例的移动电话的视听电话操作的流程图；

图19是示出根据本发明实施例的移动电话的结构的方框图；

图20A到图20D是示出图19的移动电话中处理从多个源输入的多媒体数据的时序控制的示意图；

图21是示出根据本发明实施例的移动电话的多媒体处理单元的方框图；

图22A到图22C是示出图19的移动电话多源处理单元的结构的方框图；

图23是示出根据本发明实施例的用于移动电话的多图像显示过程的流程图；

图24A是示出根据本发明实施例的移动电话中对主视频数据和子视频数据进行复用的过程的流程图；和

图24B是示出根据本发明另一实施例的移动电话中对主视频数据和子视频数据进行复用的过程的流程图。

                      具体实施方式

参照附图详细描述本发明的示例性实施例。应该注意，尽管附图中相同或相似的部件显示在不同的附图中，仍然通过相同的标号来指示它们，并且合并于此的已知功能和结构的详细描述将被省略，以避免使本发明的主体不清楚。

为了能够清楚一致的理解详细的描述和权利要求书，提供关于以下术语的基本信息。除非另外说明，否则应根据本领域技术人员的通常使用来理解术语。

在本发明中，在通用多媒体处理器中处理由安装在移动电话中的不同多媒体模块产生的不同种类的多媒体数据。数字广播包括数字多媒体广播(DMB)、数字视频广播(DVB)和媒体仅用前向链路(媒体FLO)。DVB分为地面DVB(DVB-T)和手持DVB(DVB-H)。DVB-H通过互联网协议(IP)传送广播数据。作为示例，结合DVB-H系统来描述本发明的多媒体处理设备。然而，本发明不限于DVB-H，而可以采用支持其他的DVB、DMB和媒体FLO服务的移动终端。

在本发明中，提供通用多媒体处理器来处理从不同的多媒体模块输入的各种多媒体数据。多媒体模块包括数字广播接收机和相机。通用多媒体处理器可选择性地处理通过数字广播接收机接收的广播信号和通过相机拍摄的静止或运动图像。通用多媒体处理器可处理通过不同的多媒体模块输入的多媒体数据，以同时将其显示在屏幕上。

提供以下定义以使得能够清楚一致的理解详细的描述和权利要求书。

“物理信道”是通过调谐器选择的频率信道，“服务信道”是分配了用于广播服务的节目标识符或产品标识符(PID)，“事件”表示通过服务信道提供的节目。服务信道可使用DMB和DVB-T系统中的PID来标识。在DVB-H的情况下，服务信道可使用PID、IP地址和端口号来标识。

本发明包括两种方法：第一种方法用于在通用多媒体数据处理单元处理通过多个多媒体模块产生的多媒体数据；第二种方法用于在屏幕上同时显示多媒体数据。

图1是示出根据本发明实施例的移动电话的结构的方框图。

在本实施例中，用数字广播接收机和相机作为多媒体模块来描述本发明。

参照图1，所述移动电话设置有：电源控制器130和源选择器170，用于区分数字广播数据和相机数据；和多媒体处理单元100，用于控制具有不同格式的多媒体数据的处理。多媒体处理单元100控制数字广播接收机150和相机160获得多媒体数据，并处理通过数字广播接收机150和相机160输入的多媒体数据。多媒体处理单元100包括控制器115、协议处理器111、、视频编解码器117、音频编解码器119和接口模块，所述接口模块包括：多媒体接口122，用于连接选择器170；显示接口124，用于连接显示器191；扬声器接口126，用于连接扬声器197；麦克风接口128，用于连接麦克风195；和存储器接口182，用于连接存储器180。

控制器115控制移动电话的一般操作，并且可集成到多媒体处理单元100中或者单独实现在多媒体处理单元100的外部。

下面描述上述结构的移动电话的操作。多媒体处理单元100控制移动电话的数字广播、相机和视频会议功能。多媒体处理单元100可同时处理通过多于两个多媒体模块输入的多媒体数据。

在接收和处理数字广播信号的情况下，控制器115控制电源控制器130向广播接收机150提供驱动电压，并控制源选择器170选择性地将广播接收机150的输出连接到多媒体处理单元100。控制器115将用户选择的信道的信道数据输出到广播接收机150。所述信道数据包括关于物理信道频率和相应的服务信道的PID的信息。广播接收机150包括调谐器和解调器。调谐器根据所述信道数据设置用于接收广播信号的物理信道。解调器对从调谐器输出的广播信号解调，并从解调的广播信号提取PID，以将由PID标识的广播信号输出到多媒体处理单元100。广播信号是包含IP地址的IP数据报的运动图像专家组2传输流(MPEG2 TS)。IP数据报具有如表1所示的服务和数据包流表示的格式。如表2所示形成服务包流，如表3所示形成数据包流。

表1

服务1

服务2

服务3

数据1

数据2

......

表2

IP头

RTP头

净荷

IP头

RTP头

净荷

......

表3

IP头

FLUTE头

净荷

IP头

FLUTE头

净荷

......

协议处理器111检查从广播接收机150输出的IP数据报的协议，以区分音频、视频和广播数据(单向传输上的文件传送(FLUTE)数据)。音频、视频和FLUTE数据被发送到音频编解码器119、视频编解码器117和数据编解码器(用于处理FLUTE数据的编解码器)。

在数据被分开处理时，多媒体处理单元100可与音频编解码器119和视频编解码器117集成。多媒体处理单元100还可与音频编解码器119、视频编解码器117和数据编解码器集成。

在本实施例中，控制器115使用软件数据编解码器来处理FLUTE包流。协议处理器111处理接收到的TS流的协议，并将FLUTE数据传输到控制器，将音频数据和视频数据分别传输到音频编解码器119和视频编解码器117。

视频编解码器117和音频编解码器119对各视频和音频编码解码，并通过显示器191和扬声器197输出解码的视频和音频数据。在记录数字广播信号的情况下，将协议处理器111解码的视频和音频数据存储在存储器180内。通过视频编解码器117和音频编解码器119来重放存储的视频和音频数据。

下面描述处理通过相机拍摄的视频和音频数据的过程。

在相机模式下，控制器115控制电源控制器130向相机160供电，并控制源选择器170将相机选择为数据源，从而相机160拍摄的图像数据被输出到多媒体处理单元100。因为广播接收机150和相机160的数据格式彼此相似，所以多媒体处理单元100可处理从广播接收机150和相机160输出的数据。相机数据包括图像数据、同步信号和时钟信号，同步信号可根据不同条件来设置。广播接收机数据包括广播数据、出错和有效信号以及时钟信号。出错和有效数据可以与相机和广播接收机数据的同步信号耦合，相机和广播接收机数据可通过适于音频编解码器119和视频编解码器117的缓冲处理来重定格式，以便从广播接收机150和相机160二者输出的数据可在多媒体处理单元100被处理。

如果相机160连接到多媒体处理单元100，则用于时钟信号、有效信号和出错信号的广播接收机150的输出阻抗被保持在高状态，以避免对相机输出的影响。如果广播接收机150被选择为多媒体源，则相机的输出阻抗由于同样的理由而被保持在高状态。在同时选择广播接收机150和相机160的情况下，多媒体处理单元100控制电源控制器130和源选择器170交替输出数据。可根据时间分段控制信号来控制交替的数据输出。广播接收机150与多媒体处理单元100在分配给选择的广播服务信道的时隙相连接，而相机160与多媒体处理单元100在其余的时隙相连接。

如果从相机160输入图像数据，则多媒体处理单元100控制视频编解码器117缩放视频数据，以通过显示器191显示视频数据，并且多媒体处理单元100控制音频编解码器119通过扬声器197输出音频信号。为了记录相机拍摄的数据，多媒体处理单元100控制视频编解码器117和音频编解码器119对视频和音频数据编码，并在分别通过显示器191和扬声器197输出视频和音频数据的同时将编码的视频和音频数据存储在存储器180内。

如上所述，因为数字广播信号包括广播数据、有效信号、时钟信号，所以可通过多媒体处理单元100处理包括相似格式的其他类型的多媒体信号。为此，包括广播接收机的多媒体模块共享通用接口线和单个电源。

图2A和图2B是示出图1中的移动电话的电源控制器的结构的方框图。

图2A的电源控制器130被配置为控制两个多媒体源(即，广播接收机150和相机160)的电源。同时，图2B的电源控制器130被配置为向四个多媒体源供电。

在图2A中，多媒体处理单元100产生用于选择与多媒体源(即，广播接收机150或相机160)相应的电源的电源控制信号。电源控制器130设置有反向器133，从而，如果多媒体处理单元100产生低逻辑信号以用于低激活电源控制，则低逻辑信号被提供给相机电源，而通过反向器133反向的高逻辑信号被提供给广播接收机150。因此，电源被提供给相机160，而不是提供给广播接收机150。

如果多媒体处理单元100输出高逻辑信号，则反向器113将高逻辑信号反向，以输出为低逻辑信号，从而电源被提供给广播接收机150，而不是提供给相机160。

在如图2B所示处理来自多于两个多媒体源的数据的情况下，电源控制器130实现有解码器135，多媒体处理单元100产生四个2比特控制信号中的一个。电源控制器130的解码器135将2比特的电源控制信号解码，以输出用于激活特定多媒体源的电源控制信号。以这种方式，多媒体处理单元100可使用通用信号线来控制多个多媒体源的电源。

为了处理来自两个多媒体源的数据，多媒体处理单元100使用一条信号线来激活两个多媒体源。为了处理来自多于两个多媒体源的数据，多媒体处理单元100使用多于一条的信号线来输出控制信号。电源控制器130控制解码器135将控制信号解码，以激活相应的多媒体模块。

如果用户输入多媒体源选择信号，则多媒体处理单元100将控制信号输出到电源控制器130，以激活相应的多媒体模块，从而电源控制器130提供电源以激活多媒体模块。电源控制器130还控制源选择器170以将激活的多媒体模块与多媒体处理单元100相连接。

图3是示出图1中的移动电话的源选择器的结构的方框图。

参照图3，从广播接收机150和相机160输出的数据格式彼此相似。相机信号包括相机像素时钟、水平和垂直同步信号以及8比特的数据。广播接收机信号包括像素时钟、解调出错信号(例如，有效信号)以及8比特的数据。有效信号可用作相机的同步信号，从而从广播接收机150和相机160输出的数据格式可以以相同方式被接入。

在MT解调器(例如，MT 352)被用于广播接收机150的正交频分复用(OFDM)或编码OFDM(COFDM)调制器223并且OMAP处理器(例如OMAP 1610)被用于多媒体处理单元100的情况下，因为广播数据解调单元220的MOD 0-7是用于传送MPEG TS数据的8位总线，所以广播数据解调单元220的MOD 0-7可连接到多媒体处理单元100的CAM_D，并且代表广播数据解调单元220的数据和控制同步时钟的MDCLOK可连接到多媒体处理单元100的CAM_LXLK。广播数据解调单元220的MOVAL信号表示数据有效，在正常解调中/BKERR(/Error输出)信号保持高逻辑状态，并且仅当包接收结束或在对包解调时发生错误时/BKERR信号被反转。通过使用控制信号MOVAL和/BKERR这些特性并将CAM_VS和CAM_HS设置为下降沿触发，可接收有效信号，并在发生解调出错期间对数据进行滤波。

因此，通过分别将广播接收机150的时钟(mdclock)、有效信号、出错信号连接到时钟(cam_clk)、垂直信号(cam_vs)和水平信号(cam_hs)端，将广播接收机150的输出数据(mod)连接到多媒体处理单元100的数据(cam_data)端，广播接收机150可作为相机160连接到多媒体处理单元100。

从广播接收机150的解调器输出的有效信号连接到多媒体处理单元100的相机接口的水平同步端，广播接收机150的CAMreset_out端连接到相机接口的垂直同步端。

在上述结构中，当使相机无效时，数字广播接收机处理的广播信号被发送到多媒体处理单元。

在PN解调器(例如，PN2020)被用作广播接收机150的解调器的情况下，当在解调出错通知信号中没有发生错误时，PN解调器保持低逻辑状态。应该注意，这与MT解调器的出错信号特性相反。然而，可在相机接口中设置Vsync和Hsync的高逻辑和低逻辑的基本配置。同时，PN解调器的有效信号与MT解调器的有效信号相似，可被同样地设置，由此有效信号可直接连接到CAM_VS和CAM_HS管脚。即使当不能改变Vsync和Hsync信号的设置时，也可使用这样的连接。

通过将源选择器170配置为具有上述接口结构，多媒体处理单元100可接入广播接收机150和相机160的输出。使用图3中的源选择器的配置，可接入两个多媒体模块的输出。在图3中，源选择器170实现有复用器173，复用器173通过I2C接口(多媒体接口)由多媒体处理单元100来控制。

如果用户选择广播接收模式，则多媒体处理单元100控制复用器173处理广播接收机150的输出，并控制协议处理器111、视频编解码器117和音频编解码器119的操作。多媒体处理单元100还控制将相机160的输出(cam_data、cam_clk、cam_vs和cam_hs)转换为高阻抗状态。在这种情况下，从广播接收机150输出的时钟(mdclock)、有效信号和出错信号分别连接到多媒体处理单元100的时钟(cam_clk)、垂直同步信号(cam_hs)和水平同步信号(cam_vs)端。因此，广播接收机150的输出连接到多媒体处理单元100，从而从广播接收机150输出的数字广播数据在多媒体处理单元100中被处理。如果用户选择相机模式，则多媒体处理单元100控制复用器173选择相机160的输出并使协议处理器111无效。同时，多媒体处理单元100控制将广播接收机150的输出阻抗设置为高。因此，相机160的输出连接到多媒体处理单元100，从而多媒体处理单元100处理从相机160输出的数据。如果选择记录模式，多媒体处理单元100控制视频编解码器117和音频编解码器119对来自相机的视频和音频数据编码，并将编码的视频和音频数据存储到存储器180。

多媒体处理单元100根据多媒体模块以不同的处理方案来处理多媒体数据。DVB-H广播信号具有MPEG2 TS数据结构。因此，如果接收到DVB-H广播信号，则多媒体处理单元100控制协议处理器111提取IP信息，并且控制视频编解码器117和音频编解码器119处理视频和音频数据。

下面详细描述图1中的移动电话的广播接收机150的结构和操作。

图4是示出图1中的移动电话的广播接收机的结构的方框图，图5是示出DVB-H系统的TS包的格式的示图，图6A到6C是图4的广播接收机的解调操作的示意图。

在图5中，传输流(TS)包括多个188字节的TS包，每个TS包携带4字节的包头和184字节的净荷。包头以同步和PID信息开始。PID用于标识包所属于的流。净荷包含多协议封装(MPE)部分；MPE部分具有表标识符(table_ID)、MPE前向纠错(MPE-FEC)信息和时间分段信息。MPE部分包含IP数据报。IP数据报具有IP版本(IPv6或IPv4)、源IP地址和目的IP地址。IP数据报包含用户数据报协议(UDP)段。UDP段包括源和目的端口信息(Scr Prt和Dst Prt)。UDP段携带单向传输上的文件传送(FLUTE)/异步分层编码(ALC)或实时传输协议(RTP)单元。FLUTE/ALC单元包括电子服务指南(ESG)和文件。RTP单元包括音频和视频数据。

解调器223对接收的广播信号执行解调，以输出TS包5a。TS包5a在去除包头之后被传送到解调控制器227，以恢复MPE部分5b。解调控制器227纠正MPE部分的错误以恢复IP数据报5c。协议处理器111处理UDP 5d、FLUTE/ALC 5e和RTP 5f。

参照图6A到图6C来描述时间分段和解调过程。如上所述，DVB-H对物理信道之内的多个服务信道进行复用。在如图6A所示被适时排列和复用之后，服务信道被发送。在本实施例中，假设在如图6A所示的10个服务信道(ch1到ch10)中选择信道3(ch3)。包括信道1到信道10(ch1到ch10)的持续时间由Δt来表示，服务信道ch3突发于物理信道，而其余的服务信道没有突发。因此，DVB-H系统向广播接收机150供电，以对选择的服务信道进行处理。通过服务信道ch3接收的广播信号如图6C所示被解调。

再次参照图4，广播接收机150包括调谐器210和广播数据解调单元220。广播数据解调单元220包括模拟数字(A/D)转换器221、解调器223、PID滤波器225、解调控制器227和缓冲器229。将调谐器210设置为匹配选择的服务信道的物理信道，以接收物理信道上的服务信道的信号。调谐器210包括：锁相环(PLL)215，用于产生物理信道的频率；混合器213，用于混合接收的广播信号和由PLL 215产生的频率；和频带路径滤波器217，用于对频带的信号进行滤波。

解调控制器227基于从控制器115输出的信道控制信号控制调谐器210将服务信道匹配到物理信道频率，并控制使用选择的服务信道的PID来设置PID滤波器225。控制器115分析从广播接收机150输出的节目专用信息/服务信息(PSI/SI)和包括在电子服务指南(EPG)中的SDP信息，以检查选择的服务信道的PID、IP和端口信息。如果由PID滤波器225进行滤波的PID是网络信息表(NIT)、服务描述表(SDT)和事件信息表(EIT)，则控制器115从节目专用信息(PSI)/服务信息(SI)检查服务信道和物理信道的PID。控制器115分析来自FLUTE数据5e(可包括在ESG数据中)的SDP，以检查用于区别服务信道的视频和音频数据的PID、IP和端口信息。因此，如果用户选择了服务信道，则控制器115输出信道数据，以对携带解调器223选择的服务信道的物理信道和服务信道的PID进行滤波。

解调控制器227设置携带由调谐器210选择的服务信道的物理信道频率，并使用选择的服务信道的PID来设置PID滤波器225。调谐器210接收物理信道频率上的广播信号。A/D转换器221将从调谐器210输出的信号转换为数字数据，并将该数字数据输出到解调器223。解调器223对该数字数据解调以恢复原始数据。解调器223可通过OFDM或COFM解调器来实现。解调的数据可以是MPEG2 TS包流5a，TS包包括用于标识服务信道的PID信息。PID滤波器225从解调的TS包流对具有选择的服务信道的PID的包进行滤波，并将PSI/SI传送到控制器115。PID滤波器225的输出包括多协议封装-前向纠错(MPE-FEC)和时间分段信息(见图5B)。如果提供了MPE-FEC和时间分段信息，则解调控制器227对接收的突发数据执行时间分段控制。也就是说，解调控制器227在时间分段信息的基础上控制调谐器210和解调器223的电源。时间分段信息包括关于选择的服务信道突发时间的信息，解调控制器227在选择的服务信道的突发期间控制向调谐器210和解调器223供电，并在其余时间切断电源。解调控制器227以MPE部分信息(见图5B)为基础对从PID滤波器225输出的服务信道的数据执行MPE-FEC功能。

如上所述，解调控制器227根据从控制器115输出的信道控制数据来控制调谐器210，以设置选择的服务信道的物理信道频率，并且解调控制器227使用选择的服务信道的PID来设置PID滤波器225。

解调控制器227还使用MPE部分信息，来控制用于减小广播接收机的功耗的时间分段操作，以及用于对接收的信号纠错的MPE-FEC功能，以提高接收率。解调控制器227输出的数据可以是IP数据报(见图5C)。

将调谐器210设置为匹配选择的服务信道的物理信道，解调器223将输出信号转换为数字数据，然后对数字数据解调。解调的数据具有MPEG TS格式(见图5A)，该MPEG TS格式具有用于标识与物理信道相应的服务信道的PID信息。PID滤波器225分析解调的数据的PID，并选择性地输出具有PSI/SI PID以及主服务信道和子服务信道的PID的解调的数据。具有与PSI/SI的PID列表相关联的PID的数据被传送到控制器115，选择的服务信道上的广播数据和包括ESG的广播信息被传送到解调控制器227。解调控制器227通过分析MPE部分数据(见图5B)控制对使用PID滤波的服务信道的数据的时间分段和纠错。

图7是示出根据本发明实施例的移动电话的广播接收机的操作的流程图。

在图7中，广播接收机150设置调谐器210的物理信道(S241)。图8是详细示出图7的物理信道设置过程的流程图。

参照图8，用于设置广播信道的频率的控制信号来自多媒体处理单元100，解调控制器227检测控制信号(S271)并且初始化调谐器210(S273)。接下来，解调控制器227将调谐器210的PLL 215设置到物理信道频率(S275)。在设置PLL 215之后，解调控制器227设置解调器223编码方案、编码率和保护间隔(S277)。

在设置物理信道之后，广播接收机150的调谐器开始输出在物理信道上接收到的广播信号。这时，广播接收机150将调谐器210的输出信号转换为数字数据(S243)，对该数字数据解调(S245)，并从解调的数字数据滤波具有适当的PID的数据(S247)。图9是详细示出图7的PID滤波过程的流程图。

参照图9，广播接收机150提取从解调器223输出的TS包的PID(S291)，然后确定TS包的PID是否与指定给用户选择的广播信道的PID相同(S293)。如果TS包的PID与选择的广播信道的PID相同，则广播接收机150分析TS包的PID(S295)，然后根据时间分段信息控制电源控制器230向调谐器210和广播数据解调单元220供电(S297)。如果TS包的PID与广播信道的PID不相同，则广播接收机150停止对PID的滤波。

接下来，在图7中，广播接收机150提取时间分段信息(S251)并存储提取的时间分段信息(S253)。广播接收机150缓冲MPE部分/FEC部分(S255)，然后确定是否成功地接收到所有突发数据(S257)。如果没有成功地接收到所有突发数据，则广播接收机150重复步骤S243。如果成功地接收到所有突发数据，则广播接收机150以Reed-Solomon解码方案对缓冲的MPE部分/FEC部分解码(S259)，并重复步骤S243。

在图7中，可在解调控制器227执行由虚线标记的步骤。

图10是示出图1的移动电话的协议处理器111的结构的示图。

参照图10，协议处理器111处理选择的服务信道数据的IP和其他协议信息，并提取视频和音频数据以及广播信息。视频编解码器117对从协议处理器111输出的视频数据解码，以通过显示器191进行显示。音频编解码器119对从协议处理器111输出的音频数据解码，以通过扬声器197进行输出。广播信息被传送到控制器115。

协议处理器111包括IP解封装器310、UDP解封装器320、FLUTE传送器330和RTP传送器340。

输入到IP解封装器310的选择的服务信道数据是包括源IP地址和目的IP地址的IP数据报(见图5C)。IP解封装器310通过对IP数据报解封装来提取IP信息。UDP解封装器320接收包含在IP数据报的净荷中的UDP段，并通过对UDP段(将图5D)解封装来提取源端口地址和目的端口地址(ScrPrt和Dst Prt)。UDP段的净荷包含FLUTE/ALC协议数据单元和RTP数据单元，从而UDP解封装器320将FLUTE/ALC数据单元传送到FLUTE传送器330并将RTP数据单元传送到RTP传送器340。

在FLUTE/ALC数据单元的情况下，净荷可包含ESG或数据文件，如XML、SDP、HTML、JPG、POL等。数据编解码器在控制器115的控制下对ESG和数据文件解码。在RTP数据单元的情况下，净荷可包含音频和视频数据，音频和视频数据分别由音频编解码器119和视频编解码器117解码。

为了处理FLUTE数据，控制器115可设置有ESG引擎(XML引擎和ESG解码器)、SPD解析器、PSI/SI解码器、用于控制和管理协议处理的协议信息控制器和管理器。控制器115处理从协议处理器111接收的协议信息和数据。也就是说，控制器115分析广播接收机150提取的PSI/SI信息(NIT、SDT、EIT)，以根据MPEG-2和DVB-SI标准来检查PSI/SI，并通过解析来自协议处理器111的ESG数据的SDP(广播的主数据集)来控制广播接收机150的一般操作。这时，在PID、IP信息和端口信息的基础上来识别服务信道、服务信道的ESG以及音频和视频数据。也就是说，PSI/SI和SDP设置有用于定义服务信道的标识符以及每个服务信道的音频、视频和ESG的标识符的表。因此，控制器115可参照PSI/SI解码结果和SDT来识别服务信道、音频和视频数据以及ESG数据。协议处理器111可集成到控制器115中。

控制器115控制广播接收机150和协议处理器111的路径。大多数MPEG2TS流和IP数据报携带音频和视频数据。也就是说，大部分的数据突发是音频和视频数据。控制器115分析在服务信道上接收的数据，根据分析结果操作部件，并设置部件之间的信号路径。例如，如果接收到MPE部分，则控制器115控制解调控制器227运行以接收突发信息，并且控制器115分析MPE部分数据以执行时间分段和MPE-FEC功能。如果接收到IPv6数据，则控制器115控制IP解封装器310提取IP信息。如果接收到UDP数据单元，则控制器115控制UDP解封装器320提取端口信息。如果接收到FLUTE/ALC数据单元，则控制器115控制FLUTE传送器330处理ESG和文件。如果接收到RTP数据单元，则控制器115控制RTP传送器340处理RTP数据单元，并将视频和音频数据传送到视频编解码器117和音频编解码器119。也就是说，控制器检查与接收的数据相关联的协议并激活负责识别的协议的部件。接收到的数据绕开在处理所述数据中未涉及的其他部件。

如果协议处理器11输出视频和音频数据，则视频编解码器117对视频数据解码，以通过显示器191输出。音频编解码器119对音频数据解码，以通过扬声器197进行输出。视频编解码器117可实现为H.264视频解码器或MPEG系列解码器，音频编解码器119可实现为AAC音频解码器。

下面详细描述相机160的操作。相机160的输出包括图像数据、同步信号和像素时钟。在相机模式下，源选择器170与相机160的输出相连接，并且电源控制器130向相机160提供驱动电源。相机160拍摄的相机数据经由源选择器170传送到多媒体处理单元100。这时，控制器115控制相机图像输入到视频编解码器117。相机数据的大小可能与屏幕大小不同。相机160的颜色数据可能与显示器呈现的颜色不同。因此，视频编解码器117对相机数据重定格式以适合于显示器191。为了记录相机数据，在将相机数据存储到存储器180之前，视频编解码器117对相机数据编码。在激活声音记录模式的情况下，控制器115控制视频编解码器117和音频编解码器119分别对通过相机160输入的视频数据和通过麦克风195输入的音频数据编码。

视频编解码器117和音频编解码器119可设置有：解码器，用于对从外部输入的视频和音频数据以及存储在存储器180中的视频和音频数据解码；和编码器，用于对从相机160输入的视频和音频数据编码。所述编解码器可根据编码和解码方案实现为多个编码器和解码器。

图11是示出根据本发明实施例的移动电话的视频编解码器的结构的方框图。

视频编解码器117包括编码器513和解码器523。编码器513包括MPEG4、JPEG、H.264和H.263编码模块，解码器523包括MPEG4、JPEG、H.264和H.263解码模块。编码器513和解码器523分别包括符合另外的编码/解码标准(如MPEG2)的其他编码和解码模块。视频解码器可实现有缩放器，用于将多媒体数据缩放以适合显示器191，并将多媒体数据的颜色数据转换为显示器191的颜色数据。

参照图11，编码器513设置有多个编码模块，并在控制器115的控制下选择一个编码模块。选择的编码模块对来自相机和广播接收机的原始数据编码，然后将编码的数据存储到存储器180。如果激活数据发送模块，则在控制器115的控制下通过RF单元140发送编码的数据。当记录数字广播信号时，因为接收的广播信号是编码的数据，所以接收的广播信号被直接存储到存储器180，视频编解码器117的视频解码器523将广播信号解码以通过显示器191进行显示。

视频解码器523在多媒体处理单元100的控制下选择一个解码模块，从而选择的解码模块对编码的视频数据(接收的DVB视频数据和存储在存储器180中的多媒体数据)解码。解码的数据的大小和颜色模型可能与显示器191支持的数据的大小和颜色模型不同。在这种情况下，解码的数据的大小和颜色模型应该被重新缩放并被转换为适合于显示器191。因此，在缩放器525重新缩放大小和转换颜色模型之后，通过显示器191显示解码的数据。

图12是示出图11的视频编解码器的操作的流程图。

参照图12，视频编解码器117在控制器115的控制下对输入的视频数据执行编码、解码和缩放(S551、S553、S571和S591)。

如果视频数据是没有编码的原始图像数据，则视频编解码器117检测原始图像数据(S551和S553)，并输出该原始图像数据。这时，多媒体处理单元100确定输入的图像数据的编码方案，并选择与选择的编码方案相应的编码模块(S557和S559)。选择的编码模块对图像数据执行编码(S561和S563)，然后将编码的图像数据存储到存储器180(S565)。如果激活发送模式，则在多媒体处理单元100的控制下通过RF单元140发送编码的视频数据。

如果视频数据是编码的图像数据，则视频编解码器117检测编码的图像数据(S551和S571)，并输入编码的图像数据(S573)。这时，多媒体处理单元100确定编码的图像数据的解码方案，并选择与选择的解码方案相应的解码模块(S575和S579)。选择的解码模块对编码的图像数据执行解码(S577和S581)，然后在显示器191的屏幕上显示解码的数据。解码的图像数据可能具有与显示器191支持的数据的大小和颜色模型不同的数据的大小和颜色模型。因此，视频编解码器117在多媒体处理单元100的控制下确定解码的图像数据是否需要被缩放。如果需要缩放解码的图像，则视频编解码器117在来自多媒体处理单元100的缩放信息的基础上对解码的图像数据执行缩放(S583)，然后在显示器191的屏幕上显示缩放的图像数据。如果不需要缩放，则选择的视频编解码器117的解码模块直接在显示器191的屏幕上显示解码的图像数据(S585)。

图像数据可不经过编码或解码处理被显示在显示器191的屏幕上。图像数据可以是从相机160输出的视频数据。在这种情况下，视频编解码器117接收缩放信息并对解码的数据执行缩放(S583)，然后通过显示器191输出缩放的数据。在解码的图像数据的颜色模型与显示器191支持的颜色模型不同的情况下，在缩放解码的图像数据的同时可执行颜色模型转换。

如所述，视频编解码器117从多媒体处理单元100接收关于编码、解码和缩放的控制信息，并操作用于处理输入的数据的编码和解码模块和/或缩放器。编码器以选择的编码方案对输入的图像数据编码，并将编码的图像数据存储到存储器180。解码器以选择的解码方案对编码的图像数据解码。如果需要缩放，则缩放器在将解码的数据发送到显示器191之前缩放解码的图像数据。

图13是示出根据本发明实施例的移动电话的音频编解码器的方框图，图14是示出图13的音频编解码器的操作的流程图。

图13的音频编解码器的结构类似于图11的视频编解码器的结构，并且音频编解码器的操作类似于图12的视频编解码器的操作。因此，省略对音频编解码器及其操作的详细描述。

上述结构的多媒体处理设备能够接收数字广播信号，处理相机数据并实现视听电话。在本发明中，多媒体处理设备是移动电话。多媒体处理单元100包括协议处理器111、视频编解码器117和音频编解码器119。多媒体处理单元100的一般操作由控制器115控制。控制器115控制多媒体处理单元100的全部部件。

图15是示出根据本发明实施例的移动电话的操作的流程图。

参照图15，控制器115在空闲模式下等待键输入(S701)并确定是否通过键区193或菜单屏幕输入信号(S703)。如果输入了信号，则控制器115选择多媒体模块(S705、S707和S709)。如果选择了DVB-H模块(广播接收机)，则控制器115控制源选择器170和电源控制器130将广播接收机150的输出连接到多媒体处理单元100，并向广播接收机150供电(S711和S713)。控制器115还输出信道控制信息和解调控制信息，以设置广播接收机150的物理信道频率，以便广播接收机150接收用户选择的服务信道的广播信号并对接收的广播信号执行解调。控制器115控制多媒体处理单元100操作协议处理器111、与视频编解码器117相应的视频解码器以及与音频编解码器119相应的音频解码器。当表现DVB-H广播信号的图像的大小和颜色模型与屏幕大小和显示器191支持的颜色模型不同时，控制器115控制缩放器525将广播信号的图像重定格式以适合于屏幕大小和显示器191支持的颜色模型。接下来，控制器115处理通过广播接收机150接收的DVB-H广播信号(S717)。根据图16的过程来处理DVB-H广播信号。

如果选择了相机160，则控制器115控制源选择器170和电源控制器130将相机160的输出连接到多媒体处理单元100，并向相机160供电(S719和S721)。控制器115初始化相机160和麦克风195，以播放和记录通过相机160输入的视频信号和通过麦克风195输入的音频信号(S723)。控制器115控制多媒体处理单元100禁止协议处理器111的操作，以操作与视频编解码器117相应的视频编码器以及与音频编解码器119相应的音频编码器，并且操作视频编解码器117的缩放器525缩放视频信号以适合于显示器191的屏幕大小，并将视频信号的颜色模型转换为显示器191支持的颜色模型。如果禁止记录模式，则使视频编解码器117和音频编解码器119无效，并且通过缩放器525对通过相机160输入的视频数据的大小和颜色模型重定格式，以在显示器191的屏幕上显示。接下来，控制器115处理通过相机160和麦克风195输入的视频和音频数据(S725)。根据图17的过程处理通过相机160输入的视频数据。

如果选择了视听电话，则控制器115控制源选择器170将相机160的输出连接到多媒体处理单元100并控制电源控制器130向相机160供电(S727和S729)。控制器115还初始化相机160、RF单元140、扬声器197、显示器191和麦克风195，以发送、重放和记录通过相机160输入的视频数据和通过麦克风195输入的音频数据(S731)。控制器115控制多媒体处理单元100禁止协议处理器111，并操作视频编解码器117和音频编解码器119的特定视频编码器和音频编码器。控制器115还控制缩放器525缩放视频图像的大小并转换视频图像的颜色模型，以便在显示器191的屏幕上显示。当禁止记录模式时，控制器115控制使视频编解码器117和音频编解码器119无效，但是使缩放器525能够重新缩放通过相机160和/或RF单元140输入的视频图像，以适合于显示器191的屏幕大小。接下来，控制器115控制播放通过RF单元140输入的视频和音频数据，并通过RF单元140发送通过相机160和麦克风195输入的视频和音频数据。根据图16的过程操作视听电话功能。

图16是示出根据本发明实施例的移动电话中处理DVB-H广播信号的过程的流程图。

参照图16，如果用户选择了DVB-H系统的服务信道，则控制器115检测服务信道的选择(S751)，并配置将广播接收机150连接到多媒体处理单元100的接口(S753)。这时，通过控制与广播接收机150相关联的电源控制器130和源选择器170的协作来执行接口配置。

接下来，控制器115初始化广播接收机150和多媒体处理单元100(S755)。通过在广播数据解调单元220设置与用户选择的服务信道以及选择的服务信道的PID相应的调谐器210的物理信道，来执行广播接收机150的初始化。多媒体处理单元100激活协议处理器111，并从视频编解码器117和音频编解码器119选择视频解码器和音频解码器。如果激活了记录模式，则多媒体处理单元100控制复用器113对视频和音频数据进行复用并将复用的视频和音频数据存储到存储器180。

广播接收机150可具有如图4所示的结构。广播接收机150的调谐器210接收DVB-H系统的物理信道频率上的广播信号；广播数据解调单元220将广播信号转换为数字信号，对数字信号解调，通过滤波处理提取具有用户设置的PID的广播信号，并在缓冲器229中积累滤波的广播信号。

缓冲器229中排队的广播数据具有IP数据报(见图5C)的格式。缓冲的数据通过源选择器170被传送到多媒体处理单元100(S757)。广播信号作为如图6A所示的数据突发被接收，从而广播数据解调单元220使用选择的服务信道的PID对数据突发进行滤波。如果完成缓冲，则广播数据解调单元220产生中断信号并以直接存储器存取(DMA)方案将缓冲的数据发送到多媒体处理单元100。也就是说，广播接收机150对突发的广播信号解调，并将解调的广播信号发送到多媒体处理单元100。

如果输入了广播信号，则控制器115对IP数据报(见图5C)执行解封装，以获得携带视频和音频数据的FLUTE数据单元(见图5E)和RTP数据单元(见图5F)(S759)。FLUTE数据单元被传送到控制器115，RTP数据单元被传送到视频编解码器117和音频编解码器119。通过用于识别与发送广播数据相关联的协议的协议处理器111执行协议处理。通过控制器115的数据编解码器处理FLUTE数据，并分别通过视频编解码器117和音频编解码器119处理包括视频/音频数据的RTP数据。也就是说，控制器115根据用户选择的操作模式(重放模式和记录模式)处理DVB-H广播信号。

在重放模式下，控制器115检测重放模式的激活(S763)；将缓冲的视频和音频数据分别传送到视频编解码器117的视频解码器和音频编解码器119的音频解码器(S765)；并通过视频编解码器117和音频编解码器119对视频和音频数据解码(S767)。可根据图12的解码过程在如图11所示的结构的视频编解码器117执行视频解码，并可根据图14的解码过程在如图13所示的结构的音频编解码器119执行音频解码。接下来，控制器115控制在显示器191的屏幕上显示解码的视频数据并通过扬声器197输出解码的音频数据(S769)。直到接收到停止重放的指令(S771)，处理才返回步骤S759，从而控制器115重复重放过程。

如上所述，在DVB-H重放模式下，广播接收机150对广播信号解调并缓冲解调的广播信号。缓冲的数据以DMA方案被传送到多媒体处理单元100。多媒体处理单元100检查与接收的数据相关联的协议，根据相关联的协议对数据解码以在显示器191的屏幕上进行播放。数据突发携带将在1到4秒内被播放的数据量。

在记录模式下，控制器115检测记录模式的激活(S773)，并执行记录和重放。广播信号可不经过编码处理而被直接记录，或者在以不同的编码方案进行编码之后被记录。也就是说，接收的视频和音频信号是已编码的信号，从而在正常记录模式下视频和音频信号可不经过编码处理而被直接存储。然而，在以不同的编码方案记录广播信号的情况下，接收的广播信号被解码，然后在以新的编码方案进行编码之后被存储。

在正常记录模式下，控制器115检测正常记录模式的激活(S775和S787)，并根据与接收的广播数据相关联的协议对视频和音频数据解码(S789和S791)。在对视频和音频数据解码之后，在播放解码的视频和音频数据(S785)的同时，控制器115将复用的视频和音频数据存储到存储器180。步骤S789和S791可以类似于步骤S765和S767来执行。

在以不同的格式记录广播数据的情况下，在协议处理之后，控制器115控制将接收的广播数据解码为视频和音频数据并播放所述视频和音频数据，并且以新设置的编码方案对解码的视频和音频数据编码并将新编码的视频和音频数据存储到存储器180(S781和S783)。步骤S777、S779、S781和S783可以类似于步骤S765和S767来执行。

如上所述，如果选择了DVB-H模式，则控制器115控制电源控制器130和源选择器170，以便将广播接收机150的输出连接到多媒体处理单元100，并对广播接收机150设置与用户所选的服务信道及服务信道的PID相应的频率。控制器115还设置处理DVB-H广播信号的视频和音频功能。广播接收机150对广播信号解调，缓冲解调的信号，将缓冲的信号发送到多媒体处理单元100，并在完成发送之后产生中断。每当检测到中断时，控制器115就执行协议处理以提取视频和音频数据，并通过各视频和音频解码器对视频和音频数据解码。在记录模式下，在播放视频和音频数据的同时，不经过编码处理，直接将视频和音频数据存储到存储器180。如果需要具有不同的格式的广播数据，则对接收的广播数据编码并在以新的编码方案进行编码之后存储编码的广播数据。

在接收数字广播信号的同时可能发生4种事件。所述事件包括广播结束、信道切换、重放和记录。可通过节目终止呼叫来执行广播结束。如果发生信道切换，则根据与用户选择的服务信道和该服务信道的PID相应的频率信道来设置广播接收机150。可根据图16的过程来执行重放和记录。

图17是示出根据本发明实施例的处理通过移动电话的相机输入的视频信号的过程的流程图。

参照图17，在相机模式下，控制器115检测相机的激活(S811)，并配置接口以将相机160的输出连接到多媒体处理单元100(S813)。接口配置可以以电源控制器130和源选择器170的协作来执行。在这种情况下，禁止协议处理功能。相机160包括图像传感器和用于将投射到图像传感器的图像转换为数字数据的信号处理器。接下来，控制器115检查用户选择的操作模式(S815)。操作模式包括预览模式、静止图像记录模式和运动图像记录模式。

如果选择了预览模式，则控制器115检测预览模式的激活(S817)，并设置视频编解码器的缩放值(S819)。在预览模式下，相机拍摄的图像没有被存储，而是被显示在显示器191的屏幕上。因此，控制器115扩展放大或缩小相机拍摄的图像，以适合于显示器191的屏幕大小(S821)，然后将缩放的图像显示在显示器191的屏幕上。可通过视频编解码器117的缩放器525来执行缩放操作。因为相机的颜色模型可以与显示器191的颜色模型不同，例如，相机160的YUV颜色模型与显示器191的RGB颜色模型，所以除了缩放器之外，视频编解码器117还可设置颜色转换器。在这种情况下，控制器115除了缩放处理之外，还执行颜色转换处理(S821)。

如果选择了静止图像记录模式，则控制器115检测静止图像记录模式的激活(S825)，并设置对通过相机160输入的视频数据编码的编码方案(S829)。编码方案用于对静止图像(例如，视频帧的视频数据)编码，可以是JPEG或GIF编码方案。在设置编码方案之后，控制器115以所述编码方案对视频数据编码(S831)，然后将编码的视频数据存储到存储器180(S835)。在静止图像记录模式下，在预设的持续时间内将相机160拍摄的静止图像显示在显示器191的屏幕上。控制器115对视频数据执行缩放(S833)，然后将缩放的视频数据显示在显示器191的屏幕上(S835)。

通过在预览模式下按下“保存键”来激活静止图像记录模式。静止图像的编码方案可由用户来设置。如果没有设置编码方案，则采用预设的缺省设置。如果激活了预览模式，则控制器115显示通过相机160输入的视频数据(S817到S823)。如果在显示视频图像的同时按下保存键，则控制器115以预设的编码方案对当按下保存键时捕获的视频数据编码，并将其存储到存储器180(S829到S835)。在预定的时间期间内显示捕获的视频数据，然后相机160再次进入预览模式。

如果选择了运动图像记录模式，则控制器115检测运动图像记录模式的激活(S837)，并设置对通过相机160输入的视频数据编码的编码方案(S841)。运动图像编码方案可由用户设置，如果没有设置运动图像编码方案，则采用预设的缺省设置。运动图像可与通过麦克风195输入的音频信号一起被记录。控制器115设置视频和音频数据的编码方案(S841)。接下来，控制器115以选择的视频编码方案对通过相机160输入的视频数据编码，并以选择的音频编码方案对通过麦克风195输入的音频数据编码(S843)。视频数据编码可根据图12的过程使用如图11结构的视频编解码器117来执行，音频数据编码可根据图14的过程使用如图13结构的音频编解码器119来执行。接下来，控制器115将视频编码数据存储到存储器180(S845)。当激活运动图像记录模式时，视频和音频数据被缩放，并在被存储到存储器的同时分别通过显示器191和扬声器197被输出。也就是说，控制器115放大/缩小从相机160输入的视频数据(S843)，通过显示器191显示缩放的视频数据(S845)，并通过扬声器197输出输入的音频数据。

在运动图像记录模式的操作期间，多媒体处理单元100在记录通过相机160输入的运动图像信号的同时，通过显示器191将视频图像显示为预览图像。多媒体处理单元100设置用于运动图像记录的对视频和音频数据编码的编码器，以预设的编码方案对视频和音频数据编码，并在大小缩放和颜色模型转换之后通过显示器191显示视频数据和通过扬声器197输出音频数据的同时，将编码的视频和音频数据存储到存储器。

图18是示出根据本发明实施例的移动电话的视听电话操作的流程图。

参照图18，如果选择了视听电话功能，则控制器115检测视听模式的激活(S851)，并配置接口以将相机160连接到多媒体处理单元100(S853)。接口配置可以以电源控制器130和源选择器170的协作来执行。这时，禁止协议处理功能。相机160包括图像传感器和用于将投射到图像传感器的图像转换为数字数据的信号处理器。接下来，控制器115检查视听电话信号(S855)。如果视听信号是去电信号，则控制器115对通过相机160输入的视频数据和通过麦克风195输入的音频数据编码，并通过RF单元140发送编码的视频和音频数据(S857)。如果视听信号是来电信号，则控制器115对通过RF单元140接收的视频和音频数据解码，并分别通过显示器191和扬声器197输出解码的视频和音频数据。

在视听电话的发送过程中，控制器115选择视频和音频编码方案(S859)。接下来，控制器115以选择的视频编码方案对通过相机160输入的视频数据编码，并以选择的音频编码方案对通过麦克风195输入的音频数据编码(S861)，然后通过RF单元140发送编码的视频和音频数据(S863)。在步骤S863，可缩放视频数据以适合于显示器191。

在视听电话的接收过程中，如果通过RF单元140接收到视听电话信号，则控制器115选择视频和音频解码方案(S869)。接下来，控制器115以选择的视频和音频解码方案对视听电话信号解码(S871)，然后分别通过显示器191和扬声器197输出解码的视频和音频数据。可缩放解码的视频数据以适合于显示器191。

如上所述，如果激活视听电话功能，则多媒体处理单元100选择编码和解码方案。以选择的编码方案对去电视频和音频信号编码，然后通过RF单元140进行发送。以选择的解码方案对来电视频和音频信号解码，然后通过显示器191和扬声器197进行输出。在视听电话模式下，来电视频数据被显示在显示器191的屏幕上。去电视频数据可以以画中画形式被显示。这个过程持续到视听电话模式结束。如果检测的通信终止(S865)，则控制器115结束视听电话模式。

如上所述，本发明的移动电话包括多媒体处理单元，其可处理从包括广播接收机的不同的多媒体模块输入的信号。为了使多媒体处理单元能够处理从不同的多媒体模块输入的信号，移动电话设置有源选择器170和电源控制器130，其中，源选择器170接通不同的多媒体模块，电源控制器130向选择的多媒体模块供电。多媒体处理单元100控制多个部件的协作，以适当地处理从选择的多媒体模块输入的多媒体数据。多媒体处理单元100控制视频和音频编解码器以选择用于处理多媒体数据的编码器和解码器。视频和音频编解码器可以由各多媒体模块共享。

下面描述用于同时显示从多个多媒体模块输入的多媒体数据的多信道输出操作。在本实施例中，多媒体模块是广播接收机150和相机160。多图像显示可以使用PIP来实现。主信道视频数据被显示在整个屏幕上，而子信道视频数据被显示在主信道视频数据的一部分上。主信道视频数据在播放音频数据的同时一起显示，而子信道视频数据没有音频输出的情况下显示。

图19是示出根据本发明实施例的移动电话的结构的方框图。

除了多源处理单元113之外，图19的移动电话的结构与图1的移动电话的结构相同。多源处理单元113对从视频编解码器117输入的多个视频数据进行复用，以同时在显示器191的屏幕上显示多个视频图像。

控制器115根据通过键区195输入的用户命令控制移动电话的一般操作。用户命令包括用于选择主源和子源的源选择命令和重放命令。在本实施例中，分别将广播接收机150和相机160选择为主源和子源。如果选择了主源和子源，则控制器115检测多源处理模式的激活，并控制多源处理单元113在显示器191的屏幕上显示主图像和子图像。

在本实施例中，广播接收机是DVB-H广播接收机。DVB-H系统使用时间分段技术来接收广播信号，以便DVB-H广播接收机仅在分配给选择的服务信道的时隙中操作。因此，控制器115在电源控制器130和源选择器170的协作下，控制通过分配给选择的信道的时隙来接收广播信号并通过其余的时隙来从其他多媒体模块接收多媒体信号。所述其他多媒体模块是相机。

图20A到图20D是示出图19的移动电话中处理从多个源输入的多媒体数据的时序控制的示意图。

参照图20A到图20D，DVB-H频率信道包括时分复用的服务信道。在图20A中，物理信道发送9个服务信道(ch1到ch9)并且第二服务信道ch2被选择。从第一服务信道ch1到第九服务信道ch9的持续时间为Δt(信道突发)。数据突发于第二服务信道，而在其余的服务信道没有突发。在分配给第二服务信道ch2的时隙期间，控制电源控制器130来向广播接收机150供电，并控制源选择器170，以便在分配给第二服务信道ch2的时隙期间用于发送的广播接收机150将接收的广播信号连接到多媒体处理单元100。多媒体处理单元100在Δt中处理通过服务信道ch2接收的广播数据。

电源控制器130可如图2A所示来配置。电源控制器130以图20B所示的模式向广播接收机150供电，并以图20C所示的模式向相机160供电。在图20B和图20C中，在广播服务信道持续期间，电源控制器130向广播接收机150供电并切断相机160的电源。这时，源选择器170选择广播接收机150的输出。另一方面，在其余的持续时间，电源控制器130向相机160供电并切断广播接收机150的电源。

在多源处理模式下，电源持续时间对应于Δt。广播接收机150在分配给选择的服务信道的时隙中操作，而相机160在其余时隙中操作。以图20D的模式将相机160的输出提供给多媒体处理单元100。

在上述结构的移动电话中，如果用户选择主多媒体源和子多媒体源，则多媒体处理单元100在每Δt从选择的主多媒体源和子多媒体源接收多媒体数据，并在显示器191的屏幕上同时显示来自主多媒体源和子多媒体源的多媒体数据。来自主多媒体源和子多媒体源之一的多媒体数据与音频数据一起播放。在本实施例中，来自主多媒体源的多媒体数据与音频数据一起播放。如果支持多图像显示，则移动电话可显示来自至少两个不同多媒体源的多个图像。在本实施例中，广播接收机150是主多媒体源，相机160是子多媒体源。

图21是示出根据本发明实施例的移动电话的多媒体处理单元的方框图。

参照图21，为了同时显示表现来自广播接收机150和相机160的多媒体数据的画面，视频编解码器117设置有主视频输入缓冲器410、子视频输入缓冲器415、主视频输出缓冲器420和子视频输出缓冲器425。因为从广播接收机150输入的视频数据是编码的数据，所以视频编解码器117通过解码器523对来自广播接收机150的编码的视频数据解码，并且从相机160输入的视频数据通过缩放器525被缩放，以适合于显示器191。如果对从广播接收机150和相机160之一输入的多媒体数据设置了记录模式，则编码器513被激活以执行对将被记录的多媒体数据的编码。记录操作的详细描述被省略。

经由协议处理器111从广播接收机150输入的视频数据在主视频输入缓冲器410中被缓冲，从相机160输入的视频数据在子视频输入缓冲器415中被缓冲。控制器115控制视频编解码器117选择解码器523，对来自广播接收机150的多媒体数据解码，并操作缩放器525对来自相机160的多媒体数据重新缩放。控制器115控制将在主视频输入缓冲器410中缓冲的视频数据(DVB-H视频数据)传送到视频编解码器117的解码器523，将在子视频输入缓冲器415中缓冲的视频数据传送到视频编解码器117的缩放器525。DVB-H视频数据作为主视频数据被实时地显示。DVB-H视频数据根据视频解码控制信号被解码。视频解码控制信号包括解码时间戳(DTS)和显示时间戳(PTS)。DTS是用于控制在视频编解码器117的解码器523中对视频帧数据解码的时间的解码起始信号，PTS是用于控制呈现存储在主视频输出缓冲器420中的视频数据的时间的呈现控制信号。

如果产生DTS信号，则解码器523开始对在主视频输入缓冲器410中缓冲的DVB-H视频数据解码，并在主视频输出缓冲器420中对解码的DVB-H视频数据进行缓冲。

如果产生PTS信号，则解码器523开始对在主视频输入缓冲器410中缓冲的DVB-H视频数据解码，在主视频输出缓冲器420中对解码的DVB-H视频数据进行缓冲，并输出在主视频输出缓冲器420中缓冲的解码的DVB-H视频数据。

在子视频输入缓冲器415中缓冲的相机视频数据被传送到视频编解码器117的缩放器525。缩放器525重新缩放相机视频数据，以适合于显示器191，并使所述视频数据适合于显示器191的颜色模型。如果启动子视频数据记录模式，则控制器115将相机视频数据传送到编码器523，以便编码器523对相机视频数据编码，并将编码的视频数据存储在存储器180中。

通过分配给用户选择的服务信道的时隙来接收DVB-H视频数据，通过其余的时隙来接收相机视频数据。多源处理单元113处理DVB-H视频数据和相机视频数据，以便以多图像屏幕(例如，PIP)的形式通过显示器191同时显示DVB-H视频数据和相机视频数据。

如上所述，解码的DVB-H视频数据和相机视频数据被处理为呈现在显示器191的屏幕上的主视频数据和子视频数据。主视频数据以全屏模式来显示，子视频数据以窗口模式(即，PIP模式)来显示，以在屏幕的一部分被呈现。在PIP模式下，子视频数据可被同样处理，或者可被调整大小。帧数据的调整大小可通过多源处理单元113来执行。当主视频数据和子视频数据被同时显示在屏幕上时，屏幕可以被分开，从而以相同的尺寸显示主视频数据和子视频数据。此外，可以在以全屏幕模式显示的主视频数据的一部分形成的窗口中显示子视频数据。在这种情况下，子视频数据窗口可被固定在屏幕的特定部分并根据用户的操作而被移动。

图22A到图22C是示出图19的移动电话多源处理单元的结构的方框图。

在图22A到图22C中，主视频输出缓冲器430和子视频输出缓冲器435可以分别与图21的主视频输出缓冲器420和子视频输出缓冲器425相同。也就是说，多媒体处理单元的主视频输出缓冲器420和子视频输出缓冲器425可由视频编解码器117和多源处理单元113共享。

在图22A的多源处理单元113的结构中，输入到子视频输出缓冲器435的子视频数据是由视频编解码器117处理的调整大小的视频数据或者是原始视频数据，并且子视频数据在显示器191的屏幕上的固定位置显示。在图22B的多源处理单元113的结构中，子视频数据根据用户设置或者以预设的大小由大小调整器450调整大小，并且子视频数据在显示器191的屏幕上的固定位置显示。在图22C的多源处理单元113的结构中，子视频数据根据用户设置或者以预设的大小被调整，并且子视频数据在显示器191的屏幕上的呈现位置由用户确定。

在图22A到图22C中，多源处理单元113设置有子视频输出缓冲器435。然而，子视频输出缓冲器的数量可根据激活的多媒体源的数量来改变。也就是说，在本实施例中，DVB-H视频数据和相机数据被选择同时显示，然而，包括主视频源的多于两个多媒体源可被选择同时显示在显示器191的屏幕上。以这种方式，可以与视频编解码器117的多个输入和输出缓冲器协作来处理从多于两个多媒体源输入的多媒体视频数据。在多画面显示模式下，主视频数据和子视频数据的位置和大小应该被预先设置。例如，如果多画面显示模式是PIP模式(其中，主视频数据和子视频数据被称为PIP背景图像和PIP重叠图像)，则PIP重叠图像以固定大小显示在屏幕中的PIP背景图像上的固定位置。PIP重叠图像的显示位置和大小可由用户设置。如果确定了PIP重叠图像的位置和大小，则控制器115控制组合器440在屏幕上按帧显示PIP背景图像和PIP重叠图像。在显示器191支持1600*900分辨率的情况下，PIP重叠图像的大小和显示位置可通过451到900行和第801到第1600像素来设置。控制器115产生分配了用于PIP背景图像的屏幕的第1行到第450行的显示控制信号。接下来，为了输出第451行到第900行的像素数据，控制器115产生用于将PIP背景图像的视频数据分配到第1像素到第800像素并将PIP重叠图像的视频数据分配到第801像素到第1600像素的显示控制信号。如上所述，控制器115将显示控制信号输出到组合器440，以在屏幕上的PIP背景图像区域显示在主视频输出缓冲器430中缓冲的视频数据，并在屏幕上的PIP重叠图像区域显示在子视频输出缓冲器435中缓冲的视频数据。也就是说，组合器440根据控制器115产生的显示控制信号将来自主视频输出缓冲器430和子视频输出缓冲器435的视频数据组合，以在显示器191的屏幕上的相应区域显示PIP背景图像和PIP重叠图像。

组合器440可实现为复用器或混合器。

在混合器440实现为复用器的情况下，控制器115控制复用器对PIP背景图像的视频数据和与PIP背景相应的PIP重叠图像的视频数据进行复用，并将显示器191的屏幕上的图像显示区域重叠。也就是说，复用器在显示器191的屏幕上将PIP背景图像输出到PIP背景图像区域，将PIP重叠图像输出到PIP重叠图像区域。因此，PIP重叠图像显示在PIP背景图像中。

在组合器440实现为混合器的情况下，权值被添加到用于PIP背景图像的主视频数据和用于PIP重叠图像的子视频数据。通过将权值(0用于主视频数据，1用于子视频数据)添加到视频数据，子视频数据显示在预设的PIP重叠图像区域。

如果将用于子视频数据的权值设置为大于用于主视频数据的权值，则子视频数据在显示器191的屏幕上被显示为PIP重叠图像。

参照图22A，主视频输出缓冲器430缓冲视频编解码器117解码的DVB-H视频数据，子视频输出缓冲器435缓冲从视频编解码器117输出的相机视频数据。

在图22A的多源处理单元113中，PIP重叠图像的大小和位置被预先设置。在这种情况下，PIP重叠图像的大小和位置不能由用户改变。因此，组合器440在控制器115的控制下将分别在主视频输出缓冲器430和子视频输出缓冲器435中缓冲的DVB-H数据和相机视频数据输出显示器191。

参照图22B，主视频输出缓冲器430缓冲视频编解码器117处理的主视频数据，子视频输出缓冲器435缓冲视频编解码器117处理的子视频数据。在图22B的多源处理单元113中，PIP重叠图像的大小可被改变，而PIP重叠图像的位置为固定在屏幕上。因此，用户可改变PIP重叠图像的大小，而不能改变PIP重叠图像的位置。

子视频输出缓冲器435中缓冲的广播数据在显示器191的屏幕上可修改大小。PIP重叠图像的大小可由用户选择或者由缺省固定。也就是说，可在多源显示设置屏幕上选择PIP重叠图像的大小。在这种情况下，控制器115确定将被用户改变的PIP重叠窗口的长宽比或固定的长宽比。对大小调整器450设置长宽比。大小调整器450可由缩放器替代。缩放器可根据PIP重叠窗口的长宽比通过规则地修剪像素来保持PIP重叠图像。缩放器可选择占据全部视频数据的特定区域的像素，并使用选择的像素显示PIP重叠图像

组合器440将在主视频输出缓冲器430中缓冲的视频数据作为PIP背景图像显示在显示器191的屏幕上，将在子视频输出缓冲器435中缓冲的视频数据作为PIP重叠图像显示在显示器191的屏幕上。组合器可实现为复用器或混合器。

在图22C的多源处理单元113中，PIP重叠图像的大小和位置可由用户改变。主视频输出缓冲器430缓冲视频编解码器117处理的主视频数据，子视频输出缓冲器435缓冲视频编解码器117处理的子视频数据。大小调整器455改变在子视频输出缓冲器435中缓冲的子视频数据的大小，以适合于PIP重叠图像窗口。

子视频数据可显示在显示器191的屏幕上的固定位置，并且所述位置可由用户决定。在这种情况下，控制器115控制位置确定单元465确定将子视频数据布置在图屏幕上的位置。当激活多视频显示模式时，表现子视频数据的PIP重叠图像的位置可由用户设置。如果用户设置了PIP重叠图像的位置，则控制器115控制位置确定单元465在显示器191的屏幕上对子视频数据的位置进行定位。如果用户没有设置PIP重叠图像的位置，则控制器115控制位置确定单元465在显示器191的屏幕上的缺省位置输出子视频数据。

组合器440将在主视频输出缓冲器430中缓冲的主视频数据输出到显示器191，然后将子视频输出缓冲器435中缓冲的子视频数据输出显示在显示器191的屏幕上的PIP重叠图像的位置。组合器440可实现为复用器或混合器。

在图22C中，大小调整器455和位置确定单元465串联地布置在子视频输出缓冲器435和组合器440之间。在这种情况下，控制器115根据用户选择控制大小调整器455和位置确定单元465确定PIP重叠图像的大小和位置。

通过如图22C所示的多源处理单元113的结构，在主视频数据显示为PIP背景图像的同时，子视频数据可作为PIP重叠图像以预设大小显示在屏幕上的预设位置。

虽然图22C的多源处理单元113包括大小调整器455和位置确定单元465，但是可省略大小调整器455。在这种情况下，PIP重叠图像的大小是固定的，PIP重叠图像的位置可由用户重新设置。

在图22A到22C中，仅使用一个PIP重叠图像来解释本发明，然而，多源处理单元113可实现为同时显示多个PIP重叠图像。

为了同时显示主视频数据和子视频数据，可将屏幕分开，以便以相同的大小显示主视频数据和子视频数据。在这种情况下，可使用用于对主视频数据调整大小的大小调整器。也就是说，需要两个大小调整器来对主视频数和子视频数据调整大小，所述两个大小调整器处理主视频数和子视频数据，以在通过将屏幕分开形成的各区域显示主视频数和子视频数据。即使当主视频数据和子视频数据的大小彼此不同时，如果主视频数据没有以全屏模式被显示，则大小调整器可用于对主视频数据调整大小。

下面描述上述结构的移动电话的多图像显示操作。

图23是示出根据本发明实施例的用于移动电话的多图像显示过程的流程图。

参照图23，如果用户输入多图像处理功能请求，则控制器115控制将选择的多媒体模块显示为主视频数据源和至少一个子视频数据源。在本实施例中，假设主多媒体数据源是广播接收机150，子多媒体数据源是相机160。如果广播接收机150被选择为主多媒体数据源，则控制器115操作广播接收机150(S901)。如果用户选择了服务信道，则控制器115设置分配给选择的服务信道的PID、IP地址和端口号。可通过分析从广播接收机150接收的PSI/SI来检查PID，并且可使用ESG的SDP信息来检查IP和端口信息。

如果相机160被选择为子多媒体数据源，则控制器115操作相机160(S903)。这时，控制器115可在屏幕上设置子视频数据的大小和位置。如果没有设置子视频数据的大小，则使用缺省大小。如果输入了呈现位置信息，则控制器115控制多源处理单元113对子视频数据的位置进行定位。如果没有输入呈现位置信息，则将子视频数据显示在缺省位置。

在选择了主视频数据源和子视频数据源并设置了子视频数据的大小和位置之后，控制器115控制电源控制器130和源选择器170从广播接收机150和相机160收集数据。控制器115如下进行控制，即，电源控制器130在分配给选择的服务信道(例如，图6A的信道ch3和图20中的信道ch2)的时隙向广播接收机150供电，以将广播接收机150的输出连接到多媒体处理单元100，并且电源控制器130在其余时隙向相机160供电，以将相机160的输出连接到多媒体处理单元100。

控制器160以这种方式来操作多媒体模块并处理来自多媒体模块的多媒体输出。如果输入了视频数据，则控制器115确定是从主视频数据源还是从子视频数据源输入多媒体数据(S905)。如果从主视频数据源，即，广播接收机150输入多媒体数据(S905)，则控制器115控制视频编解码器117和音频编解码器119分别处理多媒体数据的视频和音频数据。接下来，控制器115控制多源处理单元113处理将被输出为主视频数据的视频数据(S911)并将主视频数据作为PIP背景图像显示在显示器191的屏幕上。如果从子视频数据源，即，相机160输入多媒体数据(S905)，则控制器115控制视频编解码器117处理来自相机160的视频数据(S909)。接下来，控制器115控制多源处理单元113处理将被输出为子视频数据的视频数据(S911)，并将子视频数据作为PIP背景图像显示在显示器191的屏幕上(S913)。如果没有输入终止命令，则控制器115返回步骤S905并在步骤S915重复输入的视频数据处理。如上所述，如果主多媒体源是广播接收机150并且子多媒体源是相机160，则控制器115控制视频编解码器117的解码器523对从广播接收机150输入的视频数据解码(S907)，并且视频编解码器117的缩放器525缩放从相机160输入的视频数据并转换该视频数据的颜色模型以适合于显示器191(S907)。接下来，控制器115控制多源处理单元113将相机视频数据调整大小为预设的PIP重叠图像，并对调整大小的相机视频数据与广播接收机视频数据进行复用(或混合)，从而相机视频数据在表现广播接收机视频数据的PIP背景图像上的某个位置被显示为PIP重叠图像(S911)。

主视频数据和子视频数据可呈现在大小彼此相等的显示窗口中，并且可以以PIP的形式来呈现。子视频数据可显示在固定大小的子视频窗口中，或者显示在其大小可由用户改变的可调整大小的子视频窗口中。子视频窗口的位置可以固定在显示器191的屏幕上，或者在显示器191的屏幕上可由用户的操作来改变。

图24A是示出根据本发明实施例的移动电话中对主视频数据和子视频数据进行复用的过程的流程图。在图24A中，子视频图像被调整大小到子视频窗口中，并且子视频窗口作为PIP重叠图像显示在作为PIP背景图像的主视频窗口上。

参照图24A，控制器115控制将在子视频输出缓冲器435中缓冲的视频数据调整为预定的子视频窗口大小(S931)。这时，子视频窗口的大小可以是固定的或者可由用户调整大小。调整大小的功能可由缩放器来实现，所述缩放器可通过缩放全部像素或选择子视频图像的区域中的像素来对子视频图像调整大小。在对子视频图像调整大小的同时或之后，控制器115控制将在主视频输出缓冲器430中缓冲的视频数据输出到显示器191(S933)。控制器115检测屏幕上的子视频图像显示区域(S935)，然后对子视频数据和主视频数据进行复用(或混合)(S937)。通过对子视频数据和主视频数据进行复用或混合，主视频数据显示为PIP背景图像，子视频数据显示为PIP重叠图像。在显示PIP重叠图像的同时，子视频数据可以与主视频数据混合，或者不与主视频数据混合。

PIP背景图像和PIP重叠图像可通过在屏幕上的预设位置对主视频数据和调整大小的子视频数据进行复用而被同时显示。上述处理按帧来执行。因此，PIP背景图像和PIP重叠图像逐帧地同时显示在显示器191的屏幕上。

如果对某帧完成主视频数据和子视频数据的复用，则控制器115检测复用的完成(S939)，然后返回对主视频数据和子视频数据进行复用，以产生下一帧。

通过设置用于显示子视频数据的PIP重叠窗口区域，并将子视频数据投射在PIP重叠窗口区域中，将主视频数据投射在除了PIP重叠窗口区域之外的整个屏幕上，来执行复用。

图24B是示出根据本发明另一实施例的移动电话中对主视频数据和子视频数据进行复用的过程的流程图。

参照图24B，控制器115控制在每帧持续时间载入主视频输出缓冲器430中缓冲的主视频数据和子视频输出缓冲器435缓冲的子视频数据(S951和S953)，并执行对子视频数据调整大小(S955)。接下来，控制器115控制在与分配用于显示子视频数据的屏幕区域相应的部分将子视频数据和主视频数据混合的同时，输出主视频数据和子视频数据。为了将主视频数据和子视频数据混合，将权值分配给与子视频数据相应的像素。控制器115控制在最终输出缓冲器中缓冲通过将主视频数据和子视频数据混合获得的视频数据，然后将混合的视频数据显示在显示器191上。

以图20B的模式接收的DVB-H数据具有可在Δt期间播放的数据量。在以图20C的模式输入相机数据的情况下，在相机160被关闭时(即，接收DVB-H数据时)，相机数据的输入被打断。在这种情况下，控制器115显示包括在相机160被关闭时的最后帧中的相机视频数据。

如果在显示多图像的同时发生来电呼叫事件，则控制器115产生用于通知来电呼叫的警报。这时，用户可设置来电呼叫警报模式。来电呼叫警报模式包括正常来电警报模式和无声来电警报模式。如果设置了正常来电呼叫警报模式，则控制器115控制通过扬声器197输出预设的警报音(曲调、铃声、音乐等)并显示通知来电呼叫的通告消息。无声来电呼叫警报模式包括振动警报模式和显示警报模式。

如果设置了振动警报模式，则控制器115驱动用于使移动电话振动的马达并在显示器191上显示呼叫者的电话号码。如果设置了显示警报模式，则控制器115显示通知来电呼叫通告消息以及呼叫者的电话号码的通告消息。来电呼叫通知消息可以以闪烁方式来显示。此外，在主视频数据和子视频数据被显示在屏幕上的同时，来电通知消息可显示为前方图像。

来电呼叫警报模式可这样来设置，即，因为用户可在广播接收机模式下观看广播节目，所以显示警报模式在广播接收机模式下被自动激活。

尽管操作多源处理模式，但是用户可进行去电呼叫。也就是说，数字广播系统提供各种服务信道，以便用户可在观看节目的同时交互地进行请求和响应。例如，购物频道提供用于允许用户订货的返回信道。此外，娱乐或游戏频道可要求观众参加活动或游戏。在这种情况下，因为广播接收机是单向的装置，所以RF单元140优选地用作上行链路信道。在这种情况下，控制器115可检查关于服务信道的信息(例如，与服务信道的节目相关联的部门的电话号码)。

在DVB-H接收机的情况下，控制器115可从ESG数据检查与当前服务信道的节目相关联的IP地址和电话号码。在DMB接收机的情况下，控制器115可从ESG数据获得与服务信道的节目相关联的电话号码。如果用户试图进行去电呼叫(例如，按下“发送”键)，RF单元140建立服务信道和通信信道。如果在建立信道之后按下预设的命令键(例如，购买或投票键)，则控制器115控制将消息发送到与服务频道的节目相关联的个人。此外，可通过通信信道接收响应消息。

当主视频数据和子视频数据同时显示在显示器191上时，可通过键盘操作使光标位于服务信道图像上，以请求去电呼叫。在这种情况下，控制器115可检查在显示器191的屏幕上的主视频数据和子视频数据的位置。因此，如果用户将光标定位在屏幕上用于请求去电呼叫的特定位置，则控制器115检测光标的位置，然后收集关于服务信道的当前节目的信息，从而以服务信道的节目的通信信息(例如，电话号码或IP地址)为基础执行拨号。

在激活去电呼叫模式中，用户可以实时地与服务信道相关的联系人进行通信。

虽然以上详细描述了本发明的示例性实施例，但是应该清楚地理解，对本领域技术人员明显的本发明基本概念教导的许多变动和修改落入由权利要求限定的本发明的精神和范围之内。

如上所述，用于本发明的移动电话的多媒体处理设备和方法提供能够接入从数字广播接收机和另外的内置多媒体模块输入的多媒体数据的通用接口，由此可在屏幕上同时显示从不同的多媒体源输入的两个视频图像。

Claims (40)

1、一种多媒体处理设备，所述多媒体处理设备包括：

第一多媒体模块，接收广播数据并对所述广播数据解调，以产生第一多媒体数据；

第二多媒体模块，产生第二多媒体数据；

选择器，选择第一多媒体模块和第二多媒体模块之一，并与第一多媒体模块和第二多媒体模块接口连接；

多媒体处理单元，包括协议处理器以及视频编解码器和音频编解码器，其中，当根据源选择信号选择第一多媒体模块时，激活协议处理器以及音频编解码器和视频编解码器，当根据源选择信号选择第二多媒体模块时，仅激活音频编解码器和视频编解码器；和

显示器，显示多媒体处理单元处理的多媒体数据。

2、如权利要求1所述的多媒体处理设备，其中，第一多媒体模块是数字广播接收机，所述数字广播接收机包括设置用于接收服务信道的广播数据的物理信道的调谐器，以及用于对广播数据解调的广播数据解调器；并且第二多媒体模块是相机。

3、如权利要求2所述的多媒体处理设备，其中，当选择相机时，选择器将相机像素时钟、水平和垂直同步信号以及相机数据分别输出为广播像素时钟、有效信号以及广播数据。

4、如权利要求3所述的多媒体处理设备，其中，视频编解码器包括至少一个视频编码器和至少一个视频解码器，音频编解码器包括至少一个音频编码器和至少一个音频解码器；多媒体处理单元还包括：控制器，当选择广播接收机时，操作协议处理器以及音频编解码器和视频编解码器的视频解码器和音频解码器；当选择相机时，操作音频编解码器和视频编解码器的视频编码器和音频编码器，以对相机数据编码。

5、如权利要求4所述的多媒体处理设备，其中，广播数据解调器是DVB-H接收机，包括：解调模块，对接收的广播数据解调；产品标识符滤波器，对从解调的广播数据滤波选择的服务信道的服务数据；和解调控制器，对服务数据执行纠错，并产生用于在分配给选择的服务信道的时隙中激活调谐器和解调模块的时间分段控制信号。

6、如权利要求5所述的多媒体处理设备，还包括：电源控制器，根据解调控制器的时间分段控制信号控制向广播接收机供电。

7、如权利要求6所述的多媒体处理设备，其中，协议处理器处理广播数据中的IP数据报、IP数据报中封装的UDP段以及UDP段中封装的FLUTE数据和RTP数据，并将FLUTE数据单元和RTP数据传送到相应的解码器。

8、如权利要求7所述的多媒体处理设备，其中，视频编解码器包括：

至少一个视频解码器，对接收的广播数据的视频数据以及存储在存储器中的编码的视频数据解码；

至少一个视频编码器，对从相机输入的相机数据编码；和

缩放器，以显示屏幕的大小缩放从视频解码器输出的数据。

9、如权利要求8所述的多媒体处理设备，其中，缩放器包括：颜色转换器，将从视频解码器输出的数据的颜色模型转换为显示器支持的颜色模型。

10、如权利要求8所述的多媒体处理设备，其中，控制器产生用于激活广播接收机的广播接收机选择信号以及用于选择分配给与服务信道相应的物理信道的时隙的解调控制信号，操作与广播视频和音频数据的视频和音频编码方案相应的视频编解码器的视频编码器和音频编解码器的音频编码器，并将从协议处理器输出的广播视频数据显示在显示器上。

11、如权利要求8所述的多媒体处理设备，其中，控制器产生用于激活相机的相机选择信号，并选择视频编解码器和音频编解码器的编码器，以在相机记录模式下对从相机输出的相机数据编码并将编码的相机数据存储在存储器中，并且控制器通过视频编解码器的缩放器缩放相机数据，以输出到显示器。

12、如权利要求3所述的多媒体处理设备，其中，广播数据解调器包括：

解调模块，对接收的广播数据解调；

产品标识符滤波器，从解调的广播数据对选择的服务信道的服务数据进行滤波；和

解调控制器，对服务数据执行纠错，并产生用于在分配给选择的服务信道的时隙中激活调谐器和解调模块的时间分段控制信号。

13、如权利要求12所述的多媒体处理设备，其中，多媒体处理单元包括：

协议处理器，从广播数据将音频和视频数据与广播信息分开；

视频编解码器，包括至少一对视频编码器和解码器；

音频编解码器，包括至少一对音频编码器和解码器；

多图像处理器，输出多画面屏幕图像，以将广播视频数据和相机视频数据分别呈现为主视频图像和子视频图像；和

控制器，产生用于在分配给广播接收机的服务信道的时隙中选择广播接收机的源选择信号，当选择广播接收机时，操作协议处理器和与用于广播数据的编码方案相应的视频编解码器和音频编解码器的解码器，当选择相机时，将相机数据传送到多图像处理器。

14、如权利要求13所述的多媒体处理设备，还包括：电源控制器，根据控制器产生的源选择信号提供电源以驱动广播接收机和相机。

15、如权利要求14所述的多媒体处理设备，其中，多图像处理器包括：

大小调整器，将来自第二多媒体模块的视频数据调整为预设的图像大小；和

组合器，将来自第一多媒体模块和第二多媒体模块的视频数据组合，以输出为多视频图像。

16、如权利要求15所述的多媒体处理设备，其中，多图像处理器包括：位置确定单元，在显示器上确定从第二多媒体模块输入的视频数据的位置。

17、一种多媒体处理设备，所述多媒体处理设备包括：

射频单元，与移动通信系统进行无线电通信；

广播接收机，接收广播信号并对所述广播信号解调；

相机，拍摄画面；

选择器，选择来自广播接收机和相机的输出中的一个，并将相机接口连接为广播接收机；

多媒体处理单元，包括协议处理器以及视频编解码器和音频编解码器，其中，当根据源选择信号选择广播接收机的输出时，激活协议处理器以及音频编解码器和视频编解码器，当根据源选择信号选择相机时，仅激活音频编解码器和视频编解码器；

存储器，存储在多媒体处理单元的控制下处理输出获得的数据；和

显示器，显示从多媒体处理单元输出的数据。

18、如权利要求17所述的多媒体处理设备，其中，当选择相机时，选择器将相机像素时钟、水平和垂直同步信号以及相机数据分别输出为广播像素时钟、有效信号以及广播数据。

19、如权利要求18所述的多媒体处理设备，其中，多媒体处理单元包括：

协议处理器，从广播数据将音频和视频数据与广播信息分开；

视频编解码器，包括至少一对视频编码器和解码器；

音频编解码器，包括至少一对音频编码器和解码器；和

控制器，当选择广播接收机的输出时，操作协议处理器以及视频编解码器和音频编解码器的解码器，当选择相机的输出时，操作音频编解码器和视频编解码器的编码器以对相机数据编码，当激活视听电话模式时，控制视频编解码器对相机数据和去电语音编码并通过射频单元发送编码的数据，控制视频编解码器对来电视频数据和语音信号解码并将解码的视频数据显示在显示器的屏幕上。

20、如权利要求19所述的多媒体处理设备，其中，广播数据解调器是DVB-H接收机，包括：解调模块，对接收的广播数据解调；产品标识符滤波器，从解调的广播数据对选择的服务信道的服务数据进行滤波；和解调控制器，对服务数据执行纠错，并产生用于在分配给选择的服务信道的时隙中激活调谐器和解调模块的时间分段控制信号。

21、如权利要求20所述的多媒体处理设备，还包括：电源控制器，根据解调控制器的时间分段控制信号控制向广播接收机供电。

22、如权利要求21所述的多媒体处理设备，其中，协议处理器处理广播数据中的IP数据报、IP数据报中封装的UDP段以及UDP段中封装的FLUTE数据和RTP数据，并将FLUTE数据单元和RTP数据传送到相应的解码器。

23、如权利要求22所述的多媒体处理设备，其中，视频编解码器包括：

至少一个视频解码器，对接收的广播数据的视频数据以及存储在存储器中的编码的视频数据解码；

至少一个视频编码器，对从相机输入的相机数据编码；和

缩放器，以显示屏幕的大小缩放从视频解码器输出的数据。

24、如权利要求23所述的多媒体处理设备，其中，缩放器包括：颜色转换器，将从视频解码器输出的数据的颜色模型转换为显示器支持的颜色模型。

25、一种用于包括广播接收机和相机的移动电话的多媒体处理方法，所述多媒体处理方法包括：

当选择广播接收机时，通过对广播接收机接收的广播数据进行协议处理，从所述广播数据提取广播信息以及广播视频和音频数据；

对视频和音频数据解码；

显示解码的视频数据；

当选择相机时，将从相机输入的相机数据转换为广播数据；和

显示转换的相机数据。

26、如权利要求25所述的多媒体处理方法，其中，转换相机数据的步骤包括：

将相机像素时钟改变为广播像素时钟；

将相机数据的水平和垂直同步信号改变为广播数据的有效信号；和

将相机数据的相机信息改变为广播数据的广播信息。

27、如权利要求26所述的多媒体处理方法，还包括：

对广播数据解调；和

以各自的编码方案对广播信息以及视频和音频数据解码。

28、如权利要求27所述的多媒体处理方法，其中，对广播数据解调的步骤包括：

产生时间分段控制信号，使广播接收机能够在分配给选择的服务信道的时隙中接收广播数据；

对在所述时隙中接收的广播数据解调；

从提取的广播数据提取选择的服务信道的节目数据；和

纠正节目数据中的错误。

29、如权利要求28所述的多媒体处理方法，还包括：如果激活广播记录模式，则将视频和音频数据存储在存储器中。

30、如权利要求26所述的多媒体处理方法，其中，转换相机数据的步骤包括：

如果激活相机预览模式，则以预设的显示器大小缩放相机数据；和

如果激活相机记录模式，则对相机数据编码并存储编码的相机数据。

31、一种用于包括广播接收机和相机的移动电话的多媒体处理方法，所述多媒体处理方法包括：

当设置多源处理模式时，根据时间分段控制信号，在分配给服务信道的时隙中激活广播接收机，并在其余时隙中激活相机；

当激活广播接收机时，通过对广播接收机接收的广播数据进行协议处理，提取广播信息以及广播视频和音频数据；

对广播视频和音频数据解码；

缓冲解码的广播视频和音频数据；

当激活相机时，将从相机输入的相机数据转换为表现相机视频数据的广播视频数据；

缓冲相机视频数据；

对广播视频数据和相机视频数据进行复用；和

同时在屏幕上将广播视频数据显示为主画面并将相机视频数据显示为子画面。

32、如权利要求31所述的多媒体处理方法，其中，转换相机数据的步骤包括：

将相机像素时钟改变为广播像素时钟；

将相机数据的水平和垂直同步信号改变为广播数据的有效信号；和

将相机数据的相机信息改变为广播数据的广播信息。

33、如权利要求32所述的多媒体处理方法，其中，将广播视频数据显示为主画面并将相机视频数据显示为子画面的步骤包括：

将相机视频数据调整大小以适合于子画面的大小；和

将子画面重叠在主画面上。

34、如权利要求33所述的多媒体处理方法，其中，将广播视频数据显示为主画面并将相机视频数据显示为子画面的步骤还包括：确定在主画面上显示子画面的位置。

35、一种用于包括广播接收机和相机的移动电话的多媒体处理方法，所述多媒体处理方法包括：

当选择广播接收机时，通过对从广播接收机输入的广播数据进行协议处理，提取广播信息以及广播视频和音频数据；

对广播视频和音频数据解码；

将广播视频数据显示在屏幕上；

当选择相机时，将从相机输入的相机数据转换为表现相机视频数据的广播视频数据；

如果激活视听电话模式，则对相机视频数据以及去电语音编码；

通过无线电信道发送编码的相机视频数据和去电语音，作为去电视听电话信号输入；

对来电视听电话信号解码；和

将通过对来电视听电话信号解码获得的相机视频数据显示在屏幕上。

36、如权利要求35所述的多媒体处理方法，其中，转换相机数据的步骤包括：

将相机像素时钟改变为广播像素时钟；

将相机数据的水平和垂直同步信号改变为广播数据的有效信号；和

将相机数据的相机信息改变为广播数据的广播信息。

37、如权利要求36所述的多媒体处理方法，其中，广播数据是DVB-H数据。

38、如权利要求37所述的多媒体处理方法，还包括：

将广播视频数据显示为主画面；和

在主画面上的预定位置将相机视频数据显示为子画面。

39、如权利要求38所述的多媒体处理方法，其中，显示相机视频数据的步骤包括：

将相机视频数据调整大小以适合于子画面的大小；和

将子画面重叠在主画面上。

40、如权利要求39所述的多媒体处理方法，其中，显示相机视频数据的步骤还包括：确定在主画面上显示子画面的位置。

Images