CN1822673A - 一种无线终端内的可配置的相机接口及处理图像的方法 - Google Patents

Abstract

本发明涉及一种连接在无线终端内的可配置相机接口上的相机，该无线终端可处理多种数据格式的图像。该相机接口设有ARM和连接到ARM上的图像处理加速器。该组合从连接到相机接口上的图像传感器处接收第一数据格式的被捕获数字图像。基于包含在被捕获的数字图像中的信息对该加速器进行配置。对被捕获的数字图像进行处理以产生不同数据格式的另外的数字图像。被捕获的数字图像和/或另外的数字图像将提供给多个装置或客户设备。这种配置能够将计算密集操作从处理模块上转移到相机接口内的图像处理加速器上，以改善系统的整体效率。

Description

一种无线终端内的可配置的相机接口及处理图像的方法

技术领域

本发明涉及蜂窝无线通信系统，更具体地，涉及一种独特的可配置的相机接口，以支持蜂窝无线通信系统的无线终端内的数字图像处理。

背景技术

在世界上的许多居民区，蜂窝无线通信系统支持无线通信服务。虽然蜂窝无线通信系统最初构造是用于提供声音通信业务，但现在也用来支持数据和视频(多媒体)通信。随着人们对具有视频功能的无线终端和因特网的认可和普遍使用，对视频和数据通信业务的要求也迅速增长。过去，视频和数据通信是通过有线连接而提供的；现在，蜂窝无线用户要求他们所使用的无线设备也能支持视频和数据通信。随着时间的推移，对无线通信系统中的视频和数据通信的需求只会增长。因此，业内正在对蜂窝无线通信系统进行创建/修改，以满足这些萌发的需求。

蜂窝无线网络包括“网络基础设施”，它可以与位于各自的服务覆盖区内的无线终端进行无线通信。该网络基础设施通常包括多个散布于服务覆盖区内的基站，每个基站支持各自蜂窝(或区域)内的无线通信。这些基站连接到基站控制器(BSC)上，每个BSC服务于多个基站。每个BSC连接到移动交换中心(MSC)。每个BSC通常也直接或间接地连接到因特网上。

在运行中，每个基站与在它的蜂窝/区域内运行的多个无线终端通信。一个连接到基站的BSC在MSC与服务基站之间传送声音、视频、数据或多媒体通信。接下来MSC将这些通信传送至另一个MSC或传送至PSTN(公用电话交换网)。通常，BSC在服务基站与分组数据网(可包括并连接到因特网)之间传送数据通信，。从基站至无线终端的传输称为“前向链接”传输，而从无线终端至基站的传输称为“反向链接”传输。在前向链接上传输的数据量一般超过在反向链接上传输的数据量。情况就是这样，因为数据用户通常发出命令，以请求来自数据源，如，网络服务器的数据，网络服务器将数据提供给无线终端。大量的无线终端与单个的基站通信迫使必需将不同无线终端之间的前向和反向链接传输时间进行分配。

基站与其所服务的无线终端之间的无线连接一般根据多个运行标准中的一个(或更多)运行。这些运行标准定义了无线链接的分配、建链、使用和拆链方式。一种通用的蜂窝标准是全球移动无线通信系统(GSM)标准。GSM标准，或简称GSM，在欧洲主要使用GSM，其在全球也得到广泛使用。虽然GSM原本仅服务于声音通信，但是它已经过修改，从而也可服务于数据通信。GSM通用分组无线业务(GPRS)运行与增强型数据速率GSM(或全球)演进(EDGE)运行通过共享GSM标准的信道带宽、时隙结构(slot structure)和时隙定时(slot timing)可与GSM运行共存。GPRS运行和EDGE运行也可用作其它标准的移动通道，如，IS-136和太平洋数字蜂窝(PDC)。

GSM标准规定了时间分配格式(在多个信道中)中的通信。GSM标准规定了一个包括8个时隙(slot)的4.615ms帧，每个时隙的持续时间大约为577μs。每个时隙对应一个射频脉冲。一个用来传送信息的标准RF脉冲，通常包括一个左边，一个中间码和一个右边。该中间码通常包括一个训练序列，该训练序列确切的配置取决于所使用的调制格式。但是，其它类型的RF脉冲也被本技术领域的人所熟知。在前向链接中的每一组的四个脉冲携带了部分链接层数据块全链接层数据块、或多链接层数据块。同样包括在这四个脉冲中的还有控制信息，该控制信息不仅可供想要该数据块的无线终端使用，也可供其它的无线终端使用。

GPRS和EDGE包括多种编码/压缩(puncture)方案(scheme)和多种调制格式，如，高斯最小相移键控(GMSK)调制或八相相移键控(8PSK)调制。在任何时间所使用的具体的编码/压缩方案和调制格式取决于业务前向链接信道的质量，如，信道的信噪比(SNR)或信号干扰比(SIR)、信道的误码率、信道的误块率等。由于任何一个RF脉冲可使用多种调制格式，无线通信系统要求强大的处理能力，以对包括在RF脉冲中的信息进行编码和解码。这个决定还受到与通信相关的无线电状态的变化及所需要的质量水平的影响。

视频编码标准一般以二维矩形帧序列的形式提供视频图像。由于改进的微电子技术提供了新的可编程处理器，软件功能正变得日益强大，添加了附加功能。这些功能包括在移动连接中多媒体内容或可视信息的应用。今天无线终端已经不只限于声音通信。也可以提供其它类型数据的通信，包括实时或多媒体流。

当移动无线设备用于多样环境中时，对可视通信的需求变得更加强烈。用户想要实时接入这种视听信息。相应地，制造商已经选择提供带有变化能力(with varying capabilities)的图像捕获装置。例如，可以将具有较大变化能力的相机传感器或图像捕获装置结合到利用一个共同或类似的基础平台的无线终端内。这使得制造商能够提供一具有变化能力的最终产品的系列产品。

多媒体在足够低的速率时必须具有可接受的质量，使其能够在蜂窝无线环境中有效地传送。活动图像专业组(MPEG)标准满足了这些需要。这些标准包括，如MPEG4和MPEG7，其规定了描述不同类型多媒体信息的方法，这些多媒体信息包括静态图片、视频、语音、音频、图形、3D模型以及合成的音频和视频。MPEG4标准想达到的目标是获得比常规编码技术好很多的压缩率。但是，为了达到低数据速率，通常要求处理器进行计算密集操作。使这些问题变得更加复杂的是，可能要求在相机传感器或图像捕获装置与在板的(onboard)或预览的显示和图像编码器之间进行格式变换。另外，MPEG-1/2/4和H.261/H.263视频压缩标准在很大程度上依赖于在计算上较苛求的算法。

变化的图像格式和多媒体标准使得对无线环境中的处理器的需求日益增长。与通过陆上通信线连接到网络上的台式电脑不同，移动无线终端在它本身与服务基站之间有一个有限的数据速率。另外，该无线终端内的处理器被委任了多个处理任务。这些增加的处理与要求的图像格式相关，而这些图像格式与不同的客户设备相关，这些增加的处理需要附加的处理能力，以保持实时或流音频/视觉通信。无线终端内的这些处理要求的附加条件需要使用新的方法来平衡系统处理器的处理要求，同时保持这些实时音频/视觉通信。

发明内容

为了克服现有技术设备的缺点，本发明提供了一种无线终端内的具有可配置相机接口的相机，该无线终端处理多种数据格式的图像。该相机接口设有高级精简指令集计算机(RISC)机器(ARM)和可操作地连接到该ARM的图像处理加速器。该ARM和加速器的组合从可用来从连接至相机接口的图像传感器处接收第一数据格式的输出或被捕获的数字图像。基于包括在该被捕获的数字图像中的信息，对该加速器进行配置。对该被捕获的数字图像进行处理以生成第二数据格式的第二数据图像。该第一数据格式与该第二数据格式不相同。被捕获的数字图像和该第二数字图像被提供给两个分开的设备。在一个具体实施例中，该第一数据格式和第二数据格式从RGB格式、UYVY格式、YUV12格式、YUV格式或者其它为本领域的技术人员所熟知的格式中选取。另外，该第一设备和第二设备可以是预览显示器和数字图像编码器。因此，相机接口对该被捕获的数字图像和RGB格式进行处理，从而为数字图像编码器生成YUV格式的第二数字图像。

类似地，捕获数字图像的图像传感器可以多种格式捕获图像，如RGB、YUV格式等。当无线终端中用LCD显示器来预览被捕获的数字图像，并使用数字图像编码器来发送该数字图像的情况下，对于由图像传感器提供的被捕获数字图像，有必要将其转换成至少另外一种的格式。

第二个实施例提供了一种无线终端，它具有射频(RF)前端及通信地连接至该RF前端的基带处理器。图像捕获装置可用来捕获数字图像，通过可配置的相机接口处理后，该被捕获的数字图像可显示在显示器上，以便预览。该可配置的相机接口还包括ARM和图像处理加速器，其中该相机接口可用来接收第一数据格式的被捕获的数字图像。基于包括在被捕获的数字图像中的信息，对该加速器进行配置。该相机接口对被捕获的数字图像进行处理，从而生成与该第一数据格式不同的第二数据格式的第二数字图像。该被捕获的数字图像被提供给第一设备，同时，该第二数字图像被提供给第二设备。如前面所陈述的，该第一和第二数据格式可包括RGB格式、UYVY格式、YUV12格式或YUV格式。该第一和第二设备可包括但不限于如预览显示器或数字图像编码器之类的设备。

另外，被捕获的图像的分辨率和那些将使用该数字编码图像的预览显示器或其它最终设备的分辨率之间存在差别，这使得人们期望该相机接口能够抽取捕获的图像，从而无需对将要提供给预览显示器的图像进行不必要的处理，或无需对将由与数字图像编码器相联的其它最终使用设备处理的图像进行不必要的处理。这种抽取操作可在相机接口的ARM与加速器之间进行分配。因此，可对该加速器进行配置，使其能够将以上所述的任何一种格式转换成以上所述的任何其它格式，同时能够抽取数字图像。

另一个实施例提供了一种在无线终端内处理被捕获的数字图像的方法。为了达到该目的，数字图像首先被一个图像捕获装置(如相机传感器或图像捕获装置)捕获。可配置相机接口的操作模式由被捕获的数字图像的数据格式所决定。然后，根据被捕获的数据图像的格式，使用可配置相机接口内的ARM和图像处理加速器对被捕获的数字图像的处理，将该处理在ARM和该图像处理加速器之间进行分配。可根据被捕获的数字图像的数据格式对图像处理加速器进行配置。接下来，该被捕获的数字图像被可配置的相机端口从第一种格式处理，以生成具有第二种格式的第二数字图像。该被捕获的数字图像或第二数字图像可被送至第一或第二设备。该数字图像被送至的设备将与该数字图像的格式兼容。

根据本发明的一个方面，提供一种无线终端内的可配置的相机接口，其中所述无线终端可处理多种数据格式的图像，所述相机接口包括：

高级精简指令集计算机(RISC)机器(ARM)；以及

可操作地连接到所述高级精简指令集计算机(RISC)机器(ARM)的图像处理加速器，其中所述高级精简指令集计算机机器(ARM)和所述加速器的组合用来：

接收来自可操作地连接至所述可配置的相机接口上的图像传感器的输出，其中所述图像传感器可捕获具有第一数据格式的数字图像；

根据包含在被捕获的数字图像中的信息对所述加速器进行配置；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像，其中所述第一数据格式与第二数据格式不相同；

将捕获的数字图像输出至第一设备；以及将第二数字图像输出至第二设备。

优选地，本发明所述的可配置的相机接口中，所述第一数据格式和第二数据格式包括：

RGB格式；

UYVY格式；

YUV12格式；或者

YUV格式。

优选地，本发明所述的可配置的相机接口中，所述第一设备包括预览显示器，所述第二设备包括数码图像编码器。

优选地，本发明所述的可配置的相机接口中，当第一数据格式是RGB格式时，配置所述加速器以将被捕获的数字图像从RGB格式转换成YUV格式。

优选地，本发明所述的可配置的相机接口中，当第一数据格式是YUV格式时，配置所述加速器以将被捕获的数字图像从YUV格式转换成RGB格式。

优选地，本发明所述的可配置的相机接口中，配置所述加速器以抽取被捕获的数字图像。

优选地，本发明所述的可配置的相机接口中，被捕获的数字图像具有预定的数据格式，其中所述可配置的相机接口根据预定的数据格式，将对被捕获的数字图像的处理在高级精简指令集计算机机器(ARM)和加速器之间进行分配。

优选地，本发明所述的可配置的相机接口中，所述加速器还包括至少一个可用来执行至少一个数字图像处理任务的算术逻辑单元(ALU)，其中所述至少一个算术逻辑单元连接到至少一个寄存器上，该寄存器可用来暂时存储所述至少一个算术逻辑单元(ALU)的输入或输出。

优选地，本发明所述的可配置的相机接口中，还包括可操作地连接到该高级精简指令集计算机机器(ARM)和加速器上的多个寄存器，其中所述多个寄存器还包括：

配置寄存器，能使所述高级精简指令集计算机机器(ARM)命令所述加速器执行一项特定的操作；以及

缓冲存取寄存器，可用来写数据至加速器，或从加速器读数据。优选地，所述无线终端根据GSM标准运行。

根据本发明的一个方面，提供一种无线终端，包括：射频前端；

通信地连接至所述射频前端的基带处理器；

可用来捕获数字图像的图像捕获装置；

可用来预览被捕获的数字图像的显示器；

可配置的相机接口，所述相机接口包括高级精简指令集计算机机器(ARM)以及可操作地连接至所述高级精简指令集计算机机器(ARM)的图像处理加速器，其中所述可配置的相机接口可用来：

接收具有第一数据格式的被捕获的数字图像；

根据包含在所述被捕获的数字图像中的信息对加速器进行配置；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像，其中所述第一数据格式与第二数据格式不相同；

将捕获的数字图像输出至第一设备；以及

将第二数字图像输出至第二设备。

优选地，本发明所述的无线终端中，所述第一数据格式和第二数据格式包括：

RGB格式；

UYVY格式；

YUV12格式；或者

YUV格式。

优选地，本发明所述的无线终端中，所述第一设备包括预览显示器，所述第二设备包括数字图像编码器。

优选地，本发明所述的无线终端中，配置所述加速器以抽取被捕获的图像。

优选地，本发明所述的无线终端中，所述加速器还包括至少一个可用来执行至少一个数字图像处理任务的算术逻辑单元(ALU)，其中所述至少一个算术逻辑单元连接到至少一个寄存器上，所述寄存器可用来暂时存储所述至少一个算术逻辑单元(ALU)的输入或输出。

优选地，本发明所述的无线终端中，所述可配置的相机接口还包括可操作地连接到所述高级精简指令集计算机机器(ARM)和加速器上的多个寄存器，其中所述多个寄存器还包括：

配置寄存器，能使所述高级精简指令集计算机机器(ARM)命令所

述加速器执行一项特定的操作；以及

缓冲存取寄存器，可用来写数据至加速器，或从加速器读数据。

优选地，本发明所述的无线终端根据GSM标准运行。

根据本发明的一个方面，提供一种在无线终端内处理所捕获的数字图像的方法，包括：

用图像捕获装置捕获数字图像；

从被捕获的数字图像的数据格式确定可配置相机接口的操作模式；

根据被捕获的数字图像的数据格式，将对被捕获的数字图像的处理在高级精简指令集计算机机器(ARM)或图像处理加速器之间进行分配；

根据被捕获的数字图像的数据格式配置所述图像处理加速器；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像；

将被捕获的数字图像输出至第一设备；以及

将所述第二数字图像输出至第二设备。

优选地，本发明的方法中，所述图像处理加速器还包括：

至少一个可用来执行至少一个数字图像处理任务的算术逻辑单元(ALU)；以及

至少一个可用来暂时存储至少一个算术逻辑单元(ALU)的输入或输出的寄存器。

优选地，本发明的方法中，计算密集图像处理任务分配给图像处理加速器。

优选地，本发明的方法中，所述第一数据格式和第二数据格式包括：

RGB格式；

UYVY格式；

YUV12格式；或者

YUV格式。

优选地，本发明的方法中，所述第一设备包括预览显示器，所述第二设备包括数字图像编码器。

优选地，本发明的方法中，所述加速器还可用来抽取被捕获的数字图像。

优选地，本发明的方法中，无线终端根据GSM标准运行。

以下参照附图对本发明做出的详细描述，将会使本发明的其它特征和优点变得更加明显。

附图说明

图1示出了根据本发明的支持无线终端运行的蜂窝无线通信系统的部分系统示意图；

图2从功能上示出了根据本发明构造的一个无线终端的方框图；

图3示出了图2中的无线终端更详细的方框图，特别强调了无线终端的数字处理部件；

图4示出了GSM帧的一般结构以及GSM帧携带数据块的方式的框图；

图5示出了下行链路传输的形成的框图；

图6示出了下行链路传输中的数据块的恢复的框图；

图7示出了无线终端在接收和处理一个RF脉冲时的操作流程图；

图8示出了恢复一个数据块的操作流程图；

图9示出了一个可配置的相机接口的功能模块框图；

图10示出了无线终端内的可配置的相机接口的功能模块框图；

图11提供了本发明中讨论的图像信息所利用的数据结构或者潜在数据结构的示意图；以及

图12示出了当执行格式转换或分辨率转换操作时，图像处理器和加速器之间的处理控制流程的逻辑流程图。

具体实施方式

图1是根据本发明的支持无线终端运行的蜂窝无线通信系统100的一部分的系统图。该蜂窝无线通信系统100包括一个移动交换中心(MSC)101、GPRS业务支持节点/EDGE业务支持节点(SGSN/SESN)102、基站控制器(BSC)152和154、以及基站103、104、105和106。该SGSN/SESN 102通过一个GPRS网关支持节点(GGSN)112连接至因特网114。一个常规的支持多媒体的终端121连接至PSTN 110。多媒体终端122和个人电脑125连接至因特网114。MSC101连接至公共电话交换网络(PSTN)110。

每一基站103-106都覆盖一个蜂窝/区域，支持其蜂窝/区域中的无线通信。无线链路包括前向链路部分和反向链路部分，这些链路用于支持基站及其所服务的无线终端之间的无线通信。这些无线链路支持数字声音、视频、多媒体和数据通信。蜂窝无线通信系统100在支持模拟操作中也可以向后兼容。蜂窝无线通信系统100支持全球移动通信系统(GSM)标准，也支持扩充的GSM(或全球)增强型数据速率演进(EDGE)技术。该蜂窝无线通信系统100也支持通用无线分组业务对GSM的扩充。但是，本发明也适用于其它的标准，例如，TDMA标准、CDMA标准等。

无线终端116、118、120、122、124、126、128和130通过与基站103-106的无线链路连接到蜂窝无线通信系统100。如图所示，无线终端包括支持视频和多媒体的蜂窝电话116和118、膝上电脑120和122、台式电脑124和126，以及数据终端128和130。但是，本领域的技术人员知道，该无线系统也支持与其它类型的无线终端的通信。如通常所知道的，诸如膝上电脑120和122、台式电脑124和126、数据终端128和130、蜂窝电话116和118之类的设备能够在因特网114上“冲浪”、发送和接收数据、音频和视频通信。这些数据操作中的很多都要求很高的下载数据速率(前向链路)和上传数据速率(反向链路)以支持视频和多媒体通信。因此无线终端116-130中的一些或全部能够支持EDGE运行标准、GSM标准，并且可支持GPRS标准。

无线终端116-130支持对接收到的在GSM帧时隙(slots)中的RF脉冲进行流水线式处理，因此，每个GSM帧的副帧内的多个时隙分配给一个单个的无线终端进行前向链路传输。在一个实施例中，一个GSM帧的许多时隙分配至一个无线终端进行前向链路传送，这样无线终端必需在每个GSM帧中接收和处理许多RF脉冲，例如，2个、3个、4个或更多的RF脉冲。该无线终端能够处理包含在这些时隙中的RF脉冲，并仍然服务于反向链路传输和无线终端的其它处理需求。

图2从功能上示出了根据本发明构造的一个无线终端200的方框图。图2中的无线终端200包括RF收发器202、数字处理部件204、以及多个包含在外壳内的各种其它部件。数字处理部件204包括两个主功能部件：一个是物理层处理、语音编码/解码器(CODEC)及基带CODEC功能块206，另一个是协议处理、人机接口功能块208。数字信号处理器(DSP)是该物理层处理、语音编码/解码器(CODEC)及基带CODEC功能块206的主要组成部分，而微处理器(例如精简指令集计算(RISC)处理器)是该协议处理、人机接口功能块208的主要组成部分。该DSP也可称为无线接口处理器(RIP)，而RISC处理器可称为系统处理器。但是，这些命名习惯不应当被认为是对这些部件功能的限制。

RF收发器202与天线203、数字处理部件204相连接，同时还与电池224相连，其中电池224为无线终端200的所有部件供电。物理层处理、语音编码/解码器(CODEC)及基带CODEC功能块206与协议处理、人机接口功能块208相连接，同时还连接至话筒226和扬声器228。协议处理、人机接口功能块208与个人计算/数据终端设备接口210、袖珍键盘212、用户识别模块(SIM)端口213、相机214、快闪RAM216、SRAM218、LCD220以及LED222相连接。相机214和LCD220可支持静态图像或支持动态图像，或两种都支持。因此，图2中的无线终端200通过蜂窝网络支持视频服务以及音频服务。

图3示出了图2中无线终端更详细的方框图，特别强调无线终端的数字处理部件。该数字处理部件204包括系统处理器302、基带处理器304和多个支持部件。这些支持部件包括外部存储接口306、MMI驱动器及接口(I/F)308、相机I/F310、运动处理加速器311、音频I/F312、声音频带CODEC314、辅助功能部件316、调制/解调器322，ROM324、RAM326以及多个处理模块。在某些实施例中，该调制/解调器322不是单独构造的部件，其功能是在基带处理器304内部实现的。

上述多个处理模块在这里也称为加速器、协处理器、处理模块或其它名称，包括辅助功能部件316、均衡器模块318、编码/解码器(CODEC)处理模块320和视频处理加速器模块328。图3所示的互相连接关系是这些部件相互连接方式的一个例子。其它的实施例支持另外的/替代的连接。这些连接可以是直接连接、间接连接，和或可经由一个或多个中间部件间接连接。运动(motion)处理加速器311、可选择的视频处理加速器328以及DSP304在处理视频数据中的操作将参照图9至图12做更详细的描述。这些处理加速器可进一步包括可用来执行特殊任务(如运动处理)的算术逻辑单元(ALU)。ALU从寄存器处接收数据，并将数据输出至寄存器，寄存器用来暂时存储至少一个ALU的输入或输出。这些寄存器能使即将被处理的数据在DSP与加速器之间传送。

RAM和ROM服务于系统处理器302和基带处理器304。系统处理器302和基带处理器304都可以连接至共享的RAM 326和ROM 324、可连接至单独的RAM、可连接至单独的ROM、也可连接至多个RAM块，某些共享、某些不共享，或者可以被存储器以不同的方式服务。在一个具体的实施例中，系统处理器302和基带处理器304连接至各自单独的RAM和ROM，也连接至在这些器件之间进行控制和数据传送的共享的RAM。处理模块316、318、320、322和328可如图3所示连接，也可以在不同实施例中以其它方式连接。

系统处理器302为所服务的协议栈(如，GSM/GPRS/EDGE协议栈)的至少一部分提供服务。基带处理器304与调制/解调器322、RF收发器、均衡器模块318和/或编码器/解码器模块320结合，共同服务于由数字处理部件204执行的物理层(PHY)操作。基带处理器304也服务于该GSM/GPRS/EDGE协议栈的一部分。

仍参照图3，基带处理器304控制该基带处理器304与该均衡器模块318的交互作用。如将会进一步描述的，该基带处理器304负责促使均衡器模块318和CODEC处理模块320对所接收的GSM帧的时隙内的RF脉冲进行处理。在图2和图3的具体实施例中，使用单个RF前端202，无线终端200可接收和处理每一GSM帧中多达四个时隙内的RF脉冲，也就是，在任何特定的GSM帧中分配四个时隙，供前向链路传输。在另一个实施例中，无线终端200包括一个以上的RF前端，在每个GSM帧的副帧中可分配四个以上的时隙给该无线终端200。在这种情况下，所需的发送操作将使用第二RF前端来执行，而接收操作由第一RF前端执行。当前向链路传输和反向链路传输占用不同的、具有足够的频率隔离度的信道，且无线终端也支持全双工操作时，该无线终端可同时接收和发送。

RF前端202与可包括可选的CODEC处理模块的基带处理器204相组合，从服务基站接收包括音频和可视信息的RF通信信息。在一个实施例中，RF前端202和基带处理器204接收和处理来自服务基站的RF脉冲。RF前端202和基带处理器204的组合可用来接收根据一种发送方案发送的RF脉冲，其中该发送方案包括调制格式和编码格式。为了生成数据块，基带处理器204对从RF脉冲中抽取的软决策序列进行解码。该软决策的序列可成功解码成如纠错编码结果所示的数据块。

图4示出了GSM帧的一般结构以及GSM帧所携带的包括音频、视频和数据通信的数据块的方式的框图。该GSM帧的持续时间是4.615ms，包括防护时间。每个GSM帧包括8个时隙，即时隙0至7。每个时隙的持续时间大约是577μs，包括左边、中间码、以及右边。一个时隙的正常的RF脉冲的左边和右边携带数据，而中间码是一个训练序列。

根据所支持的调制和编码方案(MCS)模式，GPRS数据块的四个时隙的RF脉冲携带了一个分段RLC块，一个完整的RLC块，或两个RLC块。例如，数据块A携带在副帧1的时隙0、副帧2的时隙0、副帧3的时隙0、副帧4的时隙0中。数据块A可携带一个分段RLC块，一个RLC块，或两个RLC块。同样地，数据块B携带在副帧1的时隙1、副帧2的时隙1、副帧3的时隙1、副帧4的时隙1中。GSM帧的每组时隙(也就是每个副帧的时隙n)的MCS模式是一致的。另外，GSM帧的不同组时隙的MCS模式，例如，每个副帧的时隙0与每个副帧的时隙1-7中的任何一个都可以是不同的。这种能力使LA得以实现。如稍后将参照图5所描述的，可分配多个时隙给无线终端200进行前向链路传输，其中这些前向链路传输必须被无线终端200接收和处理。

图5描绘了将数据映射到RF脉冲的不同阶段。数据块报头和数据最初是未编码的。区块编码操作对数据块进行外部编码，并支持数据块的查错/纠错。外部编码操作通常使用循环冗余校验(CRC)或FIRE编码。如图所示，外部编码操作增加了尾位和/或块编码序列(BCS)，其附加在所述数据上。在块编码已经给数据补充了查错的冗余位后，计算附加的纠错冗余，以纠正无线信道引起的传输。GSM的内部纠错或编码方案基于卷积编码。

某些由卷积编码器产生的编码位在传输之前要进行压缩。压缩增加了卷积编码的比率，减少了每个被传送的数据块的冗余。压缩还降低了带宽需求，使得卷积编码信号适合可用的信道位元流(bit stream)。该卷积编码压缩位被传递到交错器(interlever)，该交错器将不同的位元流改变位置(shuffle)，并将位置改变后的位元流分段到所示的4个脉冲中。

每个脉冲有一个左边、一个中间码和一个右边。左边和右边包含数据。中间码包括预定的、已知位模型，训练序列，其用于信道估计以优化均衡器的接收，并用于同步。在这些训练序列的帮助下，该均衡器将符号间的干涉消除或减小，其中该符号间的干涉由多重路径传播的传播时间差异而引起。GSM标准中，为正常RF脉冲定义了许多个训练序列。但是，该训练序列的精确配置取决于所使用的调制格式。每组四个脉冲一般采用相同的调制格式。通过分析训练序列，可确定调制格式。

图6示出了从RF脉冲恢复数据块的不同阶段的框图。四个RF脉冲构成的数据块被接收和处理。一旦所有的RF脉冲都被接收到，RF脉冲合并形成一个编码数据块。接下来该编码数据块被解压缩(如果需要的话)，根据内部解码方案解码，然后根据外部解码方案解码。对于MCS1-4，该解码数据块包括数据块报头和数据，对于MCS 5-9，数据块和报头块是分开编码的。解码成功可通过附加在卷积解码(纠错编码)后的数据上的合适尾位来给出信号表示。

图7和图8示出了在接收和处理RF脉冲以恢复数据块的过程中，无线终端200的操作流程图。图中所示的操作流程与相应的GSM帧的时隙中的单个RF脉冲相对应。图3中示出的RF脉冲前端202、基带处理器304和均衡器模块318执行这些操作。这些操作通常看作由这些部件中的一个所执行。但是，可不脱离本发明的范围，使这些不同部分之间的处理任务的分配不同。

可操作地连接到存储器上的单个处理装置或多个处理装置执行这些处理任务。这样的处理装置可以是微处理器、微控制器、数字信号处理器、微电脑、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路和/或任何根据操作指令处理信号的装置。存储装置可以是单个的存储装置或多个存储装置。这样的存储装置可以是只读存储器、随机存取存储器、易失型存储器、非易失性存储器、静态存储器、动态存储器、快闪存储器、高速缓冲存储器和/或任何存储数字信息的装置。注意到当该处理任务通过状态机、模拟电路、数字电路和/或逻辑电路执行时，存储相应的操作指令的存储器可被嵌在该状态机、模拟电路、数字电路和/或逻辑电路的内部或连接在其外部。该处理任务包括运行与稍后描述的步骤和/或功能中的至少一些相对应的操作指令。

特别参照图7，操作从RF前端202接收GSM帧的对应时隙内的RF脉冲(步骤702)开始。接下来RF前端202将该RF脉冲转换成基带信号(步骤704)。转换一旦完成，RF前端202存储该转换后的基带信号。当需要时，基带处理器对来自RF前端的转换后的基带信号进行取样。因此，如图7所示，RF前端202执行步骤702-704。

操作继续，基带处理器304接收该基带信号(步骤708)。在典型的操作中，RF前端202、基带处理器304或调制器/解调器322对该模拟基带信号进行取样，从而将该基带信号数字化。接收该基带信号(数字格式的)后，基带处理器304执行对该基带信号的调制格式的检测(步骤710)。该调制格式的检测确认了对应的基带信号的调制格式。为了从信道的SNR来适当地评价信道质量，对调制格式的正确确认是必须的。根据GSM标准，调制格式是高斯最小相移键控(GMSK)调制或8相相移键控(8PSK)调制。基带处理器304对调制格式进行确定(步骤710)，并根据所检测的调制格式对RF脉冲进行适当地处理。

在步骤712中基带处理器执行RF脉冲的预均衡处理。该预均衡处理操作产生一个被处理的基带信号。这些预均衡处理操作一旦完成，基带处理器304向均衡器模块318发出一个命令。

根据接收到的命令，在步骤714中，均衡器模块318根据调制模式(如GMSK模式或8PSK模式)准备对处理后的基带信号进行均衡处理。均衡器模块318从基带处理器304接收被处理的基带信号、设置和/或参数，并对处理后的基带信号进行均衡操作。

均衡化后，接下来均衡器模块318向基带处理器304发出一个中断信号，指示RF脉冲的均衡操作完成。然后基带处理器304从均衡器模块318接收软决策。接下来，基带处理器304执行如步骤716所示的“后均衡处理”。这可包括根据从均衡器模块318接收到的软决策确定左边和右边的平均相位，以及根据从均衡器模块318收到的软决策进行频率估计和跟踪。

在步骤718中，软决策序列被解码，以产生包括音频、视频和数据通信的数据位。一种解码该软决策的具体方法将在图8中进一步详细化。图7中示出的这些操作由无线终端的特定部件来执行，这些操作的各部分可由不同的部件来执行。例如，在其它实施例中，基带处理器304或系统处理器302可执行均衡操作。进一步，在其它的实施例中，基带处理器304或系统处理器302也可执行解码操作。

图8示出了对数据块进行解码操作的流程图。操作从在步骤802中接收和处理RF脉冲(RF脉冲的前端处理)开始，如参见图7的步骤702-716所做的描述。组成一个EDGE或GPRS数据块的四个RF脉冲被接收后，如步骤804所确定的，操作继续至步骤806。

数据恢复在步骤806中开始，其中，如果必要，数据块被解密。接下来，根据数据块的特定格式，例如MCS-1至MCS-9，对数据块进行解交错(步骤808)。然后数据块被解压缩(步骤810)。在步骤812中，对解交错和解压缩的数据块进行解码。解码操作可包括将之前接收的数据块的备份与数据块的当前备份合并。然后解码数据块的数据位被进一步处理(步骤814)。这些数据位具有将在无线终端上显示的编码视频数据的形式。图9解决了(address)包括在前向链路通信中的实时视频通信的解码，和反向链路通信中的实时视频通信的编码。

图9示出了在无线终端内对被捕获的数字图像进行处理的框图。相机传感器902或其它类似的图像捕获装置捕获数字图像，该数字图像被提供给相机接口310。可配置的相机接口310的操作模式由包含在被捕获的数字图像内的数据格式或其它信息确定。被捕获的数字图像的这种格式和分辨率由捕获相机传感器902决定。ARM 906和图像处理加速器908根据被捕获的数字图像的数据格式和分辨率共同处理该被捕获的数字图像。可根据被捕获的数字图像的数据格式来配置该图像处理加速器。然后，该被捕获的数字图像由该可配置的相机接口进行处理，从第一种数字格式图像生成具有至少一种不同的数据格式的至少一个另外的数字图像。该被捕获的数字图像或另外的数字图像被发送到一个客户设备。

数字图像被送往的设备与该数字图像的格式兼容。例如，如果相机传感器902输出一个RGB格式的被捕获的数字图像，而图像编码器910要求YUV格式，影像处理加速器908就被配置成可进行计算密集操作，该计算密集操作将被捕获的RGB格式的数字图像转换成即将提供给图像编码器910的YUV格式的数字图像。在这种情况下，如果显示器904要求RGB格式的数字图像，则相机接口310将被捕获的数字图像提供给显示器904。当相机传感器902与显示器904之间的分辨率不同时，提供给显示器的数字图像可被相机接口310抽取(decimate)。在其它的实施例中，该第一和第二数据格式可从RGB格式、UYVY格式、YUV12格式、YUV格式或本技术领域的技术人员所知悉的其它任何格式中选取。

图像编码器/解码器910可按照JPEG、MPEG-1/2/4、H.261/H.263、其它类似的图像/视频压缩标准、或任何其它类似视频编码/解码操作进行编、解码。MPEG4尤其适于无线视频电话，因为MPEG4能以相对较低的数据率合理地再现视频帧。

相机902和显示器904设置在无线终端内，并与图3中的LCD和相机322相对应。相机接口310处理包括格式转换(例如将UYVY格式抽样从相机接口输出转换至YUV12格式)、将图像处理成显示器所要求的分辨率、抖动、和/或从YUV12格式转换成RGB色彩格式、以及减小噪音。图像编码器910执行的编码器功能包括运动处理操作，其中视频是由相机传感器902捕捉的。这个编码器包括专用硬件，例如，如图3中所示的运动处理加速器和可选的视频处理加速器328。这些任务分配的方式将在稍后描述。

图10示出了一个特殊实施例中被捕获的数字图像是YUV12格式的框图。显示器要求所接受的被捕获数字图像916是RGB格式。为了做到这样，被捕获的数字图像将从YUV12格式转换成RGB格式，并提供给显示器。该被捕获的数字图像被传送给编码器，其中该编码器要求YUV12格式的数字图像。选择性地，客户设备如显示器或编码器都可要求图像提供给客户设备之前，要从原始格式转换成第二或第三种格式。在这种情况下，加速器在继续处理其它图像之前，可为每一客户设备处理一幅图像。

将参照图11对被捕获的帧的一种典型图像格式和数据结构进行描述。该数据结构的细节可告知相机接口即将执行哪种要求的操作。在宏块层(level)，每个宏块包括四个亮度块Y0、Y1、Y2、Y3，两个色度块U和V。每个块包括8X8像素信息。被捕获的YUV格式帧的像素被存储在存储器中，其中使用了QCIF帧的一个例子。每个宏块被其在存储器中的位置(x_pos，y_pos)唯一确定。相应的Y亮度块和两个色度块的像素被它们各自的起始存储地址所确定。例如，如果被捕获帧的Y、U&V的存储地址分别在pY、pU、pV处开始，宏块(x_pos，y_pos)的Y1-Y4、U、V块的地址指针如下：

--Y1：pY+y_pos*16*帧宽+x_pos*16

--Y2：pY+y_pos*16*帧宽+x_pos*16+8

--Y3：pY+y_pos*16*帧宽+x_pos*16+8*帧宽

--Y4：pY+y_pos*16*帧宽+x_pos*16+8*帧宽+8

--U：pU+y_pos*8*帧宽/2+x_pos*8

--V：pV+y_pos*8*帧宽/2+x_pos*8

ARM的接口控制寄存器用来确定图像处理加速器的操作模式。ARM可用配置寄存器来命令该加速器执行给定的操作模式。当加速器正在当前宏块上执行给定的操作时，ARM可同时在前一个宏块上执行其它操作。因此，与使用完全软件方案的编码运算法则相比，对于一个给定的视频帧，节省了总的编码时间。

对配置寄存器进行写入操作会触发加速器的一个特定的模块或ALU，以处理数据。该模块执行配置寄存器的内容所指示的处理。当图像处理加速器完成该处理时，发出中断信号。

驱动器编码对硬件加速器的用户是透明的。将图像从第一数据格式转换成第二数据格式时，可断言方(declare)不同的参数以将相关的信息传递给加速器或从加速器接收相关的信息。在命令接口功能之前，相机接口或ARM会将存储器分派给被捕获的帧，以及保持结果的输出缓冲器。

图12示出了ARM内的视频处理模块与图像处理器之间的控制程序的逻辑流程图。这些操作从步骤1202中相机传感器或图像捕获装置捕获了一个数字图像开始。在步骤1204中相机接口为图像处理加速器模块设置参数，从而在宏块上执行图像处理操作。这些图像处理操作可包括格式转换、将图像处理成客户设备所要求的分辨率、抖动、和/或从YUV12格式转换成RGB色彩格式，以及减小噪音。这包括为图像处理加速器设置合适的参数。这些参数配置该加速器以预定的方式运作。然后，ARM命令执行与在步骤1204中的设定参数相对应的特定功能。在步骤1206中，加速器执行与专用加速器硬件中的参数相对应的所命令的功能。接下来，在步骤1208中，将在一个输出加速器寄存器或指定的存储器位置中，提供该命令功能的结果。与步骤1202至1208同时发生的是，视频处理模块的ARM自由执行其它任务，然后在必要时从加速器取回结果。接下来编码器可按需要重复这些步骤。另外，如果多个客户设备，如显示器或编码器都要求与被捕获图像不同的格式或分辨率，在继续处理下一个被捕获的数字图像之前，相机接口可要求完成每个客户机所要求的处理。

总之，本发明提供了一种连接在无线终端的可配置的相机接口上的相机，其中该无线终端可根据多种数据格式处理图像。该相机接口设有ARM和连接在该ARM上的图像处理加速器。该ARM和加速器的组合从可连接到相机接口上的图像传感器中接收具有第一数据格式的输出或被捕获数字图像。该加速器根据包括在被捕获的数字图像内的信息进行配置。被捕获的数字图像将会被处理以产生不同数据格式的另外的数字图像。该被捕获的数字图像和/或另外的数字图像将被提供给多个装置或客户设备。这种配置使得计算密集操作可从处理模块上转移到相机接口内的图像处理加速器上，以改善总的系统效率。这样的组合克服了现有技术设备的缺点，其中该现有技术设备通过使用不同的专用硬件加速器来支持无线设备内的实时或近似实时的数字图像处理。

如本技术领域的普通技术人员将会理解的，术语“充分地”或“大约”，如文中所用到的，给其对应的术语提供了产业上可接受的偏差。这样的产业上可接受的偏差在百分之一到百分之二十之间变化，且与分量值、整机电路处理变化、温度变化、上升与下降时间、和/或热噪声相对应，但不限于此。如本领域的技术人员将进一步理解的，“可用的连接”，如文中所用到的，包括直接连接和通过另一个部件、部件、电路或模块的间接连接，其中，对于间接连接，介于其间的部件、部件、电路或模块不会修改信号的信息，但是可调节其电流电平、电压电平和/或功率电平。如本领域的技术人员还将理解的，意指的连接(也就是意指的一个部件与另一个部件连接)包括两个部件之间以与“可用的连接”相同的方式直接或间接的连接。如本领域的技术人员将进一步理解的，术语“较佳地”，如文中所用到的，指的是两个或多个部件、项目、信号等之间的比较，提供一种想得到的关系。例如，想得到的关系是信号1的量值比信号2大，当信号1的量级比信号2的量级大时或者信号2的量级比信号1小时，就获得了想得到的比较。

为了说明和描述，给出了对本发明较佳实施例的在前描述。它并不是无遗漏的，或用来将本发明限于所揭露的精确形式，根据以上的示范或在本发明的实践中可做出修改和变化。选择和描述实施例的目的是为了解释本发明的原理，其实际应用可促使本技术领域的人员以不同的实施例来利用本发明，并作出各种适于预期的特定用途的修改。这意味着本发明的范围由附在后面的权利要求以及它们的等同条件来限定。

Claims (10)

1、一种无线终端内的可配置的相机接口，其中所述无线终端可处理多种数据格式的图像，所述相机接口包括：

高级精简指令集计算机机器(ARM)；以及

可操作地连接到所述高级精简指令集计算机机器(ARM)的图像处理加速器，其中所述高级精简指令集计算机机器(ARM)和所述加速器的组合用来：

接收来自可操作地连接至所述可配置的相机接口上的图像传感器的输出，其中所述图像传感器可捕获具有第一数据格式的数字图像；

根据包含在被捕获的数字图像中的信息对所述加速器进行配置；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像，其中所述第一数据格式与第二数据格式不相同；

将捕获的数字图像输出至第一设备；以及

将第二数字图像输出至第二设备。

2、根据权利要求1所述的可配置的相机接口，其特征在于：所述第一数据格式和第二数据格式包括：

RGB格式；

UYVY格式；

YUV12格式；或者

YUV格式。

3、根据权利要求2所述的可配置的相机接口，其特征在于：所述第一设备包括预览显示器，所述第二设备包括数码图像编码器。

4、根据权利要求2所述的可配置的相机接口，其特征在于：当第一数据格式是RGB格式时，配置所述加速器以将被捕获的数字图像从RGB格式转换成YUV格式。

5、一种无线终端，包括：

射频前端；

通信地连接至所述射频前端的基带处理器；

可用来捕获数字图像的图像捕获装置；

可用来预览被捕获的数字图像的显示器；

可配置的相机接口，所述相机接口包括高级精简指令集计算机机器(ARM)以及可操作地连接至所述高级精简指令集计算机机器(ARM)的图像处理加速器，其中所述可配置的相机接口可用来：

接收具有第一数据格式的被捕获的数字图像；

根据包含在所述被捕获的数字图像中的信息对加速器进行配置；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像，其中所述第一数据格式与第二数据格式不相同；

将捕获的数字图像输出至第一设备；以及

将第二数字图像输出至第二设备。

6、根据权利要求5所述的无线终端，其特征在于：所述第一数据格式和第二数据格式包括：

RGB格式；

UYVY格式；

YUV12格式；或者

YUV格式。

7、根据权利要求6所述的无线终端，其特征在于：所述第一设备包括预览显示器，所述第二设备包括数字图像编码器。

8、一种在无线终端内处理所捕获的数字图像的方法，包括：

用图像捕获装置捕获数字图像；

从被捕获的数字图像的数据格式确定可配置相机接口的操作模式；

根据被捕获的数字图像的数据格式，将对被捕获的数字图像的处理在高级精简指令集计算机机器(ARM)或图像处理加速器之间进行分配；

根据被捕获的数字图像的数据格式配置所述图像处理加速器；

处理所述被捕获的数字图像，以生成具有第二数据格式的第二数字图像；

将被捕获的数字图像输出至第一设备；以及

将所述第二数字图像输出至第二设备。

9、根据权利要求8所述的方法，其特征在于：所述图像处理加速器还包括：

至少一个可用来执行至少一个数字图像处理任务的算术逻辑单元(ALU)；以及

至少一个可用来暂时存储至少一个算术逻辑单元(ALU)的输入或输出的寄存器。

10、根据权利要求9所述的方法，其特征在于：计算密集图像处理任务分配给图像处理加速器。

Images