CN103945225A - 用于图像和视频处理的缩放器结构 - Google Patents

Abstract

本发明描述一种用于图像和/或视频处理的缩放器结构。一个方面涉及包含图像处理单元、存储器和编码器的设备。所述存储器经配置以存储来自所述图像处理单元的经处理图像数据。所述编码器经配置以从所述存储器检索所述经存储、经处理的图像数据。所述编码器包含缩放器，所述缩放器经配置以放大来自所述存储器的所述经检索图像数据。所述编码器经配置以编码所述经缩放图像数据。

Description

用于图像和视频处理的缩放器结构

根据35U.S.C.§119主张优先权

本申请案主张2005年11月30日申请的题为“用于嵌入式视频处理应用的功率和面积有效的缩放器结构(POWER AND AREA EFFICIENT SCALARARCHITECTURE FOR EMBEDDED VIDEO PROCESSING APPLICATIONS)”第60/741，347号共同转让的美国临时申请案的优先权，所述临时申请案的全文在此以引用的方式并入本文中。

分案申请的相关信息

本申请为发明名称为“用于图像和视频处理的缩放器结构”的原中国发明专利申请的分案申请。原申请的申请号为200680044564.9；原申请的申请日为2006年11月30日。

技术领域

本申请案涉及图像和/或视频处理，且更明确地说，涉及一种用于图像和/或视频处理的缩放器结构。

背景技术

用于视频应用的图像传感器可使用布置在传感器的表面上的彩色滤光片阵列(CFA)来取样一场景。可使用多种CFA图案，且数字信号处理器(DSP)可获得每一感光单元的三个色彩值。可使用图像处理技术以获得高质量、彩色的视频图像。这些图像处理技术可称作为“前端”图像处理，因为其通常先于图像压缩或由视频编码单元进行的其它视频编码。或者，这些图像处理技术可称作为“后处理”，因为所述处理发生在图像由图像传感器俘获之后。

从图像传感器产生的视频序列的图像帧可由一种或一种以上图像处理技术来处理。图像处理技术的实例包括色彩校正和去马赛克(demosaicing)。图像处理可改进视觉图像质量属性，例如色调再现、色彩饱和度、色相再现和锐度。

许多视频处理和编码技术已用于传送数字视频序列。举例来说，运动图像专家组(MPEG)已经研发出许多视频编码标准，例如MPEG-1、MPEG-2和MPEG-4。其它标准包括ITU H.263和ITU H.264。

某些视频编码技术和标准可使用图形和视频压缩算法来压缩数据。某些压缩算法可利用时间或帧间相关且提供帧间压缩。帧间压缩技术可通过将图像帧的基于像素的表示转换成运动表示来利用在帧上的数据冗余。

某些视频压缩技术可使用图像帧内的相似性(即，空间或帧内相关)以提供帧内压缩，其中在图像帧内的运动表示可经进一步压缩。帧内压缩可使用用于压缩静态图像的处理，例如离散余弦变换(DCT)变换。

发明内容

图像处理可在实时视频电话(VT)应用中出现实时视频编码的问题。举例来说，为了确保视频序列的实时传输，所有图像处理步骤可能需要非常快速地执行。因而，实时图像处理可能需要高带宽存储器和较大的存储器容量以执行大量的图像处理，通常通过若干不同的图像处理模块。存储器带宽和存储器空间对于某些编码装置来说可为有限的，例如手持式移动电话。

一方面涉及包含图像处理单元、存储器和编码器的设备。所述存储器经配置以存储来自所述图像处理单元的经处理图像数据。所述编码器经配置以从所述存储器检索经存储、经处理图像数据。所述编码器包含缩放器，所述缩放器经配置以放大来自存储器的经检索图像数据。所述编码器经配置以编码所述经放大图像数据。

另一方面涉及一种方法，其包含：处理图像数据；存储经处理的图像数据；检索经存储图像数据；缩放经检索图像数据；和编码经缩放图像数据。

在随附图式和以下描述中陈述一个或一个以上实施例的细节。从描述和图式以及从权利要求书中将明白其它特征、目标和优势。

附图说明

图1说明经配置以处理数字图像和/或数字视频的装置。

图2说明可实施在图1的装置中的组件。

图3说明使用图1的装置的方法。

具体实施方式

数字视频能力可并入到广泛的装置中，例如数字电视、数码相机、数字直播系统、无线通信装置、便携式数字助理(PDA)、膝上型计算机、台式计算机、直接双向通信装置(有时称作为“无线电对讲机”)，和例如基于蜂窝式、卫星或陆地的无线电电话的无线电电话。这些装置可产生、修改、传输、存储和播放全运动视频序列。

图1说明经配置以处理数字图像和/或数字视频的装置2。装置2可表示数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、台式计算机、数码相机、数字记录装置、网络启用数字电视、蜂窝式或卫星无线电电话或具有视频电话(VT)能力的任何电信装置或实施在其中。

装置2可处理、编码、解码、传输和/或接收图像和/或视频数据。视频数据可由例如视频俘获单元(或图像传感器)12的摄像机俘获、从视频档案俘获，或以另一方式获得。在装置2中的视频编码单元19可使用视频编码标准，例如MPEG-4、ITU-T H.263、ITU-T H.264，或任何其它视频编码标准。视频编码单元19可支持帧间编码技术(例如运动估计和运动补偿)和帧内编码技术(例如空间估计和帧内预测编码技术)。

装置2可包括图像/视频俘获装置12(例如相机或摄像机)以检索图像或视频序列，且在存储器14中存储经俘获的图像或视频序列。图像/视频处理单元4可处理图像和/或视频序列。存储器14可在此处理之前与之后存储图像和/或视频序列。

收发器16可接收经编码的视频序列和/或将经编码的视频序列传输到另一装置。收发器16可使用无线通信标准，例如码分多址(CDMA)。CDMA标准的实例包括CDMA1xEV-DO、WCDMA等。

装置2的一个或一个以上元件可经由通信总线15而通信地耦合。除了图1中所展示的元件以外或代替图1中所展示的元件，其它元件可包括在装置10中。图1中所说明的结构仅为一实例。本文所描述的技术可以多种其它结构来实施。

存储器14可具有相对大的存储器空间。存储器14可包含动态随机存取存储器(DRAM)或FLASH(快闪)存储器。存储器14可包含“非”或“与非”门存储器技术或任何其它数据存储技术。在其它实例中，存储器14可包含非易失性存储器或任何其它类型的数据存储单元。

图像/视频处理单元4可包含用于移动无线电电话的芯片组，所述芯片组可包括硬件、软件、固件和/或一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其各种组合。处理单元4可包括耦合到前端图像/视频处理单元18和图像/视频编码单元19的局部存储器8。编码单元19可包含用于编码(或压缩)和解码(或解压缩)数字视频数据的编码器/解码器(编解码器)。

局部存储器8可包含相对于存储器14较小且较快的存储器空间。举例来说，局部存储器8可包含同步动态随机存取存储器(SDRAM)。局部存储器8可包含与处理单元4的其它组件整合的“芯片上”存储器以在处理器密集编码处理期间提供对数据的快速存取。然而，存储器14和8可经组合成一个存储器，或可以若干其它配置实施。存储器控制器10可控制存储器获取和到局部存储器8的写回。

前端图像/视频处理单元18可对视频序列的帧执行一个或一个以上图像处理技术以改进图像质量，且借此改进视频序列的质量。举例来说，前端图像/视频处理单元18可执行例如去马赛克、透镜滑离校正、缩放、色彩校正、色彩转换和空间滤波的技术。前端图像/视频处理单元18也可执行其它技术。一般来说，由单元18所执行的技术称作“前端”图像处理技术，因为所述技术先于由图像/视频编码单元19进行的编码。

图像/视频俘获单元12可包含图像传感器，所述图像传感器包括布置在传感器的表面上的彩色滤光片阵列(CFA)。由单元18执行的前端图像处理可改进由俘获单元12俘获的视频序列质量。举例来说，前端处理单元18和/或编码单元19可包含经编程以处理由俘获单元12俘获的图像的DSP。存储器8(或存储器14)的相同区域可用于前端图像处理目的和用于其它存储目的。

图像/视频编码单元19可执行图像和/或视频编码，其可包括一个或一个以上视频压缩技术，例如帧间压缩和/或帧内压缩。举例来说，编码单元19可实施运动估计和运动补偿技术以利用时间或帧间数据相关，从而提供帧间压缩。其它或另外，编码单元19可执行空间估计和帧内预测技术以利用空间或帧内数据相关，从而提供帧内压缩。运动补偿(或帧内预测)的输出称作为“残余”，且可包含指示在待编码的当前视频区块与由运动估计或空间估计所识别的预测区块之间的差异的数据区块。

在编码单元19执行运动补偿(或帧内预测)以产生残余之后，可执行一系列额外步骤以进一步编码残余和进一步压缩数据。额外步骤可视正使用的编码标准而定，但其通常称作“残余编码”。编码单元19可执行这些视频压缩技术中的一者或一者以上以减少经由收发器16将视频序列传送到另一装置所需的数据量。

图2说明可实施在图1的装置2中的组件。图2说明图像处理单元或引擎20、存储器或缓冲器24以及编码器26(也称为编码器/解码器、编码解码器、压缩引擎或后端处理器)。视频处理系统通常包括：前端处理器(例如图像处理单元20)，其俘获实时图像；和后端处理器(例如编码器26)，其执行视频/图像编码。

图2中的图像处理单元20可包括任何数目的图像处理模块22(标记为22A、22B和22C且统称为“模块22”)。模块22可包括图像传感器接口、去马赛克模块、透镜滑离校正模块、缩放模块、色彩校正模块、色彩转换模块和空间滤波模块或其它前端图像处理模块。

由模块22进行的前端图像处理可为连续的。在可相对于给定图像执行下一处理之前，可整体上执行第一处理。可相对于一序列的若干不同图像并行地执行某些处理。某些模块22可执行相同功能，此允许对不同图像并行地执行所述功能。

在第一配置中，图像处理单元20包括缩放器以缩小(即，下取样或抽取)或放大(即，上取样或内插)图像。缩放可与其它图像处理技术关联。可最后执行或靠近图像处理单元20中的管线末端执行上取样(或放大)，因为(a)上取样未增加任何新的信息到图像，且(b)需要减少在其它图像处理模块22中所执行的数据处理量以节省行缓冲器中的功率和面积。可完成上取样以为了适当显示或为了数字变焦的目的来调整图像大小。简单形式的2x上取样使用箱式滤波器，其中每一像素被复制成4×4区块，其用于重建输出图像。许多算法可用于上取样。

前端图像处理单元20将经处理数据发送到存储器24(例如，外部存储器)以供存储，直到数据可经进一步处理以用于由编码器26进行的联合图形专家组(JPEG)或MPEG编码，其可基于图像宏区块而操作。编码器26可根据MPEG或JPEG标准或其它标准来编码和/或解码数据。在此第一配置中，编码器26中不存在缩放器。

在第二配置中，如在图2中所展示，编码器26包括缩放器28，所述缩放器28可为可配置以放大和/或缩小的缩放器。编码器26可为JPEG或MPEG编码器的任何实施例。编码器26逐宏区块地获取经处理的图像数据且处理所述宏区块。通过在编码器26中嵌入缩放器28，只要最终所要输出大小大于来自图像处理单元20的原始输入大小(分辨率)，则需要存储器24中的较少空间。当图像经扩大或放大时，待经处理或存储的数据量可增加，例如增加2×N倍，其中N是上取样因数。如果缩放器28上取样图像作为从存储器24进行编码器读取操作的一部分(即，当编码器26从存储器24获取经处理的图像数据时)，则存储器24的大小需求、外部带宽、面积和功率可减小而不损失质量。

图2中的组件可用于降低功率的视频处理装置中。

编码器26可具有内部缓冲器以存储从存储器24读取的宏区块数据。编码器26可使用双缓冲器，因此编码器26可在获取下一宏区块时处理一个宏区块。如果缩放器28上取样作为从存储器24进行编码器读取操作的一部分，则相比上文所描述的第一配置将仅需要到存储器24的获取的1/4(对于2x上取样来说)，因为仅原始的未经上取样的图像从存储器24获取。到存储器24的获取数目的减少可导致显著的功率节省。相比于第一配置(上取样作为图像处理单元20的最后阶段)，不存在质量损失。

具有执行上取样的编码器26的另一优势是存储来自图像处理单元20的输出所需的存储器24数量也可减少4倍(对于2x上取样来说)。

如果上取样在图像处理单元20中执行(如在第一配置中)，且图像从图像传感器经实时处理，则模块22的管线必须以上取样数据速率运行以便继续运行。这意味硬件要需较大以并入较多并行活动或以较快的时钟速度运行。因为上取样因数增加，所以这可能很快变为不可实行的。

如果编码器26执行上取样(在第二配置中)，则图像处理单元20可以由来自图像传感器的数据速率所指定的最小时钟速率来运行。

如果图像在垂直方向上经上取样，则在图像处理单元20中的上取样也可能需要行缓冲器。行缓冲器大小可由经处理的图像的水平宽度来指定。为了支持较高的DSC分辨率，此行缓冲器可为相当大的。4MP图像传感器具有2272个像素的宽度，其可使用每一行缓冲器2772×10个位的RAM大小。所需行缓冲器数目可由用于垂直滤波器中的若干分接头来确定。

如果编码器26执行上取样，则仍可使用行缓冲器。但因为编码器26仅基于16×16个像素的宏区块进行处理，所以这些行缓冲器的大小可明显较小，其提供面积和功率的减小。

将上取样移动到编码器26的另一潜在优势是可减小RAM缓冲器(用于解决图像处理单元20的输出处的总线等待时间)的大小，因为需要在单元20的输出处支持的最大数据速率可减小4倍。

可设计图2中所提议的缩放器结构，使得某些硬件(例如加法器和乘法器等)可被共用或用于平滑的放大与缩小两者，其导致面积有效的可配置结构。

在图像前端处理器与视频/图像编码器整合的系统中，前端处理器和视频/图像编码器可经分割，以使得可降低实施视频处理所需的总体存储器带宽、面积和功率。

如果编码器26使用双缓冲器以管线获取和处理宏区块，则编码器26应能够从存储器24读取，外加在用于处理宏区块的时间量内上取样宏区块，否则可能在编码器管线中存在失速。如果上取样花费比宏区块处理时间更长的时间，则在总体视频性能方面可能存在略微的降低。此可通过增加较多内部缓冲器以覆盖这些等待时间来解决。

图3说明使用图2中的组件的方法。在区块30中，处理图像数据。在区块32中，存储经处理的图像数据。在区块34中，检索经存储的图像数据。在区块36中，缩放经检索的图像数据。在区块38中，编码和/或压缩经缩放的图像数据。

可使用多种不同技术中的任何者来表示信息和信号。举例来说，可上文全部描述中经参考的数据、指令、命令、信息、信号、位、符号和芯片可由电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合来表示。

结合本文中所揭示方面而描述的各种说明性逻辑区块、模块、电路和运算步骤可作为电子硬件、计算机软件或两者的组合而实施。为了清楚地说明硬件与软件的此互换性，各种说明性组件、区块、模块、电路和步骤已大体上根据其功能性而在上文中描述。此功能性作为硬件还是软件来实施取决于强加在整个系统的特定应用和设计约束。所属领域的技术人员对于每一特定应用可以变化的方式来实施所描述的功能性，但不应将这些实施决策解释为限制。

结合在本文中所揭示方面而描述的各种说明性逻辑区块、模块和电路可使用通用处理器、DSP、ASIC、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文中所描述功能的其任何组合来实施或执行。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可经实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或一个以上微处理器或者任何其它此配置。

结合本文所揭示实施例而描述的方法或算法的动作可直接实施在硬件中、由处理器执行的软件模块中或在两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或任何其它形式的存储媒体中。存储媒体耦合到处理器，使得处理器可从所述存储媒体读取信息以及将信息写入所述存储媒体。在替代方案中，存储媒体对于处理器可为一体的。处理器和存储媒体可驻存在ASIC中。所述ASIC可驻存在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端中。

所属领域的技术人员可明白对于所描述方面的各种修改，且在本文中所界定的一般原理可在不脱离本发明的精神或范围的情况下应用于其它实施例。因而，本发明并不意欲限于本文中所展示的实施例，而是符合与在本文中所揭示的原理和新颖特征一致的最广范围。

Claims (19)

1.一种用于图像处理的设备，其包含：

图像处理单元；

存储器，其与所述图像处理单元分离并经配置以存储来自所述图像处理单元的经处理图像数据，并且其中经存储的所述经处理图像数据并未被放大；

编码器，其与所述图像处理单元和所述存储器分离并经配置以从所述存储器检索所述经存储、经处理图像数据，所述编码器包含经配置以在所述编码器检索所述经存储、经处理图像数据时放大来自所述存储器的所述经检索图像数据的缩放器，且所述编码器经配置以编码所述经放大图像数据，

其中所述图像处理单元和所述编码器经配置以经由共用通信总线与所述存储器传送所述经处理图像数据。

2.根据权利要求1所述的设备，其中所述图像处理单元经配置以执行去马赛克、透镜滑离校正、缩放、色彩校正、色彩转换和空间滤波中的至少一者。

3.根据权利要求1所述的设备，其中所述存储器处于所述图像处理单元和编码器的外部。

4.根据权利要求1所述的设备，其中所述编码器经配置以压缩所述经检索图像数据。

5.根据权利要求4的设备，其中所述编码器经配置以根据MPEG、JPEG、ITUH.263和ITU H.264标准中的至少一者来压缩图像数据。

6.根据权利要求1所述的设备，其中所述编码器包含双缓冲器，所述双缓冲器使得能够大体上同时检索和放大图像数据。

7.根据权利要求1所述的设备，其中所述设备是移动通信装置，所述设备进一步包含经配置以在无线通信信道上传输所述经编码图像数据的传输器。

8.根据权利要求1所述的设备，其中所述缩放器可经配置以放大和缩小经检索图像数据。

9.根据权利要求1所述的设备，其中所述缩放器可经配置以放大到多个不同尺寸。

10.根据权利要求1所述的设备，其中所述编码器包含视频编码器。

11.一种用于图像处理的方法，其包含：

用第一处理单元处理图像数据；

由所述第一处理单元处理经由通信总线将所述经处理图像数据存储在存储器中，其中所述经存储的图像数据并未被放大；

用与所述第一处理单元分离的第二处理单元经由所述通信总线从所述存储器检索所述经存储图像数据，所述通信总线由所述第一处理单元和所述第二处理单元共用；

用所述第二处理单元在所述第二处理单元检索所述经存储图像数据时放大所述经检索图像数据；以及

用所述第二处理单元编码所述经缩放图像数据。

12.根据权利要求11所述的方法，其中编码包含根据MPEG、JPEG、ITU H.263和ITU H.264标准中的至少一者来压缩所述经检索图像数据。

13.根据权利要求11所述的方法，其中编码包含视频编码。

14.根据权利要求11所述的方法，其中处理所述图像数据包含去马赛克、透镜滑离校正、缩放、色彩校正、色彩转换和空间滤波中的至少一者。

15.根据权利要求11所述的方法，其进一步包含缓冲所述经检索图像数据。

16.根据权利要求11所述的方法，其进一步包含在无线通信信道上传输所述经编码图像数据。

17.根据权利要求11所述的方法，其进一步包含配置放大量。

18.一种用于图像处理的设备，其包含：

用于处理图像的装置；

用于存储所述经处理图像的装置，其中所述经存储的经处理图像数据并未被放大；以及

编码装置，用于(a)从所述存储装置检索所述经存储、经处理图像、(b)在所述编码装置检索所述经存储、经处理图像时放大所述经检索图像和(c)编码所述经放大图像的与所述处理装置分离，

其中所述图像处理装置和所述编码装置经配置以经由共用通信总线与所述存储装置传送所述经处理图像数据。

19.根据权利要求18所述的设备，其中所述用于处理所述图像的装置经配置以执行去马赛克、透镜滑离校正、缩放、色彩校正、色彩转换和空间滤波中的至少一者。