CN101179671B - 图像缩放装置和图像缩放方法 - Google Patents

Abstract

提供一种图像缩放装置及图像缩放方法，其中的装置包括：水平缩放单元，用以对图像进行水平方向的缩放操作；垂直缩放单元，用以对图像进行垂直方向的缩放操作；存储单元，设置在所述水平缩放单元与所述垂直缩放单元之间、用以暂存图像中水平显示行的像素数据；过滤单元，用以根据显示图像各个窗口的叠加状况选取该各个窗口的坐标范围内的数据。其中的方法包括如下步骤：对图像数据进行水平缩放；根据显示图像各个窗口之间的叠加状况选取屏幕显示图像各个窗口的坐标范围内的数据；将选取出的各个窗口的坐标范围内的数据进行暂存；取出已完成水平缩放的各个窗口坐标范围内的图像数据，进行垂直缩放。

Description

图像缩放装置和图像缩放方法

技术领域

本发明涉及图像缩放装置和图像缩放方法，尤其涉及一种可用于处理多窗口的图像缩放装置和方法。

背景技术

在地面、有线或卫星音视频数据传输中，一般会在接收端安装音、视频解码器来完成音视频数据的解码，再将解码后的数据进行数模转换后播放。接收到的视频流经过解码后，通常在播放前要经过一个后处理器(Video PostProcessor)，完成一些视频后处理工作，例如图像缩放，去交织，gamma校正等。后处理器可以与视频解码器集成在一起，也可以单独配置。对于图像缩放的处理，需要先用DMA把视频数据从存储器，例如同步动态随机存储器(SDRAM)，搬入后处理器中。现有技术中目前比较通行的做法是先把视频数据存放在线性缓冲器(line buffer)中，然后从线性缓冲器中把数据搬出，利用垂直缩放单元(Vertical Scaling；VS)与水平缩放单元(Horizontal Scaling；HS)先后进行垂直缩放操作(v-scaling)和水平缩放操作(h-scaling)。在这里，VS和HS是紧耦合的关系。美国专利US6,400,852中揭示了这样一种VS和HS为紧耦合关系的图像缩放装置。如图1所示，该图像缩放装置包括垂直缩放单元11和水平缩放单元12。解码后的数据从存储单元(如线性缓冲器)13中直接送入图像缩放装置10连续进行垂直缩放和水平缩放。

但是，在这些VS和HS紧耦合的图像缩放装置中，HS的水平缩放操作和VS的垂直缩放操作处理之前，都是把数据先行存放在线性缓冲器中。在具有画中画(Picture in Picture，PIP)或画外画功能(picture by picture；PBP)的视频处理方案里，这种结构会遇到一些问题。具有画中画功能的显示设备显示的图像内容通常包括大窗口和叠加在大窗口上的小窗口，如图2所示。图中空白框内面积为大窗口，斜线框内面积表示小窗口。依照目前的现有技术，需要准备两套缩放单元分别对大窗口和小窗口的数据进行缩放处理。如图3所示的图像缩放装置，包括用来处理大窗数据的第一垂直缩放单元111和第一水平缩放单元121与用来处理小窗数据的第二垂直缩放单元112和第二水平缩放单元122。选通单元14根据屏幕显示坐标信息从两套缩放单元中选取适当的数据送入屏幕显示设备。这样的两套缩放单元使电路变得复杂，成本难以降低，并且也增加了功耗。

在另一些图像缩放装置中，也考虑用同一套缩放单元来完成两个窗口的缩放处理。可参考图4，图像由垂直缩放单元11进行垂直缩放处理，并直接把垂直缩放后的数据送入水平缩放单元12进行水平缩放处理，HS处理一行后输出一行。由于垂直缩放需要同时用到图像多行中的数据作为滤波操作的源数据，业界常常在缩放引擎前设置暂存器，例如线性缓冲器就是这样一种比较普遍在缩放操作中使用的暂存器。DMA搬入的大窗数据和小窗数据分别单独存放在各自的一个线性缓冲器(例如第一线性缓冲器15和第二线性缓冲器16)里，也就是说，对于包含一个大窗和一个小窗的画中画的缩放处理，仍然需要两套线性缓冲器分别存放大窗和小窗的数据。采用两套线性缓冲器势必会增加硬件的开销。如果显示需求为3个窗口，乃至更多窗口，那么需要的线性缓冲器将更多，这样做增加的面积开销为设计所不能接受。业界目前正努力在寻求一种能够节约硬件资源的架构和方法来实现多窗口缩放处理。

发明内容

为克服现有技术中存在的缺陷，本发明提出了一种用于多窗口的图像缩放装置，能够减少硬件资源，节约硬件电路面积，并降低功耗。

本发明并提供了一种用于多窗口的图像缩放方法，该方法只需用到最少的资源即可实现多窗口的图像的缩放。

根据本发明的一个方面，提供一种图像缩放装置，包括：

水平缩放单元，用以对图像进行水平方向的缩放操作；

垂直缩放单元，用以对图像进行垂直方向的缩放操作；

存储单元，设置在所述水平缩放单元与所述垂直缩放单元之间、用以暂存图像中水平显示行的像素数据；

过滤单元，用以根据显示图像各个窗口的叠加状况选取该各个窗口的坐标范围内的数据。

根据本发明的图像缩放装置，其中，所述存储单元为线性缓冲器，所述线性缓冲器的大小根据显示屏幕的全屏图像大小确定。

根据本发明的图像缩放装置，其中，所述线性缓冲器中设置多个存储组，每个存储组的大小根据显示屏幕的全屏图像的水平长度确定。

根据本发明的图像缩放装置，还包括用以暂存输入的图像数据的先进先出缓冲器。

根据本发明的图像缩放装置，其中，所述水平缩放单元配置多个并行处理数据的滤波器内核。

根据本发明的图像缩放装置，其中，所述滤波器内核前端设置水平缩放先进先出缓冲器。

根据本发明的图像缩放装置，还包括从所述线性缓冲器中存取数据进行去交织处理的去交织单元。

根据本发明的图像缩放装置，还包括用以集中控制图像数据的输入输出、同步和处理的控制单元。

根据本发明的图像缩放装置，所述过滤单元设置在所述水平缩放单元与存储单元之间。

根据本发明的另一方面，提供一种图像缩放方法，包括如下步骤：

a.图像数据进行水平缩放；

b.根据显示图像各个窗口之间的叠加状况选取屏幕显示图像各个窗口的坐标范围内的数据；

c.将选取出的各个窗口的坐标范围内的数据进行暂存；

d.取出已完成水平缩放的各个窗口坐标范围内的图像数据，进行垂直缩放。

根据本发明的上述方法，所述步骤a包括对图像数据的多路数据同时进行水平缩放处理的步骤。

本发明中水平缩放单元与垂直缩放单元为松耦合的联接方式，水平缩放单元对一个水平行的多窗口数据完成水平缩放处理后，过滤单元根据各个窗口之间的叠加状况选取各个窗口的适当坐标范围内的数据，然后再存入线性缓冲器，最后由垂直缩放单元直接从线性缓冲器中取出各个窗口的适当坐标范围内的数据完成垂直缩放处理。这样，可以使用一组缩放单元和一组线性缓冲器(line buffer)实现画中画方案，大大节省了硬件资源，降低了硬件的面积成本和硬件设计的复杂度，减轻了验证的压力，有利于缩短开发周期。

附图说明

以下附图为对本发明示例性实施例的辅助说明，结合以下附图对本发明实施例的阐述，是为进一步揭示本发明的特征所在，但并不限制本发明，图中相同符号代表实施例中相应元件或步骤，其中：

图1为现有技术的一种紧耦合的图像缩放装置的示意性结构框图。

图2为显示设备所显示的带画中画的图像内容。

图3为现有技术中一种多窗口图像缩放装置的示意性结构框图。

图4为现有技术中另一种多窗口图像缩放装置的示意性结构框图。

图5为根据本发明的图像缩放装置的示意性结构框图。

图6为根据本发明的一个实施例中的滤波器的工作原理示意图。

图7为根据本发明一个实施例的图像缩放装置结构框图。

图8为根据本发明另一个实施例的图像缩放装置结构框图。

图9为本发明一实施例中水平缩放单元的结构框图。

图10为本发明一实施例中线性缓冲器的结构示意图。

图11为根据本发明一实施例的图像缩放方法的流程图。

具体实施方式

图像数据的水平缩放和垂直缩放后通常都是逐行输出图像数据，而垂直缩放的任何一个象素点的滤波需要用到连续几行的位于同一垂直线上的几个象素点数据进行滤波计算。这样需要为垂直缩放操作设置存储单元以缓存待处理的数据。为实现画中画(picture in picture；PIP)或画外画功能(picture by picture；PBP)，往往需要在显示设备上为视频图像设置多个窗口，这样，也相应地对图像缩放的处理部分提出了要求。如果为每个窗口的图像缩放各准备一组图像缩放装置将会引起成本上升。特别是在单系统芯片(system-on-chip)中，对面积成本的影响较大。本发明提供单一的图像缩放装置来实现多个窗口的图像缩放。可以理解的是，该图像缩放装置可以设置在视频数据接收装置的后处理部分，也可以设置在显示设备的显示操作前端。

参见图5，本发明提出的多窗口图像缩放装置包括水平缩放单元51、垂直缩放单元54和位于水平缩放单元与垂直缩放单元之间的存储单元53。存储单元可暂存图像数据，水平缩放单元对图像进行水平方向的缩放操作，垂直缩放单元对图像进行垂直方向的缩放操作。水平缩放单元和存储单元之间例如设置了过滤单元52，可以根据各窗口的叠加状况选取屏幕显示图像各个窗口的适当坐标范围内的数据。

根据本发明的一个实施例，水平缩放单元和垂直缩放单元例如都是采用滤波器重新抽样滤波的方式对图像数据进行水平方向或垂直方向的缩放操作。所采用的滤波器的工作原理可参见图6。图6为本发明一实施例中滤波器的结构示意图，图中滤波器具有4抽头(tap)。滤波器从源数据中抽取多个原始点数据，每个样点都乘上一个与之对应的系数，得到一个乘积，再把这些乘积累加起来，输出所得的结果，则可获得目标点数据。滤波器所抽取的数据样点也称为抽头，抽头的数量可以根据显示精度的要求来设置。每个目标点可以在图像的源数据中选取一个参考点，一般参考点选在目标点在图像中的位置的附近。相邻目标点对应的参考点之间的距离(以点数为单位)可称为跨度(step)，每一个目标点可以有其对应的跨度值。在一些实施例中，跨度值可以根据对于所处理的图像的缩放比例来决定。在对图像进行放大，也就是进行过采样的时候，目标点分布可能比原始点要密，这时就有可能出现跨度值为0的目标点，即两个原始点之间有不止一个目标点。运算中对于每一个目标点，只需要知道其前一点的参考点和前一点的跨度值，就可以根据该点的跨度值得到该点的参考点，以此类推，从而得到滤波所需的全部原始点。

图7是根据本发明一个实施例的图像缩放装置结构框图。其中控制单元56控制数据的输入输出、同步和处理过程，在本发明的一些实施例中，可以由处理器和各处理单元的控制器共同实现，例如线性缓冲器53的缓冲器控制器531、水平缩放单元51的水平缩放控制器510和垂直缩放单元54的垂直缩放控制器541等，如图8所示。在本发明的另一些实施例中，控制单元56也可以完全由处理器实现。DMA从外部搬入数据后暂时放入先进先出缓冲器(FIFO)55中。在处理画中画或画外画时，大窗口图像数据和小窗口图像数据可以分成两路搬入FIFO。对于更多个窗口的显示，可以按照窗口数量输入多路图像数据。根据本发明的一个实施例，暂时存放图像数据的FIFO包含至少两个寄存器。例如，在一个实施例中，这里的FIFO是一个乒乓FIFO，设置了两个寄存器。当其中一个第一寄存器中的图像数据还未处理完时，从DMA新搬入的数据则放入另一个第二寄存器。当第一寄存器中的图像数据处理完后，继续处理第二寄存器中的图像数据，而此时从DMA新搬入的数据则放入第一寄存器。FIFO中寄存器轮流使用的方式可以有效防止FIFO的溢出，从而避免FIFO中图像数据的丢失而影响后续的处理效果。

水平缩放单元从FIFO中取出数据进行水平缩放处理。目前数据的搬运通常都是以水平行扫描方式来进行的，水平缩放单元可以实时处理来自FIFO中的源数据，而FIFO也可随时补充后续的新的源数据提供给水平缩放单元处理。因此，FIFO可以直接设置成小于图像显示时的水平行长度的数据长度，这也从一个方面降低了成本要求。

为了提高处理数据的能力，水平缩放单元可以设计为多个滤波器核并行处理数据的结构。在本发明的一个实施例中，如图9所示，水平缩放单元51可以设计成4个滤波器核511至514并行处理数据的结构。水平缩放单元在一个指令周期内同时从FIFO读入4组源数据，分别放在4个滤波器核中进行处理，处理完成后在同一个时钟周期内输出给线性缓冲器。当需要得到的水平缩放比例和垂直缩放比例不一致，特别是水平缩放比例小于垂直缩放比例，例如，当要求的水平缩放比例为1∶1，垂直缩放比例为4∶1而垂直缩小时，水平缩放单元可以在1/4帧的时间内完成一帧数据的水平缩放操作，这样避免了垂直缩放单元的等待时间，因而提高了图像数据的处理速度。可供选择地，水平缩放单元中可以进一步设置一个水平缩放FIFO516。水平缩放FIFO根据水平缩放单元中滤波器核的实际处理需要从FIFO中搬入源数据，再分别送入每个滤波器核中处理。4路滤波器核处理得到的4组数据可以同时从水平缩放单元输出。  设置于水平缩放单元和存储单元之间的过滤单元52可以接收来自控制单元56的屏幕显示坐标信息。所谓的屏幕显示坐标信息可以是如图2中所示的每个窗口的左上角坐标和右下角坐标，如大窗的坐标W1、W2和小窗的坐标W3、W4。根据屏幕显示坐标信息可以判断各个窗口之间的叠加状况。过滤单元根据各个窗口之间的叠加状况，从水平缩放单元输出的已完成水平缩放操作的数据中，选取屏幕显示图像各个窗口的适当坐标范围内的数据，送入存储单元中暂存。例如图2中的大窗内被小窗覆盖的部分数据将被过滤掉，而仅仅保留大窗内未被小窗覆盖的部分数据和小窗内的数据。

继续参见图7，在本发明的一个实施例中，图像缩放装置中的存储单元为线性缓冲器53。为满足面积最小化的要求，存储单元总是希望设计成尽量小的尺寸。而为了应对图像数据的实时处理，对于垂直缩放单元，需要有多个垂直方向的源数据样点参与运算。但目前通常数据的搬运都是以水平行扫描方式来进行的，无法直接按照图像上的纵向方向来扫描，而直接输入参与运算的垂直方向的样点。这样每输入一个参与运算的垂直方向的样点，就需要把该点所在的水平行的其他样点一起搬运到线性缓冲器。本发明中过滤单元已经按照屏幕显示图像的各个窗口的叠加状况完成了窗口数据的选取，线性缓冲器的大小可以根据显示屏幕的全屏图像大小来决定。在某些应用中，当源数据的水平分辨率大于目标数据的水平分辨率时，线性缓冲器的大小直接由显示屏幕的全屏图像大小来决定，即可以小于源数据的大小，因此，可以达到节省面积的要求。在本发明一个实施例中，线性缓冲器中设置了多个存储组(bank)，每个存储组中存放图像中一个水平显示行的象素数据。例如，对于水平分辨率为720象素的图像，线性缓冲器的每个存储组中存放一个水平行中共720象素的数据长度。这样，线性缓冲器的一个存储组可以设置成显示屏幕的全屏图像中一个水平行的象素数据长度，因而可以直接按最小的面积要求来配置存放数据的存储单元。由于在把数据存放到线性缓冲器之前，已经完成水平方向的缩放操作，并已经采用过滤单元按照屏幕显示图像的各个窗口的叠加状况完成了窗口数据的选取，可以使用一套线性缓冲器来进行多个窗口数据的暂存。因此，降低了硬件的面积成本和整个系统设计的复杂度，减轻了验证的压力，有利于缩短开发周期。在本发明的一些实施例中，可以把线性缓冲器中大窗和小窗的数据分别存放在相互独立的两块区域中。

在有些实施例中，图像数据以YUV 4:2:2格式进行解码和显示。相应的，线性缓冲器也设置成Y、U、V三块，如图10所示。线性缓冲器对Y、U、V每一块数据分别按行扫描的顺序接收已经完成水平缩放操作的图像数据，分别存入每一块相应的存储组中。在进行垂直缩放处理时，Y、U、V这三块的图像数据分别送入垂直缩放单元，分别完成缩放操作。

参见图8，在本发明的一些实施例中，例如可以在对图像进行垂直缩放之前，从线性缓冲器中存取数据进行其他后处理操作，例如去交织(Deinterlacing)等。去交织单元58从线性缓冲器中读出数据，做完去交织处理后再把数据填回线性缓冲器的原处。

根据本发明的一个实施例，垂直缩放单元从线性缓冲器中取出源数据，利用滤波器滤波后，得到目标数据，最后送入显示设备显示或进行进一步的图像后处理。垂直缩放单元每次纵向在线性缓冲器中取数据，换言之，垂直缩放单元每次所取的数据原始点为在图像的垂直方向上与参考点在同一条直线上的样点，这样的原始点跨越多个水平行。在线性缓冲器中，每个存储组存放一个水平行样点数据，每次垂直缩放操作时，垂直缩放单元根据抽头数，在相关的每个存储组中选取相应位置的样点作为垂直缩放的原始点数据。通常，根据上一个样点的参数值和该点跨度值可以得到该点的参考点，并进而得到滤波所需的全部原始点的位置。在本发明的一个实施例中，图像数据以YUV 4:2:2格式进行解码和显示，垂直缩放单元每次从Y组线性缓冲器中取4个字节的数据送入滤波器，做4抽头(tap)的垂直缩放处理(v-scaling)，每次从U组线性缓冲器/V组线性缓冲器中取2个字节的数据送入滤波器，做2抽头(tap)的垂直缩放处理(v-scaling)。

参见图11，本发明用于多窗口的图像缩放方法包括以下步骤：

步骤S1，对图像数据进行水平缩放；

步骤S2，根据各个窗口之间的叠加状况选取屏幕显示图像各个窗口的适当坐标范围内的数据；

步骤S3，将选取出来的各个窗口适当坐标范围内的数据进行暂存；

步骤S4，取出已完成水平缩放的各个窗口适当坐标范围内的图像数据，进行垂直缩放。

如前文所述，暂存图像数据的存储单元为线性缓冲器(line buffer)。

图像数据进行水平缩放时，可以采用多路数据同时进行处理的方式，以最大限量地达到与垂直缩放同步的要求。

该图像缩放方法把水平缩放操作前置，并在水平缩放操作完成后即进行各个窗口的适当坐标范围内的图像数据选取，允许多个窗口的图像数据同时存放在同一套存储单元中。在满足了画中画/画外画等功能的情况下，简化了垂直缩放所需的存储单元的设计难度和成本。

本实施例只是为了进一步更清楚地描述本发明，而非对本发明的限制。应该可以理解，本发明并不限于实施例所做的阐述，任何基于本发明的修改和本发明的等同物都应涵盖在本发明的权利要求的精神和范围之内。

Claims (11)

1.一种用于多窗口的图像缩放装置，包括：

水平缩放单元，用以对图像进行水平方向的缩放操作；

垂直缩放单元，用以对图像进行垂直方向的缩放操作；

存储单元，设置在所述水平缩放单元与所述垂直缩放单元之间、用以暂存图像中水平显示行的像素数据；

过滤单元，用以根据显示图像各个窗口的叠加状况选取该各个窗口的坐标范围内的数据，以将所叠加的窗口中被覆盖的部分数据过滤掉。

2.如权利要求1所述的图像缩放装置，其特征在于，所述存储单元为线性缓冲器，所述线性缓冲器的大小根据显示屏幕的全屏图像大小确定。

3.如权利要求2所述的图像缩放装置，其特征在于，所述线性缓冲器中设置多个存储组，每个存储组的大小根据显示屏幕的全屏图像的水平长度确定。

4.如权利要求1所述的图像缩放装置，其特征在于还包括用以暂存输入的图像数据的先进先出缓冲器。

5.如权利要求1所述的图像缩放装置，其特征在于，所述水平缩放单元配置多个并行处理数据的滤波器内核。

6.如权利要求5所述的图像缩放装置，其特征在于，所述滤波器内核前端设置水平缩放先进先出缓冲器。

7.如权利要求2或3所述的图像缩放装置，其特征在于还包括从所述线性缓冲器中存取数据进行去交织处理的去交织单元。

8.如权利要求1所述的图像缩放装置，其特征在于还包括用以集中控制图像数据的输入输出、同步和处理的控制单元。

9.如权利要求1所述的图像缩放装置，其特征在于，所述过滤单元设置在所述水平缩放单元与存储单元之间。

10.一种用于多窗口的图像缩放方法，包括如下步骤：

a.对图像数据进行水平缩放；

b.根据显示图像各个窗口之间的叠加状况选取屏幕显示图像各个窗口的坐标范围内的数据，以将所叠加的窗口中被覆盖的部分数据过滤掉；

c.将选取出的各个窗口的坐标范围内的数据进行暂存；

d.取出已完成水平缩放的各个窗口坐标范围内的图像数据，进行垂直缩放。

11.如权利要求10所述的方法，其特征在于所述步骤a包括对图像数据的多路数据同时进行水平缩放处理的步骤。

Images