CN101662598A - 一种连续视频数据流的缩放系统 - Google Patents

Abstract

本发明公开了一种连续视频数据流的缩放系统，该缩放系统包括堆栈、行缓存、第一加权模块、点缓存、时钟产生模块、第二加权模块和锁存模块，其中输入信号经堆栈输入至行缓存，再依次经过第一加权模块、点缓存和第二加权模块进行处理，最后经锁存模块输出；其中输入时钟输入至堆栈、行缓存和时钟产生模块，所述时钟产生模块输出读时钟至行缓存和点缓存，输出缩放时钟至锁存模块。该系统通过使输入时钟、输入数据与输出时钟、输出数据之间达到一种动态的平衡来实现无需SDRAM的缩放处理，从而大大减少了芯片面积，降低了设计成本。

Description

一种连续视频数据流的缩放系统

技术领域

本发明涉及一种实现视频数据缩放的系统，特别的是涉及一种可实现连续视频数据流的实时缩放系统。

背景技术

在传统的视频缩放系统中，视频数据的缩放包括水平方向和垂直方向的缩放。实现缩放最简单的方式是直接在水平方向上通过按比例丢弃像素点来缩小行的长度，或通过点的复制来放大行的长度；在垂直方向上则是对行数据进行丢弃或复制来实现缩放。在所述缩放的过程中由于没有做任何滤波处理，因此图像会出现严重失真甚至变形，这在视频处理中是不可接受的。现有技术中采用水平方向和垂直方向插值处理来解决图像失真的问题，所述插值处理在水平方向的缩放是通过对连续像素点进行加权运算得到新的像素点，在实现上只需要对连续几个像素点进行存储。垂直方向上的插值处理是对垂直方向连续几行的对应像素点进行加权运算，这就需要几行行缓存器对相邻几行数据进行存储。但是，仅有行缓存器是不够的，因为在存储若干行数据后还需要进行加权运算，运算完输出一行后才能继续下一行的运算。这对于连续的视频数据流来说就存在一个问题，即行缓存器必须等待运算完一行数据输出后，才能接收下一行的数据输入，但输入是连续的，若行缓存器输出的速率与输入不一致，则输入数据会丢失或错行，从而导致图像失真。由于视频数据流输入速率与显示输出速率的不一致是必然的，因此，现有的设计中必须对输入的视频数据先进行存储。在保持输出显示视频刷新率与输入一致，即场频一致(隔行信号)的情况下，保证不丢失数据就要对整场数据进行存储。而对于传统的电视信号格式，一帧分奇偶两场，NTSC(National Television Systems Committee)制一帧为525行，PAL(Phase-Alternative Line)制一帧为625行，那么对应一场分别有312.5行和262.5行，存一场则需要存几百行数据，因此需要大容量的SDRAM来存储，这会占用大量的芯片面积，从而导致成本的大量增加。

发明内容

本发明的目的就是提供一种无需SDRAM存储整场视频数据而实现水平方向和垂直方向缩放的系统。

为达到上述目的，本发明提出了一种连续视频数据流的缩放系统，该缩放系统包括堆栈、行缓存、第一加权模块、点缓存、时钟产生模块、第二加权模块和锁存模块，其中

输入信号经堆栈输入至行缓存，再依次经第一加权模块、点缓存和第二加权模块进行处理，最后经锁存模块输出；

输入时钟输入至堆栈、行缓存和时钟产生模块，所述时钟产生模块输出读时钟至行缓存和点缓存；输出缩放时钟至锁存模块。

所述行缓存的写数据时钟为所述输入时钟，读数据时钟为所述读时钟。

所述堆栈的存储空间至少可存储两行有效数据，位宽至少为两倍有效数据的宽度。

所述行缓存的存储空间至少为“a+2”行，且小于视频图像一场的总有效行数，其中a为所述缩放系统垂直方向所采用的插值算法插值一行所需的行数。

所述点缓存的存储空间至少为b个点，其中b为所述缩放系统水平方向所采用的插值算法插值一个点所需的点数。

所述第一加权模块和第二加权模块均采用输入视频数据和对应加权系数加权相乘，所得乘积再通过加法器累加实现。

所述时钟产生模块由锁相环和分频单元组成，输入时钟经锁相环倍频后得到所述读时钟，再经分频单元得到所述缩放时钟；

或者所述时钟产生模块由锁相环和倍频单元组成，输入时钟经锁相环倍频后得到所述缩放时钟，再经倍频单元得到所述读时钟。

所述缩放时钟与输入时钟的比例等于输入图像分辨率与输出图像分辨率之比。

所述读时钟和所述缩放时钟的倍数关系满足使所述读时钟频率大于或等于所述输入时钟频率。

所述锁相环的参数可配置。

所述读时钟和缩放时钟的倍数关系可配置。

本发明所述一种连续视频数据流的缩放系统，该系统通过使输入时钟、输入数据与输出时钟、输出数据之间达到一种动态的平衡来实现不需要SDRAM的缩放处理，通过调整该系统的结构中堆栈的大小、行缓存等存储空间的大小及时序的控制实现垂直方向和水平方向任意比例的缩放处理，且保证数据流的完整性，从而大大减少了芯片面积，降低了设计成本。

附图说明

图1是本发明具体实施方式中所述缩放系统的结构框图；

图2是本发明具体实施方式中所述缩放系统缩放前和缩放后的图像大小变化示意图；

图3是本发明具体实施方式中所述加权模块的结构示意图；

图4是本发明具体实施方式中所述行缓存的结构示意图；

图5是本发明具体实施方式中所述双立方插值示意图；

图6是本发明具体实施方式中所述以5∶4比例缩小为例时插值点的位置示意图。

具体实施方式

以下结合附图对本发明的具体实施方式作详细说明。

如图1所示为本发明具体实施方式所述缩放系统的结构框图，该缩放系统包括堆栈(FIFO)101、行缓存102、第一加权模块103、点缓存104、时钟产生模块105、第二加权模块106和锁存模块107，其中输入数据Y_in经堆栈101输入至行缓存102中备用，第一加权模块103调用相应数据作加权处理从而得到垂直方向缩放处理后的数据，再经点缓存104锁存，第二加权模块106作水平方向的加权处理，所得到的数据经锁存模块107输出行场任意比例缩放处理后的视频数据；其中所述堆栈101的输入输出均采用原始视频数据的输入时钟clk_video，所述行缓存102的时钟仍采用输入时钟clk_video，而所述行缓存102的输出时钟和点缓存104的触发时钟均采用时钟产生模块105的一输出读时钟clk_rd；所述锁存模块107的时钟信号为时钟产生模块105的另一输出缩放时钟clk_scale。

如图2所示为本发明具体实施例所述缩放系统缩放前和缩放后的图像大小变化示意图，若输入视频图像的水平方向一行为H_P个点，垂直方向一列为V_P个点，经缩放装置后，输出视频图像水平方向为H_P′个点，垂直方向为V_P′个点。

如图3所示为加权模块的结构示意图，该结构包括一加权系数单元、N个乘法器和一加法器，所述加权系数单元输出的N个系数Coef₁至Coef_n和输入的N个视频数据P₁至P_n一一对应输入至N个乘法器相乘，得到的N个乘积输入至所述加法器得到加权输出数据P_out，其中N为自然数。

所述第一加权模块103和第二加权模块106均采用如图3所示的加权模块结构，根据各自输入数据的个数不同取不同的N值，同时根据具体需要在加权系数单元中存储不同的系数。

如图4所示为本发明具体实施方式中所述行缓存102的结构示意图，所述行缓存102包括M行的存储空间，其中M为小于视频图像一场总行数的自然数，根据采用的缩放算法确定所需缓存的行数，为所采用缩放算法插值一行所需行数至少加2行缓存后的总行数。

所述时钟产生模块105中对输入时钟作倍频或分频得到两个输出时钟：缩放时钟clk_scale和读时钟clk_rd。所述读时钟clk_rd为输入时钟clk_video作

倍频得到一输出时钟，其中

表示输入视频图像分辨率与输出视频分辨率的比值的K倍，其中m、n、K均为自然数。本具体实施方式中，用公式(1)表示。

$\frac{H{p}^{\′}\×{\mathrm{Vp}}^{\′}}{\mathrm{Hp}\×\mathrm{Vp}}\×K=\frac{m}{n}---\left(1\right)$

所述缩放时钟clk_scale为读时钟clk_rd的。

当水平方向作放大处理时，公式(1)中K取1，所述缩放时钟clk_scale和读时钟clk_rd相同；当水平方向作缩小处理时，由于缩放时钟clk_scale比输入时钟clk_video的频率低，因此若采用缩放时钟clk_scale直接从行缓存102中读取数据时，必然会存在数据损失，因此先通过读时钟clk_rd将数据从行缓存102采样后进行插值处理，所述处理后数据再经缩放时钟clk_scale降采样。

其中，所述时钟产生模块105可以包括锁相环(PLL)和分频单元，由锁相环按

倍频得到读时钟clk_rd后，再通过分频单元

分频得到缩放时钟clk scale；也可以包括锁相环和倍频单元，由锁相环得到缩放时钟clk_scale，再经倍频单元作K倍频得到缩放时钟clk_rd，其中优选地，所述时钟产生模块105由锁相环和分频单元组成。所述K的取值只需满足读时钟clk_rd的频率大于或等于所述输入时钟的频率，则从行缓存102中采样后数据没有损失，且所述m、n、K的值可根据用户缩放比例的设置实时配置相应的值。

本发明通过使输入时钟、输入数据与输出时钟、输出数据之间达到一种动态的平衡来实现不需要SDRAM的缩放处理，且通过调整图1所示的缩放装置的结构中堆栈101的大小、行缓存102的大小实现垂直方向任意比例缩放处理。

实施例一

本实施例以双立方算法实现水平方向和垂直方向均按输入输出5∶4缩放为例，对图1所示的缩放装置各个模块的工作过程作详细说明。

如图5所示为双立方插值的示意图，所述双立方插值的原理为由4个已知像素点P1、P2、P3、P4插出一个未知像素点P′，所述四个像素点分别与对应的四个系数C1、C2、C3、C4加权，从而得到插值出的像素点P′的像素值。

如图6所示，对于5∶4的缩小处理，则每5个点插值得到4个点，即每间隔1.25个点的位置处插值得到一个新的点，因此，假设第一个点保留，则第二个点由输入的第0、1、2、3个点插值得到；第三个点由输入的第1、2、3、4个点插值得到，依次第五个点由输入的第4、5、6、7个点插值得到，因此从堆栈101需要每依次读三行后一次连续读两行数据入行缓存102，由于输入为连续的视频数据，为了保证堆栈101不溢出，其数据带宽加倍，采用一次读写两个像素点，通过控制读使能信号可以实现每隔3行就连续读两行，从而实现在5行时间内写入读出均为5行，当堆栈101足够深时可以保证其不会溢出。本实施例以8位的视频系统为例，则所述堆栈101数据带宽加倍为16比特，其存储空间大小为2行有效视频数据。

因此，与堆栈101相连的行缓存102也需要两行缓存支持连续写两行操作，同时由于垂直方向双立方插值所需的4行数据，则本实施例中所述行缓存102至少需要6行的存储空间，即所述M＝6。

所述第一加权模块103负责垂直方向的插值运算，采用如图3所示的结构，且N取4，加权系数单元中相应存储了四个垂直方向的系数，与相邻四行的四个对应点一一对应相乘后得到的四个和经加法器累加，得到垂直方向的插值点。

所述水平方向的处理中，由于采用双立方插值算法，则所述点缓存104需要四个锁存器组成点缓存寄存器组，提供四个视频数据给第二加权模块106，所述第二加权模块106的结构如图3所示，其中N也取4，加权系数单元中相应存储了四个水平方向的插值系数，与一行四个连续的点一一对应相乘后得到的四个乘积值经加法器累加，得到水平方向的插值点。

当以水平方向和垂直方向均为5∶4缩小处理时，则图2相应有：

H_P∶H_P′＝5∶4；

V_P∶V_P′＝5∶4；

为满足当采用所述读时钟clk_rd读取数据时不会损失数据，则取K至少为2，本发明以取2为例，因此由公式(1)有：m∶n＝32∶25，则所述时钟产生模块105输出的读时钟clk_rd为输入时钟clk_vedio的

，则缩放时钟clk_scale为所述输入时钟clk_vedio的

。

由于水平方向缩放比例为5∶4，则输入每5个点输出4个点，由于K取2，则通过时序控制，使第一加权模块103中对行而言，每5个点中有三个点分别重复读一次，得到8个点，且对所述参加双立方插值的四行数据的读取重复方式保持一致，则得到的经垂直缩小比例后输出的视频数据在水平方向比例为5∶8，输入至点缓存104。

所述点缓存104中，本实施例为4个寄存器，为防止插值计算存在重复读取的点，采用所述第一加权模块103中一致的时序控制信号控制存入点缓存104的点，即遇到重复读取的点则不存入点缓存104，此时点缓存104的输出维持不变。

所述第二加权模块106中，采用所述点缓存104中的四个点与选择存储的四个系数加权累加，得到两两重复的水平方向插值点至输出缓存107，所述输出缓存的缩放时钟clk_scale降采样将重复的点去掉，则输出所述5∶4缩放比例的视频数据，实现本具体实施例所述垂直方向和水平方向均5∶4的缩小。

则本实施例所述水平方向和垂直方向均作5∶4缩小处理时的整体工作过程为：所述视频输入Y_in在视频输入时钟clk video的触发下输入堆栈101，其中每两个时钟周期存储的相邻两个数据存储在一个地址对应的存储单元中，因此堆栈101输出一行数据的时间对应输入一行时间的一半，从而可控制读使能信号实现每隔3行就连续读两行视频数据至行缓存102，该行缓存102通过读时钟clk_rd输出连续四行的对应点数据至所述第一加权模块103，并通过时序控制信号控制相应点的重复，本实施例中，采用λ表示该时序控制信号；

所述第一加权模块103进行加权处理后得到垂直方向插值的数据，同样通过时序控制信号λ控制输出至点缓存104的四个寄存器中；所述第二加权模块106采用所述点缓存104中的四个数据及调用的对应的四个系数进行加权处理，得到水平方向插值点；所述锁存模块107通过所述缩放时钟clk_scale将该水平方向插值点数据降采样输出，从而完成了本实施例所述的垂直方向和水平方向均5∶4缩小的处理。

值得注意的是，本具体实施例中所确定的装置适用于压缩比例大于1/2的情况，当需要压缩图像至更低比例时，只需调整堆栈101的大小及位宽，对应行缓存102的大小，同时改变时序控制信号λ控制读写规则，即可实现任意比例的图像压缩。

实施例二

本具体实施例以用双立方插值算法实现垂直方向和水平方向均按4∶5的比例放大为例，对图1所示的缩放装置各个模块的工作过程作详细说明。

本实施例中，堆栈101的结构与实施例一中相同，行缓存102在放大处理时M至少取5，即最少为5行的存储空间，但在缩小处理时，若采用双立方插值算法，行缓存102至少需要6行的存储空间，则对缩放系统而言，行缓存102以需要缓存多的为主，因此，本实施例中，行缓存102与实施例一相同，以M取6为例。

本实施例中，由于放大处理时输出时钟要快，因此，所述时钟产生模块105中读时钟clk_rd和缩放时钟clk_scale相同，即所述K值取1。另外，由于本实施例中所述水平方向和垂直方向的放大比例均为4∶5，则输入图像和输出图像的分辨率之比为16∶25，由公式(1)可得所述读时钟clk_rd和缩放时钟clk_scale均为输入时钟的

倍，配置锁相环的参数得到。

所述第一加权模块103、点缓存104、第二加权模块106和锁存模块107与实施例一的结构相同，工作原理也相同。

本具体实施例与实施例一不同的地方在于时序的控制不同，由于垂直方向放大比例为4∶5，则堆栈101读入4行至行缓存102的时间内行缓存102需要读出5行数据，则每4行数据后重复读取第4行数据，在每4行的输入数据时间内产生5个读使能信号，其中第四个和第五个读使能信号触发读取同一行数据。

所述行缓存102通过读时钟clk_rd输入数据至第一加权模块103，得到垂直方向的插值点依次输入至点缓存104、第二加权模块106得到水平方向的插值点，通过缩放时钟clk_scale锁存后输出，与实施例一区别的是由于读时钟clk_rd和缩放时钟clk_scale相同，则从行缓存102中读取数据时，不需要重复读取。

值得注意的是，本发明不局限于本实施例所述的水平和垂直方向放大比例，也不局限于本实施例所述的插值算法，可通过改变堆栈101、行缓存102和点缓存104的大小，并相应改变两个加权模块的N值，以及改变时序控制，实现其它任意比例的放大处理。

本发明所述缩放系统既可实现如实施例一所述的缩小功能，也可实现实施例二所述的放大处理，因此，所述缩放系统中存储单元的空间分配应以存储空间需求大的为主，用户可根据需要实时配置不同的缩放比例得到所需的图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1、一种连续视频数据流的缩放系统，其特征在于，该缩放系统包括堆栈、行缓存、第一加权模块、点缓存、时钟产生模块、第二加权模块和锁存模块，其中

输入信号经堆栈输入至行缓存，再依次经第一加权模块、点缓存和第二加权模块进行处理，最后经锁存模块输出；

输入时钟输入至堆栈、行缓存和时钟产生模块，所述时钟产生模块输出读时钟至行缓存和点缓存；输出缩放时钟至锁存模块。

2、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述行缓存的写数据时钟为所述输入时钟，读数据时钟为所述读时钟。

3、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述堆栈的存储空间至少可存储两行有效数据，位宽至少为两倍有效数据的宽度。

4、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述行缓存的存储空间至少为“a+2”行，且小于视频图像一场的总有效行数，其中a为所述缩放系统垂直方向所采用的插值算法插值一行所需的行数。

5、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述点缓存的存储空间至少为b个点，其中b为所述缩放系统水平方向所采用的插值算法插值一个点所需的点数。

6、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述第一加权模块和第二加权模块均采用输入视频数据和对应加权系数加权相乘，所得乘积再通过加法器累加实现。

7、根据权利要求1所述的一种连续视频数据流的缩放系统，其特征在于，所述时钟产生模块由锁相环和分频单元组成，输入时钟经锁相环倍频后得到所述读时钟，再经分频单元得到所述缩放时钟；

或者所述时钟产生模块由锁相环和倍频单元组成，输入时钟经锁相环倍频后得到所述缩放时钟，再经倍频单元得到所述读时钟。

8、根据权利要求7所述的一种连续视频数据流的缩放系统，其特征在于，所述缩放时钟与输入时钟的比例等于输入图像分辨率与输出图像分辨率之比。

9、根据权利要求7所述的一种连续视频数据流的缩放系统，其特征在于，所述读时钟和所述缩放时钟的倍数关系满足使所述读时钟频率大于或等于所述输入时钟频率。

10、根据权利要求7所述的一种连续视频数据流的缩放系统，其特征在于，所述锁相环的参数可配置。

11、根据权利要求9所述的一种连续视频数据流的缩放系统，其特征在于，所述读时钟和缩放时钟的倍数关系可配置。

Images