CN101217620A - 一种基于多相滤波技术的自适应视频图像缩放引擎 - Google Patents

Abstract

本发明公开了一种基于多相滤波技术的自适应视频图像缩放引擎，其内部基本结构包括图像内容分析模块、图像数据存储模块、同步检测产生模块、水平缩放模块和垂直缩放模块；用户可通过MCU接口设置寄存器操作控制各模块的寄存器和控制输出信号参数，对插值滤波器系数进行在线编程，从而完成图像数据的检测、存储和插值计算功能。

Description

一种基于多相滤波技术的自适应视频图像缩放引擎

                        技术领域

本发明属于数字视频图像处理与显示技术领域，设计视频图像缩放引擎，具体涉及一种基于多相滤波器的自适应视频图像缩放引擎。

                        背景技术

视频图像缩放引擎是视频显示处理系统中不可或缺的部分，它能够将多种多样不同格式分辨率的输入图像进行空间变换，放大或缩小到特定空间分辨率，以达到在目标尺寸大小的显示终端上进行显示回放的目的。早期的图像缩放设备大多是基于线性或三次插值算法，这些插值方法虽易于硬件实现，但其插值效果较差，经插值后的图像细节损失严重并常常伴有严重的振铃(ringing)噪声。随着数字视频技术的飞速发展和人们对多媒体显示产品日益增长的需求，视频图像缩放技术受到越来越广泛的重视和应用。与此同时，多媒体视频领域日益涌现出各种各样的视频格式分辨率，如QVGA、WXGA、1080P等，及多种多样的显示设备，如智能手机、MP4播放器、大尺寸平板电视等，都对视频缩放引擎提出了更多新的要求，如何设计一款支持众多分辨率缩放同时能够产生清晰、没有振铃噪声的图像的视频缩放引擎已经成为各大视频图像显示设备厂商的研究热点。

多相滤波技术是数字信号处理技术的重要一个分支，该理论认为所有带限数字信号经过插值、低通滤波和抽取后都可以变化到新的采样频率，在选择合适低通滤波器的情况下，甚至可以不损失原有信息地恢复出新采样率的信号来；同时，该理论还提出一种易于硬件实现的多相滤波器结构，该技术将上述低通滤波器分成若干相位分别进行滤波操作，节省了硬件开销，简化了滤波器的设计，申请人将该技术应用于视频图像缩放领域，为设计新型的图像缩放引擎带来了方便。

                        发明内容

本发明的目的在于，提供一种可用于各种视频显示设备的高质量图像缩放引擎。该图像缩放引擎采用一种基于多相滤波技术的自适应插值方法，首先对图像内容进行分析，然后根据各像素点的特性进行自适应插值计算，最终获得清晰无噪声的图像。其中最为核心的插值滤波器采用了多相结构进行组织设计，该滤波器根据输出周期的变化滤波器系数，计算所需结构，这种时分复用的结构节省资源，非常易于硬件实现。同时，本发明还提出了一种基于块的并行图像数据存储结构，采用此数据组织结构后，发明将水平放大与缩小单元集成入了统一运算单元，用单一滤波器同时实现了图像上下缩放变换，简化了结构又节省了硬件资源开销。

为了实现上述任务，本发明采取如下的解决技术方案：

一种基于多相滤波技术的自适应视频图像缩放引擎，其特征在于，该图像缩放引擎内部结构包括：

一输入图像内容分析模块，它包括降噪滤波器、边缘检测器和振铃估计器，用于对输入视频图像进行噪声消除预处理，边缘分析，提取粗略边缘和细节，去除孤立噪声点；最后进行振铃噪声预测计算；

噪滤波器用于对输入视频图像进行噪声消除预处理，获得干净稳定的图像序列供后续图像检测分析使用，降噪滤波器采用非线性高斯滤波器；

边缘检测器，用于对输入图像进行边缘分析，提取粗略边缘和细节(图像高频信息)；然后经过一系列形态学操作，如边缘腐蚀、膨胀对提取的边缘图像进行进一步精细后处理，去除孤立噪声点；

振铃估计器，用于对振铃噪声预测计算；

一存储器读写控制模块，包括写控制模块、行存阵列和读控制模块，其中：

写模块根据输入视频图像的同步和有效信号串行地将数据根据空间结构要求依次写入行存阵列的每条行存内；

读模块根据插值计算电路产生的控制信号，并行地将所需的数据依次从行存中读出，并进行空间重排序；

行存阵列，对输入数据进行空间重组，实现从串行输入到并行输出的转换和数据时钟频率的变换；

一基于多相结构的水平和垂直缩放模块，分别包括系数存储单元和水平缩放滤波器，系数存储单元和垂直缩放滤波器，其中的水平和垂直滤波器主要用于对输入点进行插值计算求得输出点；水平和垂直滤波器采用了多相结构，滤波器根据输出周期变化滤波系数，水平和垂直滤波器的总长度等于各相位长度综合；

一输入同步检测产生模块，包括输入同步检测和输出同步检测，主要用于控制整个系统的时序和同步，该模块根据输入输出图像的空间变化比率关系，随输入信号周期的产生所需的存储器控制信号和输入行场同步有效信号；

在输入同步信号的控制下，图像数据存储模块的写控制模块将输入图像数据逐行写入到行存阵列中，并控制周期性地在六条行存写端口循环操作，保证有效利用存储资源；同时，还将输入数据送入图像内容分析模块，图像内容分析模块的降噪滤波器先对输入的图像视频数据进行降噪预处理，去除图像在传输过程中引入的各种噪声，获得干净稳定的图像序列；然后由边缘检测器对图像进行边缘和细节检测，提取图像高频信息，最后由振铃估计器进行振铃噪声估计；在同步检测产生模块生成的输出同步信号的控制下，水平缩放模块和垂直缩放模块对从图像存储模块读出的图形数据进行插值滤波计算，图像存储模块所使用的系数由上述振铃噪声估计器产生的控制信号自适应地在系数存储单元选取。

本发明的特点是采用了自适应插值方法来进行图像插值计算，该方法在保存图像细节和高频信息方面较传统方法有很大改善；同时，为了在硬件上实现水平、垂直滤波器，巧妙的采用了多相结构来实现，并提出了一种有效节省行存储器的数据存储方案。

与已有技术相比，本发明的技术效果体现在：

1.本发明采用自适应插值方法进行图像插值运算，该方法充分利用图像各种内容和特征，可有效保护图像边缘和细节等高频信息，使处理后图像更加清晰；

2.本发明采用了可重配置滤波器结构，滤波器的系数可在线编程，可根据不同输入视频源进行调整，获得更佳的缩放效果；

3.本发明中滤波器的硬件实现采用了多相滤波技术，巧妙的将滤波器进行折叠和系数划分，根据同步产生模块生成的控制信号周期性的切换系数表，该结构简化了滤波器的实现的复杂度，有效缩减了硬件资源开销；

4.本发明采用了基于内容识别的前处理模块，可对图像的内容进行分类和识别，产生内容信息供后处理模块使用，使得后面的插值算法计算更加准确；

5.本发明提出了一种并行的数据存储结构，该结构采用串行写入、并行读出的方式，解决了跨时钟域数据插值计算的问题；同时，该结构读出数据为并行方式，后续插值计算任务可在同一时钟周期内计算得到，节省了pipeline寄存器，提高了系统时钟频率；

6.本发明设计的同步检测和提取模块可根据输入同步信号和缩放比率自适应的产生与输入信号有固定相差的同步和控制信号，使用该模块产生的控制信号，保证了输入输出信号的同步性和一直性，避免了存储器读写冲突。

                        附图说明

图1为本发明的视频缩放电路的系统结构功能框图；

图2为图像检测与预处理模块算法工作流程图；

图3为并行数据存储结构方案示意图；

图4为存储读写操作对应顺序关系示意图；

图5为自适应滤波器一维方向上各象素点位置与滤波器关系的示意图；

图6为自适应滤波器的多相结构图；

以下结合附图和实施例对本发明作进一步的详细说明。

                      具体实施方式

参见图1，本发明的基于多相滤波结构的自适应视频图像缩放引擎，其内部基本结构包括图像内容分析模块、图像数据存储模块、同步检测产生模块、水平缩放模块和垂直缩放模块；用户可通过MCU接口设置寄存器操作控制各模块的寄存器和控制输出信号参数，对插值滤波器系数进行在线编程，从而完成图像数据的检测、存储和插值计算功能。

视频图像数据送入系统后，首先进入图像内容分析模块，它包括降噪滤波器、边缘检测器和振铃估计器，该模块的作用是：首先分析识别出二维图像中的高频信息，如边缘、细节等；根据人眼视觉感知的特性，人眼只对图像中位于平滑区域的振铃(Ringing)噪声比较敏感，因此根据该原理，图像内容分析模块随后将根据检测出的高频信息预测估计出这些可能产生振铃噪声的平滑区域，并将其标记出来，用以控制后面插值滤波过程。

图像数据存储模块包括了数据写控制模块，存储器读控制模块和行存储器阵列三大部分；该模块主要完成了输入输出图像数据的缓存，空间位置映射变换、输入输出数据时钟频率变换和插值数据读取、重排等任务。该模块为整个视频图像缩放引擎的核心，模块的时序由同步检测产生模块严格控制，保证行存储器读写的稳定。

同步检测产生模块主要用于控制整个系统的时序和同步，该模块根据输入的同步信号及用户设定的缩放比率自动生成所需的输出同步信号和存储器读写控制信号，控制整个系统的运行与同步。

水平和垂直缩放两个模块是整个缩放引擎的核心，水平和垂直缩放两个模块应用本发明提出的自适应算法及其多相结构滤波器，对输入图像数据进行空间二维插值计算，求得输出图像中对应各点像素值，实现了视频图像的任意比率缩放。

如图2所示，为了提高检测的精确度，降低图像原有噪声的影响，图像内容分析模块内设了一噪声滤波器。该噪声滤波器使用5x5大小的窗口对图像进行高斯降噪，该噪声滤波器选择高斯降噪器，可以滤除图像信号中绝大多数的椒盐和类高斯噪声，获得干净的图像数据，大大提高了后续信息检测的精确度。

边缘检测器采用了各项指标优秀的Canny边缘检测算子，该算法可根据输入图像的直方图特性自适应的调整检测阈值，调节截止频率，最终获得完整的高频细节信息。

振铃(Ringing)估计器采用了递归形态学算法进行振铃噪声位置估计运算。该算法根据边缘检测器生成的边缘信息二值图，进行多次递归膨胀和腐蚀等形态学运算，估计出边缘的拓扑结构，然后与边缘标记信息进行匹配运算，获得最终的噪声区域标记图。

传统视频缩放芯片大多将水平下缩放(缩小)和水平上缩放(放大)两部分功能模块分开实现，主要原因是由于经过不同的缩放变换后，输入输出数据流的时钟频率不同，缩小时数据时钟会减小，放大是时钟频率提升，两个过程中间需要有数据缓存FIFO来进行时钟变换；

为了改变这种传统结构，节省硬件电路的逻辑和存储资源，本发明提出了一种新的并行数据存储结构，如图3所示，采用这种存储结构后，系统可以在统一的时钟频率下，在需要时刻读取所需的插值点，从而省去了额外的缓存FIFO，简化了缩放引擎的结构。具体实现方案如下：先将容量为2048比特的单条行存储器按每单元4比特位宽进行折叠，组成具有4个读写端口的双端口并行行存，然后再将8条同样的行存储器合并，组成具有一个写端口，4个读端口的并行行存阵列。如此组织行存储器后，输入数据可按串行写入到各条行存中，最后并行从存储器中读出，这样等同于提高了数据的时钟频率，实现了数据的时钟频率变换；

整个行存的读写过程均由同步检测产生模块控制。该模块根据输入同步信号的时序和相位信息产生相应的写行存控制信号，驱动写控制模块将输入的视频数据按顺序写入到行存中；同时，该模块还根据用户设定的缩放比率计算并生成最终的行场同步信号及读行存控制信号，驱动行存储器读模块将需要使用的插值像素点从行存中依次读出，送入后面的缩放模块。

行存的读写顺序见图4所示。为了利用行存进行数据缓存并改变数据时钟频率，本发明采用串行写入，并行读出的策略。输入数据在写控制模块的驱动下串行的按地址递增顺序写入当前行存中，写入行顺序在8条行存中顺序循环；然后又在读控制模块的驱动下以每次四行同时四个像素的并行数据量将所需数据从行存中读出，最后经过地址映射，将读出行和点的空间顺序重排为插值滤波器输入行和点的顺序，送入到后面的计算模块进行插值缩放运算。写入和读出地址关系映射遵循下面公式规定的关系：

                       n＝(m*M)/L

其中，m为输入点的像素坐标，n为输出点的像素坐标，M为下缩放比率，L为上缩放比率。

采用上述并行存储结构后，本发明将水平上缩放和下缩放集成为统一的水平、垂直缩放滤波器。本发明的水平、垂直缩放使用了重采样滤波器来进行像素的插值运算，并且采用了多相结构来进行硬件电路实现。

图5表示了整个插值过程中，滤波器系数与插值像素空间顺序关系。该关系遵循下面数学表达式：

$y\left(m\right)=\underset{n=-}{\overset{\∞}{\mathrm{\Σ}}}h(\mathrm{nL}+\mathrm{mM}\⊕L)x(\frac{\mathrm{mM}}{L}-n)$

其中x(n)为输入像素数据，y(m)为输出像素，h(n)为插值滤波器的单位脉冲响应函数，M下缩放比率，L为上缩放比率。

水平、垂直滤波器的硬件结构采用了多相滤波结构，如图6所示，本发明将长度的256的滤波器折叠为长度为R的多个子滤波器，每次插值计算使用一组滤波系数进行线性加权计算，获得对应相位的像素点；滤波器根据同步检测产生模块计算生成的索引信号选取滤波器相位。

Claims (2)

1.一种基于多相滤波技术的自适应视频图像缩放引擎，其特征在于，该图像缩放引擎内部结构包括：

一输入图像内容分析模块，它包括降噪滤波器、边缘检测器和振铃估计器，用于对输入视频图像进行噪声消除预处理，边缘分析，提取粗略边缘和细节，去除孤立噪声点；最后进行振铃噪声预测计算；

一图像数据存储模块，包括写控制模块、行存阵列和读控制模块，其中：

写控制模块根据输入视频图像的同步和有效信号串行地将数据根据空间结构要求依次写入行存阵列的每条行存内；

读控制模块根据插值计算电路产生的控制信号，并行地将所需的数据依次从行存中读出，并进行空间重排序；

行存阵列对输入数据进行空间重组，实现从串行输入到并行输出的转换和数据时钟频率的变换；

一基于多相结构的水平缩放模块，包括系数存储单元和水平缩放滤波器，其中水平缩放滤波器主要用于对输入点进行插值计算求得水平输出点；水平缩放滤波器采用多相结构，水平缩放滤波器根据输出周期变化滤波系数，水平缩放滤波器的总长度等于各相位长度综合；

一基于多相结构的垂直缩放模块，包括系数存储单元和垂直缩放滤波器，其中垂直缩放滤波器主要用于对输入点进行插值计算求得垂直输出点；垂直缩放滤波器采用多相结构，垂直缩放滤波器根据输出周期变化滤波系数，垂直缩放滤波器的总长度等于各相位长度综合；

一输入同步检测产生模块，包括输入同步检测和输出同步检测，主要用于控制整个系统的时序和同步，该模块根据输入输出图像的空间变化比率关系，随输入信号周期的产生所需的存储器控制信号和输入行场同步有效信号；

在输入同步信号的控制下，图像数据存储模块的写控制模块将输入图像数据逐行写入到行存阵列中，并控制周期性地在六条行存写端口循环操作，保证有效利用存储资源；同时，还将输入数据送入图像内容分析模块，图像内容分析模块的降噪滤波器先对输入的图像视频数据进行降噪预处理，去除图像在传输过程中引入的各种噪声，获得干净稳定的图像序列；然后由边缘检测器对图像进行边缘和细节检测，提取图像高频信息，最后由振铃估计器进行振铃噪声估计；在同步检测产生模块生成的输出同步信号的控制下，水平缩放模块和垂直缩放模块对从图像存储模块读出的图形数据进行插值滤波计算，图像存储模块所使用的系数由上述振铃噪声估计器产生的控制信号自适应地在系数存储单元选取。

2.如权利要求1所述的基于多相滤波技术的自适应视频图像缩放引擎，其特征在于，所述的降噪滤波器采用非线性高斯滤波器。

Images