CN1209912C - 一种电视墙图像放大插值方法 - Google Patents

Abstract

本发明提供了一种用于电视墙显示的电视墙图像放大插值方法。本发明方案首先采用交换对角线像素来实现图像的邻域交换内插放大；然后再采用十字形中值滤波器进行十字形中值滤波。中值滤波消除邻域交换内插法引起的如同点噪声的灰度跃变点，并使用文本特征匹配来进一步改善文本显示质量。方案电路简单，无须加法平均，可实时处理；同时克服了常有的马赛克效应、边缘模糊和邻域交换内插法带来的类点噪声效应，显著提高了电视墙放大图像质量，既适用于传统的电视信号显示，也适用于当今的计算机文本显示，具有明显的经济效益。

Description

一种电视墙图像放大插值方法

所属技术领域

本发明涉及电子技术领域中的电视墙显示系统，尤其是电视墙图像放大插值方法。

背景技术

目前，公知的电视墙图像放大插值方法有：重复内插、线性内插和邻域交换内插等方法，其中重复插值法、线性插值法应用最为广泛。邻域交换内插又称邻域内插法。

重复插值法直接使用原图中的像素值来进行插值，实现方法很简单：让地址发生器重复地生成同一读地址。使用同样的读地址，就会输出同样的数据，也就实现了重复插值。同一地址被重复使用的次数就是放大倍数。在数学上可用放大算子来描述重复放大，如图6所示，当中的整个方块都是“1”，即这个方块中像素的灰度值都一样。这就引起了马赛克效应，所谓的马赛克效应是指：在电视组合画面显示的放大了图像中，原来的一个像素在水平和垂直方向都要重复N次，使图像看起来是由一块块色块组成的，如同马赛克拼图。马赛克效应又称方块效应。

线性插值法(有行内、行间等多种)使用相邻像素值的加权平均值来插值。行内插值是将同一行内相邻像素的加权平均值来插到原两像素之间。行间插值是把相邻两行的各上下对应像素的加权平均值插到原两像素之间。有同时使用行内、行间线性插值的方案，也有使用行内线性插值与行间重复相结合的混合方案。不论是行内或行间线性插值，都需要一个锁存器和一个数字加法器(一般用八位的芯片)来完成加权平均，每个子屏幕要为此增添3～4片集成芯片。据专利文献CN1063191A介绍，在8×8的电视墙图像分配器中共有192个子存储器，共需要增加600～800片集成芯片。在数学上同样可用放大算子来描述线性插值法，如图7所示。由算子可见，不单中心被插值放大的9个像素有值，连周围16个相邻像素都有值，而且各像素上的值以中心最高，然后向四周线性下降。这些值代表加权平均中的“权”。这是线性插值法可以消除马赛克效应但同时又引起图像模糊的原因。(其中图2中括号前的1/9是用于归一化的系数)

重复插值法会引起马赛克效应(又称方块效应)，线性插值法虽然减少了马赛克效应，但是要用加法平均电路，这需要大量的锁存器和加法器，而且会引起图像模糊，降低图像的清晰度。为了减少线性插值法带来的图像模糊，人们提出很多修补方案，但无一例外的都要进一步增加电路的复杂度和降低系统的可靠性。

关于电视墙图像放大内插方案的进一步详细说明可参阅《电视技术》在1989.4.、1989.7.、1991.4.的论文，同时可参阅专利CN1063191A的原文。

专利CN1063191A中提出的交换上下左右像素的邻域内插法(具体做法请参看其专利说明书)较好地解决了电视图像的马赛克效应，也减少了图像模糊，所需电路简单。实施时只需要改变地址发生器生成的读地址顺序，使得每一方块中的一部分像素和相邻的上下左右的方块中的一部分像素交换位置，利用人眼的低通滤波特性，将相邻像素平均，产生内插效果。数学上，该方法可用交换算子来描述，如图5所示，对比图6可以看出：图6中外围的两行两列都是“0”，而在图5中外围的行列都有一个“1”，这是交换相邻上下左右像素的结果。显然图5中不存在如图6中的“1”方块。这是该方法能消除马赛克效应的原因。但是，该方法的问题是，它会引起如同点噪声的灰度跃变点。这在交换算子中表现为“0”和“1”相互交错，“1”与“1”之间相互孤立。这些灰度跃变点在图像和文本的边缘，由于人眼的视觉效应，显得尤为刺眼。另一方面，该交换算法对笔画单薄的线条、文字，特别是只有单个像素宽(或高)的线条和文字(下面简称“单像素文本”)的显示尤其不利，会产生像素混叠，如图10所示，图10中的文本已经无法辨认。这满足不了当今日益普及的计算机文本显示的需要，其中又以文字信息丰富的网页显示的问题最为突出，所以未见该方案的普及应用。

发明内容

为了克服上述内插方案的不足，本发明的任务是提供一种可同时显著地减少电视墙图像放大所引起的马赛克效应、图像模糊、尤其是消除类点噪声的灰度跃变等问题的电视墙图像放大插值方法。

本发明的目的是这样实现的：

首先，采用交换对角线像素的邻域内插法来实现图像的初步放大内插。交换的方法在数学上可以用交换算子来形象表达。图1-4是本发明几个交换算子的例子，为了比较，我们把专利文献CN1063191A中所提出的交换算子图5，以及重复插值的放大算子图6和线性内插的放大算子图7也同时给出(其中图7前的1/9是用于归一化的系数)。图1-8中的“1”代表被交换内插的像素，“0”代表与“1”相邻域的像素。“1”的另外一个含义是，被内插的像素值与原参考值一样，而图7是用于线性内插的，其被内插的像素值为相邻像素值的加权平均和，所以不为1，各像素上的值代表加权平均中的“权”。本发明插值放大的过程在数学上表达为：一、原图灰度矩阵与插零矩阵卷积，实现放大；二、所得矩阵再与交换矩阵或放大矩阵卷积，完成插值。3×3的插零矩阵如图8所示。对比图1-7，我们就可看出重复放大的马赛克效应，也可以看到线性内插在减少马赛克效应的同时会引起边缘的模糊。而本发明与专利文献CN1063191A中交换算子显然都不存在马赛克效应。但是单独交换对角线像素来实现图像放大同样会引起灰度跃变点，而且其图像质量可能不如交换上下左右像素的方法。

然后应用十字形中值滤波器来改善图像质量。众所周知，中值滤波器被广泛地用于消除视频信号所携带的点噪声。对于中值滤波器来说，它最重要的两个参数是滤波窗的形状和大小。常用滤波窗的形状有：方形，圆形，十字形，X字形等，也有复合使用的。本发明所用的滤波窗为十字形，其大小由下面所述的方法确定。即：当放大倍数为N×M时：

(1)N＝M且同为奇数，使用长和高都为N的十字形中值滤波器。例如放大倍数为3×3时，滤波窗为：

$\left[\begin{array}{ccc}& I& \\ I& I& I\\ & I& \end{array}\right]$

(2)N＝M且同为偶数，使用长和高都为(N-1)的十字形中值滤波器；

(3)若N≠M且它们中的最小值P_min为奇数，使用长和高都为P_min的十字形中值滤波器，(P_min＝min[M，N])；

(4)若N≠M且它们中的最小值P_min为偶数，使用长和高都为(P_min-1)的十字形中值滤波器，(P_min＝min[M，N])。

本发明的核心是采用全新的交换对角线像素和十字形中值滤波相结合的方法实现图像的内插放大。十字形中值滤波与本发明的交换算子结合使用时效果最佳的原因是：因为中值滤波器可明显的消除点噪声，而且可有效的恢复滤波窗内的单调性，即有序度。十字形滤波窗主要恢复水平和垂直方向上的有序度，而本发明的交换算子是交换对角线上的像素，使图像中对角线方向的像素得到融合，所以最后得到的图像既可克服马赛克效应，又可消除类点噪声的灰度跃变。但是，十字形中值滤波与专利文献CN1063191A中所述的交换算子相结合时，对放大倍数为3×3没什么作用，对放大倍数大于3×3的会使得图像重新产生马赛克效应。这是因为其交换方案交换的就是水平和垂直方向上的像素，所以十字形中值滤波器会抵消其作用。

在电路上实现本发明时，首先要更改地址发生器的读地址顺序，以实现交换对角线像素。生成的图像再经过中值滤波器，即可获得输出。要实现中值滤波只需要{[W×(W-2)+3]/2}个比较器和{[W×(W-2)+1]/(W-1)}个锁存器，其中W代表滤波窗的大小，3×3时，W为5；5×5时，W为9；依此类推。对3×3放大的情况，W为5，所以只需要9个比较器和4个锁存器，因此本发明电路实现简单。

如果放大倍数(N×M)中有一个(N或M)是3，则应用文本特征匹配，以改善文本显示质量。使用邻域交换算法会令文本丧失边缘，甚至变得模糊不清，在放大3×3倍的时候情况尤其明显。这可由图9-12可以看出，图9是没放大前的单像素数字“8”，而根据图10我们已经很难判别这还是个“8”字。文本特征匹配算法是基于文本的特点，文本一般具有二值化的特点，就是说一般的文本不是白纸黑字，就是黑纸白字，只有两种灰度。结合本发明交换算子的特点，适当的改变交换像素的某些输出，使得在应用中值滤波后可获得良好效果。其实质是减轻甚至克服本发明的交换对角线像素的邻域内插法对文本图像带来的副作用：混叠。

文本特征匹配算法的工作原理如下：

(1)如果图像的灰度矩阵中出现以下文本特征：

$\left[\begin{array}{cccc}D& S& S& \\ S& S/D& D& S\\ S& D& D& \end{array}\right]$ 或 $\left[\begin{array}{cccc}S& S& D& \\ S& D& S/D& S\\ D& D& S& \end{array}\right]$ 或 $\left[\begin{array}{cccc}S& D& D& \\ S& S/D& D& S\\ D& S& S& \end{array}\right]$ 或 $\left[\begin{array}{cccc}& D& D& S\\ S& D& S/D& S\\ & S& S& D\end{array}\right]$

则把中央像素的灰度值对调，即中央像素原灰度为S(或为D)的，对调为D(或S)；

(2)如果图像的灰度矩阵中出现以下文本特征时，其中央像素的灰度值保持为D不变。

$\left[\begin{array}{ccc}S& S& S\\ S& D& X\\ D& D& D\end{array}\right]$ 或 $\left[\begin{array}{ccc}D& D& D\\ X& D& S\\ S& S& S\end{array}\right]$ 或 $\left[\begin{array}{ccc}D& S& S\\ D& D& S\\ D& X& S\end{array}\right]$ 或 $\left[\begin{array}{ccc}S& X& D\\ S& D& D\\ S& S& D\end{array}\right]$

上述示例中：S、D分别代表具有不同灰度的点；X代表不定点，即该点不予考虑；S/D是指该点的灰度不是S就是D；

当放大倍数N和M均比3大时，单像素文本的混叠失真就没那么严重，但匹配算法仍有一定作用，这时就可选择使用文本特征匹配算法。

文本匹配模板在硬件实现是通过由简单的与/或/非逻辑电路构成文本匹配模板实现的。文本匹配模板的基本构成是一些等值判断电路，等值判断电路是用于判定两个信号是否相等，如图18所示。在图18中，如果D₀和D₁相同，则输出D_output为高电平，否则为低电平。通过等值判断电路我们就可以判断在灰度矩阵中哪些值相同，哪些不同，这样就可知道灰度矩阵与文本特征是否匹配，从而做出选择。

综上所述，当放大倍数(N×M)中有一个(N或M)是3时，本发明的电视墙图像放大插值方法引入文本匹配算法，其具体工作过程是：首先采用交换对角线像素来实现图像的初步放大，即通过交换读地址实现初步放大；然后使所得数据分别通过一个十字形中值滤波器，和一个文本匹配模块，如果数据符合文本特征，则其输出采用文本匹配模块的输出，否则采用中值滤波器的输出，最后再经过一个十字形中值滤波器即可。其硬件电路框图如图23所示。如果图像要求不是很高，或显示器不是高清晰度的，则最后一个中值滤波器也可以省略。

图10与图12比较了专利CN1063191A提出的放大方法与本发明之间的效果，而图11与图12比较了本发明使用文本特征匹配前后的效果。

在图13-17中我们列举比较了各种电视墙插值方案的效果。其中：图13为被放大图像；图14为重复放大的效果；图15为线性插值放大的效果；图16使用专利CN1063191A中提出的交换上下左右像素的邻域内插法来放大；图17为本发明的放大结果。图13-17中的数字代表不同的灰度值，数字越大颜色越深。图13可理解为黑底上的一条亮斜纹，图14的马赛克效应很明显，图15中的灰度过渡区相当宽，这必然要引起边缘模糊。图16已经不存在马赛克效应和边缘模糊，但却引入了灰度跃变。通过图17可以看出，使用本发明在显著地减少放大马赛克效应的同时，可消除图像模糊和类点噪声的灰度跃变等问题。

由于本发明与专利CN1063191A同样是邻域内插法，所以同样只是使用邻域像素来内插数据，因而同样只需变换读出地址，无须使用加法平均电路，所以也只需使用小量芯片就可轻易地实现多行行间内插和多点行间内插。远比线性插值法简单。

综上所述可以看出，本发明的实质是：使用交换对角线像素与十字形中值滤波器相结合来实现电视图像放大，对特殊情况辅以文本特征匹配算法改善图像质量。

本发明主要用于电视墙图像放大。其优点是：可同时显著地减少放大马赛克效应、图像模糊和类点噪声的灰度跃变等问题，显著提高了电视墙放大图像质量。所使用的电路比数字线性内插的简单、可行。既适用于传统的电视信号显示，也适用于当今的计算机文本显示，具有明显的经济效益。

附图及附图说明：

图1是本发明用于3×3放大的交换算子；图2是本发明用于3×4放大的交换算子；图3是本发明用于4×4放大的交换算子；图4是本发明用于5×5放大的交换算子；

图5是专利文献CN1063191A中提出的交换算子，用于3×3放大；

图6是重复插值法的放大算子；

图7是线性内插法的放大算子；

图8是本发明的插零矩阵，用于3×3放大。

在图1-6中，“1”代表被交换内插的像素，“0”代表与“1”相邻域的像素。

下面的图9-12是放大倍数为3×3时，单像素文本“8”的各种放大方法放大结果实例

图9是未放大时文本；图10是专利文献CN1063191A中提出的邻域交换法放大后的结果；图11是本发明仅采用交换对角线像素与中值滤波放大后的结果；图12是在图11的基础上增加使用文本特征匹配放大后的结果。

图13-17是几种放大方法的效果比较实例：

图13是被放大图像；图14是重复插值法放大后的效果；图15是线性插值法放大后的效果；图16是采用专利文献CN1063191A中提出的邻域交换法放大后的效果；图17是本发明的放大效果。

图18是等值判断电路，用于文本特征匹配模板；

其中，1是与门；2是或门；3是非门。D₀和D₁是两输入信号，D_output为输出信号。

图19-23是几种放大方法的硬件实现示意图：

图19重复放大法硬件实现示意图；图20是线性内插法硬件实现示意图；图21是专利文献CN1063191A的硬件实现示意图；图22是本发明的硬件实现示意图(不包含文本匹配模块)；图23是本发明的硬件实现示意图(不包含文本匹配模块)。

具体实施方式：

如果要实现分辨率为640×480的3×3计算机或电视的图像放大，可选择以下方案：首先用A/D转换器获取RGB(红、绿、蓝)三色数字信号，然后可使用1024-15n的存储器，以及可编程逻辑器件实现地址读写、中值滤波及文本特征匹配。然后可根据需要使用一般的D/A转换器。最后输出到监视器或电视机上就可看到高质量的放大图像。

Claims (2)

1.一种电视墙图像放大插值方法，其特征是首先采用交换对角线像素来实现图像的初步放大内插；然后再采用十字型中值滤波器对经过初步放大内插的图像进行十字型中值滤波；

当放大倍数(N×M)中有一个(N或M)是3时，则应采用文本特征匹配，文本特征匹配的工作过程如下：

第一步  采用交换对角线像素来实现图像的初步放大，即通过交换读地址实现初步放大：

第二步  使所得数据分别通过一个十字形中值滤波器，和一个文本匹配模块，如果数据符合文本特征，则其输出采用文本匹配模块的输出，否则采用中值滤波器的输出；

第三步  再经过一个十字形中值滤波器即可；

通过更改地址发生器的读地址顺序，就可以实现交换对角线像素；对交换对角线后生成的图像再经过中值滤波器滤波，即可获得输出，中值滤波器用比较器和锁存器实现；文本匹配模板采用等值判断电路实现。

2.根据权利要求1所述的一种电视墙图像放大插值方法，其特征是所述的十字型中值滤波器的滤波窗大小的确定方法是：当放大倍数为N×M时，

(1)N＝M且同为奇数，使用长和高都为N的十字形中值滤波器，放大倍数为3×3时，滤波窗为：

$\left[\begin{array}{ccc}& I& \\ I& I& I\\ & I& \end{array}\right]$

(2)N＝M且同为偶数，使用长和高都为(N-1)的十字形中值滤波器；

(3)若N≠M且它们中的最小值P_min为奇数，使用长和高都为P_min的十字形中值滤波器，P_min＝min[M，N]；

(4)若N≠M且它们中的最小值P_min为偶数，使用长和高都为(P_min-1)的十字形中值滤波器，P_min＝min[M，N]。

Images