CN103177420A

CN103177420A - 基于局部区域特征相关性的图像放大方法和装置

Info

Publication number: CN103177420A
Application number: CN2013100792186A
Authority: CN
Inventors: 解晓东; 孙航; 贾惠柱; 黄铁军; 高文
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2013-03-13
Filing date: 2013-03-13
Publication date: 2013-06-26
Anticipated expiration: 2033-03-13
Also published as: CN103177420B

Abstract

本发明公开了一种基于局部区域特征相关性的图像放大方法和装置，包括：提出了新的图像放大方法和装置。在新的图像放大方法中，本发明一方面利用了低分辨率的原始图像与高分辨率的目标图像在一定区域内的特征具有一致性的特点，通过当前区域内的已知点的预测误差推断出区域特征并应用于高分辨率图像的生成；另一方面引入了边缘敏感因子对图像特征做进一步增强，从而使这种特征更加显著，以达到提高图像质量的目的。在新的放大装置中，本发明以数据存储器为界将硬件结构的流水线分为两级。分布在两级流水线中的各模块依次通过预测、误差计算、特征增强、权重生成，方向加权等步骤，计算出所有未知点的值。该装置在显著提升图像放大质量的同时具有较小的实现代价。

Description

基于局部区域特征相关性的图像放大方法和装置

技术领域

本发明涉及图像插值放大技术领域，具体是一种基于局部区域特征相关性的图像放大方法和装置。

技术背景

随着当今各种显示设备屏幕尺寸的增大和人们对于图像品质越来越高的要求，迫切需要一种装置对低分辨率图像进行放大，以产生高品质的高分辨率图像，同时又希望尽量降低该装置的设计复杂度。

在图像放大时，通常是将低分辨率的原始图像中的点填充到高分辨率的目标图像中对应的位置上，然后使用一定的插值方法将剩下的空隙点计算出来并进行填充，最终形成高分辨率图像。较为经典的方法是使用线性插值的方法计算缺失点的值，如双线性插值法和双立方插值法。此类方法的优点是实现简单，但是线性插值的方法只采用了统一的数学模型对图像进行处理，而没有针对图像的不同特征进行分别处理，易导致图像出现锯齿，模糊等现象，这一点在图像结构的边缘和纹理处体现的较为突出。近年来，出现了非线性的插值方法，这类方法考虑到了图像边缘和纹理的方向性，识别出边缘的方向后沿着特定方向进行插值计算。然而此类方法往往需要对不同的方向进行识别和归类，一旦方向识别错误则会造成图像失真。而且，有些考虑到图像区域特征的方法需要进行迭代运算和自回归运算，其计算复杂度非常高，难以真正应用到实际的产品设计中。

发明内容

有鉴于此，本发明提供了一种图像放大的方法和装置，使用由该方法设计的图像放大装置对图像进行放大，通过对图像特征的自适应，使放大后的目标图像尽可能的保留与原始图像的对应区域相同的特征，尤其是提高边缘、纹理等对于人眼观测非常重要的物理特征，以达到提高整体图像质量的目的。与此同时，本发明的放大方法较同类方法计算量小，使用本方法设计的图像放大装置使实际应用变为了可能。

为实现上述目的，本发明的技术方案是这样实现的：

第一步：图像输入单元将采集到的像素点依次存储到第一流水级行数据缓冲器中，完成将低分辨率原始图像中的点作为已知点填充到高分辨率目标图像的相应位置上，形成点阵。

第二步：区域中心点预测模块首先选择由四个已知点围成的区域的中心点作为当前插值点，在当前点的45度和135度方向上分别选择四个最邻近已知点，形成插值模板，然后使用预先规定的系数进行插值，得到该点的这两个方向上的预测值。

第三步：区域特征预测模块将第二步中所述的四个已知点看做当前插值点，在每个已知点的45度和135度方向上分别选择四个最邻近已知点，即与第二步所述相同的插值模板，使用预先规定的系数进行插值，得到四个已知点在这两个方向上的预测值。然后将该区域内所有已知点同一方向上的预测值与真实值之差的绝对值求和，得到该区域45度和135度方向上的两个预测误差值。

第四步：特征增强模块使用边缘敏感因子对第三步中的两个预测误差值进行进一步的修正，即分别求两个预测误差值的整数次乘方，得到45度和135度方向上的两个误差修正值。

第五步：方向权重生成模块使用第四步中的两个误差修正值来为第二步中的两个预测值分配权重。其中，45度方向上的权重值由135度方向上的误差修正值除以45度与135度方向上的误差修正值之和得出，135度方向上的权重值则由1减去45度方向上的权重值得出。

第六步：区域中心点插值模块将第五步得到的两个权重值分别乘以第二步中得到的对应方向上的两个预测值并求和，得到区域中心点的最终值，并存入数据存储器中。

第七步：区域上方点和左方点的计算步骤与中心点类似。此时，第六步所求出的中心点已经可以当做已知点来使用，第二流水级行缓冲器将第二步中形成的点阵顺时针旋转45度形成新的点阵；在此基础上重复上述第三步到第六步，得到上方点和左方点的像素值。该步骤由本发明图像放大装置的第二流水级完成。

与现有技术相比，本发明具有以下优点：

1.本发明图像放大装置在主观和客观质量评测中均明显超过经典的线性插值方法，并在其质量与非线性算法相当时能够显著减少硬件资源的使用。

2.本发明图像放大装置使用的两级流水线结构在降低了结构复杂度的同时，保证了对视频数据处理的实时性。

3.本发明中使用的插值模板对局部区域的方向是自适应的，不需要单独对区域的方向进行分类，避免了分类错误的风险。

4.本发明中使用的特征增强的方法令局部区域的特征体现的更加明显，有效地保存了原始图像中重要的边缘和纹理特征。

附图说明

图1是本发明目标图像像素点点阵示意图；

图2是本发明图像放大方法的流程示意图；

图3是本发明图像放大装置的结构示意图；

图4是行数据缓存器结构示意图；

图5是本发明第一流水级数据依赖关系示意图；

图6是本发明第二流水级数据依赖关系示意图。

具体实施方式

下面结合附图和实施例，对本发明进行详细的描述。本实施例仅为本发明的一个实施例而不包括全部实施方案。

图1所示为目标图像的像素点阵示意图，其中黑色点为原始低分辨率图像中的点，在图像进行两倍放大时，间隔地填充到高分辨率的目标图像中，作为已知点使用。灰色点位于四个黑色已知点形成的正方形区域的中心处，称之为中心点（以点P(2x+1,2y+1)为例）。白色点位于正方形区域的上边线处和左边线处，称为区域上方点（以点P（2x+1,2y）为例）和左方点（以点P（2x,2y+1）为例）。本发明的图像放大方法流程如图2所示。

整体实施步骤从顶层可分为两个流水级来进行：第一流水级使用已知的黑色点求出所有的灰色点，存入数据存储器中；第二流水级将灰色点和黑色点从数据存储器中取出作为已知点使用，求出所有的白色点。

下面以求点P(2x+1,2y+1)的运算过程为例来说明求所有灰色点的处理过程。

本发明图像放大装置的具体实施中，图像输入单元将外部数据依次读取到第一流水级行数据缓存器中。数据缓冲器的深度与原始的低分辨率图像的宽度相同，位宽为8位。本发明需要使用6个相同的数据缓冲器来形成点阵数据，图4显示了原始像素点的存储结构，每一个时钟周期从外部读入一个像素值，6个数据缓冲器依次循环使用。为方便起见，以下所述像素点的名称与图1中像素点的坐标保持一致。

根据图5所示的第一流水级数据依赖关系，当像素点P(2x+6,2y+6)到来时，计算点P(2x+1,2y+1)局部区域特征所需的所有像素点准备完毕，计算步骤如下：

第一步：区域中心点预测模块读取P(2x-2,2y+4),P(2x,2y+2),P(2x+2,2y),P(2x+4,2y-2),P(2x-2,2y-2),P(2x,2y),P(2x+2,2y+2),P(2x+4,2y+4)八个点，使用公式1，2计算点P(2x+1,2y+1)在45度和135度方向上的两个预测值E(45)和E(135)，并存入寄存器中。

公式1:

E(45)=C0*P(2x-2,2y+4)+C1*P(2x,2y+2)+C2*P(2x+2,2y)+C3*P(2x+4,2y-2)

公式2:

E(135)=C0*P(2x-2,2y-2)+C1*P(2x,2y)+C2*P(2x+2,2y+2)+C3*P(2x+4,2y+4)

在本实施例中，C0～C3选用了双立方插值系数，即C0=C3=-1/8，C1=C2=5/8。其他实施例可以根据实际情况选择其他的插值系数。插值系数在本装置设计开始时就已经选定，因此在该单元的计算中只需要简单的移位运算而避免了使用乘法器。以下步骤中的插值系数与该步骤相同。

第二步：在该区域的4个已知点P(2x,2y),P(2x+2,y),P(2x,2y+2),P(2x+2,2y+2)的45度和135度方向上分别求出各自像素点位置上的预测值E0(45),E1(45),E2(45),E3(45),E0(135),E1(135),E2(135),E3(135)。E0(45)和E0(135)为P(2x,2y)位置处45度和135度方向上的预测值，以该点预测值的计算为例来说明该区域内所有已知点预测值的计算过程。

利用高分辨率图像与低分辨率图像同一区域结构上的一致性，使用第一步中同样的插值系数来计算点P(2x,2y)位置上两个方向的预测值E0(45)和E0(135)，如公式3，4所示。

公式3：

E0(45)=C0*P(2x-4,2y+4)+C1*P(2x-2,2y+2)+C2*P(2x+2,2y-2)+C3*P(2x+4,2y-4)

公式4：

E0(135)=C0*P(2x-4,2y-4)+C1*P(2x-2,2y-2)+C2*P(2x+2,2y+2)+C3*P(2x+4,2y+4)

使用当前区域的四个已知点的误差之和来代表当前区域的特征，即使用公式5，6分别计算出该区域45度和135度方向上的总预测误差值Err(45)和Err(135)。

公式5：

Err(45)=|P(2x,2y)-E0(45)|+|P(2x+2,2y)-E1(45)|+|P(2x,2y+2)-E2(45)|+|P(2x+2,2y+2)-E3(45)|

公式6：

Err(135)=|P(2x,2y)-E0(135)|+|P(2x+2,2y)-E1(135)|+|P(2x,2y+2)-E2(135)|+|P(2x+2,2y+2)-E3(135)|

这两个误差值体现了该局部区域内高分辨率图像的结构特点，即某一个方向上的误差值越小，说明该区域在沿着这个方向进行插值时得到的值越准确。该步骤由图3中的区域预测误差计算模块完成，它将公式[5,6]中所需的像素点从第一流水级行缓冲器中读出，在两个方向上进行并行计算，将得出的结果送入特征增强模块中。同样的，该模块只需要进行简单的移位和加法运算。

第三步：引入一个边缘敏感因子Sensitive Factor(SF）对第二步中的两个误差值进行修正，以进一步增强本发明对图像边缘特征的敏感程度。公式[7,8]为修正公式，得到修正后的结果ESF(45)和ESF(135)。

公式7：

ESF(45)=Err(45)^SF （SF为整数）

公式8：

ESF(135)=Err(135)^SF （SF为整数）

该步骤由图3中的特征增强模块完成，该模块中使用乘法器的数量与SF的取值相关，由公式[7,8]可以看出，当SF取3时，共需要4个乘法器。

第四步：利用已经得到区域特征值来为第一步中两个方向的预测值分配权重，由于区域特征值体现的是某个方向上的预测准确程度，因此某一方向的误差修正值越大则其权重越小，反之亦然。两个方向上最终的权重W(45)和W(135)由公式[9,10]得出。

公式9：

W(45)=ESF(135)/(ESF(45)+ESF(135))

公式10：

W(135)=1-W(45)

该步骤由图3中的方向权重生成模块完成，根据公式[9,10]可以看出，本发明装置在该模块中将使用1个除法器。

第五步：方向权重生成模块产生的两个权重值W(45)和W(135)被送入区域中心点插值模块中，与存储在寄存器中的45度和135度方向上的预测值E(45),E(135)进行加权运算，得到点P(2x+1,2y+1)的最终像素值，如公式11所示。

公式11：

P(2x+1,2y+1)=W(45)*E(45)+W(135)*E(135)

该步骤由图3中的区域中心点插值模块完成，需要使用2个乘法器。

至此，灰色点P(2x+1,2y+1)算出，其他灰色点计算步骤与其相同，当所有灰色点全部计算完毕后，该实施例的顶层的第一流水级操作完成。

该实施例的第二流水级计算白色点的步骤与第一流水级类似，仅有以下三点区别：

第一点：第一流水级中已经计算出的灰色点需要参与白色点的计算，应作为已知点存入第二流水级数据行缓冲器中，行缓冲器所使用的存储面积将会增加。

第二点：由于白色点的物理位置与灰色点有差别，因此在计算时使用的区域已知点位置与第一流水级不同。它是以当前插值点为中心，将第一流水级中四个黑色点形成的正方形区域顺时针旋转45度后的区域。举例来说，如图1中的虚线区域所示，待插值点P(2x+1,2y)的局部区域为由P(2x,2y),P(2x+1,2y-1),P(2x+2,2y)和P(2x+1,2y+1)围成的区域。

第三点：第二流水级中像素的数据依赖关系与局部区域的变化相同，是第一流水级插值模板顺时针旋转45度后形成的，如图6所示。

至此，本发明的所有步骤结束。

该发明通过以上步骤，充分利用低分辨率的原始图像和高分辨率的目标图像之间在局部区域结构上的相似性进行插值，完成了图像放大功能并显著提升主观质量，同时降低了计算的复杂度和实现成本。

Claims

1.一种基于局部区域特征相关性的图像放大装置，其特征在于，该装置包括：

计算局部区域中心点的第一流水级结构和计算局部区域上方点和左方点的第二流水级结构，以及在两级流水结构之间进行帧级缓存的数据存储器；

第一流水级结构包括：

图像输入单元：对外部输入的图像数据进行采集；

第一流水级行数据缓冲器：以逐行扫描的形式存储局部区域的已知点；

区域中心点预测模块：利用插值模板计算当前区域中心点的预估值；

区域预测误差计算模块：利用插值模板计算当前区域内所有已知点的预测总误差；

特征增强模块：对于由预测误差值体现出的局部区域特征进行增强处理；

方向权重生成模块：判断当前区域的方向特征，并以权重的形式表现出来；

区域中心点插值模块：修正当前区域未知中心点的预估值，得出该点的像素值；

第二流水级结构包括：

图像输出单元：对生成的图像数据进行输出；

第二流水级结构包括的第二流水级行数据缓冲器、区域上方点和左方点预测模块、区域预测误差计算模块、特征增强模块、方向权重生成模块、区域上方点和左方点插值模块的功能和连接方式与第一流水级的对应模块类似，但应用于计算局部区域中未知的上方点和左方点像素值。

2.如权利要求1所述的图像放大装置，其特征在于：所述的两级流水线结构依次与数据存储器相连接，第一流水级结构向数据存储器存入已计算出的数据，第二流水级结构从数据存储器中取出所有已知数据并用于未知点的计算。

3.如权利要求1所述的图像放大装置，其特征在于：共使用6个相同的数据缓冲器来形成点阵数据，6个数据缓冲器依次循环使用。

4.如权利要求1所述的图像放大装置，其特征在于：区域预测误差计算模块、特征增强模块和方向权重生成模块依次相连，输出权重系数至区域中心点插值模块；区域中心点预测模块直接与区域中心点插值模块相连，并送入预测数据；区域中心点预测模块将上述模块送入的数据进行处理并存入数据存储器中。

5.一种基于局部区域特征相关性的图像放大方法，它使用同一个插值模板分别对图像局部区域的已知点和未知点的像素值进行预测，由已知点的预测误差值推断出区域特征并进行增强处理，最后以此特征对未知点的预估值进行修正；其步骤为：

第一步：将低分辨率原始图像中的点作为已知点填充到高分辨率目标图像的相应位置上，形成点阵；

第二步：选择由四个已知点围成的区域的中心点作为当前待插值点，使用方向相互垂直的插值模板对该点进行插值，得到该点的这两个方向上的预测值；

第三步:将第二步中所述的四个已知点看做当前插值点，使用与第二步所述相同的插值模板进行插值，得到四个已知点在这两个方向上的预测值，然后对预测误差进行统计，得到该局部区域这两个方向上的总预测误差值；

第四步：对第三步中的总预测误差值进行进一步的修正，得到方向特征值；

第五步：使用第四步中的两个方向特征值来为第二步中的两个预测值分配权重；

第六步：令两个权重值分别乘以第二步中得到的对应方向上的两个预测值并求和，得出区域中心点的最终像素值；

第七步：区域上方点和左方点的计算步骤与中心点类似，此时，第六步所求出的中心点已经可以当做已知点来使用，将第一步中的点阵顺时针旋转45度形成新的点阵；在此基础上重复上述第三步到第六步，得到上方点和左方点的像素值。

6.如权利要求5所述的图像放大方法，其特征在于，所述的插值模板是以当前待插值点为中心，在该点两个相互垂直的方向上各选择四个最邻近已知点形成的。

7.如权利要求5所述的图像放大方法，其特征在于，所述的局部区域总预测误差的计算方法，是分别沿着所述的插值模板的两个方向，对局部区域内所有已知点进行插值预估，并对同一方向上的所有预估值与真实值之间的误差求和。

8.如权利要求5所述的图像放大方法，其特征在于，所述的误差修正和方向特征值的计算方法，是分别对两个方向上的总误差做整数次乘方处理。

9.如权利要求5所述的图像放大方法，其特征在于，所述的权重分配方法，是对两个方向上的方向特征值做归一化的权重分配处理。