CN110930289B - 一种图像放大方法及用于实现图像放大的vlsi - Google Patents

Abstract

本发明公开了一种图像放大方法及用于实现图像放大的VLSI，包括以下步骤：将存储于存储介质的图像与0°、45°、90°、135°四个方向的检测模板进行卷积运算得到中心像素四个方向的梯度值，再根据双阈值判断中心像素点是否处于边界位置，若处于边界位置则在像素值前插入1，否则插入0。之后确定放大后的新图像上像素点在原图像上对应的记为插值点位置，并根据原图像上周围四个像素点的边界信息以及插值点与它们的位置关系选取不同的插值方法求取插值点像素值，作为新图像上对应像素点的像素值。本发明大幅度降低了电路规模，改善了放大后的图像质量。

Description

一种图像放大方法及用于实现图像放大的VLSI

技术领域

本发明具体涉及一种图像放大方法及用于实现图像放大的VLSI。

背景技术

随着显示技术的高速发展，人们对图像清晰度的要求越来越高。但由于图像采集设备等原因，超高清图像及视频源并不容易获取。因此，在很多情况下，需要将低分辨图像通过各种技术提升为高分辨率图像。目前主要有两种研发方向。第一，通过深度卷积神经网络等各种软件算法处理图像，但此方法需要消耗大量的CPU资源，对硬件性能要求高。第二，在图像采集、传输过程中利用VLSI(超大规模集成电路，Very Large Scale Integration)对图像直接进行处理，此方法处理图像带宽高，成本低，但是由于VLSI能实现的算法较简单，所以往往处理效果不佳，会造成处理后图像马赛克和锯齿现象。

因此，有必要提供一种新的算法和装置以解决现有技术存在的问题。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种图像放大方法及用于实现图像放大的VLSI，算法简单，对硬件性能要求低，且处理效果好。

为了实现上述方案，本发明提供了图像放大的插值方法及其VLSI实现。

一种图像放大方法，包括以下步骤：

步骤1、对原图像进行滤波，得到图像I；

步骤2、求取图像I中边界点信息；

步骤3、确定放大后的新图像上像素点a_(x,y)在原图像上对应的位置，记为插值点a′_(p,q)；根据原图像上a′_(p,q)周围四个像素点的边界信息(即其是否为边界点)以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值；将a′_(p,q)的像素值作为新图像上像素点a_(x,y)的像素值；重复上述操作确定新图像所有像素点的像素值，从而得到原图像放大后的新图像。

进一步地，所述步骤1中，对原图像进行中值滤波。

进一步地，所述步骤2中，将图像I分别与0°、45°、90°和135°四个方向的检测模板进行卷积运算，得到图像I上各像素点在0°、45°、90°和135°四个方向的梯度；对图像I上的每一个像素点，根据其四个方向的梯度值G_x、G_y、G_i和G_j判断其是否为边界点，判断方法为：

若满足以下三种情况之一，则判定该像素点为边界点：

(1)若G_x、G_y、G_i和G_j均大于第一阈值；

(2)若G_x、G_i和G_j均大于第一阈值，G_y小于第一阈值，且G_i+G_j-G_x大于第二阈值；

(3)若G_y、G_i和G_j均大于第一阈值，G_x小于第一阈值，且G_i+G_j–G_y大于第二阈值；

否则，则判定该像素点不是边界点；

其中第二阈值大于第一阈值。

进一步地，所述0°、45°、90°和135°四个方向的检测模板分别为

和

进一步地，所述步骤3中，根据原图像上a′_(p,q)周围四个像素点的边界信息以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值的具体方法为：

(1)若a′_(p,q)周围四个像素点中有边界点，且a′_(p,q)与其中任一边界点的距离满足阈值要求，即在X和Y方向的距离均小于第三阈值，则取该边界点的像素值作为a′_(p,q)的像素值；

(2)若a′_(p,q)周围四个像素点中有边界点，且a′_(p,q)与其中所有边界点的距离均不满足阈值要求，则先将a′_(p,q)周围四个像素点中边界点的像素值用非边界点的像素值的均值替换；再基于a′_(p,q)周围四个像素点的像素值，采用双线性插值方法得到a′_(p,q)的像素值；

(3)若a′_(p,q)周围四个像素点中没有边界点，则直接基于a′_(p,q)周围四个像素点的像素值，采用双线性插值方法得到a′_(p,q)的像素值。

所述第三阈值大于0小于0.5。

所述双线性插值方法为：

设a′_(p,q)周围，左上、右上、左下、右下四个相邻的像素点分别为B₁、B₂、B₃和B₄，它们的像素值分别为Q₁、Q₂、Q₃和Q₄，a′_(p,q)与B₁在Y和X方向的距离分别为u和v，通过以下公式插值得到a′_(p,q)的像素值P：

P＝v×[u×Q₃+(1-u)×Q₁]+(1-v)×[u×Q₄+(1-u)×Q₂]。

一种用于实现图像放大的VLSI，包括图像滤波模块、图像边界点信息获取模块和插值模块；其实现图像放大的步骤为：

步骤1、图像滤波模块对原图像进行滤波，得到图像I；

步骤2、图像边界点信息获取模块求取图像I中边界点信息；

步骤3、插值模块确定放大后的新图像上像素点a_(x,y)在原图像上对应的位置，记为插值点a′_(p,q)；根据原图像上a′_(p,q)周围四个像素点的边界信息(即其是否为边界点)以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值；将a′_(p,q)的像素值作为新图像上像素点a_(x,y)的像素值；插值模块重复上述操作确定新图像所有像素点的像素值，从而得到原图像放大后的新图像。

进一步地，所述VLSI还包括图像预处理模块，用于对原图像进行扩充，扩充方法为：设原图像长×宽为n×m(即原图像为n行m列的图像矩阵，每行包括m个像素点，每列为n个像素点)，在原图像上下至少填充一行像素值为0的像素点，在原图像左右至少填充一列像素值为0的像素点，使得扩充后图像的长×宽为N×M，其中N和M根据以下方法确定：若(n+2)％255＝1，则令N＝n+2，否则，令

若(m+2)％255＝0，则M＝m+2，否则

式中

表示向下取整，％表示取余运算；

图像预处理模块输出的图像，输入到图像滤波模块，进行滤波，得到图像I。

进一步地，所述图像预处理模块还包括取样模块，取样模块采用R×256的取样窗口从左至右，从上到下地读取扩充后的图像并依次输入到图像滤波模块；左右相邻的取样窗口间重合一行数据，上下相邻的取样窗口间重合一列数据，以确保数据完整性，其中取样窗口长度R≤N。设置取样模块采用R×256的取样窗口从左至右，从上到下地读取扩充后的图像，并依次输入后级电路的目的是：减小数据规模，以减少对后级电路的存储空间需求；若不设置取样模块，则后面的行缓存器需要的存储空间为3×M；设置取样模块后，后面的第一行缓存器需要的存储空间仅为3×256；且若不设置取样模块，第一种方式，需要针对不同的图像设置不同的大小行缓存器，适应性不好。

进一步地，所述图像滤波模块包括第一行缓存器，第一行缓存器包括一个输入口，三个输出口，每个输出口后面接两个级联的触发器；

第一行缓存器从取样窗口接收数据；

第一行缓存器及其输出接口连接的触发器输出的共9个数据形成一个3×3滤波窗口，利用这些数据，对滤波窗口的中心像素值进行中值滤波。

进一步地，所述图像边界点信息获取模块包括第二行缓存器，第二行缓存器包括一个输入口，三个输出口，每个输出口后面接两个级联的触发器；

第二行缓存器从图像滤波模块接收数据；

第二行缓存器及其输出接口连接的触发器输出的共9个数据形成一个3×3数据窗口，与0°、45°、90°、135°四个方向的检测模板进行卷积运算，得到该数据窗口的中心像素点四个方向的梯度值G_x、G_y、G_i和G_j；根据以下方法判断该中心像素点是否为边界点：

若满足以下三种情况之一，则判定该中心像素点为边界点：

(1)若G_x、G_y、G_i和G_j均大于第一阈值；

(2)若G_x、G_i和G_j均大于第一阈值，G_y小于第一阈值，且G_i+G_j-G_x大于第二阈值；

(3)若G_y、G_i和G_j均大于第一阈值，G_x小于第一阈值，且G_i+G_j–G_y大于第二阈值；

否则，则判定该中心像素点不是边界点；

其中第二阈值大于第一阈值。

进一步地，所述VLSI还包括边界信息标志模块(像素值位宽扩展)，用于在像素点的像素值前(像素值位宽扩展)插入一个边界信息位；根据图像边界点信息获取模块得到的像素点的边界信息，若其为边界点则将其边界信息位置1，否则将其边界信息位置0；

边界信息标志模块处理后的结果依次输入插值模块；

所述插值模块包括第三行缓存器，第三行缓存器包括一个输入口，两个输出口，每个输出口后面接一个触发器；第三行缓存器及其输出接口连接的触发器输出共4个数据，对应四个像素点；对于这四个像素点围成的矩形内的插值点，利用这四个像素点的边界信息(即其是否为边界点，根据像素点的边界信位获得)以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值。插值方法与前面一种图像放大方法中的相同，在此不赘述。

有益效果：

本发明提供了一种图像放大方法及用于实现图像放大的VLSI，算法简单，对硬件要求低，大幅度降低了电路规模，且处理效果好，降低了sobel算子求边界带来的噪声点误判，避免了双线性插值算法插值后产生的图像中的马赛克和锯齿现象。

附图说明

图1为本发明实施例的结构模块图；

图2为本发明实施例的功能模块图；

图3为本发明实施例的图像扩充、分割示意图；

图4为本发明实施例的行缓存器示意图；

图5为本发明实施例的图像插值示意图。

具体实施方式

下面结合附图和具体实施按例，对本发明进行详细的描述。本实施案例仅为本发明的一个实施例而不包括全部实施方案。

实施例1：

本发明公开了一种图像放大方法，其主要步骤包括：将存储于存储介质的图像扩充后利用256×256的取样窗口取样后依次输出，经过三级流水线进行中值滤波，然后将3×3图像数据块与0°、45°、90°、135°四个方向的检测模板进行卷积运算得到中心像素四个方向的梯度值，再根据双阈值判断中心像素点是否处于边界位置，若处于边界位置则在像素值前插入1，否则插入0。之后确定放大后的新图像上像素点在原图像上对应的记为插值点位置，并按照原图像上像素点与插值点之间的位置关系选取不同的插值方法求取插值点像素值，作为新图像上对应像素点的像素值。通过对图像数据扩充、取样解决了图像插值模块需要大规模电路来存储数据的问题，大幅度降低电路规模。通过采用双阈值方法优化sobel算子，大幅改善了sobel算子求边界带来的噪声点误判。采用不同插值算法来适应不同区域的插值点，大幅改善了双线性插值算法插值后产生的马赛克和锯齿现象。

实施例2：

本实施例公开了一种用于实现图像放大的VLSI及其实现图像放大的方法，如图1、图2所示，其实现图像放大的方法包括图像数据输入、扩充与分割、图像数据中值滤波、求取图像边界点信息、扩展像素值位宽、插值得到新图像数据。具体步骤如下：

S1：图3所示为可以存储于任何存储介质的图像数据，长×宽为n×m。将其进行扩充，扩充后长×宽为N×M，其中N、M根据以下方法确定：若(n+2)％255＝1，则令N＝n+2，否则，令

若(m+2)％255＝0，则M＝m+2，否则

式中％表示取余运算。扩充坐标的像素值用0填充。本实施例中取样窗口长度R＝256，即采用256×256的取样窗口读取图像，且相邻取样窗口间重合一行或一列数据以确保数据完整性。图像数据在取样窗口中的输出顺序为从左至右，从上到下。图像取样窗口的输出顺序为从左至右，从上到下。输出图像存储于行缓存器1中。

所述行缓存器1如图4所示，包括一个输入端和三个输出端。行缓存器由FIFO1、FIFO2、FIFO3依次连接而成。其中输入端接FIFO1输入端；FIFO1输出端接输出端1及FIFO2输入端；FIFO2输出端接输出端2及FIFO3输入端；FIFO3输出端接输出端3。

S2：中值滤波，如图1所示，触发器及行缓存器1输出接口共9个数据分别为D₁₁、D₁₂、D₁₃、D₂₁、D₂₂、D₂₃、D₃₁、D₃₂、D₃₃。分三级流水线完成中心像素点D₂₂的中值滤波。所述的中值滤波方法，其特征在于采用三级流水线结构，第一级流水线将各行数据以大小顺序从左到右放置。第二级流水线得到最大列的最小值，中值列的中值，最小列的最大值。第三级流水线得到中值并替换中心数据。

(1)一级流水线：取D₁₁、D₁₂、D₁₃最大值为D_max1，中值为D_mid1，最小值为D_min1；取D₂₁、D₂₂、D₂₃最大值为D_max2，中值为D_mid2，最小值为D_min2；取D₃₁、D₃₂、D₃₃最大值为D_max3，中值为D_mid3，最小值为D_min3。

(2)二级流水线：取D_max1、D_max2、D_max3最小值为D_{max_min},取D_mid1、D_mid2、D_mid3中值为D_{mid_mid},取D_min1、D_min2、D_min3最大值为D_{min_max},

(3)三级流水线：取D_{max_min}、D_{mid_mid}、D_{min_max}中值替换D22完成中值滤波。并将滤波后的数据存入行缓存器2中，所述的行缓存器2与行缓存器1结构相同，包括一个输入口，三个输出口，每个输出口后面接两个级联的触发器；

S3：确定边界坐标，如图1所示，触发器及行缓存器2输出接口共9个数据分别为Z₁₁、Z₁₂、Z₁₃、Z₂₁、Z₂₂、Z₂₃、Z₃₁、Z₃₂、Z₃₃。分两级流水线得到边界坐标信息。

(1)一级流水线，使用0°、45°、90°、135°四个方向的检测模板进行卷积计算，得到中心像素点Z₂₂四个方向的梯度值，G_x＝(Z₁₃+2×Z₂₃+Z₃₃)-(Z₁₁+2×Z₂₁+Z₃₁)；G_y＝(Z₁₁+2×Z₁₂+Z₁₃)-(Z₃₁+2×Z₃₂+Z₃₃)；G_i＝(2×Z₁₁+Z₁₂+Z₂₁)-(2×Z₃₃+Z₂₃+Z₃₂)；G_j＝(2×Z₃₁+Z₂₁+Z₃₂)-(2×Z₁₃+Z₁₂+Z₂₃)。

(2)二级流水线，根据G_x、G_y、G_i、G_j取值，按如下情况进行边界值判断。

I：若G_x、G_y、G_i、G_j均大于第一阈值，则判定中心像素点位于边界位置；

II：若G_x、G_i、G_j大于第一阈值，G_y小于第一阈值，且G_i+G_j-G_x大于第二阈值，则判定中心像素点位于边界位置；

III：若G_y、G_i、G_j大于第一阈值，G_x小于第一阈值，且G_i+G_j-G_y大于第二阈值，则判定中心像素点位于边界位置；

IV：其余情况则判定中心像素点没有处于边界地区。

S4：在像素值前(像素值的最高位前)插入一个边界信息位，根据步骤S3得到的中心像素点边界信息，若为边界点则像素值Z₂₂的最高位前插入1，像素值Z₂₂的最高位前插入0。将新的像素值，依次输入到行缓存器3中。所述的行缓存器3基本结构与行缓存器1相似，包括一个输入口，两个输出口，每个输出口后面接一个触发器；

S5：读入上述触发器及行缓存器3的值，并根据插值点位置不同，按如下方式求取新图像上像素点的像素值，图5为图像插值示意图，原图像中黑色像素点为边界点，白色像素点为非边界点。新图像长×宽为X×Y，新图像中像素点a_(x,y)对应到原图像插值点为a′_(p,q)，其坐标p＝x×(N/X)，q＝y×(M/Y)。如图4所示，图像插值可分为以下几种情况：

(1)如点a₁，其在原图像上的插值点为a₁′，a₁′周围四个像素点中有边界点A₁，且a₁′与边界点A₁在X方向的距离和Y方向的距离均小于第三阈值，则取边界点A₁的像素值P₁作为a₁′的像素值。

(2)如点a₂，其在原图像上的插值点为a₂′，a₂′周围四个像素点中有边界点A₇和A₈，且a₂′与边界点A₇和A₈的距离均不满足：在X方向的距离和Y方向的距离均大于第三阈值，则先将A₇和A₈的像素值用A₅和A₆的像素值的均值替换，即令P₇＝P₈＝(P₅+P₆)/2；再使用公式

v×[u×P₇+(1-u)×P₅]+(1-v)×[u×P₈+(1-u)×P₆]进行计算a₂的像素值，其中u为点a₂′与A₇在Y方向的距离，v为点a₂′与A₇在X方向的距离。

(3)如点a₃，其在原图像上的插值点为a₃′，a₃′周围四个像素点没有边界点，则使用公式v×[u×P₁₁+(1-u)×P₉]+(1-v)×[u×P₁₂+(1-u)×P₁₀]计算a₃的值，其中u为点a₃′与A₁₁在Y方向的距离，v为点a₃′与A₁₁在X方向的距离。

所述第三阈值大于0小于0.5。

Claims (8)

1.一种图像放大方法，其特征在于，包括以下步骤：

步骤1、对原图像进行滤波，得到图像I；

步骤2、求取图像I中边界点信息；

步骤3、确定放大后的新图像上像素点a_(x,y)在原图像上对应的位置，记为插值点a′_(p,q)；根据原图像上a′_(p,q)周围四个像素点是否为边界点以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值；将a′_(p,q)的像素值作为新图像上像素点a_(x,y)的像素值；重复操作确定新图像所有像素点的像素值，从而得到原图像放大后的新图像；

所述步骤3中，根据原图像上a′_(p,q)周围四个像素点的边界信息以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值的具体方法为：

(1)若a′_(p,q)周围四个像素点中有边界点，且a′_(p,q)与其中任一边界点的距离满足阈值要求，则取该边界点的像素值作为a′_(p,q)的像素值；其中a′_(p,q)与某一边界点的距离满足阈值要求是指a′_(p,q)与该边界点在X和Y方向的距离均小于第三阈值；

(2)若a′_(p,q)周围四个像素点中有边界点，且a′_(p,q)与其中所有边界点的距离均不满足阈值要求，则先将a′_(p,q)周围四个像素点中边界点的像素值用非边界点的像素值的均值替换；再基于a′_(p,q)周围四个像素点的像素值，采用双线性插值方法得到a′_(p,q)的像素值；

(3)若a′_(p,q)周围四个像素点中没有边界点，则直接基于a′_(p,q)周围四个像素点的像素值，采用双线性插值方法得到a′_(p,q)的像素值。

2.根据权利要求1所述的图像放大方法，其特征在于，所述步骤1中，对原图像进行中值滤波。

3.根据权利要求1所述的图像放大方法，其特征在于，所述步骤2中，将图像I分别与0°、45°、90°和135°四个方向的检测模板进行卷积运算，得到图像I上各像素点在0°、45°、90°和135°四个方向的梯度；对图像I上的每一个像素点，根据其四个方向的梯度值G_x、G_y、G_i和G_j判断其是否为边界点，判断方法为：

若满足以下三种情况之一，则判定该像素点为边界点：

(1)若G_x、G_y、G_i和G_j均大于第一阈值；

(2)若G_x、G_i和G_j均大于第一阈值，G_y小于第一阈值，且G_i+G_j-G_x大于第二阈值；

(3)若G_y、G_i和G_j均大于第一阈值，G_x小于第一阈值，且G_i+G_j–G_y大于第二阈值；

否则，则判定该像素点不是边界点；

其中第二阈值大于第一阈值。

4.一种用于实现图像放大的超大规模集成电路，其特征在于，包括图像滤波模块、图像边界点信息获取模块和插值模块；其实现图像放大的步骤为：

步骤1、图像滤波模块对原图像进行滤波，得到图像I；

步骤2、图像边界点信息获取模块求取图像I中边界点信息；

步骤3、插值模块确定放大后的新图像上像素点a_(x,y)在原图像上对应的位置，记为插值点a′_(p,q)；根据原图像上a′_(p,q)周围四个像素点的边界信息以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值；将a′_(p,q)的像素值作为新图像上像素点a_(x,y)的像素值；插值模块重复操作确定新图像所有像素点的像素值，从而得到原图像放大后的新图像；

所述超大规模集成电路还包括边界信息标志模块，用于在像素点的像素值前插入一个边界信息位；根据图像边界点信息获取模块得到的像素点的边界信息，若其为边界点则将其边界信息位置1，否则将其边界信息位置0；

边界信息标志模块处理后的结果依次输入插值模块；

所述插值模块包括第三行缓存器，第三行缓存器包括一个输入口，两个输出口，每个输出口后面接一个触发器；

第三行缓存器及其输出接口连接的触发器输出共4个数据，对应四个像素点；对于这四个像素点围成的矩形内的插值点，利用这四个像素点的边界信息以及a′_(p,q)与它们的位置关系，选取相应的插值方法，利用它们的像素值插值得到a′_(p,q)的像素值。

5.根据权利要求4所述的用于实现图像放大的超大规模集成电路，其特征在于，VLSI还包括图像预处理模块，用于对原图像进行扩充，扩充方法为：设原图像长×宽为n×m，在原图像上下至少填充一行像素值为0的像素点，在原图像左右至少填充一列像素值为0的像素点，使得扩充后图像的长×宽为N×M，其中N和M根据以下方法确定：若(n+2)％255＝1，则令N＝n+2，否则，令

若(m+2)％255＝0，则M＝m+2，否则

式中

表示向下取整，％表示取余运算；

图像预处理模块输出的图像，输入到图像滤波模块，进行滤波，得到图像I。

6.根据权利要求5所述的用于实现图像放大的超大规模集成电路，其特征在于，所述图像预处理模块还包括取样模块，取样模块采用R×256的取样窗口从左至右，从上到下地读取扩充后的图像并依次输入到图像滤波模块；左右相邻的取样窗口间重合一行数据，上下相邻的取样窗口间重合一列数据；其中取样窗口长度R≤N。

7.根据权利要求6所述的用于实现图像放大的超大规模集成电路，其特征在于，所述图像滤波模块包括第一行缓存器，第一行缓存器包括一个输入口，三个输出口，每个输出口后面接两个级联的触发器；

第一行缓存器从取样窗口接收数据；

第一行缓存器及其输出接口连接的触发器输出的共9个数据形成一个3×3滤波窗口，利用这些数据，对滤波窗口的中心像素值进行中值滤波。

8.根据权利要求7所述的用于实现图像放大的超大规模集成电路，其特征在于，所述图像边界点信息获取模块包括第二行缓存器，第二行缓存器包括一个输入口，三个输出口，每个输出口后面接两个级联的触发器；

第二行缓存器从图像滤波模块接收数据；

第二行缓存器及其输出接口连接的触发器输出的共9个数据形成一个3×3数据窗口，与0°、45°、90°和135°四个方向的检测模板进行卷积运算，得到该数据窗口的中心像素点四个方向的梯度值G_x、G_y、G_i和G_j；根据以下方法判断该中心像素点是否为边界点：

若满足以下三种情况之一，则判定该中心像素点为边界点：

(1)若G_x、G_y、G_i和G_j均大于第一阈值；

(2)若G_x、G_i和G_j均大于第一阈值，G_y小于第一阈值，且G_i+G_j-G_x大于第二阈值；

(3)若G_y、G_i和G_j均大于第一阈值，G_x小于第一阈值，且G_i+G_j–G_y大于第二阈值；

否则，则判定该中心像素点不是边界点；

其中第二阈值大于第一阈值。

Images