CN109191377A - 一种基于插值的图像放大方法 - Google Patents

Abstract

本发明涉及一种基于插值的图像放大方法，包括：扩展原始图像形成待放大图像；根据所述待放大图像获取插值权重；将待插值像素点插入所述待放大图像形成第一放大图像；利用所述插值权重处理所述第一放大图像形成最终放大图像。本发明的图像放大方法是一种基于插值的图像放大方法，能够对图像实现有效的超分辨率放大，对图像的边缘进行有效保持，使得放大后的图片视觉效果更好，且图像边缘的锯齿效应消失，且保持图像边缘的能力更强，抗噪声能力强。

Description

一种基于插值的图像放大方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于插值的图像放大方法。

背景技术

高分辨率图像因能给人们提供更加准确、直观的信息，越来越受到人们的青睐，在工作和生活中起着重要的作用。图像插值方法作为图像处理最基本的操作，在图像处理领域中，作用越来越显著。图像格式间的转换、图像质量的改善及图像重建等都要用到插值方法。

现在比较常用的插值方法包括最近邻插值方法和双三次插值方法，这种常用的经典的插值方法一般都侧重于图像的平滑，但这类方法在保持图像平滑的同时常常导致插值后的图像边缘模糊，而图像的边缘信息是影响图像视觉效果的重要因素，视觉效果不理想，抗噪声能力差。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于插值的图像放大方法。

本发明的一个实施例提供了一种基于插值的图像放大方法，包括：

扩展原始图像形成待放大图像；

根据所述待放大图像获取插值权重；

将待插值像素点插入所述待放大图像形成第一放大图像；

利用所述插值权重处理所述第一放大图像形成最终放大图像。

在本发明的一个实施例中，扩展原始图像以形成待放大图像，包括：

获取原始图像；

利用所述原始图像的原始像素对所述原始图像进行扩展以形成待放大图像。

在本发明的一个实施例中，根据所述待放大图像获取插值权重，包括：

建立卷积模板；

利用所述卷积模板处理所述待放大图像以得到最终像素差值；

获取所述待放大图像的参考方向；

利用所述最终像素差值求取所述参考方向的差异值；

根据所述参考方向的差异值获取所述插值权重。

在本发明的一个实施例中，利用所述卷积模板处理所述待放大图像以得到最终像素差值，包括：

利用所述卷积模板与所述待放大图像进行卷积处理得到M个初始像素差值，其中，M为正整数；

求取M个所述初始像素差值的绝对值对应得到M个最终像素差值。

在本发明的一个实施例中，根据所述参考方向的差异值获取所述插值权重，包括：

对所述参考方向的差异值进行归一化处理得到灰度差异值；

根据所述灰度差异值得到第一边缘数值；

根据所述第一边缘数值得到第二边缘数值；

对所述第二边缘数值进行归一化处理得到所述插值权重。

在本发明的一个实施例中，将待插值像素点插入所述待放大图像形成第一放大图像，包括：

在所述待放大图像中，每隔一行对应插入一行待插值像素点，每隔一列对应插入一列待插值像素点形成第一放大图像。

在本发明的一个实施例中，利用所述插值权重处理所述第一放大图像形成最终放大图像，包括：

获取所述第一放大图像的滤波模板；

根据所述插值权重和所述滤波模板得到第一权重模板；

对所述第一权重模板进行归一化处理得到第二权重模板；

利用所述第二权重模板对所述第一放大图像进行卷积处理以得到待插值点的像素值；

根据所述待插值像素点的像素值得到所述最终放大图像。

在本发明的一个实施例中，获取所述第一放大图像的滤波模板，包括：

根据双三次插值计算公式获取所述第一放大图像的滤波模板。

在本发明的一个实施例中，根据所述待插值像素点的像素值得到所述最终放大图像，包括：

根据所述待插值像素点的像素值得到所述第二放大图像；

裁剪所述第二放大图像以得到最终放大图像。

与现有技术相比，本发明的有益效果：

本发明的图像放大方法是一种基于插值的图像放大方法，能够对图像实现有效的超分辨率放大，对图像的边缘进行了有效的保持，使得放大后的图片视觉效果更好，且图像边缘的锯齿效应消失，且保持图像边缘的能力更强，抗噪声能力强。

附图说明

图1为本发明实施例提供的一种基于插值的图像放大方法的流程示意图；

图2为本发明实施例提供的一种原始图像的示意图；

图3为本发明实施例提供的一种待放大图像的示意图；

图4为本发明实施例提供的另一种待放大图像的示意图；

图5为本发明实施例提供的再一种待放大图像的示意图；

图6a至图6c为本发明实施例提供的一种设定方向的示意图；

图7为本发明实施例提供的一种第一放大图像的示意图；

图8为本发明实施例提供的另一种第一放大图像的示意图；

图9为本发明实施例提供的再一种第一放大图像的示意图；

图10为本发明实施例提供的又一种第一放大图像的示意图；

图11为本发明实施例提供的又一种第一放大图像的示意图；

图12为本发明实施例提供的又一种第一放大图像的示意图；

图13为本发明实施例提供的一种第二放大图像的示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种基于插值的图像放大方法的流程示意图。本发明实施例提供的一种基于插值的图像放大方法，包括：

扩展原始图像形成待放大图像；

根据所述待放大图像获取插值权重；

将待插值像素点插入所述待放大图像形成第一放大图像；

利用所述插值权重处理所述第一放大图像形成最终放大图像。

本实施例的图像放大方法是一种基于插值的图像放大方法，能够对图像实现有效的超分辨率放大，对图像的边缘进行了有效的保持，使得放大后的图片视觉效果更好，且图像边缘的锯齿效应消失，且保持图像边缘的能力更强，抗噪声能力强。

实施例二

本发明实施例在上述实施例的基础上，对本发明实施例提供的基于插值的图像放大方法进行具体介绍，该图像放大方法具体包括：

步骤一、扩展原始图像以形成待放大图像；

获取待放大的原始图像，通过原始图像的原始像素点对原始图像进行扩展，原始图像经扩展之后形成待放大图像；

具体地，复制原始图像第一行的所有原始像素点作为扩展像素点，对应粘贴至原始图像第一行原始像素点的上方形成第一扩展图像；然后复制第一扩展图像第一列的所有原始像素点和扩展像素点作为扩展像素点，对应粘贴至第一扩展图像第一列像素点(包括原始像素点和扩展像素点)的左侧形成第二扩展图像；再复制第二扩展图像倒数第二行和倒数第一行的所有原始像素点和扩展像素点作为扩展像素点，对应粘贴至第二扩展图像倒数第一行像素点(包括原始像素点和扩展像素点)下方形成第三扩展图像；最后复制第三扩展图像倒数第二列和倒数第一列的所有原始像素点和扩展像素点作为扩展像素点，对应粘贴至第三扩展图像倒数第一列像素点(包括原始像素点和扩展像素点)右侧形成待放大图像。

请参见图2和图3，图2为本发明实施例提供的一种原始图像的示意图，图3为本发明实施例提供的一种待放大图像的示意图。举例说明，原始图像的大小为4*4，扩展后的待放大图像的大小为7*7，其中，黑色的圆代表原始图像的原始像素点，带有斜线的圆代表用于扩展原始图像的扩展像素点。

步骤二、根据待放大图像获取插值权重；

步骤2.1、利用卷积模板处理待放大图像以得到初始像素差值

具体地，利用卷积模板与待放大图像进行卷积处理得到各像素点邻域内的不同方向的初始像素差值；

优选地，卷积模板的个数为8个，分别为cov1、cov2、cov3、cov4、cov5、cov6、cov7和cov8。

具体地，先选取一个卷积模板，根据该卷积模板的大小，选取一个与卷积模板大小相同的提取框，通过该提取框从待放大图像的左上侧开始提取与该卷积模板大小相同的像素区域，将该卷积模板中的数值与选取的待放大图像的像素区域对应位置的像素点进行相乘处理，再将相乘处理后的所有数值进行求和处理得到求和值，所得到的求和值即为初始像素差值。之后将该提取框按照设定步长向右移位，重复上述步骤，求取按照设定步长移位后的提取框所提取的像素区域的求和值；重复上述处理过程，提取框按照设定步长在待放大图像从左至右、从上至下依次遍历待放大图像，得到某一方向的M个求和值，即得到M个初始像素差值，其中，M为大于0的自然数。重复上述处理过程，分别利用8个卷积模板与待放大图像进行卷积处理，获得8个卷积模板的初始像素差值，每个卷积模板可得到M个初始像素差值。

优选地，设定步长为1。

步骤2.1.3、求取初始像素差值的绝对值，该绝对值即为最终像素差值。

优选地，根据卷积模板cov1得到的最终像素差值记为abs(cov1)，根据卷积模板cov2得到的最终像素差值记为abs(cov2)，根据卷积模板cov3得到的最终像素差值记为abs(cov3)，根据卷积模板cov4得到的最终像素差值记为abs(cov4)，根据卷积模板cov5得到的最终像素差值记为abs(cov5)，根据卷积模板cov6得到的最终像素差值记为abs(cov6)，根据卷积模板cov7得到的最终像素差值记为abs(cov7)，根据卷积模板cov8得到的最终像素差值记为abs(cov8)。

请同时参见图4和图5，图4为本发明实施例提供的另一种待放大图像的示意图，图5为本发明实施例提供的再一种待放大图像的示意图。例如，待放大图像的大小为7*7，卷积模板为cov1，根据cov1的大小，选取的提取框如图4中虚线框所示，其框选的区域即为像素区域，将cov1与选取的待放大图像的像素区域对应位置的像素点进行相乘处理，再将相乘处理后的所有数值进行求和处理得到求和值，求和值的绝对值即为最终像素差值。之后将该提取框按照设定步长向右移位，如图5所示，重复上述步骤，求取按照设定步长移位后的提取框所提取的像素区域的求和值；重复上述处理过程，提取框按照设定步长在待放大图像从左至右、从上至下依次遍历待放大图像，根据待放大图像的大小为7*7可知，共可得到25个求和值，即可得到25个最终像素差值。

步骤2.2、利用最终像素差值求取参考方向的差异值；

在本实施例中设定多个参考方向，利用参考方向进行边缘方向的判断。

请参见图6a至图6c，图6a至图6c为本发明实施例提供的一种设定方向的示意图。参考方向共设定12个，分别为a₁对应的参考方向、a₂对应的参考方向、a₃对应的参考方向、a₄对应的参考方向、a₅对应的参考方向、a₆对应的参考方向、a₇对应的参考方向、a₈对应的参考方向、a₉对应的参考方向、a₁₀对应的参考方向、a₁₁对应的参考方向和a₁₂对应的参考方向，其中，a₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈、a₉、a₁₀、a₁₁和a₁₂分别代表对应方向的差异值，其中，12个参考方向的差异值与各个卷积模板得到的绝对值的关系分别为：

a₁＝abs(cov1)+abs(cov2)，a₂＝abs(cov3)+abs(cov4)，a₃＝abs(cov5)+abs(cov6)，

a₄＝abs(cov7)+abs(cov8)，a₅＝abs(cov4)+abs(cov7)，a₆＝abs(cov3)+abs(cov5)，

a₇＝abs(cov4)+abs(cov6)，a₈＝abs(cov3)+abs(cov8)，a₉＝abs(cov7)+abs(cov2)，

a₁₀＝abs(cov5)+abs(cov2)，a₁₁＝abs(cov1)+abs(cov6)，a₁₂＝abs(cov1)+abs(cov8)。

步骤2.3、根据参考方向的差异值获取插值权重；

步骤2.3.1、对参考方向的差异值进行归一化处理得到灰度差异值；

具体地，十二个方向的差异值作为估计边缘方向的参考，其中十二个方向对应的差异值的最小值的参考方向是沿着待放大图像边缘的方向，十二个方向对应的差异值的最大值的参考方向是跨越边缘点的方向(说明该方向所对应的卷积模板的绝对值分属于待放大图像不同的边缘)。

对每个参考方向的差异值进行归一化处理，得到归一化处理后的灰度差异值，灰度差异值计算公式为：

其中，a_n’为灰度差异值，n分别取1,2,…,12，N＝12。

步骤2.3.2、根据灰度差异值得到第一边缘数值；

根据灰度差异值求取第一边缘数值，即根据如下公式求取第一边缘数值，第一边缘数值的计算公式为：

w_n＝1-a’_n

其中，w_n为第一边缘数值，第一边缘数值即为各个参考方向边缘出现的可能性，n分别取1,2,…,12。

步骤2.3.3、根据所述第一边缘数值得到第二边缘数值；

在实际插值过程中，可能更多需要利用待放大图像沿着边缘方向的信息，忽略非边缘方向的信息，所以对计算出来的每个第一边缘数值都乘以gamma(伽玛值)次幂进行权重的拉伸矫正，使得沿着边缘方向的第二边缘数值(new)w_n接近1，而垂直边缘方向的第二边缘数值(new)w_n接近0，第二边缘数值的计算公式如下式所示：

其中，(new)w_n为第二边缘数值。

步骤2.3.4、对第二边缘数值进行归一化处理得到插值权重；

对求取的第二边缘数值进行归一化处理，得到归一化处理后的插值权重，插值权重计算公式为：

其中，(new)w_n’为插值权重，n分别取1,2,…,12，N＝12。

步骤三、根据待放大图像获取第一放大图像；

具体地，将待插值像素点插入待放大图像形成第一放大图像；

具体地，在待放大图像中，每隔一行对应插入一行待插值像素点，每隔一列对应插入一列待插值像素点，待插值像素点插入完成后形成第一放大图像。

请再次参见图3，并同时参见图7，图7为本发明实施例提供的一种第一放大图像的示意图。举例说明，待放大图像的大小为7*7，黑色的圆代表原始图像的原始像素点，带有斜线的圆代表用于扩展原始图像的扩展像素点，插入待插值像素点所形成的第一放大图像的大小为13*13，白色点代表第一放大图像的待插值像素点。

步骤四、利用插值权重处理第一放大图像形成最终放大图像；

步骤4.1、获取第一放大图像的滤波模板；

具体地，根据双三次插值计算公式获取滤波模板；

请参见图8，图8为本发明实施例提供的另一种第一放大图像的示意图。选取第一放大图像中的第一个原始像素点(第一个原始像素点如图8中处于第三行第三列的像素点)，并同时选取该原始像素点正下方相邻的待插值像素点、右下方相邻的待插值像素点和正右方相邻的待插值像素点(如图8中三个灰色像素点)。每个原始像素点对应三个待插值像素点，由于三个待插值像素点的位置不同，可以根据该三个待插值像素点设置三套不同的滤波器模板。

原始像素点对应的正下方相邻的待插值像素点所对应的一套滤波器模板包括M个代表不同方向的滤波器模板；

优选地，M为12，12个滤波器模板分别记为cv₁、cv₂、cv₃、cv₄、cv₅、cv₆、cv₇、cv₈、cv₉、cv₁₀、cv₁₁和cv₁₂，该12个方向分别与参考方向相对应。

优选地，滤波器模板大小为4*4。

每个滤波器权重的设置均是基于双三次插值的公式进行设置的，双三次插值计算公式为：

其中，H(x)为滤波器系数，x为原始像素点或扩展像素点与待插值像素点的距离，a取-0.5。

请同时参见图9和图10，图9为本发明实施例提供的再一种第一放大图像的示意图，图10为本发明实施例提供的又一种第一放大图像的示意图。选取一个选取框，该选取框内所包含的原始像素点和/或扩展像素点的个数需与原始图像中所包含的原始像素点的个数相同。例如若原始图像的大小为4*4，则该选取框的大小为7*7，通过该提取框从第一放大图像的左上侧开始提取与提取框大小相同的像素区域。再分别求取该提取框内每个参考方向上的原始像素点或扩展像素点与第一个原始像素点正下方相邻的待插值像素点的距离，将每个参考方向上所得到的距离代入至双三次插值计算公式，所计算出的H(x)作为滤波器系数，则十二个滤波器模板分别为：

其中，cv_n为a_n对应的参考方向所求得的滤波器模板，其中，n分别取1,2,…,12。

步骤4.2、根据插值权重和滤波模板得到第一权重模板；

根据插值权重与对应的滤波器模板得到第一权重模板，第一权重模板的计算公式为：

其中，cov_v_n为第一权重模板，w_n为插值权重，cv_n为滤波器模板，n分别取1,2,…,12。

步骤4.3、对第一权重模板内的各个元素进行归一化处理对应得到第二权重模板，第二权重模板的计算公式为：

其中，cv_ij’代表第一权重模板中第i行第j列的元素所对应的第二权重模板，cv_ij’代表第一权重模板中第i行第j列的元素，i分别取1,2,…,I，j分别取1,2,…,J。

步骤4.4、利用第二权重模板对第一放大图像进行卷积处理以得到待插值像素点的像素值；

将每一个第二权重模板与第一放大图像中的选取框中的原始像素点和/或扩展像素点进行卷积处理，即将第二权重模板内各个元素的值与选取框中对应位置的原始像素点和/或扩展像素点的像素值进行相乘处理，将相乘处理的所有结果进行相加求和处理，得到第一个原始像素点的正下方相邻的待插值像素点的像素值。

步骤4.5、根据待插值像素点的像素值得到第二放大图像；

步骤4.5.1、同理，根据第一个原始像素点的正下方相邻的待插值像素点的像素值的计算过程，分别得到第一个原始像素点的右下方相邻的待插值像素点的像素值和正右方相邻的待插值像素点的像素值；

请分别参见图11和图12，图11为本发明实施例提供的又一种第一放大图像的示意图，图12为本发明实施例提供的又一种第一放大图像的示意图。例如，图11提供了第一个原始像素点的右下方相邻的待插值像素点与其他像素点的距离，图12提供了第一个原始像素点的正右方相邻的待插值像素点与其他像素点的距离，同理可得到第一个原始像素点的右下方相邻的待插值像素点对应的第一权重模板的计算公式为：

其中，cov_h_n为第一个原始像素点的右下方相邻的待插值像素点对应的第一权重模板，w_n为第一个原始像素点的右下方相邻的待插值像素点对应的插值权重，cv_n为第一个原始像素点的右下方相邻的待插值像素点对应的滤波器模板，n分别取1,2,…,12。

同理可得到第一个原始像素点的正右方相邻的待插值像素点对应的第一权重模板的计算公式为：

其中，cov_h_n为第一个原始像素点的正右方相邻的待插值像素点对应的第一权重模板，w_n为第一个原始像素点的正右方相邻的待插值像素点对应的插值权重，cv_n为第一个原始像素点的正右方相邻的待插值像素点对应的滤波器模板，n分别取1,2,…,12。

步骤4.5.2、同理，根据上述步骤分别得到第一放大图像中所有原始像素点正下方相邻、右下方相邻和正右方相邻的待插值像素点的像素值，以得到第二放大图像。

步骤五、裁剪第二放大图像以得到最终放大图像；

请参见图13，图13为本发明实施例提供的一种第二放大图像的示意图。具体地，将第二放大图像第一行和第二行的所有像素点(包括扩展像素点和待插值像素点)、第一列和第二列的所有像素点(包括扩展像素点和待插值像素点)裁剪掉，同时第二放大图像的倒数第一行、倒数第二行、倒数第三行和倒数第四行的所有像素点(包括扩展像素点和待插值像素点)裁剪掉，且同时将第二放大图像的倒数第一列、倒数第二列、倒数第三列和倒数第四列的所有像素点(包括扩展像素点和待插值像素点)裁剪掉，裁剪完成后即为最终得到的最终放大图像，最终放大图像即为原始图像的二倍放大图像。

本实施例的图像放大方法能够对图像实现有效的超分辨率放大，对图像的边缘进行了有效的保持，使得放大后的图片视觉效果更好，且图像边缘的锯齿效应消失，且保持图像边缘的能力更强。本实施例的图像放大方法利用了卷积操作，使得该图像放大方法在硬件实现上提高了运行速度并降低了实现难度。

本实施例的图像放大方法利用待放大像素周围的像素点的插值权重对待放大图像进行插值，故该算法对于图像边缘部分不具有保持作用，插值所得的边缘较为模糊，且算法运算量大、运算速度非常慢。

本实施例的图像放大方法不仅了最近邻插值的细节结构较为粗糙和图像边缘出现锯齿状信息的问题；而且还解决了双三次插值方法中图像边缘信息过于模糊的问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于插值的图像放大方法，其特征在于，包括：

扩展原始图像形成待放大图像；

根据所述待放大图像获取插值权重；

将待插值像素点插入所述待放大图像形成第一放大图像；

利用所述插值权重处理所述第一放大图像形成最终放大图像。

2.如权利要求1所述的图像放大方法，其特征在于，扩展原始图像以形成待放大图像，包括：

获取原始图像；

利用所述原始图像的原始像素对所述原始图像进行扩展以形成待放大图像。

3.如权利要求1所述的图像放大方法，其特征在于，根据所述待放大图像获取插值权重，包括：

建立卷积模板；

利用所述卷积模板处理所述待放大图像以得到最终像素差值；

获取所述待放大图像的参考方向；

利用所述最终像素差值求取所述参考方向的差异值；

根据所述参考方向的差异值获取所述插值权重。

4.如权利要求3所述的图像放大方法，其特征在于，利用所述卷积模板处理所述待放大图像以得到最终像素差值，包括：

利用所述卷积模板与所述待放大图像进行卷积处理得到M个初始像素差值，其中，M为正整数；

求取M个所述初始像素差值的绝对值对应得到M个最终像素差值。

5.如权利要求3所述的图像放大方法，其特征在于，根据所述参考方向的差异值获取所述插值权重，包括：

对所述参考方向的差异值进行归一化处理得到灰度差异值；

根据所述灰度差异值得到第一边缘数值；

根据所述第一边缘数值得到第二边缘数值；

对所述第二边缘数值进行归一化处理得到所述插值权重。

6.如权利要求1所述的图像放大方法，其特征在于，将待插值像素点插入所述待放大图像形成第一放大图像，包括：

在所述待放大图像中，每隔一行对应插入一行待插值像素点，每隔一列对应插入一列待插值像素点形成第一放大图像。

7.如权利要求1所述的图像放大方法，其特征在于，利用所述插值权重处理所述第一放大图像形成最终放大图像，包括：

获取所述第一放大图像的滤波模板；

根据所述插值权重和所述滤波模板得到第一权重模板；

对所述第一权重模板进行归一化处理得到第二权重模板；

利用所述第二权重模板对所述第一放大图像进行卷积处理以得到待插值像素点的像素值；

根据所述待插值像素点的像素值得到所述最终放大图像。

8.如权利要求7所述的图像放大方法，其特征在于，获取所述第一放大图像的滤波模板，包括：

根据双三次插值计算公式获取所述第一放大图像的滤波模板。

9.如权利要求7所述的图像放大方法，其特征在于，根据所述待插值像素点的像素值得到所述最终放大图像，包括：

根据所述待插值像素点的像素值得到所述第二放大图像；

裁剪所述第二放大图像以得到最终放大图像。