CN110223232A

CN110223232A - 一种基于双线性插值算法的视频图像放大方法

Info

Publication number: CN110223232A
Application number: CN201910490549.6A
Authority: CN
Inventors: 张弘; 陈勇; 王佳俊; 赵建明
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2019-09-10

Abstract

本发明公开了一种双线性插值放大算法的FPGA实现方法，该方法包括：根据原图像的尺寸a*b与目标图像的尺寸m*n确定原图像与目标图像在行、列方向上的图像像素放大坐标映射规律；获得原视频图像当前帧的两行图像的像素数据；根据双线性插值公式计算出目标图像的像素数据。本发明实例中，可以减少使用乘法器的数量，能够使用较少的FPGA资源对视频图像进行快速处理。

Description

一种基于双线性插值算法的视频图像放大方法

技术领域

本发明涉及图像缩放技术领域，尤其涉及一种基于双线性插值算法的视频图像放大方法，适用于占用少资源FPGA实现的图像快速放大场景。

背景技术

图像是人类感知世界的视觉基础，是人类获取信息、表达信息的重要手段；在数字图像处理领域，图像缩放具有相当的地位，是常用的图像处理方法，图像缩放也就是做图像的分辨率变换。通俗的讲就是图像的放大和缩小，这种技术有着广泛的应用前景。比如在视频监控系统中，当人们在实时的监控视频中锁定到目标后，如果想要或得对细节的进一步观察，就需要对图像进行放大处理，来获取有用的信息。

图像缩放是图像处理领域的基本操作之一，图像缩放的算法很多，常见的有最近邻法、基于边缘的图像算法、双线性插值算法。最近邻算法最为简单，但是对图像缩放效果极为不佳；基于边缘的图像算法虽效果较好，但是算法复杂度高，实现困难；双线性插值法具有平滑功能，能有效地克服最近邻法的不足，双线性插值算法在效果和算法复杂度之间能做到折中，故应用最多。

双线性插值算法原理是利用源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，从而更真实地反映了原始图像的信息。但双线性插值算法中采用了大量的乘法运算，而且还涉及到浮点运算，当图像尺寸增大，运算量也会相应增加，所以减少使用FPGA硬件资源，加快处理速度是研究的重点。

发明内容

针对上述现有技术存在的问题，本发明实施例提供一种基于双线性插值算法的视频图像放大方法，该方法基于FPGA硬件设计，能够减少使用乘法器，使用较少的资源对视频图像进行快速放大处理。

为达到上述技术目的，本发明采用如下技术方案予以实现。

一种双线性插值放大算法的FPGA实现方法，包括如下步骤：

步骤一、根据原图像的尺寸a*b与目标图像的尺寸m*n确定原图像与目标图像在行、列方向上的图像像素放大坐标映射规律；

步骤二、获得原视频图像当前帧的两行图像的像素数据；

步骤三、根据双线性插值公式计算出目标图像的像素数据。

所述原图像与目标图像在行、列方向上的图像像素放大坐标映射规律即为目标图像在原图像行、列方向上的映射坐标偏移量，目标图像在原图像行、列方向上的映射坐标偏移量即为目标图像像素点周围四个像素点的权重系数u、1-u、v、1-v。

所述原视频图像当前帧的两行图像的像素数据分别存入两个随机存取存储器RAM中，第一RAM写入图像的第一行像素数据；当第一RAM写入了第一行像素数据后，停止将图像数据写入到第一RAM中，并通过第二RAM将图像的第二行数据写入到第二RAM中，并利用第一RAM中的像素数据和第二RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第二RAM写入了第二行像素数据后，停止将图像数据写入到第二RAM中，并通过第三RAM将图像的第三行数据写入到第三RAM中，并利用第二RAM中的像素数据和第三RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第三RAM写入了第三行像素数据后，停止将图像数据写入到第三RAM中，并通过第一RAM将图像的第四行数据写入到第一RAM中，并利用第三RAM中的像素数据和第一RAM中的像素数据获取参与双线性插值运算的四个像素点数据。

所述双线性插值公式为f(i,j)＝p00*(1-u)*(1-v)+p01*u*(1-v)+p10*(1-u)*v+p11*u*v，在原图像中找到(i*(a/m),j*(b/n))附近的四个像素点的像素值p00、p01、p10、p11，将这四个像素点的像素值作为目标图像中的像素点坐标(i,j)位置上的像素值进行双线性插值，得到目标图像中像素点坐标(i,j)位置上的像素值f(i,j)。

本发明的有益效果是：本发明通过原图像与目标图像在行、列方向上的图像像素放大坐标映射规律，获得目标图像像素点周围四个像素点的权重系数u、1-u、v、1-v，并且人工将双线性插值公式中的(1-u)*(1-v)、u*(1-v)、(1-u)*v、u*v提前计算出来预存在只读存储器ROM中，待需使用时将其取出参与插值运算，这减少需要使用的乘法器数量，并且加快运算速度。

附图说明

图1为本发明的一种基于双线性插值算法的视频图像放大方法流程图；

图2为原图像与目标图像在行、列方向上的图像像素放大坐标映射规律图(以720p放大为1080p的行方向为例)；

图3为第一、二、三RAM的逻辑空间示意图；

图4为本发明的一种基于双线性插值算法的视频图像放大方法的FPGA实现的结构示意图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整的描述。

参照图1，为本发明的一种基于双线性插值算法的视频图像放大方法流程图。其中所述基于双线性插值算法的视频图像放大方法，包括以下步骤：步骤一，根据原图像的尺寸a*b与目标图像的尺寸m*n确定原图像与目标图像在行、列方向上的图像像素放大坐标映射规律；步骤二，获得原视频图像当前帧的两行图像的像素数据；步骤三，根据双线性插值公式计算出目标图像的像素数据。

参照图2，为原图像与目标图像在行、列方向上的图像像素放大坐标映射规律图(以720p放大为1080p的行方向为例)。在行方向上，目标图像在原图像的映射坐标偏移量的小数部分即为目标图像像素点周围四个像素点的权重系数u，并且次权重系数呈规律出现，0，2/3，1/3，0，2/3，1/3，0，2/3，1/3，……，同理，列方向上的权重系数v也如此。所以，在获得目标图像像素点周围四个像素点的权重系数u、1-u、v、1-v后，人工将双线性插值公式中的(1-u)*(1-v)、u*(1-v)、(1-u)*v、u*v提前计算出来预存在只读存储器ROM中，待需使用时将其取出参与插值运算。权重系数的数值范围为[0，1]，除特殊情况下权重系数取值为0或1的整数外，大多情况下权重系数均为浮点数。通常在FPGA中进行浮点运算时，相比整数运算会消耗更多的LUT(查找表)、寄存器和乘法器，同时也会给MAP和PAR带来压力，从而导致整个设计的Fmax降低，甚至有些FPGA中不能直接对浮点数进行操作，只能采用定点数进行数值运算。

所谓定点小数就是小数点固定的隐含在某一位置上的数据，由于小数点的位置是固定的，所以没有必要储存该位置，而小数的具体位置完全由设计者自己决定，因此对于定点小数的处理完全可以采用普通整数的处理方式。将浮点数转换为定点数就是将要运算的浮点数扩大很多倍，然后取整，再用这个取整后的数进行运算，运算得到的结果再缩小相应的倍数即可。运算过程中所有数据均以整数的形式参与计算，因此设计者需要记住定点数中小数点的位置。

定点数中常见的处理为8位小数或16位小数，随着小数位数越多，运算结果的精度越高，实现时占用的资源也会越多，在设计时需要对小数的位宽权衡选择；本发明中采用16位小数的形式构成32位定点数，即数据中高16位为整数部分，低16位为小数部分；即对于本发明中涉及的浮点数运算，先将数据左移16位构成定点小数形式再参与运算，运算结束后对运算结果进行右移16位的操作得到最终计算结果。由双线性插值算法的公式可以看出，计算一个插值点的像素值需要8个乘法运算，在硬件实现中，乘除运算不仅会占用大量的资源而且运算过程中耗时较长，当时钟约束中时钟频率设置较高时，容易造成时序不满足的情况，而此方法能够将乘法运算减少到4个。同此720p放大为1080p例，任何原图像尺寸a*b与目标图像尺寸m*n都有此规律，都可按此方法进行计算。

参照图3，为第一、二、三RAM的逻辑空间示意图。为了在原图像中找到(i*(a/m),j*(b/n))附近的四个像素点的像素值p00、p01、p10、p11，必须预先获得原视频图像当前帧的两行图像的像素数据，而后将这四个像素点的像素值作为目标图像中的像素点坐标(i,j)位置上的像素值进行双线性插值，得到目标图像中像素点坐标(i,j)位置上的像素值f(i,j)。将原视频图像当前帧的两行图像的像素数据分别存入两个随机存取存储器RAM中，第一RAM写入图像的第一行像素数据；当第一RAM写入了第一行像素数据后，停止将图像数据写入到第一RAM中，并通过第二RAM将图像的第二行数据写入到第二RAM中，并利用第一RAM中的像素数据和第二RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第二RAM写入了第二行像素数据后，停止将图像数据写入到第二RAM中，并通过第三RAM将图像的第三行数据写入到第三RAM中，并利用第二RAM中的像素数据和第三RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第三RAM写入了第三行像素数据后，停止将图像数据写入到第三RAM中，并通过第一RAM将图像的第四行数据写入到第一RAM中，并利用第三RAM中的像素数据和第一RAM中的像素数据获取参与双线性插值运算的四个像素点数据；往后以此类推，不再赘述。

参照图4，为本发明的一种基于双线性插值算法的视频图像放大方法的FPGA实现的结构示意图。将取自RAM中的四个像素值p00、p01、p10、p11，以及取自ROM中的(1-u)*(1-v)、u*(1-v)、(1-u)*v、u*v带入双线性插值公式f(i,j)＝p00*(1-u)*(1-v)+p01*u*(1-v)+p10*(1-u)*v+p11*u*v计算后得出目标图像的像素值。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种双线性插值放大算法的FPGA实现方法，其特征在于包括如下步骤：

步骤二、获得原视频图像当前帧的两行图像的像素数据；

步骤三、根据双线性插值公式计算出目标图像的像素数据。

2.如权利要求1所述的一种双线性插值放大算法的FPGA实现方法，其特征在于，在步骤一中，所述原图像与目标图像在行、列方向上的图像像素放大坐标映射规律即为目标图像在原图像行、列方向上的映射坐标偏移量，目标图像在原图像行、列方向上的映射坐标偏移量即为目标图像像素点周围四个像素点的权重系数u、1-u、v、1-v。

3.如权利要求1所述的一种双线性插值放大算法的FPGA实现方法，其特征在于，在步骤二中，将所述原视频图像当前帧的两行图像的像素数据分别存入两个随机存取存储器RAM中，第一RAM写入图像的第一行像素数据；当第一RAM写入了第一行像素数据后，停止将图像数据写入到第一RAM中，并通过第二RAM将图像的第二行数据写入到第二RAM中，并利用第一RAM中的像素数据和第二RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第二RAM写入了第二行像素数据后，停止将图像数据写入到第二RAM中，并通过第三RAM将图像的第三行数据写入到第三RAM中，并利用第二RAM中的像素数据和第三RAM中的像素数据获取参与双线性插值运算的四个像素点数据；当第三RAM写入了第三行像素数据后，停止将图像数据写入到第三RAM中，并通过第一RAM将图像的第四行数据写入到第一RAM中，并利用第三RAM中的像素数据和第一RAM中的像素数据获取参与双线性插值运算的四个像素点数据；往后以此类推，不再赘述。

4.如权利要求1所述的一种双线性插值放大算法的FPGA实现方法，其特征在于，在步骤三中，所述双线性插值公式为f(i,j)＝p00*(1-u)*(1-v)+p01*u*(1-v)+p10*(1-u)*v+p11*u*v，在原图像中找到(i*(a/m),j*(b/n))附近的四个像素点的像素值p00、p01、p10、p11，将这四个像素点的像素值作为目标图像中的像素点坐标(i,j)位置上的像素值进行双线性插值，得到目标图像中像素点坐标(i,j)位置上的像素值f(i,j)。