CN103500435A - 一种边缘导向的自适应图像插值方法及其vlsi实现装置 - Google Patents

Abstract

一种边缘导向的自适应图像插值方法及其VLSI实现装置，计算源图像像素点梯度幅值和梯度方向，通过比较梯度幅值与局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；将边缘方向分类，利用边缘信息进行滤波，将图像分为规则边缘和非边缘区域。规则边缘区域沿边缘方向插值，且根据边缘信息的分类分别采用基于局部梯度信息的改进双三次插值方法、斜向双三次插值方法、斜向双线性插值方法进行图像插值；非边缘区域采用基于局部梯度信息的改进双三次插值方法进行图像插值；本发明的装置包括边缘信息提取模块，自适应插值模块、输入行场以及缩放后行场同步控制模块。本发明能显著提高高倍率缩放下的图像插值效果，有利于集成电路架构实现。

Description

一种边缘导向的自适应图像插值方法及其VLSI实现装置

技术领域

本发明属于数字视频图像处理与显示技术领域，具体涉及一种边缘导向的自适应图像插值方法及其VLSI实现装置。

背景技术

视频显示系统中，由于视频源分辨率多种多样，视频输入信号在被送入平板显示器件显示之前，需要经过图像插值缩放处理。图像插值缩放单元将不同格式和分辨率的图像进行放大或缩小，使其成为显示屏可以支持的图像格式。随着显示面板尺寸和分辨率的不断提升，图像插值缩放技术在视频处理系统中的地位越来越重要。由于图像插值缩放的性能直接决定了视频显示的质量，因此视频显示系统迫切需要高质量的图像插值缩放来提高用户的视觉体验。

当前，平板显示器件已普及了高清分辨率，并迅速向超高清分辨率4K（3840*2160）发展。然而，由于受到拍摄、编辑和处理设备等因素的限制，视频源大部分还处在标清分辨率水平。以480P（720*480）分辨率视频源在4K分辨率显示面板上显示为例，其放大倍数将达到近25倍，这样一高倍率缩放使传统基于双线性和双三次图像缩放技术在图像边缘区域产生较明显的锯齿或失真，从而无法满足实际需求。

基于边缘的自适应图像插值技术考虑到图像内容信息的差异，自适应选择恰当的方法，有望解决图像边缘和细节的失真。但是，考虑边缘的插值计算通常需要复杂的算法处理和较多的运算资源，难以通过集成电路设计来实现，因此很难满足实时处理的视频显示系统的需求。

发明内容

本发明的目的在于提出一种硬件资源耗费低的边缘导向的自适应图像插值方法及其VLSI实现装置，该方法能够在高缩放倍率条件下保证图像边缘和细节部分清晰无失真；同时，该方法还能以有限的运算资源实现对视频图像的实时处理，有利于集成电路架构实现。

为了实现上述目的，本发明边缘导向的自适应图像插值方法包括以下步骤：

1）计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；

2）将边缘方向分类成8个角度域，采用边缘信息滤波方法对边缘信息进行滤波，以使源图像分为规则边缘区域与非边缘区域；其中，所述的滤波方法的步骤如下：

2.1）选取待插值点pi周围4x4阵列的16个像素点作为pi的边缘信息滤波参考点，4x4阵列为参考阵列，统计4x4阵列中边缘点个数，记为counter；在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数，记为edge_counter(m),m=0,1,…7，找出8个角度域中边缘点分布最多的角度域m_max，m_max的边缘点个数记为max_edge_counter，m_max的边缘点方向记为max_edge_region；

2.2）若counter≥4，并且有max_edge_counter/counter>th时，则pi处于规则边缘区域，pi的边缘方向为max_edge_region，插值时pi沿边缘方向插值；否则，pi处于非边缘区域；其中，th表示判定阈值；

3）将边缘方向分类成的8个角度域划分成角度类Ⅰ、角度类Ⅱ以及角度类Ⅲ；当待插值点pi处于规则边缘区域时，若pi处于角度类Ⅰ中，则采用基于局部梯度信息的改进双三次插值方法进行图像插值；若pi处于角度类Ⅱ中，则采用斜向双三次插值方法进行图像插值；若pi处于角度类Ⅲ中，则采用斜向双线性插值方法进行图像插值；

当pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行图像插值。

所述的局部自适应阈值的计算方法为：

对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值的均值average_th，局部自适应阈值local_th由下式得到：

local_th=max(average_th，min_th)

其中，min_th为设置的局部自适应阈值的下限。

所述的步骤2）将边缘方向分类成8个角度域的方法为：

将边缘方向划分为8个角度域，记为角度域0～7，分别以过零点的0、22.5°、45°、67.5°、90°、112.5°、135°以及157.5°方向的射线及其反向延长线为中心分割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°。

所述的步骤3）中角度类Ⅰ包括角度域0和角度域4，角度域0为水平边缘方向，角度域4为垂直边缘方向；角度类Ⅱ包括角度域2和角度域6，角度域2为45°的边缘方向，角度域6为135°的边缘方向；角度类Ⅲ包括角度域1、角度域3、角度域5以及角度域7，角度域1为22.5°的边缘方向、角度域3为67.5°的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。

所述的基于局部梯度信息的改进双三次插值方法为：

设pi为待插值点，P(i-1,j-1)～P(i+2,j+2)代表源图像中pi邻域的16个像素点，插值系数的权重调整模板由下式得到：

$\left\{\begin{array}{c}{H}_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}\\ H_r=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right.$

式中：H_l——水平方向左侧权重的调整模板；H_r——水平方向右侧权重的调整模板；V_u——垂直方向上侧权重的调整模板；V_l——垂直方向下侧权重的调整模板；α——可调节的参数；

得到H_l、H_r、V_u、V_l模板后对插值系数进行归一化处理，即得到基于局部梯度信息的改进双三次插值的公式，然后采用基于局部梯度信息的改进双三次插值的公式对待插值点进行插值。

所述的步骤3）中斜向双三次插值方法与双三次插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。

所述的步骤3）中斜向双线性插值方法与双线性插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。

一种边缘导向的自适应图像插值方法的VLSI实现装置，包括边缘信息提取模块、自适应插值模块、输入行场同步控制模块以及缩放后行场同步控制模块；

输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放后行场同步控制模块提供同步后的行场信号H/V；

边缘信息提取模块用于输入视频图像的边缘信息提取；

缩放后行场同步控制模块用于产生缩放后的视频H/V同步信息，缩放后行场同步控制模块将缩放后的行场同步信号H/V输入到自适应插值模块；

自适应插值模块用于对输入的视频进行自适应插值并输出缩放后匹配显示器分辨率的视频信号。

所述的边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、梯度方向计算及方向分类模块、局部自适应阈值计算模块、图像二值化模块、边缘信息滤波模块；

其中，第一行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻视频数据行；

梯度幅值计算模块用于计算源图像的梯度幅值；

局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤波器得到源图像每一个像素对应的局部自适应阈值；

图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较源图像像素的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息；

梯度方向计算及方向分类模块用于根据边缘方向划分的8个角度域对边缘进行方向归类；

边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待插值点的边缘方向。

所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出选择模块；

其中，待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的偏移量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点选取模块将计算出的偏移量信号送给插值系数查找表memory模块；

插值系数查找表memory模块的硬件实现方式为ROM或者SRAM，用于根据偏移量得到当前待插值点所需的插值系数；

第二行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻的视频数据行，并根据当前待插值点选取对应的参考点阵列。

三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双线性插值模块、斜向双三次插值模块；三种不同方式的插值模块的输入信号为插值系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考点阵列；

输出选择模块用于从三种不同方式的插值模块中选择何种的插值方法对当前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的待插值点边缘信息作为控制信号进行输出选择的。

与现有技术相比，本发明的有益效果在于：

本发明的自适应图像插值方法，首先通过简单的梯度幅值和梯度方向计算提取源图像的边缘信息，并将边缘方向划分为8个角度域，然后通过边缘信息滤波滤除噪声边缘，保证了待插值点边缘信息和方向信息的准确性，最后根据不同方向采用自适应的插值方法，这样就能够在高倍率缩放条件下，解决源图像缩放后模糊和边缘出现锯齿的现象，而且具有对各种图像内容广泛的适应性；本发明的各个模块计算度相对简单，基于边缘的自适应图像插值技术的关键在于以适当的运算资源和处理速度达到对缩放中图像的边缘和细节良好的保护，并有利于通过集成电路架构实现，因此，本发明易于VLSI硬件实现，资源耗费低且满足实时性需求。

附图说明

图1为本发明边缘导向的自适应图像插值方法的流程图；

图2为本发明边缘信息提取流程图；

图3为本发明边缘方向分类示意图；

图4为本发明边缘信息滤波方法点阵选取示意图；

图5为本发明边缘信息滤波方法流程图；

图6为本发明基于局部梯度信息改进双三次插值算法模板示意图；

图7为本发明45°角度域采用斜向双三次插值示意图；其中，h为水平方向，v为垂直方向；

图8为本发明22.5°角度域采用斜向双线性插值示意图；

图9为本发明边缘导向的自适应图像插值的VLSI实现装置。

具体实施方式

以下结合附图和实施例对本发明作进一步的详细说明。

参见图1-8，本发明边缘导向的自适应图像插值方法包括边缘信息提取和自适应插值两部分；

1）图2所示为边缘信息提取流程图，计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自适应阈值获得边缘信息；如果某一像素点的梯度幅值大于局部自适应阈值，则判定该像素点为边缘点，否则为非边缘点；根据梯度幅值和局部自适应阈值的比较结果得出边缘二值图；局部自适应阈值的计算方法为：对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值的均值average_th，则局部自适应阈值local_th由下式得到：

local_th=max(average_th，min_th)

式中，min_th为设置的局部自适应阈值的下限，min_th的取值范围为10～30的整数。

边缘方向信息为梯度方向的垂直方向。

2）图3所示为边缘方向分类的示意图。要提高方向插值的精度，需要对边缘方向进行较为细致的分类。本发明将边缘方向分类成8个角度域，其具体划分方法为：将边缘方向划分为8个角度域，记为0～7，分别以过零点的0、22.5°、45°、67.5°、90°、112.5°、135°以及157.5°方向的射线及其反向延长线为中心分割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°；

在对边缘方向分类完成之后，采用边缘信息滤波方法对边缘信息进行滤波，从而将源图像内容分为规则边缘区域与非边缘区域；规则边缘区域指局部区域亮度梯度值较大，表现出边缘方向较为一致特性的区域，其它均为非边缘区域；根据边缘方向所在的区域范围确定插值方向；滤波的方法见图4-图5，具体步骤如下：

2.1）在图4所示选取的点阵中统计边缘信息，具体步骤如图5所示：

选取待插值点pi周围4x4阵列的P(1,1)～P(4,4)16个像素点作为pi的边缘信息滤波参考点，4x4阵列作为参考阵列，统计4x4阵列中边缘点个数，记为counter；在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数，记为edge_counter(m),m=0,1,2…7，并找出8个角度域中边缘点最多的角度域m_max，m_max的边缘点个数记为max_edge_counter，m_max的边缘点方向记为max_edge_region；

2.2）在完成对边缘信息的统计后开始滤波，滤波的原理基于这样一个事实：对于边缘检测的噪声点来说，其延续性较差，其领域内被判断为边缘点的个数较少；并且方向性差，落在同一或者相邻的边缘区域内的概率较低。对于本发明关心的规则边缘，本发明进行如下滤波过程：

若counter≥4，并且有max_edge_counter/counter>th时，则pi处于规则边缘区域，pi边缘方向为max_edge_region，插值时pi沿边缘方向插值；否则，pi处于非边缘区域，插值采用基于局部梯度信息的改进双三次插值方法（Hwang,Jung Woo,and Hwang Soo Lee."Adaptive image interpolation based on local gradient features."Signal Processing Letters,IEEE11.3(2004):359-362.）；其中th表示判定阈值，th取值范围为0.5～0.8；取值越大得到的边缘点越少，但得到待插值点为规则边缘点的概率越大，噪声越少。

3）当待插值点pi处于规则边缘区域时，即针对边缘滤波后仍然判断为边缘区域的待插值点，根据待插值点所处的角度域将其划分成角度类Ⅰ、角度类Ⅱ以及角度类Ⅲ；角度类Ⅰ包括角度域0和角度域4，角度域0为水平边缘方向，角度域4为垂直边缘方向；角度类Ⅱ包括角度域2和角度域6，角度域2为45°的边缘方向，角度域6为135°的边缘方向；角度类Ⅲ包括角度域1、角度域3、角度域5以及角度域7，角度域1为22.5°的边缘方向、角度域3为67.5°的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。

若待插值点pi处于角度类Ⅰ中，则采用基于局部梯度信息的改进双三次插值方法进行图像插值；若待插值点pi处于角度类Ⅱ中，则采用斜向双三次插值方法；若待插值点pi处于角度类Ⅲ中，采用斜向双线性插值方法进行图像插值。

当待插值点pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行图像插值。

图6为本发明基于局部梯度信息的改进双三次插值方法模板示意图。设pi为待插值点，P(i-1,j-1)～P(i+2,j+2)代表源图像中pi邻域的16个像素点，插值系数权重调整模板为：

$\left\{\begin{array}{c}{H}_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}\\ H_r=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right.$

式中：H_l——水平方向左侧权重的调整模板；H_r——水平方向右侧权重的调整模板；V_u——垂直方向上侧权重的调整模板；V_l——垂直方向下侧权重的调整模板；α——可调节的参数，α越大，梯度值对插值系数权重的影响越大，反之亦然，α优选为0.01。

本发明采用离线计算插值权重模板，利用RAM查找表代替开方计算，以水平方向左侧权重的调整模板H_l为例说明，将 $H_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}$ 变形为：

$H_l=1/\sqrt{1+\mathrm{\α}\×\mathrm{\Δx}}$

式中：Δx——abs(P(i,j)-P(i,j-1))+abs(P(i+1,j)-P(i+1,j-1))。

其中，对于给定的α，Δx取值有511种（8位图像而言），相应的有511个对应的H_l值。

同理：

$\begin{array}{c}{H}_r=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}$

也可以采用 $H_l=1/\sqrt{1+\mathrm{\α}\left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\mathrm{\α}\left(\mathrm{abs}(P(i+1,j)-P(i+1,j+1))\right)}$ 的变形方法进行变形。

本发明在离线先计算好所有的权重调整模板值（H_l、H_r、V_u以及V_l）后，利用硬件设计中的RAM行存，分别把Δx看做地址，把对应的权重调整模板值看做存储内容，通过读取对应地址的行存内容的查找表方式达到避免开方操作的目的。使用RAM的好处在于对于不同的α得到的权重调整模板不同，针对不同的α离线生成不同的权重调整模板，写入RAM代替开方操作。

得到权重调整模板值以后，经过归一化处理可以得到新的双三次插值公式,具体过程如下：

首先，令

Sumh=h1+h2×H_l+h3×H_r+h4;Sumv=v1+v2×V_u+v3×V_l+v4

式中：h1、h2、h3、h4——双三次水平方向插值的四个插值系数；v1，v2，v3，v4——双三次垂直方向插值的四个插值系数；在图6中，记deltah=d,deltav=e，且deltah代表“水平方向”的相对距离，deltav代表“垂直方向”的相对距离，则h1～h4的表达式如下：

$\left\{\begin{array}{c}h1=(-{\mathrm{deltah}}^3+2\×{\mathrm{deltah}}^2-\mathrm{deltah})/2\\ h2=(3\×{\mathrm{deltah}}^3-5\×{\mathrm{deltah}}^2+2)/2\\ h3=(-3\×{\mathrm{deltah}}^3+4\×{\mathrm{deltah}}^2+\mathrm{deltah})/2\\ h4=({\mathrm{deltah}}^3-{\mathrm{deltah}}^2)/2\end{array}\right.$

同理，v1～v4的表达式如下：

$\left\{\begin{array}{c}v1=(-{\mathrm{deltav}}^3+2\×{\mathrm{deltav}}^2-\mathrm{deltav})/2\\ v2=(3\×{\mathrm{deltav}}^3-5\×{\mathrm{deltav}}^2+2)/2\\ v3=(-3\×{\mathrm{deltav}}^3+4\×{\mathrm{deltav}}^2+\mathrm{delrtav})/2\\ v4=({\mathrm{deltav}}^3-{\mathrm{deltav}}^2/2)\end{array}\right.$

得到Sumh与Sumv后归一化得到新的插值系数，归一化的具体过程如下：

$\left\{\begin{array}{c}\mathrm{mh}1=h1/\mathrm{Sumh}\\ \mathrm{mh}2=h2\×H_l/\mathrm{Sumh}\\ \mathrm{mh}3=h3\×H_r/\mathrm{Sumh}\\ \mathrm{mh}4=h4/\mathrm{Sumh}\end{array}\right.$

同样可以得到：

$\left\{\begin{array}{c}\mathrm{mv}1=v1/\mathrm{Sumv}\\ \mathrm{mv}2=v2\×V_u/\mathrm{Sumv}\\ \mathrm{mv}3=v3\×V_l/\mathrm{Sumv}\\ \mathrm{mv}4=v4/\mathrm{Sumv}\end{array}\right.$

那么，基于局部梯度信息的改进双三次插值方法的插值公式为（以图6为例）：

$\left\{\begin{array}{c}\mathrm{ph}1=P(i-1,j-1)\×\mathrm{mh}1+P(i-1,j)\×\mathrm{mh}2+P(i-1,j+1)\×\mathrm{mh}3+P(i-1,j+2)\×\mathrm{mh}4\\ \mathrm{ph}2=P(i,j-1)\×\mathrm{mh}1+P(i,j)\×\mathrm{mh}2+P(i,j+1)\×\mathrm{mh}3+P(i,j+2)\×\mathrm{mh}4\\ \mathrm{ph}3=P(i+1,j-1)\×\mathrm{mh}1+P(i+1,j)\×\mathrm{mh}2+P(i+1,j+1)\×\mathrm{mh}3+P(i+1,j+2)\×\mathrm{mh}4\\ \mathrm{ph}4=P(i+2,j-1)\×\mathrm{mh}1+P(i+2,j)\×\mathrm{mh}2+P(i+2,j+1)\×\mathrm{mh}3+P(i+2,j+2)\×\mathrm{mh}4\end{array}\right.$

式中：ph1～ph4——四次水平插值得到的插值点，将得到的四次水平插值的点再进行一次垂直插值得到：pi=ph1×mv1+ph2×mv2+_xh3×mv3+ph4×mv4

本发明采用的斜向双三次插值方法与双三次插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。即参与插值的图像点的选取以双三次插值点阵选取为基础扩展，按插值方向对参考阵列进行方向偏移，并根据待插值点所在的位置进行调整。

图7为本发明45°角度域采用斜向双三次插值示意图。待插值点记为pi，规定其左上角最近的图像点为参考点，pi与参考点的距离表示为(d,e)，d为水平距离，e为垂直距离，如图6中所示。由图6易知0≤d,e≤1。由待插值点与源图像的相对位置关系，分为二种插值情形。“水平方向”与“垂直方向”的相对距离为deltah与deltav，利用平面几何平行线的等比特性把其转换成参数为d,e的表达式，简化计算，记归一化后的deltah为Δh，deltav为Δv。

插值情形1，如图7所示，(1-d)/e≤1：

插值点选取（记为p11～p44）：

p₁₁=P(i-1,j+1)，p₁₂=P(i-1,j+2)，p₁₃=P(i-1,j+3)，p₁₄=P(i-1,j+4)

p₂₁=P(i,j)，p₂₂=P(i,j+1)，p₂₃=P(i,j+2)，p₂₄=P(i,j+3)

p₃₁=P(i+1,j-1)，p₃₂=P(i+1,j)，p₃₃=P(i+1,j+1)，p₃₄=P(i+1,j+2)

p₄₁=P(i+2,j-2)，p₄₂=P(i+2,j-1)，p₄₃=P(i+2,j)，p₄₄=P(i+2,j+1)

插值公式：

Δh=d+e-1，Δv=e

coefh1=(-Δh³+2×Δh²-Δh)/2，coefh2=(3×Δh³-5×Δh²+2)/2

coefh3=(-3×Δh³+4×Δh²+Δh)/2，coefh4=(Δh³-Δh²)/2

coefv1=(-Δv³+2×Δv²-Δv)/2，coefv2=(3×Δv³-5×Δv²+2)/2

coefv3=(-3×Δv³+4×Δv²+Δv)/2，coefv4=(Δv³-Δv²)/2

ph1=p₁₁×coefh1+p₁₂×coefh2+p₁₃×coefh3+p₁₄×coefh4

ph2=p₂₁×coefh1+p₂₂×coefh2+p₂₃×coefh3+p₂₄×coefh4

ph3=p₃₁×coefh1+p₃₂×coefh2+p₃₃×coefh3+p₃₄×coefh4

ph4=p₄₁×coefh1+p₄₂×coefh2+p₄₃×coefh3+p₄₄×coefh4

pi=ph1×coefv1+ph2×coefv2+ph3×coefv3+ph4×coefv4

插值情形2，(1-d)/e>1：

插值点选取：

p₁₁=P(i-1,j)，p₁₂=P(i-1,j+1)，p₁₃=P(i-1,j+2)，p₁₄=P(i-1,j+3)

p₂₁=P(i,j-1)，p₂₂=P(i,j)，p₂₃=P(i,j+1)，p₂₄=P(i,j+2)

p₃₁=P(i+1,j-2)，p₃₂=P(i+1,j-1)，p₃₃=P(i+1,j)，p₃₄=P(i+1,j+1)

p₄₁=P(i+2,j-3)，p₄₂=P(i+2,j-2)，p₄₃=P(i+2,j-1)，p₄₄=P(i+2,j)

插值公式：

Δh=d+e，Δv=e

coefh1=(-Δh³+2×Δh²-Δh)/2，coefh2=(3×Δh³-5×Δh²+2)/2

coefh3=(-3×Δh³+4×Δh²+Δh)/2，coefh4=(Δh³-Δh²)/2

coefv1=(-Δv³+2×Δv²-Δv)/2，coefv2=(3×Δv³-5×Δv²+2)/2

coefv3=(-3×Δv³+4×Δv²+Δv)/2，coefv4=(Δv³-Δv²)/2

ph1=p₁₁×coefh1+p₁₂×coefh2+p₁₃×coefh3+p₁₄×coefh4

ph2=p₂₁×coefh1+p₂₂×coefh2+p₂₃×coefh3+p₂₄×coefh4

ph3=p₃₁×coefh1+p₃₂×coefh2+p₃₃×coefh3+p₃₄×coefh4

ph4=p₄₁×coefh1+p₄₂×coefh2+p₄₃×coefh3+p₄₄×coefh4

pi=ph1×coefv1+ph2×coefv2+ph3×coefv3+ph4×coefv4

本发明采用的斜向双线性插值方法与双线性插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。即参与插值的源图像点的选取以双线性插值点阵选取为基础扩展，按插值方向对参考阵列进行方向偏移，并根据待插值点所在的位置进行调整。

图8为本发明22.5°角度域采用斜向双线性插值示意图，其中d,e满足：(1-d)/e>2。由待插值点与源图像的相对位置关系，分为三种插值情形。

插值情形1，如图8中所示，(1-d)/e>2：

插值点选取：

p1=P(i,j)，p2=P(i,j+1)

p3=P(i+1,j-2)，p4=P(i+1,j-1)

插值公式：

Δh=2e+d，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

式中：

ph1、ph2——“水平方向”插值得到的两个插值点。插值情形2，(1-d)/e≤2并且d/(1-e)<2：

插值点选取：

p1=P(i,j+1)，p2=P(i,j+2)

p3=P(i+1,j-1)，p4=P(i+1,j)

插值公式：

Δh=2e+d-1，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

插值情形3，d/(1-e)≥2：

插值点选取：

p1=P(i,j+2)，p2=P(i,j+3)

p3=P(i+1,j)，p4=P(i+1,j+1)

插值公式：

Δh=2e+d-2，Δv=e

ph1=(1-Δh)×p1+Δh×p2

ph2=(1-Δh)×p3+Δh×p4

pi=(1-Δv)×ph1+Δv×ph2

其他角度域中的67.5°、112.5°和157.5°插值过程与22.5°角度域类似，剩下的135°角度域插值过程与45°角度域类似。

图9为本发明边缘导向的自适应图像插值的VLSI实现装置，此图是图1的一种VLSI实现说明，而非对本发明硬件实现的限制。

图9中边缘导向的自适应图像插值的VLSI实现装置包括四个功能模块：边缘信息提取模块、自适应插值模块，输入行场同步控制模块和缩放后行场同步控制模块。

边缘导向的自适应图像插值的VLSI实现装置的输入视频信号为视频YCBCR信号以及输入行场信号H/V，输出为缩放后匹配显示器分辨率的视频YCBCR信号以及其缩放后行场信号。

输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放后行场同步控制模块提供同步后的行场信号H/V；边缘信息提取模块用于输入视频YCBCR信号的边缘信息提取；缩放后行场同步控制模块用于产生缩放后的视频H/V同步信息，缩放后行场同步控制模块将缩放后的行场同步信号H/V输入到自适应插值模块，同时还将缩放后的行场同步信号H/V输出以供视频系统后续模块使用；自适应插值模块用于对输入的视频图像YCBCR信号进行自适应插值并输出缩放后匹配显示器分辨率的视频YCBCR信号。

所述边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、局部自适应阈值模块、梯度方向计算及方向分类模块、图像二值化模块、边缘信息滤波模块，其只需要视频信号中的亮度信息。

第一行存阵列的典型硬件实现方式为双口SRAM，用于缓存相邻视频数据行，为后续模块的处理提供对应的数据基础；梯度幅值计算模块计算源图像的梯度幅值；局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤波器得到源图像每一个像素对应的局部自适应阈值。

图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较源图像的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息；梯度方向计算及方向分类模块用于根据边缘方向划分的8个角度域方向对边缘进行方向归类；边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待插值点的边缘方向。

所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出选择模块。

待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的偏移量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点选取模块将计算出的偏移量信号送给插值系数查找表memory模块。

插值系数查找表memory模块的典型硬件实现方式为ROM或者SRAM，用于根据偏移量得到当前待插值点所需的插值系数。

第二行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻的视频数据行，并根据当前待插值点选取对应的参考阵列，为后续的插值处理提供必要的参考点数据。

三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双线性插值以及斜向双三次插值模块，三种不同方式的插值模块的输入信号为插值系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考点阵列。输出选择模块用于从三种不同方式的插值模块中选择何种方式的插值方法对当前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的待插值点边缘信息作为控制信号进行输出选择的。

Claims (10)

1.一种边缘导向的自适应图像插值方法，其特征在于，包括以下步骤：

1）计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；

2）将边缘方向分类成8个角度域，采用边缘信息滤波方法对边缘信息进行滤波，以使源图像分为规则边缘区域与非边缘区域；其中，所述的滤波方法的步骤如下：

2.1）选取待插值点pi周围4x4阵列的16个像素点作为pi的边缘信息滤波参考点，4x4阵列为参考阵列，统计4x4阵列中边缘点个数，记为counter；在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数，记为edge_counter(m),m=0,1,…7，找出8个角度域中边缘点分布最多的角度域m_max，m_max的边缘点个数记为max_edge_counter，m_max的边缘点方向记为max_edge_region；

2.2）若counter≥4，并且有max_edge_counter/counter>th时，则pi处于规则边缘区域，pi的边缘方向为max_edge_region，插值时pi沿边缘方向插值；否则，pi处于非边缘区域；其中，th表示判定阈值；

3）将边缘方向分类成的8个角度域划分成角度类Ⅰ、角度类Ⅱ以及角度类Ⅲ；当待插值点pi处于规则边缘区域时，若pi处于角度类Ⅰ中，则采用基于局部梯度信息的改进双三次插值方法进行图像插值；若pi处于角度类Ⅱ中，则采用斜向双三次插值方法进行图像插值；若pi处于角度类Ⅲ中，则采用斜向双线性插值方法进行图像插值；

当pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行图像插值。

2.根据权利要求1所述的边缘导向的自适应图像插值方法，其特征在于，所述的局部自适应阈值的计算方法为：

对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值的均值average_th，局部自适应阈值local_th由下式得到：

local_th=max(average_th，min_th)

其中，min_th为设置的局部自适应阈值的下限。

3.根据权利要求1所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤2）将边缘方向分类成8个角度域的方法为：

将边缘方向划分为8个角度域，记为角度域0～7，分别以过零点的0、22.5°、45°、67.5°、90°、112.5°、135°以及157.5°方向的射线及其反向延长线为中心分割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°。

4.根据权利要求3所述的边缘导向的自适应图像插值方法，其特征在于：所述的步骤3）中角度类Ⅰ包括角度域0和角度域4，角度域0为水平边缘方向，角度域4为垂直边缘方向；角度类Ⅱ包括角度域2和角度域6，角度域2为45°的边缘方向，角度域6为135°的边缘方向；角度类Ⅲ包括角度域1、角度域3、角度域5以及角度域7，角度域1为22.5°的边缘方向、角度域3为67.5°的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。

5.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于：所述的基于局部梯度信息的改进双三次插值方法为：

设pi为待插值点，P(i-1,j-1)～P(i+2,j+2)代表源图像中pi邻域的16个像素点，插值系数的权重调整模板由下式得到：

$\left\{\begin{array}{c}{H}_l=1/\sqrt{1+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i,j)-P(i,j-1))\right)+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i+1,j)-P(i+1,j-1))\right)}\\ H_r=1/\sqrt{1+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i,j+1)-P(i,j+2))\right)+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i+1,j+1)-P(i+1,j+2))\right)}\\ V_u=1/\sqrt{1+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i,j)-P(i-1,j))\right)+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i,j+1)-P(i-1,j+1))\right)}\\ V_l=1/\sqrt{1+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i+1,j)-P(i+2,j))\right)+\mathrm{\&alpha;}\left(\mathrm{abs}(P(i+1,j+1)-P(i+2,j+2))\right)}\end{array}\right.$

式中：H_l——水平方向左侧权重的调整模板；H_r——水平方向右侧权重的调整模板；V_u——垂直方向上侧权重的调整模板；V_l——垂直方向下侧权重的调整模板；α——可调节的参数；

得到H_l、H_r、V_u、V_l模板后对插值系数进行归一化处理，即得到基于局部梯度信息的改进双三次插值的公式，然后采用基于局部梯度信息的改进双三次插值的公式对待插值点进行插值。

6.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤3）中斜向双三次插值方法与双三次插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。

7.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤3）中斜向双线性插值方法与双线性插值方法的区别在于：在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。

8.一种如权利要求1～7中任意一项所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于：包括边缘信息提取模块、自适应插值模块、输入行场同步控制模块以及缩放后行场同步控制模块；

输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放后行场同步控制模块提供同步后的行场信号H/V；

边缘信息提取模块用于输入视频图像的边缘信息提取；

缩放后行场同步控制模块用于产生缩放后的视频H/V同步信息，缩放后行场同步控制模块将缩放后的行场同步信号H/V输入到自适应插值模块；

自适应插值模块用于对输入的视频进行自适应插值并输出缩放后匹配显示器分辨率的视频信号。

9.根据权利要求8所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于：所述的边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、梯度方向计算及方向分类模块、局部自适应阈值计算模块、图像二值化模块、边缘信息滤波模块；

其中，第一行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻视频数据行；

梯度幅值计算模块用于计算源图像的梯度幅值；

局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤波器得到源图像每一个像素对应的局部自适应阈值；

图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较源图像像素的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息；

梯度方向计算及方向分类模块用于根据边缘方向划分的8个角度域对边缘进行方向归类；

边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待插值点的边缘方向。

10.根据权利要求9所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于：所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出选择模块；

其中，待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的偏移量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点选取模块将计算出的偏移量信号送给插值系数查找表memory模块；

插值系数查找表memory模块的硬件实现方式为ROM或者SRAM，用于根据偏移量得到当前待插值点所需的插值系数；

第二行存阵列模块的硬件实现方式为双口SRAM，用于缓存相邻的视频数据行，并根据当前待插值点选取对应的参考点阵列；

三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双线性插值模块、斜向双三次插值模块；三种不同方式的插值模块的输入信号为插值系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考点阵列；

输出选择模块用于从三种不同方式的插值模块中选择何种的插值方法对当前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的待插值点边缘信息作为控制信号进行输出选择的。

Images