CN103034976B - 影像内插的处理方法 - Google Patents

Abstract

本发明涉及一种影像内插的处理方法。此方法针对原始影像中的选定区域，利用边缘检测法检测并藉以产生包含目标像素点与多个轮廓像素点的一边缘轮廓线。接着，判断边缘轮廓线上的轮廓像素点的亮度值变化趋势，并找出轮廓像素点中的两极值点。并利用亮度值变化趋势和两极值点判定目标像素点位于渐层区域或非渐层区域。若目标像素点位于非渐层区域，根据两极值点的亮度值与目标像素点的亮度值，计算一内插调整值。再根据此内插调整值，对选定区域进行内插处理，以获得目标像素点的内插结果。

Description

影像内插的处理方法

技术领域

本发明涉及一种影像内插的处理方法，尤其涉及一种强化边缘效果的影像内插处理方法。

背景技术

目前普遍使用于影像放大的方法可分为内插法以及超解析度(super-resolution)，内插放大影像的方法，现有技术有双线性内插法(bilinear interpolation)、双立方内插法(bicubic interpolation)等来对影像做各种不同的影像放大。超解析度方法的运算复杂度较内插法高，常需要大量的培训样本资料，建立放大模型，以作为预测原始影像放大的依据，因此需要较多的计算时间。

双线性内插法目前应用相当普遍，其方法是先后对水平及垂直方向做邻近两个像素点的内插，虽然简单且运算速度快，但是因缺乏影像高频信息而导致放大后的影像模糊，且容易产生区块效应(block effect)。

双立方内插法是参考原始影像中四个像素点的亮度值，乘上其权重值以决定其内插结果的亮度值。相较于双线性内插法，利用双立方内插法放大后的影像，其边缘锐利程度效果较好，但随着边缘锐利程度的提升，影像边缘的过冲(overshoot)现象也随之增加。此外，当放大倍率调高时，利用双立方内插法放大后的影像与真实光学放大的影像结果差距愈来愈大。

发明内容

有鉴于此，本发明提供一种影像内插的处理方法，可依据不同的边缘型态选择不同的内插处理方法，以提高放大后的影像在边缘区域的影像品质。

本发明提出一种影像内插的处理方法，包括下列步骤。首先，针对原始影像中的选定区域，利用边缘检测(edge detection)法检测此选定区域有无边缘存在，并决定此边缘的边缘方向。在边缘方向的法线方向上，利用原始影像中的像素点内插出多个轮廓像素点，以构成边缘轮廓线，其中目标像素点位于边缘轮廓线上。接着，判断边缘轮廓线的亮度值变化趋势，并找出轮廓像素点中的两极值点。判断目标像素点位于渐层(transition)区域或非渐层区域。若目标像素点位于非渐层区域，则根据两极值点的亮度值与目标像素点的亮度值，计算一内插调整值。再根据此内插调整值，对选定区域进行内插处理，以获得目标像素点的内插结果。

在本发明的一实施例中，所述的判断边缘轮廓线的亮度值变化趋势的步骤包括利用在边缘轮廓线上靠近目标像素点的多个轮廓像素点来判断边缘轮廓线的亮度值变化趋势为递增或递减趋势。

在本发明的一实施例中，所述的两极值点包括最大极值点以及最小极值点。最大极值点为在边缘轮廓线上自目标像素点位置往亮度值变化趋势递增方向上的轮廓像素点中具有最大亮度值者。最小极值点为在边缘轮廓线上自目标像素点位置往亮度值变化趋势递减方向上的轮廓像素点中具有最小亮度值者。

在本发明的一实施例中，所述的判断目标像素点位于渐层区域或非渐层区域包括下列步骤。根据两极值点的亮度值与目标像素点的亮度值，判断目标像素点的亮度值靠近两极值点的哪一者的亮度值，定义此极值点为目标极值点。自目标像素点位置，往目标极值点的那端判断轮廓像素点中是否有转折点存在。若往目标极值点的那端存在着转折点，则目标像素点位于非渐层区域。若往目标极值点的那端不存在转折点，则目标像素点位于渐层区域。

在本发明的一实施例中，所述的自目标像素点位置，往目标极值点的那端判断轮廓像素点中是否有转折点存在包括下列步骤。当目标极值点位于边缘轮廓线的左侧时，若边缘轮廓线左侧多个像素点的亮度变化趋势和边缘轮廓线的亮度变化趋势相反或边缘轮廓线左侧起始多个像素点亮度变化趋势小于一临界值，则存在转折点，反之，则不存在转折点；当目标极值点位于该边缘轮廓线的右侧时，若边缘轮廓线右侧多个像素点的亮度变化趋势和边缘轮廓线的亮度变化趋势相反或边缘轮廓线右侧起始数个像素点亮度变化趋势小于一临界值，则存在转折点，反之，则不存在转折点。

在本发明的一实施例中，所述的根据两极值点的亮度值与轮廓像素点的亮度值变化，计算内插调整值包括下列步骤。计算最大极值点与最小极值点的中心点，并利用最大极值点的亮度值与最小极值点的亮度值进行算术平均以获得中心点的亮度值。此外，利用中心点的亮度值、目标像素点的亮度值与前述的目标极值点，计算此内插调整值。

在本发明的一实施例中，所述的根据内插调整值，对选定区域进行内插处理，以获得目标像素点的内插结果的步骤包括根据内插调整值，对选定区域进行双向性内插(bilateral interpolation)处理，以获得目标像素点的内插结果。

在本发明的一实施例中，所述的影像内插的处理方法包括若目标像素点位于渐层区域，则对选定区域进行双线性内插处理，以获得目标像素点的内插结果。

在本发明的一实施例中，所述的在判断目标像素点位于渐层区域或非渐层区域的步骤之前，还包括利用边缘检测法检测选定区域内的所有像素点的边缘强度及边缘方向，藉以判定目标像素点的区域型别，其中区域型别包括边缘区域、平滑(smooth)区域以及纹理(texture)区域。

在本发明的一实施例中，所述的影像内插的处理方法：若目标像素点的区域型别为边缘区域，则接着判断目标像素点位于渐层区域或非渐层区域；若目标像素点的区域型别为平滑区域，则对选定区域进行双线性内插处理；若目标像素点的区域型别为纹理区域，则对选定区域进行双立方内插处理。

基于上述，本发明所提供的影像内插的处理方法，除了可依据不同的边缘型态选择不同的内插处理方法，以提升放大后的影像在边缘区域的影像品质之外，还可分辨影像是否为平滑或纹理区域，而给予不同的内插处理方法。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所显示的影像内插的处理方法的流程图。

图2是依照本发明一实施例所显示的选定区域与轮廓像素点的示意图。

图3是依照本发明一实施例所显示的边缘轮廓线的亮度值变化趋势示意图，(a)极值点，(b)中心点与目标极值点。

图4(a)至图4(c)显示为三种不同端点状况的边缘轮廓线的范例。

图5显示为一种利用目标极值点与中心点设定内插调整值的示意图。

图6是依照本发明另一实施例所显示的影像内插的处理方法的流程图。

主要元件符号说明：

20：选定区域

OP：原始像素点

IP、IP_1～IP_3：轮廓像素点

Max：最大极值点

Min：最小极值点

DP：目标像素点

DP’：内插调整值

DE：目标极值点

R1、R2：与内插出轮廓像素点相关的原始像素点所在之列

C：中心点

S110～S170：影像内插的处理方法的各步骤

S610～S690：影像内插的处理方法的各步骤

具体实施方式

图1是依照本发明一实施例所显示的影像内插的处理方法的流程图。请参照图1，首先如步骤S110所示，针对原始影像中的选定区域，利用边缘检测(edge detection)法检测此选定区域有无边缘存在，并决定此边缘的边缘方向。图2是依照本发明一实施例所显示的选定区域与轮廓像素点的示意图。搭配图1与图2说明如下：

选定区域20为原始影像中的其中一区块，选定区域包含多数个原始像素点OP，并利用原始像素点OP双线性内插出一目标像素点DP，此目标像素点DP例如是位于选定区域20的中央位置。接着，可利用边缘检测法来计算选定区域20的边缘强度，边缘检测法包括利用索贝尔运算子(Sobel operator)、Canny运算子或拉普拉斯运算子(Laplaceoperator)等等来计算选定区域20在四个不同方向(水平、垂直及两对角线方向)的强度，藉以计算边缘方向。在本实施例中，如图2所示，边缘方向为一垂直方向，边缘方向的法线方向就是水平方向。

接着，如步骤S120所述，在边缘方向的法线方向上，利用原始像素点内插出多个轮廓像素点，以构成边缘轮廓线，其中目标像素点位于边缘轮廓线上。如图2所示，利用列R1与列R2上相对应的两个原始像素点OP，即可内插出轮廓像素点IP，这些轮廓像素点IP皆位于同一水平方向以构成边缘轮廓线，且此边缘轮廓线与目标像素点DP位于同一直线上。

求出边缘轮廓线后，便可执行步骤S130，判断边缘轮廓线的亮度值变化趋势，并找出轮廓像素点中的两极值点。在此须说明的是，若原始影像为灰阶影像，则亮度值为像素点的灰阶值；若原始影像为彩色阶影像，则亮度值可为像素点的R/G/B值的组合或为像素点的明度值/彩度值的组合。

图3是依照本发明一实施例所显示的边缘轮廓线的亮度值变化趋势示意图，(a)极值点，(b)中心点与目标极值点。请同时配合参照图1与图3，利用在边缘轮廓线上靠近目标像素点的数个轮廓像素点来决定边缘轮廓线的亮度值变化趋势是递增或是递减，如图3(a)所示，此边缘轮廓线的亮度值变化趋势为一递减趋势。接着找出轮廓像素点中的两极值点，两极值点包括最大极值点以及最小极值点。最大极值点为在边缘轮廓线上自目标像素点位置往亮度变化趋势递增方向上的轮廓像素点中具有最大亮度值者。最小极值点为在边缘轮廓线上自目标像素点位置往亮度变化趋势递减方向上的轮廓像素点中具有最小亮度值者。如图3(a)所示，此边缘轮廓线具有一最大极值点Max以及一最小极值点Min。

得到两极值点后，便可执行步骤S 140，判定目标像素点位于渐层(transition)区域或非渐层区域。首先，根据两极值点的亮度值与目标像素点的亮度值，判断目标像素点的亮度值靠近哪个极值点的亮度值，并定义较靠近的极值点为目标极值点DE。请配合参照图3(a)与图3(b)，最大极值点Max与最小极值点Min的中心点C的亮度值，可由最大极值点Max的亮度值与最小极值点Min的亮度值进行算术平均得到。若目标像素点DP的亮度值大于中心点C的亮度值，则目标极值点DE为最大极值点Max；反之，则目标极值点DE为最小极值点Min。因此，在图3(b)所示的实施例中，目标极值点DE即为最大极值点Max所在之位置。

接下来，则自目标像素点DP位置，往目标极值点DE的那端判断轮廓像素点中是否有转折点存在。图4(a)至图4(c)显示为三种不同端点状况的边缘轮廓线的范例。如图4(a)至图4(c)所示，由轮廓像素点所构成的边缘轮廓线，三者的边缘轮廓线变化趋势均为由左至右递减。以下即根据图4举例说明如何判断边缘轮廓线是否有转折点存在。

请参照图4(a)，目标极值点DE在左侧，轮廓像素点IP_1、IP_2的亮度变化趋势为由左至右递增和边缘轮廓线变化趋势相反，所以判定有转折点存在。

另参照图4(b)，目标极值点DE在左侧，左侧的轮廓像素点并无和边缘轮廓线变化趋势相反的变化趋势。而在左侧起始的数个轮廓像素点进入一平坦区域，意即在左侧起始的数个轮廓像素点的亮度值变化极小，此情况亦判定有转折点存在。在本实施例中，若IP_1亮度值减IP_2亮度值为第一递减差值Diff_1，IP_2亮度值减IP_3亮度值为第二递减差值Diff_2。将第一差值Diff_1与第二差值Diff_2进行相加获得一端点检测值，若此端点检测值小于一趋势临界值，代表边缘轮廓线左侧属于一平坦区域或是为非由左至右递减趋势，因此，判定有转折点存在。其中，趋势临界值可由本领域技术人员依据实际情况做设定。

又参照图4(c)，目标极值点在左侧，左侧的轮廓像素点并无和边缘轮廓线变化趋势相反的变化趋势。前述的端点检测值也大于趋势临界值。意即，此边缘轮廓线不存在任何转折点，则判断此目标像素点位于渐层区域。

回到图1，在步骤S140中，藉由判断边缘轮廓线中是否存在转折点，来判定目标像素点位于渐层区域或非渐层区域。若在目标极值点的那端不存在转折点，则判定目标像素点位于渐层区域，则接续步骤S150，对选定区域直接进行双线性内插处理，以获得目标像素点的内插结果。若在目标极值点的那端存在着转折点，则判定目标像素点位于非渐层区域，并且接续步骤S160。

在步骤S160中，根据两极值点的亮度值与目标像素点的亮度值，计算一内插调整值。请配合参照图5，利用前述的中心点C的亮度值、目标像素点DP的亮度值与前述的目标极值点的亮度值，以及搭配事先所设定的边缘强化曲线，计算出调整后的目标像素点的内插调整值DP’。

最后，于步骤S170中，再根据此内插调整值，对选定区域进行内插处理，以获得目标像素点的内插结果。于本实施例中，可根据此内插调整值，对选定区域进行双向性内插(bilateral interpolation)处理，以获得目标像素点的内插结果。双向性内插处理，第一个权重可以是与目标像素点的距离，第二个权重可以是和内插调整值的亮度值差。

上述实施例用以说明本发明可利用判断目标像素点位于渐层区域或非渐层区域，而适当给予不同的内插处理方法。然而上述是针对影像中的选定区域位于边缘区域，也就是存在边缘轮廓线的情况做处理，当影像中的选定区域属于其他类型的影像例如是平滑(smooth)区域或纹理(texture)区域时，本发明另提供一种当选定区域不存在边缘轮廓线的处理方法。

图6是依照本发明另一实施例所显示的影像内插的处理方法的流程图。请参照图6，图6所示的影像内插的处理方法与图1所示的影像内插的处理方法大致相似，故以下仅就两者不同之处进行说明。

在判定目标像素点位于渐层区域或非渐层区域的步骤之前，还包括利用边缘检测法检测选定区域内的所有像素点的边缘强度及边缘方向，藉以判定目标像素点的区域型别，其中区域型别包括边缘区域、平滑区域以及纹理区域。因为若目标像素点所在的选定区域为边缘区域，才能进一步利用边缘像素点内插出多个轮廓像素点，以构成边缘轮廓线，也才能判断此目标像素点位于渐层区域或非渐层区域。若目标像素点所在的选定区域为平滑区域或纹理区域，其影像特性不同于边缘区域的影像特性，因此给予不同的内插处理。

因此，在本实施例中，在步骤S610针对原始影像中的选定区域，利用边缘检测法检测此选定区域的边缘强度和边缘方向之后，则接续步骤S620，判断目标像素点所在的选定区域的区域型别。若目标像素点的区域型别为纹理区域，则接续步骤S630，对选定区域进行双立方内插处理；若目标像素点的区域型别为平滑区域，则接续步骤S640，对选定区域进行双线性内插处理；若目标像素点的区域型别为边缘区域，则接续步骤S650～S690，步骤S650～S690与图1所示的步骤S120～S170相似，故在此不再赘述。

须说明的是，本发明的影像内插的处理方法适用于各种影像撷取装置或影像处理装置，影像撷取装置例如是数码相机、摄影机、或具备相机功能的手机、智能型手机或平板电脑等；影像处理装置例如是电脑或其他具备影像处理功能的处理器等。因此，本发明的影像内插的处理方法可由软件、硬件或其组合实作而得，在此不加以限制。

综上所述，本发明所提供的影像内插的处理方法，可依据影像中具不同特性的区域型别给予不同的内插处理方法。在平滑区域的影像可使用保持低杂讯效果的内插处理法；在纹理区域则利用能强化锐力程度且保持自然的细节表现的内插处理法；在边缘区域还可依据不同的边缘型态选择不同的内插处理方法，若边缘位于非渐层区域，则进行边缘强化的内插处理，可加强影像边缘的锐利程度；若边缘位于渐层区域，则直接利用双线性内插处理。据此，本发明所提供的影像内插的处理方法不会产生影像边缘的过冲现象问题，在影像边缘区域更能接近真实光学放大的影像结果。

虽然本发明已以实施例揭示如上，但其并非用以限定本发明，任何所属技术领域的技术人员，在不脱离本发明的精神和范围内，当可作适当的修改和同等替换，故本发明的保护范围应当以本申请权利要求所界定的范围为准。

Claims (9)

1.一种影像内插的处理方法，其特征在于，包括：

针对一原始影像中的一选定区域，利用一边缘检测法检测该选定区域有无一边缘存在，并决定该边缘的一边缘方向；

在该边缘方向的法线方向上，利用原始影像中的多个像素点内插出多个轮廓像素点，以构成一边缘轮廓线，其中一目标像素点位于该边缘轮廓线上；

判断该边缘轮廓线的亮度值变化趋势，并找出该些轮廓像素点中的两极值点；

判断该目标像素点位于一渐层区域或一非渐层区域，包括；

根据该两极值点的亮度值与该目标像素点的亮度值，判断该目标像素点的亮度值靠近该两极值点的哪一者的亮度值，定义该极值点为一目标极值点；

自该目标像素点位置，往该目标极值点的一端判断该些轮廓像素点中是否有一转折点存在；

若该些轮廓像素点中存在该转折点，该目标像素点位于该非渐层区域；以及

若该些轮廓像素点中不存在该转折点，该目标像素点位于该渐层区域；

若该目标像素点位于该非渐层区域，根据该两极值点的亮度值与该目标像素点的亮度值，计算一内插调整值；以及

根据该内插调整值，对该选定区域进行内插处理，以获得该目标像素点的一内插结果。

2.根据权利要求1所述的影像内插的处理方法，其中判断该边缘轮廓线的亮度值变化趋势的步骤包括：

利用该边缘轮廓线上靠近该目标像素点的多个轮廓像素点来判断该边缘轮廓线的亮度值变化趋势为一递增趋势或一递减趋势。

3.根据权利要求2所述的影像内插的处理方法，其中：

该两极值点包括一最大极值点以及一最小极值点，

其中该最大极值点为自该目标像素点位置往该边缘轮廓线的亮度值变化趋势为递增趋势的方向上的该些轮廓像素点中具有最大亮度值者，该最小极值点为自该目标像素点位置往该边缘轮廓线的亮度值变化趋势为该递减趋势的方向上的该些轮廓像素点中具有最小亮度值者。

4.根据权利要求1所述的影像内插的处理方法，其中自该目标像素点位置，往该目标极值点的一端判断该些轮廓像素点中是否有该转折点存在的步骤包括：

当该目标极值点位于该边缘轮廓线的左侧时，若该边缘轮廓线左侧多个像素点的亮度变化趋势和该边缘轮廓线的亮度变化趋势相反或该边缘轮廓线左侧起始多个像素点亮度变化趋势小于一临界值，则存在该转折点，反之，则不存在该转折点；以及

当该目标极值点位于该边缘轮廓线的右侧时，若该边缘轮廓线右侧多个像素点的亮度变化趋势和该边缘轮廓线的亮度变化趋势相反或该边缘轮廓线右侧起始数个像素点亮度变化趋势小于一临界值，则存在该转折点，反之，则不存在该转折点。

5.根据权利要求1所述的影像内插的处理方法，其中该两极值点包括一最大极值点以及一最小极值点，而根据该两极值点的亮度值与该目标像素点的亮度值，计算该内插调整值的步骤包括：

计算该最大极值点与该最小极值点的一中心点，并利用该最大极值点的亮度值与该最小极值点的亮度值进行算术平均以获得该中心点的亮度值；

若该目标像素点的亮度值大于该中心点的亮度值，则该目标极值点为该最大极值点，反之，则该目标极值点为该最小极值点；以及

利用该中心点的亮度值、该目标像素点的亮度值与该目标极值点的亮度值，计算该内插调整值。

6.根据权利要求1所述的影像内插的处理方法，其中根据该内插调整值，对该选定区域进行内插处理，以获得该目标像素点的该内插结果的步骤包括：

根据该内插调整值，对该选定区域进行双向性内插处理，以获得该目标像素点的该内插结果。

7.根据权利要求1所述的影像内插的处理方法，还包括：

若该目标像素点位于该渐层区域，对该选定区域进行双线性内插处理，以获得该目标像素点的一内插结果。

8.根据权利要求1所述的影像内插的处理方法，其中在判断该目标像素点位于该渐层区域或该非渐层区域的步骤之前，还包括：

利用该边缘检测法检测该选定区域内的所有像素点的边缘强度及边缘方向，藉以判定该目标像素点的一区域型别，其中该区域型别包括一边缘区域、一平滑区域以及一纹理区域。

9.根据权利要求8所述的影像内插的处理方法，其中：

若该目标像素点的该区域型别为该边缘区域，接着判断该目标像素点位于该渐层区域或该非渐层区域，

若该目标像素点的该区域型别为该平滑区域，对该选定区域进行双线性内插处理，

若该目标像素点的该区域型别为该纹理区域，对该选定区域进行双立方内插处理。