CN101378508A - 检测并去除假轮廓的方法和设备 - Google Patents

Abstract

提供一种检测并去除假轮廓的方法和设备、一种验证像素是否包括在轮廓中的方法和设备以及一种用于计算简单性的方法和设备。检测并去除假轮廓的方法，包括：验证输入视频的像素是否包括在轮廓中；计算该像素的简单性；基于简单性并且基于该像素是否包括在轮廓中来确定该像素是否包括在假轮廓中；通过对假轮廓平滑来从输入视频去除假轮廓。

Description

检测并去除假轮廓的方法和设备

本申请要求于2007年8月28日提交到韩国知识产权局的第2007-0086739号韩国专利申请的优先权，该申请公开于此以资参考。

技术领域

本发明的多方面涉及一种检测并去除假轮廓的方法和设备。检测并去除假轮廓的设备可被应用于获得、存储或显示数字视频的所有装置(例如，数字多媒体广播(DMB)播放器、移动通信终端、数码相机、相机电话、数字电视(TV))等。

背景技术

对于假轮廓的发生存在许多原因，然而当量化级不足时假轮廓通常发生。在这种情况下，量化级指示亮度级。根据比特深度确定量化级。例如，尽管在原始比特深度不发生假轮廓，但是当转换视频时，在较低比特深度发生假轮廓。此外，当视频被恢复到原始比特深度时发生假轮廓。当视频被压缩或恢复(例如，联合图像专家组(JPEG)和运动图像专家组(MPEG))时发生假轮廓，并且在对比度增强(CE)和细节增强(DE)的情况下也发生假轮廓。

存在作为去除假轮廓的传统方法的蓝噪声掩蔽方法、抖动方法和Dalyand Feng方法。

如果输入视频的比特深度小于输出视频的比特深度，则作为顺序矩阵的结果，抖动方法增加比特深度。然而，抖动方法具有的问题在于在整个视频中发生人工模式。此外，在Daly and Feng方法中，对具有假轮廓的视频使用低通滤波器(LPF)去除假轮廓。Daly and Feng方法具有的问题在于由于对整个视频使用LPF，因此包括假轮廓的部分被平滑化，并且与实际边缘相同的信号元素也变得模糊。为了解决上述问题，精确地找出包括假轮廓的部分很重要。

发明内容

本发明的多方面提供一种由于提前从输入视频检测假轮廓，并且通过仅限于去除所述假轮廓来选择性地去除假轮廓，因此可保护细节区域的检测并去除假轮廓的方法以及显示设备。

本发明还提供一种由于检测到当较低的比特深度的输入视频被扩展到较高的比特深度的输出视频时发生的假轮廓，并且对检测的假轮廓执行平滑，因此可以精确地检测并去除假轮廓的检测并去除假轮廓的方法以及显示设备。

本发明还提供一种当通过使用梯度和简单性检测假轮廓时可以提高精确度，并且当从输入视频检测假轮廓时通过反复应用梯度和简单性可以执行适应性平滑的检测并去除假轮廓的方法以及显示设备。

本发明还提供一种由于经过简单的算术运算获得相邻像素之间的梯度和简单性，并且经过另一简单算术运算获得平滑的结果，因此可被有效地应用到需要较小的存储器容量和较少的复杂计算的小型显示器(例如数字多媒体广播(DMB)播放器和移动电话)的检测并去除假轮廓的方法、以及显示设备。

根据本发明的实施例，提供一种检测并去除假轮廓的方法，包括:验证输入视频的像素是否包括在轮廓中；计算该像素的简单性；基于简单性并且基于该像素是否包括在轮廓中来确定该像素是否包括在假轮廓中；通过对假轮廓平滑来从输入视频去除假轮廓。

在本发明的一方面，所述验证输入视频的像素是否包括在轮廓中的步骤可包括:计算每一像素的梯度；基于梯度确定该像素是否包括轮廓中。在这种情况下，当根据比特丢失的数目该像素的梯度与纵向值或对角线值相同时，所述基于梯度确定该像素是否包括在轮廓中的步骤可确定该像素包括在轮廓中。

在本发明的一方面，所述验证输入视频的像素是否包括在轮廓中的步骤还可包括:验证链接到该像素的像素是否存在，当根据比特丢失的数目该像素的梯度与纵向值相同或者与对角线值相同时并且当链接的像素存在时，所述基于梯度确定该像素是否包括在轮廓中的步骤可确定该像素包括在轮廓中。

在本发明的一方面，所述计算该像素的简单性的步骤可包括:验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差；当该相邻像素之间的差小于该预定差时，根据相邻像素的方向测量该相邻像素之间的结合强度；基于该结合强度计算该像素的简单性。

在本发明的一方面，所述通过对假轮廓进行平滑来从输入视频去除假轮廓的步骤可包括:基于该像素的简单性和梯度并基于相邻像素的简单性和梯度确定平滑程度；根据平滑程度去除假轮廓。

根据本发明的实施例，提供一种确定像素是否包括在轮廓中的方法，包括:计算输入视频的每一像素的梯度；验证链接到该像素的像素是否存在；基于梯度并基于链接到该像素的像素是否存在来确定该像素是否包括在轮廓中。

根据本发明的实施例，提供一种计算包括在输入视频中的像素的简单性的方法，包括:验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差；当该相邻像素之间的差小于该预定差时，根据相邻像素的方向测量该相邻像素之间的结合强度；基于该结合强度计算该像素的简单性。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/其他方法和优点将会变得清楚和更易于理解，其中:

图1是示出根据本发明实施例的检测并去除假轮廓的方法的流程图；

图2是示出根据本发明实施例的验证像素是否包括在轮廓中的方法的流程图；

图3是示出根据本发明实施例的计算像素的纵向梯度的方法的示图；

图4是示出根据本发明实施例的计算像素的对角线梯度的方法的示图；

图5是示出根据本发明实施例的通过使用3×3大小模式验证链接到预定像素的像素是否存在的方法的示图；

图6是示出根据本发明实施例的通过使用2×2大小模式验证链接到预定像素的像素是否存在的方法的示图；

图7是示出根据本发明实施例的计算像素的简单性的方法的流程图；

图8是示出根据本发明实施例的计算简单性的方法的示例的示图；

图9是示出根据本发明实施例的去除假轮廓的方法的流程图；

图10是示出根据本发明实施例的对假轮廓应用平滑滤波器的方法的示例的示图；

图11是示出根据本发明实施例的输入视频和输出视频之间的差的曲线图；

图12是示出根据本发明实施例的检测并去除假轮廓的设备的内部结构的框图。

具体实施方式

现在将对本发明实施例进行详细参照，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述示例性实施例以解释本发明。

本发明涉及一种检测并去除视频的假轮廓的方法以及采用该方法的设备，更具体的讲，涉及检测由于丢失了比特的视频恢复或者由于比特深度的扩展而发生的假轮廓的方法。例如，当红绿蓝(RGB)的比特深度为8/8/8比特的输入视频丢失了2个低位比特，这造成6/6/6的比特视频，由于比特的缺乏在输出视频中发生假轮廓。在这种情况下，根据本发明的检测假轮廓的方法，可检测并去除当将6/6/6比特视频恢复为原始8/8/8比特视频时发生的假轮廓。此外，根据本发明，除了由于恢复丢失的比特发生假轮廓的情况之外，在由于扩展视频发生假轮廓的情况下可检测并去除假轮廓。

图1是示出根据本发明实施例的检测并去除假轮廓的方法的流程图。

在操作S101，检测并去除假轮廓的设备验证输入视频的像素是否包括在轮廓中。如上所述，可验证输入视频的每一像素是否包括在轮廓中，以恢复由于比特深度的扩展或由于比特丢失而发生假轮廓的视频。将通过参照图2至图6描述验证输入视频的每一像素是否包括在轮廓中的方法。

在操作S102，检测并去除假轮廓的设备计算像素的简单性。对于视频的简单性表示细节较少，并且表示均匀、平滑并且具有很多低频元素。此外，复杂表示具有很多细节和纹理，不均匀，具有很多高频元素。

在视频中，未解决的问题是将细节区域(例如，复杂图像)与平滑区域(例如缺乏细节的区域)区分开。传统地，存在使用梯度映射将细节区域与平滑区域区分开的方法，然而，传统方法在于将对象与边界区分开，而不是将细节区域与平滑区域区分开。

此外，在运动图像专家组(MPEG)-2中，使用方差将细节区域与平滑区域区分开。然而，存在使用方差不能将细节区域与平滑区域区分开的情况。也就是，在本发明的说明书中提供简单性作为衡量标准来解决传统方法的问题，并且将被用于检测假轮廓。

稍后将参照图7和图8描述计算简单性的方法。

在操作S103，检测并去除假轮廓的设备基于简单性并基于输入视频的像素是否包括在轮廓中来确定像素是否包括在假轮廓中。在这种情况下，检测并去除假轮廓的设备可将输入视频的多个像素中的一个像素确定为假轮廓，该像素被包括在轮廓中，并且其简单性大于预定值。稍后将通过参照图9描述基于简单性并且基于输入视频是否包括在轮廓中确定该像素是否包括在假轮廓的方法。

在操作S104，检测并去除假轮廓的设备经过对假轮廓进行平滑来从输入视频中去除假轮廓。在这种情况下，检测并去除假轮廓的设备基于该像素的简单性和梯度并基于相邻像素的简单性和梯度确定平滑程度。在这种情况下，为了根据平滑程度去除假轮廓，检测并去除假轮廓的设备可使用如等式1所示的预定平滑滤波器中的单个平滑滤波器去除像素和相邻像素的假轮廓。

[等式1]

$K_{7\×7}=\frac{1}{49}\left[\begin{array}{ccccccc}1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\end{array}\right]$ $K_{5\×5}=\frac{1}{25}\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\end{array}\right]$ $K_{3\×3}=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$

在这种情况下，等式1是可被使用在本发明实施例中的平滑滤波器的例子，并且尽管已经参照本发明的特定实施例描述了本发明，但是由于本领域的技术人员将理解，在不脱离本发明的范围和精神的情况下可以进行各种替换、修改和改变，因此本发明不限于此。稍后将参照图10对使用平滑滤波器去除假轮廓的方法进行描述。

图2是示出根据本发明实施例的验证像素是否包括在轮廓中的方法的流程图。如图2所示，通过将操作S201至S203包括在操作图1的操作S101中来执行操作S201至S203。

在操作S201，检测并去除假轮廓的设备计算每一像素的梯度。在这种情况下，检测并去除假轮廓的设备可使用与输入视频的像素相应的x轴的非线性偏微分和y轴的非线性偏微分来计算梯度，如下:

[等式2]

|G|＝|Gx|+|Gy|，

其中，G指示梯度，Gx指示x轴的非线性偏微分，Gy指示y轴的非线性偏微分。

可使用各种掩蔽对输入视频计算x轴的非线性偏微分和y轴的非线性偏微分以简化各种操作。例如，检测并去除假轮廓的设备可通过将Sobel掩蔽(mask)应用到在其中心包括该像素的3×3大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分。在这种情况下，Sobel掩蔽可包括如等式3所示的x掩蔽和y掩蔽。

[等式3]

$\mathrm{xMask}=\left[\begin{array}{ccc}-1,& 0,& +1\\ -2,& 0,& +2\\ -1,& 0,& +1\end{array}\right],$ $\mathrm{yMask}=\left[\begin{array}{ccc}+1,& +2,& +1\\ 0,& 0,& 0\\ -1,& -2,& -1\end{array}\right],$

其中，xMask指示表示x掩蔽的矩阵，yMask指示表示y掩蔽的矩阵。

也就是，检测并去除假轮廓的设备可通过将表示x掩蔽的矩阵与像素组相乘，将表示y掩蔽的矩阵与像素组相乘来分别获得x轴的非线性偏微分和y轴的非线性偏微分，并且可经由等式2计算像素的梯度。

此外，为了减小计算x轴的非线性偏微分和y轴的非线性偏微分的复杂度，检测并去除假轮廓的设备可通过将梯度掩蔽应用到在预定位置包括该像素的2×2大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分。在这种情况下，梯度掩蔽可包括等式4中所示的x掩蔽和y掩蔽，

[等式4]

$\mathrm{xGMask}=\left[\begin{array}{cc}1,& -1\\ 2,& -1\end{array}\right],$ $\mathrm{yGMask}=\left[\begin{array}{cc}-1,& -2\\ 1,& 2\end{array}\right],$

其中，xGMask指示表示x掩蔽的矩阵，yGMask指示表示y掩蔽的矩阵。梯度掩蔽可被有效地应用到需要较小的存储器容量和较少的复杂计算的小型显示器(例如数字多媒体广播(DMB)播放器和移动电话)。

图3是示出根据本发明实施例的计算像素的纵向梯度的方法的示图，图4是示出计算像素的对角线梯度的方法的示图。由于2个低位比特的丢失发生2²(2^k，k指示比特丢失的数量)的空隙。该空隙引起假轮廓，并且可使用梯度映射找到空隙发生的区域。例如，当使用Sobel掩蔽时，由于2个低位比特的丢失发生的纵向梯度值是16，由于2个低位比特的丢失发生的对角线梯度值是24和8。也就是，16、24和8可用于当使用Sobel掩蔽计算梯度时确定该像素是否包括在轮廓中。

在图3中，对于在纵向上包括假轮廓的输入区域301，通过分别将以上等式3所示的x掩蔽302和y掩蔽303应用到在其中心包括该像素的3×3大小的像素组来对该像素计算x轴的非线性偏微分和y轴的非线性偏微分，并且使用x轴的非线性偏微分、y轴的非线性偏微分和等式2来计算梯度。其结果是，在图3中示出包括表示纵向假轮廓的0和16的梯度映射304。

在图4中，对于在对角线方向上包括假轮廓的输入区域401，通过分别将以上等式3示出的x掩蔽402和y掩蔽403应用到在其中心包括该像素的3×3大小的像素组来对该像素计算x轴的非线性偏微分和y轴的非线性偏微分，并且使用x轴的非线性偏微分、y轴的非线性偏微分和等式2计算梯度。其结果是，在图4中示出包括表示对角线假轮廓的0、24和8的梯度映射404。

在操作S202，检测并去除假轮廓的设备验证链接到该像素的像素是否存在。在这种情况下，检测并去除假轮廓的设备可通过使用包括3×3大小的像素组的四种模式或包括2×2大小的像素组的四种模式来验证链接到该像素的像素是否存在。当存在链接的像素时可通过使用链接的像素去除孤立的像素。也就是，当链接多个像素时，由于出现在数据中的伪像(artifact)变为可以看见的可视伪像，因此期望去除孤立的像素。

根据本发明实施例，图5是示出通过使用3×3大小的模式验证链接到预定像素的像素是否存在的方法的示图，图6是示出通过使用2×2大小的模式验证是否存在链接到预定像素的像素的方法的示图。检测并去除假轮廓的设备可使用规定的模式去除孤立的像素，并且在图5中示出在直线方向上验证轮廓的3×3大小的模式。此外，图6中示出验证直线方向和曲线方向上的轮廓的2×2大小的模式。

在操作S203，检测并去除假轮廓的设备基于梯度确定该像素是否包括在轮廓中。可通过使用梯度并使用梯度和链接到预定像素的像素是否存在两者来确定该像素是否包括轮廓中。

当只使用梯度时，当根据比特丢失的数目该像素的梯度与纵向值相同或者与对角线值相同时，检测并去除假轮廓的设备可确定该像素包括在轮廓中。当使用梯度和链接到预定像素的像素是否存在两者时，当根据丢失的比特的数目该像素的梯度与纵向值相同或者与对角线值相同时，并且当存在链接的像素时，轮廓确定单元可确定该像素包括在轮廓中。

图7是示出根据本发明实施例的计算像素的简单性的方法的流程图。如图7所示，通过将操作S701至S704包括在图1的操作S102中来执行操作S701至S704。

在操作S701，检测并去除假轮廓的设备验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差。在这种情况下，相邻像素可包括n×n大小的像素组内的预定像素和距离该预定像素最近的存在于纵向和对角线方向上的像素。

在操作S702，当n×n大小的像素组内的相邻像素之间的差小于该预定差时，检测并去除假轮廓的设备可执行接下来的操作S703，或者当n×n大小的像素组内的相邻像素之间的差不小于该预定差时，可执行操作S701。

在操作S703，当相邻像素之间的差小于该预定差时，检测并去除假轮廓的设备可根据相邻像素的方向测量相邻像素之间的结合强度。在这种情况下，检测并去除假轮廓的设备可根据相邻像素之间的纵向或对角线方向测量规定的加权值作为结合强度。例如，对于结合强度，对纵向测量加权值1，对于对角线方向测量加权值0.5。

在操作S704，检测并去除假轮廓的设备基于结合强度计算简单性。在这种情况下，检测并去除假轮廓的设备可将n×n大小的像素组内测量的结合强度的和确定为像素的简单性。

图8是示出根据本发明实施例的计算简单性的方法的示例的示图。

可使用上述的结合强度的总和计算简单性。结合强度是像素与该像素周围的八个相邻像素之间的结合的数值。当中心处的像素值与纵向上的相邻像素值相同时，结合强度可被建立为1，当中心处的像素值与对角线方向上的相邻像素值相同时，结合强度可被建立为0.5。也就是，对角线方向上的相邻像素值可被建立为0.5，即，小于纵向上的相邻像素值，这是因为公知的是相邻像素值之间的相关性与距离成反比。对n×n大小的像素组内的所有像素(也就是，对搜索窗口)计算结合强度，并且结合强度的总和可被建立为n×n大小的像素组的中心处的像素的简单性值。

参照图8，示出了5×5像素组810内的像素和八个相邻像素820。表示纵向的实线双向箭头821指示1，表示对角线方向的虚线双向箭头822指示0.5。也就是，当包括22个像素(被显示为对于纵向和对角线方向上的所有像素的双向箭头)的像素组830内的中心处的像素的简单性被计算时，简单性是46。在这种情况下，当由于相关性相当低而进行计算时，从与5×5像素组810相应的25个像素中排除四个角落的像素。

在本发明实施例中使用5×5大小的像素组计算简单性，尽管结合本发明的特定实施例描述了本发明，但是本领域的技术人员应该理解，在不脱离本发明的范围和精神的情况下，可进行各种替换、修改和改变，因此本发明不限于本发明的特定实施例。例如，可使用3×3大小的像素组而代替5×5大小的像素组。也就是，为了获得更加精确的简单性，优选的是5×5大小的像素组，而为了减小计算复杂度，优选的是3×3大小的像素组。

当使用图8所示的5×5大小的像素组时，最大简单性是46，当像素组中的所有像素的强度(intensity)彼此相同时，最小简单性是0。从可视角度看，更大的简单性表示相应像素的周围更简单。

尽管在本发明实施例中1和0.5被建立为结合强度的加权值，但是例如2和1、4和2等的变化也是可以的。尽管在本发明实施例中3×3大小的像素组和5×5大小的像素组被用作搜索窗口，但是可使用例如2×2大小的像素组、7×7大小的像素组等的各种搜索窗口。此外，当计算像素的结合强度时，可以唯一地考虑纵向，而不是考虑纵向和对角线方向两者。

当计算像素的结合强度时，根据该像素是否与相邻像素相同来将结合强度增加1或0.5，然而，根据该像素和相邻像素之间的差可增加其他结合强度。例如，当像素与相邻像素之间的差是0时，结合强度可以增加4，当像素与相邻像素之间的差是1时，结合强度可以增加3，当像素与相邻像素之间的差是2时，结合强度可以增加2，并且当像素与相邻像素之间的差是3时，结合强度可以增加1。

图9是示出根据本发明实施例去除假轮廓的方法的流程图。

在验证每一像素是否包括在假轮廓中之后，并且在获得简单性映射之后，可使用假轮廓映射、简单性值和梯度从输入视频中去除假轮廓。当去除假轮廓时，可使用多个平均平滑滤波器。例如，各种掩蔽大小的平均滤波器可被用于如等式1所示的平滑滤波器。可根据像素与相邻像素之间的梯度值和简单性值从各种掩蔽大小的平均滤波器中选择单个平均滤波器。当确定预定像素为假轮廓时，并且当对预定像素执行平滑时，确定实际边缘元素或与信号元素相应的梯度值是否存在。

在这种情况下，实际边缘元素或信号元素作为大的梯度值出现。为了保护实际边缘元素或信号元素，当去除假轮廓时仅需要执行轻微平滑，因此可选择平缓平滑滤波器。

此外，当相应像素处于简单区域，而简单性值小，也就是相当复杂时，可使用平缓平滑滤波器。如上所述，可根据像素与相邻像素之间的梯度和简单性值适应性地执行平滑操作。

通过将操作S901至S905包括在图1的操作S104中来执行操作S901至S905，并且操作S901至S905示出用于去除假轮廓的方法。

在操作S901，对于像素和相邻像素，检测并去除假轮廓的设备可将梯度与预定第一值进行比较，当梯度小于预定第一值时可执行操作S902，当梯度不小于预定第一值时可执行操作S905。

在操作S902，对于像素和相邻像素，检测并去除假轮廓的设备可将简单性与预定第二值进行比较，当简单性等于或大于预定第二值时可执行操作S903，当简单性不等于或大于预定第二值时可执行操作S904。

由于通过使用预定平滑滤波器对像素和相邻像素执行平滑，因此检测并去除假轮廓的设备可在操作S903、S904和S905去除假轮廓。也就是，由于平缓平滑滤波器用作从操作S903至操作S905的操作流程，因此可去除假轮廓。

图10是示出根据本发明实施例的对假轮廓应用平滑滤波器的方法的示例的示图。

对假轮廓和假轮廓的周围限制性地执行平滑，并且对其他区域不执行平滑，从而保护了细节区域和纹理区域。

也就是，在输入视频1001中，平滑滤波器被应用到发生假轮廓的区域1002中的像素1003，平滑滤波器没有被应用到没有发生假轮廓的另一区域1004中的另一像素1005，从而保护细节区域和纹理区域。

图11是示出根据本发明实施例的输入视频和输出视频之间的差的曲线图。

曲线1100示出像素的距离对像素强度，并且示出6比特的输入视频和8比特的输出视频。在发生假轮廓的区域中，梯阶图变为斜坡图。

图12是示出根据本发明实施例的检测并去除假轮廓的设备1200的内部结构的框图。如图12所示，检测并去除假轮廓的设备1200包括轮廓验证单元1210、简单性计算单元1220、假轮廓确定单元1230和假轮廓去除单元1240。

轮廓验证单元1210验证输入视频的像素是否包括轮廓中。如上所述，可以验证输入视频的每一像素是否包括在轮廓中，以恢复由于比特深度的扩展或由于比特丢失发生假轮廓的视频。轮廓验证单元1210可包括梯度计算单元1211、链接像素验证单元1212和轮廓确定单元1213，以验证该像素是否包括在轮廓中。

梯度计算单元1211计算每一像素的梯度。在这种情况下，检测并去除假轮廓的设备1200的梯度计算单元1211可使用与该像素相应的x轴的非线性偏微分和y轴的非线性偏微分来计算梯度，如下:

[等式2]

|G|＝|Gx|+|Gy|，

其中G、Gx和Gy与上述相同。

可使用各种掩蔽对于输入视频计算x轴的非线性偏微分和y轴的非线性偏微分以简化各种操作。例如，检测并去除假轮廓的设备1200的梯度计算单元1211可通过将Sobel掩蔽应用到在其中心处包括该像素的3×3大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分。在这种情况下，Sobel掩蔽可包括等式3中示出的x掩蔽和y掩蔽。

也就是，梯度计算单元1211可通过将表示x掩蔽的矩阵与像素组相乘并将表示y掩蔽的矩阵与像素组相乘来分别获得x轴的非线性偏微分和y轴的非线性偏微分，并且可经由等式2计算像素的梯度。

此外，为了减小由于x轴的非线性偏微分和y轴的非线性偏微分的计算引起的复杂度，梯度计算单元1211可通过将梯度掩蔽应用到在预定位置包括该像素的2×2大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分。在这种情况下，梯度掩蔽可包括等式4中显示的x掩蔽和y掩蔽。梯度掩蔽可被有效地应用到需要较小的存储器容量和较少的复杂计算的小型显示器(例如DMB播放器和移动电话)。

链接像素验证单元1212验证链接到该像素的像素是否存在。在这种情况下，检测并去除假轮廓的设备1200的链接像素验证单元1212可通过使用包括3×3大小的像素组的四种模式和包括2×2大小的像素组的四种模式来验证链接到该像素的像素是否存在。链接到该像素的像素是否存在可用于去除孤立像素。也就是，当链接多个像素时，由于出现在视频中的伪像变为可看得见的可视伪像，因此期望去除孤立像素。

轮廓确定单元1213基于梯度确定该像素是否包括在轮廓中。在轮廓确定单元1213中，可通过使用梯度并通过使用梯度和链接到预定像素的像素是否存在来确定该像素是否包括在轮廓中。

当唯一地使用梯度时，当根据比特丢失的数目，该像素的梯度与纵向值相同或者与对角线值相同时，轮廓确定单元1213可确定该像素包括在轮廓中。当使用梯度和链接到预定像素的像素是否存在两者时，当根据比特丢失的数目该像素的梯度与纵向值相同或者与对角线值相同时，并且当链接的像素存在时，轮廓确定单元1213可确定该像素包括在轮廓中。

简单性计算单元1220计算该像素的简单性。对于视频的简单性表示细节较少，并且表示均匀、平滑并且具有很多低频元素。此外，复杂性表示具有很多细节和纹理、不均匀并且具有许多高频元素。

在视频中，未解决的问题在于将细节区域(例如，复杂图像)与平滑区域(例如，缺乏细节的区域)区分开。传统地，存在使用梯度映射将细节区域与平滑区域区分开的方法，然而，传统方法在于将对象与边界区分开，而不是将细节区域与平滑区域区分开。

此外，在MPEG-2，使用方差将细节区域与平滑区域区分开。然而，存在使用方差不能将细节区域与平滑区域区分开的情况。也就是，在本发明说明书中提供简单性作为衡量标准以解决传统方法中的问题，并且用于检测假轮廓。

简单性计算单元1220可包括像素差计算单元1221、结合强度测量单元1222和计算单元1223。

像素差计算单元1221验证在其中心包括像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差。在这种情况下，相邻像素可包括n×n大小的像素组内的预定像素和距离该预定像素最近的存在于纵向和对角线方向上的像素。

当相邻像素之间的差小于预定差时，结合强度测量单元1222根据相邻像素的方向测量相邻像素之间的结合强度。在这种情况下，结合强度测量单元1222可根据相邻像素之间的纵向或对角方向测量规定的加权值作为结合强度。例如，对于结合强度，对于纵向测量加权值1，对于对角线方向测量加权值0.5。

计算单元1223基于结合强度计算像素的简单性。在这种情况下，计算单元1223可将n×n大小的像素组内测量的结合强度的总和确定为该像素的简单性。

假轮廓确定单元1230确定该像素是否包括在假轮廓中。在这种情况下，用于从输入视频的多个像素去除假轮廓的假轮廓确定单元1230可将像素确定为假轮廓，该像素包括在轮廓中并且其简单性大于预定值。

假轮廓去除单元1240经过对假轮廓平滑来从输入视频去除假轮廓。在这种情况下，包括在假轮廓去除单元1240中的平滑程度确定单元1241基于像素的简单性和梯度并且基于相邻像素的简单性和梯度确定平滑程度。在这种情况下，为了根据平滑程度去除假轮廓，包括在假轮廓去除单元1240中的平滑单元1242可使用预定平滑滤波器中的单个平滑滤波器去除像素和相邻像素的假轮廓，如等式1所示。

在这种情况下，等式1是可被用于本发明实施例的平滑滤波器的例子，尽管已经结合本发明的特定实施例描述了本发明，但是由于本领域的技术人员将理解，在不脱离本发明的范围和精神的情况下，可对其进行各种替换、修改和改变，因此本发明不限于本发明的特定实施例。

如上所述，根据本发明的用于检测并去除假轮廓的方法和设备，由于提前从输入视频检测到假轮廓并且通过仅限于去除假轮廓来选择性地去除假轮廓，因此可保护细节区域。此外，由于检测到当较低比特深度的输入视频扩展到较高比特深度的输出视频时发生的假轮廓，并且对检测的假轮廓执行平滑，因此能够精确地检测并去除假轮廓。此外，当通过使用梯度和简单性检测假轮廓时能够提高准确度，并且当从输入视频检测到假轮廓时通过反复应用梯度和简单性能够执行适应性平滑。由于经过简单的算术运算获得相邻像素之间的梯度和简单性，并且经过另一简单运算获得平滑的结果，因此本发明可有效地应用到需要较小的存储器容量和较少的复杂计算的小型显示器(例如DMB播放器和移动电话)。

由于关于用于验证像素是否包括在轮廓中的方法和设备、以及用于计算简单性的方法和设备的描述已经在图1至图12中描述，因此将省略对它们的描述。

根据本发明的上述示例性实施例的检测并去除假轮廓的方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质中。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带)；光学介质(例如CD-ROM和DVD)；磁光介质(例如，光盘)；以及特别配制用于存储并执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。描述的硬件装置可被配制为用作一个或多个软件模块以执行本发明上述示例性实施例的操作。

根据本发明，由于提前从输入视频中检测假轮廓，并且通过仅限于去除假轮廓来选择性地去除假轮廓，因此能够保护细节区域。

此外，根据本发明，检测到当较低比特深度的输入视频扩展到较高比特深度的输出视频时发生的假轮廓，并且对检测的假轮廓执行平滑，因此可精确地检测并去除假轮廓。

此外，根据本发明，当通过使用梯度和简单性检测假轮廓时能够提高精确度，并且当从输入视频检测到假轮廓时通过反复应用梯度和简单性能够执行适应性平滑。

尽管已经显示和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的原理和范围的情况下，可以对这些实施例进行各种改变，本发明的范围由权利要求及其等同物限定。

Claims (24)

1、一种检测并去除假轮廓的方法，包括:

验证输入视频的像素是否包括在轮廓中；

计算该像素的简单性；

基于简单性并且基于该像素是否包括在轮廓中来确定该像素是否包括在假轮廓中；

通过对假轮廓平滑来从输入视频去除假轮廓。

2、如权利要求1所示的方法，其中，所述验证输入视频的像素是否包括在轮廓中的步骤包括:

计算每一像素的梯度；

基于梯度确定该像素是否包括轮廓中。

3、如权利要求2所示的方法，其中，所述计算每一像素的梯度的步骤使用与该像素相应的x轴的非线性偏微分和y轴的非线性偏微分来计算梯度，如下:

[等式5]

|G|＝|Gx|+|Gy|，

其中，G指示梯度，Gx指示x轴的非线性偏微分，Gy指示y轴的非线性偏微分。

4、如权利要求2所示的方法，其中，当根据比特丢失的数目该像素的梯度与纵向值或对角线值相同时，所述基于梯度确定该像素是否包括在轮廓中的步骤确定该像素包括在轮廓中。

5、如权利要求2所示的方法，其中，所述验证输入视频的像素是否包括在轮廓中的步骤还包括:

验证链接到该像素的像素是否存在，

当根据比特丢失的数目该像素的梯度与纵向值相同或者与对角线值相同时，并且当链接的像素存在时，所述基于梯度确定该像素是否包括在轮廓中的步骤确定该像素包括在轮廓中。

6、如权利要求1所示的方法，其中，所述计算该像素的简单性的步骤包括:

验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差；

当该相邻像素之间的差小于该预定差时，根据相邻像素的方向测量该相邻像素之间的结合强度；

基于该结合强度计算该像素的简单性。

7、如权利要求6所示的方法，其中，所述相邻像素包括n×n大小的像素组内的预定像素和距离该预定像素最近的存在于纵向或对角线方向上的像素，

所述根据相邻像素的方向测量该相邻像素之间的结合强度步骤根据相邻像素之间的纵向或对角线方向测量规定的加权值作为结合强度。

8、如权利要求1所述的方法，其中，所述通过对假轮廓平滑来从输入视频去除假轮廓的步骤包括:

基于该像素的简单性和梯度并基于相邻像素的简单性和梯度确定平滑程度；

根据平滑程度去除假轮廓。

9、如权利要求8所述的方法，其中，所述通过对假轮廓平滑来从输入视频去除假轮廓的步骤根据平滑程度，使用等式6中显示的预定平滑滤波器中的单个平滑滤波器对该像素和相邻像素去除假轮廓，

[等式6]

$K_{7\×7}=\frac{1}{49}\left[\begin{array}{ccccccc}1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1& 1& 1\end{array}\right]$ $K_{5\×5}=\frac{1}{25}\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\end{array}\right]$ $K_{3\×3}=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$

10、一种确定像素是否包括在轮廓中的方法，包括:

计算输入视频的每一像素的梯度；

验证链接到该像素的像素是否存在；

基于梯度并基于链接到该像素的像素是否存在来确定该像素是否包括在轮廓中。

11、如权利要求10所述的方法，其中，所述计算每一像素的梯度的步骤使用与该像素相应的x轴的非线性偏微分和y轴的非线性偏微分来计算梯度，如下:

[等式7]

|G|＝|Gx|+|Gy|，

其中，G指示梯度，Gx指示x轴的非线性偏微分，Gy指示y轴的非线性偏微分。

12、如权利要求11所述的方法，其中，通过将Sobel掩蔽应用到在其中心包括该像素的3×3大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分，Sobel掩蔽包括如等式8所示的x掩蔽和y掩蔽，

[等式8]

$\mathrm{xMask}=\left[\begin{array}{ccc}-1,& 0,& +1\\ -2,& 0,& +2\\ -1,& 0,& +1\end{array}\right],$ $\mathrm{yMask}=\left[\begin{array}{ccc}+1,& +2,& +1\\ 0,& 0,& 0\\ -1,& -2,& -1\end{array}\right],$

其中，xMask指示表示x掩蔽的矩阵，yMask指示表示y掩蔽的矩阵。

13、如权利要求11所述的方法，其中，通过将梯度掩蔽应用到在预定位置包括该像素的2×2大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分，梯度掩蔽包括等式9中所示的x掩蔽和y掩蔽，

[等式9]

$\mathrm{xGMask}=\left[\begin{array}{cc}1,& -1\\ 2,& -1\end{array}\right],$ $\mathrm{yGMask}=\left[\begin{array}{cc}-1,& -2\\ 1,& 2\end{array}\right],$

其中，xGMask指示表示x掩蔽的矩阵，yGMask指示表示y掩蔽的矩阵。

14、如权利要求10所述的方法，其中，当根据比特丢失的数目该像素的梯度与纵向值相同或者与对角线值相同时，所述基于梯度并基于链接到该像素的像素是否存在来确定该像素是否包括在轮廓中的步骤确定该像素包括在轮廓中。

15、一种计算包括在输入视频中的像素的简单性的方法，包括:

验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差；

当该相邻像素之间的差小于该预定差时，根据相邻像素的方向测量该相邻像素之间的结合强度；

基于该结合强度计算该像素的简单性。

16、如权利要求15所述的方法，其中，所述相邻像素包括n×n大小的像素组内的预定像素和距离该预定像素最近的存在于纵向或对角线方向上的像素。

17、如权利要求15所述的方法，其中，所述根据相邻像素的方向测量该相邻像素之间的结合强度的步骤根据相邻像素之间的纵向或对角线方向测量规定的加权值作为结合强度。

18、一种检测并去除假轮廓的设备，包括:

轮廓验证单元，验证输入视频的像素是否包括在轮廓中；

简单性计算单元，计算该像素的简单性；

假轮廓确定单元，基于简单性并且基于该像素是否包括在轮廓中来确定该像素是否包括在假轮廓中；

假轮廓去除单元，通过对假轮廓平滑来从输入视频去除假轮廓。

19、如权利要求18所述的设备，其中，轮廓验证单元包括:

梯度计算单元，计算每一像素的梯度；

轮廓确定单元，基于梯度确定该像素是否包括在轮廓中。

20、如权利要求18所述的设备，其中，简单性计算单元包括:

像素差验证单元，验证在其中心包括该像素的n×n大小的像素组内的相邻像素之间的差是否小于预定差；

结合强度测量单元，当该相邻像素之间的差小于该预定差时，根据相邻像素的方向测量该相邻像素之间的结合强度；

计算单元，基于该结合强度计算该像素的简单性。

21、如权利要求18所述的设备，其中，假轮廓去除单元包括:

平滑程度确定单元，基于该像素的简单性和梯度并基于相邻像素的简单性和梯度确定平滑程度；

平滑单元，根据平滑程度去除假轮廓。

22、一种确定轮廓的设备，包括:

梯度计算单元，计算输入视频的每一像素的梯度；

链接像素验证单元，验证链接到该像素的像素是否存在；

轮廓确定单元，基于梯度并基于链接的像素是否存在来确定该像素是否包括在轮廓中。

23、如权利要求22所述的设备，其中，梯度计算单元使用与该像素相应的x轴的非线性偏微分和y轴的非线性偏微分来计算梯度，如下:

[等式10]

|G|＝|Gx|+|Gy|，

其中，G指示梯度，Gx指示x轴的非线性偏微分，Gy指示y轴的非线性偏微分。

24、如权利要求23所述的设备，其中，通过将梯度掩蔽应用到在预定位置包括该像素的2×2大小的像素组来计算x轴的非线性偏微分和y轴的非线性偏微分，梯度掩蔽包括等式11中所示的x掩蔽和y掩蔽，

[等式11]

$\mathrm{xGMask}=\left[\begin{array}{cc}1,& -1\\ 2,& -1\end{array}\right],$ $\mathrm{yGMask}=\left[\begin{array}{cc}-1,& -2\\ 1,& 2\end{array}\right],$

其中，xGMask指示表示x掩蔽的矩阵，yGMask指示表示y掩蔽的矩阵。

Images