CN1248160C - 用于边缘检测的方法和设备 - Google Patents

Abstract

一种边缘检测技术组合了一个图像信号的低通二阶导数、该图像信号的低通一阶导数和边缘频率的估计。该边缘频率估计最好基于图像信号的三阶低通导数和一阶低通导数之比。该图像信号最好是亮度信号。

Description

用于边缘检测的方法和设备

一个题为用于改进会话ROM SD到HDTV的方法和设备、并与本申请具有相同附图和详细描述的相关申请由本申请的同一发明人与本申请同时提交。由本申请的同一发明人提出且题为“System and methodfor improving the sharpness of a video image(用于提高视频图像锐度的系统和方法)”(ID 701025)的第二专利申请被与本申请同时提交，并被在此引入以供参考。

本申请要求于2000年1月12日提交的序列号为60/175,777的临时专利申请和2000年3月7日提交的序列号为60/187,422的临时专利申请的利益，它们被在此引入以供参考。

技术领域

本发明涉及图像处理领域，特别涉及图像内的边缘检测。

背景技术

Anil K.Jain在他的Fundamentals of Digital Image Processing(数字图像处理基础)一书(Prentice Hall 1989,第347-357页)中，提出了首先使用拉普拉斯(Laplace)算子然后使用梯度算子的边缘检测方法。

发明内容

本发明的目的是改进边缘检测。

这个目的是通过将边缘频率的估计用于区分软边缘和硬边缘而达到的。最好边缘检测的估计是基于三阶导数与一阶导数之比大于一个门限。最好本发明的边缘检测技术用于视频信号的处理中。

其他的目的和优点将在下面表现出来。

按照本发明的一个方面，提供了用于边缘检测的设备包括：用于接收图像信号的装置；用于检测该图像信号的二阶导数是否与零交叉的第一装置；用于响应检测的第一装置产生的肯定结果而检测该图像信号的一阶导数是否大于一个第一门限的第二装置；用于响应检测的第二装置产生的肯定结果而检测该图像信号的三阶导数与图像信号的一阶导数之比是否大于一个门限或者该图像信号的三阶导数是否大于该图像信号的一阶导数与该门限的乘积的第三装置；以及用于提供一个边缘标识以响应该检测的第三装置产生的肯定结果的装置。

按照本发明的另一方面，提供了一种用于边缘检测的方法，包括在一个数据或者信号处理设备中执行以下操作：接收一个图像信号；第一检测该图像信号的二阶导数是否与零交叉；响应第一检测产生的肯定结果而第二检测该图像信号的一阶导数是否大于一个第一门限；响应第二检测产生的肯定结果而第三检测该图像信号的三阶导数与该图像信号的一阶导数之比是否大于一个门限或者是否该图像信号的三阶导数是否大于该图像信号的一阶导数与该门限的乘积；以及提供一个边缘标识以响应该第三检测产生的肯定结果。

附图说明

现在将参考附图利用非限制性的示例来描述本发明。

图1示出了用于将一个SD信号转换成一个HDTV信号的转换单元的概观。

图2示出了上抽样单元的更多细节。

图3到8示出了线性内插器的操作。

图9示出了用于实现锐度增强的设备。

图10是一个与边缘检测相关的流程图。

图11示出了标准拉普拉斯算子和低通拉普拉斯算子的效果间的差别。

图12示出了门限2取不同值时的效果。

图13A-F和图14A-F示出了用于边缘链接的规则。

具体实施方式

图1示出了按照本发明的一个设备的概况。一个SD信号被馈送到一个隔行到逐行转换器110。有关隔行到逐行转换器的更多信息可以在G.De Haan和E.B.Bellers的“De-Interlacing-an overview(去隔行-概述)”，Proc.IEEE.卷86，第1839-1857页(1998年9月)中得到。在框111处，上抽样通过线性内插实现。上抽样可以在锐度增强之前对水平和垂直方向分别进行。然后在框112对该信号进行锐度增强。之后一个逐行到隔行转换器(对于每帧仅每隔一行取一行)在113将该信号转换成HDTV信号。图1中的框可以用硬连线电路或者通用处理器中的代码来实现。

图2显示了框111结构的更多细节。该框包括一个常规的零插入单元201和常规的防混叠滤波器202。该防混叠滤波器最好具有以下的系数：

$[\frac{-3}{32},0,\frac{19}{32},1,\frac{19}{32},0,\frac{-3}{32}]$

图3到8示出了该线性内插器的操作。图3a示出了具有不同幅值的0到n个抽样的、输入到线性内插器的信号的时域形式。图3b示出了同一输入信号的频域形式。该频域形式在值f_s0/2处降为零，这里f_s0是初始抽样频率。

图4a示出了零插入器201在时域中的动作。图4b示出了零插入器在频域作用的结果。该零插入器使得频域中出现第二峰值，在f_sn/2处有一个截止，这里f_sn是内插导致的新抽样频率，换句话说，在此示例中放大因子为2。

图5示出了频域中理想防混叠滤波器的性能。

图6a示出了时域中理想的防混叠滤波器作用于该零插入器输出的结果。图6b示出了与图6a相同的信号，只是是在频域上的结果。

图7示出了实际防混叠滤波器在频域中的轮廓线。

图8a示出了时域中实际防混叠滤波器作用于该零插入器输出的结果。图8b示出了该实际防混叠滤波器在频域中的结果。该曲线在801处示出了混叠。

图9示出了框112的更多细节。输入901来自信噪比计算器。优选类型的噪声检测在2000年3月6日提交的序列号为09/519,548、题为“Subiective Noise Measurement on Active Video Signal(对活动视频信号的主观噪声测量)”的美国专利申请中公开，该申请被在此引入以供参考。输入908来自框111。边缘检测器902和建峰单元904都要使用输入908和901。该边缘检测器902在下面将作进一步的描述。该建峰单元904可以是任何常规的建峰单元，例如在欧洲专利文件EP0257129中示出的一个建峰单元。该建峰单元在检测到边缘时会被关闭。该子像素级亮度瞬态改进(“LTI”)903从边缘检测器902和框111获取输入。该单元903在由本申请的同一发明人与本申请同时提交的、题为“System and methodfor improving the sharpness of a video image(用于提高视频图像锐度的系统和方法)”(ID 701025)的专利申请中被描述，该申请被在此引入以供参考。输出906和907都是以YUV4:2:2的格式。这些输出然后在加法器905处相加。来自加法器905的输出信号在加法器909处与来自框111的908处的输入信号相加。加法器909的输出进到图1的框113。线路908上的信号是以YUV4:2:2的格式。

在概念上，图9的设备组合了线性技术(即建峰技术)和非线性技术(即LTI)以改进内插结果。

建峰单元904通过将高通的信号加到原始信号上来增强高频成分。建峰作为一种图像处理技术有其优势也有其弱点。在建峰后，瞬态幅度被增加；但是建峰处理很容易做得过分，而导致有关大的瞬态的大边框。而且，建峰对噪声图像缺乏鲁棒性。避免非自然信号所要求的“智能”控制可能尝试使用更复杂的建峰算法；但是，建峰的线性特性意味着即便使用这些更复杂的建峰算法也不能引入新频率。

LTI将像素移向边缘中心。边缘检测决定哪些像素需要使用LTI来移动。所以在边缘周围生成比正常频率更高的频率，并且该瞬态的斜率增加。当边缘检测可靠时，LTI在存在噪声的情况下是鲁棒的。最好边缘检测与输入视频信号的信噪比有关。当边缘检测依赖于信噪比时，则输出控制也将依赖于信噪比。同样，最好当瞬态的幅值小时，LTI的主观效果不象建峰的主观效果强。

在该优选实施方案中，建峰和LTI被组合起来以使得建峰作用于小的瞬态，而LTI作用于大的瞬态。换句话说，对于小的瞬态，幅值增加，而对于大的瞬态，斜率增加。这种技术对LTI不适用的软边缘和LTI适用的较尖锐边缘进行了区分。

通常，会产生令人烦恼的非自然信号的溢出/下溢问题只在有大的瞬态处才出现，即在边缘处出现。因此在建峰单元中不必防止下溢/溢出问题，这节省了大量的电路或计算时间。

尽管本公开内容的大部分与一维图像处理有关，但却作用于两个路径，一个水平和一个垂直；但是也可以使用2D技术，例如对图像的纹理部分可以使用2D建峰。

图10说明了用在框902中的优选边缘检测过程的流程；但是，可以由本领域的那些普通技术人员来设计用于提供输入到单元903的其它边缘检测器。图10的过程可以在任何类型的处理器中执行，例如，或者通过硬连线的硬件或者通过编程的多用途处理器。例如框1003-1005每个都可以由一个独立的专用电路实现。

在一个两维图像中，按照图10的边缘检测最好在各维独立地执行。换句话说，图10的流程被执行两次。这有两个理由是优选的。第一，人眼通常对水平和垂直方向的线条和边缘更敏感。第二，对角线型边缘表现为水平和垂直方向的边缘。

可以按任一顺序(先垂直或者先水平)扫描各维。在垂直扫描期间，仅检测到水平边缘并将其标记为边缘。在水平扫描期间，仅检测到垂直边缘并将其标记为边缘。

框1001示出了对输入新像素的请求。在框1002，执行测试以查看该最后的像素是否已经通过。如果已通过，则开始一个边缘链接过程1007。如果未通过，则在1003，测试是否低通二阶导数相交到零。如果框1002的测试结果是肯定的，则在像素级已检测到边缘并且控制被交给1004。如果是否定的，则控制被交给框1001。

在1004，确定低通一阶导数是否大于一个被称为“门限1”的值。在导数的最大值为255的情况下，门限1的优选值为20，但是本领域的那些普通技术人员可以使用其它值以便得到不同的期望效果。如果框1004的测试未被满足，则这是一个由噪声导致的假边缘，故控制被返回给1001。如果测试被满足，则假边缘的可能性已被排除且控制被交给框1005。

在1005，测试低通三阶导数是否大于被称为“门限2”的值与低通一阶导数的乘积。门限2的优选值是0.45，但是本领域的那些普通技术人员又可能使用其它值以便得到不同的期望效果。通常，改变门限1和门限2的值将决定图片是更锐化还是更模糊。如果这两个门限低，则通常会使得图像更锐化。期望哪一种效果可能是个人喜好的问题。如果框1005的测试没有被满足，则推定的边缘太软以致不能应用LTI，并且控制被返回给框1001。如果被满足，则在1006将该像素标记为边缘。

确定低通二阶导数是否过零。

现在将描述要在框1003中执行的运算。可以根据以下等式来定义低通二阶导数：

$\mathrm{SD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-m)-2\×L\left(n\right)+L(n+m)----\left(1\right)$

这里

●n是代表当前像素的整型变量

●m是与放大因子有关的整型变量。对于放大因子2，m的典型值将为4，但是本领域的那些普通技术人员可以根据在实验中工作最佳的情况而导出其它值。

●L(n)是像素n的亮度值

●SD(n)是像素n的低通二阶导数

●＝意指“定义为”

拉普拉斯算子被如下定义：

$S\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-1)-2\×L\left(n\right)+L(n+1)----\left(2\right)$

这里函数S(n)代表像素n的拉普拉斯变换。有关拉普拉斯算子的更多内容可以在序列号为5,852,470的美国专利，特别是在图14A-E及伴随的文本中得到，该专利被在此引入以供参考。

为了排除如图8b所示的混叠的影响，低通二阶导数是优选的。按照优选实施方案的低通二阶导数使用向量[-1，0，0，0，2，0，0，0，-1]，这与更常用于二阶导数，即拉普拉斯算子的向量[-1，2，-1]形成对比。这个优选向量可以通过低通滤波器[1，2，3，4，3，2，1]与传统拉普拉斯算子的卷积导出。

图11示出了当与防混叠滤波器组合时传统和低通拉普拉斯算子在频域的频谱。该低通拉普拉斯算子产生了更低频率的曲线。

所以该低通二阶导数也可以按照下列等式计算：

SD(n)＝[1，2，...，m，...，2，1]S(n)                  (3)

这里[1，2，...，m，...，2，1]是低通滤波器的脉冲响应。这样等式(3)等价于等式(1)。

与单独使用拉普拉斯算子相比，使用低通二阶导数的优点在于在面对噪声和混叠时提高了鲁棒性。零交叉最好被确定，这里

       SD(n)·SD(n-1)＜0                      (4)

这个零交叉计算识别了候选的边缘像素。

确定低通一阶导数是否大于门限1

现在将描述在框1004中执行的运算。

该低通一阶导数最好按照下列等式确定：

$\mathrm{FD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-m)-L\left(n\right)----\left(5\right)$

这里函数FD(n)代表像素n的低通一阶导数。

梯度算子可以如下计算：

$F\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-1)-L\left(n\right)----\left(6\right)$

然后，类似地用前面低通二阶导数的计算，可以如下计算低通一阶导数：

FD(n)＝[1，1，1，...，1]F(n)                  (7)

这里[1，1，1，...，1]是m比特向量并且是低通滤波器的脉冲响应。这样该低通一阶导数和该低通二阶导数都基于标准算子的低通形式。在各种情况中选定向量以简化卷积后产生的系数。本领域的那些普通技术人员可能设计出其它向量以得到对于这些导数的低通效果。

如果

|FD(n)|＞门限1                       (8)

则该候选像素被保留。这种计算有助于区分噪声和实际边缘。

确定低通三阶导数是否大于门限2乘以低通一阶导数

现在将描述框1005内的运算。这个框的作用是此处所谓的“边缘频率计算”。这个计算确定了边缘的斜率。在视频信号中，一些边缘有陡斜率，而一些边缘有较缓的斜率。通常，人们不希望锐化有较缓斜率的边缘。这些边缘可能已经被故意地软化，例如使一张脸看起来更柔和或者更光滑。这些软边缘一般有较低的频率成分。因此，具有较高频率成分的边缘才应被锐化。

由于很难定位一个边缘的开始或结束，所以单单从一阶导数计算边缘的斜率是不准确的。因此建议使用低通三阶导数和低通一阶导数之比作为边缘频率的指示。

该低通三阶导数可以按照下列等式根据低通二阶导数计算：

$\mathrm{TD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}\mathrm{SD}\left(n\right)-\mathrm{SD}(n-1)----\left(9\right)$

这里函数TD(n)是像素n的低通三阶导数。由于使用了低通二阶导数，所以TD将是低通三阶导数。

可以执行下面的计算：

如果条件成立，则边缘频率高，这样该边缘成为锐度增强的候选者。由于从实现的角度看除法运算相当昂贵，所以方程式10的计算最好被表示为该低通三阶导数是否大于该低通一阶导数与门限2乘积的测试。这个乘积计算完全等价于执行该等式(10)的比率计算。因此，这里当出现该三阶与一阶导数之比大于门限的情况时，这将包括三阶导数与门限和一阶导数的乘积相比的可能性。当在这里使用术语导数而不用术语“低通”时，其意图是包括低通形式作为可能的实施方案。

让我们称低通三阶和低通一阶导数之比为

图12A-C示出了对于不同

的值边缘检测的效果。图12A是

的情形；图12B是

的情形；图12C是 的情形。这些图中每个图都显示了频率增加的模式。图下的小箭头1201，1202，1203示出了在哪里开始检测到边缘。在各种情况下，在箭头右边和箭头右方的所有边缘被检测为边缘，而在其左方的值被认为是软边缘。LTI不适用于软边缘，仅适用于箭头右边和右方的边缘。

边缘链接

图13A-F和14A-F说明分别用于垂直和水平扫描的优选边缘链接规则。本领域的那些普通技术人员也可能设计其它类型的边缘链接技术与上述的边缘检测一起使用。

图中所说明的规则脱离了被指示为边缘的孤立的像素可能不是真正边缘的假设。边缘通常要扩展到几个像素。

该规则被说明为考虑当前像素的邻域。在各种情况中该当前像素都被用‘x’标记。为简单起见，该邻域已被选为3×3，但是本领域的那些普通技术人员可能使用其他尺寸的邻域，以得到更好的结果。本领域的那些普通技术人员可能设计非方形的领域。

用于不同尺寸和形状的邻域的边缘链接规则将不同于这里针对3×3情形所说明的。

在图中，最深阴影的方块代表已经被明确确定为边缘的像素。较深阴影的方块代表根据所讨论的规则要被忽略的像素。图13A-D和14A-D的规则与重构其中有中断的线条有关，而图13E-F和14E-F的规则与消除假边缘有关。

图13A和B说明了用于垂直边缘检测扫描的规则1。图13A示出了左上和右上方块已知为边缘的情形。在这种情形中，按照图13B，边缘链接器应将整个最上一行像素标记为边缘，而当前像素不作为边缘。

图13C和D说明了用于垂直边缘检测扫描的规则2。图13C示出了与图13A相反的情形。现在左下和右下像素已被识别为边缘。在这种情形中，按照图13D，边缘链接模块应将整个最下一行像素标记为边缘，而当前像素不作为边缘。

图13E和F说明了用于垂直边缘检测扫描的规则3。图13E说明了其中当前像素周围的所有像素都已知不是边缘的情形。在这种情形中，边缘链接器将当前像素标记为不是边缘。

图14A和B说明了用于水平边缘检测扫描的规则1。这是图13A-D的规则的90度旋转。在图14A中，左上和左下的像素被标记为边缘。图14B示出作为边缘链接的结果，整个左列像素被标记为边缘，而当前像素被标记为不是边缘。

图14C和D说明了用于水平边缘检测扫描的规则2。在图14C中，右上和右下的像素被标记为边缘。图14D示出了边缘链接器产生的动作。在图14D中，整个右列像素被标记为边缘而中心像素被标记为不是边缘。

图14E和F示出了用于水平扫描的规则3。用于水平扫描的规则3与用于垂直扫描的规则3相同。

通过阅读本公开内容，其他的修改对于本领域的技术人员是显而易见的。这种修改可能涉及到在图像增强技术的设计、制造和使用中已知的其他特征，且其可能被用来取代或者附加到此处已描述的特征。特别地，在示出硬件实施方案处，可能用软件来替代；并且，在示出软件实施方案处，可能用硬件来替代。尽管在本申请中权利要求已经被表述成特征的特定组合，但是应当理解，本申请的公开范围也包括此处或者是明确地，或者是隐含地公开的任何新颖特征或特征的新颖组合，或者是对其的任何推广，不管它是否如本发明所做的那样也缓和了任何或者所有的同样的技术问题。由此申请人通知新的权利要求可以被表述成在本申请或者任何另外的从其派生出的申请处理过程中的这样的特征。

此处使用的单词“包含”不应被视为排除了另外的单元。此处使用的单数冠词“一个”不应被视为排除了多个单元。

Claims (32)

1、用于边缘检测的设备包括：

-用于接收图像信号的装置(1001)；

-用于检测该图像信号的二阶导数是否与零交叉的第一装置(1002)；

-用于响应检测的第一装置产生的肯定结果而检测该图像信号的一阶导数是否大于一个第一门限的第二装置(1004)；

-用于响应检测的第二装置产生的肯定结果而检测该图像信号的三阶导数与图像信号的一阶导数之比是否大于一个门限或者该图像信号的三阶导数是否大于该图像信号的一阶导数与该门限的乘积的第三装置(1005)；以及

-用于提供一个边缘标识以响应该检测的第三装置产生的肯定结果的装置(1006)。

2、如权利要求1的设备，其中：该图像信号包括亮度信号。

3、如权利要求2的设备，其中作为从低通二阶导数计算的结果，该三阶导数是低通的。

4、如权利要求1的设备，其中该图像信号从一个图像的垂直扫描产生，以及该边缘标识相应于水平边缘。

5、如权利要求1的设备，其中该图像信号从一个图像的水平扫描产生，以及该边缘标识相应于垂直边缘。

6、如权利要求1的设备，其中该图像信号包括亮度信号以及该二阶导数是低通二阶导数。

7、如权利要求1的设备，其中该图像信号是亮度信号以及该一阶导数是低通一阶导数。

8、如权利要求1的设备，包括一个可由数据或者信号处理设备读取的媒体，包含了适合实现所列运算的代码。

9、如权利要求1的设备，包括至少一个适合执行所列运算的专用硬件单元。

10、如权利要求9的设备，它还包括一个适合执行各个检测操作的、独立相应的专用硬件单元。

11、如权利要求1的设备，其中该图像是一个视频图像以及该图像信号是一个亮度信号。

12、如权利要求1的设备，其中该二阶导数是一个二阶导数算子和一个相应于低通滤波器的算子间的卷积产生的低通二阶导数。

13、如权利要求12的设备，其中该相应于低通滤波器的算子的形式是[1，2，...，m，...，2，1]，这里m是与在边缘检测前适用于该视频信号的放大因子相关的整型变量。

14、如权利要求13的设备，其中该相应于低通二阶导数的算子的形式是[-1，0，0，0，2，0，0，-1]。

15、如权利要求1的设备，其中该一阶导数是一个导数算子和一个相应于低通滤波器的算子间的卷积产生的低通导数。

16、如权利要求1的设备，还包括一个边缘链接单元。

17、一种用于边缘检测的方法，包括在一个数据或者信号处理设备中执行以下操作：

-接收一个图像信号；

-第一检测该图像信号的二阶导数是否与零交叉；

-响应第一检测产生的肯定结果而第二检测该图像信号的一阶导数是否大于一个第一门限；

-响应第二检测产生的肯定结果而第三检测该图像信号的三阶导数与该图像信号的一阶导数之比是否大于一个门限或者该图像信号的三阶导数是否大于该图像信号的一阶导数与该门限的乘积；以及

-提供一个边缘标识以响应该第三检测产生的肯定结果。

18、如权利要求17的方法，其中：该图像信号包括亮度信号。

19、如权利要求18的方法，其中作为从低通二阶导数计算的结果，该三阶导数是低通的。

20、如权利要求17的方法，其中该图像信号从一个图像的垂直扫描产生，以及该边缘标识相应于水平边缘。

21、如权利要求17的方法，其中该图像信号从一个图像的水平扫描产生，以及该边缘标识相应于垂直边缘。

22、如权利要求17的方法，其中该图像信号包括亮度信号以及该二阶导数是低通二阶导数。

23、如权利要求17的方法，其中该图像信号是亮度信号以及该一阶导数是低通一阶导数。

24、如权利要求17的方法，包括实现该运算以响应一个可由数据或者信号处理设备读取并包含代码的媒体。

25、如权利要求17的方法，包括在至少一个专用硬件单元中执行该运算。

26、如权利要求25的方法，其中该至少一个专用硬件单元包括一个适合执行各个检测操作的、独立相应的专用硬件单元。

27、如权利要求17的方法，其中该图像是一个视频图像以及该图像信号是一个亮度信号。

28、如权利要求17的方法，其中该二阶导数是一个二阶导数算子和一个相应于低通滤波器的算子间的卷积产生的低通二阶导数。

29、如权利要求28的方法，其中该相应于低通滤波器的算子的形式是[1，2，...，m，...，2，1]，这里m是与在边缘检测前适用于该视频信号的放大因子相关的整型变量。

30、如权利要求29的方法，其中该相应于低通二阶导数的算子的形式是[-1，0，0，0，2，0，0，-1]。

31、如权利要求17的方法，其中该一阶导数是一个导数算子和一个相应于低通滤波器的算子间的卷积产生的低通导数。

32、如权利要求17的方法，还包括一个边缘链接单元。

Images