CN1822048A - 适用于图像/体积/视频分割和聚类的用于鉴别多通道图像中的像素的流形学习 - Google Patents

Abstract

一种流形学习技术适用于鉴别图像中的相邻像素/体素之间的对象边界的问题。该流形学习技术被称作为局部性保留投影。所述应用用于多通道图像，该多通道图像可包括记录的图像/体积、图像/体积的时间序列、使用不同的脉冲序列或对比系数、雷达和彩色摄影所获得的图像。

Description

适用于图像/体积/视频分割和聚类的 用于鉴别多通道图像中的像素的流形学习

相关申请的交叉引用

本申请要求于2005年1月25日提交的美国临时申请第60/647,357号的权益，所述美国临时申请在这里被引入作为参考。

技术领域

本申请涉及图像处理方法和系统，包括对图像中的对象进行分割的方法和系统。

许多图像分析和过滤技术所需要的观念是两个相邻的像素/体素有多大可能性属于相同的对象。该类型的算法的例子包括各向异性弥散、狄利克雷过滤、区域增长、图形切割、标准化切割、智能剪/活线(live-wire)、等周算法和近来开发的随机转发算法。如由Perona和Malik首先提出的并且后来补充的那样，用于指定弥散常数(即，图形形权重)的典型函数是：

$w_{\mathrm{ij}}=\exp \left(\frac{{\left|\right|z_i-z_j\left|\right|}^2}{{\mathrm{\σ}}^2}\right),$ 等式(1)

其中w_ij是像素i和j之间的权重，z_j是代表像素i处的值的向量(例如亮度，颜色)，以及σ是自由参数。

不幸的是，等式(1)中的范数的计算方法仍然是不明确的。当z_i是一维亮度时，这个问题不是争议点，因为大多数标准范数默认为亮度之间的简单减法运算。然而，多通道图像在医学、工业和图形共同体中是普遍的。作为从不同的时间点获取的多个图像、用不同的造影剂和/或脉冲序列获取的多个图像、从雷达获得的“超光谱”图像和可能最普遍的彩色图像(在该情况下z_i向量典型地代表像素i处的RGB值)的配准结果，可产生这种图像。

因缺乏更加原则性的选择，等式(1)中的范数典型地被看作是欧几里得L²范数或L^∞范数。然而，已经广泛注意到欧几里得范数在几乎所有的空间(例如，彩色图像)中不适当到什么程度。

特别是在处理彩色图像时，图像处理和确定图像中的像素的权重系数的当前方法并不会产生完全满意的结果。因此，需要新的和改进的方法和系统来处理图像以分割对象和确定权重系数。

发明内容

根据本发明的一个方面，基于近来研发的局部性保留投影(“locality preserving projections”，LPP)算法的共轭范数被用于展开权重系数。关于表示为‖·‖_A的矩阵A的向量z_i的共轭范数由内积(Z_i，Az_i)＝z^T _iAz_i给出。

共轭范数的例子是欧几里得距离(其中A等于单位矩阵)和Mahalanobis矩阵(其中A等于协方差矩阵)。

根据本发明的另一个方面，提供一种分析图像的方法。根据该方法，使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数，并使用所述权重系数对涉及所述图像的方程组进行求解。

当对所述方程组进行求解时形成一组值。根据本发明的另一个方面，所述方法还包括处理所述的一组值以对图像中的对象进行分割。

根据本发明的另一个方面，所述处理包括聚类或分割。

根据本发明的再一个方面，图像中的每个像素的权重系数是根据下式被确定的：

根据本发明的另一个方面，对方程组进行求解的步骤可包括各向异性弥散的方法、狄利克雷过滤的方法、区域增长的方法、图形切割的方法、标准化切割的方法、智能剪/活线的方法、等周算法的方法和随机转发算法的方法。

根据本发明的又一个方面，提供一种在处理图像时设置有区别的边权的方法。根据本发明的该方面，使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数。在一优选实施例中，每个像素的权重系数是根据下式被确定的：

根据本发明的另一个方面，提供一种用于分析图像的系统。该系统包括计算机和被装载在计算机系统上的图像处理应用程序。所述图像处理应用程序使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数并且使用所述权重系数对涉及该图像的方程组进行求解，并且通常执行先前所述的所有步骤。

附图说明

图1举例说明根据本发明一个方面的处理图像的方法；

图2举例说明根据本发明一个方面的处理图像的系统；

图3举例说明根据本发明一个方面被处理的图像；

图4-6举例说明图3的图像的RGB分量；

图7-9举例说明根据本发明所产生的图3的图像的LPP分量。

具体实施方式

局部性保留投影(“LPP”)被设计用于提供一种(极其)廉价的产生线性鉴别的计算，以便将维数减少至较低维数的流形。LPP方法保持边缘之间的差别以允许更好的鉴别。

已经表明LPP优选地相当于典型的主分量分析。例如，参见X.He和P.Niyogi的“Locality preserving projections”(Advances inNeural Information Processing Systems 16(NIPS 2003)，ser.Advances in Neural Information Processing Systems，Vancouver，Canada，2003)。LPP的优点是线性、超越“训练”点的普遍化和对异常值的稳健性。

LPP在典型的流形学习环境中的一个缺点是它需要每个点的图形(即，邻域)的详细说明，所述每个点通常是任意的。然而，在图像处理的环境中，尤其是上面所列出的基于图形的方法中，基于相邻像素的空间位置已经定义了邻域。

为了说明，将图形形[14]定义为一对G＝(V，E)，其具有顶点(节点)v∈V和边e∈EV×V。跨越两个顶点v_i和v_j的边e用e_ij表示。例如参见F.Harary的Graph Theory(Addison-Wesley，1994)。加权图给每个边分配一个被称为权重的值。边e_ij的权重用w(e_ij)或w_ij表示，并且在这里为了某些目的其是非负的并且是实数。对于与v_i关联的所有边e_ij来说，一个顶点的度是d_i＝∑ω(e_ij)。

在典型的图像处理环境中，节点对应于像素/体素，而边是以4连接格(connected lattice)或8连接格的方式在每个节点之间获取的。

图形的拉普拉斯矩阵被定义为：

其中L_vivj被用于指示矩阵L通过顶点v_i和v_j来索引。

LPP算法需要以下广义特征向量问题的解：

ZLZ^Tx＝λZDZ^Tx，                           等式(4)其中Z是K×N矩阵，其中每个z_i向量作为一列，而D是由D_ii＝d_i定义的对角矩阵。用Q来表示等式(4)的特征向量，其中每个特征向量是Q的一行，并且用对角矩阵Λ_ii＝λ_i表示特征值。等式(4)的计算是非常廉价的，因为广义特征问题仅须针对大小为K×K的矩阵来解答，其中K是通道数量。例如，彩色图像具有三个通道(红、绿和蓝)，并且因此所考虑的矩阵是3×3，而与图像/体积大小无关。

因此，等式(4)的解法不但是极其廉价的，而且是无参数的。因此，在计算(1)的权重的过程中所建议的共轭范数的形式为‖·‖Q^TQ或‖·‖Q^T∧Q。优选的形式是：

其中Q是等式(4)的特征向量。

这些权重系数被用在各种图像处理算法中。例如，上面指定的权重系数可被用在使用各向异性弥散的算法中。例如参见P.Perona和J.Malik发表的“Scale-space and edge detection usinganisotropic diffusion”(IEEE Transactions on Pattern Analysisand Machine Intelligence，第12卷，第7期，第629-639页，1990年7月)。此处所指定的权重系数可被用在使用狄利克雷过滤的算法中。例如参见于2005年9月7日提交的美国专利申请第11/221,025号。此处所指定的权重系数可被用在使用区域增长的算法中。例如参见R.Adams和L.Bischof发表的“Seeded region growing”(IEEETransactions on Pattern Analysis and Machine Intelligence，第16卷，第6期，第641-647页，1994年)。此处所指定的权重系数可被用在使用图形切割的算法中和使用标准化切割的算法中。例如分别参见Y.Boykov，O.Veksler和R.Zabih发表的“A new algorithm forenergy minimization with discontinuities’ in EnergyMinimization Methods in Computer Vision and PatternRecognition”(Second International Workshop.EMMCVPR’99，YorkUK，1999年7月26-29日，H.-E.-R.Pelillo-M.，Ed.，1999年7月26-29日，第205-220页)和J.Shi和J.Mahk发表的“Normalizedcuts and image segmentation”(IEEE Transactions on PatternAnalysis and Machine Intelligence，第22卷，第8期，第888-905页，2000年8月)。

此处所指定的权重系数也可被用在使用智能剪/活线的算法中。例如参见E.Mortensen和W.Barrett发表的“Interactivesegmentation with intelligent scissors”(Graphical Models inImage Processing，1998年)。此处所指定的权重系数也可被用在使用等周算法的算法中。例如参见L.Grady发表的“Space-variantcomputer vision：A graph-theoretic approach”(Ph.D.dissertation，Boston University，Boston，MA，2004)和于2004年11月15日提交的美国临时专利申请第60/627,978号。此处所指定的权重系数也可被用在使用近来开发的随机转发算法的算法中。例如参见L.Grady和G.Funka-Lea在Computer Vision andMathematical Methods in Medical and Biomedical Image Analysis中发表的“Multi-label image segmentation for medicalapplications based on graph-theoretic electricalpotentials”(ECCV 2004 Workshops CVAMIA and MMBIA，ser.Lecture Notes in Computer Science，M. I.A.Kakadiaris，and J.Kybic，Eds.，no.LNCS3I 17.Prague，Czech RepublicSpringer，2004年5月，第230-245页)。还可参见于2004年11月15日提交的美国临时专利申请第60/628,035号。

参照图1，示出了根据本发明一个方面的处理图像的方法。在步骤10中，如上所述为每个像素确定边权(或权重系数)。在步骤12中，对方程组进行求解。方程组取决于所使用的图像处理算法。对方程组的求解产生一组代表正被处理的原始图像的值。在步骤14中，该组值可被进一步处理以对原始图像中的对象进行分割。

在图2中示出了根据本发明一个方面的处理图像的系统。将应用软件22装载到计算机24中。该应用软件22包括用于处理图像的图像处理软件。各种图像处理应用软件包22在本领域中是已知的，并且包括对图像中的所选择的对象进行分割的能力。图像20被加载到计算机24中以进行处理。计算机执行图像处理步骤、例如图1中所规定的那些步骤，并输出所期望的图像。仅仅借助于例子，所述计算机能够使用此处所指定的权重系数和所述图像处理算法中的任何一个来对图像20中的对象进行分割以产生另一个图像26。

图3示出一幅图像。图4-6示出了图3的图像的红、绿和蓝分量。图7-9示出了使用本发明的权重系数所产生的图3的图像的LPP分量。

图7-9的投影分量通道比图4-6的RGB通道更有鉴别对象边界的能力。因此，在图7-9中所示的空间内定义的边权更有鉴别对象边界的能力。特别地，如与图4-6的RGB通道中的对象相比，所有属于图7-9中的一个对象的像素趋于在每个分量中具有相同的亮度。该特征对于各向异性过滤算法(例如，弥散)以及力求检测对象边界的分割/分析算法来说是至关重要的。

提出了一种用于通过在流形学习中对近来的结果进行杠杆作用来设置有区别的边权(弥散常数)的廉价的、无参数的方法，所述有区别的边权涉及多通道图像中的对象边界。本发明特别应用于所配准的图像/体积、图像/体积的时间序列、使用不同的脉冲序列或对比系数、雷达和彩色摄影获得的图像。

将来的工作可能包括使用这些分量来学习图像先验，以采用所述栅格(例如，特征空间中的K-NN)未给出的图像拓扑或使用加权的拉普拉斯矩阵来代替未加权的矩阵。例如参见Y.Boykov，O.Veksler和R.Zabih在Energy Minimization Methods in Computer Vision andPattern Recognition中发表的“A new algorithm for energyminimization with discontinuities”(Second InternationalWorkshop.EMMCVPR’99，York UK，1999年7月26-29日，H.-E.-R.Pelillo-M.，Ed.，1999年7月26-29，第205-220页)。

下列参考文献提供一般与本发明有关的背景信息，并且因此被引入作为参考：[1]P.Perona和J.Malik，“Scale-space and edgedetection using anisotropic diffusion”，IEEE Transactions onPattern Analysis and Machine Intelligence，第12卷，第7期，第629-639页，1990年7月；[2]2005年9月7日提交的美国专利申请第11/221,025号；[3]R.Adams和L.Bischof，“Seeded regiongrowing”，IEEE Transactions on Pattern Analysis and MachineIntelligence，第16卷，第6期，第641-647页，1994年)；[4]Y.Boykov，O.Veksler和R.Zabih，在Energy MinimizationMethods in Computer Vision and Pattern Recognition中的“A newalgorithm for energy minimization with discontinuities”，Second International Workshop.EMMCVPR’99，York UK，1999年7月26-29，H.-E.-R.Pelillo-M.，Ed.，1999年7月26-29，第205-220页；[5]J.Shi和J.Mahk，“Normalized cuts and imagesegmentation”，IEEE Transactions on Pattern Analysis andMachine Intelligence，第22卷，第8期，第888-905页，2000年8月；[6]E.Mortensen和W.Barrett，“Interactive segmentation withintelligent scissors”，Graphical Models in ImageProcessing，1998年；[7]L.Grady，“Space-variant computervision：A graph-theoretic approach”，Ph.D.dissertation，Boston University，Boston，MA，2004；[8]2004年11月15日提交的美国临时专利申请第60/627,978号；[9]L.Grady和G.Funka-Lea，在Computer Vision and Mathematical Methods in Medical andBiomedical Image Analysis中的“Multi-label images egmentationfor medical applications based on graph-theoretic electricalpotentials”，ECCV 2004 Workshops CVAMIA and MMBIA，ser.Lecture Notes in Computer Science，M.

I.A.Kakadiaris，和J.Kybic，Eds.，no.LNCS3I 17.Prague，Czech RepublicSpringer，2004年5月，第230-245页；[10]2004年11月15日提交的美国临时专利申请第60/628,035号；[11]M.J.Black，G.Sapiro，D.H.Marimont和D.Heeger，“Robust anisotropic diffusion”，IEEE Transactions on Image Processing，第7卷，第3期，第421-432页，1998年3月；[12]A.Jain，Fundamentals of Digital ImageProcessing.Prentice-Hall，Inc.，1989；[13]X.He和P.Niyogi，在Advances in Neural Information Processing Systems 16(NIPS2003)中的“Locality preserving projections”，ser.Advancesin Neural Information Processing Systems，Vancouver，Canada，2003年；[14]F.Harary，Graph Theory.Addison-Wesley，1994年；和[15]R.Merris，“Laplacian matrices of graphs：Asurvey”，Linear Algebra and its Applications，第197、198卷，第143-176页，1994年。

虽然本说明书已经主要根据像素描述了本发明，但本发明也可应用于具有体素的图像数据集或三维数据。因此，单词“像素”也可以指体素。单词“节点”的使用应该被理解为指的是像素或体素。

虽然已经示出、说明和指出了如适用于本发明优选实施例的本发明的基本新颖特征，但应该理解的是，在不脱离本发明的精神的情况下，本领域的技术人员可在所示出的装置的形式和细节方面以及在其操作方面作出各种省略和替换以及变化。因此本发明只应如由所附的权利要求的范围所示的那样来限定。

Claims (20)

1.一种用于分析图像的方法，包括使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数。

2.如权利要求1所述的方法，包括使用所述权重系数对涉及所述图像的方程组进行求解。

3.如权利要求2所述的方法，还包括当对所述方程组进行求解时形成一组值。

4.如权利要求3所述的方法，还包括处理该组值以对所述图像中的对象进行分割。

5.如权利要求3所述的方法，其中所述处理包括聚类。

6.如权利要求1所述的方法，其中每个像素的权重系数是根据下式被确定的：

7.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在各向异性弥散中。

8.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在狄利克雷过滤中。

9.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在区域增长中。

10.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在图形切割中。

11.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在标准化切割中。

12.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在智能剪/活线中。

13.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在等周算法中。

14.如权利要求1所述的方法，其中图像中的每个像素的权重系数被用在随机转发算法中。

15.一种在用于处理图像的方法中设置有区别的边权的方法，包括使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数并使用所述权重系数来处理图像。

16.如权利要求15所述的方法，其中每个像素的权重系数是根据下式被确定的：

17.一种用于分析图像的系统，包括：

计算机；和

装载在计算机系统上的图像处理应用程序；

其中所述图像处理应用程序使用形式为‖·‖Q^TQ或形式为‖·‖Q^T∧Q的共轭范数为图像中的每个像素建立一个权重系数并使用所述权重系数对涉及所述图像的方程组进行求解。

18.如权利要求17所述的系统，其中当对所述方程组进行求解时，所述图像处理应用程序形成一组值。

19.如权利要求18所述的系统，其中所述图像处理应用程序还包括处理该组值以对图像中的对象进行分割。

20.如权利要求17所述的系统，其中每个像素的权重系数是根据下式被确定的：

Images