CN101916434B - 用于基于分割的图像操作的方法和装置 - Google Patents

Abstract

提供了一种用于根据对像素化数据趋向于表示或表现一种特征还是另一种特征的确定来处理图像数据(34)的技术。可以考虑很多这样的特征，例如像素是否可能表示结构(54)或非结构(56)。使用多个阈值来进行分类分割，并且落在交叠区域内的像素就如同其表现两种特征一样而被处理。随后的处理可以包括，例如通过加权混合，对交叠像素(58)分配值。

Description

用于基于分割的图像操作的方法和装置

本申请是申请日为2004年11月26日、申请号为200410095837.5、发明名称为“用于基于分割的图像操作的方法和装置”的专利申请的分案申请。

技术领域

本发明一般涉及图像处理和图像分割领域。本发明尤其涉及用于处理图像数据的技术，所述技术允许更加灵活地处理图像数据，以使处理的图像更加清晰、直观并且有用。

背景技术

现有很多用于数字图像处理的应用和设置。例如，利用多种特定成像模式或这些模式的组合在医学诊断环境中创建很多图像。这些模式包括诸如磁共振成像(MRI)系统、计算机断层摄影(CT)成像系统、正电子发射断层摄影(PET)成像系统、超声成像系统、层析X射线照相组合系统、X射线系统等模式。这些和其它模式及装置用于诸如部分和局部检查、质量控制的其它设置中，以及更一般地用于任何数字成像处理的产品中。

一般以很多方法收集和处理数字图像数据，以形成适于重建有用图像的数据。所述图像包括离散图片元素或像素的阵列，所述阵列看上去形成合成图像。根据数据的种类、用于创建数据的获取系统的类型、在重建的图像中可见的主题、以及更一般地对重建的图像的有计划使用，可以用不同的方法处理所述像素化的数据。已知有许多这样的处理技术，并且当前其应用已遍及整个成像领域(community)。然而，这种传统的处理技术并不是没有缺陷的。

例如，很多成像技术利用通过分析图像数据并判定图像数据分类而制定的各种形式的掩蔽(mask)或映射。一种普遍使用的映射将图像数据划分成例如结构和非结构。当进行这种划分时，在图像处理中，通常以一种方式处理对应于特定掩蔽的一组数据，而以另一种方式处理通常排除了第一掩蔽中的数据的另一组数据。这在将图像划分成结构和非结构的图像处理中尤其这样。然而，对数据的这种掩蔽和处理采取很多形式，并且可能对同一数据进行几次，以增强从处理后的数据重建的图像。

按照类型，例如通过将各个像素分成表示结构或非结构，细分和分析图像数据的实践在处理特定类型的图像时非常有效，并得到可以用于仔细分析以及医学环境中的诊断和治疗的较好的结果。然而，对于更多具有细微差别的图像、或其中这种分类有些不清晰的图像，细分可能导致无意中加重或削弱部分图像数据，由于例如对比度的损失、细节的损失等，这实际上导致重建的图像有些更难以分析了。

现在，需要结合多种图像处理操作，例如，以无缝方式对结构和非结构进行的操作，以结合操作并降低任何产生从一种操作模式到另一种操作模式的人工或突发转换从而损坏直观显示的趋势。解决该问题的一个方法是，通过基于空间距离将一种操作与另一种操作混合，而在空间上从一种操作转换到另一种操作。尽管这一方案解决了关于转换的人工操作，但是其不校正在对如结构和非结构之间的图像数据的分割中的误差。另外，这些误差在图像直观显示中导致很多不希望的结果。在结构的情况下，结果将加强错误的结构，或相反地，在将识别结构的地方导致对比度的损失。

发明内容

本发明提供了一种为响应这些需要而设计的新颖的图像处理技术。该技术根据“模糊(fuzzy)”或基于灵活分割的图像操作，在本发明上下文中有时称为FUSION(融合)。该技术基于对图像数据的分析以创建一种或多种掩蔽或映射。

然而，与现有技术不同，并不严格分离地处理掩蔽或映射的数据，而是研制和使用用于这种掩蔽的至少两个阈值，使得将图像数据细分到多于两个的多个区域。在本实现中，采用两个这样的阈值，得到更加清晰地按由不同的特征分类的一个特征数据分类的数据、以及对第一特征或第二特征都不清晰的数据。后一组数据被视为既是第一特征组的组分，又是第二特征组的组分。可以使用任何合适的函数来进行分类，现在考虑了线性和非线性函数。然后，根据任何传统技术进行下面的处理，虽然所述处理将交叠的分类数据视为既是第一组又是第二组的组分。随后的处理可以包括混合图像数据以允许重建。所述混合本身也可以取决于交叠的分类数据趋向于一个特征或另一个特征的程度。

本发明考虑了为实现这种技术而设计的方法、系统以及计算机程序。

本发明提供一种处理图像数据的方法，包括：识别表现高于第一梯度值阈值的梯度值的第一组像素作为图像数据中的结构；识别表现低于第二梯度值阈值的梯度值的第二组像素作为图像数据中的非结构；识别表现第一和第二梯度值的第三组像素作为交叠像素；只根据第一操作来处理第一组像素；只根据第二操作来处理第二组像素；根据第一和第二操作来处理第三组像素；以及根据下面表达式混合通过第一处理来处理第三组像素得到的值I_i(结构)与通过第二处理来处理第三组像素得到的值I_i(非结构)：

I_i＝α_iI_i(结构)+(1-α_i)I_i(非结构)

其中α_i是加权因子，并且其中α_i＝(G_i)(T₂)/(T₁-T₂)，其中G_i是梯度值，T₁是第一梯度值阈值，而T₂是第二梯度值阈值。

本发明还提供一种用于处理图像数据的系统，包括：用于存储图像数据的数据存储装置；以及处理电路，配置为执行以下步骤：识别表现高于第一梯度值阈值的梯度值的第一组像素作为图像数据中的结构；识别表现低于第二梯度值阈值的梯度值的第二组像素作为图像数据中的非结构；识别表现第一和第二梯度值的第三组像素作为交叠像素；只根据第一操作来处理第一组像素；只根据第二操作来处理第二组像素；根据第一和第二操作来处理第三组像素；以及根据下面表达式混合通过第一处理来处理第三组像素得到的值I_i(结构)与通过第二处理来处理第三组像素得到的值I_i(非结构)：

I_i＝α_iI_i(结构)+(1-α_i)I_i(非结构)

其中α_i是加权因子，并且其中α_i＝(G_i)(T₂)/(T₁-T₂)，其中G_i是梯度值，T₁是第一梯度值阈值，而T₂是第二梯度值阈值。

附图说明

图1是设计用于实现本发明技术的示例成像系统的简图；

图2是表示用于对特征识别的图像数据进行的各种操作或处理实现本技术的逻辑的示例步骤的流程图；

图3是表示图2的技术用于处理图像中表示结构和非结构的数据的特定实现的流程图；

图4是一种根据本FUSION技术灵活地分类和处理图像数据的方式的图形表示；以及

图5-8是图像的一部分图解表示，说明了通过图2或3根据本FUSION技术的处理，如何处理不同分类的数据。

附图标记说明

10成像系统                  46混合交叠

12成像器                    48合并

14主体                      50FUSION结构处理

16成像器控制电路            52分割

18图像数据获取电路          54结构

20系统控制电路              56非结构

22操作员工作站              58交叠

24存储介质                  60操作1

26图像数据处理电路          62操作2

28远程控制/处理/观测站      64根据梯度的混合

30网络链接                  66合并

32FUSION处理                68混合

34图像数据                  70输出

36特征识别                  72加权函数

38映射特征1                 74梯度

40映射特征2                 76分类

42处理1                     78轨迹(线性)

44处理2                     80轨迹(非线性)

具体实施方式

现在转向附图，首先参考图1，其中一般地示出了成像系统10，其包括用于创建主体14的图像数据的成像器12。虽然一般地将人形图像示为主体14，但是应该记住，可以对任何适合的主体成像。在本文中，例如，所述主体可以是人类或动物、生物或非生物，如人造部分、自然发生的物体等。实际上，成像系统10可以是基于一些成像物理产生数字化图像数据的任何适合类型的系统。在医学成像环境中，如同在其它环境，该成像系统可以包括很多其它成像模式的MRI系统、PET系统、CT系统、层析X射线照相组合系统、X射线系统、超声波系统。所述系统还可以包括传统的摄影成像系统，其根据所接收的任何适合带宽或频率的辐射产生数字化图像数据。

在图1的简图中，成像系统包括耦接到成像器控制电路16和图像数据获取电路18的成像器12。根据该系统的模式和物理，成像器通常放射某种辐射，如X射线、CT、层析X射线照相组合以及其它系统。其它有源(active)成像系统，例如MRI系统，通过激发，例如通过在存在受控磁场时产生射频脉冲，来影响主体。然而，在所有的这些情况中，都由成像器控制电路16调节成像器的操作。这种控制电路可以采取任何合适的形式，并通常包括用于起动成像器、接收辐射或其它信号、创建成像所需的任何激发信号或辐射等的电路。然后，图像获取电路18接收和初步处理由成像器接收的数据。该初步处理可以包括：将模拟信号转换为数字信号、过滤模拟或数字信号、缩放或动态范围调节等。

一般由某种系统控制电路20调节图像控制电路16和图像数据获取电路18。另外，根据图像系统的种类和涉及的物理，系统控制电路可以通过与图像控制电路16交换合适的信号起动成像序列。系统控制电路20还可以从图像数据获取电路18接收未处理的或经预处理的图像数据。尤其在多个复杂系统中，系统控制电路20可以耦接到操作员选择、设置和发起检查或成像序列的操作员工作站22。通常将未处理的、部分处理的或完全处理的图像数据都存储在某种如标号24表示的一些类型的存储介质中。在本文中，这种存储介质可以是系统控制电路20、操作员工作站22或整个系统中的任何其它成分的一部分。在医学诊断环境中，例如，该存储介质可以包括本地和远程存储器，磁性的和光学的，并且可以包括设计用于一旦有要求就存储和提供图像数据的复杂图片文档和通信系统(PACS)。

在图1的图示中，示出操作员工作站22耦接到图像数据处理电路26。另外，这种处理电路可以实际分布于整个系统，并且可以采用设计用于处理图像数据以产生用于观测的重建图像的硬件、固件和软件。根据下面描述的本发明技术，图像处理电路26对图像数据进行FUSION处理，以操控未处理的或预处理的数据，从而进一步提高重建图像的有用性。图像数据处理电路26可以在成像系统本地，如图1一般地示出，或者可以完全远离系统，并且只是从存储介质24访问图像数据以便进行后处理。最后，图1示出了各种遥控/处理/观测站28，其可以通过合适的网络链接30耦接到成像系统。该站可以如本文所述用于对图像进一步地进行观测、分析以及处理。

如本领域的技术人员所应该理解，在很多不同的成像系统中获得的类型的图像数据一般通过各种过滤和加强技术处理，以对由图像数据编码的离散图片元素或像素进行识别、净化或其它操控。每个像素通常包括描述其位置和亮度的数据，或在彩色系统中描述其在几种不同颜色中的亮度的数据。通过数学计算每个像素及其相邻像素的各种特征，进行对图像数据的加强，以识别和加工有用组中的像素。基本上，当人类或机器可以识别共享某种品质或特征的多组像素时，图像数据是最有用的。例如，可以通过各种处理在图像中识别出结构和非结构。结构可以表示边缘、表面、轮廓、区域、颜色、以及在被人类或机器观测器观测时使图像有用或承受某种解释的其它图像特征。现有FUSION技术，通过增加现有已知技术中没有出现过的分类和处理的灵活度简化了这种处理。

图2示出了FUSION处理中的示例步骤，由标号32总体表示。该处理如标号34所示从图像数据开始。该图像数据在上文中提到，可以是未处理的图像数据、经预处理的图像数据，并且可以在执行处理前经过各种转换和分析。图像数据通常可以存储在如图1中所示的存储介质中。然后如标号36所示，访问图像数据，通过识别由图像数据定义的像素的特征进行FUSION处理。对于本领域的技术人员，很多这种特征识别处理都是公知的和可得的。为了本文的目的，该特征可以是像素的任何希望的可识别品质，并且通常通过分析像素亮度、其与由图像数据定义的相邻像素亮度的关系而确定该特征。所得的特征识别产生映射或掩蔽38和40。

映射38或40可以视为表示图像，其通常具有与由原始图像数据所定义的相同的图像尺寸，其中每个像素分配有代表特征识别的值。例如，在只识别出两个相互排斥的特征之处，映射可以给每个像素分配值0和1。然后，在先前的技术中通常将这些映射应用于相互排斥的处理。通过FUSION技术，每个掩蔽都用于执行由图2中的标号42和44标记为处理1和处理2的处理。然而，如下文中更全面的描述，不同于先前技术，FUSION处理允许将各个像素既分类到第一组或映射特征，又分类到第二组或映射特征。从而，特定的像素虽然可能是不同的级别，但是可以分类为既表现特征1又表现特征2。应该注意，尽管在本说明书中讨论了第一和第二处理或操作，而在实际中可以提供多个这样的分类和处理。从而，图2示出“处理N”，以便开发多个这种分类的潜能，其中，通过表现多个可能的特征来对某些像素分类，这在此前已知技术中是排斥的，而处理相应地进行。

在根据映射38和40处理像素后，在步骤46，FUSION技术要求混合特定的交叠像素。因为某些像素已经分类为既表现特征1又表现特征2，因此，给这些“交叠”的像素分配有实际混合了从处理1和处理2获得的值的值。在现在考虑的实现中，虽然可以使用其它的混合技术，只有交叠的像素以这种方式混合。接着，在步骤48中，合并混合的交叠像素和明显或排他地表现特征1和特征2的像素，以形成输出数据组。

现在联系特定实现描述上述的一般处理，在所述实现中，所识别和映射的特征是像素表示有用地识别结构，或相反地，表示非结构的可能性。在图3中示出了该FUSION结构处理，其总体由标号50表示。

FUSION结构处理50从以上述方式访问图像数据34开始。这里，通过如标号52所示的分割实现图2中正确的特征识别步骤。对于本领域中的技术人员显而易见地，可以以很多不同的方式实现这种分割，并且一般以识别可能表示边缘、有意义的表面和区域等的亮度电平和变化为目的。分割可以依赖于成像系统的物理、获得数据的种类、数据的动态范围、像素数据之间呈现的对比度、信噪比等。

在先前的技术中，步骤52执行的分割带来表示结构和非结构的映射或掩蔽。而且，此前已知的技术通常将每个像素分类为结构像素或非结构像素，而排斥相对的分类。然而，通过本发明FUSION技术，至少产生三个映射，包括：标号54所示的表示结构的映射、标号56所示的表示非结构的映射、以及标号58所示的交叠结构/非结构的映射。可以以很多不同的方式进行映射，并且映射可以是离散的或连续的。图4示出了可以执行以获得映射54、56和58的多个特征的FUSION映射示例方案。如图4所示，定义分类和加权函数72使沿水平轴74表示的图像特征，如每个像素的梯度级与沿垂直轴76表示的分类参数相关。函数72可以视为用于分配混合值的加权函数，如下文所述。

对于本领域的技术人员显而易见的是，很多先前有用的成像技术需要通过感兴趣的代表性特征建立用于对图像数据中每个像素进行分类的阈值。例如，在典型的结构和非结构处理中，使用单个阈值来确定是否应将像素作为结构或非结构处理。另一方面，如图4所示，在本FUSION技术中，进行分类以便既建立图4左边表示的非结构像素、图4右边表示的结构像素，又建立落入阈值之间的交叠区域内的像素。在所示的实施例中，使用两个这样的阈值，在图4中由T₁和T₂表示。然后将梯度值低于阈值T₂的像素分类为非结构，而将梯度值高于T₁的像素分类为结构。将梯度值在阈值之间的像素分类为交叠像素，即，潜在地表现结构特征和非结构特征。应该记住，如上所述，虽然在图4中示出并在此处描述了三个这种区域，但是也有可能进一步分类成许多这样的区域。实际上，可以在希望时进行连续或近似连续的分类和加权。在实际中，可以实现第三个参数，其落在阈值T₁和T₂之间，称为焦点阈值，用于控制交叠的对称性。还应该记住，虽然在梯度域中进行如图4所示的分类，但是还可以使用许多其它图像特征作为处理分类的基准，包括结构和非结构的处理、以及通过其它图像数据特征的处理。这样的特征可以包括结构的连通性，并且可以使用非结构来修改如何进行处理。当使用连通性作为标准时，将结构中的非结构小岛视为结构，而将非结构中的结构小岛视为非结构。

回到图3，当对像素如此分类和映射后，如步骤60和62所示对像素进行处理操作。可以进行很多这样的操作，并如图3所示，对结构区域或像素进行操作1，而对非结构像素进行操作2。而且，对视为交叠像素的像素既进行操作1又进行操作2。

图5、6和7示出了可以处理这些像素的示例方式。如图5所示，在16像素的示例阵列中，可以将某些像素分类为结构(在该示例中的四个中心像素)，而将另一些像素分类为非结构(在图中四个外角像素)。将其它的像素分类为交叠像素，即，梯度强度落在阈值T₁和T₂之间的像素。如图6所示，然后对结构像素和交叠像素进行操作1。在所示示例中，对除了非结构像素之外的像素进行操作1。类似的，如图7所示，对非结构像素和交叠像素进行操作2。在本实施例中，仅对除了结构像素之外的像素进行操作2。在提供更多分组或映射之处，可以处理多个这样的合并。

对于操作1和2，或更一般地，对于上述的处理1和处理2，当前考虑了很多单独的处理。在结构和非结构处理的情况下，例如，这种处理或操作可以包括加强、锐化、平滑化、去卷积、内插、外推、压缩、数字半色调、对比度匹配等。作为示例，可以如下表1所示进行这些处理。

表1

如本领域中的技术人员所应该理解，例如，通过沿不模糊的结构平滑化，由各向异性平滑化和锐化进行的加强趋向于减少结构中的噪声。另一方面，各向同性平滑化有使结构均匀的趋势。锐化处理可以包括各向异性锐化或各向同性锐化，其趋向于锐化整个结构。对非结构可以避免这种锐化，以避免锐化噪声。包括各向异性平滑化的平滑化操作可以具有类似于如上所述的加强操作的效果。其它平滑化技术，例如利用小核的中央平滑化，趋向于提供细节，并减少尖峰噪声。使用更大核的中央平滑化有在非结构中抑制结构噪声的趋势。

类似地，其它操作可能对结构和非结构像素更有用或更没用。例如，在去卷积时的强势参数设置可能有从模糊图像提供细节加强的趋势。然后，最小去卷积减少对非结构区域中的结构和边缘的搜索。在内插图像数据时，更高阶的内插有加强并更好地表示边缘的趋势，反之，更低的内插避免某些假象，如环状(ringing)假象、波纹图案(Moire pattern)等。在外推时的参数设置可能具有类似于卷积中的参数设置的效果。在数据压缩中，可以得到压缩率，并且压缩的有效率可以基于对像素表示结构还是非结构的确定。在数字半色调操作中，可以优选地对结构像素进行误差扩散，而对非结构像素进行其它操作，如蓝噪声掩蔽。最后，在如表1所示的处理中，一般优选地，可以对结构像素进行很少或不进行对比度匹配，而对非结构像素提供高级匹配，从而加强并直观显示结构，而削弱非结构。

如上所述，在图3的实现中，对结构和非结构互相排斥地进行各种操作，而对分类为“交叠”像素的像素，即可以表现潜在的结构和非结构特征的像素，进行两种操作。在图3中步骤64，混合已处理的交叠像素的值。可以对其它处理使用任何合适的混合，以确定交叠像素的希望的所得值。然而，在本技术中，根据梯度强度进行对所得值的加权。如图4所示，函数72不仅用于将像素识别并分类为结构和非结构分类中的一种或另一种、或者交叠分类，还用于确定本实施例中的加权因子α，加权因子的值根据这样的关系：

A_i＝(G)_i(T)₂/(T₁-T₂)。

然后，根据所述函数的种类，加权因子一般可以随阈值的大小和梯度强度的大小而变化。由上述公式表达的线性关系可以在图4中由轨迹78图形表示。当然，可以实现一般如图4中的标号80所示的其它非线性关系。

接着，在步骤64进行的混合可以采取这样的形式：

I_i＝α_iI_i(结构)+(1-α_i)I_i(非结构)。

然后，所得混合操作有效地为各个交叠像素提供一个值，其是可以沿阈值T₁和T₂之间的连续统(continuum)将该交叠像素分类为结构或非结构的程度的函数。如图8所示，可以在上面提供的示例中表示所得混合值。

在步骤66，将这些混合值与从操作1和2得到的结构和非结构像素值合并。在步骤68，可以进一步进行与初始输入图像数据的混合，以产生标号70所示的输出数据组。

如本领域技术人员所应该理解，本FUSION技术不仅允许更灵活的基于分割的处理，而且可以产生与从先前技术所得不同的非交叠像素的值。例如，在如上所述的实现中，因为对结构像素与交叠像素一起进行处理，其中的一些像素在先前技术中可能已被分为非结构像素，所以结构像素自身可以产生与其在先前技术中所具有的不同的值。在各种滤波、锐化、平滑化以及其它对每个像素值的分配都考虑相邻像素的处理操作的情况下，尤其如此。对于非结构像素也是同样的。即，因为已与先前技术中可能已分类为结构的其它像素一起对这些像素进行了处理，所得非结构像素的值可能与先前技术方案中所得的值不同。结果加强了图像数据，其可以更精确地表示经处理的表现一个或另一个特征、或专注于表示另一个特征上的一个特征的像素数据。

虽然在附图中作为示例示出并在此具体描述了特定的实施例，但是可以容易地对本发明进行各种修改和形式替换。然而，应该了解，并不试图将本发明限于所公开的特定形式。而是，本发明涵盖由所附的权利要求书所限定的本发明的精神和范围内的所有修改、等同和替换。

Claims (10)

1.一种处理图像数据的方法，包括：

将图像数据分割为表现结构的第一映射、表现非结构的第二映射、以及结构和非结构交叠的第三映射，其中每个映射具有与图像数据相同的尺寸，并且包括具有基于图像数据的分割分配的值的像素；

使用第一操作而不使用第二操作，处理由第一映射定义的图像数据的像素；

使用第二操作而不使用第一操作，处理由第二映射定义的图像数据的像素；以及

使用第一和第二操作，处理由第三映射定义的图像数据的像素，

其中第一操作和第二操作包括加强、锐化、平滑化、去卷积、内插、外推、压缩、数字半色调、对比度匹配。

2.如权利要求1所述的方法，包括混合从通过第一操作处理由第三映射定义的图像数据的结构像素得到的值和通过第二操作处理由第三映射定义的图像数据的非结构像素得到的值。

3.如权利要求1所述的方法，包括建立第一和第二阈值，其中，由第一映射定义的像素识别为具有高于第一阈值的值，由第二映射定义的像素识别为具有低于第二阈值的值，而由第三映射定义的像素识别为具有在第一和第二阈值之间的值。

4.如权利要求3所述的方法，其中所述阈值是梯度阈值。

5.如权利要求2所述的方法，其中使用根据公式A_i＝(G_i-T₂)/(T₁-T₂)确定的加权因子进行所述混合，其中A_i是在像素i采用的权重，G_i是在像素i的梯度强度值，T₁是第一阈值，而T₂是第二阈值。

6.如权利要求5所述的方法，其中所述混合基于线性函数。

7.一种用于处理图像数据的系统(10)，包括：

用于存储图像数据(34)的数据存储装置(24)；以及

处理电路(26)，配置从存储装置存取图像数据，以便基于图像数据的分割生成第一映射图像、第二映射图像和第三映射图像，

使用第一操作而不使用第二操作，处理由第一映射图像定义的图像数据的像素，

使用第二操作而不使用第一操作，处理由第二映射图像定义的图像数据的像素，

使用第一操作和第二操作两者，处理由第三映射图像定义的图像数据的像素，

其中第一操作和第二操作包括加强、锐化、平滑化、去卷积、内插、外推、压缩、数字半色调、对比度匹配。

8.如权利要求7所述的系统，还包括操作员工作站(22)，用于配置操作，并用于观测通过处理得到的图像。

9.如权利要求7所述的系统，还包括图像数据获取系统，用于产生图像数据(34)。

10.如权利要求9所述的系统，其中所述图像数据获取系统从包括MRI系统、CT系统、PET系统、超声波系统、X射线系统以及摄影系统的组中选出。