CN101142594B - 图像分析和表示方法 - Google Patents

Abstract

本发明提供图像分析和表示。使用限定闭合扫描曲线的映射函数获得对图像的一维表示。使用双向滤波器将该函数分解成代表所述表示的带宽的不同部分的多个分量信号以实现群延迟为零。

Description

图像分析和表示方法

技术领域

本发明涉及用于对图像进行分析、分类和/或表示的方法和装置，并涉及对表示图像的信号的处理。 

图像中区域的某些与强度/色彩图案的均匀度、粗度或光滑度相关的视觉特性一般被称为纹理属性。纹理属性对于人感知和识别物体而言是很重要的。它们还可应用于机器观测中的各种任务，例如用于自动可视检查或遥感，例如分析从多种频谱图像传感器获得的卫星图像或航空图像。 

纹理分析通常包括从图像或区域提取特性化纹理特征，这些特征可在之后用于图像匹配、区域分类等等。 

背景技术

欧洲专利申请EP-A-1306805描述了一种对图像(尤其是图像的纹理属性)进行分类的方法。该方法包括以下步骤，即，通过使用预定的映射函数将图像的二维表示映射成一维表示而导出表示纹理的特征向量，然后确定该表示的级穿越(level-crossing)统计；具体是指：(i)该表示穿越基准级或多个基准级(阈值)的速率；(ii)该表示在穿越基准级时的改变速率；以及(iii)该表示保持在单个基准级或多个基准级(阈值)之上(或之下)的平均持续时间。 

C.Santamaria，M.Bober和W.Szajnowski在Proceedings of the 17thInternational Conference on Pattern Recognition(ICPR-2004)，CambridgeUK，23-26 August 2004(这里称为“ICPR-04”)上发表的文章“TextureAnalysis using Level Crossing Statistics”中提出了一种采用EP-A-1306805中描述的级穿越统计的新型的统计纹理描述符(descriptor)。利用四个基准级在滑动窗中执行对描述符的提取(即，对级穿越特征的统计分析)， 所述四个基准级根据分析窗内信号的最小、最大和平均幅值而确定；这四个级是信号的最大值的25％、50％、75％以及中值。为了描述以各种空间尺度展现的图像属性，使用三个不同的段长：21、201和1001像素。尽管所提出的算法在基于纹理的图像检索以及基于纹理的图像分段方面都优于现有技术的算法，但已经发现性能和属性可得到进一步改善。 

发明内容

在所附权利要求中阐明了本发明的方面。 

根据本发明的另一独立方面，将图像的一维表示分解成表示由所述表示占用的频带的不同部分的分量信号。 

优选的是，所述分解通过以下方式实现：使用低通滤波器，优选地利用基本恒定且已知(优选为零)的群延迟对所述表示进行滤波；并从最初信号中减去经滤波的信号(即，在所述滤波器的输出端处的信号)。该过程重复数次以获得几个带限分量信号。因此，在优选实施方式中，使用多个具有不同滤波特性的低通滤波器来生成所述表示的扩展到不同最高频率(upper frequency)的多个不同版本，并从具有下一更高的最高频率的版本中减去各个版本以提供相应的分量函数。 

在本发明的优选实施方式中，通过应用向后(backward)和向前(forward)的递归滤波而获得群延迟精确为零的滤波器，从而能够使用简单内核。 

在图像分析中，常常需要以不同的空间分辨率来描述图像属性。ICPR-04方案通过使用三个长度不同(21、201和1001像素)的信号分析窗来实现这一点。窗长度根据实验确定(即，对于纹理分析应用最优化)，这是很耗时的处理并且无法确保对于所有不同的应用和图像数据使性能最优化。公知的是，在某些条件下(例如，取决于所关注信号的特性，如果上截止频率与下截止频率之比小在2到3之间)，带通信号可通过其一组过零(zero crossing)来充分表示。本发明的上述方面使得能够对图像进行多分辨率表示而无需使用多个分析窗。这是通过将新型信号分解应用到带宽限制的分量信号中并向各个分量信号应用级统计分析而 实现的。 

在优选实施方式中，可通过确定最低频带中的信号能量而自适应地确定用于图像分析的分量带限信号(或通道)的数量。因此，多分辨率“尺度”的数量以及它们的空间范围根据图像的属性而自适应地加以定义。 

在EP-A-1306805和ICPR-04文章提出的方法中，以特定方式选择用于纹理分析的穿越级。图像的强度或色彩分量形成非负函数，该非负函数具有不对称的幅度统计分布并且常常具有不稳定的性能，因此任何单个固定级或多个固定级的穿越都不能提供充分的图像信号特性表示。可通过使用本发明的上述方面而克服或至少缓解该问题。具体地说，在优选实施方式中，用于导出带宽限制的分量信号的低通滤波器还用于定义用于另一分量信号的自适应基准级。 

本发明的另一独立方面涉及到用于将图像映射成一维函数的映射函数。根据该另一方面，使用具有局部区域填充属性的新型的闭合轮廓扫描图案实现映射。 

在笛卡儿坐标系统中，待处理的原始图像通过非负函数f(x，y)≥0描述，其中x和y是两个空间变量。为方便起见，可以假定空间变量x和y都限于如下：0＜x＜x_max并且0＜y＜y_max。为了进行数字处理，原始图像f(x，y)由其在规定离散位置{x_i，y_j：i＝1，2，…，I；j＝1，2，…，J}处确定的采样f(x_i，y_j)来表示。通常，那些位置形成独特而规则的点图案，例如方形或六边形栅网(raster)。 

优选的是，根据发明的本方面，通过采用具有以下属性的扫描曲线，将所得图像f(x_i，y_j)；i＝1，2，…，I；j＝1，2，…，J映射成扫描图像，作为单个离散空间变量z_k，k＝1，2，…，K的函数f(z_k)，所述属性为： 

扫描曲线z_k，k＝1，2，…，K穿过各个点(x_i，y_j)；1，…，I；j＝1，…，J仅一次；因此，K＝I·J； 

扫描曲线z_k，k＝1，2，…，K闭合；因此，z_K+1＝z₁，z_K+2＝z₂，…，并且重复扫描将导致产生扫描图像函数f(z_k)的精确的周期性扩展；并且 

优选的是，扫描曲线z_k，k＝1，2，…，K将展现平面填充曲线(例如Hilbert 或Peano曲线)的属性(至少展现一些)。 

可通过将原始平面填充曲线与通过对所述原始曲线进行平移、旋转和/或镜像而获得的多个复制曲线适当组合，来构造所述扫描曲线。 

使用闭合扫描曲线的一个益处在于，所得信号可认为是周期性的，因此当期望用于待例如通过递归滤波器滤波的一维图像表示时，可通过使用公知方法或仅通过使用适当的“插入(run-in)”间隔来确定初始滤波条件。 

本发明的上述多个方面的优点是独立的并且可单独使用。然而，将它们组合会有明显的益处，使得使用闭合扫描曲线增强了用于分解一维图像的滤波器的操作从而改进对其的分析。 

虽然主要是在分析由图像的灰度级表示的纹理的情况下描述本发明，但本发明可附加或另选地用于分析其它图像特性，例如色彩分量、色彩分量差和多频谱图像，并且应当相应地解释这里使用的术语“纹理”。 

附图说明

现在将参照附图以实施例的方式描述实施本发明的配置，附图中： 

图1是根据本发明的纹理分类系统的框图； 

图2示出了公知的Hilbert平面填充曲线以及从该曲线构造的闭合扫描曲线； 

图3示出了公知的Peano平面填充曲线以及从该曲线构造的闭合扫描曲线； 

图4示出了另一个公知的Peano平面填充曲线以及从该曲线构造的闭合扫描曲线； 

图5描述了打算用于六边形栅网的闭合扫描曲线；并且 

图6是表示图像的一维函数以及该函数的经滤波版本的实施例。 

具体实施方式

图1是根据本发明的纹理分类器的框图。 

输入图像映射器(IIM)100采用预定的映射函数由在输出端212处 产生的称为目标函数的一维(1-D)函数来表示在输入端210处接收到的二维(2-D)输入图像的灰度级值，如下面将更详细描述的那样。 

尺度不变变换器(SIT)101使用适当的对数变换将在IIM 100的输出端212处的目标函数转换成目标函数表示，其值与2-D输入图像的动态范围无关。(可通过照明状况的变化、图像传感器的局部灵敏度的改变等等影响输入图像的动态范围。) 

SIT 101的输出被施加到滤波器组(FB)400的输入端，FB 400如下所述地操作以接连输出多个分量函数，每个分量函数表示由SIT 101提供的目标函数的相应的带通分量。应指出的是，滤波器组FB中的所有滤波器展现的群延迟都为零。 

这些分量函数各自单独地被递送(如总线490所示)至特征分析块(FAB)500，FAB 500针对各个分量函数导出该函数的一组特征值。经组合的多组用于分量函数的值形成表示最初图像的特征向量，并被发送至图像纹理分类器(ITC)107。图像纹理分类器(ITC)107将在其输入端可获得的特征数据一起处理，从而执行对2-D输入图像的纹理分类。用于纹理分类的过程可基于如下操作：将整个特征空间划分为表示所关注的纹理类的指定数量的区域。 

除了输入图像映射器(IIM)100和滤波器组(FB)400之外(下面将更详细地描述它们的操作)，如上所述的系统与EP-A-1306805中描述的系统类似。 

输入图像映射器(IIM)100通过使用闭合扫描曲线将在输入端210处接收到的图像的二维表示变换成一维表示。图2A示意性地描述了公知的Hilbert平面填充曲线。IIM 100所用的扫描曲线示于图2B中，该扫描曲线是通过对图2A的原始曲线进行适当的几何变换而获得的组合曲线。图2B示出了原始曲线的四个型式(version)，并且示出了它们如何布置以使得它们的起点和终点被布置为与相邻的原始曲线的终点和起点邻接。组合曲线可具有图2B中的标记为1和N而示出的起点和终点。通过该构造，如果原始曲线包括M个点，那么所得扫描曲线中采样点的数量K将为K＝4·M。在所示实施例中，M＝64且K＝256。应注意，图2B的 扫描曲线是闭合曲线，因为起点1与终点N邻接。 

图3B示出了IIM 100可用的另选闭合扫描曲线，并示出了在这种情况下如何从图3A所示的原始曲线形成闭合曲线，该原始曲线是公知的转回(switch back)型的Pcano平面填充曲线。在这种情况下，M＝81且K＝324。 

图4B示出了可用的另一可能的闭合扫描曲线，在这种情况下闭合扫描曲线基于图4A所示的公知的曲流(meander)型的Peano平面填充曲线。同样在这种情况下，M＝81且K＝324。 

对闭合扫描曲线的以上构造实施例是出于说明的目的而提出的，并非旨在穷举或者将本发明限制于所公开的精确形式。例如，在一些应用中，用六边形栅网替代方形栅网是有利的。在这些情况下，可通过应用适当的“扭曲(distortion)”来修改闭合扫描曲线。图5描述了打算用于六边形栅网的闭合扫描曲线，该曲线通过将图3所示的扫描曲线“扭曲”而获得。可选择任意两个邻接点作为扫描的起点和终点。 

在优选实施方式中，扫描曲线仅覆盖图像的一部分，扫描图像使得扫描图案以不交叠的方式来镶嵌(tessellate)(贴构(tile))图像。在用于需要“密集”图像描述的应用的另一优选实施方式中，使用具有交叠构片(tile)的扫描。在扫描之后，每个构片产生周期性的扫描图像序列(一维信号)。以类似的方式处理每个序列，从而提取用于对应图像区域的图像描述符。 

使用闭合扫描曲线对于由图1的滤波器组(FB)执行的滤波操作是有益的，该滤波器组在输入端402处接收来自SIT 101的目标函数表示。如果扫描曲线上的连续采样点之间的空间距离： 

|_zk-z_k-1|；k＝2，…，N 

恒定，那么由对应的序列f_k可唯一地表示扫描图像函数f(z_k)。图6中示出了这种序列f_k的实施例，其中水平轴代表沿着扫描曲线的位置，垂直轴代表幅值。 

将该表示馈送给加法器410，该加法器410提供目标函数表示的仅包含高频的第一分量函数输出420。目标函数表示还被馈送给第一低通滤 波器430以去除高频，然后将该滤波器的输出馈送给加法器410的减法输入端，从而从目标函数表示中减去低频，因此在第一分量函数420中仅保留高频。低通滤波器410的群延迟为零。 

低通滤波器430的输出还被馈送给第二加法器412，第二加法器412在其输出端处提供包含频率比第一分量函数420中存在的分量的频率更低的分量的第二分量函数422。另一个低通滤波器432接收目标函数表示并具有比滤波器430的截止频率更低的截止频率，并且其输出被馈送给加法器412的减法输入端，从而分量函数422包含处于低通滤波器430与432的截止频率之间的带通频率。 

可提供包含截止频率递减的另一低通滤波器的附加通道，以获得带通频率递降的附加分量函数。因此，例如，加法器414还可以接收来自低通滤波器434的输出，并且在加法器414的减法输入端处接收另一滤波器的输出，从而提供第三分量信号424。 

在实践中，使用处理器来实现滤波器组400，该处理器按照依次生成分量函数420、422等的方式接收、存储和处理数据。将至少一个(优选地为每个)分量函数单独馈送给功率测量单元(PMU)450，以测量各个分量函数中存在的功率。将测量结果传送到控制单元(CU)460，该控制单元460控制通道的数量，从而控制所生成且可用于信号特性表示的分量函数的数量。这样，控制单元460可在最新的分量函数的功率低于预定阈值时终止滤波操作。从而，自适应地控制通道和分量函数的数量。 

在EP-A-1306805中，将目标函数表示分成窗口区域，在每个窗口区域内通过将函数与定值基准级进行比较来分析该函数。然而，通过使用自适应的基准级可获得更好的特性表示。通过低通滤波器430、432等获得以自适应方式变化的级。 

通过在各个滤波器中执行以下两个操作而从扫描图像序列f_k获得自适应基准级： 

1.向序列f_k应用递归滤波器 

v_k＝γ₁v_k-1+(1-γ₁)f_k，0＜γ₁＜1，k＝1，2，…，K 

以生成辅助序列v_k；并且 

2.向辅助序列v_k应用向后运行的同一递归滤波器，即， 

f⁽¹⁾ _K+1-k＝γ₁f⁽¹⁾ _K+2-k+(1-γ₁)v_K+1-k，0＜γ₁＜1，k＝1，2，…，K 

以产生序列f⁽¹⁾ _k，其表示所需的自适应基准级。 

向前和向后运行同一递归滤波器的主要目的在于获得群延迟精确为零的低通滤波。图6中示出了序列f⁽¹⁾ _k的实施例，可观察到与目标序列f_k的相位关系(对准)得以保持。 

应指出，可以按照任意顺序实施以上两个操作。另外，可以按照使得它们可同时运行的方式来构造它们的实施。 

参数γ₁与单极模拟低通滤波器的指数脉冲响应exp(-γ₁τ)相关。然而，向前和向后运行的递归滤波器的组合操作等效于将利用形式为exp(-γ₁|τ|)的对称指数脉冲响应处理的函数进行卷积。由于脉冲响应的对称性，相关联的群延迟将始终等于零。 

通常，使用递归滤波器需要确定其初始条件，例如v₀和f⁽¹⁾ _K+1。这通过使用闭合扫描曲线而变得容易，从而允许滤波器使用跨曲线的起点和终点之间的边界的值而不会发生不连续；即，闭合扫描曲线有效地产生待处理的周期性序列。从而可以通过应用本领域技术人员公知的方法来准确地确定初始条件。然而，更加简单且实用的方法是在处理序列的周期表意开始之前使用适当的“插入”间隔。 

对于改进的滤波操作，可使用如下不同的递归滤波器： 

$v_k={2\mathrm{\γ}}_2{v}_{k-1}-{\mathrm{\γ}}_2^2{v}_{k-2}+{(1-{\mathrm{\γ}}_2)}^2{f}_k,$ 0＜γ₂＜1，k＝1，2，…，K 

以生成辅助序列v_k。然后将通过辅助序列v_k向后运行滤波器而获得表示所需的自适应基准级的序列f⁽¹⁾ _k。 

改进的向前和向后运行的递归滤波器的组合操作等效于将利用形式为(1+γ₂|τ|)exp(-γ₂|τ|)的脉冲响应处理的函数进行卷积。而且在该情况下，由于脉冲响应的对称性，相关联的群延迟等于零。 

滤波器的等效脉冲响应类似于高斯响应。当使处理序列连续多次通过(向前和向后)同一递归滤波器或不同递归滤波器时，等效脉冲响应可甚至更好地近似于高斯响应。 

图6还示出了从扫描图像序列f_k减去自适应基准级f⁽¹⁾ _k从而产生分量函数420的结果。现在可使用分量函数{f_k-f⁽¹⁾ _k}的过零来表示在分析的该初始水平处的扫描图像序列f_k。 

使用另一低通滤波器重复进行上述所有操作以获得另一分量函数；每次将之前的自适应基准级视为最初原始扫描图像序列f_k。然而，每次如下修改新的滤波参数：γ_1new＝(γ_1old)^κ和γ_2new＝(γ_2old)^κ，其中1/3≤κ≤1/2。当最后的自适应基准级采用几乎定值时，终止整个处理。在大多数实践应用中，整个处理的重复次数将限于三或四次。 

低通滤波器优选地被设计为使得“相邻”通道的滤波器的截止频率之比处于2到3之间，因为这样通常提供了对目标函数频谱的有效覆盖。采用的处理器通道的数量取决于信号f_k的频谱属性，频谱属性又取决于图像属性。对于典型的图像来说，三个通道可提供在系统复杂性与性能之间的良好折衷。在需要时，系统可具有固定数量(例如，三个)的通道，而不是自适应变化数量的通道。 

分量函数被递送至特征分析块(FAB)500。在特征分析块(FAB)500中执行的信号分析将取决于应用。例如对于图像纹理分析，其可包括提取分量函数的过零并从过零和/或在过零点处的信号计算统计特征(描述符)。所例示的实施方式使用穿越率估计器(CRE)510、穿越斜率估计器(CSE)520和停留时间估计器(STE)530，它们按照与EP-A-1306805中公开的对应单元相同的方式操作。但是在这种情况下，估计器对已从其减去自适应基准级的信号序列进行操作，从而估计器使用如由过零检测器(ZCD)540检测到的零基准级进行操作。从信号提取的特征的以上实施例仅是为了说明的目的而提出的，并非旨在穷举或者限制本发明。 

存在许多修改和变型，并且将使得本领域技术人员能够在适于预期的具体任务的各种实施方式中利用本发明。例如，虽然执行上述滤波操作以分解目标表示，但是在出于诸如降低噪音(例如，使用非线性中值滤波器)或边缘增强(例如，使用高通滤波器)的不同目的使用滤波的情况下，也可以获得使用闭合扫描曲线的益处。而且，虽然上述滤波器是递归的，但是也可以另选地使用有限脉冲响应滤波器；同样，通过使 用闭合扫描曲线将产生类似的益处。虽然在分析二维图像的情况下描述了本发明，但这些技术可以扩展到通过采用适当的空间填充曲线对多维数据，特别是多维图像进行分析。图像可以是传统的可视图像，或者可以是在电磁波谱的不可见部分下的图像，或者实际上可以在不同的域中，例如超声波图像。 

Claims (9)

1.一种处理表示图像的信号的方法，该方法包括以下步骤：

(a)使用预定的映射函数导出对所述图像的一维表示，该一维表示具有连续变化以表示所述图像的相邻区域的级；以及

(b)向所述一维表示应用滤波器以导出表示所述图像的输出函数；

该方法的特征在于，所述映射函数具有在相邻区域中的起点和终点，并且所述滤波器可操作为组合所述一维表示的跨所述起点与所述终点之间的边界的值。

2.如权利要求1所述的方法，其中，向所述一维表示应用滤波器的所述步骤包括以下步骤：

(c)通过生成多个分量函数来分解所述一维表示，所述多个分量函数各自代表所述一维表示的相应频率区域；以及

(d)分析所述多个分量函数，从而提供表示所述图像的特征向量。

3.如权利要求2所述的方法，该方法包括以下步骤：通过使用低通滤波器以获得所述表示的一版本，并且从所述表示的包含更高频分量的另一版本中减去该版本，从而生成一分量函数。

4.如权利要求3所述的方法，其中，所述滤波器具有基本对称的脉冲响应，从而使得所述滤波器的群延迟基本等于零。

5.如权利要求2所述的方法，该方法包括以下步骤：测量至少一个分量函数的功率，并且响应于该测量而控制分量函数的数量。

6.如权利要求2所述的方法，其中，执行滤波操作以导出所述多个分量函数，其中，所述映射函数具有在相邻区域中的起点和终点，并且其中，所述滤波操作可操作为组合所述表示的跨所述起点与所述终点之间的边界的值。

7.如权利要求1所述的方法，其中，所述映射函数限定了组合扫描曲线，该组合扫描曲线包括原始扫描曲线以及该原始扫描曲线的多个复制曲线，每个复制曲线是对所述原始曲线的平移、旋转和/或镜像。

8.如权利要求1所述的方法，该方法用于导出表示二维图像的特征向量。

9.一种对图像进行分类的方法，该方法包括以下步骤：使用如权利要求8所述的方法导出特征向量，然后确定特征空间内的多个预定区域中的哪一个区域包含该特征向量。

Images