CN1279491C

CN1279491C - 图像分析

Info

Publication number: CN1279491C
Application number: CNB028210409A
Authority: CN
Inventors: W·J·沙诺夫斯基; M·博贝
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-10-25
Filing date: 2002-09-25
Publication date: 2006-10-11
Anticipated expiration: 2022-09-25
Also published as: JP4144752B2; WO2003036564A1; US20050002567A1; EP1306805A1; WO2003036564A8; JP4651689B2; CN1575480A; JP2005506640A; WO2003036564A9; JP2008198224A

Abstract

一种将图像特别是图像的纹理分类的方法，它包括首先通过使用一个预定的映射函数将该图像的一个二维表示映射为一维表示来导出一个表示该纹理的特征矢量，然后决定(i)所述的表示的级跨越一个阈值的速率，(ii)当跨越一个阈值时该级变化的速率，和(iii)该级保持高于(或低于)一个阈值的平均持续时间。

Description

图像分析

技术领域

本发明涉及用于分析图像的方法和装置，特别涉及图像纹理的分析和分类。

背景技术

图像中各区域的某些涉及规律性、强度/颜色模式的粗糙度或者平滑度的视觉特征通称为纹理特性。纹理特性对于人对物体的感知和识别十分重要。它们也可以应用于机器视觉的各种任务，例如用于自动视觉检查或远程传感，诸如分析卫星图像。

纹理分析通常涉及从图像或者区域抽取特有的纹理特征，这些特有的纹理特征以后可以用于图像匹配、区域识别等。

许多现有的纹理分析方法可以归入三种粗略的类别之一：i)结构化方法，ii)统计方法和iii)和谱方法。

在结构化方法中，纹理由某些视觉图元诸如斑点、线段、角等的特征和空间安排表征。

在统计方法中，纹理由在感兴趣的区域内的强度值的统计分布表征。

在谱方法中，使用具有变化特性的一组滤波器和使用它们对基础图像的响应作为特征矢量。例如可以使用带有变化的方向和频率响应的Gabor滤波器。(见D.Dunn，W.Higgins，和Wakeley，”Texturesegmentation using 2-D Gabor elementary functions”，IEEE trans.Pattern Anal.And Machine Intell.Vol.16 no 2，1994年2月)

这些已知的方法一般在图像域内操作，它通常定义为二维(2-D)的格子。

还知道可以使用映射函数把一个图像映射为一个一维(1-D)表示，例如像Peano曲线或者Hilbert曲线的平面填充曲线。(见PeanoG..“Sur une courbe que remplit toute une aire plane”，Math Annln36，第157-160页(1890)，和D.Hilbert，“Uber die stetigeabbildung einer Linie auf ein Flachenstuck”，Math.Annln，38，第459-460页(1891))随后可以分析该1-D信号的特性，例如通过富立叶分析，以决定该图像的纹理特征。

大多数现有的方法的计算工作量都很大。因此希望提供一种方法和装置用于纹理说明、分类和/或匹配，它对于在图像强度、区域变换和转动中的改变是不变的，所述方法计算简单。

发明内容

本发明的各个方面在所附权利要求中叙述。

根据本发明的进一步的方面，以统计方法分析图像的一个一维表示，来导出代表该图像的特征矢量。

所述分析优选地包括将一维表示与至少一个阈值作比较，并可以安排成决定下述事项中的任何一项或者多项：

(a)所述表示跨越一个阈值的速率；

(b)所述表示在跨越一个阈值的点处的平均斜率。这些点可以选择为在所述表示值增加的地方的点(以得到平均“上斜率”)，或者在所述表示值减少的地方的点(以得到平均“下斜率”)。另外可选地，平均上斜率和平均下斜率两者都可以被决定，或只是在所有这些点处的一个平均斜率；和

(c)所述表示保持在高于(或低于)某个阈值的平均间隔。

已经发现，可以以计算上简单的方式获得的上述参数对于许多图像类、特别是图像纹理提供良好的判别式。已发现，参数(a)和(b)的结合是特别有效的。

根据本发明的方法的一个优选的实施例包括下述步骤：

1.使用一个基于适当选择的平面填充曲线把一个2-D函数(“源函数”)映射为一个1-D函数(“目标函数”)，所述平面填充曲线是例如具有这种性质的自避免曲线，即在目标函数中的相邻点在源函数中也相邻。这种曲线的例子是Peano曲线和Hilbert曲线；

2.对产生的目标函数施加合适的变换。这种变换的一个例子是产生定比例目标函数的对数变换；

3.在目标函数的动态范围内选择一个鉴别级；

4.决定一组点，在这些点上目标函数跨越所选择的鉴别级；

5.决定该组的适合的统计特征，例如(i)点发生的速率，(ii)在这些点处的目标函数的平均斜率，(iii)目标函数保持高于(或低于)在相邻点之间的鉴别级的平均间隔；和

6.组合选择的统计特征(在步骤5决定)，以构造说明源函数亦即说明该图像的一个特征矢量。

该特征矢量可以只涉及由一维目标函数的一部分表示的图像的一部分。也可以为该图像的其它部分导出另外的特征矢量。在该优选的实施例中，分析该一维函数的连续重叠的段以导出相应的特征矢量。然而，段重叠不是必须的。

在该优选的实施例中，通过比较一维表示与一个阈值级来决定每一统计特征。该阈值对于不同特征可以不同，或者至少对部分这些特征可以相同。也可以用一个变化的阈值来代替简单的固定值阈值(这里用术语“阈值函数”来同时指变化阈值和固定值阈值，其中该函数是预定的常数)。

在本发明的一个改进的实施例中，通过单独决定目标函数跨越各不同阈值函数的速率而实现更好的鉴别。优选地，对于至少一个阈值函数，可导出目标函数在跨越点的平均斜率的两个分开的值，一个值表示函数增加时的函数的斜率(“上斜率”)，另一值表示函数减少时的函数的斜率(“下斜率”)。

可以使用不是平均值的统计特征来导出用于构造特征矢量的任何值，例如平均值、中值或方差。

虽然本发明主要在分析由图像的灰度级表示的纹理的环境中说明，但是纹理可以附加地或者替换地由诸如彩色的其它特征表示。

附图说明

现在参考附图来举例说明体现本发明的装置，附图中：

图1是根据本发明纹理分类系统的框图；

图2表示图像的Peano扫描；

图3表示运动窗口选择器的操作；

图4表示跨越速率估计器的操作；

图5表示跨越斜率估计器的操作；

图6表示逗留(sojourn)间隔估计器的操作；

图7是表示特征空间的分区以使其能够进行纹理分类。

具体实施方式

图1是根据本发明的一个纹理分类器的框图。

输入图像映射器(IIM)100使用所谓的Peano扫描通过在输出212上产生的一维(1-D)函数来表示在输入210接收的二维(2-D)输入图像的灰度级值，所述一维函数称为目标函数。图2表示应用于9×9像素的参考图像的Peano扫描的例子。该图像表示在210’处，而相应于Peano扫描的路径表示在211处。在212’表示的曲线图表示在输出212产生的目标函数。在本例中，假定像素宽度等于1，因此图212’上的像素指数相应于离开具有指数为0的像素的距离。

定比例变换器(SIT)101使用一个合适的对数变换将在IIM 100的输出端212上的目标函数转换为在214上的目标函数的表示，其值独立于2-D输入图像的动态范围。输入图像的动态范围可以通过改变照明条件、改变图像传感器的局部灵敏度等而改变。

运动窗口选择器(MWS)102由在214的来自定比例变换器(SIT)101的信号所驱动，它选择适合于进一步处理的目标函数表示的段。这一点在图3上表示。图214’上表示的目标函数被细分为49个连续重叠的段(300，...，348)，每一段的长度为32像素。

MWS 102的输出并行施加到多个特征估计器的信号输入端，这些估计器包括跨越速率估计器(CRE)104、跨越斜率估计器(CSE)105、和逗留(sojourn)间隔估计器(STE)106。

跨越速率估计器(CRE)104的控制输入连接到参考级发生器(RLG)103以接收在线204上的一个定义合适的速率阈值函数的信号(在本实施例中一个简单的恒值)，用于设定从目标函数的表示进行特征抽取所使用的鉴别级。相似地，跨越斜率估计器(CSE)105和逗留间隔估计器(STE)106接收从参考级发生器(RLG)103来的在线205和206上的相应信号，它们分别定义用于设定鉴别级的合适的斜率阈值函数和合适的持续时间阈值函数，所述鉴别级由这些估计器用于特征抽取。

在本实施例中，所有三个估计器都接收信号，它们定义一个公共的、固定值鉴别级，示于图4到6的401。这可以以不同方式选择；级401可以表示在变换器214的一维输出中各个值的中值，或在当前窗口中各个值的中值。然而，估计器的鉴别级另外可选为彼此不同，并且可以是可变的。

参考图4，跨越速率估计器(CRE)104决定目标函数表示214跨越在每一特定段内所选择的鉴别级401的点数。CRE的输出220施加到图像纹理分类器ITC的输入。图4的例子涉及到对第四窗口W4执行的分析。该信号8次跨越鉴别级401，标记为T1、T2、…T8。

参考图5，跨越斜率估计器(CSE)105确定了目标函数表示214’跨越每一特定窗口内一个选定的鉴别级各点处的斜率平均值。图5表示窗口W4的一个例子，其中目标函数在点T1、T3、T5、T7(上跨越)和T2、T4、T6、T8(下跨越)跨越鉴别级401。对每一点T1、...、T8计算斜率值ψ1、-ψ2、ψ3等，然后分别将下斜率和上斜率取平均值，并适当地将这些值结合。其结果指明了在这些跨越点处的表示的平均斜率或陡度，把该结果提供给CSE的输出221并施加到图像纹理分类器ITC的输入端。

参考图6，逗留间隔估计器(STE)106决定这些间隔的平均长度，在所述间隔中目标函数表示214保持在每一特定段内的一个选定的鉴别级之上。图6表示使用鉴别级401为窗口W4的逗留间隔计算的例子。目标函数在4个间隔超过鉴别级：501、502、503和504，于是STE106计算这4个间隔的长度的算术平均值。STE 106的输出施加到图像纹理分类器ITC的另外一个输入端222。

图像纹理分类器(ITC)107共同地处理在其输入端可得到的特征数据以执行该2-D输入图像的纹理分类。用于纹理分类的过程可以基于把整个特征空间划分为特定数目的区域，它们表示感兴趣的纹理分类。

图7表示一个三维(3D)特征空间S的例子，每一维相应于分别由CRE 104、CSE 105和STE 106之一产生的参数。空间S以下面的方式被划分为M个区域S1、S2、...、SM，使得每一区域表示M个感兴趣的纹理类别中的一个。这些区域之一(可以包括若干合适的子区域)可以用于表示未指定(未知)纹理的一个类别。

这些区域是非重叠的，亦即

Si∩Sj＝，i，j＝1，2，...，M i≠j

且整个特征空间S的分区是无遗漏的，亦即

S1∪S2∪...∪SM＝S

根据本发明，图像分析过程分别从三个估计器CRE、CSE和STE产生数字值，它们分别可在输出220、221和222上得到。在该3D特征空间中，这种三元组可以视为一定落入区域S1、S2、...SM之一中的一个点。如果该点落入Sk，1≤k≤M，则可以决定，正被测试的图像显示出属于M纹理类中的k类。

把特征空间S划分为M个区域可以根据某些基于费用、误分类的最小概率等的优化准则执行。所需要的划分过程是对统计决策理论的各种应用所执行的标准操作。

再次参考图4，在本发明的一个提高的实施例中，参考级发生器103给跨越速率估计器104提供三个分开的参考级401、402和403。因此CRE 104可以提供另外两个表示跨越其它阈值402和403的次数的值。在图4中，级402和403分别有18和8次被跨越或达到，如在U1、U2...U18和L1...L8所示。

另外，参考图5，将会注意到，目标函数214’跨越阈值的点可以分类为上跨越和下跨越。在一个提高的实施例中，跨越斜率估计器105分别地将上跨越和下跨越取平均，从而提供两个值，而不是一个。

在本实施例中，由跨越速率估计器104、跨越斜率估计器105和逗留间隔估计器106提供的6个值由图像纹理分类器107使用来把一个6维特征空间内的图像分类。

在另一可供选择的实施例中，来自跨越速率估计器104的三个值和/或来自跨越斜率估计器105的两个值可加以结合，例如通过使用各种加权系数，来形成单一的各自的值。

可以预期，在许多应用中一维函数占据时间域，例如，当该函数从重复扫描的图像导出时，这在某些视频系统中可能发生。因此时间间隔将会表示在这一想象的时间期间被扫描的图像的一段。因此，在这种情况下的目标函数的自变量可以是离开扫描曲线上的一个选定的点的距离，或者可以是从一个选定的参考时间瞬间消逝的时间。

为说明清晰起见这个实施的例子非常简单。存在大量可选择的实现方案。可以通过下述方式得到可选择的实现方案：

(a)应用不同的映射函数；

(b)应用不同类型的定比例变换；

(c)改变用于定义特征集合的规则；

(d)改变鉴别信号的数目和级；和/或

(e)使用特征集合的不同统计特征。

虽然是在分析二维图像的环境中说明了本发明，但是通过使用适当的空间填充曲线，本技术可以扩展到分析多维数据，特别是多维图像。所述图像可以是常规可视图像，或者可以是电磁谱的非可视部分中的图像，或者确定可以是在不同的领域中，诸如超声图像。

Claims

1.一种导出表示图像的特征矢量的方法，所述方法包括：

(i)使用预定的映射函数导出图像的一维表示，该一维表示具有一个级，该级连续变化以表示该图像的各相邻区域；和

(ii)通过导出至少一个速率值以形成所述特征矢量，所述速率值表示所述的级跨越一个速率阈值函数的级的速率。

2.根据权利要求1所述的方法，其中，所述速率阈值函数是预定的常数。

3.根据权利要求1或者2所述的方法，其中，通过导出多个速率值形成特征矢量，每一速率值表示所述一维表示的级跨越各自不同预定速率阈值函数的级的速率。

4.导出表示图像的特征矢量的方法，所述方法包括：

(i)使用预定映射函数以导出图像的一维表示，该一维表示具有一个级，该级连续变化以表示该图像的各相邻区域；和

(ii)通过导出依赖于速率的至少一个斜率值以形成所述特征矢量，当所述级在跨越一个斜率阈值函数的级时它以该速率变化。

5.根据权利要求1或2所述的方法，其中，通过还导出一个依赖于一个速率的斜率值以形成特征矢量，当该级跨越一个斜率阈值函数的级时它以所述速率变化。

6.根据权利要求4所述的方法，其中，所述斜率阈值函数是预定的常数。

7.根据权利要求4所述的方法，其中，该斜率值是多个速率的平均值的函数，该一维表示的级以这些速率在多个点上改变，其中该级在这些点上跨越斜率阈值函数的级。

8.根据权利要求4所述的方法，其中，通过导出两个斜率值以形成特征矢量，其中一个斜率值涉及该一维表示的级正在增加的跨越，另一个斜率值涉及该一维表示的级正在减少的跨越。

9.一种导出表示图像的特征矢量的方法，所述方法包括：

(i)使用预定的映射函数导出图像的一维表示，该一维表示具有一个级，该级连续变化以表示该图像的相邻区域；和

(ii)通过导出至少一个持续时间值以形成所述特征矢量，所述至少一个持续时间值依赖于一个间隔的长度，在所述间隔中所述级保持高于一个持续时间阈值函数的级，或者所述至少一个持续时间值依赖于一个间隔的长度，在所述间隔中所述级保持低于所述持续时间阈值函数的级。

10.根据权利要求1或4所述的方法，其中，通过还导出一个持续时间值以形成所述特征矢量，所述持续时间值依赖于一个间隔的长度，在所述间隔中，所述级保持高于一个持续时间阈值函数的级，或者所述持续时间值依赖于一个间隔的长度，在所述间隔中，所述级保持低于所述持续时间阈值函数的级。

11.根据权利要求9所述的方法，其中，所述持续时间阈值函数是预定的常数。

12.根据权利要求9所述的方法，其中，所述持续时间值是多个持续时间的一个统计函数，在该多个持续时间中该一维表示的级保持高于所述持续时间阈值函数，或者所述持续时间值是多个持续时间的一个统计函数，在该多个持续时间中该一维表示的级保持低于所述持续时间阈值函数。

13.根据权利要求1，4或9所述的方法，其中，从该一维表示的第一部分导出特征矢量，所述方法包括导出表示所述一维表示的相应各连续部分的另外的特征矢量的步骤。

14.根据权利要求13所述的方法，其中，所述连续部分彼此重叠。

15.根据权利要求1，4或9所述的方法，包括在导出所述特征矢量前对一维表示进行定标以补偿该表示的动态范围中的变化的步骤。

16.根据权利要求1，4或9所述的方法，其中，图像的一维表示代表该图像的灰度级的变化。

17.根据权利要求1，4或9所述的方法，其中该特征矢量表示二维图像。

18.根据权利要求1，4或9所述的方法，该方法还包括以下步骤：通过确定特征空间中多个预定区域中的哪一个区域包含该特征矢量，对由该特征矢量表示的图像进行分类。

19.一种用于分析图像的设备，该设备具有用于导出表示该图像的特征矢量的装置，所述导出装置包括：

(i)使用预定的映射函数导出图像的一维表示的装置，该一维表示具有一个级，该级连续变化以表示该图像的各相邻区域；和

(ii)用于导出至少一个速率值以形成所述特征矢量的装置，

所述速率值表示所述的级跨越一个速率阈值函数的级的速率。

20.一种用于分析图像的设备，该设备具有用于导出表示所述图像的特征矢量的装置，所述导出装置包括：

(i)使用预定映射函数以导出图像的一维表示的装置，该一维表示具有一个级，该级连续变化以表示该图像的各相邻区域；和

(ii)用于导出依赖于一个速率的至少一个斜率值以形成所述特征矢量的装置，当所述级在跨越一个斜率阈值函数的级时它以该速率变化。

21.一种用于分析图像的设备，该设备包括用于导出表示所述图像的特征矢量的装置，所述导出装置包括：

(i)使用预定的映射函数导出图像的一维表示的装置，该一维表示具有一个级，该级连续变化以表示该图像的相邻区域；和

(ii)用于导出至少一个持续时间值以形成所述特征矢量的装置，所述至少一个持续时间值依赖于一个间隔的长度，在所述间隔中所述级保持高于一个持续时间阈值函数的级，或者所述至少一个持续时间值依赖于一个间隔的长度，在所述间隔中所述级保持低于所述持续时间阈值函数的级。