CN101799925A - 一种图像自动分割结果的性能分析方法 - Google Patents

Abstract

本发明公开了一种图像自动分割结果的性能分析方法，本发明通过计算多个手工标注的分割结果之间在像素上的感知一致程度，赋予每个像素不同的权重，感知一致程度越高，像素的对应权重就越高，最后计算出加权后的评价指数，作为待评价的分割结果的最终评价指数。采用本发明方法得到的性能分析指标，由于定义了能够定量的反应出由某种计算机算法所处理的图像自动分割结果与人工标注的分割结果的符合程度，从而，客观的反应出某种计算机图像自动分割算法与人类视觉感知在图像自动分割上的接近程度。

Description

一种图像自动分割结果的性能分析方法

技术领域

本发明属于计算机视觉领域，具体涉及一种对图像自动分割结果的性能分析方法。

背景技术

图像分割是计算机视觉领域中一个重要的基础性研究方向，其目的是将一幅图像划分成一些独立的区域，使得在每一个独立的区域内，像素具有相似的统计特性，例如，灰度，颜色，纹理等。有效的图像分割结果将有助于应用系统中的后续各项处理，一方面，可以通过研究每个区域的颜色和纹理，对图像中场景的类别进行识别；另一方面，也可以通过研究区域轮廓的几何形状，对图像场景的物体进行识别或提取。从信息学的角度出发，处理分割后的图像区域，较之直接处理图像中的像素，将大大减小待处理的信息量。

目前，虽然关于图像分割算法的研究已取得了突破性进展，然而在实际应用中，我们仍然面临究竟选用哪种分割算法的问题。采用有效的分割算法，其结果能够符合人类视觉感知，从而有助于高层图像信息的处理。这就涉及到了对图像分割结果的评价。传统方法主要采用主观定性的评价，为了更为客观的评价现有分割算法的结果，美国加州伯克利分校的研究者们建立了一个公开的手工标注图像分割数据库(参考：Martin，D.，Fowlkes，C.，Tal，D.，Malik，J.：A database of human segmented natural images and itsapplication to evaluating segmentation algorithms and measuring ecologicalstatistics.In：Int.Conf.on Computer Vision(ICCV).(2001)416-425)，该库收集了几百幅涵盖各类场景的自然图像，并且为每一幅图像提供了5至7个手工标注的分割结果，每一个分割结果代表着人们对图像在不同感知尺度上的理解。目前，该库已成为评价分割算法的一个默认的标准数据库。利用该数据库提供的手工标注分割结果，研究者们定义出不同评价方法(performance measure)，用于衡量某一分割算法的结果与对应的手工标注分割结果之间的距离或相似度，从而判断该分割算法的有效性。目前有四种主流的评价指数，分别是，概率Rand指数(Probabilistic Rand Index，PRI)，信息变化指数(Variation of Information，VoI)，全局一致性误差指数(GlobalConsistency Error，GCE)，和边界偏移误差指数(Boundary DisplacementError，BDE)。

虽然上述四种评价指数从不同角度对分割结果进行了评价，然而它们均采用了简单的求和取平均的方法，即，先求出待评价的分割结果与每一个手工标注分割结果之间的距离或相似度，然后将所有的距离或相似度相加之后，再取平均值作为最终的评价指数。这种做法忽略了数据库中手工标注的分割结果(5至7个)之间的感知一致性。事实上，对于一幅图像，它的几个手工标注分割结果虽然有所不同，但在图像中的显著区域上(比如，一个具体的前景物体)，所有的手工标注分割结果都是保持一致的。而手工标注的分割结果之间所存在的不同往往体现在图像中的非显著区域上(比如，背景区域)，因此，在计算最终分析指数时，我们应当区别对待这些感知一致程度不同的区域。

发明内容

本发明的目的在于提供一种图像自动分割结果的性能分析方法，该方法得到的性能指标能够定量的反应出由某种计算机算法所处理的图像自动分割结果与人工标注的分割结果的符合程度。

本发明提供的一种图像自动分割结果的性能分析方法，包括下述步骤：

(1)假设一幅图像为X＝{x₁，…，x_i，…，x_N}，由N个像素组成，x_i是第i个像素，i∈{1，…，N}；将该图像的手工标注的分割结果记为G＝{G¹，…G^k，…，G^M}，其中，M为分割结果的个数，每个分割结果包含n个分割区域R_j，每个分割结果记为G^k＝{R₁，…，R_j…，R_n}，j∈{1，…，n}，k∈{1，…，M}；然后计算每个像素x_i的局部一致程度LCD(x_i)，其计算公式为：

$\mathrm{LCD}\left(x_i\right)=\frac{{\max }_{a=1,...M}\left\{\underset{b=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{IsSimilar}(R_a^{x_i},R_b^{x_i})\right\}}{M}$

式中

a，b∈{1，…，M}，分别表示第a个手工标注的分割结果G^a和第b个手工标注的分割结果G^b中包含像素x_i的分割区域；函数

用来计算两个区域的相似程度，其计算公式为：

其中，操作|.|表示对分割区域面积的计算；

对图像X＝{x₁，…，x_i，…，x_N}的每个像素计算局部一致程度LCD(x_i)的值，得到一个LCD图；

(2)对于图像X的一个待分析的自动分割结果，记为S＝{S₁，…S_i…，S_m}，即由m个区域构成，S_t表示其中的一个分割区域，t∈{1，…，m}；

(2.1)对于图像X＝{x₁，…，x_i，…，x_N}的每个像素x_i，定义从第k个手工标注分割结果G^k到S的局部评价指标LI_GS ^k为：

${\mathrm{LI}}_{\mathrm{GS}}^k(G^k,S,x_i)=\frac{{\mathrm{\Σ}}_{x_p}\mathrm{LCD}\left(x_p\right)}{{\mathrm{\Σ}}_{x_q}\mathrm{LCD}\left(x_q\right)},k\∈\{1,...,M\}$

像素

像素

其中区域为第k个手工标注结果中包含像素x_i的分割区域，R_s表示待分析的分割结果S中与

相交的区域，其定义为：

R_s＝∪S_t，其中S_t∈S，t∈{1，…，m}且满足

其中 $\mathrm{\α}(R_k^{x_i},S_t)=\max \{\frac{|R_k^{x_i}\∩S_t|}{\left|R_k^{x_i}\right|},\frac{|R_k^{x_i}\∩S_t|}{\left|S_t\right|}\}$

(2.2)对于X＝{x₁，…，x_i，…，x_N}的每个像素x_i，定义从S到第k个手工标注分割结果G^k的局部评价指标LI_SG ^k为：

${\mathrm{LI}}_{\mathrm{SG}}^k(S,G^k,x_i)=\frac{{\mathrm{\Σ}}_{x_p^{\′}}\mathrm{LCD}\left(x_p^{\′}\right)}{{\mathrm{\Σ}}_{x_q^{\′}}\mathrm{LCD}\left(x_q^{\′}\right)},k\∈\{1,...,M\}$

像素

像素

其中区域

表示S中包含像素x_i的分割区域；为第k个手工标注分割结果G^k中与

相交的区域，其定义如下：

其中R_j∈G^k，j∈{1，…，n}且满足

其中 $\mathrm{\α}(R_j,S^{x_i})=\max \{\frac{|R_j\∩S^{x_i}|}{\left|R_j\right|},\frac{|R_j\∩S^{x_i}|}{\left|S^{x_i}\right|}\}$

(2.3)对步骤(2.1)与步骤(2.2)中得到的LI_GS ^k(G^k，S，x_i)与LIS_Gk(S，G^k，x_i)进行数据融合，计算出待分析的自动分割结果S＝{S₁，…，S_m}针对第k个手工标注结果G^k在像素x_i的最终局部评价指标

计算公式为：

${\mathrm{LI}}_S^{G^k}\left(x_i\right)=\frac{({\mathrm{LI}}_{\mathrm{GS}}^k(G^k,S,x_i)+{\mathrm{LI}}_{\mathrm{SG}}^k(S,G^k,x_i))}{2}$

(3)对图像X＝{x₁，…，x_i，…，x_N}，根据步骤(1)中得到的LCD(x_i)与步骤(2.3)中得到的

定义如下两个向量值：

LCD(X)＝[w₁，…，w_i…，w_N]

其中w_i＝LCD(x_i)

${\mathrm{LI}}_S^{G^k}\left(X\right)=[{\mathrm{LI}}_S^{G^k}\left(x_1\right),...,{\mathrm{LI}}_S^{G^k}\left(x_i\right),...,{\mathrm{LI}}_S^{G^k}\left(x_N\right)]$

最后定义图像自动分割结果S的评价指标I(S)为：

$I\left(S\right)=\frac{1}{M}*\frac{{\mathrm{\Σ}}_{G^k\∈G}{\mathrm{LI}}_S^{G^k}\left(X\right)\·{\mathrm{LCD}\left(X\right)}^T}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i},k\∈\{1,...,M\}.$

对于一幅图像，它的几个手工标注分割结果虽然有所不同，但在图像中的显著区域上(比如，一个具体的前景物体)，所有的手工标注分割结果都是保持一致的。而手工标注的分割结果之间所存在的不同往往体现在图像中的非显著区域上(比如，背景区域)，因此，在计算最终评价指数时，我们应当区别对待这些感知一致程度不同的区域。

通过计算多个手工标注的分割结果之间在像素上的感知一致程度，我们赋予每个像素不同的权重。感知一致程度越高，像素的对应权重就越高，最后计算出加权后的评价指数，作为待评价的分割结果的最终评价指数。

采用本发明方法得到的性能分析指标，由于定义了能够定量的反应出由某种计算机算法所处理的图像自动分割结果与人工标注的分割结果的符合程度，从而，客观的反应出某种计算机图像自动分割算法与人类视觉感知在图像自动分割上的接近程度。

附图说明

图1为本发明方法的流程图；

图2(a)为来自伯克利手工标注图像分割数据库的一张图片，图2(1)-(6)是其6个手工标注分割结果。图2(b)是本发明中对图2(a)计算出的LCD图，图2(c)是图2(b)对应的显示数值条；

图3(a)为图2(a)的一个分割结果，图3(1)-(6)依次为图3(a)针对图2(1)-(6)所计算出的

图，图3(b)是图3(1)-(6)对应的显示数值条；

图4(a)为来自伯克利手工标注图像分割数据库的另一张图片，图4(b)-(f)由同一自动分割算法通过遍历系统参数，根据不同的分析方法选择出的对图4(a)的最佳分割结果。图4(b)对应本发明中WJI的结果，图4(c)对应PRI的结果，图4(d)对应BDE的结果，图4(e)对应VOI的结果，图4(f)对应GCE的结果。每幅图下面还给出了本发明中WJI的指标数值。

具体实施方式

下面通过借助实施例和附图更加详细地说明本发明，但以下实施例仅是说明性的，本发明的保护范围并不受这些实施例的限制。

如图1所示，具体过程为：

(1)假设一幅图像为X＝{x₁，…，x_i，…x_N}，由N个像素组成，x_i是第i个像素。对于该图像的M个手工标注的分割结果，记为G＝{G¹，…G^k，…，G^M}，通常M取5至7，其中每一个手工分割结果记为G^k＝{R₁，…，R_j…，R_n}，k∈{1，…，M}，它包含n个分割区域，其中每个区域记为R_j，j∈{1，…，n}。然后计算像素x_i的局部一致程度(Local Consitency Degree)，其计算公式为：

$\mathrm{LCD}\left(x_i\right)=\frac{{\max }_{a=1,...M}\left\{\underset{b=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{IsSimilar}(R_a^{x_i},R_b^{x_i})\right\}}{M}$

式中

a，b∈{1，…，M}，分别表示第a个手工标注的分割结果G^a和第b个手工标注的分割结果G^b中包含像素x_i的分割区域。函数

用来计算两个区域的相似程度，其计算公式为：

其中，操作|.|表示对区域面积的计算。

LCD(x_i)取值范围是[0，1]，对图像X＝{x₁，…，x_i，…x_N}的每个像素计算LCD值，该值即作为步骤(3)中每个像素的权重。图2(a)为来自伯克利手工标注图像分割数据库的一张图片，图2(1)-(6)是其6个手工标注分割结果，即本发明中的M等于6，每一个手工标注结果所包含的分割区域均由不同的颜色表示。图2(b)就是根据图2(a)的6个手工标注分割结果(1)-(6)计算出的LCD图，图(c)是图(b)对应的显示数值条。

(2)对于图像X的一个待分析的自动分割结果，记为S＝{S₁，…S_t…，S_m}，即由m个区域构成，S_t，t∈{1，…，m}表示其中的一个分割区域。

自动分割结果是指由计算机利用某种算法(包括各种已知或未知的分割算法)所生成的分割结果，本发明也就是用于对其分割质量进行评价。

(2.1)对于图像X＝{x₁，…，x_i，…，x_N}的每个像素x_i，定义从第k个手工标注分割结果G^k到S的局部评价指标(Local Index)为：

${\mathrm{LI}}_{\mathrm{GS}}^k(G^k,S,x_i)=\frac{{\mathrm{\Σ}}_{x_p}\mathrm{LCD}\left(x_p\right)}{{\mathrm{\Σ}}_{x_q}\mathrm{LCD}\left(x_q\right)},k\∈\{1,...,M\}$

式中函数LCD(.)为步骤(1)中的局部一致程度，像素

像素

其中区域

为第k个手工标注结果中包含像素x_i分割区域，R_s表示待分析的分割结果S中与

相交的区域，其定义为：

R_s＝∪S_t，其中S_t∈S，t∈{1，…，m}且满足

其中 $\mathrm{\α}(R_k^{x_i},S_t)=\max \{\frac{|R_k^{x_i}\∩S_t|}{\left|R_k^{x_i}\right|},\frac{|R_k^{x_i}\∩S_t|}{\left|S_t\right|}\}$

(2.2)同理，对于X＝{x₁，…，x_i，…，x_N}的每个像素x_i，定义从S到第k个手工标注分割结果G^k的局部评价指标(Local Index)为：

${\mathrm{LI}}_{\mathrm{SG}}^k(S,G^k,x_i)=\frac{{\mathrm{\Σ}}_{x_p^{\′}}\mathrm{LCD}\left(x_p^{\′}\right)}{{\mathrm{\Σ}}_{x_q^{\′}}\mathrm{LCD}\left(x_q^{\′}\right)},k\∈\{1,...,M\}$

式中函数LCD(.)为步骤(1)中的局部一致程度，此时像素

像素

其中区域

表示S中包含像素x_i的区域。

为第k个手工标注分割结果G^k中与

相交的区域，其定义如下：

其中R_j∈G^k，j∈{1，…，n}且满足

其中 $\mathrm{\α}(R_j,S^{x_i})=\max \{\frac{|R_j\∩S^{x_i}|}{\left|R_j\right|},\frac{|R_j\∩S^{x_i}|}{\left|S^{x_i}\right|}\}$

(2.3)对(2.1)与(2.2)中定义的LI_GS ^k(G^k，S，x_i)与LI_SG ^k(S，G^k，x_i)进行数据融合，计算出待分析的自动分割结果S＝{S₁，…，S_m}针对第k个手工标注结果G^k在像素x_i的最终局部评价指标，计算公式为：

${\mathrm{LI}}_S^{G^k}\left(x_i\right)=\frac{({\mathrm{LI}}_{\mathrm{GS}}^k(G^k,S,x_i)+{\mathrm{LI}}_{\mathrm{SG}}^k(S,G^k,x_i))}{2}$

取值范围是[0，1]，对图像X＝{x₁，…，x_i，…，x_N}的每个像素计算值，可以得到一个图。图3中的图片(a)是图2中图片(a)的一个计算机分割结果，即为本发明中一个待分析的分割结果S。图2中的图片(1)-(6)依次即为图3(a)与图2中6个手工标注分割结果(1)-(6)计算出的

图，图3(b)是对应的显示数值条。

(3)对图像X＝{x₁，…，x_i，…x_N}，根据步骤(1)中得到的LCD(x_i)与步骤(2.3)中得到的

定义如下两个向量值：

LCD(X)＝[w₁，…，w_i…，w_N]

其中w_i＝LCD(x_i)

${\mathrm{LI}}_S^{G^k}\left(X\right)=[{\mathrm{LI}}_S^{G^k}\left(x_1\right),...,{\mathrm{LI}}_S^{G^k}\left(x_i\right),...,{\mathrm{LI}}_S^{G^k}\left(x_N\right)]$

最后定义本发明中对图像自动分割结果S的分析指标为：

$I\left(S\right)=\frac{1}{M}*\frac{{\mathrm{\Σ}}_{G^k\∈G}{\mathrm{LI}}_S^{G^k}\left(X\right)\·\mathrm{LCD}{\left(X\right)}^T}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i},k\∈\{1,...,M\}$

I(S)的取值范围是[0，1]，该指标的数值越大，说明由某种计算机算法(在特定系统参数下)对图像进行的自动分割的结果越接近手工标注的分割结果。

为了验证本发明中图像自动分割分析指标的有效性，我们通过遍历一个计算机自动分割算法(参考：Cour，T.，Benezit，F.，Shi，J..Spectralsegmentation with multiscale graph decom position.Proc.Comput.Vis.andPattern.Recognition，2005)的系统参数得到一组自动分割的结果，然后由本发明中的分析指标与现有分析方法PRI，VOI，GCE，BDE各自选择出一个最佳的分割结果。通过比较这些最佳分割结果，我们可以从某种程度上判断这些分析指标的有效性。图4(a)为来自伯克利手工标注图像分割数据库的另一张图片，图4(b)对应本发明分析指标I(S)所选择出的最佳分割结果，图4(c)对应PRI选择出的最佳分割结果，图4(d)对应BDE选择出的最佳分割结果，图4(e)对应VOI选择出的最佳分割结果，图4(f)对应GCE选择出的最佳分割结果。每幅图下面还给出了本发明中I(S)的指标数值。我们可以看出，从人类视觉感知的角度出发，由本发明分析指标I(S)选择出的结果最好。

根据本发明的典型实施例，用于实现本发明的计算机系统可以包括，特别是，中央处理器(CPU)、存储器和输入/输出(I/O)接口。计算机系统通常通过I/O接口与显示器和诸如鼠标和键盘此类的各种输入设备相连，配套电路可以包括像高速缓存、电源、时钟电路和通信总线这样的电路。存储器可以包括随机存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带机等，或它们的组合。计算机平台还包括操作系统和微指令代码。此处所述各种过程和功能可以是通过操作系统执行的微指令代码或应用程序(或它们的组合)的一部分。此外，各种其他外围设备可以连接到该计算机平台，如附加数据存储设备和打印设备。

Claims (1)

1.一种图像自动分割结果的性能分析方法，其特征在于，该方法包括下述步骤：

(1)假设一幅图像为X＝{x₁，...，x_i，...，x_N}，由N个像素组成，x_i是第i个像素，i∈{1，...，N}；将该图像的手工标注的分割结果记为G＝{G¹，...G^k，...，G^M}，其中，M为分割结果的个数，每个分割结果包含n个分割区域R_j，每个分割结果记为G^k＝{R₁，...，R_j...，R_n}，j∈{1，...，n}，k∈{1，...，M)；然后计算每个像素x_i的局部一致程度LCD(x_i)，其计算公式为：

式中

a，b∈{1，...，M)，分别表示第a个手工标注的分割结果G^a和第b个手工标注的分割结果G^b中包含像素x_i的分割区域；函数

用来计算两个区域的相似程度，其计算公式为：

其中，操作|.|表示对分割区域面积的计算；

对图像X＝{x₁，...，x_i，...，x_N}的每个像素计算局部一致程度LCD(x_i)的值；

(2)对于图像X的一个待分析的自动分割结果，记为S＝{S₁，...S_t...，S_m}，即由m个区域构成，S_t表示其中的一个分割区域，t∈{1，...，m}；

(2.1)对于图像X＝{x₁，...，x_i，...，x_N}的每个像素x_i，定义从第k个手工标注分割结果G^k到S的局部评价指标LI_GS ^k为：

k∈{1，...，M}

像素

像素

其中区域

为第k个手工标注结果中包含像素x_i的分割区域，R_s表示待分析的分割结果S中与

相交的区域，其定义为：

R_s＝∪S_t，其中S_t∈S，t∈{1，...，m}且满足

其中

(2.2)对于X＝{x₁，...，x_i，...，x_N}的每个像素x_i，定义从S到第k个手工标注分割结果G^k的局部评价指标LI_SG ^k为：

k∈{1，...，M}

像素

像素

其中区域

表示S中包含像素x_i的分割区域；

为第k个手工标注分割结果G^k中与

相交的区域，其定义如下：

其中R_j∈G^k，j∈{1，...，n}且满足

其中

(2.3)对步骤(2.1)与步骤(2.2)中得到的LI_GS ^k(G^k，S，x_i)与LI_SG ^k(S，G^k，x_i)进行数据融合，计算出待分析的自动分割结果S＝{S₁，...，S_m}针对第k个手工标注结果G^k在像素x_i的最终局部评价指标

计算公式为：

(3)对图像X＝{x₁，...，x_i，...，x_N}，根据步骤(1)中得到的LCD(x_i)与步骤(2.3)中得到的

定义如下两个向量值：

LCD(X)＝[w₁，...，w_i...，w_N]

其中w_i＝LCD(x_i)

最后定义图像自动分割结果S的评价指标I(S)为：

k∈{1，...，M}。

Images