CN106780422A - 一种基于Choquet积分的显著图融合方法 - Google Patents

Abstract

本发明属于图像处理领域，涉及一种基于Choquet积分的显著图融合方法，解决多种显著性检测方法得到显著图的有效融合问题。首先，使用要融合的显著性检测方法生成各自的显著图。其次，计算各显著图间的相似系数与相似矩阵，进而得到各幅显著图的被支持度与可信度。然后，将各显著图的可信度作为Choquet积分中的模糊测度值。与此同时，对要融合的显著图进行像素级的排序，将排序的离散显著值作为Choquet积分中的非负实值可测函数。最后，计算Choquet积分值得到最后的显著图。该方法能够识别出图像中的最显著部分，融合现有优秀显著性检测方法各自的优势，得到的检测效果优于各合成方法独自进行显著性检验时的效果。

Description

一种基于Choquet积分的显著图融合方法

技术领域

本发明属于图像处理领域，涉及一种基于Choquet积分的显著图融合方法。

背景技术

图像显著性检测旨在找出图像中最重要的部分，是计算机视觉领域用来降低计算复杂度的重要的预处理步骤，在图像压缩、目标识别、图像分割等领域有着广泛的应用，同时它又是计算机视觉中具有挑战性的问题，吸引着大量学者的研究兴趣。目前已出现了大量优秀的图像显著性检测的方法，这些方法各自都有自己的优势与不足，即使是同一种显著性检测方法，对于不同的图片检测效果也是差异巨大的。为此能够融合多种显著性检测方法的结果，以得到更优显著图的方法就显得尤为重要了。有一些传统的显著图融合的方法，它们多是对于多幅显著图进行简单的加和平均或是简单相乘取平均，这种显著图融合方式将各种显著图同等对待，把各种显著性检测方法的权值设为同一数值，这在实际中是不合理的，因为对于一幅图片甚至是每一个像素点，各种显著性检测方法的检测效果都是不同的，为此各显著性检测方法的权值也理应设置不同。当前也存在一些研究融合多幅显著图的方法，如Mai等人利用条件随机场(CRF)来融合多幅显著图，但计算速度太慢；Qin等人利用多层元胞自动机(MCA)来融合多幅显著图，得到了非常好的效果，但是其召回率方面效果并不能令人满意。

我们发现Choquet积分在目标识别及多分类器融合中表现出的优异性，考虑到Choquet积分中的模糊测度将各种决策的重要程度考虑在内，这在融合多种显著性检测算法得到的显著图时是非常合理的，但Choquet积分在显著性检测领域还没有应用，本发明将Choquet积分应用范围扩展到图像显著性检测领域，使用Choquet积分对多幅显著图进行像素级的融合，充分利用多个显著图的优点，提高了显著性检测的效果，融合后的效果明显高于各单独的显著性检测方法的效果，在准确率与召回率上均得到了很好的效果。

发明内容

本发明提出了一种基于Choquet积分的显著图融合方法，目的在于克服上述现有技术的不足，得到一种更优的多幅显著图的融合方法。

为了实现上述目的，本发明的技术方案为：

一种基于Choquet积分的显著图融合方法，包括以下步骤：

第一步，使用要融合的n种(n>1)方法生成n幅初始显著图，由n幅显著图组合得到有限集合X＝{x₁,x₂,…,x_n}，其中x_n表示第n幅显著图。我们可以将每一幅显著图都当作是一种分类器，将显著性检测视为一种二分类问题，得到决策剖面的矩阵DP表示如公式(1)所示：

其中第一列为各分类器判定像素点为前景的可能性，第二列为各分类器判定像素点为背景的可能性，每一行代表一种分类器。第i(1≤i≤n)个分类器判定像素点为前景的概率F_i表示为F_i＝f(x_i)，判定像素点为背景的概率B_i表示为B_i＝1-f(x_i)，其中f(x_i)为第i幅显著图的显著值(本发明是在像素级对显著图进行融合，发明中指出的显著图的显著值均指对应某一像素处的显著值)。为此我们可以将融合多幅显著图的问题转化为求DP矩阵第一列对应的Choquet积分问题。

第二步，计算各显著图间相关系数，求出相似矩阵。相似系数d_ij的计算如公式(2)所示：

其中||f(x_i),f(x_j)||表示第i幅显著图与第j幅显著图显著值的欧氏距离，本发明中σ²＝0.1。相似系数d_ij用来描述显著图间的相似程度，d_ij∈[0,1]，其值越大表示显著图x_i与x_j间越相似。

由相关系数，我们可以得到n幅显著图所对应的相似矩阵如公式(3)所示：

第三步，求出各显著图间的支持度与可信度。显著图x_i的被支持度表示被其他显著图的支持程度，如果一幅显著图和其他显著图都比较相似，则认为他们的相互支持度也较高，显著图x_i的被支持度Sup(x_i)计算公式如公式(4)所示：

显著图的可信度反映了某幅显著图得到显著值的可信程度，一般一幅显著图被其他显著图所支持的程度越高，该显著图可信度就越大，显著图的可信度计算如公式(5)所示：

第四步，求出各显著图组成有限集合X幂集的模糊测度。我们定义Y是由X的子集构成的幂集，μ:Y→[0,1]表示从幂集Y到[0,1]的映射，本发明中我们取μ为我们的模糊测度，其满足μ(φ)＝0，μ(X)＝1，为正则模糊测度。我们知道λ模糊测度计算公式如公式(6)所示：

μ(A∪B)＝μ(A)+μ(B)+λμ(A)μ(B) (6)

其中存在常数λ＞-1。λ的值可以通过求解公式(7)，公式(8)来得到。

μ_i＝μ({x_i})＝Crd(x_i) (8)

其中μ_i表示显著图x_i对最终融合结果的重要程度，幂集Y中的其他测度值可由公式(6)进行计算。

第五步，对于显著图每一像素处，我们定义Choquet积分中的非负实值可测函数f:X→[0,1]是离散值函数，函数值为{f(x₁),f(x₂),…,f(x_n)}，其中f(x_n)为第n幅显著图的显著值。对n幅显著图进行排序，使得排序后的函数f满足0＝f(x_θ(0))≤f(x_θ(1))≤…≤f(x_θ(n))≤1，其中θ为排序函数。

第六步，计算Choquet积分得到融合的显著图。我们知道Choquet模糊积分的定义如公式(9)所示：

其中α∈[0,∞)，本发明中X为有限集合，因此可由公式(9)得到我们的Choquet积分计算公式如公式(10)，公式(11)，公式(12)，公式(13)所示：

μ(K_θ(n))＝μ({x_θ(n)})＝μ_θ(n) (11)

μ({x_θ(i)})＝μ_θ(i) (12)

μ(K_θ(i))＝μ_θ(i)+μ(K_θ(i+1))+λμ_θ(i)μ(K_θ(i+1)),i＝2,...,n (13)

其中K_θ(i)＝{x_θ(i),x_θ(i+1),…,x_θ(n)},i＝1,2,...,n,μ_θ(i)是与f(x_θ(i))相对应的模糊测度。计算得到(c)∫fdμ的值即为在某一像素点处，使用Choquet积分融合n种显著图得到的融合后显著值。

本发明的有益效果为：该方法区别于已有方法的特色在于综合利用各种显著性检测方法的优点，得到的效果优于每个单独显著性检测方法的结果。同时与传统的融合多显著图的方法相比，本发明区别对待各种要融合的显著性检测方法，分别赋予不同的权值，效果更优。另外本发明还首次将Choquet积分理论引入到了显著性检测领域，并得到了无论是准确率还是召回率都较优的效果。

附图说明

图1是本发明方法的流程示意图；

图2是不同算法的显著性检测结果对比图；(a)待检测图片，(b)真值，(c)BSCA算法得到的显著性结果，(d)DSR算法得到的显著性结果，(e)HS算法得到的显著性结果，(f)RBD算法得到的显著性结果，(g)MR算法得到的显著性结果，(h)MCA融合上述5种算法得到的显著性结果，(i)本发明得到的显著性检测结果；

图3为本发明与其他显著性检测方法在ECSSD标准数据库上的PR(准确率、召回率)曲线；

图4为本发明与其他显著性检测方法在DUT-OMRON标准数据库上的PR(准确率、召回率)曲线；

图5为本发明与其他显著性检测方法在MSRA10K标准数据库上的PR(准确率、召回率)曲线；

具体实施方式

下面结合附图对本发明的实施方式进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明在三个标准的数据库上对提出的算法进行测试：ECSSD数据库，该数据库包含了1000张图片，图片大小不同且有多种目标，其中一些图片取自非常难的伯克利300数据库。MSRA10K数据库，它是MSRA数据库的扩展，包含10000张图片，覆盖了ASD数据集中的所有1000张图片，包含了很多复杂背景的图片。DUT-OMRON数据库，该数据库中包含5168张图片，含有像素级别的真值标注，图片背景复杂，目标大小不同，具有很大的挑战性。这三个数据库都有相应的人工标定的显著性区域图。

图1是本发明方法的流程示意图；图2是本发明与其他不同算法的显著性检测结果对比图；图3、图4、图5是不同显著性检测方法在三个标准数据库上PR(准确率，召回率)曲线。实现本发明的具体步骤为：

第一步，使用BSCA，DSR，HS，RBD，MR等5种显著性检测方法生成5幅初始显著图。由这5幅显著图组合得到有限集合X＝{x₁,x₂,x₃,x₄,x₅}，其中x₁表示BSCA方法得到的显著图，x₂表示DSR方法得到的显著图，以此类推。我们将显著性检测视为一种二分类问题，得到决策剖面的矩阵DP表示如公式(1)所示：

其中第一列为各分类器判定像素点为前景的可能性，第二列为各分类器判定像素点为背景的可能性，每一行代表一种分类器。第i(1≤i≤5)个分类器判定像素点为前景的概率F_i表示为F_i＝f(x_i)，判定像素点为背景的概率B_i表示为B_i＝1-f(x_i)，其中f(x_i)为第i幅显著图的显著值(本发明是在像素级对显著图进行融合，发明中指出的显著图的显著值均指对应某一像素处的显著值)。为此我们将融合多幅显著图的问题转化为求DP矩阵第一列对应的Choquet积分问题。

第二步，计算5幅显著图间相关系数，求出相似矩阵。相似系数d_ij的计算如公式(2)所示：

其中||f(x_i),f(x_j)||表示第i(1≤i≤5)幅显著图与第j(1≤j≤5)幅显著图显著值的欧氏距离，本发明中σ²＝0.1。相似系数d_ij用来描述显著图间的相似程度，d_ij∈[0,1]，其值越大表示显著图x_i与x_j间越相似。

由相关系数，我们可以得到5幅显著图所对应的相似矩阵如公式(3)所示：

第三步，求出各显著图间的支持度与可信度。显著图x_i的被支持度表示被其他4幅显著图支持的程度，如果一幅显著图和其他4幅显著图都比较相似，则认为他们的相互支持度也较高，显著图x_i的被支持度Sup(x_i)计算公式如公式(4)所示：

显著图的可信度反映了某幅显著图得到显著值的可信程度，一般一幅显著图被其他其他4幅显著图所支持的程度越高，该显著图可信度就越大，显著图的可信度计算如公式(5)所示：

第四步，求出各显著图组成有限集合X幂集的模糊测度。我们定义Y是由X的子集构成的幂集，μ:Y→[0,1]表示从幂集Y到[0,1]的映射，本发明中我们取μ为我们的模糊测度，其满足μ(φ)＝0，μ(X)＝1，为正则模糊测度。我们知道λ模糊测度计算公式如公式(6)所示：

μ(A∪B)＝μ(A)+μ(B)+λμ(A)μ(B) (6)

其中存在常数λ＞-1。λ的值可以通过求解公式(7)，公式(8)来得到。

μ_i＝μ({x_i})＝Crd(x_i) (8)

其中μ_i表示显著图x_i对最终融合结果的重要程度，幂集Y中的其他测度值可由公式(6)进行计算。本发明中为保证显著性区域检测的效率，我们取λ的值为0，也可以说我们所使用的测度满足概率测度。

第五步，对于显著图每一像素处，我们定义Choquet积分中的非负实值可测函数f:X→[0,1]是离散值函数，函数值为{f(x₁),f(x₂),…,f(x₅)}，其中f(x_i)为第i(1≤i≤5)幅显著图的显著值。在每一个像素处，对5幅显著图进行排序，使得排序后的函数f满足0＝f(x_θ(0))≤f(x_θ(1))≤…≤f(x_θ(5))≤1，其中θ为排序函数。

第六步，计算Choquet积分得到融合的显著图。我们知道Choquet模糊积分的定义如公式(9)所示：

其中α∈[0,∞)，本发明中X为有限集合，因此可由公式(9)得到我们的Choquet积分计算公式如公式(10)，公式(11)，公式(12)，公式(13)所示：

μ(K_θ(5))＝μ({x_θ(5)})＝μ_θ(5) (11)

μ({x_θ(i)})＝μ_θ(i) (12)

μ(K_θ(i))＝μ_θ(i)+μ(K_θ(i+1))+λμ_θ(i)μ(K_θ(i+1)),i＝2,...,n (13)

其中K_θ(i)＝{x_θ(i),x_θ(i+1),…,x_θ(5)},i＝1,2,...,5,μ_θ(i)是与f(x_θ(i))相对应的模糊测度。计算得到(c)∫fdμ的值即为在某一像素点处，使用Choquet积分融合5种显著图得到的融合后显著值。

至此本发明就得到了融合BSCA，DSR，HS，RBD，MR5种方法最终的显著图。

Claims (1)

1.一种基于Choquet积分的显著图融合方法，其特征在于，包括如下步骤：

第一步，使用要融合的n种(n>1)方法生成n幅初始显著图，由n幅显著图组合得到有限集合X＝{x₁,x₂,…,x_n}，其中x_n表示第n幅显著图。我们将显著性检测视为一种二分类问题，得到决策剖面的矩阵DP表示如公式(1)所示：

$DP=\left(\begin{array}{cc}{F}_1& B_1\\ F_2& B_2\\ .& .\\ .& .\\ .& .\\ F_n& B_n\end{array}\right)---\left(1\right)$

其中第一列为各分类器判定像素点为前景的可能性，第二列为各分类器判定像素点为背景的可能性，每一行代表一种分类器。第i(1≤i≤n)个分类器判定像素点为前景的概率F_i表示为F_i＝f(x_i)，判定像素点为背景的概率B_i表示为B_i＝1-f(x_i)，其中f(x_i)为第i幅显著图的显著值。

第二步，计算各显著图间相关系数，求出相似矩阵。相似系数d_ij的计算如公式(2)所示：

$d_{ij}=e^{-\frac{\left|\right|f\left(x_i\right),f\left(x_j\right)\left|\right|}{{\mathrm{\σ}}^2}}---\left(2\right)$

其中||f(x_i),f(x_j)||表示第i幅显著图与第j幅显著图显著值的欧氏距离，本发明中σ²＝0.1，d_ij∈[0,1]。

由相关系数，我们可以得到n幅显著图所对应的相似矩阵如公式(3)所示：

$S={\left[\begin{array}{cccc}1& d_{12}& \mathrm{...}& d_{1n}\\ d_{21}& 1& \mathrm{...}& d_{2n}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ d_{n1}& d_{n2}& \mathrm{...}& 1\end{array}\right]}_{n\×n}---\left(3\right)$

第三步，求出各显著图间的支持度与可信度。显著图x_i的被支持度Sup(x_i)计算公式如公式(4)所示：

$Sup\left(x_i\right)=\underset{j=1}{\overset{n}{\Σ}}{d}_{ij},(i,j=1,2,...,n)---\left(4\right)$

显著图的可信度计算如公式(5)所示：

$Crd\left(x_i\right)=\frac{Sup\left(x_i\right)}{\underset{i=1}{\overset{n}{\Σ}}Sup\left(x_i\right)}---\left(5\right)$

第四步，求出各显著图组成有限集合X幂集的模糊测度。我们定义Y是由X的子集构成的幂集，μ:Y→[0,1]表示从幂集Y到[0,1]的映射，本发明中我们取μ为我们的模糊测度，其满足μ(φ)＝0，μ(X)＝1，为正则模糊测度。λ模糊测度计算公式如公式(6)所示：

μ(A∪B)＝μ(A)+μ(B)+λμ(A)μ(B) (6)

其中B∈Y,A∩B＝φ，存在常数λ＞-1。λ的值通过求解公式(7)，公式(8)来得到。

$1+\mathrm{\λ}=\underset{i=1}{\overset{n}{\Π}}(1+\mathrm{\λ}\×{\mathrm{\μ}}_i)---\left(7\right)$

μ_i＝μ({x_i})＝Crd(x_i) (8)

幂集Y中的其他测度值由公式(6)进行计算。

第五步，对于显著图每一像素处，我们定义Choquet积分中的非负实值可测函数f:X→[0,1]是离散值函数，函数值为{f(x₁),f(x₂),…,f(x_n)}，其中f(x_n)为第n幅显著图的显著值。对n幅显著图进行排序，使得排序后的函数f满足0＝f(x_θ(0))≤f(x_θ(1))≤…≤f(x_θ(n))≤1，其中θ为排序函数。

第六步，计算Choquet积分得到融合的显著图。Choquet模糊积分的定义如公式(9)所示：

$\left(c\right)\∫fd\mathrm{\μ}=\underset{0}{\overset{\mathrm{\∞}}{\∫}}\mathrm{\μ}\left(\right\{x\left|f\right(x)\≥\mathrm{\α},x\∈X\})d\mathrm{\α}---\left(9\right)$

其中α∈[0,∞)，本发明中X为有限集合，因此可由公式(9)得到我们的Choquet积分计算公式如公式(10)，公式(11)，公式(12)，公式(13)所示：

$\left(c\right)\∫fd\mathrm{\μ}=\underset{i=1}{\overset{n}{\Σ}}\[f\left(x_{\mathrm{\θ}\left(i\right)}\right)-f\left(x_{\mathrm{\θ}(i-1)}\right)\]\mathrm{\μ}\left(K_{\mathrm{\θ}\left(i\right)}\right)---\left(10\right)$

μ(K_θ(n))＝μ({x_θ(n)})＝μ_θ(n) (11)

μ({x_θ(i)})＝μ_θ(i) (12)

μ(K_θ(i))＝μ_θ(i)+μ(K_θ(i+1))+λμ_θ(i)μ(K_θ(i+1)),i＝2,...,n (13)

其中K_θ(i)＝{x_θ(i),x_θ(i+1),…,x_θ(n)},i＝1,2,...,n,μ_θ(i)是与f(x_θ(i))相对应的模糊测度。计算得到(c)∫fdμ的值即为在某一像素点处，使用Choquet积分融合n种显著图得到的融合后显著值。