CN110826573B - 一种显著图融合方法及系统 - Google Patents

Abstract

本发明提供一种显著图融合方法及系统，其中方法包括标注数据集的准备，还包括以下步骤：在所述标注数据集中进行基于图像外观的近邻搜索；通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合；使用迭代方法去掉拟合过程中误差最大的显著图，得到模型向量θ；使用所述模型向量θ和测试图像Img对应的所述M种提取方法得到的显著图集合A，计算融合后的显著图S_Img。本发明提出一种显著图融合方法及系统，在融合过程中对性能不好的检测结果进行离散点的移除，从而保证融合的结果。

Description

一种显著图融合方法及系统

技术领域

本发明涉及计算机视觉技术领域和图像处理领域，具体地说是一种显著图融合方法及系统。

背景技术

图像显著性检测旨在找出图像中最重要的部分，是计算机视觉领域用来降低计算复杂度的重要的预处理步骤，在图像压缩、目标识别、图像分割等领域有着广泛的应用。同时它又是计算机视觉中具有挑战性的问题，这些方法各自有自己的优势和不足，即使是同一显著性检测方法，对于不同的图片检测效果也是差异巨大的。为此能够融合多种显著性检测方法的结果，已得到更优显著图的方法就显得尤为重要了。有一些传统的显著图融合方法，他们多是对于多幅显著图进行简单的加和平均或是简单相乘取平均这种显著图融合方式将各种显著图同等对待，把各种显著性检测的权值设为同一数值，这在实际重视不合理的，因为对于一幅图片甚至是每一个像素点，各种显著性检测方法的检测效果都是不同，为此各显著性检测方法的权值也理应设置不同。当前也存在着一些研究融合多幅显著图的方法，如Mai等人利用条件随机场(CRF)来融合多幅显著图，得到了很好的效果，但是其召回率方面效果并不能令人满意。

申请号为CN107977948A的发明申请公开一种面向社群图像的显著图融合方法，在融合的过程中，首先进行基于外观特征和语义特征的近邻搜索，然后利用近邻图像的已有显著图结果对测试图像在不同方法下的显著图结果进行投票从而融合。此方法的问题是在融合的过程中并没有考虑效果较差的显著图在融合过程中对融合结果的不良影响。

发明内容

为了解决上述的技术问题，本发明提出一种显著图融合方法及系统，在融合过程中对性能不好的检测结果进行离散点的移除，从而保证融合的结果。

本发明的第一目的是提供一种显著图融合方法，包括标注数据集的准备，还包括以下步骤：

步骤1：在所述标注数据集中进行基于图像外观的近邻搜索；

步骤2：通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合；

步骤3：使用迭代方法去掉拟合过程中误差最大的显著图，得到模型向量θ；

步骤4：使用所述模型向量θ和测试图像Img对应的所述M种提取方法得到的显著图集合A，计算融合后的显著图S_Img。

优选的是，所述标注数据集的准备包括设定图像集D和对应的基准二值标注集G，有M种显著区域提取方法。

在上述任一方案中优选的是，所述标注数据集的准备还包括应用M种显著区域提取方法提取所述图像集D中每一幅图像的显著图，最终得到各种方法的提取结果为S＝{S₁，S₂，S₃，…S_i，…S_M}，S_i表示第i种方法提取的显著图集合，1≤i≤M。

在上述任一方案中优选的是，所述标注数据集的准备包括将所述显著图集合S进行存储。

在上述任一方案中优选的是，所述步骤1包括对所述测试图像Img在所述标注数据集中进行基于外观的近邻搜索，近邻的图像个数设为K。

在上述任一方案中优选的是，搜索后得到的K最近邻所述近邻图像I^(k)对应的标准二值标注为y^(k)，y^(k)∈G，/>来自集合S，代表了近邻图像k的M种显著区域提取方法提取的结果，1≤k≤K。

在上述任一方案中优选的是，拟合参数表示为

h_θ(X₁，X₂，…，X_M)＝θ₀+θ₁X₁+…+θ_MX_M，其中，θ_i(i＝0，1，2，…，M)为模型参数，X_i(i＝0，1，2，…，M)是通过第i种提取方法得到的K最近邻的显著图结果，

在上述任一方案中优选的是，增加一个特征X₀＝1，拟合函数表示为

在上述任一方案中优选的是，损失函数表示为

其中，i表示是第i种显著图提取方法，j表示是第i个近邻图像。

在上述任一方案中优选的是，利用所述损失函数分别对θ_i(i＝1，2，…，M)求导，并令导数为0，得到M元一次方程组，公式为

在上述任一方案中优选的是，所述M元一次方程组有M个方程，求解方程，得到所有的M个未知的θ。

在上述任一方案中优选的是，所述步骤3包括计算每个X_i相对于函数模型的误差，剔除误差最大的显著图。

在上述任一方案中优选的是，所述步骤3还包括依据判定条件进行判定，如果不满足所述判定条件则重新执行步骤2。

在上述任一方案中优选的是，所述判定条件为判定所有显著图的误差小于设定的阈值或者显著图数量小于设定的阈值。

在上述任一方案中优选的是，所述融合后的显著图S_Img的计算公式为S_Img＝θA。

本发明的第二目的是提供一种显著图融合系统，包括标注数据集，包括以下模块：

测试模块：用于在所述标注数据集中获取测试图像Img对应的M种提取方法的得到的显著图集合A，并计算融合后的显著图S_Img；

所述系统按照如第一目的所述的方法计算所述显著图S_Img。

本发明提出了一种显著图融合方法，所提方法在显著图的融合过程加入离散点的移除过程，提高了融合的效果。

附图说明

图1为按照本发明的显著图融合方法的一优选实施例的流程图。

图2为按照本发明的显著图融合系统的一优选实施例的模块图。

图3为按照本发明的显著图融合方法的图像及其基准二值标注的一实施例的举例示意图。

图4为按照本发明的显著图融合方法的另一优选实施例的测试过程示意图。

图5为按照本发明的显著图融合方法的另一优选实施例的融合效果举例示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1、2所示，执行步骤100，标注数据集200的准备。设定图像集D和对应的基准二值标注集G，有M种显著区域提取方法，图像集D中的一副图像I和其对应的基准二值标注为g，应用M种显著区域提取方法提取图像集D的显著图，各种方法的提取结果为S＝{S₁，S₂，S₃，…S_i，…S_M}，S_i表示第i种方法提取的显著图集合，1≤i≤M，将测试图像Img对应的所述M种提取方法得到的显著图集合A进行存储。

执行步骤110，测试模块210在标注数据集200中进行基于图像外观的近邻搜索。对所述测试图像Img在标注数据集200中进行基于外观的近邻搜索，近邻的图像个数设为K，搜索后得到的K最近邻所述近邻图像I^(k)对应的标准二值标注为y^(k)，来自集合S，代表了近邻图像k的M种显著区域提取方法提取的结果，1≤k≤K。

执行步骤120，通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合。拟合参数表示为h_θ(X₁，X₂，…，X_M)＝θ₀+θ₁X₁+…+θ_MX_M，其中，θ_i(i＝0，1，2，…，M)为模型参数，X_i(i＝0，1，2，…，M)是通过第i种提取方法得到的K最近邻的显著图结果，增加一个特征X₀＝1，拟合函数表示为 损失函数表示为

其中，i表示是第i种显著图提取方法，j表示是第i个近邻图像。利用所述损失函数分别对θ_i(i＝0，1，2，…，M)求导，并令导数为0，得到N+1元一次方程组，公式为所述M+1元一次方程组有M+1个方程，求解方程，得到所有的M+1个未知的θ。

执行步骤130，使用迭代方法去掉拟合过程中误差最大的显著图，计算每个X_i相对于函数模型的误差，剔除误差最大的显著图，得到模型向量θ。

执行步骤140，判断所有显著图的误差是否小于设定的阈值。如果判断所有显著图的误差小于设定的阈值，则执行步骤150，使用所述模型向量θ和测试图像Img对应的所述M种提取方法得到的显著图集合A，计算融合后的显著图S_Img，融合后的显著图S_Img的计算公式为S_Img＝θA。

如果判断所有显著图的误差大于等于设定的阈值，则执行步骤145，判断显著图数量是否小于设定的阈值。如果显著图数量大于等于设定的阈值，则重新执行步骤120，通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合。如果显著图数量小于设定的阈值，则执行步骤150，使用所述模型向量θ和测试图像Img对应的所述M种提取方法得到的显著图集合A，计算融合后的显著图S_Img，融合后的显著图S_Img的计算公式为S_Img＝θA。

实施例二

本实施例公开了一种显著图融合方法。

一、标注数据集的准备

有图像集D和对应的基准二值标注集G；有M种显著区域提取方法。图像集D中的一副图像I和其对应的基准二值标注为g，应用M种显著区域提取方法提取图像集D的显著图，各种方法的提取结果为S＝{S₁，S₂，S₃，…S_i，…S_M}，S_i表示第i种方法提取的显著图集合，1≤i≤M。将测试图像Img对应的所述M种提取方法得到的显著图集合A进行存储。

二、测试阶段

步骤1：在标注数据集中进行基于图像外观的近邻搜索。

测试图像Img，在标注数据集中进行基于外观的近邻搜索，近邻的图像个数设为K。检索后得到的K最近邻所述近邻图像I^(k)对应的标准二值标注为y^(k)，代表了近邻图像k的M种显著区域提取方法提取的结果，1≤k≤K；

步骤2：通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合。

拟合函数表示为h_θ(X₁，X₂，…，X_M)＝θ₀+θ₁X₁+…+θ_MX_M，其中θ_i(i＝0，1，2，…，M)为模型参数，X_i(i＝0，1，2，…，M)是通过第i种提取方法得到的K最近邻的显著图结果，

增加一个特征X₀＝1，拟合函数表示为：

损失函数表示为：

其中，下标i表示是第i种显著图提取方法，上标j表示是第j个近邻图像。

利用损失函数分别对θ_i(i＝0，1，2，…，M)求导，并令导数为0可得：

这样得到一个M+1元一次方程组，这个方程组有M+1个方程，求解这个方程，就可以得到所有的M+1个未知的θ。

步骤3：使用迭代方法去掉拟合过程中误差最大的显著图，即去除离群点，重复步骤2，提高模型拟合的精度。过程为：

计算每个X_i相对于函数模型的误差，剔除误差最大的显著图，再次重复步骤2，直到所有显著图的误差小于设定的阈值或者显著图数量小于设定的阈值。

步骤4：经过步骤3后，最后的模型参数向量为θ。测试图像Img对应的M种提取方法得到的显著图集合为A，融合后的显著图S_Img为

S_Img＝θA

实施例三

如图3所示的是图像及其基准二值标注举例，每组图像包含两幅：第一幅为原始图像、第二幅为对应的基准二值标注。

实施例四

测试过程的处理流程如图4所示。假定显著区域提取方法有4种，给出一幅测试图像及其4种提取方法的提取结果。在标注数据集中进行近邻搜索，得到近邻图像集，假定近邻个数为3。根据近邻图像集的显著图结果集进行模型拟合，去掉拟合过程中误差最大的显著图，再次对模型进行拟合，直到所有显著图的误差小于设定的阈值或者显著图数量小于设定的阈值。

实施例五

实验的数据集为ECCSD数据集，采用了4种显著区域提取方法：BSCA、DRFI、MC、DS。初始设置为：近邻的个数N＝5，显著区域提取方法的数量M＝4；通过模型拟合后计算得到参数为0.28、0.33、0.22、0.17，去除误差最大的样本点，因为第4种方法的误差最大，将第4种方法去除掉；显著区域提取方法变为3种，再次计算拟合模型的参数，结果为0.27、0.41、0.32，因为第1种方法的误差最大，将第1种方法去除掉；显著区域提取方法变为2种，假定已经满足融合方法数量的设定，再次计算拟合模型的参数，结果为0.56、0.44。

实施例六

实验的数据集为ECCSD数据集，采用了6种显著区域提取方法：BSCA、DRFI、MC、DS、wCtr、SELD。初始设置为：近邻的个数N＝6，显著区域提取方法的数量M＝6；通过模型拟合后计算得到参数为0.14、0.16、0.01、0.1、0.21、0.38。去除误差最大的样本点，因为第3种方法的误差最大，将第3种方法去除掉；显著区域提取方法变为5种，再次计算拟合模型的参数，结果为0.15、0.14、0.12、0.24、0.35。去除误差最大的样本点，因为第4种方法的误差最大，将第4种方法去除掉；显著区域提取方法变为4种，再次计算拟合模型的参数，结果为0.18、0.13、0.33、0.36。去除误差最大的样本点，因为第2种方法的误差最大，将第2种方法去除掉；显著区域提取方法变为3种，假定已经满足融合方法数量的设定，再次计算拟合模型的参数，结果为0.26、0.33、0.41。

实施例七

实验的数据集为ECCSD数据集，采用了4种方法：wCtr、SELD、MBS、FT。初始设置为：近邻的个数N＝4，显著区域提取方法的数量M＝4。第一次采用4种显著区域提取方法融合，融合系数为0.2、0.4、0.3和0.1；第二次去掉第四种方法，用3种显著区域提取方法进行融合，融合系数为0.2、0.5和0.3；第三次去掉第一种方法，用3种显著区域提取方法进行融合，融合系数为0.7和0.3。如图5所示，列举了3幅图像，第一列为原始图像，第二列为标准二值标注，第三列为DRF I显著区域提取方法融合的结果，第四列为DCL显著区域提取方法融合的结果，第五列为应用本发明中的显著区域提取方法融合的结果。我们可以看出随着显著区域提取方法的拟合和去除离群点的过程，提取的结果完整度和精度越来越好。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (11)

1.一种显著图融合方法，包括标注数据集的准备，其特征在于，还包括以下步骤：

步骤1：在所述标注数据集中进行基于图像外观的近邻搜索；

步骤2：通过近邻图像的标准二值标注集合和M种显著区域提取方法提取的结果对模型进行拟合；

拟合参数表示为h_θ(X₁，X₂，…，X_M)＝θ₁X₁+…+θ_MX_M，其中，θ_i为模型参数，X_i是通过第i种提取方法得到的K最近邻的显著图结果，增加一个特征X₀＝1，拟合函数表示为/>

损失函数表示为

其中，i表示是第i种显著图提取方法，j表示是第j个近邻图像，y^(j)表示近邻图像I^(j)对应的标准二值标注；

利用所述损失函数分别对θ_i求导，并令导数为0，得到M元一次方程组，公式为

所述M元一次方程组有M个方程，求解方程，得到所有的M个未知的θ；

步骤3：使用迭代方法去掉拟合过程中误差最大的显著图，得到模型向量θ；

步骤4：使用所述模型向量θ和测试图像Img对应的所述M种提取方法得到的显著图集合A，计算融合后的显著图S_Img。

2.如权利要求1所述的显著图融合方法，其特征在于，所述标注数据集的准备包括设定图像集D和对应的基准二值标注集G，有M种显著区域提取方法。

3.如权利要求2所述的显著图融合方法，其特征在于，所述标注数据集的准备还包括应用M种显著区域提取方法提取所述图像集D中每一幅图像的显著图，最终得到各种方法的提取结果为S＝{S₁，S₂，S₃，…S_i，…S_M}，S_i表示第i种方法提取的显著图集合，1≤i≤M。

4.如权利要求3所述的显著图融合方法，其特征在于，所述标注数据集的准备包括将显著图集合S进行存储。

5.如权利要求4所述的显著图融合方法，其特征在于，所述步骤1包括对所述测试图像Img在所述标注数据集中进行基于外观的近邻搜索，近邻的图像个数设为K。

6.如权利要求5所述的显著图融合方法，其特征在于，搜索后得到的K最近邻所述近邻图像I^(k)对应的标准二值标注为y^(k)，y^(k)∈G，/>来自集合S，代表了近邻图像k的M种显著区域提取方法提取的结果，1≤k≤K。

7.如权利要求6所述的显著图融合方法，其特征在于，所述步骤3包括计算每个X_i相对于函数模型的误差，剔除误差最大的显著图。

8.如权利要求7所述的显著图融合方法，其特征在于，所述步骤3还包括依据判定条件进行判定，如果不满足所述判定条件则重新执行步骤2。

9.如权利要求8所述的显著图融合方法，其特征在于，所述判定条件为判定所有显著图的误差小于设定的阈值或者显著图数量小于设定的阈值。

10.如权利要求2所述的显著图融合方法，其特征在于，所述融合后的显著图S_Img的计算公式为S_Img＝θA。

11.一种显著图融合系统，包括标注数据集，其特征在于，还包括以下模块：

测试模块：用于在所述标注数据集中获取测试图像Img对应的M种提取方法的得到的显著图集合A，并计算融合后的显著图S_Img；

所述系统按照如权利要求1所述的方法计算所述显著图S_Img。