CN111815582A - 改进背景先验和前景先验的二维码区域检测方法 - Google Patents

Abstract

本发明提供改进背景先验和前景先验的二维码区域检测方法，通过将输入的原始图像G进行凸包检测，并进行超像素分割，对每种超像素尺度下的图像分别进行多特征提取，计算原始图像G的背景显著图，计算原始图像G的前景显著图，融合所得最终的背景显著图和最终的前景显著图得到弱显著图，根据由弱显著图生成的训练样本，采用多核学习增强的方法训练得到强显著性模型，将此模型应用到所有测试样本中得到强显著性图；最后加权融合强显著图和弱显著图，得到最终显著图，最终显著图中最为高亮的部分即为图像中二维码区域；该方法能够准确、一致高亮的突出显著目标，能够精确的检测图像中的二维码区域。本发明方法，在显著目标检测的准确性方面更具优势。

Description

改进背景先验和前景先验的二维码区域检测方法

技术领域

本发明涉及改进背景先验和前景先验的二维码区域检测方法。

背景技术

作为计算机视觉问题中降低计算复杂度的重要预处理步骤，视觉显著性是一种有效的突出视觉重点机制，可以准确快速的获取图像中最重要的区域，从而减少图像处理时间。显著性检测近年来备受关注，虽然相关研究取得了重大进展，但为显著物体检测开发高效的算法仍然是一项具有挑战性的任务。

视觉显著性检测算法通常可以分为两类：其一基于底层特征，利用数据驱动的自下而上的方法将显著的目标区域与其周围的背景区域进行区分；其二结合高层信息，通过任务驱动的自上而下的方法快速定位显著性区域并反映显著性区域的显著程度。

例如，Zhang等提出了一种“Saliency Detection via Absorbing Markov ChainWith Learnt Transition Probability”算法，通过AMC(吸收马尔可夫链)计算图像的显著性，算法通过构造稀疏连通图来获取每个节点的局部上下文信息，以图像的边界节点和其他节点结合吸收马尔科夫链法则计算出该点的显著性值，为了更好的突出显著目标，引入角度嵌入技术重新确定显著性结果，算法通过全卷积网络学习得到一个转移概率矩阵，虽然在一定程度上提高了算法检测精度以及适应性，但是网络模型学习不够全面，对于部分图像的检测效果不理想。Ye等提出了一种“Salient Object Segmentation via EffectiveIntegration of Saliency and Objectness”算法，将图像的显著性问题与图像客观条件相结合，通过无图引导使用规则，以超像素顶点作为计算依据，通过每个顶点之间的最短路径衡量每个超像素目标的概率，将得到的目标概率图分别与显著性图和目标性图进行比值运算，此算法虽然在突出目标抑制背景占据一定优势，但是对于多目标情况下检测效果并不理想。Huang等提出了一种“Robust Salient Object Detection via FusingForeground and Background Priors”算法，融合前景和背景先验的鲁棒显著目标检测方法，该算法基于包围度线索从图像中提取一系列前景和背景种子。通过排序算法分别生成前景和背景对应的显著图。最后，融合两幅显著图，通过测地线增强，得到最终显著图。Tong等提出了一种利用弱模型和强模型进行显著目标检测的引导学习算法“Salient objectdetection via bootstrap learning”。该算法首先基于图像先验知识构造弱显著图，其次，训练一种直接从弱显著图中提取样本的强分类器来检测显著超像素。线性加权融合强弱显著图得到最终结果。Wang等提出一种“Salient Object Detection:A DiscriminativeRegional Feature Integration Approach”算法，具有判别性的区域特征集成，将区域对比，区域属性以及区域的背景性描述符进行集成，形成相应的主显著图，然后在多个级别上融合显著性得分，进而得到最终的显著图。算法虽然通过判别区域特征集成方法解决显著目标检测问题，但是在特征选择方面存在不足，导致一些复杂图像中的显著区域检测不完整。Jian等提出了“Saliency detection based on background seeds by objectproposals and extended random walk”算法，算法基于对象建议和扩展随机游走的背景种子显著性检测，通过目标建议收集图像背景种子，通过ERW(扩展随机游走)算法将背景先验传播到其余区域，再通过纹理信息和机构信息进行细化得到显著性结果。算法中采用目标建议方法，在检测多目标图像时检测效果不理想。Xia等提出一种“What is and What isNot a Salient Object？Learning Salient Object Detector by Ensembling LinearExemplar Regressors”算法，算法基于样本回归的显著性检测算法，以图像边界为先验得到前景和背景种子，然后以局部线性嵌入进行流行排序，得到粗略显著图，以粗略显著图训练线性样本回归器，检测结果为最终显著图。该算法本身需要以边界为先验，对于一些前景目标靠近边缘以及多目标检测效果不理想。Yang等引入MR(流形排序)算法，提出“SaliencyDetection via Graph-Based Manifold Ranking”，通过排序函数求解显著性问题，以不同的方式考虑前景和背景线索，对图像元素(像素或区域)与前景或背景的相似性进行排序。图像元素的显著性根据它们与给定种子或查询的相关性来定义。该算法将图像表示为一个以超像素为节点的闭环图。图中每个节点的显著程度通过其相对于种子节点的排序得分来度量，显著性检测分为两阶段过程，以此更有效地提取背景区域和前景显著目标，得到最终显著图。由于该算法第一阶段背景假设过于理想化，当显著性目标面积较大或者显著性目标接触到图像边界时，算法无法完整地检测出目标。

上述问题是在改进背景先验和前景先验的二维码区域检测方法的设计过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供改进背景先验和前景先验的二维码区域检测方法解决现有技术中存在的检测效果不理想的问题。

本发明的技术解决方案是：

改进背景先验和前景先验的二维码区域检测方法，包括以下步骤，

S1、将输入的原始图像G进行凸包检测，并进行超像素分割：首先对图像进行凸包计算，以凸包为边界将图像划分为两部分，凸包内部区域即包含图像目标的前景区域，凸包外部区域即包含图像背景的背景区域，以凸包区域之外的超像素为背景种子，以凸包区域之内的超像素为前景种子，然后分别以背景种子和前景种子为先验知识，将图像分割成四种不同的超像素尺度；

S2、对每种超像素尺度下的图像分别进行多特征提取，计算新的权重值：计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征，依据图像的三种底层特征改进原有权重值，得到新的权重值；

S3、计算原始图像G的背景显著图：以背景种子为先验，结合新的权重值以及图像的LBP纹理特征、RGB特征和Lab颜色特征对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图，将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图，线性融合四种尺度下的背景显著图得到最终的背景显著图；

S4、计算原始图像G的前景显著图：以前景种子为先验，结合新的权重值以及图像的Lab颜色特征、RGB特征和LBP纹理特征三种特征分别计算四种不同的超像素尺度下图像的前景显著图，融合四种尺度的前景显著图得到最终的前景显著图；

S5、计算原始图像G中二维码区域：融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图，根据由弱显著图生成的训练样本，采用多核学习增强的方法训练得到强显著性模型，将此模型应用到所有测试样本中得到强显著性图；最后加权融合强显著图和弱显著图，得到最终显著图，依据显著性检测判断标准，将显著性目标在显著图中高亮显示，因此最终显著图中最为高亮的部分即为图像中二维码区域。

进一步地，步骤S1中，将图像G进行凸包检测以及超像素分割，具体为：

S11、通过Harris角点检测算法计算原图像G的角点，连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包；

S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割，原图像 G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为 V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数。

进一步地，步骤S2中，对不同超像素尺度图像进行多特征提取，依据图像的三种底层特征改进原有权重值，得到新的权重值，具体为：

改进流行排序算法中采用单一尺度单一特征计算权重值w_ij，给定一个m维特征，n个点的数据集

同时通过设定向量 Y＝{y₁,y₂,y₃,L,y_n}^T来记录数据的标记情况，当y_i＝1时表示对应的数据x_i为查询节点，当y_j＝0时表示数据x_j为待排序的节点；每个待排序数据x_i的排序值由函数f^*确定；接下来，在X上构造一个图G＝(V,E)，V是数据集X对应的图的结点，依据关联矩阵W^*＝[w^* _ij]_n×n计算图的边缘E；计算图的度矩阵 D＝diag{d₁₁,L,d_nn}，其中d_ii＝∑w_ij，依据图像的三种底层特征改进w_ij，得到新的权重值w_ij ^*：

其中，i,j∈V；d_k(c_i,c_j)是超像素c_i和c_j在特征空间下的欧式距离，RGB(F₁) 颜色特征，Lab(F₂)颜色特征和LBP(F₃)纹理特征分别为所述特征空间，σ是常数，根据颜色空间中的距离计算权重。

进一步地，步骤S1中，四种超像素尺度分别为100、150、200、250。

进一步地，步骤S3中，计算原始图像G的背景显著图，具体为，

查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取，背景点向量由公式(1)筛选的点组成，计算得到以上边界节点为查询种子的排序结果为

其中，D为图的度矩阵D＝diag{d₁₁,L,d_nn}，d_ii＝∑w_ij，参数α为控制平衡常数，W^*为关联矩阵，W^*＝[w^* _ij]_n×n，i是上边界节点的标号，在式(2) 中令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得出以上边界节点为查询种子的排序结果

以上边界节点为背景特征的图像显著值通过排序结果

得出：

其中，i＝1,2,…,N；

由此得到以上边界节点为先验的边界显著图S_t；同理，以其他三个方向包括下、左、右的边界节点作为背景特征的显著值S_b、S_l、S_r通过上式计算得出；将每个尺度下的边界显著图S_t、S_b、S_l、S_r进行线性融合得到该尺度下的背景显著图S_fusion，最终背景显著图S_{b_fusion}由四种不同尺度的背景显著图线性整合得到：

其中，S_fusion1表示将原图分割成100个超像素时的显著图，S_fusion2表示将原图分割成150个超像素时的显著图，S_fusion3表示将原图分割成200个超像素时的显著图，S_fusion4表示将原图分割成250个超像素时的显著图。

进一步地，步骤S4中，计算原始图像G的前景显著图，具体为，

以前景种子为查询节点进行流形排序，其前景特征从凸包内部区域节点获取，式

中，令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得到排序向量

由此以前景节点为前景特征的前景估计显著图：

其中i＝1,2,…,N

由此得到不同尺度下以前景特征为先验的显著图S_qian100,S_qian150,S_qian200,S_qian250，融合四种不同尺度的显著图得到最终前景显著图S_{q_fusion}： S_{q_fusion}＝1/4*(S_qian100+S_qian150+S_qian200+S_qian250)。

进一步地，步骤S5中，计算原始图像G的二维码区域，具体为，

S51、通过多个支持向量机SVM以及多个核函数进行组合形成强分类器，对于输入图像，计算其弱显著图S_weaksal，多核增强算法MKB依据训练样本对弱显著图通过强分类器进行分类，由公式(4)计算得到：

S_weaksal＝λ₁*S_{q_fusion}+λ₂*S_{b_fusion} (4)

其中，λ₁、λ₂为加权因子；

S52、可靠的训练样本集合

通过弱显著图S_weaksal计算得到，其中r_i为训练样本，l_i为对应的二值标签，H表示训练样本数量，由公式(5)计算得到多个SVM核函数

的线性加权和：

其中β_m对应核函数的权重，M表示弱分类器中核函数种类，M＝N_f×N_k，N_f表示图像特征的数量，N_k表示核函数的数量，k_m是SVM核函数；

针对不同特征集合，目标函数转换为公式(6)：

其中，α＝[α₁l₁,α₂l₂,L,α_Hl_H]^T，k_m(r)＝[k_m(r,r₁),k_m(r,r₂),L k_m(r,r_H)]^T，

表示标准SVM中的偏置常数；

通过证明可知，决策函数最终被定义为：

其中，z_j(r)表示训练学习之后的单核SVM目标函数，β_j由自适应增强 AdaBoost方法计算得到，J表示需要迭代的次数，单个SVM定义为弱分类器，对于弱分类器和核函数进行组合得到强分类器Y(r)；将生成的训练样本通过强分类器即公式(7)进行分类计算，从而生成超像素方式的显著图；然后通过图割方法Graph Cut对检测结果进行优化，提高检测结果的准确性；最后利用引导滤波器进一步增强显著图效果得到最终显著图S_st；通过4种不同超像素尺度计算显著值，得到四个尺度的显著图S_stm1，S_stm2，S_stm3，S_stm4，融合得到最终的强显著图S_strong：

S_strong＝1/4*(S_stm1+S_stm2+S_stm3+S_stm4) (8)

依据弱显著图与强显著图之间的关联性，线性融合弱显著图和强显著图得到最终的显著图S_final：S_final＝σS_strong+(1-σ)S_weaksal，其中，σ为组合平衡因子。

本发明的有益效果是：与现有技术相比，该种改进背景先验和前景先验的二维码区域检测方法，能够准确、一致高亮的突出显著目标，能够精确的检测图像中的二维码区域，进而为二维码的检测识别提供良好的基础。本发明方法，在显著目标检测的准确性方面更具优势。

附图说明

图1是本发明实施例改进背景先验和前景先验的二维码区域检测方法的流程示意图；

图2是实施例中的测试原图及测试原图上的凸包的说明示意图；

图3是实施例中计算背景显著图的流程示意图

图4是实施例中测试背景显著图；

图5是实施例中计算前景显著图的流程示意图

图6是实施例中测试前景显著图；

图7是实施例中测试最终显著图；

图8是实施例中在MSRA5000实验对比分析示意图；

图9是实施例改进背景先验和前景先验的二维码区域检测方法的检测结果的说明示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

改进背景先验和前景先验的二维码区域检测方法，如图1，包括以下步骤：

S1、将输入的原始图像G进行凸包检测，如图2，并进行超像素分割：首先对图像进行凸包计算，以凸包为边界将图像划分为两部分，凸包内部区域即包含图像目标的前景区域，凸包外部区域即包含图像背景的背景区域，以凸包区域之外的超像素为背景种子，以凸包区域之内的超像素为前景种子，然后分别以背景种子和前景种子为先验知识，将图像分割成四种不同的超像素尺度；四种超像素尺度优选分别为100、150、200、250；

S11、通过Harris角点检测算法计算原图像G的角点，连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包；

S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割，原图像 G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为 V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数。

S2、对每种超像素尺度下的图像分别进行多特征提取，计算新的权重值：计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征，依据图像的三种底层特征改进原有权重值，得到新的权重值；

步骤S2中，对不同超像素尺度图像进行多特征提取，依据图像的三种底层特征改进原有权重值，得到新的权重值，具体为：

改进流行排序算法中采用单一尺度单一特征计算权重值w_ij，给定一个m维特征，n个点的数据集

同时通过设定向量 Y＝{y₁,y₂,y₃,L,y_n}^T来记录数据的标记情况，当y_i＝1时表示对应的数据x_i为查询节点，当y_j＝0时表示数据x_j为待排序的节点；每个待排序数据x_i的排序值由函数f^*确定；接下来，在X上构造一个图G＝(V,E)，V是数据集X对应的图的结点，依据关联矩阵W^*＝[w^* _ij]_n×n计算图的边缘E；计算图的度矩阵D＝diag{d₁₁,L,d_nn}，其中d_ii＝∑w_ij，依据图像的三种底层特征改进w_ij，得到新的权重值w_ij ^*：

其中，i,j∈V；d_k(c_i,c_j)是超像素c_i和c_j在特征空间下的欧式距离，RGB(F₁) 颜色特征，Lab(F₂)颜色特征和LBP(F₃)纹理特征分别为所述特征空间，σ是常数，根据颜色空间中的距离计算权重。

S3、如图3，计算原始图像G的背景显著图：以背景种子为先验，结合新的权重值以及图像的LBP纹理特征、RGB特征和Lab颜色特征对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图，将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图，线性融合四种尺度下的背景显著图得到最终的背景显著图，如图4；

查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取，背景点向量由公式(2)筛选的点组成，计算得到以上边界节点为查询种子的排序结果为

其中，D为图的度矩阵D＝diag{d₁₁,L,d_nn}，d_ii＝∑w_ij，参数α为控制平衡常数，优选取值0.99，W^*为上述步骤所求的关联矩阵，W^*＝[w^* _ij]_n×n，i 是上边界节点的标号，在式(2)中令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得出以上边界节点为查询种子的排序结果

以上边界节点为背景特征的图像显著值通过排序结果

得出：

其中， i＝1，2，…，N；

由此得到以上边界节点为先验的边界显著图S_t；同理，以其他三个方向(下、左、右)边界节点作为背景特征的显著值S_b、S_l、S_r通过上式计算得出，将每个尺度下的边界显著图S_t、S_b、S_l、S_r进行线性融合得到该尺度下的背景显著图S_fusion，最终背景显著图S_{b_fusion}由四种不同尺度的背景显著图线性整合得到：

其中，S_fusion1表示将原图分割成100个超像素时的显著图，S_fusion2表示将原图分割成150个超像素时的显著图，S_fusion3表示将原图分割成200个超像素时的显著图，S_fusion4表示将原图分割成250个超像素时的显著图。

S4、如图5，计算原始图像G的前景显著图：以前景种子为先验，结合新的权重值以及图像的Lab颜色特征、RGB特征和LBP纹理特征三种特征分别计算四种不同的超像素尺度下图像的前景显著图，融合四种尺度的前景显著图得到最终的前景显著图，如图6；

步骤S4中，计算原始图像G的前景显著图，具体为，以前景种子为查询节点进行流形排序，其前景特征从凸包内部区域节点获取，式

中，令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得到排序向量

由此以前景节点为前景特征的前景估计显著图：

其中i＝1,2,…,N

由此得到不同尺度下以前景特征为先验的显著图S_qian100,S_qian150,S_qian200,S_qian250，融合四种不同尺度的显著图得到最终前景显著图S_{q_fusion}： S_{q_fusion}＝1/4*(S_qian100+S_qian150+S_qian200+S_qian250)。

S5、计算原始图像G中二维码区域：融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图，根据由弱显著图生成的训练样本，采用多核学习增强的方法训练得到强显著性模型，将此模型应用到所有测试样本中得到强显著性图；最后加权融合强显著图和弱显著图，得到最终显著图，依据显著性检测判断标准，将显著性目标在显著图中高亮显示，因此最终显著图中最为高亮的部分即为图像中二维码区域，如图7。

S51、MKB多核增强算法是一种弱监督的学习算法，通过多个支持向量机SVM以及多个核函数进行组合形成强分类器，对于输入的图像，计算其弱显著图S_weaksal，MKB算法依据训练样本对弱显著图通过强分类器进行分类，由公式(4) 计算得到：

S_weaksal＝λ₁*S_{q_fusion}+λ₂*S_{b_fusion} (4)

其中λ₁，λ₂为加权因子，实验中优选λ₁＝0.6，λ₂＝0.4；

S52、可靠的训练样本集合

通过弱显著图S_weaksal计算得到，其中r_i为训练样本，l_i为对应的二值标签，H表示训练样本数量，由公式(5)计算得到多个SVM核函数

的线性加权和：

其中β_m对应核函数的权重，M表示弱分类器中核函数种类，M＝N_f×N_k，N_f表示图像特征的数量，N_k表示核函数的数量，k_m是SVM核函数；

针对不同特征集合，目标函数转换为公式(6)：

其中，α＝[α₁l₁,α₂l₂,L,α_Hl_H]^T，k_m(r)＝[k_m(r,r₁),k_m(r,r₂),L k_m(r,r_H)]^T，

表示标准SVM中的偏置常数；

通过证明可知，决策函数最终被定义为：

其中，z_j(r)表示训练学习之后的单核SVM目标函数，β_j由自适应增强方法AdaBoost计算得到，J表示需要迭代的次数，单个SVM定义为弱分类器，对于弱分类器和核函数进行组合得到强分类器Y(r)；将生成的训练样本通过强分类器即公式(7)进行分类计算，从而生成超像素方式的显著图；然后通过图割方法 Graph Cut对检测结果进行优化，提高检测结果的准确性；最后利用引导滤波器进一步增强显著图效果得到最终显著图S_st；通过4种不同超像素尺度计算显著值，得到四个尺度的显著图S_stm1，S_stm2，S_stm3，S_stm4，融合得到最终的强显著图S_strong：

S_strong＝1/4*(S_stm1+S_stm2+S_stm3+S_stm4) (8)

依据弱显著图与强显著图之间的关联性，线性融合弱显著图和强显著图得到最终的显著图S_final：S_final＝σS_strong+(1-σ)S_weaksal，其中，σ为组合平衡因子，优选σ＝0.7。

实施例的效果验证，依据上述步骤，本发明方法测试在公开的图像数据集MSRA5000，ECSSD，PASACL-S上进行，能够实现具有较高准确性检测。

该种改进背景先验和前景先验的显著性检测方法，首先对图像进行凸包计算，以凸包为边界将图像划分为两部分，凸包内部区域即包含图像目标的前景区域，凸包外部区域即包含图像背景的背景区域；然后分别以背景种子和前景种子为先验知识，结合图像的多种底层特征分别计算不同种尺度图像的背景显著图和前景显著图，融合不同尺度图像的背景显著图得到最终的背景显著图；融合不同尺度的前景显著图得到最终的前景显著图，融合最终的背景显著图和最终的前景显著图得到弱显著图，最后，通过多核增强(MKB)算法对由弱显著图生成的训练样本进行强分类，依据弱显著图和强显著图的互补性得到最终显著性结果。该方法，能够准确、一致高亮的突出显著目标，能够精确的检测图像中的二维码区域，进而为二维码识别提供准确的基础，如图9，图9(a)为原图，图9(b)为二维码区域检测示意图，图9(c)为二维码信息识别结果示意图。

该种改进背景先验和前景先验的显著性检测方法，第一步，计算图像的凸包，并将图像分割成四种超像素尺度，计算每种尺度下图像的CIELab颜色特征，RGB 特征和LBP(local binary patterns)纹理特征；第二步，依据凸包信息将图像分为凸包内部区域(前景)和凸包外部区域(背景)，以背景种子为先验，结合图像的多种底层特征分别计算多尺度图像的上、下、左、右四个方向的边界显著图，融合图像各个方向的边界显著图得到对应尺度下图像的背景显著图，最终的背景显著图即可由多尺度图像的背景显著图融合得出；以前景种子为先验，结合图像的三种特征分别计算四种尺度图像的前景显著图，融合四种尺度的前景显著图得到最终的前景显著图，融合最终的背景显著图和最终的前景显著图得到弱显著图；第三步，通过多核增强算法对由弱显著图生成的训练样本进行分类得到强显著图；最后依据弱显著图和强显著图的互补性融合强弱显著图得到最终显著性结果。图8是实施例中在MSRA5000实验对比分析的准确率-召回率曲线图，是国际公认一种评价显著性检测性能的方法，其中横坐标表示召回率，纵坐标表示准确率，各曲线分别表示当前主流的13种显著性检测算法的P-R(准确率-召回率)曲线图。通过图8a分析可知本发明显著性算法在显著目标检测方面其准确率和召回率要优于所对比的六种显著性检测算法；图8b可以看出本发明显著性检测算法在准确率方面与RBD(鲁棒背景显著性检测的优化)算法较为接近，召回率要略优于 RBD算法，在准确率和召回率方面远优于其他对比的显著性算法。

如图8，在国际上公开的测试集MSRA5000上进行对比。验证了本发明方法在显著目标检测的准确性方面更具优势。

Claims (7)

1.改进背景先验和前景先验的二维码区域检测方法，其特征在于：包括以下步骤，

S1、将输入的原始图像G进行凸包检测，并进行超像素分割：首先对图像进行凸包计算，以凸包为边界将图像划分为两部分，凸包内部区域即包含图像目标的前景区域，凸包外部区域即包含图像背景的背景区域，以凸包区域之外的超像素为背景种子，以凸包区域之内的超像素为前景种子，然后分别以背景种子和前景种子为先验知识，将图像分割成四种不同的超像素尺度；

S2、对每种超像素尺度下的图像分别进行多特征提取，计算新的权重值：计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征，依据图像的三种底层特征改进原有权重值，得到新的权重值；

S3、计算原始图像G的背景显著图：以背景种子为先验，结合新的权重值对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图，将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图，线性融合四种尺度下的背景显著图得到最终的背景显著图；

S4、计算原始图像G的前景显著图：以前景种子为先验，结合新的权重值分别计算四种不同的超像素尺度下图像的前景显著图，融合四种尺度的前景显著图得到最终的前景显著图；

S5、计算原始图像G中二维码区域：融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图，根据由弱显著图生成的训练样本，采用多核学习增强的方法训练得到强显著性模型，将此模型应用到所有测试样本中得到强显著性图；最后加权融合强显著图和弱显著图，得到最终显著图，依据显著性检测判断标准，将显著性目标在显著图中高亮显示，因此最终显著图中最为高亮的部分即为图像中二维码区域。

2.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S1中，将图像G进行凸包检测以及超像素分割，具体为：

S11、通过Harris角点检测算法计算原图像G的角点，连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包；

S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割，原图像G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数。

3.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S2中，对不同超像素尺度图像进行多特征提取，依据图像的三种底层特征改进原有权重值，得到新的权重值，具体为：

改进流行排序算法中采用单一尺度单一特征计算权重值w_ij，给定一个m维特征，n个点的数据集

同时通过设定向量Y＝{y₁,y₂,y₃,L,y_n}^Τ来记录数据的标记情况，当y_i＝1时表示对应的数据x_i为查询节点，当y_j＝0时表示数据x_j为待排序的节点；每个待排序数据x_i的排序值由函数f^*确定；接下来，在X上构造一个图G＝(V,E)，V是数据集X对应的图的结点，依据关联矩阵W^*＝[w^* _ij]_n×n计算图的边缘E；计算图的度矩阵D＝diag{d₁₁,L,d_nn}，其中d_ii＝∑w_ij，依据图像的三种底层特征改进w_ij，得到新的权重值w_ij ^*：

其中，i,j∈V；d_k(c_i,c_j)是超像素c_i和c_j在特征空间下的欧式距离，RGB(F₁)颜色特征，Lab(F₂)颜色特征和LBP(F₃)纹理特征分别为所述特征空间，σ是常数，根据颜色空间中的距离计算权重。

4.如权利要求1-3任一项所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S1中，四种超像素尺度分别为100、150、200、250。

5.如权利要求4所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S3中，计算原始图像G的背景显著图，具体为，

查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取，背景点向量由公式(1)筛选的点组成，计算得到以上边界节点为查询种子的排序结果为

其中，D为图的度矩阵D＝diag{d₁₁,L,d_nn}，d_ii＝∑w_ij，参数α为控制平衡常数，W^*为关联矩阵，W^*＝[w^* _ij]_n×n，i是上边界节点的标号，在式(2)中令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得出以上边界节点为查询种子的排序结果

以上边界节点为背景特征的图像显著值通过排序结果

得出：

其中，i＝1,2,L,N；

由此得到以上边界节点为先验的边界显著图S_t；同理，以其他三个方向包括下、左、右的边界节点作为背景特征的显著值S_b、S_l、S_r通过上式计算得出；将每个尺度下的边界显著图S_t、S_b、S_l、S_r进行线性融合得到该尺度下的背景显著图S_fusion，最终背景显著图S_{b_fusion}由四种不同尺度的背景显著图线性整合得到：

其中，S_fusion1表示将原图分割成100个超像素时的显著图，S_fusion2表示将原图分割成150个超像素时的显著图，S_fusion3表示将原图分割成200个超像素时的显著图，S_fusion4表示将原图分割成250个超像素时的显著图。

6.如权利要求5所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S4中，计算原始图像G的前景显著图，具体为，

以前景种子为查询节点进行流形排序，其前景特征从凸包内部区域节点获取，式

中，令y_i＝1，y_i指示相应节点x_i的状态，即x_i是否为查询节点，计算得到排序向量

由此以前景节点为前景特征的前景估计显著图：

其中i＝1,2,L,N

由此得到不同尺度下以前景特征为先验的显著图S_qian100,S_qian150,S_qian200,S_qian250，融合四种不同尺度的显著图得到最终前景显著图S_{q_fusion}：S_{q_fusion}＝1/4*(S_qian100+S_qian150+S_qian200+S_qian250)。

7.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法，其特征在于：步骤S5中，计算原始图像G的二维码区域，具体为，

S51、通过多个支持向量机SVM以及多个核函数进行组合形成强分类器，对于输入图像，计算其弱显著图S_weaksal，多核增强算法MKB依据训练样本对弱显著图通过强分类器进行分类，由公式(4)计算得到：

S_weaksal＝λ₁*S_{q_fusion}+λ₂*S_{b_fusion} (4)

其中，λ₁、λ₂为加权因子；

S52、可靠的训练样本集合

通过弱显著图S_weaksal计算得到，其中r_i为训练样本，l_i为对应的二值标签，H表示训练样本数量，由公式(5)计算得到多个SVM核函数

的线性加权和：

其中β_m对应核函数的权重，M表示弱分类器中核函数种类，M＝N_f×N_k，N_f表示图像特征的数量，N_k表示核函数的数量，k_m是SVM核函数；

针对不同特征集合，目标函数转换为公式(6)：

其中，α＝[α₁l₁,α₂l₂,L,α_Hl_H]^T，k_m(r)＝[k_m(r,r₁),k_m(r,r₂),L k_m(r,r_H)]^T，

表示标准SVM中的偏置常数；

通过证明可知，决策函数最终被定义为：

其中，z_j(r)表示训练学习之后的单核SVM目标函数，β_j由自适应增强AdaBoost方法计算得到，J表示需要迭代的次数，单个SVM定义为弱分类器，对于弱分类器和核函数进行组合得到强分类器Y(r)；将生成的训练样本通过强分类器即公式(7)进行分类计算，从而生成超像素方式的显著图；然后通过图割方法Graph Cut对检测结果进行优化，提高检测结果的准确性；最后利用引导滤波器进一步增强显著图效果得到最终显著图S_st；通过4种不同超像素尺度计算显著值，得到四个尺度的显著图S_stm1，S_stm2，S_stm3，S_stm4，融合得到最终的强显著图S_strong：

S_strong＝1/4*(S_stm1+S_stm2+S_stm3+S_stm4) (8)

依据弱显著图与强显著图之间的关联性，线性融合弱显著图和强显著图得到最终的显著图S_final：S_final＝σS_strong+(1-σ)S_weaksal，其中，σ为组合平衡因子。

Images