CN111815582B - 改进背景先验和前景先验的二维码区域检测方法 - Google Patents
改进背景先验和前景先验的二维码区域检测方法 Download PDFInfo
- Publication number
- CN111815582B CN111815582B CN202010594561.4A CN202010594561A CN111815582B CN 111815582 B CN111815582 B CN 111815582B CN 202010594561 A CN202010594561 A CN 202010594561A CN 111815582 B CN111815582 B CN 111815582B
- Authority
- CN
- China
- Prior art keywords
- saliency map
- foreground
- saliency
- background
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005295 random walk Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供改进背景先验和前景先验的二维码区域检测方法,通过将输入的原始图像G进行凸包检测,并进行超像素分割,对每种超像素尺度下的图像分别进行多特征提取,计算原始图像G的背景显著图,计算原始图像G的前景显著图,融合所得最终的背景显著图和最终的前景显著图得到弱显著图,根据由弱显著图生成的训练样本,采用多核学习增强的方法训练得到强显著性模型,将此模型应用到所有测试样本中得到强显著性图;最后加权融合强显著图和弱显著图,得到最终显著图,最终显著图中最为高亮的部分即为图像中二维码区域;该方法能够准确、一致高亮的突出显著目标,能够精确的检测图像中的二维码区域。本发明方法,在显著目标检测的准确性方面更具优势。
Description
技术领域
本发明涉及改进背景先验和前景先验的二维码区域检测方法。
背景技术
作为计算机视觉问题中降低计算复杂度的重要预处理步骤,视觉显著性是一种有效的突出视觉重点机制,可以准确快速的获取图像中最重要的区域,从而减少图像处理时间。显著性检测近年来备受关注,虽然相关研究取得了重大进展,但为显著物体检测开发高效的算法仍然是一项具有挑战性的任务。
视觉显著性检测算法通常可以分为两类:其一基于底层特征,利用数据驱动的自下而上的方法将显著的目标区域与其周围的背景区域进行区分;其二结合高层信息,通过任务驱动的自上而下的方法快速定位显著性区域并反映显著性区域的显著程度。
例如,Zhang等提出了一种“Saliency Detection via Absorbing Markov ChainWith Learnt Transition Probability”算法,通过AMC(吸收马尔可夫链)计算图像的显著性,算法通过构造稀疏连通图来获取每个节点的局部上下文信息,以图像的边界节点和其他节点结合吸收马尔科夫链法则计算出该点的显著性值,为了更好的突出显著目标,引入角度嵌入技术重新确定显著性结果,算法通过全卷积网络学习得到一个转移概率矩阵,虽然在一定程度上提高了算法检测精度以及适应性,但是网络模型学习不够全面,对于部分图像的检测效果不理想。Ye等提出了一种“Salient Object Segmentation via EffectiveIntegration of Saliency and Objectness”算法,将图像的显著性问题与图像客观条件相结合,通过无图引导使用规则,以超像素顶点作为计算依据,通过每个顶点之间的最短路径衡量每个超像素目标的概率,将得到的目标概率图分别与显著性图和目标性图进行比值运算,此算法虽然在突出目标抑制背景占据一定优势,但是对于多目标情况下检测效果并不理想。Huang等提出了一种“Robust Salient Object Detection via FusingForeground and Background Priors”算法,融合前景和背景先验的鲁棒显著目标检测方法,该算法基于包围度线索从图像中提取一系列前景和背景种子。通过排序算法分别生成前景和背景对应的显著图。最后,融合两幅显著图,通过测地线增强,得到最终显著图。Tong等提出了一种利用弱模型和强模型进行显著目标检测的引导学习算法“Salient objectdetection via bootstrap learning”。该算法首先基于图像先验知识构造弱显著图,其次,训练一种直接从弱显著图中提取样本的强分类器来检测显著超像素。线性加权融合强弱显著图得到最终结果。Wang等提出一种“Salient Object Detection:A DiscriminativeRegional Feature Integration Approach”算法,具有判别性的区域特征集成,将区域对比,区域属性以及区域的背景性描述符进行集成,形成相应的主显著图,然后在多个级别上融合显著性得分,进而得到最终的显著图。算法虽然通过判别区域特征集成方法解决显著目标检测问题,但是在特征选择方面存在不足,导致一些复杂图像中的显著区域检测不完整。Jian等提出了“Saliency detection based on background seeds by objectproposals and extended random walk”算法,算法基于对象建议和扩展随机游走的背景种子显著性检测,通过目标建议收集图像背景种子,通过ERW(扩展随机游走)算法将背景先验传播到其余区域,再通过纹理信息和机构信息进行细化得到显著性结果。算法中采用目标建议方法,在检测多目标图像时检测效果不理想。Xia等提出一种“What is and What isNot a Salient Object?Learning Salient Object Detector by Ensembling LinearExemplar Regressors”算法,算法基于样本回归的显著性检测算法,以图像边界为先验得到前景和背景种子,然后以局部线性嵌入进行流行排序,得到粗略显著图,以粗略显著图训练线性样本回归器,检测结果为最终显著图。该算法本身需要以边界为先验,对于一些前景目标靠近边缘以及多目标检测效果不理想。Yang等引入MR(流形排序)算法,提出“SaliencyDetection via Graph-Based Manifold Ranking”,通过排序函数求解显著性问题,以不同的方式考虑前景和背景线索,对图像元素(像素或区域)与前景或背景的相似性进行排序。图像元素的显著性根据它们与给定种子或查询的相关性来定义。该算法将图像表示为一个以超像素为节点的闭环图。图中每个节点的显著程度通过其相对于种子节点的排序得分来度量,显著性检测分为两阶段过程,以此更有效地提取背景区域和前景显著目标,得到最终显著图。由于该算法第一阶段背景假设过于理想化,当显著性目标面积较大或者显著性目标接触到图像边界时,算法无法完整地检测出目标。
上述问题是在改进背景先验和前景先验的二维码区域检测方法的设计过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供改进背景先验和前景先验的二维码区域检测方法解决现有技术中存在的检测效果不理想的问题。
本发明的技术解决方案是:
改进背景先验和前景先验的二维码区域检测方法,包括以下步骤,
S1、将输入的原始图像G进行凸包检测,并进行超像素分割:首先对图像进行凸包计算,以凸包为边界将图像划分为两部分,凸包内部区域即包含图像目标的前景区域,凸包外部区域即包含图像背景的背景区域,以凸包区域之外的超像素为背景种子,以凸包区域之内的超像素为前景种子,然后分别以背景种子和前景种子为先验知识,将图像分割成四种不同的超像素尺度;
S2、对每种超像素尺度下的图像分别进行多特征提取,计算新的权重值:计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征,依据图像的三种底层特征改进原有权重值,得到新的权重值;
S3、计算原始图像G的背景显著图:以背景种子为先验,结合新的权重值以及图像的LBP纹理特征、RGB特征和Lab颜色特征对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图,将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图,线性融合四种尺度下的背景显著图得到最终的背景显著图;
S4、计算原始图像G的前景显著图:以前景种子为先验,结合新的权重值以及图像的Lab颜色特征、RGB特征和LBP纹理特征三种特征分别计算四种不同的超像素尺度下图像的前景显著图,融合四种尺度的前景显著图得到最终的前景显著图;
S5、计算原始图像G中二维码区域:融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图,根据由弱显著图生成的训练样本,采用多核学习增强的方法训练得到强显著性模型,将此模型应用到所有测试样本中得到强显著性图;最后加权融合强显著图和弱显著图,得到最终显著图,依据显著性检测判断标准,将显著性目标在显著图中高亮显示,因此最终显著图中最为高亮的部分即为图像中二维码区域。
进一步地,步骤S1中,将图像G进行凸包检测以及超像素分割,具体为:
S11、通过Harris角点检测算法计算原图像G的角点,连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包;
S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割,原图像G分割得到的超像素块集合记为X={x1,x2...,xT},其对应的显著性值记为V={v1,v2...,vT},T是分割的所述超像素块的个数。
进一步地,步骤S2中,对不同超像素尺度图像进行多特征提取,依据图像的三种底层特征改进原有权重值,得到新的权重值,具体为:
改进流行排序算法中采用单一尺度单一特征计算权重值wij,给定一个m维特征,n个点的数据集同时通过设定向量Y={y1,y2,y3,…,yn}T来记录数据的标记情况,当yi=1时表示对应的数据xi为查询节点,当yj=0时表示数据xj为待排序的节点;每个待排序数据xi的排序值由函数f*确定;接下来,在X上构造一个图G=(V,E),V是数据集X对应的图的结点,依据关联矩阵W*=[w* ij]n×n计算图的边缘E;计算图的度矩阵D=diag{d11,…,dnn},其中dii=Σwij,依据图像的三种底层特征改进wij,得到新的权重值wij *:
其中,i,j∈V;dk(ci,cj)是超像素ci和cj在特征空间下的欧式距离,F1是RGB空间颜色特征,F2是Lab空间颜色特征,F3是LBP空间纹理特征,σ是常数,根据颜色空间中的距离计算权重。
进一步地,步骤S1中,四种超像素尺度分别为100、150、200、250。
进一步地,步骤S3中,计算原始图像G的背景显著图,具体为,
查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取,背景点向量由公式(1)筛选的点组成,计算得到以上边界节点为查询种子的排序结果为
其中,D为图的度矩阵D=diag{d11,…,dnn},dii=∑wij,参数α为控制平衡常数,W*为关联矩阵,W*=[w* ij]n×n,i是上边界节点的标号,在式(2)中令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得出以上边界节点为查询种子的排序结果以上边界节点为背景特征的图像显著值通过排序结果/>得出:/>其中,i=1,2,…,N;
由此得到以上边界节点为先验的边界显著图St;同理,以其他三个方向包括下、左、右的边界节点作为背景特征的显著值Sb、Sl、Sr通过上式计算得出;将每个尺度下的边界显著图St、Sb、Sl、Sr进行线性融合得到该尺度下的背景显著图Sfusion,最终背景显著图Sb_fusion由四种不同尺度的背景显著图线性整合得到:
其中,Sfusion1表示将原图分割成100个超像素时的显著图,Sfusion2表示将原图分割成150个超像素时的显著图,Sfusion3表示将原图分割成200个超像素时的显著图,Sfusion4表示将原图分割成250个超像素时的显著图。
进一步地,步骤S4中,计算原始图像G的前景显著图,具体为,
以前景种子为查询节点进行流形排序,其前景特征从凸包内部区域节点获取,式中,令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得到排序向量/>由此以前景节点为前景特征的前景估计显著图:
其中i=1,2,…,N
由此得到不同尺度下以前景特征为先验的显著图Sqian100,Sqian150,Sqian200,Sqian250,融合四种不同尺度的显著图得到最终前景显著图Sq_fusion:Sq_fusion=1/4*(Sqian100+Sqian150+Sqian200+Sqian250)。
进一步地,步骤S5中,计算原始图像G的二维码区域,具体为,
S51、通过多个支持向量机SVM以及多个核函数进行组合形成强分类器,对于输入图像,计算其弱显著图Sweaksal,多核增强算法MKB依据训练样本对弱显著图通过强分类器进行分类,由公式(4)计算得到:
Sweaksal=λ1*Sq_fusion+λ2*Sb_fusion (4)
其中,λ1、λ2为加权因子;
S52、可靠的训练样本集合通过弱显著图Sweaksal计算得到,其中ri为训练样本,li为对应的二值标签,H表示训练样本数量,由公式(5)计算得到多个SVM核函数/>的线性加权和:
其中βm对应核函数的权重,M表示弱分类器中核函数种类,M=Nf×Nk,Nf表示图像特征的数量,Nk表示核函数的数量,km是SVM核函数;
针对不同特征集合,目标函数转换为公式(6):
其中,α=[α1l1,α2l2,…,αHlH]T,km(r)=[km(r,r1),km(r,r2),…km(r,rH)]T, 表示标准SVM中的偏置常数;
通过证明可知,决策函数最终被定义为:
其中,zj(r)表示训练学习之后的单核SVM目标函数,βj由自适应增强AdaBoost方法计算得到,J表示需要迭代的次数,单个SVM定义为弱分类器,对于弱分类器和核函数进行组合得到强分类器Y(r);将生成的训练样本通过强分类器即公式(7)进行分类计算,从而生成超像素方式的显著图;然后通过图割方法Graph Cut对检测结果进行优化,提高检测结果的准确性;最后利用引导滤波器进一步增强显著图效果得到最终显著图Sst;通过4种不同超像素尺度计算显著值,得到四个尺度的显著图Sstm1,Sstm2,Sstm3,Sstm4,融合得到最终的强显著图Sstrong:
Sstrong=1/4*(Sstm1+Sstm2+Sstm3+Sstm4) (8)
依据弱显著图与强显著图之间的关联性,线性融合弱显著图和强显著图得到最终的显著图Sfinal:Sfinal=σSstrong+(1-σ)Sweaksal,其中,σ为组合平衡因子。
本发明的有益效果是:与现有技术相比,该种改进背景先验和前景先验的二维码区域检测方法,能够准确、一致高亮的突出显著目标,能够精确的检测图像中的二维码区域,进而为二维码的检测识别提供良好的基础。本发明方法,在显著目标检测的准确性方面更具优势。
附图说明
图1是本发明实施例改进背景先验和前景先验的二维码区域检测方法的流程示意图;
图2是实施例中的测试原图及测试原图上的凸包的说明示意图;
图3是实施例中计算背景显著图的流程示意图
图4是实施例中测试背景显著图;
图5是实施例中计算前景显著图的流程示意图
图6是实施例中测试前景显著图;
图7是实施例中测试最终显著图;
图8是实施例中在MSRA5000实验对比分析示意图;
图9是实施例改进背景先验和前景先验的二维码区域检测方法的检测结果的说明示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
改进背景先验和前景先验的二维码区域检测方法,如图1,包括以下步骤:
S1、将输入的原始图像G进行凸包检测,如图2,并进行超像素分割:首先对图像进行凸包计算,以凸包为边界将图像划分为两部分,凸包内部区域即包含图像目标的前景区域,凸包外部区域即包含图像背景的背景区域,以凸包区域之外的超像素为背景种子,以凸包区域之内的超像素为前景种子,然后分别以背景种子和前景种子为先验知识,将图像分割成四种不同的超像素尺度;四种超像素尺度优选分别为100、150、200、250;
S11、通过Harris角点检测算法计算原图像G的角点,连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包;
S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割,原图像G分割得到的超像素块集合记为X={x1,x2...,xT},其对应的显著性值记为V={v1,v2...,vT},T是分割的所述超像素块的个数。
S2、对每种超像素尺度下的图像分别进行多特征提取,计算新的权重值:计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征,依据图像的三种底层特征改进原有权重值,得到新的权重值;
步骤S2中,对不同超像素尺度图像进行多特征提取,依据图像的三种底层特征改进原有权重值,得到新的权重值,具体为:
改进流行排序算法中采用单一尺度单一特征计算权重值wij,给定一个m维特征,n个点的数据集同时通过设定向量Y={y1,y2,y3,…,yn}T来记录数据的标记情况,当yi=1时表示对应的数据xi为查询节点,当yj=0时表示数据xj为待排序的节点;每个待排序数据xi的排序值由函数f*确定;接下来,在X上构造一个图G=(V,E),V是数据集X对应的图的结点,依据关联矩阵W*=[w* ij]n×n计算图的边缘E;计算图的度矩阵D=diag{d11,…,dnn},其中dii=∑wij,依据图像的三种底层特征改进wij,得到新的权重值wij *:
其中,i,j∈V;dk(ci,cj)是超像素ci和cj在特征空间下的欧式距离,F1是RGB空间颜色特征,F2是Lab空间颜色特征,F3是LBP空间纹理特征,σ是常数,根据颜色空间中的距离计算权重。
S3、如图3,计算原始图像G的背景显著图:以背景种子为先验,结合新的权重值以及图像的LBP纹理特征、RGB特征和Lab颜色特征对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图,将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图,线性融合四种尺度下的背景显著图得到最终的背景显著图,如图4;
查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取,背景点向量由公式(2)筛选的点组成,计算得到以上边界节点为查询种子的排序结果为
其中,D为图的度矩阵D=diag{d11,…,dnn},dii=Σwij,参数α为控制平衡常数,优选取值0.99,W*为上述步骤所求的关联矩阵,W*=[w* ij]n×n,i是上边界节点的标号,在式(2)中令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得出以上边界节点为查询种子的排序结果以上边界节点为背景特征的图像显著值通过排序结果/>得出:/>其中,i=1,2,…,N;
由此得到以上边界节点为先验的边界显著图St;同理,以其他三个方向(下、左、右)边界节点作为背景特征的显著值Sb、Sl、Sr通过上式计算得出,将每个尺度下的边界显著图St、Sb、Sl、Sr进行线性融合得到该尺度下的背景显著图Sfusion,最终背景显著图Sb_fusion由四种不同尺度的背景显著图线性整合得到:
其中,Sfusion1表示将原图分割成100个超像素时的显著图,Sfusion2表示将原图分割成150个超像素时的显著图,Sfusion3表示将原图分割成200个超像素时的显著图,Sfusion4表示将原图分割成250个超像素时的显著图。
S4、如图5,计算原始图像G的前景显著图:以前景种子为先验,结合新的权重值以及图像的Lab颜色特征、RGB特征和LBP纹理特征三种特征分别计算四种不同的超像素尺度下图像的前景显著图,融合四种尺度的前景显著图得到最终的前景显著图,如图6;
步骤S4中,计算原始图像G的前景显著图,具体为,以前景种子为查询节点进行流形排序,其前景特征从凸包内部区域节点获取,式中,令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得到排序向量/>由此以前景节点为前景特征的前景估计显著图:
其中i=1,2,…,N
由此得到不同尺度下以前景特征为先验的显著图Sqian100,Sqian150,Sqian200,Sqian250,融合四种不同尺度的显著图得到最终前景显著图Sq_fusion:Sq_fusion=1/4*(Sqian100+Sqian150+Sqian200+Sqian250)。
S5、计算原始图像G中二维码区域:融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图,根据由弱显著图生成的训练样本,采用多核学习增强的方法训练得到强显著性模型,将此模型应用到所有测试样本中得到强显著性图;最后加权融合强显著图和弱显著图,得到最终显著图,依据显著性检测判断标准,将显著性目标在显著图中高亮显示,因此最终显著图中最为高亮的部分即为图像中二维码区域,如图7。
S51、MKB多核增强算法是一种弱监督的学习算法,通过多个支持向量机SVM以及多个核函数进行组合形成强分类器,对于输入的图像,计算其弱显著图Sweaksal,MKB算法依据训练样本对弱显著图通过强分类器进行分类,由公式(4)计算得到:
Sweaksal=λ1*Sq_fusion+λ2*Sb_fusion (4)
其中λ1,λ2为加权因子,实验中优选λ1=0.6,λ2=0.4;
S52、可靠的训练样本集合通过弱显著图Sweaksal计算得到,其中ri为训练样本,li为对应的二值标签,H表示训练样本数量,由公式(5)计算得到多个SVM核函数/>的线性加权和:
其中βm对应核函数的权重,M表示弱分类器中核函数种类,M=Nf×Nk,Nf表示图像特征的数量,Nk表示核函数的数量,km是SVM核函数;
针对不同特征集合,目标函数转换为公式(6):
其中,α=[α1l1,α2l2,…,αHlH]T,km(r)=[km(r,r1),km(r,r2),…km(r,rH)]T, 表示标准SVM中的偏置常数;
通过证明可知,决策函数最终被定义为:
其中,zj(r)表示训练学习之后的单核SVM目标函数,βj由自适应增强方法AdaBoost计算得到,J表示需要迭代的次数,单个SVM定义为弱分类器,对于弱分类器和核函数进行组合得到强分类器Y(r);将生成的训练样本通过强分类器即公式(7)进行分类计算,从而生成超像素方式的显著图;然后通过图割方法Graph Cut对检测结果进行优化,提高检测结果的准确性;最后利用引导滤波器进一步增强显著图效果得到最终显著图Sst;通过4种不同超像素尺度计算显著值,得到四个尺度的显著图Sstm1,Sstm2,Sstm3,Sstm4,融合得到最终的强显著图Sstrong:
Sstrong=1/4*(Sstm1+Sstm2+Sstm3+Sstm4) (8)
依据弱显著图与强显著图之间的关联性,线性融合弱显著图和强显著图得到最终的显著图Sfinal:Sfinal=σSstrong+(1-σ)Sweaksal,其中,σ为组合平衡因子,优选σ=0.7。
实施例的效果验证,依据上述步骤,本发明方法测试在公开的图像数据集MSRA5000,ECSSD,PASACL-S上进行,能够实现具有较高准确性检测。
该种改进背景先验和前景先验的显著性检测方法,首先对图像进行凸包计算,以凸包为边界将图像划分为两部分,凸包内部区域即包含图像目标的前景区域,凸包外部区域即包含图像背景的背景区域;然后分别以背景种子和前景种子为先验知识,结合图像的多种底层特征分别计算不同种尺度图像的背景显著图和前景显著图,融合不同尺度图像的背景显著图得到最终的背景显著图;融合不同尺度的前景显著图得到最终的前景显著图,融合最终的背景显著图和最终的前景显著图得到弱显著图,最后,通过多核增强(MKB)算法对由弱显著图生成的训练样本进行强分类,依据弱显著图和强显著图的互补性得到最终显著性结果。该方法,能够准确、一致高亮的突出显著目标,能够精确的检测图像中的二维码区域,进而为二维码识别提供准确的基础,如图9,图9(a)为原图,图9(b)为二维码区域检测示意图,图9(c)为二维码信息识别结果示意图。
该种改进背景先验和前景先验的显著性检测方法,第一步,计算图像的凸包,并将图像分割成四种超像素尺度,计算每种尺度下图像的CIELab颜色特征,RGB特征和LBP(local binary patterns)纹理特征;第二步,依据凸包信息将图像分为凸包内部区域(前景)和凸包外部区域(背景),以背景种子为先验,结合图像的多种底层特征分别计算多尺度图像的上、下、左、右四个方向的边界显著图,融合图像各个方向的边界显著图得到对应尺度下图像的背景显著图,最终的背景显著图即可由多尺度图像的背景显著图融合得出;以前景种子为先验,结合图像的三种特征分别计算四种尺度图像的前景显著图,融合四种尺度的前景显著图得到最终的前景显著图,融合最终的背景显著图和最终的前景显著图得到弱显著图;第三步,通过多核增强算法对由弱显著图生成的训练样本进行分类得到强显著图;最后依据弱显著图和强显著图的互补性融合强弱显著图得到最终显著性结果。图8是实施例中在MSRA5000实验对比分析的准确率-召回率曲线图,是国际公认一种评价显著性检测性能的方法,其中横坐标表示召回率,纵坐标表示准确率,各曲线分别表示当前主流的13种显著性检测算法的P-R(准确率-召回率)曲线图。通过图8a分析可知本发明显著性算法在显著目标检测方面其准确率和召回率要优于所对比的六种显著性检测算法;图8b可以看出本发明显著性检测算法在准确率方面与RBD(鲁棒背景显著性检测的优化)算法较为接近,召回率要略优于RBD算法,在准确率和召回率方面远优于其他对比的显著性算法。
如图8,在国际上公开的测试集MSRA5000上进行对比。验证了本发明方法在显著目标检测的准确性方面更具优势。
Claims (7)
1.改进背景先验和前景先验的二维码区域检测方法,其特征在于:包括以下步骤,
S1、将输入的原始图像G进行凸包检测,并进行超像素分割:首先对图像进行凸包计算,以凸包为边界将图像划分为两部分,凸包内部区域即包含图像目标的前景区域,凸包外部区域即包含图像背景的背景区域,以凸包区域之外的超像素为背景种子,以凸包区域之内的超像素为前景种子,然后分别以背景种子和前景种子为先验知识,将图像分割成四种不同的超像素尺度;
S2、对每种超像素尺度下的图像分别进行多特征提取,计算新的权重值:计算每种超像素尺度下图像的Lab颜色特征、RGB特征和LBP纹理特征,依据图像的三种底层特征改进原有权重值,得到新的权重值;
S3、计算原始图像G的背景显著图:以背景种子为先验,结合新的权重值对于四种不同尺度下的图像计算相应尺度下四个方向的边界显著图,将每一种尺度下的图像四个方向的边界显著图进行线性加权计算得到该尺度下图像的背景显著图,线性融合四种尺度下的背景显著图得到最终的背景显著图;
S4、计算原始图像G的前景显著图:以前景种子为先验,结合新的权重值分别计算四种不同的超像素尺度下图像的前景显著图,融合四种尺度的前景显著图得到最终的前景显著图;
S5、计算原始图像G中二维码区域:融合步骤S3所得最终的背景显著图和步骤S4所得最终的前景显著图得到弱显著图,根据由弱显著图生成的训练样本,采用多核学习增强的方法训练得到强显著性模型,将此模型应用到所有测试样本中得到强显著性图;最后加权融合强显著图和弱显著图,得到最终显著图,依据显著性检测判断标准,将显著性目标在显著图中高亮显示,因此最终显著图中最为高亮的部分即为图像中二维码区域。
2.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S1中,将图像G进行凸包检测以及超像素分割,具体为:
S11、通过Harris角点检测算法计算原图像G的角点,连接最外围角点形成能够包围所有角点的最小多边形即原图像G的凸包;
S12、将原图像G采用简单线性迭代聚类方法SLIC进行超像素分割,原图像G分割得到的超像素块集合记为X={x1,x2...,xT},其对应的显著性值记为V={v1,v2...,vT},T是分割的所述超像素块的个数。
3.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S2中,对不同超像素尺度图像进行多特征提取,依据图像的三种底层特征改进原有权重值,得到新的权重值,具体为:
改进流行排序算法中采用单一尺度单一特征计算权重值wij,给定一个m维特征,n个点的数据集同时通过设定向量Y={y1,y2,y3,…,yn}T来记录数据的标记情况,当yi=1时表示对应的数据xi为查询节点,当yj=0时表示数据xj为待排序的节点;每个待排序数据xi的排序值由函数f*确定;接下来,在X上构造一个图G=(V,E),V是数据集X对应的图的结点,依据关联矩阵W*=[w* ij]n×n计算图的边缘E;计算图的度矩阵D=diag{d11,…,dnn},其中dii=∑wij,依据图像的三种底层特征改进wij,得到新的权重值wij *:
其中,i,j∈V;dk(ci,cj)是超像素ci和cj在特征空间下的欧式距离,F1是RGB空间颜色特征,F2是Lab空间颜色特征,F3是LBP空间纹理特征,σ是常数,根据颜色空间中的距离计算权重。
4.如权利要求1-3任一项所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S1中,四种超像素尺度分别为100、150、200、250。
5.如权利要求4所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S3中,计算原始图像G的背景显著图,具体为,
查询节点从凸包外部区域的上、下、左、右四个方向的背景节点中选取,背景点向量由公式(1)筛选的点组成,计算得到以上边界节点为查询种子的排序结果为
其中,D为图的度矩阵D=diag{d11,…,dnn},dii=∑wij,参数α为控制平衡常数,W*为关联矩阵,W*=[w* ij]n×n,i是上边界节点的标号,在式(2)中令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得出以上边界节点为查询种子的排序结果以上边界节点为背景特征的图像显著值通过排序结果/>得出:/>其中i=1,2,...,N;
由此得到以上边界节点为先验的边界显著图St;同理,以其他三个方向包括下、左、右的边界节点作为背景特征的显著值Sb、Sl、Sr通过上式计算得出;将每个尺度下的边界显著图St、Sb、Sl、Sr进行线性融合得到该尺度下的背景显著图Sfusion,最终背景显著图Sb_fusion由四种不同尺度的背景显著图线性整合得到:
其中,Sfusion1表示将原图分割成100个超像素时的显著图,Sfusion2表示将原图分割成150个超像素时的显著图,Sfusion3表示将原图分割成200个超像素时的显著图,Sfusion4表示将原图分割成250个超像素时的显著图。
6.如权利要求5所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S4中,计算原始图像G的前景显著图,具体为,
以前景种子为查询节点进行流形排序,其前景特征从凸包内部区域节点获取,式中,令yi=1,yi指示相应节点xi的状态,即xi是否为查询节点,计算得到排序向量/>由此以前景节点为前景特征的前景估计显著图:
其中i=1,2,...,N
由此得到不同尺度下以前景特征为先验的显著图Sqian100,Sqian150,Sqian200,Sqian250,融合四种不同尺度的显著图得到最终前景显著图Sq_fusion:Sq_fusion=1/4*(Sqian100+Sqian150+Sqian200+Sqian250)。
7.如权利要求1所述的改进背景先验和前景先验的二维码区域检测方法,其特征在于:步骤S5中,计算原始图像G的二维码区域,具体为,
S51、通过多个支持向量机SVM以及多个核函数进行组合形成强分类器,对于输入图像,计算其弱显著图Sweaksal,多核增强算法MKB依据训练样本对弱显著图通过强分类器进行分类,由公式(4)计算得到:
Sweaksal=λ1*Sq_fusion+λ2*Sb_fusion (4)
其中,λ1、λ2为加权因子;
S52、可靠的训练样本集合通过弱显著图Sweaksal计算得到,其中ri为训练样本,li为对应的二值标签,H表示训练样本数量,由公式(5)计算得到多个SVM核函数/>的线性加权和:
其中βm对应核函数的权重,M表示弱分类器中核函数种类,M=Nf×Nk,Nf表示图像特征的数量,Nk表示核函数的数量,km是SVM核函数;
针对不同特征集合,目标函数转换为公式(6):
其中,α=[α1l1,α2l2,…,αHlH]T,km(r)=[km(r,r1),km(r,r2),…km(r,rH)]T, 表示标准SVM中的偏置常数;
通过证明可知,决策函数最终被定义为:
其中,zj(r)表示训练学习之后的单核SVM目标函数,βj由自适应增强AdaBoost方法计算得到,J表示需要迭代的次数,单个SVM定义为弱分类器,对于弱分类器和核函数进行组合得到强分类器Y(r);将生成的训练样本通过强分类器即公式(7)进行分类计算,从而生成超像素方式的显著图;然后通过图割方法Graph Cut对检测结果进行优化,提高检测结果的准确性;最后利用引导滤波器进一步增强显著图效果得到最终显著图Sst;通过4种不同超像素尺度计算显著值,得到四个尺度的显著图Sstm1,Sstm2,Sstm3,Sstm4,融合得到最终的强显著图Sstrong:
Sstrong=1/4*(Sstm1+Sstm2+Sstm3+Sstm4) (8)
依据弱显著图与强显著图之间的关联性,线性融合弱显著图和强显著图得到最终的显著图Sfinal:Sfinal=σSstrong+(1-σ)Sweaksal,其中,σ为组合平衡因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594561.4A CN111815582B (zh) | 2020-06-28 | 2020-06-28 | 改进背景先验和前景先验的二维码区域检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594561.4A CN111815582B (zh) | 2020-06-28 | 2020-06-28 | 改进背景先验和前景先验的二维码区域检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111815582A CN111815582A (zh) | 2020-10-23 |
CN111815582B true CN111815582B (zh) | 2024-01-26 |
Family
ID=72855525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010594561.4A Active CN111815582B (zh) | 2020-06-28 | 2020-06-28 | 改进背景先验和前景先验的二维码区域检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111815582B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112163589B (zh) * | 2020-11-10 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | 一种图像处理方法、装置、设备及存储介质 |
CN113379691B (zh) * | 2021-05-31 | 2022-06-24 | 南方医科大学 | 一种基于先验引导的乳腺病灶深度学习分割方法 |
CN113705579B (zh) * | 2021-08-27 | 2024-03-15 | 河海大学 | 一种视觉显著性驱动的图像自动标注方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107025672A (zh) * | 2017-03-30 | 2017-08-08 | 上海理工大学 | 一种基于改进凸包的显著性检测方法 |
CN107862702A (zh) * | 2017-11-24 | 2018-03-30 | 大连理工大学 | 一种结合边界连通性与局部对比性的显著性检测方法 |
CN108765384A (zh) * | 2018-05-16 | 2018-11-06 | 江苏科技大学 | 一种联合流形排序和改进凸包的显著性检测方法 |
CN110111353A (zh) * | 2019-04-29 | 2019-08-09 | 河海大学 | 一种基于马尔可夫背景与前景吸收链的图像显著性检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110088805B (zh) * | 2016-12-20 | 2023-06-06 | 柯达阿拉里斯股份有限公司 | 用于检测和分割多个前景对象的方法 |
-
2020
- 2020-06-28 CN CN202010594561.4A patent/CN111815582B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107025672A (zh) * | 2017-03-30 | 2017-08-08 | 上海理工大学 | 一种基于改进凸包的显著性检测方法 |
CN107862702A (zh) * | 2017-11-24 | 2018-03-30 | 大连理工大学 | 一种结合边界连通性与局部对比性的显著性检测方法 |
CN108765384A (zh) * | 2018-05-16 | 2018-11-06 | 江苏科技大学 | 一种联合流形排序和改进凸包的显著性检测方法 |
CN110111353A (zh) * | 2019-04-29 | 2019-08-09 | 河海大学 | 一种基于马尔可夫背景与前景吸收链的图像显著性检测方法 |
Non-Patent Citations (1)
Title |
---|
结合背景和前景先验的显著性检测;姚钊健;谭台哲;中国图象图形学报;第22卷(第10期);1381-1391 * |
Also Published As
Publication number | Publication date |
---|---|
CN111815582A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | Weakly supervised object localization using things and stuff transfer | |
CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
CN112101150B (zh) | 一种基于朝向约束的多特征融合行人重识别方法 | |
CN111126482B (zh) | 一种基于多分类器级联模型的遥感影像自动分类方法 | |
CN111695482A (zh) | 一种管道缺陷识别方法 | |
CN108268838B (zh) | 人脸表情识别方法及人脸表情识别系统 | |
CN110033007B (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
CN110619369A (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
CN109919177B (zh) | 基于层次化深度网络的特征选择方法 | |
CN107683469A (zh) | 一种基于深度学习的产品分类方法及装置 | |
CN110807434A (zh) | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 | |
CN111723675A (zh) | 基于多重相似性度量深度学习的遥感图像场景分类方法 | |
CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN110443257B (zh) | 一种基于主动学习的显著性检测方法 | |
Elguebaly et al. | Simultaneous high-dimensional clustering and feature selection using asymmetric Gaussian mixture models | |
CN109472209A (zh) | 一种图像识别方法、装置和存储介质 | |
CN109635708A (zh) | 一种基于三数据集交叉迁移学习的无监督行人再识别方法 | |
CN109886295A (zh) | 一种基于神经网络的蝴蝶识别方法及相关设备 | |
CN110689044A (zh) | 一种结合目标间关系的目标检测方法及系统 | |
CN114821014A (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
CN114821022A (zh) | 融合主观逻辑和不确定性分布建模的可信目标检测方法 | |
CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |