CN105513066A - 一种基于种子点选取与超像素融合的通用物体检测方法 - Google Patents

一种基于种子点选取与超像素融合的通用物体检测方法 Download PDF

Info

Publication number
CN105513066A
CN105513066A CN201510882742.6A CN201510882742A CN105513066A CN 105513066 A CN105513066 A CN 105513066A CN 201510882742 A CN201510882742 A CN 201510882742A CN 105513066 A CN105513066 A CN 105513066A
Authority
CN
China
Prior art keywords
pixel
super
framework
seed points
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510882742.6A
Other languages
English (en)
Other versions
CN105513066B (zh
Inventor
赖剑煌
胡彬
郭春超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ziweiyun Technology Co ltd
Original Assignee
中山大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中山大学 filed Critical 中山大学
Priority to CN201510882742.6A priority Critical patent/CN105513066B/zh
Publication of CN105513066A publication Critical patent/CN105513066A/zh
Application granted granted Critical
Publication of CN105513066B publication Critical patent/CN105513066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于种子点选取和超像素合并的通用物体检测方法,方法主要包括下述步骤:预处理;选择种子超像素;超像素合并;小物体检测;计算框体的得分并排序;筛选得到最终结果。主要贡献包括:(1)提出一个通用物体检测的三层框架;(2)提出新的超像素特征以计算相邻超像素的相似性;(3)提出一种新的基于种子超像素的框体排序方法;(4)实现了一种结合三类现有方法的通用物体检测算法。通过选取种子点,超像素合并,提取框体中层特征并计算得分和排序,最终进行筛选这四个主要步骤,完成了通用物体的检测。实验结果表明,本发明方法比Objectness和BING两个算法效果更好。

Description

一种基于种子点选取与超像素融合的通用物体检测方法
技术领域
本发明涉及图像物体检测领域,特别涉及一种基于种子点选取与超像素融合的通用物体检测方法。
背景技术
尽管目前基于图像的物体检测和识别技术比较成熟,但是仍然存在准确率低、速度慢等问题而难以应用到实际。物体检测,往往通过移框的方法穷尽地搜索图像;而为了提高准确率,又需要提取耗时的特征,如SIFT、HOG等,同时,检测的结果又会对物体的识别准确率造成影响。为了减少检测框的数量,提高识别的准确率,通用物体检测算法成为了备受关注的研究方向。
目前,通用物体检测算法主要分为三类:
(1)直接检测框体的方法:这类方法通过贪婪搜索,提取轻量级的特征,从而筛选出潜在的框体。这种算法速度较快,但召回率相对低。典型代表包括Alexe等人提出的Objectness(参考:AlexeB,DeselaersT,FerrariV.Measuringtheobjectnessofimagewindows.PatternAnalysisandMachineIntelligence,Vol.34,No.11.p.2189-2202,IEEETransactionson,2012),Cheng,Ming-Ming等人提出的BING(参考:Cheng,Ming-Ming,etal.BING:Binarizednormedgradientsforobjectnessestimationat300fps.ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014)
(2)超像素融合的方法:这类方法首先利用过分割对图像提取超像素,然后计算相邻超像素的相似性,通过不断合并相似性最高的超像素,得到很多潜在的框体。这类算法速度比较慢,但召回率较高,同时还能得到物体的分割。典型代表有vandeSande提出的选择性搜索(参考:UijlingsJRR,vandeSandeKEA,GeversT,etal.Selectivesearchforobjectrecognition.Internationaljournalofcomputervision,vol.104.num.2.p.154-171.2013)和Endres提出的类别独立的通用物体检测方法(参考:EndresI,HoiemD.Category-independentobjectproposalswithdiverseranking.PatternAnalysisandMachineIntelligence,vol.36.num.2.p.222-234.IEEETransactionson,2014)。
(3)基于种子超像素的方法:这种方法通过提取一些种子超像素,以每个种子超像素作为中心,通过合并或者训练等方法,得到多个框体。典型代表是CPMC(参考:CarreiraJ,SminchisescuC.Cpmc:Automaticobjectsegmentationusingconstrainedparametricmin-cuts.PatternAnalysisandMachineIntelligence,vol.34.num.7.p.1312-1328.IEEETransactionson,2012)和GOP(参考:KoltunV.Geodesicobjectproposals.p.725-739.ComputerVisionECCV2014.SpringerInternationalPublishing,2014)
直接检测框体的方法需要通过不断缩放框体,贪婪地移框检测。对比基于分割的方法,它得到的框体往往不够精确。而基于分割的方法在得到候选框体进行框体筛选的时候,要么通过伪随机的方法筛选,要么训练排序器对框体做排序。前者存在随机性,后者需要训练。本文将三种方法结合,提出了一种具有创新性的通用物体检测方法,它能较好解决上述两种方法的不足。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提出一种新的基于种子超像素选取和超像素融合的通用物体检测方法,考虑到超像素融合算法是当前方法中效果较好的,本发明基于此类算法进行,以期达到较好的检测效果。
为了达到上述目的,本发明采用以下技术方案:
一种基于种子点选取与超像素融合的通用物体检测方法,该方法包括下述步骤:
S1、预处理,对每幅图像进行过分割,得到超像素块;计算每个超像素块的表观特征;
S2、选择种子超像素,将种子超像素点分为大种子点和小种子点两类,大种子点旨在寻找大的物体,小种子点是对大种子点的补充,旨在丰富框体的信息,增加框体数量,以确保更多的小物体被框到;
S3、超像素合并,以每个种子超像素为中心,借鉴超像素融合算法,对种子点附近的超像素不断合并直至超像素的相似性达到阈值或者框体大小达到阈值为止,在超像素合并中,在每次合并时不仅仅是合并相似度最高的超像素,而是将相似度前N的超像素都进行合并,同时将最相似的超像素合并后的结果作为下一次合并的起始;
S4、小物体检测,对于大多数小物体而言,超像素分割可能不准确,从而导致步骤S3无法将其框出,所以采用中层分割的方法,对这类小物体进行检测;
S5、计算框体的得分并排序:对步骤S3和步骤S4中的所有框体计算得分,并对得分进行排序;
S6、筛选,通过改进的非最大化抑制采样方法,根据需要,选取出M个框体作为最终的结果。
作为优选的,在步骤S1中,表观特征包括颜色直方图、边界密度、4向的边界方向直方图,所述4向的边界方向直方图用于衡量超像素的纹理信息。
作为优选的,在步骤S1中,对每幅图像进行分隔采用SLIC超像素分割方法,对于每个输入图像I,得到可以多个超像素块{SP1,SP2,SP3...,SPn};颜色直方图采用Lab颜色空间的词袋表示形式,用数学符号CHi表示;边界密度通过Canny算子得到,第i个超像素的边界密度特征使用数学公式表达为:其中,NumEdgei表示超像素内边缘像素点的个数,Pixeli表示超像素所包含的像素点个数;4向边界方向直方图通过统计边界图像中,0°、45°、90°、135°四个方向上的边界强度而得,求解过程如下:首先分别用模板[1,0,1],[1,0,1]T [ 1,0,0 0,0,0 0,0,1 ] , [ 0,0,1 0,0,0 1,0,0 ] 与二值化的边界图像进行卷积,得到4个不同方向的边界图像,使用数学符号表示为{EOMi1,EOMi2,EOMi3,EOMi4},然后分别统计每个方向边界图像上原本属于边界点的像素信息,统计过程用数学公式可以表示为:EHik=length({pixel|pixel∈EOMik,EOMik(pixel)>0}),其中i、k分别为超像素和方向边界图像的索引,最终的特征输出通过归一化可以表示为: EH i = { EH i 1 , EH i 2 , EH i 3 , EH i 4 } Σ k = 1 4 EH i k .
作为优选的,步骤S2中,大的超像素种子点采用均匀采样,每个图像采样K·M个种子点,其中,K、M分别表示垂直方向和水平方向上的采样个数,每个大种子点的位置表示如下: pos p q = ( x p , y q ) = ( h i g S t e p · ( p - 1 ) + h i g S t e p · p 2 , w i d S t e p · ( q - 1 ) + w i d S t e p · q 2 ) , 其中,分别表示垂直方向与水平方向上的步长;除去大种子点的超像素,其余的超像素将作为小种子点。
作为优选的,步骤S3中,相邻超像素的相似度计算公式如下:
Similarity i j = 1 - w 0 D i s t ( CH i , CH j ) + w 1 D i s t ( ED i , ED j ) + w 2 D i s t ( ES i j , ES j i ) + w 3 D i s t ( EH i , EH j ) Σ k = 0 3 w k
其中,w为权重,Dist(CHi,CHj)表示颜色直方图的距离,使用χ2距离度量;Dist(EDi,EDj)表示边界密度距离,数学公式为Dist(EDi,EDj)=EDi-EDj
Dist(ESij,ESji)表示超像素间共同边界上的边缘强度信息,用于衡量近邻超像素之间的相关关系,数学公式为Dist(ESij,ESji)=max(ESij,ESji),而ESij可以表示为 ES i j = m a x ( { e d g e L e n | e d g e L e n = l e n g t h ( edge i ) } ) l e n g t h ( commonEdge i j ) , 其中,commonEdgeij表示共同边界的像素集合,edgei表示共同边界上第i个超像素的边缘像素集合,数学公式为: edge i = { edge | ∀ pixel ∈ edge , pixel ∈ commonEdg e ij , pixel ∈ CannyEdg e i } , 其中,CannyEdgei为通过Canny算子得到的第i个超像素内的边缘像素集合;Dist(EHi,EHj)表示4向边界方向直方图的距离,使用数学公式表达如下:
D i s t ( EH i , EH j ) = 1 2 Σ k = 1 4 a b s ( EH i k - EH j k ) .
作为优选的,步骤S4中,所述中层分隔方法采用经典的图割方法,然后除去过小的分割结果。
作为优选的,步骤S5中,计算得分采用EB算法,利用图像的边界信息,通过衡量横跨框体的边界信息以及靠近框体边界的内部边界信息来得到框体的得分;由于框体都是从某个种子超像素得到的,因此所有框体可以归类为多个簇,每个簇内的框体都由同一个种子点生成;
排序时,首先将每个簇内的框体按得分进行排序,然后依次遍历每个簇,选出簇内当前得分最高的框体,并将其移出,以此类推,直到簇内框体的最高得分达到阈值或簇内没有任何框体为止,最后,将各个簇内剩余的所有框体直接按照得分排序并放在之前选取出的框体之后,至此,排序过程就完成了。
作为优选的,步骤S6中,所述改进的非最大化抑制采样方法如下:首先将框体相互覆盖的阈值设置为较低的数值,然后进行一般的非最大化抑制采样,如果所需的框体数量已经达到,则停止,否则一直进行直到无可选框体为止;然后将框体的相互覆盖阈值设置为相对高一点的数值,再次执行一般的非最大化抑制采样,以此循环,直到所需框体数量达到或者无可选框体且相互覆盖的阈值达到一定数值为止。
本发明与现有技术相比,具有如下优点和有益效果:本发明通过将直接检测框体和超像素融合两类方法结合,提出了一个通用物体检测的三层框架。通过提取大小种子超像素点、近邻超像素合并两大步骤,得到候选框体的集合,通过新的框体排序方法和改进的非最大化抑制采样,筛选出所需要的框体。通过对比,本文算法得到了更加精确,召回率更高的结果。
附图说明
图1为本发明的方法操作流程图
图2为本发明方法中改进的非最大化抑制采样流程图
图3为本发明中实验数据集的示例图(黑色为标定框体)
图4为本发明种子点示例图(黑色是种子超像素,黑色框为标定框体)
图5为本发明得到的框体与标定框体示例图(采样10个框体,浅灰色为本发明得到的框体,黑色为标定框体)
图6为本发明实施结果与标定重合率较高的示例图
图7为本发明实施示例中各类物体的框体个数与击中率直方图
图8为本发明与其他方法对比的结果示例图。虚线为基准线,实线是实际方法,最浅色的实线为本发明的方法。黑色实线为Objectness(PAMI2012),较黑色的曲线为BING(CVPR2014)。其中,图(a)是100个框体情况下的IoU-Recall曲线;图(b)是1000个框体情况下的IoU-Recall曲线;图(c)是overlap=0.5情况下proposal-Recall曲线;图(d)是proposal-averageRecall曲线
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
本次实验在PASCAL2007数据集上进行(参考:EveringhamM,VanGoolL,WilliamsCKI,etal.Thepascalvisualobjectclasseschallenge2007(voc2007)results(2007).2008.),这是通用物体检测算法常用的数据集。图3是该数据集的部分图像示例。由图3可以看出,该数据集包含了很多小物体,而且背景复杂,在该数据集上进行实验具有一定的挑战性。图1示出了本发明的具体步骤,以下是步骤详述:
(1)对数据中所有的测试图片通过SLIC算法进行过分割,得到超像素块。本实验中,SLIC算法的参数设置为:最小的超像素大小为20个像素,正则化参数为1。最终,每幅图得到约400个超像素块,每个超像素块约包含400个像素点。
(2)对每个超像素块提取表观特征,包括Lab颜色词袋特征(词典用外部数据训练)、边界密度、和4向的边界直方图。其中,4向边界直方图是本发明提出的描述超像素纹理信息的新特征。本实验中,词袋特征是150维。
(3)以固定步长,均匀地在图像上确定K·M个大种子超像素,大种子超像素以外的超像素作为小种子超像素。本实验中,K=M=10,即每个图像有100个大种子超像素。
(4)分别以每个种子点为起始,不断合并与它最相似的近邻超像素,直至框体大小达到阈值或者相似性达到阈值。为了提高框体的丰富度,每轮合并时,选取相似度最高的前N个超像素进行合并,以相似度最高的合并结果作为下一轮合并的起始超像素。至此,每个种子点都能得到若干个框体。本实验中,大种子点的相似度阈值为SimilarThre=0.6,框体大小的阈值为SizeThre=0.5;小种子点的相似度阈值为SimilarThre=0.55,框体大小的阈值为SizeThre=0.05。特征权重为w0=w1=w2=w3=0.5。每轮合并的超像素个数为N≤5。
(5)小物体检测。因为本发明所采用的图割方法本身对于小物体的分割效果已经很好,所以参数直接采用标准设置,不做修改。
(6)框体排序。本发明中,首先采用EB算法对每个框体计算得分,然后以每个种子点为一个簇的中心,对每个簇内的框体进行得分排序。然后轮流搜索每个簇,具体操作是:每一轮中,依次选出每个簇内当前得分最高的框体,并对该轮得到的框体进行得分排序。一直循环,直到簇内框体的最高得分低于阈值,接着对剩余的所有框体直接按照得分进行排序。实验中,循环时的框体得分阈值为scoreThre=0.05,对于得分相同的框体,则以框体的大小作为比较的依据,原因是:EB算法是基于边界信息计算得分的,对于小的框体可能得分不准确,所以得分相同的情况下,优先考虑得分较为准确的大框体。
(7)框体筛选。框体选取过程采用了本发明提出的改进的非最大化抑制采样方法。图2为此采样方法的流程图。实验中,初始的相互覆盖阈值设置为startOverlapThre=0.7,每次循环结束,相互覆盖阈值的增长步长为overlapThreStep=0.05,终止的相互覆盖阈值为endOverlapThre=0.95。
本次实施的实验设置与论文“Whatmakesforeffectivedetectionproposals?”相同(参考:HosangJ,BenensonR,DollárP,etal.Whatmakesforeffectivedetectionproposals?arXivpreprintarXiv:1502.05082,2015),该论文提供了这个领域的基本实验设置。击中与否的标准则采用是PASCAL的标准,即框体的覆盖程度计算方式为: o v e r l a p = E x p e r i m e n t B o x ∩ G r o u n d T r u t h B o x E x p e r i m e n t B o x ∪ G r o u n d T r u t h B o x , 其中ExperimentBox为实验所得框体,GroundTruthBox为标定框体。当且仅当覆盖程度达到一定阈值:overlap≥hitThre,认为框体击中了目标。本实验的基本实验结果是在PASCAL的标准阈值hitThre=0.5下进行的,如表1和图7,其中,all表示所有框体,本次试验中,每张图片约7000个框体。而对比实验则是在不同的覆盖阈值下进行的,具体见图8。
从表1和图7可以看出,本发明的通用物体检测方法,对某些小物体,如:瓶子、花盆等召回率相对较低,但当框体数量足够大时,部分小物体的召回率提升较大,如花盆,这说明在步骤(4)进行超像素融合时,最终的框体集合中涵盖了足够丰富的框体信息。对于其他类别的物体,如:沙发、猫、火车等,即使在框体数量小的情况下(如100个),召回率依然较高。
图8在两种不同的维度下将本发明方法与其他方法进行了对比。由(a)、(b)可以看出,在所选框体数量相同的情况下(100个和1000个),当击中与否的判断阈值不断增大,本发明方法的召回率下降程度明显比Objectness和BING两种方法要小,这说明本发明方法所得到的框体与目标框体的拟合程度最高;而从(c)和(d)则可以发现,在击中阈值一定的情况下,本发明方法比Objectness和BING两种方法效果好,这主要体现在当击中阈值hitThre=0.5时,本文算法与两者效果相当,当所选框体数量少时,比BING方法略好,而当所选框体数量较大时,Objectness算法的效果下降明显,此时本发明方法与BING不相上下;而当击中与否的判断阈值为平均最佳覆盖时(即其中,G为标定框体的集合,Box为算法得到的框体集合),本发明方法明显好于另外两种对比算法。这说明本发明方法所筛选出的框体准确性更好。综上所述,本发明方法的性能要比另外两种对比方法更优越。
表1各类物体框体数目与击中率表
飞机
100 0.5486 0.5445 0.9243 0.6413 0.9000 0.6206 0.6945
1000 0.8038 0.8384 0.9919 0.8875 0.9792 0.8199 0.8167
All 0.9253 0.9351 0.9973 0.9635 0.9925 0.9035 0.9550
自行车 瓶子 公交车 椅子 餐桌
100 0.7943 0.4809 0.2237 0.7717 0.4978 0.8027 0.8304
1000 0.9332 0.6718 0.5997 0.9449 0.8821 0.9465 0.9443
All 0.9640 0.8092 0.7321 0.9724 0.9534 0.9699 0.9747
摩托车 花盆 沙发 火车 电视
100 0.7940 0.5435 0.4865 0.9369 0.8775 0.6537
1000 0.9485 0.8068 0.8615 0.9899 0.9702 0.9474
All 0.9729 0.8846 0.9257 1.0000 0.9868 0.9834
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种基于种子点选取与超像素融合的通用物体检测方法,其特征在于,该方法包括下述步骤:
S1、预处理,对每幅图像进行过分割,得到超像素块;计算每个超像素块的表观特征;
S2、选择种子超像素,将种子超像素点分为大种子点和小种子点两类,大种子点旨在寻找大的物体,小种子点是对大种子点的补充,旨在丰富框体的信息,增加框体数量,以确保更多的小物体被框到;
S3、超像素合并,以每个种子超像素为中心,借鉴超像素融合算法,对种子点附近的超像素不断合并直至超像素的相似性达到阈值或者框体大小达到阈值为止,在超像素合并中,在每次合并时不仅仅是合并相似度最高的超像素,而是将相似度前N的超像素都进行合并,同时将最相似的超像素合并后的结果作为下一次合并的起始;
S4、小物体检测,对于大多数小物体而言,超像素分割可能不准确,从而导致步骤S3无法将其框出,所以采用中层分割的方法,对这类小物体进行检测;
S5、计算框体的得分并排序:对步骤S3和步骤S4中的所有框体计算得分,并对得分进行排序;
S6、筛选,通过改进的非最大化抑制采样方法,根据需要,选取出M个框体作为最终的结果。
2.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,在步骤S1中,表观特征包括颜色直方图、边界密度、4向的边界方向直方图,所述4向的边界方向直方图用于衡量超像素的纹理信息。
3.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,在步骤S1中,对每幅图像进行分隔采用SLIC超像素分割方法,对于每个输入图像I,得到可以多个超像素块{SP1,SP2,SP3...,SPn};颜色直方图采用Lab颜色空间的词袋表示形式,用数学符号CHi表示;边界密度通过Canny算子得到,第i个超像素的边界密度特征使用数学公式表达为:
其中,NumEdgei表示超像素内边缘像素点的个数,Pixeli表示超像素所包含的像素点个数;4向边界方向直方图通过统计边界图像中,0°、45°、90°、135°四个方向上的边界强度而得,求解过程如下:首先分别用模板[1,0,1],[1,0,1]T [ 1 , 0 , 0 , 0 , 0 , 0 , 0 , 0 , 1 ] , [ 0 , 0 , 1 0 , 0 , 0 , 1 , 0 , 0 ] 与二值化的边界图像进行卷积,得到4个不同方向的边界图像,使用数学符号表示为{EOMi1,EOMi2,EOMi3,EOMi4},然后分别统计每个方向边界图像上原本属于边界点的像素信息,统计过程用数学公式可以表示为: EH i k = l e n g t h ( { p i x e l | ∀ p i x e l , p i x e l ∈ EOM i k , EOM i k ( p i x e l ) > 0 } ) , 其中i、k分别为超像素和方向边界图像的索引,最终的特征输出通过归一化可以表示为: EH i = { EH i 1 , EH i 2 , EH i 3 , EH i 4 } Σ k = 1 4 EH i k .
4.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,步骤S2中,大的超像素种子点采用均匀采样,每个图像采样K·M个种子点,其中,K、M分别表示垂直方向和水平方向上的采样个数,每个大种子点的位置表示如下: pos p q = ( x p , y q ) = ( h i g S t e p · ( p - 1 ) + h i g S t e p · p 2 , w i d S t e p · ( q - 1 ) + w i d S t e p · q 2 ) , 其中, h i g S t e p = i m H i g K , w i d S t e p = i m W i d M 分别表示垂直方向与水平方向上的步长;除去大种子点的超像素,其余的超像素将作为小种子点。
5.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,步骤S3中,相邻超像素的相似度计算公式如下:
Similarity i j = 1 - w 0 D i s t ( CH i , CH j ) + w 1 D i s t ( ED i , ED j ) + w 2 D i s t ( ES i j , ES j i ) + w 3 D i s t ( EH i , EH j ) Σ k = 0 3 w k
其中,w为权重,Dist(CHi,CHj)表示颜色直方图的距离,使用χ2距离度量;
Dist(EDi,EDj)表示边界密度距离,数学公式为Dist(EDi,EDj)=EDi-EDj
Dist(ESij,ESji)表示超像素间共同边界上的边缘强度信息,用于衡量近邻超像素之间的相关关系,数学公式为Dist(ESij,ESji)=max(ESij,ESji),而ESij可以表示为 ES i j = m a x ( { e d g e L e n | e d g e L e n = l e n g t h ( edge i ) } ) l e n g t h ( commonEdge i j ) , 其中,commonEdgeij表示共同边界的像素集合,edgei表示共同边界上第i个超像素的边缘像素集合,数学公式为:
edge i = { e d g e | ∀ p i x e l ∈ e d g e , p i x e l ∈ commonEdge i j , p i x e l ∈ CannyEdge i } , 其中,CannyEdgei为通过Canny算子得到的第i个超像素内的边缘像素集合;Dist(EHi,EHj)表示4向边界方向直方图的距离,使用数学公式表达如下:
D i s t ( EH i , EH j ) = 1 2 Σ k = 1 4 a b s ( EH i k - EH j k ) .
6.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,步骤S4中,所述中层分隔方法采用经典的图割方法,然后除去过小的分割结果。
7.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,步骤S5中,计算得分采用EB算法,利用图像的边界信息,通过衡量横跨框体的边界信息以及靠近框体边界的内部边界信息来得到框体的得分;由于框体都是从某个种子超像素得到的,因此所有框体可以归类为多个簇,每个簇内的框体都由同一个种子点生成;
排序时,首先将每个簇内的框体按得分进行排序,然后依次遍历每个簇,选出簇内当前得分最高的框体,并将其移出,以此类推,直到簇内框体的最高得分达到阈值或簇内没有任何框体为止,最后,将各个簇内剩余的所有框体直接按照得分排序并放在之前选取出的框体之后,至此,排序过程就完成了。
8.根据权利要求1所述的基于种子点选取与超像素融合的通用物体检测方法,其特征在于,步骤S6中,所述改进的非最大化抑制采样方法如下:
首先将框体相互覆盖的阈值设置为较低的数值,然后进行一般的非最大化抑制采样,如果所需的框体数量已经达到,则停止,否则一直进行直到无可选框体为止;然后将框体的相互覆盖阈值设置为相对高一点的数值,再次执行一般的非最大化抑制采样,以此循环,直到所需框体数量达到或者无可选框体且相互覆盖的阈值达到一定数值为止。
CN201510882742.6A 2015-12-02 2015-12-02 一种基于种子点选取与超像素融合的通用物体检测方法 Active CN105513066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510882742.6A CN105513066B (zh) 2015-12-02 2015-12-02 一种基于种子点选取与超像素融合的通用物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510882742.6A CN105513066B (zh) 2015-12-02 2015-12-02 一种基于种子点选取与超像素融合的通用物体检测方法

Publications (2)

Publication Number Publication Date
CN105513066A true CN105513066A (zh) 2016-04-20
CN105513066B CN105513066B (zh) 2018-02-27

Family

ID=55721023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510882742.6A Active CN105513066B (zh) 2015-12-02 2015-12-02 一种基于种子点选取与超像素融合的通用物体检测方法

Country Status (1)

Country Link
CN (1) CN105513066B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056155A (zh) * 2016-05-30 2016-10-26 西安电子科技大学 基于边界信息融合的超像素分割方法
CN106447681A (zh) * 2016-07-26 2017-02-22 浙江工业大学 一种非均一严重运动退化图像的对象分割方法
CN106446890A (zh) * 2016-10-28 2017-02-22 中国人民解放军信息工程大学 一种基于窗口打分和超像素分割的候选区域提取方法
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
CN115690106A (zh) * 2023-01-03 2023-02-03 菏泽城建新型工程材料有限公司 一种基于计算机视觉的深埋锚具封闭检测方法
CN116993947A (zh) * 2023-09-26 2023-11-03 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN117152127A (zh) * 2023-10-26 2023-12-01 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117540441A (zh) * 2024-01-10 2024-02-09 北京国旺盛源智能终端科技有限公司 一种大堂式云终端用交易数据安全存储方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871089A (zh) * 2014-01-08 2014-06-18 天津大学 一种基于融合的图像超像素网格化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871089A (zh) * 2014-01-08 2014-06-18 天津大学 一种基于融合的图像超像素网格化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IAN ENDRES ET AL.: "《Category-Independent Object Proposals with Diverse Ranking》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
JOAO CARREIRA ET AL.: "《CPMC: Automatic Object Segmentation Using Constrained Parametric Min-Cuts》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
云红全等: "《基于超像素时空显著性的运动目标检测算法》", 《红 外 技 术》 *
邵明正等: "《基于视觉显著性和超像素融合的物体定位方法》", 《计算机应用》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056155B (zh) * 2016-05-30 2019-04-23 西安电子科技大学 基于边界信息融合的超像素分割方法
CN106056155A (zh) * 2016-05-30 2016-10-26 西安电子科技大学 基于边界信息融合的超像素分割方法
CN106447681A (zh) * 2016-07-26 2017-02-22 浙江工业大学 一种非均一严重运动退化图像的对象分割方法
CN106447681B (zh) * 2016-07-26 2019-01-29 浙江工业大学 一种非均一严重运动退化图像的对象分割方法
CN106446890A (zh) * 2016-10-28 2017-02-22 中国人民解放军信息工程大学 一种基于窗口打分和超像素分割的候选区域提取方法
CN107844750B (zh) * 2017-10-19 2020-05-19 华中科技大学 一种水面全景图像目标检测识别方法
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
CN115690106A (zh) * 2023-01-03 2023-02-03 菏泽城建新型工程材料有限公司 一种基于计算机视觉的深埋锚具封闭检测方法
CN115690106B (zh) * 2023-01-03 2023-03-21 菏泽城建新型工程材料有限公司 一种基于计算机视觉的深埋锚具封闭检测方法
CN116993947A (zh) * 2023-09-26 2023-11-03 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN116993947B (zh) * 2023-09-26 2023-12-12 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN117152127A (zh) * 2023-10-26 2023-12-01 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117152127B (zh) * 2023-10-26 2024-01-16 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117540441A (zh) * 2024-01-10 2024-02-09 北京国旺盛源智能终端科技有限公司 一种大堂式云终端用交易数据安全存储方法
CN117540441B (zh) * 2024-01-10 2024-03-19 北京国旺盛源智能终端科技有限公司 一种大堂式云终端用交易数据安全存储方法

Also Published As

Publication number Publication date
CN105513066B (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN105513066A (zh) 一种基于种子点选取与超像素融合的通用物体检测方法
CN105261017B (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN105931295B (zh) 一种地质图专题信息提取方法
CN104809481B (zh) 一种基于自适应色彩聚类的自然场景文本检测方法
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
CN108509978A (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN103984946B (zh) 一种基于K‑means的高分辨率遥感地图道路提取方法
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN106919902A (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN111860587B (zh) 一种用于图片小目标的检测方法
CN103714181A (zh) 一种层级化的特定人物检索方法
CN111259978A (zh) 一种融合多区域深度特征的奶牛个体身份识别方法
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN107092878A (zh) 一种基于混合分类器的可自主学习多目标检测方法
CN112395953A (zh) 一种道面异物检测系统
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210831

Address after: 510700 room 2001-1, floor 20, building F, No. 98, Xiangxue 8th Road, Huangpu District, Guangzhou, Guangdong Province (office only)

Patentee after: Guangzhou ziweiyun Technology Co.,Ltd.

Address before: 510275 No. 135 West Xingang Road, Guangdong, Guangzhou

Patentee before: SUN YAT-SEN University

TR01 Transfer of patent right