CN103456013A - 一种表示超像素以及度量超像素之间相似性的方法 - Google Patents
一种表示超像素以及度量超像素之间相似性的方法 Download PDFInfo
- Publication number
- CN103456013A CN103456013A CN2013103984046A CN201310398404A CN103456013A CN 103456013 A CN103456013 A CN 103456013A CN 2013103984046 A CN2013103984046 A CN 2013103984046A CN 201310398404 A CN201310398404 A CN 201310398404A CN 103456013 A CN103456013 A CN 103456013A
- Authority
- CN
- China
- Prior art keywords
- super pixel
- square
- remarkable
- pixel
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种表示超像素以及度量超像素之间相似性的方法,包括两个阶段,第一阶段,进行超像素BoS构建:对于给定的输入图像,获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符;第二阶段,基于超像素BoS模型的超像素相似度计算,在获得超像素BoS模型描述符的基础上,对于两个超像素和之间的相似度进行度量。本发明可以更好地匹配超像素的特性、精确地捕获超像素的细节信息,以及合理地处理超像素分离与合并的多样性。本发明的方法,可以使得计算机视觉等相关领域中基于超像素的特定应用算法,如图像分割、图像匹配等算法,更好地应对超像素的不规则性、分离—合并多样性以及多特征性的特征,从而得到更好的效果。
Description
本发明涉及一种图像处理和图像分析的方法。特别是涉及一种基于超像素的算法应用的表示超像素以及度量超像素之间相似性的新方法。
背景技术
超像素是在一幅图中在感知上有意义的不规则区域,超像素经常通过将相似的相邻像素合并而产生。在超像素级别的应用中一个重要的问题是怎样可靠的测量两个超像素之间的相似度。当前大部分超像素相关的工作主要集中于超像素的产生,或者超像素在不同的计算机视觉问题中的应用。相比较规则的图像区域,超像素具有以下点特征:(1)不规则性,一幅图片的超像素具有不同的大小和形状。(2)分离—合并多样化,一个相同的物体在两幅不同的图片中可能得到不同数目的具有不同大小、形状以及空间连通性的超像素。(3)多特征性,大部分超像素算法产生的超像素多为一致性区域,但是由于参数设置、算法失效等原因,会存在包含多个一致性区域的超像素。当前对于超像素间相似性的测量,仍然是将超像素简单地当做一般的图像区域,简单的使用现有的区域特征来表示,如区域直方图,区域协方差,GMM和SPM。 即使这些方法在某些应用中该方法表现良好,但其忽略了超像素中的某些特征而这些特征将会导致在测量超像素级别相似度时使用的一般图像区域特征失效。
发明内容
本发明所要解决的技术问题是,提供一种能够更好地匹配超像素的特性、精确地捕获超像素的细节信息,以及合理地处理超像素分离与合并的多样性的表示超像素以及度量超像素之间相似性的方法。
本发明所采用的技术方案是:一种表示超像素以及度量超像素之间相似性的方法,包括两个阶段,第一阶段,进行超像素BoS构建:对于给定的输入图像,获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符;第二阶段,基于超像素BoS模型的超像素相似度计算,在获得超像素BoS模型描述符的基础上,对于两个超像素 和之间的相似度进行度量。
所述的第一阶段进行超像素BoS构建包括如下步骤:
1)提取超像素建立超像素金字塔:通过标准SLIC算法产生第1层超像素;给定第层的超像素,通过检测第层中超像素的初始种子与超像素的从属关系来产生第层的超像素;在第层中,每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素,使得第层超像素的边界严格落在第层中产生该超像素的超像素的边界内;
2)提取超像素内最大内接正方形:将BoS模型建立在超像素金字塔中的第一层超像素中,对于金字塔第1层中的所有超像素,使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域,在源区域中通过距离变换近似地提取最大内接正方形,具体是找到具有最大距离值的像素点,并且以该点作为中心,以该像素点到达边界的最短距离值为半径作圆,再作出圆的内接正方形,该内接正方形就是该区域的最大内接正方形,在剩余的区域内继续提取的最大内接正方形,从而递归地提取出一定数量的最大内接正方形;
3)正方形区域的表达:将正方形区域划分为一个均匀分布的同心带,每一个带区域都使用一个量化的颜色直方图描述,该颜色直方图将RGB三个颜色通道都划分为16等分,这样,该颜色直方图一共拥有4096个分布中心,每一个显著正方形的同心带都用来表示,将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图,再经过归一化处理形成了一个更大的稀疏直方图;
步骤4)所述的通过自验证聚类方法从中得到显著正方形是,首先,令,表示将面积最大的候选正方形当做一个显著正方形,并将它的权值赋值为1,同时定义,表示距离最远的显著正方形,对于中的候选正方形,我们将它与中的每一个显著正方形的相似度和它与的相似度做比较,如果与的距离大于与中的所有显著正方形的距离,我们将作为一个新的显著正方形加入到中,并且赋权值为1,记为,其中表示所代表的权重,在初始时赋值为1;否则,将被聚类到在集合中距离它最近显著正方形中,并且该显著正方形的权值加1,在直方图空间中, ,其中,m表示稀疏直方图的中心个数。
本发明的一种表示超像素以及度量超像素之间相似性的方法,可以更好地匹配超像素的特性、精确地捕获超像素的细节信息,以及合理地处理超像素分离与合并的多样性。本发明所给出的统一的超像素描述以及相似性度量的方法,可以使得计算机视觉等相关领域中基于超像素的特定应用算法,如图像分割、图像匹配等算法,更好地应对超像素的不规则性、分离—合并多样性以及多特征性的特征,从而得到更好的效果。
附图说明
图1是本发明一种表示超像素以及度量超像素之间相似性的方法的流程图;
图2是本发明BoS模型的直观示意图;
图3是MSRM方法与本发明方法应用在图像分割上的结果比较,其中第一、五列表示带有用户标记的原始图像,第二、六列代表使用传统MSRM分割方法得到的结果,第三、七列代表使用基于BoS模型分割后的结果,即为本发明分割的结果,第四、八列代表标准分割结果;白色模糊效果的区域代表背景区域,清晰显示的区域代表前景区域;
图4a是本发明的方法与其他算法的正确率的比较折线图;
图4b是本发明的方法与其他算法的查全率的比较折线图;
图4c是本发明的方法与其他算法的F1-measure的比较折线图;
图4a、图4b、图4c中带有圆圈的线表示基于BoS模型的分割,带有方框的线表示传统分割;
图5是本发明的验证尺度不变性示意图,其中,横坐标表示放缩因子,纵坐标表示相似度统计量,每一个放缩因子对应着图的上短横表示最大值,下短横表示最小值,圆点表示期望,矩形框表示方差,虚线表示众数;
图6是本发明的验证BoS模型的旋转不变性示意图,其中,横坐标表示旋转因子,纵坐标表示相似度统计量,每一个旋转因子对应着图的上短横表示最大值,下短横表示最小值,圆点表示期望,矩形框表示方差,虚线表示众数。
具体实施方式
下面结合实施例和附图对本发明的一种表示超像素以及度量超像素之间相似性的方法做出详细说明。
本发明的一种表示超像素以及度量超像素之间相似性的方法,对图像首先提取超像素,进而提取其BoS模型,并设计了基于BoS模型的度量方法,在保证算法较高正确率前提下,使得计算机视觉等领域中基于超像素的特定应用算法,如图像分割、图像匹配等,可以更好地应对超像素的不规则性、分离—合并多样性以及多特征性的特征。
本发明的一种表示超像素以及度量超像素之间相似性的方法,包括超像素BoS模型的构建和基于BoS模型的超像素相似度计算两个阶段。如图1所示:
第一阶段,进行超像素BoS构建:对于给定的输入图像,获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符,包括如下步骤:
1)提取超像素建立超像素金字塔:通过标准SLIC算法[1]产生第1层超像素;给定第层的超像素,我们通过检测第层中超像素的初始种子与超像素的从属关系来产生第层的超像素;在第层中,每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素,使得第层超像素的边界严格落在第层中产生该超像素的超像素的边界内;
2)提取超像素内最大内接正方形:为了保留超像素的特性,将BoS模型建立在超像素金字塔中的第一层超像素中,对于金字塔第1层中的所有超像素,使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域,在源区域中通过距离变换[1]近似地提取最大内接正方形,由于距离图像表示每一个像素点到达区域边界的最短距离,故具体是仅仅需要找到具有最大距离值的像素点,并且以该点作为中心,以该像素点到达边界的最短距离值为半径作圆,再作出圆的内接正方形,该内接正方形就是该区域的最大内接正方形,在剩余的区域内继续提取的最大内接正方形,从而递归地提取出一定数量的最大内接正方形;
3)正方形区域的表达:将正方形区域划分为一个均匀分布的同心带,每一个带区域都使用一个量化的颜色直方图描述,该颜色直方图将RGB三个颜色通道都划分为16等分,这样,该颜色直方图一共拥有4096个分布中心[2],每一个显著正方形的同心带都可以用来表示,将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图,再经过归一化处理形成了一个更大的稀疏直方图;
通过自验证聚类方法从中得到显著正方形;首先,令,表示将面积最大的候选正方形当做一个显著正方形,并将它的权值赋值为1,同时定义,表示距离最远的显著正方形,对于中的候选正方形,我们将它与中的每一个显著正方形的相似度和它与的相似度做比较,如果与的距离大于与中的所有显著正方形的距离,我们将作为一个新的显著正方形加入到中,并且赋权值为1,记为,其中表示所代表的权重,在初始时赋值为1;否则,将被聚类到在集合中距离它最近显著正方形中,并且该显著正方形的权值加1,在直方图空间中, ,其中,m表示稀疏直方图的中心个数。
,其中,
是一个权重向量,代表了显著正方形的重要程度,它表示为:
本发明的一种表示超像素以及度量超像素之间相似性的方法,给出了一套完整的统一的超像素描述以及相似性度量的方法,该方法可以更加合理地表示超像素,并且精确地度量超像素之间的相似性。相比较现行的区域描述符,该方法可以更好地匹配超像素的特性、精确地捕获超像素的细节信息,以及合理地处理超像素分离与合并的多样性。使得计算机视觉领域中基于超像素的特定应用算法,如图像分割、图像匹配等,可以更好地应对超像素的不规则性、分离—合并多样性以及多特征性。
参考文献:
[1]. R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, “SLIC superpixels compared to state-ofthe-art superpixel methods,” IEEE TPAMI, vol. 34, no.11, pp. 2274–2282, 2012
[2]. J. F. Ning, L. Zhang, D. Zhang, and C. K. Wu, “Interactive image segmentation by maximal similarity based region merging,” Pattern Recognition, vol. 43, no. 2, pp. 445–456, 2010.
Claims (4)
2.根据权利要求1所述的一种表示超像素以及度量超像素之间相似性的方法,其特征在于,所述的第一阶段进行超像素BoS构建包括如下步骤:
1)提取超像素建立超像素金字塔:通过标准SLIC算法产生第1层超像素;给定第层的超像素,通过检测第层中超像素的初始种子与超像素的从属关系来产生第层的超像素;在第层中,每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素,使得第层超像素的边界严格落在第层中产生该超像素的超像素的边界内;
2)提取超像素内最大内接正方形:将BoS模型建立在超像素金字塔中的第一层超像素中,对于金字塔第1层中的所有超像素,使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域,在源区域中通过距离变换近似地提取最大内接正方形,具体是找到具有最大距离值的像素点,并且以该点作为中心,以该像素点到达边界的最短距离值为半径作圆,再作出圆的内接正方形,该内接正方形就是该区域的最大内接正方形,在剩余的区域内继续提取的最大内接正方形,从而递归地提取出一定数量的最大内接正方形;
3)正方形区域的表达:将正方形区域划分为一个均匀分布的同心带,每一个带区域都使用一个量化的颜色直方图描述,该颜色直方图将RGB三个颜色通道都划分为16等分,这样,该颜色直方图一共拥有4096个分布中心,每一个显著正方形的同心带都用来表示,将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图,再经过归一化处理形成了一个更大的稀疏直方图;
3.根据权利要求2所述的一种表示超像素以及度量超像素之间相似性的方法,其特征在于,步骤4)所述的通过自验证聚类方法从中得到显著正方形是,首先,令,表示将面积最大的候选正方形当做一个显著正方形,并将它的权值赋值为1,同时定义,表示距离最远的显著正方形,对于中的候选正方形,我们将它与中的每一个显著正方形的相似度和它与的相似度做比较,如果与的距离大于与中的所有显著正方形的距离,我们将作为一个新的显著正方形加入到中,并且赋权值为1,记为,其中表示所代表的权重,在初始时赋值为1;否则,将被聚类到在集合中距离它最近显著正方形中,并且该显著正方形的权值加1,在直方图空间中, ,其中,m表示稀疏直方图的中心个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310398404.6A CN103456013B (zh) | 2013-09-04 | 2013-09-04 | 一种表示超像素以及度量超像素之间相似性的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310398404.6A CN103456013B (zh) | 2013-09-04 | 2013-09-04 | 一种表示超像素以及度量超像素之间相似性的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103456013A true CN103456013A (zh) | 2013-12-18 |
CN103456013B CN103456013B (zh) | 2016-01-20 |
Family
ID=49738341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310398404.6A Active CN103456013B (zh) | 2013-09-04 | 2013-09-04 | 一种表示超像素以及度量超像素之间相似性的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103456013B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714181A (zh) * | 2014-01-08 | 2014-04-09 | 天津大学 | 一种层级化的特定人物检索方法 |
CN103871089A (zh) * | 2014-01-08 | 2014-06-18 | 天津大学 | 一种基于融合的图像超像素网格化方法 |
CN104616247A (zh) * | 2015-02-10 | 2015-05-13 | 天津大学 | 一种用于基于超像素sift航拍地图拼接的方法 |
CN105160677A (zh) * | 2015-09-01 | 2015-12-16 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN105427307A (zh) * | 2015-11-20 | 2016-03-23 | 信阳师范学院 | 一种立方体粒计算的图像分割方法 |
CN103632167B (zh) * | 2013-11-29 | 2016-10-12 | 金陵科技学院 | 类地重力场环境下单目视觉空间识别方法 |
CN106097313A (zh) * | 2016-06-02 | 2016-11-09 | 甘肃读者动漫科技有限公司 | 图像分割方法及装置 |
CN107564011A (zh) * | 2017-07-28 | 2018-01-09 | 南京理工大学 | 基于直方图一维微分距离的分层超像素分割模型 |
CN108765508A (zh) * | 2018-04-10 | 2018-11-06 | 天津大学 | 一种基于分层的Art Deco风格图案快速生成方法 |
CN108875798A (zh) * | 2018-05-29 | 2018-11-23 | 电子科技大学 | 一种基于空间金字塔池化的超像素级特征提取方法 |
CN111815689A (zh) * | 2020-06-30 | 2020-10-23 | 杭州科度科技有限公司 | 一种半自动化标注方法、设备、介质及装置 |
CN114882040A (zh) * | 2022-07-12 | 2022-08-09 | 山东中治环境工程设备有限公司 | 一种基于模板匹配的污水处理检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483771A (zh) * | 2008-01-11 | 2009-07-15 | 奇景光电股份有限公司 | 提升帧速率的方法与装置 |
CN102663757A (zh) * | 2012-04-20 | 2012-09-12 | 西安电子科技大学 | 基于核传递的半自动图像分割方法 |
CN103093470A (zh) * | 2013-01-23 | 2013-05-08 | 天津大学 | 一种具有尺度无关特性的快速多模态图像协同分割方法 |
-
2013
- 2013-09-04 CN CN201310398404.6A patent/CN103456013B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483771A (zh) * | 2008-01-11 | 2009-07-15 | 奇景光电股份有限公司 | 提升帧速率的方法与装置 |
CN102663757A (zh) * | 2012-04-20 | 2012-09-12 | 西安电子科技大学 | 基于核传递的半自动图像分割方法 |
CN103093470A (zh) * | 2013-01-23 | 2013-05-08 | 天津大学 | 一种具有尺度无关特性的快速多模态图像协同分割方法 |
Non-Patent Citations (1)
Title |
---|
RADHAKRISHNA ACHANTA ET AL.: "《SLIC Superpixels Compared to State-of-the-Art Superpixel Methods》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632167B (zh) * | 2013-11-29 | 2016-10-12 | 金陵科技学院 | 类地重力场环境下单目视觉空间识别方法 |
CN103871089A (zh) * | 2014-01-08 | 2014-06-18 | 天津大学 | 一种基于融合的图像超像素网格化方法 |
CN103714181B (zh) * | 2014-01-08 | 2016-09-28 | 天津大学 | 一种层级化的特定人物检索方法 |
CN103871089B (zh) * | 2014-01-08 | 2017-01-18 | 天津大学 | 一种基于融合的图像超像素网格化方法 |
CN103714181A (zh) * | 2014-01-08 | 2014-04-09 | 天津大学 | 一种层级化的特定人物检索方法 |
CN104616247A (zh) * | 2015-02-10 | 2015-05-13 | 天津大学 | 一种用于基于超像素sift航拍地图拼接的方法 |
CN104616247B (zh) * | 2015-02-10 | 2017-11-21 | 天津大学 | 一种用于基于超像素sift航拍地图拼接的方法 |
CN105160677A (zh) * | 2015-09-01 | 2015-12-16 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN105160677B (zh) * | 2015-09-01 | 2018-03-06 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN105427307B (zh) * | 2015-11-20 | 2018-10-30 | 信阳师范学院 | 一种立方体粒计算的图像分割方法 |
CN105427307A (zh) * | 2015-11-20 | 2016-03-23 | 信阳师范学院 | 一种立方体粒计算的图像分割方法 |
CN106097313A (zh) * | 2016-06-02 | 2016-11-09 | 甘肃读者动漫科技有限公司 | 图像分割方法及装置 |
CN107564011A (zh) * | 2017-07-28 | 2018-01-09 | 南京理工大学 | 基于直方图一维微分距离的分层超像素分割模型 |
CN107564011B (zh) * | 2017-07-28 | 2023-06-16 | 南京理工大学 | 基于直方图一维微分距离的分层超像素分割模型 |
CN108765508A (zh) * | 2018-04-10 | 2018-11-06 | 天津大学 | 一种基于分层的Art Deco风格图案快速生成方法 |
CN108875798A (zh) * | 2018-05-29 | 2018-11-23 | 电子科技大学 | 一种基于空间金字塔池化的超像素级特征提取方法 |
CN108875798B (zh) * | 2018-05-29 | 2022-06-24 | 电子科技大学 | 一种基于空间金字塔池化的超像素级特征提取方法 |
CN111815689A (zh) * | 2020-06-30 | 2020-10-23 | 杭州科度科技有限公司 | 一种半自动化标注方法、设备、介质及装置 |
CN111815689B (zh) * | 2020-06-30 | 2024-06-04 | 杭州科度科技有限公司 | 一种半自动化标注方法、设备、介质及装置 |
CN114882040A (zh) * | 2022-07-12 | 2022-08-09 | 山东中治环境工程设备有限公司 | 一种基于模板匹配的污水处理检测方法 |
CN114882040B (zh) * | 2022-07-12 | 2022-09-06 | 山东中治环境工程设备有限公司 | 一种基于模板匹配的污水处理检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103456013B (zh) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103456013A (zh) | 一种表示超像素以及度量超像素之间相似性的方法 | |
Jagadev et al. | Detection of leukemia and its types using image processing and machine learning | |
CN105069466B (zh) | 基于数字图像处理的行人服饰颜色识别方法 | |
CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN103824059A (zh) | 一种基于视频图像序列的人脸表情识别方法 | |
Sethy et al. | Detection of healthy and defected diseased leaf of rice crop using K-means clustering technique | |
Liu et al. | Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model | |
CN103473551A (zh) | 基于sift算子的台标识别方法及系统 | |
CN110706294A (zh) | 一种色纺织物颜色差异度检测方法 | |
CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
CN102184404B (zh) | 掌纹图像中手掌区域的获取方法及装置 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
Wicaksono et al. | Color and texture feature extraction using gabor filter-local binary patterns for image segmentation with fuzzy C-means | |
CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
Lodh et al. | Flower recognition system based on color and GIST features | |
Sari et al. | Flower classification using combined a* b* color and fractal-based texture feature | |
Rong et al. | A two level algorithm for text detection in natural scene images | |
JP2006099565A (ja) | コンテンツ識別装置 | |
Lu et al. | Spectral segmentation via midlevel cues integrating geodesic and intensity | |
Hu et al. | Fast face detection based on skin color segmentation using single chrominance Cr | |
CN111191659B (zh) | 服装生产系统多形状衣架识别方法 | |
Castelo-Quispe et al. | Optimization of brazil-nuts classification process through automation using colour spaces in computer vision | |
Das et al. | Human face detection in color images using HSV color histogram and WLD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210625 Address after: No.48, 1st floor, No.58, No.44, Middle North Third Ring Road, Haidian District, Beijing 100088 Patentee after: BEIJING HONGBO ZHIWEI SCIENCE & TECHNOLOGY Co.,Ltd. Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Patentee before: Tianjin University |
|
TR01 | Transfer of patent right |