CN112070090A - 自然场景下基于bpt结点分析的混合目标物提取方法 - Google Patents
自然场景下基于bpt结点分析的混合目标物提取方法 Download PDFInfo
- Publication number
- CN112070090A CN112070090A CN202010758129.4A CN202010758129A CN112070090A CN 112070090 A CN112070090 A CN 112070090A CN 202010758129 A CN202010758129 A CN 202010758129A CN 112070090 A CN112070090 A CN 112070090A
- Authority
- CN
- China
- Prior art keywords
- region
- bpt
- node
- similarity
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自然场景下基于BPT结点分析的混合目标物提取方法,步骤包括:采用分水岭算法对待处理图像进行初始分割;计算初始分割图中所有相邻区域对的区域相似度;依据合并规则选择一对或多对区域进行合并,并构建BPT来记录合并序列;计算完成合并的区域信息,并更新区域相似度;若现有区域数大于1,则返回步骤3继续合并;依据重要性指数生成选定结点集,并基于选定结点集提取目标物。该混合目标物提取方法通过基于BPT的结点分析,选择BPT结点子集得到合适的区域合并结果来表示图像分割结果,最终实现目标提取。
Description
技术领域
本发明涉及一种混合目标物提取方法,尤其是一种自然场景下基于BPT结点分析的混合目标物提取方法。
背景技术
分析和理解自然场景图像中的重要信息,对环境的检测与保护有重大意义。自然场景图像的分析和理解应当以图像分割产生的具有结构化信息的目标为基础。有许多广泛使用的图像分割方法,都存在着过分割现象,导致图像分割的结果效果不是很理想,无法提取图像中的目标。近年来,基于区域合并的图像分割方法吸引了很多的研究。这些方法可以描述为:从一个初始的过分割图像开始,然后根据预先定义的区域合并准则逐步将相似的相邻区域合并形成新的区域,最后得到一个图像分割结果,并提取出目标。
图像的初始分割一般由分水岭算法、均值漂移算法和超像素算法等初级图像分割算法来完成,使用这些算法足以得到一个效果良好的过分割图像结果。相邻的一对区域是否合并由区域相似性度量来决定,通常区域相似性度量是基于一些区域的重要信息来进行计算的,比如区域灰度与区域面积等。除了相似性度量以外,区域的合并准则也很重要,区域合并准则将基于区域相似性度量来选择相邻区域进行合并,这将减少区域合并过程中错误合并的发生,因为目标的某个区域可能与其背景的某个区域相似性很高,如果直接合并,将影响区域合并的结果。
发明内容
发明目的:提供一种自然场景下基于BPT结点分析的混合目标物提取方法,通过基于BPT的结点分析,选择BPT结点子集得到合适的区域合并结果来表示图像分割结果,最终实现目标提取。
技术方案:本发明所述的自然场景下基于BPT结点分析的混合目标物提取方法,包括如下步骤:
步骤1,采用分水岭算法对待处理图像进行初始分割;
步骤2,计算初始分割图中所有相邻区域对的区域相似度;
步骤3,依据合并规则选择一对或多对区域进行合并,并构建BPT来记录合并序列;
步骤4,计算完成合并的区域信息,并更新区域相似度;
步骤5,若现有区域数大于1,则返回步骤3继续合并,否则转至步骤6;
步骤6,依据重要性指数生成选定结点集,并基于选定结点集提取目标物。
进一步的,步骤2中,区域相似度计算公式为:
S(i,j)=ρ1α(i,j)+ρ2c(i,j)
式中,ρ1和ρ2分别表示区域面积和区域灰度的相似性系数,α(i,j)表示相邻区域的面积相似度,c(i,j)表示相邻区域的灰度相似度。
进一步的,相邻区域的面积相似度的计算公式为:
式中,ai和aj分别表示相邻两区域的面积。
进一步的,相邻区域的灰度相似度的计算公式为:
式中,Hi表示区域Ri的颜色直方图,Hj表示区域Rj的颜色直方图,α和β分别是相邻直方图Hi和Hj对应的bin。
进一步的,步骤3中,合并规则具体为:
式中,Φ={Ri,Rj|αi<μ,αj<μ},Distinguish(i,j)表示判断Ri与Rj是否互为对方邻域中相似度最大的区域,取值为1时表示是,反之则表示不是。
进一步的,步骤3中,区域合并过程由二叉分区树来记录。
进一步的,步骤3中,构建的BPT具体为:
ascendant(i,j)=merge(i,j)
式中,ascendant(i,j)表示i和j的父结点编号,merge(i,j)表示合并后的区域编号。
进一步的,步骤4中,计算完成合并的区域信息的具体计算公式为:
式中,Hk表示合并后的区域颜色直方图。
进一步的,步骤6中,依据重要性指数生成选定结点集的具体步骤为:
步骤6.1,将BPT中所有结点的状态设置为active;
步骤6.2,将状态为active的结点中重要性指数最高的作为选定结点;
步骤6.3,将选定结点的所有后继结点状态设置为inactive;
步骤6.4,将选定结点的所有前驱结点状态设置为active;
步骤6.5,重复步骤6.2-6.4,直到BPT中不存在状态为active的结点;
步骤6.6,选取重要性指标总和超过选定结点集重要性指标总和80%的选定结点组合构成目标物。
进一步的,步骤6.2中,重要性指数的计算公式为:
式中,Li(Rj)表示Ri与其邻域Rj的边界线长度,θi是Ri在区域合并过程中作为初始分割区域或合并区域生成时与Ri相邻的区域集合,是由区域面积归一化的区域相似性度量的总和,Li(Rj)是区域的边界长度。
本发明与现有技术相比,其有益效果是:(1)基于区域相似性度量结果,采用一种逐级宽松的选择策略确定待合并区域对,使得区域误合并结果大大降低;(2)融合区域灰度与边缘特征的重要性指数,有利于最佳合并停止时刻的确定;(3)通过基于BPT的结点分析,选择BPT结点子集得到合适的区域合并结果来演示整个图像分割过程,让从超像素集到整片图像的区域合并流程得以可视化。
附图说明
图1为本发明的混合目标物提取方法流程图;
图2为本发明提取方法的待处理图;
图3为本发明提取方法的分水岭算法分割结果图;
图4为本发明提取方法的二叉分区树方法示意图;
图5为本发明提取方法的结点选择流程图;
图6为本发明提取方法的最终结果图;
图7为本发明提取方法的实验结果图。
具体实施方式
下面结合附图对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
实施例1:
如图1所示,本发明公开的自然场景下基于BPT结点分析的混合目标物提取方法,包括如下步骤:
步骤1,采用分水岭算法对待处理图像进行初始分割,待处理图如图2所示,分水岭算法分割结果图如图3所示;
步骤2,计算初始分割图中所有相邻区域对的区域相似度;
步骤3,依据合并规则选择一对或多对区域进行合并,并构建BPT来记录合并序列;
步骤4,计算完成合并的区域信息,并更新区域相似度;
步骤5,若现有区域数大于1,则返回步骤3继续合并,否则转至步骤6;
步骤6,依据重要性指数生成选定结点集,结点选择流程如图5所示,并基于选定结点集提取目标物,提取的结果图如图6所示。
本发明公开的自然场景下基于BPT结点分析的混合目标物提取方法从一个初始的过分割图像出发,利用区域信息作为相似性度量,针对合并过程中出现的错误合并情况,改进了区域合并准则,有效地实现了区域的正确合并,方法中还使用二叉分区树(BinaryPartition Tree)记录了区域合并的整个过程,在对BPT进行分析的基础上,选择适当的BPT结点子集来表示有意义的图像目标提取结果,实验结果表明,该方法具有较好的分割性能。
进一步的,步骤2中,区域相似度计算公式为:
S(i,j)=ρ1α(i,j)+ρ2c(i,j)
式中,ρ1和ρ2分别表示区域面积和区域灰度的相似性系数,α(i,j)表示相邻区域的面积相似度,c(i,j)表示相邻区域的灰度相似度;融合区域灰度与边缘特征的重要性指数,有利于最佳合并停止时刻的确定。
进一步的,相邻区域的面积相似度的计算公式为:
式中,ai和aj分别表示相邻两区域的面积。
进一步的,相邻区域的灰度相似度的计算公式为:
式中,Hi表示区域Ri的颜色直方图,Hj表示区域Rj的颜色直方图,α和β分别是相邻直方图Hi和Hj对应的bin。
进一步的,步骤3中,合并规则具体为:
式中,Φ={Ri,Rj|αi<μ,αj<μ},Distinguish(i,j)表示判断Ri与Rj是否互为对方邻域中相似度最大的区域,取值为1时表示是,反之则表示不是;基于区域相似性度量结果,采用一种逐级宽松的选择策略确定待合并区域对,使得区域误合并结果大大降低。
如图4所示,进一步的,步骤3中,区域合并过程由二叉分区树来记录,可以有效地表示图像的区域合并过程。
进一步的,步骤3中,构建的BPT具体为:
ascendant(i,j)=merge(i,j)
式中,ascendant(i,j)表示i和j的父结点编号,merge(i,j)表示合并后的区域编号。
进一步的,步骤4中,计算完成合并的区域信息的具体计算公式为:
式中,Hk表示合并后的区域颜色直方图。
进一步的,步骤6中,依据重要性指数生成选定结点集的具体步骤为:
步骤6.1,将BPT中所有结点的状态设置为active;
步骤6.2,将状态为active的结点中重要性指数最高的作为选定结点;
步骤6.3,将选定结点的所有后继结点状态设置为inactive;
步骤6.4,将选定结点的所有前驱结点状态设置为active;
步骤6.5,重复步骤6.2-6.4,直到BPT中不存在状态为active的结点;
步骤6.6,选取重要性指标总和超过选定结点集重要性指标总和80%的选定结点组合构成目标物。
进一步的,步骤6.2中,重要性指数的计算公式为:
式中,Li(Rj)表示Ri与其邻域Rj的边界线长度,θi是Ri在区域合并过程中作为初始分割区域或合并区域生成时与Ri相邻的区域集合,是由区域面积归一化的区域相似性度量的总和,Li(Rj)是区域的边界长度。
本实施例还提供了仿真实验对本发明的自然场景下基于BPT结点分析的混合目标物提取方法进行验证,具体仿真步骤为:
(1)仿真条件:仿真实验硬件平台为图像工作站:i7-8700/64G/256G固态+2T,GTX1080ti-11G显卡。仿真实验软件平台为MATLAB R2016a。
(2)仿真内容:选取了160幅自然图像,并与现有技术中的自适应区域合并(AdaptiveRegion Merging)方法进行了对比实验,再使用分水岭算法来获得ARM和本申请提出算法相同的初始分割结果,并调整两种方法中的参数以获得最佳分割结果,实验结果如图4所示:
与使用ARM得到的分割结果相比,本发明方法可以更好地保留有意义的目标轮廓。但是,本发明方法不能有效地处理一些困难的图像,例如最后一组示例,其中目标本身颜色差距较大。由于区域相似性度量的性质,在区域合并过程中,自身颜色相差很大的目标会被分成多个区域,可以观察到使用ARM得到的结果也不令人满意。为了更客观的比较实验结果,本发明使用分割覆盖(segmentation covering)的度量来客观地评估分割性能,SC的定义如下:
式中,sj是每个方法生成的最终图像分割结果s中的jth区域,gi是正确分割g中的ith区域,n是图像中的像素数,式中用g表示s的覆盖,因此,SC值越大,图像分割质量越高。通过计算实验结果中SC的平均值,以客观地评估ARM和本发明方法的性能,分别为0.754和0.825。从主观观察和客观评价来看,本发明方法比ARM具有更好的分割性能。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上作出各种变化。
Claims (10)
1.自然场景下基于BPT结点分析的混合目标物提取方法,其特征在于,包括如下步骤:
步骤1,采用分水岭算法对待处理图像进行初始分割;
步骤2,计算初始分割图中所有相邻区域对的区域相似度;
步骤3,依据合并规则选择一对或多对区域进行合并,并构建BPT来记录合并序列;
步骤4,计算完成合并的区域信息,并更新区域相似度;
步骤5,若现有区域数大于1,则返回步骤3继续合并,否则转至步骤6;
步骤6,依据重要性指数生成选定结点集,并基于选定结点集提取目标物。
2.根据权利要求1所述的自然场景下基于BPT结点分析的混合目标物提取方法,其特征在于,步骤2中,区域相似度计算公式为:
S(i,j)=ρ1α(i,j)+ρ2c(i,j)
式中,ρ1和ρ2分别表示区域面积和区域灰度的相似性系数,α(i,j)表示相邻区域的面积相似度,c(i,j)表示相邻区域的灰度相似度。
6.根据权利要求1所述的自然场景下基于BPT结点分析的混合目标物提取方法,其特征在于,步骤3中,区域合并过程由二叉分区树来记录。
7.根据权利要求1所述的自然场景下基于BPT结点分析的混合目标物提取方法,其特征在于,步骤3中,构建的BPT具体为:
ascendant(i,j)=merge(i,j)
式中,ascendant(i,j)表示i和j的父结点编号,merge(i,j)表示合并后的区域编号。
9.根据权利要求1所述的自然场景下基于BPT结点分析的混合目标物提取方法,其特征在于,步骤6中,依据重要性指数生成选定结点集的具体步骤为:
步骤6.1,将BPT中所有结点的状态设置为active;
步骤6.2,将状态为active的结点中重要性指数最高的作为选定结点;
步骤6.3,将选定结点的所有后继结点状态设置为inactive;
步骤6.4,将选定结点的所有前驱结点状态设置为active;
步骤6.5,重复步骤6.2-6.4,直到BPT中不存在状态为active的结点;
步骤6.6,选取重要性指标总和超过选定结点集重要性指标总和80%的选定结点组合构成目标物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010758129.4A CN112070090A (zh) | 2020-07-31 | 2020-07-31 | 自然场景下基于bpt结点分析的混合目标物提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010758129.4A CN112070090A (zh) | 2020-07-31 | 2020-07-31 | 自然场景下基于bpt结点分析的混合目标物提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112070090A true CN112070090A (zh) | 2020-12-11 |
Family
ID=73657701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010758129.4A Pending CN112070090A (zh) | 2020-07-31 | 2020-07-31 | 自然场景下基于bpt结点分析的混合目标物提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112070090A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496151A (zh) * | 2011-12-08 | 2012-06-13 | 南京大学 | 一种用于高分辨率遥感图像多尺度分割的方法 |
CN102915541A (zh) * | 2012-10-31 | 2013-02-06 | 上海大学 | 多尺度的图像分割方法 |
CN106529424A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于选择性搜索算法的车标检测识别方法及系统 |
CN108596875A (zh) * | 2018-03-21 | 2018-09-28 | 浙江大学 | 一种基于图像分割算法的半导体芯片溢料快速检测方法 |
CN109376750A (zh) * | 2018-06-15 | 2019-02-22 | 武汉大学 | 一种融合中波红外与可见光的遥感影像分类方法 |
CN109493344A (zh) * | 2018-09-18 | 2019-03-19 | 北京大学 | 一种大规模城市三维场景的语义分割方法 |
CN111047603A (zh) * | 2019-11-27 | 2020-04-21 | 南京师范大学 | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 |
CN111161282A (zh) * | 2019-12-30 | 2020-05-15 | 西南交通大学 | 基于深度种子的图像多层次分割的目标尺度选择方法 |
-
2020
- 2020-07-31 CN CN202010758129.4A patent/CN112070090A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496151A (zh) * | 2011-12-08 | 2012-06-13 | 南京大学 | 一种用于高分辨率遥感图像多尺度分割的方法 |
CN102915541A (zh) * | 2012-10-31 | 2013-02-06 | 上海大学 | 多尺度的图像分割方法 |
CN106529424A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于选择性搜索算法的车标检测识别方法及系统 |
CN108596875A (zh) * | 2018-03-21 | 2018-09-28 | 浙江大学 | 一种基于图像分割算法的半导体芯片溢料快速检测方法 |
CN109376750A (zh) * | 2018-06-15 | 2019-02-22 | 武汉大学 | 一种融合中波红外与可见光的遥感影像分类方法 |
CN109493344A (zh) * | 2018-09-18 | 2019-03-19 | 北京大学 | 一种大规模城市三维场景的语义分割方法 |
CN111047603A (zh) * | 2019-11-27 | 2020-04-21 | 南京师范大学 | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 |
CN111161282A (zh) * | 2019-12-30 | 2020-05-15 | 西南交通大学 | 基于深度种子的图像多层次分割的目标尺度选择方法 |
Non-Patent Citations (2)
Title |
---|
LIN ZHA ET AL.: "A Novel Region Merging Based Image Segmentation Approach for Automatic Object Extraction", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS(ISCAS)》, pages 970 - 973 * |
PABLO ARBELAEZ ET AL.: "Contour Detection and Hierarchical Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 33, no. 5, pages 898 - 916, XP011363853, DOI: 10.1109/TPAMI.2010.161 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009638B (zh) | 基于局部统计特征的桥梁拉索图像外观缺陷检测方法 | |
KR101891225B1 (ko) | 배경 모델을 업데이트하기 위한 방법 및 장치 | |
JP2004164624A (ja) | 低被写界深度画像セグメンテーションの方法及び機器 | |
CN108629783B (zh) | 基于图像特征密度峰值搜索的图像分割方法、系统及介质 | |
US8983199B2 (en) | Apparatus and method for generating image feature data | |
US9105091B2 (en) | Watermark detection using a propagation map | |
JP5173898B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
CN108664839B (zh) | 一种图像处理方法和设备 | |
JP2009147911A (ja) | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム | |
EP1456960A2 (en) | Apparatus and method for detection of scene changes in motion video | |
JP2012058787A (ja) | 情報処理装置、およびその処理方法 | |
CN113313663B (zh) | 基于零样本学习的多聚焦图像融合方法 | |
CN111179295A (zh) | 改进的二维Otsu阈值图像分割方法和系统 | |
CN110751654B (zh) | 图像抠图方法、介质、设备及装置 | |
CN114283089B (zh) | 基于跳跃加速的深度恢复方法、电子设备及存储介质 | |
US20070076965A1 (en) | Image encoding apparatus | |
CN110544262A (zh) | 一种基于机器视觉的子宫颈细胞图像分割方法 | |
CN112070090A (zh) | 自然场景下基于bpt结点分析的混合目标物提取方法 | |
KR101332630B1 (ko) | 경량화된 랜덤펀스 및 이를 이용한 이미지 표현방법 | |
CN111951254B (zh) | 基于边缘引导加权平均的源相机识别方法及系统 | |
Khanykov | Technique for Acceleration of Classical Ward's Method for Clustering of Image Pixels | |
Ma et al. | Hierarchical segmentation based on a multilevel thresholding | |
CN110599517A (zh) | 一种基于局部特征和全局hsv特征组合的目标特征描述方法 | |
CN116630205B (zh) | 一种图像处理方法、智能终端及存储介质 | |
CN110189358B (zh) | 一种基于协同特征学习的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |