CN112862834A - 一种基于视觉显著区域和主动轮廓的图像分割方法 - Google Patents
一种基于视觉显著区域和主动轮廓的图像分割方法 Download PDFInfo
- Publication number
- CN112862834A CN112862834A CN202110059363.2A CN202110059363A CN112862834A CN 112862834 A CN112862834 A CN 112862834A CN 202110059363 A CN202110059363 A CN 202110059363A CN 112862834 A CN112862834 A CN 112862834A
- Authority
- CN
- China
- Prior art keywords
- image
- cluster
- term
- segmented
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003709 image segmentation Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 230000003044 adaptive effect Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 22
- 239000000126 substance Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 101100264172 Oryza sativa subsp. japonica XIAO gene Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003101 oviduct Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉显著区域和主动轮廓的图像分割方法,属于模式识别和智能信息处理领域。该方法首先采用一种改进的视觉显著区域检测方法对原始图像进行预处理操作,自动设置初始化轮廓,并使用获取的目标先验信息设计自适应符号函数,对优化LoG能量项进行加权,构造自适应符号函数加权的优化LoG能量项;其次充分考虑局部空间与灰度变化信息,对局部能量项进行改进。最后,以线性方式将全局能量项与改进的局部能量项进行融合,提出新的基于区域的混合主动轮廓分割模型。本发明方法能够在含有复杂背景图像中快速定位目标位置,并保持了目标轮廓的连贯性和完整性。
Description
技术领域
本发明涉及一种基于视觉显著区域和主动轮廓的图像分割方法,属于模式识别和智能信息处理领域。
背景技术
图像分割是实时图像处理的基础研究内容,作为目标提取、识别和跟踪的预处理操作,图像分割结果的好坏直接影响后续步骤的处理结果。
通常图像采集过程中,易受设备及外部环境的影响,获取的图像往往存在灰度分布不均且边界模糊的问题,因此图像分割面临巨大的挑战。基于主动轮廓模型的图像分割方法利用能量最小化原理,可以为目标分割提供平滑的轮廓。由于此类模型在处理含有弱边缘的图像中表现突出,凭借允许嵌入各种先验知识实现鲁棒分割的优势,在计算机视觉和图像分割中得到了广泛的应用。
基于主动轮廓模型的图像分割方法目前主要有基于边缘和区域两种模型。前者主要依赖图像梯度信息定义边缘停止函数,在梯度大的位置曲线停止演化,捕捉目标边界,此类模型在高质量图像中可以取得精确的分割结果,但对噪声敏感且不适合弱边缘的提取,导致分割时误将噪声当成目标导致分割出现错误。后者主要利用区域统计信息构造驱动力,引导曲线演化至目标边界;根据区域统计信息类型的不同分为基于全局、局部的主动轮廓模型:基于全局的主动轮廓模型基于图像由两个同质区域组成的假设,能够有效分割同质图像。然而,全局模型由于仅考虑图像全局信息,难以准确捕捉含有灰度不均匀图像的目标边界。为了解决这一问题,Chun ming Li等提出一种RSF模型(参见LI C M,KAO A Y,GOREJ C,et al.Implicit active contours driven by local binary fitting energy.2007IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2007.),引入了高斯核函数来统计图像局部信息(即基于局部的主动轮廓模型),从而克服全局模型无法分割灰度不均图像的缺点,但该模型对初始化的设置极其敏感,不合理的初始化轮廓容易使模型在分割过程中陷入局部极值,导致出现错误的分割结果。
鉴于对基于全局和局部两种模型优缺点的分析,许多研究学者尝试将两种模型结合,提出一系列混合模型,如Keyan Ding等提出的ACL模型(参见DING,K Y,XIAO L F,WengG R."Active contours driven by region-scalable fitting and optimizedLaplacian of Gaussian energy for image segmentation."Signal Processing 134(2017):224-233.),该模型提出一种优化LoG能量项,作为全局检测方法与RSF模型相结合,降低模型在分割过程中陷入局部极值的可能,提高了模型分割准确度。然而,该优化LoG能量项的全局检测方法仍需人工设置初始化轮廓,当轮廓曲线远离目标边界时,演化曲线易受背景干扰,导致收敛速度缓慢,且局部项的设计仅考虑局部空间信息,无法全面衡量局部邻域点对中心点的影响程度,导致模型容易在弱边缘处发生泄漏,降低模型的分割精度。
另外,复杂场景中,仅使用主动轮廓模型往往难以得到理想的分割结果,所以有学者提出将视觉显著区域检测算法应用到图像分割中来。视觉显著区域检测算法是当前计算机视觉领域的一大研究热点。Feng Ye等人(参见YE F,LI W R,CHEN J Z.基于显著性区域检测和水平集的图像快速分割算法[J].电子与信息学报,2017(11).)利用视觉显著区域检测算法对图像进行预处理操作,获取目标先验信息,而后将边缘信息与区域局部信息相结合,提出新的主动轮廓模型,用于图像分割。但该模型只是利用现有的视觉显著区域检测算法对图像进行预处理操作,目的在于获取目标形状先验信息,并不是针对灰度分布不均匀问题,因而在灰度分布不均匀程度较为严重的图像(比如含有灰度不均自然图像)中,也就是无法获取较为准确的目标形状先验信息时,从而降低了该模型的分割效率。
发明内容
为了解决传统主动轮廓算法无法自动设置初始化轮廓,曲线演化易陷入局部极值,且难以分割含有灰度不均匀及弱边缘图像的问题,本发明提供了一种基于视觉显著区域和主动轮廓的图像分割方法,该方法首先对现有的视觉显著区域检测算法进行改进,结合基于簇的紧凑性设计紧凑对比度测度,获取更精确的目标先验信息,自动设置初始化轮廓曲线及优化LoG能量项符号函数;使用自适应符号函数对优化LoG能量项进行加权,提出基于图像全局信息的自适应符号函数加权的优化LoG能量项,能够有效避免模型在演化过程中陷入局部极值,提高模型分割准确度;引入局部灰度变化信息与空间信息相结合,对局部能量项进行改进,提高模型在弱边缘处的敏感程度,使得所获取的目标轮廓更为完整;最后以线性方式融合自适应符号函数加权的LoG能量项与改进的局部能量项应用于图像分割。
一种基于视觉显著区域和主动轮廓的图像分割方法,所述方法包括:
S1:使用视觉显著区域检测算法对待分割图像进行预处理操作,获取目标种子矩阵sal1和目标形状先验矩阵sal2;预处理操作中,将待分割图像中所有像素点聚类为K个簇,根据每个簇的紧凑程度,重新设计紧凑对比度测度ωc′(Ck);
S2:使用将目标形状先验矩阵sal2分为两部分的边界作为初始轮廓曲线C,构造水平集函数φ:
其中,(z1,z2)表示水平集函数φ在t时刻的坐标;
S3:构造基于待分割图像全局信息的自适应符号函数加权优化LoG能量项,即全局能量项;
S4:引入灰度变化统计信息与空间信息相结合,构建新的局部能量项;
S5:以线性方式融合局部能量项与全局能量项,并添加长度项与惩罚项,实现对于待分割图像的图像分割。
可选的,所述S1使用视觉显著区域检测算法对待分割图像进行预处理操作,获取目标种子矩阵sal1和目标形状先验矩阵sal2,包括:
1.1将待分割图像中所有像素点聚类为K个簇;
1.2分别计算簇Ck对应的空间测度ωs(Ck)和对比度测度ωc(Ck),k=1,2,...,K;
其中,zi表示像素点i的空间索引,o为待分割图像中心的空间索引,为高斯分布,||·||2表示欧式距离,σn 2为归一化方差;ζ(i,Ck)表示当像素点i属于簇Ck时取值为1,否则取值为0;nk是簇Ck所含像素的个数,nj是簇Cj所含像素的个数;||μk-μj||2表示簇Ck与Cj聚类中心μk和μj之间的欧氏距离;N代表待分割图像像素的总个数;
1.3根据每个簇的紧凑程度计算紧凑对比度测度ωc′(Ck);
1.4以非线性方式融合空间测度ωs(Ck)和紧凑对比度测度ωc′(Ck),计算每个簇对应的显著值p(Ck):
p(Ck)=Пωs(Ck)·ωc'(Ck)
1.5计算每个像素点对应的显著值ρ(i),获取待分割图像的基于像素的显著图:
1.6对待分割图像的基于像素的显著图进行初步分割,得到初始二值图;再利用半径为2的圆形模板对初始二值图进行形态学腐蚀操作,得到优化二值图,并选取优化二值图连通域最大区域中所包含的像素点作为目标种子点,标记为1,其余为非目标种子点,标记为0;得到目标种子矩阵sal1,再利用半径为2的圆形模板对优化二值图进行膨胀操作,得到目标形状先验矩阵sal2。
可选的,所述1.3根据每个簇的紧凑程度计算紧凑对比度测度ωc′(Ck),包括:
1.3.1计算待分割图像域中基于簇的对比度测度显著值均值:
1.3.2计算簇内各像素点到簇中心像素点的空间距离,并将其归一化为[0,1]:
dcom(Ck)=norm(dcomo(Ck))
1.3.3计算紧凑对比度测度:
可选的,所述S3构造基于待分割图像全局信息的自适应符号函数加权优化LoG能量项,即全局能量项,包括:
其中,H(φ)为亥维赛函数,λ3,λ4为系数,in(C)表示初始轮廓曲线C演化后包围的内部区域,out(C)为图像域Ω除in(C)以外的区域。
可选的,所述彩色图像中R、G、B通道中最大对比度位图bγ获取步骤如下:
记待分割图像的像素点强度值为样本X={Xi|i=1,2,…,N},其中Xi为像素点i处的强度值,N为像素总数;分别计算R、G、B通道内的四阶矩:
计算R、G、B各通道对比度:
获取待分割图像R、G、B通道中具有最大对比度的位图:
Fcon_x为R、G、B各通道对比度。
可选的,所述构建自适应符号函数sgn(·),包括:
使用f(p,q)表示位图bγ中任意像素点的强度值,(p,q)为坐标索引,分别计算目标种子点与非目标种子点对应的强度均值msal和mnsal:
比较目标种子点与非目标种子点的强度均值大小,设计自适应符号函数:
msal>mnsal表示目标种子点的强度大于非目标种子点的强度,msal<mnsal表示目标种子点的强度小于非目标种子点的强度,当msal=mnsal表示目标种子点的强度等于非目标种子点的强度。
可选的,所述S4引入灰度变化统计信息与空间信息相结合,构建新的局部能量项εsgFit,包括:
4.1统计局部灰度变化信息δg_xy;
4.2根据下式构建局部能量项εsgFit:
εsgFit(φ,m1(x),m2(x))=λ1∫δg_xy[∫δs_xy|I(y)-m1(x)|2H(φ)dy]dx+λ2∫δg_xy[∫δs_xy|I(y)-m2(x)|2(1-H(φ))dy]dx
其中,I(y)代表局部窗口中心像素点x的邻域像素点y强度值,m1(x),m2(x)分别为像素点x处目标边界两侧的局部近似拟合值,λ1=λ2=1。
可选的,所述4.1统计局部灰度变化信息δg_xy,包括:
4.1.1图像中的任一局部窗口Nx,统计中心像素点x所在局部窗口的灰度分布均匀程度:
4.1.2采取负指数函数来定义灰度域上邻域点对中心点的影响权重:
δg_xy=exp(-ωxy)
可选的,所述S5以线性方式融合局部能量项与全局能量项,实现对于待分割图像的图像分割,包括:
5.2固定水平集φ,能量泛函εaslrsf分别对m1(x),m2(x)求导,得到m1(x),m2(x)的更新公式:
5.3固定m1(x),m2(x),对能量泛函εaslrsf关于水平集函数变分,由梯度下降流可得水平集函数演化方程:
5.4每迭代6次,计算初始轮廓曲线C演化后所围面积Sn的变化,当满足|Sn+6-Sn|<10-7或迭代次数n>500,则停止迭代并输出分割结果,否则返回步骤5.2。
可选的,所述1.1采用Kmeans++技术将待分割图像中所有像素点聚类为K个簇。
本发明有益效果是:
(1)本发明通过构造紧凑对比度测度,将其引入视觉区域检测算法中,用于图像预处理步骤,获取更准确的目标先验信息。
(2)使用目标先验信息与具有最大对比图位图相结合,设计的自适应符号函数对优化LoG能量项进行加权,自行决定曲线演化方向,避免模型陷入局部极值。
(3)本发明通过引入局部灰度变化与空间信息,融合到局部能量项,提高了目标在弱边缘处的敏感程度,从而更精确的对图像进行分割。
(4)在对含有灰度不均及弱边缘的图像分割过程中,本发明能够自动设置初始化轮廓,有效排除背景区域信息,且在极大程度上保持目标轮廓连贯性与完整性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中提供的基于视觉显著区域和主动轮廓的图像分割方法的整体流程图;
图2为本发明方法在含有灰度不均匀及弱边缘图像中的分割效果图。
图3为本发明方法和其他五种主动轮廓模型算法在含有灰度不均匀及弱边缘自然图像中的分割效果对比图。
图4为本发明方法和其他五种主动轮廓模型算法在weizmann数据集中含有弱边缘和噪声图像的分割效果对比图。
图5为本发明方法和其他五种主动轮廓模型算法在weizmann数据集中含有与背景强度极其相似的目标图像分割效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
首先对本申请涉及的基础理论介绍如下:
1.ACL(Active contours driven by region-scalable fitting and optimizedLaplacian of Gaussian energy for image segmentation)算法介绍
考虑到传统LoG算子对灰度变化十分敏感,在含噪图像中,零交叉点易被判为错误边缘点,构建的能量项用于分割时,易出现“孤岛”区域。为了解决此问题,ACL模型算法提出基于图像的优化LoG算子,用于平滑同质区域,与仅由局部空间信息构造的局部拟合能量项相结合,降低演化曲线陷入局部极值的可能。
首先,使用变量u来表示优化后的LoG算子,定义能量泛函:
式中u表示优化后的LoG算子,Gσ是模板大小为3×3,方差为1的高斯核函数,α=0.01,β=3,表示梯度;为权重系数,位于目标边缘处的像素点梯度值较大,即的值较大,故权重系数的值较小,接近于0,而位于同质区域处的像素点,梯度变化较小,即的值较小,权重系数较大,接近于1,起增强边缘和平滑同质区域作用。
其次,假设当目标强度大于背景强度,使用Ωc表示演化曲线C包围的内部区域,并用优化后的变量u构建能量泛函:
其中,H(φ)为亥维赛函数,λ5+λ6=10,in(C)表示演化曲线C包围的内部区域,out(C)为图像域Ω除in(C)以外的区域。
最后,定义外部能量约束项:
其中,
εFit(φ,f1(x),f2(x))=λ1∫[∫δs_xy|I(y)-f1(x)|2H(φ)dy]dx+λ2∫[∫δs_xy|I(y)-f2(x)|2(1-H(φ))dy]dx
式中,θr为优化LoG能量项系数,λ1,λ2为目标边界两侧局部拟合能量项系数,f1(x),f2(x)为像素点x处目标边界两侧的局部近似拟合值,x为局部窗口中心像素点,y为局部窗口中心像素点x的邻域像素点,δs_xy为高斯核函数,H(φ)为亥维赛函数。
2.LoG算子
LoG(Laplacian-of-Gaussian)算子是著名的基于二阶微分的边缘检测算子,首先使用高斯滤波来平滑原始图像,然后利用Laplacian算子来检测目标边缘,其数学定义为:
其中Gσ是标准差为σ的高斯核函数,Δ表示拉普拉斯算子。在亮的一侧,图像的LoG值为负,在暗的一侧,图像的LoG值为正,通过检测图像的二阶微分的零点来获得边缘位置。
3.基于簇的视觉显著性检测算法
Huazhu Fu等提出基于簇的视觉显著性检测算法(FU,H Z,Cao X C,Zhuo W T."Cluster-based co-saliency detection."IEEE Transactions on Image Processing22.10(2013):3766-3778.),通过定义各簇对应的对比度测度和空间测度,来衡量各簇的显著值,并以非线性方式将两个测度融合,得到最终显著图,该模型简单、高效,获取的目标边界清晰,能够在含有灰度不均或弱边缘的医学图像及自然图像中有效提取视觉显著区域。然而,该模型仅能获取目标显著区域,难以将目标完全分割出来。因此需要对初始分割结果进一步处理,分割出更为完整的目标。
实施例一:
本实施例提供一种基于视觉显著区域和主动轮廓的图像分割方法,参见图1,所述方法包括:
(1)输入待分割图像,使用视觉显著区域检测算法对输入图像进行预处理操作,获取目标种子矩阵sal1和目标形状先验矩阵sal2;
(1.1)采用Kmeans++技术将待分割图像中所有像素点聚类为K个簇;
(1.2)分别计算簇Ck,(k=1,2,...,K)对应的空间测度ωs(Ck)和对比度测度ωc(Ck):
其中,zi表示像素点i的空间索引,o为待分割图像中心的空间索引,为高斯分布,||·||2表示欧式距离,σn 2为归一化方差;ζ(i,Ck)表示像素点i属于簇Ck时取值为1,否则取值为0,nk是簇Ck所含像素的个数;||μk-μj||2表示簇Ck与Cj聚类中心之间的欧氏距离;N代表待分割图像像素的总个数,再根据每个簇的紧凑程度,重新设计紧凑对比度测度ωc′(Ck),其中紧凑对比度测度ωc′(Ck),按下列步骤得到:
(1.2.1)首先计算待分割图像域中基于簇的对比度测度显著值均值:
(1.2.2)计算簇内各像素点到簇中心像素点的空间距离,并将其归一化为[0,1]:
dcom(Ck)=norm(dcomo(Ck))
(1.2.3)计算紧凑对比度测度:
(1.3)以非线性方式融合空间测度ωs(Ck)和紧凑对比度测度ωc′(Ck),计算每个簇对应的显著值p(Ck):
p(Ck)=Πωs(Ck)·ωc'(Ck)
(1.4)计算每个像素点对应的显著值:
(1.5)使用大津法对显著图进行初步分割,得到初始二值图,再利用半径为2的圆形模板对初始二值图进行形态学腐蚀操作,得到优化二值图,并选取优化二值图连通域最大区域中所包含的像素点作为目标种子点,标记为1,其余为非目标种子点,标记为0,得到目标种子矩阵sal1,再利用半径为2的圆形模板对优化二值图进行膨胀操作,得到目标形状先验矩阵sal2;
(2)使用将矩阵sal2分为两部分的边界作为初始轮廓曲线C,构造水平集函数φ,即:
其中,(z1,z2)表示水平集函数φ在t时刻的坐标;
(3)使用变量u表示优化LoG算子,构造基于图像全局信息的优化LoG能量项:
再结合目标种子矩阵sal1与彩色图像中R、G、B通道中最大对比度位图bγ,构建自适应符号函数sgn(·),得到自适应符号函数加权的优化LoG能量项:
其中u为优化LoG算子,H(φ)为亥维赛函数,λ3,λ4为系数,in(C)表示初始轮廓曲线C演化后包围的内部区域,out(C)为图像域Ω除in(C)以外的区域。
彩色图像中R、G、B通道中最大对比度位图bγ与自适应符号函数sgn(·),按下述步骤计算:
(3.1)彩色图像中R、G、B通道中最大对比度位图bγ获取步骤如下;
(3.1.1)记输入图像像素点强度值为样本X={Xi|i=1,2,…,N},其中Xi为像素点i处的强度值,N为像素总数。分别计算R、G、B通道内的四阶矩:
(3.1.2)分别计算R、G、B各通道对比度:
(3.1.3)获取待分割图像R、G、B通道中具有最大对比度的位图:
(3.2)设计自适应符号函数sgn(·);
(3.2.1)使用f(p,q)表示位图bγ中任意像素点的强度值,(p,q)为坐标索引,分别计算目标种子点与非目标种子点对应的灰度均值msal和mnsal:
(3.2.2)比较目标种子点与非目标种子点的强度均值大小,设计自适应符号函数:
(4)引入灰度变化统计信息δg_xy与空间信息δs_xy相结合,提出新的局部能量项:
εsgFit(φ,m1(x),m2(x))=λ1∫δg_xy[∫δs_xy|I(y)-m1(x)|2H(φ)dy]dx+λ2∫δg_xy[∫δs_xy|I(y)-m2(x)|2(1-H(φ))dy]dx
其中,I(y)代表局部窗口中心像素点x的邻域像素点强度值,m1(x),m2(x)为像素点x处目标边界两侧的局部近似拟合值,λ1=λ2=1,其中灰度变化统计信息δg_xy与空间信息δs_xy,按下述步骤计算:
(4.1)首先统计局部空间信息:
其中x为局部窗口中心点,y为局部窗口中心像素点x的邻域像素点,σ为方差,ρ为局部窗口半径;
(4.2)图像中的任一局部窗口Nx,统计中心像素点x所在局部窗口的灰度分布均匀程度:
(4.3)采取负指数函数来定义灰度域上邻域点对中心点的影响权重:
δg_xy=exp(-ωxy)
(5)以线性方式融合局部项与全局能量项,并引入长度项和惩罚项,得到总能量泛函:
(6)固定水平集φ,能量泛函εaslrsf分别对m1(x),m2(x)求导,得到m1(x),m2(x)的更新公式:
(7)固定m1(x),m2(x),对能量泛函εaslrsf关于水平集函数变分,由梯度下降流可得水平集函数演化方程:
其中,狄拉克函数eΓ=λΓ∫Ωδs_xyδg_xy|I(y)-mΓ|2dy(Γ=1,2),Δ为拉普拉斯算子,为梯度算子,div(·)为散度算子,θ为全局项系数,μ为惩罚项系数,v需根据输入图像进行调整;
(8)每迭代6次,计算演化轮廓曲线C所围面积Sn的变化,当满足|Sn+6-Sn|<10-7或迭代次数n>500,则停止迭代并输出分割结果,否则返回步骤(6)。
实际应用中迭代次数的上限可根据具体情况适当增加。
本发明的效果可通过以下仿真实验进一步说明。
1.仿真条件与参数
本发明实验均在Inter Core i5-4210U 1.70Hz CPU,4.0GB RAM和Windows7(64位)操作系统的个人计算机上完成。编程环境:Matlab 2015a。
实验中所使用的示例图像选自weizmann数据集以及基于主动轮廓模型的图像分割方法中常用的图片。
对比算法有SPF、RSF、LGIF、ACL、LPF等五种目前主流主动轮廓算法:
SPF,可参考ZHANG K H,ZHANG L,SONG H H,et al.Active contours withselective local or global segmentation:A new formulation and level set method[J].Image&Vision Computing,2010,28(4):668-676.;
RSF,可参考LI C M,KAO A Y,GORE J C,et al.Implicit active contoursdriven by local binary fitting energy.2007IEEE Conference on Computer Visionand Pattern Recognition.IEEE,2007.;
LGIF,可参考WANG L,LI C M,SUN Q S,et al.Active contours driven bylocal and global intensity fitting energy with application to brain MR imagesegmentation[J].Computerized Medical Imaging&Graphics,2009,33(7):520-531.;
ACL,可参考DING,K Y,XIAO L F,Weng G R."Active contours driven byregion-scalable fitting and optimized Laplacian of Gaussian energy for imagesegmentation."Signal Processing 134(2017):224-233.;
LPF,可参考DING K,XIAO L F,WENG G R.Active contours driven by localprefitting energy for fast image segmentation[J].Pattern Recognition Letters,2018,104:29-36.。
对比过程采用定性分析和定量分析,定性分析直接通过分割结果图的视觉对比观察结果的优劣;定量分析则通过计算评价指标判断算法的性能。
实验中采用的评价指标有骰子相似系数(DSC)、Jaccard相似系数(JSI)。
仿真实验中各参数设置如下:演化曲线常规参数设置:σ=3.0,局部窗口半径大小:ρ=round(2×σ),c0=1,μ=2,θ=ε=λ1=λ2=λ3+λ4=1,Δt=0.02,α=0.01,β=3,v需根据输入图像进行调整。LPF、ACL模型中时间步长Δt=0.02。其余参数均参考上述文献中的设置。
2.仿真结果与分析
实验1:定性分析
图2为三幅采用本发明方法进行图像分割的分割结果图;其中,左侧一列的图像为原始图像,其中白色曲线为本发明方法自动设置的初始化轮廓曲线;右侧一列的图像为使用本发明方法得到的分割结果图。三幅图中,第一幅图像为含有弱边缘的共聚焦显微镜图像n13(202×159),第二幅为含有复杂结构及弱边缘的冠状动脉造影图像4(270×270),第三幅为含有严重灰度不均匀的茎叶图像cauline(200×200)。
由图2可以看出本发明方法在含有灰度不均及弱边缘图像中能够将目标较为完整的分割出来。其中第一幅至第三幅局部高斯核方差σ依次为:4.0,3.3,7.0,第三幅全局项系数θ=11。
为验证提出的本发明方法的分割性能,将本发明方法与其余五种当前主流主动轮廓算法进行对比。图3给出五幅基于主动轮廓模型的图像分割方法中常用的示例图像I1~I5,见图3中第一列中的图像;其中I1~I2均为含有灰度分布不均且目标边缘较弱的血管图像vessel3(103×131),vessel2(111×110);I3为一幅低对比度的输卵管造影图像ya(111×94);I4为含有复杂背景及弱边缘的多目标图像qiqiu(300×218);I5为含有边缘极其微弱的贝壳图像beike(300×200)。
图3中第一列中的图像为原始图像,其中的白色曲线为手工初始化位置;第二列至第六列依次为原始图像分别采用SPF,RSF,LGIF,ACL,LPF算法的分割结果;第七列为原始图像,其中白色曲线为本发明方法自动设置的初始化轮廓曲线;第八列为原始图像采用本发明方法给出的分割结果。
从图3可以看出,本发明由于改进视觉显著区域检测算法的引入,能够有效去除复杂的背景区域,准确提取目标先验信息;如图3第七列所示;且由于本发明方法充分考虑了图像局部信息的变化,获取的目标轮廓更具有完整性,如图3中I5所示。此实验表明本发明方法能够在含有复杂背景及弱边缘图像中能够自动设置初始化轮廓,并在图像I3、I5中取得了明显优于其余五种主流基于主动轮廓模型的图像分割算法的分割结果。
实验2:定量分析
为了进一步验证本文发明算法分割结果的精确度,使用weizmann标准数据库中的图像进行测试。图4及图5分别给出了A、B、C、D和E、F六幅图像的原始图像及分割结果;六幅图像中,A、B、C均为含有弱边缘的图像;D为一幅既含有噪声又含有弱边缘的图像;E、F为两幅均含有复杂背景且背景强度与目标强度非常相似的图像;参见图4和图5中的第一列图像,其中的白色曲线为手工初始化位置。
图4和图5中,第二列至第六列依次为原始图像分别采用SPF,RSF,LGIF,ACL,LPF算法的分割结果;第七列为原始图像,其中白色曲线为本发明方法自动设置的初始化轮廓曲线;第八列为原始图像采用本发明方法给出的分割结果。
从左至右依次为原图及手工初始化位置(白色曲线),SPF,RSF,LGIF,ACL,LPF算法分割结果,本发明初始化(白色曲线)以及本发明方法分割结果。
由图4中第八列分割结果可以看出,本发明方法对弱边缘结构的保持能力更强,并且能够有效识别噪声点,具有更高的视觉质量。
由图5第八列分割结果可以看出,本发明方法在局部空间信息与灰度变化信息的共同作用下,能够有效区分目标与背景,且由于自适应符号函数加权的优化LoG能量项的引入,能够更好的去除噪声,识别出更为完整的目标轮廓,本发明方法获取的分割结果更为理想。
表1和表2是本发明方法和其他五种目前主流主动轮廓算法在weizmann数据集示例图像中分割结果与专家分割结果对比量化表,对应图4至图5的分割结果,两个质量评价指标中,DSC与JSI的值越高,表明分割结果越好。
表1和表2中加粗部分为最优值。
由表1可以看出,由于本发明算法在改进视觉显著区域算法的引导下,充分考虑了图像局部信息,不论是在DSC还是在JSI上都具有一定程度的提升,保留了更多的目标细节信息。
表1本发明方法与其他几种算法的性能指标比较(DSC)
表2本发明方法与其他几种算法的性能指标比较(JSI)
从上述定性和定量的实验结果中可以明显看出,本发明方法能够在含有复杂背景及弱边缘图像中自动设置初始化轮廓,排除杂乱的背景区域,使演化曲线开始于目标区域边缘附近,且充分考虑图像局部和全局信息,更好的保持目标边缘细节,避免模型陷入局部极值。
本发明实施例中的部分步骤,可以利用软件实现,相应的软件程序可以存储在可读取的存储介质中,如光盘或硬盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉显著区域和主动轮廓的图像分割方法,其特征在于,所述方法包括:
S1:使用视觉显著区域检测算法对待分割图像进行预处理操作,获取目标种子矩阵sal1和目标形状先验矩阵sal2;预处理操作中,将待分割图像中所有像素点聚类为K个簇,根据每个簇的紧凑程度,重新设计紧凑对比度测度ωc′(Ck);
S2:使用将目标形状先验矩阵sal2分为两部分的边界作为初始轮廓曲线C,构造水平集函数φ:
其中,(z1,z2)表示水平集函数φ在t时刻的坐标;
S3:构造基于待分割图像全局信息的自适应符号函数加权优化LoG能量项,即全局能量项;
S4:引入灰度变化统计信息与空间信息相结合,构建新的局部能量项;
S5:以线性方式融合局部能量项与全局能量项,并添加长度项和惩罚项,构造能量泛函,实现对于待分割图像的图像分割。
2.根据权利要求1所述的方法,其特征在于,所述S1使用视觉显著区域检测算法对待分割图像进行预处理操作,获取目标种子矩阵sal1和目标形状先验矩阵sal2,包括:
1.1将待分割图像中所有像素点聚类为K个簇;
1.2分别计算簇Ck对应的空间测度ωs(Ck)和对比度测度ωc(Ck),k=1,2,...,K;
其中,zi表示像素点i的空间索引,o为待分割图像中心的空间索引,为高斯分布,||·||2表示欧式距离,σn 2为归一化方差;ζ(i,Ck)表示当像素点i属于簇Ck时取值为1,否则取值为0;nk是簇Ck所含像素的个数,nj是簇Cj所含像素的个数;||μk-μj||2表示簇Ck与Cj聚类中心μk和μj之间的欧氏距离;N代表待分割图像像素的总个数;
1.3根据每个簇的紧凑程度计算紧凑对比度测度ωc′(Ck);
1.4以非线性方式融合空间测度ωs(Ck)和紧凑对比度测度ωc′(Ck),计算每个簇对应的显著值p(Ck):
p(Ck)=Πωs(Ck)·ωc′(Ck)
1.5计算每个像素点对应的显著值p(i),获取待分割图像的基于像素的显著图:
1.6对待分割图像的基于像素的显著图进行初步分割,得到初始二值图;再利用半径为2的圆形模板对初始二值图进行形态学腐蚀操作,得到优化二值图,并选取优化二值图连通域最大区域中所包含的像素点作为目标种子点,标记为1,其余为非目标种子点,标记为0;得到目标种子矩阵sal1,再利用半径为2的圆形模板对优化二值图进行膨胀操作,得到目标形状先验矩阵sal2。
7.根据权利要求6所述的方法,其特征在于,所述S4引入灰度变化统计信息与空间信息相结合,构建新的局部能量项εsgFit,包括:
4.1统计局部灰度信息δg_xy;
4.2根据下式构建局部能量项εsgFit:
εsgFit(φ,m1(x),m2(x))=λ1∫δg_xy[∫δs_xy|I(y)-m1(x)|2H(φ)dy]dx+λ2∫δg_xy[∫δs_xy|I(y)-m2(x)|2(1-H(φ))dy]dx
其中,I(y)代表局部窗口中心像素点x的邻域像素点y强度值,m1(x),m2(x)分别为像素点x处目标边界两侧的局部近似拟合值,λ1=λ2=1。
9.根据权利要求8所述的方法,其特征在于,所述S5以线性方式融合局部能量项与全局能量项,添加长度项和惩罚项,实现对于待分割图像的图像分割,包括:
5.2固定水平集φ,能量泛函εaslrsf分别对m1(x),m2(x)求导,得到m1(x),m2(x)的更新公式:
5.3固定m1(x),m2(x),对能量泛函εaslrsf关于水平集函数变分,由梯度下降流可得水平集函数演化方程:
5.4每迭代6次,计算初始轮廓曲线C演化后所围面积Sn的变化,当满足|Sn+6-Sn|<10-7或迭代次数n>500,则停止迭代并输出分割结果,否则返回步骤5.2。
10.根据权利要求1所述的方法,其特征在于,所述1.1采用Kmeans++技术将待分割图像中所有像素点聚类为K个簇。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059363.2A CN112862834B (zh) | 2021-01-14 | 2021-01-14 | 一种基于视觉显著区域和主动轮廓的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059363.2A CN112862834B (zh) | 2021-01-14 | 2021-01-14 | 一种基于视觉显著区域和主动轮廓的图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112862834A true CN112862834A (zh) | 2021-05-28 |
CN112862834B CN112862834B (zh) | 2024-05-03 |
Family
ID=76007147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110059363.2A Active CN112862834B (zh) | 2021-01-14 | 2021-01-14 | 一种基于视觉显著区域和主动轮廓的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862834B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469185A (zh) * | 2021-06-04 | 2021-10-01 | 四川轻化工大学 | 一种变压器油枕的油位高度检测方法 |
CN113487679A (zh) * | 2021-06-29 | 2021-10-08 | 哈尔滨工程大学 | 激光打标机自动调焦系统视觉测距信号处理方法 |
CN113569872A (zh) * | 2021-08-10 | 2021-10-29 | 大连海事大学 | 一种基于压力显著性的多分辨穿鞋足迹序列识别方法 |
CN113706494A (zh) * | 2021-08-23 | 2021-11-26 | 南京理工大学 | 一种基于形状先验的全自动医学图像分割方法和设备 |
CN116703954A (zh) * | 2023-06-16 | 2023-09-05 | 江南大学 | 一种基于全局预拟合能量驱动的主动轮廓模型方法及系统 |
CN116740070A (zh) * | 2023-08-15 | 2023-09-12 | 青岛宇通管业有限公司 | 基于机器视觉的塑料管道外观缺陷检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096617A (zh) * | 2016-06-08 | 2016-11-09 | 哈尔滨工程大学 | 一种基于改进主动轮廓模型的全景海天线提取方法 |
US20170270664A1 (en) * | 2016-03-21 | 2017-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for characterizing features of interest in digital images and systems for practicing same |
CN111145142A (zh) * | 2019-11-26 | 2020-05-12 | 昆明理工大学 | 一种基于水平集算法的灰度不均囊肿图像分割方法 |
-
2021
- 2021-01-14 CN CN202110059363.2A patent/CN112862834B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170270664A1 (en) * | 2016-03-21 | 2017-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for characterizing features of interest in digital images and systems for practicing same |
CN106096617A (zh) * | 2016-06-08 | 2016-11-09 | 哈尔滨工程大学 | 一种基于改进主动轮廓模型的全景海天线提取方法 |
CN111145142A (zh) * | 2019-11-26 | 2020-05-12 | 昆明理工大学 | 一种基于水平集算法的灰度不均囊肿图像分割方法 |
Non-Patent Citations (1)
Title |
---|
魏霞;黄宇达;赵红专;王迤冉;: "显著性驱动的局部相似拟合模型分割算法研究", 计算机工程与应用, no. 13, 24 August 2017 (2017-08-24), pages 202 - 208 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469185A (zh) * | 2021-06-04 | 2021-10-01 | 四川轻化工大学 | 一种变压器油枕的油位高度检测方法 |
CN113487679A (zh) * | 2021-06-29 | 2021-10-08 | 哈尔滨工程大学 | 激光打标机自动调焦系统视觉测距信号处理方法 |
CN113569872A (zh) * | 2021-08-10 | 2021-10-29 | 大连海事大学 | 一种基于压力显著性的多分辨穿鞋足迹序列识别方法 |
CN113569872B (zh) * | 2021-08-10 | 2024-03-19 | 大连海事大学 | 一种基于压力显著性的多分辨穿鞋足迹序列识别方法 |
CN113706494A (zh) * | 2021-08-23 | 2021-11-26 | 南京理工大学 | 一种基于形状先验的全自动医学图像分割方法和设备 |
CN116703954A (zh) * | 2023-06-16 | 2023-09-05 | 江南大学 | 一种基于全局预拟合能量驱动的主动轮廓模型方法及系统 |
CN116703954B (zh) * | 2023-06-16 | 2024-04-16 | 江南大学 | 一种基于全局预拟合能量驱动的主动轮廓模型方法及系统 |
CN116740070A (zh) * | 2023-08-15 | 2023-09-12 | 青岛宇通管业有限公司 | 基于机器视觉的塑料管道外观缺陷检测方法 |
CN116740070B (zh) * | 2023-08-15 | 2023-10-24 | 青岛宇通管业有限公司 | 基于机器视觉的塑料管道外观缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112862834B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Öztürk et al. | Skin lesion segmentation with improved convolutional neural network | |
CN112862834A (zh) | 一种基于视觉显著区域和主动轮廓的图像分割方法 | |
Zhao et al. | A deep learning model integrating FCNNs and CRFs for brain tumor segmentation | |
CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
Pan et al. | A Bayes-based region-growing algorithm for medical image segmentation | |
Mahapatra | Analyzing training information from random forests for improved image segmentation | |
Rajab et al. | Application of region-based segmentation and neural network edge detection to skin lesions | |
Wang et al. | Automatic tumor segmentation with deep convolutional neural networks for radiotherapy applications | |
Agravat et al. | Deep learning for automated brain tumor segmentation in mri images | |
Soleymanifard et al. | Multi-stage glioma segmentation for tumour grade classification based on multiscale fuzzy C-means | |
Algorri et al. | Classification of anatomical structures in MR brain images using fuzzy parameters | |
Kurmi et al. | Content-based image retrieval algorithm for nuclei segmentation in histopathology images: CBIR algorithm for histopathology image segmentation | |
Lou et al. | Automatic fetal brain extraction using multi-stage U-Net with deep supervision | |
Taghanaki et al. | Segmentation-free direct tumor volume and metabolic activity estimation from PET scans | |
Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
Jamil et al. | Melanocytic and nevus lesion detection from diseased dermoscopic images using fuzzy and wavelet techniques | |
He et al. | Segmentation ability map: Interpret deep features for medical image segmentation | |
Veluchamy et al. | Brain tissue segmentation for medical decision support systems | |
Das et al. | Fuzzy clustering of Acute Lymphoblastic Leukemia images assisted by Eagle strategy and morphological reconstruction | |
Alhasson et al. | The relationship between curvilinear structure enhancement and ridge detection methods | |
Li et al. | Unsupervised range-constrained thresholding | |
CN113096080A (zh) | 图像分析方法及系统 | |
Hu et al. | A skin lesion segmentation method based on saliency and adaptive thresholding in wavelet domain | |
Li et al. | Fast and robust active contours model for image segmentation | |
Platero et al. | A label fusion method using conditional random fields with higher-order potentials: Application to hippocampal segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |