CN102436642A - 结合mrf和神经网络的多尺度彩色纹理图像分割方法 - Google Patents
结合mrf和神经网络的多尺度彩色纹理图像分割方法 Download PDFInfo
- Publication number
- CN102436642A CN102436642A CN2011103247939A CN201110324793A CN102436642A CN 102436642 A CN102436642 A CN 102436642A CN 2011103247939 A CN2011103247939 A CN 2011103247939A CN 201110324793 A CN201110324793 A CN 201110324793A CN 102436642 A CN102436642 A CN 102436642A
- Authority
- CN
- China
- Prior art keywords
- yardstick
- image
- class
- tau
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,公开了一种结合MRF和神经网络的多尺度彩色纹理图像分割方法。主要用以解决传统MRF方法中简单高斯模型无法准确描述特征场分布特性的问题。多尺度特征场建模时,在每一尺度上使用监督环境下神经网络的输出来估计纹理特征的概率分布。多尺度标记场建模在采用经典Potts模型的基础上,对每个像素位置考虑同尺度二阶邻域位置的标记集合与更低分辨率尺度上对应标记的交互。采用极大似然准则,经过自顶向下的过程,逐步将较低分辨率尺度的分割结果作用于下一尺度,最终实现多尺度图像分割。本发明获取的分割结果具有较好的区域一致性和边界真实性,可用于彩色纹理图像的分割。
Description
技术领域
本发明属于图像处理技术领域,涉及一种图像分割方法,可用于彩色纹理图像的分割。
背景技术
纹理在计算机视觉和图像处理的许多应用中都有非常重要的作用,纹理分割就是将纹理图像划分为不同的纹理区域,在许多领域中都有广泛应用,比如遥感影像信息提取、文档影像分析、形状信息复原以及基于内容的图像检索等。
在过去的几十年间,在Bayesian框架下结合马尔科夫随机场模型(MRF)模型进行纹理分割的方法受到了国内外研究人员的极大关注。其中,最为经典的就是基于双随机场模型的分割方法。它采用不同的特征场建模图像中不同区域的纹理特征,并采用MRF模型建模图像分割的先验信息(标记场),最后在Bayesian框架下使用极大后验概率准则(Maximum a Posterior)估计分割结果。图像的特征场采用的概率密度模型是否能准确逼近图像的纹理特征分布对分割结果有着极大地影响。高斯模型是最简单也是使用最多的一个概率密度模型。在已知纹理特征服从高斯分布的情况下采用该模型能够获取较好的分割结果;然而如果纹理特征不服从高斯分布,简单高斯模型无法准确描述特征场分布特性的问题,则使用高斯模型进行纹理分割的效果将会大打折扣。
为解决这个问题,近年来一些研究人员进行了有益探索。F.T.Ulaby等通过研究发现在全显影噪声下雷达图像的纹理信息服从Gamma分布,F.Galland等又将其进一步扩展为Fisher分布;H.Noda和L.Wang采用高斯马尔科夫随机场模型表示纹理的特征分布;H.Yong-jian采用有限Laplace混合分布来逼近小波系数的分布;H.Choi和E.Mor采用一个二维的HMT模型来逼近纹理特征的多尺度分布;K.Pyun等设计了一个隐马尔科夫高斯混合模型来建模纹理特征。这些纹理特征的建模方法在各自的应用领域中都取得了较好的结果。然而,这些模型均比高斯模型要复杂得多,因此对参数估计和概率密度的计算都提出了更高的要求,也在一定程度上影响了模型的通用性。
人工神经网络是一种模仿生物神经网络功能的模型,因其具有优良的非线性逼近能力和较好的容错性等优点,被广泛应用在各个领域,包括图像处理领域。Kolmogorov定理已经证明经充分学习的具有一个隐层的N×M×O三层前向型网络具有强大的非线性逼近能力。利用神经网络的非线性逼近能力,不需要复杂的建模方法也能表示输入数据的任何形式的概率分布。因此,考虑可以在监督环境中设计神经网络,用其输出来估计纹理特征的后验概率分布。因此,基于此,本文提出一个使用BP神经网络和MRF模型的多尺度监督纹理分割新算法。该算法利用BP网络的输出估计多尺度纹理特征的概率分布;使用MRF模型建模纹理类别的先验分布;采用极大后验概率(MAP,Maximum a Posterior Estimation)准则获取最终的分割结果。
发明内容
针对上述简单高斯模型无法准确描述特征场分布特性,复杂概率模型参数估计困难的问题,本文提出一个使用BP神经网络和MRF模型的多尺度监督纹理分割新方法。
实现本发明目的的技术方案是:利用BP网络的输出估计多尺度纹理特征的概率分布;使用MRF模型建模纹理类别的先验分布;采用极大后验概率(MAP)准则获取最终的分割结果。具体过程如下:
(1)输入待分割图像,在给定尺度s下,提取每一像素的R,G,B值和该像素大小为ws×ws的邻域内(ws邻域窗口大小)R,G,B三波段的光谱均值和标准差构成特征向量;
(2)从图像中截取class_num类纹理区域的训练图像块,在每一尺度s上,将图像块对应特征向量作为class_num个BP神经网络的输入,进行网络训练,其中class_num是图像分类数;
(3)在所有尺度上,将整个图像的特征向量分别作为该尺度class_num个神经网络的输入,根据多个网络的输出估计特征场分布特性;
(4)使用极大似然准则获取每个尺度上的初始分割结果;
(5)使用迭代条件模式(ICM,Iterative Condition Model),并依据极大后验概率(MAP,Maximum a Posterior Estimation)准则获取最大尺度s=J上的分割结果;
(6)多尺度标记场建模,在经典MLL模型的基础上,利用尺度间交互参数α(t)调整尺度间计算标记场局部概率时的相互作用,并使用ICM,依据MAP准则获取尺度s上的分割结果xs;
(7)在新的尺度s=s-1上,重复步骤(6),经过自顶向下的过程,逐步将较低分辨率尺度的分割结果作用于下一尺度,最终实现多尺度图像分割。
本发明与现有技术相比具有以下优点:
(1)本发明设计的利用神经网络建模特征场概率分布方法利用了神经网络强大的非线性逼近能力,通过大量样本学习能够更真实准确的描述特征场分布特性,同时建模方法简单,不需要复杂的参数估计和计算。
(2)本发明设计的多尺度标记场建模方法可以将更低分辨率上的分割结果逐步应用到最终分割结果上,使分割结果具有低分辨分割的较好区域一致性和高分辨率分割的边界真实性,从而获得更好的分割结果。
(3)仿真结果表明,对彩色纹理图像的分割,与传统ICM方法和单尺度结合神经网络和MRF方法(BPMRF)相比,本方法能够获取更好的分割结果。
附图说明
图1是本发明设计的神经网络模型
图2是本发明设计的标记场网络模型
图3是本发明应用于合成彩色纹理影像的分割结果
其中,(a1)(a2)(a3)(a4)合成纹理影像;
(b1)(b2)(b3)(b4)真实分割结果;
(c1)(c2)(c3)(c4)ICM分割结果;
(d1)(d2)(d3)(d4)单尺度BPMRF分割结果;
(e1)(e2)(e3)(e4)本发明方法分割结果。
图4是本发明应用于航拍图像的分割结果
其中,(a)航拍影像;(b)ICM分割结果;(c)单尺度BPMRF分割结果;(d)本发明方法分割结果。
具体实施方式
本发明的具体实现过程如下:
步骤1输入待分割图像,在给定尺度s下,提取每一像素的R,G,B值和该像素大小为ws×ws的邻域内(ws邻域窗口大小)R,G,B三波段的光谱均值和标准差构成特征向量,其具体执行过程如下:
(1a)根据给定尺度s,确定邻域大小为ws×ws;
(1b)对待分割图像逐像素在邻域内求取R、G、B三个波段上的光谱均值和标准差,均值为:
标准差为:
其中,v∈{r,g,b}表示纹理图像的一个波段,ij表示当前像素位置,w为邻域窗口直径;
(1c)为图像的每个像素位置(i,j),提取三个波段的光谱值rij、gij和bij,与(1b)中的光谱均值和标准差构成的向量yij=[rij,gij,bij,ur,ij,ug,ij,ub,ij,σr,ij,σg,ij,σb,ij]T作为该位置的特征,从而形成尺度s上的特征图像;
(1d)在新的尺度s=s-1上重复步骤(1a)~(1c),最终得到所有尺度上的特征图像。
步骤2从图像中截取class_num类纹理区域的训练图像块,在每一尺度s上,将图像块对应特征向量作为class_num个BP神经网络的输入,进行网络训练,其中class_num是图像分类数,神经网络模型如图1所示,具体步骤如下:
(2a)在所有尺度上,为图像上所有纹理类型分别设计相应的后验概率模型,确定需要J×class_num(J是尺度个数)个BP网络来近似这些后验概率模型;
(2b)在待分割图像上截取class_num类纹理区域,根据步骤(1)中的特征图像获取尺度s上截取区域的特征向量;
(2c)设计BP网络输入为某一像素位置的特征向量 即输入层为9个神经元,输出为:
(2d)将尺度s得到的所有截取区域的特征向量输入到第k类(k=1,2,...,class_num)BP网络中,采用量化共轭梯度法,进行网络训练;
(2e)在新的尺度s=s-1上,重复(2d)步骤,直到对所有网络训练结束。
步骤3在所有尺度上,将整个图像的特征向量分别作为该尺度class_num个神经网络的输入,根据多个网络的输出估计特征场分布特性,具体执行步骤如下:
(3a)将步骤(1c)得到的尺度s(s=1,2,...,J)上的特征图像输入到经过训练的第k类(k=1,2,...,class_num)BP网络中,得到每个像素属于第k类的相似度;
(3b)重复步骤(3a)从而得到所有尺度上特征图像的每个像素分别属于每种分类的相似度;
(3c)每个像素位置(i,j)在尺度s上,相对于k类的特征场条件概率为:
(3d)多尺度特征场条件概率为:
步骤4使用极大似然准则获取每个尺度上的初始分割结果,具体步骤如下:
(4a)在尺度s上,对每个像素位置(i,j)求使步骤(3)中特征场条件概率取最大值的标记值,从而获得图像在该尺度上的初始分割;
(4b)在新尺度s=s-1上重复步骤(4a),最终得到所有尺度上的初始分割。
步骤5使用迭代条件模式ICM(Iterative Condition Model),并依据极大后验概率(MAP,Maximum a Posterior Estimation)准则获取最大尺度s=J上的分割结果,具体执行步骤如下:
(5a)根据公式 获得最大尺度s=J上,二阶邻域集合ηij上的标记场局部概率。其中,ij为当前像素位置,ij+τ是邻域中下一像素位置,N是邻域中像素个数,且根据经典MLL模型, 其中β是势参数;
(5c)重复步骤(5a)~(5b),直到达到最大迭代次数,从而得到最大尺度J上的最终分割结果xJ。
步骤6多尺度标记场建模,在经典MLL模型的基础上,利用尺度间交互参数α(t)调整尺度间计算标记场局部概率时的相互作用,并使用ICM,依据MAP准则获取尺度s上的分割结果xs,具体步骤如下:
(6b)计算尺度间交互参数其中t是迭代次数,N是最大迭代次数;
(6e)重复步骤(6a)~(6d)直到达到最大迭代次数,从而得到尺度s上的最终分割结果。
多尺度标记场网络模型如图2所示。
步骤7在新的尺度s=s-1上,重复步骤6,经过自顶向下的过程,逐步将较低分辨率尺度的分割结果作用于下一尺度,最终实现多尺度图像分割。
本发明的内容可以通过以下的仿真结果进一步进行说明。
1、仿真内容:应用本发明方法、单尺度BPMRF方法、ICM方法分别对四幅合成彩色纹理图像和一幅航拍影像进行影像分割,并给出分割结果的准确率作为客观评价标准。准确率的定义为:
2、仿真结果
图3为本发明方法应用于合成彩色纹理图像的分割结果。其中,(a1),(a2),(a3),(a4)是四幅合成彩色纹理,分别包含3、4、5、6类纹理;(b1),(b2),(b3),(b4)分别是四幅合成彩色纹理图像对应的真实分割结果;(c1),(c2),(c3),(c4)分别是对应图像的ICM分割结果;(d1),(d2),(d3),(d4)分别是对应图像的单尺度BPMRF方法的分割结果;(e1),(e2),(e3),(e4)分别是对应图像本发明方法的分割结果。
从图3中可以看出,本发明方法分割结果相对于ICM方法不同纹理类型间的混分较少,区域内部错分的分类斑点较少,主要原因在于ICM用高斯模型描述特征场,而本发明方法采用神经网络建模,因为神经网络具有良好的逼近能力而使得本发明方法的特征场模型能更为准确地描述纹理特征的分布特性,从而为其获取较优的分割结果成为可能;同时,本发明方法分割结果相对于单尺度BPMRF方法区域边界更接近真实结果,也更为平滑,主要原因在于本发明方法的分割过程考虑了从大尺度到小尺度的所有分割结果,因为大尺度的分割结果具有较好的区域一致性,而小尺度的分割结果具有更为真实的区域边界,所以本发明方法比单尺度的BPMRF在区域一致性和边界真实性方面均有所提高。
表1中显示了ICM、单尺度BPMRF和本发明方法对应四幅图像分割结果的准确率。再次证明本发明方法的有效性。
表1合成纹理影像分割结果准确率表(%)
如图4所示,同样可以看出,利用本发明的方法分割的图像d优于采用ICM方法和BPMRF方法的图像(b)、(c)。
Claims (7)
1.一种结合MRF和神经网络的多尺度彩色纹理图像分割方法,主要包括如下过程:
(1)输入待分割图像,在给定尺度s下,提取每一像素的R,G,B值和该像素大小为ws×ws的邻域内R,G,B三波段的光谱均值和标准差构成特征向量;
(2)从图像中截取class_num类纹理区域的训练图像块,在每一尺度s上,将图像块对应特征向量作为class_num个BP神经网络的输入,进行网络训练,其中class_num是图像分类数;
(3)在所有尺度上,将整个图像的特征向量分别作为该尺度class_num个神经网络的输入,根据多个网络的输出估计特征场分布特性;
(4)使用极大似然准则获取每个尺度上的初始分割结果;
(5)使用迭代条件模式ICM,并依据极大后验概率MAP准则获取最大尺度s=J上的分割结果;
(6)多尺度标记场建模,在经典MLL模型的基础上,利用尺度间交互参数α(t)调整尺度间计算标记场局部概率时的相互作用,并使用ICM,依据MAP准则获取尺度s上的分割结果xs;
(7)在新的尺度s=s-1上,重复(5)~(6)步骤,经过自顶向下的过程,逐步将较低分辨率尺度的分割结果作用于下一尺度,最终实现多尺度图像分割。
2.根据权利要求1所述的图像分割方法,其中步骤(1)按如下过程执行:
(1a)根据给定尺度s,确定邻域大小为ws×ws;
(1b)对待分割图像逐像素在邻域内求取R、G、B三个波段上的光谱均值和标准差,均值为:
标准差为:
其中,v∈{r,g,b}表示纹理图像的一个波段,ij表示当前像素位置,w为邻域窗口直径;
(1c)为图像的每个像素位置(i,j),提取三个波段的光谱值rij、gij和bij,与(1b)中的光谱均值和标准差构成的向量yij=[rij,gij,bij,ur,ij,ug,ij,ub,ij,σr,ij,σg,ij,σb,ij]T作为该位置的特征,从而形成尺度s上的特征图像;
(1d)在新的尺度s=s-1上重复步骤(1a)~(1c),最终得到所有尺度上的特征图像。
3.根据权利要求1所述的图像分割方法,其中步骤(2)按如下过程执行:
(2a)在所有尺度上,为图像上所有纹理类型分别设计相应的后验概率模型,确定需要J×class_num(J是尺度个数)个BP网络来近似这些后验概率模型;
(2b)在待分割图像上截取clas_num类纹理区域,根据步骤(1)中的特征图像获取尺度s上截取区域的特征向量;
(2c)设计BP网络输入为某一像素位置的特征向量 即输入层为9个神经元,输出为:
(2d)将尺度s得到的所有截取区域的特征向量输入到第k类(k=1,2,...,class_num)BP网络中,采用量化共轭梯度法,进行网络训练;
(2e)在新的尺度s=s-1上,重复(2d)步骤,直到对所有网络训练结束。
5.根据权利要求1所述的图像分割方法,其中步骤(4)按如下过程执行:
(4a)在尺度s上,对每个像素位置(i,j)求使步骤(3)中特征场条件概率取最大值的标记值,从而获得图像在该尺度上的初始分割;
(4b)在新尺度s=s-1上重复步骤(4a),最终得到所有尺度上的初始分割。
7.根据权利要求1所述的图像分割方法,其中步骤(6)按如下过程执行:
(6e)重复步骤(6a)~(6d)直到达到最大迭代次数,从而得到尺度s上的最终分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110324793.9A CN102436642B (zh) | 2011-10-24 | 2011-10-24 | 结合mrf和神经网络的多尺度彩色纹理图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110324793.9A CN102436642B (zh) | 2011-10-24 | 2011-10-24 | 结合mrf和神经网络的多尺度彩色纹理图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102436642A true CN102436642A (zh) | 2012-05-02 |
CN102436642B CN102436642B (zh) | 2014-03-05 |
Family
ID=45984687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110324793.9A Expired - Fee Related CN102436642B (zh) | 2011-10-24 | 2011-10-24 | 结合mrf和神经网络的多尺度彩色纹理图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102436642B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971392A (zh) * | 2017-03-17 | 2017-07-21 | 国家测绘地理信息局卫星测绘应用中心 | 一种结合dt‑cwt和mrf的遥感图像变化检测方法与装置 |
CN107358197A (zh) * | 2017-07-12 | 2017-11-17 | 安阳师范学院 | 一种面向耕地地块提取的影像分类及语义处理方法 |
CN108229288A (zh) * | 2017-06-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101587587A (zh) * | 2009-07-14 | 2009-11-25 | 武汉大学 | 顾及多尺度马尔科夫场的合成孔径雷达图像分割方法 |
US20100183225A1 (en) * | 2009-01-09 | 2010-07-22 | Rochester Institute Of Technology | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof |
CN102074013A (zh) * | 2011-01-26 | 2011-05-25 | 刘国英 | 基于小波域多尺度Markov网模型的图像分割方法 |
-
2011
- 2011-10-24 CN CN201110324793.9A patent/CN102436642B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100183225A1 (en) * | 2009-01-09 | 2010-07-22 | Rochester Institute Of Technology | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof |
CN101587587A (zh) * | 2009-07-14 | 2009-11-25 | 武汉大学 | 顾及多尺度马尔科夫场的合成孔径雷达图像分割方法 |
CN102074013A (zh) * | 2011-01-26 | 2011-05-25 | 刘国英 | 基于小波域多尺度Markov网模型的图像分割方法 |
Non-Patent Citations (3)
Title |
---|
GUOYING LIU ET AL.: "New texture segmentation approach based on multiresolution MRFs with variable weighting parameters in wavelet domain", 《PROC. OF SPIE》 * |
刘国英等: "基于小波分解的变尺度多分辨率纹理分割", 《数据采集与处理》 * |
盛文等: "基于MRF模型的多层前馈网络纹理分割方法", 《华中理工大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971392A (zh) * | 2017-03-17 | 2017-07-21 | 国家测绘地理信息局卫星测绘应用中心 | 一种结合dt‑cwt和mrf的遥感图像变化检测方法与装置 |
CN106971392B (zh) * | 2017-03-17 | 2019-09-20 | 自然资源部国土卫星遥感应用中心 | 一种结合dt-cwt和mrf的遥感图像变化检测方法与装置 |
CN108229288A (zh) * | 2017-06-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 |
CN107358197A (zh) * | 2017-07-12 | 2017-11-17 | 安阳师范学院 | 一种面向耕地地块提取的影像分类及语义处理方法 |
CN107358197B (zh) * | 2017-07-12 | 2022-01-11 | 安阳师范学院 | 一种面向耕地地块提取的影像分类及语义处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102436642B (zh) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Porous structure reconstruction using convolutional neural networks | |
CN112052754B (zh) | 基于自监督表征学习的极化sar影像地物分类方法 | |
CN102646200B (zh) | 多分类器自适应权值融合的影像分类方法及系统 | |
CN100557626C (zh) | 基于免疫谱聚类的图像分割方法 | |
CN104517284B (zh) | 基于深度置信网的极化sar图像分割 | |
CN103440505B (zh) | 空间邻域信息加权的高光谱遥感图像分类方法 | |
CN107180426A (zh) | 基于可迁移的多模型集成的计算机辅助肺结节分类方法 | |
CN103971115A (zh) | 一种基于NDVI和PanTex指数的高分辨率遥感影像新增建设用地图斑自动提取方法 | |
CN105069796B (zh) | 基于小波散射网络的sar图像分割方法 | |
CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
CN109726748B (zh) | 一种基于频带特征融合的gl-cnn遥感图像场景分类方法 | |
CN110163213A (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN104331698A (zh) | 一种遥感图像城区提取方法 | |
CN102013017A (zh) | 一种高分辨率遥感图像场景粗分类方法 | |
CN102402685A (zh) | 基于Gabor特征的三马尔可夫场SAR图像分割方法 | |
Lin et al. | A SOM-based approach to estimating design hyetographs of ungauged sites | |
CN104156943B (zh) | 基于非支配邻域免疫算法的多目标模糊聚类图像变化检测方法 | |
CN104408731B (zh) | 基于区域图和统计相似性编码的sar图像分割方法 | |
CN103914705A (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
CN106683102A (zh) | 基于脊波滤波器和卷积结构模型的sar图像分割方法 | |
CN104732545A (zh) | 结合稀疏近邻传播和快速谱聚类的纹理图像分割方法 | |
CN103020979B (zh) | 基于稀疏遗传聚类的图像分割方法 | |
CN111639587A (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
CN104346814B (zh) | 基于层次视觉语义的sar图像分割方法 | |
Wang et al. | A novel sparse boosting method for crater detection in the high resolution planetary image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140305 Termination date: 20171024 |